情報檢索系統評價，從技術經濟觀點對情報檢索系統的效果、費用與效益等進行定性與定量分析比較，以確定其優劣的工作項目。
基本介紹
- 中文名：情報檢索系統評價
- 外文名：Evaluation of information retrieval system
評價方法
視需要與可能，採用下述3種方法。
效果評價
以費用、時間與質量作為準則，客觀地衡量用戶對系統所提供的檢索結果的滿意程度。根據投入產出法則，應使用戶覺得所產生的效益是合理的。費用不僅是用戶直接的付費，還要考慮用戶同系統打交道時化費時間所換算的費用。並要考慮取得文獻線索後，取得原始文獻方便與否。時間是指系統的回響時間要短，而所提供的情報應儘可能是最新的。但對需要全面檢索的用戶來說，回響快慢有時無關緊要。質量是指用戶是否得到他所要找的東西和得到的東西是否全面、準確；前者是針對檢索某一篇文獻，或回答某一實際問題，後者是針對一般文獻檢索。主要是用查全率與查準率來判定檢索系統的性能。
費用／效果評價
即計算檢出每篇相關文獻的單位成本，可以根據檢索結果與所需各項費用定量估算。其主要步驟是：
①確定評價範圍；
②擬定評價計畫；
③具體進行評價；
④結果的分析與解釋；
⑤根據評價結果改進系統或服務。
在計算費用時要考慮固定費用與可變費用。評價的目的是在達到一定服務水平的前提下，判別哪一種方法或系統費用最小，或保持費用不變，和研究哪一種方法或系統更能提高性能水平。因此，在具體進行評價時，首先要明確所要達到的目標，達到此目標有哪些方法，用某種方法費用要多少，建立相應費用模式(公式、電腦程式或文字說明)，規定評價標準，將各種方法或系統按滿意程度排列，從中選出最佳者。對大多數情治單位建立資料庫來說，要百分之百收全文獻，幾乎都做不到。
如將收全程度從85％提高到100％，費用將急劇增加，這後面的15％的文獻，可能要和前邊85％文獻需要同樣多的費用，從費用／效果的觀點來看，應事先確定一個現實的收藏範圍目標，再確定那些最能達到此目標的期刊。在輸入與輸出之間權衡利弊時，要注意這樣一條規律，即在輸入步驟上節約，將導致輸出步驟上負擔加重，從而提高輸出費用，反之亦然。因此，若查用量小，而輸入量大，就應設法節約輸入費用，把輔助性工作放在輸出階段。在輸入要快的場合，標引工作就要採取較經濟的方法。若輸出要準確快速，則輸入就要做得細微，不要追求節約。在考慮建庫時，要進行調查，若已有某種資料庫存在，儘管不太符合要求，也要儘可能利用它，而不要另建新庫。
費用／效益評價
即探討檢索系統所提供結果的效益與系統運行費用之間的關係。若效益超過了費用，則獲得這一結果是合理的。
由於確定效益有一定主觀性，用金錢來衡量效益是很困難的，因此，進行這一評價很不容易，一般採取下列步驟：
①比較不同系統的服務費用；
②若得不到預定檢索結果，則估算有關人員在勞動生產率上可能產生的損失；
③得到此種結果，對決策有何改進；
④能否避免重複前人已做過的工作，或吸收其工作經驗教訓；
⑤是否能促進發明創造或提高勞動生產率。具體作法是向用戶徵求對所提供結果的意見，看他們是否滿意；也可訪問用戶或用信函詢問進行細微的用戶調查，以取得數據，說明用戶滿意程度與從檢索結果中所得到的益處。
