平均倒數排名

維基百科,自由的百科全書

平均倒數排名統計學中,依據排序的正確性,對查詢請求響應結果的評估。查詢響應結果的倒數排名是第一個正確答案的倒數積。平均倒數排名是多個查詢結果的平均值。[1]:

平均倒數排名和調和平均數有些相似。

例子

比如,想象一下我們有如下三個查詢請求,讓系統將他們翻譯為英語的複數形式。對於每個例子,系統給出三個猜測,結果中第一個是我們認為最可能正確的:

查詢 結果 正確結果 排名 倒數排名
cat catten, cati, cats cats 3 1/3
torus torii, tori, toruses tori 2 1/2
virus viruses, virii, viri viruses 1 1

通過這三個例子,我們得到平均倒數排名為約為0.61。

此外:

  1. 如果所有結果都不正確,結果為 0
  2. 如果存在多個正確答案,考慮使用平均準確度(MAP)

請參考信息檢索以及問答系統[2]

參考文獻

  1. ^ E.M. Voorhees. Proceedings of the 8th Text Retrieval Conference. TREC-8 Question Answering Track Report: 77–82. 1999. 
  2. ^ D. R. Radev, H. Qi, H. Wu, W. Fan. Evaluating web-based question answering systems. Proceedings of LREC. 2002.