Есть ли тело, которое использовало TREC_EVAL? Мне нужен "Trec_EVAL для чайников".
Я пытаюсь оценить несколько поисковых систем, чтобы сравнить параметры, такие как Recall-Precision, ранжирование и т.д. для моей работы над диссертацией. Я не могу найти, как использовать TREC_EVAL для отправки запросов в поисковую систему и получить файл результатов, который можно использовать с TREC_EVAL.
В принципе, для trec_eval вам нужна (человеческая) истина. Это должно быть в специальном формате:
query-number 0 document-id relevance
Для коллекции, такой как 101Categories (запись в wikipedia), что было бы похоже на
Q1046 0 PNGImages/dolphin/image_0041.png 0
Q1046 0 PNGImages/airplanes/image_0671.png 128
Q1046 0 PNGImages/crab/image_0048.png 0
Номер запроса идентифицирует поэтому запрос (например, изображение из определенной категории, чтобы найти похожие данные). Результаты из вашей поисковой системы затем должны быть преобразованы, чтобы выглядеть как
query-number Q0 document-id rank score Exp
или на самом деле
Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10
как описано здесь. Возможно, вам придется настроить имена путей для "document-id". Затем вы можете рассчитать стандартные показатели trec_eval groundtrouth.qrel results.
trec_eval --help должен дать вам несколько идей по выбору правильных параметров для использования измерений, необходимых для вашего тезиса.
trec_eval не отправляет никаких запросов, вы должны сами их подготовить. trec_eval делает только анализ, дающий почву и ваши результаты.
Некоторая базовая информация может быть найдена здесь и здесь.