Overview of the TREC-2011 Microblog Track

1、不相关（Not Relevant）

以下三种情况被认为是“不相关”：1）tweet的内容没有对topic提供任何有用信息；2）tweet是非英语的；3）这是一个转发微博（retweet）

其中，“相关”和“高度相关”并称“全相关”

3.3 Result

Topic 50没有任何相关tweet，因此不再evaluation之中。

评测指标：1）P@30；2）MAP

2011 Track Guidelines

Realtime Adhoc Task

1.       Submission Guidelines

提交格式：

例如：

MB01Q0 3857291841983309 1 0.999 myRun

MB01Q0 3857291841983302 2 0.878 myRun

MB01Q0 3857291841983301 3 0.314 myRun

...

MB02Q0 3857291214283390 1000 0.000001 myRun

...

每行中每列的含义，依次是：topic编号；tweet id；该tweet在list中的序号；score；本次将提交结果所在轮次的identifier

上述结果，是根据 topic编号+ 降序tweet id来排序的。所有提交的tweet必须不能大于querytweettime id。