人工评估 | 人工标注员

人工评估 | 人工标注员并不只看表面做法，关键还要理解相关条件、限制和后续影响。

无论项目规模多大，一旦定义了具体的评估任务和打分细则，请注意:

1. 选择合适的标注员，如果可能的话提供经济激励你可能希望参与任务的标注员具有以下品质:

1. 符合特定的人口统计特征。

   例如：母语是测试目标语言、较高的教育水平、特定领域的专业知识、多样化的地域背景等。根据评估任务不同，对标注员统计特征需求也不一样。

2. 提供高质量标注。

   有些任务中筛选合适的标注员很重要，比如近期有一种任务是检查回答是否是 LLM 生成的。

   个人认为，除非你众包标注员有强烈的自我驱动意识，否则一般还是支付合理的费用更好。

1. 设计标注准则请务必深入思考制定标注准则，非常值得花费大量时间去做！我们在制作数据集时的耗时最多的地方就是这里。

2. 迭代标注很多时候标注员会误解标注指南 (他们的想法可能比你想象的更模棱两可)，所以要做好多轮迭代标注的准备，来不断改进直到达到你的需求。

3. 质量检查 和 手动筛选你需要仔细检查答案的质量 (检查标注员间的答案一致性)，并筛选出质量最优、相关性最高的答案。