构建更好的 AI benchmark：多少名评估者才足够？

Google Research 研究 AI benchmark 中评估条目数量与每条目人工评估者数量的权衡，发现常用的每条目 1、3 或 5 名评估者往往不足，常需超过 10 名。最优配置取决于指标：多数投票偏广度，捕捉意见差异偏深度；约 1,000 个总标注即可获得高可复现结果，模拟器已在 GitHub 开源。