Google Research 与高校评估六款 LLM 回答高温超导研究问题的能力
Google Research 联合 Cornell University 等机构发表 PNAS 论文,评估六款 LLM 回答高温超导专家级问题的能力。专家围绕 67 个问题按 0 到 2 分盲评,NotebookLM 和使用相同精选来源的定制 RAG 系统总体表现最好。开放联网模型更容易混合成熟理论与高度推测性理论,所有受测系统还存在时间与语境理解、论文召回、表格和图像理解不足。
推荐理由:研究用专家盲评比较开放联网模型与封闭可信资料库系统,为科研场景中的知识准确性和证据引用提供参照。