Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

人类审稿被AI一波团灭!哈佛派出最强专家,错误率高达3倍内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

人类审稿被AI一波团灭!哈佛派出最强专家,错误率高达3倍

新智元报道 哈佛拿出了能找到的最强人类审稿团,结果被Claude全线碾压! 同一批124篇论文,两边各写一份审稿意见。 七个审稿维度比下来,人类一项都没赢。 3位知名期刊的前编辑被请来盲选, 30次里有26次挑了Claude 。有一位编辑,10组意见里一次都没选人类。 3位前编辑各比10组匿名意见,只看审稿意见,没有重读论文 就连学术圈最怕的「AI胡说」,这回也反转了。 研究者把意见拿回原稿逐句对照,结果发现,人类专家说错的比例,竟然接近Claude的3倍之多。 这项出自哈佛校级教授、定量社会科学研究所所长Gary King,和同所的数据科学主任Steven Worthington的研究,标题毫不客气—— AI 审稿已经压过了状态最好时的人类同行评审 。 两人在论文里承认,动手之前,他们只指望AI能在一些方面、一些时候赢。结果, AI在他们能想到的每一项指标上都占了上风 。 沃顿商学院教授Ethan Mollick看完立刻转发,催学术界赶快想清楚,科学研究要怎么跟着AI改。 哈佛摆下擂台,付费专家对阵联网Claude 既然要比,那就得找最强的人类来比。 期刊审稿的毛病,做过研究的人都领教过。审稿人大多没有报酬,时间又紧, 有人读到第3页抓住一个硬伤,后面就不看了 。 所以King团队找的是rapidPeer,哈佛定量社会科学研究所做的「投稿前预审」服务,后来也开放给了其他几家机构。 这里的审稿人由领域专家从外校挑出来,每审一篇都有报酬,审得好,下次还有活干。 他们要读完整篇论文,写出1.5到2页意见,只管帮作者把论文改好,不用判断该不该发表。 效果也确实好。74位作者回了问卷, 88%认为审稿质量高或很高 。 几位知名期刊的前编辑看过这些意见,也说属于他们见过最好的那一档。 两位作者甚至写道,据他们所知, 没有哪批人类审稿是在比这更好的条件下写出来的 。 研究用上了这项服务2019到2026年的全部有效投稿,一共124篇论文、134份人类意见,从统计分析、数学建模到纯定性研究都有。 Claude这边,上场的是Opus 4.8,推理开到最高档。 它分两个身份参赛。一个和人类完全对等,拿同一份13条审稿指南,不许用任何外部工具。 另一个是调优版,有专门写的审稿提示词,还能上网,平均每篇搜12.4次。 这份提示词,读起来像一位严格导师的叮嘱。 它要Claude把全文和图表读透,主动去搜作者漏掉的前人研究。 每篇引用都得真搜到、附上链接,不许凭记忆引 。 它还要Claude分清哪些问题撑着整篇论文,先讲最要紧的两三个,不许客套,也不许凑字数。 裁判是另一家公司的GPT-5.5。两份意见去掉格式和出处,调换顺序各比一次, 两次都选同一份才算赢 。 除了比整体,它还要在七个维度上逐项比较,并给每份意见打0到10分。 GPT-5.5当裁判,Claude七局全胜 结果出来,两位作者的评价是「毫不含糊」。 比整体时, GPT-5.5没有一次判人类赢 , 所有分出胜负的对比都归了Claude。 拆到七个维度, Claude在找弱点、评方法、补文献三项上全胜 。图表赢了99%,理论与想法、论证框架、表达也各赢了92%。 左为成对比较中AI的胜率,右为0到10分的平均评分 打分上, Claude平均8.7分,人类6.0分 。 拉开最大差距的两项,恰好是审稿时最费功夫的两项。 补文献一项,人类专家4.73分,联网的Claude是9.55分。 不让它上网时,它在这一项只赢下62%,开了搜索才变成全胜 。 图表一项, 人类平均只有2.95分 ,Claude是7.57分,不少意见对图表只字未提。 浅灰为人类专家、黑色为Claude,横轴为0到10分 还有个细节耐人寻味。三位前编辑彼此判断一致的比例是80%,他们和GPT-5.5的一致率反而有87%。 也就是说, 人类编辑跟这位AI裁判的看法,比跟自己的同行还要一致 。 给人类换上AI文风再比 照样一组没赢 这么悬殊的比分,第一反应往往是怀疑实验本身。 两位作者自己先当了一回杠精, 一口气做了十类稳健性检查 。 头一个怀疑,是AI靠篇幅取胜。研究者只留下字数相近的44组, Claude照样44组全胜 。 接着有人会说,GPT-5.5偏爱AI的腔调。 于是研究者让Claude把134份人类意见全部改写成AI口吻,论点一个不动。 换了腔调的人类意见,还是一组都没赢回来 ,平均分反倒从5.93分掉到了5.87分。 也有人会说,人类样本里混进了水平一般的。 研究者就只看评分前40%的人类意见,再挑出和AI最接近的28组。 人类依然一组没赢,分数最高的那份,也比AI低0.7分 。 还有人担心,Claude训练时见过这些论文后来发表的版本。 可按投稿年份一拆,不联网的Claude在2022年及以前的老论文上拿8.2分,在2

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
[流言板]马卢阿奇谈揭幕战惨败41分:会以此为动力,不让惨败重演
[流言板]马卢阿奇谈揭幕战惨败41分:会以此为动力,不让惨败重演

虎扑10月24日讯 菲尼克斯太阳队将在主场迎战金州勇士队。赛前,太阳内线球员卡曼-马卢阿奇接受记者采访,谈到了球队在赛季揭幕战中以83-124惨败波特兰开拓者队,以及球队如何从失利中吸取教训。 马卢阿奇表示:“我们全队一起看了比赛录像,现在已经把那场失利放在身后了。我不会过多考虑未来,也不会一直纠结于过去。但与此同时,我也不能把那场惨败当作什么都没发生一样。现在我专注于眼前这场比赛,我们会把上一场

清华大学偶遇明星,任泉头发斑秃身材消瘦,李冰冰依偎在侧好亲密
清华大学偶遇明星,任泉头发斑秃身材消瘦,李冰冰依偎在侧好亲密

最近清华大学的校园里,一则路人偶遇的视频悄悄刷了屏。 本来是高校的学术活动现场,不少学生赶着去听大师讲座,没成想在人群里撞见了任泉和李冰冰。 俩人并肩走在校园的路上,没有随行的助理,也没有戴口罩墨镜刻意遮掩,就像普通的老朋友结伴闲逛,姿态松弛又熟稔。 画面传开后很快引发了讨论,内娱圈子里能维持多年的深交本就不多,异性之间能处成一辈子知己的,更是少见。 兜兜转转二十多年,站在彼此身边的还是旧相识,这

曼晚:曼联仍在商讨卡里克未来,外界普遍预计他将下课
曼晚:曼联仍在商讨卡里克未来,外界普遍预计他将下课

北京时间10月26日,《曼彻斯特晚报》透露,卡里克在曼联英格兰足球顶级联赛0-3惨败伯恩茅斯后被推到悬崖边缘。 奥马尔-贝拉达和贾森-威尔科克斯周一上午来到卡灵顿训练基地,曼联仍在商讨卡里克的未来。 周日曼联在老特拉福德0-3不敌伯恩茅斯后,卡里克的主帅位置已岌岌可危。外界普遍预计,这位45岁的教练在球队连续8场不胜后将被解除职务,而曼联本赛季各项赛事12场只赢了2场。 卡里克上周在欧冠1-4不敌

李弘权:我们最恐怖的点在于还没达到好状态
李弘权:我们最恐怖的点在于还没达到好状态

北京时间10月26日,CBA常规赛,上海男篮 99比87 击败广州男篮。赛后,李弘权接受了采访。 谈到自己第一次首发出战的感受,李弘权说:“这都是教练安排的,我只是照做而已,没什么特别。” 被问到球队磨合是否越来越好时,李弘权表示:“我相信大家都能看得到,我们通过这个夏天,每场比赛积累的磨合和默契,我们越来越好,王哲林也好,麦卡锡也好,我们整体的这个阵容,我们磨合得越来越好,越来越顺。” 谈到球队

人物志:内马尔解禁归来,桑托斯迎来复仇战
人物志:内马尔解禁归来,桑托斯迎来复仇战

2026年5月17日,圣保罗的新化学竞技场,桑托斯球迷期待内马尔带队取胜。比赛只踢了半场,记分牌却已经变成0比3。 更难堪的一幕发生在下半场:桑托斯换人沟通出了差错,内马尔竟被意外换下。他拿着换人纸条向场边解释,仍只能离开球场。 半年之后,库里蒂巴又站在面前。如今34岁的内马尔结束停赛,有机会重新走进这场让他难堪过的对决。 那天的三球惨败,甚至比比分更刺痛 那场巴甲第16轮,桑托斯名义上坐镇主场,