【新智元导读】AI版「狼人杀」巅峰局开大ღ◈★◈!全球七大顶尖LLM狂飙演技ღ◈★◈,210场高能对战ღ◈★◈,GPT-5最终一举夺冠ღ◈★◈,GPT-OSS垫底ღ◈★◈。暗算ღ◈★◈、心理战轮番上演ღ◈★◈,场面一度失控ღ◈★◈。
这是最新基准——Werewolf Benchmarkღ◈★◈,对全球开/闭源LLM尖子生ღ◈★◈,开展的社交推理AI强压测试ღ◈★◈。
游戏设定ღ◈★◈,分列为「2位狼人」和「4个村民」两大阵营立即博游戏平台网址ღ◈★◈,6人局中还有两位特殊角色ღ◈★◈:女巫ღ◈★◈、预言家ღ◈★◈。
去年立即博官网ღ◈★◈,在狼人杀游戏中ღ◈★◈,谷歌研究院通过社交推理评估过LLMღ◈★◈,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架ღ◈★◈。
随着它们在关键任务中承担起更多的责任和自主性穿书肤滑娇软糯女配ღ◈★◈,大家有必要深入理解它们的行为模式ღ◈★◈、决策过程以及社交互动的复杂性ღ◈★◈。
每对模型将进行10场比赛ღ◈★◈:其中5场比赛中穿书肤滑娇软糯女配ღ◈★◈,一个模型控制狼人角色ღ◈★◈,而另一个模型扮演村民角色ღ◈★◈;在另外5场比赛中ღ◈★◈,角色互换ღ◈★◈。
在此ღ◈★◈,它建立了一个严苛的ღ◈★◈、基于证据的发言框架ღ◈★◈,要求每位玩家必须「拿出实证」ღ◈★◈、「引用原话」ღ◈★◈,并提出可被证伪的论断」立即博游戏平台网址立即博棋牌官网ღ◈★◈。
它并不直接指控对手身份立即博游戏平台网址ღ◈★◈,而是通过「程序性瑕疵」让无辜玩家被定罪ღ◈★◈,比如回避问题ღ◈★◈、发言前后矛盾等ღ◈★◈。
再来看Gemini 2.5 Proღ◈★◈,狼人杀博弈中ღ◈★◈,它是一位务实且具备场控力的社交「掠食者」ღ◈★◈。
Gemini 2.5 Pro首要武器是「叙事重定向」ღ◈★◈,面对质控ღ◈★◈,不纠缠于事实本身ღ◈★◈,而是关注指控者的可信度ღ◈★◈、动机ღ◈★◈、逻辑漏洞ღ◈★◈。
这一次ღ◈★◈,依旧是GPT-5登榜首ღ◈★◈,不过第二名Gemini 2.5 Pro与其实力可以相提并论ღ◈★◈。
作为村民ღ◈★◈,GPT-5瞬间化身为一位冷静ღ◈★◈、超理性的司法组织者ღ◈★◈,纯粹的逻辑+严苛的程序化思维ღ◈★◈,将混乱的社交博弈转化为有序的案件ღ◈★◈。
它将其他玩家的发言ღ◈★◈,视为待验证的假设立即博游戏平台网址ღ◈★◈,而非真正的陈述ღ◈★◈。总的来说立刻博棋牌ღ◈★◈,ღ◈★◈,GPT-5就是村庄的AI最强大脑ღ◈★◈,带领村民赢得胜利ღ◈★◈。
然而ღ◈★◈,Gemini对纯粹逻辑的坚定信仰ღ◈★◈,也是其最易被利用的弱点ღ◈★◈。面对精心构造但本质虚假的逻辑论点ღ◈★◈,极易被操控ღ◈★◈。
第三回合立即博游戏平台网址ღ◈★◈,Gemini 2.5 Pro还选择了沉默ღ◈★◈,成了一种自信而不施压的信号ღ◈★◈,最终巩固了联盟ღ◈★◈。
这需要它具备框架化穿书肤滑娇软糯女配ღ◈★◈、在盘问下编故事和应对反击的能力ღ◈★◈。这自然地测试了标准基准测试中很少出现的说服技巧ღ◈★◈。
当模型扮演村民角色时ღ◈★◈,它必须从零开始积累知识ღ◈★◈,以对抗操纵ღ◈★◈。这包括保护关键角色ღ◈★◈、拒绝早期框架化ღ◈★◈,并仅根据可验证的信号更新信念ღ◈★◈。
自我毁灭(Auto-sabotage)ღ◈★◈:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例ღ◈★◈。
首日协调检测(Day 1 coordination detection)ღ◈★◈:衡量模型在首日作为村民时立即博游戏平台网址ღ◈★◈,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力立即博游戏平台ღ◈★◈。ღ◈★◈。
操纵成功指标是一个简单的代理指标ღ◈★◈:当模型扮演狼人时ღ◈★◈,在某一白天阶段ღ◈★◈,村民淘汰了村民而不是狼人的比例ღ◈★◈。
操纵成功率(第一天/第二天)= 当模型扮演狼人时ღ◈★◈,村民淘汰了村民而不是狼人的白天阶段的百分比
GPT-5在这方面表现突出穿书肤滑娇软糯女配ღ◈★◈,其在第一天和第二天作为狼人时ღ◈★◈,成功误导村民投票淘汰无辜村民的比例均约为93%ღ◈★◈。
该指标衡量模型作为村民时ღ◈★◈,在第一天成功淘汰狼人的游戏比例ღ◈★◈。这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力ღ◈★◈。
不过ღ◈★◈,这次的测试预算有限ღ◈★◈,还远未达到终点标把药ღ◈★◈,ღ◈★◈。研究员计划将测试扩展到更多的模型穿书肤滑娇软糯女配立即博游戏平台网址ღ◈★◈,以及更长时间立即博游戏平台网址ღ◈★◈、更复杂的游戏场景ღ◈★◈。