#benchmark
共 7 篇相关内容 · 安全漏洞、AI动态、技术文章
技术文章 2
Multi-LCB:大模型写代码真的只会Python吗?跨12种编程语言的全面测试揭示了惊人真相
LiveCodeBench是当前最流行的代码生成基准测试之一,但它只考察Python。Multi-LCB将其扩展到12种编程语言,对24个大模型进行了全面评估。结果发现:多数模型存在严重的Python过拟合问题,在其他语言上的表现大幅下滑;不同语言之间的性能差异远超预期;甚至有证据表明某些语言可能受到了数据污染的影响。这项研究为代码大模型的真实能力提供了更全面的衡量标准。
Multi-LCB:把代码能力评测从Python扩展到12种编程语言,大模型的「偏科」问题暴露无遗
Multi-LCB将LiveCodeBench从Python扩展到12种编程语言,评估24个大语言模型后发现三个关键现象:Python过拟合(模型在Python上表现远超其他语言)、语言特定的数据污染、以及多语言性能的巨大落差。该基准测试被ICLR 2026接收,为评估模型真正的跨语言编程能力提供了严谨工具。
情报动态 5
Gemini 4 Carbon 发布:Google 新一代旗舰 LLM
Google 11-10 发布 Gemini 4 Carbon 及 batch 版本。在 Anthropic 公布的 AutomationBench 业务流程评测中领先,但 FrontierCode 2.0 得分 41.1% 低于 Fable 5.2 的 49.1%。
Fable 5.2 协调 1000+ 子 Agent 八天从零构建可启动操作系统
Anthropic 披露 Fable 5.2 从空目录起步,协调 1000+ 子 Agent 八天产出含内核、磁盘/网络驱动、GUI 与安装器的可启动系统。同时内部 90% 以上合入代码由 Claude 编写。
Claude Opus 5.5 发布,benchlm 排行 #2,得分 86.4,1M 上下文
Anthropic Claude Opus 5.5 得分 86.4,1M 上下文,定价 $4/$20,Supported 评级
Gemini 4 Carbon 登顶 benchlm 排行榜 #1,得分 88.79
Google Gemini 4 Carbon 以 88.79 分登顶 LLM 排行榜,定价 $2/$10,Estimated 标签
BenchLM 11月 LLM 排行榜:Gemini 4 Carbon 居首 (88.38),Claude Opus 5.5 第二 (86.29)
GPT-6 Astra 第三 (86.07),GPT-6.1 Sol 第四 (85.27);GPT-6.1 Terra 以 80.46 分保留 91% 顶分但输出价格仅 1/10