
GDPx是一项针对前沿智能领域最具价值领域的基准测试,旨在成为衡量通用智能代理能力的全球最佳评测标准。
我们确信,人工智能的首个万亿美元收入将集中在那些能够以高投资回报率部署前沿智能的行业,而非广泛扩散至整个经济体。因此,基于GDP份额或SOC/O*NET职业分类法构建通用基准测试是一种错误的做法。若您的目标是追踪前沿模型的进展,就应该聚焦于它们将产生最大影响力的领域。

具体而言,我们涵盖以下领域:
-
芯片设计
-
网络安全
-
生物学
-
金融
-
法律
-
量化交易
-
递归自我改进(RSI)
-
硬件设计
-
材料科学
-
对齐研究
-
软件工程

同时,我们有意排除了政府、房地产和保险等行业。
结果解读

GDPx是一个真正的前沿级别基准测试:即使是最优秀的模型得分也仅为12%。
需要强调的是,某些模型如Opus 5.5和GPT-6 Astra由于其安全分类器的存在,整体得分有所保留。如果我们排除网络安全、生物学和对齐研究——这三个领域中安全分类器有时会起作用的领域——则会得到不同结果。

我们对这一排名与我们主观印象的契合度感到惊喜。OpenAI和Anthropic通常占据排名的前列,而SpaceXAI、Meta以及开源模型则明显落后。Gemini 4 Carbon是Google的真正突破,是唯一与Opus和Astra处于同一水平的模型。一旦Carbon公开发布,人们对其的印象将非常有趣。
我们认为,在为特定用例选择最佳模型时,安全分类器的相关性被低估了。例如,Muse Wonder Full实际上是当今最佳的网络安全模型,优势显著。

我们还观察到,所有领先模型在各项能力上存在显著波动性。
关注微信号:智享开源 ,及时了解更新信息。





































原文链接:https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities
还没有任何评论,你来说两句吧!