MLCommons 牵头 80 多家机构搞的安全基准,测模型会不会输出危险回答,题库保密防作弊。

GLUE 之后更难的一套英语理解测试,8 个任务拼一个总分,老牌基准,现在基本被刷满了。

1.1 万道大学难度的图文题,艺术医学工程全覆盖,专治只会看图不会做题的多模态模型。

Scale AI 自家跑的榜单,20 多个前沿评测放一起,HLE、SWE-Bench Pro 这些硬骨头都在这儿更新。

港大团队做的电脑操作评测,369 个真实桌面任务,看智能体能不能自己点鼠标、敲键盘把活儿干完。

人工维护的大模型榜单导航页,只收录还在更新的榜单,每个附一段介绍,找评测入口时方便。

公开原始分数的榜单站,MMLU-Pro、GPQA、SWE-bench 一表看全,每行还标价格和分数来源。

中文站做的国产多模态模型排名,8 个维度打分、标注证据等级,每期更新时还会说明评分逻辑。

国内团队做的中文大模型生成能力评测,1.1 万道覆盖 55 个学科的问答题,用 Gscore 综合打分。

清华、智谱、北大联合做的中文视觉问答对齐评测,用自研 CritiqueVLM 打分,关注中文场景下的图文理解。

1140 道贴近实际开发的编程题,涉及 139 个库、7 个领域,考的是调库写代码的综合能力。

SWE-bench 的多语言扩展版,覆盖 Java、TS、Go 等 7 种语言,看模型修真实仓库 issue 的本事。

测通用 AI 助手解决真实多步骤任务的能力,题目需要上网查资料、用工具,不是单纯问答。

文本向量模型的公开榜单,覆盖检索、分类、聚类等 8 类任务和上百种语言,选 embedding 模型前可以先来查。

加州伯克利做的工具调用评测,看模型调函数、并行调用和 REST、SQL 的准度,版本已到 v4。

用更严格的测试用例重测 HumanEval、MBPP 类代码榜,专治刷榜过拟合,看真实代码能力。

持续从最新编程竞赛收录新题,靠时间戳防题目污染,测代码生成、修 bug 和执行预测。

让模型在 Aider 里真实改代码,按 225 道多语言练习题的通过率排名,顺带记录每次运行的成本。

知名 AI 研究机构 Epoch AI 的评测数据中心,有自研的综合能力指数 ECI,方法论写得比较细。

收录 200 多个 LLM 基准的导航站,每个基准标注由谁评测、测了多少模型,找榜单时很省事。

Telegram

联系telegram

关注我们
关注我们
客服微信

点击复制微信号

私域神器

前往私域神器