Epoch AI 的数学难题榜,题目由职业数学家出,大部分模型现在还只能拿个位数分数。
EleutherAI 的开源评测工具,支持上百个基准一键跑分,很多论文的分数都是用它跑的。
OpenAI 开源的评测框架,几百个现成评测模板,自己写新评测也方便,社区用得最多。
清华出品的中文安全评测,一万多道选择题,专测模型会不会说出危险或违规内容。
清华团队做的中文对齐评测,几百道开放式问答,看模型回答得像不像人、靠不靠谱。
289 道中文多跳搜索题,百度、必应、谷歌三边验证,考智能体在中文互联网里找答案的本事。
清华智谱的长文本评测,中英双语 21 个任务,专测模型读几万字文档后还记不记得住。
浙大团队做的音频大模型榜单,语音、声音、音乐 19 类任务,看模型到底听不听得懂。
2500 道各学科专家出的难题,号称大模型的期末大考,分数到现在也没谁能刷太高。
悬赏式的抽象推理挑战,题目人类小孩都会、大模型常翻车,想看推理真本事就看这个。
伯克利的工具调用榜单,模型调函数调得准不准、参数给得对不对,全在这儿比划。
Sierra 出的客服场景评测,模拟用户跟智能体掰扯退换货,测的是能不能稳定办成事、别乱承诺。
普林斯顿搞的编程智能体精简榜单,除了准确率,还把每家跑完全套任务的 API 花费列出来。
第三方独立跑分站,MMMU Pro 这套题他们自己重跑了一遍,还附带每个模型的调用成本。
2300 组图文有害提问,专门考多模态模型的安全底线,陪审团式打分,榜单一直在更新。



