Epoch AI 的数学难题榜,题目由职业数学家出,大部分模型现在还只能拿个位数分数。

研究生级别的科学问答集,题目难到连领域专家都要查资料,是推理能力的试金石。

谷歌牵头的超大评测集合,两百多个任务,专门挑大模型还做不好的难题,题目年年加。

英国 AI 安全研究院的评测框架,专为安全评估设计,想做合规评测可以直接拿来用。

EleutherAI 的开源评测工具,支持上百个基准一键跑分,很多论文的分数都是用它跑的。

OpenAI 开源的评测框架,几百个现成评测模板,自己写新评测也方便,社区用得最多。

阿里达摩院的中文价值观评测,测模型的安全性和责任感,附带了人工标注的对比数据。

清华出品的中文安全评测,一万多道选择题,专测模型会不会说出危险或违规内容。

清华团队做的中文对齐评测,几百道开放式问答,看模型回答得像不像人、靠不靠谱。

67 个中文学科的综合知识评测,题库对标 MMLU,想看模型中文功底的可以对照着看。

289 道中文多跳搜索题,百度、必应、谷歌三边验证,考智能体在中文互联网里找答案的本事。

清华智谱的长文本评测,中英双语 21 个任务,专测模型读几万字文档后还记不记得住。

浙大团队做的音频大模型榜单,语音、声音、音乐 19 类任务,看模型到底听不听得懂。

2500 道各学科专家出的难题,号称大模型的期末大考,分数到现在也没谁能刷太高。

悬赏式的抽象推理挑战,题目人类小孩都会、大模型常翻车,想看推理真本事就看这个。

伯克利的工具调用榜单,模型调函数调得准不准、参数给得对不对,全在这儿比划。

Sierra 出的客服场景评测,模拟用户跟智能体掰扯退换货,测的是能不能稳定办成事、别乱承诺。

普林斯顿搞的编程智能体精简榜单,除了准确率,还把每家跑完全套任务的 API 花费列出来。

第三方独立跑分站,MMMU Pro 这套题他们自己重跑了一遍,还附带每个模型的调用成本。

2300 组图文有害提问,专门考多模态模型的安全底线,陪审团式打分,榜单一直在更新。

Telegram

联系telegram

关注我们
关注我们
客服微信

点击复制微信号

私域神器

前往私域神器