多模态数学推理评测集,含3040道真实数学竞赛题,覆盖16个学科与5个难度等级。
视频细粒度运动理解评测基准,含8052道问题,覆盖运动识别等6类运动理解任务。
音频通用智能综合评测基准,含5305个专家标注实例,覆盖49项听觉感知与推理技能。
视频生成模型综合评测基准,设16个评测维度,评测结果与人类偏好高度一致。
上海人工智能实验室数据价值评测平台,覆盖120多个数据集与22项基准,提供数据榜单。
国际奥数级数学推理评测套件,含答案、证明与评分四项基准,检验模型深度推理能力。
精英视觉必需多模态评测基准,含1500道精选样本,覆盖6大能力与18个细分维度。
大模型危险知识代理评测基准,含3668道选择题,覆盖生物、网络与化学安全三领域。
超长第一视角视频问答评测,含5000多道人工题目,覆盖250小时真实生活视频。
大模型越狱攻击鲁棒性评测基准,含100条误用行为,提供攻击与防御双榜单。
大模型安全拒答行为评测基准,含440条不安全指令,覆盖44类风险话题与50多个模型。
基于真实用户对话的大模型评测,精选1024项挑战任务,用WB评分衡量综合表现。
语音助手大模型评测基准,含6783条语音指令与8项任务,榜单覆盖47个模型。
大规模多任务音频理解评测,含1万段音频与27项技能,覆盖语音、声音与音乐三领域。
视觉感知能力评测基准,含14项任务与3807道选择题,专测多模态模型看图理解水平。
数学推理视觉评测集,整合31个数据集的6141道例题,考查模型读图解题能力。
长视频理解评测基准,含3763段视频与6678道人工标注问题,覆盖17类场景,最长达1小时。
首个全面视频多模态评测基准,含900段视频与2700道问答,覆盖6大领域30个子领域。
智能体评测基准,模拟软件公司环境设置175项真实职业任务,考验模型联网、写代码与多轮协作能力。
清华团队的长上下文评测,503道难题覆盖8千到200万词,榜单按有无思维链分别计分。



