面向生成式应用的生产平台,整合网关、可观测、护栏与提示词管理,支持多模型接入。
面向生成式应用的网关与可观测平台,可路由、调试并分析模型调用的成本与质量。
面向生成式应用的评测与可观测平台,支持离线评测并把评测转化为线上护栏。
基于开源评测框架的企业级平台,提供五十余项指标,可把线上故障沉淀为回归用例。
专用于检索增强生成系统的开源评测框架,从忠实度与答案相关性等维度打分。
面向智能体的可观测与评测平台,把线上信号转化为持续改进依据,支持追踪与评分。
为智能体提供可观测性与评测工具,可用数据集做实验,对比提示词与模型版本效果。
同一对话中并行调用多个前沿模型并排展示回答,便于直观比较推理过程与表达差异。
以二百余道选择题考查空间、时间与社会常识推理,普通人基线约为百分之八十四。
面向中文基础模型的评测集,含一万余道覆盖五十二个学科的选择题,分四个难度层级。
以匿名双模型盲测与用户投票生成排行榜,覆盖文本、代码、视觉与智能体等多个榜单。
终端环境里的智能体评测,模型要在真实命令行里装软件、改配置、修 bug,全程自动判分。
清华团队的智能体评测,8 个环境 20 多种任务,专看模型能不能像人一样多步操作。
Vellum 维护的模型能力排行榜,按任务类型分榜展示,选模型前可以先来这儿比一比。



