面向生成式应用的生产平台,整合网关、可观测、护栏与提示词管理,支持多模型接入。

面向生成式应用的网关与可观测平台,可路由、调试并分析模型调用的成本与质量。

面向生成式应用的评测与可观测平台,支持离线评测并把评测转化为线上护栏。

基于开源评测框架的企业级平台,提供五十余项指标,可把线上故障沉淀为回归用例。

专用于检索增强生成系统的开源评测框架,从忠实度与答案相关性等维度打分。

面向智能体的可观测与评测平台,把线上信号转化为持续改进依据,支持追踪与评分。

为智能体提供可观测性与评测工具,可用数据集做实验,对比提示词与模型版本效果。

同一对话中并行调用多个前沿模型并排展示回答,便于直观比较推理过程与表达差异。

以二百余道选择题考查空间、时间与社会常识推理,普通人基线约为百分之八十四。

面向中文基础模型的评测集,含一万余道覆盖五十二个学科的选择题,分四个难度层级。

以匿名双模型盲测与用户投票生成排行榜,覆盖文本、代码、视觉与智能体等多个榜单。

收录上千个模型在二十余项公开基准上的成绩,支持按基准排序并横向对比模型表现。

大模型应用的单元测试框架,十几种评测指标开箱即用,CI 里跑 RAG 效果全靠它。

开源的提示词评测工具,批量跑提示词、对比不同模型输出,做提示词工程的人都在用。

终端环境里的智能体评测,模型要在真实命令行里装软件、改配置、修 bug,全程自动判分。

清华团队的智能体评测,8 个环境 20 多种任务,专看模型能不能像人一样多步操作。

测 AI 智能体上网办事能力的基准,八百多个真实网站任务,看模型能不能自己订票填表。

Vellum 维护的模型能力排行榜,按任务类型分榜展示,选模型前可以先来这儿比一比。

Scale AI 做的数学竞技榜,模型在线解竞赛题实时排名,能看到各家数学能力的真实差距。

专注评估 AI 自主能力的非营利机构,做过不少智能体长任务评测,报告写得很扎实。

Telegram

联系telegram

关注我们
关注我们
客服微信

点击复制微信号

私域神器

前往私域神器