Galileo Technologies Inc.（一家专门开发 AI 模型观察和评估工具的公司）今天推出了 Agentic Evaluations 平台，该平台旨在评估由大语言模型驱动的 AI 代理系统的性能。
该公司表示，他们正在解决代理系统带来的额外复杂性问题。这些软件机器人具备决策能力，能够在几乎不需要人工监督的情况下，跨多个步骤进行规划、推理和执行任务，并能适应不断变化的环境和场景。
由于代理系统的行为具有情境依赖性，开发人员往往难以理解故障发生的时间和原因。但这并未影响人们对这项技术在提升工作流程效率方面的兴趣。Gartner Inc. 预测，到 2028 年，33% 的企业软件应用将包含代理式 AI，而 2024 年这一比例还不到 1%。
代理系统以新的方式挑战着现有的开发和测试技术。首先，它们可以针对用户请求选择多个动作序列，这使其行为难以预测。复杂的代理工作流程难以建模，需要更复杂的评估方法。代理系统可能会使用多个大语言模型，这使得性能和成本更难确定。随着工作流程的规模和复杂性增加，错误风险也会增大。
Galileo 表示，其 Agentic Evaluations 为系统级和逐步评估提供了完整的生命周期框架。它让开发人员可以查看整个多步骤代理过程，从输入到完成的全过程，通过追踪和简单的可视化展示，帮助开发人员快速定位效率低下和错误之处。该平台使用一套专有的"LLM-as-a-Judge"指标（一种使用大语言模型来检查和评判任务的评估技术），专门服务于构建代理系统的开发人员。
评估指标包括对大语言模型规划器是否选择了正确的工具和参数的评估、对单个工具错误的评估、反映最终目标进展的追踪，以及最终行动与代理系统原始指令的一致性。根据公司博客文章显示，这些指标的准确率在 93% 到 97% 之间。
平台使用专有的、基于研究的指标在多个层面测量性能。开发人员可以选择参与规划的大语言模型，并评估单个任务中的错误。
跨会话和时间段的成本、延迟和错误的聚合跟踪有助于成本和延迟测量。警报和仪表板有助于识别系统性问题，以实现持续改进，例如工具调用失败或行动与指令之间的不一致。该平台支持流行的开源 AI 框架 LangGraph 和 CrewAI。
Agentic Evaluations 现已向所有 Galileo 用户开放。该公司已筹集 6800 万美元资金，包括去年十月的 4500 万美元融资轮。
