AI 代理在安全性和可靠性方面存在问题。尽管代理可以帮助企业自动化更多工作流程，但在执行任务时可能会产生意外行为，缺乏灵活性且难以控制。
多个组织已经对不可靠的代理发出警告，担心部署后的代理可能会忘记遵循指令。
就连 OpenAI 也承认，确保代理可靠性需要与外部开发者合作，因此开放了其 Agents SDK 来帮助解决这个问题。
然而，新加坡管理大学 (SMU) 的研究人员开发了一种解决代理可靠性的新方法。
AgentSpec 是一个特定领域框架，允许用户"定义包含触发器、谓词和执行机制的结构化规则"。研究人员表示，AgentSpec 将使代理只在用户希望的参数范围内工作。
用新方法指导基于大语言模型的代理
AgentSpec 不是一个新的大语言模型 (LLM)，而是一种指导基于 LLM 的 AI 代理的方法。研究人员认为 AgentSpec 可以用于企业环境和自动驾驶应用中的代理。
首次 AgentSpec 测试集成在 LangChain 框架上，但研究人员表示他们设计时考虑了框架无关性，这意味着它也可以在 AutoGen 和 Apollo 生态系统上运行。
使用 AgentSpec 的实验表明，它可以"防止超过 90% 的不安全代码执行，确保自动驾驶法律违规场景下的完全合规，消除具身代理任务中的危险行为，并且运行开销仅为毫秒级"。使用 OpenAI 的 o1 生成的 AgentSpec 规则也表现出色，执行了 87% 的风险代码并在 8 个场景中的 5 个场景中防止了"违法行为"。
目前的方法略显不足
AgentSpec 并非帮助开发者提升代理控制和可靠性的唯一方法。其他方法包括 ToolEmu 和 GuardAgent。初创公司 Galileo 推出了 Agentic Evaluations，用于确保代理按预期工作。
开源平台 H2O.ai 使用预测模型来提高金融、医疗、电信和政府等领域公司使用的代理准确性。
AgentSpec 的研究人员表示，当前的风险缓解方法（如 ToolEmu）能有效识别风险。他们指出"这些方法缺乏可解释性，也没有安全执行机制，使其容易受到对抗性操纵"。
使用 AgentSpec
AgentSpec 作为代理的运行时执行层工作。它在执行任务时拦截代理的行为，并添加由人类设置或通过提示生成的安全规则。
由于 AgentSpec 是一种自定义的特定领域语言，用户必须定义安全规则。这包含三个组件：第一是触发器，规定何时激活规则；第二是检查添加条件；第三是执行，规定违反规则时要采取的行动。
如前所述，AgentSpec 构建在 LangChain 上，但研究人员表示 AgentSpec 也可以集成到其他框架中，如 AutoGen 或自动驾驶车辆软件栈 Apollo。
这些框架通过接收用户输入、创建执行计划、观察结果，然后决定动作是否完成（如果未完成，则规划下一步）来协调代理需要采取的步骤。AgentSpec 在这个流程中添加了规则执行。
论文指出："在执行动作之前，AgentSpec 评估预定义的约束以确保合规性，必要时修改代理的行为。具体来说，AgentSpec 在三个关键决策点上进行干预：动作执行前 (AgentAction)、动作产生观察后 (AgentStep) 和代理完成任务时 (AgentFinish)。这些点提供了一种结构化的干预方式，而不会改变代理的核心逻辑。"
更可靠的代理
像 AgentSpec 这样的方法突显了企业对可靠代理的需求。随着组织开始规划其代理策略，技术决策者也在寻找确保可靠性的方法。
对许多人来说，代理最终将自主且主动地为用户执行任务。环境代理的理念（即 AI 代理和应用程序在后台持续运行并自行触发执行操作）需要代理不偏离其路径且不会意外引入不安全操作。
如果环境代理是代理式 AI 未来的发展方向，那么随着公司寻求使 AI 代理持续可靠，预计将会出现更多类似 AgentSpec 的方法。
