据 Dell Technologies 全球 AI 解决方案专家 Soo Mei May 表示，那些正在探索人工智能代理能力的组织必须为大幅增长的基础设施需求做好准备，这种需求将会超出现有生成式 AI 的要求。
在最近接受 Computer Weekly 采访时，Soo 指出，代理式 AI 的早期实现可能会是“简单直接的”，不需要使用强化学习，但若要将其应用扩展到多个业务职能，就必须投入超过当前仅支持单一职能代理式 AI 实验的生成式 AI 基础设施。
Soo 解释说：“对于生成式 AI，你只需输入 Token 并获取输出 Token；而对于代理式 AI，Token 的数量将会增加 20 到 30 倍，这就需要更多的计算能力。”
Soo 补充道，除了计算能力以外，对内存和存储的要求也会大幅提升。“在代理式 AI 中，你需要持久且长期的内存来存储所有过去的对话记录，因此存储需求将会非常庞大，而且你需要在未来三到五年内保留这些数据。”
这种增加的存储需求不仅仅是为了对话数据，还用于治理。“代理的自主性使得在整个系统中构建透明度和可解释性变得更加紧迫，”Soo 说道。“我们需要持续记录所有内容，这样才能解释为什么一个代理会得出某个结论，例如，这再次意味着存储需求会更高。”
对于网络基础设施而言，代理式 AI 系统通常涉及多个代理互相交互，并同时从内部和外部来源检索数据，这对网络也提出了重大挑战。Soo 表示：“延迟在这里无疑扮演着非常重要的角色。如果一个代理花费五分钟来查找信息，那是行不通的。因此，网络部分必须非常坚固。”
尽管许多组织——特别是金融服务、制造业和医疗保健领域的机构——已经构建了强大的内部部署或云端生成式 AI 能力，但代理式 AI 要将应用扩展到更多业务职能，仍需进一步投资，Soo 指出。
在支持代理式 AI 应用的大语言模型部署方面，Soo 表示，组织需要一款至少含有 700 亿参数的协调器模型，才能有效规划和调度 AI 代理并做出连贯决策。
她还补充说，针对狭窄、专注任务表现更优的小型语言模型，可以用于支持大语言模型，同时大语言模型还可以调用机器学习模型来处理特定的预测任务。
Dell 正在通过培训会、研讨会和概念验证项目，帮助客户和合作伙伴为向代理式 AI 的转变做好准备。但 Soo 认为，主要的挑战不在于技术技能差距，而在于组织如何运用代理式 AI以及对其本质的理解。
她说：“他们可能认为这只是一个大语言模型，但实际上很少有人知道这实际上是一个包含多项组件的系统——不仅仅是一个大语言模型；你还需要一个协调器、一个提示系统、持久记忆、工具调用以及与代理和用户的接口。但我相信他们的认知正在不断提高，因为他们正在花时间去深入了解它。”
