Nvidia 公司今天宣布发布新的 Nvidia 推理微服务 (Nvidia Inference Microservices)，旨在帮助企业组织开发人工智能代理，以解决信任、安全和安全性问题。
AI 代理是一项正在蓬勃发展的技术，它正在彻底改变人们与计算机的交互方式，但同时也带来了几个关键问题。目前，主动式 AI 正在改变知识型员工完成任务的方式以及客户与品牌"对话"的方式，但底层的大语言模型仍可能出现偏差，产生不必要的响应，或者在恶意用户突破其安全防护时造成安全隐患。
Nvidia NIM 是一组容器化微服务，旨在加速生成式 AI 模型的部署。今天的公告是对 NeMo Guardrails 的扩展，后者是一个面向开发者的保护框架，用于管理 AI 模型，使其能够构建更安全、更可信的 AI 代理。
Nvidia 发布了三个 NIM 微服务，涵盖主题控制、内容安全和越狱保护。这些微服务是经过高度优化的小型轻量级 AI 模型，用于调节大型模型的响应，以提高应用程序性能。
Nvidia 企业 AI 模型、软件和服务副总裁 Kari Briski 表示："新微服务之一是为调节内容安全而构建的，它使用 Aegis 内容安全数据集进行训练，这是该类别中最高质量的人工标注数据源之一。"
该数据由 Nvidia 负责管理，包含超过 35,000 个人工标注的数据样本，用于标记 AI 安全性和绕过系统限制的越狱尝试。该数据集将于今年晚些时候在 Hugging Face 上公开。
例如，主题控制 NIM 有助于防止代理变得过于"健谈"或偏离其原始任务，使其保持在主题上。与 AI 聊天机器人的对话越长，它就越有可能忘记聊天的原始意图，对话可能开始偏离主题，这类似于人类对话的特点。虽然这对人来说可以接受，但对聊天机器人来说却是个问题，特别是对于可能开始谈论著名摇滚明星或竞争产品的品牌 AI 代理来说。
Briski 说："像 NeMo Guardrails 集合中的小型语言模型这样的模型具有更低的延迟，即使在资源受限或分布式环境中也能高效运行。这使它们非常适合在医疗保健、汽车和制造业等行业中扩展 AI 应用，比如在医院或仓库等场所。"
NIM 方法允许开发人员在最小额外延迟的情况下叠加多个保护措施。这对于大多数生成式 AI 应用程序来说非常重要，因为客户不喜欢在等待文本出现或语音开始说话时看到三个点闪烁或圆圈旋转。
Lowe's 公司数据、AI 和创新高级副总裁 Chandhu Nair 表示："我们一直在寻找帮助员工为客户提供更好服务的方法。"这家家居装修零售商与 Nvidia 合作，使用 AI 协助客户和员工。"通过最近部署的 Nvidia NeMo Guardrails，我们确保 AI 生成的响应是安全、可靠的，并强制执行对话边界，只提供相关和适当的内容。"
