Gartner:利用模型护栏规范GenAI的行为和输出

8个月前 科技 72观看
摘要 当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要

当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要的实现方法,74%的受访者通过对现有GenAI模型进行定制化调整来满足自身用例的需求,65%的受访者尝试自行训练定制GenAI模型。pa5喜好网-记录每日喜好的科技时尚娱乐生活

然而,实施GenAI绝非易事。对于创造性和通用性的追求,往往会增加GenAI解决方案的复杂性、不确定性和生成非预期结果的可能性,而这也成为了GenAI企业采用面临的主要问题。GenAI解决方案的创造性和通用性越强,出现非预期行为和输出(如幻觉、有害内容超出应用范围的内容等)的可能性越高(见图1)。pa5喜好网-记录每日喜好的科技时尚娱乐生活

Gartner:利用模型护栏规范GenAI的行为和输出pa5喜好网-记录每日喜好的科技时尚娱乐生活

图1:在创造性与通用性之间取得平衡pa5喜好网-记录每日喜好的科技时尚娱乐生活

选择基于GenAI模型自行构建GenAI解决方案的企业机构,其负责AI工作的数据和分析(D&A)领导者应利用开源护栏、商业护栏和自建护栏这三种护栏工具来控制GenAI模型的输入和输出,验证并矫正GenAI模型的输入和输出,提高模型的可靠性。pa5喜好网-记录每日喜好的科技时尚娱乐生活

评估并优化GenAI解决方案的创造性和通用性pa5喜好网-记录每日喜好的科技时尚娱乐生活

GenAI模型可兼具创造性和通用性。企业机构通常需要在广泛的场景中使用GenAI解决方案,而这些场景对于解决方案创造性和通用性的需求各不相同。因此,必须根据部署目的和具体场景下的功能需求,确定GenAI解决方案的定位,并根据在创造性和通用性两个方面的具体需求,利用护栏工具建立控制策略和机制。pa5喜好网-记录每日喜好的科技时尚娱乐生活

负责AI工作的D&A领导者应基于GenAI解决方案的使用场景和方式,确定相应的业务风险容忍度,具体取决于:pa5喜好网-记录每日喜好的科技时尚娱乐生活

  • 业务用例的重要性
  • 用于内部用途还是面向客户
  • 是否引入了人工监督

而后,应根据业务风险容忍度,利用护栏工具管理模型输入和输出,建立严格或宽松的控制机制,并最终在创造性和通用性之间取得最佳平衡。pa5喜好网-记录每日喜好的科技时尚娱乐生活

利用模型护栏验证和矫正模型的输入和输出pa5喜好网-记录每日喜好的科技时尚娱乐生活

使用护栏工具,是管理GenAI模型创造性和通用性的一个切实可行的方法。护栏(在GenAI模型和应用与最终用户之间建立防护层)可以监控和管理模型的全部流量,包括用户输入和模型/应用输出(见图2)。pa5喜好网-记录每日喜好的科技时尚娱乐生活

Gartner:利用模型护栏规范GenAI的行为和输出pa5喜好网-记录每日喜好的科技时尚娱乐生活

图2:护栏部署在用户与GenAI模型之间pa5喜好网-记录每日喜好的科技时尚娱乐生活

以下是两种典型护栏:pa5喜好网-记录每日喜好的科技时尚娱乐生活

  • 用于控制最终用户输入的模型护栏:所有用户请求都必须经护栏过滤,以清除非预期的请求,包括超出GenAI解决方案应用范围的请求和违反可接受使用政策的请求。通过这种方式,护栏可以将解决方案的通用性控制在可管理的范围内,就像建立了一个安全围栏。
  • 用于控制GenAI输出的模型护栏:所有模型输出都必须经过护栏的验证,但不同的用例对于模型创造性的需求存在差异,因而需要对模型施加不同程度的控制。但是,对于开发GenAl驱动的企业级搜索引擎或面向客户的聊天机器人的情况,必须对模型输出进行更为严格的验证和控制,以调节模型的创造性,并确保最终用户可以得到可靠且符合预期的结果。

需要注意的是,护栏并非“灵丹妙药”,不能完全解决GenAI解决方案的行为和准确性问题。GenAI解决方案必须在准确性与企业机构的风险承受能力之间取得平衡。pa5喜好网-记录每日喜好的科技时尚娱乐生活

此外,伴随GenAI的快速发展,护栏技术也在不断变化和改进。鉴于神经网络的不可预测性,护栏技术目前是验证和矫正GenAI模型输出的一种切实可行的方法。长期来看,在基础GenAI模型变得足够可靠和可信之前,护栏提供了一种过渡解决方案,可以帮助企业机构推动GenAI采用。pa5喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
‌TCL华星宣布印刷OLED量产及APEX技术品牌‌

‌TCL华星宣布印刷OLED量产及APE

11-19 110阅读
GOG 商店确保经典游戏长期兼容,首批 100 款上线

GOG 商店确保经典游戏长期兼容,首

11-19 129阅读
炒过Labubu,再也忘不掉日入2万的滋味

炒过Labubu,再也忘不掉日入2万的

“家

11-19 123阅读
生成式AI热潮之下,应届毕业生的机会何在?

生成式AI热潮之下,应届毕业生的机

图片来源:由无界AI生成“互联网充

11-19 119阅读
川普赢了,马斯克能当上 AI 部部长吗?

川普赢了,马斯克能当上 AI 部部长

图片来源:由无界AI生成2018 年,扎

11-19 111阅读
丁禹兮vs范丞丞,偶像演员演技大赏

丁禹兮vs范丞丞,偶像演员演

作者 / 张   特编辑 / 阿   笔运

11-19 102阅读
《永夜星河》三折叠剧情,怎么「折」都有面儿

《永夜星河》三折叠剧情,怎

作者 / 郑容和编辑 / 朱   婷运营

11-19 107阅读
张歆艺第一任老公竟不是袁弘,二婚竟能被宠着这样令人羡慕

张歆艺第一任老公竟不是袁

大家都很喜欢袁弘吧?不仅仅是因为

11-19 102阅读
戈壁和江百丽结局,男方不爱女方,女生到最后一无所有

戈壁和江百丽结局,男方不爱

《暗恋橘生淮南》中江百丽和戈壁

11-19 205阅读
文化输出第一人!网红博主李子柒回归 时隔三年更新视频

文化输出第一人!网红博主李

11月12日消息,今

11-19 115阅读
每年冠军纪录,九号品牌见证AG成就电竞传奇

每年冠军纪录,九号品牌见证

11月16日,KPL年度总决赛决赛在万众瞩目

11-19 113阅读
《燕云十六声》PC版不锁帧 1060可畅玩中画质

《燕云十六声》PC版不锁帧

《燕云十六声》官博发布新的文章,主要

11-19 114阅读
新斗罗大陆兑换码,2024新斗罗大陆礼包兑换码

新斗罗大陆兑换码,2024新

新斗罗大陆是一款十分好玩的手游,如果你

11-19 113阅读
原子之心村子区域所有啁啾表位置详细介绍

原子之心村子区域所有啁啾

原子之心游戏的村子区域里面一共拥有4

11-19 132阅读
饥荒蜘蛛网超详细获取方法分享

饥荒蜘蛛网超详细获取方法

蜘蛛网是饥荒游戏里面的一个常用材料,有

11-19 128阅读