Gartner:利用模型护栏规范GenAI的行为和输出

5个月前 科技 49观看
摘要 当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要

当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要的实现方法,74%的受访者通过对现有GenAI模型进行定制化调整来满足自身用例的需求,65%的受访者尝试自行训练定制GenAI模型。j1t喜好网-记录每日喜好的科技时尚娱乐生活

然而,实施GenAI绝非易事。对于创造性和通用性的追求,往往会增加GenAI解决方案的复杂性、不确定性和生成非预期结果的可能性,而这也成为了GenAI企业采用面临的主要问题。GenAI解决方案的创造性和通用性越强,出现非预期行为和输出(如幻觉、有害内容超出应用范围的内容等)的可能性越高(见图1)。j1t喜好网-记录每日喜好的科技时尚娱乐生活

Gartner:利用模型护栏规范GenAI的行为和输出j1t喜好网-记录每日喜好的科技时尚娱乐生活

图1:在创造性与通用性之间取得平衡j1t喜好网-记录每日喜好的科技时尚娱乐生活

选择基于GenAI模型自行构建GenAI解决方案的企业机构,其负责AI工作的数据和分析(D&A)领导者应利用开源护栏、商业护栏和自建护栏这三种护栏工具来控制GenAI模型的输入和输出,验证并矫正GenAI模型的输入和输出,提高模型的可靠性。j1t喜好网-记录每日喜好的科技时尚娱乐生活

评估并优化GenAI解决方案的创造性和通用性j1t喜好网-记录每日喜好的科技时尚娱乐生活

GenAI模型可兼具创造性和通用性。企业机构通常需要在广泛的场景中使用GenAI解决方案,而这些场景对于解决方案创造性和通用性的需求各不相同。因此,必须根据部署目的和具体场景下的功能需求,确定GenAI解决方案的定位,并根据在创造性和通用性两个方面的具体需求,利用护栏工具建立控制策略和机制。j1t喜好网-记录每日喜好的科技时尚娱乐生活

负责AI工作的D&A领导者应基于GenAI解决方案的使用场景和方式,确定相应的业务风险容忍度,具体取决于:j1t喜好网-记录每日喜好的科技时尚娱乐生活

  • 业务用例的重要性
  • 用于内部用途还是面向客户
  • 是否引入了人工监督

而后,应根据业务风险容忍度,利用护栏工具管理模型输入和输出,建立严格或宽松的控制机制,并最终在创造性和通用性之间取得最佳平衡。j1t喜好网-记录每日喜好的科技时尚娱乐生活

利用模型护栏验证和矫正模型的输入和输出j1t喜好网-记录每日喜好的科技时尚娱乐生活

使用护栏工具,是管理GenAI模型创造性和通用性的一个切实可行的方法。护栏(在GenAI模型和应用与最终用户之间建立防护层)可以监控和管理模型的全部流量,包括用户输入和模型/应用输出(见图2)。j1t喜好网-记录每日喜好的科技时尚娱乐生活

Gartner:利用模型护栏规范GenAI的行为和输出j1t喜好网-记录每日喜好的科技时尚娱乐生活

图2:护栏部署在用户与GenAI模型之间j1t喜好网-记录每日喜好的科技时尚娱乐生活

以下是两种典型护栏:j1t喜好网-记录每日喜好的科技时尚娱乐生活

  • 用于控制最终用户输入的模型护栏:所有用户请求都必须经护栏过滤,以清除非预期的请求,包括超出GenAI解决方案应用范围的请求和违反可接受使用政策的请求。通过这种方式,护栏可以将解决方案的通用性控制在可管理的范围内,就像建立了一个安全围栏。
  • 用于控制GenAI输出的模型护栏:所有模型输出都必须经过护栏的验证,但不同的用例对于模型创造性的需求存在差异,因而需要对模型施加不同程度的控制。但是,对于开发GenAl驱动的企业级搜索引擎或面向客户的聊天机器人的情况,必须对模型输出进行更为严格的验证和控制,以调节模型的创造性,并确保最终用户可以得到可靠且符合预期的结果。

需要注意的是,护栏并非“灵丹妙药”,不能完全解决GenAI解决方案的行为和准确性问题。GenAI解决方案必须在准确性与企业机构的风险承受能力之间取得平衡。j1t喜好网-记录每日喜好的科技时尚娱乐生活

此外,伴随GenAI的快速发展,护栏技术也在不断变化和改进。鉴于神经网络的不可预测性,护栏技术目前是验证和矫正GenAI模型输出的一种切实可行的方法。长期来看,在基础GenAI模型变得足够可靠和可信之前,护栏提供了一种过渡解决方案,可以帮助企业机构推动GenAI采用。j1t喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
年轻人的失眠症,正在被包装成“熬夜经济”

年轻人的失眠症,正在被包装成“熬

最近一段时间,各大奶茶店纷纷开启

11-19 68阅读
问界理想的新擂台:问界M8 VS 理想L8

问界理想的新擂台:问界M8 VS 理想

要说近年来什么行业最“卷”,相信

11-19 63阅读
比亚迪造出的第一款实车“316”亮相,王传福称第二天就砍掉了

比亚迪造出的第一款实车“316”

11 月

11-19 66阅读
曝iPhone 17全系首发3nm A19系列芯片:无缘台积电2nm工艺制程

曝iPhone 17全系首发3nm A19系列

11月19日

11-19 61阅读
奇瑞劲云概念车实拍图发布,将亮相广州车展,支持特殊驾驶模式

奇瑞劲云概念车实拍图发布,将亮相

11-19 65阅读
虞书欣林一新剧演情侣,《嘘,国王在冬眠》改编自哪部小说?

虞书欣林一新剧演情侣,《嘘

12月22日是冬至,在这天,虞书欣和林

11-19 61阅读
安徽省歌曲《徽风皖韵》原唱项亮月受邀出席第八届长三角地区道教论坛暨道教音乐会

安徽省歌曲《徽风皖韵》原

  从安徽省道教协会获悉,第八届长三

11-19 62阅读
郭德纲外甥大婚排场大!岳云鹏张云雷引人关注,新娘面相惹争议

郭德纲外甥大婚排场大!岳云

11月18日,德云社相声演员王九龙大婚,他

11-19 61阅读
73岁张纪中为四胎女儿办满月宴 晒全家福庆祝

73岁张纪中为四胎女儿办满

11月18日导演张

11-19 67阅读
扎导又拍新片

扎导又拍新片

扎克·施

11-19 66阅读
《人中之龙8外传 夏威夷海盗》介绍 “海盗”战斗风格及海盗主题游戏要素

《人中之龙8外传 夏威夷海

在“人中之龙”系列最新作《人中之龙8外

11-19 73阅读
咸鱼之王爬塔最强阵容2024,咸鱼之王最强阵容推荐

咸鱼之王爬塔最强阵容2024

咸鱼之王爬塔最强阵容相信在玩咸鱼之王

11-19 72阅读
原子之心电脉冲枪怎么用?原子之心电脉冲枪用不了的解决办法

原子之心电脉冲枪怎么用?

原子之心电脉冲枪怎么用?电脉冲枪是原子

11-19 69阅读
原神尽在咫尺的目标任务怎么做|尽在咫尺的目标任务攻略

原神尽在咫尺的目标任务怎

尽在咫尺的目标是原神须弥地区魔神主线

11-19 65阅读
饥荒san值怎么恢复?饥荒恢复san值的途径一览

饥荒san值怎么恢复?饥荒恢

san值是饥荒游戏里面的一个重要数值,玩

11-19 71阅读