大语言模型防火墙是 AI 安全的未来吗?

4个月前 科技 19观看
摘要 随着大语言模型 (LLM) 在各行业得到更广泛的应用,确保这些强大 AI 工具的安全性已成为一个日益增长的关切。本周在新加坡举行的 Black Hat Asia 2025 大会上,一组专家深入探讨了 LLM 防火墙是

随着大语言模型 (LLM) 在各行业得到更广泛的应用,确保这些强大 AI 工具的安全性已成为一个日益增长的关切。本周在新加坡举行的 Black Hat Asia 2025 大会上,一组专家深入探讨了 LLM 防火墙是否是 AI 安全的解决方案,还是仅仅是整个安全体系中的一部分。lze喜好网-记录每日喜好的科技时尚娱乐生活

网络安全公司 CloudsineAI 的创始人 Matthias Chin 首先指出了防护机制和防火墙之间的区别:"防护机制是一种保护机制,而防火墙是一个具有更多功能的安全概念 - 例如,它是一个控制点,包含防护机制,拥有威胁向量数据库,并可以与 SIEM (安全信息和事件管理) 工作流程集成。"lze喜好网-记录每日喜好的科技时尚娱乐生活

新加坡内政团队科技局 (HTX) 首席创新官兼首席云工程师 Pan Yong Ng 指出,将 AI 安全整合到组织 IT 基础设施的基础中非常重要,尽管对于安全控制应该放在哪里仍存在不确定性。他建议在各个层面实施组合控制,从推理服务模型到 Web 应用程序安全,甚至扩展到 AI 代理。lze喜好网-记录每日喜好的科技时尚娱乐生活

AI Singapore 的 AI 创新总监 Laurence Liew 表示,开发人员对 AI 代理和大语言模型的使用日益增加,这将需要使用 LLM 防火墙来执行防护机制和企业政策。他说:"我们告诉年轻工程师要确保设置某些防护机制,他们会去做,但他们经常忙于编码,以至于防护机制可能没有得到更新。"lze喜好网-记录每日喜好的科技时尚娱乐生活

新加坡南洋理工大学研究员 Xiaojun Jia 指出了传统防火墙在解决 LLM 特定安全问题方面的局限性。他说:"传统防火墙专注于网络安全,这使得它们在防御利用 LLM 逻辑流程的越狱攻击方面效果不佳。"lze喜好网-记录每日喜好的科技时尚娱乐生活

Chin 补充说,LLM 防火墙不仅仅是为了确保 AI 安全 - 它们也用于 AI 安全性,以防止模型幻觉和产生有偏见和有害的输出。它们还可以防范通过人类语言和提示而不是代码执行的新一代攻击。lze喜好网-记录每日喜好的科技时尚娱乐生活

专家组还探讨了通用 LLM 防火墙是否能够在所有行业中有效运作,还是需要定制化的问题。lze喜好网-记录每日喜好的科技时尚娱乐生活

Liew 特别提到了 AI Singapore 与政府机构的转录项目,其中语音转文本引擎根据每个机构的需求进行了微调。他说,同样地,LLM 防火墙应该经过精心设计,以处理医疗保健和金融服务等特定场景。lze喜好网-记录每日喜好的科技时尚娱乐生活

在实施 LLM 防火墙方面,Jia 提倡采用包括输入检测、模型调优和输出过滤的多层次方法。lze喜好网-记录每日喜好的科技时尚娱乐生活

"输入检测在提示输入模型之前检测恶意输入,模型调优确保输出与人类价值观一致,输出过滤检测有害输出,"Jia 说,同时他也承认在安全性和可用性之间取得平衡是一个挑战,呼吁采用能够应对不断演变的攻击的自适应防御措施。lze喜好网-记录每日喜好的科技时尚娱乐生活

测试和基准测试对于确保 LLM 及其防火墙按预期工作至关重要。Chin 表示这个领域仍在发展中,需要完成的工作将取决于测试用例,并与防火墙将部署的行业(无论是银行还是医疗保健)保持一致。他指出 Meta 的 CyberSecEval 和新加坡的 AI Verify 是可以帮助支持测试和基准测试工作的示例。lze喜好网-记录每日喜好的科技时尚娱乐生活

Liew 强调了在构建和测试 LLM 时拥有多元化团队的重要性。他说:"拥有跨不同学科的人才非常重要。确保团队中有了解领域的人。你会惊讶地发现,他们提出的问题是网络安全工程师从未想到的。"lze喜好网-记录每日喜好的科技时尚娱乐生活

关于 LLM 防火墙是否会阻碍 AI 创新,Chin 表示,随着模型上下文协议 (MCP) 等新兴技术的采用 - 这是 Anthropic 开发的一个开放标准,允许 AI 代理与其他应用程序和数据源通信 - AI 代理可能会绕过 LLM 防火墙并开始与其他代理通信。他补充说:"我们必须让创新蓬勃发展,并继续建立应对挑战的敏捷性。"lze喜好网-记录每日喜好的科技时尚娱乐生活

Chin 表示,LLM 防火墙将继续发展,这是由代理式 AI 框架的兴起推动的,组织,特别是大型企业和政府,将需要某种形式的防护机制或防火墙。就像网络防火墙现在包括 Web 应用防火墙和终端防火墙一样,他指出 LLM 防火墙可以采用部署在安全控制点和终端的硬件或软件形式。lze喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
抖音电商拐点已至,从美妆行业开始跌落?

抖音电商拐点已至,从美妆行业开始

前几日,抖音首次公布了“双11”大

11-19 119阅读
稳定7100MB/s!雷克沙ARES 8TB SSD评测:机箱里再也没有机械硬盘的位置了

稳定7100MB/s!雷克沙ARES 8TB SSD

一、前言:

11-19 112阅读
映泰推出 MT-N97 工业计算机:无风扇设计,配英特尔 N97 处理器

映泰推出 MT-N97 工业计算机:无风

11 月

11-19 103阅读
中国联通:6G 70%技术与5G重合 将有6大典型应用

中国联通:6G 70%技术与5G重合 将有

时至今日,6

11-19 101阅读
SVM频闪指标低的旗舰!iQOO Neo10系列屏幕参数出炉

SVM频闪指标低的旗舰!iQOO Neo10

11月18日

11-19 116阅读
中国电影家协会联合灯塔研究院发布《2024中国电影观众变化趋势报告》

中国电影家协会联合灯塔研

11月15日消息,11月15日,2024年中国金鸡百

11-19 107阅读
让赵露思摇来肖战鹿晗打call的《珠帘玉幕》,好看不?|Talk剧评

让赵露思摇来肖战鹿晗打ca

作者 / 张   特编辑 / 阿   笔运

11-19 128阅读
金鸡奖这一夜,世态炎凉、江湖职位,在王骁身上体现得淋漓尽致

金鸡奖这一夜,世态炎凉、江

11-19 108阅读
《芝麻胡同》郭秉惠人设崩了?她竟嫌弃起杏儿的出身

《芝麻胡同》郭秉惠人设崩

《芝麻胡同》中郭秉惠前期是一个

11-19 101阅读
郭德纲外甥大婚排场大!岳云鹏张云雷引人关注,新娘面相惹争议

郭德纲外甥大婚排场大!岳云

11月18日,德云社相声演员王九龙大婚,他

11-19 114阅读
万代魂系高端钢普拉大展 解体匠机第三弹高达Mk-II再参展

万代魂系高端钢普拉大展

万代高端模玩魂系列展会《TAMASHII NA

11-19 122阅读
索尼正在开发自动检测游戏BUG的AI系统:简化测试流程

索尼正在开发自动检测游戏

根据 Tech4Gamer 报道,根据索尼目前发

11-19 112阅读
三国群英传2秘籍大全_三国群英传2秘籍代码一览

三国群英传2秘籍大全_三国

相信熟悉三国群英传系列游戏的朋友都不

11-19 137阅读
饥荒超全影怪封印方法一览

饥荒超全影怪封印方法一览

在饥荒游戏的设定里面,玩家san值掉到0之

11-19 105阅读
原神疗养观察任务流程|原神疗养观察攻略

原神疗养观察任务流程|原

原神疗养观察是游戏中须弥地区魔神任务

11-19 104阅读