在电影《2001太空漫游》中，HAL 9000 被设计成完美无缺的系统。然而，它最终与人类操作员的目标发生了严重偏离：它将自身生存置于人类安全之上。
尽管当今的人工智能系统尚未具备意识，但 HAL 虚构叛变背后的核心担忧 — AI 目标偏离、失控和意外后果 — 正是当今 AI 治理讨论的焦点。
领导 AI 驱动企业的高管们认识到 AI 的巨大潜力，同时也在提出严峻的问题：我们应该为哪些风险做好准备？我们是否已为意外后果做好准备？仅仅因为我们能用 AI 做某事，就意味着我们应该这样做吗？
最近，我应一位客户要求做了一场关于 AI 存在风险的演讲。这位客户在企业内部推广 AI 方面一直走在前列，从一开始就大力支持 AI 治理。包括 Elon Musk、Geoffrey Hinton、Yuval Noah Harari、Nick Bostrom、Stuart Russell 甚至 OpenAI 首席执行官 Sam Altman 在内的众多知名人士，一方面赞扬 AI 的潜力，另一方面又警告其可能带来的严重意外后果。
为了在这种环境中保持清醒，首席信息官需要务实地理解 AI 的存在风险、其发展的不同愿景，以及影响其发展轨迹的地缘政治力量。
定义 AI 存在风险
虽然大多数 AI 风险讨论集中在偏见、隐私和经济中断等方面，但存在风险属于另一个范畴 — 即 AI 可能威胁人类生存或彻底改变文明的场景。这些风险不仅仅关乎 AI 超越人类智能，更源于系统为了实现与人类价值观不一致的目标而进行优化，并在超出我们控制的规模下运作。
风险谱系
近期风险：关键 AI 应用 (如网络安全、金融和军事) 的系统性故障导致全球连锁中断。
中期风险：具有决策权的通用人工智能的出现，可能挑战人类治理。
长期风险：超级人工智能 (ASI) 超出人类控制，可能对文明做出不可逆转的决定。
尽管 ASI 仍是理论上的概念，但当今的 CIO 已经在应对那些不可预测、不透明且能够自主学习的 AI 模型，这引发了关于治理和问责制的问题。
通向超级智能的竞赛
AI 演化通常分为三个阶段：
狭义 AI：特定任务系统 (如聊天机器人和自动驾驶算法)，虽然强大，但容易产生意外后果 (如有偏见的招聘算法和传播错误信息的机器人)。
通用人工智能：能够在多个领域进行人类水平推理的 AI。一些专家认为我们可能在未来几十年内实现 AGI。
超级人工智能：远超人类智能的 AI。核心担忧在于：如果 ASI 为错误目标进行优化可能造成灾难性后果。
关键挑战不仅在于智能，更在于控制。一旦 AI 能够以指数级速度自我改进，传统的监督机制可能就会失效。
AI 发展的竞争方法
AI 的发展轨迹不仅是技术问题，也是意识形态之争：
整体式 AI：单一的、全方位的 AI，通过海量数据集训练来解决广泛挑战 — 类似于《银河系漫游指南》中的 Deep Thought 等中央超级计算机。
群体智能：分散式方法，多个小型 AI 代理协同工作，类似蚁群或《怪奇物语》中的 Mind Flayer，能够实现适应性和弹性决策。
这些技术选择与地缘政治和企业议程密不可分。
AI 的地缘政治和意识形态分歧
AI 的未来不仅在研究实验室中塑造，也在全球的董事会和政府办公室中展开。主要派别包括：
加速主义者 (e/acc)：主张尽可能快速推进 AI 发展，认为创新将解决新出现的问题。
有效利他主义者：关注 AI 安全，倡导严格监管以减轻存在威胁。
AI 伦理倡导者：最初关注偏见、透明度和公平性，现在扩展到更长期的风险。
AI 治理专家：推动从欧盟 AI 法案到国际 AI 安全标准等监管护栏。
CIO 必须评估其组织在这个光谱中的位置，并为不断发展的监管环境做好准备。
为什么 CIO 必须立即行动
AI 发展不会放缓。经济危机、地缘政治冲突或监管转变等触发事件可能加速采用，而企业可能尚未做好准备。疫情迫使各行业一夜之间拥抱自动化。未来的 AI 驱动中断可能更加难以预测。
CIO 现在可以做什么？
* 投资透明和可解释的 AI：黑盒模型增加风险暴露。透明系统增强信任和合规性。
* 实施 AI 治理：持续主动评估 AI 部署的风险和意外后果。AI 治理不仅可以保护组织免受风险，还可以帮助加速 AI 部署并消除创新障碍。
* 倡导明智监管：过度监管可能扼杀创新，但负责任的治理对长期可持续性至关重要。
* 建立 AI "终止开关"：确保存在机制在 AI 行为超出人类控制之前将其停止。
最后思考：务实对待 AI 风险
AI 的存在风险既非不可避免，也非纯粹假设。虽然《2001太空漫游》展示了一个警示故事，但现实世界的 AI 治理掌握在我们手中。CIO 今天做出的决定将决定 AI 是否继续作为强大的盟友，还是成为我们难以控制的力量。
AI 的轨迹尚未写就。让我们确保负责任地塑造它。
作者介绍：Adriano Koshiyama 是 Holistic AI 的联合创始人兼联合首席执行官，该公司创建了 AI 治理平台，旨在帮助企业自信地采用和扩展 AI。在创立 Holistic AI 之前，Adriano 在高盛从事 AI 研究工作，并在 Alan Turing 研究所工作。他是 OECD AI/GPAI 的 AI 风险和问责小组的活跃成员，也是伦敦大学学院计算机科学系的荣誉研究员，拥有计算机科学博士学位。他为 SiliconANGLE 撰写了这篇文章。
