银行控股企业Ally Financial在监管严格的行业中运营，开发了一个平台来利用生成式AI，同时保持严格的数据安全和治理。
Sathish Muthukrishnan，Ally Financial首席信息、数据和数字官
银行控股企业Ally Financial想走在金融行业技术的前沿，这就意味着要利用AI来转型业务。但Ally所在的行业监管严格，很多银行和金融机构都因为监管而没有采取行动。Ally给出的答案是什么？开发一个AI平台并编写一个AI剧本，使其能够快速行动起来，不在安全和治理措施方面有所欠缺。
“我所学到的是，有纪律、有目的的技术投资和技术能力对于利用技术发展趋势是至关重要的，”Ally首席信息、数据和数字官Sathish Muthukrishnan这样说。
Muthukrishnan指出，在看到2022年大型语言模型和生成式AI的崛起之后，很明显企业需要改变自己的AI野心以利用这样新技术，问题是如何在不牺牲安全的情况下将其融入其中。
为了让企业领导层加入进来，他说，必须向他们证明Ally是可以负责任地使用生成式AI的。
“从第一天起我就非常清楚，虽然你可能会被视为行业领导者，并因早期采用生成式AI而获得认可，但即使是小小的失误也会让我们从前进半步变成倒退100步，我们不想陷入那种境地，所以我们需要保护自己。”
Muthukrishnan和他的团队制定了三个简单的指导原则：首先尝试面向实习生的用例，设置一个专人始终参与其中，并且永远不要将任何Ally数据暴露给大型语言模型。
“当时没有路线图，所以我们制定了一个路线图，一个安全、可靠且可扩展的平台，可以从中运行所有AI应用。我们希望证明AI是可以负责任地完成工作，同时保护客户隐私和企业数据，并且我们可以有效地培训员工使用这项技术。”
为了执行这些原则，Ally在2023年6月构建并推出了Ally.ai，这个专有平台适用于企业所有的AI应用，其中包含传统的机器学习、MLOps功能以及生成式AI功能。Ally的内部开发团队通过AWS和微软Azure OpenAI在Ally云的支持下构建并运行这个平台，不过Muthukrishnan指出，这个平台对大型语言模型来说是中立的。
“All.ai之所以能提供帮助，是因为它有能力和控制力有效安全地使用所有这些大型语言模型，这就是为什么我们也不怕全力投入OpenAI，因为Ally.ai今天有能力与OpenAI对话，明天也可以与Claude、Llama对话，或者与任何其他新的大型语言模型对话。”
密切关注生成式AI
尽管内部对这个平台感到兴奋，但Muthukrishnan表示，AI治理仍然是首要考虑的因素。Ally公司调整他们用于生成式AI的Ally Technology Operating Model (ATOM)，这个模型有五个核心支柱，为所有新技术的引入提供指导，为评估、评价和批准提供路线图：发现、构思、阐述、执行和衡量。
Ally还成立了一个AI工作组，与现有的治理小组协同工作。他们共同组建了一个内部团队，由金融服务领域的专业人士组成，包括监管合规、风险管理和审计等。该团队负责审查以及就生成式AI用例提供建议。
为了指导团队实施传统AI和生成式AI，AI工作组还开发了Ally AI Playbook，使Ally的业务线能够探索AI用例、规划试点项目、并以负责任的、深思熟虑的方式将其投入生产。Muthukrishnan表示，这使得他们在整个公司范围内创造了一种大家都能理解的通用语言。
“你可以用任何语言来参与[一个项目]，但AI Playbook是一个通用的翻译器，它会告诉你，‘这是你要问的，这是你必须去理解的，’”他说。
此外，Ally公司为所有11500名员工创建了一个基本的AI培训课程，并设立了AI Days，让外部行业领导者和内部演讲者都能分享他们的挣扎和成功。此外Ally还会定期展示他们是如何在内部使用AI的。
“所有这些都创造了一场人人参与其中的变革，大多数AI Day活动都是技术之外的人员参与的。我们平均每6到8周就有1200人参与其中，每次超过4个小时。我们感受到了变革的势头和正在发生的转变，Ally的每个人都参与其中。”
AI的两大主要用例
Ally在他们的专用云基础设施上构建了Ally.ai，并拥有他们自己的私有网络，打造了一个完全安全的、无需外部访问的环境。这个平台会在大型语言模型参与之前删除个人身份信息（）PII），其他Ally数据也保持私密，不会对外共享。为了提高安全性，平台会在把数据发送到Ally.ai上的私有大型语言模型之前使用标记化。团队会和监管机构保持定期沟通，并与Azure OpenAI和AWS等第三方大型语言模型展开合作，防止数据泄露，防止基础模型从Ally数据中进行学习。
这个平台上线之后不久，Ally就推出了两个AI用例：通话摘要和营销。
通话摘要功能旨在为Ally的客户关怀和体验团队提供支持，利用微软Azure和Azure OpenAI服务为呼叫中心员工接听的每个电话生成详细文档，提供每周数万个客户服务电话摘要的实时访问。
Muthukrishnan说：“我们平均每天接听约10000个电话，这个功能减轻了客户服务人员的认知负担，使他们能够专注于我们的客户，而不是跟踪对话并试图在通话结束时撰写摘要。”
另一方面，营销团队功能使用了Ally.ai的大型语言模型聊天和提示功能来帮助营销人员生成创意活动。Ally表示，这个功能将制作创意活动和内容所需的时间缩短了多达三周，主要是在研究、初稿和命名练习等早期任务方面，与没有AI的典型流程相比，平均节省了34%的时间。
Muthukrishnan表示，成功实现这两种能力的关键，在于确保企业各个领域的人员参与其中。
“这是一次企业转型，而不仅仅是技术转型，我们必须有耐心，不仅是在推进技术使用方面，还有耐心等待技术的应用方式和使用者以及推动变革的人。我们特意从外部聘请了一名人员来推动AI模型，但组织中的其他人都是内部员工。”
撒下更大的网
Ally正在研究其他很多生成式AI的用例。例如，Ally的审计团队正在使用Ally.ai创建风险审计控制指标，将风险因素分散到他们审计的每项能力，以前这项任务需要几天时间，但现在生成式AI让他们几个小时就能完成这项任务。
Muthukrishnan表示，他觉得AI取得了成功，任何尖端技术都归结为三点：
- 专注、有意图的技术投资和建设。
- 勇于尝试新技术，但要有展示价值的意图，以便将整个组织凝聚在一起。
- 耐心和体贴地在整个公司内展开教育。
“不要只局限在技术领域进行实验和发明，要向整个企业展示技术的价值，用他们的语言说话，通过教育和授权整个组织让他们加入其中。”
