蚂蚁集团推出新型大模型，国产芯片助力训练成本大幅降低，引领人工智能新潮流
随着科技的飞速发展，人工智能（AI）已成为推动社会进步的重要力量。尤其在自然语言处理（NLP）领域，大模型已经成为推动技术进步的关键。近日，蚂蚁集团Ling团队在预印版Arxiv平台发表技术成果论文《每一个FLOP都至关重要：无需高级GPU即可扩展3000亿参数混合专家LING大模型》，宣布推出两款不同规模的MoE（混合专家）大语言模型——百灵轻量版和百灵增强版，并提出一系列创新方法，实现在低性能硬件上高效训练大模型，显著降低成本。这一突破性成果，无疑将引领人工智能新潮流。
首先，我们要理解蚂蚁集团Ling团队推出的这两款新型大模型的特点和优势。百灵轻量版参数规模为168亿（激活参数27.5亿），性能达到行业领先水平。而百灵增强版基座模型参数规模高达2900亿（激活参数288亿），性能同样卓越。这两款模型在实验中表现出色，能够在使用国产GPU的低性能设备上完成高效训练，性能与完全使用英伟达芯片、同规模的稠密模型及MoE模型相当。
更重要的是，蚂蚁集团Ling团队提出的目标——“不使用高级GPU”扩展模型，通过创新训练策略，突破资源与预算限制。这一目标对于许多资源受限的环境来说，具有重大的现实意义。团队采用的策略包括：架构与训练策略革新，采用动态参数分配与混合精度调度技术；升级训练异常处理机制，自适应容错恢复系统缩短中断响应时间；优化模型评估流程，自动化评测框架压缩验证周期超50%；突破工具调用能力，基于知识图谱的指令微调提升复杂任务执行精度。这些策略的实施，使得在低性能硬件上也能高效训练大模型，显著降低了成本。
再者，蚂蚁集团的技术成果若得到验证推广，将助力国产大模型寻找成本更低、效率更高的国产芯片或其他替代方案，进一步降低对英伟达芯片的依赖。这不仅意味着成本的降低，更意味着技术自主可控的推进，对于国家安全和产业发展都具有重大意义。
值得注意的是，蚂蚁集团的技术突破并非孤例。近年来，随着AI技术的飞速发展，越来越多的科研机构和企业开始关注并投入到大模型的研究和应用中。在此背景下，国产芯片在训练大模型中的应用也得到了显著提升。以英伟达为代表的国外芯片厂商一直占据着AI市场的领先地位，而随着国内芯片技术的进步，越来越多的企业开始探索使用国产芯片进行大模型的训练。这无疑为降低训练成本、提高训练效率开辟了新道路。
此外，蚂蚁集团Ling团队在论文中还展示了在五种不同硬件配置下，对9万亿个token进行预训练的结果。结果显示，使用高性能硬件配置训练1万亿token的预训练成本约635万元人民币，而采用蚂蚁优化方法后，低规格硬件训练成本降至508万元左右，节省近20%，且性能与阿里通义Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相当。这一结果进一步验证了蚂蚁集团Ling团队的创新训练策略的有效性。
总的来说，蚂蚁集团推出新型大模型，以及国产芯片在训练大模型中的应用，都显示出人工智能领域的巨大潜力和发展前景。我们期待看到更多的科研机构和企业投入到这一领域的研究和应用中来，共同推动人工智能技术的发展，为人类社会的进步做出更大的贡献。
