1月16日消息（陈宦杰）AI时代已经来临。大模型等新兴AI应用需求海量的算力支撑，一座座智算中心拔地而起，规模庞大的万卡集群逐渐投入商用。如何更好地实现智算中心互联，服务AI应用创新发展，业界做了大量研究工作。
1月16日，作为“2025中国光通信高质量发展论坛”的开篇之作，“智算中心互联：算网协同，构筑智算互联新底座”线上研讨会顺利召开，邀约产业链专家代表，围绕智算中心间跨地域、跨层级、跨主体、高可靠的算力协同与调度，以及智算中心互联关键技术等话题展开了深入探讨。
研讨会期间，鹏城实验室云脑研究所副所长张士勋应邀作了题为《智算中心高性能网络系统多维度思考》的主题报告，深入分析了智算中心的计算模式与智算网络的多维度特征。
并行方案解锁大模型高效计算
历经数十年的发展，AI模型的参数规模持续膨胀，模型的种类逐渐收敛。当下，智算中心已成为大模型训练与推理的核心舞台，通过将单一计算任务巧妙切分，并运用数千甚至数万个AI芯片加速执行，智算中心有望实现堪比单台计算机执行一个任务的高效协同作业。
在攻克AI芯片间的高效协同难题，进而推动智算中心向“DC as a Computer”演进的征程中，如何通过并行方案赋能大模型高效计算，是一个亟待破解的关键课题。
目前，业界已形成多成熟的并行方案，如张量并行、数据并行、流水线并行。张量并行将矩阵精准切分，再把不同的矩阵块分别置于不同的 GPU 上，通信频繁且通信量较大，但为模型的高效训练提供了有力支撑；数据并行巧妙地将训练数据进行切分，使每个GPU能够独立训练其中的一部分数据，降低了通信量；流水线并行依据模型架构的层次进行切分，将不同的层分别放置于不同的GPU上，只在层的交界处进行通信，使得通信量相对较小。不同类型的并行方案需要不同的通信策略和网络架构支持，智算中心互联架构的发展方向有待进一步探索与研究。
智算网络的四大特征
谈及智算网络的多维特征时，张士勋例举了四大关键点。
其一，智算网络以GPU为中心。GPU成为算力的提供者，数据存储于其上。因此，GPU卡间通信成为主要的通信模式，通过RDMA网络，可以实现高效的数据交换。
其二，在智算网络中，GPU的通信模式比较固定。卡间的通信模式具有很高的确定性，典型集合通信模式能够覆盖绝大部分场景。
其三，智算网络采用双平面的组网方案，兼具高带宽与低时延特性。其中，Scale-out网络适用于大规模组网，涵盖数万到数十万GPU的庞大集群，协议基于InfiniBand/RoCE，速率可达400Gbps/800Gbps；Scale-up网络则是局域高带宽网络，覆盖数个至数百GPU的小集群，协议基于NVLink/HCCS等，速率高达数Tbps级。
其四，智算网络需要软硬件协同优化。在传统的计算模式下，计算和通信依次执行，通信环节的占比可能超过50%，这导致GPU长时间处于空闲状态。经过优化，通信和计算实现了相互叠加执行，GPU约有35%的时间用于等待通信。自2022年之后，通信和计算进一步深度重叠，业界主流的网络可以将通信占比降至7%，设备性能得以充分释放，硬件带宽和软件算法相辅相成。
此外，针对业界关心的高性能芯片供应受限的困境，张士勋表示，可以通过软件、硬件、模型的联合优化，提升训练效果，推进高水平科技自立自强。利用有限的硬件资源实现高阶的AI，是一个极具探索价值的方向。
