突破认知，昇腾 NPU引领新潮流：中科大与华为发布生成式推荐大模型
随着信息爆炸时代的来临，推荐系统已成为我们生活中不可或缺的一部分。近期，中科大与华为合作开发的推荐大模型部署方案取得了显著成果，引发了业界的广泛关注。本文将围绕这一重大突破，从技术报告出发，深入探讨生成式推荐大模型的发展趋势、扩展定律在生成式推荐中的应用、模型的可扩展性来源以及其在复杂场景和排序任务中的表现，并展望未来的研究方向。
首先，我们回顾推荐范式的发展历程。在深度学习兴起之前，推荐系统主要依赖手工设计特征和简单模型。随着深度学习的普及，研究者开始专注于复杂模型的设计，以更好地拟合用户偏好并提升对GPU并行计算的利用率。然而，随着深度学习能力的瓶颈，特征工程再次受到关注。在这个背景下，具备扩展定律的生成式推荐范式正在成为未来趋势。
为了评估生成式推荐大模型在不同架构下的扩展性，我们对比了HSTU、Llama、GPT和SASRec四种基于Transformer的架构。实验结果显示，随着参数扩展，HSTU和Llama的性能显著提升，而GPT和SASRec的扩展性不足。这表明，生成式推荐大模型在解决冷启动问题上具有巨大潜力。
为了探究HSTU等生成式推荐模型的可扩展性来源，我们进行了消融实验。实验结果表明，RAB（相对注意力偏移）的关键作用不可忽视。此外，我们还发现，推荐大模型在性能上不仅受垂直扩展（注意力模块数量）影响，也受水平规模（embedding维度）影响。调整残差连接方式并与RAB结合，为传统推荐模型赋予了扩展性。
在复杂场景和排序任务中，生成式推荐大模型表现出色。HSTU在多域、多行为和辅助信息等复杂场景中表现出色，尤其在规模较小的场景如Digital Music和Video Games上表现卓越。此外，在排序任务中，生成式推荐大模型在性能上显著优于传统推荐模型。
未来研究方向包括数据工程、Tokenizer、训练推理效率等方面。这些改进将有助于解决当前的挑战并拓宽应用场景。
总的来说，中科大与华为发布的生成式推荐大模型是一个重大突破，它将引领推荐系统领域进入一个全新的阶段。这个模型的成功部署，离不开昇腾NPU的强大算力支持。昇腾NPU引领了新潮流，打破了传统的认知边界，为人工智能领域注入了新的活力。我们期待这一成果能在未来的实践中得到广泛应用，为人们的生活带来更多便利。
