如今，许多工程团队都面临着一个共同问题——模型规模过大。这个问题表现形式多样，但挑战的根源往往相似。
项目正在遭遇内存限制。随着参数规模达到数十亿甚至数万亿级别，数据中心必须跟上发展步伐。利益相关者需要关注供应商服务的阈值限制。成本通常也是一个重要问题。
然而，新兴技术正在为减少内存占用和计算负担提供更可行的解决方案。
当前的创新者是如何实现这一目标的？
让我们一起探讨。
输入和数据压缩
首先是输入压缩技术。
可以设计损失算法来压缩模型，甚至可以运行压缩模型与完整模型的对比；压缩方法在专用神经网络功能方面节省了大量空间。
以下是苹果机器学习研究资源中发布的论文片段：
"最近，多项研究在大语言模型的无训练和无数据压缩（剪枝和量化）方面取得了显著成功，实现了50-60%的稀疏性，将每个权重的位宽降至3或4位，相比未压缩基线的困惑度退化可忽略不计。"
这是该技术应用的一个实例。
微软的这份文档探讨了提示压缩，这是研究如何在系统中缩减数据的另一个重要组成部分。
稀疏性方法：聚焦与变化
有时可以削减系统设计的某些部分来节省资源。
考虑一个所有注意力区域都以相同方式工作的模型。但也许某些输入区域基本上是空白空间，而其余部分复杂且相关。模型的覆盖应该是同质化的还是一刀切的？在高注意力和低注意力区域上花费相同的计算量。
另外，系统工程师可以根据重要性移除那些不太受关注的标记。
在这一努力中，硬件也在不断进步。更专业的GPU和多核处理器在这种差异化方面具有优势，因此需要关注制造商在推出全新GPU设备类别方面的所有举措。
改变上下文字符串
网络规模的另一个主要问题与系统使用的上下文窗口相关。
如果是在序列上运行的典型大语言系统，该序列的长度至关重要。上下文意味着更多特定类型的功能，但也需要更多资源。
通过改变上下文，可以改变系统的"需求量"。以下是上述提示压缩资源的内容：
"虽然更长的提示具有相当大的潜力，但它们也带来了一系列问题，如需要超过聊天窗口的最大限制、保持上下文信息的能力降低，以及API成本的增加，包括金钱成本和计算资源成本。"
在此之后，作者们探讨了理论上可能广泛应用于不同类型修复的解决方案。
动态模型和强推理
目前还有两个重要趋势：一是强推理系统的出现，机器基于过往经验随时间学习行为；二是动态系统，其中输入权重和其他一切都随时间变化，而非保持不变。
这两者在帮助匹配人们构建系统时的设计和工程需求方面都显示出一定的前景。
还有扩散模型，通过添加噪声、分析并去除噪声来产生新的生成结果。我们在上周关于追求AI最佳方式的文章中讨论了这一点。
最后但同样重要的是，我们可以评估数字孪生等传统系统。孪生技术在精确仿真方面表现出色，但需要大量资源——如果有更好的方法，可能会节省大量计算资源。
这些只是我们一直在关注的部分解决方案，它们与边缘计算理念相辅相成，即在网络边缘的终端设备上进行更多处理。微控制器和小型组件可以成为处理数据的新方式，无需通过云端发送到某个集中位置。
在我们持续关注人们当前在AI领域的各种实践时，请思考所有这些技术进步。
