认知智能全国重点实验室&华为诺亚方舟：推荐大模型昇腾NPU部署，相关经验发现公开分享

立即下单

进入商城

进不了网站？换个网络试试！

国家主要的认知情报实验室和华为诺亚方舟的提交

量子位|官方帐户

也可以生成推荐的大型模型，并且首次成功地在国内升天NPU上部署！

在信息爆炸时代，推荐系统已成为生活中必不可少的一部分。 Meta领导着提出生成的建议范式HSTU，将推荐参数扩展到万亿级，从而取得了显着的结果。

最近，中国科学技术大学与华为合作开发了推荐的大规模部署解决方案，可以应用于多种情况。

探索过程中有哪些经验和发现？最新的公众分享在这里。

该报告的亮点包括：

具有扩展法的生成建议范式正在成为未来的趋势

如图1所示，推荐系统的开发趋势是逐渐减少对手动设计功能工程和模型结构的依赖。在深度学习的兴起之前，人们倾向于使用手工设计的功能和简单的模型，这是由于计算资源而引起的（图1A）。

随着深度学习的发展，研究人员专注于复杂模型的设计，以更好地适应用户偏好并改善GPU并行计算的利用率（图1B）。

但是，借助深度学习能力的瓶颈，功能工程再次引起了人们的关注（图1C）。

如今，大型语言模型扩展法的成功激发了推荐领域的研究人员。扩展定律描述了模型性能与关键指标（例如参数大小，数据集大小和培训资源）之间的权力定律关系。通过增加模型的深度和宽度并结合大量数据，可以改善建议效应（图1D），这称为推荐的大型模型。

最近，诸如HSTU之类的生成推荐框架已在这个方向上取得了显着的结果，验证了建议领域的扩展定律，并引发了对生成建议大型模型的研究的热潮。该团队认为，生成推荐模型正在成为破坏当前推荐系统的下一个新范式。

在这种情况下，探索哪些模型是真正可扩展的，了解其成功应用扩展法律的原因，以及如何使用这些法律改善建议效应已成为推荐系统领域的热门话题。

基于不同架构的生成性大型可伸缩性的分析

为了评估不同体系结构下生成推荐模型的可扩展性，该团队比较了HSTU，Llama，GPT和四个基于四个架构。

在三个公共数据集中，通过不同的注意模块编号分析了性能性能（请参见表1）。结果表明，当模型参数很小时，每个体系结构的性能相似，并且最佳体系结构随数据集而变化。

但是，随着参数的扩展，HSTU和LLAMA的性能得到了显着提高，而GPT和Llama的可伸缩性不足。尽管GPT在其他领域表现良好，但它未能满足推荐任务的期望。团队认为这是因为GPT的架构以及缺乏专门为推荐任务设计的关键组件，并且无法有效地利用扩展定律。

分析生成推荐模型的可伸缩源

为了探索HSTU等生成推荐模型的可伸缩性来源，该团队进行了消融实验，删除了HSTU中的关键组件：相对注意偏移（RAB），SILU激活函数和特征交叉机制。

实验结果（见表2）表明，单个模块的丢失并未显着影响模型的可伸缩性，但是去除RAB会导致性能显着下降，表明其关键作用。

为了进一步分析赋予模型扩展定律的因素，该团队将差异与可观的HSTU和Llama进行了比较，发现主要差异在于RAB和注意模块内的残留连接模式。

为了验证这些差异是否是可伸缩性的关键，该团队引入了HSTU的RAB，并调整了其注意力模块的实施方式。

实验结果（见表3）表明，单独添加RAB或修改残留连接并不能显着提高可扩展性。但是，当同时修改两个组件时，显示出良好的可扩展性。这表明，残留连接模式和RAB的结合为传统推荐模型提供了可扩展性，并为推荐系统的未来扩展探索提供了重要的灵感。

在复杂方案和分类任务中的生成推荐模型的性能

在复杂的情况下表现

HSTU在复杂的场景中表现出色，例如多域，多行为和辅助信息。以多域为例，HSTU在AMZ-MD的四个域中始终优于基线模型和C2DSR（见表4）。

与单域独立训练的HSTU-多域关节训练相比，进行得更好，这表明了多域关节建模的优势。表5显示，HSTU对多域行为数据具有显着的可扩展性，尤其是在诸如音乐和视频游戏之类的较小情况下。这表明HSTU具有解决冷启动问题的潜力。

分类任务的性能

排序是推荐系统的重要组成部分。团队深入探讨了分类任务中生成推荐模型的有效性和可扩展性。如表6所示，生成推荐模型明显优于传统推荐模型，例如DIN的性能。尽管在小规模模型下，美洲驼的性能要比HSTU表现更好，但HSTU在可伸缩性方面具有更大的优势，而美洲驼似乎在可伸缩性上不足。

该团队还研究了负抽样率和评分网络体系结构对分类任务的影响，并进行了全面的分析。此外，还讨论了减少维度对性能的影响。尺寸的缩小（表7）改善了小型数据集ML-1M和AMZ-Books的性能，但它在大型数据集ML-20M上降低。这表明，推荐大型模型的扩展定律不仅受垂直扩展（注意模块数）的影响，而且还受水平尺度（维度）的影响。