在推荐系统领域的研究中，一个核心的研究方向就是协同过滤（Collaborative Filtering）。

在推荐系统中，有两个核心的实体类别就是用户和商品，协同过滤算法利用 ID 将不同的用户和商品进行编码。

图 | 模型有效学习长距离用户相似度（来源： T heWebConf 2 024）

而后将用户历史的购物记录通过“用户-商品 ID 对”的方式进行存储，并最终基于历史购物记录进行用户购买行为的建模，则可以实现新商品的推荐。

随着近年来图神经网络（Graph Neural Networks）的发展，用户和商品的交互记录可以通过交互图（Interaction Graph）的形式进行展现。

其中每一个节点表示用户/商品，链接节点之间的边即为用户和商品的交互。

图 | 用户商品交互图示例（来源：SIGIR 2023）

基于交互图利用图神经网络学习用户和商品的特征向量，并且最终基于特征向量的相似度实现商品推荐成为了一种高效的方式。

尽管“协同过滤基于图神经网络的方式”已经十分成熟，但是整个研究范式依然无法跳脱出 ID-based 的限制。

也就是说具体到算法层面，用户和商品变成了一个个独立的 ID，他们之间的交互只是一个 ID 对，没有额外其余模态的信息。

这会导致一些问题，例如用户的历史交互中可能存在有噪音（误点击、并不喜欢的购买、流行度偏差等）。

而这些信息无法从基于 ID 的交互对中体现出来，最终会影响模型的特征向量的质量，从而构成有噪音的表征学习过程。

基于此，香港大学博士生任旭滨和所在团队，通过理论推导发现如果引入其他模态（例如文本模态）的高质量表征，就可以通过最大化模态之间互信息的方式，来自动去除基于 ID 所学习到的表征中的噪音，从而优化表征学习的过程。

图 | 任旭滨（来源：任旭滨）

目前，随着大语言模型（Large Language Models）的发展，其强大的语言理解和总结能力，帮助该团队针对数据集中的原始文本进行了过滤和去除噪音，以及总结出用户和商品的交互偏好，从而获取高质量的文本模态表征。

基于此，他们设计了一套用户/商品文本画像的生成范式，其能适用于不同的数据集，并能通过大语言模型进行文本生成和特征编码。

研究中，课题组基于理论推导的结果，将文本表征和 ID 表征进行对齐，发现其能有效增强协同过滤算法的性能，并展现出不少优异特性，例如针对噪音的健壮性等。

这让本次范式能够适用于预训练场景，并能增强模型的全局相似性学习，从而有效缓解仅基于 ID 进行推荐算法训练时产生的负面效果。

图 | 基于大模型的推荐算法优化框架（来源：TheWebConf 2024）

总的来说，本次所提出的范式能够有效利用大语言模型来捕捉用户偏好，并且提供高质量文本模态表征。

目前，该团队已经将这款算法在外部公司的业务场景上进行落地，证明其可以有效地提升地业务指标。

具体来说，由于本次所提出的算法和模型无关，并且其核心是增强已有模型的表征学习的过程。

因此，任何基于表征学习的算法，都可以基于类似的思路，来通过高质量的文本模态特征促进原本模型的学习过程，从而获得性能的提升。

未来，基于本次算法衍生的类似思路，不但能在业界落地场景中发挥功效，也能给学界带来一些新思路。

事实上，在协同过滤推荐算法的研究中，数据中可能蕴含的噪音、以及稀疏性的问题可谓存在已久。

一开始，课题组打算通过引入自监督学习的方式（例如对比学习、生成学习），来从数据本身挖掘额外的监督信号，以让模型能够更好地学习用户和商品的交互模式，从而建模用户的行为偏好。

尽管自监督学习能够带来一定的性能提升，但是其仍然还是基于 ID 来寻找监督信号，并不能完全避免数据原始噪音的影响。

而在当时该课题组已经开始思考是否能够引入额外模态的信息从而缓解这一现象，从而进一步改进现有模型的训练范式。

基于这一想法他们进行了一定的数据分析，并决定从文本的角度入手。原因在于：语言可以直接描述用户的购物偏好（例如用户喜欢购买运动类商品），同时也可以描述商品的受众群体（例如该商品容易被喜欢珠宝类用户购买）。

如果自然语言可以有效地描述用户/商品的交互偏好，那么就可以被用于推荐算法的增强训练中，从而促进模型的表征学习过程。

但是，这样的高质量数据很难拥有。从用户侧来说，现有的推荐数据中一般仅在用户给购买过后的商品的反馈（Review）中。

而在这些反馈中可能存在有非纯净的文本导致的噪声，同时基于这些反馈去手动总结用户购买偏好，也会非常费时费力。

后来，随着大语言模型的发展，他们发现其强大的语言理解和总结能力，能够很好地解决上述问题。

因此，该团队开始认真对待之前所提出的想法，并开始进行理论分析，构建了完整的理论框架，从而通过引入文本信号来优化模型的表征学习。

图 | 文中优化表征学习的理论模型（来源：TheWebConf 2024）

当理论框架完备之后，他们开始设计用户/商品画像的生成范式，并且利用大语言模型进行画像生成。

期间，他们首先在一个小数据集上面进行实验，发现其对于性能的提升非常有效果。

于是，他们将算法运用到常用大数据集上，验证了本次算法的有效性。同时，他们也在外部公司的真实业务数据进行测试，同样得到了很好的效果。

日前，相关论文以《基于大型语言模型的推荐表示学习》（）为题发在 TheWebConf 2024[1]，任旭滨是第一作者。

图 | 相关论文（来源：TheWebConf 2024）

后续，他们将进一步探索如何将大语言模型和图神经网络等算法进行深入结合，从而研发更有效、更实用、更智能的推荐算法。

参考资料：

1.X Ren,W Wei, L Xia, L Su, S Cheng, J Wang, D Yin, C Huang. Representation Learning with Large Language Models for Recommendation. arXiv:2310.15950(2023). https://arxiv.org/abs/2310.15950

https://github.com/HKUDS/RLMRec

运营/排版：何晨龙

01/

02/

03/

04/

05/