非内积级联学习

1.首页推荐非内积召回现状

非内积召回源是目前首页推荐最重要的召回源之一。同时非内积相比于向量化召回最终仅将user和item匹配程度表征为embeding内积，非内积召回仅保留item embedding，不构造user显式表征，而是通过一个打分网络计算用户-商品匹配程度，极大的提升了模型精准度的上限，有很大优化空间。





 



2.非内积召回优化-级联学习与负样本扩充

非内积召回模型整体有更好的拟合能力，但目前方案中原有训练样本相对较为简单，并且负样本量级较少，阻碍了非内积召回能力的发挥。为提升召回与后续链路一致性，现加入曝光未点击、精排top打分样本进行级联学习。学习目标从原有的点击正样本和随机负采样多分类问题从升级为包含点击、曝光未点击、精排序样本、随机负采样之间的精细化序关系融合；同时扩充负样本量级，提升模型打分精准性。

2.1 相关工作

2.1.1 级联学习相关工作

级联学习旨在引入多种推荐系统链路中样本，采用排序学习方式拟合真实系统分布。京东搜索多目标实践引入订单、点击、曝光样本之间的级联[1]，有效提升大盘效果。list-MLE[2]是广泛应用的学习排序方法，将list内样本给出预测分数，优化预测分数分布和真实排序一致。plist_MLE[3]解决了连续多目标优化问题，使用线性标量化策略将其转换为一个单目标优化问题。

2.1.2 负样本扩充相关工作

batch内负样本扩充主要分为inbatch、crossbatch两种方式。CBNS[4]采用crossbatch，既维护一个队列，存储之前batch的embedding，在每次迭代后，把当前batch的embedding和采样概率存入队列中，并将最早的embedding出队，在计算sampled softmax的时候可以用到batch内的和队列中的负样本。SBC[5]采用inbatch方式，随机采样同一个batchsize中的样本作为负样本。MNS[6]在采样时，使用了混合负采样，应用多种采样生产负样本。

2.2 级联学习与负样本扩充优化点

加入曝光未点击、精排top打分样本进行级联学习；同时扩充负样本量级，提升模型打分精准性。

2.2.1 级联学习

2.2.2 负样本扩充

之前的非内积优化实验及参考工作[4,5,6]验证扩充负样本可提升模型精准性。模型训练过程中，随机采样同一个batch中的样本作为负样本[6]可大幅扩充负样本个数。

优化点：负样本个数由百级别扩充至千级别。



3.离线&线上实验

通过离线消融实验验证各优化点对模型打分精准性提升。

3.1 离线实验

离线实验结论：

3.2 线上实验

大盘指标：外页uctr +0.02%（0.8），引商点击 +0.53%， uctr含内页 +0.14%，外页ucvr+4.93%（0.00），含内页ucvr+4.17%（0.00），外页推荐用户转化率 +4.64%（0.00），含内页推荐用户转化率 +3.67%（0.00）

召回源指标：非内积召回线上召回源曝光相对+25%，ctr持平、cvr相对+4%



4.总结与思考



5.参考文献

[1] 京东搜索多目标召回模型实践 

[2] Listwise approach to learning to rank: theory and algorithm

[3] Position-Aware ListMLE: A Sequential Learning Process for Ranking

[4] Cross-Batch Negative Sampling for Training Two-Tower Recommenders

[5] Sampling-bias-corrected neural modeling for large corpus item recommendations

[6] Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations



作者：京东零售 张树旺

来源：京东云开发者社区 转载请注明来源