大规模深度学习预测场景下 codegen 的思考与应用
更多关于 RTP 系统的介绍请见 深度预测平台RTP介绍
背景简介
RTP 系统
RTP 系统(即 Rank Service),是一个面向搜索和推荐的 ranking 需求,支持多种模型的在线 inference 服务。RTP 支持 LR、GBDT 以及 tensorflow 等多种模型及模型格式,并依托 suez 在线服务框架,将样本组装和模型预测一气呵成,提升了业务迭代效率,并在性能和稳定性方面予业务以充分保障。
inference 计算
RTP 上的业务大多数是打分类的场景,它的计算流程由一个 Compute Graph 描述(TF Graph)。从计算逻辑上来看,它可以分为这样三部分:
- 存储读取。根据商品 ID,利用 suez 存储能力,join 读取 Item 字段内容;获取 Query 和 User 信息。
- 特征生成。根据上一步的原