海量数据场景下机器学习模型训练方案

实际处理和解决机器学习工程化问题过程中，我们很难通过单点完成机器学习模型的训练。这些场景包括在线推荐，CTR预估，Lookalike营销等，当有上亿条数据，上千上万维特征，这些应用涉及到的数据量在10G以上甚至TB级别，那么该如何基于海量数据来训练模型呢？

增量学习与特征选择

增量学习

增量学习即使用小batch的数据中进行学习（有时候也称为online learning）是这种学习方式的核心，因为它能让任何一段时间内内存中只有少量的数据，然后将最终的结果通过Voting的方式产生输出，如下是参考代码

#切分块数 cnt=20 size = math.ceil(len(train) / cnt) result=[] for i in range(cnt): start = size * i end = (i + 1) * size if (i + 1) * size < len(train) else len(train) #对数据做batch slice = train[start:end] result.append(batch_predict(pd.concat([slice,test]),i)) gc.collect()

特征选择

特征选择即从稀疏的特征中删除特征重要度为0，特征重要度排序较低的特征值，并通过npz的格式将特征持久化，供后续加载，核心代码如下

se = pd.Series(clf.feature_importances_) se = se[se>0] ##将特征重要性进行排序 col =list(se.sort_values(ascending=False).index) pd.Series(col).to_csv('data_preprocessing/col_sort_one.csv',index=False) ##打印出来不为零的特征以及个数 print('特征重要性不为零的编码特征有',len(se),'个') n = clf.best_iteration_ baseloss = clf.best_score_['valid']['auc'] print('baseloss',baseloss) #通过筛选特征找出最优特征个数 clf = LGBMClassifier(boosting_type='gbdt', num_leaves=31, max_depth=-1, learning_rate=0.1, n_estimators=n, subsample_for_bin=200000, objective=None, class_weight=None, min_split_gain=0.0, min_child_weight=0.001, min_child_samples=20, subsample=1.0, subsample_freq=1, colsample_bytree=1.0, reg_alpha=0.0, reg_lambda=0.0, random_state=None, n_jobs=-1, silent=True) print('开始进行特征选择计算...') all_num = int(len(se)/100)*100 print('共有',all_num,'个待计算特征') loss = [] break_num = 0 for i in range(100,all_num,100): loss.append(evalsLoss(col[:i])) if loss[-1]>baseloss: best_num = i baseloss = loss[-1] break_num+=1 print('前',i,'个特征的得分为',loss[-1],'而全量得分',baseloss) print('\n') if break_num==2: break print('筛选出来最佳特征个数为',best_num,'这下子训练速度终于可以大大提升了')

如上所述，我们介绍了增量学习+特征选择的方式，他适用的场景普遍在数据量在10G左右的单机计算，这种方式也适用于开发人员也可以通过阿里PAI搭载计算资源Maxcompute来做模型验证，采用这种方式有如下优势

优势：

• 模型的泛化能力最强，性能最好；
• 易于部署和模型迭代；
• 支持较为复杂的树模型，模型可解释强；

局限：

• 仅适用于单机场景，超过100G级别的数据很难训练；

MMLSpark

Spark 是为通用数据处理而设计的，并非专用于机器学习任务 ，所以真正意义下Spark不是一个机器学习框架。 要在 Spark 上运行机器学习任务，可以使用 MLlib for Spark；但该方案通常存在如下局限:

• 不支持较为复杂的模型，如集成树模型的训练；
• 适用的场景多为baseline，对于参数的选择支持有限，需要开发者自己重构（比如kmeans算法，spark内部使用的两个向量间的距离是欧式距离。如果希望调整为余弦或者马氏距离，就需要重构了）；
• 对网格调参支持并不理想；

鉴于此，微软开发了MMLSpark，为Apache Spark提供了一些深入的学习和数据科学工具，实现了将机器学习组件 CNTK、LightGBM 和 Spark的 统一，至此：

• 我们可以基于Spark来运行集成树模型的任务；
• 能够对叶子节点设置等复杂参数来做调整；
• 支持超参数的搜索

示例代码如下：

# 实例化一个LightGBM Regressor， 其参数和单机版本类似但不尽相同， 文档可以在以下链接找到： # https://mmlspark.azureedge.net/docs/pyspark/LightGBMRegressor.html lgbm = LightGBMRegressor(numIterations=120, objective='binary', learningRate=0.007, baggingSeed=50, boostingType="goss", lambdaL1=0.4, lambdaL2=0.4, baggingFraction=0.87, minSumHessianInLeaf=0.003, maxDepth=9, featureFraction=0.66, numLeaves=47, labelCol="TARGET")

MMLSpark对比增量学习有如下优势

优势：

• 分布式训练；
• 支持PB级别数据训练建模；

局限：

• 环境搭建与维护成本过于复杂；

Tensorflow等深度学习框架

将数据集均等地分配到系统的各个节点（node），其中每个节点都有该神经网络的一个副本及其本地的权重。每个节点都会处理该数据集的一个不同子集并更新其本地权重集。这些本地权重会在整个集群中共享，从而通过一个累积算法计算出一个新的全局权重集。这些全局权重又会被分配至所有节点，然后节点会在此基础上处理下一批数据

如上图所示，在 TensorFlow 中，分布式机器学习训练就使用了参数服务器方法(PS)。实现了数据集的并行处理和参数的全局共享

采用深度学习框架的优势如下

优势：

• Tensorflow、Mxnet与Pytorch天然支持分布式训练，配置简单灵活；

局限：

• 机器学习场景下，缺乏可解释性
• 数据并行计算带来了开发门槛

除开上述方法，如果采用阿里云的Maxcompute+Dataworks，可尝试机器学习PAI的方式做海量的数据建模，PAI屏蔽了分布式环境产生的开发复杂度，无需环境的配置与运维，应该说也是个“降本增效”的选择

在最新的版本中，PAI支持了小数据集模型运算，可以让开发者先跑通流程，在验证之成功后方可进行大规模数据的计算。