阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

作者：微财技术研发经理 宋鑫

微财介绍

微财是一家创新型的金融科技企业，凭借多年积累的金融科技能力和数据处理优势，为客户提供消费分期等金融信息服务，致力于成为值得信赖的金融机构合作伙伴。旗下拥有好分期等品牌，为高成长用户提供信用分期借款过程中的综合性信息、技术以及辅助服务。

业务挑战

数据资源是金融科技企业的核心价值，微财依托大数据评估用户借款过程中的风险，随着微财业务的快速发展，积累了大量用户数据，大数据集的训练逐渐成为瓶颈，其成熟度对业务的重要性不言而喻。根据性能、成本、安全、易用性、可靠性和扩展性等多维度评估，我们可以发现，要搭建一套成熟、稳定且高效的大数据模型训练平台需要耗费大量人力和时间成本。

选择 Spark 技术栈

在数据平台计算引擎层技术选型上，前期的架构选型我们做了很多的调研，综合各个方面考虑，希望选择一个成熟且统一的平台：既能够支持数据处理、数据分析场景，也能够很好地支撑数据科学场景。加上团队成员对 Python 及 Spark 的经验丰富, 且Spark拥有比较成熟的机器学习生态，所以，从一开始就将目标锁定到了 Spark 技术栈。

为什么选择阿里云EMR Serverless Spark

在机器学习场景下需要解决的问题，

 

1. 一是要突破单机训练使用的数据规模的瓶颈；

2. 二是要提高训练的效率，EMR Serverless Spark 的全托管服务、灵活的弹性扩缩容很好的满足了这两点问题，保证了用户级别的独立资源供给。

 

通过与阿里云计算平台EMR团队进行多方面的技术交流以及实际的概念验证，我们最终选择了阿里云EMR Serverless Spark。作为 一站式全托管湖仓分析平台，其自研 Fusion 引擎，内置高性能向量化计算和 RSS 能力，统一的数据工程和数据科学等，都是我们决定选择 Serverless Spark的重要原因。

 

具体来看，Serverless Spark提供的核心优势如下：

 

1. 引擎性能大幅提升：自研 Fusion 引擎，内置高性能向量化计算和 RSS 能力，相对开源版本性能提升 3 倍以上；

2. 完整 Spark 技术栈集成：支持使用 DataFrame、SQL、PySpark 等多种编程方式开发批、流、交互式分析、机器学习等不同类型的任务，并进行调度执行；支持通过 Spark Submit、Livy、Spark Thrift Server 等开源兼容的方式进行任务提交；提供内置 SQL Editor 和 Notebook，提供ETL和数据科学一体化开发体验；

3. Serverless 全托管服务：开箱即用，免运维，无需关注底层资源情况，降低运维成本，聚焦分析业务，秒级资源供给，按任务级别弹性扩缩容；

4. 高品质支持以及SLA保障：阿里云提供覆盖Serverless Spark 的技术支持；提供商业化 SLA 保障与7*24小时 Serverless Spark 专家支持服务；

5. 总成本降低：自研 Fusion 性能优势显著；同时基于计算存储分离架构，存储依托阿里云 OSS；能够有效降低集群总体使用成本。

 

“EMR Serverless Spark让我们有了单独的资源池进行模型训练，避免了资源冲突，同时还解决了我们在存算分离架构下需要处理shuffle稳定性和性能问题的困扰”

——微财产品技术研发负责人

技术数据平台整体架构

数据采集

在微财数据仓库搭建的初期，我们自主研发了 dw-shell 工具，提供了完善的数据采集能力，并且屏蔽了存储引擎和计算引擎之间的差异。这一工具在我们的上云过程中发挥了至关重要的作用，帮助我们在一个月内完成了所有大数据计算任务的全量迁移。

数据入湖

在数据入湖方面，我们采用了 Apache Paimon 作为数据湖存储框架，并集成了 Apache Spark、Flink 和 Hive 作为计算引擎，构建了一个完整的数据湖生态系统。这一系统已经在实时数据监控和分析等场景中得到了成熟的应用，显著提升了我们的数据处理能力和业务效率。

数据科学

我们将机器学习的训练过程从单机训练迁移到了大数据集群，采用本地 Python 环境 + 云端训练的方式，将训练任务提交到 Serverless Spark，保证了本地开发灵活性的同时，充分利用了集群的计算资源，通过自研的模型开发框架vulcan-x，使分布式训练代码的编写、超参调优与本地开发无异，大幅降低了分布式训练代码编写的难度，基本消除了数据科学家开发的学习成本。

典型应用场景介绍

智能风控

 

为了帮助数据科学家无缝将训练任务迁移到 Serverless Spark执行，我们搭建了风控能力平台 MX FLow，提供以下几方面的能力。

特征挖掘支持

我们在 Serverless Spark 实现了特征挖掘常用的分箱方法，如等频分箱、决策树分箱、卡方分箱等，以及特征评估的相关函数，支持用户使用分布式能力将特征离散化，评估特征的风险区分度。

分布式训练

基于 Spark MLlib 成熟的机器学习生态，我们结合了 Spark MLlib内置算法、以及相关开源算法，如 SynapseML 提供的 lightgbm 分布式实现，为用户提供与本机训练相同的 API，截至目前累计支持了随机森林、逻辑回归、lightgbm、catboot、xgboost等算法。

 

 

实际测试中发现，训练耗时基本与数据集的 shape（行数 x 列数） 成正比。在常用的训练 PC 上 400万行的训练集，机器内存已经达到瓶颈，使用 Serverless Spark 使用默认参数进行分布式训练，训练集 5000 万行时，训练耗时在 20 min 左右。

 

自动项目管理

MX Flow与vulcan-x配合使用，形成客户端与服务端的交互模式，用户在本地使用vulcan-x编写运行的代码产生的过程或结果数据，自动以数据集服务在服务端组织起来，提供可视化过程数据报告、模型管理等功能。服务端也提供了完整的超参调优功能，兼容开源工具 optuna，提供调优过程Dashboard。

 

 

 

 

总结与展望

随着微财业务数据量的不断增长，我们将会进一步拓展分布式训练的规模。微财在智能风控场景中已经开始深度学习能力的探索，利用多节点的分布式训练框架，如 Horovod、PyTorch Distributed 等，加速大规模深度学习模型的训练过程。未来也希望能够在 Serverless Spark 上能够使用到 GPU 训练的能力，共同探索分布式训练在深度学习领域的应用方向，提高训练效率和可扩展性。