您现在的位置是：首页 > 文章详情

【云栖号案例 | 互联网】Ping++上云打造百万级交易量的大数据平台

日期：2020-03-15点击：506收藏

云栖号案例库：【点击查看更多上云案例】
不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！

公司简介

我们是上海简米网络科技有限公司，旗下的聚合支付品牌Ping++ 是国内领先的第三方支付解决方案SaaS服务商。我们的Ping++ 产品成立于2014年4月，2016年初获得由宽带资本领投的千万美元 B 轮融资。我们为零售、电商、O2O、教育、旅游、SaaS 服务等众多领域的商户提供定制化支付解决方案，累计帮助15000多家商户解决支付问题。

从安全可靠的聚合支付平台到简单无忧的聚合支付云服务，我们不仅极大地简化了企业与移动支付渠道和消费分期渠道的对接过程，还将日常交易管理、账务管理、大数据分析、多级商户、用户账户等功能集成到统一的管理平台。从支付接入、交易处理、业务分析到业务运营、大数据营销，我们以定制化全流程的解决方案来帮助企业应对在商业变现环节可能面临的诸多问题。

业务痛点

我们公司的Ping++产品通过搭建在云端的支付处理平台，为商户集中处理所需第三方支付渠道的交易请求，并提供统一的SDK接口供商户调用。当商户的用户发起交易时，就会调用这个SDK，此时这些数据记录会存储到数据库中，包括时间、金额、渠道等信息。当前日交易笔数为百万级，目前已经积累了海量交易数据。

如何在经过客户授权的情况下利用数据为客户赋能，并带来额外附加价值，从而提高客户黏性，我们亟需搭建可靠、稳定的大数据平台。在搭建大数据平台的过程中，存在以下挑战：

一站式大数据平台，可以帮助降低数据创新与创业成本，需同时具有存储、计算、BI和机器学习等功能需求：

1.存储：利用数据仓库存储海量支付订单数据。
2.计算：批处理进行 ETL 数据清洗、统计汇总、数据分析。
3.BI：产出数据的监控指标，以图形化方式反映数据质量和趋势。
4.机器学习：各类场景下模型的训练及预测。

我们作为一个创业公司，前期尽可能以最低的成本去实现业务创新。但是，自己搭建符合上述4种所有要求的大数据平台，需要投入大量硬件投资、时间成本和人力成本。作为互联网创业公司，唯快不破，需要跟时间赛跑，如何快速、高效、低成本的搭建大数据平台也是重要议题。
安全是金融行业永远的话题，作为互联网支付服务提供商，我们非常重视大数据平台的安全性、稳定性和可靠性，并需要平台具有多角色多权限的账户体系。同时，我们使用严格的数据隐私保护机制，商户的数据只用于分析商户自己的生意。

解决方案

我们围绕积累下来海量的交易数据，主要基于阿里云数加平台进行以下业务场景创新：

BI营销业务系统。基于用户交易行为数据进行用户画像，在用户画像的基础上提供精准营销方案，在老客户激活、提高客单价、潜客获取、转化率提升等方面对客户赋能。
内部监控。基于阿里云数加平台进行数据监控赋能内部管理，包括交易信息汇总、异常交易提醒、数据质量分析等。
数据源：来源于支付业务系统，分别使用了阿里云RDS、DRDS以及MongoDB，DRDS和RDS主要用来存储用户交易信息，MongoDB主要用来存储商品维度信息。
大数据平台：通过阿里云数加平台搭建，包含的组件及功能为：

1.大数据计算服务（MaxCompute ，原名 ODPS）：用于数据仓库。目前有包括原始基础表、ETL 结果表、上层 ADM 应用数据集市表在内的共计 630+ 张数据表。
2.大数据开发套件（DataIDE）：使用其中的 DAG 调度系统支撑每天例行化运行 140+ 个节点；利用提供的日志功能、报警机制、重跑补数据等多种工具进行运维工作；通过阿里云子账号和数加平台的权限体系实现了多角色多权限的账户体系。
3.Quick BI：用于指标的图表展示。目前有 10+ 张图表以监控数据质量和辅助决策。
4.机器学习：利用提供的算法库解决大数据量的图模型问题、机器学习分类问题、文本分词问题等。