大宗商品贸易集团数据治理实践,夯实数字基座 | 数字化标杆
某大型央企是首批全国供应链创新与应用示范企业,在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主,其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。
随着集团数字化转型不断深化,数据应用方面的需求不断扩展。但集团缺乏统一的大数据资产管理平台,导致在数据应用方面,出现数据价值不凸显、数据标准不统一、数据质量不可控、数据共享不畅通等问题。
在此背景下,该集团引入袋鼠云数据治理团队,立足于打造全集团统一,能满足覆盖运管、风控、业务全过程数字化经营管理及分析决策的统一数据资产平台。对集团现有存量数据进行数据治理及挖掘,搭建数据管理体系,对增量数据进行有效管理和应用。通过梳理目前集团所有存量数据,提炼运营指标及管理指标,科学化管理公司数据资产和挖掘数据价值。
01 围绕“数据治理、数据服务、数据应用”的数据治理方案
袋鼠云根据集团提出的数据治理需求,结合内部现有数据开发平台,以业务应用场景为导向,形成集团统一的数据治理方案。项目以数据治理、数据服务、数据应用三大方向展开实施,其中数据应用以聚焦供应链运营管理业务为核心,数据服务以满足集团下属各子公司数据需求为主,数据治理以统一集团数据归集方式、数据质量标准、元数据维护标准、数据建模标准为目标进行建设。
其中数据治理设计的步骤为:确定当前项目的目标和范围,设计本轮数据治理的模式、架构和方法。以集团当前提出的数据需求场景出发,针对场景数据进行数据治理,主要包括以下几个步骤
1、架构设计
技术架构上,从场景需求出发,结合当前企业组织架构及数据权限出发,将数据中台设计为多项目空间加经典ODS、DWD、DWS、ADS四层结构,其中集团为主项目空间,其余业务供应链平台为子项目空间。另外,根据前期调研结果,结合当前集团业务范围,将业务根据业务主体进行了数据域的设计与划分,其中重点建设数据域为:
1)客商域:企业所服务的所有客户及供应商; 2)商品域:企业自营或代理商品,SKU; 3)交易域:客户与企业发生的所有交易行为,包括交易合同,订单,采购等; 4)风险域:企业发生诉讼,处罚等风险数据; 5)仓储物流域:所有仓库出入库,在途等信息; 6)公共域:系统码值,参数信息,组织架构,人员以及标准化映射信息。
通过分层与分域的设计,将集团原本传统数据架构转变为新数据架构,统一源端数据,建设公共事实层,建设服务层最后满足各个不同需求,有效解决传统数据架构存在的数据孤立,事实重复建设,资产盘点困难等问题,更适应当前集团发展阶段诉求。
2、数据统一归集
当前集团源端数据大体分为三类:第一种是传统业务数据,包含SAP系统、MDM系统、CRM系统、云链、高达、南北、OA等系统;第二种是第三方数据,包含船讯网、启信宝、行情数据、价格数据等;第三种是其他手工填报数据。
其中传统业务数据存在数据源多,数据量级分布不均,部分系统只能取得界面全量数据或为高度汇总报表数据等问题,使用数栈底层数据同步工具FlinkX将不同数据接入数据中台中。
第三方数据使用PySpark脚本任务,通过调取特定的API服务接口,完成数据的采集及简单清洗,接入数据中台。
手工填报数据通过完成填报报表的初步设计后,回流手工填报平台(当前使用饭软),进行定期同步、定期填报、定期回流采集的形式来完成数据的收集。
3、数据集中处理及标准设计
从架构设计出发,对已接入的源端数据,进行明细事实层的建模设计,进行指标体系的统计和收集。
明细事实层的建模设计秉持维度建模理念,根据不同的主题域,将ODS层数据进行特定范围的清洗,处理,加工后形成可复用性强的描述某一颗粒度下,某一业务行为的各项信息,纵向可以进行上钻下钻,横向可以对比。
针对指标层的加工处理,在引入数据中台之前,数据计算逻辑、指标口径都存放在SAP系统的代码中,无法进行有效复用。为了解决这一问题,根据指标体系设计方法论,统一定义指标体系的各信息(包含指标ID、指标名称、指标主题、业务口径、维度、修饰词、计算方式、计算频率、时间周期、业务对接人及开发负责人),在接下来企业的数据应用过程中,完成数据指标口径的收口和统一。
4、数据应用场景
数据应用场景以集团供应链运营管理为核心,分别对运营管理、物流管理、信用管理数据进行统一归集,按照业务指标逻辑进行数据处理开发,满足业务人员数据报表填报和数据统计分析应用场景。
运营管理场景:通过重新梳理SAP客户逾期、客户赊销、现货敞口库存等业务报表数据逻辑为基础,结合大数据平台从SAP底表取数能力,实现风险周报填报、签约情况分析、重大事项填报场景建设,有效减轻业务人员每周报表加工填报的工作压力,同时提高业务数据线上留存能力。
物流管理场景:以物流合同、物流供应商、供应商库点、库点库存、库点盘点记录数据为基础,进行统一汇聚处理,按照业务指标口径进行数据开发,实现物流合同看板、物流供应商看板、库点盘点密度看板、库存看板四大看板,为业务人员发现潜在风险和日常业务数据便捷查询提供有利条件。
信用管理场景:以客商授信额度、客商逾期、行业产品加工利润数据为核心,结合业务逻辑指标进行数据开发,实现授信额度跟踪、逾期数据分析、行业加工利润填报场景建设,为业务人员控制客商授信额度、发现客商潜在风险、明确当前各行业产品盈利情况提供有效支撑。
02 夯实数字基座,有效支撑数据应用
截至目前,集团数据中台共构建700余张表,数据执行任务总量500余个,其中ODS数据源始层同步任务200多个、DWD数据明细层清洗加工任务40多个、DWS数据汇总层汇总任务60多个、DIM数据维度层维度同步任务20多个、ADS数据应用层业务场景数据推送任务100多个。
满足集团供应链运管部物流仓储管理、客商信用管理、价格管理、运营管理等部门数据分析需求,实施搭建签约销售/采购看板、物流仓储看板、授信额度跟踪看板、逾期数据分析看板、运管风险逾期周报填报等业务场景。
《数栈产品白皮书》下载地址:https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm
想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szkyzg
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
数十万QPS,百度热点大事件搜索的稳定性保障实践
作者 | 文燕 导读 在互联网行业里,业务迭代很快,系统变更频繁,尤其长青业务随着时间会积累越来越多历史包袱。阿拉丁作为百度搜索垂直化的产品,业务历经多年更迭,历史包袱很多,在应对大事件比如高考、东京奥运会、北京冬奥会的大流量时业务集群面临很大挑战。以高考来说,从2013年开始百度做高考,经过11年的坚持和沉淀,如今高考阿拉丁直接承接用户搜索高考相关内容的数十亿pv的流量,积累多年的系统因其复杂度而面临巨大的稳定性风险。为了应对高考等大事件的巨大流量,联合多方快速建立了保障机制,本文结合实践做了归纳和总结。 全文3087字,预计阅读时间8分钟。 01 保障思路 大事件的流量很大且有很强时效性,在保障时尤其要注意系统瞬时扛压能力。像每年高考的作文题,总是社会舆论热点,每个省份的高考查分、分数线公布的时间点都是瞬时热度极高。而奥运会这类体育赛事的热点事件难以预料,有时候是乒乓球半决赛焦灼,有时候是弱势项目突然夺冠,关注事件的用户不仅仅是平时活跃的几百万运动爱好群体,也有热点爆发后大量新增关注的用户,也就导致瞬时流量峰值难以预料,用户对我们赛事数据的时效性要求也很高,最好的体验是赛事数据实时...
- 下一篇
两全其美:Sidecarless 与 Sidecar 模式融合的服务网格新形态
01 前言 Istio 社区与 2022 年 9 月发布了一种名为 Ambient 的新架构,由于其从架构上将 Sidecar 转变为 4 层和 7 层代理,故而这种模式也被称为 Sidecarless 模式。阿里云服务网格 ASM 是业内首个支持 Ambient 模式的托管式服务网格。 本文基于 2023 云栖大会上关于阿里云服务网格 ASM 产品技术最新进展分享的实录,来自阿里云云原生产品线服务网格团队的史泽寰、尹航同学将用 4 个部分,为读者介绍 ASM 如何落地这种 Sidecarless 和 Sidecar 模式融合的服务网格新形态,以及服务网格的 Serverless 化。 02 服务网格架构的演进 随着服务网格在云原生技术体系下越来越流行,越来越多的企业技术团队在生产环境使用服务网格,相信有很多朋友已经了解过服务网格,为了方便刚开始接触服务网格的同学更顺畅地理解后续内容,我们先来对服务网格经典的 Sidecar 模式做一个介绍。 经典服务网格架构根据组件的职责被划分为控制平面和数据平面,控制平面扮演服务网格的大管家,为数据平面组件根据需求提供不同的配置,数据平面作为执行者...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Red5直播服务器,属于Java语言的直播服务器
- CentOS关闭SELinux安全模块
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19