大型集团企业数据治理方案,以“应用驱动”的数据治理策略 | 行业方案
数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。
通过搭建大数据平台,实现对业务系统数据的采集、清理、建模、整合,建立一个符合业务需求的数据决策平台,形成企业数字化转型关键能力,支撑数据赋能业务价值,最终推动组织及管理升级,实现数字化转型。
以某拥有多元主业的综合型产业集团为例,该集团众多业务板块的信息化建设各自发展,系统相对独立,数据尚未实现归集交换共享,业务协同联动缺少支撑,数字化运营能力薄弱,制约了集团的内部管控和经营效率的提升。
为此,袋鼠云提出了“1套物理中台+N个逻辑中台+X个场景”的数据治理解决方案,建设集团经营指标及标签体系,在场景化数据应用、消费者精细化营销等方面进行深化改革,发挥统一管控、统一运营和统一服务作用。
围绕以搭数据平台为支撑,以治理为手段,以数据服务为依托的原则。该集团数据治理的具体实施路径可以分为三个阶段:一阶段“搭平台,汇数据”;二阶段“做治理,立标准”;三阶段“建应用,启服务”。
01 搭平台,汇数据
建立集团统一数据中台,基于多租户的隔离机制建设多个二级企业数据中台,既满足集团数据资产管控的要求,也满足二级企业数据应用的建设需求。归集人力、财务、酒店管理、医疗健康等业务板块180个系统核心数据,按照业务需求划分8个主题域,形成430G数据资产,包含2000多项指标和300多个标签。
02 做治理,立标准
在数据归集阶段通过对数据进行全面探查,发现数据存在的问题并形成问题集,在治理阶段结合业务实际需求,制定基础数据标准与指标数据标准。对于接入中台的数据进行标准定义,实现词根统一。各业务板块按照其归属的行业标准形成内部规范。基于数据中台产品实现集团数据资产元数据的统一管理,业务侧数据管理人员负责维护业务元数据,技术数据管理人员负责维护技术元数据,专人专责保障治理效果。针对数据中台运行的数据任务,配置单表校验及多表比对规则,对数据质量进行预警,避免不合格的数据流入生产应用。
03 建应用,启服务
数据应用是从应用场景出发,将已经构建的数据资产通过服务化方式,应用到具体的业务中,发挥数据价值辅助用户更优的做决策(甚至行动)的一种产品形式。它在用户的决策和行动过程中,可以充当信息的分析展示,将数据资产快速形成服务能力并与业务进行对接,在业务中产生数据价值,洞察事物本质。
在搭好平台做好治理的基础之上,开展数据应用及数据服务的建设,包含领导驾驶舱,专题分析报表与数据接口服务。通过整合集团内部与外部数据,构建了集团管理的13个主题驾驶舱,帮助管理者掌握集团“人”“财”“物”家底的动态和二级业务板块的经营实况,例如酒店管理基于项目管理一张图,实现了酒店名片在线化,打造了全国酒店对外数字化展示窗口。
通过建立起支撑4大业务板块的多维度多层次专题分析报表,为各级管理人员提供经营、用户、舆情等多视角的全面洞察,为日常管理决策提供及时准确的数据信息。通过数据中台提供统一数据接口服务,在数据服务安全可控的前提下,实现数据在内部的跨业务共享利用。
《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szkyzg
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
JVM 内存大对象监控和优化实践
作者: vivo 互联网服务器团队 - Liu Zhen、Ye Wenhao 服务器内存问题是影响应用程序性能和稳定性的重要因素之一,需要及时排查和优化。本文介绍了某核心服务内存问题排查与解决过程。首先在JVM与大对象优化上进行了有效的实践,其次在故障转移与大对象监控上提出了可靠的落地方案。最后,总结了内存优化需要考虑的其他问题。 一、问题描述 音乐业务中,core服务主要提供歌曲、歌手等元数据与用户资产查询。随着元数据与用户资产查询量的增长,一些JVM内存问题也逐渐显露,例如GC频繁、耗时长,在高峰期RPC调用超时等问题,导致业务核心功能受损。 图1 业务异常数量变化 二、分析与解决 通过对日志,机器CPU、内存等监控数据分析发现: YGC平均每分钟次数12次,峰值为24次,平均每次的耗时在327毫秒。FGC平均每10分钟0.08次,峰值1次,平均耗时30秒。可以看到GC问题较为突出。 在问题期间,机器的CPU并没有明显的变化,但是堆内存出现较大异常。图2,黄色圆圈处,内存使用急速上升,FGC变的频繁,释放的内存越来越少。 图2 老年代内存使用异常 因此,我们认为业务功能异常是机器的...
- 下一篇
实战总结|记一次 glibc 导致的堆外内存泄露
问题现象 团队核心应用每次发布完之后,内存会逐步占用,不重启或者重新部署就会导致整体内存占用率超过90%。 发布2天后的内存占用趋势 探索原因一 堆内找到原因 出现这种问题,第一想到的就是集群中随意找一台机器,信手dump一下内存,看看是否有堆内存使用率过高的情况。 内存泄露 泄露对象占比 发现 占比18.8% 问题解决 是common-division这个包引入的 暂时性修复方案 当前加载俄罗斯(RU)国际地址库,改为一个小国家地址库 以色列(IL) 当前业务使用场景在补发场景下会使用,添加打点日志,确保是否还有业务在使用该服务,没人在用的话,直接下掉(后发现,确还有业务在用呢 )。 完美解决问题,要的就是速度!!发布 ~~上线!!顺道记录下同一台机器的前后对比。 发布后短时间内有个内存增长实属正常,后续在做观察。 发布第二天,顺手又dump一下同一台机器的内存 由原来的18.8%到4.07%的占比,降低了14%,牛皮!! 傻了眼,内存又飙升到86%~~ 该死的迷之自信!! 发布后内存使用率 探索原因二 没办法汇报了~~~但是问题还是要去看看为什么会占用这么大的内存空间的~ 查看进程...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- Linux系统CentOS6、CentOS7手动修改IP地址
- 2048小游戏-低调大师作品
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8编译安装MySQL8.0.19
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合Thymeleaf,官方推荐html解决方案