袋鼠云数据中台专栏(六):企业数据指标的那些事儿
本文作者:子玺
袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位,担任多个大型数据项目的数据应用咨询顾问/项目经理。
一、企业指标体系的重要性不言而喻
在我们谈论指标之前,先将时间倒推几十年,现代管理学之父彼得·德鲁克说过一句很经典的话:如果你不能衡量它,那么你就不能有效增长它。所谓衡量,就是需要统一标准来定义和评价业务,这个标准就是指标。
一个企业的生产、运营离不开指标,它的重要性不言而喻,我们这里就不再讨论了,接下来,我们主要看一看企业发展过程中与数据及数据指标有关的那些事。
二、从全局角度看,企业数据指标体系可能存在一些问题
-
全局总览下来,不同部门利用数据指标的水平和标准参差不齐
-
因基础数据问题,缺失某些重要指标,想看的指标看不到
-
混乱的数据基础制约了探索性分析,对新业务开展支持力度有限
-
……
我们想象数据指标就像是企业发展的“记牌器”,是衡量企业/业务发展健康程度的重要存在,那么如何解决上述问题,用好这个记牌器呢?
笔者认为可以从以下几个方面入手:
-
帮助企业站在全局视角,快速梳理现有的所有指标情况,清晰掌握企业当前利用数据的情况,评估每一个部门指标体系搭建及应用情况,至少做到“知己”;
-
针对缺失的指标提供建设路径与参考方案,为企业主衡量决策时提供必要的支持;
-
基于数据中台策略为企业构建OneData数据架构,解决全域数据统一的问题,同时借助数栈-数据治理套件从工具层面解决数据血缘追溯,方便不同部门数据使用人员使用,降低沟通和管理成本。
构建数据地图,梳理数据指标,让企业数据可感、可知、可管
三、什么是OneData体系?
在企业发展初期,数据研发模式一般紧贴业务的发展而演变的,数据体系也是基于业务单元垂直建立,不同的垂直化业务,带来不同的烟囱式的体系。
但随着企业的发展,一方面数据规模在快速膨胀,垂直业务单元也越来越多;另一方面基于大数据的业务所需要的数据不仅仅是某个垂直单元的,使用数据类型繁多(Variety)的数据才能具备核心竞争力。
跨垂直单元的数据建设接踵而至,混乱的数据调用和拷贝,重复建设带来的资源浪费,数据指标定义不同而带来的歧义、数据使用门槛越来越高……这些问题日益凸显,成为企业发展迫在眉睫要解决的问题。
针对以上问题,我们建议企业以Kimball的维度建模为核心理念,借鉴典型互联网大型企业的海量数据架构设计思路,构建属于企业自己的数据架构体系——OneData。
那么,到底什么是OneData体系?
OneData体系:即建立企业统一的数据公共层,从设计、开发、部署和使用上保障了数据口径的规范和统一,实现数据资产全链路管理,提供标准数据输出。该体系包含:数据规范定义体系、数据模型规范设计、ETL规范研发以及支撑整个体系从方法到实施的工具体系。
以数据规范体系为例,不同于以往分部门的指标混乱定义做法,OneData体系中,我们将此前个性化的数据指标进行规范定义,抽象成:原子指标、时间周期、其他修饰词等三个要素,如下所示:
例如,以往业务方提出的需求是:最近7天的成交。而实际上,这个指标在规范定义中,应该结构化分解成为:
原子指标(支付订单金额)+修饰词-时间周期(最近7天)+修饰词-卖家类型(自营)。
这样做的好处是指标口径复用性强,可以极大的精简复杂的指标体系,便于理解和使用。
同时,我们也会借助工具(数栈——大数据开发套件)来帮助规范数据开发过程,替代传统的人工经验+人工约定模式,从根本上解决数据指标口径一致,各种场景下看到的数据一致性得到保障。
综上:袋鼠云能够提供企业指标梳理与规划服务,我们会依据多个企业落地项目的经验,借助工具帮助企业从资源层面开始梳理指标问题,协助企业数据部门回答有关指标缺失、指标不同统一等疑问,同时也能够结合业务场景帮助企业建立一个更加清晰、便于管理和拓展的指标体系,为企业数据化运营发展提供坚实的数据基础。
敬请期待袋鼠云数据中台专栏第7期:实体画像与标签体系建设
《袋鼠云数据中台专栏》
——为何而作?
企业的发展,往往伴随着业务更多元化,而与此同时企业在积极推进业务数据化,因此越来越多的企业伴随着各个垂直业务的发展,形成了一个个垂直的数据中心,如何打通这些数据并且以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,是众多企业面临的问题。
阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过实践形成了统一全域数据体系,实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。
中台首先是一种战略选择,一种组织形式,其次才是一些有形的产品支撑和实施的方法论。
袋鼠云核心团队曾参与阿里中台体系构建、实现,对阿里巴巴数据中台思想有着最深刻的理解,对数据中台技术有着深厚的积淀。
作为阿里云数加平台金牌合作伙伴、阿里云生态技术先锋(ITP),袋鼠云有责任肩负起数据中台思想传播和技术应用探讨的使命,和更多企业客户一起挖掘数据价值,让数据产生价值,让未来变成现在。
《袋鼠云数据中台专栏》
——每月2-3篇
“数据中台专栏”自5月25日起,已经持续更新5篇。
本专栏系由袋鼠云数据中台解决方案部门的众多资深业务架构师一起协力完成,更多精彩内容,敬请期待!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
SQL Server 多表数据增量获取和发布 3
程序结构 新建一个窗体应用程序,新增三个类库,实现各个层次责任分离 BLL 业务逻辑层 Common 公共帮助类层 Models 模型层 SqlMonitoring SQL监视器程序 image.png 程序设计思路 大概的设计思路是这样的: 1、因为是多表数据增量获取,首先通过配置CDC已经完成多表的捕获配置。 通过CDC实现了数据的捕获,我们需要开一个服务,循环读取捕获表的内容(通过时间戳字段),因为使用时间戳,所以需要对每次的时间进行保存,方便下一次获取数据区间做判断条件。 因此设计一张数据表时间戳记录表,数据结构如下 时间记录表数据结构 主键,架构名,表名称,上次更新时间 image.png image.png 2、根据时间戳循环读取多表数据,将数据放入队列中。 3、在开启一个服务,循环读取队列里面的数据,为了保证数据有效性,将队列中的数据传送给服务接口的时候还要再本地同时进行备份的保存,只有当数据服务返回正确值得时候,更改日志表的状态位。 日志记录表数据结构 主键,时间节点,序列化数据,状态位 image.png image.png 重点 如果需要更新状态位,那么需要一个标识...
- 下一篇
重视云端容灾:数据命脉要牢牢掌握在自己手里
某国内知名公有云厂商因为低层硬件问题,导致一个客户的数据永久性丢失,这两天在网上传沸沸扬扬,互联网再次掀起了关于企业把数据放在公有云上是否安全的问题讨论。 新闻热点总是很快成为“明日黄花”,虽然此次事件已经进入尾声,但是对事件中客户的影响却是致命而长远的,我们应该以此为戒,敲响警钟。 随着云计算对大数据能力的释放,以及AI理念对大数据未来方向的指引,越来越多的企业已经接受 “让数据产生价值” 的理念,重视数据对企业未来发展的战略意义。如果说数据是流淌在企业中的血液,那 “数据安全” 就是血液中的血小板,帮助企业抵御来自外部的各种威胁。数据安全包括完整性、可用性、隐私性三个维度,一般来说,数据可用性受损,是因为数据由于被攻击、物理故障等问题而最终导致数据不可使用的结果。企业日常运维工作中,为了避免重要数据因服务器病毒(如去年很火的勒索病毒)、机房故障(本次磁盘故障)等意外问题,导致数据永久性丢失,运维工程师常常会通过各类技术手段,来避免各类灾难的发生,从而保障云端保障数据的可用性,常用措施一般有冗余和备份两种形态。 今天袋鼠云 云服务团队,将结合本次事件中涉及到的数据可用性这个重要指标,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装