如何从零开始建设数据中台?
云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
数据中台对于许多传统企业而言,依旧是很陌生的概念。
如何从零开始建设数据中台?
我们把它简化为一个方程式,数据中台:正确的人 + 正确的工具 + 正确的事 = 降本增效,其中,三个要素缺一不可。
正确的人
数据中台在国内有完整实践的企业不多,相关的人才也相对较少。企业在选择数据中台时,需要有方法论、实践经验去指导,以避免从零摸索带来大量人力物力的浪费。这也是企业在选择服务商时需要留意的。
正确的工具
在这里主要指的是狭义上的数据中台产品。市面上的产品五花八门,数据中台产品各型各样,如何选择非常关键。
正确的事
数据中台不是摆设,并不是说搭建一个产品意义的数据中台,企业就完成数字化转型了。数据中台最终还是要为业务服务。我们要用数据中台做什么,解决什么业务痛点,需要考虑清楚。
这个方程式最终导向了我们建设数据中台的目的:为企业带来降本增效。“要么给老板省钱(降本),要么给老板挣钱(增效)”。
数据中台的选型与构建
首先需要强调的是,在这里我们分享的只是一般情况,不同企业、不同数据情况和不同需求,不可一概而论。不管黑猫白猫,能解决痛点的就是好猫。
数据中台的底层是大数据架构,大数据架构如何去选型?
在架构选型时,成本、场景支持是我们考虑最关键的 2 个要素。
综合实施周期、实施成本、是否支持实时计算、数据冗余与数据一致性情况等因素,我们认为 Lambda 架构成本相对适中,又能满足实时计算和离线计算两个场景。
当然,选择 Lambda 架构也会不可避免地面临数据冗余的问题,而目前大部分传统企业用到实时计算的场景偏少一些,相对来说产生的数据冗余也较少,可以通过数据治理等方式解决。
底层之上是引擎,包括离线计算引擎和实时计算引擎,又应当如何去选型?
离线计算:三种离线计算引擎各有特点,可以综合企业的数据情况和需求,选择合适的计算引擎。
实时计算:在批处理 + 流处理上,Flink 备受青睐,稳定性较好、吞吐量较大。一般来说推荐使用 Flink。
在架构上层,则涉及到了:数据模型应如何设计?
数据模型是为业务服务的。具体来说,就是把业务抽象化,提炼成数据模型,再通过数据解决业务问题。
建数据模型,会经历业务建模、概念建模、逻辑建模和物理建模四个阶段。
在模型选择上,我们仅列举两种模型,星型模型与雪花模型。通常情况下,为了能下游能更好地理解业务,快速提供数据服务,我们会采用空间换时间的方式,从而选择星型模型;而在维度信息变化非常频繁,或者数据存储成本非常高的情况下,我们可以采用雪花模型。归根到底,数据模型没有好坏之分,只有能否解决业务问题。
最后需要强调,对于技术和模型的选择,我们做了一些推荐和优劣势的介绍,但技术和模型本身没有对错之分,适合自己的才是最好的(能解决业务问题才是最好的)。
数据中台的架构设计
我们把数据中台的架构分为三层,数据资产层、数据服务层、数据应用层。
这张图从下往上看,首先通过数据治理、数据开发、借助数据仓库,把数据转化为可用的数据,即资产「数据资产化」;然后建立数据能力,把数据用起来,例如标签工厂、模型分析等,即「资产服务化」;再通过智能化的场景给业务赋能,也就是「服务智能化」。
AI 驱动的数据中台
奇点云创立三年来,数据中台的实践在零售、时尚、百购等行业相继落地,在实践经验中,探索并检验出了数据中台的“王道”:AI 驱动的数据中台。
所谓“AI 驱动”,我们可以看到在架构中融入了独创的“云(智能)+ 端(感知)”的解决方案,从数据采集层的 AIoT 到数据服务层的算法服务、分析引擎再到顶部的数据智能应用,实现了“云赋能端,端丰富云”,既解决企业数据生产的问题,又解决企业数据使用的问题。
在“AI 驱动的数据中台”实践中,奇点云自研了一站式大数据智能服务平台—DataSimba,其旨在为企业提供全链路的产品 + 技术 + 方法论服务。
DataSimba 核心模块包括全域数据采集、数据开发、数据治理、数据资产管理、数据 API、数据科学、数据质量、标签工厂,可以帮助企业快速搭建安全、易用的数据中台,最大化释放价值,驱动业务增长与创新。
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Kafka 加 Flink 不是终点!下一代大数据平台 Pravega
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。发展到现在,Apache Kafka 无疑是很成功的,Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余,但是实际生产中还有很多不允许丢数据的场景存在。针对这类场景是否有新的技术和框架出现? Kafka:大数据平台中的核心软件据中国信通院企业采购大数据软件调研报告来看,86.6% 的企业选择基于开源软件构建自己的大数据处理业务,但大数据人都会感叹大数据领域开源项目的“玲琅满目”。很多软件只经过一两年就形成一次更替,经过多年的厮杀和竞争,很多优秀的产品已经脱颖而出,也有很多产品慢慢走向消亡。比如 Spark 基本上已经成为批处理领域的佼佼者, Flink 成为了低延迟流处理领域的不二选择,而 Storm 开始慢慢退出历史舞台。 Kafka 在消息中间件领域基本上占据了垄断地位,最终沉淀出了以这几个软件为核心的大数据处理平台。 那么现在的大数据架构下的底层生...
- 下一篇
网上被黑提不了
(提示口2625-84/30)在这里我和大家说说什么叫被黑。被黑是指你在某些网站玩游戏赢了网站以各种理由不给你提,比如网站维护,系统审核,流水不够,账号异常等等。这些其实都是黑你的理由!那我们遇到这样的情况应该怎么办呢?别急,接着往下看。 遇到这种情况第一要保持理智,不要频繁的去找客服,找他们没用的,你要清楚他们都是一伙的,黑网就是合伙起来骗人的,如果你赢得不是很多你不会发现这些问题,当你赢多了网站就会黑你了,就算你报警也没用。因为他们那些网站服务器都是挂在国外的。那么我们遇到这种情况应该怎么才能挽回损失呢?最简单的方法就是藏分,把上面的分全部藏进游戏,让网站以为你已经输出进去了,然后在一点一点的放出来,放出来后就提,在把分转移到另一个游戏继续玩,(切记这种玩是假玩给网站制作一种假象)一次不要太多,不要提整数,每次不要提完,号上留一点!提完到账后用剩下的分继续玩,玩几把后在放分,这样反复操作!还有一种方法就是通过技术手段找到他们的漏洞,这种方法的成功率较高,但难度较大。以上的方法如果不懂我可以告诉你
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2整合Thymeleaf,官方推荐html解决方案