数据中台交付专家告诉你,数据架构的分层怎样更加合理?
作者:柯根 更多内容详见数据中台官网 https://dp.alibaba.com
从整体上看,数据中台体系架构可分为:数据采集层、数据计算层、数据服务层三大层次。通过这三大层次对上层数据应用提供数据支撑。
数据采集层
对于企业来说,每时每刻都在产生海量的数据,数据采集作为数据体系第一环尤为重要。
因此在数据采集层需要建立了一套标准的数据采集体系方案,并致力全面、高性能、规范地完成海量数据的采集,将其传输到大数据平台。
互联网日志采集体系包括两大体系:Web端日志采集技术方案;APP端日志采集技术方案。
在采集技术之上,企业可以用面向各个场景的埋点规范,来满足日志数据打通等多种业务场景。同时,还可以建立了一套高性能、高可靠性的数据传输体系完成数据从生产业务端到大数据系统的传输;在传输方面,采集技术可既包括数据库的增量数据传输,也包括日志数据
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
数据中台的OneModel体系与经典维度建模理论有何关系?
作者:柯根 更多内容详见数据中台官网 https://dp.alibaba.com维度建模经典理论维度建模是数据仓库建设中的一种数据建模方法,将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文,Kimball最先提出这一概念。其最简单的描述就是,按照事实表,维度表来构建数据仓库,数据集市。这种方法的最被人广泛知晓的名字就是星型模式。实体关系模型(E-R)建模通常用于为单位的所有进程创建一个复杂的模型。这种方法已被证实在创建高效的联机事务处理 (OLTP) 系统方面很有效。相反,维度建模针对零散的业务进程创建个别的模型。例如,销售信息可以创建为一个模型,库存可以创建为另一个模型,而客户帐户也可以创建为另一个模型。每个模型捕获事实数据表中的事实,以及那些事实在链接到事实数据表的维度表中的特性。由这些排列产生的架构称为星型模式或
- 下一篇
2019 中国开源年会即将开启
2019 中国开源年会(COSCon'19)为业界最具影响力的开源年度盛会,将于 11 月 2 日至 3 日在华东师范大学(上海普陀区中山北路校区)由开源社举办。 中国开源年会 COSCon 作为一场专属于开源人的聚会,吸引了越来越多的社区小伙伴加入。阿里巴巴作为白金赞助商和参展商参加了此次年会,并将有 5 位技术专家带来演讲,其中阿里巴巴资深技术专家姬风将发表《开源的黄金时代,阿里巴巴云原生开源的探索与实践》的主题演讲。 时间:2019 年 11 月 2 日09:00 至 11 月 3 日17:00地址:上海普陀区上海普陀区中山北路 3663 号华东师范大学(中北校区) 赠送 3 张门票: 关注「阿里巴巴云原生」公众号,回复关键词“年会”即可参与价值 199 的门票抽奖啦! 嘉宾阵容 圆桌会议 圆桌会议仅限受邀人员参加,自 2015 年
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Mario游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用