典型技术架构的分析和构建——《企业大数据实践路线》之四
作者:阿里云MVP戚俊
本文系《MVP时间》视频课程《4节课看懂企业大数据实践路线》的文字版,视频请看MVP时间课程主页
视频课程直达
上期内容回顾
解析业务数据的特征——《企业大数据实践路线》之三
大数据在媒体行业的应用——《企业大数据实践路线》之二
今天我们主要来说一下典型技术架构的分析和构建。这是我们实操的第一步。
典型技术架构的分析和构建
可能听了我的分享或者别人的分享,大家都会跃跃欲试。我们需要从哪一个方面去入手去改造大数据业务呢?我整理了一下,一个大数据应用的一个完整流程,其实是分4个步骤,在我这儿看是4个步骤。但其中可以说是4个也可以说是3个,因为有一个可以省略的,如果你的数据体量不大的情况下。
第一个流程是数据的汇总。
数据的汇总其实是通过各种各样的方式把数据源的数据做一个整合或者哪一个平台里面。把所有的数据能够打通都打通,能把数据整
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
解析业务数据的特征——《企业大数据实践路线》之三
作者:阿里云MVP戚俊 本文系《MVP时间》视频课程《4节课看懂企业大数据实践路线》的文字版,视频请看[MVP时间课程主页] 本期视频直达 上期内容回顾:大数据在媒体行业的应用——《企业大数据实践路线》之二下期内容链接:典型技术架构的分析和构建——《企业大数据实践路线》之四 我们今天的内容是解析业务数据的特征。我们已经知道了数据从哪里来,也知道有什么数据,现在我们需要去分析一下这些数据的特征是什么,想想能在这些数据上做什么文章。 业务数据的分类 首先我们可以了解一下业务数据的分类,其实我们在之前已经说过了,一个是交互数据,一个是底层数据,还有一个是业务数据。交互数据主要是我们在业务使用过程中出现了一些交互性的数据,比如说用户的登录、注销、阅读、点赞这些行为数据。那么底层数据指的是什么呢?主要是我们服务器的日志、业务代码的日志、调试信息等等,这
- 下一篇
Spring Batch 批量处理策略
为了帮助设计和实现批量处理系统,基本的批量应用是通过块和模式来构建的,同时也应该能够为程序开发人员和设计人员提供结构的样例和基础的批量处理程序。 当你开始设计一个批量作业任务的时候,商业逻辑应该被拆分一系列的步骤,而这些步骤又是可以通过下面的标准构件块来实现的: 转换应用程序(Conversion Applications):针对每一个从外部系统导出或者提供的各种类型的文件,我们都需要创建一个转换应用程序来讲这些类型的文件和数据转换为处理所需要的标准格式。这个类型的批量应用程序可以是正规转换工具模块中的一部分,也可以是整个的转换工具模块(请查看:基本的批量服务(Basic Batch Services))。 校验应用程序(Validation Applications):校验应用程序能够保证所有的输入和输出记录都是正确和一致的。校验通常是基于头和尾进行校验的,校验码和校验算法通常是针对记录的交叉验证。 提取应用(Extract Applications):这个应用程序通常被用来从数据库或者文本文件中读取一系列的记录,并对记录的选择通常是基于预先确定的规则,然后将这些记录输出到输出文件中...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装