典型技术架构的分析和构建——《企业大数据实践路线》之四-低调大师

典型技术架构的分析和构建——《企业大数据实践路线》之四

2019-01-12 691

作者：阿里云MVP戚俊

本文系《MVP时间》视频课程《4节课看懂企业大数据实践路线》的文字版，视频请看MVP时间课程主页

视频课程直达

上期内容回顾
解析业务数据的特征——《企业大数据实践路线》之三
 大数据在媒体行业的应用——《企业大数据实践路线》之二

今天我们主要来说一下典型技术架构的分析和构建。这是我们实操的第一步。

典型技术架构的分析和构建

可能听了我的分享或者别人的分享，大家都会跃跃欲试。我们需要从哪一个方面去入手去改造大数据业务呢？我整理了一下，一个大数据应用的一个完整流程，其实是分4个步骤，在我这儿看是4个步骤。但其中可以说是4个也可以说是3个，因为有一个可以省略的，如果你的数据体量不大的情况下。

第一个流程是数据的汇总。

数据的汇总其实是通过各种各样的方式把数据源的数据做一个整合或者哪一个平台里面。把所有的数据能够打通都打通，能把数据整

微信关注我们

原文链接：https://yq.aliyun.com/articles/686698

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解析业务数据的特征——《企业大数据实践路线》之三

作者：阿里云MVP戚俊本文系《MVP时间》视频课程《4节课看懂企业大数据实践路线》的文字版，视频请看[MVP时间课程主页] 本期视频直达上期内容回顾：大数据在媒体行业的应用——《企业大数据实践路线》之二下期内容链接：典型技术架构的分析和构建——《企业大数据实践路线》之四我们今天的内容是解析业务数据的特征。我们已经知道了数据从哪里来，也知道有什么数据，现在我们需要去分析一下这些数据的特征是什么，想想能在这些数据上做什么文章。业务数据的分类首先我们可以了解一下业务数据的分类，其实我们在之前已经说过了，一个是交互数据，一个是底层数据，还有一个是业务数据。交互数据主要是我们在业务使用过程中出现了一些交互性的数据，比如说用户的登录、注销、阅读、点赞这些行为数据。那么底层数据指的是什么呢？主要是我们服务器的日志、业务代码的日志、调试信息等等，这

2019-01-12

759

为了帮助设计和实现批量处理系统，基本的批量应用是通过块和模式来构建的，同时也应该能够为程序开发人员和设计人员提供结构的样例和基础的批量处理程序。当你开始设计一个批量作业任务的时候，商业逻辑应该被拆分一系列的步骤，而这些步骤又是可以通过下面的标准构件块来实现的：转换应用程序（Conversion Applications）：针对每一个从外部系统导出或者提供的各种类型的文件，我们都需要创建一个转换应用程序来讲这些类型的文件和数据转换为处理所需要的标准格式。这个类型的批量应用程序可以是正规转换工具模块中的一部分，也可以是整个的转换工具模块（请查看：基本的批量服务（Basic Batch Services））。校验应用程序（Validation Applications）：校验应用程序能够保证所有的输入和输出记录都是正确和一致的。校验通常是基于头和尾进行校验的，校验码和校验算法通常是针对记录的交叉验证。提取应用（Extract Applications）：这个应用程序通常被用来从数据库或者文本文件中读取一系列的记录，并对记录的选择通常是基于预先确定的规则，然后将这些记录输出到输出文件中...

2019-01-13

617

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。