典型技术架构的分析和构建——《企业大数据实践路线》之四-低调大师

典型技术架构的分析和构建——《企业大数据实践路线》之四

2019-01-12 625

作者：阿里云MVP戚俊

本文系《MVP时间》视频课程《4节课看懂企业大数据实践路线》的文字版，视频请看MVP时间课程主页

视频课程直达

上期内容回顾
解析业务数据的特征——《企业大数据实践路线》之三
 大数据在媒体行业的应用——《企业大数据实践路线》之二

今天我们主要来说一下典型技术架构的分析和构建。这是我们实操的第一步。

典型技术架构的分析和构建

可能听了我的分享或者别人的分享，大家都会跃跃欲试。我们需要从哪一个方面去入手去改造大数据业务呢？我整理了一下，一个大数据应用的一个完整流程，其实是分4个步骤，在我这儿看是4个步骤。但其中可以说是4个也可以说是3个，因为有一个可以省略的，如果你的数据体量不大的情况下。

第一个流程是数据的汇总。

数据的汇总其实是通过各种各样的方式把数据源的数据做一个整合或者哪一个平台里面。把所有的数据能够打通都打通，能把数据整

微信关注我们

原文链接：https://yq.aliyun.com/articles/686698

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解析业务数据的特征——《企业大数据实践路线》之三

作者：阿里云MVP戚俊本文系《MVP时间》视频课程《4节课看懂企业大数据实践路线》的文字版，视频请看[MVP时间课程主页] 本期视频直达上期内容回顾：大数据在媒体行业的应用——《企业大数据实践路线》之二下期内容链接：典型技术架构的分析和构建——《企业大数据实践路线》之四我们今天的内容是解析业务数据的特征。我们已经知道了数据从哪里来，也知道有什么数据，现在我们需要去分析一下这些数据的特征是什么，想想能在这些数据上做什么文章。业务数据的分类首先我们可以了解一下业务数据的分类，其实我们在之前已经说过了，一个是交互数据，一个是底层数据，还有一个是业务数据。交互数据主要是我们在业务使用过程中出现了一些交互性的数据，比如说用户的登录、注销、阅读、点赞这些行为数据。那么底层数据指的是什么呢？主要是我们服务器的日志、业务代码的日志、调试信息等等，这

2019-01-13

681

为了帮助设计和实现批量处理系统，基本的批量应用是通过块和模式来构建的，同时也应该能够为程序开发人员和设计人员提供结构的样例和基础的批量处理程序。当你开始设计一个批量作业任务的时候，商业逻辑应该被拆分一系列的步骤，而这些步骤又是可以通过下面的标准构件块来实现的：转换应用程序（Conversion Applications）：针对每一个从外部系统导出或者提供的各种类型的文件，我们都需要创建一个转换应用程序来讲这些类型的文件和数据转换为处理所需要的标准格式。这个类型的批量应用程序可以是正规转换工具模块中的一部分，也可以是整个的转换工具模块（请查看：基本的批量服务（Basic Batch Services））。校验应用程序（Validation Applications）：校验应用程序能够保证所有的输入和输出记录都是正确和一致的。校验通常是基于头和尾进行校验的，校验码和校验算法通常是针对记录的交叉验证。提取应用（Extract Applications）：这个应用程序通常被用来从数据库或者文本文件中读取一系列的记录，并对记录的选择通常是基于预先确定的规则，然后将这些记录输出到输出文件中...

2019-01-14

558

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。