E-MapReduce弹性低成本离线大数据分析-低调大师

E-MapReduce弹性低成本离线大数据分析

2020-04-01 681

作者：明誉

大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

离线大数据分析概述

主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：

Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。
Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流处理和图形计算等多种计算范式，能够与Hadoop很好地结合。
Storm适用于处理高速、大型数据流的分布式实时计算，为Hadoop添加可靠的实时数据处理能力。

海量离线数据分析可以应用于多种场景，例如：

商业系统环境：电商海量日志分析、用户行为画像分析。
科研行业：海量离线计算分析和数据查询。
游戏行业：游戏日志

微信关注我们

原文链接：https://yq.aliyun.com/articles/752860

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云自助建站方式汇总

为了方便您搭建网站，本文汇总了阿里云云市场上最常用的应用镜像的使用教程，并提供了教程和云市场镜像的链接，让您一键触达，轻松建站。网站类型推荐 OS 镜像及其内含资源说明搭建 WordPress 博客 - CentOS- Ubuntu- Aliyun Linux Aliyun Linux 一键安装 Web 环境- Nginx: 1.4.4- Apache: 2.2.29、2.4.10- MySQL: 5.1.73、5.5.40、5.6.21- PHP: 5.2.17、5.3.29、5.4.23、5.5.7- PHP 扩展: Memcached、Zend Engine/Opcache- JDK: 1.7.0- Tomcat: 7.0.54- FTP:（yum/apt-get 安装）- PHPWind: 8.7 GBK- PHPMyAdmin: 4.1.8 - WordPress 是一款常用的搭建个人博客网站的软件。- 暂不支持自动挂载 I/O 优化的数据盘。使用资源编排ROS部署 LNMP 环境 - CentOS- Ubuntu- Aliyun Linux ROS- Nginx-...

2020-04-01

718

作者：王金海@趣头条摘要：本文由趣头条数据平台负责人王金海分享，主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景，内容分为以下四部分：一、业务场景与现状分析二、Flink-to-Hive 小时级场景三、Flink-to-ClickHouse 秒级场景四、未来发展与思考一、业务场景与现状分析趣头条查询的页面分为离线查询页面和实时查询页面。趣头条今年所实现的改造是在实时查询中接入了 ClickHouse 计算引擎。根据不同的业务场景，实时数据报表中会展现数据指标曲线图和详细的数据指标表。目前数据指标的采集和计算为每五分钟一个时间窗口，当然也存在三分钟或一分钟的特殊情况。数据指标数据全部从 Kafka 实时数据中导出，并导入 ClickHouse 进行计算。二、Flink-to-Hive 小时级场景 1.小时级实现架构图如下图所示，Database 中的 Binlog 导出到 Kafka，同时 Log Server 数据也会上报到 Kafka。所有数据实时落地到 Kafka 之后，通过 Flink 抽取到 HDFS。...

2020-04-01

634

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。