《Hadoop与大数据挖掘》——第2章大数据存储与运算利器

《Hadoop与大数据挖掘》——第2章大数据存储与运算利器—Hadoop 2.1 Hadoop概述

2017-07-02 652

本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.1节，作者张良均樊哲位文超刘名军许国杰周龙焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第2章

大数据存储与运算利器—Hadoop

本章主要介绍了Hadoop框架的概念、架构、组件、生态系统以及Hadoop相关编程，特别是针对Hadoop组件HDFS、MapReduce、YARN，Hadoop MapReduce编程做了较详细的介绍。在介绍各个知识点的同时，结合动手实践章节，帮助读者理解对应的内容。

2.1　Hadoop概述

2.1.1　Hadoop简介

随着现代社会的发展，各种信息数据存量与增量都非常大，很多情况下需要我们能够对TB级，甚至PB级数据集进行存储和快速分析，然而单机的计算机，无论是硬盘存储、网络IO、计算CPU还是内存都是非

微信关注我们

原文链接：https://yq.aliyun.com/articles/119094

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

TiDB 2016 回顾与 2017 的一些想法

新年伊始，突然发现 TiDB 又一次被国际友人顶上了 HackerNews 首页前十，借着这个由头有友人约稿说想让我写一下对于这个数据库的过去和未来的一些想法和规划，正好这个周末偷得半日闲，于是赶紧动笔，不过我本人一向懒得总结，同时不太希望做太远的计划，所以就想到哪写到哪了。 TiDB 是一个大概开始了两年的项目，从最早的 3 个人到现在背后目前大约 30 多个活跃开发者，包括周边的工具和 CI ，可以说是一个凝结了我们大量心血的一个项目。这个项目的开始的起点是很高的，当时的想法是要么别做，要么就做到最好，当时（即使到了现在）全球社区内都没有一个令人满意的面向 OLTP 的分布式数据库，所以为什么不做？首先尽量能彻底的解决 MySQL 的扩展性问题，并发展出一个面向云时代的分布式关系型数据库的标准。整个 TiDB 项目群从分布式存储到 SQL 优化器，除了底层的 RocksDB 外，其他都是以大规模的 Scale-out 为前提重新设计和实现，由于历史包袱比较小加上早期设计上的一些比较正确的决定，当然最主要也得力于非常强悍的各位 Committers，整个项目以非常惊人的迭代速度演进...

2017-07-02

504

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章，作者（美）Danil Zburivsky Sudheesh Narayanan，更多章节内容可以访问云栖社区“华章计算机”公众号查看第1章构建Hadoop集群 Hadoop是一款免费开源的分布式存储和计算平台。在构建该平台后，用户可以使用商用硬件中的集群来存储和处理大量数据。在过去的数年中，Hadoop已经成为大数据项目的事实标准。本章会讲述以下内容：选择Hadoop集群硬件。Hadoop发行版。为Hadoop集群选择操作系统。本章会讲解为Hadoop集群选择和配置硬件的概念，还会介绍不同的Hadoop发行版（其数量每年都在增加）以及它们之间的异同点。无论读者是Hadoop管理员还是架构师，构建集群的第一步是确定使用硬件的类型以及成本，但是在读者下单购买硬件准备大干

2017-07-02

646

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。