《深入理解Hadoop（原书第2版）》——1.2大数据技术背后的核心思想-低调大师

《深入理解Hadoop（原书第2版）》——1.2大数据技术背后的核心思想

2017-05-01 631

本节书摘来自华章计算机《深入理解Hadoop（原书第2版）》一书中的第1章，第1.2节，作者 [美]萨米尔·瓦德卡（Sameer Wadkar），马杜·西德林埃（Madhu Siddalingaiah），杰森·文纳（Jason Venner），译于博，冯傲风，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2大数据技术背后的核心思想

上文中的例子我们作了诸多假设，要表明的核心问题是虽然我们可以很快地处理数据，但是从持久性的存储设备中读取的速度受到限制，这是整个数据处理流程上的关键瓶颈所在。相对于读写本地节点存储设备上的数据，通过网络来传输数据会更慢。

下面列出了所有大数据处理方法中的一些共同特征：

数据分布在多个节点（网络I/O速度<<本地磁盘I/O速度）。
计算程序离数据更近（集群上的节点），而不是相反。
数据的处

微信关注我们

原文链接：https://yq.aliyun.com/articles/109056

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《MapReduce 2.0源码分析与编程实战》一2.1　从头开始

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第2章，第2.1节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.1　从头开始 HBase实战TwitBase存储3种简单的核心数据元素，即用户（user）、推帖（twit）和关系（relationship）。用户是TwitBase的中心。用户登录进入应用系统，维护用户信息，通过发帖与其他用户互动。推帖是TwitBase中用户公开发表的短文。推帖是用户间互动的主要模式。用户通过互相转发产生对话。所有互动的“粘合剂”就是关系。关系连接用户，使用户很容易读到其他用户的推帖。本章关注点是用户和推帖，下一章将讨论关系。关于Java 本书绝大部分代码都是用Java编写的。有时我们使用伪代码来帮助理解概念，但是工作代码是Java。使用HBase，Java是现实的选择。整个Hadoop系列，包括HBase，都使用Java。HBase客户端函数库是Java，MapReduce函数库也是Java。HBase的部署需要优化JVM性能。但是可以使用非Java和非JVM的语言来访问HBase...

2017-05-02

605

《深入理解ElasticSearch》——导读

前言 Preface欢迎来到ElasticSearch的世界。通过阅读本书，我们将带你接触与ElasticSearch紧密相关的各种话题。本书会从介绍Apache Lucene及ElasticSearch的基本概念开始。即使读者熟悉这些知识，简略的介绍也是很有必要的，掌握背景知识对于全面理解集群构建、索引文档、搜索这些操作背后到底发生了什么至关重要。之后，读者将学习Lucene的评分过程是如何工作的，如何影响评分，以及如何让ElasticSearch选择不同的评分算法。本书也将介绍什么是查询重写以及进行查询重写的原因。除此之外，本书还将介绍如何修改查询来影响ElasticSearch的缓存功能以及如何最大限度地使用缓存。接着你将学习索引控制的相关知识：如何通过设置不同的倒排表格式（posting format）来改变索引字段的写入模式；索引的段合并机制和段合并的重要性，以及如何调整段合并来适应应用场景；深入探讨索引分片（shard）的分配机制、路由机制，以及当数据量、查询量日渐增长时的应对策略。当然本书也不会遗漏垃圾收集的相关内容，包括垃圾收集的工作原理、触发时间以及如何调整垃圾收集的...

2017-05-02

620

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。