《深入理解Hadoop（原书第2版）》——1.2大数据技术背后的核心思想-低调大师

《深入理解Hadoop（原书第2版）》——1.2大数据技术背后的核心思想

2017-05-01 647

本节书摘来自华章计算机《深入理解Hadoop（原书第2版）》一书中的第1章，第1.2节，作者 [美]萨米尔·瓦德卡（Sameer Wadkar），马杜·西德林埃（Madhu Siddalingaiah），杰森·文纳（Jason Venner），译于博，冯傲风，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2大数据技术背后的核心思想

上文中的例子我们作了诸多假设，要表明的核心问题是虽然我们可以很快地处理数据，但是从持久性的存储设备中读取的速度受到限制，这是整个数据处理流程上的关键瓶颈所在。相对于读写本地节点存储设备上的数据，通过网络来传输数据会更慢。

下面列出了所有大数据处理方法中的一些共同特征：

数据分布在多个节点（网络I/O速度<<本地磁盘I/O速度）。
计算程序离数据更近（集群上的节点），而不是相反。
数据的处

微信关注我们

原文链接：https://yq.aliyun.com/articles/109056

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《MapReduce 2.0源码分析与编程实战》一2.1　从头开始

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第2章，第2.1节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.1　从头开始 HBase实战TwitBase存储3种简单的核心数据元素，即用户（user）、推帖（twit）和关系（relationship）。用户是TwitBase的中心。用户登录进入应用系统，维护用户信息，通过发帖与其他用户互动。推帖是TwitBase中用户公开发表的短文。推帖是用户间互动的主要模式。用户通过互相转发产生对话。所有互动的“粘合剂”就是关系。关系连接用户，使用户很容易读到其他用户的推帖。本章关注点是用户和推帖，下一章将讨论关系。关于Java 本书绝大部分代码都是用Java编写的。有时我们使用伪代码来帮助理解概念，但是工作代码是Java。使用HBase，Java是现实的选择。整个Hadoop系列，包括HBase，都使用Java。HBase客户端函数库是Java，MapReduce函数库也是Java。HBase的部署需要优化JVM性能。但是可以使用非Java和非JVM的语言来访问HBase...

2017-05-02

616

前言 Preface欢迎来到ElasticSearch的世界。通过阅读本书，我们将带你接触与ElasticSearch紧密相关的各种话题。本书会从介绍Apache Lucene及ElasticSearch的基本概念开始。即使读者熟悉这些知识，简略的介绍也是很有必要的，掌握背景知识对于全面理解集群构建、索引文档、搜索这些操作背后到底发生了什么至关重要。之后，读者将学习Lucene的评分过程是如何工作的，如何影响评分，以及如何让ElasticSearch选择不同的评分算法。本书也将介绍什么是查询重写以及进行查询重写的原因。除此之外，本书还将介绍如何修改查询来影响ElasticSearch的缓存功能以及如何最大限度地使用缓存。接着你将学习索引控制的相关知识：如何通过设置不同的倒排表格式（posting format）来改变索引字段的写入模式；索引的段合并机制和段合并的重要性，以及如何调整段合并来适应应用场景；深入探讨索引分片（shard）的分配机制、路由机制，以及当数据量、查询量日渐增长时的应对策略。当然本书也不会遗漏垃圾收集的相关内容，包括垃圾收集的工作原理、触发时间以及如何调整垃圾收集的...

2017-05-02

634

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。