《Hadoop海量数据处理：技术详解与项目实战》一导读-低调大师

《Hadoop海量数据处理：技术详解与项目实战》一导读

2017-05-01 690

前言

Hadoop海量数据处理：技术详解与项目实战
为什么要写这本书
2013年被称为“大数据元年”，标志着世界正式进入了大数据时代，而就在这一年，我加入了清华大学苏州汽车研究院大数据处理中心，从事Hadoop的开发、运维和数据挖掘等方面的工作。从出现之日起，Hadoop就深刻地改变了人们处理数据的方式。作为一款开源软件，Hadoop能让所有人享受到大数据红利，让所有人在大数据时代站在了同一起跑线上。Hadoop很好地诠释了什么是“大道至简，衍化至繁”，Hadoop来源于非常朴素的思想，但是却衍生出大量的组件，让初学者难以上手。

我在学习和工作的过程中，走过很多弯路也做过很多无用功，尽管这是学习新技术的必由之路，但却浪费了大量的时间。我将自己学习和工作的心得记录下来，为了帮助更多像我当年一样的Hadoop学习者，我决定写一本书，一本自己开始Hadoop职业生涯的时候也想读到的书。

第1章绪论
1.1 Hadoop和云计算
1.2 Hadoop和大数据
1.3 数据挖掘和商业智能
第2章环境准备
第3章 Hadoop的基石：HDFS
3.1 认识HDFS
3.2 HDFS读取文件和写入文件
3.3 如何访问HDFS
第4章分而治之的智慧：MapReduce
第5章 SQL on Hadoop：Hive
第6章 SQL to Hadoop : Sqoop
第7章 Hadoop性能调优和运维
应用篇：商业智能系统项目实战
第8章在线图书销售商业智能系统
第9章系统结构设计
第10章在开发之前
第11章实现数据导入导出模块
第12章实现数据分析工具模块
第13章实现业务数据的数据清洗模块
第14章实现点击流日志的数据清洗模块
第15章实现购书转化率分析模块
第16章实现购书用户聚类模块
第17章实现调度模块
结束篇：总结和展望
第18章总结和展望

《深入理解ElasticSearch》——1.2　ElasticSearch简介

本节书摘来自华章计算机《深入理解ElasticSearch》一书中的第1章，第1.2节,作者：[美] 拉斐尔·酷奇（Rafa Ku）　马雷克·罗戈任斯基（Marek Rogoziński）更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2　ElasticSearch简介虽然读者可能已经对ElasticSearch有所了解，至少已经了解了它的一些核心概念和基本用法。然而，为了全面理解该搜索引擎是如何工作的，我们最好简略地讨论一下它。ElasticSearch是一个可用于构建搜索应用的成品软件。它最早由Shay Banon创建并于2010年2月发布。之后的几年ElasticSearch迅速流行开来，成为商业解决方案之外且开源的一个重要选择，也是下载量最多的开源软件之一，每月下载量超过20万次。1.2.1　ElasticSea

2017-05-01

746

这章主要描述怎样设计HBase schema. 关于这个主题, 强烈推荐下面这个presentation, 写的非常清晰. 首先再次强调的是, Nosql无法替代SQL, 对于非bigdata, 毫无疑问SQL更加好用. 对于系统或场景, 我们不应该执着的想着用Nosql去替代SQL, 而是仅仅将SQL无法handle那部分big data(往往关系性不强)放到Nosql上. 比如在设计嵌套关系(多层一对多关系), 用sql就非常的麻烦, 查询的时候需要多表join, 而用HBase或者CouchDB就非常方便的设计和查询. 而对于复杂关系, 如多对多, 用Hbase设计就比较头疼, 因为HBase中要表示关系只有通过nested entities 由于HBase的设计核心为lars说的DDI,Denormalization, Duplication and Intelligent Keys 反范式化, 通过重复数据来避免join等复杂的关系操作, 所以如果数据会有频繁的update时, 使用这样的设计也会非常的麻烦. 所以在Nosql设计中的金科玉律是, Design for the...

2017-05-01

748

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。