大数据学习之路（持续更新中...）-低调大师

大数据学习之路（持续更新中...）

2017-12-04 706

在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。

前言

在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多，传统的数据库已经不能支撑全量数据的存储工作；另一方面，数据越来越多，单机的计算已经成为瓶颈。因此，基于分布式的大数据系统崭露头角。那么大数据系统里面都有什么东西呢？可以参考下面的图

在存储上，hdfs的分布式存储可以任意水平扩展，可以解决数据存储的难题。在计算上，从最初的MapReduce，把任务水平拆分，多台机器并行计算，再汇总结果；到基于Spark的内存计算，改造Mapreduce每次数据落盘以及编程方式的痛点。

有了存储和计算框架，周边就衍生出了很多管理、缓存相关的技术，比如：

yarn解决多租户资源调度的难题，
flume解决数据传输的难题，
sqoop解决分布式存储数据与传统DB数据之间的转换，
oozie解决了大数据计算任务的调度，
kafka提供了发布订阅机制的消息队列，
zookeeper可以帮助用户完成主备的选举，
hive在hdfs的基础上提供了数仓的功能，
hbase则基于hdfs实现列式数据库....

上面都是hadoop生态的，由于hadoop中计算模型普遍是mapreduce，但是它的编程风格和计算机制让很多人使用不便。因此后来spark逐渐代替了mapr成为主流的计算框架。Spark也有它自己的生态，但是由于hadoop更多更早的被应用到企业，所以spark也可以无缝的集成hadoop生态中的产品。spark更多只是扮演一个计算的框架，在这个框架上，提供了基本的计算模块core，基于sql的计算引擎spark sql，对接实时数据的流式计算spark streaming，算法相关的mlib以及图计算相关的graphx。

这些框架都在这个大数据生态中扮演了自己重要的角色，他们协同工作就可以帮助我们解决很多难题。由于我也是接触不久，所以就按照自己学习和工作涉及的内容，在下面按照各个章节进行介绍，后续也会持续的更新。希望对所有对大数据感兴趣的

学习必备

在学习大数据的过程中，需要具备的能力或者知识，在这里简单的罗列一下：

语言基础：需要会使用shell脚本、java和scala(这俩语言主要是用于日常代码和阅读源代码)
工具：IDE如eclipse或者idea，虚拟机和secureCRT连接工具
书籍：《Hadoop权威指南》《Hadoop YARN权威指南》《Spark快速大数据分析》《从Paxos到zookeeper分布式一致性原理与实践》《Hive编程指南》其他的书籍阅读后再推荐吧
博客：董的博客
进阶：阅读官方文档（帮你了解它都能做什么）、源代码（帮你了解它是怎么做的）

hdfs

hdfs是大数据系统的基础，它提供了基本的存储功能，由于底层数据的分布式存储，上层任务也可以利用数据的本地性进行分布式计算。hdfs思想上很简单，就是namenode负责数据存储位置的记录，datanode负责数据的存储。使用者client会先访问namenode询问数据存在哪，然后去datanode存储；写流程也基本类似，会先在namenode上询问写到哪，然后把数据存储到对应的datanode上。所以namenode作为整个系统的灵魂，一旦它挂掉了，整个系统也就无法使用了。在运维中，针对namenode的高可用变得十分关键。

2016-07-28 单节点部署Hadoop教程
2016-07-28 Hadoop HDFS 用户指南

mapreduce

hive

hive基于hdfs构建了数据仓库系统，它以hdfs作为存储，依赖于数据库(嵌入式的数据库derby或者独立的数据mysql或oracle)存储表schema信息，并完成基于sql自动解析创建mapreduce任务(由于mapreduce计算效率比较差，目前官方推荐的是底层计算模型采用tez或者spark)。所以hive可以理解为：hdfs原始存储+DB Schema信息存储+SQL解析引擎+底层计算框架组成的数据仓库。

官方文档

spark

spark是现在大数据中应用最多的计算模型，它与java8的stream编程有相同的风格。封装了很多的计算方法和模型，以延迟执行的方式，在真正需要执行的时候才进行运算。既可以有效的做计算过程的容错，也可以改善我们的编程模型。

官方文档

2016-08-05 《Spark大数据处理》—— 读后总结
2016-09-03 《Spark快速大数据分析》—— 第三章 RDD编程
2016-09-05 《Spark快速大数据分析》—— 第五章数据读取和保存
2016-09-06 《Spark快速大数据分析》—— 第六章 Spark编程进阶
2016-09-13 《Spark快速大数据分析》—— 第七章在集群上运行Spark
2016-09-21 [大数据之Spark]——快速入门
2016-10-09 [大数据之Spark]——Transformations转换入门经典实例
2016-10-10 [大数据之Spark]——Actions算子操作入门实例
2017-02-18 Spark源码分析之Spark Shell（上）
2017-02-19 Spark源码分析之Spark Shell（下）
2017-02-21 Spark源码分析之Spark-submit和Spark-class
2017-02-23 Spark SQL 用户自定义函数UDF、用户自定义聚合函数UDAF 教程
2017-02-26 基于Spark UI性能优化与调试——初级篇
2017-04-06 Spark Stage切分源码剖析——DAGScheduler
2017-04-16 Spark源码分析之分区器的作用

oozie

oozie提供了大数据场景下各种任务的调度，比如shell脚本、spark任务、mapreduce任务、sqoop任务、hive查询以及普通的java程序等等。它的编译是生态圈里面最复杂的，由于以来的各个版本不同，需要指定特定的版本，因此没有成型的一键部署包。

官方文档

2016-09-22 oozie快速入门
2016-11-17 Oozie分布式任务的工作流——邮件篇
2016-11-19 Oozie分布式任务的工作流——脚本篇
2016-11-21 Oozie调度报错——ORA-00918：未明确定义列
2016-11-22 Oozie分布式任务的工作流——Sqoop篇
2016-12-11 大数据之Oozie——源码分析（一）程序入口
2016-12-23 Oozie分布式任务的工作流——Spark篇
2017-02-28 图文并茂 —— 基于Oozie调度Sqoop
2017-03-01 Oozie分布式工作流——流控制
2017-03-02 Oozie分布式工作流——Action节点
2017-03-04 Oozie分布式工作流——从理论和实践分析使用节点间的参数传递
2017-03-07 Oozie分布式工作流——EL表达式

sqoop

sqoop支持基于sql或者表名把数据库中的数据存储到分布式环境中，数据库支持oracle\mysql等等，分布式环境可以是hdfs,hive,hbase等等，数据的导入时双向的，比如你可以把oracle中的数据读取存储到hdfs，也可以把hdfs的数据导入到oracle.

官方文档

2016-09-12 sqoop初探?
2016-09-29 什么是sqoop?
2016-11-23 sqoop切分任务原理

hbase

2017-06-09 Hbase常用命令
2017-07-03 Hbase多版本的读写（Shell&Java API版）

yarn

在企业中，大数据的基础平台往往是多个用户共用的，那么如何管理资源的分配，就需要yarn来处理了。Yarn默认提供了三种资源分配的策略：

FIFO：先进先出，即按照用户提交任务的时间分配资源
Capacity：按照队列设置队列的大小
Fair Share：也是基于队列，只不过资源的粒度更小。

常见可以用于分配的资源可以是节点的数量，内存的大小，也可以是CPU核数。

官方文档

2016-12-06 yarn资源调度浅学
2016-12-13 大数据之Yarn——Capacity调度器概念以及配置

最后

上面是我学习hadoop和spark的分享，更重要的是学习历程的记录，希望有兴趣学习大数据的朋友可以通过我之前的学习路线获得一些思考和借鉴。后续也会逐步的完善，等到对整体有了比较全面的了解后，会专门针对安装部署、使用实践、原理解析进行介绍。

如果有任何疑问或者错误，可以在博客留言，博主会尽量及时回复。

本文转自博客园xingoo的博客，原文链接：大数据学习之路（持续更新中...），如需转载请自行联系原博主。

微信关注我们

原文链接：https://yq.aliyun.com/articles/326455

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hbase常用Shell命令

status 查看系统状态 hbase(main):010:0> status 1 active master, 0 backup masters, 4 servers, 0 dead, 6.5000 average load version 查看版本号 hbase(main):011:0> version 1.2.0-cdh5.7.2, rUnknown, Fri Jul 22 12:20:40 PDT 2016 table_help 查看提示信息 hbase(main):012:0> table_help Help for table-reference commands. You can either create a table via 'create' and then manipulate the table via commands like 'put', 'get', etc. See the standard help information for how to use each of these commands. However, as of ...

2017-12-04

665

X-Pack Monitoring 阿里云Elaticsearch已集成X-Pack组件，用户可以开箱即用监控功能，依靠运行Agent收集和监控Elaticsearch、Logstach、Kibana等实例的索引和指标，并借助Kibana可视化能力实时监控这些应用。 ELK应用性能监控 X-Pack monitoring 功能提供了一种有效方法，让您能够密切关注 Elasticsearch、Kibana 和 Logstash 的性能。它的仪表板集合能够帮助您在各个层级上评估仪表板的状态，同时为您提供所有必要的信息，让您始终最大限度地发挥 ELK 系统的作用。集群监控节点监控索引监控 Kibana Logstash 执行实时分析和历史分析您可以将上周、上个月或去年的集群性能作为参考，分析今天的集群性能。X-Pack 拥有 monitorin

2017-12-04

776

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。