2019怎样进行大数据的入门级学习?
大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)
由于本人目前是是大数据工程师的角色,我就这个方向做一些介绍
本回答目录:
一、大数据工程师的技能要求
二、大数据学习路径
三、学习资源推荐(书籍、博客、网站)
一、大数据工程师的技能要求
总结如下:
必须技能10条:
01.Java高级(虚拟机、并发)
02.Linux 基本操作
03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
04.HBase(JavaAPI操作+Phoenix )
05.Hive(Hql基本操作和原理理解)
06.Kafka
07.Storm
08.Scala需要
09.Python
10.Spark (Core+sparksql+Spark streaming )
高阶技能6条:
11.机器学习算法以及mahout库加MLlib
12.R语言
13.Lambda 架构
14.Kappa架构
15.Kylin
16.Aluxio
二、学习路径
由于本人是从Java开发通过大概3个月的自学转到大数据开发的。大数据学习扣qun: 74零零加4一3八yi1所以我主要分享一下自己的学习路劲。
第一阶段:
01.Linux学习(跟鸟哥学就ok了)
02.Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)
第二阶段:
03.Hadoop (董西成的书)
04.HBase(《HBase权威指南》)
05.Hive(《Hive开发指南》)
06.Scala(《快学Scala》)
07.Spark (《Spark 快速大数据分析》)
08.Python (跟着廖雪峰的博客学习就ok了)
第三阶段:
对应技能需求,到网上多搜集一些资料就ok了,
我把最重要的事情(要学什么告诉你了),
剩下的就是你去搜集对应的资料学习就ok了
当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。
三,学习资源推荐:
01.Apache 官网
02.Stackoverflow
04.github
03.Cloudra官网
04.Databrick官网
05.过往的记忆(技术博客)
06.CSDN,51CTO
07.至于书籍当当一搜会有很多,其实内容都差不多。
最后但却很重要一点:要多关注技术动向,持续学习。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【最全PPT下载+直播回顾】中国HBase技术社区第十届meetup(杭州站)
活动介绍 2019年3月16日14:00,在杭州阿里巴巴创新中心(下沙路演大厅)举办了中国HBase技术社区第十届meetup。本期沙龙以“HBase生态实践”为主题,是HBase的技术盛宴。我们邀请到了国内HBase圈子的众多大咖,对于关注这个领域的同学是个非常好的认识和建交机会,我们也非常欢迎大家一起加入探讨HBase技术,畅谈HBase那些事儿。有近200名的HBase开发者和爱好者现场参与了本次活动,聆听互联网大咖解构生态最佳实践,现场人气爆棚。 下面小编就为大家整理了满满的干货,供各位回顾和学习使用。 直播回顾 https://yq.aliyun.com/live/883 演讲主题及嘉宾: 本主题分享主要围绕以下四个方面:(1)当前面临的挑战(2)平台架构及案例(3)原理及最佳实践(4)阿里云HBase X-Pack服务 分享实录文字版》》 会上讲师向大家分享了HBase在有赞的产品定位,重点介绍了有赞HBase和相关管控平台的研发建设、以及在HBase 1.2.6版本之上所做的改造、改造原因以及给业务实践带来的价值。 分享实录文字版》》 对OpenTSDB简单介绍,以及使用...
- 下一篇
企业级 SpringBoot 教程-sprinboot整合elk,搭建实时日志平台
elk 简介 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。 Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。 elk下载安装 elk下载地址:https: //www. elastic. co/downloads/ 建议在 linux上运行,elk在windows上支持得不好,另外需要jdk1.8 的支持,需要提前安装好jdk. 下载完之后: 安装,以logstash为例子: cd /usr/local/ mkdir logstash tar -zxvf logstash-5.3.2.tar.gz mv logstash-5.3.2 /usr/local/logstash 配置、启动 Elasticsearch 打开Elas...
相关文章
文章评论
共有0条评论来说两句吧...