X-Pack Monitoring
大数据学习之路（持续更新中...）
在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。 前言 在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多，传统的数据库已经不能支撑全量数据的存储工作；另一方面，数据越来越多，单机的计算已经成为瓶颈。因此，基于分布式的大数据系统崭露头角。那么大数据系统里面都有什么东西呢？可以参考下面的图 在存储上，hdfs的分布式存储可以任意水平扩展，可以解决数据存储的难题。在计算上，从最初的MapReduce，把任务水平拆分，多台机器并行计算，再汇总结果；到基于Spark的内存计算，改造Mapreduce每次数据落盘以及编程方式的痛点。 有了存储和计算框架，周边就衍生出了很多管理、缓存相关的技术，比如： yarn解决多租户资源调度的难题，...
