weekend110（Hadoop）的第二天笔记-低调大师

weekend110（Hadoop）的第二天笔记

2017-11-12 664

01-NN元数据管理机制

02-NN工作机制2

03-DN工作原理

04-HDFS的JAVA客户端编写

05-filesystem设计思想总结

06-hadoop中的RPC框架实现机制

07-hadoop中的RPC应用实例demo

08-hdfs下载数据源码跟踪铺垫

09-hdfs下载数据源码分析-getFileSystem1

10-hdfs下载数据源码分析-getFileSystem2

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5893223.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370967

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2 weekend110的mapreduce介绍及wordcount + wordcount的编写和提交集群运行 + mr程序的本地运行模式

把我们的简单运算逻辑，很方便地扩展到海量数据的场景下，分布式运算。 Map作一些，数据的局部处理和打散工作。 Reduce作一些，数据的汇总工作。这是之前的，weekend110的hdfs输入流之源码分析。现在，全部关闭断点。 //4个泛型中，前两个是指定mapper输入数据的类型，KEYIN是输入的key类型，VALUE是输入的value的类型 //map 和 reduce的数据输入输出是以key-value对的形式封装的 //默认情况下，框架传递给我们的mapper的输入数据中，key是要处理的文本中一行的起始偏移量，这一行的内容作为value //mapreduce框架每读一行数据就调用一次该方法 //具体业务逻辑就写在这个方法体中，而且我们业务要处理的数据已经被框架传递进来，在方法的参数中key-value //key是这一行数据的起始偏移量,value是这一行的文本内容有这么多信息，可以封装到对象里，job对象，如何批量换变量名快捷键是，alt + shift + r ...

2017-11-13

593

本文转自大数据躺过的坑博客园博客，原文链接：xxxxx，如需转载请自行联系原作者说在前面的话重新试多几次。编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，按ctrl+c，重新运行编译命令。如果出现缺少了某个文件的情况，则要先清理maven(使用命令mvnclean)再重新编译。前言　Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。　SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行。尽管maven是Spark官网推荐的编译方式，但是sbt的编译速度更胜一筹。因此，对于spark的开发者来说，sbt编译可能是更好的选择。由于sbt编译也是基于maven的POM文件，因此sbt的编译参数与maven的编译参数是一致的。心得有时间，自己一定要动手编译源码，想要成为高手和大数据领域大牛，前面的苦，是必定要吃的。无论是编译spark源码，还是hadoop源码。新手初次编译，一路会碰到很多问题，也许会花上个一天甚至几天，...

2017-11-13

708

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。