首页 文章 精选 留言 我的

精选列表

搜索[网站开发],共10000篇文章
优秀的个人博客,低调大师

MapReduce开发技巧

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50922796 数据类型的选择 自定义数据类型 参考:Hadoop提交作业自定义排序和分组 MapWritable/SortedMapWritable Hadoop中可传输的Map集合,和Java中的Map用法差不多,但是可以用与mapper和reducer之间的数据传输 Map输出不同类型的Value 使用自定义的数据类型继承自GenericWritable可以实现在mapper中输出多个不同类型的value //使用这个数据类型将可以输出IntWritable和Text两种类型的value public class MultiValueWritable extends GenericWritable{ private static Class[] CLASSES = new Class{ IntWritable.class, Text.class } public MultiValueWritable(){ } public MultiValueWritable(Writable value){ set(value); } protected Class[] getTypes(){ return CLASSES; } } mapper中context.write的时候可以使用如下的格式: context.write(key,new MultiValueWritable(new Text("1"))); context.write(key,new MultiValueWritable(IntWritable Text(1))); reducer的Values迭代器中可以通过这种方式来判断value是那种数据类型: Writable value = value.get(); if(value instanceof Text){ ... } 选择合适的InputFormat/OutputFormat 基本上每个InputFormat都会有一个对应的OutputFormat TextInputFormat 默认的输入格式,按行读取,key为每行偏移量,value为行的内容 NLineInputFormat 可以指定一次数据文件多少行的内容: //设置一次读取50行的内容 NLineInputFormat.setNumLinesPerSplit(job,50); SequenceFileInputFormat 输入的格式为keylen,key,valuelen,value,适合用于多个job之间的数据连接 DBInputFormat 处理数据库输入,待使用测试 自定义的InputFormat 参考:自定义分片策略解决大量小文件问题 同时处理不同类型的输入 参考:多个Mapper和Reducer处理多个输入 Partitioner的选择 TotalOrderPartitioner 对所有reducer中的结果进行排序,默认情况下每个reducer中的内容都是各自排序互不影响的 自定义partitioner 参考:Hadoop作业中自定义分区和归约 KeyFieldBasedPartitioner 在分区的时候mapper的key部分会参与计算 配合参数 map.output.key.field.separator num.key.fields.for.partition 指定分隔符和要参与分区的字符索引 例如:key=”name-price”,指定map.output.key.field.separator=”-“,num.key.fields.for.partition=1表示key的price部分参与分区计算 二次排序 setSortComparatorClass map中每个分区调用进行排序,reduce中shuffle之后再次调用 setGroupingComparatorClass 第二次排序,属于同一组的顺序记录并放入同一个value迭代器 分布式缓存的使用 参考:MapReduce中的DistributedCache 作者:@小黑

优秀的个人博客,低调大师

网站访问速度提升200%以上,阿里云虚拟主机支持PHP最新版本

日前,阿里云虚拟主机推出了新功能,支持PHP的最新版本 7.0和7.1,并支持用户在多个不同PHP版本之间切换。 PHP 作为最好的Web编程语言,最新版本已经更新到了7.0和7.1。阿里云作为国内虚拟主机的领头羊,为了给用户提供更先进、选择更多的建站环境选择,推出了PHP7.0和7.1的支持。 目前,国内绝大多数虚拟主机服务商目前支持的PHP最新版本还停留在PHP 5时代,而阿里云推出了PHP 7尤其是PHP 7.1版本,是国内首家支持PHP 7.1的虚拟主机服务商。 阿里云虚拟主机此次推出的新功能,适合对PHP语言有最新版本支持要求的用户。PHP 7.0和PHP 7.1是PHP目前最新发布的版本。据公布的测试结果,PHP 7.0相对PHP 5的最新版本5.6来说,运行速度提升2倍以上,而PHP 7.1在继续优化了PHP 7.0的功能

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册