搜索[mapreduce]结果-低调大师优秀个人博客

精选列表

搜索[mapreduce]，共3589篇文章

《Hadoop MapReduce实战手册》一1.3 写WordCountMapReduce示例程序，打包并使用独立的Hadoop运行它

1.3 写WordCountMapReduce示例程序，打包并使用独立的Hadoop运行它 Hadoop MapReduce实战手册本节传授如何写一个简单的MapReduce程序，以及如何执行它，如图1

2017-05-01

《Hadoop MapReduce实战手册》一2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.5节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲

2017-05-01

记Hadoop2.5.0线上mapreduce任务执行map任务划分的一次问题解决

/05/16 10:22:32 INFO mapreduce.Job: map 1% reduce 0% 。。。

2016-07-13

《深入理解大数据：大数据处理与编程实践》一一2.4 Hadoop MapReduce程序开发过程

2.4 Hadoop MapReduce程序开发过程 Hadoop MapReduce程序的开发一般是在程序员本地的单机Hadoop系统上进行程序设计与调试，然后上载到Hadoop集群上运行。

2017-07-03

《R与Hadoop大数据分析实战》一2.5 在R环境中编写Hadoop MapReduce程序的方式

Hadoop大数据分析实战》一书中的第2章，第2.5节，作者（印）Vignesh Prajapati，更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.5 在R环境中编写Hadoop MapReduce

2017-07-02

如果遇到Hadoop集群正常，MapReduce作业运行出现错误，如何来查看作业运行日志（图文详解）

这个时候我们可以进入logs下的userlogs 备注：userlogs目录下有很多个以往运行的作业，我选择最新的最大编号的作业，就是我们当前运行作业的日志。然后找到stderr stdout syslog文件，stderr为作业错误日志，stdout作业输出日志，syslog为系统日志本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7643664.html，如需转载请自行联系原作者

2017-06-24

MapReduce中一次reduce方法的调用中key的值不断变化分析及源码解析

摘要:mapreduce中执行reduce(KEYIN key, Iterable<VALUEIN> values, Context context)，调用一次reduce方法，迭代value

2017-04-19

《深入理解大数据：大数据处理与编程实践》一一1.3 MapReduce并行计算技术简介

1.3 MapReduce并行计算技术简介 1.3.1 MapReduce的基本概念和由来1.?

2017-07-03

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）

map并发任务数 -> Map的Task进程被回收 ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps 以上是单独控制了Mapreduce

2017-11-05

一脸懵逼学习Hive的安装（将sql语句翻译成MapReduce程序的一个工具）

Hive只在一个节点上安装即可： 1.上传tar包：这个上传就不贴图了，贴一下上传后的，看一下虚拟机吧： 2.解压操作： [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图： 3：解压缩以后启动一下hive： 4：开始操作sql：好吧，开始没有启动集群，输入mysql创建数据库命令，直接不屌我，我也是苦苦等待啊； 5：启动我的集群，如下所示，这里最后帖一遍部署以后集群关了，重新开启集群的步骤，不能按照部署集群的时候进行格式化一些操作，如下所示：第一先：启动zookeeper集群（分别在master、slaver1、slaver2上启动zookeeker）第二步：启动journalnode（分别在master、slaver1、slaver2上启动）：运行jps命令检验，master、slaver1、slaver2上多了JournalNode进程；第三步：启动HDFS(在slaver3上执行)：第四步：启动YARN(#####注意#####：是在weekend03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动) 6：然后操作hive，开始居然还报错了，对于一个小白来说，每一个错都是刻骨铭心啊，下面贴一下错误，也许能帮助到他人；错误如下所示： hive> create database user; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/user.db. Name node is in safe mode. The reported blocks 0 needs additional 27 blocks to reach the threshold 0.9990 of total blocks 27. The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1211) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:3590) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3566) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:754) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:558) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007) Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/user.db. Name node is in safe mode. The reported blocks 0 needs additional 27 blocks to reach the threshold 0.9990 of total blocks 27. The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1207) ... 13 more ) 然后百度了一下，大眼一瞄，可能是防火墙的原因，先关防火墙，先从这种解决问题的方向为入口，不然都是大问题了，然后七台机器的防火墙都关了：然后就可以了，具体的HIVE学习，待慢慢深学，至少现在入门了； 6：可以将hive配置环境变量，这样就可以在任何位置启动它了，不用每次都要切换到hive的目录了： 7：启动好hive可以查看数据库（show databases;），创建数据库（create database test;），删除数据库（drop database test;），使用数据库（use test;），创建数据表（create table tb_user(id int,name string);），将数据传输到hadoop分布式集群上面：创建vim tb_user文件，写上几行数据：然后将测试数据上传到集群上面：[root@master data_hadoop]# hadoop fs -put tb_user /user/hive/warehouse/test.db/tb_user可以在浏览器查看到已经上传成功了：下面可以使用hive命令进行查询操作：由于上传数据格式的差异化，这里查询需要注意对数据进行定义数据格式；不然无法解析 hive> select * from tb_user; OK NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL Time taken: 5.338 seconds, Fetched: 5 row(s) hive> 清空一张表（清空以后还可以继续进行查询，看看是否清空即可）：hive> truncate table tb_user; 详细hive的学习见下篇博客，完结；待续......

2017-10-17

Hadoop MapReduce编程 API入门系列之自定义多种输入格式数据类型和排序多种输出格式（十一）

; 11 import org.apache.hadoop.mapreduce.JobContext; 12 import org.apache.hadoop.mapreduce.RecordReader

2017-11-19

2 weekend110的mapreduce介绍及wordcount + wordcount的编写和提交集群运行 + mr程序的本地运行模式

reduce的数据输入输出是以key-value对的形式封装的 //默认情况下，框架传递给我们的mapper的输入数据中，key是要处理的文本中一行的起始偏移量，这一行的内容作为value //mapreduce

2017-11-12

Hive mapreduce SQL实现原理——SQL最终分解为MR任务，而group by在MR里和单词统计MR没有区别了

转自：http://blog.csdn.net/sn_zzy/article/details/43446027 SQL转化为MapReduce的过程了解了MapReduce实现SQL基本操作之后，我们来看看

2017-11-15

4 weekend110的hdfs&mapreduce测试 + hdfs的实现机制初始 + hdfs的shell操作 + 无密登陆配置

192.168.1.101:50070 （HDFS管理界面） http://192.168.1.101:8088 （MR管理界面） mr程序，打成jar包，自带的，都在share里，关于common、hdfs、mapreduce

2017-11-13

一脸懵逼学习Hadoop中的序列化机制——流量求和统计MapReduce的程序开发案例——流量求和统计排序

458) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:343) at org.apache.hadoop.mapreduce.Job

2017-09-19

hadoop之 hadoop 2.2.X 弃用的配置属性名称及其替换名称对照表

mapreduce.output.textoutputformat.separator mapred.tip.id mapreduce.task.id mapreduce.combine.class

2017-11-11

Hadoop 2.x属性修改

mapreduce.output.textoutputformat.separator mapred.tip.id mapreduce.task.id mapreduce.combine.class

2017-11-28

Hadoop单词统计

tools yarn [root@s166 hadoop]# cd mapreduce/ [root@s166 mapreduce]# ls hadoop-mapreduce-client-app-2.7.0

2018-07-28

Hadoop概念学习系列之Hadoop源代码组织结构（十）

下面就 Hadoop MapReduce 源代码组织结构进行介绍。Hadoop MapReduce 源代码组织结构如下图所示。

2017-11-13

Hadoop HDFS： the directory item limit is exceed: limit=1048576问题的解决

//hadoop-mapreduce-client-common .jar: /usr/lib/hadoop-mapreduce/ .

2017-11-06

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。