搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

Hadoop入门进阶课程8--Hive介绍和安装部署

Hadoop集群之上的数据仓库应用，它提供了类似于SQL语法的HQL语句作为数据访问接口，这使得普通分析人员的应用Hadoop的学习曲线变小，Hive有如下特性： lHive是基于Hadoop的一个数据仓库工具

2017-11-22

Hadoop工作流引擎之Azkaban与Oozie对比（四）

目前，市面上最流行的两种Hadoop工作流引擎调度器Azkaban与Oozie。具体，可以进一步看我的博客。

2017-11-21

CDH5.4.7安装Hadoop集群数据库无法连接

应用场景在用CDH5.4.7搭建Hadoop集群的时候，难免遇到一些错误，比如在检查主机的时候遇到各种报错等等。错误展示：解决方案可能上面操作过程中，没有给数据库赋权限。

2017-11-21

Hadoop HBase概念学习系列之什么是HBase？（一）

HBase– Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

2017-11-21

Hadoop HDFS编程 API入门系列之HdfsUtil版本2（七）

; 14 import org.apache.hadoop.fs.FSDataInputStream; 15 import org.apache.hadoop.fs.FSDataOutputStream

2017-11-20

Hadoop MapReduce编程 API入门系列之wordcount版本2（六）

; 6 import org.apache.hadoop.io.LongWritable; 7 import org.apache.hadoop.io.Text; 8 import org.apache.hadoop.mapreduce.Mapper

2017-11-20

Hadoop HDFS编程 API入门系列之RPC版本1（八）

zhouls.bigdata.myWholeHadoop.RPC.rpc1; 2 3 import java.io.IOException; 4 import java.net.InetSocketAddress; 5 6 import org.apache.hadoop.conf.Configuration

2017-11-20

Hadoop HDFS编程 API入门系列之HdfsUtil版本1（六）

java.io.FileOutputStream; 4 import java.io.IOException; 5 6 import org.apache.commons.io.IOUtils; 7 import org.apache.hadoop.conf.Configuration

2017-11-20

Hadoop HDFS编程 API入门系列之RPC版本2（九）

package zhouls.bigdata.myWholeHadoop.RPC.rpc2; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.HadoopIllegalArgumentException

2017-11-20

Hadoop 1.0 和 2.0 中的数据处理框架 - MapReduce

当我们在 Hadoop 集群运行该 Job 时，我们把代码打包成一个 JAR 文件，然后 Hadoop 会在集群内分发这个包。注意：以上代码使用的是旧的 MR API。

2017-11-18

Hadoop入门进阶课程13--Chukwa介绍与安装部署

这是构建在hadoop的hdfs和map/reduce框架之上的，继承了hadoop的可伸缩性和鲁棒性。Chukwa还包含了一个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。

2017-11-16

Hadoop HDFS中的数据块和Map任务的分片

用hadoop fsck / -files -blocks 命令可以检查HDFS根目录(/)下所有文件，块的健康状况： Map任务的分片：为什么推荐Map任务的分片尺寸和HDFS基本块的大小一致为最佳呢

2017-11-16

Hadoop2.6(NN/RM)高可用集群安装与部署

那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署及使用。

2017-11-15

Hadoop MapReduce概念学习系列之shuffle大揭秘（十九）

这就牵扯到排序的的问题默认是根据key来排，我想根据value里的某个排，解决思路:将value里的某个，放到key里去，然后来排下面，开始weekend110的hadoop的自定义排序实现也要修改

2017-11-14

Hadoop MapReduce编程 API入门系列之join（二十六）

; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem

2017-11-14

Hadoop MapReduce编程 API入门系列之最短路径（十五）

-> K[dee],V[0 hadoop hello] output -> K[hadoop],V[1 dee] output -> K[hello],V[1 dee] input

2017-11-14

Hadoop MapReduce概念学习系列之MPI和MapReduce（十三）

在当前最流行的高性能并行体系结构中比较常用的并行编程环境分为两类:消息传递和共享存储。MPI是基于消息传递的经典代表，是消息传递井行程序设计的标准，用于构建高可靠的、可伸缩的、灵活的分布式应用程消息传递井行处理开销比较大，适合于大粒度的进程级并行计算，相对其他并行编程环境，它具有很好的可移植性，几乎能被所有的并行环境支持;还具有很好的可扩展性，具有完备的异步通信功能，能按照用户的要求很好地分解问题，组织不同进程之间进行数据交换，适合大规模可扩展性的并行算法。MPI模式在学术研究领域应用较多，而在商业领域，云计算系统大多采用的是Google云计算系统中的MapReduce并行编程模型。云计算强调的就是简单的编程模型，而MapReduce就是一种高效的、简单的并行编程模式，也是一种高效的任务调度器。MapReduce这种编程模型不仅适用于云计算，在多核和多处理器、Cell processor以及异构机群上同样有良好的性能。利用MapReduce ,程序员能够轻松地编写紧耦合的程序，在运行时能高效地调度和执行任务，在实现时，在Map函数中指定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中问结果进行归约。用户只需要指定Map和Reduce函数来编写分布式的并行程序，不需要关心如何将输人的数据分块、分配和调度，同时系统还将处理集群内节点失败及节点间通信的管理等。而MPI仅仅是一个并行计算标准，没有相应的分布式文件系统的支撑，在大数据场景下大文件的存储及访问都会成为一个问题，同时用户还需要考虑集群节点之间的通信协调、容错等问题，这些使得MPI的编程难度比较大，集群本身的规模也很难做到像MapReduce那样的超大规模。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5080596.html，如需转载请自行联系原作者

2017-11-14

关于Java序列化和Hadoop的序列化

两个属性总共12个字节.但是Java的序列化到硬盘上的文件有175个字节. 20 //Java序列化了很多没有必要的信息.如果要序列化的数据有很多,那么序列化到磁盘上的数据会更多,非常的浪费. 21 //Hadoop

2017-11-14

关于hadoop2.4.1伪分布式系统的搭建

/etc/profile 3.安装hadoop2.4.1 先上传hadoop的安装包到服务器上去/home/hadoop/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

2017-11-14

Hadoop MapReduce编程 API入门系列之wordcount版本1（五）

; 6 import org.apache.hadoop.fs.Path; 7 import org.apache.hadoop.io.IntWritable; 8 import org.apache.hadoop.io.Text

2017-11-13

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

Hadoop入门进阶课程8--Hive介绍和安装部署

Hadoop工作流引擎之Azkaban与Oozie对比（四）

CDH5.4.7安装Hadoop集群数据库无法连接

Hadoop HBase概念学习系列之什么是HBase？ （一）

Hadoop HDFS编程 API入门系列之HdfsUtil版本2（七）

Hadoop MapReduce编程 API入门系列之wordcount版本2（六）

Hadoop HDFS编程 API入门系列之RPC版本1（八）

Hadoop HDFS编程 API入门系列之HdfsUtil版本1（六）

Hadoop HDFS编程 API入门系列之RPC版本2（九）

Hadoop 1.0 和 2.0 中的数据处理框架 - MapReduce

Hadoop入门进阶课程13--Chukwa介绍与安装部署

Hadoop HDFS中的数据块和Map任务的分片

Hadoop2.6(NN/RM)高可用集群安装与部署

Hadoop MapReduce概念学习系列之shuffle大揭秘（十九）

Hadoop MapReduce编程 API入门系列之join（二十六）

Hadoop MapReduce编程 API入门系列之最短路径（十五）

Hadoop MapReduce概念学习系列之MPI和MapReduce（十三）

关于Java序列化和Hadoop的序列化

关于hadoop2.4.1伪分布式系统的搭建

Hadoop MapReduce编程 API入门系列之wordcount版本1（五）

资源下载

优质分享App

Mario

Spring

Sublime Text

欢迎您来访！

Hadoop HBase概念学习系列之什么是HBase？（一）