搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

hadoop部署hive小记

/cdh/testing/hive-0.3.99.1+0.tar.gz),解包把它放到目录 /usr/local/hadoop/contrib并改名为hive,改属主(chown -R hadoop:hadoop

2017-11-08

Hadoop安装备忘

参考刘鹏的《实战Hadoop》一书，按照hadoop 0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。

2017-11-07

Hadoop单机模式部署

配置 ①下载安装Hadoop 1 2 3 4 $ su -lhadoop $wgethttp: //apache .fayea.com /hadoop/common/hadoop-2 .7.1 /hadoop

2017-11-05

Hadoop HDFS Java编程

; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import

2017-11-02

Hadoop运维操作

处理hadoop的namenode宕机处理措施：进入hadoop的bin目录，重启namenode服务操作命令： cd path/to/hadoop/bin .

2017-11-01

CentOS 安装 Apache Hadoop

cd ~ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz tar xzf hadoop-2.6.0

2017-10-19

Hadoop On Demand配置指南

简介本文讲的是Hadoop On Demand配置指南，这个文档讲述了一些最重要和常用的Hadoop On Demand（HOD）的配置项。

2017-09-07

Hadoop On Demand用户指南

这是假定像JAVA_HOME，指向Hadoop安装的路径已被正确地设置了：$ hadoop --config cluster_dir hadoop_command hadoop_command_args

2017-09-06

hadoop组件介绍（转载）

因此，namenode的容错机制非常重要，Hadoop提供了两种机制。第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。

2017-09-03

多云未来，Hadoop何去何从？

但是，时代在变化，Hadoop与其它技术一样也受到云计算的影响。用户们希望借助公有云来处理更多的大数据，所以尽管Hadoop不是专为云而生，Hadoop供应商们还是在努力将Hadoop与云联系起来。

2017-08-01

【转】hadoop/hbase搭建

5. hadoop搭建与配置 hadoop-2.2是目前相对稳定和“低调”的版本，不过hadoop的版本简直是“不尽其数”，为了配合hbase-0.98，我们需要使用hadoop-2.2版本作为支撑

2017-07-03

hadoop安装入门

安装首先需要配置运行环境，在etc/hadoop/hadoop-env.sh文件中增加 export JAVA_HOME=/usr/local/hadoop 一、配置core-site.xml /

2017-06-25

如果觉得有帮助的话就顶下吧在统计的时候经常会用到排重，比如想统计每日登陆用户，但是一个用户一次多次登陆情况，或者一个产品被多少个用户下载。。等等情况截图一是我之前写的代码：下面是我优化后代码 public static class ReduceTask extends Reducer<Text, Text, Text, IntWritable> { private IntWritable rval = new IntWritable(); private Multiset<Text> multiset=HashMultiset.create(); @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { multiset.clear(); for (Text item:values){ multiset.add(item); } rval.set(multiset.elementSet().size()); context.write(key, rval); } } Multiset，会将相同的key,存到value种，只要将key遍历出来取值的个数就是排重后的数据。前者是循环嵌套查找但是占用内存少 ,1179个组，平均每个组被分到6万条，最坏情况下(6w/2)^2*1179级别的循环，后者利用hashmap高效的存取值方式，是O(n)的级别，但是占用内存比较大性能对比，下图是输入的数据,经过map的筛选，，下图是代码1执行的用时执行了一小时还没结束，下图是代码二的时间只要俩分钟不到，执行速度有大幅提升文章转载自开源中国社区[https://www.oschina.net]

2017-06-09

Hadoop的HA机制

Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 1.1HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务

2017-06-08

Hadoop单机部署方法

/jdk-6u30-linux-x64.bin 下载Hadoop wgethttp://labs.renren.com/apache-mirror/hadoop/common/hadoop-0.20.205.0

2017-05-26

Hadoop TDG 2 -- HDFS

% hadoop fs -ls .

2017-05-02

Hadoop TDG 2 -- introduction

面对海量的数据，我们需要高效的分析和存储他们，而Hadoop可以做到这点， This, in a nutshell, is what Hadoop provides: a reliable shared

2017-05-02

Spark：超越Hadoop MapReduce

Hadoop 和 Spark 都是把数据分布在集群节点上的分布式框架中。Spark 把分布式数据集存放在内存中，所以比 Hadoop 把数据存放在磁盘中处理速度要快很多。

2017-04-12

Hadoop数据迁到MaxCompute

通过最佳实践帮助您实现上述案例效果 Step1：数据准备接下来，我们需要准备好一张表及数据集； Hive表名：hive_dplus_good_sale；是否分区表：分区表，分区名为pt； hdfs文件数据列分隔符：英文逗号；表数据量：100条。源hive表建表语句 CREATE TABLE IF NOT EXISTS hive_dplus_good_sale( create_time timestamp, good_cate STRING, brand STRING, buyer_id STRING, trans_num BIGINT, trans_amount DOUBLE, click_cnt BIGINT, addcart_cnt BIGINT, collect_cnt BIGI

2017-02-08

[Hadoop]数据复制DistCp

下面进行hadoop cp与hadoop distcp拷贝时间上的一个对比。

2017-01-22

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。