搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8441篇文章

Hadoop 基本构造块

Hadoop整体架构是分布式的主/从架构，由一组守护进程和一组宿主程序组成，守护进程有：NameNode，DataNode，Secondary NameNode，JobTracker，TaskTracker

2017-11-07

Hadoop安装备忘

参考刘鹏的《实战Hadoop》一书，按照hadoop 0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。

2017-11-06

Hadoop单机模式部署

配置 ①下载安装Hadoop 1 2 3 4 $ su -lhadoop $wgethttp: //apache .fayea.com /hadoop/common/hadoop-2 .7.1 /hadoop

2017-11-04

Hadoop HDFS Java编程

; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import

2017-11-01

Hadoop运维操作

处理hadoop的namenode宕机处理措施：进入hadoop的bin目录，重启namenode服务操作命令： cd path/to/hadoop/bin .

2017-10-31

CentOS 安装 Apache Hadoop

cd ~ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz tar xzf hadoop-2.6.0

2017-10-18

Hadoop On Demand配置指南

简介本文讲的是Hadoop On Demand配置指南，这个文档讲述了一些最重要和常用的Hadoop On Demand（HOD）的配置项。

2017-09-06

Hadoop On Demand用户指南

这是假定像JAVA_HOME，指向Hadoop安装的路径已被正确地设置了：$ hadoop --config cluster_dir hadoop_command hadoop_command_args

2017-09-05

hadoop组件介绍（转载）

因此，namenode的容错机制非常重要，Hadoop提供了两种机制。第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。

2017-09-02

多云未来，Hadoop何去何从？

但是，时代在变化，Hadoop与其它技术一样也受到云计算的影响。用户们希望借助公有云来处理更多的大数据，所以尽管Hadoop不是专为云而生，Hadoop供应商们还是在努力将Hadoop与云联系起来。

2017-07-31

【转】hadoop/hbase搭建

5. hadoop搭建与配置 hadoop-2.2是目前相对稳定和“低调”的版本，不过hadoop的版本简直是“不尽其数”，为了配合hbase-0.98，我们需要使用hadoop-2.2版本作为支撑

2017-07-02

hadoop安装入门

安装首先需要配置运行环境，在etc/hadoop/hadoop-env.sh文件中增加 export JAVA_HOME=/usr/local/hadoop 一、配置core-site.xml /

2017-06-24

如果觉得有帮助的话就顶下吧在统计的时候经常会用到排重，比如想统计每日登陆用户，但是一个用户一次多次登陆情况，或者一个产品被多少个用户下载。。等等情况截图一是我之前写的代码：下面是我优化后代码 public static class ReduceTask extends Reducer<Text, Text, Text, IntWritable> { private IntWritable rval = new IntWritable(); private Multiset<Text> multiset=HashMultiset.create(); @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { multiset.clear(); for (Text item:values){ multiset.add(item); } rval.set(multiset.elementSet().size()); context.write(key, rval); } } Multiset，会将相同的key,存到value种，只要将key遍历出来取值的个数就是排重后的数据。前者是循环嵌套查找但是占用内存少 ,1179个组，平均每个组被分到6万条，最坏情况下(6w/2)^2*1179级别的循环，后者利用hashmap高效的存取值方式，是O(n)的级别，但是占用内存比较大性能对比，下图是输入的数据,经过map的筛选，，下图是代码1执行的用时执行了一小时还没结束，下图是代码二的时间只要俩分钟不到，执行速度有大幅提升文章转载自开源中国社区[https://www.oschina.net]

2017-06-08

Hadoop的HA机制

Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 1.1HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务

2017-06-07

Hadoop单机部署方法

/jdk-6u30-linux-x64.bin 下载Hadoop wgethttp://labs.renren.com/apache-mirror/hadoop/common/hadoop-0.20.205.0

2017-05-25

Hadoop TDG 2 -- introduction

面对海量的数据，我们需要高效的分析和存储他们，而Hadoop可以做到这点， This, in a nutshell, is what Hadoop provides: a reliable shared

2017-05-01

Hadoop TDG 2 -- HDFS

% hadoop fs -ls .

2017-05-01

Spark：超越Hadoop MapReduce

Hadoop 和 Spark 都是把数据分布在集群节点上的分布式框架中。Spark 把分布式数据集存放在内存中，所以比 Hadoop 把数据存放在磁盘中处理速度要快很多。

2017-04-11

Hadoop数据迁到MaxCompute

通过最佳实践帮助您实现上述案例效果 Step1：数据准备接下来，我们需要准备好一张表及数据集； Hive表名：hive_dplus_good_sale；是否分区表：分区表，分区名为pt； hdfs文件数据列分隔符：英文逗号；表数据量：100条。源hive表建表语句 CREATE TABLE IF NOT EXISTS hive_dplus_good_sale( create_time timestamp, good_cate STRING, brand STRING, buyer_id STRING, trans_num BIGINT, trans_amount DOUBLE, click_cnt BIGINT, addcart_cnt BIGINT, collect_cnt BIGI

2017-02-07

[Hadoop]数据复制DistCp

下面进行hadoop cp与hadoop distcp拷贝时间上的一个对比。

2017-01-21

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。