搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

而主机名hostname可不同如hadoop1,hadoop2,hadoop3.或者master,slave1,slave2.在本篇博文中用hadoop1,2,3区分hostname主机名。

2016-10-27

hadoop错误，重新格式化namenode后，出现java.io.IOException Incompatible clusterIDs

错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID = CID-ff0faa40-2940-4838-b321-98272eb0dee3 原因：每次namenode format会重新创建一个namenodeId,而data目录包含了上次format时的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空data下的所有目录. 解决办法：方法1：停掉集群，删除问题节点的data目录下的所有内容。即hdfs-site.xml文件中配置的dfs.data.dir目录。重新格式化namenode。方法2：先停掉集群，然后将datanode节点目录/dfs/data/current/VERSION中的修改为与namenode一致即可

2016-10-08

Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装

database:hive_remote_meta hive服务端部署在hadoop-01机器上 hive客户端部署在hadoop-02机器上 1.Install MySQL5.6.23 on hadoop

2016-04-17

[Hadoop]Hive r0.9.0中文文档（二）之联表查询Join

the default behavior, and the following parameters need to be set: set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat

2016-04-07

[Hadoop]Hive r0.9.0中文文档（四）之Hive变量的使用

一、介绍例子: $ a=b $ hive -e " describe $a " 如果你hive数据库中没有b这个表，则会提示Table b does not exist hive的变量设置可以放在hiveconf中，使变量赋值与查询合并为一句话：例子: $ bin/hive -hiveconf a=b -e 'set a; set hiveconf:a; \ create table if not exists b (col int); describe ${hiveconf:a}' Results in: Hive history file=/tmp/edward/hive_job_log_edward_201011240906_1463048967.txt a=b hiveconf:a=b OK Time taken: 5.913 seconds OK col int Time taken: 0.754 seconds 二、hive变量使用 hive的变量有3个作用空间hiveconf，system，env。hiveconf就像平时一样设置： set x=myvalue X变量会被这样调用： ${hiveconf:x} Annotated examples of usage from the test case ql/src/test/queries/clientpositive/set_processor_namespaces.q set zzz=5; -- sets zzz=5 set zzz; set system:xxx=5; set system:xxx; -- sets a system property xxx to 5 set system:yyy=${system:xxx}; set system:yyy; -- sets yyy with value of xxx set go=${hiveconf:zzz}; set go; -- sets go base on value on zzz set hive.variable.substitute=false; set raw=${hiveconf:zzz}; set raw; -- disable substitution set a value to the literal set hive.variable.substitute=true; EXPLAIN SELECT * FROM src where key=${hiveconf:zzz}; SELECT * FROM src where key=${hiveconf:zzz}; --use a variable in a query set a=1; set b=a; set c=${hiveconf:${hiveconf:b}}; set c; --uses nested variables. set jar=../lib/derby.jar; add file ${hiveconf:jar}; list file; delete file ${hiveconf:jar}; list file; 三、Disabling Variable substitution is on by default. If this causes an issue with an already existing script disable it. set hive.variable.substitute=false; set hive.variable.substitute=false;

2016-04-07

Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装

已有环境: Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) Active namenode:sht-sgmhadoopnn-01 Hive服务端客户端

2016-04-03

Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析

添加一个组 useradd hadoop -g hadoop 添加用户三、编译hadoop mvn clean package -Pdist,native -DskipTests -Dtar 编译完的

2016-04-02

【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)

/hadoop/hadoop-2.7.2 Data $ HADOOP_HOME/data Log $ HADOOP_HOME/logs 四.常用脚本及命令 1.启动集群 start-dfs.sh start-yarn.sh

2016-02-25

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

【本文转载自Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别】初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase

2015-05-19

处理hadoop发送的文件到后台并解析存储到数据库策略

处理hadoop发送的文件到后台并解析存储到数据库策略主要实现：首先 hadoop mapreduce 处理好的文件，一个个放到指定的文件目录下，然后通过在Linux 下通过定时任务

2015-05-01

盘点Hadoop生态圈：13个让大象飞起来的开源工具

用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。

2015-04-29

计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍

计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍计算：以一个最简单Hadoop集群来计算，需要两个头节点（Namenode）和两个数据节点（Datanode

2014-12-11

在HDInsight中开始使用Hadoop与Hive来分析移动手机使用

在HDInsight中开始使用Hadoop与Hive来分析移动手机使用为了能让你迅速上手使用HDInsight，本教程将向您介绍如何运行一个查询Hive提取的Hadoop集群，从非结构化数据的有意义的信息

2014-11-12

Ubuntu下 Hadoop 1.2.1 配置安装 - 大T的专栏 - 博客频道 - CSDN.NE

来源：http://blog.csdn.net/wyswlp/article/details/10564847#1536434-hi-1-56806-42d97150898b1af15ddaae52f91f09c2

2014-03-26

基于Hadoop开发网络云盘系统客户端界面设计初稿

前言：本文是《基于Hadoop开发网络云盘系统架构设计方案》的第二篇，针对界面原型原本考虑有两个方案：1、类windows模式，文件夹、文件方式，操作习惯完全按照Windows方式进行，提供右键菜单管理命令

2013-09-03

惭入佳境之HADOOP的NAMENODE不能正常启动的问题解决

.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2013-04-11 01:52:53,324 INFO org.apache.hadoop.metrics2

2013-04-10

和远哥一起了解Hadoop的MapReduce是如何运行的

Hadoop越来越火，而Hadoop里面有个核心的玩意，那就是MapReduce，它在Hadoop的并行计算中承担很重要的作用，也是在Hadoop下做程序开发时，必须要了解的，下面我们就MapRecude

2012-11-03

Hadoop 1.0.3 在CentOS 6.2上安装过程 [个人安装通过的全程记录]

-1.0.3-1.x86_64.rpm //查看安装后的Hadoop版本号信息 [root@localhost opt]# hadoop version (如果报错，请检查hadoop-env.sh

2012-08-12

大象在云端起舞：后 Hadoop 时代的字节跳动云原生计算平台

在大数据行业里，2006年 Hadoop 的诞生，给我们带来了变革意义的改变，大数据生态组件也开始层出不穷。

2022-11-23

什么是 Hadoop ？它主要能解决 “大数据” 的哪两个问题？

(HDFS) 提供对应用程序数据的高吞吐量访问的分布式文件系统 Hadoop Common 其他Hadoop模块所需的Java库和实用程序。

2021-05-31

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。