CentOS6.9安装HDFS-低调大师

CentOS6.9安装HDFS

2018-03-20 597

1、安装依赖包

yum install -y gcc openssh-clients

2、升级glib2.14

升级glibc-2.14用到的rpm

下载地址：https://pan.baidu.com/s/1v-Uk579TGM6498cExst6ow

开始升级glib2.14

rpm -Uvh glibc-2.14.1-6.x86_64.rpm glibc-common-2.14.1-6.x86_64.rpm glibc-headers-2.14.1-6.x86_64.rpm glibc-devel-2.14.1-6.x86_64.rpm nscd-2.14.1-6.x86_64.rpm

查看glib版本

ldd --version

3、配置jdk1.8

下载地址：https://pan.baidu.com/s/1wCJ4P3049nJyOCQDu8PYzw

将gz包放在/usr/local下

tar zxvf jdk-8u161-linux-x64.tar.gz
mv jdk1.8.0_161 jdk

配置/etc/profile文件，在最后增加如下内容

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

让配置生效

source /etc/profile

4、配置hosts文件

先用hostname获取机器名

vi /etc/hosts

配置机器的IP和机器名

5、设置ssh-keyge

ssh-keygen -t rsa

一路回车

cd /root/.ssh
cat id_rsa.pub >>authorized_keys

6、开始安装hadoop

下载地址：https://pan.baidu.com/s/1Q0171QSfL1E6AgaQs2tQ9g

将gz包放在/usr/local下

tar zxvf hadoop-3.0.0.tar.gz
mv hadoop-3.0.0 hadoop

创建目录

mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/hdfs/name
mkdir -p /usr/local/hadoop/hdfs/data

修改配置文件

vi /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.10.6.170:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
</configuration>

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>  
        <name>dfs.replication</name>
        <value>1</value>
    </property> 
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hdfs/data</value>
    </property>  
</configuration>

vi /usr/local/hadoop/sbin/start-dfs.sh
vi /usr/local/hadoop/sbin/stop-dfs.sh

这两个文件的第二行增加下如内容：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

在55行左右增加如下内容

export JAVA_HOME=/usr/local/jdk/

执行HDFS的格式化

/usr/local/hadoop/bin/hadoop namenode -format

启动HDFS

/usr/local/hadoop/sbin/start-dfs.sh

出现Warning没关系，停止HDFS再启动就没有了

停止HDFS

/usr/local/hadoop/sbin/stop-dfs.sh

简单使用

cd /usr/local/hadoop/bin

查看根目录下的空间使用情况

./hadoop fs -df -h /

使用touchz创建一个空文件

./hadoop fs -touchz /hello

查看根目录下的文件

./hadoop fs -ls /

使用put从其他目录拷贝一个文件到HDFS根目录下

./hadoop fs -put /usr/local/jdk-8u161-linux-x64.tar.gz /

再次查看根目录下的文件

./hadoop fs -ls /

微信关注我们

原文链接：https://yq.aliyun.com/articles/604128

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

再谈全局网HBase八大应用场景

HBase概述 HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。关于NewSQL与NoSQL的关系技术总是不断向前发展的，如今都在提NewSQL，其实NewSQL在笔者看来是NoSQL之上的一个封装，一个子场景。NoSQL中的大表，典型就是提供了KV1V2……Vn，其中每个V可以是1b，也可以是100MB。可以说是一个元的存在，就类似于数字世界的01，可以任意组合。在以HBase为代表的NoSQL中，HBase可以组合出任意的场景，NewSQL可以是之上加了SQL层或者更近一层添加事务的子场景。关于计算与存

2018-03-21

636

日前，全球权威调研机构Forrester发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了全面评估，最终AWS、阿里云、谷歌、微软四大巨头杀入全球一线阵营。阿里云成为唯一入选的中国科技公司。Forrester在报告中对阿里云进行了详细分析，其主力大数据计算平台MaxCompute提供基于公用云的多租户EB级大数据仓库和混合云服务，全球化进展迅速。主要业务领域覆盖金融、互联网、零售、电子商务等，典型客户包括微博、华大基因等。此前，MaxCompute已在全球部署开服12个节点，其中8个海外节点。凭借大规模计算存储、多种计算模型、强数据安全和低成本的优势，受到各区域客户的青睐。3月22日，阿里云将正式开服售卖华东1（杭州）节点的大数据计算服务MaxCompute，以进一步提升对

2018-03-21

568

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。