mac osx 系统 brew install hadoop 安装指南-低调大师

mac osx 系统 brew install hadoop 安装指南

2017-11-24 603

mac osx 系统 brew install hadoop 安装指南

brew install hadoop
配置 core-site.xml:配置hdfs文件地址（记得chmod 对应文件夹，否则无法正常启动hdfs）和namenode的rpc通行端口
配置mapred-site.xml 中的map reduce通信端口
配置hdfs-site.xml 中的datanode 副本数。
格式化hdfs文件系统
启动Hadoop 和 yarn namenode datanode mapred , 即：运行 start_all.sh
（可选）在hdfs中创建当前用户的地址： hadoop fs -mkdir -p /user/fan
开工，web ui 地址默认为：http://localhost:50070。

遇到的问题：

一，如在hdfs -put ~/file fileonhdfs 时，出现error：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir

原因是：

core-site.xml中设置的文件系统已满，需重新设置，并再次-format。
core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777

二，如在hadoop fs -ls . 命令时出现： ls: '.': No such file or directory'

请执行：
hadoop fs -mkdir -p /user/[current login user]

配置文件demo：

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

Xml代码

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>

* hdfs-site.xml:

Xml代码

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

* mapred-site.xml:

Xml代码

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
</configuration>

其实这些都是基本配置，网上一大把。配置的值的说明可以参考这3个地址：

写道

http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html

2.3）格式化hadoop的文件系统hdfs。执行命令 hadoop namenode -format

本文转自fandyst 博客园博客，原文链接：http://www.cnblogs.com/ToDoToTry/ ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/400480

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

mac OSX 上 brew install hive

本文介绍brew install hive并修改默认的metastore存储方案，改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 sudo vim ~/.bash_profile export HADOOP_HOME= /usr/local/Cellar/hadoop/hadoop .version.no export HIVE_HOME= /usr/local/Cellar/hive/hive .version.no /libexec source ~/.bash_profile 3. 下载mysql connector 1 2 3 curl -L 'http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz/from/http://mysql.he.net/' | tar xz sudo cp mysql-c...

2017-11-25

717

1：问题出现的原因，部署好的hadoop-2.6.4进行window10操作hadoop api出现的错误，具体错误是我向hdfs上传文件，还好点，之前解决过，这里不叙述，这里说一下从hdfs下载文件出现的错误：详细错误如下所示： java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoop.util.Shell.run(Shell.java:455) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) at org.apache.hadoop.util.Shell.execCommand(Shell.java...

2017-11-25

495

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。