mac osx 系统 brew install hadoop 安装指南-低调大师

mac osx 系统 brew install hadoop 安装指南

2017-11-24 688

mac osx 系统 brew install hadoop 安装指南

brew install hadoop
配置 core-site.xml:配置hdfs文件地址（记得chmod 对应文件夹，否则无法正常启动hdfs）和namenode的rpc通行端口
配置mapred-site.xml 中的map reduce通信端口
配置hdfs-site.xml 中的datanode 副本数。
格式化hdfs文件系统
启动Hadoop 和 yarn namenode datanode mapred , 即：运行 start_all.sh
（可选）在hdfs中创建当前用户的地址： hadoop fs -mkdir -p /user/fan
开工，web ui 地址默认为：http://localhost:50070。

遇到的问题：

一，如在hdfs -put ~/file fileonhdfs 时，出现error：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir

原因是：

core-site.xml中设置的文件系统已满，需重新设置，并再次-format。
core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777

二，如在hadoop fs -ls . 命令时出现： ls: '.': No such file or directory'

请执行：
hadoop fs -mkdir -p /user/[current login user]

配置文件demo：

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

Xml代码

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>

* hdfs-site.xml:

Xml代码

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

* mapred-site.xml:

Xml代码

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
</configuration>

其实这些都是基本配置，网上一大把。配置的值的说明可以参考这3个地址：

写道

http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html

2.3）格式化hadoop的文件系统hdfs。执行命令 hadoop namenode -format

本文转自fandyst 博客园博客，原文链接：http://www.cnblogs.com/ToDoToTry/ ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/400480

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

mac OSX 上 brew install hive

本文介绍brew install hive并修改默认的metastore存储方案，改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 sudo vim ~/.bash_profile export HADOOP_HOME= /usr/local/Cellar/hadoop/hadoop .version.no export HIVE_HOME= /usr/local/Cellar/hive/hive .version.no /libexec source ~/.bash_profile 3. 下载mysql connector 1 2 3 curl -L 'http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz/from/http://mysql.he.net/' | tar xz sudo cp mysql-c...

2017-11-24

816

1：问题出现的原因，部署好的hadoop-2.6.4进行window10操作hadoop api出现的错误，具体错误是我向hdfs上传文件，还好点，之前解决过，这里不叙述，这里说一下从hdfs下载文件出现的错误：详细错误如下所示： java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoop.util.Shell.run(Shell.java:455) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) at org.apache.hadoop.util.Shell.execCommand(Shell.java...

2017-11-24

591

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。