mac osx 系统 brew install hadoop 安装指南-低调大师

mac osx 系统 brew install hadoop 安装指南

2017-11-24 658

mac osx 系统 brew install hadoop 安装指南

brew install hadoop
配置 core-site.xml:配置hdfs文件地址（记得chmod 对应文件夹，否则无法正常启动hdfs）和namenode的rpc通行端口
配置mapred-site.xml 中的map reduce通信端口
配置hdfs-site.xml 中的datanode 副本数。
格式化hdfs文件系统
启动Hadoop 和 yarn namenode datanode mapred , 即：运行 start_all.sh
（可选）在hdfs中创建当前用户的地址： hadoop fs -mkdir -p /user/fan
开工，web ui 地址默认为：http://localhost:50070。

遇到的问题：

一，如在hdfs -put ~/file fileonhdfs 时，出现error：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir

原因是：

core-site.xml中设置的文件系统已满，需重新设置，并再次-format。
core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777

二，如在hadoop fs -ls . 命令时出现： ls: '.': No such file or directory'

请执行：
hadoop fs -mkdir -p /user/[current login user]

配置文件demo：

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

Xml代码

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>

* hdfs-site.xml:

Xml代码

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

* mapred-site.xml:

Xml代码

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
</configuration>

其实这些都是基本配置，网上一大把。配置的值的说明可以参考这3个地址：

写道

http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html

2.3）格式化hadoop的文件系统hdfs。执行命令 hadoop namenode -format

本文转自fandyst 博客园博客，原文链接：http://www.cnblogs.com/ToDoToTry/ ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/400480

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

mac OSX 上 brew install hive

本文介绍brew install hive并修改默认的metastore存储方案，改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 sudo vim ~/.bash_profile export HADOOP_HOME= /usr/local/Cellar/hadoop/hadoop .version.no export HIVE_HOME= /usr/local/Cellar/hive/hive .version.no /libexec source ~/.bash_profile 3. 下载mysql connector 1 2 3 curl -L 'http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz/from/http://mysql.he.net/' | tar xz sudo cp mysql-c...

2017-11-24

774

1：问题出现的原因，部署好的hadoop-2.6.4进行window10操作hadoop api出现的错误，具体错误是我向hdfs上传文件，还好点，之前解决过，这里不叙述，这里说一下从hdfs下载文件出现的错误：详细错误如下所示： java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoop.util.Shell.run(Shell.java:455) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) at org.apache.hadoop.util.Shell.execCommand(Shell.java...

2017-11-24

553

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。