hive安装配置-低调大师

hive安装配置

2015-09-25 659

hive版本1.2.1

操作系统: Ubuntu 14.04

下载，解包，文件夹名为hive-1.2.1，名字可以随便改，按自己习惯。

放到安装目录下，这里为/usr/local/hive，则目录结构为/usr/local/hive/hive-1.2.1

向hive-1.2.1/bin目录下的hive-config.sh添加环境变量，包括JAVA_HOME, HADOOP_HOME, CLASSPATH, 总之将环境变量复制过来即可

将hive-1.2.1/conf目录下带template后缀的文件全部原地复制一份，如图

其中hive-default.xml在复制一份，命名为hive-site.xml，这两个文件一个是全局配置，一个是用户配置，用户配置会覆盖全局配置。

修改hive-site.xml文件里所有涉及system:java.io.tmpdir的项，否则可能会报错，如图

全部改为本地目录，具体可以在hive目录下新建目录iotmp，因此全部配置为/usr/local/hive/hive-1.2.1/iotmp，如图

启动hadoop，在hadoop下新建目录，/tmp，/user/hive/warehouse，赋予读写权限，官方教程上只赋予组的写权限，貌似不行，最后索性赋予全部权限，可以了，命令如下

/bin/hadoop fs -mkdir /tmp

/bin/hadoop fs -mkdir /user/hive/warehouse

/bin/hadoop fs -chmod -R +777 /tmp(官网上为，/bin/hadoop fs -chmod g+w /tmp)

/bin/hadoop fs -chmod g+w /user/hive/warehouse

最后，启动hive。

关于mysql作为metadata存储，还没有研究，暂时先这样。

微信关注我们

原文链接：https://yq.aliyun.com/articles/609759

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Win 7 eclipse访问虚拟机上hadoop

因为hadoop安装在虚拟机里，虚拟机同时带不动eclipse和hadoop，就打算在windows下eclipse访问虚拟机里的hadoop，搜索了一下，需要做如下配置。操作系统：Windows 7 hadoop：1.2.1 首先配置eclipse，安装hadoop插件，然后在window->preferences->hadoop map/reduce设置windows下hadoop路径，这里的hadoop只需将于linux下安装的同版本的hadoop解压到windows目录下就可，如图在eclipse配置一些参数，要保证windows用户名与linux用户名相同，这样避免一些权限问题，如图配置一些高级参数，如web管理页面的ip地址，因为是是在物理机访问虚拟机，虚拟机网络设置为NAT方式，指定IP，可在VMware virtual network editor里面配置ip，hadoop web管理页面原先伪分布模式访问url是localhost:50030和localhost:50070，这里需要变成虚拟机的ip地址，在eclipse hadoop高级配置里凡是与...

2015-09-25

692

使用hive分析日志作业很多的时候，需要修改mysql的默认连接数修改方法打开/etc/my.cnf文件在[mysqld] 中添加max_connections=1000 重启mysql服务 service mysqld restart mysql>show variables like '%max_connections%'; 查看当前mysql的连接数方法 mysqladmin -uroot -p status 其中，Uptime:mysqld运行时间，单位秒。 Threads: 当前连接数。 Questions: 从启动以来的查询数目。 Slow queries:慢查询数目。 Opens: 从启动以来打开过的表数目。 Flush tables: 从启动以来flush的表数目。 Open tables: 当前打开的表数目。 Queries per second avg:平均每秒查询数目。分别查看mysqld的运行情况和活动连接列表 mysqladmin -u root processlist status

2015-09-26

785

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。