hive安装配置-低调大师

hive安装配置

2015-09-25 644

hive版本1.2.1

操作系统: Ubuntu 14.04

下载，解包，文件夹名为hive-1.2.1，名字可以随便改，按自己习惯。

放到安装目录下，这里为/usr/local/hive，则目录结构为/usr/local/hive/hive-1.2.1

向hive-1.2.1/bin目录下的hive-config.sh添加环境变量，包括JAVA_HOME, HADOOP_HOME, CLASSPATH, 总之将环境变量复制过来即可

将hive-1.2.1/conf目录下带template后缀的文件全部原地复制一份，如图

其中hive-default.xml在复制一份，命名为hive-site.xml，这两个文件一个是全局配置，一个是用户配置，用户配置会覆盖全局配置。

修改hive-site.xml文件里所有涉及system:java.io.tmpdir的项，否则可能会报错，如图

全部改为本地目录，具体可以在hive目录下新建目录iotmp，因此全部配置为/usr/local/hive/hive-1.2.1/iotmp，如图

启动hadoop，在hadoop下新建目录，/tmp，/user/hive/warehouse，赋予读写权限，官方教程上只赋予组的写权限，貌似不行，最后索性赋予全部权限，可以了，命令如下

/bin/hadoop fs -mkdir /tmp

/bin/hadoop fs -mkdir /user/hive/warehouse

/bin/hadoop fs -chmod -R +777 /tmp(官网上为，/bin/hadoop fs -chmod g+w /tmp)

/bin/hadoop fs -chmod g+w /user/hive/warehouse

最后，启动hive。

关于mysql作为metadata存储，还没有研究，暂时先这样。

微信关注我们

原文链接：https://yq.aliyun.com/articles/609759

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Win 7 eclipse访问虚拟机上hadoop

因为hadoop安装在虚拟机里，虚拟机同时带不动eclipse和hadoop，就打算在windows下eclipse访问虚拟机里的hadoop，搜索了一下，需要做如下配置。操作系统：Windows 7 hadoop：1.2.1 首先配置eclipse，安装hadoop插件，然后在window->preferences->hadoop map/reduce设置windows下hadoop路径，这里的hadoop只需将于linux下安装的同版本的hadoop解压到windows目录下就可，如图在eclipse配置一些参数，要保证windows用户名与linux用户名相同，这样避免一些权限问题，如图配置一些高级参数，如web管理页面的ip地址，因为是是在物理机访问虚拟机，虚拟机网络设置为NAT方式，指定IP，可在VMware virtual network editor里面配置ip，hadoop web管理页面原先伪分布模式访问url是localhost:50030和localhost:50070，这里需要变成虚拟机的ip地址，在eclipse hadoop高级配置里凡是与...

2015-09-25

676

使用hive分析日志作业很多的时候，需要修改mysql的默认连接数修改方法打开/etc/my.cnf文件在[mysqld] 中添加max_connections=1000 重启mysql服务 service mysqld restart mysql>show variables like '%max_connections%'; 查看当前mysql的连接数方法 mysqladmin -uroot -p status 其中，Uptime:mysqld运行时间，单位秒。 Threads: 当前连接数。 Questions: 从启动以来的查询数目。 Slow queries:慢查询数目。 Opens: 从启动以来打开过的表数目。 Flush tables: 从启动以来flush的表数目。 Open tables: 当前打开的表数目。 Queries per second avg:平均每秒查询数目。分别查看mysqld的运行情况和活动连接列表 mysqladmin -u root processlist status

2015-09-26

769

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。