首页 文章 精选 留言 我的

精选列表

搜索[数据脱敏],共10000篇文章
优秀的个人博客,低调大师

HIVE的JDBC操作数据

代码实例 package oa.epoint.com.hive; import java.io.UnsupportedEncodingException; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class HiveTest { private static String driveName = "org.apache.hive.jdbc.HiveDriver"; private static String url = "jdbc:hive2://100.2.5.2:10000/default"; // private static String url = "jdbc:hive2://192.168.1.131:10000/test"; private static String user = "hdfs"; private static String passwd = "d010"; private static String sql = ""; private static String sql1 = ""; private static ResultSet res; public static void main(String[] args) { Connection con = null; Statement stm = null; try { con = getConnection(); stm = con.createStatement(); String tableName = "stu2"; dropTable(stm, tableName); createTable(stm, tableName); selectData(stm, tableName); } catch (ClassNotFoundException e) { e.printStackTrace(); System.out.println(driveName + " not found! "); System.out.println(e.getMessage()); } catch (SQLException e1) { e1.printStackTrace(); System.out.println("connection error! "); System.out.println(e1.getMessage()); } finally { try { if (res != null) { res.close(); res = null; } if (stm != null) { stm.close(); stm = null; } if (con != null) { con.close(); con = null; } } catch (SQLException e2) { e2.printStackTrace(); System.out.println("close connection or statement error! "); System.out.println(e2.getMessage()); } } } private static Connection getConnection() throws ClassNotFoundException, SQLException { Class.forName(driveName); Connection con = DriverManager.getConnection(url, user, passwd); System.out.println("connection success!"); return con; } private static void dropTable(Statement stm, String tableName) throws SQLException { sql = "drop table if exists " + tableName; System.out.println("Running:" + sql); stm.executeUpdate(sql); } private static void createTable(Statement stm, String tableName) throws SQLException { sql = "create table if not exists " + tableName + " (stuid string, name string, sex string, age int) clustered by (stuid) into 2 buckets STORED AS ORC"; System.out.println("Running:" + sql); stm.executeUpdate(sql); sql1 = "insert into "+tableName+"(stuid,name,sex,age) values ('1001','xubin1','man',25),('1002','xubin2','man',26),('1003','xubin3','man',27),('1004','xubin4','man',28)"; stm.executeUpdate(sql1); String id,name,gender,num; try { id = new String("1001".getBytes(),"iso8859-1"); name = new String("徐彬1".getBytes(),"iso8859-1"); gender = new String("男".getBytes(),"iso8859-1"); num = "25"; sql1 = "insert into stu1 values('$ID','$NAME','$GENDER',$NUM)"; stm.execute(sql1.replace("$ID", id).replace("$NAME", name).replace("$GENDER", gender).replace("$NUM", num)); } catch (UnsupportedEncodingException e) { e.printStackTrace(); } } private static void selectData(Statement stm, String tableName) throws SQLException { sql = "select * from " + tableName; System.out.println("Running:" + sql); res = stm.executeQuery(sql); while (res.next()) { String uid = res.getString(1); String ufname = res.getString(2); String ulname = res.getString(3); String udate = res.getString(4); System.out.println(uid + "\t" + ufname + "\t" + ulname + "\t" + udate ); } } } beeline -u jdbc:hive2://ip:10000/default -n user -p passwd beeline !connect jdbc:hive2://ip:10010/default

优秀的个人博客,低调大师

Hive配置元数据库metastore

在hive的conf目录下创建一个hive-site.xml文件 说明:在linux系统中vi 一下hive-site.xml 并保存 配置一下hive-site.xml 来自于hive-default.xml文件 配置驱动 javax.jdo.option.ConnectionDriverName <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.apache.derby.jdbc.EmbeddedDriver</value> <description>Driver class name for a JDBC metastore</description> </property> 这需要一个驱动。 1、解压mysql-connector-java-5.1.27.tar.gz 命令:tar -zxvf mysql-connector-java-5.1.27.tar.gz 2、复制驱动包到hive的lib目录 命令:cp mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/ 配置ConnectionURL <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop-senior.beifeng.com:3306/metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> 说明:端口号是3306 ConnectionUserName 用户名 <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> ConnectionPassword 密码 <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> <description>password to use against metastore database</description> </property> 启动hive 启动命令:bin/hive 说明:此处容易启动报错,一般是报连接错误,原因是随机密码没有正确修改。 修改密码是第一步是password=password(‘123456’) ,第二步:flush privilege。mysql 新设置用户或更改密码后需用flush privileges刷新MySQL的系统相关表。 密码错误 正确执行命名 说明:mysql和hive必须在同一台服务器上。

优秀的个人博客,低调大师

数据||hadoop集群的时间同步

各大银行、证券、通讯集群内部时间同步,找一台机器作为时间基准,其他机器同步一次时间。 时间服务器配置 检测是否安装ntp工具 rpm -qa|grep ntp 修改vi /etc/ntp.conf 开启#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap并把192.168.1.0修改为192.168.57.0 去掉注解(本地网络上的主机限制较少。) 注释掉网络同步时间 Please consider joining the pool server 0.centos.pool.ntp.org server 1.centos.pool.ntp.org server 2.centos.pool.ntp.org 去掉注释 无纪律的本地时间。 当没有外部时间源时,对本地时间进行备份。 总体修改图 image.png 开启主同步时钟 命令:vi /etc/sysconfig/ntpd 在此文件中新增: SYNC_HWCLOCK=yes 修改 vi /etc/sysconfig/ntpdate 查看ntpd服务是否启动(时间同步服务) service ntpd status 启动 service ntpd start 随系统一起启动 chkconfig ntpd on 被同步的服务节点(132/133节点服务器)编写时间同步脚本(计划任务) linux|计划任务 -crontab -e 0-59/10 * * * * /usr/sbin/ntpdate hadoop-senior.beifeng.com 说明:每10分钟在131服务器上同步一次时间。 133服务器 132服务器

优秀的个人博客,低调大师

开源大数据周刊-第80期

资讯 奇虎360正式开源其高性能KV存储平台ZeppelinZeppelin 是奇虎 360 开源的一个高性能,高可用的分布式 Key-Value 存储平台,它以高性能、大集群为目标,并希望能在 Zeppelin 的基础上,不仅能够提供 KV 的访问,还可以通过简单的一层转换满足更复杂的协议需求。本文就将从背景,技术细节,回顾和未来计划几个方面来进行介绍这个开源项目。项目地址:https://github.com/Qihoo360/zeppelin Go官网回归中国日益壮大的中国 Go 语言开发者们现在可以通过 golang.google.cn 访问 golang.org 上的内容,获取官方文档、技术文件以及二进制文档。 专访朱诗雄:Apache Spark中的全新流式引擎Structured StreamingApache Spark

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册