使用JDBC编程访问ODPS
ODPS 提供了自己的 Java SDK 作为编程接口。但是对于大多数来自传统关系数据库的用户来说,为了完成一些简单任务再学习一套 SDK,性价比颇低。odps-jdbc 可以较好的解决这个问题。通过 odps-jdbc 可以轻松完成类似执行 select 语句,并获得结果集这样的任务。
创建任意 Java 项目,从 maven 添加 odps-jdbc 作为依赖(位于 maven 主仓-http://search.maven.org/#artifactdetails%7Ccom.aliyun.odps%7Codps-jdbc%7C1.0-public%7Cjar):
<groupId>com.aliyun.odps</groupId>
<artifactId>odps-jdbc</artifactId>
<version>1.0-public</version>
</dependency>
参考如下示例代码,包含了删表、建表、获取表 meta、执行 insert、执行 select 以及遍历结果集等常见操作:
import java.sql.DatabaseMetaData;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class Main {
private static String driverName = “com.aliyun.odps.jdbc.OdpsDriver”;
public static void main(String[] args) throws SQLException {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
e.printStackTrace();
System.exit(1);
}
Properties config = new Properties();
config.put(“access_id”, “your_access_id”);
config.put(“access_key”, “your_access_key”);
config.put(“project_name”, “your_project”);
config.put(“charset”, “utf-8″);
Connection
conn = DriverManager.getConnection(“jdbc:odps:https://service.odps.aliyun.com/api”, config);
ResultSet rs;
// create a table
Statement stmt = conn.createStatement();
String tableName = “jdbc_test”;
stmt.execute(“drop table if exists ” + tableName);
stmt.execute(“create table ” + tableName + ” (key int, value string)”);
// get meta data
DatabaseMetaData metaData = conn.getMetaData();
System.out.println(“product = ” + metaData.getDatabaseProductName());
System.out.println(“jdbc version = ” + metaData.getDriverMajorVersion() + “, ”
+ metaData.getDriverMinorVersion());
rs = metaData.getTables(null, null, tableName, null);
while (rs.next()) {
String name = rs.getString(3);
System.out.println(“inspecting table: ” + name);
ResultSet rs2 = metaData.getColumns(null, null, name, null);
while (rs2.next()) {
System.out.println(rs2.getString(“COLUMN_NAME”) + “\t”
+ rs2.getString(“TYPE_NAME”) + “(” + rs2.getInt(“DATA_TYPE”) + “)”);
}
}
// run sql
String sql;
// insert a record
sql = String.format(“insert into table %s select 24 key, ‘hours’ value from (select count(1) from %s) a”, tableName, tableName);
System.out.println(“Running: ” + sql);
int count = stmt.executeUpdate(sql);
System.out.println(“updated records: ” + count);
// select * query
sql = “select * from ” + tableName;
System.out.println(“Running: ” + sql);
rs = stmt.executeQuery(sql);
while (rs.next()) {
System.out.println(String.valueOf(rs.getInt(1)) + “\t” + rs.getString(2));
}
}
}
运行可以获得类似如下结果:
jdbc version = 1, 0
inspecting table: jdbc_test
key BIGINT(-5)
value STRING(12)
Running: insert into table jdbc_test select 24 key, ‘hours’ value from (select count(1) from jdbc_test) a
updated records: 1
Running: select * from jdbc_test
24 hours
这里列一下使用 odps-jdbc 可能要注意的事项:
- 目前 odps-jdbc 的实现,类似 select 这样的查询会在 odps 中生成临时表,表名为 jdbc_temp_tbl_$UUID。这些临时表会在 Statement.close 和 Connection.close 的时候被删除。如果忘记了调用 close,这些表会遗留在 ODPS 中,默认生命周期是 3 天。
- odps-jdbc 虽然可以完成 insert into 动作,但并不适合如传统关系数据库那样密集执行每次 insert 一条记录的场景。每次 insert into 会启动一个 instance,执行时间可能需要数秒。
- 并不是所有 odpscmd 命令都被 Statement 支持。Statement 只接受 sql 语句,例如 set、grant 等都不是 sql。
- 不支持 select null。目前 odps 无法支持 create table … as select …, null, …,因此在 Statement 中写带有 null 的 select 会出错。
我们的目的是使 ODPS 更加开放、灵活和易用。目前 odps-jdbc 已经完成集团的开源流程,托管在 github-https://github.com/aliyun/aliyun-odps-jdbc 上。欢迎各位开源热心人士积极反馈,贡献代码。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hbase基本操作~
创建一个名为PageViews的表,并具有名为info的列簇: create 'PageViews', 'info' 每张表至少要有一个列簇,因此我们创建了info,现在,看看我们的表,执行下面list命令: list 通过describe命令得到表的更多信息: Describe命令返回表的详细信息,包括列簇的列表,这里我们创建的仅有一个:info,现在为表添加以下数据,下面命令是在info中添加新的行: put 'PageViews', 'rowkey1', 'info:page', '/mypage' Put命令插入一条行键为rowkey1的新纪录,指定在info下的page列,插入值为/mypage的记录,我们随后可以通过get命令通过行键rowkey1查询到这条记录: get 'PageViews', 'rowkey1' 可以看到列info:page,或者更多具体的列,其值为/mypage,并带有时间戳表明该条记录是什么时候插入的。让我们在做表扫描之前再添加一行,并查询出PageViews表的所有记录: put 'PageViews', 'rowkey2', 'info...
- 下一篇
SQL Server优化技巧之SQL Server中的"MapReduce"
原文: SQL Server优化技巧之SQL Server中的"MapReduce" 日常的OLTP环境中,有时会涉及到一些统计方面的SQL语句,这些语句可能消耗巨大,进而影响整体运行环境,这里我为大家介绍如何利用SQL Server中的”类MapReduce”方式,在特定的统计情形中不牺牲响应速度的情形下减少资源消耗. 我们可能经常会利用开窗函数对巨大的数据集进行分组统计排序.比如下面的例子: 脚本环境 /* This script creates two new tables in AdventureWorks: dbo.bigProduct dbo.bigTransactionHistory */ USE AdventureWorks GO SELECT p.ProductID + (a.number * 1000) AS ProductID, p.Name + CONVERT(VARCHAR, (a.number * 1000)) AS Name, p.ProductNumber + '-' + CONVERT(VARCHAR, (a.number * 1000)) AS Pr...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS关闭SELinux安全模块
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker使用Oracle官方镜像安装(12C,18C,19C)