DLA支持MaxCompute(ODPS)数据源
DLA支持MaxCompute(ODPS)数据源
1. 概述
支持功能包括:
- MaxCompute(ODPS)的数据查询,目前复杂数据类型以字符串形式返回;
- 一条命令同步对应project下的所有表。
不支持数据回流ODPS。
其他说明:
- 基于MaxCompute tunnel拉取数据;
通过在查询中指定WHERE <分区列> = <分区key>的形式进行分区过滤(裁剪),避免全表扫描数据,目前支持如下一些形式进行分区过滤(裁剪):
- WHERE <分区列> = <分区key>
- WHERE <分区列> = <分区key1> OR <分区列> = <分区key2> ...
- WHERE <分区列> IN (<分区key1>, <分区k
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
2019国内外大数据挖掘工具有哪些?有什么特点?
数据挖掘工具是使用大数据挖掘技术从互联网的海量数据中发现、采集并挖掘出有有价值数据一种软件。利用特定的技术,例如:Hadoop、Spark……实现对互联网非机构化的大数据进行挖掘并获得正确、有价值数据的一种快速、便捷的方法。 RapidMiner 作为数据挖掘工具, RapidMiner是一款免费预测性分析和数据挖掘软件工具,具有丰富数据挖掘分析和算法功能,过程简单,强大和直观。可以用简单脚本语言自动进行大规模进程,拥有图形用户界面的互动原型。 KNIME 一款开源的数据挖掘工具,采用用Java编写的,并且基于Eclipse,集成各种开源项目。并利用其扩展机制来添加提供附加功能的插件。拥有整合文本挖掘,图像挖掘以及时间序列分析的方法。 KNIME兼容多种形式,例如:图像、文本……,同时支持基于Hadoop的数据格式兼容多种数据分析工具和语言。 NLTK 处理语言数据程序,支持文本分词、词频统计、删除停止词、标记非英语语言文本、从 WordNet 获取同义词、从 WordNet 获取反义词、词干提取…… 同时,NLTK 提供了一个语言处理工具,包括数据挖掘、机器学习、数据抓取、情感分析等...
- 下一篇
阿里云HBase SQL一站式解决复杂查询难题
一、背景概述 HBase作为海量在线存储引擎,被广泛应用于推荐、风控、物联网、画像、表单等大数据场景。Phoenix作为HBase的SQL层,极大降低了用户使用门槛,并且实现了二级索引、加盐表、动态列等大量实用功能。HBase底层存储基于LSM,LSM能将业务的随机写转为顺序写,能有效提升写吞吐,但是其查询只适合于Rowkey的前缀匹配,查询模式单一;Phoenix二级索引,底层是跟原表关联的索引表,同样也是前缀匹配,一个表可以有多个索引,这样可以增加查询范式,但是索引数目不能太多,否则写放大的问题会比较严重。对于更加复杂的查询场景,比如表单、日志查询里面的模糊查找,用户画像里面的随机条件组合等等,HBase + Phoenix的组合就不能支持。该问题是基于LSM的NoSQL数据库的通用问题,除了HBase,Cassandra、Le
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL8.0.19开启GTID主从同步CentOS8
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Hadoop3单机部署,实现最简伪集群