阿里云大数据利器Maxcompute学习之-假如你使用过hive
如果您是一个大数据开发工程师并且使用过hadoop的hive框架,那么恭喜您,阿里云的大数据计算服务-Maxcompute,您已经会了90%。这篇文章就来简单对比下Maxcompute和hive的异同,来方便刚开始使用Maxcompute的用户,从hive秒速迁移到Maxcompute的使用上。
首先,回顾下hive的概念。
1、hive是基于hadoop的,以表的形式来存储数据,实际上数据是存储在hdfs上,数据库和表其实是hdfs上的两层目录,数据是放在表名称目录下的,计算还是转换成mapreduce计算。
2、hive可以通过客户端命令行和java api操作数据
3、hive是hql语言操作表,跟通用sql语言的语法大致相同,可能会多一些符合本身计算的函数等。hql会解析成mapreduce进行相关逻辑计算
4、hive有分区

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
[ElasticSearch]搜索
1. 空搜索 测试数据: https://gist.github.com/clintongormley/8579281 1.1 搜索 最基本的搜索API是空搜索(empty search),它没有指定任何的查询条件,只返回集群索引中的所有文档: curl -XGET 'localhost:9200/_search?pretty' Java版本: SearchRequestBuilder searchRequestBuilder = client.prepareSearch(); SearchResponse response = searchRequestBuilder.get(); 返回的结果如下: { "took": 4, "timed_out": false, "_shards": { "total": 10, "successful": 10, "failed": 0 }, "hits": { "total": 13, "max_score": 1.0, "hits": [ { "_index": "gb", "_type": "tweet", "_id": "5", "_sc...
- 下一篇
[ElasticSearch]Search之分页
之前的文章[ElasticSearch]搜索我们知道,我们的空搜索匹配到集群中的13个文档。 但是,命中数组中只有10个文档(文章只显示了2条数据,故意省略掉)。 我们如何查看其他文档呢? 与SQL使用LIMIT关键字返回一个“页面”的结果数据相同,Elasticsearch接受from和size参数: size 表示应返回的结果数,默认为10 from 表示应跳过的初始结果数,默认为0 如果想每页显示五个条数据,那么第1到3页的结果请求如下所示: curl -XGET 'localhost:9200/_search?size=5&pretty' curl -XGET 'localhost:9200/_search?size=5&from=5&pretty' curl -XGET 'localhost:9200/_search?size=5&from=10&pretty' Java版本: SearchRequestBuilder searchRequestBuilder = client.prepareSearch(); searchReques...
相关文章
文章评论
共有0条评论来说两句吧...