MaxCompute访问TableStore(OTS) 数据（20170601更新）-低调大师

MaxCompute访问TableStore(OTS) 数据（20170601更新）

2017-02-07 728 89

免费开通大数据服务：https://www.aliyun.com/product/odps

0. 前言

MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。而MaxCompute SQL作为分布式数据处理的主要入口，为快速方便处理/存储EB级别的离线数据提供了强有力的支持。随着大数据业务的不断扩展，新的数据使用场景在不断产生，在这样的背景下，MaxCompute计算框架也在不断的演化，原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的开放给不同的外部数据。之前我们介绍了怎样在MaxCompute上处理存储在OSS上面的非结构化数据，在这里我们将进一步介绍如何将来自TableStore(OTS)的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接。

对于在线服务等应

微信关注我们

原文链接：https://yq.aliyun.com/articles/69314

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-02-07 00:00:00

Elasticsearch——利用Parent-Child关系解决大数据场景下的实时查询

表与表之间的关联基本上是所有业务系统都存在的，RDBMS通过外键实现，MongoDB通过嵌入式子文档解决，那么Elasticsearch怎么解决这个问题呢？答案就是Parent-Child关联（参考文档）业务场景有一个广告的分发系统，为了更精准的做广告的推送，除了自身积累的数据以外，还会从其他合作方通过数据交换（当然这些都是脱敏的数据）的方式获取更多用户行为数据，例如从音乐网站获取听的音乐列表、从购物网站获取最近的购物类别、从书评网站获取最近浏览的图书等等。这些来自于外部的数据，有以下几个问题：并不是每个用户都有全部的数据，比如有些用户只有书评和音乐信息，而有些用户没有任何外部信息某一类外部的数据源可能包含几个网站，比如音乐网站有A、B、C三个网站，它们提供的数据格式也并不一致在进行广告推送时，需要实时查询一个用户的信息完成精准推荐。比如实时查询满足下面条件的用户：最近一个月，经常在早上、傍晚或者晚上连续一个小时的音乐；购买过跑鞋、运动手表等跑步装备且购买过或点评过运动类书籍再继续下面的（十分简化）解决方案之前，可以先思考下解决方案这是典型应用大数据进行个性化精...

518

2017-02-08 00:00:00

使用DataX同步MaxCompute数据到TableStore（原OTS）优化指南

概述现在越来越多的技术架构下会组合使用MaxCompute和TableStore，用MaxCompute作大数据分析，计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力，而TableStore提供海量数据高并发低延迟读写的能力。将MaxCompute内数据导出至TableStore，目前可选的几种主要途径包括：自己编写工具：使用MaxCompute SDK通过Tunnel读取表数据，再通过TableStoreSDK再写入数据。 DataX：自己在服务器上托管执行DataX任务。使用数据集成服务：其系统底层也是DataX，额外提供了服务化以及分布式的能力。其中第二种是我们最常推荐给用户做临时的数据导出使用的，如果没有需要对数据做特殊处理的需求，我们一般不推荐第一种途径。 DataX在阿里集团

612

资源下载

更多资源

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。