MaxCompute与OSS非结构化数据读写互通(及图像处理实例)
0. 前言 MaxCompute作为阿里巴巴集团内部绝大多数大数据处理需求的核心计算组件,拥有强大的计算能力,随着集团内外大数据业务的不断扩展,新的数据使用场景也在不断产生。在这样的背景下,MaxCompute(ODPS)计算框架持续演化,而原来主要面对内部特殊格式数据的强大计算能力,也正在一步步的通过新增的非结构化数据处理框架,开放给不同的外部数据。 我们相信阿里巴巴集团的这种需求,也代表着业界大数据领域的最前沿实践和走向,具有相当的普适性。在之前我们已经对MaxCompute 2.0新增的非结构化框架做过整体介绍,描述了在MaxCompute上如何处理存储在OSS上面的非结构化数据,侧重点在怎样从OSS读取各种非结构化数据并在MaxCompute上进行计算。 而一个完整数据链路,读取和计算处理之后,必然也会涉及到非结构化数据的 写出。 在这里我们着重介绍一下从MaxCompute往OSS输出非结构化数据,并提供一个具体的在MaxCompute上进行图像处理的实例, 来展示从【OSS->MaxCompute->OSS】的整个数据链路闭环的实现。 至于对于KV NoSQL类...