-
实时计算 Flink> 产品简介——最新动态
时间 特征 类别 描述 使用客户 产品文档 2018.10.26 DDL语句 创建ES结果表 新功能 新增创建ES结果表的说明 所有 创建ElasticSearch(ES)结果表 2018.10.25 查看AccessID、AccessKey信息 新增文档 查看AccessID、AccessKey信息说明 所有 如何查看AccessID、AccessKey信...
时间:2018-11-13点击:230收藏
-
实时计算 Flink> 产品定价——业务流程
在使用阿里云实时计算 Flink前,对流式数据处理整体全链路有初步的认识可以极大方便您梳理业务流程,制定相应的系统设计方案。下面将简单介绍阿里云实时计算全流程系统架构。 数据采集 广义的实时数据采集指: 用户使用流式数据采集工具将数据 实时地采集并传输到大数据Pub/Sub系统,该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。阿里云大数据...
时间:2018-11-13点击:371收藏
-
实时计算Flink —— 独享模式 —— Data Lake典型场景
数据湖 Data Lake并不是一个新的概念,早在2011年就被提出,作为数仓的补充。数据湖是一个中心化的存储,能够存储任意规模的结构化与半结构化数据。数据湖中的数据,不必经过结构化过程,即可进行各种类型的分析。如可视化,大数据处理,实时数据分析和机器学习。 数据湖与数仓区别 与数仓相比,数据湖中数据有以下几个特点。 数据存储多样化 RDBMS:RDS/AD...
时间:2018-11-13点击:383收藏
-
实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建HDFS源表
本页目录 创建 HDFS 源表 什么是HDFS 读HDFS某个路径下所有CSV文件 读取HDFS某个目录下所有ORC文件示例 WITH参数 创建 HDFS 源表 什么是HDFS HDFS是Hadoop的分布式文件系统。HDFS可以作为Blink Batch的源表和结果表。HDFS上可以存储各种文件类型,目前Blink支持对CSV/Parquet/ORC文件格...
时间:2018-11-13点击:287收藏
-
实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建ORC源表
本页目录 创建 ORC 源表 DDL定义 WITH参数 创建 ORC 源表 ORC(Optimized Row Columnar)是一种Hadoop生态圈中的列式存储格式。产生于2013年初,最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整...
时间:2018-11-13点击:250收藏
-
创建ORC结果表
本页目录 创建ORC结果表 DDL定义 WITH参数 创建ORC结果表 ORC(Optimized Row Columnar)是Hadoop生态圈中的一种列式存储格式。ORC产生于2013年初,最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似,它并不是一个单纯的列式存储格式,仍然是先根据行组分割整...
时间:2018-11-13点击:211收藏
-
概念介绍
什么是工作流 工作流是大数据数仓体系必备的功能。主要用来进行任务调度,包括定时调度和依赖调度两个功能。为了解决Blink批处理功能在公共云的调度问题,Blink内部集成了开源的Airflow,并将其与Blink的开发平台进行集成,为用户提供一个一站式的批/流/工作流开发运维平台。 Blink工作流架构 为了更好的与用户已有的阿里云系统进行打通,工作流会部署在...
时间:2018-11-13点击:241收藏
-
创建消息队列(Kafka)源表
本页目录 WITH参数 kafka版本对应关系 Kafka消息解析 自建kafka WITH参数 Kafka源表的实现来源于自社区的kafka版本实现。 注意:本文档只适合独享模式下使用。 Kafka需要定义的DDL如下。 create table kafka_stream( messageKey VARBINARY, `message` VARBINARY...
时间:2018-11-13点击:305收藏
-
数据结果表概述
实时计算 Flink使用CREATE TABLE作为输出结果数据的格式定义,同时定义数据如何写入到目的数据存储。实时计算有Append类型和Update类型。 Append类型:如果输出存储是日志系统或消息系统,或未定义主键的RDS,则流的输出结果都会以追加的方式写入存储中,而不会修改存储中原有的数据。 Update类型:如果输出存储是声明了主键(PRIMA...
时间:2018-11-13点击:222收藏
-
创建ElasticSearch(ES)结果表
创建 ElasticSearch 结果表 注意:本文档只适合独享模式下使用。 ElasticSearch 结果表的实现使用 REST API,理论上兼容 ElasticSearch 的各个版本。以下将 ElasticSearch 简称为 ES。 ES 需要定义的 DDL 如下: create table es_stream_sink( field1 long...
时间:2018-11-13点击:234收藏
-
创建云数据库 Hbase结果表
本页目录 创建云数据库 Hbase结果表 WITH参数 创建云数据库 Hbase结果表 create table liuxd_user_behavior_test_front ( row_key varchar, from_topic varchar, origin_data varchar, record_create_time varchar, PRIM...
时间:2018-11-13点击:209收藏
-
创建Cloudhbase维表
创建 Cloudhbase 维表 维表的 Query 语法详见:维表 JOIN 文档 示例 CREATE TABLE hbase ( `key` varchar, `name` varchar, PRIMARY KEY (`key`), -- hbase 中的 row key 字段 PERIOD FOR SYSTEM_TIME --维表标识。 ) with ...
时间:2018-11-13点击:300收藏
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS关闭SELinux安全模块
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6