笔记列表-低调大师优秀个人博客

Java分享

专注最优质的分享

热门搜索:

SpringCloud
Nacos
Sentinel
Docker
SpringBoot
Hadoop
ElasticSearch
Vue3
Nginx
Redis
MySQL

您现在的位置是：首页 > 文章列表

实时计算 Flink> 产品简介——最新动态

时间特征类别描述使用客户产品文档 2018.10.26 DDL语句创建ES结果表新功能新增创建ES结果表的说明所有创建ElasticSearch（ES）结果表 2018.10.25 查看AccessID、AccessKey信息新增文档查看AccessID、AccessKey信息说明所有如何查看AccessID、AccessKey信...

时间：2018-11-13点击：230收藏
实时计算 Flink> 产品定价——业务流程

在使用阿里云实时计算 Flink前，对流式数据处理整体全链路有初步的认识可以极大方便您梳理业务流程，制定相应的系统设计方案。下面将简单介绍阿里云实时计算全流程系统架构。数据采集广义的实时数据采集指: 用户使用流式数据采集工具将数据实时地采集并传输到大数据Pub/Sub系统，该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。阿里云大数据...

时间：2018-11-13点击：371收藏
实时计算Flink —— 独享模式 —— Data Lake典型场景

数据湖 Data Lake并不是一个新的概念，早在2011年就被提出，作为数仓的补充。数据湖是一个中心化的存储，能够存储任意规模的结构化与半结构化数据。数据湖中的数据，不必经过结构化过程，即可进行各种类型的分析。如可视化，大数据处理，实时数据分析和机器学习。数据湖与数仓区别与数仓相比，数据湖中数据有以下几个特点。数据存储多样化 RDBMS：RDS/AD...

时间：2018-11-13点击：383收藏
实时计算Flink > 独享模式 > Batch（试用） > 创建源表 —— 创建HDFS源表

本页目录创建 HDFS 源表什么是HDFS 读HDFS某个路径下所有CSV文件读取HDFS某个目录下所有ORC文件示例 WITH参数创建 HDFS 源表什么是HDFS HDFS是Hadoop的分布式文件系统。HDFS可以作为Blink Batch的源表和结果表。HDFS上可以存储各种文件类型，目前Blink支持对CSV/Parquet/ORC文件格...

时间：2018-11-13点击：287收藏
实时计算Flink > 独享模式 > Batch（试用） > 创建源表 —— 创建ORC源表

本页目录创建 ORC 源表 DDL定义 WITH参数创建 ORC 源表 ORC(Optimized Row Columnar)是一种Hadoop生态圈中的列式存储格式。产生于2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整...

时间：2018-11-13点击：250收藏
创建ORC结果表

本页目录创建ORC结果表 DDL定义 WITH参数创建ORC结果表 ORC(Optimized Row Columnar)是Hadoop生态圈中的一种列式存储格式。ORC产生于2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是先根据行组分割整...

时间：2018-11-13点击：211收藏
概念介绍

什么是工作流工作流是大数据数仓体系必备的功能。主要用来进行任务调度，包括定时调度和依赖调度两个功能。为了解决Blink批处理功能在公共云的调度问题，Blink内部集成了开源的Airflow，并将其与Blink的开发平台进行集成，为用户提供一个一站式的批/流/工作流开发运维平台。 Blink工作流架构为了更好的与用户已有的阿里云系统进行打通，工作流会部署在...

时间：2018-11-13点击：241收藏
创建消息队列（Kafka）源表

本页目录 WITH参数 kafka版本对应关系 Kafka消息解析自建kafka WITH参数 Kafka源表的实现来源于自社区的kafka版本实现。注意：本文档只适合独享模式下使用。 Kafka需要定义的DDL如下。 create table kafka_stream( messageKey VARBINARY, `message` VARBINARY...

时间：2018-11-13点击：305收藏
数据结果表概述

实时计算 Flink使用CREATE TABLE作为输出结果数据的格式定义，同时定义数据如何写入到目的数据存储。实时计算有Append类型和Update类型。 Append类型：如果输出存储是日志系统或消息系统，或未定义主键的RDS，则流的输出结果都会以追加的方式写入存储中，而不会修改存储中原有的数据。 Update类型：如果输出存储是声明了主键（PRIMA...

时间：2018-11-13点击：222收藏
创建ElasticSearch（ES）结果表

创建 ElasticSearch 结果表注意：本文档只适合独享模式下使用。 ElasticSearch 结果表的实现使用 REST API，理论上兼容 ElasticSearch 的各个版本。以下将 ElasticSearch 简称为 ES。 ES 需要定义的 DDL 如下: create table es_stream_sink( field1 long...

时间：2018-11-13点击：234收藏
创建云数据库 Hbase结果表

本页目录创建云数据库 Hbase结果表 WITH参数创建云数据库 Hbase结果表 create table liuxd_user_behavior_test_front ( row_key varchar, from_topic varchar, origin_data varchar, record_create_time varchar, PRIM...

时间：2018-11-13点击：209收藏
创建Cloudhbase维表

创建 Cloudhbase 维表维表的 Query 语法详见：维表 JOIN 文档示例 CREATE TABLE hbase ( `key` varchar, `name` varchar, PRIMARY KEY (`key`), -- hbase 中的 row key 字段 PERIOD FOR SYSTEM_TIME --维表标识。 ) with ...

时间：2018-11-13点击：300收藏

« 上页 5473/12548 下页 »

点击排行

推荐阅读

最新文章