日志服务导入MaxCompute数据实战-低调大师

日志服务导入MaxCompute数据实战

2020-04-18 806

简介

日志服务（Log Service，简称 SLS）是针对日志类数据的一站式服务，在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立 DT 时代海量日志处理能力。
将MaxCompute 中的数据导入到日志服务，利用日志服务的查询和可视化功能，对数据进行分析和可视化展示，使用数据加工对数据进一步处理，充分发掘数据的价值。

日志服务提供的数据导入功能，支持从OSS，MaxCompute，Kafka等数据源同步数据。使用数据导入同步数据具备如下的优势：

配置简单，用户仅需在日志服务控制台完成简单配置即可实现导入。
导入服务完全由日志服务托管，无需运维。
支持动态水平扩展，根据用户的数据量自动分配资源，实现快速导入。

日志服务基本概念

日志：日志服务中处理的最小数据单元，每行日志包含日志发生时间和一组key-value 均为字符串格式的字段列表。
项目（Project）：日志服务中的资源管理单元，用于资源隔离和控制，管理着用户的所有日志库等资源。
日志库（Logstore）：日志数据的采集、存储和查询单元。每个日志库属于一个项目，且每个项目可以创建多个日志库。

MaxCompute 介绍

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。

MaxCompute 基本概念

项目（Project）：类似于传统数据库的Database的概念，是进行多用户隔离和访问控制的主要边界。
表（Table）：表是MaxCompute的数据存储单元，是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段，一条记录可以包含一个或多个列。

导入步骤

环境准备

准备需要导入的MaxCompute Project和Table，以及能够访问该Table的Access Key。
已经开通日志服务，并且已经创建好Project，Logstore和索引。

源数据预览

假设用户数据存储在 access_log 这个表里，其字段包括了String，Int，Double等类型。

配置导入任务

1 进入日志服务控制台首页，接入数据选择 MaxCompute 数据源

2 选择导入目标Project和Logstore
如果还没有创建Project和Logstore，可以从右侧立即创建入口创建。需要确认导入任务开始之前目标Logstore已经配置了合适的索引。

3 配置访问MaxCompute必需的信息，支持预览数据

参数说明

参数	说明
配置名称	导入配置的名称。
MaxCompute项目	待导入数据所在的MaxCompute项目名称。
Table	待导入数据所在的表名称。
分区描述	如果待导入的表是分区表，需要指定分许描述。分区参考 https://help.aliyun.com/document_detail/27820.html
AccessKey ID	访问MaxCompute的AccessKey ID。
AccessKey Secret	访问MaxCompute的AccessKey Secret。
Endpoint	访问MaxCompute的Endpoint。Endpoint配置可以参考文档：https://help.aliyun.com/document_detail/34951.html
Tunnel Endpoint	访问MaxCompute的Tunnel Endpoint。

3 配置时间解析方式
默认使用系统时间时间作为数据时间，用户也可以使用MaxCompute 表中的字段作为数据的时间

4 配置调度间隔

日式服务根据配置的导入间隔定时执行增量导入任务。

导入结果预览

MaxCompute表中的每行数据自动转化为一行日志数据。每列作为日志中的一个字段，列名作为日志的字段名称。各个字段类型映射为日志类型的规则如下：

MaxCompute类型	日志字段类型
Map,Array,Struct	JSON string
其他类型	String

导入任务管理

创建导入任务后，日志服务自动创建用于存放导入任务诊断日志的Logstore（internal-diagnostic_log）和统计报表。导入异常时可以在诊断Logstore中查看异常原因。

快速了解专有网络VPC基础架构

云栖号快速入门：【点击查看更多云产品快速入门】不知道怎么入门？这里分分钟解决新手入门等基础问题，可快速完成产品配置操作！基于目前主流的隧道技术，专有网络（Virtual Private Cloud，简称VPC）隔离了虚拟网络。每个VPC都有一个独立的隧道号，一个隧道号对应一个虚拟化网络。背景信息随着云计算的不断发展，对虚拟化网络的要求越来越高，例如弹性（scalability）、安全性（security）、可靠性（reliability）和私密性（privacy），并且还有极高的互联性能（performance）需求，因此催生了多种多样的网络虚拟化技术。比较早的解决方案，是将虚拟机的网络和物理网络融合在一起，形成一个扁平的网络架构，例如大二层网络。随着虚拟化网络规模的扩大，这种方案中的ARP欺骗、广播风暴、主机扫描等问题会越来越严重。为了解决这些问题，出现了各种网络隔离技术，把物理网络和虚拟网络彻底隔开。其中一种技术是用户之间用VLAN进行隔离，但是VLAN的数量最大只能支持到4096个，无法支撑公共云的巨大用户量。原理描述基于目前主流的隧道技术，专有网络隔离了虚拟网络。每...

2020-04-19

873

来了！我们把 Apache 顶级项目盛会搬到线上，4月25-26日，Flink Forward 全球在线会议精华版直播将正式上线，该系列直播均为中文版，精选大会优质内容由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说，您可直接免费在线观看！那么，这场直播究竟有哪些值得期待的精彩内容？Flink 社区将按照会议议程安排，以半天为单位详细介绍每场直播的核心内容及亮点。 4/25 10:00-12:00,直播看什么圆桌 | Keynote Session by Ververica 去年 Flink Forward Asia，Stephan 现场分享了他对 Flink 作为应用服务场景（Applications and Services）通用引擎的展望和规划。简而言之，他认为 Flink 除了能够做到批流一体，Flink 框架对于事件驱动的在线应用也可以有效甚至更好的支持。本次 Flink Forward 全球在线会议由 Stephan 和 Konstantin 共同分享，他们又将公布哪些社区最新动向？作为此次直播的神秘 talk，请一起期待直播解说！分...

2020-04-18

793

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。