一分钟了解阿里云产品：采云间应用示例-低调大师

一分钟了解阿里云产品：采云间应用示例

2016-02-26 703

下面是应用采云间来完成的一个简单业务报表的统计分析，并详细介绍采云间的产品实现。主要涉及几个步骤：

首先同步RDS（Relational Database Service，关系型数据库服务）数据库中的数据到ODPS上。

使用数据工厂执行ODPS SQL。通过“数据分析”进行在线可视化数据分析。

如何同步RDS数据库中的数据到ODPS上呢？采云间内置了数据同步和流转功能，完成RDS与ODPS之间的双向同步只需在采云间配置中心创建RDS和ODPS的连接信息即可。当配置RDS链接信息时，建议该账号只开通表的查询权限。对于这些用户名和密码，采云间会调用阿里云公有的加密服务进行加密保存。

步骤1：进入RDS控制台，点击实例名称，进入RDS管理页面获取实例ID。

步骤2：在采云间配置中心，点击“新建连接配置”，填写RDS实例的用户名和密码，保存配置。同理，可以完成ODPS链接信息的配置。

完成上述操作之后，通过数据工厂创建需要同步的表的结构，然后在任务管理里通过新建“同步任务”的方式，配置数据同步任务，确定提交之后，就可以每天自动进行数据同步了。

重复上述的操作，可以配置多个同步任务，完成每天从生产库里将表中的数据同步到离线分析环境ODPS中，为后续的数据清洗转换作准备。

在采云间控制台上第一次登录数据工厂时，需要输入ODPS的Project名称和对应的Access Key ID和Access Key Secret。点击登录界面的“立即查看Access Key”，找到启用的Access Key ID和Access Key Secret，复制并粘贴。

进入数据工厂，点击“新建SQL文件”，输入SQL语句，点击“执行”按钮，即可完成一个简单的查询。

通常我们会依据业务统计需求，对生产库里同步过来的多个表，进行数据关联处理，生成结果表。

如何通过“数据分析”进行在线可视化数据分析？

首先，需要从ODPS上导入元数据信息，形成数据分析的数据集。

其次，从导入的数据集中，选择一个打开，就可以开始进行数据分析了。整个分析过程的体验非常像在Excle里做透视分析，可以大大降低学习成本。

通过上述介绍，相信大家已经从产品角度对采云间有了一定认知。

如果想了解更多关于采云间，请访问：

https://yq.aliyun.com/articles/7473

微信关注我们

原文链接：https://yq.aliyun.com/articles/7114

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一分钟了解阿里云产品：采云间概述

阿里云的众多产品中，采云间（Data Process Center，简称DPC）是很有特色的一款产品，今天让我们来了解下采云间吧。什么是采云间呢？采云间是基于开放数据处理服务（ODPS）的DW/BI的工具解决方案。DPC提供全链路的易于上手的数据处理工具，包括ODPS IDE、任务调度、数据分析、报表制作和元数据管理等，可以大大降低用户在数据仓库和商业智能上的实施成本，加快实施进度。那么采云间有什么自己独特的地方呢？采云间有着阿里多年DW、BI领域经验的沉淀，全链路解决数据集成、管理与商业分析，全面提升大数据实施的效率，降低成本。采云间屏蔽云端复杂性，轻松完成云端数据同步，灵活撰写数据处理代码，极简任务管理，并且拖拽式进行数据分析和报表制作，相当易用。采云间与ODPS完美融合，释放其处理能力，支持单个企业十万级任务的运行与管理，分析工具支持亿级数据的实时olap分析。借助这些优势采云间能够实现什么功能呢？采云间DPC提供全链路大数据工具解决方案，采云间DPC支持本地数据上传和RDS数据同步到ODPS；持续增加更多数据源之间的相互同步，实现云端数据的无缝流...

2016-02-27

740

这里讲解下用户画像的技术架构和整体实现，那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现（个人见解）。数据整理： 1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,也可以用代码来实现，比如spark的jdbc连接传统数据库进行数据的cache。还有一种方式，可以通过将数据写入本地文件，然后通过sparksql的load或者hive的export等方式导入HDFS。 2、通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL，使用户对应上不同的用户标签数据（这里的指标可以理解为为每个用户打上了相应的标签），生成相应的源表数据,以便于后续用户画像系统，通过不同的规则进行标签宽表的生成。数据平台 1、数据平台应用的分布式文件系统为Hadoop的HDFS，因为Hadoop2.0以后,任何的大数据应用都可以通过ResoureManager申请资源，注册服务。比如(sparksubmit、hive）等等。而基于内存的计算框架的出现，就并不选用hadoop的MapReduce了。当然很多离线处理的业务，很多人还是倾向于使用Hadoop...

2016-02-27

1249

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。