一分钟了解阿里云产品：采云间应用示例-低调大师

一分钟了解阿里云产品：采云间应用示例

2016-02-26 771

下面是应用采云间来完成的一个简单业务报表的统计分析，并详细介绍采云间的产品实现。主要涉及几个步骤：

首先同步RDS（Relational Database Service，关系型数据库服务）数据库中的数据到ODPS上。

使用数据工厂执行ODPS SQL。通过“数据分析”进行在线可视化数据分析。

如何同步RDS数据库中的数据到ODPS上呢？采云间内置了数据同步和流转功能，完成RDS与ODPS之间的双向同步只需在采云间配置中心创建RDS和ODPS的连接信息即可。当配置RDS链接信息时，建议该账号只开通表的查询权限。对于这些用户名和密码，采云间会调用阿里云公有的加密服务进行加密保存。

步骤1：进入RDS控制台，点击实例名称，进入RDS管理页面获取实例ID。

步骤2：在采云间配置中心，点击“新建连接配置”，填写RDS实例的用户名和密码，保存配置。同理，可以完成ODPS链接信息的配置。

完成上述操作之后，通过数据工厂创建需要同步的表的结构，然后在任务管理里通过新建“同步任务”的方式，配置数据同步任务，确定提交之后，就可以每天自动进行数据同步了。

重复上述的操作，可以配置多个同步任务，完成每天从生产库里将表中的数据同步到离线分析环境ODPS中，为后续的数据清洗转换作准备。

在采云间控制台上第一次登录数据工厂时，需要输入ODPS的Project名称和对应的Access Key ID和Access Key Secret。点击登录界面的“立即查看Access Key”，找到启用的Access Key ID和Access Key Secret，复制并粘贴。

进入数据工厂，点击“新建SQL文件”，输入SQL语句，点击“执行”按钮，即可完成一个简单的查询。

通常我们会依据业务统计需求，对生产库里同步过来的多个表，进行数据关联处理，生成结果表。

如何通过“数据分析”进行在线可视化数据分析？

首先，需要从ODPS上导入元数据信息，形成数据分析的数据集。

其次，从导入的数据集中，选择一个打开，就可以开始进行数据分析了。整个分析过程的体验非常像在Excle里做透视分析，可以大大降低学习成本。

通过上述介绍，相信大家已经从产品角度对采云间有了一定认知。

如果想了解更多关于采云间，请访问：

https://yq.aliyun.com/articles/7473

微信关注我们

原文链接：https://yq.aliyun.com/articles/7114

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一分钟了解阿里云产品：采云间概述

阿里云的众多产品中，采云间（Data Process Center，简称DPC）是很有特色的一款产品，今天让我们来了解下采云间吧。什么是采云间呢？采云间是基于开放数据处理服务（ODPS）的DW/BI的工具解决方案。DPC提供全链路的易于上手的数据处理工具，包括ODPS IDE、任务调度、数据分析、报表制作和元数据管理等，可以大大降低用户在数据仓库和商业智能上的实施成本，加快实施进度。那么采云间有什么自己独特的地方呢？采云间有着阿里多年DW、BI领域经验的沉淀，全链路解决数据集成、管理与商业分析，全面提升大数据实施的效率，降低成本。采云间屏蔽云端复杂性，轻松完成云端数据同步，灵活撰写数据处理代码，极简任务管理，并且拖拽式进行数据分析和报表制作，相当易用。采云间与ODPS完美融合，释放其处理能力，支持单个企业十万级任务的运行与管理，分析工具支持亿级数据的实时olap分析。借助这些优势采云间能够实现什么功能呢？采云间DPC提供全链路大数据工具解决方案，采云间DPC支持本地数据上传和RDS数据同步到ODPS；持续增加更多数据源之间的相互同步，实现云端数据的无缝流...

2016-02-26

807

这里讲解下用户画像的技术架构和整体实现，那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现（个人见解）。数据整理： 1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,也可以用代码来实现，比如spark的jdbc连接传统数据库进行数据的cache。还有一种方式，可以通过将数据写入本地文件，然后通过sparksql的load或者hive的export等方式导入HDFS。 2、通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL，使用户对应上不同的用户标签数据（这里的指标可以理解为为每个用户打上了相应的标签），生成相应的源表数据,以便于后续用户画像系统，通过不同的规则进行标签宽表的生成。数据平台 1、数据平台应用的分布式文件系统为Hadoop的HDFS，因为Hadoop2.0以后,任何的大数据应用都可以通过ResoureManager申请资源，注册服务。比如(sparksubmit、hive）等等。而基于内存的计算框架的出现，就并不选用hadoop的MapReduce了。当然很多离线处理的业务，很多人还是倾向于使用Hadoop...

2016-02-26

1291

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。