［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云-低调大师

［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云

2017-01-17 642 89

本文用到的

阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps

简介

Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。

环境要求

JDK (1.6以上，推荐1.7)
Kettle（建议5.4.0以后的版本）
Apache Maven 3.x

插件部署

下载Max

微信关注我们

原文链接：https://yq.aliyun.com/articles/68911

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-01-17 00:00:00

年末将至，如何做好安全防范？

年末，黑客勒索事件频发。本周，黑客又将目标转向了Elasticsearch。 1月16日，阿里云官网公告提醒，安装了Elasticsearch且未做特殊安全配置的服务器，可能存在数据被删除或业务被入侵的安全风险。这，还只是开始！一旦闻到了猎物的血腥味，成群的鲨鱼会围上来。卡巴斯基在2016年12月份发布的年度热门事件：加密勒索报告显示，截止到2016年，全球有114个国家受到加密勒索事件的影响，共发现44000多个勒索软件样本。亚信安全发布的勒索软件风险研究报告显示，近十个月内，全球传播的勒索软件数量增长了15倍，中国勒索软件数量增长更是突破了67倍。寻根溯源对勒索事件的数据进行分析不难发现，被勒索软件入侵的受害者，都有两大共性：关键账号存在弱口令或无认证机制服务器登录关键账号(root、administrator)密码简单或空密码

589

2017-01-19 00:00:00

【Best Practice】基于阿里云数加·MaxCompute及Quick BI构建网站用户画像分析

前文背景：【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏最近很多云栖社区的网友们看了上面一篇文章后都在追我下一篇，由于时间关系先给各位抱歉。那本篇文章我们来阐述如何通过MaxCompute和Quick BI来完成网站用户画像分析。还是和以往一样，看看整个数据架构图如下：开通阿里云数加产品前提条件为了保证整个实验的顺利开展，需要用户使用开通相关产品及服务，包括DataHub、MaxCompute、AnalyticDB、Data IDE、Quick BI。业务场景数据来源于网站上的HTTP访问日志数据，基于这份网站日志来实现如下分析需求： n统计并展现网站的PV和UV，并能够按照用户的终端类型（如Android、iPad、iPhone、PC等）分别统计。 n统计并展现网站的流量来源。 n统计并展现网站的用户地域分布。【说明】浏览次数（PV）和独立访客（UV）是衡量网站流量的两项最基本指标。用户每打开一个网站页面，记录一个PV，多次打开同一页面PV 累计多次。独立访客是指一天内，访问网站的不重复用户数，一天内同一访客多次访...

863

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。