【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute-低调大师

【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute

2017-06-19 646 89

随着公司业务的增多，云数据库 RDS 下的 MySQL 数据库的表越来越多，想要把它全部迁移到 MaxCompute 中进行计算分析，但又愁要配置太多次同步任务。如何能将大量的数据表一次性上传到 MaxCompute 中呢？通过大数据开发套件的整库迁移功能，便可快速完成 MySQL 数据整库迁移到 MaxCompute，从而节省同步时间，提高工作效率。

下面介绍一个适用于中小企业用户，高效率低成本的数据同步方案：

对于自建或云数据库 RDS 的 MySQL 数据库中的数据，都可以通过整库迁移功能，快速同步到 MaxCompute 中进行存储与分析，流程图如下：

云数据库 RDS ：RDS 是一种稳定可靠、可弹性伸缩的在线数据库服务，本实验主要使用云数据库 MySQL 版。

MaxCompute：原名 ODPS，是由阿里云自主研发的一款服

微信关注我们

原文链接：https://yq.aliyun.com/articles/106667

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

windows下搭建elastcsearch+kibana+logstash

elasticsearch安装参考链接：http://www.jianshu.com/p/058a4a26dce7 kibana安装下载链接：https://www.elastic.co/downloads/past-releases 版本：kibana-4.3.0-windows 解压后目录结构修改配置（conf/kibana.yml）： server.port: 5601 server.host: "0.0.0.0" elasticsearch.url: "http://localhost:9200" elasticsearch.preserveHost: true kibana.index: ".kibana" 启动命令： cd到kibana文件夹下bin目录，执行命令kibana.bat 安装windows的服务启动项：下载nssm：https://nssm.cc/release/nssm-2.24.zip cmd 运行 nssm install logstash，安装服务的Path选择到kibana.bat，依赖项可以设置logstash,elasticsearch-...

549

当你学会炒菜的时候，你就学会了大数据

最近在学习数仓跟BI，突然发现，结合自己所学会抄的菜。试着把学过的大数据重新理解一番，希望各位都能来一起讨论，共同进步。走进厨房走进厨房后，相信大家会看到各种锅碗瓢盆，案板，切菜刀，调料，橱柜，水池...........而这些就相当于是大数据的架构。其中橱柜，相当于是Hadoop。橱柜可以储存各种食材，而Hadoop可以存储各种不同类的数据（结构化与非结构化）。而橱柜可以存放不同食材，比如不规整的豆腐块，大冬瓜，土豆....还有一些规整的食材，比如大米，小米，绿豆........规整的食材与不规整的食材的区别，各家有各家不同的规定，而一般的规定就是规格的食材要用袋子把它们装起来。这里就相当于是大数据里的数据整理流程。而这些半规整的食材要放到一个个小袋子里，比如说，淀粉,姜粉，蒜泥.....用袋子或者盒子把它们装好，放在相应橱柜的地方，就相当于我们大数据里说的ETL（抽取，封装，加载），以备后用。而不同厂家的橱柜又会有不同的格子划分及存储区，比如：欧派，宜家的橱柜就会划分出很多小的分区来装不同的东西。而这一块就相当于HBase,灶台下边有专门用于凉碗的，还有抽油烟机旁边专门...

448

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。