阿里云迁移规划-低调大师

阿里云迁移规划

2019-07-27 622

自2017年阿里云落地了数据中台和业务中台的架构后，“中台”这一概念很快成为了许多企业数字化转型的技术评定标杆。一时间咨询公司的DT蓝图充斥着“中台化”、“大中台、小前台”，似乎脱离了这些描述，报告就不够高大上；相较而言，很多AIOPS的科技公司明明具备了中台化技术，但习惯用技术语言去表达，比如“客制化SPL语句模板”就明显LOW很多。
鉴于阿里云已经有自己的大数据产品了，“中台化”在很多情况下只是将本地数据迁移到阿里云，然后通过阿里云的GUI工具做客制化数据调取模板。顺着这一思路，首先我们把企业数据分为结构化数据（如Oracle，MySQL中的数据）、非结构化数据（如文本、图片、视频、音频）以及半结构化数据（如Log文件、XML文件、JSON文件），然后将这些数据集成到云端，这一阶段主要涉及数据的获取、转置和治理。

对于不同的数据，数据集成方式也有所不同。譬如离线数据，首先我们从数据库、本地文件或OSS对象存储中获取数据，然后进行数据清理工作将失实、重复、格式错误的数据删除；接下来对数据做前期探索分析（EDA），包括分析与建模，在这一过程中，元数据被打上名称型（Nominal）或序数型（Ordinal），间隔型（Interval）或比例性（Ratio）的标签，以便之后做完整分析，例如名称型/序数型标签通常用作统计分类，而间隔性/比例型标签通常用作统计数据。最后是数据入库，对接BI工具。

数据流通常通过Agent获取，包括应用程序、系统内置工具以及传感器，然后进入转置缓存通道，譬如一些常见的消息总线如Kafka，RabbitMQ，接下来是流处理程序，常见的有Storm、Samza、Storm和Flink（可参看本座之前写的介绍文章，这里就无法传送了），最后入库。

最后是实时数据，根据系统需要，上两类数据都可能要求很强的实时性以支持即时搜索或即时报表功能。
我们以离线数据为例，如下图，RDS中存放着企业的结构化数据，OSS中存储着非结构化或半结构化的数据。这些数据的元数据会转移到阿里云的Table Store中，主数据会记录在基于MaxCompute的对应RDS和OSS数据库中，应用层是基于负载均衡并能自动扩展的ECS集群以保障服务的高可用。

既然说到这了，那就来说说阿里云的MaxCompute，它其实是一个基于项目（Project）的存储引擎，或者说是一个面向存储对象的集成开发环境，犹如软件研发的集成开发环境Eclipse，或大数据分析的集成开发环境Jupyter。它也有非常丰富的命令行，例如使用tunnel命令就可以将数据下载到本地或上传到MaxCompute。

相较于命令行，这个IDE的亮点在于它的图形界面--Dataworks，在这个界面中，可以非常方便的创建云端RDS/OSS数据库，以及到源数据的连接。

在阿里云的架构中，不同的区域对应有不同的MaxCompute IP，因此在数据迁移时需要开放，根据创建时的站点选择，需要开放以下目标IP，包括说迁移完成后，数据需要对外发布服务的话，同样需要开放对应IP列表（篇幅有限就不一一列举了）。
*中国东部1(杭州) 100.64.0.0/8,11.193.102.0/24,11.193.215.0/24,11.194.110.0/24,11.194.73.0/24,118.31.157.0/24,47.97.53.0/24,11.196.23.0/24,47.99.12.0/24,47.99.13.0/24,114.55.197.0/24,11.197.246.0/24,11.197.247.0/24
中国东部2(上海) 11.193.109.0/24,11.193.252.0/24,47.101.107.0/24,47.100.129.0/24,106.15.14.0/24,10.117.28.203,10.117.39.238,10.143.32.0/24,10.152.69.0/24,10.153.136.0/24,10.27.63.15,10.27.63.38,10.27.63.41,10.27.63.60,10.46.64.81,10.46.67.156,11.192.97.0/24,11.192.98.0/24,11.193.102.0/24,11.218.89.0/24,11.218.96.0/24,11.219.217.0/24,11.219.218.0/24,11.219.219.0/24,11.219.233.0/24,11.219.234.0/24,118.178.142.154,118.178.56.228,118.178.59.233,118.178.84.74,120.27.160.26,120.27.160.81,121.43.110.160,121.43.112.137,100.64.0.0/8*
在数据迁移前，我们还能修改目标的对应字段，或添加新的字段。

导入OSS的步骤与RDS基本相同，同样是向导式操作，只是没有行列对应，需要手动定义正则以识别日志中的IP信息、时间、事件等信息。

采集上来之后，根据应用的需要，开发客制化的查询结果端口，以提高数据调用效率，这也就是中台化的本质啦~当然有不同意见的施主欢迎拍砖。

微信关注我们

原文链接：https://yq.aliyun.com/articles/711411

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【转载】DT时代，阿里不再藏住“技术公司”标签

来源 | 智能相对论（ID：aixdlun）虽然Jack马先生总是口出惊人之语，但事实证明他说的话总是不断被应验。 2016年的“新零售”现在已经是公认的零售新篇章，而2014年的“人类正从IT时代走向DT时代”，也在逐渐变成现实——不管什么样的企业，都习惯要“大数据”一下。这其中，阿里自己往往成为“预言”的忠实拥趸，新零售跑马圈地，现在大数据也要“搞个大新闻”。不久前，阿里云在其峰会上发布了大数据服务产品“飞天大数据平台”，从公开信息来看，该平台被称为“中国唯一自主研发的大数据计算引擎”，以及“全球集群规模最大的计算平台”。参数能力上，有诸如单一引擎支持10万台服务器组合计算、支持超600PB计算能力等。今年6月以来，阿里在AI能力上频频对外界秀肌肉，连续获得5个世界大赛第一（详见相关报道），现在，阿里云高调发布“飞天大数据平台”

2019-07-27

695

7月25日，阿里云飞天大数据平台亮相阿里云峰会上海站，拥有中国唯一自主研发的计算引擎，是全球集群规模最大的计算平台，最大可扩展至10万台计算集群，支撑海量数据存储和计算。在民生服务领域，飞天大数据平台已经“最多跑一次”、城市大脑等场景中，协助政府优化服务模式，实现更智能便捷的服务能力，保障信息安全。数据显示，目前飞天大数据平台可扩展至10万台计算集群，集群规模全球第一。单日数据处理量从2015年100PB、2016年180PB、2017年320PB，到2018年超过600PB，仅用三年时间提升5倍。在浙江，飞天大数据平台支撑下，“最多跑一次”打通与老百姓办事最密切相关的100个事项70多亿条数据，老百姓甚至有可能一次都不跑。在杭州，城市大脑实时指挥1300个红绿灯路口、200多名交警，从2016年到2018年，杭州从全国最拥堵城市

2019-07-29

752

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。