阿里云迁移规划
自2017年阿里云落地了数据中台和业务中台的架构后,“中台”这一概念很快成为了许多企业数字化转型的技术评定标杆。一时间咨询公司的DT蓝图充斥着“中台化”、“大中台、小前台”,似乎脱离了这些描述,报告就不够高大上;相较而言,很多AIOPS的科技公司明明具备了中台化技术,但习惯用技术语言去表达,比如“客制化SPL语句模板”就明显LOW很多。 鉴于阿里云已经有自己的大数据产品了,“中台化”在很多情况下只是将本地数据迁移到阿里云,然后通过阿里云的GUI工具做客制化数据调取模板。顺着这一思路,首先我们把企业数据分为结构化数据(如Oracle,MySQL中的数据)、非结构化数据(如文本、图片、视频、音频)以及半结构化数据(如Log文件、XML文件、JSON文件),然后将这些数据集成到云端,这一阶段主要涉及数据的获取、转置和治理。 对于不同的数据,数据集成方式也有所不同。譬如离线数据,首先我们从数据库、本地文件或OSS对象存储中获取数据,然后进行数据清理工作将失实、重复、格式错误的数据删除;接下来对数据做前期探索分析(EDA),包括分析与建模,在这一过程中,元数据被打上名称型(Nominal)或序数...
