【转载】阿里云飞天大数据平台亮相-低调大师

【转载】阿里云飞天大数据平台亮相

2019-07-28 753

7月25日，阿里云飞天大数据平台亮相阿里云峰会上海站，拥有中国唯一自主研发的计算引擎，是全球集群规模最大的计算平台，最大可扩展至10万台计算集群，支撑海量数据存储和计算。在民生服务领域，飞天大数据平台已经“最多跑一次”、城市大脑等场景中，协助政府优化服务模式，实现更智能便捷的服务能力，保障信息安全。

数据显示，目前飞天大数据平台可扩展至10万台计算集群，集群规模全球第一。单日数据处理量从2015年100PB、2016年180PB、2017年320PB，到2018年超过600PB，仅用三年时间提升5倍。

在浙江，飞天大数据平台支撑下，“最多跑一次”打通与老百姓办事最密切相关的100个事项70多亿条数据，老百姓甚至有可能一次都不跑。在杭州，城市大脑实时指挥1300个红绿灯路口、200多名交警，从2016年到2018年，杭州从全国最拥堵城市

微信关注我们

原文链接：https://yq.aliyun.com/articles/711571

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云迁移规划

自2017年阿里云落地了数据中台和业务中台的架构后，“中台”这一概念很快成为了许多企业数字化转型的技术评定标杆。一时间咨询公司的DT蓝图充斥着“中台化”、“大中台、小前台”，似乎脱离了这些描述，报告就不够高大上；相较而言，很多AIOPS的科技公司明明具备了中台化技术，但习惯用技术语言去表达，比如“客制化SPL语句模板”就明显LOW很多。鉴于阿里云已经有自己的大数据产品了，“中台化”在很多情况下只是将本地数据迁移到阿里云，然后通过阿里云的GUI工具做客制化数据调取模板。顺着这一思路，首先我们把企业数据分为结构化数据（如Oracle，MySQL中的数据）、非结构化数据（如文本、图片、视频、音频）以及半结构化数据（如Log文件、XML文件、JSON文件），然后将这些数据集成到云端，这一阶段主要涉及数据的获取、转置和治理。对于不同的数据，数据集成方式也有所不同。譬如离线数据，首先我们从数据库、本地文件或OSS对象存储中获取数据，然后进行数据清理工作将失实、重复、格式错误的数据删除；接下来对数据做前期探索分析（EDA），包括分析与建模，在这一过程中，元数据被打上名称型（Nominal）或序数...

2019-07-28

622

直播间直达链接：（回看链接）时间 7月31日19:00 主讲人：辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作简介：在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

2019-07-29

883

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。