【阿里飞天】探索5K巅峰，云梯架设的飞天之梦-低调大师

【阿里飞天】探索5K巅峰，云梯架设的飞天之梦

2016-09-10 676

IDC研究显示，包含结构化和非结构化的大数据正在以每年60%的增长率持续增长，到了2020年全球数据总量将增长44倍，达到35.2ZB。而着眼国内，2013年产生的数据总量已经超过0.8ZB，两倍于2012年，相当于2009年全球的数据总量。预计到2020年，中国产生的数据总量更可能超过8.5ZB。井喷的数据在给各个机构带来数不尽机遇和财富的同时，也在存储、计算、带宽等领域给企业带来无尽的挑战。拥有数亿注册用户的阿里巴巴感受最明显——2013年3月28日，一封来自技术保障部架构师的邮件直达阿里集团最高层：

“按照数据增量与未来业务增长的情况，云梯1（以Hadoop为底层的集群）系统存储和计算能力将在6月21日到达瓶颈，数据业务将会停滞，淘数据、量子等业务都会受到影响；而云梯2（以飞天为底层的集群）也有同样的问题，阿里金融的贷款业务将

微信关注我们

原文链接：https://yq.aliyun.com/articles/60459

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hbase源码系列（八）从Snapshot恢复表

在看这一章之前，建议大家先去看一下snapshot的使用。这一章是上一章snapshot的续集，上一章了讲了怎么做snapshot的原理，这一章就怎么从snapshot恢复表。 restoreSnapshot方法位于HMaster当中，这个方法没几行代码，调用了SnapshotManager的restoreSnapshot方法。 // 检查meta表当中是否存在该表 if (MetaReader.tableExists(master.getCatalogTracker(), tableName)) { //不能对在线的表进行恢复操作 if (master.getAssignmentManager().getZKTable().isEnabledTable( TableName.valueOf(fsSnapshot.getTable()))) { throw new UnsupportedOperationException("Table '" + TableName.valueOf(fsSnapshot.getTable()) + "' must be disabled in orde...

2016-09-11

518

依托于Spark Streaming /Spark SQL，封装了一套通过配置和SQL就能完成批处理和流式处理的引擎，这样可以很好的完成复杂的ETL处理过程，实现了数据的流转和变换。完成了数据的流转和变换，接着就是查询了，通过对Spark SQL的封装，我现在可以任意指定多个数据源，举个例子，将ES的索引A` 命名为表A,将来自HDFS 的Parquet 文件命名为表B,这个时候我就可以写SQL作任意的处理了。用户要做的就是选择对应数据来源，接着就是完成SQL就好。能实现上面的功能得益于Spark 统一易用的API，比如RDD/DF/DS 功能丰富的组件，比如流式计算/批处理，机器学习,强大的SQL支持 Spark 背后的Databricks公司是我见过最重视用户API设计对领域问题具有高度抽象和设计能力 API 我就不说了，Spark的用户层API都是经过精心设计的，RDD自然不必说，上层的DF/DS 已经很好用，在2.0又更进一步统一了DF/DS (DF 是DS 类型为Row的一个特例)，这样可以让用户进一步减少使用和理解障碍。而且机器学习相关的API 也要慢慢迁移到 DF...

2016-09-11

627

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。