在内存计算时代，看阿里如何用Spark来进行实践与探索-低调大师

在内存计算时代，看阿里如何用Spark来进行实践与探索

2016-11-01 563

本文PPT来自阿里云技术专家曹龙（花名：封神）于10月16日在2016年杭州云栖大会上发表的《阿里巴巴Spark实践与探索——内存计算时代》。

随着数据爆发式地增长，如何处理大量的数据成为一项挑战。在此背景下，许多数据处理技术应运而生，这其中典型的技术有数据治理、作业管理、分布式计算和分布式储存等等。同时，许多优秀的分布式引擎也被人们开发出来，比如Hadoop、Spark、Flink和 Tez。其中Spark的实力不容小觑。

Spark从1.0到2.0经历了重大的架构变化，其链路和核心得到了不断地完善。同时，Spark在阿里也得到了快速的成长，从10年阿里初步尝试Spark，使用10台机器，利用Spark Mllib进行机器学习，到12年的Spark on Yarn, 规模达到100-400台，使用Spark Streaming、Spark Graphx技术；从14年实现内存计算，到现在发展出了E-MapReduce for Spark，开始对公共云提供服务，这一系列的快速的发展是大家有目共睹的。目前，Spark已经具备了诸多优良的特性，如弹性伸缩、与业务系统无缝结合等等，并且已经被部署在许多不同的场景，如机器学习、流式计算、即时查询等等。将场景划分，针对不同场景所消耗的资源的差异来优化，使存储与计算分离，以达到高灵活性、低成本、高性能的目的，这便是Spark在云上的最佳实践。

展望未来，Spark将进一步发展。不久，Spark自身将支持ANSI SQL、其性能将接近MPP数据仓库、将落实“一切基于优化”的理念、增加对新硬件如大内存、GPU等的支持并且更友好地支持云，以拥抱内存计算新时代。

微信关注我们

原文链接：https://yq.aliyun.com/articles/62641

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop存储与计算分离实践

本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的《Hadoop存储于计算分离实践》。 Hadoop部署一般可大致分为传统集群部署和云上集群部署。具体而言，对于传统集群部署，存储和计算是重点，计算能力加上存储能力大致等同于这个集群的能力。传统集群往往包含很多数据“中心”，并以集群混部的方式部署。在理想情况下，一个集群系统往往希望产生更少的数据迁移，并且达到更高的资源利用率。然而在现实中，当带宽逐渐不再是稀缺资源，磁盘不在是承载计算的主战场时，计算和存储这两者之间便会随之产生木桶效应，造成集群的资源浪费。同时，随着人们对于本地数据和远程数据对比逐渐深入，混部的劣势开始逐渐暴露出来。这些劣势包括更大的集群资源浪费、更差的集群扩展性以及不再万能的数据本地化，并且引发了人们对于混合部署的合理性的探讨。另外一种更新颖的方式是云上集群部署方式。它利用了现有的完备的云计算基础设施在云上集群部署，并且可以达到“一键部署，即开即用”的程度。当然，云上部署也面临储存成本高、储存质量下降等新的挑战。所以，一种新的替代方案--Hadoop+OSS出现了，这种...

2016-11-02

717

本文PPT来自阿里中间件高级专家沈春辉于10月16日在2016年杭州云栖大会上发表的《大数据时代的储存——HBase的实践与探索》。我们现在都过着一个数据驱动的生活，不管是安全风控、生意参谋、还是借贷保险、或是出行决策，背后都少不了大数据的支撑。大数据场景本身固有的数据基础量大、增长快、时效性短、易发散和易产生脏数据等问题，导致人们投入了大量的精力来开发处理解决这些问题的数据库系统，比如Teradata、MongoDB、Cassandra、HBase、PostgreSQl等。在这些系统就有我们今天的主角——HBase。HBase，全称Hadoop Database,是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式储存系统。HBase支持实时更新、增量导入、多维删除、随机查询、范围查询等功能，具有自动分区、LSM Tree、储存计算分离和Hadoop生态这四大基因。由于期性能优越，HBase已经被微软、雅虎、阿里巴巴、Facebook等大公司使用。目前，HBase投入使用的应用实例包括基于大数据的安全风控、实时计算的数字大屏、海量数据的基础储存等。 ...

2016-11-03

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。