Apache Spark 2.0 最快4月亮相预计效能翻九倍-低调大师

Apache Spark 2.0 最快4月亮相预计效能翻九倍

2017-07-31 512

1月才刚释出1.6版的大数据技术Spark，下一个2.0版本预计4、5月释出，将提供可运行在SQL/Dataframe上的结构化串流即时引擎，并统一化Dataset及DataFrame

大数据技术Spark今年1月才刚释出1.6版，下一个2.0版本就已经蓄势待发，预计今年4、5月释出，近日Spark创办人、同时也是 Databricks技术长的Matei Zaharia，更在2016 Spark Summit上，抢先揭露了Spark 2.0即将带来的3大主要特色：包括能大幅提升Spark平台效能的Project Tungsten即将进入第二阶段，提供涵盖完整阶段的程式码产生器，Spark 2.0也将提供可运行在SQL/Dataframe上的结构化串流即时引擎，并统一化Dataset及DataFrame。

其中，持续改善Spark应用程式的记忆体及CPU效能的Project Tungsten，是一项帮助Spark大幅提升核心引擎效能的长期专案，目的是要让Spark执行效能达到硬体设备的极限，藉由内建原生记忆体管理机制以及Runtime层级的程式码产生器，来达到接近裸机的效能。

Spark从1.4到1.6版本时，便开始靠 Tungsten来优化Spark的资料处理效能，除了加入二进位的储存方式，以及基础的程式码产生器，也增加了用来描述RDD结构的DataFrame 格式，以及新的资料集API(Dataset API)，让Tungsten可被运行在使用者专案中来提升效能表现，也可用于Spark SQL及部分的MLlib上。Spark 1.6新增了基于DataFrame的扩充元件Dataset API，相较于过去的RDD API，Dataset提供更好的记忆体管理效能，及较佳的长时间执行效能。

而Spark2.0版本则将进一步提供涵盖完整阶段的程式码产生器，不仅能移除递迴式呼叫，减少效能损耗，还能进行跨运算子之间的整合，并藉由Parquet及内建快取(Built-in Cache)来优化I/O效能。

预计Spark2.0的效能将翻9倍，从1.6版时每秒可处理的1,400万个栏位，暴增到1亿2,500万，其中的Parquet效能，也将从每秒1,100万提升到每秒9,000万笔。Databricks表示，Spark技术在2015年有非常显著的成长，其贡献者在2015年已经超过 1000人，是2014年的2倍，参与各地区定期聚会的会员数量也从1万多人暴增至6万多人。而Spark 2.0将是下一个重大更新版本，预计今年4、5月释出。

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/196601

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase最佳实践－读性能优化策略

任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。 Full GC问题之前在一些文章里面已经讲过它的来龙去脉，主要的解决方案目前主要有两方面需要注意，一方面需要查看GC日志确认是哪种Full GC，根据Full GC类型对JVM参数进行调优，另一方面需要确认是否开启了BucketCache的offheap模式，建议使用LRUBlockCache的童鞋尽快转移到BucketCache来。当然我们还是很期待官方2.0.0版本发布的更多offheap模块。 RIT问题，我相信更多是因为我们对其不了解，具体原理可以戳这里，解决方案目前有两个，优先是使用官方提供的HBCK进行修复（HBCK本人一直想拿出来分享，但是目前案例还不多，等后面有更多案例的话再拿出来说），使用之后还是解决不了的话就需要手动修复文件或者元数据表。而对于写吞吐量太低以及读延迟...

2017-08-01

486

因为项目的需要，学习使用了Hadoop，和所有过热的技术一样，“大数据”、“海量”这类词语在互联网上满天乱飞。Hadoop是一个非常优秀的分布式编程框架，设计精巧而且目前没有同级别同重量的替代品。另外也接触到一个内部使用的框架，对于Hadoop做了封装和定制，使得更满足业务需求。我最近也想写一些Hadoop的学习和使用心得，但是看到网上那么泛滥的文章，我觉得再写点笔记一样的东西实在是没有价值。倒不如在漫天颂歌的时候冷静下来看看，有哪些不适合Hadoop解决的难题呢？这张图就是Hadoop的架构图，Map和Reduce是两个最基本的处理阶段，之前有输入数据格式定义和数据分片，之后有输出数据格式定义，二者中间还可以实现combine这个本地reduce操作和partition这个重定向mapper输出的策略行为。可以增加的定制和增强包括：输入数据和输出数据的强化，例如通过数据集管理起来，可以统一、合并各式数据集，甚至也可以给数据增加过滤操作作为初筛，事实上业务上的核心数据源是种类繁多的；数据分片策略的扩展，我们经常需要把具备某些业务共性的数据放到一起处理； combine和parti...

2017-08-01

455

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。