Spark随谈-低调大师

Spark随谈

2017-05-01 660

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法。

Spark使用Scala开发，使用Mesos作为底层的调度框架，可以和hadoop和Ec2紧密集成，直接读取hdfs或S3的文件进行计算，并把结果写回hdfs或S3，是Hadoop和Amazon云计算生态圈的一部分。

Spark的第一个版本是2011年5月份发布，到如今已经1年。去年下半年有段时间国内比较活跃，豆瓣基于它克隆了一个DPark，但是不支持hdfs的读取，后来又沉寂下去。原因之一是0.4版本的Spark，基于的mesos版本太低，稳定性不足，而本身也尚未成熟，一旦部署会发现颇多问题。经过半年的开发者不断努力，昨天（6月12日）发布的0.5.0正式版本，有了不小的提升，而且基于的mesos版本也升级为0.9正式版，稳定性可以支持生产级别。

有鉴于此，开始将最近研究的一些心得，分成几个随谈系列发布，希望对Spark在业界的应用，有良好的促进作用，为基于大数据的快速数据挖掘，提供多一种优秀的解决方案。

随谈分成6个部分

一、总体框架

二、安装攻略

三、开发指南

四、寻找Scala语法糖

五、核心RDD模型之妙

六、链式MapReduce模型的挖掘算法

本文来源于"阿里中间件团队播客",原文发表时间" 2012-06-13 "

微信关注我们

原文链接：https://yq.aliyun.com/articles/85553

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于Docker的开发模式驱动持续集成落地实施

11月30日，资深质量优化专家陈能技老师，在【DBA+社群】中间件用户组进行了一次主题为“基于Docker的开发模式驱动持续集成落地实施”的线上分享。小编特别整理出其中精华内容，供大家学习交流。同时，也非常感谢陈能技老师对DBA+社群给予的大力支持。嘉宾简介资深质量优化专家，12年软件测试与质量管理经验《软件性能测试诊断分析与优化》等多本IT畅销书作者演讲实录今天主要交流的主题是基于Docker的开发模式如何驱动持续集成落地实施，这里会涉及两个主要的话题，一个是所谓Docker的开发模式是怎样的，与传统的开发模式有什么区别；另外一个是持续集成作为敏捷开发的最佳实践，结合Docker来实施会有什么样的效果，会不会有更好的促进作用，尤其是在传统企业中实施。也希望跟大家一起交流一下关于Docker的一些具体实施问题、实施经验。首先我们来看看，在传统的开发运维模式下，会存在哪些问题。我稍微归纳总结了一下，大概会有以下三个问题：从需求到版本上线中间是个黑箱子，风险不可控开发设计时未过多考虑运维，导致后续部署及维护的困难开发各自为政，烟囱式开发，未考虑共享重用、联调，开发的...

2017-05-02

565

Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。 Spark之依赖（1）Map Reduce模型作为一个分布式计算框架，Spark采用了MapReduce模型。在它身上，Google的Map Reduce和Hadoop的痕迹很重，很明显，它并非一个大的创新，而是微创新。在基础理念不变的前提下，它借鉴，模仿并依赖了先辈，加入了一点改进，极大的提升了MapReduce的效率。使用MapReduce模型解决大数据并行计算的问题，带来的最大优势，是它和Hadoop的同属一家人。因为同属于MapReduce并行编程模型，而不是MPI和OpenMP其它模型，因此，复杂的算法，只要能够以Java算法表达，在Hadoop上运行的，就能以Scala算法表达，在Spark上运行，而速度有倍数的提升。相比之下，在MPI和Hadoop算法之间切换，难度就大多了。（2）函数式编程 Spark由Scala写就，而支持的语言亦是Scala。其原因之一就是Scala支持函数式编程...

2017-05-02

578

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Spark随谈

基于Docker的开发模式驱动持续集成落地实施

Spark随谈（一）—— 总体架构

相关文章

发表评论

资源下载

优质分享App

Nacos

Rocky Linux

Sublime Text

欢迎您来访！