颠覆大数据分析之第二章结束语-低调大师

颠覆大数据分析之第二章结束语

2017-05-21 841

本章讨论了一些业务场景，以及它们在BDAS框架中的实现。同时还介绍了什么是BDAS框架，并重点介绍了Spark, Shark,以及Mesos。Spark在那些涉及到优化的场景中非常有用——比如说Ooyala希望基于约束条件来动态地选择最优的CDN，以便提升视频的用户体验。必须注意的是，正如第一章所说的，众所周知，约束及变量过多的优化问题是很难在Hadoop MR中解决的。随机法要更适合Hadoop。不过你应当时刻牢记一点，Hadoop很难解决优化问题指的是它很难高效地实现规模化。

诸如MPI这些传统的并行编程工具或者Spark这类的新范式则非常适用于这类优化的问题，它们能够高效地进行扩展。另有数位研究人员也同时指出，Hadoop并不擅长迭代式机器学习算法，包括发明了Spark的伯克利的研究人员，以及GraphLab的研究人员，还有加州大学圣巴巴拉分校的MapScale团队。Satish Narayana Srirama教授在他的论文中就这个问题进行了深入的讨论（Srirama等2012）。最主要的原因就是它缺少长期存活的MR以及内存编程的支持。每一次MR迭代都要启动新的MR作业，并将数据从HDFS中拷贝到内存里，然后进行迭代，再将数据写回到HDFS，检查迭代是否终止…每次迭代都重复这些会带来显著的开销。

MPI提供了一个叫做All-Reduce的结构，它使得值可以在集群节点间累加和广播。Hadoop上唯一的一个解决了一类优化问题的高效实现来自于Vowpal Wabbit的团队，他们提供了基于Hadoop的All-Reduce结构的一个实现(Agarwal等2013)。

对于另一类稍微不同的场景Shark则非常有用：它可以不用进行预计算就能执行大规模的低延迟即席查询。Ooyala在视频数据上进行的这类查询就非常明显，比如某个国家的移动用户的热门内容或者其它的动态趋势的查询。

Mesos是一个可以管理集群资源的资源管理器，这个集群可能会运行着多种框架，包括Hadoop, Spark, 或者Storm。在数据仓库环境中这个非常有用，比如说，Hadoop可以用于ETL而Spark可以用来运行机器学习算法。

转载自并发编程网 - ifeve.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/88190

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

VMware vs openStack对比直观优势

openStack VS VMware直观优势:1.openStack设计架构开放、生态稳定大型国际巨头公司支持及开发参与,功能版本迭代快,相对的VMware则是封闭的商业化系统。2.基于openStack架构的云平台相对成本较低,VMware的价格过高，并且价格有上涨势头,扩展费用不菲。3.VMware产品相对集中在虚拟化领域，云计算所需要的软件产品线不够全面,openStack作为开源私有云标杆云计算应用型功能较全面，功能开发更新迭代迅速。4.VMware在中国服务能力稍有不足。在中国分支机构较少，有实施和服务能力的合作伙伴不多，尤其是虚拟化的专业咨询顾问与实施顾问数量不多,相对openStack热度在国内很高,参与科技公司及IT人员较多,随着技术积累，相应的技术文档等都比较完备。5.openStack支持无限制无约束的业务需求引导化的功能定制开发,源码开放安全级别相当更可靠,VMware则0提供定制化功能开发,系统源码封闭。

2017-05-21

784

正如前面“Mesos:动机”一节中所述，Mesos的主要目标就是去帮助管理不同框架（或者应用栈）间的集群资源。比如说，有一个业务需要在同一个物理集群上同时运行Hadoop，Storm及Spark。这种情况下，现有的调度器是无法完成跨框架间的如此细粒度的资源共享的。Hadoop的YARN调度器是一个中央调度器，它可以允许多个框架运行在一个集群里。但是，要使用框架特定的算法或者调度策略的话就变得很难了，因为多个框架间只有一种调度算法。比如说，MPI使用的是组调度算法，而Spark用的是延迟调度。它们两个同时运行在一个集群上会导致供求关系的冲突。还有一个办法就是将集群物理拆分成多个小的集群，然后将不同的框架独立地运行在这些小集群上。再有一个方法就是为每个框架分配一组虚拟机。正如Regola和Ducom所说的，虚拟化被认为是一个性能瓶颈，尤其是在高性能计算（HPC）系统中。这正是Mesos适合的场景——它允许用户跨框架来管理集群资源。 Mesos是一个双层调度器。在第一层中，Mesos将一定的资源提供（以容器的形式）给对应的框架。框架在第二层接收到资源后，会运行自己的调度算法来将任务分配到Me...

2017-05-21

636

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。