《Scala机器学习》一一3.5　Spark的性能调整-低调大师

《Scala机器学习》一一3.5　Spark的性能调整

2017-07-03 595

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.5节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.5　Spark的性能调整

虽然数据管道的高效执行是任务调度器优先考虑的，这是Spark驱动的一部分，有时Spark需要人为给出一些提示。Spark调度主要与两个参数有关：CPU和内存。当然其他资源（如磁盘和网络I/O）也在Spark性能方面发挥重要作用，但目前Spark、Mesos或YARN都不能主动管理它们。
要监控的第一个参数是RDD的分区数，可以从文件中读取RDD时明确指定。常见的Spark错误是分区太多，这样做需要提供更多的并行性。当任务开始/结束时间相对较小的情况下，这样做也可以工作。但是建议减少分区数，特别是在有聚合的情况时。
每个RDD

微信关注我们

原文链接：https://yq.aliyun.com/articles/118811

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Scala机器学习》一一3.4　机器学习库

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.4节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.4　机器学习库 Spark是基于内存的存储系统，它本质上能提高节点内和节点之间的数据访问速度。这似乎与ML有一种自然契合，因为许多算法需要对数据进行多次传递或重新分区。MLlib是一个开源库，但仍有一些私人公司还在不断按自己的方式来实现MLlib中的算法。在第5章会看到大多数标准机器学习算法可以表示为优化问题。例如，经典线性回归会最小化回归直线与实际y值之间的距离平方和：其中，是由下面的线性表达式所得到的预测值： A通常称为斜率，B通常称为截距。线性优化问题更一般化的公式可以写成最小化加法函数：其中，L(w | xi, yi)称为损失函数，R(w)

2017-07-03

660

Hortonworks将转售IBM Data Science Experience with HDP（主要Hadoop发行版），采用该平台作为战略数据科学平台，让开发者可以快速获得数据科学能力，包括机器学习、高级分析和统计。此外，Hortonworks和IBM将打造新的解决方案捆绑包，将HDP与IBM Big SQL（用于Hadoop的IBM SQL引擎）进行集成，给Hortonworks的客户和用户提供一种熟悉的数据管理方法。 IBM放弃BigInsight服务，与Hortonworks打造HDP平台 IBM正在Hadoop分发版中采用HDP，并将其与Data Science Experiece和机器学习全面集成。因此，这个解决方案将为客户提供HDP丰富的数据安全性、监管和操作功能，以及Data Science Experience的高级分析和管理功能。IBM将把现有的IBM BigInsights用户迁移到HDP。 “IBM正在HDP上实现标准化，这一点都不奇怪，因为这些发行版都是基于Open Data Platform Initiative标准，而且BigSQL对于IBM来说是一...

2017-07-03

694

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。