《Scala机器学习》一一3.5　Spark的性能调整-低调大师

《Scala机器学习》一一3.5　Spark的性能调整

2017-07-03 533

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.5节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.5　Spark的性能调整

虽然数据管道的高效执行是任务调度器优先考虑的，这是Spark驱动的一部分，有时Spark需要人为给出一些提示。Spark调度主要与两个参数有关：CPU和内存。当然其他资源（如磁盘和网络I/O）也在Spark性能方面发挥重要作用，但目前Spark、Mesos或YARN都不能主动管理它们。
要监控的第一个参数是RDD的分区数，可以从文件中读取RDD时明确指定。常见的Spark错误是分区太多，这样做需要提供更多的并行性。当任务开始/结束时间相对较小的情况下，这样做也可以工作。但是建议减少分区数，特别是在有聚合的情况时。
每个RDD

微信关注我们

原文链接：https://yq.aliyun.com/articles/118811

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Scala机器学习》一一3.4　机器学习库

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.4节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.4　机器学习库 Spark是基于内存的存储系统，它本质上能提高节点内和节点之间的数据访问速度。这似乎与ML有一种自然契合，因为许多算法需要对数据进行多次传递或重新分区。MLlib是一个开源库，但仍有一些私人公司还在不断按自己的方式来实现MLlib中的算法。在第5章会看到大多数标准机器学习算法可以表示为优化问题。例如，经典线性回归会最小化回归直线与实际y值之间的距离平方和：其中，是由下面的线性表达式所得到的预测值： A通常称为斜率，B通常称为截距。线性优化问题更一般化的公式可以写成最小化加法函数：其中，L(w | xi, yi)称为损失函数，R(w)

2017-07-04

586

IBM放弃BigInsight服务，与Hortonworks打造HDP平台

Hortonworks将转售IBM Data Science Experience with HDP（主要Hadoop发行版），采用该平台作为战略数据科学平台，让开发者可以快速获得数据科学能力，包括机器学习、高级分析和统计。此外，Hortonworks和IBM将打造新的解决方案捆绑包，将HDP与IBM Big SQL（用于Hadoop的IBM SQL引擎）进行集成，给Hortonworks的客户和用户提供一种熟悉的数据管理方法。 IBM放弃BigInsight服务，与Hortonworks打造HDP平台 IBM正在Hadoop分发版中采用HDP，并将其与Data Science Experiece和机器学习全面集成。因此，这个解决方案将为客户提供HDP丰富的数据安全性、监管和操作功能，以及Data Science Experience的高级分析和管理功能。IBM将把现有的IBM BigInsights用户迁移到HDP。 “IBM正在HDP上实现标准化，这一点都不奇怪，因为这些发行版都是基于Open Data Platform Initiative标准，而且BigSQL对于IBM来说是一...

2017-07-04

600

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。