《Hadoop实战第2版》——3.5节Hadoop Pipes-低调大师

《Hadoop实战第2版》——3.5节Hadoop Pipes

2017-07-31 585 89

3.5　Hadoop Pipes
Hadoop Pipes提供了一个在Hadoop上运行C++程序的方法。与流不同的是，流使用的是标准输入输出作为可执行程序与Hadoop相关进程间通信的工具，而Pipes使用的是Sockets。先看一个示例程序wordcount.cpp：

#include "hadoop/Pipes.hh"
#include "hadoop/TemplateFactory.hh"
#include "hadoop/StringUtils.hh"

const std::string WORDCOUNT = "WORDCOUNT";
const std::string INPUT_WORDS = "INPUT_WORDS";
const std::string OUTPUT_WORDS = "OUTPUT_WORDS"

微信关注我们

原文链接：https://yq.aliyun.com/articles/174041

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-08-01 00:00:00

用Spark学习矩阵分解推荐算法

在矩阵分解在协同过滤推荐算法中的应用中，我们对矩阵分解在推荐算法中的应用原理做了总结，这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。 1. Spark推荐算法概述在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用户和n个物品对应的评分矩阵M分解为两个低维的矩阵：其中k为分解成低维的维数，一般远比m和n小。如果大家对FunkSVD算法不熟悉，可以复习对应的原理篇。 2. Spark推荐算法类库介绍在Spark MLlib中，实现的FunkSVD算法支持Python,Java,Scala和R的接口。由于前面的实践篇我们都是基于Python，本文的后面的介绍和使用也会使用MLlib的Python接口。 Spark MLlib推荐算法python对应的接口都在pyspark.mllib.recommendation包中，这个包有三个类，Rating, MatrixFactorizationModel和ALS。虽然里面有三个类，但是算法只是FunkSVD算法。下面介绍这三个类的用途。 Rating类比较简...

462

2017-08-01 00:00:00

云端巨人和消费者数据之战

Apache Spark 在数据方面的贡献，是类似从拨号互联网到宽带之间的伟大跨越。这种革命并不仅仅是关于应用启动速度加快，而更是消费者可能之前从来没有想象到的新型的应用程序，过去的管道太窄了，而且速率太慢，不足以支撑这些应用。试着想一想实时的通讯，流式的媒体音乐或视频，多人游戏，以及其他要大量消耗带宽的应用。当问题变成将数据运送到需要的商人手里的时候，Spark 为我们带来了信息流通领域量子式的飞跃。这个世界上有 90%的数据，都是在最近几年才创造出来的，所以数据创造方面的步伐只会加快而从不会减慢。毫无疑问，在数据历史上，经销商和顾客们都到达了一个关键时刻。随着企业将他们的应用，以及其中附带的数据转移到云端，传统的企业数据分销商正面临着消失在尘埃当中的危险。就算他们不会彻底消亡，也只能变得苟延残喘。但是如果恐龙的兴衰教会了我们任何事情的话，那就是：一种物种的灭绝就是另外一种物种的发展时机。因此，请迎接云计算巨人的到来。像是亚马逊，谷歌，微软和 IBM 这样的巨人，都渴望拥有云计算环境。企业可以在这个环境当中运营他们自己的应用，更重要的是，消费者们也会把数据存储在这里。这个链...

468

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。