《Hadoop实战第2版》——3.4节Hadoop流-低调大师

《Hadoop实战第2版》——3.4节Hadoop流

2017-07-31 502

3.4　Hadoop流
Hadoop流提供了一个API，允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键是，它使用UNIX标准流作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流，那么就可以通过Hadoop流使用其他语言编写MapReduce程序的Map函数或Reduce函数。
举个最简单的例子（本例的运行环境：Ubuntu，Hadoop-0.20.2）：

bin/hadoop jar contrib/streaming/hadoop-0.20.2-streaming.jar -input input -output output -mapper /bin/cat –reducer usr/bin/wc

从这个例子中可以看到，Hadoop流引入的包是ha

微信关注我们

原文链接：https://yq.aliyun.com/articles/174037

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

让Spark如虎添翼的Zeppelin – 基础篇

Spark 是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。整个开源社区也很活跃。但是Spark在易用性上面还是有一些美中不足。对于刚接触的人来说，上手以及环境搭建还是有一些困难。另外，如果希望将结果绘制成图表分享给别人，还需要很长一段路程。目前已经有一些解决方案：【TBD】Jupyter Notebook 使用很广泛，但是看起来主要还是以前ipython-notebook的增强版。目前笔者对其了解不多 Spark 母公司DataBricks提供的DataBricks Community Edition, 里面自带Spark集群 + Notebook。易用性、功能性都很不错。缺点是集群架设在AWS之上，无法跟自己本地的Spark 集群连在一起 Apache Zeppelin 这是一个刚刚从Incubation转正的项目但是已经在各大公司均有采用，比如美团、微软等等本文主要就是介绍如何在本地搭建一个Zeppelin 使得Spark更易用，同时可以很方便的将自己的工作成功展示给客户借用别人的一个效果图镇楼^_^ 注意： Zeppelin自带Spar...

2017-08-01

610

这篇文章考虑了很久也没下笔，一方面想写得干货一些，一方面又想写得引人入胜一些，纠结来纠结去，终于决定还是以一个中立的用户角度去写，尽量写得大众化一些。 2013年5月10日，在淘宝十周年晚会-马云退休演讲中，马云说：这是一个变化的时代。还有人没搞清楚PC，移动互联网来了；还没搞清楚移动互联网，大数据来了。而变化的时代是年轻人的时代。马云说的这句话很关键，他不仅提到了大数据，而且更是用一句话阐述了互联网从PC时代，进化到移动互联网时代，然后从移动互联网时代进阶到了大数据时代。有几个关键点很重要： PC时代，全球催生了大量的互联网上市企业，包括谷歌、亚马逊、新浪、搜狐、新东方等等；移动互联网时代，中国创业热潮风生水起，不仅有大量的移动互联网（包括手游）企业赴美上市，更是诞生了无数个创业奇迹；如：陌陌科技公司、中国手游娱乐集团有限公司均在纳斯达克上市；飞鱼科技、云游控股（Forgame）和蓝港互动均在香港上市；而掌趣科技和北纬通信在深圳证券交易所成功挂牌上市。移动互联网不仅为我们的生活带来了便利，更是把创业热潮推向了历史最高峰。现在问题来了，大数据时代，创业热潮是不是应该比移动互联网时...

2017-08-01

500

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。