《Hadoop实战第2版》——3.4节Hadoop流-低调大师

《Hadoop实战第2版》——3.4节Hadoop流

2017-07-31 483 89

3.4　Hadoop流
Hadoop流提供了一个API，允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键是，它使用UNIX标准流作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流，那么就可以通过Hadoop流使用其他语言编写MapReduce程序的Map函数或Reduce函数。
举个最简单的例子（本例的运行环境：Ubuntu，Hadoop-0.20.2）：

bin/hadoop jar contrib/streaming/hadoop-0.20.2-streaming.jar -input input -output output -mapper /bin/cat –reducer usr/bin/wc

从这个例子中可以看到，Hadoop流引入的包是ha

微信关注我们

原文链接：https://yq.aliyun.com/articles/174037

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-08-01 00:00:00

让Spark如虎添翼的Zeppelin – 基础篇

Spark 是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。整个开源社区也很活跃。但是Spark在易用性上面还是有一些美中不足。对于刚接触的人来说，上手以及环境搭建还是有一些困难。另外，如果希望将结果绘制成图表分享给别人，还需要很长一段路程。目前已经有一些解决方案：【TBD】Jupyter Notebook 使用很广泛，但是看起来主要还是以前ipython-notebook的增强版。目前笔者对其了解不多 Spark 母公司DataBricks提供的DataBricks Community Edition, 里面自带Spark集群 + Notebook。易用性、功能性都很不错。缺点是集群架设在AWS之上，无法跟自己本地的Spark 集群连在一起 Apache Zeppelin 这是一个刚刚从Incubation转正的项目但是已经在各大公司均有采用，比如美团、微软等等本文主要就是介绍如何在本地搭建一个Zeppelin 使得Spark更易用，同时可以很方便的将自己的工作成功展示给客户借用别人的一个效果图镇楼^_^ 注意： Zeppelin自带Spar...

583

2017-08-01 00:00:00

大数据创业，数据哪里来？需要跨过几道坎？

这篇文章考虑了很久也没下笔，一方面想写得干货一些，一方面又想写得引人入胜一些，纠结来纠结去，终于决定还是以一个中立的用户角度去写，尽量写得大众化一些。 2013年5月10日，在淘宝十周年晚会-马云退休演讲中，马云说：这是一个变化的时代。还有人没搞清楚PC，移动互联网来了；还没搞清楚移动互联网，大数据来了。而变化的时代是年轻人的时代。马云说的这句话很关键，他不仅提到了大数据，而且更是用一句话阐述了互联网从PC时代，进化到移动互联网时代，然后从移动互联网时代进阶到了大数据时代。有几个关键点很重要： PC时代，全球催生了大量的互联网上市企业，包括谷歌、亚马逊、新浪、搜狐、新东方等等；移动互联网时代，中国创业热潮风生水起，不仅有大量的移动互联网（包括手游）企业赴美上市，更是诞生了无数个创业奇迹；如：陌陌科技公司、中国手游娱乐集团有限公司均在纳斯达克上市；飞鱼科技、云游控股（Forgame）和蓝港互动均在香港上市；而掌趣科技和北纬通信在深圳证券交易所成功挂牌上市。移动互联网不仅为我们的生活带来了便利，更是把创业热潮推向了历史最高峰。现在问题来了，大数据时代，创业热潮是不是应该比移动互联网时...

487

资源下载

更多资源

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。