《Pig编程指南》一1.2　Pig发展简史-低调大师

《Pig编程指南》一1.2　Pig发展简史

2017-05-01 519

本节书摘来异步社区《Pig编程指南》一书中的第1章，第1.2节，作者：【美】Alan Gates 译者：曹坤，更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.2　Pig发展简史

Pig最初是作为Yahoo！的一个探索性的项目，Yahoo!的科学家们设计了Pig并且给出了一个原型实现。正如2008年发表在数据管理专业委员会（SIGMOD1}）杂志的一篇论文所描述的，研究者认为Hadoop所描述的MapReduce框架“过于底层和严格，需要用户花费大量时间编写代码，而且很难维护和重用。”同时他们注意到MapReduce用户对像SQL这样的声明式语言并不熟悉。因此他们着手开发“一种叫做Pig Latin的新语言，这种语言被设计为在像SQL这样的声明式类型的语言和像MapReduce这种较底层的过程式的语言之间达到一个非常好的平衡点。”

最初Yahoo!的Hadoop使用者开始采用Pig。之后一个开发工程师团队开始接手Pig的最初原型并将Pig原型开发成一个达到产品级别的可用产品。在这个时间点左右，也就是2007年的秋天，Pig通过Apache孵化器进行开源。一年后也就是2008年的9月，Pig的第一个发布版本出现了。同年的晚些时候，Pig从孵化器中毕业，正式提升为Apache Hadoop项目的一个子项目。

2009年早期其他公司在他们的数据处理中开始使用Pig。Amazon也将Pig加入它的弹性MapReduce服务中的一部分。2009年末，Yahoo！公司所运行的Hadoop任务有一半是Pig任务。在2010年，Pig发展持续增长，这一年Pig从Hadoop的子项目中脱离出来，自己成为了一个最高级别的Apache项目。

为什么叫做Pig

有一个问题经常被问起，那就是“为什么把它命名为Pig？”人们还想知道是否Pig这个词是由缩写字母组成的。回答是否定的。事实上最初开发这个项目的研究人员只是简单地把它称为“那种语言。”不过他们终究需要为它起个名字。一名研究人员的脑海中出现了Pig这个单词，然后就提议称它为Pig，这个名字一下子就让大家惊住了。这个名字古怪但是容易记也容易读。虽然有些人暗示这个名字听起来有点别扭或者傻，但是因这个名字促使了我们一个非常不错的命名方法，例如把这种语言命名为Pig Latin，把终端交互命名为Grunt，把一个共享资源库性质的分支成为Piggybank。

微信关注我们

原文链接：https://yq.aliyun.com/articles/98833

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark Streaming Programming Guide

参考，http://spark.incubator.apache.org/docs/latest/streaming-programming-guide.html Overview SparkStreaming支持多种流输入，like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets，并且可以在上面进行transform操作，最终数据存入HDFS，数据库或dashboard 另外可以把Spark’s in-builtmachine learningalgorithms, andgraph processingalgorithms用于spark streaming，这个比较有意思SparkStreaming的原理，下面那幅图很清晰，将stream数据离散化，提出的概念DStream，其实就是sequence ofRDDs Spark Streaming is an extension of the core Spark API that allows enables high-throughput, fault-tolerant...

2017-05-02

622

本节书摘来异步社区《Pig编程指南》一书中的第1章，第1.2节，作者：【美】Alan Gates 译者：曹坤，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.1　下载和安装Pig 用户需要下载和安装Pig，才能在本地机器或者Hadoop集群上使用它。如果用户已经了解并完成了这一操作，那么可以直接跳到2.2节“运行Pig”进行阅读。用户既可以直接下载Pig安装包也可以先下载源代码然后自行进行编译。当然同样也可以以Hadoop分支的方式获得Pig。 2.1.1　从Apache下载Pig软件包这个是Apache Pig的官方版本。它是一个软件包，里面包含了运行Pig所需的所有JAR包。用户可以通过访问Pig发布页面进行下载。 Pig不需要安装到Hadoop集群中去。它运行在用户提交Hadoop任务的那台机器上。尽管用户可以从个人笔记本电脑或者台式计算机运行Pig，但是在实际操作中，大部分的集群管理员会配置好一到多台可以访问他们Hadoop集群的服务器，虽然这些服务器可以不是集群的一部分（也就是说它们既不是数据节点也不是计算节点）。通过这种方式，管理员可以方便地升级Pig和将...

2017-05-02

570

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。