会飞的猪（Pig）-低调大师

会飞的猪（Pig）

2014-12-20 677

猪会飞么?

提高pig的性能,让猪飞起来有如下办法：
1. 尽早地并经常地进行过滤
2. 尽早地并经常地进行映射
3. 正确并合理地使用Join
4. 选择正确的数据类型，合适的并行值
5. 调整pig 的性能属性：pig.cachedbag.menusage 和pig.skewedjoin.reduce.memusage
6. 对中间结果进行压缩

Describe 命令会显示脚本中指定关系的模式。

explain 可以深入到pig内部看如何将用户的脚本编译成MapReduce任务的。

illustrate 对用户的数据进行抽样并且对抽样的数据执行用户的脚本。

在提交的hadoop集群执行之前，pig需要消耗几秒钟来解析脚本，这些M/R任务真正运行时才会显示在JobTracker页面上。

PigUnit提供了一个集成到JUnit中的单元测试框架，在0.8版本引入的。

Hadoop降低了IO约束但并没有消除，如果map任务的个数两倍于实际的槽位来执行，那就将消耗两倍于平均map过程执行时间来执行完所有的map任务，如果再额外增加一个map任务，所消耗时间将增加到平均时间的3倍。

shuffle数据量大小是指从map任务转移到reduce任务的数据量大小，一般需要m X r 个网络连接。

微信关注我们

原文链接：https://yq.aliyun.com/articles/687500

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

与猪(pig)共舞

版权声明：本文为半吊子子全栈工匠（wireless_com，同公众号)原创文章，未经允许不得转载。 https://blog.csdn.net/wireless_com/article/details/42043951 猪在吃东西的时候稍有浪费,pig 也有类似的情况. pig执行时消耗的内存，一般对没有压缩的数据，将会占用4倍于本地磁盘空间的内存空间。Pig中的NULL与SQL中的NULL概念一样，类型转换的语法与Java中的语法是一样的，是强类型的。过程函数 Pig Latin 是一种数据流语言，每个处理步骤都产生一个新的数据集，或产生一个新的关系。无论关系还是字段都是以字母字符开头，大小写敏感，注释和java相同。任何一种数据流处理的第一步都是指定输入，pig通过load语句完成。默认加载函数是PigStorage，加载存放在HDFS中且以制表符分割的文件，可以使用相对路径或绝对路径。更多情况是应用Using 语句指定指定加载函数，例如 Using HBaseStorage() 是从HBase中加载数据。进一步，使用as语句确定加载的数据指定模式。同时，PigStorag...

2014-12-20

791

region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。这两种情景在代码实现上并无多大差异。 1.下面以手动的split为例分析，手动split有HregionServer的splitRegion开始 @Override//手动split的实现 publicvoidsplitRegion(HRegionInforegionInfo,byte[]splitPoint) throwsNotServingRegionException,IOException{ checkOpen(); HRegionregion=getRegion(regionInfo.getRegionName()); region.flushcache();//刷新memstore，减少内存堆积 region.forceSplit(splitPoint);//强制split compactSp...

2014-12-28

658

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。