Hadoop的话题系列-低调大师

Hadoop的话题系列

2017-11-14 554

大家好，今天就市面上比较火热的云计算技术中最杰出的开源软件hadoop方面的话题，分享以下宅鸟在工作和学习中对hadoop的认识理解开发运维方面的理解。

首先由大家带着以下几个问题引出以后博文.

1、什么是云计算？

2、云计算在行业内存在方式？

3、hadoop为什么云计算方面的杰出代表？

4、怎样揭开hadoop神秘的面纱?

5、hadoop能给企业带来哪些好处？

如果大家对这些比较清楚，如果不太清楚的朋友可以在网上搜到很多这方面的介绍。

宅鸟希望给大家分享一些干货

6、hadoop集群搭建

7、CDH4 搭建hadoop集群

8、通过ganglia对整个hadoop集群的监控

9、hadoop运维过程中需要注意哪些方面

...

本片作为hadoop系列的开篇索引，索引还会陆续更新

本文转自birdinroom 51CTO博客，原文链接：http://blog.51cto.com/birdinroom/1343104，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/473713

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

PIG安装配置及案例应用

1.各组件版本 Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位 JDK version："1.6.0_25-ea" Hadoop software version：hadoop-0.20.205.0.tar.gz Hbase version：hbase-0.90.5 Pig version：pig-0.9.2.tar.gz http://mirror.bjtu.edu.cn/apache/pig/pig-0.9.2/pig-0.9.2.tar.gz北京大学的apache镜像下载，这个版本呢其实不是最新的但和hadoop0.20.2版本匹配，pig版本与hadoop版本也是有配达要求的，请注意你自己的安装的hadoop版本是啥，上网搜索一下对应的版本，当然从上面的网站上可以下载pig全系列，例如pig-0.10.0.tar.gz这里我就不一一举例了。 2.Pig安装模式 Local模式：实际就是单机模式，pig只能访问本地一台主机，没有分布式，甚至可以不用安装hadoop，所有的命令执行和文件读写都在本地进行，常用于作业实验。 Local模式：只需要配...

2017-11-15

545

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 Hive在 0.7 开始对并发进行支持，本文简述一下Hive（CDH4. 2.0 ）的锁处理流程： 1 . 首先对query进行编译，生成QueryPlan 2 . 构建读写锁对象（主要两个成员变量：LockObject，Lockmode）对于非分区表，直接根据需要构建S或者X锁对象对于分区表： (此处是区分input/output) If S mode: 直接对Table/related partition 构建S对象 Else： If 添加新分区：构建S对象 Else 构建X对象 End 3 . 对锁对象进行字符表排序(避免死锁)，对于同一个LockObject，先获取Execlusive 4 . 遍历锁对象列表，进行锁申请 While trynumber< hive.lock.numretries(default100): 创建parent（node）目录,mode= CreateMode.PERSISTENT 创建锁目...

2017-11-15

747

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。