Hadoop的话题系列-低调大师

Hadoop的话题系列

2017-11-14 536

大家好，今天就市面上比较火热的云计算技术中最杰出的开源软件hadoop方面的话题，分享以下宅鸟在工作和学习中对hadoop的认识理解开发运维方面的理解。

首先由大家带着以下几个问题引出以后博文.

1、什么是云计算？

2、云计算在行业内存在方式？

3、hadoop为什么云计算方面的杰出代表？

4、怎样揭开hadoop神秘的面纱?

5、hadoop能给企业带来哪些好处？

如果大家对这些比较清楚，如果不太清楚的朋友可以在网上搜到很多这方面的介绍。

宅鸟希望给大家分享一些干货

6、hadoop集群搭建

7、CDH4 搭建hadoop集群

8、通过ganglia对整个hadoop集群的监控

9、hadoop运维过程中需要注意哪些方面

...

本片作为hadoop系列的开篇索引，索引还会陆续更新

本文转自birdinroom 51CTO博客，原文链接：http://blog.51cto.com/birdinroom/1343104，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/473713

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

PIG安装配置及案例应用

1.各组件版本 Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位 JDK version："1.6.0_25-ea" Hadoop software version：hadoop-0.20.205.0.tar.gz Hbase version：hbase-0.90.5 Pig version：pig-0.9.2.tar.gz http://mirror.bjtu.edu.cn/apache/pig/pig-0.9.2/pig-0.9.2.tar.gz北京大学的apache镜像下载，这个版本呢其实不是最新的但和hadoop0.20.2版本匹配，pig版本与hadoop版本也是有配达要求的，请注意你自己的安装的hadoop版本是啥，上网搜索一下对应的版本，当然从上面的网站上可以下载pig全系列，例如pig-0.10.0.tar.gz这里我就不一一举例了。 2.Pig安装模式 Local模式：实际就是单机模式，pig只能访问本地一台主机，没有分布式，甚至可以不用安装hadoop，所有的命令执行和文件读写都在本地进行，常用于作业实验。 Local模式：只需要配...

2017-11-15

531

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 Hive在 0.7 开始对并发进行支持，本文简述一下Hive（CDH4. 2.0 ）的锁处理流程： 1 . 首先对query进行编译，生成QueryPlan 2 . 构建读写锁对象（主要两个成员变量：LockObject，Lockmode）对于非分区表，直接根据需要构建S或者X锁对象对于分区表： (此处是区分input/output) If S mode: 直接对Table/related partition 构建S对象 Else： If 添加新分区：构建S对象 Else 构建X对象 End 3 . 对锁对象进行字符表排序(避免死锁)，对于同一个LockObject，先获取Execlusive 4 . 遍历锁对象列表，进行锁申请 While trynumber< hive.lock.numretries(default100): 创建parent（node）目录,mode= CreateMode.PERSISTENT 创建锁目...

2017-11-15

723

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。