大数据||Hadoop分布式部署虚拟机-低调大师

大数据||Hadoop分布式部署虚拟机

2018-02-13 498

分布式部署

伪分布式。一台机器运行所有的守护进程，从节点datanode、nodemanager
完成分布式。
有多个从节点。
datanodes、nodeManager。多节点其实就是多了几个datanode和nodemanager。
如何配置多个节点？
在配置文件$Hadoop/etc/hadoop/slaves中添加节点。

0、停掉 hdfs和yarn的服务

1、设置固定ip并重连

机器规划

克隆虚拟机方式1

克隆虚拟机方式2

复制hadoop-senior2重新命名为hadoop-senior3

image.png

在VMware Workstation中打开hadoop-senior3

image.png

修改mac地址

命令

在虚拟机中自动生成mac地址

修改自动生成的eth1 删除eth0

image.png

修改mac地址并reboot

命令

image.png

修改第二台虚拟机的mac及ip

mac

image.png

修改自动生成的eth1 删除eth0

image.png

修改ip

修改mac文件并重启服务

修改主机名

命令：vi /etc/sysconfig/network

image.png

配置ip与主机域名映射

说明：在集群环境中ip会发生变化，所以使用域名来代替ip地址，这样程序不需要改变。因为程序里面配置的是域名。

命令：vi /etc/hosts

测试

命令： ping hadoop-senior02.beifeng.com

创建集群文件夹

mkdir /opt/app

微信关注我们

原文链接：https://yq.aliyun.com/articles/510258

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据||MapReduce的shuffle

mapreduce的数据处理过程中，shuffle出于map和Reduce之间。 Shuffle：洗牌或弄乱。 Collections.shuffle(List)：随机地打乱参数list里的元素顺序。 MapReduce里Shuffle：描述着数据从map task输出到reduce task输入的这段过程。 mapreduce处理过程 input --> map --> shuffle --> reduce -->output MapReduce shuffle MapReduce优化分区Partitioner 排序Sort 合并Combiner（可选）压缩Compress（可选）分组Group Reduce Task Number Map Task 输出压缩 Shuffle Phase 参数 MapReduce Shuffle过程如何在Job中进行设置 image.png

2018-02-14

531

今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。那么我们从hive metastore的表结构设计开始：看到后，是不是有一种想死的冲动？没错，我也想死，但是我们可以一点一点的看，也会有理解错误，但这都是在我们通向精通的路途之上，不是么？那么我们围绕着几个核心主表进行分析。　 1、DBS 表Columns:DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPE DBS表记录基本的db信息，其中DB_ID为其主键，同时也是FUNC_RU、FUNCS、DB_PRIVS、DATABASE_PARAMS、以及TBLS的外键。一般来说，在hive meta初始化时都会自动创建一个名叫default的库，随后通过业务发展以及数据治理等需求，可进行不同业务域库的划分。 FU...

2018-02-19

494

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。