大数据||Hadoop分布式部署虚拟机-低调大师

大数据||Hadoop分布式部署虚拟机

2018-02-13 519

分布式部署

伪分布式。一台机器运行所有的守护进程，从节点datanode、nodemanager
完成分布式。
有多个从节点。
datanodes、nodeManager。多节点其实就是多了几个datanode和nodemanager。
如何配置多个节点？
在配置文件$Hadoop/etc/hadoop/slaves中添加节点。

0、停掉 hdfs和yarn的服务

1、设置固定ip并重连

机器规划

克隆虚拟机方式1

克隆虚拟机方式2

复制hadoop-senior2重新命名为hadoop-senior3

image.png

在VMware Workstation中打开hadoop-senior3

image.png

修改mac地址

命令

在虚拟机中自动生成mac地址

修改自动生成的eth1 删除eth0

image.png

修改mac地址并reboot

命令

image.png

修改第二台虚拟机的mac及ip

mac

image.png

修改自动生成的eth1 删除eth0

image.png

修改ip

修改mac文件并重启服务

修改主机名

命令：vi /etc/sysconfig/network

image.png

配置ip与主机域名映射

说明：在集群环境中ip会发生变化，所以使用域名来代替ip地址，这样程序不需要改变。因为程序里面配置的是域名。

命令：vi /etc/hosts

测试

命令： ping hadoop-senior02.beifeng.com

创建集群文件夹

mkdir /opt/app

微信关注我们

原文链接：https://yq.aliyun.com/articles/510258

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据||MapReduce的shuffle

mapreduce的数据处理过程中，shuffle出于map和Reduce之间。 Shuffle：洗牌或弄乱。 Collections.shuffle(List)：随机地打乱参数list里的元素顺序。 MapReduce里Shuffle：描述着数据从map task输出到reduce task输入的这段过程。 mapreduce处理过程 input --> map --> shuffle --> reduce -->output MapReduce shuffle MapReduce优化分区Partitioner 排序Sort 合并Combiner（可选）压缩Compress（可选）分组Group Reduce Task Number Map Task 输出压缩 Shuffle Phase 参数 MapReduce Shuffle过程如何在Job中进行设置 image.png

2018-02-14

552

今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。那么我们从hive metastore的表结构设计开始：看到后，是不是有一种想死的冲动？没错，我也想死，但是我们可以一点一点的看，也会有理解错误，但这都是在我们通向精通的路途之上，不是么？那么我们围绕着几个核心主表进行分析。　 1、DBS 表Columns:DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPE DBS表记录基本的db信息，其中DB_ID为其主键，同时也是FUNC_RU、FUNCS、DB_PRIVS、DATABASE_PARAMS、以及TBLS的外键。一般来说，在hive meta初始化时都会自动创建一个名叫default的库，随后通过业务发展以及数据治理等需求，可进行不同业务域库的划分。 FU...

2018-02-19

515

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。