搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

《Hadoop海量数据处理：技术详解与项目实战（第2版）》一2.3 安装Hadoop

2.3 安装Hadoop 本节将学习如何安装并运行Hadoop集群。

2017-05-02

Apache Hadoop YARN 远程代码执行漏洞

漏洞描述 Apache Hadoop YARN CapacityScheduler 提供了在 Hadoop 的管理资源和调度作业的功能。

2022-08-26

一文搞懂hadoop的metrics

hadoop也不例外，通过jmx可以查看内部各个metrics信息，本文就来聊聊hdfs的metrics。

2022-01-29

Hadoop框架：HDFS高可用环境配置

-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>

2020-10-27

Hadoop hdfs 基础操作 client Api(1)

Configuration(); System.out.println(); configuration.set("dfs.replication", "1"); // configuration.set("hadoop.tmp.dir

2020-03-22

Hadoop集群选择合适的硬件配置

为Hadoop集群选择合适的硬件配置随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。

2019-10-19

hadoop日常运维白皮书

7）同步文件假设这个节点上只运行datanode,nm之类的从已有节点同步jdk,hadoop到相同的目录(不用复制hadoop的日志文件，太大无用)(rsync –v nn1:/app/cdh23502

2019-09-27

基于 ZooKeeper 搭建 Hadoop 高可用集群

-- 指定hadoop集群存储临时文件的目录 --> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp<

2019-07-01

1.NameNode(管理节点)Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata)，元数据包括编辑日志(edits)和镜像文件。管理这些信息的文件有两个，分别是Namespace 镜像文件(fsimage)和编辑日志文件，编辑日志主要是记录对hdfs进行的修改。镜像文件主要是记录hdfs的文件树形结构。这些信息被Cache在RAM中，当然，这两个文件也会被持久化存储在本地硬盘。Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，因为这些信息会在系统启动时从数据节点重建。2.DataNode(工作节点) Datanode是文件系统的工作节点，他们根据客户端或者是namenode的调度存储和检索数据，并且定期向namenode发送他们所存储的块(block)的列表。没有namenode,文件系统是无法使用的。事实上,如果运行namenode服务的服务器坏掉,文件系统上的所有文件将会丢失。因为我们不知道如何根据DataNode的块进行重建文件。所有对NameNode进行容错冗余机制是非常重要的。集群中的从节点服务器都运行一个DataNode后台程序，这个后台程序负责把HDFS数据块读写到本地的文件系统。当需要通过客户端读/写某个数据时，先由NameNode告诉客户端去哪个DataNode进行具体的读/写操作，然后客户端直接与这个DataNode服务器上的后台程序进行通信，并且对相关的数据块进行读/写操作。3.secondary NameNode(相当于MySQL数据库中主从复制的从节点) Secondary NameNode是一个用来监控HDFS状态的辅助后台程序。和NameNode一样，每个集群都有一个Secondary NameNode，并且部署在一个单独的服务器上。Secondary NameNode不同于NameNode，它不接受或者记录任何实时的数据变化，但是，它会与NameNode进行通信，以便定期地保存HDFS元数据的快照。由于NameNode是单点的，通过Secondary NameNode的快照功能，可以将NameNode的宕机时间和数据损失降低到最小。同时，如果NameNode发生问题，Secondary NameNode可以及时地作为备用NameNode使用。4.ResourceManager ResourceManage 即资源管理，在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。 RM包括Scheduler（定时调度器）和ApplicationManager（应用管理器）Schedular负责向应用程序分配资源，它不做监控以及应用程序的状态跟踪，并且不保证会重启应用程序本身或者硬件出错而执行失败的应用程序。ApplicationManager负责接受新的任务，协调并提供在ApplicationMaster容器失败时的重启功能.每个应用程序的AM负责项Scheduler申请资源，以及跟踪这些资源的使用情况和资源调度的监控。5.Nodemanager NM是ResourceManager在slave机器上的代理，负责容器管理，并监控它们的资源使用情况，以及向ResourceManager/Scheduler提供资源使用报告。

2019-05-16

Hbase+Hadoop+Zookeeper集群(含排错)

配置文件更改 1.mv /root/soft/hadoop-3.1.2 /usr/local/hadoop 2.vim /etc/profile(3台都需要更改) export HADOOP_HOME=

2019-04-12

Apache Hadoop 2.7如何支持读写OSS

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS

2019-03-01

hadoop项目开发案例举例

做hadoop底层的开发，真不是一般人和一般的企业就能够去做的。问个超级简单的问题，你知道的网络公司多，还是做大数据hadoop开发的公司多？估计没几个人知道做大数据hadoop开发的公司有哪些吧？

2019-01-27

大数据平台搭建（hadoop+spark）

、hadoop、spark spark-slave02 172.16.200.83 jdk、hadoop、spark spark-slave03 172.16.200.84 jdk、hadoop、spark

2018-11-29

Hadoop技术创新方案

Hadoop支持解决方案规模的快速、有效扩大，使不断增长的容量、速度以及多样的数据能够得到快速的处理。如今Hadoop的购买周期正处于上升阶段，因此在该领域催生了越来越多的厂商。

2018-11-13

hadoop集群管理系统搭建规划说明

hadoop集群管理系统搭建规划说明Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。

2018-10-24

hadoop框架结构的说明介绍

目前国内的hadoop商业发行版也是比较多，这些hadoop商业版大部分都是由国外发行的，纯国产的发行版不是很多，比如DKhadoop，可以说是目前国内自主做hadoop商业版比较好的了。

2018-10-15

hadoop框架结构学习详述

2018-09-26

Uber Hadoop 文件系统最佳实践

三年前, Uber 工程团队引入 Hadoop 作为大数据分析的存储 (HDFS) 和计算 (YARN) 基础设施。

2018-09-16

hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。

2018-09-11

CentOS7.x Hadoop集群搭建

Hadoop的4+1个文件配置 hadoop的配置文件都在/hadoop/etc/hadoop下 1. core-site.xml 设置hdfs://s166为服务器ip地址 <?

2018-07-29

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。