【总结】Hadoop配置文件hdfs-site.xml-低调大师

【总结】Hadoop配置文件hdfs-site.xml

2017-11-02 583

<name>dfs.ha.automatic-failover.enabled</name>

<description>配置是否启动故障恢复，配置此项为true的时候，core-site.xml需要配置ha.zookeeper.quorum</description>

</property>

<name>dfs.nameservices</name>

<description>提供服务的NS逻辑名称，与core-site.xml里的对应；Comma-separated list of nameservices</description>

</property>

<name>dfs.ha.namenodes.ns1</name>

<description>列出该逻辑名称下的NameNode逻辑名称， dfs.ha.namenodes.EXAMPLENAMESERVICE配置项EXAMPLENAMESERVICE位dfs.nameservices的值</description>

</property>

<name>dfs.namenode.rpc-address.ns1.nn1</name>

<description>指定NameNode的RPC位置；处理所有客户端请求的RPC地址，</description>

</property>

<name>dfs.namenode.http-address.ns1.nn2</name>

<description>namenode web ui端口，例如： http://nn1.ol:50070/ </description>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://nn1.ol:8485;nn2.ol:8485;s1.ol:8485/ns1</value>

<description>指定用于HA存放edits的共享存储，通常是NFS挂载点；active namenode向配置的文件夹中写，standby namenode从这个文件夹下读，从而保证namespaces同步；在非HA集群中此项配置为空</description>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/hadoop/1/jn/</value>

<description>作用暂时不知道</description>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

<description> core-site.xml中配置项；指定HA做隔离的方法，缺省是ssh，可设为shell，稍后详述；

sshfence 通过 ssh 登录到前一个 ActiveNameNosde 并将其杀死。为了让该机制成功执行，

需配置免密码 ssh 登陆，通过参数 dfs.ha.fencing.ssh.private-key-files 指定一个私钥文件</description>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

<description>The SSH private key files to use with the builtin sshfence fencer.</description>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:///hadoop/1/dfs/nn</value>

<description>本地文件系统DFSnamenode存放name table(fsimage文件)的目录，参数值如果是逗号分隔的多个目录，the name table复制到多个目录，冗余</description>

其中fsimage镜像文件包含了整个HDFS文件系统的所有目录和文件的indoe信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组等)等。

另外，edit文件主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS客户端执行所有的写操作都会被记录到edit文件中。

</property>

<name>dfs.datanode.data.dir</name>

<value>file:///hadoop/1/dfs/dn,file:///hadoop/2/dfs/dn</value>

<description>DFS data node存放块文件的本地文件系统目录，一个文件按块大小切分后，按顺序存放在配置多个目录下（目录不存在则忽略）；

这么做的目的是，可以将数据写多块硬盘，把这些位置分散在每个节点上的所有磁盘上可以实现磁盘 I/O 平衡，因此会显著改进磁盘 I/O 性能。

</description>

测试环境配置：

测试环境datanode的磁盘：

</property>

<name>dfs.blocksize</name>

<description>HDFS文件系统块大小；可以配置以m,g等后缀结尾的值 256m</description>

</property>

<name>dfs.support.append</name>

<description>HDFS允许向文件追加内容；如果这个参数设置为false，例如Flume这样的工具持续向HDFS中的一个文件写数据就会出问题（我猜的。没验证）</description>

</property>

<name>fs.trash.interval</name>

<value>10080</value>单位：minute

<description>.Trash目录下文件多久后被删除，10080/1440=7，参数设置为0，文件直接删除不移动到.Trash中</description>

</property>

<name>dfs.datanode.failed.volumes.tolerated</name>

<description>允许磁盘损坏的数目，超过配置值，datanode shutdown</description>

</property>

<name>dfs.datanode.balance.bandwidthPerSec</name>

<description>balancing purpose，允许没秒的带宽；为了防止balance过程抢占网络资源，不为Mapreduce作业或者数据输入预留资源</description>

</property>

<name>dfs.namenode.handler.count</name>

</property>

<name>dfs.datanode.max.xcievers</name>

<description>相当于linux下的打开文件最大数量，文档中无此参数，当出现DataXceiver报错的时候，需要调大。默认256;

此项配置已过时，用dfs.datanode.max.transfer.threads代替，源代码见DFSConfigKeys.java

</description>

</property>

<name>dfs.datanode.max.transfer.threads</name>

<description>相当于linux下的打开文件最大数量，文档中无此参数，当出现DataXceiver报错的时候，需要调大。默认256

</description>

</property>

<name>dfs.datanode.socket.write.timeout</name>

<description> IO超时,超时上限值以毫秒为单位。0表示无限制;java.net.SocketTimeoutException: 480000（配置参数的值） millis timeout while waiting for channel to be ready for write</description>

</property>

<name>dfs.client.socket-timeout</name>

<description> IO超时,超时上限值以毫秒为单位。0表示无限制;java.net.SocketTimeoutException: 480000（配置参数的值） millis timeout while waiting for channel to be ready for write</description>

</property>

<name>dfs.datanode.du.reserved</name>

<description>每个存储卷保留用作其他用途( non dfs use）的磁盘大小,20G；单位 bytes per volume</description>

</property>

<name>dfs.datanode.fsdataset.volume.choosing.policy</name>

<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>

<description>数据副本存放磁盘选择策略，

第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java（如果不配置，默认）

第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java

</description>

</property>

<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>

<description>允许的卷剩余空间差值，2G

</description>

</property>

<name>dfs.hosts.exclude</name>

<value>/usr/local/hadoop/etc/hadoop/exclude_hosts</value>

<description>一个列表，列表中的hosts不允许连接namenode</description>

</property>

<name>dfs.client.read.shortcircuit</name>

<description>打开本地读功能</description>

</property>

<name>dfs.domain.socket.path</name>

<value>/hadoop/1/dfs/dn_socket_PORT</value>

<description>dfs.domain.socket.path是Datanode和DFSClient之间沟通的Socket的本地路径

套接口文件

</description>

</property>

<name>dfs.permissions.enabled</name>

<description>HDFS权限认证，是否打开</description>

</property>

<name>dfs.permissions.superusergroup</name>

<value>hadoop</value>

<description>超级用户，format namenode的用户</description>

</property>

<name>fs.permissions.umask-mode</name>

<description>core-site.xml的配置文件，注意umask对文件，文件夹影响不同</description>

</property>

<name>dfs.namenode.acls.enabled</name>

</description>

</property>

本文转自巧克力黒 51CTO博客，原文链接：http://blog.51cto.com/10120275/1845383，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/515353

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CIO 指南：如何在 SAP® 软件架构中使用 Hadoop

Gartner指出，2013年，大数据是影响信息架构的最重要的技术趋势之一。“信息的数量、生成速度和种类都在不断增加，而且那些未被治理和未得到充分利用的信息中蕴藏着巨大的价值，同时也隐藏着潜在的风险。在这些因素的驱动下，信息管理技术与实践领域的重大创新层出不穷。”SAPHANA能够帮助企业解决一个非常重要的大数据问题，那就是快速访问和实时分析极其庞大的数据集。这样，企业的管理人员和高管就能以思维般的速度了解自身的业务状况，充分挖掘信息的价值。另外，SAP还发布了SAPReal-TimeDataPlatform(SAPData-baseandDataManagement的前身)。该平台整合了SAPHANA和SAPIQ，以及其他SAP技术和非SAP技术，特别是Hadoop，其中Hadoop就是本文探讨的对象。SAPReal-TimeDataPlat-form可以用于分析处理和联机事务处理(OLTP)。尽管单独使用时，每项技术也能交付业务价值，但若结合使用，这些技术就能整合、分析和处理企业拥有的所有数据，进而提供更深入的业务洞察，并创造新的业务机会。为了在众多数据技术中找到最佳的平衡点，解决...

2017-11-03

637

Apache Spark Streaming的优点：　（1）优势及特点 1）多范式数据分析管道：能和 Spark 生态系统其他组件融合，实现交互查询和机器学习等多范式组合处理。 2）扩展性：可以运行在 100 个节点以上的集群，延迟可以控制在秒级。 3）容错性：使用 Spark 的 Lineage 及内存维护两份数据进行备份达到容错。 RDD通过 Lineage 记录下之前的操作，如果某节点在运行时出现故障，则可以通过冗余备份数据在其他节点重新计算得到。对于 Spark Streaming 来说，其 RDD 的 Lineage 关系如图 3 所示，图中的每个长椭圆形表示一个 RDD，椭圆中的每个圆形代表一个 RDD 中的一个分区（Partition），图中的每一列的多个 RDD 表示一个 DStream（图中有 3 个 DStream）， t=1 和 t=2 代表不同的分片下的不同 RDD DAG。图中的每一个 RDD 都是通过 Lineage 相连接形成了 DAG，由于 SparkStreaming 输入数据可以来自于磁盘，例如 HDFS（通常由三份副本）也可以来...

2017-11-03

626

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。