1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理-低调大师

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

2017-11-14 538

　　　第一天的笔记，是伪分布hadoop集群搭建，

　　　　后面是hadoop Ha的分布式集群搭建

第一天，是HDFS的shell操作

NN工作机制

里面是二进制

DN工作原理

上传完了之后，在hdfs的虚拟路径下，有这个文件，其实，是切分成很多block，放到公共的datanode文件夹下。

　　134217728/1024/1024=128M，所以，分成2个Block。

其实，此刻，blk_1073741856等价于jdk-7u65-linux-i586.tar.gz。

所以，文件被是切分成很多block，放到公共的datanode文件夹下。也可以合并，上述，就是合并，照样，达到复原。。。

这里，有个知识点，blk_1073741856和blk_1073741857，没有显示出来。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5893338.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370965

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hbase+opentsdb 单机版搭建

2018年2月19日星期一 Lee 这个实验步骤比较简单，只能用来演示下搭建过程，实际生产环境复杂的很多。实验环境： centos6.5 x86_64 IP: 10.0.20.25 这里实验没有用HDFS，生产环境的话，hbase还是要把数据存到hdfs上比较安全的。 1. 安装单机zookeeper cd /root/ tar xf zookeeper-3.4.8.tar.gz -C ./ mv zookeeper-3.4.8 /opt/zk cd /opt/zk cat conf/zoo.cfg 内容如下： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181 /opt/zk/bin/zkServer.sh start /opt/zk1/zk1.cfg /opt/zk/bin/zkCli.sh -server 10.0.20.25:2181 2. 安装单机hbase tar xf hbase-1.2.6-bin.tar.gz –C /usr/local cd /usr/loca...

2017-11-15

582

一、前言近期需要对Nginx产生的日志进行采集，问了下度娘，业内最著名的解决方案非ELK(Elasticsearch,Logstash,Kibana)莫属。 Logstash负责采集日志，Elasticsearch负责存储、索引日志，Kibana则负责通过Web形式展现日志。今天，我要说的是Logstash，它可以从多种渠道采集数据，包括控制台标准输入、日志文件、队列等等，只要你能想到，都可以通过插件的方式实现。其中，日志源提供的日志格式可能并不是我们想要插入存储介质里的格式，所以，Logstash里提供了一系列的filter来让我们转换日志。 Grok就是这些filters里最重要的一个插件，下面我就说说它。二、Grok提供的常用Patterns说明及举例大多数Linux使用人员都有过用正则表达式来查询机器中相关文件或文件里内容的经历，在Grok里，我们也是使用正则表达式来识别日志里的相关数据块。有两种方式来使用正则表达式：直接写正则来匹配用Grok表达式映射正则来匹配在我看来，每次重新写正则是一件很痛苦的事情，为什么不用表达式来一劳永逸呢？特别提示：Grok表达...

2017-11-15

545

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。