搜索[分布式架构]结果-低调大师优秀个人博客

精选列表

搜索[分布式架构]，共10000篇文章

分布式云计算来了

这种就近处理的方式耗时更短，而且足以应付本地业务交互的轻量化需求，推动着云计算向分布式延伸。

2018-03-11

到底什么是分布式系统？

分布式系统背景说分布式系统必须要说集中式系统，集中式系统中整个项目就是一个独立的应用，整个应用也就是整个项目，所有的东西都在一个应用里面。

2018-01-27

分布式文件系统HDFS

架构图 Hadoop是由Apache基金会所开发的分布式系统基础架构，组织架构如下图所示：正如上图所示：Hadoop包含很多优秀的子项目，例如HDFS，Mapreduce，Hbase，Hive，Zookeeper

2018-01-09

spring boot redis分布式锁

随着现在分布式架构越来越盛行，在很多场景下需要使用到分布式锁。

2018-01-01

分布式科学计算与docker

科学计算的速度除了之前说的和语言相关, 还包括另外2个关键要素, 第一个是分布式, 第二个是系统资源的限制(包括CPU, Memory和Storage).

2017-12-28

Hbase分布式安装部署过程

系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hbase版本 0.94.16 Hbase的完全分布式安装概述： 1. 配置hosts，确保涉及的主机名均可解析为ip 2.

2017-12-03

本地模式，和伪分布模式，只适合测试 1：下载zookeeper(zookeeper-3.4.6.tar.gz) http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.7/ 规划：5个节点（nimbus,slave1,slave2,slave3,slave4）参与选举为前三个节点，后面两个节点作为observer,不参与投票，只负责监控，读取数据创建目录(xshell 执行一下命令，5个节点同时创建目录) mkdir -p /home/hadoop/app tar -zxvfzookeeper-3.4.6.tar.gz mvzookeeper-3.4.6zookeeper chown -R hadoop:hadoopzookeeper su hadoop cdzookeeper cd conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg tickTime=2000(客户端与服务器之间维持心跳的时间间隔单位毫秒)每个多少时间发送一个心跳 initLimit=10(zookeeper接收客户端，zookeeper服务器集中连到leader服务器，不是用户客户端，次数超过多少，无应答，表示失败) syncLimit=5(leader与follower,发送消息，请求和应答时间长度) dataDir=/tmp/zookeeper(数据节点，日志文件)/home/hadoop/data/zookeeper/zkdata dataLogDir=/home/hadoop/data/zookeeper/zkdatalog clientPort=2181(客户端口) server.1=nimbus:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:3888 server.4=slave3:2888:3888:observer server.5=slave4:2888:3888:observer (xshell 执行一下命令，5个节点同时创建目录) mkdir -p /home/hadoop/data/zookeeper/zkdata mkdir -p /home/hadoop/data/zookeeper/zkdatalog cd /home/hadoop/data/zookeeper/zkdata vi myid 1 wq slave1 下 cd zkdata vi myid 2 wq 其他节点类似创建myid 将配置好的zookeeper同步到其他节点上 scp -r zookeeper hadoop@slave1:/home/hadoop/app/ scp -r zookeeper hadoop@slave2:/home/hadoop/app/ scp -r zookeeper hadoop@slave3:/home/hadoop/app/ scp -r zookeeper hadoop@slave4:/home/hadoop/app/ slave3上改配置 vi zoo.cfg peerType=observer slave4上改配置 vi zoo.cfg peerType=observer 快捷命令方式 cd /home/hadoop/app/zookeeper 启动下 bin/zkServer.sh start 查看进程 jps bin/zkServer.sh status follower nimbus,slave1 leader slave2 observer slave3,slave4 测试-把slave2停止 bin/zkServer.sh stop slave1变成leader 把slave1停掉 bin/zkServer.sh stop nimbus下 bin/zkServer.sh status 集群不可用 slave3和slave4都不可用本文转自 skinglzw 51CTO博客，原文链接：http://blog.51cto.com/skinglzw/1833305，如需转载请自行联系原作者

2017-11-26

Hadoop完全分布式安装Flume

应用场景按照搭建hadoop完全分布式集群博文搭建完hadoop集群后，发现hadoop完全分布式集群自带了HDFS，MapReduce，Yarn等基本的服务，一些其他的服务组件需要自己重新安装，比如

2017-11-22

Hadoop完全分布式安装Kafka

2017-11-22

分布式日志平台--ELKStack实践

filtered">gateway.type:local<br data-filtered="filtered">gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统

2017-11-16

hadoop伪分布式2.4.1安装

一、准备： 1、修改主机名： vi /etc/sysconfig/network内容如下： NETWORKING=yes HOSTNAME=myHadoop 2、修改主机名和IP的映射关系，即hosts文件： vi /etc/hosts 192.168.127.150myHadoop 3、关闭防火墙： 3.1、查看防火墙状态 service iptables status 3.2、关闭防火墙 service iptables stop 3.3、查看防火墙开机启动状态 chkconfig iptables --list 3.4、关闭防火墙开机启动 chkconfig iptables off 4、重启Linux： reboot/shutdown -r now 二、安装JDK： 1、解压： tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool 2、将java添加到环境变量中： sudo vi /etc/profile #在文件最后添加 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile #验证：java -version java version "1.7.0_65" Java(TM) SE Runtime Environment (build 1.7.0_65-b17) Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode) 三、安装hadoop2.4.1： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export HADOOP_HOME=/opt/tool/hadoop-2.4.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #刷新配置 source /etc/profile #验证：hadoop version Hadoop 2.4.1 Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318 Compiled by jenkins on 2014-06-21T05:43Z Compiled with protoc 2.5.0 From source with checksum bb7ac0a3c73dc131f4844b873c74b630 This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar 3、配置hadoop： 3.1：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 3.2：core-site.xml  <property> <name>fs.defaultFS</name> <value>hdfs://hadoopnode0:9000</value> </property>  <property> <name>hadoop.tmp.dir</name> <value>/opt/tool/hadoop-2.4.1/tmp</value> </property> 3.3：hdfs-site.xml hdfs-default.xml (3)  <property> <name>dfs.replication</name> <value>1</value> </property> 3.4：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml  <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3.5：yarn-site.xml  <property> <name>yarn.resourcemanager.hostname</name> <value>hadoopnode0</value> </property>  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.6：格式化namenode （是对namenode进行初始化,只有在第一次安装时执行格式化，切记切记，否则数据丢失。） hdfs namenode -format (或者hadoop namenode -format) 3.7：启动hadoop： #先启动HDFS：start-dfs.sh，启动了一下进程： NameNode SecondaryNameNode DataNode #再启动YARN：start-yarn.sh，启动了一下进程： NodeManager ResourceManager 3.8：验证是否启动成功使用jps命令验证 22303 NameNode 22216 Jps 27643 SecondaryNameNode 25566 NodeManager 25603 ResourceManager 27812 DataNode http://192.168.1.201:50070 （HDFS管理界面） http://192.168.1.201:8088 （MR管理界面） 4、NameNode：是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元数据信息和每个文件对应的数据库列表。接收用户的操作请求。元数据信息保存在fsimage和edit中，fsimage保存的是合并后的元数据信息，而edit保存的是实时的元数据信息。 5、DataNode：提供真实文件数据的存储服务。文件存储时，是以block为单位进行存储的。文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称为一个block。HDFS默认block大小为128MB，以一个256MB文件为例，可以分割为2个Block。 6、SecondaryNameNode ：用来合并fsimage和edit。本文转自lzf0530377451CTO博客，原文链接：http://blog.51cto.com/8757576/1827475，如需转载请自行联系原作者

2017-11-14

云计算与分布式计算

换一句话：将一个大规模分布式计算网络配备上一个前端计费服务器(见下图)，那样一来分布式计算就变成云计算了吗？当然不是！要不然我就会在如下表示分布式计算的图中画上一朵云彩了.

2017-11-14

Hadoop完全分布式安装Hive

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署

2017-11-13

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化 1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成 2、HDFSNN Federation、HA 3、MapReduce运行在YARN

2017-11-13

Hadoop伪分布式安装Spark

应用场景搭建部署了hadoop环境后，使用MapReduce来进行计算，速度非常慢，因为MapReduce只是分布式批量计算，用于跑批的场景，并不追求速率，因为它需要频繁读写HDFS，并不能实时反馈结果

2017-11-13

zabbix分布式部署proxy实战

Zabbix proxy 是一个监控代理服务器，可以实现集中或者分布式的监控。通过proxy代理可以实现多节点，跨区域，成百上千服务器的监控。proxy代理主要适用于下面情况。

2017-11-13

hadoop之 distcp（分布式拷贝）

概述 distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。

2017-11-11

springcloud config 分布式配置中心

需要采用分布式配置中心统一管理、统一实现方式。

2017-10-14

分布式跟踪调研与设计

考虑到分布式跟踪系统类似于ELK系统的基础服务，部署架构与现有ELK保证一致，核心服务部署在B7机房设计思路一般分布式跟踪系统, 主要有三个部分：数据收集，数据存储和数据展示。

2017-10-14

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

分布式云计算来了

到底什么是分布式系统？

分布式文件系统HDFS

分布式ID生成器

spring boot redis分布式锁

分布式科学计算与docker

Hbase分布式安装部署过程

zookeeper安装部署--分布式模式

Hadoop完全分布式安装Flume

Hadoop完全分布式安装Kafka

分布式日志平台--ELKStack实践

hadoop伪分布式2.4.1安装

云计算与分布式计算

Hadoop完全分布式安装Hive

Hadoop、Hbase完全分布式搭建

Hadoop伪分布式安装Spark

zabbix分布式部署proxy实战

hadoop之 distcp（分布式拷贝）

springcloud config 分布式配置中心

分布式跟踪调研与设计

资源下载

Nacos

Spring

Rocky Linux

WebStorm

欢迎您来访！