搜索[集群]结果-低调大师优秀个人博客

精选列表

搜索[集群]，共10007篇文章

Hadoop3单机部署,实现最简伪集群

1.节点说明 ip hostname 说明 10.0.0.120 hadoop-all 主节点+数据节点 2.环境准备需要JDK1.8运行环境,搭建请参考[Jdk安装(Linux,MacOS,Windows)] 3.设置主机名 sh 复制代码 # 主节点 hostnamectl set-hostname hadoop-all 4.设置host sh 复制代码 # 所有节点配置 echo "10.0.0.120 hadoop-all" >> /etc/hosts 5.设置ssh免密码登录(主节点) sh 复制代码 # 设置主节点自身ssh免密码登录以及主节点对各个数据节点ssh免密码登录 # 以下操作在主节点进行 # 生成公钥 ssh-keygen -t rsa # 向主节点(本机)复制公钥 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # 验证,输入yes,如果此时没有要求输入密码则配置成功 ssh hadoop-all 6.开放端口 sh 复制代码 # 主节点 firewall-cmd --add-port=9870/tcp && firewall-cmd --add-port=9870/tcp --permanent firewall-cmd --add-port=8088/tcp && firewall-cmd --add-port=8088/tcp --permanent firewall-cmd --add-port=9000/tcp && firewall-cmd --add-port=9000/tcp --permanent firewall-cmd --add-port=50090/tcp && firewall-cmd --add-port=50090/tcp --permanent # 或者关闭关闭防火墙 systemctl stop firewalld.service && systemctl disable firewalld.service 7.准备hadoop安装包 sh 复制代码 # 下载地址 http://hadoop.apache.org/ # 镜像地址 https://mirrors.cloud.tencent.com/apache/hadoop/common/ # 下载hadoop-3.3.6.tar.gz并解压到指定目录,如/data0/hadoop/hadoop-3.3.6 mkdir -p /data0/hadoop/ tar -zxvf hadoop-3.3.6.tar.gz # 创建hadoop数据存放目录 mkdir -p /data1/hadoop/repo 8.修改配置 8.1.进入配置文件目录 sh 复制代码 cd /data0/hadoop/hadoop-3.3.6/etc/hadoop 8.2.修改hadoop-env.sh配置文件 sh 复制代码 # 编辑文件 vi hadoop-env.sh # 添加 export JAVA_HOME=/data0/java/jdk1.8.0_361 export HADOOP_LOG_DIR=/data1/hadoop/repo/logs/hadoop # /data0/java/jdk1.8.0_291为jdk安装目录 # /data1/hadoop/repo为hadoop数据存放目录 8.3.修改core-site.xml配置文件 sh 复制代码 # 编辑文件 vi core-site.xml # 修改configuration节点配置 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-all:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data1/hadoop/repo</value> </property> </configuration> # hadoop-all为主节点主机名 # 9000为端口 8.4.修改hdfs-site.xml配置文件 sh 复制代码 # 编辑文件 vi hdfs-site.xml # 修改configuration节点配置 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> # 1为数据副本个数 8.5.修改mapred-site.xml配置文件 sh 复制代码 # 编辑文件 vi mapred-site.xml # 修改configuration节点配置 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 8.6.修改yarn-site.xml配置文件 sh 复制代码 # 编辑文件 vi yarn-site.xml # 修改configuration节点配置 <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration> 9.修改hadoop启动/停止配置 9.1.进入启动脚本目录 sh 复制代码 cd /data0/hadoop/hadoop-3.3.6/sbin 9.2.修改dfs.sh的启动/停止命令 sh 复制代码 # 编辑文件 vi start-dfs.sh vi stop-dfs.sh # 都添加 HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 9.3.修改yarn.sh的启动/停止命令 sh 复制代码 # 编辑文件 vi start-yarn.sh vi stop-yarn.sh # 都添加 YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 10.格式化hdfs sh 复制代码 # 进入hadoop根目录 cd /data0/hadoop/hadoop-3.3.6 # 格式化 bin/hdfs namenode -format 11.启动/停止 sh 复制代码 # 进入hadoop根目录 cd /data0/hadoop/hadoop-3.3.6/sbin # 启动 ./start-all.sh # 停止 ./stop-all.sh # 查看启动状态 jps # 主节点启动[ResourceManager,NameNode,SecondaryNameNode,DataNode,NodeManager] 12.web查看状态 sh 复制代码 # 浏览器访问 10.0.0.120:9870 10.0.0.10:8088 13.配置环境变量 sh 复制代码 # 打开文件 vi ~/.bash_profile # 添加环境变量 # HADOOP export HADOOP_HOME=/data0/hadoop/hadoop-3.3.6 export PATH=$HADOOP_HOME/bin:$PATH #保存退出 :x # 让配置马上生效 source ~/.bash_profile

2025-09-05

CentOS8安装MyCat，轻松搞定数据库的读写分离、垂直分库、水平分库

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

2025-09-05

OpenStack HA集群2-RabbitMQ集群

/lib/rabbitmq/.erlang.cookie controller3:/var/lib/rabbitmq/.erlang.cookie 将controller2加入到controller1集群中

2017-11-15

启动Hadoop集群和HBase集群脚本

否则就执行else if start-all.sh #for loop in 1 2 3 NUM=1 <pre name="code" class="plain">#测试的zookeeper服务器集群是三个节点

2015-04-06

Redis集群

local/redis-cluster/start_redis_cluster.sh /usr/bin/sh /usr/local/redis-cluster/start_exporter.sh 创建集群

2021-06-28

Tomcat集群

1个apache+2个tomcat通过mod_jk配置集群JDK：jdk-6u7-linux-i586.bin Apache：httpd-2.2.19.tar.gz Tomcat：apache-tomcat

2018-01-11

Elasticsearch集群

1、两台机分别安装好Elasticsearch 其中为192.168.1.110,设为master节点，elasticsearch.yml配置如下 1 2 3 4 5 6 7 8 9 10 11 12 cluster.name:my-application node.name:node- 111 network.host: 192.168 . 1.110 http.port: 9200 http.cors.enabled: true http.cors.allow-origin: "*" node.master: true node.data: true discovery.zen.ping.unicast.hosts:[ "192.168.1.110" ] 另一台机：的ip位192.168.1.108，elasticsearch.yml配置如下： 1 2 3 4 5 6 7 8 9 10 11 12 cluster.name:my-application node.name:node- 102 network.host: 192.168 . 1.108 http.port: 9200 http.cors.enabled: true http.cors.allow-origin: "*" node.master: false node.data: true discovery.zen.ping.unicast.hosts:[ "192.168.1.110" ] 分别启动两台机访问head: master: 从的：注：如果另一台机直接复制前一台机；启动后可能出现： 1 [node-2]failedtosendjoinrequesttomaster[{node-1}{WbcP0pC_T32jWpYvu5is1A}{2_LCVHx1QEaBZYZ7XQEkMg}{10.10.11.200}{10.10.11.200:9300}],reason[RemoteTransportException[[node-1][10.10.11.200:9300][internal:discovery/zen/join]];nested:IllegalArgumentException[can'taddnode{node-2}{WbcP0pC_T32jWpYvu5is1A}{p-HCgFLvSFa 解决：原因是：是因为复制的elasticsearch文件夹下包含了data文件中示例一的节点数据，需要把示例二data文件下的文件清空。本文转自yunlielai51CTO博客，原文链接：http://blog.51cto.com/4925054/2084176，如需转载请自行联系原作者

2017-11-22

elasticsearch 集群

搭建elasticsearch的集群现在假设我们有3台es机器，想要把他们搭建成为一个集群基本配置每个节点都要进行这样的配置： cluster.name: baichebao-cluster 这个是配置集群的名字

2017-11-07

RabbitMQ集群

一、前言线上的 RabbitMQ用的是单节点，前段时间由于机器内存不足，发生了OOM，业务受到了影响，故打算换成 RabbitMQ集群。

2017-03-28

Kubernetes使用集群联邦实现多集群管理

在1.7版以后支持本地多个集群联邦管理，不需要使用依赖云平台。一、Kubernetes集群联邦介绍 1、管理多個kubernetes集群 “集群联邦”在架构上同kubernetes集群很相似。

2018-12-14

redis集群（二）搭建集群基本架构

1.集群搭建的过程： meet通信： 2.redis cluster原生命令的安装 (1)配置开启节点 (2)meet，节点握手 (3)指派槽、 (4)主从（1）配置节点（2）meet (3)分配槽

2018-08-17

redis集群（三）搭建集群基本架构

redis-3.3.0.gem **/ https://www.cnblogs.com/ding2016/p/7903147.html 在安装好上面的环境之后；开始使用redis-trib.rb来实现集群

2018-08-17

最大的Redis集群：新浪Redis集群揭秘

前言 Tape is Dead，Disk is Tape，Flash is Disk，RAM Locality is King. — Jim Gray Redis不是比较成熟的Memcache或者Mysql的替代品，是对于大型互联网类应用在架构上很好的补充。现在有越来越多的应用也在纷纷基于Redis做架构的改造。可以简单公布一下Redis平台实际情况 2200+亿 commands/day 5000亿Read/day 500亿Write/day 18TB+ Memory 500+ Servers in6 IDC 2000+instances 应该是国内外比较大的Redis使用平台，今天主要从应用角度谈谈Redis服务平台。 Redis使用场景 1.Counting（计数）计数的应用在另外一篇文章里较详细的描述，计数场景的优化http://www.xdata.me/?p=262这里就不坳述了。可以预见的是，有很多同学认为把计数全部存在内存中成本非常高，我在这里用个图表来表示下我的观点：很多情况大家都会设想纯使用内存的方案会很有很高成本，但实际情况往往会有一些不一样： 1.COST，对于有一定吞吐需求的应用来说，肯定会单独申请DB、Cache资源，很多担心DB写入性能的同学还会主动将DB更新记入异步队列，而这三块的资源的利用率一般都不会太高。资源算下来，你惊异的发现：反而纯内存的方案会更精简！ 2.KISS原则，这对于开发是非常友好的，我只需要建立一套连接池，不用担心数据一致性的维护，不用维护异步队列。 3.Cache穿透风险，如果后端使用DB，肯定不会提供很高的吞吐能力，cache宕机如果没有妥善处理，那就悲剧了。 4.大多数的起始存储需求，容量较小。 2.Reverse cache（反向cache）面对微博常常出现的热点，如最近出现了较为火爆的短链，短时间有数以万记的人点击、跳转，而这里会常常涌现一些需求，比如我们向快速在跳转时判定用户等级，是否有一些账号绑定，性别爱好什么的，已给其展示不同的内容或者信息。普通采用Memcache+Mysql的解决方案，当调用id合法的情况下，可支撑较大的吞吐。但当调用id不可控，有较多垃圾用户调用时，由于memcache未有命中，会大量的穿透至Mysql服务器，瞬间造成连接数疯长，整体吞吐量降低，响应时间变慢。这里我们可以用redis记录全量的用户判定信息，如string key:uid int:type，做一次反向的cache，当用户在redis快速获取自己等级等信息后，再去Mc+Mysql层去获取全量信息。如图：当然这也不是最优化的场景，如用Redis做bloomfilter，可能更加省用内存。 3.Top 10 list 产品运营总会让你展示最近、最热、点击率最高、活跃度最高等等条件的top list。很多更新较频繁的列表如果使用MC+MySQL维护的话缓存失效的可能性会比较大，鉴于占用内存较小的情况，使用Redis做存储也是相当不错的。 4.Last Index 用户最近访问记录也是redis list的很好应用场景,lpush lpop自动过期老的登陆记录，对于开发来说还是非常友好的。 5.Relation List/Message Queue 这里把两个功能放在最后，因为这两个功能在现实问题当中遇到了一些困难，但在一定阶段也确实解决了我们很多的问题，故在这里只做说明。 Pinterest使用Redis存储社交graph信息： http://blog.gopivotal.com/case-studies-2/using-redis-at-pinterest-for-billions-of-relationships Message Queue就是通过list的lpop及lpush接口进行队列的写入和消费，由于本身性能较好也能解决大部分问题。 6.Fast transaction with Lua Redis 的Lua的功能扩展实际给Redis带来了更多的应用场景，你可以编写若干command组合作为一个小型的非阻塞事务或者更新逻辑，如：在收到 message推送时，同时1.给自己的增加一个未读的对话 2.给自己的私信增加一个未读消息 3.最后给发送人回执一个完成推送消息，这一层逻辑完全可以在Redis Server端实现。但是，需要注意的是Redis会将lua script的全部内容记录在aof和传送给slave，这也将是对磁盘，网卡一个不小的开销。 7.Instead of Memcache 很多测试和应用均已证明， 1.在性能方面Redis并没有落后Memcache多少，而单线程的模型给Redis反而带来了很强的扩展性。 2.在很多场景下，Redis对同一份数据的内存开销是小于Memcache的slab分配的。 3.Redis提供的数据同步功能，其实是对cache的一个强有力功能扩展。 Redis使用的重要点 1.rdb/aof Backup! 我们线上的Redis 95%以上是承担后端存储功能的，我们不仅用作cache，而更为一种k-v存储，他完全替代了后端的存储服务（MySQL），故其数据是非常重要的，如果出现数据污染和丢失，误操作等情况，将是难以恢复的。所以备份是非常必要的！为此，我们有共享的hdfs资源作为我们的备份池，希望能随时可以还原业务所需数据。 2.Small item & Small instance! 由于Redis单线程（严格意义上不是单线程，但认为对request的处理是单线程的）的模型，大的数据结构list,sorted set,hash set的批量处理就意为着其他请求的等待，故使用Redis的复杂数据结构一定要控制其单key-struct的大小。另外，Redis单实例的内存容量也应该有严格的限制。单实例内存容量较大后，直接带来的问题就是故障恢复或者Rebuild从库的时候时间较长，而更糟糕的是，Redis rewrite aof和save rdb时，将会带来非常大且长的系统压力，并占用额外内存，很可能导致系统内存不足等严重影响性能的线上故障。我们线上96G/128G内存服务器不建议单实例容量大于20/30G。 3.Been Available! 业界资料和使用比较多的是Redis sentinel(哨兵) http://www.huangz.me/en/latest/storage/redis_code_analysis/sentinel.html http://qiita.com/wellflat/items/8935016fdee25d4866d9 2000行C实现了服务器状态检测，自动故障转移等功能。但由于自身实际架构往往会复杂，或者考虑的角度比较多，为此@许琦eryk和我一同做了hypnos项目。 hypnos是神话中的睡神，字面意思也是希望我们工程师无需在休息时间处理任何故障。:-) 其工作原理示意如下： Talk is cheap, show me your code! 稍后将单独写篇博客细致讲下Hypnos的实现。 4.In Memory or not? 发现一种情况，开发在沟通后端资源设计的时候，常常因为习惯使用和错误了解产品定位等原因，而忽视了对真实使用用户的评估。也许这是一份历史数据，只有最近一天的数据才有人进行访问，而把历史数据的容量和最近一天请求量都抛给内存类的存储现实是非常不合理的。所以当你在究竟使用什么样的数据结构存储的时候，请务必先进行成本衡量，有多少数据是需要存储在内存中的？有多少数据是对用户真正有意义的。因为这其实对后端资源的设计是至关重要的，1G的数据容量和1T的数据容量对于设计思路是完全不一样的 Plans in future? 1.slave sync改造全部改造线上master-slave数据同步机制，这一点我们借鉴了MySQL Replication的思路，使用rdb+aof+pos作为数据同步的依据，这里简要说明为什么官方提供的psync没有很好的满足我们的需求：假设A有两个从库B及C,及 A `— B&C，这时我们发现master A服务器有宕机隐患需要重启或者A节点直接宕机，需要切换B为新的主库，如果A、B、C不共享rdb及aof信息，C在作为B的从库时，仍会清除自身数据，因为C节点只记录了和A节点的同步状况。故我们需要有一种将A`–B&C 结构切换切换为A`–B`–C结构的同步机制，psync虽然支持断点续传，但仍无法支持master故障的平滑切换。实际上我们已经在我们定制的Redis计数服务上使用了如上功能的同步，效果非常好，解决了运维负担，但仍需向所有Redis服务推广，如果可能我们也会向官方Redis提出相关sync slave的改进。 2.更适合redis的name-system Or proxy 细心的同学发现我们除了使用DNS作为命名系统，也在zookeeper中有一份记录，为什么不让用户直接访问一个系统，zk或者DNS选择其一呢？其实还是很简单，命名系统是个非常重要的组件，而dns是一套比较完善的命名系统，我们为此做了很多改进和试错，zk的实现还是相对复杂，我们还没有较强的把控粒度。我们也在思考用什么做命名系统更符合我们需求。 3.后端数据存储大内存的使用肯定是一个重要的成本优化方向，flash盘及分布式的存储也在我们未来计划之中。 via:http://www.xdata.me/?p=301 分类: 分布式消息框架本文转自快乐就好博客园博客，原文链接：http://www.cnblogs.com/happyday56/p/3955634.html，如需转载请自行联系原作者

2017-08-27

SpringCloud服务注册中心双节点集群(Eureka集群)

因此，本次部署架构技术方案选型打算采用Eureka集群。

2021-06-23

Kubernetes-在Kubernetes集群上搭建HBase集群

经过3天的努力，终于在Kubernetes上把HBase集群搭建起来了，搭建步骤如下。

2018-08-07

Kubernetes-在Kubernetes集群上搭建Hadoop集群

准备工作 Hadoop镜像，到docker hub上拉取 docker pull kubeguide/hadoop:latest Kubernetes集群参考：Kubernetes-离线部署Kubernetes

2018-07-31

Hadoop完全分布式集群安装zookeeper集群

有配置维护、域名服务、分布式同步、组服务等这些功能，它可以通过投票选举机制选举出leader，并且在hbase中，zookeeper尤为重要，zookeeper存储了hbase的元数据，所以想要搭建hbase集群之前

2017-11-15

Solr集群搭建，zookeeper集群搭建，Solr分片管理，Solr集群下的DataImport，分词配置。

一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？这个时候就需要使用一种实现了一致性协议的服务了。

2017-05-09

kubernates集群搭建

.` 执行如下命令可以发现集群中已经存在的节点信息 kubectl get nodes

2020-10-09

Kubernetes Nacos集群

持久卷的例子,如果使用emptyDirs可能会导致数据丢失 Docker 镜像在build目录中包含了已经打好包的Nacos(基于develop分支,已提PR,目前的release版本都不支持k8s集群

2018-12-17

Kubernetes集群搭建

使用kubeadm创建集群 2.1 准备镜像因为国内是访问不到k8s.gcr.io所以需要将需要的镜像提前下载, 这次采用从阿里云镜像仓库下载, 并修改下载后的镜像tag为k8s.gcr.io # a

2018-12-02

Redis 集群方法

否则，实例通常作为独立实例启动 cluster-enabledyes #这是集群中的节点能够失联的最大时间，超过这个时间，该节点就会被认为故障。

2018-11-30

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。