首页 文章 精选 留言 我的

精选列表

搜索[分布式锁],共10000篇文章
优秀的个人博客,低调大师

Docker部署Apollo分布式环境

在一个Docker容器中部署Dev和Pro双配置环境。 应用镜像:https://hub.docker.com/r/idoop/docker-apollo/ 里面说明很清晰,不过有些地方需要我们部署后手工调整,很坑啊。 一、创建数据库和表 参考:官方文档 创建三个数据库: 然后分别通过官方的sql建立表结构 二、创建Docker容器 经验证Network可以使用bridge桥接模式。 配置容器的ENV环境变量: # 开启Portal,默认端口: 8070 PORTAL_DB: jdbc:mysql://192.168.1.28:3306/ApolloPortalDB?characterEncoding=utf8 PORTAL_DB_USER: root PORTAL_DB_PWD: toor # 开启dev环境, 默认端口: config 8080, admin 8090 DEV_DB: jdbc:mysql://192.168.1.28:3306/ApolloConfigDBDev?characterEncoding=utf8 DEV_DB_USER: root DEV_DB_PWD: toor # 开启pro环境, 默认端口: config 8083, admin 8093 DEV_DB: jdbc:mysql://192.168.1.28:3306/ApolloConfigDBPro?characterEncoding=utf8 DEV_DB_USER: root DEV_DB_PWD: toor 我们都采用默认端口,注意不要跟其他容器端口冲突。 然后我们就启动容器吧。 三、调整配置 1.修改apollo默认密码 新版本可以在界面中进行修改了,进入用户管理界面: 官方文档中写的很明确,update or create,也就是用户名已存在的会进行更新。我们直接填写apollo,然后修改为新密码即可。 2.配置部门列表 修改ApolloPortalDB数据库,表ServerConfig的organizations字段: 3.调整Pro的Eureka连接地址(很坑的一个地方) 默认的话都会连接到8080的Eureka上,这样会出问题的,配置混乱。 我们修改数据库ApolloConfigDBPro中的ServerConfig表里面的eureka.service.url字段 可以看到默认为8080,我们修改为8083即可。 我们重启容器服务,然后可以验证一下: 访问8080端口和8083端口,看到都是对应的就说明配置正确了。

优秀的个人博客,低调大师

分布式缓存-redis集群部署

此篇文章只是了解一下redis部署架构方式,至于怎么搭建有兴趣自己研究 redis几个特点:1、redis支持5中数据类型,每种数据类型都有自己的数据结构2、redis提供两种数据持久化机制,RDB和AOF模式,RDB模式是定时用一个线程将数据保存成文件存储在硬盘中,优点是恢复数据块缺点是可能会丢失一整段时间内的数据。AOF机制是通过保存对数据的变更命令日志来实现数据持久化,可选择每次变更保存日志,也可以选择每秒内的日志保存。优点是数据完整性高,缺点是性能低。 redis cluster集群方案: 此种架构特点:1、若干节点组成一个集群,每个节点有主备多个实例,保证高可用性。整个集群将16384个插槽分别存储在不同的节点上,每个集群节点的数据均不一样,每个节点上的主备实例节点数据是一样的。2、Redis Cluster采用无中心架构,每个节点都保存数据和整个集群的节点状态,集群节点不会代理查询,Redis Cluster采用异步复制机制 ,master和slave在先写到master,然后master直接返回ok,然后再把变更异步传播更新到slave里去。3、应该是不支持不同slot的批量操作的,同一个slot的批量操作应该是没问题的。 实际部署架构: 代理层可做批量操作、支持更高的并发、高可用性。 redis集群架构参考redis集群知识

优秀的个人博客,低调大师

zookeeper安装部署--分布式模式

本地模式,和伪分布模式,只适合测试 1:下载zookeeper(zookeeper-3.4.6.tar.gz) http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.7/ 规划:5个节点(nimbus,slave1,slave2,slave3,slave4)参与选举为前三个节点,后面两个节点作为observer,不参与投票,只负责监控,读取数据 创建目录(xshell 执行一下命令,5个节点同时创建目录) mkdir -p /home/hadoop/app tar -zxvfzookeeper-3.4.6.tar.gz mvzookeeper-3.4.6zookeeper chown -R hadoop:hadoopzookeeper su hadoop cdzookeeper cd conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg tickTime=2000(客户端与服务器之间维持心跳的时间间隔单位毫秒)每个多少时间发送一个心跳 initLimit=10(zookeeper接收客户端,zookeeper服务器集中连到leader服务器,不是用户客户端,次数超过多少,无应答,表示失败) syncLimit=5(leader与follower,发送消息,请求和应答时间长度) dataDir=/tmp/zookeeper(数据节点,日志文件)/home/hadoop/data/zookeeper/zkdata dataLogDir=/home/hadoop/data/zookeeper/zkdatalog clientPort=2181(客户端口) server.1=nimbus:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:3888 server.4=slave3:2888:3888:observer server.5=slave4:2888:3888:observer (xshell 执行一下命令,5个节点同时创建目录) mkdir -p /home/hadoop/data/zookeeper/zkdata mkdir -p /home/hadoop/data/zookeeper/zkdatalog cd /home/hadoop/data/zookeeper/zkdata vi myid 1 wq slave1 下 cd zkdata vi myid 2 wq 其他节点类似创建myid 将配置好的zookeeper同步到其他节点上 scp -r zookeeper hadoop@slave1:/home/hadoop/app/ scp -r zookeeper hadoop@slave2:/home/hadoop/app/ scp -r zookeeper hadoop@slave3:/home/hadoop/app/ scp -r zookeeper hadoop@slave4:/home/hadoop/app/ slave3上改配置 vi zoo.cfg peerType=observer slave4上改配置 vi zoo.cfg peerType=observer 快捷命令方式 cd /home/hadoop/app/zookeeper 启动下 bin/zkServer.sh start 查看进程 jps bin/zkServer.sh status follower nimbus,slave1 leader slave2 observer slave3,slave4 测试-把slave2停止 bin/zkServer.sh stop slave1变成leader 把slave1停掉 bin/zkServer.sh stop nimbus下 bin/zkServer.sh status 集群不可用 slave3和slave4都不可用 本文转自 skinglzw 51CTO博客,原文链接:http://blog.51cto.com/skinglzw/1833305,如需转载请自行联系原作者

优秀的个人博客,低调大师

hadoop伪分布式2.4.1安装

一、准备: 1、修改主机名: vi /etc/sysconfig/network内容如下: NETWORKING=yes HOSTNAME=myHadoop 2、修改主机名和IP的映射关系,即hosts文件: vi /etc/hosts 192.168.127.150myHadoop 3、关闭防火墙: 3.1、查看防火墙状态 service iptables status 3.2、关闭防火墙 service iptables stop 3.3、查看防火墙开机启动状态 chkconfig iptables --list 3.4、关闭防火墙开机启动 chkconfig iptables off 4、重启Linux: reboot/shutdown -r now 二、安装JDK: 1、解压: tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool 2、将java添加到环境变量中: sudo vi /etc/profile #在文件最后添加 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile #验证:java -version java version "1.7.0_65" Java(TM) SE Runtime Environment (build 1.7.0_65-b17) Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode) 三、安装hadoop2.4.1: 1、解压: tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export HADOOP_HOME=/opt/tool/hadoop-2.4.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #刷新配置 source /etc/profile #验证:hadoop version Hadoop 2.4.1 Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318 Compiled by jenkins on 2014-06-21T05:43Z Compiled with protoc 2.5.0 From source with checksum bb7ac0a3c73dc131f4844b873c74b630 This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar 3、配置hadoop: 3.1:hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/opt/tool/jdk-7u_65-i585 3.2:core-site.xml <!-- 指定HADOOP所使用的文件系统URI,HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoopnode0:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/tool/hadoop-2.4.1/tmp</value> </property> 3.3:hdfs-site.xml hdfs-default.xml (3) <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> 3.4:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3.5:yarn-site.xml <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoopnode0</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.6:格式化namenode (是对namenode进行初始化,只有在第一次安装时执行格式化,切记切记,否则数据丢失。) hdfs namenode -format (或者hadoop namenode -format) 3.7:启动hadoop: #先启动HDFS:start-dfs.sh,启动了一下进程: NameNode SecondaryNameNode DataNode #再启动YARN:start-yarn.sh,启动了一下进程: NodeManager ResourceManager 3.8:验证是否启动成功 使用jps命令验证 22303 NameNode 22216 Jps 27643 SecondaryNameNode 25566 NodeManager 25603 ResourceManager 27812 DataNode http://192.168.1.201:50070 (HDFS管理界面) http://192.168.1.201:8088 (MR管理界面) 4、NameNode: 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树, 文件/目录的元数据信息和每个文件对应的数据库列表。接收用户的操作请求。 元数据信息保存在fsimage和edit中,fsimage保存的是合并后的元数据信息,而edit保存的是实时的元数据信息。 5、DataNode: 提供真实文件数据的存储服务。文件存储时,是以block为单位进行存储的。 文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size, 那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块 称为一个block。HDFS默认block大小为128MB,以一个256MB文件为例,可以分割为2个Block。 6、SecondaryNameNode : 用来合并fsimage和edit。 本文转自lzf0530377451CTO博客,原文链接:http://blog.51cto.com/8757576/1827475,如需转载请自行联系原作者

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册