搜索[分布式锁]结果-低调大师优秀个人博客

精选列表

搜索[分布式锁]，共10000篇文章

MySQL分布式集群搭建

1、准备集群搭建环境使用6台虚拟机来搭建MySQL分布式集群，相应的实验环境与对应的MySQL节点之间的对应关系如下图所示：管理节点（MGM）：这类节点的作用是管理MySQLCluster内的其他节点

2018-11-29

分布式系统关键点

分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。

2018-11-27

JEESZ分布式框架简介

Dubbo 独立服务项目依赖如下图：3.平台简介 Jeesz是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的JavaEE快速开发平台。

2018-10-28

分布式架构之美

一、前言我们都知道，当今无论在BAT这样的大公司，还是各种各样的小公司，甚至是传统行业刚转互联网的企业都开始使用分布式架构，那么什么叫分布式架构呢？分布式架构有什么好处呢？

2018-07-11

分布式事务相关问题

分布式事务没有标准答案，只有结合业务场景的解决方案 TCC,XA,JTA,LCN,2PC 1、分布式事务是什么数据库分库分表之后，保证多个数据库之间的提交和回滚数据的一致性，如图，假设一个订单系统

2018-06-02

分布式网站隔离术

image.png 2、进程隔离进程隔离其实就是最简单的分布式，将业务逻辑进行拆分成多个子系统，实现物理隔离，当某一个子系统出现问题，不会影响到其他子系统。

2018-01-28

分布式计算引擎MapReduce

应用场景当数据量大到一定程度，传统的技术无法进行解决的时候，那么需要采用分布式计算引擎MapReduce来尝试解决了！操作步骤 1.

2018-01-09

分布式集群监控方案

二、调研目的为了管理自己搭建的分布式集群，现在调研一下分布式集群的业界常用监控方案，并结合厂内已有的监控方案进行对比。并选择一个合适的监控方案来对XGboost on Yarn集群进行有效监控。

2017-11-27

分布式系统设计套件

：连接系统的可视化设计面向服务的体系结构或“连接系统”体系结构是下一代分布式应用程序的基础。

2017-11-25

FastDFS分布式存储实战

《FastDFS分布式存储实战》一、技术选型二、FastDFS相关组件及原理 FastDFS介绍 FastDFS架构 FastDFS工作流程上传同步机制下载文件合并原理三、实验环境说明四、FastDFS

2017-11-11

MySQL大型分布式集群

本套课程将通过分布式集群和分库分表两部分内容进行讲解 1、主要解决针对大型网站架构中持久化部分中，大量数据存储以及高并发访问所带来是数据读写问题。

2017-08-15

Ceph分布式存储实战.

云计算与虚拟化技术丛书 Ceph分布式存储实战 Ceph中国社区著图书在版编目（CIP）数据 Ceph分布式存储实战/Ceph中国社区著.

2017-05-01

hadoop分布式集群搭建

Hadoop的搭建有三种方式，单机版适合开发调试；伪分布式版，适合模拟集群学习；完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

2017-01-11

hbase分布式集群搭建

hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本，这篇文件介绍如何搭建完全分布式集群环境搭建。

2016-08-01

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/43499577 以三个节点为例的服务器集群来安装和配置hadoop 以下是各服务器ip地址和对应所做的节点 192.168.61.128 master 192.168.61.129 slave1 192.168.61.133 slave2 首先修改每个服务器上的hosts文件使用命令 vi /etc/hosts编辑在最后追加 192.168.61.128 master 192.168.61.129 slave1 192.168.61.133 slave2 三行为每个服务器创建hadoop账户在root用户下，使用命令 useradd hadoop passwd hadoop 输入两遍新密码完成为每个服务器安装jdk jdk文件版本为jdk-7u45-linux-i586.rpm 可以在官网上下载各个版本的linux jdk文件使用命令 rpm -ivh jdk-7u45-linux-i586.rpm 进行安装安装完成之后编辑profile文件配置环境变量 vi /etc/profile 在末尾追加 export JAVA_HOME=/usr/java/jdk1.7.0_45 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 注意jdk对应的版本号编辑完成后使用命令 source /etc/profile 保存配置之后输入java -version可以查看jdk版本信息配置ssh免密码登录在每个服务器上输入命令 chmod -R 755 /home/hadoop mkdir ~/.ssh ssh-keygen -t rsa ssh-keygen -t dsa rsa和dsa分别生成不同加密格式的ssh密钥，直接一直按回车键保存在默认的路径在master节点上配置authorized_keys文件输入命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将本地的密钥保存在authorized_keys ssh slave1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh slave1 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys ssh slave2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh slave2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 使用ssh分别将slave1和slave2节点上的密钥保存在authorized_keys 这样之后，master节点上的authorized_keys文件就保存了所有服务器的密钥由于还没有设置ssh免密码登录，所以传输的时候需要输入各个节点的密码（系统对用hadoop用户的密码）之后将这个文件分别传输到各个节点上 scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys scp ~/.ssh/authorized_keys slave2:~/.ssh/authorized_keys 配置完成接下来要对各个节点上的.ssh目录设置权限（很重要，有时候就是因为权限问题无法登陆）输入命令 chmod -R 700 ~/.ssh 注意当前你所在的路径接下来可以再每个服务器上测试ssh是否可以免密码登录了例：在master节点上输入 ssh master date 将会提示 The authenticity of host 'master (10.10.10.100)' can't be established. RSA key fingerprint is 99:ef:c2:9e:28:e3:b6:83:e2:00:eb:a3:ee:ad:29:d8. Are you sure you want to continue connecting (yes/no)? 这是因为这台机器上的ssh没有把master记录在已知的主机列表中输入yes回车即可（之后的各个节点一样，输入yes让其记住主机，之后就可以免密码登录）如果中间出现什么异常或者错误，有可能是权限问题导致，请百度之在master节点上配置hadoop 将hadoop包放到/home.hadoop目录下方便操作进入hadoop目录下的conf目录 1.修改hadoop-env.sh文件添加 export JAVA_HOME=/usr/java/jdk1.7.0_45 配置jdk的环境变量，注意jdk版本 2.修改core-site.xml文件 <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> 设置namenode节点的IP和端口设置hadoop.tmp.dir路径，默认是/tmp/$username，重启就会删除该目录的文件，所以这里给他配置一个自定义的路径 3.修改hdfs-site.xml文件 <property> <name>dfs.data.dir</name> <value>/home/hadoop/hadoop-data</value> </property> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hadoop-name</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/home/hadoop/hadoop-namesecondary</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> 设置hdfs文件系统 4.修改mapred-site.xml文件 <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> 设置jobtracker的ip和端口以上xml文件的配置都只是在源文件的基础上添加对应的property节点即可 5.在conf目录下 vi masters 输入master vi slaves 输入 slave1 slave2 有几个slave节点就写几个，注意换行配置完成之后使用ssh将hadoop传输到各个节点上 scp -r hadoop-0.20.2/ slave1:~/ scp -r hadoop-0.20.2/ slave2:~/ 传输完毕之后再master节点上进入hadoop目录下的bin目录输入命令 hadoop namenode -format 开始格式化namenode 注意看提示格式化是否成功在输入命令 start-all.sh 启动hadoop集群启动完成后在master节点输入jps可以看到已经在运行的namenode，secondarynode和tasktracker进程在各个slave节点上输入jps可以看到已经在运行的datanode和jobtracker进程在master节点输入stop-all.sh可以停止集群运行如果遇到在slave节点上的进程运行一会就自动停止可能原因有两个： 1.系统防火墙阻止在各个节点上，切换到root用户使用命令 service iptables stop 成功会返回三个ok提示，关闭防火墙 2.先使用stop-all.sh停止集群在core-site.xml文件中配置的hadoop.tmp.dir的值，找到对应的路径删除里面的文件然后使用 hadoop namenode -format 重新格式化一下namenode 如果其实hadoop-name文件已经存在，找到这个文件夹，删除之，在重新格式化即可在使用start-all.sh启动集群以上每个步骤确保看到成功的提示（或者没有失败的提示）在配置过程中就是因为没有仔细看系统提示失败的操作一直以为是成功的导致浪费了大量的时间另外，操作使用的hadoop版本是0.20.2 如果出现其他的错误，可以到各个节点的hadoop目录下的logs文件件查看对应的日志文件在到网上自行百度之~ 启动完成之后在任意一个节点中打开浏览器输入一下网址可以通过WEB界面查看hadoop http://192.168.61.128:50030/（jobtracker的HTTP服务器地址和端口） http://192.168.61.128:50060/（taskertracker的HTTP服务器地址和端口） http://192.168.61.128:50070/（namenode的HTTP服务器地址和端口） http://192.168.61.128:50075/（datanode的HTTP服务器地址和端口） http://192.168.61.128:50090/（secondary namenode的HTTP服务器地址和端口）

2015-02-03

hadoop伪分布式安装

hadoop集群启动完成后输入命令jps 可以看到5个java进程分别是 NameNode SecondaryNameNode JobTracker TaskTracker DataNode 伪分布式安装启动完成

2015-02-02

分布式计算Hadoop简介

Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

2012-12-20

搭建HBase的本地模式、伪分布式、全分布式和HA模式

gt;file:///root/training/hbase-1.3.1/data</value> </property> </configuration> 2、伪分布式模式

2018-07-04

搞懂分布式技术开篇：浅析分布式系统的架构及常用方案

所谓的负载均衡，就是分布式系统与生俱来需要完成的功课。由于分布式系统，几乎是解决互联网业务承载量问题，的最基本方法，所以作为一个服务器端程序员，掌握分布式系统技术就变得异常重要了。

2018-06-18

WCF分布式开发步步为赢(1)：WCF分布式框架基础概念

下面介绍一下《WCF分布式开发步步为赢》系列文章的结构。

2017-11-05

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。