搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

Oozie分布式任务的工作流——Spark篇

Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。

2017-12-03

Hadoop初体验：快速搭建Hadoop伪分布式环境

本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建，以达到快速搭建的目的，从而体验Hadoop的魅力所在，为后面的继续学习提供基础环境。

2017-11-26

基于消息与.Net Remoting的分布式处理架构

分布式处理在大型企业应用系统中，最大的优势是将负载分布。通过多台服务器处理多个任务，以优化整个系统的处理能力和运行效率。分布式处理的技术核心是完成服务与服务之间、服务端与客户端之间的通信。

2017-11-22

日志系统之基于Zookeeper的分布式协同设计

最近这段时间在设计和实现日志系统，在整个日志系统系统中Zookeeper的作用非常重要——它用于协调各个分布式组件并提供必要的配置信息和元数据。这篇文章主要分享一下Zookeeper的使用场景。

2017-11-20

关于hadoop2.4.1伪分布式系统的搭建

/profile 3.安装hadoop2.4.1 先上传hadoop的安装包到服务器上去/home/hadoop/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改

2017-11-13

Linux下的Hadoop--分布式模式的部署

文章转自：http://hi.baidu.com/lvmajia/blog/item/34239486e58ffe3466096eea.html Linux下的Hadoop--分布式模式的部署选用软件版本

2017-11-11

hadoop之 Zookeeper 分布式应用程序协调服务

(1) Zookeeper 在 Hadoop 集群中的作用 Zookeeper 是分布式管理协作框架，Zookeeper 集群用来保证 Hadoop 集群的高可用，（高可用的含义是：集群中就算有一部分服务器宕机

2017-11-11

分布式文件系统比较、适用领域、原理、选型

于是我开始寻找一个真正的分布式文件系统，来解决我的存储难题。一找才发现，市面上各种分布式文件系统品种繁多，层出不穷。

2017-11-07

Ubuntu14.04安装分布式存储sheepdog+zookeeper

Ubuntu14.04安装分布式存储sheepdog+zookeeper 牧羊犬(Sheepdog) 是由NTT的3名日本研究员开发的开源项目，提供分布式存储管理功能。

2017-11-06

1\在vmware中更改了虚拟机的网络类型，--->NAT方式，（虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到） 2、根据这个交换机（网关）的地址，来设置我们的客户端windown7的ip（Vmnet8这块网卡） 3、启动linux主机,修改linux系统的ip地址（通过图形界面修改），修改完成之后在terminal（命令行终端）中切换到root用户执行命令重启网络服务来让ip生效 4/修改主机名：在root身份下，用命令修改 vi /etc/sysconfig/network 把hostname改为 yun-10-1 5/添加主机名和ip的映射在root身份下 vi /etc/hosts 添加一行 192.168.2.100 yun-10-1 6/讲hadoop这个用户添加到sudoers里面去在root身份下 vi /etc/sudoers ，在文件中找到 root ALL=ALL ALL ，下面加一行hadoop的 7/停止防火墙服务在root身份下 service iptables stop 8、关闭防火墙的自动启动在root身份下 chkconfig iptables off 9、reboot 10/用ping命令检测一下windows主机和linux服务器之间的网络连通性 11、进入linux修改图形界面启动配置，不要再启动图形界面了，在root身份下， vi /etc/inittab 将其改为id:3:initdefault: 12/再次reboot，将不会启动到图形界面了（当以后你想启动图形界面的时候可以在命令行下敲startx (init 5) ，在图形界面下你想关闭图形界面，敲命令init 3） ===========华丽的分割线============================= 1/用终端连接linux服务器进行软件的安装（用secureCRT来连接） 2/安装jdk --用filezilla工具上传jdk的压缩包 --解压jdk的压缩包到一个专门的安装目录下 /home/hadoop/app --在hadoop的主目录下敲命令 tar -zxvf jdk-7u65-linux-i586.tar.gz -C ./app --配置java的环境变量 sudo vi /etc/profile 在文件的最后添加： export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65 export PATH=$PATH:$JAVA_HOME/bin 3/让配置生效, source /etc/profile ===========帅酷的分割线============================= 1/用filezilla工具上传hadoop的安装包 2/把hadoop解压到app目录中去 tar -zxvf hadoop-2.4.1.tar.gz -C ./app/ 3/修改hadoop的5大配置文件，位置在 /home/hadoop/app/hadoop-2.4.1/etc/hadoop目录下 -- vi hadoop-env.sh 改其中的JAVA_HOME为我们安装jdk的路径JAVA_HOME=/home/hadoop/app/jdk1.7.0_65 -- vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://yun-10-1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/hadoop-2.4.1/tmp</value> </property> </configuration> -- vi hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> -- 先修改文件名 mv mapred-site.xml.template mapred-site.xml 在编辑 vi mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> -- vi yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>yun-10-1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 4/配置一下hadoop的环境变量 sudo vi /etc/profile =============优美的分割线==================== 1/无密登陆的配置首先在客户端生成密钥对 ssh-keygen -t rsa 紧接着一直回车然后在客户端拷贝公钥到远程 ssh-copy-id desthost 本文转自SummerChill博客园博客，原文链接：http://www.cnblogs.com/DreamDrive/p/4585771.html，如需转载请自行联系原作者

2017-11-02

一脸懵逼搭建Zookeeper分布式集群

： 8：至此，Zookerper集群就启动起来了，然后就可以通过java的api往里面写数据，注入分布式应用让Zookerper协调的数据，或者使用命令行的客户端zkCli.sh模式，zkCli.sh连到集群上面去访问数据

2017-10-11

Shopify构建分布式可扩展应用的最佳实践

本文讲的是 Shopify构建分布式可扩展应用的最佳实践，【编者的话】在构建大型分布式系统应用时，如何降低不同部分之间的依赖，增强系统的弹性，电商解决方案提供商 Shopify 给出了解决方法。

2017-09-27

分布式系统的那些事儿（六） - SOA架构体系

那么今天继续说分布式系统的那些事。我们现在动不动就讲分布式吧？那么SOA是不是必须得聊一聊呢？

2017-09-11

大规模分布式存储系统原理与架构

概述 分布式存储概念 分布式存储系统是大量普通 PC 服务器通过 Internet 互联，对外作为一个整体提供存储服务。

2017-09-04

分布式ESB: 商业银行SOA演进新路径

神州数码融信软件有限公司（神州信息旗下企业）就提出了云中的ESB和分布式ESB。其实，说到神州数码融信软件有限公司，其在SOA领域颇有影响。

2017-09-04

高可用的分布式配置中心(Spring Cloud Config)

上一篇内容讲述，一个服务如何从配置中心读取文件，配置中心如何从远程Git读取配置文件，当服务很多时，都需要同时从配置中心读取文件的时候，这时我们可以考虑将配置中心做成一个微服务，并且将其集群化，从而达到高可用，架构图如下：一、准备工作继续使用上一篇文章的工程，创建一个eureka-server工程，用作服务中心。其pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.forezp</groupId> <artifactId>eureka-server</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>eureka-server</name> <description>Demo project for Spring Boot</description> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version> <relativePath/>  </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka-server</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-dependencies</artifactId> <version>Dalston.RC1</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> <repositories> <repository> <id>spring-milestones</id> <name>Spring Milestones</name> <url>https://repo.spring.io/milestone</url> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> </project> 配置文件： server: port: 8889 eureka: instance: hostname: localhost client: registerWithEureka: false fetchRegistry: false serviceUrl: defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/ 入口类： @EnableEurekaServer @SpringBootApplication public class EurekaServerApplication { public static void main(String[] args) { SpringApplication.run(EurekaServerApplication.class, args); } } 二、改造config-server 在其pom.xml文件下: <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> </dependency> </dependencies> 配置文件,将其注册问服务： spring.application.name=config-server server.port=8888 spring.cloud.config.server.git.uri=https://github.com/forezp/SpringcloudConfig/ spring.cloud.config.server.git.searchPaths=respo spring.cloud.config.label=master spring.cloud.config.server.git.username= your username spring.cloud.config.server.git.password= your password eureka.client.serviceUrl.defaultZone=http://localhost:8889/eureka/ 三、改造config-client 将其注册微 eureka服务，pom文件配置： <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-config</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> 配置文件，bootstrap.properties spring.application.name=config-client spring.cloud.config.label=master spring.cloud.config.profile=dev #spring.cloud.config.uri= http://localhost:8888/ eureka.client.serviceUrl.defaultZone=http://localhost:8889/eureka/ spring.cloud.config.discovery.enabled=true spring.cloud.config.discovery.serviceId=config-server server.port=8881 spring.cloud.config.discovery.enabled 是非从配置中心读取文件spring.cloud.config.discovery.serviceId 配置中心的servieId，即服务名这时发现，在读取配置文件不再写ip地址，而是服务名，这时如果配置服务部署多份，通过负载均衡，从而高可用。一次启动eureka-servr,config-server,config-client 访问网址：http://localhost:8889/ 访问http://localhost:8881/hi，浏览器显示： foo version 3 本文源码下载： https://github.com/forezp/SpringCloudLearning/tree/master/chapter7 文章来源：http://blog.csdn.net/forezp/article/details/70037513

2017-08-13

万亿级数据洪峰下的分布式消息引擎

在首届阿里巴巴中间件峰会上，来自阿里的中间件架构师，Apache RocketMQ创始人冯嘉分享了《万亿级数据洪峰下的分布式消息引擎》。

2017-08-08

基于 Spring + Dubbo 开发分布式REST服务实战

5.课程中详细演示了一个应用从单块架构到垂直应用架构再到分布式服务架构的演进过程。讲解了如何在前后端分离的架构下设计RESTful API。

2017-08-07

微服务架构下的分布式数据管理

1.2 分布式数据管理之举措在介绍分布式数据管理(CRUD)解决方案之前，有必要介绍下CAP原理和最终一致性相关概念。

2017-08-01

微服务架构的分布式事务解决方案

分布式系统架构中，分布式事务问题是一个绕不过去的挑战。而微服务架构的流行，让分布式事问题日益突出！下面我们以电商购物支付流程中，在各大参与者系统中可能会遇到分布式事务问题的场景进行详细的分析！

2017-07-31

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。