首页 文章 精选 留言 我的

精选列表

搜索[分布式账本],共10000篇文章
优秀的个人博客,低调大师

关于搭建haddoop分布式系统的全部过程复习

1\在vmware中更改了虚拟机的网络类型,--->NAT方式,(虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到) 2、根据这个交换机(网关)的地址,来设置我们的客户端windown7的ip(Vmnet8这块网卡) 3、启动linux主机,修改linux系统的ip地址(通过图形界面修改),修改完成之后在terminal(命令行终端)中切换到root用户执行命令重启网络服务来让ip生效 4/修改主机名: 在root身份下,用命令修改 vi /etc/sysconfig/network 把hostname改为 yun-10-1 5/添加主机名和ip的映射 在root身份下 vi /etc/hosts 添加一行 192.168.2.100 yun-10-1 6/讲hadoop这个用户添加到sudoers里面去 在root身份下 vi /etc/sudoers ,在文件中找到 root ALL=ALL ALL ,下面加一行hadoop的 7/停止防火墙服务 在root身份下 service iptables stop 8、关闭防火墙的自动启动 在root身份下 chkconfig iptables off 9、reboot 10/用ping命令检测一下windows主机和linux服务器之间的网络连通性 11、进入linux修改图形界面启动配置,不要再启动图形界面了,在root身份下, vi /etc/inittab 将其改为id:3:initdefault: 12/再次reboot,将不会启动到图形界面了 (当以后你想启动图形界面的时候可以在命令行下敲startx (init 5) ,在图形界面下你想关闭图形界面,敲命令init 3) ===========华丽的分割线============================= 1/用终端连接linux服务器进行软件的安装(用secureCRT来连接) 2/安装jdk --用filezilla工具上传jdk的压缩包 --解压jdk的压缩包到一个专门的安装目录下 /home/hadoop/app --在hadoop的主目录下敲命令 tar -zxvf jdk-7u65-linux-i586.tar.gz -C ./app --配置java的环境变量 sudo vi /etc/profile 在文件的最后添加: export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65 export PATH=$PATH:$JAVA_HOME/bin 3/让配置生效, source /etc/profile ===========帅酷的分割线============================= 1/用filezilla工具上传hadoop的安装包 2/把hadoop解压到app目录中去 tar -zxvf hadoop-2.4.1.tar.gz -C ./app/ 3/修改hadoop的5大配置文件,位置在 /home/hadoop/app/hadoop-2.4.1/etc/hadoop目录下 -- vi hadoop-env.sh 改其中的JAVA_HOME为我们安装jdk的路径JAVA_HOME=/home/hadoop/app/jdk1.7.0_65 -- vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://yun-10-1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/hadoop-2.4.1/tmp</value> </property> </configuration> -- vi hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> -- 先修改文件名 mv mapred-site.xml.template mapred-site.xml 在编辑 vi mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> -- vi yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>yun-10-1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 4/配置一下hadoop的环境变量 sudo vi /etc/profile =============优美的分割线==================== 1/无密登陆的配置 首先在客户端生成密钥对 ssh-keygen -t rsa 紧接着一直回车 然后在客户端拷贝公钥到远程 ssh-copy-id desthost 本文转自SummerChill博客园博客,原文链接:http://www.cnblogs.com/DreamDrive/p/4585771.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

高可用的分布式配置中心(Spring Cloud Config)

上一篇内容讲述,一个服务如何从配置中心读取文件,配置中心如何从远程Git读取配置文件,当服务很多时,都需要同时从配置中心读取文件的时候,这时我们可以考虑将配置中心做成一个微服务,并且将其集群化,从而达到高可用,架构图如下: 一、准备工作 继续使用上一篇文章的工程,创建一个eureka-server工程,用作服务中心。 其pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.forezp</groupId> <artifactId>eureka-server</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>eureka-server</name> <description>Demo project for Spring Boot</description> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka-server</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-dependencies</artifactId> <version>Dalston.RC1</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> <repositories> <repository> <id>spring-milestones</id> <name>Spring Milestones</name> <url>https://repo.spring.io/milestone</url> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> </project> 配置文件: server: port: 8889 eureka: instance: hostname: localhost client: registerWithEureka: false fetchRegistry: false serviceUrl: defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/ 入口类: @EnableEurekaServer @SpringBootApplication public class EurekaServerApplication { public static void main(String[] args) { SpringApplication.run(EurekaServerApplication.class, args); } } 二、改造config-server 在其pom.xml文件下: <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> </dependency> </dependencies> 配置文件,将其注册问服务: spring.application.name=config-server server.port=8888 spring.cloud.config.server.git.uri=https://github.com/forezp/SpringcloudConfig/ spring.cloud.config.server.git.searchPaths=respo spring.cloud.config.label=master spring.cloud.config.server.git.username= your username spring.cloud.config.server.git.password= your password eureka.client.serviceUrl.defaultZone=http://localhost:8889/eureka/ 三、改造config-client 将其注册微 eureka服务,pom文件配置: <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-config</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-eureka</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> 配置文件,bootstrap.properties spring.application.name=config-client spring.cloud.config.label=master spring.cloud.config.profile=dev #spring.cloud.config.uri= http://localhost:8888/ eureka.client.serviceUrl.defaultZone=http://localhost:8889/eureka/ spring.cloud.config.discovery.enabled=true spring.cloud.config.discovery.serviceId=config-server server.port=8881 spring.cloud.config.discovery.enabled 是非从配置中心读取文件spring.cloud.config.discovery.serviceId 配置中心的servieId,即服务名这时发现,在读取配置文件不再写ip地址,而是服务名,这时如果配置服务部署多份,通过负载均衡,从而高可用。 一次启动eureka-servr,config-server,config-client 访问网址:http://localhost:8889/ 访问http://localhost:8881/hi,浏览器显示: foo version 3 本文源码下载: https://github.com/forezp/SpringCloudLearning/tree/master/chapter7 文章来源:http://blog.csdn.net/forezp/article/details/70037513

优秀的个人博客,低调大师

分布式服务Dubbo从入门到"精通"之序言

最近微服务流行的一逼,大家一窝蜂的涌向spring_clould,很多不明所以然的朋友又是一顿各种配置,总算把spring_clould的一系列组件搭建好了。 不知那天,可能又会出来一个spring_sky,spring_rain,spring_wind之系列。然,大家就一直跟着屁股跑吧。 其实这里想跟大家说的是,技术框架是永远都学不完的。 如果大家不专注于底层原理,而是一味的追随,随着年龄的增长,同行的竞争力就会立马显现出来。 即使很多公司可能用不了多么高深的技术,但是相比之下,公司更理性和稳妥的做法是选择有深度的人,不是吗? Dubbo入门这里就不做过多的赘述了,官网有详细的讲解,之后的系列主要跟大家聊一聊官网是没有介绍的东西。 好了,言归正传,如果想深入了解Dubbo,建议把spring原理、Netty、redis、zookeeper 给走一遍,帮助还是极大的。 特别是Netty,推荐给大家阅读《Netty 实战》。 小站:https://blog.52itstyle.com

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册