首页 文章 精选 留言 我的

精选列表

搜索[集群],共10000篇文章
优秀的个人博客,低调大师

独家揭秘阿里云SQL Server AlwaysOn集群版重大突破

缘起 早在2015年的时候,随着阿里云业务突飞猛进的发展,SQLServer业务也积累了大批忠实客户,其中一些体量较大的客户在类似大促的业务高峰时RDS的单机规格(规格是按照 内存CPUIOPS 一定比例分配,根据底层资源不同都会有各自上限)已经不能满足用户的业务需求,在我们看来也需要做Scale Out了,但SQLServer并没有完备的中间件产品,所以无论是逻辑Sharding还是只读分离,都需要用户配合做应用改造,而从用户角度看Sharding改动量很大不是一时间能完成的,那么更多寄希望我们提供读写分离的方案来满足业务需求。 那么读写分离我们第一个想到的即是AlwaysOn技术,但由于当时AlwaysOn对域控和Windows群集都是强依赖,而这两者又对我们所依赖的基础设施有很大挑战,需要做很多的突破产品限制的非标准化操作才有可

优秀的个人博客,低调大师

100个容器周边项目,点亮你的容器集群技能树

扫码或点我直达 免费领 大规模的容器技术运用从来不是一项独立工程,而是一个汇集虚拟化技术、容器编排、任务调度、操作系统、容器仓库、跨节点网络、分布式存储、动态扩缩、负载均衡、日志监控、故障自恢复等系统性难题的复杂有机体。随着Docker的诞生和Google等互联网公司的推波助澜,这个领域出现了一大批优秀的开源项目,它们在简化容器技术使用成本的同时,也经常使得刚刚接触容器时间不太长的开发者和企业用户感到不知所措。 将知识分类是梳理零散信息的一种有效方式。对于容器技术的生态圈来说,其中涉及领域众多,有的项目横跨多个细分领域,有的项目则是针对特定场景需求定制的,难以对其功能类型做精确定义。不过,若仅考虑通用领域里的相关产品和工具,大致来说可以划分成14种主要类别。 以下将围绕容器生态,分别举例介绍这些类别中的典型开源项目,以及部分虽未开源但比

优秀的个人博客,低调大师

Hadoop集群(第10期副刊)_常用MySQL数据库命令

1、系统管理 1.1 连接MySQL 格式: mysql -h主机地址 -u用户名 -p用户密码 举例: 例1:连接到本机上的MySQL。 首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令"mysql –u root –p",回车后提示你输密码,如果刚安装好MySQL,超级用户"root"是没有密码的,故直接回车即可进入到MySQL中了,MySQL的提示符是: mysql>。 例2:连接到远程主机上的MYSQL。假设远程主机的IP为:110.110.110.110,用户名为root,密码为abcd123。则键入以下命令: mysql -h 110.110.110.110 -u root –p abcd123 备注:u与root可以不用加空格,其它也一样。 退出MySQL命令:exit(回车)。 1.2 修改新密码 格式:mysqladmin -u用户名 -p旧密码 password 新密码 举例: 例1:给root加个密码ab12。首先在DOS下进入目录mysqlbin,然后键入以下命令: mysqladmin -u root -password ab12 备注:因为开始时root没有密码,所以-p旧密码一项就可以省略了。 例2:再将root的密码改为djg345。 mysqladmin -u root -p ab12 password djg345 1.3 增加新用户 备注:和上面不同,下面的因为是MySQL环境中的命令,所以后面都带一个分号";"作为命令结束符。 格式:grant select on 数据库.* to 用户名@登录主机 identified by '密码' 举例: 例1:增加一个用户test1密码为abc,让他可以在任何主机上登录,并对所有数据库有查询、插入、修改、删除的权限。首先用以root用户连入MySQL,然后键入以下命令: grant select,insert,update,delete on *.* to test2@localhost identified by 'abc'; 或者 grant all privileges on *.* to test2@localhost identified by 'abc'; 然后刷新权限设置。 flush privileges; 例2:如果你不想test2有密码操作数据库"mydb"里的数据表,可以再打一个命令将密码消掉。 grant select,insert,update,delete onmydb.*to test2@localhost identified by ''; 1.4 启动停止MySQL 1)Windows环境下 首先进入DOS环境,然后进行下面操作。 启动服务 net start mysql 停止服务 net stop mysql 2)Linux环境下 启动服务 service mysql start 停止服务 service mysql stop 2、数据库操作 2.1 库操作 1)创建数据库 命令:create database <数据库名> 例如:建立一个名为xhkdb的数据库 mysql> create database xhkdb; 2)显示所有的数据库 命令:show databases (注意:最后有个s) mysql> show databases; 3)删除数据库 命令:drop database <数据库名> 例如:删除名为 xhkdb的数据库 mysql> drop database xhkdb; 4)连接数据库 命令: use <数据库名> 例如:如果xhkdb数据库存在,尝试存取它 mysql> use xhkdb; 屏幕提示:Database changed 5)查看当前使用的数据库 mysql> select database(); 6)当前数据库包含的表信息 mysql> show tables; (注意:最后有个s) 2.2 表操作 备注:操作之前使用"use <数据库名>"应连接某个数据库。 1)建表 命令:create table <表名> ( <字段名1> <类型1> [,..<字段名n> <类型n>]); mysql> create table MyClass( > id int(4) not null primary key auto_increment, > name char(20) not null, > sex int(4) not null default '0', > degree double(16,2)); 2)获取表结构 命令: desc 表名,或者show columns from 表名 mysql>DESCRIBE MyClass mysql> desc MyClass; mysql> show columns from MyClass; 3)删除表 命令:drop table <表名> 例如:删除表名为 MyClass 的表 mysql> drop table MyClass; 4)插入数据 命令:insert into <表名> [( <字段名1>[,..<字段名n > ])] values ( 值1 )[, ( 值n )] 例如:往表 MyClass中插入二条记录,这二条记录表示:编号为1的名为Tom的成绩为96.45,编号为2 的名为Joan 的成绩为82.99,编号为3 的名为Wang 的成绩为96.5。 mysql> insert into MyClass values(1,'Tom',96.45),(2,'Joan',82.99), (2,'Wang', 96.59); 5)查询表中的数据 查询所有行 命令: select <字段1,字段2,...> from < 表名 > where < 表达式 > 例如:查看表 MyClass 中所有数据 mysql> select * from MyClass; 查询前几行数据 例如:查看表 MyClass 中前2行数据 mysql> select * from MyClass order by id limit 0,2; 或者 mysql> select * from MyClass limit 0,2; 6)删除表中数据 命令:delete from 表名 where 表达式 例如:删除表 MyClass中编号为1 的记录 mysql> delete from MyClass where id=1; 7)修改表中数据 命令:update 表名 set 字段=新值,… where 条件 mysql> update MyClass set name='Mary' where id=1; 8)在表中增加字段 命令:alter table 表名 add字段 类型 其他; 例如:在表MyClass中添加了一个字段passtest,类型为int(4),默认值为0 mysql> alter table MyClass add passtest int(4) default '0' 9)更改表名 命令:rename table 原表名 to 新表名; 例如:在表MyClass名字更改为YouClass mysql> rename table MyClass to YouClass; 10)更新字段内容 命令:update 表名 set 字段名 = 新内容 update 表名 set 字段名 = replace(字段名,'旧内容','新内容'); 例如:文章前面加入4个空格 update article set content=concat(' ',content); 3、数据库导入导出 3.1 从数据库导出数据库文件 使用"mysqldump"命令 首先进入DOS界面,然后进行下面操作。 1)导出所有数据库 格式:mysqldump -u [数据库用户名] -p -A>[备份文件的保存路径] 2)导出数据和数据结构 格式:mysqldump -u [数据库用户名] -p [要备份的数据库名称]>[备份文件的保存路径] 举例: 例1:将数据库mydb导出到e:\MySQL\mydb.sql文件中。 打开开始à运行à输入"cmd",进入命令行模式。 c:\> mysqldump -h localhost -u root -p mydb >e:\MySQL\mydb.sql 然后输入密码,等待一会导出就成功了,可以到目标文件中检查是否成功。 例2:将数据库mydb中的mytable导出到e:\MySQL\mytable.sql文件中。 c:\> mysqldump -h localhost -u root -p mydb mytable>e:\MySQL\mytable.sql 例3:将数据库mydb的结构导出到e:\MySQL\mydb_stru.sql文件中。 c:\> mysqldump -h localhost -u root -p mydb --add-drop-table >e:\MySQL\mydb_stru.sql 备注:-h localhost可以省略,其一般在虚拟主机上用。 3)只导出数据不导出数据结构 格式:mysqldump -u [数据库用户名] -p -t [要备份的数据库名称]>[备份文件的保存路径] 4)导出数据库中的Events 格式:mysqldump -u [数据库用户名] -p -E [数据库用户名]>[备份文件的保存路径] 5)导出数据库中的存储过程和函数 格式:mysqldump -u [数据库用户名] -p -R [数据库用户名]>[备份文件的保存路径] 3.2 从外部文件导入数据库中 1)使用"source"命令 首先进入"mysql"命令控制台,然后创建数据库,然后使用该数据库。最后执行下面操作。 mysql>source [备份文件的保存路径] 2)使用"<"符号 首先进入"mysql"命令控制台,然后创建数据库,然后退出MySQL,进入DOS界面。最后执行下面操作。 mysql -u root –p < [备份文件的保存路径] 文章下载地址:http://files.cnblogs.com/xia520pi/HadoopCluster_Vol.10S.rar 如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。 如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。 如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【虾皮csAxp】。 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 本文转自虾皮博客园博客,原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/18/2553708.html

优秀的个人博客,低调大师

Hadoop集群(第5期副刊)_JDK和SSH无密码配置

1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车。之后会在当前目录下生成一个jdk1.6.0_14目录,你可以将它复制到 任何一个目录下。 1.3 需要配置的环境变量 1)PATH环境变量 作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把 jdk安装目录下的bin目录增加到现有的PATH变量中,bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待,设置好 PATH变量后,就可以在任何目录下执行javac/java等工具了。 2)CLASSPATH环境变量 作用是指定类搜索路径,要使用已经编写好的类,前提当然是能够找到它们了,JVM就是通过CLASSPTH来寻找类的。我们 需要把jdk安装目录下的lib子目录中的dt.jar和tools.jar设置到CLASSPATH中,当然,当前目录"."也必须加入到该变量中。 3)JAVA_HOME环境变量 它指向jdk的安装目录,Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。 1.4 三种配置环境变量的方法 1)修改/etc/profile文件 如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。 用文本编辑器打开/etc/profile 在profile文件末尾加入: export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 重新登录 注解 a. 你要将 /usr/share/jdk1.6.0_14改为你的jdk安装目录 b. linux下用冒号":"来分隔路径 c. $PATH / $CLASSPATH / $JAVA_HOME 是用来引用原来的环境变量的值 在设置环境变量时特别要注意不能把原来的值给覆盖掉了,这是一种 常见的错误。 d. CLASSPATH中当前目录"."不能丢,把当前目录丢掉也是常见的错误。 e. export是把这三个变量导出为全局变量。 f. 大小写必须严格区分。 2)修改.bash_profile文件 这种方法更为安全,它可以把使用这些环境变量的权限控制到用户级别,如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了。 用文本编辑器打开用户目录下的.bash_profile文件 在.bash_profile文件末尾加入: export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 重新登录 3)直接在shell下设置变量 不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。 只需在shell终端执行下列命令: export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 1.5 测试jdk 1)用文本编辑器新建一个Test.java文件,在其中输入以下代码并保存: public class test { public static void main(String args[]) { System.out.println("A new jdk test !"); } } 2)编译: 在shell终端执行命令 javac Test.java 3)运行: 在shell终端执行命令 java Test 当shell下出现"A new jdk test !"字样则jdk运行正常。 1.6 卸载jdk 找到jdk安装目录的_uninst子目录 在shell终端执行命令./uninstall.sh即可卸载jdk。 2、配置OpenSSH无密码登陆 2.1 原文出处 地址:http://www.iteye.com/topic/421608 2.2 文章序言 最近在搭建Hadoop环境需要设置无密码登陆,所谓无密码登陆其实是指通过证书认证的方式登陆,使用一种被称为"公私钥"认证的方式来进行ssh登录。 在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。 " 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)。然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了。 在Ubuntu和Cygwin 配置都很顺利,而在Centos系统中配置时遇到了很多问题。故此文以Centos(Centos5 ) 为例详细讲解如何配置证书验证登陆,具体操作步骤如下: 2.3 确认系统已经安装好OpenSSH的server 和client 安装步骤这里不再讲述,不是本文的重点。 2.4 确认本机sshd的配置文件(root) $ vi /etc/ssh/sshd_config 找到以下内容,并去掉注释符"#" RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys 2.5 如果修改了配置文件需要重启sshd服务(root) $ vi /sbin/service sshd restart 2.6 ssh登陆系统 后执行测试命令 $ ssh localhost 回车会提示你输入密码,因为此时我们还没有生成证书。 2.7 生成证书公私钥的步骤 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 2.8 测试登陆 ssh localhost $ ssh localhost 正常情况下会登陆成功,显示一些成功登陆信息,如果失败请看下面的"一般调试步骤"。 2.9 一般调试步骤 本人在配置时就失败了,按照以上步骤依旧提示要输入密码。于是用ssh -v 显示详细的登陆信息查找原因: $ ssh -v localhost 回车显示了详细的登陆信息如下: 。。。。。。省略 debug1: Authentications that can continue: publickey,gssapi-with-mic,password debug1: Next authentication method: gssapi-with-mic debug1: Unspecified GSS failure. Minor code may provide more information Unknown code krb5 195 debug1: Unspecified GSS failure. Minor code may provide more information Unknown code krb5 195 debug1: Unspecified GSS failure. Minor code may provide more information Unknown code krb5 195 debug1: Next authentication method: publickey debug1: Trying private key: /home/huaxia/.ssh/identity debug1: Trying private key: /home/huaxia/.ssh/id_rsa debug1: Offering public key: /home/huaxia/.ssh/id_dsa debug1: Authentications that can continue: publickey,gssapi-with-mic,password debug1: Next authentication method: password huaxia@localhost's password: 同时用root用户登陆查看系统的日志文件: $tail /var/log/secure -n 20 。。。。。。省略 Jul 13 11:21:05 shnap sshd[3955]: Accepted password for huaxia from 192.168.8.253 port 51837 ssh2 Jul 13 11:21:05 shnap sshd[3955]: pam_unix(sshd:session): session opened for user huaxia by (uid=0) Jul 13 11:21:47 shnap sshd[4024]: Connection closed by 127.0.0.1 Jul 13 11:25:28 shnap sshd[4150]:Authentication refused: bad ownership or modes for file /home/huaxia/.ssh/authorized_keys Jul 13 11:25:28 shnap sshd[4150]:Authentication refused: bad ownership or modes for file /home/huaxia/.ssh/authorized_keys Jul 13 11:26:30 shnap sshd[4151]: Connection closed by 127.0.0.1 。。。。。。省略 从上面的日志信息中可知文件/home/huaxia/.ssh/authorized_keys的权限有问题。 查看/home/huaxia/.ssh/下文件的详细信息如下: $ ls -lh ~/.ssh/ 总计 16K -rw-rw-r-- 1 huaxia huaxia 602 07-13 11:22 authorized_keys -rw------- 1 huaxia huaxia 672 07-13 11:22 id_dsa -rw-r--r-- 1 huaxia huaxia 602 07-13 11:22 id_dsa.pub -rw-r--r-- 1 huaxia huaxia 391 07-13 11:21 known_hosts 修改文件authorized_keys的权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能): $ chmod 600 ~/.ssh/authorized_keys 再次测试登陆如下: $ ssh localhost Last login: Wed Jul 13 14:04:06 2011 from 192.168.8.253 看到这样的信息表示已经成功实现了本机的无密码登陆。 2.10 认证登陆远程服务器 备注:远程服务器OpenSSH的服务当然要启动。 拷贝本地生产的key到远程服务器端(两种方法) 1)方法一: $cat ~/.ssh/id_rsa.pub | ssh 远程用户名@远程服务器ip 'cat - >> ~/.ssh/authorized_keys' 2)方法二: 在本机上执行: $ scp ~/.ssh/id_dsa.pub michael@192.168.8.148:/home/michael/ 登陆远程服务器michael@192.168.8.148 后执行: $ cat id_dsa.pub >> ~/.ssh/authorized_keys 本机远程登陆192.168.8.148的测试: $ssh michael@192.168.8.148 Linux michael-VirtualBox 2.6.35-22-generic #33-Ubuntu SMP Sun Sep 19 20:34:50 UTC 2010 i686 GNU/Linux Ubuntu 10.10 Welcome to Ubuntu! * Documentation: https://help.ubuntu.com/ 216 packages can be updated. 71 updates are security updates. New release 'natty' available. Run 'do-release-upgrade' to upgrade to it. Last login: Wed Jul 13 14:46:37 2011 from michael-virtualbox michael@michael-VirtualBox:~$ 可见已经成功登陆。 如果登陆测试不成功,需要修改远程服务器192.168.8.148上的文件authorized_keys的权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能) chmod600~/.ssh/authorized_keys 文章下载地址:http://files.cnblogs.com/xia520pi/HadoopCluster_Vol.5S.rar 如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。 如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。 如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【虾皮csAxp】。 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 本文转自虾皮博客园博客,原文链接:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504132.html

优秀的个人博客,低调大师

Elasticsearch之marvel(集群管理、监控)插件安装之后的浏览详解

比如,我的这里是 http://192.168.80.145:5601/app/kibana 1、概览 若大家,在这一步,出现了。 则, Kibana里No Marvel Data Found问题解决(图文详解) 然后, 更多,大家自行去看吧。多玩玩,就会熟悉了。 本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6613597.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

Centos7.3安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群

前言 本文是以前辈文档做基础,配上了自己(蓝色字体)安装过程的一些理解和解决办法 原文档连接:https://www.yp14.cn/2016/12/09/Centos7-2%E5%AE%89%E8%A3%85Ambari2-4-2-HDP2-5-3%E6%90%AD%E5%BB%BAHadoop%E9%9B%86%E7%BE%A4/ 官方搭建文档:https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/ch_Getting_Ready.html 离线搭建yum源,包下载列表:https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/hdp_25_repositories.html 适合系统:RedHat 7 CentOS 7 Oracle Linux 7 本机环境: 系统版本:CentOS Linux release 7.3.1611 $后是可直接输入的指令 一、 环境准备 1、主机 172.19.80.1 SY-001.hadoop(这台安装ambari,作为管理其它节点的主节点) 172.19.80.2 SY-002.hadoop 172.19.80.3 ambari-mysql 2、安装基础环境 (在主机SY-001.hadoop,SY-002.hadoop,SY-003.hadoop部署) (1)安装基本包 $ yum install openssh wget vim openssh-clients openssl gcc openssh-server mysql-connector-odbc -y $ systemctl enable sshd && systemctl start sshd (2)安装mysql jdbc 驱动 $ yum install mysql-connector-java -y (3)安装JDK 版本要求: Oracle JDK 1.8 64-bit (minimum JDK 1.8.0_77) (default) Oracle JDK 1.7 64-bit (minimum JDK 1.7_67) OpenJDK 8 64-bit (not supported on SLES) OpenJDK 7 64-bit (not supported on SLES) $ mkdir /usr/local/src/Ambari/ $ wget http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz?AuthParam=1480914946_a78f7ba2e70d2f0abed0b0af73c74214 (若下载连接无效,可在百度网盘下载,链接:http://pan.baidu.com/s/1c1Hv8o4 密码:bbgx) $ mkdir -p /opt/java/ && tar xf jdk-8u112-linux-x64.tar.gz -C /opt/java $ vim /etc/profile 添加下面内容: export JAVA_HOME=/opt/java/jdk1.8.0_112 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$HOME/bin:$JAVA_HOME/bin $ source /etc/profile (4)配置SSH免密码登录 主节点里root用户登录执行如下步骤 $ ssh-keygen $ cd ~/.ssh/ $ cat id_rsa.pub >> authorized_keys $ ssh root@172.19.80.2 cat ~/.ssh/id_rsa.pub>> authorized_keys $ ssh root@172.19.80.3 cat ~/.ssh/id_rsa.pub>> authorized_keys $ scp authorized_keys 172.19.80.2:/~/.ssh (把这个文件复制给其它两台) $ scp authorized_keys 172.19.80.3:/~/.ssh $ chmod 600 ~/.ssh/authorized_keys (5)开启NTP服务$ yum -y install ntp$ systemctl is-enabled ntpd$ systemctl enable ntpd$ systemctl start ntpd(6)检查DNS和NSCDambari在安装时需要配置全域名,所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)$ cat /etc/hosts172.19.80.1 SY-001.hadoop172.19.80.2 SY-002.hadoop172.19.80.3 ambari-mysql(7)每台节点里配置FQDN,如下以主节点为例$ cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=SY-001.hadoop(8)关闭防火墙和SELinux$ systemctl disable firewalld$ systemctl stop firewalld临时关闭,不用重启机器:$ setenforce 0修改配置文件让机器重启也生效:$ cat /etc/sysconfig/selinuxSELINUX=disabled 二、搭建数据库(在主机ambari-mysql上部署) Ambari安装会将安装等信息写入数据库,建议使用自己安装的Mysql数据库,也可以不安装而使用默认数据库PostgreSQL 版本要求: - PostgreSQL 8 - PostgreSQL 9.1.13+,9.3, 9.4*** - MariaDB 10* - MySQL 5.6 - Oracle 11gr2 - Oracle 12c** 按你系统来选择源:http://downloads.mariadb.org/mariadb/repositories/ Here is your custom MariaDB YUM repository entry for CentOS. Copy and paste it into a file under /etc/yum.repos.d/ (we suggest naming the file MariaDB.repo or something similar). # MariaDB 10.1 CentOS repository list - created 2016-12-09 06:03 UTC # http://downloads.mariadb.org/mariadb/repositories/ [mariadb] name = MariaDB baseurl = http://yum.mariadb.org/10.1/centos7-amd64 gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB gpgcheck=1 After the file is in place, install MariaDB with: $ sudo yum install MariaDB-server MariaDB-client If you haven't already accepted the MariaDB GPG key, you will be prompted to do so. See "Installing MariaDB with yum" for detailed information. -------------------------------数据库登陆解决方法---------------------------------------- 备注:如果部署完数据库,root登陆时报如下错误,可以这样解决 [root@Centos7T ~]#mysql -uroot -p Enter password: ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 解决方法: #systemctl stop mariadb #systemctl set-environmentMYSQLD_OPTS="--skip-grant-tables"(跳过密码登陆) #systemctl start mariadb && systemctl status mariadb(启动,查看启动状态) #mysql -u root Welcome to the MariaDBmonitor. Commands end with ; or \g. Your MariaDB connection id is 14 Server version: 10.2.8-MariaDB MariaDB Server Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the currentinput statement. MariaDB [(none)]> MariaDB [(none)]> USE mysql; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed MariaDB [mysql]> UPDATE user SET password=PASSWORD('NewPassword') WHERE User='root' AND Host = 'localhost'; Query OK, 1 row affected (0.01 sec) Rows matched: 1 Changed: 1 Warnings: 0 MariaDB [mysql]> FLUSHPRIVILEGES; Query OK, 0 rows affected (0.00 sec) MariaDB [mysql]> exit; Bye 还没解决完,要取消跳过密码登陆,否则等于没改一样 systemctl stop mariadb #systemctl unset-environment MYSQLD_OPTS(取消跳过密码登陆) #systemctl start mariadb && systemctl status mariadb 至此就可以用mysql -u root -p,输入刚设置NewPassword(密码随自己改)的密码登陆了 ----------------------------------数据库登陆解决方法----------------------------------------- 安装完成后创建ambari数据库及用户,登录root用户执行下面语句: create database ambari character set utf8 ; CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123'; GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%'; FLUSH PRIVILEGES; 如果要安装Hive,再创建Hive数据库和用户 再执行下面的语句: create database hive character set utf8 ; CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123'; GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%'; FLUSH PRIVILEGES; 如果要安装Oozie,再创建Oozie数据库和用户 再执行下面的语句: create database oozie character set utf8 ; CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123'; GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%'; FLUSH PRIVILEGES; 三、制作本地源 (在SY-001.hadoop部署) 下载 Ambari HDP HDP-UTILS 源包(文件很大,需要很长下载时间,请耐心等待。。。) $ cd /usr/local/src/Ambari/ $ wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz $ wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz $ wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz 安装本地源制作相关工具 $ yum install yum-utils createrepo -y 安装httpd服务 $ yum install httpd -y $ systemctl enable httpd && systemctl start httpd $ cd /var/www/html/ && mkdir ambari $ cd /usr/local/src/Ambari/ $ tar xf ambari-2.4.2.0-centos7.tar.gz -C /var/www/html/ambari/ $ tar xf HDP-2.5.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/ $ tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/ 验证httd网站是否可用,可以使用links 命令或者浏览器直接访问下面的地址: $ links http://172.19.80.2/ambari/ 结果是看到刚才解压的目录 配置ambari、HDP、HDP-UTILS的本地源 首先下载上面资源列表中的相应repo文件,修改其中的URL为本地的地址,相关配置如下: $ cd /etc/yum.repos.d/ $ cat ambari.repo #VERSION_NUMBER=2.4.2.0-136 [Updates-ambari-2.4.2.0] name=ambari-2.4.2.0 - Updates baseurl=http://172.19.80.1/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136 gpgcheck=1 gpgkey=http://172.19.80.1/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 $ cat hdp.repo #VERSION_NUMBER=2.5.3.0 [HDP-2.5.3.0] name=HDP Version - HDP-2.5.3.0 baseurl=http://172.19.80.1/ambari/HDP/centos7/2.x/updates/2.5.3.0 gpgcheck=1 gpgkey=http://172.19.80.1/ambari/HDP/centos7/2.x/updates/2.5.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [HDP-UTILS-1.1.0.21] name=HDP Utils Version - HDP-UTILS-1.1.0.21 baseurl=http://172.19.80.1/ambari/HDP-UTILS-1.1.0.21/repos/centos7 gpgcheck=1 gpgkey=http://172.19.80.1/ambari/HDP/centos7/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 备注:红色标记的路径需要根据自己的实际解压路径来,否则makecache不能成功 $ yum clean all $ yum makecache $ yum repolist 四、安装Ambari (在SY-001.hadoop部署) 安装Ambari $ yum install ambari-server -y 配置Ambari $ ambari-server setup 下面是配置执行流程,按照提示操作 (1) 提示是否自定义设置。输入:y Customize user account for ambari-server daemon [y/n] (n)? y (2)ambari-server 账号。输入:ambari Enter user account for ambari-server daemon (root):ambari Adjusting ambari-server permissions and ownership... (3)设置JDK。输入:3 Checking JDK... Do you want to change Oracle JDK [y/n] (n)? y [] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 [] Custom JDK ============================================================================== Enter choice (1): 3 (4)如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入:/opt/java/jdk1.8.0_112 WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts. Path to JAVA_HOME: /opt/java/jdk1.8.0_112 Validating JDK on Ambari Server...done. Completing setup... (5)数据库配置。选择:y Configuring database... Enter advanced database configuration [y/n] (n)? y (6)选择数据库类型。输入:3 Configuring database... ============================================================================== Choose one of the following options: [1] - PostgreSQL (Embedded) [2] - Oracle [3] - MySQL [4] - PostgreSQL [5] - Microsoft SQL Server (Tech Preview) [6] - SQL Anywhere ============================================================================== Enter choice (3): 3 (7)设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。 Hostname (localhost):(是ambari-mysql安装了数据库那台的主机名) Port (3306): Database name (ambari): Username (ambari): Enter Database Password (Ambari-123): (8)将Ambari数据库脚本导入到数据库 如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本 用Ambari用户(上面设置的用户)登录mysql mysql -u ambari -p use ambari source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 备注,如果此命令不能执行,就直接将sy-001.hadoop主机的/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql,这个目录下的文件发送给ambari ambari-mysql主机没这个目录,就mkdir -p 建立同样的目录 (9)启动Amabri $ ambari-server start (10)成功启动后在浏览器输入Ambari地址:http://sy-001.hadoop:8080/ 五、使用Ambari界面安装Hadoop、Hbase、Log Search服务 1、出现登录界面,默认管理员账户登录, 账户:admin 密码:admin 2、登录成功后出现下面的界面,至此Ambari的安装成功 到这里,ambari就装完了,剩下的配置可以去看原文档(文章开头有地址),也需要根据业务需求再装,就不详细说了

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册