首页 文章 精选 留言 我的

精选列表

搜索[服务器],共10007篇文章
优秀的个人博客,低调大师

搭建Spark集群服务器

tidb1.0开始支持spark,有个组件tiSpark,不过目前只支持spark2.1版本。所以为了启用tiSpark,还需搭建spark集群。 在官网下载地址http://spark.apache.org/downloads.html上,我找到了with hadoop的版本。如下图: 下载地址:https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 目前手中有4台资源决定选用其中三台搭建spark集群,一台master,两台slave链接如下: 域名 IP 主从关系 tidb1 192.168.122.16 Master tidb2 192.168.122.18 Slave tidb3 192.168.122.19 Slave 顺便说一下,centos7的hostname设定和之前版本已经不一样了。现在只需输入以下命令指定 hostnamectl set-hostname name name就是你需要指定的hostname 将压缩包下载后,分别上传至三台server的/usr/local目录下,并解压 cd /usr/localtar zxvf spark-2.1.1-bin-hadoop2.7.tgz 准备 在搭建集群环境之前,首先要做的事情是让这三台机器可以互相免密登陆 编辑/etc/hosts 编辑三台server的/etc/hosts 编辑后内容如下: #127.0.0.1 localhost tidb1 localhost4 localhost4.localdomain4#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6#216.176.179.218 mirrorlist.centos.org192.168.122.16 tidb1192.168.122.18 tidb2192.168.122.19 tidb3 注意:第一行一定要注释,我在安装过程中,spark启动后,日志文件报错,就是因为它没有去找我下面指定的ip和域名,而是老是去连接127.0.0.1 然后让它们生效 source /etc/hosts 安装ssh和rsync 可以通过下面命令查看是否已经安装: rpm -qa|grep opensshrpm -qa|grep rsync 如果没有安装ssh和rsync,可以通过下面命令进行安装: yum install ssh yum install rsync service sshd restart 配置Master无密码登录所有Salve tidb1节点的配置操作 以下是在tidb1节点的配置操作。 1)在tidb1节点上生成密码对,在tidb1节点上执行以下命令: ssh-keygen -t rsa -P '' 生成的密钥对:id_rsa和id_rsa.pub,默认存储在"/root/.ssh"目录下。 2)接着在tidb1节点上做如下配置,把id_rsa.pub追加到授权的key里面去 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3)修改ssh配置文件"/etc/ssh/sshd_config"的下列内容,将以下内容的注释去掉 # 启用 RSA 认证RSAAuthentication yes # 启用公钥私钥配对认证方式PubkeyAuthentication yes # 公钥文件路径(和上面生成的文件同)AuthorizedKeysFile .ssh/authorized_keys 4)重启ssh服务,才能使刚才设置有效。 service sshd restart 5)验证无密码登录本机是否成功 ssh tidb1 6)接下来的就是把公钥复制到所有的Slave机器上。使用下面的命令进行复制公钥: scp /root/.ssh/id_rsa.pub root@tidb2:/root/scp /root/.ssh/id_rsa.pub root@tidb3:/root/ tidb2节点的配置操作 1)在"/root/"下创建".ssh"文件夹,如果已经存在就不需要创建了 mkdir /root/.ssh 2)将tidb1的公钥追加到tidb2的授权文件"authorized_keys"中去 cat /root/id_rsa.pub >> /root/.ssh/authorized_keys 3)修改ssh配置文件"/etc/ssh/sshd_config"的下列内容,将以下内容的注释去掉 # 启用 RSA 认证RSAAuthentication yes # 启用公钥私钥配对认证方式PubkeyAuthentication yes # 公钥文件路径(和上面生成的文件同)AuthorizedKeysFile .ssh/authorized_keys 4)重启ssh服务,才能使刚才设置有效 service sshd restart 5)切换到tidb1使用ssh无密码登录tidb2 ssh tidb2 6)把"/root/"目录下的"id_rsa.pub"文件删除掉 rm –r /root/id_rsa.pub tidb3节点的配置操作 1)在"/root/"下创建".ssh"文件夹,如果已经存在就不需要创建了 mkdir /root/.ssh 2)将tidb1的公钥追加到tidb3的授权文件"authorized_keys"中去 cat /root/id_rsa.pub >> /root/.ssh/authorized_keys 3)修改ssh配置文件"/etc/ssh/sshd_config"的下列内容,将以下内容的注释去掉 # 启用 RSA 认证RSAAuthentication yes # 启用公钥私钥配对认证方式PubkeyAuthentication yes # 公钥文件路径(和上面生成的文件同)AuthorizedKeysFile .ssh/authorized_keys 4)重启ssh服务,才能使刚才设置有效 service sshd restart 5)切换到tidb1使用ssh无密码登录tidb3 ssh tidb3 6)把"/root/"目录下的"id_rsa.pub"文件删除掉 rm –r /root/id_rsa.pub 配置所有Slave无密码登录Master tidb2节点的配置操作 1)创建tidb2自己的公钥和私钥,并把自己的公钥追加到"authorized_keys"文件中,执行下面命令 ssh-keygen -t rsa -P ''cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 2)将tidb2节点的公钥"id_rsa.pub"复制到tidb1节点的"/root/"目录下 scp /root/.ssh/id_rsa.pub root@tidb1:/root/ tidb1节点的配置操作 1)将tidb2的公钥追加到tidb1的授权文件"authorized_keys"中去 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 2)删除tidb2复制过来的"id_rsa.pub"文件 rm –r /root/id_rsa.pub 配置完成后测试从tidb2到tidb1无密码登录 ssh tidb1 tidb3节点的配置操作 1)创建tidb3自己的公钥和私钥,并把自己的公钥追加到"authorized_keys"文件中,执行下面命令: ssh-keygen -t rsa -P ''cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 2)将tidb3节点的公钥"id_rsa.pub"复制到tidb1节点的"/root/"目录下 scp /root/.ssh/id_rsa.pub root@tidb1:/root/ tidb1节点的配置操作。 1)将tidb3的公钥追加到tidb1的授权文件"authorized_keys"中去 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 2)删除tidb3复制过来的"id_rsa.pub"文件 rm –r /root/id_rsa.pub 配置完成后测试从tidb3到tidb1无密码登录。 ssh tidb1 spark集群搭建 进入到Spark安装目录 cd /usr/local/spark-2.1.1-bin-hadoop2.7 进入conf目录并重命名并修改spark-env.sh.template文件 cd conf/mv spark-env.sh.template spark-env.shvim spark-env.sh 在该配置文件中添加如下配置 export JAVA_HOME=/usr/local/jdk18121export SPARK_MASTER_IP=tidb1export SPARK_MASTER_PORT=7077 保存退出重命名并修改slaves.template文件 mv slaves.template slavesvi slaves 在该文件中添加子节点所在的位置(Worker节点) tidb2tidb3 保存退出 配置环境变量: vim /etc/profile#set spark envexport SPARK_HOME=/usr/local/spark-2.1.1-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/binsource /etc/profile 将配置好的Spark拷贝到其他节点上 cd /usr/localscp -r spark-2.1.1-bin-hadoop2.7 root@tidb2:$PWDscp -r spark-2.1.1-bin-hadoop2.7 root@tidb3:$PWD Spark集群配置完毕,目前是1个Master,2个Worker,在tidb1上启动Spark集群 /usr/local/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 启动后,控制台显示如下 图2.png 在浏览器中访问tidb1:8080端口,可见启动后情况,如下图 图3.png 关闭集群可用如下命令 /usr/local/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh 总结 简单介绍一下Spark集群的工作模式首先启动一个Master(我这里是tidb1),然后Master和各个Worker(我这里是tidb2和tidb3)进行通信,其中真正干活的是Worker下的Executor。我们还需要有一个客户端,这个客户端叫做Driver。它首先和Master建立通信,然后Master负责资源分配,接着让Worker启动Executor,最后让Executor和Driver进行通信。 效果图如下:

优秀的个人博客,低调大师

Linux服务器---论坛discuz

Discus Discuz是一款免费的论坛管理系统,大量的使用了AJAX,内部有丰富的模板风格。 1、下载discuz软件(https://cn.wordpress.org/download/releases/") 2、为discuz创建一个自己的数据库,我们起名为“discuz” 3、将discuz安装包解压,将其中的upload目录拷贝到apache的网页根目录“/var/www/html/” [root@localhosthtml]# tar–xvfdiscus-3.1.tar//解压 [root@localhosthtml]# cp-rdiscus-3.1/upload/discus///重命令,这样方便从浏览器打开 4、修改discuz中config和data两个目录的权限为777,将config中的两个配置文件复制一份,名字去掉default [root@localhosthtml]# chmod-R777discuz/data/ [root@localhosthtml]# chmod-R777discuz/config [root@localhosthtml]# cddiscuz/ [root@localhostdiscuz]# cpconfig/config_global_default.phpconfig/config_global.php [root@localhostdiscuz]# cpconfig/config_ucenter_default.phpconfig/config_ucenter_.php 5、开始安装 1)在浏览器输入“ 127.0.0.1/discus/install ” [root@localhostwordpress]# servicehttpdrestart 停止httpd:[确定] 正在启动httpd:httpd:Couldnotreliablydeterminetheserver'sfullyqualifieddomainname,usinglocalhost.localdomainforServerName [确定] 2)环境检查。安装程序会检测所需要的环境,主要是php和mysql版本号,以及各个目录的读写权限。安装之前必须要把所有的“x”都解决掉,例如下图中文件读写权限就有问题,需要修改 3)安装全部discuz 4)设置数据库、管理员 5)安装成功 6)在浏览器输入”127.0.0.1/discuz”就可以访问论坛,使用管理员的账户可以登录 做了一个Linux学习的平台,目前出来一个雏形,各位可以参考使用链接:https://pan.baidu.com/s/1GOLVU2CbpBNGtunztVpaCQ密码:n7bk

优秀的个人博客,低调大师

Linux服务器---博客wordpress

Wordpress Wordpress是一个开源的博客平台,是搭建个人博客的首选,用户可以去wordpress中文网站寻找帮助资料 1、下载wordpress软件(https://cn.wordpress.org/download/releases/) 2、为wordpress创建一个自己的数据库,我们起名为“wordpress” 3、将wordpress安装包解压到apache的网页根目录“/var/www/html/” [root@localhosthtml]# cp/wj/wordpress-4.1.tar/var/www/html///拷贝压缩包 [root@localhosthtml]# tar–xvfwordpress-4.1.tar//解压 [root@localhosthtml]# mvwordpress-4.1wordpress//重命令,这样方便从浏览器打开 4、修改wordpress配置文件。Wordpress提供了一个样板文件“wp-config-sample.php”,我们要将其拷贝一份,命名为“wp-config.php” [root@localhostwordpress]# cpwp-config-sample.phpwp-config.php [root@localhostwordpress]# geditwp-config.php /**WordPress数据库的名称*/ define('DB_NAME','wordpress'); /**MySQL数据库用户名*/ define('DB_USER','root'); /**MySQL数据库密码*/ define('DB_PASSWORD','543092'); /**MySQL主机*/ define('DB_HOST','localhost'); /**创建数据表时默认的文字编码*/ define('DB_CHARSET','utf8'); /**数据库整理类型。如不确定请勿更改*/ define('DB_COLLATE','utf8_unicode_ci'); /**数据库语言设置*/ define('WPLANG','zh_CN'); 5、重启apache [root@localhostwordpress]# servicehttpdrestart 停止httpd:[确定] 正在启动httpd:httpd:Couldnotreliablydeterminetheserver'sfullyqualifieddomainname,usinglocalhost.localdomainforServerName [确定] 6、安装。在浏览器输入地址“127.0.0.1/wordpress”,开始安装 1)输入基本信息 2)安装成功 3)登录。可以使用开始填写的用户名和密码登录,地址是“127.0.0.1/wordpress/wp-login.php” 4)管理界面”127.0.0.1/wordpress/wp-admin” 5)主页“127.0.0.1/wordpress”

优秀的个人博客,低调大师

阿里云服务器配置

一提到云主机,大家肯定熟知国内最知名品牌——阿里云了后来居上的它受到不少的站长所追捧,它的稳定与服务让它的性价比直线上升,如果想做个小站,又想速度上去,阿里云也是一个不错的选择。用过阿里云的站长都知道,阿里云主机是需要自己动手配置的,一些站长就有夸大其词说“没有一定的技术,最好不要用阿里云”。其实,配置阿里云主机也不是很难,只要按照本文的方法一步一步去做就可以了。第一步:远程连接阿里云主机。下载xshell和xftp 并安装。这2个软件可以到网站下载。xshell 是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议,可以方便地远程登录阿里云主机。Xftp 是一个于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件,可以通过它来上传文件到主

优秀的个人博客,低调大师

Linux服务器---安装jdk

安装jdk jdk是运行或者开发java的必须工具,很多软件都会依赖jdk,因此必须学会安装jdk 1、查看当前系统的jdk情况 [root@localhostwj]# rpm-qa|grepjava tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.i686//可以看到当前系统已经安装了jdk,但是版本太旧了 java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.i686 2、删除系统jdk包 [root@localhostwj]# yumremove-yjava-1.6.0 [root@localhostwj]# yumremove-yjava-1.7.0 [root@localhostwj]# rpm-qa|grepjava//查看是否删除了 tzdata-java-2013g-1.el6.noarch 3、到官网下载最新的jdk包,http://www.oracle.com/technetwork/java/javase/downloads/index.html,下载的时候注意64位或者32位 4、将下载的压缩包复制到“/usr/local/src/”,解压 [root@localhostsrc]# cp/media/sf_data/jdk-10.0.2_linux-x64_bin.tar/usr/local/src/jdk.tar [root@localhostsrc]# tar-xvfjdk.tar 5、配置jdk环境变量,打开“/etc/profile”,在最后面追加如下 [root@localhostsrc]# gedit/etc/profile #javaenvironment exportJAVAHOME=/usr/local/src/jdk-10.0.2//这个路径就是jdk解压的路径 exportCLASSPATH=.:${JAVAHOME}/jre/lib/rt.jar:${JAVAHOME}/lib/dt.jar:${JAVAHOME}/lib/tools.jar exportPATH=$PATH:${JAVAHOME}/bin 6、刷新profile [root@localhostsrc]# source/etc/profile 7、测试jdk,在终端输入命令“Java-version” [root@localhostsrc]# java-version javaversion"1.8.0_181" Java(TM)SERuntimeEnvironment(build1.8.0_181-b13) JavaHotSpot(TM)ClientVM(build25.181-b13,mixedmode) [root@localhostsrc]# 做了一个Linux学习的平台,目前出来一个雏形,各位可以参考使用链接:https://pan.baidu.com/s/1GOLVU2CbpBNGtunztVpaCQ密码:n7bk

资源下载

更多资源
Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。