首页 文章 精选 留言 我的

精选列表

搜索[搭建],共10000篇文章
优秀的个人博客,低调大师

CentOS6.5环境下搭建Apache httpd服务器

前期准备: 1、CentOS6.5虚拟系统; 2、CentOS6.5 IP地址:192.168.2.99 3、虚拟系统能上外网 下面我们就开始配置: 第一步:安装 首先我们需要把Apache httpd服务器安装在我们的CentOS6.5下面,输入命令: yum -y install httpd*,其中-y这个参数是指安装过程提示选择Yes or No时,全部自动选择为Yes:*号表示httpd下的所有文件,如下图: 第二步:配置 1.安装完成后,先使用service httpd start来启动一下Apache httpd服务器,启动的时候会发现出现提示信息:正在启动 httpd:httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain for ServerName,如图: 2、这个时候就需要修改一下/etc/httpd/conf/httpd.conf这个配置文件了,运行命令:vi /etc/httpd/conf/httpd.conf打开这个配置文件,找到如下内容: #ServerName www.example.com:80 更改为 ServerName localhost:80 Listen 80 #这个表示默认端口是80端口 3、如果修改了配置文件,修改完成后需要重启Apache httpd服务器: service httpd restart,如图: 4.接下来就是最重要的,httpd能不能运行就看它了,关闭防火墙命令:service iptables stop #临时关闭,重启系统失效。如下图: 第三步:测试 1、完成上面的步骤后,接下来就可以测试一下Apache httpd服务器的初步配置是否成功。因为这里配置的是CentOS6.5本地的Apache httpd服务器,所以测试的时候就需要在Windows浏览器下测试一下。 2、打开浏览器,在地址栏输入:http://192.168.2.99 #如果修改了端口就是这样:http://192.168.2.99:端口号 第四步:关闭软件 关闭httpd使用service httpd stop命令 结束,第一次写,大家多包涵

优秀的个人博客,低调大师

使用 Python 一步步搭建自己的区块链

你是否会和我一样,对加密数字货币底层的区块链技术非常感兴趣,特别想了解他们的运行机制。 但是学习区块链技术并非一帆风顺,我看多了大量的视频教程还有各种课程,最终的感觉就是真正可用的实战课程太少。 我喜欢在实践中学习,尤其喜欢一代码为基础去了解整个工作机制。如果你我一样喜欢这种学习方式,当你学完本教程时,你将会知道区块链技术是如何工作的。 写在开始之前 记住,区块链是一个 不可变的、有序的 被称为块的记录链。它们可以包含交易、文件或任何您喜欢的数据。但重要的是,他们用哈希 一起被链接在一起。 如果你不熟悉哈希, 这里是一个解释. 该指南的目的是什么? 你可以舒服地阅读和编写基础的Python,因为我们将通过HTTP与区块链进行讨论,所以你也要了解HTTP的工作原理。 我需要准备什么? 确定安装了 Python 3.6+ (还有 pip) ,你还需

优秀的个人博客,低调大师

Spark学习[一] Spark IntelliJ IDEA 开发环境搭建(Scala项目)- Hello World

1.工具版本说明 Intellij IDE 官网下载安装,此处省略...JDK Version: 1.8.0_151 (提前安装好)Intellij IDE Version: 以下3个无需单独下载安装,在intellij中以插件形式安装:Scala Version: 2.11.0 Spark Version: 2.1.1SBT Version: 0.13.17 2. Scala插件安装 IntelliJ IDEA-> Perferences -> Plugins -> 搜索 Scala安装后如图: 3. 创建Scala项目(SBT) 注意:SBT版本号选择0.13.x版本,不用选择1.0+版本(会报一个idle_shell找不到的异常) 4.SBT资源库配置为国内 默认SBT访问国外资源网站下载资源是超级慢的,将其改为国内镜像在目录(mac电脑) :/Users/lewis.lht/.sbt目录下新建文件repositories,添加内容为(以下内容[]部分不用修改): local alibaba:http://maven.aliyun.com/nexus/content/groups/public/ alibaba-ivy:http://maven.aliyun.com/nexus/content/groups/public/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] repo2:http://repo2.maven.org/maven2/ ivy-typesafe:http://dl.bintray.com/typesafe/ivy-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] typesafe-releases: http://repo.typesafe.com/typesafe/releases typesafe-ivy-releasez: http://repo.typesafe.com/typesafe/ivy-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] 5.修改src和test目录分别为sources root 不知何原因,我新建的scala项目的src/main/scala和src/test/scala默认非sources root,将其修改为sources root。否则无法新建scala class文件和packagesa) 选中/src/main/scala目录后,右键Make Directory as->Sources Rootb) 选中/src/test/scala目录后,右键Make Directory as->Test Sources Root 6.在sbt配置文件build.sbt中,添加Spark依赖 build.sbt name := "sparkexcercise" version := "0.1" scalaVersion := "2.11.0" libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.1" 如图示: 7.sbt执行编译 打开SBT Projects面板,选择刷新按钮(Refresh all SBT Projects)或者打开SBT SHELL窗口,执行compile命令,完成依赖包下载和项目编译编译成功后如下图: 8.新建Spark Hello Word Object,并复制下面代码: package org.lewis import org.apache.spark.sql.SparkSession object HelloWorld { def main(args: Array[String]): Unit = { if (args.size == 0) { println("input file path !") System.exit(1) } val fpath = args(0) val spark = SparkSession .builder .appName("HdfsHelloWorld") .getOrCreate() val file = spark.read.textFile(fpath).rdd //flatMap将一个输入元素rdd,转为多个元素rdd val m = file.flatMap(line => line.split(" ")) //为每个word,赋值其个数为1,转为pair rdd val g = m.map((_, 1)) //val g = m.map(word=>(word,1)) // 等价于这种写法,_代表当前元素 //按照word为key进行reduce,并对其value累加,(x,y)分别为上一个元素value和当前元素的value val r = g.reduceByKey(_ + _) //val r = g.reduceByKey((x,y)=>x+y) // 等价于这种写法,_代表当前元素 r.collect().foreach(println) //上面也可以全部简写为: //file.flatMap(line=>line.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println) } } 9.配置Run Config //采用local本地模式执行,确保你的SparkOverview.txt文件存在 VM options: -Dspark.master=local Program arguments: /Users/lewis.lht/Downloads/SparkOverview.txt 9.执行 仅演示了local模式运行,故不需要spark集群环境

优秀的个人博客,低调大师

Centos搭建开发环境,PHP7+ Nginx1.12+ Mysql5.7

1.更新yum源 yum -yupdate 2.安装 epel-release yum install epel-release-y 检测安装成功:yum search nginx 结果含有:nginx.x86_64 : A high performance webserver andreverse proxyserver 表示成功 CentOS 系列的服务器系统有一个毛病,就是官方自带的源的软件比较古老,并且很多的软件都没有。因为他们的首要任务是保证服务器的稳定,而不是追求最新。但是太过于保守了,一般来说,我们会给服务器添加一个 epel-release 这个源。这个源里包含了例如 nginx 之类的我们需要的软件,使用起来比较方便。 3.安装服务器常用软件 yum -y install vim* Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器 yum install wget wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理。 yum -y install lrzsz lrzsz是一款在linux里可代替ftp上传和下载的程序。 yum install zip unzip 作用:zip压缩、unzip解压缩 4.安装Nginx nginx 依赖的一些 lib 库: yum install gcc-c++ yum install pcre pcre-devel yum install zlib zlib-devel yum install openssl openssl--devel 安装 Nginx cd /usr/local 打开 usr 下的 local 文件夹 yum install nginx -y 安装Nginx,此安装的包已经是更新过的源 systemctl start nginx 启动 nginx systemctl enable nginx 将 nginx 设置为开机启动 完成安装在浏览器访问主机 ip ,看看是否能打开。 5.安装PHP7 rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm 安装php7的rpm包 yum search php7 查询下自己的php7是哪个版本以及扩展库,例如:php70w、php71w、php72w、php70w-fpm等 yum install php70w 以自己的包为准 yum install php70w-openssl php70w-commonphp70w-fpm php70w-mysql php70w-mysqld php70w-pdo 安装PHP7的扩展库的版本号和PHP7的版本对应,也就是 php70w 的版本对应同版本的扩展库 php70w-fpm等。 6.安装Mysql wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 下载mysql源安装包 rpm -ivh mysql57-community-release-el7-8.noarch.rpm 安装mysql源 yum -y install mysql-server 安装mysql service mysqld start 或 systemctl start mysqld 启动mysql服务器 systemctl status mysqld 查看mysql状态 systemctl enable mysqld systemctl daemon-reload 开机启动 grep 'temporary password' /var/log/mysqld.log mysql安装完成之后,在/var/log/mysqld.log文件中给root生成了一个默认密码。通过上面的方式找到root默认密码( :后面为密码),然后登录mysql进行修改 mysql -uroot -p 按回车,输入刚才的临时密码,进入mysql来修改密码 set global validate_password_policy=0; mysql5.7默认安装了密码安全检查插件(validate_password),默认密码检查策略要求密码必须包含:大小写字母、数字和特殊符号,并且长度不能少于8位。否则会提示ERROR报错。 此处代码用来修改密码强度:0 or LOW(密码任意,但长度在 8 位或以上)。 set global validate_password_length=4; 设置的密码少于8位,请执行上述命令(最少是4) set password for 'root'@'localhost'=password('新密码'); 执行此代码修改mysql登陆密码 GRANT ALL PRIVILEGES ON *.* TO 'yourname'@'%' IDENTIFIED BY 'YourPassword@123' WITH GRANT OPTION; 添加远程登录用户,默认只允许root帐户在本地登录,如果要在其它机器上连接mysql,必须修改root允许远程连接,执行上述代码。 7.配置php、nginx 配置php vim /etc/php.ini 修改 php.ini 把 cgi.fix_pathinfo 的值改为0 ,前面有 ;的话去掉,大约在763行,进入文件后 输入 :763 定位过去。 vim/etc/php-fpm.d/www.conf 修改 www.cong 修改两处 listen.owner = nobody listen.group = nobody 这两行前面的 ;去掉 user = apache group = apache 将apache 更换成 nginx ,保存后退出( :wq ) systemctl start php-fpm systemctl enable php-fpm 启动PHP,并将它设置为开机启动。 配置nginx vim /etc/nginx/nginx.conf 打开配置文件 server { listen 80; server_name 127.0.0.1:9000; root /www/; index index.php index.html index.htm # Load configuration files for the default server block. include /etc/nginx/default.d/*.conf; location ~ \.php$ { fastcgi_pass 127.0.0.1:9000; fastcgi_param SCRIPT_FILENAME /www/$fastcgi_script_name; include fastcgi_params; } location / { } error_page 404 /404.html; location = /40x.html { } error_page 500 502 503 504 /50x.html; location = /50x.html { } } 依照这个格式改,listen 监听端口,server_name 项目网址(默认设置127.0.0.1:9000),root 项目路径;index 服务器按顺序找首页文件,前面的没有往后找,玩php就可以把 index.php放前面。 localtion 中把fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; 中的 $document_root 改为 项目地址。 在项目文件路径下写个 info.php <?php echo phpinfo() ?> 保存退出后,在浏览器输入主机外网 ip/info.php ,查看下是否成功。

优秀的个人博客,低调大师

Python环境搭建—安利Python小白的Python和Pycharm安装详细教程

人生苦短,我用Python。众所周知,Python目前越来越火,学习Python的小伙伴也越来越多。最近看到群里的小伙伴经常碰到不会安装Python或者不知道去哪下载Python安装包等系列问题,为了方便大家学习Python,小编整理了一套Python和Pycharm安装详细教程,只要大家按照这个步骤来,就可以轻松的搞定Python和Pycharm的安装了。 Python具有跨平台性,它几乎可以在任何平台下运行,如:Windows/Unix/Linux等操作平台上。大部分的小伙伴用的是Windows,在此小编就以Windows平台为例,详解Python和Pycharm安装过程。注意:前方多图高能预警~~ 一、Python安装过程 工欲善其事,必先利其器。首先我们先来安装Python,在这里安利一下:其实在没有安装Python之前也可以安装Pycharm的,两者并没有什么冲突关系。但是话说回来,如果没有Python编译器,那么Pycharm其实只是个驱壳,即便你编好程序之后,也并不能运行。举个栗子,Python相当于子弹,Pycharm相当于手枪,如果手枪没有子弹的话,那它就没有走火的可能性。从逻辑上来讲,还是应该先安装Python的,具体流程如下: 1、首先进入Python的官网:https://www.python.org,之后选择下图框框内的文件进行下载: 当然你也可以直接进入网址:https://www.python.org/downloads/,选择对应的Windows安装包,进行文件下载即可,如下图所示: 2、下载Python。其中Python2和Python3版本都可以下载,两者是兼容的。在这里,小编以Python3版本的安装为例,下载后如下图所示: 3、安装Python。双击python-3.6.4.exe文件,之后按照框框内的指示进行选择,记得勾选两个框框,然后选择Customize installation进入到下一步: 4、之后进入以下的界面,默认即可,直接选择下一步: 5、之后进入下图界面,点击Browse可以进行自定义安装路径,千万要记得自己把它安装在哪个盘下面,当然你也可以直接点击Install进行默认安装,点击Install后便可以完成安装了。本例中,小编把它安装在C盘,之后点击Install,稍等片刻之后,便可以实现Python的安装了。(注意:要记得Python的安装路径) 在安装过程中如果弹出任何提示的话,选择确定或者允许操作就可以了。 6、安装完成之后在开始菜单中输入cmd命令,进入命令行窗口,然后在窗口中输入python进行验证。如果出现下面两张图的提示,就说明Python安装成功了。 如果你看到提示符>>>,就表示我们已经在Python交互式环境中了,此时你可以输入任何Python代码,回车后会立刻得到执行结果。现在,输入exit()并回车,就可以退出Python交互式环境(直接关掉命令行窗口也可以)。 7、如果出现下图的提示,则说明安装失败了: 出现这个错误的原因是因为你在安装的时候漏掉了勾选Add python.exe to Path这个选项,此时就要手动把刚刚安装所在的路径添加到Path中。如果你不知道怎么修改环境变量,建议把Python安装程序重新运行一遍,记得勾上Add python.exe to Path这个选项就可以顺利安装了。 接下来我们安装开发环境Pycharm,至于为神马选择Pycharm,可以戳这篇文章(企业级开发大佬告诉你学习Python需要用什么开发工具)。 二、Pycharm安装过程 1、首先去Pycharm官网,或者直接输入网址:http://www.jetbrains.com/pycharm/download/#section=windows,下载PyCharm安装包,根据自己电脑的操作系统进行选择,对于windows系统选择下图的框框所包含的安装包。 2、选择Windows系统的专业版,将其下载到本地,如下图所示: 3、双击下载的安装包,进行安装,然后会弹出界面: 4、选择安装目录,Pycharm需要的内存较多,建议将其安装在D盘或者E盘,不建议放在系统盘C盘: 5、点击Next,进入下图的界面: Create Desktop Shortcut创建桌面快捷方式,一个32位,一个64位,小编的电脑是64位系统,所以选择64位。 勾选Create Associations是否关联文件,选择以后打开.py文件就会用PyCharm打开。 6、点击Next,进入下图: 默认安装即可,直接点击Install。 7、耐心的等待两分钟左右,如下图: 8、之后就会得到下面的安装完成的界面: 9、点击Finish,Pycharm安装完成。接下来对Pycharm进行配置,双击运行桌面上的Pycharm图标,进入下图界面: 选择Do not import settings,之后选择OK,进入下一步。 10、选择Accept,进入下一步: 11、进入激活界面,选择第二个License server,如下图所示: 之后在License server address中随意输入下面两个注册码中的任意一个即可,Pycharm新注册码1:http://idea.liyang.io或pycharm新注册码2:http://xidea.online,之后点击OK,便可以激活Pycharm了。 12、Pycharm激活后 13、激活之后会自动跳转到下图界面,选择IDE主题与编辑区主题: 建议选择Darcula主题,该主题更有利于保护眼睛,而且看上去也非常不错~~~ 14、选择OK之后进入下图界面: 选择Yes即可,更换IDE主题。 15、之后进入下图界面: 16、点击Create New Project,进入如下图的界面: 自定义项目存储路径,IDE默认会关联Python解释器。选择好存储路径后,点击create。 17、IDE提供的提示,直接close即可,不用理会。 18、进入的界面如下图所示,鼠标右击图中箭头指向的地方,然后选择New,最后选择python file,在弹出的框中填写文件名(任意填写),本例填写:helloworld。 19、之后得到下图,然后点击OK即可: 20、文件创建成功后便进入如下的界面,便可以编写自己的程序了。 这个界面是Pycharm默认的界面,大家完全可以自己去setting中设置自己喜欢的背景和字体大小、格式等等。 在这里我就不一一赘述了,起码到这里我相信大家已经实现了Pycharm的安装了。 为了给大家创建一个学习Python的氛围,小编为大家建立了一个Python学习群: 181125776,里面有Python和Pycharm等开发工具的安装包和安装教程,可以免费分享给大家,让我们一起为学习Python而奋斗吧~~ 21、安利Pycharm中的部分快捷键 1、Ctrl + Enter:在下方新建行但不移动光标; 2、Shift + Enter:在下方新建行并移到新行行首; 3、Ctrl + /:注释(取消注释)选择的行; 4、Ctrl+d:对光标所在行的代码进行复制。 最后小编祝大家能够顺利的完成Python和Pycharm的安装,^_^祝大家周末愉快^_^

优秀的个人博客,低调大师

Hadoop手把手逐级搭建(2) Hadoop完全分布式(full)

前置步骤: 1). 第一阶段:Hadoop单机伪分布(single) 第二阶段: Hadoop完全分布式(full) 0. 步骤概述 1). 克隆4台虚拟机 2). 为完全分布式配置ssh免密 3). 将hadoop配置修改为完全分布式 4). 启动完全分布式集群 5). 在完全分布式集群上测试wordcount程序 1. 克隆4台虚拟机 1.1 使用hadoop0克隆4台虚拟机hadoop1,hadoop2,hadoop3,hadoop4 1.1.0 克隆虚拟机hadoop1 1.1.1 右键点击当前虚拟机hadoop0 1.1.2 在右键菜单选中“管理” 1.1.3 在“管理”的子菜单选中“克隆” 1.1.4 弹出“克隆虚拟机向导”窗口 1.1.5 点击“下一步”进入“克隆源”选择窗口 1.1.6 在“克隆源”中选择“虚拟机当前状态”或者“现有快照(仅限关闭的虚拟机)(S):” 1.1.7 点击下一步进入“克隆类型”窗口 1.1.8 选择“创建完整克隆”,点击下一步 1.1.9 在“新虚拟机名称”窗口,“虚拟机名称(V)”中填入新虚拟机“hadoop1”,“位置(L)”中选择目录 1.1.10 点击“完成”开始克隆 1.2生成新的mac地址 1.2.1 右键点击新建的虚拟机hadoop1 1.1.2在右键菜单选中点击“设置” 1.1.3 在“虚拟机设置”窗口,“硬件”标签下,选中“网络适配器” 1.1.4 在窗口右侧点击“高级” 1.1.5 在“网络适配器高级设置”窗口最下方“MAC 地址(M)”一栏点击“生成” 1.1.6 点击“确定”使设置生效 1.3 修改主机名 1.3.1 启动新虚拟机hadoop1 1.3.2 修改network中的HOSTNAME 1.3.2.1 修改生效前命令提示符中现有的主机名还是hadoop0 [root@hadoop0 ~]# vim /etc/sysconfig/network HOSTNAME=hadoop1 1.3.2.2 修改完成后/etc/sysconfig/network完整内容如下 NETWORKING=yes HOSTNAME=hadoop1 GATEWAY=192.168.111.2 1.4 修改hadoop1的IP地址 14.1.1 修改hadoop1的IP地址为192.168.111.211 [root@hadoop0 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 IPADDR=192.168.111.211 1.4.2 修改完成后/etc/sysconfig/network-scripts/ifcfg-eth0完整内容如下 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.111.211 NETMASK=255.255.255.0 GATEWAY=192.168.111.2 1.5 删除70-persistent-net.rules文件 [root@hadoop0 ~]# rm -rf /etc/udev/rules.d/70-persistent-net.rules 1.6 重启虚拟机使配置生效 [root@hadoop0 ~]# init 6 1.7 查看主机名:命令提示符中主机名已变成hadoop1 [root@hadoop1 ~]# hostname hadoop1 1.8 测试外网是否畅通 [root@hadoop1 ~]# ping baidu.com 64 bytes from 111.13.101.208: icmp_seq=1 ttl=128 time=5.50 ms 64 bytes from 111.13.101.208: icmp_seq=1 ttl=128 time=5.50 ms #如果返回如上信息表示网络畅通 1.9 克隆另外3台虚拟机 使用同样的方式克隆并配置另外3台虚拟机,分别命名为hadoop2,hadoop3,hadoop4 2. 为完全分布式配置ssh免密 2.1 在hadoop1上修改hosts文件 2.1.1 将/etc/hosts文件内容替换如下 [root@hadoop1 ~]# vim /etc/hosts 192.168.111.211 hadoop1 192.168.111.212 hadoop2 192.168.111.213 hadoop3 192.168.111.214 hadoop4 2.1.2 将hadoop1上的/etc/hosts分发到hadoop2,hadoop3,hadoop4三个节点 [root@hadoop1 ~]# scp /etc/hosts hadoop2:/etc/hosts [root@hadoop1 ~]# scp /etc/hosts hadoop3:/etc/hosts [root@hadoop1 ~]# scp /etc/hosts hadoop4:/etc/hosts 2.2 在hadoop1上生成密匙 [root@hadoop1 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2.3 设置本机ssh免密 [root@hadoop1 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 2.4 将hadoop1生成的公匙拷贝到hadoop2 2.4.1 拷贝过程中需要输入hadoop2的密码 [root@hadoop1 ~]# ssh-copy-id -i ~/.ssh/id_dsa.pub hadoop2 root@hadoop2's password: Now try logging into the machine, with "ssh 'hadoop2'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting. 2.4.2 同理,将公匙拷贝hadoop3和hadoop4 2.5 测试从hadoop1通过ssh连接到hadoop2 2.5.1 ssh到hadoop2 [root@hadoop1 ~]# ssh hadoop2 Last login: Mon Nov 27 04:10:16 2017 from 192.168.111.211 2.5.2无需输入密码直接进入hadoop2,说明免密成功 [root@hadoop2 ~] 2.6 退出hadoop2连接,回到hadoop1 2.6.1 使用exit命令退出 [root@hadoop2 ~]# exit logout Connection to hadoop2 closed. 2.6.2 命令提示符显示已经回到hadoop1 [root@hadoop1 ~]# 3. 将hadoop配置修改为完全分布式 3.0 进入$HADOOP_HOME/etc/hadoop目录 [root@hadoop1 ~]# cd /opt/test/hadoop-2.6.5/etc/hadoop 3.1 修改core-site.xml配置 # 将$HADOOP_HOME/etc/hadoop/core-site.xml内容替换如下 [root@hadoop1 hadoop]# vim core-site.xml <configuration> <!-- 修改defaultFS为hadoop1--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000</value> </property> <!-- 修改了临时文件存放位置--> <property> <name>hadoop.tmp.dir</name> <value>/var/test/hadoop/full</value> </property> </configuration> 3.2 修改hdfs-site.xml配置 # 将$HADOOP_HOME/etc/hadoop/hdfs-site.xml内容替换如下 [root@hadoop1 hadoop]# vim hdfs-site.xml <configuration> <!-- 将备份数修改为3,小于等于当前datanode数目即可--> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 将secondary namenode改为hadoop2--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop2:50090</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name</value> </property> <property> <name>dfs.namenode.data.dir</name> <value>file://${hadoop.tmp.dir}/dfs/data</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> </configuration> 3.3 修改yarn-site.xml # 将$HADOOP_HOME/etc/hadoop/yarn-site.xml内容替换如下 [root@hadoop1 hadoop]# vim yarn-site.xml <configuration> <!-- 添加了yarn.resourcemanager.hostname 属性--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 添加了yarn.nodemanager.auxservices.mapreduce.shuffle.class属性--> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 3.4 配置salves文件 # 将$HADOOP_HOME/etc/hadoop/slaves内容替换如下 [root@hadoop1 hadoop]# vim slaves hadoop2 hadoop3 hadoop4 3.5 分发hadoop配置到所有节点 [root@hadoop1 hadoop]# scp core-site.xml hdfs-site.xml yarn-site.xml slaves hadoop2:`pwd` [root@hadoop1 hadoop]# scp core-site.xml hdfs-site.xml yarn-site.xml slaves hadoop3:`pwd` [root@hadoop1 hadoop]# scp core-site.xml hdfs-site.xml yarn-site.xml slaves hadoop4:`pwd` 3.6 分发hosts文件到所有节点 [root@hadoop1 hadoop]# scp /etc/hosts hadoop2:/etc/ [root@hadoop1 hadoop]# scp /etc/hosts hadoop3:/etc/ [root@hadoop1 hadoop]# scp /etc/hosts hadoop4:/etc/ 4. 启动完全分布式集群 4.1 在hadoop1上重新格式化namenode [root@hadoop1 ~]# hdfs namenode -format 4.2 在hadoop1上启动集群 [root@hadoop1 ~]# start-dfs.sh 4.3 在hadoop1上启动yarn [root@hadoop1 ~]# start-yarn.sh 4.4 在各节点上查看进程 4.4.1 节点hadoop1 [root@hadoop1 ~]# jps 1466 NameNode 1756 ResourceManager 2014 Jps 4.4.2 节点hadoop2 [root@hadoop2 ~]# jps 1663 Jps 1546 NodeManager 1397 DataNode 1454 SecondaryNameNode 4.4.3 节点hadoop3 [root@hadoop3 ~]# jps 1599 Jps 1457 NodeManager 1399 DataNode 4.4.4 节点hadoop4 [root@hadoop4 ~]# jps 1411 DataNode 1475 NodeManager 1613 Jps 5. 在完全分布式集群上测试wordcount程序 5.1 从hadoop1进入$HADOOP_HOME/share/hadoop/mapreduce/目录 [root@hadoop1 ~]# cd /opt/test/hadoop-2.6.5/share/hadoop/mapreduce/ 5.2上传test.txt文件到根目录 5.2.1 默认上传 [root@hadoop1 mapreduce]# hadoop fs -put test.txt / 5.2.2 也可以指定blocksize上传 [root@hadoop1 mapreduce]# hdfs dfs -D dfs.blocksize=1048576 -put test.txt / 5.3 运行wordcount测试程序,输出到/output [root@hadoop1 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /test.txt /output #运行时会首先看到如下信息 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 5.4 查看mapreduce运行结果 [root@hadoop1 mapreduce]# hadoop dfs -text /output/part-* hello 100003 world 200002 “hello 100000 后续步骤: 3). 第三阶段:Hadoop高可用(HA) 4). 第四阶段:Hadoop高可用+联邦+视图文件系统(HA+Federation+ViewFs)

优秀的个人博客,低调大师

Centos7服务器下apache网站环境搭建与wordpress

需要安装apache,php,mariadb 安装Apache yum install -y httpd apache启动并设置开机自启 systemctl start httpd.service systemctl enable httpd.service 安装PHP及其各项服务 yum -y install php php-gd php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-snmp php-soap curl curl-devel php-mysql 安装MariaDB数据库 yum -y install mariadb-server mariadb-client mariadb启动并设置开机自启 systemctl start mariadb.service systemctl enable mariadb.service 给数据库root用户设置密码 mysqladmin -u root password //以root身份登录,回车后输入密码 登录数据库 mysql -u root -p //回车后输入设置的密码 登录数据库后,可以新建其他用户并授全权 grant all privileges on mysql.* to 用户名@localhost identified by '用户名.me'; //修改用户为自己想建的用户名 update mysql.user set password=password('密码') where User="用户名" and Host="localhost"; //给新建用户设置密码 flush privileges; //更新数据库 exit; //退出数据库 防火墙开启80端口 firewall-cmd --zone=public --add-port=80/tcp --permanent firewall-cmd –reload //更新防火墙规则 解压wordpress tar -zxvf wordpress-4.7.4-zh_CN.tar.gz //默认应该是解压到/root/wordpress目录下 cp -fr /root/wordpress/* /var/www/html //复制wordpress所有文件到apache根目录 chown -R apache:root /var/www/html/ //不更改权限会导致主题和插件安装不了 浏览器输入服务器公网ip/域名,开始安装wordpress 注意:数据库名为mysql,用户名和密码为刚才在mariadb新建的用户名和密码,wp_表前缀最好修改,_不要删除 提交以后会提示无法写入wp-config.php,需要新建,然后把内容复制到里面 touch /var/www/html/wp-config.php vim /var/html/wp-config.php 全部内容都复制进去,保存退出,点击提交 开始设置网站标题和后台用户名和密码,不再赘述 修改wordpress文件上传上限以及执行脚本时间限制: vim /etc/php.ini 找到upload_max_filesize=2M,修改为upload_max_filesize=20M 找到post_max_size = 8M,修改为post_max_size = 20M 找到max_execution_time=30,修改为max_execution_time=0,这里的0表示没有时间限制

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-搭建说明(一)

数据流向: metricbeat->kafka->logstash->elasticsearch->kibana. 应用分布: 主机 应用 备注 192.168.30.121 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz logstash-5.5.1.tar.gz kibana-5.5.1-linux-x86_64.tar.gz 192.168.30.122 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz 192.168.30.123 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz 192.168.30.125 客户端 metricbeat-5.5.1-linux-x86_64 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1963636,如需转载请自行联系原作者

优秀的个人博客,低调大师

[Unity for android]Unity在安卓机上调试的测试环境搭建

一、工具准备 1.JDK——由于android是基于Java平台开发的,jdk是必须要安装的。下载地址:http://www.java.net/download/jdk6/6u10/promoted/b32/binaries/jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008.exe 2.Android SDK——这个就不多说了,要开发android程序必备的。可以去官网下载。下载地址:http://developer.android.com/sdk/index.html#download 3.UnityRemote.apk——这个是安装在android设备上的。大家可以到我的资源中下载。下载地址:http://download.csdn.net/detail/zuoyamin/6289709 二、工具安装 1、JDK安装 jdk的安装没什么好说的,和一般安装软件没什么区别。在这里主要说一下环境变量的配置,其实网上都有的!!! 右击 【计算机】→【属性】→【高级系统设置】,在系统属性窗口中,选择【环境变量】。点击【新建】, 变量名:JAVA_HOME 变量值:D:\Program Files\Java\jdk1.6.0(以JDK实际路径为准!) 确认后,再【新建】 变量名:classpath 变量值:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意开头有“.;”) 如果没有Path变量,就新建一个,如果有就打开! 变量名:Path 变量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin(注意变量值之间用“;”隔开) 现在就可以检验jdk是否安装成功了。开始→运行→输入cmd,在命令行窗口中输入javac,出现命令列表说明安装成功。 2、Android SDK安装 解压下载的sdk文件,双击【SDK Manager】,选择需要安装的包进行下载。在下载的过程中可能存在失败的信息。解决方法:打开C:\Windows\System32\drivers\etc下的hosts文件。由于他是只读的,我们可以先将他复制出去,用记事本打开,然后在粘贴回来覆盖掉就行了。在hosts文件的最后一行添加:74.125.237.1 dl-ssl.google.com就可以很好的下载了! Android SDK环境变量的配置: 变量名:ANDROID_SDK_HOME 变量值:X:\Program Files\adt-bundle\sdk(以实际sdk路径为准) 如果有Path变量就打开Path变量,没有就新建一个。 有的话在变量值后面追加:%ANDROID_SDK_HOME%\platform-tools;%ANDROID_SDK_HOME%\tools; 现在检验android sdk是否安装成功了。启动命令行,输入android -h,出现命令列表说明安装成功! 3、UnityRemote.apk安装。 在一个安装有android 4.0或4.0+的手机或者平板电脑上安装unityRemote.apk即可。这里为什么要选择是4.0或4.0+呢?具体详细原因不清楚,我只知道只有这个版本才能进行调试。所以大家要注意了。 三、测试 1、打开unity3D软件,进行一些配置,选择【edit】→【Perferences】,在External Tools中,有个Android SDK Location,我们将前面安装的Android SDK的路径设置进去。 2、将安装有unityRemote的手机或者平板电脑,连接到PC上,通过各种手机助手就可以了!保证手机与电脑是连接的就好了。 3、启动手机中unityRemote软件,然后在PC上运行某个Untiy程序,这里我们就可以在手机上看到Untiy的Game视图的场景了。只是分辨率有些不够理想,但是用于测试还是足够的! 4、如果不行,重启Unity3d和手机,在重复上述操作!祝大家顺利! 软件下载:http://download.csdn.net/detail/s10141303/6536557 本文转蓬莱仙羽51CTO博客,原文链接:http://blog.51cto.com/dingxiaowei/1366368 ,如需转载请自行联系原作者

优秀的个人博客,低调大师

PhoneGap+jQm webapp本地化(1)--环境搭建以及资源介绍

前言 上个月我设计一个基于JQM的webapp作为我的毕业设计 jQuery moible 开发笔记之项目设计 http://www.cnblogs.com/youxilua/archive/2012/01/03/2310963.html 结果…当然是做完了…效果嘛,作为毕业设计还可以,但是实际使用起来实在不给力,例如,窗口的浮动,流量的消耗,还有对于设备配置的依赖(例如,在局域网中HTC 野火跑起来那叫一个慢死…),不过,在一些高端设备运行还可以,例如,小米(我们班还是挺多人买了),iphone,三星的银河系列… 工欲善其事,必先利其器 我们没必要学习苦行僧那样,用记事本来打代码.目前而言呢,phonegap的IDE工具最好的当然是DW CS 5.5. 不过,我这里使用eclipse作为我的开发IDE,因为之前使用过DW CS 5.5 ,这次就换个IDE工具. Eclipse 的配置 1,一站式新建项目 phonegap + jqm http://svn.codespot.com/a/eclipselabs.org/mobile-web-development-with-phonegap/tags/r1.2/download/ 这个插件还是很给力的,已经支持默认支持最新版本的phonegap,jqm,sencha 安装完以后选择这个图标 2,选择要建何种类型的phoneGap (1),默认已经支持直接创建最新版本的phoneGap (2),这个插件支持两大移动js框架jqm & Sencha Touch,当然..这两个框架只能二选一了,你不选也行… (3),我这里选择我最为熟悉的jQm框架,默认已经支持最新版本了 3,接着,创建android项目即可 接下来就不啰嗦了… 完成以后:项目结构,activity都已经写好的了.. 代码也已经写好了. 注意:新建完以后,可能androidmainifest会报错,你把报错的那行代码删掉即可,你也可以根据那个代码要求找一个支持xlarge包的android版本(4.0吧)(貌似2.2没有这玩意),我这里省事直接删掉算了… 自带例子简单介绍 在新建一个page,想使用插件帮你打包好的API你需要以下步骤 1,准备JS文件,滑轮到index.html文件最后几行; //这个JS是必须的,调用的是设备的初始化 <script type="text/javascript" charset="utf-8" src="apis/device.js"></script> //以下API自己按照自己的喜好调用和修改吧 <script type="text/javascript" charset="utf-8" src="apis/accelerometer.js"></script> <script type="text/javascript" charset="utf-8" src="apis/camera.js"></script> <script type="text/javascript" charset="utf-8" src="apis/capture.js"></script> <script type="text/javascript" charset="utf-8" src="apis/compass.js"></script> <script type="text/javascript" charset="utf-8" src="apis/connection.js"></script> <script type="text/javascript" charset="utf-8" src="apis/contacts.js"></script> <script type="text/javascript" charset="utf-8" src="apis/events.js"></script> <script type="text/javascript" charset="utf-8" src="apis/file.js"></script> <script type="text/javascript" charset="utf-8" src="apis/geolocation.js"></script> <script type="text/javascript" charset="utf-8" src="apis/media.js"></script> <script type="text/javascript" charset="utf-8" src="apis/notification.js"></script> <script type="text/javascript" charset="utf-8" src="apis/storage.js"></script> 2,在body上调用init()方法,具体使用参见device.js. <body onload="init();"> 3,顺便你写了… 例子演示 感觉,这个跟这个jqm一起的例子,个人感觉比官方那个好很多…截个图,结束吧… 顺便介绍两本有关于phonegap的书 http://book.douban.com/subject/6954116/ http://book.douban.com/subject/6915788/ 下载?反白可见…不希望外传… http://www.kuaipan.cn/file/id_2622545685705289.html http://www.kuaipan.cn/file/id_2622545685705398.html 下次讲讲数据库的调用和摄像头的本地保存吧… 本文转自 liam2199 博客,原文链接: http://blog.51cto.com/youxilua/776689 如需转载请自行联系原作者

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册