首页 文章 精选 留言 我的

精选列表

搜索[基础搭建]，共10000篇文章
优秀的个人博客,低调大师

搭建网站必不可少的知识14

安全组配置 “操作”-“安全组配置” 单击“内网入方向”，“添加安全组规则”默认配置即可“确定”。在公网入方向和公网出方向都这样添加上。（如果存在就先删除后在添加）。现在应该能登录了。 输入密码，点击“确定” 登录后只有一个回收站图标，其他图标可以用以前学的设置显示。 在桌面右键属性，桌面-自定义桌面-勾选图标-确定。 进入我的电脑，看到服务器上连接的本地盘，进入本地盘将网站文件复制到服务器的盘上，这里我将文件复制到C盘。同样你也可以把服务器上的文件复制到本地盘。如果有的系统通过上面方法无法调出桌面图标，可以在开始菜单中或者运行里面输入盘符地址比如G: 直接就可以打开本地盘，方法很多，大家多尝试就熟悉了。当然文件也可以通过IE浏览器进行网络直接下载。现在文件被我移动到了服务器的桌面。 一键配置环境和安装网站文件 将下文需要用到的工具一次性复制到了服务器。我们在win系统下配置asp环境用到的工具是西部数码的网站助手（iistool）或者护卫神系统这里为了省事，可以asp和php都支持，我选择安装使用护卫神系统（西部的数据库必须要安装到D盘，我这里只有系统带的盘） 选择安装位置，因为演示只有C盘所以改为了C盘下，如果您买了盘就不用改了，存放的文件夹位置您也可以修改，点击“下一步”进行安装完成。 安装成功后看到运行的管理系统了。 然后弹出了设置密码，对用户名和密码进行设置，这个地方请一定要设置密码坚固（不要学演示上的，小编懒得记密码了），这步是后台控制密码，密码如果简单被人扫描到你的服务器就OVER了，所以不要怕麻烦！更改后确定。后台的地址也提示为：http://IP:6588/admin 然后安装PHP环境 默认安装完成后 登录管理后台 存放位置目录改完我们的位置，mysql的密码进行设置，PHP解析文件进行“自动获取”，完成后点击“更改” 点击主机管理中的新增主机，对主机标记输入用途（任意内容），在这里我输入boke。FTP账户和密码输入（如果用户名是域名下面的绑定域名自动出来），脚本选择ASP，点击“创建”。 创建之后我们可以通过FTP进行上传文件了。（因为已经把文件上传到服务器，现在可以直接放到服务器存放目录去了） 可以在“管理”中看到路径。在服务器上定位位置 看到db是备份数据库log是网站记录web就是放网站内容，其实和我们买的虚拟主机一样，在FTP中也是看到如图内容。 记得删除系统自动生成的index.html现在网站内容是准备好了，需要配置一下数据库（如果是静态的html页面就不需要） 在MySQL管理中点击“新增MySQL”输入你的数据库信息（不要输入的和小编一样简单，至少名称和密码要复杂点） 我们创建之后提示设置失败 打开护卫神软件下PHP套件中的“重置MySQL密码” 密码修改之后我们在创建试试 这一次数据库创建成功最后就是我们安装网站了，打开网址。 网站安装前，最好先看看这些网站源码带的说明书，网站安装方法写明了。 勾选“我同意协议”下一步 检查系统没有问题，可以下一步安装 因为这个网站源码问题我们创建的MySQL无法使用，对于小网站通常是ASP+Access的组合，输入网站设置信息，下一步。 安装完成，安装说明书提示我们进入后台现在可以发布你的网站啦。 Win系统下PHP环境配置和安装网站文件 PHP的环境已经安装好，我们进行创建网站和数据库 输入FTP账号（不能和asp创建的一样哦），环境选择PHP，绑定域名确定无误，进行创建 在MySQL管理中点击“新增MySQL”，输入数据库信息，点击“创建”网站源码存放到web下后，注意一定要是把网站文件放到根目录下，有的解压之后网站文件在一个文件夹里放着，请移动出来才行，不然访问网站提示找不到位置。 数据库类型选择MySQL，输入创建的数据库信息，数据库驱动选择MySQL，网站设置输入你想设置的信息，创建网站即可。 网站可以访问啦，看说明书知道后台地址就可以登录了。 我们知道系统不光2003还有2008系统2012系统等等，您都可以通过我介绍的进行操作。
2018-02-07
优秀的个人博客,低调大师

搭建网站必不可少的知识3

买虚拟主机的时候还要关注一下空间环境和你要使用的网站源码是不是匹配，比如你用的代码是ASP程序的你买的是PHP的环境，当然是带不起来。我们买的时候关注一下主机支持的程序语言asp、PHP、html、cgi、jsp、Java等等，系统Windows还是Linux（如果是asp程序最佳环境是Windows，PHP最佳环境Linux）。linux主机主要支持：php程序、数据库mysql Windows主机主要支持:asp 、asp.net、php 数据库access、mysql、mssql 。数据库也要关注支持类型和空间大小。（Windows是图形界面，Linux基本上是命令行） 网站数据库：就是动态网站存放网站数据的空间。也称数据库空间，类似我们的通讯录需要找谁在里面查看就能知道他的信息。 现大多网站都是由ASP、PHP开发的动态网站，网站数据是有专门的一个数据库来存放。网站数据可以通过网站后台，直接发布到网站数据库，网站则把这些数据进行调用。 网站数据库根据，网站的大小，数据的多少，决定选用，SQL 或者ACCESS、DB2、ORCLE数据库。 网站代码可以自己或者找人开发也可以在网上下载免费的源码进行直接使用。这里我们介绍一下免费源码。我们根据使用的用途将其分为很多种。论坛源码 Discuz phpwind开源CMS DedeCMS Phpcms博客/个人网站WordPress（异常强大） PJblog EMLOG OBlog Z-blog企业网站源码 电影网站 问答网站 搜索/网址导航 等等 如果是做个人博客使用WordPress足以，我们可以下载喜欢的模板（网站的样貌皮肤）和插件（留言评论等小功能）来丰富网站。企业可以找人开发或者使用这些推荐的源码套上皮肤即可。大多企业网站用的dede源码开发的，这方面还是看需求选择调整。 国内域名备案 国内根据工信部的要求需要提交域名备案信息，所以在买了国内的域名之后要提交你的信息的。在阿里云网站打开【管理控制台】--【产品与服务】--【域名】图中看到注册的域名，域名类型让我们知道国内域名要进行认证，国际的不要求，因为我已经对国内域名认证无法演示，这里点击国际域名进行实名认证。 输入页面要求的内容“提交”即可。如果不进行认证可能会无法访问页面。
2018-02-07
优秀的个人博客,低调大师

CentOS 7.3搭建xl2tp服务器

1.下载xl2tpd.tar.gz源码包 ``` wget http://pkgs.fedoraproject.org/repo/pkgs/xl2tpd/xl2tpd-1.3.8.tar.gz/d244fdcd88f64601b64b7302870afca8/xl2tpd-1.3.8.tar.gz ``` ## 2.安装xl2tpd和libreswan ``` tar -zxvf xl2tpd-1.3.8.tar.gz cd xl2tpd-1.3.8 make && make install 如果make过程中出现"contrib/pfc.c:14:23: 致命错误:pcap-bpf.h:没有那个文件或目录"则安装libpcap yum -y install libpcap-devel ``` ## 3.配置xl2tpd.conf配置文件 `vim /etc/xl2tpd/xl2tpd.conf` 修改内容如下： ``` [global] [lns default] ip range = 172.100.1.100-172.100.1.150 local ip = 172.100.1.1 require chap = yes refuse pap = yes require authentication = yes name = LinuxVPNserver ppp debug = yes pppoptfile = /etc/ppp/options.xl2tpd length bit = yes ``` ## 4.配置pppd选项参数 `vim /etc/ppp/options.xl2tpd` 修改内容如下： ``` ipcp-accept-local ipcp-accept-remote ms-dns 8.8.8.8 ms-dns 209.244.0.3 ms-dns 208.67.222.222 name xl2tpd #noccp auth crtscts idle 1800 mtu 1410 #第一次配置不建议设置mtu，mru，否则可能789错误(贴配置时去掉注释信息) mru 1410 nodefaultroute debug lock proxyarp connect-delay 5000 refuse-pap refuse-chap refuse-mschap require-mschap-v2 persist logfile /var/log/xl2tpd.log ``` ## 5.设置l2tp拨号用户名密码 ``` vim /etc/ppp/chap-secrets` 修改内容： vpnuser * pass * 说明：用户名[空格]service[空格]密码[空格]指定IP ``` ## 6.启动xl2tpd ``` /sbin/chkconfig xl2tpd on systemctl enable xl2tpd systemctl restart xl2tpd ``` ## 7.使用win7客户端进行拨号 [Win7拨号报错] (https://shipengliang.com/software-exp/win7-l2tpipsec-%E8%AE%BF%E9%97%AE%E7%BD%91%E7%AB%99%E8%BF%9E%E6%8E%A5%E8%A2%AB%E9%87%8D%E7%BD%AE%E7%9A%84%E8%A7%A3%E5%86%B3%E5%8A%9E%E6%B3%95.html)
2018-02-07
优秀的个人博客,低调大师

CentOS中nginx负载均衡和反向代理的搭建

1: 修改centos命令行启动（减少内存占用）： vim /etc/inittab id:5:initdefault: --> 修改5为3 若要界面启动使用 startx 2：安装jdk 1)解压：jdk-7u55-linux-i586.tar.gz [root@localhost jdk]# tar -zxvf jdk-7u55-linux-i586.tar.gz 2)复制：[root@localhost jdk]# cp -rf jdk1.7.0_55/ /usr/local/jdk 授权：[root@localhost jdk]# cd /usr/local/jdk [root@localhost jdk]# chmod u+x jdk/ 3)配置环境；[root@localhost bin]# vim /etc/profile 最后面插入：export JAVA_HOME=/usr/local/jdk/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH 4)刷新配置文件：source /etc/profile 验证：java javac 3：安装tomcat 1)解压：tar -zxvf 2)授权：chmod u+x/usr/local/tomcats/tomcat1/apache-tomcat-7.0.47/bin 3)启动：进入tomcat目录bin 目录后： ./startup.sh 4)开放端口：vim /etc/sysconfig/iptables 5)关闭防火墙：chkconfig iptables off 6)重启防火墙： service iptables restart 7)修改端口号：vim conf/server.xml 8)查看进程：ps aux | grep tomcat 4：安装nginx 1)安装环境： yum -y install gcc-c++ yum -y install pcre pcre-devel yum -y install zlib zlib-devel yum -y install openssl openssl-devel 2)解压：tar -zxvf nginx-1.8.0.tar.gz 3)创建安装目录：[root@localhost local]# mkdir -p nginx [root@localhost local]# cd nginx/ [root@localhost nginx]# pwd /usr/local/nginx 4)创建临时目录：var]# mkdir -p temp/nginx 5)进入目录：cd nginx-1.8.0/ 6)修改参数： ./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/run/nginx/nginx.pid \ --lock-path=/var/lock/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --http-scgi-temp-path=/var/temp/nginx/scgi 7)编译安装： make make install 8)启动: cd /usr/local/nginx/sbin/ ./nginx 9)查看进程：ps aux | grep nginx 10)快速停止：./nginx -s stop 11)完整停止：./nginx -s quit 此方式停止步骤是待nginx进程处理任务完毕进行停止。推荐使用 12)重启: ./nginx -s quit ./nginx 13)重新加载配置文件： ./nginx -s reload 5:配置虚拟主机： 1、nginx支持的三种虚拟主机的配置： 基于ip的虚拟主机 基于域名的虚拟主机 基于端口的虚拟主机 2、nginx配置文件的结构: 每个service就是一个虚拟主机 ...... events{ ...... } http{ ....... server{ ...... } server{ ...... } } 3、基于ip的虚拟主机配置： 修改配置文件： vim /usr/local/nginx/nginx-1.8.0/conf/nginx.conf server{ listen 80; server_name 192.168.31.88; location / { root html; index index.html index.htm; } } 4、基于域名的虚拟主机配置： 修改配置文件：vim /usr/local/nginx/nginx-1.8.0/conf/nginx.conf server{ listen 80; server_name www.nginxdns1.com; location / { root html_dns1; index index.html index.htm; } } server{ listen 80; server_name www.nginxdns2.com; location / { root html_dns2; index index.html index.htm; } } 5、基于端口的虚拟主机配置: 修改配置文件：vim /usr/local/nginx/nginx-1.8.0/conf/nginx.conf 监听端口：netstat -an | grep 80 server{ listen 88; server_name 192.168.31.88; location / { root html_port1; index index.html index.htm; } } server{ listen 89; server_name 192.168.31.88; location / { root html_port2; index index.html index.htm; } } 6、nginx 反向代理： 修改hosts：# nginx反向代理环境测试 192.168.31.88 www.nginxproxy1.com 192.168.31.88 www.nginxproxy2.com 开启不同虚拟机中的两台tomcat：192.168.31.88：8080 和 192.168.31.89:8081 修改配置文件： #代理tomcat1服务器 upstream tomcat_server1{ server 192.168.31.89:8081; } #代理tomcat2服务器 upstream tomcat_server2{ server 192.168.31.88:8080; } #配置虚拟主机： server{ listen 80; server_name www.nginxproxy1.com; location / { #root html_port1; proxy_pass http://tomcat_server1; index index.html index.htm; } } server{ listen 80; server_name www.nginxproxy2.com; location / { #root html_port2; proxy_pass http://tomcat_server2; index index.html index.htm; } } 7、nginx 负载均衡： 修改hosts :# nginx负载均衡环境测试 192.168.31.88 www.nginxbalance.com 开启不同虚拟机中的两台tomcat：192.168.31.88：8080 和 192.168.31.89:8081 修改配置文件： #代理tomcat2服务器 upstream tomcat_server_pool{ server 192.168.31.88:8080 weight=1; server 192.168.31.89:8081 weight=1; } #配置虚拟主机： server{ listen 80; server_name www.nginxbalance.com; location / { #root html_port1; proxy_pass http://tomcat_server_pool; index index.html index.htm; } } hosts文件配置： 1:nginx基于域名环境测试 192.168.31.88 www.nginxdns1.com 192.168.31.88 www.nginxdns2.com 2:nginx反向代理环境测试 192.168.31.88 www.nginxproxy1.com 192.168.31.88 www.nginxproxy2.com 3:nginx负载均衡环境测试 192.168.31.88 www.nginxbalance.com
2017-12-18
优秀的个人博客,低调大师

ubversion版本控制企业架构搭建之双机热备

1、前言 笔者公司需要一台svn服务器，但不幸的是公司给了一台破旧的服务器（本地用的，其他服务都跑在阿里云上），笔者担心没过多久服务器就挂点，故而想做svn的双机热备。 2、实践部分 2.1、环境 svnSer: ipaddress=10.168.0.176 hostname=svnSer svn-slaveSer: ipaddress=10.168.0.179 hostname=svn-slaveSer 2.2、svnSer安装配置（Master） In svnSer： 请参阅如下文章安装配置 http://cmdschool.blog.51cto.com/2420395/1715856 并增加如下配置 In svnSer: 1)定义svn备份管理员的用户名和密码 vim修改/var/local/svn/conf/passwd 增加如下定义： 1 bkuser = bkpwd 2)定义svn备份管理员的组、组成员和目录的组权限： vim修改/var/local/svn/conf/authz 1 2 3 4 5 [ groups ] admin_rw = bkuser [/] @admin_rw = rw 3）重启服务 1 /etc/init .d /svnserve restart 2.3、svn-slaveSer的安装配置（Slave） 2.3.1、step1 基本环境配置 In svn-slaveSer： 1）yum安装 1 yum -y install subversion 2）定义库文件夹 1 svnadmin create /var/local/svn 3）启动并设置服务开机启动 1 2 /etc/init .d /svnserve start chkconfig svnserve on 4）设置防火墙 vim编辑/etc/sysconfig/iptables 加入如下内容： 1 -A INPUT -m state --state NEW -m tcp -p tcp --dport 3690 -j ACCEPT 5）重启防火墙 1 /etc/init .d /iptables restart 2.3.2、step2 In svn-slaveSer： 1 2 3 4 cd /var/local/svn/hooks/ cp pre-revprop-change.tmpl pre-revprop-change chmod 744 pre-revprop-change ll pre-revprop-change vim编辑/var/local/svn/hooks/pre-revprop-change 修改最后一行 修改前： 1 exit 1 修改后： 1 exit 0 注：允许修改注释 2.3.3、step3 获取Master的配置文件 In svn-slaveSer： 1）复制配置文件 1 scp 10.168.0.176: /var/local/svn/conf/ * /var/local/svn/conf/ 2）重启服务 1 /etc/init .d /svnserve restart 2.3.4、step4 初始化同步信息 In svn-slaveSer 1 svnsync init file : ///var/local/svn/ svn: //10 .168.0.176 /var/local/svn 以上步骤会询问你svn的账号和密码，输入前面定义的用户名和密码： 用户名：bkuser 密码：bkpwd 2.3.5、step5 同步测试 In svn-slaveSer： 1 svnsync sync file : ///var/local/svn/ 以上步骤会询问你svn的账号和密码，输入前面定义的用户名和密码： 用户名：bkuser 密码：bkpwd 成功后的同步结果： 2.3.5、step5 设置用户提交自动同步 In svnSer： 1 2 3 4 cd /var/local/svn/hooks/ cp post-commit.tmpl post-commit chmod 700 post-commit ll post-commit vim编辑/var/local/svn/hooks/post-commit 末尾删除如下内容： 1 2 3 REPOS= "$1" REV= "$2" mailer.py commit "$REPOS" "$REV" /path/to/mailer .conf 增加如下内容： 1 svnsync sync --non-interactive svn: //10 .168.0.179 /var/local/svn --username bkuser --password bkpwd 以上语句建议先执行一次测试可用再写入post-commit 2.3.6、step6 检查同步情况： 1）桌面新建两个文件夹，pojectA与pojectB 2）分别做如下检出： 注意：以上检出的IP地址分别对应svnSer与svn-slaveSer 3）以上都单击【OK】后检出完毕，记录当前的版本号。 4）更新projetA文件夹的内容并做提交操作并记录提交后的版本号。 5）projetB做更新操作，并查看更新后的版本号是否是刚由projectA提交的版本号。 本文转自 tanzhenchao 51CTO博客，原文链接：http://blog.51cto.com/cmdschool/1716033，如需转载请自行联系原作者
2017-11-14
优秀的个人博客,低调大师

使用 Kafka 和 ELK 搭建测试日志系统（1）

本文仅供自己学习，不合适转载。 这是两篇文章的第一部分。 1. 安装 ELK 1.1 安装 ElasticSearch 在海航云上创建一个 Ubutu 16.4 虚机，2核4GB内存。 （1）执行以下命令，更新系统 sudo apt-get update -y sudo apt-get upgrade -y （2）安装 Java sudo add-apt-repository -y ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer -y （3）安装ES wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.deb sudo dpkg -i elasticsearch-5.2.2.deb 修改/etc/elasticsearch/elasticsearch.yml: 将network.host 修改为本机 ip 即 192.168.10.102 将http.port 修改为 9200 将cluster.name 修改为 elk-test 重启 ES并检查服务状态： root@elk:/home/ubuntu# service elasticsearch restart root@elk:/home/ubuntu# service elasticsearch status ● elasticsearch.service - Elasticsearch Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: enab Active: active (running) since Sat 2017-09-30 11:23:17 CST; 3s ago Docs: http://www.elastic.co Process: 3861 ExecStartPre=/usr/share/elasticsearch/bin/elasticsearch-systemd-pre-exec (code= Main PID: 3864 (java) Tasks: 15 Memory: 2.1G CPU: 4.511s 1.2 安装 Nginx 和 Logstash 创建另一台虚机，安装 Nginx 和 Logstash。 1.2.1 安装 Nginx apt-get install nginx Ubuntu安装之后的文件结构大致为： 所有的配置文件都在/etc/nginx下，并且每个虚拟主机已经安排在了/etc/nginx/sites-available下 程序文件在/usr/sbin/nginx 日志放在了/var/log/nginx中 并已经在/etc/init.d/下创建了启动脚本nginx 默认的虚拟主机的目录设置在了/var/www/nginx-default (有的版本 默认的虚拟主机的目录设置在了/var/www, 请参考/etc/nginx/sites-available里的配置) 启动并查看服务状态： root@elk:/home/ubuntu# /etc/init.d/nginx start [ ok ] Starting nginx (via systemctl): nginx.service. root@elk:/home/ubuntu# /etc/init.d/nginx status ● nginx.service - A high performance web server and a reverse proxy server Loaded: loaded (/lib/systemd/system/nginx.service; enabled; vendor preset: enabled) Active: active (running) since Sat 2017-09-30 11:40:59 CST; 1min 8s ago Main PID: 4320 (nginx) CGroup: /system.slice/nginx.service ├─4320 nginx: master process /usr/sbin/nginx -g daemon on; master_process on; ├─4321 nginx: worker process └─4322 nginx: worker process Sep 30 11:40:59 elk systemd[1]: Starting A high performance web server and a reverse pro...r... Sep 30 11:40:59 elk systemd[1]: Started A high performance web server and a reverse prox...ver. Sep 30 11:42:06 elk systemd[1]: Started A high performance web server and a reverse prox...ver. Hint: Some lines were ellipsized, use -l to show in full. 为了测试起见，将端口修改为 88.修改文件/etc/nginx/sites-available/default，并重启 Nginx 服务： server { listen 88 default_server; listen [::]:88 default_server; 鉴于该服务器没有设置公网IP，在其路由器上设置端口转发规则，使得可以通过路由器的EIP的88端口访问到它上面的Nginx服务： 在浏览器上测试，Nginx 可用： 1.2.2 安装和配置 Logstash wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.2.tar.gz tar zxvf logstash-5.2.2.tar.gz ln -s logstash-5.2.2 logstash 创建文件 nginxlog2es.conf，内容如下。它会将 Nginx 的日志文件/var/log/nginx/access.log_json 中的日志发到 ES 服务器192.168.10.102:9200： input { file { path => "/var/log/nginx/access.log_json" codec => "json" } } filter { mutate { split => [ "upstreamtime", "," ] } mutate { convert => [ "upstreamtime", "float" ] } } output { stdout { codec => rubydebug } elasticsearch { hosts => ["192.168.10.102:9200"] index => "logstash-%{type}-%{+YYYY.MM.dd}" document_type => "%{type}" flush_size => 20000 idle_flush_time => 10 sniffing => true template_overwrite => true } } 修改 /etc/nginx/nginx.conf，添加： ## # Logging Settings ## log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",' '"size":$body_bytes_sent,' '"responsetime":$request_time,' '"upstreamtime":"$upstream_response_time",' '"upstreamhost":"$upstream_addr",' '"http_host":"$host",' '"url":"$uri",' '"xff":"$http_x_forwarded_for",' '"referer":"$http_referer",' '"agent":"$http_user_agent",' '"status":"$status"}'; access_log /var/log/nginx/access.log_json json; 重启 Nginx 服务，在浏览器上刷新页面，查看 Nginx 日志， {"@timestamp":"2017-09-30T12:44:19+08:00","host":"192.168.10.104","clientip":"140.206.84.10","size":0,"responsetime":0.000,"upstreamtime":"-","upstreamhost":"-","http_host":"120.132.124.103","url":"/index.nginx-debian.html","xff":"-","referer":"-","agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36","status":"304"} 启动logstash， nohup logstash/bin/logstash -f nginxlog2es.conf > /tmp/logstash.log 2>&1 & 刷新 Nginx 页面，能看到 logstash 收集到的 Nginx 日志： { "referer" => "-", "agent" => "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36", "http_host" => "120.132.124.103", "url" => "/index.nginx-debian.html", "path" => "/var/log/nginx/access.log_json", "upstreamhost" => "-", "@timestamp" => 2017-09-30T04:48:23.000Z, "size" => 0, "clientip" => "140.206.84.10", "host" => "192.168.10.104", "@version" => "1", "responsetime" => 0.0, "xff" => "-", "upstreamtime" => [ [0] 0.0 ], "status" => "304" } 1.3 安装 Kibana wget https://artifacts.elastic.co/downloads/kibana/kibana-5.2.2-linux-x86_64.tar.gz ln -s kibana-5.2.2-linux-x86_64 kibana 修改配置文件 kibana/config/kibana.yml， server.host: "192.168.10.102" elasticsearch.url: "http://192.168.10.102:9200" 启动 kibana， nohup kibana/bin/kibana > /tmp/kibana.log 2>&1 & 在浏览器里面输入http://120.132.124.103:5601/ 就可以打开 kibana 页面了。可以看到Nginx 的日志： 1.4 小结 从上面的步骤可以看出，ELK 的结构相对简单： Logstack 负责收集日志，并推送到 ES 中 ES 负责存储 Kibana 负责界面展示 ELK 的总体架构如下： 但是，这种架构有不少问题，其中问题之一是处理能力问题。bol.com 公司有如下的ELK架构演进路线： （1）初始架构（2013年） 问题是单实例的 logstash 有性能瓶颈。 （2）使用 redis 缓存以及多个 logstash 实例（2014年） 使用 redis 作为消息缓存，使用多实例 Logstash 增加处理性能。 参考链接： https://devops.profitbricks.com/tutorials/install-and-configure-apache-kafka-on-ubuntu-1604-1/ http://www.cnblogs.com/xiaoqi/p/elk-part1.html https://www.slideshare.net/TinLe1/elk-atlinked-in https://www.slideshare.net/renzotoma39/scaling-an-elk-stack-at-bolcom-39412550 https://www.elastic.co/blog/logstash-kafka-intro https://www.elastic.co/blog/just-enough-kafka-for-the-elastic-stack-part2 https://www.elastic.co/blog/just-enough-kafka-for-the-elastic-stack-part1 本文转自SammyLiu博客园博客，原文链接：http://www.cnblogs.com/sammyliu/p/7614209.html，如需转载请自行联系原作者
2017-11-14
优秀的个人博客,低调大师

在Ubuntu系统上搭建Hadoop 2.x(2.6.2)

前提条件 （1）Ubuntu操作系统（本教程使用的是Ubuntu 14.04） （2）安装JDK $ sudo apt-get install openjdk-7-jdk $ java -version java version "1.7.0_25" OpenJDK Runtime Environment (IcedTea 2.3.12) (7u25-2.3.12-4ubuntu3) OpenJDK 64-Bit Server VM (build 23.7-b01, mixed mode) $ cd /usr/lib/jvm $ ln -s java-7-openjdk-amd64 jdk （3）安装ssh $ sudo apt-get install openssh-server 添加Hadoop用户组和用户（可选） $ sudo addgroup hadoop $ sudo adduser --ingroup hadoop hduser $ sudo adduser hduser sudo 创建用户之后，使用hduser重新登陆ubuntu 安装SSH证书 $ ssh-keygen -t rsa -P '' ... Your identification has been saved in /home/hduser/.ssh/id_rsa. Your public key has been saved in /home/hduser/.ssh/id_rsa.pub. ... $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ ssh localhost 下载Hadoop 2.6.2 $ cd ~ $ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz $ sudo tar vxzf hadoop-2.6.2.tar.gz -C /home/hduser $ cd /home/hduser $ sudo mv hadoop-2.6.2 hadoop $ sudo chown -R hduser:hadoop hadoop 配置Hadoop环境变量 （1）修改系统环境变量 $cd ~ $vi .bashrc 把下边的代码复制到vi打开的.bashrc文件末尾，如果JAVA_HOME已经配置过，那就不需要再配置了。 #Hadoop variables #begin of paste export JAVA_HOME=/usr/lib/jvm/jdk/ export HADOOP_INSTALL=/home/hduser/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL #end of paste （2）修改hadoop环境变量 $ cd /home/hduser/hadoop/etc/hadoop $ vi hadoop-env.sh #必改的就一个，那就是修改JAVA_HOME，其他的可以不修改 export JAVA_HOME=/usr/lib/jvm/jdk/ 配置完成后，重新登陆Ubuntu（把terminal关掉，再打开） 输入下边的命令检查是否安装成功 $ hadoop version Hadoop 2.6.2 ... ... ... 配置Hadoop （1）core-site.xml $ cd /home/hduser/hadoop/etc/hadoop $ vi core-site.xml #把下边的代码复制到<configuration>和</configuration>中间 <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> （2）yarn-site.xml $ vi yarn-site.xml #把下边的代码复制到<configuration>和</configuration>中间 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> （3）mapred-site.xml $ mv mapred-site.xml.template mapred-site.xml $ vi mapred-site.xml #把下边的代码复制到<configuration>和</configuration>中间 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> （4）hdfs-site.xml $ cd ~ $ mkdir -p mydata/hdfs/namenode $ mkdir -p mydata/hdfs/datanode $ cd /home/hduser/hadoop/etc/hadoop $ vi hdfs-site.xml #把下边的代码复制到<configuration>和</configuration>中间 <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hduser/mydata/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hduser/mydata/hdfs/datanode</value> </property> 格式化一个新的分布式文件系统： $ cd ~ $ hdfs namenode -format 启动Hadoop服务 $ start-dfs.sh .... $ start-yarn.sh .... $ jps #如果配置成功的话，你会看到类似下边的信息 2583 DataNode 2970 ResourceManager 3461 Jps 3177 NodeManager 2361 NameNode 2840 SecondaryNameNode 运行Hadoop示例 hduser@ubuntu: cd /home/dhuser/hadoop hduser@ubuntu:/home/dhuser/hadoop$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.2.jar pi 2 5 #然后你会看到类似下边的信息 Number of Maps = 2 Samples per Map = 5 15/10/21 18:41:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Wrote input for Map #0 Wrote input for Map #1 Starting Job 15/10/21 18:41:04 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 15/10/21 18:41:04 INFO input.FileInputFormat: Total input paths to process : 2 15/10/21 18:41:04 INFO mapreduce.JobSubmitter: number of splits:2 15/10/21 18:41:04 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name ... 本文转自ZH奶酪博客园博客，原文链接：http://www.cnblogs.com/CheeseZH/p/5051135.html，如需转载请自行联系原作者
2017-11-13
优秀的个人博客,低调大师

菜鸟也学hadoop(1)_搭建单节点的hadoop

其实跟官方的教程一样 只是 我想写下来 避免自己搞忘记了，，，，好记性不如烂笔头 首先确认自己是否安装了 java， ssh 以及 rsync 没有装的直接就 apt-get install 了嘛，，，java的不一定要用sun的 OPEN的也好 主要方便。。。。不是重点 看着搞啦 然后 就是ssh免密码登录 这点 主要是因为 hadoop 需要通过ssh来启动salve列表中的各个主机守护进程，因为 分布式集群管理的 所以不管你是用的单机伪分布 或是分布 它都不分管理模式的，因此这一步必须搞 也简单 就两道命令 /opt/hadoop# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 #后面学到的新的做法 记录一下 On source host: cd ~ mkdir . ssh chmod 700 . ssh cd . ssh ssh -keygen -t rsa -b 1024 cat id_rsa.pub copy contents of id_rsa.pub On destination host: cd ~ mkdir . ssh chmod 700 . ssh cd . ssh vi authorized_keys paste contents of id_rsa.pub from evnoltp9 into authorized keys :wq! #chmod 600 authorized_keys chmod og-rxw $HOME/. ssh $HOME/. ssh /authorized_keys 另外要注意请务必要将服务器上 ~/.ssh权限设置为700 ~/.ssh/authorized_keys的权限设置为600 试一试 是否可以免密码登录 ssh localhost 这样就完成了第一步 echo $JAVA_HOME 看看jdk安装在哪里 然后copy一下路径 一会用上 vim ./conf/hadoop-env.sh 当中大概第九条 把那里的JAVA_HOME 指定一下 export JAVA_HOME=/usr/lib/jdk/jdk1.7.0_07 ##保存 配置 hadoop核心配置文件 vim ./conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> ##hdfs入口 </property> </configuration> 配置 hadoop 的HDFS配置文件 vim ./conf/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> ##文件副本数量 但节点 一个就够了 </property> </configuration> 配置 hadoop 的 MapReduce配置文件 vim ./conf/mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 这样 一个单节点的Hadoop就配置成功了 剩下的就是格式下文件系统 然后 启动就OK 了 首先是格式文件系统 hadoop namenode -format 接下来启动 start-all.sh 当然 你可以 单单启动 HDFS(start-dfs.sh) 也可以单单启动 MapReduce (start-mapred.sh) 验证是否成功 打开浏览器 localhost:50030 ##MapReduce WEB管理界面 localhost:50070 ##HDFS WEB管理界面 测试上传文件到 hdfs文件系统当中 hadoop fs -put 文件名 hdfs://localhost:9000/指定一个文件夹 或者 就放到根目录 刷新下 hdfs管理界面 就能看到那个文件了 测试 MapReduce 例子 用的 hadoop里面自带的例子 计算shell脚本当中的单词量 首先先上传 要计算的sh文件 hadoop fs -mkdir /input ##创建一个input文件夹 hadoop fs -put *.sh /input/ ##上传当前文件夹下所有的*.sh文件 到 hdfs 的 input 文件夹下 hadoop jar hadoop-examples-i.0.3.jar wordcount /input /output 开始计算 过程省略 仅仅使用于测试的 -----完成后 可以在 localhost:50070 文件管理系统当中发现一个output文件夹 点进入 在part-r-00000 当中记录了结果 前面是单词 后面是出现的次数 在localhost:50030 可以看到running jobs(这里显示 运行当中的) completed jobs （这里显示作业运行的统计）点进去可以看到一些 更详细的信息，自己研究啦 由于在 UBUNTU当中截图麻烦 我就不发图了 按照步骤一步一步来 亲测OK 我用的 UBUNTU 12.04 注：后面我看了书 hadoop实战 机械工业出版社的那本 说是不能用openJava 但是我原来看别人录制视频 说是可以， 我呢是用的 oracle的 大家如果用open的装不上 就用oracle的吧 没有实践过 本文转自 拖鞋崽 51CTO博客，原文链接:http://blog.51cto.com/1992mrwang/1011844
2017-11-11

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-10-18 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册