使用Docker快速部署ELK分析Nginx日志实践-低调大师

使用Docker快速部署ELK分析Nginx日志实践

2018-08-24 603

一、背景

笔者所在项目组的项目由多个子项目所组成，每一个子项目都存在一定的日志，有时候想排查一些问题，需要到各个地方去查看，极为不方便，此前听说有ELK这种神器，搜索了一下，发现利用docker搭建似乎并不麻烦，于是进行了一番尝试，结果还比较顺利，将此过程完整记录下来，希望留给有需要的读者进行参考。

笔者这次实践的过程当中参考了较多的文档与笔记，参考的链接地址有：
Docker ElK安装部署使用教程、
Docker Hub官网、
Docker ELK使用文档

二、操作概要

服务安装与运行
数据导入与校验
绘图配置与展示

三、服务安装与运行

安装ELK有很多种方式，比如源码、rpm包，或docker;不过docker又分为了单个安装与ELK打包安装，笔者这里是通过docker打包安装，因为这样的方式相比来说最为简单，因为只需要下载镜像，然后运行起来就可以了

3.1 镜像下载

ELK镜像已经被docker官方收录，因此只需要简单的命令即可拉取到镜像；但考虑到ELK镜像比较大，在拉取过程当中存在比较慢的情况，因此笔者使用了阿里云的加速器来提速；笔者使用的是MAC版本的docker，参考配置方法如下:

3.1.1 镜像加速

右键点击桌面顶栏的 docker 图标，选择 Preferences ，在 Daemon 标签下的 Registry mirrors 列表中将 https://k0pf39f8.mirror.aliyuncs.com加到registry-mirrors的数组里，点击 Apply & Restart按钮，等待Docker重启并应用配置的镜像加速器,如下截图

3.1.2 镜像获取

设置好加速地址之后，笔者就可以开始拉取ELK镜像，参考命令如下：

docker pull sebp/elk

笔者当前镜像laster对应的版本为6.2.4，如果读者以后看到此文章，在搭建的时候遇到一些问题，可以在命令后面加上:6.2.4来指定该版本，减少意外产生;

下载镜像之后可以使用docker的命令来验证是否成功，参考命令如下：

docker images

笔者执行后docker返回结果如下

REPOSITORY     TAG                 IMAGE ID            CREATED             SIZE
sebp/elk       latest              c916150705cc        2 weeks ago         1.49GB

在结果当中可以看出，ELK镜像已经下载下来，占用了将近1.5GB空间

3.2 容器运行

运行此容器的时候，需要将宿主机的端口转发到该容器，其中ES端口为9200，kibana端口为5601，logbate端口为5044；另外笔者建议将配置文件和数据存放在宿主机，便于后期维护，因此还需要将宿主机目录挂载到容器/data当中；最后构造的命令如下:

docker run -p  5601:5601 -p 9200:9200 -p 5044:5044  -v /Users/song/dockerFile:/data -it -d --name elk sebp/elk

笔者在运行容器的参数当中加入了后台运行-d参数，这样笔者就不怕误操作突然把容器停止了，但放置于后台运行，ELK的服务器启动过程是不可见的，这个启动时间根据你机器的性能所决定，笔者电脑大约在10秒钟左右；如果觉得启动失败，也可以将该容器删除，然后重新创建一个容器，上述命令中的-d删除即可看到启动过程。

3.3 数据导入与校验

容器运行之后，笔者需要验证是否启动成功，可以通过浏览器访问kibana和ES的页面是否成功来判断。

3.3.1 检查Kibana

通过浏览器访问kibana，如果正常出现界面，则代表启动成功，URL地址如下：

http://localhost:5601/

当浏览器访问成功之后，参考如下图所示：

3.3.2 ES服务检查

验证kibana启动成功之后，接着继续验证ES服务是否启动成功，URL地址如下

http://localhost:9200/_search?pretty

访问之后，此时ES里面应该是没有数据的，出现的界面如下

四、配置与验证

在保证es和kibana服务启动完成之后，笔者还需要进行一些数据导入步骤

4.1 logstash配置

logstash配置主要有三个地方要处理，首先是输入源在什么位置，然后是对数据进行过滤或者格式化，最后是需要将数据输出到什么地方；笔者在下方的配置只做了其中两项，因为在nginx日志当中已经将日志格式化了，编辑配置文件命令参考如下：

vim /Users/song/dockerFile/config/logstash.yml

配置文件内容参考如下

input {
file {
path => "/data/logs/access.log"
codec => "json"
}
}
output {
elasticsearch { hosts => ["127.0.0.1:9200"] }
stdout { codec => rubydebug }
}

在配置文件当中，可以看到日志文件存放的位置在 "/data/logs/access.log"当中，输出的地址是127.0.0.1:9200，这是本机的ES服务

4.2 nginx日志格式

因为笔者对logstash的配置文件语法不太熟悉，在里面写过滤器和筛选项比较费时间，所以选择直接更改nginx中的日志格式，将nginx的日志文件设置为json格式，在更改nginx配置文件之前，需要获取nginx配置文件路径，参考如下命令

sudo nginx -t

返回结果

Password:
nginx: the configuration file /usr/local/etc/nginx/nginx.conf syntax is ok
nginx: configuration file /usr/local/etc/nginx/nginx.conf test is successful

在返回的结果当中已经可以看到配置文件所在的位置，使用vim编辑配置文件，参考命令

vim /usr/local/etc/nginx/nginx.conf

在http级别下增加自定义日志格式，和日志路径，参考配置如下:

log_format  json '{"@timestamp":"$time_iso8601",
"@version":"1","host":"$server_addr",
"client":"$remote_addr", "size":"$body_bytes_sent",
"responsetime":"$request_time",
"domain":"$host","url":"$uri","status":"$status"}';

access_log  /data/logs/access.log  json;

笔者配置截图如下所示

4.3 启动logstash

前面已经将日志格式与logstash配置好，现在笔者需要启动logstash开始收集日志，启动logstash之前需要先进入容器里面，进入容器参考命令如下：

docker exec -it elk bash

进入容器之后,笔者需要启动logstash来收集数据，启动的时候需要带两个参数进去，第一个是logstash的数据暂存位置，第二个是使用的配置文件，因此构造的命令如下所示：

/opt/logstash/bin/logstash --path.data /tmp/logstash/data -f /data/config/logstash.conf

4.4 添加数据

现在只要nginx产生日志，logstash就会实时将日志发送到ES服务当中，在发送数据时，终端窗口也会发生变化，如下图所示

五、绘图配置与展示

当数据导入之后，笔者才可以使用kibana的图形化来查看数据了，所以首先确认一下ES中是否有数据，确认有数据后就可以进行绘图配置，配置完成之后就可以进行筛选日志等操作了。

5.1 ES数据检查

当数据添加到ES服务器当中后，笔者可以通过ES服务提供的URL来查看其中的数据，URL地址如下所示:

http://localhost:9200/_search?pretty

就会看到笔者刚刚输入的日志内容，如下图所示

当看到total数量变大，并在下面的数据项中看到了nginx日志信息时，则代表笔者导入数据成功了。

5.2 kibana索引配置

通过浏览器访问kibana，URL地址如下

http://127.0.0.1:5601/app/kibana#/management/kibana/index?_g=()

点击左侧导航栏的Discover链接，便可进入创建索引模式界面，如下图所示

点击页面右下方的next按钮,会跳转到下一个页面，在此页面还需要选择一个时间维度，如下图所示

在此点击下一步，便创建kibana的索引完成，此时再次点击左侧导航栏的Discover链接，便可以看到刚才创建索引的一些视图，如下图所示

在图中有一个input输入框，笔者可以在里面填写筛选所需要的关键词；如果没有筛选出结果，也可检查左侧的时间筛选项是否设置正确，如笔者的时间筛选项设置的是Today,也就代表筛选当天的数据。

ELK的整体操作流程比较简单，首先是logstash收集各种日志并进行过滤，然后将过滤后的内容发送到ES服务中，最后用户通过Kibana的页面查看ES中的日志数据；

作者：汤青松

微信：songboy8888

日期：2018-08-25

微信关注我们

原文链接：https://yq.aliyun.com/articles/629057

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

docker学习系列12 轻松实现 mysql 主从同步

docker的一大好处是在本地可以很方便快速的搭建负载均衡，主从同步等需要多主机的环境。可以说是极大方便了运维成本和难度。本节在本地搭建mysql的一主一从的集群环境。关于主从同步的流程图，放张网上找的流程图 image.png 以mysql5.7为例创建 mysql-master-slave 目录，比如完整路径是 D:/docker/mysql-master-slave 目录结构如下： -- master -- data mysqld.cnf -- slave -- data mysqld.cnf 其中master目录底下的 mysqld.cnf 配置文件内容为 [mysqld] pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock datadir = /var/lib/mysql #log-error = /var/log/mysql/error.log # By default we only accept connections from localhost #bind-ad...

2018-08-24

573

阿里云OSS冰点特价云存储 1TB 三年 99元活动专属页面：购买连接阿里云1000元大礼包先领券后购买：领取大礼包活动时间：2018年7月30日至2018年10月30日一、对象存储特惠活动：活动期间，用户新购、续费指定规格享受以下2选1优惠：1）3年1TB对象存储存储包 99元特价；2）3年10TB对象存储存储包 999元特价每位用户仅能参与一次活动，限同人优惠活动不与对象存储其他优惠同时享受活动价格购买的存储包不可退款，购买后不可更换地域，请注意购买前进行合理选择如用户存在作弊、欺诈或通过其他非正常手段获取利益的行为，阿里云有权收回相关权益二、文件存储特惠活动：活动时间内，用户新购享受以下优惠：1）100G容量型存储包一年99元每位用户仅能参与一次活动，限同人优惠活动不与文件存储其他活动同时享受活动价格购买的存储包不可退款，购买后不可更换地域，请注意购买前进行合理选择如用户存在作弊、欺诈或通过其他非正常手段获取利益的行为，阿里云有权收回相关权益三、混合云备份免费试用活动：活动时间内，以下规格混合云备份服务享受免费试用：1）混合云备份客户端 5个...

2018-08-25

802

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。