一、前言
近期需要对Nginx产生的日志进行采集，问了下度娘，业内最著名的解决方案非ELK(Elasticsearch, Logstash, Kibana)莫属。
Logstash负责采集日志，Elasticsearch负责存储、索引日志，Kibana则负责通过Web形式展现日志。
今天，我要说的是Logstash，它可以从多种渠道采集数据，包括控制台标准输入、日志文件、队列等等，只要你能想到，都可以通过插件的方式实现。
其中，日志源提供的日志格式可能并不是我们想要插入存储介质里的格式，所以，Logstash里提供了一系列的filter来让我们转换日志。
Grok就是这些filters里最重要的一个插件，下面我就说说它。
大多数Linux使用人员都有过用正则表达式来查询机器中相关文件或文件里内容的经历，在Grok里，我们也是使用正则表达式来识别日志里的相关数据块。
有两种方式来使用正则表达式：
直接写正则来匹配
用Grok表达式映射正则来匹配
在我看来，每次重新写正则是一件很痛苦的事情，为什么不用表达式来一劳永逸呢？
特别提示：Grok表达式很像C语言里的宏定义
要学习Grok的默认表达式，我们就要找到它的具体配置路径，路径如下：
# Windows下路径[你的logstash安装路径]\vendor\bundle\jruby\x.x\gems\logstash-patterns-core-x.x.x\patterns\grok-patterns
现在对常用的表达式进行说明:
USERNAME 或 USER
用户名，由数字、大小写及特殊字符(._-)组成的字符串
比如：
1234、Bob、Alex.Wong等
EMAILLOCALPART
电子邮件用户名部分，首位由大小写字母组成，其他位由数字、大小写及特殊字符(_.+-=:)组成的字符串。注意，国内的QQ纯数字邮箱账号是无法匹配的，需要修改正则
比如：
stone、Gary_Lu、abc-123等
EMAILADDRESS
电子邮件
比如：
stone@abc.com、Gary_Lu@gmail.com、abc-123@163.com等
HTTPDUSER
Apache服务器的用户，可以是EMAILADDRESS或USERNAME
INT
整数，包括0和正负整数
比如：
0、-123、43987等
BASE10NUM 或 NUMBER
十进制数字，包括整数和小数
比如：
0、18、5.23等
BASE16NUM
十六进制数字，整数
比如：
0x0045fa2d、-0x3F8709等
BASE16FLOAT
十六进制数字，整数和小数
WORD
字符串，包括数字和大小写字母
比如：
String、3529345、ILoveYou等
NOTSPACE
不带任何空格的字符串
SPACE
空格字符串
QUOTEDSTRING 或 QS
带引号的字符串
比如：
"This is an apple"、'What is your name?'等
UUID
标准UUID
比如：
550E8400-E29B-11D4-A716-446655440000
MAC
MAC地址，可以是Cisco设备里的MAC地址，也可以是通用或者Windows系统的MAC地址
IP
IP地址，IPv4或IPv6地址
比如：
127.0.0.1、FE80:0000:0000:0000:AAAA:0000:00C2:0002等
HOSTNAME
主机名称
IPORHOST
IP或者主机名称
HOSTPORT
主机名(IP)+端口
比如：
127.0.0.1:3306、api.stozen.NET:8000等
PATH
路径，Unix系统或者Windows系统里的路径格式
比如：
/usr/local/nginx/sbin/nginx、c:\windows\system32\clr.exe等
URIPROTO
URI协议
比如：
http、ftp等
URIHOST
URI主机
比如：
www.stozen.Net、10.0.0.1:22等
URIPATH
URI路径
比如：
//www.stozen.net/abc/、/api.PHP等
URIPARAM
URI里的GET参数
比如：
?a=1&b=2&c=3
URIPATHPARAM
URI路径+GET参数
比如：
//www.stozen.net/abc/api.php?a=1&b=2&c=3
URI
完整的URI
比如：
http://www.stozen.net/abc/api.php?a=1&b=2&c=3
MONTH
月份名称
比如：
Jan、January等
MONTHNUM
月份数字
比如：
03、9、12等
MONTHDAY
日期数字
比如：
03、9、31等
DAY
星期几名称
比如：
Mon、Monday等
YEAR
年份数字
HOUR
小时数字
MINUTE
分钟数字
SECOND
秒数字
TIME
时间
比如：
00:01:23
DATE_US
美国日期格式
比如：
10-15-1982、10/15/1982等
DATE_EU
欧洲日期格式
比如：
15-10-1982、15/10/1982、15.10.1982等
ISO8601_TIMEZONE
ISO8601时间格式
比如：
+10:23、-1023等
TIMESTAMP_ISO8601
ISO8601时间戳格式
比如：
2016-07-03T00:34:06+08:00
DATE
日期，美国日期%{DATE_US}或者欧洲日期%{DATE_EU}
DATESTAMP
完整日期+时间
比如：
07-03-2016 00:34:06
HTTPDATE
http默认日期格式
比如：
03/Jul/2016:00:36:53 +0800
LOGLEVEL
日志等级
比如：
Alert、alert、ALERT、Error等
在业务领域中，可能会有越来越多的日志格式出现在我们眼前，而Grok的默认表达式显然已无法满足我们的需求（比如用户身份证号、手机号等信息），所以，我们需要自己动手添加些表达式。
| 表达式 | 正则表达式 | 说明 |
|---|---|---|
| DATE_CHS | %{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY} | 中国人习惯的日期格式 |
| ZIPCODE_CHS | [1-9]\d{5} | 国内邮政编码 |
| GAME_ACCOUNT | [a-zA-Z][a-zA-Z0-9_]{4,15} | 游戏账号，首字符为字母，4-15位字母、数字、下划线组成 |
还有很多，需要您在业务中灵活运用！
微信关注我们
转载内容版权归作者及来源网站所有！
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。
Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。
Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。
WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。
扫码在手机上查看文章
扫描二维码，手机阅读更方便
有任何问题或合作意向欢迎联系我们
Email: 99873273@qq.com
QQ: 99873273