简单使用packetbeat-低调大师

简单使用packetbeat

2017-11-28 585

在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志，然后通过kibana以web的方式展示出来，但在生产环境中，需求会更复杂一些，而且通过logstash写正则，实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况；还有I/O吞吐量；这个时间段内经常执行的查询语句，http访问情况等信息；然后将分析出来的结果以图表的形式展现出来。听起来是不是有点头晕，有点高大上的感觉，其实通过packetbeat，一切将变得简单高效。本文介绍使用packetbeat，elasticsearch,kibana实现这个需求。

操作系统版本：centos6.6 64bit

Elasticsearch版本：elasticsearch-2.1.0.tar.gz

Kibana版本：Kibana 4.2.1

Packetbeat版本：packetbeat-1.0.0-1.x86_64

Topbeat版本：topbeat-1.0.0-x86_64 （topbeat其实是用来收集操作系统信息的）

在前两篇文章中未介绍如果安装elasticsearch和kibana，这个其实很简单，基本下载下来解压一下，稍微修改一下配置文件即可运行起来，所有就忽略了，如果有问题，可以自行百度或者bing一下。

目前packetbeat支持的网络协议有http,mysql,postgresql,redis,mongodb和thrift。Packetet支持pcap，pf_ring等抓包方式，采用哪种方式进行抓包，则需要安装相应的依赖包。

一：下载并安装packetbeat

 
        # yum -y install libpcap
       
        # rpm -ivh https://download.elastic.co/beats/packetbeat/packetbeat-1.0.0-x86_64.rpm
       
        # rpm -ivh https://download.elastic.co/beats/topbeat/topbeat-1.0.0-x86_64.rpm

二：向elasticsearch导入packetbeat模板

 
        # curl -XPUT 
       
        'http://192.168.1.226:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

三：修改packetbeat配置文件

 
        # cat /etc/packetbeat/packetbeat.yml  --server15
       
        shipper:
       
        name: server15 
       
        tags: ["server15"] 
       
        interfaces:
       
        device: any 
       
        type: pcap 
       
        buffer_size_mb: 100 
       
        protocols:
       
        mysql: 
       
        ports: [3306] 
       
        output:
       
        elasticsearch: 
       
        host: 192.168.1.207 
       
        port: 9200 
       
        enabled: true
       
        # cat /etc/packetbeat/packetbeat.yml  --server226
       
        shipper:
       
        name: server226 
       
        tags: ["server226"] 
       
        interfaces:
       
        device: eth0 
       
        type: pcap 
       
        buffer_size_mb: 100 
       
        protocols:  
       
        mongodb: 
       
        ports: [37017, 38017] 
       
        send_request: true     # index the request payload 
       
        send_response: true    # index the response payload 
       
        max_docs: 10           # maximum number of documents to index per request/response 
       
        max_doc_length: 1024   # maximum document size to index 
       
        protocols:
       
        mysql: 
       
        ports: [3306] 
       
        protocols:
       
        redis: 
       
        ports: [6379] 
       
        output:
       
        elasticsearch: 
       
        enabled: true 
       
        host: 192.168.1.207 
       
        port: 9200

四：启动packetbeat服务

 
        # /etc/init.d/packetbeat start

五：导入packetbeat-dashboards

 
        # git clone https://github.com/elastic/packetbeat-dashboards
       
        # cd packetbeat-dashboards
       
        # sh load.sh -url http://192.168.1.207:9200

六：web展示

1: 配置索引，这个在执行完load.sh脚本之后，索引会自动创建

2: 查看客户端的数据推送情况

3: 查看导入的面板，可视化视图，点击setting-objects

4: 图形展示,点击dashboard-load save dashboards

Mysql情况：

在有多台mysql服务的情况下，可以根据tags来区分，在搜索框中输入相应的tag，则只显示对应的数据

Mongodb情况

汇总情况：

更多数据演示请访问packetbeat demo网址：http://demo.elastic.co/packetbeat/

七：故障排错

1: 在测试过程中曾经发现mysql里面的most frequent Mysql queries和slowest mysql queries数据显示不全，像是被截断的样子，排查后发现其实是模板的问题，删除模板后重新导入即可.

 
        # curl -XDELETE 'http://192.168.1.207:9200/*' 
       
        # curl -XPUT 
       
        'http://192.168.1.207:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json 
       
        # cd packetbeat-dashboards
       
        # sh load.sh -url http://192.168.1.207:9200

2: elasticsearch数据维护

搜索数据：(如果你有多个索引，可以把packetbeat-*换成对应的索引名)：

 
        # curl -XGET 'http://192.168.1.226:9200/packetbeat-*/_search?pretty'

删除数据(如果你有多个索引，可以把packetbeat-*换成对应的索引名)：

 
        # curl -XDELETE 'http://192.168.1.207:9200/packetbeat-*'
       
   本文转自斩月博客51CTO博客，原文链接http://blog.51cto.com/ylw6006/1722905如需转载请自行联系原作者

ylw6006

微信关注我们

原文链接：https://yq.aliyun.com/articles/407582

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

达观数据 hive

达观数据文辉近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验，并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文将从Hive的原理、架构及优化等方面来分享Hive的一些心得和使用经验，希望对大家有所收货。（达观数据文辉） &amp;lt;img src=&quot;https://pic4.zhimg.com/d980a053722fc9aa035e1faff78f82ef_b.png&quot; data-rawwidth=&quot;600&quot; data-rawheight=&quot;400&quot; class=&quot;origin_image zh-lightbox-thumb&am...

2017-11-29

698

本文将介绍如果使用logstash，elasticsearch，kibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛，支持nginx,postfix.windows系统日志，java日志以及mysql慢查询日志，Docker日志等，并带有强大的过滤器功能，还可以输出到elasticsearch，nagios,mail等，功能相当的强大，在我们要部署的日志分析系统中logstash用来收集各种日志，然后推送给elasticsearch，kibana负责通过web接口最终展示出来。环境介绍：操作系统版本：centos6.664bit Logstash版本:logstash-2.0.0.tar.gz Elasticsearch版本：elasticsearch-2.1.0.tar.gz Kibana版本：Kibana4.2.1 Java版本：1.8.0_45 一：软件下载 1 2 3 #wgethttps://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz #wgethttps://downlo...

2017-11-29

627

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。