windows下kafka+ELK的日志系统
用到的软件:zookeeper、kafka、logstash(6.3.2版本)、ES(6.3.2版本)、Kibana(6.3.2版本)。具体安装步骤不在此说明,基本都是下载解压,改一下配置文件,即可使用。(以下所述均在Windows下)
1、zookeeper:
kafka中自带zookeeper,可以不用装zookeeper,如果想自己另装,需配置环境变量,如下:
ZOOKEEPER_HOME => D:\nomalAPP\zookeeper-3.4.13
path 里面加入 %ZOOKEEPER_HOME%\bin
如果配置好以后,在cmd里运行zkserver报找不到java错误的话,可能是java环境变量的位置放置有问题,可以将path里面配置的java环境位置移到最前面。</b>
2、kafka:
kafka如果启动报找不到java的错误,原因在于kafka-run-class.bat的179行,找到里面的 %CLASSPATH% ,将其用双引号括起来。即改为:set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %* </b>
kafka的配置文件server.properties里面要修改的:
日志所放置的目录(可以选择用默认的):log.dirs=D:/nomalAPP/kafka_2.12-2.0.0/kafka-logs,
连接zookeeper的ip和端口:zookeeper.connect=localhost:2181
其他的均可用默认配置。</b>
启动命令:cmd锁定安装目录,然后 .\bin\windows\kafka-server-start.bat .\config\server.properties
</b>
3、logstash:
在config目录下,logstash.yml里面,如果想启动多个,在里面可以配置 http.port=9600-9700,如果没有配置这一项,会使用默认的9600端口。
在config目录下,增加一个logstash.conf的配置文件,用来配置数据源,和数据过滤,数据输出的位置,如下:
input { # ==> 用kafka的日志作为数据源 kafka{ ····#(kafka的IP和端口) bootstrap_servers => "10.8.22.15:9092" # (在有多个相同类型的数据源时,需要配置) client_id => "test1" # (消费者分组,可以通过组 ID 去指定,不同的组之间消费是相互不受影响的,相互隔离) group_id => "test1" auto_offset_reset => "latest" # (消费者线程个数) consumer_threads => 5 # (在输出消息的时候会输出自身的信息包括:消费消息的大小, topic 来源以及 consumer 的 group 信息) decorate_events => true # (主题) topics => ["bas-binding-topic"] # (用于ES索引) type => "bas-binding-topic" # (数据格式) codec => "json" tags => ["bas-binding-topic"] } kafka{ bootstrap_servers => "10.8.22.15:9092" client_id => "test2" group_id => "test2" auto_offset_reset => "latest" consumer_threads => 5 #decorate_events => true topics => ["bas-cus-request-topic"] type => "bas-cus-request-topic" codec => "json" tags => ["bas-cus-request-topic"] } } filter { filter插件负责过滤解析input读取的数据,可以用grok插件正则解析数据, date插件解析日期,json插件解析json等等 } output { # 输出到ES if "bas-binding-topic" in [tags] { elasticsearch{ # ES的IP和端口 hosts => ["localhost:9201"] # 索引名称:主题+时间 index => "bas-binding-topic-%{+YYYY.MM.dd+HH:mm:ss}" timeout => 300 } stdout { codec => rubydebug } } if "bas-cus-request-topic" in [tags] { elasticsearch{ hosts => ["localhost:9201"] index => "bas-cus-request-topic-%{+YYYY.MM.dd+HH:mm:ss}" timeout => 300 } stdout { codec => rubydebug } } }
启动logstash的命令: .\bin\logstash.bat -f .\config\logstash.conf </b>
4、ES:
在config目录下,elasticsearch.yml配置文件中,ES的默认端口为9200,可以通过http.port=9201来修改
启动命令: .\bin\elasticsearch.bat
启动后,在浏览器访问: http://localhost:9201,
如果出现了一些信息,表示启动成功。</b>
5、Kibana:
在config目录下,kibana.yml配置文件中,通过elasticsearch.url: "http://localhost:9201" 来配置地址
启动命令: .\bin\kibana.bat
访问 "http://localhost:9201" ,如果出现需要输入用户名密码的界面,表示ES启动失败,如果直接显示Kibana界面,则启动成功。</b>
logstash数据输出到ES时,会选择ES默认的映射来解析数据。如果觉得默认映射不满足使用条件,可以自定模板:
借助postman工具创建ES模板,如下:
收到此响应表示创建成功。然后可以通过GET请求查询你刚才创建的模板,通过DELETE请求删除刚才创建的模板。</b>
向kafka主题中发送日志信息,发送的信息会在cmd窗口显示,如下:
同时,在Kibana界面会看到相应的索引,索引名称就是在logstash.conf的输出中配置的,如下:
Visualize:可以选择自己想要的索引去进行图形分析,效果如下:
Dashboard:将做过的图整合到仪表盘,效果如下:
另外,可以设置自动刷新,即当有新的数据发送到kafka时,所做的图会自动根据主题来进行刷新。
项目中,可以通过logback来讲日志输出到kafka,具体配置如下:
<appender name="bingdings-log-to-kafka" class="com.github.danielwegener.logback.kafka.KafkaAppender"> <encoder> <pattern>%msg%n</pattern> </encoder> <!-- 指定kafka主题,消费时要用到--> <topic>bas-binding-topic</topic> <keyingStrategy class="com.github.danielwegener.logback.kafka.keying.NoKeyKeyingStrategy" /> <deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy" /> <!-- 配置输出到指定ip、端口的kafka --> <producerConfig>bootstrap.servers=localhost:9092,10.8.22.13:9092</producerConfig> <!-- this is the fallback appender if kafka is not available. --> </appender> <logger name = "bingdings-log-to-kafka" level="INFO" additivity = "false"> <appender-ref ref="bingdings-log-to-kafka"/> </logger>
然后在记日志的时候,记到对应的主题,日志就会写到kafka相应的位置。可以通过消费者来消费主题,查看日志是否成功写入,如下:
@SuppressWarnings("resource") public static void main(String[] args) { Properties properties = new Properties(); properties.put("bootstrap.servers", "127.0.0.1:9092"); properties.put("group.id", "group-1"); properties.put("enable.auto.commit", "false"); properties.put("auto.commit.interval.ms", "1000"); properties.put("auto.offset.reset", "earliest"); properties.put("session.timeout.ms", "30000"); properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties); kafkaConsumer.subscribe(Arrays.asList("bas-cus-request-topic", "bas-binding-topic")); while (true) { ConsumerRecords<String, String> records = kafkaConsumer.poll(Long.MAX_VALUE); System.err.println("+++++++++++++++++++++++++++++++++++++++++"); for (ConsumerRecord<String, String> record : records) { System.err.println(record.offset() + ">>>>>>" + record.value()); } System.err.println("+++++++++++++++++++++++++++++++++++++++++++++"); break; } }
暂时想到的就这些,有建议的,欢迎评论提醒我进行补充,谢谢!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目
安装和配置 请先确保所有主机都已经安装和启动 Scrapyd,如果需要远程访问 Scrapyd,则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.0,然后重启 Scrapyd service。 开发主机或任一台主机安装 ScrapydWeb:pip install scrapydweb 通过运行命令 scrapydweb 启动 ScrapydWeb(首次启动将自动在当前工作目录生成配置文件)。 启用 HTTP 基本认证(可选): ENABLE_AUTH = True USERNAME = 'username' PASSWORD = 'password' 添加 Scrapyd server,支持字符串和元组两种配置格式,支持添加认证信息和分组/标签: SCRAPYD_SERVERS = [ '127.0.0.1', # 'username:password@localhost:6801#group', ('username', 'password', 'localhost', '6801', 'group'), ] 运行命令...
- 下一篇
背锅侠逆袭之路
小张,3年网工一枚,常常抱怨:薪资不高,琐事一堆,常常背锅。 眼看一把年纪了,发现不能再这样下去了,向我讨教一条逆袭之路! 既然要说,那就和大家一起分享下吧,顺便总结下十几年的Linux运维经验。 聊聊:自己吧! 最早接触Linux是在2000年,那时,我还在上大学。一个从荷兰归来的同学,带回一个Linux的拷贝版,版本还是个人版Redhat6.2。 为安装这个系统,我们挑灯夜战,不亦乐乎。那时Linux的学习资料还很少,能够学习的书籍也不多,网上Linux技术社区更不多,便凭着Redhat6.2自带的几页使用说明开始了Linux学习生涯。 这算是我学Linux的起点吧。其实学Linux门槛很低,只要你想学,有热情,有学习能力,几个月时间就能轻松上手干活。 Linux:快速入门? 那么通过什么学习方法,能够快速入门Linux呢?我这么多年的工作和学习,总结出了下面一套方法,希望对大家有用。 1>多动手实践,理论结合实际 这个太重要了,我见过太多的人,懒于动手,觉得能看懂,能听懂,就不去实践练习,结果觉得什么都懂的人,在真正干活的时候傻眼了。 很多Linux知识,例如每个命令的参数...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2全家桶,快速入门学习开发网站教程
- Docker安装Oracle12C,快速搭建Oracle学习环境