21【在线日志分析】之记录一个flume-ng的tail -f参数所诱发的血案
一.现象： flume收集-->flume聚合-->kafka-->spark streaming+spark sql-->influxdb-->grafana1.所有进程都是 后台运行的;2.运行进程，当时整套流程都是ok的;3.但是，过一段时间，发现grafana的图表没有数据展示了!!!二.排查:1.检查 spark streaming+spark sql的计算的log,发现一直打印“No cdh role logs in this time interval” ;那么可以推断没有日志过来。2.检查kafka集群是否正常？通过kafka manager的web查看topic，可以看到集群正常，但是 发现Metrics这个的Bytes in /sec这一行都是0，表明flume聚合节点 没有数据输出到kafka集群。 3.难道我的flume收集节点的进程有异常？？？ a.检查flume进程还在 和 后台运行的 nohup.out日志 没有发现异常； b.难道监控的那个日志，不存在吗？ 然后 ll 命令查看一下，发现存在的哇。 c.检查我的flume参...
