使用 ELK 查看 Ceph 读写速度（一）
最近用 ELK 解析 Ceph 的性能状态，metricbeat 6.x 版本里放出了测试中的 ceph 模块，但是居然没有读写速度参数。所以我们就改用 logstash 的 http_poller 模块，定时去查 ceph api，解析出需要的数据并绘出图形（我们将在第二章里讲到如何建立 kibana 看板）。
首先是 input 部分里，我们使用 http_poller 来抓取。请把 IP 和端口按实际情况修改。http_poller 是个超好玩的模块，按照官方的举例，你可以用它来定时抓取亚马逊的商品页面，再通过一番解析后，可以得到某些商品的价格/销量等走势~~~
input {
http_poller {
urls => {
cephPgStat => "http://192.168.1.1:5000/api/v0.1/pg/stat"
}
request_timeout => 60
schedule => { every => "15s" }
tags => ["ceph-pg-stat","ceph"]
}
}schedule 里我设置了每 15 秒查询一次，这个可以根据你的实际需求调整数据的粒度。
获取出来的信息是类似这样的
v32768479: 8000 pgs: 8000 active+clean; 8526 GB data, 29741 GB used, 152 TB / 181 TB avail; 347 kB/s rd, 8705 kB/s wr, 2246 op/s然后我们用 filter 来处理。需要提前说明的是，我们这个 logstash filter 还不是完善的，有坑。在下一篇里我会解释原因并给出解决方法。
filter {
if "ceph" in [tags] {
grok {
match => {
"message" => [
"%{GREEDYDATA}avail; %{INT:[ceph][cluster][read]} kB\/s rd, %{INT:[ceph][cluster][write]} kB\/s wr, %{INT:[ceph][cluster][op]} op\/s"
]
}
remove_field => "message"
}
mutate {
convert => { "[ceph][cluster][read]" => "integer" }
convert => { "[ceph][cluster][write]" => "integer" }
convert => { "[ceph][cluster][op]" => "integer" }
}
}
}output 里，我们给它一个独立的 index，方便以后的 index 清理维护。
output {
if "ceph" in [tags] {
elasticsearch {
hosts => ["127.0.0.1"]
index => "ceph-%{+YYYY.MM.dd}"
}
} else {
elasticsearch {
hosts => ["127.0.0.1"]
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
}
}
}于是我们在 kibana 里就看到了所需的数据了，这里就不敷述如何建立 search，看图里的参数吧。
下一篇里，我们将会讲解如何通过这些数据，创建一个 Kibana Dashboard，图形化查看 Ceph 集群读写状态。
