grafana elasticsearch date类型问题
大致的数据格式 { "createTime": 1484967199, "ip": "localhost", "appId": "10000", "threadName": "Thread-acceptor-1", "level": "info", "type": "error", "tag": "tag1", "module": "module1", "detail": "some description" } 从kafka读取数据后由storm计算后直接将es客户端写入es。 使用grafana配置数据源，其中使用自定义的字段createTime。 配置grafana的dashboard的panel，结果报错，Invalid number format [epoch_millis#]。 是时间类型的错误，查下es字段的mapping， http://132.122.252.22:9200/flume-index/_mapping { "flume-index": { "mappings": { "distributed-log": { "properties": { "appId": { "type": "string" }, "createTime": { "type": "long" }, "detail": { "type": "string" }, "ip": { "type": "string" }, "level": { "type": "string" }, "module": { "type": "string" }, "tag": { "type": "string" }, "threadName": { "type": "string" }, "type": { "type": "string" } } } } } } 没有指定es的mapping，所以根据java类型，当storm推数据到es时则会当做long型，具体格式如下，这导致grafana根据createTime查询错误，需要更改createTime的mapping。 先删除原来的索引， curl -XDELETE 'localhost:9200/flume-index/?pretty' 再重新建立新索引，且指定createTime字段为date类型，且格式为默认即可。 curl -XPUT 'localhost:9200/flume-index/?pretty' -d ' { "mappings": { "distributed-log": { "properties": { "appId": { "type": "string" }, "createTime": { "type": "date" }, "detail": { "type": "string" }, "ip": { "type": "string" }, "level": { "type": "string" }, "module": { "type": "string" }, "tag": { "type": "string" }, "threadName": { "type": "string" }, "type": { "type": "string" } } } } } ' 再用json的字符串格式传入后，es即可以通过这个mapping进行转换。grafana也可以根据时间查出数据来。 如果允许也可以直接使用es的_timestamp字段，但它并非准确的数据生成时间。es默认没有开启timestamp的记录，可以用下面开启，即有了_timestamp字段。 curl -XPOST localhost:9200/flume-index -d ' { "mappings": { "_default_": { "_timestamp": { "enabled": true } } } } ' ========广告时间======== 鄙人的新书《Tomcat内核设计剖析》已经在京东销售了，有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。感谢各位朋友。 为什么写《Tomcat内核设计剖析》 =========================
