elasticSearch数据导入工具logstash-input-jdbc 同步原理及相关问题解读
前言: 基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题也在git和stackoverflow进行了激烈讨论,以下统一给出验证和解答。 1、logstash-input-jdbc 的同步原理是什么? (1)、对于全量同步依据 配置文件jdbc.sql的sql语句的进行同步。 (2)、对于增量实时同步依据 1)设定的定时策略。 如最小更新间隔每分钟更新一次设定:schedule => “* * * * *”,目前最小更新间隔为1分钟,验证发现,不支持60s以内的秒级更新。 2)设定的sql语句。 如jdbc.sql, 决定同步哪些内容及同步更新的条件。 {"id":10,"name":"10test","@version":"1","@timestamp":"2016-06-29T03:18:00.177Z","type":"132c_type"} 1 2:logstash-input-jdbc 只支...