Elasticsearch Delete/UpdateByQuery案例
本文涉及技术点:
- DeleteByQuery/UpdateByQuery
- Count文档统计Api
1.准备工作
参考文档《 高性能elasticsearch ORM开发库使用介绍》导入和配置es客户端
2.编写创建索引表和初始化数据方法
创建索引表和初始化数据的组件 DocumentCRUD 实现本文不做重点介绍,请访问 视频教程了解:
/** * 创建索引表并导入测试数据 */ public void initIndiceAndData(){ DocumentCRUD documentCRUD = new DocumentCRUD(); documentCRUD.testCreateIndice();//创建索引表 documentCRUD.testBulkAddDocument();//导入测试数据 }
3.定义DeleteByQuery/UpdateByQuery对应的Dsl脚本
新建配置文件-esmapper/byquery.xml
<properties> <!-- updateByquery deleteByquery dsl配置之文件 --> <property name="updateByQuery"> <![CDATA[ { "query": { "bool": { "filter": [ { ## 多值检索,查找多个应用名称对应的文档记录 "terms": { "applicationName.keyword": [#[applicationName1],#[applicationName2]] } }, { ## 时间范围检索,返回对应时间范围内的记录,接受long型的值 "range": { "agentStarttime": { "gte": #[startTime],##统计开始时间 "lt": #[endTime] ##统计截止时间 } } } ] } } } ]]> </property> <property name="deleteByQuery"> <![CDATA[ { "query": { "bool": { "filter": [ { ## 多值检索,查找多个应用名称对应的文档记录 "terms": { "applicationName.keyword": [#[applicationName1],#[applicationName2]] } }, { ## 时间范围检索,返回对应时间范围内的记录,接受long型的值 "range": { "agentStarttime": { "gte": #[startTime],##统计开始时间 "lt": #[endTime] ##统计截止时间 } } } ] } } } ]]> </property> </properties>
4.实现DeleteByQuery功能
定义实现DeleteByQuery功能的方法 /** * 验证DeleteByQuery功能 * @throws ParseException */ public void deleteByQuery() throws ParseException { ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/byquery.xml"); //设定DeleteByQuery查询条件,通过map传递变量参数值,key对于dsl中的变量名称 //dsl中有四个变量 // applicationName1 // applicationName2 // startTime // endTime Map<String,Object> params = new HashMap<String,Object>(); //设置applicationName1和applicationName2两个变量的值 params.put("applicationName1","blackcatdemo2"); params.put("applicationName2","blackcatdemo3"); DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); //设置时间范围,时间参数接受long值 params.put("startTime",dateFormat.parse("2017-09-02 00:00:00").getTime()); params.put("endTime",new Date().getTime()); //通过count api先查询数据是否存在 long totalSize = clientUtil.count("demo","deleteByQuery",params); System.out.println("---------------------------------删除前查询,验证数据是否存在:totalSize="+totalSize); if(totalSize > 0) {//如果有数据,则通过by query删除之,为了实时查看删除效果,启用了强制刷新机制 //执行DeleteByQuery操作 String result = clientUtil.deleteByQuery("demo/_delete_by_query?refresh", "deleteByQuery", params); System.out.println(result); //删除后再次查询,验证数据是否被删除成功 totalSize = clientUtil.count("demo","deleteByQuery",params); System.out.println("---------------------------------删除后再次查询,验证数据是否被删除:totalSize="+totalSize); } }
5.执行DeleteByQuery junit单元测试方法
@Test public void testDeleteByQuery() throws ParseException { DeleteUdateByQuery deleteUdateByQuery = new DeleteUdateByQuery(); deleteUdateByQuery.initIndiceAndData();//初始化索引表和测试数据 deleteUdateByQuery.deleteByQuery();//执行deleteByquery }
6.定义updatebyquery方法
定义两个updatebyquery方法,一个带query dsl,一个不带query dsl:
/** * 验证simpleUpdateByQuery功能 */ public void simpleUpdateByQuery(){ ClientInterface clientUtil = ElasticSearchHelper.getRestClientUtil(); String result = clientUtil.updateByQuery("demo/_update_by_query?conflicts=proceed"); System.out.println("******************simpleUpdateByQuery result:"+result); } /** * 验证带查询条件UpdateByQuery功能 * @throws ParseException */ public void updateByQueryWithCondition() throws ParseException { ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/byquery.xml"); //设定查询条件,通过map传递变量参数值,key对于dsl中的变量名称 //dsl中有四个变量 // applicationName1 // applicationName2 // startTime // endTime Map<String,Object> params = new HashMap<String,Object>(); //设置applicationName1和applicationName2两个变量的值 params.put("applicationName1","blackcatdemo2"); params.put("applicationName2","blackcatdemo3"); DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); //设置时间范围,时间参数接受long值 params.put("startTime",dateFormat.parse("2017-09-02 00:00:00").getTime()); params.put("endTime",new Date().getTime()); String result = clientUtil.updateByQuery("demo/_update_by_query?conflicts=proceed","updateByQuery",params); System.out.println("******************updateByQueryWithCondition result:"+result); }
7.执行updatebyquery junit单元测试方法
@Test public void testUpdateByQuery() throws ParseException { DeleteUdateByQuery deleteUdateByQuery = new DeleteUdateByQuery(); deleteUdateByQuery.initIndiceAndData();//初始化索引表和测试数据 deleteUdateByQuery.simpleUpdateByQuery(); deleteUdateByQuery.updateByQueryWithCondition(); }
8.参考文档
https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-delete-by-query.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html
本文示例代码对应的源码工程地址:
https://gitee.com/bboss/eshelloword
本文对应的java文件:
https://gitee.com/bboss/eshelloword/blob/master/src/main/java/org/bboss/elasticsearchtest/byquery/DeleteUdateByQuery.java
https://gitee.com/bboss/eshelloword/blob/master/src/test/java/org/bboss/elasticsearchtest/crud/DeleteUdateByQueryTest.java
本文对应的dsl配置文件:
https://gitee.com/bboss/eshelloword/blob/master/src/main/resources/esmapper/byquery.xml
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
沃尔玛拟投入两千多万元加强食品安全自检
近期,国务院印发《“十三五”国家食品安全规划》,提出食品行业主要任务的其中一项是严格源头治理。2017年,沃尔玛的食品安全领域关注的重点同样是进一步加强源头供应商管理,加大对供应链各环节的审核,拟投入两千多万元加强食品安全自检并积极探索创新技术的实际应用。 沃尔玛中国首席道德与合规官王爱珠表示:“食品安全是一个复杂而系统的工程,涉及到供应链各个环节,沃尔玛在2017年将进一步加强源头管控,加大对商品在整个供应链的监控和检测并探索新技术应用,强化合规,做消费者最值得信赖的零售商。” 一直以来,成为沃尔玛供应商最基本的要求就是诚实,沃尔玛不断向供应商传递对不诚信零容忍的态度,在食品安全管理上更是如此。在新一年,沃尔玛将进一步加强供应商管理,持续加大对供应商资质检查与食品工厂审核,增加对供应商的培训以提高他们的合规意识和能力。沃尔玛通过专业电子化文件平台对供应商所提供的证照进行检查,确保供应商的资质符合国家法律法规规定。对沃尔玛自有品牌的食品生产工厂,沃尔玛按照国际标准进行审核的同时,使用高标准严格管理,并持续推动工厂获得全球食品安全倡议 (GFSI) 认可的各项认证。沃尔玛新开发的系统化在...
- 下一篇
Elasticsearch 备忘
排序 { "size": 10, "query": { "bool": { "must": [ { "term": { "request_uri":"/blog_expand/get_article_expand" } } ] } }, "sort": [ { "request_time": { "order": "desc" } } ] }
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果