springboot整合elasticsearch全文检索入门
只是简单的整合介绍
安装
下载elasticsearch与kibana https://www.elastic.co/start
依赖
springBootVersion = '2.0.5.RELEASE' compile group: 'org.springframework.boot', name: 'spring-boot-starter-data-elasticsearch' //请与spring-boot-starter-data-elasticsearch的jar包版本一致 compile('org.elasticsearch.client:transport:5.6.11')
springBoot 2.0.5.RELEASE 起步依赖的elasticsearch的版本是 5.6.11
配置
- 可在application.yml中配置
spring: data: # 全文检索 elasticsearch elasticsearch: cluster-name: elasticsearch #节点名称 cluster-nodes: 127.0.0.1:9300 #节点地址 repositories: enabled: true
- 也可以通过java代码进行配置
package com.futao.springmvcdemo.foundation.configuration import org.elasticsearch.client.transport.TransportClient import org.elasticsearch.common.settings.Settings import org.elasticsearch.common.transport.InetSocketTransportAddress import org.elasticsearch.transport.client.PreBuiltTransportClient import org.springframework.context.annotation.Bean import org.springframework.context.annotation.Configuration import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories import java.net.InetAddress /** * @author futao * Created on 2018/10/22. * ElasticSearch全文检索配置类 * 可替代配置文件中的配置 */ @Configuration @EnableElasticsearchRepositories(basePackages = ["com.futao.springmvcdemo.dao"]) open class ElasticSearchConfiguration { @Bean open fun client(): TransportClient { val node = InetSocketTransportAddress( InetAddress.getByName("127.0.0.1"), 9300) val settings = Settings.builder() .put("cluster.name", "springboot-elasticsearch") //集群名称可以在\elasticsearch\config\elasticsearch.yml中配置 .build() return PreBuiltTransportClient(settings).addTransportAddress(node) } }
名词解释
elasticsearch中的名词与mysql中的名字对比
使用
个人理解:相当于mysql的建表,程序跑起来之后会建立相应的index与type,后续程序中就可以使用该类型的index与type进行crud
package com.futao.springmvcdemo.model.entity; import org.springframework.data.elasticsearch.annotations.Document; /** * @author futao * Created on 2018/10/20. * 文章 * indexName=database * type=table * row=document * colnum=field */ @Document(indexName = "futao", type = "article") public class Article extends BaseEntity { /** * 标题 */ private String title; /** * 简介 */ private String description; /** * 内容 */ private String content; public String getTitle() { return title; } public void setTitle(String title) { this.title = title; } public String getDescription() { return description; } public void setDescription(String description) { this.description = description; } public String getContent() { return content; } public void setContent(String content) { this.content = content; } }
插入数据
- Dao层
package com.futao.springmvcdemo.dao.impl import com.futao.springmvcdemo.model.entity.Article import org.springframework.data.elasticsearch.repository.ElasticsearchRepository /** * @author futao * Created on 2018/10/22. */ interface ArticleSearchDao : ElasticsearchRepository<Article, String> { }
- Service层
package com.futao.springmvcdemo.service.impl import com.alibaba.fastjson.JSONObject import com.futao.springmvcdemo.dao.ArticleDao import com.futao.springmvcdemo.dao.impl.ArticleSearchDao import com.futao.springmvcdemo.foundation.LogicException import com.futao.springmvcdemo.model.entity.Article import com.futao.springmvcdemo.model.entity.constvar.ErrorMessage import com.futao.springmvcdemo.service.ArticleService import com.futao.springmvcdemo.utils.currentTimeStamp import com.futao.springmvcdemo.utils.getFieldName import com.futao.springmvcdemo.utils.uuid import org.elasticsearch.client.Client import org.elasticsearch.index.query.QueryBuilders import org.springframework.data.redis.core.RedisTemplate import org.springframework.stereotype.Service import javax.annotation.Resource /** * @author futao * Created on 2018/10/20. */ @Service open class ArticleServiceImpl : ArticleService { @Resource private lateinit var elasticsearch: ArticleSearchDao @Resource private lateinit var client: Client override fun list(): List<Article> { val list = articleDao.list() elasticsearch.saveAll(list) return list } /** * 全文检索 */ override fun search(key: String): ArrayList<Article> { val hits = client.prepareSearch("futao") .setTypes("article") .setQuery( QueryBuilders .boolQuery() .should(QueryBuilders.matchQuery(Article::getContent.getFieldName(), key)) .should(QueryBuilders.matchQuery(Article::getTitle.getFieldName(), key)) .should(QueryBuilders.matchQuery(Article::getDescription.getFieldName(), key)) ) .execute() .actionGet() .hits val list: ArrayList<Article> = arrayListOf() hits.forEach { it -> list.add(JSONObject.parseObject(it.sourceAsString, Article::class.java)) } return list } }
- controller层
package com.futao.springmvcdemo.controller.business; import com.futao.springmvcdemo.model.entity.Article; import com.futao.springmvcdemo.model.entity.SingleValueResult; import com.futao.springmvcdemo.service.ArticleService; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.*; import javax.annotation.Resource; import java.util.List; /** * @author futao * Created on 2018/10/20. */ @RestController @RequestMapping(path = "article", produces = MediaType.APPLICATION_JSON_UTF8_VALUE) public class ArticleController { @Resource private ArticleService articleService; /** * 新增文章 * * @param title * @param desc * @param content * @return */ @PostMapping(path = "add") public SingleValueResult add( @RequestParam("title") String title, @RequestParam("desc") String desc, @RequestParam("content") String content ) { articleService.add(title, desc, content); return new SingleValueResult("success"); } /** * 文章列表 * * @return */ @GetMapping("list") public List<Article> list() { return articleService.list(); } /** * 全文检索 * * @param key * @return */ @GetMapping("search") public List<Article> search(@RequestParam("key") String key) { return articleService.search(key); } }
- 在启动项目之前如果程序有抛出
java.lang.IllegalStateException: availableProcessors is already set to [4], rejecting [4]
异常,则需要在启动类中添加:
package com.futao.springmvcdemo; import com.alibaba.fastjson.parser.ParserConfig; import org.mybatis.spring.annotation.MapperScan; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.boot.web.servlet.ServletComponentScan; import org.springframework.cache.annotation.EnableCaching; import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories; /** * @author futao * ServletComponentScan 开启servlet和filter */ @SpringBootApplication @ServletComponentScan @MapperScan("com.futao.springmvcdemo.dao") @EnableCaching //@EnableAspectJAutoProxy @EnableElasticsearchRepositories(basePackages = "com.futao.springmvcdemo") public class SpringmvcdemoApplication { public static void main(String[] args) { /** * 添加elasticsearch之后发生异常的解决方案 * Springboot整合Elasticsearch 在项目启动前设置一下的属性,防止报错 * 解决netty冲突后初始化client时会抛出异常 * java.lang.IllegalStateException: availableProcessors is already set to [4], rejecting [4] */ System.setProperty("es.set.netty.runtime.available.processors", "false"); SpringApplication.run(SpringmvcdemoApplication.class, args); /** * redis反序列化 * 开启fastjson反序列化的autoType */ ParserConfig.getGlobalInstance().setAutoTypeSupport(true); } }
测试
- 启动项目,可以在health中查看到相关的健康状况
- list接口请求(把数据放入elasticsearch中)
- 现在可以在kibana中查看到上面存入的数据
- 也可以进行简单的搜索测试
- 调用search接口测试
elasticsearch数据的存放位置(删除该文件夹下的数据即删除了所有的索引)
多的不说了,跟之前项目中用过的Hibernate Search很像,不过elasticsearch也是在架构层面实现的全文索引,elasticsearch可以部署在其他服务器上,减轻主服务器的压力,并通过http restful api的形式与主程序进行协调工作。elasticsearch一般通过集群方式进行部署,横向扩展非常简单,甚至只需要改几行配置就行。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
HBase2.0重新定义小对象实时存取
小对象,特别指1K~10MB范围的数据,比如图片,短视频,文档等。这些数据广泛的存在于人工智能,医疗,教育,生活分享,电子商务等领域。目前对象存储典型技术方案为AWS的S3以及阿里云的OSS,还有一些基于MySQL+对象存储的二次开发方案。这些方案解决了对象存储的可靠性和扩展性问题,但是存在一些缺陷:两个方案都存在访问延时问题,因为访问数据至少要2次查询,一次索引访问+一次数据访问,特别的当用户想查询一组有关联数据的时候,需要N次调用;对象存储很难将对象和一些维度、指标数据混合存储,而这些是查询时过滤数据的条件,导致对象存储的方案在检索能力上不足;MySQL+对象存储方案将维度、指标数据存储在Mysql解决了检索能力,但是引入了数据不一致问题,实现主备双活也非常困难,造成可用性上的缺陷,同时这个方案对用户代码侵入大,对运维也不友好
- 下一篇
hadoop集群管理系统搭建规划说明
hadoop集群管理系统搭建规划说明Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环境搭建不成功的概率还蛮高的。在之前的分享文章中给hadoop新手入门推荐的大快搜索DKHadoop发行版,在运行环境安装方面的确要比其他的发行版hadoop要简单的多,毕竟DKHadoop是对底层重新集成封装的,对与研究hadoop尤其是入门级新手来说是非常友好的一个发行版!关于DKHadoop的安装留在后面再给大家分享,本篇就跟大家聊一聊关于hadoop分布式集群环境搭建规划。 1、分布式机器架构图: 其中机器1主节点,机器2从节点,机器3、机器4等都是计算节点。当主节点宕机后从节点代替主节点工作,正常状态是从节点和计算节点一样工作。这种架构设计保证数据完整性。首先我们保证每台计算节点上分别有一个DataNode节点和NodeManager节点。因为都是计算节点,真正干活的。在数量上我们要保证。那么NameNode和ResourceManager是两个非常重要的管理者,我们客户端的请求,第一...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8编译安装MySQL8.0.19
- CentOS6,CentOS7官方镜像安装Oracle11G
- 2048小游戏-低调大师作品
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker安装Oracle12C,快速搭建Oracle学习环境