用Vearch搭建一个图片搜索服务
什么是图片搜索 古时候人们对图片的处理能力非常有限，图片搜索可能是图片的文件名，摘要，或者长度宽度，或者路径等进行文本搜索，巴特现代社会人们更喜欢用以图搜图来替代这种说法，基本上各大搜索引擎都支持这种搜索方式。如下图 什么是Vearch Vearch 是一个分布式向量搜索系统，可以用来计算向量相似度或用于机器学习领域,支持十亿级别秒级的向量索引， 如：图像识别， 视频识别或自然语言处理各个领域。 本系统基于 Faiss 实现， 提供了快速的向量检索功能。提供类似 Elasticsearch 的 Restful API 可以方便的对数据及表结构进行管理查询等工作。 代码在这里：码云仓库 手把手教学 环境要求。计算机 + docker + python3 安装docker 如果你不会安装，自行百度，这个不在本文的讨论范围，如果学了也不会安装docker，点右上角关闭。（Linux，mac左上角）,为了方便我们不以虚拟路径代替。使用真实路径描述安装过程。读者可以根据自己的情况修改工作路径，后不多做陈述。 编译&启动Vearch # 创建目录 mkdir -p /home/vearch cd /home/vearch [root@localhost vearch]# pwd /home/vearch #下载源码 [root@localhost vearch]# git clone https://github.com/vearch/vearch.git Cloning into 'vearch'... remote: Enumerating objects: 50, done. remote: Counting objects: 100% (50/50), done. remote: Compressing objects: 100% (36/36), done. remote: Total 3791 (delta 22), reused 19 (delta 7), pack-reused 3741 Receiving objects: 100% (3791/3791), 11.73 MiB | 342.00 KiB/s, done. Resolving deltas: 100% (731/731), done. [root@localhost vearch]# # 编译Vearch cd vearch/cloud/ docker pull ansj/vearch_env ./compile.sh # 创建vearch可运行镜像 ./build.sh # copy exaple配置文件过来作为单机配置 cat ../config/config.toml.example > config.toml # 启动Vearch docker run -p 8817:8817 -p 9001:9001 -v $PWD/config.toml:/vearch/config.toml vearch all 如果启动成功你将会看到如下信息 2019/10/15 04:58:13 startup.go:63: [INFO] start server by version:[0.1] commitID:[3a0ed89b690ea2cf566a45fc5681b0a1ca170726] 2019/10/15 04:58:13 startup.go:72: [INFO] The Config File Is: /vearch/config.toml 2019/10/15 04:58:13 startup.go:76: [INFO] The configuration content is: 。。。。。 打开浏览器访问 http://127.0.0.1:8817/ 可以看到下图说明启动的妥妥的 启动图片插件 cd /home/vearch/vearch/plugin sudo ./bin/run.sh image 如果启动成功你将会看到如下信息 load model success 创建库表 且让吾等建库表，名之test curl -XPOST -H "content-type:application/json" -d '{ "db": true, "method": 0, "columns": { "imageurl": { "type": "keyword" }, "boundingbox": { "type": "keyword" }, "label": { "type": "keyword" } }, "feature": { "type": "vector", "filed": "imageurl", "model_id": "vgg16", "dimension": 512 } }' http://127.0.0.1:4101/test/test/_create 数据插入 库表已成，则应存入数据，一下demo为事例 curl -XPOST -H "content-type:application/json" -d '{ "imageurl": "http://www.gming.org/uploadfile/2015/0914/20150914104444833.jpg", "detection": false, "label": "coat" }' http://127.0.0.1:4101/test/test/_insert 如尔所见如下,则功成以 {"db": "test", "space": "test", "ids": [{"AW3tYgdsAkKsEQACQOnu": "successful"}], "successful": 1} 图片搜索 curl -XPOST -H "content-type:application/json" -d '{ "imageurl": "http://www.gming.org/uploadfile/2015/0914/20150914104444833.jpg", "size": 5 }' http://127.0.0.1:4101/test/test/_search 如尔所见如下,则功成以 {"took": 63, "timed_out": false, "_shards": {"total": 1, "failed": 0, "successful": 1}, "hits": {"total": 1, "max_score": 0.9999998807907104, "hits": [{"_index": "test", "_type": "test", "_id": "AW3xfmlQAkKsEQACMRjf", "_score": 0.9999998807907104, "_extra": {"vector_result": [{"field": "feature", "source": "http://www.gming.org/uploadfile/2015/0914/20150914104444833.jpg", "score": 0.9999998807907104}]}, "_version": 1, "_source": {"boundingbox": "", "imageurl": "http://www.gming.org/uploadfile/2015/0914/20150914104444833.jpg", "label": "coat"}}]}}%
