【技术实验】表格存储Tablestore准实时同步数据到Elasticsearch
实验背景
图书馆Q是一家大型图书馆,图书馆藏书众多,纸质图书600多万册,电子图书7000多万册,总数有八千多万册,这些图书之前都是人工检索维护的,现在需要做一个系统来存储管理这些图书信息。
需求如下:
- 图书总量目前八千多万册,考虑到未来二十年的增长,需要系统能支持一亿的存储量。
- 图书信息很重要,不能接受丢失发生。
- 图书的名字和作者名字需要支持模糊搜索。
- 每本书的属性最多有一百多个,且不固定,不同类型的图书的属性列差异较大。且未来可能会新增属性列。
根据上面这些需求特点,要完成这个管理系统,需要两类系统支持:
- 分布式NoSQL数据库:解决两亿存储量的问题,解决属性列较多且不固定的问题,解决可靠性要求高的问题。
- 搜索系统:解决固定列模糊搜索的需求。
如果使用阿里云产品,那么对应的产品就是:
- Table Store:分布式NoSQL数据库。
- Elastics