探索 LanceDB 在多种存储方案下的查询效率
随着 LLM 和多模态 AI 的兴起，非结构化数据的规模呈指数级增长，这对数据存储、检索和分析提出了更高的要求。LanceDB 是 AI 原生多模态数据湖产品，采用自研的开源数据格式 Lance，以解决传统数据格式在大规模非结构化数据场景中的局限性，已被多家 AI 公司，如 Runway 和 Midjourney 等采纳。
LanceDB 在存储后端方面提供了多种选择，以满足用户在成本、延迟、可扩展性和可靠性方面的不同需求。近期，我们对 LanceDB 在不同存储方案中的性能进行了测试，测试涵盖 JuiceFS、本地 NVMe、AWS EBS、EFS、FSx for Lustre 等方案。结果表明，JuiceFS 在性能上优于 AWS EFS 和 FSx for Lustre，接近 EBS，能够稳定支持 LanceDB 的查询。
LanceDB 概述
LanceDB 是一个专为多模态数据设计的高性能向量数据库，旨在高效管理和搜索大规模的向量数据，特别适合用于 AI/ML 等应用场景，尤其是在多模态数据（如图像与文本嵌入）场景。
JuiceFS 概述
JuiceFS 是一个为云原生环境设计的分布式 POSIX 文件系统。它采用元数据与数据分离架构，从而实现了对跨多个存储后端的大型数据集的高效管理。JuiceFS 提供了极高的可扩展性，适用于需要多个节点并行访问数据的场景，如大规模的 AI/ML 工作负载。
02 多模态数据集测试
在本次测试中，我们的主要评估 JuiceFS 与多种存储介质，在性能上的差异。我们所使用的 multimodal_clip_diffusiondb 数据集包含大约 5.8GB 的多模态数据（例如图像和文本嵌入）。测试通过运行 100 条不同的查询请求，比较在不同存储方案下的查询性能。测试代码和数据可以在此链接中找到。
数据表模式如下：
prompt: string
seed: uint32
step: uint16
cfg: float
sampler: string
width: uint16
height: uint16
timestamp: timestamp[s]
image_nsfw: float
prompt_nsfw: float
vector: fixed_size_list<item: float>[512]
child 0, item: float
image: binary
测试步骤如下：
- 将数据集位置更新为测试目标的本地路径（例如，JuiceFS 的挂载路径，或 EFS 或 FSx for Lustre）。
- 启动
multimodal_clip_diffusiondb作为 HTTP 服务，获取来自服务器的100 个不同提示词，并将其保存为 JSON 文件。
以下是一个 JSON 文件示例：
$ cat close.json
{
"data": [
"close"
],
"event_data": null,
"fn_index": 0,
"session_hash": "ejnrxozcc9l"
}
- 使用脚本并行调用全文搜索 API，执行 100 个不同关键词的查询请求。实际效果等同于运行下方代码中的逻辑。
$ cat run.sh:
#!/bin/bash
for i in data/*.json
do
curl 'http://127.0.0.1:7860/run/predict' -X POST -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:130.0) Gecko/20100101 Firefox/130.0' -H 'Accept: */*' -H 'Accept-Language: en-CA,en-US;q=0.7,en;q=0.3' -H 'Accept-Encoding: gzip, deflate, br, zstd' -H 'Referer: http://127.0.0.1:7860/' -H 'Content-Type: application/json' -H 'Origin: http://127.0.0.1:7860' -H 'Connection: keep-alive' -H 'Sec-Fetch-Dest: empty' -H 'Sec-Fetch-Mode: cors' -H 'Sec-Fetch-Site: same-origin' -H 'Priority: u=0' -H 'Pragma: no-cache' -H 'Cache-Control: no-cache' --data @$i
done
查询服务背后的访问代码：
import lancedb
db = lancedb.connect('~/datasets/demo')
tbl = db.open_table('diffusiondb')
tbl.search('{query}').limit(9).to_df()
03 测试结果
我们将 LanceDB 数据集复制到多个存储位置进行测试：
- 本地 NVMe 存储：数据存储在本地 PCIe 4.0x4 NVMe SSD 上。
- EBS（弹性块存储）
- JuiceFS
- AWS EFS（Elastic File System）
- AWS FSx for Lustre：1.2TB、3000MB/s 规格。
以下是使用不同存储配置下查询完成所需时间：
- 本地 NVMe 性能最佳，为 129 秒。
- JuiceFS 性能接近 EBS：JuiceFS 的查询耗时为 177 秒，略高于 EBS 的 176 秒。
- EFS 和 FSx for Lustre 的查询耗时分别为 194 秒和 195 秒，明显高于 JuiceFS 和 EBS。
04 小结
通过本次测试，我们验证了 LanceDB 在结合不同存储方案下的实际查询性能表现。JuiceFS 相比 AWS EFS 和 FSx for Lustre 有更好的性能。
JuiceFS 提供了出色的可扩展性和云原生适应性，满足分布式 AI/ML 应用对高效存储和数据访问的需求。对于大规模数据集、跨多个节点共享数据以及进行高并发查询的应用，JuiceFS + LanceDB 是一个值得探索的解决方案。
