BBQ 量化如何将 Jina v5 embedding 缩小 29 倍,同时在 Elasticsearch 中保持召回率
BBQ 量化 将 Jina embeddings v5 向量在 Elasticsearch 中的内存占用减少了 29 倍。与全精度 float32 基线相比,Recall@10 保持在 0.994。我们使用 jina-embeddings-v5-text-small 模型,在一个涵盖五种语言的多语言新闻语料库上进行了测试。我们用完全相同的 向量 构建了一个原始的 float32 索引和一个 bbq_hnsw 索引,然后测量了两者的内存、磁盘使用情况和检索质量。结果显示,两个索引的磁盘使用情况几乎相同。而集群是否能容纳语料库,主要取决于内存占用,在此测试集中,内存占用从 12.71 MB 下降到...