Sphere —— 知识密集型 NLP 语料库
Sphere 是 Meta(Facebook)开源的 Web 语料库,作为一个通用的、非结构化的知识源,用于同时进行多个 KI-NLP 任务。 Meta 利用一个开放的网络语料库,加上强大的检索基线(而不是一个黑盒式的商业搜索引擎),这种方法有利于透明和可重复的研究,并为未来的研究开辟了一条道路,以比较为人类优化的搜索引擎和为神经网络设计的检索解决方案。作为 Web 语料库,Meta 使用 CCNet 的一个子集,涵盖 1.34 亿个文件,分成 9.06 亿个段落。 引用 如果你要在研究中使用此仓库的内容,请引用以下内容: @article{DBLP:journals/corr/abs-2112-09924, author = {Aleksandra Piktus and Fabio Petroni and Vladimir Karpukhin and Dmytro Okhonko and Samuel Broscheit and Gautier Izacard and Patrick Lewis and Barlas Oguz and Edouard Grave and Wen{-}tau Yih and Sebastian Riedel}, title = {The Web Is Your Oyster - Knowledge-Intensive {NLP} against a Very Large Web Corpus}, journal = {CoRR}, volume = {abs/2112.09924}, year = {2021}, url = {https://arxiv.org/abs/2112.09924}, eprinttype = {arXiv}, eprint = {2112.09924}, timestamp = {Tue, 04 Jan 2022 15:59:27 +0100}, biburl = {https://dblp.org/rec/journals/corr/abs-2112-09924.bib}, bibsource = {dblp computer science bibliography, https://dblp.org} } 安装 git clone git@github.com:facebookresearch/Sphere.git cd Sphere conda create -n sphere -y python=3.7 && conda activate sphere pip install -e . 索引下载 Meta 开源预先构建的 Sphere 索引: Pyserini 兼容的稀疏 BM25 索引: sphere_sparse_index.tar.gz - 775.6 GiB 分布式 faiss 兼容的密集 DPR 索引: sphere_sparse_index.tar.gz - 1.2 TiB 可以直接下载和解压相应的索引文件: mkdir -p faiss_index wget -P faiss_index https://dl.fbaipublicfiles.com/sphere/sphere_sparse_index.tar.gz tar -xzvf faiss_index/sphere_sparse_index.tar.gz -C faiss_index wget -P faiss_index https://dl.fbaipublicfiles.com/sphere/sphere_dense_index.tar.gz tar -xzvf faiss_index/sphere_dense_index.tar.gz -C faiss_index