OceanBase联合研究成果：三层协同，让数据在混合内存中“各得其所”
摘要 随着数据密集型应用的快速发展，哈希索引已成为内存数据库、键值存储和重复数据删除系统的核心组件。传统哈希索引在面对持久内存（PMem）时，由于存储流量放大和内存效率低下，难以充分利用其大容量和持久性优势。为此，OceanBase研究人员联合厦门大学、昆士兰大学学生及教授提出了一种新型哈希索引设计MetoHash，通过层次化设计、批量持久、指纹过滤和重复合并等技术，有效解决了传统方案在存储I/O放大和内存效率方面的问题。 简介 随着数据密集型应用的快速增长，能够实现常数级查找复杂度的哈希索引已成为构建内存数据库、键值存储和重复数据删除系统的核心组件。传统哈希索引在面对新兴的持久内存时，虽然利用了其大容量和数据持久性优势，却在存储流量放大和内存效率方面面临严峻挑战。 持久内存以其大容量、数据持久性、近DRAM性能等特性，为内存架构带来革命性变革。然而，PMem的固定访问粒度和持久化CPU缓存特性，使得传统哈希索引设计难以充分发挥其硬件潜力，其原因在于现有方案极易放大存储I/O或降低内存效率。 日前，一篇题为《MetoHash: A Memory-Efficient and Tr...
