深度剖析 StarRocks 读取 ORC 加密文件背后的技术
作者:vivo 互联网大数据团队 - Zheng Xiaofeng 本文介绍了StarRocks数据库如何读取ORC加密文件,包括基础概念以及具体实现方案。深入探讨了利用ORC文件的四层结构和三层索引机制,实现高效查询加密数据。希望通过本文对ORC加密文件读取功能的实现细节的剖析,让读者更加深刻理解ORC文件,同时了解StarRocks支持加解密数据分析的方案。 一、背景 为了提升对敏感数据的保护,需要对Hive表一些敏感数据进行加密存储。 Spark组件已经通过引入了Apache ORC项目(Java版本)对ORC格式的Hive表的数据进行加解密。 StarRocks也使用了Apache ORC项目的C++版本读写ORC文件,但是C++版本没有实现加解密功能,在使用StarRocks对Hive表进行即席分析时,无法对具有加密列的Hive表进行查询,因此,需要对StarRocks 的Apache ORC模块进行改造,使其支持对ORC格式的Hive加密表数据读取功能,数据架构图如下图所示: 希望通过本文对ORC加密文件读取功能的实现细节的剖析,让读者更加深刻理解ORC文件,同时了解Sta...




