现在有各种各样的数据管理系统来存储与管理数据：关系型数据库、NoSQL数据库，文档数据库、Key-value数据库，对象存储系统等等。形态多样的数据管理系统为企业组织在管理数据上带来便利的同时，随之而来的是管理与充分利用这些数据系统存储的数据的难题。
数据分析师想要分析某一种数据管理系统的数据，为了对不同数据源进行联合查询，那么就得在应用程序逻辑中使用不同的客户端去连接不同的数据源，整个分析过程架构复杂，编程入口多，系统集成困难，这对于涉及海量数据的数据分析师而言这样的分析过程十分痛苦。
今天 Gitee 推荐的这款开源项目就是针对解决这个问题而生，它就是数据虚拟化引擎 openLooKeng。
项目名称： openLooKeng
项目作者： openLooKeng
开源许可协议： Apache-2.0
项目地址：https://gitee.com/openlookeng/hetu-core
项目简介
openLooKeng是一种"开箱即用"的引擎，支持在任何地点（包括地理上的远程数据源）对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持，为企业工作负载提供了所需的可靠性。
openLooKeng用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以达到接近“本地”的性能。
![]()
应用场景
- 高性能的交互式查询场景
- 跨源异构的查询场景
- 跨域跨DC的查询场景
- 计算存储分离的场景
- 快速进行数据探索的场景
![]()
项目特性
openLooKeng 具有 SQL on Hadoop 的分布式处理架构，采用了存储与计算分离的设计理念，可方便的实现计算或存储节点的水平扩展。
用户使用openLooKeng语法进行查询时，无论底层数据源是RDBMS还是NoSQL 或者其他数据管理系统，借助openLooKeng的Connector框架，数据可以依然存放在原始的数据源中，从而实现数据“0搬迁”的查询。
openLooKeng针对这些数据管理系统开发了多种多样的数据源Connector，包括RDBMS，NoSQL，全文检索数据库。openLooKeng可以通过这些多样的Connector方便的获取到数据源数据，从而进一步进行基于内存的高性能联合计算。
- 跨域跨DC的DataCenter Connector
通过这个新Connector可以连接到远端另外的openLooKeng集群，从而提供在不同数据中心间协同计算的能力。
openLooKeng在内存计算框架的基础上，还利用动态过滤、算子下推等多种查询优化技术来满足高性能的交互式查询的需要。
参与共建
openLooKeng 目前也在期待广大对大数据感兴趣的开发者们一起加入到 openLooKeng 开源社区中，如果你想要看看它的代码长什么样，那么就点击后面的链接去项目主页看看吧：https://gitee.com/openlookeng/hetu-core
