解锁云原生虚拟数仓 PieCloudDB Database 『第一期』-低调大师

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

2023-04-21 967

拓数派旗下旗舰产品 PieCloudDB ，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。本系列文章将为大家介绍 PieCloudDB Database 最新动态和全新功能。

相关视频：链接

产品试用：https://app.pieclouddb.com

随着计算资源和网络资源的丰富，计算平台经历了从大型机年代，PC 机年代，到如今的云时代的三代平台变更。在第三次变革中，服务器虚拟化技术的突破引领了云计算时代的到来。

三代计算平台变更

为了充分利用云带来的红利，拓数派打造了一款全新的云时代的数据库管理平台：PieCloudDB。PieCloudDB 将用户数据，元数据和计算引擎三个逻辑核心组件进行拆解并在云上重组。这种存储和计算分离的架构带来了云上的高弹性，并具备了软硬分离的高容错和高在线能力。用户可以根据自身需求，按需进行存储或计算资源的弹性扩展。

数仓云原生虚拟化技术突破引领数据计算时代到来

自2022年10月24日以来，拓数派陆续发布了 PieCloudDB 社区版和企业版，以及一体机版本。在3月14日 πDay，拓数派发布 PieCloudDB 全新版本：云上云版。至此，PieCloudDB 完成了对裸硬件，私有云，和公有云三种部署方式的全面支持。

PieCloudDB 的多种部署方式

在新版本中，PieCloudDB 全面实现数据仓库上云虚拟化。云原生数仓虚拟化突破了传统 MPP 数据库的众多瓶颈，实现了云上 eMPP 全新架构，做到多个云原生虚拟数仓并发执行。从而获得云上新架构提供的众多红利，包括打破数据孤岛，秒级扩缩容，动态调配资源，按需付费等。

PieCloudDB 实现云上eMPP架构

新的版本实现了众多全新功能，带来了性能和稳定全方位的提升，让 PieCloudDB 做到了真正的「unbreakable」坚如磐石，包括：

聚集下推功能得到增强

在数据库的分析型场景下往往存在大量的聚集运算。PieCloudDB 实现的聚集下推功能通过把聚集操作下推到连接操作之前去执行，可以大大减少链接操作需要处理的数据量，让查询性能显著提升。

经测试，聚集下推让 PieCloudDB 在某些复杂查询的应用场景下得到了近百倍甚至千倍的提升。

聚集下推功能

Block File Skipping 优化

PieCloudDB 的用户数据以行列混存的数据格式被存储在对象存储中。同时，PieCloudDB 以 block 文件为存储单位。Block 文件按列存储，从而获得高效的压缩，节省存储空间； PieCloudDB 在全新版本中实现的 Block File Skipping 的优化机制在数据库运行查询语句时，通过预计算每个 block 文件中列聚集信息，在执行期间跳过非必要的数据块，从而减少数据读取量，提高查询性能。

PieCloudDB 行列混存

实现极速 Analyze

“Analyze” 操作可以分析数据库表的内容，收集有关每个表的每一列中值分布的统计信息。数据库查询引擎会利用这些统计信息生成最佳查询计划。

对于大部分的数据库系统，Analyze 往往是手动执行，或由 AUTO VACUUM 自动执行，对于数据量较大的大表的查询，时间过长。

在全新版本中，PieCloudDB 实现极速Analyze，可以在数据发生变化时自动完成Analyze，及时生成更为准确的查询规划统计信息。

全新的缓存机制

针对元数据，PieCloudDB 实现了元数据层全新的缓存机制，有效减少了访问元数据服务器带来的网络通信开销和元数据服务器的负载，提高元数据访问的速度。

支持快速 ETL/ELT、和外部数据源的查询

PieCloudDB 在全新版本中，原生支持 Kafka 流数据导入。copy 操作由原先的单节点优化至整个集群，性能得到大幅提升，与集群尺寸成正比。

此外，在全新版本中，PieCloudDB 支持 foreign-data wrapper 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源。同时 PieCloudDB 支持用户自行开发模块来访问新的存储数据源。

除了这五项重大优化，PieCloudDB 全新版本内核还实现了

可观测性增强
Vacuum 优化
在 HDFS/NAS 系统上支持原生存储格式
对开源优化器 Orca 的支持
对开源机器学习库 Madlib 的支持
支持超大数据量字段

….

等多项优化。

PieCloudDB 打造了全新的存储引擎简墨（JANM) 。简墨出自”竹简墨书”，形象的描述了 PieCloudDB 行列混存的存储形式。

在 PieCloudDB 的全新版本中，存储引擎 JANM 实现了：

JANM 分布式处理的增强
JANM 动态分配读取文件，增强 dispatch 性能
JANM 异常处理的优化

….

等多个功能。

PieCloudDB 云原生管控平台完成了包括：

用户权限优化
注册选项增加
数据洞察优化
数据导入优化
外部接入支持更多类型

….

等多项优化。

PieCloudDB 将不断迭代，继续前行，欢迎大家前往https://app.pieclouddb.com 试用云上云版本。也期待大家扫码加入我们的技术社区，与我们携手共进！

微信关注我们

原文链接：https://my.oschina.net/u/5944765/blog/8677119

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

全平台数据(数据库)管理工具 DataCap 管理 Rainbond 上的所有数据库

DataCap是用于数据转换、集成和可视化的集成软件，支持多种数据源、文件类型、大数据相关数据库、关系数据库、NoSQL数据库等。通过该 DataCap 可以实现对多个数据源的管理，对数据源下的数据进行各种操作转换，制作数据图表，监控数据源等功能。在 Rainbond 上部署 DataCap 前提安装 Rainbond，可通过一条命令快速安装 Rainbond。 curl -o install.sh https://get.rainbond.com && bash ./install.sh 对接 Rainbond 开源应用商店并部署 DataCap DataCap 已发布到 Rainbond 开源应用商店，可通过 Rainbond 开源应用商店一键部署 DataCap。进入 Rainbond 控制台的平台管理 -> 应用市场 -> 开源应用商店中搜索 DataCap 并安装。安装完成后，可通过 Rainbond 提供的默认域名访问 DataCap，默认用户密码 admin/12345678 DataCap 快速入门添加数据源进入到管理 -&...

2023-04-21

891

官网：https://playedu.xyz PlayEdu 是基于 SpringBoot3 + Java17 + React18 开发的企业内部培训系统。它专注于提供私有化部署方案，包括视频，图片等资源的内网部署。目前主要支持有本地视频上传播放、学员邮箱登录、无限级部门、无限级资源分类、学员在线学习等主要功能。更新内容后台的学员列表左侧部门列表显示每个部门的学员人数后台学员列表在选择部门的情况下可直接查看该部门下的学员学习进度后台学员列表学员增加『学习』按钮，点击可查看该学员的最近30天每日学习时长、该学员的所有课时、线上课的学习进度优化 Docker 编译。现在可直接编译镜像无需手动执行命令安装依赖修复后台学员默认头像的bug 修复部门的排序和父子级变更的权限控制Bug 优化已知的null错误，提升系统稳定性修复PC端口的部门切换无法持久化保存的bug 修复PC端口的页面切换滚动条位置bug 优化PC端口的学员退出的逻辑源代码 https://gitee.com/playeduxyz/playedu https://github.com/playedu/played...

2023-04-21

441

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。