特性快闪：使用 Databend 玩转 Iceberg-低调大师

特性快闪：使用 Databend 玩转 Iceberg

2023-07-31 766

作者：尚卓燃（PsiACE）

澳门科技大学在读硕士，Databend 研发工程师实习生

Apache OpenDAL(Incubating) Committer

https://github.com/PsiACE

几周前，Databricks 和 Snowflake 召开了各自的年度大会，除了今年一路持续走红的 AI ，数据湖/数据仓库技术的发展仍然值得关注，毕竟数据才是基本盘。Apache Iceberg 无疑是数据湖方案的大赢家，Databricks 新推出的 UniForm 为以 Apache Iceberg 和 Hudi 表格式读取 Delta 中的数据提供了进一步的支持。而 Snowflake 也适时推出了 Iceberg Tables 更新，宣称要进一步打破数据孤岛。

Databend 最近几个月正在推动的重要新特性之一就是支持读取 Apache Iceberg 表格式的数据，尽管还没有完全落地，但已经取得了不错的进展。

今天这篇文章旨在为大家提前演示这一新特性 —— 使用 Databend 挂载并查询 Iceberg Catalog ，我们将介绍 Iceberg、表格式的一些核心概念，并且试图介绍 Databend 的解决方案（包括 Databend 的多源数据目录能力和以 Rust 从头实现的 IceLake）。当然，作为演示，我们将会提供完整的 workshop ，供大家尝鲜体验。

Apache Iceberg

时至今日，越来越多的数据进入云端，并且存储在对象存储之中，但这并不能完全适应现代分析的需求。这里有两个问题需要解决：第一个是数据以何种形式组织，也就是说，如何得到更结构化的数据存储。第二个问题还要更进一步，如何为用户提供更广泛的一致性保证以及业务中需要的模式信息，以及更多适应现代分析负载的高级特性。

数据湖往往会关注并解决第一个问题，而表格式则会致力于为第二个问题提供解决方案。

Apache Iceberg 是一种高性能的开放表格式，专为大规模分析工作负载而设计，简单而又可靠。同时支持 Spark、Trino、Flink、Presto、Hive 和 Impala 等查询引擎，并且具备模式演变（Full Schema Evolution）、时间旅行和回滚等杀手级特性。另外，Apache Iceberg 的数据分片和明确定义的数据结构还使得对数据源进行并发访问更加安全、可靠和方便。

如果你对 Iceberg 感兴趣，我们也推荐阅读像 Docker, Spark, and Iceberg: The Fastest Way to Try Iceberg! 这样的文章进行探索。

表格式初探

表格式（Table Format）是一种利用文件集合存储数据的规范。它主要包含以下三个部分的定义：

如何将数据存储在文件中
如何存储相关文件的元数据
如何存储有关表本身的元数据

表格式的文件通常存储在 HDFS、S3 或 GCS 这样的底层存储服务中，上层则会对接 Databend、Snowflake 等数据仓库。相比 CSV 或 Parquet ，表格式提供了表形式的标准的结构化数据定义，无需加载到数据仓库中就可以使用。

尽管表格式领域还有像 Delta Lake 和 Apache Hudi 这样的强劲对手，但这篇文章是关于 Apache Iceberg 的，所以，还是让我们把目光转向 Apache Iceberg ，一起了解一下它的底层文件组织结构。

上图中的 s0 、s1 代表的是表的快照信息（snapshot），也就是表在某个时刻的状态。每次 commit 都会生成一个快照，每个快照都会对应一个清单列表（manifest list），而每个清单列表可以维护多个清单文件（manifest file）的地址与统计信息，包括路径和分区范围等。清单文件中会记录当前操作生成数据文件（data file）的地址和统计信息，比如列中的最大值最小值和数据行数等。

Databend 多源数据目录

要想在 Databend 中实现 Iceberg 集成，头一件是 Databend 的多源数据目录能力。多源数据目录将会允许将原本由其他数据分析系统所管理的数据挂载到 Databend 。

从设计之初，Databend 的目标就是成为云原生的 OLAP 数据仓库，并考虑到多源数据处理的问题。Databend 中的数据按三层进行组织：catalog -> database -> table ，catalog 作为数据最大一层，会包含所有的数据库和表。

团队在此基础上设计并实现对 Hive 和 Iceberg 数据目录的支持，提供配置文件和 CREATE CATALOG 语句多种挂载形式，从而支持对相关数据进行查询。

要想挂载数据位于 S3 中的 Iceberg Catalog，只需要执行下面的 SQL 语句：

CREATE CATALOG iceberg_ctl
TYPE=ICEBERG
CONNECTION=(
    URL='s3://warehouse/path/to/db'
    AWS_KEY_ID='admin'
    AWS_SECRET_KEY='password'
    ENDPOINT_URL='your-endpoint-url'
);

IceLake - Apache Iceberg 的纯 Rust 实现

尽管 Rust 生态中近年来涌现出不少数据库、大数据分析相关的新项目，但 Rust 生态中仍然缺乏成熟的 Apache Iceberg 绑定，这为 Databend 集成 Iceberg 制造了不少困难。

Databend Labs 支持并发起的 IceLake 旨在填补这一空白，并致力于建立一个开放生态系统：

用户可以从任何存储服务（如 s3、gcs、azblob、hdfs 等）读写 Iceberg 表。
任何数据库都可以集成 icelake，以支持读写 Iceberg 表。
提供原生的 arrow 格式互转换的能力。
提供多种语言绑定，使其他语言可以享有 Rust 核心带来的 Iceberg 生态支持。

当前 IceLake 已经支持读取 Apache Iceberg 存储服务中的数据（Parquet 格式）。而 Databend 的 Iceberg 数据目录能力正是由 IceLake 支撑的，其设计与实现在和 Databend 集成中得到了验证。

此外，我们还与 Iceberg 社区成员携手发起并参与 iceberg-rust 项目，旨在将 icelake 中 iceberg 相关的实现贡献给上游，目前第一个版本正紧锣密鼓的开发中，欢迎关注https://github.com/apache/iceberg-rust 。

Workshop：体验 Databend 的 Iceberg 能力

在这个 Workshop 中，我们将会展示如何准备 Iceberg 表格式的数据，并以 Catalog 的形式将其挂载到 Databend 上，并执行一些基本的查询。相关的文件和配置可以在 PsiACE/databend-workshop 中找到。

如果你本身有一些符合 Iceberg 表格式的数据存放在 OpenDAL 支持的存储服务中，我们更推荐使用 Databend Cloud ，这样你就可以跳过繁琐的服务部署和数据准备流程，轻松上手 Iceberg Catalog 。

启动服务

为了简化 Iceberg 的服务部署和数据准备问题，我们将会使用 Docker 和 Docker Compose ，你需要先安装这些组件，然后编写 docker-compose.yml 文件。

version: "3"

services:
  spark-iceberg:
    image: tabulario/spark-iceberg
    container_name: spark-iceberg
    build: spark/
    networks:
      iceberg_net:
    depends_on:
      - rest
      - minio
    volumes:
      - ./warehouse:/home/iceberg/warehouse
      - ./notebooks:/home/iceberg/notebooks/notebooks
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
    ports:
      - 8888:8888
      - 8080:8080
      - 10000:10000
      - 10001:10001
  rest:
    image: tabulario/iceberg-rest
    container_name: iceberg-rest
    networks:
      iceberg_net:
    ports:
      - 8181:8181
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
      - CATALOG_WAREHOUSE=s3://warehouse/
      - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO
      - CATALOG_S3_ENDPOINT=http://minio:9000
  minio:
    image: minio/minio
    container_name: minio
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=password
      - MINIO_DOMAIN=minio
    networks:
      iceberg_net:
        aliases:
          - warehouse.minio
    ports:
      - 9001:9001
      - 9000:9000
    command: ["server", "/data", "--console-address", ":9001"]
  mc:
    depends_on:
      - minio
    image: minio/mc
    container_name: mc
    networks:
      iceberg_net:
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
    entrypoint: >
      /bin/sh -c "
      until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done;
      /usr/bin/mc rm -r --force minio/warehouse;
      /usr/bin/mc mb minio/warehouse;
      /usr/bin/mc policy set public minio/warehouse;
      tail -f /dev/null
      "      
networks:
  iceberg_net:

在上述的配置文件中，我们使用 MinIO 作为底层存储，Iceberg 提供表格式能力，至于 spark-iceberg ，可以帮助我们准备一些预置数据并执行转换操作。

接下来，我们在 docker-compose.yml 文件对应的目录下启动所有服务：

docker-compose up -d

数据准备

在这个 Workshop 中，我们计划使用 NYC Taxis 数据集（纽约出租车搭乘数据），在 spark-iceberg 中已经内置了 Parquet 数据，我们只需要将其转化为 Iceberg 格式。

首先启用 pyspark-notebook ：

docker exec -it spark-iceberg pyspark-notebook

接下来我们就可以在 http://localhost:8888 使用 Jupyter Notebook ：

这里我们需要运行一小段程序，实施数据转换的操作：

df = spark.read.parquet("/home/iceberg/data/yellow_tripdata_2021-04.parquet")
df.write.saveAsTable("nyc.taxis", format="iceberg")

第一行将会读取 Parquet 数据，而第二行将会将其转储为 Iceberg 格式。

为了验证数据是否成功转换，我们可以访问位于 http://localhost:9001 的 MinIO 实例，可以看到数据是按之前描述的 Iceberg 底层文件组织形式进行管理的。

部署 Databend

这里我们使用手动部署单节点 Databend 服务的形式，总体上部署过程可以参考 Databend 官方文档，需要注意的一些细节如下：

首先是需要为日志和 Meta 数据准备相关的目录

sudo mkdir /var/log/databend
sudo mkdir /var/lib/databend
sudo chown -R $USER /var/log/databend
sudo chown -R $USER /var/lib/databend

其次，因为默认的 admin_api_address 已经被前面的服务占用掉，所以需要编辑 databend-query.toml 进行一些修改避免冲突：
- ```
admin_api_address = "0.0.0.0:8088"
```
另外，我们还需要根据 Docs | Configuring Admin Users 配置管理员用户，由于只是一个 workshop ，这里选择最简单的方式，只是取消 [[query.users]] 字段以及 root 用户的注释：
- ```
[[query.users]]
name = "root"
auth_type = "no_password"
```
由于我们本地部署 MinIO ，没有设置证书加密，需要使用不安全的 HTTP 协议加载数据，所以还需要更改 databend-query.toml 配置文件以允许这一行为。在生产服务中请尽可能避免开启它：
- ```
...
[storage]
...
allow_insecure = true
...
```

接下来就可以正常启动 Databend ：

./scripts/start.sh

我们强烈推荐你使用 BendSQL 作为客户端，当然，我们也支持像 MySQL Client 和 HTTP API 等多种访问形式。

挂载 Iceberg Catalog

根据之前的配置文件，只需要执行下述 SQL 就可以一键挂载 Iceberg Catalog 。

CREATE CATALOG iceberg_ctl
TYPE=ICEBERG
CONNECTION=(
    URL='s3://warehouse/'
    AWS_KEY_ID='admin'
    AWS_SECRET_KEY='password'
    ENDPOINT_URL='http://localhost:9000'
);

为了验证是否成功，我们可以执行 SHOW CATALOGS 查看：

当然，我们也支持了 SHOW DATABASES 和 SHOW TABLES 语句，之前转换数据时的 nyc.taxis 对应在 MinIO 中是二级目录，而在 Databend 则会映射到数据库和表。

执行查询

数据已经挂载，那么就让我们执行一些简单的查询：

首先是对数据进行行数统计，可以看到一共挂载了 200 万行数据到 Databend：

SELECT count(*) FROM iceberg_ctl.nyc.taxis;

让我们从其中几列试着取一些数据出来：

SELECT tpep_pickup_datetime, tpep_dropoff_datetime, passenger_count FROM iceberg_ctl.nyc.taxis LIMIT 5;

下面的查询可以帮助我们探索乘客数量和旅程距离之间的相关性，这里只取其中 10 条结果：

SELECT
  passenger_count,
  to_year(tpep_pickup_datetime) AS year,
  round(trip_distance) AS distance,
  count(*)
FROM
  iceberg_ctl.nyc.taxis
GROUP BY
  passenger_count,
  year,
  distance
ORDER BY
  year,
  count(*) DESC
LIMIT
  10;

总结

在这篇文章中，我们介绍到 Apache Iceberg 表格式和 Databend 的相关解决方案，并且提供了一个相对完整的 workshop 供大家探索。

不难看出，尽管目前我们只为 Iceberg Catalog 提供了单机模式的目录挂载能力，但 Databend 可以胜任一些基本的查询处理任务。也欢迎大家在自己感兴趣的数据上进行尝试，并给我们提供一些反馈。

微信关注我们

原文链接：https://my.oschina.net/u/5489811/blog/10091818

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

GaussDB OLTP 云数据库配套工具DAS

目录一、前言二、DAS的定义 1、DAS的定义 2、DAS功能特点三、DAS应用场景 1、标准版 2、企业版四、操作示例（标准版） 1、登录华为控制台登录，输入账号密码 2、新增数据库实例链接 3、新建对象 4、SQL操作 5、导入导出五、小结一、前言传统的数据库管理软件，不仅需要下载安装、功能还比较单一，而且已经滞后于云服务的发展模式。华为GaussDB云数据库提供了配套的生态工具数据管理服务DAS。 DAS通过与数据库内核的紧密结合，提供了数据库开发、运维、智能诊断一站式云上数据库管理平台，方便用户使用和运维华为云数据库。二、DAS的定义 1、DAS的定义数据管理服务（Data Admin Service，简称DAS），是一种提供数据库可视化操作的工具，包括基础SQL操作、高级数据库管理、智能化运维等功能，旨在帮助用户易用、安全、智能的进行数据库管理（连上网络、打开浏览器，即可随时随地、方便快捷的使用DAS），大幅提高工作效率，让数据管理变得既简单又安全。 2、DAS功能特点轻松管理：实现云上可视化界面连接和管理数据库易操作：简单方便访问数据，且支持类似E...

2023-07-31

748

同态加密是一种支持数据密态处理的密码学技术，可以广泛应用于云计算、医疗、金融等领域。本热心小编不允许还有人不知道什么是同态加密！都给小编进来学！（天空一声巨响 🌩 小编闪亮登场 🕶~）一、什么是同态加密全同态加密是一种加密技术，允许在不解密的前提下，对密文进行一些有意义的运算，使得解密后的结果与在明文上做“相同计算”得到的结果相同。常见的错误公式（E 代表加密）\({{E(m_1)\circ E(m_2)=E(m_1\bullet m_2)}}\) ❌ 正确公式（E 代表加密，D 代表解密）\({D(E(m_1) \circ E(m_2))=m_1\bulletm_2}\) ✅ 通常所说的“同态加法”，“同态乘法”，指的是明文上的运算，即对应的运算同态加密被称为密码学的“圣杯”，原因是同态加密算法功能十分强大，可以支持密文上的任意操作。目前的全同态加密算法效率比较低，只能支持一些简单的代数或逻辑运算，对一些复杂的计算逻辑支持较差。二、理论到实现 2.1 理论全同态加密的思想早在 1978 年由 Rivest，Adleman 和 Dertouzos（前两位就是 RS...

2023-07-31

374

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。