DuckDB 异步 I/O 让远程查询加速 20 倍
DuckDB 做了一个关键的架构变更。 从 v2.0(2026 年秋季)开始,DuckDB 将支持 Parquet 和 CSV 文件的异步读取。核心设计是双线程池:REGULAR 线程池负责解码、连接、聚合等计算任务,数量等于 CPU 核心数;ASYNC 线程池专为异步 I/O 设计,数量默认为系统线程数的 4 倍,上限 256 个。 配合预读队列,工作线程在需要数据之前就提前调度 fetch 任务。ASYNC 线程独立执行读取任务,完成后通过倒计数器唤醒等待中的扫描任务。 Benchmark 数据很说明问题。在 EC2 r7i.16xlarge(64 vCPU,512GB RAM)上查询同区...
