首页 文章 精选 留言 我的

精选列表

搜索[远程工具链],共10000篇文章
优秀的个人博客,低调大师

DuckDB 异步 I/O 让远程查询加速 20 倍

DuckDB 做了一个关键的架构变更。 从 v2.0(2026 年秋季)开始,DuckDB 将支持 Parquet 和 CSV 文件的异步读取。核心设计是双线程池:REGULAR 线程池负责解码、连接、聚合等计算任务,数量等于 CPU 核心数;ASYNC 线程池专为异步 I/O 设计,数量默认为系统线程数的 4 倍,上限 256 个。 配合预读队列,工作线程在需要数据之前就提前调度 fetch 任务。ASYNC 线程独立执行读取任务,完成后通过倒计数器唤醒等待中的扫描任务。 Benchmark 数据很说明问题。在 EC2 r7i.16xlarge(64 vCPU,512GB RAM)上查询同区域 S3 上的 TPC-H SF100 数据集:Parquet 单文件从 8.23 秒降到 2.84 秒(加速约 3 倍),调优后进一步降到 2.23 秒(3.7 倍)。CSV 文件从 887 秒降到 45 秒,加速近 20 倍。同步版本仅维持约 5 Gbit/s 吞吐,异步版本饱和了 25 Gbit/s 网络。 并发查询场景下差异更大。四个 TPC-H 查询同时运行,同步版本约 90% 的核心空闲等待 I/O,耗时 35.8 秒;异步版本占满所有核心,15.6 秒完成。 内存管理也很灵活。read_ahead_depth 配置控制预读队列深度,默认 -1 表示由临时内存管理器动态控制。内存压力大时队列自动缩容至接近同步行为,压力解除后恢复。 DuckDB 团队表示,JSON 和原生格式的异步读取即将支持,同时也在探索 Linux io_uring 接口进一步减少系统调用开销。 参考来源: DuckDB 官方博客:Asynchronous I/O HN 讨论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册