Databend 开源周报第 113 期-低调大师

Databend 开源周报第 113 期

2023-10-08 379

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

数据导入具有额外列的表

默认情况下，COPY INTO 会按照文件中的字段顺序与表中对应的列进行匹配，从而将数据导入到表中。关键在于确保文件和表之间的数据正确对齐。

如果表中的列数大于文件中的字段数，可以手动指定需要导入数据的列来保证对齐。

而在导入 CSV 格式的数据文件时，如果表中的列数大于文件中的字段数，且额外列位于表的末尾，则可以使用 FILE_FORMAT 选项 ERROR_ON_COLUMN_COUNT_MISMATCH 来导入数据。

如果您想了解更多信息，请查看下面列出的资源。

Docs | Example 5: Loading to Table with Extra Columns

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

为 ParquetReader 设计读策略

直接使用 arrow-rs 的 API 存在一些问题，当我们尝试为 prewhere 和 topk 下推预取数据时，无法重用之前已经反序列化过的数据块，而在现有的实现上支持重用逻辑会很复杂。

为了改善 row group 的读逻辑并且重用上一个阶段中的预取数据，我们对相关逻辑进行了大量的重构并且引入了读策略进行解耦。

NoPrefetchPoliy

没有预取阶段。直接读、反序列化并输出你需要的数据块。

PredicateAndTopkPolicy

在预取阶段预取 prewhere 和 topk 需要的列。它们反序列化为 DataBlock ，并将其计入 RowSelection 。然后按批大小分割 DataBlock 并将结果存储在内存中的 VecDeque 中。

在最后阶段读取 RowSelection 指定的剩余列，并按批输出 DataBlocks 。接着合并预取数据并根据 output_schema 来投影得到结果数据块。

TopkOnlyPolicy

与 PredicateAndTopkPolicy 类似，但在预取阶段只考虑 topk 。

如果您想了解更多信息，请查看下面列出的资源。

PR #13020 | refactor: introduce ReadPolicy to parquet reader

Highlights

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

在 Query 日志中增加 Spill 相关信息。
支持使用 COPY INTO 将数据导出为压缩文件。
引入 GET /v1/background/:tenant/background_tasks HTTP API 来查询后台任务。
阅读 Example 4: Filtering Files with Pattern 以了解如何使用模式来过滤文件。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

修复由 SQLsmith 检测出的问题

自上个月引入 SQLsmith 测试，累计检测出大约 40 个问题。Databend Labs 正在致力于修复这些问题来改善各种场景下的系统稳定性。

我们希望你也可以参与到这项工作中，其中可能会有一些涉及类型转换和特殊值处理的简单任务，可以参考之前的其他修复进行处理。

Issues | Found by SQLsmith

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者，你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题，祝好运！

New Contributors

一起认识社区中的新伙伴，Databend 因你们而变得更加美好。

@zenus 修复了在执行COPY INTO期间未检测到模式不匹配的问题，#13010.

Changelog

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。

地址：https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

微信关注我们

原文链接：https://my.oschina.net/u/5489811/blog/10116013

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深入理解java和dubbo的SPI机制 | 京东物流技术团队

1 SPI简介 1.1 SPI(Service Provider Interface) 本质：将接口实现类的全限定名配置在文件中，并由服务加载器读取配置文件，加载实现类。这样可以在运行时，动态为接口替换实现类。 java SPI：用来设计给服务提供商做插件使用的。基于策略模式来实现动态加载的机制。我们在程序只定义一个接口，具体的实现交个不同的服务提供者；在程序启动的时候，读取配置文件，由配置确定要调用哪一个实现。 dubbo SPI：在dubbo中也有SPI机制，虽然都需要将接口全限定名配置在文件中，但是dubbo并没有使用java的spi机制，而是重新实现了一套功能更强的 SPI 机制, 支持了AOP与依赖注入，并且利用缓存提高加载实现类的性能，同时支持实现类的灵活获取。基于 SPI，我们可以很容易的对 Dubbo 进行拓展。例如dubbo当中的protocol，LoadBalance等都是通过SPI机制扩展。 2 java SPI 2.1实现过程 1）需要在 classpath 下创建一个目录，该目录命名必须是：META-INF/service 2）在该目录下创建一个文本文件...

2023-10-08

372

上一篇内容《从2PC和容错共识算法讨论zookeeper中的Create请求》介绍了保证分布式事务提交的两阶段提交协议，而XA是针对两阶段提交提出的接口实现标准，本文则对XA进行介绍。 1. XA XA （eXtended Architecture 扩展架构）是X/Open组织提出的跨异构技术实现两阶段提交的接口标准。分布式事务包含两种类型：数据库内部的分布式事务，在这种情况下，所有参与事务的节点都运行相同的数据库软件；异构分布式事务，参与者由两种或两种以上的不同数据库软件组成。它于 1991 年推出并得到了广泛的实现：许多传统关系数据库包括 PostgreSQL、MySQL、DB2、SQL Server 和 Oracle；消息代理包括 ActiveMQ、HornetQ、MSMQ 和 IBM MQ都支持 XA。它不是一个网络协议而是定义了事务管理器（Transaction Manager）、应用程序（Application Program）和资源管理器（Resource Manager）之间交互的CAPI(Common Application Programming Interfa...

2023-10-08

375

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。