OneTable —— Lakehouse 表格式间全方位互操作-低调大师

OneTable —— Lakehouse 表格式间全方位互操作

2023-11-18 452

OneTable 是一种表格式的全方位转换器，可促进数据处理系统和查询引擎之间的互操作性。Apache Hudi、Delta Lake 和 Apache Iceberg 之间无缝互操作。

OneTable 不是一种新的或独立的格式，OneTable 提供了用于转换 Lakehouse 表格式元数据的抽象和工具

OneTable 通过利用表表示的通用模型来简化数据湖操作。这允许用户以一种格式写入数据，同时仍然受益于其他格式的集成和功能。例如，OneTable 使现有的 Hudi 用户能够无缝地使用 Databricks 的 Photon Engine 或使用 Snowflake 查询 Iceberg 表。创建从一种格式到另一种格式的转换非常简单，只需要实现一些接口，项目团队认为，这将有助于将来支持的源格式和目标格式的扩展。

微信关注我们

原文链接：https://www.oschina.net/p/onetable

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | Transformers 中原生支持的量化方案概述

本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理对量化模型进行适配器微调到目前为止，transformers 已经集成并原生支持了bitsandbytes和auto-gptq这两个量化库。请注意，🤗 optimum 还支持更多的量化方案，但本文不会涉及这一块内容。要详细了解每种方案的更多信息，可查看下文列出的相关资源，或者阅读相应的transformers文档。另请注意，下文内容仅适用于PyTorch模型，Tensorflow和Flax/JAX模型不在讨论范围之内。目录资源 bitsandbytes 与 auto-gptq 之比较深入研究速度基准总结与最后的话致谢资源 GPTQ 博文– 概述什么是 GPTQ 量化方法以及如何使用它。 bistandbytes 4 比特量化博文- 本文介绍了 4 比特量化和 QLoRa，QLoRa 是一种高效的微调方法。 bistandbytes 8 比特量化博文- 本文解释了如何与 bitsandbytes ...

2023-11-18

349

中国科学院软件研究所可信智能系统研究团队在分组加密算法的差分密码分析方面取得进展。该工作设计了一个面向分组加密算法的领域编程语言 EasyBC，在此基础上提出了通用、可扩展的差分密码分析方法，研制了全自动分析工具平台EasyBC （如图1）。该研究成果以_EasyBC: A Cryptography-Specific Language for Security Analysis of Block Ciphers against Differential Cryptanalysis_为题被编程语言国际顶级会议POPL 2024录用，通讯作者是软件所计算机科学国家重点实验室宋富研究员。图1. EasyBC平台流程图分组加密算法（block cipher）是将明文分成多个等长的模块（block），使用对称密钥对每组分别加密或解密，广泛应用于电子邮件加密、银行交易转帐等多个领域。作为极其重要的加密协议组成，主流分组加密算法有中国国家密码管理局颁布的SM1、SM4和SM7，美国政府核定的标准算法AES和3DES。而差分密码分析在评估分组加密算法的安全性方面发挥着核心作用，是分组加密算法标准...

2023-11-18

385

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。