OneTable —— Lakehouse 表格式间全方位互操作
OneTable 是一种表格式的全方位转换器,可促进数据处理系统和查询引擎之间的互操作性。Apache Hudi、Delta Lake 和 Apache Iceberg 之间无缝互操作。
OneTable 不是一种新的或独立的格式,OneTable 提供了用于转换 Lakehouse 表格式元数据的抽象和工具
OneTable 通过利用表表示的通用模型来简化数据湖操作。这允许用户以一种格式写入数据,同时仍然受益于其他格式的集成和功能。例如,OneTable 使现有的 Hudi 用户能够无缝地使用 Databricks 的 Photon Engine 或使用 Snowflake 查询 Iceberg 表。创建从一种格式到另一种格式的转换非常简单,只需要实现一些接口,项目团队认为,这将有助于将来支持的源格式和目标格式的扩展。
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
每日一博 | Transformers 中原生支持的量化方案概述
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述,以助于读者进行方案选择。 目前,量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止,transformers 已经集成并原生支持了bitsandbytes和auto-gptq这两个量化库。请注意,🤗 optimum 还支持更多的量化方案,但本文不会涉及这一块内容。 要详细了解每种方案的更多信息,可查看下文列出的相关资源,或者阅读相应的transformers文档。 另请注意,下文内容仅适用于PyTorch模型,Tensorflow和Flax/JAX模型不在讨论范围之内。 目录 资源 bitsandbytes 与 auto-gptq 之比较 深入研究速度基准 总结与最后的话 致谢 资源 GPTQ 博文– 概述什么是 GPTQ 量化方法以及如何使用它。 bistandbytes 4 比特量化博文- 本文介绍了 4 比特量化和 QLoRa,QLoRa 是一种高效的微调方法。 bistandbytes 8 比特量化博文- 本文解释了如何与 bitsandbytes ...
-
下一篇
中国科学院软件所在分组加密算法差分密码分析方面取得进展
中国科学院软件研究所可信智能系统研究团队在分组加密算法的差分密码分析方面取得进展。该工作设计了一个面向分组加密算法的领域编程语言 EasyBC,在此基础上提出了通用、可扩展的差分密码分析方法,研制了全自动分析工具平台EasyBC (如图1)。 该研究成果以_EasyBC: A Cryptography-Specific Language for Security Analysis of Block Ciphers against Differential Cryptanalysis_为题被编程语言国际顶级会议POPL 2024录用,通讯作者是软件所计算机科学国家重点实验室宋富研究员。 图1. EasyBC平台流程图 分组加密算法(block cipher)是将明文分成多个等长的模块(block),使用对称密钥对每组分别加密或解密,广泛应用于电子邮件加密、银行交易转帐等多个领域。作为极其重要的加密协议组成,主流分组加密算法有中国国家密码管理局颁布的SM1、SM4和SM7,美国政府核定的标准算法AES和3DES。而差分密码分析在评估分组加密算法的安全性方面发挥着核心作用,是分组加密算法标准...
相关文章
文章评论
共有0条评论来说两句吧...


微信收款码
支付宝收款码