OneTable —— Lakehouse 表格式间全方位互操作-低调大师

OneTable —— Lakehouse 表格式间全方位互操作

2023-11-18 520

OneTable 是一种表格式的全方位转换器，可促进数据处理系统和查询引擎之间的互操作性。Apache Hudi、Delta Lake 和 Apache Iceberg 之间无缝互操作。

OneTable 不是一种新的或独立的格式，OneTable 提供了用于转换 Lakehouse 表格式元数据的抽象和工具

OneTable 通过利用表表示的通用模型来简化数据湖操作。这允许用户以一种格式写入数据，同时仍然受益于其他格式的集成和功能。例如，OneTable 使现有的 Hudi 用户能够无缝地使用 Databricks 的 Photon Engine 或使用 Snowflake 查询 Iceberg 表。创建从一种格式到另一种格式的转换非常简单，只需要实现一些接口，项目团队认为，这将有助于将来支持的源格式和目标格式的扩展。

微信关注我们

原文链接：https://www.oschina.net/p/onetable

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | Transformers 中原生支持的量化方案概述

本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理对量化模型进行适配器微调到目前为止，transformers 已经集成并原生支持了bitsandbytes和auto-gptq这两个量化库。请注意，🤗 optimum 还支持更多的量化方案，但本文不会涉及这一块内容。要详细了解每种方案的更多信息，可查看下文列出的相关资源，或者阅读相应的transformers文档。另请注意，下文内容仅适用于PyTorch模型，Tensorflow和Flax/JAX模型不在讨论范围之内。目录资源 bitsandbytes 与 auto-gptq 之比较深入研究速度基准总结与最后的话致谢资源 GPTQ 博文– 概述什么是 GPTQ 量化方法以及如何使用它。 bistandbytes 4 比特量化博文- 本文介绍了 4 比特量化和 QLoRa，QLoRa 是一种高效的微调方法。 bistandbytes 8 比特量化博文- 本文解释了如何与 bitsandbytes ...

2023-11-18

420

中国科学院软件研究所可信智能系统研究团队在分组加密算法的差分密码分析方面取得进展。该工作设计了一个面向分组加密算法的领域编程语言 EasyBC，在此基础上提出了通用、可扩展的差分密码分析方法，研制了全自动分析工具平台EasyBC （如图1）。该研究成果以_EasyBC: A Cryptography-Specific Language for Security Analysis of Block Ciphers against Differential Cryptanalysis_为题被编程语言国际顶级会议POPL 2024录用，通讯作者是软件所计算机科学国家重点实验室宋富研究员。图1. EasyBC平台流程图分组加密算法（block cipher）是将明文分成多个等长的模块（block），使用对称密钥对每组分别加密或解密，广泛应用于电子邮件加密、银行交易转帐等多个领域。作为极其重要的加密协议组成，主流分组加密算法有中国国家密码管理局颁布的SM1、SM4和SM7，美国政府核定的标准算法AES和3DES。而差分密码分析在评估分组加密算法的安全性方面发挥着核心作用，是分组加密算法标准...

2023-11-18

477

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。