类似 Git 的文件对象存储 —

类似 Git 的文件对象存储 —— LakeFS

2021-10-22 1877

LakeFS 是一种开源工具，可将你的对象存储转换为类似 Git 的存储库；它使你能够以管理代码的方式管理数据湖。

使用 LakeFS，你可以构建可重复的、atomic 和版本化的数据湖操作 - 从复杂的 ETL 作业到数据科学和分析。

LakeFS 支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为其底层存储服务。它与 S3 的 API 兼容，并与所有现代数据框架（如 Spark、Hive、AWS Athena、Presto 等）无缝协作。

特性：

百万亿规模的版本控制
类似于 Git 的操作：branch、commit、merge、revert
Zero copy branching 用于 frictionless 实验
数据和代码的完全可重复性
用于 data CI/CD 的 Pre-commit/merge hooks
即时恢复对数据的修改

微信关注我们

原文链接：https://www.oschina.net/p/lakefs

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

英特尔开源基于机器学习的代码检测工具 ControlFlag

去年，英特尔推出了一个基于机器学习的代码检测工具 ControlFlag，可以帮助开发者发现代码中的错误，减少调试应用程序和软件所需的时间。英特尔在用超过 10 亿行的代码对 ControlFlag 进行训练后取得令人印象深刻的结果，ControlFlag 在已达到 "生产质量" 的软件中发现了数百个错误，证明了其在代码检测方面的实用性。而且在去年年底，英特尔就已将该工具部署至公司内部，用于检查从固件到软件应用的代码库。如今时隔一年时间，英特尔又带来了有关 ControlFlag 的新消息，现在英特尔将 ControlFlag 正式开源，以帮助更多开发者自主检测代码错误。 ControlFlag 适用于任何包含控制结构的编程语言（如 C/C++），旨在通过利用无监督的学习方式减少调试工作。通过无监督学习，一个算法被置于 "未知" 数据中，ControlFlag 能够自己对数据进行分类、处理未标记的数据，并从其固有的结构中学习。 ControlFlag 能够不断地从未标记的源代码中学习，随着新数据的引入而 "进化"，使自己变得更好。虽然它还不能自动解决它所发现的代码错误，但该工具可以...

2021-10-22

492

一位名叫 Sam Gross的开发者提出了一个对全局解释器锁（GIL）进行重大修改的设想。其目标在于移除 CPython 中的 GIL，以使得多线程能够并行执行 Python 代码。目前，该项目已经引起了 Python 核心开发团队的关注。我一直在对 CPython 进行修改，使其能够在没有全局解释器锁的情况下运行。我想与大家分享一个可以在没有 GIL 的情况下运行的概念验证。这个概念验证涉及到对 CPython 内部的大量修改，但对 C-API 的修改相对较少。它可以与许多 C 语言扩展兼容：扩展必须被重建，但通常只需要对源代码进行较小的修改或不需要修改。我已经从科学的 Python 生态系统中构建了兼容的软件包版本，它们可以通过捆绑的"pip"来安装。 Gross 在设计文档中详细列举了移除GIL 需要承担的一些风险以及他认为要移除 GIL 的理由：风险移除 GIL 将是一项大型、多年的任务，引入错误和回归的风险会增加。移除 GIL 意味着在单线程和多线程性能之间进行权衡。“我相信 - 我们可以创建一个没有 GIL 的 CPython，它在单线程和多线程工作负载方面都比当前...

2021-10-22

566

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。