HF Hub 现已加入存储区域功能
我们在 企业版 Hub 服务 方案中推出了 存储区域(Storage Regions) 功能。
通过此功能,用户能够自主决定其组织的模型和数据集的存储地点,这带来两大显著优势,接下来的内容会进行简要介绍:
-
法规和数据合规,此外还能增强数字主权 -
性能提升(下载和上传速度更快,减少延迟)
目前,我们支持以下几个存储区域:
-
美国 🇺🇸 -
欧盟 🇪🇺 -
即将到来:亚太地区 🌏
在深入了解如何设置这项功能之前,先来看看如何在你的组织中配置它 🔥
组织设置
如果你的组织还未开通企业版 Hub 服务,则将会看到以下界面:
订阅服务后,你将能够访问到存储区域设置页面:
在这个页面上,你可以:
-
审核当前组织仓库的存储位置 -
通过下拉菜单为新建仓库选择存储位置
仓库标签
储存在非默认位置的仓库(模型或数据集)将直接在标签中显示其所在的区域,使组织成员能够直观地了解仓库位置。
法规和数据合规
在许多规定严格的行业,按照法规要求在指定地域存储数据是必须的。
对于欧盟的公司,这意味着他们能利用企业版 Hub 服务构建符合 GDPR 标准的机器学习解决方案:确保数据集、模型和推理端点全部存储在欧盟的数据中心。
如果你已是企业版 Hub 服务客户,并有更多相关疑问,请随时联系我们!
性能优势
把模型或数据集存放在离你的团队和基础设施更近的地方,可以显著提高上传和下载的效率。
鉴于模型权重和数据集文件通常体积庞大,这一点尤其重要。
例如,如果你的团队位于欧洲,并选择将仓库存储在欧盟区域,与存储在美国相比,上传和下载速度可以提升大约 4 到 5 倍。
本文分享自微信公众号 - Hugging Face(gh_504339124f0f)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM
众所周知,LLM 规模庞大,如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上,我们不断努力以不断降低大模型的准入门槛。在此过程中,我们决定再次与 bitsandbytes 联手,支持用户以 4 比特精度运行任何模态 (文本、视觉、多模态等) 上的绝大多数 HF 模型。用户还可以利用 Hugging Face 生态系统中的工具在 4 比特模型之上训练适配器。这一工作基于 Dettmers 等人最近在 QLoRA 这篇论文中介绍的一种新方法,其论文摘要如下: 我们提出了 QLoRA,这是一种高效的微调方法,可减少内存使用量,使得在单个 48GB GPU 上就可以微调 65B 的模型,而且所得模型的性能与全 16 比特微调相当。QLoRA 通过冻结 4 比特量化的预训练语言模型将梯度反向传播到低秩适配器 (LoRA) 中。我们最好的模型 (我们将其命名为 Guanaco) 仅需在单个 GPU 上进行 24 ...
- 下一篇
同城售后系统退款业务重构心得
一、重构背景 1.1、退款 到家、小时购、天选退款有2套结构,代码逻辑混乱; 其中小时购、天选部分售后单是和平生pop交互退款,部分是和售后中台交互退款;并且兼容3套逻辑; 痛点 :代码繁重,缺乏合理性的设计,后续迭代开发以及维护成本高,同时增加了系统的风险和不稳定性 1.2、金额计算 到家、小时购两套独立的逻辑结构计算,在此基础上针对退差和非退差又实现了2套逻辑; 针对商品件维度、商品行维度、售后单维度计算金额混乱,缺乏领域边界和分层设计; 痛点 :售后单维度、商品行维度、拆分件维度金额计算混乱,代码缺乏层次结构;代码易读性、维护成本、后续扩展性存在问题 1.3、售后逆向账 售后单详情接口、申诉单详情接口,针对到家和小时购做了两套逻辑; 其中售后单详情接口针对小时购黑名单、小时购白名单、天选、到家退差、到家非退差做了5套逻辑处理; 并且这两个接口都是实时从拆分获取金额进行售后逆向拆分计算,可以直接从数据库中进行取值赋值,不需要进行售后单维度的拆分计算; 痛点 :代码大量冗余、改动成本高、增加了系统的风险和不稳定性 二、重构思路和方案 2.1、重构思路 什么是重构呢? 名词:对软件内部...
相关文章
文章评论
共有0条评论来说两句吧...