Accelerate 1.0.0 发布
Accelerate 发展概况 在三年半以前、项目发起之初时, Accelerate 的目标还只是制作一个简单框架,通过一个低层的抽象来简化多 GPU 或 TPU 训练,以此替代原生的 PyTorch 训练流程: Accelerate https://github.com/huggingface/accelerate Sylvain’s tweet announcing accelerate 自此,Accelerate 开始不断扩展,逐渐成为一个有多方面能力的代码库。当前,像 Llama 这样的模型已经达到了 405B 参数的量级,而 Accelerate 也致力于应对大模型和大规模训练所面临的诸多难题。这其中的贡献包括: 灵活、低层的训练 API : 支持在六种不同硬件设备 (CPU、GPU、TPU、XPU、NPU、MLU) 上训练,同时在代码层面保持 99% 原有训练代码不必改动。 https://hf.co/docs/accelerate/basic_tutorials/migration 简单易用的 命令行界面 : 致力于在不同硬件上进行配置,以及运行训练脚本。 https:/...
