Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源

Yandex 推出了 YaFSDP,一种开源方法,用于训练大型语言模型(LLM),能增强 GPU 通信并减少训练中的内存使用量,比 FSDP 训练速度提升最高可达 26%。使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献,将 YaFSDP 开源提供给全球的 LLM 开发人员和人工智能爱好者。YaFSDP 通过消除 GPU 通信效率低下来提升效能,确保训练时只需必要的处理器内存,并使 GPU 交互不间断。YaFSDP 并不是 Yandex 的第一个开源工具,该公司之前曾分享过其他几款在 ML 社区中很受欢迎的工具,包括 CatBoost、YTsaurus、AQLM 和 Petals。

上一篇:

下一篇:

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信