Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源

Yandex 推出了 YaFSDP，一种开源方法，用于训练大型语言模型（LLM），能增强 GPU 通信并减少训练中的内存使用量，比 FSDP 训练速度提升最高可达 26%。使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献，将 YaFSDP 开源提供给全球的 LLM 开发人员和人工智能爱好者。YaFSDP 通过消除 GPU 通信效率低下来提升效能，确保训练时只需必要的处理器内存，并使 GPU 交互不间断。YaFSDP 并不是 Yandex 的第一个开源工具，该公司之前曾分享过其他几款在 ML 社区中很受欢迎的工具，包括 CatBoost、YTsaurus、AQLM 和 Petals。