Llama3训练每3小时崩一次？豆包大模型、港大团队为脆皮万卡训练提效

Meta 官方披露 Llama3 405B 训练在 16384 块 H100 80GB 训练集群上的高故障率，平均每三小时崩溃一次。为对抗此情况，Checkpoint 技术很关键。字节跳动豆包大模型团队与港大联合推出 ByteCheckpoint 系统，它在 Checkpoint 保存和加载性能上大幅提升，用户接口简单，自动重新切分功能降低使用成本。