豆包大模型团队 COMET 系统开源,万卡集群部署节省数百万 GPU 小时

3个月前发布 liudada
82 0

字节跳动豆包大模型团队推出通信优化系统 COMET,针对 MoE 模型分布式训练中的通信瓶颈,通过细粒度计算-通信重叠技术,实现单层 1.96 倍加速,端到端平均 1.71 倍效率提升。COMET 已在万卡级生产集群落地,节省数百万 GPU 小时资源,获 MLSys 2025 高分评审,核心代码已开源。

© 版权声明

相关文章

没有相关内容!