久冉科技

热点

字节:MoE 技术突破,训练成本省 40%

时间:2025-03-10 19:32 阅读:

  字节豆包大模型团队于 3 月 10 日官宣开源一项针对 MoE 架构的关键优化技术。该技术能将大模型训练效率提升 1.7 倍,成本节省 40%,且已实际应用于字节的万卡集群训练,累计节省数百万 GPU 小时训练算力。