字節跳動豆包大模型團隊近日開源一項名為COMET的MoE架構優化技術,可將大模型訓練效率提升1.7倍。論文顯示,該技術已實際應用于字節的萬卡集群訓練,實現數百萬GPU小時訓練算力的節省。
字節跳動豆包大模型團隊開源一項MoE架構優化技術
界面快報 · 來源:界面新聞
字節跳動
4.3k
- AI早報 | 字節跳動回應AI Lab負責人卸任;人形機器人領域招聘需求暴增409%
- 字節跳動人工智能實驗室負責人卸任?回應:退休返聘,管理范圍沒有變化
評論
暫無評論哦,快來評價一下吧!
界面快報 · 來源:界面新聞
字節跳動豆包大模型團隊近日開源一項名為COMET的MoE架構優化技術,可將大模型訓練效率提升1.7倍。論文顯示,該技術已實際應用于字節的萬卡集群訓練,實現數百萬GPU小時訓練算力的節省。
評論