3月11日,科大訊飛發布消息稱,科大訊飛聯合華為近日率先實現國產算力大規模跨節點專家并行集群推理。據其介紹,通過分布式架構創新與算法協同優化,單卡靜態內存占用縮減至雙機部署的1/4,效率提升75%,專家計算密度增加4倍,推理吞吐提升3.2倍,端到端時延降低50%。這一解決方案也將應用于訊飛星火深度推理模型的訓練加速,預期訓練時推理效率將提升200%。
科大訊飛:聯合華為實現國產算力大規模跨節點專家并行集群推理
界面快報 · 來源:界面新聞
科大訊飛
3.7k
- 工業軟件更新升級納入“兩新”政策,軟件ETF(159852)近1年累計上漲超28%
- 科大訊飛與重慶兩江新區簽署戰略合作協議
評論
暫無評論哦,快來評價一下吧!