3月24日,針對媒體對螞蟻百靈大模型訓練成本的報道,螞蟻集團方面回應界面新聞稱,螞蟻針對不同芯片持續調優,以降低AI應用成本,目前取得了一定的進展,也會逐步通過開源分享。
此前有報道稱,螞蟻集團正使用中國制造的半導體來開發AI模型訓練技術,這將使成本降低20%。知情人士稱,螞蟻集團使用了包括來自阿里巴巴和華為的芯片,采用混合專家(MoE)機器學習方式來訓練模型。他們表示,螞蟻集團獲得了與采用英偉達H800等芯片訓練相似的結果。
其中一位知情人士稱,螞蟻集團仍在使用英偉達的產品進行人工智能開發,但目前其最新模型主要依賴于包括AMD產品和中國芯片在內的替代產品。
該技術成果論文《每一個FLOP都至關重要:無需高級GPU即可擴展3000億參數混合專家LING大模型》已在預印版Arxiv平臺上發表。
除了自研性能領先的大模型以外,該技術論文最大的突破在于提出了一系列創新方法,以提升資源受限環境下AI開發的效率與可及性。實驗表明,其3000億參數的MoE大模型可在使用國產GPU的低性能設備上完成高效訓練,性能與完全使用英偉達芯片、同規模的稠密模型及MoE模型相當。
作為國內較早布局AI大模型的廠商,螞蟻自研的百靈大模型2023年已通過備案,重點布局在生活服務、金融服務、醫療健康等場景的應用。