3月24日，針對媒體對螞蟻百靈大模型訓(xùn)練成本的報道，螞蟻集團方面回應(yīng)界面新聞稱，螞蟻針對不同芯片持續(xù)調(diào)優(yōu)，以降低AI應(yīng)用成本，目前取得了一定的進展，也會逐步通過開源分享。

此前有報道稱，螞蟻集團正使用中國制造的半導(dǎo)體來開發(fā)AI模型訓(xùn)練技術(shù)，這將使成本降低20%。知情人士稱，螞蟻集團使用了包括來自阿里巴巴和華為的芯片，采用混合專家(MoE)機器學(xué)習(xí)方式來訓(xùn)練模型。他們表示，螞蟻集團獲得了與采用英偉達H800等芯片訓(xùn)練相似的結(jié)果。

其中一位知情人士稱，螞蟻集團仍在使用英偉達的產(chǎn)品進行人工智能開發(fā)，但目前其最新模型主要依賴于包括AMD產(chǎn)品和中國芯片在內(nèi)的替代產(chǎn)品。

該技術(shù)成果論文《每一個FLOP都至關(guān)重要：無需高級GPU即可擴展3000億參數(shù)混合專家LING大模型》已在預(yù)印版Arxiv平臺上發(fā)表。

除了自研性能領(lǐng)先的大模型以外，該技術(shù)論文最大的突破在于提出了一系列創(chuàng)新方法，以提升資源受限環(huán)境下AI開發(fā)的效率與可及性。實驗表明，其3000億參數(shù)的MoE大模型可在使用國產(chǎn)GPU的低性能設(shè)備上完成高效訓(xùn)練，性能與完全使用英偉達芯片、同規(guī)模的稠密模型及MoE模型相當(dāng)。

作為國內(nèi)較早布局AI大模型的廠商，螞蟻自研的百靈大模型2023年已通過備案，重點布局在生活服務(wù)、金融服務(wù)、醫(yī)療健康等場景的應(yīng)用。