界面新聞?dòng)浾?| 李彪
界面新聞編輯 | 文姝琪
2022年前后，在OpenAI還未發(fā)布ChatGPT前，“AI infra”（AI infrastucture）在業(yè)內(nèi)還不是一個(gè)完全成型的概念。許多研究高性能計(jì)算、分布式系統(tǒng)、大規(guī)模算力網(wǎng)絡(luò)集群等技術(shù)的創(chuàng)業(yè)者都還處于“拿著錘子找釘子”狀態(tài)。
這一時(shí)期，基流科技創(chuàng)始人胡效赫從清華大學(xué)自動(dòng)化系博士畢業(yè)，開始進(jìn)入AI領(lǐng)域創(chuàng)業(yè)。在清華大學(xué)就讀本科與博士期間，胡效赫的研究方向是云計(jì)算、分布式系統(tǒng)和高性能網(wǎng)絡(luò)處理。他的創(chuàng)業(yè)團(tuán)隊(duì)成員大多來自清華大學(xué)網(wǎng)絡(luò)安全實(shí)驗(yàn)室。“在AI大模型火起來之前，我們?cè)趯?shí)驗(yàn)室里研究分布式系統(tǒng)、云計(jì)算、云網(wǎng)絡(luò)等技術(shù)，產(chǎn)業(yè)界最主要需求還是與自動(dòng)駕駛仿真有關(guān)。”胡效赫告訴界面新聞?dòng)浾摺?/p>
在GPT-3、GPT-4等AI大模型陸續(xù)問世并引發(fā)全球轟動(dòng)后，AI infra近兩年成為了備受關(guān)注的熱門創(chuàng)業(yè)方向。按照業(yè)內(nèi)通俗定義，AI infra是涉及人工智能底層基礎(chǔ)設(shè)施的產(chǎn)品與技術(shù)的統(tǒng)稱，包括硬件、軟件、數(shù)據(jù)和算法。基流科技主要研發(fā)通信網(wǎng)絡(luò)及配套的交換機(jī)硬件、算力調(diào)度運(yùn)維軟件，用于支持AI大模型的算力集群落地與運(yùn)營。IDC報(bào)告顯示，2024年上半年，全球在AI部署的計(jì)算和存儲(chǔ)硬件基礎(chǔ)設(shè)施上的支出達(dá)到474億美元，同比增長(zhǎng)97%。
DeepSeek今年的出現(xiàn)進(jìn)一步催化了AI infra的熱度。DeepSeek通過MOE架構(gòu)（Mixture-of-Experts ）與強(qiáng)化學(xué)習(xí)（Reinforcement Learning）一系列手段，針對(duì)人工模型底層基礎(chǔ)設(shè)施做優(yōu)化，大幅降低了模型的訓(xùn)練成本。
胡效赫認(rèn)為，DeepSeek帶火AI infra的直接原因是行業(yè)看到了從底層優(yōu)化AI模型效率的重要性。以公司所做的算力網(wǎng)絡(luò)舉例，“2024年行業(yè)門檻開始變低，但其實(shí)很多廠商就是把服務(wù)器和網(wǎng)絡(luò)的線插上連上，完成基本的硬件集成工作，就算做完了組網(wǎng)。Deepseek出現(xiàn)后，業(yè)內(nèi)開始認(rèn)識(shí)到，要真正降低成本，達(dá)到一定的利用率，像是把原來需要4000張GPU卡做的訓(xùn)練變成3000張，就需要深入基礎(chǔ)設(shè)施底層，通過關(guān)鍵技術(shù)創(chuàng)新去優(yōu)化計(jì)算通信效率。”
此前，算力一直被認(rèn)為是限制AI模型性能的瓶頸，各地都在大舉投建新的AI數(shù)據(jù)中心用于算力擴(kuò)容。在DeepSeek出現(xiàn)并降低了AI模型研發(fā)的算力門檻后，業(yè)內(nèi)開始討論前兩年快速擴(kuò)張的算力需求是否會(huì)放緩，市場(chǎng)是否存在泡沫——全球算力霸主英偉達(dá)年初也受DeepSeek沖擊，股價(jià)縮水超過了20%。
胡效赫認(rèn)為，DeepSeek出現(xiàn)后市場(chǎng)接下來對(duì)算力依然保持強(qiáng)需求。在他看來，DeepSeek V3 是迭代訓(xùn)練的結(jié)果，涉及大量反復(fù)嘗試與重試，過程中仍然需要消耗不少算力。算力需求與迭代兩者間的基本邏輯依然是“投入更多算力，就能更快看到迭代的效果”。
“用業(yè)內(nèi)經(jīng)常提到的一個(gè)例子打比方，一個(gè)人中午吃飯要吃10個(gè)包子。不可能最后反過來說前面9個(gè)包子都不重要，只吃第10個(gè)包子就能飽。”胡效赫說。
此外，市場(chǎng)熱議的另一種觀點(diǎn)認(rèn)為，DeepSeek出現(xiàn)后，市場(chǎng)對(duì)算力的需求非但不會(huì)降低，反而會(huì)大幅上升。
行業(yè)原先認(rèn)為，從無到有地生成一個(gè)大模型主要依靠“訓(xùn)練”，用訓(xùn)練好的模型處理新數(shù)據(jù)主要依靠“推理”。模型前期訓(xùn)練需要“喂”海量的數(shù)據(jù)，數(shù)據(jù)計(jì)算過程需要消耗更多的算力，算力需求主要集中于模型訓(xùn)練。業(yè)內(nèi)IDC等市場(chǎng)機(jī)構(gòu)曾估算，訓(xùn)練算力與推理算力在2023年的比例是8比2，但未來隨著模型成熟、性能趨于穩(wěn)定，推理算力需求將有更快的提升。
而DeepSeek的出現(xiàn)加速了這一趨勢(shì)。DeepSeek的突破被認(rèn)為是模型推理的技術(shù)創(chuàng)新，其開源模型的推廣將一步推動(dòng)基于AI推理的應(yīng)用開發(fā)。行業(yè)最新預(yù)測(cè)，訓(xùn)練算力與推理算力的比例很快將達(dá)到6比4，甚至更高。英偉達(dá)CEO黃仁勛此前在媒體采訪與3月的GTC大會(huì)上多次強(qiáng)調(diào)，隨著行業(yè)原先集中于訓(xùn)練的算力向推理遷移，算力需求的總量不降反升。“DeepSeek的成功反而證明了市場(chǎng)需要更多芯片”。
隨著算力需求的持續(xù)擴(kuò)容，AI infra行業(yè)也將迎來更大的增長(zhǎng)機(jī)遇。自2023年公司成立以來，基流科技已經(jīng)參與過搭建萬卡集群，支持了國內(nèi)十多個(gè)智算數(shù)據(jù)中心集群落地，服務(wù)過包括智譜AI、商湯、運(yùn)營商、地方國企等一眾客戶。此前接受媒體采訪時(shí)，胡效赫曾提到，基流科技的算力集群方案在生產(chǎn)環(huán)境中達(dá)到全球一線廠商的利用率水平，同時(shí)幫助客戶在千卡落地中節(jié)省成本上千萬元，在萬卡落地中節(jié)省數(shù)億元。
最早作為國內(nèi)早期創(chuàng)業(yè)孵化機(jī)構(gòu)奇績(jī)創(chuàng)壇的項(xiàng)目，基流科技目前為止已完成了天使輪到A輪的五輪融資，背后投資方有智譜、光速光合、華泰創(chuàng)新、招商局創(chuàng)投、中關(guān)村科學(xué)城、張江高科、水木清華校友基金、卓源亞洲、啟迪之星、國方創(chuàng)新等一眾機(jī)構(gòu)。據(jù)界面新聞了解，公司近期即將完成新一輪融資。一位投資人告訴記者，基流科技去年?duì)I收已經(jīng)破億。
創(chuàng)業(yè)之初，胡效赫對(duì)公司的定位是做“大模型時(shí)代的思科”。思科曾在互聯(lián)網(wǎng)產(chǎn)業(yè)崛起的過程中靠提供大量的網(wǎng)絡(luò)交換機(jī)、路由器設(shè)備，參與構(gòu)建了全球網(wǎng)絡(luò)基礎(chǔ)設(shè)施，基流科技則要在數(shù)據(jù)中心、國產(chǎn)通信網(wǎng)絡(luò)系統(tǒng)、高性能計(jì)算集群等AI基礎(chǔ)設(shè)施上發(fā)力。同時(shí)在此過程中，公司還計(jì)劃投入更多的研發(fā)創(chuàng)新和商業(yè)化推廣，建設(shè)國產(chǎn)供應(yīng)鏈以實(shí)現(xiàn)國產(chǎn)化替代目標(biāo)。
當(dāng)前，大火的AI infra賽道也已經(jīng)涌入了更多公司。胡效赫認(rèn)為，雖然各家切入創(chuàng)業(yè)的方向不同，技術(shù)與產(chǎn)品也有很大的差異，但隨著資本的涌入，競(jìng)爭(zhēng)加速，整個(gè)AI infra領(lǐng)域與兩年前相比發(fā)生了根本變化，“如果說2022年、2023年，AI infra的創(chuàng)業(yè)者還可以僅靠團(tuán)隊(duì)背景、技術(shù)拿融資，現(xiàn)在已經(jīng)到了要講商業(yè)化、講實(shí)際業(yè)務(wù)規(guī)模的階段。”