界面新聞記者 | 李京亞

距離谷歌推出自己的最強大模型Gemini已將近一周時間，不少國內AI公司都在試圖探究，這款大模型到底具有多大的威力。

和此前業內推出的很多大模型不同，谷歌Gemini此次繞開了文字環節，直接靠視覺和聲音來理解世界，盡管其現場演示demo曾涉嫌造假和過分夸大能力。

為了了解Gemini的出現會對OpenAI以及其他AI公司產生何種影響，界面新聞近日走訪了多家頭部生成式AI公司的業務負責人及開發者，他們認為Gemini的最大特色便是“原生”的多模態大模型。

“理論上說，原生多模態比‘拼接’多模態大模型效果更好，因為后者在訓練階段極易遇到瓶頸?！毖h智能的AI負責人陳虞君告訴界面新聞記者，由于目前還未深度使用過，Gemini的實際優勢有待進一步了解。

多位大模型初創開發人員表示，即便Gemini系列最大尺寸的Ultra尚未正式推出，Gemini已經在文本方面展示出和GPT-4同水準的能力。

在Gemini的演示視頻中，這個大模型仿佛可以實時觀察人類的行為，并給予反饋，例如可以完美描述出一只鴨子從草圖到填色的過程；可在換杯游戲中追蹤紙團，輔助進行數學、物理的解題；能夠辨別手勢，做課堂動手類游戲互動，還可以重新排列行星草圖。

開發者們普遍認為，無論造假成分幾何，Gemini已經展現出較強的理解、推理、創作和實時互動能力，實現了對OpenAI多模態模型GPT-4v的全面超越。谷歌的回應也基本被業界所接受，“所有用戶提示和輸出都是真實的，只是為了簡潔起見進行了縮短?！?/span>

三個月前OpenAI低調發布的GPT-4v能做多模態任務，例如理解和圖像生成，但效果并不太好，并且，其關鍵的推理能力是和其他模型配合完成。而抽象推理能力本身，是大模型最為關鍵的能力。

企業級生成式AI平臺猴子無限CEO尹伯昊對界面新聞解釋稱，GPT-4v和Gemini是基于兩種完全不同的訓練邏輯，“GPT-4v它是一個近視眼，看東西不清楚，因此性能也不好，是典型的外掛式方案。Gemini則是把多個模態混合在一起訓練?！?/span>

但在一位多模態大模型公司算法負責人看來，Gemini應該還沒有全面超越GPT-4，“在評測時，GPT-4和Gemini在文本生成上沒有完全形成公平對比。”

另有不少網友實測表示，Gemini Pro在以圖搜物和精準搜圖方面的能力吊打了GPT-4。對于這一情況，追一科技CTO劉云峰認為，谷歌的搜索業務天然具有文字和其他模態對齊的數據，確實更利于訓練原生多模態大模型。

谷歌在人工智能領域的任何大動作都會解鎖市場的新興探索方向，但在Gemini發布之前，AI模型全面多模態化趨勢已日漸明朗。

早在3月GPT-4發布之初，OpenAI就表示將在該次迭代中加入多模態整合。9月開始，Runway、 Midjourney、Adobe和Stability AI等明星公司陸續有多款多模態產品問世。

國內方面，百度的文心大模型4.0在跨模態文生圖領域有明顯進展，國內公開融資最高的大模型初創智譜AI，其生成式AI助手智譜清言在視覺領域頗具優勢。 

多位開發者都告訴界面新聞，多模態大模型是行業內公認的明確發展方向，不會因為谷歌的大動作而“幡然醒悟”，但Gemini的到來會刺激國內公司加速研發。前述多模態大模型公司算法負責人也指出了Gemini的局限性，“其在圖像生成上的能力以及視頻生成、圖像生成上面的參考意義有限?！?/span>

就目前來看，還很難得出Gemini全面超越GPT-4的結論，但谷歌成為OpenAI的最強對手已是不爭的事實。其也用Gemini證明了一個道理：任何多模態大模型都必須依賴大語言模型的訓練過程，才能實現真正的多模態AI。