文 | 動脈網
2025年以來，Deepseek通過開放生態加速了算法研發與臨床場景的深度融合。醫療大模型摒棄了“技術至上”的思維，逐漸進入實用主義階段。作為AI應用最為深入的領域之一，醫學影像在大模型時代迎來了更快速的發展。
如何增強AI模型泛化能力？大模型幻覺問題如何解決？大模型多模態數據整合的難點及解決方案有哪些？動脈網與數坤科技首席技術官鄭超、透徹未來聯創兼首席技術官王書浩這兩位深耕醫療AI多年的專家們聊了聊，供行業參考。
本文主要觀點如下：
1、已覆蓋影像科全工作流程，解決病理三大泛化性挑戰
2、通過多維數據強化與模型迭代，提升AI泛化性能
3、RAG技術、模型優化多管齊下，破解幻覺困局
4、憑數據本地化控制特性，一體機成醫院部署主流選擇
5、未來趨勢：性能提升、多模態融合與全科化演變
大模型已深入醫生全工作流程
醫學影像人工智能模型在參數規模未達當前水平時便展現出了廣闊的應用前景，現已在影像科醫生的工作全流程中實現了常態化應用。而在輔助診斷專用模型之后，數坤科技在4月發布的“數坤坤多模態醫療健康大模型”，便實現了讓AI從輔助工具進化為診療生態的核心驅動力。
數坤科技首席技術官鄭超認為，醫學影像大模型將進一步向多模態精準診斷、個性化治療決策、手術規劃與預后模擬等潛力方向發展。而這也是數坤科技正在探索的方向。
在眾多應用場景中，因病理圖像具有非常大的多樣性，病理大模型也被認為是醫療模型“皇冠上的明珠”。為破解病理診斷準確性與效率難題，透徹未來研發了全球首個臨床應用級病理大模型產品——透徹洞察，基于億級參數量和海量高精度病理數據訓練，為病理醫生提供精準穩健、全面快速的病理臨床診斷輔助。
透徹未來聯合創始人兼首席技術官王書浩分享病理大模型的臨床應用價值，在于有效解決了病理領域長期面臨的醫院泛化性、癌種泛化性和病理任務泛化性挑戰。
以任務泛化性為例。病理診斷需同步完成病灶分割、細胞檢測、切片分類等多任務，傳統方法需部署數十個小模型，維護成本高。但大模型提出通用特征底座方案，預訓練病理切片的組織紋理、細胞排列等通用表征，使下游任務僅需微調即可完成，能夠極大簡化流程并提高診療效率。
強化數據與模型迭代，提升AI泛化性能
在臨床應用中，AI模型的泛化能力至關重要，是評估模型可靠性與穩定性、可遷移性的關鍵指標。然而，一些 AI 模型在受控的訓練環境中表現出色，一旦進入實際部署階段，其性能卻大打折扣。鄭超分析認為，影響模型泛化能力的主要原因主要有以下三點：
首先是數據多樣性不足。不同醫院的數據采集標準不同，不同設備的成像參數不一致，再加上不同人群在年齡、地域分布上的不均衡，使得模型在跨場景應用時泛化能力較弱，表現波動較大。
其次是模型自身存在局限性。如架構設計存在缺陷、訓練策略不夠合理等，都會影響模型輸出的穩定性和可靠性。
三是醫學數據本身的長尾性。在實際的臨床場景中，同一部位的不同疾病發病率并不相同，在收集數據時很難采集到足夠多的發病率較低的疾病數據。對于一些像存在掃描偽影等特殊情況的病例，同樣難以收集。因此訓練階段往往缺乏足夠的低質量樣本覆蓋，使得模型在一些真實環境下表現一般。
那么，我們該如何加強AI模型的泛化能力呢？受訪對象們認為可從以下三維度出發：
擴大數據樣本容量及其多樣性，提升模型在復雜場景下的特征提取穩定性；同時通過數據增強技術，模擬不同掃描設備、患者體位、病變階段的影像特征，來提升模型的泛化能力。
優化訓練模型。第一，提升模型容量，增加參數量以容納復雜多樣的數據特征，并采用更靈活的架構，提升對異構數據的建模能力；第二，改進訓練策略，設計針對性損失函數，如結合臨床指標的加權損失，同時利用獎勵機制引導模型學習關鍵特征；其三，防止過擬合，運用正則化、交叉驗證等技術，確保模型在訓練集外的穩定性。
在實際場景中持續迭代模型。企業可以通過在不同醫療環境（如三級醫院、基層醫院等）多場景部署模型，建立“部署-反饋-迭代”的閉環，提升模型在真實醫療環境中的穩定性。同時，要明確 AI 的能力邊界，由醫生對結果進行把關，確保結果的可靠性和安全性。
RAG技術、模型優化多管齊下，破解幻覺困局
隨著大模型在醫學領域的深入應用，幻覺問題成為制約其落地的障礙之一。產業界積極求解，提出了多種應對策略。
RAG（外部檢索增強生成）是減輕幻覺的重要技術路徑之一。它在大模型生成過程中引入外部知識庫，為模型提供可靠信息支持，無需介入模型訓練，即可提升生成內容的準確性和可信度。
但RAG也有其局限性，因此應用RAG需要特別注意以下三個要點：選擇合適的基座大模型，以確保模型在給定的資源和時間限制下能夠高效運行；動態更新知識庫內容，沒有高質量的場景知識庫，RAG便是無源之水，減輕幻覺便無從談起；選擇合適的檢索技術，更充分地利用場景知識庫，為大模型召回更匹配的語言片段，使得生成所需信息時更為準確。
生成式+判別式AI優勢互補，協同交互驗證。王書浩提出了生成式與判別式AI協同的解決方案。他指出，生成式AI通過模擬“輸入-輸出”的聯合分布生成答案，但開放性問題無唯一解，模型可能輸出自相矛盾或脫離現實的內容。
其解決方法在于生成式與判別式 AI 的協同應用。具體而言，對于如醫療診斷等關鍵決策場景，應采用判別式 AI，限定輸出范圍（如從預定義的腫瘤類型標簽中選擇），避免開放性答案帶來的不可控風險。而在需要探索的場景，如科研假設生成，可使用生成式 AI，但宜采用“選擇題+自由發揮”的混合模式，先通過選擇引導方向，再進行自由發揮，以降低幻覺風險。
通過模型改進來增強大模型的推理和驗證能力。鄭超分享到，數坤科技希望探索統一的多模態模型架構，整合影像、文本等多源數據，降低訓練成本與復雜性，使模型能夠基于跨模態的全局理解生成結果。
同時，采取多層次技術策略應對幻覺問題：一方面通過“輸出對齊”技術，讓模型在低置信度時主動聲明不確定性或請求補充信息；另一方面引入醫學思維鏈訓練，要求模型分步推理并自我驗證，確保答案有據可依。鄭超也提到，在復雜醫療場景中也可采用“判別式+生成式”模式，先用判別式判斷疾病類型，再用生成式進行個性化說明，為診斷決策提供高效且安全的支持。
可以看到，盡管大模型幻覺問題短期內難以徹底解決，但通過技術迭代與多學科協作，其可靠性正在穩步提升。
一體機成為當前醫院部署主流選擇
在人工智能技術融入醫療場景的關鍵進程中，大模型的部署模式成為釋放技術效能的核心要素。當前，本地部署憑借在數據隱私保護與合規性方面的天然優勢，成為眾多醫院的首選方案。
王書浩指出，本地部署主要分為兩種類型：純圖像大模型和通用大模型。
其中，純圖像大模型通過工程優化后，可在家用級GPU上運行，展現出強大的適配性和靈活性；而通用大模型則需要利用大量本地數據進行微調，以適應專業診斷需求。一體機作為一種融合性的解決方案，它巧妙結合了通用大模型和專用醫療大模型的優勢，為醫院提供了全方位的技術支持，滿足了多樣化的醫療場景需求。
鄭超補充道，從實際落地情況來看，一體機憑借其數據本地化控制的特性，成為了當前醫院部署的選擇主流。在院內私有化環境中，一體機將硬件、基礎支撐軟件與大模型集成為一體，有效滿足了國內醫院對數據隱私和合規性的高要求。在單科室或區域級醫院的非核心場景中，部署通用大模型的一體機展現出一定價值，例如自動生成病歷摘要、整理結構化報告等，為醫療流程的優化提供了幫助。
然而，在綜合診斷、病理邏輯推演等要求極高的精準醫療任務中，只部署通用大模型的一體機的醫學專業能力短板就非常明顯。此外，一些設計不足的一體機的擴展存在瓶頸，也限制了其在更廣泛場景中的應用。因此選擇具備橫向擴展能力的一體機，才能夠在更長遠的時間內勝任全院級多模態數據的協同分析，這也是醫療機構在選擇一體機時的一個重要考量因素。
此外，公有云部署方式以其彈性算力供給和跨機構數據協作的優勢，也展現出了獨特的靈活性。在在線問診、遠程會診等場景中，公有云能夠快速調配資源，滿足不同醫療機構的實時需求。然而，其在數據隱私和合規性方面的風險不容忽視。
未來趨勢：性能提升、多模態融合與全科化演變
最后，我們來談一下大模型未來的發展趨勢。
當下醫療大模型在性能層面已逐步超越傳統小模型。王書浩提到，以影像領域為例，其在確保敏感度達到 100% 的前提下，能顯著提升特異性，這一優勢使其應用范圍持續拓展。原本僅適用于三四千家醫院的模型，如今已成功推廣至超萬家醫院。隨著模型的應用與數據積累，其性能有望進一步優化，為更多患者提供優質醫療服務。
醫學應用正朝著多模態融合的方向發展。鄭超觀察到，過去，影像、文本等大模型各自獨立，如今逐漸走向整合。多模態大模型能夠融合不同類型的醫療數據，為醫生提供更全面的患者病情信息，不僅提升了診斷的準確性，還為個性化治療方案的制定提供了有力依據。
大模型正朝著全科化的方向演變。鄭超將其比作數字化“全科醫生”，不再局限于某一專科領域，能夠綜合患者的檢查檢驗結果、影像、病理等多維度診療信息，提供綜合診斷與治療建議。
同時，他也提到，醫療數據的不斷積累，尤其是完整患者數據的收集，將為大模型的訓練提供更豐富、更全面的素材，進一步提升模型的性能和準確性。盡管數據稀疏性和長尾性等問題會給模型訓練帶來一定的挑戰，但通過不斷優化算法和模型結構，以及對數據進行更深入的挖掘和分析，未來將逐步克服這些困難，實現更廣泛的應用和更完善的解決方案。