中國人民大學科學研究處、中國人民大學信息資源管理學院：錢明輝、楊建梁
在新一代人工智能加速演進的過程中，數據不再只是信息的原料，更成為驅動智能系統持續進化的“第一性資源”。如果算法構成了智能大腦的結構框架，那么數據則是決定其認知邊界與價值取向的核心要素。厘清數據與數據集之間的關系，明確不同類型數據集的結構特征與應用場景，并深刻認識其在模型訓練、系統部署和技術治理中的作用，已成為智能時代基礎能力體系構建的重要起點。從單點采集到結構組織，從模型輸入到系統輸出，數據的價值正在從底層積累中持續釋放，推動人工智能從感知智能向認知智能穩步邁進。
相關閱讀：
知識蒸餾與數據萃取：開發人工智能訓練所需的“動態食譜”與“黃金食材”
一、數據之內涵：似曾相識的概念體系
在人工智能工程體系中，“數據”已不再是單一的信息元素，而是構成整個智能系統認知能力的基礎單元，其內涵也演化為一套涵蓋采集、組織、建模、流通等多個層面的系統性術語體系。要實現對數據資產的高效構建與科學治理，首要任務是厘清與數據相關的一系列似是而非的概念，搭建起有邏輯、有層次的數據工程認知框架。
數據的生成始于對現實世界的感知，它通常來自傳感器、用戶輸入、網絡行為等等，是智能系統進行分析和推理的原始素材。數據源指的就是這些信息的獲取通道，既包括線下的物理設備，也涵蓋各種類型的線上系統和平臺。隨著數據的生成，元數據也隨之形成——它記錄了數據的屬性、格式、時間、來源等信息，是實現數據管理和追蹤的基礎性工具。
原始數據只有經過組織和處理，才能真正為人工智能所用。數據集是在特定目標下，對數據進行清洗、標注與分類后形成的集合，是各類人工智能模型訓練和測試的基本資源。而數據庫則主要用于支持日常業務，強調結構化存儲與高效查詢，常用于實時交互與信息系統之中。相比之下，數據倉庫更偏向于戰略分析，它通過整合不同來源的數據，采取預先定義模式（Schema-on-Write）來展開固定分析，支撐企業級的長期決策。數據湖是集中存儲海量原始格式（結構化、半結構化、非結構化）數據的存儲系統，采取按需定義模式（Schema-on-Read），可以支持多樣分析場景。
為了讓系統“理解”這些數據，就需要構建邏輯結構。數據模型用于描述數據之間的關系，是數據庫、數據倉庫得以運行的底層設計。隨著數據資產的增長，數據目錄成為數據管理中的關鍵性工具，它就像“數據地圖”，幫助用戶快速檢索、調用與管理數據資源。
數據不僅需要存儲和建模，還要能在不同系統間高效流通。數據接口起到連接作用，確保各平臺間的數據交換順暢無阻。在網絡傳輸過程中，信息通常被打包為多個數據包進行傳輸，以提升傳輸效率與穩定性。貫穿整個流程的數據流，則體現了數據從采集到應用的動態路徑，是實現實時處理與邊緣計算的核心機制。
伴隨著數據在生成、組織、管理與流通各環節中的角色不斷躍升，其本質也從傳統信息資源逐步轉化為具有戰略價值的關鍵要素。數據資產的內涵正是如此：它是企業或組織擁有或控制的、具備經濟價值的數據資源，能夠通過算法分析、智能應用或市場交易等方式轉化為可度量的現實效益。與傳統資產相比，數據資產展現出可審計、可運營、可變現的獨特特征，不僅成為算法能力的輸入源，更是推動智能系統持續演進的“引擎”。
總的來說，這些概念共同構成了現代數據體系的技術底座。從數據的感知采集到系統中的組織、建模、傳輸與調度，每一個環節都不可或缺。它們不僅保障了人工智能系統的運行效率與決策能力，更為數據集的高質量構建、規范管理與價值釋放奠定了堅實基礎，是推動AI系統實現從“算法驅動”走向“數據牽引”的關鍵支撐力量。
表1 數據相關概念解析
二、數據集類型：多元視角的分門別類
在人工智能應用日趨精細化與多元化的背景下，數據集的類型劃分早已超越“結構化與否”的傳統維度，轉而呈現出更加立體化的分類邏輯。理解不同類型數據集的特點與適用場景，不僅是高質量數據工程的前提，也是在實際部署中實現人工智能模型精度與效率雙提升的關鍵。
從數據結構的組織方式來看，數據集可分為結構化、半結構化與非結構化三類。結構化數據集以嚴格對齊的二維表結構為核心（如關系型數據庫表、CSV文件），典型如金融交易流水表或企業訂單記錄，可直接通過SQL進行管理；半結構化數據集以動態標簽或鍵值對為核心（如JSON日志、XML配置文件），需解析嵌套字段（如使用Spark處理物聯網設備時序日志），適用于網頁爬取或靈活存儲場景；非結構化數據集則以無格式約束的原始文件為主體（如醫療影像、語音錄音、文本語料），依賴CV/NLP等技術提取特征（如ResNet處理圖像、BERT分析文本）。另外，在實際場景中時常存在多類型混合的形態，如自動駕駛數據集一般包含相互映射的結構化的和非結構化的數據。
按數據模態領域劃分，數據集可包括數值類、文本類、圖像類、音視頻類、空間數據類、圖結構類和多種模態混合類。數值類數據集是結構化數據的典型形式，通常來源于傳感器讀數、財務報表、用戶行為日志等，廣泛應用于金融風控、工業預測、醫療監測等場景。例如，在智能電網系統中，通過歷史功率數據集可以實現對能源負荷的精確預測。文本數據集支撐自然語言處理任務，如情感分析、問答系統、法律文本生成，常見語料包括中文維基百科、司法判決文書。圖像數據集是計算機視覺的核心資源，多應用于醫學診斷、工業檢測、交通識別等領域，如COCO和ChestXray數據集。音視頻數據集用于訓練語音識別、多模態感知系統，如語音助手、視頻摘要等應用場景。地理空間數據集包含位置、軌跡與空間分布信息，是智慧城市、自動駕駛等系統的重要支撐，如遙感圖像、GPS路徑數據。圖結構數據集則以節點與邊表示實體關系，服務于知識圖譜、社交網絡、推薦系統等任務，是AI實現邏輯推理與關系理解的關鍵。此外，還有一些數據集是融合文本、圖像、音頻、視頻、結構化數據等的多模態混合類數據集，用于支撐復雜任務中的跨模態感知與理解，如視覺問答、圖文生成、人機對話等復合應用場景。這類數據集的建設不僅對數據融合技術提出挑戰，更成為推動大模型多模態能力突破的關鍵基石。
從時間特性來看，數據集可劃分為時序數據集與靜態數據集。其中，時序數據集強調時間連續性，適用于預測與動態建模，如傳感器監控、股市行情、氣象變化等；靜態數據集則是由捕捉某一時點的信息快照構成，常用于圖像識別、人臉比對、城市建模等靜態任務。此外，依據人工智能模型訓練流程的不同階段，數據集還可分為訓練集、驗證集與測試集三類。訓練集用于模型學習和參數擬合，是模型能力形成的核心數據基礎；驗證集在訓練過程中用于參數調優與性能監控，幫助提升模型的泛化能力；測試集則承擔最終評估職責，用于檢驗模型在真實場景中的適應效果。三者共同構成AI模型從訓練到部署的閉環體系。
不難看出，數據集已從傳統的“數據集合”概念，演化為驅動人工智能系統構建、訓練、部署、進化的基礎性資源。無論是支撐AI模型能力提升，還是實現行業應用落地，選擇適配場景的數據集類型，構建科學合理的數據結構，都是人工智能工程中不可或缺的基礎環節。不同類型的數據集服務于不同的AI需求，其背后反映的是從數據原料到智能系統之間日益緊密的耦合關系。
三、數據集意義：人工智能的首要資源
數據集作為人工智能系統演化的基礎載體，其作用早已超越“訓練材料”的初級定位。數據集不僅是人工智能系統的輸入資源，更是其能力構建、價值表達與生態擴展的核心基礎。從模型學習到產業落地，從技術突破到治理進化，數據集的作用貫穿于人工智能發展的全鏈條，是推動當前人工智能技術范式持續演進的關鍵變量，其系統意義體現在以下五個層面：
一是支撐智能算法演進，構建AI模型能力的成長基座。數據集是人工智能模型從“零認知”走向“類智能”的第一步。質量可靠、標注精確、覆蓋廣泛的數據樣本，為神經網絡提供了充足的學習素材，使模型得以從基礎感知任務逐步跨越到復雜的語言理解、視覺推理與行為預測。同時，結構合理的數據集還能有效減少過擬合，提高模型的泛化能力，是保障算法穩定性與可擴展性的核心抓手。
二是加速技術應用落地，提供系統適配現實的轉換接口。無論是語音助手、自動駕駛，還是醫療診斷、金融風控，人工智能的系統部署無一不依賴于高質量、場景對齊的數據集作為輸入支撐。語音識別系統需要真實用戶口音語料，自動駕駛算法必須依托各類交通場景圖像進行泛化訓練，醫學輔助系統則高度依賴高分辨率影像與專家標注的病例信息。數據集不僅幫助算法理解現實，更是技術能否走出實驗室、服務實際場景的決定性因素。
三是連接科學技術產業（STI），構建持續協同創新的生態紐帶。標準化、開放化的數據集極大降低了算法研發門檻，使得企業可以快速驗證模型方案，研發機構也能借助真實世界數據開展落地研究。比如，SQuAD文本問答集、Kaggle平臺的產業數據集，都在推動AI生態系統”的跨界創新與人才成長方面發揮了深遠影響。同時，企業私有數據的專業深度與科研開放數據的通用廣度也形成了互補關系，共同構建了人工智能領域的“雙循環”創新機制。
四是保障系統公正可控，鑄就算法合規治理的技術前提。人工智能系統的價值輸出，最終取決于其背后的數據輸入。因此，構建多樣來源、結構透明、價值對齊的數據集，成為AI系統可持續演化的道德基礎與治理前提。例如，在司法文書生成、教育內容推薦、金融風控評估等場景中，數據集是否涵蓋不同族群、文化背景與行為特征，將直接影響系統的公平性與可信度。標準化的數據質量評估機制與數據脫敏處理流程，正在成為AI倫理提升與合規治理的重要抓手。
五是激發技術創新動能，成為智能瓶頸突破的高效燃料。高密度、高覆蓋的數據集不僅提升了模型訓練的效率，更孕育了眾多新的研究方向與方法變革。遷移學習、預訓練大模型、對比學習、數據蒸餾等新范式的誕生，背后都離不開經過規范治理的大規模數據資源的支撐。反過來，模型能力的提升也能夠反向推動數據集建設從簡單積累轉向結構重塑，促成“模型與數據”雙向驅動的良性閉環。
“聚沙成塔”不僅是對數據量級的比喻，更是對認知演化過程的真實寫照。每一個精心構建的數據集，都是人類知識、經驗價值的凝結體，是智能系統走向可信、可控、可持續的基礎單元。從感知、建模到決策，從單一任務到通用智能，從孤立工程到系統治理，一路走來，數據集的角色不斷被認識、被重塑、被強化，正在從人工智能開發的輔助工具躍升為智能體系進化的核心要素。當數據成為戰略資產，數據集的建設與治理將決定AI社會演化的軌跡與速度。唯有以系統性思維構建數據體系，持續提升價值對齊度、知識密集度與業務響應度，才能真正讓人工智能從“能用”走向“好用”，從“看得見”走向“信得過”。未來的AI塔尖，將由今天每一粒數據沙粒筑成。
基金項目：國家社會科學基金重點項目“基于數智融合的信息分析方法創新與應用”；國家檔案局科技項目“基于生成式人工智能的檔案數據化關鍵方法及其應用研究”。
致謝：感謝中國人民大學信息資源管理學院應芷安博士后在本文完成過程中所提供的資料收集與整理支持。
