文｜巴比特資訊  

你還在感嘆生成式AI 帶來的革命性改變？感嘆 GPT-4 的強大？還在猜測 GPT-5 會有哪些新功能？OpenAI 已經看到了更遠的地方，而且已經在行動。

OpenAI團隊昨天發布了他們的最新動向，成立了一個新團隊 Superalignment，由 Ilya Sutskever（OpenAI 聯合創始人兼首席科學家）和 Jan Leike（對齊負責人）共同領導。這是一個關于超級智能（Superintelligence）的團隊，專注于超級智能對齊問題研究。OpenAI 聲稱將在未來四年內將 20% 的計算資源用于解決超級智能對齊問題，足以見得 OpenAI 的重視程度。

什么是超級智能（Superintelligence）？

超級智能是指一種擁有超越人類智能的智能系統，它不僅僅是簡單的計算機程序，而是一個智能體，具有認知能力、情感能力、自我意識和意圖等特征，能夠獨立思考、判斷和決策，甚至在一定程度上能夠超越人類的智能。超級智能的概念是相對于目前的人工智能系統而言的，它是指一種更加先進的人工智能，能夠在更廣泛的領域和復雜環境中應用。

目前，超級智能仍然是一個理論上的概念，尚未被實現。實現超級智能需要解決許多技術上的問題，包括機器學習、自然語言處理、計算機視覺、推理和決策等方面的挑戰。另外，超級智能的出現也會帶來許多倫理、社會和政治等方面的問題，如超級智能的控制權、安全和隱私等問題。

超級智能是一種令人興奮和引人注目的概念，因為它能夠在各個領域產生各種重要的應用，比如醫療診斷、新藥研發、智能交通、自動化生產和安全防御等。同時，超級智能也具備一些風險和挑戰，如果失去控制，可能會對人類帶來巨大的威脅。

實現超級智能需要解決許多技術上的問題。其中最重要的問題之一是如何讓智能系統擁有自主學習的能力，即不斷從數據和經驗中學習新知識和技能，從而不斷提高自己的智能水平。同時，超級智能還需要具備強大的推理、決策和創新能力，能夠自主思考和解決各種復雜問題。

“當我們接近超級智能時”，我們需要更多地考慮人工智能的存在風險。——扎克伯格

超級智能將在十年內成為現實？至少 OpenAI 如此認為

OpenAI認為，超級智能將是人類發明的最具影響力的技術，可以幫助我們解決世界上許多最重要的問題。 但超級智能的巨大力量也可能非常危險，并可能導致人類喪失權力，甚至導致人類滅絕。雖然超級智能現在看來還很遙遠，但我們相信它可能在十年內實現。

如何解決超級智能存在的風險？

超級智能雖然能量巨大，但風險同樣巨大。OpenAI表示，管理這些風險將需要新的治理機構并解決超級智能協調的問題，即如何確保人工智能系統比人類聰明得多但同時還能遵循人類意圖？

OpenAI并沒有給出答案，他們認為人類目前無法可靠地監督那些比人類還聰明的人工智能系統，當前的對齊技術無法擴展到超級智能，因此需要尋求新的科學技術突破。

不過，OpenAI解決超級智能對齊問題的路徑已經很明確，即建立一個大致達到人類水平的自動對齊研究員，提高人工智能系統從人類反饋中學習并協助人類評估人工智能的能力。 目標是建立一個足夠對齊的人工智能系統，可以幫助我們解決所有其他對齊問題。

在去年，OpenAI 已經發布一篇闡明他們關于對齊研究路線的博文：

https://openai.com/blog/our-approach-to-alignment-research

OpenAI 的新團隊 Superalignment 這個團隊將由頂尖機器學習研究人員和工程師組成的團隊，目標是在四年內解決超級智能對齊的核心技術挑戰，包括開發新方法到擴大規模再到部署。

OpenAI首席科學家 Ilya Sutskever已經將超級智能對齊問題作為核心研究重點。超級智能對齊從根本上來說是一個機器學習問題，OpenAI 正在招募優秀的機器學習專家。

參考資料：https://openai.com/blog/introducing-superalignment