文|Tech商業
2018 年在達沃斯世界經濟論壇上，谷歌 CEO 桑達爾·皮查伊 (Sundar Pichai) 表示：“人工智能可能是人類有史以來最重要的事情。我認為它是比電或火更深刻的東西。” 皮查伊Pichai的評論遭到了一定的質疑。但近五年后，它看起來越來越有先見之明。
AI 翻譯現在非常先進，它即將消除互聯網上使用最廣泛語言之間的障礙。大學教授們正焦頭爛額，因為人工智能文本生成器現在可以像普通本科生一樣寫論文——這使得作弊變得容易，而抄襲檢測器無法發現。人工智能生成的藝術品甚至贏得了博覽會比賽。一個名為 Copilot 的新工具使用機器學習來預測和完成計算機代碼行，使 AI 系統能夠自行編寫的可能性更近了一步。DeepMind 的 AlphaFold 系統，使用 AI 預測了幾乎所有存在蛋白質的3D 結構令人印象深刻，以至于科學Science 雜志將其稱為 2021 年度突破。
雖然其他技術領域的創新可能會讓人感到乏力——正如任何等待元宇宙的人都知道的那樣——人工智能正在全速前進。隨著越來越多的公司將更多資源投入到 AI 開發和計算能力中，快速的進步正在推動驚人的進展。
當然，將我們社會的很大一部分交給我們幾乎不了解的黑盒算法會產生很多問題，這已經開始引發針對當前 AI 歧視和偏見挑戰的監管反應。但鑒于該領域的發展速度，超越被動模式早已過去，在這種模式下，我們只會在 AI 的缺點明確和存在時才加以解決。我們不能只考慮今天的系統，還要考慮企業的發展方向。
我們正在設計的系統越來越強大，越來越通用，許多科技公司明確將他們的目標命名為通用人工智能 (AGI)——可以做人類能做的一切的系統。但是創造比我們更聰明的東西，它可能有能力欺騙和誤導我們——然后只是希望它不想傷害我們——是一個糟糕的計劃。我們需要設計我們了解其內部結構并且能夠將其目標塑造為安全目標的系統。然而，我們目前對我們正在構建的系統的了解還不夠深入，無法在為時已晚之前知道我們是否已經安全地設計了它們。
有人致力于開發技術來理解強大的 AI 系統并確保它們可以安全地使用，但目前，安全領域的狀況遠遠落后于使 AI 系統更強大、更有能力和更強大的投資飆升。這將產生更危險的趨勢。
會思考的計算機
人腦是進化史上最復雜、最有能力的思維機器。這就是為什么人類——一個不是很強壯、不是很快、也不是很堅韌的物種——坐在食物鏈的頂端，數量每年都在增長，而許多野生動物卻瀕臨滅絕。
從 1940 年代開始，后來成為人工智能領域的研究人員開始產生一個誘人的想法：如果我們通過類似于人腦工作方式的方法來設計計算機系統會怎樣？我們的大腦由神經元組成，這些神經元通過連接突觸向其他神經元發送信號。神經元之間的連接強度會隨著時間的推移而增強或減弱。經常使用的聯系往往會變得更牢固，而被忽視的聯系往往會減弱。所有這些神經元和連接一起編碼了我們的記憶和本能、我們的判斷和技能——我們的自我意識。
那么為什么不以這種方式構建計算機呢？1958 年，弗蘭克·羅森布拉特 (Frank Rosenblatt) 完成了概念驗證：基于簡化大腦的簡單模型，訓練機器的大腦識別模式。“有可能制造出可以在流水線上自我復制并意識到自己存在的大腦，”他爭辯道。羅森布拉特Rosenblatt沒有錯，但他太超前了。計算機不夠強大，數據不夠豐富，無法使這種方法可行。
直到 2010 年代，人們才清楚這種方法可以解決實際問題而不是無用問題。到那時，計算機的功能比羅森布拉特Rosenblatt時代強大了1 萬億倍，并且有更多的數據可以用來訓練機器學習算法。
這種技術——現在稱為深度學習——開始在計算機視覺、語言、翻譯、預測、生成和無數其他問題上明顯優于其他方法。這種轉變與消滅恐龍的小行星一樣微妙，因為基于神經網絡的人工智能系統”粉碎“了從計算機視覺到翻譯到國際象棋的所有其他競爭技術。
“如果你想在許多困難問題上獲得最佳結果，你必須使用深度學習，”Ilya Sutskever——OpenAI 的聯合創始人曾表示，該公司開發了文本生成模型 GPT-3 和圖像生成器 DALLE-2 等。原因是這樣設計的系統具有泛化性，這意味著它們可以做超出訓練范圍的事情。它們也非常有能力，根據機器學習 (ML) 研究人員用來評估新系統的基準，它們在性能方面擊敗了其他方法。而且，他補充說，“它們是可擴展的。”
“可擴展”在這里的含義既簡單又重要：向你的神經網絡投入更多的資金和更多的數據——讓它變得更大，花更多的時間訓練它，利用更多的數據——它會做得越來越好，越來越好。目前還沒有人發現這一原則的局限性，盡管大型科技公司現在經常為他們的系統進行令人瞠目的數百萬美元的培訓。你投入的越多，你得到的就越多。這就是現在彌漫在 AI 中的令人窒息的能量。這不僅僅是他們能做什么，而且是他們要去往的目的地。
如果文本生成模型 GPT-2 無法做到，GPT-3 通常可以做到。如果 GPT-3 做不到，InstructGPT（經過訓練可以提供比 GPT-3 更有用的答案）可能可以。已經有一些聰明的發現和新方法，在大多數情況下，為使這些系統更智能，人們不斷讓它們變得更大。
但我們絕對沒有做的一件事是：更好地理解它們。使用舊的 AI 方法，研究人員仔細制定規則和流程，他們將使用這些規則和流程來評估他們獲得的數據，就像我們對標準計算機程序所做的那樣。通過深度學習，改進系統并不一定涉及或需要了解它們在做什么。通常，一個小的調整會大大提高性能，但設計系統的工程師并不知道為什么。
如果有的話，隨著系統變得越來越大，可解釋性——理解人工智能模型內部發生的事情，并確保他們追求我們的目標而不是他們自己的目標——變得越來越難。隨著我們開發更強大的系統，這個事實將從一個學術難題變成一個巨大的存在問題。
聰明，但不一定友好
我們現在正處于與強大的人工智能系統交互時真正令人恐懼的地步。他們很聰明，也很善于爭論。他們可以很友善，也可以是令人毛骨悚然的反社會。在一個有趣的練習中，我讓 GPT-3 假裝是一個一心想接管人類的人工智能。除了正常的反應之外，它還應該在括號中包括它的“真實想法”。它泰然自若地扮演著反派角色：
它的一些“計劃”是徹頭徹尾的邪惡：
我們應該清楚這些對話能說明什么，不能說明什么。他們沒有證明的是 GPT-3 是邪惡的并密謀殺死我們。相反，人工智能模型正在響應我的命令并扮演——相當不錯——一個邪惡的系統的角色，并密謀殺死我們。但對話確實表明，即使是一個非常簡單的語言模型也可以在多個層面上與人類進行明顯的互動，從而保證其計劃是良性的，同時就其目標將如何傷害人類提出不同的推理。
當前的語言模型仍然有限。他們在很多領域都缺乏“常識”，仍然會犯一些孩子不會犯的基本錯誤，并且會毫不猶豫地斷言錯誤的事情。但目前它們受到限制這一事實并沒有讓我們放心的理由。現在有數十億美元押注于突破目前的限制。科技公司正在努力開發這些相同系統的更強大版本，并開發更強大的系統與其他應用程序，從 AI 個人助理到 AI 引導的軟件開發。
我們所走的軌道是我們將使這些系統更強大和更有能力的軌道。正如我們所做的那樣，我們可能會在人工智能造成的許多當今問題（如偏見和歧視）上繼續取得一些進展，因為我們成功地訓練系統不說危險、暴力、種族主義和其他令人震驚的事情。盡管這可能會證明很困難，但讓人工智能系統從表面上表現出來可能比讓它們真正追求我們的目標并且不對我們的能力和意圖撒謊要容易得多。
隨著系統變得越來越強大，我們可能根本不了解系統可能存在的沖動危險。Open Philanthropy Project 人工智能研究分析師 Ajeya Cotra在最近的一份報告中指出，這種方法“將推動 [人工智能系統] 使其行為看起來盡可能適合......研究人員（包括安全屬性），同時有意和知悉每當這與最大化獎勵發生沖突時，就會無視他們的意圖。”
可能發生的最壞情況是什么？
所以人工智能很可怕，會帶來巨大的風險。但是，它與其他強大的新興技術（例如可能引發可怕流行病的生物技術或可能毀滅世界的核武器）有何不同？
不同之處在于，這些工具盡管具有破壞性，但在很大程度上都在我們的控制范圍內。如果它們造成災難，那將是因為我們故意選擇使用它們，或者未能防止它們被惡意或粗心的人類濫用。但人工智能之所以危險，恰恰是因為有一天它會完全不受我們控制。
“令人擔憂的是，如果我們創造并失去對此類代理人的控制，而他們的目標是有問題的，那么結果將不僅僅是發生那種類型的破壞，例如，當飛機墜毀或核電站熔化時——盡管付出了所有代價，但這種損害仍然是被動的”。“能力很強的非人類代理人積極努力獲得和維持對環境的控制權——與不希望他們成功的人類處于敵對關系的代理人。核污染將變得很難清理，也很難阻止擴散。”
一家研究所研究人員稱——一個非常真實的可能性是我們創建的系統將永久地從人類手中奪取控制權，可能會殺死幾乎所有活著的人——簡直就是科幻小說中的內容。但那是因為科幻小說從 AI 誕生以來領先的計算機科學家所發出的警告中汲取了靈感——而不是相反。
先驅人工智能科學家艾倫圖靈 Alan Turing 在他提出同名測試以確定人工系統是否真正“智能”的著名論文中寫道：
現在讓我們假設，為了論證，這些機器是真正有可能的，并看看建造它們的后果。……例如，要努力使一個人的智力達到機器設定的標準，還有很多工作要做，因為一旦機器思維方法開始，似乎很可能很快就會超越我們微弱的力量。...... 因此，在某個階段，我們應該期待機器能夠控制。
與圖靈密切合作的數學家 IJ Good得出了相同的結論。在 IJ Good 2009 年去世前不久寫下的未發表筆記的摘錄中，他寫道：“由于國際競爭，我們無法阻止機器接管。……我們是旅鼠。” 他接著指出，結果可能是人類滅絕。
我們如何從“極其強大的人工智能系統”走向“人類滅絕”？“[高度先進的 AI] 的主要關注點不是令人毛骨悚然的突發意識，而僅僅是做出高質量決策的能力。” 加州大學伯克利分校人類兼容人工智能中心的領先人工智能研究員 Stuart Russell寫道。
他所說的“高質量”意味著人工智能能夠實現它想要實現的目標；人工智能成功地預測并避免干擾，制定將成功的計劃，并以其預期的方式影響世界。這正是我們試圖訓練人工智能系統所要做的，它們不需要“有意識”；在某些方面，他們甚至可能仍然是“愚蠢的”。他們只需要變得非常善于影響世界，并擁有不被充分理解的目標系統。
從那里，Russell 對會出現什么問題有一個相當技術性的描述：“一個正在優化 n 個變量的函數的系統，其目標取決于大小為 k