讓AI與人類的價值觀保持一致，怎么就這么難？

幾十年以來，我們一直在努力按自己的形象開發出人工智能。在此期間，我們也始終致力于創造一種既像人類一樣睿智、又像人類一樣愚蠢的機器。

但經過六十年的研發，讓AI系統在目標、意圖與價值觀層面與人類保持統一，仍是個遙不可及的目標。AI幾乎已經在各個主要領域達到與人類智能相近、甚至更高的水平，但又總是在最核心的范疇內有所欠缺。正是這種欠缺，導致AI技術無法成為我們所期望的、真正擁有更改及行事邏輯的智能主體。

程序員兼研究員Brian Christian在最新著作《機器學習與人類價值觀之間的一致性問題》（The Alignment Problem: Machine Learning and Human Value）當中，討論了我們該怎樣確保AI模型能夠捕捉到“我們的規范與價值觀，理解我們的意思或意圖，并據此做出優先級判斷”這一現實挑戰。近年來，隨著機器學習應用范圍的逐步推廣，在實際領域中做出錯誤決策很可能帶來災難性的后果。正是這樣的背景，讓Christian提出的問題變得愈發緊迫。

根據Christian所述，“隨著機器學習系統的日益普及與功能的逐步增強，我們開始變得像「新手巫師」——我們掌握著一種具有自主性的力量，我們似乎可以用指令引導這種力量，但如果指示不夠準確或不夠完整，就有可能引發某些可怕且超出意料的后果。”

在書中，Christian全面描述了人工智能的現狀以及整個發展歷程，同時探討了現有AI創建方法的種種缺陷。

下面來看書中的幾大要點。

機器學習：將輸入映射至輸出

在AI研究的前幾十年中，符號系統在解決以往涉及邏輯推理的復雜問題時，取得了舉世矚目的成就。然而，這類系統反而很難解決人類兒童就能處理的小問題——例如檢測物體、識別人臉、理解聲音與語音。此外，這類系統的可擴展性也比較差，往往需要大量人工介入以建立明確的規則與知識定義。

最近，全世界對機器學習與深度學習的關注開始快速增長，同時也推動著計算機視覺、語音識別與自然語言處理等領域（傳統符號AI無法處理的領域）的迅猛發展。機器學習算法可以跟隨數據量與計算資源同步擴展，借此帶來了人工智能的黃金十年。

但問題在于，機器學習算法的效果雖然相當突出，但本質卻仍然簡陋——將觀察結果通過復雜的數學函數與結果映射起來。因此，機器學習的質量將直接由數據質量決定，而且會在實際應用并接觸到與訓練數據不符的真實素材時，產生嚴重的性能下降。

在書中，Christian列舉了一系列實例，闡述機器學習算法遭遇的各種尷尬、甚至具有危害性的破壞。以Google Photos分類算法為例，該算法會將皮膚黝黑的人標記為大猩猩。問題不在算法本身，而在于所使用的訓練數據。如果谷歌能夠在數據集中納入更多皮膚黝黑的素材，完全可以避免這個問題。

Christian寫道，“當然，從理論上講，這類系統可以從一組示例中學到任何知識。但這也意味著AI系統的理解方式完全受示例左右。”

更糟糕的是，機器學習模型無法分辨對錯，也無法做出道德決策。機器學習模型的訓練數據中存在的任何問題，通常都會以極細微、甚至根本無法察覺的方式反映在模型行為當中。例如，Amazon于2018年關閉了用于做出雇用決策的機器學習工具，因為其決策結果明顯歧視女性。很明顯，AI的創造者并不希望根據性別來選擇候選人，但由于模型訓練使用的數據來自Amazon公司的過往記錄，因此反映出了其用人方面的某些傾向。

這還只是機器學習模型偏見問題中的冰山一角。正是由于存在這些問題，由于機器學習模型會盲目根據我們以往的行為總結經驗，才讓我們無法充分信任這類工具。

Christian寫道，“對真實世界建模相對簡單，但模型在付諸使用后總會出現種種變化，甚至反過來改變這個世界。目前大部分機器學習模型在設計當中存在一種廣泛假設，即模型本身不會改變其建模所依據的現實。但這種假設幾乎完全站不住腳。實際上，草率部署這類模型很可能會產生反饋循環，導致我們越來越難以將其扳回正軌。”

對于數據收集、模式查找以及將模式轉化為行動等層面，人類智能應該發揮更大的作用。機器學習的現實挑戰已經證明，我們對于數據乃至機器學習的很多假設性認識完全是錯的。

Christian警告稱，“我們需要作出批判性思考……除了重視訓練數據的來源，還應重視系統中作為基本事實的標簽來源。人們認為的基本事實，往往并不是基本事實。”

強化學習：獎勵最大化

強化學習同樣幫助研究人員實現了非凡的成就，使得AI能夠在復雜的電子游戲中擊敗人類冠軍。

過去十年以來，作為AI技術的另一大分支，強化學習同樣獲得了廣泛關注。強化學習要求為模型提供問題空間加獎勵函數規則，之后就由模型自主探索整個空間，找出能夠實現獎勵最大化的方法。

Christian寫道，“強化學習……幫助我們一步步探索著智能的普遍、甚至是最本質的定義。如果說John McCarthy提出的「智能是實現真實目標的能力中的計算部分」的說法真實可靠，那么強化學習相當于提供了一套驚人的通用型工具箱。它的核心機理就是在一次又一次試錯當中，摸索出新時代下一切人工智能方案的共通基礎。”

強化學習確實在雅達利游戲、圍棋、《星際爭霸2》以及DOTA 2等游戲中表現出色，并在機器人技術領域得到廣泛應用。但成功的背后人們也開始意識到，單純追求外部獎勵并不能完全體現智能的運作方式。

一方面，強化學習模型需要漫長的訓練周期才能得出簡單的判斷能力。因此，這方面研究成為極少數掌握無窮資源的科技巨頭的專利。另外，強化學習系統的適用性也非常有限——能夠在《星際爭霸2》中擊敗人類世界冠軍的系統，卻無法在其他類似的游戲中觸類旁通。強化學習代理也更傾向于通過無止境的循環，以犧牲長期目標的方式追求最簡單的獎勵最大化路徑。以賽車游戲AI為例，它經常會陷入不斷收集獎勵物品的死循環，卻總是贏不下整場比賽。

Christian認為，“消除這種與外部獎勵的硬性聯系，可能才是構建通用型AI的訣竅所在。因為與雅達利游戲不同，真實生活并不會為我們的每種行為預先設定明確的實時反饋。當然，我們有父母、有老師，他們可以及時糾正我們的拼寫、發音和行為模式。但是，這些并不是人生的全部，我們的生活不可能由權威所全面掌控。我們需要根據自己的觀點與立場做出判斷，這也正是人類族群得以存續發展的根本前提。”

Christian還建議，不妨根據強化學習的原理反其道而行之，“結合預期行為考慮如何構建環境獎勵，引導模型一步步掌握行為模式。這就像是面對美食評論家做出一份份食物，思考如何才能獲得對方的肯定。”

AI有必要模仿人類嗎？

在書中，Christian還討論了開發AI代理的意義——讓這些代理模仿人類行為，真的有意義嗎？自動駕駛汽車就是典型實例，代理會通過觀察人類司機學習如何駕駛車輛。

模仿確實可以創造奇跡，特別善于處理規則及標簽不夠明確的問題。但是，模仿也會繼承人類智能中的欠缺。人類在年輕時往往通過模仿與死記硬背學習大量知識，但模仿只是我們發展出智能行為的多種機制之一。在觀察他人的行為時，我們會根據自己的限制、意圖、目標、需求以及價值觀調整出適合自己的處理方式。

Christian寫道，“如果模仿對象比我們更快、更強壯、身材更高大，那我們就沒辦法完美模仿他們。這時候一味堅持模仿，只會影響我們解決問題的能力。”

誠然，AI系統確實通過觀察并預測我們的行為，嘗試以模仿的方式提供幫助。但很明顯，AI系統并不像人類這樣受到種種約束與限制，因此會導致其誤解我們的意圖，甚至放大我們的某些不良習慣，最終將負面影響擴散到我們生活中的方方面面。

Christian寫道，“我們的數字管家正密切關注我們的私人生活與公共生活，審視著我們好的一面與壞的一面，但卻并不清楚這些因素到底有何區別、有何聯系。AI系統好似生活在一處詭異而復雜的山谷：能夠從我們的行為中推理出復雜的人類欲望模型，但卻無法理解這些欲望從何而來。它們努力思考接下來該做什么，但不了解我們想要什么、又是怎樣成長為我們自己。”

未來在哪里？

機器學習的進步表明，我們在創造思想機器方面已經取得了一定成就。但是，機器學習帶來的挑戰與影響，也再次提醒我們應該正視理解人類智能這一前提性難題。

AI科學家與研究人員正探索多種不同方法，希望克服這些障礙，打造出讓人類只受益、不受害的AI系統。而在達成這項目標之前，我們需要謹慎行事，不可貿然為這類系統賦予過多權限。

Christian最后警告稱，“著眼于當下，最危險的行為就是在機器學習領域找到一種看似合理的模型、急于宣告研究成功——這可能會給整個社會帶來災難性的后果。”