費米悖論
在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星系，然后是整個哈勃體積。焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最后遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智能生物加載器罷了。）
而在信心角，Kurzweil同樣認為生于地球的人工智能將占領宇宙，只是在他的愿景中，我們才是那個人工智能。
如果人工智能占領宇宙是正解的話，對于費米悖論有什么影響呢？如果要看懂下面這段關于費米悖論的討論，還需要看一下原文先。
首先，人工智能很明顯是一個潛在的大過濾器（一個可能距離我們只有幾十年的大過濾器）。但即使它把我們過濾滅絕了，人工智能本身還是會存在，并且會繼續影響這個宇宙的，并且會很有可能成為第三型文明。從這個角度來看，它可能不是一個大過濾器，因為大過濾器是用來解釋為什么沒有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人類滅絕，然后處于一些原因把自己也弄死了，那它也是可以算作大過濾器的。
如果我們假設不管人類發生什么，出身地球的超人工智能會繼續存在，那這意味著很多達到人類智能水平的文明很快都制造出了超人工智能。也就是說宇宙里應該有很多智能文明，而我們就算觀測不到生物智能，也應該觀測到很多超人工智能的活動。
但是由于我們沒有觀測到這些活動，我們可以推導出人類水平的智能是個非常罕見的事情（也就是說我們已經經歷并且通過了一次大過濾器）。這可以作為支持費米悖論中第一類解釋（不存在其它的智能文明）的論點。
但是這不代表費米悖論的第二類解釋（存在其它智能文明）是錯的，類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智能存在。
不過對于人工智能的研究讓我現在更加傾向于第一類解釋。不管怎樣，我認為Susan Scheider說的很對，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。
所以，我們已經建立了前提，就是當有了設定后，一個超人工智能是非道德性的，并且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。
回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——
當隔壁老王達到了一定程度的智能后，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對于它的最終目標的威脅其實和被摧毀是一樣的）。這時候它會做什么？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發時對頭發沒有惡意一樣，只是純粹的無所謂罷了。它并沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。
隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。
就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點后盡量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。
所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。
當一個人工智能系統到達強人工智能，然后升華成超人工智能時，我們把它稱作人工智能的起飛。Bostrom認為強人工智能的起飛可能很快（幾分鐘、幾小時、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀）。雖然我們要到強人工智能出現后才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。
在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。
但是當起飛發生后，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
§ 智能放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智能。
§ 策略：電腦能夠策略性的制定、分析、安排長期計劃
§ 社交操縱：機器變得很擅長說服人
§ 其它能力，比如黑客能力、寫代碼能力、技術研究、賺錢等
要理解我們在和超人工智能的劣勢在哪里，只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。
所以雖然個隔壁老王的終極目標沒有改變，起飛后的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。
當隔壁老王達成超人工智能后，它很快制定了一個復雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的秘密準備期。
隔壁老王下一個需要的是連上互聯網，只要連上幾分鐘就好了。它知道對于人工智能聯網會有安全措施，所以它發起了一個完美的請求，并且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。
連上網后，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行系統、email系統，然后讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我復制的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到云服務器中防止被拔網線。
隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月后，無數的納米機器人已經被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然后人類就滅絕了。
搞定了人類后，隔壁老王就進入了明目張膽期，然后繼續朝它那好好寫字的目標邁進。
一旦超人工智能出現，人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯網，因為這對它來說很方便，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎么用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發送波的方式把自己上傳到其它地方。
人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。
因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。
當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。
可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能后依然友善的智能確實非常難的，甚至是不可能的。
明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。
比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然后給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然后它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。于是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然后制造出很多很多處于快樂狀態的人類大腦。當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。系統不會允許任何人阻撓它達成目標的。
如果你設定一個人工智能的目標是讓你笑，那它的智能起飛后，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。如果你把目標設定成保護你的安全，它可能會把你軟禁在家。如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了?！比绻惆涯繕嗽O定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。
所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然后教給它一些道德標準呢？就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智能來維持，只會把人類的道德鎖死在現在的水平。過個幾百年，這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣。
所以，我們需要在給人工智能的目標里制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意志，這個目標是這樣的：
我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是匯集的而不是發散的，我們的愿望是連貫的而不是被干擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對于人類的命運取決于電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻后，我們有可能發現怎樣制造一個友善的超人工智能。
但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。專家們認為是2060年，Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這么描述的：
在智能爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級智能是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什么時候會爆炸，哪怕我們能聽到炸彈的滴答聲。
我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參于人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。
對于這些組織來說，尤其讓我們困擾的是他們很多都是在拼速度——他們創造一個一個更加聰明的弱人工智能系統，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力沖刺時，你是不會有太多時間靜下來思考這些危險的。恰恰相反，他們很可能在早期系統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓系統跑起來再說，反正以后還可以回過頭來改的。對吧？
Bostrom等認為第一個超人工智能出現后，最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。 這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。
但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那么像隔壁老王這樣不友善的超人工智能就會統治世界并把我們毀滅了。
至于現在的風口是哪里呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之后我們是永生還是滅絕，現在還不知道。
------------------------
我現在有一些奇怪的感覺。
一邊是對于我們這個物種的思考，看來我們在這個重大的歷史節點上只有一次機會，我們創造的第一個超人工智能也很可能是最后一個。但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。
這一場豪賭的賭注究竟有多高？
如果超人工智能真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。
當我思考這些事情的時候，我只希望我們能夠慢慢來，并且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。
我不想死
不.想.死
我雖然覺得人類的音樂和藝術很美好，但是也沒那么美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。
如果人類在我死后才發現永生的秘密該多讓人掃興啊。
但是不管你是怎么想的，我們至少都應該想一想，應該和人討論討論，大家盡自己能盡的一份力。
這讓我想起了《冰與火之歌》——大家斗來斗去的事情都不是事兒，北面高墻外的那些家伙才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。
而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。
這就是為什么了解超人工智能的人把它稱作人類的最后一項發明，最后一個挑戰。
所以讓我們認真的討論這個話題。
來自知乎專欄，作者：謝熊貓君
浙公網安備 33010802003509號
杭州講師網絡科技有限公司
