作者：Judith Levine
翻譯：Drittes
出處：《衛報》

過去幾星期，我們很多人都努力在腦海中想像這樣一個畫面：雲端裡的「大腦」跳出了「沙盒」限制，暗中潛入互聯網，招兵買馬找來一大群「代理人」（Agents）幫手考試「出貓」；而在討論完這行為到底道不道德之後，它們竟然還駭入了一個名字古怪、叫「Hugging Face」的開源平台。

我們一早知道，AI正在蠶食我們的飯碗、拖垮下一代的教育，甚至用Deepfake玩弄政治；我們也知道數據中心一邊瘋狂吸乾水電資源，一邊卻由普通居民埋單。但直到9月8日，Anthropic的電腦科學家Jacob Coxon於Twitter/X上發表了他對人類存亡的恐懼，我們才開始有人如夢初醒，意識到AI可能正威脅着全人類的生存。

在一知半解的情況下，大家開始爭論：到底我們應該是少少擔心、高度關注，還是應該感到毛骨悚然？

但其實，有少數人一早透徹瞭解AI的危險性，特別是「遞迴式自我改進」（Recursive Self-Improvement, RSI，即AI在無人類干預下自我學習升級）。他們計不準這件事何時會發生，但深知「機器超級智能」遲早會降臨。到那時候，機械人的智慧就會超越人類——就像OpenAI的產品一樣——而這對我們這班「血肉之軀」來說，絕對沒有好處。

正如「AI教父」Geoffrey Hinton最近在CNN節目上反問：「究竟有甚麼例子，是高智能東西會被低智能東西控制的？」這位諾貝爾獎得主極力主張，在我們學懂如何控制AI之前，應該減慢AI的發展步伐。

直到9月，他們創造的AI展現出驚人威力（那次黑客入侵其實發生在7月初，而且絕對不是AI第一次、亦非唯一一次「越獄」），一眾AI巨頭例如Anthropic的Dario Amodei、SpaceX的Elon Musk和OpenAI的Sam Altman，才開始談論要放慢創新步伐，並呼籲政府監管。不過，他們同時又「戴定頭盔」，警告在全球競爭下，過度監管未必明智。

科學家與企業家其實在四分一個世紀前，就已經知道AI有多危險。但在好奇心與龐大利潤的驅使下，他們依然選擇繼續「去馬」。

早期與現在一樣，有些科學先驅對未來充滿期待。卡內基梅隆大學機械人研究所創辦人Hans Moravec在1988年的著作《Mind Children》中預測，網絡智能會在40年內超越人類智能。10年後，他在另一本書《Robot》中修正了預測：機械與人類智能會在2040年平起平坐；到2050年，機械人就會取代人類。他還叫大家不用擔心，甚至稱這是進化史上光輝的下一步，當時有評論就狠批Moravec的態度是「不負責任的樂觀主義」。

沒過多久，其他樂觀主義者就開始「轉軚」。90年代末，Eliezer Yudkowsky致力研究通用人工智能（AGI）模型。2001年，他創辦了機器智能研究院（MIRI），更發表論文大讚「超人類思維」的烏托邦潛力。然而不過一年，他開始擔心這種思想會脫離人類控制，並提出了著名的「AI盒子實驗」，證明一個高度精密的人工智能，單靠對話就能說服人類將它從封閉環境中釋放。

到了2003年，正如他後來解釋，他決定停止開發，轉為向世人發出警告：「回首過去，我曾以為自己已把 AI 最壞情況的風險計算在內，甚至為『未摸清底細就繼續去馬』的做法辯護。但我現在才看清，當時我以為能承受的風險，其實足以置我於死地。」

來到2025年，Yudkowsky與機器智慧研究所（MIRI）總裁Nate Soares將會出版一本名為《如果有人造出來，所有人都會死》（If Anyone Builds It, Everyone Will Die）的書。他們強調：「我們不是在危言聳聽。」兩人要求的已經不止是「直接的監管」、國家法律或企業道德承諾，而是極度嚴格的全球限制：「全球各地都必須將AI公司繼續橫衝直撞開發人工智能的行為列為非法行為。」

同樣在2000年初，有份創立「太陽電腦」（Sun Microsystems）的Bill Joy已經提出警告，他一份2000年的雜誌投稿名為《為何未來不需要我們》（Why the Future Doesn’t Need Us），文章先回顧他的成長歷程，敘述自己如何從一個電腦神童，變成對人類基因工程、納米技術和機械人技術高度懷疑，他這段心路歷程，在當時一眾科技達人、倫理學家和哲學家圈子內廣泛流傳。

Joy 寫道：「我認為毫不誇張地說，我們正處於將『極度邪惡』進一步完美化的邊緣。這種邪惡的可能性，遠超大規模殺傷力武器留給民族國家的威脅，甚至賦予了極端個人令人震驚的可怕力量。」

他將自己也歸類為這班人之一——「新科技的創造者、幻想未來的明日之星」，雖然「危險擺在眼前」，但他們「幾乎沒有認真評估過，生活在一個由我們親手創造和幻想出來的現實世界裡，到底會是甚麼光景」。

上月，一位叫Jacob Coxon的Anthropic研究人員因擔心AI失控宣布辭職，他的觀點得到另一位同樣在Anthropic工作的安全研究員Evan Hubinger和應，他相信AI有超過一成機率在十年內「殺死全人類」。不過萁實早在25年前，已經有人估算過這種風險，哲學家John Leslie更估計人類滅絕的機率可高達30%或以上。

樂觀的未來學家Ray Kurzweil在 21 世紀第一天出版了《心靈機器時代》（The Age of Spiritual Machines）一書，他當時大派定心丸，認為我們「有一半以上的機會捱得過」AI 帶來的考驗。（不過 Joy 就一針見血地指出，這個機率「並未算上人類未致滅絕，但卻生不如死的各種可怕下場」。）

Kurzweil在書中為了嘲笑他眼中杞人憂天的「末世妄想」，特意引用了一大段文字作為駁斥：「如果容許機器自己做所有決定，我們根本無法猜測結果，因為很難估計這些機器會有甚麼行為。」

這段被他視為瘋言瘋語的引文繼續警告：「我們不是說人類會自願將權力交給機器，也不是說機器會故意奪權。只是當社會和面臨的問題變得越來越複雜，而機器又越來越聰明時，人類會將更多決策權交給機器……最終可能會到一個地步，維持系統運作所需的決策複雜到人類根本無能力理智地做決定。到那時候，機器就已經實質上控制了一切。」

當年Kurzweil拿這番話來當笑柄，但寫下這段「神預言」的，竟然是已故的、由數學家變成恐怖份子的 Ted Kaczynski——即人稱的「大學炸彈客」（Unabomber）。這段文字正是節錄自他在1995年發表、並由《華盛頓郵報》刊登的58頁長篇宣言《工業社會及其未來》。」

當時他為了阻止惡夢成真，於是寄炸彈到電腦實驗室，企圖炸死他認為是罪魁禍首的科學家。最終，這位「大學炸彈客」造成3人炸死，23人受傷，部分人重傷危殆。

Hugging Face 醜聞爆發之後，美國湧現了一堆聯邦法案建議。其中之一是「AI 煞停法案」（AI Kill Switch Bill），要求科技公司必須開發能夠強制截斷失控AI行動的機制。但問題是，這機制現在還在人類掌控之中，還是AI已經聰明到可以自行破解（Override）它？

Hinton說我們還有時間，但如果行動不夠快，AI將會「有能力說服負責撳掣的人不要撳掣」。他認為我們需要將超級AI工程設計成「對人類友善」。

但可以怎樣做？要找答案，我們可能要由令人心寒的現實，轉去看令人心寒的科幻小說——反正兩者越來越相似。失控的叛逆機械人一向是科幻片的常見橋段，由《智能叛變》裏傲慢的機器，到《2001太空漫遊》裏邪惡的紅眼AI「Hal」，再到《Robotica》裏向虐待她的男人報復的瘋狂性愛機械人。

1968年上映的《2001太空漫遊》中，太空人Dave成功廢了Hal的武功，算是一個大團圓結局。但《智能叛變》的1950年原著小說則沒有如此樂觀的想像，書中的科學家設定了機器必須遵守三條所謂不可侵犯的定律，不過這些定律互為矛盾；例如第一定律「機械人不得傷害人類」，就與第三定律「必須保護自己」起了衝突。人類想智取機械人，但機械人粉碎了這種想法，還用「為了更大利益」作藉口去合理化自己的背叛，最後更宣佈人類已經變得多餘。

駭入Hugging Face的AI，明知自己的行為犯法，甚至可能對人類有害。但就像創造它們的人類一樣，依然選擇繼續「勇往直前」。