頂尖科學家示警：自動化 AI 研發恐引發「智慧爆炸」

多位 AI 權威針對自動化研發敲響警鐘

由 20 多位頂尖人工智慧學者組成的團隊——包含圖靈獎得主 Geoffrey Hinton 與 Yoshua Bengio，以及 OpenAI 研發主管 Jakub Pachocki——針對具備自我改進能力的 AI 系統所潛藏的危險發出聯合警告。在一篇新發表的論文中，作者群示警將人工智慧開發流程自動化，恐引發失控的「智慧爆炸」。儘管目前仍存在不確定性，但研究人員強調：「AI 研發自動化可能很快就會觸發這種現象。」

將數年進展壓縮至短短數月

該論文指出，在打造尖端模型的前沿機構內部，自動化系統已經編寫了絕大多數的程式碼。研究人員預估，整個 AI 研發工作流程可能在短短數年內就能實現全面自動化。

一旦研發流程具備自主運作能力，以往通常需要數年的技術突破，可能在短短數個月內就會發生。作者群警告，人類社會可能無法跟上如此快速的步伐，進而帶來嚴重危害：人類恐失去對超人類 AI 的控制權，地緣政治與企業之間的權力平衡也可能迅速瓦解。為此，研究人員呼籲政府官員與監管機構應取得大幅提高的掌握度與透明度，深入了解 AI 企業如何將其內部研發流程自動化。

前沿實驗室內部焦慮情緒日益加劇

這項警告是在人工智慧領域內部擔憂情緒不斷升溫之際提出的。日前，42 位頂尖數學家呼籲各界更加重視 AI 帶來的生存威脅；與此同時，多家實驗室的員工也表達了對不受約束的系統可能毀滅人類的恐懼。

安全議題在領先的開發機構內部同樣備受關注。Pachocki 先前曾表示，目前沒有任何一家 AI 實驗室在對齊（alignment）方面取得足夠進展，「能夠在負責任的前提下，長期維持極限速度擴展規模。」在對失控技術發展軌跡的不安情緒蔓延下，據傳競爭對手 Anthropic 的部分員工甚至已開始尋找避難所，為潛在的災難性局面預作準備。