AI研究の自動化が「知能爆発」を引き起こす恐れ、トップ科学者らが警告

AI研究の自動化に著名な専門家らが警鐘

チューリング賞受賞者のGeoffrey Hinton氏やYoshua Bengio氏、OpenAIの研究リードを務めるJakub Pachocki氏を含む20人以上の著名な人工知能研究者グループが、自己改善型AIシステムの危険性について共同警告を発表した。新たに公開された論文の中で著者らは、人工知能開発の自動化が制御不能な「知能爆発」を引き起こす可能性があると警告している。研究者らは既存の不確実性を認めつつも、「AI研究開発の自動化によって、それが間もなく引き起こされる可能性がある」と強調する。

数年分の進歩が数カ月に圧縮される

論文によると、最先端のモデルを構築する組織内部では、すでに自動化システムがコードの大半を生成しているという。研究者らは、AIの研究開発ワークフロー全体が数年以内に完全に自動化される可能性があると予測している。

研究開発パイプラインが自律化すれば、通常は数年かかる技術的進歩がわずか数カ月で起こり得る。著者らは、社会がこのスピードに対応できず、深刻な危険が生じる恐れがあると警鐘を鳴らす。人間が超人的なAIの制御を失う可能性があり、地政学的および企業間のパワーバランスが一気に崩壊しかねないという。これを受けて研究者らは、AI企業が社内研究をどのように自動化しているのかについて、政府当局者や規制当局が大幅に高い透明性を確保するよう強く求めている。

最先端研究所で高まる不安

今回の警告は、人工知能業界内で懸念の声が高まっている一連の動きに続くものだ。先頃、42人の著名な数学者がAIに起因する存亡の危機により多くの関心を向けるよう呼びかけたほか、複数の研究所の従業員が、制御を受けないシステムが人類を滅ぼしかねないと懸念を表明している。

安全性に関する問題は、主要な開発企業の内部からも浮き彫りになっている。Pachocki氏は以前、アライメントに関して「最高速度でのスケーリングをこれ以上責任を持って続けられるほど」十分な進展を遂げたAI研究所は存在しないと述べていた。制御不能な技術の進路に対する不安が高まる中、競合する最先端企業Anthropicの一部の従業員は、壊滅的なシナリオに備えてすでに避難先を探し始めているとも報じられている。