出典：アイ・シャオシアン

巨大AI実験の一時停止：公開書簡

数日前、futureoflifeのウェブサイトに、大規模な人工知能実験の停止を求める公開書簡が掲載されました。署名も受け付けています。マスク氏やチューリング賞受賞者など、多くの著名人が既に署名しているようです。

AI開発のペースは確かに速すぎます。金銭的なコストを無視し、無制限の学習を許容すれば、この速度は指数関数的に増大するでしょう。十分な準備が整っていない現状では、AI開発を継続すべきかどうかは疑問です。

少なくとも今のところ、開発が軌道に乗るためには、比較的健全で安定したシステムが必要です。周知の通り、P2Pレンディングや暗号通貨のように、新しいものが登場すると急速に成長し、最終的な結果は必ずしも良いものとは限りません。

OpenAI の CEO も署名したとネットで見たのですが、署名リストには載っていなかったと思います。

もちろん、人の心は予測不可能です。私たちはただの一般人であり、大物たちは私たちとは全く異なる考えを持っています。別の視点から見れば、これはビジネス上の攻撃であり、競争ではないでしょうか？

以下は原文とその翻訳です。原文のURLはこの記事の最後にありますので、ご興味のある方はご覧ください。

私たちは、すべての AI ラボに対して、GPT-4 よりも強力な AI システムのトレーニングを少なくとも 6 か月間直ちに一時停止するよう求めます。

私たちは、すべての AI ラボに対し、GPT-4 よりも強力な AI システムのトレーニングを少なくとも 6 か月間直ちに中止することを強く求めます。

人間に匹敵する知能を持つAIシステムは、広範な研究[1]によって示され、トップクラスのAIラボ[2]によって認められているように、社会と人類に重大なリスクをもたらす可能性があります。広く支持されているアシロマAI原則に述べられているように、高度なAIは地球上の生命の歴史に大きな変化をもたらす可能性があり、それに見合った注意とリソースをかけて計画および管理される必要があります。残念ながら、このレベルの計画と管理は行われていません。しかし、ここ数か月、AIラボは、誰も（作成者でさえ）理解、予測、または確実に制御できない、より強力なデジタルマインドを開発および展開するための制御不能な競争に巻き込まれています。

人間に匹敵する知能を持つ人工知能システムは、広範な研究[1]によって示され、トップクラスのAIラボ[2]によって認められているように、社会と人類に深刻なリスクをもたらす可能性があります。広く受け入れられているアシロマの人工知能原則が指摘するように、高度なAIは地球上の生命の歴史に大きな変化をもたらす可能性があり、適切な注意とリソースを用いて計画・管理されるべきです。残念ながら、ここ数ヶ月、AIラボ間で制御不能なほど強力なデジタルマインドを開発・展開するための制御不能な競争が繰り広げられているにもかかわらず、このレベルの計画と管理は実現されていません。誰も、たとえその作成者でさえ、理解、予測、そして確実に制御することはできません。

現代のAIシステムは、一般的なタスクにおいて人間と互角に渡り合えるようになってきています[3]。私たちは自問自答しなければなりません。機械が私たちの情報チャネルをプロパガンダや虚偽で溢れさせるままにしておくべきでしょうか？やりがいのある仕事も含め、あらゆる仕事を自動化すべきでしょうか？最終的に人間を凌駕し、賢く、時代遅れになり、人間に取って代わる可能性のある非人間の知性を開発すべきでしょうか？文明の支配権を失うリスクを冒すべきでしょうか？こうした決定は、選挙で選ばれていない技術リーダーに委ねてはなりません。強力なAIシステムは、その効果がプラスであり、リスクが管理可能であるという確信が持てる場合にのみ開発されるべきです。この確信は十分に正当化され、システムの潜在的な効果の大きさに応じて増大するものでなければなりません。OpenAIは、人工汎用知能に関する最近の声明で、 「ある時点で、将来のシステムの訓練を開始する前に独立したレビューを受けることが重要になる可能性があり、また、最も先進的な取り組みにおいて、新しいモデルの作成に使用される計算能力の増加率を制限することに合意することが重要になるかもしれません」と述べています。私たちもこれに同意します。まさに今、その点が問われています。

現代のAIシステムは、定型的なタスクにおいて人間と互角に渡り合えるようになってきており、私たちは自問自答しなければなりません。機械が私たちの情報チャネルをプロパガンダや嘘で溢れさせるのを許すべきでしょうか？やりがいのある仕事も含め、あらゆる仕事を自動化すべきでしょうか？最終的に人間を超え、より知的になり、時代遅れになり、人間に取って代わる可能性のある、人間以外の思考を開発すべきでしょうか？文明の支配権を失うリスクを冒すべきでしょうか？こうした決定は、選挙で選ばれていない技術リーダーに委ねることはできません。強力なAIシステムは、その影響がプラスに働き、リスクが管理可能であると確信できる場合にのみ開発されるべきです。この確信は妥当なものであり、システムの潜在的な影響の大きさに応じて増大する必要があります。OpenAIは最近、人工汎用知能について次のように述べています。「ある程度、将来のシステムの訓練を開始する前に独立したレビューを受けることが重要であり、最先端の取り組みにおいては、新しいモデルを作成するために使用されるコンピュータの成長率を制限することに合意することも重要です。」私たちはこれに同意します。今こそがその時です。

したがって、私たちはすべてのAIラボに対し、GPT-4よりも強力なAIシステムの訓練を少なくとも6ヶ月間、直ちに一時停止するよう求めます。この一時停止は公開され、検証可能で、すべての主要な関係者が参加する必要があります。このような一時停止が迅速に実施できない場合は、政府が介入し、モラトリアム（一時停止期間）を設けるべきです。

したがって、すべてのAIラボに対し、GPT-4よりも強力なAIシステムの訓練を少なくとも6ヶ月間、直ちに停止するよう強く求めます。この停止は公開され、検証可能であり、すべての主要な関係者が参加する必要があります。このような停止が迅速に実施できない場合は、各国政府が介入し、強制執行すべきです。

AI研究所と独立系専門家は、この休止期間を利用して、高度なAIの設計・開発のための共通の安全プロトコルを共同で開発・実装すべきである。これらのプロトコルは、独立した外部専門家による厳格な監査と監督を受けるべきである。これらのプロトコルは、それに準拠するシステムが合理的な疑いの余地なく安全であることを保証するものでなければならない。[4] これはAI開発全般の休止を意味するものではなく、予測不可能で新たな能力を備えたブラックボックスモデルへと向かう危険な競争から一歩後退することを意味するに過ぎない。

人工知能研究所と独立した専門家は、この休止期間を利用して、高度なAIの設計・開発のための共通の安全プロトコルを共同で開発・実装すべきである。これらのプロトコルは、独立した外部専門家による厳格なレビューと監督の対象となる。これらのプロトコルは、それに従うシステムが安全であり、合理的な疑いの余地がないことを保証するものでなければならない。[4] これは、一般的な意味でのAI開発の休止を意味するのではなく、むしろ危険な競争から、緊急時対応機能を備えたより大規模で予測不可能なブラックボックスモデルへの後退を意味する。

AI の研究開発は、今日の強力で最先端のシステムをより正確、安全、解釈可能、透明性、堅牢性、整合性、信頼性、忠実性を備えたものにすることに再び重点を置く必要があります。

人工知能の研究開発は、今日の強力で最先端のシステムをより正確、安全、説明可能、透明性、堅牢性、一貫性、信頼性、忠実性を備えたものにすることに再び重点を置くべきです。

同時に、AI開発者は政策立案者と協力し、堅牢なAIガバナンスシステムの開発を飛躍的に加速させる必要があります。これには少なくとも、AIに特化した新たな有能な規制当局、高性能AIシステムと大規模な計算能力プールの監視と追跡、本物と合成AIの区別を支援し、モデルの漏洩を追跡するための来歴および透かしシステム、堅牢な監査および認証エコシステム、AIに起因する損害に対する責任、AIの技術的安全性研究への強力な公的資金、そしてAIが引き起こす劇的な経済的および政治的混乱（特に民主主義への影響）に対処するための十分な資源を備えた機関が含まれるべきです。

同時に、AI開発者は政策立案者と協力し、堅牢なAIガバナンスシステムの開発を大幅に加速させる必要があります。これらの対策には、少なくとも以下のものが含まれるべきです。AIに特化した新たな有能な規制機関、高性能AIシステムと膨大な計算能力の監視と追跡、本物のAIと合成AIを区別し、漏洩したモデルの出所と透かしを追跡するためのシステム、堅牢な監査および認証エコシステム、AIによって引き起こされた損害に対する責任、AI技術の安全性研究への適切な公的資金、そしてAIが（特に）引き起こす甚大な経済的および政治的混乱に対処するための十分なリソースを備えた機関。

人類はAIによって繁栄する未来を享受できます。強力なAIシステムの構築に成功した今、私たちは「AIの夏」を謳歌し、その恩恵を享受し、これらのシステムをすべての人々の明確な利益のために設計し、社会に適応する機会を与えることができます。社会は、社会に壊滅的な影響を与える可能性のある他の技術については、一旦停止しています。[5] 今こそ、AIの夏を謳歌できる時です。準備不足のままAIの秋に突入するのではなく、長く続くAIの夏を楽しみましょう。

人工知能があれば、人類は豊かな未来を享受できます。強力な人工知能システムの開発に成功した今、私たちは「AIの夏」を謳歌し、その恩恵を享受し、すべての人々の利益となるシステムを設計し、社会に適応する機会を与えることができます。社会は、社会に壊滅的な影響を与える可能性のある他の技術の使用を一時停止しています。[5] 私たちは今、それを実現できます。準備不足のまま秋に突入するのではなく、長いAIの夏を楽しみましょう。

署名者（個別に記載されていない）

ヨシュア・ベンジオ氏（Mila創設者兼科学ディレクター、チューリング賞受賞者、モントリオール大学教授）

Mila の創設者兼科学ディレクター、チューリング賞受賞者、モントリオール大学教授のヨシュア・ベンジオ氏。

スチュアート・ラッセル（バークレー校、コンピュータサイエンス教授、インテリジェントシステムセンター所長、標準教科書「人工知能：現代的アプローチ」の共著者）

スチュアート・ラッセルは、カリフォルニア大学バークレー校のコンピュータサイエンスの教授であり、インテリジェントシステムセンターの所長であり、標準教科書「人工知能：現代的アプローチ」の共著者です。

SpaceX、テスラ、TwitterのCEO、イーロン・マスク

SpaceX、テスラ、TwitterのCEO、イーロン・マスク

スティーブ・ウォズニアック、アップル共同創業者

アップル社の共同創業者、スティーブ・ウォズニアック氏。

...

元記事: https://futureoflife.org/open-letter/pause-giant-ai-experiments/