著者 | ラン・チュー 編纂者：岳陽 人工知能が誇大宣伝の霧を突き抜けられるかどうかはさておき、人類史におけるこの魅力的な時代に生きていることを、私は大変幸運に思います。5年前、私が初めてニューラルネットワークに出会った頃を振り返ると、AIは猫を認識することさえ困難でした。当時の技術は今日よりもはるかに進んでいませんでした。 今日私たちが成し遂げたことは、先祖にとっては魔法のようだったでしょう。人工知能業界の急速な発展には、私は感嘆の念を禁じ得ません。しかし、疑問は残ります。この勢いは今後も続くのでしょうか？ 画像出典: https://ia.samaltman.com/ 01 大胆な予測数ヶ月前、サム氏は「超知能AIは数千日以内に現実のものとなる」と大胆に予測し、AGI（定義はまだ明確ではないものの）は「既存のハードウェアで達成可能な目標」であると主張しました。しかし、業界リーダーによるAI開発の予測は必ずしも信頼できるとは限りません。その好例が、過去10年間の自動運転車に対する過度に楽観的な見通しです。したがって、このような予測を行う際には注意が必要です。 出典：情報 すぐに状況は変わりました。OpenAI、Google、Anthropicといった大手AI企業は、新しいモデルを開発することによるメリットが徐々に減少していると述べています[1]。Ilya Sutskeverは、事前学習のスケールアップにおいてボトルネックに陥っているようだと指摘しています。現在、モデルのスケールアップが障害に直面しているという新たな見解が出てきています。 02 それで、モデル拡張はこれで終わりですか?現在、モデル拡張の終了が話題になっているようです。 2010年代から2020年代初頭にかけては、モデルのスケーリングが黄金時代を迎えました。成功の秘訣はシンプルに思えました。大規模なニューラルネットワークに大量のデータを入力し、長期間にわたって学習させれば、奇跡的な成果が得られる、と。しかし、この戦略の成果はやがて減少していきます。では、今後数年間に何が期待できるのでしょうか？
2.1 計算能力が向上したにもかかわらず、データの量はそれに応じて増加していません。インターネットは一つしかなく、利用可能なデータはすべてすでに採掘済みです。 言語モデルの学習データ（最初はWikipedia全体、次にソーシャルメディア、そして最後にほとんどのインターネットコンテンツ）の急速な増加は、現在では停滞しているようです。一部の企業は出版社と協力してより多くのデータを取得しようとしていますが、インターネットだけでは学習データが再び大幅に増加する可能性は低いことを認識する必要があります。もちろん、他のデータソースを探し始めない限りは。インターネットには、豊富なテキストに加えて、膨大な量の画像、動画、音声リソースも存在します。Epoch AIの論文[2]によると、オンラインのマルチモーダルデータから抽出されるテキストトークンの数は、一般的なWebクローラーデータセットから抽出されるものの5～200倍にもなる可能性があるとのことです。
2.2 次に、合成データについて説明します。2024年のNeurIPSカンファレンスで、イリヤ氏は合成データの利用が将来の開発方向の一つであり、モデルの規模を継続的に拡大するための道筋とも捉えられていると述べました。その核となる考え方は、多くの場合、データの正確性を検証し、データの品質を評価することが比較的容易であるというものです。合成トレーニングデータは、AlphaGo[3]が2016年に世界囲碁チャンピオンを破ったことや、AlphaZero[4]とAlphaProof[5]が純粋に自己生成データでトレーニングすることで、ゲームのプレイ方法や幾何学の問題を解く方法を学習するなど、いくつかのケースで目覚ましい成果を上げています。 プログラミング分野における合成データの成功例として、CriticGPT[6]が挙げられます。OpenAIはレビューサイクルにおいて2つのChatGPTインスタンスを使用しています。1つはコードを生成し、もう1つはそれを批判的にレビューしてエラーを発見します。アイデアはシンプルですが、下の図からもわかるように、驚くほどうまく機能しています。CriticAIシステムが発見する問題の数は、人間のそれをはるかに上回っています。 プログラミングや数学では、大量の例を生成し、どれが正しいかを迅速に検証することで、より小規模で洗練された、高品質なデータセットを作成できます。しかし、他の分野では、合成データの適用範囲が限られる可能性があります。合成データの適用範囲は、具体的な分野によって大きく異なると考えています。 2.3 大規模モデルにおける収穫逓減モデルのパフォーマンスは、トレーニング データセットのサイズだけでなく、モデル自体のサイズによっても影響を受けます (下の図を参照)。 テスト損失値とモデルサイズおよびトレーニングデータセットサイズの関係は、べき乗分布に従います。画像出典：OpenAIのデータに基づいて著者が作成した画像。 私たちは長い間、モデルのサイズとデータの量を盲目的に増やすことでモデルのパフォーマンスを向上させようとしてきましたが、この戦略の有効性は徐々に低下してきました。 現在、多くのAI企業は小規模モデルの開発に注力しています。これらのモデルは、GoogleのGemini miniシリーズのように、中程度の性能でありながらコストが低い「十分に良い」モデルである場合があり、場合によっては、OpenAIのGPT-4oとGPT-4を比較したように、一部のフラッグシップモデルよりも優れた性能を発揮することさえあります。しかし、こうした性能向上は、学習時間の延長という代償を伴います。また、ClaudeのHaikuで使用されている「ハイブリッドエキスパート」モデルのように、新しいアーキテクチャ設計から予期せぬ結果が得られた例も見られます。 2.4 モデルのサイズを拡大しても、必ずしも「新たな」機能が生まれるわけではありません。過去10年間の経験から、モデルサイズ、学習計算量、データセットサイズを増やすことで、モデルのパフォーマンスを向上できることがわかりました。大規模言語モデル（LLM）では、これは通常、単語列内の次の単語を予測する能力に反映されます。 いわゆる「創発的」能力とは、小さなモデルには現れないが、大きなモデルに現れる能力を指します。 人工知能は私たちが設定した様々なベンチマークテストにおいて着実に進歩を遂げていますが、真の推論を行うには至っていません。かつては、十分な規模のモデルを与えれば、人工知能が突如として推論を学習するだろうという期待がありました。 AIは数学や物理の試験で博士課程の学生を上回る成績を収めたという報告をよく目にしますが、一方で、幼児でも簡単に理解できるような簡単な試験ではAIが成績を落としてしまうという報告も見受けられます[7]。AIが学習データを超えて効果的に一般化できない場合、データ量を増やし続けても最終的には大幅な改善は得られないでしょう。 03 人工知能はどこへ向かうのか?
3.1 推論レベルでの拡張モデル拡張が限界に達したかどうかについての議論の中で、焦点は「推論拡張」に移っています[8]。OpenAIのo1[9]は、そのような推論拡張の一例です。 モデルのサイズ、トレーニングデータ、計算リソースの増加に重点を置くモデルスケーリングとは異なり、推論スケーリングは実行時のモデルの処理能力と推論能力の最適化に重点を置きます。これらのモデルは、答えを出す前に「推論」するように微調整されます。 行動前の推論を伴うキューワード技術、インテリジェントエージェント、ハイブリッドモデル、幻覚の検出と緩和などの最近のイノベーションは、モデルのパフォーマンスをさらに向上させるためには、まだ成熟するまでに時間が必要です。 3.2 将来に向けてスケーラビリティの限界を認識しながらも、多くの人が将来について楽観的な見方を続けています。Epoch AIは、今後5年間でデータ、コンピューティングリソース、ハードウェアを拡大し続け、GPT-4の10倍以上の計算能力を持つ新しいモデルを学習できるようになると予測しています。この数値はさらに増加する可能性がありますが、最大の課題は電力需要の急増となるでしょう。 2030年を見据えると、人工知能トレーニングの拡大は、トレーニングに必要な計算FLOPsで測定するとどのような限界に直面するでしょうか？データソース：Epoch AI[2] NeuroIPS での最新のプレゼンテーションで、イリヤ氏は将来の傾向についていくつかの予測をしましたが、具体的な時期や実施方法はまだ不明です。
AIに推論能力を持たせることは極めて重要なステップであり、OpenAIのO1モデルは既に将来の方向性を示していると言えるでしょう。それは、AIが答えを出す前に一定時間考え、推論できるようにすることです。AIの推論能力が強力になればなるほど、予測不可能性は高まります。しかし、強力な推論能力、洗練されたインテリジェントエージェントシステム、そして錯覚を減らすことができれば、汎用人工知能、さらには超知能の実現ももはや遠い夢ではなくなるでしょう。 04 結論モデルのスケーリングは限界に達したのかもしれないし、あるいはまだ終わっていないのかもしれない。誰もが次のステップを模索している。しかし確かなのは、この傾向が永遠に続くわけではないということだ。モデルのスケーリングの終焉は、実際には一連のプラス効果をもたらしている。人工知能の発展は再び革新的な思考と大きなブレークスルーに依存するようになるだろう。そして、未来は不確実性に満ちているという明確な共通認識がある。 読んでくれてありがとう！ このブログを楽しんで、新しいことを学んでいただければ幸いです。 著者について ランチュー データ サイエンティスト | データと AI について書きます。 🤝 LinkedIn https://www.linkedin.com/in/lanchuhuong/ 終わり 今週のインタラクティブコンテンツ🍻 あなたの意見では、AI 開発における次のブレークスルーは、データ、アルゴリズム、それとも推論能力のどの方向に起こる可能性が最も高いでしょうか? 🔗記事内のリンク🔗 [1]https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai?utm_source=substack&utm_medium=email&embedded-checkout=true [2]https://epoch.ai/blog/can-ai-scaling-continue-through-2030#data-scarcity [3]https://substack.com/redirect/1ee61e75-b473-46d8-a77e-779c555372aa?j=eyJ1IjoiMjd5a2xjIn0.chM1hwWw4vU3K5gsZ_gHy64h9V82IaY5MSB-0LClvpg [4]https://deepmind.google/discover/blog/alphazero-shedding-new-light-on-chess-shogi-and-go/ [5]https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/ [6]https://arxiv.org/pdf/2407.00215 [7]https://arcprize.org/arc [8]https://arxiv.org/pdf/2407.21787 [9]https://openai.com/o1/ オリジナルリンク: https://medium.com/gitconnected/is-ai-progress-slowing-down-69d4f1215e49 |
01 大胆な予測02 それで、モデル拡張はこれで終わりですか?2.1 計算能力が向上したにもかかわらず、データの量はそれに応じて増加していません。2.2 次に、合成データについて説明します。2.3 大規模モデルにおける収穫逓減2.4 モデルのサイズを拡大しても、必ずしも「新たな」機能が生まれるわけではありません。03 人工知能はどこへ向かうのか?3.1 推論レベルでの拡張3.2 将来に向けて04 結論 |
