スタートアップOpenAIのChatGPTは素晴らしい成果を上げており、その強力な機能は人工知能への新たな関心と投資を喚起しています。しかし先週末、OpenAIのCEOは、このチャットボットの開発につながった研究戦略は時代遅れであると警告しました。今後の方向性は依然として不透明です。

OpenAIは近年、既存の機械学習アルゴリズムを前例のない規模に拡張することで、言語処理人工知能において目覚ましい進歩を遂げてきました。GPT-4はこれらのプロジェクトの最新の成果であり、おそらく数兆語のテキストと数千個の高性能コンピュータチップを用いて学習されたと考えられます。このプロセスには1億ドル以上の費用がかかりました。

しかし、CEOのサム・アルトマン氏は、大型モデルの製造によってさらなる発展がもたらされることはないと述べた。「こうした大型モデルの時代は終わりを迎えたと考えています」と、先週末MITで開催されたイベントで聴衆に語った。「私たちは他の方法で、それらをより良くしていきます。」

アルトマン氏の発言は、新たなAIアルゴリズムの開発と導入をめぐる競争における予想外の展開を示唆している。OpenAIが11月にChatGPTをリリースして以来、Microsoftはその基盤技術を活用し、Bing検索エンジンにチャットボットを追加し、GoogleもMicrosoftに対抗するためBardというチャットボットをリリースした。多くの人が、仕事や個人的なタスクを支援するために、この新世代のチャットボットを試用しようと急いでいる。

一方、Anthropic、AI21、Cohere、Character.AIなど、資金力のあるスタートアップ企業は、OpenAIの技術に追いつくため、より大規模なアルゴリズムの構築に多額の投資を行っています。当初のChatGPTはGPT-3の若干のアップグレード版でしたが、現在ではより強力なGPT-4を搭載したバージョンも利用できます。

アルトマン氏の発言は、GPT-4がモデルのスケールアップとデータ提供の拡大というOpenAIの戦略によって達成された最後の大きなブレークスルーとなる可能性を示唆している。彼は、この戦略に代わる研究手法や技術については具体的に言及していない。GPT-4を解説した論文の中で、OpenAIは、その推定結果がモデルサイズの拡大に伴って収穫逓減を示していると述べている。また、アルトマン氏は、企業がデータセンターを構築できる数と速度には物理的な限界があることにも言及している。

Cohereの共同創設者であり、元GoogleのAI研究者でもあるニック・フロスト氏は、スケーリングは永続的な解決策ではないというアルトマン氏の見解に同意しています。また、Transformerベースの機械学習モデル（GPT-4やその競合製品の中核を成す機械学習モデルの一種）の進歩は、スケーリングにとどまらないと考えています。「Transformerをより良く、より有用にする方法は数多くあり、その多くはモデルにパラメータを追加することを必要としません」と彼は述べています。フロスト氏は、新しいAIモデルの設計やアーキテクチャ、そして人間のフィードバックに基づくさらなる調整は、多くの研究者が既に検討している有望な方向性であると述べています。

OpenAI の影響力のある言語アルゴリズム ファミリーの各バージョンには、人工ニューラル ネットワークが含まれています。これは、ニューロンがどのように連携するかにヒントを得たソフトウェアの一種で、特定のテキスト文字列の後に表示される単語の予測をトレーニングするために使用されます。

これらの言語モデルの最初のバージョンである GPT-2 は 2019 年にリリースされました。GPT-2 には 150 億のパラメーターがあり、これは元の人工ニューロン間の調整可能な接続の数を表す指標です。

当時、これは以前のシステムと比較して大規模なモデルでしたが、これは主にOpenAIの研究者がモデルのスケーリングによって一貫性が向上することを発見したことによるものです。さらに、同社は2020年にGPT-2の後継となるGPT-3をリリースしました。GPT-3は、さらに多数のパラメータ（1750億）を備えています。このシステムは詩や電子メールなどのテキストを生成できるため、汎用性が向上し、他の企業や研究機関に、同等、あるいはそれ以上に強力なAIモデルを独自に開発することが可能であると確信させました。

ChatGPTが11月にデビューした後、開発者や技術評論家はGPT-4が大規模で複雑なモデルをもたらすだろうと推測していました。しかし、OpenAIがついに新しいAIモデルを発表した際、同社はその規模を明らかにしませんでした。おそらく、規模がもはや唯一の重要な要素ではなくなったためでしょう。MITのイベントで、GPT-4の学習に1億ドルの費用がかかるかどうか尋ねられたアルトマン氏は、「実際には、はるかに大きな額です」と答えました。

OpenAIはGPT-4の規模と内部の仕組みを秘密にしていますが、その知能の一部は単なる規模の枠を超えていると言っても過言ではありません。考えられるアプローチの一つは、「人間によるフィードバック強化学習」を用いることです。これは、以前ChatGPTの改良に用いられた手法です。これは、人間にモデルの応答の質を評価させることで、モデルが高品質と評価される可能性の高い回答を提供するように導くものです。

GPT-4の強力な機能は一部の専門家に衝撃を与え、AIが経済を変革し、誤情報を拡散し、雇用を奪う可能性について議論を巻き起こしました。AI専門家、テクノロジー起業家（イーロン・マスク氏を含む）、そして科学者からなるグループは最近、GPT-4よりも強力な技術の開発を6ヶ月間停止するよう求める公開書簡に共同署名しました。

先週MITで、アルトマン氏はOpenAIが現在GPT-5を開発していないことを確認しました。「公開書簡の初期版では、OpenAIがGPT-5をトレーニングしていると主張していました。しかし実際には、私たちはGPT-5をトレーニングしておらず、今後もしばらくはトレーニングを続けるつもりはありません」と彼は述べました。