著者 | ガディ・シンガー 編纂者：岳陽 人工知能（AI）モデルの複雑性と計算需要が10年にわたって急速に増大した後、2023年にようやく状況は変わり、効率性と生成AI（GenAI）の応用に焦点が当てられました。その結果、 150億パラメータ未満の新しいAIモデル群が登場し、「機敏なAI」と呼ばれています。これらのモデルは、特定の垂直領域において、1,000億を超えるパラメータを誇るChatGPTのような大規模モデルの能力に匹敵します。GenAIが様々な業界で広く採用されるにつれて、小型で高度にインテリジェントなモデルの使用も増加しています。近い将来、GenAIアプリケーションは、少数の大規模モデルと多数の小型でより機敏なAIモデルというパターンを示すようになると予測されます。 大規模モデルは大きな進歩を遂げてきましたが、学習コストや環境コストの面では、必ずしも規模が大きいほど良いとは限りません。TrendForce[1]の推計によると、ChatGPTのGPT-4だけでも学習コストは1億ドルを超えていますが、機敏なモデルの事前学習コストは桁違いに低くなっています（例えば、MosaicMLのMPT-7Bは約20万ドル[2]）。計算コストの大部分は継続的な推論プロセスで消費されており、これは特に計算負荷の高い大規模モデルにとって大きな課題となっています。さらに、サードパーティがホストする巨大モデルは、セキュリティとプライバシーの面でも課題を抱えています。 アジャイルモデルは運用コストを大幅に削減し、適応性、ハードウェアの柔軟性、大規模アプリケーションへの統合性、セキュリティとプライバシー、説明可能性など、様々な追加的なメリットを提供します（図1参照）。小規模モデルは大規模モデルよりもパフォーマンスが劣るという認識も変化しつつあります。より小規模でターゲットを絞ったモデルは、必ずしもインテリジェント性が低いわけではありません。ビジネス、消費者、そして科学的な環境において、同等、あるいはそれ以上のパフォーマンスを提供し、時間とコストを削減しながら付加価値を高めることができます。 ますます多くのアジャイルモデルが、ChatGPT-3.5レベルの巨大モデルの性能に徐々に近づいており、その性能と適用性は急速に向上し続けています。さらに、アジャイルモデルが専門分野の独自データを活用し、クエリ要件に基づいてWebコンテンツを取得できるようになると、その精度と費用対効果は巨大な汎用モデルを上回る可能性があります。 図1. GenAIのアジャイルモデルの利点。画像提供：Intel Labs オープンソースのGenAIアジャイルモデルは進化を続け、この分野の急速な発展を牽引しています。「iPhone革命」にも似たこの革新的な技術は、「Android革命」にも似た挑戦を受けています。優れた研究者や開発者コミュニティが、互いのオープンソースの成果に基づいて、ますます強力なアジャイルモデルを構築しているからです。 01.考える、実践する、理解する: 特定のドメイン向けのアジャイル モデルは、メガ モデルの機能を部分的に実現できます。図2. 生成型人工知能機能のカテゴリー。画像提供：Intel Labs より小規模なモデルがいつ、どのように生成 AI をサポートできるかをさらに理解するには、アジャイル GenAI モデルと巨大な GenAI モデルの両方でタスクを実行するために次の 3 種類の機能が必要であることに注意することが重要です。
1.1 思考する認知能力 モデルが持つ認知能力に基づき、モデルは言語やその他の記号表現を「考え」、理解、一般化、統合、推論、整理することができます。アジャイルモデルやメガモデルはこれらの認知タスクにおいて優れたパフォーマンスを発揮しますが、これらのコア機能をサポートするために大規模なモデルサイズが必要かどうかは不明です。例えば、Microsoft ResearchのOrca [3]のようなアジャイルモデルは、複数のベンチマークにおいてChatGPTに匹敵、あるいは凌駕する理解力、論理的思考力、推論能力を示しています。さらに、Orcaは、教師モデルとして使用される大規模モデルから推論スキルを抽出できることを実証しています。 しかし、モデルの認知能力を評価するための現在のベンチマークはまだ初期段階にあります。アジャイルモデルが事前学習や微調整によってメガモデルの「思考」能力を実現できるかどうかを検証するには、さらなる研究とベンチマークが必要です。 1.2 実践的なスキル メガモデルは一般的にオールラウンダーとして位置付けられるため、より多くのスキルと知識を備えている可能性があります。しかし、ほとんどのビジネスアプリケーションでは、モデルに必要なのは特定の範囲のスキルのみです。ビジネスアプリケーションで使用されるモデルは、将来のビジネスの成長や変化する多様なニーズに対応できるよう、俊敏性と拡張性を備えている必要がありますが、無制限の数のスキルが必要になるとは考えにくいでしょう。 GPT-4は複数の言語でテキスト、コード、画像を生成できます。しかし、数百の言語を習得しているからといって、これらのメガモデルが基礎となる認知能力において必ずしも優位性を持っているわけではありません。これらのモデルは主に、スキルの数を増やすことで、より実用的なタスクを完了する能力を獲得しています。 さらに、特定の機能が必要な場合、GenAIモデルに機能特化型のエンジンを接続することができます。例えば、ChatGPTに数学プラグイン「Wolfram superpowers[4]」をモジュールとして追加することで、モデルサイズを増やすことなく、優れた数学的機能を効果的に提供できます。例えば、GPT4のプラグインも、本質的には小規模なモデルを使用して追加機能を実現しています。GPT-4モデル自体も、GPT-3.5のような単一の巨大モデルではなく、異なるデータやタスク向けに訓練された、1000億未満のパラメータを持つ複数のハイブリッドエキスパートモデルの集合体[5]であると噂されています。 より優れたスキルの組み合わせとモデルの効率性を実現するために、将来の多機能モデルでは、各モデルのパラメータ数が 150 億未満である、より小規模で焦点を絞った「ハイブリッド エキスパート」モデルが採用される可能性があります。 図3. 特徴拡張のための検索ベースモデルは、モデルサイズにほとんど依存せず、より幅広い特徴とより関連性の高い情報を提供できます。画像提供：Intel Labs 1.3 情報取得能力（内部メモリまたはリアルタイム検索） メガモデルは、パラメータ空間内で膨大なデータを記憶することでより多くのことを「知る」ことができますが、これは小規模なモデルよりも包括的な知識を与えるだけであり、必ずしもよりインテリジェントになるわけではありません。メガモデルは、全く新しいユースケースを扱うゼロショット環境において非常に価値があります。特定のターゲットシナリオや目標がない場合でも、メガモデルはほとんどの消費者にとって基礎的な知識を提供し、アジャイルモデルの改良とトレーニングにおける教師モデルとして機能します。しかし、特定のドメイン向けにトレーニングまたは微調整されたアジャイルモデルは、そのドメインやシナリオに合わせてカスタマイズされた優れた機能を提供できます。 図4. 検索メカニズムにより、小型モデルでも大型モデルに匹敵する価値を実現（Contriever検索法を使用）。画像出典：Intel Labs、Mallenら[6]の研究に基づく。 例えば、プログラミングシナリオ向けにトレーニングされたモデルは、医療AIシステム向けにトレーニングされたモデルとは異なる機能を持っています。さらに、適切に計画された内部および外部のデータセットからデータを取得することで、モデルの精度と適時性を大幅に向上させることができます。最近の研究[6]では、PopQAベンチマークテスト[7]において、わずか13億のパラメータを持つモデルでも、検索機能を使用することで、1750億のパラメータを持つモデルと同等のパフォーマンスを達成できることが示されています（図4を参照）。多芸多才なシステムと比較して、関連ドメイン知識と効率的な検索機能を備えたターゲットを絞ったモデルシステムは、より優れた使いやすさと拡張性を提供します。これはほとんどの企業にとって特に重要です。なぜなら、大規模なモデルアプリケーションでは、基本的な一般知識ではなく、ドメイン固有の知識を活用する必要があるからです。ここにアジャイルモデルの価値が存在します。 02アジャイルモデルの爆発的な成長を牽引する3つの要因アジャイル モデルの利点と価値を評価するには、次の 3 つの側面を考慮する必要があります。
モデル規模の面では、MetaのLLaMA-7Bおよび-13B[8]、Technology Innovation InstituteのFalcon 7B[9]などのオープンソースモデル、そしてMosaicMLのMPT-7B[10]、Microsoft ResearchのOrca-13B[11]、Salesforce AI ResearchのXGen-7B[12]などの独自モデルが急速に進化しています（図6参照）。高性能で小型のモデルを選択することは、運用コストとコンピューティング環境の選択の両方に大きな影響を与えます。 ChatGPT 175-Bパラメータモデルと、推定1兆8000億のパラメータを持つGPT-4モデル[13]はどちらも、トレーニングと微調整に十分な計算能力を提供するために、GPUなどのアクセラレータを大規模に導入する必要があります。対照的に、アジャイルモデルは通常、シングルソケットCPUからエントリーレベルのGPU、さらには大規模なアクセラレータクラスターまで、あらゆるハードウェアで推論を実行できます。13個以下のパラメータを持つモデルの優れたパフォーマンスに基づき、アジャイルAIの定義は現在、経験的に15個以下のパラメータに設定されています。全体として、アジャイルモデルは、新しいユースケースに対して、より費用対効果が高くスケーラブルなアプローチを提供します（アジャイルモデルの長所と短所に関する議論を参照）。 2つ目の側面であるオープンソースライセンスは、学界と産業界が互いのモデルを反復的に改良することを可能にし、イノベーションの急増を促進します。図5に示すように、オープンソースモデルは小規模モデルの機能を飛躍的に向上させました。 図5. 2023年上半期には、オープンソースの商用および非商用のGenAIアジャイルモデルの両方が爆発的な成長を遂げました。画像提供：Intel Labs 2023年初頭には、汎用アジャイル生成AIモデルのいくつかの例が登場した。最初のものはMetaのLLaMA[8]で、70億、130億、330億、650億のパラメータを持つモデルがある。70億と130億パラメータのモデルはLLaMAを微調整して作成されたもので、スタンフォード大学のAlpaca[14]、バークレーAI研究所のKoala[15]、カリフォルニア大学バークレー校、カーネギーメロン大学、スタンフォード大学、カリフォルニア大学サンディエゴ校、ムハンマド・ビン・ザイード人工知能大学の研究者によるVicuna[16]などがある。最近では、Microsoft ResearchがOrca[17]を紹介する論文を発表した。OrcaはLLaMAをベースにした130億パラメータのモデルで、巨大モデルの推論プロセスを模倣し、特定のドメイン向けに微調整される前から素晴らしい結果を達成している。 図6. GPT-4を用いたオープンソースチャットボットの相対的な応答品質とVicuna評価セットの比較。画像出典：Microsoft Research [17] LLaMAから最近派生したオープンソースのアジャイルモデルの代表例としてVicunaが挙げられます。Vicuna-13Bは、複数の大学と共同で開発されたチャットボットです。Vicunaのリリース目的は、「ChatGPTなどの既存モデルのトレーニングとアーキテクチャの詳細におけるギャップを埋める」ことでした[18]。ShareGPTからの共有対話データで微調整した後、GPT-4を使用して評価したところ、ChatGPTやGoogle Bardと比較して応答品質が90%以上向上しました[16]。しかし、これらの初期のオープンソースモデルは商業的に実現可能ではありませんでした。MosaicMLのMPT-7B[10]とTechnology Innovation InstituteのFalcon 7B[9]は、LLaMA-7Bに匹敵する品質を持つ、商業的に実現可能なオープンソースモデルとして報告されました。 図7. Orca-13BはBIG-bench Hardの複雑なゼロショット推論タスクにおいてChatGPTと同等の性能を示した。画像出典：Intel Labs [17] 研究者[11]によると、Orcaは複雑なゼロショット推論ベンチマーク（Big-Bench Hard、BBH [19]など）で命令調整モデル（Vicuna-13Bなど）を100％以上上回り、BBHテストセットではChatGPT-3.5と同等のパフォーマンスを発揮しました。Orca-13Bが他のモデルと比較して優れたパフォーマンスを示したことは、巨大モデルの大規模な理由は初期のモデルトレーニングで使用されたブルートフォース手法に起因する可能性があるという見解を裏付けています。この見解は確かに、いくつかの小さなモデルの知識と手法を改良するのに役立ちますが、一般的に、モデルの推論には必ずしも多数のパラメーターが必要というわけではありません。モデルの認知能力、スキルの習熟度、知識ベースの包括的な評価は、モデルが広く展開され、使用された後にのみ行うことができることを認識することが重要です。 本稿執筆時点で、Meta社はパラメータサイズが70億、130億、700億のLlama 2モデルをリリースしている[20]。このモデルは、第一世代のリリースからわずか4か月で大幅な改善が見られた。比較チャート[21]では、アジャイルLlama 2 13Bが、以前の大規模LLaMA、MPT-30B、Falcon 40Bと同等のパフォーマンスを達成している。Llama 2はオープンソースであり、研究および商用利用に無料で利用できる。MicrosoftやIntelを含む多くのパートナーと共同でリリースされた。Meta社のオープンソースモデルへの取り組みと広範なコラボレーションは、間違いなく、現在私たちが目にしている産業界や学界全体でのこうしたモデルの急速な進歩をさらに推進するだろう。 アジャイルモデルの3つ目の側面は、特化に関係しています。新たに登場したアジャイルモデルの多くは、LLaMA、Vicuna、Orcaなどの汎用モデルです。汎用アジャイルモデルは、パラメータメモリのみに依存し、大規模言語モデル向けの低ランク適応（LoRA）[22]や検索強化型[23]生成手法（推論中に編集されたコーパスから関連する知識をリアルタイムで抽出する）などの微調整手法を通じて、低コストで更新できます。検索強化ソリューションは、LangChain [24]やHaystack [25]などのGenAIフレームワークの助けを借りて構築および強化されています。これらのフレームワークは、インデックスを簡単かつ柔軟に統合し、大規模コーパスに効率的にアクセスし、セマンティックベースの検索を可能にします。 ほとんどのエンタープライズユーザーは、特定のドメイン向けに最適化されたターゲットモデルを好みます。これらのターゲットモデルは、主要な情報資産を最大限に活用するために、検索ベースのアプローチを採用する傾向があります。例えば、医療分野のユーザーは、患者とのコミュニケーションを自動化したいと考えるかもしれません。 これらのターゲット モデルでは、主に次の 2 つの方法を採用しています。
03生成AIアジャイルモデルのメリットとデメリット将来的には、中規模アジャイルモデルのパラメータ数は200億から250億に増加する可能性がありますが、それでも1000億パラメータの範囲には遠く及びません。MPT-30B、Falcon 40B、Llama 2 70Bなど、これら2つのパラメータ数の中間のモデルも存在します。これらのモデルはゼロショットシナリオにおいては小規模モデルよりも優れた性能を発揮すると期待されていますが、明確に定義された一連のタスク（例：質問応答、翻訳、要約）においては、小規模でターゲットを絞った検索ベースのアジャイルモデルを大幅に上回る性能は期待できません。 メガモデルと比較して、アジャイルモデルにはいくつかの利点があり、モデルがターゲットを絞り、検索ベースである場合、これらの利点はさらに増幅されます。これらの利点には以下が含まれます。
アジャイル モデルのいくつかの課題は依然として注目に値します。
04要約生成型人工知能（GAI）の飛躍的な進歩により、AIエージェントが自然言語で会話をしたり、魅力的なテキストや画像を生成したり、過去のイテレーションからコンテキストを活用したりするといった新たな機能が実現しています。この記事では、「アジャイルAI」の概念を紹介し、それが将来GenAIの導入における主流のアプローチとなる理由を説明します。簡単に言えば、アジャイルAIモデルは動作速度が速く、継続的な微調整によってより迅速に最新の状態を維持でき、オープンソースコミュニティにおける集合的なイノベーションを通じた迅速な技術イテレーションに適しています。 数多くの事例が示すように、メガモデルの進化が示す優れたパフォーマンスは、アジャイルモデルを巨大なメガモデルと同一視する必要がないことを示しています。基本的な認知能力を習得し、必要な機能をカスタマイズし、オンデマンドでデータを提供することができれば、アジャイルモデルは業界に最大の価値をもたらすことができます。 もちろん、アジャイルモデルがメガモデルに取って代わるわけではありません。メガモデルは、ゼロショットの即戦力シナリオにおいて、依然として優れたパフォーマンスを発揮する可能性があります。また、大規模モデルは、より小規模なアジャイルモデル（教師モデル）を改良するためのソースとしても機能します。メガモデルは、幅広い用途に対応するための豊富な追加メモリと複数のスキルを備えていますが、この汎用性はほとんどのGenAIアプリケーションにとって必ずしも必須ではありません。むしろ、ドメイン固有の情報とスキルに基づいてモデルを微調整する機能と、ローカルおよびグローバルリソースから最新の情報を取得する機能により、アジャイルモデルは多くのアプリケーションにとってより価値のある選択肢となります。 アジャイルでターゲットを絞った AI モデルを、既存のアプリケーションに組み込むことができるモジュールとして捉えると、次のような非常に魅力的な価値提案が得られます。
より環境に優しい一方で、巨大な生成 AI モデルと同様の機能を提供します。 少数のメガモデルは今後も目覚ましい進歩を遂げるでしょう。しかし、業界に必要なのは、おそらく数十個の汎用的でアジャイルな基盤モデルだけで、それらを用いて無数のターゲットバージョンを構築できるでしょう。近い将来、GenAIは、主にアジャイルでターゲットを絞ったセキュアなインテリジェントモジュールの統合を通じて、様々な分野の成長エンジンとして、あらゆる業界に浸透すると考えています。 終わり |
