大規模言語モデル（LLM）は、大量のテキストデータで学習されたディープラーニングモデルであり、自然言語テキストを生成したり、言語テキストの意味を理解したりすることができます。LLMは、テキスト分類、質問応答、対話など、様々な自然言語タスクを処理でき、人工知能への重要な道筋となっています。

本質的に、人間のフィードバックに基づく強化学習（RLHF）は、対話型学習アプローチを採用しています。モデルがテキストを生成する際、ユーザーに評価を求めます。例えば、テキストが適切か、正確か、意味があるかなどです。ユーザーからのフィードバックを分析することで、モデルは改善の余地を特定し、より高品質なテキストの生成を試みます。

LLMは過去10年間で急速な進歩を遂げており、特に2012年にGPT（Generative Pre-trained Transformer Model）が開発されて以来、その進歩は目覚ましいものがあります。2018年にリリースされたGoogleのBERTは、機能とアーキテクチャの大きな進歩を示しており、その後、2022年にOpenAIのGPT-3、そして今年はGPT-4がリリースされました。

同時に、大規模なオープンソースAIモデルは、スパムや誤情報の生成から合成生物学に至るまで、悪用されるリスクをはらんでいます。しかし、ここ数ヶ月の間に、MetaがリリースしたLlama 2など、オープンソースの代替モデルも登場しています。

大規模言語モデル（LLM）の基本的な応用

LLMに関するすべてが新しいため、この技術が実現できる可能性、あるいは実現できない可能性についてはまだ探求中です。LLMの応用範囲は非常に広く、チャットボット、テキスト生成、自動翻訳、感情分析、情報抽出など、多岐にわたります。

例えば、訓練を受けた法務・法務・法務の専門家（LLM）が顧客との会議をリアルタイムで書き起こし、要約し、その議事録を営業、マーケティング、製品チームと共有するといった状況を想像してみてください。組織のウェブページが複数の言語に自動翻訳されるかもしれません。どちらの場合も、結果は不完全かもしれませんが、人間のレビュー担当者が迅速に確認し、必要に応じて修正することができます。

コーディングの面では、多くの社内開発環境がAIを活用したコード自動補完をある程度サポートするようになりました。GitHub CopilotとAmazon CodeWhispererはこの分野のリーダーであり、自然言語データベースクエリなどの関連アプリケーションも大きな可能性を秘めています。LLMはソースコードから開発者向けドキュメントを生成することもできます。

LLMは、特定の業界における他の形式の非構造化データを扱う際に役立ちます。ウェルスマネジメント分野において、SingleStoreの最高マーケティング責任者であるMadhukar Kumar氏は、「私たちは、大量の非構造化データを抱え、LLMを用いて簡単な英語でクエリを実行したいと考えているクライアントと仕事をしています」と述べています。

SingleStore は、顧客が LLM を使用して決定論的クエリと非決定論的クエリの両方を実行していることを認識しています。

クマール氏は、「資産管理では、SQL によるデータベース クエリと、非構造化 PDF データを処理する機能の両方が必要です」と指摘しています。

大規模言語モデルは、感情分析などの分野に応用されています。顧客満足度向上のためのデータやフィードバックを収集したい企業にとって、非常に有用です。感情分析は、大量のテキストに共通するテーマや傾向を特定するのにも役立ち、意思決定やよりターゲットを絞ったビジネス戦略の策定に役立ちます。

ただし、LLMは完全に信頼できるわけではないことに注意が必要です。したがって、人間の監視なしに精度が求められるシナリオでは使用しないでください。

LLMをゼロから学習させるのは依然として困難な作業であるため、可能な限り既存のモデルを基に構築する方が賢明です。Kumarの協力を得て、現在利用可能なLLMの中で最も重要な5つをリストアップしました。

大規模言語モデル（LLM）のトップ5

1. GPT-4

GPT-4は現在この分野のリーダーであり、OpenAIはGPT-4をベースに素晴らしい製品を構築しました。GPT-4は、プラグインの作成やコードと関数の実行を可能にする効果的なエコシステムを備えており、特にテキスト生成と要約に優れています。

クマール氏は、「GPT-4 は少し保守的ですが、特にコード生成の点では 3.5 よりもはるかに正確です」と述べています。

2. クロード2

Anthropic の Claude 2 は今年 7 月にリリースされ、API および新しいパブリック ベータ Web サイト claude.ai 経由でアクセスできます。

Claude の最大の利点はコンテキストウィンドウのサイズです。最近、コンテキストウィンドウのサイズが 9KB から 100KB に拡張され、GPT-4 がサポートする最大 32KB を大幅に上回りました。これは約 75,000 語に相当し、企業は数百ページにも及ぶ資料を Claude に提出して分析することが可能です。

3. ラマ2

Meta が新たにリリースした Llama 2 は、このリストで最初のオープンソース モデルですが、一部の業界アナリストは、Meta が Llama 2 を「オープンソース」と位置付けていることに疑問を呈しています。

研究および商用目的では無料で使用できますが、ライセンスに関していくつか奇妙な制限があります。例えば、月間7億人を超えるユーザーを抱えるアプリケーションやサービスでこの技術を使用する場合は、特別なMetaライセンスが必要です。また、コミュニティ規約では、Llama 2を他の言語モデルの学習に使用することは禁止されています。

オープンソースには、特に研究においては利点がありますが、モデルのトレーニングと微調整にかかるコストが高いため、商用 LLM の方がパフォーマンスが優れています。

Llama 2のホワイトペーパーに記載されているように、クローズドプロダクトであるLLMは、人間の好みに合わせて広範囲にわたる微調整が行われ、ユーザビリティとセキュリティが大幅に向上します。このステップには、多大な計算コストと手作業によるアノテーションコストがかかる可能性があり、不透明であったり再現が困難であったりすることが多く、AIアライメント研究の進展におけるコミュニティの進歩を制限しています。

今年2月、MetaはLlama 2の前身となるLLaMAをリリースし、そのソースコードを非商用ライセンスで公開しました。このソースコードはすぐにリークされ、スタンフォード大学のAlpacaや、カリフォルニア大学バークレー校、カーネギーメロン大学、スタンフォード大学、カリフォルニア大学サンディエゴ校のチームが開発したVicunaなど、LLaMAをベースに構築された多くの微調整されたモデルが開発されました。

どちらのモデルも独自の合成命令トレーニング方法を採用しており、有望性を示しているものの、Llama 2 の論文では「クローズドソースの同業他社が設定した基準を満たしていない」と繰り返し述べています。

つまり、オープンソース モデルの使用に料金を支払う必要がないため、このテクノロジが特定のユース ケースで役立つかどうかを判断する場合、Llama 2 は適切な出発点となる可能性があります。

4. シャチ

Microsoft ResearchのOrcaは、私たちが選んだ最も実験的なモデルです。このモデルが興味深い理由の一つは、大規模なベースモデルから漸進的学習と呼ばれる手法を用いて自己学習する、小規模なオープンソースモデルであることです。

これは、OrcaがGPT-4などのモデルを模倣することで推論能力を向上させることができることを意味します。これは、オープンソースモデルが将来的にクローズドソースモデルとより競争力を持つようになることを示唆しており、Orcaは注目に値するモデルとなるでしょう。

5. 一貫性

Cohereは、エイダン・ゴメス氏が共同設立した企業が支援するもう一つの商用製品です。同社は中立的なプロバイダーとして位置づけ、Microsoftなどのクラウドプロバイダーに依存しないモデルを企業顧客に提供しています。マッキンゼーはCohereと提携し、顧客エンゲージメントの向上とワークフローの自動化を支援するカスタマイズされたソリューションを構築していると報じられています。

大規模言語モデル（LLM）の選択

LLM のリストを作成し、試用する低リスクのモデルを 1 つまたは 2 つ特定したら、観測ツールや同様のツールを評価するのと同じように、さまざまなモデルで複数のテストを実行して、どのモデルが最適かを確認できます。

複数のLLMを同時に利用できるかどうかを検討する価値があります。クマール氏は、「将​​来は1つのLLMを選択するだけでなく、異なる分野で優れた複数のLLMを選択することが重要だ」と考えています。

もちろん、データにタイムリーにアクセスできなければ、これらはすべて価値がありません。クマール氏は、「LLMは、エンドユーザーとLLMレスポンスの間に位置するため、語彙検索とセマンティック検索の実行、構造化データと非構造化データの管理、メタデータとベクトル化データの処理が可能でなければなりません。そのため、処理を数ミリ秒単位で完了できる必要があります」と述べています。