技術レポートのタイトル：
PaLM 2 技術レポート

技術レポートリンク:
https://arxiv.org/abs/2305.10403

PaLM-2のハイライト

• 訓練データ：PaLMはGoogleが昨年リリースした7,800億トークンの訓練データを持つ大規模モデルであり、最近リリースされたアップグレード版PaLM-2は3.6兆トークンの訓練テキストデータを持っていると言われています^[1] 。その訓練データ規模は前世代の約5倍であり、推論能力が大幅に向上しています。
• パラメータサイズ：このモデルは第一世代よりも小さくなっています。PaLM-2は約3400億個のパラメータを持ちますが、初代PaLMは5400億個のパラメータで学習されました。これは、このモデルがより複雑なタスクをより効率的に実行できることを意味します。
• 複数の言語: PaLM-2 は 100 言語のトレーニング データを使用することで、多言語アプリケーション シナリオへの適応性が向上し、言語の理解と生成機能が向上します。

研究の進捗

PaLM-2は、コードと数学、分類と質問応答、翻訳と多言語機能、自然言語生成といった高度な推論タスクにおいて優れた性能を発揮し、従来の最先端LLMモデルであるPaLMを凌駕しています。PaLM-2は、大規模言語モデルにおける3つの明確な進歩を統合することで、前身のPaLMを改良しています。

• 拡張計算最適化：拡張計算最適化に関する最近の研究では、データサイズがモデルサイズと同等かそれ以上に重要であることが示されています。著者らはこの研究をより大規模な計算で検証し、トレーニング計算量を考慮すると、最適なパフォーマンスを達成するには、データサイズとモデルサイズを約1:1の比率でスケーリングする必要があることを発見しました（モデルをデータセットの3倍の速度でスケーリングするという過去の傾向とは異なります）。この新しい手法により、PaLM-2はPaLMよりも小型でありながら、より効率的で、推論の高速化、サービスパラメータの削減、サービスコストの削減など、全体的なパフォーマンスが向上します。
• 改良されたハイブリッドデータセット：従来の大規模事前学習済み言語モデルは、英語テキストが大部分を占めるデータセットを使用するのが一般的でした。著者らは、より言語的かつ多様性に富んだ事前学習用ハイブリッドモデルを設計し、数百の言語とドメイン（プログラミング言語、数学、並列多言語文書など）をカバーしました。著者らは、より大規模なモデルが、英語の言語理解性能を低下させることなく、より多様な非英語データセットを処理できることを実証し、重複排除技術を適用することでメモリ使用量を削減しました。
• アーキテクチャと目的関数の改良：モデルアーキテクチャはTransformerに基づいています。過去の大規模モデルは、ほぼ例外なく単一の因果モデルまたはマスクされた言語モデリング目的関数のみを使用していましたが、UL2の強力な結果を踏まえ、著者らは、言語のさまざまな側面を理解できるようにモデルを学習するために調整された、複数の事前学習済み目的関数を組み合わせました。

要約すると、PaLM-2 は、計算的に最適化された拡張機能、ハイブリッド データセットの改善、アーキテクチャと目的の改善などの研究の進歩を通じて、言語を理解するためのより強力で多言語対応の包括的なモデルを提供します。

部分的な実験と結果

この報告書は、いくつかの実験を通じて次のことを明らかにしています。

• 推論：PaLM-2 は、WinoGrande や BigBench-Hard などの推論ベンチマーク タスクで最先端の結果を達成し、実験結果では GPT-4 を上回りました。
• 多言語：XSum、WikiLingua、XLSumなどのベンチマークでより良い結果を達成し、ポルトガル語や中国語などの言語でのPaLMとGoogle翻訳の翻訳機能が向上しました。
• メモリ: PaLM と比較して、PaLM-2 はリテラル メモリが大幅に削減されているため、アクセス中に攻撃者が回復できる情報の量が削減され、情報抽出攻撃を防止できます。
• さらに、PaLM-2 は、コードの作成、翻訳、生成、質問への回答など、さまざまなタスクで進歩を遂げました。

具体的には、モデルの計算効率とパフォーマンスを評価および比較するために、著者らは、図 1 に示すパターンに基づいて、1 × 10^22、1 × 10^21、および 1 × 10^20 FLOP の最適なモデル パラメーター (D) とトレーニング トークンの数 (N) を計算しました。次に、同じ事前トレーニング データセットでさまざまなモデル (400M から 15B の範囲) をトレーニングしました。

著者らは、これら 3 つの計算ポイントで各モデルの損失値を計算し、得られたトレーニング損失と対応する最適なモデル パラメータを表 1 に示しました。

さらに、著者らは、PaLM-2の様々な派生型とPaLM 540Bを単発の比較実験を行いました。その結果、最小のPaLM-2派生型でさえ、より大型のPaLM 540Bモデルと性能面で競合できる一方で、PaLM 2-Mは一貫してPaLMを上回る性能を示しました。PaLM 2-Lは以下の結果を達成しました。

• ほぼすべてのタスクにおいて PaLM よりも大幅に改善されています。
• Winograd スキーマを使用する WSC と WinoGrande でも動作は同様です。
• 敵対的自然言語推論 (ANLI) データセット、ReCoRD 常識推論データセット、および読解のための RACE データセットで大幅な改善が達成されました。

最後に、PaLM-2 は、責任ある AI 開発と安全性に対する Google の取り組みを継続します。

• 事前トレーニング データ:個人を特定できる機密情報は削除され、重複したドキュメントはメモリ効果を減らすためにフィルタリングされ、事前トレーニング データで人物がどのように表現されているかに関する分析結果が共有されました。
• 新機能: PaLM-2 は、改善された多言語の有害コンテンツ分類機能を備えており、有害コンテンツ生成用の組み込みコントロールが含まれています。
• 評価：対話、分類、翻訳、質問応答など、下流の様々な用途におけるPaLM-2の潜在的な害とバイアスを評価した。これには、生成的な質疑応答環境と、有害な言語やアイデンティティ関連の社会的バイアスに関連する対話環境における潜在的な害を測定するための新たな評価方法の開発も含まれた。

PaLM-2 は広告やコピーライティングの力を高める可能性があります。

CNBCによると、Googleは広告配信とYouTubeクリエイターの支援に新たな人工知能モデルを活用する計画だという。GoogleはAI技術をコア製品に急速に統合し、広告分野にも徐々に適用している。報道によると、LLMベースの生成AIを用いた広告の自動化と消費者向けサービスのサポートを承認したという。資料によると、Googleの一部チームはPaLM-2ベースのツールを活用し、広告主が独自のメディアアセットを生成できるようにし、YouTubeクリエイターに動画の提案を行う計画だという。

さらに、Googleは、10代向けのYouTubeコンテンツのタイトルと説明にPaLM-2を適用するテストを行っています。クリエイター向けには、この技術を用いて、関連トピックに基づいて5つの動画アイデアを提供するというアイデアを実験的に提供しています。

一方、約20年間の急速な拡大を経て、Googleは数四半期連続で収益の伸び悩みを経験しています。広告主も支出抑制のためオンラインマーケティング予算を削減しており、GoogleやMetaなどの企業を悩ませています。報道によると、Googleは生成AI製品を使った支出増加を望んでおり、Google Playストア、Gmail、Android検索、マップなど100以上の製品に生成AIベースの顧客サポート戦略を実装して、収益と利益率を向上させる計画です。これらのチャットボットは簡潔な文で具体的な回答を提供し、顧客が追加の質問をできるようにして、最適な広告プランを推奨します。この動きは、昨今の経済変化と広告主によるオンラインマーケティング予算削減の課題に対処することを目的としています。

まとめ

Googleの最近の取り組みは、Metaが最近リリースした生成型AIベースの広告ツールと連携しています。今後開催されるGoogle Marketing Conferenceでは、Googleは広告主向けの新しいAIテクノロジーを発表し、広告分野におけるその可能性を強調する予定です。

しかし、Googleは技術レポートの中で、PaLM-2シリーズについて議論する際には、事前学習済みモデル（様々なスケール）、これらのモデルの微調整版、そしてこれらのモデルを用いたユーザーインターフェース製品の違いを明確にすることが重要であると強調しています。特にユーザーインターフェース製品には、通常、追加の前処理および後処理の手順が含まれます。さらに、基盤となるモデルは時間の経過とともに進化する可能性があります。したがって、ユーザーインターフェース製品のパフォーマンスは、本レポートで報告された結果と全く同じであるとは期待できません。

最後に、Googleの新しいモデルが広告とクリエイティブ分野を真に強化するならば、クリエイティブ分野におけるテクノロジーの新たな大きな前進となるでしょう。この取り組みは、人工知能技術の発展をさらに推進し、広告とクリエイターへのより強力でパーソナライズされたサポートを提供することで、クリエイティブ分野に新たな機会と課題をもたらすでしょう。私たちは今後もこれらの技術の発展を注視し、コンテンツ制作業界と市場に新たな影響を与えることを楽しみにしています。

参考文献