インタラクティブAIアプリケーションにおける大規模モデル技術の探求と実践を通じて、ユーザーエクスペリエンスとプラットフォームインタラクションの向上におけるその顕著な有効性を目の当たりにしてきました。この技術は、ユーザーのエンゲージメント率とエンゲージメント期間を向上させるだけでなく、より豊かなインタラクティブエクスペリエンスを提供するための新たな道を切り開きます。こうした認識に基づき、私たちは3つの主要な開発目標を設定しました。第一に、さまざまなインタラクティブシナリオにおける大規模モデルの適用範囲を拡大し、より多くのコンテンツとユーザーグループをカバーすること。第二に、大規模モデルがさまざまなインタラクティブニーズに対応できるように能力を向上させ、より幅広い垂直産業に適応すること。そして最後に、大規模モデルに基づくAIアプリケーションを継続的に革新・改善し、インタラクティブモードを絶えず最適化・再構築することです。これらの目標を達成することで、インタラクティブエクスペリエンスにおけるプラットフォームの主導的地位を維持しながら、ユーザーエンゲージメントを大幅に向上させることができます。

これらの戦略の実装中に、一連の重要な課題と問題点が徐々に浮上しました。まず、データの断片化の問題があります。さまざまな種類のリソースデータが異なるメッセージキューに散在しているため、データ統合が複雑になり、アーキテクチャの重複につながります。次に、現在のPrompt評価プロセスは手動による介入に過度に依存しており、作業効率が低下するだけでなく、Promptの更新と展開の速度も遅くなります。さらに、効果的なデータフライホイールメカニズムがないため、包括的で明確なデータフィードバックを得ることが困難であり、モデル出力のパフォーマンスの正確な評価と迅速な反復的な意思決定を妨げています。最後に、大規模モデルに基づく多くのアプリケーションは、処理フローの一貫性が非常に高いものの、複数のコードセットを記述する必要があり、リソースと時間の無駄になっています。

これらの課題に対処するため、大規模モデルアプリケーション開発実践プラットフォームの構築を提案します。このプラットフォームは、AIアプリケーションのデータ統合、プロンプト評価、モデル反復プロセスを簡素化し、不要な重複や冗長性を排除することで、全体的な効率と出力を向上させることを目的としています。AI生成データを一元的に管理・分析することで、AIアプリケーションにより正確なデータサポートを提供し、プロンプト生成プロセスを最適化します。これにより、AIアプリケーションの反復速度が加速されるだけでなく、継続的なモデル最適化のための強固な基盤が提供されます。このプラットフォームを通じて、AI技術の効率的かつ信頼性の高い実装を実現しながら、高品質なAIインタラクティブエクスペリエンスを提供できると期待しています。

GPTやWenxin Yiyanなどの大規模モデルは強力な言語理解・生成機能を備えていますが、特定のタスクに対する直接的な最適化が不足していることがよくあります。このような場合、大規模モデルの出力を最適化するには、プロンプトエンジニアリングが必要です。プロンプトエンジニアリングは、モデルが特定のタスクの要件をより適切に理解できるように支援し、そのタスクにおけるパフォーマンスを向上させると同時に、時間とリソースを節約し、ユーザーエクスペリエンスを向上させます。

従来の R&D サイクルと同様に、プロンプト エンジニアリングにも独自のライフ サイクルがあり、一般的に次のステップに分けられます。

一般的に、プロンプトの評価と最適化は継続的なサイクルです。プロンプトのパフォーマンスが期待どおりになった場合にのみ、統合と導入が進められます。導入後は、さらなる調整と最適化を行うために、本番環境で生成されたデータをタイムリーに監視する必要があります。

△ プロジェクトライフサイクルリマインダー

上記の課題に対処するため、大規模モデルアプリケーション開発実践プラットフォームを構築しました。このプラットフォームは、インタラクティブAIアプリケーション向けに特化して設計されており、リソース情報に基づいて生成されるインタラクティブコンテンツの管理と最適化を一元化することを目的としています。このプラットフォームは、データストリームへの統合アクセスと大規模言語モデルの集中的な呼び出しを可能にし、コンテンツ生成と処理のワークフローを大幅に簡素化します。現在、このプラットフォームは6つの主要機能を備えており、その全体的なアーキテクチャを下図に示します。

3.2.1 迅速な評価

大規模モデルアプリケーション開発実践プラットフォームの導入により、Prompt評価のスピードと効率が大幅に向上し、これまで手作業に依存していた煩雑なプロセスが、高効率な自動化ワークフローへと進化しました。ユーザーは、Promptを提出し、評価条件を選択して結果を待つだけで済みます。以下のPrompt評価フローチャートは、Prompt評価におけるプラットフォームの主なメリットを明確に示しています。

△迅速な評価プロセス

3.2.2 プロンプト起動

大規模アプリケーション開発実践プラットフォームは、Promptの導入とホスティングを含むワンストップのPrompt管理サービスを提供しており、Promptの効率的な管理と適用を実現します。フローチャートに示すように、Promptの評価が完了し、所定の基準を満たすと、以下の手順が自動的に実行され、迅速かつシームレスなPromptの導入が保証されます。

この時点で、当社のプラットフォームは、Prompt のテストと展開の全プロセスを高効率で完了しました。

△迅速評価開始フローチャート

3.2.3 QEP（ 品質評価プラットフォーム）との統合

自動化ツールは効率性の向上と人件費の削減において大きな成果を上げていますが、Promptの品質評価は依然として人手によるレビューに依存しています。このプロセスは時間がかかるだけでなく、主観的な判断に左右されやすく、Promptの反復開発のスピードと規模を制限しています。さらに、インタラクティブAIアプリケーションの成長と複雑化に伴い、評価メカニズムに対する要件も高まっており、従来の人手による評価方法では、現代の大規模AIアプリケーションの急速な開発ニーズを満たすことが困難になっています。

これらの課題に対処し、Promptの評価プロセスをさらに自動化するため、QEPプラットフォームとの統合を決定しました。QEPは、高度な大規模モデル機能を活用してPromptの有効性を自動的に評価・スコアリングすることで、人的リソースを大幅に解放し、開発チームがより価値の高いクリエイティブな作業に集中できるようにします。QEPの自動評価ツールを統合することで、当社の大規模モデルアプリケーション開発実践プラットフォームは、Promptをより正確かつ迅速に反復開発できるようになり、リリースされる各Promptが高品質基準を満たすことを保証できます。これにより、Promptの最適化サイクルが加速されるだけでなく、ユーザーにはより豊かで正確なインタラクティブ体験を提供できます。

△ プラットフォームPromptのテスト開始の全景

QEPの統合により、プラットフォームの機能が全面的に強化され、Promptライフサイクルのあらゆる段階を網羅し、最適化を実現しました。これにより、Promptの自動生成と最適化の効率が向上し、AIインタラクティブアプリケーションの開発が加速し、ユーザーに高品質なインタラクティブエクスペリエンスを提供します。

プラットフォームはPromptの評価と展開の全プロセスを実装しましたが、実際のオンラインパフォーマンスやユーザーの受容に関する直接的なフィードバックはまだ不足しています。この情報ギャップを埋めるために、大規模モデルから生成されたインタラクティブな素材に対するユーザーの反応を迅速に取得・分析するためのデータフライホイールの構築を提案します。このステップは、Promptの品質とインタラクティブな効果を継続的に向上させるために不可欠です。

3.3.1 フライホイールデータの基礎

フライホイール構築において、データ分析は最も重要な部分です。あらゆるインタラクティブAIアプリケーションの大規模モデルへのアクセスレイヤーとして、このプラットフォームは当然ながらデータに関する優位性を備えています。このプラットフォームに基づいてフライホイールデータ分析を構築する主な手順は次のとおりです。

△ プラットフォームデータ分析フローチャート

上記に基づいて、次の 3 つの重要なデータ ポイントを生成しました。

このように、プラットフォームのデータフライホイールは、プロンプトを最適化するための強力なツールとなるだけでなく、AIインタラクションシステム全体の効率を向上させるための重要な要素にもなります。この包括的なデータ駆動型アプローチにより、プロンプトの生成は理論と予測に基づくだけでなく、リアルタイムのユーザーフィードバックと市場動向を反映し、適応することが可能になります。

3.3.2 フライホイールのパノラマビュー

プラットフォームのデータ出力は、フライホイールの最後のピースを完成させ、相互に依存し連携する3つの主要コンポーネント（本番環境からの実世界データ生成、プラットフォームからのデータ分析、そしてPromptからの反復的な最適化）とフライホイールを統合しました。以下は、その主要要素の一部です。

データフライホイールを通じて、データドリブンなプロンプト最適化を実現し、各プロンプトが最新の市場データとユーザーデータに基づいて生成されるようになりました。この包括的なデータドリブンアプローチは、プロンプトのユーザビリティと魅力を高めるだけでなく、AIインタラクションシステム全体のパフォーマンスと効率性を向上させ、ユーザーに、よりパーソナライズされた魅力的なインタラクティブ体験を提供します。

私たちの研究では、様々なコンテンツプラットフォームのコメント欄において、ユーザーが「バーチャルキャラクター」とかなりのインタラクションを行っていることが明らかになりました。例えば、Mixue Ice Creamのアカウントがコメント欄に登場したことで、ユーザーエンゲージメントが著しく高まりました。そこで、私たちは、関連するAIキャラクターをコメント欄に埋め込む可能性を示唆しています。大規模モデルの推論能力とリソース自体のコンテンツ情報を活用することで、これらのモデルは特定の役割を担い、コメント欄内でインタラクションを行うことができます。これにより、「エンターテインメントへのモチベーション」が高まり、ユーザーの打ち解けを促し、インタラクティブな行動を刺激し、感情的な価値満足をもたらすことが期待されます。

プラットフォームのリリース前は、AIキャラクターの迅速な評価と最適化のプロセスは非効率で困難でした。この従来のプロセスでは、チームはデータ分析後に多数の操作と反復を手動で実行する必要があり、多くの場合、数週間から数ヶ月かかり、AIキャラクターの展開が遅れていました。プラットフォームはこのような状況を一変させました。統合された自動化ツールと効率的なデータ処理機能により、評価と最適化の速度が大幅に向上し、数週間からわずか数日に短縮されました。この効率の飛躍的な向上により、AIキャラクターをソーシャルメディアのインタラクションに迅速に展開できるようになり、全体的な展開プロセスが大幅に加速されます。さらに、プラットフォームのワンクリック操作により、最適化されたAIキャラクターのプロモーションと適用がさらに簡素化され、面倒な再開発と展開のプロセスが回避されます。つまり、このプラットフォームは、AIキャラクターの迅速な最適化速度を大幅に加速するだけでなく、全体的な展開の効率と柔軟性も向上させ、ソーシャルメディアのインタラクションにより高速でスムーズなAIアプリケーションエクスペリエンスをもたらします。

プラットフォームの効率性が向上したにもかかわらず、プロンプト構築プロセス中の AI キャラクタープロンプトの生成速度は、以下の問題により依然として低下していました。

• 複雑な文脈理解エラー： プロンプトの開発中、特定の文化的意味合いを持つ新たなインターネットスラングやユーモアを理解する上で課題に直面しました。大規模言語モデルの強力な言語処理能力にもかかわらず、これらの複雑な文脈を理解するのは依然として困難でした。この課題に対処するため、綿密なデータアノテーション戦略を実装し、データセット内のこれらの難しい要素に詳細な文脈アノテーションと正確な感情ラベルを提供しました。これにより、モデルがこれらの特定の表現を正しい文脈で理解して使用できるようになりました。同時に、モデルがユーザーの意図をより正確に把握し、それに応じた応答を生成できるように、明確な説明を含むプロンプトを設計しました。これらの改善により、モデルは特定の文化的意味合いを持つインターネットスラングやユーモアをより適切に理解し、応答できるようになりました。

• ワンサンプルショット： 当初は、厳選された少数のサンプルを提供することで、モデルの理解と生成を導くことを目指し、Few-Shot Learningアプローチを試しました。しかし、サンプルが多すぎると、モデルは特定のサンプルに過剰適合してしまい、新しい未知の状況に一般化できないことがわかりました。さらに、多数のFew-Shotサンプルを処理すると、計算負荷が増加し、応答効率が低下します。Zero-Shot Learningの試みでは、複雑なインターネットスラングや文化的ミーム、特に微妙な感情や皮肉を含むミームの意味を正確に把握できないことがあることが分かりました。さらに、具体的なサンプルが不足しているため、モデルの応答生成における文脈的関連性が欠如していました。これらの制約を考慮し、最終的にOne-Sample Shot戦略を採用しました。各プロンプトに対して、特定の文脈における意味と感情を網羅するのに十分な代表性を持つ、厳選されたサンプルを提供します。このシンプルなサンプルは、モデルが特定のインターネットスラングやミームを理解するための基本的な枠組みを構築するのに役立ちます。例えば、人気のあるインターネットミームの場合、ミーム自体のサンプルだけでなく、その起源、使用シナリオ、そして想定される反応についても説明を提供します。こうした単一でありながら有益なサンプルを用いることで、モデルは大量のサンプルに過度に依存することなく、新しい用語やミームをより深く理解し、適応することができます。ワンサンプルショットによって、モデルの汎化能力とパーソナライズされた反応の必要性のバランスをうまくとることができ、AIキャラクターは計算リソースを効率的に利用しながら、ユーザーとより正確にインタラクションできるようになります。

AIキャラクターがコメント欄に導入されて以来、ユーザーの参加とコメント活動が大幅に増加し、コメント欄の雰囲気が効果的に盛り上がりました。AIキャラクターのコメントはネットユーザーからも好評で、いいねや返信が多数寄せられました。以下はAIキャラクターの効果を示すスクリーンショットです。

大規模モデルアプリケーション開発実践プラットフォームを構築することで、Promptの評価、展開、継続的な監視と調整というプロセス全体を実装し、インタラクティブAIアプリケーションの反復速度を大幅に加速することに成功しました。しかし、新たな課題にも直面しています。インタラクティブなビジネスシナリオの複雑性と多様性が増すにつれ、大規模モデルの出力が特定のシナリオのニーズを完全に満たすとは限りません。この問題に対処するため、教師ありファインチューニング（SFT）や人間からのフィードバックによる強化学習（RLHF）といった、より高度なファインチューニング手法を導入する予定です。これらの手法により、大規模モデルのより深いカスタマイズと最適化が可能になり、モデル出力が複雑なインタラクティブシナリオにより適切に適応できるようになります。