Alibaba Cloud OpenSearch LLM Intelligent Question Answering Edition は、OpenSearch がリリースしたワンストップですぐに使用できる検索拡張生成 (RAG) クラウド製品であり、開発者がマルチモーダル会話型検索サービスを迅速に構築するのに役立ちます。

OpenSearch LLM Intelligent Question Answering Editionは、2023年6月の発売以来、数百社のクラウド顧客によるRAGシステムの構築をサポートしてきました。製品ガイダンス、インテリジェントカスタマーサービス、エンタープライズナレッジベースなど、多くの典型的なアプリケーションシナリオに適しています。AI技術の急速な発展に伴い、OpenSearchも機能をアップグレードし、より高品質なRAGクラウド製品を継続的に開発しています。

この記事では、OpenSearch の最近のアップグレードに焦点を当てます。

最新のオープンソース大規模モデルを内蔵

OpenSearch LLM Intelligent Question Answering Editionは、オープンソースの大規模モデルの最新バージョンに対応しました。昨年リリースされたモデルと比較して、新世代の大規模モデルはトレーニングデータが7倍、コードサイズが4倍に拡大しました。標準テストセットにおけるパフォーマンスも多くの有名モデルを上回り、「市場で最高のオープンソース大規模モデル」として知られています。

RAGシナリオにおいても、最新の大規模モデルは非常に優れたパフォーマンスを発揮します。同様のモデルパラメータスケールにおいて、生成された結果の冗長性が大幅に削減され、要約能力が著しく向上し、英語シナリオではさらに優れたパフォーマンスを発揮します。

第2世代の大規模モデル生成結果

第3世代の大規模モデル生成結果

現在、OpenSearch LLM Intelligent Question Answering Editionは、大規模モデルテスト向けの最新バージョンをリリースしています。ご興味のあるお客様は、ぜひ比較・テストをお試しください。

中国語の意味理解能力がC-MTEBリストでトップ

意味理解は検索の基盤であり、RAG システムの精度に影響を与える重要な要素です。

OpenSearch は、独自に開発した高密度 + 疎なハイブリッド ベクトル モデルに基づいて、より正確な意味理解機能を構築し、現在では C-MTEB 中国ベクトル モデル リーダーボードでトップに立っており、多くの有名な国内外のベンダーやオープンソース モデルを上回っています。

OpenSearchの優位性は、特に再現率指標において顕著です。再現率が高いほど、大規模な対話モデルはより十分なコーパス入力を取得でき、より高品質な回答を生成できます。

マルチモーダルモデルが次世代の画像理解を可能にする

電子商取引のショッピングガイド、インテリジェントなカスタマーサービス、企業のナレッジベースといったシナリオでは、大量の重要な情報が画像の形で提示されます。テキストと画像を組み合わせたマルチモーダルなプレゼンテーションは、ユーザーエクスペリエンスと結果の精度を大幅に向上させます。

OpenSearch は、Qwen-VL-Max マルチモーダル ビッグ データ モデルと組み合わせることで、新世代の画像コンテンツ理解を可能にし、マルチモーダル RAG システムを構築しました。

画像結合機能には次のものが含まれます。

• 画像コンテンツの理解: Qwen-VL-Max モデルを使用して、文書内の画像情報を理解し、それを知識ベース対話および質問応答における文書知識として使用します。

例：

質問：傘は何色ですか？

答え：傘は赤いです。与えられた情報には「この画像は赤い傘の下に人が立っている場面を描いています」と記載されているため、傘は赤いと判断できます。

• テキスト情報 OCR: 画像内のテキスト情報を認識し、フォーマットされたテキストとして知識ベースに保存します。

例：

質問: その哲学書の名前は何ですか?

答え: この哲学書のタイトルは『ソクラテスの弁明』です。

• コンテキスト情報との拡張関連付け: 画像のコンテキストからのテキスト情報と画像コンテンツの補助的な説明を組み合わせることで、画像を理解する能力が向上します。
• 複数の参照画像が返されます: アップグレードされた OpenSearch LLM インテリジェント質問応答バージョンでは、質問応答結果の参照画像として複数の画像がサポートされており、操作フローチャートや製品情報の表示など、さまざまなシナリオに適しています。

スライス戦略がアップグレードされ、検索機能が大幅に向上しました。

一般的な RAG フレームワークでは、知識ベース内の長いテキスト ドキュメントが最初にスライスされ、その後、ベクトル化とインデックス構築のプロセスが実行されます。

OpenSearch LLM Intelligent Question Answeringの最新バージョンは、セマンティックスライシングや単一文スライシングなど、複数のスライシング戦略をサポートしています。2つのスライシング戦略を組み合わせることで、OpenSearchは一般的なシナリオにおいて精度と再現率を大幅に向上させます。

OpenSearch の基盤となる高性能エンジン Havenask を組み合わせることで、単一文のスライスによって大量の拡張テキストとベクトル インデックスが生成された場合でも、システムは最も関連性の高いドキュメント段落を数ミリ秒以内に返すことができるため、RAG システムの全体的なパフォーマンスと有効性が保証されます。

今後の計画

今後、OpenSearchは大規模言語モデルと自然言語処理技術を組み合わせ、インテリジェント検索技術の探求を継続し、インテリジェント検索とRAGシナリオにおけるより柔軟な利用をサポートする検索開発ワークベンチを近日中にリリースする予定です。どうぞご期待ください。