|
過去1年間で、大規模言語モデル（LLM）は世界的な現象となりました。2022年後半、OpenAIのChatGPTは、大規模言語モデルの革新的な機能を初めて一般公開しました。 突如として、法学修士（LLM）の知識がほとんどない人々がChatGPTを使って様々なタスクをこなす姿を目にするようになりました。「10歳の頃のように超新星について説明してください」といった質問で、複雑な概念をはるかに明確に理解できるようになります。また、ユーザーはChatGPTを使って記事から詩まであらゆるものを書くことができ、特定のスタイルや形式が求められると、信じられないほど面白い作品が生まれることもあります。バレンタインデーのリメリック？問題ありません。スターウォーズのソネット？問題ありません。より実用的な分野では、コードの作成とデバッグ、言語翻訳、メール作成などにChatGPTが利用されています。 仕事でもプライベートでも、ユーザーの選択肢は広がりました。OpenAIがChatGPTをリリースした直後、競合するLLMも登場しました。GoogleはBardをリリースし、MetaはLLaMAをライセンス供与によりリリースしました。これにより、学術機関はLLMの内部メカニズムを研究、適応、拡張できるようになりました。それ以来、テクノロジー業界では大きな躍進が起こり、大小さまざまな企業が独自のLLMを開発したり、サードパーティのLLMの機能を活用して顧客に価値を提供する方法を模索したりしています。 したがって、企業は責任ある倫理的な方法でLLMをビジネスプロセスに統合する方法を慎重に検討する必要があります。組織はまず、LLMに関連するリスクと、それらを管理および軽減する方法を理解する必要があります。 LLMのリスクを理解する 過去数か月間、LLM の多くのユーザーは、LLM が複数の障害モードを示すことが多いことに気付きました。 まず、法学修士（LLM）は非現実的な世界の事実について幻想を抱いていることが多い。例えば、ある記者がChatGPTに「ニューヨーク・タイムズが初めて『人工知能』について報じたのはいつですか？」と尋ねたところ、その答えは「1956年7月10日、『科学者たちは機械が学習し問題解決する能力を持つと予測している』という記事で、ダートマス大学で開催された会議の報告でした」だった。 タイムズ紙が指摘したように、「1956年の会議は事実だが、この記事は事実ではない」。この誤りは、法学修士課程の質問をすると、訓練されたデータに基づいて一見もっともらしい答えが捏造される可能性があるために発生します。こうした錯覚は、十分な情報、時には正しい事実の中にさえ埋め込まれていることが多く、私たちが認める以上に私たちを欺いてしまうのです。 第二に、クエリ結果はLLMトレーニングデータのバイアス（偏り）を反映する可能性があります。これは、履歴データに基づくモデルは、そのデータを最初に作成した人々のバイアスの影響を受ける可能性があるためです。研究によると、LLMは、職業や感情が「男性的」または「女性的」であるかといったステレオタイプを反映するトレーニングデータに出現するフレーズ同士を関連付ける可能性があることが示唆されています。 さらに、偏見は法学修士課程やAIのプロセスにおいて根強く残るだけでなく、増幅されることもあります。CNBCの報道によると、シカゴの歴史的データは、このデータに基づくAIアルゴリズムが「レッドライン」の差別プロセスを増幅させ、アフリカ系アメリカ人からのローン申請を自動的に拒否していたことを示唆しています。 第三に、法学修士課程の学生は、論理的思考や数値処理の適用においてしばしば困難に直面します。単純な数学の問題であれば通常は正しく解くことができますが、問題解決に必要な推論が複雑になるほど、法学修士課程の学生が誤った答えに辿り着くリスクが高まります。 Googleのブログ記事が指摘しているように、典型的な法学修士（LLM）はシステム1思考（「速く、直感的で、楽な」思考）を活用していると考えられますが、システム2思考（「遅く、熟考的で、骨の折れる」思考）を活用する能力が欠けています。システム2思考は、多くの数学の問題を解くために必要な段階的な推論の重要な要素です。Googleはブログ記事の中で、法学修士（LLM）とバード（Bard）のシステム2思考能力を高めるために開発中の新たなアプローチを概説しており、これは称賛に値します。 上記のいずれの状況においても、法学修士（LLM）は、質問に対して自信に満ちた、明確で、よく練られた回答を提供することができます。これはおそらく法学修士（LLM）の最も危険な側面と言えるでしょう。たとえそれが虚偽、偏見、あるいは誤りであっても、回答は必ず提供されなければならないのです。 これらの障害モードは、LLMベースのAIモデルの精度に影響を与えるだけでなく（例えば、誤った引用や論理的な矛盾が散りばめられた論文の要約は役に立たない！）、倫理的な影響も及ぼします。最終的には、AIモデルが不正確なデータを出力した場合、顧客（および規制当局）は企業に責任を問うことになります。 LLMの欠点を防ぐ もちろん、LLMを開発するAIエンジニアは、こうした障害モードの発生を低減し、安全対策を講じるために懸命に取り組んでいます。実際、GPT-4はこうした障害モードの低減において大きな進歩を遂げています。しかしながら、多くの企業は、他社がホストするモデル上にAIソリューションを構築することに慎重であり、それには十分な理由があります。 企業が自社のITインフラから独自のデータを外部に持ち出すことに躊躇するのは当然のことです。特に、そのデータに機密性の高い顧客情報が含まれている場合はなおさらです。セキュリティ上の懸念に対する解決策の一つとして、社内にLLM（ローカル・レバレッジ管理システム）を構築することが挙げられますが、これには多大な時間とリソースの投資が必要です。 さらに、LLMモデルがなければ、ユーザーはサードパーティ開発者の言いなりになってしまいます。サードパーティがLLMモデルをほとんど警告なしに更新し、前述のような新たな障害モードを発生させないことを保証することはできません。実際、本番環境では、モデル更新のタイミングを厳密に管理し、変更が下流に及ぼす潜在的な影響を評価するための時間を確保する必要があります。 最後に、具体的なユースケースに応じて、顧客のニーズをサポートするためのスケーラビリティ、ネットワークの遅延、コストなどの要素も考慮する必要がある場合があります。 これらの理由から、多くの企業はAIソリューションを設計する際に特定のLLMに依存していません。理想的には、LLMはプラグアンドプレイ型であるべきであり、企業は必要に応じて異なるサードパーティベンダーを切り替えたり、独自に開発したLLMを使用したりできます。 したがって、LLM をビジネス プロセスに統合することを真剣に検討している場合は、どの LLM を使用するか、別の LLM に切り替えるかどうかについて十分な情報に基づいた決定を下せるよう、動作パターン、特に障害モードの精度とインスタンスを体系的に説明する計画を作成する必要があります。 LLMの識別と検証 LLMベースのAIソリューションの行動パターンを特徴付ける一つのアプローチは、他の形態のAIを用いてLLMの出力を分析することです。インテリジェント探索は、多次元可視化と緊密に統合されたAIルーチンを用いて洞察を発見し、明確に表現するデータ探索手法です。インテリジェント探索がLLMのいくつかの障害モードを軽減する上でどのように役立つか、いくつか考えてみましょう。 例えば、顧客がLLM（ローカルマネジメントプロバイダー）に別の都市への旅行について質問できるWebアプリケーションを構築したいとします。もちろん、LLMが錯覚に基づいて美術館やその他の実在しない観光スポットを提案することは望ましくありません（例えば、質問に架空の都市が含まれている場合）。責任あるアプリケーション開発においては、クエリに含まれる特定の単語が、LLMが錯覚を生み出す可能性を高めるかどうか（ユーザーにその都市が存在しないことを思い出させるのではなく）を定性的に評価することが考えられます。インテリジェントな探索に基づくアプローチの一例としては、次のようなものが考えられます。
この AI 駆動型の視覚化手法は、LLM で幻覚を引き起こすことが多い特定の単語の組み合わせを迅速に識別したり、幻覚を回避するのに役立ちます。 別の例として、ローン申請者の書類概要に基づいて住宅ローンの承認時期を決定するためにLLM（ローン管理システム）を利用したいとします。しかし、LLMがローンの支払推奨において不適切なバイアスの影響を受ける可能性があると懸念しています。インテリジェント探索機能を使用すれば、以下のプロセスでこの潜在的なバイアスを調査できます。
ネットワーク グラフとそのコミュニティを視覚化すると、どのコミュニティが互いに密接に関連しているかがわかり、さらなる分析を促進するのに役立つことは注目に値します。 これら2つの例は、従来のAIプログラム（ランダムフォレストやルバンのアルゴリズムなど）を多次元可視化機能と組み合わせることで、LLMにおける行動パターンやバイアスを特定・分析できることを示しています。さらに、これらのプロセスを定期的に実行することで、サードパーティ製LLMの行動やバイアスが時間の経過とともにどのように変化するかを理解したり、切り替えを検討している別のLLMと現在使用しているLLMを比較したりすることも可能です。 LLMは適切に活用すれば莫大なメリットをもたらしますが、同時に重大なリスクも伴います。そのため、企業は、インテリジェントな探索に基づく一連の分析ルーチンを開発・維持するなど、LLMを自信を持って活用し、責任ある、情報に基づいた、倫理的な方法でビジネス上の問題を解決できるような方法を見つける必要があります。 著者の Sagar Indurkhya 博士は、Virtuaritics の NLP グループの責任者です。 |
