はじめに：過去1年間、大規模言語モデル技術は急速に進歩し、人工知能研究の新たな段階を告げるものとして広く認識されています。大規模言語モデル時代の到来は、知識グラフ技術にも新たな機会と課題をもたらしました。5月には、テキスト生成や画像生成などの技術を含む、知識グラフとAIGC大規模モデルの知識マップを公開しました。本講演では、大規模言語モデルの最新の研究進展に焦点を当て、大規模モデルが知識工学に提供する支援、大規模モデルの評価と適用における知識グラフの役割、そして知識グラフと大規模モデルの相互作用と統合の将来展望などについて紹介します。

主な内容は以下の部分から構成されます。

1. 大規模言語モデルと知識グラフの比較

2. 大規模言語モデルは知識の抽出を容易にします。

3. 大規模な言語モデルは知識の完成に役立ちます。

4. ナレッジグラフは、大規模な言語モデルの機能の評価に役立ちます。

5. ナレッジグラフは、大規模な言語モデルの実用化を容易にします。

6. ナレッジグラフの相互作用と統合

7. 結論

8. 参考文献

ゲストスピーカー：快手テクノロジーナレッジグラフセンター所長 傅瑞熙博士

張金東編集

コンテンツ校正 | Li Yao

コミュニティ制作 | DataFun

01

大規模言語モデルと知識グラフの比較

まず、大規模言語モデルとナレッジグラフのメリットとデメリットを比較してみましょう。

ChatGPTが昨年初めてリリースされた際、ナレッジグラフは時代遅れで、大規模モデルに置き換えられるだろうという意見もありました。しかし、1年間にわたる綿密な議論と研究を経て、業界では大規模言語モデルとナレッジグラフはそれぞれ独自の強みを持ち、互いに補完し合うことができると一般的に考えられています[1,2]。

具体的には、ディープラーニング技術に基づく大規模言語モデルは、コネクショニズムにおける近年の画期的な成果です。その利点は、自然言語の理解と生成における卓越した能力と、幅広い応用性にあります。しかし、欠点としては、パラメータ化された暗黙知の存在、捏造された事実の可能性、そして解釈可能性の欠如などが挙げられます。これは、大規模モデルによって生成されるコンテンツにおける「錯覚」現象としてよく知られています。

ナレッジグラフは記号論の集大成であり、過去10年間にわたり広く研究・応用されてきました。その利点としては、構造化された明示的な知識の提示、高い解釈可能性、そして特に特定の分野における極めて高品質な知識などが挙げられます。しかし、構築コストの高さ、不正確さの多発、自然言語処理における相対的に低いパフォーマンスといった欠点も明らかです。

では、この2つを互いの強みを補完するためにどのように組み合わせればよいのでしょうか？以下では、それぞれの相互作用をさまざまな視点から分析します。

02

大規模言語モデルは知識抽出に役立つ

まず、大規模モデルの強力な言語理解機能は、知識抽出タスクに役立ちます。

代表的な例としては、復旦大学のInstructUIE[3]や浙江大学のKnowLM[4]などが挙げられます。特定の指示を用いることで、大規模なモデルを動員し、与えられたリソースから有用な知識を抽出し、エンティティ抽出、関係抽出、イベント抽出といった様々なタスクを完了することができます。もちろん、これらの指示はSFT（深層特徴抽出）を用いて微調整することで、最適化効果を高めることも可能です。つまり、これらの指示を用いることで、与えられたコンテンツからエンティティや関係抽出といった様々な抽出タスクを容易に完了できるのです。

03

大規模言語モデルは知識の完成に役立ちます。

他の研究では、特定の指示を通じて大規模モデルからパラメータ化された知識を抽出し、それによって構造化された知識を構築して知識グラフを完成させる[5]。

大規模モデルは学習中に既に大量のテキストデータに曝露されており、そこには豊富な客観的知識が含まれているため、この知識を正確に抽出できれば、ナレッジグラフの完全性は大幅に向上すると考えられます。しかしながら、現在の大規模モデルによって生成されるコンテンツには錯覚問題が潜んでいる可能性があるため、現在の手法では目標を達成するために特定の最適化学習制約が必要であり、この分野には依然として大きな研究の余地が残されています。

04

知識グラフは大規模言語モデルの能力を評価するのに役立つ

逆に、ナレッジグラフは大規模なモデルにも役立ちます。

1. 評価セット

知識グラフは大規模モデルの評価に大きく貢献します。知識グラフは、世界知識の習得と活用という観点から、大規模モデルの能力を総合的に評価することができます。その代表的な例として、清華大学が提案したKoLA評価セット[6]が挙げられます。この評価セットは、知識記憶、知識理解、知識応用、知識革新という4つのレベルの知識認知を対象とし、大規模モデルを総合的にテストします。

2. 評価の結論

今回のテスト結果から、注目すべき興味深い結論がいくつか得られました。第一に、大規模モデルは一般的に、知識の記憶、理解、応用、革新といったタスクにおいて大きな限界があります。第二に、指示による微調整が行われておらず、人間との関連性も考慮されていないモデルの場合、知識の記憶能力はモデルのサイズと正の相関関係にあります。つまり、モデルのパラメータ数が多いほど、知識の記憶能力は強くなります。しかし、指示による微調整が行われ、人間との関連性が考慮された後では、知識の応用や革新といった高次の能力はモデルと正の相関関係にありますが、記憶や理解といった低次の能力はモデルと負の相関関係にあります。これはいわゆる「アライメント税」と呼ばれ、この発見は極めて重要です[6]。

05

知識グラフは大規模言語モデルの実用化を促進する

1. ナレッジ グラフは、外部ツールまたはプラグインとして、大規模なモデルから生成された知識コンテンツの精度と解釈可能性を向上させることができます。

ナレッジグラフ支援型大規模言語モデルのもう一つの側面は、大規模モデルの実用化を支援することです。大規模モデルの錯覚問題は、その応用を阻む重要な要因の一つです。大規模モデルによって生成されるコンテンツを誘導・制約するために、拡張モード[7]の導入が検討されています。これは、ユーザーの質問に関連するコンテンツ入力の一部を大規模モデルの参照情報として設定することで、深刻なナンセンス現象を軽減し、知識の精度と解釈可能性を向上させることを意味します。

ナレッジグラフは高品質な知識源として、知識検索の強化の基盤となります。ウェブ検索と比較して、ナレッジグラフはより信頼性の高い情報を提供し、知識更新時のエラー検出と修正が容易になります。しかし、ナレッジグラフには限界もあります。例えば、特にロングテールや複雑な知識については、カバー範囲が比較的狭く、欠落が発生しやすいという問題があります。そのため、ナレッジグラフとウェブ検索を組み合わせることは、知識検索を強化するための優れた戦略となります。

実際、Google がナレッジ グラフを提案した当初の目的は、検索エンジンのパフォーマンスを向上させることでした。

2. ナレッジグラフは、大規模なモデルによって生成されたコンテンツのセキュリティと一貫性を向上させることができます。

ナレッジ グラフは、大規模なモデルによって生成されるコンテンツのセキュリティと一貫性の向上にも役立ちます。

例えば、ハルビン工科大学は2つの解決策を提案しました。1つ目は、出力内容を事後検証するためのツールとして知識グラフを用いることで、一貫性を高めることです。例えば、左の「アリストテレスはラップトップを使用していましたか？」という例では、ChatGPTは関連コンテンツを生成する可能性があり、最初のコンテンツは「アリストテレスは2000年に亡くなりました」といったものです。しかし、この知識は知識グラフ内のアリストテレスの生年月日と死亡日と矛盾しており、矛盾が生じています。このような検証を通して、誤った知識を発見し、より客観的な事実と整合性のある回答を選択して出力することができます。

第二に、ナレッジグラフは、大規模モデルが安全でない問題を特定し、安全でないシナリオへの対応能力を強化するのに役立ちます。右の例では、ユーザーが違法行為や規則違反に関わる質問をする可能性があります。大規模モデルはナレッジグラフを用いて機密性の高い知識と関連コンテンツを特定し、より信頼性の高い回答を生成することができます。

3. ナレッジ グラフにより、大規模モデルの複雑な推論機能を強化できます。

ナレッジ グラフは、大規模モデルの複雑な推論機能を強化することもできます。

複雑な問題に直面した場合、大規模モデルは検索拡張から直接答えを得ることができません。代わりに、マルチホップ関係集合演算、属性比較などのステップを経て答えを見つける必要があり、そのためには正確な推論が求められます。

清華大学は、知識推論と質問応答に特化したプログラミング言語KoPL[8]を開発しました。この言語は自然言語を基本関数の組み合わせに変換し、複雑な質問の推論と回答を可能にします。例えば、右の例では、「レブロン・ジェームズと彼の父親のどちらが背が高いか？」という質問です。この質問は、レブロン・ジェームズの身長を求める、彼の父親の情報を調べる、彼の父親の身長を求める、そして最後に身長を比較して答えを導くといった基本的な機能に分解されます。このプロセスは、正確で厳密な推論プロセスを示しています。特筆すべきは、清華大学のプログラミング言語は、明確で透明性が高く、モジュール化された特性を備えていることです。これは、推論プロセスの表示と理解に役立ちます。これは、人間とコンピュータのインタラクションに非常に有益であり、大規模なモデル回答の解釈可能性を向上させるのに役立ちます。さらに、このソフトウェアは、さまざまな形式の異なる知識ベーステキストを処理することができ、高いスケーラビリティを備えています。

06

ナレッジグラフのインタラクションと融合

最後に、天津大学の王欣教授は、現在の研究成果[1]に基づいて、知識グラフと大規模モデルの将来の相互作用と統合についてのビジョンを共有しました。

ナレッジグラフは明確な知識構造を持ち、大規模モデルは強力なテキスト理解・生成機能を提供します。そのため、複数回の反復処理を通じて、大規模モデルとナレッジグラフが連携し、より深い意味理解、より豊かな知識表現、そしてより強力な推論機能を実現することができます。

07

結論

知識グラフと大規模モデルの相乗モデルは、ニューラル人工知能とシンボリック人工知能のサポートにおける大きな進歩となり、汎用人工知能への新たな道を切り開き、さまざまな分野での人工知能の応用の新たなモデルになると期待されています。

これらの分野には依然として多くの課題が残っており、ナレッジグラフ分野の実践者は、大規模モデル技術がもたらす変化を積極的に受け入れるべきです。一方では、大規模モデルの潜在能力を最大限に活用し、知識工学の効率性と有効性を向上させる必要があります。他方では、ナレッジグラフを活用することで、大規模モデルによって生成されるコンテンツの精度、セキュリティ、解釈可能性を高め、より深い探究を可能にする必要があります。この両者を深く統合することで、この分野はより高いレベルの発展を遂げ、多くの魅力的な研究機会が生まれるでしょう。

本日のプレゼンテーションはこれで終了です。ありがとうございました。