論文ダイジェスト | GPT-RE: 大規模言語モデルに基づく関係抽出のための文脈学習

ノート作成者：張連塵（チャン・リアンチェン）、東南大学修士課程、自然言語処理と情報抽出専攻。リンク：https://arxiv.org/pdf/2305.02105.pdf

🌟GitHub でスターを付けていただけることを歓迎します:

オープンSPG: https://github.com/OpenSPG/openspg

1. 動機

多くの自然言語処理タスクにおいて、コンテキスト学習はフルリソースのファインチューニング手法に匹敵するか、あるいはそれを上回る性能を達成している。しかし、関係抽出タスクにおけるその性能は依然として不十分である。GPT-3を例にとると、関係抽出タスクにおける一部のGPT-3ベースのコンテキスト学習抽出手法の不十分な性能は、主に2つの側面に起因している。①取得されたデモンストレーション例におけるエンティティと関係の関連性が低い。②大規模言語モデルがNULL例を定義済み関係タイプとして誤分類する傾向が強い。①の理由は主に、上記の方法がランダム選択または文表現に基づくK近傍検索によってデモンストレーション例を取得することに起因している。これにより、デモンストレーション例におけるエンティティと関係の関連性が低くなる。②の理由は主に、このタイプにはさまざまな未定義の関係のセットが含まれているため、NULL例の複雑さが定義済みタイプに準拠した例と比較して高いことに起因している。これらの問題に対処するために、本論文では、エンティティ認識検索戦略と事実ラベル誘導戦略を組み合わせた GPT-RE を提案し、関係抽出タスクにおける大規模言語モデルに基づくコンテキスト学習のパフォーマンスを向上させます。

2. 貢献

本論文の主な貢献は、1) エンティティを考慮した検索戦略と事実ラベル誘導戦略の提案です。エンティティを考慮した検索戦略は、デモンストレーション検索におけるエンティティ情報を組み合わせることで、関係抽出タスクに適した表現を得ることができます。事実ラベル誘導戦略は、大規模言語モデルをより理想的な結果に導くことができます。2) 上記の2つの戦略を組み合わせた大規模言語モデルに基づくコンテキスト学習フレームワークが、関係抽出タスクにおいて良好な結果を達成できることを実験的に検証しました。テストデータセットにおけるそのパフォーマンスは、既存の完全教師ありベースラインモデルに追いつくか、あるいはそれを凌駕しました。

3. 方法

図1. GPT-REフレームワーク。GPT -REは、GPT-3を用いたコンテキストベースの関係抽出フレームワークです。具体的な手法は以下のとおりです。3.1ヒント構築： GPT-REのヒントは、主に3つの部分で構成されています。①タスクの説明と定義済みの関係タイプ、②数ショットのデモンストレーション例、③入力サンプルです。ヒントに含まれるタスクの説明と定義済みの関係タイプは、関係抽出タスクの説明とそれに関連する定義済みの関係タイプの簡潔な要約です。モデルはこの内容に基づいて定義済みの関係タイプを出力します。テストサンプルが定義済みの関係タイプに属さない場合、モデルはNULLラベルを出力します。数ショットのデモンストレーション例は、モデルに入力されるデモンストレーション例です。各例には、テキストとそのテキストに含まれる関係が含まれています。デモンストレーション例は、後続の推論プロセスを通じてさらに強化することができます。入力サンプルはテキストであり、GPT-3のタスクは、入力テキスト内のエンティティペアに対応する関係を見つけることです。3.2エンティティを考慮したデモンストレーション検索：表現空間においてテストサンプルに近いデモンストレーション例はモデルの性能を向上させることができるため、最近の研究ではK近傍法を用いてテストサンプルの文表現に最も類似したデモンストレーション例を選択している。しかし、文表現と関係抽出には違いがあるため、元の文脈の表現だけでは、関係抽出タスクにおけるデモンストレーション例の検索基準としては不十分である。本稿では、検索されたデモンストレーション例の品質を向上させるための2つの新しい表現獲得手法を提案する。3.2.1エンティティベースの文表現：まず、関係抽出タスクにおけるエンティティ情報の重要性を考慮し、エンティティペア情報を使用して元のコンテキストを再構築します。具体的には、元のテキスト内のエンティティペア関係タイプの説明を追加します。文の類似度を計算する際には、最先端の堅牢なモデルSimCSEを使用して文間の類似度を計算しました。 3.2.2 関係表現の微調整：関係表現にはエンティティ表現に関する情報が自然に含まれていることが多いため、コンテキストにエンティティ情報を追加するよりも直接的な解決策は、微調整されたモデルから関係表現を抽出し、デモンストレーション例の検索に使用することです。著者らは、このアプローチにより、関係抽出タスクにおけるGPT-3の制限を補うことができると考えています。GPT-3ベースのコンテキスト学習では、限られた数のデモンストレーション例のみを使用しますが、事前学習済みモデルの微調整プロセスは、トレーニングセット全体で実行できます。このアプローチには2つの利点があります。1つは、関係抽出タスクに適応した関係表現を直接使用することで、全体的な検索品質を大幅に向上させることができることです。 2つ目に、微調整されたモデルはNULL型を正確に識別できるため、NULL問題の過剰予測が軽減されます。 3.3 事実ラベル誘導推論：最近の研究では、論理的な手がかりが大規模な言語モデルを導き、望ましい出力を達成できることが示されています。この論文では、著者らはGPT-3に、対応する事実関係ラベルを使用して、各デモンストレーション例の推論ロジックを生成させます。たとえば、選択された例が与えられた場合、著者らは最初に例のテキストに基づいて手がかりを提案し、次にGPT-3を使用して、推論コンテキストにおけるエンティティペア間の関係の種類に関する論理的な手がかりを生成します。最後に、著者らは、生成された手がかりを元の例と組み合わせて、デモンストレーション例を強化します。

4. 実験

本論文では、実験データとして4つのデータセットを使用しています。3つのオープンドメイン関係抽出データセットと1つの科学ドメイン関係抽出データセット、すなわちSemeval 2010 task 8、TACRED、ACE05、およびSciERCです。これら4つのデータセットに基づく比較方法は、主に2つのカテゴリに分類されます。1つ目はPUREなどの従来の微調整ベースラインモデルです。2つ目はGPT-RandomなどのGPT-3ベースのベースラインモデルです。本論文では、これらのベースラインモデルとGPT-REについて、異なる表現を使用してデモンストレーション例を取得する際のパフォーマンスを比較し、ラベル誘導推論ヒントを追加した場合と追加しない場合のGPT-REのパフォーマンスの違いを比較します。主な実験結果を図2に示します。また、本論文では、一連のアブレーション実験と低リソースシナリオでの実験も行っています。具体的な実験結果については、元の論文を参照してください。実験結果は以下のとおりです。①デモンストレーション例を取得する際には、タスク特有の文章表現を使用する必要があり、GPT-RE_SimCSEとGPT-RE_FTはどちらもGPT-Sentよりも優れた結果を達成しました。②GPT-RE_FTのパフォーマンスは、GPT-3に基づくコンテキスト学習が関係抽出において優れた結果を達成する可能性を秘めていることを示しており、SemevalとSciERCで最先端（SOTA）の結果さえ達成しています。③GPT-RE_SimCSEと比較して、推論モジュールのGPT-RE_FTへの貢献度は低く、この実験ではGPT-RE_FTによって得られたデモンストレーション例の方が質が高いことを示しています。さらに、推論モジュールは、小さなサンプルサイズでモデルのパフォーマンスを向上させます。

5. まとめ

要約すると、本論文は、関係抽出タスクにおけるGPT-3コンテキスト学習の可能性を探求しています。このタスクにおけるGPT-3の限界に対処し、本論文ではGPT-3フレームワークと現在の最先端（SOTA）ベースラインモデルとのギャップを埋めるための2つの戦略を提案しています。実験結果では、GPT-REが3つのデータセットにおいて微調整されたベースラインモデルを大幅に上回り、SemevalとSciERCでSOTAの結果を達成することが示されています。さらに、著者らはGPT-3がNULLラベルの影響など、既存の困難をどのように克服するかについて、詳細なケーススタディを提供しています。この研究は、将来の研究にとって非常に重要です。

私たちに従ってください

公式サイトをご覧ください：spg.openkg.cn/

Github: github.com/OpenSPG/ope…

SPGナレッジグラフプラットフォームは、SPGおよびSPG + LLMデュアルドライブアーキテクチャとそのアプリケーションの最新開発情報を共有することを目的としています。QRコードをスキャンしてお気軽にフォローしてください！

HUOXIU