00 はじめに今回紹介する論文「Long-tail Augmented Graph Contrastive Learning for Recommendation」が、ECML/PKDD 2023 Research Track に採択されました。
01 背景推薦システムは、eコマースやオンライン広告を含む多くのオンラインサービスにおいて重要な構成要素です。従来の手法である協調フィルタリング（CF）は、ユーザーとアイテムのインタラクション（クリックやピックアップなど）を観察することで埋め込み表現を生成し、パーソナライズされた推薦において重要な役割を果たします。近年、グラフニューラルネットワークベースの推薦手法（LightGCNなど）が大きな可能性を示しています。これらの手法は、ユーザーとアイテムのインタラクションデータをグラフとして表現し、近傍情報の伝播を通じてより効果的なノード表現を反復的に学習します。従来のCF手法と比較して、GCNベースの推薦手法は高次の協調信号をより適切に捉えることができ、ノード表現の学習効率を向上させます。 GCNベースのレコメンデーション手法は有効性が実証されているものの、現実世界のシナリオにおいては依然として多くのデータスパース性の問題に直面しています。既存のモデルのほとんどは教師あり学習の訓練パラダイムに従っており、観測可能な教師信号はインタラクション空間全体のごく一部しか表さないことが多いため、これらの手法はより包括的な表現を学習するのに苦労する可能性があります。最近の研究（例：SGL、SimGCL）では、対照学習によってインタラクションデータのスパース性を軽減しようと試みられており、通常は構造摂動（ノード/エッジドロップアウト）や特徴摂動といった事前定義されたデータ拡張戦略に依存しています。しかし、これらの手法はグラフ内の先頭ノードと末尾ノード間の大きな違いを考慮せず、異なるデータセットに適応的なデータ拡張を構築する能力を欠いています。その結果、このような手法は不均一に分散した表現を生成し、対照学習手法自体の性能に影響を与える可能性があります。簡単な例を挙げると、末尾ノードは近傍ノードが少数しか存在しないため、GNNにおける末尾ノードの表現は先頭ノードの表現よりもはるかに弱くなります。構造を直接的に変化させると、すでに限られている隣接エッジの数が減少し、特徴を直接的に変化させると、多くのノイズが発生します。明らかに、先頭ノードに適用できる手法を末尾ノードに直接適用することは困難であり、これが末尾ノードにおける既存のグラフ対照学習手法の性能低下につながっています。 前述の制限と課題を考慮して、我々は新しいロングテール拡張グラフコントラスト学習（LAGCL）法を提案する。つまり、図1に示すように、(a)のヘッドユーザーと(b)のテールユーザーは同様の嗜好を持っている。我々の方法は、(c)に示すように、ヘッドユーザーから転送パターンを抽出し、それをテールユーザーに効果的に適用することを目的としています。具体的には、ヘッドノードを適応的にサンプリングして、実際のテールノードをシミュレートする疑似テールノードを生成する自動ドロップモジュールを設計する。次に、疑似テールノードの現在のサブグラフ構造とその不完全なサブグラフ構造を利用して、知識転送モジュールを学習する。このモジュールは、予測される近傍の欠落情報を追加することにより、テールノードを疑似ヘッドノード（つまり、拡張テールノード）に拡張することを目的としています。生成的敵対的ネットワーク（GAN）を用いることで、適応サンプリングによって生成される擬似テールノードが実テールノードに近づくようにすると同時に、擬似ヘッドノードが情報量と情報精度の両面で実ヘッドノードに近づくようにする。最後に、特徴量摂動下で実ヘッドノードと擬似ヘッドノードを比較学習することで、ロングテール拡張ノードの安定性と全体的な表現の均一性をさらに向上させる。 02 モデル手法このセクションでは、ロングテール強化のためのグラフ対照学習手法であるLAGCLを紹介します（図2参照）。このモデルは、典型的な対照学習パラダイムに従います。まず、適応サンプリングモジュールと知識転送モジュールを用いて、テールノードの表現を強化します。次に、特徴量摂動を用いて異なるビューを生成します。最後に、対照学習を用いて、異なるビューにおける同じノードの表現をより類似させ、異なるノードの表現をより明確に制約します。このフレームワークにおいて、モデルの主なタスクは推奨（CTR予測など）であり、対照学習モジュールと知識転送モジュールは補助的なタスクです。 図 2 には、次のように定義されるいくつかの種類のノードが含まれています。
2.1 ロングテール強化技術具体的な方法を説明する前に、まず本論文の前提と仮定をいくつか紹介しましょう。グラフでは、本論文では、ノード次数閾値kを使用して、すべてのノードをヘッド (次数> k) とテール (次数<= k) に分割しています。さらに、各ノードにはグラウンドトゥルースの近傍セットがあり、ヘッドノードは完全な近傍セットを持ち、テールノードは観測可能な近傍のサブセットのみを持っていると仮定しています。不完全な近傍情報はモデルのパフォーマンスに悪影響を及ぼします。そのため、ロングテール拡張技術は、テールノードの欠落している近傍情報を補完し、ヘッドノードとテールノードの表現の一貫性を最大化することを目的としています。この方法の背後にある直感は、現在のヘッドノードがすでにその近傍を完全に観測しているということです。ヘッドノードを適応的にサンプリングして、実際のテールノードによりよく似た疑似テールノードを生成できれば、疑似テールノードを利用してロングテール拡張戦略を学習できます。この戦略は、適応サンプリング モジュール、知識転送モジュール、生成的敵対学習モジュールの 3 つのモジュールに分けられます。 適応サンプリングモジュール（自動ドロップ）直感的なアプローチとしては、ヘッドノードの近傍ノードをランダムにサンプリングすることで擬似テールノードを生成することが挙げられます。しかし、この手法ではサンプリングプロセスをガイドする効果的な監視信号が不足しており、擬似テールノードと実テールノード間の分布に偏りが生じます。サンプリングプロセスを改善するために、学習可能な適応サンプリングモジュールを提案します。このモジュールは、主にエッジ重みの計算と重みに基づくフィルタリングという2つのステップで構成されています。ノード間の重要度重みを計算する式は次のとおりです。 A をn 個のノードのd次元表現とし、 A をグラフの隣接行列、⊙ をドット積演算とする。次に、現実的な末端ノードをシミュレートするために、各先頭ノードに範囲 [1,k] から目標数の近傍ノードをランダムに割り当て、これらの先頭ノードのノード次数をサンプリングする。 S をノードの次数行列（対角行列）とし、 はA のノード i の次数です。最後に、重要度行列Sで最大の値を持つ各ノードの隣接ノードを保持し、次のように新しい隣接行列を生成します。 δは滑らかさを制御するために使用されるハイパーパラメータであり、セット内のノードiの近傍の集合として定義されます。 知識移転モジュール適応サンプリングモジュールを実装した後、本節で設計した知識転送モジュールは、擬似末端ノードの既知の近傍欠損情報を利用して、実末端ノードの真の近傍欠損情報を予測する方法を学習します。具体的には、多層パーセプトロンを使用します。 中心ノードの表現と観測可能な近傍の表現に基づいて、欠落している近傍情報を予測します。 GNNの層を経たノードiの表現を とし、観測可能な近傍ノードの平均プーリング表現を とする。予測された近傍ノードは、末尾ノードの仮想近傍ノードとしてメッセージ伝播に参加する。したがって、適応サンプリングによって生成されるスパースグラフにおいて、擬似先頭ノードiの情報集約関数は以下のようになる。 元のグラフAのヘッドノードiの情報集約関数は次のとおりです。 知識伝達関数をトレーニングするために、次の損失を定義します。 生成的敵対的学習モジュールロングテール強化戦略をより効果的に学習するには、適応サンプリングモジュールによって生成される擬似テールノードを、実テールノードに可能な限り近づける必要があります。そのため、スパースグラフにおいて以下の操作を定義します。 さらに、知識移転モジュールによって生成される擬似ヘッドノードは、実際のヘッドノードに可能な限り近い値である必要があります。これら2つの点を実現するために、生成的敵対的ネットワーク（GAN）を導入します。識別器は、ノード表現に基づいて擬似ヘッド/テールノードと実際のヘッド/テールノードを区別することを目的とし、生成器は、提供されたすべての情報が識別器によって実際の情報として分類されることを保証することを目的としています。具体的には、擬似テールノードと実際のテールノードの間に以下の敵対的制約を定義します。 擬似ヘッドノードと実ヘッドノードの間には、次の敵対的制約が定義されています。 識別器ネットワークの場合、入力はノードの表現であり、出力はノードが実際のクラスに属する確率であり、次のように定義されます。 2.2 比較学習 上記の知識転送モジュールに基づいて、次の式を使用して末尾ノードの拡張ノード表現を取得できます。 次に、SimGCLの特徴摂動法を参照しました。これは、空間内の同じ象限内でベクトルをわずかに回転させることによって新しいビューを生成するものです。この操作は次のように定式化できます。 その中で、摂動ベクトルは...に従います。 ハイパーパラメータϵ は摂動の強度を制御します。簡略化のため、GNNのL層における集約後のノードiの最終表現を使用します。ここで、 ϵ と ϵ は対照学習に必要な2つのビューです。最後に、InfoNCEを用いて、同一ノード間の表現の一貫性を最大化し、異なるノード間の表現の類似性を最小化します。InfoNCEの定義は以下のとおりです（ユーザー側を例に挙げます）。 ここで、 s (⋅) はコサイン類似度などの距離指標関数であり、 γは定義済みのハイパーパラメータ（温度）です。同様に、アイテム側の対比損失を計算することができ、対比学習モジュールの最終的な損失関数は次のようになります… 2.3 マルチタスクトレーニング LAGCLでは、主要な推奨タスクといくつかの補助タスク（知識移転、敵対的ネットワーク、対照学習など）を含むマルチタスク学習戦略を用いて共同最適化を行います。目標は、以下の式を最小化することです。 ここで、 θはモデルパラメータ、 は各補助タスクの強度を制御するために使用されるハイパーパラメータ、 は主な推奨タスクの損失関数です (この論文では、ベイジアン パーソナル ランキング (BPR) 損失を使用しています)。 03 実験3.1 有効性実験私たちは、データ サイズとスパース性が異なる 3 つの公開データセット (Yelp2018、Amazon-Book、Movielens-25M) でモデルを検証しました。 実験結果に基づくと：
3.2 アブレーション実験実験において各サブモジュールの有効性を検証しました。「w/o AD」は適応サンプリングをランダムサンプリングに置き換えたこと、「w/o KT」は末端ノードにおける近傍情報の欠落を補う知識移転モジュールを削除したこと、「w/o GAN」は学習からすべての敵対的生成ネットワークを削除したことを表します。これらのアブレーション実験から、以下の結論が導き出されました。
3.3 詳細なモデル分析分布均一性分析LAGCLをより深く理解するために、モデルトレーニング中に生成されたユーザーとアイテムの表現を視覚化します。先行研究[3,4]では、対照学習と表現の均一性の間に強い相関関係があることが示されています。そのため、より均一な表現分布により、モデルが異なるユーザーの好みやアイテムの特性をよりよく捉えることができると仮定しています。図に示すように、対照学習を行わないLightGCNではアーク上に複数のクラスターが見られますが、他のグラフ対照学習手法ではより均一な表現分布が見られます。ベースラインの中ではSimGCLが最も優れたパフォーマンスを発揮しますが、提案手法ではSimGCLと比較してアーク上の暗い領域が少なく、より均一な分布を示しています。 ロングテールパフォーマンス分析LAGCLがテールノードに本当にパフォーマンス向上をもたらすかどうかを調査するため、ユーザー-アイテム二部グラフの次数に基づいてユーザーノードを10グループに分割しました。グループIDが小さいほど、ノード次数が低く、ユーザーアクティビティも低いことを示しています。結果は、LAGCLが低アクティビティユーザーに対してより大きなパフォーマンス向上をもたらす一方で、高アクティビティユーザーでは他のベースラインと比較してほとんど差がないことを示しています。注：観測された指標はリコールです。低アクティビティユーザーはアクティビティが少ないため、リコール計算における分母は高アクティビティユーザーよりもはるかに小さくなり、テール効果がヘッド効果よりも大きくなる傾向があります。 閾値k感度分析ヘッドノードとテールノードを分割するための閾値kについて、パラメータ感度分析を実施しました。Yelp 2018データセットでは、 k = 20のときにモデルは最高のパフォーマンスを達成しました。kが大きくなっても小さくなってもパフォーマンスは低下し、以下の結論に至りました。
04 要約本論文では、新たなロングテール拡張グラフコントラスト学習（LAGCL）手法を提案する。この手法により、モデルはヘッドノードとテールノード間の知識を同時に考慮できるようになり、ロングテール拡張技術によってより均一で正確なノード表現を生成することで、GNNベースの推奨タスクを改善する。具体的には、予測された近傍欠損情報を用いてテールノードの表現を拡張する。プロセス全体を学習可能にするために、ヘッドノードから疑似テールノードを生成する適応サンプリングモジュールと、疑似ヘッドノードから疑似テールノードを再構築する知識転送モジュールを設計する。最後に、生成的敵対ネットワークと対照学習に基づくトレーニングフレームワーク全体の信頼性を確保する。実験結果は、この手法の有効性を示している。 05 著者略歴Zhao Qian（im0qianqian、Qianqian）は、コンピュータ愛好家であり、テクノロジーオタクでもあります。ACM（American Computer Group）の退職者（CF 2000+）。主な研究分野は、グラフ学習、レコメンデーションアルゴリズム、大規模言語モデル、ナレッジグラフアプリケーションです。SemEval 2020やWSDM Cup 2022などの国際大会で好成績を収めています。 |
