1. 記事の紹介

少数ショットクラス増分学習（FSCIL）は、機械学習において非常に難しい課題です。その主な目的は、モデル全体を再学習することなく、既に学習済みのクラスの知識を維持しながら、限られたデータから新しいクラスを識別することです。この目標は、限られた学習データを用いてモデルを新しいクラスに適応させる必要がある場合、特に困難を極めます。
上記の課題に対処するため、我々はMultiple Mixing Self-Distillation（M2SD）と呼ばれる革新的な戦略を提案します。この戦略は、特別に設計されたデュアルブランチアーキテクチャを採用し、特徴空間を効果的に拡張して新しいカテゴリを組み込むことができます。さらに、強化された特徴を自己蒸留プロセスを通じてベースネットワークにフィードバックする特徴強化メカニズムを導入することで、新しいカテゴリを導入しながらモデルの分類性能を大幅に向上させます。トレーニング後、システムは新しいカテゴリのインスタンスを正確に分類するために、メインネットワーク部分のみを保持します。この戦略により、モデルの効率性を損なうことなく、新旧両方のカテゴリを効率的に識別できます。

2. 出発点

少数ショット増分学習の中心的な課題は、少数ショット学習における過学習問題と増分学習における壊滅的忘却問題の両方に同時に対処する方法です。これら2つの問題は相互に関連しており、学習効率とモデルの最終的な性能に共同で影響を与えます。
少量学習のシナリオでは、データが極めて限られているため、モデルはサンプルの特異性を学習する可能性が高く、過学習のリスクが高まります。モデルが新しいクラスデータを継続的に学習する増分学習を導入すると、過学習の問題はさらに複雑になります。モデルは、少量のデータから新しい知識を学習すると同時に、既存の知識を保持する必要があります。そのため、データが限られている状況では、新しいデータに過学習してしまいやすく、古い知識の一般化と保持がおろそかになる可能性があります。同時に、増分学習における壊滅的忘却の問題が特に顕著です。新しいクラスの少量のデータを学習しようとすると、新しい情報が古いクラスから保存された情報に干渉し、以前に学習した知識が忘却される可能性があります。そのため、たとえモデルが新しいクラスデータにうまく適応できたとしても、過学習と壊滅的忘却の複合的な影響により、全体的なパフォーマンスが低下し、マルチクラス認識における一貫性を維持できなくなる可能性があります。
上記の課題に対処するため、多くの既存研究では、クラス増分プロセスにおいてより厳格な正則化を導入することで、新しいモデルのパラメータを微調整し、元のモデルへの影響を最小限に抑えることに焦点を当ててきました。これにより、新しいクラスの知識を学習しながら、古いクラスの知識を最大限に保持することができます。しかし、これらの従来の正則化手法とは異なり、FACT[1]のコンセプトは、ソフトウェアアップデートにおける前方互換性と同様に、小サンプルクラス増分学習の基本学習段階において、新しいデータの到着に備えることで、後続の増分学習段階（増分セッション）に適した特徴空間を構築することに焦点を当てた、将来を見据えたソリューションを提案しています。
FACTコンセプトに着想を得て、クラス増分学習段階において、高度にスケーラブルで包括的な特徴空間を準備することを目的とした革新的な手法「Multiple Mixing Self-Distillation for Few-shot Class-Incremental Learning (M2SD)」を提案します。全体的な考え方は図2に示されています。

M2SD法は、マルチスケール特徴抽出・融合技術を用いて、各データインスタンスに対して異なるスケールの特徴を抽出・合成することで、インスタンスの多次元特性を包括的に捉えます。この特徴合成は、先行研究における単一スケールの特徴と比較して、特徴モジュールがインスタンスの多面的な特性をより深く理解することを可能にし、モデルの包括性を向上させます。さらに、特徴抽出モジュールのスケーラビリティを向上させるために、2分岐「仮想クラス」メカニズムを導入しました。この2分岐「仮想クラス」を最適化することで、モデルは潜在的な新しいカテゴリを予測し、適応することができます。これにより、将来追加される可能性のある新しいカテゴリのための特徴空間を事前に確保することができます。この戦略は、モデルの新しいカテゴリへの適応性を向上させるだけでなく、継続的な増分クラス学習のための強固な基盤を提供し、新旧両方の知識からの課題に直面した際のモデルの堅牢性と柔軟性を確保します。

3. アルゴリズムフレームワーク

この手法の全体的な枠組みを図3に示します。提案する手法は3つの主要な段階で構成されています。最初の2つの段階はベースセッションに重点を置き、3番目の段階はインクリメンタルセッションに重点を置きます。この手法の核心は、学習プロセス全体における重要なリンクである第2段階にあります。本稿では、この段階の詳細と実装に焦点を当て、学習フレームワーク全体における中心的な役割を明らかにします。

3.1 マルチブランチ仮想クラス混合蒸留

先行研究に着想を得て、複数のインスタンスを導入し、異なる統合の観点から「仮想クラス」を構築するという革新的なアプローチを採用しました。これは、将来的に新しいカテゴリを追加するための特徴空間を確保することを目的としています。私たちのマルチブランチフレームワークでは、Mixup[2]とCutMix[3]を用いて、それぞれ異なる目標を達成しています。
Mixupは、ペアになったインスタンスを線形補間することで「仮想」インスタンスを生成し、「仮想クラス」の構築に不可欠な多様性を高めることに重点を置いています（式1）。この手法は、異なるインスタンスの特徴を混合することで、モデルがより一般化された特徴表現を学習できるようにし、新しいカテゴリの導入のための柔軟な特徴空間を提供します。Mixupを補完するCutMixは、ペア画像に対してカットアンドペーストアプローチを使用し、よりリアルなインスタンスの生成に重点を置いています。この手法は、画像内の異なるカテゴリの局所領域を直接融合することで、より複雑な現実世界のシーンをシミュレートし、モデルのリアリティを捉える能力を高めます（式2）。

これにより、MixupやCutMixなどの手法によって生成される複雑な「仮想クラス」の分布をモデルが一貫して理解し、適応できるようになります。KLダイバージェンスの使用は、モデルが「仮想クラス」空間における分布の一貫性を維持するのに役立つだけでなく、新しい未知のクラスに遭遇した際の適応と学習をよりスムーズかつ効率的にします。このアプローチは、モデルの汎化能力と安定性をさらに向上させ、増分学習における新しいクラスの課題への対応を強力にサポートします。

3.2 注意力強化による自己蒸留

4. 実験
4.1 分類実験

本研究では、主に知識蒸留に基づくアプローチを他の最先端（SOTA）手法と比較しました。実験結果は、図1に示す3つの主要なデータセットを対象としています。これらの結果は、提案手法が既存のSOTA手法よりも優れていることを明確に示しています。具体的には、CUB200データセットでは、全ステージで平均2.0%以上のパフォーマンス向上を達成しました。CIFAR100データセットでは、平均2.1%以上のパフォーマンス向上を達成しました。特に注目すべきは、miniImageNetデータセットにおける本手法のパフォーマンスで、SOTA手法と比較して平均3.2%以上の大幅な優位性を示しています。

4.2 視覚分析

私たちの分析では、特徴空間の分布を視覚化するためにt-SNE[12]を使用し、2つのt-SNEプロットの距離座標スケールが一貫していることを確認しました。具体的には、

• パート(a)では、ベースライン手法を用いた増分学習の結果を示します。このベースライン手法は、ベースセッション全体を通してクロスエントロピー損失を用いて学習され、その後の増分セッションでは本手法と同じ分類器更新戦略を採用します。
• パート (b) では、私たちの方法の増分学習の結果を示し、直感的な比較を提供し、私たちの方法がどのように特徴空間の分布を最適化および改善するかを示します。

この比較は、増分学習タスクにおいて、本手法が従来のベースライン手法に対して優れていることを明確に示しており、特に特徴表現とクラス分離における大幅な改善が顕著です。これは、本手法の有効性を証明するだけでなく、複雑な学習タスクの処理における実用的価値を浮き彫りにしています。

特徴ベクトルベースの分析において、本手法はベースライン手法と比較して大幅な性能向上を達成しました。平均クラ​​ス内距離は27%減少し、平均クラス間距離は22%増加しました。この結果は、本手法がモデルのクラス識別能力を向上させる有効性を示すだけでなく、特徴表現を最適化してクラス分離を向上させるという利点も強調しています。クラス内分散を減少させながらクラス間分散を増幅させることで、本手法はモデルの汎化能力と分類性能を大幅に向上させ、非常に困難な学習タスクの処理における実用的価値と優位性を証明しています。

4.3 アブレーション実験

5. まとめと展望

少数ショット増分学習問題に効果的に対処するために、本手法ではまず、二分枝仮想クラス蒸留戦略を導入し、特徴空間を拡張することで、既存のクラスと将来追加される可能性のあるクラスの両方を収容できるようにします。この戦略の有効性は、数値解析と可視化によって検証します。さらに、特徴量強化と自己蒸留の手法を採用することで、「仮想クラス」特徴量の潜在能力を最大限に活用し、特徴空間の互換性を向上させます。これらの手法を組み合わせることで、FSCILチャレンジに適応した特徴空間を構築できます。

● 論文タイトル:
M2SD: 少数ショットクラス増分学習のための多重混合自己蒸留
● 論文著者:
リン・ジンハオ、ウー・ジーヘン、リン・ウェイフェン、ファン・ジュン、ルオ・ロンファ