2.1 技術的背景

2.2 拡散モデルに基づくポスターレイアウト生成

拡散モデルは、マルコフ連鎖を用いてノイズをデータサンプルに変換する確率的生成モデルの一種です。上図に示すように、ポスターレイアウト生成問題をノイズからレイアウトへの生成プロセスとして扱い、ノイズの多いレイアウトを段階的に調整するノイズ除去モデルを学習します。したがって、拡散モデルによって生成されるポスターレイアウトには、拡散プロセスとノイズ除去プロセスの2つのプロセスが含まれます。ポスターレイアウトが与えられた場合、決定論的なレイアウト結果を乱すためにガウスノイズを徐々に追加します。この操作は拡散プロセスと呼ばれます。逆に、初期のランダムレイアウトが与えられた場合、段階的なノイズ除去によって最終的なポスターレイアウトを取得します。これはノイズ除去プロセスと呼ばれます。

2.3 テキストとグラフィックの関係の認識

視覚的特徴とテキスト特徴を単純に連結するのではなく、画像とテキストの特徴ドメインを整合させるビジュアル・テキスト関係モジュール（VTRAM）を設計しました。このモジュールは、視覚要素とテキスト要素の関係を認識し、画像とテキストの両方の特徴の利用を最適化し、コンテンツをより包括的に理解できるようにします。上の図は、i番目のRoI特徴𝑉𝑖と言語的特徴𝐿のマルチモーダル融合を2段階で実現するVTRAMプロセスを示しています。まず、明示的な位置情報を視覚的特徴に追加するために、RoI特徴𝑉𝑖とそれに対応する位置埋め込みを連結して、視覚的位置特徴を取得します。次に、位置が注入された視覚的特徴をクエリとして、言語的特徴をそれぞれキーと値として使用し、クロスアテンションを実行して最終的なマルチモーダル特徴Miを取得します。

2.4 幾何学的関係の認識

RoI特徴間の位置関係の認識を強化するため、モデルがレイアウト要素間のコンテンツ情報をより適切に学習できるように、Geometric Relationship Aware Module (GRAM)を設計しました。具体的な内容は以下のとおりです。まず、K個のRoIが与えられた場合、2つのRoI 𝑙𝑖と𝑙𝑗 (𝑖, 𝑗 ∈ {1, 2, ..., 𝑁})の相対位置特徴 φ は以下のように計算されます。

異なる種類の要素には異なる配置戦略が必要であることを強調することが重要です。例えば、背景はテキストタイプの要素を覆う必要がありますが、他の種類の要素との重なりは避ける必要があります。そのため、要素のカテゴリ情報としてRoI特徴を抽出します。位置情報とカテゴリ情報を統合するために、抽出された視覚特徴を展開し、射影関数Pによってλ次元のベクトルに変換します。最後に、視覚的埋め込みに幾何学的重みを乗じて、最終的な幾何学的特徴λを取得します。

3.1 技術的背景   

商品広告背景生成は、商品透明画像に自然でリアルな背景を作成し、高品質な広告画像を構築してクリック率を向上させることを目的としています。既存の背景生成手法は、主に「テキストから画像へ」と「​​画像から画像へ」の2種類に分けられます。「テキストから画像へ」モードでは、説明文と商品透明画像を大規模拡散モデル（Stable DiffusionやControlNetなど）に入力し、テキストに基づいて商品周囲の背景領域を塗りつぶします。一方、「画像から画像へ」モードでは、追加の参照画像を導入し、その画像に一定強度のノイズを大規模拡散モデルの初期ノイズとして追加することで、生成された背景領域が参照画像と一定の類似性を持つことを保証します。

既存の背景生成手法は、「テキストから画像へ」または「画像から画像へ」のいずれかのアプローチを採用しています。 「テキストから画像へ」アプローチには、主に2つの欠点があります。1つ目は、プロンプトの設計と改良に多大な時間を要することです。2つ目は、プロンプトは画像の空間レイアウトや抽象的なスタイルを説明するのにあまり効果的ではなく、細かくカスタマイズされた背景を作成するのが困難であることです。「画像から画像へ」アプローチでは参照画像が導入されますが、それでもなお限界があります。参照画像に重ね合わせたノイズによって元のレイアウトや構成要素がぼやけてしまうため、生成された画像は参照画像との概ね類似性しか保証できず、よりきめ細やかで正確な制御ができません。

3.2 カテゴリ共通性に基づく生成

このステップの目的は、CG（Graphical Character Set）を用いて商品透明画像から情報を抽出し、商品カテゴリーに適した汎用背景を生成することです。CGへの入力は、商品透明画像、商品タグ、背景タグの3つの部分で構成されます。商品タグは「Cの写真」、背景タグは「Dの背景に」です。ここで、Dは特定の文字列「sks」とCに対応するカテゴリーコードの連結を表します。CGの具体的な構造はControlNetと基本的に同じですが、違いはCGのアテンションモジュールを商品マスクに基づくアテンションモジュールに置き換えている点です。透明画像内の商品マスクM（透明画像から直接取得可能）を考えると、商品マスクに基づくアテンションモジュールは次のように表すことができます。

ここで、XinとXoutはそれぞれアテンションモジュールの入力モジュールと出力モジュールを表し、CA()は通常のアテンションモジュールを表し、•はドット積記号を表します。トレーニング後、各カテゴリの背景スタイルはマッピングされ、対応するDにのみマッピングされます。したがって、推論中にカテゴリ名Cが与えられると、モデルは固定されたマッピング関係を通じて対応するDを取得し、Dをキューワードとして使用してカテゴリの背景の共通性に適合する背景を生成することで、キューワード設計の複雑さを軽減できます。

3.3 パーソナライズされたスタイルに基づく生成

4.1 技術的背景

上図(c)に示すように、画像塗りつぶしと製品ポスターレイアウト生成を組み合わせることは、製品ポスター生成のソリューションとして考えられますが、この技術的ソリューションには2つの欠点があります。第一に、画像塗りつぶし技術によって生成される背景はリアルな質感を持ちますが、その複雑さゆえにレイアウトモデルが視覚要素の適切な配置を見つけることが困難です。第二に、画像塗りつぶし技術は製品の位置を事前に決定する必要があるため、レイアウトモデルはテキストと背景の位置しか制御できず、レイアウト結果の多様性が低下します。これらの欠点により、既存の技術では、美しく多様な製品ポスターを生成することが困難です。既存技術の欠点を解決するため、私たちは人間のデザイナーによるポスターデザインプロセスを分解し、そのプロセスを借用しました。上図(d)に示すように、このプロセスは通常、計画とレンダリングという2つのステップで構成されます。計画段階では、デザイナーは通常、紙とペンを使用してすべての視覚要素の位置を大まかに計画します。これにより、他の視覚要素の位置は、事前に決定された製品の位置によって制約されません。レンダリング段階では、デザイナーはコンピューターを使用して全体のレイアウトを美しいポスター画像にレンダリングします。背景をレンダリングするときにテキストなどの要素の位置も同時に考慮されるため、レンダリングされた背景はテキスト情報を伝達するのに役立ちます。

4.2 計画ネットワークに基づくレイアウト生成

4.3 レンダリングネットワークに基づく背景生成

計画ネットワークによって出力されたレイアウト結果を取得した後、レンダリングネットワークはそれらと製品画像を入力として受け取り、最終的なポスター画像を出力します。具体的には、レイアウトブランチ、視覚ブランチ、安定拡散（SD）、ControlNet、およびテキストレンダリングモジュールが含まれます。レイアウトブランチは、各視覚要素のレイアウトをエンコードします。レイアウトの空間情報をより適切に表現するために、計画ネットワークによって出力されたレイアウト座標をレイアウトマスク画像{Lm}に変換します。ここで、mの範囲は1からMまでで、Mは視覚要素カテゴリの数です。Lmの場合、m番目のカテゴリレイアウト要素の位置は1で埋められ、残りの位置は0で埋められます。M個のレイアウトの空間関係をより適切に調査するために、空間融合モジュールを提案します。

視覚分岐の目的は、製品の視覚情報と空間情報を符号化することです。本発明はまず、プランニングネットワークの出力に基づいて製品画像をスケーリングおよび変換し、再配置された製品画像Vを取得します。次に、6層畳み込みネットワークを用いてVの視覚表現ZVを抽出します。最後に、視覚表現とレイアウト表現を合計し、ControlNetに入力してSD生成プロセスをガイドします。

5.1 技術的アプローチの概要

5.2 将来の技術展望

参考文献