Weiboのリアルタイムビッグデータレコメンデーションモデルの技術的進化

出典: DataFunTalk

はじめに：この記事では、近年の大規模レコメンデーションモデルの進化と、いくつかの重要な技術的ポイントを紹介します（この記事は、2022年末のDataFunでのプレゼンテーションに基づいており、当時の技術およびビジネスの状況のみを表しています）。

主な内容は4つの部分から構成されます:

1. Weiboのレコメンデーション技術ロードマップのレビュー

2. 大規模モデル技術の最近の反復を推奨する

3. リンク表現の一貫性の向上を目指す

4. その他の技術的なポイント

ゲストスピーカー | Weiboレコメンデーションテクノロジー責任者 Gao Jiahua氏

編集・編集：Wang Lulu、Walmart

コミュニティ制作 | DataFun

技術ルートレビュー

1. ビジネスシナリオと特徴

私たちのチームは主に、Weibo アプリ内の次のような推奨サービスを担当しています。

① ホームページの推奨下にあるすべてのタブのコンテンツ。情報フロー製品の場合、通常、最初のタブのトラフィックのシェアが高くなります。

② トレンド検索から下にスクロールして表示される情報フィードも、このページにあるビデオチャンネルなどの他の情報フィードタブと同様に、当社のビジネスシナリオの一部です。

③ アプリ全体からおすすめの動画を検索またはクリックして、臨場感あふれる動画シーンをお楽しみいただけます。

当社の事業には次のような特徴があります。

（１）まず、勧告の実施の観点から：

① 複数のビジネスシナリオ

② Weibo UIは、多様なユーザー操作とフィードバックを提供します。コンテンツは、メインページをクリックして閲覧することも、フィード内で消費することもできます。フィード内のフィードバックは、ブロガーの個人ページへのクリック、メインページへのクリック、画像や動画のクリック、リポスト、コメント、いいねなど、多岐にわたります。

③ ホームページのおすすめで配信できる長尺画像、写真（１枚または複数枚）、動画（横長または縦長）、記事など配信できる素材の種類が豊富です。

（２）製品ポジショニングの観点から：

① ホットトピックの提供：Weiboでは、トレンドトピックの出現前後でトラフィックが大きく変動します。Weiboのレコメンデーション製品に対する同社の要件は、ユーザーがレコメンデーション内でトレンドコンテンツをスムーズに利用できることです。

② 人間関係の構築：Weiboのおすすめ投稿内で、社会的な関係を育んでいきたいと考えています。

2. 技術の選択

下の図は、過去数年間の当社の技術進歩の軌跡を示しています。

現在のレコメンデーションフレームワークは、通常、数千億個の特徴量と数兆個のパラメータを必要とします。大規模モデルではネットワークの複雑度が高くなるNLPやCVとは異なり、レコメンデーションシナリオでは良好なスパース性が得られるため、モデルサイズが大きくなります。トレーニングでは多くの場合、データの並列処理が用いられ、各ユーザーがすべてのモデルパラメータを必要とするわけではありません。

2018年から2022年にかけて、私たちのチームの技術進化は、主に大規模化とリアルタイムパフォーマンスという2つの側面に焦点を当ててきました。この基盤の上に、より複雑な構造を組み込むことで、より少ない労力でより高い効率性を実現しています。

ここでは、Weidl オンライン学習プラットフォームについて簡単に紹介します。

主なプロセスは次のとおりです。ユーザーの行動サンプルをつなぎ合わせ、モデルに入力して学習させ、ユーザーにレコメンデーションを返します。全体的な設計では、データフローを優先することで柔軟性を高めています。カーネルのトレーニング方法に関わらず、オフラインモデルストレージとオンラインPS間のリアルタイム更新は一定に保たれます。手書きLRやFM、TensorFlow、DeepRecなど、どのような方法でモデルをトレーニングしても、すべて可能です。対応するモデルストレージは独自に構築したデータフローを使用し、モデルフォーマットもカスタム設計されているため、複数のバックエンドにまたがるモデルのトレーニングとオンライン更新が数分以内に完了し、ユーザーは次回サービスを呼び出す際に最新のパラメータを使用できます。この設計原則により、バックエンド間の切り替えも容易になります。

WeidlはWeiboが自社開発した機械学習プラットフォームです。Bridgeモードでは、様々なディープラーニングフレームワークの演算子を呼び出すことができますが、自社開発の演算子に置き換えることも容易です。例えば、以前はTensorFlowを使用していた頃は、メモリ割り当てや演算子の最適化を行っていました。2022年後半にDeepRecに切り替え、DeepRecへの理解を深めた結果、TensorFlowをベースに行ったパフォーマンス最適化の一部は、DeepRecで行ったものと本質的に同じであることがわかりました。

下の図は、私たちのチームが長年取り組んできたバージョンの一部を示したもので、各技術が私たちのビジネスにどのように貢献しているかをご理解いただくのに役立ちます。まず、FMベースのモデルを用いて大規模なリアルタイムレコメンデーションの問題を解決し、その後、より複雑な深度ベースの構造を用いて解決しました。その結果、深度モデルを用いないオンラインリアルタイム問題の解決にも大きなメリットがあることがわかりました。

情報フィードによるレコメンデーションは、主に大規模なリアルタイムディープラーニング構造に基づいているため、商品レコメンデーションとは異なります。この分野には、リアルタイムの特徴量生成はリアルタイムモデリングの代替にはならないこと、レコメンデーションシステムにおいてはモデルが何を学習するかがより重要であることなど、いくつかの課題と論点があります。さらに、オンライン学習には反復的な問題が伴いますが、絶対的な利益を得られるため、時間の経過とともに克服できる可能性があります。

大規模モデルの最近の技術的反復

この章では、ビジネスの反復モデルを目的、構造、特性の観点から紹介します。

1. 多目的融合

Weiboのユーザーインタラクションシナリオでは、クリック、インタラクション、持続時間、スクロールなど、ユーザーがアイテムへの好みを表現する方法は多岐にわたります。それぞれの目的をモデル化・予測し、最終的に全体のデータを統合してランク付けする必要があります。この部分はレコメンデーションサービスにとって非常に重要です。当初は静的な融合とオフラインパラメータ探索を採用していましたが、その後、強化学習を用いて動的なパラメータ探索を実現しました。さらに、融合式を最適化し、モデルを通じて融合スコアを出力できるように改良しました。

強化されたパラメータチューニングの核となるアプローチは、オンライントラフィックをより小さなトラフィックプールに分割し、現在のオンラインパラメータに基づいて新しいパラメータを生成し、これらのパラメータに対するユーザーの反応を観察し、反復処理のためのフィードバックを収集することです。重要な部分は、CEMとESを利用した報酬計算です。その後、特定のビジネスニーズに適応するために、独自に開発したアルゴリズムが使用されました。オンライン学習は非常に急速に変化するため、パラメータがそれに応じて適応しないと重大な問題が発生します。たとえば、ビデオコンテンツに対するユーザーの好みは、金曜日の夜から土曜日の朝、そして日曜日の夜から月曜日の朝にかけて急速に変化します。パラメータ融合全体が、これらのユーザー嗜好の変化を反映する必要があります。

モデル最適化のためのヒントをいくつかご紹介します。ユーザーはモデルを毎日定期的に使用するため、初期修正を毎日行うことをお勧めします。そうしないと、モデルがより曖昧な分岐に進む可能性があります。パラメータを初期化する際は、事前分布に従う必要があります。まず事前分析を行い、次に差分融合を行う必要があります。融合されたパラメータが反復的かつ一貫して更新されるように、異常検出メカニズムを追加する必要があります。

当初はビジネス目標が少なかったため、加法的な融合方式を採用していました。しかし、目標数が増えるにつれて、加法的な融合方式では目標の追加に対応できず、各サブ目標の重要性が薄れてしまうことが判明しました。そのため、乗法的な融合方式が採用されました。その結果はPPTに示されています。

フルバージョンがマルチタスクにアップグレードされた後、このバージョンではモデルによるターゲットフュージョンを実行するように最適化されました。モデルフュージョンは、多くの非線形要素をより適切に捉え、表現力が向上し、パーソナライズされたフュージョンも実現できるため、ユーザーごとに異なるフュージョン結果が得られます。

2. マルチタスク

マルチタスクは、2019年から2020年にかけて人気が高まった概念です。レコメンデーションシステムは、多くの場合、複数の目標に同時に焦点を当てる必要があります。例えば、私たちのビジネスシナリオでは、クリック数、継続時間、インタラクション、完了、否定的なフィードバック、ホームページへのアクセス、プルして更新など、 7つの目標があります。目標ごとに個別のモデルをトレーニングするのは、多くのリソースを消費し、面倒な作業です。さらに、目標の中には疎なデータもあれば、比較的密なデータもあります。別々のモデルを開発した場合、疎なデータを持つ目標は一般的に学習が困難です。これらのモデルを同時に学習することで、疎なデータを持つ目標の学習という問題を解決できます。

マルチタスクモデリングの入門として推奨されるのは、一般的にMMOEから始め、次にSNR、DMT、そして最終的に本格的なMMへと進むことです。本質的には、ネットワークやその他の機能を組み込むことでSNRを最適化することを意味します。

マルチタスクアプローチを実装する前に、対処すべき重要な課題として、複数の目的における様々な損失間の矛盾の有無、およびそれらの間のシーソー効果の有無、サンプル空間の不整合、損失のバランスなどが挙げられます。実用的には、PCGrad法とUWL法はどちらもテストデータで有効性を示しています。しかし、継続的なオンライントレーニングを行う本番環境にスケールアップすると、これらの手法の有効性は比較的急速に低下します。オンライントレーニング環境全体での経験に基づいて特定の値を設定することは、完全に不可能というわけではありませんが、これがオンライン学習に関係しているのか、サンプルサイズに関係しているのかは不明です。MMOE単独でも非常に良好なパフォーマンスを示しており、左側には実用的なビジネスメリットがいくつか示されています。

以下は、MMOEから始まる技術進化の内訳です。当初、マルチタスクは単純なハード接続によって実現されることが一般的でしたが、その後MMOE、そしてSNRまたはPLEへと移行しました。これらは近年、業界で比較的成熟した手法です。私たちのチームはSNRを採用し、2つの最適化を実装しました。下図の下半分、左端は標準的なSNR論文のアプローチを示しています。エキスパートフレームワーク内での変換を簡素化しました。また、専用エキスパートと共有エキスパートもいます。ここでは、実際のビジネスシナリオにおけるデータフィードバックから得られた実際値と推定値の偏差に基づいて分析を行い、個々のエキスパートからのインプットを提供します。

3. マルチシナリオ技術

私たちは幅広いレコメンデーションシナリオを担当しているため、マルチシナリオ技術の活用を検討するのは当然のことです。マルチタスクは、ターゲットがまばらな場合に有効ですが、マルチシナリオは、シナリオのサイズが異なる場合に有効です。小規模なシナリオはデータ不足のために収束がうまくいかない一方、大規模なシナリオは収束が良好です。2つのシナリオのサイズがほぼ同じであっても、ビジネスにメリットをもたらす知識移転が行われます。これは最近注目されている分野であり、マルチタスクと多くの技術的な類似点があります。

各マルチタスクモデルは、マルチシナリオモデルの作成に使用できます。マルチタスク構造と比較して、スロットゲート層（図参照）を追加することで、同じ埋め込みで、スロットゲートを介して異なるシナリオの異なる機能を表現できます。スロットゲートの出力は、エキスパートネットワークへの接続、ターゲットタスクへの接続、および特徴への接続の3つの部分に分けられます。

メインモデルは主にCGCをSNRに置き換えており、これはマルチタスクの反復処理と整合しています。以下は、ホットトピックと人気トピックという2つの社内ビジネスシナリオにおけるマルチタスクとマルチシナリオ統合の現在の適用例です。ホームページのレコメンデーションは人気トピックストリームであり、ディスカバリーページのレコメンデーションはホットトピックストリームです。

全体的な構造はSNRに似ており、クリック数、インタラクション数、継続時間の3つのターゲットタワーが最上部に配置されています。これらの3つのターゲットタワーは、人気とトレンドの2つのシナリオ向けにさらに6つの目標に細分化されています。さらに、埋め込み変換レイヤーが追加されています。特徴量の重要度に重点を置くスロットゲートとは異なり、埋め込み変換レイヤーは、異なるシナリオにおける埋め込み空間の違いを考慮し、埋め込みマッピングを実行します。2つのシナリオで異なる次元を持つ特徴量もあり、埋め込み変換レイヤーによって変換されます。

4. 利益代表

興味関心表現は近年頻繁に議論される技術であり、アリババのDINからSIM、DMTに至るまで、業界のユーザー行動シーケンスモデリングの主流となっています。

当初は、DIN（デバイス命令）を用いて、異なるアクションに対する複数の行動シーケンスを構築しました。行動中の異なるマテリアルに異なる重みを割り当てるためのアテンションメカニズムが導入され、ローカルアクティベーションユニットを用いて、ユーザーシーケンスと現在の候補ランキングマテリアル間の重み分布を学習しました。これにより、人気の高いランキングスキームが実現し、一定のビジネスメリットが得られました。

DMTの核心は、Transformerをマルチタスクで活用することです。私たちのチームは、簡素化されたDMTモデルを使用し、バイアスモジュールを削除し、MMoEをSNRに置き換えました。本番稼働後、一定のビジネス成果を達成しました。

マルチ DIN は、複数のシーケンスを拡張し、候補資料の mid、tag、authorid などをクエリとして使用し、各シーケンスを個別に注目して関心表現を取得し、その他の機能を連結してマルチタスクランキングモデルを作成します。

また、実験を行い、クリック数、持続時間、インタラクションシーケンスを20から50に増やすなど、シーケンスを長くすることで、論文の結論と一致するより良い結果が得られることがわかりました。ただし、シーケンスが長くなると、より多くの計算リソースが必要になります。

ユーザーライフサイクル超長シーケンスモデリングは、従来の長シーケンスモデリングとは異なり、単にデータを取得するために特徴量を要求するのではなく、ユーザーの長い行動シーケンス特徴量をオフラインで構築するか、何らかの検索手法を用いて対応する特徴量を見つけて埋め込みを生成するか、メインモデルと超長シーケンスモデルを別々にモデリングし、最終的に埋め込みを形成してメインモデルに入力するといった手法を採用しています。

Weiboのビジネスでは、インターネット上の人々の関心は急速に変化するため、ユーザー行動の極端に長いシーケンスはそれほど価値がありません。例えば、トレンドのトピックは1～2日で徐々に忘れ去られ、7日前の情報はニュースフィードであまり注目されなくなります。そのため、アイテムに対するユーザーの嗜好を予測する上で、極端に長いユーザー行動シーケンスはそれほど価値がありません。ただし、この結論は、利用頻度の低いユーザーやリピーターユーザーの場合、多少異なります。

5. 特徴

非常に大規模なモデルの使用は、特徴量レベルにおいても課題をもたらす可能性があります。例えば、理論上はモデルに役立つと期待される特徴量であっても、実際には追加後に期待通りの結果が得られない場合があります。これは、レコメンデーションビジネスが直面する現実です。モデルは非常に大規模で、ID関連情報を多く含んでいるため、既にユーザーの嗜好をある程度適切に表現しています。この時点でさらに統計的な特徴量を追加しても、それほど効果的ではない可能性があります。以下では、私たちのチームが実際に非常に有用であると判断するいくつかの特徴量について説明します。

まず、マッチング機能の効果は非常に良好です。ユーザーは、個々の素材、個々のコンテンツタイプ、個々のブロガーについて詳細な統計データを構築することで、いくつかのメリットを得ることができます。

さらに、マルチモーダル機能は、レコメンデーションモデル全体がユーザー行動に基づいているという点でも価値があります。低頻度でニッチなアイテムの場合、システム全体におけるユーザー行動の考慮だけでは不十分な場合があります。このような場合、より多くの事前知識を導入することで、より大きなメリットが得られます。マルチモーダル機能は、NLPなどの技術を組み込むことで、低頻度やコールドスタートのシナリオに役立つセマンティクスを導入します。

私たちのチームは、マルチモーダル特徴を導入するために2つのアプローチを実装しました。1つ目は、マルチモーダル埋め込みをレコメンデーションモデルに統合し、これらの埋め込みの勾配を最下層で固定し、最上層のMLPを更新するというものです。2つ目は、レコメンデーションモデルに入力する前にマルチモーダル特徴を用いてクラスタリングを行い、そのクラスタIDをレコメンデーションモデルに入力してトレーニングを行うというものです。これはレコメンデーションモデルに情報を導入するより便利な方法ですが、マルチモーダル特徴の特定の意味情報の一部が失われます。

私たちは、これらの両方の手法を業務で広範囲に試してきました。前者の手法は、多くの空間変換と特徴量の重要度評価を必要とするためモデルの複雑さが増しますが、良好なリターンが得られます。後者の手法は、学習にクラスターIDを使用し、すべての複雑さをモデルの外部で処理します。オンラインサービスも比較的シンプルで、結果は約90%に達します。さらに、クラスターIDに対していくつかの統計的特徴量を実行できるため、優れた相乗効果が得られます。

マルチモーダル特徴を組み込むことで、高品質で露出度の低い材料に大きなメリットがもたらされ、コールドスタート問題に効果的に対処できます。露出度が低く、モデルが完全に学習できない材料は、より多くの情報を提供するためにマルチモーダルデータに大きく依存することになり、ビジネスエコシステムにもプラスの影響を与えます。

共作用の導入の動機は、deepfmやワイドディープといった様々な特徴量交差手法を用いた試みが成功しなかったことであり、交差した特徴量間の衝突とDNNの共有埋め込みが原因ではないかと疑われました。共作用はストレージの追加と同等であり、交差に個別のストレージスペースを割り当てることで表現空間を拡大し、ビジネスアプリケーションにおいて大きなメリットをもたらしています。

リンク表現の一貫性

このセクションでは、粗いランキングとリコールについて説明します。推奨システムでは、計算能力の限界により、細かいランキングを使用して何百万もの候補を絞り込むことはできませんが、プロセスはリコール、粗いランキング、細かいランキングに分割されますが、論理的には同じ問題に対処します。次の例に示すように、粗いランキングでは切り捨てが含まれ、最終的に細かいランキングで約 1000 件の結果のみが提供されます。粗いランキングと細かいランキングの表現が大幅に異なる場合、切り捨てプロセスにより、より高い細かいランキングスコアを達成できる可能性のある結果が切り捨てられる可能性があります。細かいランキングと粗いランキングでは、特徴とモデル構造が異なります。粗いランキングでは通常、リコールに似たフレームワークが使用され、ベクトル検索構造に近似し、特徴の交差が比較的遅くなるため、粗いランキングと細かいランキングのモデル表現の違いは自然になります。一貫性が向上すると、両方で同じ傾向が捉えられるため、ビジネスメトリックも向上します。

下の図は、粗ランク付け一貫性反復プロセスの技術的枠組みを示しています。上線はデュアルタワーアプローチ、下線はDNNアプローチを表しています。デュアルタワーアプローチでは特徴相互作用が後から実装されるため、多くのデュアルタワー特徴交差手法が追加されました。しかし、ベクトル検索手法の上限はある程度制限されています。そのため、2022年からは、粗ランク付けにDNNブランチが導入されました。これにより、エンジニアリングアーキテクチャに大きな負担がかかり、特徴選択、ネットワークプルーニング、パフォーマンス最適化などの機能が必要になります。さらに、一度に割り当てられるスコアの数は以前に比べて減少していますが、スコアは向上しているため、スコア数の減少は許容範囲内となっています。

DSSM-autowideは、デュアルタワーをベースとしたDeep-FMに似たクロスオーバーであり、ビジネス指標の向上をもたらしました。しかし、次のプロジェクトでは、新しいクロスオーバー方式を採用しましたが、改善はそれほど顕著ではありませんでした。

したがって、デュアルタワーアーキテクチャを用いることで得られるメリットは比較的限られていると考えています。デュアルタワーに基づくマルチタスク粗ソートモデルも試しましたが、それでもデュアルタワー問題を克服することはできませんでした。

上記の問題に基づいて、私たちのチームは、DNN とカスケードモデルを使用してスタッキングアーキテクチャを作成することにより、粗ランク付けモデルを最適化しました。

カスケードモデルでは、最初のフィルタリングにデュアルタワーアプローチを使用し、その後、さらにフィルタリングと切り捨てを行った後、結果を粗ランク付けされたDNNモデルに渡すことができます。これにより、粗ランク付けプロセスの内部で、粗いランク付けと細かいランク付けの両方を効果的に実行できます。DNNモデルに切り替えることで、より複雑な構造に対応し、ユーザーの興味の変化をより迅速にフィッティングできるようになります。

カスケードはフレームワークにおいて重要な役割を果たします。カスケーディングモデルがなければ、粗いランキングを行うDNNで使用するために、大規模な候補セットからより小さな候補セットを選択することは困難です。カスケーディングの重要な側面は、図に示すようにサンプル構築です。数百万のアイテムを含むデータベースから、粗いランキングのために数千のアイテムを取得し、次に上位1000位までのアイテムを細かくランキングします。最終的に約20個のアイテムが公開され、そのうち1桁の数字はユーザーインタラクションを示します。全体的なプロセスは、大規模なデータベースからユーザーインタラクションのあるアイテムへとつながるファネルです。カスケーディングの基本原則は、各段階でサンプリングを行い、カスケーディングモデルが学習するためのより複雑なペアとより単純なペアの両方を作成することです。

次の図は、カスケード最適化とグローバルネガティブサンプリングの利点を示していますが、ここでは詳しく説明しません。

次に、最近話題の因果推論について紹介します。

因果推論を用いる理由は、誰もが好むコンテンツを推奨することで高いクリックスルー率が得られる一方で、ユーザーにはニッチな興味関心があり、そうしたニッチなユーザーにコンテンツを推奨する方がより魅力的である可能性があるからです。これら2つのアプローチはユーザーにとっては本質的に同じですが、プラットフォームにとっては、よりニッチなコンテンツを推奨する方がよりパーソナライズされており、モデルは前者のタイプのコンテンツを推論する可能性が高くなります。因果推論はこの問題に対処します。

具体的なアプローチとしては、ペアワイズサンプルペアを作成することです。つまり、ユーザーがクリックするが人気の低い素材と、人気は高いがユーザーがクリックしない素材については、ベイズ法を使用して損失を使用してモデルをトレーニングします。

私たちの実践では、因果推論は、粗いランキングとリコールの段階で実行する方が、細かいランキングの段階よりも効果的です。これは、細かいランキングモデルの方が複雑で、既に優れたパーソナライゼーション能力を備えているためです。しかし、粗いランキングとリコールでDNNを使用したとしても、それらはプルーニングされたDNNであり、モデル全体のパーソナライゼーション能力は依然として異なります。パーソナライゼーション能力が低い領域で因果推論を使用すると、パーソナライゼーション能力が高い領域で使用する場合よりも、確実に有意な結果が得られます。

その他の技術的なポイント

1. 配列の再配置

再配置にはビームサーチ法が用いられ、NEXTドロップダウンモデルを組み合わせた報酬関数が組み込まれており、複数の候補配列が生成されます。報酬が最も高い配列が選択されます。しかし、データセットのスケールアップ後、結果は不安定になり、さらなる最適化が進行中です。

2. グラフィック技術

グラフ技術は主にグラフデータベースとグラフ埋め込みの2つの部分から構成されます。推奨の観点からは、グラフデータベースを使用する方が便利でコストも低くなります。グラフ埋め込みとは、グラフデータ（通常は高次元の稠密行列）をランダムノードウォークによって低次元の稠密ベクトルにマッピングするプロセスを指します。グラフ埋め込みでは、グラフのトポロジ、頂点間の関係、その他の情報（サブグラフ、エッジなど）をキャプチャする必要がありますが、ここでは詳細には説明しません。

推薦システムでは、ランダムウォーク、グラフ構造、グラフ対照学習に基づくアルゴリズムを用いて、ユーザーと投稿、およびユーザーと投稿者間のインタラクション／フォローに基づいてユーザーの想起を推定できます。主流のアプローチは、画像、テキスト、ユーザーをモデルに埋め込んで特徴量を追加することです。エンドツーエンドのネットワークを構築したり、GNNを推薦に利用したりするなど、より先進的な試みもいくつかあります。

下の画像は、現在のエンドツーエンドモデルを示しています。これはまだ実験段階であり、主流のオンラインバージョンではありません。

下の画像はグラフネットワークに基づいて生成された埋め込みを示しており、右の画像はアカウントのドメインに基づいて計算された類似度を示しています。Weiboでは、フォロワーの関係に基づいて埋め込みを計算することが有益です。

質疑応答セッション

Q1: おすすめフィードに表示されるアイテムの多くは閲覧のみでクリックされませんが、ユーザーが興味を持っているかどうかをどのように判断しているのでしょうか？リストページでのアイテムへの滞在時間に基づいて判断しているのでしょうか？

A1: はい、情報フロービジネスにおいては、滞在時間は比較的重要な最適化指標です。しかし、滞在時間の最適化は、ユーザーがその日にアプリ全体でどれだけの時間を費やすかを直接的に表すものではなく、個々のアイテムにどれだけの時間を費やすかという点に重点が置かれます。滞在時間を最適化の目標と捉えなければ、浅い消費コンテンツばかりをプッシュしてしまいがちです。

Q2: トレーニングフェイルオーバーが発生し、モデルがリアルタイムで更新された場合、一貫性の問題は発生しますか？モデルの一貫性の問題はどのように対処すればよいですか？

A2: 現在、推奨学習とトレーニングは、CPUベースの場合、ほとんどが非同期です。パフォーマンスの問題から、各ラウンド後にすべてのデータを収集してデータベース（ps）に更新し、次のラウンドを開始するようなグローバルラウンドを実装することは一般的ではありません。リアルタイム学習でもオンライン学習でも、強い一貫性は実現できません。

ストリーミングトレーニングでトレーニング中にフェイルオーバーが発生した場合、KafkaやFlinkなどのデータストリームに記録され、現在のトレーニングメソッドの状態が示されます。PSには前回のトレーニングセッションの記録も保存されているため、その差はグローバル進捗状況とほぼ同じになります。

Q3: リコールに細かいランキングを使用すると、リコールモデルの反復回数の上限は減りますか?

A3: 仮に、反復上限をリコール上限と理解しましょう。私の理解では、リコール上限は必ずしもファインランキングを超える必要はありません。例えば、もし計算能力が無限大になったとしたら、500万個の素材をファインランキングで配分するのがビジネスを効率化できるのではないでしょうか。リコールであれば、それほど大きな投資をすることなく、ファインランキングが最適と判断する最良の部品を見つけ出せるはずです。例えば、リコールで6000個の中から選ばれる上位15個は、500万個の中から選ばれる上位15個に比較的近いはずです。もし皆がこのように理解するなら、リコールでファインランキングを使っても反復上限は下がらず、むしろ上限に近づくことになります。ただし、これはあくまで私たちの見解であり、それぞれのビジネス指向によっては、皆の結論が必ずしも普遍的に当てはまるとは限りません。

HUOXIU

Weiboのリアルタイムビッグデータレコメンデーションモデルの技術的進化

関連するおすすめ記事

ランダムにおすすめされた記事

人気のタグ