1. はじめに

Amap（Gaode Maps）には、学校、ホテル、ガソリンスタンド、スーパーマーケットなど、数千万ものPOI（Point of Interest：関心地点）が登録されています。しかし、数多くのPOIが作成される一方で、閉鎖、解体、移転、名称変更などの理由で、多くのPOIが失効してしまいます。これらのPOIは、地図の鮮度とユーザーエクスペリエンスに深刻な悪影響を及ぼすため、タイムリーかつ効果的な特定と対応が求められます。

オンサイトデータ収集はコストが高く、タイムリーではないため、マイニングアルゴリズムが特に重要です。中でも、トレンドビッグデータに基づく時系列モデルは、マイニング能力の大部分をカバーでき、POI品質の向上に大きな意義を持ちます。

期限切れPOIの識別は、本質的に非対称なデータ分布を持つ2値分類問題として抽象化できます。本プロジェクトでは、マルチソースのトレンド特徴を基盤として用い、反復処理中に高次元のスパース属性と状態特徴を導入することで、ビジネス要件を満たすハイブリッドモデルを構築します。

この記事では、Amap でのディープラーニング テクノロジの実装で直面するビジネス上の課題と、実際にテストされた実現可能なソリューションを体系的にまとめます。

2. 特徴エンジニアリング

有効期限マイニングとは、本質的には、関心地点（POI）の有効期限切れに伴って生じる変化を検知し、事後的な観測マイニングを実行することです。これは通常、POI関連活動の減少を伴います。したがって、時系列モデルの鍵となるのは、関連する特徴量システムの構築です。実際、私たちは補助的な補正のために、時系列ではない効果的な特徴量もいくつか構築しました。

2.1 時間的特徴

時系列特徴に関しては、POIと各種情報との相関関係を確立し、月次統計値に統合して時系列モデルへの入力としました。時系列ウィンドウに関しては、いくつかの周期的パターンの影響を考慮すると、モデルの学習には2年以上の時系列データが必要です。

2.2 補助機能

補助機能に関しては、まず手動で検証された履歴データを効果的に活用することが最初のステップです。これは、時系列の長さのOne-Hotベクトルを構築し、最後に手動で検証された月を1、その他の月を0とすることで実現します。手動で検証されたデータが存在することは、その時点付近で有効期限が切れる可能性が低いことを示しています。一方、下降トレンド後に手動で更新が行われた場合、トレンド表現が古くなる可能性は高くないことを示唆しています。

第二に、調査の結果、POIの業種によって有効期限の確率が異なることが判明しました。例えば、ケータリングやライフスタイルサービスの有効期限の確率は比較的高いのに対し、地名やバス停の有効期限の確率は比較的低いです。そのため、業種番号は、時系列の長さの等値ベクトルとして静的な補助特徴として構築されます。

3つ目の補助機能は、業務における不在着信とリコールの問題を分析する中で開発されました。新規に作成されたPOIの大部分は、作成されてデータベースに登録されてから経過した時間が、シーケンス長よりも短いことが判明しました。これは、これらのシーケンスには初期段階でゼロ値を持つ誤った傾向が多数含まれていることを意味します。これらの傾向は、末尾の真の下降傾向を妨害し、誤った判断につながる可能性があります。この問題に対処するために、2つの最適化アプローチが提案されました。

• 可変長 RNN モデルが使用され、POI 作成時刻以降のシーケンスの部分のみが入力として取得されます。

• シーケンスの長さは変わりませんが、1次元の「ゲート」シーケンス機能が追加されます。図に示すように、POI作成時刻以前のシーケンス値は0、POI作成時刻以降のシーケンス値は1になります。

2つ目のアプローチの方がより良い結果が得られます。POIへの入場と作成時刻の情報しかなく、特定の店舗の作成時刻が不明なため、入場時刻に基づいてシーケンスを直接抽出すると、店舗の作成とPOIの作成の期間内の特徴情報が失われてしまいます。しかし、「ドア」シーケンスを追加することで、高信頼区間を制限しながら情報の完全性を維持できます。最終的なハイブリッド特徴図を以下に示します。

3. RNNステージ

リカレント ニューラル ネットワーク (RNN) は、その強力な表現機能により、シーケンス モデリングの問題において優れたパフォーマンスを発揮し、その派生型である LSTM はビジネス アプリケーションに採用されています。

3.1 RNN1.0

前述の時間的特徴と補助的特徴に基づき、図に示すように、多層LSTMを用いたRNN有効期限検知モデルの最初のバージョンを構築しました。主なロジックは次のとおりです。時間的に整合された特徴を深層LSTMに入力し、ネットワークの最終出力にSoftMax層を追加して有効期限の確率を計算します。最後に、結果に基づいて異なる信頼度レベルをマッチングし、それに応じて自動処理や手動介入などのタスクを実行します。このモデルは、有効期限の傾向検知分野におけるRNNの適用可能性と利点を予備的に検証します。

3.2 RNN2.0

Amapは、ナビゲーション、検索、クリック操作の頻度に基づいてPOI（Point of Interest）をランク付けします。上位の人気POIが期限切れになったにもかかわらず、適切なタイミングで検出されない場合、ユーザーエクスペリエンスに悪影響を及ぼします。バージョン2.0のモデルアップグレードの主な目的は、上位の人気カテゴリーにおける期限切れのPOIの検出能力をさらに向上させることです。

分析の結果、人気の高いPOIと下位のPOIの間でデータ分布に顕著な違いがあることが明らかになりました。上位のPOIはデータが豊富で、ゼロ値を含む月はごくわずかでした。一方、下位のPOIはデータがまばらで、値を含む月でさえ1桁の数字しか含まれていない可能性が高かったのです。この顕著な上位効果に対処するため、人気の高いセグメントに特有の特徴を捉え、カスタマイズされたデータマイニングを可能にする、独立した上位ベースのRNNモデルが開発されました。

一方、一次元の特徴量が欠損しているケースでは、その人気度に応じて異なるパディング手法が用いられました。先頭のPOIは特徴情報が豊富であるため、欠損している次元にはゼロをパディングすることで「サイレント」な状態を保ち、干渉を防ぎます。一方、末尾の特徴量はスパースで既に多くのゼロ値を持つため、欠損している特徴量が全体のデータと同様の傾向を維持するように補間する必要があります。この手法では、他の次元のデータを正規化し、重み付けアプローチを用いて補間を行います。

モデルのバージョン 2.0 では、頭部と尾部の両方のリコール機能が向上し、特に頭部の自動化機能が大幅に向上しました。

4. ワイド＆ディープステージ

RNNモデルは時間的特徴から十分な情報を抽出できますが、特徴量の豊富さが不足していることがボトルネックとなり、自動化機能のさらなる向上を阻害しています。そのため、業務オペレーションから得られる他のデータを統合し、マルチソース情報融合の観点からモデルをアップグレードすることが、新たな段階の焦点となっています。主な統合対象には、時間的ではない静的情報や状態情報、そして新たに開発された時間的特徴情報が含まれます。

このモデルのアップグレードは、主に「ワイド＆ディープ」コンセプトに基づいており、特定のビジネスニーズに合わせてカスタマイズされた数多くの革新的なアプリケーションを備えています。まず、既存のRNNモデルをディープモジュールにカプセル化し、ワイドモジュールと組み合わせることで、モデル構造の次元全体にわたる統合を伴うハイブリッドモデルを再構築しました。次に、ディープモジュールからの時系列情報とワイドモジュールからのリアルタイム状態情報の両方を組み込むため、データの時間的次元全体にわたる統合が必要となります。最後に、ワイドモジュールには、定量化できない、あるいは比較できない類型的特徴が多数含まれており、これらをエンコードして表現するためには、データ属性の次元全体にわたる統合が必要となります。

4.1 ワイド & LSTM

• 特徴エンコーディング

非時間的特徴をエンコードしてワイドモジュールを構築します。ワイドモジュールには主に、属性、状態、サブ産業タイプの3種類の特徴が含まれます。

一部のPOIでは属性が欠落している可能性を考慮し、エンコーディングの最初のビットは特徴量の存在の有無を示し、その後にOne-Hotエンコーディング後の対応する属性タイプを示します。状態特徴量についても、特徴量が欠落しているかどうかを示す1ビットがあり、その後のOne-Hotエンコーディングは最新の状態タイプを示します。業種によってバックグラウンド有効期限が異なるため、細分化された業種を第3の特徴量としてOne-Hotエンコーディングを使用します。最後に、特徴量エンコーディングを順次連結し、高次元スパースベクトルを取得します。特徴量エンコーディングのプロセスは図に示されています。

• 機能の結合

特徴量が揃ったら、様々な特徴量を結合し、モデルを学習させることが重要になります。結合点は、SoftMax出力の前の層で選択されます。Deep部分のRNN構造については、最後のタイムステップの隠れ層が結合に関与します。一方、Wide部分の高次元スパースベクトルについては、全結合ネットワークを用いて次元を削減し、Wide部分の隠れ層を取得します。最後に、2つの部分の隠れ層を接続し、SoftMaxに出力して有効期限の確率を計算します。

このモデルは、ワイド特徴量とディープ特徴量の同期入力を用いて共同学習され、2つの部分の結合された隠れ層の次元は重みのバランスをとるように調整されます。図は、期限切れ特徴量マイニングシナリオにおけるワイド＆LSTMモデル構造を示しています。

複数回の反復と最適化を経て、このモデルは安定した生産体制に入り、期限切れ製品のマイニング事業において幅広い業界をカバーし、優れた自動化問題解決機能を備えた包括的なモデルになりました。

4.2 ワイド＆デュアルLSTM

モデルのアップグレードと反復作業を進める一方で、基本特徴の構築も同時に進めています。新たなトレンド特徴を拡張する際には、新しい特徴の次元が大きく時系列が短いという問題に直面しています。そのため、長期的特徴と短期的特徴を逐一照合する際に、大量の欠損値が発生します。

新しい特徴量の欠損部分は数多く、高次元であるため、欠損値の補完による悪影響は甚大であり、適切とは言えません。本プロジェクトでは分割統治法を採用し、2つのRNNモジュールを構築しました。長いRNNモジュールは新しい特徴量のない長いシーケンスを入力として受け取り、短いRNNモジュールは新しい特徴量を含む短いシーケンスを入力として受け取ります。最終的に、図に示すように、隠れ層とデュアルRNNのワイド部分を結合することで、Wide & Dual-RNNモデルが得られます。

デュアルRNN構造は、既存のモデルに新しい特徴を効果的に統合し、判断精度を向上させることができます。しかし、その複雑さは計算効率に影響を与えます。そのため、より柔軟な時間モデルTCNを反復処理に用いる新たな研究開発段階が進められました。

4.3 ワイド＆アテンション-TCN

TCNには、時系列モデリングに適した3つの主な利点があります。第一に、アーキテクチャ内の畳み込みによって因果関係が確立されるため、未来から過去への情報漏洩はありません。第二に、畳み込みアーキテクチャは任意の長さのシーケンスを固定長のシーケンスにマッピングできます。さらに、残差モジュールと拡張畳み込みを利用して長期的な依存関係を構築します。

性能比較において、TCNは時系列データをベクトルとして並列処理できるため、RNNの逐次計算に比べて計算速度が高速です。さらに、TCNは入力を1次元シーケンスに拡張できるため、各時点における特徴量のアライメントが不要です。そこで、Wide&Deepアプローチの有効性を検証した後、Deep部分のRNN構造をTCNにアップグレードすることを試みました。

まず、入力特徴量をフラット化しました。つまり、図に示すように、各次元の時系列データを端から端まで連結し、それを入力として使用しました。これにより、長い特徴量と短い特徴量が効果的に統合されます。

第二に、出力構造については、最適化のためにシーケンス次元におけるAttentionメカニズムが導入されています。主なアイデアは、シーケンスの最終ノードの潜在ベクトルの凝縮情報を読み取るだけでなく、シーケンスの全ノードの潜在ベクトル情報を重み付け処理した上で合計された潜在ベクトル情報を取得することです。これにより、全ノードの学習結果を最大限に活用できます。

最後に、Attention-TCN 後に得られた集約された隠しベクトルが Wide 部分の隠し層と結合され、結果として得られる Wide&Attention-TCN モデル構造が図に示されています。

新たな軽量TCN時系列モデルとアテンション機構の導入により、新モデルの性能はさらに向上しましたが、最適化プロセスはRNNよりも複雑です。複数回のパラメータ調整と構造最適化を経て、最終バージョンはWide & Dual-LSTMバージョンと比較して、計算効率とビジネス拡張性が大幅に向上しました。

5. まとめと展望

期限切れ製品発見シナリオにおけるディープラーニングの応用は、継続的な探索、問題の要約、ソリューションの最適化、そして効果検証という反復的な進化プロセスを経てきました。このプロセスにおいて、期限切れ製品発見能力の向上を中核目標として、特徴量拡張、特徴量構築、モデル構造最適化の観点から探索が行われ、前述のビジネスシナリオにおける実践的な経験が得られました。その中でも、豊富で信頼性の高い特徴量、適切な特徴量表現方法、そしてシナリオに適したモデル構造設計は、ビジネス課題の解決能力を向上させる鍵となります。

現在のモデルは、主に情報とトレンドに基づくマクロレベルのパターンサマリーに基づいて、これらの特性を持つPOIの失効確率を算出しています。しかし、実際には、POI固有の地理的環境、事業状況、競争環境が大きな影響を与えることがよくあります。したがって、今後の計画では、全体的なパターンと個々の差異の両方を総合的に考慮し、より精緻なデータマイニングを実現していきます。

6. 参考文献

1.ゼップ・ホッホライターとユルゲン・シュミットフーバー、長短期記憶、神経計算 1997

2.B. Hidasi, A. Karatzoglou, L. Baltrunas, D. Tikk. リカレントニューラルネットワークを用いたセッションベースのレコメンデーション. CoRR, abs/1511.06939, 2015

3. Heng-Tze Cheng、Levent Koc、Jeremiah Harmsen、Tal Shaked、Tushar Chandra、Hrishi Aradhye、GlenAnderson、Greg Corrado、Wei Chai、Mustafa Ispir、Rohan Anil、Zakaria Haque、Lichan Hong、Vihan Jain、Xiaobing Liu、Hemal Shah. レコメンデーションシステムのためのワイド＆ディープラーニング. 第1回レコメンデーションシステムのためのディープラーニングワークショップ論文集、7～10ページ、2016年.

4. Paul Covington、Jay Adams、Emre Sargin. YouTubeレコメンデーションのためのディープニューラルネットワーク. 第10回ACMレコメンデーションシステム会議論文集. ACM, 191–198, 2016.

5.Bai S、Kolter JZ、Koltun V. シーケンスモデリングのための汎用畳み込みネットワークと再帰ネットワークの実証的評価[J]。2018年。

6.Pappas N, Popescu-Belis A. 文書分類のための多言語階層的アテンションネットワーク[J]. 2017.