|
Baiduのトランザクションプラットフォームは、グループのモバイルエコシステム戦略の基盤として機能し、ビジネスを強化し、POS取引や決済・清算シナリオのための効率的なトランザクションエコシステムを提供しています。現在、Baiduエコシステム内の複数の製品ライン(Baidu Store、ミニプログラム、Baidu Maps & Taxi、Baiduの文心易言プラットフォームなど)をサポートしています。この記事では、Baiduトランザクションプラットフォームのトランザクションチェーンシステムにおけるデータ整合性のための照合システムについて主に紹介し、特に準リアルタイムの照合とオフラインのビッグデータ照合に焦点を当てます。 01 02 取引システムのコアコンポーネントには、レジ、取引注文、取引マーケティング、取引履行、データセンター、決済センター、キャッシュプール、データ元帳などがあります。
全体の概要は次の図に示されています。
「ワンタイム取引」 :取引プラットフォームと百新銀行の間で交換される請求書の受け取りと返金の手順。 「ワンストップ検証」 :取引プラットフォームと百新銀行間の資金フロー明細書を検証するための指示。 「ワンクリアランス収入」 :百新銀行とのやり取りにおいて決済サービスチャネル手数料を徴収するための取引プラットフォームからの指示。 「ワンストップ支払い」 :これは、百新銀行と連携する加盟店の資金プールが銀行カードに自動的に資金を送金するための指示です。
03 取引プラットフォームにおける決済サービスの多様化に伴い、取引注文量は急速かつ活発に増加し、取引決済サービスの複雑性も継続的に高まっています。まとめると、以下の特徴が挙げられます。 1. 複数の取引シナリオ: 販売シナリオ(流通販売とセルフ販売)、ショッピングカートシナリオ、複数当事者の収益分配シナリオ、ホストマーケティングシナリオ、および国境を越えた支払いビジネスシナリオがあり、それぞれ独自の取引および決済モデルがあります。 2. 長い取引チェーン:支払いから決済までは、レジ→取引→フルフィルメント→データセンター→決済センター→キャッシュプール→会計事務所という流れになり、チェーンシステムのデータ一貫性が保証される必要があります。 3. 大量注文:毎日の注文量と月間決済額が急速に成長しており、月間取引データ量もTBレベルに達しています。 このような取引においては、取引データの正確性と適時性を確保すると同時に、フルフィルメント、決済、資金請求、そして加盟店への支払いの適時性と一貫性も保証する必要があります。これは、当社の照合システムにとって大きな課題となっています。以下の図は、取引システムの運用中に発生する問題の一部を簡単に示しています。 「データの不整合」には、次のようにさまざまな原因があります。 1. 高い同時実行性の不適切な処理、およびインターフェースのべき等性に関連する問題。 2. ネットワーク環境の障害: データセンター ネットワークのジッタ、データベース ネットワークの異常、メッセージ ミドルウェア サービスの異常など。 3. オンライン コードのバグ、不完全なビジネス統合プロセスなど 1. ユーザーの注文や支払い能力に影響を与え、ユーザーに損失をもたらし、企業に注文を減少させます。 2. 期日を過ぎた決済は顧客からの苦情の増加につながり、さらに深刻な場合には経済的損失につながる可能性があります。 3. 財務決算に影響を及ぼし、データの不一致の問題を解決するために多大な人的投資が必要になります。 一貫性の問題に関しては、業界ではすでに非常に成熟したソリューションが存在します。Baiduで「一貫性の問題」を検索すると、この問題に関する数多くの説明、定義、アプローチ、解決策が見つかります。 1. 強力な一貫性プロトコル: 2 フェーズ コミット、3 フェーズ コミット、TCC (Try-Confirm-Cancel) など。 2. 結果整合性: アクティブポーリング、非同期保証、信頼性の高いメッセージング、メッセージトランザクションなど。 1. 「ニアリアルタイム」リコンシリエーションシステム:トランザクションチェーンシステムデータベースのbinlogファイルを監視します。上流システムは下流システムにデータをプッシュし、下流システムは上流システムからプッシュされたデータを処理し、処理後にコールバックまたは通知を送信します。 2. 「T+1」オフライン照合システム:ビッグデータ計算による照合、ETLツールによるデータ同期、SPARK、SPAKR-SQL、AFSなどのビッグデータ技術を活用し、システム間のデータ照合を完了します。データの不一致を迅速に検出し、不一致の早期警告を発し、不一致を自動的に修復する機能を備えています。 04 4.1 ほぼリアルタイムの調整システム 4.1.1 システムの概要 「ニアリアルタイム」は、データの問題を迅速に検出・解決できる自動照合システムを提供することを目指しています。システム間のデータ同期の問題をリアルタイムで追跡・処理するための専用プラットフォームが開発されています。設計コンセプトは下図に示されています。
調整構成: 上流システムと下流システム間の調整の自動統合を可能にします。 プロデューサー サービス: BP メッセージの上流システムからの生産データの解析と処理を完了します。 消費者サービス: BP メッセージの下流システムで生産データの解析と処理を完了します。 調整メタデータ: プロデューサーとコンシューマーによって生成されたペアのデータ。メタデータの各ペアは上流システムと下流システム間の相互作用を表します。 調整サービス: メタデータの調整を完了し、監視構成情報に従って一致しない調整メタデータを定期的に監視し、修復インターフェイスを自動的に呼び出して異常なメタデータの早期警告を完了します。 視覚化されたレポート: Sugar レポート プラットフォームに基づいて、不一致に関する統計データ、調整不一致率、自動修正結果など、調整結果の視覚化された分析レポートを提供します。 4.2 「T+1」オフライン照合システム 「T+1」とは、取引日から翌営業日までの期間を指します。つまり、「T+1」照合とは、T日までのデータ照合がT+1日に完了することを意味します。照合システムは、取引チェーンシステム内の内部照合と、取引ミドルプラットフォームと外部システム間の照合に分かれており、主にデータ準備、データ検証、データ照合、データ報告などのモジュールで構成されています。
4.2.2 取引チェーンシステム内の内部調整
ETLデータ同期ツールを使用して、T日のトランザクションデータをT+1日にオフラインAFSファイルシステムに同期し、AFSファイルとHiveメタテーブルのバインディングを完了します。Pingoプラットフォームを使用して、データ同期タスクをスケジュールし、定期的に実行します。
1. トランザクションチェーンシステムは膨大なデータ量を抱えており、リコンシリエーションシステムはテラバイトレベルに達するデータに依存しています。従来のリコンシリエーションサービスではこのタスクを完了することはできません。システムのリコンシリエーション機能は、Spark、Spark SQL、AFSなどのビッグデータ技術に基づいて実現されています。 2. 上流システムのデータを基準とした一方向の照合方式を採用しています。上流でデータが生成されると、下流に同期されます。下流には、それに対応するデータペアが存在します。照合が完了しない注文は異常注文とみなされます。
下流システムは、データ検査およびデータ修復インターフェースを提供します。データ検証が完了すると、エラー処理が開始され、データ修復インターフェースが呼び出され、その後、データ検査インターフェースが再度呼び出され、最終的にデータ修復が完了します。エラー処理は3回繰り返すように設定されています。3回処理しても修復されないデータは、自動的に早期警告システムに入り、メールとSMSでチームと個人に警告を送信し、最終的には手動で解決されます。 4.2.3 トランザクションプラットフォームと外部システム間の調整
1. 決済チャネルおよび百新銀行から取引明細書を定期的にダウンロードします。各決済チャネルに対応する明細書テンプレートを設定し、テンプレートに基づいて明細書データを解析し、明細書データをAFSファイルシステムに同期し、明細書の同期が完了したことを示すマーカーファイルを記録します。 2. 取引プラットフォームの取引データを AFS ファイルシステムに定期的に同期し、ETL データ同期ツールを使用してデータ同期を完了し、データ同期が完了したことを示すマーカーファイルを記録します。
1. 照合システムはテラバイトレベルに達する膨大なデータに依存しています。システムの照合機能の実装には、Spark、Spark SQL、AFSなどのビッグデータ技術が活用されています。 2. 双方向の調整方法が採用される: ①百度取引プラットフォームのデータに基づき、百度取引プラットフォームでデータが生成されるたびに、外部システムにはそれと一致するデータペアが存在する必要があります。一致しないデータは異常データ(百度片側データ)とみなされます。 ② 外部システムの取引データに基づき、百度取引プラットフォームの取引データ(取引金額、取引状況など)と照合します。照合できないデータは異常データ(外部システムの一方的取引)とみなします。 ③ 請求期間をまたぐ注文の不一致を解消するバランスブックサービス。
05 Baiduの取引プラットフォームは、注文処理、支払い、フルフィルメント、決済といった取引機能を統合しています。ビジネスパートナーの参加が増えるにつれ、トラフィックオーナー主導の販売、ライブストリーミング販売、ホスト主導の販売、複数当事者による収益分配取引など、取引シナリオはますます多様化しています。これらの多様なシナリオは複雑な決済プロセスをもたらし、タイムリーかつ正確な決済を保証するためには、安定した信頼性の高い取引データストリームが必要です。Baiduの取引プラットフォームの照合システムは継続的に改善・アップグレードされており、ビジネスパートナーに安定した信頼性の高い取引照合バックエンドを提供するとともに、取引データストリームの安定性を最優先に考え、継続的なビジネス発展を支援しています。 参考ノート: 「ワンステップクリアリング」 :中国人民銀行(PBOC)によると、アクワイアリング業務と資金クリアリング業務は、銀行機関(銀聯、網銀、銀行など)とPBOCから決済業務ライセンスを取得した決済機関(第三者決済機関)のみが行うことができます。これらの機関は「ワンステップクリアリング機関」と呼ばれます。インターネット決済サービスでは、これらのライセンスを取得した機関を利用することで、加盟店との決済プロセスにおいて、一度のクリアリングのみで決済が行われます。このプロセスは「ワンステップクリアリング」と呼ばれています。「ワンステップクリアリング」サービスは合法であり、PBOCの規制下にあり、顧客資金は保護されています。 「DTS プラットフォーム」 :データ移行、データ同期、データサブスクリプションなどの統合データベースデータ転送サービスを提供するデータベース転送サービスです。 「Sugar Platform」 :インテリジェントなBIおよびデータ可視化ツール。Sugar BIは、Baidu Echartsをベースにした豊富なチャートコンポーネントを提供します。SQLを必要とせず、完全に自動化された操作を備えているため、ユーザーはコードを1行も書かずに、数分でセルフサービスBIレポート分析と可視化ダッシュボードを作成できます。 「Pingo プラットフォーム」 : データインポート、データ計算、ワークフロー サービス、インタラクティブ開発環境、リソース管理サービスを統合した、Spark エンジンに基づくビッグデータ処理プラットフォームです。 「TDS プラットフォーム」 :Turing のデータ構築ソリューションを基盤としたデータ開発プラットフォームで、データ開発、データウェアハウス管理、監視・保守、リソース管理などのサービスをワンストップで提供します。 「AFS」 :AFS(Andrew File System)は、大規模なデータの保存と処理のための効率的で信頼性が高く、スケーラブルなソリューションを提供する分散ファイルシステムです。 |