出典: Zhuanzhuan Technology

• 導入

• 1. アプリケーションシナリオとシステムブロック図

• 2. ChatGPTをベースにしたインテリジェントなカスタマーサービスアシスタントを構築する

• 2.1 ChatGPTの原則

• 2.2 プロンプトデザイン

• 3. インテリジェント顧客サービスシステムのフェーズII最適化におけるユーザー質問分類

• 3.1 Bertの紹介

• 3.2 ユーザー問題分類ネットワークのトレーニングデータ

• 3.3 分類モデルのトレーニング

• 4. インテリジェント顧客サービスシステムの最適化フェーズIII：製品詳細と品質検査項目に関する知識のフィルタリング

• 5. まとめ

• 6. 参考文献

導入

従来のカスタマーサービスは、人間の介入に大きく依存しており、大量のデータを必要とします。大量のユーザーからの問い合わせに対応するため、人間のカスタマーサービス担当者は、回答を作成する前に膨大な量のデータを精査し、関連情報を特定する必要があります。応答時間は担当者の経験とビジネスシナリオの複雑さによって制限され、応答時間が長引くと、ユーザーのショッピング体験に深刻な影響を与える可能性があります。

インテリジェントカスタマーサービスとは、大規模言語モデル（LLM）の優れた自然言語処理・理解機能を活用し、個人データを統合することで、特定のシナリオに対応したインテリジェントなカスタマーサービスシステムを構築するシステムを指します。このシステムは、人間のカスタマーサービス担当者を強力にサポートし、サービスの効率と品質を向上させます。

1. アプリケーションシナリオとシステムブロック図

ユーザーに表示される商品表示インターフェースには、詳細な商品パラメータと品質検査レポートが含まれています。商品パラメータには基本的な商品情報が含まれており、品質検査レポートはZhuanzhuanの品質検査部門が発行する権威ある試験レポートであるため、ユーザーは中古品の真の状態を容易に理解できます。

Zhuanzhuanアプリにおけるユーザーとカスタマーサービスとの会話は、製品パラメータに関する問い合わせ、品質検査報告書に関する問い合わせ、プロモーション活動に関する問い合わせ、プラットフォームポリシーに関する問い合わせ、アフターサービスに関する問い合わせ、そしてカジュアルな挨拶の6種類に大別されます。ユーザーが製品パラメータや品質検査報告書について問い合わせる場合、カスタマーサービス担当者は、多岐にわたる製品の詳細や品質検査項目を精査し、関連する項目を見つけて回答を提供する必要があります。ユーザーがクリックした製品のすべてのデータから回答を探すのは時間がかかり、カスタマーサービス担当者は、ユーザーの質問に迅速に対応するためには、問い合わせられた製品パラメータを十分に理解している必要があります。

ChatGPT の自然言語処理および理解機能を活用して、人間のカスタマー サービス担当者が長い製品の詳細や品質検査レポートからユーザーの関心のある項目を識別し、質問に答えるのを支援しましょう。

インテリジェントカスタマーサービスシステムの全体的なフローチャートを以下に示します。ユーザーが人間による相談を開始すると、まずカスタマーサービス担当者が割り当てられます。ユーザーがクリックした製品情報は、カスタマーサービス担当者と同期されます。その後、インテリジェントカスタマーサービスシステムは補助情報を提供し、カスタマーサービス担当者はそれを受け入れるかどうかを判断してユーザーに回答を提供します。これで1セッションが終了します。

インテリジェントカスタマーサービスシステムは、ユーザー質問分類モジュール、ナレッジフィルタリングモジュール、そしてChatGPTインテリジェントカスタマーサービスモジュールの3つのモジュールで構成されています。システムの第1フェーズでは、ChatGPTインテリジェントカスタマーサービスモジュールのみが含まれ、第2フェーズと第3フェーズでは、ユーザー質問分類モジュールとナレッジフィルタリングモジュールが追加されました。それでは、その開発プロセスを見てみましょう。

2. ChatGPTをベースにしたインテリジェントなカスタマーサービスアシスタントを構築する

2.1 ChatGPTの原則

ChatGPTはOpenAIが開発したLLMです。GPTはGenerative Pre-Trained Transformerの略です。ChatGPTは、GPT-1、GPT-2、GPT-3を含む事前学習済み言語モデルのGPTシリーズに属しています。GPTシリーズモデルのパラメータ数は、以下の表に示されています。

モデルサイズの指数関数的な拡大は、モデルの理解において質的な飛躍をもたらしました。しかし、モデルの理解はユーザーの意図と一致していません。GPT-3に基づくChatGPTは、プロンプト学習と人間のフィードバックに基づく強化学習を使用してネットワークをトレーニングし、モデルが指示に従い、人間にとって有用で信頼でき、無害な回答を出力できるようにします^[1-2] 。プロンプト学習はメタ学習の一種であり、モデルにタスク情報を伝えることでネットワークを学習するようにトレーニングします。このアプローチは、さまざまなNLPタスクをテキスト生成タスクに削減します。プロンプト学習は、モデルがすでに学習した知識を活用し、プロンプトはモデルの補完能力を刺激することができます。人間のフィードバックに基づく強化学習は、予測されたコンテンツに対する人間の好みに基づいて報酬関数をトレーニングし、この人間の好みを反映した報酬関数を強化学習の報酬として使用し、近似ポリシー最適化を通じてネットワークポリシーをトレーニングして報酬を最大化します。

2.2 プロンプトデザイン

ChatGPTは知識ベースのようなものです。このベースから必要な知識を取得するには、明確な指示が必要です。明確な指示は、ChatGPTに何をすべきか、そのタスクを完了するために必要な詳細な手順を伝え、ChatGPTが指示をよりよく理解して実行できるようにするための簡単な例を提供します。標準的な指示は、以下の5つの部分で構成されます。

（１）タスクの説明

（２）背景知識の注入

（3）出力形式の規則

（４）サンプル入力とサンプル出力を含む例を挙げる。

（５）入力データの提供

ここでは、Zhuanzhuan のインテリジェント カスタマー サービスを例に挙げて、このシナリオのプロンプトを設計します。

あなたはeコマースのカスタマーサービス担当者です。下記の製品および品質検査情報に基づいて、ユーザーからの質問にご回答ください。質問にご回答いただく際は、製品および品質検査情報の該当項目に基づいて簡潔な回答をお願いいたします。製品パラメータ：{$product_info}、品質検査情報：{$quality_info}。

AI : 何か質問はありますか?

user : バッテリーは修理または交換されましたか?

AI ：品質検査報告書のバッテリーテスト結果によると、バッテリーはプラットフォームによって交換されており、交換されたバッテリーは新品のHaisバッテリーです。

User : バッテリー容量はどれくらいですか?

プロンプト全体は4つの部分に分けられます。最初の部分はタスクの紹介です。2番目の部分は知識注入を行い、変数「product_info」と「quality_info」はそれぞれ製品の詳細と品質検査レポートに対応します。3番目の部分はタスクの例を示し、4番目の部分はユーザーからの質問を提示します。LLMは少数ショット学習機能を備えており、いくつかの簡単な例を用いてモデルに期待される回答を示すことで、LLMが予測通りにタスクを完了するように誘導することができます。この時点で、ChatGPTの応答はバッテリー容量が2815mAhであるというものです。

ここで、インテリジェントカスタマーサービスのサービス品質は、人間のカスタマーサービス担当者からの提案の承認率によって測定されます。製品パラメータに関する問い合わせの承認率は20%、品質検査に関する問い合わせの承認率は6.4%です。一方、カジュアルな挨拶や販促活動に関する問い合わせでは、人間のカスタマーサービスへの関心が高まっています。ChatGPTに基づくと、インテリジェントカスタマーサービスはユーザーの質問に5～10秒で応答するのに対し、人間のカスタマーサービスは約30秒で応答しており、インテリジェントカスタマーサービスの応答速度が速いことがわかります。ChatGPT API呼び出しはトークンごとに課金されます。現在、インテリジェントカスタマーサービスの運用コストは1セッションあたり0.12元です。

3. インテリジェント顧客サービスシステムのフェーズII最適化におけるユーザー質問分類

インテリジェントカスタマーサービスからの提案の採用率は、ユーザーからの問い合わせの種類によって大きく異なります。製品のパラメータや品質検査項目に関する問い合わせの場合、インテリジェントカスタマーサービスの意見の採用率は比較的高く、人間のカスタマーサービスによるユーザーからの質問への回答速度の向上に貢献しています。一方、カジュアルな会話の質問の場合、インテリジェントカスタマーサービスからの提案の採用率は比較的低くなっています。

ChatGPTインテリジェントカスタマーサービスモジュールの前段に、ユーザー質問分類モデルを配置します。製品パラメータに関する問い合わせや品質検査報告書に関する問い合わせに分類された質問は、ChatGPTベースのインテリジェントカスタマーサービスシステムに送信され、コスト削減と効率性の向上を実現します。ユーザー質問分類モデルは、テキスト分類にBERTを使用します。以下は、このシナリオにおけるBERT分類の適用について簡単に説明するものです。

3.1 Bertの紹介

Bertは、2018年にGoogleが提案した事前学習済み言語モデルである^[3] 。このモデルはTransformerのEncode側を利用し、マルチヘッド自己注意機構に基づいて文中の文脈情報を捕捉する。事前学習段階では、クローズテストと文判断タスクを用いてネットワークを学習する。下流タスクに適用する際には、CLS位置の特徴ベクトルを文ベクトルとして利用することができ、ネットワークの後段に線形層を接続して文を分類する。

BERTモデルは、事前学習段階で33億のテキストサンプルを用いて学習され、ネットワークに自然言語の基礎的な理解を付与しました。BERT事前学習済みモデルに基づいて下流タスクを微調整することで、多くの分野で優れた成果が得られています。

3.2 ユーザー問題分類ネットワークのトレーニングデータ

ユーザーの質問カテゴリを手動でラベル付けするのは時間がかかります。ここでは、BERTの微調整段階のトレーニングデータとして、ChatGPTを使用してユーザーの質問を分類します。

分類タスクを設計するためのプロンプト:

ユーザーの質問を次のカテゴリに分類してください: [「製品パラメータの問い合わせ」、「品質検査レポートの問い合わせ」、「アフターセールスの問い合わせ」、「プラットフォームポリシー」、「プロモーションオファー」、「カジュアルな挨拶」]。

User : この携​​帯電話にはメモリがどれくらいありますか?

AI ：製品パラメータ相談

User ：バッテリーは分解して修理しましたか？

AI ：品質検査レポートコンサルティング

User : 注文後、商品はどこから発送されますか?

AI ：アフターサービス

User : 7 日間の理由なしの返品はサポートされていますか?

AI ：プラットフォームポリシー

User : こんにちは

AI ：カジュアルチャットの質問

User : ありがとうございます!

AI : カジュアルな挨拶

User ：スタンバイ時間はどのくらいですか？

3.3 分類モデルのトレーニング

トレーニングデータセットの準備が完了すると、BERTの微調整が開始されます。ネットワークへの入力は文です。テキストはトークナイザーによって分割され、分割されたトークンのシーケンスが生成されます。BERTの入力トークンの最大長は512バイトを超えてはいけません。長すぎるシーケンスの場合は切り捨てが行われます。バッチトレーニングを容易にするため、テキストの先頭と末尾に「[cls]」と「[sep]」を追加することでパディングが行われます。処理されたシーケンスは、BERTの辞書を使用して対応するIDにマッピングされ、トレーニングのためにネットワークに入力されます。自己注意では位置情報を取得できないため、BERTはトークン埋め込みに位置埋め込みを追加します。

次に、以下のコードに示すように、モデルの構造を定義します。

 Import torch.nn as nn
 from transformers import BertModel
 class Classifier(nn.Module):
    def __init__(self,bert_model_path,num_classes):
        super(Classifier,self).__init__()
        self.bert = BertModel.from_pretrained(bert_model_path)
        self.dropout = nn.Dropout(0.1)
        self.fc = nn.Linear(768, num_classes)
    def forward(self,tokens,masks):
        _, pooled_output = self.bert(tokens, attention_mask=masks,return_dict=False)
        x = self.dropout(pooled_output)
        x = self.fc(x)
 return x
 

BERTモデルは768次元の特徴量を生成します。ドロップアウト層によって一定の割合の重みがランダムにマスクされた後、特徴ベクトルは線形層に入力され、ラベル空間にマッピングされます。`num_classes`はラベル空間の次元に対応します。ここでは6つのカテゴリを分類する必要があります。トレーニングには、学習率1e-5のAdamWオプティマイザーを使用し、10エポックのトレーニングを実施しました。テストセットでは、精度は76.6%、F1スコアは0.754でした。製品パラメータの問い合わせのF1スコアは0.791、品質検査レポートの問い合わせのF1スコアは0.841です。

インテリジェントカスタマーサービスシステムは、事前に定義されたユーザー質問分類モデルを用いることで、受け入れ率が低く、人間によるカスタマーサービスによる回答が適している質問をフィルタリングすることができました。これにより、ユーザーとの会話への対応コストは1会話あたり0.033元に削減され、運用コストは72.5%削減されました。

4. インテリジェント顧客サービスシステムの最適化フェーズIII：製品詳細と品質検査項目に関する知識のフィルタリング

インテリジェントな顧客サービスシステムを構築する場合、プロンプトには、ユーザーの質問との関連性を考慮せずに、すべての製品の詳細と品質検査情報が含まれます。たとえば、ユーザーの質問がバッテリーに関連している場合、製品の詳細と品質検査項目から知識注入を実行するときに、バッテリー関連の知識のみを注入できます。トークンの数が多ければ多いほど、ChatGPTの処理時間は長くなります。ユーザーの質問に関連する製品の詳細と品質検査項目を選択して知識を注入することで、セッションを完了するために必要なトークンの数をさらに削減でき、インテリジェントな顧客サービスシステムの運用コストを削減すると同時に、応答速度も向上します。

BERTは2つの文の類似度を計算する際、情報交換のために両方の文を同時にBERTに入力するため、比較的低速です。文ベクトルを事前に計算することができないため、意味検索が遅くなります。Sentence-BERTはSiameseネットワークのフレームワークを借用し、2つの文を2つのBERTモデルに入力します。これらの2つのモデルのパラメータは共有されており、ネットワーク構造^[4]を下図に示します。BERTネットワークは各トークンの埋め込みベクトルを出力し、プーリング戦略によって文ベクトルの表現を生成します。論文では、文ベクトルの表現を生成するために、それぞれ「[CLS]」ビット、平均プーリング、最大プーリングが使用されています。実験では、平均プーリング戦略が最も効果的であることが示されています。2つの文ベクトル間のコサイン類似度を計算することで、2つの文の類似度を測定します。

ユーザーがカスタマーサービスに「バッテリー容量はどれくらいですか？」と質問すると、カスタマーサービス担当者はユーザーから次の製品詳細を受け取ります：95％新品iPhone 12 128GBパープル5G（中国移動、中国聯通、中国電信、中国本土）; ネットワークタイプ：全ネットワーク対応; 購入チャネル：中国本土; 保証状況：保証期間外または30日未満; バッテリー健全性：85％～90％; システムバージョン：iOS 16.5.1; 充電サイクル：562; SIMカード：デュアルSIM対応; 出所：中古品; IMEI：352***833; サービス情報：正規公式検証済み、7日間の無理由返品ポリシー、1年間のプラットフォーム保証、SF Expressによる送料無料、携帯電話サービスカード、長沙配送センターに保管、今注文すれば8月17日に配達予定; CPUモデル：Apple A14; バッテリー容量：2815mAh; CPU周波数：3.0GHzロック解除方法：顔認証。急速充電対応：はい。ピーク充電電力：20W。解像度：2532*1170。画面サイズ：6.1インチ。メイン画面素材：OLED。発売日：2020年10月。オペレーティングシステム：iOS。画面タイプ：フルスクリーン。リアカメラ：12MP + 12MP。フロントカメラ：12MP。カメラの総数：トリプルカメラ（リア2台）。本体重量：162g。本体寸法：146.7*71.5*7.4mm。本体タイプ：キャンディーバー。

カスタマー サービス担当者がクリックした製品の品質検査レポートのサンプル (品質検査項目は一部省略)。 外殻外観 - 亀裂: なし。外殻外観 - 傷: なし。外殻外観 - 摩耗: なし。外殻外観 - 変形: なし。外殻外観 - 剥離/隙間: なし。外殻外観 - 外殻/その他: 正常。外殻外観 - 彫刻/イラスト: なし。外殻外観 - 突起/塗装剥がれ: なし。カメラ外観 - フラッシュ: 正常。カメラ外観 - 前面カメラ: 正常。分解/修理/過度浸水 - マザーボード: 修理なし。分解/修理/過度浸水 - 本体: 修理/交換なし。分解/修理/過度浸水 - 部品の修理/交換: 修理/交換なし。分解/修理/過度浸水 - 部品の欠品: なし。分解/修理/液浸 - 液浸痕: 液浸痕なし、充電状態 - ワイヤレス充電: 正常、充電状態 - 有線充電: 正常、バッテリー テスト状態 - バッテリー: 修理/交換なし、パッケージおよび付属品の状態 - パッケージ ボックス: 1、パッケージおよび付属品の状態 - データ ケーブル: なし、パッケージおよび付属品の状態 - 充電器: なし。

ご覧のとおり、製品の詳細と品質検査項目のうち、ユーザーの質問に関連する項目はごくわずかです。すべての製品の詳細と品質検査項目に知識を注入すると、多くのトークンが無駄になり、ChatGPTはユーザーの質問に答えるために非常に長いシーケンスで関連情報を検索するため、応答速度が遅くなり、効率が低下します。ここでは、Sentence-Bertを使用して、ユーザーの質問、製品の詳細、品質検査項目の文ベクトルを計算します。コサイン類似度に基づいて、知識注入に最も関連性の高い上位5つの製品の詳細と品質検査項目を選択します。その後、ChatGPTは製品のバッテリー関連の知識に基づいてユーザーに応答を提供します。上位5つの製品の詳細は次のとおりです。バッテリー容量：2815mAh、バッテリーヘルス値：85％〜90％、充電サイクル：562、ピーク充電電力：20W、本体寸法：146.7 x 71.5 x 7.4mm。品質検査項目トップ5は以下の通りです。充電状態 - 有線充電：正常、電池検出状態 - 電池：修理・交換不要、充電状態 - ワイヤレス充電：正常、ボタン状態 - 電源ボタン：正常、パッケージおよび付属品状態 - 充電器：なし。この時点で、ChatGPTのインテリジェントカスタマーサービスは「バッテリー容量は2815mAhです」と回答しました。初期の知識注入トークン数は1228でしたが、関連知識フィルタリング後、トークン数は132に減少し、89%減少しました。

5. まとめ

LLMの卓越した自然言語理解機能は、様々な業界に力を与えることができます。従来の人間によるカスタマーサービスは、人間の介入に大きく依存し、データ集約型であるため、未処理のデータが大量に存在するという現状において、LLMの適用は大きな可能性を秘めています。本システムでは、ChatGPTを基盤としたインテリジェントなカスタマーサービスシステムが稼働を開始し、カスタマーサービス担当者のサービス品質と効率性の向上を支援しています。

6. 参考文献

[1] Ouyang L、Wu J、Jiang X、et al.人間のフィードバックによる指示に従う言語モデルのトレーニング[J].arXiv e-prints、2022。DOI：10.48550 / arXiv.2203.02155。

[2] Brown TB, Mann B, Ryder N, et al. 言語モデルは少数ショット学習者である[J]. 2020.DOI:10.48550/arXiv.2005.14165.

[3] Devlin J、Chang MW、Lee K、et al.BERT：言語理解のためのディープ双方向トランスフォーマーの事前トレーニング[J]。2018.DOI：10.48550 / arXiv.1810.04805。

[4] Reimers N、Gurevych I.Sentence-BERT: Siamese BERT-Networksを使用した文埋め込み[J]。2019.DOI:10.18653/v1/D19-1410。

著者について

王安は、検索シナリオにおけるユーザーインテントの理解と、ChatGPTに基づくインテリジェントなカスタマーサービスの実装を担当する、NLPアルゴリズムのシニアエキスパートです。テキスト分類、エンティティ認識、関係性マッチング、質問応答シナリオにおいて豊富な経験を有しています。WeChat ID: tiantian_375699720 。建設的なコミュニケーションを歓迎します。

未来は、それに備える人のものです。足元に道があれば、未来は明るいのです。