Dune Think Tankが発表した「2024年中国AIエージェント市場ガイド」によると、AIエージェントとは、自律性または半自律性を備えたインテリジェントな存在であり、人工知能技術を用いてデジタル環境または物理環境において認識、意思決定、行動、目標達成を行うことが可能です。この能力により、AIエージェントは様々な業界や環境を根本的に変える可能性を秘めています。

大規模モデルは、最小限の人間による監視の下で自律的に行​​動する能力や、複雑な環境における目標への適応と実行能力を欠いています。大規模モデルに基づくAIエージェントは、大規模モデルの出力を理解し思考する「エキスパート能力」を活用し、計画、記憶、実行、ツール呼び出し機能を追加します。これにより、大量の手作業による実行を代替し、大規模モデルと現実世界との間のコミュニケーションの障壁を排除し、大規模モデル実装における「ラストマイル」の問題を解決できます。

01

AIエージェントから生じる新たなリスク

AIエージェントは膨​​大な応用可能性を秘めていますが、同時に新たなセキュリティリスクももたらします。従来のAIモデルやアプリケーションのセキュリティリスクは、モデルの入力、処理、出力、オーケストレーション層、そしてそれらをホストする環境におけるソフトウェアの脆弱性に限られるのが一般的です。しかし、これらの脅威に加えて、AIエージェントは新たな人工知能リスクをもたらします。

AI エージェントを使用する場合、セキュリティ リスクの範囲は、AI エージェントによってトリガーおよび参加されるさまざまなイベントとインタラクションにまで拡大します。これらのイベントとインタラクションは、多くの場合、人間やシステム オペレーターの目に見えず、防止できません。

AIエージェントは、タスク実行時に、データセキュリティ、リソース管理、悪意のあるアクティビティ、コーディングエラー、サプライチェーンセキュリティ、悪意のあるコードの拡散など、様々なセキュリティ問題を引き起こす可能性があります。これらの問題に対処するには、適切なセキュリティ対策が必要です。AIエージェントがもたらすセキュリティリスクには、以下のものがあります。

• データの公開または漏洩: AI エージェントは、タスク実行中のどの段階でも機密データを公開または漏洩する可能性があります。

• システムリソースの過剰な消費: 実行中および対話中に、AIエージェントは意図的であるかどうかにかかわらず、システムリソースを制限なく大量に消費し、システムリソースの過負荷につながる可能性があります。

• 不正または悪意のあるアクティビティ: AI エージェントは、マルウェアや人間のエージェントの「ハイジャック」行為など、不正または悪意のあるアクティビティを意図的または意図せずに実行する場合があります。

• コーディング ロジック エラー: AI エージェントは、不正、偶発的、または悪意のあるコーディング ロジック エラーにより、データ侵害やその他の脅威を引き起こす可能性があります。

• サプライ チェーンのリスク: AI エージェント用にサードパーティの Web サイトからダウンロードしたライブラリやコードを使用すると、悪意のあるタスクを実行するように設計されたマルウェアに感染している可能性があるため、サプライ チェーンのリスクが生じる可能性があります。

• 悪意のあるコードの伝播と複製: 自動化されたエージェント プロセスの使用により、悪意のあるコードが伝播および複製される可能性があります。また、拡張生成 (RAG) を取得して悪意のある動作をトリガーすることにより、エージェントに「悪意のある」コードが感染する可能性があります。

02

AIエージェントのセキュリティリスクへの対策

前述の AI エージェントのセキュリティリスクに対処するために、企業は以下の対策を講じる必要があります。

まず、すべての AI エージェントのアクションと情報フローを監視します。

2 番目に、異常な AI エージェントのアクションを検出し、フラグを立てます。

3 番目に、自動化された方法を使用して、可能な限りリアルタイムで問題を解決します。

これらの対策へのアクセスは、AI エージェントのリスクを管理する必要がある IT、セキュリティ、またはその他の管理者ユーザーに許可する必要があります。

（１）すべてのAIエージェントの行動と情報の流れを監視する

異常や違反を検出するには、AIエージェントのアクション、プロセス、接続、データ漏洩、情報フロー、出力、レスポンスなど、包括的なダッシュボードビューが必要です。同時に、エージェントのすべてのインタラクションとアクティビティについて、変更不可能な監査証跡をサポートする必要があります。

ダッシュボード ビューでは、次の表示をサポートする必要があります。

• 出力の使用状況: AI エージェントの出力が時間の経過とともにどのように整理され、使用されるか。

• AI エージェントのユースケース: AI エージェントは具体的にどのようなユースケースで使用されますか?

• AIAgent のインタラクション意図: エージェントの目標、行動、コミュニケーション方法など。

• 会社のポリシーに準拠しているか: AIエージェントのパフォーマンスは、会社の許容使用ポリシーに準拠していますか?

• セキュリティ、プライバシー、法的要件への準拠: AI エージェントのパフォーマンスは、関連するセキュリティ、プライバシー、法的要件に準拠していますか?

• AI エージェントのアクションをエンタープライズ ID およびアクセス管理 (IAM) システムと統合して、アクセス権限を決定し、最小権限のアクセス制御を実装できるようにします。

（２）異常を検知・マークするためのAIエージェントアクション

異常なAIエージェントのアクションや企業ポリシーに違反するアクションを検出し、フラグ付けします。ダッシュボードビューを構築し、期待されるアクションのベースラインを定義すると、異常なトランザクションやアクションの検出を開始できます。

AIエージェントのインタラクションの速度と量を考えると、人間が全ての監視と修復を行うことは不可能です。したがって、異常なトランザクションは可能な限り自動的に修復する必要があります。自動修復できない異常な状況が発生した場合は、プロセスを直ちに一時停止し、人間による確認と修復に引き継ぐ必要があります。

（３）自動化された方法を使用して、可能な限りリアルタイムで問題を解決します。

是正措置には適切な制限措置と緩和措置を含める必要があります。

• データの匿名化: 企業が定義した機密データ (個人を特定できる情報や機密の非構造化情報など) がエージェント システムに渡されると、匿名化処理が行われます。

• 最小権限アクセスの実装：可能な限り、最小権限アクセス制御を実装します。違反が検出され、自動的に修正できない場合は、アクセスをブロックし、問題を人​​間のレビュー担当者に転送して解決を依頼します。

• 特定のエージェント脅威メトリックに基づく拒否リストをサポート: 拒否リストは企業データに関連する脅威インテリジェンスに基づいて作成され、エージェントはアクションを実行する前にこのリストを検証する必要があります。

• サポートされているファイルとファイル タイプの拒否および受け入れリスト: RAG でエージェント ワークフローをサポートするファイルを含む、エージェントがアクセスできるファイルとファイル タイプ、およびエージェントがアクセスできないファイルとファイル タイプを定義します。

• 監視およびフィードバック ループを実装する: 監視およびフィードバック ループを実装して、不正確さによって発生した不要なアクションを特定します。