AI 固有のリスクから企業を守る セキュリティ監視サービス

NRIセキュアテクノロジーズ株式会社 

2024-09-01

独自に開発したアプリケーションで AI を活用したシステムを常時モニタリングすることで AI による業務効率化やビジネスの変革をサポートします

製品概要

■AI Blue Team は、AI を利用したシステムに特化したセキュリティ監視サービスです
近年、多くの分野でAIの利用が増加の一途をたどっています。しかしながら、AIへの期待が高まる一方で、AI固有の脆弱性やリスクも明らかになってきています。本サービスでは、従来の監視サービスだけではカバーできないような、AIの性質を考慮に入れたセキュリティリスクをモニタリングいたします。
※現時点では LLM のみが対象となります

生成 AI、特に大規模言語モデル(LLM) を、業務効率化や新規サービスに活用する動きが急速に広がる中で、それらのセキュリティ対策もますます重要になっています。LLMが抱えるセキュリティリスクは、「プロンプトインジェクション」 「プロンプトリーキング」 といった脆弱性や「ハルシネーション」 「機微情報の漏洩」「不適切なコンテンツの生成」「バイアスリスク」 など、多岐にわたります。

LLMを利用したシステムにおける脅威イメージ
例:Retrieval-Augmented Generation (RAG)の場合

NRIセキュアは、生成AI(LLM)を取り巻くこれらのリスクを的確に検知することに加え、新種の攻撃手法やシステムの運用開始後に検出された脆弱性に対処するため、関連情報を「インテリジェンス(セキュリティ脅威について収集・分析した情報等の総称)」として継続的に蓄積し、監視業務に適用していくことを重視しております。LLMに関連するリスクから導入企業のシステムを保護する仕組みを独自に開発し、アプリケーションとして本サービスに組み込みました(特許出願中)。これにより、例えば、本サービスと対となる、AI Red Team のようなスポットでのAI セキュリティ診断だけでリスクを網羅的に洗い出して対策するには限界があるといった課題の解消も期待ができます。

特徴

■AI Blue Teamで実現できること
・生成AI活用システムを継続的にモニタリングし、広範囲かつ最新のAIリスクを回避
監視対象となるシステムと生成AI間で行われる入出力の情報を、本サービスで提供する「検知API」 に連携し、有害な入出力を検知した場合、導入企業の担当者に通知します。前述したLLMが抱えるセキュリティリスクのモニタリングと対応に留まらず、NRIセキュアのアナリストが検知結果をもとに攻撃傾向を分析し、新種の攻撃手法等にも対応できるようにインテリジェンスを蓄積し、継続的に最新化します。アナリストがモニタリングする監視用画面は、導入企業の担当者もアクセスできるため、検知状況を直接確認することも可能です。


・AI Red Team で検出したシステム固有の脆弱性を防御し、保護レベルを強化
生成AIを活用したシステムの開発現場では、どのようにAIを活用しているか等のAI への依存方式や権限委譲レベルに応じて、システム固有の脆弱性を作り込んでしまうことがあります。このような脆弱性は汎用的な防御ソリューションでは対処できない領域であり、個別の対策が求められます。

本サービスでは、「AI Red Team」のセキュリティ診断で検出されたシステム固有の脆弱性にも対応できるように、汎用的なインテリジェンスとは別に導入企業専用のインテリジェンスを蓄積します。これにより、固有の脆弱性を攻撃から防御しつつ、システム全体の保護レベルを一層強化することが期待できます(図2を参照)。

AI Blue TeamとAI Red Team を併用した生成 AI 活用システムのセキュリティ強化

■料金
個別見積もり

対象システム数、ユーザ数、検知API呼び出し回数などにより、お見積りが変動いたします。
詳細については、以下よりお気軽にお問い合わせください。

■よくある質問
Q.どのような利用形態がありますか
A.本アプリケーションは現時点では、SaaS のみでの提供となります。AI監視対象となるお客様のシステムと生成AI間の入出力情報を独自に開発したアプリケーション(以下、ABTアプリケーション)の検知APIに対してインターネット経由で送信していただきます。ABTアプリケーションへの画面もインターネット経由でアクセスいただきます。

その他の利用形態についてもお気軽にお問い合わせください。

Q.AI Red Team サービスを事前に申し込む必要がありますか
A.原則として、AI Red Team サービスによって、対象のシステムのセキュリティ診断から開始させていただきます。

診断結果を元にアプリケーション固有の問題に対するインテリジェンスをABTアプリケーションに適用することで、一般的な AI 防御ソリューションでは対処することが難しいお客様システム固有のリスクに対する対策が期待できます。

Q.導入には何が必要ですか
A.お客様のアプリケーションからABTアプリケーションの検知APIを呼び出すためのプログラムコードを数行追加いただくだけでご利用できます。

※契約書手続きや疎通確認等の準備期間を要するため、実際の利用開始までには数週間から1ヶ月程度が必要となります。

Q.検知APIを呼び出すにあたっての遅延が気になります
A.検知 API 呼び出し毎に平均して0.5~1.0秒程度の遅延が発生します。

※検知 API は様々なオプションを用意しており、オプション利用によって遅延レベルは異なります。また、監視対象のリクエストサイズも遅延レベルに影響を与えます

Q.偽陽性によるサービスレベルの低下と偽陰性による検知漏れが気になります
A.検知APIには検知モードと遮断モードがあります。まずは検知モードで監視を初めてからチューニングすることを推奨しております。偽陰性に関してですが、検知APIは多層での検知を前提としているため、単一の検知機能で検知できなかったとしても別の検知機能で攻撃を検知することが期待できます。また、弊社アナリストが本番のリクエスト動向を分析し、お客様に変わってインテリジェンスを更新することで検知性能を改善いたします。

※実際に通信を遮断する場合は、検知API の結果をもとにお客様システム側で応答フローを切り替えていただく必要がございます。

Q.どの LLM に対応していますか
A.ABTアプリケーションは LLM への入出力をモニタリングするため、対象とする LLM への制約はありません。

ホワイトペーパー

新着

ランキング

  1. ビジネスアプリケーション

    改めて知っておきたい、生成AI活用が期待される業務と3つのリスク

  2. ビジネスアプリケーション

    Google が推奨する生成 AI のスタートアップガイド、 AI を活用して市場投入への時間を短縮

  3. セキュリティ

    「2024年版脅威ハンティングレポート」より—アジアでサイバー攻撃の標的になりやすい業界とは?

  4. セキュリティ

    まずは“交渉術”を磨くこと!情報セキュリティ担当者の使命を果たすための必須事項とは

  5. クラウドコンピューティング

    生成 AI リスクにも対応、調査から考察する Web ブラウザを主体としたゼロトラストセキュリティ

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]