ラック、生成AIシステムに対するセキュリティ診断サービスを提供

NO BUDGET

2024-02-21 17:24

  ラックは2月20日、生成AIシステムのセキュリティを強化するための新サービス「生成AI活用システム リスク診断」を提供を開始した。同社によれば、生成AIを組み込んだシステムは従来型のシステムと異なり、AIを欺くために設計された敵対的な攻撃(プロンプトインジェクション)に対して脆弱であることが明らかになってきているという。

 同サービスは、「プロンプトの悪用による機密情報の搾取」「不適切なコンテンツの表示」「内部的に設定されたプロンプトなど知的財産の搾取」「プロンプトの大量入力によるサービス拒否やトークンの過剰消費」などの脆弱性の有無を評価する。その上で生成AIを使ったシステムを対象に、特有の脆弱性が含まれていないかを評価して改善点をレポートする。

 さらにウェブアプリケーションの安全性を攻撃者の視点から調査する「Webアプリケーション診断」や、クラウド環境の潜在的な設定ミスや脆弱性の見落としを発見・修正する「クラウドセキュリティ設定診断」などと組み合わせてシステム全体の脆弱性を点検することも可能だ。なお診断の項目は、今後も随時追加していく予定だという。

 同サービスに含まれる評価項目には、(1)プロンプトインジェクション、(2)ジェイルブレイク、(3)プロンプトリーク、(4)大規模言語モデル出力の改ざん、(5)プロンプトの大量入力によるサービス拒否――がある。

 (1)はシステムの設定を回避して、モデルに学習されている機密情報やシステム情報を搾取できてしまう脆弱性を指す。(2)はシステムに設定されたポリシーを回避して、不適切なコンテンツ(攻撃的、または有害なコンテンツ)を解凍できてしまう脆弱性を言う。

 (3)はシステムの内部で設定されているプロンプトを搾取できてしまう脆弱性のこと。(4)は大規模言語モデル(LLM)の出力を改ざんすることで、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する脆弱性を言う。

 (5)は繰り返し大量のプロンプトを機械的に入力することで、システムが不安定になったり、大量のトークンを消費させ過剰な料金請求が発生してしまったりする脆弱性のことを指す。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]