野村総合研究所（NRI）は8月9日、「生成AIのセキュリティリスクと対応のあり方」というテーマで報道説明会を開催した。
NRIセキュアテクノロジーズ コンサルティング事業統括本部長 兼 北米支社 Security Consulting Department部長の山口雅史氏はまず、2022年11月30日に対話型生成AI「ChatGPT」が公開されたことを挙げ、「現時点で実用に至っていることがかなり多い」と位置づけた。
企業での関心が高まる一方、業務効率化などを期待して生成AIを活用する際に想定されるリスクとして、同氏は「自社からの情報漏えい」「法令違反」「サービス事業者からの情報漏えい」「でっち上げ・誤情報・根拠不明の情報生成（ハルシネーション）」「各種権利の侵害」「他社情報取得後の二次被害」「マルウェア感染」「不正プログラム混入」の8種類を挙げた。
社外サービスとして生成AIを利用する際に想定されるセキュリティリスク
また、サイバー攻撃者が生成AIを活用して攻撃手法の効率化／高度化を図ってくることも想定され、防御側にこれまで以上のセキュリティ強化が必要となってくる可能性も考えられる。
山口氏は続いて、生成AIのセキュリティリスクとして「プロンプトインジェクション」「ディープフェイク」「従業員によるうっかり漏えい」の3つを取り上げ、その詳細を説明した。
プロンプトインジェクションは、AIチャットボットに対する攻撃手法で、主には生成AIを提供するサービス事業者側に対応が求められる問題だが、自社で独自のAIシステムを運用して社内サービスを提供する場合などにはこうした攻撃を想定した防御対策も必要になってくる可能性がある。自然言語処理を行う生成AIでは、運営側が設定した「マスタープロンプト」とユーザーが入力する「ユーザープロンプト」を組み合わせたものをモデルに入力して出力を得ているという。
ChatGPTのプロンプトの仕組み
マスタープロンプトでは、例えば、「麻薬に関する質問など、犯罪行為・非倫理的なプロンプトを入力した場合に応答を拒否する」などのルール設定を行っているものと推測されるが、プロンプトインジェクションはユーザープロンプトの入力の工夫でマスタープロンプトによる制約を回避するように試みる攻撃手法だ。
具体的な攻撃手法としては「プロンプトリーク」「ジェイルブレイク」「敵対的プロンプティング」などが紹介された。こうした攻撃を受けることを想定すると、「自社独自の生成AIを実装するのは、それ自体の難しさに加えて防御ノウハウも必要」となることから、「現状は大手サービスを採用することがセキュリティ観点では無難」（山口氏）だとした。
プロンプトインジェクションの主な攻撃手法
次にディープフェイクは生成AIを活用して偽情報を生成／拡散するもので、既にさまざまな形で実例が生じているものだ。同氏は「2023年5月23日、米国防総省の近くで大規模な爆発が起こったような偽画像がSNSで拡散」した事例を紹介。この時、ニューヨーク株式市場ではダウ工業株30種平均が一時80ドル近く急落するという経済的影響が生じたという。
また、音声生成AIサービス「ElevenLabs」では「オリジナルの音声データが1分間分あれば、クローン音声を出力できる」といい、これを活用すれば他人の偽発言を容易に偽造できてしまう。具体的な悪用の可能性として、欧米の金融機関などで採用例がある「音声認証」で、電話応答の際に本人の発声を確認するシステムにElevenLabsで生成したクローン音声を再生したら突破できたという検証結果も出ているという。
ディープフェイクの例として紹介された、ElevenLabsのサービスを利用して音声認証を突破した例
最後の従業員によるうっかり漏えいでは、生成AIに対するプロンプト入力として社内の機密情報などを入力してしまうという直接的な例に加え、社内で利用している翻訳サービスや、ユーザーが意識しないところでユーザーの情報をクラウドに送信する可能性があるものとして日本語入力システム（IME）やウイルス対策ソフトなどにもリスクが考えられると指摘された。
従業員によるうっかり漏えいで考慮すべきポイント
山口氏はさらに世界各国で進んでいる生成AIなどに対する法規制の動向についても整理した。例えば、欧州連合（EU）では事業者向けのAI法案を2024年後半に施行すべく作業中だという。こうした動向を踏まえて、同氏は「生成AIの流行はあまりにも急速であり、セキュリティの考慮は完全に後追いとなっている状況」だと指摘。目下の対応として「『AIサービスの社内利用を許すかどうか』『許す場合に必要なルールやリテラシーの提示』といった考慮が必要」だとした。
