WithSecure SPHERE

AI悪用のためのプロンプトエンジニアリング--ウィズセキュア リサーチ部門が解説した手口

河部恭紀 (編集部)

2023-05-29 07:55

 フィンランドのセキュリティー企業WithSecureのセキュリティリサーチ部門WithSecure Intelligence(WithIntel)でシニアリサーチャーを務めるAndy Patel氏は、WithIntelが1月に公表した調査結果を基にプロンプトエンジニアリングについて説明した。

 プロンプトエンジニアリングは、大規模言語モデル(LLM)に関連する概念で、望ましい・有用である結果をもたらすインプット(プロンプト)を発見すること。WithIntelの調査では言語モデルを対象としているが、アート・ビデオ・音楽モデルといった創造的なコンテンツ全てに適用されるという。

 調査では、いくつかのユースケースを取り上げ、それぞれに適した文の生成を試みた。プロンプトエンジニアリングにより、インプットの変化が合成テキストのアウトプットにどのような影響を与えるかを判断することができたという。場合によっては、プロンプトの連鎖を利用し、モデルが自らのアウトプットを支持、反対、反論、返信、評価することも可能だったとしている。

Andy Patel氏
Andy Patel氏

 「サイバーセキュリティ関連ということでまず考えつくのはフィッシングやスピアフィッシング」(Patel氏)ということで、まずは、フィッシングメールをユースケースとした調査結果が紹介された。LLMを悪用することで、フィッシングメールを安全なメールのように見せかけることは可能だったとPatel氏。その際に考慮すべきは、有害な情報を生成しない仕組みが「ChatGPT」などには備わっている点だという

 「駐車場で相手の車にぶつかったので、保険情報などを整理してほしい」といった内容を生成するだけならば、拒否される可能性はない。しかし、電子メールアドレスやリンクの記載を求めると、フィッシングメールの生成を求められていると判断され、拒否されることがあるという。そのため、それらを直接記載させる代わりに、「[emailaddress1]」「[link1]」といったプレースホルダーを記載するよう指示することで、生成拒否を回避できたという。

 次のユースケースであるハラスメントは、人に対してだけでなく、ブランドに対しても攻撃が考えられる。そこで、架空の会社とその最高経営責任者(CEO)を設定するため、それぞれに関する文をまず生成させた。そして、名誉を棄損する虚偽の文をSNS投稿用と雑誌記事用とで生成することを試みた。プロンプトに具体的な疑惑を盛り込んだところ、「素晴らしい記事を書いてくれた」とPatel氏と述べ、非常に成功した実験だったと評価する。

 ソーシャルバリデーション(社会的検証)は、人が自分の行動を決定する際に他人の行動を考慮するという心理現象。SNS投稿ならば、「いいね」やリツイートといったエンゲージメントや肯定的なコメントが多い場合、人は投稿の内容を信頼する傾向にあるという考えが実験の背景にあったという。ソーシャルバリデーションは、非代替性トークン(NFT)関連の投資などの詐欺で使われることがある。

 ここでは、洗剤のカプセルを食べるのに挑戦するという、過去に若者の間で流行った出来事を取り上げた。洗剤を食べてみようと挑戦を呼びかける投稿、実際に食べてみた感想を述べるリプライ、さらに、それに対するリプライとして「食べてみてくれてありがとう」と礼を言うとともに友達にも挑戦を呼びかける文、というように投稿のスレッド全体を生成することができた。添付される画像も画像生成AIツール「DALL•E」で作成した。

画像1

 スタイルトランスファーは、テキストディープフェイクとも呼ばれ、特定の文体を模倣する。研究では、あらかじめ用意しておいたカジュアルな社内メールのやり取りを見本として、「Kelから[person1]に、KPIと第1四半期のゴールに関するEvanとのアポイントメントを設定する必要があることを知らせる、長く詳細なEメールを書く。外部の予約システムへのリンク[link1]を含めること」と指示した。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]