In Depth

AIに迫る脅威--専門家が語る攻撃の手口と最先端の保護技術 - (page 4)

Danny Palmer (ZDNET.com) 翻訳校正: 川村インターナショナル

2023-03-15 07:30

 しかし、このような直接的な編集は1つのリスクにすぎない。おそらく、もっと重大な脅威はデータポイズニングによるものだ。この攻撃では、AI構築用のトレーニングデータが攻撃者によって書き換えられ、AIによる意思決定が改変される。

 「データポイズニングは特に強大な脅威であり、もっと注意を向けるべきものだ。現時点では、高度な敵対的知識を必要とせずに攻撃を実行できる。モデルのポイズニングに成功すれば、モデルが下流まで広範に使用されるため、影響範囲を拡大できる。また、いったんモデルに侵入したポイズニングの検出や対処は非常に難しい」(Slater氏)

Two Six TechnologiesのDavid Slater氏。提供:Two Six
Two Six TechnologiesのDavid Slater氏。
提供:Two Six

 アルゴリズムが閉じられた環境内でトレーニングされている場合、理論上は、ハッカーが侵入できなければ、ポイズニングから十分に保護されているといえる。

 しかし、パブリックドメインから抽出されているデータセットに基づいてAIがトレーニングされている場合は問題が重大化する。特に、その事実が人々に知られている場合はそうだ。損害を与えたい、あるいはただ嫌がらせをしたいという理由で、アルゴリズムを汚染しようとする者が世の中にはいるためだ。

 「今はどこからでもデータが収集される。インターネット全体のデータを基にモデルがトレーニングされるため、ポイズニングには気を付けなければならない」とCarlini氏は語る。

 「インターネットを巡回して、もらえるデータを何でももらってトレーニングしようとしていても、インターネットの利用者の中には、ただ世界が燃え上がるのを眺めたいという理由で悪行を働く者もいるのだから」

 このような傾向を示す悪例としては、Microsoftの人工知能ボット「Tay」が有名だ。Microsoftは人間との交流や学びを目的として、TayをTwitterに送り出した。自然言語の使い方や人間らしい話し方を習得できるだろうという思いからだ。しかし、わずか数時間で、ユーザーはTayを汚染して攻撃的な言葉を話すように仕向けたため、MicrosoftがTayを停止させるに至った。

 これは、AIシステムをデータポイズニングから保護する方法を考えるうえで、検討しなければならない懸念材料である。そして、これがGARDの目的の1つでもある。

 「現在検討しているのは、ポイズニングへの防御のあり方について、どう評価していくかということ。これは非常に難しい問題だ」(Carlini氏)

 チャットボットが攻撃的になるようにトレーニングすることも問題だが、医療データなどの重要な情報を学習しているアルゴリズムがあり、その知見が汚染された場合、患者に対する影響は悲惨なものになりかねない。

 「文献を調査して、こういった攻撃が簡単に実行できることが分かる場合もある。だから、1つの情報だけで、がんを予測すべきではないかもしれない。おそらく、まだ人間が関わる必要があるのだろう」とCarlini氏は提案する。Carlini氏は、GARDの取り組みがシステムの安全性とセキュリティの向上につながることを期待している。それが技術の普及を遅らせることになるとしても、長期的に見れば公共の利益になるためである。

現代社会のAI

 AIのセキュリティに関しては、すでに現実社会で問題が露見している。

 たとえば、AIイラスト生成ツールは瞬く間に関心を集めた。数枚の自撮り画像を設定すれば、芸術性のあるプロフィール写真がずらりと生成される。ユーザーはそれらをソーシャルメディアで使用できる。こういったAIシステムはインターネット上にある無数の画像を基にトレーニングされており、多くのジャンルから新しいイメージを生成できる。問題は、AIがオリジナルのイラストに含まれるバイアスを混入して、女性の性的な画像を生成したり、欧米のスタイルを優先したりする傾向にあることだ。AIはトレーニングに使用されたデータに含まれるバイアスを何度も複製し、それによりバイアスを増強していく。

 「ChatGPT」も、AIについて眼前に迫る課題を示す興味深い事例だ。このチャットボットは最近脚光を浴びており、AIがプログラミングから執筆まで、あらゆる分野の既存の概念を破壊しうることを示している。しかし、その隆盛により、たとえ人間がAIに対して完璧も求めていても、AIは完璧からは程遠いことも明らかになった。たとえば、ChatGPTを搭載した「Bing Chat」の初期ユーザーは、いわゆる「プロンプトインジェクション」攻撃を比較的容易に実行できることを発見した。この攻撃により、チャットボットの行動に適用されるルールや、そのコードネーム(Sydney)が暴露された。

 そして、初期ユーザーがテストを続けるうちに、事実についてこのボットと論争するようになり、また、会話も次第に奇妙で不快なものになっていった。そのため、Microsoftは、このボットに調整を加え、おかしくなった発言の一部を停止した。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    マンガでわかる脆弱性“診断”と脆弱性“管理”の違い--セキュリティ体制の強化に脆弱性管理ツールの活用

  2. セキュリティ

    ChatGPTに関連する詐欺が大幅に増加、パロアルトの調査結果に見るマルウェアの現状

  3. セキュリティ

    情報セキュリティに対する懸念を解消、「ISMS認証」取得の検討から審査当日までのTo Doリスト

  4. セキュリティ

    従来型のセキュリティでは太刀打ちできない「生成AIによるサイバー攻撃」撃退法のススメ

  5. セキュリティ

    ISMSとPマークは何が違うのか--第三者認証取得を目指す企業が最初に理解すべきこと

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]