エフセキュア、AI推薦の悪用の危険性について警告

~攻撃者によるAIの操作や意図的な偽情報の拡散について実験~

ウィズセキュア株式会社

2021-06-25 10:00

エフセキュアは、ソーシャルメディアにおけるAI推薦に関する実験を行い、その結果、敵対する人/企業/政府を陥れるための意図的な偽情報や陰謀論の拡散が操作可能なものであったことを発表しました。
先進的サイバー・セキュリティ・テクノロジーのプロバイダであるF-Secure (本社: フィンランド・ヘルシンキ、CEO: Juhani Hintikka、日本法人: 東京都港区、以下、エフセキュア) は、ソーシャルメディアにおけるAI推薦に関する実験を行い、その結果、敵対する人/企業/政府を陥れるための意図的な偽情報や陰謀論の拡散が操作可能なものであったことを発表しました。

AIによる推薦システムは、検索エンジン、オンラインショッピングサイト、ストリーミングサービス、ソーシャルメディアなど、今日私たちが享受している多くのオンラインサービスで使用されています。しかし、人々がインターネット上で見るものやすることに対する影響力が大きくなっていることから、意図的な偽情報の拡散や陰謀論の促進に積極的に利用されるなど、様々なタイプの悪用に対する懸念が生じています。

エフセキュアの人工知能研究センターのシニア・リサーチャーであるAndy Patel (アンディ・パテル) は最近、単純な操作技術がソーシャルメディア上のAI推薦にどのような影響を与えるかを知るために、一連の実験を行いました。
「TwitterをはじめとするSNSは、多くの人々やグループが様々な主張を押し付ける戦場となっています。その中には、有機的な会話や広告だけでなく、正当な情報に対する信頼を損ない、低下させることを目的としたメッセージも含まれています。これらの『工作員』がどのようにAIを操作できるかをリサーチすることで、AIが現実的にできることの限界を明らかにし、理想的にはどのように改善できるかを明らかにすることができます。」

PEWリサーチセンターが2020年末に実施した調査*1によると、アメリカ人の53%がソーシャルメディアからニュースを入手していることがわかりました。18歳から29歳の回答者は、最も頻繁にニュースを入手する情報源としてソーシャルメディアを挙げています。一方、ソーシャルメディアを情報源とすることに潜在的なリスクがあることも調査で明らかになっています。2018年に行われた調査*2では、虚偽の内容を含むTwitterの投稿がリツイートされる確率は通常の投稿より70%も高いことが判明しています。

Patelは、Twitterからデータを収集し、協調フィルタリングモデル (機械学習の一種で、過去のやりとりに基づいてユーザーとコンテンツの類似性を符号化する) を学習させて、推薦システムに利用することを試みました。その後、特定のアカウント間でリツイートが行われたデータ (ポイズンデータ) を用いてモデルを再学習させ、推奨度がどのように変化するかを調べる実験を行いました。

リツイートするアカウントを適切に選択し、リツイートを行うアカウントの数と公開するリツイートの数を変化させることで、ごく少数のリツイートであっても、注入されたリツイートによってコンテンツが共有されたアカウントを推奨するように推薦システムを操作することができました。

今回の実験は、ソーシャルメディアなどのウェブサイトがユーザーにおすすめ情報を提供する際に採用するであろうAIの仕組みを簡略化して行ったものですが、Patelは、Twitterをはじめとする多くの大手サービスが、現実世界で既にこうした攻撃に対処していると考えています。
「私たちは、実際の攻撃がどのように行われるかを知るために、簡略化したモデルに対してテストを実施しました。ソーシャルメディアのプラットフォームは、今回の研究で実証されたものと似たような攻撃にすでに直面しているものと思いますが、これらの運営企業は結果だけを見て、それがどのように機能するかにはさほど注意を払っていないため、こうしたことが現実に起こっていると信じるのは難しいのではないでしょうか。」

エフセキュアのAI担当バイスプレジデントであるMatti Aksela (マッティ・アクセラ) は、AIのセキュリティに関する潜在的な課題を認識し、対処することが重要だと語っています。
「今後、AIへの依存度が高まっていく中で、潜在的な悪用からAIを守るために何をすべきかを理解する必要があります。私たちが依存しているサービスの多くをAIや機械学習が担うようになると、その結果を信頼できるものとするために、得られる利益に加えて、そのセキュリティ上の強みと弱みを理解する必要が出てきます。セキュアなAIは、信頼できるAIの基盤なのです。」

Patelは、実験の詳細なレポートと、研究を再現するために必要なコードやデータセットをGitHubで公開しています。
(リンク »)
また、本リサーチの詳細は以下のエフセキュアブログページでご覧いただけます。
(リンク »)

*1 (リンク »)
*2 (リンク »)

エフセキュアプレスページ:
(リンク »)

このプレスリリースの付帯情報

用語解説

エフセキュアについて

エフセキュアほど現実世界のサイバー脅威についての知見を持つ企業は市場に存在しません。数百名にのぼる業界で最も優れたセキュリティコンサルタント、何百万台ものデバイスに搭載された数多くの受賞歴を誇るソフトウェア、進化し続ける革新的なセキュリティ対策に関するAIテクノロジー、そして「検知と対応」。これらの橋渡しをするのがエフセキュアです。当社は、大手銀行機関、航空会社、そして世界中の多くのエンタープライズから、「世界で最も強力な脅威に打ち勝つ」という私たちのコミットメントに対する信頼を勝ち取っています。グローバルなトップクラスのチャネルパートナー、200社以上のサービスプロバイダーにより構成されるネットワークと共にエンタープライズクラスのサイバーセキュリティを提供すること、それがエフセキュアの使命です。
エフセキュアは本社をフィンランド・ヘルシンキに、日本法人であるエフセキュア株式会社を東京都港区に置いています。また、NASDAQ ヘルシンキに上場しています。詳細は以下のページをご覧ください。
(リンク ») (英語)
(リンク ») (日本語)
また、Twitter @FSECUREBLOG でも情報の配信をおこなっています。

本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。

【企業の皆様へ】企業情報を掲載・登録するには?

御社の企業情報・プレスリリース・イベント情報・製品情報などを登録するには、企業情報センターサービスへのお申し込みをいただく必要がございます。詳しくは以下のページをご覧ください。

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

自社にとって最大のセキュリティ脅威は何ですか

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]