編集部からのお知らせ
新着! 記事まとめ集「銀行のITビジネス」
EDRの記事まとめダウンロードはこちら

マイクロソフト、AIシステムの脆弱性を評価するツール「Counterfit」を公開

Liam Tung (ZDNet.com) 翻訳校正: 編集部

2021-05-06 12:45

 Microsoftは、開発者が人工知能(AI)システムのセキュリティをテストするためのオープンソースツール「Counterfit」をリリースした。

 CounterfitプロジェクトはGitHubで公開されている。同社は、ほとんどの組織が敵対的な機械学習に対処するためのツールを持っていないことが、以前実施した調査で明らかになったと指摘した。

 「このツールは、当社のAIサービスを積極的に保護するために、AIシステムの脆弱性を評価しなければならないという当社の必要性から生まれたツールだ。Microsoftの責任あるAIの原則と、『Responsible AI Strategy in Engineering(RAISE)』イニシアチブに基づいている」と、同社はブログ記事で述べている。

 Microsoftによると、このコマンドラインツールは、同社のレッドチームが自社のAIモデルのテストで、「複数のAIシステムを大規模に攻撃する際に使用している汎用的な自動化ツール」だという。同社はAIの開発段階で、Counterfitを使用することも検討中だ。

 このツールはブラウザーから「Azure Shell」を介して運用したり、「Anaconda」Python環境にローカルでインストールしたりできる。

 Microsoftは、このコマンドラインツールがあらゆるクラウド環境、オンプレミス、エッジネットワークでホストされているモデルを評価できるとしている。また、Counterfitはモデルを問わずに使用できる。そしてデータの制約を受けず、テキスト、画像、一般的な入力を使用したモデルにも適用できるように努めているとのことだ。

 「このツールは、セキュリティコミュニティーが公開されている攻撃アルゴリズムを利用できるようにするもので、AIモデルに対する攻撃を構築、管理、実行するための拡張可能なインターフェースを提供する」(同社)

 Counterfitは、攻撃者が操作可能なデータで機械学習モデルを欺く、敵対的機械学習を防ぐために利用できる。その例としては、McAfeeが「MobileEye」カメラを搭載した旧式の「Tesla」をハッキングし、速度標識に黒いテープを貼って、制限速度を誤読させた実験がある。他にも、Microsoftのチャットボット「Tay」が、一部ユーザーの誘導により、人種差別的な発言をツイートするようになった例がある。

 ワークフローは、「Metasploit」や「PowerShell Empire」など、広範に使用されているサイバーセキュリティのフレームワークに沿って設計されている。

 このツールは、AIシステムの脆弱性スキャンやターゲットモデルに対する攻撃のログ作成にも役立つ。

 Microsoftは、既に「Azure AI」サービス上でAIプラットフォームを開発中の顧客や、航空宇宙大手Airbusなど、Counterfitを数社とテストしている。

この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]