Microsoftは、開発者が人工知能（AI）システムのセキュリティをテストするためのオープンソースツール「Counterfit」をリリースした。
CounterfitプロジェクトはGitHubで公開されている。同社は、ほとんどの組織が敵対的な機械学習に対処するためのツールを持っていないことが、以前実施した調査で明らかになったと指摘した。
「このツールは、当社のAIサービスを積極的に保護するために、AIシステムの脆弱性を評価しなければならないという当社の必要性から生まれたツールだ。Microsoftの責任あるAIの原則と、『Responsible AI Strategy in Engineering（RAISE）』イニシアチブに基づいている」と、同社はブログ記事で述べている。
Microsoftによると、このコマンドラインツールは、同社のレッドチームが自社のAIモデルのテストで、「複数のAIシステムを大規模に攻撃する際に使用している汎用的な自動化ツール」だという。同社はAIの開発段階で、Counterfitを使用することも検討中だ。
このツールはブラウザーから「Azure Shell」を介して運用したり、「Anaconda」Python環境にローカルでインストールしたりできる。
Microsoftは、このコマンドラインツールがあらゆるクラウド環境、オンプレミス、エッジネットワークでホストされているモデルを評価できるとしている。また、Counterfitはモデルを問わずに使用できる。そしてデータの制約を受けず、テキスト、画像、一般的な入力を使用したモデルにも適用できるように努めているとのことだ。
「このツールは、セキュリティコミュニティーが公開されている攻撃アルゴリズムを利用できるようにするもので、AIモデルに対する攻撃を構築、管理、実行するための拡張可能なインターフェースを提供する」（同社）
Counterfitは、攻撃者が操作可能なデータで機械学習モデルを欺く、敵対的機械学習を防ぐために利用できる。その例としては、McAfeeが「MobileEye」カメラを搭載した旧式の「Tesla」をハッキングし、速度標識に黒いテープを貼って、制限速度を誤読させた実験がある。他にも、Microsoftのチャットボット「Tay」が、一部ユーザーの誘導により、人種差別的な発言をツイートするようになった例がある。
ワークフローは、「Metasploit」や「PowerShell Empire」など、広範に使用されているサイバーセキュリティのフレームワークに沿って設計されている。
このツールは、AIシステムの脆弱性スキャンやターゲットモデルに対する攻撃のログ作成にも役立つ。
Microsoftは、既に「Azure AI」サービス上でAIプラットフォームを開発中の顧客や、航空宇宙大手Airbusなど、Counterfitを数社とテストしている。
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
