GARDの主な構成要素の1つが「Armory」だ。これは研究者向けのテストベッドとなる仮想プラットフォームであり、GitHubで公開されている。このテストベッドでは、他者が作成した敵対的防御に対して、繰り返し可能でスケーラブルかつ堅牢な評価を実施できる。
もう1つの重要な要素が「Adversarial Robustness Toolbox」（ART）だ。これは、機械学習用のモデルやアプリケーションを敵対的脅威から防御するための開発者や研究者向けのツールセットであり、同じくGitHubからダウンロード可能だ。
カリフォルニア州サンノゼ郊外にあるIBMアルマデン研究所。ここではAI研究者がGARDプロジェクトに協力している。
提供：Getty
ARTは以前IBMによって開発されていたが、その後GARDプログラムの中心的要素となった。
「IBMは長い間、信頼できるAIに関心を持っていた。どの機械学習モデルにもデータが必要になる。しかし、信頼できるデータがなければ、扱いにくくなる」と、IBMアルマデン研究所でAIのセキュリティとプライバシーを対象としたソリューションチームの責任者を務めるNathalie Baracaldo氏は語る。「DARPA GARDプロジェクトを調査した結果、われわれが行っていたことと大いに整合していた」
Nathalie Baracaldo氏は、IBMでAIのセキュリティとプライバシーを対象としたチームを統率している。
提供：IBM
「ARTは2つに分けられる。まず、防御を担当するARTブルーチームだ。これに対して、どのようなリスクがあるか、どの程度良いモデルかといったことを評価する必要もある。ARTはこのブルーチームとレッドチームの両方に対応したツールを提供している」とBaracaldo氏は説明する。
現状の脅威に対してAIシステムを評価し保護するためのプラットフォームやツールを構築するだけでも難しい。将来ハッカーがAIシステムにどのような攻撃を仕掛けるかを見極めるのは、なおさら困難だ。
「堅牢性の研究における大きな課題の1つは、今できる限りのことをして、それが正しいと思って論文を発表しても、もっと巧妙な攻撃を仕掛ける者が現れれば、論文の主張が誤りになりうることだ」。このように語るNicholas Carlini氏は、Google Brain（GoogleのディープラーニングAI研究チーム）の研究員であり、機械学習とコンピューターセキュリティの交差する分野を専門としている。
「できる限り正しくあろうとすることと、それが誤りであることは同時に成立しうる。そのようなことが常時起こる」（Carlini氏）
GARDプロジェクトにおけるCarlini氏の役割は、AIの堅牢性について常に最新の研究を行うこと、そして防御ソリューションの担当チームが、完成前に陳腐化するようなものを開発しないよう徹底することだ。また同時に、関係者に対して各自の研究を後押しするような助言もしている。
「希望はある。破壊されると判明したもののリストと、その破壊方法への対策を提示することで、人々がそれを研究できることだ」とCarlini氏は説明する。
「攻撃方法が判明しているものを上手く破壊できるようになれば、おそらく破壊方法を知った上で自ら作り出すという段階まで発展するだろう。そうなれば、より正しいと思われるものを作成できるようになる」
データポイズニングがAIを破滅させうる理由
DARPAなどによる施策の多くは、将来の脅威から保護することを目指しているが、AIアルゴリズムが不正に操作された事例はすでに存在する。保護を試みる研究者による事例もあれば、悪用しようとする攻撃者による事例もある。
「学術的な文献で特によく見られる脅威は、画像や動画の直接的な編集だ。明らかにパンダに見えるパンダがスクールバスに分類される、といったようなことだ」とTwo Six Technologiesの上級主席研究員であるDavid Slater氏は語る。サイバーセキュリティとテクノロジーを扱う同社は、国家安全保障機関と連携しており、GARDプロジェクトにも関わっている。
