Bruce Draper氏は先日、新車を購入した。その車にはあらゆる最新技術が搭載されている。しかし、そういった華やかな付加機能は便利だが、心配なリスクもある。
「この車では、車線逸脱防止支援、道路標識認識といった、さまざまなAIが稼働している」とDraper氏。さらに、こう付け加えた。「こういった類のものはすべてハッキングされうる。つまり、AIが攻撃を受ける可能性がある」
このような事態への不安は高まっている。謎に包まれたAIアルゴリズムによって、自動運転車、重要インフラ、医療など、あらゆるものが管理されているのが現状だ。そのようなAIアルゴリズムが、破壊され、欺かれ、あるいは不正に操作されることはありうるのだろうか。
自動運転車が停止標識を無視して走行してしまったら、あるいはAIを搭載した医療用スキャナーが誤った診断を下してしまったらどうなるだろう。自動警備システムが不正に操作されて誤った人物を中に通してしまったらどうなるか。あるいは人物がいることの認識すらできないかもしれない。
現在は、起こりうる結果が膨大に考えられる中で、誰もが自動システムを頼りにして意思決定を行っている。そのため、AIシステムを欺いて、不適切な、あるいは危険な意思決定を導くことができないように対策を講じる必要がある。都市全体の交通渋滞や、基本的な公益サービスの妨害といったことは、AIを搭載したシステムの障害によって起こりうる問題の中でも特に目につきやすい。しかし、特定しにくいAIシステム障害では、問題がさらに重大化する可能性がある。
ここ数年で、AIの意思決定への信頼感は高まる一方だが、実のところ、得られた意思決定をわれわれが理解できないような場合もある。今懸念されていることは、人間がますます依存しているAI技術が、ほぼ目に見えない攻撃の標的になろうとしていることだ。それにより、現実にはっきり見える影響が出るだろう。現時点ではそういった攻撃はめったにないが、AIの利用が広まれば攻撃も格段に増えると専門家は予想する。
「スマートシティやスマートグリッドなどの試みが始まっている。これらはAIを基にしており、大量のデータが存在する。そのデータにアクセスしたい者や、AIシステムを破壊しようとする者もいるかもしれない」とDraper氏は語る。
「AIは確かに便利だが、状況を把握しながら取り扱わなければならない。リスクは確実に存在するため、AIシステムの防御が不可欠だ」
Draper氏は、米国防総省の研究開発機関である国防高等研究計画局（DARPA）でプログラムマネージャーを務めており、誰よりもリスクを認識できる立場にある。
彼が陣頭指揮をとるDARPAの「Guaranteeing AI Robustness Against Deception」（GARD）プロジェクトは、不正操作、改ざん、欺まんなどの、いかなる攻撃も阻止できるようなAIやアルゴリズムの開発を目指している。
「AIが当たり前の存在になり、あらゆる業種や環境で使用されるようになった。そのすべてが潜在的な攻撃対象領域となっている。そこで、すべての人に自分の身を守る機会を提供したいと考えている」
人間をだませなくてもAIはだませる
AIへの攻撃を懸念する声は昔からあるが、現在はディープラーニングアルゴリズムにわずかな、しかし知覚できない程度の変更を加えて、アルゴリズムの分析対象の誤分類につなげる方法について理解が進んでいる。
「AIシステムは1つの箱とみなすことができる。その箱に入力すると、何らかの意思決定や情報が出力される」とエディンバラ大学数学科で数値解析の教授を務めるDesmond Higham氏は語る。「攻撃の狙いは、この入力に対して小さな変更を加えて、出力に大きな変化をもたらすことだ」
たとえば、人間の認識では猫となる画像がある場合に、その画像を構成するピクセルに変更を加えることで、AI画像分類ツールを混乱させて犬だと思い込ませる。
この認識プロセスはエラーではなく、人間がアルゴリズムをだますために画像を特別に改ざんしたから起こったことである。これは「敵対的攻撃」と呼ばれる手法だ。
「これは単なるランダムかく乱ではない。つまり、この知覚できない変更内容はランダムに選ばれたわけではない。信じられないほど緻密に、考えうる最悪の結果をもたらすように選ばれたものだ」とHigham氏は警鐘を鳴らす。「世の中には、あれこれ試せる画像ピクセルが無数にある。そのように考えれば、こういったAI画像分類システムを全方向に安定させることができないのも当然だ」
AIがシミュレーション内で車両と人を識別している。人物のうちの1人が誤って車両として識別されている。
提供：Two Six Technologies
