「AIの最大のセキュリティリスクは、プログラムのエラーや学習データの偏りなどからAIが制御を失い、意図しない結果を導き出すこと。そして、その状態を開発者や利用者が気付かないことだ。そうして導き出された回答を検証なしで盲信すれば、その影響は計り知れない」――こう警鐘を鳴らすのは、Dell Technologies（Dell）で最高技術責任者（CTO）を務めるJohn Roese氏だ。
2022年11月にOpenAIが「ChatGPT」をリリースして以降、企業や行政機関を中心に「ChatGPTを業務利用するか否か」といった議論が続いている。業務の現場では、生産性向上などの観点から導入を希望する声が多い。例えば、横須賀市は、4月にChatGPTの全庁的な活用実証に乗り出した。文章の作成や要約など、業務の効率化を図るのが狙いだ。同時に「ChatGPTへの入力情報が二次利用されないよう、機密情報や個人情報を取り扱わない運用を徹底する」と、情報の安全な取り扱いを徹底することを明言している。
生成AIが急速に普及する中、AIが人々の働き方を変えることは間違いない。ただし、組織がAIを適切に活用するには、AIがどのようなセキュリティリスクに直面しているのかを理解する必要がある。Dellが5月に開催した「Dell Technologies World 2023」では、Roese氏が日本メディアの取材に応じ、AIのセキュリティリスクについて語った。
日本メディアの取材に応じるDell Technologies 最高技術責任者のJohn Roese氏
ChatGPTに入力するデータは誰でも自由にできると覚悟する
Roese氏は、AIのセキュリティリスクとして、「AIシステムを攻撃対象としたサイバー攻撃」と「機密情報の漏えい」を挙げる。
AIに対するサイバー攻撃は、AIモデルが誤判定を起こすよう意図的に設計された入力を行う敵対的攻撃（Adversarial Attack）や、AIモデルの訓練データを、悪意を持って操作するデータポイズニング（Data poisoning）などがある。Roese氏は、「例えば、ChatGPTを開発しているOpenAIの開発プラットフォームが誰にも気付かれないうちに悪意を持った犯罪集団によって侵害された世界を想像してほしい。現在ChatGPTのユーザー数は1億人超と言われている。1億人の質問に対して意図的にフェイク情報を提供したらどうなるだろうか」
また、企業がプライバシーポリシーや利用ガイドラインを整備しないまま不特定多数が利用する大規模言語モデル（LLM）のAIを利用した場合は、情報漏えいのリスクを抱えることになる。生成AIは、入力されるデータも1つの学習データとして扱うため、ユーザーが入力したデータは、モデル改善の学習データとして別の目的で利用される可能性があるからだ。
実際、イタリアのデータ保護当局は当初、ChatGPTが個人情報保護法令に違反する可能性があるとして、イタリア国内での利用を禁止した（現在は解除）。Roese氏は、「情報漏えいのリスクを回避するには、不特定多数が利用するAIに個人情報を入力しないことだ」と指摘する。
ただし、Roese氏は、「ChatGPTのような生成AIを一律に禁止する企業も少なくないが、私は（組織内に対して利用を）禁止するつもりはない」との立場をとる。
実際、同氏が率いる技術チームでは、メンバーに対してChatGPTの“実験”を奨励しているという。「メンバーには、Dellのセキュリティポリシーに則ってデータを入力することを伝えている。そして、OpenAIに入力したデータは、Facebookの公開フォーラムに掲載され、誰でも自由に利用できる可能性があるという自覚を持つことだ。それに抵抗があるのであれば、（そうしたデータは）入力すべきではない」
