AI型セキュリティの評価指標はユーザーが作る
セキュリティでのAI活用に期待される効果は、例えば、マルウェア対策なら誤検出の割合を低減する、セキュリティ情報イベント管理（SIEM）なら膨大なログやアラートの中から危険な兆候や痕跡を見つけやすくする、リスク管理なら正常な挙動に潜むわずかな不正を発見しやすくするといったものがある。
AIのセキュリティに対する適用例（出典：ガートナー 2017年7月）
ユーザーがこうした効果を評価する際、従来はベンダーが提供する製品やサービス、定義ファイル、アルゴリズムといったものに依存せざるを得なかった。しかしAIの活用では、上述のような取り組みを通じて、ユーザー自身でそのためのベースラインとなる評価指標を設定する。
Horvath氏は、ベンダーの主張するようなAIの活用効果がユーザーにとって本当に有効であるかを図るための品質の指標を定義すべきだと指摘している。
「現在の技術で得られる効果に比べてどの程度優れているのか、導入する技術のトレーニングがどの程度必要か、学習のサンプルデータがユーザーのデータにどの程度似ているのか、ユーザー同士で結果を共有するのか、といった点からベンダーの主張を見極めないといけない」（Horvath氏）
ユーザーが自身で評価指標を設定するポイントとしてHorvath氏は、（1）現在のプロセスを事前に定量化する、（2）AI活用に対する期待値を定量化する、（3）現行の人員やインフラを使ってテストする、（3）少なくとも30日間は試行する――を挙げる。AIを活用する新たなセキュリティ対策は、従来型のセキュリティ対策の運用を大きく変える可能性があり、既存の体制をもとに新たな対策を機能させていくための見極めや習熟が必須だという。
それらを踏まえ、新たな対策を運用していく上での課題を検討していく。例えば、データサイエンティストを新たに雇用すべきか、現行人員で対応していくのか、AIの判定で正確性が失われた場合に対応できるのか、何をしなければならないのか、といったAIが組織のセキュリティ対策におけるプロセスやスキルに与える影響を考慮しなければならない。
Horvath氏は、将来的にセキュリティ対策の中心がAIに移行するようになれば、AIの評価と管理にリソースを割り当てていく必要があると話す。その場合に小規模組織では、外部のコンサルタントを活用したり、内部の担当者をトレーニングしたりする。大規模組織では常勤のデータサイエンティストの採用を検討する。グローバル企業などでは、組織全体でさまざまなAI活用型の各種対策を管理していく体制が求められるという。
AI活用を検討するセキュリティ担当者に対してHorvath氏は、まずAIが現在検討中のセキュリティ領域にどう適用できるかを考察し、既存技術との対比でコストやメリットを評価する。3カ月以内に、自社のデータでAIの対策を試行し、これを5年以上継続させていくために必要な変更点を評価する。そして、1年以内にAIのメリットを得るための人員体制を整え、技術の変化に合わせて常に見直しができるようにしていくべきだとアドバイスしている。
