Symantecがシンガポールで開催したカンファレンス「Next@Norton」で、同社Group Product ManagerのJohn Harrison氏は、第三者機関が実施するセキュリティソフトの評価テストに関する課題を訴えた。
読者の中には、セキュリティベンダーによる売り文句−−たとえば「第三者機関によるテストの結果、数万種のウイルスの99％を検知しました」といったメッセージを目にした方も多いだろう。しかし、そのテストは本当に製品の性能を示しているのだろうか。
Harrison氏によれば、脅威からの保護は次の4つの分野に大別できる。
- ネットワークベースの保護
- ファイルベースの保護
- レピュテーション（評価）による保護
- ビヘイビアベース（振る舞い）による保護
ネットワークベースの保護は、クライアントに到達する前、つまり水際で攻撃を阻止するための保護だ。ファイルベースの保護では、クライアント上のファイルをスキャンして悪意の有無を調査する。レピュテーションによる保護では、実行しようとしているファイルやアクセスしようとしているウェブサイトが安全かどうかをサーバに問い合わせるなどして、安全であれば実行／アクセス、悪意があれば遮断する。ビヘイビアベースの保護では、実システムに影響がない仮想環境などでプログラムを実行し、どのように振る舞うのかを調査する−−4つの保護は大まかにこういったものだ。
こうした多層的な保護に対応するように、脅威も様々な経路からやってくると言えよう。
脅威からの保護はおおよそ4つに大別できる※クリックで拡大画像を表示
しかし、第三者機関による評価テストの多くは「ファイルベースの保護」にのみフォーカスしているという。そうしたテストの代表例が、マルウェアの検出率などを評価するオンデマンドテストと、定義ファイルを更新せずにどれだけ検出できるかを評価するレトロスペクティブテストだ。
Harrison氏によれば、オンデマンドテストによる評価では、多くの製品で検出率が99％以上だという。これは事実上、すべての製品が「優等生」であることを意味しており、本来テストが提供すべき各製品の格付けや評価といった機能を果たしているとはいえない。また、多くの製品がクラウドサービスと連携しながら保護力を高めるなか、レトロスペクティブテストのような手法では、実際あり得る攻撃からの保護を正確に測定できないという。
ユーザーの行動を反映したテストが求められる
最も単純な攻撃シナリオは、ユーザーにファイルをダウンロードさせ、それを実行させるといったものだ。しかし、現在の攻撃はより複雑だ。正規のウェブサイトにマルウェアを仕込み、閲覧するだけで感染させるドライブバイダウンロード攻撃、あるいはユーザー心理につけこんで「無料のセキュリティソフト」を騙るマルウェアなどもある。
いつもアクセスするウェブサイトが感染していたら−−Harrison氏は、現在のテストではそんなシナリオに正しい評価を下せないと訴える。
正しい評価のためには、製品の一部の機能だけを評価するのではなく、全ての機能や技術を稼働させた状態でテストするべきだ。そして何より、「セキュリティソフトのテストは、ユーザーの実際の行動に即していなければならない」（Harrison氏）
