品質管理では、あらかじめ設定されたシナリオに従って自動的にサイトにアクセス。24時間365日にわたり、リアルタイムで監視できる。また、性能測定では、サードパーティツールやCDN(Contents Delivery Network)、ネットワーク環境、デバイスなどを含めたエンドユーザーの体感速度を計測。さらに、競合調査では、通常時のサービス品質の比較だけでなく、ピーク時や繁忙時の品質比較により、サービス改善につなげられる。
「ショッピングサイトの場合には、サイトにアクセスし、特定の製品を検索し、それをカートに入れるといった作業を自動化し、その際の品質や性能を測定できる。10分間、5分間といったシナリオを自動化して実行。シナリオに従って、1時間に6回あるいは12回といった計測設定も可能になる」(ネオス ARGOS事業推進リーダーの笹井英悟氏)という。
また、テストでは、ユーザーが実行すると想定される一般的なシナリオを実行。必要なポイントでキャプチャを撮影し、エラーの抽出に反映させるといった操作性のテストや、負荷がかかった際の品質などを測定できるロジック系テスト、カスタマサポートから寄せられた不具合の再現の確認や、再発生確率を測定する再現性テストなどが可能だ。
「パフォーマンスが落ちている部分をドリルダウンして、その時点のログにリンクして問題を起こしているサーバや構成パーツを特定できる。当社サイトの場合には、あるフォントを使っていたことがパフォーマンス低下の理由であることが分かり、それを入れ替えるだけで性能改善につながった例もある」(ネオス ARGOS事業推進 マネージャーの鈴木紀和氏)という。
ドメイン分析、レスポンス分析、可用性分析、コンテンツ分析、サーバ分析、変化率分析などを用意。レーダーチャートをはじめとするグラフィカルな表示が可能なダッシュボードの採用により、エンジニアリングスキルのないサービス担当者に対しても、パフォーマンスを可視化できる。
ダッシュボードでパフォーマンスを見える化。分析結果を確認できる