実験による定量的評価
ユーザーに実際に使ってもらっての実験は、あらかじめ被験者を募り、セッションを区切り、条件統制なども行いつつ実施するタイプのものと、普通にサービスやアプリケーションとして使用してもらいつつ、そのログから検証するタイプとがある。
前者は被験者、場所、時間の確保などのコストがかかり、また、あまり長時間に渡る実験はやりづらいなどの制約がある。一方で、同じ被験者で条件を変えた比較実験がしやすく、また、視線計測装置など特殊な機器も使えるという利点がある。
後者は実使用条件でのデータが取れる、多数のデータを取りやすい、というのが大きな利点であるが、もちろん、サービスやアプリケーションがリリースされていなければ使えない、使用条件をそろえにくいなどが大きな制約である。
実験で取れるデータには、操作に掛かる時間、操作の精度、正確性（成功／失敗率、エラー率）、（試行錯誤なども含む実際の）ポインタの動きや手数などがある。特殊な機器が使える場合は、視線や注目点の動きや瞬きの数、心拍数の変化なども計測でき、緊張度なども計測し得る。
コストや目的次第ではあるが、実験の際には細かいデータもできる限り記録しておくとよい。細かいデータは量も多くなり解析は簡単ではない。しかし、例えばマウスでカーソルを動かしボタンをクリックする場合、操作開始から完了までの時間だけでなく、その間のカーソルの動きも記録しておくと、「迷っていると思しき場所やタイミング」や「動きのスムーズさ」などが判るかもしれない。
実使用条件においても、細かめのログは評価のために有用である。
ウェブ上のフォームなどで、入力漏れやフォーマットの不備などの間違いがあるままで次へ行こうとすると、それを指摘して入力や修正を促すものが多いが、入力漏れや不備があった欄はどこか、というログがあれば「間違いやすい箇所」が簡単に分かるるだろう（記入された内容などはログに残すと、個人情報の保護の観点で問題がある場合もあるので、注意が必要である）。
そうした箇所は、UIデザインで修正すべき問題である可能性が高い。
実使用条件で複数のデザインを比較する手法として、A/Bテストというものもある。これは、比較したい複数パターンのデザインをランダムにユーザーに提示し、「サイトの滞在時間」「広告のクリック率」など数値化しやすい明確な指標を計測し、優劣を測る方法である。
単純明快で有効性も高い手法であるが、基本的に結果としての「明確な指標」の比較しかできず、なぜそういう結果になったか、どういう経過を経てそうなったかということは調べられないなどの点には注意すべきである。
後編では定性評価やUIが「悪い例」から、学ぶ手法、UXの評価手法について解説する。
- 綾塚 祐二
- 東京大学大学院理学系研究科情報科学専攻修了。 ソニーコンピュータサイエンス研究所、トヨタIT開発センター、ISID オープンイノベーションラボを経て、現在、株式会社クレスコ、技術研究所副所長。 HCI が専門で、GUI、実世界指向インタフェース、拡張現実感、写真を用いたコミュニケーションなどの研究を行ってきている。
