富士通研究所は、米カーネギーメロン大学コンピューターサイエンス学部と共同で、こまやかな表情の変化を高精度に検出可能な「AI表情認識技術」を開発したと発表した。
この技術は、例えば斜めを向いている顔に対しても、顔を正面から撮影した基準となる画像に近づくように補正を行うことにより、小規模なデータで検出モデルを学習することを可能にし、普段の動作で生じるさまざまな顔の向きや角度においても、苦笑いや喜びの驚き、戸惑いを感じた際などのこまやかな表情の変化を高精度に検出できるという。
同技術を活用することで、相手のわずかな反応を顔の表情の変化から検知することが可能になり、遠隔業務でのコミュニケーションや、運転者や工場作業者のモニタリングなどへの適用が期待されている。
AUと表情の関係原理図
こまやかな表情の変化を扱うことを目的に、解剖学的知見に基づき、顔面の各筋肉に対応づいた動きの単位として定義された「Action unit（AU）」の活用が進んでいる。AUは、「眉が下がる」「頬が上がる」といった顔面の各筋肉の動きに基づいて約30種に分類され、これらのAUを組み合わせることで、喜怒哀楽に加えて、こまやかな表情変化も捉えることができる。
AUの検出にはディープラーニングが使われるため、大規模な学習データの準備が必要となるが、実際の環境では、さまざまな角度・大きさ・位置の顔がカメラで撮影されるため、それぞれに対応した大規模な学習データを準備することが難しく、結果として十分な検出精度を実現するのが困難だった。
開発した技術
今回開発した技術では、AUごとに最適化された画像変換を用いて、小規模な学習データでも高精度にAUを検出できる。さまざまな角度・大きさ・位置で撮影された顔の画像に対して、顔を正面から撮影した基準の画像に見え方が近づくように、回転や拡大・縮小、平行移動などの変換処理を行う。これにより、大規模な学習データを準備することなく、小規模な学習データでもAUを検出することができるとする。
また変換処理では、撮影された顔の画像からAU検出に影響の大きな領域を分析し、その領域周辺の特徴点が、基準の顔の画像の特徴点の位置に近付くように、回転や拡大・縮小、平行移動の量を調整する。基準の顔の画像の見え方に近付ける変換処理を、AUごとに調整することで、高精度にAUを検出できるようになったという。
