東京工業大学とNECは、6月5日、可視光と非可視光の画像をAIで自動合成する技術を開発したと発表した。
この技術を活用することにより、単独画像では捉えにくかった対象物・状況の視認性を高めることができ、夜間や濃霧などの悪天候下での施設監視、対向車のヘッドライトや暗闇による死角があっても運用できる自動運転支援、建物のひび割れなど表面だけでなく内部の異常まで検査可能にするインフラ点検などの精度を向上できる。
画像融合の適用例
同技術は、「マルチモーダル画像融合技術」と呼ばれるもので、一般カメラで撮影した可視光画像と、熱をとらえるサーモカメラや、Ｘ線、テラヘルツ波、ミリ波などで撮影した非可視光画像を、AIを用いて自動的に合成する。
AIの自動合成では、カメラの種類や、明るさ、光線の方向、障害物の有無といった環境の特性に応じて、画像内の各部分の視認性の度合いを評価、各画像から最適な領域のみを自動的に抽出する。また、非可視カメラの画像中にある、異常や危険物などに関するわずかな特徴をAIが解析し、白とびや黒潰れなどの画像破たんが生じない、適切な強調の度合いを判断できる。
これまで、異なる種類のカメラの画像を合成するには、専門家が手動で、それぞれの画像から合成に適した場所を抽出し、複雑な画像合成作業を行っていた。また、非可視光画像に含まれる、異常や危険物の有無を判断する手がかりとなるわずかな特徴が、合成により失われる点も課題となっていた。
