日本マイクロソフトは12月3日、視覚障害者向けの支援アプリケーション「Seeing AI」の日本語版を国際連合が定めた「国際障害者デー」に合わせて、本日から提供開始することを都内で発表した。日本マイクロソフトは提供理由について、「社会貢献という側面もあるが、Seeing AIはAzure Cognitive Servicesを利用するため、Microsoft AIの可能性を周知する活動の1つ」(同社 技術統括室 プリンシパルアドバイザーの大島友子氏)と説明した。
日本マイクロソフト 技術統括室 プリンシパルアドバイザーの大島友子氏
Microsoftは2018年5月に開催した開発者向け年次カンファレンス「Build 2018」において、5年間で2500万ドル(約27億円)を障害者に向けたAI(人工知能)プロジェクトへ助成する「AI for Accessibility」を発表している。そうしたAIによる障害者支援に取り組む一環として2017年にリリースしたのが、視覚障害者支援アプリケーションであるSeeing AI。当時から日本を含む70カ国で利用可能だったが、スマートフォンのカメラを通じて製品やドキュメント、通貨などの映像をMicrosoft AzureのCognitive Servicesが備えるVision機能で認識し、音声で解説できる言語は英語のみだった。今回の日本語を含む5カ国語(オランダ語、フランス語、ドイツ語、日本語、スペイン語)への追加対応に伴い、日本国内でも視覚障害者支援が加速する。
Seeing AIは、街の看板やスマートフォンに映し出された文字を認識して読み取る「短いテキスト」、書類を読み上げる「ドキュメント」、バーコードを撮影した商品名を音声で伝える「製品」、著名人などはあらかじめデータを所有し、家族や友人の顔を登録することで人物認識を行う「人」、撮影した画像や過去に撮った写真を読み込ませることで、状況を解説する「風景」、手にした紙幣を読み上げる「通貨」、カメラに映し出された洋服などの配色を音声で伝える「色」、室内の明るさを音で伝える「ライト」と8種類の機能を備える。英語版のみで日本語版は未対応だが、手書き文字を読み取る「Hand Writing」といった機能もある。なお、本稿執筆時点ではバーコードの問い合わせデータベース先が米国のため、読み上げる内容も英語。日本語対応時期などは未定だ。
Seeing AIのデモンストレーションから。スカイツリーの写真を見せると、数回の失敗を経て正しく音声で解説した
前述の通り、映像分析はクラウドを利用するものの、短いテキスト・人・通貨・色・ライトはオフライン環境でも利用可能。現在Seeing AIはiOS版のみ提供し、Android版の開発予定はない。実際に使って見ると分かるが、アプリケーションを起動すると画面下部に前述した機能が並び、スワイプやタップといった操作で機能を呼び出すシンプルなユーザーインターフェース(UI)を搭載している。この点について日本マイクロソフトは「視覚障害を持つエンジニア(MicrosoftでSoftware Engineering Manager and Project Lead for Seeing AIを務めるSaqib Shaikh氏)が開発に携わっているため、障害者の気持ちが分かる」(大島氏)と説明した。
発表会に参加したセルフサポートマネージメント 代表理事の石井暁子氏は手術をきっかけに全盲となり、Seeing AIの英語版や日本語ベータ版を1カ月ほど使ってきた感想を次のように語る。「娘がなかなか寝ないと思い、ライト機能を使ったところ子ども部屋の電気が明るかった。(3歳のお子さんを)叱るとはにかんでいた。買い物時は似たサイズのボトルを『短いテキスト』機能で確認している」と日常生活に使える点を強調した。また、「1人でできることができたと実感。生活に密着した使い方で視力があるときと同じ感覚」(石井氏)に陥るという。
セルフサポートマネージメント 代表理事の石井暁子氏(写真左)
AI for Accessibilityは日本マイクロソフトに限らず、グローバルで取り組んできたプロジェクトだが、日本で最初の受賞対象として、東京工業大学は、ALS(筋萎縮性側索硬化症)などを罹患(りかん)し、自ら身体を動かすことが難しくなった人が瞳孔経をデバイスで測定することで簡単な意思を示すことを可能にする「PuCom」。シーコミュは聴覚障害者向けの字幕を遠隔から操作するサービスを提供しているが、Microsoft Cognitive Service Speech APIによる文字起こしと、人の手による修正を組み合わせることで精確な字幕作成と提供を可能にした「AIミミ」という2つのソリューションを発表した。また、ゲームコンソール機であるXboxとPCに接続可能な障害者向けゲームコントローラー「Xbox Adaptive Controller」の国内発売も合わせて発表。発売時期は未定である。
東京工業大学「PuCom」の概要
シーコミュの「AIミミ」