日本マイクロソフトと長崎大学、五島中央病院、長崎県、五島市は3月3日、次世代オンライン遠隔診療システム「NURAS（ニューラス）」の開発および提供で連携協定を締結したと発表した。最初のプロジェクトとして、関節リウマチ患者を対象とした遠隔診療の実用化に向け、MR（複合現実）技術を用いた国内初の次世代型オンライン遠隔診療システムを開発し、長崎大学病院と五島中央病院で実証実験を行う。
次世代オンライン遠隔診療システムの概要
厚生労働省の厚生科学審議会疾病対策部会・リウマチ等対策委員が2018年11月にまとめた報告書（PDF）によれば、自己免疫によって生じる関節滑膜の炎症から発生するリウマチ有病率は0.6～1％で、国内患者数は60～100万人と推定される。同日記者会見した長崎大学 医歯薬学総合研究科長の川上純氏は、県の特徴について「離島やへき地が多く、少子高齢化も進んでいる。慢性的な医療人材不足や都市部との医療格差、慢性期医療・在宅医療需要の増加、医療のICT化、遠隔医療の需要が特に高い」と述べ、今回の連携協定に至ったとした。
NURAS（正式名称はNagasaki University Rheumatoid Arthritis remote medical System）では、長崎大学病院の専門医がマイクロソフトのMR機器「Microsoft HoloLens 2」を装着。五島中央病院を訪れた関節リウマチ患者は、AI（人工知能）センサーを1つのデバイスにまとめた3台の「Azure Kinect DK」で手などの炎症部分を360度から撮像する。川上氏によれば、専門医は目の前にいるような状態で患者の状態を確認できるという。また、関節リウマチ患者が診察前にSurface Go 2で問診・質問票に情報を入力し、その内容をMicrosoft Formsで集計する仕組みも用意した。専門医や非専門医とのオンラインコミュニケーションにはMicrosoft Teamsを使用する。
Azure Kinect DKによる関節リウマチ患者の撮像シーン
Microsoft HoloLens 2を装着した長崎大学病院専門医の眼前に映し出される映像
Azure Cognitive Servicesで関節リウマチ患者の表情を分析し、不安や満足度などを数値として示す
今回の取り組みについて日本マイクロソフトは無償で参画する。執行役員 最高技術責任者兼マイクロソフトディベロップメント 代表取締役社長の榊原彰氏は、「NURASは先駆けになる。120度の視野角を持つAzure Kinect DKを3台用いることで360度の撮像を実現した。撮像した立体画像は、100キロ離れた専門医に30fps（毎秒30フレーム）でリアルタイムに転送する。また、患部を数値化することで、前回の遠隔診療と比較して専門医の判断材料に用いることが可能」と説明した。
3月下旬までには、Azure Cognitive Servicesの画像内の顔と表情を検出・識別する「Face」で関節リウマチ患者の心情を評価する機能や、音声をテキスト化する「Speech to Text」などを用いて患者との対話を時系列に文章化してカルテなどに書き込む機能の実装を予定。榊原氏は、米国時間3月2日からオンラインで開催中の「Microsoft Ignite 2021」で発表した「Microsoft Mesh」にも触れ、「遠隔地でHoloLens 2やMRを用いて共同作業で現実的に存在感を覚える技術。NURASの発展系にもMicrosoft Meshが使えるのでは」と提案した。なお、コロナ禍におけるMicrosoft HoloLens 2への問い合わせは従来の3倍に増えているという。
会見で長崎大学 学長の河野茂氏は「遠隔診療はオンライン会議などを利用して活用が始まりつつあるものの、多くの規制が横たわっている。技術を通じて遠隔診療を推し進めたい」と述べ、同 大学研究・国際担当理事の永安武氏は「遠隔医療の発展に資することが重要。また、遠隔医療にとどまらず、大学が抱えている教育やコロナ禍の海外留学生といった課題解決、地域振興にもつなげない」とコメントした。
NURASは関節リウマチに特化したシステムだが、日本マイクロソフトでは将来的に5G（第5世代移動体通信）ネットワークによる高速通信技術との連携、コロナ禍で難航している学生の実習を中心とした教育や研究を含む他分野への展開も見据えている。
（左上から時計回りで）長崎大学 学長の河野茂氏、日本マイクロソフト 執行役員 最高技術責任者 兼 マイクロソフトディベロップメント 代表取締役社長の榊原彰氏、長崎大学 大学院歯薬学総合研究科 離島・へき地医療学講座 助教授の野中文陽氏、長崎県 医療人材対策室長の加藤一征氏、五島中央病院 事務部長の藤野弘幸氏、五島市 市長の野口市太郎氏
