2021年3月3日

長崎大学の次世代型オンライン遠隔医療システム「NURAS」の開発のお手伝いをしました。

~ Mixed Reality と AI を活用した国内初の遠隔医療システム ~

国立大学法人 長崎大学(学長:河野 茂、以下 長崎大学)は、次世代オンライン遠隔医療システムの開発・提供において、
長崎県(知事:中村 法道)、五島市(市長:野口 市太郎)、長崎県五島中央病院(院長:竹島 史直、以下 五島中央病院)、
日本マイクロソフト株式会社(本社:東京都港区、代表取締役 社長:吉田 仁志、以下 マイクロソフト)と連携協定を締結しました。


この連携の最初のプロジェクトとして、関節リウマチ患者を対象とした遠隔医療の実用化に向けて、Mixed Reality(複合現実)(注)を活用した国内初(長崎大学調べ)の次世代型オンライン遠隔医療システムとして、長崎大学関節リウマチ遠隔医療システム「NURAS」 (ニューラス)を開発し、本日より長崎大学病院(長崎市)と五島中央病院(福江島)において実証実験を開始しました。

このシステムにより専門医過疎地域である離島・へき地など遠隔地にいる患者が、Mixed Realityなどの活用により、リウマチ専門医による遠隔医療を、これまでよりも高い精度で受けることが可能になります。 従来のテレビ電話あるいはWeb会議システムを用いても遠隔医療は可能ですが、関節を中心とした病変部位を平面映像(2D)だけで観察および類推することしかできず、関節リウマチ診療に不可欠である正確な関節評価を行うことは困難です。 そこで本システムでは、マイクロソフト社の「Azure Kinect DK」の深度センサーを用いて患者の病変部位を立体的(3D)に撮影し、遠隔地にいる専門医の医者がマイクロソフト社の「Hololens2」を装着して Mixed Reality空間上でリアルタイムに立体像で観察・評価できるようにしました。 これにより平面映像だけでは困難な診察が可能となります。 専門医と患者はコラボレーションツールの「Microsoft Teams」を用いてビデオ会議を行いながら診察を進めますのでリアルタイムに指示や会話が可能です。

本システムは、関節リウマチ患者のみならず、その他の神経疾患や運動器疾患など、患者と対話を行いながら病変部位の観察や運動評価が必要な分野にも応用することができます。また、今回は長崎大学病院と五島中央病院を遠隔で結んでいますが、システムの性質上これらの地域に限定されることはなく、ネットワーク接続が可能なあらゆる地域と専門医を結ぶことも可能です。また、新型コロナウイルス感染症流行下における遠方通院時の感染リスクを避ける目的で使用することにも効果的です。将来的には5Gによる高速通信技術との連携や学生教育(オンライン実習など)を含む他の複数の分野へのさらなる広がりも期待されます。 また、2021年3月下旬には、このシステムには人工知能(AI)を適用し、診察時の患者の表情の変化を素早く捉え自動的に患者の心情(不安や満足度など)を評価する機能や、患者との対話を時系列に文章で記録する機能などが追加実装される計画です。マイクロソフト社のクラウドプラットフォームであるMicrosoft AzureのAI「Azure Cognitive Services」を用いることでセキュアかつ信頼性の高い推測と提案を行います。AIから得られたそれらのデータを参照し、物理的に離れた患者と医師との心理的な距離を縮めることによって、患者本人の生活の質の向上にも役立てられる可能性があります。

長崎大学関節リウマチ遠隔医療システム「NURAS」の活用イメージビデオを下記でご覧いただけます。
https://aka.ms/NURAS-Video

(注)Mixed Reality (複合現実) 3D グラフィックなどで作られた映像や画像 (ホログラム) を、現実世界に重ね合わせて表示することで、目の前に実物があるかのように見たり、動かしたりできる技術。ホログラムを拡大、縮小、回転、移動など操作できるため、実物大の3D模型を複数人の前に表示して議論したり、手順を確認しながら作業できたりすることから、製造、建築、教育、医療など様々な業種で活用されています。

弊社ではマイクロソフト社の「Azure Kinect DK」及び「Hololens2」を扱ったMRアプリやシステムの開発を受託しております。

この件に関するお問合せ:
https://www.rocketstd.co.jp/index.php/contact/

トップページへ戻る