医療の安全性と精密性を向上させる現実空間とデジタル空間の融合

バーチャル・リアリティ（VR）などの画像技術が医療現場で応用されています。二次元の検査画像を三次元空間に投影して現実世界と組み合わせるシステムを開発し、手術の安全性の向上や医学教育に生かす医師、杉本真樹さんにこのシステムやサービスの可能性について聞きました。

〔未来を創ろうとしている人〕杉本真樹（すぎもと まき）さん




医師・医学博士
Holoeyes　COO、共同創業者
帝京大学冲永総合研究所　特任教授
1996年帝京大学医学部卒。国立病院機構東京医療センター外科、米国カリフォルニア州退役軍人局パロアルト病院客員フェロー、神戸大学大学院医学研究科特務准教授、国際医療福祉大学大学院准教授等を経て、2018年にHoloeyesを創業。19年から帝京大学冲永総合研究所特任教授兼INNOVATION LAB室長。日本外科学会専門医、日本内視鏡外科学会技術認定医。

医療画像を三次元空間に投影。体内に没入する体験もできる

杉本さんは高校生のときに「人の命を救うこと」をライフワークにしたいと考えて外科医になり、さらには「地方の病院の勤務中に、自分も含めて医師が疲弊するのを見た」ことから、医療の効率化を目指すようになったといいます。

そして、医療画像解析や3Dプリンターを用いた臓器などの造形、仮想現実（VR）・拡張現実（AR）・複合現実（MR）（3ページ参照＞＞）などの技術開発に携わってきました。

2018年に設立したHoloeyes社では、患者のCTやMRIの画像をクラウドサービスを通じて立体のVRデータに変換し、現実の空間にあるかのような体験ができるHoloeyesXRを提供しています。

クラウドサービスによる画像変換の所要時間は約10分で、「各臓器の形状を座標データに変換し、ポリゴン（多角形）を組み合わせた立体にして、患者個別の臓器や血管などを空中にホログラムで描出します」と杉本さん。

さらに病院内で医師や放射線技師、臨床検査技師などが動脈は赤、静脈は青などと任意の色をつけ、不要な部分を消すなど、より見やすく表示します。

これまでも医療現場では検査画像を三次元的に表示していましたが、それらはほとんどが平面のモニター画面上で見るものでした。

杉本さんらが開発したシステムは、アプリと加速度・回転・位置などのセンサーが入った市販のVRゴーグルで現実空間とユーザーの動きを計算し、目の前に立体画像を浮かび上がらせます。



東京医科歯科大学の外科医と杉本さんとの手術前の打ち合わせ。奥のモニター上の画像が全員の目の前の空中に浮かんでいる。画像の回転などの操作はジェスチャーで行う。

しかも、立体画像に医師や患者自身も合わせて表示し、ホログラムの体内あるいは臓器の中に入って、裏側ものぞき込むことができるのです。

ゴーグルをかけている人たちは同じ対象を共有して見ることができ、手術室でも同期して全員で画像を操作できます。

手術中には実際の患者の手術部位に立体画像をホログラムのように重ねることも可能です。

「外科医は勉強や手術の経験を重ねて、二次元の画像を自分の脳内で三次元に組み立てます。しかも、手術前に切除する部位と残す部位、手順や患者個別の状況をすべて覚えなくてはいけません。

このシステムでは目の前に実際の人体があるかのように、診断用の画像に存在感と臨場感を持たせて脳に立体的に感じられるようにしています。脳はいろいろな感覚の情報を統合するほうが記憶しやすく、空間で体感することは立体の理解を深めるのです」。

例えば、大腸がんの手術であれば、手術前に腸管のバーチャルデータの中に執刀医が入って切除部位をシミュレーションしたり、手術中に切除が難しい部分を確認したりします。