医療 VR で拓く手術現場の未来―杉本真樹先生インタビュー

かつては「未来の技術」として語られていた VR（仮想現実）技術。医療分野での研究は

2003 年頃から本格的に始まり、これまで 20 年以上にわたり研究と技術開発が積み重ねら

れてきました。VR 医療研究の現在地と今後の展望について、帝京大学冲永総合研究所教

授の杉本真樹先生にお話を伺いました。

特集号企画の狙いはエビデンスの蓄積

手術ナビゲーションや AI による動作解析など、センサー技術と組み合わせた応用研究が広がりつつあります。こうした潮流を背景に、杉本先生には MDPI ジャーナル Journal of Imaging の特集「Imaging-Driven Virtual and Augmented Reality for Surgical Diagnosis and Intervention」を企画いただきました。現在、関連する研究論文を募集しています。

――本企画の狙いについて教えてください。

　VR 医療の普及には、技術革新だけでなく学術的な裏付けが不可欠だと考えています。現在、VR や MR（複合現実）技術を実際に使っている分野は呼吸器や肝臓、整形外科など一部の診療科に限られています。より多くの診療科に広げていくためには、まず学術論文として認められることが重要です。査読付き論文としてエビデンスが蓄積されれば、将来的には診療ガイドラインにも反映され、臨床現場での普及も進んでいくはずです。この特集号は、研究を臨床実装や保険適用といった実務的な段階へ進めるための第一歩だと位置づけています。

――本特集号では、空間コンピューティング環境におけるセンサー技術の応用をテーマ

に、医療・工学・人間工学など幅広い分野から投稿を募集されています。

　臨床で実際に使っている先生方には、使用経験をエビデンスとして残すような論文を投稿していただきたいですね。一方で、エンジニアの方々には、技術的な妥当性を示す研究を発表してほしいと思っています。医療者とエンジニアの両側からエビデンスが積み重なれば、両者の間にある認識のギャップも埋まっていきます。若い研究者にもぜひ積極的に参加していただきたいです。最終的には、集まった研究を足がかりに多施設共同研究（マルチセンタースタディ）へと発展させたいと考えています。複数施設が同じプロトコルで研究を行い、その有効性が客観的に示されて初めて、学会や診療ガイドラインに採用を働きかけることができるからです。

患者ごとの「路線図」で手術をナビゲーション

医療分野における VR 実装はこの十数年で大きく進んでいます。2016 年には一般向け VR

ゴーグルが市販化され、いわゆる「VR 元年」と呼ばれる時代を迎えました。

――VR 研究の転機はいつ頃だったのでしょうか。

　大きな転機は 2014 年でした。クラウドファンディングで開発された VR ゴーグル「Oculus」が研究者向けに入手できるようになったのです。私たちはそれをいち早く導入し、CT や MRI から生成した三次元画像を VR 空間で表示できないかと考え、札幌の企業と共同でソフトウェアを開発しました。左右視差のある映像として出力した画像をゴーグルに表示する仕組みです。患者の解剖構造が奥行きを持って見えた瞬間、「これは医療に使える」と強く確信しました。

――医療用の VR は、エンターテインメントなど一般的な VR 技術と比べてどのような違

いがあるのでしょうか。

　 VR には「没入感」と「立体感」という二つの特性があります。医療の現場では仮想世界に入り込む没入感よりも、立体構造を正確に理解できることが重要です。背景を現実にすると AR（拡張現実）になりますし、さらにゴーグル内のセンサーが位置情報を測定して映像を動的に調整する技術は MR（複合現実）と呼ばれます。

　私は VR を「地図」ではなく「路線図」に近いものだと考えています。これまで医用画

像は、より細かく緻密に表示することが良いとされてきました。いわば詳細な「地図」で

す。しかし、実際の手術現場で外科医が必要としているのは、現在位置と重要な解剖構造

の位置関係を瞬時に理解できる情報です。情報量が多すぎるとかえって認知負荷が高くな

ってしまいます。そのため、血管や腫瘍など手術に直接関係する構造だけを抽出し、路線

図のように整理して提示する方が実用的なのです。

――あえて情報をそぎ落とすのですね。

　そうですね。路線図の作成には、AI によるセグメンテーション技術が重要になっています。CT や MRI などの画像から臓器や血管を自動的に抽出し、三次元ポリゴンモデルとして再構築することで、患者ごとの構造を VR 空間に表示します。現在では患者データをクラウドにアップロードすると AI が解析し、約 5 分で VR データを生成できるシステムも実用化されています。VR 空間のポリゴンデータには、手術中に医師が書き込んだメモや音声記録、手の動きなども保存できます。こうしたデータが蓄積されれば、経験豊富な外科医の知見をデータとして残すことができます。AI がそれらを学習すれば、似た症例に対して最適な手術方法を提案する、いわば「手術版の天気予報」のような仕組みも将来的には可能になるでしょう。

　さらに、内視鏡手術やロボット手術と VR を組み合わせる研究も進んでいます。手術中

のカメラ映像を VR 空間に表示し、そこに患者の三次元画像を重ねることで、解剖構造を

立体的に理解しながら施術できるのです。血管や腫瘍の位置関係をより正確に把握できる

ため、安全性の高い手術につながるでしょう。若手医師の教育にも有効です。先に立体構

造を体験しておくことで、その後に二次元の輪切り画像を読む学習がより効率的になりま

す。実際に私の研究室のエンジニア出身者が、自然と CT 画像を読み解けるようになりま

した。

――今後の課題についてはどう考えていますか。

　ゴーグルはまだ重く、手術中に⻑時間装着するには課題があります。将来的にはメガネ型デバイスが標準になると考えています。その実現に向けて、現在はソフトウェアの最適化を進めています。また、ロボット手術のモニターをゴーグル内に表示することで、大型ディスプレイを不要にする研究も進めています。ディスプレイが不要になれば設備コストや消費電力を削減でき、環境負荷の低減にもつながります。私はよく「昔レントゲン、今パソコン、将来は空中」と言っているのですが、手術室で大型モニターを見ながら操作する現在のスタイル自体が変わると思っています。

医工産学官をつなぐ研究室

Apple 社 Mac 誕生 30 周年記念サイト「Mac30」にて、世界を変え続けるイノベーター30 名として医療・外科分野で唯一選ばれた研究者でもある杉本先生。Innovation Lab 冲永総合

研究所の頭文字をとり、通称 「ILORI（囲炉裏）」 と名付けられました研究室には、歴代

Mac が並び、コンピューター技術の進化の歴史を実物で辿ることもできます。

――先生の研究室では医療者以外の人材も迎えておられるそうですね。

　 医療者、エンジニアや企業関係者、そして学生ももちろん歓迎しています。VR

医療は一つの分野だけで完結するものではなく、異なる専門や世代が交わることで新しい発想が生まれます。日本は起業やイノベーションのエコシステムが弱いと言われています。そこを解決するためにも、研究だけでなく、教育や人材育成にも力を入れ、参加者の成⻑を支援する活動を展開しています。

　囲炉裏の周りには人が集まり、火から生じる煙や炭には、家屋を乾燥させて木材を強くする効果もあります。この研究所を互いに刺激を受けながら、新しい研究やビジネスを生み出すハブのような場所にしたいのです。昔の Macを見るだけでも構いませんので、ぜひ気軽に遊びに来てください。そこから新しい研究や挑戦のきっかけが生まれれば嬉しいですね。　

（聞き手・文：MDPI Japan 篠原）

杉本真樹（すぎもと・まき）先生プロフィール

帝京大学医学部卒業後、帝京大学医学部附属病院、国立病院東京医療センター、神戸大学大学院医学研究科、米Veterans Affairs Palo Alto Health Care System客員研究員などを経て、2019年より帝京大学冲永総合研究所 Innovation Lab教授。2014年Apple社「世界を変え続けるイノベーター30人」に医療・外科分野で唯一選出。2016年 Holoeyes株式会社を共同創業。