手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
【課題】新たに特殊な内視鏡を用いることなく、内視鏡で撮像している部分が患者のどの部位に相当するかを正確に表示する。
【解決手段】手術支援情報表示装置１は、内視鏡１１と、内視鏡１１に位置決めされて固定される標識球１２と、患者６０の形状を示す情報を取得するＣＴ装置３０と、患者６０の表面及び標識球１２を撮像する撮像装置２０と、画像から患者６０の表面の形状を示す情報を算出する表面形状算出部４３と、ＣＴ装置３０による患者表面の形状と画像から算出された患者表面の形状とをマッチングする座標軸一致部４４と、画像から標識球１２の座標を算出して内視鏡１１の撮像方向の光軸を示す半直線を算出する内視鏡光軸算出部４５と、半直線と患者６０内部を構成する面との交点を算出する交点算出部４６と、患者６０の形状を示す情報に交点を示す情報を重畳して出力する出力部４７とを備える。
【解決手段】手術支援情報表示装置１は、内視鏡１１と、内視鏡１１に位置決めされて固定される標識球１２と、患者６０の形状を示す情報を取得するＣＴ装置３０と、患者６０の表面及び標識球１２を撮像する撮像装置２０と、画像から患者６０の表面の形状を示す情報を算出する表面形状算出部４３と、ＣＴ装置３０による患者表面の形状と画像から算出された患者表面の形状とをマッチングする座標軸一致部４４と、画像から標識球１２の座標を算出して内視鏡１１の撮像方向の光軸を示す半直線を算出する内視鏡光軸算出部４５と、半直線と患者６０内部を構成する面との交点を算出する交点算出部４６と、患者６０の形状を示す情報に交点を示す情報を重畳して出力する出力部４７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡により撮像された画像に関する情報を術者等に提供する手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに関する。
【背景技術】
【０００２】
従来から、内視鏡等の手術器具が患者の体内に挿入されたときに、当該手術器具の先端の正確な位置を術前に撮影されたＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）による画像上に表示し、術者を支援する手術ナビゲーション（手術支援情報表示）が行われている。しかしながら、これらの方法は何れも手術器具やポインタなど器具の先端の位置を表示するのみで、内視鏡で撮像している部位が、ＣＴやＭＲＩによる術前画像のどの部分に相当するかを表示するものではない。
【０００３】
もし、内視鏡で撮像している部位（内視鏡のモニタに表示されている術野）が術前のＣＴ等による画像のどこに相当するのかを確認することができれば、例えば術者は左手に持った内視鏡で操作を加える場所を直視下に確認し、それが術前のＣＴ等による画像のどの部位を観察しているかを認識しながら、右手で自由に任意の手術器具を持ち替えて手術操作を連続して行うことができる。これにより手術器具には特殊なマーカを必要とせず、あらゆる器具を制限無く使用することができる。
【０００４】
これを解決する技術として、特許文献１において開示されているような、内視鏡で観察している部位を術前画像（ＣＴ／ＭＲＩ）に表示するものがある。
【特許文献１】特開２００１−２０４７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法は、患者の体内に挿入される挿入部の先端から患者体内の術部までの距離を測定する距離測定手段（スポット光照射による三角測量法や超音波センサ等）を有する内視鏡を用いている。従って、この方法は、新たに特殊な内視鏡を必要とするという問題点がある。また、距離測定手段を有することにより、内視鏡の構造が複雑になると、消毒等の日常業務で内視鏡あるいはこれらの付加的な構成要素が損傷するおそれがある。また、内視鏡手術では、吸引管等の手術器具が内視鏡先端と患者体内の術部の間に入ることが多く、この場合には内視鏡の先端から患者体内の術部までの距離を正確に測定することが困難になる。更に、超音波センサを用いる場合は、例えば脳脊髄液や副鼻腔内の浸出液等の中では、超音波の速度が空気中とは異なるため、その速度を正確に知る必要がある。しかしながら、脳脊髄液や浸出液に代表される体液は、個人差が大きい上に腫瘍や炎症等の病状に影響されてその組成が変わるので、超音波の速度を正確に算出することが不可能である。そのため、内視鏡先端から患者体内の術部までの距離の算出が正確にできないという問題点がある。
【０００６】
本発明は、以上の問題点を解決するためになされたものであり、新たに特殊な内視鏡を用いることなく従来から用いられる内視鏡を用いて、内視鏡で撮像している部分が患者のどの部位に相当するかを正確に表示することができる手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る手術支援情報表示装置は、患者の内部に挿入されて当該内部を撮像する内視鏡と、第１の座標軸上における、内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、患者に内視鏡が差し込まれるときに、患者の表面を撮像する撮像手段と、撮像手段により撮像された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、患者形状取得手段により取得された第１の情報で示される第１の三次元形状、及び表面形状算出手段により算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段と、撮像手段により撮像された画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、内視鏡光軸算出手段により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得手段により取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出手段と、交点算出手段により算出された交点を示す情報を、患者形状取得手段により取得された患者の内部を構成する面を示す情報に重畳して出力する出力手段と、を備えることを特徴とする。
【０００８】
本発明に係る手術支援情報表示装置では、ＣＴ等により患者の内部を構成する面と患者の表面の第１の三次元形状とを示す第１の情報が取得される。その一方で、患者に内視鏡が差し込まれるときに、患者の表面が撮像され、その画像から、患者の表面の第２の三次元形状を示す第２の情報が算出される。続いて、第１の三次元形状及び第２の三次元形状のうち一方の三次元形状上に複数の基準点が設けられ、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点が他方の三次元形状上の限定された範囲から算出される。次に、複数の基準点と複数の対応点との位置関係に基づいて、第１の情報と第２の情報とがマッチングされる。そして、このマッチングにより、ＣＴ等により取得された第１の情報に係る第１の座標軸と、撮像された画像から算出された第２の情報に係る第２の座標軸とが一致される。
【０００９】
なお、第１の情報と第２の情報とをマッチングする際は、第１の三次元形状と第２の三次元形状とが共通の座標軸上に存在することを前提とする。すなわち、最短距離とは、これら二つの三次元形状が共通の座標軸上に存在するとした場合の、基準点と対応点との距離である。また、基準点と対応点との位置関係も、それら二つの三次元形状が共通の座標軸上に存在することを前提に定義される。
【００１０】
続いて、撮像された画像から内視鏡の撮像方向である光軸を示す半直線が算出される。この撮像方向である光軸を示す半直線とＣＴ等により取得された第１の情報に係る患者の内部を構成する面との交点が算出される。この交点は、ＣＴ等により取得された第１の情報において、内視鏡が撮像を行っている点（中心点）を示すものである。この交点を示す情報がＣＴ等により取得された第１の情報に重畳されて出力される。
【００１１】
即ち、上記のように、本発明に係る手術支援情報表示装置では、ＣＴ等による患者の内部を構成する面及び患者の表面の第１の三次元形状を示す第１の情報と、外部から患者を撮像した画像とのみを用いて、内視鏡で撮像している部分が、患者のどの部位に相当するかを表示することができる。従って、本発明に係る手術支援情報表示装置によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本発明に係る手術支援情報表示装置によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。
【００１２】
また、本発明に係る手術支援情報表示装置では、第１の三次元形状上の基準点に対応する、第２の三次元形状上の対応点を算出する際に、当該算出の範囲が限定される。そのため、対応点をより早く算出ができ、その結果、第１の座標軸と第２の座標軸とをより短時間に一致させることが可能になる。
【００１３】
本発明に係る手術支援情報表示装置は、内視鏡の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカを更に備え、撮像手段は、患者に内視鏡が差し込まれるときに、患者の表面と共にマーカを撮像し、内視鏡光軸算出手段は、撮像手段により撮像されたマーカの画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における、マーカの三次元座標を算出して、当該マーカと内視鏡の撮像方向との位置関係から内視鏡の撮像方向である光軸を示す半直線を算出する、ことが望ましい。
【００１４】
この構成によれば、患者に内視鏡が差し込まれるときに、患者の表面及び内視鏡の撮像方向に対して相対的な位置関係に固定されたマーカの座標が撮像される。続いて、撮像された画像から、マーカの三次元座標が算出され、算出されたマーカの画像から内視鏡の撮像方向である光軸を示す半直線が算出される。このようにマーカを用いて内視鏡の撮像方向である光軸を示す半直線を算出することとすれば、正確な半直線がより確実に算出できるので、より確実に正確な上記の表示を行うことができる。
【００１５】
また、本発明に係る手術支援情報表示装置は、患者に内視鏡が差し込まれるときに患者の表面の画像が取得されればよいので、構成要素として必ずしも内視鏡を備えている必要はない。即ち、本発明に係る手術支援情報表示装置は、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得手段と、表面画像取得手段により取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、患者形状取得手段により取得された第１の情報で示される第１の三次元形状、及び表面形状算出手段により算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段と、表面画像取得手段により取得された画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、内視鏡光軸算出手段により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得手段により取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出手段と、交点算出手段により算出された交点を示す情報を、患者形状取得手段により取得された患者の内部を構成する面を示す情報に重畳して出力する出力手段と、を備えることを特徴とする。
【００１６】
交点算出手段は、患者の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡の撮像方向である光軸を示す半直線との交点を算出することが望ましい。この構成によれば、容易かつ確実に交点を算出することができ、確実に本発明を実施することができる。
【００１７】
出力手段は、内視鏡により撮像された画像に交点に対応する箇所を示す情報を重畳させた画像を併せて出力することが望ましい。この構成によれば、術者等が、内視鏡で撮像された内容と、内視鏡で撮像されている部分が患者のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。
【００１８】
座標軸一致手段は、第１の基準点に対応する算出済の対応点の位置と、当該第１の基準点とは異なる第２の基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、第２の基準点から最短距離にある対応点を算出するための限定された範囲とすることが望ましい。この構成によれば、既知の情報（既知の基準点の位置、及び既知の対応点の位置）に基づいて、未知の対応点（第２の基準点から最短距離にある対応点）を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００１９】
限定された範囲は、算出済の対応点を中心とし、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とを加算した値を半径とする範囲であることが好ましい。この構成によれば、算出済の対応点の位置と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００２０】
限定された範囲は、算出済の対応点を中心とし、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とを加算した値を半径とする範囲であることが好ましい。この構成によれば、算出済の対応点の位置と、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００２１】
座標軸一致手段は、表面形状算出手段により算出された第２の情報で示される第２の三次元形状上に存在し、且つ患者形状取得手段により取得された第１の情報で示される第１の三次元形状上の基準点から最短距離にある対応点を、当該第２の三次元形状の限定された範囲から算出し、当該基準点と当該対応点との位置関係に基づいて第１の情報を変換することで、当該第１の情報と第２の情報とをマッチングすることが望ましい。この構成によれば、第１の情報のみを変換することでマッチングが行われる。すなわち、第２の情報を処理する必要がない。そのため、より簡易に第１の座標軸と第２の座標軸とを一致させることができる。
【００２２】
ところで、本発明は、上記のように手術支援情報表示装置の発明として記述できる他に、以下のように手術支援情報表示方法及び手術支援情報表示プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００２３】
即ち、本発明に係る手術支援情報表示方法は、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得ステップと、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得ステップと、表面画像取得ステップにおいて取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出ステップと、患者形状取得ステップにおいて取得された第１の情報で示される第１の三次元形状、及び表面形状算出ステップにおいて算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致ステップと、表面画像取得ステップにおいて取得された画像から、座標軸一致ステップにおいて第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出ステップと、内視鏡光軸算出ステップにおいて算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得ステップにおいて取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出ステップと、交点算出ステップにおいて算出された交点を示す情報を、患者形状取得ステップにおいて取得された患者の内部を構成する面を示す情報に重畳して出力する出力ステップと、を含むことを特徴とする。
【００２４】
本発明に係る手術支援情報表示プログラムは、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得機能と、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得機能と、表面画像取得機能により取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出機能と、患者形状取得機能により取得された第１の情報で示される第１の三次元形状、及び表面形状算出機能により算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致機能と、表面画像取得機能により取得された画像から、座標軸一致機能により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出機能と、内視鏡光軸算出機能により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得機能により取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出機能と、交点算出機能により算出された交点を示す情報を、患者形状取得機能により取得された患者の内部を構成する面を示す情報に重畳して出力する出力機能と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２５】
本発明では、ＣＴ等による患者の内部を構成する面及び患者の表面の三次元形状を示す情報と、外部から患者を撮像した画像とのみを用いて、内視鏡で撮像している部分が、患者のどの部位に相当するかを表示することができる。従って、本発明によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本発明によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面とともに本発明に係る手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００２７】
図１は、本発明に係る手術支援情報表示装置１の実施形態を概略的に示す構成図である。手術支援情報表示装置１は、患者６０に対する手術の際に、内視鏡により撮像された画像に関する情報を術者等に提供する装置である。本実施形態に係る手術支援情報表示装置１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、内視鏡による撮像が行われるものを対象とする。
【００２８】
図１に示すように、手術支援情報表示装置１は、内視鏡１１と、標識球１２と、撮像装置２０と、ＣＴ装置３０と、ＰＣ（Personal Computer）４０と、モニタ５０とを含んで構成されている。
【００２９】
内視鏡１１は、術者により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。内視鏡１１は、患者の生体内の挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構としては、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの決像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。上記の機構の位置決めのされ方によって、内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、内視鏡１１の撮像方向Ａとなる。内視鏡１１により撮像された画像の情報は、ケーブルにより内視鏡１１と接続されたＰＣ４０に出力される。なお、上記の内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている内視鏡を用いることができる。
【００３０】
標識球１２は、内視鏡１１の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカである。標識球１２は、撮像装置２０により撮像されて、撮像された画像から三次元座標を求められる。具体的には、標識球１２は、複数内視鏡１１に対して棒状の部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なることとしているのは、撮像装置２０により撮像された画像から、それぞれを区別して検出するためである。
【００３１】
標識球１２が内視鏡１１に設けられる位置は、患者６０に挿入される部分から更に後方の、患者６０に挿入されない位置である。また、標識球１２と内視鏡１１の撮像方向Ａとの位置関係が一定となるように、内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。但し、内視鏡１１の撮像方向と標識球１２との位置関係が把握できればよいので、例えば、内視鏡１１の先端部のみが決められた方向のみに動くような構成となっていてもよい。
【００３２】
なお、内視鏡１１に設けられるマーカは、内視鏡１１の撮像方向に対して定められた相対的な位置関係の位置にあり、撮像装置２０により撮像された画像から三次元座標を求められるものであればよいので、必ずしも、本実施形態の標識球１２のような球状のものでなくてもよい。また、内視鏡１１自体の形状が、容易に三次元座標を求められるものであれば、内視鏡１１自体の形状がマーカとなるので、必ずしも標識球１２を設ける必要はない。
【００３３】
撮像装置２０は、患者６０に内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を撮像する撮像手段である。図１に示すように、患者６０の鼻の穴から内視鏡１１を挿入して、内視鏡１１により患者６０の頭部を撮像する場合には、患者６０の顔面と標識球１２とが撮像できるような位置に撮像装置２０が設けられる。撮像装置２０としては具体的には、例えば、ＣＣＤカメラが用いられる。撮像装置２０は、ＰＣ４０と接続されており、撮像した画像の情報をＰＣ４０に送信する。
【００３４】
撮像装置２０により撮像された画像は、撮像されたものの三次元座標（三次元位置情報）を算出するために用いられる。そのために必要な構成も併せて撮像装置２０に備えておく必要がある。画像から撮像されたものの三次元座標を算出する方法としては光学的な方法を用いるものがあり、例えば、特開２００３−２５４７３２号公報に記載された方法を用いることができる。この方法を用いる場合は、そのために必要な、撮像装置２０により撮像される範囲にキセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影する装置を更に設けておく。
【００３５】
なお、特開２００３−２５４７３２号公報に記載された方法によれば、１秒の計測時間で、９０±１０ｃｍの距離から撮像が可能となる。また、分解能は０．１〜０．６ｍｍである。即ち、１秒で三次元位置情報を持った解像度の高いカラー画像が取得できる。また、曇りの日中（屋外）の約２８％の照度の白色光であり、レーザ等を使うことなく安全に三次元位置情報を取得できる。本方法により、患者６０の顔面を撮像して、情報処理されて三次元位置情報を持った解像度の高いカラー画像とした例を図２に示す。
【００３６】
ＣＴ装置３０は、内視鏡１１が挿入される患者６０の内部を構成する面と患者６０の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段である。内視鏡１１が挿入される患者６０を構成する面は、例えば、患者６０の副鼻腔に内視鏡１１が挿入される場合、副鼻腔を構成する面である。また、患者６０の表面は、上記の場合、患者６０の顔面である。ここで、ＣＴ装置３０により取得される三次元形状を示す第１の情報は、例えば予めＣＴ装置３０に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を保持することによって構成されている。この座標軸は、第１の座標軸である。即ち、第１の情報は、第１の座標軸上における情報である。
【００３７】
ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の三次元形状を示す情報として構成するものであり、既存のＣＴ装置を用いることができる。ＣＴ画像の例を図３に示す。ＣＴ装置３０はＰＣ４０と接続されており、取得した患者６０の三次元形状を示す情報を、ＰＣ４０に送信する。なお、ＣＴ装置３０は、撮像装置２０と同じ場所に設置されている必要はなく、通常、撮像装置２０による撮像と、ＣＴ装置３０による三次元形状を示す情報の取得とは別々に行われる。なお、ＣＴ画像から三次元形状を示す情報の構成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。
【００３８】
なお、手術支援情報表示装置１では、患者６０の内部を含む三次元形状を示す情報が取得できればよいので、患者形状取得手段として必ずしもＣＴ装置３０を用いる必要はない。例えば、ＭＲＩ装置を用いることとしてもよい。
【００３９】
ＰＣ４０は、撮像装置２０により撮像された画像の情報及びＣＴ装置３０により取得された患者６０の三次元形状を示す第１の情報を受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡光軸算出部４５と、交点算出部４６と、出力部４７とを備えている。
【００４０】
患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の三次元形状を示す第１の情報を受信する手段である。患者形状取得部４１は、受信した第１の情報を、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援情報表示装置１では、必ずしも本実施形態のように、患者形状取得手段としてＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援情報表示装置１に含まれないＣＴ装置で撮像等された）患者６０の三次元形状を示す第１の情報が受信さえされればよい。
【００４１】
撮像画像取得部４２は、撮像装置２０により撮像され送信された画像の情報を受信する手段である。即ち、撮像画像取得部４２は、患者６０に内視鏡１１が差し込まれるときに撮像装置２０により撮像された患者の表面の画像を取得する表面画像取得手段である。撮像画像取得部４２は、受信した画像を表面形状算出部４３及び内視鏡光軸算出部４５等に出力する。
【００４２】
表面形状算出部４３は、撮像装置２０により撮像された患者６０の表面の画像から、患者６０の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段である。患者６０の表面は、本実施形態の場合、患者６０の顔面である。画像から三次元形状を算出する方法は、例えば、上述した特開２００３−２５４７３２号公報に記載された方法を用いることができる。第２の情報は、例えば予め表面形状算出部４３に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を構成することにより算出される。この座標軸は、上述した第１の座標軸とは異なるものであり第２の座標軸である。即ち、第２の情報は、第２の座標軸上における情報である。表面形状算出部４３は、算出した第２の情報を、座標軸一致部４４に出力する。
【００４３】
座標軸一致部４４は、患者形状取得部４１により取得された第１の情報で示される第１の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を、表面形状算出部４３により算出された第２の情報で示される第２の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段である。即ち、座標軸一致部４４は、ＣＴ装置３０により取得された第１の情報と、撮像装置２０により撮像された画像から算出された第２の情報とを同じ座標軸上で処理できるようにするための手段である。なお、限定された範囲を算出するために必要な式、ルール、データ等は、座標軸一致部４４に記憶されており、限定された範囲を算出する際に読み出される。
【００４４】
座標軸一致部４４は、第１の座標軸と第２の座標軸とを一致させるために、反復最近傍点アルゴリズム（Iterative Closest Point Algorithm、ＩＣＰアルゴリズム）を利用する。このアルゴリズムは、点で構成された二つの図形をマッチングさせるための手法である。
【００４５】
座標軸一致部４４の処理を、図４を参照して説明する。なお、図４では、説明の簡単のため、マッチングする図形を二次元の曲線ｐ及びｍとする。また、図４に示す例では、曲線ｍを固定し、曲線ｐを曲線ｍにマッチングさせるものとする。図４に示す二次元空間におけるマッチングは、本実施形態のような三次元空間におけるマッチングに簡単に拡張することができる。例えば、曲線ｐを第１の情報で示される第１の三次元形状と読み替えるとともに、曲線ｍを第２の情報で示される第２の三次元形状と読み替えることで、座標軸一致部４４による第１の情報と第２の情報とのマッチングを説明できる。
【００４６】
座標軸一致部４４は、まず、曲線ｍ周辺の最短距離場を算出する。ここで、最短距離場とは、ある図形から最短距離（最短パスの長さ）に存在する点で構成される近傍空間である。次に、座標軸一致部４４は、曲線ｐ上にある任意の基準点（第１の基準点）Ｐａを選択し、その基準点Ｐａから最短距離にある、曲線ｍ上の対応点Ｍａを探索（算出）する。この対応点Ｍａの探索は、曲線ｍ上のすべての点について基準点Ｐａとの距離を算出し、算出された距離を比較することで行われる。なお、座標軸一致部４４は、基準点Ｐａとの距離を算出する曲線ｍ上の点の位置を、所定の関係式や、曲線ｍを構成する点の配列などにより予め算出できる。例えば、座標軸一致部４４は、第１の情報又は第２の情報により、第１の三次元形状又は第２の三次元形状上に存在する点の位置を取得できる。
【００４７】
なお、基準点と対応点との位置関係は、それら二つの三次元形状が共通の座標軸上に存在することを前提に定義される。例えば、基準点Ｐａと曲線ｍ上の点との距離の算出は、曲線ｐと曲線ｍとが共通の座標軸上に存在することを前提とする。すなわち、最短距離とは、これら二つの曲線が共通の座標軸上に存在するとした場合の、基準点と対応点との距離である。
【００４８】
次に、座標軸一致部４４は、曲線ｐ上にある別の基準点（第２の基準点）Ｐｂを選択し、その基準点Ｐｂから最短距離にある、曲線ｍ上の対応点Ｍｂを探索（算出）する。この際、座標軸一致部４４は、曲線ｍ上の限定された範囲に存在する複数の点と基準点Ｐａとの距離を算出する。
【００４９】
このために、座標軸一致部４４は、基準点Ｐａ及びＰｂの座標値と、対応点Ｍａの座標値と、基準点Ｐａと対応点Ｍａとの距離ｌと、基準点Ｐｂと対応点Ｍａとの距離ｄと、基準点Ｐｂの座標値、及び曲線ｍ周辺の最短距離場によって定まる距離ｌ’とを取得する。これらの値は、既知のもの、又は既知の値から算出可能なものである。そして、座標軸一致部４４は、取得したこれらの値に基づいて、対応点Ｍｂを探索する範囲を決定する。
【００５０】
この場合において、基準点Ｐｂと、既知の対応点Ｍａと、未知の対応点Ｍｂとの位置関係から、下記の三角不等式が成り立つ。なお、ｄｍは、既知の対応点Ｍａと未知の対応点Ｍｂとの距離である。
ｄｍ≦ｌ’＋ｄ
【００５１】
したがって、未知の対応点Ｍｂを探索すべき曲線ｍの範囲は、既知の対応点Ｍａを中心とし、且つ半径が下記式で表される円Ｃ内に限定される。
ｒ＝ｌ’＋ｄ …（１）
この半径ｒは、下記式を用いて算出してもよい。ただし、ｄｐは、既知の基準点Ｐａ及びＰｂの間の距離である。
ｒ＝ｌ＋ｌ’＋ｄｐ …（２）
【００５２】
なお、第１及び第２の情報で示される図形は三次元形状であるから、本実施形態において、座標軸一致部４４は、上記理論に準じて算出された所定の半径を有する球内で対応点を探索する。
【００５３】
すなわち、座標軸一致部４４は、曲線ｍのうち、対応点Ｍａから上記式（１）又は（２）で定義される半径ｒの範囲にある点についてのみ、当該点と基準点Ｐｂとの距離を算出する。そして、座標軸一致部４４は、基準点Ｐｂとの距離が最短である点を対応点Ｍｂと決定する。なお、座標軸一致部４４は、曲線ｍ上の点の位置を予め算出し取得することができる。したがって、座標軸一致部４４は、予め取得した曲線ｍ上の点の位置と、対応点Ｍａの位置と、上記式（１）又は（２）で定義される半径ｒとに基づいて、基準点Ｐｂとの距離を算出すべき曲線ｍ上の点を取得できる。
【００５４】
その後、座標軸一致部４４は、曲線ｐ上にある一以上の別の基準点に対する対応点を探索（算出）する。この対応点の算出方法は、対応点Ｍｂの算出方法と同様である。すなわち、二番目以降の対応点を算出する場合、座標軸一致部４４は、当該対応点を曲線ｍ上の限定された範囲から算出する。
【００５５】
続いて、座標軸一致部４４は、基準点と、その基準点に対応する対応点との距離の平均値を算出する。続いて、座標軸一致部４４は、複数算出された基準点と対応点との位置関係に基づいて回転行列Ｒ及び平行移動行列Ｔを算出し、これら二つの行列を用いて剛体変換を行う。なお、剛体変換は、剛体変換前の曲線ｐの位置をｐi-1、剛体変換後の曲線ｐの位置をｐiとして、下記式で表される。
ｐi＝Ｒ＊ｐi-1＋Ｔ
【００５６】
この剛体変換により、曲線ｐが回転移動又は平行移動する。座標軸一致部４４は、今回算出した平均値と前回算出した平均値との差が所定の閾値未満になるまで、対応点の算出から剛体変換までの処理を繰り返し実行する。
【００５７】
このような座標軸一致部４４の処理により、第１の座標軸及び第２の座標軸の何れか一方の座標軸をもう一方の座標軸に変換する関数が算出される。座標軸一致部４４は、座標軸を一致させた結果として算出された座標軸を変換する関数等を、必要に応じて内視鏡光軸算出部４５、交点算出部４６及び出力部４７等に出力する。上記の座標軸を一致させる処理以降は、内視鏡光軸算出部４５、交点算出部４６及び出力部４７等において上記の関数等が、三次元形状を示す情報に適用されることによって、ＣＴ装置３０による三次元形状を示す情報と、撮像装置２０により撮像された画像から算出された三次元形状を示す情報とは同じ座標軸上で処理される。
【００５８】
内視鏡光軸算出部４５は、撮像装置２０により撮像された標識球１２の画像から、座標軸一致部４４により一致された座標軸上における、標識球１２の三次元座標を算出して、標識球１２と内視鏡１１の撮像方向Ａとの位置関係から内視鏡１１の撮像方向Ａである光軸を示す半直線を算出する内視鏡光軸算出手段である。なお、ここで言う撮像方向Ａである光軸を示す半直線には、半直線の起点となる位置も含まれる。即ち、内視鏡１１の撮像方向Ａである光軸を示す半直線は、どの点からどの方向に撮像が行われるかを示したものである。内視鏡光軸算出部４５は、予め、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報を保持している。当該位置関係を示す情報としては、具体的には例えば、内視鏡１１の光軸（撮像方向Ａである光軸を示す半直線）を通るように内視鏡１１の基部の所定の位置と先端の位置とを特定して、その２点と標識球１２との位置関係を示す情報が用いられる。
【００５９】
内視鏡１１の撮像方向Ａである光軸を示す半直線の算出は、具体的には、以下のように行われる。まず、内視鏡光軸算出部４５は、表面形状算出部４３における三次元形状を算出する方法と同様の方法で、撮像装置２０により撮像された標識球１２から三次元形状及び三次元座標を算出する。標識球１２が複数設けられている場合、内視鏡光軸算出部４５は、例えば標識球１２の大きさ等からそれぞれの標識球１２を識別する。
【００６０】
続いて、内視鏡光軸算出部４５は、算出された上記の座標軸上における標識球１２の三次元座標と、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報とから、上記の座標軸上における撮像方向Ａである光軸を示す半直線を算出する。内視鏡光軸算出部４５は、算出した撮像方向である光軸を示す半直線の情報を、交点算出部４６に出力する。
【００６１】
交点算出部４６は、内視鏡光軸算出部４５により算出された内視鏡１１の撮像方向Ａである光軸を示す半直線と患者形状取得部４１により取得された第１の情報に係る患者６０の内部を構成する面との交点を算出する交点算出手段である。この交点は、ＣＴ装置３０による三次元形状を示す第１の情報において、内視鏡１１が撮像を行っている点（中心点）を示すものである。具体的には、交点算出部４６は、患者６０の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡１１の撮像方向Ａである光軸を示す半直線との交点を算出する。交点の算出については、より詳細には後述する。交点算出部４６は、算出した交点の情報を出力部４７に出力する。
【００６２】
出力部４７は、交点算出部４６により算出された交点を示す情報を、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像に重畳して、モニタ５０に出力する出力手段である。また、出力部４７は、内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像を併せて、モニタ５０に出力することとしてもよい
【００６３】
モニタ５０は、ＰＣ４０から入力された情報を表示する。術者はモニタ５０を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。以上が、手術支援情報表示装置１の構成の構成である。
【００６４】
引き続いて、手術支援情報表示装置１の動作（手術支援情報表示方法）について、図５のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。
【００６５】
まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（Ｓ０１、患者形状取得ステップ）。このＣＴスキャン撮影は、内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、内視鏡１１が挿入される患者６０の内部を構成する面との第１の三次元形状を示す第１の情報が取得される。ＣＴ装置３０によりＣＴスキャン撮影が行われ取得された第１の情報は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（Ｓ０２、患者形状取得ステップ）。上記が手術前の処理であり、例えば、手術の前日等に行われる。
【００６６】
引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、内視鏡１１を挿入する前に、撮像装置２０によって、配置された患者６０が撮像される（Ｓ０３、表面画像取得ステップ）。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から表面形状算出部４３に出力される。
【００６７】
表面形状算出部４３では、当該画像から患者６０の表面である顔面の第２の三次元形状を示す第２の情報が算出される（Ｓ０４、表面形状算出ステップ）。算出された第２の情報は、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の三次元形状を示す情報が、患者形状取得部４１から座標軸一致部４４に出力される。
【００６８】
ＣＴ装置３０による第１の情報と、撮像装置２０による画像から算出された第２の情報とに係るそれぞれの座標軸は、一致していない。これらの情報を共に表示すると、図６（ａ）に示すように、ＣＴ装置３０による情報８１と、撮像装置２０の画像による情報８２とが位置合わせされていない状態となる。
【００６９】
ここで、座標軸一致部４４によって、図６（ｂ）に示すように、これら２つの情報８１，８２における顔面の形状がマッチングされて、２つの情報に係る座標軸が一致される（Ｓ０５、座標軸一致ステップ）。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、予め設定しておく。
【００７０】
座標軸を一致させる処理を、図７のフローチャートを参照して詳細に説明する。まず、患者形状取得部４１により取得された第１の情報と、表面形状算出部４３により算出された第２の情報とが用意される（ステップＳ５１）。続いて、第１の情報で示される第１の三次元形状上の基準点に対応する対応点が、第２の情報で示される第２の三次元形状から抽出される（ステップＳ５２）。この抽出は、予め定められた個数分の対応点をすべて抽出するまで繰り返し実行される（ステップＳ５３；ＮＯ）。このとき、二番目以降の対応点の抽出において、対応点は、第２の三次元形状の限定された範囲から抽出される。
【００７１】
そして、すべての対応点が抽出されると（ステップＳ５３；ＹＥＳ）、基準点と対応点との距離の平均値が算出される（ステップＳ５４）。続いて、複数算出された基準点と対応点との位置関係に基づいて、回転行列及び平行移動行列が算出される（ステップＳ５５）。続いて、その回転行列及び平行移動行列に基づいて、第１の情報で示される第１の三次元形状が剛体変換される（ステップＳ５６）。続いて、今回算出された平均値と前回算出された平均との差が閾値未満か否かが判定される（ステップＳ５７）。
【００７２】
ここで、平均値の差が閾値以上であれば（ステップＳ５７；ＮＯ）、上記ステップＳ５２の以降の処理が繰り返し実行され、その差が閾値未満であれば（ステップＳ５７；ＹＥＳ）、処理が終了する。これにより、第１の座標軸と第２の座標軸とが一致される。
【００７３】
一致した座標軸に係る情報は、座標軸一致部４４から、内視鏡光軸算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されて座標軸の変換等が行われて、これ以降、一致した座標軸を基準として三次元形状に対する情報処理が行われる。上記が手術開始までの処理である。
【００７４】
続いて、手術が開始され、術者によって、内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、Ｓ０３〜Ｓ０５の処理を行ったときから動かさないようにする。座標軸がずれることを防止するためである。内視鏡１１が患者６０に挿入される際に、撮像装置２０によって、患者６０及び標識球１２が撮像される（Ｓ０６、表面画像取得ステップ）。図８（ａ）に示すように、撮像された画像には、標識球１２（の画像）が含まれている。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から内視鏡光軸算出部４５に出力される。
【００７５】
続いて、内視鏡光軸算出部４５によって、図８（ｂ）に示すように、画像から標識球１２の三次元座標が算出される（Ｓ０７、内視鏡光軸算出ステップ）。続いて、内視鏡光軸算出部４５によって、算出された標識球１２の三次元座標から、予め保持していた標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報に基づいて、一致された座標軸上での内視鏡１１の撮像方向Ａである光軸を示す半直線が算出される（Ｓ０８、内視鏡光軸算出ステップ）。
【００７６】
算出された半直線の情報は、内視鏡光軸算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による第１の情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、内視鏡１１の撮像方向Ａである光軸を示す半直線と、患者６０の内部を構成する面との交点が算出される（Ｓ０９、交点算出ステップ）。
【００７７】
交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による第１の情報が、ポリゴンデータに変換される。この変換により、患者６０（の内部）を構成する面が、例えば多数の三角形で構成させることとなる。次に、それらの各三角形と、内視鏡１１の撮像方向Ａである光軸を示す半直線との交点が算出される。
【００７８】
この交点の算出について、図９を用いて説明する。ポリゴンを構成する三角形の基準となる点をＰＴ、三角形の２辺のベクトルをそれぞれｖｅｃＡ及びｖｅｃＢとし、２つの媒介変数をα及びβとすると、三角形は以下の式で表すことができる。
Ｐ１＝ＰＴ＋αｖｅｃＡ＋βｖｅｃＢ
また、内視鏡１１の撮像方向Ａの基準となる点（例えば、内視鏡１１の先端の点）をＰＬ、半直線の方向を示すベクトルをｖｅｃＣとし、媒介変数をγとすると、内視鏡１１の撮像方向Ａは以下の式で表すことができる。
Ｐ２＝ＰＬ＋γｖｅｃＣ
【００７９】
ここで、両者が交わるときはＰ１＝Ｐ２となる。Ｐ１＝Ｐ２となる点が、三角形の内部に存在する条件は、媒介変数が以下の条件を満たす場合である。
条件１：０＜α，０＜β
条件２：０＜α＋β＜１
条件３：γ＞０
これらの条件を満たす点を全てのポリゴンデータを構成する三角形について導出し、それら全ての点と内視鏡１１の先端の点との距離を計算する。この距離が最も小さくなる交点を、内視鏡１１の撮像方向Ａである光軸を示す半直線と患者６０の内部を構成する面との交点とする。
【００８０】
算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、モニタ５０に入力される。入力された画像は、モニタ５０によって表示される（Ｓ１０、出力ステップ）。交点の表示は、具体的には例えば、図１０に示すように、内視鏡１１により撮像されている箇所がどの点に位置しているかが分かるように、十字の表示９０として行われる。術者は表示された画像を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。
【００８１】
また、内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７からモニタ５０に出力されるようにして、上記の内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。例えば、図１１に示す画面例９１のように、内視鏡１１により撮像された画像９２と、内視鏡１１により撮像されている箇所がどの点に位置しているかが示されたＣＴ画像９３ａ〜９３ｃとを１つの画面に示すこととするのがよい。また、その際の内視鏡１１の画像には、交点に対応する箇所を示す情報（例えば、十字形（＋）のマーク）９４を重畳させることが望ましい。内視鏡１１の画像における交点に対応する箇所を示す情報の位置は、例えば、画像の中心等、内視鏡１１の撮像方向に応じて予め出力部４７に記憶させておく。また、術者が対応する箇所を理解しやすいように、ＣＴ画像９３ａ〜９３ｃは、断面がそれぞれ異なるもの（断面がそれぞれ直交するものがよい）を複数、表示することとするのがよい。図１１では、ＣＴ画像９３ａは横断面のもの、ＣＴ画像９３ｂは冠状断面のもの、ＣＴ画像９３ｃは、矢状断面のものである。更に、ＣＴ画像９３ａ〜９３ｃには、交点の情報（画像とは色違いの四角９５で示す）に加えて、内視鏡１１が挿入されている方向（内視鏡１１の撮像方向である光軸）９６を示すことが望ましい。
【００８２】
上記のＳ０６〜Ｓ１０までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるＳ０３〜Ｓ０５の処理と、Ｓ０６〜Ｓ１０の処理とは異なっているが、例えば、Ｓ０５の座標軸の一致の処理が行われたら、自動的にＳ０６以降の処理に移るようにしてもよい。また、術者等の操作により処理の切替が行われてもよい。
【００８３】
また、Ｓ０３〜Ｓ０５の処理による初回の位置合わせ後に患者６０の頭部を動かした場合でも、再度Ｓ０３〜Ｓ０５の処理を行い改めて位置合わせを行なうこととすればよい。再度の位置合わせは、例えば、術者等の操作により行われてもよいし、位置合わせしたときの画像とその後の画像とを比較して、頭部が動いたことを検出して、それをトリガとして行われてもよい。
【００８４】
上述したように本実施形態に係る手術支援情報表示装置１では、ＣＴ装置３０による患者６０の内部を構成する面と患者の表面の第１の三次元形状とを示す第１の情報と、撮像装置２０により外部から患者６０を撮像した画像とのみを用いて、内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかを表示することができる。従って、本実施形態に係る手術支援情報表示装置１によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本実施形態に係る手術支援情報表示装置１によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。従って、本実施形態に係る手術支援情報表示装置１を用いれば、安全かつ正確に手術を行うことができる。
【００８５】
また、本実施形態に係る手術支援情報表示装置１では、第１の三次元形状上の基準点に対応する、第２の三次元形状上の対応点を算出する際に、当該算出の範囲が限定される。そのため、対応点をより早く算出ができ、その結果、第１の座標軸と第２の座標軸とをより短時間に一致させることが可能になる。
【００８６】
また、ＣＴスキャン撮影（Ｓ０１）の際に、患者６０にマーク等をつける必要がなく、通常通りのＣＴスキャン撮影を行えばよいので、簡便である。また、位置合わせ等のために患者６０をピンなどで固定する必要がない。患者６０を手術中に動かしたとしても、容易に位置合わせを行うことができる。上記の手術支援情報表示装置１の各構成要素は、比較的安価であり、低コストで実現することができる。
【００８７】
また、本実施形態のように内視鏡１１にマーカである標識球１２を設けておき、マーカを用いて内視鏡１１の撮像方向である光軸を示す半直線を算出することとすれば、正確な半直線がより確実に算出できるので、より確実に正確な上記の表示を行うことができる。但し、マーカを用いずに、内視鏡１１の撮像方向である光軸を示す半直線を算出することとしてもよい。例えば、本実施形態において、撮像装置２０による画像から患者の表面を算出した方法と同様に、内視鏡１１の形状を算出して、当該形状から内視鏡１１の撮像方向である光軸を示す半直線を算出することとしてもよい。
【００８８】
なお、本発明は、画像や情報のＰＣ４０への入力さえあれば実施可能であるので、手術支援情報表示装置１には必ずしも、内視鏡１１、撮像装置２０及びＣＴ装置３０等のハードウェアを備えている必要はない。即ち、本発明は、ＰＣ４０の備える各構成要素４１〜４７のみを備えていれば実施可能である。
【００８９】
また、本実施形態のように、ＣＴ装置３０による患者６０の三次元情報をポリゴンデータとし交点を求めることとすれば、確実に交点を算出することができ、確実に本発明を実施することができる。
【００９０】
また、内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかの情報に併せて、内視鏡１１により撮像された画像自体も表示することとすれば、術者等が、内視鏡１１で撮像された内容と、内視鏡１１で撮像されている部分が患者６０のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。
【００９１】
また、座標軸一致部４４は、例えば図４に示すように、基準点Ｐａに対応する算出済の対応点Ｍａの位置と、基準点Ｐｂの位置とに基づいて、対応点Ｍａを中心とする半径ｒの円Ｃを算出し、その円Ｃを曲線ｍの限定された範囲とする。これにより、未知の対応点Ｍｂを算出するための限定された範囲が設定されるので、より早くその対応点Ｍｂを算出することができる。このことは、他の対応点を算出する場合も同様である。
【００９２】
また、座標軸一致部４４は、例えば図４に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ’＋ｄ）を半径ｒとする円Ｃを限定された範囲とする。加えて、座標軸一致部４４は、例えば図４に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ＋ｌ’＋ｄｐ）を半径ｒとする円Ｃを限定された範囲とすることもできる。これにより、未知の対応点Ｍｂを算出するための限定された範囲（円Ｃ）が設定されるので、より早くその対応点Ｍｂを算出することができる。このことは、他の対応点を算出する場合も同様である。
【００９３】
また、座標軸一致部４４は、表面形状算出部４３により算出された第２の情報で示される第２の三次元形状上に存在し、且つ患者形状取得部４１により取得された第１の情報で示される第１の三次元形状上の基準点から最短距離にある対応点を、当該第２の三次元形状の限定された範囲から算出し、当該基準点と当該対応点との位置関係に基づいて第１の情報を変換することで、当該第１の情報と第２の情報とをマッチングする。これにより、ＣＴ装置３０により取得された第１の情報のみを変換することでマッチングが行われる。すなわち、撮像装置２０の画像に基づいて算出された第２の情報を処理する必要がない。そのため、より簡易に第１の座標軸と第２の座標軸とを一致させることができる。
【００９４】
引き続いて、上述した一連の手術支援情報の表示を行う処理をコンピュータに実行させるための手術支援情報表示プログラムを説明する。図１２に示すように、手術支援情報表示プログラム８２は、コンピュータが備える記録媒体８０に形成されたプログラム格納領域８０ａ内に格納されている。
【００９５】
手術支援情報表示プログラム８１は、手術支援情報の表示処理を統括的に制御するメインモジュール８１ａと、患者形状取得モジュール８１ｂと、撮像画像取得モジュール８１ｃと、表面形状算出モジュール８１ｄと、座標軸一致モジュール８１ｅと、内視鏡光軸算出モジュール８１ｆと、交点算出モジュール８１ｇと、出力モジュール８１ｈとを備えて構成される。患者形状取得モジュール８１ｂ、撮像画像取得モジュール８１ｃ、表面形状算出モジュール８１ｄ、座標軸一致モジュール８１ｅ、内視鏡光軸算出モジュール８１ｆ、交点算出モジュール８１ｇ及び出力モジュール８１ｈを実行させることにより実現される機能は、上述したＰＣ４０の患者形状取得部４１、撮像画像取得部４２、表面形状算出部４３、座標軸一致部４４、内視鏡光軸算出部４５、交点算出部４６及び出力部４７の機能とそれぞれ同様である。
【００９６】
なお、手術支援情報表示プログラム８１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。
【図面の簡単な説明】
【００９７】
【図１】本発明の実施形態に係る手術支援情報表示装置の構成を示す図である。
【図２】撮像装置により撮像され、情報処理されて三次元位置情報を持った、患者の顔面の画像を示す図である。
【図３】ＣＴ装置により取得されたＣＴ画像を示す図である。
【図４】図１に示す座標軸一致部の処理の概念を示す図である。
【図５】本発明の実施形態に係る手術支援情報表示装置での処理を示すフローチャートである。
【図６】ＣＴ装置による患者の三次元形状を示す情報と、撮像装置による画像から算出された患者の三次元形状を示す情報とのマッチング処理を示す図である。
【図７】図５に示す座標軸一致処理を示すフローチャートである。
【図８】撮像装置による画像から標識球の三次元座標を算出する処理を示した図である。
【図９】患者の面を構成する三角形と内視鏡の撮像方向である光軸を示す半直線との交点を示した図である。
【図１０】内視鏡により撮像されている点が示されたＣＴ画像を示す図である。
【図１１】内視鏡により撮像されている点が示されたＣＴ画像、及び内視鏡により撮像されている画像を示す図である。
【図１２】本発明に係る手術支援情報表示プログラムの構成を示す図である。
【符号の説明】
【００９８】
１…手術支援情報表示装置、１１…内視鏡、１２…標識球、２０…撮像装置、３０…ＣＴ装置、４０…ＰＣ、４１…患者形状取得部、４２…撮像画像取得部、４３…表面形状算出部、４４…座標軸一致部、４５…内視鏡光軸算出部、４６…交点算出部、４７…出力部、５０…モニタ、６０…患者、７０…手術台、８０…記録媒体、８０ａ…プログラム格納領域、８１…手術支援情報表示プログラム、８１ａ…メインモジュール、８１ｂ…患者形状取得モジュール、８１ｃ…撮像画像取得モジュール、８１ｄ…表面形状算出モジュール、８１ｅ…座標軸一致モジュール、８１ｆ…内視鏡光軸算出モジュール、８１ｇ…交点算出モジュール、８１ｈ…出力モジュール。
【技術分野】
【０００１】
本発明は、内視鏡により撮像された画像に関する情報を術者等に提供する手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに関する。
【背景技術】
【０００２】
従来から、内視鏡等の手術器具が患者の体内に挿入されたときに、当該手術器具の先端の正確な位置を術前に撮影されたＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）による画像上に表示し、術者を支援する手術ナビゲーション（手術支援情報表示）が行われている。しかしながら、これらの方法は何れも手術器具やポインタなど器具の先端の位置を表示するのみで、内視鏡で撮像している部位が、ＣＴやＭＲＩによる術前画像のどの部分に相当するかを表示するものではない。
【０００３】
もし、内視鏡で撮像している部位（内視鏡のモニタに表示されている術野）が術前のＣＴ等による画像のどこに相当するのかを確認することができれば、例えば術者は左手に持った内視鏡で操作を加える場所を直視下に確認し、それが術前のＣＴ等による画像のどの部位を観察しているかを認識しながら、右手で自由に任意の手術器具を持ち替えて手術操作を連続して行うことができる。これにより手術器具には特殊なマーカを必要とせず、あらゆる器具を制限無く使用することができる。
【０００４】
これを解決する技術として、特許文献１において開示されているような、内視鏡で観察している部位を術前画像（ＣＴ／ＭＲＩ）に表示するものがある。
【特許文献１】特開２００１−２０４７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法は、患者の体内に挿入される挿入部の先端から患者体内の術部までの距離を測定する距離測定手段（スポット光照射による三角測量法や超音波センサ等）を有する内視鏡を用いている。従って、この方法は、新たに特殊な内視鏡を必要とするという問題点がある。また、距離測定手段を有することにより、内視鏡の構造が複雑になると、消毒等の日常業務で内視鏡あるいはこれらの付加的な構成要素が損傷するおそれがある。また、内視鏡手術では、吸引管等の手術器具が内視鏡先端と患者体内の術部の間に入ることが多く、この場合には内視鏡の先端から患者体内の術部までの距離を正確に測定することが困難になる。更に、超音波センサを用いる場合は、例えば脳脊髄液や副鼻腔内の浸出液等の中では、超音波の速度が空気中とは異なるため、その速度を正確に知る必要がある。しかしながら、脳脊髄液や浸出液に代表される体液は、個人差が大きい上に腫瘍や炎症等の病状に影響されてその組成が変わるので、超音波の速度を正確に算出することが不可能である。そのため、内視鏡先端から患者体内の術部までの距離の算出が正確にできないという問題点がある。
【０００６】
本発明は、以上の問題点を解決するためになされたものであり、新たに特殊な内視鏡を用いることなく従来から用いられる内視鏡を用いて、内視鏡で撮像している部分が患者のどの部位に相当するかを正確に表示することができる手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る手術支援情報表示装置は、患者の内部に挿入されて当該内部を撮像する内視鏡と、第１の座標軸上における、内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、患者に内視鏡が差し込まれるときに、患者の表面を撮像する撮像手段と、撮像手段により撮像された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、患者形状取得手段により取得された第１の情報で示される第１の三次元形状、及び表面形状算出手段により算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段と、撮像手段により撮像された画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、内視鏡光軸算出手段により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得手段により取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出手段と、交点算出手段により算出された交点を示す情報を、患者形状取得手段により取得された患者の内部を構成する面を示す情報に重畳して出力する出力手段と、を備えることを特徴とする。
【０００８】
本発明に係る手術支援情報表示装置では、ＣＴ等により患者の内部を構成する面と患者の表面の第１の三次元形状とを示す第１の情報が取得される。その一方で、患者に内視鏡が差し込まれるときに、患者の表面が撮像され、その画像から、患者の表面の第２の三次元形状を示す第２の情報が算出される。続いて、第１の三次元形状及び第２の三次元形状のうち一方の三次元形状上に複数の基準点が設けられ、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点が他方の三次元形状上の限定された範囲から算出される。次に、複数の基準点と複数の対応点との位置関係に基づいて、第１の情報と第２の情報とがマッチングされる。そして、このマッチングにより、ＣＴ等により取得された第１の情報に係る第１の座標軸と、撮像された画像から算出された第２の情報に係る第２の座標軸とが一致される。
【０００９】
なお、第１の情報と第２の情報とをマッチングする際は、第１の三次元形状と第２の三次元形状とが共通の座標軸上に存在することを前提とする。すなわち、最短距離とは、これら二つの三次元形状が共通の座標軸上に存在するとした場合の、基準点と対応点との距離である。また、基準点と対応点との位置関係も、それら二つの三次元形状が共通の座標軸上に存在することを前提に定義される。
【００１０】
続いて、撮像された画像から内視鏡の撮像方向である光軸を示す半直線が算出される。この撮像方向である光軸を示す半直線とＣＴ等により取得された第１の情報に係る患者の内部を構成する面との交点が算出される。この交点は、ＣＴ等により取得された第１の情報において、内視鏡が撮像を行っている点（中心点）を示すものである。この交点を示す情報がＣＴ等により取得された第１の情報に重畳されて出力される。
【００１１】
即ち、上記のように、本発明に係る手術支援情報表示装置では、ＣＴ等による患者の内部を構成する面及び患者の表面の第１の三次元形状を示す第１の情報と、外部から患者を撮像した画像とのみを用いて、内視鏡で撮像している部分が、患者のどの部位に相当するかを表示することができる。従って、本発明に係る手術支援情報表示装置によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本発明に係る手術支援情報表示装置によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。
【００１２】
また、本発明に係る手術支援情報表示装置では、第１の三次元形状上の基準点に対応する、第２の三次元形状上の対応点を算出する際に、当該算出の範囲が限定される。そのため、対応点をより早く算出ができ、その結果、第１の座標軸と第２の座標軸とをより短時間に一致させることが可能になる。
【００１３】
本発明に係る手術支援情報表示装置は、内視鏡の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカを更に備え、撮像手段は、患者に内視鏡が差し込まれるときに、患者の表面と共にマーカを撮像し、内視鏡光軸算出手段は、撮像手段により撮像されたマーカの画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における、マーカの三次元座標を算出して、当該マーカと内視鏡の撮像方向との位置関係から内視鏡の撮像方向である光軸を示す半直線を算出する、ことが望ましい。
【００１４】
この構成によれば、患者に内視鏡が差し込まれるときに、患者の表面及び内視鏡の撮像方向に対して相対的な位置関係に固定されたマーカの座標が撮像される。続いて、撮像された画像から、マーカの三次元座標が算出され、算出されたマーカの画像から内視鏡の撮像方向である光軸を示す半直線が算出される。このようにマーカを用いて内視鏡の撮像方向である光軸を示す半直線を算出することとすれば、正確な半直線がより確実に算出できるので、より確実に正確な上記の表示を行うことができる。
【００１５】
また、本発明に係る手術支援情報表示装置は、患者に内視鏡が差し込まれるときに患者の表面の画像が取得されればよいので、構成要素として必ずしも内視鏡を備えている必要はない。即ち、本発明に係る手術支援情報表示装置は、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得手段と、表面画像取得手段により取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、患者形状取得手段により取得された第１の情報で示される第１の三次元形状、及び表面形状算出手段により算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段と、表面画像取得手段により取得された画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、内視鏡光軸算出手段により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得手段により取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出手段と、交点算出手段により算出された交点を示す情報を、患者形状取得手段により取得された患者の内部を構成する面を示す情報に重畳して出力する出力手段と、を備えることを特徴とする。
【００１６】
交点算出手段は、患者の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡の撮像方向である光軸を示す半直線との交点を算出することが望ましい。この構成によれば、容易かつ確実に交点を算出することができ、確実に本発明を実施することができる。
【００１７】
出力手段は、内視鏡により撮像された画像に交点に対応する箇所を示す情報を重畳させた画像を併せて出力することが望ましい。この構成によれば、術者等が、内視鏡で撮像された内容と、内視鏡で撮像されている部分が患者のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。
【００１８】
座標軸一致手段は、第１の基準点に対応する算出済の対応点の位置と、当該第１の基準点とは異なる第２の基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、第２の基準点から最短距離にある対応点を算出するための限定された範囲とすることが望ましい。この構成によれば、既知の情報（既知の基準点の位置、及び既知の対応点の位置）に基づいて、未知の対応点（第２の基準点から最短距離にある対応点）を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００１９】
限定された範囲は、算出済の対応点を中心とし、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とを加算した値を半径とする範囲であることが好ましい。この構成によれば、算出済の対応点の位置と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００２０】
限定された範囲は、算出済の対応点を中心とし、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とを加算した値を半径とする範囲であることが好ましい。この構成によれば、算出済の対応点の位置と、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００２１】
座標軸一致手段は、表面形状算出手段により算出された第２の情報で示される第２の三次元形状上に存在し、且つ患者形状取得手段により取得された第１の情報で示される第１の三次元形状上の基準点から最短距離にある対応点を、当該第２の三次元形状の限定された範囲から算出し、当該基準点と当該対応点との位置関係に基づいて第１の情報を変換することで、当該第１の情報と第２の情報とをマッチングすることが望ましい。この構成によれば、第１の情報のみを変換することでマッチングが行われる。すなわち、第２の情報を処理する必要がない。そのため、より簡易に第１の座標軸と第２の座標軸とを一致させることができる。
【００２２】
ところで、本発明は、上記のように手術支援情報表示装置の発明として記述できる他に、以下のように手術支援情報表示方法及び手術支援情報表示プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００２３】
即ち、本発明に係る手術支援情報表示方法は、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得ステップと、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得ステップと、表面画像取得ステップにおいて取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出ステップと、患者形状取得ステップにおいて取得された第１の情報で示される第１の三次元形状、及び表面形状算出ステップにおいて算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致ステップと、表面画像取得ステップにおいて取得された画像から、座標軸一致ステップにおいて第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出ステップと、内視鏡光軸算出ステップにおいて算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得ステップにおいて取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出ステップと、交点算出ステップにおいて算出された交点を示す情報を、患者形状取得ステップにおいて取得された患者の内部を構成する面を示す情報に重畳して出力する出力ステップと、を含むことを特徴とする。
【００２４】
本発明に係る手術支援情報表示プログラムは、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得機能と、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得機能と、表面画像取得機能により取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出機能と、患者形状取得機能により取得された第１の情報で示される第１の三次元形状、及び表面形状算出機能により算出された第２の情報で示される第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致機能と、表面画像取得機能により取得された画像から、座標軸一致機能により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出機能と、内視鏡光軸算出機能により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得機能により取得された第１の情報に係る患者の内部を構成する面との交点を算出する交点算出機能と、交点算出機能により算出された交点を示す情報を、患者形状取得機能により取得された患者の内部を構成する面を示す情報に重畳して出力する出力機能と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２５】
本発明では、ＣＴ等による患者の内部を構成する面及び患者の表面の三次元形状を示す情報と、外部から患者を撮像した画像とのみを用いて、内視鏡で撮像している部分が、患者のどの部位に相当するかを表示することができる。従って、本発明によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本発明によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面とともに本発明に係る手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００２７】
図１は、本発明に係る手術支援情報表示装置１の実施形態を概略的に示す構成図である。手術支援情報表示装置１は、患者６０に対する手術の際に、内視鏡により撮像された画像に関する情報を術者等に提供する装置である。本実施形態に係る手術支援情報表示装置１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、内視鏡による撮像が行われるものを対象とする。
【００２８】
図１に示すように、手術支援情報表示装置１は、内視鏡１１と、標識球１２と、撮像装置２０と、ＣＴ装置３０と、ＰＣ（Personal Computer）４０と、モニタ５０とを含んで構成されている。
【００２９】
内視鏡１１は、術者により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。内視鏡１１は、患者の生体内の挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構としては、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの決像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。上記の機構の位置決めのされ方によって、内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、内視鏡１１の撮像方向Ａとなる。内視鏡１１により撮像された画像の情報は、ケーブルにより内視鏡１１と接続されたＰＣ４０に出力される。なお、上記の内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている内視鏡を用いることができる。
【００３０】
標識球１２は、内視鏡１１の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカである。標識球１２は、撮像装置２０により撮像されて、撮像された画像から三次元座標を求められる。具体的には、標識球１２は、複数内視鏡１１に対して棒状の部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なることとしているのは、撮像装置２０により撮像された画像から、それぞれを区別して検出するためである。
【００３１】
標識球１２が内視鏡１１に設けられる位置は、患者６０に挿入される部分から更に後方の、患者６０に挿入されない位置である。また、標識球１２と内視鏡１１の撮像方向Ａとの位置関係が一定となるように、内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。但し、内視鏡１１の撮像方向と標識球１２との位置関係が把握できればよいので、例えば、内視鏡１１の先端部のみが決められた方向のみに動くような構成となっていてもよい。
【００３２】
なお、内視鏡１１に設けられるマーカは、内視鏡１１の撮像方向に対して定められた相対的な位置関係の位置にあり、撮像装置２０により撮像された画像から三次元座標を求められるものであればよいので、必ずしも、本実施形態の標識球１２のような球状のものでなくてもよい。また、内視鏡１１自体の形状が、容易に三次元座標を求められるものであれば、内視鏡１１自体の形状がマーカとなるので、必ずしも標識球１２を設ける必要はない。
【００３３】
撮像装置２０は、患者６０に内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を撮像する撮像手段である。図１に示すように、患者６０の鼻の穴から内視鏡１１を挿入して、内視鏡１１により患者６０の頭部を撮像する場合には、患者６０の顔面と標識球１２とが撮像できるような位置に撮像装置２０が設けられる。撮像装置２０としては具体的には、例えば、ＣＣＤカメラが用いられる。撮像装置２０は、ＰＣ４０と接続されており、撮像した画像の情報をＰＣ４０に送信する。
【００３４】
撮像装置２０により撮像された画像は、撮像されたものの三次元座標（三次元位置情報）を算出するために用いられる。そのために必要な構成も併せて撮像装置２０に備えておく必要がある。画像から撮像されたものの三次元座標を算出する方法としては光学的な方法を用いるものがあり、例えば、特開２００３−２５４７３２号公報に記載された方法を用いることができる。この方法を用いる場合は、そのために必要な、撮像装置２０により撮像される範囲にキセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影する装置を更に設けておく。
【００３５】
なお、特開２００３−２５４７３２号公報に記載された方法によれば、１秒の計測時間で、９０±１０ｃｍの距離から撮像が可能となる。また、分解能は０．１〜０．６ｍｍである。即ち、１秒で三次元位置情報を持った解像度の高いカラー画像が取得できる。また、曇りの日中（屋外）の約２８％の照度の白色光であり、レーザ等を使うことなく安全に三次元位置情報を取得できる。本方法により、患者６０の顔面を撮像して、情報処理されて三次元位置情報を持った解像度の高いカラー画像とした例を図２に示す。
【００３６】
ＣＴ装置３０は、内視鏡１１が挿入される患者６０の内部を構成する面と患者６０の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段である。内視鏡１１が挿入される患者６０を構成する面は、例えば、患者６０の副鼻腔に内視鏡１１が挿入される場合、副鼻腔を構成する面である。また、患者６０の表面は、上記の場合、患者６０の顔面である。ここで、ＣＴ装置３０により取得される三次元形状を示す第１の情報は、例えば予めＣＴ装置３０に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を保持することによって構成されている。この座標軸は、第１の座標軸である。即ち、第１の情報は、第１の座標軸上における情報である。
【００３７】
ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の三次元形状を示す情報として構成するものであり、既存のＣＴ装置を用いることができる。ＣＴ画像の例を図３に示す。ＣＴ装置３０はＰＣ４０と接続されており、取得した患者６０の三次元形状を示す情報を、ＰＣ４０に送信する。なお、ＣＴ装置３０は、撮像装置２０と同じ場所に設置されている必要はなく、通常、撮像装置２０による撮像と、ＣＴ装置３０による三次元形状を示す情報の取得とは別々に行われる。なお、ＣＴ画像から三次元形状を示す情報の構成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。
【００３８】
なお、手術支援情報表示装置１では、患者６０の内部を含む三次元形状を示す情報が取得できればよいので、患者形状取得手段として必ずしもＣＴ装置３０を用いる必要はない。例えば、ＭＲＩ装置を用いることとしてもよい。
【００３９】
ＰＣ４０は、撮像装置２０により撮像された画像の情報及びＣＴ装置３０により取得された患者６０の三次元形状を示す第１の情報を受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡光軸算出部４５と、交点算出部４６と、出力部４７とを備えている。
【００４０】
患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の三次元形状を示す第１の情報を受信する手段である。患者形状取得部４１は、受信した第１の情報を、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援情報表示装置１では、必ずしも本実施形態のように、患者形状取得手段としてＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援情報表示装置１に含まれないＣＴ装置で撮像等された）患者６０の三次元形状を示す第１の情報が受信さえされればよい。
【００４１】
撮像画像取得部４２は、撮像装置２０により撮像され送信された画像の情報を受信する手段である。即ち、撮像画像取得部４２は、患者６０に内視鏡１１が差し込まれるときに撮像装置２０により撮像された患者の表面の画像を取得する表面画像取得手段である。撮像画像取得部４２は、受信した画像を表面形状算出部４３及び内視鏡光軸算出部４５等に出力する。
【００４２】
表面形状算出部４３は、撮像装置２０により撮像された患者６０の表面の画像から、患者６０の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段である。患者６０の表面は、本実施形態の場合、患者６０の顔面である。画像から三次元形状を算出する方法は、例えば、上述した特開２００３−２５４７３２号公報に記載された方法を用いることができる。第２の情報は、例えば予め表面形状算出部４３に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を構成することにより算出される。この座標軸は、上述した第１の座標軸とは異なるものであり第２の座標軸である。即ち、第２の情報は、第２の座標軸上における情報である。表面形状算出部４３は、算出した第２の情報を、座標軸一致部４４に出力する。
【００４３】
座標軸一致部４４は、患者形状取得部４１により取得された第１の情報で示される第１の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を、表面形状算出部４３により算出された第２の情報で示される第２の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて第１の情報と第２の情報とをマッチングすることで、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段である。即ち、座標軸一致部４４は、ＣＴ装置３０により取得された第１の情報と、撮像装置２０により撮像された画像から算出された第２の情報とを同じ座標軸上で処理できるようにするための手段である。なお、限定された範囲を算出するために必要な式、ルール、データ等は、座標軸一致部４４に記憶されており、限定された範囲を算出する際に読み出される。
【００４４】
座標軸一致部４４は、第１の座標軸と第２の座標軸とを一致させるために、反復最近傍点アルゴリズム（Iterative Closest Point Algorithm、ＩＣＰアルゴリズム）を利用する。このアルゴリズムは、点で構成された二つの図形をマッチングさせるための手法である。
【００４５】
座標軸一致部４４の処理を、図４を参照して説明する。なお、図４では、説明の簡単のため、マッチングする図形を二次元の曲線ｐ及びｍとする。また、図４に示す例では、曲線ｍを固定し、曲線ｐを曲線ｍにマッチングさせるものとする。図４に示す二次元空間におけるマッチングは、本実施形態のような三次元空間におけるマッチングに簡単に拡張することができる。例えば、曲線ｐを第１の情報で示される第１の三次元形状と読み替えるとともに、曲線ｍを第２の情報で示される第２の三次元形状と読み替えることで、座標軸一致部４４による第１の情報と第２の情報とのマッチングを説明できる。
【００４６】
座標軸一致部４４は、まず、曲線ｍ周辺の最短距離場を算出する。ここで、最短距離場とは、ある図形から最短距離（最短パスの長さ）に存在する点で構成される近傍空間である。次に、座標軸一致部４４は、曲線ｐ上にある任意の基準点（第１の基準点）Ｐａを選択し、その基準点Ｐａから最短距離にある、曲線ｍ上の対応点Ｍａを探索（算出）する。この対応点Ｍａの探索は、曲線ｍ上のすべての点について基準点Ｐａとの距離を算出し、算出された距離を比較することで行われる。なお、座標軸一致部４４は、基準点Ｐａとの距離を算出する曲線ｍ上の点の位置を、所定の関係式や、曲線ｍを構成する点の配列などにより予め算出できる。例えば、座標軸一致部４４は、第１の情報又は第２の情報により、第１の三次元形状又は第２の三次元形状上に存在する点の位置を取得できる。
【００４７】
なお、基準点と対応点との位置関係は、それら二つの三次元形状が共通の座標軸上に存在することを前提に定義される。例えば、基準点Ｐａと曲線ｍ上の点との距離の算出は、曲線ｐと曲線ｍとが共通の座標軸上に存在することを前提とする。すなわち、最短距離とは、これら二つの曲線が共通の座標軸上に存在するとした場合の、基準点と対応点との距離である。
【００４８】
次に、座標軸一致部４４は、曲線ｐ上にある別の基準点（第２の基準点）Ｐｂを選択し、その基準点Ｐｂから最短距離にある、曲線ｍ上の対応点Ｍｂを探索（算出）する。この際、座標軸一致部４４は、曲線ｍ上の限定された範囲に存在する複数の点と基準点Ｐａとの距離を算出する。
【００４９】
このために、座標軸一致部４４は、基準点Ｐａ及びＰｂの座標値と、対応点Ｍａの座標値と、基準点Ｐａと対応点Ｍａとの距離ｌと、基準点Ｐｂと対応点Ｍａとの距離ｄと、基準点Ｐｂの座標値、及び曲線ｍ周辺の最短距離場によって定まる距離ｌ’とを取得する。これらの値は、既知のもの、又は既知の値から算出可能なものである。そして、座標軸一致部４４は、取得したこれらの値に基づいて、対応点Ｍｂを探索する範囲を決定する。
【００５０】
この場合において、基準点Ｐｂと、既知の対応点Ｍａと、未知の対応点Ｍｂとの位置関係から、下記の三角不等式が成り立つ。なお、ｄｍは、既知の対応点Ｍａと未知の対応点Ｍｂとの距離である。
ｄｍ≦ｌ’＋ｄ
【００５１】
したがって、未知の対応点Ｍｂを探索すべき曲線ｍの範囲は、既知の対応点Ｍａを中心とし、且つ半径が下記式で表される円Ｃ内に限定される。
ｒ＝ｌ’＋ｄ …（１）
この半径ｒは、下記式を用いて算出してもよい。ただし、ｄｐは、既知の基準点Ｐａ及びＰｂの間の距離である。
ｒ＝ｌ＋ｌ’＋ｄｐ …（２）
【００５２】
なお、第１及び第２の情報で示される図形は三次元形状であるから、本実施形態において、座標軸一致部４４は、上記理論に準じて算出された所定の半径を有する球内で対応点を探索する。
【００５３】
すなわち、座標軸一致部４４は、曲線ｍのうち、対応点Ｍａから上記式（１）又は（２）で定義される半径ｒの範囲にある点についてのみ、当該点と基準点Ｐｂとの距離を算出する。そして、座標軸一致部４４は、基準点Ｐｂとの距離が最短である点を対応点Ｍｂと決定する。なお、座標軸一致部４４は、曲線ｍ上の点の位置を予め算出し取得することができる。したがって、座標軸一致部４４は、予め取得した曲線ｍ上の点の位置と、対応点Ｍａの位置と、上記式（１）又は（２）で定義される半径ｒとに基づいて、基準点Ｐｂとの距離を算出すべき曲線ｍ上の点を取得できる。
【００５４】
その後、座標軸一致部４４は、曲線ｐ上にある一以上の別の基準点に対する対応点を探索（算出）する。この対応点の算出方法は、対応点Ｍｂの算出方法と同様である。すなわち、二番目以降の対応点を算出する場合、座標軸一致部４４は、当該対応点を曲線ｍ上の限定された範囲から算出する。
【００５５】
続いて、座標軸一致部４４は、基準点と、その基準点に対応する対応点との距離の平均値を算出する。続いて、座標軸一致部４４は、複数算出された基準点と対応点との位置関係に基づいて回転行列Ｒ及び平行移動行列Ｔを算出し、これら二つの行列を用いて剛体変換を行う。なお、剛体変換は、剛体変換前の曲線ｐの位置をｐi-1、剛体変換後の曲線ｐの位置をｐiとして、下記式で表される。
ｐi＝Ｒ＊ｐi-1＋Ｔ
【００５６】
この剛体変換により、曲線ｐが回転移動又は平行移動する。座標軸一致部４４は、今回算出した平均値と前回算出した平均値との差が所定の閾値未満になるまで、対応点の算出から剛体変換までの処理を繰り返し実行する。
【００５７】
このような座標軸一致部４４の処理により、第１の座標軸及び第２の座標軸の何れか一方の座標軸をもう一方の座標軸に変換する関数が算出される。座標軸一致部４４は、座標軸を一致させた結果として算出された座標軸を変換する関数等を、必要に応じて内視鏡光軸算出部４５、交点算出部４６及び出力部４７等に出力する。上記の座標軸を一致させる処理以降は、内視鏡光軸算出部４５、交点算出部４６及び出力部４７等において上記の関数等が、三次元形状を示す情報に適用されることによって、ＣＴ装置３０による三次元形状を示す情報と、撮像装置２０により撮像された画像から算出された三次元形状を示す情報とは同じ座標軸上で処理される。
【００５８】
内視鏡光軸算出部４５は、撮像装置２０により撮像された標識球１２の画像から、座標軸一致部４４により一致された座標軸上における、標識球１２の三次元座標を算出して、標識球１２と内視鏡１１の撮像方向Ａとの位置関係から内視鏡１１の撮像方向Ａである光軸を示す半直線を算出する内視鏡光軸算出手段である。なお、ここで言う撮像方向Ａである光軸を示す半直線には、半直線の起点となる位置も含まれる。即ち、内視鏡１１の撮像方向Ａである光軸を示す半直線は、どの点からどの方向に撮像が行われるかを示したものである。内視鏡光軸算出部４５は、予め、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報を保持している。当該位置関係を示す情報としては、具体的には例えば、内視鏡１１の光軸（撮像方向Ａである光軸を示す半直線）を通るように内視鏡１１の基部の所定の位置と先端の位置とを特定して、その２点と標識球１２との位置関係を示す情報が用いられる。
【００５９】
内視鏡１１の撮像方向Ａである光軸を示す半直線の算出は、具体的には、以下のように行われる。まず、内視鏡光軸算出部４５は、表面形状算出部４３における三次元形状を算出する方法と同様の方法で、撮像装置２０により撮像された標識球１２から三次元形状及び三次元座標を算出する。標識球１２が複数設けられている場合、内視鏡光軸算出部４５は、例えば標識球１２の大きさ等からそれぞれの標識球１２を識別する。
【００６０】
続いて、内視鏡光軸算出部４５は、算出された上記の座標軸上における標識球１２の三次元座標と、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報とから、上記の座標軸上における撮像方向Ａである光軸を示す半直線を算出する。内視鏡光軸算出部４５は、算出した撮像方向である光軸を示す半直線の情報を、交点算出部４６に出力する。
【００６１】
交点算出部４６は、内視鏡光軸算出部４５により算出された内視鏡１１の撮像方向Ａである光軸を示す半直線と患者形状取得部４１により取得された第１の情報に係る患者６０の内部を構成する面との交点を算出する交点算出手段である。この交点は、ＣＴ装置３０による三次元形状を示す第１の情報において、内視鏡１１が撮像を行っている点（中心点）を示すものである。具体的には、交点算出部４６は、患者６０の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡１１の撮像方向Ａである光軸を示す半直線との交点を算出する。交点の算出については、より詳細には後述する。交点算出部４６は、算出した交点の情報を出力部４７に出力する。
【００６２】
出力部４７は、交点算出部４６により算出された交点を示す情報を、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像に重畳して、モニタ５０に出力する出力手段である。また、出力部４７は、内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像を併せて、モニタ５０に出力することとしてもよい
【００６３】
モニタ５０は、ＰＣ４０から入力された情報を表示する。術者はモニタ５０を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。以上が、手術支援情報表示装置１の構成の構成である。
【００６４】
引き続いて、手術支援情報表示装置１の動作（手術支援情報表示方法）について、図５のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。
【００６５】
まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（Ｓ０１、患者形状取得ステップ）。このＣＴスキャン撮影は、内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、内視鏡１１が挿入される患者６０の内部を構成する面との第１の三次元形状を示す第１の情報が取得される。ＣＴ装置３０によりＣＴスキャン撮影が行われ取得された第１の情報は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（Ｓ０２、患者形状取得ステップ）。上記が手術前の処理であり、例えば、手術の前日等に行われる。
【００６６】
引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、内視鏡１１を挿入する前に、撮像装置２０によって、配置された患者６０が撮像される（Ｓ０３、表面画像取得ステップ）。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から表面形状算出部４３に出力される。
【００６７】
表面形状算出部４３では、当該画像から患者６０の表面である顔面の第２の三次元形状を示す第２の情報が算出される（Ｓ０４、表面形状算出ステップ）。算出された第２の情報は、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の三次元形状を示す情報が、患者形状取得部４１から座標軸一致部４４に出力される。
【００６８】
ＣＴ装置３０による第１の情報と、撮像装置２０による画像から算出された第２の情報とに係るそれぞれの座標軸は、一致していない。これらの情報を共に表示すると、図６（ａ）に示すように、ＣＴ装置３０による情報８１と、撮像装置２０の画像による情報８２とが位置合わせされていない状態となる。
【００６９】
ここで、座標軸一致部４４によって、図６（ｂ）に示すように、これら２つの情報８１，８２における顔面の形状がマッチングされて、２つの情報に係る座標軸が一致される（Ｓ０５、座標軸一致ステップ）。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、予め設定しておく。
【００７０】
座標軸を一致させる処理を、図７のフローチャートを参照して詳細に説明する。まず、患者形状取得部４１により取得された第１の情報と、表面形状算出部４３により算出された第２の情報とが用意される（ステップＳ５１）。続いて、第１の情報で示される第１の三次元形状上の基準点に対応する対応点が、第２の情報で示される第２の三次元形状から抽出される（ステップＳ５２）。この抽出は、予め定められた個数分の対応点をすべて抽出するまで繰り返し実行される（ステップＳ５３；ＮＯ）。このとき、二番目以降の対応点の抽出において、対応点は、第２の三次元形状の限定された範囲から抽出される。
【００７１】
そして、すべての対応点が抽出されると（ステップＳ５３；ＹＥＳ）、基準点と対応点との距離の平均値が算出される（ステップＳ５４）。続いて、複数算出された基準点と対応点との位置関係に基づいて、回転行列及び平行移動行列が算出される（ステップＳ５５）。続いて、その回転行列及び平行移動行列に基づいて、第１の情報で示される第１の三次元形状が剛体変換される（ステップＳ５６）。続いて、今回算出された平均値と前回算出された平均との差が閾値未満か否かが判定される（ステップＳ５７）。
【００７２】
ここで、平均値の差が閾値以上であれば（ステップＳ５７；ＮＯ）、上記ステップＳ５２の以降の処理が繰り返し実行され、その差が閾値未満であれば（ステップＳ５７；ＹＥＳ）、処理が終了する。これにより、第１の座標軸と第２の座標軸とが一致される。
【００７３】
一致した座標軸に係る情報は、座標軸一致部４４から、内視鏡光軸算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されて座標軸の変換等が行われて、これ以降、一致した座標軸を基準として三次元形状に対する情報処理が行われる。上記が手術開始までの処理である。
【００７４】
続いて、手術が開始され、術者によって、内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、Ｓ０３〜Ｓ０５の処理を行ったときから動かさないようにする。座標軸がずれることを防止するためである。内視鏡１１が患者６０に挿入される際に、撮像装置２０によって、患者６０及び標識球１２が撮像される（Ｓ０６、表面画像取得ステップ）。図８（ａ）に示すように、撮像された画像には、標識球１２（の画像）が含まれている。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から内視鏡光軸算出部４５に出力される。
【００７５】
続いて、内視鏡光軸算出部４５によって、図８（ｂ）に示すように、画像から標識球１２の三次元座標が算出される（Ｓ０７、内視鏡光軸算出ステップ）。続いて、内視鏡光軸算出部４５によって、算出された標識球１２の三次元座標から、予め保持していた標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報に基づいて、一致された座標軸上での内視鏡１１の撮像方向Ａである光軸を示す半直線が算出される（Ｓ０８、内視鏡光軸算出ステップ）。
【００７６】
算出された半直線の情報は、内視鏡光軸算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による第１の情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、内視鏡１１の撮像方向Ａである光軸を示す半直線と、患者６０の内部を構成する面との交点が算出される（Ｓ０９、交点算出ステップ）。
【００７７】
交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による第１の情報が、ポリゴンデータに変換される。この変換により、患者６０（の内部）を構成する面が、例えば多数の三角形で構成させることとなる。次に、それらの各三角形と、内視鏡１１の撮像方向Ａである光軸を示す半直線との交点が算出される。
【００７８】
この交点の算出について、図９を用いて説明する。ポリゴンを構成する三角形の基準となる点をＰＴ、三角形の２辺のベクトルをそれぞれｖｅｃＡ及びｖｅｃＢとし、２つの媒介変数をα及びβとすると、三角形は以下の式で表すことができる。
Ｐ１＝ＰＴ＋αｖｅｃＡ＋βｖｅｃＢ
また、内視鏡１１の撮像方向Ａの基準となる点（例えば、内視鏡１１の先端の点）をＰＬ、半直線の方向を示すベクトルをｖｅｃＣとし、媒介変数をγとすると、内視鏡１１の撮像方向Ａは以下の式で表すことができる。
Ｐ２＝ＰＬ＋γｖｅｃＣ
【００７９】
ここで、両者が交わるときはＰ１＝Ｐ２となる。Ｐ１＝Ｐ２となる点が、三角形の内部に存在する条件は、媒介変数が以下の条件を満たす場合である。
条件１：０＜α，０＜β
条件２：０＜α＋β＜１
条件３：γ＞０
これらの条件を満たす点を全てのポリゴンデータを構成する三角形について導出し、それら全ての点と内視鏡１１の先端の点との距離を計算する。この距離が最も小さくなる交点を、内視鏡１１の撮像方向Ａである光軸を示す半直線と患者６０の内部を構成する面との交点とする。
【００８０】
算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、モニタ５０に入力される。入力された画像は、モニタ５０によって表示される（Ｓ１０、出力ステップ）。交点の表示は、具体的には例えば、図１０に示すように、内視鏡１１により撮像されている箇所がどの点に位置しているかが分かるように、十字の表示９０として行われる。術者は表示された画像を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。
【００８１】
また、内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７からモニタ５０に出力されるようにして、上記の内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。例えば、図１１に示す画面例９１のように、内視鏡１１により撮像された画像９２と、内視鏡１１により撮像されている箇所がどの点に位置しているかが示されたＣＴ画像９３ａ〜９３ｃとを１つの画面に示すこととするのがよい。また、その際の内視鏡１１の画像には、交点に対応する箇所を示す情報（例えば、十字形（＋）のマーク）９４を重畳させることが望ましい。内視鏡１１の画像における交点に対応する箇所を示す情報の位置は、例えば、画像の中心等、内視鏡１１の撮像方向に応じて予め出力部４７に記憶させておく。また、術者が対応する箇所を理解しやすいように、ＣＴ画像９３ａ〜９３ｃは、断面がそれぞれ異なるもの（断面がそれぞれ直交するものがよい）を複数、表示することとするのがよい。図１１では、ＣＴ画像９３ａは横断面のもの、ＣＴ画像９３ｂは冠状断面のもの、ＣＴ画像９３ｃは、矢状断面のものである。更に、ＣＴ画像９３ａ〜９３ｃには、交点の情報（画像とは色違いの四角９５で示す）に加えて、内視鏡１１が挿入されている方向（内視鏡１１の撮像方向である光軸）９６を示すことが望ましい。
【００８２】
上記のＳ０６〜Ｓ１０までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるＳ０３〜Ｓ０５の処理と、Ｓ０６〜Ｓ１０の処理とは異なっているが、例えば、Ｓ０５の座標軸の一致の処理が行われたら、自動的にＳ０６以降の処理に移るようにしてもよい。また、術者等の操作により処理の切替が行われてもよい。
【００８３】
また、Ｓ０３〜Ｓ０５の処理による初回の位置合わせ後に患者６０の頭部を動かした場合でも、再度Ｓ０３〜Ｓ０５の処理を行い改めて位置合わせを行なうこととすればよい。再度の位置合わせは、例えば、術者等の操作により行われてもよいし、位置合わせしたときの画像とその後の画像とを比較して、頭部が動いたことを検出して、それをトリガとして行われてもよい。
【００８４】
上述したように本実施形態に係る手術支援情報表示装置１では、ＣＴ装置３０による患者６０の内部を構成する面と患者の表面の第１の三次元形状とを示す第１の情報と、撮像装置２０により外部から患者６０を撮像した画像とのみを用いて、内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかを表示することができる。従って、本実施形態に係る手術支援情報表示装置１によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本実施形態に係る手術支援情報表示装置１によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。従って、本実施形態に係る手術支援情報表示装置１を用いれば、安全かつ正確に手術を行うことができる。
【００８５】
また、本実施形態に係る手術支援情報表示装置１では、第１の三次元形状上の基準点に対応する、第２の三次元形状上の対応点を算出する際に、当該算出の範囲が限定される。そのため、対応点をより早く算出ができ、その結果、第１の座標軸と第２の座標軸とをより短時間に一致させることが可能になる。
【００８６】
また、ＣＴスキャン撮影（Ｓ０１）の際に、患者６０にマーク等をつける必要がなく、通常通りのＣＴスキャン撮影を行えばよいので、簡便である。また、位置合わせ等のために患者６０をピンなどで固定する必要がない。患者６０を手術中に動かしたとしても、容易に位置合わせを行うことができる。上記の手術支援情報表示装置１の各構成要素は、比較的安価であり、低コストで実現することができる。
【００８７】
また、本実施形態のように内視鏡１１にマーカである標識球１２を設けておき、マーカを用いて内視鏡１１の撮像方向である光軸を示す半直線を算出することとすれば、正確な半直線がより確実に算出できるので、より確実に正確な上記の表示を行うことができる。但し、マーカを用いずに、内視鏡１１の撮像方向である光軸を示す半直線を算出することとしてもよい。例えば、本実施形態において、撮像装置２０による画像から患者の表面を算出した方法と同様に、内視鏡１１の形状を算出して、当該形状から内視鏡１１の撮像方向である光軸を示す半直線を算出することとしてもよい。
【００８８】
なお、本発明は、画像や情報のＰＣ４０への入力さえあれば実施可能であるので、手術支援情報表示装置１には必ずしも、内視鏡１１、撮像装置２０及びＣＴ装置３０等のハードウェアを備えている必要はない。即ち、本発明は、ＰＣ４０の備える各構成要素４１〜４７のみを備えていれば実施可能である。
【００８９】
また、本実施形態のように、ＣＴ装置３０による患者６０の三次元情報をポリゴンデータとし交点を求めることとすれば、確実に交点を算出することができ、確実に本発明を実施することができる。
【００９０】
また、内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかの情報に併せて、内視鏡１１により撮像された画像自体も表示することとすれば、術者等が、内視鏡１１で撮像された内容と、内視鏡１１で撮像されている部分が患者６０のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。
【００９１】
また、座標軸一致部４４は、例えば図４に示すように、基準点Ｐａに対応する算出済の対応点Ｍａの位置と、基準点Ｐｂの位置とに基づいて、対応点Ｍａを中心とする半径ｒの円Ｃを算出し、その円Ｃを曲線ｍの限定された範囲とする。これにより、未知の対応点Ｍｂを算出するための限定された範囲が設定されるので、より早くその対応点Ｍｂを算出することができる。このことは、他の対応点を算出する場合も同様である。
【００９２】
また、座標軸一致部４４は、例えば図４に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ’＋ｄ）を半径ｒとする円Ｃを限定された範囲とする。加えて、座標軸一致部４４は、例えば図４に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ＋ｌ’＋ｄｐ）を半径ｒとする円Ｃを限定された範囲とすることもできる。これにより、未知の対応点Ｍｂを算出するための限定された範囲（円Ｃ）が設定されるので、より早くその対応点Ｍｂを算出することができる。このことは、他の対応点を算出する場合も同様である。
【００９３】
また、座標軸一致部４４は、表面形状算出部４３により算出された第２の情報で示される第２の三次元形状上に存在し、且つ患者形状取得部４１により取得された第１の情報で示される第１の三次元形状上の基準点から最短距離にある対応点を、当該第２の三次元形状の限定された範囲から算出し、当該基準点と当該対応点との位置関係に基づいて第１の情報を変換することで、当該第１の情報と第２の情報とをマッチングする。これにより、ＣＴ装置３０により取得された第１の情報のみを変換することでマッチングが行われる。すなわち、撮像装置２０の画像に基づいて算出された第２の情報を処理する必要がない。そのため、より簡易に第１の座標軸と第２の座標軸とを一致させることができる。
【００９４】
引き続いて、上述した一連の手術支援情報の表示を行う処理をコンピュータに実行させるための手術支援情報表示プログラムを説明する。図１２に示すように、手術支援情報表示プログラム８２は、コンピュータが備える記録媒体８０に形成されたプログラム格納領域８０ａ内に格納されている。
【００９５】
手術支援情報表示プログラム８１は、手術支援情報の表示処理を統括的に制御するメインモジュール８１ａと、患者形状取得モジュール８１ｂと、撮像画像取得モジュール８１ｃと、表面形状算出モジュール８１ｄと、座標軸一致モジュール８１ｅと、内視鏡光軸算出モジュール８１ｆと、交点算出モジュール８１ｇと、出力モジュール８１ｈとを備えて構成される。患者形状取得モジュール８１ｂ、撮像画像取得モジュール８１ｃ、表面形状算出モジュール８１ｄ、座標軸一致モジュール８１ｅ、内視鏡光軸算出モジュール８１ｆ、交点算出モジュール８１ｇ及び出力モジュール８１ｈを実行させることにより実現される機能は、上述したＰＣ４０の患者形状取得部４１、撮像画像取得部４２、表面形状算出部４３、座標軸一致部４４、内視鏡光軸算出部４５、交点算出部４６及び出力部４７の機能とそれぞれ同様である。
【００９６】
なお、手術支援情報表示プログラム８１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。
【図面の簡単な説明】
【００９７】
【図１】本発明の実施形態に係る手術支援情報表示装置の構成を示す図である。
【図２】撮像装置により撮像され、情報処理されて三次元位置情報を持った、患者の顔面の画像を示す図である。
【図３】ＣＴ装置により取得されたＣＴ画像を示す図である。
【図４】図１に示す座標軸一致部の処理の概念を示す図である。
【図５】本発明の実施形態に係る手術支援情報表示装置での処理を示すフローチャートである。
【図６】ＣＴ装置による患者の三次元形状を示す情報と、撮像装置による画像から算出された患者の三次元形状を示す情報とのマッチング処理を示す図である。
【図７】図５に示す座標軸一致処理を示すフローチャートである。
【図８】撮像装置による画像から標識球の三次元座標を算出する処理を示した図である。
【図９】患者の面を構成する三角形と内視鏡の撮像方向である光軸を示す半直線との交点を示した図である。
【図１０】内視鏡により撮像されている点が示されたＣＴ画像を示す図である。
【図１１】内視鏡により撮像されている点が示されたＣＴ画像、及び内視鏡により撮像されている画像を示す図である。
【図１２】本発明に係る手術支援情報表示プログラムの構成を示す図である。
【符号の説明】
【００９８】
１…手術支援情報表示装置、１１…内視鏡、１２…標識球、２０…撮像装置、３０…ＣＴ装置、４０…ＰＣ、４１…患者形状取得部、４２…撮像画像取得部、４３…表面形状算出部、４４…座標軸一致部、４５…内視鏡光軸算出部、４６…交点算出部、４７…出力部、５０…モニタ、６０…患者、７０…手術台、８０…記録媒体、８０ａ…プログラム格納領域、８１…手術支援情報表示プログラム、８１ａ…メインモジュール、８１ｂ…患者形状取得モジュール、８１ｃ…撮像画像取得モジュール、８１ｄ…表面形状算出モジュール、８１ｅ…座標軸一致モジュール、８１ｆ…内視鏡光軸算出モジュール、８１ｇ…交点算出モジュール、８１ｈ…出力モジュール。
【特許請求の範囲】
【請求項１】
患者の内部に挿入されて当該内部を撮像する内視鏡と、
第１の座標軸上における、前記内視鏡が挿入される前記患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、
前記患者に前記内視鏡が差し込まれるときに、前記患者の表面を撮像する撮像手段と、
前記撮像手段により撮像された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、
前記患者形状取得手段により取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出手段により算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致手段と、
前記撮像手段により撮像された画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、
前記内視鏡光軸算出手段により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得手段により取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出手段と、
前記交点算出手段により算出された交点を示す情報を、前記患者形状取得手段により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力手段と、
を備える手術支援情報表示装置。
【請求項２】
前記内視鏡の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカを更に備え、
前記撮像手段は、前記患者に前記内視鏡が差し込まれるときに、前記患者の表面と共に前記マーカを撮像し、
前記内視鏡光軸算出手段は、前記撮像手段により撮像された前記マーカの画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における、前記マーカの三次元座標を算出して、当該マーカと前記内視鏡の撮像方向との前記位置関係から前記内視鏡の撮像方向である光軸を示す半直線を算出する、
ことを特徴とする請求項１に記載の手術支援情報表示装置。
【請求項３】
第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、
前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得手段と、
前記表面画像取得手段により取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、
前記患者形状取得手段により取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出手段により算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致手段と、
前記表面画像取得手段により取得された画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、
前記内視鏡光軸算出手段により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得手段により取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出手段と、
前記交点算出手段により算出された交点を示す情報を、前記患者形状取得手段により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力手段と、
を備える手術支援情報表示装置。
【請求項４】
前記交点算出手段は、前記患者の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と前記内視鏡の撮像方向である光軸を示す半直線との交点を算出することを特徴とする請求項１〜３の何れか一項に記載の手術支援情報表示装置。
【請求項５】
前記出力手段は、前記内視鏡により撮像された画像に前記交点に対応する箇所を示す情報を重畳させた画像を併せて出力することを特徴とする請求項１〜４の何れか一項に記載の手術支援情報表示装置。
【請求項６】
前記座標軸一致手段は、第１の前記基準点に対応する算出済の前記対応点の位置と、当該第１の基準点とは異なる第２の前記基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、前記第２の基準点から最短距離にある対応点を算出するための前記限定された範囲とする、ことを特徴とする請求項１〜５の何れか一項に記載の手術支援情報表示装置。
【請求項７】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第２の基準点と前記算出済の対応点との距離とを加算した値を半径とする範囲である、ことを特徴とする請求項６に記載の手術支援情報表示装置。
【請求項８】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第１の基準点と前記算出済の対応点との距離と、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第１の基準点と前記第２の基準点との距離とを加算した値を半径とする範囲である、ことを特徴とする請求項６に記載の手術支援情報表示装置。
【請求項９】
前記座標軸一致手段は、前記表面形状算出手段により算出された第２の情報で示される前記第２の三次元形状上に存在し、且つ前記患者形状取得手段により取得された第１の情報で示される前記第１の三次元形状上の基準点から最短距離にある対応点を、当該第２の三次元形状の限定された範囲から算出し、当該基準点と当該対応点との位置関係に基づいて前記第１の情報のみを変換することで、当該第１の情報と前記第２の情報とをマッチングする、ことを特徴とする請求項１〜８の何れか一項に記載の手術支援情報表示装置。
【請求項１０】
第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得ステップと、
前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得ステップと、
前記表面画像取得ステップにおいて取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出ステップと、
前記患者形状取得ステップにおいて取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出ステップにおいて算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致ステップと、
前記表面画像取得ステップにおいて取得された画像から、前記座標軸一致ステップにおいて前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出ステップと、
前記内視鏡光軸算出ステップにおいて算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得ステップにおいて取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出ステップと、
前記交点算出ステップにおいて算出された交点を示す情報を、前記患者形状取得ステップにおいて取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力ステップと、
を含む手術支援情報表示方法。
【請求項１１】
第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得機能と、
前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得機能と、
前記表面画像取得機能により取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出機能と、
前記患者形状取得機能により取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出機能により算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致機能と、
前記表面画像取得機能により取得された画像から、前記座標軸一致機能により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出機能と、
前記内視鏡光軸算出機能により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得機能により取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出機能と、
前記交点算出機能により算出された交点を示す情報を、前記患者形状取得機能により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力機能と、
をコンピュータに実行させる手術支援情報表示プログラム。
【請求項１】
患者の内部に挿入されて当該内部を撮像する内視鏡と、
第１の座標軸上における、前記内視鏡が挿入される前記患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、
前記患者に前記内視鏡が差し込まれるときに、前記患者の表面を撮像する撮像手段と、
前記撮像手段により撮像された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、
前記患者形状取得手段により取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出手段により算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致手段と、
前記撮像手段により撮像された画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、
前記内視鏡光軸算出手段により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得手段により取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出手段と、
前記交点算出手段により算出された交点を示す情報を、前記患者形状取得手段により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力手段と、
を備える手術支援情報表示装置。
【請求項２】
前記内視鏡の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカを更に備え、
前記撮像手段は、前記患者に前記内視鏡が差し込まれるときに、前記患者の表面と共に前記マーカを撮像し、
前記内視鏡光軸算出手段は、前記撮像手段により撮像された前記マーカの画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における、前記マーカの三次元座標を算出して、当該マーカと前記内視鏡の撮像方向との前記位置関係から前記内視鏡の撮像方向である光軸を示す半直線を算出する、
ことを特徴とする請求項１に記載の手術支援情報表示装置。
【請求項３】
第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得手段と、
前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得手段と、
前記表面画像取得手段により取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出手段と、
前記患者形状取得手段により取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出手段により算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致手段と、
前記表面画像取得手段により取得された画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、
前記内視鏡光軸算出手段により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得手段により取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出手段と、
前記交点算出手段により算出された交点を示す情報を、前記患者形状取得手段により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力手段と、
を備える手術支援情報表示装置。
【請求項４】
前記交点算出手段は、前記患者の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と前記内視鏡の撮像方向である光軸を示す半直線との交点を算出することを特徴とする請求項１〜３の何れか一項に記載の手術支援情報表示装置。
【請求項５】
前記出力手段は、前記内視鏡により撮像された画像に前記交点に対応する箇所を示す情報を重畳させた画像を併せて出力することを特徴とする請求項１〜４の何れか一項に記載の手術支援情報表示装置。
【請求項６】
前記座標軸一致手段は、第１の前記基準点に対応する算出済の前記対応点の位置と、当該第１の基準点とは異なる第２の前記基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、前記第２の基準点から最短距離にある対応点を算出するための前記限定された範囲とする、ことを特徴とする請求項１〜５の何れか一項に記載の手術支援情報表示装置。
【請求項７】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第２の基準点と前記算出済の対応点との距離とを加算した値を半径とする範囲である、ことを特徴とする請求項６に記載の手術支援情報表示装置。
【請求項８】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第１の基準点と前記算出済の対応点との距離と、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第１の基準点と前記第２の基準点との距離とを加算した値を半径とする範囲である、ことを特徴とする請求項６に記載の手術支援情報表示装置。
【請求項９】
前記座標軸一致手段は、前記表面形状算出手段により算出された第２の情報で示される前記第２の三次元形状上に存在し、且つ前記患者形状取得手段により取得された第１の情報で示される前記第１の三次元形状上の基準点から最短距離にある対応点を、当該第２の三次元形状の限定された範囲から算出し、当該基準点と当該対応点との位置関係に基づいて前記第１の情報のみを変換することで、当該第１の情報と前記第２の情報とをマッチングする、ことを特徴とする請求項１〜８の何れか一項に記載の手術支援情報表示装置。
【請求項１０】
第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得ステップと、
前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得ステップと、
前記表面画像取得ステップにおいて取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出ステップと、
前記患者形状取得ステップにおいて取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出ステップにおいて算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致ステップと、
前記表面画像取得ステップにおいて取得された画像から、前記座標軸一致ステップにおいて前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出ステップと、
前記内視鏡光軸算出ステップにおいて算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得ステップにおいて取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出ステップと、
前記交点算出ステップにおいて算出された交点を示す情報を、前記患者形状取得ステップにおいて取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力ステップと、
を含む手術支援情報表示方法。
【請求項１１】
第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面と当該患者の表面の第１の三次元形状とを示す第１の情報を取得する患者形状取得機能と、
前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得機能と、
前記表面画像取得機能により取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の第２の三次元形状を示す第２の情報を算出する表面形状算出機能と、
前記患者形状取得機能により取得された第１の情報で示される前記第１の三次元形状、及び前記表面形状算出機能により算出された第２の情報で示される前記第２の三次元形状のうち一方の三次元形状上に複数の基準点を設け、当該複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の三次元形状の限定された範囲から算出し、当該複数の基準点と当該複数の対応点との位置関係に基づいて前記第１の情報と前記第２の情報とをマッチングすることで、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致機能と、
前記表面画像取得機能により取得された画像から、前記座標軸一致機能により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出機能と、
前記内視鏡光軸算出機能により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得機能により取得された第１の情報に係る前記患者の内部を構成する面との交点を算出する交点算出機能と、
前記交点算出機能により算出された交点を示す情報を、前記患者形状取得機能により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力機能と、
をコンピュータに実行させる手術支援情報表示プログラム。
【図１】
【図４】
【図５】
【図７】
【図９】
【図１２】
【図２】
【図３】
【図６】
【図８】
【図１０】
【図１１】
【図４】
【図５】
【図７】
【図９】
【図１２】
【図２】
【図３】
【図６】
【図８】
【図１０】
【図１１】
【公開番号】特開２００８−２６４５２０（Ｐ２００８−２６４５２０Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００８−７４００３（Ｐ２００８−７４００３）
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【出願人】（５０４３００１８１）国立大学法人浜松医科大学 (96)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【出願人】（５０４３００１８１）国立大学法人浜松医科大学 (96)
【Ｆターム（参考）】
[ Back to top ]