形状情報処理方法、形状情報処理装置及び形状情報処理プログラム
【課題】所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮すること。
【解決手段】第１の情報で示される第１の三次元形状と第２の情報で示される第２の三次元形状とマッチングする場合、まず、第１の情報及び第２の情報の入力が受け付けられる。続いて、第１の三次元形状上に複数の基準点が設けられる。続いて、設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点が、第２の三次元形状上の限定された範囲から算出される。そして、設定された複数の基準点と、算出された複数の対応点との位置関係に基づいて、第１の情報を変換することで、第１の形状と第２の形状とがマッチングされる。
【解決手段】第１の情報で示される第１の三次元形状と第２の情報で示される第２の三次元形状とマッチングする場合、まず、第１の情報及び第２の情報の入力が受け付けられる。続いて、第１の三次元形状上に複数の基準点が設けられる。続いて、設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点が、第２の三次元形状上の限定された範囲から算出される。そして、設定された複数の基準点と、算出された複数の対応点との位置関係に基づいて、第１の情報を変換することで、第１の形状と第２の形状とがマッチングされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の情報で示される形状同士を位置合わせする形状情報処理方法、形状情報処理装置及び形状情報処理プログラムに関する。
【背景技術】
【０００２】
従来から、複数の形状を位置合わせするための手法が知られている。例えば、ある装置が、物体を複数の視点から部分的に計測して、物体各部の三次元形状を示す情報を複数取得し、それら三次元形状を位置合わせすることで、物体全体を表す三次元形状を生成する手法がある。このような手法は、近年の三次元計測装置の普及もあって、コンピュータグラフィクス、ＣＡＤ（Computer-Aided Design、コンピュータ支援設計）、コンピュータビジョンなど、様々な研究開発分野・産業分野で利用されている。
【０００３】
このような位置合わせを行う代表的な手法として、反復最近傍点アルゴリズム（Iterative Closest Point Algorithm、以下「ＩＣＰアルゴリズム」という）がある。このＩＣＰアルゴリズムでは、まず、二つの形状がある程度重なり合っているという初期状態が仮定される。続いて、一方の形状の複数の基準点のそれぞれについて、当該基準点と最短距離にある対応点が他方の形状から抽出される。続いて、複数の基準点と複数の対応点との仮の対応付けが行われ、その仮の対応付けに基づいて座標変換パラメータが推定される。このような、仮の対応付け、及び座標変換パラメータの推定を反復的に行うことにより、二つの形状が位置合わせされる。
【０００４】
このように、ＩＣＰアルゴリズムは、基準点から最短距離にある対応点を算出して対応付けを行うので、汎用性が非常に高い。また、このＩＣＰアルゴリズムによれば、剛体運動を算出する側の形状が他方の形状の一部である場合に、位置合わせを精度良く行うことが可能である。このＩＣＰアルゴリズムを用いる手法は、例えば下記特許文献１〜４に開示されている。
【特許文献１】特開平０６−０４４３６１号公報
【特許文献２】特開２０００−２５１０９２号公報
【特許文献３】特開２００２−１７５５２１号公報
【特許文献４】特開２００３−１６２５４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＩＣＰアルゴリズムでは、一つの対応点を抽出するために、対応点の候補となる点（以下「候補点」という）すべてについてユークリッド距離を計算する必要がある。しかも、このような計算は、抽出すべきすべての対応点について行われる必要があり、且つ座標変換パラメータの推定は反復的に実行される。従って、点対の数が多くなるほど、ＩＣＰアルゴリズムにおける計算量が膨大になり、形状の変換のための計算時間が長くなってしまう。
【０００６】
計算時間を短縮する手法として、基準点の個数を少なくするものや、位置合わせを行う形状を予め人為的に近い位置に配置した上で自動処理を行うものが考えられている。しかし、基準点の個数を少なくすると位置合わせの精度が低下してしまう。また、人為的に自動処理を補助することは、煩雑であり効率的でない。
【０００７】
本発明は、上記課題を解決するためになされたものであり、所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することが可能な形状情報処理方法、形状情報処理装置及び形状情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る形状情報処理方法は、第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付ステップと、受付ステップにおいて受け付けられた第１の情報で示される第１の形状、及び受付ステップにおいて受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定ステップと、設定ステップにおいて設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出ステップと、設定ステップにおいて設定された複数の基準点と、算出ステップにおいて算出された複数の対応点との位置関係に基づいて、第１の情報又は第２の情報を変換することで、第１の形状と第２の形状とを位置合わせする位置合わせステップと、を含む。
【０００９】
また、本発明に係る形状情報処理装置は、第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付手段と、受付手段により受け付けられた第１の情報で示される第１の形状、及び受付手段により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定手段と、設定手段により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出手段と、設定手段により設定された複数の基準点と、算出手段により算出された複数の対応点との位置関係に基づいて、第１の情報又は第２の情報を変換することで、第１の形状と第２の形状とを位置合わせする位置合わせ手段と、を備える。
【００１０】
また、本発明に係る形状情報処理プログラムは、第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付機能と、受付機能により受け付けられた第１の情報で示される第１の形状、及び受付機能により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定機能と、設定機能により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出機能と、設定機能により設定された複数の基準点と、算出機能により算出された複数の対応点との位置関係に基づいて、第１の情報又は第２の情報を変換することで、第１の形状と第２の形状とを位置合わせする位置合わせ機能と、をコンピュータに実行させる。
【００１１】
このような形状情報処理方法、形状情報処理装置及び形状情報処理プログラムによれば、まず、第１の情報で示される第１の形状、及び第２の情報で示される第２の形状のうち一方の形状上に複数の基準点が設けられる。続いて、設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点が、他方の形状の限定された範囲から算出される。そして、複数の基準点と複数の対応点との位置関係に基づいて、第１の情報又は第２の情報が変換されることにより、第１の形状と第２の形状とが位置合わせされる。これにより、第１の形状と第２の形状とを位置合わせする際に、対応点を算出する範囲が限定されるので、対応点を他方の形状全体から算出する場合と比較して、対応点の算出に要する時間が短縮される。なお、この際に、基準点の個数を抑えたり人為的操作を加えたりする必要はない。そのため、所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することができる。
【００１２】
本発明の形状情報処理方法では、算出ステップは、第１の基準点に対応する算出済の対応点の位置と、当該第１の基準点とは異なる第２の基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、第２の基準点から最短距離にある対応点を算出するための限定された範囲とすることが好ましい。このような構成によれば、既知の情報（既知の基準点の位置、及び既知の対応点の位置）に基づいて、未知の対応点（第２の基準点から最短距離にある対応点）を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００１３】
本発明の形状情報処理方法では、限定された範囲は、算出済の対応点を中心とし、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とを加算した値を半径とする範囲であることが好ましい。このような構成によれば、算出済の対応点の位置と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定される。そのため、より早く未知の対応点を算出することができる。
【００１４】
本発明の形状情報処理方法では、限定された範囲は、算出済の対応点を中心とし、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とを加算した値を半径とする範囲であることが好ましい。このような構成によれば、算出済の対応点の位置と、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定される。そのため、より早く未知の対応点を算出することができる。
【発明の効果】
【００１５】
本発明では、基準点から最短距離にある対応点が、他方の形状の限定された範囲から算出される。この際、基準点の個数を抑えたり人為的操作を加えたりする必要はない。従って、本発明によれば、所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面とともに本発明に係る形状情報処理方法、形状情報処理装置及び形状情報処理プログラムの好適な実施形態について詳細に説明する。本実施形態では、これら形状情報処理方法、形状情報処理装置及び形状情報処理プログラムを、手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに適用する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１７】
図１は、本発明に係る手術支援情報表示装置１の実施形態を概略的に示す構成図である。手術支援情報表示装置１は、患者６０に対する手術の際に、内視鏡により撮像された画像に関する情報を術者等に提供する装置である。本実施形態に係る手術支援情報表示装置１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、内視鏡による撮像が行われるものを対象とする。
【００１８】
図１に示すように、手術支援情報表示装置１は、内視鏡１１と、標識球１２と、撮像装置２０と、ＣＴ装置３０と、ＰＣ（Personal Computer）４０と、モニタ５０とを含んで構成されている。
【００１９】
内視鏡１１は、術者により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。内視鏡１１は、患者の生体内の挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構としては、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの決像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。上記の機構の位置決めのされ方によって、内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、内視鏡１１の撮像方向Ａとなる。内視鏡１１により撮像された画像の情報は、ケーブルにより内視鏡１１と接続されたＰＣ４０に出力される。なお、上記の内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている内視鏡を用いることができる。
【００２０】
標識球１２は、内視鏡１１の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカである。標識球１２は、撮像装置２０により撮像されて、撮像された画像から三次元座標を求められる。具体的には、標識球１２は、複数内視鏡１１に対して棒状の部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なることとしているのは、撮像装置２０により撮像された画像から、それぞれを区別して検出するためである。
【００２１】
標識球１２が内視鏡１１に設けられる位置は、患者６０に挿入される部分から更に後方の、患者６０に挿入されない位置である。また、標識球１２と内視鏡１１の撮像方向Ａとの位置関係が一定となるように、内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。但し、内視鏡１１の撮像方向と標識球１２との位置関係が把握できればよいので、例えば、内視鏡１１の先端部のみが決められた方向のみに動くような構成となっていてもよい。
【００２２】
なお、内視鏡１１に設けられるマーカは、内視鏡１１の撮像方向に対して定められた相対的な位置関係の位置にあり、撮像装置２０により撮像された画像から三次元座標を求められるものであればよいので、必ずしも、本実施形態の標識球１２のような球状のものでなくてもよい。また、内視鏡１１自体の形状が、容易に三次元座標を求められるものであれば、内視鏡１１自体の形状がマーカとなるので、必ずしも標識球１２を設ける必要はない。
【００２３】
撮像装置２０は、患者６０に内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を撮像する。図１に示すように、患者６０の鼻の穴から内視鏡１１を挿入して、内視鏡１１により患者６０の頭部を撮像する場合には、患者６０の顔面と標識球１２とが撮像できるような位置に撮像装置２０が設けられる。撮像装置２０としては具体的には、例えば、ＣＣＤカメラが用いられる。撮像装置２０は、ＰＣ４０と接続されており、撮像した画像の情報をＰＣ４０に送信する。
【００２４】
撮像装置２０により撮像された画像は、撮像されたものの三次元座標（三次元位置情報）を算出するために用いられる。そのために必要な構成も併せて撮像装置２０に備えておく必要がある。画像から撮像されたものの三次元座標を算出する方法としては光学的な方法を用いるものがあり、例えば、特開２００３−２５４７３２号公報に記載された方法を用いることができる。この方法を用いる場合は、そのために必要な、撮像装置２０により撮像される範囲にキセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影する装置を更に設けておく。
【００２５】
なお、特開２００３−２５４７３２号公報に記載された方法によれば、１秒の計測時間で、９０±１０ｃｍの距離から撮像が可能となる。また、分解能は０．１〜０．６ｍｍである。即ち、１秒で三次元位置情報を持った解像度の高いカラー画像が取得できる。また、曇りの日中（屋外）の約２８％の照度の白色光であり、レーザ等を使うことなく安全に三次元位置情報を取得できる。本方法により、患者６０の顔面を撮像して、情報処理されて三次元位置情報を持った解像度の高いカラー画像とした例を図２に示す。
【００２６】
ＣＴ装置３０は、内視鏡１１が挿入される患者６０の内部を構成する面と患者６０の表面の第１の三次元形状とを示す第１の情報を取得する。内視鏡１１が挿入される患者６０を構成する面は、例えば、患者６０の副鼻腔に内視鏡１１が挿入される場合、副鼻腔を構成する面である。また、患者６０の表面は、上記の場合、患者６０の顔面である。ここで、ＣＴ装置３０により取得される三次元形状を示す第１の情報は、例えば予めＣＴ装置３０に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を保持することによって構成されている。この座標軸は、第１の座標軸である。即ち、第１の情報は、第１の座標軸上における情報である。なお、三次元形状を示す第１の情報は、例えば三次元配列で構成される。この場合、三次元配列の各要素は、第１の情報で示される三次元形状を構成する各点の座標に対応する。
【００２７】
ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の三次元形状を示す情報として構成するものであり、既存のＣＴ装置を用いることができる。ＣＴ画像の例を図３に示す。ＣＴ装置３０はＰＣ４０と接続されており、取得した患者６０の三次元形状を示す情報を、ＰＣ４０に送信する。なお、ＣＴ装置３０は、撮像装置２０と同じ場所に設置されている必要はなく、通常、撮像装置２０による撮像と、ＣＴ装置３０による三次元形状を示す情報の取得とは別々に行われる。なお、ＣＴ画像から三次元形状を示す情報の構成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。
【００２８】
なお、手術支援情報表示装置１では、患者６０の内部を含む三次元形状を示す情報が取得できればよい。従って、ＣＴ装置３０に代えてＭＲＩ装置などが用いられてもよい。
【００２９】
ＰＣ４０は、撮像装置２０により撮像された画像の情報及びＣＴ装置３０により取得された患者６０の三次元形状を示す第１の情報を受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡光軸算出部４５と、交点算出部４６と、出力部４７とを備えている。
【００３０】
患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の三次元形状を示す第１の情報を受信する手段である。患者形状取得部４１は、受信した第１の情報を、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援情報表示装置１では、必ずしもＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援情報表示装置１に含まれないＣＴ装置で撮像等された）患者６０の三次元形状を示す第１の情報が受信さえされればよい。
【００３１】
撮像画像取得部４２は、撮像装置２０により撮像され送信された画像の情報を受信する手段である。即ち、撮像画像取得部４２は、患者６０に内視鏡１１が差し込まれるときに撮像装置２０により撮像された患者の表面の画像を取得する手段である。撮像画像取得部４２は、受信した画像を表面形状算出部４３及び内視鏡光軸算出部４５等に出力する。
【００３２】
表面形状算出部４３は、撮像装置２０により撮像された患者６０の表面の画像から、患者６０の表面の第２の三次元形状を示す第２の情報を算出する手段である。患者６０の表面は、本実施形態の場合、患者６０の顔面である。画像から三次元形状を算出する方法は、例えば、上述した特開２００３−２５４７３２号公報に記載された方法を用いることができる。第２の情報は、例えば予め表面形状算出部４３に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を構成することにより算出される。この座標軸は、上述した第１の座標軸とは異なるものであり第２の座標軸である。即ち、第２の情報は、第２の座標軸上における情報である。なお、三次元形状を示す第２の情報は、例えば、第１の情報と同様に三次元配列で構成される。表面形状算出部４３は、算出した第２の情報を、座標軸一致部４４に出力する。
【００３３】
座標軸一致部４４は、患者形状取得部４１により取得された第１の情報と、表面形状算出部４３により算出された第２の情報とをマッチング（位置合わせ）することで、第１の座標軸と第２の座標軸とを一致させる手段である。即ち、座標軸一致部４４は、ＣＴ装置３０により取得された第１の情報と、撮像装置２０により撮像された画像から算出された第２の情報とを同じ座標軸上で処理できるようにするための手段である。このために、座標軸一致部４４は、図４に示すように、情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、及び位置合わせ部４４ｄを備えている。
【００３４】
なお、下記に示す、情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、及び位置合わせ部４４ｄの機能に必要な式やルール等は、これら情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、及び位置合わせ部４４ｄのそれぞれに記憶されており、機能を実行する際に必要に応じて読み出される。
【００３５】
情報受付部４４ａは、患者形状取得部４１により取得された第１の情報、及び表面形状算出部４３により算出された第２の情報の入力を受け付ける受付手段である。この情報受付部４４ａは、受け付けた第１の情報を基準点設定部４４ｂに出力するとともに、受け付けた第２の情報を対応点算出部４４ｃに出力する。
【００３６】
基準点設定部４４ｂは、情報受付部４４ａから入力された第１の情報で示される第１の三次元形状上に複数の基準点を設ける設定手段である。具体的には、基準点設定部４４ｂは、どの点が基準点に設定されたかを判別可能にするために、設定された基準点を示す基準点情報を第１の情報に付加する。例えば、第１の情報が三次元配列で構成されている場合、基準点設定部４４ｂは、当該三次元配列を構成する複数の要素（点の座標）のうち基準点に設定された要素のそれぞれについて、当該要素と基準点情報（例えばフラグ）とを関連付ける。なお、設定される基準点の個数（密度）は限定されない。例えば、基準点設定部４４ｂが、所定の距離毎に基準点を設けてもよいし、第１の三次元形状上を構成する点すべてを基準点に設定してもよい。基準点設定部４４ｂは、基準点情報を付加した第１の情報を対応点算出部４４ｃに出力する。
【００３７】
対応点算出部４４ｃは、基準点設定部４４ｂにより設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を、情報受付部４４ａから入力された第２の情報で示される第２の三次元形状の限定された範囲から算出する算出手段である。なお、限定された範囲を算出するために必要な式、ルール、データ等は、対応点算出部４４ｃに記憶されており、限定された範囲を算出する際に読み出される。
【００３８】
対応点算出部４４ｃは、対応点を算出すると、どの点が対応点として算出されたかを判別可能にするために、算出された対応点を示す対応点情報を第２の情報に付加する。例えば、第２の情報が三次元配列で構成されている場合、対応点算出部４４ｃは、当該三次元配列を構成する複数の要素（点の座標）のうち、対応点として算出された要素のそれぞれについて、当該要素と対応点情報（例えばフラグ）とを関連付ける。そして、対応点算出部４４ｃは、基準点設定部４４ｂから入力された第１の情報と、対応点情報を付加した第２の情報とを位置合わせ部４４ｄに出力する。
【００３９】
対応点算出部４４ｃの処理を、図５を参照して説明する。なお、図５では、説明の簡単のため、マッチングする図形を二次元の曲線ｐ及びｍとする。また、図５に示す例では、曲線ｍを固定し、曲線ｐを曲線ｍにマッチングさせるものとする。図５に示す二次元空間におけるマッチングは、本実施形態のような三次元空間におけるマッチングに簡単に拡張することができる。例えば、曲線ｐを第１の情報で示される第１の三次元形状と読み替えるとともに、曲線ｍを第２の情報で示される第２の三次元形状と読み替えることで、座標軸一致部４４による第１の情報と第２の情報とのマッチングを説明できる。
【００４０】
対応点算出部４４ｃは、まず、曲線ｍ周辺の最短距離場を算出する。ここで、最短距離場とは、ある図形から最短距離（最短パスの長さ）に存在する点で構成される近傍空間である。次に、対応点算出部４４ｃは、曲線ｐ上にある任意の基準点（第１の基準点）Ｐａを選択し、その基準点Ｐａから最短距離にある、曲線ｍ上の対応点Ｍａを探索（算出）する。この対応点Ｍａの探索は、曲線ｍ上のすべての点について基準点Ｐａとの距離を算出し、算出された距離を比較することで行われる。なお、対応点算出部４４ｃは、基準点Ｐａとの距離を算出する曲線ｍ上の点の位置を、所定の関係式や、曲線ｍを構成する点の配列などにより予め算出できる。例えば、対応点算出部４４ｃは、第１の情報又は第２の情報により、第１の三次元形状又は第２の三次元形状上に存在する点の位置を取得できる。
【００４１】
なお、基準点と対応点との位置関係は、それら二つの三次元形状が共通の座標軸上に存在することを前提に定義される。例えば、基準点Ｐａと曲線ｍ上の点との距離の算出は、曲線ｐと曲線ｍとが共通の座標軸上に存在することを前提とする。すなわち、最短距離とは、これら二つの曲線が共通の座標軸上に存在するとした場合の、基準点と対応点との距離である。
【００４２】
次に、対応点算出部４４ｃは、曲線ｐ上にある別の基準点（第２の基準点）Ｐｂを選択し、その基準点Ｐｂから最短距離にある、曲線ｍ上の対応点Ｍｂを探索（算出）する。この際、対応点算出部４４ｃは、曲線ｍ上の限定された範囲に存在する複数の点と基準点Ｐａとの距離を算出する。
【００４３】
このために、対応点算出部４４ｃは、基準点Ｐａ及びＰｂの座標値と、対応点Ｍａの座標値と、基準点Ｐａと対応点Ｍａとの距離ｌと、基準点Ｐｂと対応点Ｍａとの距離ｄと、基準点Ｐｂの座標値、及び曲線ｍ周辺の最短距離場によって定まる距離ｌ’とを取得する。これらの値は、既知のもの、又は既知の値から算出可能なものである。そして、対応点算出部４４ｃは、取得したこれらの値に基づいて、対応点Ｍｂを探索する範囲を決定する。
【００４４】
この場合において、基準点Ｐｂと、既知の対応点Ｍａと、未知の対応点Ｍｂとの位置関係から、下記の三角不等式が成り立つ。なお、ｄｍは、既知の対応点Ｍａと未知の対応点Ｍｂとの距離である。
ｄｍ≦ｌ’＋ｄ
【００４５】
したがって、未知の対応点Ｍｂを探索すべき曲線ｍの範囲は、既知の対応点Ｍａを中心とし、且つ半径が下記式で表される円Ｃ内に限定される。
ｒ＝ｌ’＋ｄ …（１）
この半径ｒは、下記式を用いて算出してもよい。ただし、ｄｐは、既知の基準点Ｐａ及びＰｂの間の距離である。
ｒ＝ｌ＋ｌ’＋ｄｐ …（２）
【００４６】
なお、第１及び第２の情報で示される図形は三次元形状であるから、本実施形態において、対応点算出部４４ｃは、上記理論に準じて算出された所定の半径を有する球内で対応点を探索する。
【００４７】
すなわち、対応点算出部４４ｃは、曲線ｍのうち、対応点Ｍａから上記式（１）又は（２）で定義される半径ｒの範囲にある点についてのみ、当該点と基準点Ｐｂとの距離を算出する。そして、対応点算出部４４ｃは、基準点Ｐｂとの距離が最短である点を対応点Ｍｂと決定する。なお、対応点算出部４４ｃは、曲線ｍ上の点の位置を予め算出し取得することができる。したがって、対応点算出部４４ｃは、予め取得した曲線ｍ上の点の位置と、対応点Ｍａの位置と、上記式（１）又は（２）で定義される半径ｒとに基づいて、基準点Ｐｂとの距離を算出すべき曲線ｍ上の点を取得できる。
【００４８】
その後、対応点算出部４４ｃは、曲線ｐ上にある一以上の別の基準点に対する対応点を探索（算出）する。この対応点の算出方法は、対応点Ｍｂの算出方法と同様である。すなわち、二番目以降の対応点を算出する場合、対応点算出部４４ｃは、当該対応点を曲線ｍ上の限定された範囲から算出する。
【００４９】
位置合わせ部４４ｄは、基準点設定部４４ｂにより設定された複数の基準点と、対応点算出部４４ｃにおいて算出された複数の対応点との位置関係に基づいて第１の情報を変換することで、第１の情報で示される第１の三次元形状と第２の情報で示される第２の三次元形状とを位置合わせする位置合わせ手段である。
【００５０】
具体的には、位置合わせ部４４ｄは、基準点と、その基準点に対応する対応点との距離の平均値を算出する。なお、基準点は、第１の情報を構成するデータに付加された基準点情報に基づいて抽出可能であり、対応点は、第２の情報を構成するデータに付加された対応点情報とに基づいて抽出可能である。
【００５１】
続いて、位置合わせ部４４ｄは、複数算出された基準点と対応点との位置関係に基づいて回転行列Ｒ及び平行移動行列Ｔを算出し、これら二つの行列を用いて剛体変換を行う。この剛体変換は、図５の例の場合、剛体変換前の曲線ｐの位置をｐi-1、剛体変換後の曲線ｐの位置をｐiとして、下記式で表される。この剛体変換により、曲線ｐが回転移動又は平行移動し、曲線ｐと曲線ｍとが位置合わせされる。
ｐi＝Ｒ＊ｐi-1＋Ｔ …（３）
【００５２】
位置合わせ部４４ｄは、上記式（３）に基づいて、第１の情報を変換する。これにより、第１の三次元形状が回転移動又は平行移動し、第１の三次元形状と第２の三次元形状とが位置合わせされる。続いて、位置合わせ部４４ｄは、今回算出した平均値と前回算出した平均値との差が所定の閾値未満か否かを判定する。なお、この差が所定の閾値未満になるということは、第１の情報と第２の情報とがマッチング（位置合わせ）され、第１の座標軸と第２の座標軸とが一致したということである。これは、第１の座標軸及び第２の座標軸の何れか一方の座標軸をもう一方の座標軸に変換する関数が算出されたことを意味する。この場合、位置合わせ部４４ｄは、座標軸を一致させた結果として算出された座標軸を変換する関数等を、必要に応じて内視鏡光軸算出部４５、交点算出部４６及び出力部４７等に出力する。
【００５３】
これに対し、今回算出した平均値と前回算出した平均値との差が所定の閾値以上である場合、位置合わせ部４４ｄは、上記式（３）を用いて変換された第１の情報を対応点算出部４４ｃに出力する。これにより、対応点算出部４４ｃにおいて、当該変換された第１の情報と取得済みの第２の情報とに基づく対応点の算出が行われる。すなわち、対応点の算出から剛体変換までの処理が繰り返し実行される。
【００５４】
このような座標軸一致部４４の処理により、上記の座標軸を一致させる処理以降は、内視鏡光軸算出部４５、交点算出部４６及び出力部４７等において上記の関数等が、三次元形状を示す情報に適用されることによって、ＣＴ装置３０による三次元形状を示す情報と、撮像装置２０により撮像された画像から算出された三次元形状を示す情報とが同じ座標軸上で処理される。
【００５５】
内視鏡光軸算出部４５は、撮像装置２０により撮像された標識球１２の画像から、座標軸一致部４４により一致された座標軸上における、標識球１２の三次元座標を算出して、標識球１２と内視鏡１１の撮像方向Ａとの位置関係から内視鏡１１の撮像方向Ａである光軸を示す半直線を算出する手段である。なお、ここで言う撮像方向Ａである光軸を示す半直線には、半直線の起点となる位置も含まれる。即ち、内視鏡１１の撮像方向Ａである光軸を示す半直線は、どの点からどの方向に撮像が行われるかを示したものである。内視鏡光軸算出部４５は、予め、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報を保持している。当該位置関係を示す情報としては、具体的には例えば、内視鏡１１の光軸（撮像方向Ａである光軸を示す半直線）を通るように内視鏡１１の基部の所定の位置と先端の位置とを特定して、その２点と標識球１２との位置関係を示す情報が用いられる。
【００５６】
内視鏡１１の撮像方向Ａである光軸を示す半直線の算出は、具体的には、以下のように行われる。まず、内視鏡光軸算出部４５は、表面形状算出部４３における三次元形状を算出する方法と同様の方法で、撮像装置２０により撮像された標識球１２から三次元形状及び三次元座標を算出する。標識球１２が複数設けられている場合、内視鏡光軸算出部４５は、例えば標識球１２の大きさ等からそれぞれの標識球１２を識別する。
【００５７】
続いて、内視鏡光軸算出部４５は、算出された上記の座標軸上における標識球１２の三次元座標と、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報とから、上記の座標軸上における撮像方向Ａである光軸を示す半直線を算出する。内視鏡光軸算出部４５は、算出した撮像方向である光軸を示す半直線の情報を、交点算出部４６に出力する。
【００５８】
交点算出部４６は、内視鏡光軸算出部４５により算出された内視鏡１１の撮像方向Ａである光軸を示す半直線と患者形状取得部４１により取得された第１の情報に係る患者６０の内部を構成する面との交点を算出する手段である。この交点は、ＣＴ装置３０による三次元形状を示す第１の情報において、内視鏡１１が撮像を行っている点（中心点）を示すものである。具体的には、交点算出部４６は、患者６０の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡１１の撮像方向Ａである光軸を示す半直線との交点を算出する。交点の算出については、より詳細には後述する。交点算出部４６は、算出した交点の情報を出力部４７に出力する。
【００５９】
出力部４７は、交点算出部４６により算出された交点を示す情報を、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像に重畳して、モニタ５０に出力する手段である。また、出力部４７は、内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像を併せて、モニタ５０に出力することとしてもよい
【００６０】
モニタ５０は、ＰＣ４０から入力された情報を表示する。術者はモニタ５０を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。以上が、手術支援情報表示装置１の構成の構成である。
【００６１】
引き続いて、手術支援情報表示装置１の動作（手術支援情報表示方法）について、図６のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。
【００６２】
まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（ステップＳ０１）。このＣＴスキャン撮影は、内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、内視鏡１１が挿入される患者６０の内部を構成する面との第１の三次元形状を示す第１の情報が取得される。ＣＴ装置３０によりＣＴスキャン撮影が行われ取得された第１の情報は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（ステップＳ０２）。上記が手術前の処理であり、例えば、手術の前日等に行われる。
【００６３】
引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、内視鏡１１を挿入する前に、撮像装置２０によって、配置された患者６０が撮像される（ステップＳ０３）。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から表面形状算出部４３に出力される。
【００６４】
表面形状算出部４３では、当該画像から患者６０の表面である顔面の第２の三次元形状を示す第２の情報が算出される（ステップＳ０４）。算出された第２の情報は、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の三次元形状を示す情報が、患者形状取得部４１から座標軸一致部４４に出力される。
【００６５】
ＣＴ装置３０による第１の情報と、撮像装置２０による画像から算出された第２の情報とに係るそれぞれの座標軸は、一致していない。これらの情報を共に表示すると、図７（ａ）に示すように、ＣＴ装置３０による情報８１と、撮像装置２０の画像による情報８２とが位置合わせされていない状態となる。
【００６６】
ここで、座標軸一致部４４によって、図７（ｂ）に示すように、これら２つの情報８１，８２における顔面の形状がマッチングされて、２つの情報に係る座標軸が一致される（ステップＳ０５）。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、予め設定しておく。
【００６７】
座標軸を一致させる処理を、図８のフローチャートを参照して詳細に説明する。まず、患者形状取得部４１により取得された第１の情報、及び表面形状算出部４３により算出された第２の情報の入力が、情報受付部４４ａにより受け付けられる（ステップＳ５１、受付ステップ）。続いて、基準点設定部４４ｂにより、第１の情報で示される第１の三次元形状上に基準点が複数設定される（ステップＳ５２、設定ステップ）。続いて、対応点算出部４４ｃにより、設定された複数の基準点それぞれについて、当該基準点に対応する対応点が、第２の情報で示される第２の三次元形状から抽出される（ステップＳ５３、算出ステップ）。この抽出は、予め定められた個数分の対応点をすべて抽出するまで繰り返し実行される（ステップＳ５４；ＮＯ、算出ステップ）。このとき、二番目以降の対応点の抽出において、対応点は、第２の三次元形状の限定された範囲から抽出される。
【００６８】
そして、すべての対応点が抽出されると（ステップＳ５４；ＹＥＳ、算出ステップ）、位置合わせ部４４ｄによって、以下の一連の処理が行われる。具体的には、まず、基準点と対応点との距離の平均値が算出される（ステップＳ５５）。続いて、複数算出された基準点と対応点との位置関係に基づいて、回転行列及び平行移動行列が算出される（ステップＳ５６、位置合わせステップ）。続いて、その回転行列及び平行移動行列に基づいて、第１の情報が剛体変換される（ステップＳ５７、位置合わせステップ）。この変換により、第１の三次元形状と第２の三次元形状とが位置合わせされる。続いて、今回算出された平均値と前回算出された平均との差が閾値未満か否かが判定される（ステップＳ５７）。
【００６９】
ここで、平均値の差が閾値以上であれば（ステップＳ５８；ＮＯ）、上記ステップＳ５２の以降の処理が繰り返し実行される。一方、その差が閾値未満の場合（ステップＳ５８；ＹＥＳ）、処理が終了する。これにより、第１の座標軸と第２の座標軸とが一致される。
【００７０】
一致した座標軸に係る情報は、座標軸一致部４４（位置合わせ部４４ｄ）から、内視鏡光軸算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されて座標軸の変換等が行われて、これ以降、一致した座標軸を基準として三次元形状に対する情報処理が行われる。上記が手術開始までの処理である。
【００７１】
続いて、手術が開始され、術者によって、内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、Ｓ０３〜Ｓ０５の処理を行ったときから動かさないようにする。座標軸がずれることを防止するためである。内視鏡１１が患者６０に挿入される際に、撮像装置２０によって、患者６０及び標識球１２が撮像される（ステップＳ０６）。図９（ａ）に示すように、撮像された画像には、標識球１２（の画像）が含まれている。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から内視鏡光軸算出部４５に出力される。
【００７２】
続いて、内視鏡光軸算出部４５によって、図９（ｂ）に示すように、画像から標識球１２の三次元座標が算出される（ステップＳ０７）。続いて、内視鏡光軸算出部４５によって、算出された標識球１２の三次元座標から、予め保持していた標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報に基づいて、一致された座標軸上での内視鏡１１の撮像方向Ａである光軸を示す半直線が算出される（ステップＳ０８）。
【００７３】
算出された半直線の情報は、内視鏡光軸算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による第１の情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、内視鏡１１の撮像方向Ａである光軸を示す半直線と、患者６０の内部を構成する面との交点が算出される（ステップＳ０９）。
【００７４】
交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による第１の情報が、ポリゴンデータに変換される。この変換により、患者６０（の内部）を構成する面が、例えば多数の三角形で構成させることとなる。次に、それらの各三角形と、内視鏡１１の撮像方向Ａである光軸を示す半直線との交点が算出される。
【００７５】
この交点の算出について、図１０を用いて説明する。ポリゴンを構成する三角形の基準となる点をＰＴ、三角形の２辺のベクトルをそれぞれｖｅｃＡ及びｖｅｃＢとし、２つの媒介変数をα及びβとすると、三角形は以下の式で表すことができる。
Ｐ１＝ＰＴ＋αｖｅｃＡ＋βｖｅｃＢ
また、内視鏡１１の撮像方向Ａの基準となる点（例えば、内視鏡１１の先端の点）をＰＬ、半直線の方向を示すベクトルをｖｅｃＣとし、媒介変数をγとすると、内視鏡１１の撮像方向Ａは以下の式で表すことができる。
Ｐ２＝ＰＬ＋γｖｅｃＣ
【００７６】
ここで、両者が交わるときはＰ１＝Ｐ２となる。Ｐ１＝Ｐ２となる点が、三角形の内部に存在する条件は、媒介変数が以下の条件を満たす場合である。
条件１：０＜α，０＜β
条件２：０＜α＋β＜１
条件３：γ＞０
これらの条件を満たす点を全てのポリゴンデータを構成する三角形について導出し、それら全ての点と内視鏡１１の先端の点との距離を計算する。この距離が最も小さくなる交点を、内視鏡１１の撮像方向Ａである光軸を示す半直線と患者６０の内部を構成する面との交点とする。
【００７７】
算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、モニタ５０に入力される。入力された画像は、モニタ５０によって表示される（ステップＳ１０）。交点の表示は、具体的には例えば、図１１に示すように、内視鏡１１により撮像されている箇所がどの点に位置しているかが分かるように、十字の表示９０として行われる。術者は表示された画像を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。
【００７８】
また、内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７からモニタ５０に出力されるようにして、上記の内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。例えば、図１２に示す画面例９１のように、内視鏡１１により撮像された画像９２と、内視鏡１１により撮像されている箇所がどの点に位置しているかが示されたＣＴ画像９３ａ〜９３ｃとを１つの画面に示すこととするのがよい。また、その際の内視鏡１１の画像には、交点に対応する箇所を示す情報（例えば、十字形（＋）のマーク）９４を重畳させることが望ましい。内視鏡１１の画像における交点に対応する箇所を示す情報の位置は、例えば、画像の中心等、内視鏡１１の撮像方向に応じて予め出力部４７に記憶させておく。また、術者が対応する箇所を理解しやすいように、ＣＴ画像９３ａ〜９３ｃは、断面がそれぞれ異なるもの（断面がそれぞれ直交するものがよい）を複数、表示することとするのがよい。図１２では、ＣＴ画像９３ａは横断面のもの、ＣＴ画像９３ｂは冠状断面のもの、ＣＴ画像９３ｃは、矢状断面のものである。更に、ＣＴ画像９３ａ〜９３ｃには、交点の情報（画像とは色違いの四角９５で示す）に加えて、内視鏡１１が挿入されている方向（内視鏡１１の撮像方向である光軸）９６を示すことが望ましい。
【００７９】
上記のＳ０６〜Ｓ１０までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるＳ０３〜Ｓ０５の処理と、Ｓ０６〜Ｓ１０の処理とは異なっているが、例えば、Ｓ０５の座標軸の一致の処理が行われたら、自動的にＳ０６以降の処理に移るようにしてもよい。また、術者等の操作により処理の切替が行われてもよい。
【００８０】
また、Ｓ０３〜Ｓ０５の処理による初回の位置合わせ後に患者６０の頭部を動かした場合でも、再度Ｓ０３〜Ｓ０５の処理を行い改めて位置合わせを行なうこととすればよい。再度の位置合わせは、例えば、術者等の操作により行われてもよいし、位置合わせしたときの画像とその後の画像とを比較して、頭部が動いたことを検出して、それをトリガとして行われてもよい。
【００８１】
上述したように、本実施形態に係る手術支援情報表示装置１（手術支援情報表示方法）では、第１の三次元形状と第２の三次元形状とを位置合わせする際に、対応点を算出する範囲が限定されるので、対応点を第２の三次元形状全体から算出する場合と比較して、対応点の算出に要する時間が短縮される。なお、この際、基準点は任意に設定可能である。また、対応点の算出にあたり、人為的操作は介在しない。その結果、第１の三次元形状と第２の三次元形状とを位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することができる。
【００８２】
このような効果は、形状を構成する要素（点）の数が多ければ多いほど顕著である。例えば、それぞれ数十万個の点で構成されている第１の三次元形状及び第２の三次元形状について、第１の三次元形状上の全点を基準点に設定して位置合わせをした場合、従来法（第２の三次元形状の全範囲から対応点を算出する方法）と比較し、１０-4から１０-5程度の時間短縮が可能である。
【００８３】
また、対応点算出部４４ｃは、例えば図５に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ’＋ｄ）を半径ｒとする円Ｃを限定された範囲とする。加えて、座標軸一致部４４は、例えば図５に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ＋ｌ’＋ｄｐ）を半径ｒとする円Ｃを限定された範囲とすることもできる。これにより、未知の対応点Ｍｂを算出するための限定された範囲（円Ｃ）が設定されるので、より早くその対応点Ｍｂを算出することができる。このことは、他の対応点を算出する場合も同様である。
【００８４】
引き続いて、上述した一連の手術支援情報の表示を行う処理をコンピュータに実行させるための手術支援情報表示プログラムを説明する。図１３に示すように、手術支援情報表示プログラム８２は、コンピュータが備える記録媒体８０に形成されたプログラム格納領域８０ａ内に格納されている。
【００８５】
手術支援情報表示プログラム８１は、手術支援情報の表示処理を統括的に制御するメインモジュール８１０と、患者形状取得モジュール８１１と、撮像画像取得モジュール８１２と、表面形状算出モジュール８１３と、座標軸一致モジュール８１４と、内視鏡光軸算出モジュール８１５と、交点算出モジュール８１６と、出力モジュール８１７とを備えて構成される。座標軸一致モジュール８１４は、情報受付モジュール８１４ａ、基準点設定モジュール８１４ｂ、対応点算出モジュール８１４ｃ及び位置合わせモジュール８１４ｄを有している。患者形状取得モジュール８１１、撮像画像取得モジュール８１２、表面形状算出モジュール８１３、座標軸一致モジュール８１４、基準点設定モジュール８１４ｂ、対応点算出モジュール８１４ｃ、位置合わせモジュール８１４ｄ、内視鏡光軸算出モジュール８１５、交点算出モジュール８１６及び出力モジュール８１７を実行させることにより実現される機能は、上述したＰＣ４０の患者形状取得部４１、撮像画像取得部４２、表面形状算出部４３、座標軸一致部４４、情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、位置合わせ部４４ｄ、内視鏡光軸算出部４５、交点算出部４６及び出力部４７の機能とそれぞれ同様である。
【００８６】
なお、手術支援情報表示プログラム８１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。
【００８７】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で以下のような様々な変形が可能である。
【００８８】
上記実施形態では、本発明に係る形状情報処理方法、形状情報処理装置及び形状情報処理プログラムを、手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに適用したが、これら形状情報処理方法、形状情報処理装置及び形状情報処理プログラムは、様々な研究開発分野・産業分野に適用可能である。応用例としては、例えば、ＣＡＤ、部品表面の品質検査、試作モデルの製作、ロボットの自律移動制御が挙げられるが、当然ながら、これらに限定されるものではない。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態に係る手術支援情報表示装置の構成を示す図である。
【図２】撮像装置により撮像され、情報処理されて三次元位置情報を持った、患者の顔面の画像を示す図である。
【図３】ＣＴ装置により取得されたＣＴ画像を示す図である。
【図４】図１に示す座標軸一致部の構成を示す図である。
【図５】図１に示す座標軸一致部の処理の概念を示す図である。
【図６】本発明の実施形態に係る手術支援情報表示装置での処理を示すフローチャートである。
【図７】ＣＴ装置による患者の三次元形状を示す情報と、撮像装置による画像から算出された患者の三次元形状を示す情報とのマッチング処理を示す図である。
【図８】図６に示す座標軸一致処理を示すフローチャートである。
【図９】撮像装置による画像から標識球の三次元座標を算出する処理を示した図である。
【図１０】患者の面を構成する三角形と内視鏡の撮像方向である光軸を示す半直線との交点を示した図である。
【図１１】内視鏡により撮像されている点が示されたＣＴ画像を示す図である。
【図１２】内視鏡により撮像されている点が示されたＣＴ画像、及び内視鏡により撮像されている画像を示す図である。
【図１３】本発明に係る手術支援情報表示プログラムの構成を示す図である。
【符号の説明】
【００９０】
１…手術支援情報表示装置、１１…内視鏡、１２…標識球、２０…撮像装置、３０…ＣＴ装置、４０…ＰＣ、４１…患者形状取得部、４２…撮像画像取得部、４３…表面形状算出部、４４…座標軸一致部、４４ａ…情報受付部、４４ｂ…基準点設定部、４４ｃ…対応点算出部、４４ｄ…位置合わせ部、４５…内視鏡光軸算出部、４６…交点算出部、４７…出力部、５０…モニタ、６０…患者、７０…手術台、８０…記録媒体、８０ａ…プログラム格納領域、８１…手術支援情報表示プログラム、８１０…メインモジュール、８１１…患者形状取得モジュール、８１２…撮像画像取得モジュール、８１３…表面形状算出モジュール、８１４…座標軸一致モジュール、８１４ａ…情報受付モジュール、８１４ｂ…基準点設定モジュール、８１４ｃ…対応点算出モジュール、８１４ｄ…位置合わせモジュール、８１５…内視鏡光軸算出モジュール、８１６…交点算出モジュール、８１７…出力モジュール。
【技術分野】
【０００１】
本発明は、所定の情報で示される形状同士を位置合わせする形状情報処理方法、形状情報処理装置及び形状情報処理プログラムに関する。
【背景技術】
【０００２】
従来から、複数の形状を位置合わせするための手法が知られている。例えば、ある装置が、物体を複数の視点から部分的に計測して、物体各部の三次元形状を示す情報を複数取得し、それら三次元形状を位置合わせすることで、物体全体を表す三次元形状を生成する手法がある。このような手法は、近年の三次元計測装置の普及もあって、コンピュータグラフィクス、ＣＡＤ（Computer-Aided Design、コンピュータ支援設計）、コンピュータビジョンなど、様々な研究開発分野・産業分野で利用されている。
【０００３】
このような位置合わせを行う代表的な手法として、反復最近傍点アルゴリズム（Iterative Closest Point Algorithm、以下「ＩＣＰアルゴリズム」という）がある。このＩＣＰアルゴリズムでは、まず、二つの形状がある程度重なり合っているという初期状態が仮定される。続いて、一方の形状の複数の基準点のそれぞれについて、当該基準点と最短距離にある対応点が他方の形状から抽出される。続いて、複数の基準点と複数の対応点との仮の対応付けが行われ、その仮の対応付けに基づいて座標変換パラメータが推定される。このような、仮の対応付け、及び座標変換パラメータの推定を反復的に行うことにより、二つの形状が位置合わせされる。
【０００４】
このように、ＩＣＰアルゴリズムは、基準点から最短距離にある対応点を算出して対応付けを行うので、汎用性が非常に高い。また、このＩＣＰアルゴリズムによれば、剛体運動を算出する側の形状が他方の形状の一部である場合に、位置合わせを精度良く行うことが可能である。このＩＣＰアルゴリズムを用いる手法は、例えば下記特許文献１〜４に開示されている。
【特許文献１】特開平０６−０４４３６１号公報
【特許文献２】特開２０００−２５１０９２号公報
【特許文献３】特開２００２−１７５５２１号公報
【特許文献４】特開２００３−１６２５４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＩＣＰアルゴリズムでは、一つの対応点を抽出するために、対応点の候補となる点（以下「候補点」という）すべてについてユークリッド距離を計算する必要がある。しかも、このような計算は、抽出すべきすべての対応点について行われる必要があり、且つ座標変換パラメータの推定は反復的に実行される。従って、点対の数が多くなるほど、ＩＣＰアルゴリズムにおける計算量が膨大になり、形状の変換のための計算時間が長くなってしまう。
【０００６】
計算時間を短縮する手法として、基準点の個数を少なくするものや、位置合わせを行う形状を予め人為的に近い位置に配置した上で自動処理を行うものが考えられている。しかし、基準点の個数を少なくすると位置合わせの精度が低下してしまう。また、人為的に自動処理を補助することは、煩雑であり効率的でない。
【０００７】
本発明は、上記課題を解決するためになされたものであり、所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することが可能な形状情報処理方法、形状情報処理装置及び形状情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る形状情報処理方法は、第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付ステップと、受付ステップにおいて受け付けられた第１の情報で示される第１の形状、及び受付ステップにおいて受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定ステップと、設定ステップにおいて設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出ステップと、設定ステップにおいて設定された複数の基準点と、算出ステップにおいて算出された複数の対応点との位置関係に基づいて、第１の情報又は第２の情報を変換することで、第１の形状と第２の形状とを位置合わせする位置合わせステップと、を含む。
【０００９】
また、本発明に係る形状情報処理装置は、第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付手段と、受付手段により受け付けられた第１の情報で示される第１の形状、及び受付手段により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定手段と、設定手段により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出手段と、設定手段により設定された複数の基準点と、算出手段により算出された複数の対応点との位置関係に基づいて、第１の情報又は第２の情報を変換することで、第１の形状と第２の形状とを位置合わせする位置合わせ手段と、を備える。
【００１０】
また、本発明に係る形状情報処理プログラムは、第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付機能と、受付機能により受け付けられた第１の情報で示される第１の形状、及び受付機能により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定機能と、設定機能により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出機能と、設定機能により設定された複数の基準点と、算出機能により算出された複数の対応点との位置関係に基づいて、第１の情報又は第２の情報を変換することで、第１の形状と第２の形状とを位置合わせする位置合わせ機能と、をコンピュータに実行させる。
【００１１】
このような形状情報処理方法、形状情報処理装置及び形状情報処理プログラムによれば、まず、第１の情報で示される第１の形状、及び第２の情報で示される第２の形状のうち一方の形状上に複数の基準点が設けられる。続いて、設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点が、他方の形状の限定された範囲から算出される。そして、複数の基準点と複数の対応点との位置関係に基づいて、第１の情報又は第２の情報が変換されることにより、第１の形状と第２の形状とが位置合わせされる。これにより、第１の形状と第２の形状とを位置合わせする際に、対応点を算出する範囲が限定されるので、対応点を他方の形状全体から算出する場合と比較して、対応点の算出に要する時間が短縮される。なお、この際に、基準点の個数を抑えたり人為的操作を加えたりする必要はない。そのため、所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することができる。
【００１２】
本発明の形状情報処理方法では、算出ステップは、第１の基準点に対応する算出済の対応点の位置と、当該第１の基準点とは異なる第２の基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、第２の基準点から最短距離にある対応点を算出するための限定された範囲とすることが好ましい。このような構成によれば、既知の情報（既知の基準点の位置、及び既知の対応点の位置）に基づいて、未知の対応点（第２の基準点から最短距離にある対応点）を算出するための限定された範囲が設定されるので、より早く未知の対応点を算出することができる。
【００１３】
本発明の形状情報処理方法では、限定された範囲は、算出済の対応点を中心とし、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とを加算した値を半径とする範囲であることが好ましい。このような構成によれば、算出済の対応点の位置と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第２の基準点と算出済の対応点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定される。そのため、より早く未知の対応点を算出することができる。
【００１４】
本発明の形状情報処理方法では、限定された範囲は、算出済の対応点を中心とし、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とを加算した値を半径とする範囲であることが好ましい。このような構成によれば、算出済の対応点の位置と、第１の基準点と算出済の対応点との距離と、第２の基準点の位置と他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、第１の基準点と第２の基準点との距離とに基づいて、未知の対応点を算出するための限定された範囲が設定される。そのため、より早く未知の対応点を算出することができる。
【発明の効果】
【００１５】
本発明では、基準点から最短距離にある対応点が、他方の形状の限定された範囲から算出される。この際、基準点の個数を抑えたり人為的操作を加えたりする必要はない。従って、本発明によれば、所定の情報で示される形状同士を位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面とともに本発明に係る形状情報処理方法、形状情報処理装置及び形状情報処理プログラムの好適な実施形態について詳細に説明する。本実施形態では、これら形状情報処理方法、形状情報処理装置及び形状情報処理プログラムを、手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに適用する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１７】
図１は、本発明に係る手術支援情報表示装置１の実施形態を概略的に示す構成図である。手術支援情報表示装置１は、患者６０に対する手術の際に、内視鏡により撮像された画像に関する情報を術者等に提供する装置である。本実施形態に係る手術支援情報表示装置１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、内視鏡による撮像が行われるものを対象とする。
【００１８】
図１に示すように、手術支援情報表示装置１は、内視鏡１１と、標識球１２と、撮像装置２０と、ＣＴ装置３０と、ＰＣ（Personal Computer）４０と、モニタ５０とを含んで構成されている。
【００１９】
内視鏡１１は、術者により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。内視鏡１１は、患者の生体内の挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構としては、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの決像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。上記の機構の位置決めのされ方によって、内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、内視鏡１１の撮像方向Ａとなる。内視鏡１１により撮像された画像の情報は、ケーブルにより内視鏡１１と接続されたＰＣ４０に出力される。なお、上記の内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている内視鏡を用いることができる。
【００２０】
標識球１２は、内視鏡１１の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカである。標識球１２は、撮像装置２０により撮像されて、撮像された画像から三次元座標を求められる。具体的には、標識球１２は、複数内視鏡１１に対して棒状の部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なることとしているのは、撮像装置２０により撮像された画像から、それぞれを区別して検出するためである。
【００２１】
標識球１２が内視鏡１１に設けられる位置は、患者６０に挿入される部分から更に後方の、患者６０に挿入されない位置である。また、標識球１２と内視鏡１１の撮像方向Ａとの位置関係が一定となるように、内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。但し、内視鏡１１の撮像方向と標識球１２との位置関係が把握できればよいので、例えば、内視鏡１１の先端部のみが決められた方向のみに動くような構成となっていてもよい。
【００２２】
なお、内視鏡１１に設けられるマーカは、内視鏡１１の撮像方向に対して定められた相対的な位置関係の位置にあり、撮像装置２０により撮像された画像から三次元座標を求められるものであればよいので、必ずしも、本実施形態の標識球１２のような球状のものでなくてもよい。また、内視鏡１１自体の形状が、容易に三次元座標を求められるものであれば、内視鏡１１自体の形状がマーカとなるので、必ずしも標識球１２を設ける必要はない。
【００２３】
撮像装置２０は、患者６０に内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を撮像する。図１に示すように、患者６０の鼻の穴から内視鏡１１を挿入して、内視鏡１１により患者６０の頭部を撮像する場合には、患者６０の顔面と標識球１２とが撮像できるような位置に撮像装置２０が設けられる。撮像装置２０としては具体的には、例えば、ＣＣＤカメラが用いられる。撮像装置２０は、ＰＣ４０と接続されており、撮像した画像の情報をＰＣ４０に送信する。
【００２４】
撮像装置２０により撮像された画像は、撮像されたものの三次元座標（三次元位置情報）を算出するために用いられる。そのために必要な構成も併せて撮像装置２０に備えておく必要がある。画像から撮像されたものの三次元座標を算出する方法としては光学的な方法を用いるものがあり、例えば、特開２００３−２５４７３２号公報に記載された方法を用いることができる。この方法を用いる場合は、そのために必要な、撮像装置２０により撮像される範囲にキセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影する装置を更に設けておく。
【００２５】
なお、特開２００３−２５４７３２号公報に記載された方法によれば、１秒の計測時間で、９０±１０ｃｍの距離から撮像が可能となる。また、分解能は０．１〜０．６ｍｍである。即ち、１秒で三次元位置情報を持った解像度の高いカラー画像が取得できる。また、曇りの日中（屋外）の約２８％の照度の白色光であり、レーザ等を使うことなく安全に三次元位置情報を取得できる。本方法により、患者６０の顔面を撮像して、情報処理されて三次元位置情報を持った解像度の高いカラー画像とした例を図２に示す。
【００２６】
ＣＴ装置３０は、内視鏡１１が挿入される患者６０の内部を構成する面と患者６０の表面の第１の三次元形状とを示す第１の情報を取得する。内視鏡１１が挿入される患者６０を構成する面は、例えば、患者６０の副鼻腔に内視鏡１１が挿入される場合、副鼻腔を構成する面である。また、患者６０の表面は、上記の場合、患者６０の顔面である。ここで、ＣＴ装置３０により取得される三次元形状を示す第１の情報は、例えば予めＣＴ装置３０に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を保持することによって構成されている。この座標軸は、第１の座標軸である。即ち、第１の情報は、第１の座標軸上における情報である。なお、三次元形状を示す第１の情報は、例えば三次元配列で構成される。この場合、三次元配列の各要素は、第１の情報で示される三次元形状を構成する各点の座標に対応する。
【００２７】
ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の三次元形状を示す情報として構成するものであり、既存のＣＴ装置を用いることができる。ＣＴ画像の例を図３に示す。ＣＴ装置３０はＰＣ４０と接続されており、取得した患者６０の三次元形状を示す情報を、ＰＣ４０に送信する。なお、ＣＴ装置３０は、撮像装置２０と同じ場所に設置されている必要はなく、通常、撮像装置２０による撮像と、ＣＴ装置３０による三次元形状を示す情報の取得とは別々に行われる。なお、ＣＴ画像から三次元形状を示す情報の構成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。
【００２８】
なお、手術支援情報表示装置１では、患者６０の内部を含む三次元形状を示す情報が取得できればよい。従って、ＣＴ装置３０に代えてＭＲＩ装置などが用いられてもよい。
【００２９】
ＰＣ４０は、撮像装置２０により撮像された画像の情報及びＣＴ装置３０により取得された患者６０の三次元形状を示す第１の情報を受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡光軸算出部４５と、交点算出部４６と、出力部４７とを備えている。
【００３０】
患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の三次元形状を示す第１の情報を受信する手段である。患者形状取得部４１は、受信した第１の情報を、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援情報表示装置１では、必ずしもＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援情報表示装置１に含まれないＣＴ装置で撮像等された）患者６０の三次元形状を示す第１の情報が受信さえされればよい。
【００３１】
撮像画像取得部４２は、撮像装置２０により撮像され送信された画像の情報を受信する手段である。即ち、撮像画像取得部４２は、患者６０に内視鏡１１が差し込まれるときに撮像装置２０により撮像された患者の表面の画像を取得する手段である。撮像画像取得部４２は、受信した画像を表面形状算出部４３及び内視鏡光軸算出部４５等に出力する。
【００３２】
表面形状算出部４３は、撮像装置２０により撮像された患者６０の表面の画像から、患者６０の表面の第２の三次元形状を示す第２の情報を算出する手段である。患者６０の表面は、本実施形態の場合、患者６０の顔面である。画像から三次元形状を算出する方法は、例えば、上述した特開２００３−２５４７３２号公報に記載された方法を用いることができる。第２の情報は、例えば予め表面形状算出部４３に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を構成することにより算出される。この座標軸は、上述した第１の座標軸とは異なるものであり第２の座標軸である。即ち、第２の情報は、第２の座標軸上における情報である。なお、三次元形状を示す第２の情報は、例えば、第１の情報と同様に三次元配列で構成される。表面形状算出部４３は、算出した第２の情報を、座標軸一致部４４に出力する。
【００３３】
座標軸一致部４４は、患者形状取得部４１により取得された第１の情報と、表面形状算出部４３により算出された第２の情報とをマッチング（位置合わせ）することで、第１の座標軸と第２の座標軸とを一致させる手段である。即ち、座標軸一致部４４は、ＣＴ装置３０により取得された第１の情報と、撮像装置２０により撮像された画像から算出された第２の情報とを同じ座標軸上で処理できるようにするための手段である。このために、座標軸一致部４４は、図４に示すように、情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、及び位置合わせ部４４ｄを備えている。
【００３４】
なお、下記に示す、情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、及び位置合わせ部４４ｄの機能に必要な式やルール等は、これら情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、及び位置合わせ部４４ｄのそれぞれに記憶されており、機能を実行する際に必要に応じて読み出される。
【００３５】
情報受付部４４ａは、患者形状取得部４１により取得された第１の情報、及び表面形状算出部４３により算出された第２の情報の入力を受け付ける受付手段である。この情報受付部４４ａは、受け付けた第１の情報を基準点設定部４４ｂに出力するとともに、受け付けた第２の情報を対応点算出部４４ｃに出力する。
【００３６】
基準点設定部４４ｂは、情報受付部４４ａから入力された第１の情報で示される第１の三次元形状上に複数の基準点を設ける設定手段である。具体的には、基準点設定部４４ｂは、どの点が基準点に設定されたかを判別可能にするために、設定された基準点を示す基準点情報を第１の情報に付加する。例えば、第１の情報が三次元配列で構成されている場合、基準点設定部４４ｂは、当該三次元配列を構成する複数の要素（点の座標）のうち基準点に設定された要素のそれぞれについて、当該要素と基準点情報（例えばフラグ）とを関連付ける。なお、設定される基準点の個数（密度）は限定されない。例えば、基準点設定部４４ｂが、所定の距離毎に基準点を設けてもよいし、第１の三次元形状上を構成する点すべてを基準点に設定してもよい。基準点設定部４４ｂは、基準点情報を付加した第１の情報を対応点算出部４４ｃに出力する。
【００３７】
対応点算出部４４ｃは、基準点設定部４４ｂにより設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を、情報受付部４４ａから入力された第２の情報で示される第２の三次元形状の限定された範囲から算出する算出手段である。なお、限定された範囲を算出するために必要な式、ルール、データ等は、対応点算出部４４ｃに記憶されており、限定された範囲を算出する際に読み出される。
【００３８】
対応点算出部４４ｃは、対応点を算出すると、どの点が対応点として算出されたかを判別可能にするために、算出された対応点を示す対応点情報を第２の情報に付加する。例えば、第２の情報が三次元配列で構成されている場合、対応点算出部４４ｃは、当該三次元配列を構成する複数の要素（点の座標）のうち、対応点として算出された要素のそれぞれについて、当該要素と対応点情報（例えばフラグ）とを関連付ける。そして、対応点算出部４４ｃは、基準点設定部４４ｂから入力された第１の情報と、対応点情報を付加した第２の情報とを位置合わせ部４４ｄに出力する。
【００３９】
対応点算出部４４ｃの処理を、図５を参照して説明する。なお、図５では、説明の簡単のため、マッチングする図形を二次元の曲線ｐ及びｍとする。また、図５に示す例では、曲線ｍを固定し、曲線ｐを曲線ｍにマッチングさせるものとする。図５に示す二次元空間におけるマッチングは、本実施形態のような三次元空間におけるマッチングに簡単に拡張することができる。例えば、曲線ｐを第１の情報で示される第１の三次元形状と読み替えるとともに、曲線ｍを第２の情報で示される第２の三次元形状と読み替えることで、座標軸一致部４４による第１の情報と第２の情報とのマッチングを説明できる。
【００４０】
対応点算出部４４ｃは、まず、曲線ｍ周辺の最短距離場を算出する。ここで、最短距離場とは、ある図形から最短距離（最短パスの長さ）に存在する点で構成される近傍空間である。次に、対応点算出部４４ｃは、曲線ｐ上にある任意の基準点（第１の基準点）Ｐａを選択し、その基準点Ｐａから最短距離にある、曲線ｍ上の対応点Ｍａを探索（算出）する。この対応点Ｍａの探索は、曲線ｍ上のすべての点について基準点Ｐａとの距離を算出し、算出された距離を比較することで行われる。なお、対応点算出部４４ｃは、基準点Ｐａとの距離を算出する曲線ｍ上の点の位置を、所定の関係式や、曲線ｍを構成する点の配列などにより予め算出できる。例えば、対応点算出部４４ｃは、第１の情報又は第２の情報により、第１の三次元形状又は第２の三次元形状上に存在する点の位置を取得できる。
【００４１】
なお、基準点と対応点との位置関係は、それら二つの三次元形状が共通の座標軸上に存在することを前提に定義される。例えば、基準点Ｐａと曲線ｍ上の点との距離の算出は、曲線ｐと曲線ｍとが共通の座標軸上に存在することを前提とする。すなわち、最短距離とは、これら二つの曲線が共通の座標軸上に存在するとした場合の、基準点と対応点との距離である。
【００４２】
次に、対応点算出部４４ｃは、曲線ｐ上にある別の基準点（第２の基準点）Ｐｂを選択し、その基準点Ｐｂから最短距離にある、曲線ｍ上の対応点Ｍｂを探索（算出）する。この際、対応点算出部４４ｃは、曲線ｍ上の限定された範囲に存在する複数の点と基準点Ｐａとの距離を算出する。
【００４３】
このために、対応点算出部４４ｃは、基準点Ｐａ及びＰｂの座標値と、対応点Ｍａの座標値と、基準点Ｐａと対応点Ｍａとの距離ｌと、基準点Ｐｂと対応点Ｍａとの距離ｄと、基準点Ｐｂの座標値、及び曲線ｍ周辺の最短距離場によって定まる距離ｌ’とを取得する。これらの値は、既知のもの、又は既知の値から算出可能なものである。そして、対応点算出部４４ｃは、取得したこれらの値に基づいて、対応点Ｍｂを探索する範囲を決定する。
【００４４】
この場合において、基準点Ｐｂと、既知の対応点Ｍａと、未知の対応点Ｍｂとの位置関係から、下記の三角不等式が成り立つ。なお、ｄｍは、既知の対応点Ｍａと未知の対応点Ｍｂとの距離である。
ｄｍ≦ｌ’＋ｄ
【００４５】
したがって、未知の対応点Ｍｂを探索すべき曲線ｍの範囲は、既知の対応点Ｍａを中心とし、且つ半径が下記式で表される円Ｃ内に限定される。
ｒ＝ｌ’＋ｄ …（１）
この半径ｒは、下記式を用いて算出してもよい。ただし、ｄｐは、既知の基準点Ｐａ及びＰｂの間の距離である。
ｒ＝ｌ＋ｌ’＋ｄｐ …（２）
【００４６】
なお、第１及び第２の情報で示される図形は三次元形状であるから、本実施形態において、対応点算出部４４ｃは、上記理論に準じて算出された所定の半径を有する球内で対応点を探索する。
【００４７】
すなわち、対応点算出部４４ｃは、曲線ｍのうち、対応点Ｍａから上記式（１）又は（２）で定義される半径ｒの範囲にある点についてのみ、当該点と基準点Ｐｂとの距離を算出する。そして、対応点算出部４４ｃは、基準点Ｐｂとの距離が最短である点を対応点Ｍｂと決定する。なお、対応点算出部４４ｃは、曲線ｍ上の点の位置を予め算出し取得することができる。したがって、対応点算出部４４ｃは、予め取得した曲線ｍ上の点の位置と、対応点Ｍａの位置と、上記式（１）又は（２）で定義される半径ｒとに基づいて、基準点Ｐｂとの距離を算出すべき曲線ｍ上の点を取得できる。
【００４８】
その後、対応点算出部４４ｃは、曲線ｐ上にある一以上の別の基準点に対する対応点を探索（算出）する。この対応点の算出方法は、対応点Ｍｂの算出方法と同様である。すなわち、二番目以降の対応点を算出する場合、対応点算出部４４ｃは、当該対応点を曲線ｍ上の限定された範囲から算出する。
【００４９】
位置合わせ部４４ｄは、基準点設定部４４ｂにより設定された複数の基準点と、対応点算出部４４ｃにおいて算出された複数の対応点との位置関係に基づいて第１の情報を変換することで、第１の情報で示される第１の三次元形状と第２の情報で示される第２の三次元形状とを位置合わせする位置合わせ手段である。
【００５０】
具体的には、位置合わせ部４４ｄは、基準点と、その基準点に対応する対応点との距離の平均値を算出する。なお、基準点は、第１の情報を構成するデータに付加された基準点情報に基づいて抽出可能であり、対応点は、第２の情報を構成するデータに付加された対応点情報とに基づいて抽出可能である。
【００５１】
続いて、位置合わせ部４４ｄは、複数算出された基準点と対応点との位置関係に基づいて回転行列Ｒ及び平行移動行列Ｔを算出し、これら二つの行列を用いて剛体変換を行う。この剛体変換は、図５の例の場合、剛体変換前の曲線ｐの位置をｐi-1、剛体変換後の曲線ｐの位置をｐiとして、下記式で表される。この剛体変換により、曲線ｐが回転移動又は平行移動し、曲線ｐと曲線ｍとが位置合わせされる。
ｐi＝Ｒ＊ｐi-1＋Ｔ …（３）
【００５２】
位置合わせ部４４ｄは、上記式（３）に基づいて、第１の情報を変換する。これにより、第１の三次元形状が回転移動又は平行移動し、第１の三次元形状と第２の三次元形状とが位置合わせされる。続いて、位置合わせ部４４ｄは、今回算出した平均値と前回算出した平均値との差が所定の閾値未満か否かを判定する。なお、この差が所定の閾値未満になるということは、第１の情報と第２の情報とがマッチング（位置合わせ）され、第１の座標軸と第２の座標軸とが一致したということである。これは、第１の座標軸及び第２の座標軸の何れか一方の座標軸をもう一方の座標軸に変換する関数が算出されたことを意味する。この場合、位置合わせ部４４ｄは、座標軸を一致させた結果として算出された座標軸を変換する関数等を、必要に応じて内視鏡光軸算出部４５、交点算出部４６及び出力部４７等に出力する。
【００５３】
これに対し、今回算出した平均値と前回算出した平均値との差が所定の閾値以上である場合、位置合わせ部４４ｄは、上記式（３）を用いて変換された第１の情報を対応点算出部４４ｃに出力する。これにより、対応点算出部４４ｃにおいて、当該変換された第１の情報と取得済みの第２の情報とに基づく対応点の算出が行われる。すなわち、対応点の算出から剛体変換までの処理が繰り返し実行される。
【００５４】
このような座標軸一致部４４の処理により、上記の座標軸を一致させる処理以降は、内視鏡光軸算出部４５、交点算出部４６及び出力部４７等において上記の関数等が、三次元形状を示す情報に適用されることによって、ＣＴ装置３０による三次元形状を示す情報と、撮像装置２０により撮像された画像から算出された三次元形状を示す情報とが同じ座標軸上で処理される。
【００５５】
内視鏡光軸算出部４５は、撮像装置２０により撮像された標識球１２の画像から、座標軸一致部４４により一致された座標軸上における、標識球１２の三次元座標を算出して、標識球１２と内視鏡１１の撮像方向Ａとの位置関係から内視鏡１１の撮像方向Ａである光軸を示す半直線を算出する手段である。なお、ここで言う撮像方向Ａである光軸を示す半直線には、半直線の起点となる位置も含まれる。即ち、内視鏡１１の撮像方向Ａである光軸を示す半直線は、どの点からどの方向に撮像が行われるかを示したものである。内視鏡光軸算出部４５は、予め、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報を保持している。当該位置関係を示す情報としては、具体的には例えば、内視鏡１１の光軸（撮像方向Ａである光軸を示す半直線）を通るように内視鏡１１の基部の所定の位置と先端の位置とを特定して、その２点と標識球１２との位置関係を示す情報が用いられる。
【００５６】
内視鏡１１の撮像方向Ａである光軸を示す半直線の算出は、具体的には、以下のように行われる。まず、内視鏡光軸算出部４５は、表面形状算出部４３における三次元形状を算出する方法と同様の方法で、撮像装置２０により撮像された標識球１２から三次元形状及び三次元座標を算出する。標識球１２が複数設けられている場合、内視鏡光軸算出部４５は、例えば標識球１２の大きさ等からそれぞれの標識球１２を識別する。
【００５７】
続いて、内視鏡光軸算出部４５は、算出された上記の座標軸上における標識球１２の三次元座標と、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報とから、上記の座標軸上における撮像方向Ａである光軸を示す半直線を算出する。内視鏡光軸算出部４５は、算出した撮像方向である光軸を示す半直線の情報を、交点算出部４６に出力する。
【００５８】
交点算出部４６は、内視鏡光軸算出部４５により算出された内視鏡１１の撮像方向Ａである光軸を示す半直線と患者形状取得部４１により取得された第１の情報に係る患者６０の内部を構成する面との交点を算出する手段である。この交点は、ＣＴ装置３０による三次元形状を示す第１の情報において、内視鏡１１が撮像を行っている点（中心点）を示すものである。具体的には、交点算出部４６は、患者６０の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡１１の撮像方向Ａである光軸を示す半直線との交点を算出する。交点の算出については、より詳細には後述する。交点算出部４６は、算出した交点の情報を出力部４７に出力する。
【００５９】
出力部４７は、交点算出部４６により算出された交点を示す情報を、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像に重畳して、モニタ５０に出力する手段である。また、出力部４７は、内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像を併せて、モニタ５０に出力することとしてもよい
【００６０】
モニタ５０は、ＰＣ４０から入力された情報を表示する。術者はモニタ５０を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。以上が、手術支援情報表示装置１の構成の構成である。
【００６１】
引き続いて、手術支援情報表示装置１の動作（手術支援情報表示方法）について、図６のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。
【００６２】
まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（ステップＳ０１）。このＣＴスキャン撮影は、内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、内視鏡１１が挿入される患者６０の内部を構成する面との第１の三次元形状を示す第１の情報が取得される。ＣＴ装置３０によりＣＴスキャン撮影が行われ取得された第１の情報は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（ステップＳ０２）。上記が手術前の処理であり、例えば、手術の前日等に行われる。
【００６３】
引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、内視鏡１１を挿入する前に、撮像装置２０によって、配置された患者６０が撮像される（ステップＳ０３）。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から表面形状算出部４３に出力される。
【００６４】
表面形状算出部４３では、当該画像から患者６０の表面である顔面の第２の三次元形状を示す第２の情報が算出される（ステップＳ０４）。算出された第２の情報は、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の三次元形状を示す情報が、患者形状取得部４１から座標軸一致部４４に出力される。
【００６５】
ＣＴ装置３０による第１の情報と、撮像装置２０による画像から算出された第２の情報とに係るそれぞれの座標軸は、一致していない。これらの情報を共に表示すると、図７（ａ）に示すように、ＣＴ装置３０による情報８１と、撮像装置２０の画像による情報８２とが位置合わせされていない状態となる。
【００６６】
ここで、座標軸一致部４４によって、図７（ｂ）に示すように、これら２つの情報８１，８２における顔面の形状がマッチングされて、２つの情報に係る座標軸が一致される（ステップＳ０５）。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、予め設定しておく。
【００６７】
座標軸を一致させる処理を、図８のフローチャートを参照して詳細に説明する。まず、患者形状取得部４１により取得された第１の情報、及び表面形状算出部４３により算出された第２の情報の入力が、情報受付部４４ａにより受け付けられる（ステップＳ５１、受付ステップ）。続いて、基準点設定部４４ｂにより、第１の情報で示される第１の三次元形状上に基準点が複数設定される（ステップＳ５２、設定ステップ）。続いて、対応点算出部４４ｃにより、設定された複数の基準点それぞれについて、当該基準点に対応する対応点が、第２の情報で示される第２の三次元形状から抽出される（ステップＳ５３、算出ステップ）。この抽出は、予め定められた個数分の対応点をすべて抽出するまで繰り返し実行される（ステップＳ５４；ＮＯ、算出ステップ）。このとき、二番目以降の対応点の抽出において、対応点は、第２の三次元形状の限定された範囲から抽出される。
【００６８】
そして、すべての対応点が抽出されると（ステップＳ５４；ＹＥＳ、算出ステップ）、位置合わせ部４４ｄによって、以下の一連の処理が行われる。具体的には、まず、基準点と対応点との距離の平均値が算出される（ステップＳ５５）。続いて、複数算出された基準点と対応点との位置関係に基づいて、回転行列及び平行移動行列が算出される（ステップＳ５６、位置合わせステップ）。続いて、その回転行列及び平行移動行列に基づいて、第１の情報が剛体変換される（ステップＳ５７、位置合わせステップ）。この変換により、第１の三次元形状と第２の三次元形状とが位置合わせされる。続いて、今回算出された平均値と前回算出された平均との差が閾値未満か否かが判定される（ステップＳ５７）。
【００６９】
ここで、平均値の差が閾値以上であれば（ステップＳ５８；ＮＯ）、上記ステップＳ５２の以降の処理が繰り返し実行される。一方、その差が閾値未満の場合（ステップＳ５８；ＹＥＳ）、処理が終了する。これにより、第１の座標軸と第２の座標軸とが一致される。
【００７０】
一致した座標軸に係る情報は、座標軸一致部４４（位置合わせ部４４ｄ）から、内視鏡光軸算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されて座標軸の変換等が行われて、これ以降、一致した座標軸を基準として三次元形状に対する情報処理が行われる。上記が手術開始までの処理である。
【００７１】
続いて、手術が開始され、術者によって、内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、Ｓ０３〜Ｓ０５の処理を行ったときから動かさないようにする。座標軸がずれることを防止するためである。内視鏡１１が患者６０に挿入される際に、撮像装置２０によって、患者６０及び標識球１２が撮像される（ステップＳ０６）。図９（ａ）に示すように、撮像された画像には、標識球１２（の画像）が含まれている。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から内視鏡光軸算出部４５に出力される。
【００７２】
続いて、内視鏡光軸算出部４５によって、図９（ｂ）に示すように、画像から標識球１２の三次元座標が算出される（ステップＳ０７）。続いて、内視鏡光軸算出部４５によって、算出された標識球１２の三次元座標から、予め保持していた標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報に基づいて、一致された座標軸上での内視鏡１１の撮像方向Ａである光軸を示す半直線が算出される（ステップＳ０８）。
【００７３】
算出された半直線の情報は、内視鏡光軸算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による第１の情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、内視鏡１１の撮像方向Ａである光軸を示す半直線と、患者６０の内部を構成する面との交点が算出される（ステップＳ０９）。
【００７４】
交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による第１の情報が、ポリゴンデータに変換される。この変換により、患者６０（の内部）を構成する面が、例えば多数の三角形で構成させることとなる。次に、それらの各三角形と、内視鏡１１の撮像方向Ａである光軸を示す半直線との交点が算出される。
【００７５】
この交点の算出について、図１０を用いて説明する。ポリゴンを構成する三角形の基準となる点をＰＴ、三角形の２辺のベクトルをそれぞれｖｅｃＡ及びｖｅｃＢとし、２つの媒介変数をα及びβとすると、三角形は以下の式で表すことができる。
Ｐ１＝ＰＴ＋αｖｅｃＡ＋βｖｅｃＢ
また、内視鏡１１の撮像方向Ａの基準となる点（例えば、内視鏡１１の先端の点）をＰＬ、半直線の方向を示すベクトルをｖｅｃＣとし、媒介変数をγとすると、内視鏡１１の撮像方向Ａは以下の式で表すことができる。
Ｐ２＝ＰＬ＋γｖｅｃＣ
【００７６】
ここで、両者が交わるときはＰ１＝Ｐ２となる。Ｐ１＝Ｐ２となる点が、三角形の内部に存在する条件は、媒介変数が以下の条件を満たす場合である。
条件１：０＜α，０＜β
条件２：０＜α＋β＜１
条件３：γ＞０
これらの条件を満たす点を全てのポリゴンデータを構成する三角形について導出し、それら全ての点と内視鏡１１の先端の点との距離を計算する。この距離が最も小さくなる交点を、内視鏡１１の撮像方向Ａである光軸を示す半直線と患者６０の内部を構成する面との交点とする。
【００７７】
算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、モニタ５０に入力される。入力された画像は、モニタ５０によって表示される（ステップＳ１０）。交点の表示は、具体的には例えば、図１１に示すように、内視鏡１１により撮像されている箇所がどの点に位置しているかが分かるように、十字の表示９０として行われる。術者は表示された画像を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。
【００７８】
また、内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７からモニタ５０に出力されるようにして、上記の内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。例えば、図１２に示す画面例９１のように、内視鏡１１により撮像された画像９２と、内視鏡１１により撮像されている箇所がどの点に位置しているかが示されたＣＴ画像９３ａ〜９３ｃとを１つの画面に示すこととするのがよい。また、その際の内視鏡１１の画像には、交点に対応する箇所を示す情報（例えば、十字形（＋）のマーク）９４を重畳させることが望ましい。内視鏡１１の画像における交点に対応する箇所を示す情報の位置は、例えば、画像の中心等、内視鏡１１の撮像方向に応じて予め出力部４７に記憶させておく。また、術者が対応する箇所を理解しやすいように、ＣＴ画像９３ａ〜９３ｃは、断面がそれぞれ異なるもの（断面がそれぞれ直交するものがよい）を複数、表示することとするのがよい。図１２では、ＣＴ画像９３ａは横断面のもの、ＣＴ画像９３ｂは冠状断面のもの、ＣＴ画像９３ｃは、矢状断面のものである。更に、ＣＴ画像９３ａ〜９３ｃには、交点の情報（画像とは色違いの四角９５で示す）に加えて、内視鏡１１が挿入されている方向（内視鏡１１の撮像方向である光軸）９６を示すことが望ましい。
【００７９】
上記のＳ０６〜Ｓ１０までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるＳ０３〜Ｓ０５の処理と、Ｓ０６〜Ｓ１０の処理とは異なっているが、例えば、Ｓ０５の座標軸の一致の処理が行われたら、自動的にＳ０６以降の処理に移るようにしてもよい。また、術者等の操作により処理の切替が行われてもよい。
【００８０】
また、Ｓ０３〜Ｓ０５の処理による初回の位置合わせ後に患者６０の頭部を動かした場合でも、再度Ｓ０３〜Ｓ０５の処理を行い改めて位置合わせを行なうこととすればよい。再度の位置合わせは、例えば、術者等の操作により行われてもよいし、位置合わせしたときの画像とその後の画像とを比較して、頭部が動いたことを検出して、それをトリガとして行われてもよい。
【００８１】
上述したように、本実施形態に係る手術支援情報表示装置１（手術支援情報表示方法）では、第１の三次元形状と第２の三次元形状とを位置合わせする際に、対応点を算出する範囲が限定されるので、対応点を第２の三次元形状全体から算出する場合と比較して、対応点の算出に要する時間が短縮される。なお、この際、基準点は任意に設定可能である。また、対応点の算出にあたり、人為的操作は介在しない。その結果、第１の三次元形状と第２の三次元形状とを位置合わせする際の精度及び効率を維持しつつ、その位置合わせに要する計算時間を短縮することができる。
【００８２】
このような効果は、形状を構成する要素（点）の数が多ければ多いほど顕著である。例えば、それぞれ数十万個の点で構成されている第１の三次元形状及び第２の三次元形状について、第１の三次元形状上の全点を基準点に設定して位置合わせをした場合、従来法（第２の三次元形状の全範囲から対応点を算出する方法）と比較し、１０-4から１０-5程度の時間短縮が可能である。
【００８３】
また、対応点算出部４４ｃは、例えば図５に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ’＋ｄ）を半径ｒとする円Ｃを限定された範囲とする。加えて、座標軸一致部４４は、例えば図５に示すように、算出済の対応点Ｍａを中心とし、当該対応点Ｍａの位置と、基準点Ｐａの位置と、基準点Ｐｂの位置と、曲線ｍの最短距離場とに基づいて算出される値（ｌ＋ｌ’＋ｄｐ）を半径ｒとする円Ｃを限定された範囲とすることもできる。これにより、未知の対応点Ｍｂを算出するための限定された範囲（円Ｃ）が設定されるので、より早くその対応点Ｍｂを算出することができる。このことは、他の対応点を算出する場合も同様である。
【００８４】
引き続いて、上述した一連の手術支援情報の表示を行う処理をコンピュータに実行させるための手術支援情報表示プログラムを説明する。図１３に示すように、手術支援情報表示プログラム８２は、コンピュータが備える記録媒体８０に形成されたプログラム格納領域８０ａ内に格納されている。
【００８５】
手術支援情報表示プログラム８１は、手術支援情報の表示処理を統括的に制御するメインモジュール８１０と、患者形状取得モジュール８１１と、撮像画像取得モジュール８１２と、表面形状算出モジュール８１３と、座標軸一致モジュール８１４と、内視鏡光軸算出モジュール８１５と、交点算出モジュール８１６と、出力モジュール８１７とを備えて構成される。座標軸一致モジュール８１４は、情報受付モジュール８１４ａ、基準点設定モジュール８１４ｂ、対応点算出モジュール８１４ｃ及び位置合わせモジュール８１４ｄを有している。患者形状取得モジュール８１１、撮像画像取得モジュール８１２、表面形状算出モジュール８１３、座標軸一致モジュール８１４、基準点設定モジュール８１４ｂ、対応点算出モジュール８１４ｃ、位置合わせモジュール８１４ｄ、内視鏡光軸算出モジュール８１５、交点算出モジュール８１６及び出力モジュール８１７を実行させることにより実現される機能は、上述したＰＣ４０の患者形状取得部４１、撮像画像取得部４２、表面形状算出部４３、座標軸一致部４４、情報受付部４４ａ、基準点設定部４４ｂ、対応点算出部４４ｃ、位置合わせ部４４ｄ、内視鏡光軸算出部４５、交点算出部４６及び出力部４７の機能とそれぞれ同様である。
【００８６】
なお、手術支援情報表示プログラム８１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。
【００８７】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で以下のような様々な変形が可能である。
【００８８】
上記実施形態では、本発明に係る形状情報処理方法、形状情報処理装置及び形状情報処理プログラムを、手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに適用したが、これら形状情報処理方法、形状情報処理装置及び形状情報処理プログラムは、様々な研究開発分野・産業分野に適用可能である。応用例としては、例えば、ＣＡＤ、部品表面の品質検査、試作モデルの製作、ロボットの自律移動制御が挙げられるが、当然ながら、これらに限定されるものではない。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態に係る手術支援情報表示装置の構成を示す図である。
【図２】撮像装置により撮像され、情報処理されて三次元位置情報を持った、患者の顔面の画像を示す図である。
【図３】ＣＴ装置により取得されたＣＴ画像を示す図である。
【図４】図１に示す座標軸一致部の構成を示す図である。
【図５】図１に示す座標軸一致部の処理の概念を示す図である。
【図６】本発明の実施形態に係る手術支援情報表示装置での処理を示すフローチャートである。
【図７】ＣＴ装置による患者の三次元形状を示す情報と、撮像装置による画像から算出された患者の三次元形状を示す情報とのマッチング処理を示す図である。
【図８】図６に示す座標軸一致処理を示すフローチャートである。
【図９】撮像装置による画像から標識球の三次元座標を算出する処理を示した図である。
【図１０】患者の面を構成する三角形と内視鏡の撮像方向である光軸を示す半直線との交点を示した図である。
【図１１】内視鏡により撮像されている点が示されたＣＴ画像を示す図である。
【図１２】内視鏡により撮像されている点が示されたＣＴ画像、及び内視鏡により撮像されている画像を示す図である。
【図１３】本発明に係る手術支援情報表示プログラムの構成を示す図である。
【符号の説明】
【００９０】
１…手術支援情報表示装置、１１…内視鏡、１２…標識球、２０…撮像装置、３０…ＣＴ装置、４０…ＰＣ、４１…患者形状取得部、４２…撮像画像取得部、４３…表面形状算出部、４４…座標軸一致部、４４ａ…情報受付部、４４ｂ…基準点設定部、４４ｃ…対応点算出部、４４ｄ…位置合わせ部、４５…内視鏡光軸算出部、４６…交点算出部、４７…出力部、５０…モニタ、６０…患者、７０…手術台、８０…記録媒体、８０ａ…プログラム格納領域、８１…手術支援情報表示プログラム、８１０…メインモジュール、８１１…患者形状取得モジュール、８１２…撮像画像取得モジュール、８１３…表面形状算出モジュール、８１４…座標軸一致モジュール、８１４ａ…情報受付モジュール、８１４ｂ…基準点設定モジュール、８１４ｃ…対応点算出モジュール、８１４ｄ…位置合わせモジュール、８１５…内視鏡光軸算出モジュール、８１６…交点算出モジュール、８１７…出力モジュール。
【特許請求の範囲】
【請求項１】
第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付ステップと、
前記受付ステップにおいて受け付けられた第１の情報で示される第１の形状、及び前記受付ステップにおいて受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定ステップと、
前記設定ステップにおいて設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出ステップと、
前記設定ステップにおいて設定された複数の基準点と、前記算出ステップにおいて算出された複数の対応点との位置関係に基づいて、前記第１の情報又は前記第２の情報を変換することで、前記第１の形状と前記第２の形状とを位置合わせする位置合わせステップと、
を含む形状情報処理方法。
【請求項２】
前記算出ステップは、第１の前記基準点に対応する算出済の前記対応点の位置と、当該第１の基準点とは異なる第２の前記基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、前記第２の基準点から最短距離にある対応点を算出するための前記限定された範囲とする、
請求項１に記載の形状情報処理方法。
【請求項３】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第２の基準点と前記算出済の対応点との距離とを加算した値を半径とする範囲である、
請求項２に記載の形状情報処理方法。
【請求項４】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第１の基準点と前記算出済の対応点との距離と、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第１の基準点と前記第２の基準点との距離とを加算した値を半径とする範囲である、
請求項２に記載の形状情報処理方法。
【請求項５】
第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付手段と、
前記受付手段により受け付けられた第１の情報で示される第１の形状、及び前記受付手段により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定手段と、
前記設定手段により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出手段と、
前記設定手段により設定された複数の基準点と、前記算出手段により算出された複数の対応点との位置関係に基づいて、前記第１の情報又は前記第２の情報を変換することで、前記第１の形状と前記第２の形状とを位置合わせする位置合わせ手段と、
を備える形状情報処理装置。
【請求項６】
第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付機能と、
前記受付機能により受け付けられた第１の情報で示される第１の形状、及び前記受付機能により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定機能と、
前記設定機能により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出機能と、
前記設定機能により設定された複数の基準点と、前記算出機能により算出された複数の対応点との位置関係に基づいて、前記第１の情報又は前記第２の情報を変換することで、前記第１の形状と前記第２の形状とを位置合わせする位置合わせ機能と、
をコンピュータに実行させる形状情報処理プログラム。
【請求項１】
第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付ステップと、
前記受付ステップにおいて受け付けられた第１の情報で示される第１の形状、及び前記受付ステップにおいて受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定ステップと、
前記設定ステップにおいて設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出ステップと、
前記設定ステップにおいて設定された複数の基準点と、前記算出ステップにおいて算出された複数の対応点との位置関係に基づいて、前記第１の情報又は前記第２の情報を変換することで、前記第１の形状と前記第２の形状とを位置合わせする位置合わせステップと、
を含む形状情報処理方法。
【請求項２】
前記算出ステップは、第１の前記基準点に対応する算出済の前記対応点の位置と、当該第１の基準点とは異なる第２の前記基準点の位置とに基づいて、当該算出済の対応点を中心とする範囲を算出し、当該範囲を、前記第２の基準点から最短距離にある対応点を算出するための前記限定された範囲とする、
請求項１に記載の形状情報処理方法。
【請求項３】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第２の基準点と前記算出済の対応点との距離とを加算した値を半径とする範囲である、
請求項２に記載の形状情報処理方法。
【請求項４】
前記限定された範囲は、前記算出済の対応点を中心とし、前記第１の基準点と前記算出済の対応点との距離と、前記第２の基準点の位置と前記他方の三次元形状の所定の近傍空間を示す最短距離場とに基づいて定義される距離と、前記第１の基準点と前記第２の基準点との距離とを加算した値を半径とする範囲である、
請求項２に記載の形状情報処理方法。
【請求項５】
第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付手段と、
前記受付手段により受け付けられた第１の情報で示される第１の形状、及び前記受付手段により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定手段と、
前記設定手段により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出手段と、
前記設定手段により設定された複数の基準点と、前記算出手段により算出された複数の対応点との位置関係に基づいて、前記第１の情報又は前記第２の情報を変換することで、前記第１の形状と前記第２の形状とを位置合わせする位置合わせ手段と、
を備える形状情報処理装置。
【請求項６】
第１の形状を示す第１の情報、及び第２の形状を示す第２の情報の入力を受け付ける受付機能と、
前記受付機能により受け付けられた第１の情報で示される第１の形状、及び前記受付機能により受け付けられた第２の情報で示される第２の形状のうち一方の形状上に複数の基準点を設ける設定機能と、
前記設定機能により設定された複数の基準点のそれぞれについて、当該基準点から最短距離にある対応点を他方の形状の限定された範囲から算出する算出機能と、
前記設定機能により設定された複数の基準点と、前記算出機能により算出された複数の対応点との位置関係に基づいて、前記第１の情報又は前記第２の情報を変換することで、前記第１の形状と前記第２の形状とを位置合わせする位置合わせ機能と、
をコンピュータに実行させる形状情報処理プログラム。
【図１】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１３】
【図２】
【図３】
【図７】
【図９】
【図１１】
【図１２】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１３】
【図２】
【図３】
【図７】
【図９】
【図１１】
【図１２】
【公開番号】特開２００８−２６２５５５（Ｐ２００８−２６２５５５Ａ）
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願番号】特願２００８−７３８９０（Ｐ２００８−７３８９０）
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【出願人】（５０４３００１８１）国立大学法人浜松医科大学 (96)
【Ｆターム（参考）】
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【出願人】（５０４３００１８１）国立大学法人浜松医科大学 (96)
【Ｆターム（参考）】
[ Back to top ]