画像処理装置及びそれに用いられるプログラム
【課題】
高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供すること。
【解決手段】
二次元実透視像データを格納する二次元実透視データ格納部、該二次元実透視像データに対し補正を行う補正部、三次元画像データを格納する三次元画像データ格納部、該三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、該三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置。
高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供すること。
【解決手段】
二次元実透視像データを格納する二次元実透視データ格納部、該二次元実透視像データに対し補正を行う補正部、三次元画像データを格納する三次元画像データ格納部、該三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、該三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びそれに用いられるプログラムに関し、特に、Ｘ線透視装置やＸ線ＣＴ装置などから取得される画像データを処理する画像処理装置及び、そのためのプログラムに好適なものである。
【背景技術】
【０００２】
人体の関節の疾患の診断や治療においては、患者の診断や治療の対象となる部位における３次元的な動作の把握が必要である。この目的のために、現状では、連続撮影が可能なX線透視装置を用いた動作観察が行われている。しかし、連続X線透視像は一方向のみの投影像を観察するものであるため、三次元的な動きの把握が困難であり、その精度が十分でない。
【０００３】
一方、X線透視撮影の他にＸ線ＣＴ装置で被験者の測定対象部位近傍の三次元の画像データを予め収集しておき、情報処理装置で三次元の画像データに対して透視投影して得られる仮想的な二次元の透視画像データを作成し、実際に収集した二次元の透視画像データと一致するように三次元の画像データを回転・平行移動することで三次元位置を推定して把握しようとする方法がある（例えば下記非特許文献１参照。）
【０００４】
しかしながら、この方法は一方向からのみ仮想的な二次元の透視画像データを作成しているため、特に奥行き方向に対して精度が悪いという問題がある。
【０００５】
なお一方で、Ｘ線透視撮影を二方向に増やして同様の推定を行う方法も報告されている（例えば下記非特許文献２参照）。
【非特許文献１】Ｂａｌｔｚｏｐｏｕｌｏ Ａ、“Ａ ｖｉｄｅｏｆｌｕｏｒｏｓｃｏｐｙ ｍｅｔｈｏｄｓ ｆｏｒ ｏｐｔｉｃａｌ ｄｉｓｔｏｒｔｉｏｎ ｃｏｎｃｅｒｔｉｏｎ ａｎｄ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｋｎｅｅ−ｊｏｉｎｔ ｋｉｎｅｍａｔｉｃｓ”、Ｃｌｉｎｉｃａｌ Ｂｉｏｍｅｃｈａｎｉｃｓ、１９９５年、１０巻、２号、８５〜９２頁
【非特許文献２】Ａｓａｎｏら、“Ｉｎ ｖｉｖｏ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｋｎｅｅ ｋｉｎｅｍａｔｉｃｓ ｕｓｉｎｇ ａ ｂｉｐｌａｎａｒ ｉｍａｇｅ−ｍａｔｃｈｉｎｇ ｔｅｃｈｎｉｑｕｅ“、２００１年、３８８、１５７〜１６６頁
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献２に記載の技術では、被験者が関節の周期的な運動を繰り返し、その間に種々のタイミングで静止画撮影を行い、それらをつなぎ合わせて動きの情報を取得するというものであって、透視撮影を短い期間で複数の画像が連続して撮影される動画として処理しておらず、この方法では繰り返し動作が被験者の意識に依存したものであり精度が高くなく、またこの処理を行う画像処理装置の高速化・処理負担の軽減についても課題を残す。
【０００７】
そこで、本発明は、上記課題を鑑み、高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
発明者らは、X線透視画像を用い、この透視撮影の画像を短い時間で多数連続した二次元の透視撮影画像データとして撮影、記録するとともに、Ｘ線ＣＴ装置が取得する三次元の画像データに基づいて高精度に関節の位置を把握する手法を考案した。即ち、具体的には以下の手段を採用する。
【０００９】
即ち、第一の手段として、二次元実透視像データを格納する二次元実透視データ格納部、この二次元実透視像データに対し補正を行う補正部、三次元画像データを格納する三次元画像データ格納部、この三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、この三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置とする。
【００１０】
またこの手段において、移動パラメータ設定部は、三次元骨部データを表示装置に表示する三次元骨部データ表示部、三次元骨部データに対して骨軸を設定する第一の骨軸設定部、二次元実透視像データを表示装置に表示する二次元実透視像データ表示部、二次元実透視像データに対して骨軸を設定する第二の骨軸設定部、第一及び第二の骨軸設定部が設定した骨軸に基づいて移動パラメータを設定する移動パラメータ計算部、を有することも望ましく、更には第一の骨軸設定部で設定される骨軸は２本であり、第二の骨軸設定部で設定される骨軸も２本であることも望ましい。
【００１１】
第二の手段として、第一の手段に加え、マッチング評価部がマッチングしないと判断した場合、パラメータを更新する移動パラメータ更新部、を有することも望ましい。
【００１２】
またこの手段において、仮想透視像計算部は、マッチング評価部がマッチングしないと判断し、移動パラメータを更新した場合、更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することも望ましい。
【００１３】
また、第三の手段として、コンピュータに、二次元実透視像データを格納する手段、二次元実透視像データに対し補正を行う手段、三次元画像データを格納する手段、三次元画像データに基づいて三次元骨部データを作成する手段、三次元骨部データに対して移動パラメータを設定する手段、三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する手段、二次元実透視像データと前記二次元仮想透視像データとのマッチングを行う手段、として機能させるためのプログラムとする。
【００１４】
また、この手段において、マッチングを行う手段がマッチングしないと判断した場合、移動パラメータを更新する手段、としても機能すること、更には二次元仮想透視像を作成する手段は、マッチングを行う手段がマッチングしないと判断し、移動パラメータを更新した場合、更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することも望ましい。
【００１５】
またこの手段において、移動パラメータを設定する手段部は、三次元骨部データを表示装置に表示する手段、三次元骨部データに対して骨軸を設定する第一の設定手段、二次元実透視像データを表示装置に表示する手段、二次元実透視像データに対して骨軸を設定する第二の設定手段、第一及び第二の設定手段が設定した骨軸に基づいて移動パラメータを設定する手段、としても機能することも望ましい。第一の設定手段で設定される骨軸は２本であり、第二の設定手段で設定される骨軸も２本であることも望ましい。
【発明の効果】
【００１６】
以上により高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１８】
図１に本実施形態に係る画像処理装置が行う処理の概略を示す。本実施形態に係る画像処理装置は、Ｘ線ＣＴ装置を用いて被験者の撮影を行った結果得られる画像データと、Ｘ線透視装置を用いて被験者の撮影を行った結果得られる画像データと、を格納して画像データの処理を行う。つまり画像処理に先立ち、Ｘ線ＣＴ装置及びＸ線透視装置を用いて被験者の撮影がそれぞれ行われる必要がある。なおＸ線透視装置、Ｘ線ＣＴ装置のそれぞれは、取得した画像データを電気通信回線や各種記録媒体等を通じ、本画像処理装置に画像データを送信することにより画像処理装置のハードディスク等の格納部に格納させる。
【００１９】
次に、図２を用いて本画像処理装置のより具体的な処理手順について説明する。
【００２０】
本画像処理装置が用いる画像データを取得するＸ線透視装置は、被験者の撮影対象部位近傍（例えば関節）にＸ線を投射し、二次元の画像データ（以下この取得した画像データを「二次元実透視像データ」という。）を得ることができる装置である。本実施形態に関係するＸ線透視装置は、Ｘ線を投射するＸ線源を二個有しており、それらは互いに所定の角度（一般的には９０度）ずれて配置されている。この結果一回の撮影で二つの二次元実透視像データを得ることができる（これを「二次元実透視像データの組」と表現する）。また、本実施形態に関係するＸ線透視装置は、高速で撮影をすることが可能であって、被験者の撮影対象部位を動かしながら撮影を行うことができる。即ち、短い期間で複数の二次元実透視像データの組を得ることができる。なお、後述するが、本画像処理装置は、Ｘ線透視装置により得られた複数の二次元実透視像データ複数の組に対し、歪み補正、濃度補正、エッジ強調などの処理を行う。
【００２１】
Ｘ線ＣＴ装置は、被験者の撮影対象部位（例えば関節）近傍の静止状態における三次元画像データを取得することができる装置である。即ち、まずＸ線ＣＴ装置を用いて撮影対象部位近傍における三次元画像データを取得する。そしてその三次元画像データから診断対象となる撮影対象部位近傍の骨部を抽出し（抽出した骨部を表すデータを「三次元骨部データ」という）、その後この三次元骨部データに対し、仮想のＸ線源からＸ線を投影した場合を想定するとともに三次元骨部データに対し回転や平行移動を行わせて最も二次元実透視像データに近い仮想の透視像を得る（この仮想の透視像を表すデータを「二次元仮想透視像データ」という）。なお、三次元骨部データの回転や平行移動を行わせるためのパラメータ（以下「移動パラメータ」という）については後に詳しく説明するが、この移動パラメータは上述したＸ線透視装置を用いて取得した複数の二次元実透視像データの組、Ｘ線ＣＴ装置を用いて取得した三次元画像データ等に基づいて決定される。また逆に、最も二次元実透視像データに近い移動パラメータの示す状態が実際の被験者の撮影対象部位近傍における骨の部分と位置を表していると考えることができ、この処理を各フレームに対し繰り返すことで関節の動態情報の取得が可能となる。
【００２２】
本画像処理装置は、画像の処理に先立ちキャリブレーションを行う。
キャリブレーションは、歪み補正係数の決定と撮影ジオメトリーのパラメータの決定という二つの処理を少なくとも行う（図３参照）。
【００２３】
歪み補正とは、Ｘ線透視装置で良く使われているイメージインテンシファイアが周囲の磁場の影響などをうけることで生じてしまう画像の空間的なゆがみを除くことをいい、歪み補正係数の決定とは、その補正において用いる係数の決定をいう。より具体的には、画像処理前に各画像データ（例えば複数の二次元実透視データの組）に対して行う補正の係数を決定することをいう。これを行うことで精度の向上を図ることができる。この歪み補正を行う手順としては、まず、Ｘ線透視装置で被験者を撮影する前に、アクリル板などの透明な板に高いＸ線吸収係数を持つ微小物体を正方格子状に配置したもの（ひずみ補正用ファントムという。図４参照）を、Ｘ線検出器の直前に設置して撮影を行い、二次元画像データを得る（この二次元画像データを「歪み補正用二次元画像データ」という。）。そして本実施形態に係る画像処理装置は、この歪み補正用二次元画像データにおける微小物体が正しく正方格子状に配列するように、歪み補正係数を決定する。Ｘ線透視装置により取得されたほぼ全ての二次元実透視像データにはこの処理が行われる。
【００２４】
撮影ジオメトリーのパラメータの決定とは、例えば、正立方体の各頂点に微小な金属球が固定された物体（投影ジオメトリキャリブレーション用ファントムという。図５参照）を用意し、Ｘ線透視装置の測定位置にこの物体を配置及び撮影し、二次元実透視像データを得て、これに対し正立方体の各頂点の画像座標を特定し、正立方体の頂点の三次元座標位置との対応関係から撮影ジオメトリーのパラメータを決定することをいう。これを定めることで、Ｘ線ＣＴ装置により得られた三次元画像データから、実透視像と同じジオメトリーをもつ透視投影による仮想透視像を計算するができるようになる。
【００２５】
次に本実施形態に係る画像処理装置のデータ処理について詳細に説明する。図６は、本実施形態に係る画像処理装置１における機能ブロック図を示す。本実施形態に係る画像処理装置１は、Ｘ線ＣＴ装置が取得した三次元画像データを格納する三次元画像データ格納部２と、Ｘ線透視装置が取得した複数の二次元実透視像データの組を格納する二次元実透視像データ格納部３と、を有している。
【００２６】
そして更に、二次元実透視像データを処理する部として、二次元実透視像データ格納部が格納した複数の二次現実透視像データに対し、上述の歪み補正を行う歪み補正部４と、歪み補正が行われた二次元実透視像データに対して更に濃度補正を行う濃度補正部５と、更にこれからエッジ強調処理を行う第一のエッジ強調部６と、を有しており、二次元実透視像データに基づき様々な処理を行っていく。
【００２７】
これに対し、Ｘ線ＣＴ装置により得られた三次元画像データを処理する部としては、三次元画像データ格納部が格納した三次元画像データから診断対象となる撮影対象部位近傍の骨部を抽出し、三次元骨部データを作成する骨領域抽出・分割部７と、この作成された三次元骨部データに対し、回転や平行移動などを行う際に用いる移動パラメータを設定する移動パラメータ設定部８と、上述のキャリブレーションで決定した投影のパラメータを適用して、二次元仮想透視像データを作成する仮想透視像計算部９と、更にこれからエッジ強調処理を行う第二のエッジ強調部１０と、エッジ強調された二次元仮想透視像データとエッジ強調された二次現実透視像データとの間のマッチング評価を行うマッチング評価部１１と、マッチング評価部１１がマッチしていないと判断した場合はパラメータを更新するパラメータ更新部１２と、を有して構成されている。
【００２８】
二次元実透視データ格納部３は、Ｘ線透視装置が撮影した二次元実透視データを格納するものであって、いわゆるハードディスク等の記録媒体の一領域に二次元実透視データが格納されることにより実現される。二次元実透視データは、先ほど説明したとおり、所定の角度方向から見た二次元実透視データの組を撮影したフレーム分だけ格納される。
【００２９】
歪み補正部４は、上記の二次元実透視データに対し、上述した歪み補正を行うための部である。ゆがみ補正部４は、画像処理装置における記録媒体に格納されたプログラムを実行させることにより実現することができる。
【００３０】
濃度補正部５は、後に行う二次元実透視データと二次元仮想透視データとの間のマッチングのため階調特性を統一するものである。具体的に説明すると、二次元実透視データはＸ線強度で画素の値が示される一方、二次元仮想透視データは吸収係数の積分で表されるため、後に正しい位置あわせを実現するためにはこれら二つの二次元透視データの階調特性を統一することが極めて望ましいため、濃度補正部５はこれを実現する。なお具体的な処理については、仮想透視像計算部９による処理の説明を経た上で行う。また濃度補正部５は、上記と同様、画像処理装置における記録媒体に格納されたプログラムを実行することにより実現することができる。
【００３１】
第一のエッジ強調部６は、二次元実透視像データと二次元仮想透視像データの不一致を緩和するために設けられる部であって、適切なエッジ強調処理を行う。二次元実透視像データは軟骨や筋肉、脂肪などの軟部組織も投影に寄与する一方、二次元仮想透視像データではそのような要素は存在しないため、不可避的に不一致が生ずる。ここでは適当なエッジ処理を行うことにより、骨部分の投影画像への寄与を際立たせ、不一致を緩和する。またこの部も、画像処理装置の記録媒体に格納されたプログラムを実行することにより実現することができる。
【００３２】
三次元画像データ格納部２は、Ｘ線ＣＴ装置が撮影した三次元画像データを格納するものであって、いわゆるハードディスク等の記録媒体の一領域に三次元画像データが格納されることにより実現される。三次元画像データはｘ、ｙ、ｚの３軸を基準とした位置のデータと、その位置のデータにおけるＸ線の吸収係数に対応した値を、必要な座標の数だけ有して構成されており、後の各データ処理はこれら値に基づいて行われる。
【００３３】
骨領域抽出・分割部７は、三次元画像データのうち、被験者の撮影対象部位近傍の骨などの構成要素を抽出・分割し、三次元骨部データを作成するための部であり、例えばこのような機能を奏するプログラムを実行することによって実現することができる。
【００３４】
骨領域抽出・分割部７が骨領域を抽出・分割する方法は、三次元画像データから被験者の骨などの構成要素を抽出・分割できる限りにおいて特段限定されるわけではないが、例えば、一般的な領域拡張法などを好適に用いることができる。一般的な領域拡張法とは、適当な開始点を抽出したい構成要素の領域の一点として選択し、更にその開始点と隣接している画素に着目し、その隣接している画素の値が所定の画素の範囲にあるか否かを判定し、範囲内にある場合は抽出対象領域として選択し、範囲内にない場合は抽出対象外の領域として選択する。そしてこれら処理を抽出対象領域がなくなるまで拡張させ、領域を特定していく方法である。
【００３５】
移動パラメータ設定部８は、骨領域抽出・分割部７が抽出・分割した三次元骨部データに対し回転・平行移動を加えて位置や方向を推定するためのものであって、具体的には、この三次元骨部データに対し、回転や平行移動などを行う際に用いる移動パラメータを決定する。移動パラメータとしては、例えば、回転及び平行移動それぞれ３自由度ずつ合計６自由度ある。
【００３６】
図７に移動パラメータ設定部８の処理のイメージ図を、図８に移動パラメータ設定部８における機能ブロック図を示す。
【００３７】
図７（Ａ）、図８が示すように、移動パラメータ設定部８はまず、骨領域抽出・分割部７が作成した三次元骨データを画像表示装置が接続される表示装置に表示させる三次元骨データ表示部８１と、この三次元骨データ表示部８１が表示する三次元骨部データに対し所定の軸を設定するための第一の骨軸設定部８２と、を有している。
【００３８】
第一の骨軸設定部８２の具体例として膝の大腿骨を用いた場合の例を示す。図７（Ａ）は大腿骨の三次元骨部データを示すものである。まず画像処理装置のユーザーは、この三次元骨部データを表示装置で確認した後、大腿骨の特徴的な軸を二つ決定する。特徴的な軸を決定するのは、後述の二次元実透視像データの組に対し、この特徴的な軸に近い軸を設定しやすくするためである。例えば大腿骨の場合、図７（Ａ）のｚ方向に示す第一の骨軸は容易に設定でき、それに概ね垂直な方向にある第二の骨軸も、大腿骨に特徴的な内側顆、外側顆と呼ばれる二つの特徴的な突起部分を結ぶことによって比較的容易に設定することができる。なおｚ方向に示す第一の骨軸の定め方としては、三次元骨部データを複数のｘｙ平面にスライスし、その複数のｘｙ平面における骨部データ領域の重心を定め、これらに対し最も適切な直線を求めることで定めることができる。
【００３９】
またパラメータ設定部８は、図７（Ｂ）、図８が示すように、大腿骨の任意の時間における二次元実透視像データの組を表示装置に表示させる二次元実透視像データ表示部８３と、この二次元実透視像データ表示部８３が表示する二次元実透視像データの組それぞれに対し所定の軸を設定するための第二の骨軸設定部８４と、を有している。本画像処理装置のユーザーは、表示装置に表示される二次元実透視像データの組を確認し、そのそれぞれに対し上述の三次元骨データに対して設定した骨軸に相当すると考えられる二軸を二次元実透視像データにおいて決定する。この場合、上記選んだｚ軸方向に示す第一の骨軸、内側顆、外側顆と呼ばれる二つの特徴的な突起部分を結ぶ第二の骨軸に概ね一致するよう入力を行うことが好ましい。なお、二次元実透過像データの組は任意の時間における二次元実透視像データの組を表示させることができるが、連続的に変化する二次元実透視像データに対して近時のパラメータを使用することを考慮し、また時間的に並んだデータの処理の容易性の観点から、移動パラメータを最初に定める場合は、最初のフレームにおける二次元実透視像データの組を表示させておくことが望ましい。
【００４０】
その後、パラメータ設定部８におけるパラメータ計算部８５が、上記第一の骨軸設定部８２と第二の骨軸設定部８３とが設定したそれぞれの骨軸に基づき、それらが最も近似するよう計算し、三次元骨データにおける骨の初期の位置、方向を定める移動パラメータを設定する。なお、最も近づくように行う計算については種々採用することができるが、計算の容易性の観点からは最小二乗法が好適である。
【００４１】
また２フレーム目以降の三次元骨データ、二次元実透視像データの組に関しては、最初のフレームにおいて既に定めた移動パラメータを初期値として用いることが極めて有用である。これは、短時間で行われるＸ線透視装置の撮影においては、撮影対象領域近傍は動いているものの十分に小さいと考えられるため、大きく外れることは無く、前フレームにおける移動パラメータを初期値として用いることで最適化する処理の負担を十分に軽減できるためである。なお、ここにおける時間間隔としては装置等の諸要件により可変であるが、動きを十分に小さくし前のフレームにおける移動パラメータを有用に使う範囲として、概ね１／２秒以下であることが望ましく、より望ましくは１／１０秒以下、更に望ましくは１／３０秒以下である。また、本パラメータ設定部も上述の各部と同様、記録媒体に格納してなるプログラムを実行することにより実現できる。
【００４２】
仮想透視像計算部９は、キャリブレーションで決定した撮影のジオメトリーのパラメータを用いて、二次元仮想透視像データを作成する。より具体的には、上記パラメータ設定部にて求めた移動パラメータを用いて三次元骨データの方向や位置を定めるとともに、仮想のＸ線源の位置を定め、その仮想のＸ線源から投影を求め、その仮想Ｘ線からキャリブレーションで決定した撮影のジオメトリーを用いて二次元仮想透視像データを作成するのである。
【００４３】
濃度補正部５の濃度補正は、上述のとおり、二次元実透視データと二次元仮想透視像データとの間の階調特性を統一するためのものである。図９は具体的な濃度補正部５の処理を説明する図である。
【００４４】
ここでは二次元実透視像データを以下の式でモデル化処理する。
【数１】
【００４５】
ここでIfluは二次元実透視像データの各画素における画素値を、Iflu’は階調特性を変更した後の二次元実透視像データの各画素における画素値を、Ａ，Ｂは定数項の未知パラメータを、I0は二次元実透視像データの画素値のうち最大の画素値をそれぞれ示す。
【００４６】
ここで未知パラメータは、二次元実透視像データと二次元仮想透視像データとが類似の画素値分布になるように，対応する画素値の差分の絶対値と、画像の標準偏差の和を評価関数とし、評価値が最小となるようにフレーム毎に計算される。
【００４７】
第二のエッジ強調部１０は、第一のエッジ強調部６とほぼ同じ構成を採用することができる。本実施形態では、第一のエッジ強調部と第二のエッジ強調部とを異なる構成としているが、同一の構成とすることも可能である。即ち、共通のエッジ強調部とし、入力される画像データが二次元実透視像データに由来するデータである場合、三次元画像データに由来するデータである場合の双方に対応可能なエッジ共通部とすることが可能である。（例えば図１０参照）。
【００４８】
マッチング評価部１１は、上記各部において加工された二次元実透視像データと、三次元画像データを用いて各部が作成した二次元仮想透視像データとのマッチングを行う部であって、双方の画像のマッチング処理を行うことができる限りにおいて特段に制限はないが、具体的には、相関を用いた評価を行うことが好適である。即ちマッチング評価部１１は、二次元実透視像データと二次元か層透視像データとの間で求めた相関の値が前回のマッチング処理における相関の値と所定の範囲内にあるか否かに基づいてマッチング評価を行うことが望ましい態様である。例えば、この相関の値が前回の相関の値と所望の範囲内にあればマッチングしたと判断し、先ほど定めた三次元骨部データの位置や方向の移動パラメータを結果格納部１３に格納するとともに次のフレームの処理へ移り、この相関の値が前回の相関の値と所望の範囲内にない場合は、移動パラメータ更新部１２にその結果を送信し、再度二次元仮想透視像の作成を行わせるのである。なお先ほどの相関を用いた評価の場合は、相関の値が最大化されているか否かで判断される。
【００４９】
パラメータ更新部１２は、上記マッチング評価部１１がマッチングしていないと判断した場合、この回転・平行移動の移動パラメータを変更し、改めて仮想透視像計算部９に二次元仮想透視像データを作成させるための部である。即ちここで移動パラメータを変更した後は、仮想透視像計算部9、第二のエッジ強調部１０、マッチング評価部１１において順次処理が繰り返され、再びマッチング評価部１１により評価されることとなる。なお、上述したマッチング評価部１１が勾配相関を評価指標として用いた場合は、パラメータの更新手法としてＰｏｗｅｌｌの方法を用いることが好適である。
【００５０】
マッチングにおいてマッチングしたと判断された場合は、上述のとおり位置や方向の移動パラメータを記録するとともに次のフレームの処理へ移り、同様に各フレームにおいて作業を行うこととなる。またこれも上述したが、次のフレームにおいては、十分に時間が短いと判断できパラメータの変動があまり多くないと考えることができるため、パラメータ設定部８はこの移動パラメータを初期パラメータとして処理を行っていくことが極めて望ましい。
【００５１】
以上、本実施形態に係る画像処理装置により、高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することができる。特に本実施形態では、パラメータ設定部を設けて複数軸を入力させ、これらの間の相関を評価し調整しておくことにより、二次元実透視像データと三次元画像データとのマッチングにおける負担を少なくすることができ、極めて高速に測定対象部位近傍の三次元位置を推定できるようになる。さらに、この方法で定めたパラメータは次のフレームにおける画像処理においても使用でき、より高速化に寄与することができる。
【図面の簡単な説明】
【００５２】
【図１】画像処理装置が行う処理の概略を示す図
【図２】画像処理装置のより具体的な処理手順を示す図
【図３】Ｘ線透視装置におけるキャリブレーションの手順を示す図
【図４】ひずみ補正用ファントムを示す図
【図５】投影ジオメトリキャリブレーション用ファントムを示す図
【図６】画像処理装置の機能ブロック図
【図７】パラメータ設定部８の処理のイメージ図
【図８】パラメータ設定部８における機能ブロック図
【図９】濃度補正の処理を示す図
【図１０】画像処理装置の応用例における機能ブロック図
【符号の説明】
【００５３】
１…画像処理装置、２…三次元画像データ格納部、３…二次元実透視像データ格納部、４…ゆがみ補正部、５…濃度補正部、６…第一のエッジ強調部、７…骨領域抽出・分割部、８…移動パラメータ設定部、９…仮想透視像計算部、１０…第二のエッジ強調部、１１…マッチング評価部、１２…移動パラメータ更新部、１３…結果格納部
【技術分野】
【０００１】
本発明は画像処理装置及びそれに用いられるプログラムに関し、特に、Ｘ線透視装置やＸ線ＣＴ装置などから取得される画像データを処理する画像処理装置及び、そのためのプログラムに好適なものである。
【背景技術】
【０００２】
人体の関節の疾患の診断や治療においては、患者の診断や治療の対象となる部位における３次元的な動作の把握が必要である。この目的のために、現状では、連続撮影が可能なX線透視装置を用いた動作観察が行われている。しかし、連続X線透視像は一方向のみの投影像を観察するものであるため、三次元的な動きの把握が困難であり、その精度が十分でない。
【０００３】
一方、X線透視撮影の他にＸ線ＣＴ装置で被験者の測定対象部位近傍の三次元の画像データを予め収集しておき、情報処理装置で三次元の画像データに対して透視投影して得られる仮想的な二次元の透視画像データを作成し、実際に収集した二次元の透視画像データと一致するように三次元の画像データを回転・平行移動することで三次元位置を推定して把握しようとする方法がある（例えば下記非特許文献１参照。）
【０００４】
しかしながら、この方法は一方向からのみ仮想的な二次元の透視画像データを作成しているため、特に奥行き方向に対して精度が悪いという問題がある。
【０００５】
なお一方で、Ｘ線透視撮影を二方向に増やして同様の推定を行う方法も報告されている（例えば下記非特許文献２参照）。
【非特許文献１】Ｂａｌｔｚｏｐｏｕｌｏ Ａ、“Ａ ｖｉｄｅｏｆｌｕｏｒｏｓｃｏｐｙ ｍｅｔｈｏｄｓ ｆｏｒ ｏｐｔｉｃａｌ ｄｉｓｔｏｒｔｉｏｎ ｃｏｎｃｅｒｔｉｏｎ ａｎｄ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｋｎｅｅ−ｊｏｉｎｔ ｋｉｎｅｍａｔｉｃｓ”、Ｃｌｉｎｉｃａｌ Ｂｉｏｍｅｃｈａｎｉｃｓ、１９９５年、１０巻、２号、８５〜９２頁
【非特許文献２】Ａｓａｎｏら、“Ｉｎ ｖｉｖｏ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｋｎｅｅ ｋｉｎｅｍａｔｉｃｓ ｕｓｉｎｇ ａ ｂｉｐｌａｎａｒ ｉｍａｇｅ−ｍａｔｃｈｉｎｇ ｔｅｃｈｎｉｑｕｅ“、２００１年、３８８、１５７〜１６６頁
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献２に記載の技術では、被験者が関節の周期的な運動を繰り返し、その間に種々のタイミングで静止画撮影を行い、それらをつなぎ合わせて動きの情報を取得するというものであって、透視撮影を短い期間で複数の画像が連続して撮影される動画として処理しておらず、この方法では繰り返し動作が被験者の意識に依存したものであり精度が高くなく、またこの処理を行う画像処理装置の高速化・処理負担の軽減についても課題を残す。
【０００７】
そこで、本発明は、上記課題を鑑み、高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
発明者らは、X線透視画像を用い、この透視撮影の画像を短い時間で多数連続した二次元の透視撮影画像データとして撮影、記録するとともに、Ｘ線ＣＴ装置が取得する三次元の画像データに基づいて高精度に関節の位置を把握する手法を考案した。即ち、具体的には以下の手段を採用する。
【０００９】
即ち、第一の手段として、二次元実透視像データを格納する二次元実透視データ格納部、この二次元実透視像データに対し補正を行う補正部、三次元画像データを格納する三次元画像データ格納部、この三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、この三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置とする。
【００１０】
またこの手段において、移動パラメータ設定部は、三次元骨部データを表示装置に表示する三次元骨部データ表示部、三次元骨部データに対して骨軸を設定する第一の骨軸設定部、二次元実透視像データを表示装置に表示する二次元実透視像データ表示部、二次元実透視像データに対して骨軸を設定する第二の骨軸設定部、第一及び第二の骨軸設定部が設定した骨軸に基づいて移動パラメータを設定する移動パラメータ計算部、を有することも望ましく、更には第一の骨軸設定部で設定される骨軸は２本であり、第二の骨軸設定部で設定される骨軸も２本であることも望ましい。
【００１１】
第二の手段として、第一の手段に加え、マッチング評価部がマッチングしないと判断した場合、パラメータを更新する移動パラメータ更新部、を有することも望ましい。
【００１２】
またこの手段において、仮想透視像計算部は、マッチング評価部がマッチングしないと判断し、移動パラメータを更新した場合、更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することも望ましい。
【００１３】
また、第三の手段として、コンピュータに、二次元実透視像データを格納する手段、二次元実透視像データに対し補正を行う手段、三次元画像データを格納する手段、三次元画像データに基づいて三次元骨部データを作成する手段、三次元骨部データに対して移動パラメータを設定する手段、三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する手段、二次元実透視像データと前記二次元仮想透視像データとのマッチングを行う手段、として機能させるためのプログラムとする。
【００１４】
また、この手段において、マッチングを行う手段がマッチングしないと判断した場合、移動パラメータを更新する手段、としても機能すること、更には二次元仮想透視像を作成する手段は、マッチングを行う手段がマッチングしないと判断し、移動パラメータを更新した場合、更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することも望ましい。
【００１５】
またこの手段において、移動パラメータを設定する手段部は、三次元骨部データを表示装置に表示する手段、三次元骨部データに対して骨軸を設定する第一の設定手段、二次元実透視像データを表示装置に表示する手段、二次元実透視像データに対して骨軸を設定する第二の設定手段、第一及び第二の設定手段が設定した骨軸に基づいて移動パラメータを設定する手段、としても機能することも望ましい。第一の設定手段で設定される骨軸は２本であり、第二の設定手段で設定される骨軸も２本であることも望ましい。
【発明の効果】
【００１６】
以上により高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１８】
図１に本実施形態に係る画像処理装置が行う処理の概略を示す。本実施形態に係る画像処理装置は、Ｘ線ＣＴ装置を用いて被験者の撮影を行った結果得られる画像データと、Ｘ線透視装置を用いて被験者の撮影を行った結果得られる画像データと、を格納して画像データの処理を行う。つまり画像処理に先立ち、Ｘ線ＣＴ装置及びＸ線透視装置を用いて被験者の撮影がそれぞれ行われる必要がある。なおＸ線透視装置、Ｘ線ＣＴ装置のそれぞれは、取得した画像データを電気通信回線や各種記録媒体等を通じ、本画像処理装置に画像データを送信することにより画像処理装置のハードディスク等の格納部に格納させる。
【００１９】
次に、図２を用いて本画像処理装置のより具体的な処理手順について説明する。
【００２０】
本画像処理装置が用いる画像データを取得するＸ線透視装置は、被験者の撮影対象部位近傍（例えば関節）にＸ線を投射し、二次元の画像データ（以下この取得した画像データを「二次元実透視像データ」という。）を得ることができる装置である。本実施形態に関係するＸ線透視装置は、Ｘ線を投射するＸ線源を二個有しており、それらは互いに所定の角度（一般的には９０度）ずれて配置されている。この結果一回の撮影で二つの二次元実透視像データを得ることができる（これを「二次元実透視像データの組」と表現する）。また、本実施形態に関係するＸ線透視装置は、高速で撮影をすることが可能であって、被験者の撮影対象部位を動かしながら撮影を行うことができる。即ち、短い期間で複数の二次元実透視像データの組を得ることができる。なお、後述するが、本画像処理装置は、Ｘ線透視装置により得られた複数の二次元実透視像データ複数の組に対し、歪み補正、濃度補正、エッジ強調などの処理を行う。
【００２１】
Ｘ線ＣＴ装置は、被験者の撮影対象部位（例えば関節）近傍の静止状態における三次元画像データを取得することができる装置である。即ち、まずＸ線ＣＴ装置を用いて撮影対象部位近傍における三次元画像データを取得する。そしてその三次元画像データから診断対象となる撮影対象部位近傍の骨部を抽出し（抽出した骨部を表すデータを「三次元骨部データ」という）、その後この三次元骨部データに対し、仮想のＸ線源からＸ線を投影した場合を想定するとともに三次元骨部データに対し回転や平行移動を行わせて最も二次元実透視像データに近い仮想の透視像を得る（この仮想の透視像を表すデータを「二次元仮想透視像データ」という）。なお、三次元骨部データの回転や平行移動を行わせるためのパラメータ（以下「移動パラメータ」という）については後に詳しく説明するが、この移動パラメータは上述したＸ線透視装置を用いて取得した複数の二次元実透視像データの組、Ｘ線ＣＴ装置を用いて取得した三次元画像データ等に基づいて決定される。また逆に、最も二次元実透視像データに近い移動パラメータの示す状態が実際の被験者の撮影対象部位近傍における骨の部分と位置を表していると考えることができ、この処理を各フレームに対し繰り返すことで関節の動態情報の取得が可能となる。
【００２２】
本画像処理装置は、画像の処理に先立ちキャリブレーションを行う。
キャリブレーションは、歪み補正係数の決定と撮影ジオメトリーのパラメータの決定という二つの処理を少なくとも行う（図３参照）。
【００２３】
歪み補正とは、Ｘ線透視装置で良く使われているイメージインテンシファイアが周囲の磁場の影響などをうけることで生じてしまう画像の空間的なゆがみを除くことをいい、歪み補正係数の決定とは、その補正において用いる係数の決定をいう。より具体的には、画像処理前に各画像データ（例えば複数の二次元実透視データの組）に対して行う補正の係数を決定することをいう。これを行うことで精度の向上を図ることができる。この歪み補正を行う手順としては、まず、Ｘ線透視装置で被験者を撮影する前に、アクリル板などの透明な板に高いＸ線吸収係数を持つ微小物体を正方格子状に配置したもの（ひずみ補正用ファントムという。図４参照）を、Ｘ線検出器の直前に設置して撮影を行い、二次元画像データを得る（この二次元画像データを「歪み補正用二次元画像データ」という。）。そして本実施形態に係る画像処理装置は、この歪み補正用二次元画像データにおける微小物体が正しく正方格子状に配列するように、歪み補正係数を決定する。Ｘ線透視装置により取得されたほぼ全ての二次元実透視像データにはこの処理が行われる。
【００２４】
撮影ジオメトリーのパラメータの決定とは、例えば、正立方体の各頂点に微小な金属球が固定された物体（投影ジオメトリキャリブレーション用ファントムという。図５参照）を用意し、Ｘ線透視装置の測定位置にこの物体を配置及び撮影し、二次元実透視像データを得て、これに対し正立方体の各頂点の画像座標を特定し、正立方体の頂点の三次元座標位置との対応関係から撮影ジオメトリーのパラメータを決定することをいう。これを定めることで、Ｘ線ＣＴ装置により得られた三次元画像データから、実透視像と同じジオメトリーをもつ透視投影による仮想透視像を計算するができるようになる。
【００２５】
次に本実施形態に係る画像処理装置のデータ処理について詳細に説明する。図６は、本実施形態に係る画像処理装置１における機能ブロック図を示す。本実施形態に係る画像処理装置１は、Ｘ線ＣＴ装置が取得した三次元画像データを格納する三次元画像データ格納部２と、Ｘ線透視装置が取得した複数の二次元実透視像データの組を格納する二次元実透視像データ格納部３と、を有している。
【００２６】
そして更に、二次元実透視像データを処理する部として、二次元実透視像データ格納部が格納した複数の二次現実透視像データに対し、上述の歪み補正を行う歪み補正部４と、歪み補正が行われた二次元実透視像データに対して更に濃度補正を行う濃度補正部５と、更にこれからエッジ強調処理を行う第一のエッジ強調部６と、を有しており、二次元実透視像データに基づき様々な処理を行っていく。
【００２７】
これに対し、Ｘ線ＣＴ装置により得られた三次元画像データを処理する部としては、三次元画像データ格納部が格納した三次元画像データから診断対象となる撮影対象部位近傍の骨部を抽出し、三次元骨部データを作成する骨領域抽出・分割部７と、この作成された三次元骨部データに対し、回転や平行移動などを行う際に用いる移動パラメータを設定する移動パラメータ設定部８と、上述のキャリブレーションで決定した投影のパラメータを適用して、二次元仮想透視像データを作成する仮想透視像計算部９と、更にこれからエッジ強調処理を行う第二のエッジ強調部１０と、エッジ強調された二次元仮想透視像データとエッジ強調された二次現実透視像データとの間のマッチング評価を行うマッチング評価部１１と、マッチング評価部１１がマッチしていないと判断した場合はパラメータを更新するパラメータ更新部１２と、を有して構成されている。
【００２８】
二次元実透視データ格納部３は、Ｘ線透視装置が撮影した二次元実透視データを格納するものであって、いわゆるハードディスク等の記録媒体の一領域に二次元実透視データが格納されることにより実現される。二次元実透視データは、先ほど説明したとおり、所定の角度方向から見た二次元実透視データの組を撮影したフレーム分だけ格納される。
【００２９】
歪み補正部４は、上記の二次元実透視データに対し、上述した歪み補正を行うための部である。ゆがみ補正部４は、画像処理装置における記録媒体に格納されたプログラムを実行させることにより実現することができる。
【００３０】
濃度補正部５は、後に行う二次元実透視データと二次元仮想透視データとの間のマッチングのため階調特性を統一するものである。具体的に説明すると、二次元実透視データはＸ線強度で画素の値が示される一方、二次元仮想透視データは吸収係数の積分で表されるため、後に正しい位置あわせを実現するためにはこれら二つの二次元透視データの階調特性を統一することが極めて望ましいため、濃度補正部５はこれを実現する。なお具体的な処理については、仮想透視像計算部９による処理の説明を経た上で行う。また濃度補正部５は、上記と同様、画像処理装置における記録媒体に格納されたプログラムを実行することにより実現することができる。
【００３１】
第一のエッジ強調部６は、二次元実透視像データと二次元仮想透視像データの不一致を緩和するために設けられる部であって、適切なエッジ強調処理を行う。二次元実透視像データは軟骨や筋肉、脂肪などの軟部組織も投影に寄与する一方、二次元仮想透視像データではそのような要素は存在しないため、不可避的に不一致が生ずる。ここでは適当なエッジ処理を行うことにより、骨部分の投影画像への寄与を際立たせ、不一致を緩和する。またこの部も、画像処理装置の記録媒体に格納されたプログラムを実行することにより実現することができる。
【００３２】
三次元画像データ格納部２は、Ｘ線ＣＴ装置が撮影した三次元画像データを格納するものであって、いわゆるハードディスク等の記録媒体の一領域に三次元画像データが格納されることにより実現される。三次元画像データはｘ、ｙ、ｚの３軸を基準とした位置のデータと、その位置のデータにおけるＸ線の吸収係数に対応した値を、必要な座標の数だけ有して構成されており、後の各データ処理はこれら値に基づいて行われる。
【００３３】
骨領域抽出・分割部７は、三次元画像データのうち、被験者の撮影対象部位近傍の骨などの構成要素を抽出・分割し、三次元骨部データを作成するための部であり、例えばこのような機能を奏するプログラムを実行することによって実現することができる。
【００３４】
骨領域抽出・分割部７が骨領域を抽出・分割する方法は、三次元画像データから被験者の骨などの構成要素を抽出・分割できる限りにおいて特段限定されるわけではないが、例えば、一般的な領域拡張法などを好適に用いることができる。一般的な領域拡張法とは、適当な開始点を抽出したい構成要素の領域の一点として選択し、更にその開始点と隣接している画素に着目し、その隣接している画素の値が所定の画素の範囲にあるか否かを判定し、範囲内にある場合は抽出対象領域として選択し、範囲内にない場合は抽出対象外の領域として選択する。そしてこれら処理を抽出対象領域がなくなるまで拡張させ、領域を特定していく方法である。
【００３５】
移動パラメータ設定部８は、骨領域抽出・分割部７が抽出・分割した三次元骨部データに対し回転・平行移動を加えて位置や方向を推定するためのものであって、具体的には、この三次元骨部データに対し、回転や平行移動などを行う際に用いる移動パラメータを決定する。移動パラメータとしては、例えば、回転及び平行移動それぞれ３自由度ずつ合計６自由度ある。
【００３６】
図７に移動パラメータ設定部８の処理のイメージ図を、図８に移動パラメータ設定部８における機能ブロック図を示す。
【００３７】
図７（Ａ）、図８が示すように、移動パラメータ設定部８はまず、骨領域抽出・分割部７が作成した三次元骨データを画像表示装置が接続される表示装置に表示させる三次元骨データ表示部８１と、この三次元骨データ表示部８１が表示する三次元骨部データに対し所定の軸を設定するための第一の骨軸設定部８２と、を有している。
【００３８】
第一の骨軸設定部８２の具体例として膝の大腿骨を用いた場合の例を示す。図７（Ａ）は大腿骨の三次元骨部データを示すものである。まず画像処理装置のユーザーは、この三次元骨部データを表示装置で確認した後、大腿骨の特徴的な軸を二つ決定する。特徴的な軸を決定するのは、後述の二次元実透視像データの組に対し、この特徴的な軸に近い軸を設定しやすくするためである。例えば大腿骨の場合、図７（Ａ）のｚ方向に示す第一の骨軸は容易に設定でき、それに概ね垂直な方向にある第二の骨軸も、大腿骨に特徴的な内側顆、外側顆と呼ばれる二つの特徴的な突起部分を結ぶことによって比較的容易に設定することができる。なおｚ方向に示す第一の骨軸の定め方としては、三次元骨部データを複数のｘｙ平面にスライスし、その複数のｘｙ平面における骨部データ領域の重心を定め、これらに対し最も適切な直線を求めることで定めることができる。
【００３９】
またパラメータ設定部８は、図７（Ｂ）、図８が示すように、大腿骨の任意の時間における二次元実透視像データの組を表示装置に表示させる二次元実透視像データ表示部８３と、この二次元実透視像データ表示部８３が表示する二次元実透視像データの組それぞれに対し所定の軸を設定するための第二の骨軸設定部８４と、を有している。本画像処理装置のユーザーは、表示装置に表示される二次元実透視像データの組を確認し、そのそれぞれに対し上述の三次元骨データに対して設定した骨軸に相当すると考えられる二軸を二次元実透視像データにおいて決定する。この場合、上記選んだｚ軸方向に示す第一の骨軸、内側顆、外側顆と呼ばれる二つの特徴的な突起部分を結ぶ第二の骨軸に概ね一致するよう入力を行うことが好ましい。なお、二次元実透過像データの組は任意の時間における二次元実透視像データの組を表示させることができるが、連続的に変化する二次元実透視像データに対して近時のパラメータを使用することを考慮し、また時間的に並んだデータの処理の容易性の観点から、移動パラメータを最初に定める場合は、最初のフレームにおける二次元実透視像データの組を表示させておくことが望ましい。
【００４０】
その後、パラメータ設定部８におけるパラメータ計算部８５が、上記第一の骨軸設定部８２と第二の骨軸設定部８３とが設定したそれぞれの骨軸に基づき、それらが最も近似するよう計算し、三次元骨データにおける骨の初期の位置、方向を定める移動パラメータを設定する。なお、最も近づくように行う計算については種々採用することができるが、計算の容易性の観点からは最小二乗法が好適である。
【００４１】
また２フレーム目以降の三次元骨データ、二次元実透視像データの組に関しては、最初のフレームにおいて既に定めた移動パラメータを初期値として用いることが極めて有用である。これは、短時間で行われるＸ線透視装置の撮影においては、撮影対象領域近傍は動いているものの十分に小さいと考えられるため、大きく外れることは無く、前フレームにおける移動パラメータを初期値として用いることで最適化する処理の負担を十分に軽減できるためである。なお、ここにおける時間間隔としては装置等の諸要件により可変であるが、動きを十分に小さくし前のフレームにおける移動パラメータを有用に使う範囲として、概ね１／２秒以下であることが望ましく、より望ましくは１／１０秒以下、更に望ましくは１／３０秒以下である。また、本パラメータ設定部も上述の各部と同様、記録媒体に格納してなるプログラムを実行することにより実現できる。
【００４２】
仮想透視像計算部９は、キャリブレーションで決定した撮影のジオメトリーのパラメータを用いて、二次元仮想透視像データを作成する。より具体的には、上記パラメータ設定部にて求めた移動パラメータを用いて三次元骨データの方向や位置を定めるとともに、仮想のＸ線源の位置を定め、その仮想のＸ線源から投影を求め、その仮想Ｘ線からキャリブレーションで決定した撮影のジオメトリーを用いて二次元仮想透視像データを作成するのである。
【００４３】
濃度補正部５の濃度補正は、上述のとおり、二次元実透視データと二次元仮想透視像データとの間の階調特性を統一するためのものである。図９は具体的な濃度補正部５の処理を説明する図である。
【００４４】
ここでは二次元実透視像データを以下の式でモデル化処理する。
【数１】
【００４５】
ここでIfluは二次元実透視像データの各画素における画素値を、Iflu’は階調特性を変更した後の二次元実透視像データの各画素における画素値を、Ａ，Ｂは定数項の未知パラメータを、I0は二次元実透視像データの画素値のうち最大の画素値をそれぞれ示す。
【００４６】
ここで未知パラメータは、二次元実透視像データと二次元仮想透視像データとが類似の画素値分布になるように，対応する画素値の差分の絶対値と、画像の標準偏差の和を評価関数とし、評価値が最小となるようにフレーム毎に計算される。
【００４７】
第二のエッジ強調部１０は、第一のエッジ強調部６とほぼ同じ構成を採用することができる。本実施形態では、第一のエッジ強調部と第二のエッジ強調部とを異なる構成としているが、同一の構成とすることも可能である。即ち、共通のエッジ強調部とし、入力される画像データが二次元実透視像データに由来するデータである場合、三次元画像データに由来するデータである場合の双方に対応可能なエッジ共通部とすることが可能である。（例えば図１０参照）。
【００４８】
マッチング評価部１１は、上記各部において加工された二次元実透視像データと、三次元画像データを用いて各部が作成した二次元仮想透視像データとのマッチングを行う部であって、双方の画像のマッチング処理を行うことができる限りにおいて特段に制限はないが、具体的には、相関を用いた評価を行うことが好適である。即ちマッチング評価部１１は、二次元実透視像データと二次元か層透視像データとの間で求めた相関の値が前回のマッチング処理における相関の値と所定の範囲内にあるか否かに基づいてマッチング評価を行うことが望ましい態様である。例えば、この相関の値が前回の相関の値と所望の範囲内にあればマッチングしたと判断し、先ほど定めた三次元骨部データの位置や方向の移動パラメータを結果格納部１３に格納するとともに次のフレームの処理へ移り、この相関の値が前回の相関の値と所望の範囲内にない場合は、移動パラメータ更新部１２にその結果を送信し、再度二次元仮想透視像の作成を行わせるのである。なお先ほどの相関を用いた評価の場合は、相関の値が最大化されているか否かで判断される。
【００４９】
パラメータ更新部１２は、上記マッチング評価部１１がマッチングしていないと判断した場合、この回転・平行移動の移動パラメータを変更し、改めて仮想透視像計算部９に二次元仮想透視像データを作成させるための部である。即ちここで移動パラメータを変更した後は、仮想透視像計算部9、第二のエッジ強調部１０、マッチング評価部１１において順次処理が繰り返され、再びマッチング評価部１１により評価されることとなる。なお、上述したマッチング評価部１１が勾配相関を評価指標として用いた場合は、パラメータの更新手法としてＰｏｗｅｌｌの方法を用いることが好適である。
【００５０】
マッチングにおいてマッチングしたと判断された場合は、上述のとおり位置や方向の移動パラメータを記録するとともに次のフレームの処理へ移り、同様に各フレームにおいて作業を行うこととなる。またこれも上述したが、次のフレームにおいては、十分に時間が短いと判断できパラメータの変動があまり多くないと考えることができるため、パラメータ設定部８はこの移動パラメータを初期パラメータとして処理を行っていくことが極めて望ましい。
【００５１】
以上、本実施形態に係る画像処理装置により、高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することができる。特に本実施形態では、パラメータ設定部を設けて複数軸を入力させ、これらの間の相関を評価し調整しておくことにより、二次元実透視像データと三次元画像データとのマッチングにおける負担を少なくすることができ、極めて高速に測定対象部位近傍の三次元位置を推定できるようになる。さらに、この方法で定めたパラメータは次のフレームにおける画像処理においても使用でき、より高速化に寄与することができる。
【図面の簡単な説明】
【００５２】
【図１】画像処理装置が行う処理の概略を示す図
【図２】画像処理装置のより具体的な処理手順を示す図
【図３】Ｘ線透視装置におけるキャリブレーションの手順を示す図
【図４】ひずみ補正用ファントムを示す図
【図５】投影ジオメトリキャリブレーション用ファントムを示す図
【図６】画像処理装置の機能ブロック図
【図７】パラメータ設定部８の処理のイメージ図
【図８】パラメータ設定部８における機能ブロック図
【図９】濃度補正の処理を示す図
【図１０】画像処理装置の応用例における機能ブロック図
【符号の説明】
【００５３】
１…画像処理装置、２…三次元画像データ格納部、３…二次元実透視像データ格納部、４…ゆがみ補正部、５…濃度補正部、６…第一のエッジ強調部、７…骨領域抽出・分割部、８…移動パラメータ設定部、９…仮想透視像計算部、１０…第二のエッジ強調部、１１…マッチング評価部、１２…移動パラメータ更新部、１３…結果格納部
【特許請求の範囲】
【請求項１】
二次元実透視像データを格納する二次元実透視データ格納部、
該二次元実透視像データに対し補正を行う補正部、
三次元画像データを格納する三次元画像データ格納部、
該三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、
該三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、
前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、
前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置。
【請求項２】
前記マッチング評価部がマッチしないと判断した場合、前記パラメータを更新する移動パラメータ更新部、を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記仮想透視像計算部は、前記マッチング評価部がマッチングしないと判断し、前記移動パラメータを更新した場合、該更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記移動パラメータ設定部は、三次元骨部データを表示装置に表示する三次元骨部データ表示部、
該三次元骨部データに対して骨軸を設定する第一の骨軸設定部、
二次元実透視像データを表示装置に表示する二次元実透視像データ表示部、
該二次元実透視像データに対して骨軸を設定する第二の骨軸設定部、
前記第一及び第二の骨軸設定部が設定した骨軸に基づいて移動パラメータを設定する移動パラメータ計算部、を有することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第一の骨軸設定部で設定される骨軸は２本であり、
前記第二の骨軸設定部で設定される骨軸も２本であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
コンピュータに、
二次元実透視像データを格納する手段、
該二次元実透視像データに対し補正を行う手段、
三次元画像データを格納する手段、
該三次元画像データに基づいて三次元骨部データを作成する手段、
該三次元骨部データに対して移動パラメータを設定する手段、
前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する手段、
前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行う手段、として機能させるためのプログラム。
【請求項７】
前記マッチングを行う手段がマッチングしないと判断した場合、前記移動パラメータを更新する手段、としても機能することを特徴とする請求項６記載のプログラム。
【請求項８】
前記二次元仮想透視像を作成する手段は、前記マッチングを行う手段がマッチングしないと判断し、前記移動パラメータを更新した場合、該更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することを特徴とする請求項７記載のプログラム。
【請求項９】
前記移動パラメータを設定する手段部は、三次元骨部データを表示装置に表示する手段、
該三次元骨部データに対して骨軸を設定する第一の設定手段、
二次元実透視像データを表示装置に表示する手段、
該二次元実透視像データに対して骨軸を設定する第二の設定手段、
前記第一及び第二の設定手段が設定した骨軸に基づいて移動パラメータを設定する手段、としても機能することを特徴とする請求項６記載のプログラム。
【請求項１０】
前記第一の設定手段で設定される骨軸は２本であり、
前記第二の設定手段で設定される骨軸も２本であることを特徴とする請求項９記載のプログラム。
【請求項１】
二次元実透視像データを格納する二次元実透視データ格納部、
該二次元実透視像データに対し補正を行う補正部、
三次元画像データを格納する三次元画像データ格納部、
該三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、
該三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、
前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、
前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置。
【請求項２】
前記マッチング評価部がマッチしないと判断した場合、前記パラメータを更新する移動パラメータ更新部、を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記仮想透視像計算部は、前記マッチング評価部がマッチングしないと判断し、前記移動パラメータを更新した場合、該更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記移動パラメータ設定部は、三次元骨部データを表示装置に表示する三次元骨部データ表示部、
該三次元骨部データに対して骨軸を設定する第一の骨軸設定部、
二次元実透視像データを表示装置に表示する二次元実透視像データ表示部、
該二次元実透視像データに対して骨軸を設定する第二の骨軸設定部、
前記第一及び第二の骨軸設定部が設定した骨軸に基づいて移動パラメータを設定する移動パラメータ計算部、を有することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第一の骨軸設定部で設定される骨軸は２本であり、
前記第二の骨軸設定部で設定される骨軸も２本であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
コンピュータに、
二次元実透視像データを格納する手段、
該二次元実透視像データに対し補正を行う手段、
三次元画像データを格納する手段、
該三次元画像データに基づいて三次元骨部データを作成する手段、
該三次元骨部データに対して移動パラメータを設定する手段、
前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する手段、
前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行う手段、として機能させるためのプログラム。
【請求項７】
前記マッチングを行う手段がマッチングしないと判断した場合、前記移動パラメータを更新する手段、としても機能することを特徴とする請求項６記載のプログラム。
【請求項８】
前記二次元仮想透視像を作成する手段は、前記マッチングを行う手段がマッチングしないと判断し、前記移動パラメータを更新した場合、該更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することを特徴とする請求項７記載のプログラム。
【請求項９】
前記移動パラメータを設定する手段部は、三次元骨部データを表示装置に表示する手段、
該三次元骨部データに対して骨軸を設定する第一の設定手段、
二次元実透視像データを表示装置に表示する手段、
該二次元実透視像データに対して骨軸を設定する第二の設定手段、
前記第一及び第二の設定手段が設定した骨軸に基づいて移動パラメータを設定する手段、としても機能することを特徴とする請求項６記載のプログラム。
【請求項１０】
前記第一の設定手段で設定される骨軸は２本であり、
前記第二の設定手段で設定される骨軸も２本であることを特徴とする請求項９記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−２１２２９４（Ｐ２００６−２１２２９４Ａ）
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願番号】特願２００５−２９７９７（Ｐ２００５−２９７９７）
【出願日】平成１７年２月４日（２００５．２．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年８月５日 日本医用画像工学会主催の「第２３回 日本医用画像工学会大会」において文書をもって発表
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願日】平成１７年２月４日（２００５．２．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年８月５日 日本医用画像工学会主催の「第２３回 日本医用画像工学会大会」において文書をもって発表
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
[ Back to top ]