連続的にガイドされた内視鏡検査法への適用を伴う高速２Ｄ−３Ｄ画像重ね合わせ方法
２つのイメージング様式の間で高速かつ連続的な重ね合わせを行うための新規なフレームワークが開示される。本手法は、対応する奥行きマップ及び奥行き勾配を完備した一組の参照画像を計算するか又はキャプチャするステップを含む。これらの画像及び奥行きマップの集積は、参照ソースを構成する。この映像フィードからの１フレームが与えられると、視点の初期推測から開始し、実時間の映像フレームが参照ソースの最も近い視座に合わせて歪曲される。歪曲された映像フレームと参照画像との間の画像差が計算される。ガウス−ニュートン・パラメータ更新によって視点が更新され、視点が収束するか又は次の映像フレームが利用可能になるまで、各フレームについて幾つかのステップが繰り返される。最終視点は、その特定の映像フレームにおけるカメラと参照ソースとの間の相対的な回転及び平行移動の推定を与える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、画像相関に関し、具体的には、ガイドされた内視鏡検査及び他の分野に適用可能な高速画像重ね合わせ方法に関する。
【０００２】
（関連特許出願へのリファレンス）
本出願は、引用によりその内容全体をここに組み入れる、２００５年５月２３日付で出願された米国特許仮出願番号第６０／６８３，５８８号に基づく優先権を主張するものである。
【背景技術】
【０００３】
同一の環境内の異なる空間的位置及び方向においてカメラにより撮影された画像の重ね合わせ及び位置合わせは、コンピュータ・ビジョン及び医療用イメージングにおける多くの用途にとって重要な課題である。例えば、可動式カメラによって撮影された画像と、固定された監視カメラによる画像とを重ね合わせることは、ロボット・ナビゲーションを支援することができる。他の用途は、画像モザイク及びパノラマ、高ダイナミックレンジの画像、又は超解像度画像を構築する能力、又は２つのソース間での情報の融合を含む。
【０００４】
しかしながら、３Ｄシーンを２Ｄでイメージングすることでシーンの構造は本質的に失われるので、部分的な重ね合わせ情報しか回復できないことが通例である。多くの用途において、この重ね合わせの問題に構造を再導入するために、画像に付随させるための奥行きマップを生成するか又は推定することができる。
【０００５】
今現在利用可能な２Ｄ位置合わせアルゴリズムは勾配降下手法を用いるものであり、これは、以下の３点、すなわち、２つの画像間の空間的関係のパラメータ化（例えば、２つの２Ｄ画像間の２Ｄ回転及び平行移動）、どのパラメータ値の下でもこれらの画像を視覚化できる能力（例えば、３０度回転された２Ｄ参照画像を表示する）、及び、パラメータ更新の推定値の算出を可能にする関連付けられた画像勾配情報を伴う費用関数、に依存する。こうしたアルゴリズムのうちで最も直接的且つ初期のものが、画像位置合わせをガウス−ニュートンの最小化問題として計算するＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムである［５］。このアルゴリズムを後に洗練したものは、問題を再計算することによりパラメータ更新の計算を著しく高速化して、全ての勾配及びヘシアン情報を反復毎に計算するのではなく一度で計算することを可能にする、ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌ ａｌｉｇｎｍｅｎｔアルゴリズムを含む［６］。他の幾つかの改良は、パラメータと、これらのパラメータが誘導する対応する画像歪曲との選択を中心としてきた。例えば、同一のシーンを異なる位置から観察する２つの同一のカメラから得られた画像は、アフィン変換によって、又は８パラメータのホモグラフィによって、ほぼ関係付けることができる［７］。
【０００６】
このようなタイプのパラメータ化の主要な問題は、そのシステムの物理的に妥当なパラメータを真にキャプチャしないことであり、また、ホモグラフィの場合には、画像のオーバーフィッティングに繋がりかねないことである。より最近のパラメータ選択は、焦点の周囲で任意の３Ｄ回転ができる１つのカメラから得られた２つの画像のマッチングを試みている［８］。このアルゴリズムは物理的に妥当なパラメータ（焦点の周りの回転角度）の抽出に成功している。しかしながら、それは小さな平行移動を取り扱うことはできるが、一般的な平行移動を取り扱うことはできずに、誤差の発生源として処理する。
【０００７】
一般剛体変換（ｇｅｎｅｒａｌ ｒｉｇｉｄ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）（即ち３Ｄ回転及び平行移動）により関係付けられたカメラによって生成される２つの画像の重ね合わせ問題への取り組みは殆どなされていない。その主たる理由は、異なるカメラ位置から見た参照画像の正確な視覚化には、理想的には、その画像に関連付けられた奥行きマップが既知であることが必要とされる点であるが、これは常に当てはまるというわけではない。既知の人工環境におけるロボット操作、又は典型的には手技の前に３Ｄスキャンが行われる気管支鏡検査法の最中などの特定の状況においては、この情報は既知である。実際に、奥行きマップが未知である状況においてさえも、奥行きマップは画像自体から推定できることがしばしばである。
【０００８】
このことの一例が、前述された気管支鏡のガイドにおけるシェイプ・フロム・シェーディング問題である［９］。現行の手法は、医師が、１組のコンピュータ断層撮影（ＣＴ）フィルムを自ら解釈したものに基づいて構築しなければならない気道構造の３Ｄメンタルイメージ程度のものを用いて、気管支鏡を気管から気道樹中のどこかの所定位置までガイドすることを必要とする。この複雑な作業は、ナビゲーション中に医師が気道内で進路を見失う結果をもたらしかねないことがしばしばである［１］。このようなナビゲーションエラーのせいで、医師が誤った位置で多数の生検を行うことがあり、又は医師が再度方向を定めるために余分な時間をかけて既知の位置に戻らなければならないことがあるので、診断ミスを招くか、又は患者に不必要なストレスを生じさせる結果となる。
【０００９】
この問題を緩和し、かつ気管支鏡生検の成功率を上げて、それにより、患者のケアを改善するためには、気道樹内のカメラの位置を決めるための何らかの方法が用いられなければならない。Ｘ線透視法は内視鏡の位置判定に役立つことができる術中の視像を提供することができる。しかしながら、作成される画像は３Ｄである気道の２Ｄ射影なので、内視鏡位置の限定された情報を与えることしかできない。加えて、Ｘ線透視法は常に利用可能とは限らず、患者に当てる放射線量の増加という追加的な損失を伴う。
【００１０】
気管支鏡の映像と術前ＣＴデータとのマッチングを試みることによって気管支鏡の位置を判定する技術もまた幾つか存在する。１つの方法は、ＣＴ気道表面の３Ｄ対３Ｄの位置合わせを行うために、［２］のようにシェイプ・フロム・シェーディング法を用いて気管支鏡画像から３Ｄ表面を推定する。この方法は、照明モデルと気道表面特性に関して多数の仮定を行うことを必要とし、これらの仮定に反している場合には大きな表面誤差をもたらす。これを行う第２の方法は、ＣＴデータからの仮想画像のレンダリングと、それらと実際の気管支鏡映像との相互情報［３］又は画像差［４］を用いたマッチングとを、反復的に行うことである。
【００１１】
こうした方法は、様々な成功の度合をもって映像をＣＴに重ね合わせることはできるが、どれも非常に動作が遅く、シングルフレームの重ね合わせのみに関与する。これらのいずれも実映像とＣＴボリュームとの間の連続的な重ね合わせを提供できるほど十分に高速ではない。これらは、勾配情報及びＣＴ派生画像の既知の奥行きのいずれも利用しない最適化法に依存しており、従って、非常に計算集約的なパラメータ空間のサーチを必要とする。
【発明の開示】
【００１２】
本発明は、２つのイメージング様式の間で高速かつ連続的な重ね合わせを行うための新規な枠組みにある。本発明による画像の重ね合わせ方法は、奥行きマップを伴う１つ又はそれ以上の参照画像の集合を提供するステップと、その参照画像集合の中の少なくとも１つの参照画像に、その参照画像のための奥行きマップを用いて、画像を重ね合わせるステップとを含む。画像と参照集合とは、両方共に実像又は仮想であってもよく、或いは一方が実像で他方が仮想であってもよい。参照画像集合は、内視鏡画像であってもよく、気管支鏡、結腸鏡、腹腔鏡、又は他の器具に由来するものであってもよい。重ね合わせは、実時間又は近実時間で行われることが好ましく、参照画像集合の中の１つ又はそれ以上の画像は、重ね合わせ前、重ね合わせ中、又は重ね合わせ後に更新されることが可能である。
【００１３】
強固な実施形態によれば、参照画像集合は、奥行きマップ及び画像勾配で視点を表し、重ね合わされる画像は、複数の連続フレームを有する映像フィードに由来するものである。本方法は、
ａ）映像の１フレームを参照ソースの最も近い視点に合わせて歪曲するステップと、
ｂ）歪曲された映像フレームと参照画像との間の画像差を計算するステップと、
ｃ）ガウス−ニュートン・パラメータ更新を用いて視点を更新するステップと、
ｄ）視点が収束するか、又は次の映像フレームが利用可能になるまで、各フレームについて、ステップａ）からステップｃ）までを繰り返すステップと、
を含む。
【００１４】
本発明は、２つのソースを重ね合わせるために、多数のソースの間の剛体変換を実時間又は近実時間のフレームレートで完全に判定することを可能にする。ガイド下気管支鏡検査に関わる開示される実施形態は、以下のステップを含む。
１．オフライン・フェーズにおいて、対応する奥行きマップ及び画像勾配を完備した、既知の環境における参照画像の集合が計算されるか又はキャプチャされる。これらの画像及び奥行きマップの集積は、参照ソースを構成する。
２．第２のソースは、実況映像フィードからの実時間ソースである。この映像フィードからの１フレームが与えられると、視点の初期推測から開始し、実時間の映像フレームが参照ソースの最も近い視座（ｖｉｅｗｉｎｇ ｓｉｔｅ）に合わせて歪曲される。
３．歪曲された映像フレームと参照画像との間の画像差が計算される。
４．ガウス−ニュートン・パラメータ更新によって視点が更新される。
５．視点が収束するか又は次の映像フレームが利用可能になるまで、各フレームについてステップ２−４が繰り返される。最終視点は、その特定の映像フレームにおけるカメラと参照ソースとの間の相対的な回転及び平行移動の推定を与える。
【００１５】
本発明は、特に、気管支鏡検査及び結腸鏡検査を含む支援付き内視鏡検査の分野において、広範囲な用途を有する。他の用途は、航空ナビゲーション及び地上ナビゲーションを含む。
【発明を実施するための最良の形態】
【００１６】
概説すると、本発明は、画像の奥行きマップの導入により３次元に拡大された２Ｄ画像の位置合わせアルゴリズムである。本方法は、既存のマッチング・フレームワークを拡張して一般的な３Ｄカメラの動きを取り扱うための理想的な手法を提供し、カメラの外因的パラメータについて解を与えて、その環境内でそれを限局化することを可能にする。
【００１７】
本方法を非常に具体的な形で説明する目的のために、本論はガイド下気管支鏡検査に用いられるものと同様の状況に焦点を当てることになる。典型的な気管支鏡の手技においては、最初にＣＴスキャンが行われ、その後これを処理して気道樹表面を抽出することが可能である。中空の気道樹内部が、既知の環境を構成する。気管支鏡検査の最中には、気道に気管支鏡が挿入され、その先端に搭載されたカメラが一連の実際の気管支鏡（ＲＢ）映像を実時間で送信する。その内視鏡の較正パラメータが既知であるとすれば、気道樹内の任意の視点における仮想の気管支鏡（ＶＢ）画像（管腔内レンダリング）をレンダリングすることが可能である。ＶＢ画像の各ピクセルに対応する奥行きを直ちに計算して仮想奥行きマップ（ＶＤＭ）を形成することができることもまた明白である。
【００１８】
気道内部の未知の位置からの固定された実時間ＲＢ画像を有しているが、任意の視点から見た同じ中空の気道構造の表示（ｍａｎｉｆｅｓｔａｔｉｏｎ）を生成することを可能にする既知の位置及び３Ｄ情報を有する既知のＶＢソースもまた有していることが、問題である。上記の設定を与えられると、目標は、固定されたＲＢ画像と可能なＶＢ管腔内レンダリングのいずれかとの間で最も良好なマッチングを見出すように試みることによって、ＲＢ画像のソースの位置を限局化することである。１つの多分に直接的な手法は、仮想画像の観察パラメータ（ｖｉｅｗｉｎｇ ｐａｒａｍｅｔｅｒ）（即ち、視点）に関してＲＢ画像とＶＢ画像との間の差の測定値を最小化しようとするガウス−ニュートン勾配降下アルゴリズムを用いて、これを達成する手法である。これを行うための方法は、Ｌｕｃａｓ−Ｋａｎａｄｅ画像位置合わせアルゴリズムと同様のものである［５］。
【００１９】
［５，６］で用いられる目的関数は、２つの画像のピクセル強度の間の合計平方差（ｓｕｍ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）（ＳＳＤ）であるが、重みづけされたＳＤもまた同等に実行可能であり、何らかの付加的な弱い推定が為される場合には、重みづけされた又は重みづけされていない、正規化された相互相関（ＣＣ）を用いてもよい。従って、ＳＳＤを用いると、目的関数は、
(1)
と書くことができ、ここで、ｐは観察パラメータのベクトルであり、Ｉv（ｕ，ｖ；ｐ＋Δｐ）は視点ｐ＋Δｐからレンダリングされた仮想ＶＢ画像であり、ｕ及びｖは行及び列の指数であり、Ｉrは実ＲＢ画像である。［５］の手順に従い、ガウス−ニュートン・パラメータ更新Δｐは、
(2)
と求めることが示され、ここでヘシアンＨは、ガウス−ニュートンにより、
(3)
と近似され、ここで
は、パラメータ・ベクトルΔｐの成分の各々に関して、視点ｐにおいてレンダリングされたＶＢ画像Ｉv中のピクセル（ｕ，ｖ）の強度の変化を与えるベクトルである。
は、最急降下画像のベクトルとして解釈してもよく、ここでベクトルの各成分は、実際には、パラメータ・ベクトルの成分に関して画像強度の変動を記述する画像である。最急降下画像
は、視点ｐ毎に変化するので、これら、及びヘシアンは、全ての反復毎に再計算されねばならず、非常に計算コストが高いアルゴリズムとなっている。
【００２０】
反復を高速化するために、ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムが提案された［６］。この戦略の下では、パラメータ更新を用いて仮想視点を実視点に向かって動かすのではなく、パラメータ更新の逆数を用いて、実視点を仮想視点に向かって動かす。コンピュータが気管支鏡先端部の位置を全く制御できないことは明らかなので、これは実現不可能な戦略に見えるかもしれない。しかしながら、奥行きに基づく歪曲を用いることで、他の視点からの外観をシミュレーションするようにＲＢ画像を歪曲することが可能である。この戦略は、歪曲された形態の実画像を静止した仮想画像と比較することに帰結する。この定式化の下では、最小化することが求められる目的関数は、
(4)
である。歪曲関数Ｗ（・）は、ＲＢ画像Ｉrの画像座標を歪曲し、従って画像自体を歪曲する。この場合の歪曲は、実画像の奥行きマップＺrに依存することに留意することも重要である。４についてのガウス−ニュートン・パラメータ更新について解くと、
(5)
が得られる。これは問題に不必要な複雑性と誤差とを付加するように見えるかもしれないが、実際には反復を著しく高速化する役目を果たし、プリレンダリングされた（又は予めキャプチャされた）画像及び対応する奥行きマップの集積を代わりに有している場合には実行中に任意の視点をレンダリングする必要をなくすという付加的な副次的利点を有する。この顕著な速度の増加の理由は、ＶＢ画像とＶＢ画像勾配とは常に参照視座ｐ＝０において求められるので、従って、反復が開始される前に、以下の全ての動作を予め計算できることにある。即ち、
１．既知の環境が視座集合としてサンプリングされる。
２．各視座において、仮想画像Ｉvがプリレンダリングされる。
３．各位置において、仮想奥行きマップＺvが計算される。
４．ベクトルｐにおける観察パラメータの各々に関して、最急降下画像
が計算される。
５．逆へシアンＨ-1は、最急降下画像
から式（１４）によって推定されたガウス−ニュートンである。
次いで、アルゴリズムの反復部分は以下のステップで実行することができる。即ち、
１．実画像を姿勢ｐから最も近い参照位置まで歪曲する。
２．誤差画像
を計算する。
３．式（５）によって、パラメータ更新Δｐを計算する。
４．古いパラメータを更新の逆数（Δｐ）-1で増分することによって、新規のｐの値を求める。
【００２１】
これらのステップは図１に示される。歪曲関数を無視すると、ここまでに提示された全ての方程式は一般的であり、アフィン又はホモグラフィのような２Ｄ変換にも、又は３Ｄ回転にも、同等に良好に適用できる。しかしながら、ここから焦点は、我々が選択した座標系及びパラメータを伴う完全３Ｄモーションの場合に絞られる。（４）における歪曲を調べると、各々の参照視像は、
となるように定められ、用いられた視座毎に異なる座標系を生じるので、問題は、幾つかの局所座標系に換算して定義されると理解することができる。しかしながら、フレーム間でパラメータ変換を行うためにこれらの座標系の各々をグローバル座標フレームに関係付けるのは瑣末なことである。従って、グローバル・カメラ・フレームに対して１つのカメラ姿勢が与えられると、パラメータ・ベクトルは、最も近い参照視像に対して３つのオイラー回転角と３つの平行移動とを有する、
(6)
として定義することができる。
【００２２】
このパラメータ化によれば、歪曲Ｗ（ｕ，ｖ，Ｚ；ｐ）は、行列方程式
(7)
によって支配され、ここでＲはオイラー角（θr，θp，θy）によって定められる回転行列であり、ｕ及びｖは画像の列及び行であり、ｆは焦点距離であり、Ｚは、点（ｕ，ｖ）に対応する奥行きマップＺ上のエントリである。ここで（ｕ’，ｖ’）は、注目する歪曲された画像の座標を与え、Ｚ’は、その点に対応する歪曲された奥行きを与える。この問題記述においては、仮想奥行きマップＺvが既知であることのみを仮定することに留意されたい。しかしながら、ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムを用いる場合、歪曲は実画像Ｉrに適用されるのであり、まず、実奥行きマップＺrを、仮想奥行きマップＺvをｐによって実カメラの現在の推定姿勢へと歪曲させることによって計算しなければならない。これはまた、（７）を用い、次に、得られる歪曲された奥行きマップを実画像の座標系に内挿することによって行うこともできる。この際には、ｐの推定値は実際の値に比較的近いものであると暗黙の内に仮定されている。そうでなければ、パラメータ誤差が、実奥行きマップＺrの大きな誤差をもたらしかねず、従って、画像歪曲の大きな誤差をもたらしかねない。このような状況下においては、（１−２）によって支配される前進勾配降下法の方がよりこの問題に適している場合がある。
【００２３】
歪曲関数を適用するために、強度Ｉ（ｕ，ｖ）と奥行きＺ（ｕ，ｖ）を持つ各ピクセル座標（ｕ，ｖ）において、（７）によって、新規の座標（ｕ’，ｖ’）と奥行きＺ’（ｕ’，ｖ’）とが求められる。次いで、元の強度及び奥行きを新規の画像アレイＩ（ｕ’，ｖ’）にマッピングすることができる。歪曲を行う際には幾らかの特別な配慮が為されなければならない。第一に、（４）における画像差は、両方の画像で座標位置が同じであることを必要とする。従って、得られたアレイは、元のアレイと同じ座標格子に内挿されねばならない。この内挿のせいで、また、奥行きに基づく歪曲がオクルージョンをもたらすことがあるので、出力ピクセルに対応する適切な強度を選択することが困難になる場合がある。このことは、より大きな奥行きに対応する強度を、それがより小さな奥行きに対応する強度と重なる場合に棄却するようにすれば、ある程度は軽減できる。
【００２４】
最後に、最急降下画像
の計算である。最急降下画像を生成するには幾つかのやり方がある。それらは、各パラメータの小さい正の値と負の値とに歪曲された参照画像の差を求めることによって数値的に生成することができる。それらはまた、連鎖法則
(8)
によって導関数を拡張することによって解析的に生成することもでき、ここで、
及び、
は、画像の行及び列に関する画像勾配であり、Ｊpはｐに関する歪曲された座標のヤコビアンであって、故に、（７）からのｕ’とｖ’とを歪曲パラメータの各々に関して微分し、それを特定の現行値ｐにおいて求めることによって、得ることができる。ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムの場合には、画像導関数は、常に、
において求められ、従って、各参照視座においてヤコビアンは一定であり、即ち、
(9)
である。これで反復パラメータ更新Δｐを計算するのに必要な全ての情報を手に入れたことになる。最後のステップは、この更新の逆数をとり、これを現行のｐの推定値と合成することである。オイラー角は、
(10)
から得られる回転行列から求めることができ、ここでＲdはΔｐにおける回転角に関する増分回転行列である。更新された平行移動は、
(11)
から求めることができ、ここでΔｔiは、パラメータ更新Δｐの平行移動要素である。
【００２５】
上記の手法を適用する際の性能を向上させるために、幾つかの最適化技術が用いられる。最大解像度の画像に対して行う演算は非常に計算集約的なものになりがちである。従って、全ての画像、奥行きマップ、及び勾配が、各々のレベルにおいて、好ましくは係数４でダウン・サンプリングされた解像度ピラミッドが用いられる。予め計算される仮想視像及び勾配に関わる計算時間は特に考慮されず、また、殆どの映像キャプチャ・ハードウェアは実画像に対して実時間のハードウェア・サブサンプリングを提供しているので、このサブサンプリングの計算コストは些細なものであり、より迅速な反復時間を提供する。
【００２６】
ピラミッド分解を用いて、上述された重ね合わせアルゴリズムを実行する際には、アルゴリズムはピラミッドの最も低い解像度レベルから開始され（本明細書における実験結果は、レベル３、即ち６４分の１の解像度から開始して行われた）、より高い解像度レベルに進む前に、合理的な停止基準が満たされるまで実行される。このピラミッド的手法は計算を高速化するだけではなく、高度にサブサンプリングされた画像には最大の特徴のみが存在し、より鮮明な特徴は微調整を助けるためにより高い解像度レベルで導入されることから、局所的最適値への収束を防止する役目も果たす。
【００２７】
実際に用いられる第２の最適化は、異なる平均強度と強度範囲とを有する画像の比較を可能にすると共に、個々のピクセル値の重みづけを可能にする、重みづけされた正規化された相互相関目的関数、
(12)
の使用である。ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムの下でこの目的関数を用いるには、重みは一定でなければならず、最急降下画像の計算に先立って選択されねばならない（即ち、仮想画像の特徴から派生していなければならない）ことに留意すべきである。正規化されたＳＳＤと正規化された相互相関とが等価であることを利用して、更新は、
(13)
として求めることができ、この場合のヘシアンは、
(14)
である。
は、仮想画像Ｉvの分散で除算した、平均減算された（ｍｅａｎ−ｓｕｂｔｒａｃｔｅｄ）最急降下画像の集合であり、
は正規化された画像である。
【実施例１】
【００２８】
本アルゴリズムを確認するために、仮想から実像への重ね合わせの場合と仮想から仮想への重ね合わせの場合のサンプル結果が与えられる。以下で概説される両方の場合において、仮想環境はｈ００５で表される人間の患者の胸部ＣＴスキャンである。気道表面はＫｉｒａｌｙ他の方法［１０］を用いて自動的に生成された。気道中心線はＳｗｉｆｔ他の方法を用いて抽出され、仮想視座はこれらの気道中心線に沿って０．３ｍｍから１ｍｍまでのあいだで変動する間隔を空けて選択され、観察方向は気道中心線と平行に選択された［１１］。仮想画像及び奥行きマップは、気管支鏡カメラの較正パラメータと一致するように、スポットライト源をカメラの焦点と仮定し、視野を７８．２度、画像サイズを２６４×２６４と仮定して、ＯｐｅｎＧＬレンダラにより生成された。
【００２９】
仮想から実像への重ね合わせ
仮想から実像への重ね合わせは、レベル３から開始してレベル１で終了するピラミッド分解を用いて行われた。イメージング・ソース間の強度特性の差を説明するために、重みづけされた正規化された相互相関（１２）が目的関数として用いられ、気管支鏡映像においてはより多くの情報を有する傾向がある暗い領域を強調するために、重みｗu,vは
(15)
として選択された。ｈ００５に対して行われた気管支鏡検査から取られた映像フレームは、まず、実画像Ｉrを得るため、レンズから幾何学的樽形ひずみを取り除くように処理された。仮想から実像への重ね合わせの場合においては、操作中のスコープ先端部の位置が未知であるため、グランド・トルース位置を与えることは困難である。外部からの限局化なしでは、良好な重ね合わせの質は、ある程度、定性的な性質のものとなる。図２は、重ね合わせ結果の１つのサンプルを示し、重ね合わされていない実視像及び重ね合わされた実視像の上に仮想画像からのエッジがオーバーレイされている。この結果は、位置合わせが定性的に非常に満足できるものであることを示す。
【００３０】
仮想から仮想への重ね合わせ
仮想から仮想へ重ね合わせする場合においては、「実」画像は、実際には気道中の指定された位置において生成されたレンダリング画像であるが、全ての奥行き情報は棄却されている。本アルゴリズムは、レベル３から開始してレベル１で終了するピラミッド分解を用い、重みづけされたＳＳＤ目的関数が用いられたが、ここで、加重値ｗu,vは前述の（１５）のように選択された。
【００３１】
図３は、重ね合わせ前の「実」画像Ｉrと、最も近い参照位置にある仮想画像Ｉvと、重ね合わせが完了した後の歪曲された実画像Ｉr（Ｗ（ｕ，ｖ，Ｚ；ｐ））とを示す。
【表１】
【００３２】
気管支鏡検査の場合には、実ソースと仮想ソースとの重ね合わせのための少なくとも４つの異なる選択肢が利用可能である。これらのシナリオは以下のように概説される。即ち、
１．仮想から実像への重ね合わせ：未知の位置にある気管支鏡からの実時間の又は予め録画された映像Ｉrが、管腔内ＣＴレンダリングＩv及び奥行きマップＺvの組に重ね合わされる。
２．仮想から仮想への重ね合わせ：未知の位置の、関連する奥行きマップＺrを有するか、又は有さない管腔内レンダリングＩrが、管腔内ＣＴレンダリングＩv及び奥行きマップＺvの組に重ね合わされる。
３．実像から実像への重ね合わせ：未知の位置にある気管支鏡からの実時間の映像Ｉrが、既知の又は推定された奥行きマップＺvを有する予め記録された映像Ｉvの組に重ね合わされる。
４．実像から仮想への重ね合わせ：未知の配置の、関連する奥行きマップＺrを有するか、又は有さない管腔内レンダリングＩrが、既知の又は推定された奥行きマップＺvを有する予め記録された映像Ｉvの組に重ね合わされる。
【００３３】
本出願は、特に支援付き内視鏡検査の分野において広範囲な用途を有する。ＣＴボリュームと実時間の気管支鏡映像との間の重ね合わせを行うことは、ＣＴ領域と気管支鏡の間で情報の融合を可能にする。これは、ＣＴボリュームでのみ定められた関心領域（ＲＯＩ）を実像の映像フレームの上に重ね合わせて、これらのＲＯＩをナビゲートする医師を支援できるようにする。同様にして、気道中心線、気管支名称、及び壁までの距離といった数値情報を映像フレーム上に表示することが可能である。
【００３４】
この概念の当然の拡張は結腸鏡のような他の形態の内視鏡検査にも向けられ、その場合には重ね合わされた結腸鏡画像の上に同様のガイド情報を表示することができる。また、仮想から実像への重ね合わせは、予め録画された内視鏡映像にも適用することができ、内視鏡映像のみで利用可能なテクスチャ及び色情報をＣＴ由来の表面にマッピングして、映像のみでは利用できない視点からの視覚化を可能にするといった、多くの処理後オプションへの扉を開く。
【００３５】
この手法に関して想定できる実像から実像への重ね合わせのシナリオの１つの用途は、航空ナビゲーションのためのものである。地形学的な地勢情報と組み合わされた衛星画像は、既知の３Ｄ環境を提供し、一方ではこの環境に、航空機に搭載された移動カメラからの実時間画像を重ね合わせて、ＧＰＳ又はレーダー情報なしに航空機の位置及び方向を与えることが可能である。同様にして、本方法はまた、既知の環境における地上ロボット・ナビゲーションも支援する。立体カメラ設定を用いて、ロボットの作業環境全体を通じて既知の位置における参照画像及び奥行きマップをキャプチャすることができ、ロボットに取り付けられたカメラをこの画像及び奥行きマップの組に重ね合わせることができる。
【００３６】
参考文献
１．Ｈ．Ｍｉｎａｍｉ，Ｙ．Ａｎｄｏ，Ｆ．Ｎｏｍｕｒａ，Ｓ．Ｓａｋａｉ，及びＫ．Ｓｈｉｍｏｋａｔａ，“Ｉｎｔｅｒｂｒｏｎｃｈｏｓｃｏｐｉｓｔ ｖａｒｉａｂｉｌｉｔｙ ｉｎ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ｌｕｎｇ ｃａｎｃｅｒ ｂｙ ｆｌｅｘｉｂｌｅ ｂｒｏｎｃｈｏｓｃｏｐｙ，”Ｃｈｅｓｔ １０５（２），１６５８−１６６２頁，１９９４年６月。
２．Ｉ．Ｂｒｉｃａｕｌｔ，Ｇ．Ｆｅｒｒｅｔｔｉ，及びＰ．Ｃｉｎｑｕｉｎ，“Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｒｅａｌ ａｎｄ ＣＴ−ｄｅｒｉｖｅｄ ｖｉｒｔｕａｌ ｂｒｏｎｃｈｏｓｃｏｐｉｃ ｉｍａｇｅｓ ｔｏ ａｓｓｉｓｔ ｔｒａｎｓｂｒｏｎｃｈｉａｌ ｂｉｏｐｓｙ，”１７，７０３−７１４頁，１９９８年１０月。
３．Ｊ．Ｈｅｌｆｅｒｔｙ，Ｉｍａｇｅ−Ｇｕｉｄｅｄ Ｅｎｄｏｓｃｏｐｙ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ Ｔｏ Ｐｕｌｍｏｎａｒｙ Ｍｅｄｉｃｉｎｅ．博士論文，ペンシルバニア州立大学（Ｔｈｅ Ｐｅｎｎｓｙｌｖａｎｉａ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ），２００２年。
４．Ｄ．Ｄｅｇｕｃｈｉ，Ｋ．Ｍｏｒｉ，Ｊ．Ｈａｓｅｇａｗａ，Ｊ．Ｔｏｒｉｗａｋｉ，及びＨ．Ｎａｔｏｒｉ他，“Ｃａｍｅｒａ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ｏｆ ｒｅａｌ ｂｒｏｎｃｈｏｓｃｏｐｅ ｕｓｉｎｇ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ ａｎａｌｙｓｉｓ ａｎｄ ＣＴ ｄｅｒｉｖｅｄ ｂｒｏｎｃｈｏｓｃｏｐｉｃ ｉｍａｇｅｓ，”ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２００２：Ｐｈｙｓｉｏｌ．Ｆｕｎｃ．ｆｒｏｍ Ｍｕｌｔｉｄｉｍ．Ｉｍａｇｅｓ Ａ Ｃｌｏｕｇｈ及びＣ．Ｃｈｅｎ（編），４６８３，３０−４１頁，２００２年。
５．Ｂ．Ｌｕｃａｓ及びＴ．Ｋａｎａｄｅ，“Ａｎ ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｔｅｒｅｏ ｖｉｓｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，６７４−６７９頁，１９８１年。
６．Ｓ．Ｂａｋｅｒ及びＩ．Ｍａｔｔｈｅｗｓ，“Ｅｑｕｉｖａｌｅｎｃｅ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｉｍａｇｅ ａｌｉｇｎｍｅｎｔ ａｌｇｏｒｉｔｈｍｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ １，１０９０−１０９７頁，２００１年。
７．Ｈ．−Ｙ．Ｓｈｕｍ及びＲ．Ｓｚｅｌｉｓｋｉ，“Ｐａｎｏｒａｍｉｃ ｉｍａｇｅ ｍｉｓａｉｍｉｎｇ，”Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＭＳＲ−ＴＲ−９７−２３，Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ。
８．Ｈ．−Ｙ．Ｓｈｕｍ及びＲ．Ｓｚｅｌｉｓｋｉ，“Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｎｏｒａｍｉｃ ｉｍａｇｅ ｍｏｓａｉｃｓ ｗｉｔｈ ｇｌｏｂａｌ ａｎｄ ｌｏｃａｌ ａｌｉｇｎｍｅｎｔ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ １６（１），６３−８４頁，２０００年。
９．Ｔ．Ｏｋａｔａｎｉ及びＫ．Ｄｅｇｕｃｈｉ，“Ｓｈａｐｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ａｎ ｅｎｄｏｓｃｏｐｅ ｉｍａｇｅ ｂｙ ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ａ ｐｏｉｎｔ ｌｉｇｈｔ ｓｏｕｒｃｅ ａｔ ｔｈｅ ｐｒｏｊｅｃｔｉｏｎ ｃｅｎｔｅｒ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ６６， １１９−１３１頁，１９９７年５月。
１０．Ａ．Ｐ．Ｋｉｒａｌｙ，Ｅ．Ａ．Ｈｏｆｆｍａｎ，Ｇ．ＭｃＬｅｎｎａｎ，Ｗ．Ｅ．Ｈｉｇｇｉｎｓ，及びＪ．Ｍ．Ｒｅｉｎｈａｒｄｔ，“３Ｄ ｈｕｍａｎ ａｉｒｗａｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ｖｉｒｔｕａｌ ｂｒｏｎｃｈｏｓｃｏｐｙ，”ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２００２： Ｐｈｙｓｉｏｌｏｇｙ ａｎｄ Ｆｕｎｃｔ． ｆｒｏｍ Ｍｕｌｔｉｄｉｍ． Ｉｍａｇｅｓ，Ａ．Ｖ．Ｃｌｏｕｇｈ及びＣ．Ｔ．Ｃｈｅｎ，編．４６８３，１６−２９頁，２００２年。
１１．Ｒ．Ｓｗｉｆｔ，Ａ．Ｋｉｒａｌｙ，Ａ．Ｓｈｅｒｂｏｎｄｙ，Ａ．Ｌ．Ａｕｓｔｉｎ，Ｅ．Ａ．Ｈｏｆｆｍａｎ，Ｇ．ＭｃＬｅｎｎａｎ，及びＷ．Ｅ．Ｈｉｇｇｉｎｓ，“Ａｕｔｏｍａｔｉｃ ａｘｅｓ−ｇｅｎｅｒａｔｉｏｎ ｆｏｒ ｖｉｒｔｕａｌ ｂｒｏｎｃｈｏｓｃｏｐｉｃ ａｓｓｅｓｓｍｅｎｔ ｏｆ ｍａｊｏｒ ａｉｒｗａｙ ｏｂｓｔｒｕｃｔｉｏｎｓ，”Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｇｒａｐｈｉｃｓ ２６，１０３−１１８頁，２００２年３月−４月．
【図面の簡単な説明】
【００３７】
【図１】ガイド下気管支鏡検査のための重ね合わせアルゴリズムのブロック図である。
【図２Ａ】仮想−実像重ね合わせにおける実像の映像フレームである。
【図２Ｂ】仮想−実像重ね合わせにおける初期視点における歪曲された実画像である。
【図２Ｃ】仮想−実像重ね合わせにおけるオーバーレイされた最終参照画像からのエッジの図である。
【図２Ｄ】仮想−実像重ね合わせにおける最終重ね合わせに対応する参照仮想画像である。
【図２Ｅ】仮想−実像重ね合わせにおける最終視点における歪曲された実画像である。
【図２Ｆ】仮想−実像重ね合わせにおけるオーバーレイされた対応する仮想画像のエッジの図である。
【図３Ａ】仮想−仮想重ね合わせにおける実画像である。
【図３Ｂ】仮想−仮想重ね合わせにおける参照画像である。
【図３Ｃ】仮想−仮想重ね合わせにおける歪曲された実画像である。
【技術分野】
【０００１】
本発明は、一般に、画像相関に関し、具体的には、ガイドされた内視鏡検査及び他の分野に適用可能な高速画像重ね合わせ方法に関する。
【０００２】
（関連特許出願へのリファレンス）
本出願は、引用によりその内容全体をここに組み入れる、２００５年５月２３日付で出願された米国特許仮出願番号第６０／６８３，５８８号に基づく優先権を主張するものである。
【背景技術】
【０００３】
同一の環境内の異なる空間的位置及び方向においてカメラにより撮影された画像の重ね合わせ及び位置合わせは、コンピュータ・ビジョン及び医療用イメージングにおける多くの用途にとって重要な課題である。例えば、可動式カメラによって撮影された画像と、固定された監視カメラによる画像とを重ね合わせることは、ロボット・ナビゲーションを支援することができる。他の用途は、画像モザイク及びパノラマ、高ダイナミックレンジの画像、又は超解像度画像を構築する能力、又は２つのソース間での情報の融合を含む。
【０００４】
しかしながら、３Ｄシーンを２Ｄでイメージングすることでシーンの構造は本質的に失われるので、部分的な重ね合わせ情報しか回復できないことが通例である。多くの用途において、この重ね合わせの問題に構造を再導入するために、画像に付随させるための奥行きマップを生成するか又は推定することができる。
【０００５】
今現在利用可能な２Ｄ位置合わせアルゴリズムは勾配降下手法を用いるものであり、これは、以下の３点、すなわち、２つの画像間の空間的関係のパラメータ化（例えば、２つの２Ｄ画像間の２Ｄ回転及び平行移動）、どのパラメータ値の下でもこれらの画像を視覚化できる能力（例えば、３０度回転された２Ｄ参照画像を表示する）、及び、パラメータ更新の推定値の算出を可能にする関連付けられた画像勾配情報を伴う費用関数、に依存する。こうしたアルゴリズムのうちで最も直接的且つ初期のものが、画像位置合わせをガウス−ニュートンの最小化問題として計算するＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムである［５］。このアルゴリズムを後に洗練したものは、問題を再計算することによりパラメータ更新の計算を著しく高速化して、全ての勾配及びヘシアン情報を反復毎に計算するのではなく一度で計算することを可能にする、ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌ ａｌｉｇｎｍｅｎｔアルゴリズムを含む［６］。他の幾つかの改良は、パラメータと、これらのパラメータが誘導する対応する画像歪曲との選択を中心としてきた。例えば、同一のシーンを異なる位置から観察する２つの同一のカメラから得られた画像は、アフィン変換によって、又は８パラメータのホモグラフィによって、ほぼ関係付けることができる［７］。
【０００６】
このようなタイプのパラメータ化の主要な問題は、そのシステムの物理的に妥当なパラメータを真にキャプチャしないことであり、また、ホモグラフィの場合には、画像のオーバーフィッティングに繋がりかねないことである。より最近のパラメータ選択は、焦点の周囲で任意の３Ｄ回転ができる１つのカメラから得られた２つの画像のマッチングを試みている［８］。このアルゴリズムは物理的に妥当なパラメータ（焦点の周りの回転角度）の抽出に成功している。しかしながら、それは小さな平行移動を取り扱うことはできるが、一般的な平行移動を取り扱うことはできずに、誤差の発生源として処理する。
【０００７】
一般剛体変換（ｇｅｎｅｒａｌ ｒｉｇｉｄ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）（即ち３Ｄ回転及び平行移動）により関係付けられたカメラによって生成される２つの画像の重ね合わせ問題への取り組みは殆どなされていない。その主たる理由は、異なるカメラ位置から見た参照画像の正確な視覚化には、理想的には、その画像に関連付けられた奥行きマップが既知であることが必要とされる点であるが、これは常に当てはまるというわけではない。既知の人工環境におけるロボット操作、又は典型的には手技の前に３Ｄスキャンが行われる気管支鏡検査法の最中などの特定の状況においては、この情報は既知である。実際に、奥行きマップが未知である状況においてさえも、奥行きマップは画像自体から推定できることがしばしばである。
【０００８】
このことの一例が、前述された気管支鏡のガイドにおけるシェイプ・フロム・シェーディング問題である［９］。現行の手法は、医師が、１組のコンピュータ断層撮影（ＣＴ）フィルムを自ら解釈したものに基づいて構築しなければならない気道構造の３Ｄメンタルイメージ程度のものを用いて、気管支鏡を気管から気道樹中のどこかの所定位置までガイドすることを必要とする。この複雑な作業は、ナビゲーション中に医師が気道内で進路を見失う結果をもたらしかねないことがしばしばである［１］。このようなナビゲーションエラーのせいで、医師が誤った位置で多数の生検を行うことがあり、又は医師が再度方向を定めるために余分な時間をかけて既知の位置に戻らなければならないことがあるので、診断ミスを招くか、又は患者に不必要なストレスを生じさせる結果となる。
【０００９】
この問題を緩和し、かつ気管支鏡生検の成功率を上げて、それにより、患者のケアを改善するためには、気道樹内のカメラの位置を決めるための何らかの方法が用いられなければならない。Ｘ線透視法は内視鏡の位置判定に役立つことができる術中の視像を提供することができる。しかしながら、作成される画像は３Ｄである気道の２Ｄ射影なので、内視鏡位置の限定された情報を与えることしかできない。加えて、Ｘ線透視法は常に利用可能とは限らず、患者に当てる放射線量の増加という追加的な損失を伴う。
【００１０】
気管支鏡の映像と術前ＣＴデータとのマッチングを試みることによって気管支鏡の位置を判定する技術もまた幾つか存在する。１つの方法は、ＣＴ気道表面の３Ｄ対３Ｄの位置合わせを行うために、［２］のようにシェイプ・フロム・シェーディング法を用いて気管支鏡画像から３Ｄ表面を推定する。この方法は、照明モデルと気道表面特性に関して多数の仮定を行うことを必要とし、これらの仮定に反している場合には大きな表面誤差をもたらす。これを行う第２の方法は、ＣＴデータからの仮想画像のレンダリングと、それらと実際の気管支鏡映像との相互情報［３］又は画像差［４］を用いたマッチングとを、反復的に行うことである。
【００１１】
こうした方法は、様々な成功の度合をもって映像をＣＴに重ね合わせることはできるが、どれも非常に動作が遅く、シングルフレームの重ね合わせのみに関与する。これらのいずれも実映像とＣＴボリュームとの間の連続的な重ね合わせを提供できるほど十分に高速ではない。これらは、勾配情報及びＣＴ派生画像の既知の奥行きのいずれも利用しない最適化法に依存しており、従って、非常に計算集約的なパラメータ空間のサーチを必要とする。
【発明の開示】
【００１２】
本発明は、２つのイメージング様式の間で高速かつ連続的な重ね合わせを行うための新規な枠組みにある。本発明による画像の重ね合わせ方法は、奥行きマップを伴う１つ又はそれ以上の参照画像の集合を提供するステップと、その参照画像集合の中の少なくとも１つの参照画像に、その参照画像のための奥行きマップを用いて、画像を重ね合わせるステップとを含む。画像と参照集合とは、両方共に実像又は仮想であってもよく、或いは一方が実像で他方が仮想であってもよい。参照画像集合は、内視鏡画像であってもよく、気管支鏡、結腸鏡、腹腔鏡、又は他の器具に由来するものであってもよい。重ね合わせは、実時間又は近実時間で行われることが好ましく、参照画像集合の中の１つ又はそれ以上の画像は、重ね合わせ前、重ね合わせ中、又は重ね合わせ後に更新されることが可能である。
【００１３】
強固な実施形態によれば、参照画像集合は、奥行きマップ及び画像勾配で視点を表し、重ね合わされる画像は、複数の連続フレームを有する映像フィードに由来するものである。本方法は、
ａ）映像の１フレームを参照ソースの最も近い視点に合わせて歪曲するステップと、
ｂ）歪曲された映像フレームと参照画像との間の画像差を計算するステップと、
ｃ）ガウス−ニュートン・パラメータ更新を用いて視点を更新するステップと、
ｄ）視点が収束するか、又は次の映像フレームが利用可能になるまで、各フレームについて、ステップａ）からステップｃ）までを繰り返すステップと、
を含む。
【００１４】
本発明は、２つのソースを重ね合わせるために、多数のソースの間の剛体変換を実時間又は近実時間のフレームレートで完全に判定することを可能にする。ガイド下気管支鏡検査に関わる開示される実施形態は、以下のステップを含む。
１．オフライン・フェーズにおいて、対応する奥行きマップ及び画像勾配を完備した、既知の環境における参照画像の集合が計算されるか又はキャプチャされる。これらの画像及び奥行きマップの集積は、参照ソースを構成する。
２．第２のソースは、実況映像フィードからの実時間ソースである。この映像フィードからの１フレームが与えられると、視点の初期推測から開始し、実時間の映像フレームが参照ソースの最も近い視座（ｖｉｅｗｉｎｇ ｓｉｔｅ）に合わせて歪曲される。
３．歪曲された映像フレームと参照画像との間の画像差が計算される。
４．ガウス−ニュートン・パラメータ更新によって視点が更新される。
５．視点が収束するか又は次の映像フレームが利用可能になるまで、各フレームについてステップ２−４が繰り返される。最終視点は、その特定の映像フレームにおけるカメラと参照ソースとの間の相対的な回転及び平行移動の推定を与える。
【００１５】
本発明は、特に、気管支鏡検査及び結腸鏡検査を含む支援付き内視鏡検査の分野において、広範囲な用途を有する。他の用途は、航空ナビゲーション及び地上ナビゲーションを含む。
【発明を実施するための最良の形態】
【００１６】
概説すると、本発明は、画像の奥行きマップの導入により３次元に拡大された２Ｄ画像の位置合わせアルゴリズムである。本方法は、既存のマッチング・フレームワークを拡張して一般的な３Ｄカメラの動きを取り扱うための理想的な手法を提供し、カメラの外因的パラメータについて解を与えて、その環境内でそれを限局化することを可能にする。
【００１７】
本方法を非常に具体的な形で説明する目的のために、本論はガイド下気管支鏡検査に用いられるものと同様の状況に焦点を当てることになる。典型的な気管支鏡の手技においては、最初にＣＴスキャンが行われ、その後これを処理して気道樹表面を抽出することが可能である。中空の気道樹内部が、既知の環境を構成する。気管支鏡検査の最中には、気道に気管支鏡が挿入され、その先端に搭載されたカメラが一連の実際の気管支鏡（ＲＢ）映像を実時間で送信する。その内視鏡の較正パラメータが既知であるとすれば、気道樹内の任意の視点における仮想の気管支鏡（ＶＢ）画像（管腔内レンダリング）をレンダリングすることが可能である。ＶＢ画像の各ピクセルに対応する奥行きを直ちに計算して仮想奥行きマップ（ＶＤＭ）を形成することができることもまた明白である。
【００１８】
気道内部の未知の位置からの固定された実時間ＲＢ画像を有しているが、任意の視点から見た同じ中空の気道構造の表示（ｍａｎｉｆｅｓｔａｔｉｏｎ）を生成することを可能にする既知の位置及び３Ｄ情報を有する既知のＶＢソースもまた有していることが、問題である。上記の設定を与えられると、目標は、固定されたＲＢ画像と可能なＶＢ管腔内レンダリングのいずれかとの間で最も良好なマッチングを見出すように試みることによって、ＲＢ画像のソースの位置を限局化することである。１つの多分に直接的な手法は、仮想画像の観察パラメータ（ｖｉｅｗｉｎｇ ｐａｒａｍｅｔｅｒ）（即ち、視点）に関してＲＢ画像とＶＢ画像との間の差の測定値を最小化しようとするガウス−ニュートン勾配降下アルゴリズムを用いて、これを達成する手法である。これを行うための方法は、Ｌｕｃａｓ−Ｋａｎａｄｅ画像位置合わせアルゴリズムと同様のものである［５］。
【００１９】
［５，６］で用いられる目的関数は、２つの画像のピクセル強度の間の合計平方差（ｓｕｍ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）（ＳＳＤ）であるが、重みづけされたＳＤもまた同等に実行可能であり、何らかの付加的な弱い推定が為される場合には、重みづけされた又は重みづけされていない、正規化された相互相関（ＣＣ）を用いてもよい。従って、ＳＳＤを用いると、目的関数は、
(1)
と書くことができ、ここで、ｐは観察パラメータのベクトルであり、Ｉv（ｕ，ｖ；ｐ＋Δｐ）は視点ｐ＋Δｐからレンダリングされた仮想ＶＢ画像であり、ｕ及びｖは行及び列の指数であり、Ｉrは実ＲＢ画像である。［５］の手順に従い、ガウス−ニュートン・パラメータ更新Δｐは、
(2)
と求めることが示され、ここでヘシアンＨは、ガウス−ニュートンにより、
(3)
と近似され、ここで
は、パラメータ・ベクトルΔｐの成分の各々に関して、視点ｐにおいてレンダリングされたＶＢ画像Ｉv中のピクセル（ｕ，ｖ）の強度の変化を与えるベクトルである。
は、最急降下画像のベクトルとして解釈してもよく、ここでベクトルの各成分は、実際には、パラメータ・ベクトルの成分に関して画像強度の変動を記述する画像である。最急降下画像
は、視点ｐ毎に変化するので、これら、及びヘシアンは、全ての反復毎に再計算されねばならず、非常に計算コストが高いアルゴリズムとなっている。
【００２０】
反復を高速化するために、ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムが提案された［６］。この戦略の下では、パラメータ更新を用いて仮想視点を実視点に向かって動かすのではなく、パラメータ更新の逆数を用いて、実視点を仮想視点に向かって動かす。コンピュータが気管支鏡先端部の位置を全く制御できないことは明らかなので、これは実現不可能な戦略に見えるかもしれない。しかしながら、奥行きに基づく歪曲を用いることで、他の視点からの外観をシミュレーションするようにＲＢ画像を歪曲することが可能である。この戦略は、歪曲された形態の実画像を静止した仮想画像と比較することに帰結する。この定式化の下では、最小化することが求められる目的関数は、
(4)
である。歪曲関数Ｗ（・）は、ＲＢ画像Ｉrの画像座標を歪曲し、従って画像自体を歪曲する。この場合の歪曲は、実画像の奥行きマップＺrに依存することに留意することも重要である。４についてのガウス−ニュートン・パラメータ更新について解くと、
(5)
が得られる。これは問題に不必要な複雑性と誤差とを付加するように見えるかもしれないが、実際には反復を著しく高速化する役目を果たし、プリレンダリングされた（又は予めキャプチャされた）画像及び対応する奥行きマップの集積を代わりに有している場合には実行中に任意の視点をレンダリングする必要をなくすという付加的な副次的利点を有する。この顕著な速度の増加の理由は、ＶＢ画像とＶＢ画像勾配とは常に参照視座ｐ＝０において求められるので、従って、反復が開始される前に、以下の全ての動作を予め計算できることにある。即ち、
１．既知の環境が視座集合としてサンプリングされる。
２．各視座において、仮想画像Ｉvがプリレンダリングされる。
３．各位置において、仮想奥行きマップＺvが計算される。
４．ベクトルｐにおける観察パラメータの各々に関して、最急降下画像
が計算される。
５．逆へシアンＨ-1は、最急降下画像
から式（１４）によって推定されたガウス−ニュートンである。
次いで、アルゴリズムの反復部分は以下のステップで実行することができる。即ち、
１．実画像を姿勢ｐから最も近い参照位置まで歪曲する。
２．誤差画像
を計算する。
３．式（５）によって、パラメータ更新Δｐを計算する。
４．古いパラメータを更新の逆数（Δｐ）-1で増分することによって、新規のｐの値を求める。
【００２１】
これらのステップは図１に示される。歪曲関数を無視すると、ここまでに提示された全ての方程式は一般的であり、アフィン又はホモグラフィのような２Ｄ変換にも、又は３Ｄ回転にも、同等に良好に適用できる。しかしながら、ここから焦点は、我々が選択した座標系及びパラメータを伴う完全３Ｄモーションの場合に絞られる。（４）における歪曲を調べると、各々の参照視像は、
となるように定められ、用いられた視座毎に異なる座標系を生じるので、問題は、幾つかの局所座標系に換算して定義されると理解することができる。しかしながら、フレーム間でパラメータ変換を行うためにこれらの座標系の各々をグローバル座標フレームに関係付けるのは瑣末なことである。従って、グローバル・カメラ・フレームに対して１つのカメラ姿勢が与えられると、パラメータ・ベクトルは、最も近い参照視像に対して３つのオイラー回転角と３つの平行移動とを有する、
(6)
として定義することができる。
【００２２】
このパラメータ化によれば、歪曲Ｗ（ｕ，ｖ，Ｚ；ｐ）は、行列方程式
(7)
によって支配され、ここでＲはオイラー角（θr，θp，θy）によって定められる回転行列であり、ｕ及びｖは画像の列及び行であり、ｆは焦点距離であり、Ｚは、点（ｕ，ｖ）に対応する奥行きマップＺ上のエントリである。ここで（ｕ’，ｖ’）は、注目する歪曲された画像の座標を与え、Ｚ’は、その点に対応する歪曲された奥行きを与える。この問題記述においては、仮想奥行きマップＺvが既知であることのみを仮定することに留意されたい。しかしながら、ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムを用いる場合、歪曲は実画像Ｉrに適用されるのであり、まず、実奥行きマップＺrを、仮想奥行きマップＺvをｐによって実カメラの現在の推定姿勢へと歪曲させることによって計算しなければならない。これはまた、（７）を用い、次に、得られる歪曲された奥行きマップを実画像の座標系に内挿することによって行うこともできる。この際には、ｐの推定値は実際の値に比較的近いものであると暗黙の内に仮定されている。そうでなければ、パラメータ誤差が、実奥行きマップＺrの大きな誤差をもたらしかねず、従って、画像歪曲の大きな誤差をもたらしかねない。このような状況下においては、（１−２）によって支配される前進勾配降下法の方がよりこの問題に適している場合がある。
【００２３】
歪曲関数を適用するために、強度Ｉ（ｕ，ｖ）と奥行きＺ（ｕ，ｖ）を持つ各ピクセル座標（ｕ，ｖ）において、（７）によって、新規の座標（ｕ’，ｖ’）と奥行きＺ’（ｕ’，ｖ’）とが求められる。次いで、元の強度及び奥行きを新規の画像アレイＩ（ｕ’，ｖ’）にマッピングすることができる。歪曲を行う際には幾らかの特別な配慮が為されなければならない。第一に、（４）における画像差は、両方の画像で座標位置が同じであることを必要とする。従って、得られたアレイは、元のアレイと同じ座標格子に内挿されねばならない。この内挿のせいで、また、奥行きに基づく歪曲がオクルージョンをもたらすことがあるので、出力ピクセルに対応する適切な強度を選択することが困難になる場合がある。このことは、より大きな奥行きに対応する強度を、それがより小さな奥行きに対応する強度と重なる場合に棄却するようにすれば、ある程度は軽減できる。
【００２４】
最後に、最急降下画像
の計算である。最急降下画像を生成するには幾つかのやり方がある。それらは、各パラメータの小さい正の値と負の値とに歪曲された参照画像の差を求めることによって数値的に生成することができる。それらはまた、連鎖法則
(8)
によって導関数を拡張することによって解析的に生成することもでき、ここで、
及び、
は、画像の行及び列に関する画像勾配であり、Ｊpはｐに関する歪曲された座標のヤコビアンであって、故に、（７）からのｕ’とｖ’とを歪曲パラメータの各々に関して微分し、それを特定の現行値ｐにおいて求めることによって、得ることができる。ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムの場合には、画像導関数は、常に、
において求められ、従って、各参照視座においてヤコビアンは一定であり、即ち、
(9)
である。これで反復パラメータ更新Δｐを計算するのに必要な全ての情報を手に入れたことになる。最後のステップは、この更新の逆数をとり、これを現行のｐの推定値と合成することである。オイラー角は、
(10)
から得られる回転行列から求めることができ、ここでＲdはΔｐにおける回転角に関する増分回転行列である。更新された平行移動は、
(11)
から求めることができ、ここでΔｔiは、パラメータ更新Δｐの平行移動要素である。
【００２５】
上記の手法を適用する際の性能を向上させるために、幾つかの最適化技術が用いられる。最大解像度の画像に対して行う演算は非常に計算集約的なものになりがちである。従って、全ての画像、奥行きマップ、及び勾配が、各々のレベルにおいて、好ましくは係数４でダウン・サンプリングされた解像度ピラミッドが用いられる。予め計算される仮想視像及び勾配に関わる計算時間は特に考慮されず、また、殆どの映像キャプチャ・ハードウェアは実画像に対して実時間のハードウェア・サブサンプリングを提供しているので、このサブサンプリングの計算コストは些細なものであり、より迅速な反復時間を提供する。
【００２６】
ピラミッド分解を用いて、上述された重ね合わせアルゴリズムを実行する際には、アルゴリズムはピラミッドの最も低い解像度レベルから開始され（本明細書における実験結果は、レベル３、即ち６４分の１の解像度から開始して行われた）、より高い解像度レベルに進む前に、合理的な停止基準が満たされるまで実行される。このピラミッド的手法は計算を高速化するだけではなく、高度にサブサンプリングされた画像には最大の特徴のみが存在し、より鮮明な特徴は微調整を助けるためにより高い解像度レベルで導入されることから、局所的最適値への収束を防止する役目も果たす。
【００２７】
実際に用いられる第２の最適化は、異なる平均強度と強度範囲とを有する画像の比較を可能にすると共に、個々のピクセル値の重みづけを可能にする、重みづけされた正規化された相互相関目的関数、
(12)
の使用である。ｉｎｖｅｒｓｅ ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムの下でこの目的関数を用いるには、重みは一定でなければならず、最急降下画像の計算に先立って選択されねばならない（即ち、仮想画像の特徴から派生していなければならない）ことに留意すべきである。正規化されたＳＳＤと正規化された相互相関とが等価であることを利用して、更新は、
(13)
として求めることができ、この場合のヘシアンは、
(14)
である。
は、仮想画像Ｉvの分散で除算した、平均減算された（ｍｅａｎ−ｓｕｂｔｒａｃｔｅｄ）最急降下画像の集合であり、
は正規化された画像である。
【実施例１】
【００２８】
本アルゴリズムを確認するために、仮想から実像への重ね合わせの場合と仮想から仮想への重ね合わせの場合のサンプル結果が与えられる。以下で概説される両方の場合において、仮想環境はｈ００５で表される人間の患者の胸部ＣＴスキャンである。気道表面はＫｉｒａｌｙ他の方法［１０］を用いて自動的に生成された。気道中心線はＳｗｉｆｔ他の方法を用いて抽出され、仮想視座はこれらの気道中心線に沿って０．３ｍｍから１ｍｍまでのあいだで変動する間隔を空けて選択され、観察方向は気道中心線と平行に選択された［１１］。仮想画像及び奥行きマップは、気管支鏡カメラの較正パラメータと一致するように、スポットライト源をカメラの焦点と仮定し、視野を７８．２度、画像サイズを２６４×２６４と仮定して、ＯｐｅｎＧＬレンダラにより生成された。
【００２９】
仮想から実像への重ね合わせ
仮想から実像への重ね合わせは、レベル３から開始してレベル１で終了するピラミッド分解を用いて行われた。イメージング・ソース間の強度特性の差を説明するために、重みづけされた正規化された相互相関（１２）が目的関数として用いられ、気管支鏡映像においてはより多くの情報を有する傾向がある暗い領域を強調するために、重みｗu,vは
(15)
として選択された。ｈ００５に対して行われた気管支鏡検査から取られた映像フレームは、まず、実画像Ｉrを得るため、レンズから幾何学的樽形ひずみを取り除くように処理された。仮想から実像への重ね合わせの場合においては、操作中のスコープ先端部の位置が未知であるため、グランド・トルース位置を与えることは困難である。外部からの限局化なしでは、良好な重ね合わせの質は、ある程度、定性的な性質のものとなる。図２は、重ね合わせ結果の１つのサンプルを示し、重ね合わされていない実視像及び重ね合わされた実視像の上に仮想画像からのエッジがオーバーレイされている。この結果は、位置合わせが定性的に非常に満足できるものであることを示す。
【００３０】
仮想から仮想への重ね合わせ
仮想から仮想へ重ね合わせする場合においては、「実」画像は、実際には気道中の指定された位置において生成されたレンダリング画像であるが、全ての奥行き情報は棄却されている。本アルゴリズムは、レベル３から開始してレベル１で終了するピラミッド分解を用い、重みづけされたＳＳＤ目的関数が用いられたが、ここで、加重値ｗu,vは前述の（１５）のように選択された。
【００３１】
図３は、重ね合わせ前の「実」画像Ｉrと、最も近い参照位置にある仮想画像Ｉvと、重ね合わせが完了した後の歪曲された実画像Ｉr（Ｗ（ｕ，ｖ，Ｚ；ｐ））とを示す。
【表１】
【００３２】
気管支鏡検査の場合には、実ソースと仮想ソースとの重ね合わせのための少なくとも４つの異なる選択肢が利用可能である。これらのシナリオは以下のように概説される。即ち、
１．仮想から実像への重ね合わせ：未知の位置にある気管支鏡からの実時間の又は予め録画された映像Ｉrが、管腔内ＣＴレンダリングＩv及び奥行きマップＺvの組に重ね合わされる。
２．仮想から仮想への重ね合わせ：未知の位置の、関連する奥行きマップＺrを有するか、又は有さない管腔内レンダリングＩrが、管腔内ＣＴレンダリングＩv及び奥行きマップＺvの組に重ね合わされる。
３．実像から実像への重ね合わせ：未知の位置にある気管支鏡からの実時間の映像Ｉrが、既知の又は推定された奥行きマップＺvを有する予め記録された映像Ｉvの組に重ね合わされる。
４．実像から仮想への重ね合わせ：未知の配置の、関連する奥行きマップＺrを有するか、又は有さない管腔内レンダリングＩrが、既知の又は推定された奥行きマップＺvを有する予め記録された映像Ｉvの組に重ね合わされる。
【００３３】
本出願は、特に支援付き内視鏡検査の分野において広範囲な用途を有する。ＣＴボリュームと実時間の気管支鏡映像との間の重ね合わせを行うことは、ＣＴ領域と気管支鏡の間で情報の融合を可能にする。これは、ＣＴボリュームでのみ定められた関心領域（ＲＯＩ）を実像の映像フレームの上に重ね合わせて、これらのＲＯＩをナビゲートする医師を支援できるようにする。同様にして、気道中心線、気管支名称、及び壁までの距離といった数値情報を映像フレーム上に表示することが可能である。
【００３４】
この概念の当然の拡張は結腸鏡のような他の形態の内視鏡検査にも向けられ、その場合には重ね合わされた結腸鏡画像の上に同様のガイド情報を表示することができる。また、仮想から実像への重ね合わせは、予め録画された内視鏡映像にも適用することができ、内視鏡映像のみで利用可能なテクスチャ及び色情報をＣＴ由来の表面にマッピングして、映像のみでは利用できない視点からの視覚化を可能にするといった、多くの処理後オプションへの扉を開く。
【００３５】
この手法に関して想定できる実像から実像への重ね合わせのシナリオの１つの用途は、航空ナビゲーションのためのものである。地形学的な地勢情報と組み合わされた衛星画像は、既知の３Ｄ環境を提供し、一方ではこの環境に、航空機に搭載された移動カメラからの実時間画像を重ね合わせて、ＧＰＳ又はレーダー情報なしに航空機の位置及び方向を与えることが可能である。同様にして、本方法はまた、既知の環境における地上ロボット・ナビゲーションも支援する。立体カメラ設定を用いて、ロボットの作業環境全体を通じて既知の位置における参照画像及び奥行きマップをキャプチャすることができ、ロボットに取り付けられたカメラをこの画像及び奥行きマップの組に重ね合わせることができる。
【００３６】
参考文献
１．Ｈ．Ｍｉｎａｍｉ，Ｙ．Ａｎｄｏ，Ｆ．Ｎｏｍｕｒａ，Ｓ．Ｓａｋａｉ，及びＫ．Ｓｈｉｍｏｋａｔａ，“Ｉｎｔｅｒｂｒｏｎｃｈｏｓｃｏｐｉｓｔ ｖａｒｉａｂｉｌｉｔｙ ｉｎ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ｌｕｎｇ ｃａｎｃｅｒ ｂｙ ｆｌｅｘｉｂｌｅ ｂｒｏｎｃｈｏｓｃｏｐｙ，”Ｃｈｅｓｔ １０５（２），１６５８−１６６２頁，１９９４年６月。
２．Ｉ．Ｂｒｉｃａｕｌｔ，Ｇ．Ｆｅｒｒｅｔｔｉ，及びＰ．Ｃｉｎｑｕｉｎ，“Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｒｅａｌ ａｎｄ ＣＴ−ｄｅｒｉｖｅｄ ｖｉｒｔｕａｌ ｂｒｏｎｃｈｏｓｃｏｐｉｃ ｉｍａｇｅｓ ｔｏ ａｓｓｉｓｔ ｔｒａｎｓｂｒｏｎｃｈｉａｌ ｂｉｏｐｓｙ，”１７，７０３−７１４頁，１９９８年１０月。
３．Ｊ．Ｈｅｌｆｅｒｔｙ，Ｉｍａｇｅ−Ｇｕｉｄｅｄ Ｅｎｄｏｓｃｏｐｙ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ Ｔｏ Ｐｕｌｍｏｎａｒｙ Ｍｅｄｉｃｉｎｅ．博士論文，ペンシルバニア州立大学（Ｔｈｅ Ｐｅｎｎｓｙｌｖａｎｉａ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ），２００２年。
４．Ｄ．Ｄｅｇｕｃｈｉ，Ｋ．Ｍｏｒｉ，Ｊ．Ｈａｓｅｇａｗａ，Ｊ．Ｔｏｒｉｗａｋｉ，及びＨ．Ｎａｔｏｒｉ他，“Ｃａｍｅｒａ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ｏｆ ｒｅａｌ ｂｒｏｎｃｈｏｓｃｏｐｅ ｕｓｉｎｇ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ ａｎａｌｙｓｉｓ ａｎｄ ＣＴ ｄｅｒｉｖｅｄ ｂｒｏｎｃｈｏｓｃｏｐｉｃ ｉｍａｇｅｓ，”ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２００２：Ｐｈｙｓｉｏｌ．Ｆｕｎｃ．ｆｒｏｍ Ｍｕｌｔｉｄｉｍ．Ｉｍａｇｅｓ Ａ Ｃｌｏｕｇｈ及びＣ．Ｃｈｅｎ（編），４６８３，３０−４１頁，２００２年。
５．Ｂ．Ｌｕｃａｓ及びＴ．Ｋａｎａｄｅ，“Ａｎ ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｔｅｒｅｏ ｖｉｓｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，６７４−６７９頁，１９８１年。
６．Ｓ．Ｂａｋｅｒ及びＩ．Ｍａｔｔｈｅｗｓ，“Ｅｑｕｉｖａｌｅｎｃｅ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｉｍａｇｅ ａｌｉｇｎｍｅｎｔ ａｌｇｏｒｉｔｈｍｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ １，１０９０−１０９７頁，２００１年。
７．Ｈ．−Ｙ．Ｓｈｕｍ及びＲ．Ｓｚｅｌｉｓｋｉ，“Ｐａｎｏｒａｍｉｃ ｉｍａｇｅ ｍｉｓａｉｍｉｎｇ，”Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＭＳＲ−ＴＲ−９７−２３，Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ。
８．Ｈ．−Ｙ．Ｓｈｕｍ及びＲ．Ｓｚｅｌｉｓｋｉ，“Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｎｏｒａｍｉｃ ｉｍａｇｅ ｍｏｓａｉｃｓ ｗｉｔｈ ｇｌｏｂａｌ ａｎｄ ｌｏｃａｌ ａｌｉｇｎｍｅｎｔ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ １６（１），６３−８４頁，２０００年。
９．Ｔ．Ｏｋａｔａｎｉ及びＫ．Ｄｅｇｕｃｈｉ，“Ｓｈａｐｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ａｎ ｅｎｄｏｓｃｏｐｅ ｉｍａｇｅ ｂｙ ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ａ ｐｏｉｎｔ ｌｉｇｈｔ ｓｏｕｒｃｅ ａｔ ｔｈｅ ｐｒｏｊｅｃｔｉｏｎ ｃｅｎｔｅｒ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ６６， １１９−１３１頁，１９９７年５月。
１０．Ａ．Ｐ．Ｋｉｒａｌｙ，Ｅ．Ａ．Ｈｏｆｆｍａｎ，Ｇ．ＭｃＬｅｎｎａｎ，Ｗ．Ｅ．Ｈｉｇｇｉｎｓ，及びＪ．Ｍ．Ｒｅｉｎｈａｒｄｔ，“３Ｄ ｈｕｍａｎ ａｉｒｗａｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ｖｉｒｔｕａｌ ｂｒｏｎｃｈｏｓｃｏｐｙ，”ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２００２： Ｐｈｙｓｉｏｌｏｇｙ ａｎｄ Ｆｕｎｃｔ． ｆｒｏｍ Ｍｕｌｔｉｄｉｍ． Ｉｍａｇｅｓ，Ａ．Ｖ．Ｃｌｏｕｇｈ及びＣ．Ｔ．Ｃｈｅｎ，編．４６８３，１６−２９頁，２００２年。
１１．Ｒ．Ｓｗｉｆｔ，Ａ．Ｋｉｒａｌｙ，Ａ．Ｓｈｅｒｂｏｎｄｙ，Ａ．Ｌ．Ａｕｓｔｉｎ，Ｅ．Ａ．Ｈｏｆｆｍａｎ，Ｇ．ＭｃＬｅｎｎａｎ，及びＷ．Ｅ．Ｈｉｇｇｉｎｓ，“Ａｕｔｏｍａｔｉｃ ａｘｅｓ−ｇｅｎｅｒａｔｉｏｎ ｆｏｒ ｖｉｒｔｕａｌ ｂｒｏｎｃｈｏｓｃｏｐｉｃ ａｓｓｅｓｓｍｅｎｔ ｏｆ ｍａｊｏｒ ａｉｒｗａｙ ｏｂｓｔｒｕｃｔｉｏｎｓ，”Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｇｒａｐｈｉｃｓ ２６，１０３−１１８頁，２００２年３月−４月．
【図面の簡単な説明】
【００３７】
【図１】ガイド下気管支鏡検査のための重ね合わせアルゴリズムのブロック図である。
【図２Ａ】仮想−実像重ね合わせにおける実像の映像フレームである。
【図２Ｂ】仮想−実像重ね合わせにおける初期視点における歪曲された実画像である。
【図２Ｃ】仮想−実像重ね合わせにおけるオーバーレイされた最終参照画像からのエッジの図である。
【図２Ｄ】仮想−実像重ね合わせにおける最終重ね合わせに対応する参照仮想画像である。
【図２Ｅ】仮想−実像重ね合わせにおける最終視点における歪曲された実画像である。
【図２Ｆ】仮想−実像重ね合わせにおけるオーバーレイされた対応する仮想画像のエッジの図である。
【図３Ａ】仮想−仮想重ね合わせにおける実画像である。
【図３Ｂ】仮想−仮想重ね合わせにおける参照画像である。
【図３Ｃ】仮想−仮想重ね合わせにおける歪曲された実画像である。
【特許請求の範囲】
【請求項１】
画像を重ね合わせるための方法であって、
奥行きマップを伴う１つ又はそれ以上の参照画像の集合を提供するステップと、
前記画像を、前記集合のうちの少なくとも１つの参照画像に、該参照画像のための奥行きマップを用いて重ね合わせるステップと、
を含むことを特徴とする方法。
【請求項２】
前記画像が実像であり、且つ前記参照画像集合が実像であるか、
前記画像が実像であり、且つ前記参照画像集合が仮想であるか、
前記画像が仮想であり、且つ前記参照画像集合が実像であるか、又は
前記画像が仮想であり、且つ前記参照画像集合が仮想である、
ことを特徴とする、請求項１に記載の方法。
【請求項３】
前記画像又は前記参照画像集合が内視鏡画像であることを特徴とする、請求項１に記載の方法。
【請求項４】
前記重ね合わせが実時間又は近実時間に行われることを特徴とする、請求項１に記載の方法。
【請求項５】
前記参照画像集合のうちの少なくとも１つの画像が、画像勾配をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項６】
前記画像が相互相関していることを特徴とする、請求項１に記載の方法。
【請求項７】
重ね合わされる前記画像が映像フレームであることを特徴とする、請求項１に記載の方法。
【請求項８】
重ね合わされる前記画像が、重ね合わせに先立って歪曲されることを特徴とする、請求項１に記載の方法。
【請求項９】
前記重ね合わせが画像差を計算するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項１０】
前記重ね合わせがガウス−ニュートン法を用いて更新されることを特徴とする、請求項１に記載の方法。
【請求項１１】
前記参照画像集合は、重ね合わせ前、重ね合わせ中、又は重ね合わせ後に更新できることを特徴とする、請求項１に記載の方法。
【請求項１２】
前記参照画像集合は奥行きマップ及び画像勾配で視点を表し、
前記重ね合わされる画像は、複数の連続フレームを有する映像フィードに由来するものであり、
前記方法は、
ａ）前記映像フレームを参照ソースの最も近い視点に合わせて歪曲するステップと、
ｂ）前記歪曲された映像フレームと前記参照画像との間の画像差を計算するステップと、
ｃ）ガウス−ニュートンのパラメータの更新を用いて前記視点を更新するステップと、
ｄ）前記視点が収束するか、又は次の映像フレームが利用可能になるまで、各フレームについて、ステップａ）からステップｃ）までを繰り返すステップと、
を含むことを特徴とする、請求項１に記載の方法。
【請求項１３】
前記参照画像集合の中の１つ又はそれ以上の画像は、重ね合わせ前、重ね合わせ中、又は重ね合わせ後に更新できることを特徴とする、請求項１２に記載の方法。
【請求項１４】
前記映像は実時間であるか又は近実時間であることを特徴とする、請求項１２に記載の方法。
【請求項１５】
初期視点を推測するステップを含むことを特徴とする、請求項１２に記載の方法。
【請求項１６】
最終視点が、前記映像フィードの現行のフレームと前記参照ソースとの間の相対的な回転及び平行移動の推定値を与えることを特徴とする、請求項１２に記載の方法。
【請求項１７】
全ての画像、奥行きマップ、及び勾配がダウン・サンプリングされた解像度ピラミッドを用いるステップをさらに含むことを特徴とする、請求項１２に記載の方法。
【請求項１８】
個々のピクセル値の重みづけを可能にする一方で、異なる平均強度と強度範囲とを有する画像を比較することを可能にする、重みづけされた正規化された相互相関目的関数を用いるステップをさらに含むことを特徴とする、請求項１２に記載の方法。
【請求項１】
画像を重ね合わせるための方法であって、
奥行きマップを伴う１つ又はそれ以上の参照画像の集合を提供するステップと、
前記画像を、前記集合のうちの少なくとも１つの参照画像に、該参照画像のための奥行きマップを用いて重ね合わせるステップと、
を含むことを特徴とする方法。
【請求項２】
前記画像が実像であり、且つ前記参照画像集合が実像であるか、
前記画像が実像であり、且つ前記参照画像集合が仮想であるか、
前記画像が仮想であり、且つ前記参照画像集合が実像であるか、又は
前記画像が仮想であり、且つ前記参照画像集合が仮想である、
ことを特徴とする、請求項１に記載の方法。
【請求項３】
前記画像又は前記参照画像集合が内視鏡画像であることを特徴とする、請求項１に記載の方法。
【請求項４】
前記重ね合わせが実時間又は近実時間に行われることを特徴とする、請求項１に記載の方法。
【請求項５】
前記参照画像集合のうちの少なくとも１つの画像が、画像勾配をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項６】
前記画像が相互相関していることを特徴とする、請求項１に記載の方法。
【請求項７】
重ね合わされる前記画像が映像フレームであることを特徴とする、請求項１に記載の方法。
【請求項８】
重ね合わされる前記画像が、重ね合わせに先立って歪曲されることを特徴とする、請求項１に記載の方法。
【請求項９】
前記重ね合わせが画像差を計算するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項１０】
前記重ね合わせがガウス−ニュートン法を用いて更新されることを特徴とする、請求項１に記載の方法。
【請求項１１】
前記参照画像集合は、重ね合わせ前、重ね合わせ中、又は重ね合わせ後に更新できることを特徴とする、請求項１に記載の方法。
【請求項１２】
前記参照画像集合は奥行きマップ及び画像勾配で視点を表し、
前記重ね合わされる画像は、複数の連続フレームを有する映像フィードに由来するものであり、
前記方法は、
ａ）前記映像フレームを参照ソースの最も近い視点に合わせて歪曲するステップと、
ｂ）前記歪曲された映像フレームと前記参照画像との間の画像差を計算するステップと、
ｃ）ガウス−ニュートンのパラメータの更新を用いて前記視点を更新するステップと、
ｄ）前記視点が収束するか、又は次の映像フレームが利用可能になるまで、各フレームについて、ステップａ）からステップｃ）までを繰り返すステップと、
を含むことを特徴とする、請求項１に記載の方法。
【請求項１３】
前記参照画像集合の中の１つ又はそれ以上の画像は、重ね合わせ前、重ね合わせ中、又は重ね合わせ後に更新できることを特徴とする、請求項１２に記載の方法。
【請求項１４】
前記映像は実時間であるか又は近実時間であることを特徴とする、請求項１２に記載の方法。
【請求項１５】
初期視点を推測するステップを含むことを特徴とする、請求項１２に記載の方法。
【請求項１６】
最終視点が、前記映像フィードの現行のフレームと前記参照ソースとの間の相対的な回転及び平行移動の推定値を与えることを特徴とする、請求項１２に記載の方法。
【請求項１７】
全ての画像、奥行きマップ、及び勾配がダウン・サンプリングされた解像度ピラミッドを用いるステップをさらに含むことを特徴とする、請求項１２に記載の方法。
【請求項１８】
個々のピクセル値の重みづけを可能にする一方で、異なる平均強度と強度範囲とを有する画像を比較することを可能にする、重みづけされた正規化された相互相関目的関数を用いるステップをさらに含むことを特徴とする、請求項１２に記載の方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【公表番号】特表２００８−５４１８６０（Ｐ２００８−５４１８６０Ａ）
【公表日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００８−５１３６２５（Ｐ２００８−５１３６２５）
【出願日】平成１８年５月２３日（２００６．５．２３）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０１９９２７
【国際公開番号】ＷＯ２００６／１２７７１３
【国際公開日】平成１８年１１月３０日（２００６．１１．３０）
【出願人】（５０１１３９８５８）
【Ｆターム（参考）】
【公表日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１８年５月２３日（２００６．５．２３）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０１９９２７
【国際公開番号】ＷＯ２００６／１２７７１３
【国際公開日】平成１８年１１月３０日（２００６．１１．３０）
【出願人】（５０１１３９８５８）
【Ｆターム（参考）】
[ Back to top ]