画像表示装置
【課題】 内視鏡画像と診断画像を重畳できる画像表示装置を提供する。
【解決手段】 内視鏡の前面に設けられ２次元格子からなる評価パネル５を内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する内視鏡2と、この内視鏡2によって順次撮像された２次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出し、前記撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による２次元画像歪みを補正するための２次元補正ベクトルを算出し、それぞれ算出された２次元補正ベクトルを前記撮像ステップによって撮像された近傍の内視鏡画像のもので合成して３次元補正ベクトルを算出し、前記算出された３次元補正ベクトルと前記算出された拡大率を用いて画像診断装置で撮影された診断画像を前記内視鏡画像と重畳可能に変形し、前記変形された診断画像と内視鏡２によって順次撮像された内視鏡画像を重畳して表示する内視鏡装置本体６と、を備える。
【解決手段】 内視鏡の前面に設けられ２次元格子からなる評価パネル５を内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する内視鏡2と、この内視鏡2によって順次撮像された２次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出し、前記撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による２次元画像歪みを補正するための２次元補正ベクトルを算出し、それぞれ算出された２次元補正ベクトルを前記撮像ステップによって撮像された近傍の内視鏡画像のもので合成して３次元補正ベクトルを算出し、前記算出された３次元補正ベクトルと前記算出された拡大率を用いて画像診断装置で撮影された診断画像を前記内視鏡画像と重畳可能に変形し、前記変形された診断画像と内視鏡２によって順次撮像された内視鏡画像を重畳して表示する内視鏡装置本体６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズの収差に伴う歪み等を有する内視鏡画像と画像診断装置で得られた診断画像を重畳する画像表示装置に関するものである。
【背景技術】
【０００２】
従来の画像表示装置は特許文献1が開示され、その開示内容は次のとおりである。
他の医用診断装置からの映像信号を取込み、他の医用診断装置からの映像信号に実際に映像が存在するか否かを判定する。そして、映像が存在する場合には内視鏡画像とこの映像とを親子画面表示させ、映像が存在しない場合には内視鏡画像のみを画面表示させる。映像信号（S1）を取り込んで判定を行なう場合には、映像信号を積分器（13）で積分し、積分値がスレッシュホールドレベルを越えたか否かを比較器（14）で判定する。これにより、他の医用診断装置からの画像と内視鏡画像との自動切換が可能となり、操作者の負担が軽減される。
【特許文献１】特開平７−１９４５３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記背景技術では、医用診断装置の画像と内視鏡画像の両方の画像の対応関係はやはり画像を観察する者が解剖学的知識を基に空想して重畳させる必要があるので、特にレンズの収差等で歪を有する内視鏡画像と医用画像診断装置からの画像の重畳が前記観察者にとって直感的に難しいという点に配慮していない。
【０００４】
本発明の目的は、内視鏡画像と診断画像を重畳できる画像表示装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的は、内視鏡の前面に設けられ2次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による2次元画像歪みを補正するための2次元補正ベクトルを算出し、これら算出された2次元補正ベクトルを3次元空間において合成して3次元補正ベクトルを算出する3次元補正ベクトル算出手段と、
この3次元補正ベクトル算出手段によって算出された3次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて画像診断装置で撮影された診断画像を変形する画像変形手段と、
この画像変形手段によって変形された診断画像と前記撮像手段によって順次撮像された内視鏡画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置によって達成される。
【０００６】
また、内視鏡の前面に設けられ2次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による2次元画像歪みを補正するための2次元補正ベクトルを算出し、それぞれ算出された2次元補正ベクトルを前記撮像ステップによって撮像された近傍の内視鏡画像のもので合成して3次元補正ベクトルを算出する3次元補正ベクトル算出手段と、
この3次元補正ベクトル算出手段によって算出された3次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて前記内視鏡画像を変形する画像変形手段と、
この画像変形手段によって変形された内視鏡画像と前記画像診断装置で撮影された診断画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置によって達成される。
【発明の効果】
【０００７】
本発明によれば、レンズの収差等による歪を有する内視鏡画像と診断画像を重畳できる。
【発明を実施するための最良の形態】
【０００８】
本発明の画像重畳方法を更に詳細に説明する。図1に内視鏡像歪み補正マップ作成装置を示す。2次元格子画像を表示することができる評価パネル1、評価パネル1を内視鏡の垂直方向に平行移動させるための評価パネル並進駆動モータ5、内視鏡2がベース基盤3に配置される。図1では硬性内視鏡を用いたものを示しているが、軟性内視鏡にも代替できる。内視鏡2には光軸回転制御モータ4が取り付けられ、評価パネル並進駆動モータと共に制御装置8により制御される。内視鏡装置本体6により取り込まれた内視鏡像は制御装置8に送信され、評価モニタ7に表示される。
【０００９】
3次元内視鏡像歪み補正マップ作成フローを図2に示す。内視鏡像歪みマップ作成の手順は、内視鏡像歪み最小位置を算出する。内視鏡像の歪み最小位置は光源により評価パネル1上に照明されるため、内視鏡像の高輝度の領域の中心座標が画像歪み最小位置と仮定できる。内視鏡像の輝度値が高い領域の中心座標は、ある輝度値をしきい値として算出された領域の重心を求めればよい。(S21)
【００１０】
次に、光軸回転制御モータ4により光軸回転補正を行う。画像歪み補正ベクトル算出方法は2次元格子が光軸まわりに回転していないことを前提としているので、光軸の回転がベース基盤を基準として0度となるように設定する。そのために前記の2次元格子画像の中心にある格子の傾きを求め、傾きが0度となるよう光軸回転制御モータ4を制御し補正する。(S22)
【００１１】
次に、評価パネル1を内視鏡の垂直方向に平行移動させながら、内視鏡像を撮影し、レンズと対象部位との距離による3次元画像歪み補正マップを作成する。始めに2次元格子の内視鏡像を撮影する。(S23)
【００１２】
次に、内視鏡像歪み最小位置の格子サイズから拡大率を算出する。診断画像の画像サイズSおよびFOVから 重畳する診断画像の1ドットあたりの長さは L＝FOV／S[mm] となるため、重畳する診断画像の拡大率は(格子サイズ[mm]／ドット数)／L となる。(S24)
【００１３】
2次元格子画像の撮影から2次元内視鏡像歪み補正マップ作成までの処理手順を図3で説明する。画像歪み補正ベクトル算出式の原理は、例えば、画像の中心が最小歪みである格子画像(図3(a))をフーリエ変換するとフーリエスペクトルが求められる(図3(b))。中心が直流成分であり、X方向の高輝度領域が横方向の格子の周波数成分、Y方向の高輝度領域が縦方向の格子の周波数成分である。例えば、X方向の格子の周波数成分の第1高調波成分のみを通すフィルタ処理を行うと(図3(c))のように横方向の格子画像が得られる。この格子画像の実信号I(t)を、実数部と虚数部が直交関係にある複素信号(解析信号)に変換すれば、振幅変化と位相変化を独立して判別することができる。実信号から解析信号を得るための基礎的手段にヒルベルト変換がある。ヒルベルト変換はある実信号I(t)から、それと直交する信号σ(t)を導出することであり、実信号I(t)のフーリエ変換に対して、負の周波数成分を除去するフィルタ処理を行えばよい。
フィルタU(ω)は
【数１】
である。(S25)
【００１４】
このデータに対してフーリエ逆変換すると、解析信号が得られ、振幅変化と位相変化を独立させて考えることができる。
位相θ(t)は
θ(t)＝ｔａｎ-1(σ(t)／Ｉ(t))
で求められる(図3(d))。(S26)
位相は−π／2からπ／2の繰り返しで表現されるので、位相π／2毎にπずつ加減算し、連続的に繋げることが可能である。よって、連続的な位相分布と位相が0である位置とを比較し、歪み量(歪み補正ベクトル)を算出することができる (図3(e))。この歪み補正ベクトルで補正された2次元格子画像は図3(f)のようになる。(S27)
【００１５】
従って、内視鏡像の歪みを補正する場合、内視鏡の2次元格子画像をグレースケールに変換し、フーリエ変換を行う。ヒルベルト変換によって位相分布を求め、前記歪み最小位置を位相0として、連続的な位相分布を再計算する。前記歪み最小位置が位相0であるとして、歪みベクトルを算出する。ここで歪みベクトルは画像歪みを補正する方向のベクトルであるため、内視鏡画像歪みに対応して診断画像を変形させるよう歪みベクトルの符号を反転させる。尚、上記公知の画像歪み補正ベクトル算出式は格子間隔の1／2の歪みまでしか補正が行えない。よって、本発明の3次元内視鏡像歪み補正マップ作成装置では、一度歪み補正された画像を入力画像としてもう一度歪み補正を行い、補正ベクトルがある基準値を超える場合は、評価パネル1に撮影される2次元格子画像の格子サイズを変更して、最適な格子サイズを求めることができる。
【００１６】
これまでの一連の処理を、評価パネル1を内視鏡の垂直方向に平行移動させながら、順次行うことによって、3次元内視鏡像歪み補正マップが作成される。拡大率をこの3次元内視鏡像補正マップの構造に入れることで容易に拡大率を含めた歪み補正マップを参照できる。内視鏡先端と対象部位との距離が判れば、その距離に対応した3次元内視鏡像補正マップから、データを拡大し、歪みを補正することができる。また、内視鏡先端と対象部位との距離による拡大率曲線を算出すれば、拡大率を3次元内視鏡像補正マップの構造と別に持たせることも可能である。
【００１７】
この3次元内視鏡像補正マップの実施例を図4に示す。3次元内視鏡像歪み補正マップ作成装置の3次元画像補正ベクトルデータを参照し、MRI装置で撮影されたMRI画像を内視鏡像の歪みに対応させて歪ませ、MR画像を焦点距離によって拡大させたMR画像を内視鏡像に画像重畳することを考える。図5の処理フローで順次説明すると、MR画像位置情報(MR画像の向きや中心位置)と内視鏡先端情報(内視鏡先端の向きや位置)を読み取る(S30)。
読み取る方法は、光学式位置検出装置や、MRI装置以外の画像診断装置であれば、磁気式位置検出装置でよい。次に、MRI装置下で内視鏡を撮影しながら、MR画像を撮影する(S31)。MRI切断面は図6の方法でデプスマップを作成することができる。
【００１８】
図6では、球状の関心領域をMR画像で切断した画像を内視鏡に重畳する場合のデプス画像作成方法を示している。関心領域は対象部位の形態位置情報でもよい。まず、関心領域の位置情報を算出する(S41)。
関心領域の位置情報は術前に撮影したデータや手術進行度により手術途中に撮影したデータを用いる。MRI切断面の中心位置や向きから算出した変換行列により、MR画像をXY平面に重なるように変換する(S42、図6(a))。
【００１９】
変換式はオイラー角によるアフィン行列でもQuaternion行列でもよい。この変換式を関心領域の位置座標に行い、MR画像で切断された関心領域やその他の関心領域の位置座標を求める(S43)。
そのデータに対してMR画像の逆変換を行えば、MRIで切断された関心領域の位置座標が得られる(S44)。
【００２０】
次に、内視鏡先端面をXY平面に重なるように変換する(S45、図6(b))。
変換式はMRI切断面と同様である。この変換式を(S43)で求めた関心領域の位置情報に対して行い、XYZ座標を求める(図6(c))。
Z座標が内視鏡先端から関心領域までの距離(デプス)となり、関心領域のデプス画像が作成される(S46)。
【００２１】
XY座標は3次元歪み補正ベクトルマップの参照点である。デプス画像から関心領域を拡大させ、3次元歪み補正ベクトルマップの参照点から画像歪み補正を行う。歪み画像にはレンズ収差と焦点距離による拡大率を含んでいるので、拡大率は内視鏡先端から参照点までの距離ではなく、デプス画像を利用することによって算出される。補正ベクトルは図3(f)のように歪んだ画像を補正するベクトルであるが、この実施例では等方データであるMR画像を内視鏡像歪みに対応するよう歪ませる処理である。よって、歪みベクトルの符号を反転させてMR画像に適用する(S34)。
【００２２】
その後、内視鏡像と空間分解能を一致させて画像重畳する。この実施例ではMRI切断面を内視鏡像に重畳する方法をとっているが、CTや超音波装置といった他のモダリティでも診断画像の位置情報と空間分解能さえ判れば、同様の方法で画像重畳が行える。
【００２３】
また、3次元内視鏡像歪み補正マップ作成装置の3次元画像補正ベクトルデータを参照し、内視鏡像の画像歪みを補正することによって等方性データに変換することも可能である。その後、診断画像をレンズと対象部位の距離によって拡大し、前記で補正された内視鏡像を前記診断画像に画像重畳することが可能である。但し、内視鏡像でレンズと対象部位との距離がわかる必要がある。この内視鏡像でレンズと対象部位との距離は、光、赤外線、超音波を用いた公知の技術によって測定される。
【００２４】
また、本実施形態では、診断画像の一例としてMRI画像を用いたが、X線装置、X線CT装置、核医学装置、超音波診断装置を含む医用画像診断装置から得られる診断画像の全てを含む。
【００２５】
さらにまた、本実施形態では、診断画像と内視鏡画像を重畳するために、診断画像を歪ませて対応したが、内視鏡画像の歪みを補正して診断画像と重畳してもよい。
これによって、歪みのない診断画像に合わせることになるから、画像観察者にとって解剖学的により実際に近似した重畳画像が提供されることになる。
【図面の簡単な説明】
【００２６】
【図１】本発明の内視鏡像歪み補正マップ作成装置配置図。
【図２】内視鏡像歪み補正マップ作成フロー図。
【図３】2次元内視鏡像歪み補正処理手順。
【図４】内視鏡像歪みに対応して変形させた診断画像と内視鏡画像との画像重畳の一例。
【図５】内視鏡像歪みに対応して変形させた診断画像と内視鏡画像との画像重畳の処理フロー図。
【図６】デプスマップ作成から画像歪み処理までの処理方法。
【図７】デプスマップ作成から画像歪み処理までの処理。
【符号の説明】
【００２７】
1…評価パネル、2…内視鏡、3…ベース基盤、4…光軸回転制御モータ、5…評価パネル並進駆動モータ、6…内視鏡装置本体、7…評価モニタ、8…制御装置
【技術分野】
【０００１】
本発明は、レンズの収差に伴う歪み等を有する内視鏡画像と画像診断装置で得られた診断画像を重畳する画像表示装置に関するものである。
【背景技術】
【０００２】
従来の画像表示装置は特許文献1が開示され、その開示内容は次のとおりである。
他の医用診断装置からの映像信号を取込み、他の医用診断装置からの映像信号に実際に映像が存在するか否かを判定する。そして、映像が存在する場合には内視鏡画像とこの映像とを親子画面表示させ、映像が存在しない場合には内視鏡画像のみを画面表示させる。映像信号（S1）を取り込んで判定を行なう場合には、映像信号を積分器（13）で積分し、積分値がスレッシュホールドレベルを越えたか否かを比較器（14）で判定する。これにより、他の医用診断装置からの画像と内視鏡画像との自動切換が可能となり、操作者の負担が軽減される。
【特許文献１】特開平７−１９４５３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記背景技術では、医用診断装置の画像と内視鏡画像の両方の画像の対応関係はやはり画像を観察する者が解剖学的知識を基に空想して重畳させる必要があるので、特にレンズの収差等で歪を有する内視鏡画像と医用画像診断装置からの画像の重畳が前記観察者にとって直感的に難しいという点に配慮していない。
【０００４】
本発明の目的は、内視鏡画像と診断画像を重畳できる画像表示装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的は、内視鏡の前面に設けられ2次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による2次元画像歪みを補正するための2次元補正ベクトルを算出し、これら算出された2次元補正ベクトルを3次元空間において合成して3次元補正ベクトルを算出する3次元補正ベクトル算出手段と、
この3次元補正ベクトル算出手段によって算出された3次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて画像診断装置で撮影された診断画像を変形する画像変形手段と、
この画像変形手段によって変形された診断画像と前記撮像手段によって順次撮像された内視鏡画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置によって達成される。
【０００６】
また、内視鏡の前面に設けられ2次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された2次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による2次元画像歪みを補正するための2次元補正ベクトルを算出し、それぞれ算出された2次元補正ベクトルを前記撮像ステップによって撮像された近傍の内視鏡画像のもので合成して3次元補正ベクトルを算出する3次元補正ベクトル算出手段と、
この3次元補正ベクトル算出手段によって算出された3次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて前記内視鏡画像を変形する画像変形手段と、
この画像変形手段によって変形された内視鏡画像と前記画像診断装置で撮影された診断画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置によって達成される。
【発明の効果】
【０００７】
本発明によれば、レンズの収差等による歪を有する内視鏡画像と診断画像を重畳できる。
【発明を実施するための最良の形態】
【０００８】
本発明の画像重畳方法を更に詳細に説明する。図1に内視鏡像歪み補正マップ作成装置を示す。2次元格子画像を表示することができる評価パネル1、評価パネル1を内視鏡の垂直方向に平行移動させるための評価パネル並進駆動モータ5、内視鏡2がベース基盤3に配置される。図1では硬性内視鏡を用いたものを示しているが、軟性内視鏡にも代替できる。内視鏡2には光軸回転制御モータ4が取り付けられ、評価パネル並進駆動モータと共に制御装置8により制御される。内視鏡装置本体6により取り込まれた内視鏡像は制御装置8に送信され、評価モニタ7に表示される。
【０００９】
3次元内視鏡像歪み補正マップ作成フローを図2に示す。内視鏡像歪みマップ作成の手順は、内視鏡像歪み最小位置を算出する。内視鏡像の歪み最小位置は光源により評価パネル1上に照明されるため、内視鏡像の高輝度の領域の中心座標が画像歪み最小位置と仮定できる。内視鏡像の輝度値が高い領域の中心座標は、ある輝度値をしきい値として算出された領域の重心を求めればよい。(S21)
【００１０】
次に、光軸回転制御モータ4により光軸回転補正を行う。画像歪み補正ベクトル算出方法は2次元格子が光軸まわりに回転していないことを前提としているので、光軸の回転がベース基盤を基準として0度となるように設定する。そのために前記の2次元格子画像の中心にある格子の傾きを求め、傾きが0度となるよう光軸回転制御モータ4を制御し補正する。(S22)
【００１１】
次に、評価パネル1を内視鏡の垂直方向に平行移動させながら、内視鏡像を撮影し、レンズと対象部位との距離による3次元画像歪み補正マップを作成する。始めに2次元格子の内視鏡像を撮影する。(S23)
【００１２】
次に、内視鏡像歪み最小位置の格子サイズから拡大率を算出する。診断画像の画像サイズSおよびFOVから 重畳する診断画像の1ドットあたりの長さは L＝FOV／S[mm] となるため、重畳する診断画像の拡大率は(格子サイズ[mm]／ドット数)／L となる。(S24)
【００１３】
2次元格子画像の撮影から2次元内視鏡像歪み補正マップ作成までの処理手順を図3で説明する。画像歪み補正ベクトル算出式の原理は、例えば、画像の中心が最小歪みである格子画像(図3(a))をフーリエ変換するとフーリエスペクトルが求められる(図3(b))。中心が直流成分であり、X方向の高輝度領域が横方向の格子の周波数成分、Y方向の高輝度領域が縦方向の格子の周波数成分である。例えば、X方向の格子の周波数成分の第1高調波成分のみを通すフィルタ処理を行うと(図3(c))のように横方向の格子画像が得られる。この格子画像の実信号I(t)を、実数部と虚数部が直交関係にある複素信号(解析信号)に変換すれば、振幅変化と位相変化を独立して判別することができる。実信号から解析信号を得るための基礎的手段にヒルベルト変換がある。ヒルベルト変換はある実信号I(t)から、それと直交する信号σ(t)を導出することであり、実信号I(t)のフーリエ変換に対して、負の周波数成分を除去するフィルタ処理を行えばよい。
フィルタU(ω)は
【数１】
である。(S25)
【００１４】
このデータに対してフーリエ逆変換すると、解析信号が得られ、振幅変化と位相変化を独立させて考えることができる。
位相θ(t)は
θ(t)＝ｔａｎ-1(σ(t)／Ｉ(t))
で求められる(図3(d))。(S26)
位相は−π／2からπ／2の繰り返しで表現されるので、位相π／2毎にπずつ加減算し、連続的に繋げることが可能である。よって、連続的な位相分布と位相が0である位置とを比較し、歪み量(歪み補正ベクトル)を算出することができる (図3(e))。この歪み補正ベクトルで補正された2次元格子画像は図3(f)のようになる。(S27)
【００１５】
従って、内視鏡像の歪みを補正する場合、内視鏡の2次元格子画像をグレースケールに変換し、フーリエ変換を行う。ヒルベルト変換によって位相分布を求め、前記歪み最小位置を位相0として、連続的な位相分布を再計算する。前記歪み最小位置が位相0であるとして、歪みベクトルを算出する。ここで歪みベクトルは画像歪みを補正する方向のベクトルであるため、内視鏡画像歪みに対応して診断画像を変形させるよう歪みベクトルの符号を反転させる。尚、上記公知の画像歪み補正ベクトル算出式は格子間隔の1／2の歪みまでしか補正が行えない。よって、本発明の3次元内視鏡像歪み補正マップ作成装置では、一度歪み補正された画像を入力画像としてもう一度歪み補正を行い、補正ベクトルがある基準値を超える場合は、評価パネル1に撮影される2次元格子画像の格子サイズを変更して、最適な格子サイズを求めることができる。
【００１６】
これまでの一連の処理を、評価パネル1を内視鏡の垂直方向に平行移動させながら、順次行うことによって、3次元内視鏡像歪み補正マップが作成される。拡大率をこの3次元内視鏡像補正マップの構造に入れることで容易に拡大率を含めた歪み補正マップを参照できる。内視鏡先端と対象部位との距離が判れば、その距離に対応した3次元内視鏡像補正マップから、データを拡大し、歪みを補正することができる。また、内視鏡先端と対象部位との距離による拡大率曲線を算出すれば、拡大率を3次元内視鏡像補正マップの構造と別に持たせることも可能である。
【００１７】
この3次元内視鏡像補正マップの実施例を図4に示す。3次元内視鏡像歪み補正マップ作成装置の3次元画像補正ベクトルデータを参照し、MRI装置で撮影されたMRI画像を内視鏡像の歪みに対応させて歪ませ、MR画像を焦点距離によって拡大させたMR画像を内視鏡像に画像重畳することを考える。図5の処理フローで順次説明すると、MR画像位置情報(MR画像の向きや中心位置)と内視鏡先端情報(内視鏡先端の向きや位置)を読み取る(S30)。
読み取る方法は、光学式位置検出装置や、MRI装置以外の画像診断装置であれば、磁気式位置検出装置でよい。次に、MRI装置下で内視鏡を撮影しながら、MR画像を撮影する(S31)。MRI切断面は図6の方法でデプスマップを作成することができる。
【００１８】
図6では、球状の関心領域をMR画像で切断した画像を内視鏡に重畳する場合のデプス画像作成方法を示している。関心領域は対象部位の形態位置情報でもよい。まず、関心領域の位置情報を算出する(S41)。
関心領域の位置情報は術前に撮影したデータや手術進行度により手術途中に撮影したデータを用いる。MRI切断面の中心位置や向きから算出した変換行列により、MR画像をXY平面に重なるように変換する(S42、図6(a))。
【００１９】
変換式はオイラー角によるアフィン行列でもQuaternion行列でもよい。この変換式を関心領域の位置座標に行い、MR画像で切断された関心領域やその他の関心領域の位置座標を求める(S43)。
そのデータに対してMR画像の逆変換を行えば、MRIで切断された関心領域の位置座標が得られる(S44)。
【００２０】
次に、内視鏡先端面をXY平面に重なるように変換する(S45、図6(b))。
変換式はMRI切断面と同様である。この変換式を(S43)で求めた関心領域の位置情報に対して行い、XYZ座標を求める(図6(c))。
Z座標が内視鏡先端から関心領域までの距離(デプス)となり、関心領域のデプス画像が作成される(S46)。
【００２１】
XY座標は3次元歪み補正ベクトルマップの参照点である。デプス画像から関心領域を拡大させ、3次元歪み補正ベクトルマップの参照点から画像歪み補正を行う。歪み画像にはレンズ収差と焦点距離による拡大率を含んでいるので、拡大率は内視鏡先端から参照点までの距離ではなく、デプス画像を利用することによって算出される。補正ベクトルは図3(f)のように歪んだ画像を補正するベクトルであるが、この実施例では等方データであるMR画像を内視鏡像歪みに対応するよう歪ませる処理である。よって、歪みベクトルの符号を反転させてMR画像に適用する(S34)。
【００２２】
その後、内視鏡像と空間分解能を一致させて画像重畳する。この実施例ではMRI切断面を内視鏡像に重畳する方法をとっているが、CTや超音波装置といった他のモダリティでも診断画像の位置情報と空間分解能さえ判れば、同様の方法で画像重畳が行える。
【００２３】
また、3次元内視鏡像歪み補正マップ作成装置の3次元画像補正ベクトルデータを参照し、内視鏡像の画像歪みを補正することによって等方性データに変換することも可能である。その後、診断画像をレンズと対象部位の距離によって拡大し、前記で補正された内視鏡像を前記診断画像に画像重畳することが可能である。但し、内視鏡像でレンズと対象部位との距離がわかる必要がある。この内視鏡像でレンズと対象部位との距離は、光、赤外線、超音波を用いた公知の技術によって測定される。
【００２４】
また、本実施形態では、診断画像の一例としてMRI画像を用いたが、X線装置、X線CT装置、核医学装置、超音波診断装置を含む医用画像診断装置から得られる診断画像の全てを含む。
【００２５】
さらにまた、本実施形態では、診断画像と内視鏡画像を重畳するために、診断画像を歪ませて対応したが、内視鏡画像の歪みを補正して診断画像と重畳してもよい。
これによって、歪みのない診断画像に合わせることになるから、画像観察者にとって解剖学的により実際に近似した重畳画像が提供されることになる。
【図面の簡単な説明】
【００２６】
【図１】本発明の内視鏡像歪み補正マップ作成装置配置図。
【図２】内視鏡像歪み補正マップ作成フロー図。
【図３】2次元内視鏡像歪み補正処理手順。
【図４】内視鏡像歪みに対応して変形させた診断画像と内視鏡画像との画像重畳の一例。
【図５】内視鏡像歪みに対応して変形させた診断画像と内視鏡画像との画像重畳の処理フロー図。
【図６】デプスマップ作成から画像歪み処理までの処理方法。
【図７】デプスマップ作成から画像歪み処理までの処理。
【符号の説明】
【００２７】
1…評価パネル、2…内視鏡、3…ベース基盤、4…光軸回転制御モータ、5…評価パネル並進駆動モータ、6…内視鏡装置本体、7…評価モニタ、8…制御装置
【特許請求の範囲】
【請求項１】
内視鏡の前面に設けられ２次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による２次元画像歪みを補正するための２次元補正ベクトルを算出し、これら算出された２次元補正ベクトルを３次元空間において合成して３次元補正ベクトルを算出する３次元補正ベクトル算出手段と、
この３次元補正ベクトル算出手段によって算出された３次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて画像診断装置で撮影された診断画像を変形する画像変形手段と、
この画像変形手段によって変形された診断画像と前記撮像手段によって順次撮像された内視鏡画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置。
【請求項２】
内視鏡の前面に設けられ２次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による２次元画像歪みを補正するための２次元補正ベクトルを算出し、それぞれ算出された２次元補正ベクトルを前記撮像ステップによって撮像された近傍の内視鏡画像のもので合成して３次元補正ベクトルを算出する３次元補正ベクトル算出手段と、
この３次元補正ベクトル算出手段によって算出された３次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて前記内視鏡画像を変形する画像変形手段と、
この画像変形手段によって変形された内視鏡画像と前記画像診断装置で撮影された診断画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置。
【請求項１】
内視鏡の前面に設けられ２次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による２次元画像歪みを補正するための２次元補正ベクトルを算出し、これら算出された２次元補正ベクトルを３次元空間において合成して３次元補正ベクトルを算出する３次元補正ベクトル算出手段と、
この３次元補正ベクトル算出手段によって算出された３次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて画像診断装置で撮影された診断画像を変形する画像変形手段と、
この画像変形手段によって変形された診断画像と前記撮像手段によって順次撮像された内視鏡画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置。
【請求項２】
内視鏡の前面に設けられ２次元格子からなる評価パネルを内視鏡の視野の垂直方向に平行移動させながら内視鏡画像を順次撮像する撮像手段と、
この撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いて内視鏡像の中心位置から拡大率を算出する拡大率算出手段と、
前記撮像手段によって順次撮像された２次元格子の各内視鏡画像を用いてその位相分布を求め、その求めた位相分布から内視鏡像のレンズ収差による２次元画像歪みを補正するための２次元補正ベクトルを算出し、それぞれ算出された２次元補正ベクトルを前記撮像ステップによって撮像された近傍の内視鏡画像のもので合成して３次元補正ベクトルを算出する３次元補正ベクトル算出手段と、
この３次元補正ベクトル算出手段によって算出された３次元補正ベクトルと前記拡大率算出手段によって算出された拡大率を用いて前記内視鏡画像を変形する画像変形手段と、
この画像変形手段によって変形された内視鏡画像と前記画像診断装置で撮影された診断画像を重畳して表示する画像表示手段と、
を備えたことを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−２０７４６（Ｐ２００６−２０７４６Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２００１３５（Ｐ２００４−２００１３５）
【出願日】平成１６年７月７日（２００４．７．７）
【出願人】（０００１５３４９８）株式会社日立メディコ (1,613)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月７日（２００４．７．７）
【出願人】（０００１５３４９８）株式会社日立メディコ (1,613)
【Ｆターム（参考）】
[ Back to top ]