撮像装置
【課題】 撮像装置において、より正確に被観察部の大きさ及び形状を表示する。
【解決手段】 撮像装置1は、レンズ12を有し当該レンズ12を介して被観察部の画像を撮像する撮像部11と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する光源20及び光ファイバ15と、レンズ12の歪曲特性を示す情報に基づき、撮像された画像のレンズ12による歪みを補正する補正部32と、補正された画像における、照射されたレーザ光の各照射点の座標を検出する検出部33と、検出された座標及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する三次元座標導出部34と、導出された三次元座標から各照射点の間の目盛りの画像上の座標を導出する所定点導出部35と、画像の情報、及び画像上の目盛りの座標を示す情報を出力する出力部36とを備える。
【解決手段】 撮像装置1は、レンズ12を有し当該レンズ12を介して被観察部の画像を撮像する撮像部11と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する光源20及び光ファイバ15と、レンズ12の歪曲特性を示す情報に基づき、撮像された画像のレンズ12による歪みを補正する補正部32と、補正された画像における、照射されたレーザ光の各照射点の座標を検出する検出部33と、検出された座標及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する三次元座標導出部34と、導出された三次元座標から各照射点の間の目盛りの画像上の座標を導出する所定点導出部35と、画像の情報、及び画像上の目盛りの座標を示す情報を出力する出力部36とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡等に適用される撮像装置に関する。
【背景技術】
【0002】
医療用内視鏡においては、被観察部の画像から病変部の実際の大きさ、あるいは形状を得ることは医療手段の決定の判断材料として非常に重要である。しかしながら、通常、内視鏡の構成上、レンズによる歪みが発生して撮像された画像が歪み、またレンズから被観察部までの高精度な距離情報が得られないため、正確な大きさや形状が分からなかった。そのため、内視鏡の操作者や医師等は経験を元に表示された画像からその大きさや形状を推定していた。
【0003】
被観察部の大きさや形状を正確に表示するため、例えば、下記の特許文献1では、レンズの像面湾曲特性を利用し、被観察部の凹凸等の形状に対応してピント合わせを行なうことを行っている。これにより、凹凸形状の高低情報を得ることができる。また、下記の特許文献2には、画像における所定の点からのスケール表示(同心円状、直行スケール等)を行うことができる点が記載されている。
【特許文献1】特開2001−269306号公報
【特許文献2】特開2002−153421号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された技術では、取得された画像が歪んでいるため、正確な形状は表示されない。また、特許文献2に記載された技術では、焦点距離に基づいてスケール表示がなされているので、必ずしも正確なスケールとなっているとはいえない。
【0005】
本発明は、以上の問題点を解決するためになされたものであり、より正確に被観察部の大きさ及び形状を表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明に係る撮像装置は、レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、予め記憶したレンズの歪曲特性を示す情報に基づき、撮像手段により撮像された画像のレンズによる歪みを補正する補正手段と、補正手段により補正された画像における、レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、検出手段により検出された座標、及びレーザ光の照射条件から、レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、三次元座標導出手段により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正手段により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、補正手段により補正された画像の情報、及び所定点導出手段により導出された当該画像上の所定の位置関係の点の座標を示す情報を出力する出力手段と、を備えることを特徴とする。
【0007】
本発明に係る撮像装置では、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明に係る撮像装置では、レンズの歪みを補正した画像から、レーザ光の各照射点が検出される。当該検出されたレーザ光の各照射点から、各照射点の三次元座標が導出されて、更に各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。この点の座標は、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができる。これにより、本発明に係る撮像装置によれば、より正確に被観察部の大きさを表示することができる。
【0008】
出力手段は、所定点導出手段により導出された当該画像に、所定の位置関係の点の座標の位置に目盛りを重畳して、当該目盛りが重畳された画像を出力することが望ましい。この構成によれば、目盛りが重畳された画像が表示されるので、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。
【0009】
検出手段は、補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、座標を検出することが望ましい。この構成によれば、効率的に照射点の検出を行うことができ、結果として本発明に係る撮像装置における処理を効率的に行うことができる。
【0010】
所定点導出手段は、所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて所定の位置関係の点を移動させることが望ましい。この構成によれば、例えば目盛りを所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
【0011】
撮像手段は、内視鏡に含まれて構成されることが望ましい。この構成によれば、本発明の医療分野への応用をより容易に行うことができる。
【発明の効果】
【0012】
本発明によれば、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明では、複数のレーザ光の各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。これにより、本発明によれば、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができるので、より正確に被観察部の大きさを表示することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面と共に本発明に係る撮像装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【0014】
図1に本実施形態に係る撮像装置1を示す。撮像装置1は、人体等の生体内部の被観察部を撮像し、撮像した画像を表示する装置である。即ち、本実施形態に係る撮像装置1は、内視鏡に本発明を適用したものである。図1に示すように、撮像装置1は、生体に差し込まれて撮像を行うための内視鏡10と、内視鏡10の先端から照射されるビーム光を供給する光源20と、内視鏡10により撮像された画像を処理する情報処理装置30と、画像を表示するモニタ40とを備えて構成される。
【0015】
内視鏡10は、生体内に挿入できるように細長い形状をしており、その先端部10aに生体内部の被観察部を撮像するための撮像手段である撮像部11を備えている。撮像部11は、具体的には、内視鏡10の先端部10aに被観察部に向くように位置決めして設けられたレンズ12と、レンズ12の決像位置に設けられたCCD(Charge Coupled Device Image Sensor)イメージセンサ等の撮像素子13とを含んで構成される。撮像部11により撮像された画像の情報は、内視鏡10先端部10aとは逆側の端部に設けられるコネクタ14においてケーブルにより内視鏡10と接続された情報処理装置30に出力される。
【0016】
撮像部11は、レンズ12を介して被観察部の画像を撮像するため、レンズ12による歪みが発生する。本実施形態では、撮像される画像は円形となるが、例えば、図2(a)に示す、格子状になるように点が配置されたテストパターンを撮像部11により撮像すると、図2(b)に示すように歪む。この歪みは、画像の中心から各点までの距離に対して、当該距離に対応する実際の距離の比率が均一にならず、画像の各点間で異なることにより発生する。
【0017】
また、内視鏡10は、撮像部11により撮像される被観察部の複数の点にレーザ光を照射する。内視鏡10のコネクタ14には、上記した情報処理装置以外にも、光源20が光学的に接続されている。この光源20からレーザ光が内視鏡10内部に配される光ファイバ15に入力される。レーザ光は、当該光ファイバ15を通って内視鏡10の先端部10aにおける複数の出射点15aから出射される。図3に、内視鏡10の先端部10aの正面を示す。図3に示すように、本実施形態では、内視鏡10には、レーザ光の出射点15aが4つ設けられる(4本の光ファイバが内視鏡10内に配される)。レーザ光は、その出射方向(光路)が撮像部11(のレンズ12)の光軸方向と平行になるように出射される。
【0018】
内視鏡10には更に、図3に示すように、生体内部において明るい状態で撮像が行えるようにするための照明16や、生体内部に対しての処置を行うための鉗子を通す孔17、生体内に水や空気を通す孔18が設けられている(これらは図1では省略している)。
【0019】
光源20は、上述したように、被観察部に照射するためのレーザ光を供給する装置である。即ち、光源20は、内視鏡10及び内視鏡10に含まれる光ファイバ15と共に、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する。光源20としては、具体的にはレーザダイオードを用いることができる。なお、光源20は、出射点15aから出射されるレーザ光用の光源としてだけでなく、照明16用の光源としても用いられてもよい。
【0020】
情報処理装置30は、内視鏡10により撮像された画像を処理する装置である。情報処理装置30は、内視鏡10とケーブルにより接続されて内視鏡10からの情報を受信できるようになっており、内視鏡10の撮像部11により撮像された画像の情報が入力される。情報処理装置30は、具体的には、CPU(Central Processing Unit)、メモリ等のハードウェアにより構成され、これらの構成要素が動作することにより、下記の情報処理装置30の動作が実現される。図1に示すように、情報処理装置30は機能的には、受信部31と、補正部32と、検出部33と、三次元座標導出部34と、所定点導出部35と、出力部36とを備えて構成される。
【0021】
受信部31は、内視鏡10から出力される画像の情報を受信する手段である。受信部31は、受信した画像の情報を補正部32に出力する。
【0022】
補正部32は、内視鏡10により撮像された画像に発生するレンズ12による歪みを補正する補正手段である。補正部32は、レンズ12の歪曲特性を示す情報を記憶しておき、当該情報に基づいて歪みの補正を行う。レンズ12の歪曲特性を示す情報とは、画像の二点間の距離に対する実際の距離の比率を示す情報であり、例えば、図4のグラフに示すようなものである。図4において、縦軸は画像上での画像の中心からの距離(画像の端までの距離を1として正規化している)を示しており、横軸は画像上の距離に対応した実際の距離(画像上での距離と同様に正規化している)を示している。図2や図4に示すように、レンズ12の影響により、画像上の位置により、実際の距離よりも画像上での距離の方が長くなる。なお、補正部32においては、レンズ12の歪曲特性を示す情報として、必ずしも図4に示したグラフの情報を記憶している必要はなく、画像上での距離に対する実際の距離の情報を記憶しておけばよい。
【0023】
補正部32による画像の補正は、例えば、画像上の各位置に対して、画像上での距離から、レンズ12の歪曲特性を示す情報を用いて実際の距離を導出して、導出された実際の距離の位置の画素に画像上での距離の位置にある画素の画素値(色彩)を与えることにより行われる。補正された画像の情報は、検出部33及び出力部36に出力される。
【0024】
ここで、補正部32により記憶されるレンズ12の歪曲特性を示す情報を取得する方法の一例について説明する。まず、図2(a)に示すような、格子状に点(以下、パターン点と呼ぶ)が配置されたテストパターンを撮像装置1の撮像部11により撮像する。撮像された画像は、図2(b)に示すようにレンズ12に歪曲特性に応じて歪む。撮像された画像上の距離と、それに対応するテストパターン上の距離とを計測することにより、レンズ12の歪曲特性を示す情報が取得される。
【0025】
図5を用いて、各距離の計測について説明する。図5(a)に示すように、まず、撮像した画像の中心点50を求める。中心点50は、円形の画像の端から等距離の点として求められる。次に、中心点50から、何れかのパターン点51の中央を通るように直線52を引く。図5(b)に示すように、(撮像したものでなく実際の)テストパターンでも画像の中心点50に対応する中心点Oから、画像上のパターン点51に対応するパターン点Pmを通るように線を引く。
【0026】
続いて、図5(a)に示すように、撮像した画像において、直線52を挟むように位置する隣り合う二つパターン点53の間に線分54を引く。線分54は、図5(a)に示すように、複数のパターン点53の組の間で引かれる。このようにして引かれた直線52と線分54との間に交点55ができるが、中心点50から各交点55までの距離を計測する。計測した距離は、半径(中心点50から円周までの距離)で割る。即ち、中心点で0、画像の端(半径)で1になるように正規化する。
【0027】
次に、図5(b)に示す(撮像したものでなく実際の)テストパターンで各交点55に対応する点Pn(ここで、Pnは、中心点50からn+1番目(nは非負の整数)の交点55に対応する点である)の距離を求める。この距離は実測してもよいが、全てを実測する必要はなく、一部の距離の実測に基づき計算で求めることができる。図5(b)における中心点Oから点Pnまでの距離Dnは、次のように求められる。隣り合うパターン点間の実際の距離をxbとする。ここで、図5における距離x0と、距離ymとが分かれば、Dmの値を求めることができる。なお、距離x0は、中心点Oから、点P0に係るパターン点間を結ぶ線までの距離であり、距離ymは、点P0に係るパターン点間を結ぶ線と垂直になるように中心点Oから引かれた線(図5(b)における破線)からパターン点Pmまでの距離である。
【0028】
これらの値から三角形の相似の関係より、
Dn=(x0 + nxb)Dm/(x0+ mxb)
が成り立ち、各点Pnまでの距離Dnを求めることができる。上記の方法で、例えば、十数の点について画像上の距離と実際の距離との対応関係の情報を得ることができ、それをレンズ12の歪曲特性を示す情報とすることができる。
【0029】
なお、レンズ12の歪曲特性を示す情報を取得する方法については、例えば、特開昭63−246716号公報に記載されている方法(同じ条件で平面上の正方のます目を撮っておき、この画像が正方になるような各画素における補正値を決めておく)を適用することとしてもよい。
【0030】
検出部33は、補正部32により補正された画像における、内視鏡10から被観察部に対して照射されたレーザ光の各照射点の座標を検出する検出手段である。検出される座標は、例えば、撮像部11(のレンズ12)の光学中心に相当する画像の中心を原点とした座標である。各照射点の座標の検出については、より詳細に後述する。検出された各照射点の座標を示す情報は、三次元座標導出部34に出力される。
【0031】
三次元座標導出部34は、検出部33により検出されたレーザ光の各照射点の座標、及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する。導出に用いるレーザ光の照射条件としては、内視鏡10におけるレーザ光の出射位置及び照射方向である。内視鏡10におけるレーザ光の出射位置は、予め位置決めされているので、撮像部11(のレンズ12)の光学中心に対する位置(三次元座標)として予め三次元座標導出部34に記憶されている。また、レーザ光の照射方向についても同様に予め定められているので、三次元座標導出部34に記憶されている。三次元座標の導出については、より詳細に後述する。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部35に出力される。
【0032】
所定点導出部35は、三次元座標導出部34により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正部32により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段である。この各照射点の間の所定の位置関係の点とは、例えば、被観察部(例えば、臓器等)の大きさを知ることができる目盛りとなる点である。各照射点の間の所定の位置関係がどのようなものであるかは、所定点導出部35に予め記憶されている。所定の位置関係の点の導出については、より詳細に後述する。導出された所定の位置関係の点を示す情報は、出力部36に出力される。
【0033】
出力部36は、補正部32により補正された画像の情報、及び所定点導出部35により導出された当該画像上の所定の位置関係の点の座標を示す情報をモニタ40に出力する出力手段である。モニタ40に出力される際には、座標を示す情報は、補正部32により補正された画像の情報に目盛りとして組み込まれて、一つの画像の情報として出力される。
【0034】
モニタ40は、情報処理装置30から出力された画像の情報を画面表示する。ユーザは、モニタ40を参照することにより、内視鏡10により撮像された画像を見ることができる。以上が撮像装置1の構成である。
【0035】
引き続いて、撮像装置1の動作について、図6のフローチャートを参照して説明する。この動作は、撮像装置1の内視鏡10を生体の内部に挿入して、被観察部の撮像を行う際の動作である。まず、内視鏡10から被観察部の複数の点にレーザ光を照射した状態にしておく(S01)。
【0036】
続いて、内視鏡10の撮像部11により被観察部の画像が撮像される(S02)。撮像された画像の情報は、内視鏡10から情報処理装置30に出力される。情報処理装置30では、受信部31により当該画像の情報が受信される。画像の情報は、受信部31から補正部32に出力される。
【0037】
続いて、補正部32により、撮像部11のレンズ12の歪曲特性を示す情報に基づき、画像のレンズ12による歪みが補正される(S03)。歪みが補正された画像は、検出部33と出力部36とに出力される。
【0038】
続いて、検出部33により、歪みが補正された画像における、レーザ光の各照射点の(二次元)座標が検出される(S04)。レーザ光の各照射点の座標の検出は、次のように行われる。まず、照射点の検出には、画像の全てを調べる必要はない。レーザ光の出射位置と撮像部11(のレンズ12)との位置関係、レーザ光の照射方向、及び撮像部11(のレンズ12)の光軸によって、照射点が存在する位置が制限される。本実施形態では、上述したようにレーザ光はその出射方向(光路)が撮像部11(のレンズ12)の光軸方向と平行になるように4本照射される。従って、図7に示すように、被観察部と内視鏡10との位置関係に応じて、撮像部11により撮像される画像における4本の線分60上の何れかの点がレーザ光の照射点となる(被観察部が内視鏡10の先端部10aに接近している程、照射点は画像上の端の方になる)。この線分60が画像上のどの位置になるかは、予め検出して、検出部33に設定しておくことができる。即ち、検出部33は、補正部32により補正された画像における線分60等の予め設定された所定の範囲を探索することにより照射点の座標を検出する。
【0039】
各照射点の座標の検出は、画像の濃淡情報を用いる。そのために、画素値をRGB(各256段階)から256段階の濃淡の情報に変換する。照射点の座標を検出するために、各画素の近傍で濃淡値の分散と、濃淡分布の類似度とを用いる。検出のために、ガウス分布等の照射点での濃淡分布のサンプルと、濃淡値の分散の閾値とを検出部33に予め設定しておく。閾値の設定は、レーザ光の照射点では周囲の画素との濃淡値の大きな差が発生することによるものである。濃淡値の分散が設定した閾値よりも大きい画素の中で、サンプルと最大の濃淡分布類似度を持つ画素を照射点とする。なお、分散及び類似度は、二次元ではなく、図7に示した線分60に沿って一次元で計算することができる。ここでの類似度としては、例えば、入力画像(補正部32により補正された画像)と、濃淡分布のサンプルであるガウス分布との相関係数が用いられる。検出された各照射点の座標の情報は、三次元座標導出部34に出力される。
【0040】
なお、本実施形態に係る撮像装置1では、画像に照明16の光の反射によるハイライトが生じる。このハイライトが照射点検出処理の妨げとなるので、RGB成分のG又はBの値が設定値以上の画素はハイライト部分として、ハイライト部分内の画素を照射点としないこととすることができる。また、照射点を検出するために撮像する際には、照明16の光を照射しない制御をすることとしてもよい。
【0041】
また、照射点の検出の際に、入力画像のノイズを除去するために平滑化を行うこととしてもよい。平滑化の方法としては、照射点の特徴を残すためにメディアンフィルタを使うものを用いるのがよい。メディアンフィルタは、画像の平滑化と特徴点の保持との両方を考慮し、例えば5×5画素の範囲で行う。
【0042】
続いて、検出された画像上のレーザ光の各照射点の座標に基づいて、三次元座標導出部34により、各照射点の三次元座標が導出される(S05)。レーザ光の各照射点の三次元座標の検出について、図8の透視投影モデルを用いて説明する。ここで、三次元の各座標軸をx軸、y軸及びz軸とする。ここで導出される照射点の三次元座標P(Xp,Yp,Zp)は、撮像部11(のレンズ12)の光学中心を座標系の原点Oとしたときの座標である。図8に示すように、z軸方向を、撮像部11(のレンズ12)の光軸方向とする。また、三次元座標導出部34により予め記憶されているレーザ光の出射位置をL(XL,YL,ZL)する。また、画像上での照射点の三次元座標をp(xp,yp,f)とする。ここで、fはレンズ12の焦点距離である。なお、実際の撮像部11では、レンズ12を挟んで撮像対象と反対側にある画像面を、簡単のため図8では撮像対象側に描く。また、画像面上での照射点の三次元座標p(xp,yp,f)における(xp,yp)は、検出部33により検出された(二次元)座標に対応するものである。なお、上記の各座標の値は、物理的な距離と対応付けられたものである。
【0043】
このとき、原点Oとレーザ光の照射点P(Xp,Yp,Zp)とを結ぶ直線は、画像上での照射点の三次元座標p(xp,yp,f)を通るので、
x/xp=y/yp=z/f …(1)
で表される。また、レーザ光の出射位置L(XL,YL,ZL)とレーザ光の照射点P(Xp,Yp,Zp)とを結ぶ直線は、
(x−XL)/Bx=(y−YL)/By=(z−ZL)/Bz …(2)
で表される。ここで、(Bx,By,Bz)はレーザ光の照射方向を示すベクトルであり、予め三次元座標導出部34により予め記憶されている。(Bx,By,Bz)としては、設計により定まる値を用いてもよいし、予め撮像装置1の内視鏡10の前方にスクリーン等を置き、スクリーンでの照射点とレーザ光の出射位置とから実験的に求められる値を用いてもよい。(スクリーンでの)レーザ光の照射点の座標を(Xs,Ys,Zs)とすると、
(Bx,By,Bz)=(Xs−XL,Ys−YL,Zs−ZL) …(3)
として求まる。
【0044】
レーザ光の照射点P(Xp,Yp,Zp)は、上記の2直線(1),(2)の交点を以下のように計算することにより導出することができる。
Xp=(By XL −Bx YL)xp/(By xp −Bx yp)
Yp=(By XL −Bx YL)yp/(By xp −Bx yp) …(4)
Zp=(By XL −Bx YL)f/(By xp− Bxyp)
【0045】
上記の導出の過程において、画像面上での照射点の三次元座標をp(xp,yp,f)としたが、撮像した画像中から特定の画素の位置を、画素を単位として求めることは容易であるが、物理的な距離を単位として求めることは一般には容易ではない。(xp,yp)を物理的な距離を単位とすることが困難なときには、予め任意の点の(物理的な距離の)三次元座標を計測して、それを実際に撮影しておき、それらの値に基づいて上記の導出を行うこととすればよい。
【0046】
任意の点の三次元座標を(Xt,Yt,Zt)とし、その点の画像面での位置が画像中心からx軸方向にit画素、y軸方向にjt画素であるとする。また、1画素あたりの物理的間隔が画像面上でx軸方向にdx、y軸方向にdyであるとする。このとき、上記の任意の点の画像面での三次元座標は(itdx,jtdx,f)で表すことができ、
Xt/(itdx)=Yt/(jtdx)=Zt/f …(5)
が成立する。また、式(4)で画像面上での照射点のxy座標を表すxp,ypも同様に、
xp=ipdx, yp=jpdy …(6)
とすることができる。ここで、ip,jpは画素を単位として画像面上での照射点の、それぞれx軸方向及びy軸方向の位置を表す。
【0047】
式(5),(6)を用いれば、式(4)から式(7)が求まる。
Xp=(ByXL−BxYL)ipjtXt/(ByipjtXt−BxjpitYt)
Yp=(ByXL−BxYL)jpitYt/(ByipjtXt−BxjpitYt)
Zp=(ByXL−BxYL)itjtZt/(ByipjtXt−BxjpitYt)
…(7)
式(7)の右辺から、物理的な距離を求めることが困難なxp,yp,fが消え、全て実際に測定可能な変数(予め測定しておくものも含む)を用いて各照射点の三次元座標P(Xp,Yp,Zp)を導出することができる。上記が、レーザ光の各照射点の三次元座標の導出方法である。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部35に出力される。
【0048】
続いて、所定点導出部35により、導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標が導出される(S06)。また、導出された三次元座標から補正部32により補正された画像上の当該所定の位置関係の点の座標が導出される。本実施形態においては、所定の位置関係の点とは目盛りとなる点である。図9に示すように、目盛りとなる点は、上記のように導出された2点の照射点の座標のうちの一方の点から他方の点に向かう線分上での一定の間隔毎の点である。この点が画像と共に表示されることによって、2点の照射点の間の実際の距離、即ち被観察部の実際の大きさを知ることができる。目盛りの間隔等の、どのような目盛りとなる点を導出するかについての情報は、予め所定点導出部35に予め記憶されており、所定点導出部35はその情報に基づいて導出を行う。
【0049】
なお、目盛りとなる点を導出するための2つの照射点を結ぶ線分が、画像面と平行であれば、実空間で等間隔の目盛りは画像面でも等間隔であるので、1目盛り分の間隔で繰り返し目盛りとなる点を導出すればよい。しかし、図9に示すように、照射点間を結ぶ線分は画像面とは平行になるとは限らない。目盛りは実空間で等間隔であっても画像上では等間隔ではない。画像上での目盛りの位置を一つずつ計算する必要がある。
【0050】
例えば、二つの照射点Ps(Xs,Ys,Zs)とPe(Xe,Ye,Ze)との間に、Psを基点としてu間隔に目盛りMk(k=0,1,2…)を表示させる。k番目の目盛りの実空間での位置をMk(Xk,Yk,Zk)とすると、
【数1】
となる。ここで、‖Pe−Ps‖は、2つの照射点間の距離である。これらから、Mk(Xk,Yk,Zk)の画像上での位置mu(xk,yk,zk)も以下のように導出することができる。
xk=Xkf/Zk
yk=Ykf/Zk …(9)
zk=f
即ち、画像上でのk本目の目盛りを画像上における(Xkf/Zk,Ykf/Zk)の位置に表示すればよい。
【0051】
また、式(9)のように物理的な距離を単位とするのではなく、画素を単位として画像上の目盛りとなる点の位置を決めるのには次のようにすればよい。上述したように、任意の三次元座標(Xt,Yt,Zt)が既知の点を撮像することにより、式(5)から、
f/dx=itZt/Xt …(10)
f/dy=jtZt/Yt
が成立する。上記の点の三次元座標(Xt,Yt,Zt)と画像上での画素を単位とした座標(it,jt)から、f/dx及びf/dyが求まる。従って、k本目の目盛りの画像上の座標(Xkf/Zk,Ykf/Zk)をx軸方向及びy軸方向それぞれ1画素あたりの物理的間隔dx、dyを用いて画素単位(ik,jk)で表すと、
ik=Xkf/(Zkdx)=XkitZt/(ZkXt) …(11)
jk=Ykf/(Zkdy)=YkjtZt/(ZkYt)
となる。即ち、画像上でk本目の目盛りを画素単位で(XkitZt/(ZkXt),YkjtZt/(ZkYt))の位置に表示すればよい。上記のように導出された、画像上の目盛りの点の座標を示す情報は、所定点導出部35から出力部36に出力される。
【0052】
続いて、出力部36では、所定点導出部35により導出された点の座標の位置に目盛りが、補正部32により補正された画像の情報に表示されるように、目盛りが画像に重畳されて(組み込まれて)、当該画像の情報がモニタ40に出力される。モニタ40では、情報処理装置30から出力された情報に係る画像が画面表示される(S07)。このように、目盛りが重畳された画像を出力することとすれば、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。図10に画面表示された例を示す。図10に示すように、4つの各照射点71の間に線分が引かれて、その線分上に目盛り72が表示される。図10に示す例では、1目盛りが実際の距離にして1mmである。
【0053】
また、各点について三次元座標が求められているので、各点の撮像部11(のレンズ12)からの距離を表示することができる。図10に示す例では、4つの各照射点71の撮像部11(のレンズ12)からの距離を表示している。
【0054】
また、目盛り表示は、操作者であるユーザから撮像装置1への入力を出力部36が受け付けて、当該入力に基づいて行われてもよい。当該入力としては、例えば、「目盛りを今表示せよ」、「ここに目盛りを表示せよ」及び「目盛りの種類を変えろ」等の指示が行えるものとする。また、当該入力は、操作者であるユーザが内視鏡の操作等の手作業を行えるように、例えば、撮像装置1に接続されたフットスイッチ等の入力インターフェースにより行われることが好ましい。
【0055】
上述したように、本実施形態に係る撮像装置1では、撮像された画像がレンズ12による歪みを除去されるので、より正確な形状を表示することができる。また、本実施形態に係る撮像装置1では、レンズ12の歪みを補正した画像においてレーザ光の各照射点の間に、被観察部の実際の大きさを示す目盛り点を表示することができる。これにより、本実施形態に係る撮像装置1によれば、より正確に被観察部の大きさを表示することができる。
【0056】
また、本実施形態のように撮像部11を内視鏡10に含まれて構成される形態とすれば、医療分野への応用がより簡易に行うことができる。本実施形態の上記の効果により、例えば、これまで医者の経験に頼っていた患部の大きさの把握が容易になり、定量的な観察が可能になる。
【0057】
なお、上述した実施形態では、目盛りの点は例えば1mm刻み等予め設定された位置に固定的に表示されていたが、目盛りの点を移動できるようにしてもよい。目盛りの点の移動は、例えば、以下のように行われる。情報処理装置30にキーボードやマウス等のユーザからの入力インターフェースを用意しておく。当該入力インターフェースによりユーザから目盛りを移動させる旨の情報の入力があると、所定点導出部35がその入力を受け付け、その入力に応じて目盛りとなる点の移動を行う(移動に応じて、目盛りとなる点の座標を再度導出する)。例えば、二つの照射点の間に二つの目盛りを用意しておき、二つの目盛りを、上記の移動により、それぞれ患部等の対象物の端と端とに合せることにより、当該対象物の大きさを測れるようにしておくのがよい。この構成によれば、例えば目盛り点を所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
【0058】
上述した本実施形態に係る撮像装置1では、レーザ光の照射点間での目盛りを表示するものであったが、下記のように(一つの)照射点に目盛りを表示させることができる。図11に示すように、表示したい目盛りの間隔をuとするとき、uが画像上で何画素に対応するかが分かればよい。
【0059】
レーザ光の照射点P(Xp,Yp,Zp)を通り画像面と平行な平面(z=Zp)の線分は、画像面(z=f)では長さはf/Zp倍に縮小される。従って、uf/Zp間隔で目盛りを表示すればよい。また、
【数2】
であるので、fが不明であっても、例えば、
【数3】
を使って、
(画像面上での照射点までの距離)/(光軸から照射点までの距離)
の縮尺で目盛りを表示すればよい。
【0060】
また、画像上での物理的な距離が不明であっても、画素を単位として目盛りを表示することができる。このときには、目盛りを表示したい方向により縮尺は異なる。実空間でθの方向の目盛りを書きたいならば、x軸成分ucosθf/Zpdx(画素)、y軸成分usinθf/Zpdy(画素)の間隔で目盛りを表示すればよい。また、f/dxあるいはf/dyが不明であっても、x軸成分、y軸成分共に、
(画像面上での照射点までの画素数)/(光軸から照射点までの画素数)
の縮尺で目盛りを表示すればよい。
【0061】
図12に、画像上のレーザ光の照射点の周囲に目盛り表示をした例を示す。図12(a)は、直行する2方向に表示した例、図12(b)は、同心円状に表示した例である。
【0062】
また、上述した実施例では、人体等の生体の内部を撮像する内視鏡10を用いるものとしたが、他のものに対しても応用することができる。例えば、プラント、流体装置その他生産設備の配管内を撮像する欠陥検出装置に利用することができる。このように人間の目では、外部からは確認することができない、あるいは確認できても精度が十分でないような場合に、画像により直接的に欠陥等を定量的かつ精度よく検出することができる。これにより、設備等の破損、事故、異常停止等に対する予防、予知などのメンテナンスの向上に役立てることができる。
【図面の簡単な説明】
【0063】
【図1】本発明の実施形態に係る撮像装置の構成を示す図である。
【図2】テストパターンと、テストパターンに発生した歪みとを示した図である。
【図3】内視鏡の先端部の正面を示す図である。
【図4】レンズの歪曲特性を示す情報を示したグラフである。
【図5】レンズの歪曲特性を導出する際に撮像したテストパターンと、テストパターン上での距離を示した図である。
【図6】本発明の実施形態における撮像装置での処理を示すフローチャートである。
【図7】撮像され歪みが補正された画像におけるレーザ光の照射点となりうる範囲を示した図である。
【図8】レンズの光学中心、レーザ光の照射点及び画像上の照射点等の関係を示した図である。
【図9】照射点間の目盛りを示した図である。
【図10】照射点間の目盛りが入れられた画像を示す図である。
【図11】照射点の周囲の目盛りを示した図である。
【図12】照射点の周囲の目盛りが入れられた画像を示す図である。
【符号の説明】
【0064】
1…撮像装置、10…内視鏡、11…撮像部、12…レンズ、13…撮像素子、14…コネクタ、15…光ファイバ、20…光源、30…情報処理装置、31…受信部、32…補正部、33…検出部、34…三次元座標導出部、35…所定点導出部、36…出力部、40…モニタ。
【技術分野】
【0001】
本発明は、内視鏡等に適用される撮像装置に関する。
【背景技術】
【0002】
医療用内視鏡においては、被観察部の画像から病変部の実際の大きさ、あるいは形状を得ることは医療手段の決定の判断材料として非常に重要である。しかしながら、通常、内視鏡の構成上、レンズによる歪みが発生して撮像された画像が歪み、またレンズから被観察部までの高精度な距離情報が得られないため、正確な大きさや形状が分からなかった。そのため、内視鏡の操作者や医師等は経験を元に表示された画像からその大きさや形状を推定していた。
【0003】
被観察部の大きさや形状を正確に表示するため、例えば、下記の特許文献1では、レンズの像面湾曲特性を利用し、被観察部の凹凸等の形状に対応してピント合わせを行なうことを行っている。これにより、凹凸形状の高低情報を得ることができる。また、下記の特許文献2には、画像における所定の点からのスケール表示(同心円状、直行スケール等)を行うことができる点が記載されている。
【特許文献1】特開2001−269306号公報
【特許文献2】特開2002−153421号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された技術では、取得された画像が歪んでいるため、正確な形状は表示されない。また、特許文献2に記載された技術では、焦点距離に基づいてスケール表示がなされているので、必ずしも正確なスケールとなっているとはいえない。
【0005】
本発明は、以上の問題点を解決するためになされたものであり、より正確に被観察部の大きさ及び形状を表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明に係る撮像装置は、レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、予め記憶したレンズの歪曲特性を示す情報に基づき、撮像手段により撮像された画像のレンズによる歪みを補正する補正手段と、補正手段により補正された画像における、レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、検出手段により検出された座標、及びレーザ光の照射条件から、レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、三次元座標導出手段により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正手段により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、補正手段により補正された画像の情報、及び所定点導出手段により導出された当該画像上の所定の位置関係の点の座標を示す情報を出力する出力手段と、を備えることを特徴とする。
【0007】
本発明に係る撮像装置では、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明に係る撮像装置では、レンズの歪みを補正した画像から、レーザ光の各照射点が検出される。当該検出されたレーザ光の各照射点から、各照射点の三次元座標が導出されて、更に各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。この点の座標は、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができる。これにより、本発明に係る撮像装置によれば、より正確に被観察部の大きさを表示することができる。
【0008】
出力手段は、所定点導出手段により導出された当該画像に、所定の位置関係の点の座標の位置に目盛りを重畳して、当該目盛りが重畳された画像を出力することが望ましい。この構成によれば、目盛りが重畳された画像が表示されるので、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。
【0009】
検出手段は、補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、座標を検出することが望ましい。この構成によれば、効率的に照射点の検出を行うことができ、結果として本発明に係る撮像装置における処理を効率的に行うことができる。
【0010】
所定点導出手段は、所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて所定の位置関係の点を移動させることが望ましい。この構成によれば、例えば目盛りを所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
【0011】
撮像手段は、内視鏡に含まれて構成されることが望ましい。この構成によれば、本発明の医療分野への応用をより容易に行うことができる。
【発明の効果】
【0012】
本発明によれば、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明では、複数のレーザ光の各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。これにより、本発明によれば、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができるので、より正確に被観察部の大きさを表示することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面と共に本発明に係る撮像装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【0014】
図1に本実施形態に係る撮像装置1を示す。撮像装置1は、人体等の生体内部の被観察部を撮像し、撮像した画像を表示する装置である。即ち、本実施形態に係る撮像装置1は、内視鏡に本発明を適用したものである。図1に示すように、撮像装置1は、生体に差し込まれて撮像を行うための内視鏡10と、内視鏡10の先端から照射されるビーム光を供給する光源20と、内視鏡10により撮像された画像を処理する情報処理装置30と、画像を表示するモニタ40とを備えて構成される。
【0015】
内視鏡10は、生体内に挿入できるように細長い形状をしており、その先端部10aに生体内部の被観察部を撮像するための撮像手段である撮像部11を備えている。撮像部11は、具体的には、内視鏡10の先端部10aに被観察部に向くように位置決めして設けられたレンズ12と、レンズ12の決像位置に設けられたCCD(Charge Coupled Device Image Sensor)イメージセンサ等の撮像素子13とを含んで構成される。撮像部11により撮像された画像の情報は、内視鏡10先端部10aとは逆側の端部に設けられるコネクタ14においてケーブルにより内視鏡10と接続された情報処理装置30に出力される。
【0016】
撮像部11は、レンズ12を介して被観察部の画像を撮像するため、レンズ12による歪みが発生する。本実施形態では、撮像される画像は円形となるが、例えば、図2(a)に示す、格子状になるように点が配置されたテストパターンを撮像部11により撮像すると、図2(b)に示すように歪む。この歪みは、画像の中心から各点までの距離に対して、当該距離に対応する実際の距離の比率が均一にならず、画像の各点間で異なることにより発生する。
【0017】
また、内視鏡10は、撮像部11により撮像される被観察部の複数の点にレーザ光を照射する。内視鏡10のコネクタ14には、上記した情報処理装置以外にも、光源20が光学的に接続されている。この光源20からレーザ光が内視鏡10内部に配される光ファイバ15に入力される。レーザ光は、当該光ファイバ15を通って内視鏡10の先端部10aにおける複数の出射点15aから出射される。図3に、内視鏡10の先端部10aの正面を示す。図3に示すように、本実施形態では、内視鏡10には、レーザ光の出射点15aが4つ設けられる(4本の光ファイバが内視鏡10内に配される)。レーザ光は、その出射方向(光路)が撮像部11(のレンズ12)の光軸方向と平行になるように出射される。
【0018】
内視鏡10には更に、図3に示すように、生体内部において明るい状態で撮像が行えるようにするための照明16や、生体内部に対しての処置を行うための鉗子を通す孔17、生体内に水や空気を通す孔18が設けられている(これらは図1では省略している)。
【0019】
光源20は、上述したように、被観察部に照射するためのレーザ光を供給する装置である。即ち、光源20は、内視鏡10及び内視鏡10に含まれる光ファイバ15と共に、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する。光源20としては、具体的にはレーザダイオードを用いることができる。なお、光源20は、出射点15aから出射されるレーザ光用の光源としてだけでなく、照明16用の光源としても用いられてもよい。
【0020】
情報処理装置30は、内視鏡10により撮像された画像を処理する装置である。情報処理装置30は、内視鏡10とケーブルにより接続されて内視鏡10からの情報を受信できるようになっており、内視鏡10の撮像部11により撮像された画像の情報が入力される。情報処理装置30は、具体的には、CPU(Central Processing Unit)、メモリ等のハードウェアにより構成され、これらの構成要素が動作することにより、下記の情報処理装置30の動作が実現される。図1に示すように、情報処理装置30は機能的には、受信部31と、補正部32と、検出部33と、三次元座標導出部34と、所定点導出部35と、出力部36とを備えて構成される。
【0021】
受信部31は、内視鏡10から出力される画像の情報を受信する手段である。受信部31は、受信した画像の情報を補正部32に出力する。
【0022】
補正部32は、内視鏡10により撮像された画像に発生するレンズ12による歪みを補正する補正手段である。補正部32は、レンズ12の歪曲特性を示す情報を記憶しておき、当該情報に基づいて歪みの補正を行う。レンズ12の歪曲特性を示す情報とは、画像の二点間の距離に対する実際の距離の比率を示す情報であり、例えば、図4のグラフに示すようなものである。図4において、縦軸は画像上での画像の中心からの距離(画像の端までの距離を1として正規化している)を示しており、横軸は画像上の距離に対応した実際の距離(画像上での距離と同様に正規化している)を示している。図2や図4に示すように、レンズ12の影響により、画像上の位置により、実際の距離よりも画像上での距離の方が長くなる。なお、補正部32においては、レンズ12の歪曲特性を示す情報として、必ずしも図4に示したグラフの情報を記憶している必要はなく、画像上での距離に対する実際の距離の情報を記憶しておけばよい。
【0023】
補正部32による画像の補正は、例えば、画像上の各位置に対して、画像上での距離から、レンズ12の歪曲特性を示す情報を用いて実際の距離を導出して、導出された実際の距離の位置の画素に画像上での距離の位置にある画素の画素値(色彩)を与えることにより行われる。補正された画像の情報は、検出部33及び出力部36に出力される。
【0024】
ここで、補正部32により記憶されるレンズ12の歪曲特性を示す情報を取得する方法の一例について説明する。まず、図2(a)に示すような、格子状に点(以下、パターン点と呼ぶ)が配置されたテストパターンを撮像装置1の撮像部11により撮像する。撮像された画像は、図2(b)に示すようにレンズ12に歪曲特性に応じて歪む。撮像された画像上の距離と、それに対応するテストパターン上の距離とを計測することにより、レンズ12の歪曲特性を示す情報が取得される。
【0025】
図5を用いて、各距離の計測について説明する。図5(a)に示すように、まず、撮像した画像の中心点50を求める。中心点50は、円形の画像の端から等距離の点として求められる。次に、中心点50から、何れかのパターン点51の中央を通るように直線52を引く。図5(b)に示すように、(撮像したものでなく実際の)テストパターンでも画像の中心点50に対応する中心点Oから、画像上のパターン点51に対応するパターン点Pmを通るように線を引く。
【0026】
続いて、図5(a)に示すように、撮像した画像において、直線52を挟むように位置する隣り合う二つパターン点53の間に線分54を引く。線分54は、図5(a)に示すように、複数のパターン点53の組の間で引かれる。このようにして引かれた直線52と線分54との間に交点55ができるが、中心点50から各交点55までの距離を計測する。計測した距離は、半径(中心点50から円周までの距離)で割る。即ち、中心点で0、画像の端(半径)で1になるように正規化する。
【0027】
次に、図5(b)に示す(撮像したものでなく実際の)テストパターンで各交点55に対応する点Pn(ここで、Pnは、中心点50からn+1番目(nは非負の整数)の交点55に対応する点である)の距離を求める。この距離は実測してもよいが、全てを実測する必要はなく、一部の距離の実測に基づき計算で求めることができる。図5(b)における中心点Oから点Pnまでの距離Dnは、次のように求められる。隣り合うパターン点間の実際の距離をxbとする。ここで、図5における距離x0と、距離ymとが分かれば、Dmの値を求めることができる。なお、距離x0は、中心点Oから、点P0に係るパターン点間を結ぶ線までの距離であり、距離ymは、点P0に係るパターン点間を結ぶ線と垂直になるように中心点Oから引かれた線(図5(b)における破線)からパターン点Pmまでの距離である。
【0028】
これらの値から三角形の相似の関係より、
Dn=(x0 + nxb)Dm/(x0+ mxb)
が成り立ち、各点Pnまでの距離Dnを求めることができる。上記の方法で、例えば、十数の点について画像上の距離と実際の距離との対応関係の情報を得ることができ、それをレンズ12の歪曲特性を示す情報とすることができる。
【0029】
なお、レンズ12の歪曲特性を示す情報を取得する方法については、例えば、特開昭63−246716号公報に記載されている方法(同じ条件で平面上の正方のます目を撮っておき、この画像が正方になるような各画素における補正値を決めておく)を適用することとしてもよい。
【0030】
検出部33は、補正部32により補正された画像における、内視鏡10から被観察部に対して照射されたレーザ光の各照射点の座標を検出する検出手段である。検出される座標は、例えば、撮像部11(のレンズ12)の光学中心に相当する画像の中心を原点とした座標である。各照射点の座標の検出については、より詳細に後述する。検出された各照射点の座標を示す情報は、三次元座標導出部34に出力される。
【0031】
三次元座標導出部34は、検出部33により検出されたレーザ光の各照射点の座標、及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する。導出に用いるレーザ光の照射条件としては、内視鏡10におけるレーザ光の出射位置及び照射方向である。内視鏡10におけるレーザ光の出射位置は、予め位置決めされているので、撮像部11(のレンズ12)の光学中心に対する位置(三次元座標)として予め三次元座標導出部34に記憶されている。また、レーザ光の照射方向についても同様に予め定められているので、三次元座標導出部34に記憶されている。三次元座標の導出については、より詳細に後述する。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部35に出力される。
【0032】
所定点導出部35は、三次元座標導出部34により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正部32により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段である。この各照射点の間の所定の位置関係の点とは、例えば、被観察部(例えば、臓器等)の大きさを知ることができる目盛りとなる点である。各照射点の間の所定の位置関係がどのようなものであるかは、所定点導出部35に予め記憶されている。所定の位置関係の点の導出については、より詳細に後述する。導出された所定の位置関係の点を示す情報は、出力部36に出力される。
【0033】
出力部36は、補正部32により補正された画像の情報、及び所定点導出部35により導出された当該画像上の所定の位置関係の点の座標を示す情報をモニタ40に出力する出力手段である。モニタ40に出力される際には、座標を示す情報は、補正部32により補正された画像の情報に目盛りとして組み込まれて、一つの画像の情報として出力される。
【0034】
モニタ40は、情報処理装置30から出力された画像の情報を画面表示する。ユーザは、モニタ40を参照することにより、内視鏡10により撮像された画像を見ることができる。以上が撮像装置1の構成である。
【0035】
引き続いて、撮像装置1の動作について、図6のフローチャートを参照して説明する。この動作は、撮像装置1の内視鏡10を生体の内部に挿入して、被観察部の撮像を行う際の動作である。まず、内視鏡10から被観察部の複数の点にレーザ光を照射した状態にしておく(S01)。
【0036】
続いて、内視鏡10の撮像部11により被観察部の画像が撮像される(S02)。撮像された画像の情報は、内視鏡10から情報処理装置30に出力される。情報処理装置30では、受信部31により当該画像の情報が受信される。画像の情報は、受信部31から補正部32に出力される。
【0037】
続いて、補正部32により、撮像部11のレンズ12の歪曲特性を示す情報に基づき、画像のレンズ12による歪みが補正される(S03)。歪みが補正された画像は、検出部33と出力部36とに出力される。
【0038】
続いて、検出部33により、歪みが補正された画像における、レーザ光の各照射点の(二次元)座標が検出される(S04)。レーザ光の各照射点の座標の検出は、次のように行われる。まず、照射点の検出には、画像の全てを調べる必要はない。レーザ光の出射位置と撮像部11(のレンズ12)との位置関係、レーザ光の照射方向、及び撮像部11(のレンズ12)の光軸によって、照射点が存在する位置が制限される。本実施形態では、上述したようにレーザ光はその出射方向(光路)が撮像部11(のレンズ12)の光軸方向と平行になるように4本照射される。従って、図7に示すように、被観察部と内視鏡10との位置関係に応じて、撮像部11により撮像される画像における4本の線分60上の何れかの点がレーザ光の照射点となる(被観察部が内視鏡10の先端部10aに接近している程、照射点は画像上の端の方になる)。この線分60が画像上のどの位置になるかは、予め検出して、検出部33に設定しておくことができる。即ち、検出部33は、補正部32により補正された画像における線分60等の予め設定された所定の範囲を探索することにより照射点の座標を検出する。
【0039】
各照射点の座標の検出は、画像の濃淡情報を用いる。そのために、画素値をRGB(各256段階)から256段階の濃淡の情報に変換する。照射点の座標を検出するために、各画素の近傍で濃淡値の分散と、濃淡分布の類似度とを用いる。検出のために、ガウス分布等の照射点での濃淡分布のサンプルと、濃淡値の分散の閾値とを検出部33に予め設定しておく。閾値の設定は、レーザ光の照射点では周囲の画素との濃淡値の大きな差が発生することによるものである。濃淡値の分散が設定した閾値よりも大きい画素の中で、サンプルと最大の濃淡分布類似度を持つ画素を照射点とする。なお、分散及び類似度は、二次元ではなく、図7に示した線分60に沿って一次元で計算することができる。ここでの類似度としては、例えば、入力画像(補正部32により補正された画像)と、濃淡分布のサンプルであるガウス分布との相関係数が用いられる。検出された各照射点の座標の情報は、三次元座標導出部34に出力される。
【0040】
なお、本実施形態に係る撮像装置1では、画像に照明16の光の反射によるハイライトが生じる。このハイライトが照射点検出処理の妨げとなるので、RGB成分のG又はBの値が設定値以上の画素はハイライト部分として、ハイライト部分内の画素を照射点としないこととすることができる。また、照射点を検出するために撮像する際には、照明16の光を照射しない制御をすることとしてもよい。
【0041】
また、照射点の検出の際に、入力画像のノイズを除去するために平滑化を行うこととしてもよい。平滑化の方法としては、照射点の特徴を残すためにメディアンフィルタを使うものを用いるのがよい。メディアンフィルタは、画像の平滑化と特徴点の保持との両方を考慮し、例えば5×5画素の範囲で行う。
【0042】
続いて、検出された画像上のレーザ光の各照射点の座標に基づいて、三次元座標導出部34により、各照射点の三次元座標が導出される(S05)。レーザ光の各照射点の三次元座標の検出について、図8の透視投影モデルを用いて説明する。ここで、三次元の各座標軸をx軸、y軸及びz軸とする。ここで導出される照射点の三次元座標P(Xp,Yp,Zp)は、撮像部11(のレンズ12)の光学中心を座標系の原点Oとしたときの座標である。図8に示すように、z軸方向を、撮像部11(のレンズ12)の光軸方向とする。また、三次元座標導出部34により予め記憶されているレーザ光の出射位置をL(XL,YL,ZL)する。また、画像上での照射点の三次元座標をp(xp,yp,f)とする。ここで、fはレンズ12の焦点距離である。なお、実際の撮像部11では、レンズ12を挟んで撮像対象と反対側にある画像面を、簡単のため図8では撮像対象側に描く。また、画像面上での照射点の三次元座標p(xp,yp,f)における(xp,yp)は、検出部33により検出された(二次元)座標に対応するものである。なお、上記の各座標の値は、物理的な距離と対応付けられたものである。
【0043】
このとき、原点Oとレーザ光の照射点P(Xp,Yp,Zp)とを結ぶ直線は、画像上での照射点の三次元座標p(xp,yp,f)を通るので、
x/xp=y/yp=z/f …(1)
で表される。また、レーザ光の出射位置L(XL,YL,ZL)とレーザ光の照射点P(Xp,Yp,Zp)とを結ぶ直線は、
(x−XL)/Bx=(y−YL)/By=(z−ZL)/Bz …(2)
で表される。ここで、(Bx,By,Bz)はレーザ光の照射方向を示すベクトルであり、予め三次元座標導出部34により予め記憶されている。(Bx,By,Bz)としては、設計により定まる値を用いてもよいし、予め撮像装置1の内視鏡10の前方にスクリーン等を置き、スクリーンでの照射点とレーザ光の出射位置とから実験的に求められる値を用いてもよい。(スクリーンでの)レーザ光の照射点の座標を(Xs,Ys,Zs)とすると、
(Bx,By,Bz)=(Xs−XL,Ys−YL,Zs−ZL) …(3)
として求まる。
【0044】
レーザ光の照射点P(Xp,Yp,Zp)は、上記の2直線(1),(2)の交点を以下のように計算することにより導出することができる。
Xp=(By XL −Bx YL)xp/(By xp −Bx yp)
Yp=(By XL −Bx YL)yp/(By xp −Bx yp) …(4)
Zp=(By XL −Bx YL)f/(By xp− Bxyp)
【0045】
上記の導出の過程において、画像面上での照射点の三次元座標をp(xp,yp,f)としたが、撮像した画像中から特定の画素の位置を、画素を単位として求めることは容易であるが、物理的な距離を単位として求めることは一般には容易ではない。(xp,yp)を物理的な距離を単位とすることが困難なときには、予め任意の点の(物理的な距離の)三次元座標を計測して、それを実際に撮影しておき、それらの値に基づいて上記の導出を行うこととすればよい。
【0046】
任意の点の三次元座標を(Xt,Yt,Zt)とし、その点の画像面での位置が画像中心からx軸方向にit画素、y軸方向にjt画素であるとする。また、1画素あたりの物理的間隔が画像面上でx軸方向にdx、y軸方向にdyであるとする。このとき、上記の任意の点の画像面での三次元座標は(itdx,jtdx,f)で表すことができ、
Xt/(itdx)=Yt/(jtdx)=Zt/f …(5)
が成立する。また、式(4)で画像面上での照射点のxy座標を表すxp,ypも同様に、
xp=ipdx, yp=jpdy …(6)
とすることができる。ここで、ip,jpは画素を単位として画像面上での照射点の、それぞれx軸方向及びy軸方向の位置を表す。
【0047】
式(5),(6)を用いれば、式(4)から式(7)が求まる。
Xp=(ByXL−BxYL)ipjtXt/(ByipjtXt−BxjpitYt)
Yp=(ByXL−BxYL)jpitYt/(ByipjtXt−BxjpitYt)
Zp=(ByXL−BxYL)itjtZt/(ByipjtXt−BxjpitYt)
…(7)
式(7)の右辺から、物理的な距離を求めることが困難なxp,yp,fが消え、全て実際に測定可能な変数(予め測定しておくものも含む)を用いて各照射点の三次元座標P(Xp,Yp,Zp)を導出することができる。上記が、レーザ光の各照射点の三次元座標の導出方法である。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部35に出力される。
【0048】
続いて、所定点導出部35により、導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標が導出される(S06)。また、導出された三次元座標から補正部32により補正された画像上の当該所定の位置関係の点の座標が導出される。本実施形態においては、所定の位置関係の点とは目盛りとなる点である。図9に示すように、目盛りとなる点は、上記のように導出された2点の照射点の座標のうちの一方の点から他方の点に向かう線分上での一定の間隔毎の点である。この点が画像と共に表示されることによって、2点の照射点の間の実際の距離、即ち被観察部の実際の大きさを知ることができる。目盛りの間隔等の、どのような目盛りとなる点を導出するかについての情報は、予め所定点導出部35に予め記憶されており、所定点導出部35はその情報に基づいて導出を行う。
【0049】
なお、目盛りとなる点を導出するための2つの照射点を結ぶ線分が、画像面と平行であれば、実空間で等間隔の目盛りは画像面でも等間隔であるので、1目盛り分の間隔で繰り返し目盛りとなる点を導出すればよい。しかし、図9に示すように、照射点間を結ぶ線分は画像面とは平行になるとは限らない。目盛りは実空間で等間隔であっても画像上では等間隔ではない。画像上での目盛りの位置を一つずつ計算する必要がある。
【0050】
例えば、二つの照射点Ps(Xs,Ys,Zs)とPe(Xe,Ye,Ze)との間に、Psを基点としてu間隔に目盛りMk(k=0,1,2…)を表示させる。k番目の目盛りの実空間での位置をMk(Xk,Yk,Zk)とすると、
【数1】
となる。ここで、‖Pe−Ps‖は、2つの照射点間の距離である。これらから、Mk(Xk,Yk,Zk)の画像上での位置mu(xk,yk,zk)も以下のように導出することができる。
xk=Xkf/Zk
yk=Ykf/Zk …(9)
zk=f
即ち、画像上でのk本目の目盛りを画像上における(Xkf/Zk,Ykf/Zk)の位置に表示すればよい。
【0051】
また、式(9)のように物理的な距離を単位とするのではなく、画素を単位として画像上の目盛りとなる点の位置を決めるのには次のようにすればよい。上述したように、任意の三次元座標(Xt,Yt,Zt)が既知の点を撮像することにより、式(5)から、
f/dx=itZt/Xt …(10)
f/dy=jtZt/Yt
が成立する。上記の点の三次元座標(Xt,Yt,Zt)と画像上での画素を単位とした座標(it,jt)から、f/dx及びf/dyが求まる。従って、k本目の目盛りの画像上の座標(Xkf/Zk,Ykf/Zk)をx軸方向及びy軸方向それぞれ1画素あたりの物理的間隔dx、dyを用いて画素単位(ik,jk)で表すと、
ik=Xkf/(Zkdx)=XkitZt/(ZkXt) …(11)
jk=Ykf/(Zkdy)=YkjtZt/(ZkYt)
となる。即ち、画像上でk本目の目盛りを画素単位で(XkitZt/(ZkXt),YkjtZt/(ZkYt))の位置に表示すればよい。上記のように導出された、画像上の目盛りの点の座標を示す情報は、所定点導出部35から出力部36に出力される。
【0052】
続いて、出力部36では、所定点導出部35により導出された点の座標の位置に目盛りが、補正部32により補正された画像の情報に表示されるように、目盛りが画像に重畳されて(組み込まれて)、当該画像の情報がモニタ40に出力される。モニタ40では、情報処理装置30から出力された情報に係る画像が画面表示される(S07)。このように、目盛りが重畳された画像を出力することとすれば、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。図10に画面表示された例を示す。図10に示すように、4つの各照射点71の間に線分が引かれて、その線分上に目盛り72が表示される。図10に示す例では、1目盛りが実際の距離にして1mmである。
【0053】
また、各点について三次元座標が求められているので、各点の撮像部11(のレンズ12)からの距離を表示することができる。図10に示す例では、4つの各照射点71の撮像部11(のレンズ12)からの距離を表示している。
【0054】
また、目盛り表示は、操作者であるユーザから撮像装置1への入力を出力部36が受け付けて、当該入力に基づいて行われてもよい。当該入力としては、例えば、「目盛りを今表示せよ」、「ここに目盛りを表示せよ」及び「目盛りの種類を変えろ」等の指示が行えるものとする。また、当該入力は、操作者であるユーザが内視鏡の操作等の手作業を行えるように、例えば、撮像装置1に接続されたフットスイッチ等の入力インターフェースにより行われることが好ましい。
【0055】
上述したように、本実施形態に係る撮像装置1では、撮像された画像がレンズ12による歪みを除去されるので、より正確な形状を表示することができる。また、本実施形態に係る撮像装置1では、レンズ12の歪みを補正した画像においてレーザ光の各照射点の間に、被観察部の実際の大きさを示す目盛り点を表示することができる。これにより、本実施形態に係る撮像装置1によれば、より正確に被観察部の大きさを表示することができる。
【0056】
また、本実施形態のように撮像部11を内視鏡10に含まれて構成される形態とすれば、医療分野への応用がより簡易に行うことができる。本実施形態の上記の効果により、例えば、これまで医者の経験に頼っていた患部の大きさの把握が容易になり、定量的な観察が可能になる。
【0057】
なお、上述した実施形態では、目盛りの点は例えば1mm刻み等予め設定された位置に固定的に表示されていたが、目盛りの点を移動できるようにしてもよい。目盛りの点の移動は、例えば、以下のように行われる。情報処理装置30にキーボードやマウス等のユーザからの入力インターフェースを用意しておく。当該入力インターフェースによりユーザから目盛りを移動させる旨の情報の入力があると、所定点導出部35がその入力を受け付け、その入力に応じて目盛りとなる点の移動を行う(移動に応じて、目盛りとなる点の座標を再度導出する)。例えば、二つの照射点の間に二つの目盛りを用意しておき、二つの目盛りを、上記の移動により、それぞれ患部等の対象物の端と端とに合せることにより、当該対象物の大きさを測れるようにしておくのがよい。この構成によれば、例えば目盛り点を所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
【0058】
上述した本実施形態に係る撮像装置1では、レーザ光の照射点間での目盛りを表示するものであったが、下記のように(一つの)照射点に目盛りを表示させることができる。図11に示すように、表示したい目盛りの間隔をuとするとき、uが画像上で何画素に対応するかが分かればよい。
【0059】
レーザ光の照射点P(Xp,Yp,Zp)を通り画像面と平行な平面(z=Zp)の線分は、画像面(z=f)では長さはf/Zp倍に縮小される。従って、uf/Zp間隔で目盛りを表示すればよい。また、
【数2】
であるので、fが不明であっても、例えば、
【数3】
を使って、
(画像面上での照射点までの距離)/(光軸から照射点までの距離)
の縮尺で目盛りを表示すればよい。
【0060】
また、画像上での物理的な距離が不明であっても、画素を単位として目盛りを表示することができる。このときには、目盛りを表示したい方向により縮尺は異なる。実空間でθの方向の目盛りを書きたいならば、x軸成分ucosθf/Zpdx(画素)、y軸成分usinθf/Zpdy(画素)の間隔で目盛りを表示すればよい。また、f/dxあるいはf/dyが不明であっても、x軸成分、y軸成分共に、
(画像面上での照射点までの画素数)/(光軸から照射点までの画素数)
の縮尺で目盛りを表示すればよい。
【0061】
図12に、画像上のレーザ光の照射点の周囲に目盛り表示をした例を示す。図12(a)は、直行する2方向に表示した例、図12(b)は、同心円状に表示した例である。
【0062】
また、上述した実施例では、人体等の生体の内部を撮像する内視鏡10を用いるものとしたが、他のものに対しても応用することができる。例えば、プラント、流体装置その他生産設備の配管内を撮像する欠陥検出装置に利用することができる。このように人間の目では、外部からは確認することができない、あるいは確認できても精度が十分でないような場合に、画像により直接的に欠陥等を定量的かつ精度よく検出することができる。これにより、設備等の破損、事故、異常停止等に対する予防、予知などのメンテナンスの向上に役立てることができる。
【図面の簡単な説明】
【0063】
【図1】本発明の実施形態に係る撮像装置の構成を示す図である。
【図2】テストパターンと、テストパターンに発生した歪みとを示した図である。
【図3】内視鏡の先端部の正面を示す図である。
【図4】レンズの歪曲特性を示す情報を示したグラフである。
【図5】レンズの歪曲特性を導出する際に撮像したテストパターンと、テストパターン上での距離を示した図である。
【図6】本発明の実施形態における撮像装置での処理を示すフローチャートである。
【図7】撮像され歪みが補正された画像におけるレーザ光の照射点となりうる範囲を示した図である。
【図8】レンズの光学中心、レーザ光の照射点及び画像上の照射点等の関係を示した図である。
【図9】照射点間の目盛りを示した図である。
【図10】照射点間の目盛りが入れられた画像を示す図である。
【図11】照射点の周囲の目盛りを示した図である。
【図12】照射点の周囲の目盛りが入れられた画像を示す図である。
【符号の説明】
【0064】
1…撮像装置、10…内視鏡、11…撮像部、12…レンズ、13…撮像素子、14…コネクタ、15…光ファイバ、20…光源、30…情報処理装置、31…受信部、32…補正部、33…検出部、34…三次元座標導出部、35…所定点導出部、36…出力部、40…モニタ。
【特許請求の範囲】
【請求項1】
レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、
前記被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、
予め記憶した前記レンズの歪曲特性を示す情報に基づき、前記撮像手段により撮像された画像の前記レンズによる歪みを補正する補正手段と、
前記補正手段により補正された画像における、前記レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、
前記検出手段により検出された前記座標、及び前記レーザ光の照射条件から、前記レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、
前記三次元座標導出手段により導出された三次元座標から前記各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から前記補正手段により補正された前記画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、
前記補正手段により補正された前記画像の情報、及び前記所定点導出手段により導出された当該画像上の前記所定の位置関係の点の座標を示す情報を出力する出力手段と、
を備える撮像装置。
【請求項2】
前記出力手段は、前記所定点導出手段により導出された当該画像に、前記所定の位置関係の点の座標の位置に目盛りを重畳して、当該重畳された画像を出力することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記検出手段は、前記補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、前記座標を検出することを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記所定点導出手段は、前記所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて前記所定の位置関係の点を移動させることを特徴とする請求項1〜3の何れか一項に記載の撮像装置。
【請求項5】
前記撮像手段は、内視鏡に含まれて構成されることを特徴とする請求項1〜4の何れか一項に記載の撮像装置。
【請求項1】
レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、
前記被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、
予め記憶した前記レンズの歪曲特性を示す情報に基づき、前記撮像手段により撮像された画像の前記レンズによる歪みを補正する補正手段と、
前記補正手段により補正された画像における、前記レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、
前記検出手段により検出された前記座標、及び前記レーザ光の照射条件から、前記レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、
前記三次元座標導出手段により導出された三次元座標から前記各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から前記補正手段により補正された前記画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、
前記補正手段により補正された前記画像の情報、及び前記所定点導出手段により導出された当該画像上の前記所定の位置関係の点の座標を示す情報を出力する出力手段と、
を備える撮像装置。
【請求項2】
前記出力手段は、前記所定点導出手段により導出された当該画像に、前記所定の位置関係の点の座標の位置に目盛りを重畳して、当該重畳された画像を出力することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記検出手段は、前記補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、前記座標を検出することを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記所定点導出手段は、前記所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて前記所定の位置関係の点を移動させることを特徴とする請求項1〜3の何れか一項に記載の撮像装置。
【請求項5】
前記撮像手段は、内視鏡に含まれて構成されることを特徴とする請求項1〜4の何れか一項に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2008−61659(P2008−61659A)
【公開日】平成20年3月21日(2008.3.21)
【国際特許分類】
【出願番号】特願2006−239472(P2006−239472)
【出願日】平成18年9月4日(2006.9.4)
【出願人】(304023318)国立大学法人静岡大学 (416)
【出願人】(504300181)国立大学法人浜松医科大学 (96)
【Fターム(参考)】
【公開日】平成20年3月21日(2008.3.21)
【国際特許分類】
【出願日】平成18年9月4日(2006.9.4)
【出願人】(304023318)国立大学法人静岡大学 (416)
【出願人】(504300181)国立大学法人浜松医科大学 (96)
【Fターム(参考)】
[ Back to top ]