内視鏡装置およびプログラム
【課題】計測値の精度をユーザに知らせることができる内視鏡装置およびプログラムを提供する。
【解決手段】３次元座標計算部１２ａは、画像上で指定された計測位置および画像における所定位置のそれぞれに対応する３次元座標を計算する。計測部１２ｂは、計測位置に対応する３次元座標に基づいて被写体のサイズを計測する。不確かさ推定部１２ｃは、画像における所定位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、３次元座標のばらつきの推定値に基づいて、画像における所定位置のそれぞれについて、被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する。画像合成部１２ｄは、計測値のばらつきの推定値に基づいて、計測値のばらつきを示す情報を画像データに合成する。
【解決手段】３次元座標計算部１２ａは、画像上で指定された計測位置および画像における所定位置のそれぞれに対応する３次元座標を計算する。計測部１２ｂは、計測位置に対応する３次元座標に基づいて被写体のサイズを計測する。不確かさ推定部１２ｃは、画像における所定位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、３次元座標のばらつきの推定値に基づいて、画像における所定位置のそれぞれについて、被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する。画像合成部１２ｄは、計測値のばらつきの推定値に基づいて、計測値のばらつきを示す情報を画像データに合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測機能を有する内視鏡装置に関する。また、本発明は、内視鏡装置における計測機能をコンピュータ上で実現するためのプログラムにも関する。
【背景技術】
【０００２】
近年、ボイラー、タービン、エンジン、化学プラントなどの検査において、内部の傷や腐食を観察するのに工業用内視鏡が広く用いられている。工業用内視鏡の例として、内視鏡の先端に２個の光学系を設け、三角測量の原理を利用したステレオ計測により３次元計測を実現した計測内視鏡装置（例えば特許文献１参照）がある。検査で検査対象物の内部に傷などの不具合箇所を発見した際に、このような計測内視鏡装置を用いて傷の大きさ等を計測することで、検査対象物の分解・修理の必要性を判断することができる。また、ステレオ計測以外にも、先端にパターン光を投影する手段を設け、被写体に映ったパターンを解析して３次元計測を行う装置も用いられている。
【０００３】
一般的に、３次元計測の計測値（測定値）の不確かさは、被写体との距離（以下、物体距離という）が近いほど小さく、物体距離が遠いほど大きくなる性質がある。ここで、不確かさとは、計測値からどの程度の範囲内に真の値があるかを示す尺度である。したがって、精度よく３次元計測を行うためには内視鏡の先端を被写体にできるだけ近づける必要がある。しかし、ユーザが内視鏡の画像を見るだけで、内視鏡が被写体に十分近づいているかどうかを判断することは困難だった。このため、特許文献２，３では、被写体を観察しながら物体距離をユーザに知らせることができる計測内視鏡装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−４９６３８号公報
【特許文献２】特開２００６−１３６７０６号公報
【特許文献３】特開２００６−３２５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ユーザが観察中に物体距離を知ることができても、物体距離に応じた不確かさを推定することは難しい。なぜなら、不確かさは物体距離だけで決まるわけではないからである。ステレオ計測では被写体の画像のコントラストが十分でない場合にはマッチング（一方の光学系を通した光に基づく画像における被写体の位置に対応する、他方の光学系を通した光に基づく画像における被写体の位置を検出する処理）が不正確となり、不確かさが大きくなる。パターン光を投影する方式では、表面の拡散反射率が小さいと、被写体に映るパターンの画質が低下し、不確かさが大きくなる。したがって、物体距離は、不確かさを推定する目安になるものの、ユーザが希望する精度が得られるかどうかが判然としない問題があった。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、計測値の精度をユーザに知らせることができる内視鏡装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、被写体を撮像して画像データを生成する撮像部と、入力装置を介して入力される指示に基づいて、前記画像データに基づく画像における計測位置を指定する指定部と、前記計測位置に対応する３次元座標を計算する第１の計算部と、前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、を備えたことを特徴とする内視鏡装置である。
【０００８】
また、本発明の内視鏡装置において、前記第２の計算部は、前記複数の位置のそれぞれを基準位置とする複数の領域を設定し、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする。
【０００９】
また、本発明の内視鏡装置において、前記第２の計算部は、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記被写体の表面を近似する平面を計算し、前記領域内で前記基準位置を基準とする他の位置と前記平面との距離のばらつきから前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする。
【００１０】
また、本発明の内視鏡装置において、前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値に基づく表示形態で前記画像を表示することを特徴とする。
【００１１】
また、本発明の内視鏡装置において、前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値と、入力装置を介して入力される基準値とに基づく表示形態で前記画像を表示することを特徴とする。
【００１２】
また、本発明の内視鏡装置において、前記表示形態は色であることを特徴とする。
【００１３】
また、本発明は、入力装置を介して入力される指示に基づいて、被写体の画像データに基づく画像における計測位置を指定する指定部と、前記計測位置に対応する３次元座標を計算する第１の計算部と、前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、画像における複数の位置のそれぞれについて、被写体のサイズを計測した場合の計測値のばらつきの推定値を計算し、この計測値のばらつきの推定値に基づいて、計測値のばらつきを示す情報を表示することによって、計測値の精度をユーザに知らせることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。
【図３】本発明の一実施形態による内視鏡装置が備える画像処理回路の構成を示すブロック図である。
【図４】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。
【図５】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。
【図６】本発明の一実施形態におけるステレオ計測による３次元座標の求め方を説明するための参考図である。
【図７】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。
【図８】本発明の一実施形態における３次元座標のばらつきの推定値の計算方法を示す参考図である。
【図９】本発明の一実施形態における不確かさ推定画像を示す参考図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を行う際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ）とを含んで構成されている。
【００１７】
挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタ７ａ，７ｂ、あるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在になっている。
【００１８】
図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。
【００１９】
挿入部２０の先端部２１には固体撮像素子２ａ（図４参照）が内蔵されている。固体撮像素子２ａは、被写体を撮像して撮像信号を生成する。すなわち、固体撮像素子２ａは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、固体撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で画像データに変換されて、制御ユニット１０へ供給される。
【００２０】
制御ユニット１０内には、音声信号処理回路１１、映像信号が入力される画像処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、ＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）、およびＣＰＵ１８が設けられている。
【００２１】
ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。
【００２２】
ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【００２３】
また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。
【００２４】
画像処理回路１２は、内視鏡２で撮像した被写体の画像と、グラフィックによる操作メニューや各種ＧＵＩ部品（カーソル等）とを合成した合成画像を表示するため、操作メニューや各種ＧＵＩ部品に基づくグラフィックデータと、ＣＣＵ９からの画像データとを合成する処理や、ＬＣＤ５の画面上に表示するのに必要な画像処理等を行い、処理後のデータをＬＣＤ５に供給する。
【００２５】
計測時には先端部２１にステレオ光学アダプタが装着されるため、画像処理回路１２からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。本実施形態では、一例として、左右の一対の被写体像が含まれるものとする。
【００２６】
音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。
【００２７】
ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。
【００２８】
図３は、画像処理回路１２の構成を示している。画像処理回路１２は、３次元座標計算部１２ａ、計測部１２ｂ、不確かさ推定部１２ｃ、および画像合成部１２ｄを有する。
【００２９】
３次元座標計算部１２ａは、画像処理回路１２に入力される画像データに基づく画像上で指定された位置に対応する３次元座標を計算する。３次元座標を計算する位置は、画像内でユーザが指定する計測位置（計測点）、および画像内の予め設定されている所定位置である。ユーザが指定する計測点の３次元座標は、被写体の３次元形状のサイズ（二点間距離や面積等）を求めるために使用される。所定位置の３次元座標は、被写体の計測を行った場合の計測値自体の不確かさを求めるために使用される。この不確かさは、被写体の計測を行った場合の計測値のばらつきの推定値に相当する。
【００３０】
計測部１２ｂは、３次元座標計算部１２ａが計算した計測点の３次元座標に基づいて、被写体の３次元形状のサイズ（計測値）を計算する。不確かさ推定部１２ｃは、３次元座標計算部１２ａが計算した画像内の所定位置の３次元座標に基づいて、その３次元座標のばらつきの推定値を計算する。また、不確かさ推定部１２ｃは、計算した３次元座標のばらつきの推定値に基づいて、被写体の計測を行った場合の計測値自体の不確かさを計算する。計測結果の精度を間接的に示す物体距離のような指標ではなく、計測値自体の不確かさを推定し、ユーザに通知することによって、計測値のより正確な精度をユーザに知らせることができる。
【００３１】
画像合成部１２ｄは、ＣＣＵ９から入力される画像データあるいはＣＰＵ１８によってメモリカード等から読み出された画像データに対して、計測部１２ｂが計算した計測値や不確かさ推定部１２ｃが計算した不確かさを表示するための情報を合成する処理を行い、処理後の画像データをＬＣＤ５へ出力する。不確かさに関しては、ユーザが希望する精度（これを不確かさで定義した値を基準不確かさとする）で計測を行うことができるかどうかを画像から判断できるようにするため、画像合成部１２ｄは、不確かさが基準不確かさよりも大きい領域と小さい領域とで画像の表示形態を変える。本実施形態の例では、ＬＣＤ５に表示される画像において、不確かさが基準不確かさよりも大きい領域と小さい領域とが異なる色で表示される。
【００３２】
上記の構成を有する画像処理回路１２には、ＣＰＵ１８から計測点および基準不確かさの情報が入力される。ＣＰＵ１８は、ユーザが入力装置として使用するリモートコントローラ４からの信号に基づいて照準の移動指示を検出し、移動後の照準の画像上の位置を計算する。また、ユーザがリモートコントローラ４を介して計測点の指定指示（確定指示）を入力した場合、ＣＰＵ１８は、計算した照準の位置を計測点の位置として指定（認識）し、指定した計測点の位置情報（画素位置）を画像処理回路１２へ出力する。また、ユーザがリモートコントローラ４を介して基準不確かさの情報を入力した場合、ＣＰＵ１８はその情報を画像処理回路１２へ出力する。
【００３３】
図４および図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示している。図４および図５に示すように、直視型のステレオ光学アダプタ７ａの先端面には、一対の照明レンズ５１，５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを、先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。
【００３４】
図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂおよび内視鏡ユニット８を介してＣＣＵ９に供給されて画像データに変換され、その後、画像処理回路１２に供給される。
【００３５】
次に、図６を参照し、ステレオ計測による３次元座標の求め方を説明する。３次元座標計算部１２ａは、左側および右側の光学系で撮像された左画像・右画像を用いて、三角測量の方法により、画像上の点６０の３次元座標（Ｘ，Ｙ，Ｚ）を計算する。まず、３次元座標計算部１２ａは、例えば左画像上の点６１の位置に対応した右画像上の点６２の位置を画像のパターンマッチングにより計算する。点６１は、ユーザが指定した計測点、または計測値自体の不確かさを計算するための所定位置の点である。
【００３６】
続いて、３次元座標計算部１２ａは、点６０の３次元座標（Ｘ，Ｙ，Ｚ）を以下の（Ａ）式〜（Ｃ）式により計算する。ただし、歪み補正が施された左右の画像上の点６１、点６２の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（ＸＬ−ＸＲ）とする。
Ｘ＝ｔ×ＸＲ＋Ｄ／２ ・・・（Ａ）
Ｙ＝ｔ×ＹＲ ・・・（Ｂ）
Ｚ＝ｔ×Ｆ ・・・（Ｃ）
【００３７】
いくつかの計測点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測を行うことが可能である。また、左側の光学中心６３、または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。
【００３８】
上記では、ステレオ計測により３次元座標を計算しているが、被写体にパターン光を投影して撮像したパターン画像を解析することによって３次元座標を計算することも可能である。
【００３９】
次に、本実施形態における計測の手順を説明する。まず、ユーザが希望する精度で計測を行うことができるかどうかをユーザに通知するため、内視鏡装置は計測値の不確かさを推定し、推定した不確かさの情報を含む不確かさ推定画像を表示する。図７は不確かさの推定と不確かさ推定画像の表示の手順を示している。図７に示す処理に先立って、ユーザが希望する精度に対応する基準不確かさ（ｕとする）が予め入力されているものとする。
【００４０】
まず、ＣＣＵ９からの画像データあるいはＣＰＵ１８によってメモリカード等から読み出された画像データが画像処理回路１２に入力される（ステップＳ１００）。続いて、画像処理回路１２は、入力された画像データに基づく画像内の画素毎に３次元座標のばらつきの推定値を計算し、さらに計測値のばらつきの推定値である不確かさを画素毎に計算する（ステップＳ１１０）。
【００４１】
以下ではステップＳ１１０の詳細を説明する。まず、画像処理回路１２は、入力された画像データに基づく画像の所定領域（例えば画像全体の領域あるいは予め設定された一部の領域）の画素毎に３次元座標のばらつきの推定値を計算する。具体的には、画像処理回路１２は以下のようにして３次元座標のばらつきの推定値を計算する。図８に示すように、基準画素（基準位置）となる画素Ｐ（ｘ，ｙ）とその周囲の８画素を含む矩形の領域Ｂにおいて、領域Ｂ内の各画素をＰｉｊ（ｘ＋ｉ，ｙ＋ｊ）∈Ｂ、−１≦ｉ，ｊ≦１とする。領域Ｂは小さいので領域Ｂに対応する被写体表面の範囲も小さく、領域Ｂ内では被写体表面の形状を平面で近似しても構わない。被写体表面を近似する平面を平面Ｃとする。
【００４２】
３次元座標計算部１２ａは、領域Ｂ内の各画素の位置で３次元座標を計算する。不確かさ推定部１２ｃは、３次元座標計算部１２ａが計算した各画素の３次元座標から平面Ｃを計算する。画素Ｐｉｊの位置で計算した３次元座標をＱｉｊ（Ｘｉｊ，Ｙｉｊ，Ｚｉｊ）、平面Ｃの方程式をａＸ＋ｂＹ＋ｃＺ＋ｄ＝０とすると、３次元座標計算部１２ａは、以下の（１）式で示されるｅを最小化する係数ａ，ｂ，ｃ，ｄを最小自乗法で計算することで、平面Ｃを近似する。
【００４３】
【数１】
【００４４】
画素Ｐの位置で３次元座標を計算したときのばらつきは、点Ｑｉｊから平面Ｃまでの距離のばらつきから求められる。点Ｑｉｊから平面Ｃまでの距離はＸ方向、Ｙ方向、Ｚ方向の成分で求められるが、これらのばらつきは一般的には異なるので、不確かさ推定部１２ｃは各方向のばらつきを次のように別々に計算する。すなわち、点Ｑｉｊから平面Ｃに下ろした垂線の方向ベクトルをｎｉｊ＝（ｎｉｊｘ，ｎｉｊｙ，ｎｉｊｚ）とし、ｎｉｊｘ，ｎｉｊｙ，ｎｉｊｚのそれぞれの標準偏差をσＸ（Ｐ），σＹ（Ｐ），σＺ（Ｐ）とする。不確かさ推定部１２ｃは、これら３つの標準偏差を計算し、画素Ｐに対応する３次元座標のばらつきの推定値とする。
【００４５】
上記の計算は、画像の所定領域の画素毎に行われる。つまり、３次元座標計算部１２ａは画像の所定領域の画素毎にその画素を基準位置とする領域Ｂを設定し、領域Ｂ内の各画素の位置で３次元座標を計算する。不確かさ推定部１２ｃは画像の所定領域の画素毎に、その画素を基準位置とする領域Ｂ内の各画素の３次元座標に基づいて上記３つの標準偏差を計算し、３次元座標のばらつきの推定値とする。
【００４６】
画像の所定領域の各画素において３次元座標のばらつきの推定値を計算した後、画像処理回路１２は、画像の所定領域の各画素で計測を行った場合の計測値の不確かさを計算する。具体的には、画像処理回路１２は以下のようにして計測値の不確かさを計算する。以下では、２個の点Ｐ１と点Ｐ２の間で２点間距離を計測する場合の計測値の不確かさを計算する例を説明する。
【００４７】
任意の点Ｐ１と点Ｐ２の間で２点間距離を計測する場合の計測値の不確かさσ２（Ｐ１，Ｐ２）は、３次元座標のばらつきの推定値を用いて以下の（２）式で与えられる。
【００４８】
【数２】
【００４９】
計測値の不確かさσ２（Ｐ１，Ｐ２）が基準不確かさｕよりも小さくなる条件を考える。以下の（３）式かつ（４）式が満たされれば、明らかにσ２（Ｐ１，Ｐ２）＜ｕとなる。
【００５０】
【数３】
【００５１】
【数４】
【００５２】
以下の（５）式のように定義すると、計測値の不確かさσ２（Ｐ１，Ｐ２）が基準不確かさｕよりも小さくなる条件は、σ（Ｐ１）＜ｕ／２かつσ（Ｐ２）＜ｕ／２と表せる。
【００５３】
【数５】
【００５４】
σ（Ｐ１）＜ｕ／２かつσ（Ｐ２）＜ｕ／２であれば、σ２（Ｐ１，Ｐ２）＜ｕとなり、ユーザが希望する基準不確かさｕよりも計測値の不確かさが小さくなる。このため、点Ｐ１と点Ｐ２の間で２点間距離を計測した場合に、ユーザが希望する精度が得られることになる。したがって、本実施形態では、（５）式で定義されるσ（Ｐ）を各画素の計測値の不確かさとする。不確かさ推定部１２ｃは、画像処理回路１２に入力された画像データに基づく画像の所定領域の各画素Ｐについてσ（Ｐ）を計算する。以上が、ステップＳ１１０の詳細である。
【００５５】
ステップＳ１１０に続いて、画像処理回路１２は、計測値の不確かさσ（Ｐ）と基準不確かさｕを比較し、比較結果に基づいて画素の色を設定した不確かさ推定画像を生成する（ステップＳ１２０）。以下ではステップＳ１２０の詳細を説明する。画像合成部１２ｄは、不確かさ推定部１２ｃが計算した各画素Ｐのσ（ｐ）と基準不確かさｕを比較する。σ（ｐ）＜ｕ／２である場合、画像合成部１２ｄは画素Ｐの色を例えば緑色に設定する。また、σ（ｐ）≧ｕ／２である場合、画像合成部１２ｄは画素Ｐの色を例えば赤色に設定する。
【００５６】
また、画素によっては、原理的に３次元座標を計算できない場合がある。例えば、ステレオ計測であれば、左画像上の点に対応する右画像上の点が撮影できていない場合がある。このように３次元座標を計算することができなかった画素については、画像合成部１２ｄは画素の色を例えば灰色に設定する。画像合成部１２ｄは、画像処理回路１２に入力された画像データに対して、上記に従って画素の色を設定することにより、計測値の不確かさの情報を色の情報として含む不確かさ推定画像を生成する。以上が、ステップＳ１２０の詳細である。
【００５７】
ステップＳ１２０に続いて、画像処理回路１２は、生成した不確かさ推定画像をＬＣＤ５へ出力し、ＬＣＤ５は不確かさ推定画像を表示する（ステップＳ１３０）。図９は不確かさ推定画像の一例を示している。図９に示す不確かさ推定画像は、例えば左画像として表示される。領域Ｓ１の各画素ではσ（ｐ）＜ｕ／２であり、領域Ｓ１の各画素は緑色で表示される。領域Ｓ２の各画素ではσ（ｐ）≧ｕ／２であり、領域Ｓ１の各画素は赤色で表示される。領域Ｓ３の各画素では３次元座標が計算されず、領域Ｓ３の各画素は灰色で表示される。
【００５８】
ユーザは２点間の距離を計測する場合、ＬＣＤ５に表示された不確かさ推定画像に基づいて次のような判断を行うことができる。計測を行う２点がいずれも緑色で表示されていれば、所望の精度で計測を行えると判断することができる。一方、計測を行う２点のいずれかあるいは両方が赤色で表示されていれば、所望の精度で計測を行えないので、内視鏡２を被写体により近づける必要があると判断することができる。また、計測を行う２点のいずれかあるいは両方が灰色で表示されていれば、計測を行えないことが分かるので、被写体を撮影する角度を変えたり、内視鏡２を被写体により近づけたりする必要があると判断することができる。
【００５９】
上記では不確かさ推定画像を表示する際に画像の色を設定しているが、画像の明るさ等を設定したり、計測値の不確かさσ（Ｐ）と基準不確かさｕを比較した結果に基づく情報を画像に重畳して表示したりしてもよい。
【００６０】
不確かさ推定画像の表示後、ユーザがリモートコントローラ４を介して計測指示を入力した場合、以下の手順で計測値の計算が行われる。以下では、２点間の距離を計測する例を説明する。計測指示が入力されると、ＣＰＵ１８による制御に従って、ＣＣＵ９からの画像データあるいはＣＰＵ１８によってメモリカード等から読み出された画像データが画像処理回路１２に入力される。画像データを新たに入力せずに、計測値の不確かさの推定と不確かさ推定画像の生成に用いた画像データを使用して計測値の計算を行ってもよい。画像処理回路１２に入力された画像データは、画像合成部１２ｄを経由してＬＣＤ５へ出力され、ＬＣＤ５に画像が表示される。
【００６１】
ユーザは、ＬＣＤ５に表示された画像上で２個の計測点を指定する。ユーザがリモートコントローラ４を介して計測点の指定指示を入力すると、ＣＰＵ１８は計測点の画素位置を画像処理回路１２へ出力する。画像処理回路１２の３次元座標計算部１２ａは、２個の計測点の画素位置のそれぞれに対応する３次元座標を計算し、計測点の画素位置とともに３次元座標を計測部１２ｂへ出力する。計測部１２ｂは、２個の計測点の３次元座標の距離を計算し、計測点の画素位置とともに計算結果を画像合成部１２ｄへ出力する。画像合成部１２ｄは、画像処理回路１２に入力された画像データに対して、計測点の位置および計測結果を表示するためのデータを合成し、ＬＣＤ５へ出力する。ＬＣＤ５は、計測点の位置および計測結果を含む画像を表示する。
【００６２】
本実施形態では、画像処理回路１２が計測値の不確かさの推定と不確かさ推定画像の生成を行っているが、ＣＰＵ１８が画像処理回路１２から画像データを取り込み、あるいはメモリカードから画像データを読み出し、画像データに対して計測値の不確かさの推定と不確かさ推定画像の生成を行ってもよい。この場合、計測値の不確かさの推定と不確かさ推定画像の生成を含む計測の全体の手順を規定したプログラムをＲＯＭ１３に予め格納しておき、ＣＰＵ１８がこのプログラムをＲＯＭ１３から読み出してＲＡＭ１４に展開し、このプログラムに従って計測の制御を行ってもよい。
【００６３】
上述したように、本実施形態によれば、画像における所定領域の画素毎に計測値のばらつきの推定値である不確かさを計算し、この不確かさに基づいて、計測値のばらつきを示す情報を表示することによって、計測を行った場合の計測値の精度を事前にユーザに知らせることができる。また、計測値自体の不確かさを推定し、ユーザに通知することによって、計測値のより正確な精度をユーザに知らせることができる。
【００６４】
前述した特許文献２，３の技術では、画像上に配置された限られた数の照準の位置でしか物体距離を知ることができないので、計測したい位置にユーザが照準を合わせる必要があり、操作に時間と手間がかかる問題があった。これに対して、本実施形態では、画像における所定領域の各画素で計測値の不確かさを計算するため、ユーザは照準を合わせる必要がなく、所望の精度が得られるかどうかの判断を短時間で簡単に行うことができる。
【００６５】
また、画像における所定領域の画素毎に計算した不確かさに基づく表示形態で画像を表示することによって、計測を行った場合の計測値の精度を視覚的に分かりやすくユーザに知らせることができる。さらに、画像における所定領域の画素毎に計算した不確かさと、ユーザが指定した基準不確かさｕとに基づく表示形態で画像を表示することによって、ユーザが希望する計測値の精度が得られるかどうかを視覚的に分かりやすくユーザに知らせることができる。
【００６６】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６７】
１・・・内視鏡装置、２・・・内視鏡、２ａ・・・固体撮像素子（撮像部）、４・・・リモートコントローラ、５・・・ＬＣＤ（表示部）、８・・・内視鏡ユニット、９・・・ＣＣＵ（撮像部）、１２・・・画像処理回路、１２ａ・・・３次元座標計算部（第１の計算部、第２の計算部）、１２ｂ・・・計測部、１２ｃ・・・不確かさ推定部（第２の計算部）、１２ｄ・・・画像合成部、１８・・・ＣＰＵ（指定部）
【技術分野】
【０００１】
本発明は、計測機能を有する内視鏡装置に関する。また、本発明は、内視鏡装置における計測機能をコンピュータ上で実現するためのプログラムにも関する。
【背景技術】
【０００２】
近年、ボイラー、タービン、エンジン、化学プラントなどの検査において、内部の傷や腐食を観察するのに工業用内視鏡が広く用いられている。工業用内視鏡の例として、内視鏡の先端に２個の光学系を設け、三角測量の原理を利用したステレオ計測により３次元計測を実現した計測内視鏡装置（例えば特許文献１参照）がある。検査で検査対象物の内部に傷などの不具合箇所を発見した際に、このような計測内視鏡装置を用いて傷の大きさ等を計測することで、検査対象物の分解・修理の必要性を判断することができる。また、ステレオ計測以外にも、先端にパターン光を投影する手段を設け、被写体に映ったパターンを解析して３次元計測を行う装置も用いられている。
【０００３】
一般的に、３次元計測の計測値（測定値）の不確かさは、被写体との距離（以下、物体距離という）が近いほど小さく、物体距離が遠いほど大きくなる性質がある。ここで、不確かさとは、計測値からどの程度の範囲内に真の値があるかを示す尺度である。したがって、精度よく３次元計測を行うためには内視鏡の先端を被写体にできるだけ近づける必要がある。しかし、ユーザが内視鏡の画像を見るだけで、内視鏡が被写体に十分近づいているかどうかを判断することは困難だった。このため、特許文献２，３では、被写体を観察しながら物体距離をユーザに知らせることができる計測内視鏡装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−４９６３８号公報
【特許文献２】特開２００６−１３６７０６号公報
【特許文献３】特開２００６−３２５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ユーザが観察中に物体距離を知ることができても、物体距離に応じた不確かさを推定することは難しい。なぜなら、不確かさは物体距離だけで決まるわけではないからである。ステレオ計測では被写体の画像のコントラストが十分でない場合にはマッチング（一方の光学系を通した光に基づく画像における被写体の位置に対応する、他方の光学系を通した光に基づく画像における被写体の位置を検出する処理）が不正確となり、不確かさが大きくなる。パターン光を投影する方式では、表面の拡散反射率が小さいと、被写体に映るパターンの画質が低下し、不確かさが大きくなる。したがって、物体距離は、不確かさを推定する目安になるものの、ユーザが希望する精度が得られるかどうかが判然としない問題があった。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、計測値の精度をユーザに知らせることができる内視鏡装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、被写体を撮像して画像データを生成する撮像部と、入力装置を介して入力される指示に基づいて、前記画像データに基づく画像における計測位置を指定する指定部と、前記計測位置に対応する３次元座標を計算する第１の計算部と、前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、を備えたことを特徴とする内視鏡装置である。
【０００８】
また、本発明の内視鏡装置において、前記第２の計算部は、前記複数の位置のそれぞれを基準位置とする複数の領域を設定し、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする。
【０００９】
また、本発明の内視鏡装置において、前記第２の計算部は、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記被写体の表面を近似する平面を計算し、前記領域内で前記基準位置を基準とする他の位置と前記平面との距離のばらつきから前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする。
【００１０】
また、本発明の内視鏡装置において、前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値に基づく表示形態で前記画像を表示することを特徴とする。
【００１１】
また、本発明の内視鏡装置において、前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値と、入力装置を介して入力される基準値とに基づく表示形態で前記画像を表示することを特徴とする。
【００１２】
また、本発明の内視鏡装置において、前記表示形態は色であることを特徴とする。
【００１３】
また、本発明は、入力装置を介して入力される指示に基づいて、被写体の画像データに基づく画像における計測位置を指定する指定部と、前記計測位置に対応する３次元座標を計算する第１の計算部と、前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、画像における複数の位置のそれぞれについて、被写体のサイズを計測した場合の計測値のばらつきの推定値を計算し、この計測値のばらつきの推定値に基づいて、計測値のばらつきを示す情報を表示することによって、計測値の精度をユーザに知らせることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。
【図３】本発明の一実施形態による内視鏡装置が備える画像処理回路の構成を示すブロック図である。
【図４】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。
【図５】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。
【図６】本発明の一実施形態におけるステレオ計測による３次元座標の求め方を説明するための参考図である。
【図７】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。
【図８】本発明の一実施形態における３次元座標のばらつきの推定値の計算方法を示す参考図である。
【図９】本発明の一実施形態における不確かさ推定画像を示す参考図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を行う際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ）とを含んで構成されている。
【００１７】
挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタ７ａ，７ｂ、あるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在になっている。
【００１８】
図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。
【００１９】
挿入部２０の先端部２１には固体撮像素子２ａ（図４参照）が内蔵されている。固体撮像素子２ａは、被写体を撮像して撮像信号を生成する。すなわち、固体撮像素子２ａは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、固体撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で画像データに変換されて、制御ユニット１０へ供給される。
【００２０】
制御ユニット１０内には、音声信号処理回路１１、映像信号が入力される画像処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、ＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）、およびＣＰＵ１８が設けられている。
【００２１】
ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。
【００２２】
ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【００２３】
また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。
【００２４】
画像処理回路１２は、内視鏡２で撮像した被写体の画像と、グラフィックによる操作メニューや各種ＧＵＩ部品（カーソル等）とを合成した合成画像を表示するため、操作メニューや各種ＧＵＩ部品に基づくグラフィックデータと、ＣＣＵ９からの画像データとを合成する処理や、ＬＣＤ５の画面上に表示するのに必要な画像処理等を行い、処理後のデータをＬＣＤ５に供給する。
【００２５】
計測時には先端部２１にステレオ光学アダプタが装着されるため、画像処理回路１２からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。本実施形態では、一例として、左右の一対の被写体像が含まれるものとする。
【００２６】
音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。
【００２７】
ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。
【００２８】
図３は、画像処理回路１２の構成を示している。画像処理回路１２は、３次元座標計算部１２ａ、計測部１２ｂ、不確かさ推定部１２ｃ、および画像合成部１２ｄを有する。
【００２９】
３次元座標計算部１２ａは、画像処理回路１２に入力される画像データに基づく画像上で指定された位置に対応する３次元座標を計算する。３次元座標を計算する位置は、画像内でユーザが指定する計測位置（計測点）、および画像内の予め設定されている所定位置である。ユーザが指定する計測点の３次元座標は、被写体の３次元形状のサイズ（二点間距離や面積等）を求めるために使用される。所定位置の３次元座標は、被写体の計測を行った場合の計測値自体の不確かさを求めるために使用される。この不確かさは、被写体の計測を行った場合の計測値のばらつきの推定値に相当する。
【００３０】
計測部１２ｂは、３次元座標計算部１２ａが計算した計測点の３次元座標に基づいて、被写体の３次元形状のサイズ（計測値）を計算する。不確かさ推定部１２ｃは、３次元座標計算部１２ａが計算した画像内の所定位置の３次元座標に基づいて、その３次元座標のばらつきの推定値を計算する。また、不確かさ推定部１２ｃは、計算した３次元座標のばらつきの推定値に基づいて、被写体の計測を行った場合の計測値自体の不確かさを計算する。計測結果の精度を間接的に示す物体距離のような指標ではなく、計測値自体の不確かさを推定し、ユーザに通知することによって、計測値のより正確な精度をユーザに知らせることができる。
【００３１】
画像合成部１２ｄは、ＣＣＵ９から入力される画像データあるいはＣＰＵ１８によってメモリカード等から読み出された画像データに対して、計測部１２ｂが計算した計測値や不確かさ推定部１２ｃが計算した不確かさを表示するための情報を合成する処理を行い、処理後の画像データをＬＣＤ５へ出力する。不確かさに関しては、ユーザが希望する精度（これを不確かさで定義した値を基準不確かさとする）で計測を行うことができるかどうかを画像から判断できるようにするため、画像合成部１２ｄは、不確かさが基準不確かさよりも大きい領域と小さい領域とで画像の表示形態を変える。本実施形態の例では、ＬＣＤ５に表示される画像において、不確かさが基準不確かさよりも大きい領域と小さい領域とが異なる色で表示される。
【００３２】
上記の構成を有する画像処理回路１２には、ＣＰＵ１８から計測点および基準不確かさの情報が入力される。ＣＰＵ１８は、ユーザが入力装置として使用するリモートコントローラ４からの信号に基づいて照準の移動指示を検出し、移動後の照準の画像上の位置を計算する。また、ユーザがリモートコントローラ４を介して計測点の指定指示（確定指示）を入力した場合、ＣＰＵ１８は、計算した照準の位置を計測点の位置として指定（認識）し、指定した計測点の位置情報（画素位置）を画像処理回路１２へ出力する。また、ユーザがリモートコントローラ４を介して基準不確かさの情報を入力した場合、ＣＰＵ１８はその情報を画像処理回路１２へ出力する。
【００３３】
図４および図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示している。図４および図５に示すように、直視型のステレオ光学アダプタ７ａの先端面には、一対の照明レンズ５１，５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを、先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。
【００３４】
図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂおよび内視鏡ユニット８を介してＣＣＵ９に供給されて画像データに変換され、その後、画像処理回路１２に供給される。
【００３５】
次に、図６を参照し、ステレオ計測による３次元座標の求め方を説明する。３次元座標計算部１２ａは、左側および右側の光学系で撮像された左画像・右画像を用いて、三角測量の方法により、画像上の点６０の３次元座標（Ｘ，Ｙ，Ｚ）を計算する。まず、３次元座標計算部１２ａは、例えば左画像上の点６１の位置に対応した右画像上の点６２の位置を画像のパターンマッチングにより計算する。点６１は、ユーザが指定した計測点、または計測値自体の不確かさを計算するための所定位置の点である。
【００３６】
続いて、３次元座標計算部１２ａは、点６０の３次元座標（Ｘ，Ｙ，Ｚ）を以下の（Ａ）式〜（Ｃ）式により計算する。ただし、歪み補正が施された左右の画像上の点６１、点６２の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（ＸＬ−ＸＲ）とする。
Ｘ＝ｔ×ＸＲ＋Ｄ／２ ・・・（Ａ）
Ｙ＝ｔ×ＹＲ ・・・（Ｂ）
Ｚ＝ｔ×Ｆ ・・・（Ｃ）
【００３７】
いくつかの計測点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測を行うことが可能である。また、左側の光学中心６３、または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。
【００３８】
上記では、ステレオ計測により３次元座標を計算しているが、被写体にパターン光を投影して撮像したパターン画像を解析することによって３次元座標を計算することも可能である。
【００３９】
次に、本実施形態における計測の手順を説明する。まず、ユーザが希望する精度で計測を行うことができるかどうかをユーザに通知するため、内視鏡装置は計測値の不確かさを推定し、推定した不確かさの情報を含む不確かさ推定画像を表示する。図７は不確かさの推定と不確かさ推定画像の表示の手順を示している。図７に示す処理に先立って、ユーザが希望する精度に対応する基準不確かさ（ｕとする）が予め入力されているものとする。
【００４０】
まず、ＣＣＵ９からの画像データあるいはＣＰＵ１８によってメモリカード等から読み出された画像データが画像処理回路１２に入力される（ステップＳ１００）。続いて、画像処理回路１２は、入力された画像データに基づく画像内の画素毎に３次元座標のばらつきの推定値を計算し、さらに計測値のばらつきの推定値である不確かさを画素毎に計算する（ステップＳ１１０）。
【００４１】
以下ではステップＳ１１０の詳細を説明する。まず、画像処理回路１２は、入力された画像データに基づく画像の所定領域（例えば画像全体の領域あるいは予め設定された一部の領域）の画素毎に３次元座標のばらつきの推定値を計算する。具体的には、画像処理回路１２は以下のようにして３次元座標のばらつきの推定値を計算する。図８に示すように、基準画素（基準位置）となる画素Ｐ（ｘ，ｙ）とその周囲の８画素を含む矩形の領域Ｂにおいて、領域Ｂ内の各画素をＰｉｊ（ｘ＋ｉ，ｙ＋ｊ）∈Ｂ、−１≦ｉ，ｊ≦１とする。領域Ｂは小さいので領域Ｂに対応する被写体表面の範囲も小さく、領域Ｂ内では被写体表面の形状を平面で近似しても構わない。被写体表面を近似する平面を平面Ｃとする。
【００４２】
３次元座標計算部１２ａは、領域Ｂ内の各画素の位置で３次元座標を計算する。不確かさ推定部１２ｃは、３次元座標計算部１２ａが計算した各画素の３次元座標から平面Ｃを計算する。画素Ｐｉｊの位置で計算した３次元座標をＱｉｊ（Ｘｉｊ，Ｙｉｊ，Ｚｉｊ）、平面Ｃの方程式をａＸ＋ｂＹ＋ｃＺ＋ｄ＝０とすると、３次元座標計算部１２ａは、以下の（１）式で示されるｅを最小化する係数ａ，ｂ，ｃ，ｄを最小自乗法で計算することで、平面Ｃを近似する。
【００４３】
【数１】
【００４４】
画素Ｐの位置で３次元座標を計算したときのばらつきは、点Ｑｉｊから平面Ｃまでの距離のばらつきから求められる。点Ｑｉｊから平面Ｃまでの距離はＸ方向、Ｙ方向、Ｚ方向の成分で求められるが、これらのばらつきは一般的には異なるので、不確かさ推定部１２ｃは各方向のばらつきを次のように別々に計算する。すなわち、点Ｑｉｊから平面Ｃに下ろした垂線の方向ベクトルをｎｉｊ＝（ｎｉｊｘ，ｎｉｊｙ，ｎｉｊｚ）とし、ｎｉｊｘ，ｎｉｊｙ，ｎｉｊｚのそれぞれの標準偏差をσＸ（Ｐ），σＹ（Ｐ），σＺ（Ｐ）とする。不確かさ推定部１２ｃは、これら３つの標準偏差を計算し、画素Ｐに対応する３次元座標のばらつきの推定値とする。
【００４５】
上記の計算は、画像の所定領域の画素毎に行われる。つまり、３次元座標計算部１２ａは画像の所定領域の画素毎にその画素を基準位置とする領域Ｂを設定し、領域Ｂ内の各画素の位置で３次元座標を計算する。不確かさ推定部１２ｃは画像の所定領域の画素毎に、その画素を基準位置とする領域Ｂ内の各画素の３次元座標に基づいて上記３つの標準偏差を計算し、３次元座標のばらつきの推定値とする。
【００４６】
画像の所定領域の各画素において３次元座標のばらつきの推定値を計算した後、画像処理回路１２は、画像の所定領域の各画素で計測を行った場合の計測値の不確かさを計算する。具体的には、画像処理回路１２は以下のようにして計測値の不確かさを計算する。以下では、２個の点Ｐ１と点Ｐ２の間で２点間距離を計測する場合の計測値の不確かさを計算する例を説明する。
【００４７】
任意の点Ｐ１と点Ｐ２の間で２点間距離を計測する場合の計測値の不確かさσ２（Ｐ１，Ｐ２）は、３次元座標のばらつきの推定値を用いて以下の（２）式で与えられる。
【００４８】
【数２】
【００４９】
計測値の不確かさσ２（Ｐ１，Ｐ２）が基準不確かさｕよりも小さくなる条件を考える。以下の（３）式かつ（４）式が満たされれば、明らかにσ２（Ｐ１，Ｐ２）＜ｕとなる。
【００５０】
【数３】
【００５１】
【数４】
【００５２】
以下の（５）式のように定義すると、計測値の不確かさσ２（Ｐ１，Ｐ２）が基準不確かさｕよりも小さくなる条件は、σ（Ｐ１）＜ｕ／２かつσ（Ｐ２）＜ｕ／２と表せる。
【００５３】
【数５】
【００５４】
σ（Ｐ１）＜ｕ／２かつσ（Ｐ２）＜ｕ／２であれば、σ２（Ｐ１，Ｐ２）＜ｕとなり、ユーザが希望する基準不確かさｕよりも計測値の不確かさが小さくなる。このため、点Ｐ１と点Ｐ２の間で２点間距離を計測した場合に、ユーザが希望する精度が得られることになる。したがって、本実施形態では、（５）式で定義されるσ（Ｐ）を各画素の計測値の不確かさとする。不確かさ推定部１２ｃは、画像処理回路１２に入力された画像データに基づく画像の所定領域の各画素Ｐについてσ（Ｐ）を計算する。以上が、ステップＳ１１０の詳細である。
【００５５】
ステップＳ１１０に続いて、画像処理回路１２は、計測値の不確かさσ（Ｐ）と基準不確かさｕを比較し、比較結果に基づいて画素の色を設定した不確かさ推定画像を生成する（ステップＳ１２０）。以下ではステップＳ１２０の詳細を説明する。画像合成部１２ｄは、不確かさ推定部１２ｃが計算した各画素Ｐのσ（ｐ）と基準不確かさｕを比較する。σ（ｐ）＜ｕ／２である場合、画像合成部１２ｄは画素Ｐの色を例えば緑色に設定する。また、σ（ｐ）≧ｕ／２である場合、画像合成部１２ｄは画素Ｐの色を例えば赤色に設定する。
【００５６】
また、画素によっては、原理的に３次元座標を計算できない場合がある。例えば、ステレオ計測であれば、左画像上の点に対応する右画像上の点が撮影できていない場合がある。このように３次元座標を計算することができなかった画素については、画像合成部１２ｄは画素の色を例えば灰色に設定する。画像合成部１２ｄは、画像処理回路１２に入力された画像データに対して、上記に従って画素の色を設定することにより、計測値の不確かさの情報を色の情報として含む不確かさ推定画像を生成する。以上が、ステップＳ１２０の詳細である。
【００５７】
ステップＳ１２０に続いて、画像処理回路１２は、生成した不確かさ推定画像をＬＣＤ５へ出力し、ＬＣＤ５は不確かさ推定画像を表示する（ステップＳ１３０）。図９は不確かさ推定画像の一例を示している。図９に示す不確かさ推定画像は、例えば左画像として表示される。領域Ｓ１の各画素ではσ（ｐ）＜ｕ／２であり、領域Ｓ１の各画素は緑色で表示される。領域Ｓ２の各画素ではσ（ｐ）≧ｕ／２であり、領域Ｓ１の各画素は赤色で表示される。領域Ｓ３の各画素では３次元座標が計算されず、領域Ｓ３の各画素は灰色で表示される。
【００５８】
ユーザは２点間の距離を計測する場合、ＬＣＤ５に表示された不確かさ推定画像に基づいて次のような判断を行うことができる。計測を行う２点がいずれも緑色で表示されていれば、所望の精度で計測を行えると判断することができる。一方、計測を行う２点のいずれかあるいは両方が赤色で表示されていれば、所望の精度で計測を行えないので、内視鏡２を被写体により近づける必要があると判断することができる。また、計測を行う２点のいずれかあるいは両方が灰色で表示されていれば、計測を行えないことが分かるので、被写体を撮影する角度を変えたり、内視鏡２を被写体により近づけたりする必要があると判断することができる。
【００５９】
上記では不確かさ推定画像を表示する際に画像の色を設定しているが、画像の明るさ等を設定したり、計測値の不確かさσ（Ｐ）と基準不確かさｕを比較した結果に基づく情報を画像に重畳して表示したりしてもよい。
【００６０】
不確かさ推定画像の表示後、ユーザがリモートコントローラ４を介して計測指示を入力した場合、以下の手順で計測値の計算が行われる。以下では、２点間の距離を計測する例を説明する。計測指示が入力されると、ＣＰＵ１８による制御に従って、ＣＣＵ９からの画像データあるいはＣＰＵ１８によってメモリカード等から読み出された画像データが画像処理回路１２に入力される。画像データを新たに入力せずに、計測値の不確かさの推定と不確かさ推定画像の生成に用いた画像データを使用して計測値の計算を行ってもよい。画像処理回路１２に入力された画像データは、画像合成部１２ｄを経由してＬＣＤ５へ出力され、ＬＣＤ５に画像が表示される。
【００６１】
ユーザは、ＬＣＤ５に表示された画像上で２個の計測点を指定する。ユーザがリモートコントローラ４を介して計測点の指定指示を入力すると、ＣＰＵ１８は計測点の画素位置を画像処理回路１２へ出力する。画像処理回路１２の３次元座標計算部１２ａは、２個の計測点の画素位置のそれぞれに対応する３次元座標を計算し、計測点の画素位置とともに３次元座標を計測部１２ｂへ出力する。計測部１２ｂは、２個の計測点の３次元座標の距離を計算し、計測点の画素位置とともに計算結果を画像合成部１２ｄへ出力する。画像合成部１２ｄは、画像処理回路１２に入力された画像データに対して、計測点の位置および計測結果を表示するためのデータを合成し、ＬＣＤ５へ出力する。ＬＣＤ５は、計測点の位置および計測結果を含む画像を表示する。
【００６２】
本実施形態では、画像処理回路１２が計測値の不確かさの推定と不確かさ推定画像の生成を行っているが、ＣＰＵ１８が画像処理回路１２から画像データを取り込み、あるいはメモリカードから画像データを読み出し、画像データに対して計測値の不確かさの推定と不確かさ推定画像の生成を行ってもよい。この場合、計測値の不確かさの推定と不確かさ推定画像の生成を含む計測の全体の手順を規定したプログラムをＲＯＭ１３に予め格納しておき、ＣＰＵ１８がこのプログラムをＲＯＭ１３から読み出してＲＡＭ１４に展開し、このプログラムに従って計測の制御を行ってもよい。
【００６３】
上述したように、本実施形態によれば、画像における所定領域の画素毎に計測値のばらつきの推定値である不確かさを計算し、この不確かさに基づいて、計測値のばらつきを示す情報を表示することによって、計測を行った場合の計測値の精度を事前にユーザに知らせることができる。また、計測値自体の不確かさを推定し、ユーザに通知することによって、計測値のより正確な精度をユーザに知らせることができる。
【００６４】
前述した特許文献２，３の技術では、画像上に配置された限られた数の照準の位置でしか物体距離を知ることができないので、計測したい位置にユーザが照準を合わせる必要があり、操作に時間と手間がかかる問題があった。これに対して、本実施形態では、画像における所定領域の各画素で計測値の不確かさを計算するため、ユーザは照準を合わせる必要がなく、所望の精度が得られるかどうかの判断を短時間で簡単に行うことができる。
【００６５】
また、画像における所定領域の画素毎に計算した不確かさに基づく表示形態で画像を表示することによって、計測を行った場合の計測値の精度を視覚的に分かりやすくユーザに知らせることができる。さらに、画像における所定領域の画素毎に計算した不確かさと、ユーザが指定した基準不確かさｕとに基づく表示形態で画像を表示することによって、ユーザが希望する計測値の精度が得られるかどうかを視覚的に分かりやすくユーザに知らせることができる。
【００６６】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６７】
１・・・内視鏡装置、２・・・内視鏡、２ａ・・・固体撮像素子（撮像部）、４・・・リモートコントローラ、５・・・ＬＣＤ（表示部）、８・・・内視鏡ユニット、９・・・ＣＣＵ（撮像部）、１２・・・画像処理回路、１２ａ・・・３次元座標計算部（第１の計算部、第２の計算部）、１２ｂ・・・計測部、１２ｃ・・・不確かさ推定部（第２の計算部）、１２ｄ・・・画像合成部、１８・・・ＣＰＵ（指定部）
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像部と、
入力装置を介して入力される指示に基づいて、前記画像データに基づく画像における計測位置を指定する指定部と、
前記計測位置に対応する３次元座標を計算する第１の計算部と、
前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、
前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、
前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、
を備えたことを特徴とする内視鏡装置。
【請求項２】
前記第２の計算部は、前記複数の位置のそれぞれを基準位置とする複数の領域を設定し、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記第２の計算部は、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記被写体の表面を近似する平面を計算し、前記領域内で前記基準位置を基準とする他の位置と前記平面との距離のばらつきから前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする請求項２に記載の内視鏡装置。
【請求項４】
前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値に基づく表示形態で前記画像を表示することを特徴とする請求項１〜請求項３のいずれか一項に記載の内視鏡装置。
【請求項５】
前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値と、入力装置を介して入力される基準値とに基づく表示形態で前記画像を表示することを特徴とする請求項４に記載の内視鏡装置。
【請求項６】
前記表示形態は色であることを特徴とする請求項４または請求項５に記載の内視鏡装置。
【請求項７】
入力装置を介して入力される指示に基づいて、被写体の画像データに基づく画像における計測位置を指定する指定部と、
前記計測位置に対応する３次元座標を計算する第１の計算部と、
前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、
前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、
前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、
としてコンピュータを機能させるためのプログラム。
【請求項１】
被写体を撮像して画像データを生成する撮像部と、
入力装置を介して入力される指示に基づいて、前記画像データに基づく画像における計測位置を指定する指定部と、
前記計測位置に対応する３次元座標を計算する第１の計算部と、
前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、
前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、
前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、
を備えたことを特徴とする内視鏡装置。
【請求項２】
前記第２の計算部は、前記複数の位置のそれぞれを基準位置とする複数の領域を設定し、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記第２の計算部は、前記領域内で前記基準位置を基準とする他の位置の３次元座標に基づいて、前記被写体の表面を近似する平面を計算し、前記領域内で前記基準位置を基準とする他の位置と前記平面との距離のばらつきから前記領域内の前記基準位置の３次元座標のばらつきの推定値を計算することを特徴とする請求項２に記載の内視鏡装置。
【請求項４】
前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値に基づく表示形態で前記画像を表示することを特徴とする請求項１〜請求項３のいずれか一項に記載の内視鏡装置。
【請求項５】
前記表示部は、前記複数の位置のそれぞれについての前記計測値のばらつきの推定値と、入力装置を介して入力される基準値とに基づく表示形態で前記画像を表示することを特徴とする請求項４に記載の内視鏡装置。
【請求項６】
前記表示形態は色であることを特徴とする請求項４または請求項５に記載の内視鏡装置。
【請求項７】
入力装置を介して入力される指示に基づいて、被写体の画像データに基づく画像における計測位置を指定する指定部と、
前記計測位置に対応する３次元座標を計算する第１の計算部と、
前記計測位置に対応する３次元座標に基づいて前記被写体のサイズを計測する計測部と、
前記画像における複数の位置のそれぞれに対応する３次元座標のばらつきの推定値を計算し、前記３次元座標のばらつきの推定値に基づいて、前記複数の位置のそれぞれについて、前記被写体のサイズを計測した場合の計測値のばらつきの推定値を計算する第２の計算部と、
前記計測値のばらつきの推定値に基づいて、前記計測値のばらつきを示す情報を表示する表示部と、
としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−２５２９２（Ｐ２０１３−２５２９２Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６３１０７（Ｐ２０１１−１６３１０７）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]