計測内視鏡システム、計測内視鏡システム用計測方法、及び計測内視鏡システム用計測プログラム
【課題】サブピクセルマッチングによって、一方の画像上の計測位置に対応する他方の画像上の計測位置を検索し、短時間で正確な計測位置を取得する計測内視鏡システムを提供する。
【解決手段】複数の視点から撮像された各視点の画像信号を、画素単位でサンプリングして第１画像、第２画像を得る画像取得手段と、第１画像を前記画素単位よりも細い単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理手段と、この第１再サンプリング画像に基づき計測位置を指定する計測位置指定手段と、計測位置指定手段により指定された計測位置に対応する第２画像上の計測位置を、画素単位よりも細い単位で計算するマッチング処理手段とを有し、再サンプリング処理手段は、このマッチング処理手段により計算された第２画像上の計測位置を前記画素単位より細い単位で再サンプリングして第２再サンプリング画像を生成する。
【解決手段】複数の視点から撮像された各視点の画像信号を、画素単位でサンプリングして第１画像、第２画像を得る画像取得手段と、第１画像を前記画素単位よりも細い単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理手段と、この第１再サンプリング画像に基づき計測位置を指定する計測位置指定手段と、計測位置指定手段により指定された計測位置に対応する第２画像上の計測位置を、画素単位よりも細い単位で計算するマッチング処理手段とを有し、再サンプリング処理手段は、このマッチング処理手段により計算された第２画像上の計測位置を前記画素単位より細い単位で再サンプリングして第２再サンプリング画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は被写体を撮像し、所定の画素間隔でデータをサンプリングして元画像とし、元画像上の特徴点を指定して計測を行う計測内視鏡システム、計測内視鏡システム用計測方法、及び計測内視鏡システム用計測プログラムに関する。
【背景技術】
【０００２】
今日、内視鏡装置は各種産業に使用され、例えば機械部品の傷や欠損等を計測する計測内視鏡装置も使用されている。このような内視鏡装置において、ユーザが元画像上の特徴点を容易に指定可能にする技術として、元画像を拡大し、該拡大画像上で特徴点の指定を行う方法が提案されている。
【０００３】
特許文献１には、元画像上の計測点を指定する技術として、元画像を拡大し、拡大画像上で計測点の指定を行う方法が提案されている。この方法は、拡大画像上の画素の中から計測点に対応する画素を選択して指定し、指定された画素に対応する元画素の位置に基づいて計測を行う。さらに、指定された計測点の元画像上での位置は、拡大倍率の逆数単位で算出することができる。従って、この様に算出された位置に基づいて、元画像の画素間隔よりも細かい単位の計測を行うことも可能である。
【０００４】
例えば、図１４は被写体の元画像を示し、元画像では背景が白であり、太さが２画素である２本の黒い線が直角に交わっている。特徴点は２本の線の交点の中心とし、この点を含む領域を拡大する拡大領域としている。図１５は拡大領域を示す。そして、拡大画像上には指定点を示す＋印が表示され、図１５に示すように拡大画像上で特徴点を指定し、指定された拡大画像上の画素に対応する元画像上の画素の位置に基づいて演算を行っている。
【特許文献１】特開平４−３３２５２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来方法においては、計測対象物のステレオ画像を取得した場合、例えば左画像の計測位置を計測した後、右画像の計測位置の取得は、ピクセル単位の画像マッチングによって行われていた。すなわち、左画像の計測位置に対応する右画像上の計測位置をピクセルマッチングによって検索していた。このため、計測位置の検索精度が充分でなく、また、検索精度の確認も困難であった。
【０００６】
そこで、本発明はサブピクセルマッチングによって、一方の画像上の計測位置に対応する他方の画像上の計測位置を検索し、短時間で正確な計測位置の取得が可能な計測内視鏡システム、計測内視鏡システム用計測方法、及び計測内視鏡システム用計測プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
上記課題は本発明によれば、観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得手段と、この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理手段と、この第１再サンプリング画像に基づいて計測位置を指定する計測位置指定手段と、この計測位置指定手段によって指定された前記計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理手段と、を有し、前記再サンプリング処理手段は、このマッチング処理手段によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成する計測内視鏡システムを提供することによって達成できる。
【発明の効果】
【０００８】
本発明によれば、一方の画像上の計測点に対応する他方の画像上の計測点の位置を検索する際、画素間隔より小さい小数点の単位の画像情報に対応してマッチングを行い、他方の画像上の計測点の位置を正確に指定し、他方の画像上の計測点の位置もサブピクセル単位で表示可能な計測内視鏡システムを提供するものである。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を図面を参照しながら説明する。
尚、本実施形態の説明では、計測内視鏡システムとしてステレオ計測可能な計測内視鏡システムを例に挙げ、指定点としてはステレオ計測の対象である計測点としている。
【００１０】
図１〜図１３は本実施形態に係わり、図１は計測内視鏡システムを説明する図であり、図２は計測内視鏡システムの構成を説明するブロック図であり、図３は計測内視鏡システムの制御を説明する機能ブロック図であり、図４はリモートコントローラを説明する図であり、図５は直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図であり、図６は図５のＡ−Ａ断面図であり、図７はステレオ計測により計測点の３次元座標を求める方法を説明する図であり、図８は計測内視鏡システムによる計測の流れを説明するフローチャートであり、図９は図１の計測内視鏡システムのステレオ計測実行画面を示す説明図であり、図１０は疑似サンプリング画像の拡大画像を示す図であり、図１１はサンプリング点移動画像とその拡大画像が生成される原理を説明する図であり、図１２は元画像におけるサンプリング点と移動されたサンプリング点を示す図であり、図１３はサブピクセルマッチングの手法を説明する図である。
【００１１】
先ず、計測内視鏡システム１０は、図１に示すようにステレオ計測可能なものを含む光学アダプタを着脱自在に構成された内視鏡挿入部１１と、該内視鏡挿入部１１を収納するコントロールユニット１２と、計測内視鏡システム１０のシステム全体の各種動作制御を実行するために必要な操作を行うリモートコントローラ１３と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う液晶モニタ（以下、ＬＣＤと記載）１４と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ（以下，ＦＭＤと記載）１７と、該ＦＭＤ１７に画像データを供給するＦＭＤアダプタ１８と、コントロールユニット１２に接続されるマウス２７を含んで構成されている。
【００１２】
次に、図２を参照しながら計測内視鏡システム１０のシステム構成を詳細に説明する。同図に示すように、前記内視鏡挿入部１１は、内視鏡ユニット２４に接続される。この内視鏡ユニット２４は、例えは図１に示したコントロールユニット１２内に搭載されている。また、この内視鏡ユニット２４は、撮影時に必要な照明光を得るための光源装置と、前記内視鏡挿入部１１を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。また、内視鏡挿入部１１先端の固体撮像素子４３（撮像手段）（図６参照）からの撮像信号は、カメラコントロールユニット（以下、ＣＣＵと記載）２５に入力される。
【００１３】
該ＣＣＵ２５は、供給された撮像信号をＮＴＳＣ信号等の映像信号に変換し、前記コントロールユニット１２内の主要処理回路群へと供給する。
前記コントロールユニット１２内に搭載された主要回路群は、図２に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うＣＰＵ２６ａ、ＲＯＭ２６ｂ、ＲＡＭ２６ｃ、及びＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと記載）３０、ＵＳＢインターフェイス（以下、ＵＳＢ Ｉ／Ｆと記載）３１、ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２Ｃ Ｉ／Ｆと記載）２９、音声信号処理回路３２、及び映像信号処理回路３３（画像取得手段）とを含んで構成されている。
【００１４】
また、前記ＲＳ−２３２Ｃ Ｉ／Ｆ２９は、ＣＣＵ２５、内視鏡ユニット２４、及びリモートコントローラ１３にそれぞれ接続されている。リモートコントローラ１３（計測位置指定手段）は、ＣＣＵ２５、内視鏡ユニット２４の制御及び動作指示、若しくは後述するポインタの位置移動の制御を行うためのものである。また、ＲＳ−２３２Ｃ Ｉ／Ｆ２９は、リモートコントローラ１３による操作に基づいてＣＣＵ２５、内視鏡ユニット２４を動作制御するために必要な通信を行う構成である。
【００１５】
前記ＵＳＢ Ｉ／Ｆ３１は、前記コントロールユニット１２とマウス２７（計測位置指定手段）とを電気的に接続するためのインターフェイスである。前記ＵＳＢ Ｉ／Ｆ３１を介して前記コントロールユニット１２とマウス２７とを接続した場合には、マウス２７の後述する操作によって操作信号がＣＰＵ２６ａに送られ、後述するポインタの位置移動が制御される。
【００１６】
また、前記ＰＣカードＩ／Ｆ３０は、ＰＣＭＣＩＡメモリカード２３、及びコンパクトフラッシュ（登録商標）メモリカード２２が着脱自由に接続される構成である。つまり、前記いずれかのメモリカードが装着された場合、コントロールユニット１２は、記録媒体としてのメモリカードに記憶された制御処理情報や画像情報等のデータを再生し、前記ＰＣカードＩ／Ｆ３０を介してコントロールユニット１２内に取り込み、或いは制御処理情報や画像情報等のデータを、前記ＰＣカードＩ／Ｆ３０を介してメモリカードに供給して記録することができる。
【００１７】
前記映像信号処理回路３３は、ＣＣＵ２５から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、ＣＣＵ２５からの映像信号とＣＰＵ２６ａの制御により生成される操作メニューに基づく表示信号とを合成処理し、更にＬＣＤ１４の画面上に表示するために必要な処理を施してＬＣＤ１４に供給する。これにより、ＬＣＤ１４には内視鏡画像と操作メニューとの合成画像が表示される。
【００１８】
尚、映像信号処理回路３３では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。
また、図１に示したコントロールユニット１２は、前記ＣＣＵ２５を経由せずに映像信号処理回路３３に映像を入力する外部映像入力端子７０を別に設けている。該外部映像入力端子７０に映像信号が入力された場合、映像信号処理回路３３はＣＣＵ２５からの内視鏡画像に優先して前記合成画像を出力する。
【００１９】
前記音声信号処理回路３２は、マイク２０により集音されて生成され、メモリカード等の記録媒体に記録する音声信号、或いはメモリカード等の記録媒体の再生によって得られた音声信号、上記ＣＰＵ２６ａによって生成された音声信号が供給される。前記音声信号処理回路３２は、供給された音声信号に再生するために必要な処理（増幅処理等）を施し、スピーカ１９に出力する。これにより、スピーカ１９によって音声信号が再生される。
【００２０】
図３は上記ＲＯＭ２６ｂに記憶されたプログラムに従って、ＣＰＵ２６ａが行う処理を説明する機能ブロック図である。ポインタ制御部７５、ポインタ位置移動前記憶部７６、ポインタ位置移動後記憶部７７、マウスボタン状態記憶部７８、補正後ポインタ位置記憶部７９、インジケータ状態指示部８０、サンプリング点位置記憶部８１、再サンプリング処理部８２（再サンプリング処理手段）、サンプリング点移動画像表示処理部８３、及び計測部８４（マッチング処理手段）で構成される。計測部８４は後述する三角測量の原理により、左画像上及び右画像上の計測位置のいくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状など様々な計測が可能である。また、左画像上にリモートコントローラ１３又はマウス２７によって入力された計測点に対応する右画像上の計測点をマッチング処理によって求める。
【００２１】
ここで、ポインタ制御部７５や、再サンプリング処理部８２、サンプリング点移動画像表示処理部８３、計測部８４はＣＰＵ２６ａの処理に対応し、ポインタ位置移動前記憶部７６や、ポインタ位置移動後記憶部７７、マウスボタン状態記憶部７８等は記憶手段であるＲＡＭ２６ｃに対応し、ＣＰＵ２６ａはＲＯＭ２６ｂのプログラムに従ってポインタ位置の移動制御を行う。尚、ＣＰＵ２６ａは、勿論上記ポインタ位置の移動制御以外、計測内視鏡システムのシステム制御もＲＯＭ２６ｂに記憶されたプログラムに従って実行する。
【００２２】
また、図２ではＵＳＢ Ｉ／Ｆ３１にマウス２７が接続されているが、この構成に限らず、不図示のパーソナルコンピュータ（電子計算機）をＵＳＢ Ｉ／Ｆ３１に接続してもよい。このとき、ＣＰＵ２６ａの処理をパーソナルコンピュータのＣＰＵ（演算手段）が処理する構成としてもよい。また、計測内視鏡システム１０とパーソナルコンピュータとの接続はＵＳＢ Ｉ／Ｆ３１に限らず、不図示の無線又は有線タイプのネットワークＩ／Ｆによる接続する構成としてもよい。
【００２３】
また図２では計測内視鏡システム１０を内視鏡装置で図示しているが、これに限らず、例えば、パーソナルコンピュータのＣＰＵが映像信号処理回路３３（画像取得手段）の機能を有し、ＰＣＭＣＩＡメモリカード２３、又はコンパクトフラッシュ（登録商標）メモリカード２２に記録された撮像信号を読み出して以降の処理を行う構成としてもよい。
【００２４】
ポインタ位置移動前記憶部７６にはマウス２７を操作する前のポインタ位置の情報が記憶され、ポインタ位置移動後記憶部７７には後述するイベント発生時、マウス２７の操作に基づくポインタの位置が記憶される。また、ポインタ制御部７５はイベント発生毎に上記ポインタ位置移動前記憶部７６に記憶されたポインタ位置と、ポインタ位置移動後記憶部７７に記憶されたポインタ位置の情報に基づいてポインタ移動後の位置を計算し、後述する一定の値（Ｒ値）で割り算したデータを不図示のレジスタに保持する。
【００２５】
補正後ポインタ位置記憶部７９には、マウス２７のボタン操作の停止に基づく補正値の計算結果が記憶され、上記レジスタに保持したデータに基づいて補正値が計算され、補正後のポインタ位置の情報が記憶される。
【００２６】
計測部８４は、上記処理によって設定された左画像におけるサンプリング点の位置に基づいてこのサンプリング点に対応した右画像のサンプリング点をマッチング処理によって求める。
【００２７】
サンプリング点位置記憶部８１は、上記マッチング処理によって設定された左画像及び右画像のサンプリング点の位置を記憶する。また、再サンプリング処理部８２はサンプリング点位置記憶部８１によって記憶されたサンプリング点に基づいて左画像及び右画像の再サンプリングを行う際の処理部であり、サンプリング点移動画像表示処理部８３は上記サンプリング点に基づいて再サンプリングされた左画像及び右画像をディスプレイに表示する。尚、計測部８４は、マウス２７のボタン操作の停止前に随時上記マッチング処理を行ってもよい。また、計測部８４は、マッチング処理を行う前にサンプリング点位置記憶部８１が左画像のサンプリング点を記憶し、再サンプリング処理部８２及びサンプリング点移動画像表示処理部８３によって左画像が再サンプリングされて表示された後に右画像のサンプリング点を求めてもよい。
【００２８】
前記リモートコントローラ１３は、図４に示すようにジョイスティック６１、レバースイッチ６２、フリーズスイッチ６３、ストアースイッチ６４、計測実行スイッチ６５、及び拡大表示切り換え用ＷＩＤＥスイッチ６６、ＴＥＬＥスイッチ６７を併設して構成されている。
【００２９】
前記リモートコントローラ１３において、ジョイスティック６１は内視鏡先端部の湾曲動作を行うスイッチであり、３６０度の何れの方向にも自在に操作指示を与たり、真下に押下することで湾曲動作の微調整の指示等を与えることが可能である。また、ジョイスティック６１は後述するステレオ計測における計測点指定の指示に使用することもできる。
【００３０】
次に、本実施の形態の計測内視鏡装置１０に用いられる光学アダプタの一種であるステレオ光学アダプタの構成を図５と図６を参照しながら説明する。
図５及び図６はステレオ光学アダプタ３７を内視鏡先端部３９に取り付けた状態を示しており、該ステレオ光学アダプタ３７は、固定リング３８の雌ねじ５３により内視鏡先端部３９の雄ねじ５４と螺合することによって固定される構成である。
【００３１】
また、ステレオ光学アダプタ３７の先端には、一対の照明レンズ３６と２つの対物レンズ系３４、３５が設けられている。２つの対物レンズ系３４、３５は、内視鏡先端部３９内に配設された撮像素子４３上に２つの画像を結像する。そして、撮像素子４３により得られた撮像信号は、電気的に接続された信号線４３ａ、及び図２に示す内視鏡ユニット２４を介してＣＣＵ２５に供給され、該ＣＣＵ２５により映像信号に変換された後に映像信号処理回路３３に供給される。尚、映像信号は輝度値または輝度値と色差値を含む。また、ＣＣＵ２５に供給される撮像信号によって生成される画像を元画像と呼ぶ。
【００３２】
次に、図７を参照して、ステレオ計測による計測点の３次元座標の求め方を説明する。左側及び右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、計測点の３次元座標を（Ｘ，Ｙ，Ｚ）とする。但し、（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）の原点は、それぞれ左側及び右側の光学系における光軸と、撮像素子４３の交点であり、（Ｘ，Ｙ，Ｚ）の原点は左側及び右側の光学中心の中間点である。左側と右側の光学中心の距離をＤ、焦点距離をＦとすると、三角測量の方法により、
Ｘ＝ｔ×ＸＲ ＋Ｄ／２
Ｙ＝ｔ×ＹＲ
Ｚ＝ｔ×Ｆ
ただし、ｔ＝Ｄ／（ＸＬ−ＸＲ）となる。
【００３３】
このように、元画像上の計測点の座標が決定されると、既知のパラメータＤ及びＦを用いて計測点の３次元座標が求まる。そして、いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状など様々な計測が可能である。
【００３４】
以上の構成の計測内視鏡システムにおいて、以下に図８〜図１３を用いて計測内視鏡システムの処理動作を説明する。ここで、図８Ａ〜８Ｇはステレオ計測のフローチャートを示し、図９はステレオ計測画面を示す図である。また、図９の画像は、例えば航空機のエンジン部品であるタービンブレードに欠けが生じた例を示しており、欠けの最も外側の幅を計測する場合の計測画面を示している。
【００３５】
先ず、マウス２７を操作し、図８Ａに示す計測フローのステップＳ００１により、画素単位でサンプリングして読み取った画像を元画像として取得し（画像取得処理、画像取得工程）、ステップＳ００２で表示装置に表示する。図９（ａ）は読み取られた左右２つの元画像（第１画像、第２画像）と、計測の操作を指示するアイコンと、マウス２７で位置が指定されるポインタからなる計測画面を示す。
【００３６】
次に、ステップＳ００３において左画像上で計測点を指定する。この計測点の指定は、図８Ｂに示す計測点指定フローにより実行する。先ず、ステップＳ１０１において、元画像上で拡大対象となる拡大領域を設定する。この拡大領域の設定は、更に図８Ｃに示す拡大領域設定フローにより実行する。
【００３７】
すなわち、ステップＳ５０１でマウス２７を操作し、元画像上の計測点付近の位置を指定し、ステップＳ５０２で拡大画像表示指示を行い、ステップＳ５０３で拡大領域を決定する。本例では、拡大領域はマウス２７に指定された位置を中心とする所定の範囲の領域とする。
【００３８】
次に、ステップＳ１０２において、拡大画像（第１再サンプリング画像）を生成する（再サンプリング処理、再サンプリング処理工程）。この拡大画像の生成は、図８Ｄに示すフローに従って実行される。先ず、ステップＳ６０１で、拡大領域内のサンプリング点の位置に基づいて画像を生成する。拡大領域内のサンプリング点の位置は、最初は元画像取得時におけるサンプリングの位置であり、後述のステップＳ１０７で移動される。
【００３９】
ここで、拡大領域のサンプリング点の位置が移動された場合、元画像取得時のサンプリングの位置からずれるため、元画像上の画素から補間によって画像を生成する。この場合のサンプリング点を擬似サンプリング点とし、このステップＳ６０１で生成される画像を擬似サンプリング画像とする。
【００４０】
次に、ステップＳ６０２でマウス２７の操作により、例えば押下回数から拡大倍率を設定し、ステップＳ６０３で擬似サンプリング画像の画素数を補間により拡大倍率分だけ増加させることで、拡大画像を生成する。補間方法は、最近傍補間、線形補間、双３次補間などを使用する。
【００４１】
次に、ステップＳ１０３において、拡大画像を大きさと位置を決定して表示する。尚、表示位置は元画像に重畳することも可能であり、この場合、拡大画像の表示位置を元画像の拡大領域から常に所定の距離以上離れた位置とすることで、拡大領域及びその付近が表示されなくならないようにする。
【００４２】
次に、ステップＳ１０４では、拡大画像上において指定点となる画素を選択する。そして、選択された画素上には指定点を示すカーソルを表示する。尚、指定点となる画素は拡大画像上の所定の固定位置でもよい。
【００４３】
図９（ｂ）は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示している。この計測画面には画面中央に拡大画像と指定点を示すカーソルが表示される。拡大画像の右及び下には、それぞれ指定点から垂直方向及び水平方向の画素の輝度を示すグラフが表示され、指定点とその周辺の輝度を確認することができる。また、拡大倍率が３倍であることを示す「３ｘ」が表示される。
【００４４】
次に、ステップＳ１０５において、上記指定点によって計測点が指定されているか判断する。ここで、計測点の指定がされていなければ、ステップＳ１０６に進み、指定されていればステップＳ１０８に進む。
【００４５】
ステップＳ１０６ではサンプリング点を移動するか判断する。拡大画像上に計測点が存在し、サンプリング点と計測点が一致しているためにサンプリング点を移動する必要がなければ、ステップＳ１０４に移り、表示されている計測点を指定点として選択する。
【００４６】
拡大画像上に計測点が存在するが、サンプリング点と計測点が一致せずサンプリング点を移動する必要がある場合や、拡大画像上に計測点が存在しない場合はステップＳ１０７に移る。このステップＳ１０７では、拡大画像上の指定点により計測点が指定されるように、サンプリング点を移動する。このサンプリング点の移動は、図８Ｅ〜８Ｇに示すフローに従って行われる。
【００４７】
すなわち、図８Ｅに示すステップＳ７０１でマウス２７のボタンを押すと、画面上のポインタ初期位置Ｐ０が検出される。次に、ステップＳ７０２において、ポインタＰの初期位置をＰ０とし、前述のポインタ制御部７５内のレジスタＰ．ｓｘ及びＰ．ｓｙ（第１変数、第２変数）を初期値０に設定する。その後、マウス２７を上下左右に操作し、後述するイベント毎にマウス２７の操作に従って移動するポインタの位置を補正し、マウス２７のボタンを離すと、図８ＦのステップＳ７０３に示すように、補正されたポインタ位置が計測点とされる。尚、上記マウスボタンの操作状態は、前述のマウスボタン状態記憶部７８に記憶されている。
【００４８】
この間の処理を具体的に説明する図が、図８Ｇに示すフローチャート（計測位置指定処理、計測位置指定工程）である。この処理はマウス処理のイベントが発生する毎に同図に示すフローが実行される。すなわち、マウス２７が操作されると（マウス処理のイベントが発生すると）、ステップＳ９０１の判断において、先ずマウス２７のボタン（左ボタン）が押下されているか判断する（ステップＳ９０１）。ここで、マウス２７のボタン操作が行われておらず（ステップＳ９０１がＮｏ）、コントロールキーも操作されていない場合（ステップＳ９２１がＮｏ）、前述のポインタの初期位置Ｐ０をカレントポジション（サンプル画像上の位置）Ｐとし、レジスタＰ．ｓｘ及びＰ．ｓｙを初期値０に設定し（ステップＳ９２２、Ｓ９２３）、ファインモードの表示も行わない（ステップＳ９２４）。
【００４９】
一方、マウス２７のボタン（左ボタン）が押下されていると（ステップＳ９０１がＹｅｓ）、ステップＳ９０２においてインジケータをファインモードとする。この処理は、前述のポインタ制御部７５（ＣＰＵ２６ａ）の制御に基づいて、インジケータ状態指示部８０がディスプレイに「Ｆ」アイコンを表示する処理である（図９（ｃ）を参照）。
【００５０】
次に、ステップＳ９０３において、画面上のポインタの位置をＰ１とし、前述のポインタ位置移動後記憶部７７にＰ１の位置情報を記録する。この時、マウス２７はボタン操作が行われた状態で移動しており、例えばマウス２７が右方向（Ｘ軸方向）に移動した場合、移動前のポインタの初期位置Ｐ０のｘ値（例えば、Ｐ０．ｘ）は上記ポインタ位置移動前記憶部７６に記録されており、移動後のポインタ位置Ｐ１のｘ値（例えば、Ｐ１．ｘ）はポインタ位置移動後記憶部７７に記録されている。
【００５１】
この場合、マウス２７は右方向に移動しているので、Ｐ１のｘ値（Ｐ１．ｘ）は移動前のポインタ位置Ｐ０のｘ値（Ｐ０．ｘ）より大きい値である。したがって、ステップＳ９０４がＹＥＳとなり、ステップＳ９０５において、ポインタ制御部７５内に設定されたレジスタＰ．ｓｘの値を＋１する。尚、この場合、マウス２７は右方向に移動したものであり、マウス２７を左方向や垂直方向（Ｙ方向）には移動していないので、ステップＳ９０６、Ｓ９０８、Ｓ９１０はＮＯである。
【００５２】
上記の例では、次のステップＳ９１２の判断もＮＯであり、更にステップＳ９１３において、レジスタＰ．ｓｘの値がＲに等しいか判断する。ここで、Ｒは予め設定した一定の値（第１閾値、第２閾値）であり、元画素に対して詳細にポインタを移動するための比率を示す。ＲはＸ軸方向、Ｙ軸方向にそれぞれ設定してもよいし、同一の値に設定してもよい。以下、ＲはＸ軸方向、Ｙ軸方向共に同一の値とする。ここで、例えばＲの値が「１０」に設定されているとすれば、上記最初の処理では、レジスタＰ．ｓｘの値は「１」であり、上記判断はＮＯである。
【００５３】
その後、マウス２７の右方向への移動において、次のマウス処理のイベントが発生すると、ポインタ位置Ｐ１のｘ値（Ｐ１．ｘ）は、前述と同様、前のポインタ位置Ｐ０のｘ値（Ｐ０．ｘ）より大きい値であり（ステップＳ９０４がＹＥＳ）、ステップＳ９０５において、再度レジスタＰ．ｓｘの値を＋１する。尚、この場合も、マウス２７を左方向や、垂直方向に移動していないので、ステップＳ９０６、Ｓ９０８、Ｓ９１０はＮＯである。
【００５４】
次に、ステップＳ９１２の判断もＮＯであり、更にステップＳ９１３において、上記と同様レジスタＰ．ｓｘの値がＲに等しいか判断される。ここで、前述のように、Ｒの値が「１０」に設定されている場合、上記判断もＮＯである。
【００５５】
また、マウス２７がＹ方向（垂直方向）に移動していないので、ステップＳ９１６、及びＳ９１８もＮＯであり、更にステップＳ９２０において、画面上のポインタ位置（Ｐ０）は、初期位置Ｐのままである。
【００５６】
この状態で、例えばマウス２７のボタン操作を止めると、前述の図８ＦのステップＳ７０３の処理に従って、レジスタＰ．ｓｘの値（例えば、この時「２」）が前述のＲ（１０）によって割り算され、補正値０．２（２／１０）が計算される。この場合、補正値は１画素（１．０）に満たないため、補正後ポインタ位置記憶部７９のポインタ位置情報はそのままである。例えば、ポインタの初期位置Ｐ（Ｘ，Ｙ）が、（１００，１００）であれば、補正後のポインタの位置も同じ（１００，１００）である。尚、上記例ではＸ方向について説明したが、Ｙ方向についても同様に計算される。
【００５７】
その後、マウス２７を右に移動する処理を継続すると、イベントが発生する毎にレジスタＰ．ｓｘの値が順次＋１され、ステップＳ９１３において、レジスタＰ．ｓｘの値がＲの値（例えば、「１０」）に一致すると（ステップＳ９１３がＹＥＳ）、ステップＳ９１５において、ポインタのＸ座標位置（Ｐ．ｘ）が（Ｐ．ｘ＋１）に更新される（（Ｐ．ｘ）を（Ｐ．ｘ＋１）に更新する）。尚、この時レジスタＰ．ｓｘの値は「０」にリセットされる。
【００５８】
この状態で、例えばマウス２７のボタン操作を止めると、前述と同様ステップＳ７０３の処理に従って、レジスタＰ．ｓｘの値（例えば、この時「１０」）が前述のＲ（１０）によって割り算され、補正値１．０（１０／１０）が計算される。この場合、補正後ポインタ位置記憶部７９のポインタ位置情報は、上記例の場合、（１０１，１００）となる。
【００５９】
以後、マウス処理のイベントが発生する毎に上記処理が繰り返され、マウス２７を右方向に操作している場合には、順次レジスタＰ．ｓｘが＋１され（ステップＳ９０５）、上記例ではマウス２７の移動に対して１／Ｒ（「１０」）の割合でポインタの位置を移動することができる。
【００６０】
上記処理は、マウス２７を水平に右方向に移動させた場合であるが、マウス２７を水平に左方向に移動させた場合も同様であり、またマウス２７を垂直方向（Ｙ方向）に移動させた場合も同様である。
【００６１】
例えば、マウス２７を左方向に移動させている間、マウス処理のイベントが発生すると、ステップＳ９０７がＹＥＳとなり、レジスタＰ．ｓｘの値を−１する（ステップＳ９０７）。また、上方向にマウス２７を移動させている間、マウス処理のイベントが発生すると、ステップＳ９０８がＹＥＳとなり、ポインタ制御部７５にある不図示のレジスタＰ．ｓｙの値を−１し（ステップＳ９０９）、同様に下方向にマウス２７を移動させている間、マウス処理のイベントが発生すると、ステップＳ９１０がＹＥＳとなり、レジスタＰ．ｓｙを＋１する（ステップＳ９１１）。
【００６２】
この間、前述のＲの値とレジスタＰ．ｓｘの値、又はＲの値とレジスタＰ．ｓｙの値の一致判断が行われ、レジスタＰ．ｓｘの値がＲの値に一致すれば前述のようにポインタ位置の更新処理が行われ（ステップＳ９１５）、レジスタＰ．ｓｙの値がＲの値に一致すれば、ステップＳ９１８によって一致判断が行われ、ステップＳ９１９において、ポインタのＹ座標位置（Ｐ．ｙ）を（Ｐ．ｙ＋１）に更新する（（Ｐ０．ｙ）を（Ｐ０．ｙ＋１）に更新する）。尚、この時レジスタＰ．ｓｙの値は「０」にリセットされる。
【００６３】
また、マウス２７を右方向に移動させた後、左方向に移動させる場合もあり、このような場合、レジスタＰ．ｓｘの値はイベントが発生する毎に＋１され、１→２→３→・・・と順次大きくなるが、移動方向を左に変更した後イベントが発生すると、レジスタＰ．ｓｘの値は順次減算される（ステップＳ９０６がＹＥＳ、ステップＳ９０７）。この場合、レジスタＰ．ｓｘの値が０より小さくなると（ステップＳ９１２がＹＥＳ）、ポインタのＸ座標位置（Ｐ．ｘ）が（Ｐ．ｘ−１）に更新される（ステップＳ９１４）。
【００６４】
また、同様にマウス２７を上方向に移動させた後、下方向に移動させる場合もあり、この場合、レジスタＰ．ｓｙの値はイベントが発生する毎に＋１され、１→２→３→・・・と順次大きくなるが、移動方向を下に変更した後イベントが発生すると、レジスタＰ．ｓｙの値は順次減算される（ステップＳ９１０がＹＥＳ、ステップＳ９１１）。この場合、レジスタＰ．ｓｙの値が０より小さくなると（ステップＳ９１６がＹＥＳ）、ポインタのＹ座標位置（Ｐ．ｙ）が（Ｐ．ｙ−１）に更新される（ステップＳ９１７）。
【００６５】
上記ポインタの位置は、マウス２７のボタン操作を止める毎に計算され、補正処理が行われたポインタの位置情報は補正後ポインタ位置記憶部７９に記録される。
尚、マウス２７を斜め右上方向や斜め右下方向、斜め左上方向や斜め左下方向に移動する場合も、対応するレジスタＰ．ｓｘ及びＰ．ｓｙが同時に更新され、前述と同様ポインタ位置をマウス２７の移動方向に詳細に移動させることができる。
【００６６】
以上のようにして、サンプリング点の位置が移動されると（ステップＳ１０７）、これに伴って拡大領域も移動する。サンプリング点の移動後、ステップＳ１０２に移り、再度拡大画像を生成し表示する。図９（ｃ）は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す。また、同図（ｄ）は、拡大倍率を６倍に変更させた場合の計測画面を示している。さらに、同図（ｅ）はサンプリング点の移動量の単位を元画像の画素間隔に設定し、同図（ｄ）の状態からサンプリング点を移動させた場合の計測画面を示している。
【００６７】
次に、上記サンプリング点の移動により指定点が計測点まで移動した後、ステップＳ１０５で指定点を決定し、ステップＳ１０８で指定点の位置から計測点の元画像上での位置を算出する。尚、この時サンプリング点の移動量の単位を所定の設定にする。
【００６８】
次に、ステップＳ００４では、ステップＳ００３で指定された時点の拡大画像を、左画像上に重畳して表示する。さらに、ステップＳ００５では、ステップＳ００３で指定された計測点に対応する右画像上での対応点を検索する（マッチング処理、マッチング処理工程）。尚、上述したように、右画像上での対応点の探索がＳ００３で行われる場合、Ｓ００４、Ｓ００５及びＳ００６はＳ００３に含まれることになる。
【００６９】
この検索は既存の画像のテンプレートマッチング法によって、元画像の画素間隔よりも細かい単位で行う。すなわち、左画像上で設定した計測点の位置に対応する右画像上の計測点の位置をサブピクセルマッチングによって取得する。例えば、図１３（ａ）、（ｂ）はこの処理を説明する図であり、同図（ａ）は模式図であり、同図（ｂ）はサブピクセルマッチング処理を説明する図である。
【００７０】
先ず、同図（ａ）に示す（左側）の波形は、例えば前述の処理によって指定した左画像上で計測点の位置を特定する波形である。一方、同図（ｂ）に示す波形は、右側の画像の波形であり、ステレオ画像の他方の画像の波形図である。
【００７１】
上記場合において、右画像上の計測位置を検索する場合、右画像の波形図から左画像の波形に一致する位置を探す。この場合、例えば右画像の波形を矢印方向（主走査方向）に順次調べ、左画像の波形に一致する波形の位置を探す。例えば、本例では右側波形の位置ａが対応する測定位置である。
【００７２】
本実施形態では、一致する波形の検索をピクセル単位（画素単位）で行うのではなく、補間処理を行い、ピクセル単位より詳細なサブピクセル単位で行うものである。例えば、補間を行い、１／２ピクセル単位、１／４ピクセル単位で波形比較を行うことが、より正確な計測位置の検索を行うことができる。
【００７３】
例えば、図１３（ｂ）はサブピクセル単位のマッチング処理を説明する図である。ピクセル単位の場合、例えば３点（ｂ１〜ｂ３）を基準にして作成する波形は点線で示すｂである。一方、ｂ１とｂ２間にｂ４を補間し、ｂ２とｂ３間にｂ５を補間した場合、より正確な波形Ｂを得ることができる。
【００７４】
したがって、本例は上記サブピクセルマッチングによって左画像の計測点に対応する右画像上の計測点を検索し、従来に比べてより正確な右画像上の計測点の検索処理を行うことができる。また、上記サブピクセルマッチングによって探索された右画像上の計測点に基づいて再サンプリングした右画像（第２再サンプリング画像）を表示することにより、サブピクセルマッチングによるマッチング結果を精度よく確認することができる。
【００７５】
また、上記図１３（ａ）に示す矢印方向（主走査方向）へのサブピクセルマッチング処理は、１ラインに対してのみ行うだけでなく、計測点近傍の複数のラインに対して同様に行われる。例えば、サブピクセルが１ピクセルの１／１０である場合、副走査方向の１０ライン分に対して同様のマッチング処理を行う。この場合、１画素に対して０．１の割合で詳細なマッチング処理を行うことができる。
【００７６】
また、例えばサブピクセルが１ピクセルの１／５である場合、１画素に対して０．２の割合で詳細なマッチング処理を行うことができ、サブピクセルが１ピクセルの１／２である場合、１画素に対して０．５の割合で詳細なマッチング処理を行うことができる。したがって、上記のように従来に比べてより正確な右画像上の計測点の検索処理を行うことができる。
【００７７】
このようにして検索された右画像上の計測点に対して、ステップＳ００６において、右画像上の計測点の周辺を、左画像の拡大と同様に拡大し、右画像上に重畳して表示する。 図９（ｆ）は、この時の計測画面を示している。
【００７８】
尚、これら元画像上の拡大画像の表示により、次の計測点を指定する間にも、正しく前回の計測点を確認し、右画像の対応点のマッチング結果を確認することが可能となり、計測の誤りを防ぐことが可能になる。
【００７９】
次に、ステップＳ００７で、左画面の計測点の位置を修正するか判断する。ここで、左画面の計測点の位置を修正する場合には、マウス２７を操作しで計測画面上のアイコン「←」を選択し、ステップＳ００３に戻り、計測点を再度指定する。一方、修正しない場合にはステップＳ００８に進む。
【００８０】
ステップＳ００８では、右画面の対応点の位置を修正するか判断する。そして、修正する場合には、マウス２７を操作して計測画面上のアイコン［→］を選択し、ステップＳ０１０に進み、前述の左画像上の計測点の指定と同様にして右画像上で対応点を指定する。そして、ステップＳ０１１において、右画像上の対応点の周辺を前述のステップＳ００６における処理と同様に表示する。
【００８１】
尚、ステップＳ００７及びステップＳ００８の判断に際しては、左画像の計測点と右画像の対応点の周辺の拡大画像をそれぞれ左画面と右画面に大きく表示し、正しく計測点と対応点が指定されているかを確認するようにしてもよい。
【００８２】
また、上記ステップＳ００８において、位置を修正しない場合ステップＳ０１２に進み、他の計測点を指定するか判断する。そして、指定する場合にはステップＳ００３に戻り、指定しない場合にはＳ０１３に進む。この処理では、以上で指定された計測点の位置に基づいて計測を行う。図９（ｇ）には２点間の距離を計測した場合の計測結果が含まれる計測画面が示されている。
【００８３】
図９（ｇ）に示す計測結果の例では計測単位がｍｍとなっているが、画面内の「ｍｍ」、「ｉｎｃｈ」の選択を切り換えることで計測単位を切り換えることができる。計測単位を切り換えると、計測結果の表示も設定された単位に変更される。これにより計測作業を続けながら任意のタイミングで計測単位を切り換えられる。普段使用している単位と検査マニュアルに書かれている単位が異なる場合や、設定が間違っていた場合に役立つ。尚、メニューによる設定で計測単位を変更することも可能である。
【００８４】
次に、前述の拡大画像の詳細について、図１４に示した元画像を例として説明する。図１４に示す拡大領域は、最初前述の図１５で示すように拡大される。そして、拡大のための画素数の増加には最近傍補間を使用し、指定点が２本の線の交点の中心まで移動するように、サンプリング点の移動量の単位を０．１画素に設定し、サンプリング点を左に０．５画素、下に０．５画素移動する。この処理によって、擬似サンプリング画像が線形補間で生成され、この画像の拡大画像が生成される。図１０はこの時の拡大画像である。
【００８５】
次に、疑似サンプリング点移動画像とその拡大画像が生成される原理について、図１１を用いて説明する。元画像は図１１（ａ）に示すように横６画素×縦１画素の元画像であって、中心の２画素が白、それ以外の周囲の画素が黒である。同図（ｂ）は元画像のサンプリング点における輝度を示している。
【００８６】
このサンプリング点を右に元画像の１／３画素移動すると、移動されたサンプリング点の輝度は元画像の画素から補間により計算され、サンプリング点移動画像の輝度は同図（ｃ）のようになる。サンプリング点の移動画像に対し、拡大のために画素数を増加させると輝度は同図（ｄ）のようになる。この輝度から同図（ｅ）の拡大画像が生成される。
【００８７】
次に、図１０に示す拡大画像が生成される原理について述べる。図１２は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。前述の図１４に示す元画像では、黒い線は２個のサンプリング点に跨っており、例えば拡大画像上では元画像上の太さ２の線が単純に拡大された画像となる。一方、サンプリング位置を移動すると、黒線内の２画素に跨った位置では黒となり、白と黒の境界位置では補間により灰色となる。従って、拡大画像において、指定点の位置は黒であるが、その周囲は灰色となる。
【００８８】
このように、擬似サンプリング画像の拡大画像では、指定している点の位置の色が明確である一方その周囲では指定している点から元画像における１画素分ずつ離れた色が表示されるため、指定している点とそれ以外の点の色の区別がし易くなる。そのため、元画像の画素間隔より小さい単位で所望の点を指定しやすい。
【図面の簡単な説明】
【００８９】
【図１】本実施形態の計測用内視鏡装置を説明する図である。
【図２】計測用内視鏡装置の構成を説明するブロック図である。
【図３】制御部の構成を示す図である。
【図４】リモートコントローラを説明する図である。
【図５】直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図である。
【図６】図５のＡ−Ａ断面図である。
【図７】ステレオ計測により計測点の３次元座標を求める方法を示す図である。
【図８Ａ】計測内視鏡システムによる計測の流れを説明するフローチャートである。
【図８Ｂ】計測点指定処理を説明するフローチャートである。
【図８Ｃ】拡大領域の設定処理を説明するフローチャートである。
【図８Ｄ】拡大画像の生成処理を説明するフローチャートである。
【図８Ｅ】マウスの左ボタンを押した時の処理を説明するフローチャートである。
【図８Ｆ】マウスの左ボタンを戻した時の処理を説明するフローチャートである。
【図８Ｇ】ポインタの位置移動処理を説明するフローチャートである。
【図９】（ａ）は、読み取られた左右２つの元画像を示す図であり、（ｂ）は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示す図であり、（ｃ）は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す図であり、（ｄ）は、拡大倍率を６倍に変更させた場合の計測画面を示す図であり、（ｅ）は、サンプリング点の移動量の単位を元画像の画素間隔に設定し拡大倍率を６倍に変更させた場合の計測画面を示す図であり、（ｆ）は、計測画面を示す図であり、（ｇ）は、２点間の距離を計測した場合の計測結果が含まれる計測画面を示す図である。
【図１０】線形補間で生成された拡大画像を示す図である。
【図１１】（ａ）は、横６画素×縦１画素の元画像を示す図であり、（ｂ）は、元画像のサンプリング点における輝度を示す図であり、（ｃ）は、サンプリング点移動画像の輝度を示す図であり、（ｄ）は、拡大のために画素数を増加させた場合の元画像のサンプリング点における輝度を示す図であり、（ｅ）は、（ｄ）の輝度情報から拡大画像を生成した図である。
【図１２】元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
【図１３】（ａ）、（ｂ）は、サブピクセルマッチングを説明する図である。
【図１４】計測対象の元画像の一例を示す図である。
【図１５】図１４の拡大領域の単純拡大画像を示す図である。
【符号の説明】
【００９０】
１０・・・計測用内視鏡装置
１１・・・内視鏡挿入部
１２・・・コントロールユニット
１３・・・リモートコントローラ
１４・・・液晶モニタ（ＬＣＤ）
１７・・・フェイスマウントディスプレイ（ＦＭＤ）
１８・・・ＦＭＤアダプタ
１９・・・スピーカ
２０・・・マイク
２１・・・パーソナルコンピュータ
２２・・・コンパクトフラッシュ（登録商標）メモリカード
２３・・・ＰＣＭＣＩＡメモリカード（ＰＭＣＩＡメモリカード）
２４・・・内視鏡ユニット
２５・・・カメラコントロールユニット（ＣＣＵ）
２６ａ・・ＣＰＵ
２６ｂ・・ＲＯＭ
２６ｃ・・ＲＡＭ
２７・・・マウス
２９・・・ＲＳ−２３２ｃインターフェイス（ＲＳ−２３２Ｃ Ｉ／Ｆ）
３０・・・ＰＣカードインターフェイス（ＰＣカードＩ／Ｆ）
３１・・・ＵＳＢインターフェイス（ＵＳＢ Ｉ／Ｆ）
３２・・・音声信号処理回路
３３・・・映像信号処理回路
３４、３５・・・対物レンズ系
３６・・・照明レンズ
３７・・・ステレオ光学アダプタ
３８・・・固定リング
３９・・・内視鏡先端部
４３・・・個体撮像素子
４３ａ・・・信号線
５３・・・雌ねじ
５４・・・雄ねじ
６１・・・ジョイスティック
６２・・・レバースイッチ
６３・・・フリーズスイッチ
６４・・・ストアースイッチ
６５・・・計測実行スイッチ
６６・・・拡大表示切り換え用ＷＩＤＥスイッチ
６７・・・ＴＥＬＥスイッチ
７０・・・外部映像入力端子
７５・・・ポイント制御部
７６・・・ポイント位置移動前記憶部
７７・・・ポイント位置移動後記憶部
７８・・・マウスボタン状態記憶部
７９・・・補正後ポイント位置記憶部
８０・・・インジケータ状態指示部
８１・・・サンプリング点位置記憶部
８２・・・再サンプリング処理部
８４・・・計測部
【技術分野】
【０００１】
本発明は被写体を撮像し、所定の画素間隔でデータをサンプリングして元画像とし、元画像上の特徴点を指定して計測を行う計測内視鏡システム、計測内視鏡システム用計測方法、及び計測内視鏡システム用計測プログラムに関する。
【背景技術】
【０００２】
今日、内視鏡装置は各種産業に使用され、例えば機械部品の傷や欠損等を計測する計測内視鏡装置も使用されている。このような内視鏡装置において、ユーザが元画像上の特徴点を容易に指定可能にする技術として、元画像を拡大し、該拡大画像上で特徴点の指定を行う方法が提案されている。
【０００３】
特許文献１には、元画像上の計測点を指定する技術として、元画像を拡大し、拡大画像上で計測点の指定を行う方法が提案されている。この方法は、拡大画像上の画素の中から計測点に対応する画素を選択して指定し、指定された画素に対応する元画素の位置に基づいて計測を行う。さらに、指定された計測点の元画像上での位置は、拡大倍率の逆数単位で算出することができる。従って、この様に算出された位置に基づいて、元画像の画素間隔よりも細かい単位の計測を行うことも可能である。
【０００４】
例えば、図１４は被写体の元画像を示し、元画像では背景が白であり、太さが２画素である２本の黒い線が直角に交わっている。特徴点は２本の線の交点の中心とし、この点を含む領域を拡大する拡大領域としている。図１５は拡大領域を示す。そして、拡大画像上には指定点を示す＋印が表示され、図１５に示すように拡大画像上で特徴点を指定し、指定された拡大画像上の画素に対応する元画像上の画素の位置に基づいて演算を行っている。
【特許文献１】特開平４−３３２５２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来方法においては、計測対象物のステレオ画像を取得した場合、例えば左画像の計測位置を計測した後、右画像の計測位置の取得は、ピクセル単位の画像マッチングによって行われていた。すなわち、左画像の計測位置に対応する右画像上の計測位置をピクセルマッチングによって検索していた。このため、計測位置の検索精度が充分でなく、また、検索精度の確認も困難であった。
【０００６】
そこで、本発明はサブピクセルマッチングによって、一方の画像上の計測位置に対応する他方の画像上の計測位置を検索し、短時間で正確な計測位置の取得が可能な計測内視鏡システム、計測内視鏡システム用計測方法、及び計測内視鏡システム用計測プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
上記課題は本発明によれば、観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得手段と、この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理手段と、この第１再サンプリング画像に基づいて計測位置を指定する計測位置指定手段と、この計測位置指定手段によって指定された前記計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理手段と、を有し、前記再サンプリング処理手段は、このマッチング処理手段によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成する計測内視鏡システムを提供することによって達成できる。
【発明の効果】
【０００８】
本発明によれば、一方の画像上の計測点に対応する他方の画像上の計測点の位置を検索する際、画素間隔より小さい小数点の単位の画像情報に対応してマッチングを行い、他方の画像上の計測点の位置を正確に指定し、他方の画像上の計測点の位置もサブピクセル単位で表示可能な計測内視鏡システムを提供するものである。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を図面を参照しながら説明する。
尚、本実施形態の説明では、計測内視鏡システムとしてステレオ計測可能な計測内視鏡システムを例に挙げ、指定点としてはステレオ計測の対象である計測点としている。
【００１０】
図１〜図１３は本実施形態に係わり、図１は計測内視鏡システムを説明する図であり、図２は計測内視鏡システムの構成を説明するブロック図であり、図３は計測内視鏡システムの制御を説明する機能ブロック図であり、図４はリモートコントローラを説明する図であり、図５は直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図であり、図６は図５のＡ−Ａ断面図であり、図７はステレオ計測により計測点の３次元座標を求める方法を説明する図であり、図８は計測内視鏡システムによる計測の流れを説明するフローチャートであり、図９は図１の計測内視鏡システムのステレオ計測実行画面を示す説明図であり、図１０は疑似サンプリング画像の拡大画像を示す図であり、図１１はサンプリング点移動画像とその拡大画像が生成される原理を説明する図であり、図１２は元画像におけるサンプリング点と移動されたサンプリング点を示す図であり、図１３はサブピクセルマッチングの手法を説明する図である。
【００１１】
先ず、計測内視鏡システム１０は、図１に示すようにステレオ計測可能なものを含む光学アダプタを着脱自在に構成された内視鏡挿入部１１と、該内視鏡挿入部１１を収納するコントロールユニット１２と、計測内視鏡システム１０のシステム全体の各種動作制御を実行するために必要な操作を行うリモートコントローラ１３と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う液晶モニタ（以下、ＬＣＤと記載）１４と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ（以下，ＦＭＤと記載）１７と、該ＦＭＤ１７に画像データを供給するＦＭＤアダプタ１８と、コントロールユニット１２に接続されるマウス２７を含んで構成されている。
【００１２】
次に、図２を参照しながら計測内視鏡システム１０のシステム構成を詳細に説明する。同図に示すように、前記内視鏡挿入部１１は、内視鏡ユニット２４に接続される。この内視鏡ユニット２４は、例えは図１に示したコントロールユニット１２内に搭載されている。また、この内視鏡ユニット２４は、撮影時に必要な照明光を得るための光源装置と、前記内視鏡挿入部１１を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。また、内視鏡挿入部１１先端の固体撮像素子４３（撮像手段）（図６参照）からの撮像信号は、カメラコントロールユニット（以下、ＣＣＵと記載）２５に入力される。
【００１３】
該ＣＣＵ２５は、供給された撮像信号をＮＴＳＣ信号等の映像信号に変換し、前記コントロールユニット１２内の主要処理回路群へと供給する。
前記コントロールユニット１２内に搭載された主要回路群は、図２に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うＣＰＵ２６ａ、ＲＯＭ２６ｂ、ＲＡＭ２６ｃ、及びＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと記載）３０、ＵＳＢインターフェイス（以下、ＵＳＢ Ｉ／Ｆと記載）３１、ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２Ｃ Ｉ／Ｆと記載）２９、音声信号処理回路３２、及び映像信号処理回路３３（画像取得手段）とを含んで構成されている。
【００１４】
また、前記ＲＳ−２３２Ｃ Ｉ／Ｆ２９は、ＣＣＵ２５、内視鏡ユニット２４、及びリモートコントローラ１３にそれぞれ接続されている。リモートコントローラ１３（計測位置指定手段）は、ＣＣＵ２５、内視鏡ユニット２４の制御及び動作指示、若しくは後述するポインタの位置移動の制御を行うためのものである。また、ＲＳ−２３２Ｃ Ｉ／Ｆ２９は、リモートコントローラ１３による操作に基づいてＣＣＵ２５、内視鏡ユニット２４を動作制御するために必要な通信を行う構成である。
【００１５】
前記ＵＳＢ Ｉ／Ｆ３１は、前記コントロールユニット１２とマウス２７（計測位置指定手段）とを電気的に接続するためのインターフェイスである。前記ＵＳＢ Ｉ／Ｆ３１を介して前記コントロールユニット１２とマウス２７とを接続した場合には、マウス２７の後述する操作によって操作信号がＣＰＵ２６ａに送られ、後述するポインタの位置移動が制御される。
【００１６】
また、前記ＰＣカードＩ／Ｆ３０は、ＰＣＭＣＩＡメモリカード２３、及びコンパクトフラッシュ（登録商標）メモリカード２２が着脱自由に接続される構成である。つまり、前記いずれかのメモリカードが装着された場合、コントロールユニット１２は、記録媒体としてのメモリカードに記憶された制御処理情報や画像情報等のデータを再生し、前記ＰＣカードＩ／Ｆ３０を介してコントロールユニット１２内に取り込み、或いは制御処理情報や画像情報等のデータを、前記ＰＣカードＩ／Ｆ３０を介してメモリカードに供給して記録することができる。
【００１７】
前記映像信号処理回路３３は、ＣＣＵ２５から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、ＣＣＵ２５からの映像信号とＣＰＵ２６ａの制御により生成される操作メニューに基づく表示信号とを合成処理し、更にＬＣＤ１４の画面上に表示するために必要な処理を施してＬＣＤ１４に供給する。これにより、ＬＣＤ１４には内視鏡画像と操作メニューとの合成画像が表示される。
【００１８】
尚、映像信号処理回路３３では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。
また、図１に示したコントロールユニット１２は、前記ＣＣＵ２５を経由せずに映像信号処理回路３３に映像を入力する外部映像入力端子７０を別に設けている。該外部映像入力端子７０に映像信号が入力された場合、映像信号処理回路３３はＣＣＵ２５からの内視鏡画像に優先して前記合成画像を出力する。
【００１９】
前記音声信号処理回路３２は、マイク２０により集音されて生成され、メモリカード等の記録媒体に記録する音声信号、或いはメモリカード等の記録媒体の再生によって得られた音声信号、上記ＣＰＵ２６ａによって生成された音声信号が供給される。前記音声信号処理回路３２は、供給された音声信号に再生するために必要な処理（増幅処理等）を施し、スピーカ１９に出力する。これにより、スピーカ１９によって音声信号が再生される。
【００２０】
図３は上記ＲＯＭ２６ｂに記憶されたプログラムに従って、ＣＰＵ２６ａが行う処理を説明する機能ブロック図である。ポインタ制御部７５、ポインタ位置移動前記憶部７６、ポインタ位置移動後記憶部７７、マウスボタン状態記憶部７８、補正後ポインタ位置記憶部７９、インジケータ状態指示部８０、サンプリング点位置記憶部８１、再サンプリング処理部８２（再サンプリング処理手段）、サンプリング点移動画像表示処理部８３、及び計測部８４（マッチング処理手段）で構成される。計測部８４は後述する三角測量の原理により、左画像上及び右画像上の計測位置のいくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状など様々な計測が可能である。また、左画像上にリモートコントローラ１３又はマウス２７によって入力された計測点に対応する右画像上の計測点をマッチング処理によって求める。
【００２１】
ここで、ポインタ制御部７５や、再サンプリング処理部８２、サンプリング点移動画像表示処理部８３、計測部８４はＣＰＵ２６ａの処理に対応し、ポインタ位置移動前記憶部７６や、ポインタ位置移動後記憶部７７、マウスボタン状態記憶部７８等は記憶手段であるＲＡＭ２６ｃに対応し、ＣＰＵ２６ａはＲＯＭ２６ｂのプログラムに従ってポインタ位置の移動制御を行う。尚、ＣＰＵ２６ａは、勿論上記ポインタ位置の移動制御以外、計測内視鏡システムのシステム制御もＲＯＭ２６ｂに記憶されたプログラムに従って実行する。
【００２２】
また、図２ではＵＳＢ Ｉ／Ｆ３１にマウス２７が接続されているが、この構成に限らず、不図示のパーソナルコンピュータ（電子計算機）をＵＳＢ Ｉ／Ｆ３１に接続してもよい。このとき、ＣＰＵ２６ａの処理をパーソナルコンピュータのＣＰＵ（演算手段）が処理する構成としてもよい。また、計測内視鏡システム１０とパーソナルコンピュータとの接続はＵＳＢ Ｉ／Ｆ３１に限らず、不図示の無線又は有線タイプのネットワークＩ／Ｆによる接続する構成としてもよい。
【００２３】
また図２では計測内視鏡システム１０を内視鏡装置で図示しているが、これに限らず、例えば、パーソナルコンピュータのＣＰＵが映像信号処理回路３３（画像取得手段）の機能を有し、ＰＣＭＣＩＡメモリカード２３、又はコンパクトフラッシュ（登録商標）メモリカード２２に記録された撮像信号を読み出して以降の処理を行う構成としてもよい。
【００２４】
ポインタ位置移動前記憶部７６にはマウス２７を操作する前のポインタ位置の情報が記憶され、ポインタ位置移動後記憶部７７には後述するイベント発生時、マウス２７の操作に基づくポインタの位置が記憶される。また、ポインタ制御部７５はイベント発生毎に上記ポインタ位置移動前記憶部７６に記憶されたポインタ位置と、ポインタ位置移動後記憶部７７に記憶されたポインタ位置の情報に基づいてポインタ移動後の位置を計算し、後述する一定の値（Ｒ値）で割り算したデータを不図示のレジスタに保持する。
【００２５】
補正後ポインタ位置記憶部７９には、マウス２７のボタン操作の停止に基づく補正値の計算結果が記憶され、上記レジスタに保持したデータに基づいて補正値が計算され、補正後のポインタ位置の情報が記憶される。
【００２６】
計測部８４は、上記処理によって設定された左画像におけるサンプリング点の位置に基づいてこのサンプリング点に対応した右画像のサンプリング点をマッチング処理によって求める。
【００２７】
サンプリング点位置記憶部８１は、上記マッチング処理によって設定された左画像及び右画像のサンプリング点の位置を記憶する。また、再サンプリング処理部８２はサンプリング点位置記憶部８１によって記憶されたサンプリング点に基づいて左画像及び右画像の再サンプリングを行う際の処理部であり、サンプリング点移動画像表示処理部８３は上記サンプリング点に基づいて再サンプリングされた左画像及び右画像をディスプレイに表示する。尚、計測部８４は、マウス２７のボタン操作の停止前に随時上記マッチング処理を行ってもよい。また、計測部８４は、マッチング処理を行う前にサンプリング点位置記憶部８１が左画像のサンプリング点を記憶し、再サンプリング処理部８２及びサンプリング点移動画像表示処理部８３によって左画像が再サンプリングされて表示された後に右画像のサンプリング点を求めてもよい。
【００２８】
前記リモートコントローラ１３は、図４に示すようにジョイスティック６１、レバースイッチ６２、フリーズスイッチ６３、ストアースイッチ６４、計測実行スイッチ６５、及び拡大表示切り換え用ＷＩＤＥスイッチ６６、ＴＥＬＥスイッチ６７を併設して構成されている。
【００２９】
前記リモートコントローラ１３において、ジョイスティック６１は内視鏡先端部の湾曲動作を行うスイッチであり、３６０度の何れの方向にも自在に操作指示を与たり、真下に押下することで湾曲動作の微調整の指示等を与えることが可能である。また、ジョイスティック６１は後述するステレオ計測における計測点指定の指示に使用することもできる。
【００３０】
次に、本実施の形態の計測内視鏡装置１０に用いられる光学アダプタの一種であるステレオ光学アダプタの構成を図５と図６を参照しながら説明する。
図５及び図６はステレオ光学アダプタ３７を内視鏡先端部３９に取り付けた状態を示しており、該ステレオ光学アダプタ３７は、固定リング３８の雌ねじ５３により内視鏡先端部３９の雄ねじ５４と螺合することによって固定される構成である。
【００３１】
また、ステレオ光学アダプタ３７の先端には、一対の照明レンズ３６と２つの対物レンズ系３４、３５が設けられている。２つの対物レンズ系３４、３５は、内視鏡先端部３９内に配設された撮像素子４３上に２つの画像を結像する。そして、撮像素子４３により得られた撮像信号は、電気的に接続された信号線４３ａ、及び図２に示す内視鏡ユニット２４を介してＣＣＵ２５に供給され、該ＣＣＵ２５により映像信号に変換された後に映像信号処理回路３３に供給される。尚、映像信号は輝度値または輝度値と色差値を含む。また、ＣＣＵ２５に供給される撮像信号によって生成される画像を元画像と呼ぶ。
【００３２】
次に、図７を参照して、ステレオ計測による計測点の３次元座標の求め方を説明する。左側及び右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、計測点の３次元座標を（Ｘ，Ｙ，Ｚ）とする。但し、（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）の原点は、それぞれ左側及び右側の光学系における光軸と、撮像素子４３の交点であり、（Ｘ，Ｙ，Ｚ）の原点は左側及び右側の光学中心の中間点である。左側と右側の光学中心の距離をＤ、焦点距離をＦとすると、三角測量の方法により、
Ｘ＝ｔ×ＸＲ ＋Ｄ／２
Ｙ＝ｔ×ＹＲ
Ｚ＝ｔ×Ｆ
ただし、ｔ＝Ｄ／（ＸＬ−ＸＲ）となる。
【００３３】
このように、元画像上の計測点の座標が決定されると、既知のパラメータＤ及びＦを用いて計測点の３次元座標が求まる。そして、いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状など様々な計測が可能である。
【００３４】
以上の構成の計測内視鏡システムにおいて、以下に図８〜図１３を用いて計測内視鏡システムの処理動作を説明する。ここで、図８Ａ〜８Ｇはステレオ計測のフローチャートを示し、図９はステレオ計測画面を示す図である。また、図９の画像は、例えば航空機のエンジン部品であるタービンブレードに欠けが生じた例を示しており、欠けの最も外側の幅を計測する場合の計測画面を示している。
【００３５】
先ず、マウス２７を操作し、図８Ａに示す計測フローのステップＳ００１により、画素単位でサンプリングして読み取った画像を元画像として取得し（画像取得処理、画像取得工程）、ステップＳ００２で表示装置に表示する。図９（ａ）は読み取られた左右２つの元画像（第１画像、第２画像）と、計測の操作を指示するアイコンと、マウス２７で位置が指定されるポインタからなる計測画面を示す。
【００３６】
次に、ステップＳ００３において左画像上で計測点を指定する。この計測点の指定は、図８Ｂに示す計測点指定フローにより実行する。先ず、ステップＳ１０１において、元画像上で拡大対象となる拡大領域を設定する。この拡大領域の設定は、更に図８Ｃに示す拡大領域設定フローにより実行する。
【００３７】
すなわち、ステップＳ５０１でマウス２７を操作し、元画像上の計測点付近の位置を指定し、ステップＳ５０２で拡大画像表示指示を行い、ステップＳ５０３で拡大領域を決定する。本例では、拡大領域はマウス２７に指定された位置を中心とする所定の範囲の領域とする。
【００３８】
次に、ステップＳ１０２において、拡大画像（第１再サンプリング画像）を生成する（再サンプリング処理、再サンプリング処理工程）。この拡大画像の生成は、図８Ｄに示すフローに従って実行される。先ず、ステップＳ６０１で、拡大領域内のサンプリング点の位置に基づいて画像を生成する。拡大領域内のサンプリング点の位置は、最初は元画像取得時におけるサンプリングの位置であり、後述のステップＳ１０７で移動される。
【００３９】
ここで、拡大領域のサンプリング点の位置が移動された場合、元画像取得時のサンプリングの位置からずれるため、元画像上の画素から補間によって画像を生成する。この場合のサンプリング点を擬似サンプリング点とし、このステップＳ６０１で生成される画像を擬似サンプリング画像とする。
【００４０】
次に、ステップＳ６０２でマウス２７の操作により、例えば押下回数から拡大倍率を設定し、ステップＳ６０３で擬似サンプリング画像の画素数を補間により拡大倍率分だけ増加させることで、拡大画像を生成する。補間方法は、最近傍補間、線形補間、双３次補間などを使用する。
【００４１】
次に、ステップＳ１０３において、拡大画像を大きさと位置を決定して表示する。尚、表示位置は元画像に重畳することも可能であり、この場合、拡大画像の表示位置を元画像の拡大領域から常に所定の距離以上離れた位置とすることで、拡大領域及びその付近が表示されなくならないようにする。
【００４２】
次に、ステップＳ１０４では、拡大画像上において指定点となる画素を選択する。そして、選択された画素上には指定点を示すカーソルを表示する。尚、指定点となる画素は拡大画像上の所定の固定位置でもよい。
【００４３】
図９（ｂ）は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示している。この計測画面には画面中央に拡大画像と指定点を示すカーソルが表示される。拡大画像の右及び下には、それぞれ指定点から垂直方向及び水平方向の画素の輝度を示すグラフが表示され、指定点とその周辺の輝度を確認することができる。また、拡大倍率が３倍であることを示す「３ｘ」が表示される。
【００４４】
次に、ステップＳ１０５において、上記指定点によって計測点が指定されているか判断する。ここで、計測点の指定がされていなければ、ステップＳ１０６に進み、指定されていればステップＳ１０８に進む。
【００４５】
ステップＳ１０６ではサンプリング点を移動するか判断する。拡大画像上に計測点が存在し、サンプリング点と計測点が一致しているためにサンプリング点を移動する必要がなければ、ステップＳ１０４に移り、表示されている計測点を指定点として選択する。
【００４６】
拡大画像上に計測点が存在するが、サンプリング点と計測点が一致せずサンプリング点を移動する必要がある場合や、拡大画像上に計測点が存在しない場合はステップＳ１０７に移る。このステップＳ１０７では、拡大画像上の指定点により計測点が指定されるように、サンプリング点を移動する。このサンプリング点の移動は、図８Ｅ〜８Ｇに示すフローに従って行われる。
【００４７】
すなわち、図８Ｅに示すステップＳ７０１でマウス２７のボタンを押すと、画面上のポインタ初期位置Ｐ０が検出される。次に、ステップＳ７０２において、ポインタＰの初期位置をＰ０とし、前述のポインタ制御部７５内のレジスタＰ．ｓｘ及びＰ．ｓｙ（第１変数、第２変数）を初期値０に設定する。その後、マウス２７を上下左右に操作し、後述するイベント毎にマウス２７の操作に従って移動するポインタの位置を補正し、マウス２７のボタンを離すと、図８ＦのステップＳ７０３に示すように、補正されたポインタ位置が計測点とされる。尚、上記マウスボタンの操作状態は、前述のマウスボタン状態記憶部７８に記憶されている。
【００４８】
この間の処理を具体的に説明する図が、図８Ｇに示すフローチャート（計測位置指定処理、計測位置指定工程）である。この処理はマウス処理のイベントが発生する毎に同図に示すフローが実行される。すなわち、マウス２７が操作されると（マウス処理のイベントが発生すると）、ステップＳ９０１の判断において、先ずマウス２７のボタン（左ボタン）が押下されているか判断する（ステップＳ９０１）。ここで、マウス２７のボタン操作が行われておらず（ステップＳ９０１がＮｏ）、コントロールキーも操作されていない場合（ステップＳ９２１がＮｏ）、前述のポインタの初期位置Ｐ０をカレントポジション（サンプル画像上の位置）Ｐとし、レジスタＰ．ｓｘ及びＰ．ｓｙを初期値０に設定し（ステップＳ９２２、Ｓ９２３）、ファインモードの表示も行わない（ステップＳ９２４）。
【００４９】
一方、マウス２７のボタン（左ボタン）が押下されていると（ステップＳ９０１がＹｅｓ）、ステップＳ９０２においてインジケータをファインモードとする。この処理は、前述のポインタ制御部７５（ＣＰＵ２６ａ）の制御に基づいて、インジケータ状態指示部８０がディスプレイに「Ｆ」アイコンを表示する処理である（図９（ｃ）を参照）。
【００５０】
次に、ステップＳ９０３において、画面上のポインタの位置をＰ１とし、前述のポインタ位置移動後記憶部７７にＰ１の位置情報を記録する。この時、マウス２７はボタン操作が行われた状態で移動しており、例えばマウス２７が右方向（Ｘ軸方向）に移動した場合、移動前のポインタの初期位置Ｐ０のｘ値（例えば、Ｐ０．ｘ）は上記ポインタ位置移動前記憶部７６に記録されており、移動後のポインタ位置Ｐ１のｘ値（例えば、Ｐ１．ｘ）はポインタ位置移動後記憶部７７に記録されている。
【００５１】
この場合、マウス２７は右方向に移動しているので、Ｐ１のｘ値（Ｐ１．ｘ）は移動前のポインタ位置Ｐ０のｘ値（Ｐ０．ｘ）より大きい値である。したがって、ステップＳ９０４がＹＥＳとなり、ステップＳ９０５において、ポインタ制御部７５内に設定されたレジスタＰ．ｓｘの値を＋１する。尚、この場合、マウス２７は右方向に移動したものであり、マウス２７を左方向や垂直方向（Ｙ方向）には移動していないので、ステップＳ９０６、Ｓ９０８、Ｓ９１０はＮＯである。
【００５２】
上記の例では、次のステップＳ９１２の判断もＮＯであり、更にステップＳ９１３において、レジスタＰ．ｓｘの値がＲに等しいか判断する。ここで、Ｒは予め設定した一定の値（第１閾値、第２閾値）であり、元画素に対して詳細にポインタを移動するための比率を示す。ＲはＸ軸方向、Ｙ軸方向にそれぞれ設定してもよいし、同一の値に設定してもよい。以下、ＲはＸ軸方向、Ｙ軸方向共に同一の値とする。ここで、例えばＲの値が「１０」に設定されているとすれば、上記最初の処理では、レジスタＰ．ｓｘの値は「１」であり、上記判断はＮＯである。
【００５３】
その後、マウス２７の右方向への移動において、次のマウス処理のイベントが発生すると、ポインタ位置Ｐ１のｘ値（Ｐ１．ｘ）は、前述と同様、前のポインタ位置Ｐ０のｘ値（Ｐ０．ｘ）より大きい値であり（ステップＳ９０４がＹＥＳ）、ステップＳ９０５において、再度レジスタＰ．ｓｘの値を＋１する。尚、この場合も、マウス２７を左方向や、垂直方向に移動していないので、ステップＳ９０６、Ｓ９０８、Ｓ９１０はＮＯである。
【００５４】
次に、ステップＳ９１２の判断もＮＯであり、更にステップＳ９１３において、上記と同様レジスタＰ．ｓｘの値がＲに等しいか判断される。ここで、前述のように、Ｒの値が「１０」に設定されている場合、上記判断もＮＯである。
【００５５】
また、マウス２７がＹ方向（垂直方向）に移動していないので、ステップＳ９１６、及びＳ９１８もＮＯであり、更にステップＳ９２０において、画面上のポインタ位置（Ｐ０）は、初期位置Ｐのままである。
【００５６】
この状態で、例えばマウス２７のボタン操作を止めると、前述の図８ＦのステップＳ７０３の処理に従って、レジスタＰ．ｓｘの値（例えば、この時「２」）が前述のＲ（１０）によって割り算され、補正値０．２（２／１０）が計算される。この場合、補正値は１画素（１．０）に満たないため、補正後ポインタ位置記憶部７９のポインタ位置情報はそのままである。例えば、ポインタの初期位置Ｐ（Ｘ，Ｙ）が、（１００，１００）であれば、補正後のポインタの位置も同じ（１００，１００）である。尚、上記例ではＸ方向について説明したが、Ｙ方向についても同様に計算される。
【００５７】
その後、マウス２７を右に移動する処理を継続すると、イベントが発生する毎にレジスタＰ．ｓｘの値が順次＋１され、ステップＳ９１３において、レジスタＰ．ｓｘの値がＲの値（例えば、「１０」）に一致すると（ステップＳ９１３がＹＥＳ）、ステップＳ９１５において、ポインタのＸ座標位置（Ｐ．ｘ）が（Ｐ．ｘ＋１）に更新される（（Ｐ．ｘ）を（Ｐ．ｘ＋１）に更新する）。尚、この時レジスタＰ．ｓｘの値は「０」にリセットされる。
【００５８】
この状態で、例えばマウス２７のボタン操作を止めると、前述と同様ステップＳ７０３の処理に従って、レジスタＰ．ｓｘの値（例えば、この時「１０」）が前述のＲ（１０）によって割り算され、補正値１．０（１０／１０）が計算される。この場合、補正後ポインタ位置記憶部７９のポインタ位置情報は、上記例の場合、（１０１，１００）となる。
【００５９】
以後、マウス処理のイベントが発生する毎に上記処理が繰り返され、マウス２７を右方向に操作している場合には、順次レジスタＰ．ｓｘが＋１され（ステップＳ９０５）、上記例ではマウス２７の移動に対して１／Ｒ（「１０」）の割合でポインタの位置を移動することができる。
【００６０】
上記処理は、マウス２７を水平に右方向に移動させた場合であるが、マウス２７を水平に左方向に移動させた場合も同様であり、またマウス２７を垂直方向（Ｙ方向）に移動させた場合も同様である。
【００６１】
例えば、マウス２７を左方向に移動させている間、マウス処理のイベントが発生すると、ステップＳ９０７がＹＥＳとなり、レジスタＰ．ｓｘの値を−１する（ステップＳ９０７）。また、上方向にマウス２７を移動させている間、マウス処理のイベントが発生すると、ステップＳ９０８がＹＥＳとなり、ポインタ制御部７５にある不図示のレジスタＰ．ｓｙの値を−１し（ステップＳ９０９）、同様に下方向にマウス２７を移動させている間、マウス処理のイベントが発生すると、ステップＳ９１０がＹＥＳとなり、レジスタＰ．ｓｙを＋１する（ステップＳ９１１）。
【００６２】
この間、前述のＲの値とレジスタＰ．ｓｘの値、又はＲの値とレジスタＰ．ｓｙの値の一致判断が行われ、レジスタＰ．ｓｘの値がＲの値に一致すれば前述のようにポインタ位置の更新処理が行われ（ステップＳ９１５）、レジスタＰ．ｓｙの値がＲの値に一致すれば、ステップＳ９１８によって一致判断が行われ、ステップＳ９１９において、ポインタのＹ座標位置（Ｐ．ｙ）を（Ｐ．ｙ＋１）に更新する（（Ｐ０．ｙ）を（Ｐ０．ｙ＋１）に更新する）。尚、この時レジスタＰ．ｓｙの値は「０」にリセットされる。
【００６３】
また、マウス２７を右方向に移動させた後、左方向に移動させる場合もあり、このような場合、レジスタＰ．ｓｘの値はイベントが発生する毎に＋１され、１→２→３→・・・と順次大きくなるが、移動方向を左に変更した後イベントが発生すると、レジスタＰ．ｓｘの値は順次減算される（ステップＳ９０６がＹＥＳ、ステップＳ９０７）。この場合、レジスタＰ．ｓｘの値が０より小さくなると（ステップＳ９１２がＹＥＳ）、ポインタのＸ座標位置（Ｐ．ｘ）が（Ｐ．ｘ−１）に更新される（ステップＳ９１４）。
【００６４】
また、同様にマウス２７を上方向に移動させた後、下方向に移動させる場合もあり、この場合、レジスタＰ．ｓｙの値はイベントが発生する毎に＋１され、１→２→３→・・・と順次大きくなるが、移動方向を下に変更した後イベントが発生すると、レジスタＰ．ｓｙの値は順次減算される（ステップＳ９１０がＹＥＳ、ステップＳ９１１）。この場合、レジスタＰ．ｓｙの値が０より小さくなると（ステップＳ９１６がＹＥＳ）、ポインタのＹ座標位置（Ｐ．ｙ）が（Ｐ．ｙ−１）に更新される（ステップＳ９１７）。
【００６５】
上記ポインタの位置は、マウス２７のボタン操作を止める毎に計算され、補正処理が行われたポインタの位置情報は補正後ポインタ位置記憶部７９に記録される。
尚、マウス２７を斜め右上方向や斜め右下方向、斜め左上方向や斜め左下方向に移動する場合も、対応するレジスタＰ．ｓｘ及びＰ．ｓｙが同時に更新され、前述と同様ポインタ位置をマウス２７の移動方向に詳細に移動させることができる。
【００６６】
以上のようにして、サンプリング点の位置が移動されると（ステップＳ１０７）、これに伴って拡大領域も移動する。サンプリング点の移動後、ステップＳ１０２に移り、再度拡大画像を生成し表示する。図９（ｃ）は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す。また、同図（ｄ）は、拡大倍率を６倍に変更させた場合の計測画面を示している。さらに、同図（ｅ）はサンプリング点の移動量の単位を元画像の画素間隔に設定し、同図（ｄ）の状態からサンプリング点を移動させた場合の計測画面を示している。
【００６７】
次に、上記サンプリング点の移動により指定点が計測点まで移動した後、ステップＳ１０５で指定点を決定し、ステップＳ１０８で指定点の位置から計測点の元画像上での位置を算出する。尚、この時サンプリング点の移動量の単位を所定の設定にする。
【００６８】
次に、ステップＳ００４では、ステップＳ００３で指定された時点の拡大画像を、左画像上に重畳して表示する。さらに、ステップＳ００５では、ステップＳ００３で指定された計測点に対応する右画像上での対応点を検索する（マッチング処理、マッチング処理工程）。尚、上述したように、右画像上での対応点の探索がＳ００３で行われる場合、Ｓ００４、Ｓ００５及びＳ００６はＳ００３に含まれることになる。
【００６９】
この検索は既存の画像のテンプレートマッチング法によって、元画像の画素間隔よりも細かい単位で行う。すなわち、左画像上で設定した計測点の位置に対応する右画像上の計測点の位置をサブピクセルマッチングによって取得する。例えば、図１３（ａ）、（ｂ）はこの処理を説明する図であり、同図（ａ）は模式図であり、同図（ｂ）はサブピクセルマッチング処理を説明する図である。
【００７０】
先ず、同図（ａ）に示す（左側）の波形は、例えば前述の処理によって指定した左画像上で計測点の位置を特定する波形である。一方、同図（ｂ）に示す波形は、右側の画像の波形であり、ステレオ画像の他方の画像の波形図である。
【００７１】
上記場合において、右画像上の計測位置を検索する場合、右画像の波形図から左画像の波形に一致する位置を探す。この場合、例えば右画像の波形を矢印方向（主走査方向）に順次調べ、左画像の波形に一致する波形の位置を探す。例えば、本例では右側波形の位置ａが対応する測定位置である。
【００７２】
本実施形態では、一致する波形の検索をピクセル単位（画素単位）で行うのではなく、補間処理を行い、ピクセル単位より詳細なサブピクセル単位で行うものである。例えば、補間を行い、１／２ピクセル単位、１／４ピクセル単位で波形比較を行うことが、より正確な計測位置の検索を行うことができる。
【００７３】
例えば、図１３（ｂ）はサブピクセル単位のマッチング処理を説明する図である。ピクセル単位の場合、例えば３点（ｂ１〜ｂ３）を基準にして作成する波形は点線で示すｂである。一方、ｂ１とｂ２間にｂ４を補間し、ｂ２とｂ３間にｂ５を補間した場合、より正確な波形Ｂを得ることができる。
【００７４】
したがって、本例は上記サブピクセルマッチングによって左画像の計測点に対応する右画像上の計測点を検索し、従来に比べてより正確な右画像上の計測点の検索処理を行うことができる。また、上記サブピクセルマッチングによって探索された右画像上の計測点に基づいて再サンプリングした右画像（第２再サンプリング画像）を表示することにより、サブピクセルマッチングによるマッチング結果を精度よく確認することができる。
【００７５】
また、上記図１３（ａ）に示す矢印方向（主走査方向）へのサブピクセルマッチング処理は、１ラインに対してのみ行うだけでなく、計測点近傍の複数のラインに対して同様に行われる。例えば、サブピクセルが１ピクセルの１／１０である場合、副走査方向の１０ライン分に対して同様のマッチング処理を行う。この場合、１画素に対して０．１の割合で詳細なマッチング処理を行うことができる。
【００７６】
また、例えばサブピクセルが１ピクセルの１／５である場合、１画素に対して０．２の割合で詳細なマッチング処理を行うことができ、サブピクセルが１ピクセルの１／２である場合、１画素に対して０．５の割合で詳細なマッチング処理を行うことができる。したがって、上記のように従来に比べてより正確な右画像上の計測点の検索処理を行うことができる。
【００７７】
このようにして検索された右画像上の計測点に対して、ステップＳ００６において、右画像上の計測点の周辺を、左画像の拡大と同様に拡大し、右画像上に重畳して表示する。 図９（ｆ）は、この時の計測画面を示している。
【００７８】
尚、これら元画像上の拡大画像の表示により、次の計測点を指定する間にも、正しく前回の計測点を確認し、右画像の対応点のマッチング結果を確認することが可能となり、計測の誤りを防ぐことが可能になる。
【００７９】
次に、ステップＳ００７で、左画面の計測点の位置を修正するか判断する。ここで、左画面の計測点の位置を修正する場合には、マウス２７を操作しで計測画面上のアイコン「←」を選択し、ステップＳ００３に戻り、計測点を再度指定する。一方、修正しない場合にはステップＳ００８に進む。
【００８０】
ステップＳ００８では、右画面の対応点の位置を修正するか判断する。そして、修正する場合には、マウス２７を操作して計測画面上のアイコン［→］を選択し、ステップＳ０１０に進み、前述の左画像上の計測点の指定と同様にして右画像上で対応点を指定する。そして、ステップＳ０１１において、右画像上の対応点の周辺を前述のステップＳ００６における処理と同様に表示する。
【００８１】
尚、ステップＳ００７及びステップＳ００８の判断に際しては、左画像の計測点と右画像の対応点の周辺の拡大画像をそれぞれ左画面と右画面に大きく表示し、正しく計測点と対応点が指定されているかを確認するようにしてもよい。
【００８２】
また、上記ステップＳ００８において、位置を修正しない場合ステップＳ０１２に進み、他の計測点を指定するか判断する。そして、指定する場合にはステップＳ００３に戻り、指定しない場合にはＳ０１３に進む。この処理では、以上で指定された計測点の位置に基づいて計測を行う。図９（ｇ）には２点間の距離を計測した場合の計測結果が含まれる計測画面が示されている。
【００８３】
図９（ｇ）に示す計測結果の例では計測単位がｍｍとなっているが、画面内の「ｍｍ」、「ｉｎｃｈ」の選択を切り換えることで計測単位を切り換えることができる。計測単位を切り換えると、計測結果の表示も設定された単位に変更される。これにより計測作業を続けながら任意のタイミングで計測単位を切り換えられる。普段使用している単位と検査マニュアルに書かれている単位が異なる場合や、設定が間違っていた場合に役立つ。尚、メニューによる設定で計測単位を変更することも可能である。
【００８４】
次に、前述の拡大画像の詳細について、図１４に示した元画像を例として説明する。図１４に示す拡大領域は、最初前述の図１５で示すように拡大される。そして、拡大のための画素数の増加には最近傍補間を使用し、指定点が２本の線の交点の中心まで移動するように、サンプリング点の移動量の単位を０．１画素に設定し、サンプリング点を左に０．５画素、下に０．５画素移動する。この処理によって、擬似サンプリング画像が線形補間で生成され、この画像の拡大画像が生成される。図１０はこの時の拡大画像である。
【００８５】
次に、疑似サンプリング点移動画像とその拡大画像が生成される原理について、図１１を用いて説明する。元画像は図１１（ａ）に示すように横６画素×縦１画素の元画像であって、中心の２画素が白、それ以外の周囲の画素が黒である。同図（ｂ）は元画像のサンプリング点における輝度を示している。
【００８６】
このサンプリング点を右に元画像の１／３画素移動すると、移動されたサンプリング点の輝度は元画像の画素から補間により計算され、サンプリング点移動画像の輝度は同図（ｃ）のようになる。サンプリング点の移動画像に対し、拡大のために画素数を増加させると輝度は同図（ｄ）のようになる。この輝度から同図（ｅ）の拡大画像が生成される。
【００８７】
次に、図１０に示す拡大画像が生成される原理について述べる。図１２は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。前述の図１４に示す元画像では、黒い線は２個のサンプリング点に跨っており、例えば拡大画像上では元画像上の太さ２の線が単純に拡大された画像となる。一方、サンプリング位置を移動すると、黒線内の２画素に跨った位置では黒となり、白と黒の境界位置では補間により灰色となる。従って、拡大画像において、指定点の位置は黒であるが、その周囲は灰色となる。
【００８８】
このように、擬似サンプリング画像の拡大画像では、指定している点の位置の色が明確である一方その周囲では指定している点から元画像における１画素分ずつ離れた色が表示されるため、指定している点とそれ以外の点の色の区別がし易くなる。そのため、元画像の画素間隔より小さい単位で所望の点を指定しやすい。
【図面の簡単な説明】
【００８９】
【図１】本実施形態の計測用内視鏡装置を説明する図である。
【図２】計測用内視鏡装置の構成を説明するブロック図である。
【図３】制御部の構成を示す図である。
【図４】リモートコントローラを説明する図である。
【図５】直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図である。
【図６】図５のＡ−Ａ断面図である。
【図７】ステレオ計測により計測点の３次元座標を求める方法を示す図である。
【図８Ａ】計測内視鏡システムによる計測の流れを説明するフローチャートである。
【図８Ｂ】計測点指定処理を説明するフローチャートである。
【図８Ｃ】拡大領域の設定処理を説明するフローチャートである。
【図８Ｄ】拡大画像の生成処理を説明するフローチャートである。
【図８Ｅ】マウスの左ボタンを押した時の処理を説明するフローチャートである。
【図８Ｆ】マウスの左ボタンを戻した時の処理を説明するフローチャートである。
【図８Ｇ】ポインタの位置移動処理を説明するフローチャートである。
【図９】（ａ）は、読み取られた左右２つの元画像を示す図であり、（ｂ）は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示す図であり、（ｃ）は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す図であり、（ｄ）は、拡大倍率を６倍に変更させた場合の計測画面を示す図であり、（ｅ）は、サンプリング点の移動量の単位を元画像の画素間隔に設定し拡大倍率を６倍に変更させた場合の計測画面を示す図であり、（ｆ）は、計測画面を示す図であり、（ｇ）は、２点間の距離を計測した場合の計測結果が含まれる計測画面を示す図である。
【図１０】線形補間で生成された拡大画像を示す図である。
【図１１】（ａ）は、横６画素×縦１画素の元画像を示す図であり、（ｂ）は、元画像のサンプリング点における輝度を示す図であり、（ｃ）は、サンプリング点移動画像の輝度を示す図であり、（ｄ）は、拡大のために画素数を増加させた場合の元画像のサンプリング点における輝度を示す図であり、（ｅ）は、（ｄ）の輝度情報から拡大画像を生成した図である。
【図１２】元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
【図１３】（ａ）、（ｂ）は、サブピクセルマッチングを説明する図である。
【図１４】計測対象の元画像の一例を示す図である。
【図１５】図１４の拡大領域の単純拡大画像を示す図である。
【符号の説明】
【００９０】
１０・・・計測用内視鏡装置
１１・・・内視鏡挿入部
１２・・・コントロールユニット
１３・・・リモートコントローラ
１４・・・液晶モニタ（ＬＣＤ）
１７・・・フェイスマウントディスプレイ（ＦＭＤ）
１８・・・ＦＭＤアダプタ
１９・・・スピーカ
２０・・・マイク
２１・・・パーソナルコンピュータ
２２・・・コンパクトフラッシュ（登録商標）メモリカード
２３・・・ＰＣＭＣＩＡメモリカード（ＰＭＣＩＡメモリカード）
２４・・・内視鏡ユニット
２５・・・カメラコントロールユニット（ＣＣＵ）
２６ａ・・ＣＰＵ
２６ｂ・・ＲＯＭ
２６ｃ・・ＲＡＭ
２７・・・マウス
２９・・・ＲＳ−２３２ｃインターフェイス（ＲＳ−２３２Ｃ Ｉ／Ｆ）
３０・・・ＰＣカードインターフェイス（ＰＣカードＩ／Ｆ）
３１・・・ＵＳＢインターフェイス（ＵＳＢ Ｉ／Ｆ）
３２・・・音声信号処理回路
３３・・・映像信号処理回路
３４、３５・・・対物レンズ系
３６・・・照明レンズ
３７・・・ステレオ光学アダプタ
３８・・・固定リング
３９・・・内視鏡先端部
４３・・・個体撮像素子
４３ａ・・・信号線
５３・・・雌ねじ
５４・・・雄ねじ
６１・・・ジョイスティック
６２・・・レバースイッチ
６３・・・フリーズスイッチ
６４・・・ストアースイッチ
６５・・・計測実行スイッチ
６６・・・拡大表示切り換え用ＷＩＤＥスイッチ
６７・・・ＴＥＬＥスイッチ
７０・・・外部映像入力端子
７５・・・ポイント制御部
７６・・・ポイント位置移動前記憶部
７７・・・ポイント位置移動後記憶部
７８・・・マウスボタン状態記憶部
７９・・・補正後ポイント位置記憶部
８０・・・インジケータ状態指示部
８１・・・サンプリング点位置記憶部
８２・・・再サンプリング処理部
８４・・・計測部
【特許請求の範囲】
【請求項１】
観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得手段と、
この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理手段と、
この第１再サンプリング画像に基づいて計測位置を指定する計測位置指定手段と、
この計測位置指定手段によって指定された前記計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理手段と、を有し、
前記再サンプリング処理手段は、このマッチング処理手段によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成することを特徴とする計測内視鏡システム。
【請求項２】
前記観察対象を複数の視点から撮像する撮像手段を有する内視鏡装置が、前記画像取得手段を有することを特徴とする請求項１に記載の計測内視鏡システム。
【請求項３】
前記内視鏡装置が更に、前記再サンプリング処理手段と、計測位置指定手段と、マッチング処理手段とを有することを特徴とする請求項２に記載の計測内視鏡システム。
【請求項４】
画像処理を行う演算手段を有する電子計算機が、前記再サンプリング処理手段と、計測位置指定手段と、マッチング処理手段とを有することを特徴とする請求項２に記載の計測内視鏡システム。
【請求項５】
観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得工程と、
この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理工程と、
この第１再サンプリング画像に基づいて指定された計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理工程と、を有し、
前記再サンプリング処理工程は、このマッチング処理工程によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成することを特徴とする計測内視鏡システム用計測方法。
【請求項６】
観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得処理と、
この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理と、
この第１再サンプリング画像に基づいて指定された計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理と、を有し、
前記再サンプリング処理は、このマッチング処理によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成することを特徴とする計測内視鏡システム用計測プログラム。
【請求項１】
観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得手段と、
この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理手段と、
この第１再サンプリング画像に基づいて計測位置を指定する計測位置指定手段と、
この計測位置指定手段によって指定された前記計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理手段と、を有し、
前記再サンプリング処理手段は、このマッチング処理手段によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成することを特徴とする計測内視鏡システム。
【請求項２】
前記観察対象を複数の視点から撮像する撮像手段を有する内視鏡装置が、前記画像取得手段を有することを特徴とする請求項１に記載の計測内視鏡システム。
【請求項３】
前記内視鏡装置が更に、前記再サンプリング処理手段と、計測位置指定手段と、マッチング処理手段とを有することを特徴とする請求項２に記載の計測内視鏡システム。
【請求項４】
画像処理を行う演算手段を有する電子計算機が、前記再サンプリング処理手段と、計測位置指定手段と、マッチング処理手段とを有することを特徴とする請求項２に記載の計測内視鏡システム。
【請求項５】
観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得工程と、
この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理工程と、
この第１再サンプリング画像に基づいて指定された計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理工程と、を有し、
前記再サンプリング処理工程は、このマッチング処理工程によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成することを特徴とする計測内視鏡システム用計測方法。
【請求項６】
観察対象が複数の視点から撮像された各視点の画像信号を、それぞれ画素単位でサンプリングして第１画像、第２画像として取得する画像取得処理と、
この第１画像の少なくとも一部の領域を、前記画素単位よりも細かい単位で再サンプリングして第１再サンプリング画像を生成する再サンプリング処理と、
この第１再サンプリング画像に基づいて指定された計測位置に対応する前記第２画像上の計測位置を、前記画素単位よりも細かい前記単位で計算するマッチング処理と、を有し、
前記再サンプリング処理は、このマッチング処理によって計算された前記第２画像上の計測位置の少なくとも一部の領域を、前記画素単位よりも細かい前記単位で再サンプリングして第２再サンプリング画像を生成することを特徴とする計測内視鏡システム用計測プログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図８Ｆ】
【図８Ｇ】
【図１３】
【図１】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図８Ｆ】
【図８Ｇ】
【図１３】
【図１】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【公開番号】特開２００９−８６５５３（Ｐ２００９−８６５５３Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５９２７４（Ｐ２００７−２５９２７４）
【出願日】平成１９年１０月２日（２００７．１０．２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年１０月２日（２００７．１０．２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]