説明

計測用内視鏡装置およびプログラム

【課題】計測位置を確定する操作の負担を軽減し、計測作業の効率を向上することができる内視鏡装置およびプログラムを提供する。
【解決手段】操作部6には、画像上の計測位置を示す位置情報と計測位置の確定指示とが入力される。CPU18は、入力された位置情報が示す位置に目印を表示し、確定指示が入力された場合には表示中の目印の位置を固定すると共に次の目印を表示するように映像信号処理回路12を制御する。また、CPU18は、確定指示が入力されていない計測位置と、確定指示が入力された計測位置との両方に基づいて計測を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを用いて三角測量の原理による計測を行う計測用内視鏡装置、およびその動作を制御するためのプログラムに関する。
【背景技術】
【0002】
工業用内視鏡は、ボイラー、タービン、エンジン、化学プラント、水道配管等の内部の傷や腐食等の観察や検査に使用されている。工業用内視鏡では、多様な観察物を観察および検査することができるようにするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。
【0003】
上記の光学アダプタとして、観察光学系に左右2つの視野を形成するステレオ光学アダプタがある。特許文献1には、ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学系測距点の座標に基づいて、三角測量の原理を使用して被写体の3次元空間座標を求め、被写体上の2点間の距離を計測する計測用内視鏡装置が記載されている。
【特許文献1】特開2006−15117号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された発明では、ユーザが、内視鏡装置に接続された表示装置の画面を見ながら、内視鏡装置に設けられたジョイスティック等を操作して計測位置(計測点)の入力を行う。画像上には計測位置を示すカーソルが表示され、ジョイスティックを倒した方向にカーソルが移動する。所望の位置でユーザが計測点を確定する指示を入力すると、カーソルの位置に計測点のアイコンが表示され、その位置に計測点が設定される。続いて、同様にカーソルを移動させながら、次の計測点の入力が行われる。しかし、例えば2点間距離を計測する場合には、ユーザが計測点を2点とも確定しないと2点間距離の計測および計測結果の表示が行われなかった。
【0005】
本発明は、上述した課題に鑑みてなされたものであって、計測位置を確定する操作の負担を軽減し、計測作業の効率を向上することができる内視鏡装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するためになされたもので、被写体像を光電変換し撮像信号を生成する内視鏡と、前記撮像信号を処理し画像データを生成する撮像信号処理部と、前記画像データを用いて三角測量の原理による計測を実行する計測部と、前記画像データに基づく画像を表示するための表示信号を生成する表示信号生成部とを備えた計測用内視鏡装置において、画像上の計測位置を示す位置情報を入力するための位置情報入力部と、前記計測位置の確定指示を入力するための確定指示入力部と、前記位置情報入力部に入力された前記位置情報が示す位置に目印を表示し、前記確定指示入力部に前記確定指示が入力された場合には表示中の目印の位置を固定すると共に次の目印を表示するように前記表示信号生成部を制御する表示制御部と、前記確定指示が入力されていない前記計測位置と、前記確定指示が入力された前記計測位置との両方に基づいて計測を実行するように前記計測部を制御する計測制御部とをさらに備えたことを特徴とする計測用内視鏡装置である。
【0007】
また、本発明の内視鏡装置は、前記確定指示が入力されていない前記計測位置と、前記確定指示が入力された前記計測位置との両方に基づいて前記計測部が計測を実行する第1の計測モードと、前記確定指示が入力された前記計測位置のみに基づいて前記計測部が計測を実行する第2の計測モードとを切り替えるモード切替部をさらに備えたことを特徴とする。
【0008】
また、本発明の内視鏡装置は、表示中の目印に関する前記位置情報、表示中の目印に関する前記確定指示の入力の有無を示す状態情報、および前記画像データを記録媒体に記録する記録部をさらに備えたことを特徴とする。
【0009】
また、本発明の内視鏡装置は、前記位置情報、前記状態情報、および前記画像データを前記記録媒体から読み出す読出部をさらに備え、前記表示制御部はさらに、前記記録媒体から読み出された前記位置情報が示す位置に目印を表示し、前記確定指示が入力された目印の位置を固定し、前記確定指示が入力されていない目印の位置を、前記位置情報入力部に入力された前記位置情報が示す位置に更新するように前記表示信号生成部を制御することを特徴とする。
【0010】
また、本発明の内視鏡装置において、前記計測制御部はさらに、所定のタイミングからの経過時間に基づいて、前記計測部が計測を実行するタイミングを制御することを特徴とする。
【0011】
また、本発明の内視鏡装置において、前記計測制御部はさらに、前記位置情報入力部に入力された前記位置情報が示す位置の移動速度に基づいて、前記計測部が計測を実行するタイミングを制御することを特徴とする。
【0012】
また、本発明の内視鏡装置において、前記表示信号生成部は、前記画像データに基づいて、前記位置情報入力部に入力された前記位置情報が示す位置の画像を表示するための前記表示信号を生成し、前記表示制御部はさらに、前記位置情報入力部に入力された前記位置情報が示す位置の移動速度に応じて、前記位置情報が示す位置の画像の表示倍率を制御することを特徴とする。
【0013】
また、本発明は、被写体像を光電変換し撮像信号を生成する内視鏡と、前記撮像信号を処理し画像データを生成する撮像信号処理部と、前記画像データを用いて三角測量の原理による計測を実行する計測部と、前記画像データに基づく画像を表示するための表示信号を生成する表示信号生成部とを備えた計測用内視鏡装置を制御するコンピュータを、画像上の計測位置を示す位置情報を入力するための位置情報入力部と、前記計測位置の確定指示を入力するための確定指示入力部と、前記位置情報入力部に入力された前記位置情報が示す位置に目印を表示し、前記確定指示入力部に前記確定指示が入力された場合には表示中の目印の位置を固定すると共に次の目印を表示するように前記表示信号生成部を制御する表示制御部と、前記確定指示が入力されていない前記計測位置と、前記確定指示が入力された前記計測位置との両方に基づいて計測を実行するように前記計測部を制御する計測制御部と、として機能させるためのプログラムである。
【発明の効果】
【0014】
本発明によれば、確定指示が入力されていない計測位置と、確定指示が入力された計測位置との両方に基づいて計測を実行することを可能としたことにより、確定指示を入力する操作が減るので、計測位置を確定する操作の負担を軽減し、計測作業の効率を向上することができるという効果が得られる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による計測用内視鏡装置の全体構成を示している。図1に示すように、計測用内視鏡装置1は、内視鏡2と、この内視鏡2に接続された装置本体3とを備えている。内視鏡2は、細長な挿入部20と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部6とを備えている。装置本体3は、内視鏡2で撮像された被写体の画像や操作制御内容(例えば処理メニュー)等の表示を行う表示装置であるモニタ4(液晶モニタ)と、内部に制御ユニット10(図2参照)を有する筐体5とを備えている。
【0016】
挿入部20は、硬質な先端部21と、例えば上下左右に湾曲可能な湾曲部22と、柔軟性を有する可撓管部23とを先端側から順に連設して構成されている。先端部21には、観察視野を2つ有するステレオ光学アダプタや観察視野が1つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。
【0017】
図2に示すように筐体5内には、内視鏡ユニット8、CCU9(カメラコントロールユニット)、および制御ユニット10が設けられており、挿入部20の基端部は内視鏡ユニット8に接続されている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置(不図示)と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置(不図示)とを備えて構成されている。
【0018】
挿入部20の先端部21には撮像素子28が内蔵されている。撮像素子28は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。CCU9には、撮像素子28から出力された撮像信号が入力される。この撮像信号は、CCU9内で例えばNTSC信号等の映像信号(画像データ)に変換されて、制御ユニット10へ供給される。
【0019】
制御ユニット10内には、映像信号が入力される映像信号処理回路12、ROM13、RAM14、カードI/F15(カードインターフェイス)、USB I/F16(USBインターフェイス)、およびRS−232C I/F17(RS−232Cインターフェイス)と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うCPU18とが設けられている。
【0020】
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行う操作部6が接続されている。ユーザが操作部6を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
【0021】
USB I/F16は、制御ユニット10とパーソナルコンピュータ31とを電気的に接続するためのインターフェイスである。このUSB I/F16を介して制御ユニット10とパーソナルコンピュータ31とを接続することによって、パーソナルコンピュータ31側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、制御ユニット10とパーソナルコンピュータ31との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【0022】
また、カードI/F15には、メモリカード32を自由に着脱することができるようになっている。メモリカード32をカードI/F15に装着することにより、CPU18による制御に従って、このメモリカード32に記憶されている制御処理情報や画像情報等のデータの制御ユニット10への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード32への記録を行うことが可能になる。
【0023】
映像信号処理回路12は、CCU9から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、CPU18の制御により生成される、操作メニューに基づくグラフィック画像信号とCCU9からの映像信号を合成する処理や、モニタ4の画面上に表示するのに必要な処理等を行い、表示信号をモニタ4に供給する。また、この映像信号処理回路12は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ4の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
【0024】
CPU18は、ROM13に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、計測用内視鏡装置1全体の動作制御を行う。RAM14は、CPU18によって、データの一時格納用の作業領域として使用される。
【0025】
図3は、内視鏡2が有する挿入部20の先端部21の斜視図であり、図4は図3のA−A断面図である。図3に示すように先端部21は、先端部本体39と、この先端部本体39に着脱自在の光学アダプタ46とから構成されている。先端部21の先端面には、例えばLEDからなる2つの照明24と、被写体像を取り込むための観察窓25とが設けてある。図4に示すように、先端部21を構成する先端部本体39に設けた観察窓25はカバーガラス30で閉塞され、その内側にはレンズ枠36を介して1対の対物光学系、つまり右画像用の対物光学系26Rと左画像用の対物光学系26Lが取り付けてある。
【0026】
このレンズ枠36は後方側に延出し、共通の像伝送光学系27の前段側光学系27aが取り付けてある。また、レンズ枠36の後端側の孔部に収納された撮像素子固定枠37には、撮像素子28が固定されている。この撮像素子28の撮像面の前部側には像伝送光学系27の後段側光学系27bがレンズ枠を介して取り付けてある。また、先端部本体39の前端側の外周は円筒状のカバー部材38で覆われ、このカバー部材38はネジで先端部本体39に固定されている。なお、カバー部材38と先端部本体39との間には、シール用のOリングが介挿され、水密構造にされている。
【0027】
上記の対物光学系26Rと対物光学系26Lによる像は、像伝送光学系27を介して撮像素子28上で左右に異なる位置に結像される。つまり、対物光学系26Rと像伝送光学系27による光学系である右結像光学系と、対物光学系26Lと像伝送光学系27による光学系である左結像光学系とが構成されている。撮像素子28で光電変換された撮像信号は内視鏡ユニット8を介してCCU9に供給されて映像信号に変換され、その後、映像信号処理回路12に供給される。
【0028】
また、撮像素子28の前面側はカバーガラス47で保護され、このカバーガラス47は光学アダプタ46側のカバーガラス48と対向する。光学アダプタ46の後端側の外周面には、固定リング49が設けてあり、先端部本体39の外周面に設けた雄ネジ部にこの固定リング49の後端内視鏡内周面に設けた雌ネジ部を螺合させることにより、着脱自在に取り付けられるようにしている。先端部本体39の先端面の外周面には位置決め用の凹部が、光学アダプタ39側には位置決め用ピンが設けてあり、光学アダプタ39を取り付ける際に凹部とピンとにより周方向の位置決めがされる。
【0029】
次に、計測用内視鏡装置1を用いた計測方法を説明する。生産工程では、個体の異なる光学アダプタ46毎に、次の(a1)〜(e)に示す各光学アダプタ46の特有の光学データが測定される。その光学データが、記録媒体である例えばメモリカードに記録される。このメモリカードに記録された光学データは、光学アダプタ46の特性と一対一で対応することになって、出荷後、1つの組み合わせのものとして扱われる。本実施形態の光学データは以下の通りである。なお、光学データの詳細は、例えば特開2004−49638号公報に記載されているので、その説明を省略する。
【0030】
(a1)2つの対物光学系の幾何学的歪み補正テーブル
(a2)像伝送光学系の幾何学歪み補正テーブル
(b)左右の結像光学系それぞれの焦点距離
(c)左右の結像光学系の主点間の距離
(d)左右の結像光学系それぞれの画像上での光軸位置座標
(e)左右の結像光学系それぞれの画像がマスタの撮像素子上に結像するときの位置情報
【0031】
以下、図5を参照しながら、光学データの測定方法を説明する。生産測定治具51は、光学アダプタ46が装着可能であって、マスタ撮像ユニット52と、CCU53と、パソコン31と、チャート54とで構成されている。
【0032】
マスタ撮像ユニット52は、内視鏡2の先端部本体39と同様の構造を有している。CCU53はマスタ撮像ユニット52と信号線で接続されている。パソコン31は、メモリカード33が着脱可能なメモリカードスロット54を有し、CCU53からの画像データに対する画像処理を行う。チャート54は、光学アダプタ46の光学特性を解析するための格子状の模様を有している。
【0033】
生産測定治具51を用いて光学データの取り込みを行う場合、まず、図5に示すように、光学アダプタ46をマスタ撮像ユニット52に取り付け、チャート54の像を光学アダプタ46を介して取り込み、その画像データに基づいてパーソナルコンピュータ31にて画像処理を行い、上記(a1)〜(e)の光学データを求め、メモリカード33に記録する。
【0034】
上記特有の光学データの収集を行った後の光学アダプタ46を内視鏡2に取り付け、計測用内視鏡装置1において、次に示す(1)〜(8)の処理を行って各種寸法計測(ステレオ計測)を行うことができる。なお、ステレオ計測の詳細は、例えば特開2004−49638号公報に記載されているので、その説明を省略する。
【0035】
(1)メモリカード33から上記(a1)〜(e)の光学データを読み込む。
(2)計測用内視鏡装置1を用いて白い被写体を撮像する。
(3)上記(e)のデータおよび上記(2)の撮像データを用いて、光学アダプタ46と内視鏡2との組み合わせによる画像位置のずれを求める。
(4)上記(3)のデータおよび上記(1)のデータを用いて、内視鏡2に対する幾何学的歪み補正を行う変換テーブルを作成する。
(5)内視鏡2にて被写体である被計測物を撮像し、画像を取り込む。
(6)上記の取り込んだ画像を上記(4)で作成した変換テーブルを基に座標変換する。
(7)座標変換された画像を基に、上記(2)の撮像データのマッチングにより任意の点の3次元座標を求める。
(8)上記3次元座標を基に各種寸法計測を行う。
【0036】
上記の(1)〜(4)の処理を、内視鏡2と光学アダプタ46の組合せに対して、一度実行する。この結果によって得られる光学データと変換テーブルは、環境データとしてメモリカード33に記録される。そして、次回以降のステレオ計測では、上記(1)〜(4)の処理を実行する代わりに、メモリカード33から環境データを読み込み、上記(5)〜(8)の処理を実行する。ユーザが複数の内視鏡2または光学アダプタ46を所有し、これらを交換して計測を行う場合には、内視鏡2と光学アダプタ46のそれぞれの組合せ毎に上記(1)〜(4)の処理を実行して環境データを記録しておく。
【0037】
ステレオ計測を行う際にユーザが、図6に示すメニュー画面を操作し、使用する内視鏡2と光学アダプタの組合せに対応した環境データを選択すると、その環境データがメモリカード33から計測用内視鏡装置1に読み込まれる。なお、使用されている内視鏡2や光学アダプタの種類をCPU18が識別できる場合には、使用しない環境データをメニュー画面に表示しないようにしたり、メニュー画面での選択を省略したりすることも可能である。また、メニュー画面において、ユーザが環境データの削除を選択すると、ユーザが選択した1または複数の環境データもしくは全ての不要な環境データをメモリカード33から削除することも可能である。
【0038】
また、上記の(5)の処理において、必要に応じて、取り込んだ画像に対してノイズ除去フィルタを施してもよい。これによって、ノイズによるパターンマッチング処理(詳細は後述する)の失敗を低減し、マッチングの誤差を小さくして計測精度を向上することができる。ノイズ除去フィルタには、例えば3×3の画素の範囲で画素値の中央値を選択するメディアンフィルタを用いると、計測に必要な輪郭の情報を保存しながら、ノイズを減少させることができる。
【0039】
次に、本実施形態による計測用内視鏡装置1の動作を説明する。図7は計測用内視鏡装置1の全体動作を示している。計測用内視鏡装置1が起動されると、CPU18は初期化を実行する(ステップSA)。続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、画像の倍率変更用のズームスイッチがONとなっているか否かを判定する(ステップSB)。ズームスイッチがONとなっている場合には、CPU18は、画像を拡大するための電子ズーム処理の倍率変更を映像信号処理回路12に指示する(ステップSC)。この後、処理がステップSDに進む。また、ステップSBにおいてズームスイッチがOFFとなっている場合には、処理がステップSDに進む。
【0040】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、画像の輝度変更用の輝度スイッチがONとなっているか否かを判定する(ステップSD)。輝度スイッチがONとなっている場合には、CPU18は画像全体の輝度変更を映像信号処理回路12に指示する(ステップSE)。この後、処理がステップSFに進む。また、ステップSDにおいて輝度スイッチがOFFとなっている場合には、処理がステップSFに進む。
【0041】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、計測モードをライブモードに変更するためのライブスイッチがONとなっているか否かを判定する(ステップSF)。計測用内視鏡装置1は複数の動作モード(ライブモード、記録モード、計測モード、再生モード)で動作可能である。ライブモードは、内視鏡2によって撮像された画像(動画像)をリアルタイムに表示するモードである。記録モードは、内視鏡2によって撮像された静止画像データをメモリカード32に記録するモードである。
【0042】
計測モードは、内視鏡2によって撮像された静止画像データに基づいて2点間計測等の計測を実行するモードである。再生モードは、メモリカード32に記録されている画像データを読み出して画像を表示するモードである。記録モード、計測モード、再生モードのいずれかで動作している場合にライブスイッチがONとなっている場合には、CPU18は動作モードをライブモードに変更し、計測用内視鏡装置1内の各部にライブモードでの動作を指示する(ステップSG)。この後、処理がステップSHに進む。また、ステップSFにおいてライブスイッチがOFFとなっている場合には、処理がステップSHに進む。
【0043】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、メニュースイッチがONとなっているか否かを判定する(ステップSH)。メニュースイッチがONとなっている場合には、CPU18は操作メニュー表示用のグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSI)。この後、処理がステップSJに進む。また、ステップSHにおいてメニュースイッチがOFFとなっている場合には、処理がステップSJに進む。
【0044】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、光学アダプタ内のLEDを点灯させるLEDスイッチがONとなっているか否かを判定する(ステップSJ)。LEDスイッチがONとなっている場合には、CPU18は照明装置の起動を内視鏡ユニット8に指示する(ステップSK)。この後、処理がステップSLに進む。また、ステップSJにおいてLEDスイッチがOFFとなっている場合には、処理がステップSLに進む。
【0045】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、画像記録用の記録スイッチがONとなっているか否かを判定する(ステップSL)。記録スイッチがONとなっている場合には、CPU18は動作モードを記録モードに変更し、映像信号処理回路12から取り込んだ画像データを、カード I/F15を介してメモリカード32に記録する(ステップSM)。ステップSMの詳細は後述する。この後、処理がステップSNに進む。また、ステップSLにおいて記録スイッチがOFFとなっている場合には、処理がステップSNに進む。
【0046】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、画像再生用の再生スイッチがONとなっているか否かを判定する(ステップSN)。再生スイッチがONとなっている場合には、CPU18は動作モードを再生モードに変更し、カード I/F15を介してメモリカード32から画像データを読み出し、映像信号処理回路12へ出力する(ステップSO)。ステップSOの詳細は後述する。この後、処理がステップSPに進む。また、ステップSNにおいて再生スイッチがOFFとなっている場合には、処理がステップSPに進む。
【0047】
続いて、CPU18は、挿入部20の先端部21と接続する図示せぬ信号線から入力される信号を監視し、光学アダプタが装着されているか否かを判定する(ステップSP)。光学アダプタが装着されている場合には、CPU18は光学アダプタの種類を判別し、その種類に応じた環境データを、カード I/F15を介してメモリカード32から読み出し、RAM14に格納する(ステップSQ)。光学アダプタの種類の判別は、例えば光学アダプタ内に設けられた、光学アダプタの種類に応じて異なる抵抗値を検出することにより行われる。続いて、図6に示したメニュー画面が表示され、ユーザの指示により、内視鏡2と光学アダプタの組合せに対応した環境データが設定される。この後、処理がステップSRに進む。また、ステップSPにおいて光学アダプタが装着されていない場合には、処理がステップSRに進む。
【0048】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、ステレオ計測用の計測スイッチがONとなっているか否かを判定する(ステップSR)。計測スイッチがONとなっている場合には、CPU18は動作モードを計測モードに変更し、ステレオ計測を実行する(ステップSS)。ステップSSの詳細は後述する。この後、処理がステップSTに進む。また、ステップSRにおいて計測スイッチがOFFとなっている場合には、処理がステップSTに進む。
【0049】
続いて、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、電源用のパワースイッチがOFFとなっているか否かを判定する(ステップST)。パワースイッチがOFFとなっている場合には、計測内視鏡装置1は動作を終了する。また、ステップSTにおいてパワースイッチがONとなっている場合には、処理がステップSBに戻る。
【0050】
次に、上記のステップSS(ステレオ計測)の詳細を説明する。以下では、2点間計測を例とする。図8は、ステレオ計測時にモニタ4に表示される計測画面を示している。図8に示す計測画面には、光学アダプタで捉えられた左右の被写体像に対応した左画像800と右画像801が表示される。前述したように、ユーザは、モニタ4に表示される計測画面を見ながら、操作部6に設けられたジョイスティックを操作しながら計測位置(計測点)の入力を行う。画像上には計測位置を示す目印となるカーソル810,811が表示され、ジョイスティックを倒した方向に移動する。所望の位置でユーザがジョイスティックを押し込む操作を行い、計測点を確定する指示を入力すると、そのときのカーソル810,811の位置に計測点が固定される。計測点が確定すると、カーソル810,811は、確定した計測点を示す「×」印のアイコン(目印)に変わる。
【0051】
図8は、1点目の計測点が確定し、2点目の計測点の入力を行うときの状態を示している。1点目の計測点820,821には「×」印のアイコンが表示される。1点目の計測点の入力を行う際にも、カーソル810,811と同様のカーソルが表示され、ユーザがジョイスティックを倒した方向にカーソルが移動する。ズームウィンドウ830,831には、カーソル810,811の近傍の拡大画像が表示される。図8では、カーソル810,811の近傍が2倍に拡大表示されている。カーソル810,811の周囲のエリア812,813は、ズームウィンドウ830,831に表示される領域を示している。ズームウィンドウ830,831に表示される拡大画像を見ながら計測点の入力を行うことにより、計測点の位置をより正確に設定することができる。計測モード840は2点間計測を示している。操作指示841は、ユーザに対する2点目の計測点の入力指示を示している。
【0052】
物体距離842は被写体までの距離を示している。物体距離インジケータ843は、物体距離842を視覚的に示しており、物体距離が長いほど、表示されるインジケータの数が多くなる。計測結果844は2点間計測の結果を示している。従来の2点間計測では、計測点が2点とも確定しないと計測が実行されないが、本実施形態では2点目の計測点が確定していない状態でも計測が実行され、計測結果が表示される。また、計測は繰り返し実行されるので、ジョイスティックの操作によりカーソルが移動すれば、カーソルの移動に応じて、計測結果がリアルタイムに更新される。これによって、ユーザが2点目の計測点を確定する操作を行わなくても計測が行われるので、ユーザの操作負担を軽減することができる。
【0053】
上記のように、計測点が確定していない状態でも計測を実行することにより、計測作業は効率的になるが、計測が頻繁に実行されるため、CPU18の処理負荷が増加する。したがって、全ての計測モードについて、計測点が確定していない状態でも計測を実行すると、多数の計測点に基づいて計測を行う場合(例えば面積計算)には、計測に時間が掛かり、ユーザにとって使用しづらいものとなってしまう。そこで、本実施形態では、処理負荷が比較的軽い2点間計測では、計測点が確定していない状態でも計測を実行し、処理負荷が重い面積計算等の計測では、全ての計測点が確定した状態で計測を実行するものとしている。
【0054】
計測画面上のカーソルの色や、形状、移動速度は、図9に示すメニュー画面の操作により、ユーザが適宜選択することが可能である。カーソルの移動速度に関しては、高速・中速・低速の3種類の中から最高速度を選択することが可能である。図10はカーソルの移動速度を示している。図10(a)では、ユーザがジョイスティックを倒した時点から時間T1が経過するまでカーソルの移動速度は一定であり、時間T1が経過したら、カーソルの移動速度は最高速度となる。また、図10(b)では、ユーザがジョイスティックを倒した時点から時間T1が経過するまでカーソルの移動速度は一定であり、時間T1が経過したら、設定された最高速度に応じて時間と共に移動速度が増加し、最後は最高速度で一定となる。
【0055】
以下、ステレオ計測の具体的な手順を説明する。まず、図11および図12を参照しながら第1の動作例を説明する。最初にCPU18は初期化を実行し、計測モードを設定する(ステップSS1)。このとき、CPU18は、ユーザによる操作部6の操作結果に応じて計測モードを設定する。続いて、CPU18は、RAM14に格納される2点目フラグに0を設定する(ステップSS2)。2点目フラグは、1点目の計測点が確定し、2点目の計測点の入力を行う状態であるか否かを示すフラグである。2点目フラグに0が設定されている場合には、1点目の計測点は確定していない。また、2点目フラグに1が設定されている場合には、1点目の計測点が確定しており、2点目の計測点の入力を行うことが可能である。
【0056】
続いて、CPU18は計測モードを判定する(ステップSS3)。計測モードが、面積計算等の重い処理を伴うモードに設定されている場合には、CPU18は面積計算等の計測を実行する(ステップSS4)。面積計算については、例えば特開2001−275934により公知であるため、説明を省略する。計測の実行後、ステレオ計測が終了する。また、計測モードが、軽い処理で実行可能な2点間計測に設定されている場合には、CPU18は、RS232C I/F17を介して操作部6から入力される信号を監視し、計測点入力用のジョイスティックが倒されているか否かを判定する(ステップSS5)。ステップSS5において、ジョイスティックが倒されている場合には、処理がステップSS6に進む。また、ジョイスティックが倒されていない場合には、処理がステップSS14に進む。
【0057】
モニタ4には、内視鏡2で撮像された画像と共に、計測点入力用のカーソルが表示される。図11および図12では、カーソルの表示に関する処理は図示を省略している。CPU18は、操作メニューと共にカーソルを表示するためのグラフィック画像信号を生成し、カーソルの表示位置の情報と共に映像信号処理回路12へ出力する。映像信号処理回路12は、グラフィック画像信号とCCU9からの映像信号を合成し、表示信号を生成する。このとき、映像信号処理回路12は、CPU18から通知された表示位置にカーソルを表示するようにグラフィック画像信号と映像信号を合成する。
【0058】
このカーソルの示す位置が計測点の位置となる。計測点が確定する前の状態では、ユーザはジョイスティックの操作により、カーソルを自在に移動することが可能である。CPU18は、操作部6からの信号に基づいてジョイスティックの操作を監視し、ジョイスティックの操作に応じたカーソルの位置情報を取得する。CPU18は、取得した位置情報が示す位置にカーソルを表示するように映像信号処理回路12を制御する。CPU18が取得するカーソル位置情報は左画像上でのカーソル位置を示している。左画像上でのカーソル位置に対応した右画像上の位置は、後述するパターンマッチング処理で算出される。
【0059】
処理がステップSS6に進んだ場合、CPU18は、上記と同様のジョイスティックの監視により画像上のカーソル位置を取得する(ステップSS6)。CPU18が取得したカーソル位置の情報は、カーソル位置NOWとしてRAM14に格納される。続いて、CPU18は、カーソル位置NOWとしてRAM14に格納したカーソル位置の情報をカーソル位置OLDとしてRAM14に格納する(ステップSS7)。この時点では、カーソル位置NOWとカーソル位置OLDは同一である。続いて、カーソル位置NOWの3次元座標を算出する3次元座標解析が実行される(ステップSS8)。ステップSS8の詳細は後述する。
【0060】
図14を参照して後述するが、ステップSS8で算出された3次元座標のうちZ座標は物体距離となる。CPU18は、物体距離を表示するため、物体距離を含むグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSS9)。これによって、物体距離が表示される。
【0061】
続いて、CPU18は、ジョイスティックの監視により画像上のカーソル位置を再度取得する(ステップSS10)。CPU18が取得したカーソル位置の情報により、RAM14内のカーソル位置NOWが更新される。続いて、CPU18は、カーソル位置NOW、カーソル位置OLD、2点目フラグをそれぞれRAM14から読み出し、カーソル位置NOWとカーソル位置OLDが異なり、かつ2点目フラグの値が1であるか否かを判定する(ステップSS11)。
【0062】
カーソル位置NOWとカーソル位置OLDが異なり、かつ2点目フラグの値が1であった場合には、処理がステップSS12に進む。すなわち、ステップSS6〜SS10の間にカーソルが移動せず、かつ1点目の計測点が確定している場合には、処理がステップSS12に進む。また、カーソル位置NOWとカーソル位置OLDが同一、または2点目フラグの値が0であった場合には、処理がステップSS14に進む。すなわち、ステップSS6〜SS10の間にカーソルが移動した場合、または1点目の計測点が確定していない場合には、処理がステップSS14に進む。
【0063】
処理がステップSS12に進んだ場合、CPU18は、2点目の計測点の座標(左画像)を示す2点目座標としてカーソル位置NOWをRAM14に格納する(ステップSS12)。続いて、1点目および2点目の計測点の座標に基づいて2点間計測を行う計測処理が実行される(ステップSS13)。ステップSS13の詳細は後述する。
【0064】
続いて、CPU18は、計測点の確定のためにジョイスティックが押し込まれているか否かを判定する(ステップSS14)。ジョイスティックが押し込まれている場合には、処理がステップSS15に進む。また、ジョイスティックが押し込まれていない場合には、処理がステップSS20に進む。
【0065】
処理がステップSS15に進んだ場合、CPU18は2点目フラグをRAM14から読み出し、2点目フラグの値が0であるか否かを判定する(ステップSS15)。2点目フラグの値が0であった場合(1点目の計測点が確定していない場合)には、処理がステップSS16に進む。2点目フラグが1であった場合(1点目の計測点が確定している場合)には、処理がステップSS18に進む。
【0066】
処理がステップSS16に進んだ場合、ジョイスティックの押し込みにより1点目の計測点が確定する。このため、CPU18は、RAM14に格納されている2点目フラグに1を設定し(ステップSS16)、カーソル位置NOWとしてRAM14に格納されているカーソル位置の情報を、1点目の計測点の座標(左画像)を示す1点目座標としてRAM14に格納する(ステップSS17)。続いて、処理がステップSS20に進む。
【0067】
この場合、CPU18は、1点目の計測点のアイコンを含むグラフィック画像信号を生成し、アイコンの表示位置の情報と共に映像信号処理回路12へ出力する。また、これ以降、CPU18は1点目の計測点を画像上で固定するため、1点目の計測点については計測点のアイコンを同一位置に表示するように映像信号処理回路12を制御する。さらに、CPU18は、2点目の計測点入力用のカーソルを表示するためのグラフィック画像信号を生成し、カーソルの表示位置の情報と共に映像信号処理回路12へ出力する。これにより、1点目の計測点が固定表示され、ユーザはジョイスティックの操作により、2点目の計測点を入力するため、カーソルを自在に移動することが可能となる。
【0068】
一方、処理がステップSS18に進んだ場合、ジョイスティックの押し込みにより2点目の計測点が確定する。このため、CPU18は、カーソル位置NOWとしてRAM14に格納されているカーソル位置の情報を2点目座標としてRAM14に格納する(ステップSS18)。この場合、CPU18は、2点目の計測点のアイコンを含むグラフィック画像信号を生成し、アイコンの表示位置の情報と共に映像信号処理回路12へ出力する。続いて、1点目および2点目の計測点の座標に基づいて2点間計測を行う計測処理が実行される(ステップSS19)。ステップSS19の詳細は後述する。続いて、処理がステップSS20に進む。
【0069】
ステップSS17およびステップSS19に続いて、CPU18は、メニュースイッチが操作されたか否かを判定する(ステップSS20)。メニュースイッチが操作されていない場合には、処理がステップSS22に進む。また、メニュースイッチが操作された場合には、CPU18は、メニューを変更するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSS21)。
【0070】
続いて、CPU18は、終了スイッチが操作されたか否かを判定する(ステップSS22)。終了スイッチが操作されていない場合には、処理がステップSS5に戻る。また、終了スイッチが操作された場合には、ステレオ計測が終了する。
【0071】
上記の処理を簡単にまとめると以下のようになる。2点間計測では、まず1点目の計測点の入力が行われるが、その際にステップSS8の処理により、カーソル位置の3次元座標が算出され、ステップSS9で物体距離が表示される。ユーザがジョイスティックを押し込む操作を行うと、1点目の計測点が確定する。1点目の計測点が確定すると、続いて2点目の計測点の入力が行われる。2点目の計測点の入力の際にも、ステップSS8の処理により、カーソル位置の3次元座標が算出され、ステップSS9で物体距離が表示される。また、ステップSS13で計測処理が実行され、2点間距離が計測結果として表示される。2点目の計測点が確定すると、1点目の計測点の入力を再度行うことが可能となる。すなわち、上記の処理を繰り返し行うことにより、2点間計測を繰り返し行うことが可能である。
【0072】
次に、図13を参照しながら、ステップSS8(3次元座標解析)の詳細を説明する。まず、CPU18はパターンマッチング処理を実行して、左右の2画像(ステレオ画像)の対応点であるマッチングポイントを検出する(ステップSS81)。パターンマッチング処理の詳細は後述する。続いて、CPU18は、対応点の座標から左右の2画像のずれ量を求める(ステップSS82)。
【0073】
続いて、CPU18は、対象としている点の3次元座標を算出する(ステップSS83)。以下、3次元座標解析の基本原理について、図14を用いて説明する。図14は、x,y,z軸をもつ3次元空間座標系上の左右の2画像の位置関係を示している。この図14には、被写体までの距離(物体距離)の計測対象となる点Pが撮像素子の右結像面28Rおよび左結像面28L上に結像した状態が示されている。図14において、点OR,OLを光学系の主点とし、距離fを焦点距離とし、点QR,QLを点Pの結像位置とし、距離Lを点OR−点OL間の距離とする。
【0074】
図14において、直線QR−ORから(1)式が成立する。
x/xR={y−(L/2)}/{yR−(L/2)}=z/(−f) ・・・(1)
また、直線QL−OLから(2)式が成立する。
x/xL={y+(L/2)}/{yL+(L/2)}=z/(−f) ・・・(2)
この式をx,y,zについて解けば、点Pの三次元座標が得られる。これにより、内視鏡2の撮像面から被写体までの距離(物体距離)が求まる。実際は像伝送光学系27の効果により、左右2つの像の光線は折り曲げられて右結像面28Rと左結像面28Lの間隔はもっと小さくなるが、ここでは図を簡略にするために像伝送光学系27の効果を省いて図示している。
【0075】
図15はステップSS81のパターンマッチング処理の手順を示している。まず、CPU18は、パターンマッチングを行うパターンの大きさを示すパターンエリアの絞り込みを行う(ステップSS811)。本実施形態の例では、値kに対応したパターンエリアを設定する。すなわち、
k=1ではパターンエリアを35×35(ピクセル)、
k=2ではパターンエリアを23×23(ピクセル)、
k=3ではパターンエリアを11×11(ピクセル)、
とし、値kを小から大へ切り換えて領域を大から小へ絞り込んでいき、対応点検出の精度を上げるようにする。
【0076】
続いて、CPU18は検索範囲を設定する。すなわち、パターンを探す右画像の領域を決定する(ステップSS82)。その検索範囲の設定には、エピポーララインに誤差を考慮してエピポーラライン±5ピクセル以内とする場合と、モニタ画面上で水平に±7ピクセル以内とする場合と、画面上で手動により指示された略マッチング点を中心に±10ピクセル以内とする場合がある。なお、上記±10ピクセルは、手動による誤差を考慮した最適な値である。
【0077】
続いて、CPU18は、設定した検索範囲でのパターンマッチングを行う(ステップSS83)。このパターンマッチングでは、正規化相互相関による対応点検出を行い、最も正規化相互相関係数(−1〜+1)の大きな座標(X,Y)を対応点とする。値kをインクリメントし、その値kに対応してパターンを絞り込みながら、かつ検索範囲内でパターンエリアを動かしながらパターンマッチングが繰り返し行われる。
【0078】
パターンマッチングに利用する正規化相互相関関数M(u,v)には、一般的に以下の式を用いる。すなわち、t(x,y)をテンプレートとし、g(x,y)を画像データとし、t’をテンプレートの平均輝度とし、さらに、g’を画像の平均輝度として、以下の(3)式が適用される。ここで、ΣΣは画素の和をとることを表す。
M(u,v)={ΣΣ(g(x+u,y+v)−g’)(t(x,y)−t’)}/{ΣΣ(g(x+u,y+v)−g’)×ΣΣ(t(x,y)−t’)1/2 ・・・(3)
【0079】
上記のパターンマッチングが終了すると、パターンマッチング処理が終了する。
【0080】
次に、図16を参照しながら、ステップSS13およびステップSS19(計測処理)の詳細を説明する。まず、CPU18は、1点目の計測点に対応した1点目座標をRAM14から読み出し(ステップSS131)、1点目座標を入力値とする3次元座標解析を実行する(ステップSS132)。ステップSS132の詳細な手順は、図13に示した通りである。
【0081】
続いて、CPU18は、2点目の計測点に対応した2点目座標をRAM14から読み出し(ステップSS133)、2点目座標を入力値とする3次元座標解析を実行する(ステップSS134)。ステップSS134の詳細な手順は、図13に示した通りである。1点目および2点目の計測点の3次元座標が求まったので、CPU18は2つの計測点の2点間距離を算出する(ステップSS135)。さらに、CPU18は、算出した2点間距離を計測結果として表示するため、計測結果を含むグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSS136)。これによって、計測結果が表示され、計測処理が終了する。
【0082】
次に、図17を参照しながら、ステレオ計測の第2の動作例を説明する。図17に示す処理は、図11に示した処理を変形したものである。図17において、図11に示した処理と同一の処理には同一の符号を付与し、説明を省略する。ステップSS1の初期化では、タイマが起動される。ステップSS6でカーソル位置を取得した後、CPU18は、タイマが計測した時間を取得する(ステップSS31)。続いて、CPU18は、ステップSS31で取得した時間に基づいて、所定時間が経過したか否かを判定する(ステップSS32)。
【0083】
所定時間が経過していない場合には、処理がステップSS14に進む。また、所定時間が経過した場合には、CPU18はタイマをリセットする(ステップSS33)。続いて、処理はステップSS7に進む。上記以外の処理は、図11に示した処理と同様である。
【0084】
上記の処理により、1点目の計測点が確定していて、カーソル位置OLDとカーソル位置NOWとが異なる(カーソルが動かされた)場合には、所定時間が経過する毎にステップSS13の計測処理が実行される。カーソルが移動可能な状態で計測とカーソルの描画を頻繁に行うと、CPU18の処理能力によっては、処理負荷の増加により描画処理が遅れる可能性がある。したがって、計測処理の実行タイミングを制御し、計測処理の実行頻度を下げることによって、処理負荷の増加を抑えることができる。
【0085】
次に、図18を参照しながら、ステレオ計測の第3の動作例を説明する。図18に示す処理は、図11に示した処理を変形したものである。図18において、図11に示した処理と同一の処理には同一の符号を付与し、説明を省略する。ステップSS1の初期化では、タイマが起動される。ステップSS6でカーソル位置を取得した後、CPU18は、タイマが計測した時間を取得し、タイマをリセットする(ステップSS41)。続いて、CPU18は、カーソル位置NOWおよびカーソル位置OLDをRAM14から読み出し、両者から算出したカーソルの移動距離と、ステップSS41で取得した時間とからカーソルの移動速度を算出する(ステップSS42)。
【0086】
続いて、CPU18は、ステップSS42で算出したカーソルの移動速度に基づいて、ズームウィンドウの倍率を設定する(ステップSS43)。例えば、カーソルの移動速度が速い場合には、倍率は低い値(×2など)に設定され、カーソルの移動速度が遅い場合には、倍率は高い値(×4など)に設定される。CPU18によって設定された倍率の情報は映像信号処理回路12へ出力される。映像信号処理回路12は、この倍率の情報に基づいて画像の拡大処理を行う。
【0087】
図19は、ズームウィンドウの倍率が×2から×4に変化したときの計測画面を示している。ズームウィンドウ1900,1901の倍率は×4となっている。また、カーソル1910,1911の周囲のエリア1912,1913の大きさは、図8に示したエリア812,813と比較して小さくなる。
【0088】
ステップSS43に続いて、ステップSS7の処理が実行される。ステップSS7に続いて、CPU18は、カーソルの移動速度が所定値以下であるか否かを判定する(ステップSS44)。カーソルの移動速度が所定値を超えている場合には、処理がステップSS14に進む。また、カーソルの移動速度が所定値以下であった場合には、処理がステップSS8に進む。上記の処理では、ステップSS44での判定にカーソルの移動速度を用いているが、所定時間毎にステップSS44での判定を行うようにし、その判定にカーソルの移動距離を用いてもよい。
【0089】
上記の処理により、1点目の計測点が確定している場合には、カーソルの移動速度が所定値以下となれば、ステップSS13の計測処理が実行される。カーソルが高速に移動している状態で計測とカーソルの描画を頻繁に行うと、CPU18の処理能力によっては、処理負荷の増加により描画処理が遅れる可能性がある。したがって、計測処理の実行タイミングを制御し、カーソルの移動速度が遅くなったときに計測処理を行うことによって、処理負荷の増加を抑えることができる。
【0090】
また、上記の処理により、カーソルの移動速度に応じてズームウィンドウの倍率が制御される。ズームウィンドウの倍率が高く、カーソルの移動速度が速い場合には、CPUの表示処理が追いつかず、カーソル位置での拡大画像を表示できなくなり、計測点の位置を決定する作業の効率が低下する可能性がある。したがって、カーソルの移動速度が速い場合にズームウィンドウの倍率を低く、カーソルの移動速度が遅い場合にズームウィンドウの倍率を高くすることによって、計測作業の効率を向上することができる。
【0091】
次に、図20を参照しながら、ステップSM(画像記録処理)の詳細を説明する。まず、CPU18は初期化を実行する(ステップSM1)。続いて、CPU18は、RAM14に格納される結果フラグに0を設定する(ステップSM2)。結果フラグは、画像記録時の計測結果の有無を示すフラグである。結果フラグに0が設定されている場合には、計測処理が実行されておらず、計測結果が存在しない。また、計測フラグに1が設定されている場合には、計測処理が実行されており、計測結果が存在する。
【0092】
続いて、CPU18は、RAM14に格納される計測点確定フラグに0を設定する(ステップSM3)。計測点確定フラグは、画像記録時に2点目の計測点が確定しているか否か(言い換えると、2点目の計測点を確定する操作が行われたか否か)を示すフラグである。計測点確定フラグに0が設定されている場合には、2点目の計測点が確定していない。また、計測点確定フラグに1が設定されている場合には、2点目の計測点が確定している。
【0093】
続いて、CPU18は計測結果の有無を判定する(ステップSM4)。計測結果がある場合には、処理がステップSM5に進む。また、計測結果がない場合には、処理がステップSM8に進む。処理がステップSM5に進んだ場合、CPU18は、RAM14に格納されている結果フラグに1を設定する(ステップSM5)。続いて、CPU18は2点目の計測点の確定の有無を判定する(ステップSM6)。2点目の計測点が確定している場合には、処理がステップSM7に進む。また、2点目の計測点が確定していない場合には、処理がステップSM8に進む。
【0094】
処理がステップSM7に進んだ場合、CPU18は、RAM14に格納されている計測点確定フラグに1を設定する(ステップSM7)。続いて、処理がステップSM8に進む。処理がステップSM8に進んだ場合、CPU18はRAM14から各種フラグおよび各種座標を読み出す(ステップSM8)。続いて、CPU18は、映像信号処理回路12から取り込んだ画像データに対して、ステップSM8でRAM14から読み出した情報を含む付加情報を付加し、カード I/F15を介してメモリカード32に記録する(ステップSM9)。付加情報は、画像記録時の画面状態を示す情報である。画像データおよび付加情報の記録が終了すると、画像記録処理が終了する。
【0095】
図21は付加情報の内容を示している。画像フラグは画像データの有無を示している。画像フラグの値が1の場合には画像データがあり、画像フラグの値が0の場合には画像データがない。結果フラグについては前述した通りであり、結果フラグの値が1の場合には計測結果があり、結果フラグの値が0の場合には計測結果がない。計測結果は、計測処理で算出された2点間距離等を示している。計測結果がない場合には0が格納され、計測結果がある場合には計測結果の数値が格納される。
【0096】
計測点確定フラグについては前述した通りであり、計測点確定フラグの値が1の場合には2点目の計測点が確定しており、計測点確定フラグの値が0の場合には2点目の計測点が確定していない。1点目座標および2点目座標はそれぞれ1点目、2点目の計測点の2次元座標である。計測点の2次元座標がない場合には0が格納され、計測点の2次元座標がある場合には座標値が格納される。現在カーソル座標はカーソル位置NOWの座標である。
【0097】
図21(a)は、計測結果がない場合の付加情報の内容を示している。画像フラグの値は1であるが、それ以外の結果フラグ等の値は0である。図21(b)は、2点目の計測点が確定している場合の付加情報の内容を示している。2点目の計測点が確定しているため、計測点確定フラグの値は1である。また、1点目座標および2点目座標にはそれぞれ1点目、2点目の計測点の2次元座標が格納されている。また、2点目の計測点が確定したことにより、計測点入力用のカーソルが表示されなくなるため、現在カーソル座標の値は0である。また、2点目の計測点が確定しているため、計測処理が実行され、計測結果が格納されている。
【0098】
図21(c)は、2点目の計測点が確定していない場合の付加情報の内容を示している。2点目の計測点が確定していないため、計測結果確定フラグの値は0であり、1点目座標には1点目の計測点の2次元座標が格納されているが、2点目座標には0が格納されている。また、2点目の計測点入力用のカーソルが表示されているため、現在カーソル座標には画像記録時のカーソルの2次元座標が格納されている。また、2点間計測では、2点目が確定していなくても計測処理が実行されるため、計測結果が格納されている。
【0099】
上記の画像記録処理によって、画像記録時の計測点の確定の有無やカーソルの位置等の画面状態を画像と共に記録することができる。
【0100】
次に、図22を参照しながら、ステップSO(画像再生処理)の詳細を説明する。まず、CPU18は初期化を実行する(ステップSO1)。続いて、CPU18は、カード I/F15を介してメモリカード32から付加情報を読み出し、付加情報中の結果フラグの値が1であるか否かを判定する(ステップSO2)。結果フラグの値が1であった場合(計測結果がある場合)には、処理がステップSO3に進む。また、結果フラグの値が0であった場合(計測結果がない場合)には、処理がステップSO6に進む。
【0101】
処理がステップSO3に進んだ場合、CPU18は、付加情報中の計測点確定フラグの値が1であるか否かを判定する(ステップSO3)。計測点確定フラグの値が1であった場合(2点目の計測点が確定している場合)には、処理がステップSO4に進む。また、計測点確定フラグの値が0であった場合(2点目の計測点が確定していない場合)には、処理がステップSO5に進む。
【0102】
処理がステップSO4に進んだ場合、CPU18は、カード I/F15を介してメモリカード32から画像データを読み出し、映像信号処理回路12へ出力する。また、CPU18は、付加情報に基づいて、操作メニューや、計測結果、計測点のアイコン等を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSO4)。これによって、画像と共に操作メニューや、計測結果、計測点のアイコン等がモニタ4に表示される。このとき、CPU18は、付加情報中の1点目座標および2点目座標が示す位置に1点目および2点目の計測点のアイコンを固定表示するように映像信号処理回路12を制御する。
【0103】
処理がステップSO5に進んだ場合、CPU18は、カード I/F15を介してメモリカード32から画像データを読み出し、映像信号処理回路12へ出力する。また、CPU18は、付加情報に基づいて、操作メニューや、計測結果、カーソル、計測点のアイコン等を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSO5)。これによって、画像と共に操作メニューや、計測結果、カーソル、計測点のアイコン等がモニタ4に表示される。このとき、CPU18は、付加情報中の1点目座標が示す位置に1点目の計測点のアイコンを固定表示し、付加情報中の現在カーソル座標が示す位置にカーソルを表示するように映像信号処理回路12を制御する。この後、ユーザがジョイスティックを操作すれば、その操作に応じてカーソルが移動する。
【0104】
処理がステップSO6に進んだ場合、CPU18は、カード I/F15を介してメモリカード32から画像データを読み出し、映像信号処理回路12へ出力する。また、CPU18は、付加情報に基づいて、操作メニューやカーソル等を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する(ステップSO6)。これによって、画像と共に操作メニューやカーソル等がモニタ4に表示される。このとき、CPU18は、所定のデフォルト位置にカーソルを表示するように映像信号処理回路12を制御する。この後、ユーザがジョイスティックを操作すれば、その操作に応じてカーソルが移動する。ステップS01〜S06が終了すると、画像再生処理が終了する。
【0105】
図23は、画像再生処理によりモニタ4に表示される画面を示している。図23(a)は、2点目の計測点が確定している場合の画面を示している。1点目の計測点2300,2301および2点目の計測点2310,2311の位置には、確定した計測点を示す「×」印のアイコンが表示される。また、カーソルが計測点2310,2311の位置に表示され、次の2点間計測のために1点目の計測点を入力することが可能となる。図23(b)は、2点目の計測点が確定していない場合の画面を示している。1点目の計測点2302,2303の位置には、確定した計測点を示す「×」印のアイコンが表示される。また、2点目の計測点の入力を行うためのカーソル2320,2321が表示される。
【0106】
上記の画像再生処理によって、画像記録前の画面状態を再現し、ユーザが続けて計測のための操作を行うことができる。なお、右画像上の計測点の座標については、左画像上の計測点の座標からパターンマッチング処理により算出してもよいし、右画像上の計測点の座標も付加情報に含めて画像と共に記録してもよい。
【0107】
次に、本実施形態の変形例を説明する。2点間計測の他に、2点間を結ぶ基準線に対して1点から下ろした垂線の長さを計測する線基準計測でもリアルタイムに計測を行うことが可能である。図24は、線基準計測時にモニタ4に表示される画面を示している。前述した手順と同様にして、ユーザが計測点2400,2401を確定する操作を行うと、計測点2400,2401を結ぶ基準線2410が描かれる。基準線2410を決定する際には、確定した1点目の計測点とカーソル位置との2点間距離がリアルタイムに算出され、計測結果2430として表示される。計測点2400,2401の確定後、ユーザがジョイスティックの操作によりカーソル2420を移動させると、カーソル2420の位置から基準線2410に下ろした垂線2411の長さが算出され、計測結果2430として表示される。
【0108】
また、処理能力の高い装置(パーソナルコンピュータ等)の使用により面積計算をリアルタイムに行うことが可能な場合にも、本実施形態の計測方法を適用することが可能である。図25は、面積計算時にモニタ4に表示される画面を示している。前述した手順と同様にして、ユーザは計測点2500,2501,2502,2503を確定する操作を行う。ユーザがジョイスティックの操作により所望の位置にカーソルを移動させ、計測点を確定する操作を行うと、その位置に計測点が固定表示され、次の計測点を入力するためのカーソルが表示される。また、最後に確定した計測点とカーソル位置との2点間距離がリアルタイムに算出され、計測結果2530として表示される。
【0109】
5点目の計測点を入力するためのカーソル2510および4点目の計測点2503を結ぶ線分2520が、1点目の計測点2500および2点目の計測点2501を結ぶ線分2521と交差すると、面積計算の対象となる閉領域が確定する。この閉領域は、線分2521,2522,2523,2524で囲まれた領域である。線分2524は閉領域の説明のために図示しているが、他の線分と同様に画面上に表示してもよい。閉領域が確定すると、閉領域の面積が算出され、計測結果2531として表示される。
【0110】
上述したように、本実施形態によれば、確定していない計測点と、確定した計測点との両方に基づいて計測を実行することが可能となる。これによって、計測点を確定する操作(ジョイスティックの押し込み操作)が減るので、操作の負担を軽減し、計測作業の効率を向上することができる。
【0111】
また、2点間計測のように軽い処理で実行可能な計測を行う場合には、確定していない計測点と、確定した計測点との両方に基づいて計測を実行することによって、計測作業の効率を向上することができる。さらに、面積計算のように重い処理が必要な計測を行う場合には、確定した計測点のみに基づいて計測を実行することによって、計測を頻繁に行うことによる処理負荷の増加を抑えることができる。
【0112】
また、画像記録時に画面状態を画像データと共に記録し、画像再生時にその画面状態を再現することによって、計測作業の効率を維持することができる。
【0113】
また、タイマから取得した時間、またはカーソルの移動速度に基づいて計測の実行タイミングを制御することによって、計測を頻繁に行うことによる処理負荷の増加を抑えることができる。
【0114】
また、カーソルの移動速度に応じてズームウィンドウの倍率を制御し、カーソルの移動速度が速い場合にズームウィンドウの倍率を低く、カーソルの移動速度が遅い場合にズームウィンドウの倍率を高くすることによって、計測作業の効率を向上することができる。
【0115】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【0116】
【図1】本発明の一実施形態による計測用内視鏡装置の全体構成を示す斜視図である。
【図2】本発明の一実施形態による計測用内視鏡装置の内部構成を示すブロック図である。
【図3】本発明の一実施形態による計測用内視鏡装置が有する内視鏡の挿入部の先端部の斜視図である。
【図4】本発明の一実施形態による計測用内視鏡装置が有する内視鏡の挿入部の先端部の断面図である。
【図5】本発明の一実施形態による計測用内視鏡装置に適用される光学アダプタに特有の光学データを測定する様子を示す斜視図である。
【図6】本発明の一実施形態による計測用内視鏡装置の表示画面を示す参考図である。
【図7】本発明の一実施形態による計測用内視鏡装置の全体動作の手順を示すフローチャートである。
【図8】本発明の一実施形態による計測用内視鏡装置の計測画面を示す参考図である。
【図9】本発明の一実施形態による計測用内視鏡装置のメニュー画面を示す参考図である。
【図10】本発明の一実施形態におけるカーソルの移動速度を示す参考図である。
【図11】本発明の一実施形態による計測用内視鏡装置が実行するステレオ計測の手順を示すフローチャートである。
【図12】本発明の一実施形態による計測用内視鏡装置が実行するステレオ計測の手順を示すフローチャートである。
【図13】本発明の一実施形態による計測用内視鏡装置が実行する3次元座標解析の手順を示すフローチャートである。
【図14】本発明の一実施形態における3次元座標解析の基本原理を示す参考図である。
【図15】本発明の一実施形態による計測用内視鏡装置が実行するパターンマッチング処理の手順を示すフローチャートである。
【図16】本発明の一実施形態による計測用内視鏡装置が実行する計測処理の手順を示すフローチャートである。
【図17】本発明の一実施形態による計測用内視鏡装置が実行するステレオ計測の手順を示すフローチャートである。
【図18】本発明の一実施形態による計測用内視鏡装置が実行するステレオ計測の手順を示すフローチャートである。
【図19】本発明の一実施形態による計測用内視鏡装置の計測画面を示す参考図である。
【図20】本発明の一実施形態による計測用内視鏡装置が実行する画像記録処理の手順を示すフローチャートである。
【図21】本発明の一実施形態における付加情報の内容を示す参考図である。
【図22】本発明の一実施形態による計測用内視鏡装置が実行する画像再生処理の手順を示すフローチャートである。
【図23】本発明の一実施形態による計測用内視鏡装置の再生画面を示す参考図である。
【図24】本発明の一実施形態による計測用内視鏡装置の計測画面を示す参考図である。
【図25】本発明の一実施形態による計測用内視鏡装置の計測画面を示す参考図である。
【符号の説明】
【0117】
1・・・計測用内視鏡装置、2・・・内視鏡、3・・・装置本体、4・・・モニタ、5・・・筐体、6・・・操作部(位置情報入力部、確定指示入力部)、8・・・内視鏡ユニット、9・・・CCU(撮像信号処理部)、10・・・制御ユニット、12・・・映像信号処理回路(表示信号生成部)、18・・・CPU(計測部、表示制御部、計測制御部、モード切替部、記録部、読出部)、20・・・挿入部、21・・・先端部、22・・・湾曲部、23・・・可撓管部、28・・・撮像素子

【特許請求の範囲】
【請求項1】
被写体像を光電変換し撮像信号を生成する内視鏡と、前記撮像信号を処理し画像データを生成する撮像信号処理部と、前記画像データを用いて三角測量の原理による計測を実行する計測部と、前記画像データに基づく画像を表示するための表示信号を生成する表示信号生成部とを備えた計測用内視鏡装置において、
画像上の計測位置を示す位置情報を入力するための位置情報入力部と、
前記計測位置の確定指示を入力するための確定指示入力部と、
前記位置情報入力部に入力された前記位置情報が示す位置に目印を表示し、前記確定指示入力部に前記確定指示が入力された場合には表示中の目印の位置を固定すると共に次の目印を表示するように前記表示信号生成部を制御する表示制御部と、
前記確定指示が入力されていない前記計測位置と、前記確定指示が入力された前記計測位置との両方に基づいて計測を実行するように前記計測部を制御する計測制御部と、
をさらに備えたことを特徴とする計測用内視鏡装置。
【請求項2】
前記確定指示が入力されていない前記計測位置と、前記確定指示が入力された前記計測位置との両方に基づいて前記計測部が計測を実行する第1の計測モードと、前記確定指示が入力された前記計測位置のみに基づいて前記計測部が計測を実行する第2の計測モードとを切り替えるモード切替部をさらに備えたことを特徴とする請求項1に記載の計測用内視鏡装置。
【請求項3】
表示中の目印に関する前記位置情報、表示中の目印に関する前記確定指示の入力の有無を示す状態情報、および前記画像データを記録媒体に記録する記録部をさらに備えたことを特徴とする請求項1または請求項2に記載の計測用内視鏡装置。
【請求項4】
前記位置情報、前記状態情報、および前記画像データを前記記録媒体から読み出す読出部をさらに備え、
前記表示制御部はさらに、前記記録媒体から読み出された前記位置情報が示す位置に目印を表示し、前記確定指示が入力された目印の位置を固定し、前記確定指示が入力されていない目印の位置を、前記位置情報入力部に入力された前記位置情報が示す位置に更新するように前記表示信号生成部を制御する
ことを特徴とする請求項3に記載の計測用内視鏡装置。
【請求項5】
前記計測制御部はさらに、所定のタイミングからの経過時間に基づいて、前記計測部が計測を実行するタイミングを制御することを特徴とする請求項1〜請求項4のいずれかに記載の計測用内視鏡装置。
【請求項6】
前記計測制御部はさらに、前記位置情報入力部に入力された前記位置情報が示す位置の移動速度に基づいて、前記計測部が計測を実行するタイミングを制御することを特徴とする請求項1〜請求項4のいずれかに記載の計測用内視鏡装置。
【請求項7】
前記表示信号生成部は、前記画像データに基づいて、前記位置情報入力部に入力された前記位置情報が示す位置の画像を表示するための前記表示信号を生成し、
前記表示制御部はさらに、前記位置情報入力部に入力された前記位置情報が示す位置の移動速度に応じて、前記位置情報が示す位置の画像の表示倍率を制御する
ことを特徴とする請求項1〜請求項6のいずれかに記載の計測用内視鏡装置。
【請求項8】
被写体像を光電変換し撮像信号を生成する内視鏡と、前記撮像信号を処理し画像データを生成する撮像信号処理部と、前記画像データを用いて三角測量の原理による計測を実行する計測部と、前記画像データに基づく画像を表示するための表示信号を生成する表示信号生成部とを備えた計測用内視鏡装置を制御するコンピュータを、
画像上の計測位置を示す位置情報を入力するための位置情報入力部と、
前記計測位置の確定指示を入力するための確定指示入力部と、
前記位置情報入力部に入力された前記位置情報が示す位置に目印を表示し、前記確定指示入力部に前記確定指示が入力された場合には表示中の目印の位置を固定すると共に次の目印を表示するように前記表示信号生成部を制御する表示制御部と、
前記確定指示が入力されていない前記計測位置と、前記確定指示が入力された前記計測位置との両方に基づいて計測を実行するように前記計測部を制御する計測制御部と、
として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2009−258273(P2009−258273A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−105521(P2008−105521)
【出願日】平成20年4月15日(2008.4.15)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】