内視鏡装置およびプログラム
【課題】ユーザに対応点の確認を促すことができる内視鏡装置およびプログラムを提供する。
【解決手段】カーソル位置算出部18aは、入力装置を介して入力される指示に基づいて、画像データに基づく被写体の第1の画像において第1の位置を指定する。対応点算出部18bは、画像データに基づく被写体の第2の画像において、第1の画像における第1の位置に対応する第2の位置を算出する。表示処理部18cは、第1の位置が指定されたときに第1の位置に目印を表示し、続いて第1の位置と異なると共に第2の位置と異なる第3の位置に目印を表示し、続いて第2の位置に目印を表示する制御を行う。
【解決手段】カーソル位置算出部18aは、入力装置を介して入力される指示に基づいて、画像データに基づく被写体の第1の画像において第1の位置を指定する。対応点算出部18bは、画像データに基づく被写体の第2の画像において、第1の画像における第1の位置に対応する第2の位置を算出する。表示処理部18cは、第1の位置が指定されたときに第1の位置に目印を表示し、続いて第1の位置と異なると共に第2の位置と異なる第3の位置に目印を表示し、続いて第2の位置に目印を表示する制御を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、同一の被写体に関する複数の被写体像を撮像する内視鏡装置に関する。また、本発明は、内視鏡装置を動作させるためのプログラムに関する。
【背景技術】
【0002】
工業用の内視鏡装置は、ボイラー、タービン、エンジン、パイプ等の内部の傷や腐食等の観察や検査に使用されている。また、内視鏡で撮像された画像上で指定された計測点をもとに、三角測量の原理で長さや面積などの計測を行う機能を備えた内視鏡装置がある。この内視鏡装置では、多様な観察物を観察および検査することができるようにするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。
【0003】
上記の光学アダプタとして、同一被写体に関する2つの被写体像を結像可能なステレオ光学アダプタがある。ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学系測距点の座標に基づいて、三角測量の原理を使用して被写体の3次元空間座標を求めることによって、被写体の長さや面積などを計測することができる。
【0004】
図20は、内視鏡装置の表示装置が計測時に表示する画面(以下、計測画面と記載)の一例を示している。図20(a)に示す計測画面には、ステレオ光学アダプタで捉えられた左右の被写体像に対応した左画像900aと右画像900bが表示される。
【0005】
左画像900aには、計測位置を示す計測点を指定するためのカーソル910が表示される。また、右画像900bには、左画像900aにおけるカーソル910の位置に対応する対応点の位置を示す対応点アイコン920が表示される。カーソル910の表示位置は、ユーザが内視鏡装置に入力する指示に基づいて設定される。左画像900a内にカーソル910が設定されると、カーソル910の表示位置に対応した右画像900b上の対応点の位置を計算するマッチング処理が実行される。
【0006】
ユーザは、内視鏡装置にカーソル910の移動指示を入力することにより、カーソル910を表示画面内で移動させることができる。また、カーソル910の移動に伴って、対応点アイコン920が移動する。ユーザがカーソル910を所望の位置に移動させ、計測点を指定(確定)する指示を入力すると、図20(b)に示すように、指定された計測点の位置を示す計測点アイコン930がカーソル910の位置に表示されると共に、計測点に対応する対応点の位置に対応点アイコン940が表示される。複数の計測点が指定された後、それらの計測点の位置に基づいて被写体が計測される。左画像上の複数の計測点および右画像上の複数の対応点に基づいて被写体の計測を行う手順の詳細は、例えば特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2008−185895号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
計測精度は上記のマッチング処理の精度に大きく依存する。左画像上の計測点の位置および右画像上の対応点の位置と左右の被写体との位置関係がほぼ同一であれば、計測精度は比較的良い。これに対して、左画像上の計測点の位置および右画像上の対応点の位置と左右の被写体との位置関係が大きく異なると、計測精度が低下する。このため、ユーザは、計測点を指定した際に、左画像上の計測点の位置および右画像上の対応点の位置を目視により確認することが望ましい。しかし、ユーザが計測点を指定することに集中し、計測点だけを見て対応点を確認しないという場合がある。
【0009】
本発明は、上述した課題に鑑みてなされたものであって、ユーザに対応点の確認を促すことができる内視鏡装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、上記の課題を解決するためになされたもので、同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、入力装置を介して入力される指示に基づいて、前記画像データに基づく前記被写体の第1の画像において第1の位置を指定する指定部と、前記画像データに基づく前記被写体の第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出する位置算出部と、前記第1の画像および前記第2の画像を表示する表示部と、前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行う表示制御部と、前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行う計測部と、を備えたことを特徴とする内視鏡装置である。
【0011】
また、本発明の内視鏡装置において、前記表示制御部はさらに、前記第1の位置が指定されてから前記第2の位置に目印が表示されるまで、前記第1の画像における位置の指定を禁止することを特徴とする。
【0012】
また、本発明の内視鏡装置において、前記表示制御部はさらに、前記第1の位置が指定されてから、前記入力装置を介して、前記第2の位置の確認が行われたことを示す情報が入力されるまで、前記第1の画像における位置の指定を禁止することを特徴とする。
【0013】
また、本発明の内視鏡装置において、前記計測部は、前記第1の位置および前記第2の位置に基づいて前記被写体までの距離を計測し、前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように目印を表示する制御を行うと共に、目印の移動速度または移動時間を前記距離に基づいて制御することを特徴とする。
【0014】
また、本発明の内視鏡装置において、前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、目印の移動速度または移動時間を前記第1の位置から前記第2の位置までの距離に基づいて制御することを特徴とする。
【0015】
また、本発明の内視鏡装置において、前記表示制御部は、目印が前記第1の位置から移動を開始し、複数の前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、それぞれの前記第3の位置から前記第1の位置または前記第2の位置までの距離に基づいて、前記第1の位置または前記第3の位置から次に通る前記第3の位置または前記第2の位置に目印が移動するときの移動速度または移動時間を制御することを特徴とする。
【0016】
また、本発明の内視鏡装置において、前記第3の位置から前記第1の位置までの距離と、前記第3の位置から前記第2の位置までの距離とが、前記第1の位置から前記第2の位置までの距離よりも短いことを特徴とする。
【0017】
また、本発明の内視鏡装置において、前記第3の位置は、前記画像データに基づく画像において計測対象の前記被写体が占める領域以外の位置であることを特徴とする。
【0018】
また、本発明は、同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、前記画像データに基づく前記被写体の第1の画像および前記被写体の第2の画像を表示する表示部と、を備えた内視鏡装置に、入力装置を介して入力される指示に基づいて、前記第1の画像において第1の位置を指定するステップと、前記第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出するステップと、前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行うステップと、前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行うステップと、を実行させるためのプログラムである。
【発明の効果】
【0019】
本発明によれば、第1の位置が指定されたときに第1の位置に目印を表示し、続いて第3の位置に目印を表示し、続いて第2の位置に目印を表示することによって、ユーザに対して、視線を第1の位置から第2の位置に移動させることを促すことが可能となる。したがって、ユーザに対応点の確認を促すことができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。
【図2】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。
【図3】本発明の一実施形態による内視鏡装置が備えるCPUの機能構成を示すブロック図である。
【図4】本発明の一実施形態による内視鏡装置が備えるリモートコントローラの斜視図である。
【図5】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。
【図6】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。
【図7】本発明の一実施形態におけるステレオ計測による計測点の3次元座標の求め方を説明するための参考図である。
【図8】本発明の一実施形態における計測画面を示す参考図である。
【図9】本発明の一実施形態における計測画面を示す参考図である。
【図10】本発明の一実施形態における計測画面を示す参考図である。
【図11】本発明の一実施形態における計測画面を示す参考図である。
【図12】本発明の一実施形態における計測時の処理の手順を示すフローチャートである。
【図13】本発明の一実施形態における計測時の処理の手順を示すフローチャートである。
【図14】本発明の一実施形態における計測時の処理の手順を示すフローチャートである。
【図15】本発明の一実施形態における計測画面を示す参考図である。
【図16】本発明の一実施形態における計測画面を示す参考図である。
【図17】本発明の一実施形態における計測画面を示す参考図である。
【図18】本発明の一実施形態における計測点アイコンの移動時間を示す参考図である。
【図19】本発明の一実施形態における計測点アイコンの移動の速さを制御する方法を示す参考図である。
【図20】従来の計測画面を示す参考図である。
【発明を実施するための形態】
【0021】
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による内視鏡装置の全体構成を示している。図1に示すように、内視鏡装置1は、細長な挿入部20を有する内視鏡2と、この内視鏡2の挿入部20を収納する収納部を備えた制御装置であるコントロールユニット3と、装置全体の各種動作制御を行う際に必要な操作を行うためのリモートコントローラ4と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う表示装置であるLCD5(液晶モニタ)とを含んで構成されている。
【0022】
挿入部20は硬質な先端部21と、柔軟性を有する可撓管部と(例えば上下左右に湾曲可能な湾曲部22(図2))を連設して構成されている。先端部21には、観察視野を2つ有するステレオ光学アダプタ7a,7b、あるいは観察視野が1つの通常観察光学アダプタ7c等、各種光学アダプタが着脱自在になっている。
【0023】
図2に示すように、コントロールユニット3内には、内視鏡ユニット8、CCU9(カメラコントロールユニット)、および制御ユニット10が設けられており、挿入部20の基端部は内視鏡ユニット8に接続されている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置(不図示)と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置(不図示)とを備えて構成されている。
【0024】
挿入部20の先端部21には固体撮像素子2a(図5参照)が内蔵されている。固体撮像素子2aは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。CCU9には、固体撮像素子2aから出力された撮像信号が入力される。この撮像信号は、CCU9内で例えばNTSC信号等の映像信号に変換されて、制御ユニット10へ供給される。
【0025】
制御ユニット10内には、音声信号処理回路11、映像信号が入力される映像信号処理回路12、ROM13、RAM14、PCカードI/F15(PCカードインターフェイス)、USB I/F16(USBインターフェイス)、およびRS−232C I/F17(RS−232Cインターフェイス)等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うCPU18とが設けられている。
【0026】
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行うリモートコントローラ4が接続されている。ユーザがリモートコントローラ4を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
【0027】
USB I/F16は、コントロールユニット3とパーソナルコンピュータ31とを電気的に接続するためのインターフェイスである。このUSB I/F16を介してコントロールユニット3とパーソナルコンピュータ31とを接続することによって、パーソナルコンピュータ31側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット3とパーソナルコンピュータ31との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【0028】
また、PCカードI/F15には、PCMCIAメモリカード32やフラッシュメモリカード33等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをPCカードI/F15に装着することにより、CPU18による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット3への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。
【0029】
映像信号処理回路12は、CCU9から供給された内視鏡画像と、グラフィックによる操作メニューや各種GUI部品(カーソル等)とを合成した合成画像を表示するため、CPU18の制御により生成される、操作メニューや各種GUI部品に基づくグラフィック画像信号とCCU9からの映像信号を合成する処理や、LCD5の画面上に表示するのに必要な処理等を行い、映像信号をLCD5に供給する。また、この映像信号処理回路12は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、LCD5の画面上には、内視鏡画像、操作メニュー等のグラフィック画像、内視鏡画像と操作メニュー等のグラフィック画像との合成画像等が表示される。
【0030】
また、映像信号処理回路12は、CCU9からの映像信号に基づく画像データをCPU18へ出力する。計測時には先端部21にステレオ光学アダプタが装着されるため、映像信号処理回路12からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。本実施形態では、一例として、左右の一対の被写体像が含まれるものとする。
【0031】
音声信号処理回路11には、マイク34によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはCPU18によって生成された音声信号が供給される。この音声信号処理回路11は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ35に出力する。このことによって、スピーカ35から音声が出力される。
【0032】
CPU18は、ROM13に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。また、計測時には、CPU18は、映像信号処理回路12から画像データを取り込み、画像データに基づいて計測処理を実行する。RAM14は、CPU18によって、データの一時格納用の作業領域として使用される。
【0033】
図3は、CPU18のうち、本実施形態の説明の中心となる部分の機能構成を示している。CPU18は、カーソル位置算出部18a、対応点算出部18b、表示処理部18c、計測部18d、および制御部18eを有する。
【0034】
カーソル位置算出部18aは、ユーザが入力装置として使用するリモートコントローラ4からの信号に基づいてカーソルの移動指示を検出し、移動後のカーソルの左画像上の位置を算出する。この位置が計測点の位置となる。また、ユーザがリモートコントローラ4を介して計測点の指定指示(確定指示)を入力した場合、カーソル位置算出部18aは、算出したカーソルの位置を計測対象の計測点の位置として指定(認識)する。
【0035】
対応点算出部18bは、カーソル位置算出部18aによって指定された左画像上の計測点の位置に対応した右画像上の対応点の位置を画像のパターンマッチングにより算出するマッチング処理を実行する。表示処理部18cは、被写体の画像に重畳して表示するカーソルや、計測点アイコン、対応点アイコン等のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。また、表示処理部18cは、LCD5に表示される画像におけるカーソルや、計測点アイコン、対応点アイコン等の表示位置を制御する。
【0036】
計測部18dは、映像信号処理回路12から取得した画像データに基づいて、被写体に関する各種計測(物体距離計測、2点間距離計測、面積計測等)を実行する。制御部18eは、カーソル位置算出部18a、対応点算出部18b、表示処理部18c、計測部18dを制御すると共に、内視鏡装置1の各部を制御する。
【0037】
図4に示すように、リモートコントローラ4の前面には、ジョイスティック41、レバースイッチ42、フリーズスイッチ43、ストアースイッチ44、および計測実行スイッチ45が設けられている。また、リモートコントローラ4の側面にはWIDEスイッチ46およびTELEスイッチ47が設けられている。
【0038】
ジョイスティック41は、湾曲部22の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部22がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、ジョイスティック41を真下に押下することによって湾曲動作の微調整の指示を入力することも可能である。レバースイッチ42は、グラフィック表示される各種メニューの操作や、計測を行う場合のカーソル移動の際に操作されるスイッチであり、ジョイスティック41と略同様に構成されている。フリーズスイッチ43は、LCD5での表示に関わるスイッチである。
【0039】
ストアースイッチ44は、フリーズスイッチ43の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するために用いるスイッチである。計測実行スイッチ45は、計測ソフトを実行する際に用いるスイッチである。フリーズスイッチ43、ストアースイッチ44、および計測実行スイッチ45は、オン/オフの指示を押下操作によって行う例えば押下式を採用して構成されている。
【0040】
WIDEスイッチ46、TELEスイッチ47はそれぞれ内視鏡画像を拡大、縮小するときに用いるスイッチである。挿入部20で撮像される内視鏡画像は、映像信号処理回路12によって必要に応じて拡大または縮小される。この拡大または縮小の倍率の制御はWIDEスイッチ46とTELEスイッチ47の操作により行われる。
【0041】
図5および図6は、本実施形態の内視鏡装置1で用いられる光学アダプタの1つであるステレオ光学アダプタ7aの一例の構成を示している。図5および図6に示すように、直視型のステレオ光学アダプタ7aの先端面には、一対の照明レンズ51,52と2つの対物レンズ系53,54とが設けられており、図5に示すように、固定リング50の雌ねじ50aを、先端部21に形成されている雄ねじ21aに螺合することによって一体的に固定されるようになっている。
【0042】
図6に示すように、2つの対物レンズ系53,54により、先端部21内に配設された固体撮像素子2aの撮像面上に2つの光学像が結像される。そして、この固体撮像素子2aで光電変換された撮像信号は、電気的に接続された信号線2bおよび内視鏡ユニット8を介してCCU9に供給されて映像信号に変換され、その後、映像信号処理回路12に供給される。
【0043】
次に、図7を参照し、ステレオ計測による計測点の3次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測対象点60の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。ただし、歪み補正が施された左右の画像上の計測点61、対応点62の座標をそれぞれ(XL,YL)、(XR,YR)とし、左側と右側の光学中心63,64の距離をDとし、焦点距離をFとし、t=D/(XL−XR)とする。
X=t×XR+D/2 ・・・(1)
Y=t×YR ・・・(2)
Z=t×F ・・・(3)
【0044】
上記のように計測点61および対応点62の座標が決定されると、パラメータDおよびFを用いて計測対象点60の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心63、または右側の光学中心64から被写体までの距離(物体距離)を求めることも可能となる。上記のステレオ計測を行うためには、先端部21とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開2004−49638号公報に記載されているので、その説明を省略する。
【0045】
次に、図8〜図11を参照し、計測時の表示画面(計測画面)の遷移について説明する。以下では、2点間距離計測を例として説明を行う。図8(a)は、計測開始時の計測画面を示している。計測画面には、ステレオ光学アダプタで捉えられた、計測対象である同一被写体に関する左右の被写体像に対応した左画像80aと右画像80bが表示される。また、左画像80a上には、計測点の位置を示すカーソル81が表示され、右画像80b上には、左画像80aにおけるカーソル81の位置に対応する対応点の位置を示す目印となる対応点アイコン82が表示される。
【0046】
左画像80aと右画像80bの間には、各種のメニュー83や、ズームウィンドウ84a,84b、物体距離85、およびカーソル座標86が表示される。これらは、画像データに基づく画像において、計測対象である被写体の画像(左画像80a、右画像80b)が占める領域以外の領域に表示される。この領域は、ステレオ光学アダプタに内蔵されている、入射した光を遮光するマスクの画像に対応した領域である。ズームウィンドウ84aにはカーソル81の周辺の拡大画像が表示され、ズームウィンドウ84bには対応点アイコン82の周辺の拡大画像が表示される。物体距離85は物体距離の計測結果を示している。カーソル座標86はカーソル81の画像上の座標(2次元座標)を示している。
【0047】
計測画面の下部には物体距離インジケータ87が表示される。物体距離インジケータ87は、物体距離を視覚的に表すスケールである。物体距離に応じて、物体距離インジケータ87の表示形態が変化する。具体的には、物体距離が長くなるほど、物体距離インジケータ87の方形状のアイコンの数が増加する。また、物体距離インジケータ87の方形状のアイコンの色は、物体距離に応じた色に設定される。物体距離85の文字の色、カーソル81の色、および対応点アイコン82の色も、物体距離に応じた色に設定される。
【0048】
前述したように、ユーザは、リモートコントローラ4を介してカーソル81の移動指示を入力することにより、カーソル81を移動させることができる。また、カーソル81の移動に伴って、対応点アイコン82が移動すると共に、ズームウィンドウ84a,84b内の画像が更新される。
【0049】
ユーザがカーソル81を所望の位置に移動させ、計測点を指定(確定)する指示を入力すると、図8(b)に示すように、指定された計測点の位置を示す目印となる計測点アイコン88がカーソル81の位置(計測点の位置)に表示される。この瞬間以降、計測点アイコン88とは別の計測点アイコンが計測画面に表示され、カーソル81の位置から対応点アイコン82の位置(対応点の位置)へ向かって計測画面上を移動する。
【0050】
図9(a)は、計測点アイコン89aがカーソル81の位置から対応点アイコン82の位置へ向かって移動している途中の一時点における計測画面を示している。図9(b)は、図9(a)の時点よりも時間が経過した後の計測画面を示している。図9(b)では、図9(a)よりも計測点アイコン89aが対応点アイコン82に近づいている。
【0051】
図10(a)は、計測点アイコン89aが対応点アイコン82の位置に到達した時点の計測画面を示している。計測点アイコン89aは、対応点アイコン82の位置に到達すると移動を停止し、対応点82の位置を示す目印となる対応点アイコン89bとして機能する。このように計測点アイコン89aが計測画面上を移動すると、ユーザの視線を計測点アイコン89aに引き付ける効果が期待できる。計測点アイコン89aは、カーソル81の位置、すなわち指定された計測点の位置から対応点アイコン82の位置まで移動するので、ユーザの視線を計測点の位置から対応点の位置まで移動させることになる。このため、ユーザに対応点の確認を促すことができる。本実施形態では、一例として、計測点アイコン89aが移動を開始してから移動を終了するまでの移動時間が一定(例えば1秒)となるように計測点アイコン89aの移動が制御される。
【0052】
上記のようにして1点目の計測点が指定されると、2点目の計測点の指定が行われる。図10(b)は、2点目の計測点を指定するためにユーザがカーソル81を移動させている途中の一時点における計測画面を示している。本実施形態では、1点目の計測点とカーソル81の位置とのそれぞれに対応する3次元座標間の2点間距離がリアルタイムに計測される。リアルタイム計測では、カーソル81の位置と計測点アイコン88の位置とを結ぶ計測線90aが表示されると共に、対応点アイコン82の位置と対応点アイコン89bの位置とを結ぶ計測線90bが表示される。また、カーソル81の位置および対応点アイコン82の位置に対応する3次元座標と、計測点アイコン88の位置および対応点アイコン89bの位置に対応する3次元座標との2点間距離を示す計測結果91が表示される。さらに、カーソル81の移動に伴って、計測結果91がリアルタイムに更新される。
【0053】
ユーザがカーソル81を所望の位置に移動させ、2点目の計測点を指定(確定)する指示を入力すると、1点目の計測点の指定時と同様に、指定された2点目の計測点の位置を示す目印となる計測点アイコンが計測画面に表示される。また、この計測点アイコンとは別の計測点アイコンがカーソル81の位置から対応点アイコン82の位置へ向かって計測画面上を移動する。このとき、計測結果91も計測点アイコンと共に移動する。上記により、ユーザに2点目の対応点の確認を促すことができる。
【0054】
図11は、計測点アイコンの移動が終了した時点の計測画面を示している。2点目の計測点の位置(カーソル81の位置)に計測点アイコン92が表示され、2点目の対応点の位置(対応点アイコン82の位置)の位置に対応点アイコン93が表示される。この対応点アイコン93は、計測点の位置から移動した計測点アイコンと同一である。また、計測点の位置から移動した計測結果91は計測結果タグ94として表示される。
【0055】
次に、計測時の内視鏡装置1の動作を説明する。以下では、2点間距離計測を例として説明を行う。まず、図12を参照し、第1の動作例を説明する。計測が開始されると、制御部18eは、指定された計測点の数を示す変数を初期化する(ステップS100)。続いて、制御部18eは、リモートコントローラ4からの信号に基づいて、イベントの内容を判定する(ステップS105)。
【0056】
イベントの内容がカーソルの移動指示を示していた場合、カーソル位置算出部18aは、リモートコントローラ4からの信号に基づいてカーソルの移動量を算出し、現時点のカーソルの位置に対して、算出した移動量を加えることにより、次の時点のカーソルの位置(計測点の位置)を算出する(ステップS110)。続いて、対応点算出部18bは、ステップS110で算出されたカーソルの位置に対応した右画像上の対応点の位置をマッチング処理により算出する(ステップS115)。続いて、計測部18dは、ステップS110で算出されたカーソルの位置と、ステップS115で算出された対応点の位置とに基づいて、計測対象点の3次元座標を算出する(ステップS120)。
【0057】
続いて、表示処理部18cは、物体距離(計測対象点のZ座標)に応じたカーソルの色を設定してカーソルのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。このとき、表示処理部18cは、ステップS110で算出されたカーソルの位置にカーソルが表示されるようにカーソルの表示位置を制御する。これにより、計測画面上にカーソルが表示される(ステップS125)。さらに、表示処理部18cは、物体距離に応じた対応点アイコンおよび物体距離の文字の色を設定して対応点アイコンおよび物体距離のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。このとき、表示処理部18cは、ステップS115で算出された対応点の位置に対応点アイコンが表示されるように対応点アイコンの表示位置を制御する。これにより、計測画面上に対応点アイコンおよび物体距離が表示される(ステップS130)。
【0058】
続いて、制御部18eは、指定された計測点の数を示す変数の値を判定する(ステップS135)。変数の値が0の場合、処理はステップS105に戻る。また、変数の値が1の場合、表示処理部18cは、物体距離に応じた計測線の色を設定して計測線のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、1点目の計測点アイコンとカーソルとを結ぶ計測線が計測画面上に表示される(ステップS140)。
【0059】
続いて、計測部18dは、1点目の計測点に関してステップS120で算出された3次元座標と、現在のカーソル位置が示す計測点に関してステップS120で算出された3次元座標との空間距離すなわち2点間距離を算出する(ステップS145)。続いて、表示処理部18cは、物体距離に応じた計測結果の文字の色を設定して計測結果のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、計測画面上に2点間距離の計測結果(リアルタイム計測結果)が表示される(ステップS150)。続いて、処理はステップS105に戻る。
【0060】
一方、ステップS105において、イベントの内容が計測点の指定指示を示していた場合、カーソル位置算出部18aは、最後にステップS110で算出したカーソルの位置を計測対象の計測点の位置として指定(認識)する(ステップS155)。続いて、表示処理部18cは、2個の計測点アイコンの色を設定して計測点アイコンのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。このとき、表示処理部18cは、ステップS155で指定された計測点の位置に計測点アイコンが表示されるように計測点アイコンの表示位置を制御する。これにより、計測画面上に2個の計測点アイコンが重なって表示される(ステップS160)。続いて、制御部18eは、指定された計測点の数を示す変数の値を判定する(ステップS165)。
【0061】
変数の値が0の場合、表示処理部18cは、ステップS155で指定された計測点の位置に表示されている2個の計測点アイコンのうち、一方を消去する(非表示とする)制御を行う。また、表示処理部18cは、消去した計測点アイコンと同じ計測点アイコンを、ステップS155で指定された計測点の位置およびこの計測点に対応する対応点の位置とは異なる位置に表示する制御を行う。計測点アイコンが計測点の位置から対応点の位置まで移動しているようにユーザに見せるため、計測点アイコンは、まず、計測点の位置の近傍位置であって、計測点の位置から対応点の方向にわずかだけずれた位置に表示される。
【0062】
次の時点において、表示処理部18cは、対応点の方向にずらして表示した計測点アイコンを消去し、この消去した計測点アイコンを、消去前の表示位置から対応点の方向にわずかにずれた位置に表示する制御を行う。これを繰り返すことにより、計測画面上で計測点アイコンは計測点の位置から対応点の位置に向かって移動する。その後のある時点において、表示処理部18cは、対応点の方向にずらして表示した計測点アイコンを消去し、この消去した計測点アイコンを対応点の位置に表示する制御を行う。対応点の位置に計測点アイコンを表示した時点で、表示処理部18cは計測点アイコンの移動を終了する(ステップS170)。続いて、制御部18eは、指定された計測点の数を示す変数の値を1とする(ステップS175)。続いて、処理はステップS105に戻る。
【0063】
一方、ステップS165において、指定された計測点の数を示す変数の値が1であった場合、表示処理部18cは、ステップS155で指定された計測点の位置に表示されている2個の計測点アイコンのうち、一方の計測点アイコンおよび計測結果を、ステップS155で指定された計測点の位置から、この計測点に対応する対応点の位置まで移動する制御を行う(ステップS180)。ステップS180における制御の内容はステップS170における制御の内容と同様である。
【0064】
続いて、表示処理部18cは、ステップS180で移動した計測結果を消去する制御を行う(ステップS185)。さらに、表示処理部18cは、物体距離に応じた計測結果タグの色を設定して計測結果タグのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、計測画面上に計測結果タグが表示される(ステップS190)。続いて、制御部18eは、指定された計測点の数を示す変数の値を0とする(ステップS195)。続いて、処理はステップS105に戻る。
【0065】
図12に示すように、ステップS170における計測点アイコンの移動またはステップS180における計測点アイコンおよび計測結果の移動が終了するまで、以降の処理は実行されない。したがって、計測点アイコンが移動している間、制御部18eはカーソルの移動指示や計測点の指定指示を無効とし、ユーザはカーソルの移動や計測点の指定を行うことができない。これは、計測点アイコンが移動している間、カーソルの移動や計測点の指定が禁止されることと同等である。これによって、ユーザに対応点の確認をより確実に促すことができる。
【0066】
次に、図13および図14を参照し、第2の動作例を説明する。第2の動作例では、ユーザによって計測点の指定指示が入力され、計測点の位置から対応点の位置に計測点アイコンが移動した後、ユーザに対して明示的に対応点を確認させるための処理が行われる。図13と図12の違いは、ステップS170とステップS175の間、およびステップS190とステップS195の間に、ユーザに対して明示的に対応点を確認させるための処理(ステップS200)が追加されている点である。
【0067】
図14は、ステップS200における処理を示している。まず、表示処理部18cは、ユーザに対応点の確認を促すメッセージを含むグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、計測画面上にメッセージが表示される(ステップS200a)。続いて、制御部18eは、リモートコントローラ4からの信号に基づいて、イベントの内容を判定する(ステップS200b)。
【0068】
メッセージの表示後、ユーザは、対応点の確認結果に基づいて、計測点の指定をやり直すか否かを決定し、その結果を入力することが求められる。イベントの内容が、計測点の指定をやり直さないことを示している場合、処理はステップS105に戻る。この場合、対応点が良好であるとユーザが判断したと推測できる。また、イベントの内容が、計測点の指定をやり直すことを示している場合、表示処理部18cは、表示画面上の計測点アイコンおよび対応点アイコン(ステップS190の後のステップS200では計測結果タグも)を消去する制御を行う(ステップS200c)。この場合、対応点が良好でないとユーザが判断したと推測できる。続いて、処理はステップS175またはステップS195に進む。
【0069】
図13および図14に示すように、対応点の確認結果が入力されるまで、以降の処理は実行されない。したがって、対応点の確認結果が入力されるまで、制御部18eはカーソルの移動指示や計測点の指定指示を無効とし、ユーザはカーソルの移動や計測点の指定を行うことができない。これは、対応点の確認結果が入力されるまで、カーソルの移動や計測点の指定が禁止されることと同等である。これによって、ユーザに対応点の確認をより確実に促すことができる。
【0070】
上記では、ユーザが何らかの確認結果を必ず入力するようにしているが、計測点の指定をやり直す場合にのみ、ユーザが確認結果を入力するようにしてもよい。すなわち、例えばメッセージの表示から所定時間が経過するまでに、計測点の指定をやり直す指示が入力された場合には処理がステップS200cに進み、メッセージの表示から所定時間が経過するまで何も入力されなかった場合には処理がステップS175またはステップS195に進むようにしてもよい。
【0071】
次に、計測点アイコンの移動に関して説明を加える。計測点アイコンは計測点の位置から対応点の位置にむかって直線的に移動してもよいし、曲線的あるいはジグザグに移動してもよい。例えば、計測点アイコンは図15(a)の経路C1と経路C2のどちらを通って移動してもよい。経路C1は、計測点の位置から対応点の位置までの最短経路である。計測点アイコンが経路C1を通る場合、前述したマスクの画像が表示されている領域D1を通ることになる。また、計測点アイコンが経路C2を通る場合、マスクの画像に重畳されたグラフィック画像が表示されている領域D2を通ることになる。
【0072】
計測点アイコンが図15(b)の経路C3を通って移動するようにしてもよいが、経路C3では計測点アイコンが一旦計測画面から消えてしまい、ユーザが混乱する可能性がある。したがって、経路C3よりは経路C1や経路C2のほうがより望ましい。計測点アイコンが通る経路がなるべく短いほうが望ましい場合には、経路上の全ての点について、その点から計測点までの距離およびその点から対応点までの距離が計測点から対応点までの距離よりも短いことが望ましい。
【0073】
また、計測点アイコンを移動させるのではなく、計測点の位置から対応点の位置に向かって、新たな計測点アイコンを順次表示するようにしてもよい。例えば、計測点の指定指示が入力された場合、表示処理部18cは、図16(a)に示すように、新たな計測点アイコン89cを、計測点の位置から対応点の方向にずれた位置に表示する制御を行う。次の時点において、表示処理部18cは、図16(b)に示すように、新たな計測点アイコン89dを、計測点アイコン89cの位置から対応点の方向にずれた位置に表示する制御を行う。対応点の位置に新たな計測点アイコンが表示されるまで、上記の動作が繰り返される。対応点の位置に新たな計測点アイコンが表示されると、対応点に表示された計測点アイコン(対応点アイコンとして機能する)と、計測点の位置に表示された計測点アイコンとを除く、新たに表示された計測点アイコンが消去される。
【0074】
また、計測点の位置から対応点の位置に向かって、矢印等が伸びていくようにしてもよい。例えば、計測点の指定指示が入力された場合、表示処理部18cは、計測点の位置に計測点アイコンを表示すると共に、計測点の位置と、計測点の位置から対応点の方向に距離d1だけずれた位置とを結ぶ矢印を表示する制御を行う。次の時点において、表示処理部18cは、前の時点で表示した矢印を消去すると共に、計測点の位置と、計測点の位置から対応点の方向に距離d2(d1<d2)だけずれた位置とを結ぶ矢印を表示する制御を行う。計測点の位置と対応点の位置とを結ぶ矢印が表示されるまで、上記の動作が繰り返される。図17(a)は、計測点の指定指示が入力された後の一時点の計測画面を示しており、計測点の位置を起点とする矢印100が表示されている。図17(b)は、矢印100が対応点の位置に到達した時点の計測画面を示している。この直後、矢印100は消去され、対応点の位置に対応点アイコンが表示される。
【0075】
また、計測点アイコンが対応点の位置に移動した直後、この計測点アイコンを強調して表示してもよい。例えば、移動が終了してから一定期間、移動した計測点アイコンを点滅表示したり、移動した計測点アイコンをより大きく表示したり、移動した計測点アイコンの大きさを周期的に変化させて表示したりしてもよい。もちろん、移動中の計測点アイコンを強調して表示してもよい。
【0076】
また、計測点アイコンの移動速度または移動時間を様々に変化させてもよい。図18(a)は、計測点の指定指示が入力された場合に計測点アイコンが移動を開始してから対応点に到達するまでの移動時間を、計測点と対応点との距離毎に示している。本実施形態では、一例として、計測点と対応点との距離によらず、移動時間は一定である。したがって、計測点と対応点との距離がより長いほうが、ユーザには、視覚的に計測点アイコンがより速く移動するように感じられる。また、計測点と対応点との距離によらず移動速度を一定とした場合には、計測点と対応点との距離が短いときに計測点アイコンの移動が一瞬で終了してしまいユーザがそれに気付かない可能性があるが、計測点と対応点との距離によらず移動時間を一定とすることによって、計測点アイコンが移動していることをユーザにより確実に認識させることができる。
【0077】
また、物体距離に応じて計測点アイコンの移動速度または移動時間を変化させてもよい。図18(b)は、計測点の指定指示が入力された場合に計測点アイコンが移動を開始してから対応点に到達するまでの移動時間を物体距離毎に示している。一例として、物体距離が長いほど(被写体が遠いほど)、移動時間が長くなる。これによって、物体距離に応じた視覚効果をユーザに与えることが可能となり、ユーザに対応点の確認をより確実に促すことができる。
【0078】
移動の速さは一定でなくてもよく、例えば、計測点アイコンが対応点の位置に近づいたら移動が遅くなるようにしてもよい。図19は、計測点アイコンの移動の速さを制御する方法の一例を示している。計測点アイコンが計測点から対応点まで移動する経路を区間S1〜S6の6個の区間に分割し、各区間の境界となる点を点A〜Eとする。図19に示すように、区間毎に移動時間が制御される。
【0079】
図19では、区間S1〜S4の各区間における移動時間は一定であるが、区間S5における移動時間は区間S1〜S4の各区間における移動時間よりも長く、区間S6における移動時間は区間S5における移動時間よりも長い。言い換えると、区間S1〜S4の各区間における移動速度は一定であるが、区間S5における移動速度は区間S1〜S4の各区間における移動速度よりも遅く、区間S6における移動速度は区間S5における移動速度よりも遅い。各区間における移動時間は、例えば各区間の起点(計測点と点A〜E)から計測点または対応点までの距離に応じて制御される。上記のように、計測点アイコンの移動に変化を持たせることで、ユーザの視線を計測点アイコンに引き付ける効果が期待できる。
【0080】
上記では、ユーザの視線を引き付けるための目印として計測点アイコンや矢印を表示しているが、ユーザが視認できる大きさを有し、目印として機能するものであれば、図形、文字、記号等の何でもよい。また、補助機能として、ユーザに対応点の確認を促す音声をスピーカ35から発生してもよい。
【0081】
上述したように、本実施形態によれば、ユーザによって計測点が指定されたときに、計測点の位置に計測点アイコンを表示し、続いて計測点アイコンを対応点の位置まで移動することによって、ユーザに対して、視線を計測点の位置から対応点の位置に移動させることを促すことが可能となる。したがって、ユーザに対応点の確認を促すことができる。
【0082】
また、計測点が指定されてから計測点アイコンの移動が完了するまで次の計測点の指定を禁止することによって、ユーザに対応点の確認をより確実に促すことができる。さらに、計測点が指定されてから、ユーザが対応点の確認結果を入力するまで、次の計測点の指定を禁止することによって、ユーザに対応点の確認をより確実に促すことができる。
【0083】
また、計測精度の指標となる物体距離に応じて計測点アイコンの移動速度または移動時間を制御することによって、物体距離に応じた視覚効果をユーザに与えることが可能となり、ユーザに対応点の確認をより確実に促すことができる。さらに、計測点の位置と対応点の位置との距離に応じて計測点アイコンの移動速度または移動時間を制御することによって、ユーザが計測点アイコンの移動に気付くのに十分な時間を確保し、ユーザに対応点の確認をより確実に促すことができる。さらに、移動中の計測点アイコンの位置から計測点の位置または対応点の位置までの距離に応じて計測点アイコンの移動速度または移動時間を制御することによって、計測点アイコンの移動の変化に応じた視覚効果をユーザに与えることが可能となり、ユーザに対応点の確認をより確実に促すことができる。
【0084】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0085】
1・・・内視鏡装置、2・・・内視鏡、2a・・・固体撮像素子(撮像部)、4・・・リモートコントローラ、5・・・LCD(表示部)、12・・・映像信号処理回路(撮像部)、18・・・CPU、18a・・・カーソル位置算出部(指定部)、18b・・・対応点算出部(位置算出部)、18c・・・表示処理部(表示制御部)、18d・・・計測部、18e・・・制御部
【技術分野】
【0001】
本発明は、同一の被写体に関する複数の被写体像を撮像する内視鏡装置に関する。また、本発明は、内視鏡装置を動作させるためのプログラムに関する。
【背景技術】
【0002】
工業用の内視鏡装置は、ボイラー、タービン、エンジン、パイプ等の内部の傷や腐食等の観察や検査に使用されている。また、内視鏡で撮像された画像上で指定された計測点をもとに、三角測量の原理で長さや面積などの計測を行う機能を備えた内視鏡装置がある。この内視鏡装置では、多様な観察物を観察および検査することができるようにするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。
【0003】
上記の光学アダプタとして、同一被写体に関する2つの被写体像を結像可能なステレオ光学アダプタがある。ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学系測距点の座標に基づいて、三角測量の原理を使用して被写体の3次元空間座標を求めることによって、被写体の長さや面積などを計測することができる。
【0004】
図20は、内視鏡装置の表示装置が計測時に表示する画面(以下、計測画面と記載)の一例を示している。図20(a)に示す計測画面には、ステレオ光学アダプタで捉えられた左右の被写体像に対応した左画像900aと右画像900bが表示される。
【0005】
左画像900aには、計測位置を示す計測点を指定するためのカーソル910が表示される。また、右画像900bには、左画像900aにおけるカーソル910の位置に対応する対応点の位置を示す対応点アイコン920が表示される。カーソル910の表示位置は、ユーザが内視鏡装置に入力する指示に基づいて設定される。左画像900a内にカーソル910が設定されると、カーソル910の表示位置に対応した右画像900b上の対応点の位置を計算するマッチング処理が実行される。
【0006】
ユーザは、内視鏡装置にカーソル910の移動指示を入力することにより、カーソル910を表示画面内で移動させることができる。また、カーソル910の移動に伴って、対応点アイコン920が移動する。ユーザがカーソル910を所望の位置に移動させ、計測点を指定(確定)する指示を入力すると、図20(b)に示すように、指定された計測点の位置を示す計測点アイコン930がカーソル910の位置に表示されると共に、計測点に対応する対応点の位置に対応点アイコン940が表示される。複数の計測点が指定された後、それらの計測点の位置に基づいて被写体が計測される。左画像上の複数の計測点および右画像上の複数の対応点に基づいて被写体の計測を行う手順の詳細は、例えば特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2008−185895号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
計測精度は上記のマッチング処理の精度に大きく依存する。左画像上の計測点の位置および右画像上の対応点の位置と左右の被写体との位置関係がほぼ同一であれば、計測精度は比較的良い。これに対して、左画像上の計測点の位置および右画像上の対応点の位置と左右の被写体との位置関係が大きく異なると、計測精度が低下する。このため、ユーザは、計測点を指定した際に、左画像上の計測点の位置および右画像上の対応点の位置を目視により確認することが望ましい。しかし、ユーザが計測点を指定することに集中し、計測点だけを見て対応点を確認しないという場合がある。
【0009】
本発明は、上述した課題に鑑みてなされたものであって、ユーザに対応点の確認を促すことができる内視鏡装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、上記の課題を解決するためになされたもので、同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、入力装置を介して入力される指示に基づいて、前記画像データに基づく前記被写体の第1の画像において第1の位置を指定する指定部と、前記画像データに基づく前記被写体の第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出する位置算出部と、前記第1の画像および前記第2の画像を表示する表示部と、前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行う表示制御部と、前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行う計測部と、を備えたことを特徴とする内視鏡装置である。
【0011】
また、本発明の内視鏡装置において、前記表示制御部はさらに、前記第1の位置が指定されてから前記第2の位置に目印が表示されるまで、前記第1の画像における位置の指定を禁止することを特徴とする。
【0012】
また、本発明の内視鏡装置において、前記表示制御部はさらに、前記第1の位置が指定されてから、前記入力装置を介して、前記第2の位置の確認が行われたことを示す情報が入力されるまで、前記第1の画像における位置の指定を禁止することを特徴とする。
【0013】
また、本発明の内視鏡装置において、前記計測部は、前記第1の位置および前記第2の位置に基づいて前記被写体までの距離を計測し、前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように目印を表示する制御を行うと共に、目印の移動速度または移動時間を前記距離に基づいて制御することを特徴とする。
【0014】
また、本発明の内視鏡装置において、前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、目印の移動速度または移動時間を前記第1の位置から前記第2の位置までの距離に基づいて制御することを特徴とする。
【0015】
また、本発明の内視鏡装置において、前記表示制御部は、目印が前記第1の位置から移動を開始し、複数の前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、それぞれの前記第3の位置から前記第1の位置または前記第2の位置までの距離に基づいて、前記第1の位置または前記第3の位置から次に通る前記第3の位置または前記第2の位置に目印が移動するときの移動速度または移動時間を制御することを特徴とする。
【0016】
また、本発明の内視鏡装置において、前記第3の位置から前記第1の位置までの距離と、前記第3の位置から前記第2の位置までの距離とが、前記第1の位置から前記第2の位置までの距離よりも短いことを特徴とする。
【0017】
また、本発明の内視鏡装置において、前記第3の位置は、前記画像データに基づく画像において計測対象の前記被写体が占める領域以外の位置であることを特徴とする。
【0018】
また、本発明は、同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、前記画像データに基づく前記被写体の第1の画像および前記被写体の第2の画像を表示する表示部と、を備えた内視鏡装置に、入力装置を介して入力される指示に基づいて、前記第1の画像において第1の位置を指定するステップと、前記第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出するステップと、前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行うステップと、前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行うステップと、を実行させるためのプログラムである。
【発明の効果】
【0019】
本発明によれば、第1の位置が指定されたときに第1の位置に目印を表示し、続いて第3の位置に目印を表示し、続いて第2の位置に目印を表示することによって、ユーザに対して、視線を第1の位置から第2の位置に移動させることを促すことが可能となる。したがって、ユーザに対応点の確認を促すことができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。
【図2】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。
【図3】本発明の一実施形態による内視鏡装置が備えるCPUの機能構成を示すブロック図である。
【図4】本発明の一実施形態による内視鏡装置が備えるリモートコントローラの斜視図である。
【図5】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。
【図6】本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。
【図7】本発明の一実施形態におけるステレオ計測による計測点の3次元座標の求め方を説明するための参考図である。
【図8】本発明の一実施形態における計測画面を示す参考図である。
【図9】本発明の一実施形態における計測画面を示す参考図である。
【図10】本発明の一実施形態における計測画面を示す参考図である。
【図11】本発明の一実施形態における計測画面を示す参考図である。
【図12】本発明の一実施形態における計測時の処理の手順を示すフローチャートである。
【図13】本発明の一実施形態における計測時の処理の手順を示すフローチャートである。
【図14】本発明の一実施形態における計測時の処理の手順を示すフローチャートである。
【図15】本発明の一実施形態における計測画面を示す参考図である。
【図16】本発明の一実施形態における計測画面を示す参考図である。
【図17】本発明の一実施形態における計測画面を示す参考図である。
【図18】本発明の一実施形態における計測点アイコンの移動時間を示す参考図である。
【図19】本発明の一実施形態における計測点アイコンの移動の速さを制御する方法を示す参考図である。
【図20】従来の計測画面を示す参考図である。
【発明を実施するための形態】
【0021】
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による内視鏡装置の全体構成を示している。図1に示すように、内視鏡装置1は、細長な挿入部20を有する内視鏡2と、この内視鏡2の挿入部20を収納する収納部を備えた制御装置であるコントロールユニット3と、装置全体の各種動作制御を行う際に必要な操作を行うためのリモートコントローラ4と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う表示装置であるLCD5(液晶モニタ)とを含んで構成されている。
【0022】
挿入部20は硬質な先端部21と、柔軟性を有する可撓管部と(例えば上下左右に湾曲可能な湾曲部22(図2))を連設して構成されている。先端部21には、観察視野を2つ有するステレオ光学アダプタ7a,7b、あるいは観察視野が1つの通常観察光学アダプタ7c等、各種光学アダプタが着脱自在になっている。
【0023】
図2に示すように、コントロールユニット3内には、内視鏡ユニット8、CCU9(カメラコントロールユニット)、および制御ユニット10が設けられており、挿入部20の基端部は内視鏡ユニット8に接続されている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置(不図示)と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置(不図示)とを備えて構成されている。
【0024】
挿入部20の先端部21には固体撮像素子2a(図5参照)が内蔵されている。固体撮像素子2aは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。CCU9には、固体撮像素子2aから出力された撮像信号が入力される。この撮像信号は、CCU9内で例えばNTSC信号等の映像信号に変換されて、制御ユニット10へ供給される。
【0025】
制御ユニット10内には、音声信号処理回路11、映像信号が入力される映像信号処理回路12、ROM13、RAM14、PCカードI/F15(PCカードインターフェイス)、USB I/F16(USBインターフェイス)、およびRS−232C I/F17(RS−232Cインターフェイス)等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うCPU18とが設けられている。
【0026】
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行うリモートコントローラ4が接続されている。ユーザがリモートコントローラ4を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
【0027】
USB I/F16は、コントロールユニット3とパーソナルコンピュータ31とを電気的に接続するためのインターフェイスである。このUSB I/F16を介してコントロールユニット3とパーソナルコンピュータ31とを接続することによって、パーソナルコンピュータ31側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット3とパーソナルコンピュータ31との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【0028】
また、PCカードI/F15には、PCMCIAメモリカード32やフラッシュメモリカード33等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをPCカードI/F15に装着することにより、CPU18による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット3への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。
【0029】
映像信号処理回路12は、CCU9から供給された内視鏡画像と、グラフィックによる操作メニューや各種GUI部品(カーソル等)とを合成した合成画像を表示するため、CPU18の制御により生成される、操作メニューや各種GUI部品に基づくグラフィック画像信号とCCU9からの映像信号を合成する処理や、LCD5の画面上に表示するのに必要な処理等を行い、映像信号をLCD5に供給する。また、この映像信号処理回路12は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、LCD5の画面上には、内視鏡画像、操作メニュー等のグラフィック画像、内視鏡画像と操作メニュー等のグラフィック画像との合成画像等が表示される。
【0030】
また、映像信号処理回路12は、CCU9からの映像信号に基づく画像データをCPU18へ出力する。計測時には先端部21にステレオ光学アダプタが装着されるため、映像信号処理回路12からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。本実施形態では、一例として、左右の一対の被写体像が含まれるものとする。
【0031】
音声信号処理回路11には、マイク34によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはCPU18によって生成された音声信号が供給される。この音声信号処理回路11は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ35に出力する。このことによって、スピーカ35から音声が出力される。
【0032】
CPU18は、ROM13に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。また、計測時には、CPU18は、映像信号処理回路12から画像データを取り込み、画像データに基づいて計測処理を実行する。RAM14は、CPU18によって、データの一時格納用の作業領域として使用される。
【0033】
図3は、CPU18のうち、本実施形態の説明の中心となる部分の機能構成を示している。CPU18は、カーソル位置算出部18a、対応点算出部18b、表示処理部18c、計測部18d、および制御部18eを有する。
【0034】
カーソル位置算出部18aは、ユーザが入力装置として使用するリモートコントローラ4からの信号に基づいてカーソルの移動指示を検出し、移動後のカーソルの左画像上の位置を算出する。この位置が計測点の位置となる。また、ユーザがリモートコントローラ4を介して計測点の指定指示(確定指示)を入力した場合、カーソル位置算出部18aは、算出したカーソルの位置を計測対象の計測点の位置として指定(認識)する。
【0035】
対応点算出部18bは、カーソル位置算出部18aによって指定された左画像上の計測点の位置に対応した右画像上の対応点の位置を画像のパターンマッチングにより算出するマッチング処理を実行する。表示処理部18cは、被写体の画像に重畳して表示するカーソルや、計測点アイコン、対応点アイコン等のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。また、表示処理部18cは、LCD5に表示される画像におけるカーソルや、計測点アイコン、対応点アイコン等の表示位置を制御する。
【0036】
計測部18dは、映像信号処理回路12から取得した画像データに基づいて、被写体に関する各種計測(物体距離計測、2点間距離計測、面積計測等)を実行する。制御部18eは、カーソル位置算出部18a、対応点算出部18b、表示処理部18c、計測部18dを制御すると共に、内視鏡装置1の各部を制御する。
【0037】
図4に示すように、リモートコントローラ4の前面には、ジョイスティック41、レバースイッチ42、フリーズスイッチ43、ストアースイッチ44、および計測実行スイッチ45が設けられている。また、リモートコントローラ4の側面にはWIDEスイッチ46およびTELEスイッチ47が設けられている。
【0038】
ジョイスティック41は、湾曲部22の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部22がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、ジョイスティック41を真下に押下することによって湾曲動作の微調整の指示を入力することも可能である。レバースイッチ42は、グラフィック表示される各種メニューの操作や、計測を行う場合のカーソル移動の際に操作されるスイッチであり、ジョイスティック41と略同様に構成されている。フリーズスイッチ43は、LCD5での表示に関わるスイッチである。
【0039】
ストアースイッチ44は、フリーズスイッチ43の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するために用いるスイッチである。計測実行スイッチ45は、計測ソフトを実行する際に用いるスイッチである。フリーズスイッチ43、ストアースイッチ44、および計測実行スイッチ45は、オン/オフの指示を押下操作によって行う例えば押下式を採用して構成されている。
【0040】
WIDEスイッチ46、TELEスイッチ47はそれぞれ内視鏡画像を拡大、縮小するときに用いるスイッチである。挿入部20で撮像される内視鏡画像は、映像信号処理回路12によって必要に応じて拡大または縮小される。この拡大または縮小の倍率の制御はWIDEスイッチ46とTELEスイッチ47の操作により行われる。
【0041】
図5および図6は、本実施形態の内視鏡装置1で用いられる光学アダプタの1つであるステレオ光学アダプタ7aの一例の構成を示している。図5および図6に示すように、直視型のステレオ光学アダプタ7aの先端面には、一対の照明レンズ51,52と2つの対物レンズ系53,54とが設けられており、図5に示すように、固定リング50の雌ねじ50aを、先端部21に形成されている雄ねじ21aに螺合することによって一体的に固定されるようになっている。
【0042】
図6に示すように、2つの対物レンズ系53,54により、先端部21内に配設された固体撮像素子2aの撮像面上に2つの光学像が結像される。そして、この固体撮像素子2aで光電変換された撮像信号は、電気的に接続された信号線2bおよび内視鏡ユニット8を介してCCU9に供給されて映像信号に変換され、その後、映像信号処理回路12に供給される。
【0043】
次に、図7を参照し、ステレオ計測による計測点の3次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測対象点60の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。ただし、歪み補正が施された左右の画像上の計測点61、対応点62の座標をそれぞれ(XL,YL)、(XR,YR)とし、左側と右側の光学中心63,64の距離をDとし、焦点距離をFとし、t=D/(XL−XR)とする。
X=t×XR+D/2 ・・・(1)
Y=t×YR ・・・(2)
Z=t×F ・・・(3)
【0044】
上記のように計測点61および対応点62の座標が決定されると、パラメータDおよびFを用いて計測対象点60の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心63、または右側の光学中心64から被写体までの距離(物体距離)を求めることも可能となる。上記のステレオ計測を行うためには、先端部21とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開2004−49638号公報に記載されているので、その説明を省略する。
【0045】
次に、図8〜図11を参照し、計測時の表示画面(計測画面)の遷移について説明する。以下では、2点間距離計測を例として説明を行う。図8(a)は、計測開始時の計測画面を示している。計測画面には、ステレオ光学アダプタで捉えられた、計測対象である同一被写体に関する左右の被写体像に対応した左画像80aと右画像80bが表示される。また、左画像80a上には、計測点の位置を示すカーソル81が表示され、右画像80b上には、左画像80aにおけるカーソル81の位置に対応する対応点の位置を示す目印となる対応点アイコン82が表示される。
【0046】
左画像80aと右画像80bの間には、各種のメニュー83や、ズームウィンドウ84a,84b、物体距離85、およびカーソル座標86が表示される。これらは、画像データに基づく画像において、計測対象である被写体の画像(左画像80a、右画像80b)が占める領域以外の領域に表示される。この領域は、ステレオ光学アダプタに内蔵されている、入射した光を遮光するマスクの画像に対応した領域である。ズームウィンドウ84aにはカーソル81の周辺の拡大画像が表示され、ズームウィンドウ84bには対応点アイコン82の周辺の拡大画像が表示される。物体距離85は物体距離の計測結果を示している。カーソル座標86はカーソル81の画像上の座標(2次元座標)を示している。
【0047】
計測画面の下部には物体距離インジケータ87が表示される。物体距離インジケータ87は、物体距離を視覚的に表すスケールである。物体距離に応じて、物体距離インジケータ87の表示形態が変化する。具体的には、物体距離が長くなるほど、物体距離インジケータ87の方形状のアイコンの数が増加する。また、物体距離インジケータ87の方形状のアイコンの色は、物体距離に応じた色に設定される。物体距離85の文字の色、カーソル81の色、および対応点アイコン82の色も、物体距離に応じた色に設定される。
【0048】
前述したように、ユーザは、リモートコントローラ4を介してカーソル81の移動指示を入力することにより、カーソル81を移動させることができる。また、カーソル81の移動に伴って、対応点アイコン82が移動すると共に、ズームウィンドウ84a,84b内の画像が更新される。
【0049】
ユーザがカーソル81を所望の位置に移動させ、計測点を指定(確定)する指示を入力すると、図8(b)に示すように、指定された計測点の位置を示す目印となる計測点アイコン88がカーソル81の位置(計測点の位置)に表示される。この瞬間以降、計測点アイコン88とは別の計測点アイコンが計測画面に表示され、カーソル81の位置から対応点アイコン82の位置(対応点の位置)へ向かって計測画面上を移動する。
【0050】
図9(a)は、計測点アイコン89aがカーソル81の位置から対応点アイコン82の位置へ向かって移動している途中の一時点における計測画面を示している。図9(b)は、図9(a)の時点よりも時間が経過した後の計測画面を示している。図9(b)では、図9(a)よりも計測点アイコン89aが対応点アイコン82に近づいている。
【0051】
図10(a)は、計測点アイコン89aが対応点アイコン82の位置に到達した時点の計測画面を示している。計測点アイコン89aは、対応点アイコン82の位置に到達すると移動を停止し、対応点82の位置を示す目印となる対応点アイコン89bとして機能する。このように計測点アイコン89aが計測画面上を移動すると、ユーザの視線を計測点アイコン89aに引き付ける効果が期待できる。計測点アイコン89aは、カーソル81の位置、すなわち指定された計測点の位置から対応点アイコン82の位置まで移動するので、ユーザの視線を計測点の位置から対応点の位置まで移動させることになる。このため、ユーザに対応点の確認を促すことができる。本実施形態では、一例として、計測点アイコン89aが移動を開始してから移動を終了するまでの移動時間が一定(例えば1秒)となるように計測点アイコン89aの移動が制御される。
【0052】
上記のようにして1点目の計測点が指定されると、2点目の計測点の指定が行われる。図10(b)は、2点目の計測点を指定するためにユーザがカーソル81を移動させている途中の一時点における計測画面を示している。本実施形態では、1点目の計測点とカーソル81の位置とのそれぞれに対応する3次元座標間の2点間距離がリアルタイムに計測される。リアルタイム計測では、カーソル81の位置と計測点アイコン88の位置とを結ぶ計測線90aが表示されると共に、対応点アイコン82の位置と対応点アイコン89bの位置とを結ぶ計測線90bが表示される。また、カーソル81の位置および対応点アイコン82の位置に対応する3次元座標と、計測点アイコン88の位置および対応点アイコン89bの位置に対応する3次元座標との2点間距離を示す計測結果91が表示される。さらに、カーソル81の移動に伴って、計測結果91がリアルタイムに更新される。
【0053】
ユーザがカーソル81を所望の位置に移動させ、2点目の計測点を指定(確定)する指示を入力すると、1点目の計測点の指定時と同様に、指定された2点目の計測点の位置を示す目印となる計測点アイコンが計測画面に表示される。また、この計測点アイコンとは別の計測点アイコンがカーソル81の位置から対応点アイコン82の位置へ向かって計測画面上を移動する。このとき、計測結果91も計測点アイコンと共に移動する。上記により、ユーザに2点目の対応点の確認を促すことができる。
【0054】
図11は、計測点アイコンの移動が終了した時点の計測画面を示している。2点目の計測点の位置(カーソル81の位置)に計測点アイコン92が表示され、2点目の対応点の位置(対応点アイコン82の位置)の位置に対応点アイコン93が表示される。この対応点アイコン93は、計測点の位置から移動した計測点アイコンと同一である。また、計測点の位置から移動した計測結果91は計測結果タグ94として表示される。
【0055】
次に、計測時の内視鏡装置1の動作を説明する。以下では、2点間距離計測を例として説明を行う。まず、図12を参照し、第1の動作例を説明する。計測が開始されると、制御部18eは、指定された計測点の数を示す変数を初期化する(ステップS100)。続いて、制御部18eは、リモートコントローラ4からの信号に基づいて、イベントの内容を判定する(ステップS105)。
【0056】
イベントの内容がカーソルの移動指示を示していた場合、カーソル位置算出部18aは、リモートコントローラ4からの信号に基づいてカーソルの移動量を算出し、現時点のカーソルの位置に対して、算出した移動量を加えることにより、次の時点のカーソルの位置(計測点の位置)を算出する(ステップS110)。続いて、対応点算出部18bは、ステップS110で算出されたカーソルの位置に対応した右画像上の対応点の位置をマッチング処理により算出する(ステップS115)。続いて、計測部18dは、ステップS110で算出されたカーソルの位置と、ステップS115で算出された対応点の位置とに基づいて、計測対象点の3次元座標を算出する(ステップS120)。
【0057】
続いて、表示処理部18cは、物体距離(計測対象点のZ座標)に応じたカーソルの色を設定してカーソルのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。このとき、表示処理部18cは、ステップS110で算出されたカーソルの位置にカーソルが表示されるようにカーソルの表示位置を制御する。これにより、計測画面上にカーソルが表示される(ステップS125)。さらに、表示処理部18cは、物体距離に応じた対応点アイコンおよび物体距離の文字の色を設定して対応点アイコンおよび物体距離のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。このとき、表示処理部18cは、ステップS115で算出された対応点の位置に対応点アイコンが表示されるように対応点アイコンの表示位置を制御する。これにより、計測画面上に対応点アイコンおよび物体距離が表示される(ステップS130)。
【0058】
続いて、制御部18eは、指定された計測点の数を示す変数の値を判定する(ステップS135)。変数の値が0の場合、処理はステップS105に戻る。また、変数の値が1の場合、表示処理部18cは、物体距離に応じた計測線の色を設定して計測線のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、1点目の計測点アイコンとカーソルとを結ぶ計測線が計測画面上に表示される(ステップS140)。
【0059】
続いて、計測部18dは、1点目の計測点に関してステップS120で算出された3次元座標と、現在のカーソル位置が示す計測点に関してステップS120で算出された3次元座標との空間距離すなわち2点間距離を算出する(ステップS145)。続いて、表示処理部18cは、物体距離に応じた計測結果の文字の色を設定して計測結果のグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、計測画面上に2点間距離の計測結果(リアルタイム計測結果)が表示される(ステップS150)。続いて、処理はステップS105に戻る。
【0060】
一方、ステップS105において、イベントの内容が計測点の指定指示を示していた場合、カーソル位置算出部18aは、最後にステップS110で算出したカーソルの位置を計測対象の計測点の位置として指定(認識)する(ステップS155)。続いて、表示処理部18cは、2個の計測点アイコンの色を設定して計測点アイコンのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。このとき、表示処理部18cは、ステップS155で指定された計測点の位置に計測点アイコンが表示されるように計測点アイコンの表示位置を制御する。これにより、計測画面上に2個の計測点アイコンが重なって表示される(ステップS160)。続いて、制御部18eは、指定された計測点の数を示す変数の値を判定する(ステップS165)。
【0061】
変数の値が0の場合、表示処理部18cは、ステップS155で指定された計測点の位置に表示されている2個の計測点アイコンのうち、一方を消去する(非表示とする)制御を行う。また、表示処理部18cは、消去した計測点アイコンと同じ計測点アイコンを、ステップS155で指定された計測点の位置およびこの計測点に対応する対応点の位置とは異なる位置に表示する制御を行う。計測点アイコンが計測点の位置から対応点の位置まで移動しているようにユーザに見せるため、計測点アイコンは、まず、計測点の位置の近傍位置であって、計測点の位置から対応点の方向にわずかだけずれた位置に表示される。
【0062】
次の時点において、表示処理部18cは、対応点の方向にずらして表示した計測点アイコンを消去し、この消去した計測点アイコンを、消去前の表示位置から対応点の方向にわずかにずれた位置に表示する制御を行う。これを繰り返すことにより、計測画面上で計測点アイコンは計測点の位置から対応点の位置に向かって移動する。その後のある時点において、表示処理部18cは、対応点の方向にずらして表示した計測点アイコンを消去し、この消去した計測点アイコンを対応点の位置に表示する制御を行う。対応点の位置に計測点アイコンを表示した時点で、表示処理部18cは計測点アイコンの移動を終了する(ステップS170)。続いて、制御部18eは、指定された計測点の数を示す変数の値を1とする(ステップS175)。続いて、処理はステップS105に戻る。
【0063】
一方、ステップS165において、指定された計測点の数を示す変数の値が1であった場合、表示処理部18cは、ステップS155で指定された計測点の位置に表示されている2個の計測点アイコンのうち、一方の計測点アイコンおよび計測結果を、ステップS155で指定された計測点の位置から、この計測点に対応する対応点の位置まで移動する制御を行う(ステップS180)。ステップS180における制御の内容はステップS170における制御の内容と同様である。
【0064】
続いて、表示処理部18cは、ステップS180で移動した計測結果を消去する制御を行う(ステップS185)。さらに、表示処理部18cは、物体距離に応じた計測結果タグの色を設定して計測結果タグのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、計測画面上に計測結果タグが表示される(ステップS190)。続いて、制御部18eは、指定された計測点の数を示す変数の値を0とする(ステップS195)。続いて、処理はステップS105に戻る。
【0065】
図12に示すように、ステップS170における計測点アイコンの移動またはステップS180における計測点アイコンおよび計測結果の移動が終了するまで、以降の処理は実行されない。したがって、計測点アイコンが移動している間、制御部18eはカーソルの移動指示や計測点の指定指示を無効とし、ユーザはカーソルの移動や計測点の指定を行うことができない。これは、計測点アイコンが移動している間、カーソルの移動や計測点の指定が禁止されることと同等である。これによって、ユーザに対応点の確認をより確実に促すことができる。
【0066】
次に、図13および図14を参照し、第2の動作例を説明する。第2の動作例では、ユーザによって計測点の指定指示が入力され、計測点の位置から対応点の位置に計測点アイコンが移動した後、ユーザに対して明示的に対応点を確認させるための処理が行われる。図13と図12の違いは、ステップS170とステップS175の間、およびステップS190とステップS195の間に、ユーザに対して明示的に対応点を確認させるための処理(ステップS200)が追加されている点である。
【0067】
図14は、ステップS200における処理を示している。まず、表示処理部18cは、ユーザに対応点の確認を促すメッセージを含むグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これにより、計測画面上にメッセージが表示される(ステップS200a)。続いて、制御部18eは、リモートコントローラ4からの信号に基づいて、イベントの内容を判定する(ステップS200b)。
【0068】
メッセージの表示後、ユーザは、対応点の確認結果に基づいて、計測点の指定をやり直すか否かを決定し、その結果を入力することが求められる。イベントの内容が、計測点の指定をやり直さないことを示している場合、処理はステップS105に戻る。この場合、対応点が良好であるとユーザが判断したと推測できる。また、イベントの内容が、計測点の指定をやり直すことを示している場合、表示処理部18cは、表示画面上の計測点アイコンおよび対応点アイコン(ステップS190の後のステップS200では計測結果タグも)を消去する制御を行う(ステップS200c)。この場合、対応点が良好でないとユーザが判断したと推測できる。続いて、処理はステップS175またはステップS195に進む。
【0069】
図13および図14に示すように、対応点の確認結果が入力されるまで、以降の処理は実行されない。したがって、対応点の確認結果が入力されるまで、制御部18eはカーソルの移動指示や計測点の指定指示を無効とし、ユーザはカーソルの移動や計測点の指定を行うことができない。これは、対応点の確認結果が入力されるまで、カーソルの移動や計測点の指定が禁止されることと同等である。これによって、ユーザに対応点の確認をより確実に促すことができる。
【0070】
上記では、ユーザが何らかの確認結果を必ず入力するようにしているが、計測点の指定をやり直す場合にのみ、ユーザが確認結果を入力するようにしてもよい。すなわち、例えばメッセージの表示から所定時間が経過するまでに、計測点の指定をやり直す指示が入力された場合には処理がステップS200cに進み、メッセージの表示から所定時間が経過するまで何も入力されなかった場合には処理がステップS175またはステップS195に進むようにしてもよい。
【0071】
次に、計測点アイコンの移動に関して説明を加える。計測点アイコンは計測点の位置から対応点の位置にむかって直線的に移動してもよいし、曲線的あるいはジグザグに移動してもよい。例えば、計測点アイコンは図15(a)の経路C1と経路C2のどちらを通って移動してもよい。経路C1は、計測点の位置から対応点の位置までの最短経路である。計測点アイコンが経路C1を通る場合、前述したマスクの画像が表示されている領域D1を通ることになる。また、計測点アイコンが経路C2を通る場合、マスクの画像に重畳されたグラフィック画像が表示されている領域D2を通ることになる。
【0072】
計測点アイコンが図15(b)の経路C3を通って移動するようにしてもよいが、経路C3では計測点アイコンが一旦計測画面から消えてしまい、ユーザが混乱する可能性がある。したがって、経路C3よりは経路C1や経路C2のほうがより望ましい。計測点アイコンが通る経路がなるべく短いほうが望ましい場合には、経路上の全ての点について、その点から計測点までの距離およびその点から対応点までの距離が計測点から対応点までの距離よりも短いことが望ましい。
【0073】
また、計測点アイコンを移動させるのではなく、計測点の位置から対応点の位置に向かって、新たな計測点アイコンを順次表示するようにしてもよい。例えば、計測点の指定指示が入力された場合、表示処理部18cは、図16(a)に示すように、新たな計測点アイコン89cを、計測点の位置から対応点の方向にずれた位置に表示する制御を行う。次の時点において、表示処理部18cは、図16(b)に示すように、新たな計測点アイコン89dを、計測点アイコン89cの位置から対応点の方向にずれた位置に表示する制御を行う。対応点の位置に新たな計測点アイコンが表示されるまで、上記の動作が繰り返される。対応点の位置に新たな計測点アイコンが表示されると、対応点に表示された計測点アイコン(対応点アイコンとして機能する)と、計測点の位置に表示された計測点アイコンとを除く、新たに表示された計測点アイコンが消去される。
【0074】
また、計測点の位置から対応点の位置に向かって、矢印等が伸びていくようにしてもよい。例えば、計測点の指定指示が入力された場合、表示処理部18cは、計測点の位置に計測点アイコンを表示すると共に、計測点の位置と、計測点の位置から対応点の方向に距離d1だけずれた位置とを結ぶ矢印を表示する制御を行う。次の時点において、表示処理部18cは、前の時点で表示した矢印を消去すると共に、計測点の位置と、計測点の位置から対応点の方向に距離d2(d1<d2)だけずれた位置とを結ぶ矢印を表示する制御を行う。計測点の位置と対応点の位置とを結ぶ矢印が表示されるまで、上記の動作が繰り返される。図17(a)は、計測点の指定指示が入力された後の一時点の計測画面を示しており、計測点の位置を起点とする矢印100が表示されている。図17(b)は、矢印100が対応点の位置に到達した時点の計測画面を示している。この直後、矢印100は消去され、対応点の位置に対応点アイコンが表示される。
【0075】
また、計測点アイコンが対応点の位置に移動した直後、この計測点アイコンを強調して表示してもよい。例えば、移動が終了してから一定期間、移動した計測点アイコンを点滅表示したり、移動した計測点アイコンをより大きく表示したり、移動した計測点アイコンの大きさを周期的に変化させて表示したりしてもよい。もちろん、移動中の計測点アイコンを強調して表示してもよい。
【0076】
また、計測点アイコンの移動速度または移動時間を様々に変化させてもよい。図18(a)は、計測点の指定指示が入力された場合に計測点アイコンが移動を開始してから対応点に到達するまでの移動時間を、計測点と対応点との距離毎に示している。本実施形態では、一例として、計測点と対応点との距離によらず、移動時間は一定である。したがって、計測点と対応点との距離がより長いほうが、ユーザには、視覚的に計測点アイコンがより速く移動するように感じられる。また、計測点と対応点との距離によらず移動速度を一定とした場合には、計測点と対応点との距離が短いときに計測点アイコンの移動が一瞬で終了してしまいユーザがそれに気付かない可能性があるが、計測点と対応点との距離によらず移動時間を一定とすることによって、計測点アイコンが移動していることをユーザにより確実に認識させることができる。
【0077】
また、物体距離に応じて計測点アイコンの移動速度または移動時間を変化させてもよい。図18(b)は、計測点の指定指示が入力された場合に計測点アイコンが移動を開始してから対応点に到達するまでの移動時間を物体距離毎に示している。一例として、物体距離が長いほど(被写体が遠いほど)、移動時間が長くなる。これによって、物体距離に応じた視覚効果をユーザに与えることが可能となり、ユーザに対応点の確認をより確実に促すことができる。
【0078】
移動の速さは一定でなくてもよく、例えば、計測点アイコンが対応点の位置に近づいたら移動が遅くなるようにしてもよい。図19は、計測点アイコンの移動の速さを制御する方法の一例を示している。計測点アイコンが計測点から対応点まで移動する経路を区間S1〜S6の6個の区間に分割し、各区間の境界となる点を点A〜Eとする。図19に示すように、区間毎に移動時間が制御される。
【0079】
図19では、区間S1〜S4の各区間における移動時間は一定であるが、区間S5における移動時間は区間S1〜S4の各区間における移動時間よりも長く、区間S6における移動時間は区間S5における移動時間よりも長い。言い換えると、区間S1〜S4の各区間における移動速度は一定であるが、区間S5における移動速度は区間S1〜S4の各区間における移動速度よりも遅く、区間S6における移動速度は区間S5における移動速度よりも遅い。各区間における移動時間は、例えば各区間の起点(計測点と点A〜E)から計測点または対応点までの距離に応じて制御される。上記のように、計測点アイコンの移動に変化を持たせることで、ユーザの視線を計測点アイコンに引き付ける効果が期待できる。
【0080】
上記では、ユーザの視線を引き付けるための目印として計測点アイコンや矢印を表示しているが、ユーザが視認できる大きさを有し、目印として機能するものであれば、図形、文字、記号等の何でもよい。また、補助機能として、ユーザに対応点の確認を促す音声をスピーカ35から発生してもよい。
【0081】
上述したように、本実施形態によれば、ユーザによって計測点が指定されたときに、計測点の位置に計測点アイコンを表示し、続いて計測点アイコンを対応点の位置まで移動することによって、ユーザに対して、視線を計測点の位置から対応点の位置に移動させることを促すことが可能となる。したがって、ユーザに対応点の確認を促すことができる。
【0082】
また、計測点が指定されてから計測点アイコンの移動が完了するまで次の計測点の指定を禁止することによって、ユーザに対応点の確認をより確実に促すことができる。さらに、計測点が指定されてから、ユーザが対応点の確認結果を入力するまで、次の計測点の指定を禁止することによって、ユーザに対応点の確認をより確実に促すことができる。
【0083】
また、計測精度の指標となる物体距離に応じて計測点アイコンの移動速度または移動時間を制御することによって、物体距離に応じた視覚効果をユーザに与えることが可能となり、ユーザに対応点の確認をより確実に促すことができる。さらに、計測点の位置と対応点の位置との距離に応じて計測点アイコンの移動速度または移動時間を制御することによって、ユーザが計測点アイコンの移動に気付くのに十分な時間を確保し、ユーザに対応点の確認をより確実に促すことができる。さらに、移動中の計測点アイコンの位置から計測点の位置または対応点の位置までの距離に応じて計測点アイコンの移動速度または移動時間を制御することによって、計測点アイコンの移動の変化に応じた視覚効果をユーザに与えることが可能となり、ユーザに対応点の確認をより確実に促すことができる。
【0084】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0085】
1・・・内視鏡装置、2・・・内視鏡、2a・・・固体撮像素子(撮像部)、4・・・リモートコントローラ、5・・・LCD(表示部)、12・・・映像信号処理回路(撮像部)、18・・・CPU、18a・・・カーソル位置算出部(指定部)、18b・・・対応点算出部(位置算出部)、18c・・・表示処理部(表示制御部)、18d・・・計測部、18e・・・制御部
【特許請求の範囲】
【請求項1】
同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、
入力装置を介して入力される指示に基づいて、前記画像データに基づく前記被写体の第1の画像において第1の位置を指定する指定部と、
前記画像データに基づく前記被写体の第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出する位置算出部と、
前記第1の画像および前記第2の画像を表示する表示部と、
前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行う表示制御部と、
前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行う計測部と、
を備えたことを特徴とする内視鏡装置。
【請求項2】
前記表示制御部はさらに、前記第1の位置が指定されてから前記第2の位置に目印が表示されるまで、前記第1の画像における位置の指定を禁止することを特徴とする請求項1に記載の内視鏡装置。
【請求項3】
前記表示制御部はさらに、前記第1の位置が指定されてから、前記入力装置を介して、前記第2の位置の確認が行われたことを示す情報が入力されるまで、前記第1の画像における位置の指定を禁止することを特徴とする請求項1または請求項2に記載の内視鏡装置。
【請求項4】
前記計測部は、前記第1の位置および前記第2の位置に基づいて前記被写体までの距離を計測し、
前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように目印を表示する制御を行うと共に、目印の移動速度または移動時間を前記距離に基づいて制御する
ことを特徴とする請求項1〜請求項3のいずれかに記載の内視鏡装置。
【請求項5】
前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、目印の移動速度または移動時間を前記第1の位置から前記第2の位置までの距離に基づいて制御する
ことを特徴とする請求項1〜請求項3のいずれかに記載の内視鏡装置。
【請求項6】
前記表示制御部は、目印が前記第1の位置から移動を開始し、複数の前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、それぞれの前記第3の位置から前記第1の位置または前記第2の位置までの距離に基づいて、前記第1の位置または前記第3の位置から次に通る前記第3の位置または前記第2の位置に目印が移動するときの移動速度または移動時間を制御する
ことを特徴とする請求項1〜請求項3のいずれかに記載の内視鏡装置。
【請求項7】
前記第3の位置から前記第1の位置までの距離と、前記第3の位置から前記第2の位置までの距離とが、前記第1の位置から前記第2の位置までの距離よりも短いことを特徴とする請求項1〜請求項6のいずれかに記載の内視鏡装置。
【請求項8】
前記第3の位置は、前記画像データに基づく画像において計測対象の前記被写体が占める領域以外の位置であることを特徴とする請求項1〜請求項7のいずれかに記載の内視鏡装置。
【請求項9】
同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、前記画像データに基づく前記被写体の第1の画像および前記被写体の第2の画像を表示する表示部と、を備えた内視鏡装置に、
入力装置を介して入力される指示に基づいて、前記第1の画像において第1の位置を指定するステップと、
前記第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出するステップと、
前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行うステップと、
前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行うステップと、
を実行させるためのプログラム。
【請求項1】
同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、
入力装置を介して入力される指示に基づいて、前記画像データに基づく前記被写体の第1の画像において第1の位置を指定する指定部と、
前記画像データに基づく前記被写体の第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出する位置算出部と、
前記第1の画像および前記第2の画像を表示する表示部と、
前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行う表示制御部と、
前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行う計測部と、
を備えたことを特徴とする内視鏡装置。
【請求項2】
前記表示制御部はさらに、前記第1の位置が指定されてから前記第2の位置に目印が表示されるまで、前記第1の画像における位置の指定を禁止することを特徴とする請求項1に記載の内視鏡装置。
【請求項3】
前記表示制御部はさらに、前記第1の位置が指定されてから、前記入力装置を介して、前記第2の位置の確認が行われたことを示す情報が入力されるまで、前記第1の画像における位置の指定を禁止することを特徴とする請求項1または請求項2に記載の内視鏡装置。
【請求項4】
前記計測部は、前記第1の位置および前記第2の位置に基づいて前記被写体までの距離を計測し、
前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように目印を表示する制御を行うと共に、目印の移動速度または移動時間を前記距離に基づいて制御する
ことを特徴とする請求項1〜請求項3のいずれかに記載の内視鏡装置。
【請求項5】
前記表示制御部は、目印が前記第1の位置から移動を開始し、前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、目印の移動速度または移動時間を前記第1の位置から前記第2の位置までの距離に基づいて制御する
ことを特徴とする請求項1〜請求項3のいずれかに記載の内視鏡装置。
【請求項6】
前記表示制御部は、目印が前記第1の位置から移動を開始し、複数の前記第3の位置を通って前記第2の位置まで移動するように前記表示部を制御すると共に、それぞれの前記第3の位置から前記第1の位置または前記第2の位置までの距離に基づいて、前記第1の位置または前記第3の位置から次に通る前記第3の位置または前記第2の位置に目印が移動するときの移動速度または移動時間を制御する
ことを特徴とする請求項1〜請求項3のいずれかに記載の内視鏡装置。
【請求項7】
前記第3の位置から前記第1の位置までの距離と、前記第3の位置から前記第2の位置までの距離とが、前記第1の位置から前記第2の位置までの距離よりも短いことを特徴とする請求項1〜請求項6のいずれかに記載の内視鏡装置。
【請求項8】
前記第3の位置は、前記画像データに基づく画像において計測対象の前記被写体が占める領域以外の位置であることを特徴とする請求項1〜請求項7のいずれかに記載の内視鏡装置。
【請求項9】
同一の被写体に関する複数の被写体像を撮像し、画像データを生成する撮像部と、前記画像データに基づく前記被写体の第1の画像および前記被写体の第2の画像を表示する表示部と、を備えた内視鏡装置に、
入力装置を介して入力される指示に基づいて、前記第1の画像において第1の位置を指定するステップと、
前記第2の画像において、前記第1の画像における前記第1の位置に対応する第2の位置を算出するステップと、
前記第1の位置が指定されたときに前記第1の位置に目印を表示し、続いて前記第1の位置と異なると共に前記第2の位置と異なる第3の位置に目印を表示し、続いて前記第2の位置に目印を表示する制御を行うステップと、
前記第1の位置および前記第2の位置に基づいて、前記被写体に関する計測を行うステップと、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2011−145527(P2011−145527A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−6941(P2010−6941)
【出願日】平成22年1月15日(2010.1.15)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願日】平成22年1月15日(2010.1.15)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]