内視鏡装置および計測方法
【課題】計測により適した位置をユーザに知らせることができる内視鏡装置および計測方法を提供する。
【解決手段】ＣＰＵ１８は、被写体の表面の曲率情報に基づいて、その表面を近似する平面とその表面との交点のうち２つの交点間の空間距離を算出する。映像信号処理回路１２は、映像信号に基づく画像上に、２つの交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する。ＣＰＵ１８は、画像上で指定された点の空間座標を算出し、少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する。
【解決手段】ＣＰＵ１８は、被写体の表面の曲率情報に基づいて、その表面を近似する平面とその表面との交点のうち２つの交点間の空間距離を算出する。映像信号処理回路１２は、映像信号に基づく画像上に、２つの交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する。ＣＰＵ１８は、画像上で指定された点の空間座標を算出し、少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡により被写体を撮像して得られた映像信号を処理する内視鏡装置および計測方法に関する。
【背景技術】
【０００２】
工業用内視鏡は、ボイラー、タービン、エンジン、パイプ等の内部の傷や腐食等の観察や検査に使用されている。また、内視鏡で撮像された画像上で指定された計測点をもとに長さや面積などの計測を行う機能を備えた工業用内視鏡がある（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−６６５３６号公報
【特許文献２】特開２００３−７０７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
工業用内視鏡が備える計測機能の一つに、面基準計測と呼ばれる機能がある。面基準計測では、ユーザが画像上で指定した３点の空間座標で決まる仮想的な平面（基準面）と、ユーザが画像上で指定した１点の空間座標との空間距離（３次元距離）が算出される。面基準計測を行うことにより、例えば計測対象物の表面に存在する凹部の深さや凸部の高さを知ることができる。
【０００５】
しかし、パイプのように曲面を有する物体に対して面基準計測を行う場合、基準面を決定するための３点の位置に応じて計測結果の誤差が異なるという問題が発生する。以下、図１２を参照しながら、この問題の詳細を説明する。
【０００６】
図１２に示すように、内視鏡がパイプの内側の表面を撮像したときの画像１２０上に、計測対象となる凹部１２１が存在しているものとする。また、画像１２０の上下方向がパイプの軸方向であるものとする。図１２の下部は、パイプの断面を示している。面基準計測を行う場合、ユーザは、パイプの内側の表面１２２を近似する基準面を決定する３点と、凹部１２１の深さを計測する位置を指定する１点とを画像１２０上で指定する。
【０００７】
例えば、基準面を決定する３点として点Ａ，Ｂ１，Ｃ１が指定され、凹部１２１の深さを計測する位置を指定する１点として点Ｄが指定された場合、凹部１２１の深さはｄ１となる。一方、基準面を決定する３点として点Ａ，Ｂ２，Ｃ２が指定され、凹部１２１の深さを計測する位置を指定する１点として点Ｄが指定された場合、凹部１２１の深さはｄ２となる。
【０００８】
基準面を決定する３点として点Ａ，Ｂ１，Ｃ１が指定された場合、これらの点を通る基準面Ｓ１はパイプの内側の表面１２２を比較的良く近似しているため、計測結果として得られる深さｄ１の、実際の深さに対する誤差は小さい。しかし、基準面を決定する３点として点Ａ，Ｂ２，Ｃ２が指定された場合、これらの点を通る基準面Ｓ２は、基準面Ｓ１と比較すると、パイプの内側の表面１２２に対する近似度が低いため、計測結果として得られる深さｄ２の、実際の深さに対する誤差は大きくなる。
【０００９】
上記のように、基準面を決定する３点の位置に応じて計測結果の誤差が異なる。このため、基準面を決定する３点が、計測結果の誤差の小さくなる位置に指定されることが望ましい。
【００１０】
そこで、計測により適した位置をユーザに知らせることができる内視鏡装置および計測方法を提供することが望まれていた。
【課題を解決するための手段】
【００１１】
本実施態様にかかる内視鏡装置によれば、被写体を撮像し撮像信号を生成する内視鏡と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１の距離算出部と、前記映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する表示信号生成部と、前記画像上で指定された点の空間座標を算出し、少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第２の距離算出部と、を備えたものである。
【００１２】
また、前記被写体はパイプであり、前記第１の距離算出部は、前記パイプの内側の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出することが好ましい。
【００１３】
また、前記表示信号生成部は、前記映像信号に基づく画像上に、前記交点間の空間距離分の幅と前記パイプの軸方向とを示す目印を表示するための前記表示信号を生成することが好ましい。
【００１４】
また、前記表示信号生成部は、前記映像信号に基づく画像上において、前記１点の空間座標に対応する位置に、前記交点間の空間距離を示す目印を表示するための表示信号を生成することが好ましい。
【００１５】
本実施態様にかかる計測方法は、内視鏡が撮像する被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１のステップと、前記内視鏡が前記被写体を撮像して生成した撮像信号から生成された映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する第２のステップと、前記画像上の点を入力する第３のステップと、前記第３のステップで入力された少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第４のステップと、を備えたものである。
【発明の効果】
【００１６】
本実施態様にかかる内視鏡装置によれば、映像信号に基づく画像上に、被写体の表面の曲率情報に基づく空間距離分の幅を示す目印を表示することが可能となる。被写体の表面を近似する平面を決定する点の位置がこの幅に収まる場合には、その他の場合と比較して、平面によって被写体の表面が良く近似され、計測結果の誤差が小さくなる。したがって、この目印を表示することによって、計測により適した位置をユーザに知らせることができる。
【００１７】
また、本実施態様にかかる計測方法によれば、映像信号に基づく画像上に、被写体の表面の曲率情報に基づく空間距離分の幅を示す目印を表示することが可能となる。被写体の表面を近似する平面を決定する点の位置がこの幅に収まる場合には、その他の場合と比較して、平面によって被写体の表面が良く近似され、計測結果の誤差が小さくなる。したがって、この目印を表示することによって、計測により適した位置をユーザに知らせることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。
【図３】本発明の一実施形態における計測点の３次元座標の求め方を説明するための参考図である。
【図４】本発明の一実施形態における計測処理の手順を示すフローチャートである。
【図５】本発明の一実施形態における計測画面を示す参考図である。
【図６】本発明の一実施形態における計測画面を示す参考図である。
【図７】本発明の一実施形態におけるガイド幅の算出方法を説明するための参考図である。
【図８】本発明の一実施形態における計測画面を示す参考図である。
【図９】本発明の一実施形態におけるガイドの表示例を示す参考図である。
【図１０】本発明の一実施形態における計測処理の手順を示すフローチャートである。
【図１１】本発明の一実施形態における計測画面を示す参考図である。
【図１２】面基準計測における問題点を説明するための参考図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、内視鏡２と、この内視鏡２に接続された装置本体３とを備えている。内視鏡２は、細長な挿入部２０と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部６とを備えている。装置本体３は、内視鏡２で撮像された被写体の画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるモニタ４（液晶モニタ）と、内部に制御ユニット１０（図２参照）を有する筐体５とを備えている。
【００２０】
挿入部２０は、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを先端側から順に連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタや観察視野が１つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。
【００２１】
図２に示すように筐体５内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。
【００２２】
挿入部２０の先端部２１には撮像素子２８が内蔵されている。撮像素子２８は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、撮像素子２８から出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。
【００２３】
制御ユニット１０内には、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、カードＩ／Ｆ１５（カードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。
【００２４】
ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行う操作部６が接続されている。ユーザが操作部６を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。
【００２５】
ＵＳＢ Ｉ／Ｆ１６は、制御ユニット１０とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介して制御ユニット１０とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、制御ユニット１０とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【００２６】
また、カードＩ／Ｆ１５には、メモリカード３２を自由に着脱することができるようになっている。メモリカード３２をカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御に従って、このメモリカード３２に記憶されている制御処理情報や画像情報等のデータの制御ユニット１０への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード３２への記録を行うことが可能になる。
【００２７】
映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、モニタ４の画面上に表示するのに必要な処理等を行い、表示信号をモニタ４に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ４の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
【００２８】
ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。
【００２９】
次に、本実施形態の計測の原理を説明する。観察光学系に左右２つの視野を形成するステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元空間座標を求めることで、各種計測（ステレオ計測）が可能となる。
【００３０】
図３は、ステレオ計測による計測点の３次元座標の求め方を示している。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像上の点６１，６２の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（ＸＬ−ＸＲ）とする。
Ｘ＝ｔ×ＸＲ＋Ｄ／２ ・・・（１）
Ｙ＝ｔ×ＹＲ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）
【００３１】
上記のように元画像上の点６１，６２の座標が決定されると、パラメータＤおよびＦを用いて点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心６３または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。
【００３２】
次に、計測時の内視鏡装置の動作を説明する。以下では、２種類の動作例を説明する。また、以下では、計測対象となる被写体がパイプであり、挿入部２０を挿入する方向に直交する方向の観察を可能とする側視タイプのステレオ光学アダプタを用いるものとする。
【００３３】
（第１の動作例）
まず、第１の動作例を説明する。図４は、第１の動作例における計測処理の流れを示している。計測処理が開始されると、ＣＰＵ１８は計測モードの選択を行う。計測モードの選択は、モニタ４に表示される画面（以下、計測画面とする）の内容を見ながらユーザが操作部６を操作することで入力した計測モードの情報に基づいて行われる（ステップＳ１００）。
【００３４】
以降の処理は、ステップＳ１００で選択された計測モードに応じて分岐する。２点間の距離を計測する２点間計測や、基準線と１点との距離を計測する線基準計測など、面基準計測以外の計測モードが選択された場合、ＣＰＵ１８は、その計測モードに応じた計測処理を実行する（ステップＳ１４５）。本明細書では、面基準計測以外の計測モードに関する計測処理の詳細な説明は省略する。計測処理の実行後、計測処理は終了する。
【００３５】
一方、面基準計測が選択された場合、計測条件の入力が行われる。このとき入力される計測条件とは、パイプの表面の曲率情報（例えばパイプ径）や、必要な計測精度（許容誤差範囲）である。また、計測条件の入力は、モニタ４に表示される計測画面の内容を見ながらユーザが操作部６を操作することにより行われる。入力された計測条件の情報は、ＣＰＵ１８によってＲＡＭ１４に格納される（ステップＳ１１０）。ＲＡＭ１４に格納された計測条件の情報は、以降の処理で適宜読み出されて使用される。
【００３６】
ステップＳ１１０の直後から、計測を行うことが可能となる。図５は、ステップＳ１１０直後の計測画面を示している。計測画面には、ステレオ光学アダプタで捉えられた左右の被写体像に対応する左画像５０ａと右画像５０ｂが表示される。左画像５０ａと右画像５０ｂには、パイプ表面の凹部５１ａ，５１ｂが映っている。また、計測画面には、ユーザが計測に必要な点（以下、計測点とする）を指定するための照準５２ａ，５２ｂ（カーソル）が表示される。挿入部２０を挿入する方向がパイプの軸方向とほぼ等しいため、側視タイプのステレオ光学アダプタを用いて撮像した左画像５０ａと右画像５０ｂの上下方向はパイプの軸方向とほぼ等しい。
【００３７】
図５に示す計測画面の表示は以下のようにして行われる。ＣＰＵ１８は、照準５２ａ，５２ｂを含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、ＣＣＵ９からの映像信号とＣＰＵ１８からのグラフィック画像信号とを合成して表示信号を生成し、ＬＣＤ５へ出力する。ＬＣＤ５は、表示信号に基づいて計測画面を表示する。
【００３８】
ユーザが操作部６を操作して照準５２ａの移動を指示することにより、照準５２ａはユーザが指示する場所に移動する。また、左画像５０ａと右画像５０ｂのパターンマッチングにより、左画像５０ａ上の照準５２ａの位置に対応する右画像５０ｂ上の位置が算出され、照準５２ｂはその位置に表示される。ユーザが照準５２ａの移動を指示したなどの理由により計測画面を更新する必要が生じた場合、上記と同様の動作により、計測画面が更新される。
【００３９】
ステップＳ１１０に続いて、ＣＰＵ１８は、ＣＣＵ９から供給された映像信号に基づく画像データを映像信号処理回路１２から取得し、その画像データに基づいて物体距離を算出する。物体距離を算出するための計測点の位置は、例えば左画像５０ａの中心位置または照準５２ａの位置である（ステップＳ１１５）。ＣＰＵ１８が映像信号処理回路１２から取得した画像データはＲＡＭ１４に格納され、以降の処理で適宜読み出されて使用される。
【００４０】
続いて、ＣＰＵ１８は、計測に適した位置をユーザに知らせるためのガイド（目印）の幅を算出する（ステップＳ１２０）。ステップＳ１２０におけるガイドの幅の算出方法を説明する前に、まずガイドについて説明する。
【００４１】
図１２を参照して説明したように、パイプの内側の表面を近似する基準面を決定する３点の位置に応じて計測結果の誤差が異なる。特に、点Ａ以外の点Ｂ１，Ｂ２，Ｃ１，Ｃ２の位置が計測結果の誤差に与える影響が大きい。つまり、パイプの軸方向に直交する方向（図１２の左右方向）に計測点が広がるほど、パイプの内側の表面と基準面とが乖離する度合いが大きくなり、計測結果の誤差が大きくなる。一方、パイプの軸方向に平行な方向（図１２の上下方向）に計測点が移動しても、基準面はあまり変わらないので、計測結果の誤差はあまり変わらない。そこで、パイプの軸方向に直交する方向に計測点が広がりすぎないようにユーザに促すため、目印となるガイドが表示される。
【００４２】
図６は、ガイドが表示されたときの計測画面を示している。図６に示すように、ガイド５３は、上下方向に引かれた２本の直線５３ａ，５３ｂで構成される。直線５３ａ，５３ｂによって挟まれた領域の中で、基準面を決定する３つの計測点が指定された場合には、パイプの内側の表面と基準面とが近似する度合いが大きくなり、計測結果の誤差は小さくなる。
【００４３】
以下、図７を参照しながら、ステップＳ１２０におけるガイドの幅の算出方法を説明する。なお、第１の動作例では、ガイドは左画像の中央に固定的に表示され、ガイドの幅（直線５３ａ，５３ｂの間隔）が、パイプ径に応じて変化するものとする。図７の上部は、内視鏡がパイプの内側の表面を撮像したときの画像を示しており、図７の下部はパイプの断面を示している。まず、ＣＰＵ１８は、パイプの表面７０を近似する平面Ｓがパイプの表面７０と交わる点Ｐ１，Ｐ２の空間距離ｄを算出する。この空間距離ｄがガイドの幅となる。
【００４４】
空間距離ｄは、パイプの曲率半径ｒと許容誤差範囲ｘから求められる。まず、以下の（４）式を満たすθが算出される。
ｘ＝ｒ−ｒ・ｃｏｓθ ・・・（４）
続いて、以下の（５）式により上記の空間距離ｄが算出される。
ｄ＝２ｒ・ｓｉｎθ ・・・（５）
【００４５】
ステップＳ１２０に続いて、ＣＰＵ１８は、ステップＳ１１５で算出した物体距離に基づいて、空間距離ｄに相当する画像上の距離を算出する。物体距離が大きいほど、空間距離ｄに対応する画像上の距離は小さくなる。本実施形態では、既知の長さ（空間距離）を有する物体を撮像したときの画像における物体の長さ（平面距離）と物体距離を予め計測し、物体距離に応じた、空間距離と平面距離との関係を示す情報を生成しておくものとする。
【００４６】
なお、パイプの内側の表面の曲率情報は、作業者側で容易に把握することができる。すなわち、プラントを例に挙げると、作業者は、パイプの種類を、プラント設計図面から容易に認識することができる。
【００４７】
また、上述したＲＯＭ１３に、パイプの種類とそれに対応するパイプの曲率半径ｒとを格納すれば、ＣＰＵ１８の負荷を抑制することができる。その結果、目印の表示速度を早め、以って、作業効率を向上させた内視鏡装置を提供することができる。
【００４８】
ＣＰＵ１８は、上記の情報と、ステップＳ１１５で算出した物体距離とに基づいて、空間距離ｄに相当する画像上の平面距離を算出する。ガイドを構成する２本の直線は、左画像５２ａの中心位置を基準とし、この平面距離だけ離れた位置に表示される。ＣＰＵ１８は、照準およびガイドを含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。これ以降、前述した動作と同様の動作が実行され、計測画面にガイドが表示される（ステップＳ１２５）。
【００４９】
続いて、ユーザによって４つの計測点が入力される。このとき、ユーザは、計測画面を見ながら操作部６を操作して計測点の位置を順次指定する（ステップＳ１３０）。ステップＳ１３０では、具体的には以下のようにして計測点が指定される。まず、基準面を決定する３つの計測点が左画像上で指定される。図８（ａ）は、計測点８０ａ，８０ｂ，８０ｃが指定された後の計測画面を示している。本実施形態では、計測点は×印のアイコンで計測画面に表示される。ユーザが３つの計測点を指定する際、ガイドを構成する２本の直線５３ａ，５３ｂに挟まれた領域内で各計測点を指定することが望ましい。直線５３ａ，５３ｂに挟まれた領域内で３つの計測点が指定された場合、それらの計測点を通る基準面はパイプの表面を良く近似しているため、計測結果の誤差は小さい。本実施形態では、基準面を決定する点として３つの計測点を用いるが、４つ以上の計測点を用いてもよい。
【００５０】
３つの計測点が指定された後、パイプ表面の凹部の深さを計測する位置を指定する１つの計測点が左画像上で指定される。図８（ｂ）は、計測点８０ｄが指定された後の計測画面を示している。パイプ表面の凹部５１ａのほぼ中心位置に計測点８０ｄが指定されている。
【００５１】
計測点の入力と並行して、ＣＰＵ１８は、左画像５０ａと右画像５０ｂのパターンマッチングにより、左画像５０ａ上の各計測点の位置に対応する右画像５０ｂ上の位置（マッチング点）を算出し、各計測点と各マッチング点の平面座標から、各計測点に対応する空間座標を算出する。算出された空間座標はＲＡＭ１４に格納され、以降の処理で適宜読み出されて使用される。また、計測点のアイコンを計測画面に表示する処理も、照準やガイドを表示する処理と同様に実行される。
【００５２】
ステップＳ１３０に続いて、ＣＰＵ１８は、基準面を決定する３つの計測点の空間座標を通る平面を算出し、その平面と、深さを計測する位置を指定する１つの計測点との空間距離を算出する（ステップＳ１３５）。
【００５３】
続いて、ＣＰＵ１８は、ステップＳ１３５で算出した空間距離を計測結果として計測画面に表示するため、計測画面を更新する処理を実行する。これによって、計測画面に計測結果が表示される（ステップＳ１４０）。図８（ｂ）に示すように、４つの計測点が指定されると、即座に計測結果８１が表示される。計測結果が表示されると、計測処理は終了する。
【００５４】
次に、ガイドの他の表示例を説明する。図９（ａ）では、ガイドは矢印９０で構成されている。この図９（ａ）では、画像の上下方向がパイプの軸方向であることをユーザが知っていることを前提としている。矢印９０は、計測点の水平位置の望ましい範囲を示している。ユーザは計測点を指定するとき、計測点の垂直位置は任意で良いが、計測点の水平位置が矢印９０の示す範囲内に収まるようにすることが望ましい。
【００５５】
図９（ｂ）では、ガイドは２本の矢印９１ａ，９１ｂで構成されている。矢印９１ａは、図９（ａ）の矢印９０と同様に計測点の水平位置の望ましい範囲を示している。また、矢印９１ｂは、パイプの軸方向を示している。ユーザは計測点を指定するとき、矢印９１ｂが示す方向の計測点の位置は任意で良いが、計測点の水平位置が矢印９１ａの示す範囲内に収まるようにすることが望ましい。
【００５６】
図９（ｃ）では、ガイドは楕円９２で構成されている。楕円９２の短軸は、計測点の水平位置の望ましい範囲を示している。また、楕円９２の長軸の方向は、パイプの軸方向を示している。ユーザは計測点を指定するとき、楕円９２の長軸が示す方向の計測点の位置は任意で良いが、計測点の水平位置が楕円９２の短軸の示す範囲内に収まるようにすることが望ましい。
【００５７】
ガイドの形状は、上記の形状以外であってもよい。また、ガイドを太くしたり、ガイドに色をつけたり、ガイドを点滅表示させたりなど、各種の強調表示を行ってもよい。
【００５８】
（第２の動作例）
次に、第２の動作例を説明する。図１０は、第２の動作例における計測処理の流れを示している。以下では、第１の動作例と異なる部分のみを説明する。
【００５９】
ステップＳ１１０で計測条件が入力された後、基準点がユーザによって入力される。この基準点とは、パイプ表面の凹部の深さを計測する位置を指定する計測点であると共にガイドの表示位置の基準となる点である。基準点が入力されたとき、第１の動作例と同様に、左画像上で指定された基準点に対応する右画像上のマッチング点が算出される（ステップＳ１１１）。
【００６０】
続いて、ＣＰＵ１８は、ステップＳ１１１で入力された基準点における物体距離を算出する（ステップＳ１１６）。続いて、第１の動作例と同様にガイドの幅が算出され（ステップＳ１２０）、計測画面にガイドが表示される（ステップＳ１２６）。ステップＳ１２６では、ステップＳ１１１で入力された基準点の位置を基準とした位置にガイドが表示される。
【００６１】
図１１（ａ）は、ステップＳ１２６でガイドが表示された後の計測画面を示している。ステップＳ１１１で基準点１１０が入力されると、基準点１１０の位置を基準とし、パイプ径と許容誤差範囲に応じた距離だけ離れた位置に、ガイド５３を構成する２本の直線５３ａ，５３ｂが表示される。
【００６２】
ステップＳ１２６に続いて、ユーザによって３つの計測点が入力される（ステップＳ１３１）。ステップＳ１３１で入力される３つの計測点は、パイプの内側の表面を近似する基準面を決定する計測点である。図１１（ｂ）は、計測点１１１ａ，１１１ｂ，１１１ｃが指定された後の計測画面を示している。ユーザが３つの計測点を指定する際、ガイド５３を構成する２本の直線５３ａ，５３ｂに挟まれた領域内で各計測点を指定することが望ましい。
【００６３】
ステップＳ１３１で３つの計測点が入力された後、第１の動作例と同様に基準面と基準点の空間距離が算出され（ステップＳ１３５）、その空間距離が計測結果として計測画面に表示される（ステップＳ１４０）。図１１（ｂ）に示すように、基準点が指定された後、３つの計測点が指定されると、即座に計測結果１１２が表示される。
【００６４】
上記の説明では、パイプ表面の凹部の深さを計測する位置を指定する計測点の指定が、ガイドの表示位置の基準となる点の指定を兼ねているが、基準面を決定する３つの計測点のうちいずれかの指定が、ガイドの表示位置の基準となる点の指定を兼ねるようにしてもよい。
【００６５】
第１の動作例では、ガイドが画像内の中央に固定的に表示されるため、パイプの凹部がなるべく画像の中央にくるように調節を行うことが望ましい。これに対して、第２の動作例では、ユーザがガイドの表示位置を指定することが可能なので、上記の調整を行う必要がなくなり、画像内の任意の位置に映っている被写体の計測に適したガイドを表示することができる。
【００６６】
上述したように、本実施形態によれば、ガイドを表示することによって、計測により適した位置をユーザに知らせることができる。特に、計測対象の被写体がパイプである場合には、（４）式および（５）式によりガイドの幅を簡単な方法で計算することができる。
【００６７】
また、内視鏡が撮像した画像におけるパイプの軸方向をユーザが知っている場合、図９（ａ）に示したように、所定方向における計測点の位置の望ましい範囲を示すガイド（矢印９０）のみを表示すればよい。これに対して、パイプの軸方向も示すガイドを表示する場合には、ユーザが、計測点を指定する位置として推奨される範囲をより明確にイメージすることができ、計測点を指定しやすくなる。
【００６８】
また、第２の動作例で説明したように、１つの計測点の指定が、ガイドの表示位置の基準となる点の指定を兼ねることによって、点を指定する操作の回数を増加することなく、画像内の任意の位置に映っている被写体の計測に適したガイドを表示することができる。
【００６９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記では、側視タイプの光学アダプタを用いているが、挿入部２０を挿入する方向の観察を可能とする直視タイプの光学アダプタを用いてもよい。また、計測対象の被写体はパイプでなくてもよく、曲面を有するタービンブレードなどでもよい。
【符号の説明】
【００７０】
１・・・内視鏡装置、２・・・内視鏡、３・・・装置本体、４・・・モニタ、５・・・筐体、６・・・操作部、８・・・内視鏡ユニット、９・・・ＣＣＵ（映像信号生成部）、１０・・・制御ユニット、１２・・・映像信号処理回路（表示信号生成部）、１８・・・ＣＰＵ（距離算出部）、２０・・・挿入部、２１・・・先端部、２２・・・湾曲部、２３・・・可撓管部、２８・・・撮像素子
【技術分野】
【０００１】
本発明は、内視鏡により被写体を撮像して得られた映像信号を処理する内視鏡装置および計測方法に関する。
【背景技術】
【０００２】
工業用内視鏡は、ボイラー、タービン、エンジン、パイプ等の内部の傷や腐食等の観察や検査に使用されている。また、内視鏡で撮像された画像上で指定された計測点をもとに長さや面積などの計測を行う機能を備えた工業用内視鏡がある（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−６６５３６号公報
【特許文献２】特開２００３−７０７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
工業用内視鏡が備える計測機能の一つに、面基準計測と呼ばれる機能がある。面基準計測では、ユーザが画像上で指定した３点の空間座標で決まる仮想的な平面（基準面）と、ユーザが画像上で指定した１点の空間座標との空間距離（３次元距離）が算出される。面基準計測を行うことにより、例えば計測対象物の表面に存在する凹部の深さや凸部の高さを知ることができる。
【０００５】
しかし、パイプのように曲面を有する物体に対して面基準計測を行う場合、基準面を決定するための３点の位置に応じて計測結果の誤差が異なるという問題が発生する。以下、図１２を参照しながら、この問題の詳細を説明する。
【０００６】
図１２に示すように、内視鏡がパイプの内側の表面を撮像したときの画像１２０上に、計測対象となる凹部１２１が存在しているものとする。また、画像１２０の上下方向がパイプの軸方向であるものとする。図１２の下部は、パイプの断面を示している。面基準計測を行う場合、ユーザは、パイプの内側の表面１２２を近似する基準面を決定する３点と、凹部１２１の深さを計測する位置を指定する１点とを画像１２０上で指定する。
【０００７】
例えば、基準面を決定する３点として点Ａ，Ｂ１，Ｃ１が指定され、凹部１２１の深さを計測する位置を指定する１点として点Ｄが指定された場合、凹部１２１の深さはｄ１となる。一方、基準面を決定する３点として点Ａ，Ｂ２，Ｃ２が指定され、凹部１２１の深さを計測する位置を指定する１点として点Ｄが指定された場合、凹部１２１の深さはｄ２となる。
【０００８】
基準面を決定する３点として点Ａ，Ｂ１，Ｃ１が指定された場合、これらの点を通る基準面Ｓ１はパイプの内側の表面１２２を比較的良く近似しているため、計測結果として得られる深さｄ１の、実際の深さに対する誤差は小さい。しかし、基準面を決定する３点として点Ａ，Ｂ２，Ｃ２が指定された場合、これらの点を通る基準面Ｓ２は、基準面Ｓ１と比較すると、パイプの内側の表面１２２に対する近似度が低いため、計測結果として得られる深さｄ２の、実際の深さに対する誤差は大きくなる。
【０００９】
上記のように、基準面を決定する３点の位置に応じて計測結果の誤差が異なる。このため、基準面を決定する３点が、計測結果の誤差の小さくなる位置に指定されることが望ましい。
【００１０】
そこで、計測により適した位置をユーザに知らせることができる内視鏡装置および計測方法を提供することが望まれていた。
【課題を解決するための手段】
【００１１】
本実施態様にかかる内視鏡装置によれば、被写体を撮像し撮像信号を生成する内視鏡と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１の距離算出部と、前記映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する表示信号生成部と、前記画像上で指定された点の空間座標を算出し、少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第２の距離算出部と、を備えたものである。
【００１２】
また、前記被写体はパイプであり、前記第１の距離算出部は、前記パイプの内側の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出することが好ましい。
【００１３】
また、前記表示信号生成部は、前記映像信号に基づく画像上に、前記交点間の空間距離分の幅と前記パイプの軸方向とを示す目印を表示するための前記表示信号を生成することが好ましい。
【００１４】
また、前記表示信号生成部は、前記映像信号に基づく画像上において、前記１点の空間座標に対応する位置に、前記交点間の空間距離を示す目印を表示するための表示信号を生成することが好ましい。
【００１５】
本実施態様にかかる計測方法は、内視鏡が撮像する被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１のステップと、前記内視鏡が前記被写体を撮像して生成した撮像信号から生成された映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する第２のステップと、前記画像上の点を入力する第３のステップと、前記第３のステップで入力された少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第４のステップと、を備えたものである。
【発明の効果】
【００１６】
本実施態様にかかる内視鏡装置によれば、映像信号に基づく画像上に、被写体の表面の曲率情報に基づく空間距離分の幅を示す目印を表示することが可能となる。被写体の表面を近似する平面を決定する点の位置がこの幅に収まる場合には、その他の場合と比較して、平面によって被写体の表面が良く近似され、計測結果の誤差が小さくなる。したがって、この目印を表示することによって、計測により適した位置をユーザに知らせることができる。
【００１７】
また、本実施態様にかかる計測方法によれば、映像信号に基づく画像上に、被写体の表面の曲率情報に基づく空間距離分の幅を示す目印を表示することが可能となる。被写体の表面を近似する平面を決定する点の位置がこの幅に収まる場合には、その他の場合と比較して、平面によって被写体の表面が良く近似され、計測結果の誤差が小さくなる。したがって、この目印を表示することによって、計測により適した位置をユーザに知らせることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。
【図３】本発明の一実施形態における計測点の３次元座標の求め方を説明するための参考図である。
【図４】本発明の一実施形態における計測処理の手順を示すフローチャートである。
【図５】本発明の一実施形態における計測画面を示す参考図である。
【図６】本発明の一実施形態における計測画面を示す参考図である。
【図７】本発明の一実施形態におけるガイド幅の算出方法を説明するための参考図である。
【図８】本発明の一実施形態における計測画面を示す参考図である。
【図９】本発明の一実施形態におけるガイドの表示例を示す参考図である。
【図１０】本発明の一実施形態における計測処理の手順を示すフローチャートである。
【図１１】本発明の一実施形態における計測画面を示す参考図である。
【図１２】面基準計測における問題点を説明するための参考図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、内視鏡２と、この内視鏡２に接続された装置本体３とを備えている。内視鏡２は、細長な挿入部２０と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部６とを備えている。装置本体３は、内視鏡２で撮像された被写体の画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるモニタ４（液晶モニタ）と、内部に制御ユニット１０（図２参照）を有する筐体５とを備えている。
【００２０】
挿入部２０は、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを先端側から順に連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタや観察視野が１つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。
【００２１】
図２に示すように筐体５内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。
【００２２】
挿入部２０の先端部２１には撮像素子２８が内蔵されている。撮像素子２８は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、撮像素子２８から出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。
【００２３】
制御ユニット１０内には、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、カードＩ／Ｆ１５（カードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。
【００２４】
ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行う操作部６が接続されている。ユーザが操作部６を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。
【００２５】
ＵＳＢ Ｉ／Ｆ１６は、制御ユニット１０とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介して制御ユニット１０とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、制御ユニット１０とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【００２６】
また、カードＩ／Ｆ１５には、メモリカード３２を自由に着脱することができるようになっている。メモリカード３２をカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御に従って、このメモリカード３２に記憶されている制御処理情報や画像情報等のデータの制御ユニット１０への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード３２への記録を行うことが可能になる。
【００２７】
映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、モニタ４の画面上に表示するのに必要な処理等を行い、表示信号をモニタ４に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ４の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
【００２８】
ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。
【００２９】
次に、本実施形態の計測の原理を説明する。観察光学系に左右２つの視野を形成するステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元空間座標を求めることで、各種計測（ステレオ計測）が可能となる。
【００３０】
図３は、ステレオ計測による計測点の３次元座標の求め方を示している。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像上の点６１，６２の座標をそれぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（ＸＬ−ＸＲ）とする。
Ｘ＝ｔ×ＸＲ＋Ｄ／２ ・・・（１）
Ｙ＝ｔ×ＹＲ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）
【００３１】
上記のように元画像上の点６１，６２の座標が決定されると、パラメータＤおよびＦを用いて点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心６３または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。
【００３２】
次に、計測時の内視鏡装置の動作を説明する。以下では、２種類の動作例を説明する。また、以下では、計測対象となる被写体がパイプであり、挿入部２０を挿入する方向に直交する方向の観察を可能とする側視タイプのステレオ光学アダプタを用いるものとする。
【００３３】
（第１の動作例）
まず、第１の動作例を説明する。図４は、第１の動作例における計測処理の流れを示している。計測処理が開始されると、ＣＰＵ１８は計測モードの選択を行う。計測モードの選択は、モニタ４に表示される画面（以下、計測画面とする）の内容を見ながらユーザが操作部６を操作することで入力した計測モードの情報に基づいて行われる（ステップＳ１００）。
【００３４】
以降の処理は、ステップＳ１００で選択された計測モードに応じて分岐する。２点間の距離を計測する２点間計測や、基準線と１点との距離を計測する線基準計測など、面基準計測以外の計測モードが選択された場合、ＣＰＵ１８は、その計測モードに応じた計測処理を実行する（ステップＳ１４５）。本明細書では、面基準計測以外の計測モードに関する計測処理の詳細な説明は省略する。計測処理の実行後、計測処理は終了する。
【００３５】
一方、面基準計測が選択された場合、計測条件の入力が行われる。このとき入力される計測条件とは、パイプの表面の曲率情報（例えばパイプ径）や、必要な計測精度（許容誤差範囲）である。また、計測条件の入力は、モニタ４に表示される計測画面の内容を見ながらユーザが操作部６を操作することにより行われる。入力された計測条件の情報は、ＣＰＵ１８によってＲＡＭ１４に格納される（ステップＳ１１０）。ＲＡＭ１４に格納された計測条件の情報は、以降の処理で適宜読み出されて使用される。
【００３６】
ステップＳ１１０の直後から、計測を行うことが可能となる。図５は、ステップＳ１１０直後の計測画面を示している。計測画面には、ステレオ光学アダプタで捉えられた左右の被写体像に対応する左画像５０ａと右画像５０ｂが表示される。左画像５０ａと右画像５０ｂには、パイプ表面の凹部５１ａ，５１ｂが映っている。また、計測画面には、ユーザが計測に必要な点（以下、計測点とする）を指定するための照準５２ａ，５２ｂ（カーソル）が表示される。挿入部２０を挿入する方向がパイプの軸方向とほぼ等しいため、側視タイプのステレオ光学アダプタを用いて撮像した左画像５０ａと右画像５０ｂの上下方向はパイプの軸方向とほぼ等しい。
【００３７】
図５に示す計測画面の表示は以下のようにして行われる。ＣＰＵ１８は、照準５２ａ，５２ｂを含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、ＣＣＵ９からの映像信号とＣＰＵ１８からのグラフィック画像信号とを合成して表示信号を生成し、ＬＣＤ５へ出力する。ＬＣＤ５は、表示信号に基づいて計測画面を表示する。
【００３８】
ユーザが操作部６を操作して照準５２ａの移動を指示することにより、照準５２ａはユーザが指示する場所に移動する。また、左画像５０ａと右画像５０ｂのパターンマッチングにより、左画像５０ａ上の照準５２ａの位置に対応する右画像５０ｂ上の位置が算出され、照準５２ｂはその位置に表示される。ユーザが照準５２ａの移動を指示したなどの理由により計測画面を更新する必要が生じた場合、上記と同様の動作により、計測画面が更新される。
【００３９】
ステップＳ１１０に続いて、ＣＰＵ１８は、ＣＣＵ９から供給された映像信号に基づく画像データを映像信号処理回路１２から取得し、その画像データに基づいて物体距離を算出する。物体距離を算出するための計測点の位置は、例えば左画像５０ａの中心位置または照準５２ａの位置である（ステップＳ１１５）。ＣＰＵ１８が映像信号処理回路１２から取得した画像データはＲＡＭ１４に格納され、以降の処理で適宜読み出されて使用される。
【００４０】
続いて、ＣＰＵ１８は、計測に適した位置をユーザに知らせるためのガイド（目印）の幅を算出する（ステップＳ１２０）。ステップＳ１２０におけるガイドの幅の算出方法を説明する前に、まずガイドについて説明する。
【００４１】
図１２を参照して説明したように、パイプの内側の表面を近似する基準面を決定する３点の位置に応じて計測結果の誤差が異なる。特に、点Ａ以外の点Ｂ１，Ｂ２，Ｃ１，Ｃ２の位置が計測結果の誤差に与える影響が大きい。つまり、パイプの軸方向に直交する方向（図１２の左右方向）に計測点が広がるほど、パイプの内側の表面と基準面とが乖離する度合いが大きくなり、計測結果の誤差が大きくなる。一方、パイプの軸方向に平行な方向（図１２の上下方向）に計測点が移動しても、基準面はあまり変わらないので、計測結果の誤差はあまり変わらない。そこで、パイプの軸方向に直交する方向に計測点が広がりすぎないようにユーザに促すため、目印となるガイドが表示される。
【００４２】
図６は、ガイドが表示されたときの計測画面を示している。図６に示すように、ガイド５３は、上下方向に引かれた２本の直線５３ａ，５３ｂで構成される。直線５３ａ，５３ｂによって挟まれた領域の中で、基準面を決定する３つの計測点が指定された場合には、パイプの内側の表面と基準面とが近似する度合いが大きくなり、計測結果の誤差は小さくなる。
【００４３】
以下、図７を参照しながら、ステップＳ１２０におけるガイドの幅の算出方法を説明する。なお、第１の動作例では、ガイドは左画像の中央に固定的に表示され、ガイドの幅（直線５３ａ，５３ｂの間隔）が、パイプ径に応じて変化するものとする。図７の上部は、内視鏡がパイプの内側の表面を撮像したときの画像を示しており、図７の下部はパイプの断面を示している。まず、ＣＰＵ１８は、パイプの表面７０を近似する平面Ｓがパイプの表面７０と交わる点Ｐ１，Ｐ２の空間距離ｄを算出する。この空間距離ｄがガイドの幅となる。
【００４４】
空間距離ｄは、パイプの曲率半径ｒと許容誤差範囲ｘから求められる。まず、以下の（４）式を満たすθが算出される。
ｘ＝ｒ−ｒ・ｃｏｓθ ・・・（４）
続いて、以下の（５）式により上記の空間距離ｄが算出される。
ｄ＝２ｒ・ｓｉｎθ ・・・（５）
【００４５】
ステップＳ１２０に続いて、ＣＰＵ１８は、ステップＳ１１５で算出した物体距離に基づいて、空間距離ｄに相当する画像上の距離を算出する。物体距離が大きいほど、空間距離ｄに対応する画像上の距離は小さくなる。本実施形態では、既知の長さ（空間距離）を有する物体を撮像したときの画像における物体の長さ（平面距離）と物体距離を予め計測し、物体距離に応じた、空間距離と平面距離との関係を示す情報を生成しておくものとする。
【００４６】
なお、パイプの内側の表面の曲率情報は、作業者側で容易に把握することができる。すなわち、プラントを例に挙げると、作業者は、パイプの種類を、プラント設計図面から容易に認識することができる。
【００４７】
また、上述したＲＯＭ１３に、パイプの種類とそれに対応するパイプの曲率半径ｒとを格納すれば、ＣＰＵ１８の負荷を抑制することができる。その結果、目印の表示速度を早め、以って、作業効率を向上させた内視鏡装置を提供することができる。
【００４８】
ＣＰＵ１８は、上記の情報と、ステップＳ１１５で算出した物体距離とに基づいて、空間距離ｄに相当する画像上の平面距離を算出する。ガイドを構成する２本の直線は、左画像５２ａの中心位置を基準とし、この平面距離だけ離れた位置に表示される。ＣＰＵ１８は、照準およびガイドを含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。これ以降、前述した動作と同様の動作が実行され、計測画面にガイドが表示される（ステップＳ１２５）。
【００４９】
続いて、ユーザによって４つの計測点が入力される。このとき、ユーザは、計測画面を見ながら操作部６を操作して計測点の位置を順次指定する（ステップＳ１３０）。ステップＳ１３０では、具体的には以下のようにして計測点が指定される。まず、基準面を決定する３つの計測点が左画像上で指定される。図８（ａ）は、計測点８０ａ，８０ｂ，８０ｃが指定された後の計測画面を示している。本実施形態では、計測点は×印のアイコンで計測画面に表示される。ユーザが３つの計測点を指定する際、ガイドを構成する２本の直線５３ａ，５３ｂに挟まれた領域内で各計測点を指定することが望ましい。直線５３ａ，５３ｂに挟まれた領域内で３つの計測点が指定された場合、それらの計測点を通る基準面はパイプの表面を良く近似しているため、計測結果の誤差は小さい。本実施形態では、基準面を決定する点として３つの計測点を用いるが、４つ以上の計測点を用いてもよい。
【００５０】
３つの計測点が指定された後、パイプ表面の凹部の深さを計測する位置を指定する１つの計測点が左画像上で指定される。図８（ｂ）は、計測点８０ｄが指定された後の計測画面を示している。パイプ表面の凹部５１ａのほぼ中心位置に計測点８０ｄが指定されている。
【００５１】
計測点の入力と並行して、ＣＰＵ１８は、左画像５０ａと右画像５０ｂのパターンマッチングにより、左画像５０ａ上の各計測点の位置に対応する右画像５０ｂ上の位置（マッチング点）を算出し、各計測点と各マッチング点の平面座標から、各計測点に対応する空間座標を算出する。算出された空間座標はＲＡＭ１４に格納され、以降の処理で適宜読み出されて使用される。また、計測点のアイコンを計測画面に表示する処理も、照準やガイドを表示する処理と同様に実行される。
【００５２】
ステップＳ１３０に続いて、ＣＰＵ１８は、基準面を決定する３つの計測点の空間座標を通る平面を算出し、その平面と、深さを計測する位置を指定する１つの計測点との空間距離を算出する（ステップＳ１３５）。
【００５３】
続いて、ＣＰＵ１８は、ステップＳ１３５で算出した空間距離を計測結果として計測画面に表示するため、計測画面を更新する処理を実行する。これによって、計測画面に計測結果が表示される（ステップＳ１４０）。図８（ｂ）に示すように、４つの計測点が指定されると、即座に計測結果８１が表示される。計測結果が表示されると、計測処理は終了する。
【００５４】
次に、ガイドの他の表示例を説明する。図９（ａ）では、ガイドは矢印９０で構成されている。この図９（ａ）では、画像の上下方向がパイプの軸方向であることをユーザが知っていることを前提としている。矢印９０は、計測点の水平位置の望ましい範囲を示している。ユーザは計測点を指定するとき、計測点の垂直位置は任意で良いが、計測点の水平位置が矢印９０の示す範囲内に収まるようにすることが望ましい。
【００５５】
図９（ｂ）では、ガイドは２本の矢印９１ａ，９１ｂで構成されている。矢印９１ａは、図９（ａ）の矢印９０と同様に計測点の水平位置の望ましい範囲を示している。また、矢印９１ｂは、パイプの軸方向を示している。ユーザは計測点を指定するとき、矢印９１ｂが示す方向の計測点の位置は任意で良いが、計測点の水平位置が矢印９１ａの示す範囲内に収まるようにすることが望ましい。
【００５６】
図９（ｃ）では、ガイドは楕円９２で構成されている。楕円９２の短軸は、計測点の水平位置の望ましい範囲を示している。また、楕円９２の長軸の方向は、パイプの軸方向を示している。ユーザは計測点を指定するとき、楕円９２の長軸が示す方向の計測点の位置は任意で良いが、計測点の水平位置が楕円９２の短軸の示す範囲内に収まるようにすることが望ましい。
【００５７】
ガイドの形状は、上記の形状以外であってもよい。また、ガイドを太くしたり、ガイドに色をつけたり、ガイドを点滅表示させたりなど、各種の強調表示を行ってもよい。
【００５８】
（第２の動作例）
次に、第２の動作例を説明する。図１０は、第２の動作例における計測処理の流れを示している。以下では、第１の動作例と異なる部分のみを説明する。
【００５９】
ステップＳ１１０で計測条件が入力された後、基準点がユーザによって入力される。この基準点とは、パイプ表面の凹部の深さを計測する位置を指定する計測点であると共にガイドの表示位置の基準となる点である。基準点が入力されたとき、第１の動作例と同様に、左画像上で指定された基準点に対応する右画像上のマッチング点が算出される（ステップＳ１１１）。
【００６０】
続いて、ＣＰＵ１８は、ステップＳ１１１で入力された基準点における物体距離を算出する（ステップＳ１１６）。続いて、第１の動作例と同様にガイドの幅が算出され（ステップＳ１２０）、計測画面にガイドが表示される（ステップＳ１２６）。ステップＳ１２６では、ステップＳ１１１で入力された基準点の位置を基準とした位置にガイドが表示される。
【００６１】
図１１（ａ）は、ステップＳ１２６でガイドが表示された後の計測画面を示している。ステップＳ１１１で基準点１１０が入力されると、基準点１１０の位置を基準とし、パイプ径と許容誤差範囲に応じた距離だけ離れた位置に、ガイド５３を構成する２本の直線５３ａ，５３ｂが表示される。
【００６２】
ステップＳ１２６に続いて、ユーザによって３つの計測点が入力される（ステップＳ１３１）。ステップＳ１３１で入力される３つの計測点は、パイプの内側の表面を近似する基準面を決定する計測点である。図１１（ｂ）は、計測点１１１ａ，１１１ｂ，１１１ｃが指定された後の計測画面を示している。ユーザが３つの計測点を指定する際、ガイド５３を構成する２本の直線５３ａ，５３ｂに挟まれた領域内で各計測点を指定することが望ましい。
【００６３】
ステップＳ１３１で３つの計測点が入力された後、第１の動作例と同様に基準面と基準点の空間距離が算出され（ステップＳ１３５）、その空間距離が計測結果として計測画面に表示される（ステップＳ１４０）。図１１（ｂ）に示すように、基準点が指定された後、３つの計測点が指定されると、即座に計測結果１１２が表示される。
【００６４】
上記の説明では、パイプ表面の凹部の深さを計測する位置を指定する計測点の指定が、ガイドの表示位置の基準となる点の指定を兼ねているが、基準面を決定する３つの計測点のうちいずれかの指定が、ガイドの表示位置の基準となる点の指定を兼ねるようにしてもよい。
【００６５】
第１の動作例では、ガイドが画像内の中央に固定的に表示されるため、パイプの凹部がなるべく画像の中央にくるように調節を行うことが望ましい。これに対して、第２の動作例では、ユーザがガイドの表示位置を指定することが可能なので、上記の調整を行う必要がなくなり、画像内の任意の位置に映っている被写体の計測に適したガイドを表示することができる。
【００６６】
上述したように、本実施形態によれば、ガイドを表示することによって、計測により適した位置をユーザに知らせることができる。特に、計測対象の被写体がパイプである場合には、（４）式および（５）式によりガイドの幅を簡単な方法で計算することができる。
【００６７】
また、内視鏡が撮像した画像におけるパイプの軸方向をユーザが知っている場合、図９（ａ）に示したように、所定方向における計測点の位置の望ましい範囲を示すガイド（矢印９０）のみを表示すればよい。これに対して、パイプの軸方向も示すガイドを表示する場合には、ユーザが、計測点を指定する位置として推奨される範囲をより明確にイメージすることができ、計測点を指定しやすくなる。
【００６８】
また、第２の動作例で説明したように、１つの計測点の指定が、ガイドの表示位置の基準となる点の指定を兼ねることによって、点を指定する操作の回数を増加することなく、画像内の任意の位置に映っている被写体の計測に適したガイドを表示することができる。
【００６９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記では、側視タイプの光学アダプタを用いているが、挿入部２０を挿入する方向の観察を可能とする直視タイプの光学アダプタを用いてもよい。また、計測対象の被写体はパイプでなくてもよく、曲面を有するタービンブレードなどでもよい。
【符号の説明】
【００７０】
１・・・内視鏡装置、２・・・内視鏡、３・・・装置本体、４・・・モニタ、５・・・筐体、６・・・操作部、８・・・内視鏡ユニット、９・・・ＣＣＵ（映像信号生成部）、１０・・・制御ユニット、１２・・・映像信号処理回路（表示信号生成部）、１８・・・ＣＰＵ（距離算出部）、２０・・・挿入部、２１・・・先端部、２２・・・湾曲部、２３・・・可撓管部、２８・・・撮像素子
【特許請求の範囲】
【請求項１】
被写体を撮像し撮像信号を生成する内視鏡と、
前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
前記被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１の距離算出部と、
前記映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する表示信号生成部と、
前記画像上で指定された点の空間座標を算出し、少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第２の距離算出部と、
を備えたことを特徴とする内視鏡装置。
【請求項２】
前記被写体はパイプであり、
前記第１の距離算出部は、前記パイプの内側の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記表示信号生成部は、前記映像信号に基づく画像上に、前記交点間の空間距離分の幅と前記パイプの軸方向とを示す目印を表示するための前記表示信号を生成することを特徴とする請求項２に記載の内視鏡装置。
【請求項４】
前記表示信号生成部は、前記映像信号に基づく画像上において、前記１点の空間座標に対応する位置に、前記交点間の空間距離を示す目印を表示するための表示信号を生成することを特徴とする請求項１〜請求項３のいずれかに記載の内視鏡装置。
【請求項５】
内視鏡が撮像する被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１のステップと、
前記内視鏡が前記被写体を撮像して生成した撮像信号から生成された映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する第２のステップと、
前記画像上の点を入力する第３のステップと、
前記第３のステップで入力された少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第４のステップと、
を備えたことを特徴とする計測方法。
【請求項１】
被写体を撮像し撮像信号を生成する内視鏡と、
前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
前記被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１の距離算出部と、
前記映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する表示信号生成部と、
前記画像上で指定された点の空間座標を算出し、少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第２の距離算出部と、
を備えたことを特徴とする内視鏡装置。
【請求項２】
前記被写体はパイプであり、
前記第１の距離算出部は、前記パイプの内側の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記表示信号生成部は、前記映像信号に基づく画像上に、前記交点間の空間距離分の幅と前記パイプの軸方向とを示す目印を表示するための前記表示信号を生成することを特徴とする請求項２に記載の内視鏡装置。
【請求項４】
前記表示信号生成部は、前記映像信号に基づく画像上において、前記１点の空間座標に対応する位置に、前記交点間の空間距離を示す目印を表示するための表示信号を生成することを特徴とする請求項１〜請求項３のいずれかに記載の内視鏡装置。
【請求項５】
内視鏡が撮像する被写体の表面の曲率情報に基づいて、前記表面を近似する平面と前記表面との交点のうち２つの交点間の空間距離を算出する第１のステップと、
前記内視鏡が前記被写体を撮像して生成した撮像信号から生成された映像信号に基づく画像上に、前記交点間の空間距離分の幅を示す目印を表示するための表示信号を生成する第２のステップと、
前記画像上の点を入力する第３のステップと、
前記第３のステップで入力された少なくとも３点の空間座標で決まる平面と１点の空間座標との空間距離を算出する第４のステップと、
を備えたことを特徴とする計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２５６２４７（Ｐ２０１０−２５６２４７Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０８３９７（Ｐ２００９−１０８３９７）
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]