内視鏡装置
【課題】測定を希望する切断面の指定を容易に行え、かつその指定した切断面における観察対象の断面形状の把握を簡便に行える内視鏡装置を提供すること。
【解決手段】ステレオ計測を行うためのコンピュータと、内視鏡とを備える内視鏡装置であって、コンピュータは、モニタ３０の画面上に表示させた基準画像５０上で、観察対象の切断位置を特定する切断基準線５３を指定し、切断基準線５３上の点に対応する基準画像５０上の点を注目点として、この注目点に対応する参照画像５１上の対応点を探索する。基準画像５０上の注目点の位置と、参照画像５１上の対応点の位置とから、切断基準線５３上の各注目点に写像される空間上の点の３次元座標から断面情報を得て、その値を基に断面情報を出力する。すると、モニタ３０の画面には、基準画像５０上に表示される切断基準５３線に対する断面形状外形線図５７ａが表示される。
【解決手段】ステレオ計測を行うためのコンピュータと、内視鏡とを備える内視鏡装置であって、コンピュータは、モニタ３０の画面上に表示させた基準画像５０上で、観察対象の切断位置を特定する切断基準線５３を指定し、切断基準線５３上の点に対応する基準画像５０上の点を注目点として、この注目点に対応する参照画像５１上の対応点を探索する。基準画像５０上の注目点の位置と、参照画像５１上の対応点の位置とから、切断基準線５３上の各注目点に写像される空間上の点の３次元座標から断面情報を得て、その値を基に断面情報を出力する。すると、モニタ３０の画面には、基準画像５０上に表示される切断基準５３線に対する断面形状外形線図５７ａが表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から得られる画像信号を基に、所望する切断位置における断面形状の客観的な判断を可能にする内視鏡装置に関する。
【背景技術】
【０００２】
近年、医療分野及び工業分野において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものとなり、凹凸等を認識しにくい。
【０００３】
このため、特許文献１には複数の視点からの画像を得て３次元計測を行う計測内視鏡装置が示されている。また、特許文献２には、基準平面と計測点を指定することで基準平面から計測点までの距離を表示し、対象物の凹凸の高さ又は深さを客観的に認識できる計測用内視鏡装置が示されている。
【０００４】
これまでの計測用内視鏡装置では基準画像上で指定した点の３次元座標や２点間の距離或いは設定した平面からの深さ等の計測を行うことができた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平８−１２３３２号公報
【特許文献２】特許公報第２７７８７３９号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、観察対象における３次元形状を知るために、多数の点を指定し、その各点から得られる３次元座標を元に形状を推測していたため、観察対象の３次元形状を直感的に把握することが難しいという問題があった。
【０００７】
また、画像情報から撮像範囲全体の３次元情報を得て３次元モデルを作成する方法もあるが、３次元モデルを作成するためにはコンピュータによる演算処理に多大な時間がかかり、実用的ではないという問題があった。
【０００８】
したがって、例えばパイプ内部の腐食部の深さ測定を行う際、最も深い場所を特定するまでに多くの検査時間を要していた。
【０００９】
本発明は上記事情に鑑みてなされたものであり、測定を希望する切断面の指定を容易に行え、かつその指定した切断面における観察対象の断面形状の把握を簡便に行える内視鏡装置を提供することを目的にしている。
【課題を解決するための手段】
【００１０】
本発明の内視鏡装置は、観察対象を複数の視点から撮像する撮像部と、この撮像部によって得られる複数の視点における画像の１つを基準画像、残りの画像を参照画像としてステレオ計測を行うための演算処理部とを有する内視鏡装置であって、
前記演算処理部が前記基準画像を画面上に表示させる画像表示手段と、前記画面に表示された画像上で、前記観察対象の切断位置を特定する切断基準線を指定する切断基準線指定手段と、この切断基準線上の点に対応する前記基準画像上の点を注目点とし、この注目点に対応する前記参照画像上の対応点を探索する対応点探索手段と、前記基準画像上における注目点の位置と、前記対応点探索手段で求めた前記参照画像上の対応点の位置とから、前記切断基準線上の各注目点に写像される空間上の点の３次元座標である、前記切断位置における前記観察対象の断面情報を得る断面情報演算手段と、この断面情報演算手段で得られた値を基に断面情報を出力する断面情報出力手段と、を具備し、
前記断面情報出力手段は、前記画面の前記基準画像上に表示される前記切断基準線に基づく前記断面情報を、当該画面上に断面形状外形線図として表示する。
【００１１】
この構成によれば、表示されている基準画像に所望する切断面を指定することによって、観察者の所望する切断面の断面情報が画面上に表示される。
【発明の効果】
【００１２】
本発明によれば、測定を希望する切断面の指定を容易に行え、かつその指定した切断面における観察対象の断面形状の把握を簡便に行える内視鏡装置を実現できる。
【図面の簡単な説明】
【００１３】
【図１】図１ないし図１５は本発明の一実施形態に係り、図１は計測を行える内視鏡装置の概略構成を示す説明図
【図２】内視鏡挿入部先端部に儲けた撮像部と演算処理部を備えた計測装置とを説明する図
【図３】内視鏡で観察対象部位を観察している状態を示す図
【図４】ステレオ計測を説明するフローチャート
【図５】基準画像表示手段によってモニタの画面上に表示される内視鏡画像及び切断基準線の１例を示す図
【図６】切断面及び断面外形線を説明する図
【図７】他の基準線の１例を説明する図
【図８】断面情報を示す断面外形線の１例を示す図
【図９】基準画像に対して表示した断面外形線の表示例を説明する図
【図１０】断面情報を示す際のカメラ座標系を説明する図
【図１１】断面情報を示す断面外形線の他の例を示す図
【図１２】断面情報を示す断面外形線の別の例を示す図
【図１３】断面情報を示す断面外形線のまた他の例を示す図
【図１４】対応点探索のアルゴリズムを説明するフローチャート
【図１５】対応点探索後に示されるモニタ画面を説明する図
【図１６】図１６ないし図２２は複数画像間での対応付けのあいまいさを減らす工夫を説明する図であり、図１６はモニタ画面上に表示される画像を説明する図
【図１７】基準線上での順序を利用して断面情報の精度を上げる方法を説明するフローチャート
【図１８】周囲の点の奥行き情報を利用して断面情報の精度を上げる方法を説明するフローチャート
【図１９】逆対応点の利用によって断面情報の精度を上げる方法を説明するフローチャート
【図２０】エピポーララインからのずれの大きさを利用して断面情報の精度を上げる方法説明するフローチャート
【図２１】微分値を利用して断面情報の精度を上げる方法を説明するフローチャート
【図２２】注目点の周りに設定する小さな領域の形状を示す図
【図２３】１点を指定して得られる基準線の１例を説明する図
【図２４】１点を指定して得られる基準線の他の例を説明する図
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
図１に示すように本実施形態の計測を行うための内視鏡装置１は、観察対象部位の観察像を後述する撮像素子上に結像させる撮像部を内視鏡に備えた電子内視鏡２（以下内視鏡と記載する）と、この内視鏡２によって得られた観察像の画像信号に画像処理を施し、この画像処理した画像データを基に各種計測を行うための演算処理部を有する計測装置３とで主に構成されている。
【００１５】
なお、前記計測装置３には観察対象に照明光を供給するための光源装置（不図示）が内蔵されており、観察対象部位の内視鏡画像はモニタ３０の画面上に表示されるようになっている。
【００１６】
前記内視鏡２は、細長な挿入部２０を有し、この挿入部２０の基端部には把持部を兼ねる操作部２１が配設されている。そして、この操作部２１の側部からは前記計測装置３に着脱自在なコネクタ２２を基端部に配設したユニバーサルコード２３が延出している。
【００１７】
前記挿入部２０は、先端側から順に後述する撮像光学系を内蔵した先端部２４と、複数の湾曲駒を回動自在に連接して湾曲自在に形成された湾曲部２５と、細長な柔軟部材で形成した可撓管部２６とで構成されている。なお、符号２７は前記湾曲部２５を湾曲操作する操作ノブ２７である。
【００１８】
図２に示すように前記先端部２４には一対の対物レンズ系４１，４２と、この対物レンズ系４１，４２を通して撮像面に結像した光学像を画像信号に光電変換する撮像素子４３とから構成される撮像部４０が配置されている。
【００１９】
前記対物レンズ系４１，４２は、観察対象部位を複数の視点で撮像できるように構成したものであり、撮像素子４３の撮像面上には前記対物レンズ系４１，４２を通過したそれぞれの光学像が結像する。つまり、本実施形態の内視鏡２はいわゆる視差を有するステレオ画像を得る立体視内視鏡である。
【００２０】
図１及び図２に示すように計測装置３は、前記撮像素子４３で光電変換された画像信号を前記モニタ３０に表示するためのビデオ信号に変換するカメラコントロールユニット（以下ＣＣＵと略記する）３１と、このＣＣＵ３１で生成されたビデオ信号をデジタル画像信号に変換するビデオキャプチャ回路３２と、このビデオキャプチャ回路３２で変換されたデジタル画像信号を基に計測のための演算を行う演算処理部であるホストコンピュータ３３と、このホストコンピュータ３３を介して計測装置３を操作するコンソール３４とで主に構成されている。
【００２１】
図３に示すように計測装置３の光源装置で発生された照明光は、前記コネクタ２２、前記ユニバーサルケーブル２３、挿入部２０内を挿通するライトガイドファイバ（不図示）を伝送されて照明窓４４から観察対象部位４に向かって出射される。このことにより、前記計測装置３のモニタ３０に観察対象部位４の内視鏡画像が表示される。
【００２２】
なお、本実施形態においては前記コンソール３４を計測装置本体３５に対して別体とし、前記モニタ３０を計測装置本体３５に対して一体としているが、用途によってそれぞれ計測装置本体３５に対して一体又は別体で構成される。
【００２３】
図４ないし図２４を参照して、上述のように構成した内視鏡装置１を用いてステレオ計測を行う際の動作及び作用を説明する。
例えば内視鏡２の挿入部２０をパイプ管内に挿入し腐食部や傷の観察を開始する。
【００２４】
すると、まず図４のフローチャートのステップＳ１０１に示すように照明光によって照らされた観察対象部位４の観察像が前記対物レンズ系４１，４２を通して撮像素子４３の撮像面にそれぞれ結像する。この撮像素子４３に結像して光電変換されたそれぞれの観察像の画像信号は、前記挿入部２０、操作部２１、ユニバーサルケーブル２３内を挿通する図示しない信号線及びコネクタ２２を介して計測装置３のＣＣＵ３１に伝送される。
【００２５】
そして、ＣＣＵ３１に伝送された画像信号は、このＣＣＵ３１でビデオ信号に生成された後、ビデオキャプチャ回路３２に伝送されてデジタル画像信号に変換され、ステップＳ１０２に示すようにこのデジタル映像信号をホストコンピュータ３３に転送する一方、ステップＳ１０３に示すようにモニタ３０にビデオ信号を伝送して内視鏡観察画像をモニタ３０の画面上に表示させる。
【００２６】
モニタ観察中に腐食部などを発見した場合には腐食部の計測を行う。このとき、まず観察者は前記コンソール３４を操作してステレオ計測モードに切り換える。すると、ホストコンピュータ３３内の画像表示手段によってモニタ３０の画面上には図５に示すように前記対物レンズ系４１，４２でそれぞれとらえた観察像の内視鏡画像のうち例えば、一方の対物レンズ系４１でとらえた画像を基準画像とし、他方の対物レンズ系４２でとらえた画像を参照画像として、それぞれの計測用補正画像である補正基準画像５０と補正参照画像５１が、モニタ３０上に分割して表示される。
【００２７】
なお、前記画像５０，５１は、ステップＳ１０４に示すように補正画像生成手段によって、前記ホストコンピュータ３３に取り込まれたデジタル画像信号を予め得られている前記撮像部４０の歪補正係数等を元に歪補正を施した計測用補正画像として生成されている。そして、この計測用補正画像である補正基準画像５０及び補正参照画像５１で以下に述べる対応点探索等のステレオ計測が行われる。
【００２８】
計測を行うためまず、ステップＳ１０５に示すように図５に示す基準画像５０上に計測のための断面情報を得たい部分の切断位置を特定するための切断基準線を得るための２点Ａ，Ｂを切断基準線指定手段を介して指定する。この作業は、観察者が前記コンソール３４等を用いて、画面上に表示される矢印やカーソル等のポインターを移動操作して行う。
【００２９】
そして、観察者が点Ａ，Ｂを指定することにより、この点Ａと点Ｂとを結ぶ点線に示す直線が切断基準線（以下基準線と略記する）５３、或いは点Ａ，Ｂ間を結ぶ実線で示す線分が切断基準線分（以下基準線分と略記する）５４になる。この切断基準線５３によって決まる切断面を図６を用いて説明する。観察対象４の像は本来、倒立像として光学中心を挟んだ観察対象の反対側に結ぶが、図中では理解しやすいように補正基準画像５０を正立像で観察対象４と光学中心Ｌとの間に置いている。
【００３０】
なお、上述のように指定した基準線５３とは別に、図７に示すように点Ａと点Ｂとの間にある点（本図においては中点）においてある角度（本図においては直交する直線）で交わる一点鎖線に示す直線をもうひとつの基準線である補助線５５として設定するようにしてもよい。
【００３１】
観察者の意図する切断面５６は、図中の前記補正基準画像５０に対して直交する二点鎖線に示す平面となる。この切断面５６は、基準線５３と基準画像を撮像する光学系の光学中心Ｌとを含む平面として定義される。
【００３２】
そして、図中に示す点Ａ1 、Ｂ1 が、前記補正基準画像５０上の点Ａ、Ｂの観察対象部位４の表面上への写像点になる。つまり、本実施形態における表示対象である断面外形線５７は、観察対象部位４を視線方向から見たときの表面と、切断面５６との共有線として定義される。
【００３３】
したがって、補正基準画像５０には基準画像用光学系の光軸が点として投影され、その点が補正基準画像５０の画像中心Ｏである。なお、符号５８は光軸であり、図６中で画像中心Ｏと光学中心Ｌとを結ぶ一点鎖線として表している。
【００３４】
ステップＳ１０６に示すように、前記切断面５６に対する断面情報を得るため計測用補正画像である補正基準画像５０上の基準線５３（或いは基準線分５４）上のすべての画素を注目点として設定することにより、ステップＳ１０７では対応点探索手段によって前記注目点に対応する補正参照画像５１上での画素である対応点の探索を行い、後述する対応点群５９を描出する。この対応点探索のアルゴリズムについては後述する図１４のフローチャート及び図１５で説明する。
【００３５】
前記ステップＳ１０７の対応点探索において対応点が見つかったならステップＳ１０８に移行して、前記注目点の補正基準画像５０上での位置と、前記対応点の補正参照画像５１上での位置の差、つまり各注目点毎の視差を求め、ステップＳ１０９に移行して、得られた視差と、事前に得られている各光学系の光学中心間の距離である基線長や各光学系の焦点距離、各光学系の光軸の計測用補正画像への写像点の座標等の光学データを基に、断面情報演算手段によって注目点の写像されている空間上の点の３次元座標を計算する。
【００３６】
このステップＳ１０９で前記基準線５３上のすべての画素に対応する点の３次元座標を求めたなら、ステップＳ１１０に移行して各点の３次元座標を基に切断面５６の断面情報を以下に示す４通りの中から観察者の所望するように構成し、ステップＳ１１１に移行し、断面情報出力手段によって観察対象の切断面の形状を容易に把握できる断面情報を断面形状外形線図としてモニタ３０の画面上に表示させる。なお、前記断面形状外形線図をモニタ３０の画面上への表示方法としては、断面形状外形線図だけを画面内の補正参照画像５１の代わりに表示させる、或いは画面上にさらに別ウィンドウを表示させてこのウィンドウに表示させる場合等又は、補正基準画像５０に重ね合わせて表示する方法等がある。
【００３７】
ここで、前記断面情報及び対応点探索のアルゴリズムについて説明する。
まず、断面情報について説明する。この断面情報については以下の４通りの表示方法がある。
【００３８】
（１）切断面上での断面情報を直接に表示：
断面情報を図８に示す断面形状外形線５７ａとして表示するものであり、図中縦軸は基準線分５４或いは基準線５３の切断面５６への正射影、横軸は光軸５８の切断面５６への正射影であり、この場合に断面形状外形線図が直線的に得られる。
【００３９】
この断面形状外形線５７ａを、計測中にモニタ３０の画面上に表示させるためには、モニタ上に別ウィンドウを開いてそのウィンドウに前記断面形状外形線５７ａを表示させる場合と、図９に示すようにモニタ３０に表示されている基準画像５０に対して断面形状外形線５７ａ重ね合わせて表示させる場合とがある。なお、重ね合わせて表示させる場合には、凹凸を知る手がかりとして、視線方向を示すマークとなる矢印Ｃ等を表示させる。
【００４０】
（２）断面情報を空間上の平面へ投影して表示：
図１０に示すように前記基準画像５０を撮像する光学系の前記光学中心Ｌを原点とし、前記観察対象表面５２に向かって水平方向右向きをｘ軸、垂直方向上向きをｙ軸、奥行き方向をｚ軸に取ったカメラ座標系を形成し、図１１（ａ）に示す（ｘ−ｚ）平面又は図１１（ｂ）に示す（ｙ−ｚ）平面に投影して断面形状外形線５７ｂ，５７ｃを表示する。この表示においては、通常の図面で用いられているものと同じ投影方法を選択できるので、図面における投影方法に慣れ親しんだ観察者にとっては形状把握を容易に行えるという利点がある。なお、用途によって任意の座標軸、任意の投影面を設定するようにしてもよい。
【００４１】
（３）断面情報を擬似３次元にて表示：
図１２に示すように実空間内に内視鏡２からの視点とは別の視点を新たに設定し、その設定した別視点から見た断面形状外形線５７ｄを表示する。図中に示す円筒形状図は内視鏡２の空間上配置位置を参考として示すものである。また、視点の位置を３次元的に示す画像を別画面で同時に表示させることもできる。この表示方法では、視点を順次移動させて見え方の変化を追うことで、観察対象の３次元形状を直感的に把握できる。
【００４２】
（４）実空間上の基準線からの奥行き情報を抽出しての表示
図８、図１３に示すように基準線分５４或いは基準線５４上の点Ｄを、観察対象４の表面上に写像した点Ｄ1 と、点Ａ、Ｂの実空間への写像点である点Ａ1 、Ｂ1 を結んだ直線Ａ1 Ｂ1 上に写像した点Ｄ2 との距離を、補正基準画像５０上で基準線分５４に対して垂直方向に表す。点Ｄを基準線分５４或いは基準線５３上のすべての点とすることで、断面形状外形線５７ｅを表示する。なお、この表示方法においても前記（１）での説明と同様、凹凸を知る手掛かりとして、視線の方向を示す矢印Ｃを表示する。なお、手掛かりとして断面外形線５７ｅに線分Ｄ1 Ｄ2 の長さに応じた色をつけるようにも設定してもよい。 この表示方法では、奥行き差が非常に大きい画像においても結果をコンパクトに表示することができる。
【００４３】
次に、前記対応点探索のアルゴリズムを説明する。
対応点の探索は、すべて計測用補正画像上で行う。対応点の探索は、テンプレートマッチング或いはウィンドウマッチングとして知られ、注目点の周囲にある点の情報を助けに対応点を探索するアルゴリズムを用いる。
【００４４】
補正基準画像５０に対して点として投影される空間上の直線は、補正参照画像５１上では直線として投影される。この直線をエピポーララインと呼ぶ。補正基準画像５０上の注目点に対する補正参照画像５１上の対応点は、理論上前記エピポーライン上にしか存在しない。したがって、対応点の探索は、誤差を見込んでエピポーララインとその上下数ピクセルの範囲で行えば良い。よって、探索の手順は図１４に示すフローチャートのようになる。
【００４５】
まず、ステップＳ１０７で示した対応点の探索が開始されると、ステップＳ２０１に示すように注目点の周囲に領域Ｐ1 を設定する。そして、ステップＳ２０２に移行して注目点に対応するエピポーララインを計算し、ステップＳ２０３でこのエピポーララインの上下数ピクセルの範囲内の点を対応点の候補点として抽出する。
【００４６】
次に、ステップＳ２０４に移行して前記候補点の周りに前記注目点に設定した領域Ｐ1 と同じ大きさの領域Ｐ2 を設定し、ステップＳ２０５に示すように注目点の領域Ｐ1 と各対応点の候補点の周りの領域Ｐ2 との濃度値の正規化相互相関或いは、差の自乗和等を計算して対応度を求め、ステップＳ２０６，Ｓ２０７に示すようにすべての候補点の対応度を計算し、その結果をすべての候補点について保存する。すべての候補点についての対応度の保存が済んだなら、ステップＳ２０８，Ｓ２０９に示すように最も高い対応度である候補点を注目点に対する対応点として座標を保存する。そして、ステップＳ２１０に示すようにすべての注目点に対する対応点を求めたなら対応点探索を終了してステップＳ１０８に移行する。
【００４７】
この対応点探索を行うことによって、図１４に示すように補正基準画像５０の基準線分５４の各注目点に対応する各対応点を描出し、すべての対応点探索を行うことによって対応点の集合である対応点群５９が補正参照画像５１上に表示される。
【００４８】
このように、観察中、ステレオ計測モードに変換して、モニタ画面上に表示されている基準画像上に２点を指定することによって、容易に観察者が観察を行いたいと思う部分が位置するように切断基準線を形成することができる。
【００４９】
また、観察者によって指定された切断基準線の断面情報が、観察者の所望する断面形状外形線図としてモニタ画面上に表示させることによって、容易に断面形状の把握を行える。
【００５０】
これらのことによって、観察中に腐食部などを発見した場合、手際良く、観察部の指定を行えるととともに、指定した観察部の断面形状の把握を直感的に行って短時間での観察を可能にする。
【００５１】
なお、対応点の探索範囲を切断基準線上ではなく切断基準線分上に限定することによって更に結果を得るまでの時間の短縮を行える。
【００５２】
また、本実施形態においては対応点探索を基準線５３又は基準線分５４上のすべての注目点に対して行っているが、基準画像５０と参照画像５１との対応付けには本質的にあいまいさがある。このため、例えば周囲に濃度差のない点や、基準画像では見えていて参照画像では見えていない、或いはその逆の領域であるオクルージョン領域内の点、或いはオクルージョン領域に隣接する点においては正確な対応付けが困難になる。
【００５３】
そして、この結果、誤った点を対応点としてしまうおそれがあり、誤った点を対応点とすることによって、表示される対応点群５９の位置情報にノイズが載ることになり、場合によっては観察対象の形状の判断を誤らせることになる。
【００５４】
そこで、以下に示す複数の工夫によって、対応を誤りやすい点の排除、或いは対応精度を上げて、得られる断面情報精度を上げられる。
以下、複数画像間での対応付けのあいまいさを減らす工夫を説明する。
【００５５】
（１）基準線上での順序を利用して断面情報の精度を上げる方法を図１６及び図１７のフローチャートを参照して説明する。
図１６及び図１７のフローチャートに示すようにステップＳ３０１に示すように基準線５３上に並んでいる全注目点の並び順序を求める。この順序は、基準画像を撮像する光学系の光学中心と、参照画像を撮像する光学系の光学中心とを結ぶ直線である基線と直行し、撮像面と平行な軸へ射影した場合にも本来変化しない。そして、これは基準画像５０の画像中心Ｏに対応するエピポーラライン６１に直行する参照画像５１上の軸６２へ射影した場合と同値である。
【００５６】
よって、ステップＳ３０２に示すように全注目点に対応する全対応点の前記軸６２への射影点を求める一方、ステップＳ３０３に移行してその軸６２上における射影点の並び順序を求める。
【００５７】
そして、ステップＳ３０４，Ｓ３０５，Ｓ３０６に示すように注目点の並び順序と対応点の射影点の並び順序とが矛盾するか否かを確認して、並び順序が矛盾する点については対応付けに失敗した点として注目点から除外する一方、並び順序の一致する点については対応点に対する注目点として採用する。つまり、例えば、基準線上でａ、ｂ、ｃ、ｄ、ｅの順で並んでいた注目点について、その対応点の射影点が軸６２上でａ、ｂ、ｄ、ｃ、ｅの順で並んだ場合には、点ｄ，ｃに相当する注目点を、並び順に矛盾が生じていることから排除する。
【００５８】
なお、この処理は、前記図４に示したフローチャートのステップＳ１０６とステップＳ１０７との間で行い、ステップＳ１０７以降の処理は採用された点についてのみ計算を行う。
【００５９】
（２）周囲の点の奥行き情報を利用して断面情報の精度を上げる方法を図１８のフローチャートを参照して説明する。
まず、前記ステップＳ１０６に示した注目点抽出の範囲を注目点に隣接する画素にまで広げる。つまり、図１８のステップＳ４０１に示すように基準線５３上の注目点とその周りの８点の合計９点について対応付けを行う。
【００６０】
そして、ステップＳ４０２，４０３に示すように９点の奥行き値の中で、中央の値である３つの値（最大３値と最小３値とを除いた値）の平均を注目点の奥行き値として処理する。この処理が一種のローパスフィルタとなる。この処理は、前記図４に示したフローチャートのステップＳ１０９とステップＳ１１０との間で行う。
【００６１】
（３）逆対応点の利用によって断面情報の精度を上げる方法を図１９のフローチャートを参照して説明する。
前記ステップＳ１０７において、補正基準画像５０のある注目点の対応点を補正参照画像５１でとった後、図１９のステップＳ５０１に示すように、その対応を取った点ついて前記図１４で示したフローチャートにしたがって、逆に補正参照画像５１から補正基準画像５０への逆対応点をとっていく。
【００６２】
そして、ステップＳ５０２，Ｓ５０３，Ｓ５０４，Ｓ５０５に示すように逆対応点が元の注目点に対して対応するか否かを確認して、対応する点がなかった点を対応付けに失敗した点として注目点から除き、一致する点を注目点として採用する処理を行う。この処理は、前記図４に示したステップＳ１０７とステップＳ１０８との間で行い、ステップＳ１０８以降の処理は採用した点についてのみ計算を行う。
【００６３】
（４）エピポーララインからのずれの大きさを利用して断面情報の精度を上げる方法を図２０のフローチャートを参照して説明する。
対応付けの結果で決まる補正参照画像５１上の対応点のエピポーララインからのずれは、一定の傾向をもつはずである。このことを利用して、図２０のステップＳ６０１に示すように全ての対応点についてのずれ量を求める。そして、ステップＳ６０２に示すように求めたずれ量を統計処理し、ステップＳ６０３に示すようにこの処理結果からずれの傾向を求めるとともにずれ量を許容する閾値を決める。
【００６４】
この後、ステップＳ６０４，Ｓ６０５，Ｓ６０６，Ｓ６０７に示すようにずれ量の閾値から外れたものについては対応付けに失敗した点として注目点から除外し、ずれ量の閾値以下の点を注目点として採用する処理を行う。この処理は、前記図４に示したステップＳ１０７とステップＳ１０８との間で行い、ステップＳ１０８以降の処理は採用した点についてのみ計算を行う。
【００６５】
（５）微分値を利用して断面情報の精度を上げる方法を図２１のフローチャートを参照して説明する。
対応付けは、注目点の周囲に濃度変化があるところでは取り易く、濃度変化のないところでは取り難い。したがって、濃度変化のあるところだけを注目点に選ぶことによって、対応付けのあいまいさを少なくできる。
このため、図２１のステップＳ７０１に示すように注目点で微分フィルタをかけて濃度変化の値を求める。
【００６６】
そして、ステップＳ７０２，Ｓ７０３，Ｓ７０４，Ｓ７０５に示すように濃度変化の値が閾値以上である否かを判断して濃度変化の有無を検出し、閾値以下のとき注目点から除外し、閾値以上のとき注目点として採用する。即ち、濃度変化があると判断した画素についてのみ対応点の探索を行う。この処理は、前記図４に示したステップＳ１０６とステップＳ１０７との間で行い、ステップ１０７以降の処理は採用した点についてのみ計算を行う。
【００６７】
（６）注目点の周りに設定する領域の形状を調節して断面情報の精度を上げる方法を説明する。
注目点がオクルージョン領域に隣接している場合には、注目点の周りに設定する探索用の領域内にオクルージョン領域が入ってしまうことにより対応付けがあいまいになる。そこで、注目点が探索領域の縁部に位置するようにした小さな領域を併用して探索を行い、一番高い対応度を出した領域による結果をその候補点の対応度とする。小さな領域の例としては図２２の点線に示す境界線の右側に示すような領域であり、図中黒丸印が注目点を示す。そして、境界線の左側に示す領域は通常設定される領域である。
【００６８】
上述した６つの方法を、単独或いは任意の２つ以上を組み合わせて断面情報を得ることによって、得られる断面情報の精度が高精度になる。
【００６９】
また、上述したように２点を指定して断面情報を得る代わりに、図２３及び図２４に示すように補正基準画面５０Ａ上の１点だけを単独の基準点７１として指定することにより、その基準点７１を通る直線を基準線として断面情報を得るようにしてもよい。
【００７０】
なお、前記基準線としては以下のものが設定可能である。
（１）指定された基準点７１を通り、モニタ３０の画面水平方向に対して平行な図２３に示す直線７２。
（２）指定された基準点７１を通り、モニタ３０の画面垂直方向に対して平行な図２３に示す直線７３。
（３）指定された基準点７１を通り、モニタ３０の画面水平方向及び画面垂直方向に対して平行な図２３に示す直線７２，７３。
（４）指定された基準点７１を通り、前記２直線７２，７３に対してそれぞれ任意の角度で交わる図２４に示す直線７４。
【００７１】
このように、１点を指定することによって基準線が決まることにより、より操作を簡便にすることができ、断面形状を知りたい場所を直接的に指定することできる。
【００７２】
なお、本実施形態においては２つの画像を用いた例を示したが、画像は３つ以上であっても同様に断面表示を行える。
【００７３】
また、第２実施形態として、ステレオ計測モードに切り替えたときに表示される画像を、前記補正基準画像５０及び前記補正参照画像５１代わりに補正前の基準画像と参照画像として、基準線の指定を基準画像上で行うようにしてもよい。これにより、計測用補正画像生成の処理を簡略化できるため、ステレオ計測モードに切り替える際にかかる時間を大幅に短縮することができる。なお、その他の作用・効果は前記第１実施形態と同様である。
【００７４】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【符号の説明】
【００７５】
１…内視鏡装置 ３０…モニタ ３５…計測装置本体 ４０…撮像部
４１，４２…対物レンズ系 ５０…基準画像 ５１…参照画像
５３…切断基準線 ５７ａ…断面形状外形線
【技術分野】
【０００１】
本発明は、複数の視点から得られる画像信号を基に、所望する切断位置における断面形状の客観的な判断を可能にする内視鏡装置に関する。
【背景技術】
【０００２】
近年、医療分野及び工業分野において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものとなり、凹凸等を認識しにくい。
【０００３】
このため、特許文献１には複数の視点からの画像を得て３次元計測を行う計測内視鏡装置が示されている。また、特許文献２には、基準平面と計測点を指定することで基準平面から計測点までの距離を表示し、対象物の凹凸の高さ又は深さを客観的に認識できる計測用内視鏡装置が示されている。
【０００４】
これまでの計測用内視鏡装置では基準画像上で指定した点の３次元座標や２点間の距離或いは設定した平面からの深さ等の計測を行うことができた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平８−１２３３２号公報
【特許文献２】特許公報第２７７８７３９号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、観察対象における３次元形状を知るために、多数の点を指定し、その各点から得られる３次元座標を元に形状を推測していたため、観察対象の３次元形状を直感的に把握することが難しいという問題があった。
【０００７】
また、画像情報から撮像範囲全体の３次元情報を得て３次元モデルを作成する方法もあるが、３次元モデルを作成するためにはコンピュータによる演算処理に多大な時間がかかり、実用的ではないという問題があった。
【０００８】
したがって、例えばパイプ内部の腐食部の深さ測定を行う際、最も深い場所を特定するまでに多くの検査時間を要していた。
【０００９】
本発明は上記事情に鑑みてなされたものであり、測定を希望する切断面の指定を容易に行え、かつその指定した切断面における観察対象の断面形状の把握を簡便に行える内視鏡装置を提供することを目的にしている。
【課題を解決するための手段】
【００１０】
本発明の内視鏡装置は、観察対象を複数の視点から撮像する撮像部と、この撮像部によって得られる複数の視点における画像の１つを基準画像、残りの画像を参照画像としてステレオ計測を行うための演算処理部とを有する内視鏡装置であって、
前記演算処理部が前記基準画像を画面上に表示させる画像表示手段と、前記画面に表示された画像上で、前記観察対象の切断位置を特定する切断基準線を指定する切断基準線指定手段と、この切断基準線上の点に対応する前記基準画像上の点を注目点とし、この注目点に対応する前記参照画像上の対応点を探索する対応点探索手段と、前記基準画像上における注目点の位置と、前記対応点探索手段で求めた前記参照画像上の対応点の位置とから、前記切断基準線上の各注目点に写像される空間上の点の３次元座標である、前記切断位置における前記観察対象の断面情報を得る断面情報演算手段と、この断面情報演算手段で得られた値を基に断面情報を出力する断面情報出力手段と、を具備し、
前記断面情報出力手段は、前記画面の前記基準画像上に表示される前記切断基準線に基づく前記断面情報を、当該画面上に断面形状外形線図として表示する。
【００１１】
この構成によれば、表示されている基準画像に所望する切断面を指定することによって、観察者の所望する切断面の断面情報が画面上に表示される。
【発明の効果】
【００１２】
本発明によれば、測定を希望する切断面の指定を容易に行え、かつその指定した切断面における観察対象の断面形状の把握を簡便に行える内視鏡装置を実現できる。
【図面の簡単な説明】
【００１３】
【図１】図１ないし図１５は本発明の一実施形態に係り、図１は計測を行える内視鏡装置の概略構成を示す説明図
【図２】内視鏡挿入部先端部に儲けた撮像部と演算処理部を備えた計測装置とを説明する図
【図３】内視鏡で観察対象部位を観察している状態を示す図
【図４】ステレオ計測を説明するフローチャート
【図５】基準画像表示手段によってモニタの画面上に表示される内視鏡画像及び切断基準線の１例を示す図
【図６】切断面及び断面外形線を説明する図
【図７】他の基準線の１例を説明する図
【図８】断面情報を示す断面外形線の１例を示す図
【図９】基準画像に対して表示した断面外形線の表示例を説明する図
【図１０】断面情報を示す際のカメラ座標系を説明する図
【図１１】断面情報を示す断面外形線の他の例を示す図
【図１２】断面情報を示す断面外形線の別の例を示す図
【図１３】断面情報を示す断面外形線のまた他の例を示す図
【図１４】対応点探索のアルゴリズムを説明するフローチャート
【図１５】対応点探索後に示されるモニタ画面を説明する図
【図１６】図１６ないし図２２は複数画像間での対応付けのあいまいさを減らす工夫を説明する図であり、図１６はモニタ画面上に表示される画像を説明する図
【図１７】基準線上での順序を利用して断面情報の精度を上げる方法を説明するフローチャート
【図１８】周囲の点の奥行き情報を利用して断面情報の精度を上げる方法を説明するフローチャート
【図１９】逆対応点の利用によって断面情報の精度を上げる方法を説明するフローチャート
【図２０】エピポーララインからのずれの大きさを利用して断面情報の精度を上げる方法説明するフローチャート
【図２１】微分値を利用して断面情報の精度を上げる方法を説明するフローチャート
【図２２】注目点の周りに設定する小さな領域の形状を示す図
【図２３】１点を指定して得られる基準線の１例を説明する図
【図２４】１点を指定して得られる基準線の他の例を説明する図
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
図１に示すように本実施形態の計測を行うための内視鏡装置１は、観察対象部位の観察像を後述する撮像素子上に結像させる撮像部を内視鏡に備えた電子内視鏡２（以下内視鏡と記載する）と、この内視鏡２によって得られた観察像の画像信号に画像処理を施し、この画像処理した画像データを基に各種計測を行うための演算処理部を有する計測装置３とで主に構成されている。
【００１５】
なお、前記計測装置３には観察対象に照明光を供給するための光源装置（不図示）が内蔵されており、観察対象部位の内視鏡画像はモニタ３０の画面上に表示されるようになっている。
【００１６】
前記内視鏡２は、細長な挿入部２０を有し、この挿入部２０の基端部には把持部を兼ねる操作部２１が配設されている。そして、この操作部２１の側部からは前記計測装置３に着脱自在なコネクタ２２を基端部に配設したユニバーサルコード２３が延出している。
【００１７】
前記挿入部２０は、先端側から順に後述する撮像光学系を内蔵した先端部２４と、複数の湾曲駒を回動自在に連接して湾曲自在に形成された湾曲部２５と、細長な柔軟部材で形成した可撓管部２６とで構成されている。なお、符号２７は前記湾曲部２５を湾曲操作する操作ノブ２７である。
【００１８】
図２に示すように前記先端部２４には一対の対物レンズ系４１，４２と、この対物レンズ系４１，４２を通して撮像面に結像した光学像を画像信号に光電変換する撮像素子４３とから構成される撮像部４０が配置されている。
【００１９】
前記対物レンズ系４１，４２は、観察対象部位を複数の視点で撮像できるように構成したものであり、撮像素子４３の撮像面上には前記対物レンズ系４１，４２を通過したそれぞれの光学像が結像する。つまり、本実施形態の内視鏡２はいわゆる視差を有するステレオ画像を得る立体視内視鏡である。
【００２０】
図１及び図２に示すように計測装置３は、前記撮像素子４３で光電変換された画像信号を前記モニタ３０に表示するためのビデオ信号に変換するカメラコントロールユニット（以下ＣＣＵと略記する）３１と、このＣＣＵ３１で生成されたビデオ信号をデジタル画像信号に変換するビデオキャプチャ回路３２と、このビデオキャプチャ回路３２で変換されたデジタル画像信号を基に計測のための演算を行う演算処理部であるホストコンピュータ３３と、このホストコンピュータ３３を介して計測装置３を操作するコンソール３４とで主に構成されている。
【００２１】
図３に示すように計測装置３の光源装置で発生された照明光は、前記コネクタ２２、前記ユニバーサルケーブル２３、挿入部２０内を挿通するライトガイドファイバ（不図示）を伝送されて照明窓４４から観察対象部位４に向かって出射される。このことにより、前記計測装置３のモニタ３０に観察対象部位４の内視鏡画像が表示される。
【００２２】
なお、本実施形態においては前記コンソール３４を計測装置本体３５に対して別体とし、前記モニタ３０を計測装置本体３５に対して一体としているが、用途によってそれぞれ計測装置本体３５に対して一体又は別体で構成される。
【００２３】
図４ないし図２４を参照して、上述のように構成した内視鏡装置１を用いてステレオ計測を行う際の動作及び作用を説明する。
例えば内視鏡２の挿入部２０をパイプ管内に挿入し腐食部や傷の観察を開始する。
【００２４】
すると、まず図４のフローチャートのステップＳ１０１に示すように照明光によって照らされた観察対象部位４の観察像が前記対物レンズ系４１，４２を通して撮像素子４３の撮像面にそれぞれ結像する。この撮像素子４３に結像して光電変換されたそれぞれの観察像の画像信号は、前記挿入部２０、操作部２１、ユニバーサルケーブル２３内を挿通する図示しない信号線及びコネクタ２２を介して計測装置３のＣＣＵ３１に伝送される。
【００２５】
そして、ＣＣＵ３１に伝送された画像信号は、このＣＣＵ３１でビデオ信号に生成された後、ビデオキャプチャ回路３２に伝送されてデジタル画像信号に変換され、ステップＳ１０２に示すようにこのデジタル映像信号をホストコンピュータ３３に転送する一方、ステップＳ１０３に示すようにモニタ３０にビデオ信号を伝送して内視鏡観察画像をモニタ３０の画面上に表示させる。
【００２６】
モニタ観察中に腐食部などを発見した場合には腐食部の計測を行う。このとき、まず観察者は前記コンソール３４を操作してステレオ計測モードに切り換える。すると、ホストコンピュータ３３内の画像表示手段によってモニタ３０の画面上には図５に示すように前記対物レンズ系４１，４２でそれぞれとらえた観察像の内視鏡画像のうち例えば、一方の対物レンズ系４１でとらえた画像を基準画像とし、他方の対物レンズ系４２でとらえた画像を参照画像として、それぞれの計測用補正画像である補正基準画像５０と補正参照画像５１が、モニタ３０上に分割して表示される。
【００２７】
なお、前記画像５０，５１は、ステップＳ１０４に示すように補正画像生成手段によって、前記ホストコンピュータ３３に取り込まれたデジタル画像信号を予め得られている前記撮像部４０の歪補正係数等を元に歪補正を施した計測用補正画像として生成されている。そして、この計測用補正画像である補正基準画像５０及び補正参照画像５１で以下に述べる対応点探索等のステレオ計測が行われる。
【００２８】
計測を行うためまず、ステップＳ１０５に示すように図５に示す基準画像５０上に計測のための断面情報を得たい部分の切断位置を特定するための切断基準線を得るための２点Ａ，Ｂを切断基準線指定手段を介して指定する。この作業は、観察者が前記コンソール３４等を用いて、画面上に表示される矢印やカーソル等のポインターを移動操作して行う。
【００２９】
そして、観察者が点Ａ，Ｂを指定することにより、この点Ａと点Ｂとを結ぶ点線に示す直線が切断基準線（以下基準線と略記する）５３、或いは点Ａ，Ｂ間を結ぶ実線で示す線分が切断基準線分（以下基準線分と略記する）５４になる。この切断基準線５３によって決まる切断面を図６を用いて説明する。観察対象４の像は本来、倒立像として光学中心を挟んだ観察対象の反対側に結ぶが、図中では理解しやすいように補正基準画像５０を正立像で観察対象４と光学中心Ｌとの間に置いている。
【００３０】
なお、上述のように指定した基準線５３とは別に、図７に示すように点Ａと点Ｂとの間にある点（本図においては中点）においてある角度（本図においては直交する直線）で交わる一点鎖線に示す直線をもうひとつの基準線である補助線５５として設定するようにしてもよい。
【００３１】
観察者の意図する切断面５６は、図中の前記補正基準画像５０に対して直交する二点鎖線に示す平面となる。この切断面５６は、基準線５３と基準画像を撮像する光学系の光学中心Ｌとを含む平面として定義される。
【００３２】
そして、図中に示す点Ａ1 、Ｂ1 が、前記補正基準画像５０上の点Ａ、Ｂの観察対象部位４の表面上への写像点になる。つまり、本実施形態における表示対象である断面外形線５７は、観察対象部位４を視線方向から見たときの表面と、切断面５６との共有線として定義される。
【００３３】
したがって、補正基準画像５０には基準画像用光学系の光軸が点として投影され、その点が補正基準画像５０の画像中心Ｏである。なお、符号５８は光軸であり、図６中で画像中心Ｏと光学中心Ｌとを結ぶ一点鎖線として表している。
【００３４】
ステップＳ１０６に示すように、前記切断面５６に対する断面情報を得るため計測用補正画像である補正基準画像５０上の基準線５３（或いは基準線分５４）上のすべての画素を注目点として設定することにより、ステップＳ１０７では対応点探索手段によって前記注目点に対応する補正参照画像５１上での画素である対応点の探索を行い、後述する対応点群５９を描出する。この対応点探索のアルゴリズムについては後述する図１４のフローチャート及び図１５で説明する。
【００３５】
前記ステップＳ１０７の対応点探索において対応点が見つかったならステップＳ１０８に移行して、前記注目点の補正基準画像５０上での位置と、前記対応点の補正参照画像５１上での位置の差、つまり各注目点毎の視差を求め、ステップＳ１０９に移行して、得られた視差と、事前に得られている各光学系の光学中心間の距離である基線長や各光学系の焦点距離、各光学系の光軸の計測用補正画像への写像点の座標等の光学データを基に、断面情報演算手段によって注目点の写像されている空間上の点の３次元座標を計算する。
【００３６】
このステップＳ１０９で前記基準線５３上のすべての画素に対応する点の３次元座標を求めたなら、ステップＳ１１０に移行して各点の３次元座標を基に切断面５６の断面情報を以下に示す４通りの中から観察者の所望するように構成し、ステップＳ１１１に移行し、断面情報出力手段によって観察対象の切断面の形状を容易に把握できる断面情報を断面形状外形線図としてモニタ３０の画面上に表示させる。なお、前記断面形状外形線図をモニタ３０の画面上への表示方法としては、断面形状外形線図だけを画面内の補正参照画像５１の代わりに表示させる、或いは画面上にさらに別ウィンドウを表示させてこのウィンドウに表示させる場合等又は、補正基準画像５０に重ね合わせて表示する方法等がある。
【００３７】
ここで、前記断面情報及び対応点探索のアルゴリズムについて説明する。
まず、断面情報について説明する。この断面情報については以下の４通りの表示方法がある。
【００３８】
（１）切断面上での断面情報を直接に表示：
断面情報を図８に示す断面形状外形線５７ａとして表示するものであり、図中縦軸は基準線分５４或いは基準線５３の切断面５６への正射影、横軸は光軸５８の切断面５６への正射影であり、この場合に断面形状外形線図が直線的に得られる。
【００３９】
この断面形状外形線５７ａを、計測中にモニタ３０の画面上に表示させるためには、モニタ上に別ウィンドウを開いてそのウィンドウに前記断面形状外形線５７ａを表示させる場合と、図９に示すようにモニタ３０に表示されている基準画像５０に対して断面形状外形線５７ａ重ね合わせて表示させる場合とがある。なお、重ね合わせて表示させる場合には、凹凸を知る手がかりとして、視線方向を示すマークとなる矢印Ｃ等を表示させる。
【００４０】
（２）断面情報を空間上の平面へ投影して表示：
図１０に示すように前記基準画像５０を撮像する光学系の前記光学中心Ｌを原点とし、前記観察対象表面５２に向かって水平方向右向きをｘ軸、垂直方向上向きをｙ軸、奥行き方向をｚ軸に取ったカメラ座標系を形成し、図１１（ａ）に示す（ｘ−ｚ）平面又は図１１（ｂ）に示す（ｙ−ｚ）平面に投影して断面形状外形線５７ｂ，５７ｃを表示する。この表示においては、通常の図面で用いられているものと同じ投影方法を選択できるので、図面における投影方法に慣れ親しんだ観察者にとっては形状把握を容易に行えるという利点がある。なお、用途によって任意の座標軸、任意の投影面を設定するようにしてもよい。
【００４１】
（３）断面情報を擬似３次元にて表示：
図１２に示すように実空間内に内視鏡２からの視点とは別の視点を新たに設定し、その設定した別視点から見た断面形状外形線５７ｄを表示する。図中に示す円筒形状図は内視鏡２の空間上配置位置を参考として示すものである。また、視点の位置を３次元的に示す画像を別画面で同時に表示させることもできる。この表示方法では、視点を順次移動させて見え方の変化を追うことで、観察対象の３次元形状を直感的に把握できる。
【００４２】
（４）実空間上の基準線からの奥行き情報を抽出しての表示
図８、図１３に示すように基準線分５４或いは基準線５４上の点Ｄを、観察対象４の表面上に写像した点Ｄ1 と、点Ａ、Ｂの実空間への写像点である点Ａ1 、Ｂ1 を結んだ直線Ａ1 Ｂ1 上に写像した点Ｄ2 との距離を、補正基準画像５０上で基準線分５４に対して垂直方向に表す。点Ｄを基準線分５４或いは基準線５３上のすべての点とすることで、断面形状外形線５７ｅを表示する。なお、この表示方法においても前記（１）での説明と同様、凹凸を知る手掛かりとして、視線の方向を示す矢印Ｃを表示する。なお、手掛かりとして断面外形線５７ｅに線分Ｄ1 Ｄ2 の長さに応じた色をつけるようにも設定してもよい。 この表示方法では、奥行き差が非常に大きい画像においても結果をコンパクトに表示することができる。
【００４３】
次に、前記対応点探索のアルゴリズムを説明する。
対応点の探索は、すべて計測用補正画像上で行う。対応点の探索は、テンプレートマッチング或いはウィンドウマッチングとして知られ、注目点の周囲にある点の情報を助けに対応点を探索するアルゴリズムを用いる。
【００４４】
補正基準画像５０に対して点として投影される空間上の直線は、補正参照画像５１上では直線として投影される。この直線をエピポーララインと呼ぶ。補正基準画像５０上の注目点に対する補正参照画像５１上の対応点は、理論上前記エピポーライン上にしか存在しない。したがって、対応点の探索は、誤差を見込んでエピポーララインとその上下数ピクセルの範囲で行えば良い。よって、探索の手順は図１４に示すフローチャートのようになる。
【００４５】
まず、ステップＳ１０７で示した対応点の探索が開始されると、ステップＳ２０１に示すように注目点の周囲に領域Ｐ1 を設定する。そして、ステップＳ２０２に移行して注目点に対応するエピポーララインを計算し、ステップＳ２０３でこのエピポーララインの上下数ピクセルの範囲内の点を対応点の候補点として抽出する。
【００４６】
次に、ステップＳ２０４に移行して前記候補点の周りに前記注目点に設定した領域Ｐ1 と同じ大きさの領域Ｐ2 を設定し、ステップＳ２０５に示すように注目点の領域Ｐ1 と各対応点の候補点の周りの領域Ｐ2 との濃度値の正規化相互相関或いは、差の自乗和等を計算して対応度を求め、ステップＳ２０６，Ｓ２０７に示すようにすべての候補点の対応度を計算し、その結果をすべての候補点について保存する。すべての候補点についての対応度の保存が済んだなら、ステップＳ２０８，Ｓ２０９に示すように最も高い対応度である候補点を注目点に対する対応点として座標を保存する。そして、ステップＳ２１０に示すようにすべての注目点に対する対応点を求めたなら対応点探索を終了してステップＳ１０８に移行する。
【００４７】
この対応点探索を行うことによって、図１４に示すように補正基準画像５０の基準線分５４の各注目点に対応する各対応点を描出し、すべての対応点探索を行うことによって対応点の集合である対応点群５９が補正参照画像５１上に表示される。
【００４８】
このように、観察中、ステレオ計測モードに変換して、モニタ画面上に表示されている基準画像上に２点を指定することによって、容易に観察者が観察を行いたいと思う部分が位置するように切断基準線を形成することができる。
【００４９】
また、観察者によって指定された切断基準線の断面情報が、観察者の所望する断面形状外形線図としてモニタ画面上に表示させることによって、容易に断面形状の把握を行える。
【００５０】
これらのことによって、観察中に腐食部などを発見した場合、手際良く、観察部の指定を行えるととともに、指定した観察部の断面形状の把握を直感的に行って短時間での観察を可能にする。
【００５１】
なお、対応点の探索範囲を切断基準線上ではなく切断基準線分上に限定することによって更に結果を得るまでの時間の短縮を行える。
【００５２】
また、本実施形態においては対応点探索を基準線５３又は基準線分５４上のすべての注目点に対して行っているが、基準画像５０と参照画像５１との対応付けには本質的にあいまいさがある。このため、例えば周囲に濃度差のない点や、基準画像では見えていて参照画像では見えていない、或いはその逆の領域であるオクルージョン領域内の点、或いはオクルージョン領域に隣接する点においては正確な対応付けが困難になる。
【００５３】
そして、この結果、誤った点を対応点としてしまうおそれがあり、誤った点を対応点とすることによって、表示される対応点群５９の位置情報にノイズが載ることになり、場合によっては観察対象の形状の判断を誤らせることになる。
【００５４】
そこで、以下に示す複数の工夫によって、対応を誤りやすい点の排除、或いは対応精度を上げて、得られる断面情報精度を上げられる。
以下、複数画像間での対応付けのあいまいさを減らす工夫を説明する。
【００５５】
（１）基準線上での順序を利用して断面情報の精度を上げる方法を図１６及び図１７のフローチャートを参照して説明する。
図１６及び図１７のフローチャートに示すようにステップＳ３０１に示すように基準線５３上に並んでいる全注目点の並び順序を求める。この順序は、基準画像を撮像する光学系の光学中心と、参照画像を撮像する光学系の光学中心とを結ぶ直線である基線と直行し、撮像面と平行な軸へ射影した場合にも本来変化しない。そして、これは基準画像５０の画像中心Ｏに対応するエピポーラライン６１に直行する参照画像５１上の軸６２へ射影した場合と同値である。
【００５６】
よって、ステップＳ３０２に示すように全注目点に対応する全対応点の前記軸６２への射影点を求める一方、ステップＳ３０３に移行してその軸６２上における射影点の並び順序を求める。
【００５７】
そして、ステップＳ３０４，Ｓ３０５，Ｓ３０６に示すように注目点の並び順序と対応点の射影点の並び順序とが矛盾するか否かを確認して、並び順序が矛盾する点については対応付けに失敗した点として注目点から除外する一方、並び順序の一致する点については対応点に対する注目点として採用する。つまり、例えば、基準線上でａ、ｂ、ｃ、ｄ、ｅの順で並んでいた注目点について、その対応点の射影点が軸６２上でａ、ｂ、ｄ、ｃ、ｅの順で並んだ場合には、点ｄ，ｃに相当する注目点を、並び順に矛盾が生じていることから排除する。
【００５８】
なお、この処理は、前記図４に示したフローチャートのステップＳ１０６とステップＳ１０７との間で行い、ステップＳ１０７以降の処理は採用された点についてのみ計算を行う。
【００５９】
（２）周囲の点の奥行き情報を利用して断面情報の精度を上げる方法を図１８のフローチャートを参照して説明する。
まず、前記ステップＳ１０６に示した注目点抽出の範囲を注目点に隣接する画素にまで広げる。つまり、図１８のステップＳ４０１に示すように基準線５３上の注目点とその周りの８点の合計９点について対応付けを行う。
【００６０】
そして、ステップＳ４０２，４０３に示すように９点の奥行き値の中で、中央の値である３つの値（最大３値と最小３値とを除いた値）の平均を注目点の奥行き値として処理する。この処理が一種のローパスフィルタとなる。この処理は、前記図４に示したフローチャートのステップＳ１０９とステップＳ１１０との間で行う。
【００６１】
（３）逆対応点の利用によって断面情報の精度を上げる方法を図１９のフローチャートを参照して説明する。
前記ステップＳ１０７において、補正基準画像５０のある注目点の対応点を補正参照画像５１でとった後、図１９のステップＳ５０１に示すように、その対応を取った点ついて前記図１４で示したフローチャートにしたがって、逆に補正参照画像５１から補正基準画像５０への逆対応点をとっていく。
【００６２】
そして、ステップＳ５０２，Ｓ５０３，Ｓ５０４，Ｓ５０５に示すように逆対応点が元の注目点に対して対応するか否かを確認して、対応する点がなかった点を対応付けに失敗した点として注目点から除き、一致する点を注目点として採用する処理を行う。この処理は、前記図４に示したステップＳ１０７とステップＳ１０８との間で行い、ステップＳ１０８以降の処理は採用した点についてのみ計算を行う。
【００６３】
（４）エピポーララインからのずれの大きさを利用して断面情報の精度を上げる方法を図２０のフローチャートを参照して説明する。
対応付けの結果で決まる補正参照画像５１上の対応点のエピポーララインからのずれは、一定の傾向をもつはずである。このことを利用して、図２０のステップＳ６０１に示すように全ての対応点についてのずれ量を求める。そして、ステップＳ６０２に示すように求めたずれ量を統計処理し、ステップＳ６０３に示すようにこの処理結果からずれの傾向を求めるとともにずれ量を許容する閾値を決める。
【００６４】
この後、ステップＳ６０４，Ｓ６０５，Ｓ６０６，Ｓ６０７に示すようにずれ量の閾値から外れたものについては対応付けに失敗した点として注目点から除外し、ずれ量の閾値以下の点を注目点として採用する処理を行う。この処理は、前記図４に示したステップＳ１０７とステップＳ１０８との間で行い、ステップＳ１０８以降の処理は採用した点についてのみ計算を行う。
【００６５】
（５）微分値を利用して断面情報の精度を上げる方法を図２１のフローチャートを参照して説明する。
対応付けは、注目点の周囲に濃度変化があるところでは取り易く、濃度変化のないところでは取り難い。したがって、濃度変化のあるところだけを注目点に選ぶことによって、対応付けのあいまいさを少なくできる。
このため、図２１のステップＳ７０１に示すように注目点で微分フィルタをかけて濃度変化の値を求める。
【００６６】
そして、ステップＳ７０２，Ｓ７０３，Ｓ７０４，Ｓ７０５に示すように濃度変化の値が閾値以上である否かを判断して濃度変化の有無を検出し、閾値以下のとき注目点から除外し、閾値以上のとき注目点として採用する。即ち、濃度変化があると判断した画素についてのみ対応点の探索を行う。この処理は、前記図４に示したステップＳ１０６とステップＳ１０７との間で行い、ステップ１０７以降の処理は採用した点についてのみ計算を行う。
【００６７】
（６）注目点の周りに設定する領域の形状を調節して断面情報の精度を上げる方法を説明する。
注目点がオクルージョン領域に隣接している場合には、注目点の周りに設定する探索用の領域内にオクルージョン領域が入ってしまうことにより対応付けがあいまいになる。そこで、注目点が探索領域の縁部に位置するようにした小さな領域を併用して探索を行い、一番高い対応度を出した領域による結果をその候補点の対応度とする。小さな領域の例としては図２２の点線に示す境界線の右側に示すような領域であり、図中黒丸印が注目点を示す。そして、境界線の左側に示す領域は通常設定される領域である。
【００６８】
上述した６つの方法を、単独或いは任意の２つ以上を組み合わせて断面情報を得ることによって、得られる断面情報の精度が高精度になる。
【００６９】
また、上述したように２点を指定して断面情報を得る代わりに、図２３及び図２４に示すように補正基準画面５０Ａ上の１点だけを単独の基準点７１として指定することにより、その基準点７１を通る直線を基準線として断面情報を得るようにしてもよい。
【００７０】
なお、前記基準線としては以下のものが設定可能である。
（１）指定された基準点７１を通り、モニタ３０の画面水平方向に対して平行な図２３に示す直線７２。
（２）指定された基準点７１を通り、モニタ３０の画面垂直方向に対して平行な図２３に示す直線７３。
（３）指定された基準点７１を通り、モニタ３０の画面水平方向及び画面垂直方向に対して平行な図２３に示す直線７２，７３。
（４）指定された基準点７１を通り、前記２直線７２，７３に対してそれぞれ任意の角度で交わる図２４に示す直線７４。
【００７１】
このように、１点を指定することによって基準線が決まることにより、より操作を簡便にすることができ、断面形状を知りたい場所を直接的に指定することできる。
【００７２】
なお、本実施形態においては２つの画像を用いた例を示したが、画像は３つ以上であっても同様に断面表示を行える。
【００７３】
また、第２実施形態として、ステレオ計測モードに切り替えたときに表示される画像を、前記補正基準画像５０及び前記補正参照画像５１代わりに補正前の基準画像と参照画像として、基準線の指定を基準画像上で行うようにしてもよい。これにより、計測用補正画像生成の処理を簡略化できるため、ステレオ計測モードに切り替える際にかかる時間を大幅に短縮することができる。なお、その他の作用・効果は前記第１実施形態と同様である。
【００７４】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【符号の説明】
【００７５】
１…内視鏡装置 ３０…モニタ ３５…計測装置本体 ４０…撮像部
４１，４２…対物レンズ系 ５０…基準画像 ５１…参照画像
５３…切断基準線 ５７ａ…断面形状外形線
【特許請求の範囲】
【請求項１】
観察対象を複数の視点から撮像する撮像部と、この撮像部によって得られる複数の視点における画像の１つを基準画像、残りの画像を参照画像としてステレオ計測を行うための演算処理部とを有する内視鏡装置であって、
前記演算処理部が前記基準画像を画面上に表示させる画像表示手段と、
前記画面に表示された画像上で、前記観察対象の切断位置を特定する切断基準線を指定する切断基準線指定手段と、
この切断基準線上の点に対応する前記基準画像上の点を注目点とし、この注目点に対応する前記参照画像上の対応点を探索する対応点探索手段と、
前記基準画像上における注目点の位置と、前記対応点探索手段で求めた前記参照画像上の対応点の位置とから、前記切断基準線上の各注目点に写像される空間上の点の３次元座標である、前記切断位置における前記観察対象の断面情報を得る断面情報演算手段と、
この断面情報演算手段で得られた値を基に断面情報を出力する断面情報出力手段と、を具備し、
前記断面情報出力手段は、前記画面の前記基準画像上に表示される前記切断基準線に基づく前記断面情報を、当該画面上に断面形状外形線図として表示することを特徴とする内視鏡装置。
【請求項２】
前記断面情報出力手段は、前記観察対象の表面に写像した第１点と、前記切断基準線上に写像した第２点との距離を求め、その距離に対応する点を前記基準画像上で前記切断基準線に対して垂直方向に配列して得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡。
【請求項３】
前記断面情報出力手段は、前記撮像部の視点とは異なる別の視点を設定し、前記別視点から見て得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡。
【請求項４】
前記断面情報出力手段は、設定したカメラ座標系の任意の投影面に投影して得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡装置基準画像。
【請求項５】
前記断面情報出力手段は、前記切断基準線の切断面への正射影を縦軸、前記光軸の切断面への正射影を横軸にして得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡装置。
【請求項１】
観察対象を複数の視点から撮像する撮像部と、この撮像部によって得られる複数の視点における画像の１つを基準画像、残りの画像を参照画像としてステレオ計測を行うための演算処理部とを有する内視鏡装置であって、
前記演算処理部が前記基準画像を画面上に表示させる画像表示手段と、
前記画面に表示された画像上で、前記観察対象の切断位置を特定する切断基準線を指定する切断基準線指定手段と、
この切断基準線上の点に対応する前記基準画像上の点を注目点とし、この注目点に対応する前記参照画像上の対応点を探索する対応点探索手段と、
前記基準画像上における注目点の位置と、前記対応点探索手段で求めた前記参照画像上の対応点の位置とから、前記切断基準線上の各注目点に写像される空間上の点の３次元座標である、前記切断位置における前記観察対象の断面情報を得る断面情報演算手段と、
この断面情報演算手段で得られた値を基に断面情報を出力する断面情報出力手段と、を具備し、
前記断面情報出力手段は、前記画面の前記基準画像上に表示される前記切断基準線に基づく前記断面情報を、当該画面上に断面形状外形線図として表示することを特徴とする内視鏡装置。
【請求項２】
前記断面情報出力手段は、前記観察対象の表面に写像した第１点と、前記切断基準線上に写像した第２点との距離を求め、その距離に対応する点を前記基準画像上で前記切断基準線に対して垂直方向に配列して得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡。
【請求項３】
前記断面情報出力手段は、前記撮像部の視点とは異なる別の視点を設定し、前記別視点から見て得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡。
【請求項４】
前記断面情報出力手段は、設定したカメラ座標系の任意の投影面に投影して得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡装置基準画像。
【請求項５】
前記断面情報出力手段は、前記切断基準線の切断面への正射影を縦軸、前記光軸の切断面への正射影を横軸にして得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項１に記載の内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００９−１９９０８９（Ｐ２００９−１９９０８９Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００９−１０２３７１（Ｐ２００９−１０２３７１）
【出願日】平成２１年４月２０日（２００９．４．２０）
【分割の表示】特願平１１−２４７５８８の分割
【原出願日】平成１１年９月１日（１９９９．９．１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２１年４月２０日（２００９．４．２０）
【分割の表示】特願平１１−２４７５８８の分割
【原出願日】平成１１年９月１日（１９９９．９．１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]