内視鏡装置および計測方法
【課題】計測に適した条件であるかを短時間で判定できる内視鏡装置および計測方法を提供する。
【解決手段】本発明の内視鏡装置1は、第一光源41からの照明光の出射状態を所定の周期で変化させ、第一光源41から照明光が出射されている状態では第二光源51からの投影光の出射を停止させ、第一光源41からの照明光の出射が停止されている状態では第二光源51から投影光を出射させ、照明光により被検物が照明された明視野画像を第一光源41から照明光が出射されている状態で撮像部30に取得させ、被検物に縞パターンが投影されたパターン投影画像を投影光が出射されている状態で撮像部30に取得させ、撮像部30が取得したパターン投影画像を用いて被検物の三次元形状を計測し、パターン画像を用いた計測によって得られた情報を明視野画像とともにモニター28に表示させるメイン制御部22を備える。
【解決手段】本発明の内視鏡装置1は、第一光源41からの照明光の出射状態を所定の周期で変化させ、第一光源41から照明光が出射されている状態では第二光源51からの投影光の出射を停止させ、第一光源41からの照明光の出射が停止されている状態では第二光源51から投影光を出射させ、照明光により被検物が照明された明視野画像を第一光源41から照明光が出射されている状態で撮像部30に取得させ、被検物に縞パターンが投影されたパターン投影画像を投影光が出射されている状態で撮像部30に取得させ、撮像部30が取得したパターン投影画像を用いて被検物の三次元形状を計測し、パターン画像を用いた計測によって得られた情報を明視野画像とともにモニター28に表示させるメイン制御部22を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置および計測方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置、および内視鏡装置を用いて被検物の三次元形状を計測する方法に関する。
【背景技術】
【0002】
従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡が使用されている。このような内視鏡の中には、被検物に対して縞パターンを投影した縞画像を、当該縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。たとえば、特許文献1には、縞を投影するための2つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2009/0225321号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の内視鏡装置では、計測に適した条件であったかどうかの判定を、三次元形状の計測に使用する縞画像を取得する一連の工程が終了したあと、当該工程で得られた縞画像を使用して行っていた。このため、計測に適した条件であったかどうかの判定が、三次元形状を計測するための演算の後になってしまうことにより、計測に適した条件であったことが分かるまでに時間がかかり、使い勝手が悪かった。
【0005】
本発明は、上述した事情に鑑みてなされたものであって、その目的は、計測に適した条件であるかを短時間で判定できる内視鏡装置および計測方法を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって取得された画像を表示する表示部と、前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、を備え、前記制御部は、前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、 前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させることを特徴とする内視鏡装置である。
【0007】
また、前記制御部は、前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、前記カーソルの座標に基づいて前記表示部に前記領域を設定し、前記領域内に対応する前記被検物の三次元形状の計測を行うことが好ましい。
【0008】
また、前記制御部は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測することが好ましい。
【0009】
また、前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、からなる1秒以上の周期であり、前記一周期内における前記第二時間幅は、1秒よりも十分に短い時間に設定されていることが好ましい。
【0010】
また、前記第二時間幅は1/25秒以下の長さに設定されていることが好ましい。
また、前記第二時間幅は1/30秒以下の長さに設定されていてもよい。
【0011】
本発明の計測方法は、被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、照明光が照射された前記被検物の画像を取得している間に、1秒あたり1/25秒以下の間隔で前記照明光を周期的に消灯し、前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示することを特徴とする計測方法である。
【0012】
また、本発明の計測方法において、前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測することが好ましい。
【発明の効果】
【0013】
本発明の内視鏡装置および計測方法によれば、計測に適した条件であるかを短時間で判定できる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態の内視鏡装置の構成を示すブロック図である。
【図2】同内視鏡装置によって投影される縞パターンを示す模式図である。
【図3】同内視鏡装置の使用時における各光源の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。
【図4】同内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。
【図5】同内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。
【図6】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図7】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図8】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図9】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図10】同実施形態の変形例の内視鏡装置の使用時の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態の内視鏡装置および計測方法について説明する。
まず、本実施形態の内視鏡装置1の構成について説明する。図1は、内視鏡装置1の構成を示すブロック図である。図2は、内視鏡装置1によって投影される明暗パターン(縞パターン)を示す模式図である。
本実施形態の内視鏡装置は、被検物に明暗パターンが投影されたパターン投影画像を用いて被検物の計測を行う計測内視鏡である。
内視鏡装置1は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部10と、挿入部10の基端が接続された本体部20とを備える。
【0016】
図1に示すように、挿入部10は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部10には、被検物の画像を取得する撮像部30と、挿入部10前方の観察視野を照明する照明部40と、被検物に明暗パターンを投影するパターン投影部50とが設けられている。本実施形態では、パターン投影部50は明暗パターンとして、縞パターンを披検物に投影するものとする。
また、挿入部10の先端面10aには、撮像部30の対物光学系32に外光を入射させるための開口11と、照明部40からの照明光を挿入部10の前方に照射するための照明窓12と、パターン投影部50からの縞を挿入部10の前方に照射するための投影窓13とが設けられている。
【0017】
撮像部30は、挿入部10の先端付近に配置されたイメージャー31と、イメージャー31の前方に配置された対物光学系32と、イメージャー31と接続されたイメージャー制御部33とを備える。
【0018】
イメージャー31としては、CCD、CMOS等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。
【0019】
対物光学系32は、挿入部10の開口11内に配置されている。対物光学系32は、所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー31に入射させ、被検物の像を結像させる。また、対物光学系32は、開口11を封止する光透過性のカバー部材32aを有する。
【0020】
イメージャー制御部33は、本体部20内に設けられており、挿入部10内を延びる配線34によりイメージャー31と接続されている。イメージャー制御部33は、イメージャー31の駆動および映像信号を取得する設定等の各種制御を行う。
【0021】
照明部40は、第一光源41と、照明光学系42と、第一光源41の光を照明光学系42に導く第一ファイバーバンドル43と、第一光源41と第一ファイバーバンドル43との間に配置される第一入射光学系44とを備える。
【0022】
第一光源41は、白色光を発する光源であり、本体部20の内部に配置されている。第一光源41としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源41として、ハロゲンランプが採用されている。第一光源41から発せられる光は、被検物を照明するための照明光となる。また、第一光源41には、照明光の出射状態を切り替えるシャッターモジュール41aが設けられている。シャッターモジュール41aは、後述する光源制御部21によって動作が制御される。
【0023】
照明光学系42は、挿入部10の先端または先端付近に取り付けられている。照明光学系42は、挿入部10の照明窓12内に設けられた光透過性のカバー部材42aと、図示しないレンズ群とを有する。照明光学系42は、第一光源41から照射された光を対物光学系32の画角に適した視野範囲に広げて照明窓12から出射させ、観察視野をまんべんなく照明する。
【0024】
第一ファイバーバンドル43は、照明光学系42の近傍から挿入部10を通って本体部20内の第一光源41近傍まで延びている。第一ファイバーバンドル43の種類には特に制限はなく、一般的なライトガイドを使用可能である。
【0025】
第一入射光学系44は、第一光源41から発せられる光を第一ファイバーバンドル43の径と同程度まで収束させて効率よく第一ファイバーバンドル43内に導入する。
【0026】
パターン投影部50は、第二光源51と、投影光学系52と、第二光源51の光を投影光学系52に導く第二ファイバーバンドル53と、第二光源51と第二ファイバーバンドル53との間に配置される第二入射光学系54と、第二光源51から出射された光の光路上に配置された縞パターン生成部55とを備える。
【0027】
第二光源51は、第一光源41とは異なる光を発する光源であり、本体部20の内部に配置されている。第二光源51としては、LED光源やレーザー光源などを採用することができる。本実施形態では、第二光源51としてLED光源が採用されている。第二光源51から発せられる光は、縞パターンを投影するための投影光となる。
【0028】
投影光学系52は、挿入部10の先端または先端付近に取り付けられている。投影光学系52は、挿入部10の投影窓13内に設けられた光透過性のカバー部材52aを有する。なお、投影窓13に設けられたカバー部材52aはレンズ形状であっても構わない。投影光学系52は、第二光源51から照射された光を、対物光学系32の画角に適した視野範囲に広げて1つの投影窓13から観察視野内に投影する。
【0029】
第二ファイバーバンドル53は、投影光学系52の近傍から挿入部10を通って本体部20内の第二光源51近傍まで延びている。第二ファイバーバンドル53としては、第一ファイバーバンドル43と同様に一般的なライトガイドを使用することができる。
【0030】
第二入射光学系54は、第二光源51から発せられた光を、第二ファイバーバンドル53の径と同程度まで収束させて効率よく第二ファイバーバンドル53内に導入する。
【0031】
パターン生成部55は、縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。
【0032】
このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるMEMS(マイクロ電子機器システム)ミラーモジュール等がパターン生成部55として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部55全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部50の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部55に接続されたパターン制御部56によって行われる。
【0033】
本体部20内には、上述のイメージャー制御部33と、照明部40から照明光を出射する動作および縞投影部50から投影光を出射する動作を制御する光源制御部21と、メイン制御部22とが設けられている。
【0034】
イメージャー制御部33には、イメージャー31の取得した映像信号を処理するビデオプロセッサー27と、イメージャー制御部33の動作を制御するメイン制御部22とが接続されている。ビデオプロセッサー27およびメイン制御部22は本体部20内に設けられている。
【0035】
ビデオプロセッサー27には、ビデオプロセッサー27によって処理された映像信号を画像として表示するモニター(表示部)28が接続されている。
光源制御部21は、第一光源41および第二光源51、並びにメイン制御部22に接続されており、メイン制御部22による制御に基づいて第一光源41および第二光源51のオン/オフを制御する。
【0036】
メイン制御部22は、さらに、操作部23、RAM24、ROM26、補助記憶装置25、およびパターン制御部56に接続されている。
【0037】
操作部23は、使用者が内視鏡装置1に各種入力を行うためのスイッチなどを有する。また、操作部23として、モニター28の表示画面と重ねて設けられたタッチパネルが採用されてもよい。
【0038】
RAM24は、内視鏡装置1を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
ROM26は、たとえばファームウェア等が記録されており、内視鏡装置1の起動時にファームウェア等が読み出されるようになっている。
補助記憶装置25は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。
【0039】
次に、メイン制御部22の構成について詳述する。
メイン制御部22は、光源制御部21に対して、第一光源41および第二光源51を所定の周期Wで点滅させ、第一光源41から照明光が出射されている状態では第二光源51からの投影光の出射を減少させ、第一光源41からの照明光の出射が減少されている状態では、第二光源51から投影光を出射させる制御を行う。本実施形態では、メイン制御部22が第二光源51からの投影光の出射を停止させる例で説明するが、使用者がモニター28を見たときにちらつきを感じない程度であれば、メイン制御部22を、第二光源51からの投影光の出射を停止するのではなく、減少させるように構成してもよい。
【0040】
図3は、内視鏡装置1の使用時における第一光源41および第二光源51の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。
図3に示すように、第一光源41および第二光源51を点滅させる所定の周期の一周期Wは、照明光が出射された状態且つ投影光の出射が停止された状態である第一時間幅W1と、照明光の出射が停止された状態且つ投影光が出射された状態である第二時間幅W2とからなる。
【0041】
本実施形態では、所定の周期Wの一周期内における第二時間幅W2は、内視鏡装置1を使用する使用者がモニター28を見たときにちらつきを感じない時間に設定されている。具体的には、所定の周期Wは1秒に設定され、1秒の周期Wのうち第二時間幅W2は1秒よりも十分に短い時間、例えば1/30秒に設定され、残りの29/30秒は第一時間幅W1とされている。
【0042】
なお、モニター28のリフレッシュレートに対応させて、第二時間幅W2は1/30秒以下の適宜の時間幅に設定することもできる。たとえばモニター28のリフレッシュレートが60fpsである場合に、第二時間幅W2を1/60秒とし、周期をモニター28のリフレッシュレートと同期させることによって、第一光源41からの照明光により照明された画像のモニター28上での欠落を1フレーム/秒とすることができる。
さらになお、本実施形態では、第二時間幅W2はNTSC形式の1秒あたりのフレーム数(30フレーム)に基づいて設定されているが、PAL形式の1秒あたりのフレーム数(25フレーム)に基づいて設定されてもよい。そのとき、第二時間幅W2は1/25秒に設定され、残りの24/25秒は第一時間幅W1とされる。
【0043】
また、本実施形態では、第二時間幅W2は、撮像部30によって少なくとも一枚の画像が適切に取得できる時間に設定されている。たとえば、本実施形態では、第二時間幅W2の長さは、撮像部30が一枚のパターン投影画像を取得できる長さに設定されている。
【0044】
また、メイン制御部22は、照明光により被検物が照明された明視野画像を、第一光源41から照明光が出射されている状態で撮像部30に取得させる。さらに、メイン制御部22は、被検物に縞パターンが投影されたパターン投影画像を、投影光が出射されている状態で撮像部30に取得させる。
【0045】
具体的には、メイン制御部22は、撮像部30のイメージャー制御部33に対して、上記所定の周期Wと同期させてイメージャー31に画像を撮像させる制御を行う。イメージャー31によって撮像された画像はビデオプロセッサー27において処理される。メイン制御部22によって、上記所定の周期Wにおける第一時間幅W1に該当するときに撮像された画像は明視野画像として抽出され、第二時間幅W2に該当するときに撮像された画像はパターン投影画像として抽出される。
【0046】
このように、本実施形態では、ビデオプロセッサー27によって、イメージャー31が撮像した画像が明視野画像とパターン投影画像とに仕分けされる。
【0047】
メイン制御部22は、ビデオプロセッサー27によって抽出されたパターン投影画像を用いて三次元形状の計測を行い、ビデオプロセッサー27によって抽出された明視野画像をモニター28へ出力する。
なお、メイン制御部22は、イメージャー31が撮像した画像からパターン投影画像を取り除くことなくモニター28へ出力してもよい。この場合であっても、たとえばパターン投影画像がモニター28に表示される時間が1秒当たり1/30秒以下であれば、モニター28における画像のちらつきは気にならない程度に抑えられる。
【0048】
メイン制御部22は、撮像部30が取得したパターン投影画像を用いて被検物の三次元形状を計測するソフトウェア(以下、「計測プログラム」と称する。)を動作させることができる。メイン制御部22は、パターン投影画像を用いた計測によって得られた情報を、明視野画像とともにモニター28に表示させる。パターン投影画像を用いた計測によって得られた情報をモニター28に表示させるために、メイン制御部22は、計測プログラムによる演算が終了したあと、モニター28に表示されている明視野画像又はパターン投影画像上に、パターン投影画像を用いた計測によって得られた情報を重ね合わせてモニター28へ出力することができる。
詳細は後述するが、計測プログラムは、上記所定の周期Wの一周期以内で演算を完了するように構成されている。よって、三次元形状の計測結果の表示は、上記所定の周期Wで更新される。
【0049】
図4および図5は、内視鏡装置の使用時にモニター28に表示されるカーソルCおよび対象領域Tの表示例を示す模式図である。
図4および図5に示すように、メイン制御部22において動作する計測プログラムは、撮像部30の撮像視野内において被検物の三次元形状の計測をさせる対象領域を定めるためのカーソルCを、モニター28に表示させる。カーソルCは、たとえば十字印(図4参照)や矢印(図5参照)など被検物における座標あるいは領域を使用者が指定しやすい形状とすることができる。また、カーソルCは、丸印や四角い枠などの形状で、対象領域の広さを指定するために用いられてもよく、この場合には、計測プログラムは、カーソルCの大きさを使用者の操作入力により変形させることができるように構成されてもよい。
【0050】
計測プログラムは、モニター28上に表示されたカーソルCの座標に基づいて、モニター28に、三次元形状を計測するための対象領域Tを設定する。たとえば上記十字印や矢印など画像上の特定の位置を点として指定したカーソルCの位置を中心とした矩形形状あるいは円形状などの所定の領域を対象領域Tとして設定する。
なお計測プログラムは、使用者の操作入力により、カーソルCの形状だけでなく、対象領域Tの形状や大きさを変更させることができるように構成されてもよい。
さらに、計測プログラムは、三次元形状を計測する対象領域Tとして設定された領域内のみに対して三次元形状を計測するための演算を行う。
【0051】
計測プログラムによる演算は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いる。空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法を用いた演算は、それぞれパターン投影画像を一枚だけ用いて被検物の三次元形状を計測することができる演算法である。
【0052】
計測プログラムは、対象領域T内の三次元形状を示す演算結果のデータと、対象領域T内における計測精度のデータとを生成し、たとえばRAM24に記憶させる。計測プログラムにおける演算結果のデータには、少なくとも撮像部30から被検物までの距離(物体距離)を示す情報が含まれている。また、対象領域T内における計測精度のデータには、少なくとも縞パターンの移り具合を定量化した情報が含まれている。
計測プログラムによって生成された物体距離を示す情報は、図4および図5に示すように、カーソルC上の距離情報Iとして、数値やインジケータを示すなどの表示方法を用いてモニター28上に表示される。
あるいは図示はしないが、モニター28内の所定の領域に、対象領域T内における物体距離の分布をカラーマップなどで表示するようにしてもよい。
【0053】
このように、メイン制御部22は、撮像部30、照明部40、パターン投影部50、およびモニター28の動作を制御する。
【0054】
次に、本実施形態の計測方法について、上記内視鏡装置1を用いて被検物を計測する方法を例に説明する。
図6ないし図8は、本実施形態の内視鏡装置1を用いて被検物の三次元形状を計測する動作を示したフローチャートである。
本実施形態では、内視鏡装置1は、被検物の三次元形状の計測をせずに観察のみ行う観察モードと、被検物の三次元形状の計測を行う計測モードとを備える。以下では、観察モードにおける動作の説明の詳細は省略し、計測モードにおける動作を中心に説明する。
【0055】
計測モードが開始されたときには、計測プログラムが起動し、初期化される。計測プログラムは、三次元形状の計測のために必要な演算のうち事前に演算可能な式について、変数と解とが関係付けられたテーブルなど、計測時の演算量を減らすことができるテーブルを生成してRAM24に一時記憶させる。なお、テーブルは、予めROM26や補助記憶装置25に記憶されていてもよい。この場合には、計測プログラムは、ROM26や補助記憶装置25に記憶されたテーブルをRAM24に転送して使用する。
【0056】
また、本実施形態では、計測プログラムは、カーソル位置設定処理と、画像取得処理と、パターン投影画像解析処理とを並列処理するようになっている。
【0057】
図6は、カーソル位置設定処理のフローチャートである。図6に示すステップS1は、モニター28に表示されるライブ画面上にカーソルCを表示するステップである。
【0058】
ステップS1では、計測プログラムは、モニター28にカーソルCを表示させ、内視鏡装置1の使用者がカーソルCの位置を移動させることができるように設定する。なお、計測プログラムは、モニター28上で予め定められた位置(たとえばモニター28の中央など)にカーソルCを固定してもよい。
モニター28上のカーソルCの座標に基づいて、対象領域Tが設定される。
これでステップS1は終了し、ステップS2へ進む。
【0059】
ステップS2は、カーソルCが移動したか否かを判定するステップである。
ステップS2では、内視鏡装置1の使用者によるカーソルCを移動させる入力などがあったことを検出する。カーソルCを移動させる入力は、ボタンやジョイスティックによる入力動作があったことを機械的に検知してもよいし、ボタンやジョイスティックによる入力動作によってカーソルCの座標が変化したことを検知してもよい。
カーソルCを移動させる入力などがあるまでステップS2では入力待ちとなり、入力があったことが検知された場合にはステップS3へ進む。
【0060】
ステップS3は、カーソルCの位置を更新するステップである。
ステップS3では、モニター28上に表示されているカーソルCの位置を、入力動作に対応させて変化させる。また、カーソルCの位置に対応させて対象領域Tの位置も更新する。
これでステップS3は終了し、ステップS2へ進む。
【0061】
図7は、画像取得処理のフローチャートである。画像取得処理では、上記カーソル位置設定処理において得られたカーソルCの位置と対象領域Tの位置との情報を参照し、カーソルCの位置と対象領域Tの位置との情報を用いる。
図7に示すステップS4は、所定の周期Wの一周期において何枚目の画像(フレーム)を取得したかを判定するステップである。
ステップS4では、一周期内で画像を取得する毎にnをカウントアップし、一周期が終了したら次の周期からはn=1にリセットしてから再びnをカウントアップする。
ステップS4においてn=1の場合にはステップS5へ進み、ステップS4においてnが1より大きい場合にはステップS8へ進む。
【0062】
ステップS5は、照明光の出射が停止されている時間内に被検物に縞パターンを投影するステップである。
ステップS5では、第一光源41から照明光が出射されている場合には、メイン制御部22が、第一時間幅W1の終了とともに光源制御部21を制御して照明光の出射を停止させる。照明光の出射を停止させる方法としては、第一光源41への通電を停止させて第一光源41を消灯させてもよいし、第一光源41に設けられたシャッターモジュール41aによって照明光を遮蔽してもよい。照明光の出射が停止されると、被検物には照明光が照射されなくなる。
【0063】
さらに、メイン制御部22は、光源制御部21に対して、第二光源51からの投影光の出射を開始させる制御を行う。このとき、第二光源51への通電状態を切り替えたり、第二光源51にシャッターモジュールを設けて出射状態を切り替えたりすることができる。本実施形態の場合には、第二光源51としてLED光源が採用されているので、シャッターモジュールを備えていなくても十分に短い時間で光量を安定させることができる。
【0064】
図3に示すように、第二光源51から投影光が出射される時間は、第一時間幅W1よりも短い第二時間幅W2である。たとえば本実施形態では、所定の周期Wが1秒であり第二時間幅W2が1/30秒であるので、第二光源51自体の通電状態を切り替えることにより第二光源51を点滅させると、第二光源51を発光させるために要する電力を大幅に削減できる。
【0065】
ステップS5において第二光源51から出射された投影光は、パターン生成部55を透過する。これにより、図2に示すように、被検物に到達した投影光によって明部R1が生じ、パターン生成部55によって投影光が遮られた部分に暗部R2が生じる。その結果、明部R1と暗部R2とが交互に並べられた縞パターンが被検物に投影される。
これでステップS5は終了し、ステップS6へ進む。
【0066】
ステップS6は、縞パターンが投影された被検物の画像(パターン投影画像)を取得するステップである。
ステップS6において、撮像部30は、明視野画像を取得する動作と同様の動作で被検物の画像を取得する。ステップS6においては、照明光でなく縞パターンが被検物に投影されているので、撮像部30によって取得される画像はパターン投影画像となる。本実施形態では、第二時間幅W2においてパターン投影画像を一枚のみ取得する。
ステップS6において、メイン制御部22は、ビデオプロセッサー27において処理された画像から上記一枚のパターン投影画像を抽出し、RAM24に一時記憶させる。
これでステップS6は終了し、ステップS7へ進む。
【0067】
ステップS7は、パターン投影画像解析処理を開始させるステップである。
ステップS7では、後述するパターン投影画像解析処理を開始させたあと、上記ステップS4へ進む。
【0068】
ステップS8は、被検物への縞パターンの投影を停止して、照明光を出射するステップである。
ステップS8では、メイン制御部22は、第二時間幅W2の終了とともに第二光源51からの投影光の出射を停止させ、第一時間幅W1の開始とともに光源制御部21を制御して第一光源41からの照明光の出射を開始させる。
【0069】
照明光の出射を開始させる方法としては、第一光源41への通電を開始させて第一光源41を点灯させてもよいし、第一光源41に設けられたシャッターモジュール41aを開いて照明光を出射させてもよい。
【0070】
第一光源41の点灯を開始させてから第一光源41の光量が安定するまでの時間が十分に短い場合には、第一光源41自体の点灯および消灯を制御し、第一光源41が消費する電力を削減することができる。
【0071】
また、シャッターモジュール41aによって照明光を遮蔽する場合には、第一光源41自体が発する光量を変化させる必要がないので、照明光の光量を安定させるための時間が比較的長い光源であっても採用することができる。
本実施形態の場合は、第一光源41として採用されたハロゲンランプは、照明光の光量を安定させるための時間が比較的長い光源に相当する。このため、シャッターモジュール41aの開閉動作によって照明光の出射状態を変化させている。これにより、第一時間幅W1内における光量の変動を抑えることができる。
これでステップS8は終了し、ステップS9へ進む。
【0072】
ステップS9は、被検物に照明光が照射された画像(明視野画像)を取得するステップである。
ステップS9では、メイン制御部22による制御に基づいて、所定の周期Wのうちの第一時間幅W1において撮像部30が1枚の明視野画像を取得し、ビデオプロセッサー27を通じてモニター28に明視野画像を表示させる。
これでステップS9は終了し、ステップS4へ戻る。そして、所定の周期Wのうちの第一時間幅W1の間は、ステップS7及びステップS8にて明視野画像の取得が繰り返される。
【0073】
図8はパターン投影画像解析処理のフローチャートである。パターン投影画像解析処理は、画像取得処理における上述のステップS7においてパターン投影画像解析処理を開始させる命令が発せられたことをトリガーとして開始される。
図8に示すステップS10は、縞画像の解析が完了しているか否かを判定するステップである。
ステップS10では、ステップS6において取得されたパターン投影画像に対して三次元形状の計測をするための解析や演算が完了しているか否かを判定する。
パターン投影画像の解析が完了していなければステップS11へ進む。
【0074】
ステップS11は、一枚のパターン投影画像を用いて被検物の三次元形状の計測を行うステップである。
ステップS11では、計測プログラムは、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いて、一枚のみのパターン投影画像を用いて被検物の三次元形状を計測する。本実施形態では、計測プログラムは、縞解析を行い、RAM24に記憶されたテーブルを用いて三次元形状を計測するための演算を行う。本実施形態では、テーブルを使用せずに演算を行う方法よりも短時間で演算をすることができる。
また、ステップS11において、計測プログラムは、カーソル位置設定処理において取得された対象領域Tの位置情報を参照し、対象領域T内のみを対象として三次元形状の計測を行う。本実施形態では、画像全体の領域で演算を行う方法よりも短時間で演算をすることができる。計測プログラムによる演算結果は、対象領域T内における計測精度を示すデータとともにRAM24に一時記憶される。なお、計測プログラムによる演算結果をRAM24に加えて補助記憶装置25に記憶させてもよい。また、対象領域T内における計測精度が悪い場合には、演算結果と計測精度のデータを破棄してもよい。
これでステップS11は終了し、ステップS12へ進む。
【0075】
ステップS12は、演算結果をモニター28に表示させるステップである。
ステップS12では、画像セットにおける明視野画像のいずれか一方(例えばパターン投影画像を取得する前に取得した明視野画像)と、演算結果に基づいた情報とをモニター28へ出力する。モニター28では、たとえば明視野画像上に演算結果を重ねて表示したりすることができる。演算結果を表示する例としては、たとえば物体距離の数値や、インジケータの表示を更新する。
また、モニター28上に、対象領域T内における計測精度のデータを表示させることもできる。この場合、上記ステップS11において演算結果と計測精度のデータを破棄した場合には、計測精度が悪かったことを示す文字列や記号をモニター28に表示することができる。
これでステップS12は終了する。
【0076】
図6ないし8に示したカーソル位置設定処理、画像取得処理、およびパターン投影画像解析処理は、それぞれ並列的に、所謂マルチタスク処理として実行される。画像取得処理およびパターン投影画像解析処理は、使用者による操作入力などの割り込みを受け付けることができる。
例えば、使用者による操作入力などによって演算結果の表示を停止させる割り込みが生じた場合は、所定の周期Wで照明光と投影光の切り替えを行うことは停止し、常に照明光を照射するようにすることができる。
あるいは、使用者が、二点を指定してその間の長さを計測したり、対象領域Tよりも広範囲にわたって三次元形状を表示したりすることができる操作画面へ移行するための操作を行った場合は、パターン投影画像を取得した後で、その画面へ移行する。
【0077】
ステップS4、S5、S6、およびS7に示すフロー又はステップS4、S8、およびS9に示すフローが所定の周期で繰り返し実行されることにより、撮像部30は、所定の周期の最初にパターン投影画像を取得し、その後はパターン投影画像を取得せずに複数の明視野画像が取得する。
所定の周期Wの一周期が終了したら、図3に示すように新たな周期Wが開始して、上述の一連の工程によりパターン投影画像および明視野画像が取得される。
なお、上記ステップS11における演算量が多い場合には、所定の周期W内で演算を完了させることができない場合も考えられる。この場合には、演算を強制終了させ、後続の画像セットを使用した新たな演算を行う。
【0078】
内視鏡装置1の使用者は、カーソルCを用いて指定した対象領域T外における三次元形状を測定する場合や、上記計測プログラムを用いた三次元形状の測定よりも高精度の測定をする場合、あるいは他の測定をする場合には、上記計測プログラムを中断して他のプログラムを呼び出すことができる。
【0079】
このとき、上記計測プログラムで用いた演算法とは異なる他の演算法を用いたとしても、計測精度を示す情報のうち最新の情報において計測精度が悪いと判定されている場合には、その旨をモニター28に表示したり、他の演算法を用いるプログラムに自動的に切り替わることを禁止することができる。これにより、計測精度が低下しにくい条件で被検物を撮影することを使用者に促すことができる。
【0080】
以上説明したように、本実施形態の内視鏡装置1および計測方法によれば、計測に適した条件であるかを短時間で判定できる。このため、要求される計測精度よりも計測精度が低いために計測が失敗する可能性を抑えることができる。
また、計測が失敗することによる時間の無駄を抑えることにより、内視鏡装置1の使い勝手を高めることができる。これは、プログラムにおける演算時間が長い計測を行う場合に特に効果が高い。
【0081】
また、照明光の出射を周期的に停止させ、照明光が出射されていないときにパターン投影画像を取得し、照明光が出射されているときには明視野画像を取得してモニター28に表示させるので、被検物の観察をしながら略リアルタイムに被検物の三次元形状を計測することができる。
【0082】
また、投影光を用いて画像を取得する第二時間幅W2が、1秒に設定された周期Wのうち1/30秒以下に設定されていることにより、モニター28に表示される明視野画像の欠落を、使用者に気付かれない程度に抑えることができる。
【0083】
また、撮像部30によって撮像できる領域の一部に対象領域Tを設定して対象領域T内のみに対して三次元形状の計測を行うので、使用者が三次元形状の計測を望む領域について、限られた時間内に精度良く計測を行うことができる。
【0084】
また、本実施形態の内視鏡装置1は、撮像部30から被検物までの距離をパターン投影画像を用いて計測することができるので、距離センサーを挿入部10に備える必要が無く、挿入部10を細径化することができる。
【0085】
(変形例)
次に、上述の実施形態の内視鏡装置1および計測方法の変形例について説明する。
本変形例では、挿入部10と被検物とが相対移動して明視野画像とパターン投影画像とが位置ずれを起こした場合における処理をさらに行う点において、メイン制御部22の構成が異なっている。
【0086】
メイン制御部22は、明視野画像とパターン投影画像とから少なくとも2枚の画像を選択し、選択された2枚の画像のずれ量に基づいて挿入部10と被検物とのブレを検出するブレ検出手段を備える。
ブレ検出手段には、2枚の画像において許容するずれ量の閾値が予め記憶されている。ブレ検出手段は、公知の手段により2枚の画像におけるずれ量を検出し、2枚の画像におけるずれ量が閾値を超えている場合には、挿入部10と被検物との間の相対移動(ブレ)があったと判定する。
【0087】
本実施形態では、ブレ検出手段は、パターン投影画像を取得する直前および直後に取得された明視野画像を用いて挿入部10と被検物とのブレを検出する。
また、メイン制御部22は、第一時間幅W1の最初に取得された明視野画像と、第一時間幅W1の最後に取得された明視野画像とをそれぞれRAM24に一時記憶させるようになっている。
また、本変形例では、パターン投影画像についてもRAM24に一時記憶される。RAM24に一時記憶された二枚の明視野画像および一枚のパターン投影画像は、三枚一組の画像セットとして後述するブレ検出に使用される。
【0088】
次に、本変形例の内視鏡装置1の動作および本変形例の計測方法について説明する。
図9は、内視鏡装置1を用いて被検物の三次元形状を計測する動作のうち、被検物の画像を取得する動作を示したフローチャートである。図10は、内視鏡装置1を用いて被検物の三次元形状を計測する動作のうち、被検物のパターン投影画像を用いて三次元形状の計測を行う計測プログラムの動作を示したフローチャートである。
【0089】
図9に示すように、本変形例では、明視野画像を取得し(ステップS21)、その後、パターン投影画像を取得する(ステップS21)。内視鏡装置1は、計測モードを終了させるための割り込みが入力されるまで、上記ステップS21とステップS22とをこの順に繰り返す。ステップS21とステップS22とが繰り返されることにより、一枚のパターン投影画像の前後(第一時間幅W1の終了時と、次の周期の第一時間幅W1の開始時)にそれぞれ明視野画像が一枚ずつ取得された三枚一組の画像セットを得ることができる。画像セットは、RAM24に一時記憶される。
【0090】
次に、上記ステップS22において抽出されたパターン投影画像を用いた計測プログラムの動作について図10を参照して説明する。
【0091】
図10に示すステップS31は、一枚のパターン投影画像が取得された前後の明視野画像を用いて挿入部10と被検物とのブレを検出するステップである。
ステップS31は、上記画像セットがRAM24に記憶されたことをトリガーとして開始される。すなわち、ステップS31は、図3に符号P1で示すように第二時間幅W2が終了してから第一時間幅W1が開始してパターン投影画像を取得した後、1枚目の明視野画像が取得された時点で開始される。
【0092】
ステップS31では、一枚のパターン投影画像の前後の明視野画像におけるずれ量が閾値未満であると判定された場合には、ステップS32へ進む。また、ステップS31では、一枚の縞画像の前後の明視野画像において閾値以上のずれ量があると判定された場合には、ステップS35へ進む。
【0093】
図10に示すステップS32は、上述のステップS9と同様の処理を行うステップである。
図10に示すステップS33は、上述のステップS10と同様の処理を行うステップである。
【0094】
図10に示すステップS34は、RAM24に一時記憶された上記画像セットを消去するステップである。
ステップS34において画像セットが消去されることにより、新たな画像セットを記憶させるための記憶領域が得られる。なお、RAM24に十分な記憶領域がある場合には、所定の周期間隔でステップS34において画像セットを消去する必要はなく、例えば数分間隔でまとめて消去するようにしてもよい。
また、画像セットと演算結果とを関連付けて補助記憶装置25に記憶してもよい。これにより、例えば内視鏡装置1の電源を遮断した場合でも、再度内視鏡装置1を起動させれば、過去に取得した画像セットにおける三次元形状を再計測することなくその結果を得ることができる。
これでステップS34は終了する。
【0095】
ステップS35は、ブレが発生していることをモニターに表示させるステップである。
ステップS35では、ブレが生じていることを示す文字列や記号をモニター28に表示させる。
これでステップS35は終了し、ステップS34へ進む。
【0096】
本変形例の内視鏡装置および計測方法によっても、上述した実施形態と同様の効果を奏する。
また、ブレ検出手段を備えているので、被検物と挿入部10とがずれたりしてパターン投影画像と明視野画像との間に位置ずれが生じた場合には、三次元形状の計測を行わない。これにより、位置ずれに起因して明視野画像に表示された被検物の物体距離などが誤った値で表示される可能性を低減することができる。
【0097】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0098】
たとえば、メイン制御部の演算性能が十分に高い場合には、撮像部の撮像視野の全領域について三次元形状の計測のための演算を一周期内で完了させることもできる。また、一周期の時間を上述の実施形態で説明した1秒よりも長く例えば10秒などにした場合には、即時性は劣るが、高精度に、あるいは広い領域に対して三次元形状の計測を行うことができる。
【0099】
また、計測プログラムは、対象領域の外側に、対象領域における三次元形状の計測精度を高める目的で付加領域を設定し、対象領域と付加領域に対して三次元形状の計測をした後に、対象領域における三次元形状の計測結果のみを出力してもよい。
【0100】
また、三次元形状を計測するための演算を所定の周期内で完了させることができなかった場合には、演算を強制終了させて新たな演算をすることに代えて、継続中の画像セットでの演算が完了してから新たな画像セットでの演算を開始するようにしてもよい。
【0101】
また、ブレを検出するステップにおいて、一枚の明視野画像と一枚のパターン投影画像とを用いてブレの検出を行うこともできる。この場合には、明視野画像を複数枚取得する必要がないので、より短時間で一連の工程を完了させることができる。
【0102】
また、上述の実施形態では、ブレを検出するために用いる明視野画像の例として、第一時間幅の終了時と、次の周期の第一時間幅の開始時に取得された明視野画像を用いる例を示したが、ブレを検出するために使用する明視野画像の取得タイミングおよび取得枚数はこれに限定されるものではない。パターン投影画像を取得する前に取得した明視野画像のみを用いたり、パターン投影画像を取得した後に取得した明視野画像のみを用いたりすることもできる。
【0103】
また、上述の実施形態では計測プログラムはソフトウェアである例を示したが、撮像部が取得したパターン投影画像を用いて被検物の三次元形状を計測するLSIなどのハードウェアを用いてもよい。ソフトウェアを用いるかハードウェアを用いるかは、処理速度や実装コストなどに応じて適宜選択することができる。
【符号の説明】
【0104】
1 内視鏡装置
10 挿入部
11 開口
12 照明窓
13 投影窓
20 本体部
21 光源制御部
22 メイン制御部
30 撮像部
32 対物光学系
33 イメージャー制御部
40 照明部
41 第一光源
50 パターン投影部
51 第二光源
W 所定の周期
W1 第一時間幅
W2 第二時間幅
【技術分野】
【0001】
本発明は、内視鏡装置および計測方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置、および内視鏡装置を用いて被検物の三次元形状を計測する方法に関する。
【背景技術】
【0002】
従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡が使用されている。このような内視鏡の中には、被検物に対して縞パターンを投影した縞画像を、当該縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。たとえば、特許文献1には、縞を投影するための2つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2009/0225321号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の内視鏡装置では、計測に適した条件であったかどうかの判定を、三次元形状の計測に使用する縞画像を取得する一連の工程が終了したあと、当該工程で得られた縞画像を使用して行っていた。このため、計測に適した条件であったかどうかの判定が、三次元形状を計測するための演算の後になってしまうことにより、計測に適した条件であったことが分かるまでに時間がかかり、使い勝手が悪かった。
【0005】
本発明は、上述した事情に鑑みてなされたものであって、その目的は、計測に適した条件であるかを短時間で判定できる内視鏡装置および計測方法を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって取得された画像を表示する表示部と、前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、を備え、前記制御部は、前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、 前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させることを特徴とする内視鏡装置である。
【0007】
また、前記制御部は、前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、前記カーソルの座標に基づいて前記表示部に前記領域を設定し、前記領域内に対応する前記被検物の三次元形状の計測を行うことが好ましい。
【0008】
また、前記制御部は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測することが好ましい。
【0009】
また、前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、からなる1秒以上の周期であり、前記一周期内における前記第二時間幅は、1秒よりも十分に短い時間に設定されていることが好ましい。
【0010】
また、前記第二時間幅は1/25秒以下の長さに設定されていることが好ましい。
また、前記第二時間幅は1/30秒以下の長さに設定されていてもよい。
【0011】
本発明の計測方法は、被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、照明光が照射された前記被検物の画像を取得している間に、1秒あたり1/25秒以下の間隔で前記照明光を周期的に消灯し、前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示することを特徴とする計測方法である。
【0012】
また、本発明の計測方法において、前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測することが好ましい。
【発明の効果】
【0013】
本発明の内視鏡装置および計測方法によれば、計測に適した条件であるかを短時間で判定できる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態の内視鏡装置の構成を示すブロック図である。
【図2】同内視鏡装置によって投影される縞パターンを示す模式図である。
【図3】同内視鏡装置の使用時における各光源の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。
【図4】同内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。
【図5】同内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。
【図6】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図7】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図8】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図9】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図10】同実施形態の変形例の内視鏡装置の使用時の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態の内視鏡装置および計測方法について説明する。
まず、本実施形態の内視鏡装置1の構成について説明する。図1は、内視鏡装置1の構成を示すブロック図である。図2は、内視鏡装置1によって投影される明暗パターン(縞パターン)を示す模式図である。
本実施形態の内視鏡装置は、被検物に明暗パターンが投影されたパターン投影画像を用いて被検物の計測を行う計測内視鏡である。
内視鏡装置1は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部10と、挿入部10の基端が接続された本体部20とを備える。
【0016】
図1に示すように、挿入部10は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部10には、被検物の画像を取得する撮像部30と、挿入部10前方の観察視野を照明する照明部40と、被検物に明暗パターンを投影するパターン投影部50とが設けられている。本実施形態では、パターン投影部50は明暗パターンとして、縞パターンを披検物に投影するものとする。
また、挿入部10の先端面10aには、撮像部30の対物光学系32に外光を入射させるための開口11と、照明部40からの照明光を挿入部10の前方に照射するための照明窓12と、パターン投影部50からの縞を挿入部10の前方に照射するための投影窓13とが設けられている。
【0017】
撮像部30は、挿入部10の先端付近に配置されたイメージャー31と、イメージャー31の前方に配置された対物光学系32と、イメージャー31と接続されたイメージャー制御部33とを備える。
【0018】
イメージャー31としては、CCD、CMOS等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。
【0019】
対物光学系32は、挿入部10の開口11内に配置されている。対物光学系32は、所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー31に入射させ、被検物の像を結像させる。また、対物光学系32は、開口11を封止する光透過性のカバー部材32aを有する。
【0020】
イメージャー制御部33は、本体部20内に設けられており、挿入部10内を延びる配線34によりイメージャー31と接続されている。イメージャー制御部33は、イメージャー31の駆動および映像信号を取得する設定等の各種制御を行う。
【0021】
照明部40は、第一光源41と、照明光学系42と、第一光源41の光を照明光学系42に導く第一ファイバーバンドル43と、第一光源41と第一ファイバーバンドル43との間に配置される第一入射光学系44とを備える。
【0022】
第一光源41は、白色光を発する光源であり、本体部20の内部に配置されている。第一光源41としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源41として、ハロゲンランプが採用されている。第一光源41から発せられる光は、被検物を照明するための照明光となる。また、第一光源41には、照明光の出射状態を切り替えるシャッターモジュール41aが設けられている。シャッターモジュール41aは、後述する光源制御部21によって動作が制御される。
【0023】
照明光学系42は、挿入部10の先端または先端付近に取り付けられている。照明光学系42は、挿入部10の照明窓12内に設けられた光透過性のカバー部材42aと、図示しないレンズ群とを有する。照明光学系42は、第一光源41から照射された光を対物光学系32の画角に適した視野範囲に広げて照明窓12から出射させ、観察視野をまんべんなく照明する。
【0024】
第一ファイバーバンドル43は、照明光学系42の近傍から挿入部10を通って本体部20内の第一光源41近傍まで延びている。第一ファイバーバンドル43の種類には特に制限はなく、一般的なライトガイドを使用可能である。
【0025】
第一入射光学系44は、第一光源41から発せられる光を第一ファイバーバンドル43の径と同程度まで収束させて効率よく第一ファイバーバンドル43内に導入する。
【0026】
パターン投影部50は、第二光源51と、投影光学系52と、第二光源51の光を投影光学系52に導く第二ファイバーバンドル53と、第二光源51と第二ファイバーバンドル53との間に配置される第二入射光学系54と、第二光源51から出射された光の光路上に配置された縞パターン生成部55とを備える。
【0027】
第二光源51は、第一光源41とは異なる光を発する光源であり、本体部20の内部に配置されている。第二光源51としては、LED光源やレーザー光源などを採用することができる。本実施形態では、第二光源51としてLED光源が採用されている。第二光源51から発せられる光は、縞パターンを投影するための投影光となる。
【0028】
投影光学系52は、挿入部10の先端または先端付近に取り付けられている。投影光学系52は、挿入部10の投影窓13内に設けられた光透過性のカバー部材52aを有する。なお、投影窓13に設けられたカバー部材52aはレンズ形状であっても構わない。投影光学系52は、第二光源51から照射された光を、対物光学系32の画角に適した視野範囲に広げて1つの投影窓13から観察視野内に投影する。
【0029】
第二ファイバーバンドル53は、投影光学系52の近傍から挿入部10を通って本体部20内の第二光源51近傍まで延びている。第二ファイバーバンドル53としては、第一ファイバーバンドル43と同様に一般的なライトガイドを使用することができる。
【0030】
第二入射光学系54は、第二光源51から発せられた光を、第二ファイバーバンドル53の径と同程度まで収束させて効率よく第二ファイバーバンドル53内に導入する。
【0031】
パターン生成部55は、縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。
【0032】
このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるMEMS(マイクロ電子機器システム)ミラーモジュール等がパターン生成部55として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部55全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部50の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部55に接続されたパターン制御部56によって行われる。
【0033】
本体部20内には、上述のイメージャー制御部33と、照明部40から照明光を出射する動作および縞投影部50から投影光を出射する動作を制御する光源制御部21と、メイン制御部22とが設けられている。
【0034】
イメージャー制御部33には、イメージャー31の取得した映像信号を処理するビデオプロセッサー27と、イメージャー制御部33の動作を制御するメイン制御部22とが接続されている。ビデオプロセッサー27およびメイン制御部22は本体部20内に設けられている。
【0035】
ビデオプロセッサー27には、ビデオプロセッサー27によって処理された映像信号を画像として表示するモニター(表示部)28が接続されている。
光源制御部21は、第一光源41および第二光源51、並びにメイン制御部22に接続されており、メイン制御部22による制御に基づいて第一光源41および第二光源51のオン/オフを制御する。
【0036】
メイン制御部22は、さらに、操作部23、RAM24、ROM26、補助記憶装置25、およびパターン制御部56に接続されている。
【0037】
操作部23は、使用者が内視鏡装置1に各種入力を行うためのスイッチなどを有する。また、操作部23として、モニター28の表示画面と重ねて設けられたタッチパネルが採用されてもよい。
【0038】
RAM24は、内視鏡装置1を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
ROM26は、たとえばファームウェア等が記録されており、内視鏡装置1の起動時にファームウェア等が読み出されるようになっている。
補助記憶装置25は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。
【0039】
次に、メイン制御部22の構成について詳述する。
メイン制御部22は、光源制御部21に対して、第一光源41および第二光源51を所定の周期Wで点滅させ、第一光源41から照明光が出射されている状態では第二光源51からの投影光の出射を減少させ、第一光源41からの照明光の出射が減少されている状態では、第二光源51から投影光を出射させる制御を行う。本実施形態では、メイン制御部22が第二光源51からの投影光の出射を停止させる例で説明するが、使用者がモニター28を見たときにちらつきを感じない程度であれば、メイン制御部22を、第二光源51からの投影光の出射を停止するのではなく、減少させるように構成してもよい。
【0040】
図3は、内視鏡装置1の使用時における第一光源41および第二光源51の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。
図3に示すように、第一光源41および第二光源51を点滅させる所定の周期の一周期Wは、照明光が出射された状態且つ投影光の出射が停止された状態である第一時間幅W1と、照明光の出射が停止された状態且つ投影光が出射された状態である第二時間幅W2とからなる。
【0041】
本実施形態では、所定の周期Wの一周期内における第二時間幅W2は、内視鏡装置1を使用する使用者がモニター28を見たときにちらつきを感じない時間に設定されている。具体的には、所定の周期Wは1秒に設定され、1秒の周期Wのうち第二時間幅W2は1秒よりも十分に短い時間、例えば1/30秒に設定され、残りの29/30秒は第一時間幅W1とされている。
【0042】
なお、モニター28のリフレッシュレートに対応させて、第二時間幅W2は1/30秒以下の適宜の時間幅に設定することもできる。たとえばモニター28のリフレッシュレートが60fpsである場合に、第二時間幅W2を1/60秒とし、周期をモニター28のリフレッシュレートと同期させることによって、第一光源41からの照明光により照明された画像のモニター28上での欠落を1フレーム/秒とすることができる。
さらになお、本実施形態では、第二時間幅W2はNTSC形式の1秒あたりのフレーム数(30フレーム)に基づいて設定されているが、PAL形式の1秒あたりのフレーム数(25フレーム)に基づいて設定されてもよい。そのとき、第二時間幅W2は1/25秒に設定され、残りの24/25秒は第一時間幅W1とされる。
【0043】
また、本実施形態では、第二時間幅W2は、撮像部30によって少なくとも一枚の画像が適切に取得できる時間に設定されている。たとえば、本実施形態では、第二時間幅W2の長さは、撮像部30が一枚のパターン投影画像を取得できる長さに設定されている。
【0044】
また、メイン制御部22は、照明光により被検物が照明された明視野画像を、第一光源41から照明光が出射されている状態で撮像部30に取得させる。さらに、メイン制御部22は、被検物に縞パターンが投影されたパターン投影画像を、投影光が出射されている状態で撮像部30に取得させる。
【0045】
具体的には、メイン制御部22は、撮像部30のイメージャー制御部33に対して、上記所定の周期Wと同期させてイメージャー31に画像を撮像させる制御を行う。イメージャー31によって撮像された画像はビデオプロセッサー27において処理される。メイン制御部22によって、上記所定の周期Wにおける第一時間幅W1に該当するときに撮像された画像は明視野画像として抽出され、第二時間幅W2に該当するときに撮像された画像はパターン投影画像として抽出される。
【0046】
このように、本実施形態では、ビデオプロセッサー27によって、イメージャー31が撮像した画像が明視野画像とパターン投影画像とに仕分けされる。
【0047】
メイン制御部22は、ビデオプロセッサー27によって抽出されたパターン投影画像を用いて三次元形状の計測を行い、ビデオプロセッサー27によって抽出された明視野画像をモニター28へ出力する。
なお、メイン制御部22は、イメージャー31が撮像した画像からパターン投影画像を取り除くことなくモニター28へ出力してもよい。この場合であっても、たとえばパターン投影画像がモニター28に表示される時間が1秒当たり1/30秒以下であれば、モニター28における画像のちらつきは気にならない程度に抑えられる。
【0048】
メイン制御部22は、撮像部30が取得したパターン投影画像を用いて被検物の三次元形状を計測するソフトウェア(以下、「計測プログラム」と称する。)を動作させることができる。メイン制御部22は、パターン投影画像を用いた計測によって得られた情報を、明視野画像とともにモニター28に表示させる。パターン投影画像を用いた計測によって得られた情報をモニター28に表示させるために、メイン制御部22は、計測プログラムによる演算が終了したあと、モニター28に表示されている明視野画像又はパターン投影画像上に、パターン投影画像を用いた計測によって得られた情報を重ね合わせてモニター28へ出力することができる。
詳細は後述するが、計測プログラムは、上記所定の周期Wの一周期以内で演算を完了するように構成されている。よって、三次元形状の計測結果の表示は、上記所定の周期Wで更新される。
【0049】
図4および図5は、内視鏡装置の使用時にモニター28に表示されるカーソルCおよび対象領域Tの表示例を示す模式図である。
図4および図5に示すように、メイン制御部22において動作する計測プログラムは、撮像部30の撮像視野内において被検物の三次元形状の計測をさせる対象領域を定めるためのカーソルCを、モニター28に表示させる。カーソルCは、たとえば十字印(図4参照)や矢印(図5参照)など被検物における座標あるいは領域を使用者が指定しやすい形状とすることができる。また、カーソルCは、丸印や四角い枠などの形状で、対象領域の広さを指定するために用いられてもよく、この場合には、計測プログラムは、カーソルCの大きさを使用者の操作入力により変形させることができるように構成されてもよい。
【0050】
計測プログラムは、モニター28上に表示されたカーソルCの座標に基づいて、モニター28に、三次元形状を計測するための対象領域Tを設定する。たとえば上記十字印や矢印など画像上の特定の位置を点として指定したカーソルCの位置を中心とした矩形形状あるいは円形状などの所定の領域を対象領域Tとして設定する。
なお計測プログラムは、使用者の操作入力により、カーソルCの形状だけでなく、対象領域Tの形状や大きさを変更させることができるように構成されてもよい。
さらに、計測プログラムは、三次元形状を計測する対象領域Tとして設定された領域内のみに対して三次元形状を計測するための演算を行う。
【0051】
計測プログラムによる演算は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いる。空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法を用いた演算は、それぞれパターン投影画像を一枚だけ用いて被検物の三次元形状を計測することができる演算法である。
【0052】
計測プログラムは、対象領域T内の三次元形状を示す演算結果のデータと、対象領域T内における計測精度のデータとを生成し、たとえばRAM24に記憶させる。計測プログラムにおける演算結果のデータには、少なくとも撮像部30から被検物までの距離(物体距離)を示す情報が含まれている。また、対象領域T内における計測精度のデータには、少なくとも縞パターンの移り具合を定量化した情報が含まれている。
計測プログラムによって生成された物体距離を示す情報は、図4および図5に示すように、カーソルC上の距離情報Iとして、数値やインジケータを示すなどの表示方法を用いてモニター28上に表示される。
あるいは図示はしないが、モニター28内の所定の領域に、対象領域T内における物体距離の分布をカラーマップなどで表示するようにしてもよい。
【0053】
このように、メイン制御部22は、撮像部30、照明部40、パターン投影部50、およびモニター28の動作を制御する。
【0054】
次に、本実施形態の計測方法について、上記内視鏡装置1を用いて被検物を計測する方法を例に説明する。
図6ないし図8は、本実施形態の内視鏡装置1を用いて被検物の三次元形状を計測する動作を示したフローチャートである。
本実施形態では、内視鏡装置1は、被検物の三次元形状の計測をせずに観察のみ行う観察モードと、被検物の三次元形状の計測を行う計測モードとを備える。以下では、観察モードにおける動作の説明の詳細は省略し、計測モードにおける動作を中心に説明する。
【0055】
計測モードが開始されたときには、計測プログラムが起動し、初期化される。計測プログラムは、三次元形状の計測のために必要な演算のうち事前に演算可能な式について、変数と解とが関係付けられたテーブルなど、計測時の演算量を減らすことができるテーブルを生成してRAM24に一時記憶させる。なお、テーブルは、予めROM26や補助記憶装置25に記憶されていてもよい。この場合には、計測プログラムは、ROM26や補助記憶装置25に記憶されたテーブルをRAM24に転送して使用する。
【0056】
また、本実施形態では、計測プログラムは、カーソル位置設定処理と、画像取得処理と、パターン投影画像解析処理とを並列処理するようになっている。
【0057】
図6は、カーソル位置設定処理のフローチャートである。図6に示すステップS1は、モニター28に表示されるライブ画面上にカーソルCを表示するステップである。
【0058】
ステップS1では、計測プログラムは、モニター28にカーソルCを表示させ、内視鏡装置1の使用者がカーソルCの位置を移動させることができるように設定する。なお、計測プログラムは、モニター28上で予め定められた位置(たとえばモニター28の中央など)にカーソルCを固定してもよい。
モニター28上のカーソルCの座標に基づいて、対象領域Tが設定される。
これでステップS1は終了し、ステップS2へ進む。
【0059】
ステップS2は、カーソルCが移動したか否かを判定するステップである。
ステップS2では、内視鏡装置1の使用者によるカーソルCを移動させる入力などがあったことを検出する。カーソルCを移動させる入力は、ボタンやジョイスティックによる入力動作があったことを機械的に検知してもよいし、ボタンやジョイスティックによる入力動作によってカーソルCの座標が変化したことを検知してもよい。
カーソルCを移動させる入力などがあるまでステップS2では入力待ちとなり、入力があったことが検知された場合にはステップS3へ進む。
【0060】
ステップS3は、カーソルCの位置を更新するステップである。
ステップS3では、モニター28上に表示されているカーソルCの位置を、入力動作に対応させて変化させる。また、カーソルCの位置に対応させて対象領域Tの位置も更新する。
これでステップS3は終了し、ステップS2へ進む。
【0061】
図7は、画像取得処理のフローチャートである。画像取得処理では、上記カーソル位置設定処理において得られたカーソルCの位置と対象領域Tの位置との情報を参照し、カーソルCの位置と対象領域Tの位置との情報を用いる。
図7に示すステップS4は、所定の周期Wの一周期において何枚目の画像(フレーム)を取得したかを判定するステップである。
ステップS4では、一周期内で画像を取得する毎にnをカウントアップし、一周期が終了したら次の周期からはn=1にリセットしてから再びnをカウントアップする。
ステップS4においてn=1の場合にはステップS5へ進み、ステップS4においてnが1より大きい場合にはステップS8へ進む。
【0062】
ステップS5は、照明光の出射が停止されている時間内に被検物に縞パターンを投影するステップである。
ステップS5では、第一光源41から照明光が出射されている場合には、メイン制御部22が、第一時間幅W1の終了とともに光源制御部21を制御して照明光の出射を停止させる。照明光の出射を停止させる方法としては、第一光源41への通電を停止させて第一光源41を消灯させてもよいし、第一光源41に設けられたシャッターモジュール41aによって照明光を遮蔽してもよい。照明光の出射が停止されると、被検物には照明光が照射されなくなる。
【0063】
さらに、メイン制御部22は、光源制御部21に対して、第二光源51からの投影光の出射を開始させる制御を行う。このとき、第二光源51への通電状態を切り替えたり、第二光源51にシャッターモジュールを設けて出射状態を切り替えたりすることができる。本実施形態の場合には、第二光源51としてLED光源が採用されているので、シャッターモジュールを備えていなくても十分に短い時間で光量を安定させることができる。
【0064】
図3に示すように、第二光源51から投影光が出射される時間は、第一時間幅W1よりも短い第二時間幅W2である。たとえば本実施形態では、所定の周期Wが1秒であり第二時間幅W2が1/30秒であるので、第二光源51自体の通電状態を切り替えることにより第二光源51を点滅させると、第二光源51を発光させるために要する電力を大幅に削減できる。
【0065】
ステップS5において第二光源51から出射された投影光は、パターン生成部55を透過する。これにより、図2に示すように、被検物に到達した投影光によって明部R1が生じ、パターン生成部55によって投影光が遮られた部分に暗部R2が生じる。その結果、明部R1と暗部R2とが交互に並べられた縞パターンが被検物に投影される。
これでステップS5は終了し、ステップS6へ進む。
【0066】
ステップS6は、縞パターンが投影された被検物の画像(パターン投影画像)を取得するステップである。
ステップS6において、撮像部30は、明視野画像を取得する動作と同様の動作で被検物の画像を取得する。ステップS6においては、照明光でなく縞パターンが被検物に投影されているので、撮像部30によって取得される画像はパターン投影画像となる。本実施形態では、第二時間幅W2においてパターン投影画像を一枚のみ取得する。
ステップS6において、メイン制御部22は、ビデオプロセッサー27において処理された画像から上記一枚のパターン投影画像を抽出し、RAM24に一時記憶させる。
これでステップS6は終了し、ステップS7へ進む。
【0067】
ステップS7は、パターン投影画像解析処理を開始させるステップである。
ステップS7では、後述するパターン投影画像解析処理を開始させたあと、上記ステップS4へ進む。
【0068】
ステップS8は、被検物への縞パターンの投影を停止して、照明光を出射するステップである。
ステップS8では、メイン制御部22は、第二時間幅W2の終了とともに第二光源51からの投影光の出射を停止させ、第一時間幅W1の開始とともに光源制御部21を制御して第一光源41からの照明光の出射を開始させる。
【0069】
照明光の出射を開始させる方法としては、第一光源41への通電を開始させて第一光源41を点灯させてもよいし、第一光源41に設けられたシャッターモジュール41aを開いて照明光を出射させてもよい。
【0070】
第一光源41の点灯を開始させてから第一光源41の光量が安定するまでの時間が十分に短い場合には、第一光源41自体の点灯および消灯を制御し、第一光源41が消費する電力を削減することができる。
【0071】
また、シャッターモジュール41aによって照明光を遮蔽する場合には、第一光源41自体が発する光量を変化させる必要がないので、照明光の光量を安定させるための時間が比較的長い光源であっても採用することができる。
本実施形態の場合は、第一光源41として採用されたハロゲンランプは、照明光の光量を安定させるための時間が比較的長い光源に相当する。このため、シャッターモジュール41aの開閉動作によって照明光の出射状態を変化させている。これにより、第一時間幅W1内における光量の変動を抑えることができる。
これでステップS8は終了し、ステップS9へ進む。
【0072】
ステップS9は、被検物に照明光が照射された画像(明視野画像)を取得するステップである。
ステップS9では、メイン制御部22による制御に基づいて、所定の周期Wのうちの第一時間幅W1において撮像部30が1枚の明視野画像を取得し、ビデオプロセッサー27を通じてモニター28に明視野画像を表示させる。
これでステップS9は終了し、ステップS4へ戻る。そして、所定の周期Wのうちの第一時間幅W1の間は、ステップS7及びステップS8にて明視野画像の取得が繰り返される。
【0073】
図8はパターン投影画像解析処理のフローチャートである。パターン投影画像解析処理は、画像取得処理における上述のステップS7においてパターン投影画像解析処理を開始させる命令が発せられたことをトリガーとして開始される。
図8に示すステップS10は、縞画像の解析が完了しているか否かを判定するステップである。
ステップS10では、ステップS6において取得されたパターン投影画像に対して三次元形状の計測をするための解析や演算が完了しているか否かを判定する。
パターン投影画像の解析が完了していなければステップS11へ進む。
【0074】
ステップS11は、一枚のパターン投影画像を用いて被検物の三次元形状の計測を行うステップである。
ステップS11では、計測プログラムは、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いて、一枚のみのパターン投影画像を用いて被検物の三次元形状を計測する。本実施形態では、計測プログラムは、縞解析を行い、RAM24に記憶されたテーブルを用いて三次元形状を計測するための演算を行う。本実施形態では、テーブルを使用せずに演算を行う方法よりも短時間で演算をすることができる。
また、ステップS11において、計測プログラムは、カーソル位置設定処理において取得された対象領域Tの位置情報を参照し、対象領域T内のみを対象として三次元形状の計測を行う。本実施形態では、画像全体の領域で演算を行う方法よりも短時間で演算をすることができる。計測プログラムによる演算結果は、対象領域T内における計測精度を示すデータとともにRAM24に一時記憶される。なお、計測プログラムによる演算結果をRAM24に加えて補助記憶装置25に記憶させてもよい。また、対象領域T内における計測精度が悪い場合には、演算結果と計測精度のデータを破棄してもよい。
これでステップS11は終了し、ステップS12へ進む。
【0075】
ステップS12は、演算結果をモニター28に表示させるステップである。
ステップS12では、画像セットにおける明視野画像のいずれか一方(例えばパターン投影画像を取得する前に取得した明視野画像)と、演算結果に基づいた情報とをモニター28へ出力する。モニター28では、たとえば明視野画像上に演算結果を重ねて表示したりすることができる。演算結果を表示する例としては、たとえば物体距離の数値や、インジケータの表示を更新する。
また、モニター28上に、対象領域T内における計測精度のデータを表示させることもできる。この場合、上記ステップS11において演算結果と計測精度のデータを破棄した場合には、計測精度が悪かったことを示す文字列や記号をモニター28に表示することができる。
これでステップS12は終了する。
【0076】
図6ないし8に示したカーソル位置設定処理、画像取得処理、およびパターン投影画像解析処理は、それぞれ並列的に、所謂マルチタスク処理として実行される。画像取得処理およびパターン投影画像解析処理は、使用者による操作入力などの割り込みを受け付けることができる。
例えば、使用者による操作入力などによって演算結果の表示を停止させる割り込みが生じた場合は、所定の周期Wで照明光と投影光の切り替えを行うことは停止し、常に照明光を照射するようにすることができる。
あるいは、使用者が、二点を指定してその間の長さを計測したり、対象領域Tよりも広範囲にわたって三次元形状を表示したりすることができる操作画面へ移行するための操作を行った場合は、パターン投影画像を取得した後で、その画面へ移行する。
【0077】
ステップS4、S5、S6、およびS7に示すフロー又はステップS4、S8、およびS9に示すフローが所定の周期で繰り返し実行されることにより、撮像部30は、所定の周期の最初にパターン投影画像を取得し、その後はパターン投影画像を取得せずに複数の明視野画像が取得する。
所定の周期Wの一周期が終了したら、図3に示すように新たな周期Wが開始して、上述の一連の工程によりパターン投影画像および明視野画像が取得される。
なお、上記ステップS11における演算量が多い場合には、所定の周期W内で演算を完了させることができない場合も考えられる。この場合には、演算を強制終了させ、後続の画像セットを使用した新たな演算を行う。
【0078】
内視鏡装置1の使用者は、カーソルCを用いて指定した対象領域T外における三次元形状を測定する場合や、上記計測プログラムを用いた三次元形状の測定よりも高精度の測定をする場合、あるいは他の測定をする場合には、上記計測プログラムを中断して他のプログラムを呼び出すことができる。
【0079】
このとき、上記計測プログラムで用いた演算法とは異なる他の演算法を用いたとしても、計測精度を示す情報のうち最新の情報において計測精度が悪いと判定されている場合には、その旨をモニター28に表示したり、他の演算法を用いるプログラムに自動的に切り替わることを禁止することができる。これにより、計測精度が低下しにくい条件で被検物を撮影することを使用者に促すことができる。
【0080】
以上説明したように、本実施形態の内視鏡装置1および計測方法によれば、計測に適した条件であるかを短時間で判定できる。このため、要求される計測精度よりも計測精度が低いために計測が失敗する可能性を抑えることができる。
また、計測が失敗することによる時間の無駄を抑えることにより、内視鏡装置1の使い勝手を高めることができる。これは、プログラムにおける演算時間が長い計測を行う場合に特に効果が高い。
【0081】
また、照明光の出射を周期的に停止させ、照明光が出射されていないときにパターン投影画像を取得し、照明光が出射されているときには明視野画像を取得してモニター28に表示させるので、被検物の観察をしながら略リアルタイムに被検物の三次元形状を計測することができる。
【0082】
また、投影光を用いて画像を取得する第二時間幅W2が、1秒に設定された周期Wのうち1/30秒以下に設定されていることにより、モニター28に表示される明視野画像の欠落を、使用者に気付かれない程度に抑えることができる。
【0083】
また、撮像部30によって撮像できる領域の一部に対象領域Tを設定して対象領域T内のみに対して三次元形状の計測を行うので、使用者が三次元形状の計測を望む領域について、限られた時間内に精度良く計測を行うことができる。
【0084】
また、本実施形態の内視鏡装置1は、撮像部30から被検物までの距離をパターン投影画像を用いて計測することができるので、距離センサーを挿入部10に備える必要が無く、挿入部10を細径化することができる。
【0085】
(変形例)
次に、上述の実施形態の内視鏡装置1および計測方法の変形例について説明する。
本変形例では、挿入部10と被検物とが相対移動して明視野画像とパターン投影画像とが位置ずれを起こした場合における処理をさらに行う点において、メイン制御部22の構成が異なっている。
【0086】
メイン制御部22は、明視野画像とパターン投影画像とから少なくとも2枚の画像を選択し、選択された2枚の画像のずれ量に基づいて挿入部10と被検物とのブレを検出するブレ検出手段を備える。
ブレ検出手段には、2枚の画像において許容するずれ量の閾値が予め記憶されている。ブレ検出手段は、公知の手段により2枚の画像におけるずれ量を検出し、2枚の画像におけるずれ量が閾値を超えている場合には、挿入部10と被検物との間の相対移動(ブレ)があったと判定する。
【0087】
本実施形態では、ブレ検出手段は、パターン投影画像を取得する直前および直後に取得された明視野画像を用いて挿入部10と被検物とのブレを検出する。
また、メイン制御部22は、第一時間幅W1の最初に取得された明視野画像と、第一時間幅W1の最後に取得された明視野画像とをそれぞれRAM24に一時記憶させるようになっている。
また、本変形例では、パターン投影画像についてもRAM24に一時記憶される。RAM24に一時記憶された二枚の明視野画像および一枚のパターン投影画像は、三枚一組の画像セットとして後述するブレ検出に使用される。
【0088】
次に、本変形例の内視鏡装置1の動作および本変形例の計測方法について説明する。
図9は、内視鏡装置1を用いて被検物の三次元形状を計測する動作のうち、被検物の画像を取得する動作を示したフローチャートである。図10は、内視鏡装置1を用いて被検物の三次元形状を計測する動作のうち、被検物のパターン投影画像を用いて三次元形状の計測を行う計測プログラムの動作を示したフローチャートである。
【0089】
図9に示すように、本変形例では、明視野画像を取得し(ステップS21)、その後、パターン投影画像を取得する(ステップS21)。内視鏡装置1は、計測モードを終了させるための割り込みが入力されるまで、上記ステップS21とステップS22とをこの順に繰り返す。ステップS21とステップS22とが繰り返されることにより、一枚のパターン投影画像の前後(第一時間幅W1の終了時と、次の周期の第一時間幅W1の開始時)にそれぞれ明視野画像が一枚ずつ取得された三枚一組の画像セットを得ることができる。画像セットは、RAM24に一時記憶される。
【0090】
次に、上記ステップS22において抽出されたパターン投影画像を用いた計測プログラムの動作について図10を参照して説明する。
【0091】
図10に示すステップS31は、一枚のパターン投影画像が取得された前後の明視野画像を用いて挿入部10と被検物とのブレを検出するステップである。
ステップS31は、上記画像セットがRAM24に記憶されたことをトリガーとして開始される。すなわち、ステップS31は、図3に符号P1で示すように第二時間幅W2が終了してから第一時間幅W1が開始してパターン投影画像を取得した後、1枚目の明視野画像が取得された時点で開始される。
【0092】
ステップS31では、一枚のパターン投影画像の前後の明視野画像におけるずれ量が閾値未満であると判定された場合には、ステップS32へ進む。また、ステップS31では、一枚の縞画像の前後の明視野画像において閾値以上のずれ量があると判定された場合には、ステップS35へ進む。
【0093】
図10に示すステップS32は、上述のステップS9と同様の処理を行うステップである。
図10に示すステップS33は、上述のステップS10と同様の処理を行うステップである。
【0094】
図10に示すステップS34は、RAM24に一時記憶された上記画像セットを消去するステップである。
ステップS34において画像セットが消去されることにより、新たな画像セットを記憶させるための記憶領域が得られる。なお、RAM24に十分な記憶領域がある場合には、所定の周期間隔でステップS34において画像セットを消去する必要はなく、例えば数分間隔でまとめて消去するようにしてもよい。
また、画像セットと演算結果とを関連付けて補助記憶装置25に記憶してもよい。これにより、例えば内視鏡装置1の電源を遮断した場合でも、再度内視鏡装置1を起動させれば、過去に取得した画像セットにおける三次元形状を再計測することなくその結果を得ることができる。
これでステップS34は終了する。
【0095】
ステップS35は、ブレが発生していることをモニターに表示させるステップである。
ステップS35では、ブレが生じていることを示す文字列や記号をモニター28に表示させる。
これでステップS35は終了し、ステップS34へ進む。
【0096】
本変形例の内視鏡装置および計測方法によっても、上述した実施形態と同様の効果を奏する。
また、ブレ検出手段を備えているので、被検物と挿入部10とがずれたりしてパターン投影画像と明視野画像との間に位置ずれが生じた場合には、三次元形状の計測を行わない。これにより、位置ずれに起因して明視野画像に表示された被検物の物体距離などが誤った値で表示される可能性を低減することができる。
【0097】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0098】
たとえば、メイン制御部の演算性能が十分に高い場合には、撮像部の撮像視野の全領域について三次元形状の計測のための演算を一周期内で完了させることもできる。また、一周期の時間を上述の実施形態で説明した1秒よりも長く例えば10秒などにした場合には、即時性は劣るが、高精度に、あるいは広い領域に対して三次元形状の計測を行うことができる。
【0099】
また、計測プログラムは、対象領域の外側に、対象領域における三次元形状の計測精度を高める目的で付加領域を設定し、対象領域と付加領域に対して三次元形状の計測をした後に、対象領域における三次元形状の計測結果のみを出力してもよい。
【0100】
また、三次元形状を計測するための演算を所定の周期内で完了させることができなかった場合には、演算を強制終了させて新たな演算をすることに代えて、継続中の画像セットでの演算が完了してから新たな画像セットでの演算を開始するようにしてもよい。
【0101】
また、ブレを検出するステップにおいて、一枚の明視野画像と一枚のパターン投影画像とを用いてブレの検出を行うこともできる。この場合には、明視野画像を複数枚取得する必要がないので、より短時間で一連の工程を完了させることができる。
【0102】
また、上述の実施形態では、ブレを検出するために用いる明視野画像の例として、第一時間幅の終了時と、次の周期の第一時間幅の開始時に取得された明視野画像を用いる例を示したが、ブレを検出するために使用する明視野画像の取得タイミングおよび取得枚数はこれに限定されるものではない。パターン投影画像を取得する前に取得した明視野画像のみを用いたり、パターン投影画像を取得した後に取得した明視野画像のみを用いたりすることもできる。
【0103】
また、上述の実施形態では計測プログラムはソフトウェアである例を示したが、撮像部が取得したパターン投影画像を用いて被検物の三次元形状を計測するLSIなどのハードウェアを用いてもよい。ソフトウェアを用いるかハードウェアを用いるかは、処理速度や実装コストなどに応じて適宜選択することができる。
【符号の説明】
【0104】
1 内視鏡装置
10 挿入部
11 開口
12 照明窓
13 投影窓
20 本体部
21 光源制御部
22 メイン制御部
30 撮像部
32 対物光学系
33 イメージャー制御部
40 照明部
41 第一光源
50 パターン投影部
51 第二光源
W 所定の周期
W1 第一時間幅
W2 第二時間幅
【特許請求の範囲】
【請求項1】
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって取得された画像を表示する表示部と、
前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、
を備え、
前記制御部は、
前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、
前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、
前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、
前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、
前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、
前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、
前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させる
ことを特徴とする内視鏡装置。
【請求項2】
請求項1に記載の内視鏡装置であって、
前記制御部は、
前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、
前記カーソルの座標に基づいて前記表示部に前記領域を設定し、
前記領域内に対応する前記被検物の三次元形状の計測を行う
ことを特徴とする内視鏡装置。
【請求項3】
請求項1に記載の内視鏡装置であって、
前記制御部は、
空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測する
ことを特徴とする内視鏡装置。
【請求項4】
請求項1に記載の内視鏡装置であって、
前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、からなる1秒以上の周期であり、
前記一周期内における前記第二時間幅は、1秒よりも十分に短い時間に設定されている
ことを特徴とする内視鏡装置。
【請求項5】
請求項4に記載の内視鏡装置であって、
前記第二時間幅は1/25秒以下の長さに設定されていることを特徴とする内視鏡装置。
【請求項6】
請求項4に記載の内視鏡装置であって、
前記第二時間幅は1/30秒以下の長さに設定されていることを特徴とする内視鏡装置。
【請求項7】
被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、
照明光が照射された前記被検物の画像を取得している間に、1秒あたり1/25秒以下の間隔で前記照明光を周期的に消灯し、
前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、
前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、
前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示する
ことを特徴とする計測方法。
【請求項8】
請求項7に記載の計測方法であって、
前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、
空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測する
ことを特徴とする計測方法。
【請求項1】
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって取得された画像を表示する表示部と、
前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、
を備え、
前記制御部は、
前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、
前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、
前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、
前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、
前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、
前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、
前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させる
ことを特徴とする内視鏡装置。
【請求項2】
請求項1に記載の内視鏡装置であって、
前記制御部は、
前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、
前記カーソルの座標に基づいて前記表示部に前記領域を設定し、
前記領域内に対応する前記被検物の三次元形状の計測を行う
ことを特徴とする内視鏡装置。
【請求項3】
請求項1に記載の内視鏡装置であって、
前記制御部は、
空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測する
ことを特徴とする内視鏡装置。
【請求項4】
請求項1に記載の内視鏡装置であって、
前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、からなる1秒以上の周期であり、
前記一周期内における前記第二時間幅は、1秒よりも十分に短い時間に設定されている
ことを特徴とする内視鏡装置。
【請求項5】
請求項4に記載の内視鏡装置であって、
前記第二時間幅は1/25秒以下の長さに設定されていることを特徴とする内視鏡装置。
【請求項6】
請求項4に記載の内視鏡装置であって、
前記第二時間幅は1/30秒以下の長さに設定されていることを特徴とする内視鏡装置。
【請求項7】
被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、
照明光が照射された前記被検物の画像を取得している間に、1秒あたり1/25秒以下の間隔で前記照明光を周期的に消灯し、
前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、
前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、
前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示する
ことを特徴とする計測方法。
【請求項8】
請求項7に記載の計測方法であって、
前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、
空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも1つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測する
ことを特徴とする計測方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−242364(P2012−242364A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−116141(P2011−116141)
【出願日】平成23年5月24日(2011.5.24)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願日】平成23年5月24日(2011.5.24)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]