説明

内視鏡装置および画像取得方法

【課題】取得された複数の画像間の位置ずれを抑えることができる内視鏡装置を提供すること。
【解決手段】第一光源からの照明光の出射が開始されてから照明光の光量が安定するまでの時間waと、第二光源からの投影光の出射が開始されてから投影光の光量が安定するまでの時間wbとに基づいて、照明部と縞投影部とのうち光量が安定するまでの時間が長い方を先に動作させて被検物の第一の画像を撮像部に取得させ、照明部と縞投影部とのうち光量が安定するまでの時間が短い方を第一の画像の取得後に動作させて被検物の第二の画像を撮像部に取得させることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置および画像取得方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置、および内視鏡装置を用いて複数の画像を取得する方法に関する。
【背景技術】
【0002】
従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡が使用されている。このような内視鏡の中には、被検物に対して縞パターンを投影した縞画像を、当該縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。例えば、特許文献1には、縞を投影するための2つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2009/0225321号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の内視鏡装置では、複数の画像を取得する際に内視鏡装置や被検物にブレが生じた場合に、取得された複数の画像間に位置ずれが生じる可能性があった。たとえば、被検物に照明光を照射して取得した明視野画像と、被検物に縞パターンを投影して取得した縞画像との間に位置ずれが生じると、縞画像を用いて三次元形状を解析した結果と明視野画像上の映像とを精度良く対応させることができなくなってしまう。
【0005】
本発明は、上述した事情に鑑みてなされたものであって、その目的は、取得された複数の画像間の位置ずれを抑えることができる内視鏡装置および画像取得方法を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、を備え、前記制御部は、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間と、前記第二光源からの前記投影光の出射が開始されてから前記投影光の光量が前記画像の取得に必要な光量に達するまでの時間とに基づいて、前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が長い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が短い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、ことを特徴とする内視鏡装置である。
【0007】
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、を備え、前記制御部は、前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間とに基づいて、前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が短い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が長い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、ことを特徴とする内視鏡装置である。
【0008】
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、を備え、前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも短い場合は、前記照明部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記パターン投影部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、また、前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも長い場合は、前記パターン投影部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記照明部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置である。
【0009】
また、前記第一光源と前記第二光源との少なくともいずれかに、光の出射状態を切り替えるシャッターが設けられていることが好ましい。
【0010】
また、前記制御部は、前記照明光が照射された状態で取得された前記被検物の画像と前記投影光が照射された状態で取得された前記被検物の画像とから少なくとも2枚の画像を選択して前記2枚の画像のずれ量に基づいて前記挿入部と前記被検物とのブレを検出するブレ検出手段を備えることが好ましい。
【0011】
本発明の画像取得方法は、内視鏡装置を用いて、被検物に照明光を照射して前記被検物の画像を取得し、投影光を用いて縞パターンを被検物に投影して前記被検物の画像を取得する画像取得方法であって、前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間と、前記投影光の出射が開始されてから前記投影光の光量が前記画像の取得に必要な光量に達するまでの時間とに基づいて、前記照明光と前記投影光とのうち光量が安定するまでの時間が長い方を用いて前記被検物の第一の画像を取得し、前記第一の画像を取得した後に、前記照明光と前記投影光とのうち光量が前記画像の取得に必要な光量に達するまでの時間が短い方を用いて前記被検物の第二の画像を取得することを特徴とする画像取得方法である。
【発明の効果】
【0012】
本発明の内視鏡装置および画像取得方法によれば、取得された画像間の位置ずれを抑えることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態の内視鏡装置の構成を示すブロック図である。
【図2】同内視鏡装置によって投影される明暗パターンを示す模式図である。
【図3】同内視鏡装置の使用時の動作を説明するためのフローチャートである。
【図4】同内視鏡装置の使用時における光量と時間との関係を示すグラフである。
【図5】同実施形態の変形例の内視鏡装置の使用時における光量と時間との関係を示すグラフである。
【図6】同実施形態の変形例の内視鏡装置の使用時における光量と時間との関係を示すグラフである。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態の内視鏡装置および画像取得方法について説明する。
まず、本実施形態の内視鏡装置1の構成について説明する。図1は、内視鏡装置1の構成を示すブロック図である。図2は、内視鏡装置1によって投影される明暗パターンを示す模式図である。
内視鏡装置1は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部10と、挿入部10の基端が接続された本体部20とを備える。
【0015】
図1に示すように、挿入部10は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部10には、被検物の画像を取得する撮像部30と、挿入部10前方の観察視野を照明する照明部40と、被検物に明暗パターンを投影するパターン投影部50とが設けられている。
また、挿入部10の先端面10aには、撮像部30の対物光学系32に外光を入射させるための開口11と、照明部40からの照明光を挿入部の前方に照射するための照明窓12と、パターン投影部50からの明暗パターンを挿入部の前方に照射するための投影窓13とが設けられている。本実施形態では、パターン投影部50は明暗パターンとして、縞パターンを披検物に投影するものとする。
【0016】
撮像部30は、挿入部10の先端付近に配置されたイメージャー31と、イメージャー31の前方に配置された対物光学系32と、イメージャー31と接続されたイメージャー制御部33とを備える。
【0017】
イメージャー31としては、CCD、CMOS等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。
【0018】
対物光学系32は、挿入部10の開口11内に配置されている。対物光学系32は、所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー31に入射させ、被検物の像を結像させる。また、対物光学系32は、開口11を封止する光透過性のカバー部材32aを有する。
【0019】
イメージャー制御部33は、本体部20内に設けられており、挿入部10内を延びる配線34によりイメージャー31と接続されている。イメージャー制御部33は、イメージャー31の駆動および映像信号を取得する設定等の各種制御を行う。
【0020】
照明部40は、第一光源41と、照明光学系42と、第一光源41の光を照明光学系42に導く第一ファイバーバンドル43と、第一光源41と第一ファイバーバンドル43との間に配置される第一入射光学系44とを備える。
【0021】
第一光源41は、白色光を発する光源であり、本体部20の内部に配置されている。第一光源41としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源41として、ハロゲンランプが採用されている。第一光源41から発せられる光は、被検物を照明するための照明光となる。
【0022】
照明光学系42は、挿入部10の先端または先端付近に取り付けられている。照明光学系42は、挿入部10の照明窓12内に設けられた光透過性のカバー部材42aと、図示しないレンズ群とを有する。照明光学系42は、第一光源41から照射された光を対物光学系32の画角に適した視野範囲に広げて照明窓12から出射させ、観察視野をまんべんなく照明する。
【0023】
第一ファイバーバンドル43は、照明光学系42の近傍から挿入部10を通って本体部20内の第一光源41近傍まで延びている。第一ファイバーバンドル43の種類には特に制限はなく、一般的なライトガイドを使用可能である。
【0024】
第一入射光学系44は、第一光源41から発せられる光を第一ファイバーバンドル43の径と同程度まで収束させて効率よく第一ファイバーバンドル43内に導入する。
【0025】
パターン投影部50は、第二光源51と、投影光学系52と、第二光源51の光を投影光学系52に導く第二ファイバーバンドル53と、第二光源51と第二ファイバーバンドル53との間に配置される第二入射光学系54と、第二光源51から出射された光の光路上に配置されたパターン生成部55とを備える。
【0026】
第二光源51は、第一光源41とは異なる光を発する光源であり、本体部20の内部に配置されている。第二光源51としては、LED光源やレーザー光源などを採用することができる。本実施形態では、第二光源51としてLED光源が採用されている。第二光源51から発せられる光は、縞パターンを投影するための投影光となる。
【0027】
投影光学系52は、挿入部10の先端または先端付近に取り付けられている。投影光学系52は、挿入部10の投影窓13内に設けられた光透過性のカバー部材52aを有する。なお、投影窓13に設けられたカバー部材52aはレンズ形状であっても構わない。投影光学系52は、第二光源51から照射された光を、対物光学系32の画角に適した視野範囲に広げて1つの投影窓13から観察視野内に投影する。
【0028】
第二ファイバーバンドル53は、投影光学系52の近傍から挿入部10を通って本体部20内の第二光源51近傍まで延びている。第二ファイバーバンドル53としては、第一ファイバーバンドル43と同様に一般的なライトガイドを使用することができる。
【0029】
第二入射光学系54は、第二光源51から発せられた光を、第二ファイバーバンドル53の径と同程度まで収束させて効率よく第二ファイバーバンドル53内に導入する。
【0030】
パターン生成部55は、縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。
【0031】
このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるMEMS(マイクロ電子機器システム)ミラーモジュール等がパターン生成部55として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部55全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部50の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部55に接続されたパターン制御部56によって行われる。
【0032】
本体部20内には、上述のイメージャー制御部33と、照明部40から照明光を出射する動作およびパターン投影部50から投影光を出射する動作を制御する光源制御部21と、メイン制御部22とが設けられている。
【0033】
イメージャー制御部33には、イメージャー31の取得した映像信号を処理するビデオプロセッサー27と、イメージャー制御部33の動作を制御するメイン制御部22とが接続されている。ビデオプロセッサー27およびメイン制御部22は本体部20内に設けられている。
【0034】
ビデオプロセッサー27には、ビデオプロセッサー27によって処理された映像信号を画像として表示するモニター28が接続されている。
光源制御部21は、第一光源41および第二光源51、並びにメイン制御部21に接続されており、メイン制御部22による制御に基づいて第一光源41および第二光源51のオン/オフを制御する。
【0035】
メイン制御部22は、さらに、操作部23、RAM24、ROM26、補助記憶装置25、およびパターン制御部56に接続されている。
【0036】
操作部23は、使用者が内視鏡装置1に各種入力を行うためのスイッチなどを有する。また、操作部23として、モニター28の表示画面と重ねて設けられたタッチパネルが採用されてもよい。
【0037】
RAM24は、内視鏡装置1を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
ROM26は、たとえばファームウェア等が記録されており、内視鏡装置1の起動時にファームウェア等が読み出されるようになっている。
補助記憶装置25は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。
【0038】
次に、メイン制御部22の構成について詳述する。
メイン制御部22には、第一光源41からの照明光の出射が開始されてから照明光の光量が安定するまでの時間wa(図4参照)と、第二光源51からの投影光の出射が開始されてから投影光の光量が安定するまでの時間wb(図4参照)とが予め記憶されている。これらの時間は、光源の種類によって、あるいは実測値に基づいて定めることができる。本実施形態では、第一光源41がハロゲンランプであり第二光源51がLED光源であることにより、時間waが時間wbより長いという関係になっている。
【0039】
メイン制御部22は、上述の時間waおよび時間wbに基づいて、照明部40とパターン投影部50とのうち光量が安定するまでの時間が長い方を先に動作させ、照明部40とパターン投影部50とのうち光量が安定するまでの時間が短い方を後に動作させる。
メイン制御部22は、照明光が照射された状態の被検物の画像(以下、「明視野画像」と称する。)と、投影光による縞パターンが投影された状態の被検物の画像(以下、「パターン投影画像」と称する。)とを、イメージャー制御部33を制御することによって撮像部30に取得させる。本実施形態では、明視野画像が先に取得される第一の画像であり、パターン投影画像が後に取得される第二の画像である。
【0040】
また、メイン制御部22は、明視野画像とパターン投影画像とから少なくとも2枚の画像を選択し、選択された2枚の画像のずれ量に基づいて挿入部10と被検物とのブレを検出するブレ検出手段を備える。
ブレ検出手段には、2枚の画像において許容するずれ量の閾値が予め記憶されている。ブレ検出手段は、公知の手段により2枚の画像におけるずれ量を検出し、2枚の画像におけるずれ量が閾値を超えている場合には、挿入部10と被検物との間の相対移動(以下、「ブレ」と称する。)があったと判定する。
【0041】
さらに、メイン制御部22は、パターン投影画像を用いて被検物の三次元形状を計測する計測プログラムを動作させることができるようになっている。
【0042】
次に、本実施形態の画像取得方法について、内視鏡装置1の使用時の動作とともに説明する。
図3は、内視鏡装置1の使用時の動作を説明するためのフローチャートである。図4は、内視鏡装置1の使用時における光量と時間との関係を示すグラフである。
本実施形態の画像取得方法は、内視鏡装置を用いて、被検物に照明光を照射して被検物の画像を取得し、投影光を用いて縞パターンを被検物に投影して被検物の画像を取得する方法である。また、本実施形態の内視鏡装置1は、取得された画像を用いて被検物の三次元形状を計測することができる。
【0043】
内視鏡装置1の使用時には、まず、使用者は、挿入部10を被検物の内部や管路等の被検物へのアクセス経路等に挿入し、所定の観察部位まで挿入部10の先端を進める。使用者は、被検物の所望の部位を観察する観察モードと、当該部位の三次元形状を計測する計測モードとを必要に応じて切り替えることにより、被検物の検査等を行う。
【0044】
観察モードでは、メイン制御部22の指令を受けて光源制御部21が第一光源41をオン制御し、第二光源51をオフ制御する。その結果、パターン投影部50からは縞パターンが投影されずに照明部40から観察視野に白色光が照射され、観察視野が照明される(以下、この照明状態を「観察状態」と称する。)。照明された被検物の像は、対物光学系32を通してイメージャー31に結像される。イメージャー31から送られた映像信号は、ビデオプロセッサー27で処理されてモニター28に表示される。使用者は、モニター28に表示される被検物の画像により被検物を観察したり、必要に応じて画像を保存したりすることができる。
【0045】
観察モードから計測モードへ切り替える場合には、モードを切り替える指示を使用者が入力する。観察モードから計測モードへ切り替える入力が使用者によって行われると、メイン制御部22において、計測画像撮影処理(図3参照)が開始される。
【0046】
計測画像撮影処理では、まず、内視鏡装置1が観察状態となっているか否かを判定する(図3に示すステップS1)。
ステップS1において観察状態となっていると判定された場合にはステップS3へ進み、ステップS1において観察状態以外(例えば後述する計測状態)となっている場合にはステップS2へ進む。
これでステップS1は終了する。
【0047】
ステップS2は、内視鏡装置1を観察状態に切り替えるステップである。
ステップS2では、第一光源41をオン制御し、第二光源51をオフ制御する。これにより、パターン投影部50からは縞パターンが投影されずに照明部40から観察視野に白色光が照射され、観察視野が照明される。
図4に示すように、ステップS2において第一光源41が時間ta0においてオン制御されると、第一光源41の光量は増加し、時間ta1において第一光源41の光量が安定する。本実施形態では、第一光源41の光量が安定した時間ta1の後、明視野画像の取得をすることができる。
これでステップS2は終了し、ステップS3へ進む。
【0048】
ステップS3は、縞パターンが投影されず、照明部40からの照明光によって照明された被検物の画像を撮影するステップである。
ステップS3では、照明部40からの照明光によって被検物を照明している状態で撮像部30のイメージャー31によって画像(明視野画像)を取得する。
ステップS3において撮影された明視野画像は、RAM24に一時記憶される。
これでステップS3は終了し、ステップS4へ進む。
【0049】
ステップS4は、縞パターンを被検物に投影するステップである。
ステップS4では、メイン制御部22の指令に基づいて、第一光源41をオフ制御し、第二光源51をオン制御する。図4に示すように、ステップS4において第二光源51が時間tb0においてオン制御されると、第二光源51の光量は増加し、時間tb1において第二光源51の光量が安定する。本実施形態では、第二光源51の光量が安定した時間tb1の後、パターン投影画像の取得をすることができる。
被検物に投影される縞パターンは、図2に示すように、白色光源による明部R1と、縞パターン生成部55によって遮光された暗部R2とが交互に並べられたパターンとなる。これにより、適切な縞が1ヶ所から被検物に投影されている状態(以下、この状態を「パターン投影状態」と称する。)となる。
【0050】
なお本実施形態では、図4で示されている時間waと時間wbは、照明光または投影光の光量が一定となる安定状態に達するまでの時間として説明しているが、時間waと時間wbを、光量はまだ安定状態には達していないが、画像取得に必要な光量に達するまでの時間としてもよい。
【0051】
また、図6に示すように、メイン制御部22には、照明光を出射している第一光源41の停止または照明光の遮断を開始してから照明光の光量が画像取得に影響がない光量まで減少するまでの時間weと、投影光を出射している第二光源51の停止または投影光の遮断を開始してから投影光の光量が画像取得に影響がない光量まで減少するまでの時間wfとが予め記憶されていてもよい。この場合、メイン制御部22は、上述の時間weおよび時間wfに基づいて、照明部40とパターン投影部50とのうち光量が画像取得に影響がない光量まで減少するまでの時間が短い方を先に動作させ、照明部40とパターン投影部50とのうち光量が画像取得に影響がない光量まで減少するまでの時間が長い方を後に動作させる。
【0052】
さらにまた、図示しないが、照明光を出射している第一光源41の停止または照明光の遮断を開始してから前記照明光の光量が画像取得に影響がない光量まで減少するまでの時間と、第二光源51からの照明光の出射が開始されてから照明光の光量が画像取得に必要な光量に達するまでの時間との合計時間D3が、投影光を出射している第二光源51の停止または投影光の遮断を開始してから投影光の光量が画像取得に影響がない光量まで減少するまでの時間と、第一光源41からの照明光の出射が開始されてから照明光の光量が画像取得に必要な光量に達するまでの時間との合計時間D4よりも短い場合は、メイン制御部22は、照明部40を先に動作させ、パターン投影部50を後に動作させてもよい。
また、合計時間D4の方が合計時間D3の方が短い場合は、メイン制御部22は、パターン投影部50を先に動作させ、照明部40を後に動作させる。
【0053】
なお、本実施形態では、第一光源41が完全に消灯してから第二光源51を点灯させる例を図4や図6に示している。必要に応じて、第一光源41の停止あるいは遮断を開始したら、すぐに第二光源51の点灯を開始させて、第一光源41の光量が減少している期間と、第二光源51の光量が増大している期間をオーバーラップしてもかまわない。
このようにすることで、第一の画像の取得を開始する時間ta1から下記ステップS5において第二の画像の取得を終了するまでの時間を、さらに短くすることができる。
これでステップS4は終了し、ステップS5へ進む。
【0054】
ステップS5は、パターン投影状態でパターン投影画像を撮影するステップである。
ステップS5では、被検物に投影された縞パターンは、被検物の三次元形状に応じて変化したパターンとなっている。この状態で、撮像部30のイメージャー31によって1枚の画像を取得する(以下、パターン投影状態で撮影された画像を「パターン投影画像」と称する。)。
ステップS5において撮影されたパターン投影画像は、RAM24に一時記憶される。
これでステップS5は終了し、ステップS6へ進む。
【0055】
本実施形態では、ステップS3において明視野画像の取得を開始する時間ta1からステップS5においてパターン投影画像の取得を終了する時間tb2までの時間の長さD1は、第二光源51の点灯が開始されてから第二光源51の光量が安定するまでの時間wbを含んでいる。
上記時間wbは、第一光源41の点灯が開始されてから第一光源41の光量が安定するまでの時間waよりも短い。このため、本実施形態の場合には、第二光源51を第一光源41よりも後に点灯させることにより、2枚の画像(明視野画像およびパターン投影画像)を取得する間隔が、第一光源41を第二光源51よりも後に点灯させる場合よりも短くなっている。
このように、上記ステップS2ないしステップS5では、照明光の出射が開始されてから照明光の光量が安定するまでの時間waと、投影光の出射が開始されてから投影光の光量が安定するまでの時間wbとに基づいて、光量が安定するまでの時間が長い照明光を用いて被検物の明視野画像を取得し、明視野画像を取得した後に、光量が安定するまでの時間が短い投影光を用いて被検物のパターン投影画像を取得する。
【0056】
ステップS6は、ステップS2からステップS5までの間に撮影された画像(明視野画像とパターン投影画像)に基づいて、ステップS2からステップS5までの間における挿入部10と被検体とのブレを検出するステップである。
ステップS6では、まず、RAM24に記憶された明視野画像とパターン投影画像とのそれぞれから同一の特徴点を検出し、2枚の画像における特徴点の座標を算出する。
これでステップS6は終了し、ステップS7に進む。
【0057】
ステップS7は、ステップS6において検出された特徴点を用いて2つの画像のブレを判定して処理を分岐するステップである。
ステップS7では、2枚の画像における特徴点の座標がそれぞれの画像において同一の座標にあれば、最初の画像と後の画像とにブレは生じていないと判定し、ステップS8へ進む。逆に、2枚の画像における特徴点の座標がそれぞれの画像において異なる座標にあれば、最初の画像と後の画像とにブレが生じていると判定し、ブレが生じているので再度の撮影が必要であることを示すメッセージをモニター28に表示し(ステップS11)、一連の処理を終了する。
これでステップS7は終了する。
【0058】
ステップS8は、撮影したパターン投影画像を用いた三次元計測を今行うか後で行うかを使用者に選択させるステップである。
ステップS8では、例えば「計測を実施?」などの問い合わせをモニター28に表示し、撮影したパターン投影画像を用いた三次元計測の実施の可否の入力を使用者に促す。
計測の実施が可であるとの入力があった場合には、ステップS9へ進む。
計測の実施が否であるとの入力があった場合には、ステップS12へ進む。
これでステップS8は終了する。
【0059】
ステップS9は、三次元計測を行うための解析をするステップである。
ステップS9では、RAM24に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、1枚のパターン投影画像を用いて、例えば公知の空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
三次元形状の解析結果は、テキストファイルあるいはバイナリーファイルとして生成され、パターン投影画像とともに補助記憶装置25に保存される。なお、ステップS9は、ステップS8の開始と同時にステップS8のバックグラウンド処理として行われてもよい。
これでステップS9は終了し、ステップS10へ進む。
【0060】
ステップS10は、モニター28上の表示を各種計測モードの画面に移行させ、ステップS10で保存された情報を用いてモニター28上に計測結果を表示するステップである。
ステップS10では、ステップS3において取得した明視野画像上に、ステップS9において解析された結果をオーバーレイ表示する等、明視野画像に表示された被検物の三次元形状をモニター28に表示する。これにより、使用者は、被検物の三次元形状を知ることができる。
これでステップS10は終了し、一連の処理は終了する。
【0061】
ステップS12は、上記ステップS8から分岐したステップであり、計測結果の表示を後で行うために必要な情報処理を行うステップである。
ステップS12では、上記ステップS9と同様に、RAM24に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、1枚のパターン投影画像を用いて、例えば公知の空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
また、明視野画像、パターン投影画像、三次元形状の解析結果、および解析に用いた光学的パラメータを、それぞれバイナリーファイルあるいはテキストファイルとして補助記憶装置25に保存する。この場合、例えばファイル名の一部を共通としたり、1つのディレクトリ(フォルダ)にこれらのファイルをまとめて保存したりすることにより、後で一括して読み出すことができるように補助記憶装置25にこれらのファイルが保存される。
これでステップS12は終了し、一連の処理は終了する。
【0062】
以上説明したように、本実施形態の内視鏡装置1および画像取得方法によれば、第一光源41と第二光源51とにおいて光量が安定するまでの時間wa、時間wbに基づいて、光量が安定するまでの時間が長い第一光源41を用いた明視野画像の取得を先に行い、明視野画像が取得されたあと、パターン投影画像を取得するようになっている。このため、明視野画像とパターン投影画像とを取得する間隔を短縮することができる。これにより、取得された複数の画像間の位置ずれを抑えることができる。
【0063】
また、光量や色などの光学的特性を最適化する目的で光量が安定するまでの時間が異なる複数種類の光源を組み合わせて使用する場合であっても、取得された複数の画像間の位置ずれが最も少なくなる順序で画像が取得されることにより、パターン投影画像を用いて三次元形状を解析した結果と明視野画像上の映像とを精度良く対応させることができる。
【0064】
さらに、被検物の画像の取得を開始してから被検物の画像の取得を終了するまでの時間を短縮することもできる。
【0065】
(変形例)
次に、上述の実施形態で説明した内視鏡装置1および画像取得方法の変形例について説明する。
図5は、本変形例の内視鏡装置1Aの使用時における光量と時間との関係を示すグラフである。
本変形例の内視鏡装置1A(図1参照)は、第一光源41に代えて、シャッターモジュールを有する第一光源41Aが設けられている点と、メイン制御部22の動作とが上述の内視鏡装置1と異なっている。
第一光源41Aのシャッターモジュールは、光源制御部21によって開閉動作が制御されるシャッターである。
【0066】
本変形例では、第一光源41Aは、内視鏡装置1Aが起動している間は点灯しており、シャッターモジュールが開閉動作することにより、照明光のオンおよびオフ、並びに出射光量が光源制御部21からの制御に従って調整される。なお、第一光源41Aを制御する光源制御部21は、明視野画像を撮像する必要がないときに第一光源41Aを消灯させる省電力回路を有していてもよい。
【0067】
本変形例では、シャッターモジュールを有する第一光源41Aからの照明光の出射が開始されてから照明光の光量が安定するまでの時間wd(図5参照)は、第一光源41Aのシャッターが開動作されてからシャッターが全開となるまでの時間である。時間wdは、第二光源51からの投影光の出射が開始されてから投影光の光量が安定するまでの時間wc(本変形例では図4に示す時間wbと同じ長さ)よりも短い。
【0068】
上述の時間wcと時間wdとの関係に対応し、メイン制御部22は、照明部40とパターン投影部50とのうち光量が安定するまでの時間が長いパターン投影部50を先に動作させ、照明部40とパターン投影部50とのうち光量が安定するまでの時間が短い照明部40を後に動作させる。さらに、メイン制御部22は、撮像部30に対して、縞画像を先に取得させ、パターン投影画像が取得された後に明視野画像を取得させる。
【0069】
本変形例の内視鏡装置1Aおよび画像取得方法では、図5に示すように、パターン投影画像の取得を開始する時間tc1から明視野画像の取得を終了する時間td2までの時間の長さD2は、第一光源41Aのシャッターが開動作されてからシャッターが全開となるまでの時間wdを含んでいる。
上記時間wdは、第二光源51の点灯が開始されてから第二光源52の光量が安定するまでの時間wcよりも短い。このため、本変形例の場合には、第一光源41Aを第二光源51よりも後に点灯させることにより、2枚の画像(明視野画像およびパターン投影画像)を取得する間隔が、第二光源51を第一光源41Aよりも後に点灯させる場合よりも短くなっている。
【0070】
このように、本変形例の内視鏡装置1Aおよび画像取得方法でも、上述の実施形態で説明した内視鏡装置1および画像取得方法と同様の効果を奏する。
また、シャッターモジュールを有する第一光源41Aが採用されているので、第一光源41Aからの光の出射が開始されてから第一光源41Aの光量が安定する時間wdは、光源自体の光量が安定するまでの時間ではなく、シャッターが開閉する時間に依存する。このため、光量が安定するまでにかかる時間が長い光源を採用してもよく、光源の選択の自由度が高まる。
【0071】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、上述の実施形態では、第一光源と第二光源との組み合わせとしてそれぞれハロゲンランプとLED光源とによる例を示したが、第一光源がLED光源であって第二光源がハロゲンランプである組み合わせを採用することもできる。この場合、光量が安定するまでの時間が長いのは第二光源となるので、上述の変形例で示した順序と同様に、パターン投影画像を先に取得させ、明視野画像をその後に取得させるようにメイン制御部は構成される。
【0072】
また、光源にシャッターモジュールを設けても光量が安定するまでの時間の関係が逆転しない場合には、画像の取得順序を入れ替える必要はない。
【0073】
また、第二光源にシャッターモジュールを設けることもできる。さらに、第一光源と第二光源との両方にシャッターモジュールを設けることもできる。
【0074】
また、上述の実施形態および変形例では、挿入部の先端面の一箇所から縞パターンが投影される構成の内視鏡装置を例示したが、挿入部の先端面の複数個所から位相が異なる縞パターンが投影される構成の内視鏡装置であってもよい。この場合にも、上述の実施形態および変形例で説明したのと同様の効果を奏する。
また、挿入部の先端面に複数の照明窓が開口されていてもよい。
【0075】
また、上述の実施形態では、パターン投影画像を1枚だけ取得する例を示したが、互いに位相が異なる複数の縞パターンを被検物に投影し、互いに位相が異なる複数のパターン投影画像を取得して時間的位相シフト法などによって三次元形状の解析を行ってもよい。
【0076】
また、上述の実施形態において、パターン投影画像を取得したあとに、再度明視野画像を取得してもよい。この場合、パターン投影画像を取得する前後に取得した明視野画像を用いてブレを検出することができる。
【0077】
また、パターン投影画像および明視野画像をそれぞれ複数枚取得し、三次元形状の解析およびブレの検出をするために最適な画像を適宜選択できるようにしてもよい。
【0078】
また、明視野画像を取得するために必要な光量とパターン投影画像を取得するために必要な光量とが互いに異なっている場合もある。この場合、第一光源から出射される光量と第二光源から出射される光量は互いに異なっていてもよい。
【0079】
また、上述の実施形態及び変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【符号の説明】
【0080】
1、1A 内視鏡装置
10 挿入部
11 開口
12 照明窓
13 投影窓
20 操作部
21 光源制御部
22 メイン制御部
30 撮像部
32 対物光学系
33 イメージャー制御部
40 照明部
41 第一光源
50 パターン投影部
51 第二光源

【特許請求の範囲】
【請求項1】
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、
を備え、
前記制御部は、
前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間と、前記第二光源からの前記投影光の出射が開始されてから前記投影光の光量が前記画像の取得に必要な光量に達するまでの時間とに基づいて、
前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が長い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、
前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が短い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置。
【請求項2】
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、
を備え、
前記制御部は、
前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間とに基づいて、
前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が短い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、
前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が長い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置。
【請求項3】
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、
を備え、
前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、
前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも短い場合は、
前記照明部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記パターン投影部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、
また、
前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、
前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも長い場合は、
前記パターン投影部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記照明部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置。
【請求項4】
請求項1〜請求項3の何れか1項に記載の内視鏡装置であって、
前記第一光源と前記第二光源との少なくともいずれかに、光の出射状態を切り替えるシャッターが設けられていることを特徴とする内視鏡装置。
【請求項5】
請求項1〜請求項4の何れか1項に記載の内視鏡装置であって、
前記制御部は、前記照明光が照射された状態で取得された前記被検物の画像と前記投影光が照射された状態で取得された前記被検物の画像とから少なくとも2枚の画像を選択して前記2枚の画像のずれ量に基づいて前記挿入部と前記被検物とのブレを検出するブレ検出手段を備えることを特徴とする内視鏡装置。
【請求項6】
内視鏡装置を用いて、被検物に照明光を照射して前記被検物の画像を取得し、投影光を用いて縞パターンを被検物に投影して前記被検物の画像を取得する画像取得方法であって、
前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間と、前記投影光の出射が開始されてから前記投影光の光量が前記画像の取得に必要な光量に達するまでの時間とに基づいて、
前記照明光と前記投影光とのうち光量が安定するまでの時間が長い方を用いて前記被検物の第一の画像を取得し、
前記第一の画像を取得した後に、前記照明光と前記投影光とのうち光量が前記画像の取得に必要な光量に達するまでの時間が短い方を用いて前記被検物の第二の画像を取得する
ことを特徴とする画像取得方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−239829(P2012−239829A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−116091(P2011−116091)
【出願日】平成23年5月24日(2011.5.24)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】