説明

計測方法

【課題】内視鏡装置を用いて三次元形状の計測を短時間で行う計測方法を提供すること。
【解決手段】被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、所定の縞パターンを内視鏡装置の1箇所から被検物に投影し、被検物において縞パターンが投影された部分を撮像して1枚のパターン投影画像を取得し、空間的位相シフト法またはフーリエ変換法を用いて縞パターンが投影された部分の三次元形状を1枚のパターン投影画像から計測することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元形状の計測方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する方法に関する。
【背景技術】
【0002】
従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡装置が使用されている。このような内視鏡装置の中には、被検物に対して縞を投影した縞画像を、当該縞の位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。例えば、特許文献1には、縞を投影するための2つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2009/0225321号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の内視鏡装置では、縞の位相をずらしつつ複数の縞画像を取得し、複数の縞画像を解析することによって計測を行うので、計測に要する時間が長いという問題があった。
【0005】
本発明は、上述した事情に鑑みてなされたものであって、その目的は、内視鏡装置を用いて三次元形状の計測を短時間で行う計測方法を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の計測方法は、被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、所定の縞パターンを前記内視鏡装置の1箇所から前記被検物に投影し、前記被検物において前記縞パターンが投影された部分を撮像して1枚の縞画像を取得し、空間的位相シフト法またはフーリエ変換法を用いて前記縞パターンが投影された部分の三次元形状を前記1枚の縞画像から計測することを特徴とする計測方法である。
【0007】
また、前記1枚の縞画像を取得する前と後との少なくともいずれかに、前記縞パターンが投影される部分の明視野画像を少なくとも1枚取得し、前記1枚の縞画像および前記明視野画像から少なくとも2枚の画像を選択し、前記2枚の画像において所定量以上の位置ずれがある場合に前記内視鏡装置の位置がずれたことを検出することが好ましい。
【0008】
また、前記1枚の縞画像を取得する前および後に前記明視野画像を少なくとも1枚ずつ取得することが好ましい。
【0009】
また、前記内視鏡装置の位置がずれたことを検出するために選択される少なくとも2枚の画像は、前記明視野画像から選択されることが好ましい。
【発明の効果】
【0010】
本発明の三次元形状の計測方法によれば、内視鏡装置を用いて撮影された1枚の縞画像を解析することによって三次元形状を計測することができるので、内視鏡装置を用いて三次元形状の計測を短時間で行うことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態の内視鏡装置の構成を示すブロック図である。
【図2】同内視鏡装置によって投影される縞パターンを示す模式図である。
【図3】本発明の一実施形態の計測方法を示すフローチャートである。
【図4】本発明の一実施形態の変形例の内視鏡装置によって投影される明暗パターンを示す模式図である。
【発明を実施するための形態】
【0012】
(第1実施形態)
以下、本発明の一実施形態の計測方法について説明する。
本実施形態の計測方法は、内視鏡装置を用いて被検物の三次元形状を計測する方法である。
まず、本実施形態の計測方法が適用された内視鏡装置1の構成について説明する。図1は、本実施形態の内視鏡装置1の構成を示すブロック図である。図2は、内視鏡装置1によって投影される明暗パターンを示す模式図である。
内視鏡装置1は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部10と、挿入部10の基端が接続された本体部20とを備える。
【0013】
図1に示すように、挿入部10は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部10には、被検物の画像を取得する撮像部30と、挿入部10前方の観察視野を照明する照明部40と、被検物に縞を投影するパターン投影部50とが設けられている。本実施形態では、パターン投影部50は明暗パターンとして、縞パターンを披検物に投影するものとする。
また、挿入部10の先端面10aには、撮像部30の対物光学系32に外光を入射させるための開口11と、照明部40からの照明光を挿入部の前方に照射するための照明窓12と、パターン投影部50からの縞を挿入部の前方に照射するための投影窓13とが設けられている。
【0014】
撮像部30は、挿入部10の先端付近に配置されたイメージャー31と、イメージャー31の前方に配置された対物光学系32と、イメージャー31と接続されたイメージャー制御部33とを備える。
【0015】
イメージャー31としては、CCD、CMOS等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。
【0016】
対物光学系32は、挿入部10の開口11内に配置されている。所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー31に入射させ、被検物の像を結像させる。また、対物光学系32は、開口11を封止する光透過性のカバー部材32aを有する。
【0017】
イメージャー制御部33は、本体部20内に設けられており、挿入部10内を延びる配線34によりイメージャー31と接続されている。イメージャー制御部33は、イメージャー31の駆動および映像信号を取得する設定等の各種制御を行う。
【0018】
照明部40は、第一光源41と、照明光学系42と、第一光源41の光を照明光学系42に導く第一ファイバーバンドル43と、第一光源41と第一ファイバーバンドル43との間に配置される第一入射光学系44とを備える。
【0019】
第一光源41は、一般的な白色光源であり、本体部20の内部に配置されている。第一光源41としては、LEDやレーザーなどの発光素子や、ハロゲンランプ等を採用することができる。
【0020】
照明光学系42は、挿入部10の先端または先端付近に取り付けられている。照明光学系42は、挿入部10の照明窓12内に設けられた光透過性のカバー部材42aと、図示しないレンズ群とを有する。照明光学系42は、第一光源41から照射された光を対物光学系32の画角に適した視野範囲に広げて照明窓12から出射させ、観察視野をまんべんなく照明する。
【0021】
第一ファイバーバンドル43は、照明光学系42の近傍から挿入部10を通って本体部20内の第一光源41近傍まで延びている。第一ファイバーバンドル43の種類には特に制限はなく、一般的なライトガイドを使用可能である。
【0022】
第一入射光学系44は、第一光源41から発せられる光を第一ファイバーバンドル43の径と同程度まで収束させて効率よく第一ファイバーバンドル43内に導入する。
【0023】
パターン投影部50は、第二光源51(投影用光源)と、投影光学系52と、第二光源51の光を投影光学系52に導く第二ファイバーバンドル53と、第二光源51と第二ファイバーバンドル53との間に配置される第二入射光学系54と、第二光源51から出射された光の光路上に配置されたパターン生成部55とを備える。
【0024】
第二光源51は、第一光源41と同様の白色光源であり、本体部20の内部に配置されている。なお、第二光源51は、第一光源41と波長が異なる光を発する光源であってもよい。
【0025】
投影光学系52は、挿入部10の先端または先端付近に取り付けられている。投影光学系52は、挿入部10の投影窓13内に設けられた光透過性のカバー部材52aを有する。なお、投影窓13に設けられたカバー部材52aはレンズ形状であっても構わない。投影光学系52は、第二光源51から照射された光を、対物光学系32の画角に適した視野範囲に広げて1つの投影窓13から観察視野内に投影する。
【0026】
第二ファイバーバンドル53は、投影光学系52の近傍から挿入部10を通って本体部20内の第二光源51近傍まで延びている。第二ファイバーバンドル53としては、第一ファイバーバンドル43と同様に一般的なライトガイドを使用することができる。
【0027】
第二入射光学系54は、第二光源51から発せられた光を、第二ファイバーバンドル53の径と同程度まで収束させて効率よく第二ファイバーバンドル53内に導入する。
【0028】
パターン生成部55は、所定の位相の縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。
【0029】
このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるMEMS(マイクロ電子機器システム)ミラーモジュール等がパターン生成部55として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部55全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部50の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部55に接続されたパターン制御部56によって行われる。また、明暗パターンの形状としては、縞パターンに限らず、図2に示すようなライン状の複数の平行する線でもよいし、その他の例としては、例えば、図9に示すような1本の線(後述)でもよいし、複数の点や、複数の縦線と横線が交差した格子状のパターン、あるいは同心円状のパターンなどであってもよい。
【0030】
本体部20内に設けられた他の機構について説明する。第一光源41および第二光源51は、これらの光源のオン/オフを制御する光源制御部21に接続されている。イメージャー制御部33、パターン制御部56、および光源制御部21は、内視鏡装置1全体の制御を行うメイン制御部22に接続されている。メイン制御部22には、使用者が内視鏡装置1に各種入力を行うための操作部23が接続されている。また、メイン制御部22は、主記憶装置(RAM24)と接続されている。また、本実施形態では、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などの補助記憶装置25がメイン制御部22に電気的に接続されている。
なお、必要に応じて、ファームウェア等を記録したROM26(あるいはEPROMやEEPROMなど)がメイン制御部22に接続されていてもよい。
【0031】
さらに、イメージャー31の取得した映像信号を処理するビデオプロセッサー27が、イメージャー制御部33およびメイン制御部22に接続されており、ビデオプロセッサー27によって処理された映像信号を画像として表示するモニター28がビデオプロセッサー27に接続されている。
【0032】
次に、本実施形態の計測方法について、上述の内視鏡装置1を用いて計測する例で説明する。
内視鏡装置1の使用時には、まず、使用者は、挿入部10を被検物の内部や管路等の被検物へのアクセス経路等に挿入し、所定の観察部位まで挿入部10の先端を進める。使用者は、被検物の所望の部位を観察する観察モードと、当該部位の三次元形状を計測する計測モードとを必要に応じて切り替えることにより、被検物の検査等を行う。
【0033】
観察モードでは、メイン制御部22の指令を受けて光源制御部21が第一光源41をオン制御し、第二光源51をオフ制御する。その結果、パターン投影部50からは縞パターンが投影されずに照明部40から観察視野に白色光が照射され、観察視野が照明される(以下、この照明状態を「観察状態」と称する。)。照明された被検物の像は、対物光学系32を通してイメージャー31に結像される。イメージャー31から送られた映像信号は、ビデオプロセッサー27で処理されてモニター28に表示される。使用者は、モニター28に表示される被検物の画像により被検物を観察したり、必要に応じて画像を保存したりすることができる。
【0034】
観察モードから計測モードへ切り替える場合には、モードを切り替える指示を使用者が入力する。モードを切り替えるための指示を入力するためには、操作部23にスイッチを設けたり、モニター28をタッチパネルとしてソフトウェアスイッチを構成するなどの公知の入力装置を採用することができる。
観察モードから計測モードへ切り替える入力が使用者によって行われると、メイン制御部22において、計測画像撮影処理(図3参照)が開始される。
【0035】
計測画像撮影処理では、まず、内視鏡装置1が観察状態となっているか否かを判定する(図3に示すステップS1)。
ステップS1において観察状態となっていると判定された場合にはステップS3へ進み、ステップS1において観察状態以外(例えば後述する計測状態)となっている場合にはステップS2へ進む。
これでステップS1は終了する。
【0036】
ステップS2は、内視鏡装置1を観察状態に切り替えるステップである。
ステップS2では、第一光源41をオン制御し、第二光源51をオフ制御する。これにより、パターン投影部50からは縞パターンが投影されずに照明部40から観察視野に白色光が照射され、観察視野が照明される。
これでステップS2は終了し、ステップS3へ進む。
【0037】
ステップS3は、縞パターンが投影されず、照明部40からの白色光によって照明された被検物の画像を撮影するステップである。
ステップS3では、照明部40からの白色光によって被検物を照明している状態で撮像部30のイメージャー31によって画像を取得する(以下、観察状態で撮影された画像を「明視野画像」と称する。)。
ステップS3において撮影された明視野画像は、RAM24に一時記憶される。
これでステップS3は終了し、ステップS4へ進む。
【0038】
ステップS4は、所定の縞パターンを内視鏡装置1の1箇所から被検物に投影するステップである。
ステップS5では、メイン制御部22の指令に基づいて、第一光源41をオフ制御し、第二光源51をオン制御する。すると、照明部40から照射されていた白色光は消灯し、パターン投影部50から縞パターンが被検物へ投影される。被検物に投影される縞パターンは、図2に示すように、白色光源による明部R1と、パターン生成部55によって遮光された暗部R2とが交互に並べられたパターンとなる。(以下、この状態を「パターン投影状態」と称する。)となる。
これでステップS4は終了し、ステップS5へ進む。
【0039】
ステップS5は、パターン投影状態でパターン投影画像を撮影するステップである。
ステップS5では、被検物に投影された縞パターンは、被検物の三次元形状に応じて変化したパターンとなっている。この状態で、撮像部30のイメージャー31によって1枚の画像を取得する(以下、パターン投影状態で撮影された画像を「パターン投影画像」と称する。)。
ステップS5において撮影されたパターン投影画像は、RAM24に一時記憶される。
これでステップS5は終了し、ステップS6へ進む。
【0040】
ステップS6は、内視鏡装置1を観察状態に切り替えるステップである。
ステップS6では、第一光源41をオン制御し、第二光源51をオフ制御する。これにより、パターン投影部50からは縞パターンが投影されずに照明部40から観察視野に白色光が照射され、観察視野が照明される。
これでステップS6は終了し、ステップS7へ進む。
【0041】
ステップS7は、縞パターンが投影されず、照明部40からの白色光によって照明された被検物の画像を撮影するステップである。
ステップS7では、照明部40からの白色光によって被検物を照明している状態で撮像部30のイメージャー31によって明視野画像を撮影する。
ステップS7において撮影された明視野画像は、RAM24に一時記憶される。
これでステップS7は終了し、ステップS8へ進む。
【0042】
ステップS8は、ステップS3からステップS7までの間に撮影された画像(明視野画像とパターン投影画像)に基づいて、ステップS3からステップS7までの間における挿入部10と被検物との相対移動(以下「ブレ」と称する。)を検出するステップである。
ステップS8では、まず、RAM24に記憶された明視野画像とパターン投影画像との少なくともいずれかから、2枚の画像を選択する。たとえば、本実施形態では、1枚のパターン投影画像を撮影する前に撮影された明視野画像と、1枚のパターン投影画像を撮影した後に撮影された明視野画像とを選択する。
続いて、選択された2枚の画像から同一の特徴点を検出し、2枚の画像における特徴点の座標を算出する。
これでステップS8は終了し、ステップS9に進む。
【0043】
ステップS9は、ステップS8において検出された特徴点を用いて2つの画像のブレを判定して処理を分岐するステップである。
ステップS9では、2枚の画像における特徴点の座標がそれぞれの画像において同一の座標にあれば、最初の画像と後の画像とにブレは生じていないと判定し、ステップS10へ進む。逆に、2枚の画像における特徴点の座標がそれぞれの画像において異なる座標にあれば、最初の画像と後の画像とにブレが生じていると判定し、ブレが生じているので再度の撮影が必要であることを示すメッセージをモニター28に表示し(ステップS13)、一連の処理を終了する。
これでステップS9は終了する。
【0044】
ステップS10は、撮影したパターン投影画像を用いた三次元計測を今行うか後で行うかを使用者に選択させるステップである。
ステップS10では、例えば「計測を実施?」などの問い合わせをモニター28に表示し、撮影したパターン投影画像を用いた三次元計測の実施の可否の入力を使用者に促す。
計測の実施が可であるとの入力があった場合には、ステップS11へ進む。
計測の実施が否であるとの入力があった場合には、ステップS14へ進む。
これでステップS10は終了する。
【0045】
ステップS11は、三次元計測を行うための解析をするステップである。
ステップS11では、RAM24に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、1枚のパターン投影画像を用いて、例えば公知の空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
三次元形状の解析結果は、テキストファイルあるいはバイナリーファイルとして生成され、パターン投影画像とともに補助記憶装置25に保存される。なお、ステップS11は、ステップS10の開始と同時にステップS10のバックグラウンド処理として行われてもよい。
これでステップS11は終了し、ステップS12へ進む。
【0046】
ステップS12は、モニター28上の表示を各種計測モードの画面に移行させ、ステップS11で保存された情報を用いてモニター28上に計測結果を表示するステップである。
ステップS12では、ステップS3において取得した明視野画像(あるいはステップS7において取得した明視野画像)上に、ステップS11において解析された結果をオーバーレイ表示する等、明視野画像に表示された被検物の三次元形状をモニター28に表示する。これにより、使用者は、被検物の三次元形状を知ることができる。
これでステップS12は終了し、一連の処理は終了する。
【0047】
ステップS14は、上記ステップS10から分岐したステップであり、計測結果の表示を後で行うために必要な情報処理を行うステップである。
ステップS14では、上記ステップS11と同様に、RAM24に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、1枚のパターン投影画像を用いて、空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
また、明視野画像、パターン投影画像、三次元形状の解析結果、および解析に用いた光学的パラメータを、それぞれバイナリーファイルあるいはテキストファイルとして補助記憶装置25に保存する。この場合、例えばファイル名の一部を共通としたり、1つのディレクトリ(フォルダ)にこれらのファイルをまとめて保存したりすることにより、後で一括して読み出すことができるように補助記憶装置25にこれらのファイルが保存される。
これでステップS14は終了し、一連の処理は終了する。
【0048】
以上説明したように、本実施形態の計測方法によれば、所定の縞パターンが被検物に投影された状態で撮影された1枚のパターン投影画像に基づいて被検物の三次元形状の計測を行うことができるので、内視鏡装置1を用いて三次元形状の計測を短時間で行うことができる。
【0049】
また、本実施形態の計測方法によれば、挿入部10が細径化された内視鏡装置1であって縞パターンが1つの投影窓13から投影される環境であっても精度良く三次元形状を計測することができる。
【0050】
また、1枚のパターン投影画像の他に明視野画像も撮影し、パターン投影画像および明視野画像から選択された2枚の画像を用いてブレを検出することができるので、三次元形状の計測精度を高めることができる。
【0051】
また、1枚のパターン投影画像を撮影する前後に明視野画像を1枚ずつ撮影してブレ検出に用いるので、ブレの有無を精度良く判定することができる。
【0052】
また、本実施形態の計測方法では、パターン投影画像を撮影する前後の明視野画像を用いてブレを検出し、ブレがないと判定された場合に三次元形状の解析を行うので、複数のパターン投影画像上の縞パターンがずれたまま解析が行われることがない。このため、三次元形状の解析精度を高めることができる。さらに、パターン投影画像を用いた計測結果を明視野画像上にオーバーレイ表示させるときの位置ずれを抑えることもできる。
【0053】
(変形例)
次に、上述の実施形態で説明した内視鏡装置1および計測方法の変形例について説明する。
本変形例では、パターン生成部55A(図1参照)を備えており、パターン投影部50は、図4に示すような明または暗のライン状の1本のパターンを被検物に対して投影することができるようになっている。図4には、明部R1内に1本のすじ状の暗部R2が投影された場合が示されている。なお、暗部R2内に1本のすじ状の明部R1が投影されるようになっていてもよい。
パターン投影部50から投影されるこの1本のパターン自体は、投影場所や方向が移動したり、形状が変形したりしない。
【0054】
本変形例では、被検物の三次元形状の計測方法も異なっている。以下、上述の実施形態と処理内容が異なる点を中心に本変形例の計測方法を説明する。
【0055】
本変形例では、ステップS11およびステップS14において、1枚のパターン投影画像を用いて、光切断法によって三次元形状の解析を行う。本変形例では、1枚のパターン投影画像を用いて、1本のパターン上において三次元形状の解析を行うので、上述の実施形態において1枚のパターン投影画像の全面に対して解析する場合と比較して、三次元形状が測定できる部分は限定されるものの、解析時間を大幅に短縮することができる。
【0056】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、上述の実施形態では、1枚のパターン投影画像を撮影する例を用いて説明したが、複数枚のパターン投影画像を撮影し、画像の状態が良好な1枚のパターン投影画像を選択することによって、実質的に1枚のパターン投影画像を取得して解析に使用するようにしても構わない。
【0057】
また、上述の実施形態では、ブレを検出するために用いる画像として2枚の明視野画像を選択する例を示したが、ブレを検出するために用いる画像としてパターン投影画像を用いても構わない。また、明視野画像を2枚より多く撮影することもでき、2枚より多くの明視野画像がある場合には必要に応じてこれらの明視野画像から必要枚数の画像を選択してブレを検出することができる。
【0058】
また、上述の実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【符号の説明】
【0059】
1 内視鏡装置
10 挿入部
10a 先端面
11 開口
12 照明窓
13 投影窓
20 操作部
30 撮像部
32 対物光学系
40 照明部
50 パターン投影部

【特許請求の範囲】
【請求項1】
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う計測方法であって、
所定の前記明暗パターンを前記内視鏡装置の1箇所から前記被検物に投影し、
前記被検物において前記明暗パターンが投影された部分を撮像して1枚のパターン投影画像を取得し、
空間的位相シフト法またはフーリエ変換法を用いて前記明暗パターンが投影された部分の三次元形状を前記1枚のパターン投影画像から計測する
ことを特徴とする計測方法。
【請求項2】
請求項1に記載の計測方法であって、
前記1枚のパターン投影画像を取得する前と後との少なくともいずれかに、前記明暗パターンが投影される部分の明視野画像を少なくとも1枚取得し、
前記1枚のパターン投影画像および前記明視野画像から少なくとも2枚の画像を選択し、
前記2枚の画像において所定量以上の位置ずれがある場合に前記内視鏡装置の位置がずれたことを検出する
ことを特徴とする計測方法。
【請求項3】
請求項2に記載の計測方法であって
前記1枚のパターン投影画像を取得する前および後に前記明視野画像を少なくとも1枚ずつ取得することを特徴とする計測方法。
【請求項4】
請求項3に記載の計測方法であって、
前記内視鏡装置の位置がずれたことを検出するために選択される少なくとも2枚の画像は、前記明視野画像から選択されることを特徴とする計測方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2012−228460(P2012−228460A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2011−99890(P2011−99890)
【出願日】平成23年4月27日(2011.4.27)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】