説明

撮像装置

【課題】 システム構成を複雑化させることなく、撮影中の視野を全焦点画像上の適切な位置に表示させることができる撮像装置を提供する。
【解決手段】 カメラの焦点位置を変更する焦点位置変更手段と、焦点位置を変更して取得された2以上の静止画像を合成する全焦点画像生成手段と、全焦点画像、又は静止画像に基づいて抽出される画像を基準画像として当該基準画像とフレーム画像とから特徴量を抽出する特徴量抽出手段と、特徴量の比較によって、基準画像とフレーム画像間の相対位置を判定するライブ位置合わせ手段と、外部からの取込み指示を受け付けた際に、焦点位置の異なる2以上の静止画像を取得する静止画像取得手段と、取得した静止画像を合成することにより全焦点画像生成手段が生成した新たな全焦点画像と、過去に取得した全焦点画像とを連結してモザイク画像を生成するモザイク画像生成手段とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。
【背景技術】
【0002】
視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い1枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影する拡大観察装置などの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。
【0003】
例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。
【0004】
一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。
【0005】
また、カメラの焦点位置を変化させながら複数の静止画像を撮影し、これらの静止画像を合成することによって、全焦点画像や表面形状データを作成する技術が知られている。全焦点画像は、カメラの実視野よりも被写界深度が深く、視野全体にピントの合った合成画像であり、焦点の位置の異なる複数の静止画像間で画素値を比較し、ピントの合った焦点位置の画素値を抽出することによって作成される。一方、表面形状データは、検査対象物表面の凹凸や段差を示す高低差情報であり、静止画像間の画素値の比較によりピントの合った焦点位置を判定することによって作成される。
【0006】
一般に、全焦点画像及び表面形状データでは、ピントの合う範囲、すなわち、被写界深度よりも大きな凹凸や段差を識別することができ、従って、ピントの合う範囲が狭いほど高品質な画像データが得られるが、カメラの実視野は狭くなってしまう。そこで、この様にして作成される複数の全焦点画像を張り合わせれば、モザイク画像として広視野の全焦点画像を得ることができる。ところが、撮影中の視野を動画像としてこの様なモザイク画像上の適切な位置に表示させるために、画像間のパターンマッチングによってフレーム画像の位置合わせを行おうとすると、オーバーラップ部分のピンボケによって位置合わせができない場合があるという問題があった。オーバーラップ部分のピンボケを解消する方法として、カメラの焦点位置を所定の範囲内で変化させてピントの合った焦点位置を探索する機能、いわゆるオートフォーカス機能を利用する方法が考えられる。しかし、この方法では、フレーム画像の位置合わせ時に、カメラを制御して焦点位置を変化させ、焦点位置を変更するごとにパターンマッチングを行って位置合わせ可能な焦点位置を探索しなければならないので、位置合わせに要する時間が長くなってしまうという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記事情に鑑みてなされたものであり、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置を提供することを目的とする。特に、システム構成を複雑化させることなく、撮影中の視野を全焦点画像からなるモザイク画像上の適切な位置に表示させることができる撮像装置を提供することを目的とする。また、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制でき、位置合わせの精度を向上させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明による撮像装置は、 検査対象物を載せたまま異なる2方向に移動可能な可動ステージと、上記可動ステージと対向配置され、上記可動ステージに載置された検査対象物を撮影して、連続する複数のフレーム画像を生成するカメラと、上記カメラの焦点位置を変更する焦点位置変更手段と、上記焦点位置変更手段により焦点位置を変更して取得された2以上の静止画像を合成して、上記カメラの実視野と比べて被写界深度の深い全焦点画像を生成する全焦点画像生成手段と、上記全焦点画像、又は上記静止画像に基づいて抽出される画像を基準画像として当該基準画像と上記フレーム画像とから特徴量を抽出する特徴量抽出手段と、上記特徴量の比較によって、上記基準画像と上記フレーム画像間の相対位置を判定するライブ位置合わせ手段と、上記ライブ位置合わせ手段による相対位置の判定に成功し、外部からの取込み指示を受け付けた際に、上記焦点位置変更手段により上記カメラの焦点位置を変更しながら、焦点位置の異なる2以上の静止画像を取得する静止画像取得手段と、取得した上記2以上の静止画像を合成することにより上記全焦点画像生成手段が生成した新たな全焦点画像と、過去に取得した上記全焦点画像とを連結してモザイク画像を生成するモザイク画像生成手段とを備える。
【0009】
本発明による他の撮像装置は、上記構成に加え、上記ライブ位置合わせ手段による上記基準画像と上記フレーム画像間の相対位置の判定に失敗した場合にエラーを報知するエラー報知手段を備えるように構成される。
【0010】
本発明による他の撮像装置は、上記構成に加え、上記全焦点画像の各画素における合焦位置に基づいて、上記検査対象物の高さ形状データを生成する高さ形状データ生成手段と、上記高さ形状データを連結して、上記カメラの実視野よりも広い範囲のモザイク形状データを生成するモザイク形状データ生成手段を備えるように構成される。
【0011】
本発明による他の撮像装置は、上記構成に加え、上記モザイク画像を記憶する保存用モザイク画像記憶手段と、上記保存用モザイク画像記憶手段に記憶されたモザイク画像が更新されるごとに、更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を所定の縮小率で縮小して表示用モザイク画像を生成する表示用縮小手段と、上記表示用縮小手段により生成された表示用モザイク画像を記憶する表示用モザイク画像記憶手段と、
上記表示用モザイク画像記憶手段から上記表示用モザイク画像を読み出して表示する画像表示手段とを備えるように構成される。
【0012】
本発明による他の撮像装置は、上記構成に加え、上記モザイク画像生成手段は、上記保存用モザイク画像記憶手段に記憶された保存用モザイク画像と、上記全焦点画像生成手段によって生成された全焦点画像との間の相対位置を判定する保存用位置合わせ部と、上記保存用位置合わせ手段による判定結果に基づいて、上記保存用モザイク画像と上記全焦点画像を連結して、新たな保存用モザイク画像を生成して、上記保存用モザイク画像記憶手段内の保存用モザイク画像を更新する画像連結部とからなるように構成される。
【0013】
本発明による他の撮像装置は、上記構成に加え、上記ライブ位置合わせ手段による上記基準画像と上記フレーム画像間の相対位置判定は、上記保存用位置合わせ部による保存用モザイク画像と全焦点画像との間の相対位置判定よりも、低精度のマッチング処理を実行するように構成される。
【0014】
本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記全焦点画像を上記基準画像として特徴量を抽出するように構成される。
【0015】
本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段は、上記保存用モザイク画像に最後に張り合わされた全焦点画像に対応する画像領域に基づいて生成された基準画像と、上記フレーム画像とから特徴量を抽出するように構成される。
【0016】
本発明による他の撮像装置は、上記構成に加え、上記モザイク画像及び上記モザイク形状データに基づいて、合焦部分の面積が最大となる焦点位置の画像として上記基準画像を生成する基準画像生成手段を備えて構成される。この様な構成によれば、ピントの合った画像領域の面積が最大となる焦点位置の画像を基準画像として用いてフレーム画像の位置合わせを行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。
【0017】
本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、上記重複領域内の特徴量の比較では相対位置が判定できなかった場合に、上記フレーム画像全体の特徴量と上記基準画像全体の特徴量とを比較することによって上記相対位置を判定し、上記基準画像生成手段が、フレーム画像全体の特徴量と基準画像全体の特徴量との比較によっても相対位置が判定できなかった場合に、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像として新たな基準画像を生成するように構成される。この様な構成によれば、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像を新たな基準画像として用いてフレーム画像の位置合わせを行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。
【発明の効果】
【0018】
本発明による撮像装置によれば、撮影中の視野が動画像として全焦点画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、フレーム画像及び基準画像から抽出した特徴量の比較によってフレーム画像及び基準画像間の相対的位置関係を判断するので、システム構成を複雑化させることなく、撮影中の視野を全焦点画像上の適切な位置に表示させることができる。また、全焦点画像の少なくとも一部の合焦位置を高さ形状データから求め、フレーム画像の焦点位置が合焦位置と略一致するように焦点位置変更手段を制御してフレーム画像を取得するので、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制することができる。従って、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制でき、位置合わせの精度を向上させることができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施の形態1による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置1が示されている。
【図2】図1の拡大観察装置1の要部における構成例を示したブロック図であり、システム本体部100内の機能構成の一例が示されている。
【図3】図2のシステム本体部100におけるライブ位置合わせ部128の構成例を示したブロック図であり、マッチング処理部128c内の機能構成が示されている。
【図4】図1の拡大観察装置1におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像A1及び表示用のモザイク画像A3が示されている。
【図5】図1の拡大観察装置1におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面111が示されている。
【図6】図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、全特徴点B3の比較によって特徴点間の正対応が抽出される様子が示されている。
【図7】図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、重複領域B5,B6内の特徴点B3が比較される様子が示されている。
【図8】図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示したフローチャートである。
【図9】図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【0020】
<拡大観察装置>
図1は、本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部100、カメラ部200及びコンソール300からなる拡大観察装置1が示されている。この拡大観察装置1は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部100のディスプレイ110上に表示することができるデジタルマイクロスコープである。
【0021】
カメラ部200は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ210、可動ホルダー220及び可動ステージ230によって構成される。カメラ210は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、着脱式のレンズユニット、円筒形状の筐体内に配置されたCCDイメージセンサー、照明装置、カメラ210の焦点位置を変更する手段としてのフォーカス機構などにより構成されている。
【0022】
可動ホルダー220は、対物レンズの中心軸に平行な方向に移動可能にカメラ210を保持する保持手段である。ここでは、カメラ210の対物レンズの中心軸に平行な方向をz軸方向と呼ぶことにし、位置調整つまみ221を回すことによってカメラ210のz軸方向の位置を調整することができる。
【0023】
可動ステージ230は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でz軸に交差する面内で移動可能となっている。ここでは、z軸に垂直な平面をxy平面と呼ぶことにし、位置調整つまみ231及び232を回すことによって可動ステージ230のxy平面内における位置を調整することができる。つまり、可動ステージ230は、位置調整つまみ231及び232を回すことによって、検査対象物を載せたまま異なる2方向に移動させることができるステージとなっている。
【0024】
具体的には、位置調整つまみ231を回すことによって、x軸方向の位置を調整し、位置調整つまみ232を回すことによって、y軸方向の位置を調整することができる。カメラ210は、この様な可動ステージ230と対向して配置されている。
【0025】
コンソール300は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部100に対して指示するための入力装置である。
【0026】
システム本体部100は、カメラ210によって撮影された動画像をライブ画像としてディスプレイ110上に表示し、複数の静止画像からなる全焦点画像を張り合わせてカメラ210の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
【0027】
<システム本体部>
図2は、図1の拡大観察装置1の要部における構成例を示したブロック図であり、システム本体部100内の機能構成の一例が示されている。このシステム本体部100は、ディスプレイ110の他に、表示用縮小部121,134、表示用モザイク画像記憶部122、ライブ画像更新部123、保存用モザイク画像記憶部124、モザイク形状データ記憶部125、基準画像生成部126、基準画像記憶部127、ライブ位置合わせ部128、静止画像取得部129、全焦点画像生成部130、モザイク画像生成部131、高さ形状データ生成部132、モザイク形状データ生成部133及び焦点位置制御部135を備えて構成される。
【0028】
表示用縮小部121は、カメラ210からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ210から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部123へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。
【0029】
表示用モザイク画像記憶部122は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部123は、表示用縮小部121からの縮小率情報に基づいてディスプレイ110を制御し、表示用縮小部121から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
【0030】
保存用モザイク画像記憶部124は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、HDD(ハードディスクドライブ)装置によって構成される。モザイク形状データ記憶部125は、モザイク形状データを保持する画像データ保持手段であり、不揮発性の記憶素子、例えば、HDD(ハードディスクドライブ)装置によって構成される。
【0031】
基準画像生成部126は、保存用モザイク画像記憶部124及びモザイク形状データ記憶部125から保存用モザイク画像及びモザイク形状データをそれぞれ読み出し、これらの画像データに基づいてフレーム画像の位置合わせ用の基準画像を生成する動作を行っている。この基準画像は、フレーム画像とモザイク画像との間の相対的位置関係を判定するための画像であり、保存用モザイク画像の一部に対応する特定の焦点位置の画像となっている。基準画像記憶部127は、基準画像生成部126によって生成された基準画像を保持する基準画像保持手段である。
【0032】
ライブ位置合わせ部128は、位置合わせ用縮小部128a,128b及びマッチング処理部128cからなり、カメラ210から連続して得られるフレーム画像と基準画像記憶部127から読み出した基準画像とをそれぞれ縮小してマッチング処理する動作を行っている。
【0033】
位置合わせ用縮小部128aは、カメラ210からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部128cへ出力する動作を行っている。位置合わせ用縮小部128bは、基準画像記憶部127から読み出した基準画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用基準画像を生成し、マッチング処理部128cへ出力する動作を行っている。
【0034】
マッチング処理部128cは、位置合わせ用フレーム画像及び位置合わせ用基準画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部123へ出力する動作を行っている。
【0035】
ライブ画像更新部123では、ライブ位置合わせ部128からの相対位置情報に基づいて、表示用フレーム画像及び表示用基準画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更する動作が行われる。
【0036】
静止画像取得部129は、コンソール300からの取込み指示に基づいてカメラ210を制御し、カメラ210の焦点の位置を変更させながら複数の静止画像を取得し、全焦点画像生成部130へ出力する動作を行っている。具体的には、カメラ210のフォーカス機構が、静止画像取得部129からのF(フォーカス)制御信号に基づいて制御され、カメラ210からの静止画データとして焦点位置の異なる複数の静止画像が取得される。
【0037】
全焦点画像生成部130は、静止画像取得部129によって取得された複数の静止画像を合成することによって、全焦点画像を生成する動作を行っている。全焦点画像は、カメラ210の実視野よりも被写界深度が深く、視野全体にピントの合った合成画像である。具体的には、焦点位置の異なる複数の静止画像間で画素値を比較し、ピントの合った焦点位置の画素値を抽出することによって生成される。なお、ここでいう全焦点画像には、数ピクセル程度のピントの合っていない画素を含む画像も含まれるものとする。
【0038】
モザイク画像生成部131は、保存用位置合わせ部131a及び画像連結部131bからなり、複数の全焦点画像を張り合わせることによって保存用モザイク画像を生成する動作を行っている。
【0039】
保存用位置合わせ部131aは、全焦点画像生成部130によって生成された全焦点画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、全焦点画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用基準画像よりも高い解像度で全焦点画像及び保存用モザイク画像間の相対位置が推定される。
【0040】
画像連結部131bは、保存用位置合わせ部131aによる判定結果に基づいて、全焦点画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部124内の保存用モザイク画像を更新する動作を行っている。具体的には、全焦点画像生成部130によって生成された全焦点画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像とが、保存用位置合わせ部131aによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
【0041】
全焦点画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、全焦点画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、画像間のオーバーラップ部分について画素値のブレンディング処理が行われる。
【0042】
ブレンディング処理は、画像間で画素値をブレンディング、すなわち、加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。画像間で画素値をブレンディングする際に用いる重みは、オーバーラップ部分の画像領域に関して、画像の端からの距離に応じて増加するように定められる。
【0043】
高さ形状データ生成部132は、静止画像取得部129によって取得された複数の静止画像に基づいて、検査対象物の高さ形状データを生成する動作を行っている。高さ形状データは、検査対象物表面の凹凸や段差を示す高低差情報であり、例えば、基準面からの高さの2次元分布からなる。具体的には、焦点位置の異なる複数の静止画像間で画素値を比較してピントの合った焦点位置を判定することによって生成される。
【0044】
モザイク形状データ生成部133は、高さ形状データ生成部132によって生成された複数の高さ形状データを連結することによって、カメラ210の実視野よりも広い範囲のモザイク形状データを生成する動作を行っている。具体的には、まず、高さ形状データ生成部132によって生成された高さ形状データとモザイク形状データ記憶部125から読み出したモザイク形状データとを連結する際の相対的位置関係が、保存用位置合わせ部131aによる相対位置の判定結果に基づいて判断される。そして、この相対的位置関係に基づいて高さ形状データ生成部132からの高さ形状データとモザイク形状データとを連結し、新たなモザイク形状データを生成してモザイク形状データ記憶部125内のモザイク形状データを更新する動作が行われる。
【0045】
焦点位置制御部135は、全焦点画像の少なくとも一部に対応する合焦位置を高さ形状データに基づいて判定し、フレーム画像の焦点位置が上記合焦位置と略一致するようにカメラ210のフォーカス機構を制御する動作を行っている。
【0046】
表示用縮小部134は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部124から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を所定の縮小率で縮小して表示用モザイク画像を生成する動作を行っている。
【0047】
ここで、ライブ位置合わせ部128は、保存用位置合わせ部131aに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
【0048】
基準画像生成部126では、位置合わせ用の基準画像が、例えば、最後に張り合わされた全焦点画像に対応する画像領域を保存用モザイク画像から抽出し、抽出した画像領域と対応するモザイク形状データとから作成される。ここでは、ピントの合った隣接画素からなる単一の画像領域の面積が最大となる焦点位置の画像として、基準画像を生成する動作が行われるものとする。つまり、ピントの合った画像領域の面積が最大となる焦点位置の画像を基準画像とすることにより、フレーム画像の位置合わせの精度を向上させることができる。
【0049】
なお、基準画像生成部126では、モザイク画像を構成する全焦点画像がフレーム画像よりも輝度の分解能の高い高分解能画像、或いは、輝度のダイナミックレンジの広いHDR(ハイダイナミックレンジ)画像である場合、モザイク画像の一部に対応する基準画像を生成する際に、画像データのフォーマットを変換する処理、例えば、16ビットの画像データを8ビットの画像データに変換する処理が行われる。
【0050】
なお、本実施の形態では、基準画像生成部126が記憶されている全焦点画像とモザイク形状データからフレーム画像の位置合わせの対象となる基準画像を生成するようにしたが、この基準画像は全焦点画像を構成する複数の静止画像の中からピントの合っている画像領域の面積の最も大きい静止画像を選択するようにしても良いし、全焦点画像そのものを基準画像とするようなものであっても良い。
【0051】
また、全焦点画像の撮影時に取得される静止画像とフレーム画像とで撮像条件(輝度の階調値など)が異なり、そのままでは後述するマッチング処理ができない場合は、全焦点画像撮影時にフレーム画像と同じ撮像条件で焦点位置の異なる複数の静止画像を取得して基準画像の候補画像とし、これらの候補画像の中からピントの合っている画像領域の面積の最も大きい静止画像を基準画像として選択するようにしても良い。
【0052】
<マッチング処理部>
図3は、図2のシステム本体部100におけるライブ位置合わせ部128の構成例を示したブロック図であり、マッチング処理部128c内の機能構成の一例が示されている。このマッチング処理部128cは、特徴量抽出部141及び相対位置判定部142により構成される。
【0053】
特徴量抽出部141は、位置合わせ用フレーム画像と位置合わせ用基準画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
【0054】
相対位置判定部142は、比較部143、相対位置演算部144及び重複領域推定部145からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用基準画像間の相対位置を判定する動作を行っている。比較部143は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用基準画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部144へ出力する動作を行っている。
【0055】
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
【0056】
相対位置演算部144は、比較部143による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用基準画像間の相対位置を判定し、その判定結果を重複領域推定部145へ出力し、相対位置情報をライブ画像更新部123へ出力する動作を行っている。
【0057】
重複領域推定部145は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との重複領域を推定する動作を行っている。例えば、1フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用基準画像との重複領域を定め、この重複領域が現在のフレーム画像と基準画像との重複領域であると判断する動作が行われる。
【0058】
比較部143では、重複領域推定部145によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部144へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、マッチング処理の対象となっている位置合わせ用基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部144へ出力する動作が行われる。
【0059】
つまり、相対位置演算部144は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。
【0060】
また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部144へ出力する動作が行われる。つまり、1フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、2フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。
【0061】
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
【0062】
一般に、画像の一部が重複している2つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
【0063】
ここでは、特徴量抽出部141が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部145によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
【0064】
また、ライブ画像更新部123では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部144による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ110へ出力する動作が行われる。
【0065】
また、特徴量抽出部141では、位置合わせ用基準画像のうち、重複領域推定部145によって推定された重複領域について、重複領域に対応するモザイク形状データに基づいて、重複領域内でピントの合った隣接画素からなる単一の画像領域の面積が最大となる焦点位置を判定する。そして、この焦点位置の判定結果に基づいてカメラ210を制御することによって基準画像と焦点位置が略同一のフレーム画像を取得する動作が行われる。カメラ210のフォーカス機構は、特徴量抽出部141からのF制御信号に基づいて制御される。
【0066】
このように、本実施の形態では重複領域推定部145によって推定されたフレーム画像と基準画像との重複領域における合焦位置を、モザイク形状データに基づいて判定するため、可動ステージ230がユーザにより移動されてフレーム画像と位置合わせの対象となる基準画像の相対位置が変化しても、常に重複領域における合焦位置にカメラ210の焦点位置が合わされるので、撮像対象に凹凸があり合焦位置が変化するような場合でも位置合わせに必要な重複領域のピンボケが回避できる。
【0067】
また、焦点位置の異なる2以上の静止画像の中から、推定された重複領域におけるモザイク形状に最もピントが一致している静止画像を基準画像として自動的に選択し、この基準画像に対してフレーム画像を位置合わせするようにしてもよい。このようにすることで、重複領域におけるモザイク形状に対して最もピントの合った基準画像と、最もピントの合ったフレーム画像の位置合わせが可能となる。
【0068】
また、基準画像生成部126では、フレーム画像全体の特徴量と基準画像全体の特徴量との比較によっても相対位置が判定できなかった場合に、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像として新たな基準画像を生成する動作が行われる。これにより、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像を新たな基準画像として用いてフレーム画像の位置合わせを行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。
【0069】
<ライブ画面>
図4及び図5は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図4には、カメラ210によって撮影された動画像A1及び表示用のモザイク画像A3が示されている。また、図5には、モザイク画像A3上に動画像A1がライブ画像として配置されたライブ画面111が示されている。
【0070】
動画像A1は、一定のフレームレートで繰返し生成される表示用フレーム画像A2によって構成される。例えば、15fpsで表示用フレーム画像A2が生成される。
【0071】
表示用モザイク画像A3は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像であり、複数の全焦点画像からなる。
【0072】
ライブ画面111は、ディスプレイ110上に表示されるモニター画面であり、作成中の表示用モザイク画像A3及び動画像A1が表示されている。ライブ画面111では、動画像A1が、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
【0073】
つまり、撮影中の動画像A1が作成中の表示用モザイク画像A3上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。
【0074】
<パターンマッチング>
図6(a)及び(b)は、図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、位置合わせ用の基準画像B1及びフレーム画像B2からそれぞれ抽出された全特徴点B3の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図6(a)には、基準画像B1から抽出された特徴点B3をフレーム画像B2内の各特徴点B3と比較している様子が示され、図6(b)には、特徴点B3の比較に基づいて抽出された特徴点間の正対応が示されている。
【0075】
基準画像B1は、作成中のモザイク画像の一部に対応する画像であり、パターンマッチングの処理対象として保存用モザイク画像から予め抽出される。例えば、最後に連結された全焦点画像が基準画像B1として抽出される。或いは、保存用モザイク画像に対して最後に連結された全焦点画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された全焦点画像に隣接する他の全焦点画像が基準画像B1として抽出される。
【0076】
基準画像B1及びフレーム画像B2間の位置関係が不明な場合、画像全体を対象として特徴点B3の抽出が行われる。そして、基準画像B1から抽出された各特徴点B3について、類似する特徴点がフレーム画像B2内に存在するか否かを特徴点間の比較によって判断する。
【0077】
特徴点間の類似度は、特徴点B3を含む所定の領域、例えば、5ピクセル×5ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
【0078】
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像B1及びフレーム画像B2間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像B1に対するフレーム画像B2の移動量を判断することによって判定される。
【0079】
図7(a)及び(b)は、図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、基準画像及び第(n−1)フレーム画像間の相対位置から推定された重複領域B5,B6内の特徴点B3が比較される様子が示されている。図7(a)には、基準画像及び第(n−1)フレーム画像間の相対位置から求められた両画像の重複領域B4が示されている。また、図7(b)には、基準画像及び第(n−1)フレーム画像間の相対位置から推定された基準画像及び第nフレーム画像の重複領域B5,B6が示されている。
【0080】
基準画像B1及びフレーム画像B2間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
【0081】
すなわち、1フレーム前の第(n−1)フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域B4を求める。この重複領域B4を現在の第nフレーム画像と基準画像との重複領域B5,B6であると判断する。そして、基準画像の重複領域B5内の各特徴点B3について、第nフレーム画像の重複領域B6内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
【0082】
類似する特徴点の抽出は、基準画像の重複領域B5内の各特徴点B3について、第nフレーム画像の重複領域B6から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
【0083】
本実施の形態では、2フレーム目以降の位置合わせ用フレーム画像と位置合わせ用基準画像との位置合わせに対して、重複領域内の特徴点について比較を行う図7の方法が採用される。一方、1フレーム目の位置合わせ用フレーム画像と位置合わせ用基準画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図6の方法が採用される。
【0084】
図8及び図9のステップS101〜S124は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示したフローチャートである。まず、基準画像生成部126は、最後に張り合わされた全焦点画像に対応する画像領域を保存用モザイク画像から抽出し、抽出した画像領域と対応するモザイク形状データとから、ピントの合った隣接画素からなる単一の画像領域の面積が最大となる焦点位置の画像として、基準画像を生成する(ステップS101)。
【0085】
次に、特徴量抽出部141は、カメラ210のフォーカス機構を制御して焦点位置を調整し、基準画像と焦点位置が略同一の位置合わせ用フレーム画像を取得する(ステップS102,S103)。そして、取得した位置合わせ用フレーム画像が、最初のフレーム画像であれば、画像全体から特徴点を抽出する(ステップS104,S105)。
【0086】
次に、相対位置判定部142は、各画像の全特徴点について比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置を判定する(ステップS106)。このとき、相対位置が判定できなければ、基準画像を位置合わせに成功した最後のフレーム画像と焦点位置が略同一の画像に変更し、変更後の基準画像全体に含まれる全特徴点とフレーム画像の全特徴点とを比較することによって相対位置を判定する(ステップS107,S112,S113)。
【0087】
そして、相対位置が判定できてフレーム画像の位置合わせに成功すれば、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される(ステップS114,S116,S117)。変更後の基準画像全体の特徴点とフレーム画像全体の特徴点との比較によっても相対位置が判定できず、位置合わせに失敗した場合には、マッチングエラーが報知される(ステップS114,S115)。
【0088】
ステップS107において相対位置が判定できてフレーム画像の位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される、(ステップS107,S116,S117)。
【0089】
一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部142は、前回の位置合わせの結果、すなわち、1フレーム前の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の重複領域を推定する(ステップS104,S108,S109)。特徴量抽出部141は、この推定された重複領域から特徴点を抽出する。
【0090】
次に、相対位置判定部142は、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する(ステップS110)。このとき、相対位置が判定できなければ、ステップS105以降の処理手順が実行される(ステップS111)。
【0091】
ステップS111において相対位置が判定できて位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される(ステップS111,S116,S117)。
【0092】
静止画像取得部129は、ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて、焦点位置の異なる複数の静止画像を取得する(ステップS118,S120)。全焦点画像生成部130は、これらの静止画像を合成し、全焦点画像を生成する(ステップS121)。
【0093】
モザイク画像生成部131は、全焦点画像と保存用モザイク画像との間のパターンマッチングによってこれらの画像間の相対位置を推定し、その推定結果に基づいて両画像を連結する処理を行って保存用モザイク画像を更新する(ステップS122〜S124)。
【0094】
ステップS102からS118までの処理手順は、撮影終了が指示されるまで繰り返される(ステップS119)。
【0095】
本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、フレーム画像及び基準画像から抽出した特徴量の比較によってフレーム画像及びモザイク画像間の相対的位置関係を判断するので、システム構成を複雑化させることなく、撮影中の視野を全焦点画像からなるモザイク画像上の適切な位置に表示させることができる。また、位置合わせ用の基準画像と焦点位置が略同一のフレーム画像を取得してフレーム画像の位置合わせを行うので、オートフォーカス機能を利用する方法に比べて位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制することができる。
【0096】
また、特徴量の比較を行う際、過去の相対位置の判定結果に基づいてフレーム画像と基準画像との間の重複領域を推定し、この重複領域内の特徴量について比較を行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。
【0097】
なお、本実施の形態では、カメラ210のフォーカス機構を制御することによって焦点位置の異なる複数の静止画像が取得される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ230がz軸方向に移動させることができ、可動ステージ230のz軸方向における位置を検出する位置センサーを備え、可動ステージ230をz軸方向に移動させながら焦点位置の異なる静止画像を取得するものも本発明には含まれる。
【0098】
また、本実施の形態では、位置合わせ用フレーム画像及び位置合わせ用基準画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用基準画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。
【符号の説明】
【0099】
1 拡大観察装置
100 システム本体部
110 ディスプレイ
111 ライブ画面
121,134 表示用縮小部
122 表示用モザイク画像記憶部
123 ライブ画像更新部
124 保存用モザイク画像記憶部
125 モザイク形状データ記憶部
126 基準画像生成部
127 基準画像記憶部
128 ライブ位置合わせ部
128a,128b 位置合わせ用縮小部
128c マッチング処理部
129 静止画像取得部
130 全焦点画像生成部
131 モザイク画像生成部
131a 保存用位置合わせ部
131b 画像連結部
132 高さ形状データ生成部
133 モザイク形状データ生成部
135 焦点位置制御部
141 特徴量抽出部
142 相対位置判定部
143 比較部
144 相対位置演算部
145 重複領域推定部
200 カメラ部
210 カメラ
220 可動ホルダー
221,231,232 位置調整つまみ
230 可動ステージ
300 コンソール
A1 動画像
A2 表示用フレーム画像
A3 表示用モザイク画像
B1 基準画像
B2 フレーム画像
B3 特徴点

【特許請求の範囲】
【請求項1】
検査対象物を載せたまま異なる2方向に移動可能な可動ステージと、
上記可動ステージと対向配置され、上記可動ステージに載置された検査対象物を撮影して、連続する複数のフレーム画像を生成するカメラと、
上記カメラの焦点位置を変更する焦点位置変更手段と、
上記焦点位置変更手段により焦点位置を変更して取得された2以上の静止画像を合成して、上記カメラの実視野と比べて被写界深度の深い全焦点画像を生成する全焦点画像生成手段と、
上記全焦点画像、又は上記静止画像に基づいて抽出される画像を基準画像として当該基準画像と上記フレーム画像とから特徴量を抽出する特徴量抽出手段と、
上記特徴量の比較によって、上記基準画像と上記フレーム画像間の相対位置を判定するライブ位置合わせ手段と、
上記ライブ位置合わせ手段による相対位置の判定に成功し、外部からの取込み指示を受け付けた際に、上記焦点位置変更手段により上記カメラの焦点位置を変更しながら、焦点位置の異なる2以上の静止画像を取得する静止画像取得手段と、
取得した上記2以上の静止画像を合成することにより上記全焦点画像生成手段が生成した新たな全焦点画像と、過去に取得した上記全焦点画像とを連結してモザイク画像を生成するモザイク画像生成手段とを備えたことを特徴とする撮像装置。
【請求項2】
上記ライブ位置合わせ手段による上記基準画像と上記フレーム画像間の相対位置の判定に失敗した場合にエラーを報知するエラー報知手段を備えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
上記全焦点画像の各画素における合焦位置に基づいて、上記検査対象物の高さ形状データを生成する高さ形状データ生成手段と、
上記高さ形状データを連結して、上記カメラの実視野よりも広い範囲のモザイク形状データを生成するモザイク形状データ生成手段を備えたことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
上記モザイク画像を記憶する保存用モザイク画像記憶手段と、
上記保存用モザイク画像記憶手段に記憶されたモザイク画像が更新されるごとに、更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を所定の縮小率で縮小して表示用モザイク画像を生成する表示用縮小手段と、
上記表示用縮小手段により生成された表示用モザイク画像を記憶する表示用モザイク画像記憶手段と、
上記表示用モザイク画像記憶手段から上記表示用モザイク画像を読み出して表示する画像表示手段とを備えたことを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
上記モザイク画像生成手段は、
上記保存用モザイク画像記憶手段に記憶された保存用モザイク画像と、上記全焦点画像生成手段によって生成された全焦点画像との間の相対位置を判定する保存用位置合わせ部と、
上記保存用位置合わせ部による判定結果に基づいて、上記保存用モザイク画像と上記全焦点画像を連結して、新たな保存用モザイク画像を生成して、上記保存用モザイク画像記憶手段内の保存用モザイク画像を更新する画像連結部とからなることを特徴とする請求項4に記載の撮像装置。
【請求項6】
上記ライブ位置合わせ手段による上記基準画像と上記フレーム画像間の相対位置判定は、上記保存用位置合わせ部による保存用モザイク画像と全焦点画像との間の相対位置判定よりも、低精度のマッチング処理を実行することを特徴とする請求項5に記載の撮像装置。
【請求項7】
上記特徴量抽出手段は、上記保存用モザイク画像に最後に張り合わされた全焦点画像に対応する画像領域に基づいて生成された基準画像と、上記フレーム画像とから特徴量を抽出することを特徴とする請求項4から6のいずれか一項に記載の撮像装置。
【請求項8】
上記特徴量抽出手段は、上記全焦点画像を構成する複数の静止画像の中からピントの合っている画像領域の面積の最も大きい静止画像を基準画像として、当該基準画像と上記フレーム画像とから特徴量を抽出することを特徴とする請求項1から7のいずれか一項に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−34208(P2013−34208A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−195591(P2012−195591)
【出願日】平成24年9月5日(2012.9.5)
【分割の表示】特願2011−203836(P2011−203836)の分割
【原出願日】平成20年12月12日(2008.12.12)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】