撮像装置
【課題】 撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに失敗したことを容易に認識することができる撮像装置を提供する。
【解決手段】 カメラによって撮影された複数の静止画像を張り合わせてモザイク画像を生成するモザイク画像生成手段と、フレーム画像及びモザイク画像から特徴量を抽出する特徴量抽出手段と、特徴量の比較によってフレーム画像及びモザイク画像間の相対位置を判定する相対位置判定手段により構成される。相対位置判定手段は、前記モザイク画像と前記フレーム画像間の相対位置の判定に失敗した後に取得される各フレーム画像の特徴量と、前記モザイク画像に最後に連結された画像を基準画像とし、当該基準画像の特徴量による相対位置の判定を行う。
【解決手段】 カメラによって撮影された複数の静止画像を張り合わせてモザイク画像を生成するモザイク画像生成手段と、フレーム画像及びモザイク画像から特徴量を抽出する特徴量抽出手段と、特徴量の比較によってフレーム画像及びモザイク画像間の相対位置を判定する相対位置判定手段により構成される。相対位置判定手段は、前記モザイク画像と前記フレーム画像間の相対位置の判定に失敗した後に取得される各フレーム画像の特徴量と、前記モザイク画像に最後に連結された画像を基準画像とし、当該基準画像の特徴量による相対位置の判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。
【背景技術】
【０００２】
視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影するデジタルマイクロスコープなどの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。
【０００３】
例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。
【０００４】
一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。ところが、動画像を構成するフレーム画像とモザイク画像との間の相対位置をこれらの画像間のパターンマッチングによって判断して動画像をモザイク画像上に表示させる場合、フレーム画像の位置合わせに失敗すると、撮影中の視野と作成中のモザイク画像との位置関係がわからなくなってしまうという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みてなされたものであり、システム構成を複雑化させることなく、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる撮像装置を提供することを目的とする。特に、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに失敗したことを容易に認識することができる撮像装置を提供することを目的とする。また、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、前記可動ステージを移動させることにより前記カメラの視野を変更して前記検査対象物の異なる位置を撮影した重複領域を有する２以上の画像を張り合わせることにより、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、前記モザイク画像の特徴量と、前記フレーム画像の特徴量とを抽出する特徴量抽出手段と、前記フレーム画像の特徴量と前記モザイク画像の特徴量とを比較することによって、前記モザイク画像及び前記フレーム画像間の相対位置を判定する相対位置判定手段とを備え、前記相対位置判定手段は、前記モザイク画像と前記フレーム画像間の相対位置の判定に失敗した後に取得される各フレーム画像の特徴量と、前記モザイク画像に最後に連結された画像を基準画像とし、当該基準画像の特徴量による相対位置の判定を行うように構成される。
【０００７】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラによって撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像から特徴量を抽出する特徴量抽出手段と、上記特徴量の比較によって、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段とを備え、上記ライブ画像表示手段が、上記相対位置判定手段によって上記フレーム画像の位置合わせに成功したと判定された場合に、上記表示位置を上記相対位置に応じて変更し、上記フレーム画像の位置合わせに失敗したと判定された場合に、上記表示位置を固定するように構成される。また、本発明による撮像装置は、上記構成に加え、上記ライブ画像表示手段が、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に上記表示位置を固定するように構成される。
【０００８】
この様な構成によれば、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
【０００９】
本発明による他の撮像装置は、上記構成に加え、上記ライブ画像表示手段が、上記フレーム画像の位置合わせに失敗した後、上記最後のフレーム画像の表示位置に上記表示位置を固定して新たに取得されるフレーム画像を表示し、当該表示位置に表示されるフレーム画像を新たに取得されるフレーム画像に更新することによって、動画像の表示を継続するように構成される。この様な構成によれば、フレーム画像の位置合わせに失敗した後は、表示位置を固定しつつ動画像の表示を継続するので、位置合わせ可能な位置への復帰をし易くすることができる。
【００１０】
本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記モザイク画像から特徴量を抽出する際に、当該モザイク画像に対して最後に張り合わされた静止画像を基準画像として、当該基準画像内の特徴量を抽出し、上記相対位置判定手段が、上記フレーム画像の位置合わせに失敗した後に取得されるフレーム画像について、当該フレーム画像と上記モザイク画像との間の相対位置をフレーム画像内の特徴量と上記基準画像内の特徴量とを比較することによって判定し、上記基準画像内の特徴量との比較では相対位置が判定できなかった場合に、フレーム画像内の特徴量と上記モザイク画像の上記基準画像を除く画像領域内の特徴量とを比較することによって上記相対位置を判定するように構成される。
【００１１】
本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、上記フレーム画像全体の特徴量と上記基準画像全体の特徴量との比較によっても上記相対位置が判定できなかった場合に、上記モザイク画像に対して最後に張り合わされた静止画像に隣接する静止画像を基準画像として、この基準画像全体の特徴量と上記フレーム画像全体の特徴量とを比較することによって上記相対位置を判定するように構成される。この様な構成によれば、フレーム画像全体及び基準画像全体の特徴量の比較によっても相対位置が判定できなかった場合に、最後に張り合わされた静止画像に隣接する静止画像全体の特徴量とフレーム画像全体の特徴量とを比較することによって相対位置を判定するので、処理負荷の増大を抑制しつつフレーム画像とモザイク画像との位置合わせの精度を向上させることができる。
【００１２】
本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、位置合わせに失敗した後に取得されるフレーム画像について、上記モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって上記相対位置を判定するように構成される。この様な構成によれば、位置合わせに失敗した後、モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって相対位置を判定するので、処理負荷の増大を抑制しつつフレーム画像とモザイク画像との位置合わせの精度を向上させることができる。
【００１３】
本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記モザイク画像から特徴量を抽出する際に、当該モザイク画像に対して最後に張り合わされた静止画像を基準画像として、当該基準画像内の特徴量を抽出し、上記相対位置判定手段が、過去の相対位置の判定結果に基づいて上記フレーム画像及び上記基準画像間の重複領域を推定し、上記重複領域内の特徴量を比較することによって上記相対位置を判定し、上記重複領域内の特徴量の比較では上記相対位置が判定できなかった場合に、上記フレーム画像全体の特徴量と上記基準画像全体の特徴量とを比較することによって上記相対位置を判定するように構成される。この様な構成によれば、フレーム画像及びモザイク画像間の相対位置が、過去の相対位置の判定結果から推定したフレーム画像及び基準画像間の重複領域内の特徴量を比較することによって判定される。一方、重複領域内の特徴量の比較では相対位置が判定できなかった場合には、これらの画像全体の特徴量を比較することによって判定されるので、処理負荷の増大を抑制しつつフレーム画像とモザイク画像との位置合わせの精度を向上させることができる。
【００１４】
本発明による他の撮像装置は、上記構成に加え、上記ライブ画像表示手段が、位置合わせに失敗したと判定されたフレーム画像を成功したと判定された場合とは異なる表示態様で表示するように構成される。この様な構成によれば、位置合わせに失敗したフレーム画像が成功したフレーム画像とは異なる表示態様で表示されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。
【００１５】
本発明による他の撮像装置は、上記構成に加え、上記動画像を構成するフレーム画像を縮小して位置合わせ用フレーム画像を生成し、上記モザイク画像を縮小して位置合わせ用モザイク画像を生成する位置合わせ用縮小手段と、上記動画像を構成するフレーム画像を縮小して表示用フレーム画像を生成し、上記モザイク画像を縮小して表示用モザイク画像を生成する表示用縮小手段とを備え、上記特徴量抽出手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像から特徴量を抽出し、上記相対位置判定手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像間の相対位置を判定し、上記ライブ画像表示手段が、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像をライブ画像として表示し、上記モザイク画像生成手段が、上記位置合わせ用モザイク画像よりも高い解像度でフレーム画像及びモザイク画像間の相対位置を推定して当該フレーム画像を当該モザイク画像に張り合わせ、新たなモザイク画像を生成するように構成される。
【００１６】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージの位置を検出する位置センサーと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラによって撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記位置センサーの出力に基づいて、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段とを備え、上記ライブ画像表示手段が、上記フレーム画像に対応する静止画像では上記モザイク画像と滑らかに連結できなくなった場合に、上記表示位置を固定するように構成される。この様な構成によれば、フレーム画像に対応する静止画像ではモザイク画像と滑らかに連結できなくなった場合に、動画像の表示位置が固定されるので、撮影中の視野では作成中のモザイク画像と滑らかに連結できなくなったことをユーザに認識させることができる。
【発明の効果】
【００１７】
本発明による撮像装置によれば、撮影中の視野が動画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、動画像の表示位置は、フレーム画像の位置合わせに成功した場合にフレーム画像及びモザイク画像間の相対位置に応じて変更されるのに対して、位置合わせに失敗した場合に固定されるので、位置合わせに成功した最後のフレーム画像によって表示位置を固定させることができる。従って、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに失敗した後、視野を移動させても動画像の表示位置は固定されたまま保持されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。また、フレーム画像及びモザイク画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができるので、システム構成を複雑化させることなく、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる。また、本発明による撮像装置によれば、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置１が示されている。
【図２】図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。
【図３】図２のシステム本体部１００におけるライブ位置合わせ部１２５の構成例を示したブロック図であり、マッチング処理部１２５ｃ内の機能構成が示されている。
【図４】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像Ａ１及び表示用モザイク画像Ａ３が示されている。
【図５】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面１１１が示されている。
【図６】図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、全特徴点Ｂ３の比較によって特徴点間の正対応が抽出される様子が示されている。
【図７】図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。
【図８】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、モザイク画像に対して位置合わせされたライブ画像が示されている。
【図９】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、図８のモザイク画像に対して位置合わせされたライブ画像が示されている。
【図１０】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴って基準画像が変更される様子が示されている。
【図１１】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、視野の移動に伴ってフレーム画像の位置合わせに失敗する様子が示されている。
【図１２】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、位置合わせの失敗後に新たに位置合わせされたライブ画像が示されている。
【図１３】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。
【図１４】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。
【図１５】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【００１９】
＜拡大観察装置＞
図１は、本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。
【００２０】
カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、円筒形状の筐体内に対物レンズ、ＣＣＤイメージセンサー、照明装置などを配置して構成されている。
【００２１】
可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。
【００２２】
可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。
【００２３】
具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。
【００２４】
コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。
【００２５】
システム本体部１００は、カメラ２１０によって撮影された動画像をディスプレイ１１０上に表示し、動画像を構成するフレーム画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
【００２６】
＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、表示用縮小部１２１，１２８、表示用モザイク画像記憶部１２２、ライブ画像更新部１２３、保存用モザイク画像記憶部１２４、ライブ位置合わせ部１２５、静止画像取得部１２６及びモザイク画像生成部１２７を備えて構成される。
【００２７】
表示用縮小部１２１は、カメラ２１０からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部１２３へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。
【００２８】
表示用モザイク画像記憶部１２２は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
【００２９】
保存用モザイク画像記憶部１２４は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。
【００３０】
ライブ位置合わせ部１２５は、位置合わせ用縮小部１２５ａ，１２５ｂ及びマッチング処理部１２５ｃからなり、カメラ２１０から連続して得られるフレーム画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。
【００３１】
位置合わせ用縮小部１２５ａは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。位置合わせ用縮小部１２５ｂは、保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。
【００３２】
マッチング処理部１２５ｃは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部１２３へ出力する動作を行っている。
【００３３】
ライブ画像更新部１２３では、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を更新する動作が行われる。
【００３４】
静止画像取得部１２６は、コンソール３００からの取込み指示に基づいて、カメラ２１０によって撮影された静止画像を取得し、モザイク画像生成部１２７へ出力する動作を行っている。カメラ２１０から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の１つであっても良い。
【００３５】
モザイク画像生成部１２７は、保存用位置合わせ部１２７ａ及び画像連結部１２７ｂからなり、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。
【００３６】
保存用位置合わせ部１２７ａは、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で静止画像及び保存用モザイク画像間の相対位置が推定される。
【００３７】
画像連結部１２７ｂは、保存用位置合わせ部１２７ａによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とが、保存用位置合わせ部１２７ａによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
【００３８】
静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、両画像の重複領域について画素値のブレンディング処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。
【００３９】
表示用縮小部１２８は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部１２４から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。
【００４０】
ここで、ライブ位置合わせ部１２５は、保存用位置合わせ部１２７ａに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
【００４１】
＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるライブ位置合わせ部１２５の構成例を示したブロック図であり、マッチング処理部１２５ｃ内の機能構成の一例が示されている。このマッチング処理部１２５ｃは、特徴量抽出部１３１及び相対位置判定部１３２により構成される。
【００４２】
特徴量抽出部１３１は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
【００４３】
この特徴量抽出部１３１では、保存用モザイク画像のサイズが大きくなった場合の位置合わせに要する処理時間を短縮させるという観点から、位置合わせ用モザイク画像から特徴点を抽出する際に、保存用モザイク画像の一部、例えば、当該保存用モザイク画像に対して最後に張り合わされた静止画像を位置合わせ用の基準画像として、この基準画像内の特徴点を抽出する動作が行われる。
【００４４】
相対位置判定部１３２は、比較部１４１、相対位置演算部１４２及び重複領域推定部１４３からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部１４１は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４２へ出力する動作を行っている。
【００４５】
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
【００４６】
この比較部１４１では、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較する際に、位置合わせ用フレーム画像の特徴点と基準画像の特徴点とを比較する動作が行われる。
【００４７】
相対位置演算部１４２は、比較部１４１による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部１４３へ出力し、相対位置情報をライブ画像更新部１２３へ出力する動作を行っている。
【００４８】
重複領域推定部１４３は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。
【００４９】
この重複領域推定部１４３では、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する際に、位置合わせ用フレーム画像と位置合わせ用の基準画像との重複領域を推定する動作が行われる。
【００５０】
比較部１４１では、重複領域推定部１４３によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４２へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、位置合わせ用モザイク画像のうちマッチング処理の対象となっている位置合わせ用の基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。
【００５１】
つまり、相対位置演算部１４２は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。
【００５２】
また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。
【００５３】
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
【００５４】
一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
【００５５】
ここでは、特徴量抽出部１３１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４３によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
【００５６】
また、ライブ画像更新部１２３では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４２による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。
【００５７】
その際、相対位置判定部１３２によってフレーム画像の位置合わせに成功したと判定された場合に、ライブ画像の上記表示位置を相対位置の判定結果に応じて変更する動作が行われる。一方、相対位置が判定できず、フレーム画像の位置合わせに失敗したと判定された場合には、ライブ画像の表示位置を変更せず、例えば、位置合わせに成功したと判定された最後のフレーム画像の表示位置付近に固定する動作が行われる。
【００５８】
つまり、フレーム画像の位置合わせに失敗した後は、位置合わせに成功した最後のフレーム画像の表示位置にライブ画像の表示位置を固定して新たに取得されるフレーム画像を表示し、当該表示位置に表示されるフレーム画像を新たに取得されるフレーム画像に更新することによって、ライブ画像の表示が継続される。
【００５９】
ここで、基準画像は、モザイク画像を構成する静止画像のうち、フレーム画像との重複領域の面積が最も大きな静止画像が常に基準画像となるように随時変更されるものとする。そして、この様な基準画像に対して相対位置が判定できなかった場合に、フレーム画像の位置合わせに失敗したと判断されるものとする。
【００６０】
また、フレーム画像の位置合わせに失敗した後に取得されるフレーム画像については、当該フレーム画像とモザイク画像との間の相対位置をフレーム画像内の特徴量と基準画像内の特徴量とを比較することによって判定する。そして、基準画像内の特徴量との比較では相対位置が判定できなかった場合には、フレーム画像内の特徴量とモザイク画像の基準画像を除く画像領域内の特徴量とを比較することによって相対位置を判定する動作が行われる。
【００６１】
つまり、前回の位置合わせ時にフレーム画像の位置合わせに成功していれば、位置合わせに成功したフレーム画像の相対位置情報に基づいて現在のフレーム画像と基準画像との間の重複領域を推定し、重複領域内の特徴点の比較によって相対位置が判定される（高速追従モードと呼ぶことにする）。これに対して、フレーム画像の位置合わせに失敗すると、動作モードが高速追従モードから視野探索モードに切り替えられ、位置合わせの失敗後に取得されたフレーム画像については、フレーム画像内の特徴量と基準画像内の特徴量とを比較することによって相対位置が判定され、基準画像内の特徴量との比較では相対位置が判定できなければ、フレーム画像の特徴量とモザイク画像の基準画像以外の画像領域の特徴量とを比較することによって相対位置が判定される。
【００６２】
また、ライブ画像更新部１２３では、位置合わせに失敗したと判定されたフレーム画像を成功したと判定された場合とは異なる表示態様、例えば、白黒を反転させたり、色を異ならせて表示する動作が行われる。或いは、フレーム画像のモザイク画像に対する表示位置の更新履歴などから基準画像とフレーム画像とのオーバーラップが増加する方向を判断し、当該方向を示す矢印などを表示させても良い。また、フレーム画像の位置合わせに失敗した場合のエラー報知として、位置合わせに失敗したことを示すメッセージを表示し、或いは、警報音を出力する動作が行われる。
【００６３】
＜ライブ画面＞
図４及び図５は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図４には、カメラ２１０によって撮影された動画像Ａ１及び表示用モザイク画像Ａ３が示されている。また、図５には、モザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。
【００６４】
動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。
【００６５】
表示用モザイク画像Ａ３は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。
【００６６】
ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用モザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
【００６７】
つまり、撮影中の動画像Ａ１が作成中の表示用モザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。
【００６８】
＜パターンマッチング＞
図６（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像Ｂ１及び位置合わせ用のフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図６（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図６（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。
【００６９】
基準画像Ｂ１は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された静止画像が基準画像Ｂ１として抽出される。或いは、保存用モザイク画像に対して最後に連結された静止画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された静止画像に隣接する他の静止画像が基準画像Ｂ１として抽出される。
【００７０】
基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。
【００７１】
特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
【００７２】
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。
【００７３】
図７（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。図７（ａ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から求められた両画像の重複領域Ｂ４が示されている。また、図７（ｂ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された基準画像及び第ｎフレーム画像の重複領域Ｂ５，Ｂ６が示されている。
【００７４】
基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
【００７５】
すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
【００７６】
類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
【００７７】
本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う図７の方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図６の方法が採用される。
【００７８】
また、カメラ２１０から連続して取得されるフレーム画像に対してリアルタイムに行われる位置合わせ処理では、上述した様な特徴点の正対応の数が一定レベルを下回ると、相対位置が判定できず、位置合わせに失敗したと判断される。
【００７９】
位置合わせに失敗する原因としては、ピンボケなどの影響によって位置合わせに必要な特徴点が検出できないケースが考えられる。また、基準画像とフレーム画像とのオーバーラップが少なすぎ、或いは、フレーム間の移動量が大きいために、前回の位置合わせ結果から推定した重複領域が実際の重複領域と大きくずれているケースが考えられる。
【００８０】
図８及び図９は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像上にライブ画像が表示されたライブ画面１１１が示されている。図８（ａ）には、２枚の静止画像からなるモザイク画像から抽出された基準画像に対して位置合わせされたライブ画像が示され、図８（ｂ）には、図８（ａ）のライブ画像と同じ視野の静止画像を取り込んで張り合わせることによって更新されたモザイク画像が示されている。
【００８１】
この例では、保存用モザイク画像から抽出された位置合わせ用の基準画像が、破線で示された矩形の枠内に配置されている。この基準画像は、保存用モザイク画像に対して最後に張り合わされた静止画像となっている。
【００８２】
一方、ライブ画像は、実線で示された矩形の枠内に配置され、その矩形枠の表示位置は、基準画像及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて決定される。すなわち、ライブ画像の表示位置は、フレーム画像の位置合わせに成功すれば、フレーム画像の相対位置に応じて変更されるのに対して、位置合わせに失敗すれば、位置合わせに成功した最後のフレーム画像の位置に固定される。
【００８３】
図８（ａ）の状態で張り合わせ用の静止画像の取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新される。このとき、基準画像も取り込まれた静止画像に対応するものに変更される。
【００８４】
図９（ａ）には、図８（ｂ）のモザイク画像から抽出された基準画像に対して位置合わせされたライブ画像が示され、図９（ｂ）には、図９（ａ）のライブ画像と同じ視野の静止画像を取り込んで張り合わせることによって更新されたモザイク画像が示されている。
【００８５】
図９（ａ）の基準画像は、作成中の保存用モザイク画像に対して最後に張り合わされた静止画像となっている。図８（ｂ）の状態から可動ステージ２３０を上方向に移動させれば、撮影中の視野は、ワーク（検査対象物）に対して下方向に移動し、図９（ａ）のライブ画像が得られる。
【００８６】
図９（ａ）の状態で取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新され、基準画像も取り込まれた静止画像に対応するものに変更される。
【００８７】
図１０（ａ）及び（ｂ）は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴って基準画像が変更される様子が示されている。図１０（ａ）には、図９（ｂ）のモザイク画像に対して最後に張り合わされた静止画像を基準画像として位置合わせされたライブ画像が示されている。また、図１０（ｂ）には、撮影中の視野の移動に伴って変更された基準画像に対して位置合わせされたライブ画像が示されている。
【００８８】
図１０（ａ）の状態から可動ステージ２３０を左方向に移動させれば、撮影中の視野は、ワークに対して右方向に移動する。この視野の移動により、フレーム画像と、モザイク画像に対して最後に張り合わされた静止画像とのオーバーラップが少なくなれば、基準画像が変更される。
【００８９】
具体的には、モザイク画像に対して最後に張り合わされた静止画像からフレーム画像との重複領域が最も大きな静止画像に基準画像が変更され、フレーム画像の位置合わせが行われる。この新たな基準画像は、フレーム画像のモザイク画像に対する表示位置の更新履歴や過去の位置合わせの結果に基づいて、フレーム画像との重複領域の面積が最大となる画像パッチが選択される。この例では、モザイク画像を構成する静止画像のうち、最後に張り合わされた静止画像の右隣の静止画像が新たな基準画像として選択されている。
【００９０】
図１１（ａ）及び（ｂ）は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴ってフレーム画像の位置合わせに失敗する様子が示されている。図１１（ａ）には、位置合わせに失敗する直前のライブ画像が示され、図１１（ｂ）には、位置合わせに失敗した後のライブ画像が示されている。
【００９１】
図１１（ａ）のライブ画像は、図１０（ｂ）の基準画像に対して位置合わせされたフレーム画像からなる。図１１（ａ）の状態で可動ステージ２３０を移動させれば、フレーム画像と基準画像とのオーバーラップが少なくなって位置合わせに失敗することとなる。
【００９２】
位置合わせに失敗した後のフレーム画像は、その表示位置が、位置合わせに成功した最後のフレーム画像の表示位置付近に固定され、位置合わせに成功した場合とは異なる表示態様で表示される。
【００９３】
位置合わせに失敗した後のフレーム画像のモザイク画像に対する表示位置としては、位置合わせに成功した最後のフレーム画像の表示位置と数ピクセル程度のずれがあっても良い。
【００９４】
フレーム画像の位置合わせに失敗すると、動作モードが高速追従モードから視野探索モードに切り替えられ、位置合わせに失敗した後に取得されるフレーム画像については、位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量とを比較することによって相対位置が判定される。
【００９５】
図１２は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、位置合わせの失敗後に新たに位置合わせされたライブ画像が示されている。図１１の基準画像に対してフレーム画像の位置合わせに失敗すると、基準画像のどの部分から復帰しても良いように、動作モードが位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量との比較によって位置合わせを行う視野探索モードに切り替えられる。
【００９６】
図１３〜図１５のステップＳ１０１〜Ｓ１２６は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。まず、特徴量抽出部１３１は、位置合わせ用フレーム画像を取得し、それが最初のフレーム画像であれば、画像全体から特徴点を抽出する（ステップＳ１０１〜Ｓ１０３）。
【００９７】
次に、相対位置判定部１３２は、フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とについて比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置を判定する（ステップＳ１０４）。このとき、相対位置が判定できてフレーム画像の位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される（ステップＳ１０５，Ｓ１１０，Ｓ１１１）。
【００９８】
一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部１３２は、前回の位置合わせの結果、すなわち、１フレーム前の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と基準画像との間の重複領域を推定する（ステップＳ１０２，Ｓ１０６，Ｓ１０７）。特徴量抽出部１３１は、この推定された重複領域から特徴点を抽出する。
【００９９】
次に、相対位置判定部１３２は、現在の位置合わせ用フレーム画像と基準画像との間の重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する（ステップＳ１０８）。このとき、相対位置が判定できなければ、ステップＳ１０３以降の処理手順が実行される（ステップＳ１０９）。ステップＳ１０９において相対位置が判定できて位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される（ステップＳ１１０，Ｓ１１１）。
【０１００】
ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて静止画像が取り込まれ、保存用モザイク画像との間のパターンマッチングによって位置合わせが行われる（ステップＳ１１２，Ｓ１１４）。この位置合わせの結果に基づいて静止画像及び保存用モザイク画像間で連結処理が行われ、表示用及び保存用のモザイク画像が更新される（ステップＳ１１５，Ｓ１１６）。ステップＳ１０１からＳ１１６までの処理手順は、撮影終了が指示されるまで繰り返され、撮影終了が指示されると、この処理は終了する（ステップＳ１１３）。
【０１０１】
ステップＳ１０５において相対位置が判定できず、位置合わせに失敗した場合には、マッチングエラーが報知され、フレーム画像のモザイク画像に対する表示位置を固定してライブ画像が更新される（ステップＳ１１７〜Ｓ１１９）。このライブ画像の更新後、静止画像の取込み指示があった場合、連結不可である旨がエラー報知される（ステップＳ１２０，Ｓ１２２）。
【０１０２】
次に、撮影終了が指示されると、この処理は終了する（ステップＳ１２１）。一方、撮影終了の指示がなければ、特徴量抽出部１３１は、新たな位置合わせ用フレーム画像を取得し、画像全体から特徴点を抽出する（ステップＳ１２１，Ｓ１２３，Ｓ１２４）。
【０１０３】
そして、相対位置判定部１３２は、フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とについて比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置を判定する（ステップＳ１２５）。このとき、相対位置が判定できず、位置合わせに失敗すれば、ステップＳ１１９以降の処理手順が繰り返される。一方、相対位置が判定できて位置合わせに成功した場合には、ステップＳ１１０以降の処理手順が繰り返される。
【０１０４】
本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、ライブ画像の表示位置は、フレーム画像の位置合わせに成功した場合にフレーム画像及びモザイク画像間の相対位置に応じて変更されるのに対して、位置合わせに失敗した場合には変更されないので、位置合わせに成功した最後のフレーム画像によって表示位置を固定させることができる。
【０１０５】
従って、撮影中の視野をライブ画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに失敗した後、視野を移動させてもライブ画像の表示位置は固定されたまま保持されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。また、フレーム画像及びモザイク画像から抽出した特徴点の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。
【０１０６】
さらに、撮影中の視野をライブ画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
【０１０７】
なお、本実施の形態では、位置合わせに失敗した後のフレーム画像について、フレーム画像の位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量との比較によって相対位置が判定される場合の例について説明したが、本発明はこれに限られるものではない。例えば、位置合わせに失敗した後に取得されるフレーム画像について、モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって、フレーム画像及びモザイク画像間の相対位置を判定するものも本発明には含まれる。
【０１０８】
また、本実施の形態では、基準画像がフレーム画像との重複領域の面積が最も大きくなるように随時変更される場合の例について説明したが、本発明はこれに限られるものではない。例えば、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較によっても相対位置が判定できなかった場合に、基準画像を変更し、変更後の基準画像全体の特徴点と位置合わせ用フレーム画像全体の特徴点とを比較することによって相対位置を判定するようなものであっても良い。この場合、基準画像を変更しても相対位置が判定できなければ、フレーム画像の位置合わせに失敗したと判断される。また、フレーム画像の位置合わせに失敗した後に取得されるフレーム画像については、位置合わせに成功した最後の基準画像全体の特徴量と位置合わせ用フレーム画像全体の特徴量とを比較することによって相対位置の判定が行われる。
【０１０９】
また、本実施の形態では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。
【０１１０】
また、本実施の形態では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ２３０のｘ軸方向及びｙ軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものも本発明には含まれる。
【０１１１】
一般に、静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、一定レベル以上の平滑度で滑らかにつなぎ合わせるためには、静止画像及び保存用モザイク画像間で一定量以上の重複領域が存在している必要がある。そこで、位置センサーの出力に基づいてフレーム画像及びモザイク画像間の相対位置を判定する撮像装置において、現在のフレーム画像に対応する静止画像ではモザイク画像と滑らかに連結できなくなった場合に、ライブ画像の表示位置を固定することが考えられる。
【０１１２】
この様に構成すれば、ライブ画像と同じ視野の静止画像ではモザイク画像と滑らかに連結できなくなった場合に、ライブ画像の表示位置が固定されるので、撮影中の視野では作成中のモザイク画像と滑らかに連結できなくなったことをユーザに認識させることができる。
【符号の説明】
【０１１３】
１ 拡大観察装置
１００ システム本体部
１１０ ディスプレイ
１１１ ライブ画面
１２１，１２８ 表示用縮小部
１２２ 表示用モザイク画像記憶部
１２３ ライブ画像更新部
１２４ 保存用モザイク画像記憶部
１２５ ライブ位置合わせ部
１２５ａ，１２５ｂ 位置合わせ用縮小部
１２５ｃ マッチング処理部
１２６ 静止画像取得部
１２７ モザイク画像生成部
１２７ａ 保存用位置合わせ部
１２７ｂ 画像連結部
１３１ 特徴量抽出部
１３２ 相対位置判定部
１４１ 比較部
１４２ 相対位置演算部
１４３ 重複領域推定部
２００ カメラ部
２１０ カメラ
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用モザイク画像
Ｂ１ 基準画像
Ｂ２ フレーム画像
Ｂ３ 特徴点
【技術分野】
【０００１】
本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。
【背景技術】
【０００２】
視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影するデジタルマイクロスコープなどの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。
【０００３】
例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。
【０００４】
一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。ところが、動画像を構成するフレーム画像とモザイク画像との間の相対位置をこれらの画像間のパターンマッチングによって判断して動画像をモザイク画像上に表示させる場合、フレーム画像の位置合わせに失敗すると、撮影中の視野と作成中のモザイク画像との位置関係がわからなくなってしまうという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みてなされたものであり、システム構成を複雑化させることなく、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる撮像装置を提供することを目的とする。特に、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに失敗したことを容易に認識することができる撮像装置を提供することを目的とする。また、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、前記可動ステージを移動させることにより前記カメラの視野を変更して前記検査対象物の異なる位置を撮影した重複領域を有する２以上の画像を張り合わせることにより、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、前記モザイク画像の特徴量と、前記フレーム画像の特徴量とを抽出する特徴量抽出手段と、前記フレーム画像の特徴量と前記モザイク画像の特徴量とを比較することによって、前記モザイク画像及び前記フレーム画像間の相対位置を判定する相対位置判定手段とを備え、前記相対位置判定手段は、前記モザイク画像と前記フレーム画像間の相対位置の判定に失敗した後に取得される各フレーム画像の特徴量と、前記モザイク画像に最後に連結された画像を基準画像とし、当該基準画像の特徴量による相対位置の判定を行うように構成される。
【０００７】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラによって撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像から特徴量を抽出する特徴量抽出手段と、上記特徴量の比較によって、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段とを備え、上記ライブ画像表示手段が、上記相対位置判定手段によって上記フレーム画像の位置合わせに成功したと判定された場合に、上記表示位置を上記相対位置に応じて変更し、上記フレーム画像の位置合わせに失敗したと判定された場合に、上記表示位置を固定するように構成される。また、本発明による撮像装置は、上記構成に加え、上記ライブ画像表示手段が、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に上記表示位置を固定するように構成される。
【０００８】
この様な構成によれば、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
【０００９】
本発明による他の撮像装置は、上記構成に加え、上記ライブ画像表示手段が、上記フレーム画像の位置合わせに失敗した後、上記最後のフレーム画像の表示位置に上記表示位置を固定して新たに取得されるフレーム画像を表示し、当該表示位置に表示されるフレーム画像を新たに取得されるフレーム画像に更新することによって、動画像の表示を継続するように構成される。この様な構成によれば、フレーム画像の位置合わせに失敗した後は、表示位置を固定しつつ動画像の表示を継続するので、位置合わせ可能な位置への復帰をし易くすることができる。
【００１０】
本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記モザイク画像から特徴量を抽出する際に、当該モザイク画像に対して最後に張り合わされた静止画像を基準画像として、当該基準画像内の特徴量を抽出し、上記相対位置判定手段が、上記フレーム画像の位置合わせに失敗した後に取得されるフレーム画像について、当該フレーム画像と上記モザイク画像との間の相対位置をフレーム画像内の特徴量と上記基準画像内の特徴量とを比較することによって判定し、上記基準画像内の特徴量との比較では相対位置が判定できなかった場合に、フレーム画像内の特徴量と上記モザイク画像の上記基準画像を除く画像領域内の特徴量とを比較することによって上記相対位置を判定するように構成される。
【００１１】
本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、上記フレーム画像全体の特徴量と上記基準画像全体の特徴量との比較によっても上記相対位置が判定できなかった場合に、上記モザイク画像に対して最後に張り合わされた静止画像に隣接する静止画像を基準画像として、この基準画像全体の特徴量と上記フレーム画像全体の特徴量とを比較することによって上記相対位置を判定するように構成される。この様な構成によれば、フレーム画像全体及び基準画像全体の特徴量の比較によっても相対位置が判定できなかった場合に、最後に張り合わされた静止画像に隣接する静止画像全体の特徴量とフレーム画像全体の特徴量とを比較することによって相対位置を判定するので、処理負荷の増大を抑制しつつフレーム画像とモザイク画像との位置合わせの精度を向上させることができる。
【００１２】
本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、位置合わせに失敗した後に取得されるフレーム画像について、上記モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって上記相対位置を判定するように構成される。この様な構成によれば、位置合わせに失敗した後、モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって相対位置を判定するので、処理負荷の増大を抑制しつつフレーム画像とモザイク画像との位置合わせの精度を向上させることができる。
【００１３】
本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記モザイク画像から特徴量を抽出する際に、当該モザイク画像に対して最後に張り合わされた静止画像を基準画像として、当該基準画像内の特徴量を抽出し、上記相対位置判定手段が、過去の相対位置の判定結果に基づいて上記フレーム画像及び上記基準画像間の重複領域を推定し、上記重複領域内の特徴量を比較することによって上記相対位置を判定し、上記重複領域内の特徴量の比較では上記相対位置が判定できなかった場合に、上記フレーム画像全体の特徴量と上記基準画像全体の特徴量とを比較することによって上記相対位置を判定するように構成される。この様な構成によれば、フレーム画像及びモザイク画像間の相対位置が、過去の相対位置の判定結果から推定したフレーム画像及び基準画像間の重複領域内の特徴量を比較することによって判定される。一方、重複領域内の特徴量の比較では相対位置が判定できなかった場合には、これらの画像全体の特徴量を比較することによって判定されるので、処理負荷の増大を抑制しつつフレーム画像とモザイク画像との位置合わせの精度を向上させることができる。
【００１４】
本発明による他の撮像装置は、上記構成に加え、上記ライブ画像表示手段が、位置合わせに失敗したと判定されたフレーム画像を成功したと判定された場合とは異なる表示態様で表示するように構成される。この様な構成によれば、位置合わせに失敗したフレーム画像が成功したフレーム画像とは異なる表示態様で表示されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。
【００１５】
本発明による他の撮像装置は、上記構成に加え、上記動画像を構成するフレーム画像を縮小して位置合わせ用フレーム画像を生成し、上記モザイク画像を縮小して位置合わせ用モザイク画像を生成する位置合わせ用縮小手段と、上記動画像を構成するフレーム画像を縮小して表示用フレーム画像を生成し、上記モザイク画像を縮小して表示用モザイク画像を生成する表示用縮小手段とを備え、上記特徴量抽出手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像から特徴量を抽出し、上記相対位置判定手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像間の相対位置を判定し、上記ライブ画像表示手段が、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像をライブ画像として表示し、上記モザイク画像生成手段が、上記位置合わせ用モザイク画像よりも高い解像度でフレーム画像及びモザイク画像間の相対位置を推定して当該フレーム画像を当該モザイク画像に張り合わせ、新たなモザイク画像を生成するように構成される。
【００１６】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージの位置を検出する位置センサーと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラによって撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記位置センサーの出力に基づいて、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段とを備え、上記ライブ画像表示手段が、上記フレーム画像に対応する静止画像では上記モザイク画像と滑らかに連結できなくなった場合に、上記表示位置を固定するように構成される。この様な構成によれば、フレーム画像に対応する静止画像ではモザイク画像と滑らかに連結できなくなった場合に、動画像の表示位置が固定されるので、撮影中の視野では作成中のモザイク画像と滑らかに連結できなくなったことをユーザに認識させることができる。
【発明の効果】
【００１７】
本発明による撮像装置によれば、撮影中の視野が動画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、動画像の表示位置は、フレーム画像の位置合わせに成功した場合にフレーム画像及びモザイク画像間の相対位置に応じて変更されるのに対して、位置合わせに失敗した場合に固定されるので、位置合わせに成功した最後のフレーム画像によって表示位置を固定させることができる。従って、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに失敗した後、視野を移動させても動画像の表示位置は固定されたまま保持されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。また、フレーム画像及びモザイク画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができるので、システム構成を複雑化させることなく、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる。また、本発明による撮像装置によれば、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置１が示されている。
【図２】図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。
【図３】図２のシステム本体部１００におけるライブ位置合わせ部１２５の構成例を示したブロック図であり、マッチング処理部１２５ｃ内の機能構成が示されている。
【図４】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像Ａ１及び表示用モザイク画像Ａ３が示されている。
【図５】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面１１１が示されている。
【図６】図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、全特徴点Ｂ３の比較によって特徴点間の正対応が抽出される様子が示されている。
【図７】図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。
【図８】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、モザイク画像に対して位置合わせされたライブ画像が示されている。
【図９】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、図８のモザイク画像に対して位置合わせされたライブ画像が示されている。
【図１０】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴って基準画像が変更される様子が示されている。
【図１１】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、視野の移動に伴ってフレーム画像の位置合わせに失敗する様子が示されている。
【図１２】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、位置合わせの失敗後に新たに位置合わせされたライブ画像が示されている。
【図１３】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。
【図１４】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。
【図１５】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【００１９】
＜拡大観察装置＞
図１は、本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。
【００２０】
カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、円筒形状の筐体内に対物レンズ、ＣＣＤイメージセンサー、照明装置などを配置して構成されている。
【００２１】
可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。
【００２２】
可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。
【００２３】
具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。
【００２４】
コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。
【００２５】
システム本体部１００は、カメラ２１０によって撮影された動画像をディスプレイ１１０上に表示し、動画像を構成するフレーム画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
【００２６】
＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、表示用縮小部１２１，１２８、表示用モザイク画像記憶部１２２、ライブ画像更新部１２３、保存用モザイク画像記憶部１２４、ライブ位置合わせ部１２５、静止画像取得部１２６及びモザイク画像生成部１２７を備えて構成される。
【００２７】
表示用縮小部１２１は、カメラ２１０からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部１２３へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。
【００２８】
表示用モザイク画像記憶部１２２は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
【００２９】
保存用モザイク画像記憶部１２４は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。
【００３０】
ライブ位置合わせ部１２５は、位置合わせ用縮小部１２５ａ，１２５ｂ及びマッチング処理部１２５ｃからなり、カメラ２１０から連続して得られるフレーム画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。
【００３１】
位置合わせ用縮小部１２５ａは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。位置合わせ用縮小部１２５ｂは、保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。
【００３２】
マッチング処理部１２５ｃは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部１２３へ出力する動作を行っている。
【００３３】
ライブ画像更新部１２３では、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を更新する動作が行われる。
【００３４】
静止画像取得部１２６は、コンソール３００からの取込み指示に基づいて、カメラ２１０によって撮影された静止画像を取得し、モザイク画像生成部１２７へ出力する動作を行っている。カメラ２１０から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の１つであっても良い。
【００３５】
モザイク画像生成部１２７は、保存用位置合わせ部１２７ａ及び画像連結部１２７ｂからなり、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。
【００３６】
保存用位置合わせ部１２７ａは、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で静止画像及び保存用モザイク画像間の相対位置が推定される。
【００３７】
画像連結部１２７ｂは、保存用位置合わせ部１２７ａによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とが、保存用位置合わせ部１２７ａによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
【００３８】
静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、両画像の重複領域について画素値のブレンディング処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。
【００３９】
表示用縮小部１２８は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部１２４から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。
【００４０】
ここで、ライブ位置合わせ部１２５は、保存用位置合わせ部１２７ａに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
【００４１】
＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるライブ位置合わせ部１２５の構成例を示したブロック図であり、マッチング処理部１２５ｃ内の機能構成の一例が示されている。このマッチング処理部１２５ｃは、特徴量抽出部１３１及び相対位置判定部１３２により構成される。
【００４２】
特徴量抽出部１３１は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
【００４３】
この特徴量抽出部１３１では、保存用モザイク画像のサイズが大きくなった場合の位置合わせに要する処理時間を短縮させるという観点から、位置合わせ用モザイク画像から特徴点を抽出する際に、保存用モザイク画像の一部、例えば、当該保存用モザイク画像に対して最後に張り合わされた静止画像を位置合わせ用の基準画像として、この基準画像内の特徴点を抽出する動作が行われる。
【００４４】
相対位置判定部１３２は、比較部１４１、相対位置演算部１４２及び重複領域推定部１４３からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部１４１は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４２へ出力する動作を行っている。
【００４５】
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
【００４６】
この比較部１４１では、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較する際に、位置合わせ用フレーム画像の特徴点と基準画像の特徴点とを比較する動作が行われる。
【００４７】
相対位置演算部１４２は、比較部１４１による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部１４３へ出力し、相対位置情報をライブ画像更新部１２３へ出力する動作を行っている。
【００４８】
重複領域推定部１４３は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。
【００４９】
この重複領域推定部１４３では、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する際に、位置合わせ用フレーム画像と位置合わせ用の基準画像との重複領域を推定する動作が行われる。
【００５０】
比較部１４１では、重複領域推定部１４３によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４２へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、位置合わせ用モザイク画像のうちマッチング処理の対象となっている位置合わせ用の基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。
【００５１】
つまり、相対位置演算部１４２は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。
【００５２】
また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。
【００５３】
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
【００５４】
一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
【００５５】
ここでは、特徴量抽出部１３１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４３によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
【００５６】
また、ライブ画像更新部１２３では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４２による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。
【００５７】
その際、相対位置判定部１３２によってフレーム画像の位置合わせに成功したと判定された場合に、ライブ画像の上記表示位置を相対位置の判定結果に応じて変更する動作が行われる。一方、相対位置が判定できず、フレーム画像の位置合わせに失敗したと判定された場合には、ライブ画像の表示位置を変更せず、例えば、位置合わせに成功したと判定された最後のフレーム画像の表示位置付近に固定する動作が行われる。
【００５８】
つまり、フレーム画像の位置合わせに失敗した後は、位置合わせに成功した最後のフレーム画像の表示位置にライブ画像の表示位置を固定して新たに取得されるフレーム画像を表示し、当該表示位置に表示されるフレーム画像を新たに取得されるフレーム画像に更新することによって、ライブ画像の表示が継続される。
【００５９】
ここで、基準画像は、モザイク画像を構成する静止画像のうち、フレーム画像との重複領域の面積が最も大きな静止画像が常に基準画像となるように随時変更されるものとする。そして、この様な基準画像に対して相対位置が判定できなかった場合に、フレーム画像の位置合わせに失敗したと判断されるものとする。
【００６０】
また、フレーム画像の位置合わせに失敗した後に取得されるフレーム画像については、当該フレーム画像とモザイク画像との間の相対位置をフレーム画像内の特徴量と基準画像内の特徴量とを比較することによって判定する。そして、基準画像内の特徴量との比較では相対位置が判定できなかった場合には、フレーム画像内の特徴量とモザイク画像の基準画像を除く画像領域内の特徴量とを比較することによって相対位置を判定する動作が行われる。
【００６１】
つまり、前回の位置合わせ時にフレーム画像の位置合わせに成功していれば、位置合わせに成功したフレーム画像の相対位置情報に基づいて現在のフレーム画像と基準画像との間の重複領域を推定し、重複領域内の特徴点の比較によって相対位置が判定される（高速追従モードと呼ぶことにする）。これに対して、フレーム画像の位置合わせに失敗すると、動作モードが高速追従モードから視野探索モードに切り替えられ、位置合わせの失敗後に取得されたフレーム画像については、フレーム画像内の特徴量と基準画像内の特徴量とを比較することによって相対位置が判定され、基準画像内の特徴量との比較では相対位置が判定できなければ、フレーム画像の特徴量とモザイク画像の基準画像以外の画像領域の特徴量とを比較することによって相対位置が判定される。
【００６２】
また、ライブ画像更新部１２３では、位置合わせに失敗したと判定されたフレーム画像を成功したと判定された場合とは異なる表示態様、例えば、白黒を反転させたり、色を異ならせて表示する動作が行われる。或いは、フレーム画像のモザイク画像に対する表示位置の更新履歴などから基準画像とフレーム画像とのオーバーラップが増加する方向を判断し、当該方向を示す矢印などを表示させても良い。また、フレーム画像の位置合わせに失敗した場合のエラー報知として、位置合わせに失敗したことを示すメッセージを表示し、或いは、警報音を出力する動作が行われる。
【００６３】
＜ライブ画面＞
図４及び図５は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図４には、カメラ２１０によって撮影された動画像Ａ１及び表示用モザイク画像Ａ３が示されている。また、図５には、モザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。
【００６４】
動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。
【００６５】
表示用モザイク画像Ａ３は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。
【００６６】
ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用モザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
【００６７】
つまり、撮影中の動画像Ａ１が作成中の表示用モザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。
【００６８】
＜パターンマッチング＞
図６（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像Ｂ１及び位置合わせ用のフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図６（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図６（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。
【００６９】
基準画像Ｂ１は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された静止画像が基準画像Ｂ１として抽出される。或いは、保存用モザイク画像に対して最後に連結された静止画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された静止画像に隣接する他の静止画像が基準画像Ｂ１として抽出される。
【００７０】
基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。
【００７１】
特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
【００７２】
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。
【００７３】
図７（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。図７（ａ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から求められた両画像の重複領域Ｂ４が示されている。また、図７（ｂ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された基準画像及び第ｎフレーム画像の重複領域Ｂ５，Ｂ６が示されている。
【００７４】
基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
【００７５】
すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
【００７６】
類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
【００７７】
本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う図７の方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図６の方法が採用される。
【００７８】
また、カメラ２１０から連続して取得されるフレーム画像に対してリアルタイムに行われる位置合わせ処理では、上述した様な特徴点の正対応の数が一定レベルを下回ると、相対位置が判定できず、位置合わせに失敗したと判断される。
【００７９】
位置合わせに失敗する原因としては、ピンボケなどの影響によって位置合わせに必要な特徴点が検出できないケースが考えられる。また、基準画像とフレーム画像とのオーバーラップが少なすぎ、或いは、フレーム間の移動量が大きいために、前回の位置合わせ結果から推定した重複領域が実際の重複領域と大きくずれているケースが考えられる。
【００８０】
図８及び図９は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像上にライブ画像が表示されたライブ画面１１１が示されている。図８（ａ）には、２枚の静止画像からなるモザイク画像から抽出された基準画像に対して位置合わせされたライブ画像が示され、図８（ｂ）には、図８（ａ）のライブ画像と同じ視野の静止画像を取り込んで張り合わせることによって更新されたモザイク画像が示されている。
【００８１】
この例では、保存用モザイク画像から抽出された位置合わせ用の基準画像が、破線で示された矩形の枠内に配置されている。この基準画像は、保存用モザイク画像に対して最後に張り合わされた静止画像となっている。
【００８２】
一方、ライブ画像は、実線で示された矩形の枠内に配置され、その矩形枠の表示位置は、基準画像及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて決定される。すなわち、ライブ画像の表示位置は、フレーム画像の位置合わせに成功すれば、フレーム画像の相対位置に応じて変更されるのに対して、位置合わせに失敗すれば、位置合わせに成功した最後のフレーム画像の位置に固定される。
【００８３】
図８（ａ）の状態で張り合わせ用の静止画像の取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新される。このとき、基準画像も取り込まれた静止画像に対応するものに変更される。
【００８４】
図９（ａ）には、図８（ｂ）のモザイク画像から抽出された基準画像に対して位置合わせされたライブ画像が示され、図９（ｂ）には、図９（ａ）のライブ画像と同じ視野の静止画像を取り込んで張り合わせることによって更新されたモザイク画像が示されている。
【００８５】
図９（ａ）の基準画像は、作成中の保存用モザイク画像に対して最後に張り合わされた静止画像となっている。図８（ｂ）の状態から可動ステージ２３０を上方向に移動させれば、撮影中の視野は、ワーク（検査対象物）に対して下方向に移動し、図９（ａ）のライブ画像が得られる。
【００８６】
図９（ａ）の状態で取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新され、基準画像も取り込まれた静止画像に対応するものに変更される。
【００８７】
図１０（ａ）及び（ｂ）は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴って基準画像が変更される様子が示されている。図１０（ａ）には、図９（ｂ）のモザイク画像に対して最後に張り合わされた静止画像を基準画像として位置合わせされたライブ画像が示されている。また、図１０（ｂ）には、撮影中の視野の移動に伴って変更された基準画像に対して位置合わせされたライブ画像が示されている。
【００８８】
図１０（ａ）の状態から可動ステージ２３０を左方向に移動させれば、撮影中の視野は、ワークに対して右方向に移動する。この視野の移動により、フレーム画像と、モザイク画像に対して最後に張り合わされた静止画像とのオーバーラップが少なくなれば、基準画像が変更される。
【００８９】
具体的には、モザイク画像に対して最後に張り合わされた静止画像からフレーム画像との重複領域が最も大きな静止画像に基準画像が変更され、フレーム画像の位置合わせが行われる。この新たな基準画像は、フレーム画像のモザイク画像に対する表示位置の更新履歴や過去の位置合わせの結果に基づいて、フレーム画像との重複領域の面積が最大となる画像パッチが選択される。この例では、モザイク画像を構成する静止画像のうち、最後に張り合わされた静止画像の右隣の静止画像が新たな基準画像として選択されている。
【００９０】
図１１（ａ）及び（ｂ）は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴ってフレーム画像の位置合わせに失敗する様子が示されている。図１１（ａ）には、位置合わせに失敗する直前のライブ画像が示され、図１１（ｂ）には、位置合わせに失敗した後のライブ画像が示されている。
【００９１】
図１１（ａ）のライブ画像は、図１０（ｂ）の基準画像に対して位置合わせされたフレーム画像からなる。図１１（ａ）の状態で可動ステージ２３０を移動させれば、フレーム画像と基準画像とのオーバーラップが少なくなって位置合わせに失敗することとなる。
【００９２】
位置合わせに失敗した後のフレーム画像は、その表示位置が、位置合わせに成功した最後のフレーム画像の表示位置付近に固定され、位置合わせに成功した場合とは異なる表示態様で表示される。
【００９３】
位置合わせに失敗した後のフレーム画像のモザイク画像に対する表示位置としては、位置合わせに成功した最後のフレーム画像の表示位置と数ピクセル程度のずれがあっても良い。
【００９４】
フレーム画像の位置合わせに失敗すると、動作モードが高速追従モードから視野探索モードに切り替えられ、位置合わせに失敗した後に取得されるフレーム画像については、位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量とを比較することによって相対位置が判定される。
【００９５】
図１２は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、位置合わせの失敗後に新たに位置合わせされたライブ画像が示されている。図１１の基準画像に対してフレーム画像の位置合わせに失敗すると、基準画像のどの部分から復帰しても良いように、動作モードが位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量との比較によって位置合わせを行う視野探索モードに切り替えられる。
【００９６】
図１３〜図１５のステップＳ１０１〜Ｓ１２６は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。まず、特徴量抽出部１３１は、位置合わせ用フレーム画像を取得し、それが最初のフレーム画像であれば、画像全体から特徴点を抽出する（ステップＳ１０１〜Ｓ１０３）。
【００９７】
次に、相対位置判定部１３２は、フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とについて比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置を判定する（ステップＳ１０４）。このとき、相対位置が判定できてフレーム画像の位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される（ステップＳ１０５，Ｓ１１０，Ｓ１１１）。
【００９８】
一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部１３２は、前回の位置合わせの結果、すなわち、１フレーム前の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と基準画像との間の重複領域を推定する（ステップＳ１０２，Ｓ１０６，Ｓ１０７）。特徴量抽出部１３１は、この推定された重複領域から特徴点を抽出する。
【００９９】
次に、相対位置判定部１３２は、現在の位置合わせ用フレーム画像と基準画像との間の重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する（ステップＳ１０８）。このとき、相対位置が判定できなければ、ステップＳ１０３以降の処理手順が実行される（ステップＳ１０９）。ステップＳ１０９において相対位置が判定できて位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される（ステップＳ１１０，Ｓ１１１）。
【０１００】
ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて静止画像が取り込まれ、保存用モザイク画像との間のパターンマッチングによって位置合わせが行われる（ステップＳ１１２，Ｓ１１４）。この位置合わせの結果に基づいて静止画像及び保存用モザイク画像間で連結処理が行われ、表示用及び保存用のモザイク画像が更新される（ステップＳ１１５，Ｓ１１６）。ステップＳ１０１からＳ１１６までの処理手順は、撮影終了が指示されるまで繰り返され、撮影終了が指示されると、この処理は終了する（ステップＳ１１３）。
【０１０１】
ステップＳ１０５において相対位置が判定できず、位置合わせに失敗した場合には、マッチングエラーが報知され、フレーム画像のモザイク画像に対する表示位置を固定してライブ画像が更新される（ステップＳ１１７〜Ｓ１１９）。このライブ画像の更新後、静止画像の取込み指示があった場合、連結不可である旨がエラー報知される（ステップＳ１２０，Ｓ１２２）。
【０１０２】
次に、撮影終了が指示されると、この処理は終了する（ステップＳ１２１）。一方、撮影終了の指示がなければ、特徴量抽出部１３１は、新たな位置合わせ用フレーム画像を取得し、画像全体から特徴点を抽出する（ステップＳ１２１，Ｓ１２３，Ｓ１２４）。
【０１０３】
そして、相対位置判定部１３２は、フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とについて比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置を判定する（ステップＳ１２５）。このとき、相対位置が判定できず、位置合わせに失敗すれば、ステップＳ１１９以降の処理手順が繰り返される。一方、相対位置が判定できて位置合わせに成功した場合には、ステップＳ１１０以降の処理手順が繰り返される。
【０１０４】
本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、ライブ画像の表示位置は、フレーム画像の位置合わせに成功した場合にフレーム画像及びモザイク画像間の相対位置に応じて変更されるのに対して、位置合わせに失敗した場合には変更されないので、位置合わせに成功した最後のフレーム画像によって表示位置を固定させることができる。
【０１０５】
従って、撮影中の視野をライブ画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに失敗した後、視野を移動させてもライブ画像の表示位置は固定されたまま保持されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。また、フレーム画像及びモザイク画像から抽出した特徴点の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。
【０１０６】
さらに、撮影中の視野をライブ画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
【０１０７】
なお、本実施の形態では、位置合わせに失敗した後のフレーム画像について、フレーム画像の位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量との比較によって相対位置が判定される場合の例について説明したが、本発明はこれに限られるものではない。例えば、位置合わせに失敗した後に取得されるフレーム画像について、モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって、フレーム画像及びモザイク画像間の相対位置を判定するものも本発明には含まれる。
【０１０８】
また、本実施の形態では、基準画像がフレーム画像との重複領域の面積が最も大きくなるように随時変更される場合の例について説明したが、本発明はこれに限られるものではない。例えば、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較によっても相対位置が判定できなかった場合に、基準画像を変更し、変更後の基準画像全体の特徴点と位置合わせ用フレーム画像全体の特徴点とを比較することによって相対位置を判定するようなものであっても良い。この場合、基準画像を変更しても相対位置が判定できなければ、フレーム画像の位置合わせに失敗したと判断される。また、フレーム画像の位置合わせに失敗した後に取得されるフレーム画像については、位置合わせに成功した最後の基準画像全体の特徴量と位置合わせ用フレーム画像全体の特徴量とを比較することによって相対位置の判定が行われる。
【０１０９】
また、本実施の形態では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。
【０１１０】
また、本実施の形態では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ２３０のｘ軸方向及びｙ軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものも本発明には含まれる。
【０１１１】
一般に、静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、一定レベル以上の平滑度で滑らかにつなぎ合わせるためには、静止画像及び保存用モザイク画像間で一定量以上の重複領域が存在している必要がある。そこで、位置センサーの出力に基づいてフレーム画像及びモザイク画像間の相対位置を判定する撮像装置において、現在のフレーム画像に対応する静止画像ではモザイク画像と滑らかに連結できなくなった場合に、ライブ画像の表示位置を固定することが考えられる。
【０１１２】
この様に構成すれば、ライブ画像と同じ視野の静止画像ではモザイク画像と滑らかに連結できなくなった場合に、ライブ画像の表示位置が固定されるので、撮影中の視野では作成中のモザイク画像と滑らかに連結できなくなったことをユーザに認識させることができる。
【符号の説明】
【０１１３】
１ 拡大観察装置
１００ システム本体部
１１０ ディスプレイ
１１１ ライブ画面
１２１，１２８ 表示用縮小部
１２２ 表示用モザイク画像記憶部
１２３ ライブ画像更新部
１２４ 保存用モザイク画像記憶部
１２５ ライブ位置合わせ部
１２５ａ，１２５ｂ 位置合わせ用縮小部
１２５ｃ マッチング処理部
１２６ 静止画像取得部
１２７ モザイク画像生成部
１２７ａ 保存用位置合わせ部
１２７ｂ 画像連結部
１３１ 特徴量抽出部
１３２ 相対位置判定部
１４１ 比較部
１４２ 相対位置演算部
１４３ 重複領域推定部
２００ カメラ部
２１０ カメラ
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用モザイク画像
Ｂ１ 基準画像
Ｂ２ フレーム画像
Ｂ３ 特徴点
【特許請求の範囲】
【請求項１】
検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、
前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、
前記可動ステージを移動させることにより前記カメラの視野を変更して前記検査対象物の異なる位置を撮影した重複領域を有する２以上の画像を張り合わせることにより、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、
前記モザイク画像の特徴量と、前記フレーム画像の特徴量とを抽出する特徴量抽出手段と、
前記フレーム画像の特徴量と前記モザイク画像の特徴量とを比較することによって、前記モザイク画像及び前記フレーム画像間の相対位置を判定する相対位置判定手段とを備え、
前記相対位置判定手段は、前記モザイク画像と前記フレーム画像間の相対位置の判定に失敗した後に取得される各フレーム画像に対して、前記モザイク画像に最後に連結された画像を基準画像とし、当該基準画像の特徴量による相対位置の判定を行うことを特徴とする撮像装置。
【請求項２】
前記モザイク画像を構成する複数の画像の内、前記フレーム画像との相対位置判定の対象となっている基準画像を矩形の枠内に配置して表示する画像表示手段を備え、
前記相対位置判定手段は、前記相対位置の判定に失敗した後に取得されたフレーム画像と、上記矩形の枠内に配置して表示された基準画像との相対位置の判定を行うことを特徴とする撮像装置。
【請求項３】
前記画像表示手段は、前記相対位置判定手段により判定された相対位置に応じた前記フレーム画像の位置を矩形枠として表示することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記特徴量抽出手段は、前記相対位置判定手段により前記基準画像と前記フレーム画像との相対位置の判定に失敗した際に、前記フレーム画像と前記モザイク画像の前記基準画像を除く画像領域内の特徴量を抽出し、
前記相対位置判定手段は、前記特徴量を比較することにより前記モザイク画像の前記基準画像を除く画像領域と前記フレーム画像間の相対位置の判定を行うことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記モザイク画像生成手段は、前記相対位置判定手段により前記モザイク画像及び前記フレーム画像間の相対位置の判定に成功した際に、該フレーム画像と同じ視野の画像を取り込んで前記モザイク画像と連結し、新たなモザイク画像を生成することを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項６】
前記新たなモザイク画像である保存用モザイク画像を記憶する保存用モザイク画像記憶手段と、
前記保存用モザイク画像を縮小した表示用モザイク画像を生成する表示用縮小手段とを更に備え、
前記画像表示手段は、前記表示用モザイク画像を表示することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記相対位置判定手段により前記モザイク画像及び前記フレーム画像間の相対位置の判定が失敗した際に、エラーを報知するエラー報知手段を更に備えることを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記画像表示手段は更に、連続する複数の前記フレーム画像からなるライブ画像を表示することを特徴とする請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記画像表示手段は、前記相対位置判定手段により、前記モザイク画像及び前記フレーム画像間の相対位置の判定に失敗した後、前記ライブ画像の表示を継続することを特徴とする請求項８に記載の撮像装置。
【請求項１】
検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、
前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、
前記可動ステージを移動させることにより前記カメラの視野を変更して前記検査対象物の異なる位置を撮影した重複領域を有する２以上の画像を張り合わせることにより、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、
前記モザイク画像の特徴量と、前記フレーム画像の特徴量とを抽出する特徴量抽出手段と、
前記フレーム画像の特徴量と前記モザイク画像の特徴量とを比較することによって、前記モザイク画像及び前記フレーム画像間の相対位置を判定する相対位置判定手段とを備え、
前記相対位置判定手段は、前記モザイク画像と前記フレーム画像間の相対位置の判定に失敗した後に取得される各フレーム画像に対して、前記モザイク画像に最後に連結された画像を基準画像とし、当該基準画像の特徴量による相対位置の判定を行うことを特徴とする撮像装置。
【請求項２】
前記モザイク画像を構成する複数の画像の内、前記フレーム画像との相対位置判定の対象となっている基準画像を矩形の枠内に配置して表示する画像表示手段を備え、
前記相対位置判定手段は、前記相対位置の判定に失敗した後に取得されたフレーム画像と、上記矩形の枠内に配置して表示された基準画像との相対位置の判定を行うことを特徴とする撮像装置。
【請求項３】
前記画像表示手段は、前記相対位置判定手段により判定された相対位置に応じた前記フレーム画像の位置を矩形枠として表示することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記特徴量抽出手段は、前記相対位置判定手段により前記基準画像と前記フレーム画像との相対位置の判定に失敗した際に、前記フレーム画像と前記モザイク画像の前記基準画像を除く画像領域内の特徴量を抽出し、
前記相対位置判定手段は、前記特徴量を比較することにより前記モザイク画像の前記基準画像を除く画像領域と前記フレーム画像間の相対位置の判定を行うことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記モザイク画像生成手段は、前記相対位置判定手段により前記モザイク画像及び前記フレーム画像間の相対位置の判定に成功した際に、該フレーム画像と同じ視野の画像を取り込んで前記モザイク画像と連結し、新たなモザイク画像を生成することを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項６】
前記新たなモザイク画像である保存用モザイク画像を記憶する保存用モザイク画像記憶手段と、
前記保存用モザイク画像を縮小した表示用モザイク画像を生成する表示用縮小手段とを更に備え、
前記画像表示手段は、前記表示用モザイク画像を表示することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記相対位置判定手段により前記モザイク画像及び前記フレーム画像間の相対位置の判定が失敗した際に、エラーを報知するエラー報知手段を更に備えることを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記画像表示手段は更に、連続する複数の前記フレーム画像からなるライブ画像を表示することを特徴とする請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記画像表示手段は、前記相対位置判定手段により、前記モザイク画像及び前記フレーム画像間の相対位置の判定に失敗した後、前記ライブ画像の表示を継続することを特徴とする請求項８に記載の撮像装置。
【図１】
【図２】
【図３】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２１７０６（Ｐ２０１３−２１７０６Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１２−１９５５９２（Ｐ２０１２−１９５５９２）
【出願日】平成２４年９月５日（２０１２．９．５）
【分割の表示】特願２０１１−２０３８４０（Ｐ２０１１−２０３８４０）の分割
【原出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２４年９月５日（２０１２．９．５）
【分割の表示】特願２０１１−２０３８４０（Ｐ２０１１−２０３８４０）の分割
【原出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]