撮像装置
【課題】 撮影中の視野をモザイク画像上の適切な位置に表示させながら、静止画像を取り込んでモザイク画像に張り合わせる際に、張り合わせの前後でモザイク画像のサイズが大きく変化する場合であっても、モザイク画像全体を画面内に表示させることができる撮像装置を提供する。
【解決手段】 カメラ２１０で撮影された複数の静止画像を張り合わせてモザイク画像を生成するモザイク画像生成手段と、静止画像取得手段により新たな静止画像が取り込まれてモザイク画像が更新された際に、該モザイク画像の全体と、該モザイク画像との連結に必要なオーバーラップ領域を有する任意の位置のフレーム画像に対応するモザイク画像の周囲の画像領域とが少なくとも表示範囲内に含まれるように、モザイク画像を縮小する表示用縮小手段を備える。
【解決手段】 カメラ２１０で撮影された複数の静止画像を張り合わせてモザイク画像を生成するモザイク画像生成手段と、静止画像取得手段により新たな静止画像が取り込まれてモザイク画像が更新された際に、該モザイク画像の全体と、該モザイク画像との連結に必要なオーバーラップ領域を有する任意の位置のフレーム画像に対応するモザイク画像の周囲の画像領域とが少なくとも表示範囲内に含まれるように、モザイク画像を縮小する表示用縮小手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。
【背景技術】
【０００２】
視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影するデジタルマイクロスコープなどの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。
【０００３】
例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。
【０００４】
一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。この撮像装置では、張り合わせによってモザイク画像の画像サイズが変化するので、モザイク画像の一部が画面上に表示されなくなり、撮影中の視野と作成中のモザイク画像との位置関係がわからなくなってしまうという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みてなされたものであり、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる撮像装置を提供することを目的とする。特に、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させながら、静止画像を取り込んでモザイク画像に張り合わせる際に、張り合わせの前後でモザイク画像の画像サイズが大きく変化する場合であっても、表示用モザイク画像の全体を画面内に表示させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、外部からの取込み指示に基づいて、前記カメラによって撮影されたフレーム画像を静止画像として取得する静止画像取得手段と、前記静止画像取得手段で取得された２以上の静止画像を張り合わせて、前記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、前記モザイク画像生成手段により生成されたモザイク画像を記憶するモザイク画像記憶手段と、前記静止画像取得手段により新たな静止画像が取り込まれて前記モザイク画像記憶手段に記憶されたモザイク画像が更新された際に、該モザイク画像の全体と、該モザイク画像との連結に必要なオーバーラップ領域を有する任意の位置のフレーム画像に対応する前記モザイク画像の周囲の画像領域とが少なくとも表示範囲内に含まれるように、前記モザイク画像を縮小する表示用縮小手段と、前記表示用縮小手段により縮小されたモザイク画像を表示する画像表示手段とを備えて構成される。
【０００７】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラで撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記モザイク画像の画像サイズに基づいて上記フレーム画像及び当該モザイク画像をそれぞれ縮小し、表示用フレーム画像及び表示用モザイク画像を生成する表示用縮小手段と、上記相対位置の判定結果に基づいて、上記表示用フレーム画像の上記表示用モザイク画像に対する表示位置を更新し、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像を表示するライブ画像表示手段とを備えて構成される。
【０００８】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラで撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記モザイク画像の画像サイズに基づいて上記フレーム画像及び当該モザイク画像をそれぞれ縮小し、表示用フレーム画像及び表示用モザイク画像を生成する表示用縮小手段と、上記相対位置の判定結果に基づいて、上記表示用フレーム画像の上記表示用モザイク画像に対する表示位置を更新し、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像を表示するライブ画像表示手段とを備えて構成される。また、本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、上記表示用モザイク画像の全体が画面内に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。この様な構成によれば、表示用モザイク画像上に表示用フレーム画像からなる動画像をライブ画像として表示させる際に、モザイク画像全体が画面内につねに表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに容易に認識させることができる。
【０００９】
本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、上記表示用モザイク画像の全体と上記表示用フレーム画像の全体とが同時に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。この様な構成によれば、表示用モザイク画像上に表示用フレーム画像からなる動画像をライブ画像として表示させる際に、モザイク画像全体とフレーム画像全体とがつねに同時に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに容易に認識させることができる。
【００１０】
本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、画像の縦横比を一定に保持したまま上記フレーム画像及び上記モザイク画像を縮小するように構成される。
【００１１】
本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、上記表示用フレーム画像の上記表示用モザイク画像に対する上記表示位置が更新されるごとに、上記フレーム画像及び上記モザイク画像を縮小する際の縮小率を更新するように構成される。この様な構成によれば、表示用フレーム画像の表示位置が更新されるごとにフレーム画像及びモザイク画像を縮小する際の縮小率が更新されるので、表示位置の更新に追従させて表示用モザイク画像及び表示用フレーム画像の全体を適切に画面内に表示させることができる。
【００１２】
本発明による他の撮像装置は、上記構成に加え、上記モザイク画像と重複領域を有し、上記フレーム画像及び上記モザイク画像間の相対位置の判定が可能なフレーム画像の移動推奨エリアを表示する推奨エリア表示手段を備え、上記表示用縮小手段が、上記移動推奨エリア内の上記フレーム画像と上記モザイク画像とが同時に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。
【００１３】
本発明による他の撮像装置は、上記構成に加え、上記フレーム画像及び上記モザイク画像を一定の縮小率でそれぞれ縮小し、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を生成する位置合わせ用縮小手段と、上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像から特徴量を抽出する特徴量抽出手段とを備え、上記相対位置判定手段が、上記特徴量の比較によって上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像間の相対位置を判定し、上記表示用縮小手段が、上記表示用モザイク画像の全体と、一部が上記位置合わせ用モザイク画像と重複し、上記相対位置の判定に必要なオーバーラップ領域を有する任意の位置の上記位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが画面内に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。この様な構成によれば、位置合わせ用フレーム画像及び位置合わせ用モザイク画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。また、第８の本発明による撮像装置は、上記構成に加え、上記表示用縮小手段が、上記モザイク画像の画像サイズが一定サイズを越えると、上記フレーム画像及び上記モザイク画像を縮小する際の縮小率を固定するように構成される。この様な構成によれば、モザイク画像の画像サイズが一定サイズを越えると、フレーム画像及びモザイク画像を縮小する際の縮小率が固定されるので、小さくなりすぎて撮影中の視野と作成中のモザイク画像との位置関係が認識できなくなるのを抑制することができる。
【発明の効果】
【００１４】
本発明による撮像装置によれば、モザイク画像の画像サイズに基づいて画像の縮小が行われるので、張り合わせの前後でモザイク画像の画像サイズが大きく変化する場合であっても、表示用モザイク画像の全体を画面内に表示させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置１が示されている。
【図２】図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。
【図３】図２のシステム本体部１００におけるマッチング処理部１２５ｃの構成例を示したブロック図である。
【図４】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像Ａ１及び表示用モザイク画像Ａ３が示されている。
【図５】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面１１１が示されている。
【図６】図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、全特徴点Ｂ３の比較によって特徴点間の正対応が抽出される様子が示されている。
【図７】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、モザイク画像及びライブ画像が表示されたライブ画面１１１が示されている。
【図８】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、静止画像を張り合わせて更新された表示用モザイク画像が示されている。
【図９】図１の拡大観察装置１における張り合わせ用の画像取込み時の動作の一例を示したフローチャートである。
【図１０】本発明の実施の形態２による拡大観察装置におけるライブ画像表示時の動作の一例を示した図であり、ライブ画像が表示されたライブ画面１１１が示されている。
【図１１】本発明の実施の形態４による拡大観察装置の要部における構成例を示したブロック図であり、システム本体部１００ａ内の機能構成の一例が示されている。
【図１２】図１１の拡大観察装置におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された移動推奨エリアが示されている。
【発明を実施するための形態】
【００１６】
実施の形態１．
＜拡大観察装置＞
図１は、本発明の実施の形態１による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。
【００１７】
カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、円筒形状の筐体内に対物レンズ、ＣＣＤイメージセンサー、照明装置などを配置して構成されている。
【００１８】
可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。
【００１９】
可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。
【００２０】
具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。
【００２１】
コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。
【００２２】
システム本体部１００は、カメラ２１０によって撮影された動画像をディスプレイ１１０上に表示し、動画像を構成するフレーム画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
【００２３】
＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、表示用縮小部１２１，１２８、表示用モザイク画像記憶部１２２、ライブ画像更新部１２３、保存用モザイク画像記憶部１２４、ライブ位置合わせ部１２５、静止画像取得部１２６及びモザイク画像生成部１２７を備えて構成される。
【００２４】
表示用縮小部１２１は、カメラ２１０からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部１２３へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比、すなわち、縦横比が変わらないように縮小処理が行われるものとする。
【００２５】
表示用モザイク画像記憶部１２２は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
【００２６】
保存用モザイク画像記憶部１２４は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。
【００２７】
ライブ位置合わせ部１２５は、位置合わせ用縮小部１２５ａ，１２５ｂ及びマッチング処理部１２５ｃからなり、カメラ２１０から連続して得られるフレーム画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。
【００２８】
位置合わせ用縮小部１２５ａは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。位置合わせ用縮小部１２５ｂは、保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。
【００２９】
マッチング処理部１２５ｃは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部１２３へ出力する動作を行っている。
【００３０】
ライブ画像更新部１２３では、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を更新する動作が行われる。
【００３１】
ここで、ライブ位置合わせ部１２５は、保存用位置合わせ部１２７ａに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
【００３２】
静止画像取得部１２６は、コンソール３００からの取込み指示に基づいて、カメラ２１０によって撮影された静止画像を取得し、モザイク画像生成部１２７へ出力する動作を行っている。カメラ２１０から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の１つであっても良い。
【００３３】
モザイク画像生成部１２７は、保存用位置合わせ部１２７ａ及び画像連結部１２７ｂからなり、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。
【００３４】
保存用位置合わせ部１２７ａは、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で静止画像及び保存用モザイク画像間の相対位置が推定される。
【００３５】
画像連結部１２７ｂは、保存用位置合わせ部１２７ａによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とが、保存用位置合わせ部１２７ａによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
【００３６】
静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、両画像の重複領域について画素値のブレンディング処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。
【００３７】
ここでは、保存用モザイク画像が、一定サイズ、例えば、５１２×５１２ピクセルの複数の画像タイルに分割して保持され、保存用モザイク画像の更新時には、必要な部分だけをメモリ上に読み出して更新処理が行われるものとする。
【００３８】
表示用縮小部１２８は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部１２４から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。
【００３９】
表示用縮小部１２１及び１２８では、それぞれ保存用モザイク画像の画像サイズに基づいてフレーム画像及び保存用モザイク画像を縮小し、表示用フレーム画像及び表示用モザイク画像を生成する動作が行われる。具体的には、フレーム画像及び保存用モザイク画像を縮小する際の縮小率を保存用モザイク画像が更新されるごとに決定し、これらの画像を縮小する処理が行われる。
【００４０】
上記縮小率は、例えば、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時に画面内に表示されるように、ディスプレイ１１０の解像度やライブ画像のモニター画面のサイズに基づいて決定される。保存用モザイク画像が更新されるごとにモザイク画像の画像サイズから縮小率を決定して表示用画像の縮小処理が行われるので、モザイク画像の大きさに応じて表示倍率を自動的に調整してライブ画像を表示させることができる。
【００４１】
ここでは、表示用モザイク画像の全体と、一部が位置合わせ用モザイク画像と重複し、相対位置の判定に必要なオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが画面内に表示されるように、縮小率が定められるものとする。
【００４２】
一般に、静止画像及び保存用モザイク画像間の相対的位置関係をこれらの画像間のパターンマッチングによって判断する場合、一定レベル以上の位置合わせの精度を確保するためには、静止画像及び保存用モザイク画像間で一定サイズ以上の重複領域が存在している必要がある。また、静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、一定レベル以上の平滑度で滑らかにつなぎ合わせるためには、静止画像及び保存用モザイク画像間で一定量以上の重複領域が存在している必要がある。
【００４３】
表示用縮小部１２１，１２８では、上記オーバーラップ領域として上述した様な重複領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体と、表示用モザイク画像の全体とがつねに画面内に表示されるように、縮小率が定められる。
【００４４】
また、最初は、保存用モザイク画像の各画像タイルに対して、原寸の画像がモザイク画像の表示用オンメモリ画像として保持され、表示用モザイク画像がライブ画像のモニター画面内に収まらなくなれば、各画像タイルを縮小して、例えば、１／２画像が作成され、表示用オンメモリ画像とする。このとき、原寸画像はメモリから削除される。さらに、表示用モザイク画像がモニター画面内に収まらなくなった場合には、各画像タイルについて、例えば、１／２画像から１／４画像が作成され、表示用オンメモリ画像が更新される。
【００４５】
この様に、新たな静止画像の張り合わせによって表示用モザイク画像がモニター画面内に収まらなくなるごとに、各画像タイルが順次に縮小される。静止画像の張り合わせによって変更された画像タイルや新規に追加された画像タイルは、原寸画像を読み出し、現在の表示用オンメモリ画像のサイズに合わせて縮小される。
【００４６】
＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるマッチング処理部１２５ｃの構成例を示したブロック図である。このマッチング処理部１２５ｃは、特徴量抽出部１３１及び相対位置判定部１３２により構成される。
【００４７】
特徴量抽出部１３１は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
【００４８】
相対位置判定部１３２は、比較部１４１、相対位置演算部１４２及び重複領域推定部１４３からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部１４１は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４２へ出力する動作を行っている。
【００４９】
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
【００５０】
相対位置演算部１４２は、比較部１４１による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部１４３へ出力し、相対位置情報をライブ画像更新部１２３へ出力する動作を行っている。
【００５１】
重複領域推定部１４３は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。
【００５２】
比較部１４１では、重複領域推定部１４３によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４２へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像の全特徴点と位置合わせ用モザイク画像の全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。
【００５３】
また、最初の位置合わせ用フレーム画像について、位置合わせ用フレーム画像の全特徴点と位置合わせ用モザイク画像の全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、各画像の全特徴点を比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、各画像の全特徴点を比較して相対位置が判定される。
【００５４】
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
【００５５】
一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
【００５６】
ここでは、特徴量抽出部１３１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４３によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
【００５７】
ライブ画像更新部１２３では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４２による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。
【００５８】
＜ライブ画面＞
図４及び図５は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図４には、カメラ２１０によって撮影された動画像Ａ１及び表示用モザイク画像Ａ３が示されている。また、図５には、モザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。
【００５９】
動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。
【００６０】
表示用モザイク画像Ａ３は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。
【００６１】
ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用モザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
【００６２】
つまり、撮影中の動画像Ａ１が作成中の表示用モザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。
【００６３】
＜パターンマッチング＞
図６（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像Ｂ１及び位置合わせ用のフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図６（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図６（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。
【００６４】
基準画像Ｂ１は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された静止画像が基準画像Ｂ１として抽出される。
【００６５】
基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。
【００６６】
特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
【００６７】
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。
【００６８】
一方、基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
【００６９】
すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
【００７０】
類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
【００７１】
本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う方法が採用される。
【００７２】
＜表示範囲＞
図７及び図８は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像及びフレーム画像の全体が同時に表示されたライブ画面１１１が示されている。図７には、表示用のモザイク画像の全体と、モザイク画像とその一部が重複しているライブ画像の全体とを含む表示範囲１１２が示されている。
【００７３】
この例では、連続する表示用フレーム画像によって構成されるライブ画像が、実線で示された矩形枠内に表示されている。ライブ画像を示す矩形枠の表示位置は、位置合わせ用モザイク画像及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて決定される。
【００７４】
フレーム画像及び保存用モザイク画像をそれぞれ縮小して表示用のフレーム画像及びモザイク画像を作成する際の縮小率は、表示用モザイク画像の全体と、一部が位置合わせ用モザイク画像と重複し、相対位置の判定に必要なオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが同時にライブ画面１１１内に表示されるように、定められる。
【００７５】
ここでは、相対位置の判定に必要な最小のオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像と、表示用モザイク画像とが含まれるように、表示範囲１１２が定められ、この表示範囲１１２内の画像がライブ画面１１１上に表示されている。つまり、表示範囲１１２は、表示用モザイク画像を外側へ拡大させた形状からなる。
【００７６】
図７の状態で張り合わせ用の静止画像の取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新される。
【００７７】
図８には、図７のライブ画像に対応する静止画像を張り合わせて更新された表示用モザイク画像と、その表示用モザイク画像の更新に応じて変更された表示範囲１１２が示されている。フレーム画像及び保存用モザイク画像を縮小する際の縮小率は、保存用モザイク画像が更新されるごとに更新され、表示用モザイク画像の全体と表示用フレーム画像の全体とが含まれるように、表示範囲１１２が調整される。
【００７８】
図９のステップＳ１０１〜Ｓ１１０は、図１の拡大観察装置１における張り合わせ用の画像取込み時の動作の一例を示したフローチャートである。まず、静止画像取得部１２６は、コンソール３００からの取込み指示に基づいてカメラ２１０から張り合わせ用の静止画像を取得する（ステップＳ１０１）。
【００７９】
モザイク画像生成部１２７は、取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間のパターンマッチングによってこれらの画像間の相対位置を判定し、これらの画像を張り合わせて新たな保存用モザイク画像を生成する（ステップＳ１０２〜Ｓ１０４）。
【００８０】
表示用縮小部１２１，１２８は、この新たな保存用モザイク画像によって保存用モザイク画像記憶部１２４内の保存用モザイク画像が更新されると（ステップＳ１０５）、更新後の保存用モザイク画像の画像サイズに基づいて表示範囲１１２を判定し、縮小率を決定する（ステップＳ１０６）。
【００８１】
このとき、表示範囲１１２がライブ画面１１１内に収容できなければ、表示範囲１１２全体が表示されるように縮小率を変更して縮小処理が行われる（ステップＳ１０７〜Ｓ１０９）。一方、表示範囲１１２がライブ画面１１１内に収容できるようであれば、そのままの縮小率で縮小処理が行われる（ステップＳ１０７，Ｓ１０９）。
【００８２】
ライブ画像更新部１２３は、表示用モザイク画像記憶部１２２内の表示用モザイク画像が更新されると、更新後のモザイク画像を読み出してライブ画面１１１上の表示用モザイク画像を更新する（ステップＳ１１０）。
【００８３】
本実施の形態によれば、保存用モザイク画像の画像サイズに基づいて表示用画像の縮小が行われるので、張り合わせの前後でモザイク画像の画像サイズが大きく変化する場合であっても、表示用モザイク画像の全体を画面内に表示させることができる。従って、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる。特に、表示用モザイク画像上にライブ画像を表示させる際に、表示用のモザイク画像全体とフレーム画像全体とがつねに同時に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに容易に認識させることができる。
【００８４】
実施の形態２．
実施の形態１では、フレーム画像及び保存用モザイク画像を縮小する際の縮小率が、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時に表示されるように決定される場合の例について説明した。これに対して、本実施の形態では、モザイク画像の画像サイズが一定サイズを越えると、縮小率を固定する場合について説明する。
【００８５】
表示用縮小部１２１，１２８では、保存用モザイク画像の画像サイズが一定サイズを越えると、フレーム画像及び保存用モザイク画像を縮小する際の縮小率を固定する動作が行われる。つまり、保存用モザイク画像の画像サイズが一定サイズを越えるまでは、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時にライブ画面１１１内に表示されるように縮小率が決定され、縮小処理が行われる。
【００８６】
一方、保存用モザイク画像の画像サイズが一定サイズを越えた場合には、それまでの縮小率で縮小処理が行われる。この場合、表示用モザイク画像の一部と、ライブ画像の全体とがライブ画面１１１内に表示される。
【００８７】
図１０は、本発明の実施の形態２による拡大観察装置におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像上にライブ画像が表示されたライブ画面１１１が示されている。この例では、表示用のモザイク画像の一部と、モザイク画像とその一部が重複しているライブ画像の全体とが表示されている。
【００８８】
本実施の形態では、所定の縮小率までは実施の形態１と同様にモザイク画像のサイズに応じて縮小率が変更される。一方、あまりに縮小し過ぎると撮影中の視野と作成中のモザイク画像との位置関係が把握しづらくなるので、所定の縮小率に達すると、縮小率を変更せず、撮影中の視野が一定の大きさとなる表示倍率でライブ画像とその周辺のモザイク画像とが表示される。
【００８９】
この様に構成することにより、保存用モザイク画像の画像サイズが一定サイズを越えると、フレーム画像及び保存用モザイク画像を縮小する際の縮小率が固定されるので、小さくなりすぎて撮影中の視野と作成中のモザイク画像との位置関係が認識できなくなるのを抑制することができる。
【００９０】
実施の形態３．
実施の形態１では、表示用モザイク画像の全体と、相対位置の判定に必要なオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが表示される場合の例について説明した。これに対して、本実施の形態では、フレーム画像及び保存用モザイク画像を縮小する際の縮小率が、表示用フレーム画像の表示用モザイク画像に対する表示位置が更新されるごとに更新され、表示用モザイク画像の全体と、更新後の表示用フレーム画像の全体とが表示される場合について説明する。
【００９１】
表示用縮小部１２１，１２８では、表示用フレーム画像の表示用モザイク画像に対する表示位置が更新されるごとに、フレーム画像及び保存用モザイク画像を縮小する際の縮小率を更新する動作が行われる。
【００９２】
この様に構成することにより、表示用フレーム画像の表示位置が更新されるごとにフレーム画像及び保存用モザイク画像を縮小する際の縮小率が更新されるので、表示位置の更新に追従させて表示用のモザイク画像及びフレーム画像の全体を適切にライブ画面１１１内に表示させることができる。
【００９３】
実施の形態４．
実施の形態１では、フレーム画像及び保存用モザイク画像をライブ画面表示用に縮小する際の縮小率が、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時に表示されるように決定される場合の例について説明した。これに対して、本実施の形態では、相対位置の判定が可能なフレーム画像の移動推奨エリアをモザイク画像上に表示し、移動推奨エリア内のフレーム画像とモザイク画像とが同時に表示されるように縮小率を決定する場合について説明する。
【００９４】
図１１は、本発明の実施の形態４による拡大観察装置の要部における構成例を示したブロック図であり、システム本体部１００ａ内の機能構成の一例が示されている。このシステム本体部１００ａは、図２のシステム本体部１００と比較すれば、推奨エリア表示部１５１を備えている点で異なる。
【００９５】
推奨エリア表示部１５１は、フレーム画像の移動推奨エリアをモザイク画像上に表示する動作を行っている。この移動推奨エリアは、モザイク画像との間で重複領域を有する一定形状及びサイズのエリアであり、保存用モザイク画像の画像サイズに基づいてモザイク画像に対する表示位置が決定される。具体的には、フレーム画像及びモザイク画像間の相対位置の判定が可能なエリアのうち、モザイク画像との重複領域の面積が最小となるエリアが移動推奨エリアとして表示される。
【００９６】
表示用縮小部１２１，１２８では、移動推奨エリア内のフレーム画像とモザイク画像とが同時に表示されるように、フレーム画像及び保存用モザイク画像を縮小する動作が行われる。具体的には、移動推奨エリア内のフレーム画像全体とモザイク画像全体とが少なくとも表示されるように、フレーム画像及び保存用モザイク画像をライブ画面表示用に縮小する際の縮小率を決定する動作が行われる。
【００９７】
移動推奨エリアの表示位置は、保存用モザイク画像が更新されるごとに更新され、モザイク画像及び移動推奨エリアの更新に応じて縮小率が変更される。
【００９８】
＜移動推奨エリア＞
図１２は、図１１の拡大観察装置におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された移動推奨エリアが示されている。このライブ画面１１１には、作成中の保存用モザイク画像に対応する表示用のモザイク画像と、撮影中の視野を示すライブ画像と、移動推奨エリアが表示されている。
【００９９】
この例では、表示用フレーム画像によって構成されるライブ画像が、実線で示された矩形の枠内に配置されている。この矩形枠の表示位置は、基準画像（モザイク画像の一部）及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて変更される。
【０１００】
一方、移動推奨エリアは、静止画像の張り合わせに最適なモザイク画像に対する位置を表しており、破線で示された矩形の枠によって示されている。この例では、移動推奨エリアが、表示用フレーム画像よりも若干大きく、静止画像を一定レベル以上の位置合わせの精度で張り合わせられ、かつ、所望のサイズのモザイク画像を作成するのに必要な静止画像の枚数を最小限に抑えられる最適な重複領域が得られるように形成されている。
【０１０１】
なお、実施の形態１〜４では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。
【０１０２】
また、実施の形態１〜４では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ２３０のｘ軸方向及びｙ軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものであっても良い。
【符号の説明】
【０１０３】
１ 拡大観察装置
１００，１００ａ システム本体部
１１０ ディスプレイ
１１１ ライブ画面
１１２ 表示範囲
１２１，１２８ 表示用縮小部
１２２ 表示用モザイク画像記憶部
１２３ ライブ画像更新部
１２４ 保存用モザイク画像記憶部
１２５ ライブ位置合わせ部
１２５ａ，１２５ｂ 位置合わせ用縮小部
１２５ｃ マッチング処理部
１２６ 静止画像取得部
１２７ モザイク画像生成部
１２７ａ 保存用位置合わせ部
１２７ｂ 画像連結部
１３１ 特徴量抽出部
１３２ 相対位置判定部
１４１ 比較部
１４２ 相対位置演算部
１４３ 重複領域推定部
１５１ 推奨エリア表示部
２００ カメラ部
２１０ カメラ
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用モザイク画像
Ｂ１ 基準画像
Ｂ２ 位置合わせ用のフレーム画像
Ｂ３ 特徴点
【技術分野】
【０００１】
本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。
【背景技術】
【０００２】
視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影するデジタルマイクロスコープなどの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。
【０００３】
例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。
【０００４】
一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。この撮像装置では、張り合わせによってモザイク画像の画像サイズが変化するので、モザイク画像の一部が画面上に表示されなくなり、撮影中の視野と作成中のモザイク画像との位置関係がわからなくなってしまうという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みてなされたものであり、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる撮像装置を提供することを目的とする。特に、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させながら、静止画像を取り込んでモザイク画像に張り合わせる際に、張り合わせの前後でモザイク画像の画像サイズが大きく変化する場合であっても、表示用モザイク画像の全体を画面内に表示させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、外部からの取込み指示に基づいて、前記カメラによって撮影されたフレーム画像を静止画像として取得する静止画像取得手段と、前記静止画像取得手段で取得された２以上の静止画像を張り合わせて、前記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、前記モザイク画像生成手段により生成されたモザイク画像を記憶するモザイク画像記憶手段と、前記静止画像取得手段により新たな静止画像が取り込まれて前記モザイク画像記憶手段に記憶されたモザイク画像が更新された際に、該モザイク画像の全体と、該モザイク画像との連結に必要なオーバーラップ領域を有する任意の位置のフレーム画像に対応する前記モザイク画像の周囲の画像領域とが少なくとも表示範囲内に含まれるように、前記モザイク画像を縮小する表示用縮小手段と、前記表示用縮小手段により縮小されたモザイク画像を表示する画像表示手段とを備えて構成される。
【０００７】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラで撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記モザイク画像の画像サイズに基づいて上記フレーム画像及び当該モザイク画像をそれぞれ縮小し、表示用フレーム画像及び表示用モザイク画像を生成する表示用縮小手段と、上記相対位置の判定結果に基づいて、上記表示用フレーム画像の上記表示用モザイク画像に対する表示位置を更新し、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像を表示するライブ画像表示手段とを備えて構成される。
【０００８】
本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラで撮影された２以上の静止画像を張り合わせて、当該カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記モザイク画像の画像サイズに基づいて上記フレーム画像及び当該モザイク画像をそれぞれ縮小し、表示用フレーム画像及び表示用モザイク画像を生成する表示用縮小手段と、上記相対位置の判定結果に基づいて、上記表示用フレーム画像の上記表示用モザイク画像に対する表示位置を更新し、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像を表示するライブ画像表示手段とを備えて構成される。また、本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、上記表示用モザイク画像の全体が画面内に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。この様な構成によれば、表示用モザイク画像上に表示用フレーム画像からなる動画像をライブ画像として表示させる際に、モザイク画像全体が画面内につねに表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに容易に認識させることができる。
【０００９】
本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、上記表示用モザイク画像の全体と上記表示用フレーム画像の全体とが同時に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。この様な構成によれば、表示用モザイク画像上に表示用フレーム画像からなる動画像をライブ画像として表示させる際に、モザイク画像全体とフレーム画像全体とがつねに同時に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに容易に認識させることができる。
【００１０】
本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、画像の縦横比を一定に保持したまま上記フレーム画像及び上記モザイク画像を縮小するように構成される。
【００１１】
本発明による他の撮像装置は、上記構成に加え、上記表示用縮小手段が、上記表示用フレーム画像の上記表示用モザイク画像に対する上記表示位置が更新されるごとに、上記フレーム画像及び上記モザイク画像を縮小する際の縮小率を更新するように構成される。この様な構成によれば、表示用フレーム画像の表示位置が更新されるごとにフレーム画像及びモザイク画像を縮小する際の縮小率が更新されるので、表示位置の更新に追従させて表示用モザイク画像及び表示用フレーム画像の全体を適切に画面内に表示させることができる。
【００１２】
本発明による他の撮像装置は、上記構成に加え、上記モザイク画像と重複領域を有し、上記フレーム画像及び上記モザイク画像間の相対位置の判定が可能なフレーム画像の移動推奨エリアを表示する推奨エリア表示手段を備え、上記表示用縮小手段が、上記移動推奨エリア内の上記フレーム画像と上記モザイク画像とが同時に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。
【００１３】
本発明による他の撮像装置は、上記構成に加え、上記フレーム画像及び上記モザイク画像を一定の縮小率でそれぞれ縮小し、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を生成する位置合わせ用縮小手段と、上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像から特徴量を抽出する特徴量抽出手段とを備え、上記相対位置判定手段が、上記特徴量の比較によって上記位置合わせ用フレーム画像及び上記位置合わせ用モザイク画像間の相対位置を判定し、上記表示用縮小手段が、上記表示用モザイク画像の全体と、一部が上記位置合わせ用モザイク画像と重複し、上記相対位置の判定に必要なオーバーラップ領域を有する任意の位置の上記位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが画面内に表示されるように、上記フレーム画像及び上記モザイク画像を縮小するように構成される。この様な構成によれば、位置合わせ用フレーム画像及び位置合わせ用モザイク画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。また、第８の本発明による撮像装置は、上記構成に加え、上記表示用縮小手段が、上記モザイク画像の画像サイズが一定サイズを越えると、上記フレーム画像及び上記モザイク画像を縮小する際の縮小率を固定するように構成される。この様な構成によれば、モザイク画像の画像サイズが一定サイズを越えると、フレーム画像及びモザイク画像を縮小する際の縮小率が固定されるので、小さくなりすぎて撮影中の視野と作成中のモザイク画像との位置関係が認識できなくなるのを抑制することができる。
【発明の効果】
【００１４】
本発明による撮像装置によれば、モザイク画像の画像サイズに基づいて画像の縮小が行われるので、張り合わせの前後でモザイク画像の画像サイズが大きく変化する場合であっても、表示用モザイク画像の全体を画面内に表示させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置１が示されている。
【図２】図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。
【図３】図２のシステム本体部１００におけるマッチング処理部１２５ｃの構成例を示したブロック図である。
【図４】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像Ａ１及び表示用モザイク画像Ａ３が示されている。
【図５】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面１１１が示されている。
【図６】図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、全特徴点Ｂ３の比較によって特徴点間の正対応が抽出される様子が示されている。
【図７】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、モザイク画像及びライブ画像が表示されたライブ画面１１１が示されている。
【図８】図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、静止画像を張り合わせて更新された表示用モザイク画像が示されている。
【図９】図１の拡大観察装置１における張り合わせ用の画像取込み時の動作の一例を示したフローチャートである。
【図１０】本発明の実施の形態２による拡大観察装置におけるライブ画像表示時の動作の一例を示した図であり、ライブ画像が表示されたライブ画面１１１が示されている。
【図１１】本発明の実施の形態４による拡大観察装置の要部における構成例を示したブロック図であり、システム本体部１００ａ内の機能構成の一例が示されている。
【図１２】図１１の拡大観察装置におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された移動推奨エリアが示されている。
【発明を実施するための形態】
【００１６】
実施の形態１．
＜拡大観察装置＞
図１は、本発明の実施の形態１による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。
【００１７】
カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、円筒形状の筐体内に対物レンズ、ＣＣＤイメージセンサー、照明装置などを配置して構成されている。
【００１８】
可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。
【００１９】
可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。
【００２０】
具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。
【００２１】
コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。
【００２２】
システム本体部１００は、カメラ２１０によって撮影された動画像をディスプレイ１１０上に表示し、動画像を構成するフレーム画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
【００２３】
＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、表示用縮小部１２１，１２８、表示用モザイク画像記憶部１２２、ライブ画像更新部１２３、保存用モザイク画像記憶部１２４、ライブ位置合わせ部１２５、静止画像取得部１２６及びモザイク画像生成部１２７を備えて構成される。
【００２４】
表示用縮小部１２１は、カメラ２１０からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部１２３へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比、すなわち、縦横比が変わらないように縮小処理が行われるものとする。
【００２５】
表示用モザイク画像記憶部１２２は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
【００２６】
保存用モザイク画像記憶部１２４は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。
【００２７】
ライブ位置合わせ部１２５は、位置合わせ用縮小部１２５ａ，１２５ｂ及びマッチング処理部１２５ｃからなり、カメラ２１０から連続して得られるフレーム画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。
【００２８】
位置合わせ用縮小部１２５ａは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。位置合わせ用縮小部１２５ｂは、保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。
【００２９】
マッチング処理部１２５ｃは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部１２３へ出力する動作を行っている。
【００３０】
ライブ画像更新部１２３では、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を更新する動作が行われる。
【００３１】
ここで、ライブ位置合わせ部１２５は、保存用位置合わせ部１２７ａに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
【００３２】
静止画像取得部１２６は、コンソール３００からの取込み指示に基づいて、カメラ２１０によって撮影された静止画像を取得し、モザイク画像生成部１２７へ出力する動作を行っている。カメラ２１０から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の１つであっても良い。
【００３３】
モザイク画像生成部１２７は、保存用位置合わせ部１２７ａ及び画像連結部１２７ｂからなり、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。
【００３４】
保存用位置合わせ部１２７ａは、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で静止画像及び保存用モザイク画像間の相対位置が推定される。
【００３５】
画像連結部１２７ｂは、保存用位置合わせ部１２７ａによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とが、保存用位置合わせ部１２７ａによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
【００３６】
静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、両画像の重複領域について画素値のブレンディング処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。
【００３７】
ここでは、保存用モザイク画像が、一定サイズ、例えば、５１２×５１２ピクセルの複数の画像タイルに分割して保持され、保存用モザイク画像の更新時には、必要な部分だけをメモリ上に読み出して更新処理が行われるものとする。
【００３８】
表示用縮小部１２８は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部１２４から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。
【００３９】
表示用縮小部１２１及び１２８では、それぞれ保存用モザイク画像の画像サイズに基づいてフレーム画像及び保存用モザイク画像を縮小し、表示用フレーム画像及び表示用モザイク画像を生成する動作が行われる。具体的には、フレーム画像及び保存用モザイク画像を縮小する際の縮小率を保存用モザイク画像が更新されるごとに決定し、これらの画像を縮小する処理が行われる。
【００４０】
上記縮小率は、例えば、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時に画面内に表示されるように、ディスプレイ１１０の解像度やライブ画像のモニター画面のサイズに基づいて決定される。保存用モザイク画像が更新されるごとにモザイク画像の画像サイズから縮小率を決定して表示用画像の縮小処理が行われるので、モザイク画像の大きさに応じて表示倍率を自動的に調整してライブ画像を表示させることができる。
【００４１】
ここでは、表示用モザイク画像の全体と、一部が位置合わせ用モザイク画像と重複し、相対位置の判定に必要なオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが画面内に表示されるように、縮小率が定められるものとする。
【００４２】
一般に、静止画像及び保存用モザイク画像間の相対的位置関係をこれらの画像間のパターンマッチングによって判断する場合、一定レベル以上の位置合わせの精度を確保するためには、静止画像及び保存用モザイク画像間で一定サイズ以上の重複領域が存在している必要がある。また、静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、一定レベル以上の平滑度で滑らかにつなぎ合わせるためには、静止画像及び保存用モザイク画像間で一定量以上の重複領域が存在している必要がある。
【００４３】
表示用縮小部１２１，１２８では、上記オーバーラップ領域として上述した様な重複領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体と、表示用モザイク画像の全体とがつねに画面内に表示されるように、縮小率が定められる。
【００４４】
また、最初は、保存用モザイク画像の各画像タイルに対して、原寸の画像がモザイク画像の表示用オンメモリ画像として保持され、表示用モザイク画像がライブ画像のモニター画面内に収まらなくなれば、各画像タイルを縮小して、例えば、１／２画像が作成され、表示用オンメモリ画像とする。このとき、原寸画像はメモリから削除される。さらに、表示用モザイク画像がモニター画面内に収まらなくなった場合には、各画像タイルについて、例えば、１／２画像から１／４画像が作成され、表示用オンメモリ画像が更新される。
【００４５】
この様に、新たな静止画像の張り合わせによって表示用モザイク画像がモニター画面内に収まらなくなるごとに、各画像タイルが順次に縮小される。静止画像の張り合わせによって変更された画像タイルや新規に追加された画像タイルは、原寸画像を読み出し、現在の表示用オンメモリ画像のサイズに合わせて縮小される。
【００４６】
＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるマッチング処理部１２５ｃの構成例を示したブロック図である。このマッチング処理部１２５ｃは、特徴量抽出部１３１及び相対位置判定部１３２により構成される。
【００４７】
特徴量抽出部１３１は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
【００４８】
相対位置判定部１３２は、比較部１４１、相対位置演算部１４２及び重複領域推定部１４３からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部１４１は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４２へ出力する動作を行っている。
【００４９】
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
【００５０】
相対位置演算部１４２は、比較部１４１による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部１４３へ出力し、相対位置情報をライブ画像更新部１２３へ出力する動作を行っている。
【００５１】
重複領域推定部１４３は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。
【００５２】
比較部１４１では、重複領域推定部１４３によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４２へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像の全特徴点と位置合わせ用モザイク画像の全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。
【００５３】
また、最初の位置合わせ用フレーム画像について、位置合わせ用フレーム画像の全特徴点と位置合わせ用モザイク画像の全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、各画像の全特徴点を比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、各画像の全特徴点を比較して相対位置が判定される。
【００５４】
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
【００５５】
一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
【００５６】
ここでは、特徴量抽出部１３１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４３によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
【００５７】
ライブ画像更新部１２３では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４２による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。
【００５８】
＜ライブ画面＞
図４及び図５は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図４には、カメラ２１０によって撮影された動画像Ａ１及び表示用モザイク画像Ａ３が示されている。また、図５には、モザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。
【００５９】
動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。
【００６０】
表示用モザイク画像Ａ３は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。
【００６１】
ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用モザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
【００６２】
つまり、撮影中の動画像Ａ１が作成中の表示用モザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。
【００６３】
＜パターンマッチング＞
図６（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像Ｂ１及び位置合わせ用のフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図６（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図６（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。
【００６４】
基準画像Ｂ１は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された静止画像が基準画像Ｂ１として抽出される。
【００６５】
基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。
【００６６】
特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
【００６７】
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。
【００６８】
一方、基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
【００６９】
すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
【００７０】
類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
【００７１】
本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う方法が採用される。
【００７２】
＜表示範囲＞
図７及び図８は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像及びフレーム画像の全体が同時に表示されたライブ画面１１１が示されている。図７には、表示用のモザイク画像の全体と、モザイク画像とその一部が重複しているライブ画像の全体とを含む表示範囲１１２が示されている。
【００７３】
この例では、連続する表示用フレーム画像によって構成されるライブ画像が、実線で示された矩形枠内に表示されている。ライブ画像を示す矩形枠の表示位置は、位置合わせ用モザイク画像及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて決定される。
【００７４】
フレーム画像及び保存用モザイク画像をそれぞれ縮小して表示用のフレーム画像及びモザイク画像を作成する際の縮小率は、表示用モザイク画像の全体と、一部が位置合わせ用モザイク画像と重複し、相対位置の判定に必要なオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが同時にライブ画面１１１内に表示されるように、定められる。
【００７５】
ここでは、相対位置の判定に必要な最小のオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像と、表示用モザイク画像とが含まれるように、表示範囲１１２が定められ、この表示範囲１１２内の画像がライブ画面１１１上に表示されている。つまり、表示範囲１１２は、表示用モザイク画像を外側へ拡大させた形状からなる。
【００７６】
図７の状態で張り合わせ用の静止画像の取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新される。
【００７７】
図８には、図７のライブ画像に対応する静止画像を張り合わせて更新された表示用モザイク画像と、その表示用モザイク画像の更新に応じて変更された表示範囲１１２が示されている。フレーム画像及び保存用モザイク画像を縮小する際の縮小率は、保存用モザイク画像が更新されるごとに更新され、表示用モザイク画像の全体と表示用フレーム画像の全体とが含まれるように、表示範囲１１２が調整される。
【００７８】
図９のステップＳ１０１〜Ｓ１１０は、図１の拡大観察装置１における張り合わせ用の画像取込み時の動作の一例を示したフローチャートである。まず、静止画像取得部１２６は、コンソール３００からの取込み指示に基づいてカメラ２１０から張り合わせ用の静止画像を取得する（ステップＳ１０１）。
【００７９】
モザイク画像生成部１２７は、取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間のパターンマッチングによってこれらの画像間の相対位置を判定し、これらの画像を張り合わせて新たな保存用モザイク画像を生成する（ステップＳ１０２〜Ｓ１０４）。
【００８０】
表示用縮小部１２１，１２８は、この新たな保存用モザイク画像によって保存用モザイク画像記憶部１２４内の保存用モザイク画像が更新されると（ステップＳ１０５）、更新後の保存用モザイク画像の画像サイズに基づいて表示範囲１１２を判定し、縮小率を決定する（ステップＳ１０６）。
【００８１】
このとき、表示範囲１１２がライブ画面１１１内に収容できなければ、表示範囲１１２全体が表示されるように縮小率を変更して縮小処理が行われる（ステップＳ１０７〜Ｓ１０９）。一方、表示範囲１１２がライブ画面１１１内に収容できるようであれば、そのままの縮小率で縮小処理が行われる（ステップＳ１０７，Ｓ１０９）。
【００８２】
ライブ画像更新部１２３は、表示用モザイク画像記憶部１２２内の表示用モザイク画像が更新されると、更新後のモザイク画像を読み出してライブ画面１１１上の表示用モザイク画像を更新する（ステップＳ１１０）。
【００８３】
本実施の形態によれば、保存用モザイク画像の画像サイズに基づいて表示用画像の縮小が行われるので、張り合わせの前後でモザイク画像の画像サイズが大きく変化する場合であっても、表示用モザイク画像の全体を画面内に表示させることができる。従って、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる。特に、表示用モザイク画像上にライブ画像を表示させる際に、表示用のモザイク画像全体とフレーム画像全体とがつねに同時に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに容易に認識させることができる。
【００８４】
実施の形態２．
実施の形態１では、フレーム画像及び保存用モザイク画像を縮小する際の縮小率が、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時に表示されるように決定される場合の例について説明した。これに対して、本実施の形態では、モザイク画像の画像サイズが一定サイズを越えると、縮小率を固定する場合について説明する。
【００８５】
表示用縮小部１２１，１２８では、保存用モザイク画像の画像サイズが一定サイズを越えると、フレーム画像及び保存用モザイク画像を縮小する際の縮小率を固定する動作が行われる。つまり、保存用モザイク画像の画像サイズが一定サイズを越えるまでは、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時にライブ画面１１１内に表示されるように縮小率が決定され、縮小処理が行われる。
【００８６】
一方、保存用モザイク画像の画像サイズが一定サイズを越えた場合には、それまでの縮小率で縮小処理が行われる。この場合、表示用モザイク画像の一部と、ライブ画像の全体とがライブ画面１１１内に表示される。
【００８７】
図１０は、本発明の実施の形態２による拡大観察装置におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像上にライブ画像が表示されたライブ画面１１１が示されている。この例では、表示用のモザイク画像の一部と、モザイク画像とその一部が重複しているライブ画像の全体とが表示されている。
【００８８】
本実施の形態では、所定の縮小率までは実施の形態１と同様にモザイク画像のサイズに応じて縮小率が変更される。一方、あまりに縮小し過ぎると撮影中の視野と作成中のモザイク画像との位置関係が把握しづらくなるので、所定の縮小率に達すると、縮小率を変更せず、撮影中の視野が一定の大きさとなる表示倍率でライブ画像とその周辺のモザイク画像とが表示される。
【００８９】
この様に構成することにより、保存用モザイク画像の画像サイズが一定サイズを越えると、フレーム画像及び保存用モザイク画像を縮小する際の縮小率が固定されるので、小さくなりすぎて撮影中の視野と作成中のモザイク画像との位置関係が認識できなくなるのを抑制することができる。
【００９０】
実施の形態３．
実施の形態１では、表示用モザイク画像の全体と、相対位置の判定に必要なオーバーラップ領域を有する任意の位置の位置合わせ用フレーム画像に対応する表示用フレーム画像の全体とが表示される場合の例について説明した。これに対して、本実施の形態では、フレーム画像及び保存用モザイク画像を縮小する際の縮小率が、表示用フレーム画像の表示用モザイク画像に対する表示位置が更新されるごとに更新され、表示用モザイク画像の全体と、更新後の表示用フレーム画像の全体とが表示される場合について説明する。
【００９１】
表示用縮小部１２１，１２８では、表示用フレーム画像の表示用モザイク画像に対する表示位置が更新されるごとに、フレーム画像及び保存用モザイク画像を縮小する際の縮小率を更新する動作が行われる。
【００９２】
この様に構成することにより、表示用フレーム画像の表示位置が更新されるごとにフレーム画像及び保存用モザイク画像を縮小する際の縮小率が更新されるので、表示位置の更新に追従させて表示用のモザイク画像及びフレーム画像の全体を適切にライブ画面１１１内に表示させることができる。
【００９３】
実施の形態４．
実施の形態１では、フレーム画像及び保存用モザイク画像をライブ画面表示用に縮小する際の縮小率が、表示用モザイク画像の全体と表示用フレーム画像の全体とが同時に表示されるように決定される場合の例について説明した。これに対して、本実施の形態では、相対位置の判定が可能なフレーム画像の移動推奨エリアをモザイク画像上に表示し、移動推奨エリア内のフレーム画像とモザイク画像とが同時に表示されるように縮小率を決定する場合について説明する。
【００９４】
図１１は、本発明の実施の形態４による拡大観察装置の要部における構成例を示したブロック図であり、システム本体部１００ａ内の機能構成の一例が示されている。このシステム本体部１００ａは、図２のシステム本体部１００と比較すれば、推奨エリア表示部１５１を備えている点で異なる。
【００９５】
推奨エリア表示部１５１は、フレーム画像の移動推奨エリアをモザイク画像上に表示する動作を行っている。この移動推奨エリアは、モザイク画像との間で重複領域を有する一定形状及びサイズのエリアであり、保存用モザイク画像の画像サイズに基づいてモザイク画像に対する表示位置が決定される。具体的には、フレーム画像及びモザイク画像間の相対位置の判定が可能なエリアのうち、モザイク画像との重複領域の面積が最小となるエリアが移動推奨エリアとして表示される。
【００９６】
表示用縮小部１２１，１２８では、移動推奨エリア内のフレーム画像とモザイク画像とが同時に表示されるように、フレーム画像及び保存用モザイク画像を縮小する動作が行われる。具体的には、移動推奨エリア内のフレーム画像全体とモザイク画像全体とが少なくとも表示されるように、フレーム画像及び保存用モザイク画像をライブ画面表示用に縮小する際の縮小率を決定する動作が行われる。
【００９７】
移動推奨エリアの表示位置は、保存用モザイク画像が更新されるごとに更新され、モザイク画像及び移動推奨エリアの更新に応じて縮小率が変更される。
【００９８】
＜移動推奨エリア＞
図１２は、図１１の拡大観察装置におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された移動推奨エリアが示されている。このライブ画面１１１には、作成中の保存用モザイク画像に対応する表示用のモザイク画像と、撮影中の視野を示すライブ画像と、移動推奨エリアが表示されている。
【００９９】
この例では、表示用フレーム画像によって構成されるライブ画像が、実線で示された矩形の枠内に配置されている。この矩形枠の表示位置は、基準画像（モザイク画像の一部）及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて変更される。
【０１００】
一方、移動推奨エリアは、静止画像の張り合わせに最適なモザイク画像に対する位置を表しており、破線で示された矩形の枠によって示されている。この例では、移動推奨エリアが、表示用フレーム画像よりも若干大きく、静止画像を一定レベル以上の位置合わせの精度で張り合わせられ、かつ、所望のサイズのモザイク画像を作成するのに必要な静止画像の枚数を最小限に抑えられる最適な重複領域が得られるように形成されている。
【０１０１】
なお、実施の形態１〜４では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。
【０１０２】
また、実施の形態１〜４では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ２３０のｘ軸方向及びｙ軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものであっても良い。
【符号の説明】
【０１０３】
１ 拡大観察装置
１００，１００ａ システム本体部
１１０ ディスプレイ
１１１ ライブ画面
１１２ 表示範囲
１２１，１２８ 表示用縮小部
１２２ 表示用モザイク画像記憶部
１２３ ライブ画像更新部
１２４ 保存用モザイク画像記憶部
１２５ ライブ位置合わせ部
１２５ａ，１２５ｂ 位置合わせ用縮小部
１２５ｃ マッチング処理部
１２６ 静止画像取得部
１２７ モザイク画像生成部
１２７ａ 保存用位置合わせ部
１２７ｂ 画像連結部
１３１ 特徴量抽出部
１３２ 相対位置判定部
１４１ 比較部
１４２ 相対位置演算部
１４３ 重複領域推定部
１５１ 推奨エリア表示部
２００ カメラ部
２１０ カメラ
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用モザイク画像
Ｂ１ 基準画像
Ｂ２ 位置合わせ用のフレーム画像
Ｂ３ 特徴点
【特許請求の範囲】
【請求項１】
検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、
前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、
外部からの取込み指示に基づいて、前記カメラによって撮影されたフレーム画像を静止画像として取得する静止画像取得手段と、
前記静止画像取得手段で取得された２以上の静止画像を張り合わせて、前記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、
前記モザイク画像生成手段により生成されたモザイク画像を記憶するモザイク画像記憶手段と、
前記静止画像取得手段により新たな静止画像が取り込まれて前記モザイク画像記憶手段に記憶されたモザイク画像が更新された際に、該モザイク画像の全体と、該モザイク画像との連結に必要なオーバーラップ領域を有する任意の位置のフレーム画像に対応する前記モザイク画像の周囲の画像領域とが少なくとも表示範囲内に含まれるように、前記モザイク画像を縮小する表示用縮小手段と、
前記表示用縮小手段により縮小されたモザイク画像を表示する画像表示手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示用縮小手段は、前記モザイク画像記憶手段に記憶される前記モザイク画像が更新される度に、更新後の前記モザイク画像の画像サイズに基づいて、前記表示用モザイク画像の縮小率を更新することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示用縮小手段は、前記更新後の表示用モザイク画像が画面内に収まらない場合は前記縮小率を変更し、画面内に収まる場合は前記縮小率を変更せずに前記モザイク画像を表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記表示用縮小手段は、前記モザイク画像のサイズに応じて所定の縮小率までは前記縮小率を変更し、前記所定の縮小率に達すると、前記縮小率を変更せずに固定することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記モザイク画像記憶手段は、前記モザイク画像を複数の画像タイルに分割して記憶し、
前記画像表示手段は、前記表示用モザイク画像が画面内に収まらない場合は前記複数の各画像タイルを縮小することを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記モザイク画像と重複領域を有し、前記フレーム画像及び前記モザイク画像間の相対位置の判定が可能なフレーム画像の移動推奨エリアを表示する推奨エリア表示手段を更に備えることを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項１】
検査対象物を載せて対物レンズの中心軸と交差する面内で移動可能な可動ステージと、
前記可動ステージと対向配置され、前記対物レンズを介して前記検査対象物を撮影したフレーム画像を生成するカメラと、
外部からの取込み指示に基づいて、前記カメラによって撮影されたフレーム画像を静止画像として取得する静止画像取得手段と、
前記静止画像取得手段で取得された２以上の静止画像を張り合わせて、前記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、
前記モザイク画像生成手段により生成されたモザイク画像を記憶するモザイク画像記憶手段と、
前記静止画像取得手段により新たな静止画像が取り込まれて前記モザイク画像記憶手段に記憶されたモザイク画像が更新された際に、該モザイク画像の全体と、該モザイク画像との連結に必要なオーバーラップ領域を有する任意の位置のフレーム画像に対応する前記モザイク画像の周囲の画像領域とが少なくとも表示範囲内に含まれるように、前記モザイク画像を縮小する表示用縮小手段と、
前記表示用縮小手段により縮小されたモザイク画像を表示する画像表示手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示用縮小手段は、前記モザイク画像記憶手段に記憶される前記モザイク画像が更新される度に、更新後の前記モザイク画像の画像サイズに基づいて、前記表示用モザイク画像の縮小率を更新することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示用縮小手段は、前記更新後の表示用モザイク画像が画面内に収まらない場合は前記縮小率を変更し、画面内に収まる場合は前記縮小率を変更せずに前記モザイク画像を表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記表示用縮小手段は、前記モザイク画像のサイズに応じて所定の縮小率までは前記縮小率を変更し、前記所定の縮小率に達すると、前記縮小率を変更せずに固定することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記モザイク画像記憶手段は、前記モザイク画像を複数の画像タイルに分割して記憶し、
前記画像表示手段は、前記表示用モザイク画像が画面内に収まらない場合は前記複数の各画像タイルを縮小することを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記モザイク画像と重複領域を有し、前記フレーム画像及び前記モザイク画像間の相対位置の判定が可能なフレーム画像の移動推奨エリアを表示する推奨エリア表示手段を更に備えることを特徴とする請求項１から５のいずれかに記載の撮像装置。
【図１】
【図２】
【図３】
【図６】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図７】
【図８】
【図１２】
【図２】
【図３】
【図６】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図７】
【図８】
【図１２】
【公開番号】特開２０１３−２１７０７（Ｐ２０１３−２１７０７Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１２−１９５５９３（Ｐ２０１２−１９５５９３）
【出願日】平成２４年９月５日（２０１２．９．５）
【分割の表示】特願２０１１−２０３８４１（Ｐ２０１１−２０３８４１）の分割
【原出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２４年９月５日（２０１２．９．５）
【分割の表示】特願２０１１−２０３８４１（Ｐ２０１１−２０３８４１）の分割
【原出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]