画像合成方法および表面観察装置
【課題】迅速に合成画像を作成可能な画像合成方法および表面観察装置を提供する。
【解決手段】画像合成方法は、撮影部２の焦点をパンチ３の基準位置Ｐ01、Ｐ02に合わせる合焦ステップ（ステップＳ４）と、パンチ３の三次元形状を表す座標データ２２に基づいて、撮影部２の焦点を撮影部２の焦点深度以下の距離だけ移動させた移動位置Ｐ11、Ｐ12に移す移動ステップ（ステップＳ７）と、基準位置Ｐ01、Ｐ02および移動位置Ｐ11、Ｐ12におけるパンチ３の表面を撮影部２によってそれぞれ撮影する撮影ステップ（ステップＳ５）と、撮影ステップで撮影した画像２１の焦点の合っている画像領域Ｇ01〜Ｇ12を表す領域データ２３に基づいて、画像領域Ｇ01〜Ｇ12を選択して切り取る切取ステップ（ステップＳ８）と、画像領域Ｇ01〜Ｇ12を繋ぎ合わせて合成画像５０を作成する合成ステップ（ステップＳ９）と、を有することを特徴とする。
【解決手段】画像合成方法は、撮影部２の焦点をパンチ３の基準位置Ｐ01、Ｐ02に合わせる合焦ステップ（ステップＳ４）と、パンチ３の三次元形状を表す座標データ２２に基づいて、撮影部２の焦点を撮影部２の焦点深度以下の距離だけ移動させた移動位置Ｐ11、Ｐ12に移す移動ステップ（ステップＳ７）と、基準位置Ｐ01、Ｐ02および移動位置Ｐ11、Ｐ12におけるパンチ３の表面を撮影部２によってそれぞれ撮影する撮影ステップ（ステップＳ５）と、撮影ステップで撮影した画像２１の焦点の合っている画像領域Ｇ01〜Ｇ12を表す領域データ２３に基づいて、画像領域Ｇ01〜Ｇ12を選択して切り取る切取ステップ（ステップＳ８）と、画像領域Ｇ01〜Ｇ12を繋ぎ合わせて合成画像５０を作成する合成ステップ（ステップＳ９）と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成方法および画像合成方法を用いた表面観察装置に関する。
【背景技術】
【０００２】
従来、部分的に異なる奥行きを有する被写体（被観察物）を撮影するために、全フォーカス法を用いることが知られている。全フォーカス法によれば、撮影部を被写体の奥行き方向に微小距離ずつ移動させながら撮影位置を変え、撮影位置毎に撮影した被写体の画像を取得する。そして、取得したそれぞれの画像の中から焦点の合っている部分を切り出して合成することにより、奥行きの異なる被写体のいずれの部分をも、鮮明に表示した合成画像が得られる（たとえば特許文献１）。
【０００３】
【特許文献１】特開２０００−２７６１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、被写体の焦点の合った部分を抽出するために、各種のフィルタリング手法を用いて複雑で膨大な画像処理を行う必要があった。そのため、画像処理部が肥大化し、さらに、合成画像を得るまでの時間がかかるという課題が生じていた。
【０００５】
本発明は、上記課題を解決するために、迅速に合成画像を作成可能な画像合成方法および表面観察装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像合成方法は、撮影部の焦点を被観察物の基準位置に合わせる合焦ステップと、被観察物の三次元形状を表す座標データに基づいて、撮影部の焦点を撮影部の焦点深度以下の距離だけ移動させた移動位置に移す移動ステップと、基準位置および移動位置における被観察物の表面を撮影部によってそれぞれ撮影する撮影ステップと、撮影ステップで撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取ステップと、画像領域を繋ぎ合わせて合成画像を作成する合成ステップと、を有することを特徴とする。
【０００７】
この画像合成方法によれば、三次元形状を有する被観察物のいずれの部分にも焦点のあった合成画像を作成するために、まず、被観察物の焦点の合わせやすい部分である基準位置に撮影部の焦点を合わせる（合焦ステップ）。そして、基準位置における被観察物の表面を撮影する（撮影ステップ）。撮影した画像は、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、焦点の合っている、いわゆるピントの合った、鮮明な状態の画像領域であり、撮影部の焦点深度外に位置する他の表面部が、いわゆるピントの外れたボケた状態である。次に、撮影部を撮影部の焦点深度以下の距離だけ移動させ（移動ステップ）、移動した移動位置における被観察物の表面を撮影する（撮影ステップ）。移動位置で撮影した画像は、基準位置での画像と同様、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、鮮明な状態の画像領域である。撮影後、基準位置および移動位置のそれぞれの画像から鮮明な画像領域のみを選択して切り取る（切取ステップ）。この時、画像領域は、事前に取得してある被観察物の座標データおよび領域データに基づいて特定されている。従って、切取ステップでは、特定されている領域を選択して切り取れば良く、画像領域と画像領域以外の領域をフィルタリング等で処理して選択する必要が無い。次に、切り取った画像領域を順に繋ぎ合わせて合成画像を作成する（合成ステップ）。合成画像の作成により、撮影部の焦点深度内に収まらない三次元形状をなしている被観察物であっても、被観察物の撮影可能な部分がいずれも鮮明な状態で得られる。この方法によれば、形状が既知である被観察物の表面状態を表す合成画像を、迅速に、作成可能である。
【０００８】
この場合、合成画像を表示部に表示する表示ステップをさらに有することが好ましい。
【０００９】
この方法によれば、表示ステップをさらに有し、合成画像を表示部に表示することにより、迅速に作成した合成画像の確認がリアルタイムに行える。従って、多量の被観察物の表面を観察してチェックする場合などにおいて、短時間に、且つ、容易にチェックを行うことが可能である。
【００１０】
この場合、被観察物を回転させる回転ステップをさらに有することが好ましい。
【００１１】
この方法によれば、回転ステップをさらに有し、被観察物を回転させることにより、被観察物の撮影部と対極側にある表面部の撮影が、連続して行える。これにより、撮影部に対して、被観察物の位置を変えて再度取り付け直す必要が無くなり、被観察物の全周撮影が容易に行える。
【００１２】
この場合、移動ステップは、複数回実行されることが好ましい。
【００１３】
この方法によれば、移動ステップを複数回実行することにより、移動ステップでの移動方向の長さが、撮影部の焦点深度より複数倍長い被観察物であっても、複数回の撮影によって、合成画像に必要な画像領域を、容易に、取得可能である。
【００１４】
本発明の表面観察装置は、被観察物を載置するための載置部と、被観察物の表面を撮影する撮影部と、被観察物の三次元形状を表す座標データを記憶している記憶部と、座標データを基に撮影部を撮影部の焦点深度以下の距離ずつ移動させる移動部と、撮影部が撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取部と、画像領域のそれぞれを繋ぎ合わせて合成画像を作成する合成部と、を備えていることを特徴とする。
【００１５】
この表面観察装置によれば、三次元形状を有する被観察物のいずれの部分にも焦点のあった合成画像を作成するための載置部、撮影部、記憶部、移動部、切取部および合成部を有している。まず、載置部に被観察物が載置されると、撮影部が被観察物の表面を撮影する。この時、撮影した画像は、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、焦点の合っている、いわゆるピントの合った、鮮明な状態の画像領域であり、撮影部の焦点深度外に位置する他の表面部が、いわゆるピントの外れたボケた状態である。次に、移動部が撮影部を撮影部の焦点深度以下の距離ずつ移動させる。そして、撮影部は、移動した位置における被観察物の表面を撮影する。移動した位置で撮影した画像も、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、鮮明な状態の画像領域である。撮影後、切取部は、それぞれの画像から鮮明な画像領域のみを選択して切り取る。この時、画像領域は、事前に取得してある被観察物の座標データおよび領域データに基づいて特定されており、切取部は、特定されている領域を選択すれば良い。従って、切取ステップにおいて、画像領域と画像領域以外の領域をフィルタリング等で処理して、処理結果に基づいて選択する等の必要が無い。次に、合成部が切り取った画像領域を順に繋ぎ合わせて合成画像を作成する。合成画像の作成により、撮影部の焦点深度内に収まらない三次元形状をなしている被観察物であっても、被観察物の撮影可能な部分がいずれも鮮明な状態で得られる。この表面観察装置によれば、形状が既知である被観察物の表面状態を表す合成画像を、迅速に、作成することが可能である。
【００１６】
この場合、合成画像を表示する表示部をさらに備えていることが好ましい。
【００１７】
この構成によれば、表面観察装置は、表示部をさらに有し、合成画像を表示部に表示することにより、迅速に作成した合成画像の確認がリアルタイムに行える。従って、多量の被観察物を観察してチェックする場合などにおいて、短時間に、且つ、容易にチェックを行うことが可能である。
【００１８】
この場合、被観察物は、載置部に載置された固定治具の回転部に取り付けられていることが好ましい。
【００１９】
この構成によれば、表面観察装置は、被観察物を回転させることが可能であり、被観察物の撮影部と対極側にある表面部の撮影が可能である。これにより、撮影部に対して被観察物の位置を変えるために、再度取り付け直す必要が無くなり、被観察物の全周撮影が、容易に、行える。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を具体化した実施形態について図面に従って説明する。実施形態では、表面観察装置によって、プレス抜き加工用のパンチの表面状態を撮影し、キズ等の有無を観察チェックする場合を例にして説明する。表面状態の確認は、撮影した画像を基に作成した合成画像によって行われる。
（実施形態）
【００２１】
図１は、本発明の表面観察装置の構成を示す模式図である。表面観察装置１は、撮影部２と、被観察物であるパンチ３を固定治具４を介して載置しＸ軸方向に移動可能なＸ軸ステージ（載置部）５と、Ｙ軸方向に移動可能なＹ軸ステージ６と、撮影部２をＺ軸方向に移動させるＺ軸ステージ（移動部）７と、を備えている。また、撮影部２は、パンチ３を撮影するためのＣＣＤカメラ２ａと、カメラレンズ２ｂと、を有し、固定治具４は、パンチ３を回転させる回転部４ａを有する。そして、表面観察装置１は、さらに、制御部１０を備えており、制御部１０は、撮影部２、Ｘ軸ステージ５、Ｙ軸ステージ６およびＺ軸ステージ７を制御すると共に、各種データや指示の入力を行うための入力部２０と、撮影したパンチ３の合成画像などを表示するための表示部２５と、を制御する。
【００２２】
次に、図２は、表面観察装置の制御部の構成を示すブロック図である。制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、を有する。ＲＯＭ１２は、合成画像を作成するための画像合成プログラム１８を有する読み書き自在な不揮発性メモリであり、ＲＡＭ１３は、撮影部２が撮影したパンチ３の画像２１と、入力部２０から入力されるデータであってパンチ３の三次元データを表す座標データ２２と、パンチ３の画像２１において焦点が合っている画像領域を予め演算した領域データ２３と、画像領域を合成した合成画像５０と、を一時的に記憶する記憶部としてのメモリである。さらに、制御部１０は、撮影部２を制御する撮影制御部１４と、Ｘ軸ステージ５、Ｙ軸ステージ６およびＺ軸ステージ７をそれぞれ制御する駆動制御部１５と、表示部２５を制御する表示制御部１６と、入力部２０を制御する入力制御部１７と、を有する。
【００２３】
このような構成の制御部１０において、ＣＰＵ１１は、ＲＯＭ１２の画像合成プログラム１８に基づいて、領域データ２３を参照して画像２１から画像領域を切り取る切取部および切り取った画像領域を繋ぎ合わせて合成する合成部として機能すると共に、ＲＯＭ１２の図示していないファームウエアに基づいて制御部１０の全体を制御する。そして、パンチ３の座標データ２２は、撮影部２の焦点深度に合わせて、パンチ３に対して焦点位置を変えて複数回撮影することにより、得られた複数の画像２１の中に三次元形状のパンチ３の表面の鮮明な画像領域を漏れなく得るためのものである。また、領域データ２３は、各画像２１の中の焦点の合っている鮮明な部分である画像領域を、予め演算して特定したものである。座標データ２２および領域データ２３の詳細については、図４に基づいて後述する。
【００２４】
ここで、被観察物のパンチ３について、簡単に説明する。図３（ａ）は、パンチの外観を示す平面図、（ｂ）は、ノズルプレートへのノズルのプレス加工を示す断面図、（ｃ）は、ノズルからの液滴の吐出を示す断面図である。パンチ３は、インクジェット装置において、各種の材料液を液滴状態で吐出するためのノズルを加工する工具であって、図３（ａ）に示すように、直径がｄで、長さがｅの円柱状をなしている打抜部３ａと、パンチ３をプレス機にとりつけるための直径がｄより大きな保持部３ｃと、打抜部３ａと保持部３ｃとの間に設けられている略円錐状の鍛造部３ｂと、を有する。この場合、直径ｄが２０μｍ、長さｅが８０μｍである。
【００２５】
このパンチ３をプレス機に取り付け、図３（ｂ）に示すように、厚さ８０μｍのノズルプレート３０にノズル３１を加工する。まず、パンチ３に対して、ノズルプレート３０のノズル３１を加工する位置を合わせる。そして、プレス機を作動させて、パンチ３の打抜部３ａによってノズルプレート３０を円形に打抜く。打抜部３ａに続いて、さらに、パンチ３の鍛造部３ｂによって、円錐状部を形成する。これにより、ノズル３１は、断面形状が漏斗状の形状に加工される。打抜部３ａの加工によって生じたカエリ等は、研削加工で除去する。
【００２６】
このように加工されたノズルプレート３０は、インクジェット装置に装着され、図３（ｃ）に示すように、ノズルプレート３０に形成されたノズル３１の漏斗状に開いた側に材料液４０が貯留されている。材料液４０に圧力Ｗが加えられると、材料液４０は、ノズル３１から押し出され、液滴４１となって吐出される。この時、規定量の液滴４１を所定の方向へ吐出させるためには、ノズル３１の寸法精度の確保および表面にキズ等のない面精度が要求される。そのためには、ノズル３１を加工するパンチ３の寸法精度およびパンチ表面の面精度を確保する必要がある。表面観察装置１は、パンチ３の表面にキズ、割れ、異物、歪みなどがないかを観察し、面精度を保証するためのチェックに用いられるものである。
【００２７】
次に、表面観察装置１によってパンチ３の表面を撮影した画像から、焦点の合っている画像領域を切り取り、合成画像を作成してパンチ３の面精度を観察チェックする方法について説明する。図４は、撮影部により撮影したパンチ表面各部の画像領域を示す模式図である。また、図５（ａ）は、撮影部から最遠部の画像領域を示す平面図、（ｂ）は、撮影部から最遠部の画像領域に隣接する画像領域を示す平面図である。そして、図６（ｃ）は、撮影部から最近部の画像領域に隣接する画像領域を示す平面図、（ｄ）は、撮影部から最近部の画像領域を示す平面図である。図４は、図１に示す撮影部２およびパンチ３の打抜部３ａの円形面をＹ軸方向に沿って見た図であり、図中の撮影部２内には、撮影部２が捉える画像領域Ｇ01〜Ｇ31を模式的に表してある。この場合、撮影部２は、パンチ３の撮影部２の側の半周面を画像２１として撮影可能である。また、図５および図６は、図４の画像領域Ｇ01〜Ｇ31個々の詳細を示している。
【００２８】
図４に示すように、表面観察装置１は、打抜部３ａの半周面を漏れなく鮮明に撮影するために、移動距離ｈの間隔で位置する撮影位置Ｚ0〜Ｚ3の各々で合計４回の撮影を行う。この場合、移動距離ｈは、撮影部２の焦点深度と同じ値に設定する。最初に、撮影位置Ｚ0において、パンチ３を撮影するため、まず、オートフォーカス機能に連動するＺ軸ステージ７によって撮影部２を移動させ、焦点の合わせ易いパンチ３のエッジ（外周位置）である基準位置Ｐ01およびＰ02に撮影部２の焦点を合わせる。さらに、撮影部２の焦点深度を考慮して、焦点深度の撮影部２から最遠部が、基準位置Ｐ01およびＰ02に合致するように撮影部２を移動させる。つまり、撮影部２をｈ／２だけパンチ３から離反させることにより、基準位置Ｐ01およびＰ02において、撮影部２の焦点深度内にあって鮮明に撮影可能なパンチ３の半周面の領域を増やすことが可能である。
【００２９】
この鮮明に撮影可能なパンチ３の半周面の領域が、基準位置Ｐ01と基準位置Ｐ01からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ11との間の撮影面Ｆ01、および、基準位置Ｐ02と基準位置Ｐ02からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ12との間の撮影面Ｆ02である。基準位置Ｐ01と移動位置Ｐ11との間、および、基準位置Ｐ02と移動位置Ｐ12との間が撮影部２の焦点深度である。焦点深度内の撮影面Ｆ01は、撮影部２で撮影された画像２１において、画像領域幅Ｌ01を有する鮮明な画像領域Ｇ01である。同様に、焦点深度内の撮影面Ｆ02は、撮影部２で撮影された画像２１において、画像領域幅Ｌ02を有する鮮明な画像領域Ｇ02である。撮影位置Ｚ0で撮影した画像２１は、画像領域Ｇ01およびＧ02に該当する部分が鮮明に撮影されており、他の撮影面の部分は不鮮明な、いわゆるピンボケである。
【００３０】
撮影位置Ｚ0において撮影部２が撮影したパンチ３は、図５（ａ）に示すように、打抜部３ａの撮影面Ｆ01が画像領域幅Ｌ01および長さｅの長方形をなす鮮明な画像領域Ｇ01であって、他の撮影面を含んだ画像２１としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ02も、画像領域幅Ｌ02および長さｅの長方形をなす鮮明な画像領域Ｇ02としてＲＡＭ１３に記憶される。
【００３１】
撮影位置Ｚ0での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ1方向へ移動距離ｈだけ移動させる。撮影位置Ｚ1では、移動位置Ｐ11と移動位置Ｐ11からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ21との間の撮影面Ｆ11、および、移動位置Ｐ12と移動位置Ｐ12からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ22との間の撮影面Ｆ12が、撮影部２の焦点深度内である。従って、撮影面Ｆ11は、撮影部２で撮影された画像２１において、画像領域幅Ｌ11を有する鮮明な画像領域Ｇ11であり、同様に、焦点深度内の撮影面Ｆ12は、撮影部２で撮影された画像２１において、画像領域幅Ｌ12を有する鮮明な画像領域Ｇ12である。撮影位置Ｚ1で撮影した画像２１は、画像領域Ｇ11およびＧ12に該当する部分が鮮明であって、他の撮影面の部分は不鮮明である。
【００３２】
撮影位置Ｚ1おいて撮影部２が撮影したパンチ３は、図５（ｂ）に示すように、打抜部３ａの撮影面Ｆ11が、画像領域幅Ｌ11および長さｅの長方形をなす鮮明な画像領域Ｇ11としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ12も、画像領域幅Ｌ12および長さｅの長方形をなす鮮明な画像領域Ｇ12としてＲＡＭ１３に記憶される。
【００３３】
撮影位置Ｚ1での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ2方向へ移動距離ｈだけ移動させる。撮影位置Ｚ2では、移動位置Ｐ21と移動位置Ｐ21からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ31との間の撮影面Ｆ21、および、移動位置Ｐ22と移動位置Ｐ22からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ32との間の撮影面Ｆ22が、撮影部２の焦点深度内である。従って、撮影面Ｆ21は、撮影部２で撮影された画像２１において、画像領域幅Ｌ21を有する鮮明な画像領域Ｇ21であり、同様に、焦点深度内の撮影面Ｆ22は、撮影部２で撮影された画像２１において、画像領域幅Ｌ22を有する鮮明な画像領域Ｇ22である。撮影位置Ｚ2で撮影した画像２１は、画像領域Ｇ21およびＧ22に該当する部分が鮮明であって、他の撮影面の部分は不鮮明である。
【００３４】
撮影位置Ｚ2おいて撮影部２が撮影したパンチ３は、図６（ｃ）に示すように、打抜部３ａの撮影面Ｆ21が、画像領域幅Ｌ21および長さｅの長方形をなす鮮明な画像領域Ｇ21としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ22も、画像領域幅Ｌ22および長さｅの長方形をなす鮮明な画像領域Ｇ22としてＲＡＭ１３に記憶される。
【００３５】
そして、撮影位置Ｚ2での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ3方向へ移動距離ｈだけ移動させる。この場合、撮影位置Ｚ3では、移動位置Ｐ31と移動位置Ｐ32の間のパンチ３の半周部の領域が撮影部２の焦点深度内であり、このパンチ３の半周部の領域が、移動位置Ｐ31と移動位置Ｐ32との間の撮影面Ｆ31である。従って、撮影面Ｆ31は、撮影部２で撮影された画像２１において、画像領域幅Ｌ31を有する鮮明な画像領域Ｇ31であり、他の撮影面の部分は不鮮明である。
【００３６】
撮影位置Ｚ3おいて撮影部２が撮影したパンチ３は、図６（ｄ）に示すように、打抜部３ａの撮影面Ｆ31が、画像領域幅Ｌ31および長さｅの長方形をなす鮮明な画像領域Ｇ31としてＲＡＭ１３に記憶される。以上説明したように、４回の撮影により得られた４つの画像２１には、パンチ３の半周面を鮮明に捉えた画像領域Ｇ01〜Ｇ31が含まれている。
【００３７】
ここで、パンチ３を撮影する撮影位置Ｚ0〜Ｚ3の設定について説明する。表面観察装置１は、パンチ３を撮影部２で撮影するために、入力部から座標データ２２および領域データ２３をＲＡＭ１３に取り込んで記憶している。この場合、パンチ３の直径ｄが２０μｍであり、撮影部２の焦点深度が３μｍであるので、図４に示す半径ｒが１０μｍのパンチ３の半周面を漏れなく撮影するためには、撮影部２の移動距離ｈを３μｍとすると、撮影位置Ｚ0〜Ｚ3において４回の撮影が必要であり、パンチ３の直径ｄと撮影部２の焦点深度とから撮影位置および撮影回数が設定可能である。被観察物のパンチ３は、形状が既知であるため、座標データ２２は、打抜部３ａの半周面の撮影位置Ｚ0〜Ｚ3にそれぞれ位置する基準位置Ｐ01および基準位置Ｐ02と、移動位置Ｐ11〜移動位置Ｐ32の座標値を有し、パンチ３の三次元形状を表している。
【００３８】
また、領域データ２３は、座標データ２２に基づき、撮影位置Ｚ0〜Ｚ3のそれぞれで撮影した画像２１において、撮影部２の焦点深度内に位置する打抜部３ａの半周面を撮影した画像領域Ｇ01〜Ｇ31を予め演算して特定したものである。領域データ２３を参照すれば、画像２１のどの領域が画像領域Ｇ01〜Ｇ31であるかの判断が容易である。
【００３９】
なお、撮影部２の焦点深度を深くすれば、鮮明に撮影可能な範囲は、撮影位置Ｚ0とＺ1との距離３μｍより広くなり、撮影回数の削減が図れるが、画像２１の劣化が生じて面精度の観察チェックがし難くなる。従って、パンチ３の面精度を観察チェックするためには、撮影回数が増えるが、焦点深度を例えば１μｍ程度に浅くして、より緻密な画像を得ることが望ましい。
【００４０】
次に、合成画像５０の作成について簡単に説明する。図７は、合成画像を示す平面図である。合成画像５０は、パンチ３の半周面のいずれの部分をも、鮮明に、一つの画像として表したものである。合成画像５０の作成は、撮影位置Ｚ0〜Ｚ3において撮影し、ＲＡＭ１３に記憶している各画像２１を基に、ＣＰＵ１１がＲＯＭ１２の画像合成プログラムに従って行う。まず、画像２１から画像領域Ｇ01〜Ｇ31を切り取り、次に、切り取った画像領域Ｇ01〜Ｇ31を順に繋ぎ合わせて、図７に示すような合成画像５０を作成する。この合成画像５０により、三次元形状のパンチ３の表面状態を精密に観察チェックすることが可能である。
【００４１】
以下に、表面観察装置１によって合成画像５０を作成する画像合成方法について、フローチャート図を参照して説明する。図８は、合成画像を作成するためのフローチャート図である。フローチャート図は、表面観察装置１の制御部１０が実行するステップを示している。
【００４２】
まず、ステップＳ１において、パンチ３が固定治具４にセットされ、観察開始の指示を受信したか否かを判断する。観察開始の指示は、入力部２０から入力される。指示を受信していなければ、ステップＳ１において指示を待ち、一方、受信していれば、ステップＳ２へ進む。
【００４３】
ステップＳ２において、パンチ３の座標データ２２を基に、Ｘ軸ステージ５およびＹ軸ステージ６の移動を指示して、パンチ３を撮影可能な位置へ移動させる。移動指示後、ステップＳ３へ進む。
【００４４】
ステップＳ３において、パンチ３がＣＣＤカメラ２ａの視野内に入ったか否かを判断する。判断は、撮影制御部１４が撮影部２からの画像を確認して行う。パンチ３が視野外であれば、ステップＳ２へ戻り、一方、視野内であれば、ステップＳ４へ進む。
【００４５】
ステップＳ４において、Ｚ軸ステージ７を移動させて、パンチ３のエッジにＣＣＤカメラ２ａの焦点があっているか否かを判断する。この判断は、撮影制御部１４が撮影部２からの画像を確認して行う。この場合、既述したように、パンチ３のエッジには、焦点深度内のＣＣＤカメラ２ａから最遠部が合致している。ステップＳ４は、合焦ステップに該当する。焦点が合っていなければ、ステップＳ４においてＺ軸ステージ７を移動させて調整を続け、一方、焦点が合えば、ステップＳ５へ進む。
【００４６】
ステップＳ５において、ＣＣＤカメラ２ａでパンチ３の表面を撮影し、撮影した画像２１をＲＡＭ１３へ記憶する。ステップＳ５は、撮影ステップに該当する。撮影後、ステップＳ６へ進む。
【００４７】
ステップＳ６において、４回の撮影を実行したか否かを判断する。判断は、撮影制御部１４が撮影部２へ指示した撮影命令の回数をＣＰＵ１１がカウントすることによって行う。４回未満であれば、ステップＳ７へ進み、一方、４回に到達していれば、ステップＳ８へ進む。
【００４８】
４回未満の場合、ステップＳ７において、Ｚ軸ステージ７を移動距離ｈだけ移動させる。ステップＳ７は、移動ステップに該当する。移動後、ステップＳ５へ戻る。
【００４９】
４回に達していれば、ステップＳ８において、撮影した各画像２１を領域データ２３に基づいて切り取る。切り取る部分は、各画像２１の画像領域Ｇ01〜Ｇ31である。この場合、領域データ２３によって、画像領域Ｇ01〜Ｇ31のそれぞれが座標値で特定されているため、フィルタ処理等の演算が不要で、容易に切り取ることが可能である。この処理は、ＣＰＵ１１がＲＯＭ１２の画像合成プログラム１８に従って切取部として機能することにより実行される。ステップＳ８は、切取ステップに該当する。切取後、ステップＳ９へ進む。
【００５０】
ステップＳ９において、切り取った画像領域Ｇ01〜Ｇ31を図７に示すように、順に繋ぎ合わせて、合成画像５０を作成する。この処理は、ＣＰＵ１１がＲＯＭ１２の画像合成プログラム１８に従って合成部として機能することにより実行される。ステップＳ９は、合成ステップに該当する。作成後、ステップＳ１０へ進む。
【００５１】
ステップＳ１０において、表示部２５へ合成画像５０を表示する。表示部２５への表示により、パンチ３の面精度をリアルタイムで観察チェックすることが可能である。ステップＳ１０は、表示ステップに該当する。以上のような各ステップにより、合成画像５０が作成される。
【００５２】
なお、ステップＳ１０の終了後に、固定治具４の回転部４ａを操作し、回転ステップとして、パンチ３を１８０度回転させれば、再度、ステップＳ１からＳ１０のステップの実行により、パンチ３の反対側の半周面を引き続いて撮影することが可能である。これにより、最少のパンチ３の回転移動だけで、パンチ３の打抜部３ａの全周を漏れなく撮影可能である。
【００５３】
以上、表面観察装置１による画像合成方法に関する具体的な実施形態について説明した。以下に実施形態の効果をまとめて記載する。
【００５４】
（１）被観察物のパンチ３の形状を座標データ２２および領域データ２３により、予め特定する画像合成方法により、撮影部２の焦点深度から外れるような三次元形状をなしているパンチ３であっても、パンチ３の撮影可能な部分がいずれも鮮明な状態の一つの合成画像５０として得られる。この方法によれば、パンチ３の表面状態を表示する合成画像５０を、迅速に作成することが可能である。
【００５５】
（２）合成画像５０を作成して、一つの合成画像によってパンチ３の表面状態をチェック可能であるため、撮影位置Ｚ0〜Ｚ3において撮影した各画像２１を、個々にチェックする必要がなく、効率的なチェックが行える。
【００５６】
（３）合成画像５０の作成に当たって、通常行われている複雑なフィルタリング処理等が不必要であるため、フィルタリング処理等を行うには処理速度の遅い制御部１０であっても、実用上支障なく画像合成処理を実行可能である。
【００５７】
（４）表示部２５によって、合成画像５０を表示することにより、迅速に作成した合成画像５０の確認がリアルタイムに行える。従って、多量のパンチ３の表面を観察してチェックする場合などにおいて、短時間に、且つ、容易に行うことが可能である。
【００５８】
また、本発明は上記の実施形態に限定されるものではなく、次に挙げる変形例のような形態であっても、実施形態と同様な効果が得られる。
【００５９】
（変形例１）基準位置Ｐ01と移動位置Ｐ11との距離、移動位置Ｐ11と移動位置Ｐ21との距離、および、移動位置Ｐ21と移動位置Ｐ31との距離は、焦点深度と同じである移動距離ｈではなく、移動距離ｈ以下であっても良い。また、それぞれが移動距離ｈ以下の異なった距離であっても良い、画像領域Ｇ01〜Ｇ31の重なる部分があり、領域データ２３の演算が煩雑化するが、実施形態と同様に合成画像５０が作成可能である。
【００６０】
（変形例２）ステップＳ４において、ＣＣＤカメラ２ａの焦点は、基準位置Ｐ01およびＰ02に合わせたままで、焦点深度に対応した調整を行わなくても良い。画像領域Ｇ01およびＧ02の画像領域幅Ｌ01およびＬ02が小さくなるが、合成画像の作成は可能である。
【００６１】
（変形例３）座標データ２２および領域データ２３は、ＲＡＭ１３ではなくＲＯＭ１２に記憶させても良い。ＲＯＭ１２は、不揮発性メモリであり、パンチ３の観察の都度、入力部から読み込む操作が不要になる。
【００６２】
（変形例４）Ｚ軸ステージ７は、撮影部２を移動させる構成ではなく、載置部であるＸ軸ステージ５を移動させても良い。撮影部２が固定されて、より安定した撮影状態を保持可能である。
【００６３】
（変形例５）固定治具４を介してパンチ３を載置するステージは、Ｘ軸ステージ５に限定されず、Ｙ軸ステージ６が載置部であっても良い。表面観察装置１の載置部構成の自由度を増すことが可能である。
【００６４】
（変形例６）固定治具４の回転部４ａは、制御部１０の制御により回転する構成であっても良い。多量のパンチ３を連続して観察する場合などに、操作が効率的である。
【００６５】
（変形例７）ステップＳ１０において、合成画像５０を表示部２５に表示するだけではなく、プリンタで出力しても良い。パンチ３の観察チェック記録として残しておくことが可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の表面観察装置の構成を示す模式図。
【図２】表面観察装置の制御部の構成を示すブロック図。
【図３】（ａ）パンチの外観を示す平面図、（ｂ）ノズルプレートへのノズルのプレス加工を示す断面図、（ｃ）ノズルからの液滴の吐出を示す断面図。
【図４】撮影部により撮影したパンチ表面各部の画像領域を示す模式図。
【図５】（ａ）撮影部から最遠部の画像領域を示す平面図、（ｂ）撮影部から最遠部の画像領域に隣接する画像領域を示す平面図。
【図６】（ｃ）撮影部から最近部の画像領域に隣接する画像領域を示す平面図、（ｄ）撮影部から最近部の画像領域を示す平面図。
【図７】合成画像を示す平面図。
【図８】合成画像を作成するためのフローチャート図。
【符号の説明】
【００６７】
１…表面観察装置、２…撮影部、２ａ…ＣＣＤカメラ、２ｂ…カメラレンズ、３…被観察物としてのパンチ、４…固定治具、５…載置部としてのＸ軸ステージ、６…Ｙ軸ステージ、７…移動部としてのＺ軸ステージ、１０…制御部、１１…切取部および合成部としてのＣＰＵ、１２…ＲＯＭ、１３…記憶部としてのＲＡＭ、１４…撮影制御部、１５…駆動制御部、１８…画像合成プログラム、２１…画像、２２…座標データ、２３…領域データ、３０…ノズルプレート、３１…ノズル、５０…合成画像、ｈ…移動距離、Ｐ01、Ｐ02…基準位置、Ｐ03〜Ｐ32…移動位置、Ｆ01〜Ｆ31…撮影面、Ｇ01〜Ｇ31…画像領域、Ｌ01〜Ｌ31…画像領域幅、Ｚ0〜Ｚ3…撮影位置。
【技術分野】
【０００１】
本発明は、画像合成方法および画像合成方法を用いた表面観察装置に関する。
【背景技術】
【０００２】
従来、部分的に異なる奥行きを有する被写体（被観察物）を撮影するために、全フォーカス法を用いることが知られている。全フォーカス法によれば、撮影部を被写体の奥行き方向に微小距離ずつ移動させながら撮影位置を変え、撮影位置毎に撮影した被写体の画像を取得する。そして、取得したそれぞれの画像の中から焦点の合っている部分を切り出して合成することにより、奥行きの異なる被写体のいずれの部分をも、鮮明に表示した合成画像が得られる（たとえば特許文献１）。
【０００３】
【特許文献１】特開２０００−２７６１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、被写体の焦点の合った部分を抽出するために、各種のフィルタリング手法を用いて複雑で膨大な画像処理を行う必要があった。そのため、画像処理部が肥大化し、さらに、合成画像を得るまでの時間がかかるという課題が生じていた。
【０００５】
本発明は、上記課題を解決するために、迅速に合成画像を作成可能な画像合成方法および表面観察装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像合成方法は、撮影部の焦点を被観察物の基準位置に合わせる合焦ステップと、被観察物の三次元形状を表す座標データに基づいて、撮影部の焦点を撮影部の焦点深度以下の距離だけ移動させた移動位置に移す移動ステップと、基準位置および移動位置における被観察物の表面を撮影部によってそれぞれ撮影する撮影ステップと、撮影ステップで撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取ステップと、画像領域を繋ぎ合わせて合成画像を作成する合成ステップと、を有することを特徴とする。
【０００７】
この画像合成方法によれば、三次元形状を有する被観察物のいずれの部分にも焦点のあった合成画像を作成するために、まず、被観察物の焦点の合わせやすい部分である基準位置に撮影部の焦点を合わせる（合焦ステップ）。そして、基準位置における被観察物の表面を撮影する（撮影ステップ）。撮影した画像は、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、焦点の合っている、いわゆるピントの合った、鮮明な状態の画像領域であり、撮影部の焦点深度外に位置する他の表面部が、いわゆるピントの外れたボケた状態である。次に、撮影部を撮影部の焦点深度以下の距離だけ移動させ（移動ステップ）、移動した移動位置における被観察物の表面を撮影する（撮影ステップ）。移動位置で撮影した画像は、基準位置での画像と同様、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、鮮明な状態の画像領域である。撮影後、基準位置および移動位置のそれぞれの画像から鮮明な画像領域のみを選択して切り取る（切取ステップ）。この時、画像領域は、事前に取得してある被観察物の座標データおよび領域データに基づいて特定されている。従って、切取ステップでは、特定されている領域を選択して切り取れば良く、画像領域と画像領域以外の領域をフィルタリング等で処理して選択する必要が無い。次に、切り取った画像領域を順に繋ぎ合わせて合成画像を作成する（合成ステップ）。合成画像の作成により、撮影部の焦点深度内に収まらない三次元形状をなしている被観察物であっても、被観察物の撮影可能な部分がいずれも鮮明な状態で得られる。この方法によれば、形状が既知である被観察物の表面状態を表す合成画像を、迅速に、作成可能である。
【０００８】
この場合、合成画像を表示部に表示する表示ステップをさらに有することが好ましい。
【０００９】
この方法によれば、表示ステップをさらに有し、合成画像を表示部に表示することにより、迅速に作成した合成画像の確認がリアルタイムに行える。従って、多量の被観察物の表面を観察してチェックする場合などにおいて、短時間に、且つ、容易にチェックを行うことが可能である。
【００１０】
この場合、被観察物を回転させる回転ステップをさらに有することが好ましい。
【００１１】
この方法によれば、回転ステップをさらに有し、被観察物を回転させることにより、被観察物の撮影部と対極側にある表面部の撮影が、連続して行える。これにより、撮影部に対して、被観察物の位置を変えて再度取り付け直す必要が無くなり、被観察物の全周撮影が容易に行える。
【００１２】
この場合、移動ステップは、複数回実行されることが好ましい。
【００１３】
この方法によれば、移動ステップを複数回実行することにより、移動ステップでの移動方向の長さが、撮影部の焦点深度より複数倍長い被観察物であっても、複数回の撮影によって、合成画像に必要な画像領域を、容易に、取得可能である。
【００１４】
本発明の表面観察装置は、被観察物を載置するための載置部と、被観察物の表面を撮影する撮影部と、被観察物の三次元形状を表す座標データを記憶している記憶部と、座標データを基に撮影部を撮影部の焦点深度以下の距離ずつ移動させる移動部と、撮影部が撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取部と、画像領域のそれぞれを繋ぎ合わせて合成画像を作成する合成部と、を備えていることを特徴とする。
【００１５】
この表面観察装置によれば、三次元形状を有する被観察物のいずれの部分にも焦点のあった合成画像を作成するための載置部、撮影部、記憶部、移動部、切取部および合成部を有している。まず、載置部に被観察物が載置されると、撮影部が被観察物の表面を撮影する。この時、撮影した画像は、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、焦点の合っている、いわゆるピントの合った、鮮明な状態の画像領域であり、撮影部の焦点深度外に位置する他の表面部が、いわゆるピントの外れたボケた状態である。次に、移動部が撮影部を撮影部の焦点深度以下の距離ずつ移動させる。そして、撮影部は、移動した位置における被観察物の表面を撮影する。移動した位置で撮影した画像も、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、鮮明な状態の画像領域である。撮影後、切取部は、それぞれの画像から鮮明な画像領域のみを選択して切り取る。この時、画像領域は、事前に取得してある被観察物の座標データおよび領域データに基づいて特定されており、切取部は、特定されている領域を選択すれば良い。従って、切取ステップにおいて、画像領域と画像領域以外の領域をフィルタリング等で処理して、処理結果に基づいて選択する等の必要が無い。次に、合成部が切り取った画像領域を順に繋ぎ合わせて合成画像を作成する。合成画像の作成により、撮影部の焦点深度内に収まらない三次元形状をなしている被観察物であっても、被観察物の撮影可能な部分がいずれも鮮明な状態で得られる。この表面観察装置によれば、形状が既知である被観察物の表面状態を表す合成画像を、迅速に、作成することが可能である。
【００１６】
この場合、合成画像を表示する表示部をさらに備えていることが好ましい。
【００１７】
この構成によれば、表面観察装置は、表示部をさらに有し、合成画像を表示部に表示することにより、迅速に作成した合成画像の確認がリアルタイムに行える。従って、多量の被観察物を観察してチェックする場合などにおいて、短時間に、且つ、容易にチェックを行うことが可能である。
【００１８】
この場合、被観察物は、載置部に載置された固定治具の回転部に取り付けられていることが好ましい。
【００１９】
この構成によれば、表面観察装置は、被観察物を回転させることが可能であり、被観察物の撮影部と対極側にある表面部の撮影が可能である。これにより、撮影部に対して被観察物の位置を変えるために、再度取り付け直す必要が無くなり、被観察物の全周撮影が、容易に、行える。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を具体化した実施形態について図面に従って説明する。実施形態では、表面観察装置によって、プレス抜き加工用のパンチの表面状態を撮影し、キズ等の有無を観察チェックする場合を例にして説明する。表面状態の確認は、撮影した画像を基に作成した合成画像によって行われる。
（実施形態）
【００２１】
図１は、本発明の表面観察装置の構成を示す模式図である。表面観察装置１は、撮影部２と、被観察物であるパンチ３を固定治具４を介して載置しＸ軸方向に移動可能なＸ軸ステージ（載置部）５と、Ｙ軸方向に移動可能なＹ軸ステージ６と、撮影部２をＺ軸方向に移動させるＺ軸ステージ（移動部）７と、を備えている。また、撮影部２は、パンチ３を撮影するためのＣＣＤカメラ２ａと、カメラレンズ２ｂと、を有し、固定治具４は、パンチ３を回転させる回転部４ａを有する。そして、表面観察装置１は、さらに、制御部１０を備えており、制御部１０は、撮影部２、Ｘ軸ステージ５、Ｙ軸ステージ６およびＺ軸ステージ７を制御すると共に、各種データや指示の入力を行うための入力部２０と、撮影したパンチ３の合成画像などを表示するための表示部２５と、を制御する。
【００２２】
次に、図２は、表面観察装置の制御部の構成を示すブロック図である。制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、を有する。ＲＯＭ１２は、合成画像を作成するための画像合成プログラム１８を有する読み書き自在な不揮発性メモリであり、ＲＡＭ１３は、撮影部２が撮影したパンチ３の画像２１と、入力部２０から入力されるデータであってパンチ３の三次元データを表す座標データ２２と、パンチ３の画像２１において焦点が合っている画像領域を予め演算した領域データ２３と、画像領域を合成した合成画像５０と、を一時的に記憶する記憶部としてのメモリである。さらに、制御部１０は、撮影部２を制御する撮影制御部１４と、Ｘ軸ステージ５、Ｙ軸ステージ６およびＺ軸ステージ７をそれぞれ制御する駆動制御部１５と、表示部２５を制御する表示制御部１６と、入力部２０を制御する入力制御部１７と、を有する。
【００２３】
このような構成の制御部１０において、ＣＰＵ１１は、ＲＯＭ１２の画像合成プログラム１８に基づいて、領域データ２３を参照して画像２１から画像領域を切り取る切取部および切り取った画像領域を繋ぎ合わせて合成する合成部として機能すると共に、ＲＯＭ１２の図示していないファームウエアに基づいて制御部１０の全体を制御する。そして、パンチ３の座標データ２２は、撮影部２の焦点深度に合わせて、パンチ３に対して焦点位置を変えて複数回撮影することにより、得られた複数の画像２１の中に三次元形状のパンチ３の表面の鮮明な画像領域を漏れなく得るためのものである。また、領域データ２３は、各画像２１の中の焦点の合っている鮮明な部分である画像領域を、予め演算して特定したものである。座標データ２２および領域データ２３の詳細については、図４に基づいて後述する。
【００２４】
ここで、被観察物のパンチ３について、簡単に説明する。図３（ａ）は、パンチの外観を示す平面図、（ｂ）は、ノズルプレートへのノズルのプレス加工を示す断面図、（ｃ）は、ノズルからの液滴の吐出を示す断面図である。パンチ３は、インクジェット装置において、各種の材料液を液滴状態で吐出するためのノズルを加工する工具であって、図３（ａ）に示すように、直径がｄで、長さがｅの円柱状をなしている打抜部３ａと、パンチ３をプレス機にとりつけるための直径がｄより大きな保持部３ｃと、打抜部３ａと保持部３ｃとの間に設けられている略円錐状の鍛造部３ｂと、を有する。この場合、直径ｄが２０μｍ、長さｅが８０μｍである。
【００２５】
このパンチ３をプレス機に取り付け、図３（ｂ）に示すように、厚さ８０μｍのノズルプレート３０にノズル３１を加工する。まず、パンチ３に対して、ノズルプレート３０のノズル３１を加工する位置を合わせる。そして、プレス機を作動させて、パンチ３の打抜部３ａによってノズルプレート３０を円形に打抜く。打抜部３ａに続いて、さらに、パンチ３の鍛造部３ｂによって、円錐状部を形成する。これにより、ノズル３１は、断面形状が漏斗状の形状に加工される。打抜部３ａの加工によって生じたカエリ等は、研削加工で除去する。
【００２６】
このように加工されたノズルプレート３０は、インクジェット装置に装着され、図３（ｃ）に示すように、ノズルプレート３０に形成されたノズル３１の漏斗状に開いた側に材料液４０が貯留されている。材料液４０に圧力Ｗが加えられると、材料液４０は、ノズル３１から押し出され、液滴４１となって吐出される。この時、規定量の液滴４１を所定の方向へ吐出させるためには、ノズル３１の寸法精度の確保および表面にキズ等のない面精度が要求される。そのためには、ノズル３１を加工するパンチ３の寸法精度およびパンチ表面の面精度を確保する必要がある。表面観察装置１は、パンチ３の表面にキズ、割れ、異物、歪みなどがないかを観察し、面精度を保証するためのチェックに用いられるものである。
【００２７】
次に、表面観察装置１によってパンチ３の表面を撮影した画像から、焦点の合っている画像領域を切り取り、合成画像を作成してパンチ３の面精度を観察チェックする方法について説明する。図４は、撮影部により撮影したパンチ表面各部の画像領域を示す模式図である。また、図５（ａ）は、撮影部から最遠部の画像領域を示す平面図、（ｂ）は、撮影部から最遠部の画像領域に隣接する画像領域を示す平面図である。そして、図６（ｃ）は、撮影部から最近部の画像領域に隣接する画像領域を示す平面図、（ｄ）は、撮影部から最近部の画像領域を示す平面図である。図４は、図１に示す撮影部２およびパンチ３の打抜部３ａの円形面をＹ軸方向に沿って見た図であり、図中の撮影部２内には、撮影部２が捉える画像領域Ｇ01〜Ｇ31を模式的に表してある。この場合、撮影部２は、パンチ３の撮影部２の側の半周面を画像２１として撮影可能である。また、図５および図６は、図４の画像領域Ｇ01〜Ｇ31個々の詳細を示している。
【００２８】
図４に示すように、表面観察装置１は、打抜部３ａの半周面を漏れなく鮮明に撮影するために、移動距離ｈの間隔で位置する撮影位置Ｚ0〜Ｚ3の各々で合計４回の撮影を行う。この場合、移動距離ｈは、撮影部２の焦点深度と同じ値に設定する。最初に、撮影位置Ｚ0において、パンチ３を撮影するため、まず、オートフォーカス機能に連動するＺ軸ステージ７によって撮影部２を移動させ、焦点の合わせ易いパンチ３のエッジ（外周位置）である基準位置Ｐ01およびＰ02に撮影部２の焦点を合わせる。さらに、撮影部２の焦点深度を考慮して、焦点深度の撮影部２から最遠部が、基準位置Ｐ01およびＰ02に合致するように撮影部２を移動させる。つまり、撮影部２をｈ／２だけパンチ３から離反させることにより、基準位置Ｐ01およびＰ02において、撮影部２の焦点深度内にあって鮮明に撮影可能なパンチ３の半周面の領域を増やすことが可能である。
【００２９】
この鮮明に撮影可能なパンチ３の半周面の領域が、基準位置Ｐ01と基準位置Ｐ01からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ11との間の撮影面Ｆ01、および、基準位置Ｐ02と基準位置Ｐ02からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ12との間の撮影面Ｆ02である。基準位置Ｐ01と移動位置Ｐ11との間、および、基準位置Ｐ02と移動位置Ｐ12との間が撮影部２の焦点深度である。焦点深度内の撮影面Ｆ01は、撮影部２で撮影された画像２１において、画像領域幅Ｌ01を有する鮮明な画像領域Ｇ01である。同様に、焦点深度内の撮影面Ｆ02は、撮影部２で撮影された画像２１において、画像領域幅Ｌ02を有する鮮明な画像領域Ｇ02である。撮影位置Ｚ0で撮影した画像２１は、画像領域Ｇ01およびＧ02に該当する部分が鮮明に撮影されており、他の撮影面の部分は不鮮明な、いわゆるピンボケである。
【００３０】
撮影位置Ｚ0において撮影部２が撮影したパンチ３は、図５（ａ）に示すように、打抜部３ａの撮影面Ｆ01が画像領域幅Ｌ01および長さｅの長方形をなす鮮明な画像領域Ｇ01であって、他の撮影面を含んだ画像２１としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ02も、画像領域幅Ｌ02および長さｅの長方形をなす鮮明な画像領域Ｇ02としてＲＡＭ１３に記憶される。
【００３１】
撮影位置Ｚ0での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ1方向へ移動距離ｈだけ移動させる。撮影位置Ｚ1では、移動位置Ｐ11と移動位置Ｐ11からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ21との間の撮影面Ｆ11、および、移動位置Ｐ12と移動位置Ｐ12からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ22との間の撮影面Ｆ12が、撮影部２の焦点深度内である。従って、撮影面Ｆ11は、撮影部２で撮影された画像２１において、画像領域幅Ｌ11を有する鮮明な画像領域Ｇ11であり、同様に、焦点深度内の撮影面Ｆ12は、撮影部２で撮影された画像２１において、画像領域幅Ｌ12を有する鮮明な画像領域Ｇ12である。撮影位置Ｚ1で撮影した画像２１は、画像領域Ｇ11およびＧ12に該当する部分が鮮明であって、他の撮影面の部分は不鮮明である。
【００３２】
撮影位置Ｚ1おいて撮影部２が撮影したパンチ３は、図５（ｂ）に示すように、打抜部３ａの撮影面Ｆ11が、画像領域幅Ｌ11および長さｅの長方形をなす鮮明な画像領域Ｇ11としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ12も、画像領域幅Ｌ12および長さｅの長方形をなす鮮明な画像領域Ｇ12としてＲＡＭ１３に記憶される。
【００３３】
撮影位置Ｚ1での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ2方向へ移動距離ｈだけ移動させる。撮影位置Ｚ2では、移動位置Ｐ21と移動位置Ｐ21からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ31との間の撮影面Ｆ21、および、移動位置Ｐ22と移動位置Ｐ22からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ32との間の撮影面Ｆ22が、撮影部２の焦点深度内である。従って、撮影面Ｆ21は、撮影部２で撮影された画像２１において、画像領域幅Ｌ21を有する鮮明な画像領域Ｇ21であり、同様に、焦点深度内の撮影面Ｆ22は、撮影部２で撮影された画像２１において、画像領域幅Ｌ22を有する鮮明な画像領域Ｇ22である。撮影位置Ｚ2で撮影した画像２１は、画像領域Ｇ21およびＧ22に該当する部分が鮮明であって、他の撮影面の部分は不鮮明である。
【００３４】
撮影位置Ｚ2おいて撮影部２が撮影したパンチ３は、図６（ｃ）に示すように、打抜部３ａの撮影面Ｆ21が、画像領域幅Ｌ21および長さｅの長方形をなす鮮明な画像領域Ｇ21としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ22も、画像領域幅Ｌ22および長さｅの長方形をなす鮮明な画像領域Ｇ22としてＲＡＭ１３に記憶される。
【００３５】
そして、撮影位置Ｚ2での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ3方向へ移動距離ｈだけ移動させる。この場合、撮影位置Ｚ3では、移動位置Ｐ31と移動位置Ｐ32の間のパンチ３の半周部の領域が撮影部２の焦点深度内であり、このパンチ３の半周部の領域が、移動位置Ｐ31と移動位置Ｐ32との間の撮影面Ｆ31である。従って、撮影面Ｆ31は、撮影部２で撮影された画像２１において、画像領域幅Ｌ31を有する鮮明な画像領域Ｇ31であり、他の撮影面の部分は不鮮明である。
【００３６】
撮影位置Ｚ3おいて撮影部２が撮影したパンチ３は、図６（ｄ）に示すように、打抜部３ａの撮影面Ｆ31が、画像領域幅Ｌ31および長さｅの長方形をなす鮮明な画像領域Ｇ31としてＲＡＭ１３に記憶される。以上説明したように、４回の撮影により得られた４つの画像２１には、パンチ３の半周面を鮮明に捉えた画像領域Ｇ01〜Ｇ31が含まれている。
【００３７】
ここで、パンチ３を撮影する撮影位置Ｚ0〜Ｚ3の設定について説明する。表面観察装置１は、パンチ３を撮影部２で撮影するために、入力部から座標データ２２および領域データ２３をＲＡＭ１３に取り込んで記憶している。この場合、パンチ３の直径ｄが２０μｍであり、撮影部２の焦点深度が３μｍであるので、図４に示す半径ｒが１０μｍのパンチ３の半周面を漏れなく撮影するためには、撮影部２の移動距離ｈを３μｍとすると、撮影位置Ｚ0〜Ｚ3において４回の撮影が必要であり、パンチ３の直径ｄと撮影部２の焦点深度とから撮影位置および撮影回数が設定可能である。被観察物のパンチ３は、形状が既知であるため、座標データ２２は、打抜部３ａの半周面の撮影位置Ｚ0〜Ｚ3にそれぞれ位置する基準位置Ｐ01および基準位置Ｐ02と、移動位置Ｐ11〜移動位置Ｐ32の座標値を有し、パンチ３の三次元形状を表している。
【００３８】
また、領域データ２３は、座標データ２２に基づき、撮影位置Ｚ0〜Ｚ3のそれぞれで撮影した画像２１において、撮影部２の焦点深度内に位置する打抜部３ａの半周面を撮影した画像領域Ｇ01〜Ｇ31を予め演算して特定したものである。領域データ２３を参照すれば、画像２１のどの領域が画像領域Ｇ01〜Ｇ31であるかの判断が容易である。
【００３９】
なお、撮影部２の焦点深度を深くすれば、鮮明に撮影可能な範囲は、撮影位置Ｚ0とＺ1との距離３μｍより広くなり、撮影回数の削減が図れるが、画像２１の劣化が生じて面精度の観察チェックがし難くなる。従って、パンチ３の面精度を観察チェックするためには、撮影回数が増えるが、焦点深度を例えば１μｍ程度に浅くして、より緻密な画像を得ることが望ましい。
【００４０】
次に、合成画像５０の作成について簡単に説明する。図７は、合成画像を示す平面図である。合成画像５０は、パンチ３の半周面のいずれの部分をも、鮮明に、一つの画像として表したものである。合成画像５０の作成は、撮影位置Ｚ0〜Ｚ3において撮影し、ＲＡＭ１３に記憶している各画像２１を基に、ＣＰＵ１１がＲＯＭ１２の画像合成プログラムに従って行う。まず、画像２１から画像領域Ｇ01〜Ｇ31を切り取り、次に、切り取った画像領域Ｇ01〜Ｇ31を順に繋ぎ合わせて、図７に示すような合成画像５０を作成する。この合成画像５０により、三次元形状のパンチ３の表面状態を精密に観察チェックすることが可能である。
【００４１】
以下に、表面観察装置１によって合成画像５０を作成する画像合成方法について、フローチャート図を参照して説明する。図８は、合成画像を作成するためのフローチャート図である。フローチャート図は、表面観察装置１の制御部１０が実行するステップを示している。
【００４２】
まず、ステップＳ１において、パンチ３が固定治具４にセットされ、観察開始の指示を受信したか否かを判断する。観察開始の指示は、入力部２０から入力される。指示を受信していなければ、ステップＳ１において指示を待ち、一方、受信していれば、ステップＳ２へ進む。
【００４３】
ステップＳ２において、パンチ３の座標データ２２を基に、Ｘ軸ステージ５およびＹ軸ステージ６の移動を指示して、パンチ３を撮影可能な位置へ移動させる。移動指示後、ステップＳ３へ進む。
【００４４】
ステップＳ３において、パンチ３がＣＣＤカメラ２ａの視野内に入ったか否かを判断する。判断は、撮影制御部１４が撮影部２からの画像を確認して行う。パンチ３が視野外であれば、ステップＳ２へ戻り、一方、視野内であれば、ステップＳ４へ進む。
【００４５】
ステップＳ４において、Ｚ軸ステージ７を移動させて、パンチ３のエッジにＣＣＤカメラ２ａの焦点があっているか否かを判断する。この判断は、撮影制御部１４が撮影部２からの画像を確認して行う。この場合、既述したように、パンチ３のエッジには、焦点深度内のＣＣＤカメラ２ａから最遠部が合致している。ステップＳ４は、合焦ステップに該当する。焦点が合っていなければ、ステップＳ４においてＺ軸ステージ７を移動させて調整を続け、一方、焦点が合えば、ステップＳ５へ進む。
【００４６】
ステップＳ５において、ＣＣＤカメラ２ａでパンチ３の表面を撮影し、撮影した画像２１をＲＡＭ１３へ記憶する。ステップＳ５は、撮影ステップに該当する。撮影後、ステップＳ６へ進む。
【００４７】
ステップＳ６において、４回の撮影を実行したか否かを判断する。判断は、撮影制御部１４が撮影部２へ指示した撮影命令の回数をＣＰＵ１１がカウントすることによって行う。４回未満であれば、ステップＳ７へ進み、一方、４回に到達していれば、ステップＳ８へ進む。
【００４８】
４回未満の場合、ステップＳ７において、Ｚ軸ステージ７を移動距離ｈだけ移動させる。ステップＳ７は、移動ステップに該当する。移動後、ステップＳ５へ戻る。
【００４９】
４回に達していれば、ステップＳ８において、撮影した各画像２１を領域データ２３に基づいて切り取る。切り取る部分は、各画像２１の画像領域Ｇ01〜Ｇ31である。この場合、領域データ２３によって、画像領域Ｇ01〜Ｇ31のそれぞれが座標値で特定されているため、フィルタ処理等の演算が不要で、容易に切り取ることが可能である。この処理は、ＣＰＵ１１がＲＯＭ１２の画像合成プログラム１８に従って切取部として機能することにより実行される。ステップＳ８は、切取ステップに該当する。切取後、ステップＳ９へ進む。
【００５０】
ステップＳ９において、切り取った画像領域Ｇ01〜Ｇ31を図７に示すように、順に繋ぎ合わせて、合成画像５０を作成する。この処理は、ＣＰＵ１１がＲＯＭ１２の画像合成プログラム１８に従って合成部として機能することにより実行される。ステップＳ９は、合成ステップに該当する。作成後、ステップＳ１０へ進む。
【００５１】
ステップＳ１０において、表示部２５へ合成画像５０を表示する。表示部２５への表示により、パンチ３の面精度をリアルタイムで観察チェックすることが可能である。ステップＳ１０は、表示ステップに該当する。以上のような各ステップにより、合成画像５０が作成される。
【００５２】
なお、ステップＳ１０の終了後に、固定治具４の回転部４ａを操作し、回転ステップとして、パンチ３を１８０度回転させれば、再度、ステップＳ１からＳ１０のステップの実行により、パンチ３の反対側の半周面を引き続いて撮影することが可能である。これにより、最少のパンチ３の回転移動だけで、パンチ３の打抜部３ａの全周を漏れなく撮影可能である。
【００５３】
以上、表面観察装置１による画像合成方法に関する具体的な実施形態について説明した。以下に実施形態の効果をまとめて記載する。
【００５４】
（１）被観察物のパンチ３の形状を座標データ２２および領域データ２３により、予め特定する画像合成方法により、撮影部２の焦点深度から外れるような三次元形状をなしているパンチ３であっても、パンチ３の撮影可能な部分がいずれも鮮明な状態の一つの合成画像５０として得られる。この方法によれば、パンチ３の表面状態を表示する合成画像５０を、迅速に作成することが可能である。
【００５５】
（２）合成画像５０を作成して、一つの合成画像によってパンチ３の表面状態をチェック可能であるため、撮影位置Ｚ0〜Ｚ3において撮影した各画像２１を、個々にチェックする必要がなく、効率的なチェックが行える。
【００５６】
（３）合成画像５０の作成に当たって、通常行われている複雑なフィルタリング処理等が不必要であるため、フィルタリング処理等を行うには処理速度の遅い制御部１０であっても、実用上支障なく画像合成処理を実行可能である。
【００５７】
（４）表示部２５によって、合成画像５０を表示することにより、迅速に作成した合成画像５０の確認がリアルタイムに行える。従って、多量のパンチ３の表面を観察してチェックする場合などにおいて、短時間に、且つ、容易に行うことが可能である。
【００５８】
また、本発明は上記の実施形態に限定されるものではなく、次に挙げる変形例のような形態であっても、実施形態と同様な効果が得られる。
【００５９】
（変形例１）基準位置Ｐ01と移動位置Ｐ11との距離、移動位置Ｐ11と移動位置Ｐ21との距離、および、移動位置Ｐ21と移動位置Ｐ31との距離は、焦点深度と同じである移動距離ｈではなく、移動距離ｈ以下であっても良い。また、それぞれが移動距離ｈ以下の異なった距離であっても良い、画像領域Ｇ01〜Ｇ31の重なる部分があり、領域データ２３の演算が煩雑化するが、実施形態と同様に合成画像５０が作成可能である。
【００６０】
（変形例２）ステップＳ４において、ＣＣＤカメラ２ａの焦点は、基準位置Ｐ01およびＰ02に合わせたままで、焦点深度に対応した調整を行わなくても良い。画像領域Ｇ01およびＧ02の画像領域幅Ｌ01およびＬ02が小さくなるが、合成画像の作成は可能である。
【００６１】
（変形例３）座標データ２２および領域データ２３は、ＲＡＭ１３ではなくＲＯＭ１２に記憶させても良い。ＲＯＭ１２は、不揮発性メモリであり、パンチ３の観察の都度、入力部から読み込む操作が不要になる。
【００６２】
（変形例４）Ｚ軸ステージ７は、撮影部２を移動させる構成ではなく、載置部であるＸ軸ステージ５を移動させても良い。撮影部２が固定されて、より安定した撮影状態を保持可能である。
【００６３】
（変形例５）固定治具４を介してパンチ３を載置するステージは、Ｘ軸ステージ５に限定されず、Ｙ軸ステージ６が載置部であっても良い。表面観察装置１の載置部構成の自由度を増すことが可能である。
【００６４】
（変形例６）固定治具４の回転部４ａは、制御部１０の制御により回転する構成であっても良い。多量のパンチ３を連続して観察する場合などに、操作が効率的である。
【００６５】
（変形例７）ステップＳ１０において、合成画像５０を表示部２５に表示するだけではなく、プリンタで出力しても良い。パンチ３の観察チェック記録として残しておくことが可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の表面観察装置の構成を示す模式図。
【図２】表面観察装置の制御部の構成を示すブロック図。
【図３】（ａ）パンチの外観を示す平面図、（ｂ）ノズルプレートへのノズルのプレス加工を示す断面図、（ｃ）ノズルからの液滴の吐出を示す断面図。
【図４】撮影部により撮影したパンチ表面各部の画像領域を示す模式図。
【図５】（ａ）撮影部から最遠部の画像領域を示す平面図、（ｂ）撮影部から最遠部の画像領域に隣接する画像領域を示す平面図。
【図６】（ｃ）撮影部から最近部の画像領域に隣接する画像領域を示す平面図、（ｄ）撮影部から最近部の画像領域を示す平面図。
【図７】合成画像を示す平面図。
【図８】合成画像を作成するためのフローチャート図。
【符号の説明】
【００６７】
１…表面観察装置、２…撮影部、２ａ…ＣＣＤカメラ、２ｂ…カメラレンズ、３…被観察物としてのパンチ、４…固定治具、５…載置部としてのＸ軸ステージ、６…Ｙ軸ステージ、７…移動部としてのＺ軸ステージ、１０…制御部、１１…切取部および合成部としてのＣＰＵ、１２…ＲＯＭ、１３…記憶部としてのＲＡＭ、１４…撮影制御部、１５…駆動制御部、１８…画像合成プログラム、２１…画像、２２…座標データ、２３…領域データ、３０…ノズルプレート、３１…ノズル、５０…合成画像、ｈ…移動距離、Ｐ01、Ｐ02…基準位置、Ｐ03〜Ｐ32…移動位置、Ｆ01〜Ｆ31…撮影面、Ｇ01〜Ｇ31…画像領域、Ｌ01〜Ｌ31…画像領域幅、Ｚ0〜Ｚ3…撮影位置。
【特許請求の範囲】
【請求項１】
撮影部の焦点を被観察物の基準位置に合わせる合焦ステップと、
前記被観察物の三次元形状を表す座標データに基づいて、前記撮影部の焦点を前記撮影部の焦点深度以下の距離だけ移動させた移動位置に移す移動ステップと、
前記基準位置および前記移動位置における前記被観察物の表面を前記撮影部によってそれぞれ撮影する撮影ステップと、
前記撮影ステップで撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取ステップと、
前記画像領域を繋ぎ合わせて合成画像を作成する合成ステップと、を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法において、
前記合成画像を表示部に表示する表示ステップをさらに有することを特徴とする画像合成方法。
【請求項３】
請求項１または２に記載の画像合成方法において
前記被観察物を回転させる回転ステップをさらに有することを特徴とする画像合成方法。
【請求項４】
請求項１から３のいずれか一項に記載の画像合成方法において、
前記移動ステップは、複数回実行されることを特徴とする画像合成方法。
【請求項５】
被観察物を載置するための載置部と、
前記被観察物の表面を撮影する撮影部と、
前記被観察物の三次元形状を表す座標データを記憶している記憶部と、
前記座標データを基に前記撮影部を前記撮影部の焦点深度以下の距離ずつ移動させる移動部と、
前記撮影部が撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取部と、
前記画像領域のそれぞれを繋ぎ合わせて合成画像を作成する合成部と、を備えていることを特徴とする表面観察装置。
【請求項６】
請求項５に記載の表面観察装置において、
前記合成画像を表示する表示部をさらに備えていることを特徴とする表面観察装置。
【請求項７】
請求項５または６に記載の表面観察装置において、
前記被観察物は、前記載置部に載置された固定治具の回転部に取り付けられていることを特徴とする表面観察装置。
【請求項１】
撮影部の焦点を被観察物の基準位置に合わせる合焦ステップと、
前記被観察物の三次元形状を表す座標データに基づいて、前記撮影部の焦点を前記撮影部の焦点深度以下の距離だけ移動させた移動位置に移す移動ステップと、
前記基準位置および前記移動位置における前記被観察物の表面を前記撮影部によってそれぞれ撮影する撮影ステップと、
前記撮影ステップで撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取ステップと、
前記画像領域を繋ぎ合わせて合成画像を作成する合成ステップと、を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法において、
前記合成画像を表示部に表示する表示ステップをさらに有することを特徴とする画像合成方法。
【請求項３】
請求項１または２に記載の画像合成方法において
前記被観察物を回転させる回転ステップをさらに有することを特徴とする画像合成方法。
【請求項４】
請求項１から３のいずれか一項に記載の画像合成方法において、
前記移動ステップは、複数回実行されることを特徴とする画像合成方法。
【請求項５】
被観察物を載置するための載置部と、
前記被観察物の表面を撮影する撮影部と、
前記被観察物の三次元形状を表す座標データを記憶している記憶部と、
前記座標データを基に前記撮影部を前記撮影部の焦点深度以下の距離ずつ移動させる移動部と、
前記撮影部が撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取部と、
前記画像領域のそれぞれを繋ぎ合わせて合成画像を作成する合成部と、を備えていることを特徴とする表面観察装置。
【請求項６】
請求項５に記載の表面観察装置において、
前記合成画像を表示する表示部をさらに備えていることを特徴とする表面観察装置。
【請求項７】
請求項５または６に記載の表面観察装置において、
前記被観察物は、前記載置部に載置された固定治具の回転部に取り付けられていることを特徴とする表面観察装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−４６９５２（Ｐ２００８−４６９５２Ａ）
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００６−２２３０２４（Ｐ２００６−２２３０２４）
【出願日】平成１８年８月１８日（２００６．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１８年８月１８日（２００６．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]