画像合成方法および画像処理システム
【課題】ＦＡ分野などにおいて用いられる視覚センサに適した、複数の撮像装置で被測定物をそれぞれ撮像して得られる複数の画像から合成画像を得るための画像合成方法およびそれに向けられた画像処理システムを提供する。
【解決手段】基準プレートを載置した（ステップＳ１００）後、ユーザは、各撮像装置の撮像すべき領域が各自の撮像視野内に入るように、取付け位置などを調整する。さらに、ユーザは、モニタに表示される複数の入力画像に対して、その中に現われるガイドパターンを参照して、隣接する入力画像の相対位置を粗調整する。その後、ＣＰＵは、隣接する２つの入力画像について、所定の探索範囲内に存在する特徴点を探索し（ステップＳ１１６）、探索された特徴点同士を対応付け（ステップＳ１１８）、２つの入力画像の間についての相対位置を決定する（ステップＳ１２０）。
【解決手段】基準プレートを載置した（ステップＳ１００）後、ユーザは、各撮像装置の撮像すべき領域が各自の撮像視野内に入るように、取付け位置などを調整する。さらに、ユーザは、モニタに表示される複数の入力画像に対して、その中に現われるガイドパターンを参照して、隣接する入力画像の相対位置を粗調整する。その後、ＣＰＵは、隣接する２つの入力画像について、所定の探索範囲内に存在する特徴点を探索し（ステップＳ１１６）、探索された特徴点同士を対応付け（ステップＳ１１８）、２つの入力画像の間についての相対位置を決定する（ステップＳ１２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の撮像装置によって撮像した画像を合成出力する画像合成方法およびそれに向けられた画像処理システムに関するものである。
【背景技術】
【０００２】
ＦＡ（Factory Automation）分野などにおいては、ワークなどの被測定物に生じる欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。このような視覚センサを用いて、その表面積が比較的大きなワークを検査・計測したい場合や、検査・計測の効率を高めたい場合などには、撮像視野を可能な限り大きくして、より多くの光学的な情報を取得することが好ましい。
【０００３】
このように撮像視野を広くする手段の一つとして、高密度の撮像素子および広画角な光学系を有する撮像装置を用いる方法が考えられる。しかしながら、このような撮像装置はコスト的に高価なものとなる場合が多い。また、広画角レンズを採用すると、レンズ周辺に歪曲収差などの歪みを生じやすく、これが計測・検査の誤差となり得る。
【０００４】
撮像視野を大きくする別の方法として、複数の撮像装置を並列的に配置し、これらの撮像装置で得られるそれぞれの画像を１枚の画像に合成する方法が考えられる。このような方法を採用することで、より安価に撮像視野を広くすることができる。
【０００５】
このような画像合成方法では、隣接する画像同士をどのように結合するのかが重要になる。すなわち、各撮像装置の配置状態や光学系のバラツキなどに起因して、それぞれの撮像装置によって撮像される画像間の相対関係には誤差が生じ得る。そのため、画像間の継ぎ目の影響を可能な限り排除できる合成処理が重要となる。
【０００６】
たとえば、特開２００６−１７１９３９号公報（特許文献１）には、画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることを目的とする画像装置処理装置が開示されている。
【特許文献１】特開２００６−１７１９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＦＡ分野で用いられる視覚センサは、多くの場合、ベルトコンベヤなどによって搬送されるワークを検査・計測するものであり、その撮像面は平坦であることが多い。また、ベルトコンベヤなどに沿って複数の撮像装置を配置する場合には、ワークが存在しなければ、それぞれの撮像装置で撮像される画像は互いに類似したものとなり、特徴点が少ない画像となる。
【０００８】
このようなＦＡ分野における事情から、特開２００６−１７１９３９号公報（特許文献１）に開示されるような撮像装置の構成をそのまま採用することはできない。
【０００９】
そこで、この発明は、これらの問題を解決するためになされたものであり、その目的は、ＦＡ分野などにおいて用いられる視覚センサに適した、複数の撮像装置で被測定物をそれぞれ撮像して得られる複数の画像から合成画像を得るための画像合成方法およびそれに向けられた画像処理システムを提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従う画像合成方法は、基準物に対向して複数の撮像装置を配置するステップを含む。基準物は、複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、ガイドパターンでは、隣接する撮像すべき領域が互いに所定範囲だけ重複して設定されており、重複して設定されている領域には特徴部を含む。画像合成方法は、さらに、複数の撮像装置を用いて撮像すべき領域をそれぞれ撮像するステップと、複数の画像中に現われているガイドパターンに基づいて、複数の画像の相対的な位置関係を決定するステップと、基準物に代えて被測定物を配置するステップと、決定された相対的な位置関係に基づいて、被測定物を複数の撮像装置がそれぞれ撮像した複数の画像から合成画像を生成するステップとを含む。
【００１１】
好ましくは、位置関係を決定するステップは、複数の撮像装置によりそれぞれ撮像された複数の画像を同一表示面に表示するステップと、複数の画像の位置調整を行なうための指令に応じて、複数の画像の表示位置を更新するステップとを含む。
【００１２】
さらに好ましくは、位置関係を決定するステップは、位置調整を行なうための指令に従って複数の画像の相対的な位置関係が暫定的に決定された後、隣接する画像の間の相対的な位置関係を、両画像の特徴部を互いに対応付けることで決定するステップをさらに含む。
【００１３】
また、さらに好ましくは、複数の画像を同一表示面に表示するステップは、隣接する画像の間の重なり部分について、両方の画像を半透明にして表示するステップを含む。
【００１４】
好ましくは、位置関係を決定するステップは、隣接する画像の間の相対的な位置関係を、両画像の特徴部を所定の範囲内で探索することで抽出し、互いに対応付けることで決定するステップをさらに含む。
【００１５】
好ましくは、ガイドパターンは、各撮像装置が撮像すべき領域を示す枠を含む。
さらに好ましくは、ガイドパターンは、撮像すべき領域を示す枠の対角を示す線をさらに含む。
【００１６】
好ましくは、ガイドパターンは、各撮像装置が撮像すべき領域に配置された、対応する撮像装置を識別するための情報を含む。
【００１７】
この発明のさらに別の局面に従う画像処理システムは、複数の撮像装置と、複数の撮像装置が基準物をそれぞれ撮像して得られる複数の第１の画像を格納する記憶手段とを含む。基準物は、複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、ガイドパターンでは、隣接する撮像すべき領域が互いに所定範囲だけ重複して設定されており、重複して設定されている領域には位置を示す特徴部を含む。画像処理システムは、さらに、複数の第１の画像中に現われているガイドパターンに基づいて、複数の第１の画像の相対的な位置関係を決定する決定手段と、決定された相対的な位置関係に基づいて、複数の撮像装置が被測定物をそれぞれ撮像して得られる複数の第２の画像から合成画像を生成する画像合成手段とを含む。
【発明の効果】
【００１８】
この発明のある局面によれば、ＦＡ分野などにおいて用いられる視覚センサに適した、複数の撮像装置で被測定物をそれぞれ撮像して得られる複数の画像から合成画像を得るための画像合成方法およびそれに向けられた画像処理システムを実現できる。
【発明を実施するための最良の形態】
【００１９】
この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２０】
＜全体装置構成＞
図１は、この発明の実施の形態に従う画像処理システム１の全体構成を示す概略図である。本実施の形態に従う画像処理システム１は、典型的に、視覚センサとして機能する。
【００２１】
図１を参照して、画像処理システム１は、代表的に生産ラインなどに組込まれ、被測定物（以下「ワーク」とも称す。）を光学的に処理することができる。この光学的な処理としては、ワークの表面における欠陥検査、ワークの所定範囲の距離計測、およびワークの表面に記載の文字認識などが含まれる。
【００２２】
図１には、生産ラインの一例として、ベルトコンベヤなどの搬送機構６によってワーク２が搬送される構成を例示する。所定の検査位置に搬送されたワーク２は、３台の撮像装置８−１，８−２，８−３（これらを「撮像装置８」とも総称する。）によって撮像される。なお、撮像装置８の台数はこれに限定されることなく、対象のワーク２の大きさなどに応じて、その台数は適宜選択することができる。
【００２３】
取付架台１０が生産ラインの上方に、生産ラインの搬送方向に延伸して配置される。複数の撮像装置８は、この取付架台１０にほぼ等間隔にそれぞれ取り付けられる。
【００２４】
複数の撮像装置８がそれぞれ撮像することで得られる複数の画像データ（以下「入力画像」とも称す。）は、画像処理装置として機能するコンピュータ１００へ伝送される。これらの複数の入力画像に基づいて、１枚の合成画像が生成される。なお、入力画像の種類は特に制限されることなく、カラー画像を用いてもよいし、モノクロ（グレイスケール）画像を用いてもよい。
【００２５】
ワーク２が撮像装置８の検査位置に到達したことは、搬送機構６の側面に配置された光電センサ４によって検出される。具体的には、光電センサ４は、同一の光軸上に配置された受光部と投光部とを含み、投光部から放射される光がワーク２で遮蔽されることを受光部で検出することによって、ワーク２の到達を検出する。なお、搬送機構６の制御自体は、図示しないＰＬＣ（Programmable Logic Controller）などによって制御される。
【００２６】
撮像装置８−１，８−２，８−３の各々は、上述した光電センサによってワーク２の到着が検出されると、これに応答してワーク２の撮像を開始する。あるいは、連続的に撮像を行なっておき、ワーク２の到着が検出されたタイミングで、後述するワーク２の検査や計測を開始するようにしてもよい。
【００２７】
一例として、撮像装置８−１，８−２，８−３の各々は、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＩＳ（Complementary Metal Oxide Semiconductor Image Sensor）センサといった、複数の画素に区画された撮像素子を含んで構成される。なお、撮像装置８としては、撮像素子および光学系において実質的に同一のスペックのものが採用される。
【００２８】
コンピュータ１００は、ＦＤ（Flexible Disk）駆動装置１１１およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１１３を搭載するコンピュータ本体１０１と、モニタ１０２と、キーボード１０３と、マウス１０４とを含む。そして、コンピュータ本体１０１は、予め格納されたプログラムを実行することで、本実施の形態に従う画像処理方法を提供する。
【００２９】
＜ハードウェア構成＞
図２は、この発明の実施の形態に従うコンピュータ１００のハードウェア構成を示す概略構成図である。
【００３０】
図２を参照して、コンピュータ本体１０１は、図１に示すＦＤ駆動装置１１１およびＣＤ−ＲＯＭ駆動装置１１３に加えて、相互にバスで接続された、ＣＰＵ（Central Processing Unit）１０５と、メモリ１０６と、固定ディスク１０７と、カメラインターフェイス部１０９と、ＰＬＣインターフェイス部１１５と、センサインターフェイス部１１７とを含む。
【００３１】
ＦＤ駆動装置１１１にはＦＤ１１２が装着可能であり、ＣＤ−ＲＯＭ駆動装置１１３にはＣＤ−ＲＯＭ１１４が装着可能である。上述したように、本実施の形態に従う画像処理装置は、ＣＰＵ１０５がメモリ１０６などのコンピュータハードウェアを用いて、プログラムを実行することで実現される。一般的に、このようなプログラムは、ＦＤ１１２やＣＤ−ＲＯＭ１１４などの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなプログラムは、ＦＤ駆動装置１１１やＣＤ−ＲＯＭ駆動装置１１３などにより記録媒体から読取られて、記憶装置である固定ディスク１０７に一旦格納される。さらに、固定ディスク１０７からメモリ１０６に読出されて、ＣＰＵ１０５により実行される。
【００３２】
ＣＰＵ１０５は、プログラムされた命令を逐次実行することで、各種の演算を実施する演算処理部である。メモリ１０６は、ＣＰＵ１０５でのプログラム実行に応じて、各種の情報を一時的に格納する。
【００３３】
カメラインターフェイス部１０９は、コンピュータ本体１０１と複数の撮像装置８との間のデータ通信を仲介する。カメラインターフェイス部１０９は、画像バッファを含むことが好ましい。画像バッファは、複数の撮像装置８でそれぞれ撮像され逐次伝送される入力画像を示すデータを一旦蓄積し、１回の撮像分のデータが蓄積されると、その蓄積されたデータをメモリ１０６または固定ディスク１０７へ転送する。
【００３４】
ＰＬＣインターフェイス部１１５は、コンピュータ本体１０１と図示しないＰＬＣとの間のデータ通信を仲介する。また、センサインターフェイス部１１７は、上述した光電センサ４などからの検出信号を受信して、ＣＰＵ１０５へ伝達する。
【００３５】
固定ディスク１０７は、ＣＰＵ１０５が実行するプログラムや入力画像などを格納する不揮発性の記憶装置である。
【００３６】
コンピュータ本体１０１に接続されるモニタ１０２は、ＣＰＵ１０５が出力する情報や撮像装置８によって撮像された画像を表示するための表示装置であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。
【００３７】
マウス１０４は、クリックやスライドなどの動作に応じたユーザからの指令を受付ける。キーボード１０３は、入力されるキーに応じたユーザからの指令を受付ける。
【００３８】
また、コンピュータ１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
【００３９】
＜動作モード＞
本実施の形態に従う画像処理システム１は、「設定モード」と「稼動モード」とが選択実行される。「設定モード」では、ワーク２についての画像合成処理に係る設定が可能である。すなわち、ユーザは、「設定モード」において、モニタ１０２に表示されるそれぞれの撮像装置８によって撮像された入力画像を参照しながら画像合成処理に係る設定を行なう。また、「稼動モード」では、複数の撮像装置８がワーク２をそれぞれ撮像することで得られる複数の入力画像から合成画像を生成し、この合成画像に基づいて、検査・計測・認識などの光学的な処理が実行される。
【００４０】
＜画像合成処理の概要＞
複数の撮像装置８によって取得される複数の入力画像を１枚の画像に合成する処理（画像合成処理）の概要について説明する。
【００４１】
図３は、この発明の実施の形態に従う画像合成処理の概要を説明するための図である。図３を参照して、たとえば、３台の撮像装置８−１，８−２，８−３によって得られる入力画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を、１枚の合成画像ＰＩＭＧとして生成する。後述するように、本実施の形態に従う画像合成処理では、各撮像装置８の撮像視野が基準プレートに基づいて予め設定される。このとき、隣接する撮像装置８が撮像すべき領域の間には、所定の重複範囲が設けられる。そして、この重複範囲に含まれる特徴部に基づいて、隣接する撮像装置８によって取得された入力画像間の対応付けが行なわれ、両者の相対的な位置関係が決定される。
【００４２】
本明細書において、「特徴部」とは、他の部分と区別（あるいは、識別）することが可能な部分を総称する。本実施の形態に従う画像合成処理では、隣接する２つの入力画像として撮像された共通の特徴部が、撮像対象上の同じ位置にあることを利用して、複数の画像間の相対的な位置関係を対応付ける。これにより、入力画像の間の位置関係の誤差を低減することができる。なお、他の部分には、特徴部自身が複数の特徴点を有しているような場合には、同一の特徴部内においても、ある部分と他の部分とを区別（あるいは、識別）することが可能な場合も含む。
【００４３】
なお、本明細書において、「相対的な位置関係」とは、複数の入力画像を１枚の合成画像として生成するために必要な対応関係を意味する。数学的に言えば、それぞれの入力画像を共通の座標上にそれぞれ写像（画像変換）することで、当該共通の座標上において１枚の合成画像が生成されることを意味する。この画像変換としては、一例として、「平行移動」、「回転移動」、「拡大縮小」、「台形歪み補正」を行なうような行列変換として提供される。そして、これらの変換行列をどのように組み合わせるか、および／または、使用する変換行列の各係数をどのように決定するかといった、「画像変換パラメータを決定する」ことが、実質的に「相対的な位置関係を決定する」ことになる。
【００４４】
図４は、この発明の実施の形態に従う画像合成処理の結果の一例を示す図である。なお、図４は、本実施の形態に従う画像処理システム１が「稼動モード」である場合に、モニタ１０２に表示される画面表示例を示す。また、理解を容易にするために、図４には、２台の撮像装置８によって取得された２枚の入力画像を合成する場合の例を示す。
【００４５】
図４を参照して、２台の撮像装置８がそれぞれ異なる撮像視野で撮像した入力画像４０２および４０４について、両入力画像を合成して合成画像４０６が生成される。このように、本実施の形態に従う画像合成処理によって、実質的な撮像視野を広げることができる。
【００４６】
＜画像合成処理に係る設定手順＞
図５は、この発明の実施の形態に従う画像処理システム１における画像合成処理に係る設定手順を説明するための図である。
【００４７】
図５を参照して、上述したように、本実施の形態に従う画像合成処理では、各撮像装置８の撮像視野を基準プレート２０に基づいて設定する。すなわち、「設定モード」において、搬送機構６の搬送面にワーク２に代えて搬送機構６が載置される。そして、この基準プレート２０に対向して複数の撮像装置８が配置される。
【００４８】
基準プレート２０の表面には、複数の撮像装置８の各々が撮像すべき領域を示すガイドパターンが形成されている。すなわち、撮像装置８の各々は、基準プレート２０の対応する領域が自己の撮像視野内に入るように、取付架台１０に取付けられる。また、基準プレート２０のガイドパターンでは、隣接する撮像すべき領域が互いに所定範囲だけ重複して設定されている（重複範囲２２）。この重複範囲２２は、隣接する入力画像間の対応付けを行なうための探索範囲に相当する。
【００４９】
また、基準プレート２０のガイドパターンは、隣接する撮像装置８により得られた入力画像間の対応付けを行なうための１または複数の特徴点を含む。より具体的には、特徴点の抽出を容易にするために、濃淡パターン（ランダムドットパターン）が形成されている。なお、対応付けは、重複範囲２２について行なわれるので、少なくとも当該重複範囲２２において、当該濃淡パターンが形成されていればよい。
【００５０】
そして、各撮像装置８が基準プレート２０を撮像して得られる入力画像中に現われているガイドパターンに基づいて、それぞれの撮像装置８によって撮像された入力画像の相対的な位置関係が決定される。なお、後述するように、それぞれの撮像装置８によって撮像された入力画像を同一表示面に表示させ、ユーザが、これらの入力画像の相対位置を粗調整した上で、画像処理装置が、両入力画像の特徴点を探索して互いに対応付けることで、隣接する入力画像の間の相対的な位置関係を決定することが好ましい。これは、ユーザが入力画像間の相対的な位置関係を粗調整することで、探索範囲を相対的に狭くすることができるからであり、これにより、画像合成処理の高速化および高精度化を実現できる。
【００５１】
なお、隣接する入力画像の特徴部を探索すべき所定の探索範囲としては、位置関係が対応付けられる両入力画像間の重複して撮像されるべき領域（重複範囲２２）と全く一致する場合の他に、当該領域を含む各画像について予め設定された領域、もしくは重複範囲の一部であってもよい。
【００５２】
＜基準プレート＞
次に、図６〜図８を参照して、本実施の形態に従う画像合成処理において用いられるガイドパターンの一例について説明する。
【００５３】
図６（ａ）を参照して、基準プレート２０のガイドパターンでは、各撮像装置８が撮像すべき領域を示す枠２１が描かれている。また、この枠２１に囲まれる範囲が、隣接する撮像すべき領域の間の重複範囲２２となる。
【００５４】
図６（ａ）に示す基準プレート２０のガイドパターンにおいて、対応する撮像装置８を識別するための情報を、図６（ｂ）に示すように、各撮像装置８が撮像すべき領域に配置してもよい。すなわち、図６（ｂ）に示す基準プレート２０Ａのガイドパターンでは、撮像装置８が撮像すべきそれぞれの領域の中心部に、対応する撮像装置８を特定するための識別番号２４（「１」，「２」，「３」，・・・）が描かれる。このような識別番号２４を付加することで、ユーザは、撮像装置８の配置をより容易に行なうことができる。
【００５５】
また、ユーザによる相対位置の粗調整をより容易に行なうために、撮像すべき領域を示す枠の対角を示す線をさらに描いてもよい。すなわち、図７（ａ）に示す基準プレート２０Ｂのガイドパターンでは、各撮像装置８が撮像すべき領域を示す枠２１に加えて、これらの領域の対角線に相当する斜め線２３がさらに描かれる。この斜め線により、各撮像装置８が撮像すべき領域がより明確に視認できる。
【００５６】
さらに、図７（ａ）に示す基準プレート２０Ｂのガイドパターンにおいて、図６（ｂ）と同様に、対応する撮像装置８を識別するための情報をさらに配置してもよい。すなわち、図７（ｂ）に示す基準プレート２０Ｃのガイドパターンでは、撮像装置８が撮像すべきそれぞれの領域の中心部に、対応する撮像装置８を特定するための識別番号２４（「１」，「２」，「３」，・・・）が描かれる。
【００５７】
なお、図７には、理解を容易にするために、２台の撮像装置８によって撮像される場合の基準プレートについて例示したが、３台の撮像装置８によって撮像される場合についても、紙面横方向に延長した同様の基準プレートを用いることができる。
【００５８】
さらに、行列状に配置した複数の撮像装置８によってそれぞれ取得される入力画像から合成画像を生成することもできる。このような場合には、列方向および行方向（横方向および縦方向）にそれぞれ隣接する領域に対して、重複範囲２２が設定される。
【００５９】
より具体的には、２台×２台の計４台の撮像装置８を用いて合成画像を生成する場合には、図８（ａ）に示すような基準プレート２０Ｄが用いられる。この基準プレート２０Ｄのガイドパターンには、各撮像装置８が撮像すべき領域を示す枠２１が描かれている。
【００６０】
さらに、図８（ａ）に示す基準プレート２０Ｄのガイドパターンにおいて、図６（ｂ）と同様に、対応する撮像装置８を識別するための情報をさらに配置してもよい。すなわち、図８（ｂ）に示す基準プレート２０Ｅのガイドパターンでは、撮像装置８が撮像すべきそれぞれの領域の中心部に、対応する撮像装置８を特定するための識別番号２４（「１」，「２」，「３」，・・・）が描かれる。
【００６１】
＜画面表示および操作手順＞
以下、図９〜図１２を参照して、本実施の形態に従う画像合成処理に係る画面表示および操作手順の一例について説明する。
【００６２】
図９〜図１２は、この発明の実施の形態に従う画像処理システム１のモニタ１０２に表示される、画像合成処理に係る設定を行なうための画面表示例を示す図である。
なお、ＣＰＵ１０５および図示しないグラフィックボードなどが協働することで、図９〜図１２に示すような設定画面を表示させる。このような画面表示は、ＯＳ（Operating System）の一部として組込まれるＧＵＩ（Graphical User Interface）プログラムによって実現され、またＧＵＩは、ユーザがキーボード１０３やマウス１０４により操作される画面上のカーソルを用いて、さまざまなユーザ設定を行なうための環境も提供する。
【００６３】
図９を参照して、ユーザが「カメラ配置」タブ３１０を選択すると、カメラ配置設定画面３００が表示される。ユーザは、このカメラ配置設定画面３００において、画像合成に用いる撮像装置についてのパラメータを設定および確認することができる。
【００６４】
具体的には、カメラ配置設定画面３００は、表示画像設定エリア３２０と、カメラ選択設定エリア３２２と、カメラ配置設定エリア３２４と、画像表示エリア３６０と、全体表示エリア３７０と、表示制御アイコン群３８０とを含む。
【００６５】
表示画像設定エリア３２０では、入力画像の表示方法についての設定および確認が可能である。具体的には、撮像装置８で撮像される入力画像を所定周期で更新する「スルー画像」表示と、撮像装置８があるタイミングで撮像した入力画像を固定的に表示する「フリーズ画像」表示とが選択可能である。
【００６６】
カメラ選択設定エリア３２２では、画像合成処理に用いる撮像装置の台数についての設定および確認が可能である。具体的には、画像合成処理に用いられる撮像装置８の台数の指定が可能である（図９に示す例では、２台を用いる構成、３台を用いる構成、４台を用いる構成のいずれを選択可能である）。
【００６７】
カメラ配置設定エリア３２４では、画像合成処理に用いる撮像装置の配置についての設定および確認が可能である。具体的には、画像合成処理に用いられる撮像装置８を１次元的に配置するか、２次元的に配置するかの選択が可能である。
【００６８】
画像表示エリア３６０には、複数の撮像装置８でそれぞれ撮像された入力画像が同一表示面に並べて表示される。すなわち、画像表示エリア３６０には、画像合成処理の結果得られる合成画像に相当する入力画像が表示される。さらにユーザは、後述する操作によって、複数の入力画像の相対位置（表示位置）を粗調整するとともに、その粗調整の結果を画像表示エリア３６０上で確認することもできる。さらに、表示制御アイコン群３８０に対するユーザ操作に応じて、画像表示エリア３６０に表示される入力画像のサイズが変更可能となっている。
【００６９】
なお、理解を容易にするために、図１０には、２つの入力画像３６２および３６４が同一表示面に表示される例を示す。また、それぞれの入力画像３６２および３６４には、各入力画像の取得先の撮像装置８を特定する情報（「カメラ０」や「カメラ１」など）が付加表示される。
【００７０】
全体表示エリア３７０には、画像表示エリア３６０に表示される内容が表示される。但し、全体表示エリア３７０には、画像表示エリア３６０での表示サイズとは独立して、表示対象の画像が常に全体表示される。すなわち、全体表示エリア３７０には、画像表示エリア３６０に表示中の画像が画像全体のうちいずれの領域にあるのかを示す。
【００７１】
続いて、ユーザが「画像合成」タブ３１２が選択すると、図１０に示す画像合成設定画面３０２が表示される。ユーザは、この画像合成設定画面３０２において、画像合成に用いる撮像装置についてのパラメータについての設定および確認が可能である。
【００７２】
具体的には、画像合成設定画面３０２は、画像位置合わせエリア３３０と、画像合成実行エリア３４０と、画像表示設定エリア３５０と、画像表示エリア３６０と、全体表示エリア３７０と、表示制御アイコン群３８０とを含む。
【００７３】
画像位置合わせエリア３３０では、複数の撮像装置８がそれぞれ取得する入力画像の間の位置調整を行なうための指令が入力される。より具体的には、画像位置合わせエリア３３０には、画像選択ラジオボタン３３２と、スライドバー３３４および３３６とが表示される。画像表示エリア３６０に表示される複数の入力画像のうち、画像選択ラジオボタン３３２の設定に対応するものが、スライドバー３３４および３３６の操作に応じて、その位置を調整される。
【００７４】
すなわち、画像表示エリア３６０には、複数の撮像装置８によって撮像された入力画像の一部または全部が並列的に表示されており、これらの入力画像間の相対的な位置関係が調整される。典型的には、ユーザがスライドバー３３４を操作すると、画像選択ラジオボタン３３２によって選択された入力画像の表示位置をＸ方向（図１０に示す例では、画面左右方向）にシフトするための指令が与えられる。同様に、ユーザがスライドバー３３６を操作すると、画像選択ラジオボタン３３２によって選択された入力画像の表示位置をＹ方向（図１０に示す例では、画面上下方向）にシフトするための指令が与えられる。また、スライドバー３３４および３３６にそれぞれ近接して、移動量（シフト量）を示す数値表示ボックスが設けられる。さらに、移動量（シフト量）の直接的な数値入力を受付ける数値入力ボックスもそれぞれ設けられる。
【００７５】
画像合成実行エリア３４０には、自動合成ボタン３４２および詳細設定ボタン３４４が設けられる。後述するように、ユーザが入力画像間の相対位置を粗調整した（暫定的に決定した）後、自動合成ボタン３４２を選択すると、隣接する入力画像にそれぞれ現われる特徴点を互い対応付ける処理が実行される。そして、このような対応付け処理の結果に基づいて、画像合成処理に係る、複数の入力画像の相対的な位置関係が決定される。
【００７６】
また、詳細設定ボタン３４４が選択されると、隣接する入力画像の間の対応付け処理に係る詳細な設定を行なうための画面（図示しない）が表示される。
【００７７】
画像表示設定エリア３５０には、画像枠表示チェックボックス３５２および特徴点表示チェックボックス３５４が配置される。画像枠表示チェックボックス３５２が選択されると、表示される入力画像上に、各入力画像の外延を示す枠が重ねて表示される。また、特徴点表示チェックボックス３５４が選択されると、表示される入力画像上に、各入力画像において探索された特徴点が重ねて表示される。
【００７８】
図１０には、一例として、図７（ａ）に示す基準プレート２０Ｂを２台の撮像装置８で撮像した場合の表示例を示す。図１０に示す画像合成設定画面３０２の画像表示エリア３６０では、入力画像３６２と入力画像３６４との間で、基準プレート２０Ｂに描かれている斜め線２３が不連続に表示されていることがわかる。すなわち、図１０に示す状態においては、入力画像３６２と入力画像３６４とから生成される合成画像には、重複する部分が含まれることが示されている。
【００７９】
このような状況において、ユーザは、画像位置合わせエリア３３０に対する操作を行なって、入力画像３６２と入力画像３６４との間の相対的な位置関係を調整する。典型的な操作としては、入力画像３６２を紙面右側にシフトさせ、あるいは入力画像３６４を紙面左側にシフトさせる。その結果、画像合成設定画面３０２の表示内容は、図１１に示すように変化する。
【００８０】
図１１に示す画像合成設定画面３０２の画像表示エリア３６０では、入力画像３６２と入力画像３６４との間で、基準プレート２０Ｂに描かれている斜め線２３が略連続に表示されていることがわかる。すなわち、図１１に示す状態では、入力画像３６２と入力画像３６４との間で、重複して表示される部分がほぼ存在しない合成画像が生成されることになる。
【００８１】
なお、図１１に示す画像合成設定画面３０２の画像表示エリア３６０では、入力画像３６２と入力画像３６４との重なり部分３６６について、両画像を半透明にして表示してもよい。両画像を半透明にすることで、重なり部分３６６において、両画像が一致しているか否かの判断がより容易になる。
【００８２】
図１１に示すように、複数の入力画像の相対的な位置関係が暫定的に決定された後、ユーザが画像合成実行エリア３４０の自動合成ボタン３４２を選択すると、特徴点の探索処理および両画像の対応付け処理が実行される。その結果、図１２に示すように、画像合成処理に係る、入力画像の間の相対的な位置関係が決定される。そして、この決定された相対的な位置関係（設定）に基づいて、以後、複数の撮像装置８によって撮像された複数の入力画像に対して、画像合成処理が実行される。すなわち、上述した図４に示すような、合成画像が必要に応じて生成される。
【００８３】
＜制御構造＞
以下、図１３〜図１５を参照して、上述のような画像補正処理を提供するための制御構造について説明する。
【００８４】
（設定モード）
図１３は、この発明の実施の形態に従う画像処理システム１における「設定モード」を提供するための制御構造を示すブロック図である。
【００８５】
図１３を参照して、本実施の形態に従う画像処理システム１は、画像合成処理の設定を行なうための制御構造として、表示制御部２０２と、画像バッファ２０４−１，２０４−２，…，２０４−Ｎと、マッピング部２０６−１，２０６−２，…，２０６−Ｎと、入力部２０８と、特徴点抽出部２１０と、フレームメモリ２１２と、メモリ２１６とを含む。なお、図１３には、Ｎ台の撮像装置８により撮像されるＮ枚の入力画像（入力画像１，入力画像２，…，入力画像Ｎ）から合成画像を生成可能な構成を示すが、入力画像の枚数を所定数に制限する場合には、より構成を簡素化することもできる。
【００８６】
Ｎ個の画像バッファ２０４−１，２０４−２，…，２０４−Ｎは、Ｎ台の撮像装置８のそれぞれで撮像された入力画像を一時的に格納する。これらの入力画像は、カメラインターフェイス部１０９（図２）を介して、対応する撮像装置８から画像バッファ２０４−１，２０４−２，…，２０４−Ｎの各々へ伝送される。なお、画像バッファ２０４−１，２０４−２，…，２０４−Ｎをカメラインターフェイス部１０９へ組み込んでもよい。この画像バッファ２０４−１，２０４−２，…，２０４−Ｎへ一時的に格納された入力画像は、それぞれ対応するマッピング部２０６−１，２０６−２，…，２０６−Ｎから任意にアクセス可能である。さらに、この画像バッファ２０４−１，２０４−２，…，２０４−Ｎへ一時的に格納されたそれぞれ入力画像は、特徴点抽出部２１０へも適宜出力される。
【００８７】
マッピング部２０６−１，２０６−２，…，２０６−Ｎは、対応する画像バッファ２０４−１，２０４−２，…，２０４−Ｎに格納されている入力画像を、入力部２０８もしくは特徴点抽出部２１０からの位置指令に従って、フレームメモリ２１２にマッピングする。
【００８８】
たとえば、ユーザが入力画像１の相対位置を粗調整する場合（図１０および図１１参照）には、マッピング部２０６−１は、入力部２０８からユーザによる入力画像の位置調整を行なうための指令を受信すると、画像バッファ２０４−１に格納されている入力画像１を、当該指令に応じた位置（座標）を始点として、フレームメモリ２１２に画像転送（画像マッピング）を行なう。その後、ユーザによる入力画像の位置調整を行なうための指令をさらに受信すると、マッピング部２０６−１は、画像バッファ２０４−１に格納されている入力画像を、当該後に受信した指令に応じた新たな位置（座標）を始点として、フレームメモリ２１２に再度画像転送を行なう。このように、ユーザによる入力画像の位置調整を行なうための指令が変更される毎に、画像バッファ２０４−１，２０４−２，…，２０４−Ｎからフレームメモリ２１２への画像マッピングが逐次行なわれる。このような動作によって、ユーザによる入力画像の位置調整を行なうための指令に応じて、入力画像の表示位置が逐次更新される。
【００８９】
また、特徴点抽出部２１０によって隣接する入力画像間の対応付けが行なわれ、入力画像それぞれの相対的な位置関係が決定されると、マッピング部２０６−１，２０６−２，…，２０６−Ｎは、当該決定された位置関係に従って、対応する画像バッファ２０４−１，２０４−２，…，２０４−Ｎに格納されている入力画像をフレームメモリ２１２にマッピングする。
【００９０】
フレームメモリ２１２は、複数の入力画像から生成される合成画像を一時的に格納する。すなわち、マッピング部２０６−１，２０６−２，…，２０６−Ｎの各々が必要な入力画像データをフレームメモリ２１２に書き込むことで、結果的に、フレームメモリ２１２には、合成画像が生成される。そのため、フレームメモリ２１２は、画像処理システム１のモニタ１０２に表示可能な画像サイズのデータを格納可能に設計される。
【００９１】
表示制御部２０２は、モニタ１０２上に、合成画像を表示するとともに、ＧＵＩを提供する。具体的には、表示制御部２０２は、フレームメモリ２１２に格納される合成画像をレンダリングするとともに、ユーザ操作に応じて各種の設定や確認が可能なウィンドウなどを表示する。表示制御部２０２は、メモリ２１６と接続されており、モニタ１０２での表示を行なうための描画データをこのメモリ２１６などに一時的に格納する。また、メモリ２１６には、ウィンドウ表示用のデータなどが予め格納されており、表示制御部２０２は、これらのデータを適宜読み出して、表示データを生成する。
【００９２】
入力部２０８は、複数の撮像装置８がそれぞれ撮像して得られる入力画像の間の位置調整を行なうための指令が受付けるとともに、当該指令を対応するマッピング部２０６−１，２０６−２，…，２０６−Ｎなどへ出力する。
【００９３】
特徴点抽出部２１０は、入力画像の特徴点を探索し、隣接する入力画像の間でこれらの探索された特徴点を互いに対応つけることで、隣接する入力画像の間の相対的な位置関係を決定する。そして、特徴点抽出部２１０は、決定した隣接する入力画像の間の相対的な位置関係に基づいて、マッピング部２０６−１，２０６−２，…，２０６−Ｎに対して、位置設定を行なう。
【００９４】
図１３に示す本実施の形態に従うブロック図と本願発明との対応関係については、画像バッファ２０４−１，２０４−２，…，２０４−Ｎが「記憶手段」を実現し、特徴点抽出部２１０が「決定手段」を実現し、マッピング部２０６−１，２０６−２，…，２０６−Ｎおよびフレームメモリ２１２が「画像合成手段」を実現する。
【００９５】
（特徴点の探索処理および対応付け処理）
以下、図１４を参照して、図１３に示す特徴点抽出部２１０で実行される特徴点の探索処理および画像間の対応付け処理の概要について説明する。
【００９６】
図１４（ａ）を参照して、たとえば、２台の撮像装置８でそれぞれ撮像された入力画像ＩＭＧ１およびＩＭＧ２から合成画像を生成する場合を例に説明する。特徴点抽出部２１０は、入力画像ＩＭＧ１およびＩＭＧ２の両者が互いに隣接する側に設けられた探索範囲ＳＡ中に存在する特徴点を探索する。一例として、濃淡パターン（ランダムドットパターン）が描かれたガイドパターン（図６〜図８参照）を用いる場合には、特徴点抽出部２１０は、当該濃淡パターンに含まれる特定の画素パターンを抽出する。すなわち、所定の画素サイズ（たとえば、５ドット×５ドット）で入力画像を走査し、１つまたは複数の特定の画素パターンをもつ部分を抽出する。
【００９７】
なお、入力画像ＩＭＧ１およびＩＭＧ２に探索範囲ＳＡを設定する目的は、特徴点の探索処理に要する時間を短縮するため、および入力画像間の対応付けを容易に行なうためである。
【００９８】
この探索範囲ＳＡは、基準プレート２０のガイドパターンに設定される重複範囲２２の大きさと対応している。すなわち、基準プレート２０のガイドパターンに基づいて撮像装置８が配置されるので、当該ガイドパターンに設定される重複範囲２２によって、隣接配置された撮像装置８で撮像される入力画像の間の重なり部分が概ね定まる。ところで、限られた台数の撮像装置８を用いて、撮像視野を可能な限り広くする観点からは、この重複範囲２２は可能な限り小さいことが好ましい。一方、重複範囲２２が小さすぎると、特徴点の探索の精度が低下するおそれもある。したがって、ガイドパターンの重複範囲の大きさは、特徴点抽出部２１０で実行される特徴点の探索処理および画像間の対応付け処理の精度および処理許容時間などに応じて、適切に設定される。
【００９９】
逆に言えば、入力画像ＩＭＧ１およびＩＭＧ２に探索範囲ＳＡは、基準プレートのガイドパターンに設定される重複範囲２２の大きさに応じて適宜設定すれば十分である。そのため、必要以上に探索範囲ＳＡを大きくしなくともよい。
【０１００】
一例として、図１４（ａ）には、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれにおいて、３個の特徴点Ｃ１，Ｃ２，Ｃ３が探索された状態を示す。特徴点抽出部２１０は、両入力画像の間で、これらの探索された特徴点同士を対応付ける。
【０１０１】
より具体的には、図１４（ｂ）を参照して、特徴点抽出部２１０は、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれで抽出された特徴点Ｃ１，Ｃ２，Ｃ３の位置（座標）が、互いに一致するように、入力画像ＩＭＧ１およびＩＭＧ２の相対位置を決定する。
【０１０２】
最も簡単な例では、特徴点抽出部２１０は、グローバル座標上に、入力画像ＩＭＧ１およびＩＭＧ２をそれぞれ独立に配置した後、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれに含まれる特徴点Ｃ１，Ｃ２，Ｃ３が同一の座標値を示すように、入力画像ＩＭＧ１およびＩＭＧ２の一方または両方の位置を調整する。なお、それぞれの撮像装置８と基準プレート２０との間の距離が異なる場合には、入力画像ＩＭＧ１およびＩＭＧ２に現われる特徴点のサイズが異なる場合もある。このような場合には、上述の位置調整に加えて、入力画像ＩＭＧ１およびＩＭＧ２の一方または両方の画像サイズや形状なども調整される。
【０１０３】
すなわち、特徴点抽出部２１０は、抽出した特徴点Ｃ１，Ｃ２，Ｃ３に基づいて、合成画像を生成するために必要な変換パラメータをそれぞれ決定し、この決定した変換パラメータに従って、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれに対して、「平行移動」、「回転移動」、「拡大縮小」、および「台形歪み補正」といった画像変換操作の１つまたは複数を実行する。
【０１０４】
あるいは、特徴点の探索処理および対応付け処理の処理については、特開２００６−１７１９３９号公報（特許文献１）に開示されている処理を用いてもよい。また、基準プレートに描かれる特徴点は、濃淡パターン（ランダムドットパターン）に限られることなく、バーコードやカラーパターンなどであってもよい。
【０１０５】
上述のように、隣接する２つの入力画像の間で、特徴点の探索処理および対応付け処理が順次実行され、それぞれの入力画像の間における相対的な位置関係が決定される。
【０１０６】
このように、「設定モード」において決定された入力画像間の相対位置に基づいて、「稼動モード」において画像合成処理が実行される。
【０１０７】
（稼動モード）
図１５は、この発明の実施の形態に従う画像処理システム１における「稼動モード」を提供するための制御構造を示すブロック図である。
【０１０８】
図１５を参照して、本実施の形態に従う画像処理システム１は、「稼動モード」において画像合成処理を実行するための制御構造として、表示制御部２０２と、画像バッファ２０４−１，２０４−２，…，２０４−Ｎと、マッピング部２０６−１，２０６−２，…，２０６−Ｎと、処理アプリ部２１８と、フレームメモリ２１２と、メモリ２１６とを含む。
【０１０９】
マッピング部２０６−１，２０６−２，…，２０６−Ｎは、先行の「設定モード」において決定された相対位置設定に従って、画像バッファ２０４−１，２０４−２，…，２０４−Ｎへ一時的に格納された入力画像をそれぞれフレームメモリ２１２に画像マッピングを行なう。
【０１１０】
処理アプリ部２１８は、ワークに対する光学的な処理を行なう。すなわち、処理アプリ部２１８は、合成画像に基づいて、ユーザが任意に選択する検査・計測・認識などを実行する。そして、処理アプリ部２１８は、その処理結果を表示制御部２０２へ出力する。表示制御部２０２は、この処理アプリ部２１８からの処理結果に基づいて、検出された領域などを表示中の合成画像に重ねて表示する。
【０１１１】
その他の部位については、図１３と同様であるので、詳細な説明は繰返さない。
＜処理手順＞
（設定モード）
図１６は、この発明の実施の形態に従う画像処理システム１における処理手順（設定モード）を示すフローチャートである。図１６に示す処理のうちユーザが実行する処理以外は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。なお、電源投入直後は、「設定モード」に設定されているものとする。
【０１１２】
図１６を参照して、まず、ユーザは、基準プレート２０を搬送機構６の搬送面に載置する（ステップＳ１００）。基準プレート２０を載置した後にユーザが指令を与えると、ＣＰＵ１０５は、複数の撮像装置８による撮像を開始し、複数の撮像装置８で撮像された複数の入力画像をモニタ１０２に表示する（ステップＳ１０２）。なお、この入力画像の表示は、実質的にリアルタイム表示がなされることが好ましい。
【０１１３】
ユーザは、モニタ１０２に表示される入力画像を参照しながら、基準プレート２０に対向して複数の撮像装置８をそれぞれ配置する（ステップＳ１０４）。具体的には、ユーザは、各撮像装置８の撮像すべき領域が各自の撮像視野内に入るように、図１に示す取付架台１０への撮像装置８の取付け位置などを調整する。なお、ステップＳ１０２およびＳ１０４では、複数の撮像装置８で撮像された複数の入力画像を同一表示する必要はなく、配置対象となる撮像装置８の各々について、それが撮像する入力画像のみを全面表示してもよい。
【０１１４】
複数の撮像装置８の配置が完了すると、ユーザは配置完了を示す指令を与える。すると、ＣＰＵ１０５は、複数の撮像装置８に基準プレート２０を撮像させて、それぞれの入力画像を取得し（ステップＳ１０６）、取得した複数の入力画像を同一表示面であるモニタ１０２に表示する（ステップＳ１０８）。
【０１１５】
続いて、ＣＰＵ１０５は、表示される複数の入力画像の位置調整を行なうための指令を受付け（ステップＳ１１０）、当該受付けた指令に応じて、複数の入力画像の表示位置を更新する（ステップＳ１１２）。すなわち、ユーザは、モニタ１０２に表示される複数の入力画像に対して、その中に現われるガイドパターンを参照して、隣接する入力画像の相対位置を粗調整する。
【０１１６】
さらに、ＣＰＵ１０５は、画像合成実行エリア３４０の自動合成ボタン３４２（図１１）が選択されたか否かを判断する（ステップＳ１１４）。自動合成ボタン３４２が選択されていない場合（ステップＳ１１４においてＮＯの場合）には、ステップＳ１１０以下の処理が繰返される。
【０１１７】
一方、自動合成ボタン３４２が選択された場合（ステップＳ１１４においてＹＥＳの場合）には、ＣＰＵ１０５は、隣接する２つの入力画像について、両者が互いに隣接する側に設けられた探索範囲内に存在する特徴点を探索する（ステップＳ１１６）。そして、ＣＰＵ１０５は、当該２つの入力画像の間で、探索された特徴点同士を対応付け（ステップＳ１１８）、２つの入力画像の間についての相対位置を決定する（ステップＳ１２０）。
【０１１８】
さらに、ＣＰＵ１０５は、すべての隣接する入力画像の間についての相対位置の決定が完了したか否かを判断する（ステップＳ１２２）。すべての隣接する入力画像の間についての相対位置の決定が完了していない場合（ステップＳ１２２においてＮＯの場合）には、ステップＳ１１６以下の処理が繰返される。
【０１１９】
一方、すべての隣接する入力画像の間についての相対位置の決定が完了した場合（ステップＳ１２２においてＹＥＳの場合）には、ＣＰＵ１０５は、決定した入力画像の間における相対位置を格納する（ステップＳ１２４）。さらに、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ１２６）。モード切替えの指令が与えられた場合（ステップＳ１２６においてＹＥＳの場合）には、ＣＰＵ１０５は、「稼動モード」へ移行する（ステップＳ１２８）。そして、図１７に示す処理が実行される。
【０１２０】
一方、モード切替えの指令が与えられていない場合（ステップＳ１２６においてＮＯの場合）には、ステップＳ１０６以下の処理が繰返される。
【０１２１】
（稼動モード）
図１７は、この発明の実施の形態に従う画像処理システム１における処理手順（稼働モード）を示すフローチャートである。図１７に示す処理のうちユーザが実行する処理以外は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。
【０１２２】
図１７を参照して、ＣＰＵ１０５は、光電センサによるワーク２の到着が検出された否かを判断する（ステップＳ２００）。ワーク２の到着が検出されていない場合（ステップＳ２００においてＮＯの場合）には、ステップＳ２００の処理を繰返す。
【０１２３】
ワーク２の到着が検出された場合（ステップＳ２００においてＹＥＳの場合）には、ＣＰＵ１０５は、複数の撮像装置８にワーク２を撮像させて、それぞれの入力画像を取得する（ステップＳ２０２）。さらに、ＣＰＵ１０５は、設定モードにおいて決定されている相対位置設定に従って、取得した複数の入力画像から合成画像を生成する（ステップＳ２０４）。
【０１２４】
続いて、ＣＰＵ１０５は、生成された合成画像に基づいて、検査・計測・認識などの光学的な処理を実行する（ステップＳ２０６）。この光学的な処理によって、位置などの処理結果が出力される。
【０１２５】
さらに、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ２０８）。モード切替えの指令が与えられた場合（ステップＳ２０８においてＹＥＳの場合）には、ＣＰＵ１０５は、「設定モード」へ移行する（ステップＳ２１０）。そして、図１６に示す処理が実行される。
【０１２６】
一方、モード切替えの指令が与えられていない場合（ステップＳ２０８においてＮＯの場合）には、処理はリターンする。
【０１２７】
＜本実施形態の作用効果＞
この発明の実施の形態によれば、被測定物についての撮像視野を実質的に大きくするために、複数の撮像装置により得られる複数の画像を結合して合成画像を生成する構成を採用する場合において、経験のないユーザであっても、画像合成処理に係る設定を容易に行なうことができる。すなわち、ユーザは、基準プレートに描かれたガイドパターンを参照して、対応する撮像すべき領域が各撮像装置の撮像視野内に入るように、それぞれの撮像装置の取付け位置などを調整するだけでよい。また、このような基準プレートを用いることで、設定に要する時間を短縮することもできる。
【０１２８】
従来の画像合成処理においては、隣接する撮像装置の撮像視野が部分的に重なるように配置する必要がある一方、重なり部分が大きくなり過ぎると合成後の実質的な撮像視野があまり大きくならないという相反する課題が存在した。これに対して、本実施の形態に従う基準プレートを用いる場合には、予め必要な大きさの重複範囲が予め示されているので、経験のないユーザであっても、それぞれの撮像装置を、適切な大きさの重複範囲で配置することができる。
【０１２９】
また、この発明の実施の形態に従う基準プレートには、特徴点を含む濃淡パターンが形成されている。これにより、ユーザが入力画像の相対関係を粗調整すると、その後は、本実施の形態に従う画像処理システムが、特徴点の探索処理および対応付け処理を実行し、合成画像を生成するための、入力画像の相対関係を自動的に決定する。そのため、経験のないユーザであっても、高精度な合成画像を生成することができる。
【０１３０】
［その他の実施の形態］
本発明に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【０１３１】
また、本発明に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明に係るプログラムに含まれ得る。
【０１３２】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記憶された記録媒体とを含む。
【０１３３】
さらに、本発明に係るプログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。
【０１３４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１３５】
【図１】この発明の実施の形態に従う画像処理システムの全体構成を示す概略図である。
【図２】この発明の実施の形態に従うコンピュータのハードウェア構成を示す概略構成図である。
【図３】この発明の実施の形態に従う画像合成処理の概要を説明するための図である。
【図４】この発明の実施の形態に従う画像合成処理の結果の一例を示す図である。
【図５】この発明の実施の形態に従う画像処理システムにおける画像合成処理に係る設定手順を説明するための図である。
【図６】この発明の実施の形態に従う画像合成処理において用いられるガイドパターンの一例を示す図である。
【図７】この発明の実施の形態に従う画像合成処理において用いられるガイドパターンの別の一例を示す図である。
【図８】この発明の実施の形態に従う画像合成処理において用いられるガイドパターンのさらに別の一例を示す図である。
【図９】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その１）を示す図である。
【図１０】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その２）を示す図である。
【図１１】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その３）を示す図である。
【図１２】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その４）を示す図である。
【図１３】この発明の実施の形態に従う画像処理システムにおける「設定モード」を提供するための制御構造を示すブロック図である。
【図１４】図１３に示す特徴点抽出部で実行される特徴点の探索処理および画像間の対応付け処理の概要について説明するための図である。
【図１５】この発明の実施の形態に従う画像処理システムにおける「稼動モード」を提供するための制御構造を示すブロック図である。
【図１６】この発明の実施の形態に従う画像処理システムにおける処理手順（設定モード）を示すフローチャートである。
【図１７】この発明の実施の形態に従う画像処理システムにおける処理手順（稼働モード）を示すフローチャートである。
【符号の説明】
【０１３６】
１ 画像処理システム、２ ワーク、４ 光電センサ、６ 搬送機構、８，８−１，８−２，８−３ 撮像装置、１０ 取付架台、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ 基準プレート、１００ コンピュータ、１０１ コンピュータ本体、１０２ モニタ、１０３ キーボード、１０４ マウス、１０６ メモリ、１０７ 固定ディスク、１０９ カメラインターフェイス部、１１１ ＦＤ駆動装置、１１３ ＣＤ−ＲＯＭ駆動装置、１１５ ＰＬＣインターフェイス部、１１７ センサインターフェイス部、２０２ 表示制御部、２０４，２０４−１〜２０４−Ｎ 画像バッファ、２０６，２０６−１〜２０６−Ｎ マッピング部、２０８ 入力部、２１０ 特徴点抽出部、２１２ フレームメモリ、２１６ メモリ、２１８ 処理アプリ部。
【技術分野】
【０００１】
この発明は、複数の撮像装置によって撮像した画像を合成出力する画像合成方法およびそれに向けられた画像処理システムに関するものである。
【背景技術】
【０００２】
ＦＡ（Factory Automation）分野などにおいては、ワークなどの被測定物に生じる欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。このような視覚センサを用いて、その表面積が比較的大きなワークを検査・計測したい場合や、検査・計測の効率を高めたい場合などには、撮像視野を可能な限り大きくして、より多くの光学的な情報を取得することが好ましい。
【０００３】
このように撮像視野を広くする手段の一つとして、高密度の撮像素子および広画角な光学系を有する撮像装置を用いる方法が考えられる。しかしながら、このような撮像装置はコスト的に高価なものとなる場合が多い。また、広画角レンズを採用すると、レンズ周辺に歪曲収差などの歪みを生じやすく、これが計測・検査の誤差となり得る。
【０００４】
撮像視野を大きくする別の方法として、複数の撮像装置を並列的に配置し、これらの撮像装置で得られるそれぞれの画像を１枚の画像に合成する方法が考えられる。このような方法を採用することで、より安価に撮像視野を広くすることができる。
【０００５】
このような画像合成方法では、隣接する画像同士をどのように結合するのかが重要になる。すなわち、各撮像装置の配置状態や光学系のバラツキなどに起因して、それぞれの撮像装置によって撮像される画像間の相対関係には誤差が生じ得る。そのため、画像間の継ぎ目の影響を可能な限り排除できる合成処理が重要となる。
【０００６】
たとえば、特開２００６−１７１９３９号公報（特許文献１）には、画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることを目的とする画像装置処理装置が開示されている。
【特許文献１】特開２００６−１７１９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＦＡ分野で用いられる視覚センサは、多くの場合、ベルトコンベヤなどによって搬送されるワークを検査・計測するものであり、その撮像面は平坦であることが多い。また、ベルトコンベヤなどに沿って複数の撮像装置を配置する場合には、ワークが存在しなければ、それぞれの撮像装置で撮像される画像は互いに類似したものとなり、特徴点が少ない画像となる。
【０００８】
このようなＦＡ分野における事情から、特開２００６−１７１９３９号公報（特許文献１）に開示されるような撮像装置の構成をそのまま採用することはできない。
【０００９】
そこで、この発明は、これらの問題を解決するためになされたものであり、その目的は、ＦＡ分野などにおいて用いられる視覚センサに適した、複数の撮像装置で被測定物をそれぞれ撮像して得られる複数の画像から合成画像を得るための画像合成方法およびそれに向けられた画像処理システムを提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従う画像合成方法は、基準物に対向して複数の撮像装置を配置するステップを含む。基準物は、複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、ガイドパターンでは、隣接する撮像すべき領域が互いに所定範囲だけ重複して設定されており、重複して設定されている領域には特徴部を含む。画像合成方法は、さらに、複数の撮像装置を用いて撮像すべき領域をそれぞれ撮像するステップと、複数の画像中に現われているガイドパターンに基づいて、複数の画像の相対的な位置関係を決定するステップと、基準物に代えて被測定物を配置するステップと、決定された相対的な位置関係に基づいて、被測定物を複数の撮像装置がそれぞれ撮像した複数の画像から合成画像を生成するステップとを含む。
【００１１】
好ましくは、位置関係を決定するステップは、複数の撮像装置によりそれぞれ撮像された複数の画像を同一表示面に表示するステップと、複数の画像の位置調整を行なうための指令に応じて、複数の画像の表示位置を更新するステップとを含む。
【００１２】
さらに好ましくは、位置関係を決定するステップは、位置調整を行なうための指令に従って複数の画像の相対的な位置関係が暫定的に決定された後、隣接する画像の間の相対的な位置関係を、両画像の特徴部を互いに対応付けることで決定するステップをさらに含む。
【００１３】
また、さらに好ましくは、複数の画像を同一表示面に表示するステップは、隣接する画像の間の重なり部分について、両方の画像を半透明にして表示するステップを含む。
【００１４】
好ましくは、位置関係を決定するステップは、隣接する画像の間の相対的な位置関係を、両画像の特徴部を所定の範囲内で探索することで抽出し、互いに対応付けることで決定するステップをさらに含む。
【００１５】
好ましくは、ガイドパターンは、各撮像装置が撮像すべき領域を示す枠を含む。
さらに好ましくは、ガイドパターンは、撮像すべき領域を示す枠の対角を示す線をさらに含む。
【００１６】
好ましくは、ガイドパターンは、各撮像装置が撮像すべき領域に配置された、対応する撮像装置を識別するための情報を含む。
【００１７】
この発明のさらに別の局面に従う画像処理システムは、複数の撮像装置と、複数の撮像装置が基準物をそれぞれ撮像して得られる複数の第１の画像を格納する記憶手段とを含む。基準物は、複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、ガイドパターンでは、隣接する撮像すべき領域が互いに所定範囲だけ重複して設定されており、重複して設定されている領域には位置を示す特徴部を含む。画像処理システムは、さらに、複数の第１の画像中に現われているガイドパターンに基づいて、複数の第１の画像の相対的な位置関係を決定する決定手段と、決定された相対的な位置関係に基づいて、複数の撮像装置が被測定物をそれぞれ撮像して得られる複数の第２の画像から合成画像を生成する画像合成手段とを含む。
【発明の効果】
【００１８】
この発明のある局面によれば、ＦＡ分野などにおいて用いられる視覚センサに適した、複数の撮像装置で被測定物をそれぞれ撮像して得られる複数の画像から合成画像を得るための画像合成方法およびそれに向けられた画像処理システムを実現できる。
【発明を実施するための最良の形態】
【００１９】
この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２０】
＜全体装置構成＞
図１は、この発明の実施の形態に従う画像処理システム１の全体構成を示す概略図である。本実施の形態に従う画像処理システム１は、典型的に、視覚センサとして機能する。
【００２１】
図１を参照して、画像処理システム１は、代表的に生産ラインなどに組込まれ、被測定物（以下「ワーク」とも称す。）を光学的に処理することができる。この光学的な処理としては、ワークの表面における欠陥検査、ワークの所定範囲の距離計測、およびワークの表面に記載の文字認識などが含まれる。
【００２２】
図１には、生産ラインの一例として、ベルトコンベヤなどの搬送機構６によってワーク２が搬送される構成を例示する。所定の検査位置に搬送されたワーク２は、３台の撮像装置８−１，８−２，８−３（これらを「撮像装置８」とも総称する。）によって撮像される。なお、撮像装置８の台数はこれに限定されることなく、対象のワーク２の大きさなどに応じて、その台数は適宜選択することができる。
【００２３】
取付架台１０が生産ラインの上方に、生産ラインの搬送方向に延伸して配置される。複数の撮像装置８は、この取付架台１０にほぼ等間隔にそれぞれ取り付けられる。
【００２４】
複数の撮像装置８がそれぞれ撮像することで得られる複数の画像データ（以下「入力画像」とも称す。）は、画像処理装置として機能するコンピュータ１００へ伝送される。これらの複数の入力画像に基づいて、１枚の合成画像が生成される。なお、入力画像の種類は特に制限されることなく、カラー画像を用いてもよいし、モノクロ（グレイスケール）画像を用いてもよい。
【００２５】
ワーク２が撮像装置８の検査位置に到達したことは、搬送機構６の側面に配置された光電センサ４によって検出される。具体的には、光電センサ４は、同一の光軸上に配置された受光部と投光部とを含み、投光部から放射される光がワーク２で遮蔽されることを受光部で検出することによって、ワーク２の到達を検出する。なお、搬送機構６の制御自体は、図示しないＰＬＣ（Programmable Logic Controller）などによって制御される。
【００２６】
撮像装置８−１，８−２，８−３の各々は、上述した光電センサによってワーク２の到着が検出されると、これに応答してワーク２の撮像を開始する。あるいは、連続的に撮像を行なっておき、ワーク２の到着が検出されたタイミングで、後述するワーク２の検査や計測を開始するようにしてもよい。
【００２７】
一例として、撮像装置８−１，８−２，８−３の各々は、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＩＳ（Complementary Metal Oxide Semiconductor Image Sensor）センサといった、複数の画素に区画された撮像素子を含んで構成される。なお、撮像装置８としては、撮像素子および光学系において実質的に同一のスペックのものが採用される。
【００２８】
コンピュータ１００は、ＦＤ（Flexible Disk）駆動装置１１１およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１１３を搭載するコンピュータ本体１０１と、モニタ１０２と、キーボード１０３と、マウス１０４とを含む。そして、コンピュータ本体１０１は、予め格納されたプログラムを実行することで、本実施の形態に従う画像処理方法を提供する。
【００２９】
＜ハードウェア構成＞
図２は、この発明の実施の形態に従うコンピュータ１００のハードウェア構成を示す概略構成図である。
【００３０】
図２を参照して、コンピュータ本体１０１は、図１に示すＦＤ駆動装置１１１およびＣＤ−ＲＯＭ駆動装置１１３に加えて、相互にバスで接続された、ＣＰＵ（Central Processing Unit）１０５と、メモリ１０６と、固定ディスク１０７と、カメラインターフェイス部１０９と、ＰＬＣインターフェイス部１１５と、センサインターフェイス部１１７とを含む。
【００３１】
ＦＤ駆動装置１１１にはＦＤ１１２が装着可能であり、ＣＤ−ＲＯＭ駆動装置１１３にはＣＤ−ＲＯＭ１１４が装着可能である。上述したように、本実施の形態に従う画像処理装置は、ＣＰＵ１０５がメモリ１０６などのコンピュータハードウェアを用いて、プログラムを実行することで実現される。一般的に、このようなプログラムは、ＦＤ１１２やＣＤ−ＲＯＭ１１４などの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなプログラムは、ＦＤ駆動装置１１１やＣＤ−ＲＯＭ駆動装置１１３などにより記録媒体から読取られて、記憶装置である固定ディスク１０７に一旦格納される。さらに、固定ディスク１０７からメモリ１０６に読出されて、ＣＰＵ１０５により実行される。
【００３２】
ＣＰＵ１０５は、プログラムされた命令を逐次実行することで、各種の演算を実施する演算処理部である。メモリ１０６は、ＣＰＵ１０５でのプログラム実行に応じて、各種の情報を一時的に格納する。
【００３３】
カメラインターフェイス部１０９は、コンピュータ本体１０１と複数の撮像装置８との間のデータ通信を仲介する。カメラインターフェイス部１０９は、画像バッファを含むことが好ましい。画像バッファは、複数の撮像装置８でそれぞれ撮像され逐次伝送される入力画像を示すデータを一旦蓄積し、１回の撮像分のデータが蓄積されると、その蓄積されたデータをメモリ１０６または固定ディスク１０７へ転送する。
【００３４】
ＰＬＣインターフェイス部１１５は、コンピュータ本体１０１と図示しないＰＬＣとの間のデータ通信を仲介する。また、センサインターフェイス部１１７は、上述した光電センサ４などからの検出信号を受信して、ＣＰＵ１０５へ伝達する。
【００３５】
固定ディスク１０７は、ＣＰＵ１０５が実行するプログラムや入力画像などを格納する不揮発性の記憶装置である。
【００３６】
コンピュータ本体１０１に接続されるモニタ１０２は、ＣＰＵ１０５が出力する情報や撮像装置８によって撮像された画像を表示するための表示装置であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。
【００３７】
マウス１０４は、クリックやスライドなどの動作に応じたユーザからの指令を受付ける。キーボード１０３は、入力されるキーに応じたユーザからの指令を受付ける。
【００３８】
また、コンピュータ１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
【００３９】
＜動作モード＞
本実施の形態に従う画像処理システム１は、「設定モード」と「稼動モード」とが選択実行される。「設定モード」では、ワーク２についての画像合成処理に係る設定が可能である。すなわち、ユーザは、「設定モード」において、モニタ１０２に表示されるそれぞれの撮像装置８によって撮像された入力画像を参照しながら画像合成処理に係る設定を行なう。また、「稼動モード」では、複数の撮像装置８がワーク２をそれぞれ撮像することで得られる複数の入力画像から合成画像を生成し、この合成画像に基づいて、検査・計測・認識などの光学的な処理が実行される。
【００４０】
＜画像合成処理の概要＞
複数の撮像装置８によって取得される複数の入力画像を１枚の画像に合成する処理（画像合成処理）の概要について説明する。
【００４１】
図３は、この発明の実施の形態に従う画像合成処理の概要を説明するための図である。図３を参照して、たとえば、３台の撮像装置８−１，８−２，８−３によって得られる入力画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を、１枚の合成画像ＰＩＭＧとして生成する。後述するように、本実施の形態に従う画像合成処理では、各撮像装置８の撮像視野が基準プレートに基づいて予め設定される。このとき、隣接する撮像装置８が撮像すべき領域の間には、所定の重複範囲が設けられる。そして、この重複範囲に含まれる特徴部に基づいて、隣接する撮像装置８によって取得された入力画像間の対応付けが行なわれ、両者の相対的な位置関係が決定される。
【００４２】
本明細書において、「特徴部」とは、他の部分と区別（あるいは、識別）することが可能な部分を総称する。本実施の形態に従う画像合成処理では、隣接する２つの入力画像として撮像された共通の特徴部が、撮像対象上の同じ位置にあることを利用して、複数の画像間の相対的な位置関係を対応付ける。これにより、入力画像の間の位置関係の誤差を低減することができる。なお、他の部分には、特徴部自身が複数の特徴点を有しているような場合には、同一の特徴部内においても、ある部分と他の部分とを区別（あるいは、識別）することが可能な場合も含む。
【００４３】
なお、本明細書において、「相対的な位置関係」とは、複数の入力画像を１枚の合成画像として生成するために必要な対応関係を意味する。数学的に言えば、それぞれの入力画像を共通の座標上にそれぞれ写像（画像変換）することで、当該共通の座標上において１枚の合成画像が生成されることを意味する。この画像変換としては、一例として、「平行移動」、「回転移動」、「拡大縮小」、「台形歪み補正」を行なうような行列変換として提供される。そして、これらの変換行列をどのように組み合わせるか、および／または、使用する変換行列の各係数をどのように決定するかといった、「画像変換パラメータを決定する」ことが、実質的に「相対的な位置関係を決定する」ことになる。
【００４４】
図４は、この発明の実施の形態に従う画像合成処理の結果の一例を示す図である。なお、図４は、本実施の形態に従う画像処理システム１が「稼動モード」である場合に、モニタ１０２に表示される画面表示例を示す。また、理解を容易にするために、図４には、２台の撮像装置８によって取得された２枚の入力画像を合成する場合の例を示す。
【００４５】
図４を参照して、２台の撮像装置８がそれぞれ異なる撮像視野で撮像した入力画像４０２および４０４について、両入力画像を合成して合成画像４０６が生成される。このように、本実施の形態に従う画像合成処理によって、実質的な撮像視野を広げることができる。
【００４６】
＜画像合成処理に係る設定手順＞
図５は、この発明の実施の形態に従う画像処理システム１における画像合成処理に係る設定手順を説明するための図である。
【００４７】
図５を参照して、上述したように、本実施の形態に従う画像合成処理では、各撮像装置８の撮像視野を基準プレート２０に基づいて設定する。すなわち、「設定モード」において、搬送機構６の搬送面にワーク２に代えて搬送機構６が載置される。そして、この基準プレート２０に対向して複数の撮像装置８が配置される。
【００４８】
基準プレート２０の表面には、複数の撮像装置８の各々が撮像すべき領域を示すガイドパターンが形成されている。すなわち、撮像装置８の各々は、基準プレート２０の対応する領域が自己の撮像視野内に入るように、取付架台１０に取付けられる。また、基準プレート２０のガイドパターンでは、隣接する撮像すべき領域が互いに所定範囲だけ重複して設定されている（重複範囲２２）。この重複範囲２２は、隣接する入力画像間の対応付けを行なうための探索範囲に相当する。
【００４９】
また、基準プレート２０のガイドパターンは、隣接する撮像装置８により得られた入力画像間の対応付けを行なうための１または複数の特徴点を含む。より具体的には、特徴点の抽出を容易にするために、濃淡パターン（ランダムドットパターン）が形成されている。なお、対応付けは、重複範囲２２について行なわれるので、少なくとも当該重複範囲２２において、当該濃淡パターンが形成されていればよい。
【００５０】
そして、各撮像装置８が基準プレート２０を撮像して得られる入力画像中に現われているガイドパターンに基づいて、それぞれの撮像装置８によって撮像された入力画像の相対的な位置関係が決定される。なお、後述するように、それぞれの撮像装置８によって撮像された入力画像を同一表示面に表示させ、ユーザが、これらの入力画像の相対位置を粗調整した上で、画像処理装置が、両入力画像の特徴点を探索して互いに対応付けることで、隣接する入力画像の間の相対的な位置関係を決定することが好ましい。これは、ユーザが入力画像間の相対的な位置関係を粗調整することで、探索範囲を相対的に狭くすることができるからであり、これにより、画像合成処理の高速化および高精度化を実現できる。
【００５１】
なお、隣接する入力画像の特徴部を探索すべき所定の探索範囲としては、位置関係が対応付けられる両入力画像間の重複して撮像されるべき領域（重複範囲２２）と全く一致する場合の他に、当該領域を含む各画像について予め設定された領域、もしくは重複範囲の一部であってもよい。
【００５２】
＜基準プレート＞
次に、図６〜図８を参照して、本実施の形態に従う画像合成処理において用いられるガイドパターンの一例について説明する。
【００５３】
図６（ａ）を参照して、基準プレート２０のガイドパターンでは、各撮像装置８が撮像すべき領域を示す枠２１が描かれている。また、この枠２１に囲まれる範囲が、隣接する撮像すべき領域の間の重複範囲２２となる。
【００５４】
図６（ａ）に示す基準プレート２０のガイドパターンにおいて、対応する撮像装置８を識別するための情報を、図６（ｂ）に示すように、各撮像装置８が撮像すべき領域に配置してもよい。すなわち、図６（ｂ）に示す基準プレート２０Ａのガイドパターンでは、撮像装置８が撮像すべきそれぞれの領域の中心部に、対応する撮像装置８を特定するための識別番号２４（「１」，「２」，「３」，・・・）が描かれる。このような識別番号２４を付加することで、ユーザは、撮像装置８の配置をより容易に行なうことができる。
【００５５】
また、ユーザによる相対位置の粗調整をより容易に行なうために、撮像すべき領域を示す枠の対角を示す線をさらに描いてもよい。すなわち、図７（ａ）に示す基準プレート２０Ｂのガイドパターンでは、各撮像装置８が撮像すべき領域を示す枠２１に加えて、これらの領域の対角線に相当する斜め線２３がさらに描かれる。この斜め線により、各撮像装置８が撮像すべき領域がより明確に視認できる。
【００５６】
さらに、図７（ａ）に示す基準プレート２０Ｂのガイドパターンにおいて、図６（ｂ）と同様に、対応する撮像装置８を識別するための情報をさらに配置してもよい。すなわち、図７（ｂ）に示す基準プレート２０Ｃのガイドパターンでは、撮像装置８が撮像すべきそれぞれの領域の中心部に、対応する撮像装置８を特定するための識別番号２４（「１」，「２」，「３」，・・・）が描かれる。
【００５７】
なお、図７には、理解を容易にするために、２台の撮像装置８によって撮像される場合の基準プレートについて例示したが、３台の撮像装置８によって撮像される場合についても、紙面横方向に延長した同様の基準プレートを用いることができる。
【００５８】
さらに、行列状に配置した複数の撮像装置８によってそれぞれ取得される入力画像から合成画像を生成することもできる。このような場合には、列方向および行方向（横方向および縦方向）にそれぞれ隣接する領域に対して、重複範囲２２が設定される。
【００５９】
より具体的には、２台×２台の計４台の撮像装置８を用いて合成画像を生成する場合には、図８（ａ）に示すような基準プレート２０Ｄが用いられる。この基準プレート２０Ｄのガイドパターンには、各撮像装置８が撮像すべき領域を示す枠２１が描かれている。
【００６０】
さらに、図８（ａ）に示す基準プレート２０Ｄのガイドパターンにおいて、図６（ｂ）と同様に、対応する撮像装置８を識別するための情報をさらに配置してもよい。すなわち、図８（ｂ）に示す基準プレート２０Ｅのガイドパターンでは、撮像装置８が撮像すべきそれぞれの領域の中心部に、対応する撮像装置８を特定するための識別番号２４（「１」，「２」，「３」，・・・）が描かれる。
【００６１】
＜画面表示および操作手順＞
以下、図９〜図１２を参照して、本実施の形態に従う画像合成処理に係る画面表示および操作手順の一例について説明する。
【００６２】
図９〜図１２は、この発明の実施の形態に従う画像処理システム１のモニタ１０２に表示される、画像合成処理に係る設定を行なうための画面表示例を示す図である。
なお、ＣＰＵ１０５および図示しないグラフィックボードなどが協働することで、図９〜図１２に示すような設定画面を表示させる。このような画面表示は、ＯＳ（Operating System）の一部として組込まれるＧＵＩ（Graphical User Interface）プログラムによって実現され、またＧＵＩは、ユーザがキーボード１０３やマウス１０４により操作される画面上のカーソルを用いて、さまざまなユーザ設定を行なうための環境も提供する。
【００６３】
図９を参照して、ユーザが「カメラ配置」タブ３１０を選択すると、カメラ配置設定画面３００が表示される。ユーザは、このカメラ配置設定画面３００において、画像合成に用いる撮像装置についてのパラメータを設定および確認することができる。
【００６４】
具体的には、カメラ配置設定画面３００は、表示画像設定エリア３２０と、カメラ選択設定エリア３２２と、カメラ配置設定エリア３２４と、画像表示エリア３６０と、全体表示エリア３７０と、表示制御アイコン群３８０とを含む。
【００６５】
表示画像設定エリア３２０では、入力画像の表示方法についての設定および確認が可能である。具体的には、撮像装置８で撮像される入力画像を所定周期で更新する「スルー画像」表示と、撮像装置８があるタイミングで撮像した入力画像を固定的に表示する「フリーズ画像」表示とが選択可能である。
【００６６】
カメラ選択設定エリア３２２では、画像合成処理に用いる撮像装置の台数についての設定および確認が可能である。具体的には、画像合成処理に用いられる撮像装置８の台数の指定が可能である（図９に示す例では、２台を用いる構成、３台を用いる構成、４台を用いる構成のいずれを選択可能である）。
【００６７】
カメラ配置設定エリア３２４では、画像合成処理に用いる撮像装置の配置についての設定および確認が可能である。具体的には、画像合成処理に用いられる撮像装置８を１次元的に配置するか、２次元的に配置するかの選択が可能である。
【００６８】
画像表示エリア３６０には、複数の撮像装置８でそれぞれ撮像された入力画像が同一表示面に並べて表示される。すなわち、画像表示エリア３６０には、画像合成処理の結果得られる合成画像に相当する入力画像が表示される。さらにユーザは、後述する操作によって、複数の入力画像の相対位置（表示位置）を粗調整するとともに、その粗調整の結果を画像表示エリア３６０上で確認することもできる。さらに、表示制御アイコン群３８０に対するユーザ操作に応じて、画像表示エリア３６０に表示される入力画像のサイズが変更可能となっている。
【００６９】
なお、理解を容易にするために、図１０には、２つの入力画像３６２および３６４が同一表示面に表示される例を示す。また、それぞれの入力画像３６２および３６４には、各入力画像の取得先の撮像装置８を特定する情報（「カメラ０」や「カメラ１」など）が付加表示される。
【００７０】
全体表示エリア３７０には、画像表示エリア３６０に表示される内容が表示される。但し、全体表示エリア３７０には、画像表示エリア３６０での表示サイズとは独立して、表示対象の画像が常に全体表示される。すなわち、全体表示エリア３７０には、画像表示エリア３６０に表示中の画像が画像全体のうちいずれの領域にあるのかを示す。
【００７１】
続いて、ユーザが「画像合成」タブ３１２が選択すると、図１０に示す画像合成設定画面３０２が表示される。ユーザは、この画像合成設定画面３０２において、画像合成に用いる撮像装置についてのパラメータについての設定および確認が可能である。
【００７２】
具体的には、画像合成設定画面３０２は、画像位置合わせエリア３３０と、画像合成実行エリア３４０と、画像表示設定エリア３５０と、画像表示エリア３６０と、全体表示エリア３７０と、表示制御アイコン群３８０とを含む。
【００７３】
画像位置合わせエリア３３０では、複数の撮像装置８がそれぞれ取得する入力画像の間の位置調整を行なうための指令が入力される。より具体的には、画像位置合わせエリア３３０には、画像選択ラジオボタン３３２と、スライドバー３３４および３３６とが表示される。画像表示エリア３６０に表示される複数の入力画像のうち、画像選択ラジオボタン３３２の設定に対応するものが、スライドバー３３４および３３６の操作に応じて、その位置を調整される。
【００７４】
すなわち、画像表示エリア３６０には、複数の撮像装置８によって撮像された入力画像の一部または全部が並列的に表示されており、これらの入力画像間の相対的な位置関係が調整される。典型的には、ユーザがスライドバー３３４を操作すると、画像選択ラジオボタン３３２によって選択された入力画像の表示位置をＸ方向（図１０に示す例では、画面左右方向）にシフトするための指令が与えられる。同様に、ユーザがスライドバー３３６を操作すると、画像選択ラジオボタン３３２によって選択された入力画像の表示位置をＹ方向（図１０に示す例では、画面上下方向）にシフトするための指令が与えられる。また、スライドバー３３４および３３６にそれぞれ近接して、移動量（シフト量）を示す数値表示ボックスが設けられる。さらに、移動量（シフト量）の直接的な数値入力を受付ける数値入力ボックスもそれぞれ設けられる。
【００７５】
画像合成実行エリア３４０には、自動合成ボタン３４２および詳細設定ボタン３４４が設けられる。後述するように、ユーザが入力画像間の相対位置を粗調整した（暫定的に決定した）後、自動合成ボタン３４２を選択すると、隣接する入力画像にそれぞれ現われる特徴点を互い対応付ける処理が実行される。そして、このような対応付け処理の結果に基づいて、画像合成処理に係る、複数の入力画像の相対的な位置関係が決定される。
【００７６】
また、詳細設定ボタン３４４が選択されると、隣接する入力画像の間の対応付け処理に係る詳細な設定を行なうための画面（図示しない）が表示される。
【００７７】
画像表示設定エリア３５０には、画像枠表示チェックボックス３５２および特徴点表示チェックボックス３５４が配置される。画像枠表示チェックボックス３５２が選択されると、表示される入力画像上に、各入力画像の外延を示す枠が重ねて表示される。また、特徴点表示チェックボックス３５４が選択されると、表示される入力画像上に、各入力画像において探索された特徴点が重ねて表示される。
【００７８】
図１０には、一例として、図７（ａ）に示す基準プレート２０Ｂを２台の撮像装置８で撮像した場合の表示例を示す。図１０に示す画像合成設定画面３０２の画像表示エリア３６０では、入力画像３６２と入力画像３６４との間で、基準プレート２０Ｂに描かれている斜め線２３が不連続に表示されていることがわかる。すなわち、図１０に示す状態においては、入力画像３６２と入力画像３６４とから生成される合成画像には、重複する部分が含まれることが示されている。
【００７９】
このような状況において、ユーザは、画像位置合わせエリア３３０に対する操作を行なって、入力画像３６２と入力画像３６４との間の相対的な位置関係を調整する。典型的な操作としては、入力画像３６２を紙面右側にシフトさせ、あるいは入力画像３６４を紙面左側にシフトさせる。その結果、画像合成設定画面３０２の表示内容は、図１１に示すように変化する。
【００８０】
図１１に示す画像合成設定画面３０２の画像表示エリア３６０では、入力画像３６２と入力画像３６４との間で、基準プレート２０Ｂに描かれている斜め線２３が略連続に表示されていることがわかる。すなわち、図１１に示す状態では、入力画像３６２と入力画像３６４との間で、重複して表示される部分がほぼ存在しない合成画像が生成されることになる。
【００８１】
なお、図１１に示す画像合成設定画面３０２の画像表示エリア３６０では、入力画像３６２と入力画像３６４との重なり部分３６６について、両画像を半透明にして表示してもよい。両画像を半透明にすることで、重なり部分３６６において、両画像が一致しているか否かの判断がより容易になる。
【００８２】
図１１に示すように、複数の入力画像の相対的な位置関係が暫定的に決定された後、ユーザが画像合成実行エリア３４０の自動合成ボタン３４２を選択すると、特徴点の探索処理および両画像の対応付け処理が実行される。その結果、図１２に示すように、画像合成処理に係る、入力画像の間の相対的な位置関係が決定される。そして、この決定された相対的な位置関係（設定）に基づいて、以後、複数の撮像装置８によって撮像された複数の入力画像に対して、画像合成処理が実行される。すなわち、上述した図４に示すような、合成画像が必要に応じて生成される。
【００８３】
＜制御構造＞
以下、図１３〜図１５を参照して、上述のような画像補正処理を提供するための制御構造について説明する。
【００８４】
（設定モード）
図１３は、この発明の実施の形態に従う画像処理システム１における「設定モード」を提供するための制御構造を示すブロック図である。
【００８５】
図１３を参照して、本実施の形態に従う画像処理システム１は、画像合成処理の設定を行なうための制御構造として、表示制御部２０２と、画像バッファ２０４−１，２０４−２，…，２０４−Ｎと、マッピング部２０６−１，２０６−２，…，２０６−Ｎと、入力部２０８と、特徴点抽出部２１０と、フレームメモリ２１２と、メモリ２１６とを含む。なお、図１３には、Ｎ台の撮像装置８により撮像されるＮ枚の入力画像（入力画像１，入力画像２，…，入力画像Ｎ）から合成画像を生成可能な構成を示すが、入力画像の枚数を所定数に制限する場合には、より構成を簡素化することもできる。
【００８６】
Ｎ個の画像バッファ２０４−１，２０４−２，…，２０４−Ｎは、Ｎ台の撮像装置８のそれぞれで撮像された入力画像を一時的に格納する。これらの入力画像は、カメラインターフェイス部１０９（図２）を介して、対応する撮像装置８から画像バッファ２０４−１，２０４−２，…，２０４−Ｎの各々へ伝送される。なお、画像バッファ２０４−１，２０４−２，…，２０４−Ｎをカメラインターフェイス部１０９へ組み込んでもよい。この画像バッファ２０４−１，２０４−２，…，２０４−Ｎへ一時的に格納された入力画像は、それぞれ対応するマッピング部２０６−１，２０６−２，…，２０６−Ｎから任意にアクセス可能である。さらに、この画像バッファ２０４−１，２０４−２，…，２０４−Ｎへ一時的に格納されたそれぞれ入力画像は、特徴点抽出部２１０へも適宜出力される。
【００８７】
マッピング部２０６−１，２０６−２，…，２０６−Ｎは、対応する画像バッファ２０４−１，２０４−２，…，２０４−Ｎに格納されている入力画像を、入力部２０８もしくは特徴点抽出部２１０からの位置指令に従って、フレームメモリ２１２にマッピングする。
【００８８】
たとえば、ユーザが入力画像１の相対位置を粗調整する場合（図１０および図１１参照）には、マッピング部２０６−１は、入力部２０８からユーザによる入力画像の位置調整を行なうための指令を受信すると、画像バッファ２０４−１に格納されている入力画像１を、当該指令に応じた位置（座標）を始点として、フレームメモリ２１２に画像転送（画像マッピング）を行なう。その後、ユーザによる入力画像の位置調整を行なうための指令をさらに受信すると、マッピング部２０６−１は、画像バッファ２０４−１に格納されている入力画像を、当該後に受信した指令に応じた新たな位置（座標）を始点として、フレームメモリ２１２に再度画像転送を行なう。このように、ユーザによる入力画像の位置調整を行なうための指令が変更される毎に、画像バッファ２０４−１，２０４−２，…，２０４−Ｎからフレームメモリ２１２への画像マッピングが逐次行なわれる。このような動作によって、ユーザによる入力画像の位置調整を行なうための指令に応じて、入力画像の表示位置が逐次更新される。
【００８９】
また、特徴点抽出部２１０によって隣接する入力画像間の対応付けが行なわれ、入力画像それぞれの相対的な位置関係が決定されると、マッピング部２０６−１，２０６−２，…，２０６−Ｎは、当該決定された位置関係に従って、対応する画像バッファ２０４−１，２０４−２，…，２０４−Ｎに格納されている入力画像をフレームメモリ２１２にマッピングする。
【００９０】
フレームメモリ２１２は、複数の入力画像から生成される合成画像を一時的に格納する。すなわち、マッピング部２０６−１，２０６−２，…，２０６−Ｎの各々が必要な入力画像データをフレームメモリ２１２に書き込むことで、結果的に、フレームメモリ２１２には、合成画像が生成される。そのため、フレームメモリ２１２は、画像処理システム１のモニタ１０２に表示可能な画像サイズのデータを格納可能に設計される。
【００９１】
表示制御部２０２は、モニタ１０２上に、合成画像を表示するとともに、ＧＵＩを提供する。具体的には、表示制御部２０２は、フレームメモリ２１２に格納される合成画像をレンダリングするとともに、ユーザ操作に応じて各種の設定や確認が可能なウィンドウなどを表示する。表示制御部２０２は、メモリ２１６と接続されており、モニタ１０２での表示を行なうための描画データをこのメモリ２１６などに一時的に格納する。また、メモリ２１６には、ウィンドウ表示用のデータなどが予め格納されており、表示制御部２０２は、これらのデータを適宜読み出して、表示データを生成する。
【００９２】
入力部２０８は、複数の撮像装置８がそれぞれ撮像して得られる入力画像の間の位置調整を行なうための指令が受付けるとともに、当該指令を対応するマッピング部２０６−１，２０６−２，…，２０６−Ｎなどへ出力する。
【００９３】
特徴点抽出部２１０は、入力画像の特徴点を探索し、隣接する入力画像の間でこれらの探索された特徴点を互いに対応つけることで、隣接する入力画像の間の相対的な位置関係を決定する。そして、特徴点抽出部２１０は、決定した隣接する入力画像の間の相対的な位置関係に基づいて、マッピング部２０６−１，２０６−２，…，２０６−Ｎに対して、位置設定を行なう。
【００９４】
図１３に示す本実施の形態に従うブロック図と本願発明との対応関係については、画像バッファ２０４−１，２０４−２，…，２０４−Ｎが「記憶手段」を実現し、特徴点抽出部２１０が「決定手段」を実現し、マッピング部２０６−１，２０６−２，…，２０６−Ｎおよびフレームメモリ２１２が「画像合成手段」を実現する。
【００９５】
（特徴点の探索処理および対応付け処理）
以下、図１４を参照して、図１３に示す特徴点抽出部２１０で実行される特徴点の探索処理および画像間の対応付け処理の概要について説明する。
【００９６】
図１４（ａ）を参照して、たとえば、２台の撮像装置８でそれぞれ撮像された入力画像ＩＭＧ１およびＩＭＧ２から合成画像を生成する場合を例に説明する。特徴点抽出部２１０は、入力画像ＩＭＧ１およびＩＭＧ２の両者が互いに隣接する側に設けられた探索範囲ＳＡ中に存在する特徴点を探索する。一例として、濃淡パターン（ランダムドットパターン）が描かれたガイドパターン（図６〜図８参照）を用いる場合には、特徴点抽出部２１０は、当該濃淡パターンに含まれる特定の画素パターンを抽出する。すなわち、所定の画素サイズ（たとえば、５ドット×５ドット）で入力画像を走査し、１つまたは複数の特定の画素パターンをもつ部分を抽出する。
【００９７】
なお、入力画像ＩＭＧ１およびＩＭＧ２に探索範囲ＳＡを設定する目的は、特徴点の探索処理に要する時間を短縮するため、および入力画像間の対応付けを容易に行なうためである。
【００９８】
この探索範囲ＳＡは、基準プレート２０のガイドパターンに設定される重複範囲２２の大きさと対応している。すなわち、基準プレート２０のガイドパターンに基づいて撮像装置８が配置されるので、当該ガイドパターンに設定される重複範囲２２によって、隣接配置された撮像装置８で撮像される入力画像の間の重なり部分が概ね定まる。ところで、限られた台数の撮像装置８を用いて、撮像視野を可能な限り広くする観点からは、この重複範囲２２は可能な限り小さいことが好ましい。一方、重複範囲２２が小さすぎると、特徴点の探索の精度が低下するおそれもある。したがって、ガイドパターンの重複範囲の大きさは、特徴点抽出部２１０で実行される特徴点の探索処理および画像間の対応付け処理の精度および処理許容時間などに応じて、適切に設定される。
【００９９】
逆に言えば、入力画像ＩＭＧ１およびＩＭＧ２に探索範囲ＳＡは、基準プレートのガイドパターンに設定される重複範囲２２の大きさに応じて適宜設定すれば十分である。そのため、必要以上に探索範囲ＳＡを大きくしなくともよい。
【０１００】
一例として、図１４（ａ）には、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれにおいて、３個の特徴点Ｃ１，Ｃ２，Ｃ３が探索された状態を示す。特徴点抽出部２１０は、両入力画像の間で、これらの探索された特徴点同士を対応付ける。
【０１０１】
より具体的には、図１４（ｂ）を参照して、特徴点抽出部２１０は、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれで抽出された特徴点Ｃ１，Ｃ２，Ｃ３の位置（座標）が、互いに一致するように、入力画像ＩＭＧ１およびＩＭＧ２の相対位置を決定する。
【０１０２】
最も簡単な例では、特徴点抽出部２１０は、グローバル座標上に、入力画像ＩＭＧ１およびＩＭＧ２をそれぞれ独立に配置した後、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれに含まれる特徴点Ｃ１，Ｃ２，Ｃ３が同一の座標値を示すように、入力画像ＩＭＧ１およびＩＭＧ２の一方または両方の位置を調整する。なお、それぞれの撮像装置８と基準プレート２０との間の距離が異なる場合には、入力画像ＩＭＧ１およびＩＭＧ２に現われる特徴点のサイズが異なる場合もある。このような場合には、上述の位置調整に加えて、入力画像ＩＭＧ１およびＩＭＧ２の一方または両方の画像サイズや形状なども調整される。
【０１０３】
すなわち、特徴点抽出部２１０は、抽出した特徴点Ｃ１，Ｃ２，Ｃ３に基づいて、合成画像を生成するために必要な変換パラメータをそれぞれ決定し、この決定した変換パラメータに従って、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれに対して、「平行移動」、「回転移動」、「拡大縮小」、および「台形歪み補正」といった画像変換操作の１つまたは複数を実行する。
【０１０４】
あるいは、特徴点の探索処理および対応付け処理の処理については、特開２００６−１７１９３９号公報（特許文献１）に開示されている処理を用いてもよい。また、基準プレートに描かれる特徴点は、濃淡パターン（ランダムドットパターン）に限られることなく、バーコードやカラーパターンなどであってもよい。
【０１０５】
上述のように、隣接する２つの入力画像の間で、特徴点の探索処理および対応付け処理が順次実行され、それぞれの入力画像の間における相対的な位置関係が決定される。
【０１０６】
このように、「設定モード」において決定された入力画像間の相対位置に基づいて、「稼動モード」において画像合成処理が実行される。
【０１０７】
（稼動モード）
図１５は、この発明の実施の形態に従う画像処理システム１における「稼動モード」を提供するための制御構造を示すブロック図である。
【０１０８】
図１５を参照して、本実施の形態に従う画像処理システム１は、「稼動モード」において画像合成処理を実行するための制御構造として、表示制御部２０２と、画像バッファ２０４−１，２０４−２，…，２０４−Ｎと、マッピング部２０６−１，２０６−２，…，２０６−Ｎと、処理アプリ部２１８と、フレームメモリ２１２と、メモリ２１６とを含む。
【０１０９】
マッピング部２０６−１，２０６−２，…，２０６−Ｎは、先行の「設定モード」において決定された相対位置設定に従って、画像バッファ２０４−１，２０４−２，…，２０４−Ｎへ一時的に格納された入力画像をそれぞれフレームメモリ２１２に画像マッピングを行なう。
【０１１０】
処理アプリ部２１８は、ワークに対する光学的な処理を行なう。すなわち、処理アプリ部２１８は、合成画像に基づいて、ユーザが任意に選択する検査・計測・認識などを実行する。そして、処理アプリ部２１８は、その処理結果を表示制御部２０２へ出力する。表示制御部２０２は、この処理アプリ部２１８からの処理結果に基づいて、検出された領域などを表示中の合成画像に重ねて表示する。
【０１１１】
その他の部位については、図１３と同様であるので、詳細な説明は繰返さない。
＜処理手順＞
（設定モード）
図１６は、この発明の実施の形態に従う画像処理システム１における処理手順（設定モード）を示すフローチャートである。図１６に示す処理のうちユーザが実行する処理以外は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。なお、電源投入直後は、「設定モード」に設定されているものとする。
【０１１２】
図１６を参照して、まず、ユーザは、基準プレート２０を搬送機構６の搬送面に載置する（ステップＳ１００）。基準プレート２０を載置した後にユーザが指令を与えると、ＣＰＵ１０５は、複数の撮像装置８による撮像を開始し、複数の撮像装置８で撮像された複数の入力画像をモニタ１０２に表示する（ステップＳ１０２）。なお、この入力画像の表示は、実質的にリアルタイム表示がなされることが好ましい。
【０１１３】
ユーザは、モニタ１０２に表示される入力画像を参照しながら、基準プレート２０に対向して複数の撮像装置８をそれぞれ配置する（ステップＳ１０４）。具体的には、ユーザは、各撮像装置８の撮像すべき領域が各自の撮像視野内に入るように、図１に示す取付架台１０への撮像装置８の取付け位置などを調整する。なお、ステップＳ１０２およびＳ１０４では、複数の撮像装置８で撮像された複数の入力画像を同一表示する必要はなく、配置対象となる撮像装置８の各々について、それが撮像する入力画像のみを全面表示してもよい。
【０１１４】
複数の撮像装置８の配置が完了すると、ユーザは配置完了を示す指令を与える。すると、ＣＰＵ１０５は、複数の撮像装置８に基準プレート２０を撮像させて、それぞれの入力画像を取得し（ステップＳ１０６）、取得した複数の入力画像を同一表示面であるモニタ１０２に表示する（ステップＳ１０８）。
【０１１５】
続いて、ＣＰＵ１０５は、表示される複数の入力画像の位置調整を行なうための指令を受付け（ステップＳ１１０）、当該受付けた指令に応じて、複数の入力画像の表示位置を更新する（ステップＳ１１２）。すなわち、ユーザは、モニタ１０２に表示される複数の入力画像に対して、その中に現われるガイドパターンを参照して、隣接する入力画像の相対位置を粗調整する。
【０１１６】
さらに、ＣＰＵ１０５は、画像合成実行エリア３４０の自動合成ボタン３４２（図１１）が選択されたか否かを判断する（ステップＳ１１４）。自動合成ボタン３４２が選択されていない場合（ステップＳ１１４においてＮＯの場合）には、ステップＳ１１０以下の処理が繰返される。
【０１１７】
一方、自動合成ボタン３４２が選択された場合（ステップＳ１１４においてＹＥＳの場合）には、ＣＰＵ１０５は、隣接する２つの入力画像について、両者が互いに隣接する側に設けられた探索範囲内に存在する特徴点を探索する（ステップＳ１１６）。そして、ＣＰＵ１０５は、当該２つの入力画像の間で、探索された特徴点同士を対応付け（ステップＳ１１８）、２つの入力画像の間についての相対位置を決定する（ステップＳ１２０）。
【０１１８】
さらに、ＣＰＵ１０５は、すべての隣接する入力画像の間についての相対位置の決定が完了したか否かを判断する（ステップＳ１２２）。すべての隣接する入力画像の間についての相対位置の決定が完了していない場合（ステップＳ１２２においてＮＯの場合）には、ステップＳ１１６以下の処理が繰返される。
【０１１９】
一方、すべての隣接する入力画像の間についての相対位置の決定が完了した場合（ステップＳ１２２においてＹＥＳの場合）には、ＣＰＵ１０５は、決定した入力画像の間における相対位置を格納する（ステップＳ１２４）。さらに、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ１２６）。モード切替えの指令が与えられた場合（ステップＳ１２６においてＹＥＳの場合）には、ＣＰＵ１０５は、「稼動モード」へ移行する（ステップＳ１２８）。そして、図１７に示す処理が実行される。
【０１２０】
一方、モード切替えの指令が与えられていない場合（ステップＳ１２６においてＮＯの場合）には、ステップＳ１０６以下の処理が繰返される。
【０１２１】
（稼動モード）
図１７は、この発明の実施の形態に従う画像処理システム１における処理手順（稼働モード）を示すフローチャートである。図１７に示す処理のうちユーザが実行する処理以外は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。
【０１２２】
図１７を参照して、ＣＰＵ１０５は、光電センサによるワーク２の到着が検出された否かを判断する（ステップＳ２００）。ワーク２の到着が検出されていない場合（ステップＳ２００においてＮＯの場合）には、ステップＳ２００の処理を繰返す。
【０１２３】
ワーク２の到着が検出された場合（ステップＳ２００においてＹＥＳの場合）には、ＣＰＵ１０５は、複数の撮像装置８にワーク２を撮像させて、それぞれの入力画像を取得する（ステップＳ２０２）。さらに、ＣＰＵ１０５は、設定モードにおいて決定されている相対位置設定に従って、取得した複数の入力画像から合成画像を生成する（ステップＳ２０４）。
【０１２４】
続いて、ＣＰＵ１０５は、生成された合成画像に基づいて、検査・計測・認識などの光学的な処理を実行する（ステップＳ２０６）。この光学的な処理によって、位置などの処理結果が出力される。
【０１２５】
さらに、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ２０８）。モード切替えの指令が与えられた場合（ステップＳ２０８においてＹＥＳの場合）には、ＣＰＵ１０５は、「設定モード」へ移行する（ステップＳ２１０）。そして、図１６に示す処理が実行される。
【０１２６】
一方、モード切替えの指令が与えられていない場合（ステップＳ２０８においてＮＯの場合）には、処理はリターンする。
【０１２７】
＜本実施形態の作用効果＞
この発明の実施の形態によれば、被測定物についての撮像視野を実質的に大きくするために、複数の撮像装置により得られる複数の画像を結合して合成画像を生成する構成を採用する場合において、経験のないユーザであっても、画像合成処理に係る設定を容易に行なうことができる。すなわち、ユーザは、基準プレートに描かれたガイドパターンを参照して、対応する撮像すべき領域が各撮像装置の撮像視野内に入るように、それぞれの撮像装置の取付け位置などを調整するだけでよい。また、このような基準プレートを用いることで、設定に要する時間を短縮することもできる。
【０１２８】
従来の画像合成処理においては、隣接する撮像装置の撮像視野が部分的に重なるように配置する必要がある一方、重なり部分が大きくなり過ぎると合成後の実質的な撮像視野があまり大きくならないという相反する課題が存在した。これに対して、本実施の形態に従う基準プレートを用いる場合には、予め必要な大きさの重複範囲が予め示されているので、経験のないユーザであっても、それぞれの撮像装置を、適切な大きさの重複範囲で配置することができる。
【０１２９】
また、この発明の実施の形態に従う基準プレートには、特徴点を含む濃淡パターンが形成されている。これにより、ユーザが入力画像の相対関係を粗調整すると、その後は、本実施の形態に従う画像処理システムが、特徴点の探索処理および対応付け処理を実行し、合成画像を生成するための、入力画像の相対関係を自動的に決定する。そのため、経験のないユーザであっても、高精度な合成画像を生成することができる。
【０１３０】
［その他の実施の形態］
本発明に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【０１３１】
また、本発明に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明に係るプログラムに含まれ得る。
【０１３２】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記憶された記録媒体とを含む。
【０１３３】
さらに、本発明に係るプログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。
【０１３４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１３５】
【図１】この発明の実施の形態に従う画像処理システムの全体構成を示す概略図である。
【図２】この発明の実施の形態に従うコンピュータのハードウェア構成を示す概略構成図である。
【図３】この発明の実施の形態に従う画像合成処理の概要を説明するための図である。
【図４】この発明の実施の形態に従う画像合成処理の結果の一例を示す図である。
【図５】この発明の実施の形態に従う画像処理システムにおける画像合成処理に係る設定手順を説明するための図である。
【図６】この発明の実施の形態に従う画像合成処理において用いられるガイドパターンの一例を示す図である。
【図７】この発明の実施の形態に従う画像合成処理において用いられるガイドパターンの別の一例を示す図である。
【図８】この発明の実施の形態に従う画像合成処理において用いられるガイドパターンのさらに別の一例を示す図である。
【図９】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その１）を示す図である。
【図１０】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その２）を示す図である。
【図１１】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その３）を示す図である。
【図１２】この発明の実施の形態に従う画像処理システムのモニタに表示される、画像合成処理に係る設定を行なうための画面表示例（その４）を示す図である。
【図１３】この発明の実施の形態に従う画像処理システムにおける「設定モード」を提供するための制御構造を示すブロック図である。
【図１４】図１３に示す特徴点抽出部で実行される特徴点の探索処理および画像間の対応付け処理の概要について説明するための図である。
【図１５】この発明の実施の形態に従う画像処理システムにおける「稼動モード」を提供するための制御構造を示すブロック図である。
【図１６】この発明の実施の形態に従う画像処理システムにおける処理手順（設定モード）を示すフローチャートである。
【図１７】この発明の実施の形態に従う画像処理システムにおける処理手順（稼働モード）を示すフローチャートである。
【符号の説明】
【０１３６】
１ 画像処理システム、２ ワーク、４ 光電センサ、６ 搬送機構、８，８−１，８−２，８−３ 撮像装置、１０ 取付架台、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ 基準プレート、１００ コンピュータ、１０１ コンピュータ本体、１０２ モニタ、１０３ キーボード、１０４ マウス、１０６ メモリ、１０７ 固定ディスク、１０９ カメラインターフェイス部、１１１ ＦＤ駆動装置、１１３ ＣＤ−ＲＯＭ駆動装置、１１５ ＰＬＣインターフェイス部、１１７ センサインターフェイス部、２０２ 表示制御部、２０４，２０４−１〜２０４−Ｎ 画像バッファ、２０６，２０６−１〜２０６−Ｎ マッピング部、２０８ 入力部、２１０ 特徴点抽出部、２１２ フレームメモリ、２１６ メモリ、２１８ 処理アプリ部。
【特許請求の範囲】
【請求項１】
基準物に対向して複数の撮像装置を配置するステップを備え、前記基準物は、前記複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、前記ガイドパターンでは、隣接する前記撮像すべき領域が互いに所定範囲だけ重複して設定されており、前記重複して設定されている領域には特徴部を含み、さらに
前記複数の撮像装置を用いて前記撮像すべき領域をそれぞれ撮像するステップと、
複数の画像中に現われている前記ガイドパターンに基づいて、前記複数の画像の相対的な位置関係を決定するステップと、
前記基準物に代えて被測定物を配置するステップと、
決定された前記相対的な位置関係に基づいて、前記被測定物を前記複数の撮像装置がそれぞれ撮像した複数の画像から合成画像を生成するステップとを備える、画像合成方法。
【請求項２】
前記位置関係を決定するステップは、
前記複数の撮像装置によりそれぞれ撮像された複数の画像を同一表示面に表示するステップと、
前記複数の画像の位置調整を行なうための指令に応じて、前記複数の画像の表示位置を更新するステップとを含む、請求項１に記載の画像合成方法。
【請求項３】
前記位置関係を決定するステップは、
前記位置調整を行なうための指令に従って前記複数の画像の相対的な位置関係が暫定的に決定された後、隣接する画像の間の相対的な位置関係を、両画像の前記特徴部を互いに対応付けることで決定するステップをさらに含む、請求項２に記載の画像合成方法。
【請求項４】
前記複数の画像を同一表示面に表示するステップは、隣接する画像の間の重なり部分について、両方の画像を半透明にして表示するステップを含む、請求項２または３に記載の画像合成方法。
【請求項５】
前記位置関係を決定するステップは、
隣接する画像の間の相対的な位置関係を、両画像の前記特徴部を所定の範囲内で探索することで抽出し、互いに対応付けることで決定するステップをさらに含む、請求項１または２に記載の画像合成方法。
【請求項６】
前記ガイドパターンは、各撮像装置が撮像すべき領域を示す枠を含む、請求項１〜５のいずれか１項に記載の画像合成方法。
【請求項７】
前記ガイドパターンは、前記撮像すべき領域を示す枠の対角を示す線をさらに含む、請求項６に記載の画像合成方法。
【請求項８】
前記ガイドパターンは、各撮像装置が撮像すべき領域に配置された、対応する撮像装置を識別するための情報を含む、請求項１〜７のいずれか１項に記載の画像合成方法。
【請求項９】
複数の撮像装置と、
前記複数の撮像装置が基準物をそれぞれ撮像して得られる複数の第１の画像を格納する記憶手段とを備え、前記基準物は、前記複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、前記ガイドパターンでは、隣接する前記撮像すべき領域が互いに所定範囲だけ重複して設定されており、前記重複して設定されている領域には位置を示す特徴部を含み、さらに
前記複数の第１の画像中に現われている前記ガイドパターンに基づいて、前記複数の第１の画像の相対的な位置関係を決定する決定手段と、
決定された前記相対的な位置関係に基づいて、前記複数の撮像装置が被測定物をそれぞれ撮像して得られる複数の第２の画像から合成画像を生成する画像合成手段とを備える、画像処理システム。
【請求項１】
基準物に対向して複数の撮像装置を配置するステップを備え、前記基準物は、前記複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、前記ガイドパターンでは、隣接する前記撮像すべき領域が互いに所定範囲だけ重複して設定されており、前記重複して設定されている領域には特徴部を含み、さらに
前記複数の撮像装置を用いて前記撮像すべき領域をそれぞれ撮像するステップと、
複数の画像中に現われている前記ガイドパターンに基づいて、前記複数の画像の相対的な位置関係を決定するステップと、
前記基準物に代えて被測定物を配置するステップと、
決定された前記相対的な位置関係に基づいて、前記被測定物を前記複数の撮像装置がそれぞれ撮像した複数の画像から合成画像を生成するステップとを備える、画像合成方法。
【請求項２】
前記位置関係を決定するステップは、
前記複数の撮像装置によりそれぞれ撮像された複数の画像を同一表示面に表示するステップと、
前記複数の画像の位置調整を行なうための指令に応じて、前記複数の画像の表示位置を更新するステップとを含む、請求項１に記載の画像合成方法。
【請求項３】
前記位置関係を決定するステップは、
前記位置調整を行なうための指令に従って前記複数の画像の相対的な位置関係が暫定的に決定された後、隣接する画像の間の相対的な位置関係を、両画像の前記特徴部を互いに対応付けることで決定するステップをさらに含む、請求項２に記載の画像合成方法。
【請求項４】
前記複数の画像を同一表示面に表示するステップは、隣接する画像の間の重なり部分について、両方の画像を半透明にして表示するステップを含む、請求項２または３に記載の画像合成方法。
【請求項５】
前記位置関係を決定するステップは、
隣接する画像の間の相対的な位置関係を、両画像の前記特徴部を所定の範囲内で探索することで抽出し、互いに対応付けることで決定するステップをさらに含む、請求項１または２に記載の画像合成方法。
【請求項６】
前記ガイドパターンは、各撮像装置が撮像すべき領域を示す枠を含む、請求項１〜５のいずれか１項に記載の画像合成方法。
【請求項７】
前記ガイドパターンは、前記撮像すべき領域を示す枠の対角を示す線をさらに含む、請求項６に記載の画像合成方法。
【請求項８】
前記ガイドパターンは、各撮像装置が撮像すべき領域に配置された、対応する撮像装置を識別するための情報を含む、請求項１〜７のいずれか１項に記載の画像合成方法。
【請求項９】
複数の撮像装置と、
前記複数の撮像装置が基準物をそれぞれ撮像して得られる複数の第１の画像を格納する記憶手段とを備え、前記基準物は、前記複数の撮像装置の各々が撮像すべき領域を示すガイドパターンを含み、前記ガイドパターンでは、隣接する前記撮像すべき領域が互いに所定範囲だけ重複して設定されており、前記重複して設定されている領域には位置を示す特徴部を含み、さらに
前記複数の第１の画像中に現われている前記ガイドパターンに基づいて、前記複数の第１の画像の相対的な位置関係を決定する決定手段と、
決定された前記相対的な位置関係に基づいて、前記複数の撮像装置が被測定物をそれぞれ撮像して得られる複数の第２の画像から合成画像を生成する画像合成手段とを備える、画像処理システム。
【図１】
【図２】
【図３】
【図５】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図５】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−８１２２９（Ｐ２０１０−８１２２９Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４６４０７（Ｐ２００８−２４６４０７）
【出願日】平成２０年９月２５日（２００８．９．２５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２５日（２００８．９．２５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]