画像処理方法および画像処理システム
【課題】連続的に移動する検査対象を静止させることなく、光沢を除去して、より精度の高い画像処理を行うことのできる画像処理方法および画像処理システムを提供する。
【解決手段】画像処理装置は、所定位置に配置された撮像部を用いて、当該撮像部に対して一定の相対位置に配置された照明光源で当該撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を複数回撮像し、撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で検査対象の少なくとも一部を示す領域を順次探索することで、検査対象を基準として、複数の画像を位置合わせし、当該位置合わせされた複数の画像から合成画像を生成する。
【解決手段】画像処理装置は、所定位置に配置された撮像部を用いて、当該撮像部に対して一定の相対位置に配置された照明光源で当該撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を複数回撮像し、撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で検査対象の少なくとも一部を示す領域を順次探索することで、検査対象を基準として、複数の画像を位置合わせし、当該位置合わせされた複数の画像から合成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象を撮像した際に生じ得る光沢を除去するための画像処理方法および画像処理システムに関する。
【背景技術】
【０００２】
従来から、ＦＡ（Factory Automation）分野などにおいては、各種の画像処理技術が利用されている。典型的には、検査対象を撮像して得られた画像データに基づいて、検査対象に印字されている文字を認識したり、検査対象の表面におけるキズの有無などを検査したりする画像処理技術が広く実用化されている。
【０００３】
ところで、実際の生産ラインなどにおいては、検査対象を撮像する際の照明環境、検査対象の形状、照明光源と撮像部との位置関係などによって、検査対象の表面に光沢が映り込む場合がある。この光沢は、検査対象の特定領域に入射する光の光量などによって、検査対象を示す画像情報が有意に取得できない領域を意味する。典型的には、検査対象の特定の領域について、入射する光の光量が相対的に大きくなって、いわゆるハレーションもしくはハレーションに近い状態となる場合である。このような場合には、この光沢によって、検査対象上にある文字やキズなどの情報を適切に取得できない。
【０００４】
そこで、たとえば、特開２００７−１７０８３８号公報（特許文献１）には、被外観検査物を照明する照明光源と、該照明光源に照明された被外観検査物を撮像する撮像手段とを備えた外観検査装置において、照明光源による照明条件を変えながら撮像手段により被外観検査物を撮像して得られた複数の画像を保持する画像保持手段と、該画像保持手段により保持された複数の画像を演算処理することにより照明光源の映り込みを除去した画像を生成する画像処理手段とが付設された構成が開示される。より具体的には、レンズの光軸周りに９０°単位で４個の領域に分割されている発光ダイオードを用いて、その発光ダイオードを構成する領域のうち、実際に点灯する領域の組合せを変更することで、照明条件が変更される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７０８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のような特開２００７−１７０８３８号公報（特許文献１）に開示される方法では、照射方向の異なる複数の照明光源を用意する必要があるため、相対的にコストが上昇するという課題があった。同時に、撮像時には検査対象を静止させる必要があるので、検査対象が連続的に搬送されるような生産ラインには、適用することが困難であるという課題もあった。そのため、特開２００７−１７０８３８号公報（特許文献１）に開示される方法を適用できる生産ラインは限られていた。
【０００７】
そこで、本発明は、これらの問題を解決するためになされたものであり、その目的は、連続的に移動する検査対象を静止させることなく、光沢を除去して、より精度の高い画像処理を行うことのできる画像処理方法および画像処理システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明のある局面に従う画像処理方法は、予め定められた位置に配置された撮像部を用いて、当該撮像部に対して一定の相対位置に配置された照明光源で当該撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を複数回撮像するステップと、撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で検査対象の少なくとも一部を示す領域を順次探索することで、検査対象を基準として、複数の画像を位置合わせするステップと、当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成するステップとを含む。
【０００９】
好ましくは、画像情報を算出するステップは、位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報として輝度を取得し、取得した輝度についての、最小値、最大値、平均値、中央値のいずれか１つを、単位領域を代表する画像情報として算出する。
【００１０】
あるいは好ましくは、合成画像を生成するステップは、単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に従って複数種類の合成画像を生成するステップと、当該生成された複数種類の合成画像を表示するステップと、当該複数の算出規則のうち合成画像の生成に使用すべき算出規則の選択を受付けるステップとをさらに含む。
【００１１】
あるいは好ましくは、合成画像を生成するステップは、単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に対応する複数種類の合成画像を生成するステップと、当該生成された複数種類の合成画像について識別度合いを示す指標を算出するステップと、算出した指標に従って、当該複数の算出規則に合成画像の生成に使用すべき算出規則を選択するステップとをさらに含む。
【００１２】
好ましくは、位置合わせするステップは、検査対象の撮像により取得された第１の画像から検査対象を示す第１の領域を抽出し、第１の画像の次に取得された第２の画像内で第１の領域と合致する領域を探索するステップと、第２の画像から、検査対象を示す、第１の領域の大きさとは独立した大きさの第２の領域を抽出し、第２の画像の次に取得された第３の画像内で第２の領域と合致する領域を探索するステップとを含む。
【００１３】
好ましくは、位置合わせするステップでは、撮像部により取得される画像のうち、検査対象の全部または一部を含む画像のすべてを対象にして、位置合わせを行う。
【００１４】
好ましくは、合成画像を生成するステップでは、撮像部の視野範囲より広い範囲の合成画像を生成する。
【００１５】
好ましくは、照明光源は、その長手方向が検査対象の移動方向に対して実質的に直交するように配置される。
【００１６】
好ましくは、合成画像を生成するステップは、第１の検査対象について撮像部による一連の撮像により取得された複数の画像を表示するステップと、表示された複数の画像のうち合成画像の生成に使用される画像の選択を受付けるステップと、第２の検査対象について撮像部による一連の撮像により取得された複数の画像のうち、第１の検査対象について選択された画像の撮像タイミングに対応する画像を用いて合成画像を生成するステップとを含む。
【００１７】
この発明の別の局面に従う画像処理装置は、予め定められた位置に配置された撮像部と、撮像部に対して一定の相対位置に配置された照明光源と、制御部とを含む。制御部は、撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を撮像部に複数回撮像させる手段と、撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で検査対象の少なくとも一部を示す領域を順次探索することで、検査対象を基準として、複数の画像を位置合わせする手段と、当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成する手段とを含む。
【発明の効果】
【００１８】
本発明によれば、連続的に移動する検査対象を静止させることなく、光沢を除去して、より精度の高い画像処理を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。
【図２】本発明の実施の形態に係る画像処理装置の概略構成図である。
【図３】ワークを撮像して得られる画像に映り込む光沢の一例を説明するための模式図である。
【図４】本実施の形態に係る光沢除去合成の処理概要を説明するための模式図である。
【図５】本発明の実施の形態に係る画像処理装置における通常運転モードでの処理手順を示すフローチャートである。
【図６】本実施の形態に係る光沢除去合成の合成設定を行うためのユーザインターフェイス画面の一例を示す図である。
【図７】本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択した場合の処理例を示す図である。
【図８】本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択することでより適切な合成画像が得られる場合の処理例を示す図である。
【図９】本発明の実施の形態に係る光沢除去合成において輝度の最大値を選択することでより適切な合成画像が得られる場合の処理例を示す図である。
【図１０】本発明の実施の形態に係る光沢除去合成において輝度の中間値／平均値を選択することでより適切な合成画像が得られる場合の処理例を示す図である。
【図１１】本実施の形態に係る光沢除去合成の合成設定を行うための別のユーザインターフェイス画面の一例を示す図である。
【図１２】本発明の実施の形態に係る撮像設定の影響を説明するための図である。
【図１３】撮像設定のタブが選択された場合に表示される設定画面の一例を示す図である。
【図１４】撮像設定のタブが選択された場合に表示される設定画面の別の一例を示す図である。
【図１５】撮像設定のタブが選択された場合に表示される設定画面のさらに別の一例を示す図である。
【図１６】本発明の実施の形態に係る画像処理装置における設定モードでの処理手順を示すフローチャートである。
【図１７】本実施の形態に係る光沢除去合成を用いた処理例を示す図である。
【図１８】本実施の形態の変形例１に係るパターンサーチおよび画像の位置合わせ処理を説明するための図である。
【図１９】本実施の形態の変形例２に係るパターンサーチおよび画像の位置合わせ処理の変形例を説明するための図である。
【図２０】本実施の形態の変形例に係る光沢除去合成の作用効果を説明するための模式図である。
【図２１】照明光源の長手方向とワークの移動方向とが一致している場合を示す模式図である。
【図２２】照明光源の長手方向とワークの移動方向とが直交している場合を示す模式図である。
【発明を実施するための形態】
【００２０】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２１】
＜Ａ．全体装置構成＞
図１は、本発明の実施の形態に係る画像処理装置１００を含む視覚センサシステム１の全体構成を示す概略図である。
【００２２】
図１を参照して、視覚センサシステム１は、本実施の形態に係る画像処理システムの一適用例であり、生産ラインなどに組込まれて検査対象２（以下「ワーク２」とも称す。）を撮像して得られる画像に基づいて、文字認識やキズ検査といった処理（以下、「計測処理」とも称す。）を実行する。
【００２３】
一例として、本実施の形態においては、ワーク２はベルトコンベヤなどの搬送機構６によって所定方向に搬送される。これに対して、撮像部８は、ワーク２に対して固定した位置に配置されている。さらに、撮像部８に対して、一定の相対位置に照明光源９が配置される。この照明光源９は、少なくとも、撮像部８の視野（ワーク２が位置し得る範囲）を照明する。そして、撮像部８が移動するワーク２を複数回撮像する。撮像部８によって得られた複数の画像データは、画像処理装置１００へ伝送される。この照明光源９は、周囲の照明環境からの外乱を受けないように、光量、設置数、配置位置などが最適化されることが好ましい。
【００２４】
なお、本明細書において「撮像」とは、基本的には、撮像部８が視野内の被写体からの光を受光し、それを示す画像を出力する処理を意味する。但し、撮像部８が視野内の被写体を示す画像を所定周期で繰返し生成している場合には、撮像部８が生成する画像のうち、特定の画像を記憶部に格納する処理を意味する。すなわち、ある観点から見れば、「撮像」とは、ある意図されたタイミングにおいて、撮像部８が視野内の被写体の内容を示す画像を取得して計測処理可能な状態にすることを意味する。
【００２５】
ワーク２が撮像部８の視野内に到達したことは、搬送機構６の両端に配置された検出センサ４によって検出される。具体的には、検出センサ４は、同一の光軸上に配置された受光部４ａと投光部４ｂとを含み、投光部４ｂから放射される光がワーク２で遮蔽されることを受光部４ａで検出することによって、ワーク２の到達を検出する。この検出センサ４の検出信号（以下「トリガ信号」とも称す。）は、ＰＬＣ（Programmable Logic Controller）５へ出力される。
【００２６】
ＰＬＣ５は、検出センサ４などからのトリガ信号を受信するとともに、搬送機構６の制御自体を司る。
【００２７】
視覚センサシステム１は、さらに、画像処理装置１００と、ディスプレイ１０２と、マウス１０４とを含む。画像処理装置１００は、ＰＬＣ５と、撮像部８と、ディスプレイ１０２と、マウス１０４とに接続される。後述するように、画像処理装置１００は、（１）ワーク２を試験的に移動／撮像するなどして必要な設定値を入力／決定するための設定モードと、（２）一連の画像処理を実行するための通常運転モードとを有する。
【００２８】
撮像部８は、一例として、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数の画素に区画された撮像素子を含んで構成される。
【００２９】
画像処理装置１００は、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラムを実行することで、後述するような各種機能を提供する。このような汎用的なコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行される。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
【００３０】
さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
【００３１】
図２は、本発明の実施の形態に係る画像処理装置１００の概略構成図である。図２を参照して、画像処理装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
【００３２】
ＣＰＵ１１０は、ハードディスク１１４に格納されたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、撮像部８によって取得された画像データや、画像データの処理結果を示すデータ、およびワークデータなどを保持する。また、ハードディスク１１４は、不揮発性の磁気記憶装置であり、ＣＰＵ１１０で実行されるプログラムに加えて、後述するパターンサーチにおいて基準となる画像データ（以下「モデル画像」とも称す。）を記憶する。さらに、ハードディスク１１４には、各種設定値などが格納されてもよい。このハードディスク１１４にインストールされるプログラムは、後述するように、メモリカード１０６などに格納された状態で流通する。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
【００３３】
カメラインターフェイス１１６は、ＣＰＵ１１０と撮像部８との間のデータ伝送を仲介する。すなわち、カメラインターフェイス１１６は、ワーク２を撮像して画像データを生成する撮像部８を接続する。より具体的には、カメラインターフェイス１１６は、１つ以上の撮像部８と接続が可能であり、撮像部８からの複数の画像データを一時的に蓄積するための画像バッファ１１６ａを含む。そして、カメラインターフェイス１１６は、画像バッファ１１６ａに少なくとも１コマ分の画像データが蓄積されると、その蓄積されたデータをメインメモリ１１２へ転送する。また、カメラインターフェイス１１６は、ＣＰＵ１１０が発生した内部コマンドに従って、撮像部８に対して撮像指令を与える。
【００３４】
入力インターフェイス１１８は、ＣＰＵ１１０とマウス１０４、キーボード、タッチパネルなどの入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス１１８は、ユーザが入力部を操作することで与えられる操作指令を受付ける。
【００３５】
表示コントローラ１２０は、表示装置の典型例であるディスプレイ１０２と接続され、ＣＰＵ１１０における画像処理の結果などをユーザに通知する。すなわち、表示コントローラ１２０は、ディスプレイ１０２に接続され、当該ディスプレイ１０２での表示を制御する。
【００３６】
ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ５との間のデータ伝送を仲介する。より具体的には、ＰＬＣインターフェイス１２２は、ＰＬＣ５によって制御される生産ラインの状態に係る情報やワークに係る情報などをＣＰＵ１１０へ伝送する。
【００３７】
通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとの間のデータ伝送を仲介する。通信インターフェイス１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。なお、後述するように、メモリカード１０６に格納されたプログラムを画像処理装置１００にインストールする形態に代えて、通信インターフェイス１２４を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置１００にインストールしてもよい。
【００３８】
データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読み出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、撮像部８によって取得された画像データおよび／または画像処理装置１００における処理結果などをメモリカード１０６へ書き込む。なお、メモリカード１０６は、ＣＦ（Compact Flash）、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。
【００３９】
また、画像処理装置１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
【００４０】
＜Ｂ．光沢除去合成＞
まず、図３および図４を参照して、本実施の形態に係る光沢除去合成について説明する。図３は、ワーク２を撮像して得られる画像に映り込む光沢の一例を説明するための模式図である。図４は、本実施の形態に係る光沢除去合成の処理概要を説明するための模式図である。
【００４１】
図３には、撮像部８を用いてワーク２を上方から撮像した場合（図１参照）に得られる画像の一例を示す。図３（ａ）には、光沢の映り込みがなく適正に撮像ができている場合の画像の一例を示し、図３（ｂ）および図３（ｃ）には、画像内に光沢２０２が映り込んでいる一例を示す。
【００４２】
図３（ａ）に示すような画像ＩＭＧＡが取得できた場合には、検出対象の文字（この場合には、文字「ＡＢＣ」）を正しく認識および検知することができる。
【００４３】
これに対して、図３（ｂ）に示すような画像ＩＭＧＢには、文字「Ａ」の付近に光沢２０２（白い帯状の領域）が映り込んでおり、これにより、ワーク２上に文字「Ａ」が印字されていないと誤って判断される可能性がある。
【００４４】
また、図３（ｃ）に示すような画像ＩＭＧＣは、その表面に目的の文字とは異なる文字「ＡＢＧ」が印字されたワーク２を撮像して得られたものであるが、文字「Ｇ」の付近に光沢２０２（白い帯状の領域）が映り込んでおり、これにより、目的の文字「ＡＢＣ」がワーク２上に適正に印字されていると誤って判断される可能性がある。
【００４５】
すなわち、図３（ｂ）および図３（ｃ）に示すように、光沢が映り込むことで、本来は正常であるワークを異常であると誤って判断したり、本来は異常であるワークを正常であると誤って判断したりする場合がある。本実施の形態に係る画像処理方法（以下、「光沢除去合成」とも称す。）では、このような問題を抑制することを目的とする。
【００４６】
なお、本明細書において「光沢」とは、ワークの特定領域に入射する光の光量やワークの表面形状などに起因して、ワーク表面にある撮像すべき情報が正しく取得できない領域を意味する。典型的には、ワークから反射して撮像部８に入射する光が相対的に強すぎて、いわゆるハレーションもしくはハレーションに近い状態となることで生じ得るが、ワークから反射する光が微弱すぎてワーク表面の画像情報を読取れないような場合においても生じ得る。
【００４７】
本実施の形態に係る光沢除去合成においては、基本的には、図１に示すように、撮像部８の撮像条件および照明光源９による照明条件を維持したまま、撮像部８に対するワーク２の相対的な位置を異ならせることで複数の画像を取得する。そして、取得された複数の画像を合成することで、映り込む光沢を除去する。すなわち、ワーク２が撮像部８に対して時間的に移動するので、ワーク２において光沢の映り込みが生じる位置は、各撮像の間で異なると考えられる。そのため、ある画像において正しく取得できない画像情報であっても、他の画像においては正しく取得できる可能性が高くなる。
【００４８】
一例として、図４に示すように、撮像部８に対してワーク２の相対的な位置を異ならせつつ、撮像部８によりワーク２を３回撮像することで、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３が得られたとする。この画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３の各々についてみると、各画像内において光沢２０２が映り込んでいる位置は略同一であるが、ワーク２が移動しているため、光沢２０２が映り込んでいるワーク２を基準とした位置は異なったものとなっている。
【００４９】
したがって、これらの３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を合成することで、光沢２０２が映り込むことで欠落した画像情報を復元することができる。
【００５０】
このような画像合成を行うために、画像処理装置１００は、撮像部８による一連の撮像により取得される複数の画像について、撮像順において連続する２つの画像間でワーク２の少なくとも一部を示す領域を順次探索（トラッキング）する。そして、画像処理装置１００は、ワーク２を基準として、複数の画像を位置合わせする。画像処理装置１００は、この位置合わせされた複数の画像を用いて光沢除去合成を行うことで、合成画像ＳＩＭＧを生成する。
【００５１】
より具体的には、図４に示すように、第１番目の撮像により得られた画像ＩＭＧ１から、ワーク２を示すモデル画像２１１を抽出するとともに、当該モデル画像２１１に基づいてパターンサーチを行うことで、第２番目の撮像により得られた画像ＩＭＧ２のうち、モデル画像２１１と合致する領域を探索する。これにより、ワーク２のある領域（モデル画像として抽出される部分）が第１番目の撮像から第２番目の撮像までの間に、どこに移動したのかを特定することができる。
【００５２】
同様に、第２番目の撮像により得られた画像ＩＭＧ２からワーク２を示すモデル画像２１２を抽出するとともに、当該モデル画像２１２に基づいてパターンサーチを行うことで、第３番目の撮像により得られた画像ＩＭＧ３のうち、モデル画像２１２と合致する領域を探索する。これにより、ワーク２を示す領域（モデル画像２１２）が第２番目の撮像から第３番目の撮像までの間に、どこに移動したのかを特定することができる。
【００５３】
より多くの画像が撮像された場合には、以上のような処理が繰返し実行される。なお、後述するように、撮像順に連続する２つの画像の間において、モデル画像として抽出する領域の大きさは、互いに独立に決定してもよい。すなわち、各画像において最適なサイズのモデル画像を抽出するようにしてもよい。
【００５４】
以上のように、パターンサーチにより、ワーク２の移動量を算出するとともに、このワーク２の移動量に基づいて、３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３の間を位置合わせする。より具体的には、ワーク２を基準として、３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を位置合わせする。すなわち、各画像に表われるワーク２が画像間で実質的に同じ位置となるように位置合わせされる。
【００５５】
なお、撮像部８による一連の撮像により取得される複数の画像のうち、必ずしも連続する２つの画像を用いなくともよく、たとえば、所定周期で繰返し撮像されることで得られる一連の画像群のうち、撮像順において所定間隔だけ離れたもの（たとえば、奇数番目のものだけ）を用いて、トラッキングを行ってもよい。
【００５６】
続いて、画像処理装置１００は、合成画像ＳＩＭＧを構成する単位領域（典型的には、１画素）毎に、当該単位領域に対応する、上記のように位置合わせされた３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出する。より具体的には、画像処理装置１００は、３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３が（仮想的に）位置合わせされた状態で、各画像において対応する画素が有する輝度（この例では、全部で３つの輝度の情報が得られる）を取得し、取得した輝度について、所定の算出規則（アルゴリズム）に従って当該画素を代表する輝度を算出する。この算出処理を、画像に含まれる画素の数だけ繰返すことで、合成画像ＳＩＭＧを生成する。後述するように、典型的なアルゴリズムとしては、最小値、最大値、平均値、中央値のいずれかである。
【００５７】
なお、必ずしも１画素単位で代表値を算出する必要はなく、複数画素（たとえば、隣接する４画素）を１つの単位領域として取扱ってもよい。また、合成画像ＳＩＭＧのある単位領域と完全に対応する各画像の領域に含まれる画素の輝度だけでなく、それぞれの領域に隣接する範囲に含まれる画素の輝度を用いて、合成画像の各単位領域における輝度を算出してもよい。
【００５８】
＜Ｃ．処理手順（通常運転モード）＞
以下、図５を参照して、本実施の形態に係る画像処理装置１００における通常運転モードでの処理手順について説明する。
【００５９】
図５は、本発明の実施の形態に係る画像処理装置１００における通常運転モードでの処理手順を示すフローチャートである。なお、図５に示す各ステップは、典型的には、画像処理装置１００のＣＰＵ１１０がプログラムを実行することで提供される。
【００６０】
図５を参照して、通常運転モードが選択されると、ＣＰＵ１１０は、後述する設定モードなどにおいてユーザが設定した設定値を読出す（ステップＳ１００）。続くステップＳ１０２において、ＣＰＵ１１０は、光沢除去合成の実行タイミングとなったか否かを判断する。典型的には、ＣＰＵ１１０は、図１に示す検出センサ４からの信号に基づいて、ワーク２が撮像部８の視野内に到達したか否かを判断する。あるいは、ＣＰＵ１１０は、撮像部８により取得される画像の背景が変化したか否かに基づいて、ワーク２が撮像部８の視野内に到達したことを検出する。
【００６１】
光沢除去合成の実行タイミングとなったと判断された場合（ステップＳ１０２においてＹＥＳの場合）には、処理はステップＳ１０４へ進む。そうでなければ（ステップＳ１０２においてＮＯの場合）には、ステップＳ１０２の処理が繰返される。
【００６２】
ステップＳ１０４において、ＣＰＵ１１０は、カメラインターフェイス１１６に内部指令を与えることで、撮像部８により撮像されるワーク２の画像を取得する。続くステップＳ１０６において、ＣＰＵ１１０は、撮像部８の第１番目の撮像により取得された第１番目の画像に対してモデル領域を設定する。さらに続くステップＳ１０８において、ＣＰＵ１１０は、第１番目の画像のうち設定したモデル領域に含まれる部分をモデル画像として抽出する。なお、このモデル領域は、予め設定されている固定値としてもよいし、取得された画像の内容に応じて動的に設定してもよい。
【００６３】
その後、ステップＳ１１０において、ＣＰＵ１１０は、カメラインターフェイス１１６に内部指令を与えることで、撮像部８により撮像されるワーク２の画像を取得する。続くステップＳ１１２において、ＣＰＵ１１０は、撮像部８の第ｉ番目（ｉ≧２）の撮像により取得された第ｉ番目の画像に対して、第（ｉ−１）番目の画像から抽出されたモデル画像に基づいてパターンサーチを行う。ステップＳ１１４において、ＣＰＵ１１０は、パターンサーチの結果に基づいて、第（ｉ−１）番目の画像を基準とした第ｉ番目の画像の移動量を算出する。
【００６４】
ステップＳ１１６において、ＣＰＵ１１０は、撮像部８の第ｉ番目の撮像により取得された第ｉ番目の画像に対してモデル領域を設定する。続くステップＳ１１８において、ＣＰＵ１１０は、第ｉ番目の画像のうち設定したモデル領域に含まれる部分をモデル画像として抽出する。
【００６５】
ステップＳ１２０において、ＣＰＵ１１０は、設定値として指定された撮像枚数の撮像が完了したか否かを判断する。指定された撮像枚数の撮像が完了していない場合（ステップＳ１２０においてＮＯの場合）には、ＣＰＵ１１０は、ステップＳ１１０以下の処理を繰返す。一方、指定された撮像枚数の撮像が完了した場合（ステップＳ１２０においてＹＥＳの場合）には、処理はステップＳ１２２へ進む。すなわち、処理がステップＳ１２２に進む時点においては、指定された枚数の画像が撮像により取得されていることになる。
【００６６】
ステップＳ１２２において、ＣＰＵ１１０は、ステップＳ１１４において算出した移動量に基づいて、撮像部８の撮像により得られた一連の画像間の位置合わせを行う。続くステップＳ１２４において、ＣＰＵ１１０は、位置合わせされた一連の画像に対して、光沢除去合成を実行する。さらに続くステップＳ１２６において、ＣＰＵ１１０は、光沢除去合成により得られた画像や各種の情報を示す合成結果などを出力する。
【００６７】
ステップＳ１２８において、ＣＰＵ１１０は、通常運転モードの終了が指示されたか否かを判断する。通常運転モードの終了が指示されていない場合（ステップＳ１２８においてＮＯの場合）には、ステップＳ１０２以下の処理が繰返される。一方、通常運転モードの終了が指示された場合（ステップＳ１２８においてＹＥＳの場合）には、処理は終了する。
【００６８】
＜Ｄ１．合成設定（その１）＞
次に、図５に示すステップＳ１２４の光沢除去合成の詳細について説明する。
【００６９】
図６は、本実施の形態に係る光沢除去合成の合成設定を行うためのユーザインターフェイス画面の一例を示す図である。
【００７０】
本実施の形態に係る画像処理装置１００の設定モードにおいては、本明細書において説明する光沢除去合成に関する設定に加えて、他の処理に係る設定をすることができる。一例として、図６に示すように、「カメラ設定」、「ＨＤＲ設定」、「動き追従設定」、「合成設定」、「ホワイトバランス」、「キャリブレーション」の計６個のタブ４１１〜４１６に区切られて、各タブに関する設定値が入力可能となっている。
【００７１】
以下の説明では、カメラ設定のタブ４１１、ホワイトバランスのタブ４１５、および、キャリブレーションのタブ４１６において、それぞれ撮像部８についての設定値がすでに入力されているものとする。また、ＨＤＲ設定のタブ４１２および動き追従設定のタブ４１３において設定される項目については、光沢除去合成と直接的には関係しないので、ここでは詳細な説明は行わない。
【００７２】
図６は、合成設定のタブ４１４が選択された場合に表示される設定画面４０２の一例を示す。この設定画面４０２は、一連の画像間の位置合わせ（図５に示すステップＳ１２２）を行った後、光沢除去合成（図５に示すステップＳ１２４）において使用される合成画像を生成するためのアルゴリズムの設定を受付ける。
【００７３】
すなわち、合成画像は、位置合わせされた複数の画像から、各座標に対応付けられる画素が有するそれぞれの輝度を取得し、当該座標を代表する値を取得した輝度に基づいて算出することで生成される。このとき、複数の輝度のうちいずれを用いるか、あるいは、どのようなアルゴリズムを用いるか、を設定するためのユーザインターフェイスが設定画面４０２である。
【００７４】
設定画面４０２は、合成設定の項目として、合成設定４３０およびモード設定４４０を含む。合成設定４３０は、最小値、最大値、平均値、および、中央値を選択するためのラジオボタン４３１〜４３４を含む。ユーザは、ラジオボタン４３１〜４３４のうちいずれか１つを任意に選択することができる。各ラジオボタンが選択された場合の処理については後述する。
【００７５】
また、モード設定４４０は、輝度に基づいて合成画像を生成する通常モードを選択するためのラジオボタン４４１と、色相に基づいて合成画像を生成する色相強調モードを選択するためのラジオボタン４４２とを含む。ユーザは、ラジオボタン４４１または４４２のうち一方を選択することができる。
【００７６】
設定画面４０２は、さらに、画像表示エリア４２１と、全体表示エリア４２２と、表示制御アイコン群４２３とを含む。画像表示エリア４２１には、ラジオボタン４３１〜４３４および／またはラジオボタン４４０，４４１の選択に応じて選択されるアルゴリズムに従って生成された合成画像が表示される。また、表示制御アイコン群４２３に対するユーザ操作に応じて、画像表示エリア４２１に表示される合成画像のサイズが変更可能となっている。全体表示エリア４２２には、画像表示エリア４２１での表示サイズとは独立して、合成画像が常に全体表示される。
【００７７】
図７は、本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択した場合の処理例を示す図である。
【００７８】
合成画像を生成するためのアルゴリズムとしては、一般的には、位置合わせされた一連の画像について、各座標に対応付けられる画素が有するそれぞれの輝度の最小値を選択する方法が考えられる。すなわち、画像に映り込む光沢（白光りするもの）は、相対的に大きな輝度を有するので、このような相対的に大きな輝度を排除することで、光沢除去合成がうまくいくことも多い。
【００７９】
すなわち、図６に示す設定画面４０２において、ラジオボタン４３１が選択されることで、対応する画素の間で最小値を選択するためのアルゴリズムが有効化される。この場合の処理例を図７に示す。すなわち、図７に示す例では、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に映り込んでいたそれぞれの光沢２０２が、光沢除去合成によって生成された合成画像ＳＩＭＧでは、除去されていることがわかる。
【００８０】
その一方で、生成された合成画像ＳＩＭＧにおいては、輝度の最小値を各座標の代表値として決定することで、合成画像ＳＩＭＧに小さな輝度を有する領域が生じる場合がある。たとえば、図７に示す例では、合成画像ＳＩＭＧ内の両端側が暗くなっているのがわかる。
【００８１】
このような場合には、各座標に対応付けられる画素が有するそれぞれの輝度の中間値または平均値を代表値とするアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧを生成することができる場合もある。但し、この場合は、光沢が有する輝度の影響を受けて、部分的に輝度が高すぎる画素が生じる可能性もある。
【００８２】
そこで、本実施の形態に係る画像処理装置１００は、複数のアルゴリズムを用意しておき、撮影状況（照明条件や露光時間など）や撮像対象のワークの反射率などに応じて、適切なアルゴリズムをユーザが選択できるようにしている。
【００８３】
図８は、本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択することでより適切な合成画像ＳＩＭＧが得られる場合の処理例を示す図である。
【００８４】
図８に示すように、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２が白色である場合（相対的に輝度（あるいは、ＲＧＢ値の合計）が大きい場合）、かつ、ワーク２が撮像部８に対して移動したときでも被写体の輝度（映り方）が変化しないような場合には、最小値のアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧ−１を生成することができる。
【００８５】
一方、このような場合に平均値のアルゴリズムを採用すると、光沢２０２の影響を受けて、全体的に白っぽい合成画像ＳＩＭＧ−２が生成されてしまう。
【００８６】
図９は、本発明の実施の形態に係る光沢除去合成において輝度の最大値を選択することでより適切な合成画像ＳＩＭＧが得られる場合の処理例を示す図である。
【００８７】
図９に示すように、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２が黒色である場合（相対的に輝度（あるいは、ＲＧＢ値の合計）が小さい場合）、かつ、ワーク２が撮像部８に対して移動したときでも被写体の輝度（映り方）が変化しないような場合には、最大値のアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧを生成することができる。典型的には、前処理として、撮像部８によって撮像された画像に対してネガ／ポジ（白黒）反転処理がなされるような場合があり、このような場合には、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２が黒色となる。
【００８８】
図１０は、本発明の実施の形態に係る光沢除去合成において輝度の中間値／平均値を選択することでより適切な合成画像ＳＩＭＧが得られる場合の処理例を示す図である。
【００８９】
図１０に示すように、ワーク２が撮像部８に対して移動することで、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２以外の部分の輝度が変化してしまうような場合には、平均値または中央値のアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧ−３を生成することができる。
【００９０】
一方、このような場合に最小値のアルゴリズムを採用すると、ワーク２の移動に伴って生じる輝度の変化の影響を受けて、全体的に黒っぽい合成画像ＳＩＭＧ−４が生成されてしまう。
【００９１】
なお、上述のアルゴリズム以外にも、たとえば、各座標に対応付けられる画素が有するそれぞれの輝度のうち、所定のしきい値を超えたものだけを有効とした上で、有効な輝度の間での平均値を代表値とするアルゴリズムを採用することもできる。
【００９２】
＜Ｄ２−１．合成設定（その２）：手動設定＞
上述のように、ユーザが光沢除去合成において使用するアルゴリズムを任意に選択できるようにしてもよいが、よりユーザフレンドリーの観点からは、各アルゴリズムに従って生成された合成画像を比較することで、最適なアルゴリズムを決定できることが好ましい。
【００９３】
より具体的には、まず試験的に、目的のワーク２を移動させながら撮像部８により複数回撮像する（以下、「テストラン」と記載する場合もある。）。このとき、撮像部８により撮像される画像に対して、実際の検査処理（文字認識やキズ検査など）の対象とする指定範囲を設定しておくことが好ましい。
【００９４】
そして、テストランにより取得された一連の画像に基づいて、上述の光沢除去合成を、複数のアルゴリズムのそれぞれに従って実行する。
【００９５】
図１１は、本実施の形態に係る光沢除去合成の合成設定を行うための別のユーザインターフェイス画面の一例を示す図である。図１１に示す設定画面４０２においては、画像表示エリア４２５および全体表示エリア４２２に、テストランによって取得された一連の画像を各アルゴリズムに従って光沢除去合成をした結果得られた複数の合成画像が一覧表示される。図１１に示す例では、最小値、平均値、中央値、および、最大値のそれぞれのアルゴリズムに従って得られた合成画像が表示されている。また、各合成画像上には、指定範囲４２８の位置を示す枠がオーバレイ表示されている。
【００９６】
設定画面４０２は、画像表示エリア４２５および全体表示エリア４２２での複数の合成画像の表示とともに、いずれのアルゴリズムを通常モードにおいて使用するかの設定を受付けるための合成設定４３０Ａを含む。この合成設定４３０Ａは、最小値、最大値、平均値、および、中央値を選択するためのラジオボタン４３５〜４３８を含む。ユーザは、４つの合成画像を比較しながら、ラジオボタン４３５〜４３８のうちいずれか１つを任意に選択することができる。
【００９７】
すなわち、画像処理装置１００は、合成画像の単位領域を代表する画像情報を算出するためのアルゴリズム（算出規則）を複数に異ならせて、それぞれのアルゴリズムに従って複数種類の合成画像を生成し、当該生成された複数種類の合成画像を表示し、当該複数のアルゴリズムのうち合成画像の生成に使用すべきアルゴリズムの選択を受付ける。
【００９８】
＜Ｄ２−２．合成設定（その２）：自動設定＞
上述した合成設定（その２）を自動化してもよい。すなわち、生成された複数種類の合成画像について識別度合いを示す指標を算出し、この算出した指標に従って、いずれのアルゴリズムが最適であるかが判断される。
【００９９】
典型的には、ワークの下地の色に対して、その表面に印字された文字の色がより正確に識別されるように、アルゴリズムが決定される。具体的には、各アルゴリズムに従って生成された合成画像に設定された指定範囲４２８に含まれる画素について、（ａ）各画素が有する輝度の分散値が最大となる合成画像に対応するアルゴリズム、（ｂ）最大の輝度と最小の輝度の差が最も大きくなる合成画像に対応するアルゴリズム、（ｃ）最大の輝度と最小の輝度の比が最も大きくなる合成画像に対応するアルゴリズム、といった具合に最適なアルゴリズムが決定される。
【０１００】
なお、ワークの下地の色に対してその表面に印字された文字の色がより正確に識別されるとは、ユーザの見た目において識別可能であること、および、文字認識やキズ検査処理といった画像処理において識別可能であることのいずれの場合もあり得る。
【０１０１】
すなわち、画像処理装置１００は、単位領域を代表する画像情報を算出するためのアルゴリズム（算出規則）を複数に異ならせて、それぞれのアルゴリズムに対応する複数種類の合成画像を生成し、当該生成された複数種類の合成画像について識別度合いを示す指標を算出し、算出した指標に従って、当該複数のアルゴリズムのうち合成画像の生成に使用すべきアルゴリズムを選択する。
【０１０２】
＜Ｅ．撮像設定＞
次に、撮像部８の撮像枚数、撮像周期、および、使用枚数を含む撮像設定について説明する。
【０１０３】
本実施の形態に係る画像処理装置１００においては、１回の光沢除去合成において撮像部８によりワーク２を撮像する回数（撮像枚数および撮像周期）、および、撮像により得られた複数の画像のうち実際に合成画像の生成に使用される枚数（使用枚数）を設定することができる。
【０１０４】
まず、撮像枚数および撮像周期についてみれば、撮像枚数が多いほど光沢を除去できる可能性が高くなり好ましいが、１回の光沢除去合成に要する時間が長くなる。また、撮像周期についてみれば、撮像周期が短すぎると、連続する画像間において近似した位置に光沢が写り込むことで、光沢を十分に除去できない場合がある。一方で、撮像周期が長すぎると、１回の光沢除去合成に要する時間が長くなるとともに、ワーク２が撮像部８の視野内に存在する期間が限られているので、実際に撮像できる枚数も制限される。
【０１０５】
また、撮像枚数が同じでも、光沢除去合成に使用する画像の選択を適切に行うことで、より確実に光沢を除去できる場合もある。
【０１０６】
図１２は、本発明の実施の形態に係る撮像設定の影響を説明するための図である。図１２を参照して、まず、所定の撮像周期でワーク２を繰返し撮像することで、４つの画像ＩＭＧ１〜ＩＭＧ４が取得されたとする。これらの画像ＩＭＧ１〜ＩＭＧ４の各々においては、光沢２０２が写り込んでいるものとする。
【０１０７】
たとえば、上述の光沢除去合成に従って、画像ＩＭＧ１と画像ＩＭＧ２とを用いて合成画像ＳＩＭＧ１を生成したとする。このとき、画像ＩＭＧ１において光沢２０２が映り込んでいる位置および画像ＩＭＧ２において光沢２０２が映り込んでいる位置は、互いに近接しているので、再現すべきワーク２についての画像情報のうち、いずれの画像においても光沢２０２が移り込んでいた領域が存在する。その結果、合成画像ＳＩＭＧ１においても除去しきれない光沢２０４が現れてしまう。
【０１０８】
別の例として、上述の光沢除去合成に従って、画像ＩＭＧ１と画像ＩＭＧ４とを用いて合成画像ＳＩＭＧ３を生成したとする。このとき、光沢２０２が発生する位置の周期性から、画像ＩＭＧ１において光沢２０２が写り込んでいる位置と、画像ＩＭＧ４において光沢２０２が写り込んでいる位置とは、互いに近接することになる。その結果、合成画像ＳＩＭＧ１の場合と同様に、再現すべきワーク２についての画像情報のうち、いずれの画像においても光沢２０２が移り込んでいた領域が存在する。その結果、合成画像ＳＩＭＧ３においても除去しきれない光沢２０４が現れてしまう。
【０１０９】
これらに対して、画像ＩＭＧ１と画像ＩＭＧ３を用いて合成画像ＳＩＭＧ２を生成したとする。このとき、画像ＩＭＧ１において光沢２０２が映り込んでいる位置と画像ＩＭＧ３において光沢２０２が映り込んでいる位置とは離れているので、再現すべきワーク２についての画像情報は、少なくとも画像ＩＭＧ１および画像ＩＭＧ３のいずれか一方に含まれることになる。その結果、光沢２０２が除去された合成画像ＳＩＭＧ２が生成される。
【０１１０】
そこで、本実施の形態に従う画像処理装置１００は、ユーザがこれらの撮像設定を容易に行うことができるユーザインターフェイスを提供する。
【０１１１】
［ｅ１．設定画面（その１）］
図１３は、撮像設定のタブ４１２が選択された場合に表示される設定画面４０６の一例を示す。この設定画面４０６は、撮像部８によるワークの撮像に関する設定を受付ける。より具体的には、設定画面４０６は、撮像設定の項目として、選択設定４５０、撮像枚数設定４６０、合成設定４９０、および、ぶれ強度設定４８０を含む。
【０１１２】
選択設定４５０は、画像処理装置１００に複数の撮像部８が接続されている場合などのように、画像の入力ソースが複数存在する場合に、どの入力ソースを有効化するかという選択を受付ける。すなわち、選択設定４５０は、カメラ選択ダイアログ４５１を含み、ユーザは、表示されるプルダウンメニュー（選択可能な撮像部８がリスト表示される）から、目的の撮像部８を選択する。
【０１１３】
撮像枚数設定４６０は、１つのワーク２に対する撮像枚数を受付ける。より具体的には、撮像枚数設定４６０は、スライドバー４６１と、変更ボタン４６２および４６４とを含む。ユーザは、スライドバー４６１または変更ボタン４６２を操作することで、処理をより高速化して撮像できるように、撮像枚数および／または撮像周期を変更することができる（すなわち、より少ない撮像枚数、および／または、より長い撮像周期）。あるいは、ユーザは、スライドバー４６１または変更ボタン４６４を操作することで、生成される合成画像がより高精度となるように、撮像枚数および／または撮像周期を変更することができる（すなわち、より多い撮像枚数、および／または、より短い撮像周期）。
【０１１４】
なお、撮像枚数設定４６０には、１つのワーク２に対して撮像される回数（撮像枚数、図１３に示す例では「１０枚」）、および、１回の光沢除去合成に要すると予想される処理時間（予想処理時間、図１３に示す例では「３００ｍｓ」）が表示される。
【０１１５】
合成設定４９０は、１つのワーク２に対して複数回の撮像を行うことで得られる複数の画像のうち、光沢除去合成に使用される画像の選択を受付ける。具体的には、合成設定４９０は、合成開始番号ダイアログ４９２および合成間隔ダイアログ４９４を含む。合成開始番号ダイアログ４９２は、１つのワーク２に対する連続的な撮像によって得られる画像に通し番号を付した場合に、いずれの画像を光沢除去合成に用いる最初の画像とするかについての設定（番号）を受付ける。また、合成間隔ダイアログ４９４は、一連の画像のうち、光沢除去合成に用いる画像の間隔についての設定を受付ける。図１３に示す例では、合成開始番号が「２」であり、合成間隔が「２」であるので、「２番目」、「４番目」、「６番目」、「８番目」、「１０番目」の計５枚の画像が光沢除去合成に用いられる。
【０１１６】
ぶれ強度設定４８０は、画像間のパターンサーチによる誤差（ぶれ）を吸収するための設定を受付ける。ぶれ強度設定４８０は、誤差を吸収するためのパラメータが入力されるぶれ強度値ダイアログ４８１を含む。このぶれ強度値ダイアログ４８１に設定されるパラメータの一例としては、合成画像を生成する際に、各座標についての代表値を算出する範囲の拡大度合いを示す値が用いられる。たとえば、合成画像に含まれる各座標の輝度を算出する際に、各画像についての対応する座標におけるそれぞれの輝度、および、各座標から強度値ダイアログ４８１に設定されるパラメータ（画素数）以内の周囲に含まれる画素が有する輝度を抽出し、当該抽出した輝度に基づいて代表値を決定することができる。
【０１１７】
さらに、設定画面４０６は、画像表示エリア４２７を有し、この画像表示エリア４２７には、ぶれ強度設定４８０において設定されたぶれ強度に基づいて誤差補正を行った場合に得られた合成画像４２７Ｂと、当該誤差補正を行っていない合成画像４２７Ａとが対比して表示される。この表示により、ユーザは、ぶれ強度設定４８０における設定に応じた誤差補正の度合いを視認しながら、適切なぶれ強度の大きさを設定することができる。
【０１１８】
［ｅ２．設定画面（その２）］
図１３に示す設定画面４０６においては、スライドバー４６１を操作することで、「高速処理」側および「高精度処理」側に設定値を変更できるユーザインターフェイスの例を示したが、撮像枚数および撮像周期をそれぞれ独立に設定できるようにしてもよい。
【０１１９】
図１４は、撮像設定のタブ４１２が選択された場合に表示される設定画面の別の一例を示す。図１４を参照して、設定画面４０７は、図１３に示す設定画面４０６において、撮像枚数設定４６０に代えて撮像枚数設定４６０Ａを採用したものである。その他については、図１３と同様であるので、詳細な説明は繰返さない。
【０１２０】
撮像枚数設定４６０Ａは、１つのワーク２に対する撮像枚数および撮像周期の設定を受付ける。より具体的には、撮像枚数設定４６０Ａは、撮像枚数ダイアログ４６７と、撮像周期ダイアログ４６８とを含む。撮像枚数ダイアログ４６７は、撮像部８が１つのワーク２に対して撮像する回数である撮像枚数を受付ける。また、撮像周期ダイアログ４６８は、撮像部８が１つのワーク２に対してある撮像が完了してから次の撮像を開始するまでの時間間隔である撮像周期を受付ける。
【０１２１】
このようなユーザインターフェイスを利用することで、ユーザは、より高い自由度で、ワーク２を撮像するための撮像設定を行うことができる。
【０１２２】
［ｅ３．設定画面（その３）］
図１３に示す設定画面４０６においては、合成設定４９０において、「合成開始番号」および「合成間隔」を設定することで、光沢除去合成に使用する画像を選択できるユーザインターフェイスの例を示したが、ユーザが光沢除去合成に使用する実際の画像を見ながら選択してもよい。
【０１２３】
図１５は、撮像設定のタブ４１２が選択された場合に表示される設定画面のさらに別の一例を示す。図１５を参照して、設定画面４０８は、図１３に示す設定画面４０６において、合成設定４９０に代えて撮像タイミング設定４７０を採用したものである。また、設定画面４０８は、画像表示エリア４２９を有し、この画像表示エリア４２９には、ワークの撮像によって得られた画像の一覧４８９が表示される。また、画像表示エリア４２９には、ぶれ強度設定４８０において設定されたぶれ強度に基づいて誤差補正を行った場合に得られた合成画像４２９Ｂと、当該誤差補正を行っていない合成画像４２９Ａとが対比して表示される。その他については、図１３と同様であるので、詳細な説明は繰返さない。
【０１２４】
画像表示エリア４２９の一覧４８９には、撮像部８が最小の撮像周期でワークを撮像することで得られる一連の画像が時系列に表示されるとともに、各画像に対応付けて、チェックボックスが表示される。ユーザは、光沢除去合成に使用すべき画像を、対応するチェックボックスをチェックすることで選択する。
【０１２５】
なお、ワークの種類や照明環境などに依存して、使用すべき画像の選択パターンを変更する必要もあると考えられるので、撮像タイミング設定４７０において、光沢除去合成に使用される画像の選択パターンを複数設定できるようになっている。すなわち、撮像タイミング設定４７０は、複数の選択パターンを作成／編集するためのダイアログ４７１を含む。図１５に示す例では、ダイアログ４７１に、４つの選択パターン（Ｐａｔｔｅｒｎ ０〜Ｐａｔｔｅｒｎ ３）が登録されている。
【０１２６】
さらに、撮像タイミング設定４７０は、編集ボタン４７２を含み、ユーザが編集ボタン４７２を選択すると、ダイアログ４７１において指定されている選択パターンの内容を編集できる。編集後、確定ボタン４７３が選択されることで、変更後の選択パターンの内容が確定する。
【０１２７】
なお、基本的には、上述のパターンサーチは、探索精度を高めるために、使用される画像の選択とは独立して、１つのワークを撮像して得られる一連の画像のすべてを用いて行われる。そして、位置合わせされた画像のうち、選択された画像が有する画像情報に基づいて、合成画像が生成される。
【０１２８】
すなわち、画像処理装置１００は、テストラン（設定モード）においてワーク２に対する撮像部８による一連の撮像により取得された複数の画像を表示するとともに、表示された複数の画像のうち合成画像の生成に使用される画像の選択を受付ける（設定画面４０８）。そして、画像処理装置１００は、通常モードにおいて、それぞれ搬送されるワーク２について撮像部８による一連の撮像により取得された複数の画像のうち、先にテストランにおいて取得された選択に対応する撮像タイミングに従って、所定数の画像を用いて合成画像を生成する。
【０１２９】
［ｅ４．撮像設定の自動化］
上述の例では、基本的に、ユーザが手動で撮像設定を行う例を示したが、撮像設定を自動的に決定する処理、あるいは、推奨値を算出してユーザによる撮像設定を支援するようにしてもよい。
【０１３０】
具体的には、撮像枚数および／または撮像周期については、許容される１ワークあたりの処理時間に基づいて、当該処理時間を超えないように算出するようにしてもよい。あるいは、ワークの移動速度に基づいて、撮像枚数および／または撮像周期を算出するようにしてもよい。
【０１３１】
また、光沢除去合成に使用する画像については、テストランに取得された一連の画像の間での輝度の変化に基づいて選択するようにしてもよい。すなわち、各画像において、いずれの位置に輝度が高い領域（光沢が写り込んでいると考えられる部分）が生じているかを判断し、その輝度が高い領域が生じている位置が互いに離れている画像を選択する。但し、この場合も、許容される１ワークあたりの処理時間に基づいて、光沢除去合成に使用する画像の枚数を決定することが好ましい。
【０１３２】
＜Ｆ．処理手順（設定モード）＞
以下、図１６を参照して、上述の設定モードにおける処理手順について説明する。
【０１３３】
図１６は、本発明の実施の形態に係る画像処理装置１００における設定モードでの処理手順を示すフローチャートである。まず、ユーザは、本実施の形態に係る画像処理装置１００を用いて光沢除去合成を実行するために、各種設定を行うものとする。すなわち、ユーザは、設定モードを指定する。
【０１３４】
ＣＰＵ１１０は、設定モードが指定されたか否かを判断する（ステップＳ２００）。設定モードが指定された場合（ステップＳ２００においてＹＥＳの場合）には、処理はステップＳ２０２へ進む。設定モードが指定されなかった場合（ステップＳ２００においてＮＯの場合）には、ステップＳ２００の処理が繰返される。
【０１３５】
ステップＳ２０２において、ＣＰＵ１１０は、各種設定を受付けるための設定画面を表示する。すなわち、上述の図６に示す設定画面４０２、図１１に示す設定画面４０４、図１３に示す設定画面４０６、図１４に示す設定画面４０７、図１５に示す設定画面４０８などをユーザ操作に応じて表示する。以下の各ステップにおいて、ＣＰＵ１１０は、各種設定を受付ける。
【０１３６】
具体的には、ステップＳ２０４において、ＣＰＵ１１０は、光沢除去領域を受付ける。光沢除去領域は、計測処理において着目すべき範囲を意味し、上述の例では、ワーク２の表面の「ＡＢＣ」の文字が印字された範囲などに相当する。典型的には、ユーザは、設定画面４０２の画像表示エリア４２１（図６）において、図示しないユーザインターフェイス画面などを用いて、目的の範囲を指定する。
【０１３７】
続くステップＳ２０６において、ＣＰＵ１１０は、合成設定を受付ける。より具体的には、図６に示す設定画面４０２における、合成設定４３０および／またはモード設定４４０において選択されたラジオボタンに対応したアルゴリズムを設定値として受付ける。なお、図１１を参照して説明した自動設定がユーザによって選択された場合には、ＣＰＵ１１０は、テストランにより得られた画像に対して、複数のアルゴリズムに従ってそれぞれ光沢除去合成を行って複数の合成画像を生成するとともに、各合成画像を評価して、最も適切な合成画像を生成できたアルゴリズムを設定値に決定する。
【０１３８】
続くステップＳ２０８において、ＣＰＵ１１０は、光沢除去合成に用いる撮像枚数および使用画像の設定を受付ける。より具体的には、図１３に示す設定画面４０６または図１４に示す設定画面４０７において指定される撮像枚数や、図１５に示す設定画面４０８において指定される使用画像を設定値として受付ける。
【０１３９】
続くステップＳ２１０において、ＣＰＵ１１０は、撮像部８の視野におけるワーク２の移動方向や移動速度を受付ける。なお、上述のパターンサーチ処理において述べたように、連続して撮像される画像からワーク（被写体）の移動量（ベクトル量）を算出するので、必ずしもワーク２の移動方向や移動速度を予め設定しておく必要はない。
【０１４０】
上述したステップＳ２０４〜Ｓ２１０の処理によって必要な設定が受付けられると、ＣＰＵ１１０は、テストランの開始を待つ（ステップＳ２１２）。ユーザは、通常運転モードと同様の動作環境にした上で、計測処理の対象ワークを試験的に撮像（テストラン）する。テストランが開始されると、ＣＰＵ１１０は、入力された各種設定に従って、ワーク２を撮像して一連の画像を取得する（ステップＳ２１４）とともに、取得された一連の画像に対して光沢除去合成を実行する（ステップＳ２１６）。そして、ＣＰＵ１１０は、光沢除去合成によって得られた合成画像をディスプレイ１０２などに表示する（ステップＳ２１８）。
【０１４１】
続くステップＳ２２０において、ＣＰＵ１１０は、設定モードの完了が指示されたか否かを判断する。すなわち、ユーザは、テストランによって得られた合成画像に基づいて、先に入力した各種設定を見直す必要があるか否か、すなわち、現在の設定値で問題ないか否かを判断する。
【０１４２】
設定モードの完了が指示された場合（ステップＳ２２０においてＹＥＳの場合）には、ＣＰＵ１１０は、入力された設定値を記憶して、設定モードを終了する。設定モードの完了が指示されなかった場合（ステップＳ２２０においてＮＯの場合）には、ＣＰＵ１１０は、入力された設定値を記憶して、ステップＳ２０２以下の処理が繰返される。
【０１４３】
＜Ｇ．処理例＞
図１７は、本実施の形態に係る光沢除去合成を用いた処理例を示す図である。この図１７に示す処理例では、ワーク２としてペットボトルを用いた。図１７（ａ）〜図１７（ｇ）には、ワーク２を順次移動させて撮像して得られたそれぞれの画像を示し、図１７（ｈ）には、図１７（ａ）〜図１７（ｇ）に示す画像を用いて光沢除去合成することで得られた合成画像を示す。
【０１４４】
図１７（ａ）〜図１７（ｇ）から明らかなように、ワーク２を撮像部８に対して相対移動させることで、取得される画像において、映り込んでいる光沢のワーク２に対する相対位置が異なっていることがわかる。すなわち、図１７（ａ）〜図１７（ｄ）に示す画像においては、パッケージの表面に印字されているバーコードの一部が映り込んだ光沢により認識できない状態となっている。これに対して、図１７（ｅ）〜図１７（ｇ）に示す画像においては、より紙面左側にあるパッケージの内容の一部が光沢により認識できない状態となっており、バーコード自体は認識可能となっている。
【０１４５】
このような一連の画像（図１７（ａ）〜図１７（ｇ））に対して、本実施の形態に係る光沢除去合成を適用することで、ワーク２の表面に印字されたパッケージの内容がより正しく認識可能な合成画像が生成される（図１７（ｈ）参照）。
【０１４６】
＜Ｈ．視野拡大可能な光沢除去合成＞
上述の図４などにおいては、基本的には、撮像部８の視野範囲より狭い範囲の合成画像を生成する光沢除去合成について説明したが、撮像部８の視野範囲より広い範囲の合成画像を生成することも可能である。以下、このような撮像部８の視野範囲より広い範囲の合成画像を生成する場合の処理例について説明する。
【０１４７】
［ｈ１．光沢除去合成（変形例１）］
図１８は、本実施の形態の変形例１に係るパターンサーチおよび画像の位置合わせ処理を説明するための図である。図１８（ａ）〜図１８（ｆ）には、一例として、その表面形状が楕円のワークが移動中に連続的に撮像して得られた一連の画像を示す。また、図１８（ｇ）には、図１８（ａ）〜図１８（ｆ）に示す画像ＩＭＧ１〜ＩＭＧ６に基づいて光沢除去合成を行った結果得られた合成画像ＳＩＭＧの例を示す。なお、図１８に示す内容は、上述の図５のフローチャートに示すステップＳ１０６〜Ｓ１１８の処理の別形態に相当する。
【０１４８】
ＣＰＵ１１０は、検出センサ４（図１）などによるワークの位置検出や、撮像部８により取得される画像中の背景の変化などに基づいて、光沢除去合成の実行タイミングを認識する。そして、撮像部８により撮像されるワーク２を写した画像を取得する。たとえば、図１８（ａ）に示すような画像ＩＭＧ１が取得されたものとする。この第１番目に取得された画像ＩＭＧ１に対して、ＣＰＵ１１０は、モデル領域２３１を設定する。
【０１４９】
第１番目の撮像から所定時間経過後、ＣＰＵ１１０は、図１８（ｂ）に示すような第２番目の画像ＩＭＧ２を取得したものとする。図１８に示す例においては、ワークが紙面左側から紙面右側に移動しているものとする。そのため、第２番目に取得された画像ＩＭＧ２におけるワーク２を写した被写体ＯＢＪの位置は、図１８（ａ）に示す画像ＩＭＧ１における被写体ＯＢＪの位置に比較して、より紙面右側に位置している。
【０１５０】
ＣＰＵ１１０は、この第２番目の画像ＩＭＧ２に対して、直近に取得された第１番目の画像ＩＭＧ１のモデル領域２３１で指定される第１番目のモデル画像に基づくパターンサーチを行う。このパターンサーチの結果、画像ＩＭＧ２のうち領域２４１が第１番目のモデル画像と合致したとする。
【０１５１】
このとき、第１番目の画像ＩＭＧ１におけるモデル領域２３１と、第２番目の画像ＩＭＧ２における領域２４１との相対的な位置ずれ量がワークの移動量として算出される。
【０１５２】
続いて、この第２番目の画像ＩＭＧ２に対して、ＣＰＵ１１０は、モデル領域２３２を設定する。このとき、パターンサーチの精度を高めるために、第１番目の画像ＩＭＧ１に対して設定したモデル領域２３１の大きさに比較して、第２番目の画像ＩＭＧ２に対して設定するモデル領域２３２をより広くしてもよい。
【０１５３】
より具体的には、第１番目の画像ＩＭＧ１から第２番目の画像ＩＭＧ２への間の移動量（ベクトル量）に基づいて、被写体ＯＢＪであるワークの移動方向および移動速度を推測し、この推測した移動量に応じて、より広いモデル領域２３２が設定される。図１８（ｂ）に示す例においては、ワークが紙面左側から紙面右側に移動しているので、第２番目の画像ＩＭＧ２に対して設定されるモデル領域２３２は、可能な限り画像ＩＭＧ２の左端を始点として、可能な限り画像ＩＭＧ２の右側まで拡張されている。図１８（ｂ）に示すモデル領域２３２の拡張幅は、当該モデル領域２３２として設定された内容が後続の撮像タイミングで取得される画像（この例では、画像ＩＭＧ３）の視野内に含まれることを条件として、可能な限り広く設定される。すなわち、マージンとして、連続する２回の撮像タイミングの間に移動するワークの移動量を少なくとも確保できるように、モデル領域２３２が設定される。なお、ワークの移動方向および移動速度が既知である場合には、予め算出した範囲をモデル領域として設定するようにしてもよい。
【０１５４】
さらに、ＣＰＵ１１０は、この第３番目の画像ＩＭＧ３に対して、直近に取得された第２番目の画像ＩＭＧ２のモデル領域２３２で指定される第２番目のモデル画像に基づくパターンサーチを行う。このパターンサーチの結果、画像ＩＭＧ３のうち領域２４２が第２番目のモデル画像と合致したとする（図１８（ｃ）参照）。以下同様にして、（１）第３番目の画像ＩＭＧ３に対するモデル領域２３３の設定（図１８（ｃ）参照）、（２）第４番目の画像ＩＭＧ４に対する第３番目の画像ＩＭＧ３のモデル領域２３３で指定される第３番目のモデル画像に基づくパターンサーチ（図１８（ｄ）参照）、（３）第４番目の画像ＩＭＧ４に対するモデル領域２３４の設定（図１８（ｄ）参照）、（４）第５番目の画像ＩＭＧ５に対する第４番目の画像ＩＭＧ４のモデル領域２３４で指定される第４番目のモデル画像に基づくパターンサーチ（図１８（ｅ）参照）、（５）第５番目の画像ＩＭＧ４に対するモデル領域２３５の設定（図１８（ｅ）参照）、（６）第６番目の画像ＩＭＧ６に対する第５番目の画像ＩＭＧ５のモデル領域２３５で指定される第５番目のモデル画像に基づくパターンサーチ（図１８（ｆ）参照）の順に処理が実行される。
【０１５５】
なお、ワークの移動方向および移動速度に基づいて、次回の撮像において、ワークが撮像部８の視野内から外れることが推測されると、モデル領域の大きさが見直される。一例として、図１８（ｅ）に示すような、第５番目の画像ＩＭＧ５に設定されるモデル領域２３５は、第４番目の画像ＩＭＧ４に設定されるモデル領域２３４に比較してより狭い範囲に設定されている。
【０１５６】
最終的に、各パターンサーチによって得られた画像間の移動量に基づいて、一連の画像についての位置合わせが行われる。そして、上述したような光沢除去合成が実行されることで、図１８（ｇ）に示すような合成画像ＳＩＭＧが生成される。
【０１５７】
このようなパターンサーチ（画像間の位置合わせ）は、撮像部８により取得される画像のうち、ワーク２の全部または一部を含む画像のすべてを対象にして行われる。すなわち、ワーク２が撮像部８の視野に入ってきてから、ワーク２が視野内から外れるまでの期間に取得された画像が位置合わせの対象となる。
【０１５８】
図１８（ｇ）に示すように、本実施の形態の変形例１に係る光沢除去合成によれば、撮像部８の視野内より広い範囲の画像に対して、有効に光沢除去することができる。すなわち、撮像部８による１回の撮像により取得される範囲に比較して、より広い範囲の画素を複数重ね合わせることで、いずれかの画像に光沢の写り込みがあっても、除去することができる。
【０１５９】
このように生成される合成画像ＳＩＭＧは、撮像部８の視野範囲（画像ＩＭＧ１〜ＩＭＧ６の大きさ）より広い範囲の画像となる。
【０１６０】
［ｈ２．光沢除去合成（変形例２）］
上述の変形例１に係る光沢除去合成では、探索精度を高めるために、各モデル領域の大きさを、そのモデル領域に含まれるワーク２を示す画像が後続の撮像により得られる画像内に現れるように、動的に決定する処理例を説明した。これに対して、モデル領域の一部が撮像部８の視野外になってもパターンサーチが可能である場合には、モデル領域をより広い範囲に固定的に設定してもよい。
【０１６１】
図１９は、本実施の形態の変形例２に係るパターンサーチおよび画像の位置合わせ処理の変形例を説明するための図である。図１９（ａ）〜図１９（ｆ）には、一例として、その表面形状が楕円のワークが移動中に連続的に撮像して得られた一連の画像を示す。また、図１９（ｇ）には、図１９（ａ）〜図１９（ｆ）に示す画像ＩＭＧ１〜ＩＭＧ６に基づいて光沢除去合成を行った結果得られた合成画像ＳＩＭＧの例を示す。
【０１６２】
本変形例においては、光沢除去合成の実行タイミングを認識すると、ＣＰＵ１１０は、図１９（ａ）に示すように、取得された画像ＩＭＧ１に対して、より多くの範囲がカバーされるようにモデル領域２５１を設定する。続いて、ＣＰＵ１１０は、このモデル領域２５１に含まれるモデル画像に基づいて、第２番目の画像ＩＭＧ２に対してパターンサーチを行う。
【０１６３】
上述したように、被写体ＯＢＪであるワークは移動しているので、第２番目の画像ＩＭＧ２に対して、モデル領域２５１で指定される第１番目のモデル画像に基づくパターンサーチを行った場合には、対応する領域の一部が画像ＩＭＧ２の範囲外となる。ここで、たとえば、モデル領域を複数の小領域に分割して、各小領域の合致度に基づいて、総合的な合致度を算出するとともに、算出された総合的な合致度を所定のアルゴリズムに従って評価することで、合致する領域を特定することができる。このような公知の技術としては、特開２００８−１５２５５５号公報などの開示内容を参照されたい。
【０１６４】
このように、第２番目の画像ＩＭＧ２のうち、第１番目のモデル画像と合致する領域が特定されると、上述と同様に、第１番目の画像ＩＭＧ１におけるモデル領域２５１と、第２番目の画像ＩＭＧ２における領域２６１との相対的な位置ずれ量がワークの移動量として算出される。
【０１６５】
同様にして、第２番目〜第６番目の画像ＩＭＧ２〜ＩＭＧ６に対して、それぞれモデル領域２５２〜２５６が設定されて、それぞれパターンサーチが行われる（図１９（ｂ）〜図１９（ｆ）参照）。その結果、第２番目〜第５番目の画像ＩＭＧ２〜ＩＭＧ５についての、各画像間のそれぞれの移動量が算出される。
【０１６６】
最終的に、各パターンサーチによって得られた画像間の移動量に基づいて、一連の画像についての位置合わせが行われる。そして、上述したような光沢除去合成が実行されることで、図１９（ｇ）に示すような合成画像ＳＩＭＧが生成される。
【０１６７】
［ｈ３．視野拡大可能な光沢除去合成（変形例１および２）の作用効果］
上述のような視野拡大可能な光沢除去合成を適用した場合の作用効果について説明する。
【０１６８】
図２０は、本実施の形態の変形例に係る光沢除去合成の作用効果を説明するための模式図である。図２０（ａ）には、上述の実施の形態に係るにより複数の画像を取得する場合の例を示し、図２０（ｂ）には、本実施の形態の変形例に係る方法により複数の画像を取得する場合の例を示す。
【０１６９】
図２０（ａ）に示すように、撮像部８に対するワーク２の相対的な位置を異ならせたとしても、撮像部８の視野内における特定の領域に光沢２０２が写り込む。そのため、撮像部により取得された視野に対応する画像のうち、実際に光沢除去処理に使用できる範囲は限られる。たとえば、図２０（ａ）に示すように、ワーク表面に印字された検出対象の文字「ＡＢＣ」の「Ｃ」の文字についてみると、ワーク全体が画像内に収まっている際の可動範囲のみが有効範囲となる。そのため、撮像部の視野全体を光沢除去に使用することができない。
【０１７０】
これに対して、本実施の形態の変形例に係る光沢除去合成によれば、図２０（ｂ）に示すように、撮像部８の視野全体を光沢除去に使用することができる。そのため、写り込んだ光沢２０２を除去できる確率を高めることができ、それによって、より高い光沢２０２の除去効果を得ることができる。
【０１７１】
＜Ｉ．照明光源設置＞
本実施の形態に係る視覚センサシステム１においては、ワーク２に照明光を照射するための照明光源９を含む。このとき、照明光源９の形状（照射パターン）によっては、光沢除去合成では除去しきれない光沢が映り込むことがあるので、撮像部８に対して、照明光源９を適切な位置関係で設置することが好ましい。以下、バー形状の照明光源を一例として、その設置方法について説明する。
【０１７２】
図２１は、照明光源９の長手方向とワーク２の移動方向とが一致している場合を示す模式図である。図２２は、照明光源９の長手方向とワーク２の移動方向とが直交している場合を示す模式図である。
【０１７３】
図２１に示すように、照明光源９の長手方向とワーク２の移動方向とが一致している場合には、ワーク２を順次撮像して得られる画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を位置合わせしたとしても、光沢２０２が映り込んでいる紙面横方向における範囲が重なっていることがわかる。そのため、これらの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に基づいて、光沢除去合成をしたとしても、その結果得られる合成画像ＳＩＭＧには、除去しきれない光沢２０４が残ってしまう。
【０１７４】
これに対して、図２２に示すように、照明光源９の長手方向とワーク２の移動方向とが実質的に直交している場合には、ワーク２を順次撮像して得られる画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に映り込む光沢２０２の紙面横方向の幅は相対的に狭いことがわかる。そのため、これらの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を位置合わせすることで、画像間で、光沢２０２が生じている位置を異ならせることができる。その結果、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に基づいて光沢除去合成をすることで、光沢２０２を除去した合成画像ＳＩＭＧを生成することができる。
【０１７５】
＜Ｊ．作用・効果＞
本実施の形態によれば、基本的には、撮像部８の撮像条件および照明光源９による照明条件を維持したまま、移動するワーク２に対して複数回撮像を行う。すなわち、撮像部８に対するワーク２の相対位置が時間的に移動するので、ワーク２において光沢の映り込みが生じる領域は、各画像の間で異なると考えられる。そのため、ある画像において正しく取得できない画像情報であっても、他の画像においては正しく取得できる可能性が高くなる。そして、このように取得された一連の画像を用いて合成画像を生成することで、映り込む光沢の影響を除去する。
【０１７６】
また、本実施の形態によれば、ベルトコンベア上に載置されて所定方向に移動するワーク２の搬送に影響を与えるようなこともなく、目的の合成画像を生成することができる。すなわち、移動する検査対象を静止させることなく、映り込む光沢を除去することができるとともに、ワークに対する計測処理をより高精度に行うことができる。
【０１７７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１７８】
１ 視覚センサシステム、２ 検査対象（ワーク）、４ 検出センサ、４ａ 受光部、４ｂ 投光部、６ 搬送機構、８ 撮像部、９ 照明光源、１００ 画像処理装置、１０２ ディスプレイ、１０４ マウス、１０６ メモリカード、１１０ ＣＰＵ、１１２ メインメモリ、１１４ ハードディスク、１１６ カメラインターフェイス、１１６ａ 画像バッファ、１１８ 入力インターフェイス、１２０ 表示コントローラ、１２２ ＰＬＣインターフェイス、１２４ 通信インターフェイス、１２６ データリーダ／ライタ、１２８ バス。
【技術分野】
【０００１】
本発明は、検査対象を撮像した際に生じ得る光沢を除去するための画像処理方法および画像処理システムに関する。
【背景技術】
【０００２】
従来から、ＦＡ（Factory Automation）分野などにおいては、各種の画像処理技術が利用されている。典型的には、検査対象を撮像して得られた画像データに基づいて、検査対象に印字されている文字を認識したり、検査対象の表面におけるキズの有無などを検査したりする画像処理技術が広く実用化されている。
【０００３】
ところで、実際の生産ラインなどにおいては、検査対象を撮像する際の照明環境、検査対象の形状、照明光源と撮像部との位置関係などによって、検査対象の表面に光沢が映り込む場合がある。この光沢は、検査対象の特定領域に入射する光の光量などによって、検査対象を示す画像情報が有意に取得できない領域を意味する。典型的には、検査対象の特定の領域について、入射する光の光量が相対的に大きくなって、いわゆるハレーションもしくはハレーションに近い状態となる場合である。このような場合には、この光沢によって、検査対象上にある文字やキズなどの情報を適切に取得できない。
【０００４】
そこで、たとえば、特開２００７−１７０８３８号公報（特許文献１）には、被外観検査物を照明する照明光源と、該照明光源に照明された被外観検査物を撮像する撮像手段とを備えた外観検査装置において、照明光源による照明条件を変えながら撮像手段により被外観検査物を撮像して得られた複数の画像を保持する画像保持手段と、該画像保持手段により保持された複数の画像を演算処理することにより照明光源の映り込みを除去した画像を生成する画像処理手段とが付設された構成が開示される。より具体的には、レンズの光軸周りに９０°単位で４個の領域に分割されている発光ダイオードを用いて、その発光ダイオードを構成する領域のうち、実際に点灯する領域の組合せを変更することで、照明条件が変更される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７０８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のような特開２００７−１７０８３８号公報（特許文献１）に開示される方法では、照射方向の異なる複数の照明光源を用意する必要があるため、相対的にコストが上昇するという課題があった。同時に、撮像時には検査対象を静止させる必要があるので、検査対象が連続的に搬送されるような生産ラインには、適用することが困難であるという課題もあった。そのため、特開２００７−１７０８３８号公報（特許文献１）に開示される方法を適用できる生産ラインは限られていた。
【０００７】
そこで、本発明は、これらの問題を解決するためになされたものであり、その目的は、連続的に移動する検査対象を静止させることなく、光沢を除去して、より精度の高い画像処理を行うことのできる画像処理方法および画像処理システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明のある局面に従う画像処理方法は、予め定められた位置に配置された撮像部を用いて、当該撮像部に対して一定の相対位置に配置された照明光源で当該撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を複数回撮像するステップと、撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で検査対象の少なくとも一部を示す領域を順次探索することで、検査対象を基準として、複数の画像を位置合わせするステップと、当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成するステップとを含む。
【０００９】
好ましくは、画像情報を算出するステップは、位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報として輝度を取得し、取得した輝度についての、最小値、最大値、平均値、中央値のいずれか１つを、単位領域を代表する画像情報として算出する。
【００１０】
あるいは好ましくは、合成画像を生成するステップは、単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に従って複数種類の合成画像を生成するステップと、当該生成された複数種類の合成画像を表示するステップと、当該複数の算出規則のうち合成画像の生成に使用すべき算出規則の選択を受付けるステップとをさらに含む。
【００１１】
あるいは好ましくは、合成画像を生成するステップは、単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に対応する複数種類の合成画像を生成するステップと、当該生成された複数種類の合成画像について識別度合いを示す指標を算出するステップと、算出した指標に従って、当該複数の算出規則に合成画像の生成に使用すべき算出規則を選択するステップとをさらに含む。
【００１２】
好ましくは、位置合わせするステップは、検査対象の撮像により取得された第１の画像から検査対象を示す第１の領域を抽出し、第１の画像の次に取得された第２の画像内で第１の領域と合致する領域を探索するステップと、第２の画像から、検査対象を示す、第１の領域の大きさとは独立した大きさの第２の領域を抽出し、第２の画像の次に取得された第３の画像内で第２の領域と合致する領域を探索するステップとを含む。
【００１３】
好ましくは、位置合わせするステップでは、撮像部により取得される画像のうち、検査対象の全部または一部を含む画像のすべてを対象にして、位置合わせを行う。
【００１４】
好ましくは、合成画像を生成するステップでは、撮像部の視野範囲より広い範囲の合成画像を生成する。
【００１５】
好ましくは、照明光源は、その長手方向が検査対象の移動方向に対して実質的に直交するように配置される。
【００１６】
好ましくは、合成画像を生成するステップは、第１の検査対象について撮像部による一連の撮像により取得された複数の画像を表示するステップと、表示された複数の画像のうち合成画像の生成に使用される画像の選択を受付けるステップと、第２の検査対象について撮像部による一連の撮像により取得された複数の画像のうち、第１の検査対象について選択された画像の撮像タイミングに対応する画像を用いて合成画像を生成するステップとを含む。
【００１７】
この発明の別の局面に従う画像処理装置は、予め定められた位置に配置された撮像部と、撮像部に対して一定の相対位置に配置された照明光源と、制御部とを含む。制御部は、撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を撮像部に複数回撮像させる手段と、撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で検査対象の少なくとも一部を示す領域を順次探索することで、検査対象を基準として、複数の画像を位置合わせする手段と、当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成する手段とを含む。
【発明の効果】
【００１８】
本発明によれば、連続的に移動する検査対象を静止させることなく、光沢を除去して、より精度の高い画像処理を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。
【図２】本発明の実施の形態に係る画像処理装置の概略構成図である。
【図３】ワークを撮像して得られる画像に映り込む光沢の一例を説明するための模式図である。
【図４】本実施の形態に係る光沢除去合成の処理概要を説明するための模式図である。
【図５】本発明の実施の形態に係る画像処理装置における通常運転モードでの処理手順を示すフローチャートである。
【図６】本実施の形態に係る光沢除去合成の合成設定を行うためのユーザインターフェイス画面の一例を示す図である。
【図７】本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択した場合の処理例を示す図である。
【図８】本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択することでより適切な合成画像が得られる場合の処理例を示す図である。
【図９】本発明の実施の形態に係る光沢除去合成において輝度の最大値を選択することでより適切な合成画像が得られる場合の処理例を示す図である。
【図１０】本発明の実施の形態に係る光沢除去合成において輝度の中間値／平均値を選択することでより適切な合成画像が得られる場合の処理例を示す図である。
【図１１】本実施の形態に係る光沢除去合成の合成設定を行うための別のユーザインターフェイス画面の一例を示す図である。
【図１２】本発明の実施の形態に係る撮像設定の影響を説明するための図である。
【図１３】撮像設定のタブが選択された場合に表示される設定画面の一例を示す図である。
【図１４】撮像設定のタブが選択された場合に表示される設定画面の別の一例を示す図である。
【図１５】撮像設定のタブが選択された場合に表示される設定画面のさらに別の一例を示す図である。
【図１６】本発明の実施の形態に係る画像処理装置における設定モードでの処理手順を示すフローチャートである。
【図１７】本実施の形態に係る光沢除去合成を用いた処理例を示す図である。
【図１８】本実施の形態の変形例１に係るパターンサーチおよび画像の位置合わせ処理を説明するための図である。
【図１９】本実施の形態の変形例２に係るパターンサーチおよび画像の位置合わせ処理の変形例を説明するための図である。
【図２０】本実施の形態の変形例に係る光沢除去合成の作用効果を説明するための模式図である。
【図２１】照明光源の長手方向とワークの移動方向とが一致している場合を示す模式図である。
【図２２】照明光源の長手方向とワークの移動方向とが直交している場合を示す模式図である。
【発明を実施するための形態】
【００２０】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２１】
＜Ａ．全体装置構成＞
図１は、本発明の実施の形態に係る画像処理装置１００を含む視覚センサシステム１の全体構成を示す概略図である。
【００２２】
図１を参照して、視覚センサシステム１は、本実施の形態に係る画像処理システムの一適用例であり、生産ラインなどに組込まれて検査対象２（以下「ワーク２」とも称す。）を撮像して得られる画像に基づいて、文字認識やキズ検査といった処理（以下、「計測処理」とも称す。）を実行する。
【００２３】
一例として、本実施の形態においては、ワーク２はベルトコンベヤなどの搬送機構６によって所定方向に搬送される。これに対して、撮像部８は、ワーク２に対して固定した位置に配置されている。さらに、撮像部８に対して、一定の相対位置に照明光源９が配置される。この照明光源９は、少なくとも、撮像部８の視野（ワーク２が位置し得る範囲）を照明する。そして、撮像部８が移動するワーク２を複数回撮像する。撮像部８によって得られた複数の画像データは、画像処理装置１００へ伝送される。この照明光源９は、周囲の照明環境からの外乱を受けないように、光量、設置数、配置位置などが最適化されることが好ましい。
【００２４】
なお、本明細書において「撮像」とは、基本的には、撮像部８が視野内の被写体からの光を受光し、それを示す画像を出力する処理を意味する。但し、撮像部８が視野内の被写体を示す画像を所定周期で繰返し生成している場合には、撮像部８が生成する画像のうち、特定の画像を記憶部に格納する処理を意味する。すなわち、ある観点から見れば、「撮像」とは、ある意図されたタイミングにおいて、撮像部８が視野内の被写体の内容を示す画像を取得して計測処理可能な状態にすることを意味する。
【００２５】
ワーク２が撮像部８の視野内に到達したことは、搬送機構６の両端に配置された検出センサ４によって検出される。具体的には、検出センサ４は、同一の光軸上に配置された受光部４ａと投光部４ｂとを含み、投光部４ｂから放射される光がワーク２で遮蔽されることを受光部４ａで検出することによって、ワーク２の到達を検出する。この検出センサ４の検出信号（以下「トリガ信号」とも称す。）は、ＰＬＣ（Programmable Logic Controller）５へ出力される。
【００２６】
ＰＬＣ５は、検出センサ４などからのトリガ信号を受信するとともに、搬送機構６の制御自体を司る。
【００２７】
視覚センサシステム１は、さらに、画像処理装置１００と、ディスプレイ１０２と、マウス１０４とを含む。画像処理装置１００は、ＰＬＣ５と、撮像部８と、ディスプレイ１０２と、マウス１０４とに接続される。後述するように、画像処理装置１００は、（１）ワーク２を試験的に移動／撮像するなどして必要な設定値を入力／決定するための設定モードと、（２）一連の画像処理を実行するための通常運転モードとを有する。
【００２８】
撮像部８は、一例として、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数の画素に区画された撮像素子を含んで構成される。
【００２９】
画像処理装置１００は、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラムを実行することで、後述するような各種機能を提供する。このような汎用的なコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行される。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
【００３０】
さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
【００３１】
図２は、本発明の実施の形態に係る画像処理装置１００の概略構成図である。図２を参照して、画像処理装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
【００３２】
ＣＰＵ１１０は、ハードディスク１１４に格納されたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、撮像部８によって取得された画像データや、画像データの処理結果を示すデータ、およびワークデータなどを保持する。また、ハードディスク１１４は、不揮発性の磁気記憶装置であり、ＣＰＵ１１０で実行されるプログラムに加えて、後述するパターンサーチにおいて基準となる画像データ（以下「モデル画像」とも称す。）を記憶する。さらに、ハードディスク１１４には、各種設定値などが格納されてもよい。このハードディスク１１４にインストールされるプログラムは、後述するように、メモリカード１０６などに格納された状態で流通する。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
【００３３】
カメラインターフェイス１１６は、ＣＰＵ１１０と撮像部８との間のデータ伝送を仲介する。すなわち、カメラインターフェイス１１６は、ワーク２を撮像して画像データを生成する撮像部８を接続する。より具体的には、カメラインターフェイス１１６は、１つ以上の撮像部８と接続が可能であり、撮像部８からの複数の画像データを一時的に蓄積するための画像バッファ１１６ａを含む。そして、カメラインターフェイス１１６は、画像バッファ１１６ａに少なくとも１コマ分の画像データが蓄積されると、その蓄積されたデータをメインメモリ１１２へ転送する。また、カメラインターフェイス１１６は、ＣＰＵ１１０が発生した内部コマンドに従って、撮像部８に対して撮像指令を与える。
【００３４】
入力インターフェイス１１８は、ＣＰＵ１１０とマウス１０４、キーボード、タッチパネルなどの入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス１１８は、ユーザが入力部を操作することで与えられる操作指令を受付ける。
【００３５】
表示コントローラ１２０は、表示装置の典型例であるディスプレイ１０２と接続され、ＣＰＵ１１０における画像処理の結果などをユーザに通知する。すなわち、表示コントローラ１２０は、ディスプレイ１０２に接続され、当該ディスプレイ１０２での表示を制御する。
【００３６】
ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ５との間のデータ伝送を仲介する。より具体的には、ＰＬＣインターフェイス１２２は、ＰＬＣ５によって制御される生産ラインの状態に係る情報やワークに係る情報などをＣＰＵ１１０へ伝送する。
【００３７】
通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとの間のデータ伝送を仲介する。通信インターフェイス１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。なお、後述するように、メモリカード１０６に格納されたプログラムを画像処理装置１００にインストールする形態に代えて、通信インターフェイス１２４を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置１００にインストールしてもよい。
【００３８】
データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読み出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、撮像部８によって取得された画像データおよび／または画像処理装置１００における処理結果などをメモリカード１０６へ書き込む。なお、メモリカード１０６は、ＣＦ（Compact Flash）、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。
【００３９】
また、画像処理装置１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
【００４０】
＜Ｂ．光沢除去合成＞
まず、図３および図４を参照して、本実施の形態に係る光沢除去合成について説明する。図３は、ワーク２を撮像して得られる画像に映り込む光沢の一例を説明するための模式図である。図４は、本実施の形態に係る光沢除去合成の処理概要を説明するための模式図である。
【００４１】
図３には、撮像部８を用いてワーク２を上方から撮像した場合（図１参照）に得られる画像の一例を示す。図３（ａ）には、光沢の映り込みがなく適正に撮像ができている場合の画像の一例を示し、図３（ｂ）および図３（ｃ）には、画像内に光沢２０２が映り込んでいる一例を示す。
【００４２】
図３（ａ）に示すような画像ＩＭＧＡが取得できた場合には、検出対象の文字（この場合には、文字「ＡＢＣ」）を正しく認識および検知することができる。
【００４３】
これに対して、図３（ｂ）に示すような画像ＩＭＧＢには、文字「Ａ」の付近に光沢２０２（白い帯状の領域）が映り込んでおり、これにより、ワーク２上に文字「Ａ」が印字されていないと誤って判断される可能性がある。
【００４４】
また、図３（ｃ）に示すような画像ＩＭＧＣは、その表面に目的の文字とは異なる文字「ＡＢＧ」が印字されたワーク２を撮像して得られたものであるが、文字「Ｇ」の付近に光沢２０２（白い帯状の領域）が映り込んでおり、これにより、目的の文字「ＡＢＣ」がワーク２上に適正に印字されていると誤って判断される可能性がある。
【００４５】
すなわち、図３（ｂ）および図３（ｃ）に示すように、光沢が映り込むことで、本来は正常であるワークを異常であると誤って判断したり、本来は異常であるワークを正常であると誤って判断したりする場合がある。本実施の形態に係る画像処理方法（以下、「光沢除去合成」とも称す。）では、このような問題を抑制することを目的とする。
【００４６】
なお、本明細書において「光沢」とは、ワークの特定領域に入射する光の光量やワークの表面形状などに起因して、ワーク表面にある撮像すべき情報が正しく取得できない領域を意味する。典型的には、ワークから反射して撮像部８に入射する光が相対的に強すぎて、いわゆるハレーションもしくはハレーションに近い状態となることで生じ得るが、ワークから反射する光が微弱すぎてワーク表面の画像情報を読取れないような場合においても生じ得る。
【００４７】
本実施の形態に係る光沢除去合成においては、基本的には、図１に示すように、撮像部８の撮像条件および照明光源９による照明条件を維持したまま、撮像部８に対するワーク２の相対的な位置を異ならせることで複数の画像を取得する。そして、取得された複数の画像を合成することで、映り込む光沢を除去する。すなわち、ワーク２が撮像部８に対して時間的に移動するので、ワーク２において光沢の映り込みが生じる位置は、各撮像の間で異なると考えられる。そのため、ある画像において正しく取得できない画像情報であっても、他の画像においては正しく取得できる可能性が高くなる。
【００４８】
一例として、図４に示すように、撮像部８に対してワーク２の相対的な位置を異ならせつつ、撮像部８によりワーク２を３回撮像することで、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３が得られたとする。この画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３の各々についてみると、各画像内において光沢２０２が映り込んでいる位置は略同一であるが、ワーク２が移動しているため、光沢２０２が映り込んでいるワーク２を基準とした位置は異なったものとなっている。
【００４９】
したがって、これらの３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を合成することで、光沢２０２が映り込むことで欠落した画像情報を復元することができる。
【００５０】
このような画像合成を行うために、画像処理装置１００は、撮像部８による一連の撮像により取得される複数の画像について、撮像順において連続する２つの画像間でワーク２の少なくとも一部を示す領域を順次探索（トラッキング）する。そして、画像処理装置１００は、ワーク２を基準として、複数の画像を位置合わせする。画像処理装置１００は、この位置合わせされた複数の画像を用いて光沢除去合成を行うことで、合成画像ＳＩＭＧを生成する。
【００５１】
より具体的には、図４に示すように、第１番目の撮像により得られた画像ＩＭＧ１から、ワーク２を示すモデル画像２１１を抽出するとともに、当該モデル画像２１１に基づいてパターンサーチを行うことで、第２番目の撮像により得られた画像ＩＭＧ２のうち、モデル画像２１１と合致する領域を探索する。これにより、ワーク２のある領域（モデル画像として抽出される部分）が第１番目の撮像から第２番目の撮像までの間に、どこに移動したのかを特定することができる。
【００５２】
同様に、第２番目の撮像により得られた画像ＩＭＧ２からワーク２を示すモデル画像２１２を抽出するとともに、当該モデル画像２１２に基づいてパターンサーチを行うことで、第３番目の撮像により得られた画像ＩＭＧ３のうち、モデル画像２１２と合致する領域を探索する。これにより、ワーク２を示す領域（モデル画像２１２）が第２番目の撮像から第３番目の撮像までの間に、どこに移動したのかを特定することができる。
【００５３】
より多くの画像が撮像された場合には、以上のような処理が繰返し実行される。なお、後述するように、撮像順に連続する２つの画像の間において、モデル画像として抽出する領域の大きさは、互いに独立に決定してもよい。すなわち、各画像において最適なサイズのモデル画像を抽出するようにしてもよい。
【００５４】
以上のように、パターンサーチにより、ワーク２の移動量を算出するとともに、このワーク２の移動量に基づいて、３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３の間を位置合わせする。より具体的には、ワーク２を基準として、３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を位置合わせする。すなわち、各画像に表われるワーク２が画像間で実質的に同じ位置となるように位置合わせされる。
【００５５】
なお、撮像部８による一連の撮像により取得される複数の画像のうち、必ずしも連続する２つの画像を用いなくともよく、たとえば、所定周期で繰返し撮像されることで得られる一連の画像群のうち、撮像順において所定間隔だけ離れたもの（たとえば、奇数番目のものだけ）を用いて、トラッキングを行ってもよい。
【００５６】
続いて、画像処理装置１００は、合成画像ＳＩＭＧを構成する単位領域（典型的には、１画素）毎に、当該単位領域に対応する、上記のように位置合わせされた３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出する。より具体的には、画像処理装置１００は、３つの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３が（仮想的に）位置合わせされた状態で、各画像において対応する画素が有する輝度（この例では、全部で３つの輝度の情報が得られる）を取得し、取得した輝度について、所定の算出規則（アルゴリズム）に従って当該画素を代表する輝度を算出する。この算出処理を、画像に含まれる画素の数だけ繰返すことで、合成画像ＳＩＭＧを生成する。後述するように、典型的なアルゴリズムとしては、最小値、最大値、平均値、中央値のいずれかである。
【００５７】
なお、必ずしも１画素単位で代表値を算出する必要はなく、複数画素（たとえば、隣接する４画素）を１つの単位領域として取扱ってもよい。また、合成画像ＳＩＭＧのある単位領域と完全に対応する各画像の領域に含まれる画素の輝度だけでなく、それぞれの領域に隣接する範囲に含まれる画素の輝度を用いて、合成画像の各単位領域における輝度を算出してもよい。
【００５８】
＜Ｃ．処理手順（通常運転モード）＞
以下、図５を参照して、本実施の形態に係る画像処理装置１００における通常運転モードでの処理手順について説明する。
【００５９】
図５は、本発明の実施の形態に係る画像処理装置１００における通常運転モードでの処理手順を示すフローチャートである。なお、図５に示す各ステップは、典型的には、画像処理装置１００のＣＰＵ１１０がプログラムを実行することで提供される。
【００６０】
図５を参照して、通常運転モードが選択されると、ＣＰＵ１１０は、後述する設定モードなどにおいてユーザが設定した設定値を読出す（ステップＳ１００）。続くステップＳ１０２において、ＣＰＵ１１０は、光沢除去合成の実行タイミングとなったか否かを判断する。典型的には、ＣＰＵ１１０は、図１に示す検出センサ４からの信号に基づいて、ワーク２が撮像部８の視野内に到達したか否かを判断する。あるいは、ＣＰＵ１１０は、撮像部８により取得される画像の背景が変化したか否かに基づいて、ワーク２が撮像部８の視野内に到達したことを検出する。
【００６１】
光沢除去合成の実行タイミングとなったと判断された場合（ステップＳ１０２においてＹＥＳの場合）には、処理はステップＳ１０４へ進む。そうでなければ（ステップＳ１０２においてＮＯの場合）には、ステップＳ１０２の処理が繰返される。
【００６２】
ステップＳ１０４において、ＣＰＵ１１０は、カメラインターフェイス１１６に内部指令を与えることで、撮像部８により撮像されるワーク２の画像を取得する。続くステップＳ１０６において、ＣＰＵ１１０は、撮像部８の第１番目の撮像により取得された第１番目の画像に対してモデル領域を設定する。さらに続くステップＳ１０８において、ＣＰＵ１１０は、第１番目の画像のうち設定したモデル領域に含まれる部分をモデル画像として抽出する。なお、このモデル領域は、予め設定されている固定値としてもよいし、取得された画像の内容に応じて動的に設定してもよい。
【００６３】
その後、ステップＳ１１０において、ＣＰＵ１１０は、カメラインターフェイス１１６に内部指令を与えることで、撮像部８により撮像されるワーク２の画像を取得する。続くステップＳ１１２において、ＣＰＵ１１０は、撮像部８の第ｉ番目（ｉ≧２）の撮像により取得された第ｉ番目の画像に対して、第（ｉ−１）番目の画像から抽出されたモデル画像に基づいてパターンサーチを行う。ステップＳ１１４において、ＣＰＵ１１０は、パターンサーチの結果に基づいて、第（ｉ−１）番目の画像を基準とした第ｉ番目の画像の移動量を算出する。
【００６４】
ステップＳ１１６において、ＣＰＵ１１０は、撮像部８の第ｉ番目の撮像により取得された第ｉ番目の画像に対してモデル領域を設定する。続くステップＳ１１８において、ＣＰＵ１１０は、第ｉ番目の画像のうち設定したモデル領域に含まれる部分をモデル画像として抽出する。
【００６５】
ステップＳ１２０において、ＣＰＵ１１０は、設定値として指定された撮像枚数の撮像が完了したか否かを判断する。指定された撮像枚数の撮像が完了していない場合（ステップＳ１２０においてＮＯの場合）には、ＣＰＵ１１０は、ステップＳ１１０以下の処理を繰返す。一方、指定された撮像枚数の撮像が完了した場合（ステップＳ１２０においてＹＥＳの場合）には、処理はステップＳ１２２へ進む。すなわち、処理がステップＳ１２２に進む時点においては、指定された枚数の画像が撮像により取得されていることになる。
【００６６】
ステップＳ１２２において、ＣＰＵ１１０は、ステップＳ１１４において算出した移動量に基づいて、撮像部８の撮像により得られた一連の画像間の位置合わせを行う。続くステップＳ１２４において、ＣＰＵ１１０は、位置合わせされた一連の画像に対して、光沢除去合成を実行する。さらに続くステップＳ１２６において、ＣＰＵ１１０は、光沢除去合成により得られた画像や各種の情報を示す合成結果などを出力する。
【００６７】
ステップＳ１２８において、ＣＰＵ１１０は、通常運転モードの終了が指示されたか否かを判断する。通常運転モードの終了が指示されていない場合（ステップＳ１２８においてＮＯの場合）には、ステップＳ１０２以下の処理が繰返される。一方、通常運転モードの終了が指示された場合（ステップＳ１２８においてＹＥＳの場合）には、処理は終了する。
【００６８】
＜Ｄ１．合成設定（その１）＞
次に、図５に示すステップＳ１２４の光沢除去合成の詳細について説明する。
【００６９】
図６は、本実施の形態に係る光沢除去合成の合成設定を行うためのユーザインターフェイス画面の一例を示す図である。
【００７０】
本実施の形態に係る画像処理装置１００の設定モードにおいては、本明細書において説明する光沢除去合成に関する設定に加えて、他の処理に係る設定をすることができる。一例として、図６に示すように、「カメラ設定」、「ＨＤＲ設定」、「動き追従設定」、「合成設定」、「ホワイトバランス」、「キャリブレーション」の計６個のタブ４１１〜４１６に区切られて、各タブに関する設定値が入力可能となっている。
【００７１】
以下の説明では、カメラ設定のタブ４１１、ホワイトバランスのタブ４１５、および、キャリブレーションのタブ４１６において、それぞれ撮像部８についての設定値がすでに入力されているものとする。また、ＨＤＲ設定のタブ４１２および動き追従設定のタブ４１３において設定される項目については、光沢除去合成と直接的には関係しないので、ここでは詳細な説明は行わない。
【００７２】
図６は、合成設定のタブ４１４が選択された場合に表示される設定画面４０２の一例を示す。この設定画面４０２は、一連の画像間の位置合わせ（図５に示すステップＳ１２２）を行った後、光沢除去合成（図５に示すステップＳ１２４）において使用される合成画像を生成するためのアルゴリズムの設定を受付ける。
【００７３】
すなわち、合成画像は、位置合わせされた複数の画像から、各座標に対応付けられる画素が有するそれぞれの輝度を取得し、当該座標を代表する値を取得した輝度に基づいて算出することで生成される。このとき、複数の輝度のうちいずれを用いるか、あるいは、どのようなアルゴリズムを用いるか、を設定するためのユーザインターフェイスが設定画面４０２である。
【００７４】
設定画面４０２は、合成設定の項目として、合成設定４３０およびモード設定４４０を含む。合成設定４３０は、最小値、最大値、平均値、および、中央値を選択するためのラジオボタン４３１〜４３４を含む。ユーザは、ラジオボタン４３１〜４３４のうちいずれか１つを任意に選択することができる。各ラジオボタンが選択された場合の処理については後述する。
【００７５】
また、モード設定４４０は、輝度に基づいて合成画像を生成する通常モードを選択するためのラジオボタン４４１と、色相に基づいて合成画像を生成する色相強調モードを選択するためのラジオボタン４４２とを含む。ユーザは、ラジオボタン４４１または４４２のうち一方を選択することができる。
【００７６】
設定画面４０２は、さらに、画像表示エリア４２１と、全体表示エリア４２２と、表示制御アイコン群４２３とを含む。画像表示エリア４２１には、ラジオボタン４３１〜４３４および／またはラジオボタン４４０，４４１の選択に応じて選択されるアルゴリズムに従って生成された合成画像が表示される。また、表示制御アイコン群４２３に対するユーザ操作に応じて、画像表示エリア４２１に表示される合成画像のサイズが変更可能となっている。全体表示エリア４２２には、画像表示エリア４２１での表示サイズとは独立して、合成画像が常に全体表示される。
【００７７】
図７は、本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択した場合の処理例を示す図である。
【００７８】
合成画像を生成するためのアルゴリズムとしては、一般的には、位置合わせされた一連の画像について、各座標に対応付けられる画素が有するそれぞれの輝度の最小値を選択する方法が考えられる。すなわち、画像に映り込む光沢（白光りするもの）は、相対的に大きな輝度を有するので、このような相対的に大きな輝度を排除することで、光沢除去合成がうまくいくことも多い。
【００７９】
すなわち、図６に示す設定画面４０２において、ラジオボタン４３１が選択されることで、対応する画素の間で最小値を選択するためのアルゴリズムが有効化される。この場合の処理例を図７に示す。すなわち、図７に示す例では、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に映り込んでいたそれぞれの光沢２０２が、光沢除去合成によって生成された合成画像ＳＩＭＧでは、除去されていることがわかる。
【００８０】
その一方で、生成された合成画像ＳＩＭＧにおいては、輝度の最小値を各座標の代表値として決定することで、合成画像ＳＩＭＧに小さな輝度を有する領域が生じる場合がある。たとえば、図７に示す例では、合成画像ＳＩＭＧ内の両端側が暗くなっているのがわかる。
【００８１】
このような場合には、各座標に対応付けられる画素が有するそれぞれの輝度の中間値または平均値を代表値とするアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧを生成することができる場合もある。但し、この場合は、光沢が有する輝度の影響を受けて、部分的に輝度が高すぎる画素が生じる可能性もある。
【００８２】
そこで、本実施の形態に係る画像処理装置１００は、複数のアルゴリズムを用意しておき、撮影状況（照明条件や露光時間など）や撮像対象のワークの反射率などに応じて、適切なアルゴリズムをユーザが選択できるようにしている。
【００８３】
図８は、本発明の実施の形態に係る光沢除去合成において輝度の最小値を選択することでより適切な合成画像ＳＩＭＧが得られる場合の処理例を示す図である。
【００８４】
図８に示すように、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２が白色である場合（相対的に輝度（あるいは、ＲＧＢ値の合計）が大きい場合）、かつ、ワーク２が撮像部８に対して移動したときでも被写体の輝度（映り方）が変化しないような場合には、最小値のアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧ−１を生成することができる。
【００８５】
一方、このような場合に平均値のアルゴリズムを採用すると、光沢２０２の影響を受けて、全体的に白っぽい合成画像ＳＩＭＧ−２が生成されてしまう。
【００８６】
図９は、本発明の実施の形態に係る光沢除去合成において輝度の最大値を選択することでより適切な合成画像ＳＩＭＧが得られる場合の処理例を示す図である。
【００８７】
図９に示すように、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２が黒色である場合（相対的に輝度（あるいは、ＲＧＢ値の合計）が小さい場合）、かつ、ワーク２が撮像部８に対して移動したときでも被写体の輝度（映り方）が変化しないような場合には、最大値のアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧを生成することができる。典型的には、前処理として、撮像部８によって撮像された画像に対してネガ／ポジ（白黒）反転処理がなされるような場合があり、このような場合には、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２が黒色となる。
【００８８】
図１０は、本発明の実施の形態に係る光沢除去合成において輝度の中間値／平均値を選択することでより適切な合成画像ＳＩＭＧが得られる場合の処理例を示す図である。
【００８９】
図１０に示すように、ワーク２が撮像部８に対して移動することで、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３内に映り込む光沢２０２以外の部分の輝度が変化してしまうような場合には、平均値または中央値のアルゴリズムを採用することで、より適切な合成画像ＳＩＭＧ−３を生成することができる。
【００９０】
一方、このような場合に最小値のアルゴリズムを採用すると、ワーク２の移動に伴って生じる輝度の変化の影響を受けて、全体的に黒っぽい合成画像ＳＩＭＧ−４が生成されてしまう。
【００９１】
なお、上述のアルゴリズム以外にも、たとえば、各座標に対応付けられる画素が有するそれぞれの輝度のうち、所定のしきい値を超えたものだけを有効とした上で、有効な輝度の間での平均値を代表値とするアルゴリズムを採用することもできる。
【００９２】
＜Ｄ２−１．合成設定（その２）：手動設定＞
上述のように、ユーザが光沢除去合成において使用するアルゴリズムを任意に選択できるようにしてもよいが、よりユーザフレンドリーの観点からは、各アルゴリズムに従って生成された合成画像を比較することで、最適なアルゴリズムを決定できることが好ましい。
【００９３】
より具体的には、まず試験的に、目的のワーク２を移動させながら撮像部８により複数回撮像する（以下、「テストラン」と記載する場合もある。）。このとき、撮像部８により撮像される画像に対して、実際の検査処理（文字認識やキズ検査など）の対象とする指定範囲を設定しておくことが好ましい。
【００９４】
そして、テストランにより取得された一連の画像に基づいて、上述の光沢除去合成を、複数のアルゴリズムのそれぞれに従って実行する。
【００９５】
図１１は、本実施の形態に係る光沢除去合成の合成設定を行うための別のユーザインターフェイス画面の一例を示す図である。図１１に示す設定画面４０２においては、画像表示エリア４２５および全体表示エリア４２２に、テストランによって取得された一連の画像を各アルゴリズムに従って光沢除去合成をした結果得られた複数の合成画像が一覧表示される。図１１に示す例では、最小値、平均値、中央値、および、最大値のそれぞれのアルゴリズムに従って得られた合成画像が表示されている。また、各合成画像上には、指定範囲４２８の位置を示す枠がオーバレイ表示されている。
【００９６】
設定画面４０２は、画像表示エリア４２５および全体表示エリア４２２での複数の合成画像の表示とともに、いずれのアルゴリズムを通常モードにおいて使用するかの設定を受付けるための合成設定４３０Ａを含む。この合成設定４３０Ａは、最小値、最大値、平均値、および、中央値を選択するためのラジオボタン４３５〜４３８を含む。ユーザは、４つの合成画像を比較しながら、ラジオボタン４３５〜４３８のうちいずれか１つを任意に選択することができる。
【００９７】
すなわち、画像処理装置１００は、合成画像の単位領域を代表する画像情報を算出するためのアルゴリズム（算出規則）を複数に異ならせて、それぞれのアルゴリズムに従って複数種類の合成画像を生成し、当該生成された複数種類の合成画像を表示し、当該複数のアルゴリズムのうち合成画像の生成に使用すべきアルゴリズムの選択を受付ける。
【００９８】
＜Ｄ２−２．合成設定（その２）：自動設定＞
上述した合成設定（その２）を自動化してもよい。すなわち、生成された複数種類の合成画像について識別度合いを示す指標を算出し、この算出した指標に従って、いずれのアルゴリズムが最適であるかが判断される。
【００９９】
典型的には、ワークの下地の色に対して、その表面に印字された文字の色がより正確に識別されるように、アルゴリズムが決定される。具体的には、各アルゴリズムに従って生成された合成画像に設定された指定範囲４２８に含まれる画素について、（ａ）各画素が有する輝度の分散値が最大となる合成画像に対応するアルゴリズム、（ｂ）最大の輝度と最小の輝度の差が最も大きくなる合成画像に対応するアルゴリズム、（ｃ）最大の輝度と最小の輝度の比が最も大きくなる合成画像に対応するアルゴリズム、といった具合に最適なアルゴリズムが決定される。
【０１００】
なお、ワークの下地の色に対してその表面に印字された文字の色がより正確に識別されるとは、ユーザの見た目において識別可能であること、および、文字認識やキズ検査処理といった画像処理において識別可能であることのいずれの場合もあり得る。
【０１０１】
すなわち、画像処理装置１００は、単位領域を代表する画像情報を算出するためのアルゴリズム（算出規則）を複数に異ならせて、それぞれのアルゴリズムに対応する複数種類の合成画像を生成し、当該生成された複数種類の合成画像について識別度合いを示す指標を算出し、算出した指標に従って、当該複数のアルゴリズムのうち合成画像の生成に使用すべきアルゴリズムを選択する。
【０１０２】
＜Ｅ．撮像設定＞
次に、撮像部８の撮像枚数、撮像周期、および、使用枚数を含む撮像設定について説明する。
【０１０３】
本実施の形態に係る画像処理装置１００においては、１回の光沢除去合成において撮像部８によりワーク２を撮像する回数（撮像枚数および撮像周期）、および、撮像により得られた複数の画像のうち実際に合成画像の生成に使用される枚数（使用枚数）を設定することができる。
【０１０４】
まず、撮像枚数および撮像周期についてみれば、撮像枚数が多いほど光沢を除去できる可能性が高くなり好ましいが、１回の光沢除去合成に要する時間が長くなる。また、撮像周期についてみれば、撮像周期が短すぎると、連続する画像間において近似した位置に光沢が写り込むことで、光沢を十分に除去できない場合がある。一方で、撮像周期が長すぎると、１回の光沢除去合成に要する時間が長くなるとともに、ワーク２が撮像部８の視野内に存在する期間が限られているので、実際に撮像できる枚数も制限される。
【０１０５】
また、撮像枚数が同じでも、光沢除去合成に使用する画像の選択を適切に行うことで、より確実に光沢を除去できる場合もある。
【０１０６】
図１２は、本発明の実施の形態に係る撮像設定の影響を説明するための図である。図１２を参照して、まず、所定の撮像周期でワーク２を繰返し撮像することで、４つの画像ＩＭＧ１〜ＩＭＧ４が取得されたとする。これらの画像ＩＭＧ１〜ＩＭＧ４の各々においては、光沢２０２が写り込んでいるものとする。
【０１０７】
たとえば、上述の光沢除去合成に従って、画像ＩＭＧ１と画像ＩＭＧ２とを用いて合成画像ＳＩＭＧ１を生成したとする。このとき、画像ＩＭＧ１において光沢２０２が映り込んでいる位置および画像ＩＭＧ２において光沢２０２が映り込んでいる位置は、互いに近接しているので、再現すべきワーク２についての画像情報のうち、いずれの画像においても光沢２０２が移り込んでいた領域が存在する。その結果、合成画像ＳＩＭＧ１においても除去しきれない光沢２０４が現れてしまう。
【０１０８】
別の例として、上述の光沢除去合成に従って、画像ＩＭＧ１と画像ＩＭＧ４とを用いて合成画像ＳＩＭＧ３を生成したとする。このとき、光沢２０２が発生する位置の周期性から、画像ＩＭＧ１において光沢２０２が写り込んでいる位置と、画像ＩＭＧ４において光沢２０２が写り込んでいる位置とは、互いに近接することになる。その結果、合成画像ＳＩＭＧ１の場合と同様に、再現すべきワーク２についての画像情報のうち、いずれの画像においても光沢２０２が移り込んでいた領域が存在する。その結果、合成画像ＳＩＭＧ３においても除去しきれない光沢２０４が現れてしまう。
【０１０９】
これらに対して、画像ＩＭＧ１と画像ＩＭＧ３を用いて合成画像ＳＩＭＧ２を生成したとする。このとき、画像ＩＭＧ１において光沢２０２が映り込んでいる位置と画像ＩＭＧ３において光沢２０２が映り込んでいる位置とは離れているので、再現すべきワーク２についての画像情報は、少なくとも画像ＩＭＧ１および画像ＩＭＧ３のいずれか一方に含まれることになる。その結果、光沢２０２が除去された合成画像ＳＩＭＧ２が生成される。
【０１１０】
そこで、本実施の形態に従う画像処理装置１００は、ユーザがこれらの撮像設定を容易に行うことができるユーザインターフェイスを提供する。
【０１１１】
［ｅ１．設定画面（その１）］
図１３は、撮像設定のタブ４１２が選択された場合に表示される設定画面４０６の一例を示す。この設定画面４０６は、撮像部８によるワークの撮像に関する設定を受付ける。より具体的には、設定画面４０６は、撮像設定の項目として、選択設定４５０、撮像枚数設定４６０、合成設定４９０、および、ぶれ強度設定４８０を含む。
【０１１２】
選択設定４５０は、画像処理装置１００に複数の撮像部８が接続されている場合などのように、画像の入力ソースが複数存在する場合に、どの入力ソースを有効化するかという選択を受付ける。すなわち、選択設定４５０は、カメラ選択ダイアログ４５１を含み、ユーザは、表示されるプルダウンメニュー（選択可能な撮像部８がリスト表示される）から、目的の撮像部８を選択する。
【０１１３】
撮像枚数設定４６０は、１つのワーク２に対する撮像枚数を受付ける。より具体的には、撮像枚数設定４６０は、スライドバー４６１と、変更ボタン４６２および４６４とを含む。ユーザは、スライドバー４６１または変更ボタン４６２を操作することで、処理をより高速化して撮像できるように、撮像枚数および／または撮像周期を変更することができる（すなわち、より少ない撮像枚数、および／または、より長い撮像周期）。あるいは、ユーザは、スライドバー４６１または変更ボタン４６４を操作することで、生成される合成画像がより高精度となるように、撮像枚数および／または撮像周期を変更することができる（すなわち、より多い撮像枚数、および／または、より短い撮像周期）。
【０１１４】
なお、撮像枚数設定４６０には、１つのワーク２に対して撮像される回数（撮像枚数、図１３に示す例では「１０枚」）、および、１回の光沢除去合成に要すると予想される処理時間（予想処理時間、図１３に示す例では「３００ｍｓ」）が表示される。
【０１１５】
合成設定４９０は、１つのワーク２に対して複数回の撮像を行うことで得られる複数の画像のうち、光沢除去合成に使用される画像の選択を受付ける。具体的には、合成設定４９０は、合成開始番号ダイアログ４９２および合成間隔ダイアログ４９４を含む。合成開始番号ダイアログ４９２は、１つのワーク２に対する連続的な撮像によって得られる画像に通し番号を付した場合に、いずれの画像を光沢除去合成に用いる最初の画像とするかについての設定（番号）を受付ける。また、合成間隔ダイアログ４９４は、一連の画像のうち、光沢除去合成に用いる画像の間隔についての設定を受付ける。図１３に示す例では、合成開始番号が「２」であり、合成間隔が「２」であるので、「２番目」、「４番目」、「６番目」、「８番目」、「１０番目」の計５枚の画像が光沢除去合成に用いられる。
【０１１６】
ぶれ強度設定４８０は、画像間のパターンサーチによる誤差（ぶれ）を吸収するための設定を受付ける。ぶれ強度設定４８０は、誤差を吸収するためのパラメータが入力されるぶれ強度値ダイアログ４８１を含む。このぶれ強度値ダイアログ４８１に設定されるパラメータの一例としては、合成画像を生成する際に、各座標についての代表値を算出する範囲の拡大度合いを示す値が用いられる。たとえば、合成画像に含まれる各座標の輝度を算出する際に、各画像についての対応する座標におけるそれぞれの輝度、および、各座標から強度値ダイアログ４８１に設定されるパラメータ（画素数）以内の周囲に含まれる画素が有する輝度を抽出し、当該抽出した輝度に基づいて代表値を決定することができる。
【０１１７】
さらに、設定画面４０６は、画像表示エリア４２７を有し、この画像表示エリア４２７には、ぶれ強度設定４８０において設定されたぶれ強度に基づいて誤差補正を行った場合に得られた合成画像４２７Ｂと、当該誤差補正を行っていない合成画像４２７Ａとが対比して表示される。この表示により、ユーザは、ぶれ強度設定４８０における設定に応じた誤差補正の度合いを視認しながら、適切なぶれ強度の大きさを設定することができる。
【０１１８】
［ｅ２．設定画面（その２）］
図１３に示す設定画面４０６においては、スライドバー４６１を操作することで、「高速処理」側および「高精度処理」側に設定値を変更できるユーザインターフェイスの例を示したが、撮像枚数および撮像周期をそれぞれ独立に設定できるようにしてもよい。
【０１１９】
図１４は、撮像設定のタブ４１２が選択された場合に表示される設定画面の別の一例を示す。図１４を参照して、設定画面４０７は、図１３に示す設定画面４０６において、撮像枚数設定４６０に代えて撮像枚数設定４６０Ａを採用したものである。その他については、図１３と同様であるので、詳細な説明は繰返さない。
【０１２０】
撮像枚数設定４６０Ａは、１つのワーク２に対する撮像枚数および撮像周期の設定を受付ける。より具体的には、撮像枚数設定４６０Ａは、撮像枚数ダイアログ４６７と、撮像周期ダイアログ４６８とを含む。撮像枚数ダイアログ４６７は、撮像部８が１つのワーク２に対して撮像する回数である撮像枚数を受付ける。また、撮像周期ダイアログ４６８は、撮像部８が１つのワーク２に対してある撮像が完了してから次の撮像を開始するまでの時間間隔である撮像周期を受付ける。
【０１２１】
このようなユーザインターフェイスを利用することで、ユーザは、より高い自由度で、ワーク２を撮像するための撮像設定を行うことができる。
【０１２２】
［ｅ３．設定画面（その３）］
図１３に示す設定画面４０６においては、合成設定４９０において、「合成開始番号」および「合成間隔」を設定することで、光沢除去合成に使用する画像を選択できるユーザインターフェイスの例を示したが、ユーザが光沢除去合成に使用する実際の画像を見ながら選択してもよい。
【０１２３】
図１５は、撮像設定のタブ４１２が選択された場合に表示される設定画面のさらに別の一例を示す。図１５を参照して、設定画面４０８は、図１３に示す設定画面４０６において、合成設定４９０に代えて撮像タイミング設定４７０を採用したものである。また、設定画面４０８は、画像表示エリア４２９を有し、この画像表示エリア４２９には、ワークの撮像によって得られた画像の一覧４８９が表示される。また、画像表示エリア４２９には、ぶれ強度設定４８０において設定されたぶれ強度に基づいて誤差補正を行った場合に得られた合成画像４２９Ｂと、当該誤差補正を行っていない合成画像４２９Ａとが対比して表示される。その他については、図１３と同様であるので、詳細な説明は繰返さない。
【０１２４】
画像表示エリア４２９の一覧４８９には、撮像部８が最小の撮像周期でワークを撮像することで得られる一連の画像が時系列に表示されるとともに、各画像に対応付けて、チェックボックスが表示される。ユーザは、光沢除去合成に使用すべき画像を、対応するチェックボックスをチェックすることで選択する。
【０１２５】
なお、ワークの種類や照明環境などに依存して、使用すべき画像の選択パターンを変更する必要もあると考えられるので、撮像タイミング設定４７０において、光沢除去合成に使用される画像の選択パターンを複数設定できるようになっている。すなわち、撮像タイミング設定４７０は、複数の選択パターンを作成／編集するためのダイアログ４７１を含む。図１５に示す例では、ダイアログ４７１に、４つの選択パターン（Ｐａｔｔｅｒｎ ０〜Ｐａｔｔｅｒｎ ３）が登録されている。
【０１２６】
さらに、撮像タイミング設定４７０は、編集ボタン４７２を含み、ユーザが編集ボタン４７２を選択すると、ダイアログ４７１において指定されている選択パターンの内容を編集できる。編集後、確定ボタン４７３が選択されることで、変更後の選択パターンの内容が確定する。
【０１２７】
なお、基本的には、上述のパターンサーチは、探索精度を高めるために、使用される画像の選択とは独立して、１つのワークを撮像して得られる一連の画像のすべてを用いて行われる。そして、位置合わせされた画像のうち、選択された画像が有する画像情報に基づいて、合成画像が生成される。
【０１２８】
すなわち、画像処理装置１００は、テストラン（設定モード）においてワーク２に対する撮像部８による一連の撮像により取得された複数の画像を表示するとともに、表示された複数の画像のうち合成画像の生成に使用される画像の選択を受付ける（設定画面４０８）。そして、画像処理装置１００は、通常モードにおいて、それぞれ搬送されるワーク２について撮像部８による一連の撮像により取得された複数の画像のうち、先にテストランにおいて取得された選択に対応する撮像タイミングに従って、所定数の画像を用いて合成画像を生成する。
【０１２９】
［ｅ４．撮像設定の自動化］
上述の例では、基本的に、ユーザが手動で撮像設定を行う例を示したが、撮像設定を自動的に決定する処理、あるいは、推奨値を算出してユーザによる撮像設定を支援するようにしてもよい。
【０１３０】
具体的には、撮像枚数および／または撮像周期については、許容される１ワークあたりの処理時間に基づいて、当該処理時間を超えないように算出するようにしてもよい。あるいは、ワークの移動速度に基づいて、撮像枚数および／または撮像周期を算出するようにしてもよい。
【０１３１】
また、光沢除去合成に使用する画像については、テストランに取得された一連の画像の間での輝度の変化に基づいて選択するようにしてもよい。すなわち、各画像において、いずれの位置に輝度が高い領域（光沢が写り込んでいると考えられる部分）が生じているかを判断し、その輝度が高い領域が生じている位置が互いに離れている画像を選択する。但し、この場合も、許容される１ワークあたりの処理時間に基づいて、光沢除去合成に使用する画像の枚数を決定することが好ましい。
【０１３２】
＜Ｆ．処理手順（設定モード）＞
以下、図１６を参照して、上述の設定モードにおける処理手順について説明する。
【０１３３】
図１６は、本発明の実施の形態に係る画像処理装置１００における設定モードでの処理手順を示すフローチャートである。まず、ユーザは、本実施の形態に係る画像処理装置１００を用いて光沢除去合成を実行するために、各種設定を行うものとする。すなわち、ユーザは、設定モードを指定する。
【０１３４】
ＣＰＵ１１０は、設定モードが指定されたか否かを判断する（ステップＳ２００）。設定モードが指定された場合（ステップＳ２００においてＹＥＳの場合）には、処理はステップＳ２０２へ進む。設定モードが指定されなかった場合（ステップＳ２００においてＮＯの場合）には、ステップＳ２００の処理が繰返される。
【０１３５】
ステップＳ２０２において、ＣＰＵ１１０は、各種設定を受付けるための設定画面を表示する。すなわち、上述の図６に示す設定画面４０２、図１１に示す設定画面４０４、図１３に示す設定画面４０６、図１４に示す設定画面４０７、図１５に示す設定画面４０８などをユーザ操作に応じて表示する。以下の各ステップにおいて、ＣＰＵ１１０は、各種設定を受付ける。
【０１３６】
具体的には、ステップＳ２０４において、ＣＰＵ１１０は、光沢除去領域を受付ける。光沢除去領域は、計測処理において着目すべき範囲を意味し、上述の例では、ワーク２の表面の「ＡＢＣ」の文字が印字された範囲などに相当する。典型的には、ユーザは、設定画面４０２の画像表示エリア４２１（図６）において、図示しないユーザインターフェイス画面などを用いて、目的の範囲を指定する。
【０１３７】
続くステップＳ２０６において、ＣＰＵ１１０は、合成設定を受付ける。より具体的には、図６に示す設定画面４０２における、合成設定４３０および／またはモード設定４４０において選択されたラジオボタンに対応したアルゴリズムを設定値として受付ける。なお、図１１を参照して説明した自動設定がユーザによって選択された場合には、ＣＰＵ１１０は、テストランにより得られた画像に対して、複数のアルゴリズムに従ってそれぞれ光沢除去合成を行って複数の合成画像を生成するとともに、各合成画像を評価して、最も適切な合成画像を生成できたアルゴリズムを設定値に決定する。
【０１３８】
続くステップＳ２０８において、ＣＰＵ１１０は、光沢除去合成に用いる撮像枚数および使用画像の設定を受付ける。より具体的には、図１３に示す設定画面４０６または図１４に示す設定画面４０７において指定される撮像枚数や、図１５に示す設定画面４０８において指定される使用画像を設定値として受付ける。
【０１３９】
続くステップＳ２１０において、ＣＰＵ１１０は、撮像部８の視野におけるワーク２の移動方向や移動速度を受付ける。なお、上述のパターンサーチ処理において述べたように、連続して撮像される画像からワーク（被写体）の移動量（ベクトル量）を算出するので、必ずしもワーク２の移動方向や移動速度を予め設定しておく必要はない。
【０１４０】
上述したステップＳ２０４〜Ｓ２１０の処理によって必要な設定が受付けられると、ＣＰＵ１１０は、テストランの開始を待つ（ステップＳ２１２）。ユーザは、通常運転モードと同様の動作環境にした上で、計測処理の対象ワークを試験的に撮像（テストラン）する。テストランが開始されると、ＣＰＵ１１０は、入力された各種設定に従って、ワーク２を撮像して一連の画像を取得する（ステップＳ２１４）とともに、取得された一連の画像に対して光沢除去合成を実行する（ステップＳ２１６）。そして、ＣＰＵ１１０は、光沢除去合成によって得られた合成画像をディスプレイ１０２などに表示する（ステップＳ２１８）。
【０１４１】
続くステップＳ２２０において、ＣＰＵ１１０は、設定モードの完了が指示されたか否かを判断する。すなわち、ユーザは、テストランによって得られた合成画像に基づいて、先に入力した各種設定を見直す必要があるか否か、すなわち、現在の設定値で問題ないか否かを判断する。
【０１４２】
設定モードの完了が指示された場合（ステップＳ２２０においてＹＥＳの場合）には、ＣＰＵ１１０は、入力された設定値を記憶して、設定モードを終了する。設定モードの完了が指示されなかった場合（ステップＳ２２０においてＮＯの場合）には、ＣＰＵ１１０は、入力された設定値を記憶して、ステップＳ２０２以下の処理が繰返される。
【０１４３】
＜Ｇ．処理例＞
図１７は、本実施の形態に係る光沢除去合成を用いた処理例を示す図である。この図１７に示す処理例では、ワーク２としてペットボトルを用いた。図１７（ａ）〜図１７（ｇ）には、ワーク２を順次移動させて撮像して得られたそれぞれの画像を示し、図１７（ｈ）には、図１７（ａ）〜図１７（ｇ）に示す画像を用いて光沢除去合成することで得られた合成画像を示す。
【０１４４】
図１７（ａ）〜図１７（ｇ）から明らかなように、ワーク２を撮像部８に対して相対移動させることで、取得される画像において、映り込んでいる光沢のワーク２に対する相対位置が異なっていることがわかる。すなわち、図１７（ａ）〜図１７（ｄ）に示す画像においては、パッケージの表面に印字されているバーコードの一部が映り込んだ光沢により認識できない状態となっている。これに対して、図１７（ｅ）〜図１７（ｇ）に示す画像においては、より紙面左側にあるパッケージの内容の一部が光沢により認識できない状態となっており、バーコード自体は認識可能となっている。
【０１４５】
このような一連の画像（図１７（ａ）〜図１７（ｇ））に対して、本実施の形態に係る光沢除去合成を適用することで、ワーク２の表面に印字されたパッケージの内容がより正しく認識可能な合成画像が生成される（図１７（ｈ）参照）。
【０１４６】
＜Ｈ．視野拡大可能な光沢除去合成＞
上述の図４などにおいては、基本的には、撮像部８の視野範囲より狭い範囲の合成画像を生成する光沢除去合成について説明したが、撮像部８の視野範囲より広い範囲の合成画像を生成することも可能である。以下、このような撮像部８の視野範囲より広い範囲の合成画像を生成する場合の処理例について説明する。
【０１４７】
［ｈ１．光沢除去合成（変形例１）］
図１８は、本実施の形態の変形例１に係るパターンサーチおよび画像の位置合わせ処理を説明するための図である。図１８（ａ）〜図１８（ｆ）には、一例として、その表面形状が楕円のワークが移動中に連続的に撮像して得られた一連の画像を示す。また、図１８（ｇ）には、図１８（ａ）〜図１８（ｆ）に示す画像ＩＭＧ１〜ＩＭＧ６に基づいて光沢除去合成を行った結果得られた合成画像ＳＩＭＧの例を示す。なお、図１８に示す内容は、上述の図５のフローチャートに示すステップＳ１０６〜Ｓ１１８の処理の別形態に相当する。
【０１４８】
ＣＰＵ１１０は、検出センサ４（図１）などによるワークの位置検出や、撮像部８により取得される画像中の背景の変化などに基づいて、光沢除去合成の実行タイミングを認識する。そして、撮像部８により撮像されるワーク２を写した画像を取得する。たとえば、図１８（ａ）に示すような画像ＩＭＧ１が取得されたものとする。この第１番目に取得された画像ＩＭＧ１に対して、ＣＰＵ１１０は、モデル領域２３１を設定する。
【０１４９】
第１番目の撮像から所定時間経過後、ＣＰＵ１１０は、図１８（ｂ）に示すような第２番目の画像ＩＭＧ２を取得したものとする。図１８に示す例においては、ワークが紙面左側から紙面右側に移動しているものとする。そのため、第２番目に取得された画像ＩＭＧ２におけるワーク２を写した被写体ＯＢＪの位置は、図１８（ａ）に示す画像ＩＭＧ１における被写体ＯＢＪの位置に比較して、より紙面右側に位置している。
【０１５０】
ＣＰＵ１１０は、この第２番目の画像ＩＭＧ２に対して、直近に取得された第１番目の画像ＩＭＧ１のモデル領域２３１で指定される第１番目のモデル画像に基づくパターンサーチを行う。このパターンサーチの結果、画像ＩＭＧ２のうち領域２４１が第１番目のモデル画像と合致したとする。
【０１５１】
このとき、第１番目の画像ＩＭＧ１におけるモデル領域２３１と、第２番目の画像ＩＭＧ２における領域２４１との相対的な位置ずれ量がワークの移動量として算出される。
【０１５２】
続いて、この第２番目の画像ＩＭＧ２に対して、ＣＰＵ１１０は、モデル領域２３２を設定する。このとき、パターンサーチの精度を高めるために、第１番目の画像ＩＭＧ１に対して設定したモデル領域２３１の大きさに比較して、第２番目の画像ＩＭＧ２に対して設定するモデル領域２３２をより広くしてもよい。
【０１５３】
より具体的には、第１番目の画像ＩＭＧ１から第２番目の画像ＩＭＧ２への間の移動量（ベクトル量）に基づいて、被写体ＯＢＪであるワークの移動方向および移動速度を推測し、この推測した移動量に応じて、より広いモデル領域２３２が設定される。図１８（ｂ）に示す例においては、ワークが紙面左側から紙面右側に移動しているので、第２番目の画像ＩＭＧ２に対して設定されるモデル領域２３２は、可能な限り画像ＩＭＧ２の左端を始点として、可能な限り画像ＩＭＧ２の右側まで拡張されている。図１８（ｂ）に示すモデル領域２３２の拡張幅は、当該モデル領域２３２として設定された内容が後続の撮像タイミングで取得される画像（この例では、画像ＩＭＧ３）の視野内に含まれることを条件として、可能な限り広く設定される。すなわち、マージンとして、連続する２回の撮像タイミングの間に移動するワークの移動量を少なくとも確保できるように、モデル領域２３２が設定される。なお、ワークの移動方向および移動速度が既知である場合には、予め算出した範囲をモデル領域として設定するようにしてもよい。
【０１５４】
さらに、ＣＰＵ１１０は、この第３番目の画像ＩＭＧ３に対して、直近に取得された第２番目の画像ＩＭＧ２のモデル領域２３２で指定される第２番目のモデル画像に基づくパターンサーチを行う。このパターンサーチの結果、画像ＩＭＧ３のうち領域２４２が第２番目のモデル画像と合致したとする（図１８（ｃ）参照）。以下同様にして、（１）第３番目の画像ＩＭＧ３に対するモデル領域２３３の設定（図１８（ｃ）参照）、（２）第４番目の画像ＩＭＧ４に対する第３番目の画像ＩＭＧ３のモデル領域２３３で指定される第３番目のモデル画像に基づくパターンサーチ（図１８（ｄ）参照）、（３）第４番目の画像ＩＭＧ４に対するモデル領域２３４の設定（図１８（ｄ）参照）、（４）第５番目の画像ＩＭＧ５に対する第４番目の画像ＩＭＧ４のモデル領域２３４で指定される第４番目のモデル画像に基づくパターンサーチ（図１８（ｅ）参照）、（５）第５番目の画像ＩＭＧ４に対するモデル領域２３５の設定（図１８（ｅ）参照）、（６）第６番目の画像ＩＭＧ６に対する第５番目の画像ＩＭＧ５のモデル領域２３５で指定される第５番目のモデル画像に基づくパターンサーチ（図１８（ｆ）参照）の順に処理が実行される。
【０１５５】
なお、ワークの移動方向および移動速度に基づいて、次回の撮像において、ワークが撮像部８の視野内から外れることが推測されると、モデル領域の大きさが見直される。一例として、図１８（ｅ）に示すような、第５番目の画像ＩＭＧ５に設定されるモデル領域２３５は、第４番目の画像ＩＭＧ４に設定されるモデル領域２３４に比較してより狭い範囲に設定されている。
【０１５６】
最終的に、各パターンサーチによって得られた画像間の移動量に基づいて、一連の画像についての位置合わせが行われる。そして、上述したような光沢除去合成が実行されることで、図１８（ｇ）に示すような合成画像ＳＩＭＧが生成される。
【０１５７】
このようなパターンサーチ（画像間の位置合わせ）は、撮像部８により取得される画像のうち、ワーク２の全部または一部を含む画像のすべてを対象にして行われる。すなわち、ワーク２が撮像部８の視野に入ってきてから、ワーク２が視野内から外れるまでの期間に取得された画像が位置合わせの対象となる。
【０１５８】
図１８（ｇ）に示すように、本実施の形態の変形例１に係る光沢除去合成によれば、撮像部８の視野内より広い範囲の画像に対して、有効に光沢除去することができる。すなわち、撮像部８による１回の撮像により取得される範囲に比較して、より広い範囲の画素を複数重ね合わせることで、いずれかの画像に光沢の写り込みがあっても、除去することができる。
【０１５９】
このように生成される合成画像ＳＩＭＧは、撮像部８の視野範囲（画像ＩＭＧ１〜ＩＭＧ６の大きさ）より広い範囲の画像となる。
【０１６０】
［ｈ２．光沢除去合成（変形例２）］
上述の変形例１に係る光沢除去合成では、探索精度を高めるために、各モデル領域の大きさを、そのモデル領域に含まれるワーク２を示す画像が後続の撮像により得られる画像内に現れるように、動的に決定する処理例を説明した。これに対して、モデル領域の一部が撮像部８の視野外になってもパターンサーチが可能である場合には、モデル領域をより広い範囲に固定的に設定してもよい。
【０１６１】
図１９は、本実施の形態の変形例２に係るパターンサーチおよび画像の位置合わせ処理の変形例を説明するための図である。図１９（ａ）〜図１９（ｆ）には、一例として、その表面形状が楕円のワークが移動中に連続的に撮像して得られた一連の画像を示す。また、図１９（ｇ）には、図１９（ａ）〜図１９（ｆ）に示す画像ＩＭＧ１〜ＩＭＧ６に基づいて光沢除去合成を行った結果得られた合成画像ＳＩＭＧの例を示す。
【０１６２】
本変形例においては、光沢除去合成の実行タイミングを認識すると、ＣＰＵ１１０は、図１９（ａ）に示すように、取得された画像ＩＭＧ１に対して、より多くの範囲がカバーされるようにモデル領域２５１を設定する。続いて、ＣＰＵ１１０は、このモデル領域２５１に含まれるモデル画像に基づいて、第２番目の画像ＩＭＧ２に対してパターンサーチを行う。
【０１６３】
上述したように、被写体ＯＢＪであるワークは移動しているので、第２番目の画像ＩＭＧ２に対して、モデル領域２５１で指定される第１番目のモデル画像に基づくパターンサーチを行った場合には、対応する領域の一部が画像ＩＭＧ２の範囲外となる。ここで、たとえば、モデル領域を複数の小領域に分割して、各小領域の合致度に基づいて、総合的な合致度を算出するとともに、算出された総合的な合致度を所定のアルゴリズムに従って評価することで、合致する領域を特定することができる。このような公知の技術としては、特開２００８−１５２５５５号公報などの開示内容を参照されたい。
【０１６４】
このように、第２番目の画像ＩＭＧ２のうち、第１番目のモデル画像と合致する領域が特定されると、上述と同様に、第１番目の画像ＩＭＧ１におけるモデル領域２５１と、第２番目の画像ＩＭＧ２における領域２６１との相対的な位置ずれ量がワークの移動量として算出される。
【０１６５】
同様にして、第２番目〜第６番目の画像ＩＭＧ２〜ＩＭＧ６に対して、それぞれモデル領域２５２〜２５６が設定されて、それぞれパターンサーチが行われる（図１９（ｂ）〜図１９（ｆ）参照）。その結果、第２番目〜第５番目の画像ＩＭＧ２〜ＩＭＧ５についての、各画像間のそれぞれの移動量が算出される。
【０１６６】
最終的に、各パターンサーチによって得られた画像間の移動量に基づいて、一連の画像についての位置合わせが行われる。そして、上述したような光沢除去合成が実行されることで、図１９（ｇ）に示すような合成画像ＳＩＭＧが生成される。
【０１６７】
［ｈ３．視野拡大可能な光沢除去合成（変形例１および２）の作用効果］
上述のような視野拡大可能な光沢除去合成を適用した場合の作用効果について説明する。
【０１６８】
図２０は、本実施の形態の変形例に係る光沢除去合成の作用効果を説明するための模式図である。図２０（ａ）には、上述の実施の形態に係るにより複数の画像を取得する場合の例を示し、図２０（ｂ）には、本実施の形態の変形例に係る方法により複数の画像を取得する場合の例を示す。
【０１６９】
図２０（ａ）に示すように、撮像部８に対するワーク２の相対的な位置を異ならせたとしても、撮像部８の視野内における特定の領域に光沢２０２が写り込む。そのため、撮像部により取得された視野に対応する画像のうち、実際に光沢除去処理に使用できる範囲は限られる。たとえば、図２０（ａ）に示すように、ワーク表面に印字された検出対象の文字「ＡＢＣ」の「Ｃ」の文字についてみると、ワーク全体が画像内に収まっている際の可動範囲のみが有効範囲となる。そのため、撮像部の視野全体を光沢除去に使用することができない。
【０１７０】
これに対して、本実施の形態の変形例に係る光沢除去合成によれば、図２０（ｂ）に示すように、撮像部８の視野全体を光沢除去に使用することができる。そのため、写り込んだ光沢２０２を除去できる確率を高めることができ、それによって、より高い光沢２０２の除去効果を得ることができる。
【０１７１】
＜Ｉ．照明光源設置＞
本実施の形態に係る視覚センサシステム１においては、ワーク２に照明光を照射するための照明光源９を含む。このとき、照明光源９の形状（照射パターン）によっては、光沢除去合成では除去しきれない光沢が映り込むことがあるので、撮像部８に対して、照明光源９を適切な位置関係で設置することが好ましい。以下、バー形状の照明光源を一例として、その設置方法について説明する。
【０１７２】
図２１は、照明光源９の長手方向とワーク２の移動方向とが一致している場合を示す模式図である。図２２は、照明光源９の長手方向とワーク２の移動方向とが直交している場合を示す模式図である。
【０１７３】
図２１に示すように、照明光源９の長手方向とワーク２の移動方向とが一致している場合には、ワーク２を順次撮像して得られる画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を位置合わせしたとしても、光沢２０２が映り込んでいる紙面横方向における範囲が重なっていることがわかる。そのため、これらの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に基づいて、光沢除去合成をしたとしても、その結果得られる合成画像ＳＩＭＧには、除去しきれない光沢２０４が残ってしまう。
【０１７４】
これに対して、図２２に示すように、照明光源９の長手方向とワーク２の移動方向とが実質的に直交している場合には、ワーク２を順次撮像して得られる画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に映り込む光沢２０２の紙面横方向の幅は相対的に狭いことがわかる。そのため、これらの画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３を位置合わせすることで、画像間で、光沢２０２が生じている位置を異ならせることができる。その結果、画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３に基づいて光沢除去合成をすることで、光沢２０２を除去した合成画像ＳＩＭＧを生成することができる。
【０１７５】
＜Ｊ．作用・効果＞
本実施の形態によれば、基本的には、撮像部８の撮像条件および照明光源９による照明条件を維持したまま、移動するワーク２に対して複数回撮像を行う。すなわち、撮像部８に対するワーク２の相対位置が時間的に移動するので、ワーク２において光沢の映り込みが生じる領域は、各画像の間で異なると考えられる。そのため、ある画像において正しく取得できない画像情報であっても、他の画像においては正しく取得できる可能性が高くなる。そして、このように取得された一連の画像を用いて合成画像を生成することで、映り込む光沢の影響を除去する。
【０１７６】
また、本実施の形態によれば、ベルトコンベア上に載置されて所定方向に移動するワーク２の搬送に影響を与えるようなこともなく、目的の合成画像を生成することができる。すなわち、移動する検査対象を静止させることなく、映り込む光沢を除去することができるとともに、ワークに対する計測処理をより高精度に行うことができる。
【０１７７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１７８】
１ 視覚センサシステム、２ 検査対象（ワーク）、４ 検出センサ、４ａ 受光部、４ｂ 投光部、６ 搬送機構、８ 撮像部、９ 照明光源、１００ 画像処理装置、１０２ ディスプレイ、１０４ マウス、１０６ メモリカード、１１０ ＣＰＵ、１１２ メインメモリ、１１４ ハードディスク、１１６ カメラインターフェイス、１１６ａ 画像バッファ、１１８ 入力インターフェイス、１２０ 表示コントローラ、１２２ ＰＬＣインターフェイス、１２４ 通信インターフェイス、１２６ データリーダ／ライタ、１２８ バス。
【特許請求の範囲】
【請求項１】
予め定められた位置に配置された撮像部を用いて、当該撮像部に対して一定の相対位置に配置された照明光源で当該撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を複数回撮像するステップと、
前記撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で前記検査対象の少なくとも一部を示す領域を順次探索することで、前記検査対象を基準として、前記複数の画像を位置合わせするステップと、
当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、前記位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成するステップとを備える、画像処理方法。
【請求項２】
前記画像情報を算出するステップは、前記位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報として輝度を取得し、取得した輝度についての、最小値、最大値、平均値、中央値のいずれか１つを、前記単位領域を代表する画像情報として算出する、請求項１に記載の画像処理方法。
【請求項３】
前記合成画像を生成するステップは、
前記単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に従って複数種類の合成画像を生成するステップと、
当該生成された複数種類の合成画像を表示するステップと、
当該複数の算出規則のうち前記合成画像の生成に使用すべき算出規則の選択を受付けるステップとをさらに含む、請求項１または２に記載の画像処理方法。
【請求項４】
前記合成画像を生成するステップは、
前記単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に対応する複数種類の合成画像を生成するステップと、
当該生成された複数種類の合成画像について識別度合いを示す指標を算出するステップと、
算出した指標に従って、当該複数の算出規則に前記合成画像の生成に使用すべき算出規則を選択するステップとをさらに含む、請求項１または２に記載の画像処理方法。
【請求項５】
前記位置合わせするステップは、
前記検査対象の撮像により取得された第１の画像から前記検査対象を示す第１の領域を抽出し、前記第１の画像の次に取得された第２の画像内で前記第１の領域と合致する領域を探索するステップと、
前記第２の画像から、前記検査対象を示す、前記第１の領域の大きさとは独立した大きさの第２の領域を抽出し、前記第２の画像の次に取得された第３の画像内で前記第２の領域と合致する領域を探索するステップとを含む、請求項１に記載の画像処理方法。
【請求項６】
前記位置合わせするステップでは、前記撮像部により取得される画像のうち、前記検査対象の全部または一部を含む画像のすべてを対象にして、位置合わせを行う、請求項１に記載の画像処理方法。
【請求項７】
前記合成画像を生成するステップでは、前記撮像部の視野範囲より広い範囲の合成画像を生成する、請求項１に記載の画像処理方法。
【請求項８】
前記照明光源は、その長手方向が前記検査対象の移動方向に対して実質的に直交するように配置される、請求項１に記載の画像処理方法。
【請求項９】
前記合成画像を生成するステップは、
第１の検査対象について前記撮像部による一連の撮像により取得された複数の画像を表示するステップと、
表示された複数の画像のうち前記合成画像の生成に使用される画像の選択を受付けるステップと、
第２の検査対象について前記撮像部による一連の撮像により取得された複数の画像のうち、前記第１の検査対象について選択された画像の撮像タイミングに対応する画像を用いて前記合成画像を生成するステップとを含む、請求項１に記載の画像処理方法。
【請求項１０】
予め定められた位置に配置された撮像部と、
前記撮像部に対して一定の相対位置に配置された照明光源と、
制御部とを備え、
前記制御部は、
前記撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を前記撮像部に複数回撮像させる手段と、
前記撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で前記検査対象の少なくとも一部を示す領域を順次探索することで、前記検査対象を基準として、前記複数の画像を位置合わせする手段と、
当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、前記位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成する手段とを備える、画像処理システム。
【請求項１】
予め定められた位置に配置された撮像部を用いて、当該撮像部に対して一定の相対位置に配置された照明光源で当該撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を複数回撮像するステップと、
前記撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で前記検査対象の少なくとも一部を示す領域を順次探索することで、前記検査対象を基準として、前記複数の画像を位置合わせするステップと、
当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、前記位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成するステップとを備える、画像処理方法。
【請求項２】
前記画像情報を算出するステップは、前記位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報として輝度を取得し、取得した輝度についての、最小値、最大値、平均値、中央値のいずれか１つを、前記単位領域を代表する画像情報として算出する、請求項１に記載の画像処理方法。
【請求項３】
前記合成画像を生成するステップは、
前記単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に従って複数種類の合成画像を生成するステップと、
当該生成された複数種類の合成画像を表示するステップと、
当該複数の算出規則のうち前記合成画像の生成に使用すべき算出規則の選択を受付けるステップとをさらに含む、請求項１または２に記載の画像処理方法。
【請求項４】
前記合成画像を生成するステップは、
前記単位領域を代表する画像情報を算出するための算出規則を複数に異ならせて、それぞれの算出規則に対応する複数種類の合成画像を生成するステップと、
当該生成された複数種類の合成画像について識別度合いを示す指標を算出するステップと、
算出した指標に従って、当該複数の算出規則に前記合成画像の生成に使用すべき算出規則を選択するステップとをさらに含む、請求項１または２に記載の画像処理方法。
【請求項５】
前記位置合わせするステップは、
前記検査対象の撮像により取得された第１の画像から前記検査対象を示す第１の領域を抽出し、前記第１の画像の次に取得された第２の画像内で前記第１の領域と合致する領域を探索するステップと、
前記第２の画像から、前記検査対象を示す、前記第１の領域の大きさとは独立した大きさの第２の領域を抽出し、前記第２の画像の次に取得された第３の画像内で前記第２の領域と合致する領域を探索するステップとを含む、請求項１に記載の画像処理方法。
【請求項６】
前記位置合わせするステップでは、前記撮像部により取得される画像のうち、前記検査対象の全部または一部を含む画像のすべてを対象にして、位置合わせを行う、請求項１に記載の画像処理方法。
【請求項７】
前記合成画像を生成するステップでは、前記撮像部の視野範囲より広い範囲の合成画像を生成する、請求項１に記載の画像処理方法。
【請求項８】
前記照明光源は、その長手方向が前記検査対象の移動方向に対して実質的に直交するように配置される、請求項１に記載の画像処理方法。
【請求項９】
前記合成画像を生成するステップは、
第１の検査対象について前記撮像部による一連の撮像により取得された複数の画像を表示するステップと、
表示された複数の画像のうち前記合成画像の生成に使用される画像の選択を受付けるステップと、
第２の検査対象について前記撮像部による一連の撮像により取得された複数の画像のうち、前記第１の検査対象について選択された画像の撮像タイミングに対応する画像を用いて前記合成画像を生成するステップとを含む、請求項１に記載の画像処理方法。
【請求項１０】
予め定められた位置に配置された撮像部と、
前記撮像部に対して一定の相対位置に配置された照明光源と、
制御部とを備え、
前記制御部は、
前記撮像部の視野を照明した状態で、予め定められた方向に移動する検査対象を前記撮像部に複数回撮像させる手段と、
前記撮像部による一連の撮像により取得される複数の画像のうち２つの画像間で前記検査対象の少なくとも一部を示す領域を順次探索することで、前記検査対象を基準として、前記複数の画像を位置合わせする手段と、
当該位置合わせされた複数の画像について、単位領域毎に、当該単位領域に対応する、前記位置合わせされた複数の画像におけるそれぞれの領域が有する画像情報から当該単位領域を代表する画像情報を算出することで、合成画像を生成する手段とを備える、画像処理システム。
【図１】
【図２】
【図５】
【図１６】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図５】
【図１６】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１６３７６６（Ｐ２０１１−１６３７６６Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２３０１０（Ｐ２０１０−２３０１０）
【出願日】平成２２年２月４日（２０１０．２．４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＣＯＭＰＡＣＴＦＬＡＳＨ
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月４日（２０１０．２．４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＣＯＭＰＡＣＴＦＬＡＳＨ
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]