視覚センシング方法および視覚センシング装置
【課題】汎用性に優れた視覚センシング方法を提供する。
【解決手段】撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新行程とを含む。さらに、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、パターンマッチング行程では、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、探索対象画像生成行程では、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定する。
【解決手段】撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新行程とを含む。さらに、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、パターンマッチング行程では、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、探索対象画像生成行程では、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚センシング方法および視覚センシング装置に関するものである。
【背景技術】
【０００２】
従来、特許文献１には、位置検出センサを用いることなく作動体に確実な動作を行わせることのできる方法および装置が記載されている。
【０００３】
この従来技術では、複数の異なる状態を定められた動作パターンで変動する作動体（具体的には、搬送ロボットのチャック）をカメラで撮影し、その撮影画像から検査画像データを生成し、その検査画像データと基準画像データとを比較することで、作動体の状態を検出するようになっている。
【０００４】
具体的には、動作パターンのどの状態においてもチャックを撮像できるようにカメラが設置されており、カメラの撮影画像から所定の領域を取り出して検査画像データとする。基準画像データは予め生成された画像データであり、上述のカメラで予め撮影した撮影画像から所定の領域を取り出して基準画像データとしておく。検査画像データおよび基準画像データとして取り出す領域は、チャックの動作パターンに応じて予め設定されている。
【０００５】
特許文献１には、具体例として、作動体の動作パターンが７つの動作ステップで構成されていて、この７つの動作ステップの各々に対応する基準画像データを予め生成しておくことで、どの動作ステップの状態にあるかを検出することが記載されている。
【０００６】
この従来技術によると、検査画像データとして、カメラの撮影画像から取り出された部分画像を用いるので、カメラの撮影画像全体を基準画像データと比較する場合に比べて、処理時間が短縮化されることとなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−２４２８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、この従来技術では、基準画像データを予め生成しておく必要があるので、汎用性に劣るという問題がある。
【０００９】
例えば、サーボモータのアブソリュート・エンコーダの代わりとして、作動体の位置を高精度に検出しようとする場合には、膨大な数の基準画像データが必要となる。また、作動体の動作パターンを変更したときには、その都度、基準画像データを生成し直す必要がある。
【００１０】
本発明は上記点に鑑みて、汎用性に優れた視覚センシング方法および視覚センシング装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、請求項１に記載の発明では、撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、
パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新行程とを含むことを特徴とする。
【００１２】
これによると、パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいてマッチングモデルを更新するので、全てのマッチングモデルを予め生成しておく必要がなくなり、ひいては汎用性を向上させることができる。
【００１３】
請求項２に記載の発明では、請求項１に記載の視覚センシング方法において、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、
パターンマッチング行程では、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、
探索対象画像生成行程では、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定することを特徴とする。
【００１４】
これによると、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定するので、探索対象領域を予め設定する作業負担を削減できる。
【００１５】
請求項３に記載の発明では、請求項１または２に記載の視覚センシング方法において、パターンマッチング行程を初めて行う場合に用いるマッチングモデルを初期マッチングモデルとしたとき、
初期マッチングモデルを生成する初期マッチングモデル生成行程を含み、
初期マッチングモデル生成行程では、撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、撮影画像から初期マッチングモデルを生成することを特徴とする。
【００１６】
これにより、初期マッチングモデルを予め生成する作業が不要となるので、汎用性を一層向上させることができる。
【００１７】
請求項４に記載の発明では、撮像手段（１０）と、
撮像手段（１０）によって撮影された撮影画像を処理する画像処理手段（１１）とを備え、
画像処理手段（１１）は、
撮像手段（１０）によって撮影された撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング部と、
パターンマッチング部で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新部とを有していることを特徴とする。
【００１８】
これにより、上記した請求項１に記載の発明と同様の作用効果を得ることができる。
【００１９】
請求項５に記載の発明では、請求項４に記載の視覚センシング装置において、 画像処理手段（１１）は、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成部を有し、
パターンマッチング部は、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、
探索対象画像生成部は、パターンマッチング部が以前に求めた複数のマッチング位置に基づいて探索対象領域を決定することを特徴とする。
【００２０】
上記した請求項２に記載の発明と同様の作用効果を得ることができる。
【００２１】
請求項６に記載の発明では、請求項４または５に記載の視覚センシング装置において、パターンマッチング部が初めてパターンマッチングを行う場合に用いるマッチングモデルを初期マッチングモデルとしたとき、
画像処理手段（１１）は、初期マッチングモデルを生成する初期マッチングモデル生成部を有し、
初期マッチングモデル生成部は、撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、撮影画像から初期マッチングモデルを生成することを特徴とする。
【００２２】
これにより、上記した請求項３に記載の発明と同様の作用効果を得ることができる。
【００２３】
なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施形態におけるペースト拭き取り機の全体構成図である。
【図２】図１のペースト拭き取り機におけるモータとカメラとの配置関係を示す斜視図である。
【図３】（ａ）は撮影画像の一例を示す図であり、（ｂ）は撮影画像上の座標におけるモータの軌跡の一例を示す図である。
【図４】図１の画像処理ユニットによる画像処理を示すフローチャートである。
【図５】画像処理ユニットのディスプレイモニタに表示される設備状態モニタ実行画面の一例を示す図である。
【図６】（ａ）は透視投影変換された撮影画像の一例を示す図であり、（ｂ）は透視投影変換されたモータの軌跡の一例を示す図である。
【図７】トラッキングモデルによるマッチングの考え方を説明する説明図である。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を説明する。本実施形態は、本発明における視覚センシング方法および視覚センシング装置をペースト拭き取り機に適用したものであり、その全体構成の概要を図１に示す。
【００２６】
ペースト拭き取り機は、多層プリント基板の製造過程においてペーストを拭き取るものであり、本実施形態では、ペースト拭き取り機のモータ１（アクチュエータ）をマッチング対象物として視覚センシングを行う。
【００２７】
撮像手段をなすカメラ１０は、モータ１の移動範囲全体を撮影できる位置に固定されている。本例では、カメラ１０として、６４０×４８０画素のＣＣＤを有し、毎秒３０フレームの高速連写が可能なデジタルカメラが用いられている。
【００２８】
画像処理手段をなす画像処理ユニット１１は、パーソナルコンピュータ（パソコン、ＰＣ）及びその周辺機器で構成されており、カメラ１０の撮影画像が入力される。画像処理ユニット１１は、モータ１の軌跡に関する情報を蓄積するための軌跡データベース１２（軌跡ＤＢ）を有している。
【００２９】
画像処理ユニット１１は、画像処理プログラムにしたがって動作し、カメラ１０の撮影画像や軌跡データベース１２に蓄積された情報等に基づいて、モータ１の位置座標を推定演算する。
【００３０】
画像処理ユニット１１は、演算したモータ１の位置座標をシーケンサ２に出力する。シーケンサ２は、予め記憶された処理ステップ（動作パターン）や、画像処理ユニット１１から出力されたモータ１の位置座標等に基づいてモータ１を制御する。
【００３１】
図２は、モータ１とカメラ１０との配置関係を示す斜視図であり、図３（ａ）はカメラ１０による撮影画像の一例を示し、図３（ｂ）は、撮影画像上の座標におけるモータ１の軌跡を示している。図３（ｂ）中、Ｘ座標およびＹ座標の単位は画素である。
【００３２】
モータ１は、直交する３軸方向に移動可能になっている。直交する３軸方向のうち第１軸方向および第２軸方向は、水平面と平行に配置されている。第３軸方向は、鉛直方向と平行になっている。
【００３３】
本例では、モータ１の第１、第２軸方向（水平方向）における移動は、モータ１自身が駆動することで行われるようになっている。また、モータ１の第３軸方向（鉛直方向）における移動範囲は、第１、第２軸方向（水平方向）における移動範囲に比べて小さくなっている。
【００３４】
本例では、図３（ａ）に示すように、設備（ペースト拭き取り機）のスペース上の制約から、斜め視野となるようにカメラ１０が設置されている。すなわち、カメラ１０は撮影対象範囲に対して、真上ではなく斜め上方に設置されている。
【００３５】
図３（ｂ）に示すように、モータ１は、原位置から矢印ａ〜ｈの順に移動して原位置に戻るというサイクルを繰り返す。なお、矢印ａでの軌跡と矢印ｈでの軌跡とが僅かにずれているが、これは、モータ１の第３軸方向（鉛直方向）における位置が異なっているためである。また、矢印ｂ，ｃ、矢印ｄ，ｅおよび矢印ｆ，ｇでの軌跡も僅かにずれているが、この理由も同様である。
【００３６】
本例では、画像処理ユニット１１によるモータ１の位置計測を精度良く行うために、モータ１の所定位置（カメラ１０で撮影可能な位置）にマーカ（図示せず）が設けられている。
【００３７】
図４は、画像処理ユニット１１による画像処理を示すフローチャートである。図４のフローチャートでは、透視投影変換によるマッチングとトラッキングモデルによるマッチングとを組み合わせて処理を行う。具体的には、設備の立ち上げ時では透視投影変換によるマッチングを行い、動作中ではトラッキングモデルによるマッチングを行う。
【００３８】
ここで、トラッキングモデルとは、カメラ１０の撮影画像（フレーム）毎に更新されるモデル（テンプレート）のことを言い、詳細は後述する。なお、トラッキングモデルを追従型テンプレートを表現することもできる。
【００３９】
図４のフローチャートによる画像処理は、モータ１の電源が投入される前に開始される。まず、ステップＳ１００では、モータ１の電源を投入した直後であるか否かを判定する。電源投入直後でないと判定された場合（ＮＯ判定の場合）、モータ１の電源が投入されていないと判断してステップＳ１００を繰り返す。
【００４０】
一方、電源投入直後であると判定された場合（ＹＥＳ判定の場合）、ステップＳ１１０へ進み、透視投影変換によるマッチングを行って、モータ１の現在位置を計測する。透視投影変換によるマッチングの詳細については後述する。
【００４１】
また、ステップＳ１１０では、計測したモータ１の現在位置に基づいて初期マッチングモデルを作成する。この初期マッチングモデルは、トラッキングモデルによるマッチング（ステップＳ１４０）を初めて実行する際に必要となるものであり、詳細は後述する。
【００４２】
次いでステップＳ１２０では、計測したモータ１の現在位置をシーケンサ２に出力する。次いでステップＳ１３０では、モータ１が自動運転されているか否かを判定する。自動運転されていないと判定した場合（ＮＯ判定の場合）、処理を終了する。
【００４３】
一方、自動運転されていると判定した場合（ＹＥＳ判定の場合）、ステップＳ１４０へ進み、トラッキングモデルによるマッチングを行って、モータ１の現在位置を計測する。トラッキングモデルによるマッチングの詳細については後述する。
【００４４】
次いでステップＳ１５０では、計測したモータ１の現在位置をシーケンサ２に出力する。次いでステップＳ１３０に戻る。
【００４５】
なお、図５は、画像処理ユニット１１のディスプレイモニタに表示される画面（設備状態モニタ実行画面）の一例を示すものであり、設備状態モニタ実行画面には、カメラ１０による撮影画像、マッチングに用いられるテンプレート画像、およびシーケンサ２によって実行されている処理ステップ等が表示されるようになっている。
【００４６】
ここで、ステップＳ１１０の透視投影変換によるマッチングについて説明する。透視投影変換によるマッチングでは、斜めからの画像を真上からの画像へ幾何学変換を行う透視投影変換を採用することにより、１つのテンプレートだけでマッチングを行う。
【００４７】
具体的には、図３（ａ）に示す撮影画像、すなわち視点が斜めの撮影画像を、図６（ａ）に示す撮影画像、すなわち視点が真上の撮影画像に変換する。これにより、図３（ｂ）に示す座標、すなわち斜めから見た時のそのままのＸ、Ｙ座標を、図６（ｂ）に示す座標、すなわち真上から見た時の座標に置き換える。
【００４８】
そして、変換された撮影画像（視点が真上の撮影画像）と、予め作成された１つのテンプレートとを比較してマッチングを行い、モータ１の現在位置を計測する。
【００４９】
なお、マッチングの手法としては、例えば正規化相互相関およびピラミッドサーチ等を用いることができる。
【００５０】
そして、計測したモータ１の現在位置に基づいて、上述した初期マッチングモデルを生成する（初期マッチングモデル生成行程、初期マッチングモデル生成部）。具体的には、変換前の撮影画像（視点が斜めの撮影画像）からモータ１の現在位置およびその周辺の画像領域を切り出すことによって、初期マッチングモデルを生成する。
【００５１】
次に、ステップＳ１４０のトラッキングモデルによるマッチングについて説明する。図７は、トラッキングモデルによるマッチングの考え方を説明する図である。
【００５２】
トラッキングモデルによるマッチングでは、まず、カメラ１０の撮影画像（フレーム）に対する探索対象領域を決定して探索対象画像を生成する（探索対象画像生成行程、探索対象画像生成部）。
【００５３】
具体的には、前回のフレームのマッチング部位の重心位置（前フレーム位置）と、今回のフレームのマッチング部位の重心位置（現フレーム位置）とから、次回のフレームのマッチング部位の重心位置として予測（推定）される位置（次フレームの予測位置）を算出する。本例では、次フレームの予測位置を、次の数式を用いて算出する。
【００５４】
次フレームの予測位置（Ｘ３，Ｙ３）＝現フレーム位置（Ｘ２，Ｙ２）＋前フレーム差分（Ｘ２−Ｘ１，Ｙ２−Ｙ１）
この次フレームの予測位置に基づいて次フレームのマッチング領域（サーチ領域）を絞る。要するに、動作軌跡上の現位置と前位置とから次の位置を推定してサーチ領域を絞る。
【００５５】
そして、サーチ領域を探索対象画像とし、探索対象画像をテンプレート（マッチングモデル）と比較してマッチングを行い、モータ１の現在位置を計測する（パターンマッチング行程、パターンマッチング部）。サーチ領域を絞ることで、サーチ時間の短縮が図られる。
【００５６】
さらに、トラッキングモデルによるマッチングでは、現フレームのマッチング部位を、次フレームのテンプレートとしてモデル更新する（マッチングモデル更新行程、マッチングモデル更新部）。より具体的には、現フレームからマッチング部位を切り出して更新マッチングモデルを生成し、この更新マッチングモデルを次フレームで用いるマッチングモデルとする。
【００５７】
すなわち、フレーム毎にトラッキングモデル（追従型テンプレート）を作成することでテンプレートを自動生成する。このため、各フレームに対応したテンプレートを予め生成しておく必要がない。
【００５８】
なお、本例では、フレーム間における対象部位の形状及び輝度変化を無視できると想定している。また、計測誤差の累積を抑制するために、例えばモータ１が原位置に来た時に計測位置をリセットするようにしてもよい。
【００５９】
ここで、本実施形態では、カメラ１０の視野が斜めになっているので、モータ１の位置によってモータ１とカメラ１０との遠近差が生じてモータ１の画像のサイズに差が生じることとなるのであるが、毎秒３０フレームという高速でマッチング処理を行うことによって、現フレームと次フレームとでモータ１の位置が大きく変化しないようにし、その結果、現フレームから切り出して作成したテンプレートによって、次フレームのマッチングを支障なく行うことができるようにしている。
【００６０】
このように毎秒３０フレームという高速でマッチング処理を行うために、トラッキングモデルによるマッチングでは、探索対象領域を絞り込むことによって処理を高速化している。しかも、絞り込む探索対象領域は、前フレームでのマッチング位置と現フレームでのマッチング位置とから算出されるので、絞り込む探索対象領域を予め設定しておく必要がない。
【００６１】
また、トラッキングモデルによるマッチングを初めて実行する場合に用いる初期マッチングモデルも自動生成するので、設備の立ち上げ時にモータ１がどの位置にあっても、位置検出（視覚センシング）を開始することができる。
【００６２】
初期マッチングモデルは、透視投影変換によるマッチングによって計測されたモータ１の位置に基づいて生成されるので、設備の立ち上げ時にモータ１がどの位置にあっても、１つのテンプレートだけでマッチングを行うことができる。
【００６３】
すなわち、斜めからの画像を真上からの画像へ幾何学変換を行うことによって、モータ１の位置にかかわらず画像中のモータ１のサイズを均一化させることができるので、１つのテンプレートだけでマッチングを行うことができる。
【００６４】
このように、本実施形態では、透視投影変換によるマッチングにおいて、予め生成されたテンプレートを１つのみ用い、トラッキングモデルによるマッチングにおいては、自動生成されたテンプレートを用いるので、テンプレート（マッチングモデル）を予め生成する作業負担が極めて低い。
【００６５】
さらに、本実施形態では、トラッキングモデルによるマッチングにおいて絞り込む探索対象領域を、前フレームでのマッチング位置と現フレームでのマッチング位置とから決定するので、絞り込む探索対象領域を予め設定しておく必要がない。
【００６６】
以上のことから、汎用性に極めて優れた視覚センシングを実現することができる。
【００６７】
（他の実施形態）
なお、上記実施形態では、本発明における視覚センシング方法および視覚センシング装置をペースト拭き取り機に適用した例を示したが、これに限定されることなく、種々のマッチング対象物に対して本発明を適用可能である。
【００６８】
また、上記実施形態では、カメラ１０の視野が斜めになっているが、設備の高さに余裕がある場合にはカメラ１０の視野を真っ直ぐにしてもよい。カメラ１０の視野を真っ直ぐである場合には、透視投影変換を行うことなく初期マッチングモデルを生成することができる。
【００６９】
また、上記実施形態では、探索対象画像の生成およびマッチングモデルの更新を毎フレームで行っているが、これに限定されるものではなく、例えばフレーム間でのモータ１の移動距離が非常に短いような場合には、探索対象画像の生成およびマッチングモデルの更新を隔フレームで行うようにしてもよい。
【符号の説明】
【００７０】
１ モータ（マッチング対象物）
１０ カメラ（撮像手段）
１１ 画像処理ユニット（画像処理手段）
【技術分野】
【０００１】
本発明は、視覚センシング方法および視覚センシング装置に関するものである。
【背景技術】
【０００２】
従来、特許文献１には、位置検出センサを用いることなく作動体に確実な動作を行わせることのできる方法および装置が記載されている。
【０００３】
この従来技術では、複数の異なる状態を定められた動作パターンで変動する作動体（具体的には、搬送ロボットのチャック）をカメラで撮影し、その撮影画像から検査画像データを生成し、その検査画像データと基準画像データとを比較することで、作動体の状態を検出するようになっている。
【０００４】
具体的には、動作パターンのどの状態においてもチャックを撮像できるようにカメラが設置されており、カメラの撮影画像から所定の領域を取り出して検査画像データとする。基準画像データは予め生成された画像データであり、上述のカメラで予め撮影した撮影画像から所定の領域を取り出して基準画像データとしておく。検査画像データおよび基準画像データとして取り出す領域は、チャックの動作パターンに応じて予め設定されている。
【０００５】
特許文献１には、具体例として、作動体の動作パターンが７つの動作ステップで構成されていて、この７つの動作ステップの各々に対応する基準画像データを予め生成しておくことで、どの動作ステップの状態にあるかを検出することが記載されている。
【０００６】
この従来技術によると、検査画像データとして、カメラの撮影画像から取り出された部分画像を用いるので、カメラの撮影画像全体を基準画像データと比較する場合に比べて、処理時間が短縮化されることとなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−２４２８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、この従来技術では、基準画像データを予め生成しておく必要があるので、汎用性に劣るという問題がある。
【０００９】
例えば、サーボモータのアブソリュート・エンコーダの代わりとして、作動体の位置を高精度に検出しようとする場合には、膨大な数の基準画像データが必要となる。また、作動体の動作パターンを変更したときには、その都度、基準画像データを生成し直す必要がある。
【００１０】
本発明は上記点に鑑みて、汎用性に優れた視覚センシング方法および視覚センシング装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、請求項１に記載の発明では、撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、
パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新行程とを含むことを特徴とする。
【００１２】
これによると、パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいてマッチングモデルを更新するので、全てのマッチングモデルを予め生成しておく必要がなくなり、ひいては汎用性を向上させることができる。
【００１３】
請求項２に記載の発明では、請求項１に記載の視覚センシング方法において、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、
パターンマッチング行程では、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、
探索対象画像生成行程では、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定することを特徴とする。
【００１４】
これによると、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定するので、探索対象領域を予め設定する作業負担を削減できる。
【００１５】
請求項３に記載の発明では、請求項１または２に記載の視覚センシング方法において、パターンマッチング行程を初めて行う場合に用いるマッチングモデルを初期マッチングモデルとしたとき、
初期マッチングモデルを生成する初期マッチングモデル生成行程を含み、
初期マッチングモデル生成行程では、撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、撮影画像から初期マッチングモデルを生成することを特徴とする。
【００１６】
これにより、初期マッチングモデルを予め生成する作業が不要となるので、汎用性を一層向上させることができる。
【００１７】
請求項４に記載の発明では、撮像手段（１０）と、
撮像手段（１０）によって撮影された撮影画像を処理する画像処理手段（１１）とを備え、
画像処理手段（１１）は、
撮像手段（１０）によって撮影された撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング部と、
パターンマッチング部で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新部とを有していることを特徴とする。
【００１８】
これにより、上記した請求項１に記載の発明と同様の作用効果を得ることができる。
【００１９】
請求項５に記載の発明では、請求項４に記載の視覚センシング装置において、 画像処理手段（１１）は、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成部を有し、
パターンマッチング部は、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、
探索対象画像生成部は、パターンマッチング部が以前に求めた複数のマッチング位置に基づいて探索対象領域を決定することを特徴とする。
【００２０】
上記した請求項２に記載の発明と同様の作用効果を得ることができる。
【００２１】
請求項６に記載の発明では、請求項４または５に記載の視覚センシング装置において、パターンマッチング部が初めてパターンマッチングを行う場合に用いるマッチングモデルを初期マッチングモデルとしたとき、
画像処理手段（１１）は、初期マッチングモデルを生成する初期マッチングモデル生成部を有し、
初期マッチングモデル生成部は、撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、撮影画像から初期マッチングモデルを生成することを特徴とする。
【００２２】
これにより、上記した請求項３に記載の発明と同様の作用効果を得ることができる。
【００２３】
なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施形態におけるペースト拭き取り機の全体構成図である。
【図２】図１のペースト拭き取り機におけるモータとカメラとの配置関係を示す斜視図である。
【図３】（ａ）は撮影画像の一例を示す図であり、（ｂ）は撮影画像上の座標におけるモータの軌跡の一例を示す図である。
【図４】図１の画像処理ユニットによる画像処理を示すフローチャートである。
【図５】画像処理ユニットのディスプレイモニタに表示される設備状態モニタ実行画面の一例を示す図である。
【図６】（ａ）は透視投影変換された撮影画像の一例を示す図であり、（ｂ）は透視投影変換されたモータの軌跡の一例を示す図である。
【図７】トラッキングモデルによるマッチングの考え方を説明する説明図である。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を説明する。本実施形態は、本発明における視覚センシング方法および視覚センシング装置をペースト拭き取り機に適用したものであり、その全体構成の概要を図１に示す。
【００２６】
ペースト拭き取り機は、多層プリント基板の製造過程においてペーストを拭き取るものであり、本実施形態では、ペースト拭き取り機のモータ１（アクチュエータ）をマッチング対象物として視覚センシングを行う。
【００２７】
撮像手段をなすカメラ１０は、モータ１の移動範囲全体を撮影できる位置に固定されている。本例では、カメラ１０として、６４０×４８０画素のＣＣＤを有し、毎秒３０フレームの高速連写が可能なデジタルカメラが用いられている。
【００２８】
画像処理手段をなす画像処理ユニット１１は、パーソナルコンピュータ（パソコン、ＰＣ）及びその周辺機器で構成されており、カメラ１０の撮影画像が入力される。画像処理ユニット１１は、モータ１の軌跡に関する情報を蓄積するための軌跡データベース１２（軌跡ＤＢ）を有している。
【００２９】
画像処理ユニット１１は、画像処理プログラムにしたがって動作し、カメラ１０の撮影画像や軌跡データベース１２に蓄積された情報等に基づいて、モータ１の位置座標を推定演算する。
【００３０】
画像処理ユニット１１は、演算したモータ１の位置座標をシーケンサ２に出力する。シーケンサ２は、予め記憶された処理ステップ（動作パターン）や、画像処理ユニット１１から出力されたモータ１の位置座標等に基づいてモータ１を制御する。
【００３１】
図２は、モータ１とカメラ１０との配置関係を示す斜視図であり、図３（ａ）はカメラ１０による撮影画像の一例を示し、図３（ｂ）は、撮影画像上の座標におけるモータ１の軌跡を示している。図３（ｂ）中、Ｘ座標およびＹ座標の単位は画素である。
【００３２】
モータ１は、直交する３軸方向に移動可能になっている。直交する３軸方向のうち第１軸方向および第２軸方向は、水平面と平行に配置されている。第３軸方向は、鉛直方向と平行になっている。
【００３３】
本例では、モータ１の第１、第２軸方向（水平方向）における移動は、モータ１自身が駆動することで行われるようになっている。また、モータ１の第３軸方向（鉛直方向）における移動範囲は、第１、第２軸方向（水平方向）における移動範囲に比べて小さくなっている。
【００３４】
本例では、図３（ａ）に示すように、設備（ペースト拭き取り機）のスペース上の制約から、斜め視野となるようにカメラ１０が設置されている。すなわち、カメラ１０は撮影対象範囲に対して、真上ではなく斜め上方に設置されている。
【００３５】
図３（ｂ）に示すように、モータ１は、原位置から矢印ａ〜ｈの順に移動して原位置に戻るというサイクルを繰り返す。なお、矢印ａでの軌跡と矢印ｈでの軌跡とが僅かにずれているが、これは、モータ１の第３軸方向（鉛直方向）における位置が異なっているためである。また、矢印ｂ，ｃ、矢印ｄ，ｅおよび矢印ｆ，ｇでの軌跡も僅かにずれているが、この理由も同様である。
【００３６】
本例では、画像処理ユニット１１によるモータ１の位置計測を精度良く行うために、モータ１の所定位置（カメラ１０で撮影可能な位置）にマーカ（図示せず）が設けられている。
【００３７】
図４は、画像処理ユニット１１による画像処理を示すフローチャートである。図４のフローチャートでは、透視投影変換によるマッチングとトラッキングモデルによるマッチングとを組み合わせて処理を行う。具体的には、設備の立ち上げ時では透視投影変換によるマッチングを行い、動作中ではトラッキングモデルによるマッチングを行う。
【００３８】
ここで、トラッキングモデルとは、カメラ１０の撮影画像（フレーム）毎に更新されるモデル（テンプレート）のことを言い、詳細は後述する。なお、トラッキングモデルを追従型テンプレートを表現することもできる。
【００３９】
図４のフローチャートによる画像処理は、モータ１の電源が投入される前に開始される。まず、ステップＳ１００では、モータ１の電源を投入した直後であるか否かを判定する。電源投入直後でないと判定された場合（ＮＯ判定の場合）、モータ１の電源が投入されていないと判断してステップＳ１００を繰り返す。
【００４０】
一方、電源投入直後であると判定された場合（ＹＥＳ判定の場合）、ステップＳ１１０へ進み、透視投影変換によるマッチングを行って、モータ１の現在位置を計測する。透視投影変換によるマッチングの詳細については後述する。
【００４１】
また、ステップＳ１１０では、計測したモータ１の現在位置に基づいて初期マッチングモデルを作成する。この初期マッチングモデルは、トラッキングモデルによるマッチング（ステップＳ１４０）を初めて実行する際に必要となるものであり、詳細は後述する。
【００４２】
次いでステップＳ１２０では、計測したモータ１の現在位置をシーケンサ２に出力する。次いでステップＳ１３０では、モータ１が自動運転されているか否かを判定する。自動運転されていないと判定した場合（ＮＯ判定の場合）、処理を終了する。
【００４３】
一方、自動運転されていると判定した場合（ＹＥＳ判定の場合）、ステップＳ１４０へ進み、トラッキングモデルによるマッチングを行って、モータ１の現在位置を計測する。トラッキングモデルによるマッチングの詳細については後述する。
【００４４】
次いでステップＳ１５０では、計測したモータ１の現在位置をシーケンサ２に出力する。次いでステップＳ１３０に戻る。
【００４５】
なお、図５は、画像処理ユニット１１のディスプレイモニタに表示される画面（設備状態モニタ実行画面）の一例を示すものであり、設備状態モニタ実行画面には、カメラ１０による撮影画像、マッチングに用いられるテンプレート画像、およびシーケンサ２によって実行されている処理ステップ等が表示されるようになっている。
【００４６】
ここで、ステップＳ１１０の透視投影変換によるマッチングについて説明する。透視投影変換によるマッチングでは、斜めからの画像を真上からの画像へ幾何学変換を行う透視投影変換を採用することにより、１つのテンプレートだけでマッチングを行う。
【００４７】
具体的には、図３（ａ）に示す撮影画像、すなわち視点が斜めの撮影画像を、図６（ａ）に示す撮影画像、すなわち視点が真上の撮影画像に変換する。これにより、図３（ｂ）に示す座標、すなわち斜めから見た時のそのままのＸ、Ｙ座標を、図６（ｂ）に示す座標、すなわち真上から見た時の座標に置き換える。
【００４８】
そして、変換された撮影画像（視点が真上の撮影画像）と、予め作成された１つのテンプレートとを比較してマッチングを行い、モータ１の現在位置を計測する。
【００４９】
なお、マッチングの手法としては、例えば正規化相互相関およびピラミッドサーチ等を用いることができる。
【００５０】
そして、計測したモータ１の現在位置に基づいて、上述した初期マッチングモデルを生成する（初期マッチングモデル生成行程、初期マッチングモデル生成部）。具体的には、変換前の撮影画像（視点が斜めの撮影画像）からモータ１の現在位置およびその周辺の画像領域を切り出すことによって、初期マッチングモデルを生成する。
【００５１】
次に、ステップＳ１４０のトラッキングモデルによるマッチングについて説明する。図７は、トラッキングモデルによるマッチングの考え方を説明する図である。
【００５２】
トラッキングモデルによるマッチングでは、まず、カメラ１０の撮影画像（フレーム）に対する探索対象領域を決定して探索対象画像を生成する（探索対象画像生成行程、探索対象画像生成部）。
【００５３】
具体的には、前回のフレームのマッチング部位の重心位置（前フレーム位置）と、今回のフレームのマッチング部位の重心位置（現フレーム位置）とから、次回のフレームのマッチング部位の重心位置として予測（推定）される位置（次フレームの予測位置）を算出する。本例では、次フレームの予測位置を、次の数式を用いて算出する。
【００５４】
次フレームの予測位置（Ｘ３，Ｙ３）＝現フレーム位置（Ｘ２，Ｙ２）＋前フレーム差分（Ｘ２−Ｘ１，Ｙ２−Ｙ１）
この次フレームの予測位置に基づいて次フレームのマッチング領域（サーチ領域）を絞る。要するに、動作軌跡上の現位置と前位置とから次の位置を推定してサーチ領域を絞る。
【００５５】
そして、サーチ領域を探索対象画像とし、探索対象画像をテンプレート（マッチングモデル）と比較してマッチングを行い、モータ１の現在位置を計測する（パターンマッチング行程、パターンマッチング部）。サーチ領域を絞ることで、サーチ時間の短縮が図られる。
【００５６】
さらに、トラッキングモデルによるマッチングでは、現フレームのマッチング部位を、次フレームのテンプレートとしてモデル更新する（マッチングモデル更新行程、マッチングモデル更新部）。より具体的には、現フレームからマッチング部位を切り出して更新マッチングモデルを生成し、この更新マッチングモデルを次フレームで用いるマッチングモデルとする。
【００５７】
すなわち、フレーム毎にトラッキングモデル（追従型テンプレート）を作成することでテンプレートを自動生成する。このため、各フレームに対応したテンプレートを予め生成しておく必要がない。
【００５８】
なお、本例では、フレーム間における対象部位の形状及び輝度変化を無視できると想定している。また、計測誤差の累積を抑制するために、例えばモータ１が原位置に来た時に計測位置をリセットするようにしてもよい。
【００５９】
ここで、本実施形態では、カメラ１０の視野が斜めになっているので、モータ１の位置によってモータ１とカメラ１０との遠近差が生じてモータ１の画像のサイズに差が生じることとなるのであるが、毎秒３０フレームという高速でマッチング処理を行うことによって、現フレームと次フレームとでモータ１の位置が大きく変化しないようにし、その結果、現フレームから切り出して作成したテンプレートによって、次フレームのマッチングを支障なく行うことができるようにしている。
【００６０】
このように毎秒３０フレームという高速でマッチング処理を行うために、トラッキングモデルによるマッチングでは、探索対象領域を絞り込むことによって処理を高速化している。しかも、絞り込む探索対象領域は、前フレームでのマッチング位置と現フレームでのマッチング位置とから算出されるので、絞り込む探索対象領域を予め設定しておく必要がない。
【００６１】
また、トラッキングモデルによるマッチングを初めて実行する場合に用いる初期マッチングモデルも自動生成するので、設備の立ち上げ時にモータ１がどの位置にあっても、位置検出（視覚センシング）を開始することができる。
【００６２】
初期マッチングモデルは、透視投影変換によるマッチングによって計測されたモータ１の位置に基づいて生成されるので、設備の立ち上げ時にモータ１がどの位置にあっても、１つのテンプレートだけでマッチングを行うことができる。
【００６３】
すなわち、斜めからの画像を真上からの画像へ幾何学変換を行うことによって、モータ１の位置にかかわらず画像中のモータ１のサイズを均一化させることができるので、１つのテンプレートだけでマッチングを行うことができる。
【００６４】
このように、本実施形態では、透視投影変換によるマッチングにおいて、予め生成されたテンプレートを１つのみ用い、トラッキングモデルによるマッチングにおいては、自動生成されたテンプレートを用いるので、テンプレート（マッチングモデル）を予め生成する作業負担が極めて低い。
【００６５】
さらに、本実施形態では、トラッキングモデルによるマッチングにおいて絞り込む探索対象領域を、前フレームでのマッチング位置と現フレームでのマッチング位置とから決定するので、絞り込む探索対象領域を予め設定しておく必要がない。
【００６６】
以上のことから、汎用性に極めて優れた視覚センシングを実現することができる。
【００６７】
（他の実施形態）
なお、上記実施形態では、本発明における視覚センシング方法および視覚センシング装置をペースト拭き取り機に適用した例を示したが、これに限定されることなく、種々のマッチング対象物に対して本発明を適用可能である。
【００６８】
また、上記実施形態では、カメラ１０の視野が斜めになっているが、設備の高さに余裕がある場合にはカメラ１０の視野を真っ直ぐにしてもよい。カメラ１０の視野を真っ直ぐである場合には、透視投影変換を行うことなく初期マッチングモデルを生成することができる。
【００６９】
また、上記実施形態では、探索対象画像の生成およびマッチングモデルの更新を毎フレームで行っているが、これに限定されるものではなく、例えばフレーム間でのモータ１の移動距離が非常に短いような場合には、探索対象画像の生成およびマッチングモデルの更新を隔フレームで行うようにしてもよい。
【符号の説明】
【００７０】
１ モータ（マッチング対象物）
１０ カメラ（撮像手段）
１１ 画像処理ユニット（画像処理手段）
【特許請求の範囲】
【請求項１】
撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、
前記パターンマッチング行程で用いた前記撮影画像のうち前記マッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、前記更新マッチングモデルに基づいて前記マッチングモデルを更新するマッチングモデル更新行程とを含むことを特徴とする視覚センシング方法。
【請求項２】
前記撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、
前記パターンマッチング行程では、前記撮影画像の代わりに前記探索対象画像を用いて前記パターンマッチングを行い、
前記探索対象画像生成行程では、以前に行った複数回の前記パターンマッチング行程で求めたマッチング位置に基づいて前記探索対象領域を決定することを特徴とする請求項１に記載の視覚センシング方法。
【請求項３】
前記パターンマッチング行程を初めて行う場合に用いる前記マッチングモデルを初期マッチングモデルとしたとき、
前記初期マッチングモデルを生成する初期マッチングモデル生成行程を含み、
前記初期マッチングモデル生成行程では、前記撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、前記撮影画像から前記初期マッチングモデルを生成することを特徴とする請求項１または２に記載の視覚センシング方法。
【請求項４】
撮像手段（１０）と、
前記撮像手段（１０）によって撮影された撮影画像を処理する画像処理手段（１１）とを備え、
前記画像処理手段（１１）は、
前記撮像手段（１０）によって撮影された撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング部と、
前記パターンマッチング部で用いた前記撮影画像のうち前記マッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、前記更新マッチングモデルに基づいて前記マッチングモデルを更新するマッチングモデル更新部とを有していることを特徴とする視覚センシング装置。
【請求項５】
前記画像処理手段（１１）は、前記撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成部を有し、
前記パターンマッチング部は、前記撮影画像の代わりに前記探索対象画像を用いて前記パターンマッチングを行い、
前記探索対象画像生成部は、前記パターンマッチング部が以前に求めた複数のマッチング位置に基づいて前記探索対象領域を決定することを特徴とする請求項４に記載の視覚センシング装置。
【請求項６】
前記パターンマッチング部が初めてパターンマッチングを行う場合に用いる前記マッチングモデルを初期マッチングモデルとしたとき、
前記画像処理手段（１１）は、前記初期マッチングモデルを生成する初期マッチングモデル生成部を有し、
前記初期マッチングモデル生成部は、前記撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、前記撮影画像から前記初期マッチングモデルを生成することを特徴とする請求項４または５に記載の視覚センシング装置。
【請求項１】
撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、
前記パターンマッチング行程で用いた前記撮影画像のうち前記マッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、前記更新マッチングモデルに基づいて前記マッチングモデルを更新するマッチングモデル更新行程とを含むことを特徴とする視覚センシング方法。
【請求項２】
前記撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、
前記パターンマッチング行程では、前記撮影画像の代わりに前記探索対象画像を用いて前記パターンマッチングを行い、
前記探索対象画像生成行程では、以前に行った複数回の前記パターンマッチング行程で求めたマッチング位置に基づいて前記探索対象領域を決定することを特徴とする請求項１に記載の視覚センシング方法。
【請求項３】
前記パターンマッチング行程を初めて行う場合に用いる前記マッチングモデルを初期マッチングモデルとしたとき、
前記初期マッチングモデルを生成する初期マッチングモデル生成行程を含み、
前記初期マッチングモデル生成行程では、前記撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、前記撮影画像から前記初期マッチングモデルを生成することを特徴とする請求項１または２に記載の視覚センシング方法。
【請求項４】
撮像手段（１０）と、
前記撮像手段（１０）によって撮影された撮影画像を処理する画像処理手段（１１）とを備え、
前記画像処理手段（１１）は、
前記撮像手段（１０）によって撮影された撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング部と、
前記パターンマッチング部で用いた前記撮影画像のうち前記マッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、前記更新マッチングモデルに基づいて前記マッチングモデルを更新するマッチングモデル更新部とを有していることを特徴とする視覚センシング装置。
【請求項５】
前記画像処理手段（１１）は、前記撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成部を有し、
前記パターンマッチング部は、前記撮影画像の代わりに前記探索対象画像を用いて前記パターンマッチングを行い、
前記探索対象画像生成部は、前記パターンマッチング部が以前に求めた複数のマッチング位置に基づいて前記探索対象領域を決定することを特徴とする請求項４に記載の視覚センシング装置。
【請求項６】
前記パターンマッチング部が初めてパターンマッチングを行う場合に用いる前記マッチングモデルを初期マッチングモデルとしたとき、
前記画像処理手段（１１）は、前記初期マッチングモデルを生成する初期マッチングモデル生成部を有し、
前記初期マッチングモデル生成部は、前記撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、前記撮影画像から前記初期マッチングモデルを生成することを特徴とする請求項４または５に記載の視覚センシング装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−６８８８５（Ｐ２０１２−６８８８５Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１２９１４（Ｐ２０１０−２１２９１４）
【出願日】平成２２年９月２３日（２０１０．９．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２３日（２０１０．９．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]