画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置
【課題】上述のようなコンベアトラッキング等などの画像処理システムにおいて、撮像部が撮像を行うための撮像開始条件をユーザが容易に設定できるユーザ支援装置、その機能を実現するためのプログラム、およびその機能を実装した画像処理装置を提供する。
【解決手段】ユーザ支援装置は、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、検出すべきワークを示す領域の指定を受付ける入力手段と、撮像部の撮像範囲と搬送装置の物理的長さとの関係を利用して、検出すべきワークを示す領域の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する決定手段とを含む。
【解決手段】ユーザ支援装置は、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、検出すべきワークを示す領域の指定を受付ける入力手段と、撮像部の撮像範囲と搬送装置の物理的長さとの関係を利用して、検出すべきワークを示す領域の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する決定手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンベアトラッキング等などの画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
ファクトリーオートメーション（ＦＡ）分野においては、省力化のため、画像処理を用いて各種の工程を制御する技術が多用されている。このような画像処理技術の適用例の一つとして、ベルトコンベア等の搬送装置によってワークを搬送するとともに、その搬送中のワークを移動機械（以下、「産業用ロボット」あるいは単に「ロボット」とも称す。）を用いて、追跡（トラッキング）および把持するような作業工程がある。このような作業工程は、コンベアトラッキング等と称される。
【０００３】
このコンベアトラッキングの技術においては、撮像装置を用いて搬送装置上のワークを撮像し、その撮像によって得られた画像に対して、画像処理装置を用いてパターンマッチングあるいは２値化処理などの計測処理を行うことで、各ワークの存在位置（座標値）を特定する。そして、この特定された各ワークの存在位置（座標値）に基づいて、ロボットが各ワークを追跡および把持する。
【０００４】
例えば、特許文献１（特開２００２−１１３６７９号公報）は、搬送体によって搬送される複数のワークを撮像し、当該撮像結果から認識された各ワークの位置座標に基づいて複数のワークのハンドリングを制御するトラッキング方法を開示している。より具体的には、特許文献１に記載のトラッキング方法は、撮像手段による撮像領域とその直後の撮像領域とがワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像し、撮像領域内に全形を含むワークのみ位置座標を認識するという構成を採用する。
【０００５】
すなわち、特許文献１に記載のトラッキング方法においては、コンベアが一定量移動する毎に撮像に行われる。このとき、対象のワークの撮像／計測のもれが生じないように、互いに連続する撮像範囲の重複範囲が、ワークサイズ１つ分以上であって、カメラ視野の半分より小さくなるように、撮像タイミング（トリガ間隔）が設定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１１３６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般的には、互いに連続する撮像範囲の重複範囲は、各生産ラインなどに応じて調整が必要となる場合が多い。しかしながら、特許文献１に記載のトラッキング方法では、この撮像範囲の調整方法については何ら言及されていない。
【０００８】
例えば、ワークが食料品などのように不定形状である場合は、ワークサイズ（ワークの大きさ）を正確に把握することが難しいため、撮像範囲の重複範囲（すなわち、撮像タイミング）の調整に時間および手間がかかるという課題がある。
【０００９】
さらに、画像処理装置における計測処理の方法によっては、重複範囲として設定すべき最小値がワークサイズより大きくなる場合がある。例えば、予め登録したモデルとのマッチング処理を用いて、ワークの位置を検出する場合、重複範囲として設定すべき最小値は、モデルとして登録すべき領域の外接矩形（モデルが回転する場合は、外接矩形の対角線）としなければならない。そうでなければ、ワークを正確に計測できないという事態が生じ得る。
【００１０】
そこで、本発明は、上述のような課題を解決するためになされたものであり、その目的は、上述のようなコンベアトラッキング等などの画像処理システムにおいて、撮像部が撮像を行うための撮像開始条件をユーザが容易に設定できるユーザ支援装置、その機能を実現するためのプログラム、およびその機能を実装した画像処理装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明のある局面によれば、画像処理システムに向けられたユーザ支援装置を提供する。画像処理システムは、搬送装置上を搬送されるワークを撮像するように配置された撮像部と、撮像部に接続される画像処理装置とを含む。ユーザ支援装置は、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、撮像部の撮像範囲と搬送装置の属性との関係を利用して、決定された重複範囲の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する撮像開始条件決定手段とを含む。
【００１２】
好ましくは、ユーザ操作に応答して、決定された撮像開始条件を変更する変更手段をさらに含む。
【００１３】
好ましくは、ユーザ支援装置は、撮像部の撮像によって得られた画像に対して計測処理を行う計測手段をさらに含む。重複範囲決定手段は、計測処理により検出された範囲から重複範囲を決定する。
【００１４】
あるいは好ましくは、重複範囲決定手段は、表示手段に表示される画像に対して、検出すべき領域の指定に応答して、重複範囲を決定する。
【００１５】
あるいは好ましくは、重複範囲決定手段は、少なくとも検出すべきワークを示す領域を含むように、重複範囲を決定する。
【００１６】
さらに好ましくは、重複範囲決定手段は、検出すべきワークを示す領域の対角線より長くなるように、重複範囲を決定する。
【００１７】
あるいは好ましくは、重複範囲決定手段は、搬送装置上を搬送されるワークに対応する範囲とともに、一連の撮像の対象となる複数の撮像範囲を同時に表示する手段と、表示される複数の撮像範囲に対するユーザ操作に応答して、重複範囲を決定する手段とを含む。
【００１８】
好ましくは、ユーザ支援装置は、撮像開始条件と画像処理装置での計測処理時間との関係から、搬送装置で許容される搬送速度を決定する手段をさらに含む。
【００１９】
好ましくは、ユーザ支援装置は、撮像開始条件と画像処理装置での計測処理時間との関係から、搬送装置で許容される搬送速度を決定する手段をさらに含む。
【００２０】
この発明の別の局面に従えば、コンピュータにより実行されることで、当該コンピュータを画像処理システムに向けられたユーザ支援装置として機能させるプログラムを提供する。画像処理システムは、搬送装置上を搬送されるワークを撮像するように配置された撮像部と、撮像部に接続される画像処理装置とを含む。プログラムは、コンピュータを、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、撮像部の撮像範囲と搬送装置の属性との関係を利用して、決定された重複範囲の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する撮像開始条件決定手段として機能させる。
【００２１】
この発明のさらに別の局面に従えば、搬送装置上を搬送されるワークを撮像するように配置された撮像部に接続される画像処理装置を提供する。画像処理装置は、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、撮像部の撮像範囲と搬送装置の属性との関係を利用して、決定された重複範囲の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する撮像開始条件決定手段とを含む。
【発明の効果】
【００２２】
本発明によれば、コンベアトラッキング等などの画像処理システムにおいて、撮像部が撮像を行うための撮像開始条件をユーザが容易に設定できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムの構成を示す模式図である。
【図２】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムにおける位置決めおよびトラッキング処理を説明するための図である。
【図３】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムのハードウェア構成について示す模式図である。
【図４】本発明の実施の形態に係る視覚センサによる撮像範囲を説明するための図である。
【図５】本発明の実施の形態に係る視覚センサと接続可能なサポート装置のハードウェア構成を示す模式図である。
【図６】本発明の実施の形態に係るキャリブレーションを説明するための図である。
【図７】図６に示すキャリブレーションによって取得されるパラメータセットの一例を示す図である。
【図８】本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【図９】本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【図１０】本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【図１１】本発明の実施の形態１に係るユーザインターフェイスの一例を示す図である。
【図１２】本発明の実施の形態１に係るユーザインターフェイスの一例を示す図である。
【図１３】本発明の実施の形態１に係る撮像開始条件の設定処理の手順を示すフローチャートである。
【図１４】本発明の実施の形態２に係るユーザインターフェイスの一例を示す図である。
【図１５】本発明の実施の形態２に係る撮像開始条件の設定処理の手順を示すフローチャートである。
【図１６】本発明の実施の形態２に係るユーザインターフェイスの別の一例を示す図である。
【図１７】本発明の実施の形態３に係るユーザインターフェイスの一例を示す図である。
【図１８】図１７に対応するワークの配置状態を説明するための図である。
【図１９】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムにおける搬送速度の上限値を決定する手順を示すフローチャートである。
【図２０】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムにおける制御動作を示すシーケンス図である。
【図２１】本発明の実施の形態に係るロボット制御装置における処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２５】
＜Ａ．システム構成＞
図１は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムの構成を示す模式図である。図１に示すコンベアトラッキングシステムは、２つの搬送装置（コンベア）１０および２０を含む。コンベア１０および２０は、それぞれ駆動ローラ１２および２２によって回転駆動される。以下では、コンベア１０および２０をそれぞれライン１およびライン２とも称す。図１に示す例では、ライン１は、紙面右側に移動し、ライン２は、紙面左側に移動する。ライン１には、搬出装置３０等によって紙面左側からワークＷがランダムに提供される。このライン１上のワークＷは、紙面左側から紙面右側へ移動する。ワークＷとしては、典型的には、お菓子等の食品や各種の錠剤等が想定される。
【００２６】
本実施の形態に係る視覚センサ１００は、ライン１上の所定位置に設けられる。後述するように、視覚センサ１００は、ワークなどの被写体を撮像するための撮像部と当該撮像部によって撮像された画像を処理するための画像処理部とを一体的に構成したものである。但し、撮像部と画像処理部とを別体として構成してもよい。
【００２７】
視覚センサ１００は、その撮像範囲がライン１の幅方向（搬送方向とは直交する方向）の全体を含むように設定される。そして、視覚センサ１００が所定の撮像開始条件に従って撮像を行うことで、ライン１上をランダムに流れてくるワークＷを順次撮像する。視覚センサ１００は、この順次撮像される画像に対してパターンマッチングや２値化処理といった計測処理を行うことで、各ワークの位置決めおよびトラッキング処理を行う。このように、視覚センサ１００の撮像部（図３に示す撮像部１１０）は、搬送装置であるコンベア１０上を搬送されるワークＷを撮像するように配置されている。そして、この撮像部に画像処理装置（図３に示す画像処理部１２０）が接続される。
【００２８】
ライン１の搬送方向には、視覚センサ１００の下流側に、ワークＷを把持してライン２へ移動させるロボット３００が配置されている。このロボット３００は、ワークＷを把持するためのハンド先端を有しており、このハンド先端を目的位置に移動させることで、ライン２上のワークを把持する。すなわち、ロボット３００は、搬送装置であるコンベア１０（ライン１）の搬送経路において、視覚センサ１００の撮像部の撮像範囲より下流側に配置されるとともにワークＷを取り扱う移動機械に相当する。より具体的には、ロボット３００は、そのハンド先端を目的のワークＷに位置決めして、ピックアップしてライン２上に整列する。
【００２９】
さらに、ロボット３００は、ライン１に沿って移動するための移動機構４００（図２参照）上に配置されており、所定の稼動範囲に亘って移動する。このロボット３００の稼動範囲をトラッキング範囲とも称す。
【００３０】
ロボット３００のトラッキング処理および位置決め処理については、ライン１に設けられたエンコーダ１４による検出結果を用いて制御される。このエンコーダ１４は、典型的には、ロータリーエンコーダが採用され、回転に伴ってパルス信号を発生する。この発生するパルス信号のパルス数をカウントすることで、コンベア１０（ライン１）と連結されたローラの回転数、すなわち、エンコーダ１４が発生するパルス信号は、搬送装置であるコンベア１０の搬送経路における移動量を示す信号に相当し、このパルス信号に基づいて、コンベア１０の移動量が算出される。
【００３１】
ロボット３００は、ロボット制御装置２００からの指示に従って動作する。すなわち、ロボット制御装置２００は、移動機械であるロボット３００を制御するための制御装置である。ロボット制御装置２００は、視覚センサ１００とネットワークＮＷを介して接続されており、視覚センサ１００によって検出された各ワークＷの位置に基づいて、ロボット３００に対してワークＷの把持動作に必要な指示を与える。
【００３２】
ロボット制御装置２００には、ロボット３００のキャリブレーションなどを行うためのティーチングペンダント２１００が接続されている。ユーザは、ティーチングペンダント２１００を操作して、キャリブレーションなどに必要な位置にロボット３００を移動させる。
【００３３】
ネットワークＮＷには、視覚センサ１００およびロボット制御装置２００に加えて、操作表示装置５００およびサポート装置６００が接続されていてもよい。操作表示装置５００は、視覚センサ１００からの処理結果やロボット制御装置２００からのロボット３００の動作状態などを表示するとともに、ユーザからの操作に応答して、視覚センサ１００および／またはロボット制御装置２００へ各種の指示を与える。
【００３４】
図１に示すコンベアトラッキングシステムにおいては、撮像範囲を重複させて撮像を行った場合に、同一のワークが重複して撮像されることがある。この場合には、同一のワークが重複して検出されることになる。そのため、ワークの位置座標が検出されるたびに、先に検出されているワークと重複しているか否かをチェックし、重複した検出結果を削除する重複排除機能が実装される。この重複排除機能は、視覚センサ１００および／またはロボット制御装置２００内に実装されることが好ましい。
【００３５】
＜Ｂ．位置決めおよびトラッキング処理＞
次に、図１に示すコンベアシステムにおける位置決めおよびトラッキング処理の詳細について説明する。
【００３６】
図２は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムにおける位置決めおよびトラッキング処理を説明するための図である。図２を参照して、視覚センサ１００は、内蔵の撮像部を用いてライン１を撮像する。視覚センサ１００の撮像動作は、視覚センサ１００で発行された撮像指示、または、ロボット制御装置２００で発行された撮像指示に応じて開始される。
【００３７】
本実施の形態に係るコンベアトラッキングシステムにおいては、この撮像指示を発行するための撮像開始条件（典型的には、後述するように、コンベアの移動量で定義される撮像周期）をより容易に決定するための支援ロジックが実装される。
【００３８】
撮像指示がロボット制御装置２００で発行される場合には、撮像指示は、視覚センサ１００とロボット制御装置２００とを接続するネットワークＮＷ経由で搬送される。このネットワークＮＷは、典型的には、イーサネット（登録商標）などの汎用的なネットワークを採用することができる。
【００３９】
視覚センサ１００は、撮像指示に応答して撮像を開始する。これにより、視覚センサ１００は、撮像範囲を写した画像を順次取得する。そして、視覚センサ１００は、当該画像に対して計測処理（典型的には、予め登録されたワークＷについてのモデル画像に基づくパターンマッチング処理、あるいは、２値化処理）を実行する。さらに、視覚センサ１００は、この計測処理によって得られた各ワークＷの撮像時の位置情報（Ｘ，Ｙ，θ）をロボット制御装置２００へ送信する。
【００４０】
このように、視覚センサ１００は、撮像部の撮像によって得られた画像に対して計測処理を行うことで、画像中の予め登録されたワークに対応する領域の位置情報を取得する。
【００４１】
視覚センサ１００から送信される位置情報は、コンベア１０上のワークＷの位置（Ｘ，Ｙ）およびワークＷの回転角度（θ）を含む。
【００４２】
また、ワークＷの座標値（Ｘ，Ｙ）には、ロボット制御装置２００における処理を簡素化する観点から、ロボット３００を制御するための座標系に換算した値が用いられる。すなわち、視覚センサ１００は、ワークＷの位置情報をロボット３００の座標系で定義された値としてロボット制御装置２００へ送信する。
【００４３】
より具体的には、図２に示すように、視覚センサ１００（撮像部１１０）が撮像によって、幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］の画像が取得できるとする。この画像に対して設定されるｘｙ座標系（以下、「画像座標系」とも称す。）において定義される座標値（ｘｉ，ｙｉ）をロボット３００のハンド先端（ピッキング）位置に対して設定されるＸＹ座標系（以下、「ロボット座標系」とも称す。）の座標値に変換する。この座標変換に係る変換式およびパラメータについては、後述する。
【００４４】
このような座標変換を行うことで、ロボット３００のハンド先端（ピッキング）位置をＸ座標（コンベアの搬送方向）およびＹ座標（コンベアの搬送方向とは直交する方向）で定義しておき、このＸＹ座標系（ロボット座標系）を用いてパターンマッチング処理により検出された各ワークの位置を特定することができる。
【００４５】
このように、位置情報は、撮像によって取得された画像中の予め登録されたワークに対応する領域を移動機械であるロボット３００の座標系「ロボット座標系」で表した座標値を含む。また、各ワークＷの計測された位置情報をロボット座標系の値として出力できるように、視覚センサ１００およびロボット制御装置２００は、予めキャリブレーションされている。このキャリブレーションについては、後述する。
【００４６】
また、ワークＷの回転角度（θ）は、ワークＷのモデル画像を基準とした場合の回転角度を意味する。すなわち、位置情報は、予め登録されたワークの姿勢を基準とした、画像中の当該ワークに対応する領域の回転角度をさらに含む。ワークＷの形状によっては、この回転角度の情報に基づいて、ロボット３００のハンド先端の回転角度などが適宜制御される。
【００４７】
ロボット制御装置２００は、エンコーダ１４からのパルス信号に含まれるパルス数をカウントし、予め定められた値以上の数のパルスが入力されたタイミングで、ネットワークＮＷを経由して視覚センサ１００に対して撮像指示を送出する。
【００４８】
視覚センサ１００からの各ワークの位置情報は、ネットワークＮＷを介してロボット制御装置２００へ送信され、ロボット制御装置２００の内部にあるメモリに格納される。また、ロボット制御装置２００は、エンコーダ１４からのパルス信号を受けるたびに、メモリ内に格納されているすべてのワークＷの座標値（Ｘ，Ｙ）を更新する。これは、ロボット制御装置２００のメモリ上において、実際にベルトコンベア上を搬送するワークＷをトラッキングするためである。そして、いずれかのワークＷの更新後の位置情報（座標値）がロボット３００のトラッキング範囲に入ると、ロボット３００に対して把持動作に必要な指示を与える。
【００４９】
ライン１に設けられたエンコーダ１４の検出結果に応じて生成されるパルス信号は、視覚センサ１００およびロボット制御装置２００へ入力されるように構成されている。視覚センサ１００およびロボット制御装置２００は、パルス信号に含まれるパルス数をカウントするためのエンコーダカウンタをそれぞれ有している。エンコーダ１４からのパルス信号は、並列的に、視覚センサ１００およびロボット制御装置２００に入力されるので、それぞれのエンコーダカウンタを同じタイミングで初期化（カウンタリセット）しておけば、その後に入力されるパルス信号についてのカウント値は互いに同じ値となる。カウント値についての同期をとることができる。
【００５０】
より具体的には、視覚センサ１００およびロボット制御装置２００には、いずれも、エンコーダ１４からのパルス信号に含まれる１パルスあたりのコンベアの移動量が予め設定されている。さらに、視覚センサ１００およびロボット制御装置２００のそれぞれのエンコーダカウンタについても、互いに同一のパラメータ（カウンタ最大値、カウンタ最小値、１パルスに対する増加値など）が設定されている。すなわち、視覚センサ１００のエンコーダカウンタは、ロボット制御装置２００のエンコーダカウンタとの間で、カウントに関して同一のパラメータが設定されている。
【００５１】
また、これらのエンコーダカウンタによるカウント値は、生産ラインの稼動前に０に初期化される。すなわち、視覚センサ１００のエンコーダカウンタは、パルス信号に含まれるパルス数のカウント開始前に、ロボット制御装置２００のエンコーダカウンタとともに、リセットされる。
【００５２】
このように本実施の形態においては、視覚センサ１００とロボット制御装置２００との間でコンベア１０の搬送経路における移動量を同期して保持する手段が実現される。
【００５３】
上述のような構成の下、視覚センサ１００は、ロボット制御装置２００からの撮像指示に従って実際に撮像を行ったときのカウント値を各ワークの位置情報に付加して、ロボット制御装置２００へ送信する。すなわち、視覚センサ１００は、ワークＷの位置情報と対応するコンベア１０における移動量とをロボット制御装置２００へ送信する。
【００５４】
上述したように、視覚センサ１００とロボット制御装置２００との間でカウント値を同期して保持しているため、ロボット制御装置２００から撮像指示を送出したタイミングと、撮像指示に応答して視覚センサ１００が実際に撮像を行ったタイミングとの間にライムラグがあっても、共通の時間軸上で、すなわち同期されたカウント値を用いて、実際に撮像が行われたタイミングが特定される。
【００５５】
このように、視覚センサ１００は、検出されたワークＷの位置情報と、当該位置情報の取得に用いた画像を撮像したときのコンベア１０における移動量とをロボット制御装置２００へ送信する。このワークＷの位置情報の取得に用いた画像を撮像したときの移動量は、カウンタによるカウント値で示される。
【００５６】
ロボット制御装置２００では、視覚センサ１００から受信した撮像時のカウント値を用いて、対応する位置情報を補正した上で、自装置のメモリに格納する。これによって、ライン速度が高く、撮像指示の出力から現実の撮像までのタイムラグが、ロボット３００における位置決めおよびトラッキング処理に影響を与えるという事態を回避できる。
【００５７】
＜Ｃ．ハードウェア構成＞
図３は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムのハードウェア構成について示す模式図である。図３を参照して、視覚センサ１００は、撮像部１１０と、画像処理部１２０とを含む。
【００５８】
撮像部１１０は、撮像範囲に存在する被写体を撮像する装置であり、主体たる構成要素として、レンズや絞りなどの光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの受光素子とを含む。撮像部１１０は、画像処理部１２０からの指令に従って撮像するとともに、その撮像によって得られた画像データを画像処理部１２０へ出力する。
【００５９】
画像処理部１２０は、ＣＰＵ（Central Processing Unit）１２２と、メモリ１２４と、撮像制御部１２６と、通信インターフェイス（Ｉ／Ｆ）１２８と、入出力インターフェイス（Ｉ／Ｆ）１３０と、エンコーダカウンタ１３２とを含む。これらのコンポーネントは、バス１３４を介して互いにデータ通信可能に接続されている。
【００６０】
ＣＰＵ１２２は、画像処理部１２０において主たる演算を行うプロセッサである。メモリ１２４は、ＣＰＵ１２２によって実行される各種プログラム、撮像部１１０によって撮像された画像データ、各種パラメータなどを格納する。典型的には、メモリ１２４は、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性記憶装置と、ＦＬＡＳＨメモリなどの不揮発性記憶装置とからなる。
【００６１】
撮像制御部１２６は、ＣＰＵ１２２などからの内部コマンドに従って、接続されている撮像部１１０における撮像動作を制御する。撮像制御部１２６は、撮像部１１０に対して各種コマンドを送信するインターフェイスと、撮像部１１０からの画像データを受信するインターフェイスとを有している。
【００６２】
通信インターフェイス１２８は、ロボット制御装置２００との間で各種データを遣り取りする。典型的には、視覚センサ１００およびロボット制御装置２００とはイーサネット（登録商標）を介して接続されており、通信インターフェイス１２８は、このようなイーサネット（登録商標）に準拠したハードウェアである。
【００６３】
入出力インターフェイス１３０は、画像処理部１２０から外部へ各種信号を出力し、あるいは、外部からの各種信号を入力する。特に、入出力インターフェイス１３０は、エンコーダ１４で生成されるパルス信号を受け入れ、その信号をデジタル信号に変換してエンコーダカウンタ１３２へ出力する。
【００６４】
エンコーダカウンタ１３２は、エンコーダ１４からのパルス信号に含まれるパルス数をカウントする。このエンコーダカウンタ１３２は、基本的には、ＣＰＵ１２２の演算サイクルとは独立して動作するため、エンコーダ１４からのパルス信号に含まれるパルス数を取り逃すことがない。
【００６５】
一方、ロボット制御装置２００は、演算処理部２１０と、通信インターフェイス（Ｉ／Ｆ）２２８と、入出力インターフェイス（Ｉ／Ｆ）２３０と、エンコーダカウンタ２３２と、ピッキング制御部２４０と、移動制御部２５０とを含む。
【００６６】
演算処理部２１０は、視覚センサ１００からの位置情報に基づいて、ロボット３００および移動機構４００に対してコマンドを出力するための演算を行うプロセッサであり、それぞれのワークＷをトラッキングするためのメモリ２２０を含む。メモリ２２０には、視覚センサ１００の計測処理によって検出されたそれぞれのワークＷの位置情報が格納される。演算処理部２１０は、対象のコンベアの移動（エンコーダ１４からのパルス信号に基づいて検出）に応じて、それぞれのワークＷの位置情報を順次更新する。
【００６７】
通信インターフェイス（Ｉ／Ｆ）２２８は、視覚センサ１００の画像処理部１２０との間で各種データを遣り取りする。典型的には、視覚センサ１００およびロボット制御装置２００とはイーサネット（登録商標）を介して接続されており、通信インターフェイス２２８は、このようなイーサネット（登録商標）に準拠したハードウェアである。
【００６８】
入出力インターフェイス２３０は、ロボット制御装置２００から外部へ各種信号を出力し、あるいは、外部からの各種信号を入力する。特に、入出力インターフェイス２３０は、エンコーダ１４で生成されるパルス信号を受け入れ、その信号をデジタル信号に変換してエンコーダカウンタ２３２へ出力する。
【００６９】
エンコーダカウンタ２３２は、エンコーダ１４からのパルス信号に含まれるパルス数をカウントする。このエンコーダカウンタ２３２は、基本的には、演算処理部２１０の演算サイクルとは独立して動作するため、エンコーダ１４からのパルス信号に含まれるパルス数を取り逃すことがない。
【００７０】
ピッキング制御部２４０は、演算処理部２１０などからの内部コマンドに従って、接続されているロボット３００における把持動作を制御する。ピッキング制御部２４０は、ロボット３００のそれぞれの可動軸における目標位置などを送信するインターフェイスと、ロボット３００のそれぞれの可動軸における現在位置を受信するインターフェイスとを有している。
【００７１】
移動機構４００は、演算処理部２１０などからの内部コマンドに従って、接続されているロボット３００を駆動する移動機構４００におけるトラッキングを制御する。移動機構４００は、移動機構４００の目標位置および目標速度などを送信するインターフェイスと、移動機構４００の移動軸における現在位置を受信するインターフェイスとを有している。
【００７２】
＜Ｄ．撮像開始条件＞
本実施の形態に係るコンベアトラッキングシステムは、コンベア上を搬送されるワークを順次撮像するための撮像開始条件を決定するための支援機能を提供する。この撮像開始条件は、コンベア１０の搬送速度が変動した場合であっても、対象のワークの撮像もれや計測もれ（検出もれ）が生じないように、コンベア１０の移動量に関連付けて定義される。より具体的には、コンベア１０が所定距離だけ進むごとに、撮像部１１０を用いて撮像を行う。そのため、典型的な撮像開始条件は、撮像指示を発生する周期を示すコンベア１０の移動量（エンコーダ１４からのパルス信号のカウント値）として定義される。すなわち、エンコーダカウンタ１３２または２３２のカウント値が、撮像開始条件として設定された所定値だけ増加するごとに、撮像指示が発行される。この撮像指示に応答して、撮像部１１０による撮像範囲の撮像および撮像によって得られた画像に対する計測処理が行われる。また、このような撮像指示を発生する周期をトリガ間隔とも称す。
【００７３】
図４は、本発明の実施の形態に係る視覚センサ１００による撮像範囲を説明するための図である。図４（ａ）を参照して、まず、視覚センサ１００（撮像部１１０）が撮像によって、幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］の画像が取得できるとする。一方、コンベア１０上のワークＷは、コンベア１０の搬送速度で移動することになる。図４（ａ）の状態から所定期間後に撮像指示が与えられ、視覚センサ１００（撮像部１１０）による撮像が行われた場合に、図４（ｂ）に示すような画像が取得されたとする。
【００７４】
本実施の形態に係るコンベアトラッキングシステムでは、対象のワークＷの撮像／計測のもれが生じないように、一連の撮像の対象となる撮像範囲の間の重複範囲、すなわち、前回の撮像範囲と今回の撮像範囲との間の重複範囲（図４（ｂ）参照）が、少なくともワークＷ（モデルとして登録すべき領域）を含むように、撮像開始条件が設定される。
【００７５】
典型的には、本実施の形態に係るコンベアトラッキングシステムでは、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、ワークＷ（モデルとして登録すべき領域）の対角線の長さより大きくなるように、撮像開始条件を設定することが好ましい。これは、ワークＷの配置方向が必ずしも揃っているわけではないため、ワークＷの回転角度によらず、対象のワークの撮像／計測のもれを生じさせないためには、重複範囲の長さＬを、少なくとも、ワークＷの対角線の長さより大きくすることが好ましいからである。
【００７６】
なお、図４（ｂ）に示す前回の撮像範囲および今回の撮像範囲のいずれにも、ワークＷは含まれることになるので、それぞれの撮像範囲を撮像して得られた画像のいずれにおいても、ワークＷが検出される（パターンマッチングにより抽出される）。この場合には、上述の重複排除機能により、同一のワークＷからは１つの位置情報のみが登録されるように処理されるので、コンベアトラッキングにおいては、何ら問題は生じない。
【００７７】
本実施の形態においては、このような撮像開始条件をユーザが容易に設定できるようなユーザインターフェイスを提供する。これらのユーザインターフェイスの実現例について、実施の形態１〜４として詳細に後述する。
【００７８】
＜Ｅ．ユーザ支援装置＞
まず、上述したような撮像開始条件を容易に設定するためのユーザインターフェイスを提供するユーザ支援装置の一例について説明する。典型的には、本実施の形態に係るユーザ支援装置は、視覚センサ１００およびロボット制御装置２００とネットワークＮＷを介して接続されるサポート装置６００（図１）として実装される。すなわち、サポート装置６００は、視覚センサ１００を含む画像処理システムに向けられたユーザ支援装置に相当する。
【００７９】
図５は、本発明の実施の形態に係る視覚センサ１００と接続可能なサポート装置６００のハードウェア構成を示す模式図である。サポート装置６００は、典型的には、汎用のコンピュータで構成される。なお、メンテナンス性の観点からは、可搬性に優れたノート型のパーソナルコンピュータが好ましい。
【００８０】
図５を参照して、サポート装置６００は、ＯＳを含む各種プログラムを実行するＣＰＵ６１と、ＢＩＯＳや各種データを格納するＲＯＭ（Read Only Memory）６２と、ＣＰＵ６１でのプログラムの実行に必要なデータを格納するための作業領域を提供するメモリＲＡＭ６３と、ＣＰＵ６１で実行されるプログラムなどを不揮発的に格納するハードディスク（ＨＤＤ）６４とを含む。
【００８１】
サポート装置６００は、さらに、ユーザからの操作を受付けるキーボード６５およびマウス６６と、情報をユーザに提示するためのモニタ６７とを含む。
【００８２】
後述するように、サポート装置６００で実行される各種プログラムは、ＣＤ−ＲＯＭ６９に格納されて流通する。すなわち、本実施の形態に係るユーザ支援装置を実現するためのプログラム（すなわち、ユーザインターフェイスを提供するためのプログラム）は、ＣＤ−ＲＯＭ６９に格納される。そして、これらのプログラムは、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）ドライブ６８によって読取られ、ハードディスク（ＨＤＤ）６４などへ格納される。もちろん、上位のホストコンピュータなどからネットワークを通じてプログラムをサポート装置６００へダウンロードするように構成してもよい。
【００８３】
このようにユーザ支援装置を実現するためのプログラムがサポート装置６００にインストールされることで、ＣＰＵ６１には、ユーザ支援ロジック６１ａが実現される。このユーザ支援ロジック６１ａが後述するようなユーザ支援機能を提供する。なお、本実施の形態に係るユーザ支援装置は、視覚センサ１００および／またはロボット制御装置２００との間で必要なデータを遣り取りする場合もある。このような場合には、サポート装置６００と、視覚センサ１００および／またはロボット制御装置２００とが協働してユーザ支援機能を提供するとも言える。また、ユーザ支援ロジック６１ａは、サポート装置６００で実行されるオペレーションシステム（ＯＳ）が提供する共通モジュール（ライブラリ）などを利用して、各種の表示画面を生成する場合もある。そのため、ユーザ支援機能を実現するためのプログラムとしては、ＯＳが提供する汎用的な部分については含まれないことになるが、このような場合であっても、本発明の権利範囲に含まれることは言うまでもない。さらに、ユーザ支援ロジック６１ａは、ＣＰＵ６１がプログラムを実行することで実現される場合以外に、その全部または一部を専用のハードウェアを用いて実現してもよい。
【００８４】
上述したように、サポート装置６００は、汎用的なコンピュータを用いて実現されるので、これ以上の詳細な説明は行わない。
【００８５】
また、本実施の形態に係るユーザ支援装置は、操作表示装置５００として具現化してもよいし、このユーザ支援機能を視覚センサ１００に実装してもよい。
【００８６】
＜Ｆ．キャリブレーション＞
次に、本実施の形態に係るユーザ支援機能を実現するための各種パラメータを取得するためのキャリブレーションについて説明する。
【００８７】
図６は、本発明の実施の形態に係るキャリブレーションを説明するための図である。図７は、図６に示すキャリブレーションによって取得されるパラメータセットの一例を示す図である。図８〜図１０は、本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【００８８】
図６を参照して、本実施の形態に係るキャリブレーションにおいては、主として、以下の２つの観点でキャリブレーションが行われる。
【００８９】
（１） ロボット−コンベア間のキャリブレーション：
このキャリブレーションにおいては、エンコーダ１４からのパルス信号に含まれる１パルスあたりのコンベアの移動量が取得される。このコンベアの移動量は、図７の下から２段目に示されるｄＸおよびｄＹに相当する。このコンベアの移動量は、ロボット３００がエンコーダ１４からのパルス信号を受けて、コンベア１０上のワーク位置を追跡（トラッキング）するために必要なパラメータである。
【００９０】
（２） 視覚センサ−ロボット間のキャリブレーション：
視覚センサ１００によって計測されたワークの位置情報（画像座標系の座標値（ｘｉ，ｙｉ）［ｐｉｘｅｌ］）を、ロボット座標系の座標値（Ｘ，Ｙ）［ｍｍ］に変換するための関係式が取得される。この関係式は、図７の最下段に示される６個のパラメータＡ〜Ｆによって定義される。
【００９１】
なお、図６に示すように、キャリブレーションを行うためには、ロボット３００の位置情報（ロボット座標値）が必要であるので、ロボット制御装置２００からネットワークＮＷを介して視覚センサ１００にこれらの位置情報が転送される。
【００９２】
次に、キャリブレーションの手順についてより詳細に説明する。なお、後述するように、本実施の形態に係るコンベアシステムにおいては、ユーザは、上述したようなキャリブレーションの意味を理解せずとも、指定された手順に従って操作するだけで、容易にキャリブレーションを行うことができる。より具体的には、本実施の形態に係るキャリブレーションは、図８〜図１０に示す３段階の手順によって実現される。
【００９３】
なお、本実施の形態に係るキャリブレーションにおいては、図７の最上段に示すターゲットパターンが描画されたキャリブレーション用シートＳが用いられる。このキャリブレーション用シートＳに示されたターゲットパターンは、その内部が約９０°ずつに塗り分けられた５個の円（マーク）を含む。なお、後述するように、基本的には４個のマークを用いてキャリブレーションが行われるが、追加的に配置された１個のマークは、キャリブレーション用シートＳの配置向きを所定方向に統一するために用いられる。
【００９４】
（第１段階）
第１段階としては、図８に示すように、ユーザは、ターゲットパターンが描画されたキャリブレーション用シートＳを視覚センサ１００（撮像部１１０）の視野内に配置する。そして、ユーザは、視覚センサ１００に対して撮像指示を与える。すると、視覚センサ１００は、撮像によって得られた画像（ターゲットパターンが被写体として含まれる画像）に対して計測処理を行い、ターゲットパターンに含まれる四隅に配置された４個のマークについての各中心点の座標値を決定する。これによって、ターゲットパターンに含まれる４個のマークについての画像座標系の座標値［ｐｉｘｅｌ］がそれぞれ取得される。この取得される４個の座標値が、図７の最上段に示される（ｘｉ１，ｙｉ１）、（ｘｉ２，ｙｉ２）、（ｘｉ３，ｙｉ３）、（ｘｉ４，ｙｉ４）に相当する。
【００９５】
（第２段階）
第２段階としては、図９に示すように、ユーザは、コンベア１０を動かしてターゲットパターンが描画されたキャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）内に配置するとともに、ロボット３００を操作して、ターゲットパターンに含まれる４個のマークとロボット３００との位置関係を対応付ける。
【００９６】
より具体的には、まず、ユーザは、コンベア１０を動かして、キャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）内に配置する。なお、このコンベア１０の移動前（キャリブレーション開始時）のカウント値が、予め取得されているものとする。このカウント値が図７の上から２段目に示されるエンコーダカウント値Ｅ１（キャリブレーション開始時）に相当する。
【００９７】
続いて、ユーザは、ロボット制御装置２００に付属しているティーチングペンダント２１００を操作するなどによって、ロボット３００のハンド先端をキャリブレーション用シートＳ上の１つのマークと対応するように位置決めする。ユーザは、この位置決めされた状態で指示を与えることで、ロボット制御装置２００が把握しているロボット３００の位置情報（ロボット３００のハンド先端の位置を示すロボット座標系での座標値）が視覚センサ１００へ送信される。このロボット３００のハンド先端の位置決めして、および、位置決め状態におけるロボット３００の位置情報の視覚センサ１００へ送信する処理は、ターゲットパターンに含まれる４個のマークのすべてに対して繰り返し実行される。
【００９８】
このような手順によって、ターゲットパターンに含まれる４個のマークに対応するロボット３００の位置情報がそれぞれ取得される。この取得される４個のマークに対応するロボット３００の位置情報が、図７の上から３段目に示される（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）に相当する。
【００９９】
なお、図９に示すように、キャリブレーション用シートＳがロボット３００のトラッキング範囲（稼動範囲）内に配置された状態は、４個のマークすべてに対応するロボット３００の位置情報が視覚センサ１００へ送信されるまで維持される。
【０１００】
また、視覚センサ１００は、図９に示す状態におけるカウント値についても格納する。このカウント値が、図７の上から２段目に示されるエンコーダカウント値Ｅ２（コンベアをロボット稼動範囲（上流）まで移動させたとき）に相当する。
【０１０１】
（第３段階）
第３段階としては、図１０に示すように、ユーザは、コンベア１０をさらに動かしてキャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）の最下流の位置に配置するとともに、ロボット３００を操作して、ターゲットパターンに含まれる１個のマークとロボット３００との位置関係を対応付ける。
【０１０２】
より具体的には、まず、ユーザは、コンベア１０を動かして、キャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）の下流側の端部に配置する。
【０１０３】
続いて、ユーザは、ティーチングペンダント２１００を操作するなどによって、ロボット３００のハンド先端をキャリブレーション用シートＳ上の１番目のマーク（第２段階で座標値（Ｘ１，Ｙ１）を取得したマーク）と対応するように位置決めする。ユーザは、この位置決めされた状態で指示を与えることで、ロボット制御装置２００が把握しているロボット３００の位置情報（ロボット３００のハンド先端の位置を示すロボット座標系での座標値）が視覚センサ１００へ送信される。
【０１０４】
このような手順によって、ターゲットパターンに含まれる１番目のマークに対応するロボット３００の位置情報がそれぞれ取得される。この取得される１番目のマークに対応するロボット３００の位置情報が、図７の上から４段目に示される（Ｘ５，Ｙ５）に相当する。
【０１０５】
また、視覚センサ１００は、図１０に示す状態におけるカウント値についても格納する。このカウント値が、図７の上から２段目に示されるエンコーダカウント値Ｅ３（コンベアをロボット稼動範囲（下流）まで移動させたとき）に相当する。
【０１０６】
（パラメータ算出処理）
上述したような第１〜第３段階の処理によって取得されたパラメータを用いて、まず、エンコーダ１４からの１カウントあたりのワークの移動量ｄＸおよびｄＹが算出される。より具体的には、以下の式に従って算出される。
【０１０７】
ｄＸ＝（Ｘ５−Ｘ１）／（Ｅ３−Ｅ２）
ｄＹ＝（Ｙ５−Ｙ１）／（Ｅ３−Ｅ２）
これらの式は、図９に示す状態と図１０に示す状態との間で、ロボット３００のハンド先端がキャリブレーション用シートＳ内の同一のマークに位置決めされた場合に生じる、カウント値の変化量に対するロボット３００の位置情報の変化量を算出することを意味する。これらの演算式によって、１カウントあたりのワークの移動量ｄＸおよびｄＹが決定される。すなわち、ロボット−コンベア間のキャリブレーションが実現される。
【０１０８】
また、図８において取得される画像座標系の座標値（ｘｉ１，ｙｉ１），（ｘｉ２，ｙｉ２），（ｘｉ３，ｙｉ３），（ｘｉ４，ｙｉ４）と、図９において取得されるロボット座標系の座標値（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）との対応関係に基づいて、座標系の変換に係る変換式の６個のパラメータＡ〜Ｆが決定される。すなわち、公知の手法を用いて、以下の式を満たす（あるいは、誤差が最小となる）パラメータＡ〜Ｆが決定される。
【０１０９】
Ｘ＝Ａ・ｘｉ＋Ｂ・ｙｉ＋Ｃ
Ｙ＝Ｄ・ｘｉ＋Ｅ・ｙｉ＋Ｆ
これにより、視覚センサ−ロボット間のキャリブレーションが実現される。
【０１１０】
＜Ｇ．実施の形態１＞
（ｇ１：概略）
まず、実施の形態１として、ユーザがモデルとして登録すべき領域を指定することに応答して、撮像開始条件が自動的に設定される例について説明する。なお、この自動的に設定された撮像開始条件は、いわゆるデフォルト設定として扱われ、ユーザは必要に応じてこれらの撮像開始条件を任意に変更することができる。
【０１１１】
図１１および図１２は、本発明の実施の形態１に係るユーザインターフェイスの一例を示す図である。図１１は、計測処理としてサーチ処理（パターンマッチング処理）を行う場合の例を示し、図１２は、計測処理として２値化処理を行う場合の例を示す。すなわち、図１１に示すサーチ処理においては、検出すべきワークを示すモデルが予め登録され、この登録されたモデルと一致する領域がサーチされる。一方、図１２に示す２値化処理においては、入力された画像に対して２値化処理が行われ、この２値化処理によって他の領域とは区別される部分（白領域または黒領域）がワークとして検出される。
【０１１２】
（ｇ２：サーチ処理）
まず、図１１を参照して、計測処理としてサーチ処理を用いる場合に、撮像開始条件を設定するためのユーザインターフェイスについて説明する。
【０１１３】
本実施の形態に係るユーザ支援機能の開始が指示されると、図１１（ａ）に示すように、計測処理を選択するためのメニューを含むガイダンス画面８００がモニタ６７（図５）に表示される。ガイダンス画面８００は、計測処理のリストが提示されるメニュー部分８１０と、撮像部１１０の視野（撮像範囲）の大きさを実寸法（搬送装置の物理的長さ）で示す視野表示部８２０とを含む。
【０１１４】
図１１（ａ）に示すメニュー部分８１０のうち、ユーザがサーチ処理を意味する「０．サーチ」の行８１１を選択すると、図１１（ｂ）に示すガイダンス画面８０１へ遷移する。図１１（ｂ）を参照して、ガイダンス画面８０１は、撮像部１１０によって撮像された画像を表示する表示領域８４０を含む。この表示領域８４０に表示される画像は、撮像部１１０での撮像タイミングに応じて順次更新されるモード（スルーモード）、および、撮像部１１０があるタイミングで撮像して得られる画像を表示するモード（フリーズモード）を選択できるようにしてもよい。
【０１１５】
このガイダンス画面８０１は、「モデル登録する範囲を囲ってください」という、ユーザに検出すべきワークを示す領域（サーチ処理に用いられるモデル）の指定を促す画面である。ユーザは、ガイダンス画面８０１の表示領域８４０に表示される画像に対して、検出すべきワークを示す領域を指定する。具体的には、ユーザは、マウス６６（図５）などを用いて、カーソル８４５でモデル領域８４４を指定する。なお、モデル領域８４４の指定方法は、任意の入力手段を用いた方法を採用することができる。
【０１１６】
このユーザに指定されたモデル領域８４４は、表示領域８４０の画像上に明示的に示される。なお、モデル領域８４４の設定に伴って、モデル領域８４４の画像内の位置情報がモデル範囲表示部８３０に表示される。このモデル範囲表示部８３０には、典型的には、モデル領域８４４の対角線上にある２つの座標値が表示される。
【０１１７】
図１１（ｂ）に示すガイダンス画面８０１においてモデル領域８４４の設定が完了すると、後述するような計算ロジックに従って、撮像開始条件（トリガ間隔）が決定される。この撮像開始条件が決定されると、図１１（ｃ）に示すガイダンス画面８０２へ遷移する。このガイダンス画面８０２は、撮像開始条件を示す撮像開始条件表示部８３５を含む。撮像開始条件表示部８３５には、撮像開始条件（トリガ間隔）が、コンベア１０の物理的長さ（ロボット座標系での長さ）として表示される（図１１（ｃ）に示す「５０［ｍｍ］」）とともに、その長さに対応するパルス数（カウント値）としても表示される（図１１（ｃ）に示す「１０００［ｐｕｌｓｅ］」）。
【０１１８】
さらに、ガイダンス画面８０２は、決定された撮像開始条件を変更するためのインターフェイスについても提供する。すなわち、ガイダンス画面８０２は、重複範囲の長さＬをユーザが任意に変更するための操作バー８６０を含む。ユーザは、表示領域８４０に表示される画像およびその上に設定されるモデル領域８４４の大きさなどを見ながら、操作バー８６０を操作することで、より好ましい撮像開始条件に微調整することもできる。
【０１１９】
なお、コンベア１０の搬送方向は、撮像部１１０の撮像範囲のいずれかの辺に対して平行であるとは限らないので、その搬送方向を示す搬送方向表示８４２が表示領域８４０の上にオーバーレイ表示される。この搬送方向表示８４２は、上述のキャリブレーションによって取得される、エンコーダ１４からの１カウントあたりのワークの移動量ｄＸ（Ｘ方向）［ｍｍ／ｐｕｌｓｅ］およびｄＹ（Ｙ方向）［ｍｍ／ｐｕｌｓｅ］を用いて生成される。
【０１２０】
次に、図１１に示すようなユーザが指定するモデル領域８４４に応じて、撮像開始条件を決定するロジックについて説明する。上述したキャリブレーションによって、パルス信号の１カウントあたりのワークの移動量ｄＸおよびｄＹ、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆが予め取得されているとする。また、撮像部１１０の撮像によって得られる画像サイズ（幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］）も既知である。
【０１２１】
撮像開始条件は、図１１に示すガイダンス画面において設定される計測処理（サーチ処理）に係る設定内容を用いて算出される。より具体的には、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、検出すべきワークを示す領域の対角線の長さより大きくなるように、撮像開始条件が決定される。
【０１２２】
すなわち、撮像開始条件（トリガ間隔）を概略的な数式で示すと、以下のようになる。
（トリガ間隔）＝｛（画像サイズ）−（モデルとして登録すべき領域の外接矩形対角線）｝／（エンコーダ１パルスあたりの移動量）
但し、実装の形態としては、対角線の長さを計算するのではなく、ロボット座標系のＸ軸方向およびＹ軸方向のうち、ワークＷがより大きく移動する方向の成分のみに着目して、撮像開始条件を決定すればよい。これにより、計算に要するリソースを低減できる。すなわち、ワークＷのＸ方向の移動量ｄＸとＹ方向の移動量ｄＹとの大小関係に応じて、下記のいずれかの式に従って、トリガ間隔が算出される。なお、重複範囲の長さをＬ［ｐｉｘｅｌ］とする。
【０１２３】
（１）ｄＸ＞ｄＹの場合：
（トリガ間隔）＝｛Ａ・（ＷＤ−Ｌ）｝／ｄＸ［ｐｕｌｓｅ］
（２）ｄＸ≦ｄＹの場合：
（トリガ間隔）＝｛Ｄ・ＷＤ＋Ｅ・（ＨＴ−Ｌ）｝／ｄＹ［ｐｕｌｓｅ］
なお、ユーザが図１１（ｃ）の操作バー８６０などを操作することで、重複範囲の長さＬが変更されると、上述の式が再度実行され、撮像開始条件（トリガ間隔）が更新される。
【０１２４】
以上のような処理をまとめると以下のように表現することができる。本実施の形態に係る支援機能は、表示手段であるモニタ６７に表示される画像に対して、ユーザ操作に応答して撮像範囲の間の重複範囲を決定し、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、決定された重複範囲の大きさから、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。
【０１２５】
すなわち、表示手段であるモニタ６７は、視覚センサ１００の撮像部１１０の撮像によって得られた画像を表示する。そして、入力手段であるキーボード６５および／またはマウス６６は、モニタ６７に表示される画像に対して、検出すべきワークを示す領域の指定を受付ける。この受付けられた指令は、ＣＰＵ６１（ユーザ支援ロジック６１ａ）へ転送される。ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、コンベア１０（搬送装置）の移動量（パルス数）によって定義される撮像部１１０の撮像開始条件を決定する。この撮像部１１０の撮像範囲とコンベア１０の属性との関係の具体的な内容としては、パルス信号の１カウントあたりのワークの移動量ｄＸ（Ｘ方向）およびｄＹ（Ｙ方向）、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆからなる変換関数を含む。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、図１１（ｃ）の操作バー８６０に示すように、ユーザ操作に応答して、決定された撮像開始条件を変更する。
【０１２６】
このとき、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲が、少なくとも検出すべきワークを示す領域を含むように、撮像開始条件を決定する。言い換えれば、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、検出すべきワークを示す領域の対角線の長さより大きくなるように、撮像開始条件を決定する。
【０１２７】
（ｇ３：２値化処理）
次に、図１２を参照して、計測処理として２値化処理を用いる場合に、撮像開始条件を設定するためのユーザインターフェイスについて説明する。
【０１２８】
本実施の形態に係るユーザ支援機能の開始が指示されると、図１１（ａ）と同様の計測処理を選択するためのメニューを含むガイダンス画面８００がモニタ６７（図５）に表示される（図１２（ａ））。
【０１２９】
図１２（ａ）に示すメニュー部分８１０のうち、ユーザが２値化処理を意味する「１．２値化」の行８１２を選択すると、図１２（ｂ）に示すガイダンス画面８０３へ遷移する。図１２（ｂ）に示すガイダンス画面８０３においては、表示領域８４０に、撮像部１１０によって撮像された画像に対して２値化処理が実行された後の結果画像が表示される。すなわち、表示領域８４０には、各画素が「黒」または「白」に量子化（２値化）されたモノクロ画像が表示される。この２値化処理のしきい値（２値化レベル）は、ユーザがレベル設定ボックス８７０に任意の値（例えば、０〜２５５）を設定することで、自在に変更することができる。
【０１３０】
ユーザは、表示領域８４０に表示される結果画像を確認しながら、適切な２値化レベルを設定することになる。このような２値化処理が実行された後、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、その結果画像に含まれるより少ない色の画素（図１２（ｂ）に示す例では「白」）の領域を特定し、グルーピングすることで、検出すべきワークを特定する。さらに、特定した各ワークを囲む外接矩形領域８４６を決定する。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、複数の外接矩形が抽出された場合には、その対角線の長さが最大となるものを特定し、その対角線の長さの最大値をワークサイズの最大値（ワークの最大寸法）として決定する。このワークの最大寸法の情報は、最大寸法表示部８３２に表示される。
【０１３１】
このようにワークの最大寸法が決定されると、後述するような計算ロジックに従って、撮像開始条件（トリガ間隔）が決定される。この撮像開始条件が決定されると、図１２（ｃ）に示すガイダンス画面８０４へ遷移する。このガイダンス画面８０４の撮像開始条件表示部８３５には、撮像開始条件（トリガ間隔）が、コンベア１０の物理的長さ（ロボット座標系での長さ）として表示される（図１２（ｃ）に示す「５０［ｍｍ］」）とともに、その長さに対応するパルス数（カウント値）としても表示される（図１２（ｃ）に示す「１０００［ｐｕｌｓｅ］」）。
【０１３２】
さらに、ガイダンス画面８０４は、決定された撮像開始条件を変更するためのインターフェイスについても提供する。すなわち、ガイダンス画面８０２は、重複範囲の長さＬをユーザが任意に変更するための操作バー８６０を含む。ユーザは、表示領域８４０に表示される画像およびその上に設定される外接矩形領域８４６および変更後の外接矩形領域８４８の大きさなどを見ながら、操作バー８６０を操作することで、より好ましい撮像開始条件に微調整することもできる。このとき、２値化処理の結果画像から算出される初期値（デフォルト値）の外接矩形領域８４６と、ユーザ操作によって変更された外接矩形領域８４８との両方を結果画像上に重ねて表示することが好ましい。
【０１３３】
なお、コンベア１０の搬送方向は、撮像部１１０の撮像範囲のいずれかの辺に対して平行であるとは限らないので、図１２（ｃ）においても、その搬送方向を示す搬送方向表示８４２が表示領域８４０の上にオーバーレイ表示される。
【０１３４】
次に、図１２に示すようなユーザが指定する外接矩形領域８４６に応じて、撮像開始条件を決定するロジックについて説明する。上述したように、パルス信号の１カウントあたりのワークの移動量ｄＸおよびｄＹ、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆが予め取得されているとする。また、撮像部１１０の撮像によって得られる画像サイズ（幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］）も既知である。
【０１３５】
撮像開始条件は、図１２に示すガイダンス画面において算出または設定されるワークの最大寸法を用いて算出される。より具体的には、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、対象のワークの最大寸法（矩形領域の対角線の長さ）より大きくなるように、撮像開始条件が決定される。
【０１３６】
すなわち、撮像開始条件（トリガ間隔）を概略的な数式で示すと、以下のようになる。
（トリガ間隔）＝｛（画像サイズ）−（ワーク最大径）｝／（エンコーダ１パルスあたりの移動量）
但し、実装の形態としては、対角線の長さを計算するのではなく、ワークＷがロボット座標系のＸ軸方向およびＹ軸方向のうちより大きく移動する方向の成分のみに着目して、撮像開始条件を決定すればよい。これにより、計算に要するリソースを低減できる。すなわち、上述の図１１について説明した式に従って、トリガ間隔が算出される。
【０１３７】
なお、ユーザが図１２（ｃ）の操作バー８６０などを操作することで、重複範囲の長さＬが変更されると、上述の式が再度実行され、撮像開始条件（トリガ間隔）が更新される。
【０１３８】
以上のような処理をまとめると以下のように表現することができる。本実施の形態に係る支援機能は、表示手段であるモニタ６７に表示される画像に対して、計測処理（典型的には、２値化処理）により検出された範囲から重複範囲を決定し、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、決定された重複範囲の大きさから、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。すなわち、表示手段であるモニタ６７は、視覚センサ１００の撮像部１１０の撮像によって得られた画像を表示する。このとき、撮像部１１０の撮像によって得られた画像に対して計測処理（２値化処理）を行う計測手段が実装されており、モニタ６７は、その計測処理の結果（結果画像）を表示する。
【０１３９】
ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、検出すべきワークを示す領域の大きさから、コンベア１０（搬送装置）の移動量（パルス数）によって定義される撮像部１１０の撮像開始条件を決定する。上述したように、この撮像部１１０の撮像範囲とコンベア１０の属性との関係の具体的な内容としては、パルス信号の１カウントあたりのワークの移動量ｄＸおよびｄＹ、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆからなる変換関数を含む。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、図１２（ｃ）の操作バー８６０に示すように、ユーザ操作に応答して、決定された撮像開始条件を変更する。すなわち、入力手段であるキーボード６５および／またはマウス６６は、モニタ６７に表示される画像に対して、検出すべきワークを示す領域の指定を受付ける。この受付けられた指令は、ＣＰＵ６１（ユーザ支援ロジック６１ａ）へ転送される。
【０１４０】
そして、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲が、少なくとも検出すべきワークを示す領域を含むように、撮像開始条件を決定する。言い換えれば、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、検出すべきワークを示す領域の対角線の長さより大きくなるように、撮像開始条件を決定する。
【０１４１】
（ｇ４：フローチャート）
次に、上述の実施の形態１に係る撮像開始条件の設定処理の手順について説明する。図１３は、本発明の実施の形態１に係る撮像開始条件の設定処理の手順を示すフローチャートである。図１３を参照して、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、ユーザ支援機能の開始が指示される（ステップＳ１００においてＹＥＳ）と、図１１（ａ）および図１２（ａ）に示すような、計測処理を選択するためのメニューを含むガイダンス画面を表示する（ステップＳ１０２）。そして、ＣＰＵ６１は、「サーチ処理」および「２値化処理」のいずれが選択されたかを判断する（ステップＳ１０４）。「サーチ処理」が選択された場合（ステップＳ１０４において「サーチ処理」の場合）、処理はステップＳ１１０へ進み、「２値化処理」が選択された場合（ステップＳ１０４において「２値化処理」の場合）、処理はステップＳ１２０へ進む。
【０１４２】
ステップＳ１１０において、ＣＰＵ６１は、撮像部１１０の撮像によって取得された画像を表示し（ステップＳ１１０）、さらに、ユーザからのモデル領域８４４の指定を受付ける（ステップＳ１１２）。ユーザによってモデル領域８４４が指定されると、ＣＰＵ６１は、指定されたモデル領域８４４の大きさを取得し（ステップＳ１１４）、さらに、そのモデル領域８４４の大きさ（対角線長さ）から撮像開始条件（トリガ周期；重複範囲の長さＬ）を算出する（ステップＳ１１６）。さらに、ＣＰＵ６１は、算出した撮像開始条件およびコンベアの移動方向などを表示中の画像の上に重ねて表示する（ステップＳ１１８）。
【０１４３】
ステップＳ１２０において、ＣＰＵ６１は、撮像部１１０の撮像によって取得された画像を表示し、さらに、ユーザからの２値化レベルの指定を受付ける（ステップＳ１２２）。ユーザによって２値化レベルが指定されると、ＣＰＵ６１は、指定された２値化レベルに従って２値化処理を実行する（ステップＳ１２４）。続いて、ＣＰＵ６１は、２値化処理によって得られた結果画像に含まれる特定画素群をグルーピングした上で、検出対象として特定した各ワークを囲む外接矩形領域８４６を決定する（ステップＳ１２６）。さらに、ＣＰＵ６１は、決定した複数の外接矩形領域８４６の対角線の長さが最大となるものを特定し、その対角線の長さの最大値をワークサイズの最大値（ワークの最大寸法）として決定する（ステップＳ１２８）。ＣＰＵ６１は、決定したワークサイズの最大値（ワークの最大寸法）から撮像開始条件（トリガ周期；重複範囲の長さＬ）を算出する（ステップＳ１３０）。さらに、ＣＰＵ６１は、算出した撮像開始条件およびコンベアの移動方向などを表示中の画像の上に重ねて表示する（ステップＳ１３２）。
【０１４４】
その後、ＣＰＵ６１は、ユーザによる重複範囲の長さＬについての変更を受付ける（ステップＳ１４０）。すなわち、ユーザは、ガイダンス画面に表示される画像（または、結果画像）ならびに領域表示などを見ながら、適切な重複範囲の長さＬを微調整する。ユーザが重複範囲の長さＬを変更すると、それに応答して、ＣＰＵ６１は、撮像開始条件を更新する（ステップＳ１４２）。
【０１４５】
さらに、ＣＰＵ６１は、ユーザ支援機能の終了が指示される（ステップＳ１４４においてＹＥＳ）まで、ステップＳ１４０以下の処理を繰返す。
【０１４６】
＜Ｈ．実施の形態２＞
（ｈ１：概略）
次に、実施の形態２として、トラッキング対象のワークのサイズが既知である場合に、ユーザがワークサイズを設定することで、撮像開始条件が自動的に設定される例について説明する。例えば、一般的な生産ラインなどでは、設計仕様書や金型などのサイズから、製品または半製品の大きさが既知である場合も多い。このような場合には、撮像部１１０を用いて実際に撮像するまでもなく、このワークサイズの情報から、撮像開始条件（重複範囲の長さ）を決定してもよい。
【０１４７】
上述の実施の形態１と同様に、決定された撮像開始条件は、いわゆるデフォルト設定として扱われ、ユーザは必要に応じてこれらの撮像開始条件を任意に変更することができる。
【０１４８】
（ｈ２：ガイダンス画面例１）
図１４は、本発明の実施の形態２に係るユーザインターフェイスの一例を示す図である。本実施の形態に係るユーザ支援機能の開始が指示されると、図１４に示すようなガイダンス画面８０５がモニタ６７（図５）に表示される。ガイダンス画面８０５は、撮像開始条件であるトリガ間隔を入力（変更）するための数値ボックス８８１と、ワークサイズを入力するための数値ボックス８８２とを含む。図１４には、トリガ間隔およびワークサイズのいずれについても、最も実用的なロボット座標系での値（一例として「ミリ」）単位で入力される例を示すが、画像座標系での値（一例として「画素数／ピクセル」）またはパルス数であってもよい。
【０１４９】
まずは、ワークサイズが入力されると、仮想表示領域８８３において、検出対象のワークのサイズを示す円マーク８８７および、それに関連付けて、第１撮像範囲８８４および第２撮像範囲８８５が表示される。第１撮像範囲８８４および第２撮像範囲８８５は、視覚センサ１００（撮像部１１０）が撮像によって取得する画像の大きさ（すなわち、幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］）と、数値ボックス８８２に入力されるワークサイズとの相対関係に基づいた大きさで表示される。
【０１５０】
より具体的には、第１撮像範囲８８４（実線表示）は、入力されたワークサイズによって規定されるワークに内接するような位置に設定される。また、第２撮像範囲８８５（破線表示）は、第１撮像範囲８８４との重複範囲（両範囲の重なり部分）にワークの全体が含まれるように、初期設定される。このように、第１撮像範囲８８４および第２撮像範囲８８５が設定されると、それに従って撮像開始条件（トリガ間隔）が決定され、その決定された撮像開始条件（トリガ間隔）が数値ボックス８８１に表示される。
【０１５１】
また、ガイダンス画面８０５は、スライドバー８８６を含む。このスライドバー８８６は、第２撮像範囲８８５の相対位置と連動しており、ユーザは、スライドバー８８６を操作することで、第１撮像範囲８８４と第２撮像範囲８８５との間の重複範囲の長さを調整する。すなわち、ユーザがスライドバー８８６を操作すると、仮想表示領域８８３に表示される、第１撮像範囲８８４およびワークのサイズを示す円マーク８８７の位置は固定されたまま、第２撮像範囲８８５が紙面左右方向に移動する。なお、数値ボックス８８１に示されるトリガ間隔の値は、ユーザによるスライドバー８８６の操作に連動して随時更新される。
【０１５２】
なお、撮像開始条件の初期値は、数値ボックス８８２に入力されるワークサイズに応じて、以下の数式に従って算出される。
【０１５３】
（トリガ間隔）＝｛（画像サイズ）−（ユーザ設定のワークサイズ）｝／（エンコーダ１パルスあたりの移動量）
但し、実装の形態としては、対角線の長さを計算するのではなく、ロボット座標系のＸ軸方向およびＹ軸方向のうち、ワークＷがより大きく移動する方向の成分のみに着目して、撮像開始条件を決定すればよい。より具体的な算出方式は、上述の実施の形態１と同様であるので、詳細な説明は繰返さない。
【０１５４】
図１４に示す撮像開始条件の設定処理の手順は、図１５に示すようなフローチャートとして表すことができる。図１５は、本発明の実施の形態２に係る撮像開始条件の設定処理の手順を示すフローチャートである。
【０１５５】
図１５を参照して、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、ユーザ支援機能の開始が指示される（ステップＳ２００においてＹＥＳ）と、図１４に示すガイダンス画面８０５を表示する（ステップＳ２０２）。そして、ＣＰＵ６１は、ユーザからの数値ボックス８８２を介したワークサイズの入力を待つ（ステップＳ２０４）。ワークサイズが入力されると（ステップＳ２０４においてＹＥＳ）、ＣＰＵ６１は、視覚センサ１００（撮像部１１０）が撮像によって取得する画像の大きさ、および、入力されたワークサイズなどに基づいて、撮像開始条件（トリガ間隔）の初期値を算出する（ステップＳ２０６）。続いて、ＣＰＵ６１は、算出した撮像開始条件の初期値に基づいて、仮想表示領域８８３において、検出対象のワークのサイズを示す円マーク８８７、ならびに、第１撮像範囲８８４および第２撮像範囲８８５を表示する（ステップＳ２０８）。
【０１５６】
続いて、ＣＰＵ６１は、ユーザによるスライドバー８８６に対する操作を待つ（ステップＳ２１０）。スライドバー８８６が操作されると（ステップＳ２１０においてＹＥＳ）、ＣＰＵ６１は、ユーザによるスライドバー８８６の操作量に応じて、先に決定されている撮像開始条件を更新する（ステップＳ２１２）とともに、仮想表示領域８８３における表示も更新する（ステップＳ２１４）。
【０１５７】
ＣＰＵ６１は、ユーザ支援機能の終了が指示される（ステップＳ２１６においてＹＥＳ）まで、ステップＳ２１０以下の処理を繰返す。
【０１５８】
以上のような処理をまとめると以下のように表現することができる。本実施の形態に係る支援機能は、表示手段であるモニタ６７に、コンベア１０（搬送装置）上を搬送されるワークＷに対応する範囲とともに、一連の撮像の対象となる複数の撮像範囲を同時に表示し、表示される複数の撮像範囲に対するユーザ操作に応答して、重複範囲を決定する。さらに、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、決定された重複範囲の大きさから、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。すなわち、表示手段であるモニタ６７は、コンベア１０上を搬送されるワークに対応する範囲（円マーク８８７）とともに、一連の撮像の対象となるそれぞれ撮像範囲（第１撮像範囲８８４および第２撮像範囲８８５）を表示する。このとき、モニタ６７は、一連の撮像の対象となる複数の撮像範囲を同時に表示する。また、入力手段であるキーボード６５および／またはマウス６６は、表示されるワークの大きさの指定を受付ける（ガイダンス画面８０５中の数値ボックス８８２）。
【０１５９】
ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、撮像部１１０の撮像範囲とコンベア１０の物理的長さとの関係を利用して、モニタ６７に表示されている撮像範囲の位置関係から、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、ユーザ操作（ガイダンス画面８０５中のスライドバー８８６）に応答して、モニタ６７に表示される撮像範囲を変更する。
【０１６０】
（ｈ３：ガイダンス画面例２）
上述のガイダンス画面例１においては、重複範囲を設定するユーザインターフェイスとして、第１撮像範囲８８４およびワークの位置を固定した上で、第２撮像範囲の位置をスライドさせるという構成を採用した例を示した。これに対して、以下に説明するガイダンス画面例２においては、実際の搬送路をイメージして、ワークの位置をスライドさせて、撮像開始条件を設定するという構成を採用した例を示す。
【０１６１】
図１６は、本発明の実施の形態２に係るユーザインターフェイスの別の一例を示す図である。本実施の形態に係るユーザ支援機能の開始が指示されると、まずは、図１６（ａ）に示すようなガイダンス画面８０６がモニタ６７（図５）に表示される。ガイダンス画面８０６においても、撮像開始条件であるトリガ間隔を入力（変更）するための数値ボックス８８１と、ワークサイズを入力するための数値ボックス８８２とを含む。
【０１６２】
数値ボックス８８２に何らかのワークサイズが入力されると、実際のコンベアに模した仮想表示領域８９０において、検出対象のワークのサイズを示す円マーク８９３が表示される。円マーク８９３がオーバーレイ表示される仮想表示領域８９０の表示範囲は、スライドバー８９４と連動しており、ユーザがスライドバー８９４を操作することで、仮想表示領域８９０の全体が紙面左右方向にスライドする。すなわち、スライドバー８９４のスライド操作に応答して、ワークサイズが示されたコンベアに模した画像が動くことになる。
【０１６３】
ユーザは、スライドバー８９４を操作して、ワークを示す円マーク８９３が適切な位置にある状態で、マウスに応答して移動するカーソル８９５などを用いて、カメラアイコン８９６を選択する。すると、図１６（ａ）に示すような、第１撮像範囲８９１が設定される。なお、カメラアイコン８９６が選択される前は、第１撮像範囲８９１を設定可能な領域が未確定の状態を示す態様（図１６（ａ）の例では、破線）で表示されており、カメラアイコン８９６が選択された後は、第１撮像範囲８９１の領域を設定済の状態を示す態様（図１６（ｂ）の例では、実線）で表示されている。
【０１６４】
第１撮像範囲８９１が一旦設定されると、第１撮像範囲８９１の仮想表示領域８９０（表示されるワーク）に対する相対位置は、固定される。すなわち、一旦設定された第１撮像範囲８９１については、ユーザによるスライドバー８９４に連動して紙面左右方向にスライドするようになる。なお、この時点では、やり直しアイコン８９７は非活性状態（グレイアウト）となっている。
【０１６５】
続いて、ユーザは、第１撮像範囲８９１が設定されている状態で、さらにスライドバー８９４を操作して、仮想表示領域８９０をスライドさせて、先に設定されている第１撮像範囲８９１との間の相対距離を調整する。この場合にも、第２撮像範囲８９２を設定可能な領域が未確定の状態を示す態様（図１６（ｂ）の例では、破線）で表示される。
【０１６６】
ユーザは、仮想表示領域８９０に対してオーバーレイされた第１撮像範囲８９１（実線）と未確定の第２撮像範囲８９２（破線）とを比較することで、両者の重なり度合いを決定する。ユーザは、両者の重なり度合いが適切な位置に調整した上で、カメラアイコン８９６を選択する。
【０１６７】
すると、第１撮像範囲８９１および第２撮像範囲８９２の相対的な位置関係が決定されるので、両者の重なり度合い（重複範囲）が定まり、これによって、撮像開始条件（トリガ間隔）の初期値が算出される。
【０１６８】
なお、ユーザがやり直しアイコン８９７を選択すると、先に決定されている撮像開始条件（トリガ間隔）はリセットされる。したがって、図１６に示すガイダンス画面８０６においては、ユーザによる初期設定値からの変更は、やり直しアイコン８９７の選択後に、スライドバー８９４を再度操作するとともに、カメラアイコン８９６を再度選択することになる。
【０１６９】
基本的な撮像開始条件を設定するための処理は、上述の図１４に示すフローチャートと同様であるので、ここでは、詳細な説明は繰返さない。
【０１７０】
＜Ｉ．実施の形態３＞
次に、実施の形態３として、ユーザが視野範囲を直接確認しながら撮像開始条件を決定する例について説明する。
【０１７１】
図１７は、本発明の実施の形態３に係るユーザインターフェイスの一例を示す図である。図１８は、図１７に対応するワークＷの配置状態を説明するための図である。
【０１７２】
本実施の形態に係るユーザ支援機能の開始が指示されると、図１７（ａ）に示すように、計測処理を選択するためのメニューを含むガイダンス画面８０７がモニタ６７（図５）に表示される。ガイダンス画面８０７には、表示領域８４０に撮像部１１０によって撮像された画像が表示される。この表示領域８４０に表示される画像は、撮像部１１０での撮像タイミングに応じて順次更新されることが好ましい。
【０１７３】
ユーザは、図１８（ａ）に示すように、撮像部１１０の撮像範囲内であって、コンベア１０の上流側に検出対象のワークＷを配置する。たとえば、図１７（ａ）に示すような位置関係にワークＷが配置された状態で、ユーザは、ガイダンス画面８０７の撮影ボタン８６２を選択する。撮影ボタン８６２の１番目の選択によって、１番目の撮像タイミングが算出される。すなわち、１番目の撮像タイミングに対応するカウント値が取得される。
【０１７４】
続いて、ユーザは、図１８（ｂ）に示すように、コンベア１０を駆動してワークＷを、撮像部１１０の撮像範囲内であって、コンベア１０の下流側に配置する。すなわち、ユーザは、ガイダンス画面８０７の表示領域８４０に表示される内容を確認しながら、２番目の撮像タイミングに対応するワークＷの相対位置を探す。そして、ユーザは、２番目の撮像タイミングとすべき相対位置になった状態で、ガイダンス画面８０７の撮影ボタン８６２を選択する。すると、２番目の撮像タイミングに対応するカウント値が取得される。
【０１７５】
そして、１番目の撮像タイミングに対応するカウント値と２番目の撮像タイミングに対応するカウント値とから、撮像開始条件（撮像周期）が算出される。この算出された撮像開始条件は、ガイダンス画面８０７の撮像開始条件表示部８３５に表示される。
【０１７６】
典型的には、ユーザは、１番目および２番目のいずれの撮像タイミングにおいても、撮像部１１０の撮像範囲に同一のワークＷが含まれるように、ワークを適切に位置決めする。
【０１７７】
なお、図１７（ｃ）に示すような撮像開始条件が自動的に決定された後であっても、ユーザは、その値を微調整することができる。
【０１７８】
基本的な撮像開始条件を設定するための処理は、上述の図１４に示すフローチャートと同様であるので、ここでは、詳細な説明は繰返さない。
【０１７９】
実施の形態３によれば、ユーザは、実際の撮像によって得られる画像のイメージを見ながら撮像タイミングを調整できるので、より直感的に撮像開始条件を決定できる。
【０１８０】
＜Ｊ．許容速度算出＞
上述の実施の形態１〜３のいずれかの方法に従って撮像開始条件を決定した後、当該決定された撮像開始条件の下で許容される搬送速度を決定することもできる。以下、このような許容される搬送速度を決定する方法について例示する。
【０１８１】
上述したように、撮像開始条件は、コンベア１０の移動距離（カウント値）によって定義されるトリガ間隔として規定される。そのため、コンベア１０の移動速度が高くなるほど、ある撮像を行ってから次の撮像を行うまでの時間間隔は短くなる。そのため、撮像に時間間隔は、視覚センサ１００による撮像動作および撮像された画像に対する計測処理に要する時間より長くする必要がある。そこで、コンベア１０の搬送速度の上限値は、以下のような手順で予め算出することができる。
【０１８２】
図１９は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムにおける搬送速度の上限値を決定する手順を示すフローチャートである。
【０１８３】
図１９を参照して、まず、上述のいずれかの方法によって、撮像開始条件および対応する重複範囲の長さＬ［ｐｉｘｅｌ］を算出したとする（ステップＳ３００）。
【０１８４】
次に、ユーザは、テスト計測を実行する。より具体的には、ユーザは、コンベア１０上に複数のワークＷを配置するとともに、これらのワークＷに対して計測処理を実行させる（ステップＳ３０２）。あわせて、ユーザは、複数のワークＷに対する計測処理の処理結果などを見ながら、計測処理に係るパラメータを調整する（ステップＳ３０４）。この調整内容としては、モデル範囲の調整や回転角度の分割数などの調整が挙げられる。計測処理に要する時間が最も小さくなるように、パラメータが調整される。
【０１８５】
この調整が完了すると、計測処理に要する時間である計測処理時間Ｔ［ｓｅｃ］が取得される（ステップＳ３０６）。この計測処理時間Ｔからコンベア１０の搬送速度の上限値（最大搬送速度Ｖ［ｍｍ／ｓｅｃ］）が算出される（ステップＳ３０８）。
【０１８６】
より具体的には、上述したトリガ間隔の算出方法と同様に、ワークＷのＸ方向の移動量ｄＸとＹ方向の移動量ｄＹとの大小関係に応じて、下記のいずれかの式に従って、最大搬送速度Ｖが算出される。
【０１８７】
（１）ｄＸ＞ｄＹの場合：
最大搬送速度Ｖ＝｛Ａ・（ＷＤ−Ｌ）＋Ｂ・ＨＴ｝／Ｔ［ｍｍ／ｓｅｃ］
（２）ｄＸ≦ｄＹの場合：
最大搬送速度Ｖ＝｛Ｄ・ＷＤ＋Ｅ・（ＨＴ−Ｌ）｝／Ｔ［ｍｍ／ｓｅｃ］
このように、本実施の形態に係る視覚センサ１００においては、撮像開始条件（トリガ間隔）と画像処理装置での計測処理時間（Ｔ［ｓｅｃ］）との関係から、搬送装置（コンベア１０）で許容される搬送速度を決定する機能を有する。
【０１８８】
このような機能を搭載することで、視覚センサおよび搬送装置を含めた生産設備全体の生産能力を容易に評価することができる。
【０１８９】
＜Ｋ．稼動中の処理手順＞
次に、上述のような手順によって決定された撮像開始条件に従う稼動中の処理手順について説明する。
【０１９０】
図２０は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムにおける制御動作を示すシーケンス図である。
【０１９１】
図２０を参照して、まず、視覚センサ１００およびロボット制御装置２００のいずれに対しても、互いに同一のパラメータ（カウンタ最大値、カウンタ最小値、１パルスに対する増加値など）が設定される（ステップＳ１およびＳ２）。そして、視覚センサ１００およびロボット制御装置２００のいずれに対しても、それぞれのエンコーダカウンタに対するリセット（カウンタリセット）が実行される（ステップＳ３およびＳ４）。このようなエンコーダカウンタについての共通パラメータの設定およびカウンタリセットが実行されて、視覚センサ１００およびロボット制御装置２００との間で、エンコーダ１４からのパルス信号に含まれるパルスの数についてのカウント動作を同期させることができる。
【０１９２】
続いて、視覚センサ１００の画像処理部１２０は、撮像開始条件が満たされたか否かを判断する（ステップＳ５）。すなわち、視覚センサ１００の画像処理部１２０は、エンコーダ１４からのパルス信号に含まれるパルス数が前回撮像したときの値からトリガ間隔以上増加したか否かを判断する。
【０１９３】
撮像開始条件が満たされていれば、視覚センサ１００の画像処理部１２０は、視覚センサ１００に対して、撮像指示を発行する（ステップＳ６）。視覚センサ１００の画像処理部１２０は、撮像指示の発行に同期して、エンコーダカウンタ１３２を参照して、撮像時のカウンタ値（Ｃ０）を取得する（ステップＳ７）。
【０１９４】
続いて、視覚センサ１００の画像処理部１２０は、撮像部１１０に撮像を実行させる（ステップＳ８）。撮像部１１０が撮像して得られた画像は、画像処理部１２０へ伝送される。画像処理部１２０は、撮像部１１０からの画像に対して計測処理を実行する（ステップＳ９）。さらに、画像処理部１２０は、ステップＳ９における計測処理によって得られた計測結果（それぞれのワークの位置情報（Ｘ，Ｙ，θ））を、ステップＳ７において取得したカウンタ値Ｃ０とともに、ロボット制御装置２００へ送信する（ステップＳ１０）。
【０１９５】
ロボット制御装置２００は、画像処理部１２０からの計測結果に基づいて、重複排除処理を実行する（ステップＳ１１）。
【０１９６】
ロボット制御装置２００の演算処理部２１０は、新たなワークＷについての位置情報が取得されたか否かを判断し（ステップＳ１２）、新たなワークＷについての位置情報が取得された場合（ステップＳ１２においてＹＥＳの場合）には、メモリに当該新たな位置情報を格納する（ステップＳ１３）。そして、処理はリターンする。
【０１９７】
＜Ｌ．ロボット制御装置における処理＞
次に、ロボット制御装置２００における処理について説明する。
【０１９８】
図２１は、本発明の実施の形態に係るロボット制御装置２００における処理を示すフローチャートである。図２１（ａ）〜図２１（ｄ）には、ロボット制御装置２００において実行される主要な処理を例示するが、ロボット制御装置２００における処理は図２１に示すものに限られない。
【０１９９】
図２１（ａ）は、エンコーダ１４がパルス信号を発生した場合に生じる処理を示す。より具体的には、図２１（ａ）の処理は、エンコーダ１４がパルス信号を発生し、エンコーダカウンタ２３２がカウントアップする（ステップＳ５０）ことをイベントとして起動される。エンコーダカウンタ２３２がカウントアップすると、ロボット制御装置２００のメモリに格納されているそれぞれのワークの位置情報が更新される（ステップＳ５１）。この位置情報の更新方法については、以下のとおりである。
【０２００】
図２に示すように、ワークがＸ方向に搬送され、ロボット３００のトラッキング範囲の右端をＸ方向の原点とする。このとき、エンコーダ１４の１パルスあたりのコンベアの移動量（移動ベクトル）を（ｄＸ，ｄＹ）とすると、更新前の位置情報が（Ｘ０，Ｙ０，θ０）であるワークＷの位置情報は、ｎ個のパルスが入力したとすると、更新後の位置情報は、（Ｘ０−ｄＸ×ｎ，Ｙ０−ｄＹ×ｎ，θ０）となる。すなわち、１パルス当たりのコンベア上の単位移動量にパルスの数を乗じて得られた値がワークＷの移動量（ｄＸ×ｎ，ｄＹ×ｎ）となる。そして、ワークＷが原点方向に移動しているとすると、この移動量（移動ベクトル）の分だけワークの位置情報が更新される。
【０２０１】
そして、エンコーダカウンタ２３２が新たにカウントアップするまで待つ。
図２１（ｂ）においても、エンコーダ１４がパルス信号を発生した場合に生じる処理を示す。より具体的には、図２１（ｂ）の処理は、エンコーダ１４がパルス信号を発生し、エンコーダカウンタ２３２がカウントアップする（ステップＳ５０）ことをイベントとして起動される。エンコーダカウンタ２３２がカウントアップすると、撮像指示の発生条件が成立したか否かが判断される。例えば、上述の例では、エンコーダ１４からのパルス信号に含まれるパルス数が前回撮像したときの値から所定値以上増加したか否かが判断される。そして、撮像指示の発生条件が成立した場合（ステップＳ５０においてＹＥＳの場合）には、ロボット制御装置２００から視覚センサ１００へ撮像指示が送信される。
【０２０２】
図２１（ｃ）は、ロボット３００による把持動作について説明するものである。図２１（ｃ）のフローは、ワークの位置情報が更新された（ステップＳ６０）ことをイベントとして起動される。より具体的には、ワークの位置情報が更新されると、ロボット３００のトラッキング範囲内にいずれかのワークＷが存在しているか否かが判断される（ステップＳ６１）。ロボット３００のトラッキング範囲内にいずれかのワークＷが存在している場合（ステップＳ６１においてＹＥＳの場合）には、ロボット３００によるワークＷの把持動作の制御が開始される。具体的には、トラッキング範囲内にある把持対象ワークの位置情報の取得（ステップＳ６２）、把持対象ワークとロボット３００との偏差の算出（ステップＳ６３）、ステップＳ６３において算出された偏差に基づいて、ロボット３００および移動機構４００についての指示の生成（ステップＳ６４）、および、ワークＷの位置情報の更新（ステップＳ６５）が繰返される。そして、ロボット３００がワークＷを把持することができる位置まで移動すると、ロボット制御装置２００は、ロボット３００に対して把持動作の指示を出力する（ステップＳ６６）。続いて、把持状態のロボット３００に対して、把持しているワークＷを目的の位置まで移動させるための、移動動作の指示をロボット３００に対して出力する（ステップＳ６７）。そして処理は、リターンする。
【０２０３】
図２１（ｄ）は、他の位置情報を受けることをイベントとして起動される。より具体的には、現在の位置情報が算出され（ステップＳ６９）、さらに、重複排除処理が実行される（ステップＳ７０）。その後、位置情報がメモリへ格納される（ステップＳ７１）。
【０２０４】
ステップＳ６９に示すワークＷの現在の位置情報の算出方法については、撮像時のカウント値と各時点のカウント値との差分を算出し、この差分に１パルス当たりのコンベア上の単位移動量を乗じて得られた値が補正量となる。この補正量を計測結果（視覚センサ１００から受信したワークの位置情報）に適用することで、現在の位置情報が算出される。
【０２０５】
以上のような処理手順によって、本実施の形態に係るコンベアトラッキングが実現される。
【０２０６】
＜Ｍ．サポート装置のその他の機能＞
上述したように、サポート装置６００は、視覚センサ１００およびロボット制御装置２００のいずれともデータ通信可能であるので、各種のデータを収集することができる。そこで、本実施の形態に係るサポート装置６００は、調整時において計測処理の対象となった画像を視覚センサ１００から収集するように構成されてもよい。
【０２０７】
この視覚センサ１００から計測処理の対象となった画像を収集する場合に、対応する、カウント値および計測値（座標値および角度等）と各画像とを関連付けて保存する。これらの情報は、ネットワークＮＷを介して、視覚センサ１００からサポート装置６００へ送信される。そして、サポート装置６００のハードディスク６４などに格納される。
【０２０８】
特に、対応するカウント値をキーとして、画像および計測結果を関連付けて保存することで、所望のタイミングに対応するカウント値を用いて、必要な画像および計測結果を容易に検索することができる。
【０２０９】
このような画像および計測結果のデータベースを用意することで、以下のような機能を提供することができる。すなわち、ロボット３００において、ロボット動作（位置決めおよびトラッキング処理）をカウント値と関連付けて記録しておくことで、ロボット動作と対応する画像処理を関連付けることができる。これにより、例えば、把持動作が失敗した場合などに、その失敗した原因を追求するために、把持対象であったワークの画像および計測結果をサポート装置６００上で再現できる。そのため、不具合原因をより容易に解析することができる。
【０２１０】
＜Ｎ．利点＞
本実施の形態によれば、コンベアトラッキング等などの画像処理システムに係る調整工数を削減することができる。すなわち、ユーザは、視覚センサ１００から出力される情報（例えば、撮像された画像や登録されるモデルの外接矩形など）を見ながら、直感的に重複範囲（トリガ間隔）を設定できる。また、上述の実施の形態に係る視覚センサ１００は、コンベアトラッキングなどの特定の分野に限定されるものではなく、一般的な画像処理装置に標準搭載される計測処理へ拡張することもできる。すなわち、予めモデルが登録される計測処理を使用する場合などにおいて、最適なトリガ間隔（撮像開始条件）をグラフィカルに設定できる。
【０２１１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２１２】
１０ コンベア、１２ 駆動ローラ、１４ エンコーダ、３０ 搬出装置、６１，１２２ ＣＰＵ、６１ａ ユーザ支援ロジック、６３ ＲＡＭ、６４ ハードディスク、６５ キーボード、６６ マウス、６７ モニタ、６８ ドライブ、６９ ＣＤ−ＲＯＭ、１００ 視覚センサ、１１０ 撮像部、１２０ 画像処理部、１２４，２２０ メモリ、１２６ 撮像制御部、１２８，２２８ 通信インターフェイス、１３０，２３０ 入出力インターフェイス、１３２，２３２ エンコーダカウンタ、１３４ バス、２００ ロボット制御装置、２１０ 演算処理部、２４０ ピッキング制御部、２５０ 移動制御部、３００ ロボット、４００ 移動機構、５００ 操作表示装置、６００ サポート装置、２１００ ティーチングペンダント、ＮＷ ネットワーク、Ｓ キャリブレーション用シート、Ｗ ワーク。
【技術分野】
【０００１】
本発明は、コンベアトラッキング等などの画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
ファクトリーオートメーション（ＦＡ）分野においては、省力化のため、画像処理を用いて各種の工程を制御する技術が多用されている。このような画像処理技術の適用例の一つとして、ベルトコンベア等の搬送装置によってワークを搬送するとともに、その搬送中のワークを移動機械（以下、「産業用ロボット」あるいは単に「ロボット」とも称す。）を用いて、追跡（トラッキング）および把持するような作業工程がある。このような作業工程は、コンベアトラッキング等と称される。
【０００３】
このコンベアトラッキングの技術においては、撮像装置を用いて搬送装置上のワークを撮像し、その撮像によって得られた画像に対して、画像処理装置を用いてパターンマッチングあるいは２値化処理などの計測処理を行うことで、各ワークの存在位置（座標値）を特定する。そして、この特定された各ワークの存在位置（座標値）に基づいて、ロボットが各ワークを追跡および把持する。
【０００４】
例えば、特許文献１（特開２００２−１１３６７９号公報）は、搬送体によって搬送される複数のワークを撮像し、当該撮像結果から認識された各ワークの位置座標に基づいて複数のワークのハンドリングを制御するトラッキング方法を開示している。より具体的には、特許文献１に記載のトラッキング方法は、撮像手段による撮像領域とその直後の撮像領域とがワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像し、撮像領域内に全形を含むワークのみ位置座標を認識するという構成を採用する。
【０００５】
すなわち、特許文献１に記載のトラッキング方法においては、コンベアが一定量移動する毎に撮像に行われる。このとき、対象のワークの撮像／計測のもれが生じないように、互いに連続する撮像範囲の重複範囲が、ワークサイズ１つ分以上であって、カメラ視野の半分より小さくなるように、撮像タイミング（トリガ間隔）が設定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１１３６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般的には、互いに連続する撮像範囲の重複範囲は、各生産ラインなどに応じて調整が必要となる場合が多い。しかしながら、特許文献１に記載のトラッキング方法では、この撮像範囲の調整方法については何ら言及されていない。
【０００８】
例えば、ワークが食料品などのように不定形状である場合は、ワークサイズ（ワークの大きさ）を正確に把握することが難しいため、撮像範囲の重複範囲（すなわち、撮像タイミング）の調整に時間および手間がかかるという課題がある。
【０００９】
さらに、画像処理装置における計測処理の方法によっては、重複範囲として設定すべき最小値がワークサイズより大きくなる場合がある。例えば、予め登録したモデルとのマッチング処理を用いて、ワークの位置を検出する場合、重複範囲として設定すべき最小値は、モデルとして登録すべき領域の外接矩形（モデルが回転する場合は、外接矩形の対角線）としなければならない。そうでなければ、ワークを正確に計測できないという事態が生じ得る。
【００１０】
そこで、本発明は、上述のような課題を解決するためになされたものであり、その目的は、上述のようなコンベアトラッキング等などの画像処理システムにおいて、撮像部が撮像を行うための撮像開始条件をユーザが容易に設定できるユーザ支援装置、その機能を実現するためのプログラム、およびその機能を実装した画像処理装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明のある局面によれば、画像処理システムに向けられたユーザ支援装置を提供する。画像処理システムは、搬送装置上を搬送されるワークを撮像するように配置された撮像部と、撮像部に接続される画像処理装置とを含む。ユーザ支援装置は、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、撮像部の撮像範囲と搬送装置の属性との関係を利用して、決定された重複範囲の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する撮像開始条件決定手段とを含む。
【００１２】
好ましくは、ユーザ操作に応答して、決定された撮像開始条件を変更する変更手段をさらに含む。
【００１３】
好ましくは、ユーザ支援装置は、撮像部の撮像によって得られた画像に対して計測処理を行う計測手段をさらに含む。重複範囲決定手段は、計測処理により検出された範囲から重複範囲を決定する。
【００１４】
あるいは好ましくは、重複範囲決定手段は、表示手段に表示される画像に対して、検出すべき領域の指定に応答して、重複範囲を決定する。
【００１５】
あるいは好ましくは、重複範囲決定手段は、少なくとも検出すべきワークを示す領域を含むように、重複範囲を決定する。
【００１６】
さらに好ましくは、重複範囲決定手段は、検出すべきワークを示す領域の対角線より長くなるように、重複範囲を決定する。
【００１７】
あるいは好ましくは、重複範囲決定手段は、搬送装置上を搬送されるワークに対応する範囲とともに、一連の撮像の対象となる複数の撮像範囲を同時に表示する手段と、表示される複数の撮像範囲に対するユーザ操作に応答して、重複範囲を決定する手段とを含む。
【００１８】
好ましくは、ユーザ支援装置は、撮像開始条件と画像処理装置での計測処理時間との関係から、搬送装置で許容される搬送速度を決定する手段をさらに含む。
【００１９】
好ましくは、ユーザ支援装置は、撮像開始条件と画像処理装置での計測処理時間との関係から、搬送装置で許容される搬送速度を決定する手段をさらに含む。
【００２０】
この発明の別の局面に従えば、コンピュータにより実行されることで、当該コンピュータを画像処理システムに向けられたユーザ支援装置として機能させるプログラムを提供する。画像処理システムは、搬送装置上を搬送されるワークを撮像するように配置された撮像部と、撮像部に接続される画像処理装置とを含む。プログラムは、コンピュータを、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、撮像部の撮像範囲と搬送装置の属性との関係を利用して、決定された重複範囲の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する撮像開始条件決定手段として機能させる。
【００２１】
この発明のさらに別の局面に従えば、搬送装置上を搬送されるワークを撮像するように配置された撮像部に接続される画像処理装置を提供する。画像処理装置は、撮像部の撮像によって得られた画像を表示する表示手段と、表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、撮像部の撮像範囲と搬送装置の属性との関係を利用して、決定された重複範囲の大きさから、搬送装置の移動量によって定義される撮像部の撮像開始条件を決定する撮像開始条件決定手段とを含む。
【発明の効果】
【００２２】
本発明によれば、コンベアトラッキング等などの画像処理システムにおいて、撮像部が撮像を行うための撮像開始条件をユーザが容易に設定できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムの構成を示す模式図である。
【図２】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムにおける位置決めおよびトラッキング処理を説明するための図である。
【図３】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムのハードウェア構成について示す模式図である。
【図４】本発明の実施の形態に係る視覚センサによる撮像範囲を説明するための図である。
【図５】本発明の実施の形態に係る視覚センサと接続可能なサポート装置のハードウェア構成を示す模式図である。
【図６】本発明の実施の形態に係るキャリブレーションを説明するための図である。
【図７】図６に示すキャリブレーションによって取得されるパラメータセットの一例を示す図である。
【図８】本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【図９】本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【図１０】本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【図１１】本発明の実施の形態１に係るユーザインターフェイスの一例を示す図である。
【図１２】本発明の実施の形態１に係るユーザインターフェイスの一例を示す図である。
【図１３】本発明の実施の形態１に係る撮像開始条件の設定処理の手順を示すフローチャートである。
【図１４】本発明の実施の形態２に係るユーザインターフェイスの一例を示す図である。
【図１５】本発明の実施の形態２に係る撮像開始条件の設定処理の手順を示すフローチャートである。
【図１６】本発明の実施の形態２に係るユーザインターフェイスの別の一例を示す図である。
【図１７】本発明の実施の形態３に係るユーザインターフェイスの一例を示す図である。
【図１８】図１７に対応するワークの配置状態を説明するための図である。
【図１９】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムにおける搬送速度の上限値を決定する手順を示すフローチャートである。
【図２０】本発明の実施の形態に係る視覚センサを利用したコンベアトラッキングシステムにおける制御動作を示すシーケンス図である。
【図２１】本発明の実施の形態に係るロボット制御装置における処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２５】
＜Ａ．システム構成＞
図１は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムの構成を示す模式図である。図１に示すコンベアトラッキングシステムは、２つの搬送装置（コンベア）１０および２０を含む。コンベア１０および２０は、それぞれ駆動ローラ１２および２２によって回転駆動される。以下では、コンベア１０および２０をそれぞれライン１およびライン２とも称す。図１に示す例では、ライン１は、紙面右側に移動し、ライン２は、紙面左側に移動する。ライン１には、搬出装置３０等によって紙面左側からワークＷがランダムに提供される。このライン１上のワークＷは、紙面左側から紙面右側へ移動する。ワークＷとしては、典型的には、お菓子等の食品や各種の錠剤等が想定される。
【００２６】
本実施の形態に係る視覚センサ１００は、ライン１上の所定位置に設けられる。後述するように、視覚センサ１００は、ワークなどの被写体を撮像するための撮像部と当該撮像部によって撮像された画像を処理するための画像処理部とを一体的に構成したものである。但し、撮像部と画像処理部とを別体として構成してもよい。
【００２７】
視覚センサ１００は、その撮像範囲がライン１の幅方向（搬送方向とは直交する方向）の全体を含むように設定される。そして、視覚センサ１００が所定の撮像開始条件に従って撮像を行うことで、ライン１上をランダムに流れてくるワークＷを順次撮像する。視覚センサ１００は、この順次撮像される画像に対してパターンマッチングや２値化処理といった計測処理を行うことで、各ワークの位置決めおよびトラッキング処理を行う。このように、視覚センサ１００の撮像部（図３に示す撮像部１１０）は、搬送装置であるコンベア１０上を搬送されるワークＷを撮像するように配置されている。そして、この撮像部に画像処理装置（図３に示す画像処理部１２０）が接続される。
【００２８】
ライン１の搬送方向には、視覚センサ１００の下流側に、ワークＷを把持してライン２へ移動させるロボット３００が配置されている。このロボット３００は、ワークＷを把持するためのハンド先端を有しており、このハンド先端を目的位置に移動させることで、ライン２上のワークを把持する。すなわち、ロボット３００は、搬送装置であるコンベア１０（ライン１）の搬送経路において、視覚センサ１００の撮像部の撮像範囲より下流側に配置されるとともにワークＷを取り扱う移動機械に相当する。より具体的には、ロボット３００は、そのハンド先端を目的のワークＷに位置決めして、ピックアップしてライン２上に整列する。
【００２９】
さらに、ロボット３００は、ライン１に沿って移動するための移動機構４００（図２参照）上に配置されており、所定の稼動範囲に亘って移動する。このロボット３００の稼動範囲をトラッキング範囲とも称す。
【００３０】
ロボット３００のトラッキング処理および位置決め処理については、ライン１に設けられたエンコーダ１４による検出結果を用いて制御される。このエンコーダ１４は、典型的には、ロータリーエンコーダが採用され、回転に伴ってパルス信号を発生する。この発生するパルス信号のパルス数をカウントすることで、コンベア１０（ライン１）と連結されたローラの回転数、すなわち、エンコーダ１４が発生するパルス信号は、搬送装置であるコンベア１０の搬送経路における移動量を示す信号に相当し、このパルス信号に基づいて、コンベア１０の移動量が算出される。
【００３１】
ロボット３００は、ロボット制御装置２００からの指示に従って動作する。すなわち、ロボット制御装置２００は、移動機械であるロボット３００を制御するための制御装置である。ロボット制御装置２００は、視覚センサ１００とネットワークＮＷを介して接続されており、視覚センサ１００によって検出された各ワークＷの位置に基づいて、ロボット３００に対してワークＷの把持動作に必要な指示を与える。
【００３２】
ロボット制御装置２００には、ロボット３００のキャリブレーションなどを行うためのティーチングペンダント２１００が接続されている。ユーザは、ティーチングペンダント２１００を操作して、キャリブレーションなどに必要な位置にロボット３００を移動させる。
【００３３】
ネットワークＮＷには、視覚センサ１００およびロボット制御装置２００に加えて、操作表示装置５００およびサポート装置６００が接続されていてもよい。操作表示装置５００は、視覚センサ１００からの処理結果やロボット制御装置２００からのロボット３００の動作状態などを表示するとともに、ユーザからの操作に応答して、視覚センサ１００および／またはロボット制御装置２００へ各種の指示を与える。
【００３４】
図１に示すコンベアトラッキングシステムにおいては、撮像範囲を重複させて撮像を行った場合に、同一のワークが重複して撮像されることがある。この場合には、同一のワークが重複して検出されることになる。そのため、ワークの位置座標が検出されるたびに、先に検出されているワークと重複しているか否かをチェックし、重複した検出結果を削除する重複排除機能が実装される。この重複排除機能は、視覚センサ１００および／またはロボット制御装置２００内に実装されることが好ましい。
【００３５】
＜Ｂ．位置決めおよびトラッキング処理＞
次に、図１に示すコンベアシステムにおける位置決めおよびトラッキング処理の詳細について説明する。
【００３６】
図２は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムにおける位置決めおよびトラッキング処理を説明するための図である。図２を参照して、視覚センサ１００は、内蔵の撮像部を用いてライン１を撮像する。視覚センサ１００の撮像動作は、視覚センサ１００で発行された撮像指示、または、ロボット制御装置２００で発行された撮像指示に応じて開始される。
【００３７】
本実施の形態に係るコンベアトラッキングシステムにおいては、この撮像指示を発行するための撮像開始条件（典型的には、後述するように、コンベアの移動量で定義される撮像周期）をより容易に決定するための支援ロジックが実装される。
【００３８】
撮像指示がロボット制御装置２００で発行される場合には、撮像指示は、視覚センサ１００とロボット制御装置２００とを接続するネットワークＮＷ経由で搬送される。このネットワークＮＷは、典型的には、イーサネット（登録商標）などの汎用的なネットワークを採用することができる。
【００３９】
視覚センサ１００は、撮像指示に応答して撮像を開始する。これにより、視覚センサ１００は、撮像範囲を写した画像を順次取得する。そして、視覚センサ１００は、当該画像に対して計測処理（典型的には、予め登録されたワークＷについてのモデル画像に基づくパターンマッチング処理、あるいは、２値化処理）を実行する。さらに、視覚センサ１００は、この計測処理によって得られた各ワークＷの撮像時の位置情報（Ｘ，Ｙ，θ）をロボット制御装置２００へ送信する。
【００４０】
このように、視覚センサ１００は、撮像部の撮像によって得られた画像に対して計測処理を行うことで、画像中の予め登録されたワークに対応する領域の位置情報を取得する。
【００４１】
視覚センサ１００から送信される位置情報は、コンベア１０上のワークＷの位置（Ｘ，Ｙ）およびワークＷの回転角度（θ）を含む。
【００４２】
また、ワークＷの座標値（Ｘ，Ｙ）には、ロボット制御装置２００における処理を簡素化する観点から、ロボット３００を制御するための座標系に換算した値が用いられる。すなわち、視覚センサ１００は、ワークＷの位置情報をロボット３００の座標系で定義された値としてロボット制御装置２００へ送信する。
【００４３】
より具体的には、図２に示すように、視覚センサ１００（撮像部１１０）が撮像によって、幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］の画像が取得できるとする。この画像に対して設定されるｘｙ座標系（以下、「画像座標系」とも称す。）において定義される座標値（ｘｉ，ｙｉ）をロボット３００のハンド先端（ピッキング）位置に対して設定されるＸＹ座標系（以下、「ロボット座標系」とも称す。）の座標値に変換する。この座標変換に係る変換式およびパラメータについては、後述する。
【００４４】
このような座標変換を行うことで、ロボット３００のハンド先端（ピッキング）位置をＸ座標（コンベアの搬送方向）およびＹ座標（コンベアの搬送方向とは直交する方向）で定義しておき、このＸＹ座標系（ロボット座標系）を用いてパターンマッチング処理により検出された各ワークの位置を特定することができる。
【００４５】
このように、位置情報は、撮像によって取得された画像中の予め登録されたワークに対応する領域を移動機械であるロボット３００の座標系「ロボット座標系」で表した座標値を含む。また、各ワークＷの計測された位置情報をロボット座標系の値として出力できるように、視覚センサ１００およびロボット制御装置２００は、予めキャリブレーションされている。このキャリブレーションについては、後述する。
【００４６】
また、ワークＷの回転角度（θ）は、ワークＷのモデル画像を基準とした場合の回転角度を意味する。すなわち、位置情報は、予め登録されたワークの姿勢を基準とした、画像中の当該ワークに対応する領域の回転角度をさらに含む。ワークＷの形状によっては、この回転角度の情報に基づいて、ロボット３００のハンド先端の回転角度などが適宜制御される。
【００４７】
ロボット制御装置２００は、エンコーダ１４からのパルス信号に含まれるパルス数をカウントし、予め定められた値以上の数のパルスが入力されたタイミングで、ネットワークＮＷを経由して視覚センサ１００に対して撮像指示を送出する。
【００４８】
視覚センサ１００からの各ワークの位置情報は、ネットワークＮＷを介してロボット制御装置２００へ送信され、ロボット制御装置２００の内部にあるメモリに格納される。また、ロボット制御装置２００は、エンコーダ１４からのパルス信号を受けるたびに、メモリ内に格納されているすべてのワークＷの座標値（Ｘ，Ｙ）を更新する。これは、ロボット制御装置２００のメモリ上において、実際にベルトコンベア上を搬送するワークＷをトラッキングするためである。そして、いずれかのワークＷの更新後の位置情報（座標値）がロボット３００のトラッキング範囲に入ると、ロボット３００に対して把持動作に必要な指示を与える。
【００４９】
ライン１に設けられたエンコーダ１４の検出結果に応じて生成されるパルス信号は、視覚センサ１００およびロボット制御装置２００へ入力されるように構成されている。視覚センサ１００およびロボット制御装置２００は、パルス信号に含まれるパルス数をカウントするためのエンコーダカウンタをそれぞれ有している。エンコーダ１４からのパルス信号は、並列的に、視覚センサ１００およびロボット制御装置２００に入力されるので、それぞれのエンコーダカウンタを同じタイミングで初期化（カウンタリセット）しておけば、その後に入力されるパルス信号についてのカウント値は互いに同じ値となる。カウント値についての同期をとることができる。
【００５０】
より具体的には、視覚センサ１００およびロボット制御装置２００には、いずれも、エンコーダ１４からのパルス信号に含まれる１パルスあたりのコンベアの移動量が予め設定されている。さらに、視覚センサ１００およびロボット制御装置２００のそれぞれのエンコーダカウンタについても、互いに同一のパラメータ（カウンタ最大値、カウンタ最小値、１パルスに対する増加値など）が設定されている。すなわち、視覚センサ１００のエンコーダカウンタは、ロボット制御装置２００のエンコーダカウンタとの間で、カウントに関して同一のパラメータが設定されている。
【００５１】
また、これらのエンコーダカウンタによるカウント値は、生産ラインの稼動前に０に初期化される。すなわち、視覚センサ１００のエンコーダカウンタは、パルス信号に含まれるパルス数のカウント開始前に、ロボット制御装置２００のエンコーダカウンタとともに、リセットされる。
【００５２】
このように本実施の形態においては、視覚センサ１００とロボット制御装置２００との間でコンベア１０の搬送経路における移動量を同期して保持する手段が実現される。
【００５３】
上述のような構成の下、視覚センサ１００は、ロボット制御装置２００からの撮像指示に従って実際に撮像を行ったときのカウント値を各ワークの位置情報に付加して、ロボット制御装置２００へ送信する。すなわち、視覚センサ１００は、ワークＷの位置情報と対応するコンベア１０における移動量とをロボット制御装置２００へ送信する。
【００５４】
上述したように、視覚センサ１００とロボット制御装置２００との間でカウント値を同期して保持しているため、ロボット制御装置２００から撮像指示を送出したタイミングと、撮像指示に応答して視覚センサ１００が実際に撮像を行ったタイミングとの間にライムラグがあっても、共通の時間軸上で、すなわち同期されたカウント値を用いて、実際に撮像が行われたタイミングが特定される。
【００５５】
このように、視覚センサ１００は、検出されたワークＷの位置情報と、当該位置情報の取得に用いた画像を撮像したときのコンベア１０における移動量とをロボット制御装置２００へ送信する。このワークＷの位置情報の取得に用いた画像を撮像したときの移動量は、カウンタによるカウント値で示される。
【００５６】
ロボット制御装置２００では、視覚センサ１００から受信した撮像時のカウント値を用いて、対応する位置情報を補正した上で、自装置のメモリに格納する。これによって、ライン速度が高く、撮像指示の出力から現実の撮像までのタイムラグが、ロボット３００における位置決めおよびトラッキング処理に影響を与えるという事態を回避できる。
【００５７】
＜Ｃ．ハードウェア構成＞
図３は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムのハードウェア構成について示す模式図である。図３を参照して、視覚センサ１００は、撮像部１１０と、画像処理部１２０とを含む。
【００５８】
撮像部１１０は、撮像範囲に存在する被写体を撮像する装置であり、主体たる構成要素として、レンズや絞りなどの光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの受光素子とを含む。撮像部１１０は、画像処理部１２０からの指令に従って撮像するとともに、その撮像によって得られた画像データを画像処理部１２０へ出力する。
【００５９】
画像処理部１２０は、ＣＰＵ（Central Processing Unit）１２２と、メモリ１２４と、撮像制御部１２６と、通信インターフェイス（Ｉ／Ｆ）１２８と、入出力インターフェイス（Ｉ／Ｆ）１３０と、エンコーダカウンタ１３２とを含む。これらのコンポーネントは、バス１３４を介して互いにデータ通信可能に接続されている。
【００６０】
ＣＰＵ１２２は、画像処理部１２０において主たる演算を行うプロセッサである。メモリ１２４は、ＣＰＵ１２２によって実行される各種プログラム、撮像部１１０によって撮像された画像データ、各種パラメータなどを格納する。典型的には、メモリ１２４は、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性記憶装置と、ＦＬＡＳＨメモリなどの不揮発性記憶装置とからなる。
【００６１】
撮像制御部１２６は、ＣＰＵ１２２などからの内部コマンドに従って、接続されている撮像部１１０における撮像動作を制御する。撮像制御部１２６は、撮像部１１０に対して各種コマンドを送信するインターフェイスと、撮像部１１０からの画像データを受信するインターフェイスとを有している。
【００６２】
通信インターフェイス１２８は、ロボット制御装置２００との間で各種データを遣り取りする。典型的には、視覚センサ１００およびロボット制御装置２００とはイーサネット（登録商標）を介して接続されており、通信インターフェイス１２８は、このようなイーサネット（登録商標）に準拠したハードウェアである。
【００６３】
入出力インターフェイス１３０は、画像処理部１２０から外部へ各種信号を出力し、あるいは、外部からの各種信号を入力する。特に、入出力インターフェイス１３０は、エンコーダ１４で生成されるパルス信号を受け入れ、その信号をデジタル信号に変換してエンコーダカウンタ１３２へ出力する。
【００６４】
エンコーダカウンタ１３２は、エンコーダ１４からのパルス信号に含まれるパルス数をカウントする。このエンコーダカウンタ１３２は、基本的には、ＣＰＵ１２２の演算サイクルとは独立して動作するため、エンコーダ１４からのパルス信号に含まれるパルス数を取り逃すことがない。
【００６５】
一方、ロボット制御装置２００は、演算処理部２１０と、通信インターフェイス（Ｉ／Ｆ）２２８と、入出力インターフェイス（Ｉ／Ｆ）２３０と、エンコーダカウンタ２３２と、ピッキング制御部２４０と、移動制御部２５０とを含む。
【００６６】
演算処理部２１０は、視覚センサ１００からの位置情報に基づいて、ロボット３００および移動機構４００に対してコマンドを出力するための演算を行うプロセッサであり、それぞれのワークＷをトラッキングするためのメモリ２２０を含む。メモリ２２０には、視覚センサ１００の計測処理によって検出されたそれぞれのワークＷの位置情報が格納される。演算処理部２１０は、対象のコンベアの移動（エンコーダ１４からのパルス信号に基づいて検出）に応じて、それぞれのワークＷの位置情報を順次更新する。
【００６７】
通信インターフェイス（Ｉ／Ｆ）２２８は、視覚センサ１００の画像処理部１２０との間で各種データを遣り取りする。典型的には、視覚センサ１００およびロボット制御装置２００とはイーサネット（登録商標）を介して接続されており、通信インターフェイス２２８は、このようなイーサネット（登録商標）に準拠したハードウェアである。
【００６８】
入出力インターフェイス２３０は、ロボット制御装置２００から外部へ各種信号を出力し、あるいは、外部からの各種信号を入力する。特に、入出力インターフェイス２３０は、エンコーダ１４で生成されるパルス信号を受け入れ、その信号をデジタル信号に変換してエンコーダカウンタ２３２へ出力する。
【００６９】
エンコーダカウンタ２３２は、エンコーダ１４からのパルス信号に含まれるパルス数をカウントする。このエンコーダカウンタ２３２は、基本的には、演算処理部２１０の演算サイクルとは独立して動作するため、エンコーダ１４からのパルス信号に含まれるパルス数を取り逃すことがない。
【００７０】
ピッキング制御部２４０は、演算処理部２１０などからの内部コマンドに従って、接続されているロボット３００における把持動作を制御する。ピッキング制御部２４０は、ロボット３００のそれぞれの可動軸における目標位置などを送信するインターフェイスと、ロボット３００のそれぞれの可動軸における現在位置を受信するインターフェイスとを有している。
【００７１】
移動機構４００は、演算処理部２１０などからの内部コマンドに従って、接続されているロボット３００を駆動する移動機構４００におけるトラッキングを制御する。移動機構４００は、移動機構４００の目標位置および目標速度などを送信するインターフェイスと、移動機構４００の移動軸における現在位置を受信するインターフェイスとを有している。
【００７２】
＜Ｄ．撮像開始条件＞
本実施の形態に係るコンベアトラッキングシステムは、コンベア上を搬送されるワークを順次撮像するための撮像開始条件を決定するための支援機能を提供する。この撮像開始条件は、コンベア１０の搬送速度が変動した場合であっても、対象のワークの撮像もれや計測もれ（検出もれ）が生じないように、コンベア１０の移動量に関連付けて定義される。より具体的には、コンベア１０が所定距離だけ進むごとに、撮像部１１０を用いて撮像を行う。そのため、典型的な撮像開始条件は、撮像指示を発生する周期を示すコンベア１０の移動量（エンコーダ１４からのパルス信号のカウント値）として定義される。すなわち、エンコーダカウンタ１３２または２３２のカウント値が、撮像開始条件として設定された所定値だけ増加するごとに、撮像指示が発行される。この撮像指示に応答して、撮像部１１０による撮像範囲の撮像および撮像によって得られた画像に対する計測処理が行われる。また、このような撮像指示を発生する周期をトリガ間隔とも称す。
【００７３】
図４は、本発明の実施の形態に係る視覚センサ１００による撮像範囲を説明するための図である。図４（ａ）を参照して、まず、視覚センサ１００（撮像部１１０）が撮像によって、幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］の画像が取得できるとする。一方、コンベア１０上のワークＷは、コンベア１０の搬送速度で移動することになる。図４（ａ）の状態から所定期間後に撮像指示が与えられ、視覚センサ１００（撮像部１１０）による撮像が行われた場合に、図４（ｂ）に示すような画像が取得されたとする。
【００７４】
本実施の形態に係るコンベアトラッキングシステムでは、対象のワークＷの撮像／計測のもれが生じないように、一連の撮像の対象となる撮像範囲の間の重複範囲、すなわち、前回の撮像範囲と今回の撮像範囲との間の重複範囲（図４（ｂ）参照）が、少なくともワークＷ（モデルとして登録すべき領域）を含むように、撮像開始条件が設定される。
【００７５】
典型的には、本実施の形態に係るコンベアトラッキングシステムでは、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、ワークＷ（モデルとして登録すべき領域）の対角線の長さより大きくなるように、撮像開始条件を設定することが好ましい。これは、ワークＷの配置方向が必ずしも揃っているわけではないため、ワークＷの回転角度によらず、対象のワークの撮像／計測のもれを生じさせないためには、重複範囲の長さＬを、少なくとも、ワークＷの対角線の長さより大きくすることが好ましいからである。
【００７６】
なお、図４（ｂ）に示す前回の撮像範囲および今回の撮像範囲のいずれにも、ワークＷは含まれることになるので、それぞれの撮像範囲を撮像して得られた画像のいずれにおいても、ワークＷが検出される（パターンマッチングにより抽出される）。この場合には、上述の重複排除機能により、同一のワークＷからは１つの位置情報のみが登録されるように処理されるので、コンベアトラッキングにおいては、何ら問題は生じない。
【００７７】
本実施の形態においては、このような撮像開始条件をユーザが容易に設定できるようなユーザインターフェイスを提供する。これらのユーザインターフェイスの実現例について、実施の形態１〜４として詳細に後述する。
【００７８】
＜Ｅ．ユーザ支援装置＞
まず、上述したような撮像開始条件を容易に設定するためのユーザインターフェイスを提供するユーザ支援装置の一例について説明する。典型的には、本実施の形態に係るユーザ支援装置は、視覚センサ１００およびロボット制御装置２００とネットワークＮＷを介して接続されるサポート装置６００（図１）として実装される。すなわち、サポート装置６００は、視覚センサ１００を含む画像処理システムに向けられたユーザ支援装置に相当する。
【００７９】
図５は、本発明の実施の形態に係る視覚センサ１００と接続可能なサポート装置６００のハードウェア構成を示す模式図である。サポート装置６００は、典型的には、汎用のコンピュータで構成される。なお、メンテナンス性の観点からは、可搬性に優れたノート型のパーソナルコンピュータが好ましい。
【００８０】
図５を参照して、サポート装置６００は、ＯＳを含む各種プログラムを実行するＣＰＵ６１と、ＢＩＯＳや各種データを格納するＲＯＭ（Read Only Memory）６２と、ＣＰＵ６１でのプログラムの実行に必要なデータを格納するための作業領域を提供するメモリＲＡＭ６３と、ＣＰＵ６１で実行されるプログラムなどを不揮発的に格納するハードディスク（ＨＤＤ）６４とを含む。
【００８１】
サポート装置６００は、さらに、ユーザからの操作を受付けるキーボード６５およびマウス６６と、情報をユーザに提示するためのモニタ６７とを含む。
【００８２】
後述するように、サポート装置６００で実行される各種プログラムは、ＣＤ−ＲＯＭ６９に格納されて流通する。すなわち、本実施の形態に係るユーザ支援装置を実現するためのプログラム（すなわち、ユーザインターフェイスを提供するためのプログラム）は、ＣＤ−ＲＯＭ６９に格納される。そして、これらのプログラムは、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）ドライブ６８によって読取られ、ハードディスク（ＨＤＤ）６４などへ格納される。もちろん、上位のホストコンピュータなどからネットワークを通じてプログラムをサポート装置６００へダウンロードするように構成してもよい。
【００８３】
このようにユーザ支援装置を実現するためのプログラムがサポート装置６００にインストールされることで、ＣＰＵ６１には、ユーザ支援ロジック６１ａが実現される。このユーザ支援ロジック６１ａが後述するようなユーザ支援機能を提供する。なお、本実施の形態に係るユーザ支援装置は、視覚センサ１００および／またはロボット制御装置２００との間で必要なデータを遣り取りする場合もある。このような場合には、サポート装置６００と、視覚センサ１００および／またはロボット制御装置２００とが協働してユーザ支援機能を提供するとも言える。また、ユーザ支援ロジック６１ａは、サポート装置６００で実行されるオペレーションシステム（ＯＳ）が提供する共通モジュール（ライブラリ）などを利用して、各種の表示画面を生成する場合もある。そのため、ユーザ支援機能を実現するためのプログラムとしては、ＯＳが提供する汎用的な部分については含まれないことになるが、このような場合であっても、本発明の権利範囲に含まれることは言うまでもない。さらに、ユーザ支援ロジック６１ａは、ＣＰＵ６１がプログラムを実行することで実現される場合以外に、その全部または一部を専用のハードウェアを用いて実現してもよい。
【００８４】
上述したように、サポート装置６００は、汎用的なコンピュータを用いて実現されるので、これ以上の詳細な説明は行わない。
【００８５】
また、本実施の形態に係るユーザ支援装置は、操作表示装置５００として具現化してもよいし、このユーザ支援機能を視覚センサ１００に実装してもよい。
【００８６】
＜Ｆ．キャリブレーション＞
次に、本実施の形態に係るユーザ支援機能を実現するための各種パラメータを取得するためのキャリブレーションについて説明する。
【００８７】
図６は、本発明の実施の形態に係るキャリブレーションを説明するための図である。図７は、図６に示すキャリブレーションによって取得されるパラメータセットの一例を示す図である。図８〜図１０は、本発明の実施の形態に係るキャリブレーションの手順を説明するための図である。
【００８８】
図６を参照して、本実施の形態に係るキャリブレーションにおいては、主として、以下の２つの観点でキャリブレーションが行われる。
【００８９】
（１） ロボット−コンベア間のキャリブレーション：
このキャリブレーションにおいては、エンコーダ１４からのパルス信号に含まれる１パルスあたりのコンベアの移動量が取得される。このコンベアの移動量は、図７の下から２段目に示されるｄＸおよびｄＹに相当する。このコンベアの移動量は、ロボット３００がエンコーダ１４からのパルス信号を受けて、コンベア１０上のワーク位置を追跡（トラッキング）するために必要なパラメータである。
【００９０】
（２） 視覚センサ−ロボット間のキャリブレーション：
視覚センサ１００によって計測されたワークの位置情報（画像座標系の座標値（ｘｉ，ｙｉ）［ｐｉｘｅｌ］）を、ロボット座標系の座標値（Ｘ，Ｙ）［ｍｍ］に変換するための関係式が取得される。この関係式は、図７の最下段に示される６個のパラメータＡ〜Ｆによって定義される。
【００９１】
なお、図６に示すように、キャリブレーションを行うためには、ロボット３００の位置情報（ロボット座標値）が必要であるので、ロボット制御装置２００からネットワークＮＷを介して視覚センサ１００にこれらの位置情報が転送される。
【００９２】
次に、キャリブレーションの手順についてより詳細に説明する。なお、後述するように、本実施の形態に係るコンベアシステムにおいては、ユーザは、上述したようなキャリブレーションの意味を理解せずとも、指定された手順に従って操作するだけで、容易にキャリブレーションを行うことができる。より具体的には、本実施の形態に係るキャリブレーションは、図８〜図１０に示す３段階の手順によって実現される。
【００９３】
なお、本実施の形態に係るキャリブレーションにおいては、図７の最上段に示すターゲットパターンが描画されたキャリブレーション用シートＳが用いられる。このキャリブレーション用シートＳに示されたターゲットパターンは、その内部が約９０°ずつに塗り分けられた５個の円（マーク）を含む。なお、後述するように、基本的には４個のマークを用いてキャリブレーションが行われるが、追加的に配置された１個のマークは、キャリブレーション用シートＳの配置向きを所定方向に統一するために用いられる。
【００９４】
（第１段階）
第１段階としては、図８に示すように、ユーザは、ターゲットパターンが描画されたキャリブレーション用シートＳを視覚センサ１００（撮像部１１０）の視野内に配置する。そして、ユーザは、視覚センサ１００に対して撮像指示を与える。すると、視覚センサ１００は、撮像によって得られた画像（ターゲットパターンが被写体として含まれる画像）に対して計測処理を行い、ターゲットパターンに含まれる四隅に配置された４個のマークについての各中心点の座標値を決定する。これによって、ターゲットパターンに含まれる４個のマークについての画像座標系の座標値［ｐｉｘｅｌ］がそれぞれ取得される。この取得される４個の座標値が、図７の最上段に示される（ｘｉ１，ｙｉ１）、（ｘｉ２，ｙｉ２）、（ｘｉ３，ｙｉ３）、（ｘｉ４，ｙｉ４）に相当する。
【００９５】
（第２段階）
第２段階としては、図９に示すように、ユーザは、コンベア１０を動かしてターゲットパターンが描画されたキャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）内に配置するとともに、ロボット３００を操作して、ターゲットパターンに含まれる４個のマークとロボット３００との位置関係を対応付ける。
【００９６】
より具体的には、まず、ユーザは、コンベア１０を動かして、キャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）内に配置する。なお、このコンベア１０の移動前（キャリブレーション開始時）のカウント値が、予め取得されているものとする。このカウント値が図７の上から２段目に示されるエンコーダカウント値Ｅ１（キャリブレーション開始時）に相当する。
【００９７】
続いて、ユーザは、ロボット制御装置２００に付属しているティーチングペンダント２１００を操作するなどによって、ロボット３００のハンド先端をキャリブレーション用シートＳ上の１つのマークと対応するように位置決めする。ユーザは、この位置決めされた状態で指示を与えることで、ロボット制御装置２００が把握しているロボット３００の位置情報（ロボット３００のハンド先端の位置を示すロボット座標系での座標値）が視覚センサ１００へ送信される。このロボット３００のハンド先端の位置決めして、および、位置決め状態におけるロボット３００の位置情報の視覚センサ１００へ送信する処理は、ターゲットパターンに含まれる４個のマークのすべてに対して繰り返し実行される。
【００９８】
このような手順によって、ターゲットパターンに含まれる４個のマークに対応するロボット３００の位置情報がそれぞれ取得される。この取得される４個のマークに対応するロボット３００の位置情報が、図７の上から３段目に示される（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）に相当する。
【００９９】
なお、図９に示すように、キャリブレーション用シートＳがロボット３００のトラッキング範囲（稼動範囲）内に配置された状態は、４個のマークすべてに対応するロボット３００の位置情報が視覚センサ１００へ送信されるまで維持される。
【０１００】
また、視覚センサ１００は、図９に示す状態におけるカウント値についても格納する。このカウント値が、図７の上から２段目に示されるエンコーダカウント値Ｅ２（コンベアをロボット稼動範囲（上流）まで移動させたとき）に相当する。
【０１０１】
（第３段階）
第３段階としては、図１０に示すように、ユーザは、コンベア１０をさらに動かしてキャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）の最下流の位置に配置するとともに、ロボット３００を操作して、ターゲットパターンに含まれる１個のマークとロボット３００との位置関係を対応付ける。
【０１０２】
より具体的には、まず、ユーザは、コンベア１０を動かして、キャリブレーション用シートＳをロボット３００のトラッキング範囲（稼動範囲）の下流側の端部に配置する。
【０１０３】
続いて、ユーザは、ティーチングペンダント２１００を操作するなどによって、ロボット３００のハンド先端をキャリブレーション用シートＳ上の１番目のマーク（第２段階で座標値（Ｘ１，Ｙ１）を取得したマーク）と対応するように位置決めする。ユーザは、この位置決めされた状態で指示を与えることで、ロボット制御装置２００が把握しているロボット３００の位置情報（ロボット３００のハンド先端の位置を示すロボット座標系での座標値）が視覚センサ１００へ送信される。
【０１０４】
このような手順によって、ターゲットパターンに含まれる１番目のマークに対応するロボット３００の位置情報がそれぞれ取得される。この取得される１番目のマークに対応するロボット３００の位置情報が、図７の上から４段目に示される（Ｘ５，Ｙ５）に相当する。
【０１０５】
また、視覚センサ１００は、図１０に示す状態におけるカウント値についても格納する。このカウント値が、図７の上から２段目に示されるエンコーダカウント値Ｅ３（コンベアをロボット稼動範囲（下流）まで移動させたとき）に相当する。
【０１０６】
（パラメータ算出処理）
上述したような第１〜第３段階の処理によって取得されたパラメータを用いて、まず、エンコーダ１４からの１カウントあたりのワークの移動量ｄＸおよびｄＹが算出される。より具体的には、以下の式に従って算出される。
【０１０７】
ｄＸ＝（Ｘ５−Ｘ１）／（Ｅ３−Ｅ２）
ｄＹ＝（Ｙ５−Ｙ１）／（Ｅ３−Ｅ２）
これらの式は、図９に示す状態と図１０に示す状態との間で、ロボット３００のハンド先端がキャリブレーション用シートＳ内の同一のマークに位置決めされた場合に生じる、カウント値の変化量に対するロボット３００の位置情報の変化量を算出することを意味する。これらの演算式によって、１カウントあたりのワークの移動量ｄＸおよびｄＹが決定される。すなわち、ロボット−コンベア間のキャリブレーションが実現される。
【０１０８】
また、図８において取得される画像座標系の座標値（ｘｉ１，ｙｉ１），（ｘｉ２，ｙｉ２），（ｘｉ３，ｙｉ３），（ｘｉ４，ｙｉ４）と、図９において取得されるロボット座標系の座標値（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）との対応関係に基づいて、座標系の変換に係る変換式の６個のパラメータＡ〜Ｆが決定される。すなわち、公知の手法を用いて、以下の式を満たす（あるいは、誤差が最小となる）パラメータＡ〜Ｆが決定される。
【０１０９】
Ｘ＝Ａ・ｘｉ＋Ｂ・ｙｉ＋Ｃ
Ｙ＝Ｄ・ｘｉ＋Ｅ・ｙｉ＋Ｆ
これにより、視覚センサ−ロボット間のキャリブレーションが実現される。
【０１１０】
＜Ｇ．実施の形態１＞
（ｇ１：概略）
まず、実施の形態１として、ユーザがモデルとして登録すべき領域を指定することに応答して、撮像開始条件が自動的に設定される例について説明する。なお、この自動的に設定された撮像開始条件は、いわゆるデフォルト設定として扱われ、ユーザは必要に応じてこれらの撮像開始条件を任意に変更することができる。
【０１１１】
図１１および図１２は、本発明の実施の形態１に係るユーザインターフェイスの一例を示す図である。図１１は、計測処理としてサーチ処理（パターンマッチング処理）を行う場合の例を示し、図１２は、計測処理として２値化処理を行う場合の例を示す。すなわち、図１１に示すサーチ処理においては、検出すべきワークを示すモデルが予め登録され、この登録されたモデルと一致する領域がサーチされる。一方、図１２に示す２値化処理においては、入力された画像に対して２値化処理が行われ、この２値化処理によって他の領域とは区別される部分（白領域または黒領域）がワークとして検出される。
【０１１２】
（ｇ２：サーチ処理）
まず、図１１を参照して、計測処理としてサーチ処理を用いる場合に、撮像開始条件を設定するためのユーザインターフェイスについて説明する。
【０１１３】
本実施の形態に係るユーザ支援機能の開始が指示されると、図１１（ａ）に示すように、計測処理を選択するためのメニューを含むガイダンス画面８００がモニタ６７（図５）に表示される。ガイダンス画面８００は、計測処理のリストが提示されるメニュー部分８１０と、撮像部１１０の視野（撮像範囲）の大きさを実寸法（搬送装置の物理的長さ）で示す視野表示部８２０とを含む。
【０１１４】
図１１（ａ）に示すメニュー部分８１０のうち、ユーザがサーチ処理を意味する「０．サーチ」の行８１１を選択すると、図１１（ｂ）に示すガイダンス画面８０１へ遷移する。図１１（ｂ）を参照して、ガイダンス画面８０１は、撮像部１１０によって撮像された画像を表示する表示領域８４０を含む。この表示領域８４０に表示される画像は、撮像部１１０での撮像タイミングに応じて順次更新されるモード（スルーモード）、および、撮像部１１０があるタイミングで撮像して得られる画像を表示するモード（フリーズモード）を選択できるようにしてもよい。
【０１１５】
このガイダンス画面８０１は、「モデル登録する範囲を囲ってください」という、ユーザに検出すべきワークを示す領域（サーチ処理に用いられるモデル）の指定を促す画面である。ユーザは、ガイダンス画面８０１の表示領域８４０に表示される画像に対して、検出すべきワークを示す領域を指定する。具体的には、ユーザは、マウス６６（図５）などを用いて、カーソル８４５でモデル領域８４４を指定する。なお、モデル領域８４４の指定方法は、任意の入力手段を用いた方法を採用することができる。
【０１１６】
このユーザに指定されたモデル領域８４４は、表示領域８４０の画像上に明示的に示される。なお、モデル領域８４４の設定に伴って、モデル領域８４４の画像内の位置情報がモデル範囲表示部８３０に表示される。このモデル範囲表示部８３０には、典型的には、モデル領域８４４の対角線上にある２つの座標値が表示される。
【０１１７】
図１１（ｂ）に示すガイダンス画面８０１においてモデル領域８４４の設定が完了すると、後述するような計算ロジックに従って、撮像開始条件（トリガ間隔）が決定される。この撮像開始条件が決定されると、図１１（ｃ）に示すガイダンス画面８０２へ遷移する。このガイダンス画面８０２は、撮像開始条件を示す撮像開始条件表示部８３５を含む。撮像開始条件表示部８３５には、撮像開始条件（トリガ間隔）が、コンベア１０の物理的長さ（ロボット座標系での長さ）として表示される（図１１（ｃ）に示す「５０［ｍｍ］」）とともに、その長さに対応するパルス数（カウント値）としても表示される（図１１（ｃ）に示す「１０００［ｐｕｌｓｅ］」）。
【０１１８】
さらに、ガイダンス画面８０２は、決定された撮像開始条件を変更するためのインターフェイスについても提供する。すなわち、ガイダンス画面８０２は、重複範囲の長さＬをユーザが任意に変更するための操作バー８６０を含む。ユーザは、表示領域８４０に表示される画像およびその上に設定されるモデル領域８４４の大きさなどを見ながら、操作バー８６０を操作することで、より好ましい撮像開始条件に微調整することもできる。
【０１１９】
なお、コンベア１０の搬送方向は、撮像部１１０の撮像範囲のいずれかの辺に対して平行であるとは限らないので、その搬送方向を示す搬送方向表示８４２が表示領域８４０の上にオーバーレイ表示される。この搬送方向表示８４２は、上述のキャリブレーションによって取得される、エンコーダ１４からの１カウントあたりのワークの移動量ｄＸ（Ｘ方向）［ｍｍ／ｐｕｌｓｅ］およびｄＹ（Ｙ方向）［ｍｍ／ｐｕｌｓｅ］を用いて生成される。
【０１２０】
次に、図１１に示すようなユーザが指定するモデル領域８４４に応じて、撮像開始条件を決定するロジックについて説明する。上述したキャリブレーションによって、パルス信号の１カウントあたりのワークの移動量ｄＸおよびｄＹ、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆが予め取得されているとする。また、撮像部１１０の撮像によって得られる画像サイズ（幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］）も既知である。
【０１２１】
撮像開始条件は、図１１に示すガイダンス画面において設定される計測処理（サーチ処理）に係る設定内容を用いて算出される。より具体的には、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、検出すべきワークを示す領域の対角線の長さより大きくなるように、撮像開始条件が決定される。
【０１２２】
すなわち、撮像開始条件（トリガ間隔）を概略的な数式で示すと、以下のようになる。
（トリガ間隔）＝｛（画像サイズ）−（モデルとして登録すべき領域の外接矩形対角線）｝／（エンコーダ１パルスあたりの移動量）
但し、実装の形態としては、対角線の長さを計算するのではなく、ロボット座標系のＸ軸方向およびＹ軸方向のうち、ワークＷがより大きく移動する方向の成分のみに着目して、撮像開始条件を決定すればよい。これにより、計算に要するリソースを低減できる。すなわち、ワークＷのＸ方向の移動量ｄＸとＹ方向の移動量ｄＹとの大小関係に応じて、下記のいずれかの式に従って、トリガ間隔が算出される。なお、重複範囲の長さをＬ［ｐｉｘｅｌ］とする。
【０１２３】
（１）ｄＸ＞ｄＹの場合：
（トリガ間隔）＝｛Ａ・（ＷＤ−Ｌ）｝／ｄＸ［ｐｕｌｓｅ］
（２）ｄＸ≦ｄＹの場合：
（トリガ間隔）＝｛Ｄ・ＷＤ＋Ｅ・（ＨＴ−Ｌ）｝／ｄＹ［ｐｕｌｓｅ］
なお、ユーザが図１１（ｃ）の操作バー８６０などを操作することで、重複範囲の長さＬが変更されると、上述の式が再度実行され、撮像開始条件（トリガ間隔）が更新される。
【０１２４】
以上のような処理をまとめると以下のように表現することができる。本実施の形態に係る支援機能は、表示手段であるモニタ６７に表示される画像に対して、ユーザ操作に応答して撮像範囲の間の重複範囲を決定し、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、決定された重複範囲の大きさから、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。
【０１２５】
すなわち、表示手段であるモニタ６７は、視覚センサ１００の撮像部１１０の撮像によって得られた画像を表示する。そして、入力手段であるキーボード６５および／またはマウス６６は、モニタ６７に表示される画像に対して、検出すべきワークを示す領域の指定を受付ける。この受付けられた指令は、ＣＰＵ６１（ユーザ支援ロジック６１ａ）へ転送される。ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、コンベア１０（搬送装置）の移動量（パルス数）によって定義される撮像部１１０の撮像開始条件を決定する。この撮像部１１０の撮像範囲とコンベア１０の属性との関係の具体的な内容としては、パルス信号の１カウントあたりのワークの移動量ｄＸ（Ｘ方向）およびｄＹ（Ｙ方向）、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆからなる変換関数を含む。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、図１１（ｃ）の操作バー８６０に示すように、ユーザ操作に応答して、決定された撮像開始条件を変更する。
【０１２６】
このとき、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲が、少なくとも検出すべきワークを示す領域を含むように、撮像開始条件を決定する。言い換えれば、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、検出すべきワークを示す領域の対角線の長さより大きくなるように、撮像開始条件を決定する。
【０１２７】
（ｇ３：２値化処理）
次に、図１２を参照して、計測処理として２値化処理を用いる場合に、撮像開始条件を設定するためのユーザインターフェイスについて説明する。
【０１２８】
本実施の形態に係るユーザ支援機能の開始が指示されると、図１１（ａ）と同様の計測処理を選択するためのメニューを含むガイダンス画面８００がモニタ６７（図５）に表示される（図１２（ａ））。
【０１２９】
図１２（ａ）に示すメニュー部分８１０のうち、ユーザが２値化処理を意味する「１．２値化」の行８１２を選択すると、図１２（ｂ）に示すガイダンス画面８０３へ遷移する。図１２（ｂ）に示すガイダンス画面８０３においては、表示領域８４０に、撮像部１１０によって撮像された画像に対して２値化処理が実行された後の結果画像が表示される。すなわち、表示領域８４０には、各画素が「黒」または「白」に量子化（２値化）されたモノクロ画像が表示される。この２値化処理のしきい値（２値化レベル）は、ユーザがレベル設定ボックス８７０に任意の値（例えば、０〜２５５）を設定することで、自在に変更することができる。
【０１３０】
ユーザは、表示領域８４０に表示される結果画像を確認しながら、適切な２値化レベルを設定することになる。このような２値化処理が実行された後、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、その結果画像に含まれるより少ない色の画素（図１２（ｂ）に示す例では「白」）の領域を特定し、グルーピングすることで、検出すべきワークを特定する。さらに、特定した各ワークを囲む外接矩形領域８４６を決定する。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、複数の外接矩形が抽出された場合には、その対角線の長さが最大となるものを特定し、その対角線の長さの最大値をワークサイズの最大値（ワークの最大寸法）として決定する。このワークの最大寸法の情報は、最大寸法表示部８３２に表示される。
【０１３１】
このようにワークの最大寸法が決定されると、後述するような計算ロジックに従って、撮像開始条件（トリガ間隔）が決定される。この撮像開始条件が決定されると、図１２（ｃ）に示すガイダンス画面８０４へ遷移する。このガイダンス画面８０４の撮像開始条件表示部８３５には、撮像開始条件（トリガ間隔）が、コンベア１０の物理的長さ（ロボット座標系での長さ）として表示される（図１２（ｃ）に示す「５０［ｍｍ］」）とともに、その長さに対応するパルス数（カウント値）としても表示される（図１２（ｃ）に示す「１０００［ｐｕｌｓｅ］」）。
【０１３２】
さらに、ガイダンス画面８０４は、決定された撮像開始条件を変更するためのインターフェイスについても提供する。すなわち、ガイダンス画面８０２は、重複範囲の長さＬをユーザが任意に変更するための操作バー８６０を含む。ユーザは、表示領域８４０に表示される画像およびその上に設定される外接矩形領域８４６および変更後の外接矩形領域８４８の大きさなどを見ながら、操作バー８６０を操作することで、より好ましい撮像開始条件に微調整することもできる。このとき、２値化処理の結果画像から算出される初期値（デフォルト値）の外接矩形領域８４６と、ユーザ操作によって変更された外接矩形領域８４８との両方を結果画像上に重ねて表示することが好ましい。
【０１３３】
なお、コンベア１０の搬送方向は、撮像部１１０の撮像範囲のいずれかの辺に対して平行であるとは限らないので、図１２（ｃ）においても、その搬送方向を示す搬送方向表示８４２が表示領域８４０の上にオーバーレイ表示される。
【０１３４】
次に、図１２に示すようなユーザが指定する外接矩形領域８４６に応じて、撮像開始条件を決定するロジックについて説明する。上述したように、パルス信号の１カウントあたりのワークの移動量ｄＸおよびｄＹ、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆが予め取得されているとする。また、撮像部１１０の撮像によって得られる画像サイズ（幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］）も既知である。
【０１３５】
撮像開始条件は、図１２に示すガイダンス画面において算出または設定されるワークの最大寸法を用いて算出される。より具体的には、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、対象のワークの最大寸法（矩形領域の対角線の長さ）より大きくなるように、撮像開始条件が決定される。
【０１３６】
すなわち、撮像開始条件（トリガ間隔）を概略的な数式で示すと、以下のようになる。
（トリガ間隔）＝｛（画像サイズ）−（ワーク最大径）｝／（エンコーダ１パルスあたりの移動量）
但し、実装の形態としては、対角線の長さを計算するのではなく、ワークＷがロボット座標系のＸ軸方向およびＹ軸方向のうちより大きく移動する方向の成分のみに着目して、撮像開始条件を決定すればよい。これにより、計算に要するリソースを低減できる。すなわち、上述の図１１について説明した式に従って、トリガ間隔が算出される。
【０１３７】
なお、ユーザが図１２（ｃ）の操作バー８６０などを操作することで、重複範囲の長さＬが変更されると、上述の式が再度実行され、撮像開始条件（トリガ間隔）が更新される。
【０１３８】
以上のような処理をまとめると以下のように表現することができる。本実施の形態に係る支援機能は、表示手段であるモニタ６７に表示される画像に対して、計測処理（典型的には、２値化処理）により検出された範囲から重複範囲を決定し、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、決定された重複範囲の大きさから、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。すなわち、表示手段であるモニタ６７は、視覚センサ１００の撮像部１１０の撮像によって得られた画像を表示する。このとき、撮像部１１０の撮像によって得られた画像に対して計測処理（２値化処理）を行う計測手段が実装されており、モニタ６７は、その計測処理の結果（結果画像）を表示する。
【０１３９】
ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、検出すべきワークを示す領域の大きさから、コンベア１０（搬送装置）の移動量（パルス数）によって定義される撮像部１１０の撮像開始条件を決定する。上述したように、この撮像部１１０の撮像範囲とコンベア１０の属性との関係の具体的な内容としては、パルス信号の１カウントあたりのワークの移動量ｄＸおよびｄＹ、ならびに、画像座標系からロボット座標系への変換に係る６個のパラメータＡ〜Ｆからなる変換関数を含む。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、図１２（ｃ）の操作バー８６０に示すように、ユーザ操作に応答して、決定された撮像開始条件を変更する。すなわち、入力手段であるキーボード６５および／またはマウス６６は、モニタ６７に表示される画像に対して、検出すべきワークを示す領域の指定を受付ける。この受付けられた指令は、ＣＰＵ６１（ユーザ支援ロジック６１ａ）へ転送される。
【０１４０】
そして、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲が、少なくとも検出すべきワークを示す領域を含むように、撮像開始条件を決定する。言い換えれば、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、一連の撮像の対象となる撮像範囲の間の重複範囲の搬送方向における長さが、検出すべきワークを示す領域の対角線の長さより大きくなるように、撮像開始条件を決定する。
【０１４１】
（ｇ４：フローチャート）
次に、上述の実施の形態１に係る撮像開始条件の設定処理の手順について説明する。図１３は、本発明の実施の形態１に係る撮像開始条件の設定処理の手順を示すフローチャートである。図１３を参照して、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、ユーザ支援機能の開始が指示される（ステップＳ１００においてＹＥＳ）と、図１１（ａ）および図１２（ａ）に示すような、計測処理を選択するためのメニューを含むガイダンス画面を表示する（ステップＳ１０２）。そして、ＣＰＵ６１は、「サーチ処理」および「２値化処理」のいずれが選択されたかを判断する（ステップＳ１０４）。「サーチ処理」が選択された場合（ステップＳ１０４において「サーチ処理」の場合）、処理はステップＳ１１０へ進み、「２値化処理」が選択された場合（ステップＳ１０４において「２値化処理」の場合）、処理はステップＳ１２０へ進む。
【０１４２】
ステップＳ１１０において、ＣＰＵ６１は、撮像部１１０の撮像によって取得された画像を表示し（ステップＳ１１０）、さらに、ユーザからのモデル領域８４４の指定を受付ける（ステップＳ１１２）。ユーザによってモデル領域８４４が指定されると、ＣＰＵ６１は、指定されたモデル領域８４４の大きさを取得し（ステップＳ１１４）、さらに、そのモデル領域８４４の大きさ（対角線長さ）から撮像開始条件（トリガ周期；重複範囲の長さＬ）を算出する（ステップＳ１１６）。さらに、ＣＰＵ６１は、算出した撮像開始条件およびコンベアの移動方向などを表示中の画像の上に重ねて表示する（ステップＳ１１８）。
【０１４３】
ステップＳ１２０において、ＣＰＵ６１は、撮像部１１０の撮像によって取得された画像を表示し、さらに、ユーザからの２値化レベルの指定を受付ける（ステップＳ１２２）。ユーザによって２値化レベルが指定されると、ＣＰＵ６１は、指定された２値化レベルに従って２値化処理を実行する（ステップＳ１２４）。続いて、ＣＰＵ６１は、２値化処理によって得られた結果画像に含まれる特定画素群をグルーピングした上で、検出対象として特定した各ワークを囲む外接矩形領域８４６を決定する（ステップＳ１２６）。さらに、ＣＰＵ６１は、決定した複数の外接矩形領域８４６の対角線の長さが最大となるものを特定し、その対角線の長さの最大値をワークサイズの最大値（ワークの最大寸法）として決定する（ステップＳ１２８）。ＣＰＵ６１は、決定したワークサイズの最大値（ワークの最大寸法）から撮像開始条件（トリガ周期；重複範囲の長さＬ）を算出する（ステップＳ１３０）。さらに、ＣＰＵ６１は、算出した撮像開始条件およびコンベアの移動方向などを表示中の画像の上に重ねて表示する（ステップＳ１３２）。
【０１４４】
その後、ＣＰＵ６１は、ユーザによる重複範囲の長さＬについての変更を受付ける（ステップＳ１４０）。すなわち、ユーザは、ガイダンス画面に表示される画像（または、結果画像）ならびに領域表示などを見ながら、適切な重複範囲の長さＬを微調整する。ユーザが重複範囲の長さＬを変更すると、それに応答して、ＣＰＵ６１は、撮像開始条件を更新する（ステップＳ１４２）。
【０１４５】
さらに、ＣＰＵ６１は、ユーザ支援機能の終了が指示される（ステップＳ１４４においてＹＥＳ）まで、ステップＳ１４０以下の処理を繰返す。
【０１４６】
＜Ｈ．実施の形態２＞
（ｈ１：概略）
次に、実施の形態２として、トラッキング対象のワークのサイズが既知である場合に、ユーザがワークサイズを設定することで、撮像開始条件が自動的に設定される例について説明する。例えば、一般的な生産ラインなどでは、設計仕様書や金型などのサイズから、製品または半製品の大きさが既知である場合も多い。このような場合には、撮像部１１０を用いて実際に撮像するまでもなく、このワークサイズの情報から、撮像開始条件（重複範囲の長さ）を決定してもよい。
【０１４７】
上述の実施の形態１と同様に、決定された撮像開始条件は、いわゆるデフォルト設定として扱われ、ユーザは必要に応じてこれらの撮像開始条件を任意に変更することができる。
【０１４８】
（ｈ２：ガイダンス画面例１）
図１４は、本発明の実施の形態２に係るユーザインターフェイスの一例を示す図である。本実施の形態に係るユーザ支援機能の開始が指示されると、図１４に示すようなガイダンス画面８０５がモニタ６７（図５）に表示される。ガイダンス画面８０５は、撮像開始条件であるトリガ間隔を入力（変更）するための数値ボックス８８１と、ワークサイズを入力するための数値ボックス８８２とを含む。図１４には、トリガ間隔およびワークサイズのいずれについても、最も実用的なロボット座標系での値（一例として「ミリ」）単位で入力される例を示すが、画像座標系での値（一例として「画素数／ピクセル」）またはパルス数であってもよい。
【０１４９】
まずは、ワークサイズが入力されると、仮想表示領域８８３において、検出対象のワークのサイズを示す円マーク８８７および、それに関連付けて、第１撮像範囲８８４および第２撮像範囲８８５が表示される。第１撮像範囲８８４および第２撮像範囲８８５は、視覚センサ１００（撮像部１１０）が撮像によって取得する画像の大きさ（すなわち、幅ＷＤ×高さＨＴ［ｐｉｘｅｌ］）と、数値ボックス８８２に入力されるワークサイズとの相対関係に基づいた大きさで表示される。
【０１５０】
より具体的には、第１撮像範囲８８４（実線表示）は、入力されたワークサイズによって規定されるワークに内接するような位置に設定される。また、第２撮像範囲８８５（破線表示）は、第１撮像範囲８８４との重複範囲（両範囲の重なり部分）にワークの全体が含まれるように、初期設定される。このように、第１撮像範囲８８４および第２撮像範囲８８５が設定されると、それに従って撮像開始条件（トリガ間隔）が決定され、その決定された撮像開始条件（トリガ間隔）が数値ボックス８８１に表示される。
【０１５１】
また、ガイダンス画面８０５は、スライドバー８８６を含む。このスライドバー８８６は、第２撮像範囲８８５の相対位置と連動しており、ユーザは、スライドバー８８６を操作することで、第１撮像範囲８８４と第２撮像範囲８８５との間の重複範囲の長さを調整する。すなわち、ユーザがスライドバー８８６を操作すると、仮想表示領域８８３に表示される、第１撮像範囲８８４およびワークのサイズを示す円マーク８８７の位置は固定されたまま、第２撮像範囲８８５が紙面左右方向に移動する。なお、数値ボックス８８１に示されるトリガ間隔の値は、ユーザによるスライドバー８８６の操作に連動して随時更新される。
【０１５２】
なお、撮像開始条件の初期値は、数値ボックス８８２に入力されるワークサイズに応じて、以下の数式に従って算出される。
【０１５３】
（トリガ間隔）＝｛（画像サイズ）−（ユーザ設定のワークサイズ）｝／（エンコーダ１パルスあたりの移動量）
但し、実装の形態としては、対角線の長さを計算するのではなく、ロボット座標系のＸ軸方向およびＹ軸方向のうち、ワークＷがより大きく移動する方向の成分のみに着目して、撮像開始条件を決定すればよい。より具体的な算出方式は、上述の実施の形態１と同様であるので、詳細な説明は繰返さない。
【０１５４】
図１４に示す撮像開始条件の設定処理の手順は、図１５に示すようなフローチャートとして表すことができる。図１５は、本発明の実施の形態２に係る撮像開始条件の設定処理の手順を示すフローチャートである。
【０１５５】
図１５を参照して、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、ユーザ支援機能の開始が指示される（ステップＳ２００においてＹＥＳ）と、図１４に示すガイダンス画面８０５を表示する（ステップＳ２０２）。そして、ＣＰＵ６１は、ユーザからの数値ボックス８８２を介したワークサイズの入力を待つ（ステップＳ２０４）。ワークサイズが入力されると（ステップＳ２０４においてＹＥＳ）、ＣＰＵ６１は、視覚センサ１００（撮像部１１０）が撮像によって取得する画像の大きさ、および、入力されたワークサイズなどに基づいて、撮像開始条件（トリガ間隔）の初期値を算出する（ステップＳ２０６）。続いて、ＣＰＵ６１は、算出した撮像開始条件の初期値に基づいて、仮想表示領域８８３において、検出対象のワークのサイズを示す円マーク８８７、ならびに、第１撮像範囲８８４および第２撮像範囲８８５を表示する（ステップＳ２０８）。
【０１５６】
続いて、ＣＰＵ６１は、ユーザによるスライドバー８８６に対する操作を待つ（ステップＳ２１０）。スライドバー８８６が操作されると（ステップＳ２１０においてＹＥＳ）、ＣＰＵ６１は、ユーザによるスライドバー８８６の操作量に応じて、先に決定されている撮像開始条件を更新する（ステップＳ２１２）とともに、仮想表示領域８８３における表示も更新する（ステップＳ２１４）。
【０１５７】
ＣＰＵ６１は、ユーザ支援機能の終了が指示される（ステップＳ２１６においてＹＥＳ）まで、ステップＳ２１０以下の処理を繰返す。
【０１５８】
以上のような処理をまとめると以下のように表現することができる。本実施の形態に係る支援機能は、表示手段であるモニタ６７に、コンベア１０（搬送装置）上を搬送されるワークＷに対応する範囲とともに、一連の撮像の対象となる複数の撮像範囲を同時に表示し、表示される複数の撮像範囲に対するユーザ操作に応答して、重複範囲を決定する。さらに、撮像部１１０の撮像範囲とコンベア１０（搬送装置）の属性との関係を利用して、決定された重複範囲の大きさから、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。すなわち、表示手段であるモニタ６７は、コンベア１０上を搬送されるワークに対応する範囲（円マーク８８７）とともに、一連の撮像の対象となるそれぞれ撮像範囲（第１撮像範囲８８４および第２撮像範囲８８５）を表示する。このとき、モニタ６７は、一連の撮像の対象となる複数の撮像範囲を同時に表示する。また、入力手段であるキーボード６５および／またはマウス６６は、表示されるワークの大きさの指定を受付ける（ガイダンス画面８０５中の数値ボックス８８２）。
【０１５９】
ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、撮像部１１０の撮像範囲とコンベア１０の物理的長さとの関係を利用して、モニタ６７に表示されている撮像範囲の位置関係から、コンベア１０の移動量によって定義される撮像部１１０の撮像開始条件を決定する。さらに、ＣＰＵ６１（ユーザ支援ロジック６１ａ）は、ユーザ操作（ガイダンス画面８０５中のスライドバー８８６）に応答して、モニタ６７に表示される撮像範囲を変更する。
【０１６０】
（ｈ３：ガイダンス画面例２）
上述のガイダンス画面例１においては、重複範囲を設定するユーザインターフェイスとして、第１撮像範囲８８４およびワークの位置を固定した上で、第２撮像範囲の位置をスライドさせるという構成を採用した例を示した。これに対して、以下に説明するガイダンス画面例２においては、実際の搬送路をイメージして、ワークの位置をスライドさせて、撮像開始条件を設定するという構成を採用した例を示す。
【０１６１】
図１６は、本発明の実施の形態２に係るユーザインターフェイスの別の一例を示す図である。本実施の形態に係るユーザ支援機能の開始が指示されると、まずは、図１６（ａ）に示すようなガイダンス画面８０６がモニタ６７（図５）に表示される。ガイダンス画面８０６においても、撮像開始条件であるトリガ間隔を入力（変更）するための数値ボックス８８１と、ワークサイズを入力するための数値ボックス８８２とを含む。
【０１６２】
数値ボックス８８２に何らかのワークサイズが入力されると、実際のコンベアに模した仮想表示領域８９０において、検出対象のワークのサイズを示す円マーク８９３が表示される。円マーク８９３がオーバーレイ表示される仮想表示領域８９０の表示範囲は、スライドバー８９４と連動しており、ユーザがスライドバー８９４を操作することで、仮想表示領域８９０の全体が紙面左右方向にスライドする。すなわち、スライドバー８９４のスライド操作に応答して、ワークサイズが示されたコンベアに模した画像が動くことになる。
【０１６３】
ユーザは、スライドバー８９４を操作して、ワークを示す円マーク８９３が適切な位置にある状態で、マウスに応答して移動するカーソル８９５などを用いて、カメラアイコン８９６を選択する。すると、図１６（ａ）に示すような、第１撮像範囲８９１が設定される。なお、カメラアイコン８９６が選択される前は、第１撮像範囲８９１を設定可能な領域が未確定の状態を示す態様（図１６（ａ）の例では、破線）で表示されており、カメラアイコン８９６が選択された後は、第１撮像範囲８９１の領域を設定済の状態を示す態様（図１６（ｂ）の例では、実線）で表示されている。
【０１６４】
第１撮像範囲８９１が一旦設定されると、第１撮像範囲８９１の仮想表示領域８９０（表示されるワーク）に対する相対位置は、固定される。すなわち、一旦設定された第１撮像範囲８９１については、ユーザによるスライドバー８９４に連動して紙面左右方向にスライドするようになる。なお、この時点では、やり直しアイコン８９７は非活性状態（グレイアウト）となっている。
【０１６５】
続いて、ユーザは、第１撮像範囲８９１が設定されている状態で、さらにスライドバー８９４を操作して、仮想表示領域８９０をスライドさせて、先に設定されている第１撮像範囲８９１との間の相対距離を調整する。この場合にも、第２撮像範囲８９２を設定可能な領域が未確定の状態を示す態様（図１６（ｂ）の例では、破線）で表示される。
【０１６６】
ユーザは、仮想表示領域８９０に対してオーバーレイされた第１撮像範囲８９１（実線）と未確定の第２撮像範囲８９２（破線）とを比較することで、両者の重なり度合いを決定する。ユーザは、両者の重なり度合いが適切な位置に調整した上で、カメラアイコン８９６を選択する。
【０１６７】
すると、第１撮像範囲８９１および第２撮像範囲８９２の相対的な位置関係が決定されるので、両者の重なり度合い（重複範囲）が定まり、これによって、撮像開始条件（トリガ間隔）の初期値が算出される。
【０１６８】
なお、ユーザがやり直しアイコン８９７を選択すると、先に決定されている撮像開始条件（トリガ間隔）はリセットされる。したがって、図１６に示すガイダンス画面８０６においては、ユーザによる初期設定値からの変更は、やり直しアイコン８９７の選択後に、スライドバー８９４を再度操作するとともに、カメラアイコン８９６を再度選択することになる。
【０１６９】
基本的な撮像開始条件を設定するための処理は、上述の図１４に示すフローチャートと同様であるので、ここでは、詳細な説明は繰返さない。
【０１７０】
＜Ｉ．実施の形態３＞
次に、実施の形態３として、ユーザが視野範囲を直接確認しながら撮像開始条件を決定する例について説明する。
【０１７１】
図１７は、本発明の実施の形態３に係るユーザインターフェイスの一例を示す図である。図１８は、図１７に対応するワークＷの配置状態を説明するための図である。
【０１７２】
本実施の形態に係るユーザ支援機能の開始が指示されると、図１７（ａ）に示すように、計測処理を選択するためのメニューを含むガイダンス画面８０７がモニタ６７（図５）に表示される。ガイダンス画面８０７には、表示領域８４０に撮像部１１０によって撮像された画像が表示される。この表示領域８４０に表示される画像は、撮像部１１０での撮像タイミングに応じて順次更新されることが好ましい。
【０１７３】
ユーザは、図１８（ａ）に示すように、撮像部１１０の撮像範囲内であって、コンベア１０の上流側に検出対象のワークＷを配置する。たとえば、図１７（ａ）に示すような位置関係にワークＷが配置された状態で、ユーザは、ガイダンス画面８０７の撮影ボタン８６２を選択する。撮影ボタン８６２の１番目の選択によって、１番目の撮像タイミングが算出される。すなわち、１番目の撮像タイミングに対応するカウント値が取得される。
【０１７４】
続いて、ユーザは、図１８（ｂ）に示すように、コンベア１０を駆動してワークＷを、撮像部１１０の撮像範囲内であって、コンベア１０の下流側に配置する。すなわち、ユーザは、ガイダンス画面８０７の表示領域８４０に表示される内容を確認しながら、２番目の撮像タイミングに対応するワークＷの相対位置を探す。そして、ユーザは、２番目の撮像タイミングとすべき相対位置になった状態で、ガイダンス画面８０７の撮影ボタン８６２を選択する。すると、２番目の撮像タイミングに対応するカウント値が取得される。
【０１７５】
そして、１番目の撮像タイミングに対応するカウント値と２番目の撮像タイミングに対応するカウント値とから、撮像開始条件（撮像周期）が算出される。この算出された撮像開始条件は、ガイダンス画面８０７の撮像開始条件表示部８３５に表示される。
【０１７６】
典型的には、ユーザは、１番目および２番目のいずれの撮像タイミングにおいても、撮像部１１０の撮像範囲に同一のワークＷが含まれるように、ワークを適切に位置決めする。
【０１７７】
なお、図１７（ｃ）に示すような撮像開始条件が自動的に決定された後であっても、ユーザは、その値を微調整することができる。
【０１７８】
基本的な撮像開始条件を設定するための処理は、上述の図１４に示すフローチャートと同様であるので、ここでは、詳細な説明は繰返さない。
【０１７９】
実施の形態３によれば、ユーザは、実際の撮像によって得られる画像のイメージを見ながら撮像タイミングを調整できるので、より直感的に撮像開始条件を決定できる。
【０１８０】
＜Ｊ．許容速度算出＞
上述の実施の形態１〜３のいずれかの方法に従って撮像開始条件を決定した後、当該決定された撮像開始条件の下で許容される搬送速度を決定することもできる。以下、このような許容される搬送速度を決定する方法について例示する。
【０１８１】
上述したように、撮像開始条件は、コンベア１０の移動距離（カウント値）によって定義されるトリガ間隔として規定される。そのため、コンベア１０の移動速度が高くなるほど、ある撮像を行ってから次の撮像を行うまでの時間間隔は短くなる。そのため、撮像に時間間隔は、視覚センサ１００による撮像動作および撮像された画像に対する計測処理に要する時間より長くする必要がある。そこで、コンベア１０の搬送速度の上限値は、以下のような手順で予め算出することができる。
【０１８２】
図１９は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムにおける搬送速度の上限値を決定する手順を示すフローチャートである。
【０１８３】
図１９を参照して、まず、上述のいずれかの方法によって、撮像開始条件および対応する重複範囲の長さＬ［ｐｉｘｅｌ］を算出したとする（ステップＳ３００）。
【０１８４】
次に、ユーザは、テスト計測を実行する。より具体的には、ユーザは、コンベア１０上に複数のワークＷを配置するとともに、これらのワークＷに対して計測処理を実行させる（ステップＳ３０２）。あわせて、ユーザは、複数のワークＷに対する計測処理の処理結果などを見ながら、計測処理に係るパラメータを調整する（ステップＳ３０４）。この調整内容としては、モデル範囲の調整や回転角度の分割数などの調整が挙げられる。計測処理に要する時間が最も小さくなるように、パラメータが調整される。
【０１８５】
この調整が完了すると、計測処理に要する時間である計測処理時間Ｔ［ｓｅｃ］が取得される（ステップＳ３０６）。この計測処理時間Ｔからコンベア１０の搬送速度の上限値（最大搬送速度Ｖ［ｍｍ／ｓｅｃ］）が算出される（ステップＳ３０８）。
【０１８６】
より具体的には、上述したトリガ間隔の算出方法と同様に、ワークＷのＸ方向の移動量ｄＸとＹ方向の移動量ｄＹとの大小関係に応じて、下記のいずれかの式に従って、最大搬送速度Ｖが算出される。
【０１８７】
（１）ｄＸ＞ｄＹの場合：
最大搬送速度Ｖ＝｛Ａ・（ＷＤ−Ｌ）＋Ｂ・ＨＴ｝／Ｔ［ｍｍ／ｓｅｃ］
（２）ｄＸ≦ｄＹの場合：
最大搬送速度Ｖ＝｛Ｄ・ＷＤ＋Ｅ・（ＨＴ−Ｌ）｝／Ｔ［ｍｍ／ｓｅｃ］
このように、本実施の形態に係る視覚センサ１００においては、撮像開始条件（トリガ間隔）と画像処理装置での計測処理時間（Ｔ［ｓｅｃ］）との関係から、搬送装置（コンベア１０）で許容される搬送速度を決定する機能を有する。
【０１８８】
このような機能を搭載することで、視覚センサおよび搬送装置を含めた生産設備全体の生産能力を容易に評価することができる。
【０１８９】
＜Ｋ．稼動中の処理手順＞
次に、上述のような手順によって決定された撮像開始条件に従う稼動中の処理手順について説明する。
【０１９０】
図２０は、本発明の実施の形態に係る視覚センサ１００を利用したコンベアトラッキングシステムにおける制御動作を示すシーケンス図である。
【０１９１】
図２０を参照して、まず、視覚センサ１００およびロボット制御装置２００のいずれに対しても、互いに同一のパラメータ（カウンタ最大値、カウンタ最小値、１パルスに対する増加値など）が設定される（ステップＳ１およびＳ２）。そして、視覚センサ１００およびロボット制御装置２００のいずれに対しても、それぞれのエンコーダカウンタに対するリセット（カウンタリセット）が実行される（ステップＳ３およびＳ４）。このようなエンコーダカウンタについての共通パラメータの設定およびカウンタリセットが実行されて、視覚センサ１００およびロボット制御装置２００との間で、エンコーダ１４からのパルス信号に含まれるパルスの数についてのカウント動作を同期させることができる。
【０１９２】
続いて、視覚センサ１００の画像処理部１２０は、撮像開始条件が満たされたか否かを判断する（ステップＳ５）。すなわち、視覚センサ１００の画像処理部１２０は、エンコーダ１４からのパルス信号に含まれるパルス数が前回撮像したときの値からトリガ間隔以上増加したか否かを判断する。
【０１９３】
撮像開始条件が満たされていれば、視覚センサ１００の画像処理部１２０は、視覚センサ１００に対して、撮像指示を発行する（ステップＳ６）。視覚センサ１００の画像処理部１２０は、撮像指示の発行に同期して、エンコーダカウンタ１３２を参照して、撮像時のカウンタ値（Ｃ０）を取得する（ステップＳ７）。
【０１９４】
続いて、視覚センサ１００の画像処理部１２０は、撮像部１１０に撮像を実行させる（ステップＳ８）。撮像部１１０が撮像して得られた画像は、画像処理部１２０へ伝送される。画像処理部１２０は、撮像部１１０からの画像に対して計測処理を実行する（ステップＳ９）。さらに、画像処理部１２０は、ステップＳ９における計測処理によって得られた計測結果（それぞれのワークの位置情報（Ｘ，Ｙ，θ））を、ステップＳ７において取得したカウンタ値Ｃ０とともに、ロボット制御装置２００へ送信する（ステップＳ１０）。
【０１９５】
ロボット制御装置２００は、画像処理部１２０からの計測結果に基づいて、重複排除処理を実行する（ステップＳ１１）。
【０１９６】
ロボット制御装置２００の演算処理部２１０は、新たなワークＷについての位置情報が取得されたか否かを判断し（ステップＳ１２）、新たなワークＷについての位置情報が取得された場合（ステップＳ１２においてＹＥＳの場合）には、メモリに当該新たな位置情報を格納する（ステップＳ１３）。そして、処理はリターンする。
【０１９７】
＜Ｌ．ロボット制御装置における処理＞
次に、ロボット制御装置２００における処理について説明する。
【０１９８】
図２１は、本発明の実施の形態に係るロボット制御装置２００における処理を示すフローチャートである。図２１（ａ）〜図２１（ｄ）には、ロボット制御装置２００において実行される主要な処理を例示するが、ロボット制御装置２００における処理は図２１に示すものに限られない。
【０１９９】
図２１（ａ）は、エンコーダ１４がパルス信号を発生した場合に生じる処理を示す。より具体的には、図２１（ａ）の処理は、エンコーダ１４がパルス信号を発生し、エンコーダカウンタ２３２がカウントアップする（ステップＳ５０）ことをイベントとして起動される。エンコーダカウンタ２３２がカウントアップすると、ロボット制御装置２００のメモリに格納されているそれぞれのワークの位置情報が更新される（ステップＳ５１）。この位置情報の更新方法については、以下のとおりである。
【０２００】
図２に示すように、ワークがＸ方向に搬送され、ロボット３００のトラッキング範囲の右端をＸ方向の原点とする。このとき、エンコーダ１４の１パルスあたりのコンベアの移動量（移動ベクトル）を（ｄＸ，ｄＹ）とすると、更新前の位置情報が（Ｘ０，Ｙ０，θ０）であるワークＷの位置情報は、ｎ個のパルスが入力したとすると、更新後の位置情報は、（Ｘ０−ｄＸ×ｎ，Ｙ０−ｄＹ×ｎ，θ０）となる。すなわち、１パルス当たりのコンベア上の単位移動量にパルスの数を乗じて得られた値がワークＷの移動量（ｄＸ×ｎ，ｄＹ×ｎ）となる。そして、ワークＷが原点方向に移動しているとすると、この移動量（移動ベクトル）の分だけワークの位置情報が更新される。
【０２０１】
そして、エンコーダカウンタ２３２が新たにカウントアップするまで待つ。
図２１（ｂ）においても、エンコーダ１４がパルス信号を発生した場合に生じる処理を示す。より具体的には、図２１（ｂ）の処理は、エンコーダ１４がパルス信号を発生し、エンコーダカウンタ２３２がカウントアップする（ステップＳ５０）ことをイベントとして起動される。エンコーダカウンタ２３２がカウントアップすると、撮像指示の発生条件が成立したか否かが判断される。例えば、上述の例では、エンコーダ１４からのパルス信号に含まれるパルス数が前回撮像したときの値から所定値以上増加したか否かが判断される。そして、撮像指示の発生条件が成立した場合（ステップＳ５０においてＹＥＳの場合）には、ロボット制御装置２００から視覚センサ１００へ撮像指示が送信される。
【０２０２】
図２１（ｃ）は、ロボット３００による把持動作について説明するものである。図２１（ｃ）のフローは、ワークの位置情報が更新された（ステップＳ６０）ことをイベントとして起動される。より具体的には、ワークの位置情報が更新されると、ロボット３００のトラッキング範囲内にいずれかのワークＷが存在しているか否かが判断される（ステップＳ６１）。ロボット３００のトラッキング範囲内にいずれかのワークＷが存在している場合（ステップＳ６１においてＹＥＳの場合）には、ロボット３００によるワークＷの把持動作の制御が開始される。具体的には、トラッキング範囲内にある把持対象ワークの位置情報の取得（ステップＳ６２）、把持対象ワークとロボット３００との偏差の算出（ステップＳ６３）、ステップＳ６３において算出された偏差に基づいて、ロボット３００および移動機構４００についての指示の生成（ステップＳ６４）、および、ワークＷの位置情報の更新（ステップＳ６５）が繰返される。そして、ロボット３００がワークＷを把持することができる位置まで移動すると、ロボット制御装置２００は、ロボット３００に対して把持動作の指示を出力する（ステップＳ６６）。続いて、把持状態のロボット３００に対して、把持しているワークＷを目的の位置まで移動させるための、移動動作の指示をロボット３００に対して出力する（ステップＳ６７）。そして処理は、リターンする。
【０２０３】
図２１（ｄ）は、他の位置情報を受けることをイベントとして起動される。より具体的には、現在の位置情報が算出され（ステップＳ６９）、さらに、重複排除処理が実行される（ステップＳ７０）。その後、位置情報がメモリへ格納される（ステップＳ７１）。
【０２０４】
ステップＳ６９に示すワークＷの現在の位置情報の算出方法については、撮像時のカウント値と各時点のカウント値との差分を算出し、この差分に１パルス当たりのコンベア上の単位移動量を乗じて得られた値が補正量となる。この補正量を計測結果（視覚センサ１００から受信したワークの位置情報）に適用することで、現在の位置情報が算出される。
【０２０５】
以上のような処理手順によって、本実施の形態に係るコンベアトラッキングが実現される。
【０２０６】
＜Ｍ．サポート装置のその他の機能＞
上述したように、サポート装置６００は、視覚センサ１００およびロボット制御装置２００のいずれともデータ通信可能であるので、各種のデータを収集することができる。そこで、本実施の形態に係るサポート装置６００は、調整時において計測処理の対象となった画像を視覚センサ１００から収集するように構成されてもよい。
【０２０７】
この視覚センサ１００から計測処理の対象となった画像を収集する場合に、対応する、カウント値および計測値（座標値および角度等）と各画像とを関連付けて保存する。これらの情報は、ネットワークＮＷを介して、視覚センサ１００からサポート装置６００へ送信される。そして、サポート装置６００のハードディスク６４などに格納される。
【０２０８】
特に、対応するカウント値をキーとして、画像および計測結果を関連付けて保存することで、所望のタイミングに対応するカウント値を用いて、必要な画像および計測結果を容易に検索することができる。
【０２０９】
このような画像および計測結果のデータベースを用意することで、以下のような機能を提供することができる。すなわち、ロボット３００において、ロボット動作（位置決めおよびトラッキング処理）をカウント値と関連付けて記録しておくことで、ロボット動作と対応する画像処理を関連付けることができる。これにより、例えば、把持動作が失敗した場合などに、その失敗した原因を追求するために、把持対象であったワークの画像および計測結果をサポート装置６００上で再現できる。そのため、不具合原因をより容易に解析することができる。
【０２１０】
＜Ｎ．利点＞
本実施の形態によれば、コンベアトラッキング等などの画像処理システムに係る調整工数を削減することができる。すなわち、ユーザは、視覚センサ１００から出力される情報（例えば、撮像された画像や登録されるモデルの外接矩形など）を見ながら、直感的に重複範囲（トリガ間隔）を設定できる。また、上述の実施の形態に係る視覚センサ１００は、コンベアトラッキングなどの特定の分野に限定されるものではなく、一般的な画像処理装置に標準搭載される計測処理へ拡張することもできる。すなわち、予めモデルが登録される計測処理を使用する場合などにおいて、最適なトリガ間隔（撮像開始条件）をグラフィカルに設定できる。
【０２１１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２１２】
１０ コンベア、１２ 駆動ローラ、１４ エンコーダ、３０ 搬出装置、６１，１２２ ＣＰＵ、６１ａ ユーザ支援ロジック、６３ ＲＡＭ、６４ ハードディスク、６５ キーボード、６６ マウス、６７ モニタ、６８ ドライブ、６９ ＣＤ−ＲＯＭ、１００ 視覚センサ、１１０ 撮像部、１２０ 画像処理部、１２４，２２０ メモリ、１２６ 撮像制御部、１２８，２２８ 通信インターフェイス、１３０，２３０ 入出力インターフェイス、１３２，２３２ エンコーダカウンタ、１３４ バス、２００ ロボット制御装置、２１０ 演算処理部、２４０ ピッキング制御部、２５０ 移動制御部、３００ ロボット、４００ 移動機構、５００ 操作表示装置、６００ サポート装置、２１００ ティーチングペンダント、ＮＷ ネットワーク、Ｓ キャリブレーション用シート、Ｗ ワーク。
【特許請求の範囲】
【請求項１】
画像処理システムに向けられたユーザ支援装置であって、
前記画像処理システムは、
搬送装置上を搬送されるワークを撮像するように配置された撮像部と、
前記撮像部に接続される画像処理装置とを備え、
前記ユーザ支援装置は、
前記撮像部の撮像によって得られた画像を表示する表示手段と、
前記表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、
前記撮像部の撮像範囲と前記搬送装置の属性との関係を利用して、前記決定された重複範囲の大きさから、前記搬送装置の移動量によって定義される前記撮像部の撮像開始条件を決定する撮像開始条件決定手段とを備える、ユーザ支援装置。
【請求項２】
ユーザ操作に応答して、前記決定された撮像開始条件を変更する変更手段をさらに備える、請求項１に記載のユーザ支援装置。
【請求項３】
前記撮像部の撮像によって得られた画像に対して計測処理を行う計測手段をさらに備え、
前記重複範囲決定手段は、計測処理により検出された範囲から前記重複範囲を決定する、請求項１または２に記載のユーザ支援装置。
【請求項４】
前記重複範囲決定手段は、前記表示手段に表示される画像に対して、検出すべき領域の指定に応答して、前記重複範囲を決定する、請求項１または２に記載のユーザ支援装置。
【請求項５】
前記重複範囲決定手段は、少なくとも検出すべきワークを示す領域を含むように、前記重複範囲を決定する、請求項１または２に記載のユーザ支援装置。
【請求項６】
前記重複範囲決定手段は、前記検出すべきワークを示す領域の対角線より長くなるように、前記重複範囲を決定する、請求項５に記載のユーザ支援装置。
【請求項７】
前記重複範囲決定手段は、
搬送装置上を搬送されるワークに対応する範囲とともに、一連の撮像の対象となる複数の撮像範囲を同時に表示する手段と、
前記表示される複数の撮像範囲に対するユーザ操作に応答して、前記重複範囲を決定する手段とを含む、請求項１または２に記載のユーザ支援装置。
【請求項８】
前記撮像開始条件と前記画像処理装置での計測処理時間との関係から、前記搬送装置で許容される搬送速度を決定する手段をさらに備える、請求項１〜７のいずれか１項に記載のユーザ支援装置。
【請求項９】
前記撮像開始条件と前記画像処理装置での計測処理時間との関係から、前記搬送装置で許容される搬送速度を決定する手段をさらに備える、請求項１〜８のいずれか１項に記載のユーザ支援装置。
【請求項１０】
コンピュータにより実行されることで、当該コンピュータを画像処理システムに向けられたユーザ支援装置として機能させるプログラムであって、
前記画像処理システムは、
搬送装置上を搬送されるワークを撮像するように配置された撮像部と、
前記撮像部に接続される画像処理装置とを備え、
前記プログラムは、前記コンピュータを
前記撮像部の撮像によって得られた画像を表示する表示手段と、
前記表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、
前記撮像部の撮像範囲と前記搬送装置の属性との関係を利用して、前記決定された重複範囲の大きさから、前記搬送装置の移動量によって定義される前記撮像部の撮像開始条件を決定する撮像開始条件決定手段として機能させる、プログラム。
【請求項１１】
搬送装置上を搬送されるワークを撮像するように配置された撮像部に接続される画像処理装置であって、
前記撮像部の撮像によって得られた画像を表示する表示手段と、
前記表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、
前記撮像部の撮像範囲と前記搬送装置の属性との関係を利用して、前記決定された重複範囲の大きさから、前記搬送装置の移動量によって定義される前記撮像部の撮像開始条件を決定する撮像開始条件決定手段とを備える、画像処理装置。
【請求項１】
画像処理システムに向けられたユーザ支援装置であって、
前記画像処理システムは、
搬送装置上を搬送されるワークを撮像するように配置された撮像部と、
前記撮像部に接続される画像処理装置とを備え、
前記ユーザ支援装置は、
前記撮像部の撮像によって得られた画像を表示する表示手段と、
前記表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、
前記撮像部の撮像範囲と前記搬送装置の属性との関係を利用して、前記決定された重複範囲の大きさから、前記搬送装置の移動量によって定義される前記撮像部の撮像開始条件を決定する撮像開始条件決定手段とを備える、ユーザ支援装置。
【請求項２】
ユーザ操作に応答して、前記決定された撮像開始条件を変更する変更手段をさらに備える、請求項１に記載のユーザ支援装置。
【請求項３】
前記撮像部の撮像によって得られた画像に対して計測処理を行う計測手段をさらに備え、
前記重複範囲決定手段は、計測処理により検出された範囲から前記重複範囲を決定する、請求項１または２に記載のユーザ支援装置。
【請求項４】
前記重複範囲決定手段は、前記表示手段に表示される画像に対して、検出すべき領域の指定に応答して、前記重複範囲を決定する、請求項１または２に記載のユーザ支援装置。
【請求項５】
前記重複範囲決定手段は、少なくとも検出すべきワークを示す領域を含むように、前記重複範囲を決定する、請求項１または２に記載のユーザ支援装置。
【請求項６】
前記重複範囲決定手段は、前記検出すべきワークを示す領域の対角線より長くなるように、前記重複範囲を決定する、請求項５に記載のユーザ支援装置。
【請求項７】
前記重複範囲決定手段は、
搬送装置上を搬送されるワークに対応する範囲とともに、一連の撮像の対象となる複数の撮像範囲を同時に表示する手段と、
前記表示される複数の撮像範囲に対するユーザ操作に応答して、前記重複範囲を決定する手段とを含む、請求項１または２に記載のユーザ支援装置。
【請求項８】
前記撮像開始条件と前記画像処理装置での計測処理時間との関係から、前記搬送装置で許容される搬送速度を決定する手段をさらに備える、請求項１〜７のいずれか１項に記載のユーザ支援装置。
【請求項９】
前記撮像開始条件と前記画像処理装置での計測処理時間との関係から、前記搬送装置で許容される搬送速度を決定する手段をさらに備える、請求項１〜８のいずれか１項に記載のユーザ支援装置。
【請求項１０】
コンピュータにより実行されることで、当該コンピュータを画像処理システムに向けられたユーザ支援装置として機能させるプログラムであって、
前記画像処理システムは、
搬送装置上を搬送されるワークを撮像するように配置された撮像部と、
前記撮像部に接続される画像処理装置とを備え、
前記プログラムは、前記コンピュータを
前記撮像部の撮像によって得られた画像を表示する表示手段と、
前記表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、
前記撮像部の撮像範囲と前記搬送装置の属性との関係を利用して、前記決定された重複範囲の大きさから、前記搬送装置の移動量によって定義される前記撮像部の撮像開始条件を決定する撮像開始条件決定手段として機能させる、プログラム。
【請求項１１】
搬送装置上を搬送されるワークを撮像するように配置された撮像部に接続される画像処理装置であって、
前記撮像部の撮像によって得られた画像を表示する表示手段と、
前記表示手段に表示される画像に対して、撮像範囲の間の重複範囲を決定する重複範囲決定手段と、
前記撮像部の撮像範囲と前記搬送装置の属性との関係を利用して、前記決定された重複範囲の大きさから、前記搬送装置の移動量によって定義される前記撮像部の撮像開始条件を決定する撮像開始条件決定手段とを備える、画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１３】
【図１５】
【図１８】
【図１９】
【図２０】
【図２１】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１３】
【図１５】
【図１８】
【図１９】
【図２０】
【図２１】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図１７】
【公開番号】特開２０１２−１９２４６６（Ｐ２０１２−１９２４６６Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５６５７０（Ｐ２０１１−５６５７０）
【出願日】平成２３年３月１５日（２０１１．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１５日（２０１１．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]