ロボットシステム
【課題】カメラ、制御装置および通信手段の能力に依存することなく、ロボットに搭載されたカメラの正確な位置合わせが容易なロボットシステムを提供する。
【解決手段】画像合成部３６は、記憶部３４に記憶されている平面画像データ４０に基づいて合成画像５５を作成する。そのため、カメラ１９、制御装置１２あるいは通信部１３の能力によって撮影している画像と表示している画像との間に時間差が生じるときでも、操作者３０は表示部３７に表示されている合成画像５５を参照してロボット１１を操作可能である。データ更新部３８は、新たな平面画像データ４０のための記憶領域が不足するとき、記憶部３４のデータグループのうち属する平面画像データ４０の数が最も多い最多データグループ６２を選択し、この最多データグループ６２から合成画像５５の作成のために選択された選択時刻が最も古い平面画像データ６５を削除する。
【解決手段】画像合成部３６は、記憶部３４に記憶されている平面画像データ４０に基づいて合成画像５５を作成する。そのため、カメラ１９、制御装置１２あるいは通信部１３の能力によって撮影している画像と表示している画像との間に時間差が生じるときでも、操作者３０は表示部３７に表示されている合成画像５５を参照してロボット１１を操作可能である。データ更新部３８は、新たな平面画像データ４０のための記憶領域が不足するとき、記憶部３４のデータグループのうち属する平面画像データ４０の数が最も多い最多データグループ６２を選択し、この最多データグループ６２から合成画像５５の作成のために選択された選択時刻が最も古い平面画像データ６５を削除する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットシステムに関し、特に対象物品を撮影するカメラが設けられたロボットシステムに関する。
【背景技術】
【０００２】
従来、例えば対象物品の外観などを検査する場合、アームの先端にカメラを有するロボットが利用される。対象物品は、ロボットのアームの先端に搭載されたカメラによって撮影される。このようなカメラが搭載されたロボットを備えるロボットシステムの場合、検査の対象となる位置に正確にカメラが移動するように設定する、いわゆるティーチングを実施する必要がある（カメラのティーチングについて特許文献１参照）。カメラの位置は、カメラの外観的な位置だけでは正確性に欠けるため、カメラで撮影された撮影画像に基づいて適切であるか否かが判断される。
【０００３】
しかしながら、例えばカメラや制御装置の性能、あるいはカメラと制御装置とを接続する通信手段によっては、撮影画像の伝送および取得に時間を要し、カメラによる画像の撮影と表示手段による画像の表示との間に時間的な差が生じることがある。このように実際の画像の撮影と表示との間に時間的な差が生じると、制御装置からロボットに対する操作の指示にも遅れが生じる。そのため、ロボットに搭載されたカメラの操作に過剰な入力が行われ、いわゆるオーバーシュートやアンダーシュートが生じやすくなる。その結果、ロボットに搭載されたカメラの位置の微調整が困難になるという問題が生じる。一方、カメラの位置を精密に調整するためには、カメラ、制御装置および通信手段に高い性能が要求される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３２１０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、本発明の目的は、カメラ、制御装置および通信手段の能力に依存することなく、ロボットに搭載されたカメラの正確な位置合わせが容易なロボットシステムを提供することにある。
【課題を解決するための手段】
【０００６】
請求項１、２または３記載の発明では、画像合成手段は、グループ化された複数のデータグループとして記憶手段に記憶されている平面画像データに基づいて合成画像を作成する。ロボットに搭載されたカメラの位置を微調整する場合、その直前に少なくとも一枚は対象物品を含む撮影画像が取得されている。画像合成手段は、この対象物品を含む撮影画像を用いて、現在カメラで撮影している画像に近似する合成画像を作成する。そのため、現在カメラで撮影している画像が表示手段に表示できないとき、すなわちカメラ、制御装置あるいは通信手段の能力によってカメラで撮影している画像と表示手段に表示している画像との間に時間差が生じるときでも、カメラで現在撮影した画像に対応して表示手段に表示されている合成画像を参照してロボットへ操作の指示が可能となる。したがって、カメラ、制御装置および通信手段の能力に依存することなく、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【０００７】
また、請求項１記載の発明では、データ更新手段は、記憶手段に新たな平面画像データを記憶するための記憶領域が不足するとき、所定の平面画像データを削除して、空いた記憶領域に新たな平面画像データを記憶する。すなわち、データ更新手段は、記憶手段に複数記憶されているデータグループのうち属する平面画像データの数が最も多い最多データグループから合成画像の作成のために選択された選択時刻が最も古い平面画像データを削除する。属する平面画像データの数が最も多い最多データグループは、焦点座標が近似する平面画像データ、すなわち類似の画像を多く含んでいる可能性が高い。そして、その中でも最も選択時刻が古い、すなわち選択頻度が最も低い平面画像データが削除される。つまり、合成画像の作成に対する寄与度が低い平面画像データが削除され、新たな平面画像データが追加される。これにより、記憶領域を増大させなくても、ロボットの操作に必要な合成画像の基となる平面画像データが確保される。また、上述の条件に基づいて平面画像データを削除することにより、合成画像の作成に対する寄与度が低い平面画像データが減少し、合成画像の作成のために所望の平面画像データを選択する時間は短縮される。したがって、迅速に作成される合成画像によって撮影画像を代用することができ、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【０００８】
請求項２記載の発明では、データ更新手段は、記憶手段に新たな平面画像データを記憶するための記憶領域が不足するとき、所定の平面画像データを削除して、空いた記憶領域に新たな平面画像データを記憶する。すなわち、データ更新手段は、記憶手段に複数記憶されているデータグループのうち新たな平面画像データが属する特定データグループを選択する。そして、データ更新手段は、特定データグループに属する全ての平面画像データにおける焦点座標の平均値に焦点座標が最も近い平面画像データを削除する。特定データグループの焦点座標の平均値に近い範囲には、焦点座標が近似した多くの平面画像データが存在している可能性が高い。そのため、焦点座標が特定データグループにおける平均値に最も近い平面画像データは、焦点座標が近い他の平面画像データによって代用可能と考えられる。すなわち、合成画像の作成に対する影響が小さい平面画像データが削除され、新たな平面画像データが追加される。これにより、記憶領域を増大させなくても、ロボットの操作に必要な合成画像の基となる平面画像データが確保される。また、合成画像の作成への影響が小さい平面画像データを削除することにより、合成画像の作成に与える影響が小さい平面画像データが減少し、合成画像の作成のために所望の平面画像データを選択する時間は短縮される。したがって、迅速に作成される合成画像によって撮影画像を代用することができ、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【０００９】
請求項３記載の発明では、データ更新手段は、記憶手段に新たな平面画像データを記憶するための記憶領域が不足するとき、所定の平面画像データを削除して、空いた記憶領域に新たな平面画像データを記憶する。すなわち、データ更新手段は、記憶手段に複数記憶されているデータグループのうち新たな平面画像データが属する特定データグループを選択する。そして、データ更新手段は、特定データグループに平面画像データのうち撮影時刻が最も古い画像を削除する。撮影時刻が最も古い平面画像データは、その後の画像の撮影によって近い位置で平面画像データが取得されている可能性が高い。そのため、特定データグループにおいて最も古い平面画像データは、その後に撮影された平面画像データによって代用可能と考えられる。すなわち、合成画像の作成に対する影響が小さい平面画像データが削除され、新たな平面画像データが追加される。これにより、記憶領域を増大させなくても、ロボットの操作に必要な合成画像の基となる平面画像データが確保される。また、合成画像の作成への影響が小さい平面画像データを削除することにより、合成画像の作成に与える影響が小さい平面画像データが減少し、合成画像の作成のために所望の平面画像データを選択する時間は短縮される。したがって、迅速に作成される合成画像によって撮影画像を代用することができ、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態によるロボットシステムを示すブロック図
【図２】第１実施形態によるロボットシステムを示す概略図
【図３】平面画像データのデータ構造を示す模式図
【図４】カメラ、ワークおよび視野平面の関係を示す模式図
【図５】カメラ、ワーク、視野平面、交差画像および合成画像の関係を示す模式図
【図６】第１実施形態による表示部の表示を示す模式図
【図７】第１実施形態によるロボットシステムにおけるデータグループを示す模式図
【図８】第１実施形態によるロボットシステムにおける処理の流れを示す概略図
【図９】第１実施形態によるロボットシステムにおけるデータ更新の処理の流れを示す概略図
【図１０】第２実施形態によるロボットシステムにおけるデータ更新の処理の流れを示す概略図
【図１１】第２実施形態によるロボットシステムにおけるデータグループを示す模式図
【図１２】第３実施形態によるロボットシステムにおけるデータ更新の処理の流れを示す概略図
【図１３】第３実施形態によるロボットシステムにおけるデータグループを示す模式図
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。なお、複数の実施形態において実質的に同一の構成部位には同一の符号を付し、説明を省略する。
（第１実施形態）
第１実施形態によるロボットシステムを図１および図２に示す。ロボットシステム１０は、ロボット１１、制御装置１２および通信手段としての通信部１３を備える。第１実施形態のロボット１１は、例えば対象物品であるワーク１４の組み付けが正しく行われているか否かなどを検査するための視覚検査に適用される。ロボット１１は、制御装置１２とは遠隔に配置された検査設備１５に設けられている。検査設備１５は、例えばトンネル状に形成され、下部に搬送部１６を有している。ワーク１４は、この搬送部１６によって検査設備１５の所定の位置へ運搬される。ワーク１４が所定の位置まで運搬されると、搬送部１６は停止する。これにより、ワーク１４は、ロボット１１によって外観の検査が行われる。ロボット１１は、検査設備１５の天側に設けられている。
【００１２】
ロボット１１は、例えば六軸の垂直多関節型のロボットとして構成されている。ロボット１１は、周知の通り、アーム１７を有している。アーム１７は、それぞれアクチュエータであるサーボモータ１８などからの駆動力で駆動される。アーム１７は、先端にエンドエフェクタとしてのカメラ１９を有している。サーボモータ１８からアーム１７のカメラ１９までの間には、図示しない減速機構やリンクなどの駆動力伝達機構が設けられている。これにより、先端にカメラ１９が設けられているアーム１７は、サーボモータ１８からの駆動力によって駆動される。
【００１３】
制御装置１２は、ロボットコントローラ２１および電子計算機であるパーソナルコンピュータ（以下、「パソコン」）２２で構成されている。ロボットコントローラ２１およびパソコン２２は、図１に示すように制御装置１２を構成している。制御装置１２を構成するロボットコントローラ２１とパソコン２２とは、図２に示すようにロボットコントローラ２１がロボット１１の近傍にあるように互いに離れて配置してもよく、一体的に構成して近接して配置してもよい。制御装置１２は、図１に示すように制御部２３を有している。制御部２３は、図示しないＣＰＵ、ＲＯＭおよびＲＡＭなどからなるマイクロコンピュータを主体として構成されている。制御部２３は、予め入力および記憶されたロボット制御プログラムに基づいてロボットコントローラ２１のサーボ制御部２４を経由してロボット１１の各軸のサーボモータ１８を駆動する。これにより、制御装置１２は、ロボット１１の動作を制御する。制御装置１２は、パソコン２２に接続されている入力部２５を有している。入力部２５は、例えばキーボード２６、マウス２７およびジョイスティック２８などの手動で入力される機器、ならびにＨＤＤやＤＶＤなどの磁気的あるいは光学的な入力機器２９などを有している。操作者３０は、プログラミングソフトをパソコン２２で実行することにより、アプリケーションに応じてロボット１１の動作手順などを記述したロボット制御プログラムを作成可能である。この場合、操作者３０は、アプリケーションに応じてパッケージ命令を組み合わせたり、修正を加えたりすることにより、比較的簡単にロボット制御プログラムを作成することができる。
【００１４】
通信部１３は、ロボット１１と制御装置１２との間を通信可能に接続している。本実施形態の場合、通信部１３は、図２に示すようにロボット１１とロボットコントローラ２１とを接続する第一ケーブル３１、およびロボットコントローラ２１とパソコン２２とを接続する第二ケーブル３２を有し、ロボット１１と制御装置１２との間を有線によって接続している。なお、通信部１３は、有線による通信に限らず、例えば無線による通信を採用してもよい。ロボット１１と制御装置１２との間を通信部１３によって接続することにより、ロボット１１の各軸を駆動するサーボモータ１８およびワーク１４を撮影するカメラ１９は、制御装置１２によって制御される。また、カメラ１９で撮影された画像は、通信部１３を経由して制御装置１２へ送信される。
【００１５】
制御装置１２のロボットコントローラ２１は、パソコン２２で実行される検査プログラムにしたがって、ロボット１１のアーム１７の移動を制御する。搬送部１６を流れるワーク１４は、検査設備１５の所定位置に停止すると、カメラ１９によって撮影される。ロボットコントローラ２１は、アーム１７を駆動してカメラ１９を予め設定された三次元的な位置や向きの異なる複数の目標点に移動させつつ撮影を実行する。ロボット１１に取り付けられたカメラ１９が駆動される目標点は、予めティーチングされ、位置データとしてロボットコントローラ２１またはパソコン２２に記憶されている。また、ティーチングの際には、ロボット１１の進入禁止領域もあわせて設定される。
【００１６】
カメラ１９は、例えばＣＣＤイメージセンサ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有しており、ワーク１４を撮影する。カメラ１９は、撮影した画像を画素ごとの電気信号として通信部１３を経由して制御装置１２へ出力する。カメラ１９は、例えば視野の大きさ、焦点あるいは絞りなどの撮影時の光学的な条件が自動で調整される。また、カメラ１９が撮影する画像の座標系であるカメラ座標系とロボット１１の位置の座標系であるロボット座標系とは、座標変換すなわちキャリブレーションによって互いに相関が設定されている。
【００１７】
制御装置１２は、上記に加え、図１に示すように平面画像データ作成部３３、記憶部３４、グループ特定部３５、画像合成部３６、表示部３７およびデータ更新部３８を備えている。これら平面画像データ作成部３３、グループ特定部３５、画像合成部３６およびデータ更新部３８は、制御部２３で実行されるコンピュータプログラムによってソフトウェア的に機能する構成でもよく、ハードウェアとして機能する構成でもよい。また、本実施形態では、平面画像データ作成部３３、記憶部３４、グループ特定部３５、画像合成部３６、表示部３７およびデータ更新部３８をパソコン２２に設ける例について説明しているが、機能の一部または全部をロボットコントローラ２１に設けてもよい。
【００１８】
平面画像データ作成部３３は、図３に示すような平面画像データ４０を作成する。平面画像データ４０は、カメラ１９で撮影した撮影画像の焦点座標４１を中心として、カメラ１９で撮影された撮影画像４２と、この撮影画像４２が撮影されたときの焦点座標４１を示す座標データ４３および撮影画像４２を撮影した向きを示す方向データ４４とを関連づけて作成される。平面画像データ作成部３３は、通信部１３を経由して画素ごとの電気信号から作成される撮影画像４２をカメラ１９から取得する。また、このとき、平面画像データ作成部３３は、ロボット１１またはロボットコントローラ２１からアーム１７の位置と相関するカメラ１９の焦点座標４１を座標データとして、およびアーム１７の角度に相関する撮影画像４２を撮影した向きを方向データとしてあわせて取得する。さらに、平面画像データ作成部３３は、撮影画像４２が撮影された時刻を時刻データ４５として取得する。なお、図３は、平面画像データ４０のデータ構造を模式的に示したものであり、実際の平面画像データ４０とは異なる。
【００１９】
記憶部３４は、例えば不揮発性メモリやＨＤＤなどを有している。記憶部３４は、平面画像データ作成部３３で作成された平面画像データ４０を記憶する。この場合、グループ特定部３５は、予め設定された設定範囲で近似する焦点座標を有する平面画像データ４０をグループ化して複数のデータグループとして記憶部３４へ記憶する。平面画像データ４０は、ロボット１１の可動領域の全体で取得される。そのため、グループ特定部３５は、取得された平面画像データ４０について、互いに焦点座標が近似するもの同士をグループ化して記憶部３４に記憶する。なお、記憶部３４は、制御部２３のＲＯＭやＲＡＭとともに構成してもよい。また、グループ特定部３５によるグループ化は、焦点座標が近似するもの同士をグループ化するだけでなく、カメラ１９で撮影する領域すなわち撮影対象となる空間を予め複数のグループ領域に分割し、そのグループ領域に含まれる焦点座標を有する平面画像データ４０を一つのグループとするようなグループ化を行ってもよい。
【００２０】
画像合成部３６は、記憶部３４に記憶されている平面画像データ４０から合成画像を作成する。具体的には、画像合成部３６は、記憶部３４に記憶されている複数の平面画像データ４０から選択平面画像データを選択する。選択平面画像データは、図４に示すようにカメラ１９で撮影している仮想的な視野平面５１を光軸延長方向へ移動させたときに、図５に示すようにこの視野平面５１に交差する交差画像５２、５３、５４の平面画像データである。すなわち、画像合成部３６は、記憶部３４に記憶されている複数の平面画像データから、視野平面５１に交差する交差画像５２、５３、５４の平面画像データを選択平面画像データとして選択する。そして、画像合成部３６は、選択した選択した選択平面画像データに基づく交差画像５２、５３、５４の焦点座標および交差画像５２、５３、５４を撮影した向きを交差画像５２、５３、５４が撮影されたときのまま、視野平面５１に投影する。画像合成部３６は、この視野平面５１に投影した画像を撮影したワーク１４の合成画像５５として作成する。画像合成部３６は、合成画像５５を作成するとともに、交差画像５２、５３、５４として選択平面画像データを選択した選択時刻を、選択した平面画像データに付与して記憶部３４に記憶する。表示部３７は、例えばパソコン２２と一体または別体の液晶ディスプレイなどである。表示部３７は、図６に示すようにカメラ１９で撮影された画像、あるいは画像合成部３６で作成された合成画像を表示画像３７１として表示する。
【００２１】
データ更新部３８は、記憶部３４に記憶された平面画像データ４０を更新しつつ記憶する。第１実施形態の場合、データ更新部３８は、記憶部３４に新たな平面画像データ４０を記憶する記憶領域が不足するとき、データグループのうち属する平面画像データの数が最も多い最多データグループから選択時刻が最も古い平面画像データを削除して、空いた記憶領域に新たな平面画像データ４０を記憶する。カメラ１９は刻々と新たな画像を撮影するため、撮影された画像は次々に制御装置１２へ送られる。一方、記憶部３４の記憶領域は有限であるため、すべての平面画像データ４０を記憶することはできない。そのため、データ更新部３８は、記憶部３４の記憶容量が不足するとき、最多データグループから選択時刻が最も古い平面画像データを削除する。
【００２２】
平面画像データ作成部３３で作成された平面画像データ４０は、その焦点座標４１に基づいてグループ特定部３５によって例えば図７に示すようにデータグループ６１、６２、６３のいずれかに特定され、記憶部３４に記憶される。複数のデータグループ６１、６２、６３のうち含まれる平面画像データが最多のものが最多データグループ６２となる。そのため、最多データグループ６２には、互いに焦点座標が近似する平面画像データ４０が多く含まれていると考えられる。この最多データグループ６２には、画像合成部３６で選択された選択時期が最も古い平面画像データ６５から最も新しい平面画像データ６６まで含まれる。このうち選択された選択時刻が最も古い平面画像データ６５は、最多データグループ６２の中でも最も利用頻度が低く、焦点座標４１が近似する他の平面画像データ４０で代用可能であると考えられる。すなわち、最多データグループ６２において最も選択時期の古い平面画像データ６５は、画像合成部３６における合成画像の作成への利用価値が低いと考えられる。そこで、データ更新部３８は、記憶部３４の記憶容量が不足するとき、最多データグループ６２から選択時刻が最も古い平面画像データ６５を削除し、記憶領域を確保する。データ更新部３８は、この確保した記憶領域に取得した新たな平面画像データ４０を記憶する。
【００２３】
次に、上記の構成によるロボットシステム１０の作動について図８に基づいて説明する。
ロボットシステム１０は、検査対象であるワーク１４の検査に先立って、ワーク１４の撮影位置を設定するティーチングが実施される。ティーチングは、パソコン２２で検査プログラムに含まれるティーチングプログラムを実行することにより実施される。操作者３０は、パソコン２２でティーチングプログラムを実行しつつ入力部２５のジョイスティック２８を操作することにより、ロボット１１のアーム１７に取り付けられたカメラ１９を所定の撮影位置に移動させる。この場合、カメラ１９は、数分の１または数十分の１秒ごとに画像を撮影する。そのため、カメラ１９で撮影された撮影画像は、制御装置１２の表示部３７に動画として表示される。
【００２４】
一方、カメラ１９の性能、通信部１３の通信速度、あるいは制御装置１２の性能などによって、カメラ１９で撮影している撮影画像と表示部３７に表示している画像との間には、時間的なずれが生じる。例えばカメラ１９を用いて焦点座標（ｘ１，ｙ１，ｚ１）で撮影しているにも関わらず、表示部３７には焦点座標（ｘ０，ｙ０，ｚ０）で撮影された画像が表示される場合がある。操作者３０は、表示部３７に表示されている画像を見ながらロボット１１を操作するため、このカメラ１９での撮影と表示部３７への表示との間に生じる時間的な差が拡大すると、入力部２５であるジョイスティック２８の操作と表示部３７に表示されている画像との齟齬が大きくなる。その結果、入力部２５であるジョイスティック２８への入力が過大となってロボット１１の動作にいわゆるオーバーシュートが生じたり、操作の違和感が増大する。そこで、第１実施形態では、図８に基づく処理によってカメラ１９で撮影した画像と表示部３７に表示される画像との差の低減を図っている。
【００２５】
ロボット１１のアーム１７、すなわちアーム１７に取り付けられたカメラ１９は、操作者３０による入力部２５の操作によって移動する（Ｓ１０１）。入力部２５からの入力は、制御装置１２のパソコン２２からロボットコントローラ２１を経由してロボット１１へ伝達される。ロボットコントローラ２１は、入力部２５からの入力に応じてサーボ制御部２４によってロボット１１のサーボモータ１８を駆動する。これにより、ロボット１１のアーム１７は、サーボモータ１８によって入力部２５からの入力に対応する位置へ移動する。その結果、アーム１７に取り付けられたカメラ１９も、入力に対応する撮影位置へ移動する。
【００２６】
カメラ１９は、アーム１７とともに移動しながら例えば数十分の１秒ごとなど所定の時間間隔でワーク１４を撮影する（Ｓ１０２）。このとき、カメラ１９はワーク１４を撮影した撮影画像とともに、撮影画像の焦点座標および撮影した向きを取得する（Ｓ１０３）。カメラ１９は、例えばロボットコントローラ２１などから撮影画像の焦点座標および撮影した向きを取得する。カメラ１９は、所定の時間間隔でワーク１４が撮影されるごとに、撮影画像の焦点座標および撮影した向きを取得する。
【００２７】
取得された撮影画像ならびにこの撮影画像の焦点位置および撮影した向きは、通信部１３を経由して制御装置１２へ転送される（Ｓ１０４）。平面画像データ作成部３３は、カメラ１９から通信部１３を経由して撮影画像ならびにこの撮影画像の焦点座標および撮影した向きを取得して、平面画像データ４０を作成する。平面画像データ作成部３３は、図３に示すように焦点座標４１を中心として、撮影画像４２と、この撮影画像４２の焦点座標である座標データ４３および撮影画像４２を撮影した向きである方向データ４４とを関連づけて平面画像データ４０を作成する。また、このとき、平面画像データ作成部３３は、撮影画像４２を撮影した時刻を時刻データとして平面画像データ４０に加える。平面画像データ４０が作成されると、画像合成部３６は上記の撮影画像４２が所定の時間内に制御装置１２で取得されたか否かを判断する（Ｓ１０５）。すなわち、画像合成部３６は、カメラ１９でワーク１４を撮影してから所定の時間内に、撮影されたワーク１４の撮影画像４２が制御装置１２へ転送されたか否かを判断する。
【００２８】
ワーク１４を撮影した撮影画像がカメラ１９での撮影から所定の時間内に制御装置１２へ転送されると、カメラ１９で撮影しているワーク１４の撮影画像と表示部３７に表示されている画像との間に生じる差は小さい。すなわち、カメラ１９で撮影している撮影画像と表示部３７に表示している画像との間の差は、操作者３０が認識できない程度に小さくなる。この場合、上述のようなカメラ１９が取り付けられたアーム１７のオーバーシュートや操作の違和感はほとんど生じない。そのため、画像合成部３６は、カメラ１９で撮影した撮影画像のデータが撮影から所定の時間内に制御装置１２で取得されたとき（Ｓ１０５：Ｙｅｓ）、カメラ１９で撮影し制御装置１２へ転送された撮影画像をそのまま表示部３７に表示する（Ｓ１０６）。このとき、オーバーシュートや違和感を生じさせないための時間差は、例えば数ミリ秒以下程度である。平面画像データ４０を構成するデータのうち、座標データ４３、方向データ４４および時刻データ４５はテキストデータであるのに対し、撮影画像４２は画像データである。そのため、座標データ４３、方向データ４４および時刻データ４５は、撮影画像４２に比較して短時間でカメラ１９から制御装置１２へ転送される。これにより、画像合成部３６は、例えばカメラ１９から転送された時刻データ４５などに基づいて、カメラ１９における画像の撮影から撮影画像４２に係るデータの転送までの時間を取得する。
【００２９】
一方、ワーク１４を撮影した撮影画像がカメラ１９での撮影から所定の時間内に制御装置１２で取得されないと、カメラ１９で撮影しているワーク１４の撮影画像と表示部３７に表示されている画像との間にはオーバーシュートや違和感を生じさせる差が生じる。そのため、画像合成部３６は、カメラ１９で撮影した撮影画像のデータが撮影から所定の時間内に制御装置１２で取得されないとき（Ｓ１０５：Ｎｏ）、撮影画像の焦点座標４１および撮影の向きに基づいて合成画像を作成する（Ｓ１０７）。
【００３０】
上述のようにカメラ１９での撮影画像の撮影から表示部３７での撮影画像の表示までの時間に差が大きくなると、カメラ１９の操作においてオーバーシュートなどの操作不良が生じやすくなる。そのため、画像合成部３６は、撮影画像のデータがカメラ１９での撮影から所定の時間内に制御装置１２で取得されないとき、記憶部３４に既に記憶している平面画像データを利用してカメラ１９で撮影した撮影画像に対応する仮想的な合成画像を作成する。この場合、合成画像は、カメラ１９で撮影した撮影画像と完全に一致する必要はなく、あくまでの入力部２５からの入力によるカメラ１９の操作においてオーバーシュートなどの操作不良が生じない程度の仮想的なものであればよい。
【００３１】
具体的には、画像合成部３６は次の手順で合成画像を作成する。画像合成部３６は、図４に示すようにカメラ１９で撮影している視野平面５１を光軸延長方向へ移動させる。ここでカメラ１９で撮影している視野平面５１は、Ｓ１０４においてカメラ１９から制御装置１２へ転送される撮影画像４２の視野平面５１に対応する。画像合成部３６は、記憶部３４に記憶されている複数の平面画像データ４０から、図５に示すようにこの視野平面５１に交差する交差画像５２、５３、５４の平面画像データを選択平面画像データとして選択する。すなわち、画像合成部３６は、カメラ１９の視野平面５１に交差する交差画像５２、５３、５４を選択し、この交差画像５２、５３、５４の平面画像データを選択平面画像データとして設定する。そして、画像合成部３６は、この選択された選択平面画像データに含まれている交差画像５２、５３、５４の焦点座標に関する座標データおよび撮影した向きに関する方向データを取得する。ここで、交差画像５２、５３、５４は、記憶部３４に記憶されている撮影画像の平面画像データ４０に基づいて選択される。そのため、選択された交差画像５２、５３、５４に対応する平面画像データは、過去に撮影された際に取得された焦点座標データおよび方向データを含んでいる。画像合成部３６は、取得した交差画像５２、５３、５４を、この交差画像５２、５３、５４が撮影されたときのまま視野平面５１に投影して合成画像５５を作成する。これにより、Ｓ１０２においてカメラ１９で撮影された撮影画像と近似する合成画像５５が擬似的に作成される。また、画像合成部３６は、選択した交差画像５２、５３、５４に対応する選択平面画像データに、図３に示すように選択した選択時刻を選択時刻データ４６として付与して記憶部３４に記憶させる。
【００３２】
画像合成部３６において合成画像５５が作成されると、表示部３７は作成された合成画像５５を表示する（Ｓ１０８）。これにより、操作者３０は、表示部３７に表示されているＳ１０２において撮影した撮影画像に対応する合成画像５５を参照して入力部２５を操作する。表示部３７に表示されている合成画像５５は、上述のようにＳ１０２において撮影したワーク１４の撮影画像を擬似的に表現している。そのため、Ｓ１０８において表示部３７に表示されている画像は、少なくともワーク１４を撮影した位置すなわち焦点座標および撮影した向きが近似する。その結果、Ｓ１０２においてカメラ１９で実際に撮影している撮影画像とＳ１０８において表示部３７に表示している合成画像とは、厳密には異なるものの、撮影した焦点座標および向きが近似する。すなわち、カメラ１９で撮影した動画にいわゆるコマ落ちが生じる場合、画像合成部３６はコマ落ちしたコマに対応する擬似的な画像を作成して挿入する。したがって、カメラ１９を操作する操作者３０は、表示部３７に表示されている画像から時間的な差による違和感を受けることなく入力部２５の操作が可能となる。
【００３３】
グループ特定部３５は、撮影した画像すなわち撮影画像４２のグループを特定する（Ｓ１０９）。カメラ１９での画像の撮影から表示部３７での表示までに時間的な差がある場合でも、制御装置１２はいずれかの時期にＳ１０２においてカメラ１９で撮影した撮影画像をカメラ１９から受信する。グループ特定部３５は、このようにカメラ１９から受け取った撮影画像に対応する平面画像データ４０をグループ分けする。具体的には、グループ特定部３５は、予め設定された設定範囲で近似する焦点座標４１を有する平面画像データ４０をグループ化する。グループ特定部３５は、図７に示すようにグループ化した平面画像データ４０を複数のデータグループ６１、６２、６３として記憶する。平面画像データ４０は、ロボット１１の可動領域の全体で取得される。そのため、グループ特定部３５は、取得された平面画像データ４０について、互いに焦点座標が近似するもの同士をグループ化する。グループ特定部３５は、Ｓ１０２において撮影した撮影画像についてカメラ１９から取得するごとにグループを特定し、いずれかのデータグループ６１、６２、６３に分類して記憶部３４に記憶する。
【００３４】
撮影画像のグループが特定されると、データ更新部３８は、記憶部３４の記憶領域に、Ｓ１０２において撮影しＳ１０９においてグループを特定した撮影画像の平面画像データを記憶可能であるか否かを判断する（Ｓ１１０）。上述のように記憶部３４の記憶領域は有限である。そのため、カメラ１９で撮影された撮影画像４２を含む平面画像データ４０の記憶を繰り返すと、記憶部３４の記憶領域はいずれかの時期に飽和する。そのため、データ更新部３８は、カメラ１９から撮影画像の平面画像データ４０を取得するごとに、記憶部３４にこの平面画像データ４０を記憶可能な記憶領域が残存しているか否かを判断する。データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していると判断すると（Ｓ１１０：Ｙｅｓ）、Ｓ１０２において撮影しＳ１０９においてグループが特定された撮影画像の平面画像データ４０を記憶部３４の空いている記憶領域に記憶する。
【００３５】
一方、データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していないと判断すると（Ｓ１１０：Ｎｏ）、図９に基づいて処理を実行する。すなわち、データ更新部３８は、記憶部３４の複数のデータグループ６１、６２、６３から最多データグループ６２を選択し、選択時刻が最古の平面画像データ６５を削除する（Ｓ２０１）。具体的には、次の通りである。Ｓ１０９で説明したように、カメラ１９で撮影された平面画像データ４０は、グループ特定部３５において互いに焦点座標４１が近似するもの同士がグループ化される。そこで、データ更新部３８は、記憶部３４に記憶されている平面画像データ４０のデータグループ６１、６２、６３から、含まれる平面画像データ４０の数が最多となる最多データグループ６２を選択する。焦点座標４１に応じて複数のデータグループ６１、６２、６３が設定されているため、このうちのいずれかは最多データグループ６２となる。
【００３６】
データ更新部３８は、選択した最多データグループ６２に含まれる平面画像データ４０のうち選択時刻が最も古い平面画像データ６５を抽出する。最多データグループ６２をはじめとする各データグループ６１、６３は、複数の平面画像データ４０を含んでいる。選択時刻は、選択時刻データ４６として平面画像データ４０に含まれている。そこで、データ更新部３８は、最多データグループ６２に含まれる複数の平面画像データ４０から、Ｓ１０７における合成画像５５の作成において選択平面画像データとして選択された時刻が最も古い平面画像データ６５を抽出する。データ更新部３８は、抽出した選択時刻が最も古い平面画像データ６５を記憶部３４の記憶領域から削除する。この場合、削除とは、該当する記憶領域に例えば「０データ」を書き込んで平面画像データ４０そのものを削除すること、および単に該当する記憶領域を上書き可能とすることなどを含む。上述のように、最多データグループ６２に含まれる平面画像データ４０のうち選択時刻が最も古い平面画像データ６５は、最多データグループ６２に含まれる他の平面画像データで代用可能であり、削除しても合成画像５５の作成に与える影響が小さいと考えられる。そのため、データ更新部３８は、記憶部３４に残存する新たな記憶領域が不足するとき、最多データグループ６２に含まれる複数の平面画像データ４０のうち選択時刻が最も古い平面画像データ６５を削除する。
【００３７】
データ更新部３８は、最多データグループ６２に含まれる選択時刻が最も古い平面画像データ６５を削除することにより、記憶部３４の空いた記憶領域にＳ１０２において撮影した画像の平面画像データ４０を記憶する（Ｓ２０２）。これにより、Ｓ１０２において撮影され、Ｓ１０９においてグループが特定された平面画像データ４０は、記憶部３４の記憶領域に記憶される。Ｓ２０２において平面画像データ４０が記憶部３４に記憶されると、Ｓ１０１へリターンし上記の処理が繰り返される。
【００３８】
以上説明した第１実施形態では、画像合成部３６は、グループ化された複数のデータグループ６１、６２、６３として記憶部３４に記憶されている平面画像データ４０に基づいて合成画像５５を作成する。ロボット１１に搭載されたカメラ１９の位置を微調整する場合、その直前に少なくとも一枚はワーク１４を含む画像が撮影されている。画像合成部３６は、このワーク１４を含む撮影画像を用いて、現在カメラ１９で撮影している画像に近似する合成画像５５を作成する。そのため、現在カメラ１９で撮影している画像が表示部３７に表示できないとき、すなわちカメラ１９、制御装置１２あるいは通信部１３の能力によって撮影している画像と表示している画像との間に時間差が生じるときでも、操作者３０はカメラ１９で現在撮影した画像に対応して表示部３７に表示されている合成画像５５を参照してロボット１１の操作が可能となる。その結果、例えば入力部２５に対する過剰入力など、ロボット１１の操作の違和感が低減される。したがって、カメラ１９、制御装置１２および通信部１３の能力に依存することなく、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００３９】
また、第１実施形態では、データ更新部３８は、記憶部３４に新たな平面画像データ４０を記憶するための記憶領域が不足するとき、記憶部３４に複数記憶されているデータグループ６１、６２、６３のうち属する平面画像データ４０の数が最も多い最多データグループ６２を選択する。そして、データ更新部３８は、この最多データグループ６２から合成画像５５の作成のために選択された選択時刻が最も古い平面画像データ６５を抽出して、これを削除する。最多データグループ６２は、焦点座標４１が近似、および撮影方向が近似する平面画像データ４０、すなわち類似の画像を多く含んでいる可能性が高い。そして、その中でも最も選択時刻が古い、すなわち選択頻度が最も低い平面画像データ４０が削除される。つまり、合成画像５５の作成に対する寄与度が低い平面画像データ４０が削除され、Ｓ１０２で撮影された画像に対応する新たな平面画像データ４０が追加される。これにより、記憶部３４の記憶領域を増大させなくても、ロボット１１の操作に必要な合成画像５５の基となる平面画像データ４０が確保される。また、上述の条件に基づいて平面画像データ４０を削除することにより、合成画像５５の作成に対する寄与度が低い平面画像データ４０が減少し、合成画像５５の作成のために所望の平面画像データ４０を選択する時間は短縮される。さらに、合成画像５５の作成に対する寄与度の低い平面画像データ４０を削除することにより、カメラ１９の操作中に合成画像５５が不意に消えることもない。したがって、迅速に作成される合成画像５５によって撮影画像を代用することができ、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００４０】
（第２実施形態）
第２実施形態によるロボットシステムについて説明する。第２実施形態によるロボットシステム１０は、構成が第１実施形態と同一であるものの、データ更新部３８における処理の流れが第１実施形態と異なる。したがって、図１０に基づいて第２実施形態のデータ更新部３８における処理の流れについて説明する。
図１０に示すロボットシステム１０の作動におけるＳ１０１からＳ１１１までの処理は、第１実施形態と同様である。データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していないと判断すると（Ｓ１１０：Ｎｏ）、特定データグループを選択し、この特定データグループの焦点座標の平均値に最も近い平面画像データを削除する（Ｓ３０１）。具体的には、次の通りである。Ｓ１０９で説明したように、カメラ１９で撮影された平面画像データ４０は、グループ特定部３５において互いに焦点座標が近似するもの同士がグループ化される。そこで、データ更新部３８は、図１１に示すように記憶部３４に記憶されている平面画像データ４０のデータグループ７１、７２、７３から、Ｓ１０２において撮影されＳ１０９においてグループが特定された最新の平面画像データ４０ａが属するデータグループ７２を特定データグループ７２として選択する。
【００４１】
データ更新部３８は、選択した特定データグループ７２に含まれる平面画像データ４０から、焦点座標４１がこの特定データグループ７２に含まれる全ての平面画像データ４０の焦点座標の平均値に最も近い平面画像データ７４を抽出する。そして、データ更新部３８は、特定データグループ７２から焦点座標が平均値に最も近い抽出した平面画像データ７４を削除する。特定データグループ７２に複数含まれる平面画像データ４０は、焦点座標の平均値付近により多く分布していると考えられる。そのため、焦点座標の平均値に最も近い平面画像データ７４は、他の平面画像データ４０によって代用可能であると考えられる。そこで、データ更新部３８は、特定データグループ７２に含まれる複数の平面画像データ４０から焦点座標がその特定データグループ７２の平均値に最も近い平面画像データ７４を削除する。
【００４２】
データ更新部３８は、特定データグループ７２の焦点座標の平均値に最も近い平面画像データ７４を削除することにより、記憶部３４の空いた記憶領域にＳ１０２において撮影した最新の平面画像データ４０ａを記憶する（Ｓ３０２）。これにより、Ｓ１０２において撮影され、Ｓ１０９においてグループが特定された最新の平面画像データ４０ａは、記憶部３４の記憶領域に記憶される。Ｓ３０２において平面画像データ４０が記憶部３４に記憶されると、Ｓ１０１へリターンし上記の処理が繰り返される。
【００４３】
以上説明した第２実施形態では、データ更新部３８は、記憶部３４に最新の平面画像データ４０ａを記憶するための記憶領域が不足するとき、記憶部３４に複数記憶されているデータグループ７１、７２、７３のうち最新の平面画像データ４０ａが属する特定データグループ７２を選択する。そして、データ更新部３８は、特定データグループ７２に属する全ての平面画像データ４０における焦点座標の平均値に焦点座標が最も近い平面画像データ７４を削除する。特定データグループ７２の焦点座標の平均値に近い範囲には、焦点座標が近似した多くの平面画像データ４０が存在している可能性が高い。そのため、焦点座標が特定データグループ７２における平均値に最も近い平面画像データ７４は、焦点座標が近い他の平面画像データ４０によって代用可能と考えられる。すなわち、記憶部３４の記憶領域には、合成画像５５の作成に対する影響が小さい平面画像データ７４が削除され、最新の平面画像データ４０ａが追加される。これにより、記憶部３４の記憶領域を増大させなくても、ロボット１１の操作に必要な合成画像５５の基となる平面画像データ４０が確保される。また、合成画像５５の作成への影響が小さい平面画像データ７４を削除することにより、合成画像５５の作成に与える影響が小さい平面画像データ４０が減少し、合成画像５５の作成のために所望の平面画像データ４０を選択する時間は短縮される。さらに、合成画像５５の作成に対する寄与度の低い平面画像データ７４を削除することにより、カメラ１９の操作中に合成画像５５が不意に消えることもない。したがって、迅速に作成される合成画像５５によって撮影画像を代用することができ、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００４４】
（第３実施形態）
第３実施形態によるロボットシステムについて説明する。第３実施形態によるロボットシステム１０は、構成が第１実施形態と同一であるものの、データ更新部３８における処理の流れが第１実施形態と異なる。したがって、図１２に基づいて第３実施形態のデータ更新部３８における処理の流れについて説明する。
図１０に示すロボットシステム１０の作動におけるＳ１０１からＳ１１１までの処理は、第１実施形態と同様である。データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していないと判断すると（Ｓ１１０：Ｎｏ）、特定データグループを選択し、この特定データグループのうち最も古い平面画像データを削除する（Ｓ４０１）。具体的には、次の通りである。Ｓ１０９で説明したように、カメラ１９で撮影された平面画像データ４０は、グループ特定部３５において互いに焦点座標が近似するもの同士がグループ化される。そこで、データ更新部３８は、図１３に示すように記憶部３４に記憶されている平面画像データ４０のデータグループ８１、８２、８３から、Ｓ１０２において撮影されＳ１０９においてグループが特定された最新の平面画像データ４０ｂが属するデータグループ８２を特定データグループ８２として選択する。
【００４５】
データ更新部３８は、選択した特定データグループ８２に含まれる平面画像データ４０から、撮影時刻が最も古い最古の平面画像データ８４を抽出する。そして、データ更新部３８は、特定データグループ８２から撮影時刻が最も古い平面画像データ８４を削除する。特定データグループ８２に複数含まれる平面画像データ４０は、古いものほどカメラ１９によるその後の画像の撮影によって近い位置で撮影が繰り返されている可能性が高い。そのため、撮影時刻の最も古い平面画像データ８４は、他の平面画像データ４０によって代用可能であると考えられる。そこで、データ更新部３８は、特定データグループ８２に含まれる複数の平面画像データ４０から撮影時刻が最も古い平面画像データ８４を削除する。
【００４６】
データ更新部３８は、特定データグループ８２に含まれる撮影時刻が最も古い平面画像データ８４を削除することにより、記憶部３４の空いた記憶領域にＳ１０２において撮影した最新の画像の平面画像データ４０ｂを記憶する（Ｓ４０２）。これにより、Ｓ１０２において撮影され、Ｓ１０９においてグループが特定された最新の平面画像データ４０ｂは、記憶部３４の記憶領域に記憶される。Ｓ４０２において平面画像データ４０が記憶部３４に記憶されると、Ｓ１０１へリターンし上記の処理が繰り返される。
【００４７】
第３実施形態では、データ更新部３８は、記憶部３４に最新の平面画像データ４０ｂを記憶するための記憶領域が不足するとき、記憶部３４に複数記憶されているデータグループ８１、８２、８３のうち最新の平面画像データ４０ｂが属する特定データグループ８２を選択する。そして、データ更新部３８は、特定データグループ８２に平面画像データ４０のうち撮影時刻が最も古い平面画像データ８４を削除する。撮影時刻が最も古い平面画像データ８４は、その後の画像の撮影によって近い位置で平面画像データ４０が取得されている可能性が高い。そのため、特定データグループ８２において最も古い平面画像データ８４は、その後に撮影された平面画像データ４０によって代用可能と考えられる。すなわち、記憶部３４では、合成画像５５の作成に対する影響が小さい平面画像データ８４が削除され、最新の平面画像データ４０ｂが追加される。これにより、記憶部３４の記憶領域を増大させなくても、ロボット１１の操作に必要な合成画像５５の基となる平面画像データ４０が確保される。また、合成画像５５の作成への影響が小さい平面画像データ８４を削除することにより、合成画像５５の作成に与える影響が小さい平面画像データ４０が減少し、合成画像５５の作成のために所望の平面画像データ４０を選択する時間は短縮される。さらに、合成画像５５の作成に対する寄与度の低い平面画像データ８４を削除することにより、カメラ１９の操作中に合成画像５５が不意に消えることもない。したがって、迅速に作成される合成画像５５によって撮影画像を代用することができ、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００４８】
以上説明した本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。
【符号の説明】
【００４９】
１０はロボットシステム、１１はロボット、１２は制御装置、１３は通信部（通信手段）、１７はアーム、１９はカメラ、２１はロボットコントローラ（制御装置）、２２はパソコン（制御装置）、３３は平面画像データ作成部（平面画像データ作成手段）、３４は記憶部（記憶手段）、３６は画像合成部（画像合成手段）、３７は表示部（表示手段）、３８はデータ更新部（データ更新手段）を示す。
【技術分野】
【０００１】
本発明は、ロボットシステムに関し、特に対象物品を撮影するカメラが設けられたロボットシステムに関する。
【背景技術】
【０００２】
従来、例えば対象物品の外観などを検査する場合、アームの先端にカメラを有するロボットが利用される。対象物品は、ロボットのアームの先端に搭載されたカメラによって撮影される。このようなカメラが搭載されたロボットを備えるロボットシステムの場合、検査の対象となる位置に正確にカメラが移動するように設定する、いわゆるティーチングを実施する必要がある（カメラのティーチングについて特許文献１参照）。カメラの位置は、カメラの外観的な位置だけでは正確性に欠けるため、カメラで撮影された撮影画像に基づいて適切であるか否かが判断される。
【０００３】
しかしながら、例えばカメラや制御装置の性能、あるいはカメラと制御装置とを接続する通信手段によっては、撮影画像の伝送および取得に時間を要し、カメラによる画像の撮影と表示手段による画像の表示との間に時間的な差が生じることがある。このように実際の画像の撮影と表示との間に時間的な差が生じると、制御装置からロボットに対する操作の指示にも遅れが生じる。そのため、ロボットに搭載されたカメラの操作に過剰な入力が行われ、いわゆるオーバーシュートやアンダーシュートが生じやすくなる。その結果、ロボットに搭載されたカメラの位置の微調整が困難になるという問題が生じる。一方、カメラの位置を精密に調整するためには、カメラ、制御装置および通信手段に高い性能が要求される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３２１０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、本発明の目的は、カメラ、制御装置および通信手段の能力に依存することなく、ロボットに搭載されたカメラの正確な位置合わせが容易なロボットシステムを提供することにある。
【課題を解決するための手段】
【０００６】
請求項１、２または３記載の発明では、画像合成手段は、グループ化された複数のデータグループとして記憶手段に記憶されている平面画像データに基づいて合成画像を作成する。ロボットに搭載されたカメラの位置を微調整する場合、その直前に少なくとも一枚は対象物品を含む撮影画像が取得されている。画像合成手段は、この対象物品を含む撮影画像を用いて、現在カメラで撮影している画像に近似する合成画像を作成する。そのため、現在カメラで撮影している画像が表示手段に表示できないとき、すなわちカメラ、制御装置あるいは通信手段の能力によってカメラで撮影している画像と表示手段に表示している画像との間に時間差が生じるときでも、カメラで現在撮影した画像に対応して表示手段に表示されている合成画像を参照してロボットへ操作の指示が可能となる。したがって、カメラ、制御装置および通信手段の能力に依存することなく、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【０００７】
また、請求項１記載の発明では、データ更新手段は、記憶手段に新たな平面画像データを記憶するための記憶領域が不足するとき、所定の平面画像データを削除して、空いた記憶領域に新たな平面画像データを記憶する。すなわち、データ更新手段は、記憶手段に複数記憶されているデータグループのうち属する平面画像データの数が最も多い最多データグループから合成画像の作成のために選択された選択時刻が最も古い平面画像データを削除する。属する平面画像データの数が最も多い最多データグループは、焦点座標が近似する平面画像データ、すなわち類似の画像を多く含んでいる可能性が高い。そして、その中でも最も選択時刻が古い、すなわち選択頻度が最も低い平面画像データが削除される。つまり、合成画像の作成に対する寄与度が低い平面画像データが削除され、新たな平面画像データが追加される。これにより、記憶領域を増大させなくても、ロボットの操作に必要な合成画像の基となる平面画像データが確保される。また、上述の条件に基づいて平面画像データを削除することにより、合成画像の作成に対する寄与度が低い平面画像データが減少し、合成画像の作成のために所望の平面画像データを選択する時間は短縮される。したがって、迅速に作成される合成画像によって撮影画像を代用することができ、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【０００８】
請求項２記載の発明では、データ更新手段は、記憶手段に新たな平面画像データを記憶するための記憶領域が不足するとき、所定の平面画像データを削除して、空いた記憶領域に新たな平面画像データを記憶する。すなわち、データ更新手段は、記憶手段に複数記憶されているデータグループのうち新たな平面画像データが属する特定データグループを選択する。そして、データ更新手段は、特定データグループに属する全ての平面画像データにおける焦点座標の平均値に焦点座標が最も近い平面画像データを削除する。特定データグループの焦点座標の平均値に近い範囲には、焦点座標が近似した多くの平面画像データが存在している可能性が高い。そのため、焦点座標が特定データグループにおける平均値に最も近い平面画像データは、焦点座標が近い他の平面画像データによって代用可能と考えられる。すなわち、合成画像の作成に対する影響が小さい平面画像データが削除され、新たな平面画像データが追加される。これにより、記憶領域を増大させなくても、ロボットの操作に必要な合成画像の基となる平面画像データが確保される。また、合成画像の作成への影響が小さい平面画像データを削除することにより、合成画像の作成に与える影響が小さい平面画像データが減少し、合成画像の作成のために所望の平面画像データを選択する時間は短縮される。したがって、迅速に作成される合成画像によって撮影画像を代用することができ、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【０００９】
請求項３記載の発明では、データ更新手段は、記憶手段に新たな平面画像データを記憶するための記憶領域が不足するとき、所定の平面画像データを削除して、空いた記憶領域に新たな平面画像データを記憶する。すなわち、データ更新手段は、記憶手段に複数記憶されているデータグループのうち新たな平面画像データが属する特定データグループを選択する。そして、データ更新手段は、特定データグループに平面画像データのうち撮影時刻が最も古い画像を削除する。撮影時刻が最も古い平面画像データは、その後の画像の撮影によって近い位置で平面画像データが取得されている可能性が高い。そのため、特定データグループにおいて最も古い平面画像データは、その後に撮影された平面画像データによって代用可能と考えられる。すなわち、合成画像の作成に対する影響が小さい平面画像データが削除され、新たな平面画像データが追加される。これにより、記憶領域を増大させなくても、ロボットの操作に必要な合成画像の基となる平面画像データが確保される。また、合成画像の作成への影響が小さい平面画像データを削除することにより、合成画像の作成に与える影響が小さい平面画像データが減少し、合成画像の作成のために所望の平面画像データを選択する時間は短縮される。したがって、迅速に作成される合成画像によって撮影画像を代用することができ、ロボットに搭載されたカメラの正確な位置合わせを容易に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態によるロボットシステムを示すブロック図
【図２】第１実施形態によるロボットシステムを示す概略図
【図３】平面画像データのデータ構造を示す模式図
【図４】カメラ、ワークおよび視野平面の関係を示す模式図
【図５】カメラ、ワーク、視野平面、交差画像および合成画像の関係を示す模式図
【図６】第１実施形態による表示部の表示を示す模式図
【図７】第１実施形態によるロボットシステムにおけるデータグループを示す模式図
【図８】第１実施形態によるロボットシステムにおける処理の流れを示す概略図
【図９】第１実施形態によるロボットシステムにおけるデータ更新の処理の流れを示す概略図
【図１０】第２実施形態によるロボットシステムにおけるデータ更新の処理の流れを示す概略図
【図１１】第２実施形態によるロボットシステムにおけるデータグループを示す模式図
【図１２】第３実施形態によるロボットシステムにおけるデータ更新の処理の流れを示す概略図
【図１３】第３実施形態によるロボットシステムにおけるデータグループを示す模式図
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。なお、複数の実施形態において実質的に同一の構成部位には同一の符号を付し、説明を省略する。
（第１実施形態）
第１実施形態によるロボットシステムを図１および図２に示す。ロボットシステム１０は、ロボット１１、制御装置１２および通信手段としての通信部１３を備える。第１実施形態のロボット１１は、例えば対象物品であるワーク１４の組み付けが正しく行われているか否かなどを検査するための視覚検査に適用される。ロボット１１は、制御装置１２とは遠隔に配置された検査設備１５に設けられている。検査設備１５は、例えばトンネル状に形成され、下部に搬送部１６を有している。ワーク１４は、この搬送部１６によって検査設備１５の所定の位置へ運搬される。ワーク１４が所定の位置まで運搬されると、搬送部１６は停止する。これにより、ワーク１４は、ロボット１１によって外観の検査が行われる。ロボット１１は、検査設備１５の天側に設けられている。
【００１２】
ロボット１１は、例えば六軸の垂直多関節型のロボットとして構成されている。ロボット１１は、周知の通り、アーム１７を有している。アーム１７は、それぞれアクチュエータであるサーボモータ１８などからの駆動力で駆動される。アーム１７は、先端にエンドエフェクタとしてのカメラ１９を有している。サーボモータ１８からアーム１７のカメラ１９までの間には、図示しない減速機構やリンクなどの駆動力伝達機構が設けられている。これにより、先端にカメラ１９が設けられているアーム１７は、サーボモータ１８からの駆動力によって駆動される。
【００１３】
制御装置１２は、ロボットコントローラ２１および電子計算機であるパーソナルコンピュータ（以下、「パソコン」）２２で構成されている。ロボットコントローラ２１およびパソコン２２は、図１に示すように制御装置１２を構成している。制御装置１２を構成するロボットコントローラ２１とパソコン２２とは、図２に示すようにロボットコントローラ２１がロボット１１の近傍にあるように互いに離れて配置してもよく、一体的に構成して近接して配置してもよい。制御装置１２は、図１に示すように制御部２３を有している。制御部２３は、図示しないＣＰＵ、ＲＯＭおよびＲＡＭなどからなるマイクロコンピュータを主体として構成されている。制御部２３は、予め入力および記憶されたロボット制御プログラムに基づいてロボットコントローラ２１のサーボ制御部２４を経由してロボット１１の各軸のサーボモータ１８を駆動する。これにより、制御装置１２は、ロボット１１の動作を制御する。制御装置１２は、パソコン２２に接続されている入力部２５を有している。入力部２５は、例えばキーボード２６、マウス２７およびジョイスティック２８などの手動で入力される機器、ならびにＨＤＤやＤＶＤなどの磁気的あるいは光学的な入力機器２９などを有している。操作者３０は、プログラミングソフトをパソコン２２で実行することにより、アプリケーションに応じてロボット１１の動作手順などを記述したロボット制御プログラムを作成可能である。この場合、操作者３０は、アプリケーションに応じてパッケージ命令を組み合わせたり、修正を加えたりすることにより、比較的簡単にロボット制御プログラムを作成することができる。
【００１４】
通信部１３は、ロボット１１と制御装置１２との間を通信可能に接続している。本実施形態の場合、通信部１３は、図２に示すようにロボット１１とロボットコントローラ２１とを接続する第一ケーブル３１、およびロボットコントローラ２１とパソコン２２とを接続する第二ケーブル３２を有し、ロボット１１と制御装置１２との間を有線によって接続している。なお、通信部１３は、有線による通信に限らず、例えば無線による通信を採用してもよい。ロボット１１と制御装置１２との間を通信部１３によって接続することにより、ロボット１１の各軸を駆動するサーボモータ１８およびワーク１４を撮影するカメラ１９は、制御装置１２によって制御される。また、カメラ１９で撮影された画像は、通信部１３を経由して制御装置１２へ送信される。
【００１５】
制御装置１２のロボットコントローラ２１は、パソコン２２で実行される検査プログラムにしたがって、ロボット１１のアーム１７の移動を制御する。搬送部１６を流れるワーク１４は、検査設備１５の所定位置に停止すると、カメラ１９によって撮影される。ロボットコントローラ２１は、アーム１７を駆動してカメラ１９を予め設定された三次元的な位置や向きの異なる複数の目標点に移動させつつ撮影を実行する。ロボット１１に取り付けられたカメラ１９が駆動される目標点は、予めティーチングされ、位置データとしてロボットコントローラ２１またはパソコン２２に記憶されている。また、ティーチングの際には、ロボット１１の進入禁止領域もあわせて設定される。
【００１６】
カメラ１９は、例えばＣＣＤイメージセンサ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有しており、ワーク１４を撮影する。カメラ１９は、撮影した画像を画素ごとの電気信号として通信部１３を経由して制御装置１２へ出力する。カメラ１９は、例えば視野の大きさ、焦点あるいは絞りなどの撮影時の光学的な条件が自動で調整される。また、カメラ１９が撮影する画像の座標系であるカメラ座標系とロボット１１の位置の座標系であるロボット座標系とは、座標変換すなわちキャリブレーションによって互いに相関が設定されている。
【００１７】
制御装置１２は、上記に加え、図１に示すように平面画像データ作成部３３、記憶部３４、グループ特定部３５、画像合成部３６、表示部３７およびデータ更新部３８を備えている。これら平面画像データ作成部３３、グループ特定部３５、画像合成部３６およびデータ更新部３８は、制御部２３で実行されるコンピュータプログラムによってソフトウェア的に機能する構成でもよく、ハードウェアとして機能する構成でもよい。また、本実施形態では、平面画像データ作成部３３、記憶部３４、グループ特定部３５、画像合成部３６、表示部３７およびデータ更新部３８をパソコン２２に設ける例について説明しているが、機能の一部または全部をロボットコントローラ２１に設けてもよい。
【００１８】
平面画像データ作成部３３は、図３に示すような平面画像データ４０を作成する。平面画像データ４０は、カメラ１９で撮影した撮影画像の焦点座標４１を中心として、カメラ１９で撮影された撮影画像４２と、この撮影画像４２が撮影されたときの焦点座標４１を示す座標データ４３および撮影画像４２を撮影した向きを示す方向データ４４とを関連づけて作成される。平面画像データ作成部３３は、通信部１３を経由して画素ごとの電気信号から作成される撮影画像４２をカメラ１９から取得する。また、このとき、平面画像データ作成部３３は、ロボット１１またはロボットコントローラ２１からアーム１７の位置と相関するカメラ１９の焦点座標４１を座標データとして、およびアーム１７の角度に相関する撮影画像４２を撮影した向きを方向データとしてあわせて取得する。さらに、平面画像データ作成部３３は、撮影画像４２が撮影された時刻を時刻データ４５として取得する。なお、図３は、平面画像データ４０のデータ構造を模式的に示したものであり、実際の平面画像データ４０とは異なる。
【００１９】
記憶部３４は、例えば不揮発性メモリやＨＤＤなどを有している。記憶部３４は、平面画像データ作成部３３で作成された平面画像データ４０を記憶する。この場合、グループ特定部３５は、予め設定された設定範囲で近似する焦点座標を有する平面画像データ４０をグループ化して複数のデータグループとして記憶部３４へ記憶する。平面画像データ４０は、ロボット１１の可動領域の全体で取得される。そのため、グループ特定部３５は、取得された平面画像データ４０について、互いに焦点座標が近似するもの同士をグループ化して記憶部３４に記憶する。なお、記憶部３４は、制御部２３のＲＯＭやＲＡＭとともに構成してもよい。また、グループ特定部３５によるグループ化は、焦点座標が近似するもの同士をグループ化するだけでなく、カメラ１９で撮影する領域すなわち撮影対象となる空間を予め複数のグループ領域に分割し、そのグループ領域に含まれる焦点座標を有する平面画像データ４０を一つのグループとするようなグループ化を行ってもよい。
【００２０】
画像合成部３６は、記憶部３４に記憶されている平面画像データ４０から合成画像を作成する。具体的には、画像合成部３６は、記憶部３４に記憶されている複数の平面画像データ４０から選択平面画像データを選択する。選択平面画像データは、図４に示すようにカメラ１９で撮影している仮想的な視野平面５１を光軸延長方向へ移動させたときに、図５に示すようにこの視野平面５１に交差する交差画像５２、５３、５４の平面画像データである。すなわち、画像合成部３６は、記憶部３４に記憶されている複数の平面画像データから、視野平面５１に交差する交差画像５２、５３、５４の平面画像データを選択平面画像データとして選択する。そして、画像合成部３６は、選択した選択した選択平面画像データに基づく交差画像５２、５３、５４の焦点座標および交差画像５２、５３、５４を撮影した向きを交差画像５２、５３、５４が撮影されたときのまま、視野平面５１に投影する。画像合成部３６は、この視野平面５１に投影した画像を撮影したワーク１４の合成画像５５として作成する。画像合成部３６は、合成画像５５を作成するとともに、交差画像５２、５３、５４として選択平面画像データを選択した選択時刻を、選択した平面画像データに付与して記憶部３４に記憶する。表示部３７は、例えばパソコン２２と一体または別体の液晶ディスプレイなどである。表示部３７は、図６に示すようにカメラ１９で撮影された画像、あるいは画像合成部３６で作成された合成画像を表示画像３７１として表示する。
【００２１】
データ更新部３８は、記憶部３４に記憶された平面画像データ４０を更新しつつ記憶する。第１実施形態の場合、データ更新部３８は、記憶部３４に新たな平面画像データ４０を記憶する記憶領域が不足するとき、データグループのうち属する平面画像データの数が最も多い最多データグループから選択時刻が最も古い平面画像データを削除して、空いた記憶領域に新たな平面画像データ４０を記憶する。カメラ１９は刻々と新たな画像を撮影するため、撮影された画像は次々に制御装置１２へ送られる。一方、記憶部３４の記憶領域は有限であるため、すべての平面画像データ４０を記憶することはできない。そのため、データ更新部３８は、記憶部３４の記憶容量が不足するとき、最多データグループから選択時刻が最も古い平面画像データを削除する。
【００２２】
平面画像データ作成部３３で作成された平面画像データ４０は、その焦点座標４１に基づいてグループ特定部３５によって例えば図７に示すようにデータグループ６１、６２、６３のいずれかに特定され、記憶部３４に記憶される。複数のデータグループ６１、６２、６３のうち含まれる平面画像データが最多のものが最多データグループ６２となる。そのため、最多データグループ６２には、互いに焦点座標が近似する平面画像データ４０が多く含まれていると考えられる。この最多データグループ６２には、画像合成部３６で選択された選択時期が最も古い平面画像データ６５から最も新しい平面画像データ６６まで含まれる。このうち選択された選択時刻が最も古い平面画像データ６５は、最多データグループ６２の中でも最も利用頻度が低く、焦点座標４１が近似する他の平面画像データ４０で代用可能であると考えられる。すなわち、最多データグループ６２において最も選択時期の古い平面画像データ６５は、画像合成部３６における合成画像の作成への利用価値が低いと考えられる。そこで、データ更新部３８は、記憶部３４の記憶容量が不足するとき、最多データグループ６２から選択時刻が最も古い平面画像データ６５を削除し、記憶領域を確保する。データ更新部３８は、この確保した記憶領域に取得した新たな平面画像データ４０を記憶する。
【００２３】
次に、上記の構成によるロボットシステム１０の作動について図８に基づいて説明する。
ロボットシステム１０は、検査対象であるワーク１４の検査に先立って、ワーク１４の撮影位置を設定するティーチングが実施される。ティーチングは、パソコン２２で検査プログラムに含まれるティーチングプログラムを実行することにより実施される。操作者３０は、パソコン２２でティーチングプログラムを実行しつつ入力部２５のジョイスティック２８を操作することにより、ロボット１１のアーム１７に取り付けられたカメラ１９を所定の撮影位置に移動させる。この場合、カメラ１９は、数分の１または数十分の１秒ごとに画像を撮影する。そのため、カメラ１９で撮影された撮影画像は、制御装置１２の表示部３７に動画として表示される。
【００２４】
一方、カメラ１９の性能、通信部１３の通信速度、あるいは制御装置１２の性能などによって、カメラ１９で撮影している撮影画像と表示部３７に表示している画像との間には、時間的なずれが生じる。例えばカメラ１９を用いて焦点座標（ｘ１，ｙ１，ｚ１）で撮影しているにも関わらず、表示部３７には焦点座標（ｘ０，ｙ０，ｚ０）で撮影された画像が表示される場合がある。操作者３０は、表示部３７に表示されている画像を見ながらロボット１１を操作するため、このカメラ１９での撮影と表示部３７への表示との間に生じる時間的な差が拡大すると、入力部２５であるジョイスティック２８の操作と表示部３７に表示されている画像との齟齬が大きくなる。その結果、入力部２５であるジョイスティック２８への入力が過大となってロボット１１の動作にいわゆるオーバーシュートが生じたり、操作の違和感が増大する。そこで、第１実施形態では、図８に基づく処理によってカメラ１９で撮影した画像と表示部３７に表示される画像との差の低減を図っている。
【００２５】
ロボット１１のアーム１７、すなわちアーム１７に取り付けられたカメラ１９は、操作者３０による入力部２５の操作によって移動する（Ｓ１０１）。入力部２５からの入力は、制御装置１２のパソコン２２からロボットコントローラ２１を経由してロボット１１へ伝達される。ロボットコントローラ２１は、入力部２５からの入力に応じてサーボ制御部２４によってロボット１１のサーボモータ１８を駆動する。これにより、ロボット１１のアーム１７は、サーボモータ１８によって入力部２５からの入力に対応する位置へ移動する。その結果、アーム１７に取り付けられたカメラ１９も、入力に対応する撮影位置へ移動する。
【００２６】
カメラ１９は、アーム１７とともに移動しながら例えば数十分の１秒ごとなど所定の時間間隔でワーク１４を撮影する（Ｓ１０２）。このとき、カメラ１９はワーク１４を撮影した撮影画像とともに、撮影画像の焦点座標および撮影した向きを取得する（Ｓ１０３）。カメラ１９は、例えばロボットコントローラ２１などから撮影画像の焦点座標および撮影した向きを取得する。カメラ１９は、所定の時間間隔でワーク１４が撮影されるごとに、撮影画像の焦点座標および撮影した向きを取得する。
【００２７】
取得された撮影画像ならびにこの撮影画像の焦点位置および撮影した向きは、通信部１３を経由して制御装置１２へ転送される（Ｓ１０４）。平面画像データ作成部３３は、カメラ１９から通信部１３を経由して撮影画像ならびにこの撮影画像の焦点座標および撮影した向きを取得して、平面画像データ４０を作成する。平面画像データ作成部３３は、図３に示すように焦点座標４１を中心として、撮影画像４２と、この撮影画像４２の焦点座標である座標データ４３および撮影画像４２を撮影した向きである方向データ４４とを関連づけて平面画像データ４０を作成する。また、このとき、平面画像データ作成部３３は、撮影画像４２を撮影した時刻を時刻データとして平面画像データ４０に加える。平面画像データ４０が作成されると、画像合成部３６は上記の撮影画像４２が所定の時間内に制御装置１２で取得されたか否かを判断する（Ｓ１０５）。すなわち、画像合成部３６は、カメラ１９でワーク１４を撮影してから所定の時間内に、撮影されたワーク１４の撮影画像４２が制御装置１２へ転送されたか否かを判断する。
【００２８】
ワーク１４を撮影した撮影画像がカメラ１９での撮影から所定の時間内に制御装置１２へ転送されると、カメラ１９で撮影しているワーク１４の撮影画像と表示部３７に表示されている画像との間に生じる差は小さい。すなわち、カメラ１９で撮影している撮影画像と表示部３７に表示している画像との間の差は、操作者３０が認識できない程度に小さくなる。この場合、上述のようなカメラ１９が取り付けられたアーム１７のオーバーシュートや操作の違和感はほとんど生じない。そのため、画像合成部３６は、カメラ１９で撮影した撮影画像のデータが撮影から所定の時間内に制御装置１２で取得されたとき（Ｓ１０５：Ｙｅｓ）、カメラ１９で撮影し制御装置１２へ転送された撮影画像をそのまま表示部３７に表示する（Ｓ１０６）。このとき、オーバーシュートや違和感を生じさせないための時間差は、例えば数ミリ秒以下程度である。平面画像データ４０を構成するデータのうち、座標データ４３、方向データ４４および時刻データ４５はテキストデータであるのに対し、撮影画像４２は画像データである。そのため、座標データ４３、方向データ４４および時刻データ４５は、撮影画像４２に比較して短時間でカメラ１９から制御装置１２へ転送される。これにより、画像合成部３６は、例えばカメラ１９から転送された時刻データ４５などに基づいて、カメラ１９における画像の撮影から撮影画像４２に係るデータの転送までの時間を取得する。
【００２９】
一方、ワーク１４を撮影した撮影画像がカメラ１９での撮影から所定の時間内に制御装置１２で取得されないと、カメラ１９で撮影しているワーク１４の撮影画像と表示部３７に表示されている画像との間にはオーバーシュートや違和感を生じさせる差が生じる。そのため、画像合成部３６は、カメラ１９で撮影した撮影画像のデータが撮影から所定の時間内に制御装置１２で取得されないとき（Ｓ１０５：Ｎｏ）、撮影画像の焦点座標４１および撮影の向きに基づいて合成画像を作成する（Ｓ１０７）。
【００３０】
上述のようにカメラ１９での撮影画像の撮影から表示部３７での撮影画像の表示までの時間に差が大きくなると、カメラ１９の操作においてオーバーシュートなどの操作不良が生じやすくなる。そのため、画像合成部３６は、撮影画像のデータがカメラ１９での撮影から所定の時間内に制御装置１２で取得されないとき、記憶部３４に既に記憶している平面画像データを利用してカメラ１９で撮影した撮影画像に対応する仮想的な合成画像を作成する。この場合、合成画像は、カメラ１９で撮影した撮影画像と完全に一致する必要はなく、あくまでの入力部２５からの入力によるカメラ１９の操作においてオーバーシュートなどの操作不良が生じない程度の仮想的なものであればよい。
【００３１】
具体的には、画像合成部３６は次の手順で合成画像を作成する。画像合成部３６は、図４に示すようにカメラ１９で撮影している視野平面５１を光軸延長方向へ移動させる。ここでカメラ１９で撮影している視野平面５１は、Ｓ１０４においてカメラ１９から制御装置１２へ転送される撮影画像４２の視野平面５１に対応する。画像合成部３６は、記憶部３４に記憶されている複数の平面画像データ４０から、図５に示すようにこの視野平面５１に交差する交差画像５２、５３、５４の平面画像データを選択平面画像データとして選択する。すなわち、画像合成部３６は、カメラ１９の視野平面５１に交差する交差画像５２、５３、５４を選択し、この交差画像５２、５３、５４の平面画像データを選択平面画像データとして設定する。そして、画像合成部３６は、この選択された選択平面画像データに含まれている交差画像５２、５３、５４の焦点座標に関する座標データおよび撮影した向きに関する方向データを取得する。ここで、交差画像５２、５３、５４は、記憶部３４に記憶されている撮影画像の平面画像データ４０に基づいて選択される。そのため、選択された交差画像５２、５３、５４に対応する平面画像データは、過去に撮影された際に取得された焦点座標データおよび方向データを含んでいる。画像合成部３６は、取得した交差画像５２、５３、５４を、この交差画像５２、５３、５４が撮影されたときのまま視野平面５１に投影して合成画像５５を作成する。これにより、Ｓ１０２においてカメラ１９で撮影された撮影画像と近似する合成画像５５が擬似的に作成される。また、画像合成部３６は、選択した交差画像５２、５３、５４に対応する選択平面画像データに、図３に示すように選択した選択時刻を選択時刻データ４６として付与して記憶部３４に記憶させる。
【００３２】
画像合成部３６において合成画像５５が作成されると、表示部３７は作成された合成画像５５を表示する（Ｓ１０８）。これにより、操作者３０は、表示部３７に表示されているＳ１０２において撮影した撮影画像に対応する合成画像５５を参照して入力部２５を操作する。表示部３７に表示されている合成画像５５は、上述のようにＳ１０２において撮影したワーク１４の撮影画像を擬似的に表現している。そのため、Ｓ１０８において表示部３７に表示されている画像は、少なくともワーク１４を撮影した位置すなわち焦点座標および撮影した向きが近似する。その結果、Ｓ１０２においてカメラ１９で実際に撮影している撮影画像とＳ１０８において表示部３７に表示している合成画像とは、厳密には異なるものの、撮影した焦点座標および向きが近似する。すなわち、カメラ１９で撮影した動画にいわゆるコマ落ちが生じる場合、画像合成部３６はコマ落ちしたコマに対応する擬似的な画像を作成して挿入する。したがって、カメラ１９を操作する操作者３０は、表示部３７に表示されている画像から時間的な差による違和感を受けることなく入力部２５の操作が可能となる。
【００３３】
グループ特定部３５は、撮影した画像すなわち撮影画像４２のグループを特定する（Ｓ１０９）。カメラ１９での画像の撮影から表示部３７での表示までに時間的な差がある場合でも、制御装置１２はいずれかの時期にＳ１０２においてカメラ１９で撮影した撮影画像をカメラ１９から受信する。グループ特定部３５は、このようにカメラ１９から受け取った撮影画像に対応する平面画像データ４０をグループ分けする。具体的には、グループ特定部３５は、予め設定された設定範囲で近似する焦点座標４１を有する平面画像データ４０をグループ化する。グループ特定部３５は、図７に示すようにグループ化した平面画像データ４０を複数のデータグループ６１、６２、６３として記憶する。平面画像データ４０は、ロボット１１の可動領域の全体で取得される。そのため、グループ特定部３５は、取得された平面画像データ４０について、互いに焦点座標が近似するもの同士をグループ化する。グループ特定部３５は、Ｓ１０２において撮影した撮影画像についてカメラ１９から取得するごとにグループを特定し、いずれかのデータグループ６１、６２、６３に分類して記憶部３４に記憶する。
【００３４】
撮影画像のグループが特定されると、データ更新部３８は、記憶部３４の記憶領域に、Ｓ１０２において撮影しＳ１０９においてグループを特定した撮影画像の平面画像データを記憶可能であるか否かを判断する（Ｓ１１０）。上述のように記憶部３４の記憶領域は有限である。そのため、カメラ１９で撮影された撮影画像４２を含む平面画像データ４０の記憶を繰り返すと、記憶部３４の記憶領域はいずれかの時期に飽和する。そのため、データ更新部３８は、カメラ１９から撮影画像の平面画像データ４０を取得するごとに、記憶部３４にこの平面画像データ４０を記憶可能な記憶領域が残存しているか否かを判断する。データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していると判断すると（Ｓ１１０：Ｙｅｓ）、Ｓ１０２において撮影しＳ１０９においてグループが特定された撮影画像の平面画像データ４０を記憶部３４の空いている記憶領域に記憶する。
【００３５】
一方、データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していないと判断すると（Ｓ１１０：Ｎｏ）、図９に基づいて処理を実行する。すなわち、データ更新部３８は、記憶部３４の複数のデータグループ６１、６２、６３から最多データグループ６２を選択し、選択時刻が最古の平面画像データ６５を削除する（Ｓ２０１）。具体的には、次の通りである。Ｓ１０９で説明したように、カメラ１９で撮影された平面画像データ４０は、グループ特定部３５において互いに焦点座標４１が近似するもの同士がグループ化される。そこで、データ更新部３８は、記憶部３４に記憶されている平面画像データ４０のデータグループ６１、６２、６３から、含まれる平面画像データ４０の数が最多となる最多データグループ６２を選択する。焦点座標４１に応じて複数のデータグループ６１、６２、６３が設定されているため、このうちのいずれかは最多データグループ６２となる。
【００３６】
データ更新部３８は、選択した最多データグループ６２に含まれる平面画像データ４０のうち選択時刻が最も古い平面画像データ６５を抽出する。最多データグループ６２をはじめとする各データグループ６１、６３は、複数の平面画像データ４０を含んでいる。選択時刻は、選択時刻データ４６として平面画像データ４０に含まれている。そこで、データ更新部３８は、最多データグループ６２に含まれる複数の平面画像データ４０から、Ｓ１０７における合成画像５５の作成において選択平面画像データとして選択された時刻が最も古い平面画像データ６５を抽出する。データ更新部３８は、抽出した選択時刻が最も古い平面画像データ６５を記憶部３４の記憶領域から削除する。この場合、削除とは、該当する記憶領域に例えば「０データ」を書き込んで平面画像データ４０そのものを削除すること、および単に該当する記憶領域を上書き可能とすることなどを含む。上述のように、最多データグループ６２に含まれる平面画像データ４０のうち選択時刻が最も古い平面画像データ６５は、最多データグループ６２に含まれる他の平面画像データで代用可能であり、削除しても合成画像５５の作成に与える影響が小さいと考えられる。そのため、データ更新部３８は、記憶部３４に残存する新たな記憶領域が不足するとき、最多データグループ６２に含まれる複数の平面画像データ４０のうち選択時刻が最も古い平面画像データ６５を削除する。
【００３７】
データ更新部３８は、最多データグループ６２に含まれる選択時刻が最も古い平面画像データ６５を削除することにより、記憶部３４の空いた記憶領域にＳ１０２において撮影した画像の平面画像データ４０を記憶する（Ｓ２０２）。これにより、Ｓ１０２において撮影され、Ｓ１０９においてグループが特定された平面画像データ４０は、記憶部３４の記憶領域に記憶される。Ｓ２０２において平面画像データ４０が記憶部３４に記憶されると、Ｓ１０１へリターンし上記の処理が繰り返される。
【００３８】
以上説明した第１実施形態では、画像合成部３６は、グループ化された複数のデータグループ６１、６２、６３として記憶部３４に記憶されている平面画像データ４０に基づいて合成画像５５を作成する。ロボット１１に搭載されたカメラ１９の位置を微調整する場合、その直前に少なくとも一枚はワーク１４を含む画像が撮影されている。画像合成部３６は、このワーク１４を含む撮影画像を用いて、現在カメラ１９で撮影している画像に近似する合成画像５５を作成する。そのため、現在カメラ１９で撮影している画像が表示部３７に表示できないとき、すなわちカメラ１９、制御装置１２あるいは通信部１３の能力によって撮影している画像と表示している画像との間に時間差が生じるときでも、操作者３０はカメラ１９で現在撮影した画像に対応して表示部３７に表示されている合成画像５５を参照してロボット１１の操作が可能となる。その結果、例えば入力部２５に対する過剰入力など、ロボット１１の操作の違和感が低減される。したがって、カメラ１９、制御装置１２および通信部１３の能力に依存することなく、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００３９】
また、第１実施形態では、データ更新部３８は、記憶部３４に新たな平面画像データ４０を記憶するための記憶領域が不足するとき、記憶部３４に複数記憶されているデータグループ６１、６２、６３のうち属する平面画像データ４０の数が最も多い最多データグループ６２を選択する。そして、データ更新部３８は、この最多データグループ６２から合成画像５５の作成のために選択された選択時刻が最も古い平面画像データ６５を抽出して、これを削除する。最多データグループ６２は、焦点座標４１が近似、および撮影方向が近似する平面画像データ４０、すなわち類似の画像を多く含んでいる可能性が高い。そして、その中でも最も選択時刻が古い、すなわち選択頻度が最も低い平面画像データ４０が削除される。つまり、合成画像５５の作成に対する寄与度が低い平面画像データ４０が削除され、Ｓ１０２で撮影された画像に対応する新たな平面画像データ４０が追加される。これにより、記憶部３４の記憶領域を増大させなくても、ロボット１１の操作に必要な合成画像５５の基となる平面画像データ４０が確保される。また、上述の条件に基づいて平面画像データ４０を削除することにより、合成画像５５の作成に対する寄与度が低い平面画像データ４０が減少し、合成画像５５の作成のために所望の平面画像データ４０を選択する時間は短縮される。さらに、合成画像５５の作成に対する寄与度の低い平面画像データ４０を削除することにより、カメラ１９の操作中に合成画像５５が不意に消えることもない。したがって、迅速に作成される合成画像５５によって撮影画像を代用することができ、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００４０】
（第２実施形態）
第２実施形態によるロボットシステムについて説明する。第２実施形態によるロボットシステム１０は、構成が第１実施形態と同一であるものの、データ更新部３８における処理の流れが第１実施形態と異なる。したがって、図１０に基づいて第２実施形態のデータ更新部３８における処理の流れについて説明する。
図１０に示すロボットシステム１０の作動におけるＳ１０１からＳ１１１までの処理は、第１実施形態と同様である。データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していないと判断すると（Ｓ１１０：Ｎｏ）、特定データグループを選択し、この特定データグループの焦点座標の平均値に最も近い平面画像データを削除する（Ｓ３０１）。具体的には、次の通りである。Ｓ１０９で説明したように、カメラ１９で撮影された平面画像データ４０は、グループ特定部３５において互いに焦点座標が近似するもの同士がグループ化される。そこで、データ更新部３８は、図１１に示すように記憶部３４に記憶されている平面画像データ４０のデータグループ７１、７２、７３から、Ｓ１０２において撮影されＳ１０９においてグループが特定された最新の平面画像データ４０ａが属するデータグループ７２を特定データグループ７２として選択する。
【００４１】
データ更新部３８は、選択した特定データグループ７２に含まれる平面画像データ４０から、焦点座標４１がこの特定データグループ７２に含まれる全ての平面画像データ４０の焦点座標の平均値に最も近い平面画像データ７４を抽出する。そして、データ更新部３８は、特定データグループ７２から焦点座標が平均値に最も近い抽出した平面画像データ７４を削除する。特定データグループ７２に複数含まれる平面画像データ４０は、焦点座標の平均値付近により多く分布していると考えられる。そのため、焦点座標の平均値に最も近い平面画像データ７４は、他の平面画像データ４０によって代用可能であると考えられる。そこで、データ更新部３８は、特定データグループ７２に含まれる複数の平面画像データ４０から焦点座標がその特定データグループ７２の平均値に最も近い平面画像データ７４を削除する。
【００４２】
データ更新部３８は、特定データグループ７２の焦点座標の平均値に最も近い平面画像データ７４を削除することにより、記憶部３４の空いた記憶領域にＳ１０２において撮影した最新の平面画像データ４０ａを記憶する（Ｓ３０２）。これにより、Ｓ１０２において撮影され、Ｓ１０９においてグループが特定された最新の平面画像データ４０ａは、記憶部３４の記憶領域に記憶される。Ｓ３０２において平面画像データ４０が記憶部３４に記憶されると、Ｓ１０１へリターンし上記の処理が繰り返される。
【００４３】
以上説明した第２実施形態では、データ更新部３８は、記憶部３４に最新の平面画像データ４０ａを記憶するための記憶領域が不足するとき、記憶部３４に複数記憶されているデータグループ７１、７２、７３のうち最新の平面画像データ４０ａが属する特定データグループ７２を選択する。そして、データ更新部３８は、特定データグループ７２に属する全ての平面画像データ４０における焦点座標の平均値に焦点座標が最も近い平面画像データ７４を削除する。特定データグループ７２の焦点座標の平均値に近い範囲には、焦点座標が近似した多くの平面画像データ４０が存在している可能性が高い。そのため、焦点座標が特定データグループ７２における平均値に最も近い平面画像データ７４は、焦点座標が近い他の平面画像データ４０によって代用可能と考えられる。すなわち、記憶部３４の記憶領域には、合成画像５５の作成に対する影響が小さい平面画像データ７４が削除され、最新の平面画像データ４０ａが追加される。これにより、記憶部３４の記憶領域を増大させなくても、ロボット１１の操作に必要な合成画像５５の基となる平面画像データ４０が確保される。また、合成画像５５の作成への影響が小さい平面画像データ７４を削除することにより、合成画像５５の作成に与える影響が小さい平面画像データ４０が減少し、合成画像５５の作成のために所望の平面画像データ４０を選択する時間は短縮される。さらに、合成画像５５の作成に対する寄与度の低い平面画像データ７４を削除することにより、カメラ１９の操作中に合成画像５５が不意に消えることもない。したがって、迅速に作成される合成画像５５によって撮影画像を代用することができ、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００４４】
（第３実施形態）
第３実施形態によるロボットシステムについて説明する。第３実施形態によるロボットシステム１０は、構成が第１実施形態と同一であるものの、データ更新部３８における処理の流れが第１実施形態と異なる。したがって、図１２に基づいて第３実施形態のデータ更新部３８における処理の流れについて説明する。
図１０に示すロボットシステム１０の作動におけるＳ１０１からＳ１１１までの処理は、第１実施形態と同様である。データ更新部３８は、Ｓ１１０において記憶部３４に記憶領域が残存していないと判断すると（Ｓ１１０：Ｎｏ）、特定データグループを選択し、この特定データグループのうち最も古い平面画像データを削除する（Ｓ４０１）。具体的には、次の通りである。Ｓ１０９で説明したように、カメラ１９で撮影された平面画像データ４０は、グループ特定部３５において互いに焦点座標が近似するもの同士がグループ化される。そこで、データ更新部３８は、図１３に示すように記憶部３４に記憶されている平面画像データ４０のデータグループ８１、８２、８３から、Ｓ１０２において撮影されＳ１０９においてグループが特定された最新の平面画像データ４０ｂが属するデータグループ８２を特定データグループ８２として選択する。
【００４５】
データ更新部３８は、選択した特定データグループ８２に含まれる平面画像データ４０から、撮影時刻が最も古い最古の平面画像データ８４を抽出する。そして、データ更新部３８は、特定データグループ８２から撮影時刻が最も古い平面画像データ８４を削除する。特定データグループ８２に複数含まれる平面画像データ４０は、古いものほどカメラ１９によるその後の画像の撮影によって近い位置で撮影が繰り返されている可能性が高い。そのため、撮影時刻の最も古い平面画像データ８４は、他の平面画像データ４０によって代用可能であると考えられる。そこで、データ更新部３８は、特定データグループ８２に含まれる複数の平面画像データ４０から撮影時刻が最も古い平面画像データ８４を削除する。
【００４６】
データ更新部３８は、特定データグループ８２に含まれる撮影時刻が最も古い平面画像データ８４を削除することにより、記憶部３４の空いた記憶領域にＳ１０２において撮影した最新の画像の平面画像データ４０ｂを記憶する（Ｓ４０２）。これにより、Ｓ１０２において撮影され、Ｓ１０９においてグループが特定された最新の平面画像データ４０ｂは、記憶部３４の記憶領域に記憶される。Ｓ４０２において平面画像データ４０が記憶部３４に記憶されると、Ｓ１０１へリターンし上記の処理が繰り返される。
【００４７】
第３実施形態では、データ更新部３８は、記憶部３４に最新の平面画像データ４０ｂを記憶するための記憶領域が不足するとき、記憶部３４に複数記憶されているデータグループ８１、８２、８３のうち最新の平面画像データ４０ｂが属する特定データグループ８２を選択する。そして、データ更新部３８は、特定データグループ８２に平面画像データ４０のうち撮影時刻が最も古い平面画像データ８４を削除する。撮影時刻が最も古い平面画像データ８４は、その後の画像の撮影によって近い位置で平面画像データ４０が取得されている可能性が高い。そのため、特定データグループ８２において最も古い平面画像データ８４は、その後に撮影された平面画像データ４０によって代用可能と考えられる。すなわち、記憶部３４では、合成画像５５の作成に対する影響が小さい平面画像データ８４が削除され、最新の平面画像データ４０ｂが追加される。これにより、記憶部３４の記憶領域を増大させなくても、ロボット１１の操作に必要な合成画像５５の基となる平面画像データ４０が確保される。また、合成画像５５の作成への影響が小さい平面画像データ８４を削除することにより、合成画像５５の作成に与える影響が小さい平面画像データ４０が減少し、合成画像５５の作成のために所望の平面画像データ４０を選択する時間は短縮される。さらに、合成画像５５の作成に対する寄与度の低い平面画像データ８４を削除することにより、カメラ１９の操作中に合成画像５５が不意に消えることもない。したがって、迅速に作成される合成画像５５によって撮影画像を代用することができ、ロボット１１に搭載されたカメラ１９の正確な位置合わせを容易に行うことができる。
【００４８】
以上説明した本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。
【符号の説明】
【００４９】
１０はロボットシステム、１１はロボット、１２は制御装置、１３は通信部（通信手段）、１７はアーム、１９はカメラ、２１はロボットコントローラ（制御装置）、２２はパソコン（制御装置）、３３は平面画像データ作成部（平面画像データ作成手段）、３４は記憶部（記憶手段）、３６は画像合成部（画像合成手段）、３７は表示部（表示手段）、３８はデータ更新部（データ更新手段）を示す。
【特許請求の範囲】
【請求項１】
アームの先端にカメラを有するロボットと、通信手段を経由して前記ロボットと遠隔に配置された制御装置と、を備えるロボットシステムであって、
前記制御装置は、
前記カメラで撮影された撮影画像、ならびに前記撮影画像が撮影されたときの前記撮影画像の焦点座標および前記撮影画像を撮影した向きを関連づけて前記焦点座標を中心とする平面画像データを作成する平面画像データ作成手段と、
前記平面画像データ作成手段で作成された平面画像データから、予め設定された設定範囲で近似する前記焦点座標を有する複数の前記平面画像データをグループ化して複数のデータグループとして記憶する記憶手段と、
前記記憶手段に記憶された前記平面画像データから前記カメラで撮影している視野平面を光軸延長方向へ移動させたときに前記視野平面に交差する交差画像の平面画像データを選択平面画像データとして選択し、選択された前記選択平面画像データに基づく前記交差画像の焦点座標および前記交差画像を撮影した向きを前記交差画像が撮影されたときのまま前記視野平面に投影して合成画像を作成するとともに、前記選択平面画像データが選択された選択時刻を付与して前記記憶手段に記憶する画像合成手段と、
前記合成手段で合成された前記合成画像を表示する表示手段と、
前記記憶手段に新たな平面画像データを記憶する記憶領域が不足するとき、前記記憶手段に複数記憶されている前記データグループのうち属する前記平面画像データの数が多い最多データグループから前記選択時刻が最も古い平面画像データを削除して、空いた記憶領域に前記新たな平面画像データを記憶するデータ更新手段と、
を備えることを特徴とするロボットシステム。
【請求項２】
アームの先端にカメラを有するロボットと、通信手段を経由して前記ロボットと遠隔に配置された制御装置と、を備えるロボットシステムであって、
前記制御装置は、
前記カメラで撮影された撮影画像、ならびに前記撮影画像が撮影されたときの前記撮影画像の焦点座標および前記撮影画像を撮影した向きを関連づけて前記焦点座標を中心とする平面画像データを作成する平面画像データ作成手段と、
前記平面画像データ作成手段で作成された平面画像データから、予め設定された設定範囲で近似する前記焦点座標を有する複数の前記平面画像データをグループ化して複数のデータグループとして記憶する記憶手段と、
前記記憶手段に記憶された前記平面画像データから前記カメラで撮影している視野平面を光軸延長方向へ移動させたときに前記視野平面に交差する交差画像の平面画像データを選択平面画像データとして選択し、選択された前記選択平面画像データに基づく前記交差画像の焦点座標および前記交差画像を撮影した向きを前記交差画像が撮影されたときのまま前記視野平面に投影して合成画像を作成するとともに、前記選択平面画像データが選択された選択時刻を付与して前記記憶手段に記憶する画像合成手段と、
前記合成手段で合成された前記合成画像を表示する表示手段と、
前記記憶手段に新たな平面画像データを記憶する記憶領域が不足するとき、前記記憶手段に複数記憶されている前記データグループのうち前記新たな平面画像データが属する特定データグループを選択し、焦点座標が前記特定データグループに属する全ての平面画像データにおける焦点座標の平均値に最も近い平面画像データを削除し、空いた記憶領域に前記新たな平面画像データを記憶するデータ更新手段と、
を備えることを特徴とするロボットシステム。
【請求項３】
アームの先端にカメラを有するロボットと、通信手段を経由して前記ロボットと遠隔に配置された制御装置と、を備えるロボットシステムであって、
前記制御装置は、
前記カメラで撮影された撮影画像、ならびに前記撮影画像が撮影されたときの前記撮影画像の焦点座標および前記撮影画像を撮影した向きを関連づけて前記焦点座標を中心とする平面画像データを作成する平面画像データ作成手段と、
前記平面画像データ作成手段で作成された平面画像データから、予め設定された設定範囲で近似する前記焦点座標を有する複数の前記平面画像データをグループ化して複数のデータグループとして記憶する記憶手段と、
前記記憶手段に記憶された前記平面画像データから前記カメラで撮影している視野平面を光軸延長方向へ移動させたときに前記視野平面に交差する交差画像の平面画像データを選択平面画像データとして選択し、選択された前記選択平面画像データに基づく前記交差画像の焦点座標および前記交差画像を撮影した向きを前記交差画像が撮影されたときのまま前記視野平面に投影して合成画像を作成するとともに、前記選択平面画像データが選択された選択時刻を付与して前記記憶手段に記憶する画像合成手段と、
前記合成手段で合成された前記合成画像を表示する表示手段と、
前記記憶手段に新たな平面画像データを記憶する記憶する領域が不足するとき、前記記憶手段に複数記憶されている前記データグループのうち前記新たな平面画像データが属する特定データグループを選択し、撮影時刻が前記特定データグループに属する全ての平面画像データのうち最も古い平面画像データを削除し、空いた記憶領域に前記新たな平面画像データを記憶するデータ交信手段と、
を備えることを特徴とするロボットシステム。
【請求項１】
アームの先端にカメラを有するロボットと、通信手段を経由して前記ロボットと遠隔に配置された制御装置と、を備えるロボットシステムであって、
前記制御装置は、
前記カメラで撮影された撮影画像、ならびに前記撮影画像が撮影されたときの前記撮影画像の焦点座標および前記撮影画像を撮影した向きを関連づけて前記焦点座標を中心とする平面画像データを作成する平面画像データ作成手段と、
前記平面画像データ作成手段で作成された平面画像データから、予め設定された設定範囲で近似する前記焦点座標を有する複数の前記平面画像データをグループ化して複数のデータグループとして記憶する記憶手段と、
前記記憶手段に記憶された前記平面画像データから前記カメラで撮影している視野平面を光軸延長方向へ移動させたときに前記視野平面に交差する交差画像の平面画像データを選択平面画像データとして選択し、選択された前記選択平面画像データに基づく前記交差画像の焦点座標および前記交差画像を撮影した向きを前記交差画像が撮影されたときのまま前記視野平面に投影して合成画像を作成するとともに、前記選択平面画像データが選択された選択時刻を付与して前記記憶手段に記憶する画像合成手段と、
前記合成手段で合成された前記合成画像を表示する表示手段と、
前記記憶手段に新たな平面画像データを記憶する記憶領域が不足するとき、前記記憶手段に複数記憶されている前記データグループのうち属する前記平面画像データの数が多い最多データグループから前記選択時刻が最も古い平面画像データを削除して、空いた記憶領域に前記新たな平面画像データを記憶するデータ更新手段と、
を備えることを特徴とするロボットシステム。
【請求項２】
アームの先端にカメラを有するロボットと、通信手段を経由して前記ロボットと遠隔に配置された制御装置と、を備えるロボットシステムであって、
前記制御装置は、
前記カメラで撮影された撮影画像、ならびに前記撮影画像が撮影されたときの前記撮影画像の焦点座標および前記撮影画像を撮影した向きを関連づけて前記焦点座標を中心とする平面画像データを作成する平面画像データ作成手段と、
前記平面画像データ作成手段で作成された平面画像データから、予め設定された設定範囲で近似する前記焦点座標を有する複数の前記平面画像データをグループ化して複数のデータグループとして記憶する記憶手段と、
前記記憶手段に記憶された前記平面画像データから前記カメラで撮影している視野平面を光軸延長方向へ移動させたときに前記視野平面に交差する交差画像の平面画像データを選択平面画像データとして選択し、選択された前記選択平面画像データに基づく前記交差画像の焦点座標および前記交差画像を撮影した向きを前記交差画像が撮影されたときのまま前記視野平面に投影して合成画像を作成するとともに、前記選択平面画像データが選択された選択時刻を付与して前記記憶手段に記憶する画像合成手段と、
前記合成手段で合成された前記合成画像を表示する表示手段と、
前記記憶手段に新たな平面画像データを記憶する記憶領域が不足するとき、前記記憶手段に複数記憶されている前記データグループのうち前記新たな平面画像データが属する特定データグループを選択し、焦点座標が前記特定データグループに属する全ての平面画像データにおける焦点座標の平均値に最も近い平面画像データを削除し、空いた記憶領域に前記新たな平面画像データを記憶するデータ更新手段と、
を備えることを特徴とするロボットシステム。
【請求項３】
アームの先端にカメラを有するロボットと、通信手段を経由して前記ロボットと遠隔に配置された制御装置と、を備えるロボットシステムであって、
前記制御装置は、
前記カメラで撮影された撮影画像、ならびに前記撮影画像が撮影されたときの前記撮影画像の焦点座標および前記撮影画像を撮影した向きを関連づけて前記焦点座標を中心とする平面画像データを作成する平面画像データ作成手段と、
前記平面画像データ作成手段で作成された平面画像データから、予め設定された設定範囲で近似する前記焦点座標を有する複数の前記平面画像データをグループ化して複数のデータグループとして記憶する記憶手段と、
前記記憶手段に記憶された前記平面画像データから前記カメラで撮影している視野平面を光軸延長方向へ移動させたときに前記視野平面に交差する交差画像の平面画像データを選択平面画像データとして選択し、選択された前記選択平面画像データに基づく前記交差画像の焦点座標および前記交差画像を撮影した向きを前記交差画像が撮影されたときのまま前記視野平面に投影して合成画像を作成するとともに、前記選択平面画像データが選択された選択時刻を付与して前記記憶手段に記憶する画像合成手段と、
前記合成手段で合成された前記合成画像を表示する表示手段と、
前記記憶手段に新たな平面画像データを記憶する記憶する領域が不足するとき、前記記憶手段に複数記憶されている前記データグループのうち前記新たな平面画像データが属する特定データグループを選択し、撮影時刻が前記特定データグループに属する全ての平面画像データのうち最も古い平面画像データを削除し、空いた記憶領域に前記新たな平面画像データを記憶するデータ交信手段と、
を備えることを特徴とするロボットシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２１４４７９（Ｐ２０１０−２１４４７９Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６１０９２（Ｐ２００９−６１０９２）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（５０１４２８５４５）株式会社デンソーウェーブ (1,155)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（５０１４２８５４５）株式会社デンソーウェーブ (1,155)
【Ｆターム（参考）】
[ Back to top ]