追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラム
【課題】リアルタイム性を確保し且つ安定性の高いトラッキングを行う。
【解決手段】ホモグラフィー行列取得装置３０は、撮像装置１１が出力する画像データを取り込む。ホモグラフィー行列取得装置３０は、画像データごとに局所的ホモグラフィー行列を計算し、また、その計算レートよりも低いレートで、大域的ホモグラフィー行列を計算する。ホモグラフィー行列取得装置３０は、画像データごとに、局所的ホモグラフィー行列を用いて画像データを変換し、参照画像との相関を求める。相関が高い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列が読み出されるように制御する一方、相関が低い場合は、最新の大域的ホモグラフィー行列が読み出されるように制御する。ロボット制御装置４５は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを読み込んでロボット本体１２の姿勢を計算し動作を制御する。
【解決手段】ホモグラフィー行列取得装置３０は、撮像装置１１が出力する画像データを取り込む。ホモグラフィー行列取得装置３０は、画像データごとに局所的ホモグラフィー行列を計算し、また、その計算レートよりも低いレートで、大域的ホモグラフィー行列を計算する。ホモグラフィー行列取得装置３０は、画像データごとに、局所的ホモグラフィー行列を用いて画像データを変換し、参照画像との相関を求める。相関が高い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列が読み出されるように制御する一方、相関が低い場合は、最新の大域的ホモグラフィー行列が読み出されるように制御する。ロボット制御装置４５は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを読み込んでロボット本体１２の姿勢を計算し動作を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラムに関する。
【背景技術】
【０００２】
従来、ハンド部に撮像装置を取り付けたマニピュレーターを制御し、撮像装置の位置および向きを自在に動かして検査対象物体を撮像し、その撮像画像に基づいて外観検査を行う検査システムが知られている（例えば、特許文献１参照）。この特許文献１には、ロボットのアームに取り付けられたカメラがあらかじめ検査対象物体を撮影して得た参照画像を記憶しておき、当該ロボットが、実際の検査対象物体の撮像画像と参照画像とに基づく視覚フィードバック制御に基づいて、アームの姿勢を制御し検査対象物体を追跡する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０２３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来の検査システムにおいては、トラッキングのリアルタイム性と安定性とはトレードオフの関係にある。すなわち、トラッキングの処理速度を速くしてリアルタイム性を確保しようとすると、検査対象物体の誤検出数が多くなる一方、トラッキングの処理時間に余裕をもたせると、検査対象物体の誤検出数は少なくなる。
【０００５】
そこで、本発明は、上記事情に鑑みてなされたものであり、リアルタイム性を確保し且つ安定性の高いトラッキングを行うことのできる、追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラム、を提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である追跡ロボット装置は、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部と、前記検査対象物体の参照画像データを記憶する参照画像記憶部と、前記撮像部が出力した画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、を備えることを特徴とする。
［２］上記［１］記載の追跡ロボット装置において、前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求めることを特徴とする。
［３］上記［２］記載の追跡ロボット装置において、前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算することを特徴とする。
【０００７】
［４］上記の課題を解決するため、本発明の一態様である追跡ロボット制御方法は、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体の前記ハンド部に設けられた撮像部が、検査対象物体を撮像して画像データを出力する撮像ステップと、前記撮像ステップにおいて出力した画像データを取り込む画像データ取得ステップと、前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、前記ホモグラフィー行列転送ステップにおいて前記記憶部に記憶した、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして前記記憶部から読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御ステップと、を有することを特徴とする。
［５］上記［４］記載の追跡ロボット制御方法において、前記画像相関分析ステップは、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求めることを特徴とする。
［６］上記［５］記載の追跡ロボット制御方法において、前記局所的ホモグラフィー行列取得ステップは、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得ステップにおいて記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算することを特徴とする。
【０００８】
［７］上記の課題を解決するため、本発明の一態様である追跡ロボット制御プログラムは、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部とを制御するための、前記検査対象物体の参照画像データを記憶する参照画像記憶部を備えたコンピューターを、前記撮像部が出力した画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、として機能させる。
［８］上記［７］記載の追跡ロボット制御プログラムにおいて、前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める。
［９］上記［８］記載の追跡ロボット制御プログラムにおいて、前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する。
【０００９】
［１０］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得装置は、参照画像データを記憶する参照画像記憶部と、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、を備えることを特徴とする。
【００１０】
［１１］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得方法は、画像データを取り込む画像データ取得ステップと、前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、を有することを特徴とする。
【００１１】
［１２］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得プログラムは、参照画像データを記憶する参照画像記憶部を備えたコンピューターを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、として機能させる。
【００１２】
ここで、第１の画像データは現在のフレーム画像データであり、第２の画像データは第１の画像データよりも１フレーム前に該当するフレーム画像データである。なお、第２の画像データは第１の画像データよりも２フレーム以上前に該当するフレーム画像データであってもよい。
局所的ホモグラフィー行列は、並進が少なく且つ回転が小さい場合に有効なホモグラフィー行列である。また、大域的ホモグラフィー行列は、並進が多いかまたは回転が大きい場合、または並進が多く回転も大きい場合に用いられるロバストなホモグラフィー行列である。
第１の画像データに対応する局所的ホモグラフィー行列と第１の画像データに対応する大域的ホモグラフィー行列とのいずれのホモグラフィー行列を最終段に記憶するかは、第１の画像データをホモグラフィー行列変換した変換画像と参照画像との類似度に応じて決定する。つまり、変換画像と参照画像との画像相関が高い場合は第１の画像データに対応する局所的ホモグラフィー行列を最終段に記憶し、変換画像と参照画像との画像相関が低い場合は第１の画像データに対応する大域的ホモグラフィー行列を最終段に記憶する。
【００１３】
一般的に、変換行列を計算してホモグラフィー行列を求める処理は、画像の特徴点を抽出して特徴点の相対位置を計算しこれら特徴点の相対位置によってホモグラフィー行列を求める処理よりもトラッキングの安定性（精度）が低い一方、処理負荷が大幅に軽い。また、変換行列の計算精度は、変換行列を計算するための空間領域が狭い（並進が少なく且つ回転が小さい）ほど高い。
よって、変換行列を計算しホモグラフィー行列を求めて記憶する処理を、変換画像と参照画像との画像相関が高い場合に限ることにより、トラッキングの高い安定性（高い精度）を確保することができる。
【００１４】
したがって、本発明の一態様である追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラムでは、変換画像と参照画像との画像相関が高い場合は、比較的処理負荷の軽い計算処理による局所的ホモグラフィー行列を最終段に記憶し、変換画と参照画像との画像相関が低い場合は、比較的処理負荷の重い大域的ホモグラフィー行列を最終段に記憶するようにした。
【００１５】
このように構成したことにより、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。これは、例えば、追跡ロボット装置において、検査対象物体の外観検査時間を短くするためにロボット本体の移動速度を速くした場合でも、トラッキングの誤認識が発生せず信頼性の高い外観検査を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態において、外観検査装置に含まれる検査ロボット装置の概略の外観図である。
【図２】外観検査装置の概略の機能構成を表すブロック図である。
【図３】ホモグラフィー行列取得装置の機能構成を表すブロック図である。
【図４】ホモグラフィー行列取得装置の、局所的ホモグラフィー行列の計算処理を含む処理の手順を表すフローチャートである。
【図５】ホモグラフィー行列取得装置の、大域的ホモグラフィー行列の計算処理の手順を表すフローチャートである。
【図６】ロボット制御装置の処理手順を表すフローチャートである。
【図７】本発明の一実施形態の第１変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。
【図８】本発明の一実施形態の第２変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
まず、本発明の一実施形態において用いられるホモグラフィー行列について説明する。三次元空間における撮像装置の座標系をＦ＊とし、この撮像装置が任意の点Ａを撮像して得る画像における点Ａの像をｐ（ボールド体）＊＝［ｕ＊ ｖ＊ １］Ｔとする。なお、“（ボールド体）”との記載は、その記載の直前の文字がボールド体であることを表し、その文字がベクトルまたは行列であることを示す。前記の撮像装置を移動し、その移動先における撮像装置の座標系をＦとし、この撮像装置が前記の点Ａを撮像して得る画像における点Ａの像をｐ（ボールド体）＝［ｕ ｖ １］Ｔとする。また、Ｆ＊とＦとの相対距離を表す並進ベクトルをｔ（ボールド体）とし、姿勢変化を表す回転ベクトルをＲ（ボールド体）とする。
【００１８】
点Ａが平面π上に存在するとき、点ｐ（ボールド体）＊と点ｐ（ボールド体）との関係を表す式として下記の式（１）が成立する場合を考える。ただし、ｓは、点Ａと２つの座標系Ｆ＊とＦとの距離の割合で決まる値である。Ｇ（ボールド体）は、ホモグラフィー行列である。
【００１９】
【数１】
【００２０】
ホモグラフィー行列Ｇ（ボールド体）は、３行３列の行列であり、下記の式（２）のように表される。
【００２１】
【数２】
【００２２】
また、ホモグラフィー行列Ｇ（ボールド体）は、下記の式（３）のように表すことができる。ただし、ｄは、撮像装置と平面πとの間の距離、ｎ（ボールド体）は、平面πの法線ベクトルである。
【００２３】
【数３】
【００２４】
ホモグラフィー行列Ｇ（ボールド体）を推定することができれば、並進ベクトルｔ（ボールド体）、回転ベクトルＲ（ボールド体）、平面πの法線ベクトルｎ（ボールド体）、および撮像装置と平面πとの間の距離ｄを計算することができる。
【００２５】
平面π上に存在する全ての点における、各点の撮像画像への投影点の座標の組を、式（１）を用いて表すと以下のようになる。まず、値ｓを下記の式（４）のように定義する。
【００２６】
【数４】
【００２７】
式（１）および式（４）により、下記の式（５）が成立する。ただし、ｗ（ボールド体）は、ホモグラフィー行列Ｇ（ボールド体）の関数であり、透視投影変換行列である。この透視投影変換行列を用いて点ｐ（ボールド体）＊を対応する点ｐ（ボールド体）に変換することを、透視投影変換と呼ぶ。
【００２８】
【数５】
【００２９】
式（５）によれば、平面π上に存在する点については、その平面πのホモグラフィー行列が既知であれば、一方の撮像画像上の点に対して他方の撮像画像上の対応する点を一意に求めることができる。
したがって、ホモグラフィー行列を求めることにより、元画像に対して、注目画像がどれだけ並進し、またどれだけ回転しているかを求める、言い換えると、注目領域のトラッキングを行うことができる。
【００３０】
次に、本実施形態であるホモグラフィー行列取得装置を適用した追跡ロボット装置を含む外観検査装置について説明する。
図１は、本実施形態において、外観検査装置に含まれる検査ロボット装置の概略の外観図である。同図に示すように、検査ロボット装置１０は、ロボット本体１２に撮像装置１１が取り付けられて構成される。
ロボット本体１２は、地面に固定された支持台１２ａと、旋回および屈伸動作が可能なアーム部１２ｂと、回転および首振り動作が可能なハンド部１２ｃとを含んで構成される。ロボット本体１２は、支持台１２ａとアーム部１２ｂとハンド部１２ｃとの組み合わせによって６軸の自由度を有し、撮像部１１の位置および向きを自在に変更することができる。
なお、ロボット本体１２の自由度は６軸に限られない。また、支持台１２ａは、壁や天井等、地面に対して固定された場所に設置してもよい。
【００３１】
図２は、外観検査装置の概略の機能構成を表すブロック図である。同図に示すように、外観検査装置１は、検査ロボット装置１０と、画像解析装置２０と、ホモグラフィー行列取得装置３０と、ロボット制御装置４５とを備える。
検査ロボット装置１０は、図１にも示したように、撮像装置１１とロボット本体１２とを備える。撮像装置１１は、検査対象物体を撮像してその画像データを出力する。撮像装置１１は、例えば１２０フレーム／秒（ｆｐｓ；ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートで画像データを出力するビデオカメラ装置である。ロボット本体１２は、上述したように、取り付けた撮像装置１１を自由空間中で自在に移動させるためのロボット（マニピュレーター）である。
【００３２】
画像解析装置２０は、検査ロボット装置１０の撮像装置１１が連続して出力する画像データを順次取り込む。そして、画像解析装置２０は、取り込んだ画像データごとに、その画像に含まれる検査対象物体の外観の画像と、あらかじめ記憶したテンプレート画像データのテンプレート画像との比較を行って、検査対象物体の形状の不良等に関する検査結果データを出力する。テンプレート画像は、検査対象物体のリファレンス（例えば、検査対象物体の良品サンプル）を所望の方向から撮像して得られる画像である。
【００３３】
ホモグラフィー行列取得装置３０は、撮像装置１１が連続して出力する画像データを順次取り込む。そして、ホモグラフィー行列取得装置３０は、取り込んだ画像データごとに局所的ホモグラフィー行列を計算する。また、ホモグラフィー行列取得装置３０は、局所的ホモグラフィー行列を計算するレートよりも低いレートで、大域的ホモグラフィー行列を計算する。
【００３４】
局所的ホモグラフィー行列の局所的とは、この局所的ホモグラフィー行列を計算するために必要な空間領域が比較的狭いことを意味する。つまり、局所的ホモグラフィー行列は、並進が少なく且つ回転が小さい場合に有効なホモグラフィー行列である。画像データの注目領域と局所的ホモグラフィー行列とに基づいてトラッキングする場合、高い精度のトラッキングを行うことができる。
また、大域的ホモグラフィー行列の大域的とは、この大域的ホモグラフィー行列を計算するために必要な空間領域が比較的広いことを意味する。つまり、大域的ホモグラフィー行列は、並進が多いかまたは回転が大きい場合、または並進が多く回転も大きい場合に用いられるロバストなホモグラフィー行列である。
【００３５】
ホモグラフィー行列取得装置３０は、撮像装置１１から画像データを取り込むごとに、局所的ホモグラフィー行列を計算する。そして、ホモグラフィー行列取得装置３０は、その計算した局所的ホモグラフィー行列を用いて画像データを変換し、この変換した画像データの画像（変換画像）と参照画像との相関を求める。そして、相関が高い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列が読み出されるように制御する一方、相関が低い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列の読み出しを禁止し、最新の大域的ホモグラフィー行列が読み出されるように制御する。ホモグラフィー行列取得装置３０は、このようにして計算した局所的ホモグラフィー行列または大域的ホモグラフィー行列をホモグラフィー行列データとして出力可能に記憶する。
【００３６】
ロボット制御装置４５は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込み、そのホモグラフィー行列データに基づいて、ロボット本体１２の姿勢を制御する。
【００３７】
外観検査装置１において、追跡ロボット装置は、検査ロボット装置１０とホモグラフィー行列取得装置３０とロボット制御装置４５とを含むものである。
【００３８】
図３は、ホモグラフィー行列取得装置３０の機能構成を表すブロック図である。同図に示すように、ホモグラフィー行列取得装置３０は、画像データ取得部３１と、画像相関分析部３２と、画像データ変換部３３と、局所的ホモグラフィー行列計算部３４と、局所的ホモグラフィー行列記憶部３５と、ホモグラフィー行列転送部３６と、大域的ホモグラフィー行列記憶部３７と、参照画像記憶部３８と、特徴点抽出部３９と、大域的ホモグラフィー行列計算部４０とを備える。
【００３９】
参照画像記憶部３８は、検査対象物体のリファレンス（例えば、検査対象物体の良品サンプル）を所望の方向から撮像して得られる参照画像データを記憶する。参照画像記憶部３８は、例えばメモリーで実現される。
【００４０】
画像データ取得部３１は、検査ロボット装置１０の撮像装置１１が連続して出力する画像データを順次取り込む。画像データ取得部３１は、撮像装置１１から画像データ（現在の画像データ；第１の画像データ）を取り込むごとに、この現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。また、画像データ取得部３１は、局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレートで、撮像装置１１から取り込んだ画像データ（現在の画像データ）を特徴点抽出部３９に供給する。
例えば、撮像装置１１が１２０フレーム／秒のフレームレートで画像データを出力する場合、画像データ取得部３１は、そのフレームレートで画像データを順次取り込んで局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。また、画像データ取得部３１は、局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレート（例えば、２０フレーム／秒または３０フレーム／秒）で、撮像装置１１から取り込んだ画像データを特徴点抽出部３９に供給する。
【００４１】
画像データ取得部３１は、局所的ホモグラフィー行列計算部３４と画像データ変換部３３と画像相関分析部３２とが実行する処理の時間よりも長い時間の間隔に対応するレートで、現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。
また、画像データ取得部３１は、特徴点抽出部３９と大域的ホモグラフィー行列計算部４０とが大域的ホモグラフィー行列を計算することのできる時間よりも長い時間の間隔に対応するレートで、現在の画像データを特徴点抽出部３９に供給する。
【００４２】
画像データ変換部３３は、局所的ホモグラフィー行列計算部３４から供給される現在の画像データに対応する局所的ホモグラフィー行列と、画像データ取得部３１から供給される現在の画像データとを取り込む。画像データ変換部３３は、取り込んだ現在の画像データに対応する局所的ホモグラフィー行列を用いて現在の画像データを変換して変換画像データを生成し、この変換画像データを画像相関分析部３２に供給する。
【００４３】
画像相関分析部３２は、画像データ変換部３３から供給される変換画像データと、参照画像記憶部３８から読み出す参照画像データとを取り込む。画像相関分析部３２は、変換画像データの画像（変換画像）と参照画像データの画像（参照画像）との画像相関を計算（分析）して、変換画像と参照画像との類似度を求める。画像相関分析部３２は、画像相関の計算方法として、例えば正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を適用して類似度を求める。
正規化相互相関によって類似度を計算する式は、例えば、下記の式（６）により表される。ただし、ＲＮＣＣは類似度、Ｔ（ｉ，ｊ）は参照画像の輝度値、Ｉ（ｉ，ｊ）は変換画像の輝度値である。
【００４４】
【数６】
【００４５】
本実施形態において適用する式（６）によれば、類似度ＲＮＣＣは、０以上１以下の範囲内の値であり、画像の相関が高いほど１に近い値となる。類似度ＲＮＣＣが１である場合は、変換画像と参照画像とは一致していることとなる。
【００４６】
なお、画像相関分析部３２は、正規化相互相関以外にも、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の計算によって類似度を求めてもよい。
【００４７】
画像相関分析部３２は、計算した類似度に応じて局所的ホモグラフィー行列の転送制御と、大域的ホモグラフィー行列の転送制御とを切り替える。具体的には、画像相関分析部３２は、例えば正規化相互相関を計算して得た類似度ＲＮＣＣと、あらかじめ記憶した閾値とを比較し、類似度ＲＮＣＣが閾値よりも大きいと判定した場合は、局所的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給する。一方、画像相関分析部３２は、類似度ＲＮＣＣが閾値以下であると判定した場合は、局所的ホモグラフィー行列計算部３４が計算した変換行列の精度が比較的低いと判断し、大域的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給する。
【００４８】
画像相関分析部３２が正規化相互相関を計算する場合、画像相関分析部３２は、例えば、類似度ＲＮＣＣが取り得る値の範囲（０≦ＲＮＣＣ≦１）の中間値である０．５を、閾値として記憶する。ただし、閾値の最適値は、検査対象物体の画質や画像データ取得部３１が取り込む画像データのフレームレート等によって変わることがある。よって、画像相関分析部３２は、例えば実験的に試行して決定した閾値を記憶する。
【００４９】
なお、画像相関分析部３２は、画像データの画像全体を用いて画像相関を計算するのではなく、任意の注目領域のみを用いて画像相関を計算してもよい。例えば、画像データの画像の中央付近に任意の大きさの矩形領域を設定し、その矩形領域を画像相関の計算対象領域とする。このように画像相関の計算対象領域を絞ることにより、処理の負荷を軽減することができる。
【００５０】
局所的ホモグラフィー行列計算部３４は、画像データ取得部３１から供給される現在の画像データを取り込むと、参照画像記憶部３８から参照画像データを読み込むとともに、ホモグラフィー行列転送部３６から過去の画像データ（第２の画像データ）に対応する局所的ホモグラフィー行列を取り込む。そして、局所的ホモグラフィー行列計算部３４は、過去の画像データに対応する局所的ホモグラフィー行列に基づいて現在の画像データに対応する局所的ホモグラフィー行列を求めるための変換行列を計算する。
【００５１】
ここで、局所的ホモグラフィー行列計算部３４が実行する変換行列の計算の例について以下説明する。
参照画像データの画素数をｑとし、参照画像データのｉ番目の画素をｐ（ボールド体）＊ｉとし、画素Ｐ（ボールド体）＊ｉの輝度をＩ＊（ｐ（ボールド体）＊ｉ）とする。
【００５２】
局所的ホモグラフィー行列を想定するため、現在の画像データにおける画像の領域は、過去の画像データにおける画像の領域の近傍に存在すると仮定できる。よって、現在の画像データにおける画像の領域と、過去の画像データにおける画像の領域との光量の変化は少ないと仮定でき、下記の式（７）の近似式を用いることができる。ただし、Ｇ（ボールド体）（オーバーバー）は、現在の画像データに対応する局所的ホモグラフィー行列であり、Ｇ（ボールド体）（ハット）は、過去の画像データに対応する局所的ホモグラフィー行列であり、Ｇ（ボールド体）（ｘ（ボールド体））は、変換行列である。
【００５３】
【数７】
【００５４】
変換行列Ｇ（ボールド体）（ｘ（ボールド体））におけるｘ（ボールド体）は、変換行列Ｇ（ボールド体）（ｘ（ボールド体））のパラメータであり、下記の式（８）のように表される。
【００５５】
【数８】
【００５６】
変換行列Ｇ（ボールド体）（ｘ（ボールド体））はリー群に属し、単位行列Ｉ（ボールド体）の近傍に存在する。ここで、行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までを下記の式（９）のとおりとする。
【００５７】
【数９】
【００５８】
式（９）における行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までは、リー代数の基底である。これら行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までを用いて、リー代数に属する零行列の近傍に存在する行列Ａ（ボールド体）（ｘ（ボールド体））を下記の式（１０）のように表す。
【００５９】
【数１０】
【００６０】
リー群に属する単位行列Ｉ（ボールド体）の近傍に存在する変換行列Ｇ（ボールド体）（ｘ（ボールド体））と、リー代数に属する零行列の近傍に存在する行列Ａ（ボールド体）（ｘ（ボールド体））との関係は、指数関数を用いて下記の式（１１）として表すことができる。
【００６１】
【数１１】
【００６２】
現在の画像データに対応する局所的ホモグラフィー行列Ｇ（ボールド体）（オーバーバー）を用いて画素Ｐ（ボールド体）＊ｉを透視投影変換する。すなわち、画素Ｐ（ボールド体）＊ｉに対応する画素Ｐ（ボールド体）ｉの輝度は、前記の式（５）および式（７）により、下記の式（１２）のように表される。
【００６３】
【数１２】
【００６４】
よって、対応する画素同士の輝度の差ｙｉ（ｘ（ボールド体））は、下記の式（１３）のように表される。
【００６５】
【数１３】
【００６６】
過去および現在の画像データにおける全ての画素同士の輝度の差をまとめて、下記の式（１４）のように表す。
【００６７】
【数１４】
【００６８】
局所的ホモグラフィー行列計算部３４は、式（１４）において、ｘ（ボールド体）＝ｘ（ボールド体）０のときにｙ（ボールド体）（ｘ（ボールド体））が下記の式（１５）となるｘ（ボールド体）０を計算する。局所的ホモグラフィー行列計算部３４は、ｘ（ボールド体）０をフィードバックさせて繰り返し計算して収束させる。この収束方法として、例えば、公知のＥＳＭ（Ｅｆｆｉｃｉｅｎｔ Ｓｅｃｏｎｄ−ｏｒｄｅｒ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ）を適用できる。
【００６９】
【数１５】
【００７０】
局所的ホモグラフィー行列計算部３４は、計算したｘ（ボールド体）０を代入した変換行列Ｇ（ボールド体）（ｘ（ボールド体）０）と、過去の画像データに対応する局所的ホモグラフィー行列とを用いて、式（７）を適用して現在の画像データに対応する局所的ホモグラフィー行列を計算する。そして、局所的ホモグラフィー行列計算部３４は、この計算した現在の画像データに対応する局所的ホモグラフィー行列を、画像データ変換部３３に供給するとともに局所的ホモグラフィー行列記憶部３５に記憶させる。
【００７１】
局所的ホモグラフィー行列記憶部３５は、局所的ホモグラフィー行列計算部３４から供給される現在の画像データに対応する局所的ホモグラフィー行列を記憶する。局所的ホモグラフィー行列記憶部３５は、例えば書き込み可能なメモリーで実現される。
【００７２】
特徴点抽出部３９は、画像データ取得部３１から供給される現在の画像データを取り込むとともに、参照画像記憶部３８から参照画像データを読み込む。そして、特徴点抽出部３９は、現在の画像データと参照画像データとから画像の特徴点を抽出し、現在画像と参照画像との特徴点の相対位置を計算する。特徴点抽出部３９は、例えば、画像の画素の輝度の変化率が所定値を超える箇所を特徴点として抽出する。また、特徴点抽出部３９は、複数の画素を含む小領域ごとに輝度のガウス分布の状態を調べ、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を求めて特徴点を抽出してもよい。
特徴量抽出部３９は、計算した相対位置の情報を大域的ホモグラフィー行列計算部４０に供給する。
【００７３】
大域的ホモグラフィー行列計算部４０は、特徴点抽出部３９から供給される、現在画像と参照画像との特徴点の相対位置の情報を取り込む。大域的ホモグラフィー行列計算部４０は、これら現在画像と参照画像との特徴点の相対位置の情報に基づいて、現在の画像データに対応する大域的ホモグラフィー行列を計算し、この大域的ホモグラフィー行列を大域的ホモグラフィー行列記憶部３７に記憶させる。
【００７４】
大域的ホモグラフィー行列記憶部３７は、大域的ホモグラフィー行列計算部４０から供給される現在の画像データに対応する大域的ホモグラフィー行列を記憶する。大域的ホモグラフィー行列記憶部３７は、例えば書き込み可能なメモリーで実現される。
【００７５】
ホモグラフィー行列転送部３６は、画像相関分析部３２の切り替え制御に応じて、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列と、大域的ホモグラフィー行列記憶部３７に記憶された最新の大域的ホモグラフィー行列とのいずれかを読み込んで、外部に出力可能に保持する。具体的には、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、局所的ホモグラフィー行列の転送制御指示を取り込むと、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列を読み込む。また、ホモグラフィー行列転送部３６は、大域的ホモグラフィー行列の転送制御指示を取り込むと、大域的ホモグラフィー行列記憶部３７に記憶された、最新の大域的ホモグラフィー行列を読み込む。ホモグラフィー行列転送部３６は、読み込んだ現在の画像データに対応する局所的ホモグラフィー行列または最新の大域的ホモグラフィー行列を、局所的ホモグラフィー行列データとして外部に出力可能に保持する。
【００７６】
ホモグラフィー行列取得装置３０において、局所的ホモグラフィー行列計算部３４と局所的ホモグラフィー行列記憶部３５とは、局所的ホモグラフィー行列取得部である。また、大域的ホモグラフィー行列計算部４０と大域的ホモグラフィー行列記憶部３７とは、大域的ホモグラフィー行列取得部である。
【００７７】
次に、ホモグラフィー行列取得装置３０の動作について説明する。
図４は、ホモグラフィー行列取得装置３０の、局所的ホモグラフィー行列の計算処理を含む処理の手順を表すフローチャートである。また、図５は、ホモグラフィー行列取得装置３０の、大域的ホモグラフィー行列の計算処理の手順を表すフローチャートである。本実施形態では、ホモグラフィー行列取得装置３０は、図４のフローチャートに示される処理と、図５のフローチャートに示される処理とを、それぞれ独立したスレッドで並列に実行する。
【００７８】
まず、図４のフローチャートについて説明する。ステップＳ１０１において、画像データ取得部３１は、検査ロボット装置１０の撮像装置１１が出力する画像データ（現在の画像データ；第１の画像データ）を取り込むと、この取り込んだ現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。
【００７９】
次に、ステップＳ１０２において、局所的ホモグラフィー行列計算部３４は、画像データ取得部３１から供給される現在の画像データを取り込むと、参照画像記憶部３８から参照画像データを読み込むとともに、ホモグラフィー行列転送部３６から過去の画像データ（第２の画像データ）に対応する局所的ホモグラフィー行列を取り込む。
【００８０】
次に、ステップＳ１０３において、局所的ホモグラフィー行列計算部３４は、過去の画像データに対応する局所的ホモグラフィー行列に基づいて現在の画像データに対応する局所的ホモグラフィー行列を求めるための変換行列を計算する。次に、局所的ホモグラフィー行列計算部３４は、計算した変換行列と過去の画像データに対応する局所的ホモグラフィー行列とを用いて現在の画像データに対応する局所的ホモグラフィー行列を計算する。次に、局所的ホモグラフィー行列計算部３４は、この計算した局所的ホモグラフィー行列を、画像データ変換部３３に供給するとともに局所的ホモグラフィー行列記憶部３５に記憶させる。
【００８１】
次に、ステップＳ１０４において、画像データ変換部３３は、局所的ホモグラフィー行列計算部３４から供給された現在の画像データに対応する局所的ホモグラフィー行列と、画像データ取得部３１から供給された現在の画像データとを取り込む。次に、画像データ変換部３３は、現在の画像データに対応する局所的ホモグラフィー行列を用いて現在の画像データを変換して変換画像データを生成し、この変換画像データを画像相関分析部３２に供給する。次に、画像相関分析部３２は、画像データ変換部３３から供給された変換画像データと、参照画像記憶部３８から読み出した参照画像データとを取り込む。次に、画像相関分析部３２は、変換画像データの画像（変換画像）と参照画像データの画像（参照画像）との画像相関を、例えば正規化相互相関により計算し、変換画像と参照画像との類似度を求める。
【００８２】
次に、ステップＳ１０５において、画像相関分析部３２は、画像相関を計算して得た類似度と、あらかじめ記憶した閾値とを比較し、類似度が閾値よりも大きいと判定した場合は、局所的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給してステップＳ１０６の処理に移る（Ｓ１０５：ＹＥＳ）。一方、画像相関分析部３２は、類似度が閾値以下であると判定した場合は、大域的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給してステップＳ１０７の処理に移る（Ｓ１０５：ＮＯ）。
【００８３】
ステップＳ１０６において、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、局所的ホモグラフィー行列の転送制御指示を取り込む。次に、ホモグラフィー行列転送部３６は、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列を読み込んで外部に出力可能に保持する。
ステップＳ１０６の処理が終了するとステップＳ１０１の処理に戻る。
【００８４】
一方、ステップＳ１０７において、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、大域的ホモグラフィー行列の転送制御指示を取り込む。次に、ホモグラフィー行列転送部３６は、大域的ホモグラフィー行列記憶部３７から最新の大域的ホモグラフィー行列を読み込む。
【００８５】
次に、ステップＳ１０８において、ホモグラフィー行列転送部３６は、読み込んだ最新の大域的ホモグラフィー行列を外部に出力可能に保持する。
ステップＳ１０８の処理が終了するとステップＳ１０１の処理に戻る。
【００８６】
次に、図５のフローチャートについて説明する。ステップＳ２０１において、画像データ取得部３１は、図４のステップＳ１０１の処理において局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレートで、検査ロボット装置１０の撮像装置１１が出力する画像データ（現在の画像データ）を取り込むと、その現在の画像データを特徴点抽出部３９に供給する。
【００８７】
次に、ステップＳ２０２において、特徴点抽出部３９は、画像データ取得部３１から供給される現在の画像データを取り込むとともに、参照画像記憶部３８から参照画像データを読み込む。次に、特徴点抽出部３９は、現在の画像データと参照画像データとから画像の特徴点を抽出して現在画像と参照画像との特徴点の相対位置を計算し、これら特徴点の相対位置の情報を大域的ホモグラフィー行列計算部４０に供給する。
【００８８】
次に、ステップＳ２０３において、大域的ホモグラフィー行列計算部４０は、特徴点抽出部３９から供給される、現在画像と参照画像との特徴点の相対位置の情報を取り込む。次に、大域的ホモグラフィー行列計算部４０は、これら現在画像と参照画像との特徴点の相対位置の情報に基づいて、現在の画像データに対応する大域的ホモグラフィー行列を計算する。
【００８９】
次に、ステップＳ２０４において、大域的ホモグラフィー行列計算部４０は、計算した大域的ホモグラフィー行列を、大域的ホモグラフィー行列記憶部３７に記憶させる。
ステップＳ２０４の処理が終了するとステップＳ２０１の処理に戻る。
【００９０】
図４のフローチャートにおいて、ホモグラフィー行列取得装置３０がステップＳ１０１からステップＳ１０６までを繰り返す処理は、例えば、撮像装置１１から供給される画像データのフレームレートが１２０フレーム／秒である場合、そのフレームレートと同一のレートで処理する。一方、図５のフローチャートにおいて、ホモグラフィー行列取得装置３０がステップＳ２０１からステップＳ２０４までを繰り返す処理は、１２０フレーム／秒のフレームレートよりも低いレート（例えば、２０フレーム／秒または３０フレーム／秒）で処理する。
【００９１】
よって、ホモグラフィー行列転送部３６が、大域的ホモグラフィー行列記憶部３７から現在の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶する処理（図４のステップＳ１０７およびステップＳ１０８の処理）を実行することにより、時間的には若干遅れた大域的ホモグラフィー行列が記憶されることになる。しかし、この若干の時間遅れは、トラッキングのリアルタイム性に影響を及ぼすものではない。
【００９２】
次に、ロボット制御装置４５の動作について説明する。図６は、ロボット制御装置４５の処理手順を表すフローチャートである。同図のフローチャートの処理は、例えば、図４のステップＳ１０６およびステップＳ１０８の処理の次（ステップＳ１０１に戻る前）に実行されるものである。
まず、ステップＳ３０１において、ロボット制御装置４５は、ホモグラフィー行列取得装置３０から現在の画像データに対応するホモグラフィー行列データ、言い換えると、最新のホモグラフィー行列データを取り込む。
【００９３】
次に、ステップＳ３０２において、ロボット制御装置４５は、取り込んだホモグラフィー行列に基づいて検査ロボット装置１０のアーム先端の移動速度、つまり撮像装置１１の移動速度を計算する。
移動速度は、次のようにして計算することができる。三次元空間における撮像装置１１の座標系Ｆ＊と移動先における撮像装置１１の座標系Ｆとにおける、並進ベクトルの差分ｅ（ボールド体）νと、回転ベクトルの差分ｅ（ボールド体）ωとは、下記の式（１６）のように表される。
【００９４】
【数１６】
【００９５】
式（１６）により、差分を無くす方向に検査ロボット装置１０のアーム先端を移動させればよいため、撮像装置１１の移動速度は、下記の式（１７）のように表される。ただし、νは並進の速度、ωは回転の速度である。
【００９６】
【数１７】
【００９７】
次に、ステップＳ３０３において、ロボット制御装置４５は、撮像装置１１の速度に基づいて、ロボット本体１２の各関節の移動速度（並進速度および回転速度）を計算する。関節とは、支持台１２ａとアーム部１２ｂとの連結部分、アーム部１２ｂ同士の連結部分、およびアーム部１２ｂとハンド部１２ｃとの連結部分である。
ロボット本体１２の各関節の移動速度は、ヤコビ行列を用いて下記の式（１８）を計算することにより求めることができる。ただし、Ｊ（ボールド体）（ハット）−１は、ヤコビ行列Ｊ（ボールド体）（ハット）の逆行列である。
【００９８】
【数１８】
【００９９】
つぎに、ステップＳ３０４において、ロボット制御装置４５は、ロボット本体１２の各関節の移動速度（並進速度および回転速度）に基づいてロボット本体１２のアーム部１２ｂおよびハンド部１２ｃを制御して動作させる。
【０１００】
一般的に、変換行列を計算してホモグラフィー行列を求める処理は、画像の特徴点を抽出して特徴点の相対位置を計算しこれら特徴点の相対位置によってホモグラフィー行列を求める処理よりもトラッキングの安定性（精度）が低い一方、処理負荷が大幅に軽い。また、変換行列の計算精度は、変換行列を計算するための空間領域が狭い（並進が少なく且つ回転が小さい）ほど高い。
よって、変換行列を計算しホモグラフィー行列を求めて記憶する処理を、変換画像と参照画像との画像相関が高い場合に限ることにより、トラッキングの高い安定性（高い精度）を確保することができる。
したがって、本実施形態では、変換画像と参照画像との画像相関が高い場合は、比較的処理負荷の軽い計算処理による局所的ホモグラフィー行列を出力可能に記憶し、変換画像と参照画像との画像相関が低い場合は、比較的処理負荷の重い大域的ホモグラフィー行列を出力可能に記憶するようにした。
【０１０１】
以上により、本実施形態によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、追跡ロボット装置において、検査対象物体の外観検査時間を短くするためにロボット本体１２の移動速度を速くした場合でも、トラッキングの誤認識が発生せず信頼性の高い外観検査を行うことができる。
【０１０２】
［実施形態の第１の変形例］
上述した実施形態の第１変形例について説明する。本第１変形例は、ホモグラフィー行列取得装置３０をハンディータイプのビデオカメラ装置に適用した例である。このビデオカメラ装置は、撮影中にフレーム画像から人物の顔の領域を検出し、その顔領域にピントを自動で合わせる機能を有するものである。
【０１０３】
図７は、本第１変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。同図に示すように、ビデオカメラ装置２は、ホモグラフィー行列取得装置３０と、レンズ光学系５０と、撮像部６０と、ピント調節量計算部７０と、ピント調節部８０と、画像記録奉９０とを備える。
【０１０４】
レンズ光学系５０は、被写体から到来する光束を集光する。レンズ光学系５０は、対物レンズや集束レンズ等のレンズ群を含んで構成される。
撮像部６０は、固体撮像素子を備え、レンズ光学系５０を通して集光された光束をその固体撮像素子で撮像する。固体撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。撮像部６０は、例えば１２０フレーム／秒のフレームレートで動画を撮像し、画像データを連続的にホモグラフィー行列取得装置３０および画像記録部９０それぞれに供給する。
画像記録部９０は、撮像部６０が出力する画像データを、例えば、磁気ハードディスクやメモリーカード等の記録媒体に記録する。
【０１０５】
ホモグラフィー行列取得装置３０は、前述した一実施形態によるものと同様のものである。ただし、本第１変形例においては、ホモグラフィー行列取得装置３０の参照画像記憶部３８には、図７には図示しない顔検出処理部が画像データから検出した人物の顔画像データが記憶される。また、ホモグラフィー行列取得装置３０の画像相関分析部３２は、画像データにおける人物の顔が含まれる小領域（例えば、矩形領域）を用いて画像相関を計算する。ホモグラフィー行列取得装置３０は、参照画像記憶部３８に記憶された人物の顔画像データと、画像データにおける矩形領域の顔画像データとに基づいて、局所的ホモグラフィー行列および大域的ホモグラフィー行列を計算して記憶する。
【０１０６】
ピント調節量計算部７０は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込む。そして、ピント調節量計算部７０は、取り込んだホモグラフィー行列データに基づいてピントを調節すべき画像領域（矩形領域）を特定し、その画像領域に対応する被写体の部位に対するピント調節量を計算する。このピント調節量の計算方法は、公知のオートフォーカス技術による。ピント調節量計算部７０は、計算したピント調節量データをピント調節部８０に供給する。
ピント調節部８０は、ピント調節量計算部７０から供給されるピント調節量データに基づいて、ピントを調節すべき画像領域に対応する被写体の部位（人物の顔）に対するピントを調整する。
【０１０７】
以上により、本第１の変形例によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、ハンディータイプのビデオカメラ装置において、人物の顔が速く移動した場合でも、トラッキングの誤認識が発生せず信頼性の高い自動ピント調節を行うことができる。
【０１０８】
［実施形態の第２の変形例］
前述した実施形態の第２変形例について説明する。本第２変形例は、ホモグラフィー行列取得装置３０を自動姿勢調整可能なビデオカメラ装置に適用した例である。このビデオカメラ装置は、例えばコンピューターのディスプレイ装置上またはその付近に設置されて使用されるものである。このように設置されて使用された場合、ビデオカメラ装置は、撮影中にフレーム画像からコンピューターの操作者である人物の顔の領域を検出し、その顔領域が画像フレームから外れないように当該ビデオカメラ装置の姿勢を調整する機能を有するものである。
【０１０９】
図８は、本第２変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。同図に示すように、ビデオカメラ装置３は、撮像システム１００と、ホモグラフィー行列取得装置３０と、姿勢調節量計算部１１０とを備える。
【０１１０】
撮像システム１００は、上述したように、被写体となる人物の顔を撮像可能なように設置される。撮像システム１００は、その機能構成として、撮像装置１０１と、姿勢調節部１０２とを備える。
撮像装置１０１は、例えば１２０フレーム／秒のフレームレートで動画を撮像し、撮像データである画像データを連続的にホモグラフィー行列取得装置３０に供給するとともに、外部（例えば、コンピューター）に供給する。
姿勢調節部１０２は、姿勢調節量計算部１１０から供給される姿勢調節量データに基づいて、撮像装置１０１の姿勢、つまり撮像方向を調節する。
【０１１１】
ホモグラフィー行列取得装置３０は、前述した一実施形態によるものと同様のものである。ただし、本第１変形例においては、ホモグラフィー行列取得装置３０の参照画像記憶部３８には、図８には図示しない顔検出処理部が画像データから検出した人物の顔画像データが記憶される。ホモグラフィー行列取得装置３０は、参照画像記憶部３８に記憶された人物の顔画像データと、撮像装置１０１から取り込む画像データとに基づいて、局所的ホモグラフィー行列および大域的ホモグラフィー行列を計算して記憶する。
【０１１２】
姿勢調節量計算部１１０は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込む。そして、姿勢調節量計算部７０は、取り込んだホモグラフィー行列データに基づいて、人物の顔の位置をフレーム画像の中央に一致させるようにフレーム画像の移動方向を特定し、その方向にフレーム画像が移動するように撮像装置１０１の姿勢の調節量を計算する。姿勢調節量計算部１１０は、計算した姿勢調節量データを撮像システム１００の姿勢調節部１０２に供給する。
【０１１３】
以上により、本第２の変形例によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、自動姿勢調整可能なビデオカメラ装置において、人物の顔が速く移動した場合でも、トラッキングの誤認識が発生せず信頼性の高いビデオカメラ装置の姿勢制御を行うことができる。
【０１１４】
なお、上述した一実施形態である追跡ロボット装置の一部、例えば、ホモグラフィー行列取得装置３０およびロボット制御装置４５の機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するための追跡ロボット制御プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録された追跡ロボット制御プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。
【０１１５】
また、同様に、ホモグラフィー行列取得装置３０のみの機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するためのホモグラフィー行列取得プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたホモグラフィー行列取得プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。
【０１１６】
なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺装置のハードウェアを含むものである。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリーカード等の可搬型記録媒体、コンピューターシステムに内蔵される磁気ハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバー装置やクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【０１１７】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１８】
１ 外観検査装置
１０ 検査ロボット装置
１１ 撮像装置
１２ ロボット本体
１２ａ 支持台
１２ｂ アーム部
１２ｃ ハンド部
２０ 画像解析装置
３０ ホモグラフィー行列取得装置
３１ 画像データ取得部
３２ 画像相関分析部
３３ 変換行列計算部
３４ 局所的ホモグラフィー行列計算部
３５ 局所的ホモグラフィー行列記憶部
３６ ホモグラフィー行列転送部
３７ 大域的穂葎フィー行列記憶部
３８ 参照画像記憶部
３９ 特徴点抽出部
４０ 大域的ホモグラフィー行列計算部
４５ ロボット制御装置
５０ レンズ光学系
６０ 撮像部
７０ ピント調節量計算部
８０ ピント調節部
９０ 画像記録部
１００ 撮像システム
１０１ 撮像装置
１０２ 姿勢調節部
１１０ 姿勢調節量計算部
【技術分野】
【０００１】
本発明は、追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラムに関する。
【背景技術】
【０００２】
従来、ハンド部に撮像装置を取り付けたマニピュレーターを制御し、撮像装置の位置および向きを自在に動かして検査対象物体を撮像し、その撮像画像に基づいて外観検査を行う検査システムが知られている（例えば、特許文献１参照）。この特許文献１には、ロボットのアームに取り付けられたカメラがあらかじめ検査対象物体を撮影して得た参照画像を記憶しておき、当該ロボットが、実際の検査対象物体の撮像画像と参照画像とに基づく視覚フィードバック制御に基づいて、アームの姿勢を制御し検査対象物体を追跡する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０２３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来の検査システムにおいては、トラッキングのリアルタイム性と安定性とはトレードオフの関係にある。すなわち、トラッキングの処理速度を速くしてリアルタイム性を確保しようとすると、検査対象物体の誤検出数が多くなる一方、トラッキングの処理時間に余裕をもたせると、検査対象物体の誤検出数は少なくなる。
【０００５】
そこで、本発明は、上記事情に鑑みてなされたものであり、リアルタイム性を確保し且つ安定性の高いトラッキングを行うことのできる、追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラム、を提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である追跡ロボット装置は、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部と、前記検査対象物体の参照画像データを記憶する参照画像記憶部と、前記撮像部が出力した画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、を備えることを特徴とする。
［２］上記［１］記載の追跡ロボット装置において、前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求めることを特徴とする。
［３］上記［２］記載の追跡ロボット装置において、前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算することを特徴とする。
【０００７】
［４］上記の課題を解決するため、本発明の一態様である追跡ロボット制御方法は、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体の前記ハンド部に設けられた撮像部が、検査対象物体を撮像して画像データを出力する撮像ステップと、前記撮像ステップにおいて出力した画像データを取り込む画像データ取得ステップと、前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、前記ホモグラフィー行列転送ステップにおいて前記記憶部に記憶した、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして前記記憶部から読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御ステップと、を有することを特徴とする。
［５］上記［４］記載の追跡ロボット制御方法において、前記画像相関分析ステップは、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求めることを特徴とする。
［６］上記［５］記載の追跡ロボット制御方法において、前記局所的ホモグラフィー行列取得ステップは、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得ステップにおいて記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算することを特徴とする。
【０００８】
［７］上記の課題を解決するため、本発明の一態様である追跡ロボット制御プログラムは、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部とを制御するための、前記検査対象物体の参照画像データを記憶する参照画像記憶部を備えたコンピューターを、前記撮像部が出力した画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、として機能させる。
［８］上記［７］記載の追跡ロボット制御プログラムにおいて、前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める。
［９］上記［８］記載の追跡ロボット制御プログラムにおいて、前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する。
【０００９】
［１０］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得装置は、参照画像データを記憶する参照画像記憶部と、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、を備えることを特徴とする。
【００１０】
［１１］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得方法は、画像データを取り込む画像データ取得ステップと、前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、を有することを特徴とする。
【００１１】
［１２］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得プログラムは、参照画像データを記憶する参照画像記憶部を備えたコンピューターを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、として機能させる。
【００１２】
ここで、第１の画像データは現在のフレーム画像データであり、第２の画像データは第１の画像データよりも１フレーム前に該当するフレーム画像データである。なお、第２の画像データは第１の画像データよりも２フレーム以上前に該当するフレーム画像データであってもよい。
局所的ホモグラフィー行列は、並進が少なく且つ回転が小さい場合に有効なホモグラフィー行列である。また、大域的ホモグラフィー行列は、並進が多いかまたは回転が大きい場合、または並進が多く回転も大きい場合に用いられるロバストなホモグラフィー行列である。
第１の画像データに対応する局所的ホモグラフィー行列と第１の画像データに対応する大域的ホモグラフィー行列とのいずれのホモグラフィー行列を最終段に記憶するかは、第１の画像データをホモグラフィー行列変換した変換画像と参照画像との類似度に応じて決定する。つまり、変換画像と参照画像との画像相関が高い場合は第１の画像データに対応する局所的ホモグラフィー行列を最終段に記憶し、変換画像と参照画像との画像相関が低い場合は第１の画像データに対応する大域的ホモグラフィー行列を最終段に記憶する。
【００１３】
一般的に、変換行列を計算してホモグラフィー行列を求める処理は、画像の特徴点を抽出して特徴点の相対位置を計算しこれら特徴点の相対位置によってホモグラフィー行列を求める処理よりもトラッキングの安定性（精度）が低い一方、処理負荷が大幅に軽い。また、変換行列の計算精度は、変換行列を計算するための空間領域が狭い（並進が少なく且つ回転が小さい）ほど高い。
よって、変換行列を計算しホモグラフィー行列を求めて記憶する処理を、変換画像と参照画像との画像相関が高い場合に限ることにより、トラッキングの高い安定性（高い精度）を確保することができる。
【００１４】
したがって、本発明の一態様である追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラムでは、変換画像と参照画像との画像相関が高い場合は、比較的処理負荷の軽い計算処理による局所的ホモグラフィー行列を最終段に記憶し、変換画と参照画像との画像相関が低い場合は、比較的処理負荷の重い大域的ホモグラフィー行列を最終段に記憶するようにした。
【００１５】
このように構成したことにより、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。これは、例えば、追跡ロボット装置において、検査対象物体の外観検査時間を短くするためにロボット本体の移動速度を速くした場合でも、トラッキングの誤認識が発生せず信頼性の高い外観検査を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態において、外観検査装置に含まれる検査ロボット装置の概略の外観図である。
【図２】外観検査装置の概略の機能構成を表すブロック図である。
【図３】ホモグラフィー行列取得装置の機能構成を表すブロック図である。
【図４】ホモグラフィー行列取得装置の、局所的ホモグラフィー行列の計算処理を含む処理の手順を表すフローチャートである。
【図５】ホモグラフィー行列取得装置の、大域的ホモグラフィー行列の計算処理の手順を表すフローチャートである。
【図６】ロボット制御装置の処理手順を表すフローチャートである。
【図７】本発明の一実施形態の第１変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。
【図８】本発明の一実施形態の第２変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
まず、本発明の一実施形態において用いられるホモグラフィー行列について説明する。三次元空間における撮像装置の座標系をＦ＊とし、この撮像装置が任意の点Ａを撮像して得る画像における点Ａの像をｐ（ボールド体）＊＝［ｕ＊ ｖ＊ １］Ｔとする。なお、“（ボールド体）”との記載は、その記載の直前の文字がボールド体であることを表し、その文字がベクトルまたは行列であることを示す。前記の撮像装置を移動し、その移動先における撮像装置の座標系をＦとし、この撮像装置が前記の点Ａを撮像して得る画像における点Ａの像をｐ（ボールド体）＝［ｕ ｖ １］Ｔとする。また、Ｆ＊とＦとの相対距離を表す並進ベクトルをｔ（ボールド体）とし、姿勢変化を表す回転ベクトルをＲ（ボールド体）とする。
【００１８】
点Ａが平面π上に存在するとき、点ｐ（ボールド体）＊と点ｐ（ボールド体）との関係を表す式として下記の式（１）が成立する場合を考える。ただし、ｓは、点Ａと２つの座標系Ｆ＊とＦとの距離の割合で決まる値である。Ｇ（ボールド体）は、ホモグラフィー行列である。
【００１９】
【数１】
【００２０】
ホモグラフィー行列Ｇ（ボールド体）は、３行３列の行列であり、下記の式（２）のように表される。
【００２１】
【数２】
【００２２】
また、ホモグラフィー行列Ｇ（ボールド体）は、下記の式（３）のように表すことができる。ただし、ｄは、撮像装置と平面πとの間の距離、ｎ（ボールド体）は、平面πの法線ベクトルである。
【００２３】
【数３】
【００２４】
ホモグラフィー行列Ｇ（ボールド体）を推定することができれば、並進ベクトルｔ（ボールド体）、回転ベクトルＲ（ボールド体）、平面πの法線ベクトルｎ（ボールド体）、および撮像装置と平面πとの間の距離ｄを計算することができる。
【００２５】
平面π上に存在する全ての点における、各点の撮像画像への投影点の座標の組を、式（１）を用いて表すと以下のようになる。まず、値ｓを下記の式（４）のように定義する。
【００２６】
【数４】
【００２７】
式（１）および式（４）により、下記の式（５）が成立する。ただし、ｗ（ボールド体）は、ホモグラフィー行列Ｇ（ボールド体）の関数であり、透視投影変換行列である。この透視投影変換行列を用いて点ｐ（ボールド体）＊を対応する点ｐ（ボールド体）に変換することを、透視投影変換と呼ぶ。
【００２８】
【数５】
【００２９】
式（５）によれば、平面π上に存在する点については、その平面πのホモグラフィー行列が既知であれば、一方の撮像画像上の点に対して他方の撮像画像上の対応する点を一意に求めることができる。
したがって、ホモグラフィー行列を求めることにより、元画像に対して、注目画像がどれだけ並進し、またどれだけ回転しているかを求める、言い換えると、注目領域のトラッキングを行うことができる。
【００３０】
次に、本実施形態であるホモグラフィー行列取得装置を適用した追跡ロボット装置を含む外観検査装置について説明する。
図１は、本実施形態において、外観検査装置に含まれる検査ロボット装置の概略の外観図である。同図に示すように、検査ロボット装置１０は、ロボット本体１２に撮像装置１１が取り付けられて構成される。
ロボット本体１２は、地面に固定された支持台１２ａと、旋回および屈伸動作が可能なアーム部１２ｂと、回転および首振り動作が可能なハンド部１２ｃとを含んで構成される。ロボット本体１２は、支持台１２ａとアーム部１２ｂとハンド部１２ｃとの組み合わせによって６軸の自由度を有し、撮像部１１の位置および向きを自在に変更することができる。
なお、ロボット本体１２の自由度は６軸に限られない。また、支持台１２ａは、壁や天井等、地面に対して固定された場所に設置してもよい。
【００３１】
図２は、外観検査装置の概略の機能構成を表すブロック図である。同図に示すように、外観検査装置１は、検査ロボット装置１０と、画像解析装置２０と、ホモグラフィー行列取得装置３０と、ロボット制御装置４５とを備える。
検査ロボット装置１０は、図１にも示したように、撮像装置１１とロボット本体１２とを備える。撮像装置１１は、検査対象物体を撮像してその画像データを出力する。撮像装置１１は、例えば１２０フレーム／秒（ｆｐｓ；ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートで画像データを出力するビデオカメラ装置である。ロボット本体１２は、上述したように、取り付けた撮像装置１１を自由空間中で自在に移動させるためのロボット（マニピュレーター）である。
【００３２】
画像解析装置２０は、検査ロボット装置１０の撮像装置１１が連続して出力する画像データを順次取り込む。そして、画像解析装置２０は、取り込んだ画像データごとに、その画像に含まれる検査対象物体の外観の画像と、あらかじめ記憶したテンプレート画像データのテンプレート画像との比較を行って、検査対象物体の形状の不良等に関する検査結果データを出力する。テンプレート画像は、検査対象物体のリファレンス（例えば、検査対象物体の良品サンプル）を所望の方向から撮像して得られる画像である。
【００３３】
ホモグラフィー行列取得装置３０は、撮像装置１１が連続して出力する画像データを順次取り込む。そして、ホモグラフィー行列取得装置３０は、取り込んだ画像データごとに局所的ホモグラフィー行列を計算する。また、ホモグラフィー行列取得装置３０は、局所的ホモグラフィー行列を計算するレートよりも低いレートで、大域的ホモグラフィー行列を計算する。
【００３４】
局所的ホモグラフィー行列の局所的とは、この局所的ホモグラフィー行列を計算するために必要な空間領域が比較的狭いことを意味する。つまり、局所的ホモグラフィー行列は、並進が少なく且つ回転が小さい場合に有効なホモグラフィー行列である。画像データの注目領域と局所的ホモグラフィー行列とに基づいてトラッキングする場合、高い精度のトラッキングを行うことができる。
また、大域的ホモグラフィー行列の大域的とは、この大域的ホモグラフィー行列を計算するために必要な空間領域が比較的広いことを意味する。つまり、大域的ホモグラフィー行列は、並進が多いかまたは回転が大きい場合、または並進が多く回転も大きい場合に用いられるロバストなホモグラフィー行列である。
【００３５】
ホモグラフィー行列取得装置３０は、撮像装置１１から画像データを取り込むごとに、局所的ホモグラフィー行列を計算する。そして、ホモグラフィー行列取得装置３０は、その計算した局所的ホモグラフィー行列を用いて画像データを変換し、この変換した画像データの画像（変換画像）と参照画像との相関を求める。そして、相関が高い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列が読み出されるように制御する一方、相関が低い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列の読み出しを禁止し、最新の大域的ホモグラフィー行列が読み出されるように制御する。ホモグラフィー行列取得装置３０は、このようにして計算した局所的ホモグラフィー行列または大域的ホモグラフィー行列をホモグラフィー行列データとして出力可能に記憶する。
【００３６】
ロボット制御装置４５は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込み、そのホモグラフィー行列データに基づいて、ロボット本体１２の姿勢を制御する。
【００３７】
外観検査装置１において、追跡ロボット装置は、検査ロボット装置１０とホモグラフィー行列取得装置３０とロボット制御装置４５とを含むものである。
【００３８】
図３は、ホモグラフィー行列取得装置３０の機能構成を表すブロック図である。同図に示すように、ホモグラフィー行列取得装置３０は、画像データ取得部３１と、画像相関分析部３２と、画像データ変換部３３と、局所的ホモグラフィー行列計算部３４と、局所的ホモグラフィー行列記憶部３５と、ホモグラフィー行列転送部３６と、大域的ホモグラフィー行列記憶部３７と、参照画像記憶部３８と、特徴点抽出部３９と、大域的ホモグラフィー行列計算部４０とを備える。
【００３９】
参照画像記憶部３８は、検査対象物体のリファレンス（例えば、検査対象物体の良品サンプル）を所望の方向から撮像して得られる参照画像データを記憶する。参照画像記憶部３８は、例えばメモリーで実現される。
【００４０】
画像データ取得部３１は、検査ロボット装置１０の撮像装置１１が連続して出力する画像データを順次取り込む。画像データ取得部３１は、撮像装置１１から画像データ（現在の画像データ；第１の画像データ）を取り込むごとに、この現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。また、画像データ取得部３１は、局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレートで、撮像装置１１から取り込んだ画像データ（現在の画像データ）を特徴点抽出部３９に供給する。
例えば、撮像装置１１が１２０フレーム／秒のフレームレートで画像データを出力する場合、画像データ取得部３１は、そのフレームレートで画像データを順次取り込んで局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。また、画像データ取得部３１は、局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレート（例えば、２０フレーム／秒または３０フレーム／秒）で、撮像装置１１から取り込んだ画像データを特徴点抽出部３９に供給する。
【００４１】
画像データ取得部３１は、局所的ホモグラフィー行列計算部３４と画像データ変換部３３と画像相関分析部３２とが実行する処理の時間よりも長い時間の間隔に対応するレートで、現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。
また、画像データ取得部３１は、特徴点抽出部３９と大域的ホモグラフィー行列計算部４０とが大域的ホモグラフィー行列を計算することのできる時間よりも長い時間の間隔に対応するレートで、現在の画像データを特徴点抽出部３９に供給する。
【００４２】
画像データ変換部３３は、局所的ホモグラフィー行列計算部３４から供給される現在の画像データに対応する局所的ホモグラフィー行列と、画像データ取得部３１から供給される現在の画像データとを取り込む。画像データ変換部３３は、取り込んだ現在の画像データに対応する局所的ホモグラフィー行列を用いて現在の画像データを変換して変換画像データを生成し、この変換画像データを画像相関分析部３２に供給する。
【００４３】
画像相関分析部３２は、画像データ変換部３３から供給される変換画像データと、参照画像記憶部３８から読み出す参照画像データとを取り込む。画像相関分析部３２は、変換画像データの画像（変換画像）と参照画像データの画像（参照画像）との画像相関を計算（分析）して、変換画像と参照画像との類似度を求める。画像相関分析部３２は、画像相関の計算方法として、例えば正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を適用して類似度を求める。
正規化相互相関によって類似度を計算する式は、例えば、下記の式（６）により表される。ただし、ＲＮＣＣは類似度、Ｔ（ｉ，ｊ）は参照画像の輝度値、Ｉ（ｉ，ｊ）は変換画像の輝度値である。
【００４４】
【数６】
【００４５】
本実施形態において適用する式（６）によれば、類似度ＲＮＣＣは、０以上１以下の範囲内の値であり、画像の相関が高いほど１に近い値となる。類似度ＲＮＣＣが１である場合は、変換画像と参照画像とは一致していることとなる。
【００４６】
なお、画像相関分析部３２は、正規化相互相関以外にも、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の計算によって類似度を求めてもよい。
【００４７】
画像相関分析部３２は、計算した類似度に応じて局所的ホモグラフィー行列の転送制御と、大域的ホモグラフィー行列の転送制御とを切り替える。具体的には、画像相関分析部３２は、例えば正規化相互相関を計算して得た類似度ＲＮＣＣと、あらかじめ記憶した閾値とを比較し、類似度ＲＮＣＣが閾値よりも大きいと判定した場合は、局所的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給する。一方、画像相関分析部３２は、類似度ＲＮＣＣが閾値以下であると判定した場合は、局所的ホモグラフィー行列計算部３４が計算した変換行列の精度が比較的低いと判断し、大域的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給する。
【００４８】
画像相関分析部３２が正規化相互相関を計算する場合、画像相関分析部３２は、例えば、類似度ＲＮＣＣが取り得る値の範囲（０≦ＲＮＣＣ≦１）の中間値である０．５を、閾値として記憶する。ただし、閾値の最適値は、検査対象物体の画質や画像データ取得部３１が取り込む画像データのフレームレート等によって変わることがある。よって、画像相関分析部３２は、例えば実験的に試行して決定した閾値を記憶する。
【００４９】
なお、画像相関分析部３２は、画像データの画像全体を用いて画像相関を計算するのではなく、任意の注目領域のみを用いて画像相関を計算してもよい。例えば、画像データの画像の中央付近に任意の大きさの矩形領域を設定し、その矩形領域を画像相関の計算対象領域とする。このように画像相関の計算対象領域を絞ることにより、処理の負荷を軽減することができる。
【００５０】
局所的ホモグラフィー行列計算部３４は、画像データ取得部３１から供給される現在の画像データを取り込むと、参照画像記憶部３８から参照画像データを読み込むとともに、ホモグラフィー行列転送部３６から過去の画像データ（第２の画像データ）に対応する局所的ホモグラフィー行列を取り込む。そして、局所的ホモグラフィー行列計算部３４は、過去の画像データに対応する局所的ホモグラフィー行列に基づいて現在の画像データに対応する局所的ホモグラフィー行列を求めるための変換行列を計算する。
【００５１】
ここで、局所的ホモグラフィー行列計算部３４が実行する変換行列の計算の例について以下説明する。
参照画像データの画素数をｑとし、参照画像データのｉ番目の画素をｐ（ボールド体）＊ｉとし、画素Ｐ（ボールド体）＊ｉの輝度をＩ＊（ｐ（ボールド体）＊ｉ）とする。
【００５２】
局所的ホモグラフィー行列を想定するため、現在の画像データにおける画像の領域は、過去の画像データにおける画像の領域の近傍に存在すると仮定できる。よって、現在の画像データにおける画像の領域と、過去の画像データにおける画像の領域との光量の変化は少ないと仮定でき、下記の式（７）の近似式を用いることができる。ただし、Ｇ（ボールド体）（オーバーバー）は、現在の画像データに対応する局所的ホモグラフィー行列であり、Ｇ（ボールド体）（ハット）は、過去の画像データに対応する局所的ホモグラフィー行列であり、Ｇ（ボールド体）（ｘ（ボールド体））は、変換行列である。
【００５３】
【数７】
【００５４】
変換行列Ｇ（ボールド体）（ｘ（ボールド体））におけるｘ（ボールド体）は、変換行列Ｇ（ボールド体）（ｘ（ボールド体））のパラメータであり、下記の式（８）のように表される。
【００５５】
【数８】
【００５６】
変換行列Ｇ（ボールド体）（ｘ（ボールド体））はリー群に属し、単位行列Ｉ（ボールド体）の近傍に存在する。ここで、行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までを下記の式（９）のとおりとする。
【００５７】
【数９】
【００５８】
式（９）における行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までは、リー代数の基底である。これら行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までを用いて、リー代数に属する零行列の近傍に存在する行列Ａ（ボールド体）（ｘ（ボールド体））を下記の式（１０）のように表す。
【００５９】
【数１０】
【００６０】
リー群に属する単位行列Ｉ（ボールド体）の近傍に存在する変換行列Ｇ（ボールド体）（ｘ（ボールド体））と、リー代数に属する零行列の近傍に存在する行列Ａ（ボールド体）（ｘ（ボールド体））との関係は、指数関数を用いて下記の式（１１）として表すことができる。
【００６１】
【数１１】
【００６２】
現在の画像データに対応する局所的ホモグラフィー行列Ｇ（ボールド体）（オーバーバー）を用いて画素Ｐ（ボールド体）＊ｉを透視投影変換する。すなわち、画素Ｐ（ボールド体）＊ｉに対応する画素Ｐ（ボールド体）ｉの輝度は、前記の式（５）および式（７）により、下記の式（１２）のように表される。
【００６３】
【数１２】
【００６４】
よって、対応する画素同士の輝度の差ｙｉ（ｘ（ボールド体））は、下記の式（１３）のように表される。
【００６５】
【数１３】
【００６６】
過去および現在の画像データにおける全ての画素同士の輝度の差をまとめて、下記の式（１４）のように表す。
【００６７】
【数１４】
【００６８】
局所的ホモグラフィー行列計算部３４は、式（１４）において、ｘ（ボールド体）＝ｘ（ボールド体）０のときにｙ（ボールド体）（ｘ（ボールド体））が下記の式（１５）となるｘ（ボールド体）０を計算する。局所的ホモグラフィー行列計算部３４は、ｘ（ボールド体）０をフィードバックさせて繰り返し計算して収束させる。この収束方法として、例えば、公知のＥＳＭ（Ｅｆｆｉｃｉｅｎｔ Ｓｅｃｏｎｄ−ｏｒｄｅｒ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ）を適用できる。
【００６９】
【数１５】
【００７０】
局所的ホモグラフィー行列計算部３４は、計算したｘ（ボールド体）０を代入した変換行列Ｇ（ボールド体）（ｘ（ボールド体）０）と、過去の画像データに対応する局所的ホモグラフィー行列とを用いて、式（７）を適用して現在の画像データに対応する局所的ホモグラフィー行列を計算する。そして、局所的ホモグラフィー行列計算部３４は、この計算した現在の画像データに対応する局所的ホモグラフィー行列を、画像データ変換部３３に供給するとともに局所的ホモグラフィー行列記憶部３５に記憶させる。
【００７１】
局所的ホモグラフィー行列記憶部３５は、局所的ホモグラフィー行列計算部３４から供給される現在の画像データに対応する局所的ホモグラフィー行列を記憶する。局所的ホモグラフィー行列記憶部３５は、例えば書き込み可能なメモリーで実現される。
【００７２】
特徴点抽出部３９は、画像データ取得部３１から供給される現在の画像データを取り込むとともに、参照画像記憶部３８から参照画像データを読み込む。そして、特徴点抽出部３９は、現在の画像データと参照画像データとから画像の特徴点を抽出し、現在画像と参照画像との特徴点の相対位置を計算する。特徴点抽出部３９は、例えば、画像の画素の輝度の変化率が所定値を超える箇所を特徴点として抽出する。また、特徴点抽出部３９は、複数の画素を含む小領域ごとに輝度のガウス分布の状態を調べ、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を求めて特徴点を抽出してもよい。
特徴量抽出部３９は、計算した相対位置の情報を大域的ホモグラフィー行列計算部４０に供給する。
【００７３】
大域的ホモグラフィー行列計算部４０は、特徴点抽出部３９から供給される、現在画像と参照画像との特徴点の相対位置の情報を取り込む。大域的ホモグラフィー行列計算部４０は、これら現在画像と参照画像との特徴点の相対位置の情報に基づいて、現在の画像データに対応する大域的ホモグラフィー行列を計算し、この大域的ホモグラフィー行列を大域的ホモグラフィー行列記憶部３７に記憶させる。
【００７４】
大域的ホモグラフィー行列記憶部３７は、大域的ホモグラフィー行列計算部４０から供給される現在の画像データに対応する大域的ホモグラフィー行列を記憶する。大域的ホモグラフィー行列記憶部３７は、例えば書き込み可能なメモリーで実現される。
【００７５】
ホモグラフィー行列転送部３６は、画像相関分析部３２の切り替え制御に応じて、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列と、大域的ホモグラフィー行列記憶部３７に記憶された最新の大域的ホモグラフィー行列とのいずれかを読み込んで、外部に出力可能に保持する。具体的には、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、局所的ホモグラフィー行列の転送制御指示を取り込むと、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列を読み込む。また、ホモグラフィー行列転送部３６は、大域的ホモグラフィー行列の転送制御指示を取り込むと、大域的ホモグラフィー行列記憶部３７に記憶された、最新の大域的ホモグラフィー行列を読み込む。ホモグラフィー行列転送部３６は、読み込んだ現在の画像データに対応する局所的ホモグラフィー行列または最新の大域的ホモグラフィー行列を、局所的ホモグラフィー行列データとして外部に出力可能に保持する。
【００７６】
ホモグラフィー行列取得装置３０において、局所的ホモグラフィー行列計算部３４と局所的ホモグラフィー行列記憶部３５とは、局所的ホモグラフィー行列取得部である。また、大域的ホモグラフィー行列計算部４０と大域的ホモグラフィー行列記憶部３７とは、大域的ホモグラフィー行列取得部である。
【００７７】
次に、ホモグラフィー行列取得装置３０の動作について説明する。
図４は、ホモグラフィー行列取得装置３０の、局所的ホモグラフィー行列の計算処理を含む処理の手順を表すフローチャートである。また、図５は、ホモグラフィー行列取得装置３０の、大域的ホモグラフィー行列の計算処理の手順を表すフローチャートである。本実施形態では、ホモグラフィー行列取得装置３０は、図４のフローチャートに示される処理と、図５のフローチャートに示される処理とを、それぞれ独立したスレッドで並列に実行する。
【００７８】
まず、図４のフローチャートについて説明する。ステップＳ１０１において、画像データ取得部３１は、検査ロボット装置１０の撮像装置１１が出力する画像データ（現在の画像データ；第１の画像データ）を取り込むと、この取り込んだ現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。
【００７９】
次に、ステップＳ１０２において、局所的ホモグラフィー行列計算部３４は、画像データ取得部３１から供給される現在の画像データを取り込むと、参照画像記憶部３８から参照画像データを読み込むとともに、ホモグラフィー行列転送部３６から過去の画像データ（第２の画像データ）に対応する局所的ホモグラフィー行列を取り込む。
【００８０】
次に、ステップＳ１０３において、局所的ホモグラフィー行列計算部３４は、過去の画像データに対応する局所的ホモグラフィー行列に基づいて現在の画像データに対応する局所的ホモグラフィー行列を求めるための変換行列を計算する。次に、局所的ホモグラフィー行列計算部３４は、計算した変換行列と過去の画像データに対応する局所的ホモグラフィー行列とを用いて現在の画像データに対応する局所的ホモグラフィー行列を計算する。次に、局所的ホモグラフィー行列計算部３４は、この計算した局所的ホモグラフィー行列を、画像データ変換部３３に供給するとともに局所的ホモグラフィー行列記憶部３５に記憶させる。
【００８１】
次に、ステップＳ１０４において、画像データ変換部３３は、局所的ホモグラフィー行列計算部３４から供給された現在の画像データに対応する局所的ホモグラフィー行列と、画像データ取得部３１から供給された現在の画像データとを取り込む。次に、画像データ変換部３３は、現在の画像データに対応する局所的ホモグラフィー行列を用いて現在の画像データを変換して変換画像データを生成し、この変換画像データを画像相関分析部３２に供給する。次に、画像相関分析部３２は、画像データ変換部３３から供給された変換画像データと、参照画像記憶部３８から読み出した参照画像データとを取り込む。次に、画像相関分析部３２は、変換画像データの画像（変換画像）と参照画像データの画像（参照画像）との画像相関を、例えば正規化相互相関により計算し、変換画像と参照画像との類似度を求める。
【００８２】
次に、ステップＳ１０５において、画像相関分析部３２は、画像相関を計算して得た類似度と、あらかじめ記憶した閾値とを比較し、類似度が閾値よりも大きいと判定した場合は、局所的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給してステップＳ１０６の処理に移る（Ｓ１０５：ＹＥＳ）。一方、画像相関分析部３２は、類似度が閾値以下であると判定した場合は、大域的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給してステップＳ１０７の処理に移る（Ｓ１０５：ＮＯ）。
【００８３】
ステップＳ１０６において、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、局所的ホモグラフィー行列の転送制御指示を取り込む。次に、ホモグラフィー行列転送部３６は、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列を読み込んで外部に出力可能に保持する。
ステップＳ１０６の処理が終了するとステップＳ１０１の処理に戻る。
【００８４】
一方、ステップＳ１０７において、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、大域的ホモグラフィー行列の転送制御指示を取り込む。次に、ホモグラフィー行列転送部３６は、大域的ホモグラフィー行列記憶部３７から最新の大域的ホモグラフィー行列を読み込む。
【００８５】
次に、ステップＳ１０８において、ホモグラフィー行列転送部３６は、読み込んだ最新の大域的ホモグラフィー行列を外部に出力可能に保持する。
ステップＳ１０８の処理が終了するとステップＳ１０１の処理に戻る。
【００８６】
次に、図５のフローチャートについて説明する。ステップＳ２０１において、画像データ取得部３１は、図４のステップＳ１０１の処理において局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレートで、検査ロボット装置１０の撮像装置１１が出力する画像データ（現在の画像データ）を取り込むと、その現在の画像データを特徴点抽出部３９に供給する。
【００８７】
次に、ステップＳ２０２において、特徴点抽出部３９は、画像データ取得部３１から供給される現在の画像データを取り込むとともに、参照画像記憶部３８から参照画像データを読み込む。次に、特徴点抽出部３９は、現在の画像データと参照画像データとから画像の特徴点を抽出して現在画像と参照画像との特徴点の相対位置を計算し、これら特徴点の相対位置の情報を大域的ホモグラフィー行列計算部４０に供給する。
【００８８】
次に、ステップＳ２０３において、大域的ホモグラフィー行列計算部４０は、特徴点抽出部３９から供給される、現在画像と参照画像との特徴点の相対位置の情報を取り込む。次に、大域的ホモグラフィー行列計算部４０は、これら現在画像と参照画像との特徴点の相対位置の情報に基づいて、現在の画像データに対応する大域的ホモグラフィー行列を計算する。
【００８９】
次に、ステップＳ２０４において、大域的ホモグラフィー行列計算部４０は、計算した大域的ホモグラフィー行列を、大域的ホモグラフィー行列記憶部３７に記憶させる。
ステップＳ２０４の処理が終了するとステップＳ２０１の処理に戻る。
【００９０】
図４のフローチャートにおいて、ホモグラフィー行列取得装置３０がステップＳ１０１からステップＳ１０６までを繰り返す処理は、例えば、撮像装置１１から供給される画像データのフレームレートが１２０フレーム／秒である場合、そのフレームレートと同一のレートで処理する。一方、図５のフローチャートにおいて、ホモグラフィー行列取得装置３０がステップＳ２０１からステップＳ２０４までを繰り返す処理は、１２０フレーム／秒のフレームレートよりも低いレート（例えば、２０フレーム／秒または３０フレーム／秒）で処理する。
【００９１】
よって、ホモグラフィー行列転送部３６が、大域的ホモグラフィー行列記憶部３７から現在の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶する処理（図４のステップＳ１０７およびステップＳ１０８の処理）を実行することにより、時間的には若干遅れた大域的ホモグラフィー行列が記憶されることになる。しかし、この若干の時間遅れは、トラッキングのリアルタイム性に影響を及ぼすものではない。
【００９２】
次に、ロボット制御装置４５の動作について説明する。図６は、ロボット制御装置４５の処理手順を表すフローチャートである。同図のフローチャートの処理は、例えば、図４のステップＳ１０６およびステップＳ１０８の処理の次（ステップＳ１０１に戻る前）に実行されるものである。
まず、ステップＳ３０１において、ロボット制御装置４５は、ホモグラフィー行列取得装置３０から現在の画像データに対応するホモグラフィー行列データ、言い換えると、最新のホモグラフィー行列データを取り込む。
【００９３】
次に、ステップＳ３０２において、ロボット制御装置４５は、取り込んだホモグラフィー行列に基づいて検査ロボット装置１０のアーム先端の移動速度、つまり撮像装置１１の移動速度を計算する。
移動速度は、次のようにして計算することができる。三次元空間における撮像装置１１の座標系Ｆ＊と移動先における撮像装置１１の座標系Ｆとにおける、並進ベクトルの差分ｅ（ボールド体）νと、回転ベクトルの差分ｅ（ボールド体）ωとは、下記の式（１６）のように表される。
【００９４】
【数１６】
【００９５】
式（１６）により、差分を無くす方向に検査ロボット装置１０のアーム先端を移動させればよいため、撮像装置１１の移動速度は、下記の式（１７）のように表される。ただし、νは並進の速度、ωは回転の速度である。
【００９６】
【数１７】
【００９７】
次に、ステップＳ３０３において、ロボット制御装置４５は、撮像装置１１の速度に基づいて、ロボット本体１２の各関節の移動速度（並進速度および回転速度）を計算する。関節とは、支持台１２ａとアーム部１２ｂとの連結部分、アーム部１２ｂ同士の連結部分、およびアーム部１２ｂとハンド部１２ｃとの連結部分である。
ロボット本体１２の各関節の移動速度は、ヤコビ行列を用いて下記の式（１８）を計算することにより求めることができる。ただし、Ｊ（ボールド体）（ハット）−１は、ヤコビ行列Ｊ（ボールド体）（ハット）の逆行列である。
【００９８】
【数１８】
【００９９】
つぎに、ステップＳ３０４において、ロボット制御装置４５は、ロボット本体１２の各関節の移動速度（並進速度および回転速度）に基づいてロボット本体１２のアーム部１２ｂおよびハンド部１２ｃを制御して動作させる。
【０１００】
一般的に、変換行列を計算してホモグラフィー行列を求める処理は、画像の特徴点を抽出して特徴点の相対位置を計算しこれら特徴点の相対位置によってホモグラフィー行列を求める処理よりもトラッキングの安定性（精度）が低い一方、処理負荷が大幅に軽い。また、変換行列の計算精度は、変換行列を計算するための空間領域が狭い（並進が少なく且つ回転が小さい）ほど高い。
よって、変換行列を計算しホモグラフィー行列を求めて記憶する処理を、変換画像と参照画像との画像相関が高い場合に限ることにより、トラッキングの高い安定性（高い精度）を確保することができる。
したがって、本実施形態では、変換画像と参照画像との画像相関が高い場合は、比較的処理負荷の軽い計算処理による局所的ホモグラフィー行列を出力可能に記憶し、変換画像と参照画像との画像相関が低い場合は、比較的処理負荷の重い大域的ホモグラフィー行列を出力可能に記憶するようにした。
【０１０１】
以上により、本実施形態によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、追跡ロボット装置において、検査対象物体の外観検査時間を短くするためにロボット本体１２の移動速度を速くした場合でも、トラッキングの誤認識が発生せず信頼性の高い外観検査を行うことができる。
【０１０２】
［実施形態の第１の変形例］
上述した実施形態の第１変形例について説明する。本第１変形例は、ホモグラフィー行列取得装置３０をハンディータイプのビデオカメラ装置に適用した例である。このビデオカメラ装置は、撮影中にフレーム画像から人物の顔の領域を検出し、その顔領域にピントを自動で合わせる機能を有するものである。
【０１０３】
図７は、本第１変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。同図に示すように、ビデオカメラ装置２は、ホモグラフィー行列取得装置３０と、レンズ光学系５０と、撮像部６０と、ピント調節量計算部７０と、ピント調節部８０と、画像記録奉９０とを備える。
【０１０４】
レンズ光学系５０は、被写体から到来する光束を集光する。レンズ光学系５０は、対物レンズや集束レンズ等のレンズ群を含んで構成される。
撮像部６０は、固体撮像素子を備え、レンズ光学系５０を通して集光された光束をその固体撮像素子で撮像する。固体撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。撮像部６０は、例えば１２０フレーム／秒のフレームレートで動画を撮像し、画像データを連続的にホモグラフィー行列取得装置３０および画像記録部９０それぞれに供給する。
画像記録部９０は、撮像部６０が出力する画像データを、例えば、磁気ハードディスクやメモリーカード等の記録媒体に記録する。
【０１０５】
ホモグラフィー行列取得装置３０は、前述した一実施形態によるものと同様のものである。ただし、本第１変形例においては、ホモグラフィー行列取得装置３０の参照画像記憶部３８には、図７には図示しない顔検出処理部が画像データから検出した人物の顔画像データが記憶される。また、ホモグラフィー行列取得装置３０の画像相関分析部３２は、画像データにおける人物の顔が含まれる小領域（例えば、矩形領域）を用いて画像相関を計算する。ホモグラフィー行列取得装置３０は、参照画像記憶部３８に記憶された人物の顔画像データと、画像データにおける矩形領域の顔画像データとに基づいて、局所的ホモグラフィー行列および大域的ホモグラフィー行列を計算して記憶する。
【０１０６】
ピント調節量計算部７０は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込む。そして、ピント調節量計算部７０は、取り込んだホモグラフィー行列データに基づいてピントを調節すべき画像領域（矩形領域）を特定し、その画像領域に対応する被写体の部位に対するピント調節量を計算する。このピント調節量の計算方法は、公知のオートフォーカス技術による。ピント調節量計算部７０は、計算したピント調節量データをピント調節部８０に供給する。
ピント調節部８０は、ピント調節量計算部７０から供給されるピント調節量データに基づいて、ピントを調節すべき画像領域に対応する被写体の部位（人物の顔）に対するピントを調整する。
【０１０７】
以上により、本第１の変形例によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、ハンディータイプのビデオカメラ装置において、人物の顔が速く移動した場合でも、トラッキングの誤認識が発生せず信頼性の高い自動ピント調節を行うことができる。
【０１０８】
［実施形態の第２の変形例］
前述した実施形態の第２変形例について説明する。本第２変形例は、ホモグラフィー行列取得装置３０を自動姿勢調整可能なビデオカメラ装置に適用した例である。このビデオカメラ装置は、例えばコンピューターのディスプレイ装置上またはその付近に設置されて使用されるものである。このように設置されて使用された場合、ビデオカメラ装置は、撮影中にフレーム画像からコンピューターの操作者である人物の顔の領域を検出し、その顔領域が画像フレームから外れないように当該ビデオカメラ装置の姿勢を調整する機能を有するものである。
【０１０９】
図８は、本第２変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。同図に示すように、ビデオカメラ装置３は、撮像システム１００と、ホモグラフィー行列取得装置３０と、姿勢調節量計算部１１０とを備える。
【０１１０】
撮像システム１００は、上述したように、被写体となる人物の顔を撮像可能なように設置される。撮像システム１００は、その機能構成として、撮像装置１０１と、姿勢調節部１０２とを備える。
撮像装置１０１は、例えば１２０フレーム／秒のフレームレートで動画を撮像し、撮像データである画像データを連続的にホモグラフィー行列取得装置３０に供給するとともに、外部（例えば、コンピューター）に供給する。
姿勢調節部１０２は、姿勢調節量計算部１１０から供給される姿勢調節量データに基づいて、撮像装置１０１の姿勢、つまり撮像方向を調節する。
【０１１１】
ホモグラフィー行列取得装置３０は、前述した一実施形態によるものと同様のものである。ただし、本第１変形例においては、ホモグラフィー行列取得装置３０の参照画像記憶部３８には、図８には図示しない顔検出処理部が画像データから検出した人物の顔画像データが記憶される。ホモグラフィー行列取得装置３０は、参照画像記憶部３８に記憶された人物の顔画像データと、撮像装置１０１から取り込む画像データとに基づいて、局所的ホモグラフィー行列および大域的ホモグラフィー行列を計算して記憶する。
【０１１２】
姿勢調節量計算部１１０は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込む。そして、姿勢調節量計算部７０は、取り込んだホモグラフィー行列データに基づいて、人物の顔の位置をフレーム画像の中央に一致させるようにフレーム画像の移動方向を特定し、その方向にフレーム画像が移動するように撮像装置１０１の姿勢の調節量を計算する。姿勢調節量計算部１１０は、計算した姿勢調節量データを撮像システム１００の姿勢調節部１０２に供給する。
【０１１３】
以上により、本第２の変形例によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、自動姿勢調整可能なビデオカメラ装置において、人物の顔が速く移動した場合でも、トラッキングの誤認識が発生せず信頼性の高いビデオカメラ装置の姿勢制御を行うことができる。
【０１１４】
なお、上述した一実施形態である追跡ロボット装置の一部、例えば、ホモグラフィー行列取得装置３０およびロボット制御装置４５の機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するための追跡ロボット制御プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録された追跡ロボット制御プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。
【０１１５】
また、同様に、ホモグラフィー行列取得装置３０のみの機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するためのホモグラフィー行列取得プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたホモグラフィー行列取得プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。
【０１１６】
なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺装置のハードウェアを含むものである。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリーカード等の可搬型記録媒体、コンピューターシステムに内蔵される磁気ハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバー装置やクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【０１１７】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１８】
１ 外観検査装置
１０ 検査ロボット装置
１１ 撮像装置
１２ ロボット本体
１２ａ 支持台
１２ｂ アーム部
１２ｃ ハンド部
２０ 画像解析装置
３０ ホモグラフィー行列取得装置
３１ 画像データ取得部
３２ 画像相関分析部
３３ 変換行列計算部
３４ 局所的ホモグラフィー行列計算部
３５ 局所的ホモグラフィー行列記憶部
３６ ホモグラフィー行列転送部
３７ 大域的穂葎フィー行列記憶部
３８ 参照画像記憶部
３９ 特徴点抽出部
４０ 大域的ホモグラフィー行列計算部
４５ ロボット制御装置
５０ レンズ光学系
６０ 撮像部
７０ ピント調節量計算部
８０ ピント調節部
９０ 画像記録部
１００ 撮像システム
１０１ 撮像装置
１０２ 姿勢調節部
１１０ 姿勢調節量計算部
【特許請求の範囲】
【請求項１】
可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、
前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部と、
前記検査対象物体の参照画像データを記憶する参照画像記憶部と、
前記撮像部が出力した画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、
を備えることを特徴とする追跡ロボット装置。
【請求項２】
前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める
ことを特徴とする請求項１記載の追跡ロボット装置。
【請求項３】
前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する
ことを特徴とする請求項２記載の追跡ロボット装置。
【請求項４】
可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体の前記ハンド部に設けられた撮像部が、検査対象物体を撮像して画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力した画像データを取り込む画像データ取得ステップと、
前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、
前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、
前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、
前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、
前記ホモグラフィー行列転送ステップにおいて前記記憶部に記憶した、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして前記記憶部から読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御ステップと、
を有することを特徴とする追跡ロボット制御方法。
【請求項５】
前記画像相関分析ステップは、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める
ことを特徴とする請求項４記載の追跡ロボット制御方法。
【請求項６】
前記局所的ホモグラフィー行列取得ステップは、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得ステップにおいて記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する
ことを特徴とする請求項５記載の追跡ロボット制御方法。
【請求項７】
可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部とを制御するための、前記検査対象物体の参照画像データを記憶する参照画像記憶部を備えたコンピューターを、
前記撮像部が出力した画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、
として機能させる追跡ロボット制御プログラム。
【請求項８】
前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める
請求項７記載の追跡ロボット制御プログラム。
【請求項９】
前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する
請求項８記載の追跡ロボット制御プログラム。
【請求項１０】
参照画像データを記憶する参照画像記憶部と、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
を備えることを特徴とするホモグラフィー行列取得装置。
【請求項１１】
画像データを取り込む画像データ取得ステップと、
前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、
前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、
前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、
前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、
を有することを特徴とするホモグラフィー行列取得方法。
【請求項１２】
参照画像データを記憶する参照画像記憶部を備えたコンピューターを、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
として機能させるホモグラフィー行列取得プログラム。
【請求項１】
可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、
前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部と、
前記検査対象物体の参照画像データを記憶する参照画像記憶部と、
前記撮像部が出力した画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、
を備えることを特徴とする追跡ロボット装置。
【請求項２】
前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める
ことを特徴とする請求項１記載の追跡ロボット装置。
【請求項３】
前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する
ことを特徴とする請求項２記載の追跡ロボット装置。
【請求項４】
可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体の前記ハンド部に設けられた撮像部が、検査対象物体を撮像して画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力した画像データを取り込む画像データ取得ステップと、
前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、
前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、
前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、
前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、
前記ホモグラフィー行列転送ステップにおいて前記記憶部に記憶した、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして前記記憶部から読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御ステップと、
を有することを特徴とする追跡ロボット制御方法。
【請求項５】
前記画像相関分析ステップは、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める
ことを特徴とする請求項４記載の追跡ロボット制御方法。
【請求項６】
前記局所的ホモグラフィー行列取得ステップは、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得ステップにおいて記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する
ことを特徴とする請求項５記載の追跡ロボット制御方法。
【請求項７】
可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部とを制御するための、前記検査対象物体の参照画像データを記憶する参照画像記憶部を備えたコンピューターを、
前記撮像部が出力した画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、
として機能させる追跡ロボット制御プログラム。
【請求項８】
前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める
請求項７記載の追跡ロボット制御プログラム。
【請求項９】
前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する
請求項８記載の追跡ロボット制御プログラム。
【請求項１０】
参照画像データを記憶する参照画像記憶部と、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
を備えることを特徴とするホモグラフィー行列取得装置。
【請求項１１】
画像データを取り込む画像データ取得ステップと、
前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、
前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、
前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、
前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、
を有することを特徴とするホモグラフィー行列取得方法。
【請求項１２】
参照画像データを記憶する参照画像記憶部を備えたコンピューターを、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
として機能させるホモグラフィー行列取得プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８６２８５（Ｐ２０１２−８６２８５Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３２９６１（Ｐ２０１０−２３２９６１）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り Ｔｈｅ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｔｈｅ Ａｄｖａｎｃｅｄ Ｍｅｃｈａｔｒｏｎｉｃｓ（ＩＣＡＭ２０１０），Ｏｓａｋａ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｉｔａ，Ｏｓａｋａ，Ｊａｐａｎ Ｏｃｔｏｂｅｒ ４−６，２０１０
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り Ｔｈｅ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｔｈｅ Ａｄｖａｎｃｅｄ Ｍｅｃｈａｔｒｏｎｉｃｓ（ＩＣＡＭ２０１０），Ｏｓａｋａ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｉｔａ，Ｏｓａｋａ，Ｊａｐａｎ Ｏｃｔｏｂｅｒ ４−６，２０１０
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]