対象物の位置検出装置及び位置検出方法
【課題】入力画像の撮影環境が変化しても、対象物の位置検出精度を向上できると共に、該対象物の位置を短時間で(高速に)検出する。
【解決手段】位置検出装置10は、複数の異なる閾値を用いて入力画像の前処理を行って複数の前処理画像に変換する入力画像前処理部18と、各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行って、各前処理画像に写っている孔の位置を検出すると共に、該各位置における各前処理画像と参照画像との各相関値を算出するテンプレートマッチング処理部24と、各相関値を比較し、最大の相関値に対応する孔の位置を入力画像に写っている孔の位置として出力する相関値比較処理部28とを備える。
【解決手段】位置検出装置10は、複数の異なる閾値を用いて入力画像の前処理を行って複数の前処理画像に変換する入力画像前処理部18と、各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行って、各前処理画像に写っている孔の位置を検出すると共に、該各位置における各前処理画像と参照画像との各相関値を算出するテンプレートマッチング処理部24と、各相関値を比較し、最大の相関値に対応する孔の位置を入力画像に写っている孔の位置として出力する相関値比較処理部28とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像と参照画像とのテンプレートマッチングにより前記入力画像に写っている対象物の位置を検出する位置検出装置及び位置検出方法に関する。
【背景技術】
【0002】
従来より、カメラ等の撮像手段により撮影された撮影画像(入力画像)と、該入力画像と比較するために予め撮影された適切な露光量の撮影画像(参照画像)との相関値を算出し、算出した前記相関値に基づいて前記入力画像に写っている対象物の位置を検出するテンプレートマッチングが広く知られている。この場合、前記入力画像を撮影するための露光条件等が変化すると前記相関値を精度よく算出することができなくなり、前記対象物の位置検出精度が低下するおそれがある。
【0003】
そこで、特許文献1には、撮影環境が変化しても対象物の検出率が低下しないように、照度に応じて前記対象物を検出するための検出パラメータを補正することで、前記撮影環境の変化に対応することが提案されている。
【0004】
また、特許文献2には、参照画像と撮影時間等の情報とを結び付けたデータベースを予め作成し、前記情報を参照して入力画像に対する前処理を行った後に、前記参照画像と前記前処理後の入力画像とのテンプレートマッチングを行うことが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−209277号公報
【特許文献2】特開2003−271956号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1及び2の技術では、予め想定した入力画像の撮影状況に対応して検出パラメータやデータベースを作成する必要があるので、これらの情報の作成に手間がかかる。また、想定していない撮影状況で撮影された入力画像が得られた場合には、該入力画像に対処することができない。
【0007】
このような問題について、図31〜図37Bを参照しながら具体的に説明する。
【0008】
ここでは、図31に示すように、例えば、対象物としての孔が形成されたワークを撮影して得た撮影画像(入力画像200、参照画像210)のテンプレートマッチングについて説明する。従って、入力画像200及び参照画像210は、同じワークを撮影することにより得た撮影画像であり、参照画像210は、適切な露光量で前記ワークを予め撮影した撮影画像である一方、入力画像200は、所定のシャッター速度及び露光量で前記ワークを撮影した撮影画像である。なお、説明の便宜上、入力画像200に写っている前記ワークの参照数字を204とし、黒色で図示した前記孔の参照数字を202とする。また、参照画像210についても、前記ワークの参照数字を214とし、黒色で図示した前記孔の参照数字を212として表記する。
【0009】
この場合、テンプレートマッチングでは、先ず、参照画像210から孔212を抽出した小さな参照画像220を形成し、この参照画像220により入力画像200を行方向に順次スキャンしながら、入力画像200と参照画像220との相関を取る。この場合、孔202を参照画像220(の孔212)でスキャンしたときの相関値は、入力画像200における最大の相関値となるので、該最大の相関値に対応する位置が孔202の位置として検出(特定)される。
【0010】
ここで、図32A〜34Bに示すように、ワーク204が白色(図32A)、赤色(図33Aに示す縦線のハッチング)又は黒色(図34A)である場合に、図32A及び図32Bの例では、孔202とワーク204とのコントラスト(輝度差)が大きいので、参照画像220により入力画像200をスキャンすると、孔202、212の相関値が大きくなり、孔202の位置を検出しやすい。また、図33A及び図33Bの例では、図32A及び図32Bの例と比較して、孔202とワーク204とのコントラストが低下し、この結果、孔202、212の相関値も小さくなるが、孔202の位置を検出することは可能である。
【0011】
しかしながら、図34A及び図34Bの例では、孔202とワーク204とが略同じ黒色となるため、孔202とワーク204とのコントラストが大幅に低下して、孔202、212の相関値も小さくなり、この結果、孔202の位置を検出することが困難となる。
【0012】
また、図35A〜37Bの例に示すように、孔202に対してワーク204が白色である場合に、図35Aの入力画像200のシャッター速度を基準のシャッター速度としたときに、図35A及び図35Bと比較して、例えば、10倍のシャッター速度となる図36A及び図36Bの例では、ワーク204が全体的に暗くなって、孔202とワーク204とのコントラストが低下し、孔202、212の相関値も小さくなるが、孔202の位置検出は可能である。
【0013】
しかしながら、図35A及び図35Bと比較して、例えば、100倍のシャッター速度となる図37A及び図37Bの例では、ワーク204がさらに暗くなって、孔202とワーク204とが略同じ黒色となるため、孔202とワーク204とのコントラストが大幅に低下し、孔202、212の相関値も小さくなるので、孔202の位置を検出することが困難となる。
【0014】
このように、対象物としての孔202の周囲の色が変化した場合(例えば、ワーク204の色が白色、黒色、赤色、青色に変化した場合)や、孔202の位置を高速に(短時間で)検出するためにシャッター速度を上げた場合には、入力画像200の露光量が不足することに起因して、孔202とワーク204とのコントラストが変化すると共に、孔202、212の相関値が小さくなって、該孔202の位置検出精度が低下する。
【0015】
従って、入力画像200の撮影環境の変化(入力画像200の明るさや孔202周囲の色の違い)に起因して、入力画像200中の孔202とワーク204とのコントラストが変化しても、該孔202の位置を短時間で(高速に)且つ確実に検出できることが望まれている。
【0016】
本発明は、前記の問題に鑑みなされたものであり、入力画像の撮影環境が変化しても、対象物の位置検出精度を向上できると共に、該対象物の位置を短時間で(高速に)検出することができる位置検出装置及び位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【0017】
本発明に係る対象物の位置検出装置は、
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する入力画像前処理部と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング処理部と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理部と、
を備えることを特徴とする。
【0018】
また、本発明に係る対象物の位置検出方法は、
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する前処理工程と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の各位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング工程と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理工程と、
を備えることを特徴とする。
【0019】
これらの発明によれば、複数の異なる検出パラメータを用いて入力画像から変換された複数の前処理画像と参照画像とのテンプレートマッチングをそれぞれ行い、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力(特定)する。すなわち、前記各前処理画像を用いた各テンプレートマッチングに基づく各相関値を比較して、相関値が高い方の対象物の位置を前記入力画像に写っている対象物の位置とみなす。
【0020】
これにより、前記入力画像の撮影環境の変化に起因して該入力画像中の対象物と該対象物の周囲とのコントラストが変化しても、前記撮影環境の変化に対する前記対象物の位置検出精度のロバスト性が向上するので、該対象物の位置を確実に検出できることが可能となる。
【0021】
従って、シャッター速度を上げることにより前記入力画像の露光量が不足した場合や、前記対象物の周囲の色が異なる場合でも、このような撮影環境の変化に応じて前処理画像を生成し、生成した前記前処理画像を用いてパターンマッチングを行うことにより、高い相関値が得られるので、対象物の位置を短時間で(高速に)且つ精度よく検出することができる。
【0022】
ここで、前記検出パラメータは、2値化処理の閾値であり、前記前処理では、複数の異なる前記閾値を用いて前記入力画像に対する前記2値化処理を行う。
【0023】
2値化処理を行うことで、前処理画像中の対象物と該対象物の周囲とのコントラストをより高くすることができるので、前記前処理画像及び参照画像を用いてテンプレートマッチングを行えば、より大きな相関値を得ることが可能となる。
【0024】
この場合、上記の位置検出装置は、前記参照画像に対する2値化処理を行い、前記2値化処理後の参照画像を前記テンプレートマッチング処理部に出力する参照画像前処理部をさらに備える。
【0025】
また、上記の位置検出方法は、前記参照画像に対して2値化処理を行い、前記2値化処理後の参照画像を出力する参照画像前処理工程をさらに備える。
【0026】
参照画像に対しても2値化処理を行うことで、テンプレートマッチングによって得られる相関値をさらに大きくすることができる。
【0027】
また、上記の位置検出装置は、前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理部をさらに備え、前記入力画像前処理部は、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することが好ましい。
【0028】
また、上記の位置検出方法は、前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理工程をさらに備え、前記前処理工程では、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することが好ましい。
【0029】
変換処理画像を用いることで対象物と該対象物の周囲とのコントラストを容易に高くすることができる。
【0030】
また、上記の位置検出装置は、
前記テンプレートマッチング処理部で検出した前記各対象物の位置と、前記各相関値とを記憶する記憶部をさらに備え、
前記テンプレートマッチング処理部は、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を前記記憶部に記憶し、
前記相関値比較処理部は、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力してもよい。
【0031】
また、上記の位置検出方法は、
前記テンプレートマッチング工程では、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を記憶部に記憶し、
前記相関値比較処理工程では、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力してもよい。
【0032】
記憶部に複数の対象物の位置及び相関値を記憶しておき、その中から最大の相関値に対応する対象物の位置を入力画像に写っている対象物の位置とみなすことで、当該対象物の位置検出をより確実に行うことができる。
【0033】
また、上記の位置検出装置において、前記テンプレートマッチング処理部は、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出してもよい。
【0034】
また、上記の位置検出方法において、前記テンプレートマッチング工程では、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出してもよい。
【0035】
入力画像と参照画像とのテンプレートマッチングも併せて行うことで、当該対象物の位置検出を一層確実に行うことができる。
【発明の効果】
【0036】
本発明によれば、複数の異なる検出パラメータを用いて入力画像から変換された複数の前処理画像と参照画像とのテンプレートマッチングをそれぞれ行い、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力(特定)する。すなわち、前記各前処理画像を用いた各テンプレートマッチングに基づく各相関値を比較して、相関値が高い方の対象物の位置を前記入力画像に写っている対象物の位置とみなす。
【0037】
これにより、前記入力画像の撮影環境の変化に起因して該入力画像中の対象物と該対象物の周囲とのコントラストが変化しても、前記撮影環境の変化に対する前記対象物の位置検出精度のロバスト性が向上するので、該対象物の位置を確実に検出できることが可能となる。
【0038】
従って、シャッター速度を上げることにより前記入力画像の露光量が不足した場合や、前記対象物の周囲の色が異なる場合でも、このような撮影環境の変化に応じて前処理画像を生成し、生成した前記前処理画像を用いてパターンマッチングを行うことにより、高い相関値が得られるので、対象物の位置を短時間で(高速に)且つ精度よく検出することができる。
【図面の簡単な説明】
【0039】
【図1】本実施形態に係る対象物の位置検出装置のブロック図である。
【図2】図2Aは、入力画像の説明図であり、図2Bは、図2Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図2Cは、図2Aの入力画像を2値化処理して得た画像の説明図である。
【図3】図3Aは、図2Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図3Bは、図3Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図3Cは、図3Aの変換処理画像を2値化処理して得た画像の説明図である。
【図4】図4Aは、図2Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図4Bは、図4Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図4Cは、図4Aの変換処理画像を2値化処理して得た画像の説明図である。
【図5】図5Aは、入力画像の説明図であり、図5Bは、図5Aの入力画像を2値化処理して得た画像の説明図であり、図5Cは、図5Bの画像をスキャンしたときの相関値のグラフである。
【図6】図6Aは、図5Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図6Bは、図6Aの変換処理画像を2値化処理して得た画像の説明図であり、図6Cは、図6Bの画像をスキャンしたときの相関値のグラフである。
【図7】図7Aは、図5Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図7Bは、図7Aの変換処理画像を2値化処理して得た画像の説明図であり、図7Cは、図7Bの画像をスキャンしたときの相関値のグラフである。
【図8】図8Aは、入力画像の説明図であり、図8Bは、図8Aの入力画像を2値化処理して得た画像の説明図であり、図8Cは、図8Bの画像をスキャンしたときの相関値のグラフである。
【図9】図9Aは、図8Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図9Bは、図9Aの変換処理画像を2値化処理して得た画像の説明図であり、図9Cは、図9Bの画像をスキャンしたときの相関値のグラフである。
【図10】図10Aは、図8Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図10Bは、図10Aの変換処理画像を2値化処理して得た画像の説明図であり、図10Cは、図10Bの画像をスキャンしたときの相関値のグラフである。
【図11】図11Aは、入力画像の説明図であり、図11Bは、図11Aの入力画像をグレースケール処理して得た画像の説明図であり、図11Cは、図11Bの画像をスキャンしたときの相関値のグラフである。
【図12】図12Aは、図11Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図12Bは、図12Aの変換処理画像をグレースケール処理して得た画像の説明図であり、図12Cは、図12Bの画像をスキャンしたときの相関値のグラフである。
【図13】図13Aは、図11Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図13Bは、図13Aの変換処理画像をグレースケール処理して得た画像の説明図であり、図13Cは、図13Bの画像をスキャンしたときの相関値のグラフである。
【図14】図1の位置検出装置の動作を説明するためのフローチャートである。
【図15】図14の処理の一部を変更したフローチャートである。
【図16】孔が形成された白色のワークを撮影した入力画像を2値化処理して得た画像の説明図である。
【図17】図17Aは、孔が形成された赤色のワークを撮影した入力画像を2値化処理して得た画像の説明図であり、図17B〜図17Dは、前記入力画像の変換処理画像を2値化処理して得た画像の説明図である。
【図18】図18Aは、孔が形成された黒色のワークを撮影した入力画像を2値化処理して得た画像の説明図であり、図18B〜図18Fは、前記入力画像の変換処理画像を2値化処理して得た画像の説明図である。
【図19】図19Aは、入力画像の説明図であり、図19Bは、2値化処理に用いる閾値及び図19Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図19Cは、図19Bの閾値を用いて図19Aの入力画像を2値化処理して得た画像の説明図である。
【図20】図20Aは、2値化処理に用いる閾値及び図19Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図20Bは、図20Aの閾値を用いて図19Aの入力画像を2値化処理して得た画像の説明図である。
【図21】図21Aは、2値化処理に用いる閾値及び図19Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図21Bは、図21Aの閾値を用いて図19Aの入力画像を2値化処理して得た画像の説明図である。
【図22】図22Aは、入力画像の説明図であり、図22Bは、2値化処理に用いる複数の閾値及び図22Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図23】図23Aは、図22Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図23Bは、2値化処理に用いる複数の閾値及び図23Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図24】図24Aは、図22Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図24Bは、2値化処理に用いる複数の閾値及び図24Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図25】図25A〜図25Cは、図22Bの各閾値を用いて図22Aの入力画像を2値化処理して得た画像の説明図である。
【図26】図26A〜図26Cは、図23Bの各閾値を用いて図23Aの変換処理画像を2値化処理して得た画像の説明図である。
【図27】図27A〜図27Cは、図24Bの各閾値を用いて図24Aの変換処理画像を2値化処理して得た画像の説明図である。
【図28】図28Aは、孔が形成された白色のワークを撮影した入力画像の説明図であり、図28B〜図28Fは、異なる閾値を用いて図28Aの入力画像をそれぞれ2値化処理して得た画像の説明図である。
【図29】図29Aは、孔が形成された赤色のワークを撮影した入力画像の説明図であり、図29B〜図29Fは、異なる閾値を用いて図29Aの入力画像をそれぞれ2値化処理して得た画像の説明図である。
【図30】図30Aは、孔が形成された黒色のワークを撮影した入力画像の説明図であり、図30B〜図30Fは、異なる閾値を用いて図30Aの入力画像をそれぞれ2値化処理して得た画像の説明図である。
【図31】従来のテンプレートマッチングの説明図である。
【図32】図32Aは、孔が形成された白色のワークを撮影した入力画像の説明図であり、図32Bは、図32Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図33】図33Aは、孔が形成された赤色のワークを撮影した入力画像の説明図であり、図33Bは、図33Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図34】図34Aは、孔が形成された黒色のワークを撮影した入力画像の説明図であり、図34Bは、図34Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図35】図35Aは、孔が形成された白色のワークを撮影した入力画像の説明図であり、図35Bは、図35Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図36】図36Aは、図35Aの入力画像よりも高速のシャッター速度で撮影した入力画像の説明図であり、図36Bは、図36Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図37】図37Aは、図35A及び図36Aの各入力画像よりも高速のシャッター速度で撮影した入力画像の説明図であり、図37Bは、図37Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【発明を実施するための形態】
【0040】
本発明に係る対象物の位置検出装置について、位置検出方法との関連で、好適な実施形態を、図面を参照しながら説明する。
【0041】
本実施形態に係る対象物の位置検出装置(以下、位置検出装置ともいう。)10は、図1に示すように、入力画像取得部12、入力画像記憶部14、輝度変換処理部(画素パラメータ変換処理部)16、入力画像前処理部18、参照画像記憶部20、参照画像前処理部22、テンプレートマッチング処理部24、相関値・位置座標記憶部(記憶部)26及び相関値比較処理部28とを備えている。
【0042】
この場合、位置検出装置10は、一例として、車両のボディ等のワーク34(図2A参照)に形成された孔(対象物)32をカメラ等の撮像手段により所定のシャッター速度及び露光量で撮影して得た撮影画像(入力画像30)を用いて、該入力画像30に写り込んでいる孔32の位置を検出し、検出した孔32の位置に基づいて前記撮像手段を装着した図示しないロボットのアームを該孔32の位置にまで正確に移動させることにより、前記アームが把持するボルトを孔32に確実に挿通させるためのビジュアルサーボ技術に適用される。
【0043】
なお、図2A〜図13Cは、位置検出装置10内の処理を説明するための図面である。このうち、図2A〜図4Cは、輝度変換処理部16及び入力画像前処理部18での処理を説明するための図面であり、図5A〜図13Cは、輝度変換処理部16、入力画像前処理部18及びテンプレートマッチング処理部24での処理を説明するための図面である。また、図2A〜図7Cは、入力画像30がモノクロ画像である場合の処理を示す図面であり、図8A〜図13Cは、入力画像30がカラー画像(ワーク34が赤色であり縦線のハッチングで示す)である場合の処理を示す図面である。
【0044】
図1に戻り、入力画像取得部12は、前記撮像手段により撮影された入力画像30を取得して該入力画像30をA/D変換し、A/D変換した入力画像30を入力画像記憶部14に保存する。
【0045】
輝度変換処理部16は、入力画像記憶部14に記憶された入力画像30(図2A、図5A、図8A及び図11A参照)を読み出し、読み出した入力画像30を構成する各画素の輝度(画素パラメータ)を所定の倍率の輝度に変換することによって、より具体的には、各画素の輝度をそれぞれ所定回数加算又は積算することで、輝度変換後の入力画像30を変換処理画像50、70(図3A、図4A、図6A、図7A、図9A、図10A、図12A及び図13A参照)として入力画像前処理部18に出力する。
【0046】
なお、図3A、図6A、図9A及び図12Aの変換処理画像50は、図2A、図5A、図8A及び図11Aの入力画像30に対して1回の加算処理をそれぞれ行うことにより、該入力画像30に対して2倍の輝度となった変換処理画像である。また、図4A、図7A、図10A及び図13Aの変換処理画像70は、図2A、図5A、図8A及び図11Aの入力画像30に対して3回の加算処理をそれぞれ行うことにより、該入力画像30に対して4倍の輝度となった変換処理画像である。
【0047】
上記の説明では、入力画像30に対して所定回数の加算処理を行うことにより変換処理画像50が得られる場合について説明しているが、本実施形態では、これに限定されることはなく、入力画像30に対して所定回数の積算処理を行っても変換処理画像50を得ることができる。例えば、入力画像30に対する1回の積算処理により2倍の輝度の変換処理画像が得られ、2回の積算処理により4倍の輝度の変換処理画像が得られる。
【0048】
入力画像前処理部18は、入力画像30及び変換処理画像50、70に対してそれぞれ2値化処理を行うか、あるいは、グレースケール処理を行い、2値化処理後又はグレースケール処理後の入力画像40及び変換処理画像60、80(図2C、図3C、図4C、図5B、図6B、図7B、図8B、図9B、図10B、図11B、図12B及び図13B参照)をテンプレートマッチング処理部24に出力する。
【0049】
なお、前記2値化処理では、例えば、入力画像30に写っている孔32及びワーク34と、変換処理画像50に写っている孔52及びワーク54と、変換処理画像70に写っている孔72及びワーク74とについて、各孔32、52、72(の画素)の行における輝度のグラフが、図2B、図3B及び図4Bのようなグラフとなる場合に、一点鎖線で示す所定の閾値(検出パラメータ)よりも高輝度の画素を0(白色)とし、一方で、前記閾値よりも低輝度の画素を1(黒色)とする画像処理を、入力画像30及び変換処理画像50、70に対して行うことにより、図2C、図3C及び図4Cに示すような、孔42及びワーク44が写り込んだ入力画像40と、孔62及びワーク64が写り込んだ変換処理画像60と、孔82及びワーク84が写り込んだ変換処理画像80とをそれぞれ得る。
【0050】
また、グレースケール処理では、例えば、図11A、図12A及び図13Aの入力画像30及び変換処理画像50、70を構成する各画素の輝度を、グレースケール変換(0〜255の階調に変換)することにより、図11B、図12B及び図13Bの入力画像40及び変換処理画像60、80をそれぞれ得る。
【0051】
一方、参照画像記憶部20には、入力画像30に基づく入力画像40及び変換処理画像60、80と比較するために予め撮影された適切な露光量の撮影画像(参照画像90)が記憶されている。従って、入力画像30と参照画像90(図5B、図6B、図7B、図8B、図9B、図10B、図11B、図12B及び図13B参照)とは、同じ撮影対象としてのワーク34に形成された孔32を撮影して得た撮影画像である。なお、以下の説明では、入力画像30に写っている孔32と区別するために、参照画像90に写っている孔については、参照数字92を付けて説明する。
【0052】
参照画像前処理部22は、参照画像90に対して2値化処理を行うか、あるいは、グレースケール処理を行い、2値化処理後又はグレースケール処理後の参照画像90をテンプレートマッチング処理部24に出力する。
【0053】
テンプレートマッチング処理部24は、2値化処理後又はグレースケール処理後の入力画像40、変換処理画像60、80及び参照画像90が入力された場合に、2値化処理後又はグレースケール処理後の入力画像40と参照画像90とのテンプレートマッチングを行うことにより、入力画像40に写っている孔42の位置を検出すると共に、該位置における入力画像40と参照画像90との相関値を算出し、一方で、2値化処理後又はグレースケール処理後の変換処理画像60、80と参照画像90とのテンプレートマッチングを行うことにより、変換処理画像60、80に写っている孔62、82の位置を検出すると共に、該位置における変換処理画像60、80と参照画像90との相関値を算出する。
【0054】
この場合、テンプレートマッチング処理部24は、参照画像90で入力画像40、変換処理画像60、80を行方向に順次スキャンして、参照画像90と、入力画像40及び変換処理画像60、80との相関を取る。その際、孔42、62、82の位置(画素)をスキャンしたときの相関値は、それぞれ、入力画像40及び変換処理画像60、80の中で、最も大きな相関値となるので(図5C、図6C、図7C、図8C、図9C、図10C、図11C、図12C及び図13C参照)、テンプレートマッチング処理部24は、それぞれの入力画像40及び変換処理画像60、80で最大の相関値を算出し、その相関値に対応する画素(孔42、62、82の位置)を検出し、検出した孔42、62、82の位置と、該位置に対応する最大の相関値とを対応付けて相関値・位置座標記憶部26に記憶することができる。
【0055】
なお、テンプレートマッチングについては、特許文献2に具体的に記載されているので、本明細書では、その詳細な説明を省略する。
【0056】
相関値比較処理部28は、相関値・位置座標記憶部26に記憶されている入力画像40及び変換処理画像60、80中の最大の相関値と、その相関値に対応する孔42、62、82の位置とを読み出し、読み出した各最大の相関値のうち、最も大きな相関値に対応する孔の位置(図6C、図9C及び図12Cに示す相関値MAXに対応する孔62の位置)を、入力画像30に写っている孔32の位置とみなして(特定して)、外部に出力する。
【0057】
本実施形態に係る位置検出装置10は、基本的には以上のように構成されるものであり、次に、その動作(位置検出方法)につき、図14のフローチャートに従って説明する。
【0058】
先ず、撮像手段により撮影された入力画像30が入力画像取得部12に入力されると、入力画像取得部12は、入力画像30をA/D変換し、A/D変換後の入力画像30を入力画像記憶部14に記憶する(ステップS1)。
【0059】
次に、入力画像前処理部18は、入力画像記憶部14に記憶された入力画像30を輝度変換処理部16を介して読み出し、読み出した入力画像30に対する2値化処理又はグレースケール処理を行って、2値化処理後又はグレースケール処理後の入力画像40をテンプレートマッチング処理部24に出力する。一方、参照画像前処理部22は、参照画像記憶部20から参照画像90を読み出し、読み出した参照画像90に対する2値化処理又はグレースケール処理を行い、2値化処理後又はグレースケール処理後の参照画像90をテンプレートマッチング処理部24に出力する(ステップS2、前処理工程、入力画像前処理工程、参照画像前処理工程)。
【0060】
テンプレートマッチング処理部24は、2値化処理後又はグレースケール処理後の入力画像40及び参照画像90とのテンプレートマッチングを行うことにより、入力画像40に写っている孔42の位置を検出すると共に、該位置における入力画像40と参照画像90との相関値を算出し、入力画像40で最大の相関値である孔42の位置の相関値と、その相関値に対応する孔42の位置とを対応付けて相関値・位置座標記憶部26に記憶する(ステップS3、第1のテンプレートマッチング工程)。
【0061】
相関値比較処理部28は、相関値・位置座標記憶部26に記憶されている入力画像40の最大の相関値と、その相関値に対応する孔42の位置とを読み出し、読み出した相関値が所定の相関閾値以上であるか否かを判定する(ステップS4)。ステップS4において、読み出した相関値が前記相関閾値よりも小さい場合(ステップS4:NO)、相関値比較処理部28は、相関値が小さいために、孔42の位置が精度よく検出されていないと判断し、次に、変換処理画像60、80を用いたテンプレートマッチングを行うように、輝度変換処理部16、入力画像前処理部18及びテンプレートマッチング処理部24に指示を出す。
【0062】
これにより、輝度変換処理部16は、入力画像記憶部14に記憶された入力画像30を読み出し、読み出した入力画像30の輝度を所定回数加算又は積算することにより所定倍率の輝度に輝度変換された変換処理画像50、70(例えば、1回加算又は1回積算により2倍の輝度に輝度変換された変換処理画像50、及び、3回加算又は2回積算により4倍の輝度に輝度変換された変換処理画像70)を生成し、生成した変換処理画像50、70を入力画像前処理部18に出力する(ステップS5、画素パラメータ変換処理工程)。
【0063】
入力画像前処理部18は、変換処理画像50、70に対してそれぞれ2値化処理又はグレースケール処理を行い、2値化処理後又はグレースケール処理後の変換処理画像60、80をテンプレートマッチング処理部24に出力する(ステップS6、前処理工程、変換処理画像前処理工程)。
【0064】
テンプレートマッチング処理部24は、2値化処理後又はグレースケール処理後の変換処理画像60、80と参照画像90とのテンプレートマッチングを行うことにより、変換処理画像60、80にそれぞれ写っている孔62、82の位置を検出すると共に、該位置における変換処理画像60、80と参照画像90との相関値を算出し、変換処理画像60、80で最大の相関値である孔62、82の位置の各相関値と、各相関値に対応する孔62、82の位置とを対応付けて相関値・位置座標記憶部26に記憶する(ステップS7、第2のテンプレートマッチング工程)。
【0065】
相関値比較処理部28は、相関値・位置座標記憶部26に記憶されている変換処理画像60、80の最大の相関値と、各相関値に対応する孔62、82の位置とを読み出し、読み出した各相関値のうち、最も大きな相関値に対応する孔の位置(図6C、図9C及び図12Cに示す相関値MAXに対応する孔62の位置)を、入力画像30に写っている孔32の位置として特定(選択)し、外部に出力する(ステップS8、相関値比較処理工程)。
【0066】
なお、ステップS4において、読み出した相関値が相関閾値以上である場合(ステップS4:YES)、相関値比較処理部28は、相関値が大きいので、孔42の位置が精度よく検出されていると判断し、次に、ステップS8の処理を行って、孔42の位置を入力画像30に写っている孔32の位置とみなして、外部に出力する。
【0067】
上述した図14のフローチャートの説明では、ステップS5において、輝度変換処理部16が入力画像30から複数の変換処理画像50、70を生成し、生成した複数の変換処理画像50、70を入力画像前処理部18に出力する場合について説明した。
【0068】
本実施形態では、このような処理に代替して、図15のフローチャートの処理を行ってもよい。
【0069】
図15の処理を行う場合、輝度変換処理部16は、図14のステップS5において、入力画像30から1つの変換処理画像50を生成し、入力画像前処理部18は、ステップS6で1つの変換処理画像50に対する前処理を行い、テンプレートマッチング処理部24は、ステップS7で1つの変換処理画像50を用いてテンプレートマッチングを行う。そして、ステップS9において、相関値比較処理部28は、変換処理画像50を用いてテンプレートマッチングにより得られた相関値が前記相関閾値よりも小さい場合には(ステップS9:NO)、相関値が小さいために、孔52の位置が精度よく検出されていないと判断し、次に、全ての変換処理画像50、70に対するステップS5の輝度変換処理、ステップS6の前処理及びステップS7のテンプレートマッチングが完了しているか否かを判定する(ステップS10)。
【0070】
ステップS10において、変換処理画像50に対するステップS5〜S7の処理が完了していても、変換処理画像70に対するステップS5〜S7の処理が行われていない場合に(ステップS10:NO)、相関値比較処理部28は、輝度変換処理部16、入力画像前処理部18及びテンプレートマッチング処理部24に対して、変換処理画像70に対するステップS5〜S7の処理を行うように指示を出す。これにより、ステップS5〜S7の処理が再度行われる。
【0071】
なお、ステップS9において、相関値比較処理部28は、相関値が前記相関閾値以上である場合には(ステップS9:YES)、相関値が十分に大きいので、孔52の位置が精度よく検出されており、従って、変換処理画像70に対するステップS5〜S7の処理は不要と判断し、ステップS8の処理を行う。また、ステップS10において、各変換処理画像50、70に対するステップS5〜S7の処理が完了していた場合に(ステップS10:YES)、相関値比較処理部28は、ステップS8の処理を行う。
【0072】
なお、上述した図15に関する説明では、先に、変換処理画像50に対するステップS5〜S7の処理を行い、次に、変換処理画像70に対するステップS5〜S7の処理を行う場合について説明したが、この説明に限定されることはなく、最初に変換処理画像70に対するステップS5〜S7の処理を行い、次に、変換処理画像50に対するステップS5〜S7の処理を行ってもよい。
【0073】
図16〜図18Fは、孔42及び白色のワーク44が写り込んでいる入力画像40(図16)と、孔42、62、82、102及び赤色のワーク44、64、84、104が写り込んでいる入力画像40及び変換処理画像60、80、100(図17A〜図17D)と、孔42、62、82、102、112、122及び黒色のワーク44、64、84、104、114、124が写り込んでいる入力画像40及び変換処理画像60、80、100、110、120(図18A〜図18F)とをそれぞれ示す。
【0074】
ここで、図17B及び図18Bは、1回加算後又は1回積算後(入力画像40に対して2倍の輝度)の変換処理画像60を示し、図17C及び図18Cは、2回加算後(入力画像40に対して3倍の輝度)の変換処理画像100を示し、図17D及び図18Dは、3回加算後又は2回積算後(入力画像40に対して4倍の輝度)の変換処理画像80を示し、図18Eは、4回加算後(入力画像40に対して5倍の輝度)の変換処理画像110を示し、図18Fは、5回加算後又は3回積算後(入力画像40に対して6倍の輝度)の変換処理画像120を示す。
【0075】
なお、図16〜図18F中の相関値の単位は%であり、以下同様とする。
【0076】
図16では、白色のワーク44と黒色の孔42とのコントラストが高いので、テンプレートマッチングを行うと、孔42の位置における相関値が大きくなる。従って、白色のワーク44と黒色の孔42との入力画像40では、輝度変換処理は不要である。
【0077】
また、図17A〜図17Dでは、赤色のワーク44、64、84、104と黒色の孔42、62、82、102とのコントラストは、図16の場合と比較して低下するが、一方で、図17Bの変換処理画像60を用いてテンプレートマッチングを行うと、図17Aの入力画像40の場合と比較して、孔62の位置における相関値を大きくすることができる。これは、図3Bに示すように、輝度変換処理を行うことにより孔62とワーク64とのコントラストが高くなって、孔62の位置における相関値が大きくなったためである。
【0078】
なお、図17C及び図17Dでは、加算回数又は積算回数を増加することにより変換処理画像80、100が全体的に明るくなるため、変換処理画像80、100に写り込んでいる孔82、102の形状が一部欠落したものとなる。従って、このような変換処理画像80、100を用いてテンプレートマッチングを行っても、孔82、102の位置での相関値は却って低下する。
【0079】
さらに、図18A〜図18Fでは、黒色のワーク44、64、84、104、114、124と黒色の孔42、62、82、102、112、122とが互いに略同じ色であるため、これらのコントラストは、図16及び図17A〜図17Dの場合と比較して大幅に低下する。このような場合であっても、図18Cの変換処理画像100を用いてテンプレートマッチングを行うことにより、図18Aの入力画像40と比較して、孔102の位置における相関値を大きくすることができる。
【0080】
なお、図18Bでは、加算回数又は積算回数が不足しているために、相関値を大きくすることができず、一方で、図18D、図18E及び図18Fでは、加算回数又は積算回数を増加すると、変換処理画像80、110、120が全体的に明るくなるため、相関値が却って低下する。
【0081】
以上説明したように、本実施形態に係る位置検出装置10及び位置検出方法によれば、入力画像40と参照画像90とのテンプレートマッチングに加え、入力画像30の輝度変換に基づく変換処理画像60、80と参照画像90とのテンプレートマッチングも併せて行い、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する孔の位置を入力画像30に写っている孔32の位置として出力(特定)する。すなわち、入力画像40を用いたテンプレートマッチングに基づく相関値と、変換処理画像60、80を用いたテンプレートマッチングに基づく相関値とを比較して、相関値が高い方の孔の位置を入力画像30に写っている孔32の位置とみなす。
【0082】
これにより、入力画像30の撮影環境の変化に起因して該入力画像30中の孔32とワーク34(孔32の周囲)とのコントラストが変化しても、前記撮影環境の変化に対する孔32の位置検出精度のロバスト性が向上するので、該孔32の位置を確実に検出できることが可能となる。
【0083】
従って、シャッター速度を上げることにより入力画像30の露光量が不足した場合や、孔32の周囲のワーク34の色が異なる場合でも、このような撮影環境の変化に応じて変換処理画像60、80を生成し、生成した変換処理画像60、80を用いてテンプレートマッチングを行うことにより、高い相関値が得られるので、孔32の位置を短時間で(高速に)且つ精度よく検出することができる。
【0084】
この効果についてさらに付言すれば、撮像手段のシャッター速度を上げて入力画像30の露光時間を短縮すれば、入力画像30の露光量が不足して、孔32とワーク34とのコントラストが低下する。
【0085】
そこで、本実施形態では、このような露光時間の短縮化によるコントラストの低下に起因した孔32の位置検出精度の低下を補償するために、入力画像30に対して加算処理又は積算処理を行うことにより変換処理画像50、70を生成する。これにより、通常の露光時間により撮影された入力画像30の輝度と、露光時間が短縮化された変換処理画像50、70の輝度とを同等程度とすることができるので、該変換処理画像50、70を2値化処理又はグレースケール処理した変換処理画像60、80を用いてテンプレートマッチングを行えば、通常の露光時間により撮影された入力画像30における孔32の位置検出精度を確保することが可能となる。
【0086】
従って、本実施形態によれば、入力画像30に対する加算処理又は積算処理を実施することにより、撮像手段の露光時間を短縮化と、孔32の位置検出精度の向上とを一挙に実現することができる。
【0087】
また、輝度変換処理部16は、入力画像30に対する輝度変換を行って変換処理画像50、70を生成するので、変換処理画像50、70における孔52、72とワーク54、74とのコントラストを容易に高くすることができる。
【0088】
この場合、入力画像前処理部18は、入力画像40及び変換処理画像50、70に対する2値化処理又はグレースケール処理を行うので、入力画像40及び変換処理画像50、70中の孔42、52、72とワーク44、54、74とのコントラストをより高くすることができ、テンプレートマッチング処理部24において、入力画像40、変換処理画像50、70及び参照画像90を用いてテンプレートマッチングを行えば、より大きな相関値を得ることが可能となる。
【0089】
さらに、相関値・位置座標記憶部26に複数の孔42、62、82の位置及び各相関値を記憶しておき、その中から最大の相関値に対応する孔の位置を入力画像30に写っている孔32の位置とみなすことで、当該孔32の位置検出をより確実に行うことができる。
【0090】
次に、本実施形態の変形例について、図19A〜図30Fを参照しながら説明する。
【0091】
この変形例は、図19B、図20A、図21A、図22B、図23B及び図24Bに示すように、入力画像前処理部18が2値化処理の閾値を複数有し、各閾値を用いて入力画像30及び変換処理画像50、70に対する2値化処理を行うものである。
【0092】
ここで、図19A〜図21Bは、図19B、図20A及び図21Aに示す各閾値を用いて、図19Aの1つの入力画像30に対する2値化処理を行うことにより、図19C、図20B及び図21Bに示す2値化処理後の入力画像40を生成する場合を示している。この場合、図20Bの入力画像40は、図19C及び図21Bの入力画像40と比較して、孔42とワーク44とのコントラストが大きいので、テンプレートマッチング処理部24において、図20Bの入力画像40を用いたテンプレートマッチングを行うことにより、該孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値を容易に大きくすることができる。
【0093】
また、図22A〜図24Bは、複数の閾値を用いて入力画像30及び変換処理画像50、70に対する2値化処理を行った場合を示しており、図25A〜図27Cには、2値化処理後の入力画像40及び変換処理画像60、80が図示されている。
【0094】
この場合、図25Cの入力画像40及び図27Bの変換処理画像80は、図25A及び図25Bの入力画像40、並びに、図26A〜図27A及び図27Cの変換処理画像60、80と比較して、孔42、82とワーク44、84とのコントラストが大きいので、テンプレートマッチング処理部24において、図25Cの入力画像40及び図27Bの変換処理画像80を用いたテンプレートマッチングを行うことにより、該孔42、82の位置を精度よく検出することが可能になると共に、孔42、82の位置での相関値を容易に大きくすることができる。
【0095】
図28A〜図30Fは、孔42及び白色のワーク44が写り込んでいる入力画像40(図28A〜図28F)と、孔42及び赤色のワーク44が写り込んでいる入力画像40(図29A〜図29F)と、孔42及び黒色のワーク44が写り込んでいる入力画像40(図30A〜図30F)とをそれぞれ示す。なお、図28A〜図30Fは、0〜255の階調中の所定値を閾値とした場合を示す。
【0096】
図28A〜図28Fでは、図28Dの入力画像40であれば、白色のワーク44と黒色の孔42とのコントラストが最も高くなり、当該入力画像40を用いてテンプレートマッチングを行えば、孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値が最も大きくなる。
【0097】
また、図29A〜図29Fでは、図29Dの入力画像40であれば、赤色のワーク44と黒色の孔42とのコントラストが最も高くなり、当該入力画像40を用いてテンプレートマッチングを行えば、孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値が最も大きくなる。
【0098】
さらに、図30A〜図30Fでは、図30Bの入力画像40であれば、図28D及び図29Dの各入力画像40でのコントラストにまでは到達しないが、黒色のワーク44と黒色の孔42とのコントラストが最も高くなり、当該入力画像40を用いてテンプレートマッチングを行えば、孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値が最も大きくなる。
【0099】
なお、上述した図28D、図29D及び図30Bの各入力画像40以外の各図における入力画像40は、図28D、図29D及び図30Bの各入力画像40のような高いコントラストが得られない。これは、図19B、図19C及び図22Bに示すように、入力画像30の輝度のグラフに対して閾値を高く設定しすぎると、ワーク44が黒色に近くなり(ワーク44全体が暗くなり)、一方で、図21A、図21B及び図22Bに示すように、入力画像30の輝度のグラフに対して閾値を低く設定しすぎると、孔42が白色に近くなるので(孔42が明るくなりすぎるので)、閾値を高く設定しすぎても、あるいは、低く設定しすぎても、いずれの場合でも、ワーク44と孔42とのコントラストが低くなるためである。
【0100】
従って、この変形例では、最適な閾値(例えば、図25C及び図27Bの入力画像40及び変換処理画像80が得られるような閾値)にて2値化処理を行うことが望ましい。
【0101】
また、この変形例を図14及び図15のフローチャートに適用する場合には、ステップS2、S6の前処理において、複数の閾値を用いて入力画像30及び変換処理画像80に対する2値化処理を行えばよく、それ以外の各ステップでの処理は、上述した本実施形態での処理と同様である。
【0102】
以上説明したように、本実施形態の変形例では、テンプレートマッチング処理部24において、複数の異なる閾値を用いて入力画像30から変換された複数の入力画像40及び変換処理画像80と参照画像90とのテンプレートマッチングをそれぞれ行い、相関値比較処理部28において、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する孔42、82の位置を入力画像30に写っている孔32の位置として出力(特定)すればよい。すなわち、各テンプレートマッチングに基づく各相関値を比較して、相関値が高い方の孔42、82の位置を入力画像30に写っている孔32の位置とみなせばよい。
【0103】
これにより、入力画像30の撮影環境の変化に起因して該入力画像30中の孔32とワーク34とのコントラストが変化しても、前記撮影環境の変化に対する孔32の位置検出精度のロバスト性が向上するので、該孔32の位置を確実に検出できることが可能となる。
【0104】
従って、この変形例でも、シャッター速度を上げることにより入力画像30の露光量が不足した場合や、ワーク34の色が異なる場合でも、撮影環境の変化に応じて入力画像40及び変換処理画像80を生成し、生成した入力画像40及び変換処理画像80を用いてテンプレートマッチングを行うことにより、高い相関値が得られるので、孔32の位置を精度よく検出することができる。
【0105】
また、複数の異なる閾値を用いて入力画像30及び変換処理画像50、70に対する2値化処理を行うことにより、孔42、82とワーク44、84とのコントラストをより高くすることができるので、入力画像40及び変換処理画像80を用いてテンプレートマッチングを行えば、より大きな相関値を得ることが可能となる。
【0106】
その際、参照画像90も2値化処理後の画像であるため、テンプレートマッチングによって得られる相関値をさらに大きくすることができる。
【0107】
さらに、変換処理画像70に対する2値化処理を行って変換処理画像80を生成することで、孔82とワーク84とのコントラストを容易に高くすることができる。
【0108】
さらにまた、相関値・位置座標記憶部26に複数の孔42、82の位置及び相関値を記憶しておき、その中から最大の相関値に対応する孔42、82の位置を入力画像30に写っている孔32の位置とみなすことで、当該孔32の位置検出をより確実に行うことができる。
【0109】
さらにまた、テンプレートマッチング処理部24では、入力画像40と参照画像90とのテンプレートマッチングや、変換処理画像80と参照画像90とのテンプレートマッチング処理を行うので、孔32の位置検出を一層確実に行うことができる。
【0110】
なお、本発明は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることは勿論である。
【符号の説明】
【0111】
10…位置検出装置 16…輝度変換処理部
18…入力画像前処理部 22…参照画像前処理部
24…テンプレートマッチング処理部 26…相関値・位置座標記憶部
28…相関値比較処理部 30、40…入力画像
32、42、52、62、72、82、92、102、112、122…孔
34、44、54、64、74、84、104、114、124…ワーク
50、60、70、80、100、110、120…変換処理画像
90…参照画像
【技術分野】
【0001】
本発明は、入力画像と参照画像とのテンプレートマッチングにより前記入力画像に写っている対象物の位置を検出する位置検出装置及び位置検出方法に関する。
【背景技術】
【0002】
従来より、カメラ等の撮像手段により撮影された撮影画像(入力画像)と、該入力画像と比較するために予め撮影された適切な露光量の撮影画像(参照画像)との相関値を算出し、算出した前記相関値に基づいて前記入力画像に写っている対象物の位置を検出するテンプレートマッチングが広く知られている。この場合、前記入力画像を撮影するための露光条件等が変化すると前記相関値を精度よく算出することができなくなり、前記対象物の位置検出精度が低下するおそれがある。
【0003】
そこで、特許文献1には、撮影環境が変化しても対象物の検出率が低下しないように、照度に応じて前記対象物を検出するための検出パラメータを補正することで、前記撮影環境の変化に対応することが提案されている。
【0004】
また、特許文献2には、参照画像と撮影時間等の情報とを結び付けたデータベースを予め作成し、前記情報を参照して入力画像に対する前処理を行った後に、前記参照画像と前記前処理後の入力画像とのテンプレートマッチングを行うことが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−209277号公報
【特許文献2】特開2003−271956号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1及び2の技術では、予め想定した入力画像の撮影状況に対応して検出パラメータやデータベースを作成する必要があるので、これらの情報の作成に手間がかかる。また、想定していない撮影状況で撮影された入力画像が得られた場合には、該入力画像に対処することができない。
【0007】
このような問題について、図31〜図37Bを参照しながら具体的に説明する。
【0008】
ここでは、図31に示すように、例えば、対象物としての孔が形成されたワークを撮影して得た撮影画像(入力画像200、参照画像210)のテンプレートマッチングについて説明する。従って、入力画像200及び参照画像210は、同じワークを撮影することにより得た撮影画像であり、参照画像210は、適切な露光量で前記ワークを予め撮影した撮影画像である一方、入力画像200は、所定のシャッター速度及び露光量で前記ワークを撮影した撮影画像である。なお、説明の便宜上、入力画像200に写っている前記ワークの参照数字を204とし、黒色で図示した前記孔の参照数字を202とする。また、参照画像210についても、前記ワークの参照数字を214とし、黒色で図示した前記孔の参照数字を212として表記する。
【0009】
この場合、テンプレートマッチングでは、先ず、参照画像210から孔212を抽出した小さな参照画像220を形成し、この参照画像220により入力画像200を行方向に順次スキャンしながら、入力画像200と参照画像220との相関を取る。この場合、孔202を参照画像220(の孔212)でスキャンしたときの相関値は、入力画像200における最大の相関値となるので、該最大の相関値に対応する位置が孔202の位置として検出(特定)される。
【0010】
ここで、図32A〜34Bに示すように、ワーク204が白色(図32A)、赤色(図33Aに示す縦線のハッチング)又は黒色(図34A)である場合に、図32A及び図32Bの例では、孔202とワーク204とのコントラスト(輝度差)が大きいので、参照画像220により入力画像200をスキャンすると、孔202、212の相関値が大きくなり、孔202の位置を検出しやすい。また、図33A及び図33Bの例では、図32A及び図32Bの例と比較して、孔202とワーク204とのコントラストが低下し、この結果、孔202、212の相関値も小さくなるが、孔202の位置を検出することは可能である。
【0011】
しかしながら、図34A及び図34Bの例では、孔202とワーク204とが略同じ黒色となるため、孔202とワーク204とのコントラストが大幅に低下して、孔202、212の相関値も小さくなり、この結果、孔202の位置を検出することが困難となる。
【0012】
また、図35A〜37Bの例に示すように、孔202に対してワーク204が白色である場合に、図35Aの入力画像200のシャッター速度を基準のシャッター速度としたときに、図35A及び図35Bと比較して、例えば、10倍のシャッター速度となる図36A及び図36Bの例では、ワーク204が全体的に暗くなって、孔202とワーク204とのコントラストが低下し、孔202、212の相関値も小さくなるが、孔202の位置検出は可能である。
【0013】
しかしながら、図35A及び図35Bと比較して、例えば、100倍のシャッター速度となる図37A及び図37Bの例では、ワーク204がさらに暗くなって、孔202とワーク204とが略同じ黒色となるため、孔202とワーク204とのコントラストが大幅に低下し、孔202、212の相関値も小さくなるので、孔202の位置を検出することが困難となる。
【0014】
このように、対象物としての孔202の周囲の色が変化した場合(例えば、ワーク204の色が白色、黒色、赤色、青色に変化した場合)や、孔202の位置を高速に(短時間で)検出するためにシャッター速度を上げた場合には、入力画像200の露光量が不足することに起因して、孔202とワーク204とのコントラストが変化すると共に、孔202、212の相関値が小さくなって、該孔202の位置検出精度が低下する。
【0015】
従って、入力画像200の撮影環境の変化(入力画像200の明るさや孔202周囲の色の違い)に起因して、入力画像200中の孔202とワーク204とのコントラストが変化しても、該孔202の位置を短時間で(高速に)且つ確実に検出できることが望まれている。
【0016】
本発明は、前記の問題に鑑みなされたものであり、入力画像の撮影環境が変化しても、対象物の位置検出精度を向上できると共に、該対象物の位置を短時間で(高速に)検出することができる位置検出装置及び位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【0017】
本発明に係る対象物の位置検出装置は、
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する入力画像前処理部と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング処理部と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理部と、
を備えることを特徴とする。
【0018】
また、本発明に係る対象物の位置検出方法は、
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する前処理工程と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の各位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング工程と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理工程と、
を備えることを特徴とする。
【0019】
これらの発明によれば、複数の異なる検出パラメータを用いて入力画像から変換された複数の前処理画像と参照画像とのテンプレートマッチングをそれぞれ行い、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力(特定)する。すなわち、前記各前処理画像を用いた各テンプレートマッチングに基づく各相関値を比較して、相関値が高い方の対象物の位置を前記入力画像に写っている対象物の位置とみなす。
【0020】
これにより、前記入力画像の撮影環境の変化に起因して該入力画像中の対象物と該対象物の周囲とのコントラストが変化しても、前記撮影環境の変化に対する前記対象物の位置検出精度のロバスト性が向上するので、該対象物の位置を確実に検出できることが可能となる。
【0021】
従って、シャッター速度を上げることにより前記入力画像の露光量が不足した場合や、前記対象物の周囲の色が異なる場合でも、このような撮影環境の変化に応じて前処理画像を生成し、生成した前記前処理画像を用いてパターンマッチングを行うことにより、高い相関値が得られるので、対象物の位置を短時間で(高速に)且つ精度よく検出することができる。
【0022】
ここで、前記検出パラメータは、2値化処理の閾値であり、前記前処理では、複数の異なる前記閾値を用いて前記入力画像に対する前記2値化処理を行う。
【0023】
2値化処理を行うことで、前処理画像中の対象物と該対象物の周囲とのコントラストをより高くすることができるので、前記前処理画像及び参照画像を用いてテンプレートマッチングを行えば、より大きな相関値を得ることが可能となる。
【0024】
この場合、上記の位置検出装置は、前記参照画像に対する2値化処理を行い、前記2値化処理後の参照画像を前記テンプレートマッチング処理部に出力する参照画像前処理部をさらに備える。
【0025】
また、上記の位置検出方法は、前記参照画像に対して2値化処理を行い、前記2値化処理後の参照画像を出力する参照画像前処理工程をさらに備える。
【0026】
参照画像に対しても2値化処理を行うことで、テンプレートマッチングによって得られる相関値をさらに大きくすることができる。
【0027】
また、上記の位置検出装置は、前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理部をさらに備え、前記入力画像前処理部は、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することが好ましい。
【0028】
また、上記の位置検出方法は、前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理工程をさらに備え、前記前処理工程では、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することが好ましい。
【0029】
変換処理画像を用いることで対象物と該対象物の周囲とのコントラストを容易に高くすることができる。
【0030】
また、上記の位置検出装置は、
前記テンプレートマッチング処理部で検出した前記各対象物の位置と、前記各相関値とを記憶する記憶部をさらに備え、
前記テンプレートマッチング処理部は、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を前記記憶部に記憶し、
前記相関値比較処理部は、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力してもよい。
【0031】
また、上記の位置検出方法は、
前記テンプレートマッチング工程では、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を記憶部に記憶し、
前記相関値比較処理工程では、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力してもよい。
【0032】
記憶部に複数の対象物の位置及び相関値を記憶しておき、その中から最大の相関値に対応する対象物の位置を入力画像に写っている対象物の位置とみなすことで、当該対象物の位置検出をより確実に行うことができる。
【0033】
また、上記の位置検出装置において、前記テンプレートマッチング処理部は、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出してもよい。
【0034】
また、上記の位置検出方法において、前記テンプレートマッチング工程では、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出してもよい。
【0035】
入力画像と参照画像とのテンプレートマッチングも併せて行うことで、当該対象物の位置検出を一層確実に行うことができる。
【発明の効果】
【0036】
本発明によれば、複数の異なる検出パラメータを用いて入力画像から変換された複数の前処理画像と参照画像とのテンプレートマッチングをそれぞれ行い、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力(特定)する。すなわち、前記各前処理画像を用いた各テンプレートマッチングに基づく各相関値を比較して、相関値が高い方の対象物の位置を前記入力画像に写っている対象物の位置とみなす。
【0037】
これにより、前記入力画像の撮影環境の変化に起因して該入力画像中の対象物と該対象物の周囲とのコントラストが変化しても、前記撮影環境の変化に対する前記対象物の位置検出精度のロバスト性が向上するので、該対象物の位置を確実に検出できることが可能となる。
【0038】
従って、シャッター速度を上げることにより前記入力画像の露光量が不足した場合や、前記対象物の周囲の色が異なる場合でも、このような撮影環境の変化に応じて前処理画像を生成し、生成した前記前処理画像を用いてパターンマッチングを行うことにより、高い相関値が得られるので、対象物の位置を短時間で(高速に)且つ精度よく検出することができる。
【図面の簡単な説明】
【0039】
【図1】本実施形態に係る対象物の位置検出装置のブロック図である。
【図2】図2Aは、入力画像の説明図であり、図2Bは、図2Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図2Cは、図2Aの入力画像を2値化処理して得た画像の説明図である。
【図3】図3Aは、図2Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図3Bは、図3Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図3Cは、図3Aの変換処理画像を2値化処理して得た画像の説明図である。
【図4】図4Aは、図2Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図4Bは、図4Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図4Cは、図4Aの変換処理画像を2値化処理して得た画像の説明図である。
【図5】図5Aは、入力画像の説明図であり、図5Bは、図5Aの入力画像を2値化処理して得た画像の説明図であり、図5Cは、図5Bの画像をスキャンしたときの相関値のグラフである。
【図6】図6Aは、図5Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図6Bは、図6Aの変換処理画像を2値化処理して得た画像の説明図であり、図6Cは、図6Bの画像をスキャンしたときの相関値のグラフである。
【図7】図7Aは、図5Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図7Bは、図7Aの変換処理画像を2値化処理して得た画像の説明図であり、図7Cは、図7Bの画像をスキャンしたときの相関値のグラフである。
【図8】図8Aは、入力画像の説明図であり、図8Bは、図8Aの入力画像を2値化処理して得た画像の説明図であり、図8Cは、図8Bの画像をスキャンしたときの相関値のグラフである。
【図9】図9Aは、図8Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図9Bは、図9Aの変換処理画像を2値化処理して得た画像の説明図であり、図9Cは、図9Bの画像をスキャンしたときの相関値のグラフである。
【図10】図10Aは、図8Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図10Bは、図10Aの変換処理画像を2値化処理して得た画像の説明図であり、図10Cは、図10Bの画像をスキャンしたときの相関値のグラフである。
【図11】図11Aは、入力画像の説明図であり、図11Bは、図11Aの入力画像をグレースケール処理して得た画像の説明図であり、図11Cは、図11Bの画像をスキャンしたときの相関値のグラフである。
【図12】図12Aは、図11Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図12Bは、図12Aの変換処理画像をグレースケール処理して得た画像の説明図であり、図12Cは、図12Bの画像をスキャンしたときの相関値のグラフである。
【図13】図13Aは、図11Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図13Bは、図13Aの変換処理画像をグレースケール処理して得た画像の説明図であり、図13Cは、図13Bの画像をスキャンしたときの相関値のグラフである。
【図14】図1の位置検出装置の動作を説明するためのフローチャートである。
【図15】図14の処理の一部を変更したフローチャートである。
【図16】孔が形成された白色のワークを撮影した入力画像を2値化処理して得た画像の説明図である。
【図17】図17Aは、孔が形成された赤色のワークを撮影した入力画像を2値化処理して得た画像の説明図であり、図17B〜図17Dは、前記入力画像の変換処理画像を2値化処理して得た画像の説明図である。
【図18】図18Aは、孔が形成された黒色のワークを撮影した入力画像を2値化処理して得た画像の説明図であり、図18B〜図18Fは、前記入力画像の変換処理画像を2値化処理して得た画像の説明図である。
【図19】図19Aは、入力画像の説明図であり、図19Bは、2値化処理に用いる閾値及び図19Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図19Cは、図19Bの閾値を用いて図19Aの入力画像を2値化処理して得た画像の説明図である。
【図20】図20Aは、2値化処理に用いる閾値及び図19Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図20Bは、図20Aの閾値を用いて図19Aの入力画像を2値化処理して得た画像の説明図である。
【図21】図21Aは、2値化処理に用いる閾値及び図19Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフであり、図21Bは、図21Aの閾値を用いて図19Aの入力画像を2値化処理して得た画像の説明図である。
【図22】図22Aは、入力画像の説明図であり、図22Bは、2値化処理に用いる複数の閾値及び図22Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図23】図23Aは、図22Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図23Bは、2値化処理に用いる複数の閾値及び図23Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図24】図24Aは、図22Aの入力画像を輝度変換して得た変換処理画像の説明図であり、図24Bは、2値化処理に用いる複数の閾値及び図24Aの変換処理画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図25】図25A〜図25Cは、図22Bの各閾値を用いて図22Aの入力画像を2値化処理して得た画像の説明図である。
【図26】図26A〜図26Cは、図23Bの各閾値を用いて図23Aの変換処理画像を2値化処理して得た画像の説明図である。
【図27】図27A〜図27Cは、図24Bの各閾値を用いて図24Aの変換処理画像を2値化処理して得た画像の説明図である。
【図28】図28Aは、孔が形成された白色のワークを撮影した入力画像の説明図であり、図28B〜図28Fは、異なる閾値を用いて図28Aの入力画像をそれぞれ2値化処理して得た画像の説明図である。
【図29】図29Aは、孔が形成された赤色のワークを撮影した入力画像の説明図であり、図29B〜図29Fは、異なる閾値を用いて図29Aの入力画像をそれぞれ2値化処理して得た画像の説明図である。
【図30】図30Aは、孔が形成された黒色のワークを撮影した入力画像の説明図であり、図30B〜図30Fは、異なる閾値を用いて図30Aの入力画像をそれぞれ2値化処理して得た画像の説明図である。
【図31】従来のテンプレートマッチングの説明図である。
【図32】図32Aは、孔が形成された白色のワークを撮影した入力画像の説明図であり、図32Bは、図32Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図33】図33Aは、孔が形成された赤色のワークを撮影した入力画像の説明図であり、図33Bは、図33Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図34】図34Aは、孔が形成された黒色のワークを撮影した入力画像の説明図であり、図34Bは、図34Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図35】図35Aは、孔が形成された白色のワークを撮影した入力画像の説明図であり、図35Bは、図35Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図36】図36Aは、図35Aの入力画像よりも高速のシャッター速度で撮影した入力画像の説明図であり、図36Bは、図36Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【図37】図37Aは、図35A及び図36Aの各入力画像よりも高速のシャッター速度で撮影した入力画像の説明図であり、図37Bは、図37Aの入力画像で孔が存在する行をスキャンしたときの輝度のグラフである。
【発明を実施するための形態】
【0040】
本発明に係る対象物の位置検出装置について、位置検出方法との関連で、好適な実施形態を、図面を参照しながら説明する。
【0041】
本実施形態に係る対象物の位置検出装置(以下、位置検出装置ともいう。)10は、図1に示すように、入力画像取得部12、入力画像記憶部14、輝度変換処理部(画素パラメータ変換処理部)16、入力画像前処理部18、参照画像記憶部20、参照画像前処理部22、テンプレートマッチング処理部24、相関値・位置座標記憶部(記憶部)26及び相関値比較処理部28とを備えている。
【0042】
この場合、位置検出装置10は、一例として、車両のボディ等のワーク34(図2A参照)に形成された孔(対象物)32をカメラ等の撮像手段により所定のシャッター速度及び露光量で撮影して得た撮影画像(入力画像30)を用いて、該入力画像30に写り込んでいる孔32の位置を検出し、検出した孔32の位置に基づいて前記撮像手段を装着した図示しないロボットのアームを該孔32の位置にまで正確に移動させることにより、前記アームが把持するボルトを孔32に確実に挿通させるためのビジュアルサーボ技術に適用される。
【0043】
なお、図2A〜図13Cは、位置検出装置10内の処理を説明するための図面である。このうち、図2A〜図4Cは、輝度変換処理部16及び入力画像前処理部18での処理を説明するための図面であり、図5A〜図13Cは、輝度変換処理部16、入力画像前処理部18及びテンプレートマッチング処理部24での処理を説明するための図面である。また、図2A〜図7Cは、入力画像30がモノクロ画像である場合の処理を示す図面であり、図8A〜図13Cは、入力画像30がカラー画像(ワーク34が赤色であり縦線のハッチングで示す)である場合の処理を示す図面である。
【0044】
図1に戻り、入力画像取得部12は、前記撮像手段により撮影された入力画像30を取得して該入力画像30をA/D変換し、A/D変換した入力画像30を入力画像記憶部14に保存する。
【0045】
輝度変換処理部16は、入力画像記憶部14に記憶された入力画像30(図2A、図5A、図8A及び図11A参照)を読み出し、読み出した入力画像30を構成する各画素の輝度(画素パラメータ)を所定の倍率の輝度に変換することによって、より具体的には、各画素の輝度をそれぞれ所定回数加算又は積算することで、輝度変換後の入力画像30を変換処理画像50、70(図3A、図4A、図6A、図7A、図9A、図10A、図12A及び図13A参照)として入力画像前処理部18に出力する。
【0046】
なお、図3A、図6A、図9A及び図12Aの変換処理画像50は、図2A、図5A、図8A及び図11Aの入力画像30に対して1回の加算処理をそれぞれ行うことにより、該入力画像30に対して2倍の輝度となった変換処理画像である。また、図4A、図7A、図10A及び図13Aの変換処理画像70は、図2A、図5A、図8A及び図11Aの入力画像30に対して3回の加算処理をそれぞれ行うことにより、該入力画像30に対して4倍の輝度となった変換処理画像である。
【0047】
上記の説明では、入力画像30に対して所定回数の加算処理を行うことにより変換処理画像50が得られる場合について説明しているが、本実施形態では、これに限定されることはなく、入力画像30に対して所定回数の積算処理を行っても変換処理画像50を得ることができる。例えば、入力画像30に対する1回の積算処理により2倍の輝度の変換処理画像が得られ、2回の積算処理により4倍の輝度の変換処理画像が得られる。
【0048】
入力画像前処理部18は、入力画像30及び変換処理画像50、70に対してそれぞれ2値化処理を行うか、あるいは、グレースケール処理を行い、2値化処理後又はグレースケール処理後の入力画像40及び変換処理画像60、80(図2C、図3C、図4C、図5B、図6B、図7B、図8B、図9B、図10B、図11B、図12B及び図13B参照)をテンプレートマッチング処理部24に出力する。
【0049】
なお、前記2値化処理では、例えば、入力画像30に写っている孔32及びワーク34と、変換処理画像50に写っている孔52及びワーク54と、変換処理画像70に写っている孔72及びワーク74とについて、各孔32、52、72(の画素)の行における輝度のグラフが、図2B、図3B及び図4Bのようなグラフとなる場合に、一点鎖線で示す所定の閾値(検出パラメータ)よりも高輝度の画素を0(白色)とし、一方で、前記閾値よりも低輝度の画素を1(黒色)とする画像処理を、入力画像30及び変換処理画像50、70に対して行うことにより、図2C、図3C及び図4Cに示すような、孔42及びワーク44が写り込んだ入力画像40と、孔62及びワーク64が写り込んだ変換処理画像60と、孔82及びワーク84が写り込んだ変換処理画像80とをそれぞれ得る。
【0050】
また、グレースケール処理では、例えば、図11A、図12A及び図13Aの入力画像30及び変換処理画像50、70を構成する各画素の輝度を、グレースケール変換(0〜255の階調に変換)することにより、図11B、図12B及び図13Bの入力画像40及び変換処理画像60、80をそれぞれ得る。
【0051】
一方、参照画像記憶部20には、入力画像30に基づく入力画像40及び変換処理画像60、80と比較するために予め撮影された適切な露光量の撮影画像(参照画像90)が記憶されている。従って、入力画像30と参照画像90(図5B、図6B、図7B、図8B、図9B、図10B、図11B、図12B及び図13B参照)とは、同じ撮影対象としてのワーク34に形成された孔32を撮影して得た撮影画像である。なお、以下の説明では、入力画像30に写っている孔32と区別するために、参照画像90に写っている孔については、参照数字92を付けて説明する。
【0052】
参照画像前処理部22は、参照画像90に対して2値化処理を行うか、あるいは、グレースケール処理を行い、2値化処理後又はグレースケール処理後の参照画像90をテンプレートマッチング処理部24に出力する。
【0053】
テンプレートマッチング処理部24は、2値化処理後又はグレースケール処理後の入力画像40、変換処理画像60、80及び参照画像90が入力された場合に、2値化処理後又はグレースケール処理後の入力画像40と参照画像90とのテンプレートマッチングを行うことにより、入力画像40に写っている孔42の位置を検出すると共に、該位置における入力画像40と参照画像90との相関値を算出し、一方で、2値化処理後又はグレースケール処理後の変換処理画像60、80と参照画像90とのテンプレートマッチングを行うことにより、変換処理画像60、80に写っている孔62、82の位置を検出すると共に、該位置における変換処理画像60、80と参照画像90との相関値を算出する。
【0054】
この場合、テンプレートマッチング処理部24は、参照画像90で入力画像40、変換処理画像60、80を行方向に順次スキャンして、参照画像90と、入力画像40及び変換処理画像60、80との相関を取る。その際、孔42、62、82の位置(画素)をスキャンしたときの相関値は、それぞれ、入力画像40及び変換処理画像60、80の中で、最も大きな相関値となるので(図5C、図6C、図7C、図8C、図9C、図10C、図11C、図12C及び図13C参照)、テンプレートマッチング処理部24は、それぞれの入力画像40及び変換処理画像60、80で最大の相関値を算出し、その相関値に対応する画素(孔42、62、82の位置)を検出し、検出した孔42、62、82の位置と、該位置に対応する最大の相関値とを対応付けて相関値・位置座標記憶部26に記憶することができる。
【0055】
なお、テンプレートマッチングについては、特許文献2に具体的に記載されているので、本明細書では、その詳細な説明を省略する。
【0056】
相関値比較処理部28は、相関値・位置座標記憶部26に記憶されている入力画像40及び変換処理画像60、80中の最大の相関値と、その相関値に対応する孔42、62、82の位置とを読み出し、読み出した各最大の相関値のうち、最も大きな相関値に対応する孔の位置(図6C、図9C及び図12Cに示す相関値MAXに対応する孔62の位置)を、入力画像30に写っている孔32の位置とみなして(特定して)、外部に出力する。
【0057】
本実施形態に係る位置検出装置10は、基本的には以上のように構成されるものであり、次に、その動作(位置検出方法)につき、図14のフローチャートに従って説明する。
【0058】
先ず、撮像手段により撮影された入力画像30が入力画像取得部12に入力されると、入力画像取得部12は、入力画像30をA/D変換し、A/D変換後の入力画像30を入力画像記憶部14に記憶する(ステップS1)。
【0059】
次に、入力画像前処理部18は、入力画像記憶部14に記憶された入力画像30を輝度変換処理部16を介して読み出し、読み出した入力画像30に対する2値化処理又はグレースケール処理を行って、2値化処理後又はグレースケール処理後の入力画像40をテンプレートマッチング処理部24に出力する。一方、参照画像前処理部22は、参照画像記憶部20から参照画像90を読み出し、読み出した参照画像90に対する2値化処理又はグレースケール処理を行い、2値化処理後又はグレースケール処理後の参照画像90をテンプレートマッチング処理部24に出力する(ステップS2、前処理工程、入力画像前処理工程、参照画像前処理工程)。
【0060】
テンプレートマッチング処理部24は、2値化処理後又はグレースケール処理後の入力画像40及び参照画像90とのテンプレートマッチングを行うことにより、入力画像40に写っている孔42の位置を検出すると共に、該位置における入力画像40と参照画像90との相関値を算出し、入力画像40で最大の相関値である孔42の位置の相関値と、その相関値に対応する孔42の位置とを対応付けて相関値・位置座標記憶部26に記憶する(ステップS3、第1のテンプレートマッチング工程)。
【0061】
相関値比較処理部28は、相関値・位置座標記憶部26に記憶されている入力画像40の最大の相関値と、その相関値に対応する孔42の位置とを読み出し、読み出した相関値が所定の相関閾値以上であるか否かを判定する(ステップS4)。ステップS4において、読み出した相関値が前記相関閾値よりも小さい場合(ステップS4:NO)、相関値比較処理部28は、相関値が小さいために、孔42の位置が精度よく検出されていないと判断し、次に、変換処理画像60、80を用いたテンプレートマッチングを行うように、輝度変換処理部16、入力画像前処理部18及びテンプレートマッチング処理部24に指示を出す。
【0062】
これにより、輝度変換処理部16は、入力画像記憶部14に記憶された入力画像30を読み出し、読み出した入力画像30の輝度を所定回数加算又は積算することにより所定倍率の輝度に輝度変換された変換処理画像50、70(例えば、1回加算又は1回積算により2倍の輝度に輝度変換された変換処理画像50、及び、3回加算又は2回積算により4倍の輝度に輝度変換された変換処理画像70)を生成し、生成した変換処理画像50、70を入力画像前処理部18に出力する(ステップS5、画素パラメータ変換処理工程)。
【0063】
入力画像前処理部18は、変換処理画像50、70に対してそれぞれ2値化処理又はグレースケール処理を行い、2値化処理後又はグレースケール処理後の変換処理画像60、80をテンプレートマッチング処理部24に出力する(ステップS6、前処理工程、変換処理画像前処理工程)。
【0064】
テンプレートマッチング処理部24は、2値化処理後又はグレースケール処理後の変換処理画像60、80と参照画像90とのテンプレートマッチングを行うことにより、変換処理画像60、80にそれぞれ写っている孔62、82の位置を検出すると共に、該位置における変換処理画像60、80と参照画像90との相関値を算出し、変換処理画像60、80で最大の相関値である孔62、82の位置の各相関値と、各相関値に対応する孔62、82の位置とを対応付けて相関値・位置座標記憶部26に記憶する(ステップS7、第2のテンプレートマッチング工程)。
【0065】
相関値比較処理部28は、相関値・位置座標記憶部26に記憶されている変換処理画像60、80の最大の相関値と、各相関値に対応する孔62、82の位置とを読み出し、読み出した各相関値のうち、最も大きな相関値に対応する孔の位置(図6C、図9C及び図12Cに示す相関値MAXに対応する孔62の位置)を、入力画像30に写っている孔32の位置として特定(選択)し、外部に出力する(ステップS8、相関値比較処理工程)。
【0066】
なお、ステップS4において、読み出した相関値が相関閾値以上である場合(ステップS4:YES)、相関値比較処理部28は、相関値が大きいので、孔42の位置が精度よく検出されていると判断し、次に、ステップS8の処理を行って、孔42の位置を入力画像30に写っている孔32の位置とみなして、外部に出力する。
【0067】
上述した図14のフローチャートの説明では、ステップS5において、輝度変換処理部16が入力画像30から複数の変換処理画像50、70を生成し、生成した複数の変換処理画像50、70を入力画像前処理部18に出力する場合について説明した。
【0068】
本実施形態では、このような処理に代替して、図15のフローチャートの処理を行ってもよい。
【0069】
図15の処理を行う場合、輝度変換処理部16は、図14のステップS5において、入力画像30から1つの変換処理画像50を生成し、入力画像前処理部18は、ステップS6で1つの変換処理画像50に対する前処理を行い、テンプレートマッチング処理部24は、ステップS7で1つの変換処理画像50を用いてテンプレートマッチングを行う。そして、ステップS9において、相関値比較処理部28は、変換処理画像50を用いてテンプレートマッチングにより得られた相関値が前記相関閾値よりも小さい場合には(ステップS9:NO)、相関値が小さいために、孔52の位置が精度よく検出されていないと判断し、次に、全ての変換処理画像50、70に対するステップS5の輝度変換処理、ステップS6の前処理及びステップS7のテンプレートマッチングが完了しているか否かを判定する(ステップS10)。
【0070】
ステップS10において、変換処理画像50に対するステップS5〜S7の処理が完了していても、変換処理画像70に対するステップS5〜S7の処理が行われていない場合に(ステップS10:NO)、相関値比較処理部28は、輝度変換処理部16、入力画像前処理部18及びテンプレートマッチング処理部24に対して、変換処理画像70に対するステップS5〜S7の処理を行うように指示を出す。これにより、ステップS5〜S7の処理が再度行われる。
【0071】
なお、ステップS9において、相関値比較処理部28は、相関値が前記相関閾値以上である場合には(ステップS9:YES)、相関値が十分に大きいので、孔52の位置が精度よく検出されており、従って、変換処理画像70に対するステップS5〜S7の処理は不要と判断し、ステップS8の処理を行う。また、ステップS10において、各変換処理画像50、70に対するステップS5〜S7の処理が完了していた場合に(ステップS10:YES)、相関値比較処理部28は、ステップS8の処理を行う。
【0072】
なお、上述した図15に関する説明では、先に、変換処理画像50に対するステップS5〜S7の処理を行い、次に、変換処理画像70に対するステップS5〜S7の処理を行う場合について説明したが、この説明に限定されることはなく、最初に変換処理画像70に対するステップS5〜S7の処理を行い、次に、変換処理画像50に対するステップS5〜S7の処理を行ってもよい。
【0073】
図16〜図18Fは、孔42及び白色のワーク44が写り込んでいる入力画像40(図16)と、孔42、62、82、102及び赤色のワーク44、64、84、104が写り込んでいる入力画像40及び変換処理画像60、80、100(図17A〜図17D)と、孔42、62、82、102、112、122及び黒色のワーク44、64、84、104、114、124が写り込んでいる入力画像40及び変換処理画像60、80、100、110、120(図18A〜図18F)とをそれぞれ示す。
【0074】
ここで、図17B及び図18Bは、1回加算後又は1回積算後(入力画像40に対して2倍の輝度)の変換処理画像60を示し、図17C及び図18Cは、2回加算後(入力画像40に対して3倍の輝度)の変換処理画像100を示し、図17D及び図18Dは、3回加算後又は2回積算後(入力画像40に対して4倍の輝度)の変換処理画像80を示し、図18Eは、4回加算後(入力画像40に対して5倍の輝度)の変換処理画像110を示し、図18Fは、5回加算後又は3回積算後(入力画像40に対して6倍の輝度)の変換処理画像120を示す。
【0075】
なお、図16〜図18F中の相関値の単位は%であり、以下同様とする。
【0076】
図16では、白色のワーク44と黒色の孔42とのコントラストが高いので、テンプレートマッチングを行うと、孔42の位置における相関値が大きくなる。従って、白色のワーク44と黒色の孔42との入力画像40では、輝度変換処理は不要である。
【0077】
また、図17A〜図17Dでは、赤色のワーク44、64、84、104と黒色の孔42、62、82、102とのコントラストは、図16の場合と比較して低下するが、一方で、図17Bの変換処理画像60を用いてテンプレートマッチングを行うと、図17Aの入力画像40の場合と比較して、孔62の位置における相関値を大きくすることができる。これは、図3Bに示すように、輝度変換処理を行うことにより孔62とワーク64とのコントラストが高くなって、孔62の位置における相関値が大きくなったためである。
【0078】
なお、図17C及び図17Dでは、加算回数又は積算回数を増加することにより変換処理画像80、100が全体的に明るくなるため、変換処理画像80、100に写り込んでいる孔82、102の形状が一部欠落したものとなる。従って、このような変換処理画像80、100を用いてテンプレートマッチングを行っても、孔82、102の位置での相関値は却って低下する。
【0079】
さらに、図18A〜図18Fでは、黒色のワーク44、64、84、104、114、124と黒色の孔42、62、82、102、112、122とが互いに略同じ色であるため、これらのコントラストは、図16及び図17A〜図17Dの場合と比較して大幅に低下する。このような場合であっても、図18Cの変換処理画像100を用いてテンプレートマッチングを行うことにより、図18Aの入力画像40と比較して、孔102の位置における相関値を大きくすることができる。
【0080】
なお、図18Bでは、加算回数又は積算回数が不足しているために、相関値を大きくすることができず、一方で、図18D、図18E及び図18Fでは、加算回数又は積算回数を増加すると、変換処理画像80、110、120が全体的に明るくなるため、相関値が却って低下する。
【0081】
以上説明したように、本実施形態に係る位置検出装置10及び位置検出方法によれば、入力画像40と参照画像90とのテンプレートマッチングに加え、入力画像30の輝度変換に基づく変換処理画像60、80と参照画像90とのテンプレートマッチングも併せて行い、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する孔の位置を入力画像30に写っている孔32の位置として出力(特定)する。すなわち、入力画像40を用いたテンプレートマッチングに基づく相関値と、変換処理画像60、80を用いたテンプレートマッチングに基づく相関値とを比較して、相関値が高い方の孔の位置を入力画像30に写っている孔32の位置とみなす。
【0082】
これにより、入力画像30の撮影環境の変化に起因して該入力画像30中の孔32とワーク34(孔32の周囲)とのコントラストが変化しても、前記撮影環境の変化に対する孔32の位置検出精度のロバスト性が向上するので、該孔32の位置を確実に検出できることが可能となる。
【0083】
従って、シャッター速度を上げることにより入力画像30の露光量が不足した場合や、孔32の周囲のワーク34の色が異なる場合でも、このような撮影環境の変化に応じて変換処理画像60、80を生成し、生成した変換処理画像60、80を用いてテンプレートマッチングを行うことにより、高い相関値が得られるので、孔32の位置を短時間で(高速に)且つ精度よく検出することができる。
【0084】
この効果についてさらに付言すれば、撮像手段のシャッター速度を上げて入力画像30の露光時間を短縮すれば、入力画像30の露光量が不足して、孔32とワーク34とのコントラストが低下する。
【0085】
そこで、本実施形態では、このような露光時間の短縮化によるコントラストの低下に起因した孔32の位置検出精度の低下を補償するために、入力画像30に対して加算処理又は積算処理を行うことにより変換処理画像50、70を生成する。これにより、通常の露光時間により撮影された入力画像30の輝度と、露光時間が短縮化された変換処理画像50、70の輝度とを同等程度とすることができるので、該変換処理画像50、70を2値化処理又はグレースケール処理した変換処理画像60、80を用いてテンプレートマッチングを行えば、通常の露光時間により撮影された入力画像30における孔32の位置検出精度を確保することが可能となる。
【0086】
従って、本実施形態によれば、入力画像30に対する加算処理又は積算処理を実施することにより、撮像手段の露光時間を短縮化と、孔32の位置検出精度の向上とを一挙に実現することができる。
【0087】
また、輝度変換処理部16は、入力画像30に対する輝度変換を行って変換処理画像50、70を生成するので、変換処理画像50、70における孔52、72とワーク54、74とのコントラストを容易に高くすることができる。
【0088】
この場合、入力画像前処理部18は、入力画像40及び変換処理画像50、70に対する2値化処理又はグレースケール処理を行うので、入力画像40及び変換処理画像50、70中の孔42、52、72とワーク44、54、74とのコントラストをより高くすることができ、テンプレートマッチング処理部24において、入力画像40、変換処理画像50、70及び参照画像90を用いてテンプレートマッチングを行えば、より大きな相関値を得ることが可能となる。
【0089】
さらに、相関値・位置座標記憶部26に複数の孔42、62、82の位置及び各相関値を記憶しておき、その中から最大の相関値に対応する孔の位置を入力画像30に写っている孔32の位置とみなすことで、当該孔32の位置検出をより確実に行うことができる。
【0090】
次に、本実施形態の変形例について、図19A〜図30Fを参照しながら説明する。
【0091】
この変形例は、図19B、図20A、図21A、図22B、図23B及び図24Bに示すように、入力画像前処理部18が2値化処理の閾値を複数有し、各閾値を用いて入力画像30及び変換処理画像50、70に対する2値化処理を行うものである。
【0092】
ここで、図19A〜図21Bは、図19B、図20A及び図21Aに示す各閾値を用いて、図19Aの1つの入力画像30に対する2値化処理を行うことにより、図19C、図20B及び図21Bに示す2値化処理後の入力画像40を生成する場合を示している。この場合、図20Bの入力画像40は、図19C及び図21Bの入力画像40と比較して、孔42とワーク44とのコントラストが大きいので、テンプレートマッチング処理部24において、図20Bの入力画像40を用いたテンプレートマッチングを行うことにより、該孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値を容易に大きくすることができる。
【0093】
また、図22A〜図24Bは、複数の閾値を用いて入力画像30及び変換処理画像50、70に対する2値化処理を行った場合を示しており、図25A〜図27Cには、2値化処理後の入力画像40及び変換処理画像60、80が図示されている。
【0094】
この場合、図25Cの入力画像40及び図27Bの変換処理画像80は、図25A及び図25Bの入力画像40、並びに、図26A〜図27A及び図27Cの変換処理画像60、80と比較して、孔42、82とワーク44、84とのコントラストが大きいので、テンプレートマッチング処理部24において、図25Cの入力画像40及び図27Bの変換処理画像80を用いたテンプレートマッチングを行うことにより、該孔42、82の位置を精度よく検出することが可能になると共に、孔42、82の位置での相関値を容易に大きくすることができる。
【0095】
図28A〜図30Fは、孔42及び白色のワーク44が写り込んでいる入力画像40(図28A〜図28F)と、孔42及び赤色のワーク44が写り込んでいる入力画像40(図29A〜図29F)と、孔42及び黒色のワーク44が写り込んでいる入力画像40(図30A〜図30F)とをそれぞれ示す。なお、図28A〜図30Fは、0〜255の階調中の所定値を閾値とした場合を示す。
【0096】
図28A〜図28Fでは、図28Dの入力画像40であれば、白色のワーク44と黒色の孔42とのコントラストが最も高くなり、当該入力画像40を用いてテンプレートマッチングを行えば、孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値が最も大きくなる。
【0097】
また、図29A〜図29Fでは、図29Dの入力画像40であれば、赤色のワーク44と黒色の孔42とのコントラストが最も高くなり、当該入力画像40を用いてテンプレートマッチングを行えば、孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値が最も大きくなる。
【0098】
さらに、図30A〜図30Fでは、図30Bの入力画像40であれば、図28D及び図29Dの各入力画像40でのコントラストにまでは到達しないが、黒色のワーク44と黒色の孔42とのコントラストが最も高くなり、当該入力画像40を用いてテンプレートマッチングを行えば、孔42の位置を精度よく検出することが可能になると共に、孔42の位置での相関値が最も大きくなる。
【0099】
なお、上述した図28D、図29D及び図30Bの各入力画像40以外の各図における入力画像40は、図28D、図29D及び図30Bの各入力画像40のような高いコントラストが得られない。これは、図19B、図19C及び図22Bに示すように、入力画像30の輝度のグラフに対して閾値を高く設定しすぎると、ワーク44が黒色に近くなり(ワーク44全体が暗くなり)、一方で、図21A、図21B及び図22Bに示すように、入力画像30の輝度のグラフに対して閾値を低く設定しすぎると、孔42が白色に近くなるので(孔42が明るくなりすぎるので)、閾値を高く設定しすぎても、あるいは、低く設定しすぎても、いずれの場合でも、ワーク44と孔42とのコントラストが低くなるためである。
【0100】
従って、この変形例では、最適な閾値(例えば、図25C及び図27Bの入力画像40及び変換処理画像80が得られるような閾値)にて2値化処理を行うことが望ましい。
【0101】
また、この変形例を図14及び図15のフローチャートに適用する場合には、ステップS2、S6の前処理において、複数の閾値を用いて入力画像30及び変換処理画像80に対する2値化処理を行えばよく、それ以外の各ステップでの処理は、上述した本実施形態での処理と同様である。
【0102】
以上説明したように、本実施形態の変形例では、テンプレートマッチング処理部24において、複数の異なる閾値を用いて入力画像30から変換された複数の入力画像40及び変換処理画像80と参照画像90とのテンプレートマッチングをそれぞれ行い、相関値比較処理部28において、これらのテンプレートマッチングにより得た各相関値を比較して、最大の相関値に対応する孔42、82の位置を入力画像30に写っている孔32の位置として出力(特定)すればよい。すなわち、各テンプレートマッチングに基づく各相関値を比較して、相関値が高い方の孔42、82の位置を入力画像30に写っている孔32の位置とみなせばよい。
【0103】
これにより、入力画像30の撮影環境の変化に起因して該入力画像30中の孔32とワーク34とのコントラストが変化しても、前記撮影環境の変化に対する孔32の位置検出精度のロバスト性が向上するので、該孔32の位置を確実に検出できることが可能となる。
【0104】
従って、この変形例でも、シャッター速度を上げることにより入力画像30の露光量が不足した場合や、ワーク34の色が異なる場合でも、撮影環境の変化に応じて入力画像40及び変換処理画像80を生成し、生成した入力画像40及び変換処理画像80を用いてテンプレートマッチングを行うことにより、高い相関値が得られるので、孔32の位置を精度よく検出することができる。
【0105】
また、複数の異なる閾値を用いて入力画像30及び変換処理画像50、70に対する2値化処理を行うことにより、孔42、82とワーク44、84とのコントラストをより高くすることができるので、入力画像40及び変換処理画像80を用いてテンプレートマッチングを行えば、より大きな相関値を得ることが可能となる。
【0106】
その際、参照画像90も2値化処理後の画像であるため、テンプレートマッチングによって得られる相関値をさらに大きくすることができる。
【0107】
さらに、変換処理画像70に対する2値化処理を行って変換処理画像80を生成することで、孔82とワーク84とのコントラストを容易に高くすることができる。
【0108】
さらにまた、相関値・位置座標記憶部26に複数の孔42、82の位置及び相関値を記憶しておき、その中から最大の相関値に対応する孔42、82の位置を入力画像30に写っている孔32の位置とみなすことで、当該孔32の位置検出をより確実に行うことができる。
【0109】
さらにまた、テンプレートマッチング処理部24では、入力画像40と参照画像90とのテンプレートマッチングや、変換処理画像80と参照画像90とのテンプレートマッチング処理を行うので、孔32の位置検出を一層確実に行うことができる。
【0110】
なお、本発明は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることは勿論である。
【符号の説明】
【0111】
10…位置検出装置 16…輝度変換処理部
18…入力画像前処理部 22…参照画像前処理部
24…テンプレートマッチング処理部 26…相関値・位置座標記憶部
28…相関値比較処理部 30、40…入力画像
32、42、52、62、72、82、92、102、112、122…孔
34、44、54、64、74、84、104、114、124…ワーク
50、60、70、80、100、110、120…変換処理画像
90…参照画像
【特許請求の範囲】
【請求項1】
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する入力画像前処理部と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング処理部と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理部と、
を備えることを特徴とする対象物の位置検出装置。
【請求項2】
請求項1記載の装置において、
前記検出パラメータは、2値化処理の閾値であり、
前記前処理では、複数の異なる前記閾値を用いて前記入力画像に対する前記2値化処理を行うことを特徴とする対象物の位置検出装置。
【請求項3】
請求項2記載の装置において、
前記参照画像に対する2値化処理を行い、前記2値化処理後の参照画像を前記テンプレートマッチング処理部に出力する参照画像前処理部をさらに備えることを特徴とする対象物の位置検出装置。
【請求項4】
請求項1〜3のいずれか1項に記載の装置において、
前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理部をさらに備え、
前記入力画像前処理部は、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することを特徴とする対象物の位置検出装置。
【請求項5】
請求項1〜4のいずれか1項に記載の装置において、
前記テンプレートマッチング処理部で検出した前記各対象物の位置と、前記各相関値とを記憶する記憶部をさらに備え、
前記テンプレートマッチング処理部は、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を前記記憶部に記憶し、
前記相関値比較処理部は、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力することを特徴とする対象物の位置検出装置。
【請求項6】
請求項1〜5のいずれか1項に記載の装置において、
前記テンプレートマッチング処理部は、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出することを特徴とする対象物の位置検出装置。
【請求項7】
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する前処理工程と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の各位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング工程と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理工程と、
を備えることを特徴とする対象物の位置検出方法。
【請求項8】
請求項7記載の方法において、
前記検出パラメータは、2値化処理の閾値であり、
前記前処理では、複数の異なる前記閾値を用いて前記入力画像に対する前記2値化処理を行うことを特徴とする対象物の位置検出方法。
【請求項9】
請求項8記載の方法において、
前記参照画像に対して2値化処理を行い、前記2値化処理後の参照画像を出力する参照画像前処理工程をさらに備えることを特徴とする対象物の位置検出方法。
【請求項10】
請求項7〜9のいずれか1項に記載の方法において、
前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理工程をさらに備え、
前記前処理工程では、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することを特徴とする対象物の位置検出方法。
【請求項11】
請求項7〜10のいずれか1項に記載の方法において、
前記テンプレートマッチング工程では、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を記憶部に記憶し、
前記相関値比較処理工程では、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力することを特徴とする対象物の位置検出方法。
【請求項12】
請求項7〜11のいずれか1項に記載の方法において、
前記テンプレートマッチング工程では、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出することを特徴とする対象物の位置検出方法。
【請求項1】
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する入力画像前処理部と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング処理部と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理部と、
を備えることを特徴とする対象物の位置検出装置。
【請求項2】
請求項1記載の装置において、
前記検出パラメータは、2値化処理の閾値であり、
前記前処理では、複数の異なる前記閾値を用いて前記入力画像に対する前記2値化処理を行うことを特徴とする対象物の位置検出装置。
【請求項3】
請求項2記載の装置において、
前記参照画像に対する2値化処理を行い、前記2値化処理後の参照画像を前記テンプレートマッチング処理部に出力する参照画像前処理部をさらに備えることを特徴とする対象物の位置検出装置。
【請求項4】
請求項1〜3のいずれか1項に記載の装置において、
前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理部をさらに備え、
前記入力画像前処理部は、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することを特徴とする対象物の位置検出装置。
【請求項5】
請求項1〜4のいずれか1項に記載の装置において、
前記テンプレートマッチング処理部で検出した前記各対象物の位置と、前記各相関値とを記憶する記憶部をさらに備え、
前記テンプレートマッチング処理部は、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を前記記憶部に記憶し、
前記相関値比較処理部は、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力することを特徴とする対象物の位置検出装置。
【請求項6】
請求項1〜5のいずれか1項に記載の装置において、
前記テンプレートマッチング処理部は、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出することを特徴とする対象物の位置検出装置。
【請求項7】
複数の異なる検出パラメータを用いて入力画像の前処理を行うことにより複数の前処理画像に変換する前処理工程と、
前記各前処理画像と参照画像とのテンプレートマッチングをそれぞれ行うことにより、前記各前処理画像に写っている対象物の各位置を検出すると共に、該各位置における前記各前処理画像と前記参照画像との各相関値を算出するテンプレートマッチング工程と、
前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力する相関値比較処理工程と、
を備えることを特徴とする対象物の位置検出方法。
【請求項8】
請求項7記載の方法において、
前記検出パラメータは、2値化処理の閾値であり、
前記前処理では、複数の異なる前記閾値を用いて前記入力画像に対する前記2値化処理を行うことを特徴とする対象物の位置検出方法。
【請求項9】
請求項8記載の方法において、
前記参照画像に対して2値化処理を行い、前記2値化処理後の参照画像を出力する参照画像前処理工程をさらに備えることを特徴とする対象物の位置検出方法。
【請求項10】
請求項7〜9のいずれか1項に記載の方法において、
前記入力画像の輝度を変換して変換処理画像を生成する輝度変換処理工程をさらに備え、
前記前処理工程では、前記変換処理画像に対して前記前処理を行うことにより前記各前処理画像に変換することを特徴とする対象物の位置検出方法。
【請求項11】
請求項7〜10のいずれか1項に記載の方法において、
前記テンプレートマッチング工程では、前記各前処理画像と前記参照画像とのテンプレートマッチングをそれぞれ行い、前記各テンプレートマッチングにより得た前記各対象物の位置及び前記各相関値を記憶部に記憶し、
前記相関値比較処理工程では、前記記憶部に記憶された前記各対象物の位置及び前記各相関値を読み出して、読み出した前記各相関値を比較し、最大の相関値に対応する対象物の位置を前記入力画像に写っている対象物の位置として出力することを特徴とする対象物の位置検出方法。
【請求項12】
請求項7〜11のいずれか1項に記載の方法において、
前記テンプレートマッチング工程では、さらに、前記入力画像と前記参照画像とのテンプレートマッチングを行うことにより、前記入力画像に写っている対象物の位置を検出すると共に、該位置における前記入力画像と前記参照画像との相関値を算出することを特徴とする対象物の位置検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【公開番号】特開2010−191593(P2010−191593A)
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願番号】特願2009−34043(P2009−34043)
【出願日】平成21年2月17日(2009.2.17)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願日】平成21年2月17日(2009.2.17)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]