画像相関処理装置、画像相関処理方法及び画像相関処理プログラム並びに対象物位置情報取得装置
【課題】撮像系の歪み補正などを行うことなく、複数の画像の相関処理を適切に行う。
【解決手段】複数の画像の相関処理を行う画像相関処理装置であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部１２１，１２２と、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部１３１，１３２と、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部１５０とを有する。
【解決手段】複数の画像の相関処理を行う画像相関処理装置であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部１２１，１２２と、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部１３１，１３２と、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部１５０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像相関処理装置、画像相関処理方法及び画像相関処理プログラム並びに求められた相関情報を用いて画像位置情報を取得可能な対象物位置情報取得装置に関する。
【背景技術】
【０００２】
ある１つの画像または複数の画像において、それらの画像の部分画像間の相関の大きさ（相関値という）を求める処理は、様々な画像処理や画像符号化において多用される技術である。
例えば、ＭＰＥＧなどの画像符号化方法においては、１つの画像、または時間的に前後する複数の画像の部分画像間の相関値を求め、求められた相関値を用いて高効率な画像符号化を実現している。
【０００３】
また、異なる位置に設置された複数の撮像装置を用いて、ある対象物を同時に撮像して得られた複数の画像を用い、その部分画像間の相関値を求めれば、その画像の３次元的な構造や対象物の位置情報を取得することができる。対象物の位置情報を取得することにより、撮像装置から物体までの距離を取得することもできる。これは視差を利用したものであり、取得された位置情報を用いれば、撮像装置が実際に存在しなかった視点からの画像を合成することも可能となる。また、撮像装置から物体までの距離は、ロボット制御や自動車の運転支援システムなどにも用いることができ、例えば、進行方向における障害物の回避などにも用いることができる。
【０００４】
図１２は視差を用いて対象物の距離情報を取得する方法について簡単に説明する図である。図１２（ａ）に示すように、２台の撮像手段（カメラという）１０Ｌ，１０Ｒにより対象物αと対象物βとを撮像するものとする。このとき、左側のカメラ１０Ｌからの画像を左目画像とし、右側のカメラ１０Ｒからの画像を右目画像として画像処理するものとする。図１２（ｂ）は左側のカメラ１０Ｌから得られた左目画像であり、図１２（ｃ）は右側のカメラ１０Ｒから得られた右目画像である。
【０００５】
図１２（ｂ），（ｃ）に示すような左目画像として取得された対象物αと右目画像として取得された対象物αとの視差及び左目画像に写った対象物βと右目画像に写った対象物βとの視差をそれぞれ求める。このとき、カメラ１０Ｌ，１０Ｒの位置関係が既知であるならば、求められた視差とカメラ１０Ｌ，１０Ｒの位置関係とを用いれば、三角測量の原理により、対象物α，βまでの距離を知ることができる。
【０００６】
図１３は図１２によって得られた左目画像と右目画像との相関処理を簡単に説明する図である。図１３においては、左目画像を基準画像とする。また、相関値を算出する処理を相関処理と呼ぶことにする。
【０００７】
まず、左目画像から部分画像を左目画像上で位置をずらしながら順次選択する。ここで、選択した部分画像を構成する画像データをＬｉとする（図１３（ａ）参照）。なお、Ｌの添え字ｉは、０≦ｉ＜Ｎであるとする（Ｎは左目画像から選択された部分画像の総画素数とする）。
【０００８】
同様に、右目画像からも部分画像を右目画像上で位置をずらしながら順次選択する。ここで、選択した部分画像を構成するデータをＲｉとする（図１３（ｃ）参照）。なお、Ｒの添え字ｉは、０≦ｉ＜Ｎであるとする（Ｎは右目画像から選択された部分画像の総画素
数とする）。
【０００９】
続いて、左目画像から切り出された部分画像と右目画像から切り出された部分画像との相関値を求める相関処理を行う（図１３（ｂ）参照）。ここで、相関値は下記（１）式によって求めることができる。
Σａｂｓ（Ｌｉ−Ｒｉ）・・・・・・（１）
上記（１）式において、Σは添え字ｉの０≦ｉ＜Ｎの範囲での総和を示すものとし、関数absは、その引数の絶対値を与えるものとする。
【００１０】
また、相関値は、下記（２）式で求められる正規化された内積値であっても良い。
Σ(Ｌｉ×Ｒｉ)／〔sqrt{Σ(Ｌｉ×Ｌｉ)}×sqrt{Σ(Ｒｉ×Ｒｉ)}〕・・・（２）
【００１１】
（２）式において、Σは、（１）式と同様に、添え字ｉの０≦ｉ＜Ｎの範囲での総和を示すものとする。また、（２）式おいては、関数sqrtは、その引数の平方根を与えるものとする。
【００１２】
上記（１）式または（２）式で求められる相関値を、右目画像から順次選択される部分画像と基準画像（左目画像）において選択された部分画像との間で求め、相関値が最大となる部分画像を探索する。そして、相関値が最大となる部分画像の位置の差が、右目画像と左目画像との視差ということになる。
【００１３】
ところで、このような画像の相関処理は、原理的には非常に簡単なものであるが、実際的にはそれほど単純なものではない。図１３の説明は、検出した対象物が右目画像、左目画像においては、単純に並行移動した状態であるという仮定のもとに成り立つものである。しかし、実際的にはそのような仮定は成り立ち難い。例えば、実際の撮像系においては、撮像系間において倍率の誤差や設置時の軸の回転などの誤差が存在する。それにより、撮像手段により得られた画像の大きさが異なったり、あるいは回転していたりする場合もある。また個々の撮像系においても、レンズ歪などにより、撮像された画像が非線形に歪んで変形してしまう場合もある。
【００１４】
図１４はレンズ歪みによって画像が変形する例を説明する図である。ここでは、糸巻き型の歪みを仮定している。例えば、図１４（ａ）のように、歪みの無い撮像系においては、その撮像系によって撮像された画像の中心部における四辺形１１も、周辺部における四辺形１２も同じ形で撮像される。一方、図１４（ｂ）のような歪みのある撮像系においては、中心部における四辺形１１には歪みが生じなくても、周辺部の四辺形１２には菱形状に変形するような歪みが生じることがある。このような状態では、図１３で説明したような単純な相関処理方法では期待する結果は得られない。
【００１５】
そのため、従来技術においては、まず、カメラ補正と呼ばれる処理が行われる。カメラ補正処理は、カメラ固有の歪を求め、それを逆変換処理することにより、歪みの無い画像を得ようとするものである。それにより、図１３で説明したような状態を実現することが原理的には可能である。
【００１６】
しかし、このカメラ補正処理においても多くの課題が残る。１つは、複数のカメラの各カメラごとに歪を測定しなければならないということである。さらに、歪はカメラのズームなどの状態によっても変化する。あるいは、経時変化や温度変化、撮像姿勢によっても変化してしまう。これら全てを考慮してカメラ補正を行うのは、非常に困難なことである。
【００１７】
これらの問題点を解決する方法として、例えば、特許文献１に開示された技術（以下で
は、従来技術という）がある。この従来技術は、実際に画像を撮像しながら、それと同時に歪などの補正も行って行くものである。具体的には、撮像された画像中から、予め設定された条件を満たすような領域（マッチングが取りやすいような領域）を基準領域として選択し、各々の画像の中の基準領域同士の対応関係からカメラ補正処理を行うアフィン変換係数を求めるものである。アフィン変換は、対象の拡大縮小、回転などを表現するものであり、撮像時の歪みがアフィン変換として表現され、かつその逆アフィン変換を求めることができるならば、この方法により、経時変化、姿勢変化などにも対応し、良好な特性を得ることが可能となる。
【００１８】
【特許文献１】特開２００３−２５６８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
しかし、上記従来技術にも課題が残る。つまり、従来技術においては、基準領域の正確な検出が必要であるということであり、基準領域が高精度に検出できることが前提条件となっている。しかしながら、このような基準領域を高精度に取得することは一般的には容易ではない。そして、この基準領域の検出を誤ると、適切な逆アフィン変換係数が得られず、処理全体が破綻してしまう。特に、撮像画像のコントラストが低い場合、あるいは、撮像時のノイズが多い場合には、問題が起こる可能性が高い。
【００２０】
本発明は、撮像系の歪み補正などを行うことなく、画像間の相関処理を適切に行うことができる画像相関処理装置、画像相関処理方法及び画像相関処理プログラムを提供することを目的とするとともに、求められた相関値を用いて対象物の位置情報を取得可能な対象物位置情報取得装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の画像相関処理装置は、複数の画像の相関処理を行う画像相関処理装置であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部と、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部とを有することを特徴とする。
【００２２】
このように、本発明の画像相関処理装置によれば、選択された各部分画像に対してハフ変換を行い、ハフ変換後の各部分画像について相関値を算出するようにしている。ハフ変換は、その原理から理解できるように、（ｒ，θ）座標でのｒ方向の変位は、（Ｘ，Ｙ）座標での原点からの距離の変位を表し、（ｒ，θ）座標でのθ方向の変位は、（Ｘ，Ｙ）座標での回転を示す。このようなハフ変換の性質により、撮像系のレンズ歪みなどによる画像の変形は、（ｒ，θ）座標において、極大値を与える点の移動として表現されることになる。
【００２３】
これにより、例えば、複数の撮像手段で同じ対象物を撮像して得られた画像の一方に歪が生じた場合、（Ｘ，Ｙ）座標系においては適切な補正処理により処理を行わないと、期待する相関を求めることが出来ない可能性があるが、ハフ変換された（ｒ，θ）座標系においては、その変形は単にｒ方向及び／又はθ方向の変位として表現されるので、ハフ変換後の画像を用いて相関値を求めた場合、高い相関値を得ることができる。したがって、撮像系などの歪み補正などを行うことなく、画像間の相関処理を適切に行うことができる。
【００２４】
本発明の画像相関処理装置において、前記ハフ変換された各画像の部分画像に対してマスク処理を行うマスク処理部をさらに有することが好ましい。
本発明の画像相関処理装置で用いるマスク処理は、選択された各画像の部分画像の相関値を算出する際に、相関の許容範囲を設定するものであり、このようなマスク処理を行うことにより、許容できる変形の範囲（回転や拡大縮小などの範囲）を考慮した相関処理を行うことができる。
【００２５】
本発明の画像相関処理装置において、前記マスク処理部は、前記ハフ変換された各画像の画素値を拡散するように設定されたマスク係数によってマスク処理を行うことが好ましい。
ハフ変換された画像の画素値を拡散するということは、相関の許容範囲を広くすることを意味している。例えば、ハフ変換された各画像の画素値をｒ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位に対する許容範囲、つまり、拡大縮小の変形に対する許容範囲を広くすることを意味し、θ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲を広くすることを意味する。このように、相関の許容範囲を広くするようなマスク係数によるマスク処理を行うことにより、撮像系の歪などが大きい場合であっても、同じ対象物に対して、より高い相関値を得ることができ、相関処理を効率的に行うことができる。
【００２６】
本発明の画像相関処理装置において、前記マスク処理部は、前記ハフ変換された各画像の画素値を強調するように設定されたマスク係数によってマスク処理を行うこともまた好ましい。
ハフ変換された画像の画素値を強調するということは、相関の許容範囲を狭くすることを意味している。これは、上記の場合と逆に、許容範囲を狭めるようなマスク係数によるマスク処理を行うものであり、より高精度な相関処理を行う場合に好適なものとなる。
【００２７】
本発明の画像相関処理装置において、前記複数の画像は、複数の撮像手段が同じ対象物を撮像することによって前記複数の撮像手段の各撮像手段から出力された画像とすることが可能である。
【００２８】
これは、複数（例えば２つ）の撮像手段によって同じ対象物を撮像したときの各撮像手段から出力された各画像の部分画像について相関値を算出するというものである。これにより、例えば、２つの撮像手段から得られた画像の一方を左目画像、他方を右目画像として、左目画像から選択された部分画像と右目画像から選択された部分画像との相関値を算出し、最大の相関値が得られたときの各部分画像の位置の差を視差値として取得することができる。求められた視差値を用いることにより対象物までの距離などを求めることも可能となる。
【００２９】
本発明の画像相関処理装置において、前記複数の画像は、撮像手段によって撮像された画像において時間的に前後する画像であってもよい。
これは、例えば、ＭＰＥＧなどの画像符号化のように、時間的に前後する画像の相関を求める場合への適用を想定したものであり、本発明の画像相関処理装置をこのような画像符号化技術などに適用することにより、効率的な画像符号化が可能となる。
【００３０】
本発明の画像相関処理方法は、複数の画像の相関処理を行う画像相関処理方法であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップとを有することを特徴とする。
本発明の画像相関処理方法を用いて各画像において選択された部分画像の相関処理を行うことにより、前記本発明の画像相関処理装置と同様の効果が得られる。なお、本発明の画像相関処理方法においても、前記本発明の画像相関処理装置のそれぞれの特徴を有する
ことが好ましい。
【００３１】
本発明の画像相関処理プログラムは、複数の画像の相関処理をコンピュータに実行させるための画像相関処理プログラムであって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップとを有することを特徴とする。
【００３２】
本発明の画像相関処理プログラムをコンピュータに実行させることによって各画像において選択された部分画像の相関処理を行うことにより、前記本発明の画像相関処理装置と同様の効果が得られる。なお、本発明の画像相関処理プログラムにおいても、前記本発明の画像相関処理装置のそれぞれの特徴を有することが好ましい。
【００３３】
本発明の対象物位置情報取得装置は、複数の撮像手段が同じ対象物を撮像することによって得られた複数の画像に基づいて前記対象物の位置情報を求める対象物位置情報取得装置であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部と、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部と、前記相関処理部によって求められた相関値のうち最大の相関値が得られたときの前記各画像の部分画像の位置に基づいて視差値を求める視差処理部とを有することを特徴とする。
【００３４】
本発明の対象物位置情報取得装置によれば、複数（例えば２つ）の撮像手段から得られた画像の一方を左目画像、他方を右目画像として、左目画像から選択された部分画像と右目画像から選択された部分画像との相関値を算出し、最大の相関値が得られたときの各部分画像の位置の差を視差値として取得することができる。そして、求められた視差値を用いて対象物までの距離などを求めることも可能となる。撮像手段から対象物までの距離は、ロボット制御や自動車の運転支援システムなどにも用いることができ、例えば、進行方向における障害物の回避などにも用いることができる。また、これらの技術以外にも様々な分野に適用することができる。
【００３５】
なお、本発明の対象物位置情報取得装置において相関を求める処理は、前記本発明の画像相関処理装置を用いているので、相関処理に関しては、前記本発明の画像相関処理装置と同様の効果を得ることができる。なお、本発明の対象物位置情報取得装置においても、前記本発明の画像相関処理装置のそれぞれの特徴を有することが好ましい。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施形態について説明する。なお、以下に示す実施形態では、図１２で説明したように、２台のカメラによってある対象物を同時に撮像することによって、２台のカメラから出力された画像の相関値を算出する場合について説明する。
【００３７】
[実施形態１]
図１は実施形態１に係る画像相関処理装置のブロック図である。実施形態１に係る画像の相関処理装置１００は、図１に示すように、２台のカメラ（図１では図示せず）がある対象物を同時に撮像した画像を入力する画像入力部１１１，１１２と、画像入力部１１１，１１２に入力された各画像から部分画像を各画像上で位置をずらしながら順次選択する部分画像選択部１２１，１２２と、選択された部分画像に対してハフ変換を施すハフ変換処理部１３１，１３２と、ハフ変換処理部１３１，１３２でハフ変換された各画像（ハフ変換画像という）について相関値を算出する相関処理部１５０とを有している。
【００３８】
なお、実施形態１においても、２台のカメラの一方から出力される画像を右目画像、他方から出力される画像を左目画像として説明する。また、左目画像は画像入力部１１１に入力され、右目画像は画像入力部１１２に入力されるものとする。
【００３９】
図２は実施形態１に係る画像相関処理装置１００が行う相関処理の基本的な概念を説明する図である。図２は従来技術の説明で用いた図１３に対応するものであり、実施形態１に係る画像相関処理装置１００が行う相関処理が図１３と異なるのは、選択されたそれぞれの部分画像をハフ変換し、ハフ変換後のハフ変換画像について相関値を算出することにある。図２（ａ）は左目画像、図２（ｄ）は右目画像であり、図２においても図１３と同様、左目画像を基準画像とする。そして、左目画像から部分画像を順次選択し、選択されたある１つの部分画像Ｌ１のハフ変換画像Ｌ１’が図２（ｂ）であるとする。なお、基準画像から選択された部分画像を基準部分画像という。
【００４０】
また、右目画像（相関対象画像という）においても部分画像を順次選択し、選択された部分画像Ｒ１，Ｒ２，Ｒ３，・・・をそれぞれハフ変換する。図２（ｃ）は右目画像から選択された各部分画像Ｒ１，Ｒ２，Ｒ３，・・・をハフ変換したハフ変換画像Ｒ１’，Ｒ２’，Ｒ３’，・・・であるとする。なお、相関対象画像（右目画像）から選択された部分画像を相関対象部分画像という。
【００４１】
ここで、相関対象部分画像の各ハフ変換画像Ｒ１’，Ｒ２’，Ｒ３’，・・・と、基準部分画像Ｌ１のハフ変換画像Ｌ１’との相関値を算出する。なお、相関値は前述の（１）式または（２）式によって算出することができる。
【００４２】
図３は実施形態１に係る画像相関処理装置の処理手順を説明するフローチャートである。図３において、まず、基準画像（左目画像）の全面について処理したか否かを処理したかを判定し（ステップＳ１）、全面について処理が終了していなければ、基準画像から部分画像を選択し（ステップＳ２）、選択した部分画像（基準部分画像）をハフ変換する（ステップＳ３）。また、最大相関値及び最大相関位置を初期化する（ステップＳ４）。この初期化は、例えば、図示しない記憶装置に保持されている最大相関値及び最大相関位置をゼロとする処理である。なお、最大相関位置は、最大相関値が得られた各部分画像の撮像画像上の位置である。
【００４３】
続いて、相関対象画像（右目画像）の全面について処理したか否かを判定し（ステップＳ５）、全面について処理が終了していなければ、相関対象画像から部分画像を選択し（ステップＳ６）、選択した部分画像（相関対象部分画像）をハフ変換処理する（ステップＳ７）。そして、基準部分画像のハフ変換画像と相関対象部分画像のハフ変換画像との相関値を算出し(ステップＳ８)、算出された相関値と記憶装置に保持されているその時点の最大相関値とを比較する（ステップＳ９）。
【００４４】
この比較の結果、ステップＳ８で求められた相関値の方が記憶装置に保持されているその時点の最大相関値よりも小さければ、ステップＳ５に戻り、再び、ステップＳ５以降の処理を行う。また、ステップＳ８で求められた相関値の方が記憶装置に保持されているその時点の最大相関値よりも大きければ、記憶装置に保持されている最大相関値をステップＳ８で求められた値に更新するとともに、最大相関位置をその時点の基準部分画像の位置及び相関対象部分画像の位置に更新（ステップＳ１０）したのち、ステップＳ５に戻る。
【００４５】
そして、ステップＳ５において、相関対象画像（右目画像）の全面について処理が終了したと判定された場合には、その時点における相関処理結果（最大相関値及び必要に応じて最大相関位置）を出力したのち、ステップＳ１に戻り、基準画像（左目画像）の全面に
ついて処理が終了したか否かを判定し、基準画像の全面について処理が終了していなければ、ステップＳ２以降の処理を行い、基準画像の全面について処理が終了していれば処理を終了する。
【００４６】
以上説明したように、本発明においては、相関処理を行う際、基準部分画像をハフ変換するとともに、相関対象部分画像をハフ変換し、ハフ変換した各ハフ変換画像の相関値を算出することが大きな特徴である。ここで、ハフ変換について簡単に説明する。
【００４７】
図４はハフ変換について説明する図である。ハフ変換は（Ｘ，Ｙ）座標系で表現される画像を（ｒ，θ）座標系に写像するものである。例えば、（Ｘ，Ｙ）座標系におけるある座標（ｘ，ｙ）の点を考える。これは、（ｄ×ｃｏｓ（φ），ｄ×ｓｉｎ（φ））と書き換えることも可能である。そうすると、この点はハフ変換によって、下記（３）式に示す（ｒ，θ）座標系の曲線に写像される。なお、ハフ変換を行う際の座標の原点は、選択された基準部分画像または選択された相関対象部分画像の中心に置くものとする。
ｒ＝ｄ×ｃｏｓ(φ＋θ）・・・・・（３）
【００４８】
上記（３）式で表される曲線に、点（ｘ，ｙ）の値（画素値とする）を重みとして乗算し、変換対象領域内の全ての点について積算する処理がハフ変換である。具体例として、例えば、図４（ａ）に示すような原点からの距離がｄで、かつ、角度φに直交する直線Ｌは、ハフ変換の結果、図４（ｂ）に示すように、（ｒ，θ）座標上で（ｄ，φ）の点Ｐに画素値の極大値を持つ曲線群に写像される。極大値を与える点Ｐは直線Ｌを表すものであるといえる。
【００４９】
なお、図４（ｂ）は（ｒ，θ）の２次元座標として表されているが、実際には、（ｒ，θ）平面に直交する軸方向に画素値の大きさを有している。図４（ｂ）においては、画素値の大きさをグレースケールのグラデーションで表している。すなわち、図４（ｂ）におけるグレースケールで描かれた部分は、極大値を与える点Ｐを通る曲線群が表す画素値の大きさを模式的に表現したものである。
【００５０】
また、ハフ変換の原理から容易に理解できるように、（ｒ，θ）座標でのｒ方向の変位は、（Ｘ，Ｙ）座標での原点からの距離の変位を表し、（ｒ，θ）座標でのθ方向の変位は、（Ｘ，Ｙ）座標での回転を示す。例えば、図４（ｂ）に示す（ｒ，θ）座標でのｒ方向の変位は、図４（ａ）に示す（Ｘ，Ｙ）座標での直線Ｌの原点からの距離ｄの変位を表し、図４（ｂ）に示す（ｒ，θ）座標でのθ方向の変形は、図４（ａ）に示す（Ｘ，Ｙ）座標での直線Ｌの回転を表している。言い換えれば、図４（ａ）のような（Ｘ，Ｙ）座標における直線Ｌの原点からの距離ｄの変位は、（ｒ，θ）座標においては、極大値を与える点Ｐのｒ方向の変位として表現され、図４（ａ）のような（Ｘ，Ｙ）座標における直線Ｌの回転は、（ｒ，θ）座標においては、極大値を与える点Ｐのθ方向の変位として表現されることになる。
【００５１】
図５はハフ変換画像の相関処理につて模式的に説明する図である。ここでは、説明を簡単にするために、ある四辺形を考え、それがどのようにハフ変換されるかについて説明する。図５（ａ）に示すような辺Ａ，Ｂ，Ｃ，Ｄからなる四辺形（正方形とする）は、ハフ変換においては、図５（ｃ）に示すような４つの極大値Ｐ１１〜Ｐ１４を有する曲線に変換される。ここで、極大値を与える点Ｐ１１は図５（ａ）に示す四辺形を構成する辺Ａを表し、極大値を与える点Ｐ１２は図５（ａ）に示す四辺形を構成する辺Ｂを表し、極大値を与える点Ｐ１３は図５（ａ）に示す四辺形を構成する辺Ｃを表し、極大値を与える点Ｐ１４は図５（ａ）に示す四辺形を構成する辺Ｄを表している。
【００５２】
同様に、図５（ｂ）に示すような少し歪んだ四辺形（図５（ａ）に示す四辺形が歪んだ
ものであるとする）は、図５（ｄ）に示すような４つの極大値を与える点Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４を持つ曲線群に変換される。ここで、極大値を与える点Ｐ２１は図５（ｂ）に示す四辺形を構成する辺Ａを表し、極大値を与える点Ｐ２２は図５（ｂ）に示す四辺形を構成する辺Ｂを表し、極大値を与える点Ｐ２３は図５（ｂ）に示す四辺形を構成する辺Ｃを表し、極大値を与える点Ｐ２４は図５（ｂ）に示す四辺形を構成する辺Ｄを表している。
【００５３】
図４において説明したように、（ｒ，θ）座標でのｒ方向の変位は、（Ｘ，Ｙ）座標での原点からの距離の変位を表し、（ｒ，θ）座標でのθ方向の変位は、（Ｘ，Ｙ）座標での回転を示す。よって、図５（ａ）に示すような四辺形の拡大縮小は、（ｒ，θ）座標においては、極大値を与える点Ｐ１１〜Ｐ１４のｒ方向の変位として表現されることになる。したがって、図５（ａ）に示すような四辺形が図５（ｂ）のように回転を伴って変形すると、その回転は、（ｒ，θ）座標においては、極大値を与える点Ｐ２１〜Ｐ２４のθ方向の変位として表現されることになる。
【００５４】
このようなハフ変換の性質により、レンズ歪みによる変形や、複数撮像装置の相対的な回転は、単に極大値を与える点のｒ方向またはθ方向の変位として表現されることになる。
つまり、図５（ａ），（ｂ）に示したような四辺形の変形は、（Ｘ，Ｙ）座標系においては適切な補正処理により処理を行わないと、期待する相関を求めることが出来ない。このため、本来、同じ四辺形が左目画像（図５（ａ）とする）及び右目画像（図５（ｂ）とする）として取得された場合、同じ対象物であっても、高い相関値を得ることができない可能性があるが、ハフ変換された（ｒ，θ）座標系においては、その変形は単にｒ方向及び／又はθ方向の変位として表現されるので、図５（ｃ），（ｄ）に示すハフ変換画像の相関値を求めた場合、高い相関値を得ることができる。
【００５５】
このように、ハフ変換を行うことによって、（Ｘ、Ｙ）座標での画像歪みは、（ｒ、θ）座標での変位に変換されるため、多少の歪みを残したままの画像で歪み補正処理せずに相関処理を行うことが可能となる。さらに、カメラの撮像素子に起因するノイズにおいても、ハフ変換処理が積分操作であるために、それが相殺されるという効果がある。例えば、複数の画像のうちの１枚に何らかの原因により輝点、あるいは暗点が発生したとする。単純な（Ｘ、Ｙ）平面上の相関処理においては、仮に画像歪みが完全に補正されていたとしても、この異常は結果に大きな影響を与える。しかし、ハフ変換を行うことにより、輝点、暗点の影響は曲線上に分散されるため、相対的にその影響を小さくすることが可能となる。またノイズがランダムノイズであるとし、ハフ変換の対象領域の点の総数がＮ点であるとすれば、変換後のＳＮ比は、単純にいえば、Ｎの平方根倍に改善されることになる。
【００５６】
また、相関処理を行う際はそれぞれの画像についてエッジ強調を行ったほうが好ましい場合もあるが、ハフ変換はエッジ強調の働きもあるので、相関処理を行う際の前段階の処理としてのエッジ強調処理などを軽減することもできる。
【００５７】
[実施形態２]
図６は実施形態２に係る画像相関処理装置のブロック図である。実施形態１に係る画像相関処理装置が図１に示した実施形態１に係る画像相関処理装置と異なるのは、ハフ変換部１３１，１３２によりハフ変換されたハフ変換画像に対しマスク処理を行うマスク処理部１４１，１４２を有する点である。
【００５８】
図７は実施形態１に係る画像相関処理装置の処理手順を説明するフローチャートである。図７において、ステップＳ２１〜Ｓ２３は、図２におけるステップＳ１〜Ｓ３と同様の
処理であり、また、ステップＳ２５〜Ｓ２８は、図２におけるステップＳ４〜Ｓ７と同様の処理である。
【００５９】
実施形態２に係る画像相関処理装置においては、基準画像（左目画像）から選択した基準部分画像のハフ変換処理（ステップＳ２３）の後にマスク処理を行うステップＳ２４を有している。また、相関対象画像（右目画像）から選択した相関対象部分画像のハフ変換処理（ステップＳ２８）の後にマスク処理を行うステップＳ２９を有する。また、ステップＳ２９のマスク処理以降のステップＳ３０〜Ｓ３３の処理は、図２のステップＳ８〜Ｓ１１と同様である。
【００６０】
図８はマスク処理を付加した場合の相関処理を模式的に示す図である。図８（ａ）〜（ｄ）は図５（ａ）〜（ｄ）と同じものであり、それぞれの四辺形をハフ変換した場合のハフ変換画像を示すものである。図８（ｅ），（ｆ）は図８（ｃ），（ｄ）に示すハフ変換画像についてマスク処理を施した後の画像（マスク処理画像という）であり、ハフ変換画像の画素値を拡散させるようなマスク処理を施した例が示されている。
【００６１】
ハフ変換画像の画素値を拡散させるということは、相関の許容範囲を広くすることを意味している。例えば、ハフ変換画像の画素値をｒ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位に対する許容範囲、つまり、拡大縮小の変形に対する許容範囲を広くすることを意味し、θ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲を広くすることを意味することになる。
【００６２】
図９はマスク処理に用いるマスクパターンの例を示す図である。図９では５×５のマスクパターンを例示している。図９（ａ）は、（ｒ，θ）座標におけるｒ方向及びθ方向それぞれに等方的に画素値を拡散させるようなマスク係数を有するマスクパターンの一例であり、このようなマスク係数を有するマスクパターンを用いてマスク処理を行うことにより、ハフ変換画像の画素値をｒ軸方向及びθ方向にそれぞれに拡散させることができる。これにより、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位及び（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲をそれぞれ広くすることができる。
【００６３】
図９（ｂ）は、（ｒ，θ）座標におけるθ方向に画素値をより大きく拡散させるようなマスク係数を有するマスクパターンの一例であり、このようなマスク係数を有するマスクパターンを用いてマスク処理を行うことにより、（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲をより広くすることができる。
【００６４】
なお、ここでは、図示していないが、（ｒ，θ）座標におけるｒ方向に画素値をより大きく拡散させるようなマスク係数を有するマスクパターンを用いてマスク処理を行えば、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位に対する許容範囲をより広くすることができる。
【００６５】
また、図９（ｃ）は、図９（ａ），（ｂ）とは異なり、ハフ変換画像の画素値を強調するようなマスク係数を有するマスクパターンの一例であり、これは、相関の許容範囲をより狭くするように作用する。図９（ｃ）に示すマスクパターンは、エッジ強調を行うようなマスク係数を有するマスクパターンであり、より厳密な相関処理を行う場合に好適である。
【００６６】
図９で例示したようなマスク係数を有するマスクパターンを用いて、ハフ変換画像に対してマスク処理を行うことにより、許容できる変形の範囲、つまり、原点からの距離ｄの変位や回転による変形などに対する許容範囲をより積極的に制御することが可能となる。なお、マスク係数は、要求される相関の精度に応じて設定することができる。
【００６７】
[実施形態３]
図１０は実施形態３に係る対象物位置情報取得装置の構成を示す図である。実施形態３に係る対象物位置情報取得装置は、図１０に示すように、画像相関処理装置１００と、画像相関処理装置１００からの相関処理結果に基づいて各部分画像の視差値を求める視差処理部２００を有している。
【００６８】
画像相関処理装置１００は、実施形態１または実施形態２において説明した画像相関処理装置１００のいずれであってもよいが、図１０においては、実施形態１に係る画像相関処理装置１００（図１参照）を用いた例を示している。
【００６９】
図１１は実施形態３に係る対象物位置情報取得装置の処理手順を説明するフローチャートである。図１１において、ステップＳ４１〜Ｓ５１は、図３に示したフローチャートのＳ１〜Ｓ１１と同じ処理である。実施形態３に係る対象物位置情報取得装置においては、図１１に示すように、相関対象画像（右目画像）の全面について処理が終了（ステップＳ４５）した段階で得られている最大相関値と最大相関位置を視差処理部２００が受け取って、相関対象部分画像と基準部分画像との視差値を求める（ステップＳ５２）。視差値は、図１２で説明したように、最大相関値が得られたときの基準部分画像の位置と相関対象部分画像の位置との差として求めることができる。
【００７０】
このようにして求められた視差値は、対象物の位置情報として用いることができる。例えば、前述したように、カメラの位置関係が既知であるならば、求められた視差値とカメラの位置関係とを用いれば、三角測量の原理により、対象物までの距離を知ることができる。このような位置情報は、例えば、ロボット制御や自動車の運転支援システムなどにも用いることができ、例えば、進行方向における障害物の回避などにも用いることができる。また、これらの技術以外にも様々な分野に適用することができる。
【００７１】
なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。実施形態１及び実施形態２では、２台のカメラにより同じ対象物を撮像することによって得られた画像の相関値を算出する場合について説明したが、異なる複数の対象物を１台または複数台のカメラによって撮像して得られたそれぞれの対象物の画像の相関値を算出する場合にも適用することができる。
【００７２】
また、相関処理の対象となる複数の画像は、撮像手段によって撮像された画像において時間的に前後する画像であってもよい。これは、例えば、ＭＰＥＧなどの画像符号化のように、時間的に前後する画像に対して相関処理を行う場合などへの適用を想定したものであり、本発明の画像相関処理装置及び方法をこのような画像符号化技術などに適用することにより、高精度でかつ効率的な画像符号化が可能となる。
【００７３】
また、前述の各実施形態において説明した画像相関処理をコンピュータに実行させるためのプログラとしての画像相関処理プログラムを作成することが可能であり、また、作成した画像相関処理プログラムを各種の記録媒体に記録させておくことも可能である。
【００７４】
したがって、本発明は、これら画像相関処理プログラムとその画像相関処理プログラムを記録した記録媒体をも含むものである。また、画像相関処理プログラムはネットワークから取得するようにしてもよい。
【図面の簡単な説明】
【００７５】
【図１】実施形態１に係る画像相関処理装置のブロック図。
【図２】実施形態１に係る画像相関処理装置が行う相関処理の基本的な概念を説明する図。
【図３】実施形態１に係る画像処理装置の処理手順を説明するフローチャート。
【図４】ハフ変換について説明する図。
【図５】ハフ変換画像の相関処理について模式的に説明する図。
【図６】実施形態２に係る画像相関処理装置のブロック図。
【図７】実施形態１に係る画像処理装置の処理手順を説明するフローチャート。
【図８】マスク処理を付加した場合の相関処理を模式的に示す図。
【図９】マスク処理に用いるマスクパターンの例を示す図。
【図１０】実施形態３に係る対象物位置情報取得装置の構成を示す図。
【図１１】実施形態３に係る対象物位置情報取得装置の処理手順を説明するフローチャート。
【図１２】視差を用いて対象物の距離情報を取得する方法について簡単に説明する図。
【図１３】図１２によって得られた左目画像と右目画像との相関処理を簡単に説明する図。
【図１４】レンズ歪みによって画像が変形する例を説明する図。
【符号の説明】
【００７６】
１００・・・画像相関処理装置、１１１，１１２・・・画像入力部、１２１，１２２・・・部分画像選択部、１３１，１３２・・・ハフ変換処理部、１４１，１４２・・マスク処理部、１５０・・・相関処理部、２００視差処理部
【技術分野】
【０００１】
本発明は、画像相関処理装置、画像相関処理方法及び画像相関処理プログラム並びに求められた相関情報を用いて画像位置情報を取得可能な対象物位置情報取得装置に関する。
【背景技術】
【０００２】
ある１つの画像または複数の画像において、それらの画像の部分画像間の相関の大きさ（相関値という）を求める処理は、様々な画像処理や画像符号化において多用される技術である。
例えば、ＭＰＥＧなどの画像符号化方法においては、１つの画像、または時間的に前後する複数の画像の部分画像間の相関値を求め、求められた相関値を用いて高効率な画像符号化を実現している。
【０００３】
また、異なる位置に設置された複数の撮像装置を用いて、ある対象物を同時に撮像して得られた複数の画像を用い、その部分画像間の相関値を求めれば、その画像の３次元的な構造や対象物の位置情報を取得することができる。対象物の位置情報を取得することにより、撮像装置から物体までの距離を取得することもできる。これは視差を利用したものであり、取得された位置情報を用いれば、撮像装置が実際に存在しなかった視点からの画像を合成することも可能となる。また、撮像装置から物体までの距離は、ロボット制御や自動車の運転支援システムなどにも用いることができ、例えば、進行方向における障害物の回避などにも用いることができる。
【０００４】
図１２は視差を用いて対象物の距離情報を取得する方法について簡単に説明する図である。図１２（ａ）に示すように、２台の撮像手段（カメラという）１０Ｌ，１０Ｒにより対象物αと対象物βとを撮像するものとする。このとき、左側のカメラ１０Ｌからの画像を左目画像とし、右側のカメラ１０Ｒからの画像を右目画像として画像処理するものとする。図１２（ｂ）は左側のカメラ１０Ｌから得られた左目画像であり、図１２（ｃ）は右側のカメラ１０Ｒから得られた右目画像である。
【０００５】
図１２（ｂ），（ｃ）に示すような左目画像として取得された対象物αと右目画像として取得された対象物αとの視差及び左目画像に写った対象物βと右目画像に写った対象物βとの視差をそれぞれ求める。このとき、カメラ１０Ｌ，１０Ｒの位置関係が既知であるならば、求められた視差とカメラ１０Ｌ，１０Ｒの位置関係とを用いれば、三角測量の原理により、対象物α，βまでの距離を知ることができる。
【０００６】
図１３は図１２によって得られた左目画像と右目画像との相関処理を簡単に説明する図である。図１３においては、左目画像を基準画像とする。また、相関値を算出する処理を相関処理と呼ぶことにする。
【０００７】
まず、左目画像から部分画像を左目画像上で位置をずらしながら順次選択する。ここで、選択した部分画像を構成する画像データをＬｉとする（図１３（ａ）参照）。なお、Ｌの添え字ｉは、０≦ｉ＜Ｎであるとする（Ｎは左目画像から選択された部分画像の総画素数とする）。
【０００８】
同様に、右目画像からも部分画像を右目画像上で位置をずらしながら順次選択する。ここで、選択した部分画像を構成するデータをＲｉとする（図１３（ｃ）参照）。なお、Ｒの添え字ｉは、０≦ｉ＜Ｎであるとする（Ｎは右目画像から選択された部分画像の総画素
数とする）。
【０００９】
続いて、左目画像から切り出された部分画像と右目画像から切り出された部分画像との相関値を求める相関処理を行う（図１３（ｂ）参照）。ここで、相関値は下記（１）式によって求めることができる。
Σａｂｓ（Ｌｉ−Ｒｉ）・・・・・・（１）
上記（１）式において、Σは添え字ｉの０≦ｉ＜Ｎの範囲での総和を示すものとし、関数absは、その引数の絶対値を与えるものとする。
【００１０】
また、相関値は、下記（２）式で求められる正規化された内積値であっても良い。
Σ(Ｌｉ×Ｒｉ)／〔sqrt{Σ(Ｌｉ×Ｌｉ)}×sqrt{Σ(Ｒｉ×Ｒｉ)}〕・・・（２）
【００１１】
（２）式において、Σは、（１）式と同様に、添え字ｉの０≦ｉ＜Ｎの範囲での総和を示すものとする。また、（２）式おいては、関数sqrtは、その引数の平方根を与えるものとする。
【００１２】
上記（１）式または（２）式で求められる相関値を、右目画像から順次選択される部分画像と基準画像（左目画像）において選択された部分画像との間で求め、相関値が最大となる部分画像を探索する。そして、相関値が最大となる部分画像の位置の差が、右目画像と左目画像との視差ということになる。
【００１３】
ところで、このような画像の相関処理は、原理的には非常に簡単なものであるが、実際的にはそれほど単純なものではない。図１３の説明は、検出した対象物が右目画像、左目画像においては、単純に並行移動した状態であるという仮定のもとに成り立つものである。しかし、実際的にはそのような仮定は成り立ち難い。例えば、実際の撮像系においては、撮像系間において倍率の誤差や設置時の軸の回転などの誤差が存在する。それにより、撮像手段により得られた画像の大きさが異なったり、あるいは回転していたりする場合もある。また個々の撮像系においても、レンズ歪などにより、撮像された画像が非線形に歪んで変形してしまう場合もある。
【００１４】
図１４はレンズ歪みによって画像が変形する例を説明する図である。ここでは、糸巻き型の歪みを仮定している。例えば、図１４（ａ）のように、歪みの無い撮像系においては、その撮像系によって撮像された画像の中心部における四辺形１１も、周辺部における四辺形１２も同じ形で撮像される。一方、図１４（ｂ）のような歪みのある撮像系においては、中心部における四辺形１１には歪みが生じなくても、周辺部の四辺形１２には菱形状に変形するような歪みが生じることがある。このような状態では、図１３で説明したような単純な相関処理方法では期待する結果は得られない。
【００１５】
そのため、従来技術においては、まず、カメラ補正と呼ばれる処理が行われる。カメラ補正処理は、カメラ固有の歪を求め、それを逆変換処理することにより、歪みの無い画像を得ようとするものである。それにより、図１３で説明したような状態を実現することが原理的には可能である。
【００１６】
しかし、このカメラ補正処理においても多くの課題が残る。１つは、複数のカメラの各カメラごとに歪を測定しなければならないということである。さらに、歪はカメラのズームなどの状態によっても変化する。あるいは、経時変化や温度変化、撮像姿勢によっても変化してしまう。これら全てを考慮してカメラ補正を行うのは、非常に困難なことである。
【００１７】
これらの問題点を解決する方法として、例えば、特許文献１に開示された技術（以下で
は、従来技術という）がある。この従来技術は、実際に画像を撮像しながら、それと同時に歪などの補正も行って行くものである。具体的には、撮像された画像中から、予め設定された条件を満たすような領域（マッチングが取りやすいような領域）を基準領域として選択し、各々の画像の中の基準領域同士の対応関係からカメラ補正処理を行うアフィン変換係数を求めるものである。アフィン変換は、対象の拡大縮小、回転などを表現するものであり、撮像時の歪みがアフィン変換として表現され、かつその逆アフィン変換を求めることができるならば、この方法により、経時変化、姿勢変化などにも対応し、良好な特性を得ることが可能となる。
【００１８】
【特許文献１】特開２００３−２５６８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
しかし、上記従来技術にも課題が残る。つまり、従来技術においては、基準領域の正確な検出が必要であるということであり、基準領域が高精度に検出できることが前提条件となっている。しかしながら、このような基準領域を高精度に取得することは一般的には容易ではない。そして、この基準領域の検出を誤ると、適切な逆アフィン変換係数が得られず、処理全体が破綻してしまう。特に、撮像画像のコントラストが低い場合、あるいは、撮像時のノイズが多い場合には、問題が起こる可能性が高い。
【００２０】
本発明は、撮像系の歪み補正などを行うことなく、画像間の相関処理を適切に行うことができる画像相関処理装置、画像相関処理方法及び画像相関処理プログラムを提供することを目的とするとともに、求められた相関値を用いて対象物の位置情報を取得可能な対象物位置情報取得装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の画像相関処理装置は、複数の画像の相関処理を行う画像相関処理装置であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部と、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部とを有することを特徴とする。
【００２２】
このように、本発明の画像相関処理装置によれば、選択された各部分画像に対してハフ変換を行い、ハフ変換後の各部分画像について相関値を算出するようにしている。ハフ変換は、その原理から理解できるように、（ｒ，θ）座標でのｒ方向の変位は、（Ｘ，Ｙ）座標での原点からの距離の変位を表し、（ｒ，θ）座標でのθ方向の変位は、（Ｘ，Ｙ）座標での回転を示す。このようなハフ変換の性質により、撮像系のレンズ歪みなどによる画像の変形は、（ｒ，θ）座標において、極大値を与える点の移動として表現されることになる。
【００２３】
これにより、例えば、複数の撮像手段で同じ対象物を撮像して得られた画像の一方に歪が生じた場合、（Ｘ，Ｙ）座標系においては適切な補正処理により処理を行わないと、期待する相関を求めることが出来ない可能性があるが、ハフ変換された（ｒ，θ）座標系においては、その変形は単にｒ方向及び／又はθ方向の変位として表現されるので、ハフ変換後の画像を用いて相関値を求めた場合、高い相関値を得ることができる。したがって、撮像系などの歪み補正などを行うことなく、画像間の相関処理を適切に行うことができる。
【００２４】
本発明の画像相関処理装置において、前記ハフ変換された各画像の部分画像に対してマスク処理を行うマスク処理部をさらに有することが好ましい。
本発明の画像相関処理装置で用いるマスク処理は、選択された各画像の部分画像の相関値を算出する際に、相関の許容範囲を設定するものであり、このようなマスク処理を行うことにより、許容できる変形の範囲（回転や拡大縮小などの範囲）を考慮した相関処理を行うことができる。
【００２５】
本発明の画像相関処理装置において、前記マスク処理部は、前記ハフ変換された各画像の画素値を拡散するように設定されたマスク係数によってマスク処理を行うことが好ましい。
ハフ変換された画像の画素値を拡散するということは、相関の許容範囲を広くすることを意味している。例えば、ハフ変換された各画像の画素値をｒ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位に対する許容範囲、つまり、拡大縮小の変形に対する許容範囲を広くすることを意味し、θ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲を広くすることを意味する。このように、相関の許容範囲を広くするようなマスク係数によるマスク処理を行うことにより、撮像系の歪などが大きい場合であっても、同じ対象物に対して、より高い相関値を得ることができ、相関処理を効率的に行うことができる。
【００２６】
本発明の画像相関処理装置において、前記マスク処理部は、前記ハフ変換された各画像の画素値を強調するように設定されたマスク係数によってマスク処理を行うこともまた好ましい。
ハフ変換された画像の画素値を強調するということは、相関の許容範囲を狭くすることを意味している。これは、上記の場合と逆に、許容範囲を狭めるようなマスク係数によるマスク処理を行うものであり、より高精度な相関処理を行う場合に好適なものとなる。
【００２７】
本発明の画像相関処理装置において、前記複数の画像は、複数の撮像手段が同じ対象物を撮像することによって前記複数の撮像手段の各撮像手段から出力された画像とすることが可能である。
【００２８】
これは、複数（例えば２つ）の撮像手段によって同じ対象物を撮像したときの各撮像手段から出力された各画像の部分画像について相関値を算出するというものである。これにより、例えば、２つの撮像手段から得られた画像の一方を左目画像、他方を右目画像として、左目画像から選択された部分画像と右目画像から選択された部分画像との相関値を算出し、最大の相関値が得られたときの各部分画像の位置の差を視差値として取得することができる。求められた視差値を用いることにより対象物までの距離などを求めることも可能となる。
【００２９】
本発明の画像相関処理装置において、前記複数の画像は、撮像手段によって撮像された画像において時間的に前後する画像であってもよい。
これは、例えば、ＭＰＥＧなどの画像符号化のように、時間的に前後する画像の相関を求める場合への適用を想定したものであり、本発明の画像相関処理装置をこのような画像符号化技術などに適用することにより、効率的な画像符号化が可能となる。
【００３０】
本発明の画像相関処理方法は、複数の画像の相関処理を行う画像相関処理方法であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップとを有することを特徴とする。
本発明の画像相関処理方法を用いて各画像において選択された部分画像の相関処理を行うことにより、前記本発明の画像相関処理装置と同様の効果が得られる。なお、本発明の画像相関処理方法においても、前記本発明の画像相関処理装置のそれぞれの特徴を有する
ことが好ましい。
【００３１】
本発明の画像相関処理プログラムは、複数の画像の相関処理をコンピュータに実行させるための画像相関処理プログラムであって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップとを有することを特徴とする。
【００３２】
本発明の画像相関処理プログラムをコンピュータに実行させることによって各画像において選択された部分画像の相関処理を行うことにより、前記本発明の画像相関処理装置と同様の効果が得られる。なお、本発明の画像相関処理プログラムにおいても、前記本発明の画像相関処理装置のそれぞれの特徴を有することが好ましい。
【００３３】
本発明の対象物位置情報取得装置は、複数の撮像手段が同じ対象物を撮像することによって得られた複数の画像に基づいて前記対象物の位置情報を求める対象物位置情報取得装置であって、前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部と、前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部と、前記相関処理部によって求められた相関値のうち最大の相関値が得られたときの前記各画像の部分画像の位置に基づいて視差値を求める視差処理部とを有することを特徴とする。
【００３４】
本発明の対象物位置情報取得装置によれば、複数（例えば２つ）の撮像手段から得られた画像の一方を左目画像、他方を右目画像として、左目画像から選択された部分画像と右目画像から選択された部分画像との相関値を算出し、最大の相関値が得られたときの各部分画像の位置の差を視差値として取得することができる。そして、求められた視差値を用いて対象物までの距離などを求めることも可能となる。撮像手段から対象物までの距離は、ロボット制御や自動車の運転支援システムなどにも用いることができ、例えば、進行方向における障害物の回避などにも用いることができる。また、これらの技術以外にも様々な分野に適用することができる。
【００３５】
なお、本発明の対象物位置情報取得装置において相関を求める処理は、前記本発明の画像相関処理装置を用いているので、相関処理に関しては、前記本発明の画像相関処理装置と同様の効果を得ることができる。なお、本発明の対象物位置情報取得装置においても、前記本発明の画像相関処理装置のそれぞれの特徴を有することが好ましい。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施形態について説明する。なお、以下に示す実施形態では、図１２で説明したように、２台のカメラによってある対象物を同時に撮像することによって、２台のカメラから出力された画像の相関値を算出する場合について説明する。
【００３７】
[実施形態１]
図１は実施形態１に係る画像相関処理装置のブロック図である。実施形態１に係る画像の相関処理装置１００は、図１に示すように、２台のカメラ（図１では図示せず）がある対象物を同時に撮像した画像を入力する画像入力部１１１，１１２と、画像入力部１１１，１１２に入力された各画像から部分画像を各画像上で位置をずらしながら順次選択する部分画像選択部１２１，１２２と、選択された部分画像に対してハフ変換を施すハフ変換処理部１３１，１３２と、ハフ変換処理部１３１，１３２でハフ変換された各画像（ハフ変換画像という）について相関値を算出する相関処理部１５０とを有している。
【００３８】
なお、実施形態１においても、２台のカメラの一方から出力される画像を右目画像、他方から出力される画像を左目画像として説明する。また、左目画像は画像入力部１１１に入力され、右目画像は画像入力部１１２に入力されるものとする。
【００３９】
図２は実施形態１に係る画像相関処理装置１００が行う相関処理の基本的な概念を説明する図である。図２は従来技術の説明で用いた図１３に対応するものであり、実施形態１に係る画像相関処理装置１００が行う相関処理が図１３と異なるのは、選択されたそれぞれの部分画像をハフ変換し、ハフ変換後のハフ変換画像について相関値を算出することにある。図２（ａ）は左目画像、図２（ｄ）は右目画像であり、図２においても図１３と同様、左目画像を基準画像とする。そして、左目画像から部分画像を順次選択し、選択されたある１つの部分画像Ｌ１のハフ変換画像Ｌ１’が図２（ｂ）であるとする。なお、基準画像から選択された部分画像を基準部分画像という。
【００４０】
また、右目画像（相関対象画像という）においても部分画像を順次選択し、選択された部分画像Ｒ１，Ｒ２，Ｒ３，・・・をそれぞれハフ変換する。図２（ｃ）は右目画像から選択された各部分画像Ｒ１，Ｒ２，Ｒ３，・・・をハフ変換したハフ変換画像Ｒ１’，Ｒ２’，Ｒ３’，・・・であるとする。なお、相関対象画像（右目画像）から選択された部分画像を相関対象部分画像という。
【００４１】
ここで、相関対象部分画像の各ハフ変換画像Ｒ１’，Ｒ２’，Ｒ３’，・・・と、基準部分画像Ｌ１のハフ変換画像Ｌ１’との相関値を算出する。なお、相関値は前述の（１）式または（２）式によって算出することができる。
【００４２】
図３は実施形態１に係る画像相関処理装置の処理手順を説明するフローチャートである。図３において、まず、基準画像（左目画像）の全面について処理したか否かを処理したかを判定し（ステップＳ１）、全面について処理が終了していなければ、基準画像から部分画像を選択し（ステップＳ２）、選択した部分画像（基準部分画像）をハフ変換する（ステップＳ３）。また、最大相関値及び最大相関位置を初期化する（ステップＳ４）。この初期化は、例えば、図示しない記憶装置に保持されている最大相関値及び最大相関位置をゼロとする処理である。なお、最大相関位置は、最大相関値が得られた各部分画像の撮像画像上の位置である。
【００４３】
続いて、相関対象画像（右目画像）の全面について処理したか否かを判定し（ステップＳ５）、全面について処理が終了していなければ、相関対象画像から部分画像を選択し（ステップＳ６）、選択した部分画像（相関対象部分画像）をハフ変換処理する（ステップＳ７）。そして、基準部分画像のハフ変換画像と相関対象部分画像のハフ変換画像との相関値を算出し(ステップＳ８)、算出された相関値と記憶装置に保持されているその時点の最大相関値とを比較する（ステップＳ９）。
【００４４】
この比較の結果、ステップＳ８で求められた相関値の方が記憶装置に保持されているその時点の最大相関値よりも小さければ、ステップＳ５に戻り、再び、ステップＳ５以降の処理を行う。また、ステップＳ８で求められた相関値の方が記憶装置に保持されているその時点の最大相関値よりも大きければ、記憶装置に保持されている最大相関値をステップＳ８で求められた値に更新するとともに、最大相関位置をその時点の基準部分画像の位置及び相関対象部分画像の位置に更新（ステップＳ１０）したのち、ステップＳ５に戻る。
【００４５】
そして、ステップＳ５において、相関対象画像（右目画像）の全面について処理が終了したと判定された場合には、その時点における相関処理結果（最大相関値及び必要に応じて最大相関位置）を出力したのち、ステップＳ１に戻り、基準画像（左目画像）の全面に
ついて処理が終了したか否かを判定し、基準画像の全面について処理が終了していなければ、ステップＳ２以降の処理を行い、基準画像の全面について処理が終了していれば処理を終了する。
【００４６】
以上説明したように、本発明においては、相関処理を行う際、基準部分画像をハフ変換するとともに、相関対象部分画像をハフ変換し、ハフ変換した各ハフ変換画像の相関値を算出することが大きな特徴である。ここで、ハフ変換について簡単に説明する。
【００４７】
図４はハフ変換について説明する図である。ハフ変換は（Ｘ，Ｙ）座標系で表現される画像を（ｒ，θ）座標系に写像するものである。例えば、（Ｘ，Ｙ）座標系におけるある座標（ｘ，ｙ）の点を考える。これは、（ｄ×ｃｏｓ（φ），ｄ×ｓｉｎ（φ））と書き換えることも可能である。そうすると、この点はハフ変換によって、下記（３）式に示す（ｒ，θ）座標系の曲線に写像される。なお、ハフ変換を行う際の座標の原点は、選択された基準部分画像または選択された相関対象部分画像の中心に置くものとする。
ｒ＝ｄ×ｃｏｓ(φ＋θ）・・・・・（３）
【００４８】
上記（３）式で表される曲線に、点（ｘ，ｙ）の値（画素値とする）を重みとして乗算し、変換対象領域内の全ての点について積算する処理がハフ変換である。具体例として、例えば、図４（ａ）に示すような原点からの距離がｄで、かつ、角度φに直交する直線Ｌは、ハフ変換の結果、図４（ｂ）に示すように、（ｒ，θ）座標上で（ｄ，φ）の点Ｐに画素値の極大値を持つ曲線群に写像される。極大値を与える点Ｐは直線Ｌを表すものであるといえる。
【００４９】
なお、図４（ｂ）は（ｒ，θ）の２次元座標として表されているが、実際には、（ｒ，θ）平面に直交する軸方向に画素値の大きさを有している。図４（ｂ）においては、画素値の大きさをグレースケールのグラデーションで表している。すなわち、図４（ｂ）におけるグレースケールで描かれた部分は、極大値を与える点Ｐを通る曲線群が表す画素値の大きさを模式的に表現したものである。
【００５０】
また、ハフ変換の原理から容易に理解できるように、（ｒ，θ）座標でのｒ方向の変位は、（Ｘ，Ｙ）座標での原点からの距離の変位を表し、（ｒ，θ）座標でのθ方向の変位は、（Ｘ，Ｙ）座標での回転を示す。例えば、図４（ｂ）に示す（ｒ，θ）座標でのｒ方向の変位は、図４（ａ）に示す（Ｘ，Ｙ）座標での直線Ｌの原点からの距離ｄの変位を表し、図４（ｂ）に示す（ｒ，θ）座標でのθ方向の変形は、図４（ａ）に示す（Ｘ，Ｙ）座標での直線Ｌの回転を表している。言い換えれば、図４（ａ）のような（Ｘ，Ｙ）座標における直線Ｌの原点からの距離ｄの変位は、（ｒ，θ）座標においては、極大値を与える点Ｐのｒ方向の変位として表現され、図４（ａ）のような（Ｘ，Ｙ）座標における直線Ｌの回転は、（ｒ，θ）座標においては、極大値を与える点Ｐのθ方向の変位として表現されることになる。
【００５１】
図５はハフ変換画像の相関処理につて模式的に説明する図である。ここでは、説明を簡単にするために、ある四辺形を考え、それがどのようにハフ変換されるかについて説明する。図５（ａ）に示すような辺Ａ，Ｂ，Ｃ，Ｄからなる四辺形（正方形とする）は、ハフ変換においては、図５（ｃ）に示すような４つの極大値Ｐ１１〜Ｐ１４を有する曲線に変換される。ここで、極大値を与える点Ｐ１１は図５（ａ）に示す四辺形を構成する辺Ａを表し、極大値を与える点Ｐ１２は図５（ａ）に示す四辺形を構成する辺Ｂを表し、極大値を与える点Ｐ１３は図５（ａ）に示す四辺形を構成する辺Ｃを表し、極大値を与える点Ｐ１４は図５（ａ）に示す四辺形を構成する辺Ｄを表している。
【００５２】
同様に、図５（ｂ）に示すような少し歪んだ四辺形（図５（ａ）に示す四辺形が歪んだ
ものであるとする）は、図５（ｄ）に示すような４つの極大値を与える点Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４を持つ曲線群に変換される。ここで、極大値を与える点Ｐ２１は図５（ｂ）に示す四辺形を構成する辺Ａを表し、極大値を与える点Ｐ２２は図５（ｂ）に示す四辺形を構成する辺Ｂを表し、極大値を与える点Ｐ２３は図５（ｂ）に示す四辺形を構成する辺Ｃを表し、極大値を与える点Ｐ２４は図５（ｂ）に示す四辺形を構成する辺Ｄを表している。
【００５３】
図４において説明したように、（ｒ，θ）座標でのｒ方向の変位は、（Ｘ，Ｙ）座標での原点からの距離の変位を表し、（ｒ，θ）座標でのθ方向の変位は、（Ｘ，Ｙ）座標での回転を示す。よって、図５（ａ）に示すような四辺形の拡大縮小は、（ｒ，θ）座標においては、極大値を与える点Ｐ１１〜Ｐ１４のｒ方向の変位として表現されることになる。したがって、図５（ａ）に示すような四辺形が図５（ｂ）のように回転を伴って変形すると、その回転は、（ｒ，θ）座標においては、極大値を与える点Ｐ２１〜Ｐ２４のθ方向の変位として表現されることになる。
【００５４】
このようなハフ変換の性質により、レンズ歪みによる変形や、複数撮像装置の相対的な回転は、単に極大値を与える点のｒ方向またはθ方向の変位として表現されることになる。
つまり、図５（ａ），（ｂ）に示したような四辺形の変形は、（Ｘ，Ｙ）座標系においては適切な補正処理により処理を行わないと、期待する相関を求めることが出来ない。このため、本来、同じ四辺形が左目画像（図５（ａ）とする）及び右目画像（図５（ｂ）とする）として取得された場合、同じ対象物であっても、高い相関値を得ることができない可能性があるが、ハフ変換された（ｒ，θ）座標系においては、その変形は単にｒ方向及び／又はθ方向の変位として表現されるので、図５（ｃ），（ｄ）に示すハフ変換画像の相関値を求めた場合、高い相関値を得ることができる。
【００５５】
このように、ハフ変換を行うことによって、（Ｘ、Ｙ）座標での画像歪みは、（ｒ、θ）座標での変位に変換されるため、多少の歪みを残したままの画像で歪み補正処理せずに相関処理を行うことが可能となる。さらに、カメラの撮像素子に起因するノイズにおいても、ハフ変換処理が積分操作であるために、それが相殺されるという効果がある。例えば、複数の画像のうちの１枚に何らかの原因により輝点、あるいは暗点が発生したとする。単純な（Ｘ、Ｙ）平面上の相関処理においては、仮に画像歪みが完全に補正されていたとしても、この異常は結果に大きな影響を与える。しかし、ハフ変換を行うことにより、輝点、暗点の影響は曲線上に分散されるため、相対的にその影響を小さくすることが可能となる。またノイズがランダムノイズであるとし、ハフ変換の対象領域の点の総数がＮ点であるとすれば、変換後のＳＮ比は、単純にいえば、Ｎの平方根倍に改善されることになる。
【００５６】
また、相関処理を行う際はそれぞれの画像についてエッジ強調を行ったほうが好ましい場合もあるが、ハフ変換はエッジ強調の働きもあるので、相関処理を行う際の前段階の処理としてのエッジ強調処理などを軽減することもできる。
【００５７】
[実施形態２]
図６は実施形態２に係る画像相関処理装置のブロック図である。実施形態１に係る画像相関処理装置が図１に示した実施形態１に係る画像相関処理装置と異なるのは、ハフ変換部１３１，１３２によりハフ変換されたハフ変換画像に対しマスク処理を行うマスク処理部１４１，１４２を有する点である。
【００５８】
図７は実施形態１に係る画像相関処理装置の処理手順を説明するフローチャートである。図７において、ステップＳ２１〜Ｓ２３は、図２におけるステップＳ１〜Ｓ３と同様の
処理であり、また、ステップＳ２５〜Ｓ２８は、図２におけるステップＳ４〜Ｓ７と同様の処理である。
【００５９】
実施形態２に係る画像相関処理装置においては、基準画像（左目画像）から選択した基準部分画像のハフ変換処理（ステップＳ２３）の後にマスク処理を行うステップＳ２４を有している。また、相関対象画像（右目画像）から選択した相関対象部分画像のハフ変換処理（ステップＳ２８）の後にマスク処理を行うステップＳ２９を有する。また、ステップＳ２９のマスク処理以降のステップＳ３０〜Ｓ３３の処理は、図２のステップＳ８〜Ｓ１１と同様である。
【００６０】
図８はマスク処理を付加した場合の相関処理を模式的に示す図である。図８（ａ）〜（ｄ）は図５（ａ）〜（ｄ）と同じものであり、それぞれの四辺形をハフ変換した場合のハフ変換画像を示すものである。図８（ｅ），（ｆ）は図８（ｃ），（ｄ）に示すハフ変換画像についてマスク処理を施した後の画像（マスク処理画像という）であり、ハフ変換画像の画素値を拡散させるようなマスク処理を施した例が示されている。
【００６１】
ハフ変換画像の画素値を拡散させるということは、相関の許容範囲を広くすることを意味している。例えば、ハフ変換画像の画素値をｒ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位に対する許容範囲、つまり、拡大縮小の変形に対する許容範囲を広くすることを意味し、θ軸方向に拡散させたとすれば、（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲を広くすることを意味することになる。
【００６２】
図９はマスク処理に用いるマスクパターンの例を示す図である。図９では５×５のマスクパターンを例示している。図９（ａ）は、（ｒ，θ）座標におけるｒ方向及びθ方向それぞれに等方的に画素値を拡散させるようなマスク係数を有するマスクパターンの一例であり、このようなマスク係数を有するマスクパターンを用いてマスク処理を行うことにより、ハフ変換画像の画素値をｒ軸方向及びθ方向にそれぞれに拡散させることができる。これにより、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位及び（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲をそれぞれ広くすることができる。
【００６３】
図９（ｂ）は、（ｒ，θ）座標におけるθ方向に画素値をより大きく拡散させるようなマスク係数を有するマスクパターンの一例であり、このようなマスク係数を有するマスクパターンを用いてマスク処理を行うことにより、（Ｘ、Ｙ）座標系における回転による変形に対する許容範囲をより広くすることができる。
【００６４】
なお、ここでは、図示していないが、（ｒ，θ）座標におけるｒ方向に画素値をより大きく拡散させるようなマスク係数を有するマスクパターンを用いてマスク処理を行えば、（Ｘ、Ｙ）座標系における原点からの距離ｄの変位に対する許容範囲をより広くすることができる。
【００６５】
また、図９（ｃ）は、図９（ａ），（ｂ）とは異なり、ハフ変換画像の画素値を強調するようなマスク係数を有するマスクパターンの一例であり、これは、相関の許容範囲をより狭くするように作用する。図９（ｃ）に示すマスクパターンは、エッジ強調を行うようなマスク係数を有するマスクパターンであり、より厳密な相関処理を行う場合に好適である。
【００６６】
図９で例示したようなマスク係数を有するマスクパターンを用いて、ハフ変換画像に対してマスク処理を行うことにより、許容できる変形の範囲、つまり、原点からの距離ｄの変位や回転による変形などに対する許容範囲をより積極的に制御することが可能となる。なお、マスク係数は、要求される相関の精度に応じて設定することができる。
【００６７】
[実施形態３]
図１０は実施形態３に係る対象物位置情報取得装置の構成を示す図である。実施形態３に係る対象物位置情報取得装置は、図１０に示すように、画像相関処理装置１００と、画像相関処理装置１００からの相関処理結果に基づいて各部分画像の視差値を求める視差処理部２００を有している。
【００６８】
画像相関処理装置１００は、実施形態１または実施形態２において説明した画像相関処理装置１００のいずれであってもよいが、図１０においては、実施形態１に係る画像相関処理装置１００（図１参照）を用いた例を示している。
【００６９】
図１１は実施形態３に係る対象物位置情報取得装置の処理手順を説明するフローチャートである。図１１において、ステップＳ４１〜Ｓ５１は、図３に示したフローチャートのＳ１〜Ｓ１１と同じ処理である。実施形態３に係る対象物位置情報取得装置においては、図１１に示すように、相関対象画像（右目画像）の全面について処理が終了（ステップＳ４５）した段階で得られている最大相関値と最大相関位置を視差処理部２００が受け取って、相関対象部分画像と基準部分画像との視差値を求める（ステップＳ５２）。視差値は、図１２で説明したように、最大相関値が得られたときの基準部分画像の位置と相関対象部分画像の位置との差として求めることができる。
【００７０】
このようにして求められた視差値は、対象物の位置情報として用いることができる。例えば、前述したように、カメラの位置関係が既知であるならば、求められた視差値とカメラの位置関係とを用いれば、三角測量の原理により、対象物までの距離を知ることができる。このような位置情報は、例えば、ロボット制御や自動車の運転支援システムなどにも用いることができ、例えば、進行方向における障害物の回避などにも用いることができる。また、これらの技術以外にも様々な分野に適用することができる。
【００７１】
なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。実施形態１及び実施形態２では、２台のカメラにより同じ対象物を撮像することによって得られた画像の相関値を算出する場合について説明したが、異なる複数の対象物を１台または複数台のカメラによって撮像して得られたそれぞれの対象物の画像の相関値を算出する場合にも適用することができる。
【００７２】
また、相関処理の対象となる複数の画像は、撮像手段によって撮像された画像において時間的に前後する画像であってもよい。これは、例えば、ＭＰＥＧなどの画像符号化のように、時間的に前後する画像に対して相関処理を行う場合などへの適用を想定したものであり、本発明の画像相関処理装置及び方法をこのような画像符号化技術などに適用することにより、高精度でかつ効率的な画像符号化が可能となる。
【００７３】
また、前述の各実施形態において説明した画像相関処理をコンピュータに実行させるためのプログラとしての画像相関処理プログラムを作成することが可能であり、また、作成した画像相関処理プログラムを各種の記録媒体に記録させておくことも可能である。
【００７４】
したがって、本発明は、これら画像相関処理プログラムとその画像相関処理プログラムを記録した記録媒体をも含むものである。また、画像相関処理プログラムはネットワークから取得するようにしてもよい。
【図面の簡単な説明】
【００７５】
【図１】実施形態１に係る画像相関処理装置のブロック図。
【図２】実施形態１に係る画像相関処理装置が行う相関処理の基本的な概念を説明する図。
【図３】実施形態１に係る画像処理装置の処理手順を説明するフローチャート。
【図４】ハフ変換について説明する図。
【図５】ハフ変換画像の相関処理について模式的に説明する図。
【図６】実施形態２に係る画像相関処理装置のブロック図。
【図７】実施形態１に係る画像処理装置の処理手順を説明するフローチャート。
【図８】マスク処理を付加した場合の相関処理を模式的に示す図。
【図９】マスク処理に用いるマスクパターンの例を示す図。
【図１０】実施形態３に係る対象物位置情報取得装置の構成を示す図。
【図１１】実施形態３に係る対象物位置情報取得装置の処理手順を説明するフローチャート。
【図１２】視差を用いて対象物の距離情報を取得する方法について簡単に説明する図。
【図１３】図１２によって得られた左目画像と右目画像との相関処理を簡単に説明する図。
【図１４】レンズ歪みによって画像が変形する例を説明する図。
【符号の説明】
【００７６】
１００・・・画像相関処理装置、１１１，１１２・・・画像入力部、１２１，１２２・・・部分画像選択部、１３１，１３２・・・ハフ変換処理部、１４１，１４２・・マスク処理部、１５０・・・相関処理部、２００視差処理部
【特許請求の範囲】
【請求項１】
複数の画像の相関処理を行う画像相関処理装置であって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部と、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部と、
を有することを特徴とする画像相関処理装置。
【請求項２】
請求項１に記載の画像相関処理装置において、
前記ハフ変換された各画像の部分画像に対してマスク処理を行うマスク処理部をさらに有することを特徴とする画像相関処理装置。
【請求項３】
請求項２に記載の画像相関処理装置において、
前記マスク処理部は、前記ハフ変換された各画像の画素値を拡散するように設定されたマスク係数によってマスク処理を行うことを特徴とする画像相関処理装置。
【請求項４】
請求項２に記載の画像相関処理装置において、
前記マスク処理部は、前記ハフ変換された各画像の画素値を強調するように設定されたマスク係数によってマスク処理を行うことを特徴とする画像相関処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像相関処理装置において、
前記複数の画像は、複数の撮像手段が同じ対象物を撮像することによって前記複数の撮像手段の各撮像手段から出力された画像であることを特徴とする画像相関処理装置。
【請求項６】
請求項１〜４のいずれかに記載の画像相関処理装置において、
前記複数の画像は、撮像手段によって撮像された画像において時間的に前後する画像であることを特徴とする画像相関処理装置。
【請求項７】
複数の画像の相関処理を行う画像相関処理方法であって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップと、
を有することを特徴とする画像相関処理方法。
【請求項８】
複数の画像の相関処理をコンピュータに実行させるための画像相関処理プログラムであって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップと、
を有することを特徴とする画像相関処理プログラム。
【請求項９】
複数の撮像手段が同じ対象物を撮像することによって得られた複数の画像に基づいて前記対象物の位置情報を求める対象物位置情報取得装置であって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択す
る部分画像選択部と、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部と、
前記相関処理部によって求められた相関値のうち最大の相関値が得られたときの前記各画像の部分画像の位置に基づいて視差値を求める視差処理部と、
を有することを特徴とする対象物位置情報取得装置。
【請求項１】
複数の画像の相関処理を行う画像相関処理装置であって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択部と、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部と、
を有することを特徴とする画像相関処理装置。
【請求項２】
請求項１に記載の画像相関処理装置において、
前記ハフ変換された各画像の部分画像に対してマスク処理を行うマスク処理部をさらに有することを特徴とする画像相関処理装置。
【請求項３】
請求項２に記載の画像相関処理装置において、
前記マスク処理部は、前記ハフ変換された各画像の画素値を拡散するように設定されたマスク係数によってマスク処理を行うことを特徴とする画像相関処理装置。
【請求項４】
請求項２に記載の画像相関処理装置において、
前記マスク処理部は、前記ハフ変換された各画像の画素値を強調するように設定されたマスク係数によってマスク処理を行うことを特徴とする画像相関処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像相関処理装置において、
前記複数の画像は、複数の撮像手段が同じ対象物を撮像することによって前記複数の撮像手段の各撮像手段から出力された画像であることを特徴とする画像相関処理装置。
【請求項６】
請求項１〜４のいずれかに記載の画像相関処理装置において、
前記複数の画像は、撮像手段によって撮像された画像において時間的に前後する画像であることを特徴とする画像相関処理装置。
【請求項７】
複数の画像の相関処理を行う画像相関処理方法であって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップと、
を有することを特徴とする画像相関処理方法。
【請求項８】
複数の画像の相関処理をコンピュータに実行させるための画像相関処理プログラムであって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択する部分画像選択ステップと、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換ステップと、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理ステップと、
を有することを特徴とする画像相関処理プログラム。
【請求項９】
複数の撮像手段が同じ対象物を撮像することによって得られた複数の画像に基づいて前記対象物の位置情報を求める対象物位置情報取得装置であって、
前記複数の画像の各画像から部分画像を前記各画像上で位置をずらしながら順次選択す
る部分画像選択部と、
前記各画像から選択された前記各画像の部分画像に対してハフ変換を行うハフ変換部と、
前記ハフ変換された前記各画像の部分画像の相関値を算出する相関処理部と、
前記相関処理部によって求められた相関値のうち最大の相関値が得られたときの前記各画像の部分画像の位置に基づいて視差値を求める視差処理部と、
を有することを特徴とする対象物位置情報取得装置。
【図１】
【図２】
【図３】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【図８】
【図２】
【図３】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【図８】
【公開番号】特開２００９−４３０４８（Ｐ２００９−４３０４８Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０７５１８（Ｐ２００７−２０７５１８）
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]