ステレオカメラ装置
【課題】計測対象物の距離に応じて計測の距離分解能を可変にして、安定かつ高精度に距離測定を行うステレオカメラ装置を提供すること。
【解決手段】ステレオカメラ装置１は、二枚の画像を取り込み、その取り込んだ各画像の一部領域の解像度を変更し、その解像度が変更された各画像の一部領域の視差に基づいて車両から一部領域に写像されている計測対象物までの距離を計算する。これにより、計測対象物が遠距離に存在しかつその大きさが小さい場合でも、安定に距離計測処理を行うことができる。
【解決手段】ステレオカメラ装置１は、二枚の画像を取り込み、その取り込んだ各画像の一部領域の解像度を変更し、その解像度が変更された各画像の一部領域の視差に基づいて車両から一部領域に写像されている計測対象物までの距離を計算する。これにより、計測対象物が遠距離に存在しかつその大きさが小さい場合でも、安定に距離計測処理を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されるステレオカメラ装置に係わり、例えば車両から車両前方の物体までの距離を高精度に計測するステレオカメラ装置に関する。
【背景技術】
【０００２】
二つのカメラを用いて三角測量の原理で計測対象物までの距離を計測するステレオカメラ装置が既知となっている。例えば、自動車にステレオカメラ装置を設置することにより、前方の障害物や道路の白線を抽出し、障害物までの距離や走行中の道路形状を算出することで、危険をドライバーに報知することが可能となり、安全な運転を確保することができる。
【０００３】
各カメラは、路面とほぼ平行になるように車両に搭載されるので、遠方での距離分解能は近傍よりも低下する。また、遠方の計測対象物は画像上で小さくなるので、計測対象物までの距離を安定して計測することが困難である。そこで、ステレオカメラ装置では、遠方の距離測定の安定性および精度を向上させることが重要な課題となっている。
【０００４】
ステレオカメラは、三角測量の原理で、左右カメラから得られた画像を分析して計測対象物の視差を算出し、その値を距離データに変換している。視差の計算方法として、二つの画像の内、右側の画像を基準画像として小領域（マッチングブロック）を設定し、左側の参照画像から高い相関値（類似度）をもつ小領域を探索する方法が用いられている。このマッチングブロック間の相関値の計算としては、例えばSAD（差分絶対値の総和）法などがある。
【０００５】
特許文献１に示された技術では、ステレオカメラ装置の分解能向上を目的として、マッチングブロックの設定を通常計算量の削減のためブロック単位で分割するものを、隣接するブロックを左右方向に互いに重なり合わせながら視差を求めることで、高精度化と安定な視差計算を実現している。
【０００６】
また、特許文献２には、対応点の高精度化を目的として、基準画像と参照画像で最初に設定した第一のマッチングブロックの探索で所定の相関値が得られない場合に、マッチングブロックのサイズを変更して再度探索する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−１３３５２４
【特許文献２】特開２００８−９０５８３
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示されている方法の場合、基準画像上でのマッチングブロックの位置を半ブロックずつ細かくずらして設定することで、計測の安定性は向上するが、遠方での距離分解能の向上に関しては不十分である。例えば、図３（ａ）に示す入力画像をそのまま視差計算に使用すると、図３（ｂ）に示すようにマッチングブロックの位置を細かくずらしても、距離分解能自体は変化しない。なお、図３は、車幅方向両側に白線が引かれた道路を撮像した画像を模式的に示す図である。
【０００９】
また、特許文献２の技術に関しては、一回目で所定の相関値が得られない場合、マッチングブロックのサイズを変更して再度相関値計算を行うことで、より安定した視差計算を実現している。例えば、図４に示すように、対象物（先行車）４１０が近距離にある場合は、図４(a)に示すように大きなマッチングブロック４００で十分に相関値を正しく計算することができるが、図４(b)のように遠距離になるとマッチングブロック４０１を小さくしなければ背景なども入り相関値を正確に求めることが難しくなるからである。
【００１０】
しかしながら、特許文献２の技術も入力画像をそのまま視差計算に使用しており、距離分解能の向上に関して有効な方法を開示していない。これら従来技術で、遠方での距離分解能を上げるためには、例えば、視差計算のサブピクセル処理などの適用が考えられる。
【００１１】
しかし、遠方での距離分解能を上げるために、画面全体に一律に同一処理を適用したのでは、本来距離分解能の向上が必要のない近距離の対象物に対しても分解能向上の処理が追加されるため計算量が不要に大きくなってしまう。
【００１２】
本発明は、計測対象物の距離に応じて計測の距離分解能を可変にして、安定かつ高精度に距離測定を行うステレオカメラ装置を提供するものである。
【課題を解決するための手段】
【００１３】
上記課題を解決する本発明のステレオカメラ装置は、二枚の画像を取り込み、その取り込んだ各画像の一部領域の解像度を変更し、その変更された各画像の一部領域の視差に基づいて車両から一部領域に写像されている計測対象物までの距離を計算することを特徴としている。
【発明の効果】
【００１４】
本発明によれば、計測対象物が遠距離に存在しかつその大きさが小さい場合でも、安定に距離計測処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本実施の形態におけるステレオカメラ装置の構成を説明する図。
【図２】遠距離での距離分解能が低下することを説明する図。
【図３】第一の公知例を説明する図。
【図４】第二の公知例を説明する図。
【図５】本発明の主要なアイデアを説明する図。
【図６】ステレオカメラ装置で行われる処理の一実施例を示す図。
【図７】画像生成処理の詳細を説明する図。
【図８】高精細化を目的とした補間処理を説明する図。
【図９】画像を高精細化する方法を説明する図。
【図１０】画像を高精細化する他の方法を説明する図。
【図１１】計測対象物との距離に応じて解像度を変更する例を説明する図。
【図１２】複数の物体が存在する場合の処理内容を説明する図。
【図１３】優先順位を判定するテーブルの設定例を説明する図。
【図１４】画像サイズを変更することなく高解像度化する方法を説明する図。
【図１５】第１実施の形態で行われる処理の他の実施例を示す図。
【図１６】第１実施の形態で行われる処理の内容を説明する図。
【図１７】視差計算の処理方法を説明する図。
【図１８】第２実施の形態における処理の内容を説明する図。
【図１９】高精細画像を取り込んだ場合の高解像度化処理を説明した図。
【図２０】第２実施の形態で行われる処理の内容を説明する図。
【図２１】第２実施の形態で行われる処理の内容を説明する図。
【発明を実施するための形態】
【００１６】
［第１実施の形態］
次に、本発明の第１実施の形態について説明する。
図１は、本実施の形態におけるステレオカメラ装置の構成を説明する図である。
【００１７】
ステレオカメラ装置は、左カメラ１２と右カメラ１３から同期した画像をそれぞれの画像取得部１０、１１が取り込む。左右のカメラ１２、１３は、車両前部の左側および右側に取り付けられており、それぞれ車両前方を撮像できるようになっている。
【００１８】
通常、カメラには固有の歪みが存在する。この歪みの原因は、撮像デバイスの設置ずれ、取り付けたレンズ固有の歪み、カメラの光軸方向ずれなど様々である。ステレオカメラ装置による三角測量では、左右のカメラの小領域（マッチングブロック）での相関値を正確に求めるために、左右の画像が正確に平行に並んでいることが重要である。
【００１９】
したがって、画像生成部２０では、左右の画像の平行化を行い、さらに様々な歪みを補正して歪みのない画像を生成する。このとき、本発明では、先行車や障害物などの外界環境情報や自車の車速、周辺の地図情報など、走行環境情報記憶手段５０に記憶された走行環境情報を参照して、計測したい距離に応じた画像生成を行う。なお、画像生成部２０における画像生成方法に関しては後述する。
【００２０】
距離計算部３０では、画像生成部２０で生成された左右の画像を用いて視差計算を行い、自車の車両から計測対象物までの距離を計測する。そして得られた距離情報は、アプリケーション処理部４０で利用され、車間距離維持システムや衝突軽減ブレーキシステムを実現する。
【００２１】
次に、図１６、１７を用いて、距離計算部３０における処理内容について詳しく説明する。左右カメラ１２、１３から左右の画像取得部１０、１１によって取り込まれた画像は、カメラ１２、１３のレンズ歪み、撮像デバイスの取り付け誤差などによって生じている歪みが歪み補正部１６、１７で補正される。
【００２２】
そして、光軸平行化手段２１ａによって、補正により歪みがとれた画像に対して左右カメラ１２、１３の光軸が平行化するように左右画像を回転するなどのアフィン補正が行われる。これまでの処理で必要な歪みや光軸ずれの情報は、組み立て時に予め調査してステレオカメラ装置１内の不揮発性メモリ（図示せず）に記録しておく。
【００２３】
そして、距離計算部３０で距離計算が行われる。距離計算は、基準画像中の小領域（マッチングブロック）が参照画像中のどこにあるかを探索して（対応点算出）、画像上の座標の差を視差として計算するものである。図１７(a)において、右画像を基準画像１７１１、左画像を参照画像１７１２として、基準画像１７１１中のあるマッチングブロック１７０１に注目する。
【００２４】
マッチングブロック１７０１は、例えば図１７(b)に示すように、マッチングブロックのサイズを８×４画素としている。マッチングブロック１７０１のサイズは、左右の画像のマッチング処理を行うのに適正な相関値を求めることができる最小サイズが望ましい。
【００２５】
マッチングブロック１７０１をテンプレートとして、参照画像１７１２から同じパターンを探索する。このとき、光軸平行化手段２１ａによって左右画像の平行化処理が実施されているので、探索は参照画像１７１２を横方向に一次元に走査を行うだけでよい。
【００２６】
例えば、参照画像１７１２内を左から右へ一次元に走査を行い、相関値を計算する。相関値の計算には、正規化相関法、位相限定相関法など多数あるが、本実施形態では、一例としてSAD（Summation of Absolute Difference:絶対値差分の総和）を用いている。SADの相関値Cnは、下記の式（１）で算出される。
【００２７】
Cn ＝ Σ|I(i、j) - R(i+n、j+m)|． ・・・（１）
【００２８】
ここで、I(i、j)は基準画像１７１１のマッチングブロックにおける輝度値、R(i、j)は参照画像のマッチングブロックにおける輝度値である。参照画像１７１２のn、mを走査することにより探索を行う。本実施の形態では、参照画像１７１２内を左から右へ一次元に走査を行うので、mは固定値である。
【００２９】
そして、走査の結果、C0からCN（N:探索範囲の画素数）までの結果が得られるので、その最小値をマッチング地点として定義し、そのときの視差情報が視差１７０３となる。視差が算出されると、三角測量の原理で、左右のカメラ間距離、視差の物理的な長さからテンプレートの対象物までの距離が算出可能である。これらの処理は、図１６の距離計算３２で実行する。計測するマッチングブロックが全て終了になるまで処理を続けて、距離情報を算出する。
【００３０】
次に、画像生成部２０による画像生成の方法について説明する。
画像生成部２０では、図１の走行環境情報５０の情報に基づき、左右カメラ１２、１３から入力された画像の一部領域の解像度を変更する処理が行われる。車両に搭載された左右カメラ１２、１３は、路面にほぼ平行に取り付けられているため、図２に示すように遠方での分解能が低下している。図２(a)はカメラからの入力画像、図２(b)は路面を真上から見た画像に変換したものである。図２（ａ）の画像２００上に、横方向に亘って延在して上下に均等に配置される複数の直線２０１〜２０８を引き、画像上での白線２２１、２２２との交点を「＋」記号で示す。図２（ａ）の直線２０１〜２０８が図２（ｂ）の直線２１１〜２１８に対応している。
【００３１】
画像上では垂直方向に均等距離にある＋記号が、実際の三次元空間では、図２（ｂ）に示すように自車両から遠ざかるほど＋記号間の距離が離れており、遠距離での分解能が低いことがわかる。
【００３２】
そこで、画像生成部２０では、図５に示すように、画像の一部領域である遠方領域５０１の解像度を高める処理を行い、遠方領域５０１でも十分な解像度を得られるようにする。図５(a)では、画像５００上における車両前方の距離（基準距離）Ｌを定義し、距離Ｌよりも遠方の領域５０１に対して、画像解像度を上げる処理を行い、高精細な画像を新たに生成する。
【００３３】
本実施の形態では、距離Ｌよりも車両近傍の領域５０４は、カメラ１２、１３からの映像入力の解像度と同等の通常解像度であり、遠方領域５０１は入力された映像よりも高い解像度となる。図５(b)は図５(a)の先行車領域５０２の拡大図である。マッチングブロック５０３は、図３、４で説明したように、通常の解像度で動作するテンプレートサイズを想定している。
【００３４】
このとき、テンプレート４０１のサイズを図４（ａ）に示すものから変更しない場合、図４(b)に示したように、遠方領域では先行車などの計測対象が小さくなり、マッチングブロック４０１には背景部分など多くの外乱が含まれることとなる。したがって、従来は、このようなマッチングブロック４０１を使用すると、遠方では計測対象での相関値が正確に計算できず、結果として正確な距離情報を求めることができない。
【００３５】
これに対して、本実施の形態におけるステレオカメラ装置１では、図５（ａ）に示すように、遠方領域５０１の解像度を変更して高解像度化するので、マッチングブロック５０３の画像サイズを変更することなく、計測対象の相関値を正確に求めることができ、その結果、距離計測も高精度となる。
【００３６】
先行車両を検出して先行車両までの距離を測定する場合、先行車両の検出は、距離計算部３０の処理で得られた距離画像（画素の値が距離情報である画像）と濃淡画像に対して認識処理を行うことによって実行される。例えば、図４（ｂ）に示すように、先行車両が小さい領域しか持っていない場合、濃淡画像を用いて車両検知を行っても良好な結果が得られない。
【００３７】
濃淡画像で車両判断をするためには、車両の特徴である、タイヤ、窓枠、ストップランプなどが知覚できるだけの分解能が必要である。画像サイズにして、縦１０画素×横２０画素程度以上の画素数が必要とされている。
【００３８】
既知の車両検出方法を用いた場合、通常、種々の方法に適した画像の分解能（対象物が含まれる画素数）が存在し、それに応じた分解能とすることで性能向上が可能となる。先行車両の画像上のサイズは距離に反比例しているため、画像生成部２０で先行車両の距離に応じて分解能を調整することにより、計測性能の向上が可能となる。この際に、分解能を決める指標としては、例えば、先行車両を含む画素数が２００〜３００画素となるように制御することなどがある。
【００３９】
本発明によれば、遠方領域５０１の解像度を上げることで、マッチングブロックのサイズを変えることなく遠距離での相関値計算の安定性と、距離分解能向上とを同時に実現することができる。尚、この高解像度領域５０１の高精細画像を使用して距離計算を行う際は、通常領域と解像度が異なるため、マッチングで得られた視差情報を通常の解像度での画素数に変換して距離算出を行う。
【００４０】
次に、図６、７を用いて、図５で説明したアイデアを実現する方法の一例について説明する。図６は、ステレオカメラ装置で行われる処理の一実施例を示す図である。
【００４１】
図６に示すように、処理の開始により、最初に左右画像取得処理S101が行われ、左右のカメラ１２、１３で撮像された各画像がそれぞれ左画像取得部１０と右画像取得部１１によって取得される。その次のステップとして、通常画像を用いて視差算出を行い距離計算する処理S102が行われる。
【００４２】
その後、処理S102で得られた距離情報に基づいて物体検知処理S103を行い、その検知結果を走行環境情報として走行環境情報記憶手段５０に記録する。走行環境情報には、先行車、対向車、歩行者、バイクなどの路上立体物の相対位置、相対速度が記録されている。さらに、走行レーン情報、ガードレール、電柱などの道路構造物の相対位置情報、GPS(Global Positioning Systems)やカーナビゲーションから得られる自車位置情報、カーナビゲーションなどに予め入力されている地図情報が含まれている。これらの走行環境情報は、物体検知処理S103を行うたびに更新される。
【００４３】
画像生成処理S104では、走行環境情報記憶手段５０の走行環境情報を利用して生成する画像の仕様を決定し、画像生成を行う。画像生成処理S104では、ある計測対象物にターゲットを絞って分解能を決定するが、その際にどの計測対象物をターゲットにするかを決定するのに走行環境情報を使用する。例えば、走行環境情報に基づいて、衝突可能性が最も高いものをターゲットとすることを一例として挙げることができる。
【００４４】
衝突可能性は、自車両および計測対象物の速度、進行方向等から計算することができる。また、自車両の走行速度が遅い場合、より複雑な処理によって画像生成を行うことができる。
【００４５】
例えば、自車両の走行速度が遅いため、画像上の変化が非常に小さい場合は、画像圧縮技術などで使われている小領域の画像に対し移動ベクトルを求めて、途中のデータを補間作成することなどが可能である。また、実際の解像度よりも向上する技術である超解像度技術を適用して、補間処理以上の高精細な画像を作成することができる。超解像度処理は、通常処理時間が大きく、リアルタイムには不向きな処理であった。しかし、自車両の移動速度が遅いという前提で適用することができるため、走行環境情報を活用することでよりよい画像生成処理が可能となる。なお、超解像度処理などの技術については、例えば、特開２０１０−２１７３０号公報に記載されている。
【００４６】
次に、画像生成処理S104における詳細な処理内容について図７を用いて説明する。図７は、画像生成処理の内容を詳細に説明する図である。
【００４７】
画像生成部２０は、物体検知処理S103が終了すると、走行環境情報記憶手段５０の走行環境情報を参照して、計測対象物の中から自車両が最も注目すべき物体を決定する。ここでは、衝突する恐れのある車両に注目することとし、危険物体判別処理S111を実行する。計測対象物の中から注目物体が抽出されると、自車両からその注目物体までの距離に基づいて遠距離領域の分解能を決定する処理S112が行われる。
【００４８】
そして、処理S112によって遠距離領域の分解能が決定されると、それに従い遠距離領域を高解像度化する処理S113が実施される。遠距離領域で高分解能な画像が生成されるとそれを用いて視差算出、距離計算処理S105を再度実施し、その結果からより高精度な物体検知処理S106を実行する。ここでの処理結果は、走行環境情報として、再度、走行環境情報記憶手段５０にフィードバックされ最新の情報に変更される。このときの視差・距離計算処理S105は、図１６、１７で説明した処理フローにて実行される。
【００４９】
図８は、画像を高解像度化する方法について説明する図である。図５(a)の高解像度領域５０１は通常解像度領域５０４よりも縦横にそれぞれ４倍の解像度となっている。図８に例として縦横４倍と２倍の概念図を示す。図８に示す「○」（白丸）が通常解像度で存在する画素（通常画素）であり、この通常画素を用いて補間画素「●」（黒丸）を生成する。
【００５０】
この補間画素の生成法には、様々な既知の方法があり、線形補間であるバイリニア補間（Bi-linear interpolation）、スプライン補間(Spline interpolation)、多項式補間などある。高次多項式や物体モデルを定義した超解像度手法は計算量が大きく不利であるが、画像の特徴を保存したり強調したりして高解像度化が可能であるため、用途に応じて使い分ける必要がある。本発明では、処理に利用する画像自体を高解像度化することによって、相関値算出の安定化と計測分解能の向上する効果がある。
【００５１】
図９を用いて、高解像度化に関する別の実施例を説明する。図９では、画像解像度を変化させる領域を９０１〜９０３の三つの領域に分割している。図７の遠距離分解能決定処理S112にて三つの分割領域９０１〜９０３を定義する。ここでは、自車両からの距離（第１の基準距離と第２の基準距離）L1、L2の二つのパラメータで分割処理をしている。画像生成部２０は、車両からの距離Ｌをパラメータとして各画像の水平方向に区切られた領域を、前記各画像の一部領域９０１〜９０３とする。
【００５２】
また、図９の実施形態では、横方向には解像度を上げず、縦方向のみ解像度を向上させている。このときの補間例は、図９(b)に示す。このときの補間方法としては、先に説明した補間手法以外に、インタレース方式（一つのフレームが奇数、偶数の二つのフィールドからなる映像形式）であれば、処理に使用していないフィールド情報を使用する方法がある。
【００５３】
図１０を用いて、高解像度化に関する別の実施例を説明する。図９では3段階で画像分解能を分けたが、図１０(a)では多段階にしている。多段階では、図１０(b)に示すように路面上部から見た距離測定分解能が遠方でも十分に確保され、さらに等分になっている。このような距離測定分解能の設定は、カーブ推定などでより推定精度が向上するなどの利点がある。従来の図２(b)の設定の場合、前方カーブの推定時に、遠方での測定結果がないため、カーブ形状の推定の遅延や誤差が生じ易くなっていた。図１０(b)のように均等に計測点を配置することによりカーブ形状推定を含む道路形状推定の性能向上が可能になる。
【００５４】
次に、計測対象物の距離に応じた画像分解能の設定の違いに関して図１１に示す。図１１(a)では、計測対象物として路面の白線と先行車両の二つが写像されており、先行車両が注目物体として選択されている。
【００５５】
図１１(a)では、注目物体が自車両から遠距離に位置するので、画像５０１の分解能を高く設定して高精細画像としている。また、図１１(b)では、注目物体が中距離に位置するので、画像５０１の分解能もやや抑えて、中精細画像としている。そして、注目物体が近距離に位置する場合には、図４(a)に示すように、通常解像度で対応し、高解像度化は実施しない。
【００５６】
図１２に注目物体が複数存在した場合の対応の実施形態を示す。注目物体が複数いる場合、距離測定結果を使用しているアプリケーションの重要度に合わせて解像度を設定する。車間距離維持システムであれば、前方の車両追従が重要であるため、自車が走行中の走行レーン内の先行車が注目物体となり、分解能が決定される。
【００５７】
図１２では、先行車両が複数あった場合、最後尾の先行車を注目物体とする実施形態を示している。本実施形態は一例で、実際には衝突軽減ブレーキシステムなど先行車以外でも衝突可能性のあるものがあれば、注目物体とすることが考えられる。車両制御に距離測定の結果を使う場合、物体との相対速度が重要であり、より遠方から高精度に距離測定をする本発明は有効である。
【００５８】
また、ここでは、車間距離維持システムの場合を説明したが、他のシステムが動作中の場合は、そのとき動作中のシステムに応じて計測対象物の優先順位が変化する。
【００５９】
図１３は、優先順位判定テーブルの一例を示す図である。計測対象物の優先順位は、動作しているシステムに応じて変化する。例えば、車間距離維持システムでは、先行車両が第１優先であるが、衝突警報システムや衝突軽減制御システムでは、相対速度がより高くなる対向車が第１優先となる。一方で、制限速度制御システムの場合は、より早く速度制限の道路標識を認識して、減速の準備が必要であり、道路標識が第１優先となる。
【００６０】
このように、衝突安全性だけで優先順位を付ける以外にも、システムの稼働状況などによって優先順位が変わり、それに対応した最適な画像生成制御を行い、センシング能力を高くすることが可能となる。
【００６１】
図１４を用いて、高解像度化に関する別の実施例を説明する。図１４の実施例は、画像サイズを変更せずに解像度を上げる方式の形態を示している。画像生成部２０は、図１４(a)に示した太い実線で示した台形領域１２０１を図１２(b)で示す矩形領域１２０２に変形する処理を行う。この処理を行うことにより、結果的に遠距離領域では拡大率が大きくなり解像度を上げたことと同じ効果が得られる。また、この方法は、変換後の画像サイズ（Lx×Ly）が一定であるため、計測対象物や高解像度領域５０１の解像度に無関係に処理速度が一定になる効果がある。
【００６２】
計測対象物の位置により、台形領域１２０１の上辺の長さLoを変更したり、上辺の位置を変更することで、環境の変動に追従することができる。処理時間が一定になることは、制御システムにとって重要な事項であり、図１４のように処理負荷が一定になるように変換をかけることは本発明の有効な点の一つである。図１４(b)の点線は、図１４(a)の画素の格子を意味しており、図１４（ａ）で示した変換後の画像が、図１４（ｂ）で示した変換前の画像を扇状に変形していることが分かる。
【００６３】
次に、図１５を用いて他の実施例について説明する。図６では、左右のカメラ１２、１３で左右の画像を取得する度に、通常画像を用いて視差・距離計算処理S102を実行していたが、図１５に示す処理フローでは、最初のシステム実行時のみ通常画像を用いて視差・距離計算処理S１02を実施し、それ以降の繰り返し処理では、左右画像取得S111を途中に挿入し、前回の走行環境情報５０を用いて画像生成処理を行う。図１５に示す処理方法によれば、毎回の通常画像での視差・距離計算処理S102を実施不要とすることができ、画像取得後、直ぐに画像生成S104に移行し、画像生成を行うことができる。
【００６４】
上記構成を有するステレオカメラ装置１によれば、画像の一部領域の解像度を上げることで、マッチングブロックのサイズを変えることなく遠距離での相関値計算の安定性と、距離分解能向上とを同時に実現することができ、自車両から計測対象物までの距離を正確に算出することができる。したがって、自車両から計測対象物までの距離の情報を利用するアプリケーションでは、より正確な距離情報を利用することができ、正確で精度の高い処理を行うことができる。
【００６５】
［第２実施の形態］
上記した第１実施の形態では、入力画像が遠距離の計測に十分な解像度を持っていないことを想定し、低解像度のカメラを用いても高精度かつ安定な距離計測が可能となるステレオカメラ装置について説明したが、本実施の形態では、入力画像が遠距離の計測に十分な解像度を持っている場合について説明する。
【００６６】
左右のカメラ１２、１３が高解像度な画像を撮像可能な撮像素子（高精細カメラ）である場合、図１８の処理フローにおいて、高解像度の左右画像取得S101の後に低解像度化処理S112を挿入して、高解像度画像を通常画像に変換する。ここで、高解像度画像とは、遠距離領域でも十分な距離精度を算出できる解像度を持った画像を意味しており、通常画像とは、ステレオカメラ装置１がシステムに要求される処理時間以内で距離情報を算出できる画像サイズを意味している。
【００６７】
最近の撮像デバイスの高解像度化に伴い、ステレオカメラ装置１でも高精細な画像（高解像度画像）を取り込む撮像デバイスの搭載が可能となっている。しかし、高解像度画像の場合、近距離での分解能は不要に高いため、解像度を減らすことが処理時間やメモリ容量の観点から有効である。本発明は、取り込んだ高解像度画像を低解像度画像に変換して、それ以後の処理を実行することが可能となり、高速処理と高精度とを両立することができる。
【００６８】
図１９に高解像度化する際の画素の使用に関して説明する。本実施の形態では、既に入力時点で高解像度化された画素データが存在する。図１９の例では入力された画像が通常解像度の白丸「○」を低解像度画素と記載し、低解像度を使用する場合には使用しない白四角（□）の画素を高解像度画素と表記している。
【００６９】
２倍の解像度の場合は、低解像度化によって間引かれた高解像度画素、すなわち、高精細カメラから入力された高精細な画像のもともとの画素データを復活させることで対応することができる。
【００７０】
さらに４倍の解像度の場合は、高精細カメラから入力された高精細な画像を使用して補間処理を行い４倍の解像度の画像を作成することができる。黒丸（●）は、補間処理で生成される画素を意味している。
【００７１】
次に、図２０、図２１を用いて本実施の形態における詳細な処理内容について説明する。例えば、図４や図１１に示すように、画像５００において、計測対象物は、自車両から離れるほど小さくなり、自車両に接近するほど大きくなる。
【００７２】
ここでは、自車両から計測対象物までの距離が予め設定された第１の基準距離よりも短いときは画像生成部で解像度が変更された各画像の一部領域の視差に基づき車両から計測対象物までの距離を算出し、車両から計測対象物までの距離が予め設定された第２の基準距離よりも長いときは画像取込部で取り込んだ各画像の視差に基づき車両から計測対象物までの距離を算出する処理が行われる。
【００７３】
図２０（ａ）に示すように、計測対象物が自車両から遠方に存在している場合は、図２０（ｂ）で処理に使用する画像２００１に示すように、図２０（ａ）の高解像度画像２０００の一部領域２００２を切り出して、計測対象物に対して十分な分解能が得られる画素数で処理を行う。このとき、高解像度画像２０００は、低解像度化されておらず、計測対象が含まれる一部領域２００２を切り出してそのままの分解能で使用する。このように、一部領域２００２を切り出すことにより、処理する画素数としては、通常の解像度の画像と同様に取り扱うことができる。
【００７４】
一方、図２１（ａ）に示すように、計測対象物が自車に接近している場合は、図２１（ｂ）に示すように、高解像度画像２１００の画素を間引いて低解像度化した低解像度画像２１０１を生成する。低解像度画像の生成は、単純に高解像度画像の画素を間引いて低解像度画像を生成してもよく、また、間引かれる画素のデータを合算して低解像度画像を生成してもよい。
【００７５】
本実施の形態によれば、高解像度の撮像素子を使用し、計測対象物の距離に応じて処理に使用する画像の解像度を変更することができる。したがって、高解像度の撮像素子を利用して効率よく処理することができ、高性能なプロセッサを用いることなく、ステレオカメラ装置を安価に提供することができる。
【００７６】
以上のように、ステレオカメラ装置１に高解像度画像を入力した場合には、解像度を低下させることで、処理時間やハードリソースを無駄に使用することなく、距離測定処理を実行することができる。
【００７７】
本実施の形態では、２倍の高精細画像を想定したが、４倍、６倍などさらに高精細になった場合は、解像度を落とす度合いを強めることで対応ができる。また、図１０に示すように画像分解能を距離に応じて多段階に設定して、近距離は解像度を低下させ、遠距離は高解像度にする制御に適用すると、さらに本発明を効果的に活用することができる。
【００７８】
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の各実施の形態では、示唆・距離計算処理(S102)において、マッチングブロックを使用して相関値を求めるために、横方向の一次元のスキャンが必要であると説明した。
【００７９】
正確に相関値を計算するためには、基準画像のマッチングブロックと参照画像との関係は常に同一の解像度である必要があり、横方向には解像度を変更することはできない。これがこれまで説明してきた実施形態の一つの制約事項である。しかし、マッチングブロックの解像度合わせて、処理時に計算コストをかけて変換できる場合は、上記の制約を削除することができる。
【符号の説明】
【００８０】
１ ステレオカメラ装置
１０ 左画像取得部（画像取込部）
１１ 右画像取得部（画像取込部）
１２ 左カメラ
１３ 右カメラ
２０ 画像生成部
３０ 距離計算部
４０ アプリケーション処理部
５０ 走行環境情報記憶部
１７１１ 基準画像（右画像）
１７１２ 参照画像（左画像）
【技術分野】
【０００１】
本発明は、車両に搭載されるステレオカメラ装置に係わり、例えば車両から車両前方の物体までの距離を高精度に計測するステレオカメラ装置に関する。
【背景技術】
【０００２】
二つのカメラを用いて三角測量の原理で計測対象物までの距離を計測するステレオカメラ装置が既知となっている。例えば、自動車にステレオカメラ装置を設置することにより、前方の障害物や道路の白線を抽出し、障害物までの距離や走行中の道路形状を算出することで、危険をドライバーに報知することが可能となり、安全な運転を確保することができる。
【０００３】
各カメラは、路面とほぼ平行になるように車両に搭載されるので、遠方での距離分解能は近傍よりも低下する。また、遠方の計測対象物は画像上で小さくなるので、計測対象物までの距離を安定して計測することが困難である。そこで、ステレオカメラ装置では、遠方の距離測定の安定性および精度を向上させることが重要な課題となっている。
【０００４】
ステレオカメラは、三角測量の原理で、左右カメラから得られた画像を分析して計測対象物の視差を算出し、その値を距離データに変換している。視差の計算方法として、二つの画像の内、右側の画像を基準画像として小領域（マッチングブロック）を設定し、左側の参照画像から高い相関値（類似度）をもつ小領域を探索する方法が用いられている。このマッチングブロック間の相関値の計算としては、例えばSAD（差分絶対値の総和）法などがある。
【０００５】
特許文献１に示された技術では、ステレオカメラ装置の分解能向上を目的として、マッチングブロックの設定を通常計算量の削減のためブロック単位で分割するものを、隣接するブロックを左右方向に互いに重なり合わせながら視差を求めることで、高精度化と安定な視差計算を実現している。
【０００６】
また、特許文献２には、対応点の高精度化を目的として、基準画像と参照画像で最初に設定した第一のマッチングブロックの探索で所定の相関値が得られない場合に、マッチングブロックのサイズを変更して再度探索する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−１３３５２４
【特許文献２】特開２００８−９０５８３
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示されている方法の場合、基準画像上でのマッチングブロックの位置を半ブロックずつ細かくずらして設定することで、計測の安定性は向上するが、遠方での距離分解能の向上に関しては不十分である。例えば、図３（ａ）に示す入力画像をそのまま視差計算に使用すると、図３（ｂ）に示すようにマッチングブロックの位置を細かくずらしても、距離分解能自体は変化しない。なお、図３は、車幅方向両側に白線が引かれた道路を撮像した画像を模式的に示す図である。
【０００９】
また、特許文献２の技術に関しては、一回目で所定の相関値が得られない場合、マッチングブロックのサイズを変更して再度相関値計算を行うことで、より安定した視差計算を実現している。例えば、図４に示すように、対象物（先行車）４１０が近距離にある場合は、図４(a)に示すように大きなマッチングブロック４００で十分に相関値を正しく計算することができるが、図４(b)のように遠距離になるとマッチングブロック４０１を小さくしなければ背景なども入り相関値を正確に求めることが難しくなるからである。
【００１０】
しかしながら、特許文献２の技術も入力画像をそのまま視差計算に使用しており、距離分解能の向上に関して有効な方法を開示していない。これら従来技術で、遠方での距離分解能を上げるためには、例えば、視差計算のサブピクセル処理などの適用が考えられる。
【００１１】
しかし、遠方での距離分解能を上げるために、画面全体に一律に同一処理を適用したのでは、本来距離分解能の向上が必要のない近距離の対象物に対しても分解能向上の処理が追加されるため計算量が不要に大きくなってしまう。
【００１２】
本発明は、計測対象物の距離に応じて計測の距離分解能を可変にして、安定かつ高精度に距離測定を行うステレオカメラ装置を提供するものである。
【課題を解決するための手段】
【００１３】
上記課題を解決する本発明のステレオカメラ装置は、二枚の画像を取り込み、その取り込んだ各画像の一部領域の解像度を変更し、その変更された各画像の一部領域の視差に基づいて車両から一部領域に写像されている計測対象物までの距離を計算することを特徴としている。
【発明の効果】
【００１４】
本発明によれば、計測対象物が遠距離に存在しかつその大きさが小さい場合でも、安定に距離計測処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本実施の形態におけるステレオカメラ装置の構成を説明する図。
【図２】遠距離での距離分解能が低下することを説明する図。
【図３】第一の公知例を説明する図。
【図４】第二の公知例を説明する図。
【図５】本発明の主要なアイデアを説明する図。
【図６】ステレオカメラ装置で行われる処理の一実施例を示す図。
【図７】画像生成処理の詳細を説明する図。
【図８】高精細化を目的とした補間処理を説明する図。
【図９】画像を高精細化する方法を説明する図。
【図１０】画像を高精細化する他の方法を説明する図。
【図１１】計測対象物との距離に応じて解像度を変更する例を説明する図。
【図１２】複数の物体が存在する場合の処理内容を説明する図。
【図１３】優先順位を判定するテーブルの設定例を説明する図。
【図１４】画像サイズを変更することなく高解像度化する方法を説明する図。
【図１５】第１実施の形態で行われる処理の他の実施例を示す図。
【図１６】第１実施の形態で行われる処理の内容を説明する図。
【図１７】視差計算の処理方法を説明する図。
【図１８】第２実施の形態における処理の内容を説明する図。
【図１９】高精細画像を取り込んだ場合の高解像度化処理を説明した図。
【図２０】第２実施の形態で行われる処理の内容を説明する図。
【図２１】第２実施の形態で行われる処理の内容を説明する図。
【発明を実施するための形態】
【００１６】
［第１実施の形態］
次に、本発明の第１実施の形態について説明する。
図１は、本実施の形態におけるステレオカメラ装置の構成を説明する図である。
【００１７】
ステレオカメラ装置は、左カメラ１２と右カメラ１３から同期した画像をそれぞれの画像取得部１０、１１が取り込む。左右のカメラ１２、１３は、車両前部の左側および右側に取り付けられており、それぞれ車両前方を撮像できるようになっている。
【００１８】
通常、カメラには固有の歪みが存在する。この歪みの原因は、撮像デバイスの設置ずれ、取り付けたレンズ固有の歪み、カメラの光軸方向ずれなど様々である。ステレオカメラ装置による三角測量では、左右のカメラの小領域（マッチングブロック）での相関値を正確に求めるために、左右の画像が正確に平行に並んでいることが重要である。
【００１９】
したがって、画像生成部２０では、左右の画像の平行化を行い、さらに様々な歪みを補正して歪みのない画像を生成する。このとき、本発明では、先行車や障害物などの外界環境情報や自車の車速、周辺の地図情報など、走行環境情報記憶手段５０に記憶された走行環境情報を参照して、計測したい距離に応じた画像生成を行う。なお、画像生成部２０における画像生成方法に関しては後述する。
【００２０】
距離計算部３０では、画像生成部２０で生成された左右の画像を用いて視差計算を行い、自車の車両から計測対象物までの距離を計測する。そして得られた距離情報は、アプリケーション処理部４０で利用され、車間距離維持システムや衝突軽減ブレーキシステムを実現する。
【００２１】
次に、図１６、１７を用いて、距離計算部３０における処理内容について詳しく説明する。左右カメラ１２、１３から左右の画像取得部１０、１１によって取り込まれた画像は、カメラ１２、１３のレンズ歪み、撮像デバイスの取り付け誤差などによって生じている歪みが歪み補正部１６、１７で補正される。
【００２２】
そして、光軸平行化手段２１ａによって、補正により歪みがとれた画像に対して左右カメラ１２、１３の光軸が平行化するように左右画像を回転するなどのアフィン補正が行われる。これまでの処理で必要な歪みや光軸ずれの情報は、組み立て時に予め調査してステレオカメラ装置１内の不揮発性メモリ（図示せず）に記録しておく。
【００２３】
そして、距離計算部３０で距離計算が行われる。距離計算は、基準画像中の小領域（マッチングブロック）が参照画像中のどこにあるかを探索して（対応点算出）、画像上の座標の差を視差として計算するものである。図１７(a)において、右画像を基準画像１７１１、左画像を参照画像１７１２として、基準画像１７１１中のあるマッチングブロック１７０１に注目する。
【００２４】
マッチングブロック１７０１は、例えば図１７(b)に示すように、マッチングブロックのサイズを８×４画素としている。マッチングブロック１７０１のサイズは、左右の画像のマッチング処理を行うのに適正な相関値を求めることができる最小サイズが望ましい。
【００２５】
マッチングブロック１７０１をテンプレートとして、参照画像１７１２から同じパターンを探索する。このとき、光軸平行化手段２１ａによって左右画像の平行化処理が実施されているので、探索は参照画像１７１２を横方向に一次元に走査を行うだけでよい。
【００２６】
例えば、参照画像１７１２内を左から右へ一次元に走査を行い、相関値を計算する。相関値の計算には、正規化相関法、位相限定相関法など多数あるが、本実施形態では、一例としてSAD（Summation of Absolute Difference:絶対値差分の総和）を用いている。SADの相関値Cnは、下記の式（１）で算出される。
【００２７】
Cn ＝ Σ|I(i、j) - R(i+n、j+m)|． ・・・（１）
【００２８】
ここで、I(i、j)は基準画像１７１１のマッチングブロックにおける輝度値、R(i、j)は参照画像のマッチングブロックにおける輝度値である。参照画像１７１２のn、mを走査することにより探索を行う。本実施の形態では、参照画像１７１２内を左から右へ一次元に走査を行うので、mは固定値である。
【００２９】
そして、走査の結果、C0からCN（N:探索範囲の画素数）までの結果が得られるので、その最小値をマッチング地点として定義し、そのときの視差情報が視差１７０３となる。視差が算出されると、三角測量の原理で、左右のカメラ間距離、視差の物理的な長さからテンプレートの対象物までの距離が算出可能である。これらの処理は、図１６の距離計算３２で実行する。計測するマッチングブロックが全て終了になるまで処理を続けて、距離情報を算出する。
【００３０】
次に、画像生成部２０による画像生成の方法について説明する。
画像生成部２０では、図１の走行環境情報５０の情報に基づき、左右カメラ１２、１３から入力された画像の一部領域の解像度を変更する処理が行われる。車両に搭載された左右カメラ１２、１３は、路面にほぼ平行に取り付けられているため、図２に示すように遠方での分解能が低下している。図２(a)はカメラからの入力画像、図２(b)は路面を真上から見た画像に変換したものである。図２（ａ）の画像２００上に、横方向に亘って延在して上下に均等に配置される複数の直線２０１〜２０８を引き、画像上での白線２２１、２２２との交点を「＋」記号で示す。図２（ａ）の直線２０１〜２０８が図２（ｂ）の直線２１１〜２１８に対応している。
【００３１】
画像上では垂直方向に均等距離にある＋記号が、実際の三次元空間では、図２（ｂ）に示すように自車両から遠ざかるほど＋記号間の距離が離れており、遠距離での分解能が低いことがわかる。
【００３２】
そこで、画像生成部２０では、図５に示すように、画像の一部領域である遠方領域５０１の解像度を高める処理を行い、遠方領域５０１でも十分な解像度を得られるようにする。図５(a)では、画像５００上における車両前方の距離（基準距離）Ｌを定義し、距離Ｌよりも遠方の領域５０１に対して、画像解像度を上げる処理を行い、高精細な画像を新たに生成する。
【００３３】
本実施の形態では、距離Ｌよりも車両近傍の領域５０４は、カメラ１２、１３からの映像入力の解像度と同等の通常解像度であり、遠方領域５０１は入力された映像よりも高い解像度となる。図５(b)は図５(a)の先行車領域５０２の拡大図である。マッチングブロック５０３は、図３、４で説明したように、通常の解像度で動作するテンプレートサイズを想定している。
【００３４】
このとき、テンプレート４０１のサイズを図４（ａ）に示すものから変更しない場合、図４(b)に示したように、遠方領域では先行車などの計測対象が小さくなり、マッチングブロック４０１には背景部分など多くの外乱が含まれることとなる。したがって、従来は、このようなマッチングブロック４０１を使用すると、遠方では計測対象での相関値が正確に計算できず、結果として正確な距離情報を求めることができない。
【００３５】
これに対して、本実施の形態におけるステレオカメラ装置１では、図５（ａ）に示すように、遠方領域５０１の解像度を変更して高解像度化するので、マッチングブロック５０３の画像サイズを変更することなく、計測対象の相関値を正確に求めることができ、その結果、距離計測も高精度となる。
【００３６】
先行車両を検出して先行車両までの距離を測定する場合、先行車両の検出は、距離計算部３０の処理で得られた距離画像（画素の値が距離情報である画像）と濃淡画像に対して認識処理を行うことによって実行される。例えば、図４（ｂ）に示すように、先行車両が小さい領域しか持っていない場合、濃淡画像を用いて車両検知を行っても良好な結果が得られない。
【００３７】
濃淡画像で車両判断をするためには、車両の特徴である、タイヤ、窓枠、ストップランプなどが知覚できるだけの分解能が必要である。画像サイズにして、縦１０画素×横２０画素程度以上の画素数が必要とされている。
【００３８】
既知の車両検出方法を用いた場合、通常、種々の方法に適した画像の分解能（対象物が含まれる画素数）が存在し、それに応じた分解能とすることで性能向上が可能となる。先行車両の画像上のサイズは距離に反比例しているため、画像生成部２０で先行車両の距離に応じて分解能を調整することにより、計測性能の向上が可能となる。この際に、分解能を決める指標としては、例えば、先行車両を含む画素数が２００〜３００画素となるように制御することなどがある。
【００３９】
本発明によれば、遠方領域５０１の解像度を上げることで、マッチングブロックのサイズを変えることなく遠距離での相関値計算の安定性と、距離分解能向上とを同時に実現することができる。尚、この高解像度領域５０１の高精細画像を使用して距離計算を行う際は、通常領域と解像度が異なるため、マッチングで得られた視差情報を通常の解像度での画素数に変換して距離算出を行う。
【００４０】
次に、図６、７を用いて、図５で説明したアイデアを実現する方法の一例について説明する。図６は、ステレオカメラ装置で行われる処理の一実施例を示す図である。
【００４１】
図６に示すように、処理の開始により、最初に左右画像取得処理S101が行われ、左右のカメラ１２、１３で撮像された各画像がそれぞれ左画像取得部１０と右画像取得部１１によって取得される。その次のステップとして、通常画像を用いて視差算出を行い距離計算する処理S102が行われる。
【００４２】
その後、処理S102で得られた距離情報に基づいて物体検知処理S103を行い、その検知結果を走行環境情報として走行環境情報記憶手段５０に記録する。走行環境情報には、先行車、対向車、歩行者、バイクなどの路上立体物の相対位置、相対速度が記録されている。さらに、走行レーン情報、ガードレール、電柱などの道路構造物の相対位置情報、GPS(Global Positioning Systems)やカーナビゲーションから得られる自車位置情報、カーナビゲーションなどに予め入力されている地図情報が含まれている。これらの走行環境情報は、物体検知処理S103を行うたびに更新される。
【００４３】
画像生成処理S104では、走行環境情報記憶手段５０の走行環境情報を利用して生成する画像の仕様を決定し、画像生成を行う。画像生成処理S104では、ある計測対象物にターゲットを絞って分解能を決定するが、その際にどの計測対象物をターゲットにするかを決定するのに走行環境情報を使用する。例えば、走行環境情報に基づいて、衝突可能性が最も高いものをターゲットとすることを一例として挙げることができる。
【００４４】
衝突可能性は、自車両および計測対象物の速度、進行方向等から計算することができる。また、自車両の走行速度が遅い場合、より複雑な処理によって画像生成を行うことができる。
【００４５】
例えば、自車両の走行速度が遅いため、画像上の変化が非常に小さい場合は、画像圧縮技術などで使われている小領域の画像に対し移動ベクトルを求めて、途中のデータを補間作成することなどが可能である。また、実際の解像度よりも向上する技術である超解像度技術を適用して、補間処理以上の高精細な画像を作成することができる。超解像度処理は、通常処理時間が大きく、リアルタイムには不向きな処理であった。しかし、自車両の移動速度が遅いという前提で適用することができるため、走行環境情報を活用することでよりよい画像生成処理が可能となる。なお、超解像度処理などの技術については、例えば、特開２０１０−２１７３０号公報に記載されている。
【００４６】
次に、画像生成処理S104における詳細な処理内容について図７を用いて説明する。図７は、画像生成処理の内容を詳細に説明する図である。
【００４７】
画像生成部２０は、物体検知処理S103が終了すると、走行環境情報記憶手段５０の走行環境情報を参照して、計測対象物の中から自車両が最も注目すべき物体を決定する。ここでは、衝突する恐れのある車両に注目することとし、危険物体判別処理S111を実行する。計測対象物の中から注目物体が抽出されると、自車両からその注目物体までの距離に基づいて遠距離領域の分解能を決定する処理S112が行われる。
【００４８】
そして、処理S112によって遠距離領域の分解能が決定されると、それに従い遠距離領域を高解像度化する処理S113が実施される。遠距離領域で高分解能な画像が生成されるとそれを用いて視差算出、距離計算処理S105を再度実施し、その結果からより高精度な物体検知処理S106を実行する。ここでの処理結果は、走行環境情報として、再度、走行環境情報記憶手段５０にフィードバックされ最新の情報に変更される。このときの視差・距離計算処理S105は、図１６、１７で説明した処理フローにて実行される。
【００４９】
図８は、画像を高解像度化する方法について説明する図である。図５(a)の高解像度領域５０１は通常解像度領域５０４よりも縦横にそれぞれ４倍の解像度となっている。図８に例として縦横４倍と２倍の概念図を示す。図８に示す「○」（白丸）が通常解像度で存在する画素（通常画素）であり、この通常画素を用いて補間画素「●」（黒丸）を生成する。
【００５０】
この補間画素の生成法には、様々な既知の方法があり、線形補間であるバイリニア補間（Bi-linear interpolation）、スプライン補間(Spline interpolation)、多項式補間などある。高次多項式や物体モデルを定義した超解像度手法は計算量が大きく不利であるが、画像の特徴を保存したり強調したりして高解像度化が可能であるため、用途に応じて使い分ける必要がある。本発明では、処理に利用する画像自体を高解像度化することによって、相関値算出の安定化と計測分解能の向上する効果がある。
【００５１】
図９を用いて、高解像度化に関する別の実施例を説明する。図９では、画像解像度を変化させる領域を９０１〜９０３の三つの領域に分割している。図７の遠距離分解能決定処理S112にて三つの分割領域９０１〜９０３を定義する。ここでは、自車両からの距離（第１の基準距離と第２の基準距離）L1、L2の二つのパラメータで分割処理をしている。画像生成部２０は、車両からの距離Ｌをパラメータとして各画像の水平方向に区切られた領域を、前記各画像の一部領域９０１〜９０３とする。
【００５２】
また、図９の実施形態では、横方向には解像度を上げず、縦方向のみ解像度を向上させている。このときの補間例は、図９(b)に示す。このときの補間方法としては、先に説明した補間手法以外に、インタレース方式（一つのフレームが奇数、偶数の二つのフィールドからなる映像形式）であれば、処理に使用していないフィールド情報を使用する方法がある。
【００５３】
図１０を用いて、高解像度化に関する別の実施例を説明する。図９では3段階で画像分解能を分けたが、図１０(a)では多段階にしている。多段階では、図１０(b)に示すように路面上部から見た距離測定分解能が遠方でも十分に確保され、さらに等分になっている。このような距離測定分解能の設定は、カーブ推定などでより推定精度が向上するなどの利点がある。従来の図２(b)の設定の場合、前方カーブの推定時に、遠方での測定結果がないため、カーブ形状の推定の遅延や誤差が生じ易くなっていた。図１０(b)のように均等に計測点を配置することによりカーブ形状推定を含む道路形状推定の性能向上が可能になる。
【００５４】
次に、計測対象物の距離に応じた画像分解能の設定の違いに関して図１１に示す。図１１(a)では、計測対象物として路面の白線と先行車両の二つが写像されており、先行車両が注目物体として選択されている。
【００５５】
図１１(a)では、注目物体が自車両から遠距離に位置するので、画像５０１の分解能を高く設定して高精細画像としている。また、図１１(b)では、注目物体が中距離に位置するので、画像５０１の分解能もやや抑えて、中精細画像としている。そして、注目物体が近距離に位置する場合には、図４(a)に示すように、通常解像度で対応し、高解像度化は実施しない。
【００５６】
図１２に注目物体が複数存在した場合の対応の実施形態を示す。注目物体が複数いる場合、距離測定結果を使用しているアプリケーションの重要度に合わせて解像度を設定する。車間距離維持システムであれば、前方の車両追従が重要であるため、自車が走行中の走行レーン内の先行車が注目物体となり、分解能が決定される。
【００５７】
図１２では、先行車両が複数あった場合、最後尾の先行車を注目物体とする実施形態を示している。本実施形態は一例で、実際には衝突軽減ブレーキシステムなど先行車以外でも衝突可能性のあるものがあれば、注目物体とすることが考えられる。車両制御に距離測定の結果を使う場合、物体との相対速度が重要であり、より遠方から高精度に距離測定をする本発明は有効である。
【００５８】
また、ここでは、車間距離維持システムの場合を説明したが、他のシステムが動作中の場合は、そのとき動作中のシステムに応じて計測対象物の優先順位が変化する。
【００５９】
図１３は、優先順位判定テーブルの一例を示す図である。計測対象物の優先順位は、動作しているシステムに応じて変化する。例えば、車間距離維持システムでは、先行車両が第１優先であるが、衝突警報システムや衝突軽減制御システムでは、相対速度がより高くなる対向車が第１優先となる。一方で、制限速度制御システムの場合は、より早く速度制限の道路標識を認識して、減速の準備が必要であり、道路標識が第１優先となる。
【００６０】
このように、衝突安全性だけで優先順位を付ける以外にも、システムの稼働状況などによって優先順位が変わり、それに対応した最適な画像生成制御を行い、センシング能力を高くすることが可能となる。
【００６１】
図１４を用いて、高解像度化に関する別の実施例を説明する。図１４の実施例は、画像サイズを変更せずに解像度を上げる方式の形態を示している。画像生成部２０は、図１４(a)に示した太い実線で示した台形領域１２０１を図１２(b)で示す矩形領域１２０２に変形する処理を行う。この処理を行うことにより、結果的に遠距離領域では拡大率が大きくなり解像度を上げたことと同じ効果が得られる。また、この方法は、変換後の画像サイズ（Lx×Ly）が一定であるため、計測対象物や高解像度領域５０１の解像度に無関係に処理速度が一定になる効果がある。
【００６２】
計測対象物の位置により、台形領域１２０１の上辺の長さLoを変更したり、上辺の位置を変更することで、環境の変動に追従することができる。処理時間が一定になることは、制御システムにとって重要な事項であり、図１４のように処理負荷が一定になるように変換をかけることは本発明の有効な点の一つである。図１４(b)の点線は、図１４(a)の画素の格子を意味しており、図１４（ａ）で示した変換後の画像が、図１４（ｂ）で示した変換前の画像を扇状に変形していることが分かる。
【００６３】
次に、図１５を用いて他の実施例について説明する。図６では、左右のカメラ１２、１３で左右の画像を取得する度に、通常画像を用いて視差・距離計算処理S102を実行していたが、図１５に示す処理フローでは、最初のシステム実行時のみ通常画像を用いて視差・距離計算処理S１02を実施し、それ以降の繰り返し処理では、左右画像取得S111を途中に挿入し、前回の走行環境情報５０を用いて画像生成処理を行う。図１５に示す処理方法によれば、毎回の通常画像での視差・距離計算処理S102を実施不要とすることができ、画像取得後、直ぐに画像生成S104に移行し、画像生成を行うことができる。
【００６４】
上記構成を有するステレオカメラ装置１によれば、画像の一部領域の解像度を上げることで、マッチングブロックのサイズを変えることなく遠距離での相関値計算の安定性と、距離分解能向上とを同時に実現することができ、自車両から計測対象物までの距離を正確に算出することができる。したがって、自車両から計測対象物までの距離の情報を利用するアプリケーションでは、より正確な距離情報を利用することができ、正確で精度の高い処理を行うことができる。
【００６５】
［第２実施の形態］
上記した第１実施の形態では、入力画像が遠距離の計測に十分な解像度を持っていないことを想定し、低解像度のカメラを用いても高精度かつ安定な距離計測が可能となるステレオカメラ装置について説明したが、本実施の形態では、入力画像が遠距離の計測に十分な解像度を持っている場合について説明する。
【００６６】
左右のカメラ１２、１３が高解像度な画像を撮像可能な撮像素子（高精細カメラ）である場合、図１８の処理フローにおいて、高解像度の左右画像取得S101の後に低解像度化処理S112を挿入して、高解像度画像を通常画像に変換する。ここで、高解像度画像とは、遠距離領域でも十分な距離精度を算出できる解像度を持った画像を意味しており、通常画像とは、ステレオカメラ装置１がシステムに要求される処理時間以内で距離情報を算出できる画像サイズを意味している。
【００６７】
最近の撮像デバイスの高解像度化に伴い、ステレオカメラ装置１でも高精細な画像（高解像度画像）を取り込む撮像デバイスの搭載が可能となっている。しかし、高解像度画像の場合、近距離での分解能は不要に高いため、解像度を減らすことが処理時間やメモリ容量の観点から有効である。本発明は、取り込んだ高解像度画像を低解像度画像に変換して、それ以後の処理を実行することが可能となり、高速処理と高精度とを両立することができる。
【００６８】
図１９に高解像度化する際の画素の使用に関して説明する。本実施の形態では、既に入力時点で高解像度化された画素データが存在する。図１９の例では入力された画像が通常解像度の白丸「○」を低解像度画素と記載し、低解像度を使用する場合には使用しない白四角（□）の画素を高解像度画素と表記している。
【００６９】
２倍の解像度の場合は、低解像度化によって間引かれた高解像度画素、すなわち、高精細カメラから入力された高精細な画像のもともとの画素データを復活させることで対応することができる。
【００７０】
さらに４倍の解像度の場合は、高精細カメラから入力された高精細な画像を使用して補間処理を行い４倍の解像度の画像を作成することができる。黒丸（●）は、補間処理で生成される画素を意味している。
【００７１】
次に、図２０、図２１を用いて本実施の形態における詳細な処理内容について説明する。例えば、図４や図１１に示すように、画像５００において、計測対象物は、自車両から離れるほど小さくなり、自車両に接近するほど大きくなる。
【００７２】
ここでは、自車両から計測対象物までの距離が予め設定された第１の基準距離よりも短いときは画像生成部で解像度が変更された各画像の一部領域の視差に基づき車両から計測対象物までの距離を算出し、車両から計測対象物までの距離が予め設定された第２の基準距離よりも長いときは画像取込部で取り込んだ各画像の視差に基づき車両から計測対象物までの距離を算出する処理が行われる。
【００７３】
図２０（ａ）に示すように、計測対象物が自車両から遠方に存在している場合は、図２０（ｂ）で処理に使用する画像２００１に示すように、図２０（ａ）の高解像度画像２０００の一部領域２００２を切り出して、計測対象物に対して十分な分解能が得られる画素数で処理を行う。このとき、高解像度画像２０００は、低解像度化されておらず、計測対象が含まれる一部領域２００２を切り出してそのままの分解能で使用する。このように、一部領域２００２を切り出すことにより、処理する画素数としては、通常の解像度の画像と同様に取り扱うことができる。
【００７４】
一方、図２１（ａ）に示すように、計測対象物が自車に接近している場合は、図２１（ｂ）に示すように、高解像度画像２１００の画素を間引いて低解像度化した低解像度画像２１０１を生成する。低解像度画像の生成は、単純に高解像度画像の画素を間引いて低解像度画像を生成してもよく、また、間引かれる画素のデータを合算して低解像度画像を生成してもよい。
【００７５】
本実施の形態によれば、高解像度の撮像素子を使用し、計測対象物の距離に応じて処理に使用する画像の解像度を変更することができる。したがって、高解像度の撮像素子を利用して効率よく処理することができ、高性能なプロセッサを用いることなく、ステレオカメラ装置を安価に提供することができる。
【００７６】
以上のように、ステレオカメラ装置１に高解像度画像を入力した場合には、解像度を低下させることで、処理時間やハードリソースを無駄に使用することなく、距離測定処理を実行することができる。
【００７７】
本実施の形態では、２倍の高精細画像を想定したが、４倍、６倍などさらに高精細になった場合は、解像度を落とす度合いを強めることで対応ができる。また、図１０に示すように画像分解能を距離に応じて多段階に設定して、近距離は解像度を低下させ、遠距離は高解像度にする制御に適用すると、さらに本発明を効果的に活用することができる。
【００７８】
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の各実施の形態では、示唆・距離計算処理(S102)において、マッチングブロックを使用して相関値を求めるために、横方向の一次元のスキャンが必要であると説明した。
【００７９】
正確に相関値を計算するためには、基準画像のマッチングブロックと参照画像との関係は常に同一の解像度である必要があり、横方向には解像度を変更することはできない。これがこれまで説明してきた実施形態の一つの制約事項である。しかし、マッチングブロックの解像度合わせて、処理時に計算コストをかけて変換できる場合は、上記の制約を削除することができる。
【符号の説明】
【００８０】
１ ステレオカメラ装置
１０ 左画像取得部（画像取込部）
１１ 右画像取得部（画像取込部）
１２ 左カメラ
１３ 右カメラ
２０ 画像生成部
３０ 距離計算部
４０ アプリケーション処理部
５０ 走行環境情報記憶部
１７１１ 基準画像（右画像）
１７１２ 参照画像（左画像）
【特許請求の範囲】
【請求項１】
二台のカメラで車両から同方向に向かって同時に撮像した二枚の画像を用いて計測対象物までの距離を計測するステレオカメラ装置であって、
前記二枚の画像を取り込む画像取込部と、
該画像取込部で取り込んだ各画像の一部領域の解像度を変更する画像生成部と、
該画像生成部で解像度が変更された各画像の一部領域の視差に基づき前記車両から前記一部領域に写像されている計測対象物までの距離を計算する距離計算部と、
を有することを特徴とするステレオカメラ装置。
【請求項２】
前記画像生成部は、走行環境情報に基づいて、前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項３】
前記走行環境情報には、前記車両から前記計測対象物までの距離の情報が含まれることを特徴とする請求項２に記載のステレオカメラ装置。
【請求項４】
前記走行環境情報には、前記車両の車速、前記車両と前記計測対象物との相対速度、前記車両と前記計測対象物の進行方向の少なくとも一つの情報が含まれることを特徴とする請求項２に記載のステレオカメラ装置。
【請求項５】
前記画像生成部は、前記車両からの距離をパラメータとして前記各画像の水平方向に区切られた領域を、前記各画像の一部領域とすることを特徴とする請求項１から請求項４のいずれか一項に記載のステレオカメラ装置。
【請求項６】
前記画像生成部は、前記各画像における複数の領域を、前記各画像の一部領域とすることを特徴とする請求項１から請求項５のいずれか一項に記載のステレオカメラ装置。
【請求項７】
前記画像生成部は、前記画像取込部で取り込んだ各画像の視差に基づき前記車両から前記計測対象物までの距離を算出し、該算出した距離に基づいて前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項８】
前記画像生成部は、計測対象物を含む画素数が該計測対象物の種類に応じて予め設定された画素数となるように、前記車両から前記計測対象物までの距離に基づいて前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項９】
前記画像生成部は、前記車両から前記計測対象物までの距離が予め設定された第１の基準距離よりも長い場合に、前記解像度を高解像度に変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１０】
前記画像生成部は、垂直方向の解像度を向上させることによって、前記解像度を高解像度に変更することを特徴とする請求項９に記載のステレオカメラ装置。
【請求項１１】
前記画像生成部は、前記一部領域に複数の計測対象物が写像されている場合に、予め設定された優先順位に基づいて最優先の計測対象物を選択し、該選択した計測対象物の情報に基づいて前記各画像の一部領域の解像度を決定することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１２】
前記画像生成部は、前記各画像の一部領域の画像サイズが変更前と同一となるように、前記一部領域の形状を変形する処理を行うことを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１３】
該画像取込部で取り込んだ各画像の解像度を低下させる低解像度化手段を有し、
前記距離計算部は、前記車両から前記計測対象物までの距離が予め設定された第１の基準距離よりも短いときは前記画像生成部で解像度が変更された各画像の一部領域の視差に基づき前記車両から前記計測対象物までの距離を算出し、前記車両から前記計測対象物までの距離が予め設定された第２の基準距離よりも長いときは前記画像取込部で取り込んだ各画像の視差に基づき前記距離を算出することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１】
二台のカメラで車両から同方向に向かって同時に撮像した二枚の画像を用いて計測対象物までの距離を計測するステレオカメラ装置であって、
前記二枚の画像を取り込む画像取込部と、
該画像取込部で取り込んだ各画像の一部領域の解像度を変更する画像生成部と、
該画像生成部で解像度が変更された各画像の一部領域の視差に基づき前記車両から前記一部領域に写像されている計測対象物までの距離を計算する距離計算部と、
を有することを特徴とするステレオカメラ装置。
【請求項２】
前記画像生成部は、走行環境情報に基づいて、前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項３】
前記走行環境情報には、前記車両から前記計測対象物までの距離の情報が含まれることを特徴とする請求項２に記載のステレオカメラ装置。
【請求項４】
前記走行環境情報には、前記車両の車速、前記車両と前記計測対象物との相対速度、前記車両と前記計測対象物の進行方向の少なくとも一つの情報が含まれることを特徴とする請求項２に記載のステレオカメラ装置。
【請求項５】
前記画像生成部は、前記車両からの距離をパラメータとして前記各画像の水平方向に区切られた領域を、前記各画像の一部領域とすることを特徴とする請求項１から請求項４のいずれか一項に記載のステレオカメラ装置。
【請求項６】
前記画像生成部は、前記各画像における複数の領域を、前記各画像の一部領域とすることを特徴とする請求項１から請求項５のいずれか一項に記載のステレオカメラ装置。
【請求項７】
前記画像生成部は、前記画像取込部で取り込んだ各画像の視差に基づき前記車両から前記計測対象物までの距離を算出し、該算出した距離に基づいて前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項８】
前記画像生成部は、計測対象物を含む画素数が該計測対象物の種類に応じて予め設定された画素数となるように、前記車両から前記計測対象物までの距離に基づいて前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項９】
前記画像生成部は、前記車両から前記計測対象物までの距離が予め設定された第１の基準距離よりも長い場合に、前記解像度を高解像度に変更することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１０】
前記画像生成部は、垂直方向の解像度を向上させることによって、前記解像度を高解像度に変更することを特徴とする請求項９に記載のステレオカメラ装置。
【請求項１１】
前記画像生成部は、前記一部領域に複数の計測対象物が写像されている場合に、予め設定された優先順位に基づいて最優先の計測対象物を選択し、該選択した計測対象物の情報に基づいて前記各画像の一部領域の解像度を決定することを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１２】
前記画像生成部は、前記各画像の一部領域の画像サイズが変更前と同一となるように、前記一部領域の形状を変形する処理を行うことを特徴とする請求項１に記載のステレオカメラ装置。
【請求項１３】
該画像取込部で取り込んだ各画像の解像度を低下させる低解像度化手段を有し、
前記距離計算部は、前記車両から前記計測対象物までの距離が予め設定された第１の基準距離よりも短いときは前記画像生成部で解像度が変更された各画像の一部領域の視差に基づき前記車両から前記計測対象物までの距離を算出し、前記車両から前記計測対象物までの距離が予め設定された第２の基準距離よりも長いときは前記画像取込部で取り込んだ各画像の視差に基づき前記距離を算出することを特徴とする請求項１に記載のステレオカメラ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−１９１９０５（Ｐ２０１１−１９１９０５Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５６１９９（Ｐ２０１０−５６１９９）
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]