画像解析装置及びこれを用いた物体検出装置
【課題】対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現することを課題とする。
【解決手段】自動車に搭載された２つのカメラ１０Ａ，１０Ｂで自車両周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体までの距離を算出する際、撮像領域に向けて互いに異なる方向から非可視光を照射する２つの光照射部２１，２２の光照射時期が互いに重複しないように交互に非可視光を照射し、当該非可視光の照射によって対象物体の外表面に生じる非可視光の照射領域と非照射領域との境界線Ｃ１，Ｃ２上の同一の地点を映し出す対応点を光照射時期ごとにそれぞれ特定し、光照射時期ごとに、対応点のズレ量に基づいて距離を算出する。
【解決手段】自動車に搭載された２つのカメラ１０Ａ，１０Ｂで自車両周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体までの距離を算出する際、撮像領域に向けて互いに異なる方向から非可視光を照射する２つの光照射部２１，２２の光照射時期が互いに重複しないように交互に非可視光を照射し、当該非可視光の照射によって対象物体の外表面に生じる非可視光の照射領域と非照射領域との境界線Ｃ１，Ｃ２上の同一の地点を映し出す対応点を光照射時期ごとにそれぞれ特定し、光照射時期ごとに、対応点のズレ量に基づいて距離を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の移動体から２以上の撮像部で当該移動体周囲の撮像領域を撮像し、これにより得られる複数の撮像画像から、撮像領域内に存在する対象物体の距離を算出する画像解析装置及びこれを用いた物体検出装置に関するものである。
【背景技術】
【０００２】
この種の画像解析装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの物体検出処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種物体（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）の種類や距離などを、精度よく検出することが重要である。
【０００３】
特許文献１には、水平方向に同じ高さで車両に搭載された２台のカメラにより対象物体の赤外線画像を撮影し、各カメラで撮影した２つの赤外線画像の視差を利用して、対象物体までの距離を算出する画像測距装置が開示されている。この画像測距装置では、２台のカメラの一方の画像を基準画像として、この基準画像の微小領域をマスク画像とし、もう一方の画像についてウィンドウを切り、その中でマスク画像を順次シフトしながら相関演算を行い、その相関度が最も高くなるシフト量を求める。そして、このシフト量である２つの画像の視差から、三角測量の原理により、微小領域の距離を算出する。そして、距離値が類似している微小領域毎に微小領域を分類して１つのグループとして認識し、認識されたグループの距離値を求め、その距離値を対象物体までの距離値とする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、視差を利用して対象物までの距離を算出する場合、その対象物の形状によっては、間違った距離を算出してしまう場合がある。以下、図面を参照して具体的に説明する。
図１（ａ）及び（ｂ）は、２台のカメラでそれぞれ撮像した各撮像画像を示す説明図である。
図１（ａ）及び（ｂ）に示す例では、まず、エピポーラ線が一致している一対のカメラ（横方向にきっちり並んで配置されている一対のカメラ）を用い、互いに異なる方向から同じ撮像領域を撮像し、これにより得られる２つの撮像画像のうちの一方（図１（ａ）に示す画像）を基準画像とし、他方（図１（ｂ）に示す画像）を比較画像とする。その後、基準画像内のある画像領域が比較画像内のどの画像領域に対応するかを検索する。例えば、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域を検索する際、縦方向位置は画像領域Ｗａの縦方向位置と同じ位置に固定したまま、横方向位置を変化させて、比較画像内を、Ｗｂ１→Ｗｂ２→Ｗｂ３…というように検索していく。そして、この検索を行いながら基準画像と比較画像との間の相関演算を行い、相関度が最も高くなる画像領域を検出して、撮像領域内の同一地点に対応する対応点を基準画像及び比較画像の両方で特定するステレオマッチング処理（対応点特定処理）を行う。
【０００５】
図２は、一般的な測距原理を示す説明図である。
ステレオマッチング処理により、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域Ｗｂ３が特定されたら、撮像領域内の同一地点に対応した各画像領域Ｗａ，Ｗｂ３上の対応点について基準画像と比較画像とのズレ量を求め、三角測量の原理を利用して、測定対象である当該同一地点までの距離を算出する。
【０００６】
このような測距原理に基づいて算出される距離は、基準画像上の対応点（ｘ，ｙ）と比較画像上の対応点（ｘ’，ｙ）とが、撮像領域内の同一地点に対応していることが前提となる。そのため、撮像領域内の異なる地点に対応した各画像上の点を対応点として特定される事態が生じると、算出される距離は誤ったものとなる。このような事態が発生しやすいケースとしては、例えば、対象物体の形状が円柱形状である場合が挙げられる。
【０００７】
図３は、円柱形状である対称物体をステレオカメラで撮影して測距処理したときに、誤った距離が算出される場合の説明図である。
図３の上部には、ステレオカメラと対象物体との位置関係を鉛直方向上方から見たときの様子を模式的に示し、図３の下部には、ステレオカメラで撮像される基準画像と比較画像を模式的に示している。
【０００８】
このケースの基準画像と比較画像に対してステレオマッチング処理を施すと、各画像上には、それぞれ、円柱を側面から見た画像部分が長方形の形で映し出される。この場合、ステレオマッチング処理では、各画像上の当該画像部分の特徴（形状等）が近似していることから、各画像上における当該画像部分の外縁（当該画像部分と背景画像との境界）上の各点がそれぞれ対応点であると処理される。例えば、図３下部に示す基準画像上の「○」で示す点と比較画像上の「○」で示す点とが、同一地点に対応した対応点であると処理される。
【０００９】
しかしながら、図３上部に示した位置関係図に示すように、各画像上における当該画像部分の外縁のうち水平方向両側に位置する外縁部分は、対象物体上の同一地点に対応していない。したがって、この対応点に基づいて距離を算出すると、誤った距離が算出されることになる。具体的には、本来の距離よりも短い距離が算出されてしまう。このように距離が誤算出されてしまうと、その算出距離に基づいて移動体の移動制御や物体検出処理などを行う場合に、適正や制御や処理を実現できないという不具合が生じる。
【００１０】
本発明者は、この不具合を解消するための方法を検討した。
対象物体が円柱形状である場合、従来の方法では、円柱形状を映し出した画像領域（長方形）の内部に特徴点を見出すことが困難であることから、当該画像領域の外縁上の点が対応点として特定される。しかしながら、基準画像及び比較画像上における当該画像領域の外縁は、対象物体の形状によっては同一地点に対応したものとはならないので、上述したように誤った距離を算出してしまう事態が発生する。
【００１１】
そこで、本発明者は、以下のような方法により、上記不具合を解消することを試みた。この方法では、撮像領域に向けて非可視光を照射する光照射手段を設け、この光照射手段から照射される非可視光によって対象物体の外表面上に影を作る。これにより、対象物体の外表面上には、非可視光が照射されている照射領域と、非可視光が照射されていない影の部分（非照射領域）とが生じる。このように、対象物体の外表面上に非可視光の照射領域と非照射領域とが生じれば、照射領域と非照射領域とは、その境界線を境に、非可視光の輝度が大きく異なっている。よって、その対象物体を映し出す画像領域中には、非可視光の輝度が高い照射領域に対応した高輝度領域と、非可視光の輝度が低い非照射領域に対応した低輝度領域とが現れ、これらの領域境界を特徴点として捉えることができる。このような特徴を有することから、照射領域と非照射領域との境界線上の地点に対応した画像点は、ステレオマッチング処理により対応点として特定される。この境界線は、実際の対象物体の外表面上に固定的に形成されるものであるため、その境界線上の地点に対応した画像点を対応点として特定することで、対象物体が円柱形状であっても、その対象物体上の同一地点に対応した対応点を特定できる。
【００１２】
ところが、このようにして誤り無く距離を算出できる場合でも、その距離は、対象物体の外表面上における一部の箇所（対応点に対応した地点すなわち上記境界線上の地点）との距離である。そのため、対象物体の外表面形状によっては、その対象物体の外表面上には当該箇所よりもステレオカメラ側に近い外表面部分が存在する場合がある。このような場合、当該箇所との距離は正確に算出できても、当該対象物体との最短距離は把握できない。その結果、その算出距離に基づいて移動体の移動制御や物体検出処理などを行う場合に、適正な制御や処理を実現できないおそれがあるといった問題が生じた。
【００１３】
なお、上記問題は、対象物体が円柱形状である場合に限らず、互いに異なる地点を対応点として特定されるおそれがある形状のものであれば、同様に生じ得る問題である。
【００１４】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現可能な画像解析装置及びこれを用いた物体検出装置を提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明は、移動体に搭載された少なくとも２つの撮像部で当該移動体周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体までの距離を算出する画像解析装置において、上記撮像領域に向けて互いに異なる方向から非可視光を照射する複数の光照射手段と、各光照射手段の光照射時期が互いに重複しないように各光照射手段を制御する光照射制御手段と、各光照射時期に上記少なくとも２つの撮像部により複数の撮像画像を撮像し、当該非可視光の照射によって上記対象物体の外表面に生じる該非可視光の照射領域と非照射領域との境界線上の同一の地点を映し出す該複数の撮像画像上の対応点を光照射時期ごとにそれぞれ特定する対応点特定手段と、光照射時期ごとに、上記対応点特定手段が特定した対応点の当該複数の撮像画像上における位置の違いに基づいて上記対象物体の外表面上における上記同一地点までの距離を算出する距離算出手段とを有することを特徴とする。
【００１６】
本発明によれば、各光照射時期に一の光照射手段から非可視光が照射され、これにより、対象物体の外周面上には、当該非可視光が照射された照射領域と、その影となる非照射領域とが生じる。この照射領域と非照射領域との境界線は、輝度が大きく変化する地点であるので、その特徴により対応点として特定できる。照射領域と非照射領域との境界線上の地点に対応した撮像画像上の画像点を対応点として特定するので、上述したとおり、対象物体上の同一地点に適切に対応付けされた対応点が特定されることになる。よって、この対応点に対応した対象物体の外表面上の地点までの距離は、対象物体の形状が円柱形状などの距離の誤算出を生じやすい形状であっても、誤りなく算出することができる。
【００１７】
しかも、本発明では、互いに異なる方向から非可視光が照射される光照射時期が入れ替わり、これにより照射領域と非照射領域との境界線が位置する対象物体上の地点が変化する。すなわち、照射領域と非照射領域との境界線が、光照射時期ごとに、異なった地点に生じる。その結果、誤りのない距離の算出を、対象物体の外表面上の複数地点について行うことができる。よって、対象物体の外表面上の単一地点までの距離しか算出しない場合よりも、当該対象物体との実際の最短距離に、より近い距離を特定できる可能性が高まる。
【発明の効果】
【００１８】
本発明によれば、対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】（ａ）及び（ｂ）は、ステレオカメラを構成する２台のカメラでそれぞれ撮像した基準画像と比較画像を示す説明図である。
【図２】一般的な測距原理を示す説明図である。
【図３】円柱形状である対称物体をステレオカメラで撮影して測距処理したときに、誤った距離が算出される場合の説明図である。
【図４】実施形態に係る運転者支援システムの機能ブロック図である。
【図５】ステレオカメラのカメラ配置と対象物体との位置関係を例示した模式図である。
【図６】両光照射部をいずれも消灯させた状態で、円柱形状の対象物体をステレオカメラにより撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
【図７】第１光照射部のみから赤外光を照射した第１光照射期間において、円柱形状の対象物体をステレオカメラにより撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
【図８】第２光照射部のみから赤外光を照射した第２光照射期間において、円柱形状の対象物体をステレオカメラにより撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
【図９】第１視差画像及び第２視差画像から合成視差画像を得るときの説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明を、物体検出装置を含む運転者支援システムに適用した一実施形態について説明する。
図４は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された２つのカメラ（撮像部）からなるステレオカメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、一方のカメラの撮像画像データを基準画像メモリ１１に記憶し、他方のカメラの撮像画像データを比較画像メモリ１２に記憶する。なお、基準画像メモリ１１と比較画像メモリ１２は、それぞれ別個の記憶装置で構成されていてもよいし、単一の記憶装置の異なるメモリ領域で構成してもよい。本実施形態のステレオカメラ１０は、非可視光である赤外光領域に感度を有するカメラであり、各カメラで赤外画像を撮像する。ステレオカメラ１０の各カメラ１０Ａ，１０Ｂは、水平方向に同じ高さに配置され、エピポーラ線が一致するように配置されている。
【００２１】
図５は、ステレオカメラのカメラ配置と対象物体との位置関係を例示した模式図である。
ステレオカメラ１０を構成する各カメラ１０Ａ，１０Ｂは、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像できるものである。各カメラ１０Ａ，１０Ｂは、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。このステレオカメラ１０は、例えばルームミラー付近に取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラー又はその付近のフロントガラス若しくは車体内壁に取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００２２】
また、本実施形態では、光照射手段として、第１光照射部２１及び第２光照射部２２を備えている。これらの第１光照射部２１及び第２光照射部２２は、いずれも、ステレオカメラ１０の撮像領域に向けて赤外光を照射するものである。第１光照射部２１及び第２光照射部２２は、図５に示すように、２つのカメラ１０Ａ，１０Ｂを挟んだ両側に配置されている。言い換えると、カメラ１０Ａ，１０Ｂの間を結ぶ基線よりも外側の領域に、それぞれ配置されている。
【００２３】
本実施形態においては、ステレオカメラ１０の各カメラ１０Ａ，１０Ｂについては、ルームミラー付近に設置されるが、第１光照射部２１及び第２光照射部２２は自車両の左右のヘッドライト内にそれぞれ設置される。このように、本実施形態では、第１光照射部２１及び第２光照射部２２が、２つのカメラ１０Ａ，１０Ｂを挟んだ両側に配置されているが、撮像領域に向けて互いに異なる方向から赤外光を照射できる配置であれば、これに限らず、例えば、少なくとも一方の光照射部２１，２２が２つのカメラ１０Ａ，１０Ｂとの間に挟まれる領域に配置されてもよい。
【００２４】
本実施形態のステレオカメラ１０及び光照射部２１，２２の動作は、光照射制御手段として機能するカメラ制御部２０によって制御される。第１光照射部２１及び第２光照射部２２は、それぞれ独立して点灯、消灯を切り替えることが可能に構成されている。本実施形態では、カメラ制御部２０により、第１光照射部２１及び第２光照射部２２から赤外光が交互に照射されるように光照射の制御がなされる。
【００２５】
また、カメラ制御部２０は、第１光照射部２１及び第２光照射部２２の各光照射期間において、それぞれ、ステレオカメラ１０の各カメラ１０Ａ，１０Ｂで少なくとも１回の撮像動作が行われるように、ステレオカメラ１０の撮像動作を制御する。本実施形態では、カメラ１０Ａが撮像した撮像画像を基準画像とし、カメラ１０Ｂが撮像した撮像画像を比較画像とする。第１光照射部２１から赤外光が照射されている第１光照射期間中にカメラ１０Ａで撮像された撮像画像データは、第１基準画像データとして、基準画像メモリ１１に記憶され、同じく第１光照射期間中にカメラ１０Ｂで撮像された撮像画像データは、第１比較画像データとして、比較画像メモリ１２に記憶される。同様に、第２光照射部２２から赤外光が照射されている第２光照射期間中にカメラ１０Ａで撮像された撮像画像データは、第２基準画像データとして、基準画像メモリ１１に記憶され、同じく第２光照射期間中にカメラ１０Ｂで撮像された撮像画像データは、第２比較画像データとして、比較画像メモリ１２に記憶される。
【００２６】
このようにして、画像メモリ１１，１２に記憶された第１基準画像データ及び第１比較画像データ並びに第２基準画像データ及び第２比較画像データは、視差演算部１３に送られる。視差演算部１３は、まず、第１基準画像データ及び第１比較画像データに対し、公知のステレオマッチング処理を施して、第１視差画像データを生成する。同様に、第２基準画像データ及び第２比較画像データに対しても、公知のステレオマッチング処理を施して、第２視差画像データを生成する。
【００２７】
具体的には、基準画像及び比較画像において、同一地点に対応した画像点（対応点）をステレオマッチング処理により特定し、特定した各対応点について、基準画像及び比較画像間におけるズレ量を算出する。このズレ量が大きいほど、その対応点に対応した地点までの距離が近いことを意味する。視差演算部１３で生成される視差画像データは、各対応点についてのズレ量を、輝度や色の違いによって表現したものである。したがって、視差画像データに基づく視差画像を見れば、その輝度や色の違いから、撮像領域内の立体的配置を把握することができる。以下、第１光照射期間中の撮像画像から得た視差画像データを第１視差画像データとし、第２光照射期間中の撮像画像から得た視差画像データを第２視差画像データとする。
【００２８】
図６は、光照射部２１，２２をいずれも消灯させた状態で、円柱形状の対象物体Ｔをステレオカメラ１０により撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
図６の例において、本実施形態のステレオマッチング処理では、基準画像及び比較画像上の対応点が、円柱形状の対象物体Ｔを映し出す長方形状の画像領域の外縁上に設定される。そして、このように設定された対応点のズレ量を算出して得られる視差画像は、図６の下部に示すようなものとなる。なお、図６に示す視差画像は、ズレ量を画像濃度（輝度）の違いによって表現したものであり、対応点部分は、そのズレ量に応じた画像濃度で表現されている。なお、この視差画像では、遠い地点である背景部分や対応点が存在しない領域（対応点に囲まれた内部領域）は、画像濃度が高く（輝度が低く）表現されている。すなわち、この視差画像は、距離が近いほど画像濃度が低く（輝度が高く）表現される。
【００２９】
図６の例においては、基準画像上における長方形状の画像領域の外縁と、比較画像上における長方形状の画像領域の外縁とは、図６の上部に示す位置関係図に示すように、対象物体上の異なる地点に対応したものである。このように基準画像及び比較画像間の対応点が同一地点に対応していないので、そのズレ量から求められる距離は、誤ったものとなる。したがって、図６の下部に示した視差画像の対応点部分の画像濃度は、その対応点に対応した地点の距離を正確に表現したものではない。
【００３０】
図７は、第１光照射部２１のみから赤外光を照射した第１光照射期間において、円柱形状の対象物体Ｔをステレオカメラ１０により撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
図７の上部に示す位置関係図に示すように、第１光照射部２１からの赤外光が対象物体Ｔに対して照射されることで、対象物体Ｔ上には、赤外光が照射される照射領域とその影の部分である非照射領域とが形成される。この照射領域と非照射領域との境界Ｃ１では、赤外光の輝度が大きく変化するという特徴がある。この特徴により、本実施形態のステレオマッチング処理では、照射領域と非照射領域との境界Ｃ１上の地点に対応した画像点が対応点として特定される。その結果、ステレオマッチング処理によって、図７の下部に示す視差画像のように、対象物体Ｔの輪郭に対応した長方形画像領域の外縁に対応した対応点のほか、照射領域と非照射領域との境界Ｃ１に対応した対応点も特定される。
【００３１】
図８は、第２光照射部２２のみから赤外光を照射した第２光照射期間において、円柱形状の対象物体Ｔをステレオカメラ１０により撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
図８の上部に示す位置関係図に示すように、第２光照射部２２からの赤外光が対象物体Ｔに対して照射されることで、第１光照射期間のときと同様に、対象物体Ｔ上には、赤外光が照射される照射領域とその影の部分である非照射領域とが形成される。ただし、第２光照射部２２からの赤外光は、第１光照射部２１からの赤外光とは異なる方向から対象物体Ｔに対して照射されている。そのため、対象物体Ｔ上に形成される照射領域と非照射領域との境界Ｃ２は、第１光照射期間のときの境界Ｃ１の位置とは異なる位置に形成される。したがって、第２光照射期間についてのステレオマッチング処理では、図８の下部に示す視差画像のように、対象物体Ｔの輪郭に対応した長方形画像領域の外縁に対応した対応点のほか、第１光照射期間のときとは異なる位置に形成される照射領域と非照射領域との境界Ｃ２に対応した対応点も特定される。
【００３２】
照射領域と非照射領域との境界Ｃ１，Ｃ２に対応した対応点は、いずれも、対象物体Ｔ上の同一地点に対応付けされた適切な対応点であるので、第１視差画像データ及び第２視差画像データにおけるこれらの対応点の画像濃度（輝度）は、適正な距離を表したものとなる。
【００３３】
このようにして得られる第１視差画像データ及び第２視差画像データは、図９に示すように、画像合成部１４によって合成される。この画像合成部１４における合成処理により、第１視差画像データ及び第２視差画像データから、これらの視差画像中における境界Ｃ１に対応した対応点と境界Ｃ２に対応した対応点が適正な画像濃度で表示され、かつ、誤った距離に基づく画像濃度で表示されていた長方形画像領域の外縁を除去した、単一の合成視差画像が生成される。長方形画像領域の外縁の除去処理は、例えば、第１視差画像にも第２視差画像にも含まれる縦線を削除する処理、あるいは、両照射部２１，２２をいずれも消灯した状態のときに得られる線を削除する処理などを行えばよい。
【００３４】
このようにして得られた合成視差画像には間違った距離（画像濃度）を表示する対応点が含まれていないので、この合成視差画像データを後段の処理や制御で用いる際、適切な制御や処理を実現できる。例えば、合成視差画像データを参照すれば、対象物体の外表面上の複数地点までの距離を高精度に把握できるので、対象物体の外表面上の単一地点までの距離しか算出しない場合と比較して、対象物体の外表面形状を高い精度で推定することが可能となる。対象物体の外表面形状は、その対象物体がどんな物体であるのかを推定する材料として有効に利用できる。
【００３５】
よって、本実施形態では、この合成視差画像データを、物体検出部１５において撮像領域内に存在する対象物体の検出処理の精度向上に利用している。この物体検出部は、上述したステレオカメラから得た撮像画像データ又は別のカメラから得た撮像画像データの輝度情報や偏光情報などを解析して、公知の方法により、歩行者や電柱などの対象物体が撮像領域内に存在するかどうかを検出する。このとき、合成視差画像データから推定される対象物体の外表面形状を参考にすることで、撮像画像データの輝度情報や偏光情報だけで対象物体を検出する場合よりも、検出精度が向上する。
【００３６】
また、本実施形態のステレオカメラ１０及び光照射部２１，２２は、周囲には人間が存在する場面が多い自動車に搭載されるものである。そのため、光照射部２１，２２から可視光を照射すると、自車両の周囲に存在する人間の目を眩ましてしまうおそれがある。本実施形態では、光照射部２１，２２から照射される光が非可視光（赤外光）であるため、自車両の周囲に存在する人間の目を眩ましてしまうおそれがない。特に、自動車のようにヘッドライトやテールライトを除いて可視光を外部に照射する装置を取り付けてはいけない規則が存在するが、本実施形態によれば、自動車にも問題なく適用できる。
【００３７】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自動車等の移動体に搭載された少なくとも２つのカメラ１０Ａ，１０Ｂ等の撮像部で当該移動体周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体Ｔまでの距離を算出する画像解析装置において、上記撮像領域に向けて互いに異なる方向から非可視光を照射する複数の光照射部２１，２２等の光照射手段と、各光照射手段の光照射時期が互いに重複しないように各光照射手段を制御するカメラ制御部２０等の光照射制御手段と、各光照射時期に上記少なくとも２つの撮像部により複数の撮像画像を撮像し、当該非可視光の照射によって上記対象物体の外表面に生じる該非可視光の照射領域と非照射領域との境界線Ｃ１，Ｃ２上の同一の地点を映し出す該複数の撮像画像上の対応点を光照射時期ごとにそれぞれ特定する視差演算部１３等の対応点特定手段と、光照射時期ごとに、上記対応点特定手段が特定した対応点の当該複数の撮像画像上における位置の違いに基づいて上記対象物体の外表面上における上記同一地点までの距離を算出する視差演算部１３等の距離算出手段とを有することを特徴とするものである。
これによれば、対象物体の外表面上の複数地点について、誤りのない距離を算出することができるので、対象物体の外表面上の単一地点までの距離しか算出しない場合よりも、当該対象物体との実際の最短距離に、より近い距離を特定できる可能性が高まる。よって、対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現することが可能となる。
【００３８】
（態様Ｂ）
上記態様Ａにおいて、上記複数の光照射手段は、上記少なくとも２つの撮像部を挟んだ両側に配置される２つの光照射手段を含むことを特徴とする。
これによれば、各撮像部で撮像される撮像画像上に非可視光の照射領域と非照射領域との境界線が現れやすく、対象物体の外表面上の複数地点について誤りのない距離をより安定して算出できる。
【００３９】
（態様Ｃ）
上記態様Ａ又はＢにおいて、上記複数の光照射手段が照射する非可視光は赤外光であることを特徴とする。
これによれば、赤外光の特性を生かして距離の算出を行うことができる。
【００４０】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記距離算出手段が算出した各光照射時期についての上記同一地点までの距離から、上記対象物体の外表面形状を特定する物体検出部１５等の外表面形状特定手段を有することを特徴とする。
これによれば、対象物体の外表面上の複数地点までの距離を高精度に把握できる結果、対象物体の外表面上の単一地点までの距離しか算出しない場合と比較して、対象物体の外表面形状を高い精度で推定することが可能となる。対象物体の外表面形状は、その対象物体がどんな物体であるのかを推定する材料として有効に利用できる。よって、対象物体の検出精度の向上に寄与することができる。
【００４１】
（態様Ｅ）
撮像手段が撮像した撮像画像を解析する画像解析手段と、該画像解析手段の解析結果に基づいて撮像領域内に存在する対象物体の検出処理を行う物体検出処理手段とを有する物体検出装置において、上記画像解析手段として、上記態様Ｄの画像解析装置を用い、上記物体検出処理手段は、上記画像解析装置で特定された上記対象物体の外表面形状に基づいて、該対象物体の検出処理を行うことを特徴とする。
これによれば、物体の検出精度が高まる。
【符号の説明】
【００４２】
１０ ステレオカメラ
１０Ａ，１０Ｂ カメラ
１１ 基準画像メモリ
１２ 比較画像メモリ
１３ 視差演算部
１４ 画像合成部
１５ 物体検出部
２０ カメラ制御部
２１ 第１光照射部
２２ 第２光照射部
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開２００３−２８６３５号公報
【技術分野】
【０００１】
本発明は、自動車等の移動体から２以上の撮像部で当該移動体周囲の撮像領域を撮像し、これにより得られる複数の撮像画像から、撮像領域内に存在する対象物体の距離を算出する画像解析装置及びこれを用いた物体検出装置に関するものである。
【背景技術】
【０００２】
この種の画像解析装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの物体検出処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種物体（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）の種類や距離などを、精度よく検出することが重要である。
【０００３】
特許文献１には、水平方向に同じ高さで車両に搭載された２台のカメラにより対象物体の赤外線画像を撮影し、各カメラで撮影した２つの赤外線画像の視差を利用して、対象物体までの距離を算出する画像測距装置が開示されている。この画像測距装置では、２台のカメラの一方の画像を基準画像として、この基準画像の微小領域をマスク画像とし、もう一方の画像についてウィンドウを切り、その中でマスク画像を順次シフトしながら相関演算を行い、その相関度が最も高くなるシフト量を求める。そして、このシフト量である２つの画像の視差から、三角測量の原理により、微小領域の距離を算出する。そして、距離値が類似している微小領域毎に微小領域を分類して１つのグループとして認識し、認識されたグループの距離値を求め、その距離値を対象物体までの距離値とする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、視差を利用して対象物までの距離を算出する場合、その対象物の形状によっては、間違った距離を算出してしまう場合がある。以下、図面を参照して具体的に説明する。
図１（ａ）及び（ｂ）は、２台のカメラでそれぞれ撮像した各撮像画像を示す説明図である。
図１（ａ）及び（ｂ）に示す例では、まず、エピポーラ線が一致している一対のカメラ（横方向にきっちり並んで配置されている一対のカメラ）を用い、互いに異なる方向から同じ撮像領域を撮像し、これにより得られる２つの撮像画像のうちの一方（図１（ａ）に示す画像）を基準画像とし、他方（図１（ｂ）に示す画像）を比較画像とする。その後、基準画像内のある画像領域が比較画像内のどの画像領域に対応するかを検索する。例えば、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域を検索する際、縦方向位置は画像領域Ｗａの縦方向位置と同じ位置に固定したまま、横方向位置を変化させて、比較画像内を、Ｗｂ１→Ｗｂ２→Ｗｂ３…というように検索していく。そして、この検索を行いながら基準画像と比較画像との間の相関演算を行い、相関度が最も高くなる画像領域を検出して、撮像領域内の同一地点に対応する対応点を基準画像及び比較画像の両方で特定するステレオマッチング処理（対応点特定処理）を行う。
【０００５】
図２は、一般的な測距原理を示す説明図である。
ステレオマッチング処理により、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域Ｗｂ３が特定されたら、撮像領域内の同一地点に対応した各画像領域Ｗａ，Ｗｂ３上の対応点について基準画像と比較画像とのズレ量を求め、三角測量の原理を利用して、測定対象である当該同一地点までの距離を算出する。
【０００６】
このような測距原理に基づいて算出される距離は、基準画像上の対応点（ｘ，ｙ）と比較画像上の対応点（ｘ’，ｙ）とが、撮像領域内の同一地点に対応していることが前提となる。そのため、撮像領域内の異なる地点に対応した各画像上の点を対応点として特定される事態が生じると、算出される距離は誤ったものとなる。このような事態が発生しやすいケースとしては、例えば、対象物体の形状が円柱形状である場合が挙げられる。
【０００７】
図３は、円柱形状である対称物体をステレオカメラで撮影して測距処理したときに、誤った距離が算出される場合の説明図である。
図３の上部には、ステレオカメラと対象物体との位置関係を鉛直方向上方から見たときの様子を模式的に示し、図３の下部には、ステレオカメラで撮像される基準画像と比較画像を模式的に示している。
【０００８】
このケースの基準画像と比較画像に対してステレオマッチング処理を施すと、各画像上には、それぞれ、円柱を側面から見た画像部分が長方形の形で映し出される。この場合、ステレオマッチング処理では、各画像上の当該画像部分の特徴（形状等）が近似していることから、各画像上における当該画像部分の外縁（当該画像部分と背景画像との境界）上の各点がそれぞれ対応点であると処理される。例えば、図３下部に示す基準画像上の「○」で示す点と比較画像上の「○」で示す点とが、同一地点に対応した対応点であると処理される。
【０００９】
しかしながら、図３上部に示した位置関係図に示すように、各画像上における当該画像部分の外縁のうち水平方向両側に位置する外縁部分は、対象物体上の同一地点に対応していない。したがって、この対応点に基づいて距離を算出すると、誤った距離が算出されることになる。具体的には、本来の距離よりも短い距離が算出されてしまう。このように距離が誤算出されてしまうと、その算出距離に基づいて移動体の移動制御や物体検出処理などを行う場合に、適正や制御や処理を実現できないという不具合が生じる。
【００１０】
本発明者は、この不具合を解消するための方法を検討した。
対象物体が円柱形状である場合、従来の方法では、円柱形状を映し出した画像領域（長方形）の内部に特徴点を見出すことが困難であることから、当該画像領域の外縁上の点が対応点として特定される。しかしながら、基準画像及び比較画像上における当該画像領域の外縁は、対象物体の形状によっては同一地点に対応したものとはならないので、上述したように誤った距離を算出してしまう事態が発生する。
【００１１】
そこで、本発明者は、以下のような方法により、上記不具合を解消することを試みた。この方法では、撮像領域に向けて非可視光を照射する光照射手段を設け、この光照射手段から照射される非可視光によって対象物体の外表面上に影を作る。これにより、対象物体の外表面上には、非可視光が照射されている照射領域と、非可視光が照射されていない影の部分（非照射領域）とが生じる。このように、対象物体の外表面上に非可視光の照射領域と非照射領域とが生じれば、照射領域と非照射領域とは、その境界線を境に、非可視光の輝度が大きく異なっている。よって、その対象物体を映し出す画像領域中には、非可視光の輝度が高い照射領域に対応した高輝度領域と、非可視光の輝度が低い非照射領域に対応した低輝度領域とが現れ、これらの領域境界を特徴点として捉えることができる。このような特徴を有することから、照射領域と非照射領域との境界線上の地点に対応した画像点は、ステレオマッチング処理により対応点として特定される。この境界線は、実際の対象物体の外表面上に固定的に形成されるものであるため、その境界線上の地点に対応した画像点を対応点として特定することで、対象物体が円柱形状であっても、その対象物体上の同一地点に対応した対応点を特定できる。
【００１２】
ところが、このようにして誤り無く距離を算出できる場合でも、その距離は、対象物体の外表面上における一部の箇所（対応点に対応した地点すなわち上記境界線上の地点）との距離である。そのため、対象物体の外表面形状によっては、その対象物体の外表面上には当該箇所よりもステレオカメラ側に近い外表面部分が存在する場合がある。このような場合、当該箇所との距離は正確に算出できても、当該対象物体との最短距離は把握できない。その結果、その算出距離に基づいて移動体の移動制御や物体検出処理などを行う場合に、適正な制御や処理を実現できないおそれがあるといった問題が生じた。
【００１３】
なお、上記問題は、対象物体が円柱形状である場合に限らず、互いに異なる地点を対応点として特定されるおそれがある形状のものであれば、同様に生じ得る問題である。
【００１４】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現可能な画像解析装置及びこれを用いた物体検出装置を提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明は、移動体に搭載された少なくとも２つの撮像部で当該移動体周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体までの距離を算出する画像解析装置において、上記撮像領域に向けて互いに異なる方向から非可視光を照射する複数の光照射手段と、各光照射手段の光照射時期が互いに重複しないように各光照射手段を制御する光照射制御手段と、各光照射時期に上記少なくとも２つの撮像部により複数の撮像画像を撮像し、当該非可視光の照射によって上記対象物体の外表面に生じる該非可視光の照射領域と非照射領域との境界線上の同一の地点を映し出す該複数の撮像画像上の対応点を光照射時期ごとにそれぞれ特定する対応点特定手段と、光照射時期ごとに、上記対応点特定手段が特定した対応点の当該複数の撮像画像上における位置の違いに基づいて上記対象物体の外表面上における上記同一地点までの距離を算出する距離算出手段とを有することを特徴とする。
【００１６】
本発明によれば、各光照射時期に一の光照射手段から非可視光が照射され、これにより、対象物体の外周面上には、当該非可視光が照射された照射領域と、その影となる非照射領域とが生じる。この照射領域と非照射領域との境界線は、輝度が大きく変化する地点であるので、その特徴により対応点として特定できる。照射領域と非照射領域との境界線上の地点に対応した撮像画像上の画像点を対応点として特定するので、上述したとおり、対象物体上の同一地点に適切に対応付けされた対応点が特定されることになる。よって、この対応点に対応した対象物体の外表面上の地点までの距離は、対象物体の形状が円柱形状などの距離の誤算出を生じやすい形状であっても、誤りなく算出することができる。
【００１７】
しかも、本発明では、互いに異なる方向から非可視光が照射される光照射時期が入れ替わり、これにより照射領域と非照射領域との境界線が位置する対象物体上の地点が変化する。すなわち、照射領域と非照射領域との境界線が、光照射時期ごとに、異なった地点に生じる。その結果、誤りのない距離の算出を、対象物体の外表面上の複数地点について行うことができる。よって、対象物体の外表面上の単一地点までの距離しか算出しない場合よりも、当該対象物体との実際の最短距離に、より近い距離を特定できる可能性が高まる。
【発明の効果】
【００１８】
本発明によれば、対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】（ａ）及び（ｂ）は、ステレオカメラを構成する２台のカメラでそれぞれ撮像した基準画像と比較画像を示す説明図である。
【図２】一般的な測距原理を示す説明図である。
【図３】円柱形状である対称物体をステレオカメラで撮影して測距処理したときに、誤った距離が算出される場合の説明図である。
【図４】実施形態に係る運転者支援システムの機能ブロック図である。
【図５】ステレオカメラのカメラ配置と対象物体との位置関係を例示した模式図である。
【図６】両光照射部をいずれも消灯させた状態で、円柱形状の対象物体をステレオカメラにより撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
【図７】第１光照射部のみから赤外光を照射した第１光照射期間において、円柱形状の対象物体をステレオカメラにより撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
【図８】第２光照射部のみから赤外光を照射した第２光照射期間において、円柱形状の対象物体をステレオカメラにより撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
【図９】第１視差画像及び第２視差画像から合成視差画像を得るときの説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明を、物体検出装置を含む運転者支援システムに適用した一実施形態について説明する。
図４は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された２つのカメラ（撮像部）からなるステレオカメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、一方のカメラの撮像画像データを基準画像メモリ１１に記憶し、他方のカメラの撮像画像データを比較画像メモリ１２に記憶する。なお、基準画像メモリ１１と比較画像メモリ１２は、それぞれ別個の記憶装置で構成されていてもよいし、単一の記憶装置の異なるメモリ領域で構成してもよい。本実施形態のステレオカメラ１０は、非可視光である赤外光領域に感度を有するカメラであり、各カメラで赤外画像を撮像する。ステレオカメラ１０の各カメラ１０Ａ，１０Ｂは、水平方向に同じ高さに配置され、エピポーラ線が一致するように配置されている。
【００２１】
図５は、ステレオカメラのカメラ配置と対象物体との位置関係を例示した模式図である。
ステレオカメラ１０を構成する各カメラ１０Ａ，１０Ｂは、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像できるものである。各カメラ１０Ａ，１０Ｂは、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。このステレオカメラ１０は、例えばルームミラー付近に取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラー又はその付近のフロントガラス若しくは車体内壁に取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００２２】
また、本実施形態では、光照射手段として、第１光照射部２１及び第２光照射部２２を備えている。これらの第１光照射部２１及び第２光照射部２２は、いずれも、ステレオカメラ１０の撮像領域に向けて赤外光を照射するものである。第１光照射部２１及び第２光照射部２２は、図５に示すように、２つのカメラ１０Ａ，１０Ｂを挟んだ両側に配置されている。言い換えると、カメラ１０Ａ，１０Ｂの間を結ぶ基線よりも外側の領域に、それぞれ配置されている。
【００２３】
本実施形態においては、ステレオカメラ１０の各カメラ１０Ａ，１０Ｂについては、ルームミラー付近に設置されるが、第１光照射部２１及び第２光照射部２２は自車両の左右のヘッドライト内にそれぞれ設置される。このように、本実施形態では、第１光照射部２１及び第２光照射部２２が、２つのカメラ１０Ａ，１０Ｂを挟んだ両側に配置されているが、撮像領域に向けて互いに異なる方向から赤外光を照射できる配置であれば、これに限らず、例えば、少なくとも一方の光照射部２１，２２が２つのカメラ１０Ａ，１０Ｂとの間に挟まれる領域に配置されてもよい。
【００２４】
本実施形態のステレオカメラ１０及び光照射部２１，２２の動作は、光照射制御手段として機能するカメラ制御部２０によって制御される。第１光照射部２１及び第２光照射部２２は、それぞれ独立して点灯、消灯を切り替えることが可能に構成されている。本実施形態では、カメラ制御部２０により、第１光照射部２１及び第２光照射部２２から赤外光が交互に照射されるように光照射の制御がなされる。
【００２５】
また、カメラ制御部２０は、第１光照射部２１及び第２光照射部２２の各光照射期間において、それぞれ、ステレオカメラ１０の各カメラ１０Ａ，１０Ｂで少なくとも１回の撮像動作が行われるように、ステレオカメラ１０の撮像動作を制御する。本実施形態では、カメラ１０Ａが撮像した撮像画像を基準画像とし、カメラ１０Ｂが撮像した撮像画像を比較画像とする。第１光照射部２１から赤外光が照射されている第１光照射期間中にカメラ１０Ａで撮像された撮像画像データは、第１基準画像データとして、基準画像メモリ１１に記憶され、同じく第１光照射期間中にカメラ１０Ｂで撮像された撮像画像データは、第１比較画像データとして、比較画像メモリ１２に記憶される。同様に、第２光照射部２２から赤外光が照射されている第２光照射期間中にカメラ１０Ａで撮像された撮像画像データは、第２基準画像データとして、基準画像メモリ１１に記憶され、同じく第２光照射期間中にカメラ１０Ｂで撮像された撮像画像データは、第２比較画像データとして、比較画像メモリ１２に記憶される。
【００２６】
このようにして、画像メモリ１１，１２に記憶された第１基準画像データ及び第１比較画像データ並びに第２基準画像データ及び第２比較画像データは、視差演算部１３に送られる。視差演算部１３は、まず、第１基準画像データ及び第１比較画像データに対し、公知のステレオマッチング処理を施して、第１視差画像データを生成する。同様に、第２基準画像データ及び第２比較画像データに対しても、公知のステレオマッチング処理を施して、第２視差画像データを生成する。
【００２７】
具体的には、基準画像及び比較画像において、同一地点に対応した画像点（対応点）をステレオマッチング処理により特定し、特定した各対応点について、基準画像及び比較画像間におけるズレ量を算出する。このズレ量が大きいほど、その対応点に対応した地点までの距離が近いことを意味する。視差演算部１３で生成される視差画像データは、各対応点についてのズレ量を、輝度や色の違いによって表現したものである。したがって、視差画像データに基づく視差画像を見れば、その輝度や色の違いから、撮像領域内の立体的配置を把握することができる。以下、第１光照射期間中の撮像画像から得た視差画像データを第１視差画像データとし、第２光照射期間中の撮像画像から得た視差画像データを第２視差画像データとする。
【００２８】
図６は、光照射部２１，２２をいずれも消灯させた状態で、円柱形状の対象物体Ｔをステレオカメラ１０により撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
図６の例において、本実施形態のステレオマッチング処理では、基準画像及び比較画像上の対応点が、円柱形状の対象物体Ｔを映し出す長方形状の画像領域の外縁上に設定される。そして、このように設定された対応点のズレ量を算出して得られる視差画像は、図６の下部に示すようなものとなる。なお、図６に示す視差画像は、ズレ量を画像濃度（輝度）の違いによって表現したものであり、対応点部分は、そのズレ量に応じた画像濃度で表現されている。なお、この視差画像では、遠い地点である背景部分や対応点が存在しない領域（対応点に囲まれた内部領域）は、画像濃度が高く（輝度が低く）表現されている。すなわち、この視差画像は、距離が近いほど画像濃度が低く（輝度が高く）表現される。
【００２９】
図６の例においては、基準画像上における長方形状の画像領域の外縁と、比較画像上における長方形状の画像領域の外縁とは、図６の上部に示す位置関係図に示すように、対象物体上の異なる地点に対応したものである。このように基準画像及び比較画像間の対応点が同一地点に対応していないので、そのズレ量から求められる距離は、誤ったものとなる。したがって、図６の下部に示した視差画像の対応点部分の画像濃度は、その対応点に対応した地点の距離を正確に表現したものではない。
【００３０】
図７は、第１光照射部２１のみから赤外光を照射した第１光照射期間において、円柱形状の対象物体Ｔをステレオカメラ１０により撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
図７の上部に示す位置関係図に示すように、第１光照射部２１からの赤外光が対象物体Ｔに対して照射されることで、対象物体Ｔ上には、赤外光が照射される照射領域とその影の部分である非照射領域とが形成される。この照射領域と非照射領域との境界Ｃ１では、赤外光の輝度が大きく変化するという特徴がある。この特徴により、本実施形態のステレオマッチング処理では、照射領域と非照射領域との境界Ｃ１上の地点に対応した画像点が対応点として特定される。その結果、ステレオマッチング処理によって、図７の下部に示す視差画像のように、対象物体Ｔの輪郭に対応した長方形画像領域の外縁に対応した対応点のほか、照射領域と非照射領域との境界Ｃ１に対応した対応点も特定される。
【００３１】
図８は、第２光照射部２２のみから赤外光を照射した第２光照射期間において、円柱形状の対象物体Ｔをステレオカメラ１０により撮像したときの基準画像及び比較画像並びにこれから得られる視差画像を示す説明図である。
図８の上部に示す位置関係図に示すように、第２光照射部２２からの赤外光が対象物体Ｔに対して照射されることで、第１光照射期間のときと同様に、対象物体Ｔ上には、赤外光が照射される照射領域とその影の部分である非照射領域とが形成される。ただし、第２光照射部２２からの赤外光は、第１光照射部２１からの赤外光とは異なる方向から対象物体Ｔに対して照射されている。そのため、対象物体Ｔ上に形成される照射領域と非照射領域との境界Ｃ２は、第１光照射期間のときの境界Ｃ１の位置とは異なる位置に形成される。したがって、第２光照射期間についてのステレオマッチング処理では、図８の下部に示す視差画像のように、対象物体Ｔの輪郭に対応した長方形画像領域の外縁に対応した対応点のほか、第１光照射期間のときとは異なる位置に形成される照射領域と非照射領域との境界Ｃ２に対応した対応点も特定される。
【００３２】
照射領域と非照射領域との境界Ｃ１，Ｃ２に対応した対応点は、いずれも、対象物体Ｔ上の同一地点に対応付けされた適切な対応点であるので、第１視差画像データ及び第２視差画像データにおけるこれらの対応点の画像濃度（輝度）は、適正な距離を表したものとなる。
【００３３】
このようにして得られる第１視差画像データ及び第２視差画像データは、図９に示すように、画像合成部１４によって合成される。この画像合成部１４における合成処理により、第１視差画像データ及び第２視差画像データから、これらの視差画像中における境界Ｃ１に対応した対応点と境界Ｃ２に対応した対応点が適正な画像濃度で表示され、かつ、誤った距離に基づく画像濃度で表示されていた長方形画像領域の外縁を除去した、単一の合成視差画像が生成される。長方形画像領域の外縁の除去処理は、例えば、第１視差画像にも第２視差画像にも含まれる縦線を削除する処理、あるいは、両照射部２１，２２をいずれも消灯した状態のときに得られる線を削除する処理などを行えばよい。
【００３４】
このようにして得られた合成視差画像には間違った距離（画像濃度）を表示する対応点が含まれていないので、この合成視差画像データを後段の処理や制御で用いる際、適切な制御や処理を実現できる。例えば、合成視差画像データを参照すれば、対象物体の外表面上の複数地点までの距離を高精度に把握できるので、対象物体の外表面上の単一地点までの距離しか算出しない場合と比較して、対象物体の外表面形状を高い精度で推定することが可能となる。対象物体の外表面形状は、その対象物体がどんな物体であるのかを推定する材料として有効に利用できる。
【００３５】
よって、本実施形態では、この合成視差画像データを、物体検出部１５において撮像領域内に存在する対象物体の検出処理の精度向上に利用している。この物体検出部は、上述したステレオカメラから得た撮像画像データ又は別のカメラから得た撮像画像データの輝度情報や偏光情報などを解析して、公知の方法により、歩行者や電柱などの対象物体が撮像領域内に存在するかどうかを検出する。このとき、合成視差画像データから推定される対象物体の外表面形状を参考にすることで、撮像画像データの輝度情報や偏光情報だけで対象物体を検出する場合よりも、検出精度が向上する。
【００３６】
また、本実施形態のステレオカメラ１０及び光照射部２１，２２は、周囲には人間が存在する場面が多い自動車に搭載されるものである。そのため、光照射部２１，２２から可視光を照射すると、自車両の周囲に存在する人間の目を眩ましてしまうおそれがある。本実施形態では、光照射部２１，２２から照射される光が非可視光（赤外光）であるため、自車両の周囲に存在する人間の目を眩ましてしまうおそれがない。特に、自動車のようにヘッドライトやテールライトを除いて可視光を外部に照射する装置を取り付けてはいけない規則が存在するが、本実施形態によれば、自動車にも問題なく適用できる。
【００３７】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自動車等の移動体に搭載された少なくとも２つのカメラ１０Ａ，１０Ｂ等の撮像部で当該移動体周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体Ｔまでの距離を算出する画像解析装置において、上記撮像領域に向けて互いに異なる方向から非可視光を照射する複数の光照射部２１，２２等の光照射手段と、各光照射手段の光照射時期が互いに重複しないように各光照射手段を制御するカメラ制御部２０等の光照射制御手段と、各光照射時期に上記少なくとも２つの撮像部により複数の撮像画像を撮像し、当該非可視光の照射によって上記対象物体の外表面に生じる該非可視光の照射領域と非照射領域との境界線Ｃ１，Ｃ２上の同一の地点を映し出す該複数の撮像画像上の対応点を光照射時期ごとにそれぞれ特定する視差演算部１３等の対応点特定手段と、光照射時期ごとに、上記対応点特定手段が特定した対応点の当該複数の撮像画像上における位置の違いに基づいて上記対象物体の外表面上における上記同一地点までの距離を算出する視差演算部１３等の距離算出手段とを有することを特徴とするものである。
これによれば、対象物体の外表面上の複数地点について、誤りのない距離を算出することができるので、対象物体の外表面上の単一地点までの距離しか算出しない場合よりも、当該対象物体との実際の最短距離に、より近い距離を特定できる可能性が高まる。よって、対象物体上の外表面形状によらず、対象物体までの距離を利用した適正な制御や処理を実現することが可能となる。
【００３８】
（態様Ｂ）
上記態様Ａにおいて、上記複数の光照射手段は、上記少なくとも２つの撮像部を挟んだ両側に配置される２つの光照射手段を含むことを特徴とする。
これによれば、各撮像部で撮像される撮像画像上に非可視光の照射領域と非照射領域との境界線が現れやすく、対象物体の外表面上の複数地点について誤りのない距離をより安定して算出できる。
【００３９】
（態様Ｃ）
上記態様Ａ又はＢにおいて、上記複数の光照射手段が照射する非可視光は赤外光であることを特徴とする。
これによれば、赤外光の特性を生かして距離の算出を行うことができる。
【００４０】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記距離算出手段が算出した各光照射時期についての上記同一地点までの距離から、上記対象物体の外表面形状を特定する物体検出部１５等の外表面形状特定手段を有することを特徴とする。
これによれば、対象物体の外表面上の複数地点までの距離を高精度に把握できる結果、対象物体の外表面上の単一地点までの距離しか算出しない場合と比較して、対象物体の外表面形状を高い精度で推定することが可能となる。対象物体の外表面形状は、その対象物体がどんな物体であるのかを推定する材料として有効に利用できる。よって、対象物体の検出精度の向上に寄与することができる。
【００４１】
（態様Ｅ）
撮像手段が撮像した撮像画像を解析する画像解析手段と、該画像解析手段の解析結果に基づいて撮像領域内に存在する対象物体の検出処理を行う物体検出処理手段とを有する物体検出装置において、上記画像解析手段として、上記態様Ｄの画像解析装置を用い、上記物体検出処理手段は、上記画像解析装置で特定された上記対象物体の外表面形状に基づいて、該対象物体の検出処理を行うことを特徴とする。
これによれば、物体の検出精度が高まる。
【符号の説明】
【００４２】
１０ ステレオカメラ
１０Ａ，１０Ｂ カメラ
１１ 基準画像メモリ
１２ 比較画像メモリ
１３ 視差演算部
１４ 画像合成部
１５ 物体検出部
２０ カメラ制御部
２１ 第１光照射部
２２ 第２光照射部
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開２００３−２８６３５号公報
【特許請求の範囲】
【請求項１】
移動体に搭載された少なくとも２つの撮像部で当該移動体周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体までの距離を算出する画像解析装置において、
上記撮像領域に向けて互いに異なる方向から非可視光を照射する複数の光照射手段と、
各光照射手段の光照射時期が互いに重複しないように各光照射手段を制御する光照射制御手段と、
各光照射時期に上記少なくとも２つの撮像部により複数の撮像画像を撮像し、当該非可視光の照射によって上記対象物体の外表面に生じる該非可視光の照射領域と非照射領域との境界線上の同一の地点を映し出す該複数の撮像画像上の対応点を光照射時期ごとにそれぞれ特定する対応点特定手段と、
光照射時期ごとに、上記対応点特定手段が特定した対応点の当該複数の撮像画像上における位置の違いに基づいて上記対象物体の外表面上における上記同一地点までの距離を算出する距離算出手段とを有することを特徴とする画像解析装置。
【請求項２】
請求項１の画像解析装置において、
上記複数の光照射手段は、上記少なくとも２つの撮像部を挟んだ両側に配置される２つの光照射手段を含むことを特徴とする画像解析装置。
【請求項３】
請求項１又は２の画像解析装置において、
上記複数の光照射手段が照射する非可視光は赤外光であることを特徴とする画像解析装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像解析装置において、
上記距離算出手段が算出した各光照射時期についての上記同一地点までの距離から、上記対象物体の外表面形状を特定する外表面形状特定手段を有することを特徴とする画像解析装置。
【請求項５】
撮像手段が撮像した撮像画像を解析する画像解析手段と、該画像解析手段の解析結果に基づいて撮像領域内に存在する対象物体の検出処理を行う物体検出処理手段とを有する物体検出装置において、
上記画像解析手段として、請求項４の画像解析装置を用い、
上記物体検出処理手段は、上記画像解析装置で特定された上記対象物体の外表面形状に基づいて、該対象物体の検出処理を行うことを特徴とする物体検出装置。
【請求項１】
移動体に搭載された少なくとも２つの撮像部で当該移動体周囲の撮像領域を撮像して得られる複数の撮像画像を解析して対象物体までの距離を算出する画像解析装置において、
上記撮像領域に向けて互いに異なる方向から非可視光を照射する複数の光照射手段と、
各光照射手段の光照射時期が互いに重複しないように各光照射手段を制御する光照射制御手段と、
各光照射時期に上記少なくとも２つの撮像部により複数の撮像画像を撮像し、当該非可視光の照射によって上記対象物体の外表面に生じる該非可視光の照射領域と非照射領域との境界線上の同一の地点を映し出す該複数の撮像画像上の対応点を光照射時期ごとにそれぞれ特定する対応点特定手段と、
光照射時期ごとに、上記対応点特定手段が特定した対応点の当該複数の撮像画像上における位置の違いに基づいて上記対象物体の外表面上における上記同一地点までの距離を算出する距離算出手段とを有することを特徴とする画像解析装置。
【請求項２】
請求項１の画像解析装置において、
上記複数の光照射手段は、上記少なくとも２つの撮像部を挟んだ両側に配置される２つの光照射手段を含むことを特徴とする画像解析装置。
【請求項３】
請求項１又は２の画像解析装置において、
上記複数の光照射手段が照射する非可視光は赤外光であることを特徴とする画像解析装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像解析装置において、
上記距離算出手段が算出した各光照射時期についての上記同一地点までの距離から、上記対象物体の外表面形状を特定する外表面形状特定手段を有することを特徴とする画像解析装置。
【請求項５】
撮像手段が撮像した撮像画像を解析する画像解析手段と、該画像解析手段の解析結果に基づいて撮像領域内に存在する対象物体の検出処理を行う物体検出処理手段とを有する物体検出装置において、
上記画像解析手段として、請求項４の画像解析装置を用い、
上記物体検出処理手段は、上記画像解析装置で特定された上記対象物体の外表面形状に基づいて、該対象物体の検出処理を行うことを特徴とする物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１０８９４８（Ｐ２０１３−１０８９４８Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６３７９（Ｐ２０１１−２５６３７９）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]