画像処理装置、車両
【課題】コスト低減が可能な、ステレオカメラを用いた画像処理装置を提供する。
【解決手段】複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置１００であって、車載されたセンサと、センサの検出信号を組み合わせて車両状況を判定し、車両状況に基づき画像処理対象の画像データを運転支援用のステレオカメラが撮影した画像データからドア開閉支援用のステレオカメラが撮影した画像データに切り替える状況判断・画像選択手段１１と、状況判断・画像選択手段によって選択された画像データに、相関演算部が複数のステレオカメラに共通の相関演算処理を行うことを可能にする前処理手段１２と、１つのステレオカメラが撮影した２つの画像データに相関演算を施す相関演算手段１３と、相関演算手段の演算結果を用いて対象物までの距離を検出する距離検出手段１４と、を有する。
【解決手段】複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置１００であって、車載されたセンサと、センサの検出信号を組み合わせて車両状況を判定し、車両状況に基づき画像処理対象の画像データを運転支援用のステレオカメラが撮影した画像データからドア開閉支援用のステレオカメラが撮影した画像データに切り替える状況判断・画像選択手段１１と、状況判断・画像選択手段によって選択された画像データに、相関演算部が複数のステレオカメラに共通の相関演算処理を行うことを可能にする前処理手段１２と、１つのステレオカメラが撮影した２つの画像データに相関演算を施す相関演算手段１３と、相関演算手段の演算結果を用いて対象物までの距離を検出する距離検出手段１４と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置に関する。
【背景技術】
【０００２】
自動車を運転する運転者を支援する種々の運転支援システムが車両に搭載されるようになってきた。運転支援システムは、例えば、車の前方に設置したカメラによって車両前方を監視し、歩行者、他車両、障害物等との距離を測定し、それらに衝突する危険性がある場合は、運転者に報知したり、車両のブレーキを作動させて減速させたり停止させたりすることができる。このような運転支援システムは総称してＡＳＶ（Advanced Safety Vehicle；先進安全自動車）装置と呼ばれる。
【０００３】
また、駐車時にドアやトランクの開閉に十分なスペースを残しているかを車の搭乗者に知らせたり、車の乗り降りの際に後方から車や自転車、歩行者が接近していることを警告する、ドア開閉支援システムも知られている。
【０００４】
これらのシステムを実現するためには、車から対象物までの距離を高精度に測定することが必要である。距離を精度よく算出する方法として、測定したい対象物を、二つ以上の設置位置の異なるカメラ（複眼カメラ（以下ステレオカメラと呼ぶ））で撮像し、センサ上の結像位置の違い（視差）によって距離を算出する方法が知られている。ステレオカメラによる位置検出装置は、レーダやミリ波等による計測（照射範囲が限られる、他のレーダやミリ波と干渉するおそれがある）と異なり、一度の撮影で広い範囲の距離情報及び形状等が得られるという利点から、車だけではなく、ロボット、監視カメラ等にも使用されている。
【０００５】
多様な運転支援システム及びドア開閉支援システムを実現するためには複数のステレオカメラが必要である。しかし、複数のステレオカメラを使用したシステムは、制御が複雑になるばかりでなく高価なものとなってしまう。そこで、複数のステレオカメラの画像を状況に応じて選択し、ステレオマッチングや距離情報生成部を共通化する事でコストを低減することが考えられる（例えば、特許文献１参照。）。特許文献１には、複数のステレオカメラの選択を時分割によって行い、ステレオマッチングや距離情報生成部を共通化するステレオ式車外監視装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のステレオカメラの選択を時分割で行う方法では、処理負荷が増大するため処理能力の高い演算装置や画像処理のための多くのメモリが必要になるという問題がある。
【０００７】
例えば、複数のステレオカメラが搭載される場合、焦点距離や画角、歪みの異なる複数のステレオカメラが使用される可能性が高い。すなわち、遠方測距を目的として設置されるカメラと近距離測距を目的として設置されるカメラでは異なるレンズを使用する。このため、ステレオカメラシステムが、高精度の測距を行うためにはそれぞれのステレオカメラの画像を選択するだけではなく、相関演算する前に、個々のカメラの焦点距離、画角、歪みに応じた補正を行うなどの画像処理の必要が生じる。したがって、時分割で選択されたステレオカメラの画像に対してこの補正のための画像処理を高速で行うために、処理能力の高い演算装置や画像処理のための多くのメモリが必要になる。
【０００８】
本発明は、コスト低減が可能な、ステレオカメラを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置であって、車載されたセンサと、前記センサの検出信号を組み合わせて車両状況を判定し、前記車両状況に基づき画像処理対象の画像データを運転支援用のステレオカメラが撮影した画像データからドア開閉支援用のステレオカメラが撮影した画像データに切り替える状況判断・画像選択手段と、前記状況判断・画像選択手段によって選択された画像データに、複数のステレオカメラのそれぞれに特有の歪み補正を行い、相関演算部が複数のステレオカメラに共通の相関演算処理を行うことを可能にする前処理手段と、１つのステレオカメラが撮影した２つの画像データに相関演算を施す相関演算手段と、前記相関演算手段の演算結果を用いて対象物までの距離を検出する距離検出手段と、を有することを特徴とする。
【発明の効果】
【００１０】
コスト低減が可能な、ステレオカメラを用いた画像処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】ステレオカメラシステムの概略を説明する図の一例である。
【図２】３つのステレオカメラの搭載位置を模式的に示す図の一例である。
【図３】ステレオカメラシステムのハードウェア構成図の一例である。
【図４】ステレオカメラシステムの機能ブロック図の一例である。
【図５】平行配置したステレオカメラによる距離計測の原理を説明するための図である。
【図６】状況判断に基づく画像の選択例を説明する図の一例である。
【図７】ブレーキセンサからの信号処理と、ブレーキ頻度を説明する図の一例である。
【図８】車両を前方に進行させて駐車する場合の周囲の車の向きと、自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。
【図９】渋滞中の周囲の車の向きと自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。
【図１０】車両が前進して駐車するのか、走行中なのかを判断する手順の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態のステレオカメラシステムの概略を説明する図の一例である。車両には複数のステレオカメラ１〜３が搭載されている。ステレオカメラ１〜３はそれぞれ同一方向又は異なる方向を撮影するように車両に固定されている。
【００１３】
また、車両には各種のセンサが搭載されている。各種のセンサの検出結果により、ステレオカメラシステムは車両の状況を判定する。そして判定結果に応じて以下の３つの支援のいずれを行うかを決定する。
１．運転支援
２．駐車支援
３．ドア開閉支援
そして、ステレオカメラシステム（図の状況判断・画像選択部１１）は、行う支援の態様により、３つのステレオカメラ１〜３が撮影された画像のうちどの画像を画像処理部（後述する前処理部１２以降）に出力するかを決定する。そして、画像処理部は、処理の態様に応じて、複数のステレオカメラのそれぞれに特有の歪み補正を行う。これにより、状況判断・画像選択部１１で選択されたステレオカメラの画像に共通の相関演算を施すことができるようになる。したがって、複数のステレオカメラに共通の相関演算処理を行うことで、演算装置や画像処理の処理負荷を低減することができる。
【００１４】
各支援について簡単に説明する。
１．運転支援
先行車両などの障害物との距離を検出し、警告や自動制動を行うことで安全性を向上する支援、白線（走行レーンを区切る線や点、小突起、反射物体などの路面標示）や路肩を検出し、走行レーンからの車両の逸脱を防止する支援、などが相当する。駐車支援又はドア開閉支援以外の支援は運転支援に含まれる。主に車両の前方を撮影するステレオカメラが使用されるが、支援の内容によって種々のステレオカメラが使用される。
２．駐車支援
車両が停止した後、ドアから対象物（壁や車の側面）までの距離、それらの面の傾き、面の方向などを検出し、再度の駐車を促す支援などが相当する。主に、車両の前方、車両の側方を撮影するステレオカメラが使用される。
前方から駐車すると判定された場合、ステレオカメラシステムは、ステレオカメラ１と、２又は３（右折駐車か左折駐車かにより選択）とが交互に使用されるモードになる、また、表示装置（図示せず）に駐車位置の目安となる白線を表示するモードになる、などの支援を行う。
３．ドア開閉支援
車両が駐車した後、ドアを開放してよいか否かの判断、開放してよい場合は開放可能なドアの開度を制限する支援などが相当する。主に、車両の側方を撮影するステレオカメラが使用される。
【００１５】
〔構成例〕
＜ステレオカメラの搭載例＞
図２は、３つのステレオカメラの搭載位置を模式的に示す図の一例である。ステレオカメラ１は前方に、ステレオカメラ２は運転席から見て左側方に、ステレオカメラ３は右側方に、それぞれ配置されている。ステレオカメラ１は、室内ルームミラーや車両前部バンパに、車両前方のやや水平下向きに光軸を向けて配置される。ステレオカメラ２は、例えば、右ドアミラー、車両右側面のドアノブ設置部分の窪み、ドアウィンドウのフレーム、Ａピラー５１、Ｂピラー５２又はＣピラー５３などに、車両右側方、車両右側方よりもやや後方又は車両右側方よりもやや前方に光軸を向けて配置される。ステレオカメラ３は、例えば、左ドアミラー、車両左側面のドアノブ設置部分の窪み、ドアウィンドウのフレーム、Ａピラー５１、Ｂピラー５２又はＣピラー５３などに、車両左側方、車両左側方よりもやや後方又は車両左側方よりもやや前方に光軸を向けて配置される。
【００１６】
ステレオカメラ１は運転支援用兼駐車支援用、ステレオカメラ２，３は駐車支援、ドア開閉支援用であるが、後述するように画角によってカバーできる範囲が広がるので、支援と使用されるステレオカメラの関係は一定とは限らない。支援とステレオカメラの配置の関係は一例にすぎない。
【００１７】
この他、バックガイドモニタ用のステレオカメラが後部ナンバープレートの周辺や、後部バンパなどに搭載されてもよい。すなわち、ステレオカメラの使用個数は４つ以上でもよい。レンズの画角、焦点距離、ズーム機能などの光学的特性は、ステレオカメラ内の２つのカメラで同等であればよく、各ステレオカメラ１〜３はどのような光学的特性を有していてもよい。すなわち、魚眼のような広画角のレンズや、狭角のレンズなど異なる光学特性のステレオカメラをステレオカメラ１〜３に適用できる。
【００１８】
ステレオカメラ１は、主に、車両前方の歩行者との距離、先行車両との距離、その他の地物（標識、信号機、電柱、ガードレール等）や障害物との距離を測定するために用いられる。ステレオカメラ１の輝度画像を用いて、対象物との距離以外の画像処理（例えば、白線認識、歩行者認識等）を行ってもよい。
【００１９】
また、駐車支援用のステレオカメラ１として用いられる場合、例えば、２つの車両や壁に挟まれた駐車スペースに自車両が入る間隔があるか否かを判定するため、空間の幅を検出する。
【００２０】
ステレオカメラ１は、測距範囲や撮影範囲の異なる複数のステレオカメラを同じ向きに設置し、状況に応じて使いわけてもよい。この場合、各ステレオカメラ１〜３は、異なる画角、焦点距離の２つ以上のカメラを有している。
【００２１】
また、複数のステレオカメラ１を異なる向きに設置してもよい。異なる向きの設置例として、前方の対象物の距離を認識するために前方に設置する以外に、車両の全周囲を監視するように設置する、後続車との距離を認識するために後方に設置する、などが考えられる。
【００２２】
ステレオカメラ２，３は、運転者や搭乗者がドアの開閉をする際に、周囲から近づいてくる人や物を認識するために用いられる。なお、搭乗者とは運転者以外の乗員をいい、運転者と搭乗者を区別しない場合単に乗員という。
【００２３】
ステレオカメラ２，３は、駐車場などで、隣の他車両との距離を測定し、駐車中に後側方から接近する自転車、バイク、及び、歩行者との距離を測定する。このように、距離を測定する対象物の方向がやや異なるので、ステレオカメラ２，３には広角レンズを使用したステレオカメラを用いてもよい。ステレオカメラ２，３では、ドアの開閉が可能かどうかを正確に判断するとともに、ドアの開閉のタイミングを判断するため、画角によって歪み補正精度を変えることで一つのレンズで二つの目的を達成することができる。例えば、狭角の範囲は高精度に歪みを補正し、広角の範囲は物体検知及び検出物体の速度算出をおこなえる程度の精度で歪みを補正するような歪み補正方法が搭載される。
【００２４】
ステレオカメラ１〜３以外に、乗員検知システムや、乗員認識システムを搭載してもよい。例えば乗員検知カメラを用いた場合、乗員検知カメラは、乗員（権限のない侵入者を含む）を検知し、搭乗者や運転者の体格、身長、幅などを検知する。
【００２５】
乗員検知カメラの設置位置は、車内を前方から後方に向けて撮像できる位置（例えば、ルームミラー、サンバイザ、Ａピラー５１、天井部等）、又は、車内の側方から前方に向けて撮像できる位置（例えば、Ｃピラー５３、後部ドアフレーム、天井部等）等である。また、車両の側方から車内側を撮像できる位置（例えば、ドア、Ａピラー５１、Ｂピラー５２、Ｃピラー５３）に設置して、搭乗者や運転者を横から撮像することも有効である。
【００２６】
乗員検知カメラにより、搭乗者及び運転者の体格、身長又は幅等が分かることで、後述するように、車両がどのくらいドアを開けることが可能かを計算することができる。
【００２７】
また、乗員検知することで、車内のどの座席に搭乗者や運転者が乗車しているか検出されるので、開閉される可能性のあるドアを推定することができる。これにより、複数のステレオカメラから一つのステレオカメラを選ぶときの選択肢を絞ることができる。
【００２８】
乗員検知カメラはステレオカメラでも単眼カメラでもよい。単眼カメラでは、動体を検出することで、人の体格、身長又は幅等を検出する。これに対し、ステレオカメラでは、画像の輝度情報だけでなく、距離情報を得ることができるので、搭乗者や運転者とそれ以外（シート、ウィンドガラス、車内設備など）を高精度に分離することができるという利点がある。
【００２９】
なお、ステレオカメラ１〜３は、出荷時又は車両搭載後に一対のカメラが撮影した画像データをキャリブレーションデータにしてキャリブレーションされている。すなわち、一対のカメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）を生成しておく。または、後述する多項式でもよく、これらは後述する図４のメモリ２に記憶されている。前処理部は、相関演算をする前に、このＬＵＴ又は多項式により入力された画像データを変換する。
【００３０】
＜ハードウェア構成＞
図３はステレオカメラシステム１００のハードウェア構成図の一例を示す。車両には多くのマイコンが搭載されており、１つ以上のマイコンが搭載された１つの装置をＥＣＵ（Electronic Control Unit）と呼ぶことが多い。代表的なＥＣＵとしては、エンジンを制御するエンジンＥＣＵ、ブレーキを制御するブレーキＥＣＵ、ドアやシートを制御するボディＥＣＵ、ナビやＡＶ機器を制御する情報系ＥＣＵ等が知られている。図のＥＣＵ４３は、これらのＥＣＵを代表したものである。
【００３１】
ＥＣＵ４３には各種のセンサ類４４や不図示のアクチュエータが接続されている。ＥＣＵ４３に接続されるセンサ類４４やアクチュエータは各ＥＣＵ４３の制御に好適なように又はハーネスなどの取り回しに無駄がないように設計されているので固定的であるとは限らない。例えば、エンジンＥＣＵには、エンジン回転数センサ、スロットルポジションセンサ、エアフローセンサ、水温センサ、Ｏ２センサ等が接続されている。ブレーキＥＣＵには、車速センサ、ブレーキセンサ、マスタシリンダ圧センサ、ポンプ油圧センサ、ホイルシリンダ圧センサ等が接続されている。ボディＥＣＵには、ドアロックセンサ、カーテシセンサ等が接続されている。
【００３２】
車載されたＥＣＵ４３は、ＣＡＮ（Controller Area Network）やＦｒｅｘＲａｙなどの規格の車載ＬＡＮを介して通信可能に接続されている。ＥＣＵ４３は、予め定められた各種のセンサの信号や信号の処理結果を車載ＬＡＮ上に送信する。車載ＬＡＮ上のデータは、車載ＬＡＮに接続された全てのＥＣＵ４３が参照可能であり、各ＥＣＵ４３は予め定められたデータを受信して処理に使用する。
【００３３】
カメラ制御ＥＣＵ４２はＥＣＵ４３と同様に車載ＬＡＮに接続されており、他のＥＣＵと通信することができる。カメラ制御ＥＣＵ４２は、表示装置４１、及び、ステレオカメラ４０（以下、区別する場合ステレオカメラ１〜３という）と接続されている。カメラ制御ＥＣＵ４２には一台以上のマイコンが搭載されており、一般的な車両のマイコンと同様にＣＰＵ，ＲＡＭ、ＲＯＭ、ＣＡＮＣ（ＣＡＮ Controller）、Ｉ／Ｏを有すると共に、画像処理のための画像処理ＩＣ２０を有している。これらは、システムバスや外部バス及びバスコントローラを介して接続されている。
【００３４】
ステレオカメラ１〜３はそれぞれＩ／Ｏに接続され、撮影した画像データは適宜、画像処理ＩＣ２０がＲＡＭを用いて画像処理する。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭを作業メモリに実行して、後述する各種の制御を行う。ＣＡＮＣは、ＣＡＮプロトコルに基づき他のＥＣＵ４３と通信を行う。なお、表示装置４１は、ステレオカメラ１〜３が撮影した映像を表示する液晶や有機ＥＬなどのディスプレイ、又は、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）である。表示装置４１は、画像処理により検出された例えば歩行者や障害物を強調して表示するために用いられるが、必ずしも必要ではない。また、表示装置４１は、道路地図を表示するナビゲーション装置と兼用されることが多い。
【００３５】
＜機能ブロック図＞
図４は、ステレオカメラシステム１００の機能ブロック図の一例を示す。ステレオカメラシステム１００は、状況判断・画像選択部１１、前処理部１２、相関演算部１３、認識部１４、及び、表示・警報・制御部１５を有する。状況判断・画像選択部１１は、車速センサ２１、ステアリング舵角センサ２２、シフトポジションセンサ２３、方向指示器センサ２４、ブレーキセンサ２５、サイドブレーキセンサ２６、温度センサ２７、ドアロックセンサ２８、焦電センサ２９、マイクロスイッチ３０、乗員検知センサ３２、メモリ１、及び、ステレオカメラ１〜３と接続されている。
【００３６】
車速センサ２１は、例えば、車輪が所定角回転する毎にパルスを出力するセンサであり、状況判断・画像選択部１１は単位時間当たりのパルスの数により車速を求めることができるようになっている。ステアリング舵角センサ２２は、例えば、ステアリングシャフトの回転に伴いフォトダイオードが検出する光を遮ることで、舵角を検出する。シフトポジションセンサ２３は、シフトレバーの位置（Ｐ，Ｎ，Ｄ、Ｒ等）を検知し、検知されたシフトポジションに応じた電気信号を出力する。方向指示器センサ２４は、例えばステアリングコラムから延設された揺動式のターンシグナルスイッチ（ウィンカスイッチ）の操作方向を検知する。ブレーキセンサ２５は、ブレーキペダルが踏み込まれた際にオンとなる信号を出力するセンサ（ストップランプスイッチ）又はマスタシリンダ圧からブレーキペダルの踏み込みを検出するセンサである。温度センサ２７は車内温度又はステレオカメラ１〜３の環境温度を検出するセンサである。ドアロックセンサ２８は、ドア毎にドアのロック／アンロックを検出するセンサである。焦電センサ２９は、赤外線を受光して電圧を出力するセンサであり、ドアの開放レバーや内側のドア取っ手などに配置される。焦電センサ２９により搭乗者や運転者がドアに手を掛けたことが検出される。マイクロスイッチ３０も同様に、ドアの開放レバーや内側のドア取っ手などに配置され、搭乗者や運転者がドアに手を掛けていることを検出する。乗員検知センサ３２は、運転席、助手席、後席右、後席中央、及び、後席左の各座席に配置された荷重センサ、又は、室内カメラなどであり、各座席毎に乗員の有無を検知する。
【００３７】
状況判断・画像選択部１１は、各種のセンサの信号及びステレオカメラ１〜３が撮影した画像データの認識結果に基づいて車の走行状態を判断する。また、状況判断・画像選択部１１は、運転者、搭乗者の行動予測をして複数のステレオカメラ１〜３から一つのステレオカメラの画像データを選択する。
【００３８】
前処理部１２は、ステレオカメラ１〜３がそれぞれ撮影する２つの画像データに対し、相関演算部１３が共通の相関演算を行なえるように画像を処理する。
【００３９】
相関演算部１３は、前処理部１２が処理した二つの画像データの相関演算を行なう。認識部１４は、相関演算結果の演算結果に基づき対象物を認識する。表示・警報・制御部１５は、認識結果を表示装置４１に表示したり、認識結果に基づき警報を吹鳴したりブレーキやドアの開閉を制御したりする。
【００４０】
〔ステレオカメラの距離情報の検出原理〕
図５は平行配置したステレオカメラによる距離計測の原理を説明するための図である。
カメラＣ０とＣ１が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：f、
光学中心：O0、O1
撮像面：s0、s1
カメラＣ０の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Ａの像は、直線Ａ−O0と撮像面s0との交点であるP0に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面s1上の位置P1に像を結ぶ。ここで、カメラＣ１の光学中心O1を通り、直線Ａ−O0と平行な直線と、撮像面s1との交点をP0´とし、点P0´とP1との距離をpとする。
【００４１】
P0´は、カメラＣ０上の像P0と同じ位置であり、距離pは、同じ被写体の像の、二つ
のカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:Ａ-O0-O1、三角形O1- P0´-P1は相似なので、
d ＝ Ｂｆ／p
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離fが既知ならば、視差pから距離dを求めることができる。
【００４２】
ここで、このようなカメラの結像光学系は、カメラ外部にある被写体の像を撮像面上に投影する。
【００４３】
〔状況判断と画像選択〕
図６は、状況判断に基づく画像の選択例を説明する図の一例である。状況判断・画像選択部１１では車の走行状態の判断および搭乗者や運転者が何をしたいのかという行動予測をし、その判断結果に基づいて複数のステレオカメラ１〜３の中から一つのステレオカメラの画像を選択する。
【００４４】
図では細線のマスが支援の選択結果を、太線のマスは状況の判断対象をそれぞれ示す。支援の内容と選択されるステレオカメラの画像の対応は以下のようになる。
運転支援 ：ステレオカメラ１
駐車支援 ：ステレオカメラ１、２，３
ドア開閉支援：ステレオカメラ２，３
以下、図６のように状況判断することの考え方について説明する。
【００４５】
＜状況判断・画像選択のタイミング＞
ドア開閉支援と運転・駐車支援に限定した場合、運転・駐車支援とドアの開閉支援が短時間に交互に必要になる可能性は極めて低い。そこで、車速がゼロの場合には状況判断処理を行う間隔を短くし、車速が閾値以上の値を示している場合に状況判断処理を行う間隔を長くする。間隔は、例えば周期的に撮影されるフレーム数（１つのカメラで撮影される画像データの数）でカウントしてもよい。これにより、車速が閾値以上の値を示している場合はリソースを他にまわすことができる。なお、状況判断及び画像選択を常に数フレームごとに行なってもよい。
【００４６】
例えば、運転支援用のステレオカメラ１も一台でなく前方、後方、側方など、複数ある場合があるので、状況判断・画像選択部１１は、車速が閾値以上の値の場合には複数のステレオカメラ１の中から測距に使用する一つのステレオカメラを選択する処理などを行う。こうすることで、リソースをステレオカメラの選択にまわすことができる。
【００４７】
＜ステレオカメラ選択方法＞
複数のステレオカメラ１〜３の中から一つのステレオカメラを選択する場合、一度に一つのステレオカメラを選択してもよいが、次のように候補を絞っていくことも有効である。すなわち、状況判断結果に応じてまずは測距候補のステレオカメラを抽出し、抽出されたステレオカメラの識別情報をメモリ1に記憶させ、その抽出されたステレオカメラの中から一つのステレオカメラを選択する。これは、運転・駐車支援用のステレオカメラ１とドア開閉支援用のステレオカメラ２，３を切り替えるといっても２台から1台を選択するとは限らないためである。それぞれが複数台設置されている可能性が高く、ドア開閉支援用のステレオカメラ２，３もドアは4つあるので、多ければ4つ少なくとも２つは設置してある可能性がある。選択処理を容易にするには、できるだけ一度に選択する選択肢を狭めておくことが好ましい。例えば、車速がゼロで数フレームごとに状態判断を行う際に、毎回多くのセンサからの情報を得て、複数の中から一つのステレオカメラを選ぶのではなく、その走行状態から必要となるステレオカメラを予測し抽出しておくことで、処理に必要なリソースを少なくすることができ、瞬時に切り替え判断が必要な場合に処理を早く行なえる。ドアの開閉が検出された場合又は開閉の直前であることが検出された場合にドア開閉支援の画像の選択に確定する。
【００４８】
状況判断・画像選択部１１がステレオカメラを選択する際に、複数のステレオカメラの中から抽出されたステレオカメラの数が一つではない場合、更に温度センサ２７からの温度情報、マイクロスイッチ３０、焦電センサ２９の情報によって複数のステレオカメラの中から更に一つのステレオカメラを選択してもよい。
【００４９】
＜状況判断＞
一般に、車両が走行しながら運転者がドアを開閉しなければならない状況はないとしてよいので、走行しているか否かにより、運転・駐車支援とドア開閉支援を切り替える。しかし、走行しているか否かのみから判定すると、適切に切り替えできないおそれがある。例えば、車速の情報からのみで判断を行うと、運転支援をしなければならない状況にも関わらず、突然ドアの開閉支援用カメラに切り替えて測距を行うという誤った判断をしてしまい、前方の監視ができなくなるような状況が生じる可能性がある。すなわち、車が停止したからドアの開閉支援を行うという判断を行うとすると、信号待ちや一時停止時などに毎回ドア開閉支援に切り替わってしまい、その間、運転支援ができなくなってしまう。
【００５０】
また、シフトポジションセンサ２３によってシフトポジションがパーキングになっていることが検知された時のみにドア開閉支援を行なうとした場合、例えば、シフトポジションがドライブの状態で搭乗者や運転者が車から降りるような場合にドア開閉支援を行えない。
【００５１】
また、マイクロスイッチ３０や焦電センサ２９からの情報でドアの開閉を検知しようとすると走行中であるにも関わらず、ドアに手をかけただけでドア開閉支援に切り替わってしまう可能性がある。この様な誤判断を防ぐための状態判断方法の例を以下に示す。
【００５２】
状況判断について説明するためブレーキ頻度について説明しておく。
図７は、ブレーキセンサ２５からの信号処理と、ブレーキ頻度を説明する図の一例である。図７では、黒丸がブレーキペダルの信号の検出タイミングを示しており、ブレーキペダルが踏み込まれていると検出されたら"１"に、ブレーキペダルが踏み込まれていないと検出されたら"０"に黒丸がプロットされている。
【００５３】
ブレーキセンサ２５からの信号が１ミリ秒間に2回得られるとする。ある一定時間、例えば5ミリ秒間の間にブレーキセンサ２５からの信号が1になった回数を数える。この値をブレーキ頻度と呼ぶことにする。
【００５４】
図７（ａ）では、５ミリ秒間の全ての黒丸が"１"であり、図７（ｂ）では、５ミリ秒間の５つの黒丸が"１"であり、図７（ｃ）では、５ミリ秒間の２つの黒丸が"１"である。
【００５５】
運転者がブレーキペダルを踏み続けている状態だったら、図７（ａ）に示すように、ブレーキ頻度は大きな値（"１"の数は10回／5msec = ２回／１ミリ秒）となるはずである。
【００５６】
また、駐車のための運転操作中は、走行中よりもある一定時間内にブレーキペダルをふむ回数が多くなるのでブレーキ頻度は走行中よりも大きな値をとる。しかし、ブレーキペダルを踏み続けている状態よりは小さくなるはずである。このため、図７（ｂ）に示すように、５ミリ秒に１０回よりも少ないがゼロよりは多い数の"１"が得られる。
【００５７】
また、走行中はブレーキペダルを踏むことはあるが、ある期間で区切ったときにはブレーキ頻度は駐車時と比較してはるかに小さな値となる可能性が高い。このため、図７（ｃ）に示すように、５ミリ秒にゼロよりは多い数の"１"が得られる。
【００５８】
したがって、図７（ａ）〜（ｃ）の"１"の数を参考に、ブレーキペダルを踏み続けている状況と、駐車の運転操作中などにブレーキペダルを踏むが踏み続けているわけではない状況と、を区別するブレーキ頻度の値を閾値として定めておけば、状況を判断できる。ブレーキペダルを踏み続けているかどうかを判断する閾値を閾値bとし、駐車操作中と停止中（駐車後）を区分するための閾値を閾値aとする。閾値bは例えば、９〜１０位であり、閾値ａは１〜２位である。
【００５９】
＜状況判断＞
一般に、車両が走行しながら運転者がドアを開閉しなければならない状況はないとしてよいので、走行しているか否かにより、運転・駐車支援とドア開閉支援を切り替える。しかし、走行しているか否かのみから判定すると、適切に切り替えできないおそれがある。例えば、車速の情報からのみで判断を行うと、運転支援をしなければならない状況にも関わらず、突然ドアの開閉支援用カメラに切り替えて測距を行うという誤った判断をしてしまい、前方の監視ができなくなるような状況が生じる可能性がある。すなわち、車が停止したからドアの開閉支援を行うという判断を行うとすると、信号待ちや一時停止時などに毎回ドア開閉支援に切り替わってしまい、その間、運転支援ができなくなってしまう。
【００６０】
また、シフトポジションセンサ２３によってシフトポジションがパーキングになっていることが検地された時のみにドア開閉支援を行なうとした場合、例えば、シフトポジションがドライブの状態で搭乗者や運転者が車から降りるような場合にドア開閉支援を行えない。
【００６１】
また、マイクロスイッチ３０や焦電センサ２９からの情報でドアの開閉を検知しようとすると走行中であるにも関わらず、ドアに手をかけただけでドア開閉支援に切り替わってしまう可能性がある。この様な誤判断を防ぐための状態判断方法の例を以下に示す。
【００６２】
・ドアロックの解除の判断（Ｓ１）
まず、ドアロックが解除されているか否かの情報を得る。ドアの開閉の場合には必ずドアロックが解除されるので、ドアロックが解除されていなければ（Ｓ１のＮｏ）、状況判断・画像選択部１１は運転・駐車支援用のステレオカメラ１で測距をするようにする（図６のａ）。
【００６３】
状態判断を行なう際には車速センサ２１、ステアリング蛇角検出センサ２２、シフトポジションセンサ２３、方向指示器センサ２４、ブレーキセンサ２５、サイドブレーキセンサ２６、ドアロックセンサ２８の信号を組み合わせて判断する事が望ましい。
【００６４】
また、判断を行う際には数フレーム前のステレオカメラの画像に対して特徴物認識を行い、その認識結果を上記センサ情報と一緒に用いると更に正確な状態判断を行う事ができる。特徴物認識を行なう画像は視差画像でも輝度画像でもかまわない。
【００６５】
また、特徴物認識ではなく、数フレーム前のステレオカメラの画像から物体を検知し（同じ視差値の塊をひとつの物体とみなす）、その物体の時間に対する移動量つまり速度を算出し、その結果を一緒に用いると更に正確な状態判断を行う事ができる。
【００６６】
・・車速度がゼロの場合でない場合の運転支援の判断
車速度がゼロの場合でない（Ｓ２のＮｏ）、状況判断・画像選択部１１はブレーキ頻度が閾値ａ以下であるか否かを判定する（Ｓ３−１）。ブレーキ頻度が閾値ａ以下の場合（Ｓ３−１のＹｅｓ）、運転者に駐車の意志がないと判断し、運転支援を行う（図６のｃ）。ブレーキ頻度が閾値ａ以下でない場合（Ｓ３−１のＮｏ）、運転者に駐車の意志があると判断し、駐車支援を行う（図６のｂ）。
【００６７】
・・車速度がゼロで駐車完了後の判断
ドアロックが解除されている場合（Ｓ１のＹｅｓ）、まずは車速情報を得る事が考えられる（Ｓ２）。車速がゼロである場合（Ｓ２のＹｅｓ）、シフトポジションセンサ２３からシフトポジションがパーキングになっているかの情報を取得する（Ｓ３−２）。シフトポジションがパーキングになっている場合（Ｓ３−２のＹｅｓ）には、駐車完了後と判断してドアの開閉支援システムを行う（図６のｄ）。渋滞中や信号待ちが長い場合にはギヤポジションをパーキングにする事はあるが、走行する際には必ずシフトポジションをドライブにするため、ドア開閉支援用のステレオカメラ２，３に切り替えても問題ない。
【００６８】
更に正確に判断するために認識部１４の画像認識結果から特徴物をみつける、または周囲に静止物が多いなどから、車が駐車中であるという判断をしてもよい。また、シフトポジションセンサ２３でなくてもブレーキセンサ２５からの情報でも判断できる。車速がゼロであるにも関わらず、ブレーキペダルを踏んでいないかつサイドブレーキをひいているのであれば車は駐車完了状態である可能性が高い。
【００６９】
・・走行中だが一時的に車速度がゼロの場合の判断
駐車完了後と判断する場合と同様に、ドアロックの状態（Ｓ１）、車速を確認する（Ｓ２）。信号待ち、一時停止待ちの場合には車速はゼロになっているはずである。車速がゼロである場合（Ｓ２のＹｅｓ）、シフトポジション検出センサからシフトポジションがパーキングになっていない事を確認する（Ｓ３−２）。パーキングになっていれば駐車完了後と判断してかまわない。シフトポジションがパーキングでない場合（Ｓ３−２のＮｏ）、次にブレーキセンサ２５からの情報を取得する（Ｓ４）。このときに、ある時点においてブレーキペダルをふんでいるかいないかの判断をするのではなく、ある一定時間にブレーキペダルを踏んでいる状態はどのくらいの頻度で起こっているのかの情報を取得する。
【００７０】
(i) ブレーキ頻度が閾値b以上である場合（Ｓ４のＹｅｓ）
状況判断・画像選択部１１は、ブレーキ頻度が閾値b以上である場合には運転者がブレーキペダルを踏み続けている状態であると判断する。
【００７１】
次に、運転支援用のステレオカメラで撮像した画像データ（認識に使用する画像は相関演算前後を問わない）から取得した、後述する認識部１４で処理された特徴物認識結果を得る（Ｓ５−２）。特徴物とは具体的に信号や横断歩道の縞模様、一時停止線及び標識、踏み切りなどが挙げられる。もし特徴物を認識した場合は（Ｓ５−２のＹｅｓ）、信号待ちや一時停止状態、踏み切り待ち状態であると判断して、運転支援用のステレオカメラ１とドア開閉支援用のステレオカメラ２，３を抽出する。
【００７２】
この際、ドア開閉支援のステレオカメラ２，３としては全てのステレオカメラを抽出する必要はなく、車内に設置した乗員検知センサ３２によって検知された搭乗者や運転者のいる場所のドア開閉支援用のステレオカメラ２，３に絞ってもよい。ただし、搭乗者や運転者は車内で移動する可能性があるので（特に後部座席）、ある時間おきに検知する必要がある。
【００７３】
運転支援用のステレオカメラ１とドア開閉支援用のステレオカメラ２，３が抽出された場合、マイクロスイッチ３０や焦電センサ２９でドアの開閉を検知した場合にのみドア開閉支援に切り替え、その他の場合には運転支援を行う事とする（図６のｇ）。
【００７４】
また、画像認識で特徴物体を検知しなかった場合でも（Ｓ５−２のＮｏ）、すぐに信号待ちなどの状態ではないと判断しない。これは、画像認識による信号や踏み切り、横断歩道などの検知には限界があるからである。特徴物体を検知しなかった場合、状況判断・画像選択部１１は、次に、ステレオカメラの認識結果から自車の進行方向を横切る方向に移動している物体があるか否かを確認する（Ｓ６）。
【００７５】
画像認識で特徴物体を仮に検知できなかったとしても、視差画像からは物体検知をする事ができ、ひとつの物体が動いているかどうかは判断できる。もし物体が車を横切る方向に移動している事が確認できたときには横断歩道などではないが、歩行者が横断しようとしているので停止したというような状態が考えられる。このような移動物体を検知した場合（Ｓ６のＹｅｓ）、走行中に一時的に停止したと判断してドア開閉支援用のステレオカメラ２，３も候補カメラとして抽出する。そして、マイクロスイッチ３０や焦電センサ２９でドアの開閉を検知しなければ運転支援を行う事とする（図６のｉ）。
【００７６】
また、移動物体も検知しなかった場合（Ｓ６のＮｏ）、搭乗者や運転者が降車する可能性が高いと判断して運転席以外のドアの開閉支援用のステレオカメラ２，３に切り替える（図６のｈ）。運転者を省く理由は、シフトポジションがパーキングでなく、ブレーキペダルを踏み続けた状態でドアを開いて車外に出る可能性が極めて低いからである。
【００７７】
(ii) ブレーキ頻度が閾値aより大きくbより小さい場合（Ｓ４でＮｏかつＳ５−１でＮｏ）
また、ブレーキ頻度が閾値aより大きくbより小さい場合には駐車操作中と判断して駐車支援用のステレオカメラ１に切り替える（図６のｅ）。駐車支援用のステレオカメラ１がドア開閉支援用のステレオカメラ２，３と併用される場合には、前処理部１２で広角領域も高精度に歪みを補正できる処理を行なうなどしてもよいし、そのままドア開閉支援用ステレオカメラに切り替えてもよい。
【００７８】
(iii) ブレーキ頻度が閾値a以下である場合（Ｓ４でＮｏかつＳ５−１でＹｅｓ）
また、ブレーキ頻度が閾値a以下である場合、車は停止状態であり、運転者以外の人が車外に出る可能性が高いので運転席以外のドアの開閉支援を行う（図６のｆ）。例えば、サイドブレーキをかけていてブレーキペダルをふんでいないが停止している状態である場合などは、このような条件にあてはまると考えられる。
【００７９】
・・ドア開閉支援用と駐車支援用のステレオカメラを併用する際の状態判断方法（車速はゼロではない）
ドアの開閉は基本的には車が動いていない状態で行なうため、車速がゼロの状態では、上記のように運転支援用のステレオカメラとドア開閉支援用のステレオカメラを切り換える。
【００８０】
しかし、ドア開閉用のステレオカメラ２，３を駐車支援用としても併用する場合には車速がゼロではない場合にでもドア開閉用のステレオカメラ２，３が使用される事になる。
【００８１】
ところで、ドア開閉支援用のステレオカメラ２，３は車両の側方に設置され、目標測距離範囲は近距離用である。一方、駐車支援用のステレオカメラ１も自分の車の周囲の車や人と衝突しないような目的で設置されることから、ドア開閉支援用のステレオカメラ２，３と同じようなレンズの仕様である場合が多い。そのため、ドア開閉支援用のステレオカメラ２，３と駐車支援用のステレオカメラ１の併用が可能であり、ステレオカメラ２，３の数を少なくする事ができるのでコストが安くなる。以下の例では、運転支援用及び駐車支援用のステレオカメラ１が前方に複数設置され、側方にドア開閉支援用のステレオカメラ２，３が設置されている場合を想定する。
【００８２】
・・駐車中（バック）
駐車操作中は走行中よりも車速が低いと考えられるので、走行中と駐車操作中とを判断する車速の閾値をメモリ1などに記憶させておく。車速が閾値以下である場合、次にシフトポジションセンサ２３からの情報を得る。もしシフトポジションセンサ２３でリバースにシフトポジションがあることが検出された場合、駐車支援用カメラに切り替える。
【００８３】
図８は、車両を前方に進行させて駐車する場合の周囲の車の向きと、自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。図９は、渋滞中の周囲の車の向きと自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。
【００８４】
前方に進入させて駐車する場合は、渋滞中や左折、右折時との区別をつけなくてはならないのでシフトポジションをリバースにいれて駐車する時よりも判断に多くの情報を必要とする。まず、シフトポジションがドライブになっており、車速が閾値以下であること、ブレーキ頻度が駐車操作中の範囲の値となっているか否かを確認する。上述した閾値を用いるとブレーキ頻度が閾値aより大きくb未満であるか否かを確認する。次に、方向指示器センサ２４からの情報より、右折、左折をしようとしているのかを判断する。ウィンカーが出されている場合には走行中の右折、左折時として運転支援用カメラを選択する。一方、ウィンカーがだされていなかった場合には駐車中もしくは渋滞中である可能性がある。
【００８５】
さらに、駐車操作中又は渋滞中であるかを判断するために認識部１４の画像認識結果を使用して、画像中における静止物の割合から判断してもよい。この場合は輝度画像ではなく視差画像から認識を行なうことが望ましい。
【００８６】
また、認識を行なう画像としては運転支援用の前方を撮像した画像が望ましい。画像からまずは物体認識を行なう。このときには画像中の物体が何であるか、車、信号、人、ビルであるかは認識しなくてもよい。同じ視差値を持つかたまりを物体と認識し、その物体が静止している物体であるかを確認する。具体的には、車の速度センサから走行距離を計算し、その走行距離分その認識した物体が車に対して近づいているかを視差画像から計算する。
【００８７】
走行距離分だけ認識した物体が自分の車に近づいている場合にはその物体は地面に対して静止していると考えられる。渋滞中で自分の車が静止していない場合は、周囲の車もわずかではあるかもしれないが動いており静止はしていないはずである。一方、駐車する際には周囲の物は静止しているものが多いなどの特徴があるので、画像認識結果は駐車中と渋滞中の状態判断をする際の有用な情報となる。
【００８８】
また、走行距離に対して周囲の静止物が自分の車に近づいてくる距離だけではなく、例えば静止物の向きを視差画像から算出し、その結果から駐車をしようとしているのか判断してもよい。
【００８９】
自分の車の前方には車の向きと同じ方向にむけてステレオカメラが設置してある例を考えてみる。図８は駐車する際の図であるが、車の進行方向と自分の車に設置してあるステレオカメラの光軸の向きのなす角をθ1とする。また、図９は渋滞中の図であるが、車の進行方向と自分の車に設置してあるステレオカメラの光軸の向きのなす角をθ2とする。
【００９０】
車の進行方向はステアリング舵角やヨーレートセンサから求められ、また、視差画像から算出することもできる。渋滞中だと、道が急カーブである場合を除いて、自分の車の前方にある車の向きは自分の車の向きとほぼ変わらないのでθ２は小さな値をとるが、駐車時には自分の車と前方にある駐車中の車の向きが大きく異なる可能性が高いためθ１は大きな値をとると考えられる。この前方物体（車両）と自分の車の相対角度に閾値をもうけて状態判断を行うことも考えられる。
【００９１】
状況判断・画像選択部１１はθに基づいて運転支援が行うか、駐車支援を行うかを判断して、前述の支援内容を実施する。
【００９２】
＜図６の状況判定＞
以上を踏まえて、図６では以下のように状況が判定されている。
（１）ドアロックが解除されていない
a．運転席のドアロックが解除されていないので、運転者は駐車を含む運転を継続すると予想される。このため、状況判断・画像選択部１１は「運転・駐車支援」を行うと判断する。
（２）ドアロックが解除されており、車速がゼロでなく、ブレーキペダルを踏む頻度が閾値ａ以下でない
ｂ．ブレーキペダルを踏む頻度がａより多いため、運転者は駐車中又は駐車する直前であると予想される。ドアロックが解除されているのはロックし忘れているためと考える。
（３）ドアロックが解除されており、車速がゼロでなく、ブレーキペダルを踏む頻度が閾値ａ以下である
ｃ．ブレーキペダルをほとんど踏まないため、運転者は運転中である予想される。ドアロックが解除されているのはロックし忘れているためと考える。
（４）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングである
ｄ．シフトポジションがパーキングなので、運転者が降車することが予想される。
（５）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上でなく、ブレーキペダルを踏む頻度が閾値ａ以下でない
ｅ．ブレーキペダルをａ〜ｂの間の頻度で踏むため、運転者は駐車操作中であると予想される。
（６）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上でなく、ブレーキペダルを踏む頻度が閾値ａ以下である
ｆ．ほとんどブレーキペダルを踏んでいないのでサイドブレーキを引いて停止してると考えられ、運転者は運転を終了させており、搭乗者や運転者が降車すると予想される。
（７）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上であり、画像認識で特徴物体を検知した
ｇ．信号機や横断歩道の手前で停止していると考えられ、マイクロスイッチ３０及び焦電センサ２９でドア開閉を感知する以外は運転支援する。
（８）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上であり、画像認識で特徴物体を検知せず、移動物体が横切るのを検知しない
ｈ．信号機や横断歩道、及び、歩行者の横切りも検知されないので、搭乗者や運転者が降車すると予想される（ドア開閉支援）。
（９）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上であり、画像認識で特徴物体を検知せず、移動物体が横切るのを検知した
ｉ．歩行者の通過待ちをしていると考えられ、マイクロスイッチ３０及び焦電センサ２９でドア開閉を感知する以外は運転支援する。
【００９３】
また、図１０は、車両が前進して駐車するのか、走行中なのかを判断する手順の一例を示す図である。
【００９４】
状況判断・画像選択部１１はシフトポジションがドライブポジションになっているか否かを判定する（Ｓ１０）。シフトポジションがドライブの場合、車両が前進して駐車する可能性がある。
【００９５】
シフトポジションがドライブポジションの場合（Ｓ１０のＹｅｓ）、次に、状況判断・画像選択部１１は、車速が閾値以下であるか否かを判定する（Ｓ２０）。閾値は例えば１０〜２０〔ｋm/h〕程度である。車速が閾値以下の場合、車両が駐車する可能性がある。
【００９６】
車速が閾値以下の場合（Ｓ２０のＹｅｓ）、状況判断・画像選択部１１は、ブレーキ頻度が閾値aより大きく閾値ｂ未満であるか否かを判定する（Ｓ３０）。閾値aより大きく閾値ｂ未満である場合、運転者が低速に車速調整している可能性がある。
【００９７】
ブレーキ頻度が閾値aより大きく閾値ｂ未満である場合（Ｓ３０のＹｅｓ）、状況判断・画像選択部１１は、方向指示器センサ２４が方向指示器の作動を検出しているか否かを判定する（Ｓ４０）。方向指示器センサ２４が方向指示器の作動している場合、交差点などで車両が右左折する準備をしている可能性がある。
【００９８】
方向指示器が作動していない場合（Ｓ４０のＮｏ）、状況判断・画像選択部１１は車両が前方から駐車すると判断して、駐車支援用カメラを選択する（Ｓ５０）。
【００９９】
ステップＳ１０でＮｏ，ステップＳ２０でＮｏ，ステップＳ３０でＮｏ，又は、ステップＳ４でＹｅｓ，と判断された場合、状況判断・画像選択部１１はその他の運転支援を行うと判断する（Ｓ６０）。その他の運転支援とは、運転支援若しくはドア開閉支援であり、状況によっては運転支援が提供されなくてもよい。
【０１００】
〔前処理部〕
次に、前処理部１２について説明する。前処理部１２は、状況判断・画像選択部１１で選択されたステレオカメラの画像を共通の相関演算部１３で計算できるように処理する。
【０１０１】
・歪み補正
高精度に測距する場合に必須となる歪み補正について説明する。歪みは視差に直接影響を及ぼすため、歪みがあるまま撮像した画像を相関演算してしまうと測距結果は非常に精度の悪いものとなってしまう。複数のステレオカメラを使用するシステムではそれぞれのカメラの目標測定距離及び画角が異なるため、異なるレンズを使用する可能性が高い。レンズには必ず歪みがあり、焦点距離や画角の異なるレンズ（設計値の異なるレンズ）ではその歪み方が異なる。また、同じ設計値のレンズでも製造誤差などによって歪み量は変化する。このため、メモリ2には単眼カメラごとに歪み補正パラメータを記憶している。
【０１０２】
歪みの補正方法としては全画素の補正前後の変換先の情報をもつLUTでもよいし、歪みを多項式で表してもよい。LUTでは記憶容量が多く必要なため、歪みを多項式で表す方が望ましいと考える。特に本実施形態では複数のステレオカメラを使用しているため、全ての単眼カメラのLUTデータを記憶させておくとなると莫大な記憶容量が必要となってしまう。
【０１０３】
歪み補正式としては、例えば式（１）に示した4次の多項式などが考えられる。この歪み補正式は、設計段階で存在する歪みと、同じ設計値であるが製造誤差などによりカメラごとに異なる歪み両方を表現する事ができる。ここで、δx、δyはあるレンズのx方向、y方向の歪み量であり、x,yは理想結像位置座標、f1,f2….fk、g1,g2….gkはある温度における歪み係数である。これら歪み係数を求めるためにx,y,δx,δyの値を測定し、画像全体でこの歪み式を満たすような歪み係数の最適化を行うことが好ましい。
【０１０４】
【数１】
・温度に応じた歪み補正
上述した歪みは温度によって単眼カメラごとに更に変化する。車載用途であると車内は80度近くになるが、温度による歪み量変化は大きく、高精度な測距結果を求めるには相関演算をする前に温度による歪み補正が必要となる。本実施形態では、温度センサ２７からの情報に基づき温度変化にも対応する事ができる。
【０１０５】
状況判断・画像選択部１１において、まずは温度センサ２７が検出した温度情報からステレオカメラが補正可能温度範囲を満たしているか確認した後、前処理部１２も温度センサ２７の情報を得る。メモリ２には各単眼カメラの温度変化に対応した歪み補正パラメータが記憶されている。歪み補正パラメータとしてはLUTや多項式が考えられるが上述したように多項式の方が望ましいと考えられる。
【０１０６】
多項式の例として例えば式（２）がある。式（２）の記号は上述した式（１）と同じであるが、歪み係数fとgが温度の関数として表されている。各温度における単眼カメラごとの歪み係数を記憶しておくよりも、歪み係数を更に温度の関数として表す方がより記憶容量が小さくてすむ。
【０１０７】
【数２】
〔相関演算部〕
相関演算部１３は、前処理部１２から出力された１対の画像データにおいて、共通の処理を行う。ただし、その際に前処理部１２から入力された１対の画像データがどのステレオカメラ１〜３で撮像されたものなのかは画像データと一緒に入力される。その画像データを取得したステレオカメラの基線長、画素数、探索幅などに応じてステレオマッチングを行い、相関演算を行うのが相関演算部１３である。メモリ3には各ステレオカメラの基線長、画素数、探索幅情報が記憶されている事が好ましい。相関演算により視差pが算出される。
【０１０８】
マッチング処理としては、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法が知られている。ＳＡＤ法は、ステレオカメラ１〜３のいずれかにより撮像された一対のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求める方法である。２つの画像の一方を固定し、他方の画像の着目画素を中心に例えば３×３等の画素ブロックを取り出し、固定した画像の画素に対し１画素ずつシフトしながら最も重なり合う位置を求める。重なり合う位置は、２つの画像の輝度値の差の絶対値の積算値を算出して評価値とし、該評価値が最も小さくなる場合に最も重なり合う位置とする。
【０１０９】
最も重なり合う位置までシフトした画素数をｎ、画素ピッチをｓとすると、（ｐ＝ｎ・ｓ）が視差である。
【０１１０】
〔認識部〕
認識部１４では視差と、オフセット値を含む対象物までの距離を算出可能な式により、更に物体認識を行なう。
【０１１１】
・衝突回避
距離情報から周囲の物がどのような距離で分布しているのかがわかる。運転支援用のステレオカメラ１の画像が選択された場合、自車が動いている場合が多いので、車速、ステアリング蛇角センサ、シフトポジションセンサ２３などの情報も総合して、周囲の物との衝突回避の判断を行う。ステレオカメラ１は自分の車に設置してあるため、周囲のものが地面に対して静止しているか動いているかは関係なく、自分の車と距離が近かったら衝突を回避するようにすればよい。
【０１１２】
・特徴物認識
物体認識をおこなう際には、あらかじめ認識対象物の特徴を辞書データとしてメモリ4に記憶しておくことが好ましい。特徴物としては信号や横断歩道の縞模様、一時停止線および標識、踏み切り、人、後ろから見た他車両の形状などがあげられる。
【０１１３】
特徴物認識ができれば、運転者がどの対象物までの距離が短くなっているのかを認識する事ができ注意する事ができる。特徴物が認識された場合、その情報を状況判断・画像選択部１１に入力する事でより正確な状態判断を行なうことができる。また、同じ視差のかたまりを一つのブロックとして、どのような物があるかは認識しないが、そこに物があるかどうかを認識するようにしてもよい。視差のかたまりを１つのブロックとして認識して、どのような物があるかは認識しない場合は辞書データが必要ないというメリットがあるので、後者は測距精度がよいほど高精度に認識できると考えられる。
【０１１４】
・認識物体の速度算出
また、認識した結果をメモリ4に保存しておき、数フレームごとに認識した物体を追跡し、その物体の移動の速さ、向きを算出してもよい。物体追跡をする場合には自分の車の速度情報もあると、認識した物体の移動速度が速いか遅いかという地面に対する絶対速度を算出することができ、更にその認識物体の情報を得ることができる。認識物体の形状、速さ、移動方向がわかると状態判断では有用な情報となる。例えばドアの開閉支援を行う際に、車に近づいてくる物体を認識し、速度などから開閉してもよいタイミングを搭乗者や運転者に知らせたり、制御できたりする。また、例えば、最も早く接近する移動速度の物体を撮影しているステレオカメラの画像を選択することができる。
【０１１５】
・駐車時の方向修正
駐車支援用のステレオカメラ１をドア開閉支援用のステレオカメラと併用する場合、撮影される画像は壁や停止している車の側面である事が多い。これを利用して駐車支援することができる。視差画像からわかる事は、ドアから対象物（壁や車の側面）までの距離だけではなく、それらの面の傾き、面の方向などである。ステレオカメラの自分の車に対する設置方向をあらかじめメモリ4で記憶しておき、周囲の壁や車の側面の向きに対して自分の車が平行になっているか曲がっているか、曲がっているならどのくらい曲がっているのかを計算し、警告したり、曲がっている角度を運転者に知らせる事ができる。曲がっている角度が所定値以上の場合にだけ警告や角度を知らせるとしてもよい。運転者は自車両が周囲の壁や他車両に対しまっすぐになるように、再度、駐車することができる。
【０１１６】
周囲の車が駐車位置に対して曲がっていると、自分の車もあわせて曲がってとまってしまうため、駐車する前に、運転支援用カメラで周囲の車が白線などに対して曲がっているか否かをあらかじめ確認してもよい。
【０１１７】
また、ドア開閉支援とも重複するが、運転席から見て右側面と左側面における周囲の壁や他車両との距離が所定値以上の場合に、一方に偏りすぎているとして運転者に知らせてもよい。この場合、予め、運転者は、右側面と左側面のそれぞれにおいて周囲の壁や他車両との好ましい距離を設定しておき、設定した距離以下の場合に、左右の区別と共に運転者に通知することもできる。運転者は、例えば、子供が乗降する側面に必要な距離が確保されるように、再度、駐車することができる。
【０１１８】
・ドア開閉許容範囲算出
状況判断・画像選択部１１がドア開閉支援用のステレオカメラ２，３を選択した場合、視差画像から計算された測距結果とメモリ4に記憶されているその車のドアの可動範囲、ドアの厚み、人の幅から、ドア開放の許容度を算出できる。すなわち、ドアを全開にしてよいか、ギリギリ人が通れる距離なら開放してよいか、ドアを開けても人が通れないのか、等が判別される。
【０１１９】
例えば以下の３つの条件でわける事で上記の開閉許容かどうかを算出できる。算出結果を元に注意を促すだけではなく、実際にドアの開閉制御を行なってもよい。
(i) 車から側方対象物までの距離−ドアの可動領域＞0
ドアを全開にしてよいと判断する。
(ii) 車から側方対象物までの距離−ドアの可動領域＜0 かつ
車から側方対象物までの距離−（ドアの厚み+人の最低厚み情報or認識厚み情報）＞0
ギリギリ人が通れる距離までは開放が可能（注意が必要）。
(iii) 車から側方対象物までの距離−ドアの可動領域＜0 かつ
車から側方対象物までの距離-（ドアの厚み+人の最低厚み情報or認識厚み情報）＜0
駐車する際に白線をみるなどは大丈夫だが人の乗り降りはできない。
【０１２０】
・外部パラメータ変化量算出
また、カメラ間の相対距離、向きなどを表す外部パラメータは予め決まっている。しかし、出荷時には外部パラメータは精度よく調整されていても、経時変化などによってずれてしまうおそれがある。外部パラメータが変化してしまうとそのまま視差算出精度が悪化する。そこで、ステレオカメラが画像選択部で選択された際には、相関演算を行うときにその外部パラメータの変化量を反映させて計算させる事が望ましい。この変化量は外部パラメータ変化量算出部３１により算出される。
【０１２１】
〔表示・警報・制御部〕
認識結果は表示装置４１に表示され、音によって運転者に報知される。また、表示や警報だけでなく、ブレーキ制御やドアの可動領域の制御、ドアロックなどの制御を行う事も有効である。
【０１２２】
衝突回避では、表示・警報・制御部１５は、対象物まで後何秒で衝突するかを表示装置４１に表示する、警報を吹鳴する、距離が近づいている車を赤で点滅させるなど様々な方法で警告することが可能である。
【０１２３】
また、測距しているカメラもしくは測距していないカメラがどれかを運転者がわかるようにすることも有効である。例えば、運転支援用のステレオカメラ１で測距をしている状態を基本とし、ドア開閉支援用のステレオカメラ２，３が選択された時にはランプをつける、音を吹鳴する、表示装置４１に表示させることが可能である。
【０１２４】
以上説明したように、本実施形態のステレオカメラシステム１００は、運転・駐車支援が必要な状況とドアの開閉が必要な状況とを正確に判断して支援できる。また、カメラを完全に切り替えるので、現在どのカメラで周囲を監視しているのかを運転者や搭乗者が知る事ができ、逆に自分がどの方向に注意すればよいのかを瞬時に把握できる。また、ドア開閉支援では、ドアを全開にしてよいのか、人がギリギリ出られるスペースしかないので注意して開けなくてはならないのか、人が出られないスペースしかないのかをドアを開ける前に把握する事ができる。また、その認識結果をドアの制御に使用して搭乗者や運転者が注意をしなくても周囲の物にぶつからない領域までしかドアが開かないように制御する事ができる。また、ドアを開ける際に周囲から近づいてくる物はないか、周囲の対象物の距離とともに速度を認識し、ドアの開閉をするタイミングを搭乗者や運転者に通知することができる。
【符号の説明】
【０１２５】
１１ 状況判断・画像選択部
１２ 前処理部
１３ 相関演算部
１４ 認識部
１５ 表示・警告・制御部
４０ ステレオカメラ
４４ センサ類
１００ ステレオカメラシステム
【先行技術文献】
【特許文献】
【０１２６】
【特許文献１】特開２００３−３４８５７５号公報
【技術分野】
【０００１】
本発明は、複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置に関する。
【背景技術】
【０００２】
自動車を運転する運転者を支援する種々の運転支援システムが車両に搭載されるようになってきた。運転支援システムは、例えば、車の前方に設置したカメラによって車両前方を監視し、歩行者、他車両、障害物等との距離を測定し、それらに衝突する危険性がある場合は、運転者に報知したり、車両のブレーキを作動させて減速させたり停止させたりすることができる。このような運転支援システムは総称してＡＳＶ（Advanced Safety Vehicle；先進安全自動車）装置と呼ばれる。
【０００３】
また、駐車時にドアやトランクの開閉に十分なスペースを残しているかを車の搭乗者に知らせたり、車の乗り降りの際に後方から車や自転車、歩行者が接近していることを警告する、ドア開閉支援システムも知られている。
【０００４】
これらのシステムを実現するためには、車から対象物までの距離を高精度に測定することが必要である。距離を精度よく算出する方法として、測定したい対象物を、二つ以上の設置位置の異なるカメラ（複眼カメラ（以下ステレオカメラと呼ぶ））で撮像し、センサ上の結像位置の違い（視差）によって距離を算出する方法が知られている。ステレオカメラによる位置検出装置は、レーダやミリ波等による計測（照射範囲が限られる、他のレーダやミリ波と干渉するおそれがある）と異なり、一度の撮影で広い範囲の距離情報及び形状等が得られるという利点から、車だけではなく、ロボット、監視カメラ等にも使用されている。
【０００５】
多様な運転支援システム及びドア開閉支援システムを実現するためには複数のステレオカメラが必要である。しかし、複数のステレオカメラを使用したシステムは、制御が複雑になるばかりでなく高価なものとなってしまう。そこで、複数のステレオカメラの画像を状況に応じて選択し、ステレオマッチングや距離情報生成部を共通化する事でコストを低減することが考えられる（例えば、特許文献１参照。）。特許文献１には、複数のステレオカメラの選択を時分割によって行い、ステレオマッチングや距離情報生成部を共通化するステレオ式車外監視装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のステレオカメラの選択を時分割で行う方法では、処理負荷が増大するため処理能力の高い演算装置や画像処理のための多くのメモリが必要になるという問題がある。
【０００７】
例えば、複数のステレオカメラが搭載される場合、焦点距離や画角、歪みの異なる複数のステレオカメラが使用される可能性が高い。すなわち、遠方測距を目的として設置されるカメラと近距離測距を目的として設置されるカメラでは異なるレンズを使用する。このため、ステレオカメラシステムが、高精度の測距を行うためにはそれぞれのステレオカメラの画像を選択するだけではなく、相関演算する前に、個々のカメラの焦点距離、画角、歪みに応じた補正を行うなどの画像処理の必要が生じる。したがって、時分割で選択されたステレオカメラの画像に対してこの補正のための画像処理を高速で行うために、処理能力の高い演算装置や画像処理のための多くのメモリが必要になる。
【０００８】
本発明は、コスト低減が可能な、ステレオカメラを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置であって、車載されたセンサと、前記センサの検出信号を組み合わせて車両状況を判定し、前記車両状況に基づき画像処理対象の画像データを運転支援用のステレオカメラが撮影した画像データからドア開閉支援用のステレオカメラが撮影した画像データに切り替える状況判断・画像選択手段と、前記状況判断・画像選択手段によって選択された画像データに、複数のステレオカメラのそれぞれに特有の歪み補正を行い、相関演算部が複数のステレオカメラに共通の相関演算処理を行うことを可能にする前処理手段と、１つのステレオカメラが撮影した２つの画像データに相関演算を施す相関演算手段と、前記相関演算手段の演算結果を用いて対象物までの距離を検出する距離検出手段と、を有することを特徴とする。
【発明の効果】
【００１０】
コスト低減が可能な、ステレオカメラを用いた画像処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】ステレオカメラシステムの概略を説明する図の一例である。
【図２】３つのステレオカメラの搭載位置を模式的に示す図の一例である。
【図３】ステレオカメラシステムのハードウェア構成図の一例である。
【図４】ステレオカメラシステムの機能ブロック図の一例である。
【図５】平行配置したステレオカメラによる距離計測の原理を説明するための図である。
【図６】状況判断に基づく画像の選択例を説明する図の一例である。
【図７】ブレーキセンサからの信号処理と、ブレーキ頻度を説明する図の一例である。
【図８】車両を前方に進行させて駐車する場合の周囲の車の向きと、自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。
【図９】渋滞中の周囲の車の向きと自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。
【図１０】車両が前進して駐車するのか、走行中なのかを判断する手順の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態のステレオカメラシステムの概略を説明する図の一例である。車両には複数のステレオカメラ１〜３が搭載されている。ステレオカメラ１〜３はそれぞれ同一方向又は異なる方向を撮影するように車両に固定されている。
【００１３】
また、車両には各種のセンサが搭載されている。各種のセンサの検出結果により、ステレオカメラシステムは車両の状況を判定する。そして判定結果に応じて以下の３つの支援のいずれを行うかを決定する。
１．運転支援
２．駐車支援
３．ドア開閉支援
そして、ステレオカメラシステム（図の状況判断・画像選択部１１）は、行う支援の態様により、３つのステレオカメラ１〜３が撮影された画像のうちどの画像を画像処理部（後述する前処理部１２以降）に出力するかを決定する。そして、画像処理部は、処理の態様に応じて、複数のステレオカメラのそれぞれに特有の歪み補正を行う。これにより、状況判断・画像選択部１１で選択されたステレオカメラの画像に共通の相関演算を施すことができるようになる。したがって、複数のステレオカメラに共通の相関演算処理を行うことで、演算装置や画像処理の処理負荷を低減することができる。
【００１４】
各支援について簡単に説明する。
１．運転支援
先行車両などの障害物との距離を検出し、警告や自動制動を行うことで安全性を向上する支援、白線（走行レーンを区切る線や点、小突起、反射物体などの路面標示）や路肩を検出し、走行レーンからの車両の逸脱を防止する支援、などが相当する。駐車支援又はドア開閉支援以外の支援は運転支援に含まれる。主に車両の前方を撮影するステレオカメラが使用されるが、支援の内容によって種々のステレオカメラが使用される。
２．駐車支援
車両が停止した後、ドアから対象物（壁や車の側面）までの距離、それらの面の傾き、面の方向などを検出し、再度の駐車を促す支援などが相当する。主に、車両の前方、車両の側方を撮影するステレオカメラが使用される。
前方から駐車すると判定された場合、ステレオカメラシステムは、ステレオカメラ１と、２又は３（右折駐車か左折駐車かにより選択）とが交互に使用されるモードになる、また、表示装置（図示せず）に駐車位置の目安となる白線を表示するモードになる、などの支援を行う。
３．ドア開閉支援
車両が駐車した後、ドアを開放してよいか否かの判断、開放してよい場合は開放可能なドアの開度を制限する支援などが相当する。主に、車両の側方を撮影するステレオカメラが使用される。
【００１５】
〔構成例〕
＜ステレオカメラの搭載例＞
図２は、３つのステレオカメラの搭載位置を模式的に示す図の一例である。ステレオカメラ１は前方に、ステレオカメラ２は運転席から見て左側方に、ステレオカメラ３は右側方に、それぞれ配置されている。ステレオカメラ１は、室内ルームミラーや車両前部バンパに、車両前方のやや水平下向きに光軸を向けて配置される。ステレオカメラ２は、例えば、右ドアミラー、車両右側面のドアノブ設置部分の窪み、ドアウィンドウのフレーム、Ａピラー５１、Ｂピラー５２又はＣピラー５３などに、車両右側方、車両右側方よりもやや後方又は車両右側方よりもやや前方に光軸を向けて配置される。ステレオカメラ３は、例えば、左ドアミラー、車両左側面のドアノブ設置部分の窪み、ドアウィンドウのフレーム、Ａピラー５１、Ｂピラー５２又はＣピラー５３などに、車両左側方、車両左側方よりもやや後方又は車両左側方よりもやや前方に光軸を向けて配置される。
【００１６】
ステレオカメラ１は運転支援用兼駐車支援用、ステレオカメラ２，３は駐車支援、ドア開閉支援用であるが、後述するように画角によってカバーできる範囲が広がるので、支援と使用されるステレオカメラの関係は一定とは限らない。支援とステレオカメラの配置の関係は一例にすぎない。
【００１７】
この他、バックガイドモニタ用のステレオカメラが後部ナンバープレートの周辺や、後部バンパなどに搭載されてもよい。すなわち、ステレオカメラの使用個数は４つ以上でもよい。レンズの画角、焦点距離、ズーム機能などの光学的特性は、ステレオカメラ内の２つのカメラで同等であればよく、各ステレオカメラ１〜３はどのような光学的特性を有していてもよい。すなわち、魚眼のような広画角のレンズや、狭角のレンズなど異なる光学特性のステレオカメラをステレオカメラ１〜３に適用できる。
【００１８】
ステレオカメラ１は、主に、車両前方の歩行者との距離、先行車両との距離、その他の地物（標識、信号機、電柱、ガードレール等）や障害物との距離を測定するために用いられる。ステレオカメラ１の輝度画像を用いて、対象物との距離以外の画像処理（例えば、白線認識、歩行者認識等）を行ってもよい。
【００１９】
また、駐車支援用のステレオカメラ１として用いられる場合、例えば、２つの車両や壁に挟まれた駐車スペースに自車両が入る間隔があるか否かを判定するため、空間の幅を検出する。
【００２０】
ステレオカメラ１は、測距範囲や撮影範囲の異なる複数のステレオカメラを同じ向きに設置し、状況に応じて使いわけてもよい。この場合、各ステレオカメラ１〜３は、異なる画角、焦点距離の２つ以上のカメラを有している。
【００２１】
また、複数のステレオカメラ１を異なる向きに設置してもよい。異なる向きの設置例として、前方の対象物の距離を認識するために前方に設置する以外に、車両の全周囲を監視するように設置する、後続車との距離を認識するために後方に設置する、などが考えられる。
【００２２】
ステレオカメラ２，３は、運転者や搭乗者がドアの開閉をする際に、周囲から近づいてくる人や物を認識するために用いられる。なお、搭乗者とは運転者以外の乗員をいい、運転者と搭乗者を区別しない場合単に乗員という。
【００２３】
ステレオカメラ２，３は、駐車場などで、隣の他車両との距離を測定し、駐車中に後側方から接近する自転車、バイク、及び、歩行者との距離を測定する。このように、距離を測定する対象物の方向がやや異なるので、ステレオカメラ２，３には広角レンズを使用したステレオカメラを用いてもよい。ステレオカメラ２，３では、ドアの開閉が可能かどうかを正確に判断するとともに、ドアの開閉のタイミングを判断するため、画角によって歪み補正精度を変えることで一つのレンズで二つの目的を達成することができる。例えば、狭角の範囲は高精度に歪みを補正し、広角の範囲は物体検知及び検出物体の速度算出をおこなえる程度の精度で歪みを補正するような歪み補正方法が搭載される。
【００２４】
ステレオカメラ１〜３以外に、乗員検知システムや、乗員認識システムを搭載してもよい。例えば乗員検知カメラを用いた場合、乗員検知カメラは、乗員（権限のない侵入者を含む）を検知し、搭乗者や運転者の体格、身長、幅などを検知する。
【００２５】
乗員検知カメラの設置位置は、車内を前方から後方に向けて撮像できる位置（例えば、ルームミラー、サンバイザ、Ａピラー５１、天井部等）、又は、車内の側方から前方に向けて撮像できる位置（例えば、Ｃピラー５３、後部ドアフレーム、天井部等）等である。また、車両の側方から車内側を撮像できる位置（例えば、ドア、Ａピラー５１、Ｂピラー５２、Ｃピラー５３）に設置して、搭乗者や運転者を横から撮像することも有効である。
【００２６】
乗員検知カメラにより、搭乗者及び運転者の体格、身長又は幅等が分かることで、後述するように、車両がどのくらいドアを開けることが可能かを計算することができる。
【００２７】
また、乗員検知することで、車内のどの座席に搭乗者や運転者が乗車しているか検出されるので、開閉される可能性のあるドアを推定することができる。これにより、複数のステレオカメラから一つのステレオカメラを選ぶときの選択肢を絞ることができる。
【００２８】
乗員検知カメラはステレオカメラでも単眼カメラでもよい。単眼カメラでは、動体を検出することで、人の体格、身長又は幅等を検出する。これに対し、ステレオカメラでは、画像の輝度情報だけでなく、距離情報を得ることができるので、搭乗者や運転者とそれ以外（シート、ウィンドガラス、車内設備など）を高精度に分離することができるという利点がある。
【００２９】
なお、ステレオカメラ１〜３は、出荷時又は車両搭載後に一対のカメラが撮影した画像データをキャリブレーションデータにしてキャリブレーションされている。すなわち、一対のカメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）を生成しておく。または、後述する多項式でもよく、これらは後述する図４のメモリ２に記憶されている。前処理部は、相関演算をする前に、このＬＵＴ又は多項式により入力された画像データを変換する。
【００３０】
＜ハードウェア構成＞
図３はステレオカメラシステム１００のハードウェア構成図の一例を示す。車両には多くのマイコンが搭載されており、１つ以上のマイコンが搭載された１つの装置をＥＣＵ（Electronic Control Unit）と呼ぶことが多い。代表的なＥＣＵとしては、エンジンを制御するエンジンＥＣＵ、ブレーキを制御するブレーキＥＣＵ、ドアやシートを制御するボディＥＣＵ、ナビやＡＶ機器を制御する情報系ＥＣＵ等が知られている。図のＥＣＵ４３は、これらのＥＣＵを代表したものである。
【００３１】
ＥＣＵ４３には各種のセンサ類４４や不図示のアクチュエータが接続されている。ＥＣＵ４３に接続されるセンサ類４４やアクチュエータは各ＥＣＵ４３の制御に好適なように又はハーネスなどの取り回しに無駄がないように設計されているので固定的であるとは限らない。例えば、エンジンＥＣＵには、エンジン回転数センサ、スロットルポジションセンサ、エアフローセンサ、水温センサ、Ｏ２センサ等が接続されている。ブレーキＥＣＵには、車速センサ、ブレーキセンサ、マスタシリンダ圧センサ、ポンプ油圧センサ、ホイルシリンダ圧センサ等が接続されている。ボディＥＣＵには、ドアロックセンサ、カーテシセンサ等が接続されている。
【００３２】
車載されたＥＣＵ４３は、ＣＡＮ（Controller Area Network）やＦｒｅｘＲａｙなどの規格の車載ＬＡＮを介して通信可能に接続されている。ＥＣＵ４３は、予め定められた各種のセンサの信号や信号の処理結果を車載ＬＡＮ上に送信する。車載ＬＡＮ上のデータは、車載ＬＡＮに接続された全てのＥＣＵ４３が参照可能であり、各ＥＣＵ４３は予め定められたデータを受信して処理に使用する。
【００３３】
カメラ制御ＥＣＵ４２はＥＣＵ４３と同様に車載ＬＡＮに接続されており、他のＥＣＵと通信することができる。カメラ制御ＥＣＵ４２は、表示装置４１、及び、ステレオカメラ４０（以下、区別する場合ステレオカメラ１〜３という）と接続されている。カメラ制御ＥＣＵ４２には一台以上のマイコンが搭載されており、一般的な車両のマイコンと同様にＣＰＵ，ＲＡＭ、ＲＯＭ、ＣＡＮＣ（ＣＡＮ Controller）、Ｉ／Ｏを有すると共に、画像処理のための画像処理ＩＣ２０を有している。これらは、システムバスや外部バス及びバスコントローラを介して接続されている。
【００３４】
ステレオカメラ１〜３はそれぞれＩ／Ｏに接続され、撮影した画像データは適宜、画像処理ＩＣ２０がＲＡＭを用いて画像処理する。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭを作業メモリに実行して、後述する各種の制御を行う。ＣＡＮＣは、ＣＡＮプロトコルに基づき他のＥＣＵ４３と通信を行う。なお、表示装置４１は、ステレオカメラ１〜３が撮影した映像を表示する液晶や有機ＥＬなどのディスプレイ、又は、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）である。表示装置４１は、画像処理により検出された例えば歩行者や障害物を強調して表示するために用いられるが、必ずしも必要ではない。また、表示装置４１は、道路地図を表示するナビゲーション装置と兼用されることが多い。
【００３５】
＜機能ブロック図＞
図４は、ステレオカメラシステム１００の機能ブロック図の一例を示す。ステレオカメラシステム１００は、状況判断・画像選択部１１、前処理部１２、相関演算部１３、認識部１４、及び、表示・警報・制御部１５を有する。状況判断・画像選択部１１は、車速センサ２１、ステアリング舵角センサ２２、シフトポジションセンサ２３、方向指示器センサ２４、ブレーキセンサ２５、サイドブレーキセンサ２６、温度センサ２７、ドアロックセンサ２８、焦電センサ２９、マイクロスイッチ３０、乗員検知センサ３２、メモリ１、及び、ステレオカメラ１〜３と接続されている。
【００３６】
車速センサ２１は、例えば、車輪が所定角回転する毎にパルスを出力するセンサであり、状況判断・画像選択部１１は単位時間当たりのパルスの数により車速を求めることができるようになっている。ステアリング舵角センサ２２は、例えば、ステアリングシャフトの回転に伴いフォトダイオードが検出する光を遮ることで、舵角を検出する。シフトポジションセンサ２３は、シフトレバーの位置（Ｐ，Ｎ，Ｄ、Ｒ等）を検知し、検知されたシフトポジションに応じた電気信号を出力する。方向指示器センサ２４は、例えばステアリングコラムから延設された揺動式のターンシグナルスイッチ（ウィンカスイッチ）の操作方向を検知する。ブレーキセンサ２５は、ブレーキペダルが踏み込まれた際にオンとなる信号を出力するセンサ（ストップランプスイッチ）又はマスタシリンダ圧からブレーキペダルの踏み込みを検出するセンサである。温度センサ２７は車内温度又はステレオカメラ１〜３の環境温度を検出するセンサである。ドアロックセンサ２８は、ドア毎にドアのロック／アンロックを検出するセンサである。焦電センサ２９は、赤外線を受光して電圧を出力するセンサであり、ドアの開放レバーや内側のドア取っ手などに配置される。焦電センサ２９により搭乗者や運転者がドアに手を掛けたことが検出される。マイクロスイッチ３０も同様に、ドアの開放レバーや内側のドア取っ手などに配置され、搭乗者や運転者がドアに手を掛けていることを検出する。乗員検知センサ３２は、運転席、助手席、後席右、後席中央、及び、後席左の各座席に配置された荷重センサ、又は、室内カメラなどであり、各座席毎に乗員の有無を検知する。
【００３７】
状況判断・画像選択部１１は、各種のセンサの信号及びステレオカメラ１〜３が撮影した画像データの認識結果に基づいて車の走行状態を判断する。また、状況判断・画像選択部１１は、運転者、搭乗者の行動予測をして複数のステレオカメラ１〜３から一つのステレオカメラの画像データを選択する。
【００３８】
前処理部１２は、ステレオカメラ１〜３がそれぞれ撮影する２つの画像データに対し、相関演算部１３が共通の相関演算を行なえるように画像を処理する。
【００３９】
相関演算部１３は、前処理部１２が処理した二つの画像データの相関演算を行なう。認識部１４は、相関演算結果の演算結果に基づき対象物を認識する。表示・警報・制御部１５は、認識結果を表示装置４１に表示したり、認識結果に基づき警報を吹鳴したりブレーキやドアの開閉を制御したりする。
【００４０】
〔ステレオカメラの距離情報の検出原理〕
図５は平行配置したステレオカメラによる距離計測の原理を説明するための図である。
カメラＣ０とＣ１が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：f、
光学中心：O0、O1
撮像面：s0、s1
カメラＣ０の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Ａの像は、直線Ａ−O0と撮像面s0との交点であるP0に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面s1上の位置P1に像を結ぶ。ここで、カメラＣ１の光学中心O1を通り、直線Ａ−O0と平行な直線と、撮像面s1との交点をP0´とし、点P0´とP1との距離をpとする。
【００４１】
P0´は、カメラＣ０上の像P0と同じ位置であり、距離pは、同じ被写体の像の、二つ
のカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:Ａ-O0-O1、三角形O1- P0´-P1は相似なので、
d ＝ Ｂｆ／p
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離fが既知ならば、視差pから距離dを求めることができる。
【００４２】
ここで、このようなカメラの結像光学系は、カメラ外部にある被写体の像を撮像面上に投影する。
【００４３】
〔状況判断と画像選択〕
図６は、状況判断に基づく画像の選択例を説明する図の一例である。状況判断・画像選択部１１では車の走行状態の判断および搭乗者や運転者が何をしたいのかという行動予測をし、その判断結果に基づいて複数のステレオカメラ１〜３の中から一つのステレオカメラの画像を選択する。
【００４４】
図では細線のマスが支援の選択結果を、太線のマスは状況の判断対象をそれぞれ示す。支援の内容と選択されるステレオカメラの画像の対応は以下のようになる。
運転支援 ：ステレオカメラ１
駐車支援 ：ステレオカメラ１、２，３
ドア開閉支援：ステレオカメラ２，３
以下、図６のように状況判断することの考え方について説明する。
【００４５】
＜状況判断・画像選択のタイミング＞
ドア開閉支援と運転・駐車支援に限定した場合、運転・駐車支援とドアの開閉支援が短時間に交互に必要になる可能性は極めて低い。そこで、車速がゼロの場合には状況判断処理を行う間隔を短くし、車速が閾値以上の値を示している場合に状況判断処理を行う間隔を長くする。間隔は、例えば周期的に撮影されるフレーム数（１つのカメラで撮影される画像データの数）でカウントしてもよい。これにより、車速が閾値以上の値を示している場合はリソースを他にまわすことができる。なお、状況判断及び画像選択を常に数フレームごとに行なってもよい。
【００４６】
例えば、運転支援用のステレオカメラ１も一台でなく前方、後方、側方など、複数ある場合があるので、状況判断・画像選択部１１は、車速が閾値以上の値の場合には複数のステレオカメラ１の中から測距に使用する一つのステレオカメラを選択する処理などを行う。こうすることで、リソースをステレオカメラの選択にまわすことができる。
【００４７】
＜ステレオカメラ選択方法＞
複数のステレオカメラ１〜３の中から一つのステレオカメラを選択する場合、一度に一つのステレオカメラを選択してもよいが、次のように候補を絞っていくことも有効である。すなわち、状況判断結果に応じてまずは測距候補のステレオカメラを抽出し、抽出されたステレオカメラの識別情報をメモリ1に記憶させ、その抽出されたステレオカメラの中から一つのステレオカメラを選択する。これは、運転・駐車支援用のステレオカメラ１とドア開閉支援用のステレオカメラ２，３を切り替えるといっても２台から1台を選択するとは限らないためである。それぞれが複数台設置されている可能性が高く、ドア開閉支援用のステレオカメラ２，３もドアは4つあるので、多ければ4つ少なくとも２つは設置してある可能性がある。選択処理を容易にするには、できるだけ一度に選択する選択肢を狭めておくことが好ましい。例えば、車速がゼロで数フレームごとに状態判断を行う際に、毎回多くのセンサからの情報を得て、複数の中から一つのステレオカメラを選ぶのではなく、その走行状態から必要となるステレオカメラを予測し抽出しておくことで、処理に必要なリソースを少なくすることができ、瞬時に切り替え判断が必要な場合に処理を早く行なえる。ドアの開閉が検出された場合又は開閉の直前であることが検出された場合にドア開閉支援の画像の選択に確定する。
【００４８】
状況判断・画像選択部１１がステレオカメラを選択する際に、複数のステレオカメラの中から抽出されたステレオカメラの数が一つではない場合、更に温度センサ２７からの温度情報、マイクロスイッチ３０、焦電センサ２９の情報によって複数のステレオカメラの中から更に一つのステレオカメラを選択してもよい。
【００４９】
＜状況判断＞
一般に、車両が走行しながら運転者がドアを開閉しなければならない状況はないとしてよいので、走行しているか否かにより、運転・駐車支援とドア開閉支援を切り替える。しかし、走行しているか否かのみから判定すると、適切に切り替えできないおそれがある。例えば、車速の情報からのみで判断を行うと、運転支援をしなければならない状況にも関わらず、突然ドアの開閉支援用カメラに切り替えて測距を行うという誤った判断をしてしまい、前方の監視ができなくなるような状況が生じる可能性がある。すなわち、車が停止したからドアの開閉支援を行うという判断を行うとすると、信号待ちや一時停止時などに毎回ドア開閉支援に切り替わってしまい、その間、運転支援ができなくなってしまう。
【００５０】
また、シフトポジションセンサ２３によってシフトポジションがパーキングになっていることが検知された時のみにドア開閉支援を行なうとした場合、例えば、シフトポジションがドライブの状態で搭乗者や運転者が車から降りるような場合にドア開閉支援を行えない。
【００５１】
また、マイクロスイッチ３０や焦電センサ２９からの情報でドアの開閉を検知しようとすると走行中であるにも関わらず、ドアに手をかけただけでドア開閉支援に切り替わってしまう可能性がある。この様な誤判断を防ぐための状態判断方法の例を以下に示す。
【００５２】
状況判断について説明するためブレーキ頻度について説明しておく。
図７は、ブレーキセンサ２５からの信号処理と、ブレーキ頻度を説明する図の一例である。図７では、黒丸がブレーキペダルの信号の検出タイミングを示しており、ブレーキペダルが踏み込まれていると検出されたら"１"に、ブレーキペダルが踏み込まれていないと検出されたら"０"に黒丸がプロットされている。
【００５３】
ブレーキセンサ２５からの信号が１ミリ秒間に2回得られるとする。ある一定時間、例えば5ミリ秒間の間にブレーキセンサ２５からの信号が1になった回数を数える。この値をブレーキ頻度と呼ぶことにする。
【００５４】
図７（ａ）では、５ミリ秒間の全ての黒丸が"１"であり、図７（ｂ）では、５ミリ秒間の５つの黒丸が"１"であり、図７（ｃ）では、５ミリ秒間の２つの黒丸が"１"である。
【００５５】
運転者がブレーキペダルを踏み続けている状態だったら、図７（ａ）に示すように、ブレーキ頻度は大きな値（"１"の数は10回／5msec = ２回／１ミリ秒）となるはずである。
【００５６】
また、駐車のための運転操作中は、走行中よりもある一定時間内にブレーキペダルをふむ回数が多くなるのでブレーキ頻度は走行中よりも大きな値をとる。しかし、ブレーキペダルを踏み続けている状態よりは小さくなるはずである。このため、図７（ｂ）に示すように、５ミリ秒に１０回よりも少ないがゼロよりは多い数の"１"が得られる。
【００５７】
また、走行中はブレーキペダルを踏むことはあるが、ある期間で区切ったときにはブレーキ頻度は駐車時と比較してはるかに小さな値となる可能性が高い。このため、図７（ｃ）に示すように、５ミリ秒にゼロよりは多い数の"１"が得られる。
【００５８】
したがって、図７（ａ）〜（ｃ）の"１"の数を参考に、ブレーキペダルを踏み続けている状況と、駐車の運転操作中などにブレーキペダルを踏むが踏み続けているわけではない状況と、を区別するブレーキ頻度の値を閾値として定めておけば、状況を判断できる。ブレーキペダルを踏み続けているかどうかを判断する閾値を閾値bとし、駐車操作中と停止中（駐車後）を区分するための閾値を閾値aとする。閾値bは例えば、９〜１０位であり、閾値ａは１〜２位である。
【００５９】
＜状況判断＞
一般に、車両が走行しながら運転者がドアを開閉しなければならない状況はないとしてよいので、走行しているか否かにより、運転・駐車支援とドア開閉支援を切り替える。しかし、走行しているか否かのみから判定すると、適切に切り替えできないおそれがある。例えば、車速の情報からのみで判断を行うと、運転支援をしなければならない状況にも関わらず、突然ドアの開閉支援用カメラに切り替えて測距を行うという誤った判断をしてしまい、前方の監視ができなくなるような状況が生じる可能性がある。すなわち、車が停止したからドアの開閉支援を行うという判断を行うとすると、信号待ちや一時停止時などに毎回ドア開閉支援に切り替わってしまい、その間、運転支援ができなくなってしまう。
【００６０】
また、シフトポジションセンサ２３によってシフトポジションがパーキングになっていることが検地された時のみにドア開閉支援を行なうとした場合、例えば、シフトポジションがドライブの状態で搭乗者や運転者が車から降りるような場合にドア開閉支援を行えない。
【００６１】
また、マイクロスイッチ３０や焦電センサ２９からの情報でドアの開閉を検知しようとすると走行中であるにも関わらず、ドアに手をかけただけでドア開閉支援に切り替わってしまう可能性がある。この様な誤判断を防ぐための状態判断方法の例を以下に示す。
【００６２】
・ドアロックの解除の判断（Ｓ１）
まず、ドアロックが解除されているか否かの情報を得る。ドアの開閉の場合には必ずドアロックが解除されるので、ドアロックが解除されていなければ（Ｓ１のＮｏ）、状況判断・画像選択部１１は運転・駐車支援用のステレオカメラ１で測距をするようにする（図６のａ）。
【００６３】
状態判断を行なう際には車速センサ２１、ステアリング蛇角検出センサ２２、シフトポジションセンサ２３、方向指示器センサ２４、ブレーキセンサ２５、サイドブレーキセンサ２６、ドアロックセンサ２８の信号を組み合わせて判断する事が望ましい。
【００６４】
また、判断を行う際には数フレーム前のステレオカメラの画像に対して特徴物認識を行い、その認識結果を上記センサ情報と一緒に用いると更に正確な状態判断を行う事ができる。特徴物認識を行なう画像は視差画像でも輝度画像でもかまわない。
【００６５】
また、特徴物認識ではなく、数フレーム前のステレオカメラの画像から物体を検知し（同じ視差値の塊をひとつの物体とみなす）、その物体の時間に対する移動量つまり速度を算出し、その結果を一緒に用いると更に正確な状態判断を行う事ができる。
【００６６】
・・車速度がゼロの場合でない場合の運転支援の判断
車速度がゼロの場合でない（Ｓ２のＮｏ）、状況判断・画像選択部１１はブレーキ頻度が閾値ａ以下であるか否かを判定する（Ｓ３−１）。ブレーキ頻度が閾値ａ以下の場合（Ｓ３−１のＹｅｓ）、運転者に駐車の意志がないと判断し、運転支援を行う（図６のｃ）。ブレーキ頻度が閾値ａ以下でない場合（Ｓ３−１のＮｏ）、運転者に駐車の意志があると判断し、駐車支援を行う（図６のｂ）。
【００６７】
・・車速度がゼロで駐車完了後の判断
ドアロックが解除されている場合（Ｓ１のＹｅｓ）、まずは車速情報を得る事が考えられる（Ｓ２）。車速がゼロである場合（Ｓ２のＹｅｓ）、シフトポジションセンサ２３からシフトポジションがパーキングになっているかの情報を取得する（Ｓ３−２）。シフトポジションがパーキングになっている場合（Ｓ３−２のＹｅｓ）には、駐車完了後と判断してドアの開閉支援システムを行う（図６のｄ）。渋滞中や信号待ちが長い場合にはギヤポジションをパーキングにする事はあるが、走行する際には必ずシフトポジションをドライブにするため、ドア開閉支援用のステレオカメラ２，３に切り替えても問題ない。
【００６８】
更に正確に判断するために認識部１４の画像認識結果から特徴物をみつける、または周囲に静止物が多いなどから、車が駐車中であるという判断をしてもよい。また、シフトポジションセンサ２３でなくてもブレーキセンサ２５からの情報でも判断できる。車速がゼロであるにも関わらず、ブレーキペダルを踏んでいないかつサイドブレーキをひいているのであれば車は駐車完了状態である可能性が高い。
【００６９】
・・走行中だが一時的に車速度がゼロの場合の判断
駐車完了後と判断する場合と同様に、ドアロックの状態（Ｓ１）、車速を確認する（Ｓ２）。信号待ち、一時停止待ちの場合には車速はゼロになっているはずである。車速がゼロである場合（Ｓ２のＹｅｓ）、シフトポジション検出センサからシフトポジションがパーキングになっていない事を確認する（Ｓ３−２）。パーキングになっていれば駐車完了後と判断してかまわない。シフトポジションがパーキングでない場合（Ｓ３−２のＮｏ）、次にブレーキセンサ２５からの情報を取得する（Ｓ４）。このときに、ある時点においてブレーキペダルをふんでいるかいないかの判断をするのではなく、ある一定時間にブレーキペダルを踏んでいる状態はどのくらいの頻度で起こっているのかの情報を取得する。
【００７０】
(i) ブレーキ頻度が閾値b以上である場合（Ｓ４のＹｅｓ）
状況判断・画像選択部１１は、ブレーキ頻度が閾値b以上である場合には運転者がブレーキペダルを踏み続けている状態であると判断する。
【００７１】
次に、運転支援用のステレオカメラで撮像した画像データ（認識に使用する画像は相関演算前後を問わない）から取得した、後述する認識部１４で処理された特徴物認識結果を得る（Ｓ５−２）。特徴物とは具体的に信号や横断歩道の縞模様、一時停止線及び標識、踏み切りなどが挙げられる。もし特徴物を認識した場合は（Ｓ５−２のＹｅｓ）、信号待ちや一時停止状態、踏み切り待ち状態であると判断して、運転支援用のステレオカメラ１とドア開閉支援用のステレオカメラ２，３を抽出する。
【００７２】
この際、ドア開閉支援のステレオカメラ２，３としては全てのステレオカメラを抽出する必要はなく、車内に設置した乗員検知センサ３２によって検知された搭乗者や運転者のいる場所のドア開閉支援用のステレオカメラ２，３に絞ってもよい。ただし、搭乗者や運転者は車内で移動する可能性があるので（特に後部座席）、ある時間おきに検知する必要がある。
【００７３】
運転支援用のステレオカメラ１とドア開閉支援用のステレオカメラ２，３が抽出された場合、マイクロスイッチ３０や焦電センサ２９でドアの開閉を検知した場合にのみドア開閉支援に切り替え、その他の場合には運転支援を行う事とする（図６のｇ）。
【００７４】
また、画像認識で特徴物体を検知しなかった場合でも（Ｓ５−２のＮｏ）、すぐに信号待ちなどの状態ではないと判断しない。これは、画像認識による信号や踏み切り、横断歩道などの検知には限界があるからである。特徴物体を検知しなかった場合、状況判断・画像選択部１１は、次に、ステレオカメラの認識結果から自車の進行方向を横切る方向に移動している物体があるか否かを確認する（Ｓ６）。
【００７５】
画像認識で特徴物体を仮に検知できなかったとしても、視差画像からは物体検知をする事ができ、ひとつの物体が動いているかどうかは判断できる。もし物体が車を横切る方向に移動している事が確認できたときには横断歩道などではないが、歩行者が横断しようとしているので停止したというような状態が考えられる。このような移動物体を検知した場合（Ｓ６のＹｅｓ）、走行中に一時的に停止したと判断してドア開閉支援用のステレオカメラ２，３も候補カメラとして抽出する。そして、マイクロスイッチ３０や焦電センサ２９でドアの開閉を検知しなければ運転支援を行う事とする（図６のｉ）。
【００７６】
また、移動物体も検知しなかった場合（Ｓ６のＮｏ）、搭乗者や運転者が降車する可能性が高いと判断して運転席以外のドアの開閉支援用のステレオカメラ２，３に切り替える（図６のｈ）。運転者を省く理由は、シフトポジションがパーキングでなく、ブレーキペダルを踏み続けた状態でドアを開いて車外に出る可能性が極めて低いからである。
【００７７】
(ii) ブレーキ頻度が閾値aより大きくbより小さい場合（Ｓ４でＮｏかつＳ５−１でＮｏ）
また、ブレーキ頻度が閾値aより大きくbより小さい場合には駐車操作中と判断して駐車支援用のステレオカメラ１に切り替える（図６のｅ）。駐車支援用のステレオカメラ１がドア開閉支援用のステレオカメラ２，３と併用される場合には、前処理部１２で広角領域も高精度に歪みを補正できる処理を行なうなどしてもよいし、そのままドア開閉支援用ステレオカメラに切り替えてもよい。
【００７８】
(iii) ブレーキ頻度が閾値a以下である場合（Ｓ４でＮｏかつＳ５−１でＹｅｓ）
また、ブレーキ頻度が閾値a以下である場合、車は停止状態であり、運転者以外の人が車外に出る可能性が高いので運転席以外のドアの開閉支援を行う（図６のｆ）。例えば、サイドブレーキをかけていてブレーキペダルをふんでいないが停止している状態である場合などは、このような条件にあてはまると考えられる。
【００７９】
・・ドア開閉支援用と駐車支援用のステレオカメラを併用する際の状態判断方法（車速はゼロではない）
ドアの開閉は基本的には車が動いていない状態で行なうため、車速がゼロの状態では、上記のように運転支援用のステレオカメラとドア開閉支援用のステレオカメラを切り換える。
【００８０】
しかし、ドア開閉用のステレオカメラ２，３を駐車支援用としても併用する場合には車速がゼロではない場合にでもドア開閉用のステレオカメラ２，３が使用される事になる。
【００８１】
ところで、ドア開閉支援用のステレオカメラ２，３は車両の側方に設置され、目標測距離範囲は近距離用である。一方、駐車支援用のステレオカメラ１も自分の車の周囲の車や人と衝突しないような目的で設置されることから、ドア開閉支援用のステレオカメラ２，３と同じようなレンズの仕様である場合が多い。そのため、ドア開閉支援用のステレオカメラ２，３と駐車支援用のステレオカメラ１の併用が可能であり、ステレオカメラ２，３の数を少なくする事ができるのでコストが安くなる。以下の例では、運転支援用及び駐車支援用のステレオカメラ１が前方に複数設置され、側方にドア開閉支援用のステレオカメラ２，３が設置されている場合を想定する。
【００８２】
・・駐車中（バック）
駐車操作中は走行中よりも車速が低いと考えられるので、走行中と駐車操作中とを判断する車速の閾値をメモリ1などに記憶させておく。車速が閾値以下である場合、次にシフトポジションセンサ２３からの情報を得る。もしシフトポジションセンサ２３でリバースにシフトポジションがあることが検出された場合、駐車支援用カメラに切り替える。
【００８３】
図８は、車両を前方に進行させて駐車する場合の周囲の車の向きと、自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。図９は、渋滞中の周囲の車の向きと自車両に設置されたステレオカメラの撮影方向を模式的に示す図の一例である。
【００８４】
前方に進入させて駐車する場合は、渋滞中や左折、右折時との区別をつけなくてはならないのでシフトポジションをリバースにいれて駐車する時よりも判断に多くの情報を必要とする。まず、シフトポジションがドライブになっており、車速が閾値以下であること、ブレーキ頻度が駐車操作中の範囲の値となっているか否かを確認する。上述した閾値を用いるとブレーキ頻度が閾値aより大きくb未満であるか否かを確認する。次に、方向指示器センサ２４からの情報より、右折、左折をしようとしているのかを判断する。ウィンカーが出されている場合には走行中の右折、左折時として運転支援用カメラを選択する。一方、ウィンカーがだされていなかった場合には駐車中もしくは渋滞中である可能性がある。
【００８５】
さらに、駐車操作中又は渋滞中であるかを判断するために認識部１４の画像認識結果を使用して、画像中における静止物の割合から判断してもよい。この場合は輝度画像ではなく視差画像から認識を行なうことが望ましい。
【００８６】
また、認識を行なう画像としては運転支援用の前方を撮像した画像が望ましい。画像からまずは物体認識を行なう。このときには画像中の物体が何であるか、車、信号、人、ビルであるかは認識しなくてもよい。同じ視差値を持つかたまりを物体と認識し、その物体が静止している物体であるかを確認する。具体的には、車の速度センサから走行距離を計算し、その走行距離分その認識した物体が車に対して近づいているかを視差画像から計算する。
【００８７】
走行距離分だけ認識した物体が自分の車に近づいている場合にはその物体は地面に対して静止していると考えられる。渋滞中で自分の車が静止していない場合は、周囲の車もわずかではあるかもしれないが動いており静止はしていないはずである。一方、駐車する際には周囲の物は静止しているものが多いなどの特徴があるので、画像認識結果は駐車中と渋滞中の状態判断をする際の有用な情報となる。
【００８８】
また、走行距離に対して周囲の静止物が自分の車に近づいてくる距離だけではなく、例えば静止物の向きを視差画像から算出し、その結果から駐車をしようとしているのか判断してもよい。
【００８９】
自分の車の前方には車の向きと同じ方向にむけてステレオカメラが設置してある例を考えてみる。図８は駐車する際の図であるが、車の進行方向と自分の車に設置してあるステレオカメラの光軸の向きのなす角をθ1とする。また、図９は渋滞中の図であるが、車の進行方向と自分の車に設置してあるステレオカメラの光軸の向きのなす角をθ2とする。
【００９０】
車の進行方向はステアリング舵角やヨーレートセンサから求められ、また、視差画像から算出することもできる。渋滞中だと、道が急カーブである場合を除いて、自分の車の前方にある車の向きは自分の車の向きとほぼ変わらないのでθ２は小さな値をとるが、駐車時には自分の車と前方にある駐車中の車の向きが大きく異なる可能性が高いためθ１は大きな値をとると考えられる。この前方物体（車両）と自分の車の相対角度に閾値をもうけて状態判断を行うことも考えられる。
【００９１】
状況判断・画像選択部１１はθに基づいて運転支援が行うか、駐車支援を行うかを判断して、前述の支援内容を実施する。
【００９２】
＜図６の状況判定＞
以上を踏まえて、図６では以下のように状況が判定されている。
（１）ドアロックが解除されていない
a．運転席のドアロックが解除されていないので、運転者は駐車を含む運転を継続すると予想される。このため、状況判断・画像選択部１１は「運転・駐車支援」を行うと判断する。
（２）ドアロックが解除されており、車速がゼロでなく、ブレーキペダルを踏む頻度が閾値ａ以下でない
ｂ．ブレーキペダルを踏む頻度がａより多いため、運転者は駐車中又は駐車する直前であると予想される。ドアロックが解除されているのはロックし忘れているためと考える。
（３）ドアロックが解除されており、車速がゼロでなく、ブレーキペダルを踏む頻度が閾値ａ以下である
ｃ．ブレーキペダルをほとんど踏まないため、運転者は運転中である予想される。ドアロックが解除されているのはロックし忘れているためと考える。
（４）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングである
ｄ．シフトポジションがパーキングなので、運転者が降車することが予想される。
（５）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上でなく、ブレーキペダルを踏む頻度が閾値ａ以下でない
ｅ．ブレーキペダルをａ〜ｂの間の頻度で踏むため、運転者は駐車操作中であると予想される。
（６）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上でなく、ブレーキペダルを踏む頻度が閾値ａ以下である
ｆ．ほとんどブレーキペダルを踏んでいないのでサイドブレーキを引いて停止してると考えられ、運転者は運転を終了させており、搭乗者や運転者が降車すると予想される。
（７）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上であり、画像認識で特徴物体を検知した
ｇ．信号機や横断歩道の手前で停止していると考えられ、マイクロスイッチ３０及び焦電センサ２９でドア開閉を感知する以外は運転支援する。
（８）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上であり、画像認識で特徴物体を検知せず、移動物体が横切るのを検知しない
ｈ．信号機や横断歩道、及び、歩行者の横切りも検知されないので、搭乗者や運転者が降車すると予想される（ドア開閉支援）。
（９）ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値ｂ（＞ａ）以上であり、画像認識で特徴物体を検知せず、移動物体が横切るのを検知した
ｉ．歩行者の通過待ちをしていると考えられ、マイクロスイッチ３０及び焦電センサ２９でドア開閉を感知する以外は運転支援する。
【００９３】
また、図１０は、車両が前進して駐車するのか、走行中なのかを判断する手順の一例を示す図である。
【００９４】
状況判断・画像選択部１１はシフトポジションがドライブポジションになっているか否かを判定する（Ｓ１０）。シフトポジションがドライブの場合、車両が前進して駐車する可能性がある。
【００９５】
シフトポジションがドライブポジションの場合（Ｓ１０のＹｅｓ）、次に、状況判断・画像選択部１１は、車速が閾値以下であるか否かを判定する（Ｓ２０）。閾値は例えば１０〜２０〔ｋm/h〕程度である。車速が閾値以下の場合、車両が駐車する可能性がある。
【００９６】
車速が閾値以下の場合（Ｓ２０のＹｅｓ）、状況判断・画像選択部１１は、ブレーキ頻度が閾値aより大きく閾値ｂ未満であるか否かを判定する（Ｓ３０）。閾値aより大きく閾値ｂ未満である場合、運転者が低速に車速調整している可能性がある。
【００９７】
ブレーキ頻度が閾値aより大きく閾値ｂ未満である場合（Ｓ３０のＹｅｓ）、状況判断・画像選択部１１は、方向指示器センサ２４が方向指示器の作動を検出しているか否かを判定する（Ｓ４０）。方向指示器センサ２４が方向指示器の作動している場合、交差点などで車両が右左折する準備をしている可能性がある。
【００９８】
方向指示器が作動していない場合（Ｓ４０のＮｏ）、状況判断・画像選択部１１は車両が前方から駐車すると判断して、駐車支援用カメラを選択する（Ｓ５０）。
【００９９】
ステップＳ１０でＮｏ，ステップＳ２０でＮｏ，ステップＳ３０でＮｏ，又は、ステップＳ４でＹｅｓ，と判断された場合、状況判断・画像選択部１１はその他の運転支援を行うと判断する（Ｓ６０）。その他の運転支援とは、運転支援若しくはドア開閉支援であり、状況によっては運転支援が提供されなくてもよい。
【０１００】
〔前処理部〕
次に、前処理部１２について説明する。前処理部１２は、状況判断・画像選択部１１で選択されたステレオカメラの画像を共通の相関演算部１３で計算できるように処理する。
【０１０１】
・歪み補正
高精度に測距する場合に必須となる歪み補正について説明する。歪みは視差に直接影響を及ぼすため、歪みがあるまま撮像した画像を相関演算してしまうと測距結果は非常に精度の悪いものとなってしまう。複数のステレオカメラを使用するシステムではそれぞれのカメラの目標測定距離及び画角が異なるため、異なるレンズを使用する可能性が高い。レンズには必ず歪みがあり、焦点距離や画角の異なるレンズ（設計値の異なるレンズ）ではその歪み方が異なる。また、同じ設計値のレンズでも製造誤差などによって歪み量は変化する。このため、メモリ2には単眼カメラごとに歪み補正パラメータを記憶している。
【０１０２】
歪みの補正方法としては全画素の補正前後の変換先の情報をもつLUTでもよいし、歪みを多項式で表してもよい。LUTでは記憶容量が多く必要なため、歪みを多項式で表す方が望ましいと考える。特に本実施形態では複数のステレオカメラを使用しているため、全ての単眼カメラのLUTデータを記憶させておくとなると莫大な記憶容量が必要となってしまう。
【０１０３】
歪み補正式としては、例えば式（１）に示した4次の多項式などが考えられる。この歪み補正式は、設計段階で存在する歪みと、同じ設計値であるが製造誤差などによりカメラごとに異なる歪み両方を表現する事ができる。ここで、δx、δyはあるレンズのx方向、y方向の歪み量であり、x,yは理想結像位置座標、f1,f2….fk、g1,g2….gkはある温度における歪み係数である。これら歪み係数を求めるためにx,y,δx,δyの値を測定し、画像全体でこの歪み式を満たすような歪み係数の最適化を行うことが好ましい。
【０１０４】
【数１】
・温度に応じた歪み補正
上述した歪みは温度によって単眼カメラごとに更に変化する。車載用途であると車内は80度近くになるが、温度による歪み量変化は大きく、高精度な測距結果を求めるには相関演算をする前に温度による歪み補正が必要となる。本実施形態では、温度センサ２７からの情報に基づき温度変化にも対応する事ができる。
【０１０５】
状況判断・画像選択部１１において、まずは温度センサ２７が検出した温度情報からステレオカメラが補正可能温度範囲を満たしているか確認した後、前処理部１２も温度センサ２７の情報を得る。メモリ２には各単眼カメラの温度変化に対応した歪み補正パラメータが記憶されている。歪み補正パラメータとしてはLUTや多項式が考えられるが上述したように多項式の方が望ましいと考えられる。
【０１０６】
多項式の例として例えば式（２）がある。式（２）の記号は上述した式（１）と同じであるが、歪み係数fとgが温度の関数として表されている。各温度における単眼カメラごとの歪み係数を記憶しておくよりも、歪み係数を更に温度の関数として表す方がより記憶容量が小さくてすむ。
【０１０７】
【数２】
〔相関演算部〕
相関演算部１３は、前処理部１２から出力された１対の画像データにおいて、共通の処理を行う。ただし、その際に前処理部１２から入力された１対の画像データがどのステレオカメラ１〜３で撮像されたものなのかは画像データと一緒に入力される。その画像データを取得したステレオカメラの基線長、画素数、探索幅などに応じてステレオマッチングを行い、相関演算を行うのが相関演算部１３である。メモリ3には各ステレオカメラの基線長、画素数、探索幅情報が記憶されている事が好ましい。相関演算により視差pが算出される。
【０１０８】
マッチング処理としては、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法が知られている。ＳＡＤ法は、ステレオカメラ１〜３のいずれかにより撮像された一対のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求める方法である。２つの画像の一方を固定し、他方の画像の着目画素を中心に例えば３×３等の画素ブロックを取り出し、固定した画像の画素に対し１画素ずつシフトしながら最も重なり合う位置を求める。重なり合う位置は、２つの画像の輝度値の差の絶対値の積算値を算出して評価値とし、該評価値が最も小さくなる場合に最も重なり合う位置とする。
【０１０９】
最も重なり合う位置までシフトした画素数をｎ、画素ピッチをｓとすると、（ｐ＝ｎ・ｓ）が視差である。
【０１１０】
〔認識部〕
認識部１４では視差と、オフセット値を含む対象物までの距離を算出可能な式により、更に物体認識を行なう。
【０１１１】
・衝突回避
距離情報から周囲の物がどのような距離で分布しているのかがわかる。運転支援用のステレオカメラ１の画像が選択された場合、自車が動いている場合が多いので、車速、ステアリング蛇角センサ、シフトポジションセンサ２３などの情報も総合して、周囲の物との衝突回避の判断を行う。ステレオカメラ１は自分の車に設置してあるため、周囲のものが地面に対して静止しているか動いているかは関係なく、自分の車と距離が近かったら衝突を回避するようにすればよい。
【０１１２】
・特徴物認識
物体認識をおこなう際には、あらかじめ認識対象物の特徴を辞書データとしてメモリ4に記憶しておくことが好ましい。特徴物としては信号や横断歩道の縞模様、一時停止線および標識、踏み切り、人、後ろから見た他車両の形状などがあげられる。
【０１１３】
特徴物認識ができれば、運転者がどの対象物までの距離が短くなっているのかを認識する事ができ注意する事ができる。特徴物が認識された場合、その情報を状況判断・画像選択部１１に入力する事でより正確な状態判断を行なうことができる。また、同じ視差のかたまりを一つのブロックとして、どのような物があるかは認識しないが、そこに物があるかどうかを認識するようにしてもよい。視差のかたまりを１つのブロックとして認識して、どのような物があるかは認識しない場合は辞書データが必要ないというメリットがあるので、後者は測距精度がよいほど高精度に認識できると考えられる。
【０１１４】
・認識物体の速度算出
また、認識した結果をメモリ4に保存しておき、数フレームごとに認識した物体を追跡し、その物体の移動の速さ、向きを算出してもよい。物体追跡をする場合には自分の車の速度情報もあると、認識した物体の移動速度が速いか遅いかという地面に対する絶対速度を算出することができ、更にその認識物体の情報を得ることができる。認識物体の形状、速さ、移動方向がわかると状態判断では有用な情報となる。例えばドアの開閉支援を行う際に、車に近づいてくる物体を認識し、速度などから開閉してもよいタイミングを搭乗者や運転者に知らせたり、制御できたりする。また、例えば、最も早く接近する移動速度の物体を撮影しているステレオカメラの画像を選択することができる。
【０１１５】
・駐車時の方向修正
駐車支援用のステレオカメラ１をドア開閉支援用のステレオカメラと併用する場合、撮影される画像は壁や停止している車の側面である事が多い。これを利用して駐車支援することができる。視差画像からわかる事は、ドアから対象物（壁や車の側面）までの距離だけではなく、それらの面の傾き、面の方向などである。ステレオカメラの自分の車に対する設置方向をあらかじめメモリ4で記憶しておき、周囲の壁や車の側面の向きに対して自分の車が平行になっているか曲がっているか、曲がっているならどのくらい曲がっているのかを計算し、警告したり、曲がっている角度を運転者に知らせる事ができる。曲がっている角度が所定値以上の場合にだけ警告や角度を知らせるとしてもよい。運転者は自車両が周囲の壁や他車両に対しまっすぐになるように、再度、駐車することができる。
【０１１６】
周囲の車が駐車位置に対して曲がっていると、自分の車もあわせて曲がってとまってしまうため、駐車する前に、運転支援用カメラで周囲の車が白線などに対して曲がっているか否かをあらかじめ確認してもよい。
【０１１７】
また、ドア開閉支援とも重複するが、運転席から見て右側面と左側面における周囲の壁や他車両との距離が所定値以上の場合に、一方に偏りすぎているとして運転者に知らせてもよい。この場合、予め、運転者は、右側面と左側面のそれぞれにおいて周囲の壁や他車両との好ましい距離を設定しておき、設定した距離以下の場合に、左右の区別と共に運転者に通知することもできる。運転者は、例えば、子供が乗降する側面に必要な距離が確保されるように、再度、駐車することができる。
【０１１８】
・ドア開閉許容範囲算出
状況判断・画像選択部１１がドア開閉支援用のステレオカメラ２，３を選択した場合、視差画像から計算された測距結果とメモリ4に記憶されているその車のドアの可動範囲、ドアの厚み、人の幅から、ドア開放の許容度を算出できる。すなわち、ドアを全開にしてよいか、ギリギリ人が通れる距離なら開放してよいか、ドアを開けても人が通れないのか、等が判別される。
【０１１９】
例えば以下の３つの条件でわける事で上記の開閉許容かどうかを算出できる。算出結果を元に注意を促すだけではなく、実際にドアの開閉制御を行なってもよい。
(i) 車から側方対象物までの距離−ドアの可動領域＞0
ドアを全開にしてよいと判断する。
(ii) 車から側方対象物までの距離−ドアの可動領域＜0 かつ
車から側方対象物までの距離−（ドアの厚み+人の最低厚み情報or認識厚み情報）＞0
ギリギリ人が通れる距離までは開放が可能（注意が必要）。
(iii) 車から側方対象物までの距離−ドアの可動領域＜0 かつ
車から側方対象物までの距離-（ドアの厚み+人の最低厚み情報or認識厚み情報）＜0
駐車する際に白線をみるなどは大丈夫だが人の乗り降りはできない。
【０１２０】
・外部パラメータ変化量算出
また、カメラ間の相対距離、向きなどを表す外部パラメータは予め決まっている。しかし、出荷時には外部パラメータは精度よく調整されていても、経時変化などによってずれてしまうおそれがある。外部パラメータが変化してしまうとそのまま視差算出精度が悪化する。そこで、ステレオカメラが画像選択部で選択された際には、相関演算を行うときにその外部パラメータの変化量を反映させて計算させる事が望ましい。この変化量は外部パラメータ変化量算出部３１により算出される。
【０１２１】
〔表示・警報・制御部〕
認識結果は表示装置４１に表示され、音によって運転者に報知される。また、表示や警報だけでなく、ブレーキ制御やドアの可動領域の制御、ドアロックなどの制御を行う事も有効である。
【０１２２】
衝突回避では、表示・警報・制御部１５は、対象物まで後何秒で衝突するかを表示装置４１に表示する、警報を吹鳴する、距離が近づいている車を赤で点滅させるなど様々な方法で警告することが可能である。
【０１２３】
また、測距しているカメラもしくは測距していないカメラがどれかを運転者がわかるようにすることも有効である。例えば、運転支援用のステレオカメラ１で測距をしている状態を基本とし、ドア開閉支援用のステレオカメラ２，３が選択された時にはランプをつける、音を吹鳴する、表示装置４１に表示させることが可能である。
【０１２４】
以上説明したように、本実施形態のステレオカメラシステム１００は、運転・駐車支援が必要な状況とドアの開閉が必要な状況とを正確に判断して支援できる。また、カメラを完全に切り替えるので、現在どのカメラで周囲を監視しているのかを運転者や搭乗者が知る事ができ、逆に自分がどの方向に注意すればよいのかを瞬時に把握できる。また、ドア開閉支援では、ドアを全開にしてよいのか、人がギリギリ出られるスペースしかないので注意して開けなくてはならないのか、人が出られないスペースしかないのかをドアを開ける前に把握する事ができる。また、その認識結果をドアの制御に使用して搭乗者や運転者が注意をしなくても周囲の物にぶつからない領域までしかドアが開かないように制御する事ができる。また、ドアを開ける際に周囲から近づいてくる物はないか、周囲の対象物の距離とともに速度を認識し、ドアの開閉をするタイミングを搭乗者や運転者に通知することができる。
【符号の説明】
【０１２５】
１１ 状況判断・画像選択部
１２ 前処理部
１３ 相関演算部
１４ 認識部
１５ 表示・警告・制御部
４０ ステレオカメラ
４４ センサ類
１００ ステレオカメラシステム
【先行技術文献】
【特許文献】
【０１２６】
【特許文献１】特開２００３−３４８５７５号公報
【特許請求の範囲】
【請求項１】
複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置であって、
車載されたセンサと、
前記センサの検出信号を組み合わせて車両状況を判定し、前記車両状況に基づき画像処理対象の画像データを運転支援用のステレオカメラが撮影した画像データからドア開閉支援用のステレオカメラが撮影した画像データに切り替える状況判断・画像選択手段と、
前記状況判断・画像選択手段によって選択された画像データに、複数のステレオカメラのそれぞれに特有の歪み補正を行い、相関演算部が複数のステレオカメラに共通の相関演算処理を行うことを可能にする前処理手段と、
１つのステレオカメラが撮影した２つの画像データに相関演算を施す相関演算手段と、
前記相関演算手段の演算結果を用いて対象物までの距離を検出する距離検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記複数のステレオカメラにはさらに駐車支援用のステレオカメラが含まれており、
前記状況判断・画像選択手段は、前記車両状況に基づき運転支援用のステレオカメラから駐車支援用のステレオカメラに切り替えて画像データを選択する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記状況判断・画像選択手段は、複数のステレオカメラのいずれかが撮影した画像データと、予め記憶する特徴物の標準テンプレートの画像データとをマッチングさせ、マッチングにより特定された前記特徴物に基づき前記車両状況を判定する、
ことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記センサの１つであるブレーキセンサはサイクル時間毎にブレーキペダルが踏み込まれたか否かを出力し、
前記状況判断・画像選択手段は、単位時間当たりにブレーキペダルが踏み込まれた頻度情報を閾値と比較して、前記車両状況を判定する、
ことを特徴とする請求項１〜３いずれか１項記載の画像処理装置。
【請求項５】
前記状況判断・画像選択手段は、前記車両状況を確定するまで、２つ以上のステレオカメラの候補をメモリに記憶しておき、ドアの開閉を検知した時に、前記車両状況を確定すると共に、一つのステレオカメラの画像データを選択する、
ことを特徴とする請求項１〜４いずれか１項記載の画像処理装置。
【請求項６】
前記状況判断・画像選択手段が、ドア開閉支援用のステレオカメラとして車両の側方の距離を検出可能なステレオカメラの画像データを選択した場合、
前記距離検出手段が検出した、車両の側方の対象物までの距離に応じて、乗員に警告する警告手段を有する、
ことを特徴とする請求項１〜５いずれか１項記載の画像処理装置。
【請求項７】
前記状況判断・画像選択手段が、駐車支援用のステレオカメラとして車両の側方の距離を検出可能なステレオカメラの画像データを選択した場合、
複数の測定点における対象物までの距離に基づき、対象物とのなす角を算出し、なす角が所定値以上の場合、乗員に警告する警告手段を有する、
ことを特徴とする請求項１〜５いずれか１項記載の画像処理装置。
【請求項８】
ドアの可動範囲を記憶した記憶手段を有し、
前記警告手段は、車両の側方の対象物までの距離がドアの可動範囲以上でない場合に乗員に警告する、
ことを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記記憶手段は、さらに乗員が降車する際に必要な最小限のドアの開放量を記憶しており、
前記警告手段は、車両の側方の対象物までの距離が、乗員が降車する際に必要な最小限のドアの開放量以上でない場合に乗員に警告する、
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
乗員の着座位置を検知する着座位置検知センサを有し、
前記状況判断・画像選択手段は、前記着座位置の乗員が降車するドアの側方にある対象物との距離を検出可能なステレオカメラの画像データをドア開閉支援用のステレオカメラの画像データとして選択する、
ことを特徴とする請求項１〜９いずれか１項記載の画像処理装置。
【請求項１１】
前記状況判断・画像選択手段は、前記距離検出手段が検出した対象物との距離の時間的な変化と自車の速度に基づき、対象物の地面に対する移動速度を推定し、
該移動速度に応じて、ドア開閉支援用のステレオカメラとして一つのステレオカメラの画像データを選択する、
ことを特徴とする請求項１〜１０いずれか１項記載の画像処理装置。
【請求項１２】
前記距離検出手段が検出した対象物との距離の時間的な変化により求めた対象物の相対速度に応じて、衝突時間の表示、警告、又は、制動のいずれか１つ以上を行う警告手段を有する、ことを特徴とする請求項１〜１１いずれか１項記載の画像処理装置。
【請求項１３】
請求項１〜１２いずれか１項記載の画像処理装置を搭載した車両。
【請求項１】
複数のステレオカメラを備え、車両周辺の対象物との距離を検出する画像処理装置であって、
車載されたセンサと、
前記センサの検出信号を組み合わせて車両状況を判定し、前記車両状況に基づき画像処理対象の画像データを運転支援用のステレオカメラが撮影した画像データからドア開閉支援用のステレオカメラが撮影した画像データに切り替える状況判断・画像選択手段と、
前記状況判断・画像選択手段によって選択された画像データに、複数のステレオカメラのそれぞれに特有の歪み補正を行い、相関演算部が複数のステレオカメラに共通の相関演算処理を行うことを可能にする前処理手段と、
１つのステレオカメラが撮影した２つの画像データに相関演算を施す相関演算手段と、
前記相関演算手段の演算結果を用いて対象物までの距離を検出する距離検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記複数のステレオカメラにはさらに駐車支援用のステレオカメラが含まれており、
前記状況判断・画像選択手段は、前記車両状況に基づき運転支援用のステレオカメラから駐車支援用のステレオカメラに切り替えて画像データを選択する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記状況判断・画像選択手段は、複数のステレオカメラのいずれかが撮影した画像データと、予め記憶する特徴物の標準テンプレートの画像データとをマッチングさせ、マッチングにより特定された前記特徴物に基づき前記車両状況を判定する、
ことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記センサの１つであるブレーキセンサはサイクル時間毎にブレーキペダルが踏み込まれたか否かを出力し、
前記状況判断・画像選択手段は、単位時間当たりにブレーキペダルが踏み込まれた頻度情報を閾値と比較して、前記車両状況を判定する、
ことを特徴とする請求項１〜３いずれか１項記載の画像処理装置。
【請求項５】
前記状況判断・画像選択手段は、前記車両状況を確定するまで、２つ以上のステレオカメラの候補をメモリに記憶しておき、ドアの開閉を検知した時に、前記車両状況を確定すると共に、一つのステレオカメラの画像データを選択する、
ことを特徴とする請求項１〜４いずれか１項記載の画像処理装置。
【請求項６】
前記状況判断・画像選択手段が、ドア開閉支援用のステレオカメラとして車両の側方の距離を検出可能なステレオカメラの画像データを選択した場合、
前記距離検出手段が検出した、車両の側方の対象物までの距離に応じて、乗員に警告する警告手段を有する、
ことを特徴とする請求項１〜５いずれか１項記載の画像処理装置。
【請求項７】
前記状況判断・画像選択手段が、駐車支援用のステレオカメラとして車両の側方の距離を検出可能なステレオカメラの画像データを選択した場合、
複数の測定点における対象物までの距離に基づき、対象物とのなす角を算出し、なす角が所定値以上の場合、乗員に警告する警告手段を有する、
ことを特徴とする請求項１〜５いずれか１項記載の画像処理装置。
【請求項８】
ドアの可動範囲を記憶した記憶手段を有し、
前記警告手段は、車両の側方の対象物までの距離がドアの可動範囲以上でない場合に乗員に警告する、
ことを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記記憶手段は、さらに乗員が降車する際に必要な最小限のドアの開放量を記憶しており、
前記警告手段は、車両の側方の対象物までの距離が、乗員が降車する際に必要な最小限のドアの開放量以上でない場合に乗員に警告する、
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
乗員の着座位置を検知する着座位置検知センサを有し、
前記状況判断・画像選択手段は、前記着座位置の乗員が降車するドアの側方にある対象物との距離を検出可能なステレオカメラの画像データをドア開閉支援用のステレオカメラの画像データとして選択する、
ことを特徴とする請求項１〜９いずれか１項記載の画像処理装置。
【請求項１１】
前記状況判断・画像選択手段は、前記距離検出手段が検出した対象物との距離の時間的な変化と自車の速度に基づき、対象物の地面に対する移動速度を推定し、
該移動速度に応じて、ドア開閉支援用のステレオカメラとして一つのステレオカメラの画像データを選択する、
ことを特徴とする請求項１〜１０いずれか１項記載の画像処理装置。
【請求項１２】
前記距離検出手段が検出した対象物との距離の時間的な変化により求めた対象物の相対速度に応じて、衝突時間の表示、警告、又は、制動のいずれか１つ以上を行う警告手段を有する、ことを特徴とする請求項１〜１１いずれか１項記載の画像処理装置。
【請求項１３】
請求項１〜１２いずれか１項記載の画像処理装置を搭載した車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９３０１３（Ｐ２０１３−９３０１３Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−１５５４１３（Ｐ２０１２−１５５４１３）
【出願日】平成２４年７月１１日（２０１２．７．１１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２４年７月１１日（２０１２．７．１１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]