車輌用車外監視装置

【目的】撮像時の焦点距離を適切な値として車外監視の際の外界認識率を向上する。
【構成】車速センサ５で検出した車輌１の車速に応じ、焦点距離設定手段１５で適正な焦点距離を設定して撮像手段１０及び前記画像処理手段２０へ出力すると、撮像手段１０のズーム機構が駆動され、設定焦点距離で車外の対象が撮像される。そして、画像処理手段２０において、撮像時の焦点距離に基づいて撮像した画像が処理され、外界情報が得られる。これにより、低速域では焦点距離を小さくしてより広い視野を確保して、外界状況を正確に把握することができるとともに、高速域では焦点距離を大きくしてより遠方を監視することができ、障害物をより遠方で検出して走行安全性を向上することができる。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、車外の対象を撮像し、撮像した画像を処理して外界情報を得る車輌用車外監視装置に関する。
【０００２】
【従来の技術】従来より、カメラ等の撮像手段を車輌に搭載し、撮像した画像を処理して車外の状態を認識・監視する技術の開発が進められており、例えば、特開平３−２２５５１３号公報には、テレビカメラでとらえた進行方向前方の道路帯画像を画像処理して道路情報を抽出し、走行制御を行なう技術が開示されている。
【０００３】
【発明が解決しようとする課題】ところで、車外監視の際には、低速ではより広い視野を確保し、高速においてはより遠方を監視することが外界認識率を向上して安全性を高める上で重要であり、車速に応じた適切な焦点距離で車外の対象を撮像し、この撮像時の焦点距離に基づいて画像処理を行なう必要がある。
【０００４】本発明は前記事情に鑑みてなされたもので、撮像時の焦点距離を適切な値として車外監視の際の外界認識率を向上することのできる車輌用車外監視装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】本発明は、車外の対象を撮像し、撮像した画像を処理して外界情報を得る車輌用車外監視装置において、車輌の速度に応じて撮像の焦点距離を設定し、この焦点距離の設定値を出力する焦点距離設定手段と、所定範囲内で焦点距離を可変可能なズーム機構を有し、前記焦点距離設定手段で設定した焦点距離の設定値で車外の対象を撮像する撮像手段と、前記撮像手段で撮像した画像を、前記焦点距離設定手段で設定した焦点距離の設定値に基づいて処理し、外界情報を得る画像処理手段とを備えたことを特徴とする。
【０００６】
【作用】本発明では、焦点距離設定手段で車輌の速度に応じて焦点距離が設定されると、撮像手段のズーム機構が焦点距離の設定値となるよう駆動され、設定した焦点距離で車外の対象が撮像される。そして、撮像した画像が焦点距離の設定値すなわち撮像時の焦点距離に基づいて処理され、外界情報が得られる。
【０００７】
【実施例】以下、図面を参照して本発明の実施例を説明する。図面は本発明の一実施例に係わり、図１は車外監視装置の全体構成図、図２は車輌の正面図、図３はカメラと被写体との関係を示す説明図、図４は車外監視装置の回路構成図、図５は焦点距離設定処理のフローチャート、図６はずれ量検出処理のフローチャート、図７は画像認識処理のフローチャートである。
【０００８】図１において、符号１は自動車などの車輌であり、この車輌１に、車外の対象を撮像し、撮像した画像を処理して外界情報を得る車外監視装置２が搭載されている。この車外監視装置２は、外部からの入力に応じて焦点距離を所定範囲内で変更するズーム機構を有し、車外の対象を近距離から遠距離に渡って撮像可能な撮像手段１０と、この撮像手段１０によって撮像した画像を撮像時の焦点距離に基づいて処理し、外界情報を得る画像処理手段２０と、車速センサ５で検出した車輌１の車速に応じて適正な焦点距離を設定し、この焦点距離の設定値を前記撮像手段１０及び前記画像処理手段２０へ出力する焦点距離設定手段１５とを備えている。
【０００９】前記画像処理手段２０で得られる外界情報としては、先ず、車外の対象までの距離情報があり、この距離情報に基づいて道路形状や立体物等の認識が行なわれる。そして、認識した立体物が自車輌に対して障害物となる場合、図示しないアクチュエータ類を制御する外部装置を接続することにより、運転者に対する警告、自動衝突回避等の動作を行なうことが可能となる。
【００１０】本実施例は、車外の対象を異なる位置から撮像した１組の画像に対し、対応する位置のずれ量から三角測量の原理によって距離を求める、いわゆるステレオ法による画像処理で距離情報を得るものであり、前記撮像手段１０は、左右画像用として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた２台のカメラにより構成されている。
【００１１】すなわち、図２に示すように、ズーム機構付きＣＣＤカメラ１１ａ，１１ｂ（代表してＣＣＤカメラ１１と表記する場合もある）が、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車室内のＣＣＤカメラ１１の取付位置を、例えば、車輌１のボンネット先端から２ｍとすると、例えば、直近から１００ｍ遠方までを撮像する場合、実際には前方２ｍから１００ｍまでの位置を撮像することになる。
【００１２】この場合、図３に示すように、２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとして、２台のカメラ１１ａ，１１ｂの設置面から距離Ｚにある点Ｐを撮影すると、２台のカメラ１１ａ，１１ｂの焦点距離を共にｆとして、点Ｐの像は、それぞれのカメラについて焦点位置からｆだけ離れた投影面に写る。
【００１３】このとき、右のＣＣＤカメラ１１ｂにおける像の位置から左のＣＣＤカメラ１１ａにおける像の位置までの距離は、ｒ＋δとなり、このδをずれ量とすると、点Ｐまでの距離Ｚは、ずれ量δから以下の式で求めることができる。
【００１４】
Ｚ＝ｒ・ｆ／δ （１）
この左右画像のずれ量δを検出するには、左右画像における同一物体の像を見つけ出す必要があり、前記画像処理装置２０では、画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して一致する領域を見つけ出し、全画面に渡って距離分布を求める。
【００１５】左右画像の一致度は、右画像、左画像のｉ番目画素の輝度（色を用いても良い）を、それぞれ、Ａｉ、Ｂｉとすると、例えば、以下の（２）式に示すシティブロック距離Ｈによって評価することができる。
【００１６】
Ｈ＝Σ｜Ａｉ−Ｂｉ｜（２）
図４は、このシティブロック距離Ｈを計算する計算回路を備えた車外監視装置１の回路構成例であり、ＣＣＤカメラ１１ａ，１１ｂに、左右画像のずれ量を検出するずれ量検出装置２５が接続され、このずれ量検出装置２５に、マイクロコンピュータからなる情報処理装置７０が接続されている。
【００１７】前記ずれ量検出装置２５は、処理を高速化するため、前記画像処理手段２０の距離検出機能を独立した装置にしたものであり、前記情報処理装置７０は、前記ＣＣＤカメラ１１ａ，１１ｂの焦点距離を設定する焦点距離設定手段１５の機能と画像処理手段２０における画像認識機能とを合わせ持つものであり、車速に応じてＣＣＤカメラ１１ａ，１１ｂの所定距離を設定し、設定した焦点距離で撮像した画像から前記ずれ量検出装置２５によって左右画像のずれ量が検出されると、このずれ量から焦点距離に基づいて実空間の座標に変換し、変換した座標データから道路形状の認識や立体物の認識等を行なう。
【００１８】前記ずれ量検出装置２５は、前記ＣＣＤカメラ１１ａ，１１ｂで撮像したアナログ画像を所定のデジタル画像に変換する画像変換部３０、この画像変換部３０からの画像データに対し、左右画像の対応する小領域のずれ量δを決定するためのシティブロック距離Ｈを画素を一つずつずらしながら次々と計算するシティブロック距離計算部４０、このシティブロック距離Ｈの最小値を検出し、得られた最小値が左右小領域の一致を示すものであるか否かをチェックしてずれ量δを決定する最小値検出・チェック回路５０、この最小値検出・チェック回路５０で決定したずれ量δを保存し、前記情報処理装置７０とのインターフェースとなるデュアルポートメモリ６０を備えている。
【００１９】前記画像変換部３０には、左右画像用のＣＣＤカメラ１１ａ，１１ｂに対応して、Ａ／Ｄコンバータ３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１ａ，３１ｂに、それぞれ、低輝度部分に対するコントラスト補正、ＣＣＤアンプの固有ゲインの補正を行なうためのルックアップテーブル（ＬＵＴ）３２ａ，３２ｂが接続され、さらに、各ＬＵＴ３２ａ，３２ｂに、左画像メモリ３３ａ、右画像メモリ３３ｂがそれぞれ接続されている。
【００２０】前記左右画像メモリ３３ａ，３３ｂに記録された画像データは、シティブロック距離計算部４０で画像の一部が繰り返し取り出されて処理される。このシティブロック距離計算部４０は、前記左画像メモリ３３ａからの画像データが入力される２組の左画像用入力バッファメモリ４１ａ，４１ｂに、左画像用シフトレジスタ４３が接続されるとともに、前記右画像メモリ３３ｂからの画像データが入力される２組の右画像用入力バッファメモリ４２ａ，４２ｂに、右画像用シフトレジスタ４４が接続され、各シフトレジスタ４３，４４がシティブロック距離計算回路４５に接続されて構成されている。
【００２１】前記各入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂは、例えば、シティブロック距離計算の速度に応じた比較的小容量（４ライン分）の入出力が分離した高速タイプであり、また、前記各シフトレジスタ４３、４４は、それぞれ、例えば２×８段構成のレジスタから構成されている。
【００２２】また、シティブロック距離計算回路４５は、例えば、加減算器に入出力ラッチをつなげた高速演算器を組み合わせ、ピラミッド状に接続したパイプライン構造となっており、例えば８画素分を同時に入力して計算するようになっている。このピラミッド型構造の初段は、絶対値演算器、２段〜４段は、それぞれ、第１加算器、第２加算器、第３加算器を構成し、最終段は総和加算器となっている。
【００２３】また、最小値検出・チェック回路５０は、前記シティブロック距離計算回路４５の出力と同期してシティブロック距離Ｈの最小値ＨMIN及び最大値ＨMAXを検出し、得られたシティブロック距離Ｈの最小値ＨMINが本当に左右小領域の一致を示しているものかどうかチェックを行ない、条件を満たしたもののみ、デュアルポートメモリ６０の対応する画素の位置にずれ量δを出力する。
【００２４】一方、前記情報処理装置７０は、前記デュアルポートメモリ６０に書き込まれたずれ量δを読み出して各種の計算処理を行なうマイクロプロセッサ７１を中心に構成され、制御プログラムを格納するためのＲＯＭ７２、計算処理途中の各種パラメータを記憶するためのＲＡＭ７３、インターフェース回路７４、処理結果のパラメータを記憶する出力用メモリ７５等から構成されており、前記インターフェース回路７４には、車輌１に取り付けられた車速センサ５、ステアリングの操舵角を検出する舵角センサ６等が接続されている。
【００２５】次に、図５〜図７のフローチャートを中心として実施例の動作について説明する。
【００２６】図５のフローチャートは、焦点距離設定処理のプログラムを示し、例えば、所定サンプリング周期で車外の対象を撮像するため図示しないタイミング信号発生回路から出力されるカメラシャッター信号に同期して所定時間毎に割込み実行され、ステップS101で車速センサ５によって検出された車速をインターフェース回路７４を介して読み込む。
【００２７】次いで、ステップS102へ進み、読み込んだ車速に応じてＣＣＤカメラ１１ａ，１１ｂの焦点距離を設定する。この焦点距離の設定は、低速域では広い視野を確保するため焦点距離ｆを小さくし、高速域では遠方を監視するため焦点距離ｆを大きく設定し、車速に対して連続的あるいは段階的になされ、車速に対して車外の状況を把握するのに最適な画像が得られる焦点距離を、車輌１とＣＣＤカメラ１１の位置関係等から、予めＲＯＭ７２にストアした速度−焦点距離変換テーブルを車速に基づき検索することにより、あるいは、計算により求めることで行なう。
【００２８】そして、車速に対して適切な焦点距離を設定すると、ステップS103へ進み、この焦点距離の設定値を、インターフェース回路７４を介して、ＣＣＤカメラ１１ａ，１１ｂにズーム機構の駆動信号として出力するとともに、ＲＡＭ７３の所定アドレスにストアし、割込みを終了する。
【００２９】これにより、ＣＣＤカメラ１１ａ，１１ｂのズーム機構が駆動され、車速に応じた焦点距離で車外の対象が撮像される。この撮像された画像は、カメラシャッター信号に続いて出力される撮像画像の取込み信号毎に割込み実行される図６のずれ量検出処理のプログラムにおいて左右画像のマッチングが行われ、図７の画像認識処理のプログラムにおいて道路形状や複数の立体物が認識される。
【００３０】まず、図６のずれ量検出処理では、ステップS201で、左右のＣＣＤカメラ１１ａ，１１ｂによって撮像した画像を入力すると、ステップS202へ進み、入力したアナログ画像をＡ／Ｄコンバータ３１ａ，３１ｂで所定の輝度階調（例えば２５６階調のグレースケール）を有するデジタル画像に変換する。
【００３１】前記各Ａ／Ｄコンバータ３１ａ，３１ｂによって変換されたデジタル画像は、ＬＵＴ３２ａ，３２ｂで、低輝度部分のコントラスト増強、左右のＣＣＤカメラ１１ａ，１１ｂの特性補償等が行なわれ、画像メモリ３３ａ，３３ｂに記録される。尚、前記画像メモリ３３ａ，３３ｂに記憶される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素子の全ラインのうち、その後の処理に必要なラインのみであり、例えば０．１秒に１回の割合（テレビ画像で３枚に１枚の割合）で書き換えられる。
【００３２】その後、左右の画像メモリ３３ａ，３３ｂに記録された画像データは、ステップS203で、各画像メモリ３３ａ，３３ｂから例えば４ラインずつ入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへ転送され、左右画像のマッチング、すなわち一致度の評価が行なわれる。
【００３３】その際、左右の画像毎に、前記画像メモリ３３ａ，３３ｂから前記入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジスタ４３，４４に対する書き込み動作とが交互に行なわれる。例えば、左画像メモリ３３ａから一方の入力バッファメモリ４１ａに画像データが読み込まれている間に、他方の入力バッファメモリ４１ｂからシフトレジスタ４３へ読み込んだ画像データの書き出しが行なわれ、右画像メモリ３３ｂから一方の入力バッファメモリ４２ａに画像データが読み込まれている間に、他方の入力バッファメモリ４２ｂからシフトレジスタ４４へ読み込んだ画像データの書き出しが行なわれる。
【００３４】そして、各シフトレジスタ４３，４４は、８段のうちの偶数段の内容を同時にシティブロック距離計算回路４５に出力し、シティブロック距離Ｈの計算が始まると、右画像のデータはシフトレジスタ４４内に保持されて、クロック毎に奇数ライン、偶数ラインのデータが交互に出力される。
【００３５】一方、左画像のデータはシフトレジスタ４３に転送され続け、奇数ライン、偶数ラインのデータが交互に出力されつつ、２クロック毎に１画素分右のほうにずれたデータに置き換わっていく。この動作を、例えば１００画素分ずれるまで（２００クロック）繰り返し、その後、一つの小領域に対する転送が終了すると、図示しないアドレスカウンタ内の左画像用アドレスカウンタに右画像用アドレスカウンタの内容（次の４×４画素の小領域の先頭アドレス）がセットされ、次の小領域の処理が始まる。シティブロック距離計算回路４５では、例えばピラミッド型構造初段の絶対値演算器に８画素分のデータを入力し、左右画像の輝度差の絶対値を計算する。すなわち、右画素の輝度から対応する左画素の輝度を引き算し、結果が負になった場合、演算命令を変えることにより、引く方と引かれる方を逆にして再び引き算を行なうことにより、絶対値の計算を行なう。従って、初段では引き算を２回行なう場合がある。
【００３６】次いで、初段を通過すると、２段目から４段目までの第１ないし第３加算器で二つの同時入力データを加算して出力する。そして、最終段の総和加算器で二つの連続するデータを加え合わせて総和を計算し、必要とする１６画素分のシティブロック距離Ｈを２クロック毎に最小値検出・チェック回路５０へ出力する。
【００３７】次に、ステップS204へ進み、前記ステップS203で算出したシティブロック距離Ｈの最大値ＨMAX 、最小値ＨMIN を最小値検出・チェック回路５０で検出する。この最小値検出・チェック回路５０では、最初に出力されてきたシティブロック距離Ｈ（ずれ量δ＝０）と、次のクロックで出力されてきたシティブロック距離Ｈ（ずれ量δ＝１）とを比較し、比較結果が小のときにのみ、ずれ量δを保存する。そして、この比較演算を繰り返し、計算途中での最大値、最小値及びそのときのずれ量δを保存して、これまでの値の最大値ＨMAX 、最小値ＨMIN を更新し、ずれ量δが１００になるまで計算を続ける。
【００３８】計算が終了すると（最後のシティブロック距離Ｈが出力されてから１クロック後）、ステップS205で、得られた最小値ＨMINが本当に左右小領域の一致を示すものであるか否かを、以下の３つの条件によりチェックする。
【００３９】（１）ＨMIN ≦Ｈa （最小値ＨMIN がしきい値Ｈa より大きいときには距離を検出できず。）
（２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN がノイズによる揺らぎより明らかに低くなっていることをチェックするための条件であり、最小値ＨMINの近傍の値との差でなく、最大値ＨMAX と最小値ＨMINとの差をしきい値Ｈbと比較してチェックを行なうことにより、曲面などの緩やかに輝度の変わる物体に対しても距離検出が行なえる。）
（３）右画像の小領域内の横方向の隣接画素間の輝度差＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となるが、輝度が緩やかに変化している場合にも対応可能なように、しきい値Ｈc は通常のエッジ検出レベルよりはずっと低くしてある。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいており、小領域中の画素毎に行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、自然な結果が得られる。）
すなわち、シティブロック距離Ｈが最小となるずれ量が求めるずれ量δとなる訳であるが、以上の３つのチェック条件を満足した場合に、ステップS206で、ずれ量δをデュアルポートメモリ６０へ出力し、満足しない場合には、データを採用せずに“０”をデュアルポートメモリ６０へ出力してずれ量検出装置２５における処理を終了する。
【００４０】次に、情報処理装置７０では、図７のステップS301で、デュアルポートメモリ６０に書き込まれたずれ量δを読み込むと、ステップ302へ進み、ＲＡＭ７３の所定アドレスから読み出した焦点距離の設定値に基づいて、前述の（１）式によりずれ量δから距離Ｚを算出し、自車（車輌１）を取り巻く実空間の座標系に変換する。
【００４１】すなわち、画像上の座標系を、画像左上隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸とし、実空間の座標系を車輌１固定の座標系として、原点を２台のＣＣＤカメラ１１ａ，１１ｂの中央の真下の道路面、Ｘ軸を車輌１の右側側方、Ｙ軸を車輌１の上方、Ｚ軸を車輌１の前方とすると、画像中の距離情報（ｉ，ｊ，Ｚ）から被写体の三次元位置（Ｘ，Ｙ，Ｚ）を、以下の（３），（４）式による座標変換を行なって算出する。
【００４２】
Ｙ＝ＣＨ−Ｚ×ＰＷ×（ｊ−ＪＶ）（３）
Ｘ＝ｒ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ）（４）
ここで、ＣＨ：ＣＣＤカメラ１１の取付け高さＰＷ：１画素当たりの視野角ＪＶ，ＩＶ：車輌１の真正面の無限遠点の画像上の座標その後、ステップS303へ進み、物体の三次元的な位置座標により、例えば、道路と物体とを道路表面からの高さによって区別し、物体と背景とを距離の値によって区別することにより、道路形状の推定や道路上の物体を認識して、その認識結果を出力用メモリ７５に出力し、割込みを終了する。
【００４３】これにより、低速域では焦点距離を小さくしてより広い視野を確保して、外界状況を正確に把握することができるとともに、高速域では焦点距離を大きくしてより遠方を監視することができ、障害物をより遠方で検出して走行安全性を向上することができる。
【００４４】尚、本実施例では画像処理装置２０は、ステレオ法による距離検出に基づく画像認識を行なうものとして説明したが、本発明はこれに限定されるものではなく、画像処理装置２０としては、例えば、画像内のエッジ、線分、特殊な形等、何らかの特徴を抽出し、それらの特徴が一致する部分を見つけ出すことにより、車外の対象物までの距離を求め、この距離の情報に基づいて道路形状及び自車輌に対する障害物等を認識するものでも良い。
【００４５】
【発明の効果】以上説明したように本発明によれば、車輌の速度に応じて焦点距離が設定されると、この焦点距離の設定値で車外の対象が撮像され、撮像した画像が焦点距離の設定値すなわち撮像時の焦点距離に基づいて処理されるため、撮像時の焦点距離を適切な値として車外監視の際の外界認識率を向上することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】車外監視装置の全体構成図
【図２】車輌の正面図
【図３】カメラと被写体との関係を示す説明図
【図４】車外監視装置の回路構成図
【図５】焦点距離設定処理のフローチャート
【図６】ずれ量検出処理のフローチャート
【図７】画像認識処理のフローチャート
【符号の説明】
１０撮像手段
１５焦点距離設定手段
２０画像処理手段

【特許請求の範囲】
【請求項１】車外の対象を撮像し、撮像した画像を処理して外界情報を得る車輌用車外監視装置において、車輌の速度に応じて撮像の焦点距離を設定し、この焦点距離の設定値を出力する焦点距離設定手段(15)と、所定範囲内で焦点距離を可変可能なズーム機構を有し、前記焦点距離設定手段(15)で設定した焦点距離の設定値で車外の対象を撮像する撮像手段(10)と、前記撮像手段(10)で撮像した画像を、前記焦点距離設定手段(15)で設定した焦点距離の設定値に基づいて処理し、外界情報を得る画像処理手段(20)とを備えたことを特徴とする車輌用車外監視装置。

【図１】