車輌用距離検出装置
【目的】 撮像系のシェーディングの影響を防止し、距離検出の精度を向上する。
【構成】 各シェーディング補正用データメモリ３５ａ，３５ｂには、ＣＣＤカメラ１１ａ（１２ａ），１１ｂ（１２ｂ）で撮像した画像に生じるシェーディングの影響を補正するため、予め測定してあるシェーディング補正データ（シェーディング補正比）がストアされており、＃１アドレスコントローラ８６によって指定される画素位置のシェーディング補正比と、各ＬＵＴ３３ａ，３３ｂからのデータとが、１画素単位で各デジタルマルチプライヤ３４ａ，３４ｂによって乗算され、乗算されたデータがシェーディング補正済みの画像データとして画像メモリ３６ａ，３６ｂに記録される。これにより、シェーディングの影響のない画像データを用いて正確な距離検出を行なえる。
【構成】 各シェーディング補正用データメモリ３５ａ，３５ｂには、ＣＣＤカメラ１１ａ（１２ａ），１１ｂ（１２ｂ）で撮像した画像に生じるシェーディングの影響を補正するため、予め測定してあるシェーディング補正データ（シェーディング補正比）がストアされており、＃１アドレスコントローラ８６によって指定される画素位置のシェーディング補正比と、各ＬＵＴ３３ａ，３３ｂからのデータとが、１画素単位で各デジタルマルチプライヤ３４ａ，３４ｂによって乗算され、乗算されたデータがシェーディング補正済みの画像データとして画像メモリ３６ａ，３６ｂに記録される。これにより、シェーディングの影響のない画像データを用いて正確な距離検出を行なえる。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、撮像系のシェーディングの影響を防止し、距離検出の精度を向上する車輌用距離検出装置に関する。
【０００２】
【従来の技術】人や物を運ぶ手段の１つである自動車等の車輌は、その利便性と快適性から現代社会においてなくてはならない存在となっている。そこで、自動車の持つ優れた点を犠牲にすることなく、自動的に事故を回避することのできる技術の開発が従来より進められている。
【０００３】自動車の衝突を自動的に回避するためには、走行の障害となる物体を検出することがまず第一に重要であり、一方、自動車の走行には、検出した障害物が道路上の何処に存在しているのかを知る必要がある。
【０００４】従って、最近では、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたカメラ等を車輌に搭載して車外の対象風景を撮像し、この撮像した画像を画像処理して車輌から対象物までの距離を求める計測技術が有力な手段として採用されるようになっており、例えば、特開昭５９−１９７８１６号公報には、２台のＴＶカメラを車輌前方に取り付け、各々のＴＶカメラの画像について、２次元的な輝度分布パターンから障害物を検出し、次に、２つの画像上における障害物の位置のずれを求め、三角測量の原理によって障害物の３次元位置を算出する車間距離検出装置が開示されている。
【０００５】
【発明が解決しようとする課題】しかしながら、カメラ等の撮像系には、レンズの透過ムラ等の影響によって、画像の周辺部よりも中心部の方が明るい、いわゆるシェーディング現象が発生し、均一な輝度を有する対象物を撮像しても、撮像画像では輝度が不均一となってしまう。
【０００６】このシェーディングの影響を防止するシェーディング補正に係る技術は、例えば、特開平３−２２７５７号公報に開示されているが、従来、車輌用距離検出装置においては、撮像系のシェーディングによる影響は考慮されておらず、撮像系で撮像した画像を処理して画像全体に渡る距離分布を求める際に、シェーディングの影響で現実の撮像対象の輝度分布と画像上の輝度分布との間に誤差が生じ、距離分布の正確さが失われてしまうおそれがある。
【０００７】本発明は前記事情に鑑みてなされたもので、撮像系のシェーディングの影響を防止し、距離検出の精度を向上することのできる車輌用距離検出装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】第１の発明は、車輌に搭載した撮像系によって車外の対象を撮像して画像メモリに記録し、この画像メモリに記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリと、前記撮像系で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データ毎に、前記シェーディング補正用データメモリの対応するシェーディング補正データを乗算し、シェーディング補正済みの画像データとして出力するデジタル乗算器とを備えたことを特徴とする。
【０００９】第２の発明は、車輌に搭載した撮像系によって車外の対象を撮像して画像メモリに記録し、この画像メモリに記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリと、前記撮像系で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データを、前記シェーディング補正用データメモリの対応するシェーディング補正データで乗算した値に変換し、シェーディング補正済みの画像データとして出力する補正テーブルとを備えたことを特徴とする。
【００１０】第３の発明は、車輌に搭載した撮像系によって車外の対象を撮像して画像メモリに記録し、この画像メモリに記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリと、前記撮像系で撮像したアナログ画像に対し、このアナログ画像の各画素データ毎に、前記シェーディング補正用データメモリの対応するシェーディング補正データをデジタル／アナログ変換した値を乗算し、シェーディング補正済みの画像データとして出力するアナログ乗算器とを備えたことを特徴とする。
【００１１】
【作用】第１の発明では、撮像系で撮像した画像から得られるデジタル画像の各画素データ毎に、シェーディング補正用データメモリの対応するシェーディング補正データをデジタル乗算器によって乗算し、シェーディング補正を行なう。そして、シェーディング補正済みの画像データを用いて正確な距離分布を算出する。
【００１２】第２の発明では、撮像系で撮像した画像から得られるデジタル画像の各画素データを補正テーブルを通すことにより、各画素データにシェーディング補正用データメモリの対応するシェーディング補正データを乗算した値に変換してシェーディング補正を行なう。そして、シェーディング補正済みの画像データを用いて正確な距離分布を算出する。
【００１３】第３の発明では、撮像系で撮像したアナログ画像に、直接、シェーディング補正用データメモリの対応するシェーディング補正データをデジタル／アナログ変換した値を乗算してシェーディング補正を行なう。そして、シェーディング補正済みの画像データを用いて正確な距離分布を算出する。
【００１４】
【実施例】以下、図面を参照して本発明の実施例を説明する。図１〜図１６は本発明の第１実施例に係わり、図１は車輌用距離検出装置の回路構成図、図２は距離検出装置の全体構成図、図３は車輌の正面図、図４はカメラと被写体との関係を示す説明図、図５は入力画像例を示す説明図、図６は補正データ例を示す説明図、図７は補正後の画像例を示す説明図、図８はシティブロック距離計算回路の説明図、図９は最小値検出回路のブロック図、図１０は距離検出装置の動作を示すフローチャート、図１１はシフトレジスタ内の保存順序を示す説明図、図１２はシティブロック距離計算回路の動作を示すタイミングチャート、図１３はずれ量決定部の動作を示すタイミングチャート、図１４は全体の動作を示すタイミングチャート、図１５は車載のＣＣＤカメラで撮像した画像の例を示す説明図、図１６は距離画像の例を示す説明図である。
【００１５】図２において、符号１は自動車などの車輌であり、この車輌１に、車外の設置範囲内の対象を撮像して距離を検出する距離検出装置２が搭載されている。この距離検出装置２は、例えば図示しない道路・障害物認識装置などに接続されて障害物監視装置を構成し、運転者に対する警告、車体の自動衝突回避等の動作を行なうようになっている。
【００１６】前記距離検出装置２は、車外の対象を撮像する撮像系としてのステレオ光学系１０と、このステレオ光学系１０によって撮像した画像を処理し、画像全体に渡る距離分布を算出するステレオ画像処理装置２０とを備えており、このステレオ画像処理装置２０で算出した３次元の距離情報が、例えば道路・障害物認識装置等に取り込まれ、道路形状及び車輌１に対する障害物が認識される。
【００１７】前記ステレオ光学系１０は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたカメラにより構成され、図３に示すように、遠距離の左右画像用としての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣＣＤカメラ１１と表記する場合もある）が、それぞれ車室内の天井前方に一定の間隔をもって取り付けられるとともに、近距離の左右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記する場合もある）が、それぞれ、遠距離用のＣＣＤカメラ１１ａ，１１ｂの内側に一定の間隔をもって取り付けられている。
【００１８】前記ステレオ光学系１０として、直近から例えば１００ｍ遠方までの距離計測を行なう場合、車室内のＣＣＤカメラ１１，１２の取付位置を、例えば、車輌１のボンネット先端から２ｍとすると、実際には前方２ｍから１００ｍまでの位置を計測できれば良い。
【００１９】すなわち、図４に示すように、遠距離用の２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとして、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄにある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂの焦点距離を共にｆとすると、点Ｐの像は、それぞれのカメラについて焦点位置からｆだけ離れた投影面に写る。
【００２０】このとき、右のＣＣＤカメラ１１ｂにおける像の位置から左のＣＣＤカメラ１１ａにおける像の位置までの距離は、ｒ＋ｘとなり、このｘをずれ量とすると、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求めることができる。
【００２１】
Ｄ＝ｒ・ｆ／ｘ （１）
この左右画像のずれ量ｘを検出するには、左右画像における同一物体の像を見つけ出す必要があり、次に述べるステレオ画像処理装置２０では、画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して一致する領域を見つけ出し、全画面に渡って距離分布を求める。すなわち、従来のように、エッジ、線分、特殊な形等、何らかの特徴を抽出し、それらの特徴が一致する部分を見つけ出すことによる情報量の低下を避けるのである。
【００２２】左右画像の一致度は、右画像、左画像のｉ番目画素の輝度（色を用いても良い）を、それぞれ、Ａｉ、Ｂｉとすると、例えば、以下の（２）式に示すシティブロック距離Ｈによって評価することができ、平均値の採用による情報量の低下もなく、乗算がないことから演算速度を向上させることができる。
【００２３】
Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２）
また、分割すべき小領域の大きさとしては、大きすぎると、その領域内に遠方物体と近くの物体が混在する可能性が高くなり、検出される距離が曖昧になる。画像の距離分布を得るためにも領域は小さい方が良いが、小さすぎると、一致度を調べるための情報量が不足する。
【００２４】このため、例えば、１００ｍ先にある幅１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含まれないように、４つに分割される画素数を領域横幅の最大値とすると、前記ステレオ光学系１０に対して４画素となる。この値を基準に最適な画素数を実際の画像で試行した結果、縦横共に４画素となる。
【００２５】以下の説明では、画像を４×４の小領域で分割して左右画像の一致度を調べるものとし、ステレオ光学系１０は、遠距離用のＣＣＤカメラ１１で代表するものとする。
【００２６】図１に示すように、ステレオ画像処理装置２０は、前記ステレオ光学系１０で撮像したアナログ画像をデジタル画像に変換する画像変換部３０、この画像変換部３０からの画像データに対し、左右画像のずれ量ｘを決定するためのシティブロック距離Ｈを画素を一つずつずらしながら次々と計算する一致度計算部としてのシティブロック距離計算部４０、シティブロック距離Ｈの最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大値検出部５０、この最小・最大値検出部５０で得られた最小値ＨMIN が左右小領域の一致を示すものであるか否かをチェックしてずれ量ｘを決定するずれ量決定部６０を備えている。
【００２７】前記画像変換部３０には、左右画像用のＣＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ３２ａ，３２ｂが備えられ、各ＣＣＤカメラ１１ａ，１１ｂからのビデオ信号が各アナログインターフェース（アナログＩ／Ｆ）３１ａ，３１ｂによって各Ａ／Ｄコンバータ３２ａ，３２ｂの入力レンジに量子化され、各Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル信号に変換され、さらに、各Ａ／Ｄコンバータ３２ａ，３２ｂの出力がルックアップテーブル（ＬＵＴ）３３ａ，３３ｂに入力されるようになっている。
【００２８】前記Ａ／Ｄコンバータ３２ａ，３２ｂは、例えば８ビットの分解能を有し、ＣＣＤカメラ１１からのアナログ画像を、所定の輝度階調を有するデジタル画像に変換する。すなわち、処理の高速化のため画像の二値化を行なうと、左右画像の一致度を計算するための情報が著しく失われるため、例えば２５６階調のグレースケールに変換するのである。
【００２９】また、前記ＬＵＴ３３ａ，３３ｂはＲＯＭ上に構成され、前記各Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル量に変換されたデジタル画像のデータのビット数と同じビット数のアドレスをそれぞれ有し、入力データと等しいアドレスの内容に、輝度補正やＣＣＤアンプの固有ゲインの補正を施したデータが書き込まれている。従って、例えば８ビットの画像データを、前記ＬＵＴ３３ａ，３３ｂのアドレスとして与えると、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いを補正した８ビットのデータを読み出すことができる。
【００３０】さらに、前記画像変換部３０には、各ＣＣＤカメラ１１ａ，１１ｂで撮像した各画像のシェーディング補正を行なう機能が備えられており、前記各ＬＵＴ３３ａ，３３ｂの出力側と、各シェーディング補正用データメモリ３５ａ，３５ｂの出力側とが、それぞれ、デジタル乗算器であるデジタルマルチプライヤ３４ａ，３４ｂを介して、左右画像用の画像メモリ３６ａ，３６ｂに接続されている。
【００３１】尚、各シェーディング補正用データメモリ３５ａ，３５ｂ、各デジタルマルチプライヤ３４ａ，３４ｂ、各画像メモリ３６ａ，３６ｂは、それぞれ、シェーディング補正用データメモリ３５、デジタルマルチプライヤ３４、画像メモリ３６と代表して表記する場合もある。
【００３２】各シェーディング補正用データメモリ３５ａ，３５ｂには、各ＣＣＤカメラ１１ａ，１１ｂで撮像した画像に生じるシェーディングの影響を補正するため、予め測定してあるシェーディング補正データ（シェーディング補正比）がストアされており、後述する＃１アドレスコントローラ８６によって指定される画素位置のシェーディング補正比と、前記ＬＵＴ３３ａ，３３ｂからのデータとが、１画素単位で各デジタルマルチプライヤ３４ａ，３４ｂによって乗算され、乗算されたデータがシェーディング補正済みの画像データとして各画像メモリ３６ａ，３６ｂに記録される。
【００３３】例えば、一様な輝度を有する壁等の対象物をＣＣＤカメラ１１で撮影すると、カメラの光学系にシェーディング現象が発生して、図５に示すように、光学中心付近に比べて画面周辺が暗くなる。すなわち、撮影した対象は一様な輝度を有するものであることから、正確には画面一面に一定の輝度データが入力されるはずであるが、中心部領域ＲAの輝度データを１００とすると、この中心部領域から外側の各領域ＲB，ＲCではシェーディングの影響で輝度が低下し、順に、９０，８０の輝度データとなり、画面周辺領域ＲDでは７０にまで輝度が低下する。
【００３４】これに対し、図６に示すように、各領域ＲA，ＲB，ＲC，ＲDに対するシェーディング補正比が、例えば、領域ＲAが１．０倍、領域ＲBが１．１１倍、領域ＲCが１．２５倍、領域ＲDが１．４３倍と予め測定しておき、これらのシェーディング補正比を、シェーディングの影響で実際の対象より輝度が低下した撮像画像の１画素毎に乗算して補正する。
【００３５】その結果、図７に示すように、領域ＲAは、１００×１．０＝１００の輝度データ、領域ＲBは、９０×１．１１＝１００の輝度データ、領域ＲCは、８０×１．２５＝１００の輝度データ、領域ＲDは、７０×１．４３＝１００の輝度データといったように、すべての領域で輝度が均一な実際の対象を正確に表現した画像とすることができる。
【００３６】従って、前記画像メモリ３６には、シェーディングの影響のない画像データを記録することができ、次に述べるシティブロック距離計算部４０において正確なシティブロック距離Ｈを算出することができ、正確な距離検出を行なえる。しかも、シェーディング補正をハードウエアで行なうため、処理速度が早く、リアルタイムで処理することができる。
【００３７】尚、後述するように、前記画像メモリ３６は、シティブロック距離計算部４０で画像の一部を繰り返し取り出して処理するため、比較的低速のメモリから構成することができ、コスト低減を図ることができる。
【００３８】シティブロック距離計算部４０では、前記画像変換部３０の左画像用の画像メモリ３６ａに、共通バス８０を介して２組の入力バッファメモリ４１ａ，４１ｂが接続されるとともに、右画像用の画像メモリ３６ｂに、共通バス８０を介して２組の入力バッファメモリ４２ａ，４２ｂが接続されている。
【００３９】前記各入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の速度に応じた比較的小容量の入出力が分離した高速タイプであり、、これらの入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂ、前記デジタルマルチプライヤ３４ａ，３４ｂ、シェーディング補正用データメモリ３５ａ，３５ｂ、及び、画像メモリ３６ａ，３６ｂに、クロック発生回路８５から供給されるクロックに従って＃１アドレスコントローラ８６から発生されるアドレスが共通に与えられる。
【００４０】前記左画像用の各入力バッファメモリ４１ａ，４１ｂには、２組の例えば８段構成のシフトレジスタ４３ａ，４３ｂが接続され、右画像用の各入力バッファメモリ４２ａ，４２ｂには、同様に、２組の例えば８段構成のシフトレジスタ４４ａ，４４ｂが接続されている。さらに、これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、シティブロック距離を計算するシティブロック距離計算回路４５が接続されており、これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂと前記各入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂとの間のデータ転送は、＃２アドレスコントローラ８７によって制御される。
【００４１】また、前記右画像用のシフトレジスタ４４ａ、４４ｂには、後述するずれ量決定部６０の２組の１０段構成のシフトレジスタ６４ａ，６４ｂが接続されており、次の小領域のデータ転送が始まると、シティブロック距離Ｈの計算の終わった古いデータはこれらのシフトレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の際に用いられる。
【００４２】また、シティブロック距離計算回路４５は、加減算器に入出力ラッチをつなげてワンチップ化した高速ＣＭＯＳ型演算器４６を組み合わせており、図８に詳細が示されるように、演算器４６を１６個ピラミッド状に接続したパイプライン構造で、例えば８画素分を同時に入力して計算するようになっている。このピラミッド型構造の初段は、絶対値演算器、２段〜４段は、それぞれ、第１加算器、第２加算器、第３加算器を構成し、最終段は総和加算器となっている。
【００４３】尚、図８においては、絶対値計算と１，２段目の加算器は半分のみ表示している。
【００４４】このシティブロック距離Ｈの計算をコンピュータのソフトウエアで行なう場合、右画像の一つの小領域に対して左画像の小領域を次々に探索し、これを右画像の小領域全部について行なう必要があり、この計算を例えば０．０８秒で行なうとすると、一画素当たり例えば５ステップのプログラムで、５００ＭＩＰＳ（Mega Instruction Per Second ）の能力が要求される。これは現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロプロセッサでは実現不可能な数字であり、リスク（ＲＩＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、あるいは、並列プロセッサなどを用いなければならなくなる。
【００４５】前記最小・最大値検出部５０は、シティブロック距離Ｈの最小値ＨMIN を検出する最小値検出回路５１とシティブロック距離Ｈの最大値ＨMAX を検出する最大値検出回路５２とを備えており、前記シティブロック距離計算回路４５で使用する演算器４６を最小値、最大値検出用として２個使用した構成となっており、シティブロック距離Ｈの出力と同期が取られるようになっている。
【００４６】図９に示すように、最小値検出回路５１は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃからなる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッチ５５を接続して構成され、シティブロック距離計算回路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６ｃの出力の最上位ビット（ＭＳＢ）がラッチ５４に出力される。このラッチ５４の出力は、Ｂレジスタ４６ｂ及びＤラッチ５５に出力され、演算器４６での最小値計算の途中の値が、Ｂレジスタ４６ｂに保存されるとともに、そのときのずれ量ｘがＤラッチ５５に保存されるようになっている。
【００４７】尚、最大値検出回路５２については、論理が逆になることと、ずれ量ｘを保存しないこと以外は、最小値検出回路５１と同様の構成である。
【００４８】前述したようにシティブロック距離Ｈは、一つの右画像小領域に対し、左画像小領域を１画素ずつずらしながら順次計算されていく。そこで、シティブロック距離Ｈの値が出力される毎に、これまでの値の最大値ＨMAX 、最小値ＨMIN と比較、更新することによって、最後のシティブロック距離Ｈの出力とほぼ同時に、その小領域におけるシティブロック距離Ｈの最大値ＨMAX 、最小値ＨMIN が求まるようになっている。
【００４９】前記ずれ量決定部６０は、比較的小規模のＲＩＳＣプロセッサとして構成され、演算器６１を中心として、２本の１６ビット幅データバス６２ａ，６２ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値としてのしきい値Ｈa を保持するラッチ６３ｂ、第２の規定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第３の規定値としてのしきい値Ｈc を保持するラッチ６３ｄ、右画像の輝度データを保持する２組のシフトレジスタ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘまたは”０”を出力するスイッチ回路６５、そして出力された結果を一時保存する出力バッファメモリ６６ａ，６６ｂ、回路の動作タイミングや演算器６１の機能の制御プログラムが書き込まれた１６ビット幅のＲＯＭ６７が備えられている。
【００５０】前記演算器６１は、ＡＬＵ７０を中心として、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７３、及び、セレクタ７４からなり、前記データバス６２ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接続されるとともに、前記データバス６２ｂ（以下、Ｂバス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ７０の演算結果で前記スイッチ回路６５を作動し、ずれ量ｘまたは“０”が前記出力バッファメモリ６６ａ，６６ｂに格納されるようになっている。
【００５１】前記Ａバス６２ａには、各しきい値Ｈa 、Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、前記最大値検出回路５２が接続され、前記Ｂバス６２ｂには、前記最小値検出回路５１が接続されている。さらに、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シフトレジスタ６４ａ，６４ｂが接続されている。
【００５２】また、前記スイッチ回路６５には、前記演算器６１が接続されるとともに、前記ラッチ６３ａを介して前記最小値検出回路５１が接続され、後述する３つのチェック条件が演算器６１で判定され、その判定結果に応じて前記出力バッファメモリ６６ａ，６６ｂへの出力が切り換えられる。
【００５３】このずれ量決定部６０では、得られたシティブロック距離Ｈの最小値ＨMIN が本当に左右小領域の一致を示しているものかどうかチェックを行い、条件を満たしたもののみ、出力バッファメモリ６６ａ，６６ｂの対応する画素の位置にずれ量ｘを出力する。
【００５４】すなわち、シティブロック距離Ｈが最小となるずれ量が求めるずれ量ｘとなる訳であるが、以下の３つのチェック条件を満足した場合にずれ量ｘを出力し、満足しない場合には、データを採用せずに“０”を出力する。
【００５５】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のときには距離を検出できず。）
（２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN がノイズによる揺らぎより明らかに低くなっていることをチェックするための条件であり、最小値ＨMINの近傍の値との差でなく、最大値ＨMAX との差をチェック対象とすることにより、曲面などの緩やかに輝度の変わる物体に対しても距離検出が行なえる。）
（３）右画像の小領域内の横方向の隣接画素間の輝度差＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となるが、輝度が緩やかに変化している場合にも対応可能なように、しきい値Ｈc は通常のエッジ検出レベルよりはずっと低くしてある。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいており、小領域中の画素毎に行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、自然な結果が得られる。）
尚、このずれ量決定の処理も、通常のマイクロプロセッサでソフト的に行おうとすると、例えば２７ＭＩＰＳの速さが必要となり、実行不可能である。
【００５６】以上のずれ量決定部６０から出力される最終結果である距離分布情報は、道路・障害物認識装置などの外部装置へのインターフェースとなるデュアルポートメモリ９０へ共通バス８０を介して書き込まれる。
【００５７】次に、図１０に示すフローチャートに従って、ステレオ画像処理装置２０を中心として本実施例の動作を説明する。
【００５８】まず、ステップS101で左右のＣＣＤカメラ１１ａ，１１ｂによって撮像した画像を入力すると、ステップS102で、Ａ／Ｄコンバータ３２ａ，３２ｂにより、入力したアナログ画像をデジタル量にＡ／Ｄ変換する。このＡ／Ｄ変換された画像データは、ＬＵＴ３３ａ，３３ｂで、低輝度部分のコントラスト増強、左右のＣＣＤカメラ１１ａ，１１ｂの特性補償等が行なわれ、次いで、＃１アドレスコントローラ８６によって指定される画素毎に、各デジタルマルチプライヤ３４ａ，３４ｂによって各シェーディング補正用データメモリ３５ａ，３５ｂにストアされているシェーディング補正比がそれぞれ乗算され、シェーディングの影響を補正したデータが画像メモリ３６ａ，３６ｂに記憶される。
【００５９】これらの画像メモリ３６ａ，３６ｂに記憶される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素子の全ラインのうち、その後の処理に必要なラインのみであり、例えば０．１秒に１回の割合（テレビ画像で３枚に１枚の割合）で書き換えられる。
【００６０】次に、ステップS103へ進むと、左右画像用の画像メモリ３６ａ，３６ｂから入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介して、例えば４ラインずつ左右画像データが読み込まれ、読み込んだ左右画像のマッチング、すなわち一致度の評価が行なわれる。
【００６１】その際、左右の画像毎に、前記画像メモリ３６ａ，３６ｂから前記入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み動作とが交互に行なわれる。例えば、左画像では、画像メモリ３６ａから一方の入力バッファメモリ４１ａに画像データが読み込まれている間に、他方の入力バッファメモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画像データの書き出しが行なわれ、右画像では、画像メモリ３６ｂから一方の入力バッファメモリ４２ａに画像データが読み込まれている間に、他方の入力バッファメモリ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像データの書き出しが行なわれる。
【００６２】そして、図１１に示すように、前記シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４×４画素の小領域の画像データ（１，１）…（４，４）が保存され、一方のシフトレジスタ４３ａ（４４ａ）には１、２ラインのデータが、もう一方のシフトレジスタ４３ｂ（４４ｂ）には３、４ラインのデータが、それぞれ１画素毎に奇数ライン、偶数ラインの順序で入る。
【００６３】前記各シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂは、それぞれが独立した転送ラインを持ち、４×４画素のデータは例えば８クロックで転送される。そして、これらのシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂは、８段のうちの偶数段の内容を同時にシティブロック距離計算回路４５に出力し、シティブロック距離Ｈの計算が始まると、右画像のデータはシフトレジスタ４４ａ，４４ｂ内に保持されて、クロック毎に奇数ライン、偶数ラインのデータが交互に出力され、一方、左画像のデータはシフトレジスタ４３ａ，４３ｂに転送され続け、奇数ライン、偶数ラインのデータが交互に出力されつつ、２クロック毎に１画素分右のほうにずれたデータに置き換わっていく。この動作を、例えば１００画素分ずれるまで（２００クロック）繰り返す。
【００６４】その後、一つの小領域に対する転送が終了すると、＃２アドレスコントローラ８７内の左画像用アドレスカウンタに右画像用アドレスカウンタの内容（次の４×４画素の小領域の先頭アドレス）がセットされ、次の小領域の処理が始まる。シティブロック距離計算回路４５では、図１２のタイミングチャートに示すように、まず、ピラミッド型構造初段の絶対値演算器に８画素分のデータを入力し、左右画像の輝度差の絶対値を計算する。すなわち、右画素の輝度から対応する左画素の輝度を引き算し、結果が負になった場合、演算命令を変えることにより、引く方と引かれる方を逆にして再び引き算を行なうことにより、絶対値の計算を行なう。従って、初段では引き算を２回行なう場合がある。
【００６５】次いで、初段を通過すると、２段目から４段目までの第１ないし第３加算器で二つの同時入力データを加算して出力する。そして、最終段の総和加算器で二つの連続するデータを加え合わせて総和を計算し、必要とする１６画素分のシティブロック距離Ｈを２クロック毎に最小・最大値検出部５０へ出力する。
【００６６】次に、ステップS104へ進み、前記ステップS103で算出したシティブロック距離Ｈの最大値ＨMAX 、最小値ＨMIN を検出する。前述したように、この最大値ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が逆になることと、ずれ量を保存しないこと以外は、全く同じであるため、以下、代表して最小値ＨMIN の検出について説明する。
【００６７】まず、最初に出力されてきたシティブロック距離Ｈ（ずれ量ｘ＝０）が、図９に示す最小値検出回路５１のＣラッチ５３を介して、演算器４６のＢレジスタ４６ｂに入力される。次のクロックで出力されてきたシティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ５３と演算器４６のＡレジスタ４６ａとに入れられ、演算器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が始まる。
【００６８】前記演算器４６での比較演算の結果、Ｂレジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方が小さければ、次のクロックのときに、Ｃラッチ５３の内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に保存される。このクロックで同時に、次のシティブロック距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッチ５３に入れられ、再び比較演算が始まる。
【００６９】このようにして、計算途中での最小値が常にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ５５に保存されながら、ずれ量ｘが１００になるまで計算が続けられる。計算が終了すると（最後のシティブロック距離Ｈが出力されてから１クロック後）、Ｂレジスタ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読み込まれる。
【００７０】この間に、前述したシティブロック距離計算回路４５では次の小領域の初期値が読み込まれ、時間の無駄を生じないようになっており、一つのシティブロック距離Ｈを計算するのに、例えば４クロックかかるが、パイプライン構造をとっているため、２クロック毎に新たな計算結果が得られる。
【００７１】ステップS105では、前記ステップ104 でシティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確定すると、ずれ量決定部６０にて、前述した３つの条件がチェックされ、ずれ量ｘが決定される。
【００７２】すなわち、図１３のタイミングチャートに示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算器６１のＢレジスタ７２にラッチされるとともに、このＢレジスタ７２の値と比較されるしきい値Ｈa がＡバス６２ａを介してＡレジスタ７１にラッチされる。そしてＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小値ＨMIN の方が大きければ、スイッチ回路６５がリセットされ、以後のチェックの如何に係わらず常に０が出力されるようになる。
【００７３】次に、Ａレジスタ７１に最大値ＨMAX がラッチされ、このＡレジスタ７１にラッチされた最大値ＨMAX とＢレジスタ７２に保存されている最小値ＨMIN との差が計算されて、その結果がＦレジスタ７３に出力される。次のクロックでＡレジスタ７１にしきい値Ｈb がラッチされ、Ｆレジスタ７３の値と比較される。Ａレジスタ７１にラッチされたしきい値Ｈb よりもＦレジスタ７３の内容の方が小さければ同様にスイッチ回路６５がリセットされる。
【００７４】次のクロックからは、隣接画素間の輝度差の計算が始まる。輝度データが保存されている２組のシフトレジスタ６４ａ，６４ｂは１０段構成であり、それぞれ、シティブロック距離計算部４０の１，２ライン用のシフトレジスタ４４ａと、３，４ライン用のシフトレジスタ４４ｂの後段に接続されている。前記シフトレジスタ６４ａ，６４ｂの出力は最後の段とその２つ手前の段から取り出され、それぞれが、Ａバス６２ａとＢバス６２ｂとに出力される。
【００７５】輝度差の計算が始まるとき、前記シフトレジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝度データが保持されており、初めに前回の小領域の第４行第１列の輝度データと、今回の小領域の第１行第１列の輝度データとが、演算器６１のＡレジスタ７１とＢレジスタ７２とにラッチされる。
【００７６】そして、Ａレジスタ７１の内容とＢレジスタ７２の内容の差の絶対値が計算され、結果がＦレジスタ７３に保存される。次のクロックでＡレジスタ７１にしきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較される。
【００７７】前記演算器６１での比較結果、Ａレジスタの内容（しきい値Ｈc ）よりもＦレジスタ７３の内容（輝度差の絶対値）のほうが大きければ、前記スイッチ回路６５からずれ量ｘあるいは”０”が出力され、、Ａレジスタの内容よりもＦレジスタ７３の内容のほうが小さければ”０”が出力されて、出力バッファメモリ６６ａ，６６ｂの該当する小領域の第１行第１列に当たる位置に書き込まれる。
【００７８】前記演算器６１で隣接画素間の輝度差としきい値Ｈc との比較が行なわれている間に、シフトレジスタ６４ａ，６４ｂは１段シフトする。そして今度は、前回の小領域の第４行第２列と、今回の小領域の第１行第２列の輝度データに対して計算を始める。このようにして小領域の第１列、第２列に対し交互に計算を行なった後、第３列、第４列に対して同様に計算を進める。
【００７９】計算中は、シフトレジスタ６４ａ，６４ｂの最終段と最初の段がつながってリングレジスタになっており、小領域全体を計算した後にシフトクロックが２回追加されるとレジスタの内容が計算前の状態に戻り、次の小領域の輝度データが転送され終わったときに、最終段とその前の段に今回の小領域の第４行のデータが留められる。
【００８０】このように、ずれ量決定のための計算中に次のデータをＡバス６２ａ，Ｂバス６２ｂに用意したり、結果の書き込みを行なうため、計算に必要な２クロックのみで一つのデータが処理される。この結果、初めに行なう最小値ＨMIN 、最大値ＨMAX のチェックを含めても、例えば４３クロックで全ての計算が終了する。すなわち、一つの小領域に対して、シティブロック距離Ｈの最小値ＨMIN 、最大値ＨMAX を求めるのに要する時間は充分に余裕があり、さらに機能を追加することも可能である。
【００８１】そして、ずれ量ｘが決定されると、ステップS106で、出力バッファメモリ６６ａ，６６ｂからデュアルポートメモリ９０へ、ずれ量ｘを距離分布情報として出力し、ステレオ画像処理装置２０における処理が終了する。前記出力バッファメモリ６６ａ，６６ｂは、前述した入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂと同様、例えば４ライン分の容量があり、２組の一方に書き込んでいる間にもう一方から前記デュアルポートメモリ９０へ距離分布情報を送り出す。
【００８２】次に、ステレオ画像処理装置２０のシステム全体のタイミングについて、図１４に示すタイミングチャートに従って説明する。
【００８３】まず初めに、同期を取っている左右のＣＣＤカメラ１１ａ，１１ｂからのフィールド信号を０．１秒毎（３画面に１画面の割合）に、画像メモリ３６ａ，３６ｂに書き込む。
【００８４】次に、取り込み終了信号を受けて、４ライン毎のブロック転送が始まる。この転送は、右画像、左画像、結果の距離分布像の順に３ブロック転送する。
【００８５】この間に、一方の入出力バッファメモリに対してずれ量ｘの計算が行われる。そして、ずれ量ｘの計算時間を考慮し、所定時間待機してからもう一方の入出力バッファメモリに対して転送を始める。
【００８６】一つの右画像の４×４画素の小領域に対するシティブロック距離Ｈの計算は、左画像について１００画素ずらしながら計算するため、１００回行われる。一つの領域のシティブロック距離Ｈが計算されている間に、その前の領域のずれ量ｘが各チェックを経て距離分布として出力される。
【００８７】処理すべきライン数を２００とすると４ライン分の処理を５０回繰り返すことになり、計算の開始時に最初のデータを転送するための４ライン分の処理時間、計算終了後に最後の結果を画像認識部に転送するための４ライン分の処理時間と、計８ライン分の処理時間がさらに必要となる。
【００８８】最初の入力画像ラインの転送を開始してから最後の距離分布を転送し終わるまでの時間は、実際の回路動作の結果、０．０７６秒である。
【００８９】以上説明したステレオ画像処理装置２０から出力される距離分布情報は、画像のような形態をしており（距離画像）、左右２台のＣＣＤカメラ１１ａ，１１ｂで撮影した画像、例えば図１５に示すような画像（図１５は片方のカメラで撮像した画像を示す）を前記ステレオ画像処理装置２０で処理すると、図１６のような画像となる。
【００９０】図１６に示す画像例では、画像サイズは横４００画素×縦２００画素であり、距離データを持っているのは黒点の部分で、これは図１５の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。画像上の座標系は、図１６に示すように、左上隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸とし、単位は画素である。
【００９１】この場合、図１５に示す画像は、ＣＣＤカメラ１１において発生するシェーディングを補正した画像であり、このシェーディング補正済みの画像が画像メモリ３６に記録されるため、この画像メモリ３６のデータを処理して得られる図１６に距離画像は、シェーディングの影響のない正確な距離分布を示している。
【００９２】そして、この距離画像からは、ＣＣＤカメラ１１の取付け位置と焦点距離などのレンズパラメータを用いて各画素に対応する物体のＸＹＺ空間における３次元位置を算出することができ、情報量の低下なく車外の対象物までの距離を正確に検出することができる。
【００９３】尚、前記ずれ量ｘによる距離分布情報からＸＹＺ空間における３次元位置への計算は、ステレオ画像処理装置２０内で処理しても良く、ステレオ画像処理装置２０から外部に出力されるデータ形式は、接続する外部装置との兼ね合いで定めれば良い。
【００９４】図１７は本発明の第２実施例に係わり、車輌用距離検出装置の回路構成図である。
【００９５】本実施例は、前述の第１実施例に対し、ＬＵＴ３３ａ，３３ｂ、及び、デジタルマルチプライヤ３４ａ，３４ｂの機能を統合し、シェーディング補正をより汎用化したものである。尚、以下の各実施例においては、前述の第１実施例と同様の部材には同一の符号を付して説明を省略する。
【００９６】図１７に示すように、本実施例の画像変換部１００では、左右画像用のＣＣＤカメラ１１ａ，１１ｂに対応する各Ａ／Ｄコンバータ３２ａ，３２ｂの各出力と、各シェーディング補正用データメモリ１０２ａ，１０２ｂの各出力とが、各補正テーブル１０１ａ，１０１ｂにそれぞれ入力されるようになっており、各補正テーブル１０１ａ，１０１ｂの各出力が各画像メモリ３６ａ，３６ｂにそれぞれ入力される。他の構成は、前述の第１実施例と同様である。
【００９７】前記各補正テーブル１０１ａ，１０１ｂは、前述の第１実施例のＬＵＴ３３ａ，３３ｂ、及び、各デジタルマルチプライヤ３４ａ，３４ｂの機能を含むものであり、前記各Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル量に変換されたデジタル画像のデータを第１の入力データとして、この第１の入力データのビット数と同じビット数の第１のアドレス、及び、前記各シェーディング補正用データメモリ１０２ａ，１０２ｂからのシェーディング補正比を第２の入力データとして、この第２の入力データのビット数と同じビット数の第２のアドレスを有するものとなっている。
【００９８】第１の入力データと等しい第１のアドレスの内容には、前述の各ＬＵＴ３３ａ，３３ｂと同じ内容の輝度補正やＣＣＤアンプの固有ゲインの補正を施したデータが書き込まれており、また、第２の入力データと等しい第２のアドレスの内容には、第１のアドレスの内容にシェーディング補正比を乗算したデータが書き込まれている。
【００９９】すなわち、前記各補正テーブル１０１ａ，１０１ｂは、前述の第１実施例のＬＵＴ３３ａ，３３ｂに対して、いわば二次元のルックアップテーブルとなっており、例えば、８ビットの各画像データを各補正テーブル１０１ａ，１０１ｂの第１の入力データとして第１のアドレスに与え、８ビットのシェーディング補正比を第２の入力データとして第２のアドレスに与えると、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いを補正した上で、さらに、シェーディング補正を行なった８ビットのデータを読み出すことができ、このデータが前記各画像メモリ３６ａ，３６ｂに記憶される。
【０１００】本実施例では、前述の第１実施例と同様、シェーディングの影響のない画像データが得られ、正確なシティブロック距離Ｈを算出できることはいうまでもないが、さらに、前述の第１実施例のデジタルマルチプライヤ３４によるシェーディング補正が線形の演算処理であるのに比較し、補正テーブル１０１（補正テーブル１０１ａ，１０１ｂを代表して表記する）に書き込む内容次第で、より緻密で自由度の高いシェーディング補正処理が可能となっている。尚、シェーディング補正用データメモリ１０２（シェーディング補正用データメモリ１０２ａ，１０２ｂを代表して表記する）は、前述の第１実施例の各シェーディング補正用データメモリ３５と同じでも良く、また、更に緻密なシェーディング補正比を書き込んだものでも良い。
【０１０１】図１８〜図２４は本発明の第３実施例に係わり、図１８は車輌用距離検出装置の回路構成図、図１９は入力画像例を示す説明図、図２０は補正データ例を示す説明図、図２１は補正後の画像例を示す説明図、図２２は入力画像ラインデータ例を示す説明図、図２３は補正比ラインデータ例を示す説明図、図２４は補正後画像ラインデータ例を示す説明図である。
【０１０２】本実施例は、前述の第１実施例におけるシェーディング補正が、Ａ／Ｄコンバータ３２ａ，３２ｂによってデジタルデータに変換された画像に対して行なわれるものであるのに対し、アナログ画像データに対してシェーディング補正を行なうものである。
【０１０３】すなわち、図１８に示すように、本実施例の画像変換部１５０では、第１の画像変換部３０に対し、デジタルマルチプライヤ３４ａ，３４ｂに代えてアナログ乗算器としてのアナログマルチプライヤ１５１ａ，１５１ｂを採用し、これらのアナログマルチプライヤ１５１ａ，１５１ｂを、各アナログＩ／Ｆ３１ａ，３１ｂの出力側と、各Ａ／Ｄコンバータ３２ａ，３２ｂの入力側との間にそれぞれ接続している。
【０１０４】前記各アナログマルチプライヤ１５１ａ，１５１ｂには、また、シェーディング補正用データメモリ３５ａ，３５ｂの出力側が、Ｄ／Ａコンバータ１５２ａ，１５２ｂ、さらに、アナログＩ／Ｆ１５３ａ，１５３ｂを介して接続されており、前記Ｄ／Ａコンバータ１５２ａ，１５２ｂによってデジタルデータからアナログデータに変換されたシェーディング補正比が、前記アナログＩ／Ｆ１５３ａ，１５３ｂを介して入力されるようになっている。他の構成は前述の第１実施例と同様である。
【０１０５】従って、ＣＣＤカメラ１１で撮像したアナログ画像の１画素毎に、アナログマルチプライヤ１５１（アナログマルチプライヤ１５１ａ，１５１ｂを代表して表記する）によってシェーディング補正比が乗算され、シェーディング補正済みのアナログ画像データとして出力される。このシェーディング補正済みのアナログ画像データは、前記Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル画像データに変換された上で、ＬＵＴ３３ａ，３３ｂにより、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いが補正され、画像メモリ３６ａ，３６ｂに記録される。
【０１０６】以下、アナログマルチプライヤ１５１によるアナログ乗算について説明する。例えば、図１９に示すように、中心部領域ＲAの輝度データが１００で、シェーディングの影響で、外側の各領域ＲB，ＲC，ＲDの輝度データが、順に、９０，８０，７０となっている入力画像では、水平ラインＡ１−Ａ１’を取ると、輝度データは図２２に示すようになっている。
【０１０７】これに対し、図２０に示すような、各領域ＲA，ＲB，ＲC，ＲDに対するシェーディング補正比が、例えば、領域ＲAが１．０倍、領域ＲBが１．１１倍、領域ＲCが１．２５倍、領域ＲDが１．４３倍と予め測定してある補正データでは、水平ラインＢ１−Ｂ１’の補正比が図２３に示すように設定されており、この補正比を乗算すると、図２４のＣ１−Ｃ１’となり、図２１に示すようなシェーディングの影響のない一様な入力画像が得られる。
【０１０８】従って、前述の各実施例と同様、前記画像メモリ３６には、シェーディングの影響のない画像データを記録することができ、正確なシティブロック距離Ｈを算出して距離検出の精度を向上することができるのである。
【０１０９】
【発明の効果】以上説明したように本発明によれば、撮像系で撮像した画像から得られるデジタル画像に対し、デジタル乗算器あるいは補正テーブルによってシェーディング補正を行ない、あるいは、撮像系で撮像したアナログ画像に対し、アナログ乗算器によってシェーディング補正を行なうため、撮像系のシェーディングの影響を防止し、距離検出の精度を向上することができるなど優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係わり、車輌用距離検出装置の回路構成
【図２】同上、距離検出装置の全体構成図
【図３】同上、車輌の正面図
【図４】同上、カメラと被写体との関係を示す説明図
【図５】同上、入力画像例を示す説明図
【図６】同上、補正データ例を示す説明図
【図７】同上、補正後の画像例を示す説明図
【図８】同上、シティブロック距離計算回路の説明図
【図９】同上、最小値検出回路のブロック図
【図１０】同上、距離検出装置の動作を示すフローチャート
【図１１】同上、シフトレジスタ内の保存順序を示す説明図
【図１２】同上、シティブロック距離計算回路の動作を示すタイミングチャート
【図１３】同上、ずれ量決定部の動作を示すタイミングチャート
【図１４】同上、全体の動作を示すタイミングチャート
【図１５】同上、車載のＣＣＤカメラで撮像した画像の例を示す説明図
【図１６】同上、距離画像の例を示す説明図
【図１７】本発明の第２実施例に係わり、車輌用距離検出装置の回路構成図
【図１８】本発明の第３実施例に係わり、車輌用距離検出装置の回路構成図
【図１９】同上、入力画像例を示す説明図
【図２０】同上、補正データ例を示す説明図
【図２１】同上、補正後の画像例を示す説明図
【図２２】同上、入力画像ラインデータ例を示す説明図
【図２３】同上、補正比ラインデータ例を示す説明図
【図２４】同上、補正後画像ラインデータ例を示す説明図
【符号の説明】
１０ ステレオ光学系（撮像系）
３５，１０２ シェーディング補正用データメモリ
３４ デジタルマルチプライヤ（デジタル乗算器）
３６ 画像メモリ
１０１ 補正テーブル
１５１ アナログマルチプライヤ（アナログ乗算器）
【０００１】
【産業上の利用分野】本発明は、撮像系のシェーディングの影響を防止し、距離検出の精度を向上する車輌用距離検出装置に関する。
【０００２】
【従来の技術】人や物を運ぶ手段の１つである自動車等の車輌は、その利便性と快適性から現代社会においてなくてはならない存在となっている。そこで、自動車の持つ優れた点を犠牲にすることなく、自動的に事故を回避することのできる技術の開発が従来より進められている。
【０００３】自動車の衝突を自動的に回避するためには、走行の障害となる物体を検出することがまず第一に重要であり、一方、自動車の走行には、検出した障害物が道路上の何処に存在しているのかを知る必要がある。
【０００４】従って、最近では、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたカメラ等を車輌に搭載して車外の対象風景を撮像し、この撮像した画像を画像処理して車輌から対象物までの距離を求める計測技術が有力な手段として採用されるようになっており、例えば、特開昭５９−１９７８１６号公報には、２台のＴＶカメラを車輌前方に取り付け、各々のＴＶカメラの画像について、２次元的な輝度分布パターンから障害物を検出し、次に、２つの画像上における障害物の位置のずれを求め、三角測量の原理によって障害物の３次元位置を算出する車間距離検出装置が開示されている。
【０００５】
【発明が解決しようとする課題】しかしながら、カメラ等の撮像系には、レンズの透過ムラ等の影響によって、画像の周辺部よりも中心部の方が明るい、いわゆるシェーディング現象が発生し、均一な輝度を有する対象物を撮像しても、撮像画像では輝度が不均一となってしまう。
【０００６】このシェーディングの影響を防止するシェーディング補正に係る技術は、例えば、特開平３−２２７５７号公報に開示されているが、従来、車輌用距離検出装置においては、撮像系のシェーディングによる影響は考慮されておらず、撮像系で撮像した画像を処理して画像全体に渡る距離分布を求める際に、シェーディングの影響で現実の撮像対象の輝度分布と画像上の輝度分布との間に誤差が生じ、距離分布の正確さが失われてしまうおそれがある。
【０００７】本発明は前記事情に鑑みてなされたもので、撮像系のシェーディングの影響を防止し、距離検出の精度を向上することのできる車輌用距離検出装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】第１の発明は、車輌に搭載した撮像系によって車外の対象を撮像して画像メモリに記録し、この画像メモリに記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリと、前記撮像系で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データ毎に、前記シェーディング補正用データメモリの対応するシェーディング補正データを乗算し、シェーディング補正済みの画像データとして出力するデジタル乗算器とを備えたことを特徴とする。
【０００９】第２の発明は、車輌に搭載した撮像系によって車外の対象を撮像して画像メモリに記録し、この画像メモリに記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリと、前記撮像系で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データを、前記シェーディング補正用データメモリの対応するシェーディング補正データで乗算した値に変換し、シェーディング補正済みの画像データとして出力する補正テーブルとを備えたことを特徴とする。
【００１０】第３の発明は、車輌に搭載した撮像系によって車外の対象を撮像して画像メモリに記録し、この画像メモリに記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリと、前記撮像系で撮像したアナログ画像に対し、このアナログ画像の各画素データ毎に、前記シェーディング補正用データメモリの対応するシェーディング補正データをデジタル／アナログ変換した値を乗算し、シェーディング補正済みの画像データとして出力するアナログ乗算器とを備えたことを特徴とする。
【００１１】
【作用】第１の発明では、撮像系で撮像した画像から得られるデジタル画像の各画素データ毎に、シェーディング補正用データメモリの対応するシェーディング補正データをデジタル乗算器によって乗算し、シェーディング補正を行なう。そして、シェーディング補正済みの画像データを用いて正確な距離分布を算出する。
【００１２】第２の発明では、撮像系で撮像した画像から得られるデジタル画像の各画素データを補正テーブルを通すことにより、各画素データにシェーディング補正用データメモリの対応するシェーディング補正データを乗算した値に変換してシェーディング補正を行なう。そして、シェーディング補正済みの画像データを用いて正確な距離分布を算出する。
【００１３】第３の発明では、撮像系で撮像したアナログ画像に、直接、シェーディング補正用データメモリの対応するシェーディング補正データをデジタル／アナログ変換した値を乗算してシェーディング補正を行なう。そして、シェーディング補正済みの画像データを用いて正確な距離分布を算出する。
【００１４】
【実施例】以下、図面を参照して本発明の実施例を説明する。図１〜図１６は本発明の第１実施例に係わり、図１は車輌用距離検出装置の回路構成図、図２は距離検出装置の全体構成図、図３は車輌の正面図、図４はカメラと被写体との関係を示す説明図、図５は入力画像例を示す説明図、図６は補正データ例を示す説明図、図７は補正後の画像例を示す説明図、図８はシティブロック距離計算回路の説明図、図９は最小値検出回路のブロック図、図１０は距離検出装置の動作を示すフローチャート、図１１はシフトレジスタ内の保存順序を示す説明図、図１２はシティブロック距離計算回路の動作を示すタイミングチャート、図１３はずれ量決定部の動作を示すタイミングチャート、図１４は全体の動作を示すタイミングチャート、図１５は車載のＣＣＤカメラで撮像した画像の例を示す説明図、図１６は距離画像の例を示す説明図である。
【００１５】図２において、符号１は自動車などの車輌であり、この車輌１に、車外の設置範囲内の対象を撮像して距離を検出する距離検出装置２が搭載されている。この距離検出装置２は、例えば図示しない道路・障害物認識装置などに接続されて障害物監視装置を構成し、運転者に対する警告、車体の自動衝突回避等の動作を行なうようになっている。
【００１６】前記距離検出装置２は、車外の対象を撮像する撮像系としてのステレオ光学系１０と、このステレオ光学系１０によって撮像した画像を処理し、画像全体に渡る距離分布を算出するステレオ画像処理装置２０とを備えており、このステレオ画像処理装置２０で算出した３次元の距離情報が、例えば道路・障害物認識装置等に取り込まれ、道路形状及び車輌１に対する障害物が認識される。
【００１７】前記ステレオ光学系１０は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたカメラにより構成され、図３に示すように、遠距離の左右画像用としての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣＣＤカメラ１１と表記する場合もある）が、それぞれ車室内の天井前方に一定の間隔をもって取り付けられるとともに、近距離の左右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記する場合もある）が、それぞれ、遠距離用のＣＣＤカメラ１１ａ，１１ｂの内側に一定の間隔をもって取り付けられている。
【００１８】前記ステレオ光学系１０として、直近から例えば１００ｍ遠方までの距離計測を行なう場合、車室内のＣＣＤカメラ１１，１２の取付位置を、例えば、車輌１のボンネット先端から２ｍとすると、実際には前方２ｍから１００ｍまでの位置を計測できれば良い。
【００１９】すなわち、図４に示すように、遠距離用の２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとして、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄにある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂの焦点距離を共にｆとすると、点Ｐの像は、それぞれのカメラについて焦点位置からｆだけ離れた投影面に写る。
【００２０】このとき、右のＣＣＤカメラ１１ｂにおける像の位置から左のＣＣＤカメラ１１ａにおける像の位置までの距離は、ｒ＋ｘとなり、このｘをずれ量とすると、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求めることができる。
【００２１】
Ｄ＝ｒ・ｆ／ｘ （１）
この左右画像のずれ量ｘを検出するには、左右画像における同一物体の像を見つけ出す必要があり、次に述べるステレオ画像処理装置２０では、画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して一致する領域を見つけ出し、全画面に渡って距離分布を求める。すなわち、従来のように、エッジ、線分、特殊な形等、何らかの特徴を抽出し、それらの特徴が一致する部分を見つけ出すことによる情報量の低下を避けるのである。
【００２２】左右画像の一致度は、右画像、左画像のｉ番目画素の輝度（色を用いても良い）を、それぞれ、Ａｉ、Ｂｉとすると、例えば、以下の（２）式に示すシティブロック距離Ｈによって評価することができ、平均値の採用による情報量の低下もなく、乗算がないことから演算速度を向上させることができる。
【００２３】
Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２）
また、分割すべき小領域の大きさとしては、大きすぎると、その領域内に遠方物体と近くの物体が混在する可能性が高くなり、検出される距離が曖昧になる。画像の距離分布を得るためにも領域は小さい方が良いが、小さすぎると、一致度を調べるための情報量が不足する。
【００２４】このため、例えば、１００ｍ先にある幅１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含まれないように、４つに分割される画素数を領域横幅の最大値とすると、前記ステレオ光学系１０に対して４画素となる。この値を基準に最適な画素数を実際の画像で試行した結果、縦横共に４画素となる。
【００２５】以下の説明では、画像を４×４の小領域で分割して左右画像の一致度を調べるものとし、ステレオ光学系１０は、遠距離用のＣＣＤカメラ１１で代表するものとする。
【００２６】図１に示すように、ステレオ画像処理装置２０は、前記ステレオ光学系１０で撮像したアナログ画像をデジタル画像に変換する画像変換部３０、この画像変換部３０からの画像データに対し、左右画像のずれ量ｘを決定するためのシティブロック距離Ｈを画素を一つずつずらしながら次々と計算する一致度計算部としてのシティブロック距離計算部４０、シティブロック距離Ｈの最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大値検出部５０、この最小・最大値検出部５０で得られた最小値ＨMIN が左右小領域の一致を示すものであるか否かをチェックしてずれ量ｘを決定するずれ量決定部６０を備えている。
【００２７】前記画像変換部３０には、左右画像用のＣＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ３２ａ，３２ｂが備えられ、各ＣＣＤカメラ１１ａ，１１ｂからのビデオ信号が各アナログインターフェース（アナログＩ／Ｆ）３１ａ，３１ｂによって各Ａ／Ｄコンバータ３２ａ，３２ｂの入力レンジに量子化され、各Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル信号に変換され、さらに、各Ａ／Ｄコンバータ３２ａ，３２ｂの出力がルックアップテーブル（ＬＵＴ）３３ａ，３３ｂに入力されるようになっている。
【００２８】前記Ａ／Ｄコンバータ３２ａ，３２ｂは、例えば８ビットの分解能を有し、ＣＣＤカメラ１１からのアナログ画像を、所定の輝度階調を有するデジタル画像に変換する。すなわち、処理の高速化のため画像の二値化を行なうと、左右画像の一致度を計算するための情報が著しく失われるため、例えば２５６階調のグレースケールに変換するのである。
【００２９】また、前記ＬＵＴ３３ａ，３３ｂはＲＯＭ上に構成され、前記各Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル量に変換されたデジタル画像のデータのビット数と同じビット数のアドレスをそれぞれ有し、入力データと等しいアドレスの内容に、輝度補正やＣＣＤアンプの固有ゲインの補正を施したデータが書き込まれている。従って、例えば８ビットの画像データを、前記ＬＵＴ３３ａ，３３ｂのアドレスとして与えると、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いを補正した８ビットのデータを読み出すことができる。
【００３０】さらに、前記画像変換部３０には、各ＣＣＤカメラ１１ａ，１１ｂで撮像した各画像のシェーディング補正を行なう機能が備えられており、前記各ＬＵＴ３３ａ，３３ｂの出力側と、各シェーディング補正用データメモリ３５ａ，３５ｂの出力側とが、それぞれ、デジタル乗算器であるデジタルマルチプライヤ３４ａ，３４ｂを介して、左右画像用の画像メモリ３６ａ，３６ｂに接続されている。
【００３１】尚、各シェーディング補正用データメモリ３５ａ，３５ｂ、各デジタルマルチプライヤ３４ａ，３４ｂ、各画像メモリ３６ａ，３６ｂは、それぞれ、シェーディング補正用データメモリ３５、デジタルマルチプライヤ３４、画像メモリ３６と代表して表記する場合もある。
【００３２】各シェーディング補正用データメモリ３５ａ，３５ｂには、各ＣＣＤカメラ１１ａ，１１ｂで撮像した画像に生じるシェーディングの影響を補正するため、予め測定してあるシェーディング補正データ（シェーディング補正比）がストアされており、後述する＃１アドレスコントローラ８６によって指定される画素位置のシェーディング補正比と、前記ＬＵＴ３３ａ，３３ｂからのデータとが、１画素単位で各デジタルマルチプライヤ３４ａ，３４ｂによって乗算され、乗算されたデータがシェーディング補正済みの画像データとして各画像メモリ３６ａ，３６ｂに記録される。
【００３３】例えば、一様な輝度を有する壁等の対象物をＣＣＤカメラ１１で撮影すると、カメラの光学系にシェーディング現象が発生して、図５に示すように、光学中心付近に比べて画面周辺が暗くなる。すなわち、撮影した対象は一様な輝度を有するものであることから、正確には画面一面に一定の輝度データが入力されるはずであるが、中心部領域ＲAの輝度データを１００とすると、この中心部領域から外側の各領域ＲB，ＲCではシェーディングの影響で輝度が低下し、順に、９０，８０の輝度データとなり、画面周辺領域ＲDでは７０にまで輝度が低下する。
【００３４】これに対し、図６に示すように、各領域ＲA，ＲB，ＲC，ＲDに対するシェーディング補正比が、例えば、領域ＲAが１．０倍、領域ＲBが１．１１倍、領域ＲCが１．２５倍、領域ＲDが１．４３倍と予め測定しておき、これらのシェーディング補正比を、シェーディングの影響で実際の対象より輝度が低下した撮像画像の１画素毎に乗算して補正する。
【００３５】その結果、図７に示すように、領域ＲAは、１００×１．０＝１００の輝度データ、領域ＲBは、９０×１．１１＝１００の輝度データ、領域ＲCは、８０×１．２５＝１００の輝度データ、領域ＲDは、７０×１．４３＝１００の輝度データといったように、すべての領域で輝度が均一な実際の対象を正確に表現した画像とすることができる。
【００３６】従って、前記画像メモリ３６には、シェーディングの影響のない画像データを記録することができ、次に述べるシティブロック距離計算部４０において正確なシティブロック距離Ｈを算出することができ、正確な距離検出を行なえる。しかも、シェーディング補正をハードウエアで行なうため、処理速度が早く、リアルタイムで処理することができる。
【００３７】尚、後述するように、前記画像メモリ３６は、シティブロック距離計算部４０で画像の一部を繰り返し取り出して処理するため、比較的低速のメモリから構成することができ、コスト低減を図ることができる。
【００３８】シティブロック距離計算部４０では、前記画像変換部３０の左画像用の画像メモリ３６ａに、共通バス８０を介して２組の入力バッファメモリ４１ａ，４１ｂが接続されるとともに、右画像用の画像メモリ３６ｂに、共通バス８０を介して２組の入力バッファメモリ４２ａ，４２ｂが接続されている。
【００３９】前記各入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の速度に応じた比較的小容量の入出力が分離した高速タイプであり、、これらの入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂ、前記デジタルマルチプライヤ３４ａ，３４ｂ、シェーディング補正用データメモリ３５ａ，３５ｂ、及び、画像メモリ３６ａ，３６ｂに、クロック発生回路８５から供給されるクロックに従って＃１アドレスコントローラ８６から発生されるアドレスが共通に与えられる。
【００４０】前記左画像用の各入力バッファメモリ４１ａ，４１ｂには、２組の例えば８段構成のシフトレジスタ４３ａ，４３ｂが接続され、右画像用の各入力バッファメモリ４２ａ，４２ｂには、同様に、２組の例えば８段構成のシフトレジスタ４４ａ，４４ｂが接続されている。さらに、これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、シティブロック距離を計算するシティブロック距離計算回路４５が接続されており、これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂと前記各入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂとの間のデータ転送は、＃２アドレスコントローラ８７によって制御される。
【００４１】また、前記右画像用のシフトレジスタ４４ａ、４４ｂには、後述するずれ量決定部６０の２組の１０段構成のシフトレジスタ６４ａ，６４ｂが接続されており、次の小領域のデータ転送が始まると、シティブロック距離Ｈの計算の終わった古いデータはこれらのシフトレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の際に用いられる。
【００４２】また、シティブロック距離計算回路４５は、加減算器に入出力ラッチをつなげてワンチップ化した高速ＣＭＯＳ型演算器４６を組み合わせており、図８に詳細が示されるように、演算器４６を１６個ピラミッド状に接続したパイプライン構造で、例えば８画素分を同時に入力して計算するようになっている。このピラミッド型構造の初段は、絶対値演算器、２段〜４段は、それぞれ、第１加算器、第２加算器、第３加算器を構成し、最終段は総和加算器となっている。
【００４３】尚、図８においては、絶対値計算と１，２段目の加算器は半分のみ表示している。
【００４４】このシティブロック距離Ｈの計算をコンピュータのソフトウエアで行なう場合、右画像の一つの小領域に対して左画像の小領域を次々に探索し、これを右画像の小領域全部について行なう必要があり、この計算を例えば０．０８秒で行なうとすると、一画素当たり例えば５ステップのプログラムで、５００ＭＩＰＳ（Mega Instruction Per Second ）の能力が要求される。これは現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロプロセッサでは実現不可能な数字であり、リスク（ＲＩＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、あるいは、並列プロセッサなどを用いなければならなくなる。
【００４５】前記最小・最大値検出部５０は、シティブロック距離Ｈの最小値ＨMIN を検出する最小値検出回路５１とシティブロック距離Ｈの最大値ＨMAX を検出する最大値検出回路５２とを備えており、前記シティブロック距離計算回路４５で使用する演算器４６を最小値、最大値検出用として２個使用した構成となっており、シティブロック距離Ｈの出力と同期が取られるようになっている。
【００４６】図９に示すように、最小値検出回路５１は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃからなる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッチ５５を接続して構成され、シティブロック距離計算回路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６ｃの出力の最上位ビット（ＭＳＢ）がラッチ５４に出力される。このラッチ５４の出力は、Ｂレジスタ４６ｂ及びＤラッチ５５に出力され、演算器４６での最小値計算の途中の値が、Ｂレジスタ４６ｂに保存されるとともに、そのときのずれ量ｘがＤラッチ５５に保存されるようになっている。
【００４７】尚、最大値検出回路５２については、論理が逆になることと、ずれ量ｘを保存しないこと以外は、最小値検出回路５１と同様の構成である。
【００４８】前述したようにシティブロック距離Ｈは、一つの右画像小領域に対し、左画像小領域を１画素ずつずらしながら順次計算されていく。そこで、シティブロック距離Ｈの値が出力される毎に、これまでの値の最大値ＨMAX 、最小値ＨMIN と比較、更新することによって、最後のシティブロック距離Ｈの出力とほぼ同時に、その小領域におけるシティブロック距離Ｈの最大値ＨMAX 、最小値ＨMIN が求まるようになっている。
【００４９】前記ずれ量決定部６０は、比較的小規模のＲＩＳＣプロセッサとして構成され、演算器６１を中心として、２本の１６ビット幅データバス６２ａ，６２ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値としてのしきい値Ｈa を保持するラッチ６３ｂ、第２の規定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第３の規定値としてのしきい値Ｈc を保持するラッチ６３ｄ、右画像の輝度データを保持する２組のシフトレジスタ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘまたは”０”を出力するスイッチ回路６５、そして出力された結果を一時保存する出力バッファメモリ６６ａ，６６ｂ、回路の動作タイミングや演算器６１の機能の制御プログラムが書き込まれた１６ビット幅のＲＯＭ６７が備えられている。
【００５０】前記演算器６１は、ＡＬＵ７０を中心として、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７３、及び、セレクタ７４からなり、前記データバス６２ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接続されるとともに、前記データバス６２ｂ（以下、Ｂバス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ７０の演算結果で前記スイッチ回路６５を作動し、ずれ量ｘまたは“０”が前記出力バッファメモリ６６ａ，６６ｂに格納されるようになっている。
【００５１】前記Ａバス６２ａには、各しきい値Ｈa 、Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、前記最大値検出回路５２が接続され、前記Ｂバス６２ｂには、前記最小値検出回路５１が接続されている。さらに、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シフトレジスタ６４ａ，６４ｂが接続されている。
【００５２】また、前記スイッチ回路６５には、前記演算器６１が接続されるとともに、前記ラッチ６３ａを介して前記最小値検出回路５１が接続され、後述する３つのチェック条件が演算器６１で判定され、その判定結果に応じて前記出力バッファメモリ６６ａ，６６ｂへの出力が切り換えられる。
【００５３】このずれ量決定部６０では、得られたシティブロック距離Ｈの最小値ＨMIN が本当に左右小領域の一致を示しているものかどうかチェックを行い、条件を満たしたもののみ、出力バッファメモリ６６ａ，６６ｂの対応する画素の位置にずれ量ｘを出力する。
【００５４】すなわち、シティブロック距離Ｈが最小となるずれ量が求めるずれ量ｘとなる訳であるが、以下の３つのチェック条件を満足した場合にずれ量ｘを出力し、満足しない場合には、データを採用せずに“０”を出力する。
【００５５】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のときには距離を検出できず。）
（２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN がノイズによる揺らぎより明らかに低くなっていることをチェックするための条件であり、最小値ＨMINの近傍の値との差でなく、最大値ＨMAX との差をチェック対象とすることにより、曲面などの緩やかに輝度の変わる物体に対しても距離検出が行なえる。）
（３）右画像の小領域内の横方向の隣接画素間の輝度差＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となるが、輝度が緩やかに変化している場合にも対応可能なように、しきい値Ｈc は通常のエッジ検出レベルよりはずっと低くしてある。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいており、小領域中の画素毎に行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、自然な結果が得られる。）
尚、このずれ量決定の処理も、通常のマイクロプロセッサでソフト的に行おうとすると、例えば２７ＭＩＰＳの速さが必要となり、実行不可能である。
【００５６】以上のずれ量決定部６０から出力される最終結果である距離分布情報は、道路・障害物認識装置などの外部装置へのインターフェースとなるデュアルポートメモリ９０へ共通バス８０を介して書き込まれる。
【００５７】次に、図１０に示すフローチャートに従って、ステレオ画像処理装置２０を中心として本実施例の動作を説明する。
【００５８】まず、ステップS101で左右のＣＣＤカメラ１１ａ，１１ｂによって撮像した画像を入力すると、ステップS102で、Ａ／Ｄコンバータ３２ａ，３２ｂにより、入力したアナログ画像をデジタル量にＡ／Ｄ変換する。このＡ／Ｄ変換された画像データは、ＬＵＴ３３ａ，３３ｂで、低輝度部分のコントラスト増強、左右のＣＣＤカメラ１１ａ，１１ｂの特性補償等が行なわれ、次いで、＃１アドレスコントローラ８６によって指定される画素毎に、各デジタルマルチプライヤ３４ａ，３４ｂによって各シェーディング補正用データメモリ３５ａ，３５ｂにストアされているシェーディング補正比がそれぞれ乗算され、シェーディングの影響を補正したデータが画像メモリ３６ａ，３６ｂに記憶される。
【００５９】これらの画像メモリ３６ａ，３６ｂに記憶される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素子の全ラインのうち、その後の処理に必要なラインのみであり、例えば０．１秒に１回の割合（テレビ画像で３枚に１枚の割合）で書き換えられる。
【００６０】次に、ステップS103へ進むと、左右画像用の画像メモリ３６ａ，３６ｂから入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介して、例えば４ラインずつ左右画像データが読み込まれ、読み込んだ左右画像のマッチング、すなわち一致度の評価が行なわれる。
【００６１】その際、左右の画像毎に、前記画像メモリ３６ａ，３６ｂから前記入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み動作とが交互に行なわれる。例えば、左画像では、画像メモリ３６ａから一方の入力バッファメモリ４１ａに画像データが読み込まれている間に、他方の入力バッファメモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画像データの書き出しが行なわれ、右画像では、画像メモリ３６ｂから一方の入力バッファメモリ４２ａに画像データが読み込まれている間に、他方の入力バッファメモリ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像データの書き出しが行なわれる。
【００６２】そして、図１１に示すように、前記シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４×４画素の小領域の画像データ（１，１）…（４，４）が保存され、一方のシフトレジスタ４３ａ（４４ａ）には１、２ラインのデータが、もう一方のシフトレジスタ４３ｂ（４４ｂ）には３、４ラインのデータが、それぞれ１画素毎に奇数ライン、偶数ラインの順序で入る。
【００６３】前記各シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂは、それぞれが独立した転送ラインを持ち、４×４画素のデータは例えば８クロックで転送される。そして、これらのシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂは、８段のうちの偶数段の内容を同時にシティブロック距離計算回路４５に出力し、シティブロック距離Ｈの計算が始まると、右画像のデータはシフトレジスタ４４ａ，４４ｂ内に保持されて、クロック毎に奇数ライン、偶数ラインのデータが交互に出力され、一方、左画像のデータはシフトレジスタ４３ａ，４３ｂに転送され続け、奇数ライン、偶数ラインのデータが交互に出力されつつ、２クロック毎に１画素分右のほうにずれたデータに置き換わっていく。この動作を、例えば１００画素分ずれるまで（２００クロック）繰り返す。
【００６４】その後、一つの小領域に対する転送が終了すると、＃２アドレスコントローラ８７内の左画像用アドレスカウンタに右画像用アドレスカウンタの内容（次の４×４画素の小領域の先頭アドレス）がセットされ、次の小領域の処理が始まる。シティブロック距離計算回路４５では、図１２のタイミングチャートに示すように、まず、ピラミッド型構造初段の絶対値演算器に８画素分のデータを入力し、左右画像の輝度差の絶対値を計算する。すなわち、右画素の輝度から対応する左画素の輝度を引き算し、結果が負になった場合、演算命令を変えることにより、引く方と引かれる方を逆にして再び引き算を行なうことにより、絶対値の計算を行なう。従って、初段では引き算を２回行なう場合がある。
【００６５】次いで、初段を通過すると、２段目から４段目までの第１ないし第３加算器で二つの同時入力データを加算して出力する。そして、最終段の総和加算器で二つの連続するデータを加え合わせて総和を計算し、必要とする１６画素分のシティブロック距離Ｈを２クロック毎に最小・最大値検出部５０へ出力する。
【００６６】次に、ステップS104へ進み、前記ステップS103で算出したシティブロック距離Ｈの最大値ＨMAX 、最小値ＨMIN を検出する。前述したように、この最大値ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が逆になることと、ずれ量を保存しないこと以外は、全く同じであるため、以下、代表して最小値ＨMIN の検出について説明する。
【００６７】まず、最初に出力されてきたシティブロック距離Ｈ（ずれ量ｘ＝０）が、図９に示す最小値検出回路５１のＣラッチ５３を介して、演算器４６のＢレジスタ４６ｂに入力される。次のクロックで出力されてきたシティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ５３と演算器４６のＡレジスタ４６ａとに入れられ、演算器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が始まる。
【００６８】前記演算器４６での比較演算の結果、Ｂレジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方が小さければ、次のクロックのときに、Ｃラッチ５３の内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に保存される。このクロックで同時に、次のシティブロック距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッチ５３に入れられ、再び比較演算が始まる。
【００６９】このようにして、計算途中での最小値が常にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ５５に保存されながら、ずれ量ｘが１００になるまで計算が続けられる。計算が終了すると（最後のシティブロック距離Ｈが出力されてから１クロック後）、Ｂレジスタ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読み込まれる。
【００７０】この間に、前述したシティブロック距離計算回路４５では次の小領域の初期値が読み込まれ、時間の無駄を生じないようになっており、一つのシティブロック距離Ｈを計算するのに、例えば４クロックかかるが、パイプライン構造をとっているため、２クロック毎に新たな計算結果が得られる。
【００７１】ステップS105では、前記ステップ104 でシティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確定すると、ずれ量決定部６０にて、前述した３つの条件がチェックされ、ずれ量ｘが決定される。
【００７２】すなわち、図１３のタイミングチャートに示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算器６１のＢレジスタ７２にラッチされるとともに、このＢレジスタ７２の値と比較されるしきい値Ｈa がＡバス６２ａを介してＡレジスタ７１にラッチされる。そしてＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小値ＨMIN の方が大きければ、スイッチ回路６５がリセットされ、以後のチェックの如何に係わらず常に０が出力されるようになる。
【００７３】次に、Ａレジスタ７１に最大値ＨMAX がラッチされ、このＡレジスタ７１にラッチされた最大値ＨMAX とＢレジスタ７２に保存されている最小値ＨMIN との差が計算されて、その結果がＦレジスタ７３に出力される。次のクロックでＡレジスタ７１にしきい値Ｈb がラッチされ、Ｆレジスタ７３の値と比較される。Ａレジスタ７１にラッチされたしきい値Ｈb よりもＦレジスタ７３の内容の方が小さければ同様にスイッチ回路６５がリセットされる。
【００７４】次のクロックからは、隣接画素間の輝度差の計算が始まる。輝度データが保存されている２組のシフトレジスタ６４ａ，６４ｂは１０段構成であり、それぞれ、シティブロック距離計算部４０の１，２ライン用のシフトレジスタ４４ａと、３，４ライン用のシフトレジスタ４４ｂの後段に接続されている。前記シフトレジスタ６４ａ，６４ｂの出力は最後の段とその２つ手前の段から取り出され、それぞれが、Ａバス６２ａとＢバス６２ｂとに出力される。
【００７５】輝度差の計算が始まるとき、前記シフトレジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝度データが保持されており、初めに前回の小領域の第４行第１列の輝度データと、今回の小領域の第１行第１列の輝度データとが、演算器６１のＡレジスタ７１とＢレジスタ７２とにラッチされる。
【００７６】そして、Ａレジスタ７１の内容とＢレジスタ７２の内容の差の絶対値が計算され、結果がＦレジスタ７３に保存される。次のクロックでＡレジスタ７１にしきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較される。
【００７７】前記演算器６１での比較結果、Ａレジスタの内容（しきい値Ｈc ）よりもＦレジスタ７３の内容（輝度差の絶対値）のほうが大きければ、前記スイッチ回路６５からずれ量ｘあるいは”０”が出力され、、Ａレジスタの内容よりもＦレジスタ７３の内容のほうが小さければ”０”が出力されて、出力バッファメモリ６６ａ，６６ｂの該当する小領域の第１行第１列に当たる位置に書き込まれる。
【００７８】前記演算器６１で隣接画素間の輝度差としきい値Ｈc との比較が行なわれている間に、シフトレジスタ６４ａ，６４ｂは１段シフトする。そして今度は、前回の小領域の第４行第２列と、今回の小領域の第１行第２列の輝度データに対して計算を始める。このようにして小領域の第１列、第２列に対し交互に計算を行なった後、第３列、第４列に対して同様に計算を進める。
【００７９】計算中は、シフトレジスタ６４ａ，６４ｂの最終段と最初の段がつながってリングレジスタになっており、小領域全体を計算した後にシフトクロックが２回追加されるとレジスタの内容が計算前の状態に戻り、次の小領域の輝度データが転送され終わったときに、最終段とその前の段に今回の小領域の第４行のデータが留められる。
【００８０】このように、ずれ量決定のための計算中に次のデータをＡバス６２ａ，Ｂバス６２ｂに用意したり、結果の書き込みを行なうため、計算に必要な２クロックのみで一つのデータが処理される。この結果、初めに行なう最小値ＨMIN 、最大値ＨMAX のチェックを含めても、例えば４３クロックで全ての計算が終了する。すなわち、一つの小領域に対して、シティブロック距離Ｈの最小値ＨMIN 、最大値ＨMAX を求めるのに要する時間は充分に余裕があり、さらに機能を追加することも可能である。
【００８１】そして、ずれ量ｘが決定されると、ステップS106で、出力バッファメモリ６６ａ，６６ｂからデュアルポートメモリ９０へ、ずれ量ｘを距離分布情報として出力し、ステレオ画像処理装置２０における処理が終了する。前記出力バッファメモリ６６ａ，６６ｂは、前述した入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂと同様、例えば４ライン分の容量があり、２組の一方に書き込んでいる間にもう一方から前記デュアルポートメモリ９０へ距離分布情報を送り出す。
【００８２】次に、ステレオ画像処理装置２０のシステム全体のタイミングについて、図１４に示すタイミングチャートに従って説明する。
【００８３】まず初めに、同期を取っている左右のＣＣＤカメラ１１ａ，１１ｂからのフィールド信号を０．１秒毎（３画面に１画面の割合）に、画像メモリ３６ａ，３６ｂに書き込む。
【００８４】次に、取り込み終了信号を受けて、４ライン毎のブロック転送が始まる。この転送は、右画像、左画像、結果の距離分布像の順に３ブロック転送する。
【００８５】この間に、一方の入出力バッファメモリに対してずれ量ｘの計算が行われる。そして、ずれ量ｘの計算時間を考慮し、所定時間待機してからもう一方の入出力バッファメモリに対して転送を始める。
【００８６】一つの右画像の４×４画素の小領域に対するシティブロック距離Ｈの計算は、左画像について１００画素ずらしながら計算するため、１００回行われる。一つの領域のシティブロック距離Ｈが計算されている間に、その前の領域のずれ量ｘが各チェックを経て距離分布として出力される。
【００８７】処理すべきライン数を２００とすると４ライン分の処理を５０回繰り返すことになり、計算の開始時に最初のデータを転送するための４ライン分の処理時間、計算終了後に最後の結果を画像認識部に転送するための４ライン分の処理時間と、計８ライン分の処理時間がさらに必要となる。
【００８８】最初の入力画像ラインの転送を開始してから最後の距離分布を転送し終わるまでの時間は、実際の回路動作の結果、０．０７６秒である。
【００８９】以上説明したステレオ画像処理装置２０から出力される距離分布情報は、画像のような形態をしており（距離画像）、左右２台のＣＣＤカメラ１１ａ，１１ｂで撮影した画像、例えば図１５に示すような画像（図１５は片方のカメラで撮像した画像を示す）を前記ステレオ画像処理装置２０で処理すると、図１６のような画像となる。
【００９０】図１６に示す画像例では、画像サイズは横４００画素×縦２００画素であり、距離データを持っているのは黒点の部分で、これは図１５の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。画像上の座標系は、図１６に示すように、左上隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸とし、単位は画素である。
【００９１】この場合、図１５に示す画像は、ＣＣＤカメラ１１において発生するシェーディングを補正した画像であり、このシェーディング補正済みの画像が画像メモリ３６に記録されるため、この画像メモリ３６のデータを処理して得られる図１６に距離画像は、シェーディングの影響のない正確な距離分布を示している。
【００９２】そして、この距離画像からは、ＣＣＤカメラ１１の取付け位置と焦点距離などのレンズパラメータを用いて各画素に対応する物体のＸＹＺ空間における３次元位置を算出することができ、情報量の低下なく車外の対象物までの距離を正確に検出することができる。
【００９３】尚、前記ずれ量ｘによる距離分布情報からＸＹＺ空間における３次元位置への計算は、ステレオ画像処理装置２０内で処理しても良く、ステレオ画像処理装置２０から外部に出力されるデータ形式は、接続する外部装置との兼ね合いで定めれば良い。
【００９４】図１７は本発明の第２実施例に係わり、車輌用距離検出装置の回路構成図である。
【００９５】本実施例は、前述の第１実施例に対し、ＬＵＴ３３ａ，３３ｂ、及び、デジタルマルチプライヤ３４ａ，３４ｂの機能を統合し、シェーディング補正をより汎用化したものである。尚、以下の各実施例においては、前述の第１実施例と同様の部材には同一の符号を付して説明を省略する。
【００９６】図１７に示すように、本実施例の画像変換部１００では、左右画像用のＣＣＤカメラ１１ａ，１１ｂに対応する各Ａ／Ｄコンバータ３２ａ，３２ｂの各出力と、各シェーディング補正用データメモリ１０２ａ，１０２ｂの各出力とが、各補正テーブル１０１ａ，１０１ｂにそれぞれ入力されるようになっており、各補正テーブル１０１ａ，１０１ｂの各出力が各画像メモリ３６ａ，３６ｂにそれぞれ入力される。他の構成は、前述の第１実施例と同様である。
【００９７】前記各補正テーブル１０１ａ，１０１ｂは、前述の第１実施例のＬＵＴ３３ａ，３３ｂ、及び、各デジタルマルチプライヤ３４ａ，３４ｂの機能を含むものであり、前記各Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル量に変換されたデジタル画像のデータを第１の入力データとして、この第１の入力データのビット数と同じビット数の第１のアドレス、及び、前記各シェーディング補正用データメモリ１０２ａ，１０２ｂからのシェーディング補正比を第２の入力データとして、この第２の入力データのビット数と同じビット数の第２のアドレスを有するものとなっている。
【００９８】第１の入力データと等しい第１のアドレスの内容には、前述の各ＬＵＴ３３ａ，３３ｂと同じ内容の輝度補正やＣＣＤアンプの固有ゲインの補正を施したデータが書き込まれており、また、第２の入力データと等しい第２のアドレスの内容には、第１のアドレスの内容にシェーディング補正比を乗算したデータが書き込まれている。
【００９９】すなわち、前記各補正テーブル１０１ａ，１０１ｂは、前述の第１実施例のＬＵＴ３３ａ，３３ｂに対して、いわば二次元のルックアップテーブルとなっており、例えば、８ビットの各画像データを各補正テーブル１０１ａ，１０１ｂの第１の入力データとして第１のアドレスに与え、８ビットのシェーディング補正比を第２の入力データとして第２のアドレスに与えると、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いを補正した上で、さらに、シェーディング補正を行なった８ビットのデータを読み出すことができ、このデータが前記各画像メモリ３６ａ，３６ｂに記憶される。
【０１００】本実施例では、前述の第１実施例と同様、シェーディングの影響のない画像データが得られ、正確なシティブロック距離Ｈを算出できることはいうまでもないが、さらに、前述の第１実施例のデジタルマルチプライヤ３４によるシェーディング補正が線形の演算処理であるのに比較し、補正テーブル１０１（補正テーブル１０１ａ，１０１ｂを代表して表記する）に書き込む内容次第で、より緻密で自由度の高いシェーディング補正処理が可能となっている。尚、シェーディング補正用データメモリ１０２（シェーディング補正用データメモリ１０２ａ，１０２ｂを代表して表記する）は、前述の第１実施例の各シェーディング補正用データメモリ３５と同じでも良く、また、更に緻密なシェーディング補正比を書き込んだものでも良い。
【０１０１】図１８〜図２４は本発明の第３実施例に係わり、図１８は車輌用距離検出装置の回路構成図、図１９は入力画像例を示す説明図、図２０は補正データ例を示す説明図、図２１は補正後の画像例を示す説明図、図２２は入力画像ラインデータ例を示す説明図、図２３は補正比ラインデータ例を示す説明図、図２４は補正後画像ラインデータ例を示す説明図である。
【０１０２】本実施例は、前述の第１実施例におけるシェーディング補正が、Ａ／Ｄコンバータ３２ａ，３２ｂによってデジタルデータに変換された画像に対して行なわれるものであるのに対し、アナログ画像データに対してシェーディング補正を行なうものである。
【０１０３】すなわち、図１８に示すように、本実施例の画像変換部１５０では、第１の画像変換部３０に対し、デジタルマルチプライヤ３４ａ，３４ｂに代えてアナログ乗算器としてのアナログマルチプライヤ１５１ａ，１５１ｂを採用し、これらのアナログマルチプライヤ１５１ａ，１５１ｂを、各アナログＩ／Ｆ３１ａ，３１ｂの出力側と、各Ａ／Ｄコンバータ３２ａ，３２ｂの入力側との間にそれぞれ接続している。
【０１０４】前記各アナログマルチプライヤ１５１ａ，１５１ｂには、また、シェーディング補正用データメモリ３５ａ，３５ｂの出力側が、Ｄ／Ａコンバータ１５２ａ，１５２ｂ、さらに、アナログＩ／Ｆ１５３ａ，１５３ｂを介して接続されており、前記Ｄ／Ａコンバータ１５２ａ，１５２ｂによってデジタルデータからアナログデータに変換されたシェーディング補正比が、前記アナログＩ／Ｆ１５３ａ，１５３ｂを介して入力されるようになっている。他の構成は前述の第１実施例と同様である。
【０１０５】従って、ＣＣＤカメラ１１で撮像したアナログ画像の１画素毎に、アナログマルチプライヤ１５１（アナログマルチプライヤ１５１ａ，１５１ｂを代表して表記する）によってシェーディング補正比が乗算され、シェーディング補正済みのアナログ画像データとして出力される。このシェーディング補正済みのアナログ画像データは、前記Ａ／Ｄコンバータ３２ａ，３２ｂでデジタル画像データに変換された上で、ＬＵＴ３３ａ，３３ｂにより、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いが補正され、画像メモリ３６ａ，３６ｂに記録される。
【０１０６】以下、アナログマルチプライヤ１５１によるアナログ乗算について説明する。例えば、図１９に示すように、中心部領域ＲAの輝度データが１００で、シェーディングの影響で、外側の各領域ＲB，ＲC，ＲDの輝度データが、順に、９０，８０，７０となっている入力画像では、水平ラインＡ１−Ａ１’を取ると、輝度データは図２２に示すようになっている。
【０１０７】これに対し、図２０に示すような、各領域ＲA，ＲB，ＲC，ＲDに対するシェーディング補正比が、例えば、領域ＲAが１．０倍、領域ＲBが１．１１倍、領域ＲCが１．２５倍、領域ＲDが１．４３倍と予め測定してある補正データでは、水平ラインＢ１−Ｂ１’の補正比が図２３に示すように設定されており、この補正比を乗算すると、図２４のＣ１−Ｃ１’となり、図２１に示すようなシェーディングの影響のない一様な入力画像が得られる。
【０１０８】従って、前述の各実施例と同様、前記画像メモリ３６には、シェーディングの影響のない画像データを記録することができ、正確なシティブロック距離Ｈを算出して距離検出の精度を向上することができるのである。
【０１０９】
【発明の効果】以上説明したように本発明によれば、撮像系で撮像した画像から得られるデジタル画像に対し、デジタル乗算器あるいは補正テーブルによってシェーディング補正を行ない、あるいは、撮像系で撮像したアナログ画像に対し、アナログ乗算器によってシェーディング補正を行なうため、撮像系のシェーディングの影響を防止し、距離検出の精度を向上することができるなど優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係わり、車輌用距離検出装置の回路構成
【図２】同上、距離検出装置の全体構成図
【図３】同上、車輌の正面図
【図４】同上、カメラと被写体との関係を示す説明図
【図５】同上、入力画像例を示す説明図
【図６】同上、補正データ例を示す説明図
【図７】同上、補正後の画像例を示す説明図
【図８】同上、シティブロック距離計算回路の説明図
【図９】同上、最小値検出回路のブロック図
【図１０】同上、距離検出装置の動作を示すフローチャート
【図１１】同上、シフトレジスタ内の保存順序を示す説明図
【図１２】同上、シティブロック距離計算回路の動作を示すタイミングチャート
【図１３】同上、ずれ量決定部の動作を示すタイミングチャート
【図１４】同上、全体の動作を示すタイミングチャート
【図１５】同上、車載のＣＣＤカメラで撮像した画像の例を示す説明図
【図１６】同上、距離画像の例を示す説明図
【図１７】本発明の第２実施例に係わり、車輌用距離検出装置の回路構成図
【図１８】本発明の第３実施例に係わり、車輌用距離検出装置の回路構成図
【図１９】同上、入力画像例を示す説明図
【図２０】同上、補正データ例を示す説明図
【図２１】同上、補正後の画像例を示す説明図
【図２２】同上、入力画像ラインデータ例を示す説明図
【図２３】同上、補正比ラインデータ例を示す説明図
【図２４】同上、補正後画像ラインデータ例を示す説明図
【符号の説明】
１０ ステレオ光学系（撮像系）
３５，１０２ シェーディング補正用データメモリ
３４ デジタルマルチプライヤ（デジタル乗算器）
３６ 画像メモリ
１０１ 補正テーブル
１５１ アナログマルチプライヤ（アナログ乗算器）
【特許請求の範囲】
【請求項１】 車輌に搭載した撮像系(10)によって車外の対象を撮像して画像メモリ(36)に記録し、この画像メモリ(36)に記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系(10)のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリ(35)と、前記撮像系(10)で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データ毎に、前記シェーディング補正用データメモリ(35)の対応するシェーディング補正データを乗算し、シェーディング補正済みの画像データとして出力するデジタル乗算器(34)とを備えたことを特徴とする車輌用距離検出装置。
【請求項２】 車輌に搭載した撮像系(10)によって車外の対象を撮像して画像メモリ(36)に記録し、この画像メモリ(36)に記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系(10)のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリ(102)と、前記撮像系(10)で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データを、前記シェーディング補正用データメモリ(102)の対応するシェーディング補正データで乗算した値に変換し、シェーディング補正済みの画像データとして出力する補正テーブル(101)とを備えたことを特徴とする車輌用距離検出装置におけるシェーディング補正装置。
【請求項３】 車輌に搭載した撮像系(10)によって車外の対象を撮像して画像メモリ(36)に記録し、この画像メモリ(36)に記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系(36)のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリ(35)と、前記撮像系(10)で撮像したアナログ画像に対し、このアナログ画像の各画素データ毎に、前記シェーディング補正用データメモリ(35)の対応するシェーディング補正データをデジタル／アナログ変換した値を乗算し、シェーディング補正済みの画像データとして出力するアナログ乗算器(151)とを備えたことを特徴とする車輌用距離検出装置。
【請求項１】 車輌に搭載した撮像系(10)によって車外の対象を撮像して画像メモリ(36)に記録し、この画像メモリ(36)に記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系(10)のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリ(35)と、前記撮像系(10)で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データ毎に、前記シェーディング補正用データメモリ(35)の対応するシェーディング補正データを乗算し、シェーディング補正済みの画像データとして出力するデジタル乗算器(34)とを備えたことを特徴とする車輌用距離検出装置。
【請求項２】 車輌に搭載した撮像系(10)によって車外の対象を撮像して画像メモリ(36)に記録し、この画像メモリ(36)に記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系(10)のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリ(102)と、前記撮像系(10)で撮像した画像から得られるデジタル画像に対し、このデジタル画像の各画素データを、前記シェーディング補正用データメモリ(102)の対応するシェーディング補正データで乗算した値に変換し、シェーディング補正済みの画像データとして出力する補正テーブル(101)とを備えたことを特徴とする車輌用距離検出装置におけるシェーディング補正装置。
【請求項３】 車輌に搭載した撮像系(10)によって車外の対象を撮像して画像メモリ(36)に記録し、この画像メモリ(36)に記録した画像データを処理して画像全体に渡る距離分布を算出する車輌用距離検出装置において、前記撮像系(36)のシェーディング補正を行なうためのシェーディング補正データを記憶したシェーディング補正用データメモリ(35)と、前記撮像系(10)で撮像したアナログ画像に対し、このアナログ画像の各画素データ毎に、前記シェーディング補正用データメモリ(35)の対応するシェーディング補正データをデジタル／アナログ変換した値を乗算し、シェーディング補正済みの画像データとして出力するアナログ乗算器(151)とを備えたことを特徴とする車輌用距離検出装置。
【図１】
【図３】
【図５】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１２】
【図１７】
【図１９】
【図２０】
【図１３】
【図１８】
【図２１】
【図２２】
【図２３】
【図２４】
【図３】
【図５】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１２】
【図１７】
【図１９】
【図２０】
【図１３】
【図１８】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開平６−２７３１７１
【公開日】平成６年（１９９４）９月３０日
【国際特許分類】
【出願番号】特願平５−５８９７４
【出願日】平成５年（１９９３）３月１８日
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【公開日】平成６年（１９９４）９月３０日
【国際特許分類】
【出願日】平成５年（１９９３）３月１８日
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
[ Back to top ]