運転支援装置
【課題】運転者が障害物の周囲状況を直感的にかつより正確に確認でき、運転者の負担を軽減することができる運転支援装置を提供する。
【解決手段】移動体に設置された複数の撮像手段1001、3001と、撮像手段3001で撮像された画像を、路面モデルを基に撮像手段1001、3001の位置より上方の仮想視点または上方から直交投影の画像に変換する変換手段3008と、複数の撮像手段1001、3001の撮像画像間の視差を基に路面以外の３次元情報を検出する３Ｄマップ作成手段3007と、前記検出された３次元情報を基に前記視点変換された画像中の像の歪みを補正する３Ｄ画像合成手段3008と、前記歪み補正された画像を表示する表示手段3009とを具備する。
【解決手段】移動体に設置された複数の撮像手段1001、3001と、撮像手段3001で撮像された画像を、路面モデルを基に撮像手段1001、3001の位置より上方の仮想視点または上方から直交投影の画像に変換する変換手段3008と、複数の撮像手段1001、3001の撮像画像間の視差を基に路面以外の３次元情報を検出する３Ｄマップ作成手段3007と、前記検出された３次元情報を基に前記視点変換された画像中の像の歪みを補正する３Ｄ画像合成手段3008と、前記歪み補正された画像を表示する表示手段3009とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転に関して、車両周辺の状況を車両に取り付けられた撮像手段で撮像し、車両内に表示することによって、運転を支援する運転支援装置に係わり、撮像手段で撮像した画像から、車両の周囲の傷害物との距離を、画面上で把握しやすく画像を合成し、運転者に表示することによって、運転を支援する運転支援装置に関するものである。
【背景技術】
【０００２】
従来の車両に取り付けられた撮像手段を用いた運転支援装置において、車両と周囲との距離を画面上で把握しやすくするための方法として、合成画像の視点位置を変更する技術がある。これは例えば特開昭58-110334号公報に開示されている。この従来装置の場合、車両の周囲の撮像画像が３次元的に地面を写していると仮定して、例えば上空から見下ろしたような新しい視点からの合成画像を作成している。その場合、車両と他の物体との距離は画面上の距離に比例することになるので、直感的に距離が把握しやすくなる。なお、このような運転支援装置は、移動体画像表示システムと呼ばれることもあるが、本明細書では運転支援装置ということにする。
【０００３】
まず、図３１を用いて、前記従来例の動作を説明する。図３１(a)は実際の撮像手段と仮想視点と路面の位置関係を説明するための概略図である。この図において、車両に取り付けられた撮像手段1001は、車両後方の主に路面を下向きの角度で撮像している。ここで撮像手段1001の画像のある画素の方向1002が３次元的路面の点1003を写していると仮定すると、上空の仮想の視点（仮想カメラ）1004で見た場合の位置は、仮想カメラ1004の画像の画面中の1005の方向の画素に対応することが判る。図３１(b)は、実際の駐車場での車両と後方カメラと駐車場の周囲の状況を示したものである。撮像手段1001は、駐車場内の視野範囲1006の画像を撮像する。ここでは特に前記ある画素の方向1002は、路面上の白線のコーナーの点1003を写している。図３１(c)は、実際に撮像手段1001から得られる画像である。路面上の白線のコーナーの点1003は、上空の仮想の視点1004で見た方向1005の画素に対応するように位置を変換され合成される。図３１(d)は合成された画像である。この図において、点1003は路面上に位置するので、車両からの相対位置関係が正確に再現される。また他の駐車区画の白線もすべて路面上に位置するので、合成画像上で車両からの相対位置関係が正確に再現される。
【０００４】
運転者はこの合成画像を見ることによって、車両と周囲の関係を正確に把握することができる。
【０００５】
しかしながら、この従来技術は次のような課題を有している。図３２を用いて、その従来例の課題を説明する。
【０００６】
図３２(a)は、前述の図３１(a)の場合において、路面以外に位置する物体、例えば車のバンパーなどが映る場合について説明するものである。この場合撮像手段1001から方向1002に撮像される点は、３次元的に路面より上に位置する点（車のバンパー）2001となっている。しかしながら、仮想の視点1004から合成する場合は路面を仮定しているので、方向1002を延長して路面に接する点2002上に存在するものとして画像合成が行われる。
【０００７】
図３２(b)は、実際の車両と後方カメラと、後方の車両のバンパーの位置の点2001を示したものである。図３２(c)は、撮像手段1001の撮像画像である。撮像画像上では、バンパーの位置の点2001と、その方向1002を延長して路面に接する点2002は、当然同一点上に重なって見える。しかしながら、図３２(d)に示されている合成画像では、点2002は点2001より遠方に合成される。さらに後方の車両の他の部分も2003に示されているように路面に接触しているタイヤの部分以外は、実際よりも遠方に存在するように合成され、大きく歪んだものとなる。
【先行技術文献】
【特許文献】
【０００８】
特開昭58-110334号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、従来の技術では、視点変換に地面しか仮定していないため、実際に３次元的に地面に位置しないもの、例えば他の車両や障害物が、合成画像上で歪んでしまう。
【００１０】
さらに、運転支援装置としてこれを利用するとき、他の車のバンパーなどが実際よりも遠くに位置するように表示されてしまうために、この画像を見て十分な距離があると認識して運転すると、実際の障害物には距離が十分ではなく、その結果接触しやすくなる。このため、上述の位置ずれおよび画像の歪みを除去することが実用上の大きな課題である。
【００１１】
このような上方からの視点変換画像の歪みの対策としては、特開平7-186833号公報に開示されている例がある。この例では、画面全体で同一色の抽出を行い、その領域の膨張と収縮により道路面と非道路面領域とを分離し、道路面については上方からの変換画像を合成し、非道路面については、その領域の入力画像を視点変換は行わずに拡大縮小のみを行い、前記変換画像上に貼り付けるという作業を行う。このため、道路より上に位置する障害物も歪むことなく画像の合成ができる。
【００１２】
しかしながら、この例では、以下の（１）〜（３）に記載したような課題が残る。
【００１３】
（１）色情報により道路、非道路領域の分離を行うため、道路面でテクスチャの大きく変わる部分や、ビルなど道路とよく似た色をした部分などでは、分離が不正確になってしまう。
【００１４】
（２）バンパーなど地面から離れた障害物は、やはり実際よりも遠方まで道路であるように合成される。
【００１５】
（３）道路面は上方の視点からの画像に変換され、障害物は入力画像のままなので、合成画像が不自然であり、運転者が周囲情報を直感的に把握し易いとは限らない。
【００１６】
また、この例の（１）の課題について、ステレオ画像を用いて道路面と非道路面を分離する技術が特開平7-334679号公報に開示されている。この例では、左右のカメラからの画像を道路面上に投影した位置で一致するように関連づけ、この２つの画像信号が閾値内で類似する部分を道路領域とし、それ以外を非道路領域として分離するというものである。
【００１７】
ただしこの例によっても、以下の（１）〜（３）に記載した課題が残る。
（１）バンパーなど地面から離れた障害物は、やはり実際よりも遠方まで道路であるように認識される。
【００１８】
（２）左右配置のステレオカメラのため垂直エッジの部分は認識しやすいが、エッジの無い部分や、水平エッジの部分は認識ができない。特にバンパーなど地面から離れた障害物の道路との境界は、画面上水平エッジとなりやすい。
【００１９】
（３）この例の中では上方からの視点変換については述べられていないが、障害物の変換画像上での歪み補正については効果がない。
【００２０】
本発明は、このような従来の運転支援装置が有する課題を解決するためになされたもので、その目的は、運転者が障害物の周囲状況を直感的に、かつ、より正確に確認でき、運転者の負担を軽減することができる運転支援装置を提供することにある。
【課題を解決するための手段】
【００２１】
本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記撮像手段の撮像画像間の視差を基に路面以外の３次元情報を検出する検出手段と、前記検出された３次元情報を基に前記視点変換された画像中の像の歪みを補正する歪み補正手段と、前記歪み補正された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段の撮像画像間の視差を基に路面以外の３次元情報を検出し、その３次元情報を基に、前記変換された画像の歪みを補正し、その補正された画像を表示することとなる。
【００２２】
また、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段の位置より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記撮像手段の撮像画像間の視差が路面モデル上の視差と一致しない領域を障害物領域として検出する障害物領域検出手段とを備えたことを特徴とする。この構成により、撮像手段の撮像画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出することとなる。
【００２３】
さらに、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段の位置より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記変換された画像間で一致しない領域を障害物領域として検出する障害物領域検出手段と、前記変換された画像中に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を表示する表示手段とを備えたことを特徴とする。この構成により、変換された画像の間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換された画像中にオーバーレイ合成し、表示することとなる。
【００２４】
そして、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段からの距離と角度とを座標とした中間画像に変換する中間画像変換手段と、前記変換された画像間で一致しない領域を検出し、さらに前記領域内の２つの画像を比較して、実際の距離を推定し、この推定された距離を用いて前記変換された画像中の前記領域の距離位置を修正し、この修正された領域を障害物領域として出力する障害物領域検出手段と、前記変換された画像に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を路面の通常座標画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段からの距離と角度とを座標とした中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することとなる。
【００２５】
また、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された画像を、路面モデルを基に前記撮像手段の位置より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えた運転支援装置であって、前記変換手段において、前記撮像手段の画面の各画素の路面モデル上の面積および路面への角度を基に強度を求め、この強度を基に画素の明るさおよび色づけに変化を持たせることを特徴とする。この構成により、撮像手段の画面の各画素の路面モデル上の面積および路面への角度を基に画素の明るさおよび色づけを変化させることとなる。
【００２６】
さらに、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルおよび円筒モデルを基に前記撮像手段からの距離または高さおよび角度を座標とした中間画像に変換する中間画像変換手段と、前記変換された画像間で一致しない領域を検出し、さらに前記領域内の２つの画像を比較して、実際の距離を推定し、この推定された距離を用いて前記変換された画像中の前記領域の距離位置を修正し、この修正された領域を障害物領域として出力する障害物領域検出手段と、前記変換された画像に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を路面の通常座標画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段からの距離または高さおよび角度を座標とした中間画像における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することとなる。
【００２７】
そして、本発明の運転支援装置は、移動体に設置された複数の撮像手段と、前記撮像手段で撮像された画像を、前記撮像手段間を結ぶ直線を軸とした軸対称な面を投影面とした中間画像に変換する中間画像変換手段と、前記変換された画像間で一致しない領域を検出し、さらに前記領域内の２つの画像を比較して、実際の距離を推定し、この推定された距離を用いて前記変換された画像中の前記領域の距離位置を修正し、この修正された領域を障害物領域として出力する障害物領域検出手段と、前記変換された画像に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を路面の通常座標画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段間を結ぶ直線を軸とした軸対称な面を投影面とした中間画像における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することとなる。
【００２８】
また、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された画像を前記撮像手段の位置とは異なる仮想視点で見た視点変換画像に変換する変換手段と、前記変換手段により変換された画像を表示する表示手段とを備え、前記撮像手段は、所定の視差を有する複数の画像を撮像し、前記表示手段は前記視差に基づいて補正された画像を表示することを特徴とする。この構成により、複数の撮像画像の視差に基づいて視点変換画像を補正し、表示することとなる。
【発明の効果】
【００２９】
以上説明したように、本発明は、撮像手段で撮像された画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ路面以外の３次元情報を検出し、その３次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３０】
また、本発明は、撮像手段で撮像された画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ複数の撮像画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３１】
さらに、本発明は、撮像手段で撮像された画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ変換された画像の間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３２】
そして、本発明の運転支援装置は、撮像手段で撮像された画像を前記撮像画像を撮像手段からの距離と角度とを座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３３】
また、本発明は、撮像画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ変換画像上で距離や歪みの大きい障害物の領域を判り易く提示することにより、画像中の信頼性の高い部分と低い部分とを提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３４】
さらに、本発明は、撮像手段で撮像された画像を前記撮像画像を撮像手段からの距離または高さおよび角度を座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３５】
そして、本発明は、撮像手段で撮像された画像を前記撮像手段間を結ぶ直線を軸とした軸対称な面を投影面とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３６】
また、本発明は、所定の視差を有する複数の画像を撮像し、複数の撮像画像の視差に基づいて視点変換画像を補正し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３７】
以上述べたように、本発明は、運転者の負担を軽減し、正確で安全な運転を促すことができるという優れた効果を有する運転支援装置を提供することができるものである。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施の形態の運転支援装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図３】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図４】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図５】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図６】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図７】本発明の第２の実施の形態の運転支援装置の構成を示すブロック図、
【図８】本発明の第２の実施の形態の運転支援装置の動作を説明するための概略図、
【図９】本発明の第２の実施の形態の運転支援装置の動作を説明するための概略図、
【図１０】本発明の第２の実施の形態の運転支援装置の効果の例を示す図、
【図１１】本発明の第２の実施の形態の運転支援装置の動作を説明するための概略図、
【図１２】本発明の第２の実施の形態の運転支援装置の変形例の構成を示すブロック図、
【図１３】本発明の第３の実施の形態の運転支援装置の構成を示すブロック図、
【図１４】本発明の第３の実施の形態の運転支援装置の変形例の構成を示すブロック図、
【図１５】本発明の第３の実施の形態の運転支援装置の動作を説明するための概略図、
【図１６】本発明の第３の実施の形態の運転支援装置およびその変形例の動作を説明するための概略図、
【図１７】本発明の第３の実施の形態の運転支援装置の変形例の動作を説明するための概略図、
【図１８】本発明の第４の実施の形態の運転支援装置の構成を示すブロック図、
【図１９】本発明の第４の実施の形態による運転支援装置の変形例の構成を示すブロック図、
【図２０】本発明の第４の実施の形態の運転支援装置およびその変形例の動作を説明するための概略図、
【図２１】本発明の第５の実施の形態の運転支援装置の構成を示すブロック図、
【図２２】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２３】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２４】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２５】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２６】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２７】本発明の第５の実施の形態の運転支援装置における探索処理を説明するためのフローチャート、
【図２８】本発明の第5の実施の形態の運転支援装置の変形例を示す概略図、
【図２９】本発明の第５の実施の形態の運転支援装置の別の変形例を示す概略図、
【図３０】本発明の第１〜第５の実施の形態のステレオカメラの構成方法の変形例を示す図、
【図３１】従来の運転支援装置の動作を示す概略図、
【図３２】従来の運転支援装置の課題を示す概略図である。
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００４０】
（第１の実施の形態）
本発明の第１の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ複数の撮像手段で撮像された画像間の視差を基に路面以外の３次元情報を検出し、その３次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認できるようにしたものである。
【００４１】
図１は、本発明の第１の実施の形態の運転支援装置のブロック図であり、図２〜図６は、その運転支援装置の動作を説明するための概略図である。
【００４２】
図１に示されているように、本発明の第１の実施の形態の運転支援装置は、２つの撮像手段1001、3001と、それぞれ撮像手段1001、3001で撮像された画像の水平エッジを抽出する水平エッジ抽出手段3002、3003と、水平エッジ抽出手段3002の出力を用いて視差探索のためのブロックの設定を行うブロック設定手段3004と、水平エッジ抽出手段3003の出力と、ブロック設定手段3004の出力と、後述するデフォルト視差データ3010とを基にブロックの探索を行う探索手段3005と、探索手段3005の出力から、各ブロックについてサブピクセル精度の視差と信頼性判定結果を出力するサブピクセル推定・信頼性判定手段3006と、サブピクセル推定・信頼性判定手段3006の出力と、デフォルト視差データ3010と、後述する路面データ3011とを基に撮像手段3001からの画像画面上に３Ｄマップを作成する３Ｄマップ作成手段3007と、撮像手段3001からの画像とその画面上の３Ｄマップとを基に、上方の仮想視点からの画像を合成する３Ｄ画像合成手段3008と、３Ｄ画像合成手段3008の出力を表示する表示手段3009とを具備する。
【００４３】
また、本発明の第１の実施の形態の運転支援装置は、デフォルト視差データ手段3010と、路面データ手段3011と、車両姿勢情報手段3012とを具備する。
【００４４】
２つの撮像手段1001と撮像手段3001は、図２(a)に示されているような位置に設置されている。ここでは地面に垂直な方向の直線4001上に１０ｃｍの間隔をあけた位置に設置され、それぞれの地面からの高さは、１００ｃｍと１１０ｃｍである。それぞれの視線方向4003は、水平から地面に向かって４０度の角度で下向きである。２つの撮像手段の視線は平行である。また２つの撮像手段の視野範囲4002は、垂直方向（仰角方向）に９０度である。
【００４５】
図１に示されているこの２つの撮像手段1001、3001からの入力画像としては、それぞれ図２(b)、図２(c)に示されているように、水平方向は殆ど同一で垂直方向に位置が変化した画像が得られる。撮像手段3001は撮像手段1001よりも高い位置に配置されているため、撮像手段3001からの入力画像では、無限遠方の水平線4004の画面上の位置は同じだが、より近くに位置する点（例えば、路面上に位置する白線のある点4005や、車のバンパー上のある点4006）は画面上、図２(b)の画像より下に位置する。そして、この垂直方向の位置の変化は、２つの画像を重ねた図２(d)に示されているように、垂直方向の視差4007や4008となる。ここで4007は路面上に位置する白線の視差であり、4008は路面より上に位置する車のバンパーの視差である。
【００４６】
図１に示されている水平エッジ抽出手段3002、3003では、この２つの撮像画像について下記の式［１］に示されている操作で水平エッジの抽出を行う。ここで、Ｌは画像の輝度信号、x,yは水平、垂直の画素位置である。
【００４７】
L'(x,y)=２＊L(x,y)-L(x,y-1)-L(x,y+1) …式［１］
【００４８】
この操作により、例えば、図２(b)の画像は図３(a)のように、画面上水平方向に近いバンパーや白線のエッジ（4009，4010）が強調され、また画面上垂直方向に近いエッジ（4011，4012）は弱められる。
【００４９】
図１のブロック設定手段3004では、水平エッジ強調手段3002、3003で水平エッジが強調された画像について、視差探索のためのブロックの設定が行われる。図３(b)はそのブロック設定を説明するためのもので、垂直方向に２画素おきの走査線4013にしたがって、式［１］に示したL'(x,y)の極大点と極小点を求め、その点を中心とした縦横５×５画素のブロック4014を設定する。図３(b)に示されているように、このブロックは画面の水平エッジ上に重なりを持って複数配置される。
【００５０】
次に、図１の路面データ3011に基づいたデフォルト視差データ3010について説明する。これは図３(c)に示されているように、２つの撮像手段1001、3001が共に路面を写していると仮定したときに生じる視差を予め計算したものである。図３(c)中、路面上の点4015の視差は角度で4016と計算される。図３(d)は画面上での、このデフォルト視差データを示すものである。無限遠方の水平線4004の位置のデフォルト視差4017は０であるが、それから近づく（画面上、下に下がる）に従って、4018、4019とデフォルト視差は大きくなる。それからさらに下がると、今度は撮像手段1001、3001の視線方向が垂直方向に近くなるので、4020に示されているようにデフォルト視差は小さくなる。
【００５１】
路面より上に位置する物体は、このデフォルト視差より大きな視差を生じるので、図１の探索手段3005では、このデフォルト視差を探索の初期値としてさらに大きい視差の方向に探索を行う。
【００５２】
探索視差の上限は次のようにして決定する。図４(a)に示されているように、車両からの距離が５０ｃｍでかつ地面から垂直な壁4021と、撮像手段1001、3001の真下から６０度の角度を持つ壁4022とを仮定したときの視差を概算する。このときの視差4023の画面中の値を探索視差の上限とする。
【００５３】
探索手段3005は、前記探索の初期値から上限までの間で、ブロック設定手段3004で設定された５×５画素の信号L'(x+j,y+i)について、撮像手段3001からの画像信号L3'に対して下記の式［２］に示されている相関値Ｆが最大となる視差ＤＹを探索する。
【００５４】
Ｆ＝ΣiΣjL'(x+j,y+i)*L3'(x+j,y+i＋ＤＹ) …式［２］
:(i=-2〜2,j=-2〜2)
【００５５】
サブピクセル推定・信頼性判定手段3006では、さらに前記探索手段3005で求められた視差ＤＹと相関値について解析する。
【００５６】
まず、相関値Ｆと、ブロック信号L'(x+j,y+i)の自己相関値ＳＳ＝ΣiΣjL'(x+j,y+i)*L'(x+j,y+i) …式［３］
:(i=-2〜2,j=-2〜2)の比Ｆ/Ｓが閾値が０．７５以上のときは信頼性ありと判定し、０．７５未満のときは信頼性なしと判定する。
【００５７】
信頼性ありと判定されたブロックについては、図４(b)に示されているように、１画素単位の視差ＤＹの周囲の相関値Ｆを用いて２次式で補間した曲線4024の最大点4025を求め、この位置をサブピクセル精度の視差ＤＹ’とする。
【００５８】
サブピクセル推定・信頼性判定手段3006では、各ブロックについてこのサブピクセル精度の視差ＤＹ’と信頼性判定結果を出力する。
【００５９】
３Ｄマップ作成手段3007では、サブピクセル推定・信頼性判定手段3006の出力である各ブロックについてのサブピクセル精度の視差ＤＹ’および信頼性判定結果と、路面データ3001と、デフォルト視差データ3010とを基に撮像手段3001からの画像画面上に３Ｄマップを作成する。
【００６０】
まず、図４(c)に示されているように、信頼性ありと判定された各ブロックを検出した視差ＤＹ'で動かした位置4026には、撮像手段3001からの画像の水平エッジが存在する。またこのとき、図４(d)に示されているように、検出視差ＤＹ’がデフォルト視差データ3010に一致する水平エッジ4027は路面上に存在すると判定され、一致しない水平エッジ4028は路面より上に存在すると判定される。路面より上に存在すると判定されたエッジは、検出視差ＤＹ’の値によって撮像手段3001からの距離が求められる。
【００６１】
この判定と距離とを基に、図５(a)に示されているように画面全体について３Ｄマップが作成される。まず走査線4032に示されているように、画面を下方から垂直に走査し、領域4029のように水平エッジを有しないか、有していても路面上に存在すると判定されたエッジしかない場合、その領域は路面に存在すると判定され、路面データ3011の値を基に３Ｄ距離が与えられる。一方、路面より上に存在すると判定されたエッジに挟まれた領域4030では、その２つのエッジの距離を線形補間した値が与えられる。路面より上に存在すると判定されたエッジより上の領域4031ではそのエッジの距離のデータが与えられる。
【００６２】
３Ｄ画像合成手段3008は、撮像手段3001からの画像とその画面上の３Ｄマップとを基に、上方の仮想視点からの画像を合成する。したがって図５(b)に示されているように、バンパーなどの路面より上に存在する点4033でも、路面上の位置4034ではなく正確な３Ｄ位置をもとに仮想視点で見た画面上の位置が決定できるので、図５(c)に示されているように、路面上の位置4034ではなく正確な位置4033に画像が合成される。一方、車両の陰などになった部分は、領域4035に示されているように斜線で表示される。
【００６３】
また、このとき図５(d)の領域4036に示されているように、路面より上に存在する領域を半透明の赤い幕や点滅等で強調することも可能である。
【００６４】
表示手段3009には、この合成画像が表示され、運転者は車両周囲の障害物の位置を直感的かつ正確に把握することができる。
【００６５】
なお、図１に示されている車両姿勢情報手段3012は、車両に荷物を積んだ場合や、車両の加速等に伴う姿勢の変化情報を出力する。路面データ手段3011は、この情報に対応して図６に示されているように、撮像手段1001、3001に対する平時の路面位置データ4037に対し、変化した路面位置データ4038を計算する。この変化した路面位置データは、それ以降のデフォルト視差データ手段3010や３Ｄマップ作成手段3007の処理に反映される。このことによって、車両に荷物を積んだ場合や、車両の加速等に伴って姿勢が変化場合でも正確な画像が合成され、運転者は、この画像を見ることで、常に車両周囲の障害物の位置を直感的かつ正確に把握することができる。
【００６６】
ここで、第１の実施の形態では、２つの撮像手段1001、3001を垂直方向に１０ｃｍの間隔をあけて設置することにより、その視差によって障害物の合成画像上の歪みを補正することができたが、このとき、視差に微量の誤差が含まれていても、２つの撮像手段の間隔が垂直方向なので、障害物までの距離には誤差の影響が生じても、その障害物の方向には影響は殆ど表れないという利点がある。これは車両を運転する上で大変重要な利点である。
【００６７】
また、この２つの撮像手段1001、3001を垂直方向に間隔をあけて配置することで、その後の視差検出処理を水平エッジ抽出手段で検出されたエッジ部分に限定することができ、その処理量を大幅に削減できる。車両のバンパーなど、路面から浮いている部分は殆ど画面上で水平エッジを持っているので、その限定された処理でも障害物を漏らすことなく検出できるという利点がある。
【００６８】
このように、本発明の第１の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ複数の撮像手段で撮像された画像間の視差を基に路面以外の３次元情報を検出し、その３次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、障害物までの距離と方向をより判り易く、かつ正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
【００６９】
（第２の実施の形態）
本発明の第２の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方から直交投影した画像に変換し、かつ複数の撮像手段で撮像された画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
【００７０】
図７は、本発明の第２の実施の形態の運転支援装置のブロック図であり、図８〜図１１はその動作を説明するための概略図である。また、図１２は、本発明の第２の実施の形態の運転支援装置の変形例のブロック図である。図７と図１２のブロック図中、図１と同じ符号が付されたブロック要素は図１のブロック要素と同じ構成および機能を有する。
【００７１】
本発明の第２の実施の形態の運転支援装置は、画像投影手段3013、障害物エッジ距離手段3014、障害物領域手段3015、およびオーバーレイ手段3016を備えており、３Ｄマップ作成手段および３Ｄ画像合成手段を備えていない点において第１の実施の形態の運転支援装置と異なる。
【００７２】
まず路面投影手段3013は、図１の３Ｄ画像合成手段3008とは異なり、路面データ手段3011のデータを基に、撮像手段3001からの入力画像を図８(a)に示されているように、路面に投影した位置に存在するように合成する。このとき視点は第１の実施の形態のような仮想の視点ではなく、図８(a)の視点6001に示されているように、真上からの直交投影で得られる画像を合成する。このとき得られる合成画像は、図８(b)に示されているように、従来例と同様、路面より上に位置する車両のバンパーの点6002などが、より遠くの点6003に存在するような歪んだ画像となる。
【００７３】
障害物エッジ距離手段3014は、第１の実施の形態の３Ｄマップ作成手段3007と同様に、図８(c)に示されている２つの画像の水平エッジについて、サブピクセル推定・信頼性判定手段3006から得られるその視差から、路面より上に存在するエッジを障害物エッジとして検出し、撮像手段3001からの距離を算出する。図８(c)の走査線6006に示されているように、画面を下方から垂直方向に走査し、その垂直ラインについて、障害物ラインが存在した場合、その距離の最小値が、その垂直ライン毎に記憶され、出力される。
【００７４】
障害物領域手段3015は、図８(d)に示されているように、障害物エッジ距離手段3014の出力の、垂直ライン毎の障害物ラインの距離の最小値を路面に投影した位置6008と、それ以遠の領域6009とを障害物領域として合成する。
【００７５】
オーバーレイ手段3016は、合成画像と別の層（レイヤー）に運転者への指示を書き込み、図９(a)に示されているように、図８(b)、図８(d)の合成画像を重ね合わせて合成する。このとき障害物領域6009は、画像上半透明の赤い膜として図８(b) の車両の存在する領域に合成される。
【００７６】
表示手段3009には、このオーバーレイ手段3016の出力が表示される。運転者は、この合成画像を見ることで、路面上の白線の位置を正確に把握することができ、また他の車両などの障害物までの自車両からの距離と方向を正確に把握することができるので、従来例と比較しても大幅に安全かつ正確に車両を運転することができる。
【００７７】
この第２の実施の形態では、第１の実施の形態に比較して、撮像手段3001からの入力画像をリアルタイムに変化する３Ｄマップに合わせて合成しなくても良く、予め定められた路面モデルへの投影変換だけで良いので、実回路での実現が容易であるという利点がある。
【００７８】
また障害物エッジ距離手段3014、障害物領域手段3015の動作も、３Ｄマップ作成手段3007に比較して、垂直ライン毎の障害物ラインの距離の最小値だけを解析するので、その処理が比較的簡単であるという利点がある。
【００７９】
これらのことより、第２の実施の形態では、第１の実施の形態に比較して、実回路での実現が大幅に容易であるという利点があり、かつ第１の実施の形態と同様に、運転者が表示画像を見ることで、路面上の白線を正確に把握することができ、また他の車両などの障害物までの自車両からの距離と方向を正確に把握することができるので、従来例と比較しても大幅に安全かつ正確に車両を運転することができるという効果が得られる。
【００８０】
なお、図９(b)に示されているように、障害物領域6009ではなく、障害物ラインの距離の最小値を路面に投影した位置6008だけを境界線として表示しても良い。この場合でも、運転者は障害物までの距離と方向を正確に把握することができるので、安全かつ正確に車両を運転することができるという効果が得られる。
【００８１】
図１０(a)〜(c)は、実際の撮像画像での図９(b)の効果を示す例である。図１０(a)は、駐車操作中の車の後方カメラから撮像される画像である。ここでは、広角な範囲を撮像するために魚眼レンズを用いている。画像には、これから駐車しようとするスペースと、その左側にトラック、右側に乗用車が映っている。図１０(b)は図１０(a)の撮像画像を用いて従来例によって合成された画像である。合成画像の中央から右にかけて、上方から見た駐車場の状況と、左に自車両を示すＣＧが合成されている。ここでは、路面にある白線は正確な位置に合成されるので、運転者は自車両と駐車スペースとの関係を正確に把握できる。しかしながら、地面より上にあるものは、実際より遠くにあるように合成される。ここでは、トラックと自車両との間には十分な余裕があるように合成されているが、実際には接触の危険がある。図１０(c)は、本実施の形態での合成例で、障害物までの距離を白線で表示している。この白線によって実際のトラックまでの距離が一目で分かり、これ以上後退すると接触の危険があることを運転者に認知させることができる。
【００８２】
また、図９(c)は、前記障害物ラインについて、距離の最小値だけではなく、そのラインの路面からの高さを記憶しておき、路面からの高さに応じて、前記表示する境界線の色と太さを変えた例である。ここでは、例えば高さが１０ｃｍ以下のものを黄色で細く表示し、１０〜１５ｃｍのものを赤く細く、２０ｃｍ以上のものを赤く太く表示する。このようにすることで、路面が少し傾斜していた場合など、路面モデルと実際のモデルとのずれのため検出される白線6012は黄色く細く表示され、高さ１５ｃｍ以下の低い縁石6011などは赤く細く表示され、他の車両など障害物を示す境界線6010は赤く太く表示される。このことで、運転者は重要な障害物を最優先に注意することができ、路面の荒れなどによるノイズの影響を最小限に抑えることができる。
【００８３】
さらに、図９(c)においてある程度以上の高さのある領域（障害物に相当）の境界線6010を、合成画像の表示画面上で点滅させて、運転者にさらなる注意を向けさせても良い。
【００８４】
また、図９(d)に示されているように、ある程度以上の高さのある領域の境界線6010についての最近傍点を通る自車両からの距離方向に垂直な線6013とそこまでの距離の値を数値6014で表示させて、運転者に実際の距離の値を認知させても良い。
【００８５】
さらに、２つの撮像手段は図１１(a)に示されているように、必ずしも上下方向に直線上に位置しなくても良い。この図のような配置の場合、後方の車両がかなり接近した場合、そのバンパーの点7001が上方の撮像手段3001からは死角で見えないが、このとき、この部分の路面の画像は、図１２のブロック図における路面投影手段7013に示されているように、撮像手段1001からの画像を用いて従来と同様に路面投影で合成することができる。
【００８６】
この場合、従来と同様に、バンパー位置の実際と合成画像とのずれが生じるが、バンパー位置が撮像手段1001から見て十分下の方向7002に位置するので、その位置ずれは小さい。
【００８７】
また、路面投影の合成画像に用いる上方の撮像手段3001として１０２４×７６８画素の高解像度のカラーカメラを用い、視差検出用の下方の撮像手段1001として６４０×４８０画素の白黒カメラを用いても良い。この場合、下方の撮像手段1001のコストを抑えることができ、かつ合成画像は高解像度なカラー画像を得ることができる。
【００８８】
また、図１１(b)に示されているように、上方の撮像手段3001は遠方を高解像度に映すようにし、下方の撮像手段1001は近辺を高解像度に映すようにすると共に、図１２のブロック図における路面投影手段7013に示されているように、路面合成の際、遠方を撮像手段3001からの画像信号を用い、近辺を撮像手段1001からの画像信号を用いるようにしても良い。
【００８９】
このように、本発明の第２の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方から直交投影した画像に変換し、かつ複数の撮像手段で撮像された画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
【００９０】
（第３の実施の形態）
本発明の第３の実施の形態の運転支援装置では、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ変換された画像間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
【００９１】
図１３は、本発明の第３の実施の形態の運転支援装置のブロック図、図１４はその変形例のブロック図、図１５〜図１７は、それらの動作を説明するための概略図である。図１３および図１４において、図７と同じ符号が付されたブロック要素は図７のブロック要素と同じ構成および機能を有する。
【００９２】
本実施の形態では、図１５（a)に示されているように、前記第１、２の実施の形態と同様に、垂直方向に所定の間隔をあけて設置された２つの撮像手段1001、3001から画像を入力する。この２つの入力画像は、それぞれ路面投影手段8001、8002において、路面データ手段3011のデータを基に、路面に投影された位置に仮想視点1004からの画像が合成される。
【００９３】
このとき、路面より上に位置する後方の車両のバンパーの点9001は、上方の撮像手段3001からは、路面上に投影すると9002の方向に見え、下方の撮像手段1001からは、より遠方の9003の方向に見える。したがって、それぞれ合成される画像では、図１５(b)、図１５(c)に示されているように、路面上の白線は、同じ位置に合成されるが、路面より上に位置する後方の車両のバンパーの点9001などは異なる位置に合成される。
【００９４】
障害物領域検出手段8003は、この２つの合成画像の差を取り、一定以上の差のある領域を障害物領域として検出する。このとき検出される領域は、図１５(d)に示されているように、路面より上に位置して、かつ元の撮像画像上で水平エッジを有する部分が、領域9004、領域9005のように検出される。
【００９５】
オーバーレイ手段8004では、この図１６(a)に示されているように、図１５(b)の画像に、図１５(d)に示されている障害物領域を重ね合わせて合成する。このとき障害物領域9004、9005は画像上半透明の赤い膜として、図１５(d)で車両の存在する領域に合成される。
【００９６】
表示手段3009にはこのオーバーレイ手段8004の出力が表示される。運転者は、この合成画像を見ることで、従来例とは異なり、路面上の白線と障害物の区別を正確に把握することができる。また他の車両などの障害物までの自車両からの距離は正確ではないが、その方向は正確に把握することができるので、従来例と比較しても安全に車両を運転することができる。
【００９７】
さらに、この第３の実施の形態のバリエーションを図１４、図１６(b)〜(d)、および図１７(a)〜図１７(d)を用いて説明する。まず撮像手段1001、3001からの撮像画像は、それぞれレンズ歪み補正・距離・方向画像手段8005、8006で、それぞれ図１６(b)に示されているように路面に投影したときの撮像手段からの距離Ｒと方向θで展開される座標上の画像に変換される。このとき撮像画像にレンズ歪みや取り付け角による歪みなどが含まれていた場合、この歪み量を予め計測しておき、変換時に同時に補正する。距離Ｒと方向θで展開される座標上の画像は、それぞれ図１６(c)、図１６(d)に示されているようになる。ここで、撮像手段3001からの画像が図１６(c)、撮像手段1001からの画像が図１６(d)で、路面上の白線などは同じ位置に合成されるが、バンパーなどのエッジ位置は１６(d)の方が遠くに合成される。
【００９８】
エッジ比較手段8007では、このエッジ位置を図１６(c)、図１６(d)の走査線9008に従って比較する。走査線9008上の画像のエッジを示したものが図１７(a)である。そして、この図において、図１６(c)に対応するエッジ信号が9009、図１６(d)に対応するエッジ信号が9010である。ここで走査線に従ってエッジ信号9009のエッジ9011を検出したとき、これと同じ位置にエッジ信号9010上のエッジ9012が存在するとき、これは路面上のエッジなので無視する。一方、エッジ信号9009のエッジ9013を検出し、かつこれと同じ位置にエッジ信号9010上のエッジが存在しないとき、次に検出されるエッジ9014までの距離ｄを検出し、このときのエッジ9013までの距離Ｒ1と、エッジ9013からエッジ9014までの距離ｄを距離推定手段8008へ出力する。
【００９９】
距離推定手段8008では、エッジ9013までの距離Ｒ１と、エッジ9013からエッジ9014までの距離ｄを基に実際の距離を推定する。図１７(b)はその関係を示したものである。ここで、撮像手段1001の高さをＨ1、撮像手段1001から撮像手段3001までの高さの差をＨdとし、前記入力のＲ1とｄとから、実際の点の高さＨと距離Ｒ’の関係は簡単な比例により下記２つの関係式［４］、［５］が求まる。
【０１００】
Ｈ＊Ｒ1＝（Ｈ1＋Ｈd）＊（Ｒ1−Ｒ’） …式［４］
【０１０１】
Ｈ＊（Ｒ1＋ｄ）＝Ｈ1＊（Ｒ1＋ｄ−Ｒ’） …式［５］
【０１０２】
これらの関係式より、実際の点の高さＨと距離Ｒ’は下記式［６］、［７］のように推定される。
【０１０３】
Ｒ’＝Ｒ1＊（Ｒ1＋ｄ）＊Ｈd／｛Ｒ1＊Ｈd＋ｄ＊（Ｈ1＋Ｈd）｝…式［６］
【０１０４】
Ｈ＝Ｈ1＊（Ｈ1＋Ｈd）＊ｄ／｛Ｈd＊Ｒ1＋（Ｈ1＋Ｈd）＊ｄ｝…式［７］
【０１０５】
この推定された高さＨと距離Ｒ’を障害物領域手段8009へ出力する。障害物領域手段8009は、この高さＨが閾値以上のときの距離Ｒ’が入力されたとき、図１７(c)に示されているように、走査線9008上の距離Ｒ’のところに線を引き、それより遠方を障害物領域と決定する。
【０１０６】
オーバーレイ手段8004では、図１７(c)に示されているように、撮像手段3001からの変換画像である図１６(c)の上に、この障害物領域をオーバーレイ合成する。
【０１０７】
距離・方向・路面変換手段8010は、このオーバーレイ合成された画像の距離・方向展開された座標を通常の上方から見た路面の画像に変換し、表示手段3009へ出力する。
【０１０８】
表示手段3009に表示される画像は、図１７(d)に示されているように、バンパーのような地面から離れた障害物でも実際の距離Ｒ1の位置に障害物領域として表示されるので、運転者はこれを見ることで、安全に運転することができる。
【０１０９】
この実施の形態には以下の（１）〜（４）に記載したような利点がある。
（１）一度、距離・方向に展開した座標上に画像を変換するとき、カメラのレンズの歪みやカメラ取り付け角などの歪みを補正することができる。
【０１１０】
（２）２つの入力画像同士で直接視差を検出するときは、これらの歪みを別途考慮する必要があるが、本実施の形態では、これを省略することができる。
【０１１１】
（３）２つの撮像手段の視野角等が異なる場合も、同様にこの操作によってその違いの影響を吸収できる。
【０１１２】
（４）路面投影した後でエッジなどを比較する場合は、距離方向にエッジ比較を行う必要があるが、路面投影画像では距離方向は一定ではないので、実際のハードでのメモリアクセスが煩雑になり、また障害物領域を決定するときも距離方向が一定でないので同様に実際のハードでのメモリアクセスが煩雑になる。しかし、ここでは、画像を一度、距離・方向に展開した座標上に画像を変換した状態で、エッジ比較と障害物領域決定を行っている。この変換画像上では距離方向を座標軸としているので、上述の操作が実際のハードで非常に簡単に実現できる。
【０１１３】
このように、本発明の第３の実施の形態によれば、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ変換された画像間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
【０１１４】
（第４の実施の形態）
本発明の第４の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつその変換画像において正確で歪みの少ない部分を明るく合成し、歪みが大きく距離が不正確な部分が暗く合成することにより、運転者が画像中の信頼性の高い部分と低い部分とを直観的に把握できるようにしたものである。
【０１１５】
図１８は、本発明の第４の実施の形態による運転支援装置のブロック図であり、図１９は、その変形例のブロック図である。また、図２０は、それらの動作を説明するための概略図である。図１８および図１９において、図７と同じ符号が付されたブロック要素は図７のブロック要素と同じ構成および機能を有する。
【０１１６】
本実施の形態では、図１８に示されているように１つの撮像手段1001から画像を入力する。そして、この入力画像を基に、画像投影手段10001において、路面データ手段3011のデータで路面に投影された位置に画像が合成されるが、このとき強度算出手段10002は、撮像手段1001のカメラパラメータ10003と路面データ手段3011のデータとの関係から路面へ投影する強度を算出し、決定する。
【０１１７】
図２０(a)に示されているように、撮像手段10001から１画素あたり一定の光線11001を仮定する。ここで、路面投影するときの強度Ｋを、その１画素が路面を投影する面積Ａと、光線の路面への角度θから下記の式［８］のように計算する。
【０１１８】
簡単に式［８］を説明すると、面積Ａが大きいほど強度は減り、また路面への角度が垂直なほど強度は大きくなる。また強度は１．０でクリップされる。
【０１１９】
Ｋ’＝α・sin（θ）／Ｓ …式［８］
if（Ｋ’＞１．０） Ｋ＝１．０elseＫ＝Ｋ’ここで、αは増幅強度で定数
【０１２０】
この強度の算出により、図２０(a)に示されているように、撮像手段1001の近辺の路面は、その強度が大きく、遠方は強度が小さくなる。この強度の値に従って合成された画像は、図２０(b)に示されているように、撮像手段1001から一定の近辺の路面までは、強度Ｋが１．０であるので一定の明るさに合成され、そこから遠方に行くに従って、だんだん暗くなるように合成される。
【０１２１】
撮像手段1001からの入力画像をこの強度に従って合成した画像は、図２０(c)のように、歪みが大きく距離の誤差も大きい遠方の部分が暗く合成される。
【０１２２】
運転者は、この合成画像を見ることで、従来例とは異なり、誤差が少なく正確な近辺の部分の合成画像をはっきり見ることができ、誤差と歪みの多い遠方については暗く合成されているので、その明るさに応じた確かさしか有しない情報であることが直感的に認識できる。したがって、障害物までの距離を正確に把握することはできないが、合成画像中の部分部分の信頼度を直感的に把握でき、従来例と比較しても安全に車両を運転することができる。
【０１２３】
図１９に示されている変形例は、図１８を複数の撮像手段を有するように拡張したものである。各撮像手段1001…10007の撮像画像は、それぞれのカメラパラメータ10003…10004と路面データ3011との関係から、強度算出手段10002…10005でそれぞれの路面投影への強度が算出・決定され、その強度に従って画像投影手段10001、10006で画像が合成される。
【０１２４】
これらの路面投影合成された画像をさらに合成手段10007で１つの画像に合成する。このとき、それぞれの路面投影の強度に従った重みづけで合成が行われ、表示手段3009に表示される。表示される画像は、例えば図２０(d)に示されているように、３つの撮像手段からの画像が１つの路面投影画像に合成されたものである。
【０１２５】
このとき車両後方中央の撮像手段は高解像度なもので、左右の撮像手段は補助的なものとして低解像度なものを用いている。したがって、左右の撮像手段の投影する領域は１画素あたりの面積が大きいので、かなり近辺の領域しか明るく合成しない。一方、中央の撮像手段の投影する領域は１画素あたりの面積が比較的小さいので、遠方まで明るく合成できる。そして、両方の投影画像が重なる領域11002では、強度の大きい中央の撮像手段の投影画像が大きく重みづけられて合成されるので、より信頼性の高い画像が合成される。
【０１２６】
運転者は、この合成画像を見ることで、複数の撮像手段からの合成画像であっても、画像中の部分部分の信頼度を直感的に把握でき、従来例と比較しても安全に車両を運転することができる。
【０１２７】
このように、本発明の第４の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつその変換画像において正確で歪みの少ない部分を明るく合成し、歪みが大きく距離が不正確な部分が暗く合成することにより、運転者が画像中の信頼性の高い部分と低い部分を直感的に把握できるようにした。これにより、信頼性の低い部分の方向に車両を速く動かすといった危険な運転が防止され、その結果、より安全な運転を促すことができる。
【０１２８】
なお、以上説明した第４の実施の形態では、算出された強度にしたがって画像の明るさのみを変化させたが、それ以外にも色づけなどを変化させても良い。また強度の小さな部分について灰色や白色を混ぜることで、霧のような効果を出すこともでき、この場合でも運転者が強度の少ない方向へ車を速く移動させることを防止できるので、安全な運転を促すことができる。
【０１２９】
（第５の実施の形態）
本発明の第５の実施の形態運転支援装置は、撮像手段で撮像された画像を撮像手段からの距離または高さを座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
【０１３０】
図２１は本発明の第５の実施の形態による運転支援装置のブロック図であり、図２２〜２６はその動作を説明するための図であり、図２７は探索処理を説明するためのフローチャートである。図２１において、図７と同じ符号が付されたブロック要素は図７のブロック要素と同じ構成および機能を有する。
【０１３１】
本実施の形態では、撮像手段1001、3001は魚眼レンズを有し、その撮像画像はレンズ歪み補正・距離−高さ・方向画像手段13005、13006にそれぞれ入力される。レンズ歪み補正・距離−高さ・方向画像手段13005、13006では、入力画像は図２２(1)に示されているように、撮像手段からの所定の距離Ｒmaxまでは路面に投影し、それ以遠は円筒に投影したと仮定し、図２２(b)に示されているように、このときの路面上の距離Ｒまたは円筒上の高さＨと方向θとで展開される座標の変換画像に変換される。
【０１３２】
このとき撮像画像にレンズ歪みや取り付け角による歪みなどが含まれていた場合、この歪み量を予め計測しておき変換時に同時に補正する。例えば、図２３(a)、(b)に示されている撮像画像図は、それぞれ同図(c)、(d)に示されているようになる。ここでは、前記路面上の所定の距離Ｒmax＝３００ｃｍであり、また、図２２(a)に示されているＲmin＝０ｃｍ、Ｈmax＝２００ｃｍである。
【０１３３】
エッジ抽出手段13007では、前記それぞれの変換画像について垂直方向に５画素離れた信号の差分をとる操作により、水平エッジを抽出する。図２４(a)、(b)にそれぞれレンズ歪み補正・距離−高さ・方向画像手段13005、13006の出力の変換画像の水平エッジが抽出された画像の様子を示す。ここで、図２４(a)が上方の撮像手段3001からのものであり、図２４(b)が他方のものである。図の中で破線14007で示されているように、垂直に近い斜めのエッジは弱められ、太い実線14008で示されているように、水平エッジは強調される。
【０１３４】
水平ブロックマッチング・距離推定手段13008は、このエッジ位置を走査線14001に従って走査し、エッジの極大点14002を検出すると、その極大点を中心とした縦横１０画素の範囲のブロック14003の画像信号を記憶する。
【０１３５】
次に、図２４(b)に示されているエッジ画像について、前記走査線14001と同じ水平位置の走査線14004上で、図２１に示されている探索範囲データ手段13012に従った範囲で、前記記憶したブロック14003と最も類似したデータを持つブロック14006を検出する。このとき、ブロック14006の中心点14005と前記エッジの極大点14002の垂直位置との差を変換画像上での視差データとして距離が推定される。
【０１３６】
このときの、探索範囲データ手段13012と、水平ブロックマッチング・距離推定手段13008の動作を、図２７のフロー図を基にしてさらに詳しく説明する。探索範囲データ手段13012には、ブロック14003の中心位置14002の垂直位置に対応したデータが格納されている。図２５(a)の点14013に示されているように、上方の撮像手段3001から見た点14002の位置が路面に対応している場合（点14002の位置が、図２４(a)のRmaxより下の場合）、路面上の点14013と撮像手段からの距離５０ｃｍの点14014とをそれぞれ下方の撮像手段1001で見たときの変換画像上（図２５(b)）での垂直位置14015、14016が探索範囲データ手段13012に記憶されている（ただし、このとき、路面上の点14013を下方の撮像手段1001で見たときの垂直位置14015は、両画像とも路面を仮定して変換画像を合成しているので点14002の垂直位置と同じになる。）。
【０１３７】
また、図２５(a)に示されているように、上方の撮像手段3001から見た点14002の位置が円筒に対応している場合（点14002の位置が、図２４(a)のRmaxより上の場合）、無限遠点14017と円筒上の点14018と撮像手段からの距離５０ｃｍの点14019とをそれぞれ下方の撮像手段1001で見たときの変換画像上での垂直位置14020、14021、14022が探索範囲データ手段13012に記憶されている（ただし、このときも、円筒上の点14018を下方の撮像手段1001で見たときの垂直位置14021は、両画像とも円筒を仮定して変換画像を合成しているので点14002の垂直位置と同じになる。）。
【０１３８】
これらの探索範囲データを元に、図２７に示されているフローに従って、探索処理が行われる。
【０１３９】
まず、点14002の位置が路面に対応するか円筒に対応するかを判断する（ステップＳ１）。
【０１４０】
そして、路面に対応すると判断した場合（ステップＳ１でYES）、まず垂直位置14015でブロックの信号の差の絶対値の集計（ＳＡＤ）を求め（ステップＳ２）、そのＳＡＤ値が閾値ＴＨよりも小さい場合（ステップＳ３でYES）、ブロックデータが一致したと判断し、この場合、点14002の水平エッジは路面上のエッジであるとの判断出力を行って処理を終わる（ステップＳ４）。前記ＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ３でNO）、垂直位置14015から14016の範囲でＳＡＤ値が最小となる位置を探索する（ステップＳ５）。最小となったＳＡＤ値が閾値ＴＨよりも小さい場合（ステップＳ６でYES）、その位置と点14002の垂直位置との差を視差データとして距離と路面からの高さが求まるので、それを出力して処理を終わる（ステップＳ７）。最小となったＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ６でNO）、一致する水平エッジが存在しないとの判断出力を行って処理を終わる（ステップＳ８）。
【０１４１】
円筒に対応すると判断した場合（ステップＳ１でNO）、まず垂直位置14020から14021までの範囲でＳＡＤ値の最小値を求め（ステップＳ9）、そのＳＡＤ値の最小値が閾値ＴＨよりも小さい場合（ステップＳ10でYES）、ブロックデータが一致したと判断し、この場合、点14002の水平エッジは円筒までの距離Ｒmaxより遠方であるとの判断出力を行って処理を終わる（ステップＳ11）。前記ＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ10でNO）、垂直位置14021から14022の範囲でＳＡＤ値が最小となる位置を探索する（ステップＳ12）。最小となったＳＡＤ値が閾値ＴＨよりも小さい場合（ステップＳ13でYES）、その位置と14002の垂直位置との差を視差データとして距離と路面からの高さが求まるので、それを出力して処理を終わる（ステップＳ14）。最小となったＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ1３でNO）、一致する水平エッジが存在しないとの判断出力を行って処理を終わる（ステップＳ1５）。
【０１４２】
以上の処理フローによって、障害物と関係ない、路面上や遠方の水平エッジは、少ない処理で判断・除去でき、障害物に関係するエッジのみ多くの処理が発生するので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
【０１４３】
障害物境界手段13009では、図２７に示されているように、距離と高さが検出された水平エッジについて、その高さが２０ｃｍ以上のものを障害物のエッジと判断し、図２５(c)に示されているように、距離Ｒ’の場所に線を引き、その結果、水平エッジの集合は障害物境界を示す線14023となる。
【０１４４】
画像投影手段13010では、別途撮像手段3001の画像を基に直接上方仮想視点から見た画像が合成され、オーバーレイ手段13004では、図２５(c)に示されているように、画像投影手段13010から画像の上に、この障害物をオーバーレイ合成する。
【０１４５】
このオーバーレイ合成された画像が、表示手段3009に表示される。表示される画像は、図２５(c)に示されているように、バンパーのように地面から離れた障害物が存在しても実際の距離の位置に障害物境界の線が表示されるので、運転者はこれを見ることで安全に運転することができる。
【０１４６】
この実施の形態には以下の（１）〜（８）に記載したような利点がある。
（１）一度、距離・方向に展開した座標上に画像を変換するとき、撮像手段のレンズの歪みや撮像手段の取り付け角などの歪みを補正することができる。
【０１４７】
（２）２つの入力画像同士で直接視差を検出するときは、これらの歪みを別途勘案する必要があるが、これを省くことができる。
【０１４８】
（３）２つの撮像手段の視野角等が異なる場合も、同様にこの操作によってその違いの影響を吸収することができる。
【０１４９】
（４）また、図２２(a)に示されているように、路面に加えて円筒を仮定した変換画像を用いることで、撮像手段に対し高い位置にあるため路面投影画像では現れないような障害物も検出でき、表示画像上にその障害物境界線を表示することができる。
【０１５０】
（５）図２７に示されている処理フローによって、障害物と関係ない、路面上や遠方の水平エッジは、少ない処理で判断・除去でき、障害物に関係するエッジのみ多くの処理が発生するので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
【０１５１】
（６）探索範囲データ手段13012を設けることで、必要な範囲だけ探索できるので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
【０１５２】
（７）図２２(a)に示されているように、路面に加えて円筒を仮定した変換画像を用いることで、探索範囲データは水平エッジ14002の垂直位置のみで決定され、水平位置には依存しないので、そのメモリ量を非常に少なくすることができる。
【０１５３】
例えば、従来のように魚眼レンズを有する撮像手段の画像をそのまま用いてステレオマッチングを行う場合、その探索範囲は図２６に示されているように、画面の垂直位置と水平位置に依存した曲線14024、14025になってしまう。この曲線のデータを記憶するためには非常に多くのメモリを必要とする。本実施の形態では、このメモリを非常に少なくすることができ、かつ単純な構成で実現できる。
【０１５４】
（８）従来のステレオマッチングでは、この曲線の位置は、厳密には画素単位以下の精度を必要とするが、実際の探索におけるＳＡＤ値の算出においては、画素単位の位置精度でしか求めることができないので、この量子化ノイズが悪影響を及ぼす。本実施の形態では、その悪影響も回避することができる。
【０１５５】
図２８(a)〜(c)は、第５の実施の形態のバリエーションを説明するものである。図２２(a)、(b)に示されている路面と円筒の投影面の代わりに、図２８(a)、(b)に示されているように上方の撮像手段3001の位置を中心とした球面を投影面としてもよい。また、図２８(c)に示されているように、変換画像の横軸は必ずしも角度θでなくてもよく、関数Ｆ（θ）で圧縮したものでも良い。
【０１５６】
図２９(a)は、第５の実施の形態の別のバリエーションを説明するものである。ここで、上方の撮像手段3001の解像度は６４０ｘ４８０画素のものとし、ステレオマッチングにしか使用しない下方の撮像手段1001は３２０ｘ４８０画素とする。このことで、表示用の合成画像は高解像度で、かつ障害物境界は必要十分な精度で検出でき、撮像手段の構成を安価なものにできる。
【０１５７】
図２９(b)は、第５の実施の形態のさらに別のバリエーションを説明するものである。撮像手段3001、1001の同じ軸上に撮像手段18001を加え、障害物と検知されたエッジについて、さらに撮像手段18001の画像をもって検証することによって、ノイズを低減できるようにした。
【０１５８】
図２９(c)は、第５の実施の形態のさらに別のバリエーションを説明するものである。撮像手段3001、1001の軸上とは別位置に撮像手段18002を加えることによって、水平エッジ以外の垂直エッジも使用して障害物を検知することができるようにした。
【０１５９】
図３０(a)〜(c)は、第１〜第５の実施の形態において、上下２つのカメラで構成していたステレオ画像の撮像を１つのカメラで構成したものである。図３０(a)は、レンズ1904の前に複数の鏡1901〜1903を配置することにより、1つの撮像面1905上の左右に、それぞれ視差のあるステレオ画像を得るものである。また、図３０(b)は、２つの凸面鏡1906、1907をカメラ1908で撮像することによって、実質上、上下に視差のある画像を得るものである。そして、図３０(c)は、図３０(b)のカメラ1908で撮像される画像を示すもので、画面1909には、上に位置する凸面鏡1907で写した画像1910と、下に位置する凸面鏡1906で写した画像1911とが表示される。
【０１６０】
ここで、凸面鏡1906、1907の曲率を調節することによって、撮像範囲と撮像画像の解像度を調節することができる（垂直方向と水平方向を独立に調節することもできる）。
【０１６１】
また、図３０(b)では、凸面鏡1906と1907で撮像される角度の範囲はほぼ同じであるが、凸面鏡1906は凸面鏡1907に比較して曲率が大きく、小さな鏡で同じ範囲を撮像できるようになっており、このため、画面1909で画像1911は画像1910より小さく写っている。その結果、画像1910は高解像度であり、画像1911は比較的低解像度となる。画像1911は、視点変換の合成画像用に用いられ、画像1910はステレオ解析のみに用いられる。
【０１６２】
つまり、この合成によって、前述した図２９の第５の実施の形態の別のバリエーションで説明したものと同様に、表示用の合成画像は高解像度で、かつ障害物領域は必要十分な精度で検出でき、カメラおよび画像処理装置を安価なものにできる。
【０１６３】
以上図３０(a)〜(c)を用いて説明したように、第１〜第５の実施の形態において、上下２つのカメラで構成していたステレオ画像の撮像を凸面鏡や反射鏡を用いて、１つのカメラで構成してもよい。
【０１６４】
なお、上述した第１〜第５の実施の形態においては、本発明の運転支援装置は、主として、後方の画像を生成するものであるとして説明したが、これに限るものではなく、前方や側方での画像を生成するものとしても良い。
【０１６５】
また、上述した第１の実施の形態においては路面モデルを用いた仮想視点による画像合成を基にした例を説明し、第２の実施の形態においては路面モデルを用いた上方からの直交投影による画像合成を基にした例を説明したが、これはそれぞれ他方のものを基にしても良く、その場合でも本発明の運転支援装置の効果は変わりなく得られる。
【０１６６】
さらに、本実施の形態の運転支援装置の各手段の機能の全部または一部をコンピュータに実行させるプログラムを用いて実現できる。
【産業上の利用可能性】
【０１６７】
本発明の運転支援装置は、自動車の運転を支援する装置として最適である。
【符号の説明】
【０１６８】
1001 撮像手段
3001 撮像手段
3002 水平エッジ抽出手段
3003 水平エッジ抽出手段
3004 ブロック設定手段
3005 探索手段
3006 サブピクセル推定・信頼性判定手段
3007 ３Ｄマップ作成手段
3008 ３Ｄ画像合成手段
3009 表示手段
3010 デフォルト視差データ手段
3011 路面データ手段
3012 車両姿勢情報手段
3013 画像投影手段
3014 障害物エッジ距離手段
3015 障害物領域手段
3016 オーバーレイ手段
7013 画像投影手段
8001 画像投影手段
8002 画像投影手段
8003 障害物領域検出手段
8004 オーバーレイ手段
8005 レンズ歪み補正・距離・方向画像手段
8006 レンズ歪み補正・距離・方向画像手段
8007 エッジ比較手段
8008 距離推定手段
8009 障害物領域手段
8010 距離・方向・路面変換手段
10001 画像投影手段
10002 強度算出手段
10005 強度算出手段
10006 画像投影手段
10007 撮像手段
13004 オーバーレイ手段
13005 レンズ歪み補正・距離−高さ・方向画像手段
13006 レンズ歪み補正・距離−高さ・方向画像手段
13007 エッジ抽出手段
13008 ブロックマッチング・距離推定手段
13009 障害物境界手段
13012 探索範囲データ手段
【技術分野】
【０００１】
本発明は、車両の運転に関して、車両周辺の状況を車両に取り付けられた撮像手段で撮像し、車両内に表示することによって、運転を支援する運転支援装置に係わり、撮像手段で撮像した画像から、車両の周囲の傷害物との距離を、画面上で把握しやすく画像を合成し、運転者に表示することによって、運転を支援する運転支援装置に関するものである。
【背景技術】
【０００２】
従来の車両に取り付けられた撮像手段を用いた運転支援装置において、車両と周囲との距離を画面上で把握しやすくするための方法として、合成画像の視点位置を変更する技術がある。これは例えば特開昭58-110334号公報に開示されている。この従来装置の場合、車両の周囲の撮像画像が３次元的に地面を写していると仮定して、例えば上空から見下ろしたような新しい視点からの合成画像を作成している。その場合、車両と他の物体との距離は画面上の距離に比例することになるので、直感的に距離が把握しやすくなる。なお、このような運転支援装置は、移動体画像表示システムと呼ばれることもあるが、本明細書では運転支援装置ということにする。
【０００３】
まず、図３１を用いて、前記従来例の動作を説明する。図３１(a)は実際の撮像手段と仮想視点と路面の位置関係を説明するための概略図である。この図において、車両に取り付けられた撮像手段1001は、車両後方の主に路面を下向きの角度で撮像している。ここで撮像手段1001の画像のある画素の方向1002が３次元的路面の点1003を写していると仮定すると、上空の仮想の視点（仮想カメラ）1004で見た場合の位置は、仮想カメラ1004の画像の画面中の1005の方向の画素に対応することが判る。図３１(b)は、実際の駐車場での車両と後方カメラと駐車場の周囲の状況を示したものである。撮像手段1001は、駐車場内の視野範囲1006の画像を撮像する。ここでは特に前記ある画素の方向1002は、路面上の白線のコーナーの点1003を写している。図３１(c)は、実際に撮像手段1001から得られる画像である。路面上の白線のコーナーの点1003は、上空の仮想の視点1004で見た方向1005の画素に対応するように位置を変換され合成される。図３１(d)は合成された画像である。この図において、点1003は路面上に位置するので、車両からの相対位置関係が正確に再現される。また他の駐車区画の白線もすべて路面上に位置するので、合成画像上で車両からの相対位置関係が正確に再現される。
【０００４】
運転者はこの合成画像を見ることによって、車両と周囲の関係を正確に把握することができる。
【０００５】
しかしながら、この従来技術は次のような課題を有している。図３２を用いて、その従来例の課題を説明する。
【０００６】
図３２(a)は、前述の図３１(a)の場合において、路面以外に位置する物体、例えば車のバンパーなどが映る場合について説明するものである。この場合撮像手段1001から方向1002に撮像される点は、３次元的に路面より上に位置する点（車のバンパー）2001となっている。しかしながら、仮想の視点1004から合成する場合は路面を仮定しているので、方向1002を延長して路面に接する点2002上に存在するものとして画像合成が行われる。
【０００７】
図３２(b)は、実際の車両と後方カメラと、後方の車両のバンパーの位置の点2001を示したものである。図３２(c)は、撮像手段1001の撮像画像である。撮像画像上では、バンパーの位置の点2001と、その方向1002を延長して路面に接する点2002は、当然同一点上に重なって見える。しかしながら、図３２(d)に示されている合成画像では、点2002は点2001より遠方に合成される。さらに後方の車両の他の部分も2003に示されているように路面に接触しているタイヤの部分以外は、実際よりも遠方に存在するように合成され、大きく歪んだものとなる。
【先行技術文献】
【特許文献】
【０００８】
特開昭58-110334号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、従来の技術では、視点変換に地面しか仮定していないため、実際に３次元的に地面に位置しないもの、例えば他の車両や障害物が、合成画像上で歪んでしまう。
【００１０】
さらに、運転支援装置としてこれを利用するとき、他の車のバンパーなどが実際よりも遠くに位置するように表示されてしまうために、この画像を見て十分な距離があると認識して運転すると、実際の障害物には距離が十分ではなく、その結果接触しやすくなる。このため、上述の位置ずれおよび画像の歪みを除去することが実用上の大きな課題である。
【００１１】
このような上方からの視点変換画像の歪みの対策としては、特開平7-186833号公報に開示されている例がある。この例では、画面全体で同一色の抽出を行い、その領域の膨張と収縮により道路面と非道路面領域とを分離し、道路面については上方からの変換画像を合成し、非道路面については、その領域の入力画像を視点変換は行わずに拡大縮小のみを行い、前記変換画像上に貼り付けるという作業を行う。このため、道路より上に位置する障害物も歪むことなく画像の合成ができる。
【００１２】
しかしながら、この例では、以下の（１）〜（３）に記載したような課題が残る。
【００１３】
（１）色情報により道路、非道路領域の分離を行うため、道路面でテクスチャの大きく変わる部分や、ビルなど道路とよく似た色をした部分などでは、分離が不正確になってしまう。
【００１４】
（２）バンパーなど地面から離れた障害物は、やはり実際よりも遠方まで道路であるように合成される。
【００１５】
（３）道路面は上方の視点からの画像に変換され、障害物は入力画像のままなので、合成画像が不自然であり、運転者が周囲情報を直感的に把握し易いとは限らない。
【００１６】
また、この例の（１）の課題について、ステレオ画像を用いて道路面と非道路面を分離する技術が特開平7-334679号公報に開示されている。この例では、左右のカメラからの画像を道路面上に投影した位置で一致するように関連づけ、この２つの画像信号が閾値内で類似する部分を道路領域とし、それ以外を非道路領域として分離するというものである。
【００１７】
ただしこの例によっても、以下の（１）〜（３）に記載した課題が残る。
（１）バンパーなど地面から離れた障害物は、やはり実際よりも遠方まで道路であるように認識される。
【００１８】
（２）左右配置のステレオカメラのため垂直エッジの部分は認識しやすいが、エッジの無い部分や、水平エッジの部分は認識ができない。特にバンパーなど地面から離れた障害物の道路との境界は、画面上水平エッジとなりやすい。
【００１９】
（３）この例の中では上方からの視点変換については述べられていないが、障害物の変換画像上での歪み補正については効果がない。
【００２０】
本発明は、このような従来の運転支援装置が有する課題を解決するためになされたもので、その目的は、運転者が障害物の周囲状況を直感的に、かつ、より正確に確認でき、運転者の負担を軽減することができる運転支援装置を提供することにある。
【課題を解決するための手段】
【００２１】
本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記撮像手段の撮像画像間の視差を基に路面以外の３次元情報を検出する検出手段と、前記検出された３次元情報を基に前記視点変換された画像中の像の歪みを補正する歪み補正手段と、前記歪み補正された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段の撮像画像間の視差を基に路面以外の３次元情報を検出し、その３次元情報を基に、前記変換された画像の歪みを補正し、その補正された画像を表示することとなる。
【００２２】
また、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段の位置より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記撮像手段の撮像画像間の視差が路面モデル上の視差と一致しない領域を障害物領域として検出する障害物領域検出手段とを備えたことを特徴とする。この構成により、撮像手段の撮像画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出することとなる。
【００２３】
さらに、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段の位置より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記変換された画像間で一致しない領域を障害物領域として検出する障害物領域検出手段と、前記変換された画像中に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を表示する表示手段とを備えたことを特徴とする。この構成により、変換された画像の間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換された画像中にオーバーレイ合成し、表示することとなる。
【００２４】
そして、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルを基に前記撮像手段からの距離と角度とを座標とした中間画像に変換する中間画像変換手段と、前記変換された画像間で一致しない領域を検出し、さらに前記領域内の２つの画像を比較して、実際の距離を推定し、この推定された距離を用いて前記変換された画像中の前記領域の距離位置を修正し、この修正された領域を障害物領域として出力する障害物領域検出手段と、前記変換された画像に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を路面の通常座標画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段からの距離と角度とを座標とした中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することとなる。
【００２５】
また、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された画像を、路面モデルを基に前記撮像手段の位置より上方の仮想視点で見た画像または上方から直交投影した画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えた運転支援装置であって、前記変換手段において、前記撮像手段の画面の各画素の路面モデル上の面積および路面への角度を基に強度を求め、この強度を基に画素の明るさおよび色づけに変化を持たせることを特徴とする。この構成により、撮像手段の画面の各画素の路面モデル上の面積および路面への角度を基に画素の明るさおよび色づけを変化させることとなる。
【００２６】
さらに、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された１つ以上の画像を、路面モデルおよび円筒モデルを基に前記撮像手段からの距離または高さおよび角度を座標とした中間画像に変換する中間画像変換手段と、前記変換された画像間で一致しない領域を検出し、さらに前記領域内の２つの画像を比較して、実際の距離を推定し、この推定された距離を用いて前記変換された画像中の前記領域の距離位置を修正し、この修正された領域を障害物領域として出力する障害物領域検出手段と、前記変換された画像に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を路面の通常座標画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段からの距離または高さおよび角度を座標とした中間画像における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することとなる。
【００２７】
そして、本発明の運転支援装置は、移動体に設置された複数の撮像手段と、前記撮像手段で撮像された画像を、前記撮像手段間を結ぶ直線を軸とした軸対称な面を投影面とした中間画像に変換する中間画像変換手段と、前記変換された画像間で一致しない領域を検出し、さらに前記領域内の２つの画像を比較して、実際の距離を推定し、この推定された距離を用いて前記変換された画像中の前記領域の距離位置を修正し、この修正された領域を障害物領域として出力する障害物領域検出手段と、前記変換された画像に前記障害物領域をオーバーレイ合成するオーバーレイ手段と、前記合成された画像を路面の通常座標画像に変換する変換手段と、前記変換された画像を表示する表示手段とを備えたことを特徴とする。この構成により、撮像手段間を結ぶ直線を軸とした軸対称な面を投影面とした中間画像における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することとなる。
【００２８】
また、本発明の運転支援装置は、移動体に設置された撮像手段と、前記撮像手段で撮像された画像を前記撮像手段の位置とは異なる仮想視点で見た視点変換画像に変換する変換手段と、前記変換手段により変換された画像を表示する表示手段とを備え、前記撮像手段は、所定の視差を有する複数の画像を撮像し、前記表示手段は前記視差に基づいて補正された画像を表示することを特徴とする。この構成により、複数の撮像画像の視差に基づいて視点変換画像を補正し、表示することとなる。
【発明の効果】
【００２９】
以上説明したように、本発明は、撮像手段で撮像された画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ路面以外の３次元情報を検出し、その３次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３０】
また、本発明は、撮像手段で撮像された画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ複数の撮像画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３１】
さらに、本発明は、撮像手段で撮像された画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ変換された画像の間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３２】
そして、本発明の運転支援装置は、撮像手段で撮像された画像を前記撮像画像を撮像手段からの距離と角度とを座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３３】
また、本発明は、撮像画像を上方の仮想視点で見た画像または上方から直交投影した画像に変換し、かつ変換画像上で距離や歪みの大きい障害物の領域を判り易く提示することにより、画像中の信頼性の高い部分と低い部分とを提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３４】
さらに、本発明は、撮像手段で撮像された画像を前記撮像画像を撮像手段からの距離または高さおよび角度を座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３５】
そして、本発明は、撮像手段で撮像された画像を前記撮像手段間を結ぶ直線を軸とした軸対称な面を投影面とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３６】
また、本発明は、所定の視差を有する複数の画像を撮像し、複数の撮像画像の視差に基づいて視点変換画像を補正し、表示することにより、障害物までの距離と方向をより判り易く正確に提示することができるという優れた効果を有する運転支援装置を提供することができるものである。
【００３７】
以上述べたように、本発明は、運転者の負担を軽減し、正確で安全な運転を促すことができるという優れた効果を有する運転支援装置を提供することができるものである。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施の形態の運転支援装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図３】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図４】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図５】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図６】本発明の第１の実施の形態の運転支援装置の動作を説明するための概略図、
【図７】本発明の第２の実施の形態の運転支援装置の構成を示すブロック図、
【図８】本発明の第２の実施の形態の運転支援装置の動作を説明するための概略図、
【図９】本発明の第２の実施の形態の運転支援装置の動作を説明するための概略図、
【図１０】本発明の第２の実施の形態の運転支援装置の効果の例を示す図、
【図１１】本発明の第２の実施の形態の運転支援装置の動作を説明するための概略図、
【図１２】本発明の第２の実施の形態の運転支援装置の変形例の構成を示すブロック図、
【図１３】本発明の第３の実施の形態の運転支援装置の構成を示すブロック図、
【図１４】本発明の第３の実施の形態の運転支援装置の変形例の構成を示すブロック図、
【図１５】本発明の第３の実施の形態の運転支援装置の動作を説明するための概略図、
【図１６】本発明の第３の実施の形態の運転支援装置およびその変形例の動作を説明するための概略図、
【図１７】本発明の第３の実施の形態の運転支援装置の変形例の動作を説明するための概略図、
【図１８】本発明の第４の実施の形態の運転支援装置の構成を示すブロック図、
【図１９】本発明の第４の実施の形態による運転支援装置の変形例の構成を示すブロック図、
【図２０】本発明の第４の実施の形態の運転支援装置およびその変形例の動作を説明するための概略図、
【図２１】本発明の第５の実施の形態の運転支援装置の構成を示すブロック図、
【図２２】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２３】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２４】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２５】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２６】本発明の第５の実施の形態の運転支援装置の動作を示す概略図、
【図２７】本発明の第５の実施の形態の運転支援装置における探索処理を説明するためのフローチャート、
【図２８】本発明の第5の実施の形態の運転支援装置の変形例を示す概略図、
【図２９】本発明の第５の実施の形態の運転支援装置の別の変形例を示す概略図、
【図３０】本発明の第１〜第５の実施の形態のステレオカメラの構成方法の変形例を示す図、
【図３１】従来の運転支援装置の動作を示す概略図、
【図３２】従来の運転支援装置の課題を示す概略図である。
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００４０】
（第１の実施の形態）
本発明の第１の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ複数の撮像手段で撮像された画像間の視差を基に路面以外の３次元情報を検出し、その３次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認できるようにしたものである。
【００４１】
図１は、本発明の第１の実施の形態の運転支援装置のブロック図であり、図２〜図６は、その運転支援装置の動作を説明するための概略図である。
【００４２】
図１に示されているように、本発明の第１の実施の形態の運転支援装置は、２つの撮像手段1001、3001と、それぞれ撮像手段1001、3001で撮像された画像の水平エッジを抽出する水平エッジ抽出手段3002、3003と、水平エッジ抽出手段3002の出力を用いて視差探索のためのブロックの設定を行うブロック設定手段3004と、水平エッジ抽出手段3003の出力と、ブロック設定手段3004の出力と、後述するデフォルト視差データ3010とを基にブロックの探索を行う探索手段3005と、探索手段3005の出力から、各ブロックについてサブピクセル精度の視差と信頼性判定結果を出力するサブピクセル推定・信頼性判定手段3006と、サブピクセル推定・信頼性判定手段3006の出力と、デフォルト視差データ3010と、後述する路面データ3011とを基に撮像手段3001からの画像画面上に３Ｄマップを作成する３Ｄマップ作成手段3007と、撮像手段3001からの画像とその画面上の３Ｄマップとを基に、上方の仮想視点からの画像を合成する３Ｄ画像合成手段3008と、３Ｄ画像合成手段3008の出力を表示する表示手段3009とを具備する。
【００４３】
また、本発明の第１の実施の形態の運転支援装置は、デフォルト視差データ手段3010と、路面データ手段3011と、車両姿勢情報手段3012とを具備する。
【００４４】
２つの撮像手段1001と撮像手段3001は、図２(a)に示されているような位置に設置されている。ここでは地面に垂直な方向の直線4001上に１０ｃｍの間隔をあけた位置に設置され、それぞれの地面からの高さは、１００ｃｍと１１０ｃｍである。それぞれの視線方向4003は、水平から地面に向かって４０度の角度で下向きである。２つの撮像手段の視線は平行である。また２つの撮像手段の視野範囲4002は、垂直方向（仰角方向）に９０度である。
【００４５】
図１に示されているこの２つの撮像手段1001、3001からの入力画像としては、それぞれ図２(b)、図２(c)に示されているように、水平方向は殆ど同一で垂直方向に位置が変化した画像が得られる。撮像手段3001は撮像手段1001よりも高い位置に配置されているため、撮像手段3001からの入力画像では、無限遠方の水平線4004の画面上の位置は同じだが、より近くに位置する点（例えば、路面上に位置する白線のある点4005や、車のバンパー上のある点4006）は画面上、図２(b)の画像より下に位置する。そして、この垂直方向の位置の変化は、２つの画像を重ねた図２(d)に示されているように、垂直方向の視差4007や4008となる。ここで4007は路面上に位置する白線の視差であり、4008は路面より上に位置する車のバンパーの視差である。
【００４６】
図１に示されている水平エッジ抽出手段3002、3003では、この２つの撮像画像について下記の式［１］に示されている操作で水平エッジの抽出を行う。ここで、Ｌは画像の輝度信号、x,yは水平、垂直の画素位置である。
【００４７】
L'(x,y)=２＊L(x,y)-L(x,y-1)-L(x,y+1) …式［１］
【００４８】
この操作により、例えば、図２(b)の画像は図３(a)のように、画面上水平方向に近いバンパーや白線のエッジ（4009，4010）が強調され、また画面上垂直方向に近いエッジ（4011，4012）は弱められる。
【００４９】
図１のブロック設定手段3004では、水平エッジ強調手段3002、3003で水平エッジが強調された画像について、視差探索のためのブロックの設定が行われる。図３(b)はそのブロック設定を説明するためのもので、垂直方向に２画素おきの走査線4013にしたがって、式［１］に示したL'(x,y)の極大点と極小点を求め、その点を中心とした縦横５×５画素のブロック4014を設定する。図３(b)に示されているように、このブロックは画面の水平エッジ上に重なりを持って複数配置される。
【００５０】
次に、図１の路面データ3011に基づいたデフォルト視差データ3010について説明する。これは図３(c)に示されているように、２つの撮像手段1001、3001が共に路面を写していると仮定したときに生じる視差を予め計算したものである。図３(c)中、路面上の点4015の視差は角度で4016と計算される。図３(d)は画面上での、このデフォルト視差データを示すものである。無限遠方の水平線4004の位置のデフォルト視差4017は０であるが、それから近づく（画面上、下に下がる）に従って、4018、4019とデフォルト視差は大きくなる。それからさらに下がると、今度は撮像手段1001、3001の視線方向が垂直方向に近くなるので、4020に示されているようにデフォルト視差は小さくなる。
【００５１】
路面より上に位置する物体は、このデフォルト視差より大きな視差を生じるので、図１の探索手段3005では、このデフォルト視差を探索の初期値としてさらに大きい視差の方向に探索を行う。
【００５２】
探索視差の上限は次のようにして決定する。図４(a)に示されているように、車両からの距離が５０ｃｍでかつ地面から垂直な壁4021と、撮像手段1001、3001の真下から６０度の角度を持つ壁4022とを仮定したときの視差を概算する。このときの視差4023の画面中の値を探索視差の上限とする。
【００５３】
探索手段3005は、前記探索の初期値から上限までの間で、ブロック設定手段3004で設定された５×５画素の信号L'(x+j,y+i)について、撮像手段3001からの画像信号L3'に対して下記の式［２］に示されている相関値Ｆが最大となる視差ＤＹを探索する。
【００５４】
Ｆ＝ΣiΣjL'(x+j,y+i)*L3'(x+j,y+i＋ＤＹ) …式［２］
:(i=-2〜2,j=-2〜2)
【００５５】
サブピクセル推定・信頼性判定手段3006では、さらに前記探索手段3005で求められた視差ＤＹと相関値について解析する。
【００５６】
まず、相関値Ｆと、ブロック信号L'(x+j,y+i)の自己相関値ＳＳ＝ΣiΣjL'(x+j,y+i)*L'(x+j,y+i) …式［３］
:(i=-2〜2,j=-2〜2)の比Ｆ/Ｓが閾値が０．７５以上のときは信頼性ありと判定し、０．７５未満のときは信頼性なしと判定する。
【００５７】
信頼性ありと判定されたブロックについては、図４(b)に示されているように、１画素単位の視差ＤＹの周囲の相関値Ｆを用いて２次式で補間した曲線4024の最大点4025を求め、この位置をサブピクセル精度の視差ＤＹ’とする。
【００５８】
サブピクセル推定・信頼性判定手段3006では、各ブロックについてこのサブピクセル精度の視差ＤＹ’と信頼性判定結果を出力する。
【００５９】
３Ｄマップ作成手段3007では、サブピクセル推定・信頼性判定手段3006の出力である各ブロックについてのサブピクセル精度の視差ＤＹ’および信頼性判定結果と、路面データ3001と、デフォルト視差データ3010とを基に撮像手段3001からの画像画面上に３Ｄマップを作成する。
【００６０】
まず、図４(c)に示されているように、信頼性ありと判定された各ブロックを検出した視差ＤＹ'で動かした位置4026には、撮像手段3001からの画像の水平エッジが存在する。またこのとき、図４(d)に示されているように、検出視差ＤＹ’がデフォルト視差データ3010に一致する水平エッジ4027は路面上に存在すると判定され、一致しない水平エッジ4028は路面より上に存在すると判定される。路面より上に存在すると判定されたエッジは、検出視差ＤＹ’の値によって撮像手段3001からの距離が求められる。
【００６１】
この判定と距離とを基に、図５(a)に示されているように画面全体について３Ｄマップが作成される。まず走査線4032に示されているように、画面を下方から垂直に走査し、領域4029のように水平エッジを有しないか、有していても路面上に存在すると判定されたエッジしかない場合、その領域は路面に存在すると判定され、路面データ3011の値を基に３Ｄ距離が与えられる。一方、路面より上に存在すると判定されたエッジに挟まれた領域4030では、その２つのエッジの距離を線形補間した値が与えられる。路面より上に存在すると判定されたエッジより上の領域4031ではそのエッジの距離のデータが与えられる。
【００６２】
３Ｄ画像合成手段3008は、撮像手段3001からの画像とその画面上の３Ｄマップとを基に、上方の仮想視点からの画像を合成する。したがって図５(b)に示されているように、バンパーなどの路面より上に存在する点4033でも、路面上の位置4034ではなく正確な３Ｄ位置をもとに仮想視点で見た画面上の位置が決定できるので、図５(c)に示されているように、路面上の位置4034ではなく正確な位置4033に画像が合成される。一方、車両の陰などになった部分は、領域4035に示されているように斜線で表示される。
【００６３】
また、このとき図５(d)の領域4036に示されているように、路面より上に存在する領域を半透明の赤い幕や点滅等で強調することも可能である。
【００６４】
表示手段3009には、この合成画像が表示され、運転者は車両周囲の障害物の位置を直感的かつ正確に把握することができる。
【００６５】
なお、図１に示されている車両姿勢情報手段3012は、車両に荷物を積んだ場合や、車両の加速等に伴う姿勢の変化情報を出力する。路面データ手段3011は、この情報に対応して図６に示されているように、撮像手段1001、3001に対する平時の路面位置データ4037に対し、変化した路面位置データ4038を計算する。この変化した路面位置データは、それ以降のデフォルト視差データ手段3010や３Ｄマップ作成手段3007の処理に反映される。このことによって、車両に荷物を積んだ場合や、車両の加速等に伴って姿勢が変化場合でも正確な画像が合成され、運転者は、この画像を見ることで、常に車両周囲の障害物の位置を直感的かつ正確に把握することができる。
【００６６】
ここで、第１の実施の形態では、２つの撮像手段1001、3001を垂直方向に１０ｃｍの間隔をあけて設置することにより、その視差によって障害物の合成画像上の歪みを補正することができたが、このとき、視差に微量の誤差が含まれていても、２つの撮像手段の間隔が垂直方向なので、障害物までの距離には誤差の影響が生じても、その障害物の方向には影響は殆ど表れないという利点がある。これは車両を運転する上で大変重要な利点である。
【００６７】
また、この２つの撮像手段1001、3001を垂直方向に間隔をあけて配置することで、その後の視差検出処理を水平エッジ抽出手段で検出されたエッジ部分に限定することができ、その処理量を大幅に削減できる。車両のバンパーなど、路面から浮いている部分は殆ど画面上で水平エッジを持っているので、その限定された処理でも障害物を漏らすことなく検出できるという利点がある。
【００６８】
このように、本発明の第１の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ複数の撮像手段で撮像された画像間の視差を基に路面以外の３次元情報を検出し、その３次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、障害物までの距離と方向をより判り易く、かつ正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
【００６９】
（第２の実施の形態）
本発明の第２の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方から直交投影した画像に変換し、かつ複数の撮像手段で撮像された画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
【００７０】
図７は、本発明の第２の実施の形態の運転支援装置のブロック図であり、図８〜図１１はその動作を説明するための概略図である。また、図１２は、本発明の第２の実施の形態の運転支援装置の変形例のブロック図である。図７と図１２のブロック図中、図１と同じ符号が付されたブロック要素は図１のブロック要素と同じ構成および機能を有する。
【００７１】
本発明の第２の実施の形態の運転支援装置は、画像投影手段3013、障害物エッジ距離手段3014、障害物領域手段3015、およびオーバーレイ手段3016を備えており、３Ｄマップ作成手段および３Ｄ画像合成手段を備えていない点において第１の実施の形態の運転支援装置と異なる。
【００７２】
まず路面投影手段3013は、図１の３Ｄ画像合成手段3008とは異なり、路面データ手段3011のデータを基に、撮像手段3001からの入力画像を図８(a)に示されているように、路面に投影した位置に存在するように合成する。このとき視点は第１の実施の形態のような仮想の視点ではなく、図８(a)の視点6001に示されているように、真上からの直交投影で得られる画像を合成する。このとき得られる合成画像は、図８(b)に示されているように、従来例と同様、路面より上に位置する車両のバンパーの点6002などが、より遠くの点6003に存在するような歪んだ画像となる。
【００７３】
障害物エッジ距離手段3014は、第１の実施の形態の３Ｄマップ作成手段3007と同様に、図８(c)に示されている２つの画像の水平エッジについて、サブピクセル推定・信頼性判定手段3006から得られるその視差から、路面より上に存在するエッジを障害物エッジとして検出し、撮像手段3001からの距離を算出する。図８(c)の走査線6006に示されているように、画面を下方から垂直方向に走査し、その垂直ラインについて、障害物ラインが存在した場合、その距離の最小値が、その垂直ライン毎に記憶され、出力される。
【００７４】
障害物領域手段3015は、図８(d)に示されているように、障害物エッジ距離手段3014の出力の、垂直ライン毎の障害物ラインの距離の最小値を路面に投影した位置6008と、それ以遠の領域6009とを障害物領域として合成する。
【００７５】
オーバーレイ手段3016は、合成画像と別の層（レイヤー）に運転者への指示を書き込み、図９(a)に示されているように、図８(b)、図８(d)の合成画像を重ね合わせて合成する。このとき障害物領域6009は、画像上半透明の赤い膜として図８(b) の車両の存在する領域に合成される。
【００７６】
表示手段3009には、このオーバーレイ手段3016の出力が表示される。運転者は、この合成画像を見ることで、路面上の白線の位置を正確に把握することができ、また他の車両などの障害物までの自車両からの距離と方向を正確に把握することができるので、従来例と比較しても大幅に安全かつ正確に車両を運転することができる。
【００７７】
この第２の実施の形態では、第１の実施の形態に比較して、撮像手段3001からの入力画像をリアルタイムに変化する３Ｄマップに合わせて合成しなくても良く、予め定められた路面モデルへの投影変換だけで良いので、実回路での実現が容易であるという利点がある。
【００７８】
また障害物エッジ距離手段3014、障害物領域手段3015の動作も、３Ｄマップ作成手段3007に比較して、垂直ライン毎の障害物ラインの距離の最小値だけを解析するので、その処理が比較的簡単であるという利点がある。
【００７９】
これらのことより、第２の実施の形態では、第１の実施の形態に比較して、実回路での実現が大幅に容易であるという利点があり、かつ第１の実施の形態と同様に、運転者が表示画像を見ることで、路面上の白線を正確に把握することができ、また他の車両などの障害物までの自車両からの距離と方向を正確に把握することができるので、従来例と比較しても大幅に安全かつ正確に車両を運転することができるという効果が得られる。
【００８０】
なお、図９(b)に示されているように、障害物領域6009ではなく、障害物ラインの距離の最小値を路面に投影した位置6008だけを境界線として表示しても良い。この場合でも、運転者は障害物までの距離と方向を正確に把握することができるので、安全かつ正確に車両を運転することができるという効果が得られる。
【００８１】
図１０(a)〜(c)は、実際の撮像画像での図９(b)の効果を示す例である。図１０(a)は、駐車操作中の車の後方カメラから撮像される画像である。ここでは、広角な範囲を撮像するために魚眼レンズを用いている。画像には、これから駐車しようとするスペースと、その左側にトラック、右側に乗用車が映っている。図１０(b)は図１０(a)の撮像画像を用いて従来例によって合成された画像である。合成画像の中央から右にかけて、上方から見た駐車場の状況と、左に自車両を示すＣＧが合成されている。ここでは、路面にある白線は正確な位置に合成されるので、運転者は自車両と駐車スペースとの関係を正確に把握できる。しかしながら、地面より上にあるものは、実際より遠くにあるように合成される。ここでは、トラックと自車両との間には十分な余裕があるように合成されているが、実際には接触の危険がある。図１０(c)は、本実施の形態での合成例で、障害物までの距離を白線で表示している。この白線によって実際のトラックまでの距離が一目で分かり、これ以上後退すると接触の危険があることを運転者に認知させることができる。
【００８２】
また、図９(c)は、前記障害物ラインについて、距離の最小値だけではなく、そのラインの路面からの高さを記憶しておき、路面からの高さに応じて、前記表示する境界線の色と太さを変えた例である。ここでは、例えば高さが１０ｃｍ以下のものを黄色で細く表示し、１０〜１５ｃｍのものを赤く細く、２０ｃｍ以上のものを赤く太く表示する。このようにすることで、路面が少し傾斜していた場合など、路面モデルと実際のモデルとのずれのため検出される白線6012は黄色く細く表示され、高さ１５ｃｍ以下の低い縁石6011などは赤く細く表示され、他の車両など障害物を示す境界線6010は赤く太く表示される。このことで、運転者は重要な障害物を最優先に注意することができ、路面の荒れなどによるノイズの影響を最小限に抑えることができる。
【００８３】
さらに、図９(c)においてある程度以上の高さのある領域（障害物に相当）の境界線6010を、合成画像の表示画面上で点滅させて、運転者にさらなる注意を向けさせても良い。
【００８４】
また、図９(d)に示されているように、ある程度以上の高さのある領域の境界線6010についての最近傍点を通る自車両からの距離方向に垂直な線6013とそこまでの距離の値を数値6014で表示させて、運転者に実際の距離の値を認知させても良い。
【００８５】
さらに、２つの撮像手段は図１１(a)に示されているように、必ずしも上下方向に直線上に位置しなくても良い。この図のような配置の場合、後方の車両がかなり接近した場合、そのバンパーの点7001が上方の撮像手段3001からは死角で見えないが、このとき、この部分の路面の画像は、図１２のブロック図における路面投影手段7013に示されているように、撮像手段1001からの画像を用いて従来と同様に路面投影で合成することができる。
【００８６】
この場合、従来と同様に、バンパー位置の実際と合成画像とのずれが生じるが、バンパー位置が撮像手段1001から見て十分下の方向7002に位置するので、その位置ずれは小さい。
【００８７】
また、路面投影の合成画像に用いる上方の撮像手段3001として１０２４×７６８画素の高解像度のカラーカメラを用い、視差検出用の下方の撮像手段1001として６４０×４８０画素の白黒カメラを用いても良い。この場合、下方の撮像手段1001のコストを抑えることができ、かつ合成画像は高解像度なカラー画像を得ることができる。
【００８８】
また、図１１(b)に示されているように、上方の撮像手段3001は遠方を高解像度に映すようにし、下方の撮像手段1001は近辺を高解像度に映すようにすると共に、図１２のブロック図における路面投影手段7013に示されているように、路面合成の際、遠方を撮像手段3001からの画像信号を用い、近辺を撮像手段1001からの画像信号を用いるようにしても良い。
【００８９】
このように、本発明の第２の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方から直交投影した画像に変換し、かつ複数の撮像手段で撮像された画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
【００９０】
（第３の実施の形態）
本発明の第３の実施の形態の運転支援装置では、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ変換された画像間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
【００９１】
図１３は、本発明の第３の実施の形態の運転支援装置のブロック図、図１４はその変形例のブロック図、図１５〜図１７は、それらの動作を説明するための概略図である。図１３および図１４において、図７と同じ符号が付されたブロック要素は図７のブロック要素と同じ構成および機能を有する。
【００９２】
本実施の形態では、図１５（a)に示されているように、前記第１、２の実施の形態と同様に、垂直方向に所定の間隔をあけて設置された２つの撮像手段1001、3001から画像を入力する。この２つの入力画像は、それぞれ路面投影手段8001、8002において、路面データ手段3011のデータを基に、路面に投影された位置に仮想視点1004からの画像が合成される。
【００９３】
このとき、路面より上に位置する後方の車両のバンパーの点9001は、上方の撮像手段3001からは、路面上に投影すると9002の方向に見え、下方の撮像手段1001からは、より遠方の9003の方向に見える。したがって、それぞれ合成される画像では、図１５(b)、図１５(c)に示されているように、路面上の白線は、同じ位置に合成されるが、路面より上に位置する後方の車両のバンパーの点9001などは異なる位置に合成される。
【００９４】
障害物領域検出手段8003は、この２つの合成画像の差を取り、一定以上の差のある領域を障害物領域として検出する。このとき検出される領域は、図１５(d)に示されているように、路面より上に位置して、かつ元の撮像画像上で水平エッジを有する部分が、領域9004、領域9005のように検出される。
【００９５】
オーバーレイ手段8004では、この図１６(a)に示されているように、図１５(b)の画像に、図１５(d)に示されている障害物領域を重ね合わせて合成する。このとき障害物領域9004、9005は画像上半透明の赤い膜として、図１５(d)で車両の存在する領域に合成される。
【００９６】
表示手段3009にはこのオーバーレイ手段8004の出力が表示される。運転者は、この合成画像を見ることで、従来例とは異なり、路面上の白線と障害物の区別を正確に把握することができる。また他の車両などの障害物までの自車両からの距離は正確ではないが、その方向は正確に把握することができるので、従来例と比較しても安全に車両を運転することができる。
【００９７】
さらに、この第３の実施の形態のバリエーションを図１４、図１６(b)〜(d)、および図１７(a)〜図１７(d)を用いて説明する。まず撮像手段1001、3001からの撮像画像は、それぞれレンズ歪み補正・距離・方向画像手段8005、8006で、それぞれ図１６(b)に示されているように路面に投影したときの撮像手段からの距離Ｒと方向θで展開される座標上の画像に変換される。このとき撮像画像にレンズ歪みや取り付け角による歪みなどが含まれていた場合、この歪み量を予め計測しておき、変換時に同時に補正する。距離Ｒと方向θで展開される座標上の画像は、それぞれ図１６(c)、図１６(d)に示されているようになる。ここで、撮像手段3001からの画像が図１６(c)、撮像手段1001からの画像が図１６(d)で、路面上の白線などは同じ位置に合成されるが、バンパーなどのエッジ位置は１６(d)の方が遠くに合成される。
【００９８】
エッジ比較手段8007では、このエッジ位置を図１６(c)、図１６(d)の走査線9008に従って比較する。走査線9008上の画像のエッジを示したものが図１７(a)である。そして、この図において、図１６(c)に対応するエッジ信号が9009、図１６(d)に対応するエッジ信号が9010である。ここで走査線に従ってエッジ信号9009のエッジ9011を検出したとき、これと同じ位置にエッジ信号9010上のエッジ9012が存在するとき、これは路面上のエッジなので無視する。一方、エッジ信号9009のエッジ9013を検出し、かつこれと同じ位置にエッジ信号9010上のエッジが存在しないとき、次に検出されるエッジ9014までの距離ｄを検出し、このときのエッジ9013までの距離Ｒ1と、エッジ9013からエッジ9014までの距離ｄを距離推定手段8008へ出力する。
【００９９】
距離推定手段8008では、エッジ9013までの距離Ｒ１と、エッジ9013からエッジ9014までの距離ｄを基に実際の距離を推定する。図１７(b)はその関係を示したものである。ここで、撮像手段1001の高さをＨ1、撮像手段1001から撮像手段3001までの高さの差をＨdとし、前記入力のＲ1とｄとから、実際の点の高さＨと距離Ｒ’の関係は簡単な比例により下記２つの関係式［４］、［５］が求まる。
【０１００】
Ｈ＊Ｒ1＝（Ｈ1＋Ｈd）＊（Ｒ1−Ｒ’） …式［４］
【０１０１】
Ｈ＊（Ｒ1＋ｄ）＝Ｈ1＊（Ｒ1＋ｄ−Ｒ’） …式［５］
【０１０２】
これらの関係式より、実際の点の高さＨと距離Ｒ’は下記式［６］、［７］のように推定される。
【０１０３】
Ｒ’＝Ｒ1＊（Ｒ1＋ｄ）＊Ｈd／｛Ｒ1＊Ｈd＋ｄ＊（Ｈ1＋Ｈd）｝…式［６］
【０１０４】
Ｈ＝Ｈ1＊（Ｈ1＋Ｈd）＊ｄ／｛Ｈd＊Ｒ1＋（Ｈ1＋Ｈd）＊ｄ｝…式［７］
【０１０５】
この推定された高さＨと距離Ｒ’を障害物領域手段8009へ出力する。障害物領域手段8009は、この高さＨが閾値以上のときの距離Ｒ’が入力されたとき、図１７(c)に示されているように、走査線9008上の距離Ｒ’のところに線を引き、それより遠方を障害物領域と決定する。
【０１０６】
オーバーレイ手段8004では、図１７(c)に示されているように、撮像手段3001からの変換画像である図１６(c)の上に、この障害物領域をオーバーレイ合成する。
【０１０７】
距離・方向・路面変換手段8010は、このオーバーレイ合成された画像の距離・方向展開された座標を通常の上方から見た路面の画像に変換し、表示手段3009へ出力する。
【０１０８】
表示手段3009に表示される画像は、図１７(d)に示されているように、バンパーのような地面から離れた障害物でも実際の距離Ｒ1の位置に障害物領域として表示されるので、運転者はこれを見ることで、安全に運転することができる。
【０１０９】
この実施の形態には以下の（１）〜（４）に記載したような利点がある。
（１）一度、距離・方向に展開した座標上に画像を変換するとき、カメラのレンズの歪みやカメラ取り付け角などの歪みを補正することができる。
【０１１０】
（２）２つの入力画像同士で直接視差を検出するときは、これらの歪みを別途考慮する必要があるが、本実施の形態では、これを省略することができる。
【０１１１】
（３）２つの撮像手段の視野角等が異なる場合も、同様にこの操作によってその違いの影響を吸収できる。
【０１１２】
（４）路面投影した後でエッジなどを比較する場合は、距離方向にエッジ比較を行う必要があるが、路面投影画像では距離方向は一定ではないので、実際のハードでのメモリアクセスが煩雑になり、また障害物領域を決定するときも距離方向が一定でないので同様に実際のハードでのメモリアクセスが煩雑になる。しかし、ここでは、画像を一度、距離・方向に展開した座標上に画像を変換した状態で、エッジ比較と障害物領域決定を行っている。この変換画像上では距離方向を座標軸としているので、上述の操作が実際のハードで非常に簡単に実現できる。
【０１１３】
このように、本発明の第３の実施の形態によれば、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ変換された画像間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
【０１１４】
（第４の実施の形態）
本発明の第４の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつその変換画像において正確で歪みの少ない部分を明るく合成し、歪みが大きく距離が不正確な部分が暗く合成することにより、運転者が画像中の信頼性の高い部分と低い部分とを直観的に把握できるようにしたものである。
【０１１５】
図１８は、本発明の第４の実施の形態による運転支援装置のブロック図であり、図１９は、その変形例のブロック図である。また、図２０は、それらの動作を説明するための概略図である。図１８および図１９において、図７と同じ符号が付されたブロック要素は図７のブロック要素と同じ構成および機能を有する。
【０１１６】
本実施の形態では、図１８に示されているように１つの撮像手段1001から画像を入力する。そして、この入力画像を基に、画像投影手段10001において、路面データ手段3011のデータで路面に投影された位置に画像が合成されるが、このとき強度算出手段10002は、撮像手段1001のカメラパラメータ10003と路面データ手段3011のデータとの関係から路面へ投影する強度を算出し、決定する。
【０１１７】
図２０(a)に示されているように、撮像手段10001から１画素あたり一定の光線11001を仮定する。ここで、路面投影するときの強度Ｋを、その１画素が路面を投影する面積Ａと、光線の路面への角度θから下記の式［８］のように計算する。
【０１１８】
簡単に式［８］を説明すると、面積Ａが大きいほど強度は減り、また路面への角度が垂直なほど強度は大きくなる。また強度は１．０でクリップされる。
【０１１９】
Ｋ’＝α・sin（θ）／Ｓ …式［８］
if（Ｋ’＞１．０） Ｋ＝１．０elseＫ＝Ｋ’ここで、αは増幅強度で定数
【０１２０】
この強度の算出により、図２０(a)に示されているように、撮像手段1001の近辺の路面は、その強度が大きく、遠方は強度が小さくなる。この強度の値に従って合成された画像は、図２０(b)に示されているように、撮像手段1001から一定の近辺の路面までは、強度Ｋが１．０であるので一定の明るさに合成され、そこから遠方に行くに従って、だんだん暗くなるように合成される。
【０１２１】
撮像手段1001からの入力画像をこの強度に従って合成した画像は、図２０(c)のように、歪みが大きく距離の誤差も大きい遠方の部分が暗く合成される。
【０１２２】
運転者は、この合成画像を見ることで、従来例とは異なり、誤差が少なく正確な近辺の部分の合成画像をはっきり見ることができ、誤差と歪みの多い遠方については暗く合成されているので、その明るさに応じた確かさしか有しない情報であることが直感的に認識できる。したがって、障害物までの距離を正確に把握することはできないが、合成画像中の部分部分の信頼度を直感的に把握でき、従来例と比較しても安全に車両を運転することができる。
【０１２３】
図１９に示されている変形例は、図１８を複数の撮像手段を有するように拡張したものである。各撮像手段1001…10007の撮像画像は、それぞれのカメラパラメータ10003…10004と路面データ3011との関係から、強度算出手段10002…10005でそれぞれの路面投影への強度が算出・決定され、その強度に従って画像投影手段10001、10006で画像が合成される。
【０１２４】
これらの路面投影合成された画像をさらに合成手段10007で１つの画像に合成する。このとき、それぞれの路面投影の強度に従った重みづけで合成が行われ、表示手段3009に表示される。表示される画像は、例えば図２０(d)に示されているように、３つの撮像手段からの画像が１つの路面投影画像に合成されたものである。
【０１２５】
このとき車両後方中央の撮像手段は高解像度なもので、左右の撮像手段は補助的なものとして低解像度なものを用いている。したがって、左右の撮像手段の投影する領域は１画素あたりの面積が大きいので、かなり近辺の領域しか明るく合成しない。一方、中央の撮像手段の投影する領域は１画素あたりの面積が比較的小さいので、遠方まで明るく合成できる。そして、両方の投影画像が重なる領域11002では、強度の大きい中央の撮像手段の投影画像が大きく重みづけられて合成されるので、より信頼性の高い画像が合成される。
【０１２６】
運転者は、この合成画像を見ることで、複数の撮像手段からの合成画像であっても、画像中の部分部分の信頼度を直感的に把握でき、従来例と比較しても安全に車両を運転することができる。
【０１２７】
このように、本発明の第４の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつその変換画像において正確で歪みの少ない部分を明るく合成し、歪みが大きく距離が不正確な部分が暗く合成することにより、運転者が画像中の信頼性の高い部分と低い部分を直感的に把握できるようにした。これにより、信頼性の低い部分の方向に車両を速く動かすといった危険な運転が防止され、その結果、より安全な運転を促すことができる。
【０１２８】
なお、以上説明した第４の実施の形態では、算出された強度にしたがって画像の明るさのみを変化させたが、それ以外にも色づけなどを変化させても良い。また強度の小さな部分について灰色や白色を混ぜることで、霧のような効果を出すこともでき、この場合でも運転者が強度の少ない方向へ車を速く移動させることを防止できるので、安全な運転を促すことができる。
【０１２９】
（第５の実施の形態）
本発明の第５の実施の形態運転支援装置は、撮像手段で撮像された画像を撮像手段からの距離または高さを座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
【０１３０】
図２１は本発明の第５の実施の形態による運転支援装置のブロック図であり、図２２〜２６はその動作を説明するための図であり、図２７は探索処理を説明するためのフローチャートである。図２１において、図７と同じ符号が付されたブロック要素は図７のブロック要素と同じ構成および機能を有する。
【０１３１】
本実施の形態では、撮像手段1001、3001は魚眼レンズを有し、その撮像画像はレンズ歪み補正・距離−高さ・方向画像手段13005、13006にそれぞれ入力される。レンズ歪み補正・距離−高さ・方向画像手段13005、13006では、入力画像は図２２(1)に示されているように、撮像手段からの所定の距離Ｒmaxまでは路面に投影し、それ以遠は円筒に投影したと仮定し、図２２(b)に示されているように、このときの路面上の距離Ｒまたは円筒上の高さＨと方向θとで展開される座標の変換画像に変換される。
【０１３２】
このとき撮像画像にレンズ歪みや取り付け角による歪みなどが含まれていた場合、この歪み量を予め計測しておき変換時に同時に補正する。例えば、図２３(a)、(b)に示されている撮像画像図は、それぞれ同図(c)、(d)に示されているようになる。ここでは、前記路面上の所定の距離Ｒmax＝３００ｃｍであり、また、図２２(a)に示されているＲmin＝０ｃｍ、Ｈmax＝２００ｃｍである。
【０１３３】
エッジ抽出手段13007では、前記それぞれの変換画像について垂直方向に５画素離れた信号の差分をとる操作により、水平エッジを抽出する。図２４(a)、(b)にそれぞれレンズ歪み補正・距離−高さ・方向画像手段13005、13006の出力の変換画像の水平エッジが抽出された画像の様子を示す。ここで、図２４(a)が上方の撮像手段3001からのものであり、図２４(b)が他方のものである。図の中で破線14007で示されているように、垂直に近い斜めのエッジは弱められ、太い実線14008で示されているように、水平エッジは強調される。
【０１３４】
水平ブロックマッチング・距離推定手段13008は、このエッジ位置を走査線14001に従って走査し、エッジの極大点14002を検出すると、その極大点を中心とした縦横１０画素の範囲のブロック14003の画像信号を記憶する。
【０１３５】
次に、図２４(b)に示されているエッジ画像について、前記走査線14001と同じ水平位置の走査線14004上で、図２１に示されている探索範囲データ手段13012に従った範囲で、前記記憶したブロック14003と最も類似したデータを持つブロック14006を検出する。このとき、ブロック14006の中心点14005と前記エッジの極大点14002の垂直位置との差を変換画像上での視差データとして距離が推定される。
【０１３６】
このときの、探索範囲データ手段13012と、水平ブロックマッチング・距離推定手段13008の動作を、図２７のフロー図を基にしてさらに詳しく説明する。探索範囲データ手段13012には、ブロック14003の中心位置14002の垂直位置に対応したデータが格納されている。図２５(a)の点14013に示されているように、上方の撮像手段3001から見た点14002の位置が路面に対応している場合（点14002の位置が、図２４(a)のRmaxより下の場合）、路面上の点14013と撮像手段からの距離５０ｃｍの点14014とをそれぞれ下方の撮像手段1001で見たときの変換画像上（図２５(b)）での垂直位置14015、14016が探索範囲データ手段13012に記憶されている（ただし、このとき、路面上の点14013を下方の撮像手段1001で見たときの垂直位置14015は、両画像とも路面を仮定して変換画像を合成しているので点14002の垂直位置と同じになる。）。
【０１３７】
また、図２５(a)に示されているように、上方の撮像手段3001から見た点14002の位置が円筒に対応している場合（点14002の位置が、図２４(a)のRmaxより上の場合）、無限遠点14017と円筒上の点14018と撮像手段からの距離５０ｃｍの点14019とをそれぞれ下方の撮像手段1001で見たときの変換画像上での垂直位置14020、14021、14022が探索範囲データ手段13012に記憶されている（ただし、このときも、円筒上の点14018を下方の撮像手段1001で見たときの垂直位置14021は、両画像とも円筒を仮定して変換画像を合成しているので点14002の垂直位置と同じになる。）。
【０１３８】
これらの探索範囲データを元に、図２７に示されているフローに従って、探索処理が行われる。
【０１３９】
まず、点14002の位置が路面に対応するか円筒に対応するかを判断する（ステップＳ１）。
【０１４０】
そして、路面に対応すると判断した場合（ステップＳ１でYES）、まず垂直位置14015でブロックの信号の差の絶対値の集計（ＳＡＤ）を求め（ステップＳ２）、そのＳＡＤ値が閾値ＴＨよりも小さい場合（ステップＳ３でYES）、ブロックデータが一致したと判断し、この場合、点14002の水平エッジは路面上のエッジであるとの判断出力を行って処理を終わる（ステップＳ４）。前記ＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ３でNO）、垂直位置14015から14016の範囲でＳＡＤ値が最小となる位置を探索する（ステップＳ５）。最小となったＳＡＤ値が閾値ＴＨよりも小さい場合（ステップＳ６でYES）、その位置と点14002の垂直位置との差を視差データとして距離と路面からの高さが求まるので、それを出力して処理を終わる（ステップＳ７）。最小となったＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ６でNO）、一致する水平エッジが存在しないとの判断出力を行って処理を終わる（ステップＳ８）。
【０１４１】
円筒に対応すると判断した場合（ステップＳ１でNO）、まず垂直位置14020から14021までの範囲でＳＡＤ値の最小値を求め（ステップＳ9）、そのＳＡＤ値の最小値が閾値ＴＨよりも小さい場合（ステップＳ10でYES）、ブロックデータが一致したと判断し、この場合、点14002の水平エッジは円筒までの距離Ｒmaxより遠方であるとの判断出力を行って処理を終わる（ステップＳ11）。前記ＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ10でNO）、垂直位置14021から14022の範囲でＳＡＤ値が最小となる位置を探索する（ステップＳ12）。最小となったＳＡＤ値が閾値ＴＨよりも小さい場合（ステップＳ13でYES）、その位置と14002の垂直位置との差を視差データとして距離と路面からの高さが求まるので、それを出力して処理を終わる（ステップＳ14）。最小となったＳＡＤ値が閾値ＴＨよりも大きい場合（ステップＳ1３でNO）、一致する水平エッジが存在しないとの判断出力を行って処理を終わる（ステップＳ1５）。
【０１４２】
以上の処理フローによって、障害物と関係ない、路面上や遠方の水平エッジは、少ない処理で判断・除去でき、障害物に関係するエッジのみ多くの処理が発生するので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
【０１４３】
障害物境界手段13009では、図２７に示されているように、距離と高さが検出された水平エッジについて、その高さが２０ｃｍ以上のものを障害物のエッジと判断し、図２５(c)に示されているように、距離Ｒ’の場所に線を引き、その結果、水平エッジの集合は障害物境界を示す線14023となる。
【０１４４】
画像投影手段13010では、別途撮像手段3001の画像を基に直接上方仮想視点から見た画像が合成され、オーバーレイ手段13004では、図２５(c)に示されているように、画像投影手段13010から画像の上に、この障害物をオーバーレイ合成する。
【０１４５】
このオーバーレイ合成された画像が、表示手段3009に表示される。表示される画像は、図２５(c)に示されているように、バンパーのように地面から離れた障害物が存在しても実際の距離の位置に障害物境界の線が表示されるので、運転者はこれを見ることで安全に運転することができる。
【０１４６】
この実施の形態には以下の（１）〜（８）に記載したような利点がある。
（１）一度、距離・方向に展開した座標上に画像を変換するとき、撮像手段のレンズの歪みや撮像手段の取り付け角などの歪みを補正することができる。
【０１４７】
（２）２つの入力画像同士で直接視差を検出するときは、これらの歪みを別途勘案する必要があるが、これを省くことができる。
【０１４８】
（３）２つの撮像手段の視野角等が異なる場合も、同様にこの操作によってその違いの影響を吸収することができる。
【０１４９】
（４）また、図２２(a)に示されているように、路面に加えて円筒を仮定した変換画像を用いることで、撮像手段に対し高い位置にあるため路面投影画像では現れないような障害物も検出でき、表示画像上にその障害物境界線を表示することができる。
【０１５０】
（５）図２７に示されている処理フローによって、障害物と関係ない、路面上や遠方の水平エッジは、少ない処理で判断・除去でき、障害物に関係するエッジのみ多くの処理が発生するので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
【０１５１】
（６）探索範囲データ手段13012を設けることで、必要な範囲だけ探索できるので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
【０１５２】
（７）図２２(a)に示されているように、路面に加えて円筒を仮定した変換画像を用いることで、探索範囲データは水平エッジ14002の垂直位置のみで決定され、水平位置には依存しないので、そのメモリ量を非常に少なくすることができる。
【０１５３】
例えば、従来のように魚眼レンズを有する撮像手段の画像をそのまま用いてステレオマッチングを行う場合、その探索範囲は図２６に示されているように、画面の垂直位置と水平位置に依存した曲線14024、14025になってしまう。この曲線のデータを記憶するためには非常に多くのメモリを必要とする。本実施の形態では、このメモリを非常に少なくすることができ、かつ単純な構成で実現できる。
【０１５４】
（８）従来のステレオマッチングでは、この曲線の位置は、厳密には画素単位以下の精度を必要とするが、実際の探索におけるＳＡＤ値の算出においては、画素単位の位置精度でしか求めることができないので、この量子化ノイズが悪影響を及ぼす。本実施の形態では、その悪影響も回避することができる。
【０１５５】
図２８(a)〜(c)は、第５の実施の形態のバリエーションを説明するものである。図２２(a)、(b)に示されている路面と円筒の投影面の代わりに、図２８(a)、(b)に示されているように上方の撮像手段3001の位置を中心とした球面を投影面としてもよい。また、図２８(c)に示されているように、変換画像の横軸は必ずしも角度θでなくてもよく、関数Ｆ（θ）で圧縮したものでも良い。
【０１５６】
図２９(a)は、第５の実施の形態の別のバリエーションを説明するものである。ここで、上方の撮像手段3001の解像度は６４０ｘ４８０画素のものとし、ステレオマッチングにしか使用しない下方の撮像手段1001は３２０ｘ４８０画素とする。このことで、表示用の合成画像は高解像度で、かつ障害物境界は必要十分な精度で検出でき、撮像手段の構成を安価なものにできる。
【０１５７】
図２９(b)は、第５の実施の形態のさらに別のバリエーションを説明するものである。撮像手段3001、1001の同じ軸上に撮像手段18001を加え、障害物と検知されたエッジについて、さらに撮像手段18001の画像をもって検証することによって、ノイズを低減できるようにした。
【０１５８】
図２９(c)は、第５の実施の形態のさらに別のバリエーションを説明するものである。撮像手段3001、1001の軸上とは別位置に撮像手段18002を加えることによって、水平エッジ以外の垂直エッジも使用して障害物を検知することができるようにした。
【０１５９】
図３０(a)〜(c)は、第１〜第５の実施の形態において、上下２つのカメラで構成していたステレオ画像の撮像を１つのカメラで構成したものである。図３０(a)は、レンズ1904の前に複数の鏡1901〜1903を配置することにより、1つの撮像面1905上の左右に、それぞれ視差のあるステレオ画像を得るものである。また、図３０(b)は、２つの凸面鏡1906、1907をカメラ1908で撮像することによって、実質上、上下に視差のある画像を得るものである。そして、図３０(c)は、図３０(b)のカメラ1908で撮像される画像を示すもので、画面1909には、上に位置する凸面鏡1907で写した画像1910と、下に位置する凸面鏡1906で写した画像1911とが表示される。
【０１６０】
ここで、凸面鏡1906、1907の曲率を調節することによって、撮像範囲と撮像画像の解像度を調節することができる（垂直方向と水平方向を独立に調節することもできる）。
【０１６１】
また、図３０(b)では、凸面鏡1906と1907で撮像される角度の範囲はほぼ同じであるが、凸面鏡1906は凸面鏡1907に比較して曲率が大きく、小さな鏡で同じ範囲を撮像できるようになっており、このため、画面1909で画像1911は画像1910より小さく写っている。その結果、画像1910は高解像度であり、画像1911は比較的低解像度となる。画像1911は、視点変換の合成画像用に用いられ、画像1910はステレオ解析のみに用いられる。
【０１６２】
つまり、この合成によって、前述した図２９の第５の実施の形態の別のバリエーションで説明したものと同様に、表示用の合成画像は高解像度で、かつ障害物領域は必要十分な精度で検出でき、カメラおよび画像処理装置を安価なものにできる。
【０１６３】
以上図３０(a)〜(c)を用いて説明したように、第１〜第５の実施の形態において、上下２つのカメラで構成していたステレオ画像の撮像を凸面鏡や反射鏡を用いて、１つのカメラで構成してもよい。
【０１６４】
なお、上述した第１〜第５の実施の形態においては、本発明の運転支援装置は、主として、後方の画像を生成するものであるとして説明したが、これに限るものではなく、前方や側方での画像を生成するものとしても良い。
【０１６５】
また、上述した第１の実施の形態においては路面モデルを用いた仮想視点による画像合成を基にした例を説明し、第２の実施の形態においては路面モデルを用いた上方からの直交投影による画像合成を基にした例を説明したが、これはそれぞれ他方のものを基にしても良く、その場合でも本発明の運転支援装置の効果は変わりなく得られる。
【０１６６】
さらに、本実施の形態の運転支援装置の各手段の機能の全部または一部をコンピュータに実行させるプログラムを用いて実現できる。
【産業上の利用可能性】
【０１６７】
本発明の運転支援装置は、自動車の運転を支援する装置として最適である。
【符号の説明】
【０１６８】
1001 撮像手段
3001 撮像手段
3002 水平エッジ抽出手段
3003 水平エッジ抽出手段
3004 ブロック設定手段
3005 探索手段
3006 サブピクセル推定・信頼性判定手段
3007 ３Ｄマップ作成手段
3008 ３Ｄ画像合成手段
3009 表示手段
3010 デフォルト視差データ手段
3011 路面データ手段
3012 車両姿勢情報手段
3013 画像投影手段
3014 障害物エッジ距離手段
3015 障害物領域手段
3016 オーバーレイ手段
7013 画像投影手段
8001 画像投影手段
8002 画像投影手段
8003 障害物領域検出手段
8004 オーバーレイ手段
8005 レンズ歪み補正・距離・方向画像手段
8006 レンズ歪み補正・距離・方向画像手段
8007 エッジ比較手段
8008 距離推定手段
8009 障害物領域手段
8010 距離・方向・路面変換手段
10001 画像投影手段
10002 強度算出手段
10005 強度算出手段
10006 画像投影手段
10007 撮像手段
13004 オーバーレイ手段
13005 レンズ歪み補正・距離−高さ・方向画像手段
13006 レンズ歪み補正・距離−高さ・方向画像手段
13007 エッジ抽出手段
13008 ブロックマッチング・距離推定手段
13009 障害物境界手段
13012 探索範囲データ手段
【特許請求の範囲】
【請求項１】
撮像手段により撮像された路面を含む複数の画像から視差データを算出する算出手段と、前記撮像手段の入力画像から検出した視差と前記視差データとに基づいて、前記路面を含む画像における所定の位置が路面に存在するか路面より上に存在するか判定し、前記路面より上に存在する位置について前記撮像手段からの距離値を求め、前記路面より上に存在する位置に挟まれた領域を抽出する抽出手段と、前記領域を挟む前記路面より上に存在する位置の距離値を線形補間した値を、前記撮像手段から前記領域までの領域距離値とする設定手段と、を備える運転支援装置。
【請求項２】
前記抽出手段は、前記路面を含む画像における前記所定の位置のエッジが、前記視差データに一致する場合は前記所定の位置が路面に存在すると判定し、前記視差データに一致しない場合は前記所定の位置が路面より上に存在すると判定する、請求項１に記載の運転支援装置。
【請求項３】
前記抽出手段は、前記路面に存在する位置について、前記視差データに基づいて、前記撮像手段から前記路面に存在する位置までの３Ｄ距離値を設定する、請求項１に記載の運転支援装置。
【請求項４】
前記領域距離値と前記３Ｄ距離値とに基づいて、上方の仮想視点からの画像を合成する合成手段を、さらに、備える、請求項３に記載の運転支援装置。
【請求項５】
前記合成手段において合成された画像を表示する表示手段を、さらに、備える、請求項４に記載の運転支援装置。
【請求項１】
撮像手段により撮像された路面を含む複数の画像から視差データを算出する算出手段と、前記撮像手段の入力画像から検出した視差と前記視差データとに基づいて、前記路面を含む画像における所定の位置が路面に存在するか路面より上に存在するか判定し、前記路面より上に存在する位置について前記撮像手段からの距離値を求め、前記路面より上に存在する位置に挟まれた領域を抽出する抽出手段と、前記領域を挟む前記路面より上に存在する位置の距離値を線形補間した値を、前記撮像手段から前記領域までの領域距離値とする設定手段と、を備える運転支援装置。
【請求項２】
前記抽出手段は、前記路面を含む画像における前記所定の位置のエッジが、前記視差データに一致する場合は前記所定の位置が路面に存在すると判定し、前記視差データに一致しない場合は前記所定の位置が路面より上に存在すると判定する、請求項１に記載の運転支援装置。
【請求項３】
前記抽出手段は、前記路面に存在する位置について、前記視差データに基づいて、前記撮像手段から前記路面に存在する位置までの３Ｄ距離値を設定する、請求項１に記載の運転支援装置。
【請求項４】
前記領域距離値と前記３Ｄ距離値とに基づいて、上方の仮想視点からの画像を合成する合成手段を、さらに、備える、請求項３に記載の運転支援装置。
【請求項５】
前記合成手段において合成された画像を表示する表示手段を、さらに、備える、請求項４に記載の運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１２−１９５５２（Ｐ２０１２−１９５５２Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１１−２１５９９４（Ｐ２０１１−２１５９９４）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【分割の表示】特願２００１−２４４２７５（Ｐ２００１−２４４２７５）の分割
【原出願日】平成１３年８月１０日（２００１．８．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【分割の表示】特願２００１−２４４２７５（Ｐ２００１−２４４２７５）の分割
【原出願日】平成１３年８月１０日（２００１．８．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]