運転支援表示装置
【課題】車両後方、又は前方の、前、左右、及び下方向の広い範囲の撮像から表示において、目的に応じた視認性の高い被写体の形状表示、被写体と車両の方向性や位置関係の視認性向上、及び画面上で移動する被写体に対する目線の移動を容易にする運転支援表示装置を提供する。
【解決手段】車両前後方向、車両前後方向から垂直に下の方向、水平に左の方向、水平に右の方向、にそれぞれ垂直な平面上の正方形の被写体が、各方向に対応した領域内で同じ大きさの正方形又は長方形に表示される前方向補正画像表示領域４１−１と他の表示領域が隣接配置され、隣接付近の表示画像は一致し、水平な地面に垂直或いは車両左右方向の直線と一致する直線である。更に、左方向補正画像表示領域４１−３Ｌ、又は右方向補正画像表示領域４１−３Ｒの下辺と、下方向補正画像表示領域４１−２の左辺、又は右辺は同じ位置の車両前後方向直線と一致する直線である。
【解決手段】車両前後方向、車両前後方向から垂直に下の方向、水平に左の方向、水平に右の方向、にそれぞれ垂直な平面上の正方形の被写体が、各方向に対応した領域内で同じ大きさの正方形又は長方形に表示される前方向補正画像表示領域４１−１と他の表示領域が隣接配置され、隣接付近の表示画像は一致し、水平な地面に垂直或いは車両左右方向の直線と一致する直線である。更に、左方向補正画像表示領域４１−３Ｌ、又は右方向補正画像表示領域４１−３Ｒの下辺と、下方向補正画像表示領域４１−２の左辺、又は右辺は同じ位置の車両前後方向直線と一致する直線である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにて撮像した車両後方、又は前方の画像を処理して運転者に提示する運転支援表示装置に関する。
【背景技術】
【０００２】
車載カメラを車両のリアトランク部等、またはフロントグリル等に設置し、この車載カメラで撮像した画像を運転者に提示することで、車両後方または前方の様子を運転者に知らせる運転支援表示装置が普及している。
【０００３】
そしてその撮像表示範囲はより広い範囲が求められている。
【０００４】
これを実現するために、複数の車載カメラを用いた撮像や広角のレンズを用いた撮像、そして撮像された広い範囲の画像を限られた表示領域に表示する方法まで様々である。
【０００５】
このような運転支援表示装置の中で広角のレンズを用いた撮像を示す例として特許文献１が挙げられる。
【０００６】
前記特許文献１では図５７のように広角のレンズで撮像した場合の撮像画像が示されている。ここに示される被写体として、１０１−１は車載カメラを横切る地面上の横直線、１０１−２は建物による地面からの垂直線と見なすことができる。
【０００７】
広角な撮像画像の補正処理を示す例としては特許文献２が挙げられる。
【０００８】
前記特許文献２では図５８のように全周囲の撮像画像を、メルカトール図法で展開した全周囲補正画像が示されている。図５８から仮に水平方向でおよそ１８０°相当の範囲を切り出した場合を図５９、図６０に示す。図５９、図６０に示される、１０２−２−１は建物による地面からの垂直線と見なすことができる。また図５９の１０２−２−２は、車載カメラの手前から奥の方向に平行な横断歩道の縦縞模様、図６０の１０２−３−１は、車載カメラを横切る地面上の横直線と見なすことができる。
【０００９】
複数の車載カメラを用いた撮像と、その画像表示を示す例として特許文献３が挙げられる。
【００１０】
前記特許文献３では図６１のように、３つの車載カメラで撮像された画像のうち、後方左を撮像するアングルに取り付けられた車載カメラからの画像を後方左画像表示領域７１に、後方右を撮像するアングルに取り付けられた車載カメラからの画像を後方右画像表示領域７２に、直後方を撮像するアングルに取り付けられた車載カメラからの画像を直後方画像表示領域７３に、表示する画像が示されている。
【００１１】
これらの画像配置では、後方左画像表示領域７１及び後方右画像表示領域７２が、直後方画像表示領域７３の上辺に覆われるように置かれている。
【００１２】
そして、図６１の状態３から状態５のように、車両を横切る移動体Ｔの位置が後方左画像表示領域７１から直後方画像表示領域７３へ移るのに対応して、直後方画像表示領域７３において、後方左画像表示領域７１における移動軌跡Ｆに連なる向きである直後方画像表示領域７３の補助画像案内軌跡Ｆ'上に補助画像Ｍ'を出現させることで、断絶感の和らげと直後方画像表示領域７３への目の導きを図っている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２２１７６号公報
【特許文献２】特開２００８−５４７８号公報
【特許文献３】特開２００８−２５８８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、前記従来の特許文献１のように広角のレンズで撮像を行った場合、本来直線である１０１−１や１０１−２の被写体が、レンズの光軸に対する角度の関係次第で、目で見て明らかに曲がって撮像されるため、撮像された画像をそのまま表示した場合、１０１−１が横向きあるのか、１０１−２が垂直であるのか、或いは直線であるのか視認しにくいという課題を有していた。
【００１５】
このような画像を視認しやすい画像にする手段として特許文献２に示される、画像補正方法が考えられる。
【００１６】
この補正方法では前記垂直な被写体は１０２−２−１のように、表示画像上で垂直な直線になって表示されるので垂直な被写体の視認性は高い。
【００１７】
しかし、地面の１０２−３−１においては１０１−１と同等に曲がっており、正面付近は横方向に表示され、尚かつ左右の遠い位置では縦向きに近い傾きで表示されているので、１０２−３−１が全体に渡って横向きなのか、或いは直線であるのか、前記特許文献１同様に視認しにくい。
【００１８】
また運転支援の用途では車両との位置関係を視認させるために、バンパー等の車体端部を画像の下側に映り込ませる場合があるが、その場合においても同様の曲がり方となるので、バンパー等の車体端部であることも視認しにくい。
【００１９】
１０２−２−２においては横断歩道の撮像位置から前後方向の模様について、これは特に撮像位置に近い位置に相当するものであり、この位置において前後方向の直線が明らかに左右外側に広がるように曲がっているので、運転支援として自己の車幅や車両の進行方向との関係をも視認しにくいという課題を有していた。
【００２０】
一方で、広角でないレンズによる撮像であれば、前記特許文献２のような画像補正を行わずとも直線の被写体が明らかに曲がることなく撮像は可能である。その場合に前記の通り特許文献３のような表示例があるが、移動体Ｔが後方左画像表示領域７１から直後方画像表示領域７３に移動する際に、後方左画像表示領域７１の右側に有る目線から後方左画像表示領域７１上での移動体Ｔの移動方向とは逆方向となる直後方画像表示領域７３の左側である画像出現位置Ｑへ目線を移動させなければならない。
【００２１】
補助画像Ｍ'の表示により直後方画像表示領域７３への目線の移動を誘導してはいるものの、完全に画像出現位置Ｑへの誘導ではないことや、画像出現位置Ｑへの目線の移動方向や移動幅は変わらないことから頭の中で位置関係を考える時間が残り、車両操作が滞る可能性があるという課題と共に直後方を撮像するアングルにおいて広角でないレンズでは、直後方と大きな角度差となるバンパー等の車体端部を映り込ませ、表示させることは困難であるという課題を有していた。
【００２２】
本発明は、上記課題を解決するために、車両後方、又は前方の、前、左右、及び下方向の広い範囲の撮像から表示において、目的に応じた視認性の高い被写体の形状表示、被写体と車両の方向性や位置関係の視認性向上、及び画面上で移動する被写体に対する目線の移動が容易な運転支援表示装置を提供することを目的とする。
【課題を解決するための手段】
【００２３】
前記従来の課題を解決するため、本発明の運転支援表示装置は、車両後方、又は前方の、前、左右、及び下方向の広い範囲を同じ位置から撮像する１つ又は複数の撮像手段と、前記撮像手段で撮像された画像を補正した補正画像を任意の補正画像表示領域に分割配置し、分割配置された前記補正画像と任意の表示位置にマスク描画を合成する画像処理手段と、前記画像処理手段によって処理された処理画像を表示する画像表示手段と、を備えることとし、前記画像処理手段は、水平な地面に平行な車両前後方向に平行な前方向仮想視線に対して垂直な前方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記前方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する前方向補正画像と、前記車両前後方向から水平に左０°を超え９０°未満の左方向仮想視線に対して垂直な左方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記左方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する左方向補正画像と、前記車両前後方向から水平に右０°を超え９０°未満の右方向仮想視線に対して垂直な右方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記右方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する右方向補正画像と、前記車両前後方向から垂直に下０°を超え９０°以内の下方向仮想視線に対して垂直な下方向平面上であって車両左右方向に平行な直線と前記車両左右方向に平行な直線に直角な直線とからなる正方形の升目を撮像した場合に、前記平行直角からなる正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する下方向補正画像と、を生成し、前記前方向補正画像を前方向補正画像表示領域に、前記左方向補正画像を左方向補正画像表示領域に、前記右方向補正画像を右方向補正画像表示領域に、前記下方向補正画像を下方向補正画像表示領域に、表示するものであって、前記前方向補正画像表示領域の形状における、左辺及び右辺は表示される画像上で垂直な直線であり、下辺は表示される画像上で水平な直線であり、前記左方向補正画像表示領域の形状における、右辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、前記右方向補正画像表示領域の形状における、左辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、前記下方向補正画像表示領域の形状における、上辺は表示される画像上で水平で撮像位置よりも前側で前記地面に水平な車両左右方向に平行な前記地面上の直線と一致する直線であり、左辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、右辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、前記前方向補正画像表示領域の左辺と前記左方向補正画像表示領域の右辺、前記前方向補正画像表示領域の右辺と前記右方向補正画像表示領域の左辺、前記前方向補正画像表示領域の下辺と前記下方向補正画像表示領域の上辺、はそれぞれ互いに隣接するように配置され、３つの隣接する辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、用途に応じて前記４つの補正画像表示領域の関係を維持した画像全体を左右で反転することとし、３つの隣接する辺には線又は点線による任意色のマスク描画と、前記４つの補正画像表示領域以外の隙間を任意色で埋めたマスク描画することとした。
【００２４】
この構成によって、車両後方、又は前方の前、左右、及び下方向の広い範囲の撮像画像について、まず、全ての範囲が同時に表示させることができる。
【００２５】
また、それぞれの補正画像表示領域に表示される画像は、車両前後方向を基準にした左方向、右方向、及び下方向に垂直な平面上の被写体の変形が抑えられた画像に補正させることができる。
【００２６】
また、それぞれの表示領域を実際の方向と類似した関係で表示することができる。
【００２７】
また、前方向と左方向、右方向、又は下方向とを移動する被写体は途切れることなく連続的に表示させることができる。
【００２８】
また、それぞれの補正画像表示領域に表示される直線の被写体は全て直線で表示させることができる。
【００２９】
また、前、左右方向の前記地面に垂直な直線の被写体は、前方向、左方向、又は右方向の補正画像表示領域において垂直な直線で表示させることができる。
【００３０】
また、前、下方向の前記地面に水平で車両左右方向に平行な直線の被写体は、前方向、又は下方向の補正画像表示領域において水平な直線で表示させることができる。
【００３１】
また、下方向補正画像表示領域の左辺及び右辺と、左方向及び右方向補正画像表示領域の下辺の形状によって、前記地面上の車両前後方向を表現することができる。
【００３２】
また、隣接した各表示領域の境界を表示することができる。
【００３３】
また、本発明の運転支援表示装置は、前記左方向補正画像表示領域または前記右方向補正画像表示領域の下辺と一致する前記車両前後方向に平行な前記地面上の直線について、前記前方向補正画像表示領域で表示される画像上の傾きと、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される画像上の傾きを比較して、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される傾きの方が水平方向に近くなるよう、左方向仮想視線及び右方向仮想視線の角度の調節、又は左方向平面及び右方向平面上の正方形の升目の表示形状が水平方向に引き伸ばされる調節、をすることとした。
【００３４】
この構成によって、左方向、又は右方向補正画像表示領域に表示される、撮像の高さ以外の車両前後方向の直線は、表示される画像上での傾きを残しつつもその傾きを軽減させることができる。
【００３５】
また、本発明の運転支援表示装置は、前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、なるように表示することとした。
【００３６】
この構成によって、前方向補正画像表示領域の地平線は表示される画像上で水平であるのに対して、左方向補正画像表示領域の地平線は表示される画像上で左下がり、右方向補正画像表示領域の地平線は表示される画像上で右下がり、とすることができる。
【００３７】
また、本発明の運転支援表示装置は、前記左方向補正画像表示領域の下辺と前記下方向補正画像表示領域の左辺、前記右方向補正画像表示領域の下辺と前記下方向補正画像表示領域の右辺、はそれぞれ互いに隣接するように、尚かつそれぞれ互いに隣接させた２つの辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、それぞれ互いに隣接させた２つの辺には線又は点線による任意色のマスク描画することとした。
【００３８】
この構成によって、左方向と下方向、又は右方向と下方向とを移動する被写体も途切れることなく連続的に表示させることができる。
【００３９】
また、本発明の運転支援表示装置は、前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、なるように表示することとした。
【００４０】
この構成によって、下方向補正画像表示領域における若干の縦引き伸ばしに止めながら、前方向補正画像表示領域の地平線は表示される画像上で水平であるのに対して、左方向補正画像表示領域の地平線は表示される画像上で左下がり、右方向補正画像表示領域の地平線は表示される画像上で右下がり、とすることができる。
【００４１】
また、本発明の運転支援表示装置は、前記下方向補正画像表示領域の左辺または右辺と一致する、又は前記左方向補正画像表示領域又は前記右方向補正画像表示領域の下辺と一致する、前記車両前後方向に平行な前記地面上の車両前後方向直線と、前記下方向補正画像表示領域の上辺と一致する、又は前記前方向補正画像表示領域の下辺と一致する、前記車両左右方向に平行な前記地面上の車両左右方向直線との交点は、撮像位置真下の前記地面上の撮像原点を通り車両がハンドルを最大に切って曲がった場合に通過する前記地面上の車両通過範囲の最も内側の円と接する接線付近とすることとした。
【００４２】
この構成によって、垂直な立体物が垂直に表示されることに加え、車両通過範囲の最も内側の円は、前方向補正画像表示領域と左方向補正画像表示領域、又は右方向補正画像表示領域との関係において、主に左方向補正画像表示領域、又は右方向補正画像表示領域に位置すると共に、前方向補正画像表示領域と左方向補正画像表示領域、又は右方向補正画像表示領域の境界に接するような位置関係とすることができる。
【発明の効果】
【００４３】
以上のように、本発明の運転支援表示装置よれば、前、左右、及び下方向の広い範囲が欠落無く表示され、画像全体が実際の目線に近い形状や配置で表示され、尚かつ遠方である水平線が３つの表示領域に渡って水平に表示され、至近距離から遠方の範囲の被写体まで１ヶ所から見渡したかの如く画像全体を視認しやすい。
【００４４】
また、前後方向、又は一定以上の離れた距離の左右方向を移動する被写体は途切れや段差なく表示されるので、運転支援に有効な左右方向もしくは前後方向の目線の移動が容易になる。
【００４５】
また、直線の被写体は各表示領域内では全て直線で表示されるので、方向性を視認しやすい上に、左右の見渡しに相当する画像において前記地面に対して垂直な直線が垂直に表示されるので、運転支援に有効な前記地面と障害物の上下関係の視認性を向上させ、上下の見渡しに相当する画像において車両の真横方向の直線が水平に表示されるので、バンパー等の変形が抑えられた車両端部の表示と合わせて横方向に対する車両方向関係の視認性を向上させ、更に表示領域の辺の形状と合わせることで、運転支援に有効な車両の前後方向の視認性をも向上させる。
【００４６】
隣接した各表示領域の境界部分の直線は折れているが、マスク描画によってその境界を視認できるので各表示領域別に視線が異なることを視認できる。
【００４７】
また、本発明の運転支援表示装置よれば、左方向及び右方向補正画像表示領域に表示される前記地面上の車両前後方向直線は、遠い位置ほど地平線に近くなるような傾きが残っているので車両前後方向である奥行きの視認性は保持されるが、被写体の車両前後方向の像の傾きも軽減されることになるので実際の目線の見え方に近づけることができ、被写体の視認性が向上する。
【００４８】
また、本発明の運転支援表示装置よれば、近くに立体物が無く模様の無い無限の前記地面を撮像した場合であっても、地平線が表示される画像上で視認できる程度の山なりの表示となるので、前方向補正画像表示領域が前方向を、左方向補正画像表示領域が左方向を、右方向補正画像表示領域が右方向を表示していると視認することができる。
【００４９】
また、本発明の運転支援表示装置よれば、左右方向から下方向においても途切れや段差無く表示されるので、表示される画像全体の位置関係を更に視認しやすくなり、尚かつ画面上で移動する被写体に対する目線の移動が表示される画像全体に渡って容易になる。
【００５０】
また、本発明の運転支援表示装置よれば、下方向補正画像表示領域が左方向及び右方向補正画像表示領域に繋がっている場合であっても、下方向補正画像表示領域の視認性に影響無く前方向補正画像表示領域が前方向を、左方向補正画像表示領域が左方向を、右方向補正画像表示領域が右方向を表示していると視認することができる。
【００５１】
また、本発明の運転支援表示装置よれば、左方向、又は右方向の補正画像表示領域と前方向補正画像表示領域の境界を示す直線のマスク描画が、ハンドルを最大に切って曲がった場合に立体物と接触するか否かの目安線にもなり、車庫入れ等の車の移動と障害物の位置関係の視認性が向上する。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態１、２、３、４、５、６における運転支援表示装置の概略構成図
【図２】本発明の実施の形態１、２、３、４、５、６における運転支援表示装置の概略構成図
【図３】本発明の実施の形態１、２、３、４、５、６における運転支援表示装置の概略構成図
【図４】自車両に対する車載カメラの詳細な搭載状態を示す図
【図５】自車両に対する車載カメラの詳細な搭載状態を示す図
【図６】車載カメラ２の撮像する被写体を示す図
【図７】車載カメラ２の撮像する被写体を示す図
【図８】車載カメラ２の撮像する被写体を示す図
【図９】車載カメラ２の撮像する被写体を示す図
【図１０】車載カメラ２の撮像する被写体を示す図
【図１１】車載カメラ２の撮像する被写体を示す図
【図１２】車載カメラ２の撮像する被写体を示す図
【図１３】車載カメラ２の撮像する被写体を示す図
【図１４】車両通過範囲との位置関係を示す図
【図１５】撮像画像
【図１６】本発明の実施の形態１における処理後の表示画像
【図１７】本発明の実施の形態１における処理後の表示画像
【図１８】本発明の実施の形態１における処理後の表示画像
【図１９】本発明の実施の形態１における処理後の表示画像
【図２０】本発明の実施の形態１における処理後の表示画像
【図２１】本発明の実施の形態１における処理後の表示画像
【図２２】本発明の実施の形態１における処理後の表示画像
【図２３】本発明の実施の形態１における処理後の表示画像
【図２４】本発明の実施の形態１における処理後の表示画像
【図２５】本発明の実施の形態１における処理後の表示画像
【図２６】撮像画像
【図２７】本発明の実施の形態１における処理対象外の表示画像
【図２８】本発明の実施の形態１における処理対象外の表示画像
【図２９】本発明の実施の形態１における処理対象外の表示画像
【図３０】撮像画像
【図３１】本発明の実施の形態１における処理対象外の表示画像
【図３２】本発明の実施の形態１における処理対象外の表示画像
【図３３】本発明の実施の形態１における処理対象外の表示画像
【図３４】撮像画像
【図３５】本発明の実施の形態２における処理後の表示画像
【図３６】本発明の実施の形態２における処理後の表示画像
【図３７】本発明の実施の形態２における処理後の表示画像
【図３８】本発明の実施の形態２における処理後の表示画像
【図３９】本発明の実施の形態２、６における処理後の表示画像
【図４０】本発明の実施の形態３における処理後の表示画像
【図４１】本発明の実施の形態３における処理後の表示画像
【図４２】本発明の実施の形態３における処理後の表示画像
【図４３】本発明の実施の形態３における処理後の表示画像
【図４４】撮像画像
【図４５】本発明の実施の形態４における処理後の表示画像
【図４６】本発明の実施の形態４における処理後の表示画像
【図４７】本発明の実施の形態４における処理後の表示画像
【図４８】本発明の実施の形態４における処理後の表示画像
【図４９】本発明の実施の形態４における処理後の表示画像
【図５０】本発明の実施の形態４における処理後の表示画像
【図５１】本発明の実施の形態４における処理後の表示画像
【図５２】本発明の実施の形態５における処理後の表示画像
【図５３】本発明の実施の形態５における処理後の表示画像
【図５４】本発明の実施の形態５における処理後の表示画像
【図５５】本発明の実施の形態５における処理後の表示画像
【図５６】本発明の実施の形態２、６における処理後の表示画像
【図５７】広角のレンズで撮像した場合の撮像画像
【図５８】メルカトール図法で展開した全周囲補正画像
【図５９】全周囲補正画像からの切り出した補正画像
【図６０】全周囲補正画像からの切り出した補正画像
【図６１】従来の表示画像
【発明を実施するための形態】
【００５３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００５４】
（実施の形態１）
図１は本発明の実施の形態１における構成図である。
【００５５】
図１において、１は運転支援表示装置が搭載される自車両であり、２は広い範囲を撮像する広角のレンズを使用した１つの車載カメラであり、３は車載カメラ２で撮像された画像を補正した補正画像を、任意の補正画像表示領域に分割配置し、任意の表示位置にマスク描画する画像処理部であり車載カメラ２に内蔵されている。
【００５６】
４は画像処理部３によって処理された画像を表示するモニタである。
【００５７】
尚、画像処理部３は図２に示されるようにモニタ４に内蔵される構成や、図３に示されるように画像処理装置５に内蔵される構成の何れであっても良い。
【００５８】
また、広角のレンズを使用しない車載カメラを使用する場合には、図３に示されるように複数の車載カメラ２−１から２−ｎを使用した構成であっても良い。
【００５９】
ただしこの場合は、補正後の画像の繋がりの関係に相違が出る可能性があるので、表示される画像にてその相違が目立たないところまで車載カメラ同士を近づけられるものとする。
【００６０】
図１〜３は、車載カメラ２が車両の後方に搭載された図であるが、車両の前方に搭載しても良い。本発明の実施の形態１及び以降の実施の形態では車両後方に搭載することとする。
【００６１】
図４、及び図５は自車両１に対する車載カメラ２の詳細な搭載状態を示している。
【００６２】
図４については自車両１を上から見た図である。
【００６３】
以降地面は水平であることとし、１０は自車両１の後方側のバンパーであり、ｙは地面と平行で自車両１の前後方向を示すと共に自車両１の左右方向の中心とするｙ軸である。
【００６４】
ｘは地面と平行で自車両１の左右方向を示すと共に自車両１の最後尾であるバンパー端に位置するｘ軸である。
【００６５】
６はｙ軸とｘ軸が交差する点であり車両原点とする。
【００６６】
車載カメラ２はｙ軸上に配置されているものとする。
【００６７】
図５については自車両１を横から見た図である。
【００６８】
ｙは図４と同一のｙ軸である。
【００６９】
ｚは地面と垂直で自車両１の最後尾であるバンパー端に位置するｚ軸であり、図４と同一の車両原点６と交差する。
【００７０】
７は車載カメラ２のレンズの光軸であり、ｙ軸とのなす角は４０°とする。
【００７１】
３０は撮像位置を示す撮像原点であり、車載カメラ２の撮像位置は車両原点６よりｙ軸方向−０．１ｍ，ｚ軸方向０．９ｍとする。
【００７２】
また、最後尾であるバンパー端のｚ軸方向は０．６ｍとする。
【００７３】
尚、これらの角度や位置関係は１つの例であり、実際は車両の種類によって様々に異なる。
【００７４】
図６、図７、図９、及び図１３は車両原点６を基準にした車載カメラ２が撮像する被写体を示す。
【００７５】
図６において、２１−１はｙ軸に平行な前方向仮想視線であり、２１−２は前方向仮想視線２１−１に垂直でｙ軸方向１．２ｍに位置する前方向平面であり、２１は、前方向平面２１−２上にあって、０．５ｍの均等間隔で地面に対して平行直角な正方形となる、図に示される範囲の前方向平面上の升目であり、２１Ｇは前方向平面上の升目２１に含まれる地面上の車両左右方向直線であり、２１Ｌは前方向平面上の升目２１に含まれ、車両原点６よりｘ軸方向１．５ｍに位置する垂直線であり、２１Ｒは前方向平面上の升目２１に含まれ、車両原点６よりｘ軸方向−１．５ｍに位置する垂直線である。
【００７６】
図７において、２１Ｇは図６における車両左右方向直線２１Ｇと同一であり、２２−１−１はｙ軸から下９０°の方向となる下方向仮想視線であり、２２−１−２は下方向仮想視線２２−１−１に垂直で地面上に位置する下方向平面であり、２２−１は、下方向平面２２−１−２上にあって、０．５ｍの均等間隔で車両左右方向直線２１Ｇに対して平行直角な正方形となる、図に示される範囲の下方向平面上の升目と、車両左右方向直線２１Ｇと、車載カメラ２の真下に相当するｘ軸と平行な地面上の直線とからなる下方向平面上の升目である。
【００７７】
図９において、２１Ｌは図６における垂直線２１Ｌと同一であり、２１Ｒは図６における垂直線２１Ｒと同一であり、２３−１−１Ｌはｙ軸から左４５°の方向となる左方向仮想視線であり、２３−１−２Ｌは左方向仮想視線２３−１−１Ｌに垂直で車両原点６よりｘ軸方向１．５ｍ、ｙ軸方向１．２ｍを通る左方向平面であり、２３−１Ｌは、左方向平面２３−１−２Ｌ上にあって、０．５ｍの均等間隔で地面に対して平行直角な正方形であり、垂直線２１Ｌが含まれる図に示される範囲の左方向平面上の升目であり、２３−１−１Ｒはｙ軸から右４５°の方向となる右方向仮想視線であり、２３−１−２Ｒは右方向仮想視線２３−１−１Ｒに垂直で車両原点６よりｘ軸方向−１．５ｍ、ｙ軸方向１．２ｍを通る右方向平面であり、２３−１Ｒは、右方向平面２３−１−２Ｒ上にあって、０．５ｍの均等間隔で地面に対して平行直角な正方形であり、垂直線２１Ｒが含まれる図に示される範囲の右方向平面上の升目である。
【００７８】
図１３において、２４は、ｙ軸方向−０．１ｍ、及び０ｍから３．５ｍまで０．５ｍ間隔でｘ軸に平行な無限の直線９本と、ｘ軸方向１０ｍ、−１０ｍ、０ｍから±２．５ｍまで０．５ｍ間隔でｙ軸に平行でｙ軸正方向無限の直線１３本からなる地面上の直線であり、２４−１５Ｌは地面上の直線２４に含まれ、ｘ軸方向１．５ｍに位置する車両前後方向直線であり、２４−１５Ｒは地面上の直線２４に含まれ、ｘ軸方向−１．５ｍに位置する車両前後方向直線である。
【００７９】
図１５は画像処理を行う前の撮像画像である。
【００８０】
図４、及び図５に示される搭載状態にて、図６、図７、及び図９に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−１Ｌ、及び右方向平面上の升目２３−１Ｒと、地平線８を同時に撮像した場合、図１５のように撮像されるものとする。
【００８１】
９はイメージサークルであり、レンズ光軸から９０°の方向までが撮像されているものとする。
【００８２】
広角なレンズで撮像した場合、イメージサークル内に示される各線の様に本来直線である被写体が様々に曲がって撮像される。
【００８３】
次に画像処理部３の処理について説明する。
【００８４】
図１６から図２５は、撮像された画像が画像処理部３によって同一処理され、モニタ４によって表示された表示画像である。
【００８５】
通常、車両後方の撮像画像の表示は画像全体を左右反転した鏡像を表示するのが一般的であるが、本発明の実施の形態１及び以降の実施の形態では、撮像画像や表示画像の左右の関係を容易に説明するために、全て左右反転をしない画像を例にすることとする。
【００８６】
図１６はモニタ４の表示範囲に対する画像処理部３の処理後の画像配置を示すものである。
【００８７】
４１−１は表示範囲の中央上側に配置された前方向補正画像表示領域であり、４１−２は前方向補正画像表示領域４１−１の下に配置された下方向補正画像表示領域であり、４１−３Ｌは前方向補正画像表示領域４１−１の左に配置された左方向補正画像表示領域であり、４１−３Ｒは前方向補正画像表示領域４１−１の右に配置された右方向補正画像表示領域であり、４１−４は前方向補正画像表示領域４１−１と下方向補正画像表示領域４１−２が隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４１−５Ｌは前方向補正画像表示領域４１−１と左方向補正画像表示領域４１−３Ｌが隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４１−５Ｒは前方向補正画像表示領域４１−１と右方向補正画像表示領域４１−３Ｒが隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４１−６Ｌ、４１−６Ｒ、４１−７Ｌ、及び４１−７Ｒは前方向補正画像表示領域４１−１、下方向補正画像表示領域４１−２、左方向補正画像表示領域４１−３Ｌ、及び右方向補正画像表示領域４１−３Ｒ以外の表示領域に任意色が常に表示されるようにした面マスク描画である。
【００８８】
図１７は図１６の配置にて図１５の撮像画像を処理した画像である。
【００８９】
図１７における、前方向補正画像表示領域４１−１に表示する画像は、被写体が前方向平面上の升目２１であった場合に、表示上で水平垂直な正方形でそれぞれの正方形の大きさが同じになるよう補正している。
【００９０】
尚、表示する升目は長方形となるような補正としても良い。
【００９１】
また、前方向補正画像表示領域４１−１における、下辺は車両左右方向直線２１Ｇと、左辺は垂直線２１Ｌと、右辺は垂直線２１Ｒと一致させている。
【００９２】
下方向補正画像表示領域４１−２に表示する画像は、被写体が下方向平面上の升目２２−１のうちの正方形の升目であった場合に、表示上で水平垂直な正方形でそれぞれの正方形の大きさが同じになるよう補正している。
【００９３】
尚、表示する升目は長方形となるような補正としても良い。
【００９４】
また、下方向補正画像表示領域４１−２における、上辺は、車両左右方向直線２１Ｇと一致させ、前方向補正画像表示領域４１−１の下辺の配置と隣接させ、ｘ軸方向の位置が前方向補正画像表示領域４１−１における下辺の車両左右方向直線２１Ｇのｘ軸方向の位置と一致させている。
【００９５】
また、下方向補正画像表示領域４１−２における、左辺は垂直線２１Ｌとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｌと一致させている。
【００９６】
また、下方向補正画像表示領域４１−２における、右辺は垂直線２１Ｒとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｒと一致させている。
【００９７】
尚、下方向補正画像表示領域４１−２における下辺は、撮像位置であるｙ軸方向−０．１ｍと一致させているが、ｙ軸方向でどこまでを表示させるかは任意である。
【００９８】
左方向補正画像表示領域４１−３Ｌに表示する画像は、被写体が左方向平面上の升目２３−１Ｌであった場合に、表示上で水平垂直な縦長の長方形でそれぞれの縦長の長方形の大きさが同じになるよう補正している。
【００９９】
左方向平面上の升目２３−１Ｌが左方向平面上で無限に続く正方形の升目であった場合は、左方向補正画像表示領域４１−３Ｌ全体に渡って長方形の升目が表示されるよう補正している。
【０１００】
尚、表示する升目は正方形、横長の長方形となるような補正としても良い。
【０１０１】
また、左方向補正画像表示領域４１−３Ｌにおける、右辺は、垂直線２１Ｌと一致させ、前方向補正画像表示領域４１−１の左辺の配置と隣接させ、ｚ軸方向の位置が前方向補正画像表示領域４１−１における左辺の垂直線２１Ｌのｚ軸方向の位置と一致させている。
【０１０２】
また、左方向補正画像表示領域４１−３Ｌにおける、下辺は垂直線２１Ｌとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｌと一致させている。
【０１０３】
尚、左方向補正画像表示領域４１−３Ｌにおける、左上の左下がりの辺は、イメージサークル９であり、この辺より左上には画像が撮像されない。そのために面マスク描画４１−７Ｌと共に斜めの形状となっているが、搭載状態やレンズの特性によって撮像できていればこの辺は不要である。
【０１０４】
また、左方向補正画像表示領域４１−３Ｌにおける左辺は、撮像位置であるｙ軸方向−０．１ｍと一致させているが、ｙ軸方向でどこまでを表示させるかは任意である。
【０１０５】
右方向補正画像表示領域４１−３Ｒに表示する画像は、被写体が右方向平面上の升目２３−１Ｒであった場合に、表示上で水平垂直な縦長の長方形でそれぞれの縦長の長方形の大きさが同じになるよう補正している。
【０１０６】
右方向平面上の升目２３−１Ｒが右方向平面上で無限に続く正方形の升目であった場合は、右方向補正画像表示領域４１−３Ｒ全体に渡って長方形の升目が表示されるよう補正している。尚、表示する升目は正方形、横長の長方形となるような補正としても良い。
【０１０７】
また、右方向補正画像表示領域４１−３Ｒにおける、左辺は、垂直線２１Ｒと一致させ、前方向補正画像表示領域４１−１の右辺の配置と隣接させ、ｚ軸方向の位置が前方向補正画像表示領域４１−１における右辺の垂直線２１Ｒのｚ軸方向の位置と一致させている。
【０１０８】
右方向補正画像表示領域４１−３Ｒにおける、下辺は垂直線２１Ｒとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｒと一致させている。
【０１０９】
尚、右方向補正画像表示領域４１−３Ｒにおける、右上の右下がりの辺は、イメージサークル９であり、この辺より右上には画像が撮像されない。そのために面マスク描画４１−７Ｒと共に斜めの形状となっているが、搭載状態やレンズの特性によって撮像できていればこの辺は不要である。
【０１１０】
また、右方向補正画像表示領域４１−３Ｒにおける右辺は、撮像位置であるｙ軸方向−０．１ｍと一致させているが、ｙ軸方向でどこまでを表示させるかは任意である。
【０１１１】
以上の様な画像処理部３の処理にて、図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は、図１８のように表示される。
【０１１２】
地面上の直線２４と地平線８と自車両１のバンパー１０に加え、１辺が１．５ｍの正六面体で地面上に存在する直方体１１を同時に撮像した場合で、直方体１１がｙ軸方向１．５ｍ、ｘ軸方向１０ｍに位置する時、図１９のように表示され、直方体１１がｙ軸方向１．５ｍ、ｘ軸方向２．５ｍに位置する時、図２０のように表示され、直方体１１がｙ軸方向１．５ｍ、ｘ軸方向１．０ｍに位置する時、図２１のように表示され、直方体１１がｙ軸方向３．５ｍ、ｘ軸方向２．５ｍに位置する時、図２２のように表示され、直方体１１がｙ軸方向２．５ｍ、ｘ軸方向２．５ｍに位置する時、図２３のように表示され、直方体１１がｙ軸方向０．５ｍ、ｘ軸方向２．５ｍに位置する時、図２４のように表示される。
【０１１３】
地面上の直線２４と地平線８と自車両１のバンパー１０に加え、地面上に存在し幅０．５ｍ、奥行き０．１ｍ、高さ０．１ｍの直方体であって、ｘ軸方向０．５ｍと−０．５ｍの２ヶ所に位置し、ｙ軸方向１．５ｍに位置する直方体１２−１と、ｙ軸方向１．１ｍに位置する直方体１２−２と、ｙ軸方向０．５ｍに位置する直方体１２−３とを同時に撮像した場合は図２５のように表示される。
【０１１４】
図１５と図１７とを比較してわかるように、前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒが正方形又は長方形に表示されることから、処理画像は車両前後方向であるｙ軸を基準に０°、左右４５°、真下９０°の仮想的な目線に近い形状で変換されている。
【０１１５】
そして実際の目線の見え方と似た配置関係に前方向補正画像表示領域４１−１、下方向補正画像表示領域４１−２、左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒがある。
【０１１６】
これらは図１８から図２５に表示された地面上の直線２４、地平線８、バンパー１０、各位置にある直方体１１、直方体１２−１１から直方体１２−３の表示位置や形状から見ても明らかである。
【０１１７】
更に全ての直線は直線で表示され、左右の見渡しに相当する前方向補正画像表示領域４１−１、左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒにおいては、地面に垂直な直線が表示される画像上で垂直に表示され、自車両１の後方の上下の見渡しに相当する前方向補正画像表示領域４１−１、下方向補正画像表示領域４１−２においては、地面に平行な車両左右方向の直線が、各直方体含めて表示される画像上で水平に表示される。
【０１１８】
図１８における左方向補正画像表示領域４１−３Ｌ、及び右方向補正画像表示領域４１−３Ｒにおいて、地面上の直線２４におけるｙ軸方向−０．１ｍでｘ軸に平行な無限の直線が表示できていることと、その直線と地平線８が交差している所まで表示できていることから、車載カメラ２の位置から水平方向で１８０゜の範囲まで広角な表示できている。
【０１１９】
図１７における下方向平面上の升目２２−１において、ｙ軸方向−０．１ｍでｘ軸に平行な直線が表示できていることから、車載カメラ２の位置の真下まで表示できている。
【０１２０】
図１８において、車両前後方向直線２４−１５Ｌ、及び車両前後方向直線２４−１５Ｒは、下方向補正画像表示領域４１−２、左方向補正画像表示領域４１−３Ｌ、及び右方向補正画像表示領域４１−３Ｒにそれぞれ表示できていることから、車両前後方向直線２４−１５Ｌ、及び車両前後方向直線２４−１５Ｒ付近の撮像画像は欠落無く表示できている。
【０１２１】
図１９から図２１は、図６１の移動体Ｔと同様に直方体１１が自車両１の左から右方向に移動し、左方向補正画像表示領域４１−３Ｌから前方向補正画像表示領域４１−１へと直方体１１の表示位置が移動する例で、左方向補正画像表示領域４１−３Ｌと補正画像表示領域４１−１を跨る位置で直方体１１の線に折り目は入るものの線のずれといった段差無く表示位置が移動し、目線はそのまま左から右への移動が継続する。
【０１２２】
右方向補正画像表示領域４１−３Ｒと補正画像表示領域４１−１の関係も同様である。
【０１２３】
図２２から図２４は、自車両１の後方かつ側方にあたる直方体１１が車両前後方向で自車両１に近づくか、もしくは自車両１が車両前後方向で直方体１１方向に移動して直方体１１に近づくことと同様の例で、直方体１１の表示位置の移動は図１９から図２１と同様、段差無く表示位置が移動し、目線はそのまま右から左への移動が継続することに加え、表示される画像の上下方向の大きさが、直方体１１と自車両１との距離が近づくのと合わせて大きくなり、距離感の視認性が保たれている。
【０１２４】
更にこの場合の直方体１１の移動方向は左方向補正画像表示領域４１−３Ｌの下辺の傾きからも容易に想像できる。
【０１２５】
図２５は自車両１が車庫入れ等で後退し、車止めに近づく場合を想定している例で、直方体１２−１から直方体１２−３は自車両１との距離が近づく場面を同時に示したものである。この場合も図１９から図２１の直方体１１の移動と同様、線に折り目は入るものの線のずれといった段差無く表示位置が移動し、目線はそのまま上から下への移動が継続する。
【０１２６】
更にこの場合の直方体１２−１１から直方体１２−３の移動方向は下方向補正画像表示領域４１−２の左辺、及び右辺の傾きからも容易に想像できる。
【０１２７】
尚、前方向仮想視線２１−１、下方向仮想視線２２−１−１、左方向仮想視線２３−１−１Ｌ、右方向仮想視線２３−１−１Ｒはどの位置を通過しても良い。
【０１２８】
また、各方向補正画像表示領域の境界に表示される画像が一致させていることを簡単に図示するために、各方向平面の交差する位置と直接各方向補正画像表示領域の境界の位置とを一致させているが、前方向平面２１−２、下方向平面２２−１−２、左方向平面２３−１−２Ｌ、右方向平面２３−１−２Ｒについても各方向仮想視線に基づく角度が保たれていればどの位置を通過しても良く、前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒについても各方向平面内で正方形の升目となる被写体であれば良い。
【０１２９】
一方で左方向仮想視線２３−１−１Ｌ、及び右方向仮想視線２３−１−１Ｒはｙ軸から左、又は右方向に０°、又は９０°とはしない。
【０１３０】
仮にｙ軸から左０°及びｙ軸から右０°とした場合、図９に示される左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒに相当する升目は、図１１に示される左方向平面上の升目２３−３Ｌ、右方向平面上の升目２３−３Ｒのようになる。
【０１３１】
従って、図６、図７、及び図１１に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−３Ｌ、及び右方向平面上の升目２３−３Ｒと、地平線８を同時に撮像した場合、図２６のように撮像され図１６に相当する画像配置は例えば図２７のようになる。
【０１３２】
図２７に示される４１−１、４１−２、４１−４は図１６と同一であり、４２−３Ｌは左方向平面上の升目２３−３Ｌに対応した補正画像が表示される左方向補正画像表示領域であり、４２−３Ｒは右方向平面上の升目２３−３Ｒに対応した補正画像が表示される右方向補正画像表示領域であり、４２−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４２−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４２−６Ｌ、４２−６Ｒは面マスク描画４１−６Ｌ、４１−６Ｒに相当する面マスク描画であり、図２６の撮像画像は図２８のように表示される。
【０１３３】
尚、左方向補正画像表示領域４２−３Ｌの左上、右方向補正画像表示領域４２−３Ｒの右上は撮像されている範囲であるので面マスク描画４１−７Ｌ、及び４１−７Ｒに相当する面マスク描画は無い。
【０１３４】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図２９のように表示される。
【０１３５】
特に左右方向１８０°は車両左右方向無限の直線を表示することに相当するので表示させることは不可能である。
【０１３６】
このことから左右方向の表示範囲が狭くなることが言えるが、図２９からわかるように、左方向、及び右方向の表示範囲は図１８と比較して明らかに狭くなっている。更に横方向の目線であるべき画像が前方向の目線に相当する画像に補正されているので横方向に引き伸ばされた不自然な形状になる。
【０１３７】
仮にｙ軸から左９０°及びｙ軸から右９０°とした場合、図９に示される左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒに相当する升目は、図１２に示される左方向平面上の升目２３−４Ｌ、右方向平面上の升目２３−４Ｒのようになる。
【０１３８】
従って、図６、図７、及び図１２に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−４Ｌ、及び右方向平面上の升目２３−４Ｒと、地平線８を同時に撮像した場合、図３０のように撮像され図１６に相当する画像配置は例えば図３１のようになる。
【０１３９】
図３１に示される４１−１、４１−２、４１−４は図１６と同一であり、４３−３Ｌは左方向平面上の升目２３−４Ｌに対応した補正画像が表示される左方向補正画像表示領域であり、４３−３Ｒは右方向平面上の升目２３−４Ｒに対応した補正画像が表示される右方向補正画像表示領域であり、４３−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４３−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４３−６Ｌ、４３−６Ｒ、４３−７Ｌ、４３−７Ｒは面マスク描画４１−６Ｌ、４１−６Ｒ、４１−７Ｌ、４１−７Ｒに相当する面マスク描画であり、図３０の撮像画像は図３２のように表示される。
【０１４０】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図３３のように表示される。
【０１４１】
図３３からわかるように、左方向補正画像表示領域４１−１に表示される車両左右方向の直線と、左方向補正画像表示領域４３−３Ｌ、及び右方向補正画像表示領域４３−３Ｒに表示される車両前後方向の直線が共に水平に表示されるので、前後関係と左右関係の区別がつかなくなる。
【０１４２】
下方向仮想視線２２−１−１においても、左方向仮想視線２３−１−１Ｌ、及び右方向仮想視線２３−１−１Ｒをｙ軸から前記左右０°とした場合と同様の原理からｙ軸から下方向に０°とはしない。
【０１４３】
以上のように本実施の形態によれば、前、左右、及び下方向の広い範囲が欠落無く表示され、画像全体が実際の目線に近い形状や配置で表示され、尚かつ遠方である水平線が３つの表示領域に渡って水平に表示され、至近距離から遠方の範囲の被写体まで１ヶ所から見渡したかの如く画像全体を視認しやすい。
【０１４４】
また、前後方向、又は一定以上の離れた距離の左右方向を移動する被写体は途切れや段差なく表示されるので、運転支援に有効な左右方向もしくは前後方向の目線の移動が容易になる。
【０１４５】
また、直線の被写体は各表示領域内では全て直線で表示されるので、方向性を視認しやすい上に、左右の見渡しに相当する画像において地面に対して垂直な直線が垂直に表示されるので、運転支援に有効な地面と障害物の上下関係の視認性を向上させ、上下の見渡しに相当する画像において車両の真横方向の直線が水平に表示されるので、バンパー等の変形が抑えられた車両端部の表示と合わせて横方向に対する車両方向関係の視認性を向上させ、更に表示領域の辺の形状と合わせることで、運転支援に有効な車両の前後方向の視認性をも向上させる。
【０１４６】
隣接した各表示領域の境界部分の直線は折れているが、マスク描画によってその境界を視認できるので各表示領域別に視線が異なることを視認できる。
【０１４７】
（実施の形態２）
図３７は、本発明の実施の形態１から左方向補正画像表示領域、及び右方向補正画像表示領域を調節した本発明の実施の形態２における表示画像である。
【０１４８】
図１０において、２３−２−１Ｌは図９における左方向仮想視線２３−１−１Ｌのｙ軸から左４５°の方向を６０°に調節した左方向仮想視線であり、２３−２−２Ｌは左方向仮想視線２３−２−１Ｌに垂直で左方向平面２３−１−２Ｌと同様ｘ軸方向１．５ｍ、ｙ軸方向１．２ｍを通る左方向平面であり、２３−２−１Ｒは図９における右方向仮想視線２３−１−１Ｒのｙ軸から右４５°の方向を６０°に調節した右方向仮想視線であり、２３−２−２Ｒは右方向仮想視線２３−２−１Ｒに垂直で右方向平面２３−１−２Ｒと同様ｘ軸方向−１．５ｍ、ｙ軸方向１．２ｍを通る右方向平面であり、２３−２Ｌは左方向平面２３−２−２Ｌ上にあって、左方向平面上の升目２３−１Ｌに相当する図に示される範囲の左方向平面上の升目であり、２３−２Ｒは右方向平面２３−２−２Ｒ上にあって、左方向平面上の升目２３−１Ｌに相当する図に示される範囲の右方向平面上の升目である。
【０１４９】
図６、図７、及び図１０に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−２Ｌ、及び右方向平面上の升目２３−２Ｒと、地平線８を同時に撮像した場合、図３４のように撮像され図１６に相当する画像配置は例えば図３５のようになる。
【０１５０】
図３５に示される４１−１、４１−２、４１−４は図１６と同一であり、４４−３Ｌは左方向平面上の升目２３−２Ｌに対応した補正画像が表示される左方向補正画像表示領域であり、４４−３Ｒは右方向平面上の升目２３−３Ｒに対応した補正画像が表示される右方向補正画像表示領域であり、４４−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４４−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４４−６Ｌ、４４−６Ｒ、４４−７Ｌ、４４−７Ｒは面マスク描画４１−６Ｌ、４１−６Ｒ、４１−７Ｌ、４１−７Ｒに相当する面マスク描画であり、図３４の撮像画像は図３６のように表示される。
【０１５１】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図３７のように表示される。
【０１５２】
車両前後方向直線２４−１５Ｌと一致する左方向補正画像表示領域４４−３Ｌの下辺の傾きが、左方向補正画像表示領域４１−３Ｌと比較して水平方向に緩やかである。
【０１５３】
車両前後方向直線２４−１５Ｒと一致する右方向補正画像表示領域４４−３Ｒの下辺の傾きも、右方向補正画像表示領域４１−３Ｒと比較して水平方向に緩やかである。
【０１５４】
このように左方向仮想視線、及び右方向仮想視線の角度を調節することによって、地平線８の表示される傾きを変えずに車両前後方向直線の表示される傾きを前方向補正画像表示領域に対して緩やかにできていることがわかる。
【０１５５】
本発明の実施の形態１における図２４と同様の撮像条件の場合は図３９のように表示される。
【０１５６】
図２４に表示される直方体１１の形状に対して図３９に表示される直方体１１の形状は左方向に開いた台形から長方形へと近づいているが、車両前後方向の傾きは残っている。
【０１５７】
尚、左方向仮想視線、及び右方向仮想視線の角度を調節せずとも左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒを横方向に引き伸ばし、そこに表示される補正画像も平面上の升目が常に同じ大きさの長方形になることを維持しつつ横方向に引き伸ばせば、車両前後方向直線の表示される傾きの関係を同様に調節できる。
【０１５８】
左方向仮想視線、及び右方向仮想視線の角度調節、及び左方向及び右方向の補正画像表示領域の引き伸ばし、の両方によっても車両前後方向直線の表示される傾きの関係を調節できる。
【０１５９】
これらは表示領域全体と、前方向及び下方向の補正画像表示領域の大きさとの関係を考慮して調節すれば良い。
【０１６０】
以上のように本実施の形態によれば、左方向及び右方向補正画像表示領域に表示される前記地面上の車両前後方向直線は、遠い位置ほど地平線に近くなるような傾きが残っているので車両前後方向である奥行きの視認性は保持されるが、被写体の車両前後方向の像の傾きも軽減されることになるので実際の目線の見え方に近づけることができ、被写体の視認性が向上する。
【０１６１】
（実施の形態３）
図４２は、本発明の実施の形態２から左方向補正画像表示領域または右方向補正画像表示領域を調節した本発明の実施の形態３における表示画像である。
【０１６２】
図４０における４１−１、４１−２、４１−４は図１６と同一であり、４５−３Ｌは左方向補正画像表示領域４４−３Ｌを変形させた左方向補正画像表示領域であり、４５−３Ｒは右方向補正画像表示領域４４−３Ｒを変形させた右方向補正画像表示領域であり、４５−５Ｌは点線マスク描画４４−５Ｌに相当する点線マスク描画であり、４５−５Ｒは点線マスク描画４４−５Ｒに相当する点線マスク描画であり、４５−６Ｌ、４５−６Ｒ、４５−７Ｌ、４５−７Ｒは面マスク描画４４−６Ｌ、４４−６Ｒ、４４−７Ｌ、４４−７Ｒに相当する面マスク描画であり、図３４の撮像画像は図４１のように表示される。
【０１６３】
左方向補正画像表示領域４５−３Ｌに表示される補正画像は、左方向平面上の升目２３−２Ｌが視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目となるように変形しており、左方向補正画像表示領域４５−３Ｌはこの変形に合わせている。
【０１６４】
右方向補正画像表示領域４５−３Ｒに表示される補正画像は、左方向平面上の升目２３−２Ｒが視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目となるように変形しており、右方向補正画像表示領域４５−３Ｒはこの変形に合わせている。
【０１６５】
このようにすることで、図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図４２のように表示される。
【０１６６】
前方向補正画像表示領域４１−１に表示される地平線８は水平のまま表示され、これと繋がって左方向補正画像表示領域４５−３Ｌに表示される地平線８は視認できる程度の緩やかな左下がりとなり、右方向補正画像表示領域４５−３Ｒに表示される地平線８は視認できる程度の緩やかな右下がりとなる。
【０１６７】
尚、本発明の実施の形態１における図１９と同様の撮像条件の場合は図４３のように表示され、変形前の本発明の実施の形態２であれば図３８のように表示される。
【０１６８】
図１９と同様の撮像条件における直方体１１の位置であれば、図３８に表示される直方体１１の車両前後方向の上辺の傾きのように緩やかな右下がりであるのが実際の目線の見え方に近いが、図４３ではほぼ水平に表示されている。
【０１６９】
このように車両前後方向の形状において、地平線８の上付近のみの限られた範囲で実際の目線の見え方とは少し異なるが、左方向又は右方向の補正画像表示領域全体の視認性には影響は無いと言える。
【０１７０】
以上のように本実施の形態によれば、近くに立体物が無く模様の無い無限の前記地面を撮像した場合であっても、地平線が表示される画像上で視認できる程度の山なりの表示となるので、前方向補正画像表示領域が前方向を、左方向補正画像表示領域が左方向を、右方向補正画像表示領域が右方向を表示していると視認することができる。
【０１７１】
（実施の形態４）
図４７は、本発明の実施の形態１から下方向補正画像表示領域を調節した本発明の実施の形態４における表示画像である。
【０１７２】
図８において、２２−２−１は図７における下方向仮想視線２２−１−１のｙ軸から下９０°の方向を５９°に調節した下方向仮想視線であり、２２−２−２は下方向仮想視線２２−２−１に垂直で下方向平面２２−１−２と同様ｙ軸方向１．２ｍ、ｚ軸方向０ｍを通る下方向平面であり、２２−２は下方向平面２２−２−２上にあって、下方向平面上の升目２２−１に相当する図に示される範囲の下方向平面上の升目である。
【０１７３】
但し、各車両左右方向直線は地面上にある車両左右方向直線２１Ｇを基準に０．５ｍ間隔としている。
【０１７４】
図６、図８、及び図９に示される前方向平面上の升目２１、下方向平面上の升目２２−２、左方向平面上の升目２３−１Ｌ、及び右方向平面上の升目２３−１Ｒと、地平線８を同時に撮像した場合、図４４のように撮像され図１６に相当する画像配置は例えば図３５のようになる。
【０１７５】
但し、下方向平面上の升目２２−２は地面を透過して撮像できるものとする。
【０１７６】
図４５に示される４１−１、４１−３Ｌ、４１−３Ｒ、４１−５Ｌ、４１−５Ｒ、４１−７Ｌ、４１−７Ｒは図１６と同一であり、４６−２は下方向平面上の升目２２−２に対応した補正画像が表示される下方向補正画像表示領域であり、４６−４は点線マスク描画４１−４に相当する点線マスク描画であり、４６−８Ｌは左方向補正画像表示領域４１−３Ｌと下方向補正画像表示領域４６−２が隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４６−８Ｒは右方向補正画像表示領域４１−３Ｒと下方向補正画像表示領域４６−２が隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画である。
【０１７７】
図４６は図４５の配置にて図４４の撮像画像を処理した画像である。
【０１７８】
図４６において、下方向補正画像表示領域４６−２に表示する画像は、被写体が下方向平面上の升目２２−２であった場合に、表示上で水平垂直な横長の長方形でそれぞれの横長の長方形の大きさが同じになるよう補正している。
【０１７９】
下方向平面上の升目２２−２が下方向平面上で無限に続く正方形の升目であった場合は、下方向補正画像表示領域４６−２全体に渡って長方形の升目が表示されるよう補正している。
【０１８０】
尚、表示する升目は正方形、縦長の長方形となるような補正としても良いが、前方向補正画像表示領域４１−１、左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒとの相互関係で決まる。
【０１８１】
また、下方向補正画像表示領域４６−２における、上辺は、車両左右方向直線２１Ｇと一致させ、前方向補正画像表示領域４１−１の下辺の配置と隣接させ、ｘ軸方向の位置が前方向補正画像表示領域４１−１における下辺の車両左右方向直線２１Ｇのｘ軸方向の位置と一致させている。
【０１８２】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図４７のように表示される。
【０１８３】
下方向補正画像表示領域４６−２における、左辺は車両前後方向直線２４−１５Ｌと一致させ、左方向補正画像表示領域４１−３Ｌの下辺の配置と隣接させ、ｙ軸方向の位置が左方向補正画像表示領域４１−３Ｌにおける下辺の車両前後方向直線２４−１５Ｌのｙ軸方向の位置と一致させている。
【０１８４】
下方向補正画像表示領域４６−２における、右辺は車両前後方向直線２４−１５Ｒと一致させ、右方向補正画像表示領域４１−３Ｒの下辺の配置と隣接させ、ｙ軸方向の位置が右方向補正画像表示領域４１−３Ｒにおける下辺の車両前後方向直線２４−１５Ｒのｙ軸方向の位置と一致させている。
【０１８５】
地面上の直線２４と地平線８と自車両１のバンパー１０に加え、１辺が１ｍの正六面体で地面上に存在する直方体１３を同時に撮像した場合で、直方体１３がｙ軸方向０．５ｍ、ｘ軸方向２ｍに位置する時、図４９のように表示され、直方体１３がｙ軸方向０．５ｍ、ｘ軸方向１ｍに位置する時、図５０のように表示され、直方体１３がｙ軸方向０．５ｍ、ｘ軸方向中央に位置する時、図５１のように表示される。
【０１８６】
図４９から図５１は、直方体１３が車両前後方向で自車両１の至近距離において自車両１の左から右方向に移動し、左方向補正画像表示領域４１−３Ｌから下方向補正画像表示領域４６−２、及び前方向補正画像表示領域４１−１へと直方体１３の表示位置が移動する例で、左方向補正画像表示領域４１−３Ｌ、下方向補正画像表示領域４６−２、及び前補正画像表示領域４１−１を跨る位置で直方体１３の線に折り目は入るものの線のずれといった段差無く表示位置が移動し、直方体１３の下部を見ている場合の目線はそのまま左から下への移動が継続する。右方向補正画像表示領域４７−３Ｒと前方向補正画像表示領域４１−１の関係も同様である。
【０１８７】
尚、本発明の実施の形態４において下方向仮想視線はｙ軸から下９０°の方向とはできない。
【０１８８】
下９０°の場合、本発明の実施の形態１から３のように下方向補正画像表示領域の左辺、及び右辺は表示される画像上で垂直になるため、左方向補正画像表示領域や右方向補正画像表示領域の下辺と隣接させることはできないためである。従って下方向仮想視線はｙ軸から下９０°未満となるため図４７の下方向補正画像表示領域４６−２に表示される車両前後方向直線からもわかるように、前向きの目線に近い画像になる。
【０１８９】
以上のように本実施の形態によれば、下方向補正画像表示領域の目線は前方向への傾きを持った方向に限定されるが、左右方向から下方向においても途切れや段差無く表示されるので、表示される画像全体の位置関係を更に視認しやすくなり、尚かつ画面上で移動する被写体に対する目線の移動が表示される画像全体に渡って容易になる。
【０１９０】
（実施の形態５）
図５４は、本発明の実施の形態４から左方向補正画像表示領域、右方向補正画像表示領域、下方向補正画像表示領域を調節した本発明の実施の形態５における表示画像である。
【０１９１】
図５２における４１−１は図１６と同一であり、４７−３Ｌは左方向補正画像表示領域４１−３Ｌを変形させた左方向補正画像表示領域であり、４７−３Ｒは右方向補正画像表示領域４１−３Ｒを変形させた右方向補正画像表示領域であり、４７−２は下方向補正画像表示領域４６−２を変形させた下方向補正画像表示領域であり、４７−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４７−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４７−４は点線マスク描画４６−４に相当する点線マスク描画であり、４７−８Ｌは点線マスク描画４６−８Ｌに相当する点線マスク描画であり、４７−８Ｒは点線マスク描画４６−８Ｒに相当する点線マスク描画であり、４７−７Ｌ、４７−７Ｒは面マスク描画４１−７Ｌ、４１−７Ｒに相当する面マスク描画であり、図４４の撮像画像は図５３のように表示される。
【０１９２】
左方向補正画像表示領域４７−３Ｌに表示される補正画像は、左方向平面上の升目２３−１Ｌが視認できる程度の緩やかな左下がりとなる同じ大きさの平行四辺形の升目となるように変形しており、左方向補正画像表示領域４７−３Ｌはこの変形に合わせている。
【０１９３】
右方向補正画像表示領域４７−３Ｒに表示される補正画像は、右方向平面上の升目２３−１Ｒが視認できる程度の緩やかな右下がりとなる同じ大きさの平行四辺形の升目となるように変形しており、右方向補正画像表示領域４７−３Ｒはこの変形に合わせている。
【０１９４】
更に左方向の平行四辺形の升目の形状や大きさは、右方向の平行四辺形の升目を左右反転させた場合と同じにしている。
【０１９５】
下方向補正画像表示領域４７−２に表示される補正画像は、左方向補正画像表示領域４７−３Ｌ、右方向補正画像表示領域４７−３Ｒの変形に合わせて下方向に引き伸ばされ、下方向平面上の升目２２−２が表示される長方形の升目の垂直辺は下方向補正画像表示領域４６−２で表示される長方形の升目の垂直辺よりも長くなるように変形している。
【０１９６】
このようにすることで、図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図５４のように表示される。
【０１９７】
本発明の実施の形態５における左方向平面、及び右方向平面の角度は、本発明の実施の形態３における左方向平面、及び右方向平面の角度とは異なるものの、水平線８の表示される傾きは本発明の実施の形態３と同様となる。
【０１９８】
本発明の実施の形態１における図１９と同様の撮像条件の場合は図５５のように表示され、変形前の本発明の実施の形態４であれば図４８のように表示される。
【０１９９】
同じく左方向平面と右方向平面の角度は本発明の実施の形態３とは異なるものの、直方体１１の車両前後方向の上辺の傾きは本発明の実施の形態３と同様となる。
【０２００】
一方で図５４の下方向補正画像表示領域４７−２に表示される補正画像は図４７の下方向補正画像表示領域４６−２に表示される補正画像と比較して視認できるほどの差は見られない。
【０２０１】
以上のように本実施の形態によれば、下方向補正画像表示領域が左方向及び右方向補正画像表示領域に繋がっている場合であっても、下方向補正画像表示領域の視認性に影響無く本発明の実施の形態３と同様の視認性が得られる。
【０２０２】
（実施の形態６）
図５６は、前方向と左方向又は右方向補正画像表示領域の境界位置を図１４の位置関係に基づいて調節した本発明の実施の形態６における表示画像である。
【０２０３】
図１４において車載カメラ２は図示しないが図４、図５のように自車両１に搭載されているものとし、２５−３は自車両１がハンドルを最大に切って曲がった場合に通過する地面上の車両通過範囲の最も内側を示す車両通過範囲内側の円であり、２５−４は自車両１がハンドルを最大に切って曲がった場合に通過する地面上の車両通過範囲の最も外側を示す車両通過範囲外側の円であり、車両通過範囲内側の円２５−３と車両通過範囲外側の円２５−４は同心円であるものとし、２５−２は同心円である車両通過範囲円の中心であり、２５−１は撮像位置真下を示す前記地面上の撮像原点であり、２５−５は地面上の撮像原点２５−１を通る車両通過範囲内側の円２５−３との接線であり、２５−６は接線２５−５と車両通過範囲内側の円２５−３の接点であり、２５−７は任意であるｘ軸方向１．５ｍとなる接線２５−５上の画像分離基準点である。
【０２０４】
本発明の実施の形態２では図１４の位置関係に基づいて調節したものでは無いが、図１４の位置関係に基づいて調節した結果として、本発明の実施の形態６は本発明の実施の形態２と同様の図３５、図３６の処理と一致したものとして説明する。
【０２０５】
図５６は本発明の実施の形態２と同様の図３５、図３６の処理による表示画像であり、図３７と同様の被写体に加え、車両通過範囲内側の円２５−３が左方向補正画像表示領域４４−３Ｌに表示された場合の画像である。
【０２０６】
ただし、実際に車両通過範囲内側の円２５−３を描画するものでは無く、位置関係を説明する上で図示した画像である。
【０２０７】
図５６において、２５−８は下方向補正画像表示領域４１−２、前方向補正画像表示領域４１−１、左方向補正画像表示領域４４−３Ｌの境界を示す画像分離点である。
【０２０８】
画像分離点２５−８は下方向補正画像表示領域４１−２、前方向補正画像表示領域４１−１、左方向補正画像表示領域４４−３Ｌの全てにおいて、ｘ軸方向、ｙ軸方向、ｚ軸方向の位置が一致することになる。
【０２０９】
そこで下方向補正画像表示領域４１−２において自車両１の車幅より広めの左右１．５ｍを表示することを目的とした場合、ｙ軸方向は画像分離基準点２５−７の１．１６ｍ付近である１．２ｍになる関係に調節する。
【０２１０】
この調節によって、点線マスク描画４４−５Ｌは表示されるｚ軸方向のいかなる高さにおいても地面上の撮像原点２５−１からｘ軸方向１．５ｍ、ｙ軸方向１．２ｍの方向を示す。
【０２１１】
従って画像分離基準点２５−７と画像分離点２５−８の位置関係からもわかるように車両通過範囲内側の円２５−３は、主に左方向補正画像表示領域４４−３Ｌに表示されると共に、接点２５−６は点線マスク描画４４−５Ｌ付近の位置関係となる。
【０２１２】
車両通過範囲内側の円２５−３からｚ軸方向に高さがある立体物は、表示上車両通過範囲内側の円２５−３の垂直方向に表示される。
【０２１３】
図３９における直方体１１は接点２５−６付近に角がある立体物に相当し、その角の垂直な辺は点線マスク描画４４−５Ｌ付近に表示されている。この時、ハンドルを最大に切って曲がった場合に自車両１は直方体１１の真横を通過することになる。
【０２１４】
つまり、直方体１１を前方向補正画像表示領域４１−１に表示させずに左方向補正画像表示領域４４−３Ｌに表示させるよう予め自車両１を操作すれば、次に自車両１のハンドルを最大に切って曲がる車庫入れ等の際に直方体１１に接触しないであろう位置関係に近いと視認できる。
【０２１５】
尚、至近距離においての自車両１との位置関係は下方向補正画像表示領域４１−２によって視認できるため、それよりも遠い範囲における障害物との位置関係としておおよそ視認できれば良い。
【０２１６】
以上のように本実施の形態によれば、左方向、又は右方向の補正画像表示領域と前方向補正画像表示領域の境界を示す直線のマスク描画が、ハンドルを最大に切って曲がった場合に立体物と接触するか否かの目安線にもなり、車庫入れ等の車の移動と障害物の位置関係の視認性が向上する。
【産業上の利用可能性】
【０２１７】
本発明にかかる運転支援表示装置は、車両後方、又は前方の、前、左右、及び下方向の広い範囲の撮像から表示において、目的に応じた視認性の高い被写体の形状表示、被写体と車両の方向性や位置関係の視認性向上、及び画面上で移動する被写体に対する目線の移動を容易にする運転支援表示装置として幅広く有用である。
【符号の説明】
【０２１８】
１ 自車両
２ 車載カメラ
２−１〜２−ｎ 車載カメラ
３ 画像処理部
４ モニタ
５ 画像処理装置
６ 車両原点
７ 光軸
８ 地平線
９ イメージサークル
１０ バンパー
１１ 直方体
１２−１，１２−２，１２−３ 直方体
１３ 直方体
２１ 前方向平面上の升目
２１Ｇ 車両左右方向直線
２１Ｌ 垂直線
２１Ｒ 垂直線
２１−１ 前方向仮想視線
２１−２ 前方向平面
２２−１ 下方向平面上の升目
２２−１−１ 下方向仮想視線
２２−１−２ 下方向平面
２２−２ 下方向平面上の升目
２２−２−１ 下方向仮想視線
２２−２−２ 下方向平面
２３−１Ｌ 左方向平面上の升目
２３−１−１Ｌ 左方向仮想視線
２３−１−２Ｌ 左方向平面
２３−１Ｒ 右方向平面上の升目
２３−１−１Ｒ 右方向仮想視線
２３−１−２Ｒ 右方向平面
２３−２Ｌ 左方向平面上の升目
２３−２−１Ｌ 左方向仮想視線
２３−２−２Ｌ 左方向平面
２３−２Ｒ 右方向平面上の升目
２３−２−１Ｒ 右方向仮想視線
２３−２−２Ｒ 右方向平面
２３−３Ｌ 左方向平面上の升目
２３−３−１Ｌ 左方向仮想視線
２３−３−２Ｌ 左方向平面
２３−３Ｒ 右方向平面上の升目
２３−３−１Ｒ 右方向仮想視線
２３−３−２Ｒ 右方向平面
２３−４Ｌ 左方向平面上の升目
２３−４−１Ｌ 左方向仮想視線
２３−４−２Ｌ 左方向平面
２３−４Ｒ 右方向平面上の升目
２３−４−１Ｒ 右方向仮想視線
２３−４−２Ｒ 右方向平面
２４ 地面上の直線
２４−１５Ｌ 車両前後方向直線
２４−１５Ｒ 車両前後方向直線
２５−１ 地面上の撮像原点
２５−２ 車両通過範囲円の中心
２５−３ 車両通過範囲内側の円
２５−４ 車両通過範囲外側の円
２５−５ 接線
２５−６ 接点
２５−７ 画像分離基準点
２５−８ 画像分離点
３０ 撮像原点
４１−１ 前方向補正画像表示領域
４１−２ 下方向補正画像表示領域
４１−３Ｌ 左方向補正画像表示領域
４１−３Ｒ 右方向補正画像表示領域
４１−４ 点線マスク描画
４１−５Ｌ 点線マスク描画
４１−５Ｒ 点線マスク描画
４１−６Ｌ 面マスク描画
４１−６Ｒ 面マスク描画
４１−７Ｌ 面マスク描画
４１−７Ｒ 面マスク描画
４２−３Ｌ 左方向補正画像表示領域
４２−３Ｒ 右方向補正画像表示領域
４２−５Ｌ 点線マスク描画
４２−５Ｒ 点線マスク描画
４２−６Ｌ 面マスク描画
４２−６Ｒ 面マスク描画
４３−３Ｌ 左方向補正画像表示領域
４３−３Ｒ 右方向補正画像表示領域
４３−５Ｌ 点線マスク描画
４３−５Ｒ 点線マスク描画
４３−６Ｌ 面マスク描画
４３−６Ｒ 面マスク描画
４３−７Ｌ 面マスク描画
４３−７Ｒ 面マスク描画
４４−３Ｌ 左方向補正画像表示領域
４４−３Ｒ 右方向補正画像表示領域
４４−５Ｌ 点線マスク描画
４４−５Ｒ 点線マスク描画
４４−６Ｌ 面マスク描画
４４−６Ｒ 面マスク描画
４４−７Ｌ 面マスク描画
４４−７Ｒ 面マスク描画
４５−３Ｌ 左方向補正画像表示領域
４５−３Ｒ 右方向補正画像表示領域
４５−５Ｌ 点線マスク描画
４５−５Ｒ 点線マスク描画
４５−６Ｌ 面マスク描画
４５−６Ｒ 面マスク描画
４５−７Ｌ 面マスク描画
４５−７Ｒ 面マスク描画
４６−２ 下方向補正画像表示領域
４６−４ 点線マスク描画
４６−８Ｌ 点線マスク描画
４６−８Ｒ 点線マスク描画
４７−２ 下方向補正画像表示領域
４７−３Ｌ 左方向補正画像表示領域
４７−３Ｒ 右方向補正画像表示領域
４７−４ 点線マスク描画
４７−５Ｌ 点線マスク描画
４７−５Ｒ 点線マスク描画
４７−７Ｌ 面マスク描画
４７−７Ｒ 面マスク描画
４７−８Ｌ 点線マスク描画
４７−８Ｒ 点線マスク描画
７０ 表示装置（移動体画像表示手段）
７１ 後方左画像表示領域（第一表示領域）
７２ 後方右画像表示領域（第三表示領域）
７３ 直後方画像表示領域（第二表示領域）
１０１−１ 地面上の横直線
１０１−２ 地面からの垂直線
１０２−２−１ 地面からの垂直線
１０２−２−２ 横断歩道の縦縞模様
１０２−３−１ 地面上の横直線
Ｆ 移動軌跡
Ｆ' 補助画像案内軌跡
Ｍ' 補助画像
Ｑ 画像出現位置
Ｔ 移動体
ｘ ｘ軸
ｙ ｙ軸
ｚ ｚ軸
【技術分野】
【０００１】
本発明は、車載カメラにて撮像した車両後方、又は前方の画像を処理して運転者に提示する運転支援表示装置に関する。
【背景技術】
【０００２】
車載カメラを車両のリアトランク部等、またはフロントグリル等に設置し、この車載カメラで撮像した画像を運転者に提示することで、車両後方または前方の様子を運転者に知らせる運転支援表示装置が普及している。
【０００３】
そしてその撮像表示範囲はより広い範囲が求められている。
【０００４】
これを実現するために、複数の車載カメラを用いた撮像や広角のレンズを用いた撮像、そして撮像された広い範囲の画像を限られた表示領域に表示する方法まで様々である。
【０００５】
このような運転支援表示装置の中で広角のレンズを用いた撮像を示す例として特許文献１が挙げられる。
【０００６】
前記特許文献１では図５７のように広角のレンズで撮像した場合の撮像画像が示されている。ここに示される被写体として、１０１−１は車載カメラを横切る地面上の横直線、１０１−２は建物による地面からの垂直線と見なすことができる。
【０００７】
広角な撮像画像の補正処理を示す例としては特許文献２が挙げられる。
【０００８】
前記特許文献２では図５８のように全周囲の撮像画像を、メルカトール図法で展開した全周囲補正画像が示されている。図５８から仮に水平方向でおよそ１８０°相当の範囲を切り出した場合を図５９、図６０に示す。図５９、図６０に示される、１０２−２−１は建物による地面からの垂直線と見なすことができる。また図５９の１０２−２−２は、車載カメラの手前から奥の方向に平行な横断歩道の縦縞模様、図６０の１０２−３−１は、車載カメラを横切る地面上の横直線と見なすことができる。
【０００９】
複数の車載カメラを用いた撮像と、その画像表示を示す例として特許文献３が挙げられる。
【００１０】
前記特許文献３では図６１のように、３つの車載カメラで撮像された画像のうち、後方左を撮像するアングルに取り付けられた車載カメラからの画像を後方左画像表示領域７１に、後方右を撮像するアングルに取り付けられた車載カメラからの画像を後方右画像表示領域７２に、直後方を撮像するアングルに取り付けられた車載カメラからの画像を直後方画像表示領域７３に、表示する画像が示されている。
【００１１】
これらの画像配置では、後方左画像表示領域７１及び後方右画像表示領域７２が、直後方画像表示領域７３の上辺に覆われるように置かれている。
【００１２】
そして、図６１の状態３から状態５のように、車両を横切る移動体Ｔの位置が後方左画像表示領域７１から直後方画像表示領域７３へ移るのに対応して、直後方画像表示領域７３において、後方左画像表示領域７１における移動軌跡Ｆに連なる向きである直後方画像表示領域７３の補助画像案内軌跡Ｆ'上に補助画像Ｍ'を出現させることで、断絶感の和らげと直後方画像表示領域７３への目の導きを図っている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２２１７６号公報
【特許文献２】特開２００８−５４７８号公報
【特許文献３】特開２００８−２５８８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、前記従来の特許文献１のように広角のレンズで撮像を行った場合、本来直線である１０１−１や１０１−２の被写体が、レンズの光軸に対する角度の関係次第で、目で見て明らかに曲がって撮像されるため、撮像された画像をそのまま表示した場合、１０１−１が横向きあるのか、１０１−２が垂直であるのか、或いは直線であるのか視認しにくいという課題を有していた。
【００１５】
このような画像を視認しやすい画像にする手段として特許文献２に示される、画像補正方法が考えられる。
【００１６】
この補正方法では前記垂直な被写体は１０２−２−１のように、表示画像上で垂直な直線になって表示されるので垂直な被写体の視認性は高い。
【００１７】
しかし、地面の１０２−３−１においては１０１−１と同等に曲がっており、正面付近は横方向に表示され、尚かつ左右の遠い位置では縦向きに近い傾きで表示されているので、１０２−３−１が全体に渡って横向きなのか、或いは直線であるのか、前記特許文献１同様に視認しにくい。
【００１８】
また運転支援の用途では車両との位置関係を視認させるために、バンパー等の車体端部を画像の下側に映り込ませる場合があるが、その場合においても同様の曲がり方となるので、バンパー等の車体端部であることも視認しにくい。
【００１９】
１０２−２−２においては横断歩道の撮像位置から前後方向の模様について、これは特に撮像位置に近い位置に相当するものであり、この位置において前後方向の直線が明らかに左右外側に広がるように曲がっているので、運転支援として自己の車幅や車両の進行方向との関係をも視認しにくいという課題を有していた。
【００２０】
一方で、広角でないレンズによる撮像であれば、前記特許文献２のような画像補正を行わずとも直線の被写体が明らかに曲がることなく撮像は可能である。その場合に前記の通り特許文献３のような表示例があるが、移動体Ｔが後方左画像表示領域７１から直後方画像表示領域７３に移動する際に、後方左画像表示領域７１の右側に有る目線から後方左画像表示領域７１上での移動体Ｔの移動方向とは逆方向となる直後方画像表示領域７３の左側である画像出現位置Ｑへ目線を移動させなければならない。
【００２１】
補助画像Ｍ'の表示により直後方画像表示領域７３への目線の移動を誘導してはいるものの、完全に画像出現位置Ｑへの誘導ではないことや、画像出現位置Ｑへの目線の移動方向や移動幅は変わらないことから頭の中で位置関係を考える時間が残り、車両操作が滞る可能性があるという課題と共に直後方を撮像するアングルにおいて広角でないレンズでは、直後方と大きな角度差となるバンパー等の車体端部を映り込ませ、表示させることは困難であるという課題を有していた。
【００２２】
本発明は、上記課題を解決するために、車両後方、又は前方の、前、左右、及び下方向の広い範囲の撮像から表示において、目的に応じた視認性の高い被写体の形状表示、被写体と車両の方向性や位置関係の視認性向上、及び画面上で移動する被写体に対する目線の移動が容易な運転支援表示装置を提供することを目的とする。
【課題を解決するための手段】
【００２３】
前記従来の課題を解決するため、本発明の運転支援表示装置は、車両後方、又は前方の、前、左右、及び下方向の広い範囲を同じ位置から撮像する１つ又は複数の撮像手段と、前記撮像手段で撮像された画像を補正した補正画像を任意の補正画像表示領域に分割配置し、分割配置された前記補正画像と任意の表示位置にマスク描画を合成する画像処理手段と、前記画像処理手段によって処理された処理画像を表示する画像表示手段と、を備えることとし、前記画像処理手段は、水平な地面に平行な車両前後方向に平行な前方向仮想視線に対して垂直な前方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記前方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する前方向補正画像と、前記車両前後方向から水平に左０°を超え９０°未満の左方向仮想視線に対して垂直な左方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記左方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する左方向補正画像と、前記車両前後方向から水平に右０°を超え９０°未満の右方向仮想視線に対して垂直な右方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記右方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する右方向補正画像と、前記車両前後方向から垂直に下０°を超え９０°以内の下方向仮想視線に対して垂直な下方向平面上であって車両左右方向に平行な直線と前記車両左右方向に平行な直線に直角な直線とからなる正方形の升目を撮像した場合に、前記平行直角からなる正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する下方向補正画像と、を生成し、前記前方向補正画像を前方向補正画像表示領域に、前記左方向補正画像を左方向補正画像表示領域に、前記右方向補正画像を右方向補正画像表示領域に、前記下方向補正画像を下方向補正画像表示領域に、表示するものであって、前記前方向補正画像表示領域の形状における、左辺及び右辺は表示される画像上で垂直な直線であり、下辺は表示される画像上で水平な直線であり、前記左方向補正画像表示領域の形状における、右辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、前記右方向補正画像表示領域の形状における、左辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、前記下方向補正画像表示領域の形状における、上辺は表示される画像上で水平で撮像位置よりも前側で前記地面に水平な車両左右方向に平行な前記地面上の直線と一致する直線であり、左辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、右辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、前記前方向補正画像表示領域の左辺と前記左方向補正画像表示領域の右辺、前記前方向補正画像表示領域の右辺と前記右方向補正画像表示領域の左辺、前記前方向補正画像表示領域の下辺と前記下方向補正画像表示領域の上辺、はそれぞれ互いに隣接するように配置され、３つの隣接する辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、用途に応じて前記４つの補正画像表示領域の関係を維持した画像全体を左右で反転することとし、３つの隣接する辺には線又は点線による任意色のマスク描画と、前記４つの補正画像表示領域以外の隙間を任意色で埋めたマスク描画することとした。
【００２４】
この構成によって、車両後方、又は前方の前、左右、及び下方向の広い範囲の撮像画像について、まず、全ての範囲が同時に表示させることができる。
【００２５】
また、それぞれの補正画像表示領域に表示される画像は、車両前後方向を基準にした左方向、右方向、及び下方向に垂直な平面上の被写体の変形が抑えられた画像に補正させることができる。
【００２６】
また、それぞれの表示領域を実際の方向と類似した関係で表示することができる。
【００２７】
また、前方向と左方向、右方向、又は下方向とを移動する被写体は途切れることなく連続的に表示させることができる。
【００２８】
また、それぞれの補正画像表示領域に表示される直線の被写体は全て直線で表示させることができる。
【００２９】
また、前、左右方向の前記地面に垂直な直線の被写体は、前方向、左方向、又は右方向の補正画像表示領域において垂直な直線で表示させることができる。
【００３０】
また、前、下方向の前記地面に水平で車両左右方向に平行な直線の被写体は、前方向、又は下方向の補正画像表示領域において水平な直線で表示させることができる。
【００３１】
また、下方向補正画像表示領域の左辺及び右辺と、左方向及び右方向補正画像表示領域の下辺の形状によって、前記地面上の車両前後方向を表現することができる。
【００３２】
また、隣接した各表示領域の境界を表示することができる。
【００３３】
また、本発明の運転支援表示装置は、前記左方向補正画像表示領域または前記右方向補正画像表示領域の下辺と一致する前記車両前後方向に平行な前記地面上の直線について、前記前方向補正画像表示領域で表示される画像上の傾きと、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される画像上の傾きを比較して、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される傾きの方が水平方向に近くなるよう、左方向仮想視線及び右方向仮想視線の角度の調節、又は左方向平面及び右方向平面上の正方形の升目の表示形状が水平方向に引き伸ばされる調節、をすることとした。
【００３４】
この構成によって、左方向、又は右方向補正画像表示領域に表示される、撮像の高さ以外の車両前後方向の直線は、表示される画像上での傾きを残しつつもその傾きを軽減させることができる。
【００３５】
また、本発明の運転支援表示装置は、前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、なるように表示することとした。
【００３６】
この構成によって、前方向補正画像表示領域の地平線は表示される画像上で水平であるのに対して、左方向補正画像表示領域の地平線は表示される画像上で左下がり、右方向補正画像表示領域の地平線は表示される画像上で右下がり、とすることができる。
【００３７】
また、本発明の運転支援表示装置は、前記左方向補正画像表示領域の下辺と前記下方向補正画像表示領域の左辺、前記右方向補正画像表示領域の下辺と前記下方向補正画像表示領域の右辺、はそれぞれ互いに隣接するように、尚かつそれぞれ互いに隣接させた２つの辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、それぞれ互いに隣接させた２つの辺には線又は点線による任意色のマスク描画することとした。
【００３８】
この構成によって、左方向と下方向、又は右方向と下方向とを移動する被写体も途切れることなく連続的に表示させることができる。
【００３９】
また、本発明の運転支援表示装置は、前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、なるように表示することとした。
【００４０】
この構成によって、下方向補正画像表示領域における若干の縦引き伸ばしに止めながら、前方向補正画像表示領域の地平線は表示される画像上で水平であるのに対して、左方向補正画像表示領域の地平線は表示される画像上で左下がり、右方向補正画像表示領域の地平線は表示される画像上で右下がり、とすることができる。
【００４１】
また、本発明の運転支援表示装置は、前記下方向補正画像表示領域の左辺または右辺と一致する、又は前記左方向補正画像表示領域又は前記右方向補正画像表示領域の下辺と一致する、前記車両前後方向に平行な前記地面上の車両前後方向直線と、前記下方向補正画像表示領域の上辺と一致する、又は前記前方向補正画像表示領域の下辺と一致する、前記車両左右方向に平行な前記地面上の車両左右方向直線との交点は、撮像位置真下の前記地面上の撮像原点を通り車両がハンドルを最大に切って曲がった場合に通過する前記地面上の車両通過範囲の最も内側の円と接する接線付近とすることとした。
【００４２】
この構成によって、垂直な立体物が垂直に表示されることに加え、車両通過範囲の最も内側の円は、前方向補正画像表示領域と左方向補正画像表示領域、又は右方向補正画像表示領域との関係において、主に左方向補正画像表示領域、又は右方向補正画像表示領域に位置すると共に、前方向補正画像表示領域と左方向補正画像表示領域、又は右方向補正画像表示領域の境界に接するような位置関係とすることができる。
【発明の効果】
【００４３】
以上のように、本発明の運転支援表示装置よれば、前、左右、及び下方向の広い範囲が欠落無く表示され、画像全体が実際の目線に近い形状や配置で表示され、尚かつ遠方である水平線が３つの表示領域に渡って水平に表示され、至近距離から遠方の範囲の被写体まで１ヶ所から見渡したかの如く画像全体を視認しやすい。
【００４４】
また、前後方向、又は一定以上の離れた距離の左右方向を移動する被写体は途切れや段差なく表示されるので、運転支援に有効な左右方向もしくは前後方向の目線の移動が容易になる。
【００４５】
また、直線の被写体は各表示領域内では全て直線で表示されるので、方向性を視認しやすい上に、左右の見渡しに相当する画像において前記地面に対して垂直な直線が垂直に表示されるので、運転支援に有効な前記地面と障害物の上下関係の視認性を向上させ、上下の見渡しに相当する画像において車両の真横方向の直線が水平に表示されるので、バンパー等の変形が抑えられた車両端部の表示と合わせて横方向に対する車両方向関係の視認性を向上させ、更に表示領域の辺の形状と合わせることで、運転支援に有効な車両の前後方向の視認性をも向上させる。
【００４６】
隣接した各表示領域の境界部分の直線は折れているが、マスク描画によってその境界を視認できるので各表示領域別に視線が異なることを視認できる。
【００４７】
また、本発明の運転支援表示装置よれば、左方向及び右方向補正画像表示領域に表示される前記地面上の車両前後方向直線は、遠い位置ほど地平線に近くなるような傾きが残っているので車両前後方向である奥行きの視認性は保持されるが、被写体の車両前後方向の像の傾きも軽減されることになるので実際の目線の見え方に近づけることができ、被写体の視認性が向上する。
【００４８】
また、本発明の運転支援表示装置よれば、近くに立体物が無く模様の無い無限の前記地面を撮像した場合であっても、地平線が表示される画像上で視認できる程度の山なりの表示となるので、前方向補正画像表示領域が前方向を、左方向補正画像表示領域が左方向を、右方向補正画像表示領域が右方向を表示していると視認することができる。
【００４９】
また、本発明の運転支援表示装置よれば、左右方向から下方向においても途切れや段差無く表示されるので、表示される画像全体の位置関係を更に視認しやすくなり、尚かつ画面上で移動する被写体に対する目線の移動が表示される画像全体に渡って容易になる。
【００５０】
また、本発明の運転支援表示装置よれば、下方向補正画像表示領域が左方向及び右方向補正画像表示領域に繋がっている場合であっても、下方向補正画像表示領域の視認性に影響無く前方向補正画像表示領域が前方向を、左方向補正画像表示領域が左方向を、右方向補正画像表示領域が右方向を表示していると視認することができる。
【００５１】
また、本発明の運転支援表示装置よれば、左方向、又は右方向の補正画像表示領域と前方向補正画像表示領域の境界を示す直線のマスク描画が、ハンドルを最大に切って曲がった場合に立体物と接触するか否かの目安線にもなり、車庫入れ等の車の移動と障害物の位置関係の視認性が向上する。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態１、２、３、４、５、６における運転支援表示装置の概略構成図
【図２】本発明の実施の形態１、２、３、４、５、６における運転支援表示装置の概略構成図
【図３】本発明の実施の形態１、２、３、４、５、６における運転支援表示装置の概略構成図
【図４】自車両に対する車載カメラの詳細な搭載状態を示す図
【図５】自車両に対する車載カメラの詳細な搭載状態を示す図
【図６】車載カメラ２の撮像する被写体を示す図
【図７】車載カメラ２の撮像する被写体を示す図
【図８】車載カメラ２の撮像する被写体を示す図
【図９】車載カメラ２の撮像する被写体を示す図
【図１０】車載カメラ２の撮像する被写体を示す図
【図１１】車載カメラ２の撮像する被写体を示す図
【図１２】車載カメラ２の撮像する被写体を示す図
【図１３】車載カメラ２の撮像する被写体を示す図
【図１４】車両通過範囲との位置関係を示す図
【図１５】撮像画像
【図１６】本発明の実施の形態１における処理後の表示画像
【図１７】本発明の実施の形態１における処理後の表示画像
【図１８】本発明の実施の形態１における処理後の表示画像
【図１９】本発明の実施の形態１における処理後の表示画像
【図２０】本発明の実施の形態１における処理後の表示画像
【図２１】本発明の実施の形態１における処理後の表示画像
【図２２】本発明の実施の形態１における処理後の表示画像
【図２３】本発明の実施の形態１における処理後の表示画像
【図２４】本発明の実施の形態１における処理後の表示画像
【図２５】本発明の実施の形態１における処理後の表示画像
【図２６】撮像画像
【図２７】本発明の実施の形態１における処理対象外の表示画像
【図２８】本発明の実施の形態１における処理対象外の表示画像
【図２９】本発明の実施の形態１における処理対象外の表示画像
【図３０】撮像画像
【図３１】本発明の実施の形態１における処理対象外の表示画像
【図３２】本発明の実施の形態１における処理対象外の表示画像
【図３３】本発明の実施の形態１における処理対象外の表示画像
【図３４】撮像画像
【図３５】本発明の実施の形態２における処理後の表示画像
【図３６】本発明の実施の形態２における処理後の表示画像
【図３７】本発明の実施の形態２における処理後の表示画像
【図３８】本発明の実施の形態２における処理後の表示画像
【図３９】本発明の実施の形態２、６における処理後の表示画像
【図４０】本発明の実施の形態３における処理後の表示画像
【図４１】本発明の実施の形態３における処理後の表示画像
【図４２】本発明の実施の形態３における処理後の表示画像
【図４３】本発明の実施の形態３における処理後の表示画像
【図４４】撮像画像
【図４５】本発明の実施の形態４における処理後の表示画像
【図４６】本発明の実施の形態４における処理後の表示画像
【図４７】本発明の実施の形態４における処理後の表示画像
【図４８】本発明の実施の形態４における処理後の表示画像
【図４９】本発明の実施の形態４における処理後の表示画像
【図５０】本発明の実施の形態４における処理後の表示画像
【図５１】本発明の実施の形態４における処理後の表示画像
【図５２】本発明の実施の形態５における処理後の表示画像
【図５３】本発明の実施の形態５における処理後の表示画像
【図５４】本発明の実施の形態５における処理後の表示画像
【図５５】本発明の実施の形態５における処理後の表示画像
【図５６】本発明の実施の形態２、６における処理後の表示画像
【図５７】広角のレンズで撮像した場合の撮像画像
【図５８】メルカトール図法で展開した全周囲補正画像
【図５９】全周囲補正画像からの切り出した補正画像
【図６０】全周囲補正画像からの切り出した補正画像
【図６１】従来の表示画像
【発明を実施するための形態】
【００５３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００５４】
（実施の形態１）
図１は本発明の実施の形態１における構成図である。
【００５５】
図１において、１は運転支援表示装置が搭載される自車両であり、２は広い範囲を撮像する広角のレンズを使用した１つの車載カメラであり、３は車載カメラ２で撮像された画像を補正した補正画像を、任意の補正画像表示領域に分割配置し、任意の表示位置にマスク描画する画像処理部であり車載カメラ２に内蔵されている。
【００５６】
４は画像処理部３によって処理された画像を表示するモニタである。
【００５７】
尚、画像処理部３は図２に示されるようにモニタ４に内蔵される構成や、図３に示されるように画像処理装置５に内蔵される構成の何れであっても良い。
【００５８】
また、広角のレンズを使用しない車載カメラを使用する場合には、図３に示されるように複数の車載カメラ２−１から２−ｎを使用した構成であっても良い。
【００５９】
ただしこの場合は、補正後の画像の繋がりの関係に相違が出る可能性があるので、表示される画像にてその相違が目立たないところまで車載カメラ同士を近づけられるものとする。
【００６０】
図１〜３は、車載カメラ２が車両の後方に搭載された図であるが、車両の前方に搭載しても良い。本発明の実施の形態１及び以降の実施の形態では車両後方に搭載することとする。
【００６１】
図４、及び図５は自車両１に対する車載カメラ２の詳細な搭載状態を示している。
【００６２】
図４については自車両１を上から見た図である。
【００６３】
以降地面は水平であることとし、１０は自車両１の後方側のバンパーであり、ｙは地面と平行で自車両１の前後方向を示すと共に自車両１の左右方向の中心とするｙ軸である。
【００６４】
ｘは地面と平行で自車両１の左右方向を示すと共に自車両１の最後尾であるバンパー端に位置するｘ軸である。
【００６５】
６はｙ軸とｘ軸が交差する点であり車両原点とする。
【００６６】
車載カメラ２はｙ軸上に配置されているものとする。
【００６７】
図５については自車両１を横から見た図である。
【００６８】
ｙは図４と同一のｙ軸である。
【００６９】
ｚは地面と垂直で自車両１の最後尾であるバンパー端に位置するｚ軸であり、図４と同一の車両原点６と交差する。
【００７０】
７は車載カメラ２のレンズの光軸であり、ｙ軸とのなす角は４０°とする。
【００７１】
３０は撮像位置を示す撮像原点であり、車載カメラ２の撮像位置は車両原点６よりｙ軸方向−０．１ｍ，ｚ軸方向０．９ｍとする。
【００７２】
また、最後尾であるバンパー端のｚ軸方向は０．６ｍとする。
【００７３】
尚、これらの角度や位置関係は１つの例であり、実際は車両の種類によって様々に異なる。
【００７４】
図６、図７、図９、及び図１３は車両原点６を基準にした車載カメラ２が撮像する被写体を示す。
【００７５】
図６において、２１−１はｙ軸に平行な前方向仮想視線であり、２１−２は前方向仮想視線２１−１に垂直でｙ軸方向１．２ｍに位置する前方向平面であり、２１は、前方向平面２１−２上にあって、０．５ｍの均等間隔で地面に対して平行直角な正方形となる、図に示される範囲の前方向平面上の升目であり、２１Ｇは前方向平面上の升目２１に含まれる地面上の車両左右方向直線であり、２１Ｌは前方向平面上の升目２１に含まれ、車両原点６よりｘ軸方向１．５ｍに位置する垂直線であり、２１Ｒは前方向平面上の升目２１に含まれ、車両原点６よりｘ軸方向−１．５ｍに位置する垂直線である。
【００７６】
図７において、２１Ｇは図６における車両左右方向直線２１Ｇと同一であり、２２−１−１はｙ軸から下９０°の方向となる下方向仮想視線であり、２２−１−２は下方向仮想視線２２−１−１に垂直で地面上に位置する下方向平面であり、２２−１は、下方向平面２２−１−２上にあって、０．５ｍの均等間隔で車両左右方向直線２１Ｇに対して平行直角な正方形となる、図に示される範囲の下方向平面上の升目と、車両左右方向直線２１Ｇと、車載カメラ２の真下に相当するｘ軸と平行な地面上の直線とからなる下方向平面上の升目である。
【００７７】
図９において、２１Ｌは図６における垂直線２１Ｌと同一であり、２１Ｒは図６における垂直線２１Ｒと同一であり、２３−１−１Ｌはｙ軸から左４５°の方向となる左方向仮想視線であり、２３−１−２Ｌは左方向仮想視線２３−１−１Ｌに垂直で車両原点６よりｘ軸方向１．５ｍ、ｙ軸方向１．２ｍを通る左方向平面であり、２３−１Ｌは、左方向平面２３−１−２Ｌ上にあって、０．５ｍの均等間隔で地面に対して平行直角な正方形であり、垂直線２１Ｌが含まれる図に示される範囲の左方向平面上の升目であり、２３−１−１Ｒはｙ軸から右４５°の方向となる右方向仮想視線であり、２３−１−２Ｒは右方向仮想視線２３−１−１Ｒに垂直で車両原点６よりｘ軸方向−１．５ｍ、ｙ軸方向１．２ｍを通る右方向平面であり、２３−１Ｒは、右方向平面２３−１−２Ｒ上にあって、０．５ｍの均等間隔で地面に対して平行直角な正方形であり、垂直線２１Ｒが含まれる図に示される範囲の右方向平面上の升目である。
【００７８】
図１３において、２４は、ｙ軸方向−０．１ｍ、及び０ｍから３．５ｍまで０．５ｍ間隔でｘ軸に平行な無限の直線９本と、ｘ軸方向１０ｍ、−１０ｍ、０ｍから±２．５ｍまで０．５ｍ間隔でｙ軸に平行でｙ軸正方向無限の直線１３本からなる地面上の直線であり、２４−１５Ｌは地面上の直線２４に含まれ、ｘ軸方向１．５ｍに位置する車両前後方向直線であり、２４−１５Ｒは地面上の直線２４に含まれ、ｘ軸方向−１．５ｍに位置する車両前後方向直線である。
【００７９】
図１５は画像処理を行う前の撮像画像である。
【００８０】
図４、及び図５に示される搭載状態にて、図６、図７、及び図９に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−１Ｌ、及び右方向平面上の升目２３−１Ｒと、地平線８を同時に撮像した場合、図１５のように撮像されるものとする。
【００８１】
９はイメージサークルであり、レンズ光軸から９０°の方向までが撮像されているものとする。
【００８２】
広角なレンズで撮像した場合、イメージサークル内に示される各線の様に本来直線である被写体が様々に曲がって撮像される。
【００８３】
次に画像処理部３の処理について説明する。
【００８４】
図１６から図２５は、撮像された画像が画像処理部３によって同一処理され、モニタ４によって表示された表示画像である。
【００８５】
通常、車両後方の撮像画像の表示は画像全体を左右反転した鏡像を表示するのが一般的であるが、本発明の実施の形態１及び以降の実施の形態では、撮像画像や表示画像の左右の関係を容易に説明するために、全て左右反転をしない画像を例にすることとする。
【００８６】
図１６はモニタ４の表示範囲に対する画像処理部３の処理後の画像配置を示すものである。
【００８７】
４１−１は表示範囲の中央上側に配置された前方向補正画像表示領域であり、４１−２は前方向補正画像表示領域４１−１の下に配置された下方向補正画像表示領域であり、４１−３Ｌは前方向補正画像表示領域４１−１の左に配置された左方向補正画像表示領域であり、４１−３Ｒは前方向補正画像表示領域４１−１の右に配置された右方向補正画像表示領域であり、４１−４は前方向補正画像表示領域４１−１と下方向補正画像表示領域４１−２が隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４１−５Ｌは前方向補正画像表示領域４１−１と左方向補正画像表示領域４１−３Ｌが隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４１−５Ｒは前方向補正画像表示領域４１−１と右方向補正画像表示領域４１−３Ｒが隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４１−６Ｌ、４１−６Ｒ、４１−７Ｌ、及び４１−７Ｒは前方向補正画像表示領域４１−１、下方向補正画像表示領域４１−２、左方向補正画像表示領域４１−３Ｌ、及び右方向補正画像表示領域４１−３Ｒ以外の表示領域に任意色が常に表示されるようにした面マスク描画である。
【００８８】
図１７は図１６の配置にて図１５の撮像画像を処理した画像である。
【００８９】
図１７における、前方向補正画像表示領域４１−１に表示する画像は、被写体が前方向平面上の升目２１であった場合に、表示上で水平垂直な正方形でそれぞれの正方形の大きさが同じになるよう補正している。
【００９０】
尚、表示する升目は長方形となるような補正としても良い。
【００９１】
また、前方向補正画像表示領域４１−１における、下辺は車両左右方向直線２１Ｇと、左辺は垂直線２１Ｌと、右辺は垂直線２１Ｒと一致させている。
【００９２】
下方向補正画像表示領域４１−２に表示する画像は、被写体が下方向平面上の升目２２−１のうちの正方形の升目であった場合に、表示上で水平垂直な正方形でそれぞれの正方形の大きさが同じになるよう補正している。
【００９３】
尚、表示する升目は長方形となるような補正としても良い。
【００９４】
また、下方向補正画像表示領域４１−２における、上辺は、車両左右方向直線２１Ｇと一致させ、前方向補正画像表示領域４１−１の下辺の配置と隣接させ、ｘ軸方向の位置が前方向補正画像表示領域４１−１における下辺の車両左右方向直線２１Ｇのｘ軸方向の位置と一致させている。
【００９５】
また、下方向補正画像表示領域４１−２における、左辺は垂直線２１Ｌとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｌと一致させている。
【００９６】
また、下方向補正画像表示領域４１−２における、右辺は垂直線２１Ｒとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｒと一致させている。
【００９７】
尚、下方向補正画像表示領域４１−２における下辺は、撮像位置であるｙ軸方向−０．１ｍと一致させているが、ｙ軸方向でどこまでを表示させるかは任意である。
【００９８】
左方向補正画像表示領域４１−３Ｌに表示する画像は、被写体が左方向平面上の升目２３−１Ｌであった場合に、表示上で水平垂直な縦長の長方形でそれぞれの縦長の長方形の大きさが同じになるよう補正している。
【００９９】
左方向平面上の升目２３−１Ｌが左方向平面上で無限に続く正方形の升目であった場合は、左方向補正画像表示領域４１−３Ｌ全体に渡って長方形の升目が表示されるよう補正している。
【０１００】
尚、表示する升目は正方形、横長の長方形となるような補正としても良い。
【０１０１】
また、左方向補正画像表示領域４１−３Ｌにおける、右辺は、垂直線２１Ｌと一致させ、前方向補正画像表示領域４１−１の左辺の配置と隣接させ、ｚ軸方向の位置が前方向補正画像表示領域４１−１における左辺の垂直線２１Ｌのｚ軸方向の位置と一致させている。
【０１０２】
また、左方向補正画像表示領域４１−３Ｌにおける、下辺は垂直線２１Ｌとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｌと一致させている。
【０１０３】
尚、左方向補正画像表示領域４１−３Ｌにおける、左上の左下がりの辺は、イメージサークル９であり、この辺より左上には画像が撮像されない。そのために面マスク描画４１−７Ｌと共に斜めの形状となっているが、搭載状態やレンズの特性によって撮像できていればこの辺は不要である。
【０１０４】
また、左方向補正画像表示領域４１−３Ｌにおける左辺は、撮像位置であるｙ軸方向−０．１ｍと一致させているが、ｙ軸方向でどこまでを表示させるかは任意である。
【０１０５】
右方向補正画像表示領域４１−３Ｒに表示する画像は、被写体が右方向平面上の升目２３−１Ｒであった場合に、表示上で水平垂直な縦長の長方形でそれぞれの縦長の長方形の大きさが同じになるよう補正している。
【０１０６】
右方向平面上の升目２３−１Ｒが右方向平面上で無限に続く正方形の升目であった場合は、右方向補正画像表示領域４１−３Ｒ全体に渡って長方形の升目が表示されるよう補正している。尚、表示する升目は正方形、横長の長方形となるような補正としても良い。
【０１０７】
また、右方向補正画像表示領域４１−３Ｒにおける、左辺は、垂直線２１Ｒと一致させ、前方向補正画像表示領域４１−１の右辺の配置と隣接させ、ｚ軸方向の位置が前方向補正画像表示領域４１−１における右辺の垂直線２１Ｒのｚ軸方向の位置と一致させている。
【０１０８】
右方向補正画像表示領域４１−３Ｒにおける、下辺は垂直線２１Ｒとｘ軸方向で同一距離である車両前後方向直線２４−１５Ｒと一致させている。
【０１０９】
尚、右方向補正画像表示領域４１−３Ｒにおける、右上の右下がりの辺は、イメージサークル９であり、この辺より右上には画像が撮像されない。そのために面マスク描画４１−７Ｒと共に斜めの形状となっているが、搭載状態やレンズの特性によって撮像できていればこの辺は不要である。
【０１１０】
また、右方向補正画像表示領域４１−３Ｒにおける右辺は、撮像位置であるｙ軸方向−０．１ｍと一致させているが、ｙ軸方向でどこまでを表示させるかは任意である。
【０１１１】
以上の様な画像処理部３の処理にて、図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は、図１８のように表示される。
【０１１２】
地面上の直線２４と地平線８と自車両１のバンパー１０に加え、１辺が１．５ｍの正六面体で地面上に存在する直方体１１を同時に撮像した場合で、直方体１１がｙ軸方向１．５ｍ、ｘ軸方向１０ｍに位置する時、図１９のように表示され、直方体１１がｙ軸方向１．５ｍ、ｘ軸方向２．５ｍに位置する時、図２０のように表示され、直方体１１がｙ軸方向１．５ｍ、ｘ軸方向１．０ｍに位置する時、図２１のように表示され、直方体１１がｙ軸方向３．５ｍ、ｘ軸方向２．５ｍに位置する時、図２２のように表示され、直方体１１がｙ軸方向２．５ｍ、ｘ軸方向２．５ｍに位置する時、図２３のように表示され、直方体１１がｙ軸方向０．５ｍ、ｘ軸方向２．５ｍに位置する時、図２４のように表示される。
【０１１３】
地面上の直線２４と地平線８と自車両１のバンパー１０に加え、地面上に存在し幅０．５ｍ、奥行き０．１ｍ、高さ０．１ｍの直方体であって、ｘ軸方向０．５ｍと−０．５ｍの２ヶ所に位置し、ｙ軸方向１．５ｍに位置する直方体１２−１と、ｙ軸方向１．１ｍに位置する直方体１２−２と、ｙ軸方向０．５ｍに位置する直方体１２−３とを同時に撮像した場合は図２５のように表示される。
【０１１４】
図１５と図１７とを比較してわかるように、前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒが正方形又は長方形に表示されることから、処理画像は車両前後方向であるｙ軸を基準に０°、左右４５°、真下９０°の仮想的な目線に近い形状で変換されている。
【０１１５】
そして実際の目線の見え方と似た配置関係に前方向補正画像表示領域４１−１、下方向補正画像表示領域４１−２、左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒがある。
【０１１６】
これらは図１８から図２５に表示された地面上の直線２４、地平線８、バンパー１０、各位置にある直方体１１、直方体１２−１１から直方体１２−３の表示位置や形状から見ても明らかである。
【０１１７】
更に全ての直線は直線で表示され、左右の見渡しに相当する前方向補正画像表示領域４１−１、左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒにおいては、地面に垂直な直線が表示される画像上で垂直に表示され、自車両１の後方の上下の見渡しに相当する前方向補正画像表示領域４１−１、下方向補正画像表示領域４１−２においては、地面に平行な車両左右方向の直線が、各直方体含めて表示される画像上で水平に表示される。
【０１１８】
図１８における左方向補正画像表示領域４１−３Ｌ、及び右方向補正画像表示領域４１−３Ｒにおいて、地面上の直線２４におけるｙ軸方向−０．１ｍでｘ軸に平行な無限の直線が表示できていることと、その直線と地平線８が交差している所まで表示できていることから、車載カメラ２の位置から水平方向で１８０゜の範囲まで広角な表示できている。
【０１１９】
図１７における下方向平面上の升目２２−１において、ｙ軸方向−０．１ｍでｘ軸に平行な直線が表示できていることから、車載カメラ２の位置の真下まで表示できている。
【０１２０】
図１８において、車両前後方向直線２４−１５Ｌ、及び車両前後方向直線２４−１５Ｒは、下方向補正画像表示領域４１−２、左方向補正画像表示領域４１−３Ｌ、及び右方向補正画像表示領域４１−３Ｒにそれぞれ表示できていることから、車両前後方向直線２４−１５Ｌ、及び車両前後方向直線２４−１５Ｒ付近の撮像画像は欠落無く表示できている。
【０１２１】
図１９から図２１は、図６１の移動体Ｔと同様に直方体１１が自車両１の左から右方向に移動し、左方向補正画像表示領域４１−３Ｌから前方向補正画像表示領域４１−１へと直方体１１の表示位置が移動する例で、左方向補正画像表示領域４１−３Ｌと補正画像表示領域４１−１を跨る位置で直方体１１の線に折り目は入るものの線のずれといった段差無く表示位置が移動し、目線はそのまま左から右への移動が継続する。
【０１２２】
右方向補正画像表示領域４１−３Ｒと補正画像表示領域４１−１の関係も同様である。
【０１２３】
図２２から図２４は、自車両１の後方かつ側方にあたる直方体１１が車両前後方向で自車両１に近づくか、もしくは自車両１が車両前後方向で直方体１１方向に移動して直方体１１に近づくことと同様の例で、直方体１１の表示位置の移動は図１９から図２１と同様、段差無く表示位置が移動し、目線はそのまま右から左への移動が継続することに加え、表示される画像の上下方向の大きさが、直方体１１と自車両１との距離が近づくのと合わせて大きくなり、距離感の視認性が保たれている。
【０１２４】
更にこの場合の直方体１１の移動方向は左方向補正画像表示領域４１−３Ｌの下辺の傾きからも容易に想像できる。
【０１２５】
図２５は自車両１が車庫入れ等で後退し、車止めに近づく場合を想定している例で、直方体１２−１から直方体１２−３は自車両１との距離が近づく場面を同時に示したものである。この場合も図１９から図２１の直方体１１の移動と同様、線に折り目は入るものの線のずれといった段差無く表示位置が移動し、目線はそのまま上から下への移動が継続する。
【０１２６】
更にこの場合の直方体１２−１１から直方体１２−３の移動方向は下方向補正画像表示領域４１−２の左辺、及び右辺の傾きからも容易に想像できる。
【０１２７】
尚、前方向仮想視線２１−１、下方向仮想視線２２−１−１、左方向仮想視線２３−１−１Ｌ、右方向仮想視線２３−１−１Ｒはどの位置を通過しても良い。
【０１２８】
また、各方向補正画像表示領域の境界に表示される画像が一致させていることを簡単に図示するために、各方向平面の交差する位置と直接各方向補正画像表示領域の境界の位置とを一致させているが、前方向平面２１−２、下方向平面２２−１−２、左方向平面２３−１−２Ｌ、右方向平面２３−１−２Ｒについても各方向仮想視線に基づく角度が保たれていればどの位置を通過しても良く、前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒについても各方向平面内で正方形の升目となる被写体であれば良い。
【０１２９】
一方で左方向仮想視線２３−１−１Ｌ、及び右方向仮想視線２３−１−１Ｒはｙ軸から左、又は右方向に０°、又は９０°とはしない。
【０１３０】
仮にｙ軸から左０°及びｙ軸から右０°とした場合、図９に示される左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒに相当する升目は、図１１に示される左方向平面上の升目２３−３Ｌ、右方向平面上の升目２３−３Ｒのようになる。
【０１３１】
従って、図６、図７、及び図１１に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−３Ｌ、及び右方向平面上の升目２３−３Ｒと、地平線８を同時に撮像した場合、図２６のように撮像され図１６に相当する画像配置は例えば図２７のようになる。
【０１３２】
図２７に示される４１−１、４１−２、４１−４は図１６と同一であり、４２−３Ｌは左方向平面上の升目２３−３Ｌに対応した補正画像が表示される左方向補正画像表示領域であり、４２−３Ｒは右方向平面上の升目２３−３Ｒに対応した補正画像が表示される右方向補正画像表示領域であり、４２−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４２−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４２−６Ｌ、４２−６Ｒは面マスク描画４１−６Ｌ、４１−６Ｒに相当する面マスク描画であり、図２６の撮像画像は図２８のように表示される。
【０１３３】
尚、左方向補正画像表示領域４２−３Ｌの左上、右方向補正画像表示領域４２−３Ｒの右上は撮像されている範囲であるので面マスク描画４１−７Ｌ、及び４１−７Ｒに相当する面マスク描画は無い。
【０１３４】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図２９のように表示される。
【０１３５】
特に左右方向１８０°は車両左右方向無限の直線を表示することに相当するので表示させることは不可能である。
【０１３６】
このことから左右方向の表示範囲が狭くなることが言えるが、図２９からわかるように、左方向、及び右方向の表示範囲は図１８と比較して明らかに狭くなっている。更に横方向の目線であるべき画像が前方向の目線に相当する画像に補正されているので横方向に引き伸ばされた不自然な形状になる。
【０１３７】
仮にｙ軸から左９０°及びｙ軸から右９０°とした場合、図９に示される左方向平面上の升目２３−１Ｌ、右方向平面上の升目２３−１Ｒに相当する升目は、図１２に示される左方向平面上の升目２３−４Ｌ、右方向平面上の升目２３−４Ｒのようになる。
【０１３８】
従って、図６、図７、及び図１２に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−４Ｌ、及び右方向平面上の升目２３−４Ｒと、地平線８を同時に撮像した場合、図３０のように撮像され図１６に相当する画像配置は例えば図３１のようになる。
【０１３９】
図３１に示される４１−１、４１−２、４１−４は図１６と同一であり、４３−３Ｌは左方向平面上の升目２３−４Ｌに対応した補正画像が表示される左方向補正画像表示領域であり、４３−３Ｒは右方向平面上の升目２３−４Ｒに対応した補正画像が表示される右方向補正画像表示領域であり、４３−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４３−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４３−６Ｌ、４３−６Ｒ、４３−７Ｌ、４３−７Ｒは面マスク描画４１−６Ｌ、４１−６Ｒ、４１−７Ｌ、４１−７Ｒに相当する面マスク描画であり、図３０の撮像画像は図３２のように表示される。
【０１４０】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図３３のように表示される。
【０１４１】
図３３からわかるように、左方向補正画像表示領域４１−１に表示される車両左右方向の直線と、左方向補正画像表示領域４３−３Ｌ、及び右方向補正画像表示領域４３−３Ｒに表示される車両前後方向の直線が共に水平に表示されるので、前後関係と左右関係の区別がつかなくなる。
【０１４２】
下方向仮想視線２２−１−１においても、左方向仮想視線２３−１−１Ｌ、及び右方向仮想視線２３−１−１Ｒをｙ軸から前記左右０°とした場合と同様の原理からｙ軸から下方向に０°とはしない。
【０１４３】
以上のように本実施の形態によれば、前、左右、及び下方向の広い範囲が欠落無く表示され、画像全体が実際の目線に近い形状や配置で表示され、尚かつ遠方である水平線が３つの表示領域に渡って水平に表示され、至近距離から遠方の範囲の被写体まで１ヶ所から見渡したかの如く画像全体を視認しやすい。
【０１４４】
また、前後方向、又は一定以上の離れた距離の左右方向を移動する被写体は途切れや段差なく表示されるので、運転支援に有効な左右方向もしくは前後方向の目線の移動が容易になる。
【０１４５】
また、直線の被写体は各表示領域内では全て直線で表示されるので、方向性を視認しやすい上に、左右の見渡しに相当する画像において地面に対して垂直な直線が垂直に表示されるので、運転支援に有効な地面と障害物の上下関係の視認性を向上させ、上下の見渡しに相当する画像において車両の真横方向の直線が水平に表示されるので、バンパー等の変形が抑えられた車両端部の表示と合わせて横方向に対する車両方向関係の視認性を向上させ、更に表示領域の辺の形状と合わせることで、運転支援に有効な車両の前後方向の視認性をも向上させる。
【０１４６】
隣接した各表示領域の境界部分の直線は折れているが、マスク描画によってその境界を視認できるので各表示領域別に視線が異なることを視認できる。
【０１４７】
（実施の形態２）
図３７は、本発明の実施の形態１から左方向補正画像表示領域、及び右方向補正画像表示領域を調節した本発明の実施の形態２における表示画像である。
【０１４８】
図１０において、２３−２−１Ｌは図９における左方向仮想視線２３−１−１Ｌのｙ軸から左４５°の方向を６０°に調節した左方向仮想視線であり、２３−２−２Ｌは左方向仮想視線２３−２−１Ｌに垂直で左方向平面２３−１−２Ｌと同様ｘ軸方向１．５ｍ、ｙ軸方向１．２ｍを通る左方向平面であり、２３−２−１Ｒは図９における右方向仮想視線２３−１−１Ｒのｙ軸から右４５°の方向を６０°に調節した右方向仮想視線であり、２３−２−２Ｒは右方向仮想視線２３−２−１Ｒに垂直で右方向平面２３−１−２Ｒと同様ｘ軸方向−１．５ｍ、ｙ軸方向１．２ｍを通る右方向平面であり、２３−２Ｌは左方向平面２３−２−２Ｌ上にあって、左方向平面上の升目２３−１Ｌに相当する図に示される範囲の左方向平面上の升目であり、２３−２Ｒは右方向平面２３−２−２Ｒ上にあって、左方向平面上の升目２３−１Ｌに相当する図に示される範囲の右方向平面上の升目である。
【０１４９】
図６、図７、及び図１０に示される前方向平面上の升目２１、下方向平面上の升目２２−１、左方向平面上の升目２３−２Ｌ、及び右方向平面上の升目２３−２Ｒと、地平線８を同時に撮像した場合、図３４のように撮像され図１６に相当する画像配置は例えば図３５のようになる。
【０１５０】
図３５に示される４１−１、４１−２、４１−４は図１６と同一であり、４４−３Ｌは左方向平面上の升目２３−２Ｌに対応した補正画像が表示される左方向補正画像表示領域であり、４４−３Ｒは右方向平面上の升目２３−３Ｒに対応した補正画像が表示される右方向補正画像表示領域であり、４４−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４４−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４４−６Ｌ、４４−６Ｒ、４４−７Ｌ、４４−７Ｒは面マスク描画４１−６Ｌ、４１−６Ｒ、４１−７Ｌ、４１−７Ｒに相当する面マスク描画であり、図３４の撮像画像は図３６のように表示される。
【０１５１】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図３７のように表示される。
【０１５２】
車両前後方向直線２４−１５Ｌと一致する左方向補正画像表示領域４４−３Ｌの下辺の傾きが、左方向補正画像表示領域４１−３Ｌと比較して水平方向に緩やかである。
【０１５３】
車両前後方向直線２４−１５Ｒと一致する右方向補正画像表示領域４４−３Ｒの下辺の傾きも、右方向補正画像表示領域４１−３Ｒと比較して水平方向に緩やかである。
【０１５４】
このように左方向仮想視線、及び右方向仮想視線の角度を調節することによって、地平線８の表示される傾きを変えずに車両前後方向直線の表示される傾きを前方向補正画像表示領域に対して緩やかにできていることがわかる。
【０１５５】
本発明の実施の形態１における図２４と同様の撮像条件の場合は図３９のように表示される。
【０１５６】
図２４に表示される直方体１１の形状に対して図３９に表示される直方体１１の形状は左方向に開いた台形から長方形へと近づいているが、車両前後方向の傾きは残っている。
【０１５７】
尚、左方向仮想視線、及び右方向仮想視線の角度を調節せずとも左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒを横方向に引き伸ばし、そこに表示される補正画像も平面上の升目が常に同じ大きさの長方形になることを維持しつつ横方向に引き伸ばせば、車両前後方向直線の表示される傾きの関係を同様に調節できる。
【０１５８】
左方向仮想視線、及び右方向仮想視線の角度調節、及び左方向及び右方向の補正画像表示領域の引き伸ばし、の両方によっても車両前後方向直線の表示される傾きの関係を調節できる。
【０１５９】
これらは表示領域全体と、前方向及び下方向の補正画像表示領域の大きさとの関係を考慮して調節すれば良い。
【０１６０】
以上のように本実施の形態によれば、左方向及び右方向補正画像表示領域に表示される前記地面上の車両前後方向直線は、遠い位置ほど地平線に近くなるような傾きが残っているので車両前後方向である奥行きの視認性は保持されるが、被写体の車両前後方向の像の傾きも軽減されることになるので実際の目線の見え方に近づけることができ、被写体の視認性が向上する。
【０１６１】
（実施の形態３）
図４２は、本発明の実施の形態２から左方向補正画像表示領域または右方向補正画像表示領域を調節した本発明の実施の形態３における表示画像である。
【０１６２】
図４０における４１−１、４１−２、４１−４は図１６と同一であり、４５−３Ｌは左方向補正画像表示領域４４−３Ｌを変形させた左方向補正画像表示領域であり、４５−３Ｒは右方向補正画像表示領域４４−３Ｒを変形させた右方向補正画像表示領域であり、４５−５Ｌは点線マスク描画４４−５Ｌに相当する点線マスク描画であり、４５−５Ｒは点線マスク描画４４−５Ｒに相当する点線マスク描画であり、４５−６Ｌ、４５−６Ｒ、４５−７Ｌ、４５−７Ｒは面マスク描画４４−６Ｌ、４４−６Ｒ、４４−７Ｌ、４４−７Ｒに相当する面マスク描画であり、図３４の撮像画像は図４１のように表示される。
【０１６３】
左方向補正画像表示領域４５−３Ｌに表示される補正画像は、左方向平面上の升目２３−２Ｌが視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目となるように変形しており、左方向補正画像表示領域４５−３Ｌはこの変形に合わせている。
【０１６４】
右方向補正画像表示領域４５−３Ｒに表示される補正画像は、左方向平面上の升目２３−２Ｒが視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目となるように変形しており、右方向補正画像表示領域４５−３Ｒはこの変形に合わせている。
【０１６５】
このようにすることで、図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図４２のように表示される。
【０１６６】
前方向補正画像表示領域４１−１に表示される地平線８は水平のまま表示され、これと繋がって左方向補正画像表示領域４５−３Ｌに表示される地平線８は視認できる程度の緩やかな左下がりとなり、右方向補正画像表示領域４５−３Ｒに表示される地平線８は視認できる程度の緩やかな右下がりとなる。
【０１６７】
尚、本発明の実施の形態１における図１９と同様の撮像条件の場合は図４３のように表示され、変形前の本発明の実施の形態２であれば図３８のように表示される。
【０１６８】
図１９と同様の撮像条件における直方体１１の位置であれば、図３８に表示される直方体１１の車両前後方向の上辺の傾きのように緩やかな右下がりであるのが実際の目線の見え方に近いが、図４３ではほぼ水平に表示されている。
【０１６９】
このように車両前後方向の形状において、地平線８の上付近のみの限られた範囲で実際の目線の見え方とは少し異なるが、左方向又は右方向の補正画像表示領域全体の視認性には影響は無いと言える。
【０１７０】
以上のように本実施の形態によれば、近くに立体物が無く模様の無い無限の前記地面を撮像した場合であっても、地平線が表示される画像上で視認できる程度の山なりの表示となるので、前方向補正画像表示領域が前方向を、左方向補正画像表示領域が左方向を、右方向補正画像表示領域が右方向を表示していると視認することができる。
【０１７１】
（実施の形態４）
図４７は、本発明の実施の形態１から下方向補正画像表示領域を調節した本発明の実施の形態４における表示画像である。
【０１７２】
図８において、２２−２−１は図７における下方向仮想視線２２−１−１のｙ軸から下９０°の方向を５９°に調節した下方向仮想視線であり、２２−２−２は下方向仮想視線２２−２−１に垂直で下方向平面２２−１−２と同様ｙ軸方向１．２ｍ、ｚ軸方向０ｍを通る下方向平面であり、２２−２は下方向平面２２−２−２上にあって、下方向平面上の升目２２−１に相当する図に示される範囲の下方向平面上の升目である。
【０１７３】
但し、各車両左右方向直線は地面上にある車両左右方向直線２１Ｇを基準に０．５ｍ間隔としている。
【０１７４】
図６、図８、及び図９に示される前方向平面上の升目２１、下方向平面上の升目２２−２、左方向平面上の升目２３−１Ｌ、及び右方向平面上の升目２３−１Ｒと、地平線８を同時に撮像した場合、図４４のように撮像され図１６に相当する画像配置は例えば図３５のようになる。
【０１７５】
但し、下方向平面上の升目２２−２は地面を透過して撮像できるものとする。
【０１７６】
図４５に示される４１−１、４１−３Ｌ、４１−３Ｒ、４１−５Ｌ、４１−５Ｒ、４１−７Ｌ、４１−７Ｒは図１６と同一であり、４６−２は下方向平面上の升目２２−２に対応した補正画像が表示される下方向補正画像表示領域であり、４６−４は点線マスク描画４１−４に相当する点線マスク描画であり、４６−８Ｌは左方向補正画像表示領域４１−３Ｌと下方向補正画像表示領域４６−２が隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画であり、４６−８Ｒは右方向補正画像表示領域４１−３Ｒと下方向補正画像表示領域４６−２が隣接する辺の表示位置に任意色の点線が常に表示されるようにした点線マスク描画である。
【０１７７】
図４６は図４５の配置にて図４４の撮像画像を処理した画像である。
【０１７８】
図４６において、下方向補正画像表示領域４６−２に表示する画像は、被写体が下方向平面上の升目２２−２であった場合に、表示上で水平垂直な横長の長方形でそれぞれの横長の長方形の大きさが同じになるよう補正している。
【０１７９】
下方向平面上の升目２２−２が下方向平面上で無限に続く正方形の升目であった場合は、下方向補正画像表示領域４６−２全体に渡って長方形の升目が表示されるよう補正している。
【０１８０】
尚、表示する升目は正方形、縦長の長方形となるような補正としても良いが、前方向補正画像表示領域４１−１、左方向補正画像表示領域４１−３Ｌ、右方向補正画像表示領域４１−３Ｒとの相互関係で決まる。
【０１８１】
また、下方向補正画像表示領域４６−２における、上辺は、車両左右方向直線２１Ｇと一致させ、前方向補正画像表示領域４１−１の下辺の配置と隣接させ、ｘ軸方向の位置が前方向補正画像表示領域４１−１における下辺の車両左右方向直線２１Ｇのｘ軸方向の位置と一致させている。
【０１８２】
図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図４７のように表示される。
【０１８３】
下方向補正画像表示領域４６−２における、左辺は車両前後方向直線２４−１５Ｌと一致させ、左方向補正画像表示領域４１−３Ｌの下辺の配置と隣接させ、ｙ軸方向の位置が左方向補正画像表示領域４１−３Ｌにおける下辺の車両前後方向直線２４−１５Ｌのｙ軸方向の位置と一致させている。
【０１８４】
下方向補正画像表示領域４６−２における、右辺は車両前後方向直線２４−１５Ｒと一致させ、右方向補正画像表示領域４１−３Ｒの下辺の配置と隣接させ、ｙ軸方向の位置が右方向補正画像表示領域４１−３Ｒにおける下辺の車両前後方向直線２４−１５Ｒのｙ軸方向の位置と一致させている。
【０１８５】
地面上の直線２４と地平線８と自車両１のバンパー１０に加え、１辺が１ｍの正六面体で地面上に存在する直方体１３を同時に撮像した場合で、直方体１３がｙ軸方向０．５ｍ、ｘ軸方向２ｍに位置する時、図４９のように表示され、直方体１３がｙ軸方向０．５ｍ、ｘ軸方向１ｍに位置する時、図５０のように表示され、直方体１３がｙ軸方向０．５ｍ、ｘ軸方向中央に位置する時、図５１のように表示される。
【０１８６】
図４９から図５１は、直方体１３が車両前後方向で自車両１の至近距離において自車両１の左から右方向に移動し、左方向補正画像表示領域４１−３Ｌから下方向補正画像表示領域４６−２、及び前方向補正画像表示領域４１−１へと直方体１３の表示位置が移動する例で、左方向補正画像表示領域４１−３Ｌ、下方向補正画像表示領域４６−２、及び前補正画像表示領域４１−１を跨る位置で直方体１３の線に折り目は入るものの線のずれといった段差無く表示位置が移動し、直方体１３の下部を見ている場合の目線はそのまま左から下への移動が継続する。右方向補正画像表示領域４７−３Ｒと前方向補正画像表示領域４１−１の関係も同様である。
【０１８７】
尚、本発明の実施の形態４において下方向仮想視線はｙ軸から下９０°の方向とはできない。
【０１８８】
下９０°の場合、本発明の実施の形態１から３のように下方向補正画像表示領域の左辺、及び右辺は表示される画像上で垂直になるため、左方向補正画像表示領域や右方向補正画像表示領域の下辺と隣接させることはできないためである。従って下方向仮想視線はｙ軸から下９０°未満となるため図４７の下方向補正画像表示領域４６−２に表示される車両前後方向直線からもわかるように、前向きの目線に近い画像になる。
【０１８９】
以上のように本実施の形態によれば、下方向補正画像表示領域の目線は前方向への傾きを持った方向に限定されるが、左右方向から下方向においても途切れや段差無く表示されるので、表示される画像全体の位置関係を更に視認しやすくなり、尚かつ画面上で移動する被写体に対する目線の移動が表示される画像全体に渡って容易になる。
【０１９０】
（実施の形態５）
図５４は、本発明の実施の形態４から左方向補正画像表示領域、右方向補正画像表示領域、下方向補正画像表示領域を調節した本発明の実施の形態５における表示画像である。
【０１９１】
図５２における４１−１は図１６と同一であり、４７−３Ｌは左方向補正画像表示領域４１−３Ｌを変形させた左方向補正画像表示領域であり、４７−３Ｒは右方向補正画像表示領域４１−３Ｒを変形させた右方向補正画像表示領域であり、４７−２は下方向補正画像表示領域４６−２を変形させた下方向補正画像表示領域であり、４７−５Ｌは点線マスク描画４１−５Ｌに相当する点線マスク描画であり、４７−５Ｒは点線マスク描画４１−５Ｒに相当する点線マスク描画であり、４７−４は点線マスク描画４６−４に相当する点線マスク描画であり、４７−８Ｌは点線マスク描画４６−８Ｌに相当する点線マスク描画であり、４７−８Ｒは点線マスク描画４６−８Ｒに相当する点線マスク描画であり、４７−７Ｌ、４７−７Ｒは面マスク描画４１−７Ｌ、４１−７Ｒに相当する面マスク描画であり、図４４の撮像画像は図５３のように表示される。
【０１９２】
左方向補正画像表示領域４７−３Ｌに表示される補正画像は、左方向平面上の升目２３−１Ｌが視認できる程度の緩やかな左下がりとなる同じ大きさの平行四辺形の升目となるように変形しており、左方向補正画像表示領域４７−３Ｌはこの変形に合わせている。
【０１９３】
右方向補正画像表示領域４７−３Ｒに表示される補正画像は、右方向平面上の升目２３−１Ｒが視認できる程度の緩やかな右下がりとなる同じ大きさの平行四辺形の升目となるように変形しており、右方向補正画像表示領域４７−３Ｒはこの変形に合わせている。
【０１９４】
更に左方向の平行四辺形の升目の形状や大きさは、右方向の平行四辺形の升目を左右反転させた場合と同じにしている。
【０１９５】
下方向補正画像表示領域４７−２に表示される補正画像は、左方向補正画像表示領域４７−３Ｌ、右方向補正画像表示領域４７−３Ｒの変形に合わせて下方向に引き伸ばされ、下方向平面上の升目２２−２が表示される長方形の升目の垂直辺は下方向補正画像表示領域４６−２で表示される長方形の升目の垂直辺よりも長くなるように変形している。
【０１９６】
このようにすることで、図１３に示される地面上の直線２４と地平線８と自車両１のバンパー１０を同時に撮像した場合は図５４のように表示される。
【０１９７】
本発明の実施の形態５における左方向平面、及び右方向平面の角度は、本発明の実施の形態３における左方向平面、及び右方向平面の角度とは異なるものの、水平線８の表示される傾きは本発明の実施の形態３と同様となる。
【０１９８】
本発明の実施の形態１における図１９と同様の撮像条件の場合は図５５のように表示され、変形前の本発明の実施の形態４であれば図４８のように表示される。
【０１９９】
同じく左方向平面と右方向平面の角度は本発明の実施の形態３とは異なるものの、直方体１１の車両前後方向の上辺の傾きは本発明の実施の形態３と同様となる。
【０２００】
一方で図５４の下方向補正画像表示領域４７−２に表示される補正画像は図４７の下方向補正画像表示領域４６−２に表示される補正画像と比較して視認できるほどの差は見られない。
【０２０１】
以上のように本実施の形態によれば、下方向補正画像表示領域が左方向及び右方向補正画像表示領域に繋がっている場合であっても、下方向補正画像表示領域の視認性に影響無く本発明の実施の形態３と同様の視認性が得られる。
【０２０２】
（実施の形態６）
図５６は、前方向と左方向又は右方向補正画像表示領域の境界位置を図１４の位置関係に基づいて調節した本発明の実施の形態６における表示画像である。
【０２０３】
図１４において車載カメラ２は図示しないが図４、図５のように自車両１に搭載されているものとし、２５−３は自車両１がハンドルを最大に切って曲がった場合に通過する地面上の車両通過範囲の最も内側を示す車両通過範囲内側の円であり、２５−４は自車両１がハンドルを最大に切って曲がった場合に通過する地面上の車両通過範囲の最も外側を示す車両通過範囲外側の円であり、車両通過範囲内側の円２５−３と車両通過範囲外側の円２５−４は同心円であるものとし、２５−２は同心円である車両通過範囲円の中心であり、２５−１は撮像位置真下を示す前記地面上の撮像原点であり、２５−５は地面上の撮像原点２５−１を通る車両通過範囲内側の円２５−３との接線であり、２５−６は接線２５−５と車両通過範囲内側の円２５−３の接点であり、２５−７は任意であるｘ軸方向１．５ｍとなる接線２５−５上の画像分離基準点である。
【０２０４】
本発明の実施の形態２では図１４の位置関係に基づいて調節したものでは無いが、図１４の位置関係に基づいて調節した結果として、本発明の実施の形態６は本発明の実施の形態２と同様の図３５、図３６の処理と一致したものとして説明する。
【０２０５】
図５６は本発明の実施の形態２と同様の図３５、図３６の処理による表示画像であり、図３７と同様の被写体に加え、車両通過範囲内側の円２５−３が左方向補正画像表示領域４４−３Ｌに表示された場合の画像である。
【０２０６】
ただし、実際に車両通過範囲内側の円２５−３を描画するものでは無く、位置関係を説明する上で図示した画像である。
【０２０７】
図５６において、２５−８は下方向補正画像表示領域４１−２、前方向補正画像表示領域４１−１、左方向補正画像表示領域４４−３Ｌの境界を示す画像分離点である。
【０２０８】
画像分離点２５−８は下方向補正画像表示領域４１−２、前方向補正画像表示領域４１−１、左方向補正画像表示領域４４−３Ｌの全てにおいて、ｘ軸方向、ｙ軸方向、ｚ軸方向の位置が一致することになる。
【０２０９】
そこで下方向補正画像表示領域４１−２において自車両１の車幅より広めの左右１．５ｍを表示することを目的とした場合、ｙ軸方向は画像分離基準点２５−７の１．１６ｍ付近である１．２ｍになる関係に調節する。
【０２１０】
この調節によって、点線マスク描画４４−５Ｌは表示されるｚ軸方向のいかなる高さにおいても地面上の撮像原点２５−１からｘ軸方向１．５ｍ、ｙ軸方向１．２ｍの方向を示す。
【０２１１】
従って画像分離基準点２５−７と画像分離点２５−８の位置関係からもわかるように車両通過範囲内側の円２５−３は、主に左方向補正画像表示領域４４−３Ｌに表示されると共に、接点２５−６は点線マスク描画４４−５Ｌ付近の位置関係となる。
【０２１２】
車両通過範囲内側の円２５−３からｚ軸方向に高さがある立体物は、表示上車両通過範囲内側の円２５−３の垂直方向に表示される。
【０２１３】
図３９における直方体１１は接点２５−６付近に角がある立体物に相当し、その角の垂直な辺は点線マスク描画４４−５Ｌ付近に表示されている。この時、ハンドルを最大に切って曲がった場合に自車両１は直方体１１の真横を通過することになる。
【０２１４】
つまり、直方体１１を前方向補正画像表示領域４１−１に表示させずに左方向補正画像表示領域４４−３Ｌに表示させるよう予め自車両１を操作すれば、次に自車両１のハンドルを最大に切って曲がる車庫入れ等の際に直方体１１に接触しないであろう位置関係に近いと視認できる。
【０２１５】
尚、至近距離においての自車両１との位置関係は下方向補正画像表示領域４１−２によって視認できるため、それよりも遠い範囲における障害物との位置関係としておおよそ視認できれば良い。
【０２１６】
以上のように本実施の形態によれば、左方向、又は右方向の補正画像表示領域と前方向補正画像表示領域の境界を示す直線のマスク描画が、ハンドルを最大に切って曲がった場合に立体物と接触するか否かの目安線にもなり、車庫入れ等の車の移動と障害物の位置関係の視認性が向上する。
【産業上の利用可能性】
【０２１７】
本発明にかかる運転支援表示装置は、車両後方、又は前方の、前、左右、及び下方向の広い範囲の撮像から表示において、目的に応じた視認性の高い被写体の形状表示、被写体と車両の方向性や位置関係の視認性向上、及び画面上で移動する被写体に対する目線の移動を容易にする運転支援表示装置として幅広く有用である。
【符号の説明】
【０２１８】
１ 自車両
２ 車載カメラ
２−１〜２−ｎ 車載カメラ
３ 画像処理部
４ モニタ
５ 画像処理装置
６ 車両原点
７ 光軸
８ 地平線
９ イメージサークル
１０ バンパー
１１ 直方体
１２−１，１２−２，１２−３ 直方体
１３ 直方体
２１ 前方向平面上の升目
２１Ｇ 車両左右方向直線
２１Ｌ 垂直線
２１Ｒ 垂直線
２１−１ 前方向仮想視線
２１−２ 前方向平面
２２−１ 下方向平面上の升目
２２−１−１ 下方向仮想視線
２２−１−２ 下方向平面
２２−２ 下方向平面上の升目
２２−２−１ 下方向仮想視線
２２−２−２ 下方向平面
２３−１Ｌ 左方向平面上の升目
２３−１−１Ｌ 左方向仮想視線
２３−１−２Ｌ 左方向平面
２３−１Ｒ 右方向平面上の升目
２３−１−１Ｒ 右方向仮想視線
２３−１−２Ｒ 右方向平面
２３−２Ｌ 左方向平面上の升目
２３−２−１Ｌ 左方向仮想視線
２３−２−２Ｌ 左方向平面
２３−２Ｒ 右方向平面上の升目
２３−２−１Ｒ 右方向仮想視線
２３−２−２Ｒ 右方向平面
２３−３Ｌ 左方向平面上の升目
２３−３−１Ｌ 左方向仮想視線
２３−３−２Ｌ 左方向平面
２３−３Ｒ 右方向平面上の升目
２３−３−１Ｒ 右方向仮想視線
２３−３−２Ｒ 右方向平面
２３−４Ｌ 左方向平面上の升目
２３−４−１Ｌ 左方向仮想視線
２３−４−２Ｌ 左方向平面
２３−４Ｒ 右方向平面上の升目
２３−４−１Ｒ 右方向仮想視線
２３−４−２Ｒ 右方向平面
２４ 地面上の直線
２４−１５Ｌ 車両前後方向直線
２４−１５Ｒ 車両前後方向直線
２５−１ 地面上の撮像原点
２５−２ 車両通過範囲円の中心
２５−３ 車両通過範囲内側の円
２５−４ 車両通過範囲外側の円
２５−５ 接線
２５−６ 接点
２５−７ 画像分離基準点
２５−８ 画像分離点
３０ 撮像原点
４１−１ 前方向補正画像表示領域
４１−２ 下方向補正画像表示領域
４１−３Ｌ 左方向補正画像表示領域
４１−３Ｒ 右方向補正画像表示領域
４１−４ 点線マスク描画
４１−５Ｌ 点線マスク描画
４１−５Ｒ 点線マスク描画
４１−６Ｌ 面マスク描画
４１−６Ｒ 面マスク描画
４１−７Ｌ 面マスク描画
４１−７Ｒ 面マスク描画
４２−３Ｌ 左方向補正画像表示領域
４２−３Ｒ 右方向補正画像表示領域
４２−５Ｌ 点線マスク描画
４２−５Ｒ 点線マスク描画
４２−６Ｌ 面マスク描画
４２−６Ｒ 面マスク描画
４３−３Ｌ 左方向補正画像表示領域
４３−３Ｒ 右方向補正画像表示領域
４３−５Ｌ 点線マスク描画
４３−５Ｒ 点線マスク描画
４３−６Ｌ 面マスク描画
４３−６Ｒ 面マスク描画
４３−７Ｌ 面マスク描画
４３−７Ｒ 面マスク描画
４４−３Ｌ 左方向補正画像表示領域
４４−３Ｒ 右方向補正画像表示領域
４４−５Ｌ 点線マスク描画
４４−５Ｒ 点線マスク描画
４４−６Ｌ 面マスク描画
４４−６Ｒ 面マスク描画
４４−７Ｌ 面マスク描画
４４−７Ｒ 面マスク描画
４５−３Ｌ 左方向補正画像表示領域
４５−３Ｒ 右方向補正画像表示領域
４５−５Ｌ 点線マスク描画
４５−５Ｒ 点線マスク描画
４５−６Ｌ 面マスク描画
４５−６Ｒ 面マスク描画
４５−７Ｌ 面マスク描画
４５−７Ｒ 面マスク描画
４６−２ 下方向補正画像表示領域
４６−４ 点線マスク描画
４６−８Ｌ 点線マスク描画
４６−８Ｒ 点線マスク描画
４７−２ 下方向補正画像表示領域
４７−３Ｌ 左方向補正画像表示領域
４７−３Ｒ 右方向補正画像表示領域
４７−４ 点線マスク描画
４７−５Ｌ 点線マスク描画
４７−５Ｒ 点線マスク描画
４７−７Ｌ 面マスク描画
４７−７Ｒ 面マスク描画
４７−８Ｌ 点線マスク描画
４７−８Ｒ 点線マスク描画
７０ 表示装置（移動体画像表示手段）
７１ 後方左画像表示領域（第一表示領域）
７２ 後方右画像表示領域（第三表示領域）
７３ 直後方画像表示領域（第二表示領域）
１０１−１ 地面上の横直線
１０１−２ 地面からの垂直線
１０２−２−１ 地面からの垂直線
１０２−２−２ 横断歩道の縦縞模様
１０２−３−１ 地面上の横直線
Ｆ 移動軌跡
Ｆ' 補助画像案内軌跡
Ｍ' 補助画像
Ｑ 画像出現位置
Ｔ 移動体
ｘ ｘ軸
ｙ ｙ軸
ｚ ｚ軸
【特許請求の範囲】
【請求項１】
車両後方、又は前方の、前、左右、及び下方向の広い範囲を同じ位置から撮像する１つ又は複数の撮像手段と、
前記撮像手段で撮像された画像を補正した補正画像を任意の補正画像表示領域に分割配置し、分割配置された前記補正画像と任意の表示位置にマスク描画を合成する画像処理手段と、
前記画像処理手段によって処理された処理画像を表示する画像表示手段と、
を備えた運転支援表示装置であって、
前記画像処理手段は、
水平な地面に平行な車両前後方向に平行な前方向仮想視線に対して垂直な前方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記前方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する前方向補正画像と、
前記車両前後方向から水平に左０°を超え９０°未満の左方向仮想視線に対して垂直な左方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記左方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する左方向補正画像と、
前記車両前後方向から水平に右０°を超え９０°未満の右方向仮想視線に対して垂直な右方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記右方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する右方向補正画像と、
前記車両前後方向から垂直に下０°を超え９０°以内の下方向仮想視線に対して垂直な下方向平面上であって車両左右方向に平行な直線と前記車両左右方向に平行な直線に直角な直線とからなる正方形の升目を撮像した場合に、前記平行直角からなる正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する下方向補正画像と、を生成し、
前記前方向補正画像を前方向補正画像表示領域に、前記左方向補正画像を左方向補正画像表示領域に、前記右方向補正画像を右方向補正画像表示領域に、前記下方向補正画像を下方向補正画像表示領域に、表示するものであって、
前記前方向補正画像表示領域の形状における、左辺及び右辺は表示される画像上で垂直な直線であり、下辺は表示される画像上で水平な直線であり、
前記左方向補正画像表示領域の形状における、右辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、
前記右方向補正画像表示領域の形状における、左辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、
前記下方向補正画像表示領域の形状における、上辺は表示される画像上で水平で撮像位置よりも前側で前記地面に水平な車両左右方向に平行な前記地面上の直線と一致する直線であり、左辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、右辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、
前記前方向補正画像表示領域の左辺と前記左方向補正画像表示領域の右辺、前記前方向補正画像表示領域の右辺と前記右方向補正画像表示領域の左辺、前記前方向補正画像表示領域の下辺と前記下方向補正画像表示領域の上辺、はそれぞれ互いに隣接するように配置され、
３つの隣接する辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、
用途に応じて前記４つの補正画像表示領域の関係を維持した画像全体を左右で反転することとし、
３つの隣接する辺には線又は点線による任意色のマスク描画と、前記４つの補正画像表示領域以外の隙間を任意色で埋めたマスク描画することを特徴とする運転支援表示装置。
【請求項２】
前記左方向補正画像表示領域または前記右方向補正画像表示領域の下辺と一致する前記車両前後方向に平行な前記地面上の直線について、
前記前方向補正画像表示領域で表示される画像上の傾きと、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される画像上の傾きを比較して、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される傾きの方が水平方向に近くなるよう、
請求項１に記載の左方向仮想視線及び右方向仮想視線の角度の調節、
又は左方向平面及び右方向平面上の正方形の升目の表示形状が水平方向に引き伸ばされる調節、
をすることを特徴とする請求項１に記載の運転支援表示装置。
【請求項３】
前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、
前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、
なるように表示することを特徴とする請求項１、２の何れかに記載の運転支援表示装置。
【請求項４】
前記左方向補正画像表示領域の下辺と前記下方向補正画像表示領域の左辺、前記右方向補正画像表示領域の下辺と前記下方向補正画像表示領域の右辺、はそれぞれ互いに隣接するように、
尚かつそれぞれ互いに隣接させた２つの辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、
それぞれ互いに隣接させた２つの辺には線又は点線による任意色のマスク描画することを特徴とする請求項１に記載の運転支援表示装置。
【請求項５】
前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、
前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、
なるように表示することを特徴とする請求項４に記載の運転支援表示装置。
【請求項６】
前記下方向補正画像表示領域の左辺または右辺と一致する、又は前記左方向補正画像表示領域又は前記右方向補正画像表示領域の下辺と一致する、前記車両前後方向に平行な前記地面上の車両前後方向直線と、
前記下方向補正画像表示領域の上辺と一致する、又は前記前方向補正画像表示領域の下辺と一致する、前記車両左右方向に平行な前記地面上の車両左右方向直線との交点は、
撮像位置真下の前記地面上の撮像原点を通り車両がハンドルを最大に切って曲がった場合に通過する前記地面上の車両通過範囲の最も内側の円と接する接線付近とすることを特徴とする請求項１、２、３、４、５の何れかに記載の運転支援表示装置。
【請求項１】
車両後方、又は前方の、前、左右、及び下方向の広い範囲を同じ位置から撮像する１つ又は複数の撮像手段と、
前記撮像手段で撮像された画像を補正した補正画像を任意の補正画像表示領域に分割配置し、分割配置された前記補正画像と任意の表示位置にマスク描画を合成する画像処理手段と、
前記画像処理手段によって処理された処理画像を表示する画像表示手段と、
を備えた運転支援表示装置であって、
前記画像処理手段は、
水平な地面に平行な車両前後方向に平行な前方向仮想視線に対して垂直な前方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記前方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する前方向補正画像と、
前記車両前後方向から水平に左０°を超え９０°未満の左方向仮想視線に対して垂直な左方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記左方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する左方向補正画像と、
前記車両前後方向から水平に右０°を超え９０°未満の右方向仮想視線に対して垂直な右方向平面上であって前記地面に水平垂直な正方形の升目を撮像した場合に、前記右方向平面上の正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する右方向補正画像と、
前記車両前後方向から垂直に下０°を超え９０°以内の下方向仮想視線に対して垂直な下方向平面上であって車両左右方向に平行な直線と前記車両左右方向に平行な直線に直角な直線とからなる正方形の升目を撮像した場合に、前記平行直角からなる正方形の升目が表示画像上で水平垂直な正方形又は長方形に表示され、表示される正方形又は長方形の大きさが同じになるよう補正する下方向補正画像と、を生成し、
前記前方向補正画像を前方向補正画像表示領域に、前記左方向補正画像を左方向補正画像表示領域に、前記右方向補正画像を右方向補正画像表示領域に、前記下方向補正画像を下方向補正画像表示領域に、表示するものであって、
前記前方向補正画像表示領域の形状における、左辺及び右辺は表示される画像上で垂直な直線であり、下辺は表示される画像上で水平な直線であり、
前記左方向補正画像表示領域の形状における、右辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、
前記右方向補正画像表示領域の形状における、左辺は表示される画像上で垂直な直線であり、下辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、
前記下方向補正画像表示領域の形状における、上辺は表示される画像上で水平で撮像位置よりも前側で前記地面に水平な車両左右方向に平行な前記地面上の直線と一致する直線であり、左辺は前記車両前後方向に平行で撮像位置より左側の前記地面上の直線と一致する直線であり、右辺は前記車両前後方向に平行で撮像位置より右側の前記地面上の直線と一致する直線であり、
前記前方向補正画像表示領域の左辺と前記左方向補正画像表示領域の右辺、前記前方向補正画像表示領域の右辺と前記右方向補正画像表示領域の左辺、前記前方向補正画像表示領域の下辺と前記下方向補正画像表示領域の上辺、はそれぞれ互いに隣接するように配置され、
３つの隣接する辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、
用途に応じて前記４つの補正画像表示領域の関係を維持した画像全体を左右で反転することとし、
３つの隣接する辺には線又は点線による任意色のマスク描画と、前記４つの補正画像表示領域以外の隙間を任意色で埋めたマスク描画することを特徴とする運転支援表示装置。
【請求項２】
前記左方向補正画像表示領域または前記右方向補正画像表示領域の下辺と一致する前記車両前後方向に平行な前記地面上の直線について、
前記前方向補正画像表示領域で表示される画像上の傾きと、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される画像上の傾きを比較して、前記左方向補正画像表示領域または前記右方向補正画像表示領域で表示される傾きの方が水平方向に近くなるよう、
請求項１に記載の左方向仮想視線及び右方向仮想視線の角度の調節、
又は左方向平面及び右方向平面上の正方形の升目の表示形状が水平方向に引き伸ばされる調節、
をすることを特徴とする請求項１に記載の運転支援表示装置。
【請求項３】
前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、
前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、
なるように表示することを特徴とする請求項１、２の何れかに記載の運転支援表示装置。
【請求項４】
前記左方向補正画像表示領域の下辺と前記下方向補正画像表示領域の左辺、前記右方向補正画像表示領域の下辺と前記下方向補正画像表示領域の右辺、はそれぞれ互いに隣接するように、
尚かつそれぞれ互いに隣接させた２つの辺付近における互いの表示領域に表示される撮像画像は一致する関係とし、
それぞれ互いに隣接させた２つの辺には線又は点線による任意色のマスク描画することを特徴とする請求項１に記載の運転支援表示装置。
【請求項５】
前記左方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記左方向補正画像表示領域において視認できる程度の緩やかな左下がりで同じ大きさの平行四辺形の升目に、
前記右方向平面上の正方形の升目を撮像した場合に、前記地面に対して水平な直線が前記右方向補正画像表示領域において視認できる程度の緩やかな右下がりで同じ大きさの平行四辺形の升目に、
なるように表示することを特徴とする請求項４に記載の運転支援表示装置。
【請求項６】
前記下方向補正画像表示領域の左辺または右辺と一致する、又は前記左方向補正画像表示領域又は前記右方向補正画像表示領域の下辺と一致する、前記車両前後方向に平行な前記地面上の車両前後方向直線と、
前記下方向補正画像表示領域の上辺と一致する、又は前記前方向補正画像表示領域の下辺と一致する、前記車両左右方向に平行な前記地面上の車両左右方向直線との交点は、
撮像位置真下の前記地面上の撮像原点を通り車両がハンドルを最大に切って曲がった場合に通過する前記地面上の車両通過範囲の最も内側の円と接する接線付近とすることを特徴とする請求項１、２、３、４、５の何れかに記載の運転支援表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図６１】
【図５８】
【図５９】
【図６０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図６１】
【図５８】
【図５９】
【図６０】
【公開番号】特開２０１１−２２１７６０（Ｐ２０１１−２２１７６０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８９７２４（Ｐ２０１０−８９７２４）
【出願日】平成２２年４月８日（２０１０．４．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月８日（２０１０．４．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]