車両用周辺監視装置
【課題】ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置を提供する。
【解決手段】車両用周辺監視装置５０は、車両が有するサイドミラーの鉛直下方を含む左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラ１２と、車両の後方上部から前方下部を望む車両のイメージ画像ＩＧ、或いは車両の前方上部から後方下部を望む車両のイメージ画像ＩＧを生成するイメージ画像生成部３６と、左側方の情景を撮影した撮像画像ＣＧに基づいてイメージ画像ＩＧの左側に描画される左側方画像ＬＧを生成し、右側方の情景を撮影した撮像画像ＣＧに基づいてイメージ画像ＩＧの右側に描画される右側方画像ＲＧを生成する側方画像生成部３４とを備える。
【解決手段】車両用周辺監視装置５０は、車両が有するサイドミラーの鉛直下方を含む左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラ１２と、車両の後方上部から前方下部を望む車両のイメージ画像ＩＧ、或いは車両の前方上部から後方下部を望む車両のイメージ画像ＩＧを生成するイメージ画像生成部３６と、左側方の情景を撮影した撮像画像ＣＧに基づいてイメージ画像ＩＧの左側に描画される左側方画像ＬＧを生成し、右側方の情景を撮影した撮像画像ＣＧに基づいてイメージ画像ＩＧの右側に描画される右側方画像ＲＧを生成する側方画像生成部３４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を監視する車両用周辺監視装置に関する。
【背景技術】
【０００２】
車両には、周囲の状況を確認するためにサイドミラーやルームミラーが備えられているが、これらのミラーを用いても車両の構造上、運転席から情景を確認することができない死角が存在する。このような死角を極力少なくするために、車体（例えばボンネット近傍やリアゲート近傍）にミラーを備えている車両がある。しかしながら、この種のミラーを用いても死角を完全になくすことは容易ではなく、また、このようなミラーを配設した場合には車両のデザインを損なわせることになる。このような問題を鑑みて、近年においては、車両の各部に配設されたカメラにより取得された撮像画像を用いて車両の周囲の状況を確認する技術が利用されている（例えば非特許文献１及び２等）。
【０００３】
非特許文献１及び２に記載の技術は、例えば車両を後退させる場合に、車両の後方の情景を撮影して取得された撮像画像と、車両の周囲に配設される４つのカメラにより撮影して取得された撮像画像を用いて生成された車両の周囲を含む鳥瞰画像と、を左右に並べてディスプレイに表示している。
【０００４】
しかしながら、非特許文献１及び２に記載の技術では、４つのカメラにより取得された撮像画像を用いて鳥瞰画像を生成しているので、鳥瞰画像に含まれる立体物が撮影されたカメラから放射線状に伸びて表示され不自然なものとなる。また、鳥瞰画像に含まれる立体物が放射状に伸びて表示されることから、ユーザが当該立体物を路面の描画物であると勘違いする可能性がある。このため、車両が立体物に衝突するおそれがある。また、鳥瞰画像において表示される撮像画像が、夫々のカメラが撮影する領域毎に分けられて用いられるので、当該領域の境界部分において立体物が消滅してしまうことがある。このため、ユーザが困惑する可能性もある。このような問題を改善するための技術として、下記に出典を示す特許文献１−３に記載の技術がある。
【０００５】
特許文献１に記載の車両周囲監視装置は、車両に８つのカメラを備え、これらのカメラにより取得された撮像画像を用いて車両の全周囲を含む鳥瞰画像を生成する。これらのカメラは、各カメラの撮影範囲の境界部分で垂直に立っている立体物が鳥瞰画像において消滅しないように、当該境界部分で立体物が同じ方向に伸びるような角度で配設される。
【０００６】
特許文献２に記載の車両後方モニタシステムは、車両の後方の情景を撮影する後方カメラと、車両の左右両側方に備えられる側方カメラとを備えて構成される。この車両後方モニタシステムは、後方カメラにより取得された撮像画像を用いて俯瞰画像を生成し、当該俯瞰画像と側方カメラにより取得された撮像画像とを組み合わせて一つの画面に表示する。
【０００７】
特許文献３に記載の車両用映像表示装置は、車両に複数のカメラを備えて構成される。この車両用映像表示装置は、複数のカメラにより取得された撮像画像に基づいて車両上空の所定の視点から車両を投射した投射映像を生成し、当該作成された投射映像に車両上空の視点からの車両のグラフィックデータを重畳させて表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−２０４５４７号公報
【特許文献２】特許第３９１６９５８号明細書
【特許文献３】特開２００３−３４６１８９号公報
【非特許文献】
【０００９】
【非特許文献１】技術紹介（アラウンドビューモニター 日産自動車株式会社）［平成２１年２月４日検索］、インターネット＜URL：http://www.nissan-global.com/JP/TECHNOLOGY/INTRODUCTION/DETAILS/AVM/＞
【非特許文献２】技術紹介（四輪製品ニュース 本田技研工業株式会社）［平成２１年２月４日検索］、インターネット＜URL：http://www.honda.co.jp/news/2008/4080918b.html＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載の車両周囲監視装置は、カメラが撮影する領域の境界部分において立体物が消滅してしまうことは少ないが、４つのカメラで車両の全周囲の鳥瞰画像を生成できるところ、８つのカメラを使用するため余計なコストを要する。また、立体物が不自然に伸びることは解消されていない。このため、ユーザが立体物を路面の描画物と勘違いする可能性があるため、車両が立体物に接触する可能性がある。
【００１１】
また、特許文献２に記載の車両後方モニタシステムは、側方カメラはサイドミラー越しに見た映像として表示し、俯瞰画像は画面下部が遠方になるように表示される。このため、ユーザが俯瞰画像と側方カメラにより取得された撮像画像との間で視点を切り替えた場合に、夫々の進行方向が異なるので直感的に分かりにくいものとなっている。また、側方カメラは車両の後方に向けて配設されており、車両の側方前端部を表示するには更に２つの側方カメラが必要となり、コストを要してしまう。
【００１２】
また、特許文献３に記載の車両用映像表示装置は、車両上空の視点からの画像を表示することが開示されているが、具体的にディスプレイに表示させる方法については何ら開示されていない。
【００１３】
非特許文献１及び２に記載の技術は、後退走行時は車両の後方画像と鳥瞰画像とを左右に並べて表示する。後方画像は進行方向遠方部が画面の上方になり、鳥瞰画像は進行方向遠方部が画面の下方になる。このように夫々の画像において進行方向が異なるので、ユーザは困惑してしまい、結果いずれか一方の画像しか参照しない（見ない）ケースが多々ある。
【００１４】
本発明の目的は、上記問題に鑑み、ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するための本発明に係る車両用周辺監視装置の特徴構成は、車両が有するサイドミラーに備えられ、当該サイドミラーの鉛直下方を含む前記車両の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラと、前記車両の後方上部から当該車両の前方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像、或いは前記車両の前方上部から当該車両の後方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像を生成するイメージ画像生成部と、前記左側方の情景を撮影した撮像画像に基づいて、前記車両の車内に備えられるモニタに表示される前記イメージ画像の左側に描画される当該イメージ画像に応じた左側方画像を生成し、前記右側方の情景を撮影した撮像画像に基づいて、前記モニタに表示される前記イメージ画像の右側に描画される当該イメージ画像に応じた右側方画像を生成する側方画像生成部と、を備える点にある。
【００１６】
このような特徴構成とすれば、モニタには、車両を後方上部或いは前方上部から見下ろした視点での表示画像が表示されるので、車両の周辺に存在する物体が不自然に伸びることがない。また、モニタに表示されるイメージ画像は、撮像画像には含まれないサイドミラーを含んで生成されるので、ユーザは車両とその周囲に存在する物体との位置関係を把握し易い。したがって、ユーザは困惑することなく、車両の周囲の状況を把握することができる。また、左右のサイドミラーに夫々１つずつのサイドカメラを備えるだけで良いので、車両用周辺監視装置を低コストで実現することが可能となる。
【００１７】
また、前記車両の前方の情景を撮影した撮像画像を取得するフロントカメラが備えられ、前記車両が有するシフトレバーのシフト位置が少なくとも前進走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記フロントカメラにより取得された撮像画像に基づいて生成される前方画像が表示されると好適である。
【００１８】
このような構成とすれば、車両の移動に合わせて変化する前方画像に表示される情景の移動方向と、車両の移動に合わせて変化する左側方画像及び右側方画像に表示される情景の移動方向とを同じにすることができる。したがって、ユーザは前方画像と、左側方画像及び右側方画像とのつながりを把握し易い。したがって、ユーザは困惑することなく車両の周囲の状況を把握することが可能となる。
【００１９】
また、前記車両の後方の情景を撮影した撮像画像を取得するリアカメラが備えられ、前記車両が有するシフトレバーのシフト位置が少なくとも後退走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記リアカメラにより取得された撮像画像に基づいて生成される後方画像が表示されると好適である。
【００２０】
このような構成とすれば、車両の移動に合わせて変化する後方画像に表示される情景の移動方向と、車両の移動に合わせて変化する左側方画像及び右側方画像に表示される情景の移動方向とを同じにすることができる。したがって、ユーザは後方画像と、左側方画像及び右側方画像とのつながりを把握し易い。したがって、ユーザは困惑することなく車両の周囲の状況を把握することが可能となる。
【００２１】
また、前記シフト位置が前記後退走行用の位置である場合の前記イメージ画像が鏡像であると好適である。
【００２２】
一般的に後方画像は、ルームミラーに表示されるが如く鏡像画像として表示されるが、それと同様に、左側方画像及び右側方画像も鏡像で表示することで、後方画像と左側方画像及び右側方画像とのつながりを分かり易くすることができる。また、鏡像とすることで、実空間における車両の左右の位置関係と、モニタに表示される表示画像における車両の左右の位置関係とを同じにすることができるので、ユーザは車両の周囲に存在する物体の位置関係を直感的に理解し易くなる。
【００２３】
また、前記左側方画像及び前記右側方画像の視点角度が、前記後方画像の視点角度と略等しいと好適である。
【００２４】
このような構成とすれば、夫々の画像の視点角度が略等しいので、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザが夫々の画面間にわたって視点を切り替えた場合でも困惑することがなくなる。
【００２５】
また、前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記前方画像に含まれる前記車両に最も近い側の領域と重複するように生成されると好適である。
【００２６】
このような構成とすれば、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザは車両の周囲の状況を容易に理解することが可能となる。
【００２７】
また、前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記後方画像に含まれる前記車両に最も近い側の領域と重複するように生成されると好適である。
【００２８】
このような構成とすれば、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザは車両の周囲の状況を容易に理解することが可能となる。
【００２９】
また、前記一対のサイドカメラは、鉛直下方向を向いて備えられてあると好適である。
【００３０】
このような構成において、例えば魚眼レンズを供えたサイドカメラを用いれば、１つのサイドカメラで車両の前方から後方までを撮像可能な側方画像を取得することができる。このため、車両の左右夫々に１つずつサイドカメラを備えればよいので、低コストで車両用周辺監視装置を実現することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る車両用監視装置を備えた車両の概略を示す図である。
【図２】本発明に係る車両用監視装置の概略を示すブロック図である。
【図３】視点について示す図である。
【図４】前進走行時の斜め上方を視点とした場合の表示画像の例を示す図である。
【図５】前進走行時の鉛直上方を視点とした場合の表示画像の例を示す図である。
【図６】前進走行時の車両前方のみの表示画像の例を示す図である。
【図７】後退走行時の斜め上方を視点とした場合の表示画像の例を示す図である。
【図８】後退走行時の鉛直上方を視点とした場合の表示画像の例を示す図である。
【図９】後退走行時の車両後方のみの表示画像の例を示す図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、詳細に説明する。図１は、本発明に係る車両用周辺監視装置５０を備える車両１００の概略を示す鳥瞰図である。車両１００には、カメラデバイス１としてフロントカメラ１１、サイドカメラ１２、リアカメラ１３が備えられる。フロントカメラ１１は、車両１００の前方の情景を撮影した撮像画像ＣＧを取得する。フロントカメラ１１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ１１は、図１に示されるように、車両１００のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ１１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＡで示される領域の情景を含む撮像画像ＣＧが取得される。
【００３３】
サイドカメラ１２は、車両１００が有するサイドミラー６０に備えられる。また、当該サイドカメラ１２は、サイドミラー６０の鉛直下方を含む車両１００の左側方の情景及び右側方の情景を撮影した撮像画像ＣＧを取得する一対のサイドカメラ１２ａ、１２ｂ（左サイドカメラ１２ａ及び右サイドカメラ１２ｂ）から構成される。本実施形態では、図１に示されるように、車両１００の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ１２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ１２ｂとして説明する。また、特に左サイドカメラ１２ａ及び右サイドカメラ１２ｂのいずれかを限定する必要がない場合には、サイドカメラ１２として記載する。
【００３４】
左サイドカメラ１２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両１００の左側方の情景を撮影し、撮像画像ＣＧを取得する。上述のフロントカメラ１１と同様に、サイドカメラ１２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ１２ａにより少なくとも図１のＢで示される領域の情景を撮影した撮像画像ＣＧが取得される。右サイドカメラ１２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両１００の右側方の情景を撮影し、撮像画像ＣＧを取得する。右サイドカメラ１２ｂにより少なくとも図１のＣで示される領域の情景を撮影した撮像画像ＣＧが取得される。
【００３５】
リアカメラ１３は、車両１００の後方の情景を撮影した撮像画像ＣＧを取得する。リアカメラ１３は、図１に示されるように、車両１００のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ１３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＤで示される領域の情景を撮影した撮像画像ＣＧが取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。
【００３６】
本発明に係る車両用周辺監視装置５０は、このような車両１００に備えられるフロントカメラ１１、サイドカメラ１２、リアカメラ１３により取得された撮像画像ＣＧを用いて、ユーザが好適に車両１００の周囲を監視する機能を備えている。図２は、本車両用周辺監視装置５０の概略構成を模式的に示すブロック図である。
【００３７】
車両用周辺監視装置５０は、カメラデバイス１、センサデバイス２、ＥＣＵ（電子制御ユニット）３、モニタ４１、視点切替スイッチ４２を備えて構成される。カメラデバイス１は、フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３を備えて構成される。センサデバイス２は、ステアリングセンサ２１、車輪速センサ２２、シフト位置センサ２３を備えて構成される。ＥＣＵ３は、撮像画像取得部３１、視点設定部３２、前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６、予測進路線生成部３７、表示画像生成部３８の各機能部を備えて構成される。このように構成される本車両用周辺監視装置５０は、ＣＰＵを中核部材として車両１００の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
【００３８】
フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３は、夫々が少なくとも領域Ａ−Ｄ（図１参照）を含む情景を撮影した撮像画像ＣＧを取得する。このように取得された撮像画像ＣＧは、後述の撮像画像取得部３１に伝達される。
【００３９】
ステアリングセンサ２１は、車両５０が有するステアリング６１（図１参照）の舵角を検出する。舵角とは、中立状態からステアリング６１を時計方向又は反時計方向に回転させた際の回転角に相当するものである。中立状態とは、車両１００が備える車輪６２の操舵輪（例えば前輪）の方向が車幅と平行となる状態、すなわち車両１００が直進可能となる状態である。このようなステアリング６１の回転角を検出するステアリングセンサ２１は、ホール素子を用いて構成することが可能である。ホール素子は電流が流れている導体に磁界を加えた場合に、導体内部の電荷が横方向に動かされるように受ける力に応じて起電力を生じるホール効果を利用して磁束を検出する素子である。
【００４０】
このようなホール素子を用いる場合には、ステアリング６１の回転軸の周囲に永久磁石を配設し、ステアリング６１の回転に応じて変化する磁界をホール素子により検出すると好適である。また、ホール素子から出力される検出結果は電気信号であるので、ステアリングセンサ２１は当該検出結果に基づいてステアリング６１の舵角を演算する。ステアリングセンサ２１により演算された舵角は舵角情報として、後述の予測進路線生成部３７に伝達される。
【００４１】
車輪速センサ２２は、車両１００が有する車輪６２（図１参照）の回転速度の検出を行う。車輪速センサ２２も上述のステアリングセンサ２１と同様にホール素子を用いて構成することが可能であり、適切に車輪６２の回転速度を検出することができる。車輪速センサ２２は、例えば左前輪の回転軸及び右前輪の回転軸に夫々備えると好適である。このように左右両輪の回転軸に備えることにより、直進及び旋回の別を検出することが可能となる。即ち、左右両輪の回転速度が同じであれば直進であると判定することができ、左右両輪の回転速度が異なっていれば回転速度の遅い方に旋回をしていると判定することができる。なお、車輪速センサ２２は車両１００が備える前輪の回転軸及び後輪の回転軸の少なくともいずれか一方に備えていれば良い。車輪速センサ２２により検出された車輪速度の検出結果は、後述する予測進路線生成部３７に伝達される。
【００４２】
シフト位置センサ２３は、車両１００が有するシフトレバー６３（図１参照）のシフト位置の検出を行う。シフトレバー６３は、本実施形態においては、ＡＴ（Automatic Transmission）機構が備えるギヤの切り替えを行うレバーである。このようなＡＴ機構は変速機内部で駆動系が固定され、主に駐車時に使用する〔Ｐ〕レンジ、後退時に使用する〔Ｒ〕レンジ、変速機内部がフリー状態となり、エンジンからの動力を駆動系に伝達しないようにする〔Ｎ〕レンジ、通常走行時に使用する〔Ｄ〕レンジ、下り坂等エンジンブレーキを使用する際に使用し、シフトアップの上限を２速に固定する〔２〕レンジ、急な下り坂等、強力なエンジンブレーキを使用する際に使用し、ギヤが１速に固定される〔１〕レンジを有している。ＡＴ機構は、このようなシフトレンジに対応するシフト位置毎に出力電圧が出力可能に設定され、シフト位置センサ２３は当該出力電圧を検出することにより現在のシフト位置の検出が可能となる。シフト位置センサ２３により検出されたシフト位置の検出結果は、後述する視点設定部３２及び予測進路線生成部３７に伝達される。
【００４３】
撮像画像取得部３１は、各カメラ１１−１３から伝達される撮像画像ＣＧを取得する。撮像画像取得部３１により取得される撮像画像ＣＧは、撮像画像取得部３１が備える一次記憶領域（図示しない）に一次記憶され、必要に応じて後述する前方画像生成部３３、側方画像生成部３４、後方画像生成部３５により読み出されて（抽出されて）使用される。なお、撮像画像取得部３１に一次記憶された撮像画像ＣＧは、一次記憶されてから所定時間が経過する毎に消去する構成とすることも可能であるし、ユーザのスイッチ操作等により消去する構成とすることも可能である。或いは、一次記憶領域の容量を所定の固定値で設定し、所謂先入れ先出し方式で一次記憶と消去とを行う構成とすることも可能である。
【００４４】
視点設定部３２は、詳細は後述するが、車両１００の車内に備えられるモニタ４１に表示される車両１００の周囲の情景や車両１００のイメージ画像ＩＧ（後述する）の視点を設定する。この視点の設定は、シフト位置センサ２３から伝達されるシフトレバー６３のシフト位置の検出結果や、ユーザによる視点切替スイッチ４２の操作に応じて設定される。例えば、シフト位置センサ２３の検出結果に基づいて視点の設定を行う場合には、シフトレバー１１の位置が少なくとも前進走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジのいずれかの位置にある場合には前進走行用の視点に設定し、シフトレバー１１の位置が少なくとも後退走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジの位置にある場合には後退走行用の視点に設定する。
【００４５】
ここで、本車両用周辺監視装置５０は、詳細は後述するが、車両１００の斜め上方から斜め下方を望む視点とする当該車両１００の周囲の情景と、車両１００の鉛直上方を視点とする当該車両１００の周囲の情景とを選択的に切り替えてモニタ４１に表示することが可能である。この切り替えは、ユーザが視点切替スイッチ４２を押下することにより行うことが可能である。本実施形態では、車両１００の斜め上方からの視点がデフォルトとして設定されているとして説明する。したがって、視点設定部３８は、シフトレバーが前進走行用の位置にある場合には、前進走行用の斜め上方からの視点として設定し、シフトレバーが後退走行用の位置にある場合には、後退走行用の斜め上方からの視点として設定する。
【００４６】
前進走行用の斜め上方からの視点とは、図３（ａ）の矢印で示されるような車両１００の後方上部から当該車両１００の前方下部を望む形態とした場合の視点である。なお、上述の視点切替スイッチ４２を押下すると、このような視点から図３（ｂ）の矢印で示されるように車両１００を鉛直方向で見下ろした場合の視点に変更することが可能である。また、後退走行用の斜め上方の視点とは、図３（ｃ）の矢印で示されるような車両１００の前方上部から当該車両１００の後方下部を望む形態とした場合の視点である。なお、上述の視点切替スイッチ４２を押下すると、前進走行用の斜め上方からの視点から視点切替スイッチ４２が押下された場合と同様に、このような視点から図３（ｂ）の矢印で示されるように車両１００を鉛直方向で見下ろした場合の視点に変更することが可能である。視点設定部３２により設定された視点を示す情報は、後述の前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６、予測進路線生成部３７に伝達される。
【００４７】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じた車両１００のイメージ画像ＩＧを生成する。詳細は後述するが、イメージ画像ＩＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合のイメージ画像ＩＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向から見下ろした場合のイメージ画像ＩＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合のイメージ画像ＩＧ１Ｂと、からなる。したがって、視点設定部３２により斜め上方からの視点が設定されている場合には、イメージ画像生成部３６は、車両１００の後方上部から当該車両１００の前方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ１Ｆ、或いは車両１００の前方上部から当該車両１００の後方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ１Ｂを生成する。
【００４８】
即ち、視点設定部３２により前進走行用の斜め上方からの視点が設定されている場合には、イメージ画像ＩＧ１Ｆが生成される。このイメージ画像ＩＧ１Ｆには、少なくとも車両の前方部とサイドミラー６０とが含まれるように生成される。一方、視点設定部３２により後退走行用の斜め上方からの視点が設定されている場合には、イメージ画像ＩＧ１Ｂが生成される。このイメージ画像ＩＧ１Ｂには、車両の後方部とサイドミラー６０とが含まれるように生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧは、後述する表示画像生成部３８に伝達される。
【００４９】
前方画像生成部３３は、車両１００が有するシフトレバー６３の位置が少なくとも前進走行用の位置である場合に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて前方画像ＦＧを生成する。シフトレバー６３の位置が少なくとも前進走行用の位置とは、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジが相当する。シフトレバー６３がこのような位置にあるか否かは、上述のシフト位置センサ２３により検出される。この検出結果に基づいて、上述の視点設定部３２がモニタ４１に表示する画像の視点を前進走行用の視点に設定する。
【００５０】
また、詳細は後述するが、前方画像ＦＧは、図３（ａ）のように車両１００の後方上部から前方下部を見下ろした場合の前方画像ＦＧ１と、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の前方画像ＦＧ２と、からなる。前方画像生成部３３は視点設定部３２により設定された視点を示す情報が伝達されると、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出する。前方画像生成部３３は抽出された撮像画像ＣＧを用いて、モニタ４１への表示に適した前方画像ＦＧを生成する。このように生成された前方画像ＦＧは、後述する表示画像生成部３８に伝達される。前方画像ＦＧについては後述する。
【００５１】
後方画像生成部３５は、車両１００が有するシフトレバー６３の位置が少なくとも後退走行用の位置である場合に、リアカメラ１３により取得された撮像画像ＣＧに基づいて後方画像ＢＧを生成する。シフトレバー６３の位置が少なくとも後退走行用の位置とは、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジが相当する。シフトレバー６３がこのような位置にあるか否かは、上述のシフト位置センサ２３により検出される。この検出結果に基づいて、上述の視点設定部３２がモニタ４１に表示する画像の視点を後退走行用の視点に設定する。
【００５２】
また、詳細は後述するが、後方画像ＢＧは、図３（ｃ）のように車両１００の前方上部から後方下部を見下ろした場合の後方画像ＢＧ１と、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の後方画像ＢＧ２と、からなる。後方画像生成部３５は視点設定部３２により設定された視点を示す情報が伝達されると、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出する。後方画像生成部３５は抽出された撮像画像ＣＧを用いて、モニタ４１への表示に適した後方画像ＢＧを生成する。このように生成された後方画像ＢＧは、後述する表示画像生成部３８に伝達される。後方画像ＢＧについては後述する。
【００５３】
側方画像生成部３４は、左側方の情景を撮影した撮像画像ＣＧに基づいて、車両１００に備えられるモニタ４１に表示されるイメージ画像ＩＧの左側に描画されるイメージ画像ＩＧに応じた左側方画像ＬＧを生成し、右側方の情景を撮影した撮像画像ＣＧに基づいて、モニタ４１に表示されるイメージ画像ＩＧの右側に描画されるイメージ画像ＩＧに応じた右側方画像ＲＧを生成する。左側方の情景を撮影した撮像画像ＣＧとは、左サイドカメラ１２ａにより取得された撮像画像ＣＧである。側方画像生成部３４は、視点設定部３２により設定される視点が、前進走行用の視点或いは後退走行用の視点のいずれであっても、左側方の情景が必要である場合には撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出する。
【００５４】
側方画像生成部３４は、抽出された左サイドカメラ１２ａによる撮像画像ＣＧを用いて、モニタ４１に表示されるイメージ画像ＩＧの左側に描画されるイメージ画像ＩＧに応じた左側方画像ＬＧを生成する。モニタ４１に表示されるイメージ画像ＩＧとは、イメージ画像生成部３６により生成されたイメージ画像ＩＧであり、イメージ画像ＩＧの左側とは、前進走行用の視点或いは後退走行用の視点に拘らず、モニタ４１に表示されたイメージ画像ＩＧの左側を意味する。イメージ画像ＩＧに応じた左側方画像ＬＧとは、イメージ画像ＩＧが車両１００の前方上部から後方下部を望むイメージ画像ＩＧである場合には、前方上部から後方下部を望む左側方画像ＬＧであり、イメージ画像ＩＧが車両１００の後方上部から前方下部を望むイメージ画像ＩＧである場合には、後方上部から前方下部を望む左側方画像ＬＧであることを意味する。
【００５５】
また、右側方の情景を撮影した撮像画像ＣＧとは、右サイドカメラ１２ｂにより取得された撮像画像ＣＧである。側方画像生成部３４は、視点設定部３２により設定される視点が、前進走行用の視点或いは後退走行用の視点のいずれであっても、右側方の情景が必要である場合には撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出する。側方画像生成部３４は、抽出された右サイドカメラ１２ｂによる撮像画像ＣＧを用いて、モニタ４１に表示されるイメージ画像ＩＧの右側に描画されるイメージ画像ＩＧに応じた右側方画像ＲＧを生成する。モニタ４１に表示されるイメージ画像ＩＧとは、イメージ画像生成部３６により生成されたイメージ画像ＩＧであり、イメージ画像ＩＧの右側とは、前進走行用の視点或いは後退走行用の視点に拘らず、モニタ４１に表示されたイメージ画像ＩＧの右側を意味する。イメージ画像ＩＧに応じた右側方画像ＲＧとは、イメージ画像ＩＧが車両１００の前方上部から後方下部を望むイメージ画像ＩＧである場合には、前方上部から後方下部を望む右側方画像ＲＧであり、イメージ画像ＩＧが車両１００の後方上部から前方下部を望むイメージ画像ＩＧである場合には、後方上部から前方下部を望む右側方画像ＲＧであることを意味する。
【００５６】
なお、詳細は後述するが、左側方画像ＬＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合の左側方画像ＬＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の左側方画像ＬＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合の左側方画像ＬＧ１Ｂと、からなる。また、同様に、右側方画像ＲＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合の右側方画像ＲＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の右側方画像ＲＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合の右側方画像ＲＧ１Ｂと、からなる。
【００５７】
したがって、前進走行時のモニタ４１にはイメージ画像ＩＧは正像で表示され、後退走行時のモニタ４１にはイメージ画像ＩＧは鏡像で表示される。即ち、シフト位置が後退走行用の位置である場合のイメージ画像ＩＧは鏡像となる。側方画像生成部３４により生成される左側方画像ＬＧと右側方画像ＲＧとは、後述する表示画像生成部３８に伝達される。
【００５８】
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成する。舵角を示す情報はステアリングセンサ２１から伝達される。また、車輪速は車輪速センサ２２から伝達される。シフト位置はシフト位置センサ２３から伝達される。これらの情報を用いて、予測進路線生成部３７は予測進路線ｇを生成する。ここで、本車両用周囲監視装置１００は、車両１００が当該車両１００の周囲に存在する物体に接触することを防止することを目的とするため、予測進路線ｇは例えば車両１００が前進走行で左旋回をしようとしている場合には、車両１００の右前端及び左後端の軌跡を示すものであれば好適であり、車両１００が前進走行で右旋回をしようとしている場合には、車両１００の左前端及び右後端の軌跡を示すものであれば好適である。更に、車両１００が後退走行で左旋回をしようとしている場合には、車両１００の右前端及び左後端の軌跡を示すものであれば好適であり、車両１００が後退走行で右旋回をしようとしている場合には、車両１００の左前端及び右後端の軌跡を示すものであれば好適である。予測進路線生成部３７は、このような予測進路線ｇを生成し、後述の表示画像生成部３８に伝達する。
【００５９】
表示画像生成部３８は、モニタ４１に表示される表示画像ＤＧを生成する。表示画像ＤＧの基となる画像は、上述の前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６から伝達される画像である。これらの画像を用いて表示画像生成部３８は、モニタ４１への表示に適した表示画像ＤＧを生成する。また、予測進路線ｇは生成されている場合には、前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６から伝達される画像に予測進路線ｇを重畳して表示画像ＤＧを生成する。表示画像生成部３８は、このような表示画像ＤＧをモニタ４１に伝達する。
【００６０】
モニタ４１は、表示画像生成部３８により生成された表示画像ＤＧを表示し、ユーザは当該モニタ４１に表示される画像を参照することにより車両１００の周囲を確認することが可能となる。
【００６１】
次に、モニタ４１に表示される表示画像ＤＧを用いて説明する。図４は、車両１００の前進走行時における斜め上方を視点とする表示画像ＤＧの一例である。シフト位置センサ２３によりシフトレバー６３のシフト位置が前進走行用の位置にあることが検出されると、視点設定部３２は当該検出結果に応じてモニタ４１に表示する表示画像ＤＧの視点を車両１００の後方上部から前方下部を見る視点に設定する。この場合には、図３（ａ）に示されるような視点となる。
【００６２】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、少なくとも車両１００の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成する。図４においては、符号ＩＧ１Ｆで示される画像が相当する。イメージ画像ＩＧ１Ｆには、ユーザがイメージし易いようにユーザを示すイメージＩＵＦも生成される。なお、この場合、イメージ画像ＩＧ１Ｆは、ユーザの後方から車両１００の前方下部を見下ろした正像の画像が生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧ１Ｆ（ユーザのイメージＩＵＦが生成された場合にはイメージＩＵＦも含む）は、表示画像生成部３８に伝達される。
【００６３】
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図４においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
【００６４】
また、前方画像ＦＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図４においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
【００６５】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図４においては、符号ＬＧ１Ｆで示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図４においては、符号ＲＧ１Ｆで示される画像が相当する。
【００６６】
モニタ４１には、左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆが車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ２を表示すると好適である。図４においては、縮小された車両の図において左側方の領域及び右側方の領域の色等を変更することにより明示する場合の例を示している。
【００６７】
ここで、一対のサイドカメラ１２は、鉛直下方向を向いてサイドミラー６０に備えられる。したがって、サイドカメラ１２により取得された撮像画像ＣＧは、サイドミラー６０の鉛直下方を中心として撮像された撮像画像ＣＧである。このため、側方画像生成部３４が、撮像画像取得部３１から抽出した左サイドカメラ１２ａ及び右サイドカメラ１２ｂにより取得された撮像画像ＣＧを単にモニタ４１に表示するだけではユーザが違和感を持つこととなる。このため、側方画像生成部３３は、視点設定部３２により車両１００の後方上部から当該車両１００の前方下部を望む視点が設定された場合には、撮像画像取得部３１から抽出された撮像画像ＣＧから車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆを生成する。この生成は、周知の画像処理技術を用いて行うことが可能であるので、説明は省略する。側方画像生成部３４により生成された車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆは表示画像生成部３８に伝達される。
【００６８】
表示画像生成部３８は、イメージ画像生成部３６から伝達される車両１００の後方上部から当該車両１００の前方下部を望む視点とするイメージ画像ＩＧ１Ｆと側方画像生成部３４から伝達される車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆとの上方に、前方画像生成部３３から伝達される前方画像ＦＧ１を表示する。また、表示画像生成部３８は、モニタ４１に表示される左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端が、少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域と重複するように生成する。
【００６９】
左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端とは、モニタ４１に表示した際の上端である。少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域とは、図４に示される前方画像ＦＧ１においては下端付近の領域である。このように、表示画像生成部３８は、左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端と、前方画像ＦＧ１の下端付近の領域とが、重複するように表示画像ＤＧを生成する。このように生成された表示画像ＤＧをモニタ４１に表示した場合には、前方画像ＦＧ１、左側方画像ＬＧ１Ｆ、右側方画像ＲＧ１Ｆにおいて車両１００の進行方向が一致しているため、左側方画像ＬＧ１Ｆと前方画像ＦＧ１とを連続的な画像とすることができ、また、右側方画像ＲＧ１Ｆと前方画像ＦＧ１とを連続的な画像とすることができる。したがって、ユーザは夫々の画像間における視点の切り替えをスムーズに行うことができる。
【００７０】
本車両用周辺監視装置５０によれば、図３（ａ）に示されるような車両１００の斜め上方からの視点から、図３（ｂ）に示されるような車両１００の鉛直上方からの視点に切り替えることも可能である。このような視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより実現される。ユーザが視点切替スイッチ４２を押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の鉛直上方からの視点に設定する。このような視点における表示画像ＤＧについて図５を用いて説明する。
【００７１】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、鉛直上方からの車両１００のイメージ画像ＩＧを生成する。図５においては、符号ＩＧ２で示される画像が相当する。イメージ画像生成部３６により生成されたイメージ画像ＩＧ２は、表示画像生成部３８に伝達される。
【００７２】
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図５においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
【００７３】
また、前方画像ＦＧ１の近傍（例えば上方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図５においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
【００７４】
また、前方画像生成部３３はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の上方に表示する車両１００の鉛直上方からの視点の前方画像ＦＧを生成する。図５においては、符号ＦＧ２で示される画像が相当する。前方画像生成部３３により生成された鉛直上方からの視点の前方画像ＦＧ２は表示画像生成部３８に伝達される。
【００７５】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図５においては、符号ＬＧ２で示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図５においては、符号ＲＧ２で示される画像が相当する。側方画像生成部３４により生成された左側方画像ＬＧ２はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の左側に表示され、側方画像生成部３４により生成された右側方画像ＲＧ２は前記イメージ画像ＩＧ２の右側に表示される。側方画像生成部３４により生成された左側方画像ＬＧ２及び右側方画像ＲＧ２は表示画像生成部３８に伝達される。
【００７６】
後方画像生成部３５はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の下方に表示する車両１００の鉛直上方からの視点の後方画像ＢＧを生成する。図５においては、符号ＢＧ２で示される画像が相当する。後方画像生成部３５により生成された鉛直上方からの視点の後方画像ＢＧ２は表示画像生成部３８に伝達される。
【００７７】
表示画像生成部３８は、前方画像ＦＧ１の右側に、車両１００の鉛直上方からの視点で示された車両１００の周囲の情景を示す画像をモニタ４１に表示する。即ち、イメージ画像生成部３６から伝達されるイメージ画像ＩＧ２の周囲に、前方画像ＦＧ２、左側方画像ＬＧ２、右側方画像ＲＧ２、及び後方画像ＢＧ２を表示する。
【００７８】
更に、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に車両１００の前方画像ＦＧのみを表示することも可能である。この場合の例を図６に示す。ユーザが視点切替スイッチ４２を更に押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の前方方向への視点に設定する。
【００７９】
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図６においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
【００８０】
また、前方画像ＦＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図６においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
【００８１】
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成し、表示画像生成部３８に伝達する。図６においては、前方画像ＦＧ１に予測進路線ｇが表示されることから、前方予測進路線と称される。特に、図６においては、符号ｇＬで示される線が、車両１００が走行する際の左端の前方予測進路線である。また、符号ｇＲで示される線が、車両１００が走行する際の右端の前方予測進路線である。また、車両１００の端部を明示するようにしても良い。このような前方予測進路線は、表示画像生成部３８に伝達される。
【００８２】
表示画像生成部３８は、前方画像ＦＧ１に前方予測進路線を重畳してモニタ４１に表示させる。ユーザは、この表示画像ＤＧを見ることにより、車両１００の周囲の情景を容易に把握することができるので、車両１００を適切に操舵することが可能となる。このように、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に表示させる画像を適宜、状況に応じて切り替えることが可能である。なお、モニタ４１に図６の表示画像ＤＧが表示されている状態において、ユーザが更に視点切替スイッチ４２を押下した場合には、図４の表示画像ＤＧに切り替える構成とすると好適である。或いは、視点切替スイッチ４２を図４、図５及び図６の夫々の表示画像ＤＧに対応する３段切替タイプで構成することも可能である。
【００８３】
次に、車両１００の後退走行時における斜め上方を視点とする表示画像ＤＧの一例について図を用いて説明する。シフト位置センサ２３によりシフトレバー６３のシフト位置が後退走行用の位置にあることが検出されると、視点設定部３２は当該検出結果に応じてモニタ４１に表示する表示画像ＤＧの視点を車両１００の前方上部から後方下部を見る視点に設定する。この場合には、図３（ｃ）に示されるような視点となる。このような視点での表示画像ＤＧを図７に示す。
【００８４】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、少なくとも車両１００の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成する。図７においては、符号ＩＧ１Ｂで示される画像が相当する。イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢも生成される。なお、この場合、イメージ画像ＩＧ１Ｂは、ユーザの前方から車両１００の後方下部を見下ろした画像が生成され、この場合には鏡像の画像が生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧ１Ｂ（ユーザのイメージＩＵＢが生成された場合にはイメージＩＵＢも含む）は、表示画像生成部３８に伝達される。
【００８５】
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図７においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図７においては、縮小された車両の図において後方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
【００８６】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図７においては、符号ＬＧ１Ｂで示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図７においては、符号ＲＧ１Ｂで示される画像が相当する。
【００８７】
モニタ４１には、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂが車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ２を表示すると好適である。図７においては、縮小された車両の図において左側方の領域及び右側方の領域の色等を変更することにより明示する場合の例を示している。
【００８８】
ここで、一対のサイドカメラ１２は、鉛直下方向を向いてサイドミラー６０に備えられる。したがって、サイドカメラ１２により取得された撮像画像ＣＧは、サイドミラー６０の鉛直下方を中心として撮像された撮像画像ＣＧである。このため、側方画像生成部３４が、撮像画像取得部３１から抽出した左サイドカメラ１２ａ及び右サイドカメラ１２ｂにより取得された撮像画像ＣＧを単にモニタ４１に表示するだけではユーザが違和感を持つこととなる。このため、側方画像生成部３３は、視点設定部３２により車両１００の前方上部から当該車両１００の後方下部を望む視点が設定された場合には、撮像画像取得部３１から抽出された撮像画像ＣＧから車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂを生成する。この生成は、周知の画像処理技術を用いて行うことが可能であるので、説明は省略する。側方画像生成部３４により生成された車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂは表示画像生成部３８に伝達される。
【００８９】
この場合、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度が、後方画像ＢＧ１の視点角度と略等しくなるように生成されると好適である。視点角度とは、水平面に対する視点の角度である。即ち、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの水平面に対する視点の角度が、後方画像ＢＧ１の水平面に対する視点の角度と略等しくなるように生成される。ここで、略等しいとは、完全同一に限定されるものではなく、近い角度であっても良いことを示す。
【００９０】
表示画像生成部３８は、イメージ画像生成部３６から伝達される車両１００の前方上部から当該車両１００の後方下部を望む視点とするイメージ画像ＩＧ１Ｂと側方画像生成部３４から伝達される車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂとの上方に、後方画像生成部３５から伝達される後方画像ＢＧ１を表示する。また、表示画像生成部３８は、モニタ４１に表示される左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端が、少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域と重複するように生成する。左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端とは、モニタ４１に表示した際の上端である。少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域とは、図７に示される後方画像ＢＧ１においては下端付近の領域である。このように、表示画像生成部３８は、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端と、後方画像ＢＧ１の下端付近の領域とが、重複するように表示画像ＤＧを生成する。このように生成された表示画像ＤＧをモニタ４１に表示した場合には、後方画像ＢＧ１、左側方画像ＬＧ１Ｂ、右側方画像ＲＧ１Ｂにおいて車両１００の進行方向が一致しているため、左側方画像ＬＧ１Ｂと後方画像ＢＧ１とを連続的な画像とすることができ、また、右側方画像ＲＧ１Ｂと後方画像ＢＧ１とを連続的な画像とすることができる。したがって、ユーザは夫々の画像間における視点の切り替えをスムーズに行うことができる。
【００９１】
本車両用周辺監視装置５０によれば、図３（ｃ）に示されるような車両１００の斜め上方からの視点から、図３（ｂ）に示されるような車両１００の鉛直上方からの視点に切り替えることも可能である。このような視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより実現される。ユーザが視点切替スイッチ４２を押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の鉛直上方からの視点に設定する。このような視点における表示画像ＤＧについて図８を用いて説明する。
【００９２】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、鉛直上方からの車両１００のイメージ画像ＩＧを生成する。図８においては、符号ＩＧ２で示される画像が相当する。イメージ画像生成部３６により生成されたイメージ画像ＩＧ２は、表示画像生成部３８に伝達される。
【００９３】
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図８においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図８においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
【００９４】
また、後方画像生成部３５はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の下方に表示する車両１００の鉛直上方からの視点の後方画像ＢＧを生成する。図８においては、符号ＢＧ２で示される画像が相当する。後方画像生成部３５により生成された鉛直上方からの視点の後方画像ＢＧ２は表示画像生成部３８に伝達される。
【００９５】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図８においては、符号ＬＧ２で示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図８においては、符号ＲＧ２で示される画像が相当する。側方画像生成部３４により生成された左側方画像ＬＧ２はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の左側に表示され、側方画像生成部３４により生成された右側方画像ＲＧ２は前記イメージ画像ＩＧ２の右側に表示される。側方画像生成部３４により生成された左側方画像ＬＧ２及び右側方画像ＲＧ２は表示画像生成部３８に伝達される。
【００９６】
前方画像生成部３３はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の上方に表示する車両１００の鉛直上方からの視点の前方画像ＦＧを生成する。図８においては、符号ＦＧ２で示される画像が相当する。前方画像生成部３３により生成された鉛直上方からの視点の前方画像ＦＧ２は表示画像生成部３８に伝達される。
【００９７】
表示画像生成部３８は、後方画像ＢＧ１の右側に、車両１００の鉛直上方からの視点で示された車両１００の周囲の情景を示す画像をモニタ４１に表示する。即ち、イメージ画像生成部３６から伝達されるイメージ画像ＩＧ２の周囲に、前方画像ＦＧ２、左側方画像ＬＧ２、右側方画像ＲＧ２、及び後方画像ＢＧ２を表示する。
【００９８】
更に、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に車両１００の後方画像ＢＧのみを表示することも可能である。この場合の例を図９に示す。ユーザが視点切替スイッチ４２を更に押下すると、視点設定部３８はモニタ４１に表示する表示画像ＤＧの視点を車両１００の後方方向への視点に設定する。
【００９９】
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図９においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図９においては、縮小された車両の図において後方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
【０１００】
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成し、表示画像生成部３８に伝達する。図９においては、後方画像ＢＧ１に予測進路線ｇが表示されることから、後方予測進路線ｇＢと称される。後方予測進路線ｇＢは、後退する車両１００の舵角に応じた車両１００の後端の予測軌跡等を示す指標である。本実施形態では、後方予測進路線ｇＢは、車両１００の後端の予測軌跡を示す後端予測軌跡線ｇ１及び車両５０の後方の距離目安線ｇ２、ｇ３、ｇ４から構成される。距離目安線は、本例では、５ｍ目安線ｇ２、３ｍ目安線ｇ３、１ｍ注意線ｇ４である。後方予測進路線は、基本的に黄色で描画される。但し、１ｍ注意線ｇ４及び、ｇ４よりも車両３０側の後端予測進路線ｇ５については、運転者に注意を喚起するために、赤色で描画される。このような後方予測進路線ｇＢは、表示画像生成部３８に伝達される。
【０１０１】
表示画像生成部３８は、後方画像ＢＧ１に後方予測進路線ｇＢを重畳してモニタ４１に表示させる。ユーザは、この表示画像ＤＧを見ることにより、車両１００の周囲の情景を容易に把握することができるので、車両１００を適切に操舵することが可能となる。このように、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に表示させる画像を適宜、状況に応じて切り替えることが可能である。なお、モニタ４１に図９の表示画像ＤＧが表示されている状態において、ユーザが更に視点切替スイッチ４２を押下した場合には、図７の表示画像ＤＧに切り替える構成とすると好適である。或いは、視点切替スイッチ４２を図７、図８及び図９の夫々の表示画像ＤＧに対応する３段切替タイプで構成することも可能である。
【０１０２】
〔その他の実施形態〕
上記実施形態では、イメージ画像生成部３６が、車両１００の後方上部から当該車両１００の前方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ、或いは車両１００の前方上部から当該車両１００の後方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車両１００の一部とサイドミラー６０とが少なくとも含まれていれば良く、例えば車両１００全体を含むイメージ画像ＩＧを生成するように構成することも当然に可能である。この場合には、車両１００の全体のイメージ画像ＩＧであるので、サイドミラー６０は当然に含まれる。サイドミラー６０を含ませてイメージ画像ＩＧを生成するので、ユーザは車両１００と周囲に存在する物体との位置関係を把握し易くすることが可能となる。
【０１０３】
上記実施形態では、一対のサイドカメラ１２は、鉛直下方を向いて備えられるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。サイドカメラ１２が、鉛直下方以外の方向を向いて備えることも当然に可能である。このように備えた場合であっても、側方画像生成部３４が視点設定部３２により設定された視点に応じて、サイドカメラ１２により取得された撮像画像ＣＧを基に、左側方画像ＬＧ及び右側方画像ＲＧを生成することは当然に可能である。
【０１０４】
上記実施形態では、車両１００が有するシフトレバー６３のシフト位置が少なくとも前進走行用の位置である場合に、イメージ画像ＩＧ１Ｆと左側方画像ＬＧ１Ｆと右側方画像ＲＧ１Ｆとの上方に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて生成される前方画像ＦＧ１が表示されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフトレバー６３のシフト位置が後退走行用の位置である場合にも、イメージ画像ＩＧ１Ｆと左側方画像ＬＧ１Ｆと右側方画像ＲＧ１Ｆとの上方に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて生成される前方画像ＦＧ１が表示するように構成することも可能である。また、係る場合には、ユーザによる視点切替スイッチ４２の押下に応じて視点を切り替える構成とすると好適である。
【０１０５】
上記実施形態では、車両１００が有するシフトレバー６３のシフト位置が少なくとも後退走行用の位置である場合に、イメージ画像ＩＧ１Ｂと左側方画像ＬＧ１Ｂと右側方画像ＲＧ１Ｂとの上方に、リアカメラ１３により取得された撮像画像ＣＧに基づいて生成される後方画像ＢＧ１が表示されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフトレバー６３のシフト位置が前進走行用の位置である場合にも、イメージ画像ＩＧ１Ｂと左側方画像ＬＧ１Ｂと右側方画像ＲＧ１Ｂとの上方に、リアカメラ１３により取得された撮像画像ＣＧに基づいて生成される後方画像ＢＧ１が表示するように構成することも可能である。また、係る場合には、ユーザによる視点切替スイッチ４２の押下に応じて視点を切り替える構成とすると好適である。
【０１０６】
上記実施形態では、シフト位置が後退走行用の位置である場合のイメージ画像ＩＧ１Ｂが鏡像であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフト位置が後退走行用の位置である場合でも、イメージ画像ＩＧ１Ｂを正像で表示する構成とすることも当然に可能である。
【０１０７】
上記実施形態では、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度が、後方画像ＢＧ１の視点角度と略等しいとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度と、後方画像ＢＧ１の視点角度とを全く異なる角度に設定して生成することも当然に可能である。
【０１０８】
上記実施形態では、モニタ４１に表示される左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端が、少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域と重複するように生成されるとして説明した。また、モニタ４１に表示される左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端が、少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域と重複するように生成されるとして説明した。この場合には、夫々の画像の接続部分が滑らかになるように、公知のモーフィング処理を行うと好適である。或いは、夫々の画像が重複しないように生成することも当然に可能である。
【０１０９】
上記実施形態では、視点切替スイッチ４２により、表示画像ＤＧの視点が切り替えられるとして説明した。この視点切替スイッチ４２は物理的なスイッチでなくても良く、モニタ４１をタッチディスプレイとして構成することにより、モニタ４１に表示されるタッチボタンで構成することも当然に可能である。
【０１１０】
上記実施形態では、予測進路線ｇが、図６の前方画像ＦＧ１のみの表示の際、及び図９の後方画像ＢＧ１のみの表示の際に重畳されているとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。図４の前方画像ＦＧ１、図５の前方画像ＦＧ１、図７の後方画像ＢＧ１、図８の後方画像ＢＧ１においても、予測進路線ｇを重畳して表示することも当然に可能である。また、左側方画像ＬＧや右側方画像ＲＧに予測進路線ｇを重畳することも当然に可能である。
【０１１１】
上記実施形態では、イメージ画像ＩＧ１Ｆには、ユーザがイメージし易いようにユーザを示すイメージＩＵＦが生成され、イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢが生成されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。イメージＩＵＦ、ＩＵＢを生成しない構成とすることも当然に可能である。
【０１１２】
上記実施形態では、イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢが生成されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。イメージ画像ＩＧ１ＢにイメージＩＵＢを生成することなく、左側方画像ＬＧ１Ｂに「Ｌ」の鏡像文字や右側方画像ＲＧ１Ｂに「Ｒ」の鏡像文字を付与して表示させることも当然に可能である。このような表示を行うことで、後退走行時にモニタ４１に表示される表示画像ＨＧが鏡像であることを明示することが可能となる。
【産業上の利用可能性】
【０１１３】
本発明は、ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置に利用可能である。
【符号の説明】
【０１１４】
１：カメラデバイス
２：センサデバイス
３：ＥＣＵ（電子制御ユニット）
１１：フロントカメラ
１２：サイドカメラ
１２ａ：左サイドカメラ
１２ｂ：右サイドカメラ
１３：リアカメラ
２１：ステアリングセンサ
２２：車輪速センサ
２３：シフト位置センサ
３１：撮像画像取得部
３２：視点設定部
３３：前方画像生成部
３４：側方画像生成部
３５：後方画像生成部
３６：イメージ画像生成部
３７：予測進路線生成部
３８：表示画像生成部
４１：モニタ
４２：視点切替スイッチ
５０：車両用周辺監視装置
ＢＧ：後方画像
ＣＧ：撮影画像
ＤＧ：表示画像
ＦＧ：前方画像
ＩＧ：イメージ画像
ＬＧ：左側方画像
ＲＧ：右側方画像
【技術分野】
【０００１】
本発明は、車両の周辺を監視する車両用周辺監視装置に関する。
【背景技術】
【０００２】
車両には、周囲の状況を確認するためにサイドミラーやルームミラーが備えられているが、これらのミラーを用いても車両の構造上、運転席から情景を確認することができない死角が存在する。このような死角を極力少なくするために、車体（例えばボンネット近傍やリアゲート近傍）にミラーを備えている車両がある。しかしながら、この種のミラーを用いても死角を完全になくすことは容易ではなく、また、このようなミラーを配設した場合には車両のデザインを損なわせることになる。このような問題を鑑みて、近年においては、車両の各部に配設されたカメラにより取得された撮像画像を用いて車両の周囲の状況を確認する技術が利用されている（例えば非特許文献１及び２等）。
【０００３】
非特許文献１及び２に記載の技術は、例えば車両を後退させる場合に、車両の後方の情景を撮影して取得された撮像画像と、車両の周囲に配設される４つのカメラにより撮影して取得された撮像画像を用いて生成された車両の周囲を含む鳥瞰画像と、を左右に並べてディスプレイに表示している。
【０００４】
しかしながら、非特許文献１及び２に記載の技術では、４つのカメラにより取得された撮像画像を用いて鳥瞰画像を生成しているので、鳥瞰画像に含まれる立体物が撮影されたカメラから放射線状に伸びて表示され不自然なものとなる。また、鳥瞰画像に含まれる立体物が放射状に伸びて表示されることから、ユーザが当該立体物を路面の描画物であると勘違いする可能性がある。このため、車両が立体物に衝突するおそれがある。また、鳥瞰画像において表示される撮像画像が、夫々のカメラが撮影する領域毎に分けられて用いられるので、当該領域の境界部分において立体物が消滅してしまうことがある。このため、ユーザが困惑する可能性もある。このような問題を改善するための技術として、下記に出典を示す特許文献１−３に記載の技術がある。
【０００５】
特許文献１に記載の車両周囲監視装置は、車両に８つのカメラを備え、これらのカメラにより取得された撮像画像を用いて車両の全周囲を含む鳥瞰画像を生成する。これらのカメラは、各カメラの撮影範囲の境界部分で垂直に立っている立体物が鳥瞰画像において消滅しないように、当該境界部分で立体物が同じ方向に伸びるような角度で配設される。
【０００６】
特許文献２に記載の車両後方モニタシステムは、車両の後方の情景を撮影する後方カメラと、車両の左右両側方に備えられる側方カメラとを備えて構成される。この車両後方モニタシステムは、後方カメラにより取得された撮像画像を用いて俯瞰画像を生成し、当該俯瞰画像と側方カメラにより取得された撮像画像とを組み合わせて一つの画面に表示する。
【０００７】
特許文献３に記載の車両用映像表示装置は、車両に複数のカメラを備えて構成される。この車両用映像表示装置は、複数のカメラにより取得された撮像画像に基づいて車両上空の所定の視点から車両を投射した投射映像を生成し、当該作成された投射映像に車両上空の視点からの車両のグラフィックデータを重畳させて表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−２０４５４７号公報
【特許文献２】特許第３９１６９５８号明細書
【特許文献３】特開２００３−３４６１８９号公報
【非特許文献】
【０００９】
【非特許文献１】技術紹介（アラウンドビューモニター 日産自動車株式会社）［平成２１年２月４日検索］、インターネット＜URL：http://www.nissan-global.com/JP/TECHNOLOGY/INTRODUCTION/DETAILS/AVM/＞
【非特許文献２】技術紹介（四輪製品ニュース 本田技研工業株式会社）［平成２１年２月４日検索］、インターネット＜URL：http://www.honda.co.jp/news/2008/4080918b.html＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載の車両周囲監視装置は、カメラが撮影する領域の境界部分において立体物が消滅してしまうことは少ないが、４つのカメラで車両の全周囲の鳥瞰画像を生成できるところ、８つのカメラを使用するため余計なコストを要する。また、立体物が不自然に伸びることは解消されていない。このため、ユーザが立体物を路面の描画物と勘違いする可能性があるため、車両が立体物に接触する可能性がある。
【００１１】
また、特許文献２に記載の車両後方モニタシステムは、側方カメラはサイドミラー越しに見た映像として表示し、俯瞰画像は画面下部が遠方になるように表示される。このため、ユーザが俯瞰画像と側方カメラにより取得された撮像画像との間で視点を切り替えた場合に、夫々の進行方向が異なるので直感的に分かりにくいものとなっている。また、側方カメラは車両の後方に向けて配設されており、車両の側方前端部を表示するには更に２つの側方カメラが必要となり、コストを要してしまう。
【００１２】
また、特許文献３に記載の車両用映像表示装置は、車両上空の視点からの画像を表示することが開示されているが、具体的にディスプレイに表示させる方法については何ら開示されていない。
【００１３】
非特許文献１及び２に記載の技術は、後退走行時は車両の後方画像と鳥瞰画像とを左右に並べて表示する。後方画像は進行方向遠方部が画面の上方になり、鳥瞰画像は進行方向遠方部が画面の下方になる。このように夫々の画像において進行方向が異なるので、ユーザは困惑してしまい、結果いずれか一方の画像しか参照しない（見ない）ケースが多々ある。
【００１４】
本発明の目的は、上記問題に鑑み、ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するための本発明に係る車両用周辺監視装置の特徴構成は、車両が有するサイドミラーに備えられ、当該サイドミラーの鉛直下方を含む前記車両の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラと、前記車両の後方上部から当該車両の前方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像、或いは前記車両の前方上部から当該車両の後方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像を生成するイメージ画像生成部と、前記左側方の情景を撮影した撮像画像に基づいて、前記車両の車内に備えられるモニタに表示される前記イメージ画像の左側に描画される当該イメージ画像に応じた左側方画像を生成し、前記右側方の情景を撮影した撮像画像に基づいて、前記モニタに表示される前記イメージ画像の右側に描画される当該イメージ画像に応じた右側方画像を生成する側方画像生成部と、を備える点にある。
【００１６】
このような特徴構成とすれば、モニタには、車両を後方上部或いは前方上部から見下ろした視点での表示画像が表示されるので、車両の周辺に存在する物体が不自然に伸びることがない。また、モニタに表示されるイメージ画像は、撮像画像には含まれないサイドミラーを含んで生成されるので、ユーザは車両とその周囲に存在する物体との位置関係を把握し易い。したがって、ユーザは困惑することなく、車両の周囲の状況を把握することができる。また、左右のサイドミラーに夫々１つずつのサイドカメラを備えるだけで良いので、車両用周辺監視装置を低コストで実現することが可能となる。
【００１７】
また、前記車両の前方の情景を撮影した撮像画像を取得するフロントカメラが備えられ、前記車両が有するシフトレバーのシフト位置が少なくとも前進走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記フロントカメラにより取得された撮像画像に基づいて生成される前方画像が表示されると好適である。
【００１８】
このような構成とすれば、車両の移動に合わせて変化する前方画像に表示される情景の移動方向と、車両の移動に合わせて変化する左側方画像及び右側方画像に表示される情景の移動方向とを同じにすることができる。したがって、ユーザは前方画像と、左側方画像及び右側方画像とのつながりを把握し易い。したがって、ユーザは困惑することなく車両の周囲の状況を把握することが可能となる。
【００１９】
また、前記車両の後方の情景を撮影した撮像画像を取得するリアカメラが備えられ、前記車両が有するシフトレバーのシフト位置が少なくとも後退走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記リアカメラにより取得された撮像画像に基づいて生成される後方画像が表示されると好適である。
【００２０】
このような構成とすれば、車両の移動に合わせて変化する後方画像に表示される情景の移動方向と、車両の移動に合わせて変化する左側方画像及び右側方画像に表示される情景の移動方向とを同じにすることができる。したがって、ユーザは後方画像と、左側方画像及び右側方画像とのつながりを把握し易い。したがって、ユーザは困惑することなく車両の周囲の状況を把握することが可能となる。
【００２１】
また、前記シフト位置が前記後退走行用の位置である場合の前記イメージ画像が鏡像であると好適である。
【００２２】
一般的に後方画像は、ルームミラーに表示されるが如く鏡像画像として表示されるが、それと同様に、左側方画像及び右側方画像も鏡像で表示することで、後方画像と左側方画像及び右側方画像とのつながりを分かり易くすることができる。また、鏡像とすることで、実空間における車両の左右の位置関係と、モニタに表示される表示画像における車両の左右の位置関係とを同じにすることができるので、ユーザは車両の周囲に存在する物体の位置関係を直感的に理解し易くなる。
【００２３】
また、前記左側方画像及び前記右側方画像の視点角度が、前記後方画像の視点角度と略等しいと好適である。
【００２４】
このような構成とすれば、夫々の画像の視点角度が略等しいので、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザが夫々の画面間にわたって視点を切り替えた場合でも困惑することがなくなる。
【００２５】
また、前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記前方画像に含まれる前記車両に最も近い側の領域と重複するように生成されると好適である。
【００２６】
このような構成とすれば、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザは車両の周囲の状況を容易に理解することが可能となる。
【００２７】
また、前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記後方画像に含まれる前記車両に最も近い側の領域と重複するように生成されると好適である。
【００２８】
このような構成とすれば、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザは車両の周囲の状況を容易に理解することが可能となる。
【００２９】
また、前記一対のサイドカメラは、鉛直下方向を向いて備えられてあると好適である。
【００３０】
このような構成において、例えば魚眼レンズを供えたサイドカメラを用いれば、１つのサイドカメラで車両の前方から後方までを撮像可能な側方画像を取得することができる。このため、車両の左右夫々に１つずつサイドカメラを備えればよいので、低コストで車両用周辺監視装置を実現することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る車両用監視装置を備えた車両の概略を示す図である。
【図２】本発明に係る車両用監視装置の概略を示すブロック図である。
【図３】視点について示す図である。
【図４】前進走行時の斜め上方を視点とした場合の表示画像の例を示す図である。
【図５】前進走行時の鉛直上方を視点とした場合の表示画像の例を示す図である。
【図６】前進走行時の車両前方のみの表示画像の例を示す図である。
【図７】後退走行時の斜め上方を視点とした場合の表示画像の例を示す図である。
【図８】後退走行時の鉛直上方を視点とした場合の表示画像の例を示す図である。
【図９】後退走行時の車両後方のみの表示画像の例を示す図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、詳細に説明する。図１は、本発明に係る車両用周辺監視装置５０を備える車両１００の概略を示す鳥瞰図である。車両１００には、カメラデバイス１としてフロントカメラ１１、サイドカメラ１２、リアカメラ１３が備えられる。フロントカメラ１１は、車両１００の前方の情景を撮影した撮像画像ＣＧを取得する。フロントカメラ１１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ１１は、図１に示されるように、車両１００のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ１１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＡで示される領域の情景を含む撮像画像ＣＧが取得される。
【００３３】
サイドカメラ１２は、車両１００が有するサイドミラー６０に備えられる。また、当該サイドカメラ１２は、サイドミラー６０の鉛直下方を含む車両１００の左側方の情景及び右側方の情景を撮影した撮像画像ＣＧを取得する一対のサイドカメラ１２ａ、１２ｂ（左サイドカメラ１２ａ及び右サイドカメラ１２ｂ）から構成される。本実施形態では、図１に示されるように、車両１００の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ１２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ１２ｂとして説明する。また、特に左サイドカメラ１２ａ及び右サイドカメラ１２ｂのいずれかを限定する必要がない場合には、サイドカメラ１２として記載する。
【００３４】
左サイドカメラ１２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両１００の左側方の情景を撮影し、撮像画像ＣＧを取得する。上述のフロントカメラ１１と同様に、サイドカメラ１２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ１２ａにより少なくとも図１のＢで示される領域の情景を撮影した撮像画像ＣＧが取得される。右サイドカメラ１２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両１００の右側方の情景を撮影し、撮像画像ＣＧを取得する。右サイドカメラ１２ｂにより少なくとも図１のＣで示される領域の情景を撮影した撮像画像ＣＧが取得される。
【００３５】
リアカメラ１３は、車両１００の後方の情景を撮影した撮像画像ＣＧを取得する。リアカメラ１３は、図１に示されるように、車両１００のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ１３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＤで示される領域の情景を撮影した撮像画像ＣＧが取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。
【００３６】
本発明に係る車両用周辺監視装置５０は、このような車両１００に備えられるフロントカメラ１１、サイドカメラ１２、リアカメラ１３により取得された撮像画像ＣＧを用いて、ユーザが好適に車両１００の周囲を監視する機能を備えている。図２は、本車両用周辺監視装置５０の概略構成を模式的に示すブロック図である。
【００３７】
車両用周辺監視装置５０は、カメラデバイス１、センサデバイス２、ＥＣＵ（電子制御ユニット）３、モニタ４１、視点切替スイッチ４２を備えて構成される。カメラデバイス１は、フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３を備えて構成される。センサデバイス２は、ステアリングセンサ２１、車輪速センサ２２、シフト位置センサ２３を備えて構成される。ＥＣＵ３は、撮像画像取得部３１、視点設定部３２、前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６、予測進路線生成部３７、表示画像生成部３８の各機能部を備えて構成される。このように構成される本車両用周辺監視装置５０は、ＣＰＵを中核部材として車両１００の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
【００３８】
フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３は、夫々が少なくとも領域Ａ−Ｄ（図１参照）を含む情景を撮影した撮像画像ＣＧを取得する。このように取得された撮像画像ＣＧは、後述の撮像画像取得部３１に伝達される。
【００３９】
ステアリングセンサ２１は、車両５０が有するステアリング６１（図１参照）の舵角を検出する。舵角とは、中立状態からステアリング６１を時計方向又は反時計方向に回転させた際の回転角に相当するものである。中立状態とは、車両１００が備える車輪６２の操舵輪（例えば前輪）の方向が車幅と平行となる状態、すなわち車両１００が直進可能となる状態である。このようなステアリング６１の回転角を検出するステアリングセンサ２１は、ホール素子を用いて構成することが可能である。ホール素子は電流が流れている導体に磁界を加えた場合に、導体内部の電荷が横方向に動かされるように受ける力に応じて起電力を生じるホール効果を利用して磁束を検出する素子である。
【００４０】
このようなホール素子を用いる場合には、ステアリング６１の回転軸の周囲に永久磁石を配設し、ステアリング６１の回転に応じて変化する磁界をホール素子により検出すると好適である。また、ホール素子から出力される検出結果は電気信号であるので、ステアリングセンサ２１は当該検出結果に基づいてステアリング６１の舵角を演算する。ステアリングセンサ２１により演算された舵角は舵角情報として、後述の予測進路線生成部３７に伝達される。
【００４１】
車輪速センサ２２は、車両１００が有する車輪６２（図１参照）の回転速度の検出を行う。車輪速センサ２２も上述のステアリングセンサ２１と同様にホール素子を用いて構成することが可能であり、適切に車輪６２の回転速度を検出することができる。車輪速センサ２２は、例えば左前輪の回転軸及び右前輪の回転軸に夫々備えると好適である。このように左右両輪の回転軸に備えることにより、直進及び旋回の別を検出することが可能となる。即ち、左右両輪の回転速度が同じであれば直進であると判定することができ、左右両輪の回転速度が異なっていれば回転速度の遅い方に旋回をしていると判定することができる。なお、車輪速センサ２２は車両１００が備える前輪の回転軸及び後輪の回転軸の少なくともいずれか一方に備えていれば良い。車輪速センサ２２により検出された車輪速度の検出結果は、後述する予測進路線生成部３７に伝達される。
【００４２】
シフト位置センサ２３は、車両１００が有するシフトレバー６３（図１参照）のシフト位置の検出を行う。シフトレバー６３は、本実施形態においては、ＡＴ（Automatic Transmission）機構が備えるギヤの切り替えを行うレバーである。このようなＡＴ機構は変速機内部で駆動系が固定され、主に駐車時に使用する〔Ｐ〕レンジ、後退時に使用する〔Ｒ〕レンジ、変速機内部がフリー状態となり、エンジンからの動力を駆動系に伝達しないようにする〔Ｎ〕レンジ、通常走行時に使用する〔Ｄ〕レンジ、下り坂等エンジンブレーキを使用する際に使用し、シフトアップの上限を２速に固定する〔２〕レンジ、急な下り坂等、強力なエンジンブレーキを使用する際に使用し、ギヤが１速に固定される〔１〕レンジを有している。ＡＴ機構は、このようなシフトレンジに対応するシフト位置毎に出力電圧が出力可能に設定され、シフト位置センサ２３は当該出力電圧を検出することにより現在のシフト位置の検出が可能となる。シフト位置センサ２３により検出されたシフト位置の検出結果は、後述する視点設定部３２及び予測進路線生成部３７に伝達される。
【００４３】
撮像画像取得部３１は、各カメラ１１−１３から伝達される撮像画像ＣＧを取得する。撮像画像取得部３１により取得される撮像画像ＣＧは、撮像画像取得部３１が備える一次記憶領域（図示しない）に一次記憶され、必要に応じて後述する前方画像生成部３３、側方画像生成部３４、後方画像生成部３５により読み出されて（抽出されて）使用される。なお、撮像画像取得部３１に一次記憶された撮像画像ＣＧは、一次記憶されてから所定時間が経過する毎に消去する構成とすることも可能であるし、ユーザのスイッチ操作等により消去する構成とすることも可能である。或いは、一次記憶領域の容量を所定の固定値で設定し、所謂先入れ先出し方式で一次記憶と消去とを行う構成とすることも可能である。
【００４４】
視点設定部３２は、詳細は後述するが、車両１００の車内に備えられるモニタ４１に表示される車両１００の周囲の情景や車両１００のイメージ画像ＩＧ（後述する）の視点を設定する。この視点の設定は、シフト位置センサ２３から伝達されるシフトレバー６３のシフト位置の検出結果や、ユーザによる視点切替スイッチ４２の操作に応じて設定される。例えば、シフト位置センサ２３の検出結果に基づいて視点の設定を行う場合には、シフトレバー１１の位置が少なくとも前進走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジのいずれかの位置にある場合には前進走行用の視点に設定し、シフトレバー１１の位置が少なくとも後退走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジの位置にある場合には後退走行用の視点に設定する。
【００４５】
ここで、本車両用周辺監視装置５０は、詳細は後述するが、車両１００の斜め上方から斜め下方を望む視点とする当該車両１００の周囲の情景と、車両１００の鉛直上方を視点とする当該車両１００の周囲の情景とを選択的に切り替えてモニタ４１に表示することが可能である。この切り替えは、ユーザが視点切替スイッチ４２を押下することにより行うことが可能である。本実施形態では、車両１００の斜め上方からの視点がデフォルトとして設定されているとして説明する。したがって、視点設定部３８は、シフトレバーが前進走行用の位置にある場合には、前進走行用の斜め上方からの視点として設定し、シフトレバーが後退走行用の位置にある場合には、後退走行用の斜め上方からの視点として設定する。
【００４６】
前進走行用の斜め上方からの視点とは、図３（ａ）の矢印で示されるような車両１００の後方上部から当該車両１００の前方下部を望む形態とした場合の視点である。なお、上述の視点切替スイッチ４２を押下すると、このような視点から図３（ｂ）の矢印で示されるように車両１００を鉛直方向で見下ろした場合の視点に変更することが可能である。また、後退走行用の斜め上方の視点とは、図３（ｃ）の矢印で示されるような車両１００の前方上部から当該車両１００の後方下部を望む形態とした場合の視点である。なお、上述の視点切替スイッチ４２を押下すると、前進走行用の斜め上方からの視点から視点切替スイッチ４２が押下された場合と同様に、このような視点から図３（ｂ）の矢印で示されるように車両１００を鉛直方向で見下ろした場合の視点に変更することが可能である。視点設定部３２により設定された視点を示す情報は、後述の前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６、予測進路線生成部３７に伝達される。
【００４７】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じた車両１００のイメージ画像ＩＧを生成する。詳細は後述するが、イメージ画像ＩＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合のイメージ画像ＩＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向から見下ろした場合のイメージ画像ＩＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合のイメージ画像ＩＧ１Ｂと、からなる。したがって、視点設定部３２により斜め上方からの視点が設定されている場合には、イメージ画像生成部３６は、車両１００の後方上部から当該車両１００の前方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ１Ｆ、或いは車両１００の前方上部から当該車両１００の後方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ１Ｂを生成する。
【００４８】
即ち、視点設定部３２により前進走行用の斜め上方からの視点が設定されている場合には、イメージ画像ＩＧ１Ｆが生成される。このイメージ画像ＩＧ１Ｆには、少なくとも車両の前方部とサイドミラー６０とが含まれるように生成される。一方、視点設定部３２により後退走行用の斜め上方からの視点が設定されている場合には、イメージ画像ＩＧ１Ｂが生成される。このイメージ画像ＩＧ１Ｂには、車両の後方部とサイドミラー６０とが含まれるように生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧは、後述する表示画像生成部３８に伝達される。
【００４９】
前方画像生成部３３は、車両１００が有するシフトレバー６３の位置が少なくとも前進走行用の位置である場合に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて前方画像ＦＧを生成する。シフトレバー６３の位置が少なくとも前進走行用の位置とは、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジが相当する。シフトレバー６３がこのような位置にあるか否かは、上述のシフト位置センサ２３により検出される。この検出結果に基づいて、上述の視点設定部３２がモニタ４１に表示する画像の視点を前進走行用の視点に設定する。
【００５０】
また、詳細は後述するが、前方画像ＦＧは、図３（ａ）のように車両１００の後方上部から前方下部を見下ろした場合の前方画像ＦＧ１と、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の前方画像ＦＧ２と、からなる。前方画像生成部３３は視点設定部３２により設定された視点を示す情報が伝達されると、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出する。前方画像生成部３３は抽出された撮像画像ＣＧを用いて、モニタ４１への表示に適した前方画像ＦＧを生成する。このように生成された前方画像ＦＧは、後述する表示画像生成部３８に伝達される。前方画像ＦＧについては後述する。
【００５１】
後方画像生成部３５は、車両１００が有するシフトレバー６３の位置が少なくとも後退走行用の位置である場合に、リアカメラ１３により取得された撮像画像ＣＧに基づいて後方画像ＢＧを生成する。シフトレバー６３の位置が少なくとも後退走行用の位置とは、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジが相当する。シフトレバー６３がこのような位置にあるか否かは、上述のシフト位置センサ２３により検出される。この検出結果に基づいて、上述の視点設定部３２がモニタ４１に表示する画像の視点を後退走行用の視点に設定する。
【００５２】
また、詳細は後述するが、後方画像ＢＧは、図３（ｃ）のように車両１００の前方上部から後方下部を見下ろした場合の後方画像ＢＧ１と、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の後方画像ＢＧ２と、からなる。後方画像生成部３５は視点設定部３２により設定された視点を示す情報が伝達されると、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出する。後方画像生成部３５は抽出された撮像画像ＣＧを用いて、モニタ４１への表示に適した後方画像ＢＧを生成する。このように生成された後方画像ＢＧは、後述する表示画像生成部３８に伝達される。後方画像ＢＧについては後述する。
【００５３】
側方画像生成部３４は、左側方の情景を撮影した撮像画像ＣＧに基づいて、車両１００に備えられるモニタ４１に表示されるイメージ画像ＩＧの左側に描画されるイメージ画像ＩＧに応じた左側方画像ＬＧを生成し、右側方の情景を撮影した撮像画像ＣＧに基づいて、モニタ４１に表示されるイメージ画像ＩＧの右側に描画されるイメージ画像ＩＧに応じた右側方画像ＲＧを生成する。左側方の情景を撮影した撮像画像ＣＧとは、左サイドカメラ１２ａにより取得された撮像画像ＣＧである。側方画像生成部３４は、視点設定部３２により設定される視点が、前進走行用の視点或いは後退走行用の視点のいずれであっても、左側方の情景が必要である場合には撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出する。
【００５４】
側方画像生成部３４は、抽出された左サイドカメラ１２ａによる撮像画像ＣＧを用いて、モニタ４１に表示されるイメージ画像ＩＧの左側に描画されるイメージ画像ＩＧに応じた左側方画像ＬＧを生成する。モニタ４１に表示されるイメージ画像ＩＧとは、イメージ画像生成部３６により生成されたイメージ画像ＩＧであり、イメージ画像ＩＧの左側とは、前進走行用の視点或いは後退走行用の視点に拘らず、モニタ４１に表示されたイメージ画像ＩＧの左側を意味する。イメージ画像ＩＧに応じた左側方画像ＬＧとは、イメージ画像ＩＧが車両１００の前方上部から後方下部を望むイメージ画像ＩＧである場合には、前方上部から後方下部を望む左側方画像ＬＧであり、イメージ画像ＩＧが車両１００の後方上部から前方下部を望むイメージ画像ＩＧである場合には、後方上部から前方下部を望む左側方画像ＬＧであることを意味する。
【００５５】
また、右側方の情景を撮影した撮像画像ＣＧとは、右サイドカメラ１２ｂにより取得された撮像画像ＣＧである。側方画像生成部３４は、視点設定部３２により設定される視点が、前進走行用の視点或いは後退走行用の視点のいずれであっても、右側方の情景が必要である場合には撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出する。側方画像生成部３４は、抽出された右サイドカメラ１２ｂによる撮像画像ＣＧを用いて、モニタ４１に表示されるイメージ画像ＩＧの右側に描画されるイメージ画像ＩＧに応じた右側方画像ＲＧを生成する。モニタ４１に表示されるイメージ画像ＩＧとは、イメージ画像生成部３６により生成されたイメージ画像ＩＧであり、イメージ画像ＩＧの右側とは、前進走行用の視点或いは後退走行用の視点に拘らず、モニタ４１に表示されたイメージ画像ＩＧの右側を意味する。イメージ画像ＩＧに応じた右側方画像ＲＧとは、イメージ画像ＩＧが車両１００の前方上部から後方下部を望むイメージ画像ＩＧである場合には、前方上部から後方下部を望む右側方画像ＲＧであり、イメージ画像ＩＧが車両１００の後方上部から前方下部を望むイメージ画像ＩＧである場合には、後方上部から前方下部を望む右側方画像ＲＧであることを意味する。
【００５６】
なお、詳細は後述するが、左側方画像ＬＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合の左側方画像ＬＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の左側方画像ＬＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合の左側方画像ＬＧ１Ｂと、からなる。また、同様に、右側方画像ＲＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合の右側方画像ＲＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の右側方画像ＲＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合の右側方画像ＲＧ１Ｂと、からなる。
【００５７】
したがって、前進走行時のモニタ４１にはイメージ画像ＩＧは正像で表示され、後退走行時のモニタ４１にはイメージ画像ＩＧは鏡像で表示される。即ち、シフト位置が後退走行用の位置である場合のイメージ画像ＩＧは鏡像となる。側方画像生成部３４により生成される左側方画像ＬＧと右側方画像ＲＧとは、後述する表示画像生成部３８に伝達される。
【００５８】
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成する。舵角を示す情報はステアリングセンサ２１から伝達される。また、車輪速は車輪速センサ２２から伝達される。シフト位置はシフト位置センサ２３から伝達される。これらの情報を用いて、予測進路線生成部３７は予測進路線ｇを生成する。ここで、本車両用周囲監視装置１００は、車両１００が当該車両１００の周囲に存在する物体に接触することを防止することを目的とするため、予測進路線ｇは例えば車両１００が前進走行で左旋回をしようとしている場合には、車両１００の右前端及び左後端の軌跡を示すものであれば好適であり、車両１００が前進走行で右旋回をしようとしている場合には、車両１００の左前端及び右後端の軌跡を示すものであれば好適である。更に、車両１００が後退走行で左旋回をしようとしている場合には、車両１００の右前端及び左後端の軌跡を示すものであれば好適であり、車両１００が後退走行で右旋回をしようとしている場合には、車両１００の左前端及び右後端の軌跡を示すものであれば好適である。予測進路線生成部３７は、このような予測進路線ｇを生成し、後述の表示画像生成部３８に伝達する。
【００５９】
表示画像生成部３８は、モニタ４１に表示される表示画像ＤＧを生成する。表示画像ＤＧの基となる画像は、上述の前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６から伝達される画像である。これらの画像を用いて表示画像生成部３８は、モニタ４１への表示に適した表示画像ＤＧを生成する。また、予測進路線ｇは生成されている場合には、前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６から伝達される画像に予測進路線ｇを重畳して表示画像ＤＧを生成する。表示画像生成部３８は、このような表示画像ＤＧをモニタ４１に伝達する。
【００６０】
モニタ４１は、表示画像生成部３８により生成された表示画像ＤＧを表示し、ユーザは当該モニタ４１に表示される画像を参照することにより車両１００の周囲を確認することが可能となる。
【００６１】
次に、モニタ４１に表示される表示画像ＤＧを用いて説明する。図４は、車両１００の前進走行時における斜め上方を視点とする表示画像ＤＧの一例である。シフト位置センサ２３によりシフトレバー６３のシフト位置が前進走行用の位置にあることが検出されると、視点設定部３２は当該検出結果に応じてモニタ４１に表示する表示画像ＤＧの視点を車両１００の後方上部から前方下部を見る視点に設定する。この場合には、図３（ａ）に示されるような視点となる。
【００６２】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、少なくとも車両１００の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成する。図４においては、符号ＩＧ１Ｆで示される画像が相当する。イメージ画像ＩＧ１Ｆには、ユーザがイメージし易いようにユーザを示すイメージＩＵＦも生成される。なお、この場合、イメージ画像ＩＧ１Ｆは、ユーザの後方から車両１００の前方下部を見下ろした正像の画像が生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧ１Ｆ（ユーザのイメージＩＵＦが生成された場合にはイメージＩＵＦも含む）は、表示画像生成部３８に伝達される。
【００６３】
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図４においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
【００６４】
また、前方画像ＦＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図４においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
【００６５】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図４においては、符号ＬＧ１Ｆで示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図４においては、符号ＲＧ１Ｆで示される画像が相当する。
【００６６】
モニタ４１には、左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆが車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ２を表示すると好適である。図４においては、縮小された車両の図において左側方の領域及び右側方の領域の色等を変更することにより明示する場合の例を示している。
【００６７】
ここで、一対のサイドカメラ１２は、鉛直下方向を向いてサイドミラー６０に備えられる。したがって、サイドカメラ１２により取得された撮像画像ＣＧは、サイドミラー６０の鉛直下方を中心として撮像された撮像画像ＣＧである。このため、側方画像生成部３４が、撮像画像取得部３１から抽出した左サイドカメラ１２ａ及び右サイドカメラ１２ｂにより取得された撮像画像ＣＧを単にモニタ４１に表示するだけではユーザが違和感を持つこととなる。このため、側方画像生成部３３は、視点設定部３２により車両１００の後方上部から当該車両１００の前方下部を望む視点が設定された場合には、撮像画像取得部３１から抽出された撮像画像ＣＧから車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆを生成する。この生成は、周知の画像処理技術を用いて行うことが可能であるので、説明は省略する。側方画像生成部３４により生成された車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆは表示画像生成部３８に伝達される。
【００６８】
表示画像生成部３８は、イメージ画像生成部３６から伝達される車両１００の後方上部から当該車両１００の前方下部を望む視点とするイメージ画像ＩＧ１Ｆと側方画像生成部３４から伝達される車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆとの上方に、前方画像生成部３３から伝達される前方画像ＦＧ１を表示する。また、表示画像生成部３８は、モニタ４１に表示される左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端が、少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域と重複するように生成する。
【００６９】
左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端とは、モニタ４１に表示した際の上端である。少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域とは、図４に示される前方画像ＦＧ１においては下端付近の領域である。このように、表示画像生成部３８は、左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端と、前方画像ＦＧ１の下端付近の領域とが、重複するように表示画像ＤＧを生成する。このように生成された表示画像ＤＧをモニタ４１に表示した場合には、前方画像ＦＧ１、左側方画像ＬＧ１Ｆ、右側方画像ＲＧ１Ｆにおいて車両１００の進行方向が一致しているため、左側方画像ＬＧ１Ｆと前方画像ＦＧ１とを連続的な画像とすることができ、また、右側方画像ＲＧ１Ｆと前方画像ＦＧ１とを連続的な画像とすることができる。したがって、ユーザは夫々の画像間における視点の切り替えをスムーズに行うことができる。
【００７０】
本車両用周辺監視装置５０によれば、図３（ａ）に示されるような車両１００の斜め上方からの視点から、図３（ｂ）に示されるような車両１００の鉛直上方からの視点に切り替えることも可能である。このような視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより実現される。ユーザが視点切替スイッチ４２を押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の鉛直上方からの視点に設定する。このような視点における表示画像ＤＧについて図５を用いて説明する。
【００７１】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、鉛直上方からの車両１００のイメージ画像ＩＧを生成する。図５においては、符号ＩＧ２で示される画像が相当する。イメージ画像生成部３６により生成されたイメージ画像ＩＧ２は、表示画像生成部３８に伝達される。
【００７２】
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図５においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
【００７３】
また、前方画像ＦＧ１の近傍（例えば上方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図５においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
【００７４】
また、前方画像生成部３３はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の上方に表示する車両１００の鉛直上方からの視点の前方画像ＦＧを生成する。図５においては、符号ＦＧ２で示される画像が相当する。前方画像生成部３３により生成された鉛直上方からの視点の前方画像ＦＧ２は表示画像生成部３８に伝達される。
【００７５】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図５においては、符号ＬＧ２で示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図５においては、符号ＲＧ２で示される画像が相当する。側方画像生成部３４により生成された左側方画像ＬＧ２はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の左側に表示され、側方画像生成部３４により生成された右側方画像ＲＧ２は前記イメージ画像ＩＧ２の右側に表示される。側方画像生成部３４により生成された左側方画像ＬＧ２及び右側方画像ＲＧ２は表示画像生成部３８に伝達される。
【００７６】
後方画像生成部３５はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の下方に表示する車両１００の鉛直上方からの視点の後方画像ＢＧを生成する。図５においては、符号ＢＧ２で示される画像が相当する。後方画像生成部３５により生成された鉛直上方からの視点の後方画像ＢＧ２は表示画像生成部３８に伝達される。
【００７７】
表示画像生成部３８は、前方画像ＦＧ１の右側に、車両１００の鉛直上方からの視点で示された車両１００の周囲の情景を示す画像をモニタ４１に表示する。即ち、イメージ画像生成部３６から伝達されるイメージ画像ＩＧ２の周囲に、前方画像ＦＧ２、左側方画像ＬＧ２、右側方画像ＲＧ２、及び後方画像ＢＧ２を表示する。
【００７８】
更に、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に車両１００の前方画像ＦＧのみを表示することも可能である。この場合の例を図６に示す。ユーザが視点切替スイッチ４２を更に押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の前方方向への視点に設定する。
【００７９】
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図６においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
【００８０】
また、前方画像ＦＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図６においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
【００８１】
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成し、表示画像生成部３８に伝達する。図６においては、前方画像ＦＧ１に予測進路線ｇが表示されることから、前方予測進路線と称される。特に、図６においては、符号ｇＬで示される線が、車両１００が走行する際の左端の前方予測進路線である。また、符号ｇＲで示される線が、車両１００が走行する際の右端の前方予測進路線である。また、車両１００の端部を明示するようにしても良い。このような前方予測進路線は、表示画像生成部３８に伝達される。
【００８２】
表示画像生成部３８は、前方画像ＦＧ１に前方予測進路線を重畳してモニタ４１に表示させる。ユーザは、この表示画像ＤＧを見ることにより、車両１００の周囲の情景を容易に把握することができるので、車両１００を適切に操舵することが可能となる。このように、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に表示させる画像を適宜、状況に応じて切り替えることが可能である。なお、モニタ４１に図６の表示画像ＤＧが表示されている状態において、ユーザが更に視点切替スイッチ４２を押下した場合には、図４の表示画像ＤＧに切り替える構成とすると好適である。或いは、視点切替スイッチ４２を図４、図５及び図６の夫々の表示画像ＤＧに対応する３段切替タイプで構成することも可能である。
【００８３】
次に、車両１００の後退走行時における斜め上方を視点とする表示画像ＤＧの一例について図を用いて説明する。シフト位置センサ２３によりシフトレバー６３のシフト位置が後退走行用の位置にあることが検出されると、視点設定部３２は当該検出結果に応じてモニタ４１に表示する表示画像ＤＧの視点を車両１００の前方上部から後方下部を見る視点に設定する。この場合には、図３（ｃ）に示されるような視点となる。このような視点での表示画像ＤＧを図７に示す。
【００８４】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、少なくとも車両１００の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成する。図７においては、符号ＩＧ１Ｂで示される画像が相当する。イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢも生成される。なお、この場合、イメージ画像ＩＧ１Ｂは、ユーザの前方から車両１００の後方下部を見下ろした画像が生成され、この場合には鏡像の画像が生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧ１Ｂ（ユーザのイメージＩＵＢが生成された場合にはイメージＩＵＢも含む）は、表示画像生成部３８に伝達される。
【００８５】
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図７においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図７においては、縮小された車両の図において後方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
【００８６】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図７においては、符号ＬＧ１Ｂで示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図７においては、符号ＲＧ１Ｂで示される画像が相当する。
【００８７】
モニタ４１には、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂが車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ２を表示すると好適である。図７においては、縮小された車両の図において左側方の領域及び右側方の領域の色等を変更することにより明示する場合の例を示している。
【００８８】
ここで、一対のサイドカメラ１２は、鉛直下方向を向いてサイドミラー６０に備えられる。したがって、サイドカメラ１２により取得された撮像画像ＣＧは、サイドミラー６０の鉛直下方を中心として撮像された撮像画像ＣＧである。このため、側方画像生成部３４が、撮像画像取得部３１から抽出した左サイドカメラ１２ａ及び右サイドカメラ１２ｂにより取得された撮像画像ＣＧを単にモニタ４１に表示するだけではユーザが違和感を持つこととなる。このため、側方画像生成部３３は、視点設定部３２により車両１００の前方上部から当該車両１００の後方下部を望む視点が設定された場合には、撮像画像取得部３１から抽出された撮像画像ＣＧから車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂを生成する。この生成は、周知の画像処理技術を用いて行うことが可能であるので、説明は省略する。側方画像生成部３４により生成された車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂは表示画像生成部３８に伝達される。
【００８９】
この場合、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度が、後方画像ＢＧ１の視点角度と略等しくなるように生成されると好適である。視点角度とは、水平面に対する視点の角度である。即ち、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの水平面に対する視点の角度が、後方画像ＢＧ１の水平面に対する視点の角度と略等しくなるように生成される。ここで、略等しいとは、完全同一に限定されるものではなく、近い角度であっても良いことを示す。
【００９０】
表示画像生成部３８は、イメージ画像生成部３６から伝達される車両１００の前方上部から当該車両１００の後方下部を望む視点とするイメージ画像ＩＧ１Ｂと側方画像生成部３４から伝達される車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂとの上方に、後方画像生成部３５から伝達される後方画像ＢＧ１を表示する。また、表示画像生成部３８は、モニタ４１に表示される左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端が、少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域と重複するように生成する。左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端とは、モニタ４１に表示した際の上端である。少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域とは、図７に示される後方画像ＢＧ１においては下端付近の領域である。このように、表示画像生成部３８は、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端と、後方画像ＢＧ１の下端付近の領域とが、重複するように表示画像ＤＧを生成する。このように生成された表示画像ＤＧをモニタ４１に表示した場合には、後方画像ＢＧ１、左側方画像ＬＧ１Ｂ、右側方画像ＲＧ１Ｂにおいて車両１００の進行方向が一致しているため、左側方画像ＬＧ１Ｂと後方画像ＢＧ１とを連続的な画像とすることができ、また、右側方画像ＲＧ１Ｂと後方画像ＢＧ１とを連続的な画像とすることができる。したがって、ユーザは夫々の画像間における視点の切り替えをスムーズに行うことができる。
【００９１】
本車両用周辺監視装置５０によれば、図３（ｃ）に示されるような車両１００の斜め上方からの視点から、図３（ｂ）に示されるような車両１００の鉛直上方からの視点に切り替えることも可能である。このような視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより実現される。ユーザが視点切替スイッチ４２を押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の鉛直上方からの視点に設定する。このような視点における表示画像ＤＧについて図８を用いて説明する。
【００９２】
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、鉛直上方からの車両１００のイメージ画像ＩＧを生成する。図８においては、符号ＩＧ２で示される画像が相当する。イメージ画像生成部３６により生成されたイメージ画像ＩＧ２は、表示画像生成部３８に伝達される。
【００９３】
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図８においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図８においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
【００９４】
また、後方画像生成部３５はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の下方に表示する車両１００の鉛直上方からの視点の後方画像ＢＧを生成する。図８においては、符号ＢＧ２で示される画像が相当する。後方画像生成部３５により生成された鉛直上方からの視点の後方画像ＢＧ２は表示画像生成部３８に伝達される。
【００９５】
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図８においては、符号ＬＧ２で示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図８においては、符号ＲＧ２で示される画像が相当する。側方画像生成部３４により生成された左側方画像ＬＧ２はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の左側に表示され、側方画像生成部３４により生成された右側方画像ＲＧ２は前記イメージ画像ＩＧ２の右側に表示される。側方画像生成部３４により生成された左側方画像ＬＧ２及び右側方画像ＲＧ２は表示画像生成部３８に伝達される。
【００９６】
前方画像生成部３３はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の上方に表示する車両１００の鉛直上方からの視点の前方画像ＦＧを生成する。図８においては、符号ＦＧ２で示される画像が相当する。前方画像生成部３３により生成された鉛直上方からの視点の前方画像ＦＧ２は表示画像生成部３８に伝達される。
【００９７】
表示画像生成部３８は、後方画像ＢＧ１の右側に、車両１００の鉛直上方からの視点で示された車両１００の周囲の情景を示す画像をモニタ４１に表示する。即ち、イメージ画像生成部３６から伝達されるイメージ画像ＩＧ２の周囲に、前方画像ＦＧ２、左側方画像ＬＧ２、右側方画像ＲＧ２、及び後方画像ＢＧ２を表示する。
【００９８】
更に、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に車両１００の後方画像ＢＧのみを表示することも可能である。この場合の例を図９に示す。ユーザが視点切替スイッチ４２を更に押下すると、視点設定部３８はモニタ４１に表示する表示画像ＤＧの視点を車両１００の後方方向への視点に設定する。
【００９９】
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図９においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図９においては、縮小された車両の図において後方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
【０１００】
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成し、表示画像生成部３８に伝達する。図９においては、後方画像ＢＧ１に予測進路線ｇが表示されることから、後方予測進路線ｇＢと称される。後方予測進路線ｇＢは、後退する車両１００の舵角に応じた車両１００の後端の予測軌跡等を示す指標である。本実施形態では、後方予測進路線ｇＢは、車両１００の後端の予測軌跡を示す後端予測軌跡線ｇ１及び車両５０の後方の距離目安線ｇ２、ｇ３、ｇ４から構成される。距離目安線は、本例では、５ｍ目安線ｇ２、３ｍ目安線ｇ３、１ｍ注意線ｇ４である。後方予測進路線は、基本的に黄色で描画される。但し、１ｍ注意線ｇ４及び、ｇ４よりも車両３０側の後端予測進路線ｇ５については、運転者に注意を喚起するために、赤色で描画される。このような後方予測進路線ｇＢは、表示画像生成部３８に伝達される。
【０１０１】
表示画像生成部３８は、後方画像ＢＧ１に後方予測進路線ｇＢを重畳してモニタ４１に表示させる。ユーザは、この表示画像ＤＧを見ることにより、車両１００の周囲の情景を容易に把握することができるので、車両１００を適切に操舵することが可能となる。このように、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に表示させる画像を適宜、状況に応じて切り替えることが可能である。なお、モニタ４１に図９の表示画像ＤＧが表示されている状態において、ユーザが更に視点切替スイッチ４２を押下した場合には、図７の表示画像ＤＧに切り替える構成とすると好適である。或いは、視点切替スイッチ４２を図７、図８及び図９の夫々の表示画像ＤＧに対応する３段切替タイプで構成することも可能である。
【０１０２】
〔その他の実施形態〕
上記実施形態では、イメージ画像生成部３６が、車両１００の後方上部から当該車両１００の前方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ、或いは車両１００の前方上部から当該車両１００の後方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車両１００の一部とサイドミラー６０とが少なくとも含まれていれば良く、例えば車両１００全体を含むイメージ画像ＩＧを生成するように構成することも当然に可能である。この場合には、車両１００の全体のイメージ画像ＩＧであるので、サイドミラー６０は当然に含まれる。サイドミラー６０を含ませてイメージ画像ＩＧを生成するので、ユーザは車両１００と周囲に存在する物体との位置関係を把握し易くすることが可能となる。
【０１０３】
上記実施形態では、一対のサイドカメラ１２は、鉛直下方を向いて備えられるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。サイドカメラ１２が、鉛直下方以外の方向を向いて備えることも当然に可能である。このように備えた場合であっても、側方画像生成部３４が視点設定部３２により設定された視点に応じて、サイドカメラ１２により取得された撮像画像ＣＧを基に、左側方画像ＬＧ及び右側方画像ＲＧを生成することは当然に可能である。
【０１０４】
上記実施形態では、車両１００が有するシフトレバー６３のシフト位置が少なくとも前進走行用の位置である場合に、イメージ画像ＩＧ１Ｆと左側方画像ＬＧ１Ｆと右側方画像ＲＧ１Ｆとの上方に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて生成される前方画像ＦＧ１が表示されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフトレバー６３のシフト位置が後退走行用の位置である場合にも、イメージ画像ＩＧ１Ｆと左側方画像ＬＧ１Ｆと右側方画像ＲＧ１Ｆとの上方に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて生成される前方画像ＦＧ１が表示するように構成することも可能である。また、係る場合には、ユーザによる視点切替スイッチ４２の押下に応じて視点を切り替える構成とすると好適である。
【０１０５】
上記実施形態では、車両１００が有するシフトレバー６３のシフト位置が少なくとも後退走行用の位置である場合に、イメージ画像ＩＧ１Ｂと左側方画像ＬＧ１Ｂと右側方画像ＲＧ１Ｂとの上方に、リアカメラ１３により取得された撮像画像ＣＧに基づいて生成される後方画像ＢＧ１が表示されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフトレバー６３のシフト位置が前進走行用の位置である場合にも、イメージ画像ＩＧ１Ｂと左側方画像ＬＧ１Ｂと右側方画像ＲＧ１Ｂとの上方に、リアカメラ１３により取得された撮像画像ＣＧに基づいて生成される後方画像ＢＧ１が表示するように構成することも可能である。また、係る場合には、ユーザによる視点切替スイッチ４２の押下に応じて視点を切り替える構成とすると好適である。
【０１０６】
上記実施形態では、シフト位置が後退走行用の位置である場合のイメージ画像ＩＧ１Ｂが鏡像であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフト位置が後退走行用の位置である場合でも、イメージ画像ＩＧ１Ｂを正像で表示する構成とすることも当然に可能である。
【０１０７】
上記実施形態では、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度が、後方画像ＢＧ１の視点角度と略等しいとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度と、後方画像ＢＧ１の視点角度とを全く異なる角度に設定して生成することも当然に可能である。
【０１０８】
上記実施形態では、モニタ４１に表示される左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端が、少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域と重複するように生成されるとして説明した。また、モニタ４１に表示される左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端が、少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域と重複するように生成されるとして説明した。この場合には、夫々の画像の接続部分が滑らかになるように、公知のモーフィング処理を行うと好適である。或いは、夫々の画像が重複しないように生成することも当然に可能である。
【０１０９】
上記実施形態では、視点切替スイッチ４２により、表示画像ＤＧの視点が切り替えられるとして説明した。この視点切替スイッチ４２は物理的なスイッチでなくても良く、モニタ４１をタッチディスプレイとして構成することにより、モニタ４１に表示されるタッチボタンで構成することも当然に可能である。
【０１１０】
上記実施形態では、予測進路線ｇが、図６の前方画像ＦＧ１のみの表示の際、及び図９の後方画像ＢＧ１のみの表示の際に重畳されているとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。図４の前方画像ＦＧ１、図５の前方画像ＦＧ１、図７の後方画像ＢＧ１、図８の後方画像ＢＧ１においても、予測進路線ｇを重畳して表示することも当然に可能である。また、左側方画像ＬＧや右側方画像ＲＧに予測進路線ｇを重畳することも当然に可能である。
【０１１１】
上記実施形態では、イメージ画像ＩＧ１Ｆには、ユーザがイメージし易いようにユーザを示すイメージＩＵＦが生成され、イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢが生成されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。イメージＩＵＦ、ＩＵＢを生成しない構成とすることも当然に可能である。
【０１１２】
上記実施形態では、イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢが生成されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。イメージ画像ＩＧ１ＢにイメージＩＵＢを生成することなく、左側方画像ＬＧ１Ｂに「Ｌ」の鏡像文字や右側方画像ＲＧ１Ｂに「Ｒ」の鏡像文字を付与して表示させることも当然に可能である。このような表示を行うことで、後退走行時にモニタ４１に表示される表示画像ＨＧが鏡像であることを明示することが可能となる。
【産業上の利用可能性】
【０１１３】
本発明は、ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置に利用可能である。
【符号の説明】
【０１１４】
１：カメラデバイス
２：センサデバイス
３：ＥＣＵ（電子制御ユニット）
１１：フロントカメラ
１２：サイドカメラ
１２ａ：左サイドカメラ
１２ｂ：右サイドカメラ
１３：リアカメラ
２１：ステアリングセンサ
２２：車輪速センサ
２３：シフト位置センサ
３１：撮像画像取得部
３２：視点設定部
３３：前方画像生成部
３４：側方画像生成部
３５：後方画像生成部
３６：イメージ画像生成部
３７：予測進路線生成部
３８：表示画像生成部
４１：モニタ
４２：視点切替スイッチ
５０：車両用周辺監視装置
ＢＧ：後方画像
ＣＧ：撮影画像
ＤＧ：表示画像
ＦＧ：前方画像
ＩＧ：イメージ画像
ＬＧ：左側方画像
ＲＧ：右側方画像
【特許請求の範囲】
【請求項１】
車両が有するサイドミラーに備えられ、当該サイドミラーの鉛直下方を含む前記車両の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラと、
前記車両の後方上部から当該車両の前方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像、或いは前記車両の前方上部から当該車両の後方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像を生成するイメージ画像生成部と、
前記左側方の情景を撮影した撮像画像に基づいて、前記車両の車内に備えられるモニタに表示される前記イメージ画像の左側に描画される当該イメージ画像に応じた左側方画像を生成し、前記右側方の情景を撮影した撮像画像に基づいて、前記モニタに表示される前記イメージ画像の右側に描画される当該イメージ画像に応じた右側方画像を生成する側方画像生成部と、
を備える車両用周辺監視装置。
【請求項２】
前記車両の前方の情景を撮影した撮像画像を取得するフロントカメラが備えられ、
前記車両が有するシフトレバーのシフト位置が少なくとも前進走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記フロントカメラにより取得された撮像画像に基づいて生成される前方画像が表示される請求項１に記載の車両用周辺監視装置。
【請求項３】
前記車両の後方の情景を撮影した撮像画像を取得するリアカメラが備えられ、
前記車両が有するシフトレバーのシフト位置が少なくとも後退走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記リアカメラにより取得された撮像画像に基づいて生成される後方画像が表示される請求項１又は２に記載の車両用周辺監視装置。
【請求項４】
前記シフト位置が前記後退走行用の位置である場合の前記イメージ画像が鏡像である請求項３に記載の車両用周辺監視装置。
【請求項５】
前記左側方画像及び前記右側方画像の視点角度が、前記後方画像の視点角度と略等しい請求項３又は４に記載の車両用周辺監視装置。
【請求項６】
前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記前方画像に含まれる前記車両に最も近い側の領域と重複するように生成される請求項２に記載の車両用周辺監視装置。
【請求項７】
前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記後方画像に含まれる前記車両に最も近い側の領域と重複するように生成される請求項３から５のいずれか一項に記載の車両用周辺監視装置。
【請求項８】
前記一対のサイドカメラは、鉛直下方向を向いて備えられてある請求項１から７のいずれか一項に記載の車両用周辺監視装置。
【請求項１】
車両が有するサイドミラーに備えられ、当該サイドミラーの鉛直下方を含む前記車両の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラと、
前記車両の後方上部から当該車両の前方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像、或いは前記車両の前方上部から当該車両の後方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像を生成するイメージ画像生成部と、
前記左側方の情景を撮影した撮像画像に基づいて、前記車両の車内に備えられるモニタに表示される前記イメージ画像の左側に描画される当該イメージ画像に応じた左側方画像を生成し、前記右側方の情景を撮影した撮像画像に基づいて、前記モニタに表示される前記イメージ画像の右側に描画される当該イメージ画像に応じた右側方画像を生成する側方画像生成部と、
を備える車両用周辺監視装置。
【請求項２】
前記車両の前方の情景を撮影した撮像画像を取得するフロントカメラが備えられ、
前記車両が有するシフトレバーのシフト位置が少なくとも前進走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記フロントカメラにより取得された撮像画像に基づいて生成される前方画像が表示される請求項１に記載の車両用周辺監視装置。
【請求項３】
前記車両の後方の情景を撮影した撮像画像を取得するリアカメラが備えられ、
前記車両が有するシフトレバーのシフト位置が少なくとも後退走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記リアカメラにより取得された撮像画像に基づいて生成される後方画像が表示される請求項１又は２に記載の車両用周辺監視装置。
【請求項４】
前記シフト位置が前記後退走行用の位置である場合の前記イメージ画像が鏡像である請求項３に記載の車両用周辺監視装置。
【請求項５】
前記左側方画像及び前記右側方画像の視点角度が、前記後方画像の視点角度と略等しい請求項３又は４に記載の車両用周辺監視装置。
【請求項６】
前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記前方画像に含まれる前記車両に最も近い側の領域と重複するように生成される請求項２に記載の車両用周辺監視装置。
【請求項７】
前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記後方画像に含まれる前記車両に最も近い側の領域と重複するように生成される請求項３から５のいずれか一項に記載の車両用周辺監視装置。
【請求項８】
前記一対のサイドカメラは、鉛直下方向を向いて備えられてある請求項１から７のいずれか一項に記載の車両用周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２２１９８０（Ｐ２０１０−２２１９８０Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７４６６７（Ｐ２００９−７４６６７）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]