車両周辺画像表示システム
【課題】障害物が検出された場合に検出された障害物と車両とを含む俯瞰画像を表示する車両周辺画像表示システムに関するものである。
【解決手段】車両２において駐車操作が行われていると判定された場合に、後方カメラ３で撮像したカメラ画像から車両２の上方から車両周辺を俯瞰した俯瞰画像を生成し、特にクリアランスソナー７〜９によって車両２の所定距離内（例えば１５０ｃｍ以内）に障害物を検出した場合には、検出された障害物と車両２とを含むトリミング範囲でトリミングした俯瞰画像を液晶ディスプレイ５に表示するように構成する。
【解決手段】車両２において駐車操作が行われていると判定された場合に、後方カメラ３で撮像したカメラ画像から車両２の上方から車両周辺を俯瞰した俯瞰画像を生成し、特にクリアランスソナー７〜９によって車両２の所定距離内（例えば１５０ｃｍ以内）に障害物を検出した場合には、検出された障害物と車両２とを含むトリミング範囲でトリミングした俯瞰画像を液晶ディスプレイ５に表示するように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両上方から車両周辺を俯瞰した俯瞰画像を表示する車両周辺画像表示システムに関し、特に、障害物が検出された場合に検出された障害物と車両とを含む俯瞰画像を表示する車両周辺画像表示システムに関するものである。
【背景技術】
【０００２】
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する画像表示システムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、画像表示システムはこれらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うものである。
このような表示システムは、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。
【０００３】
そこで、従来より車両周辺をカメラによって撮像し、撮像した画像に基づいて車両上方から車両周辺を俯瞰した俯瞰画像を生成して表示を行う技術について知られている。例えば、特開２００３−１１５１００号公報では、駐車を行う際に駐車を行う自車周辺の俯瞰画像を表示するとともに、更に自車の移動に伴って自動的に俯瞰画像の表示範囲や縮尺を変更する画像表示システムについて記載されている。このような技術によれば、利用者は車両周辺の様子と共に車両と周辺にある地物や障害物との関係を、俯瞰画像より直感的に把握することができる。
【特許文献１】特開２００３−１１５１００号公報（第３頁〜第５頁、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した特許文献１に記載された画像表示システムでは、特に縮尺が拡大された状況では、利用者は自車周囲の限られた範囲のみしか視認することができなかった。従って、自車の近傍に人や自転車等の障害物が接近したとしても運転者からは障害物の姿が確認できない為に、障害物と接触するまで又は極めて近い距離に接近するまで運転者が障害物の存在に気付かないことが多く、接触の可能性が高くなっていた。
一方で、縮尺を小さくして広範囲の俯瞰画像のみを表示することとすると、俯瞰画像から正確な自車の位置や方向が把握し難くなり、運転操作が困難となる。
【０００５】
本発明は前記従来における問題点を解消するためになされたものであり、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となり、利用者に正確な周辺環境を容易に把握させることを可能とした車両周辺画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するため本願の請求項１に係る車両周辺画像表示システム（１）は、車両の周辺を撮像する撮像手段（３）と、前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段（４）と、画像表示手段（５）と、前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段（４）と、を有する車両周辺画像表示システムにおいて、車両周辺の障害物を検出する障害物検出手段（７〜９）を有し、前記表示制御手段は前記障害物検出手段によって障害物が検出された場合に、検出された障害物と車両とを含む前記俯瞰画像を前記画像表示手段に表示することを特徴とする。
【０００７】
また、請求項２に係る車両周辺画像表示システム（１）は、請求項１に記載の車両周辺画像表示システムにおいて、前記表示制御手段（４）は検出された障害物と車両とが前記画像表示手段（５）に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示することを特徴とする。
【０００８】
また、請求項３に係る車両周辺画像表示システム（１）は、請求項１又は請求項２に記載の車両周辺画像表示システムにおいて、駐車操作が行われたか否かを判定する駐車判定手段（４）を有し、前記表示制御手段（４）は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段（５）に対して俯瞰画像を表示することを特徴とする。
【０００９】
また、請求項４に係る車両周辺画像表示システム（１）は、車両の周辺を撮像する撮像手段（３）と、前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段（４）と、画像表示手段（５）と、前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段（４）と、を有する車両周辺画像表示システムにおいて、駐車操作が行われたか否かを判定する駐車判定手段（４）と、車両が駐車を行う駐車スペースを検出する駐車スペース検出手段（４）と、車両が前記駐車スペースに進入したか否かを判定する進入判定手段（４）と、車両周辺の障害物を検出する障害物検出手段（７〜９）と、を有し、前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して第１の範囲の前記俯瞰画像を表示し、前記進入判定手段により車両が前記駐車スペースに進入したと判定された場合に前記第１の範囲より狭い第２の範囲の俯瞰画像を表示し、前記障害物検出手段により障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示することを特徴とする。
尚、「第２の範囲」と「第３の範囲」は同一の範囲であっても良い。
【００１０】
更に、請求項５に係る車両周辺画像表示システム（１）は、請求項４に記載の車両周辺画像表示システムにおいて、前記第３の範囲は検出された障害物と車両とが前記画像表示手段（５）に対して表示可能であって且つ最も狭い範囲であることを特徴とする。
【発明の効果】
【００１１】
前記構成を有する請求項１の車両周辺画像表示システムでは、撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成し、障害物が検出された場合に、検出された障害物と車両とを含む俯瞰画像を画像表示手段に表示するので、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
【００１２】
また、請求項２の車両周辺画像表示システムでは、検出された障害物と車両とが画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
【００１３】
また、請求項３の車両周辺画像表示システムでは、駐車操作が行われたと判定された場合に画像表示手段に対して俯瞰画像を表示するので、利用者にとって周囲環境の情報が特に必要な駐車操作時において、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することができる。従って、利用者は駐車操作を容易に行うことが可能となる。
【００１４】
また、請求項４の車両周辺画像表示システムでは、撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成し、駐車操作が行われたと判定された場合に画像表示手段に対して第１の範囲の俯瞰画像を表示し、車両が駐車スペースに進入したと判定された場合に第１の範囲より狭い第２の範囲の俯瞰画像を表示し、障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示するので、現在の車両の状況に合わせた見易い範囲のみで俯瞰画像を表示することが可能となる。また、車両の周囲に障害物が位置する場合には、障害物を考慮した適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
【００１５】
更に、請求項５の車両周辺画像表示システムでは、検出された障害物と車両とが画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る車両周辺画像表示システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る車両周辺画像表示システム１の概略構成について図１及び図２を用いて説明する。図１は本実施形態に係る車両周辺画像表示システム１の概略構成図である。図２は本実施形態に係る車両周辺画像表示システム１の制御系を模式的に示すブロック図である。
【００１７】
図１及び図２に示すように、本実施形態に係る車両周辺画像表示システム１は、車両２に対して設置された後方カメラ（撮像手段）３と、画像表示ＥＣＵ（俯瞰画像生成手段、表示制御手段、駐車判定手段、駐車スペース検出手段、進入判定手段）４と、液晶ディスプレイ（画像表示手段）５と、スピーカ６と、画像表示ＥＣＵ４に接続されたクリアランスソナー７〜９や車速センサ１０、ステアリングセンサ１１、ジャイロセンサ１２、シフトポジションセンサ１３等の各種センサで構成されている。
【００１８】
後方カメラ３は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より４５度下方に向けて設置される。そして、後退時に車両２の進行方向となる車両後方を撮像し、その撮像された画像（図１０参照）は後述のように画像表示ＥＣＵ４によって車両２上方より車両２周辺を俯瞰した俯瞰画像（図１１参照）に変換されて液晶ディスプレイ５に表示される。
【００１９】
また、画像表示ＥＣＵ（エレクトロニック・コントロール・ユニット）４は、駐車操作が行われた際に後方カメラ３により撮像した画像から車両２上方より車両２周辺を俯瞰した俯瞰画像を生成する処理や、駐車スペースに進入した場合や障害物を検出した場合に液晶ディスプレイ５に表示する俯瞰画像のトリミング範囲を変更する処理や、後退時の車両２の予測進路を推定して、その軌跡を俯瞰画像に重畳して表示する処理等を行う電子制御ユニットである。尚、画像表示ＥＣＵ４はナビゲーション装置の制御に使用するＥＣＵと兼用してもよい。また、画像表示ＥＣＵ４の詳細な構成については後述する。
【００２０】
液晶ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、後退を行う時において車両２の周辺の俯瞰画像を表示する。尚、液晶ディスプレイ５はナビゲーション装置に使用するものと兼用してもよい。
【００２１】
また、スピーカ６は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、運転支援に関する案内音声や警告音等を出力する。
【００２２】
また、クリアランスソナー７〜９は、車両２の後方バンパの左角、中央、右角の計３箇所にそれぞれ取り付けられており、音波送信部と音波受信部とから基本的に構成されている。そして、音波送信部から車両２の左右の斜め後方及び後方の３方向に対して超音波を放射するとともに対象物（具体的には駐車車両、自転車、歩行者等）によって反射された反射波を音波受信部で受信する。その結果、受信した反射波の強度や波長に基づいて車両２の周囲に位置する障害物までの距離を検出することが可能となる。
【００２３】
また、車速センサ１０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。ステアリングセンサ１１は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出するセンサである。ジャイロセンサ１２は車両２の旋回角を検出するセンサである。また、シフトポジションセンサ１３は、シフトレバー（図示せず）に内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。
その結果、画像表示ＥＣＵ４は車速センサ１０の出力信号に基づいて車両２の現在の車速を検出し、ステアリングセンサ１１の出力信号に基づいて車両２の舵角を検出する。また、ジャイロセンサ１２によって検出された旋回角を積分することにより、自車方位を検出する。更に、シフトポジションセンサ１３によって車両２の現在のシフト位置を検出する。
【００２４】
次に、画像表示ＥＣＵ４の詳細について図２を用いて説明すると、画像表示ＥＣＵ４はＣＰＵ３１を核として構成されており、ＣＰＵ３１には記憶手段であるＲＯＭ３２及びＲＡＭ３３が接続されている。そして、ＲＯＭ３２には駐車操作時において後方カメラ３で撮像した画像から俯瞰画像を生成し、現在の状況に応じた適当な範囲で液晶ディスプレイ５に対して生成した俯瞰画像を表示する駐車画像表示制御処理プログラム（図３〜図８参照）、その他、液晶ディスプレイ５等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ３３はＣＰＵ３１で演算された各種データを一時的に記憶しておくメモリである。
更に、ＲＯＭ３２には、例えば車両２の車輪の半径、車幅、最小旋回半径、後方カメラ３の光軸方向（本実施形態では下方４５度）や車両２に対する後方カメラ３の設置位置等の各種パラメータについて記憶されている。そして、ＣＰＵ３１は後述するように記憶された各種パラメータ情報を用いることによって後方カメラ３で撮像された画像から後退時における車両２の予測進路の推定を行う。
また、ＲＡＭ３３には後述する各種のフラグ（“ＳＴＴ”、“ＦＬＧＭ”）や変数（“ＮＳＷ”、“ＳＴＲ”、“ΔＤＭ”、“Δｄ”、“Ｄｘ”）が格納される。更に、液晶ディスプレイ５に表示する表示画像等を一時的に格納する。尚、表示画像を格納するＶ−ＲＡＭをＲＡＭとは別に設けるようにしても良い。
【００２５】
続いて、前記構成を有する本実施形態に係る車両周辺画像表示システム１の画像表示ＥＣＵ４が実行する駐車画像表示制御処理プログラムについて図３に基づき説明する。図３は本実施形態に係る車両周辺画像表示システム１における駐車画像表示制御処理プログラムのフローチャートである。ここで、駐車画像表示制御処理プログラムは、駐車操作時において後方カメラ３で撮像した画像から俯瞰画像を生成し、現在の状況に応じた適当な範囲で液晶ディスプレイ５に対して生成した俯瞰画像を表示する処理を行うプログラムである。尚、以下の図３乃至図８にフローチャートで示されるプログラムは画像表示ＥＣＵ４が備えているＲＯＭ３２やＲＡＭ３３に記憶されており、ＣＰＵ３１により所定間隔（例えば２００ｍｓ毎）で繰り返し実行される。
【００２６】
駐車画像表示制御処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は駐車操作が行われているか否かの判定に基づいて液晶ディスプレイ５の表示画面の切り替えを行う後述のシステム起動管理処理（図４）を行う。
【００２７】
次に、Ｓ２においてＣＰＵ３１は、クリアランスソナー７〜９や車速センサ１０、ステアリングセンサ１１等の各種センサからの信号の入力を行う後述の車両信号入力処理（図５）を行う。
【００２８】
続いて、Ｓ３においてＣＰＵ３１は、後方カメラ３で撮像した画像に基づいて自車の上方より自車周辺を俯瞰した俯瞰画像を生成する後述の画像合成処理（図７）を行う。
【００２９】
そして、Ｓ４においてＣＰＵ３１は、前記Ｓ３で生成された俯瞰画像を現在の状況に応じた適当なトリミング範囲で液晶ディスプレイ５に対して表示する後述の画像表示処理（図８）を行う。尚、上記Ｓ４の処理が表示制御手段の処理に相当する。
【００３０】
次に、前記Ｓ１でＣＰＵ３１が実行するシステム起動管理処理のサブ処理プログラムについて図４に基づき説明する。図４は本実施形態に係るシステム起動管理処理のサブ処理プログラムのフローチャートである。
【００３１】
システム起動管理処理では、先ずＳ１１でＣＰＵ３１はシフトポジションセンサ１３からシフト位置を特定するシフトポジションセンサ信号“ＮＳＷ”を入力する。そして、Ｓ１２でＣＰＵ３１はＮＳＷ＝Ｒ（リバース）であるか否か、即ち、シフト位置を「Ｒ」として駐車操作を行っているか否かを判定する。尚、上記Ｓ１１の処理が駐車判定手段の処理に相当する。
【００３２】
その結果、ＮＳＷ＝Ｒであると判定された場合（Ｓ１２：ＹＥＳ）には、更に車両周辺画像表示システム１が起動中であることを示すフラグ“ＳＴＴ”がＯＮとなっているか否かを判定する（Ｓ１３）。
そして、ＳＴＴ＝ＯＮであると判定された場合（Ｓ１３：ＹＥＳ）には、既に車両周辺画像表示システム１が起動中であるので、システム起動管理処理を終了し、Ｓ２の車両信号入力処理へと移行する。
【００３３】
一方、ＳＴＴ＝ＯＦＦであると判定された場合（Ｓ１３：ＮＯ）には、現在の液晶ディスプレイ５に表示される表示画面を通常画面から駐車案内画面へと切り換える（Ｓ１４）。ここで、通常画面とは例えばナビゲーション装置による地図画像や経路情報等を表示した画面が該当する。また、駐車案内画面とは後述するように駐車を行う自車の上方から自車周辺を俯瞰した俯瞰画像（図１１〜図１６参照）を所定の範囲で表示した画面が該当する。
【００３４】
次に、Ｓ１５ではＣＰＵ３１は、車両周辺画像表示システムを起動させたことに基づいてフラグ“ＳＴＴ”をＯＮする。更に、Ｓ１６では単位時間当りに車両がバックで進んだ距離を示す変数“ΔＤＭ”を初期化（０を代入）する。その後、Ｓ２の車両信号入力処理へと移行する。
【００３５】
一方、前記Ｓ１２の判定処理において、ＮＳＷ≠Ｒであると判定された場合（Ｓ１２：ＮＯ）には、更にフラグ“ＳＴＴ”がＯＮとなっているか否かを判定する（Ｓ１７）。
そして、ＳＴＴ＝ＯＦＦであると判定された場合（Ｓ１７：ＮＯ）には、車両周辺画像表示システム１の起動を行うことなく処理を終了する。
【００３６】
一方、ＳＴＴ＝ＯＮであると判定された場合（Ｓ１７：ＹＥＳ）には、現在の液晶ディスプレイ５に表示される表示画面を駐車案内画面から通常画面へと切り換える（Ｓ１８）。次に、Ｓ１９ではＣＰＵ３１は、車両周辺画像表示システム１を終了させることに基づいてフラグ“ＳＴＴ”をＯＦＦとする。そして、Ｓ２０では各種変数（“ＮＳＷ”、“ＳＴＲ”、“ΔＤＭ”、“Δｄ”、“Ｄｘ”）を初期化する。
【００３７】
次に、前記Ｓ２でＣＰＵ３１が実行する車両信号入力処理のサブ処理プログラムについて図５に基づき説明する。図５は本実施形態に係る車両信号入力処理のサブ処理プログラムのフローチャートである。
【００３８】
車両信号入力処理では、先ずＳ３１でＣＰＵ３１はステアリングセンサ１１からステアリングの舵角を特定するステアリングセンサ信号“ＳＴＲ”を入力する。そして、Ｓ３２でＣＰＵ３１は車速センサ１０から出力された車速パルス信号“Ｖｐ”をカウントし、単位時間当りに自車がバックで進んだ移動距離“Δｄ”を算出する。
【００３９】
続いて、Ｓ３３でＣＰＵ３１は、システム起動以降に自車がバックで進んだトータルの距離“ΔＤＭ”に対して前記Ｓ３２に算出されたΔｄを加算することにより、ΔＤＭの値を更新する。その後、Ｓ３４では自車の周囲に位置する障害物を検出する後述のクリアランスソナー信号入力処理（図６）が行われ、画像合成処理（Ｓ３）へと移行する。
【００４０】
次に、前記Ｓ３４でＣＰＵ３１が実行するクリアランスソナー信号入力処理のサブ処理プログラムについて図６に基づき説明する。図６は本実施形態に係るクリアランスソナー信号入力処理のサブ処理プログラムのフローチャートである。
【００４１】
クリアランスソナー信号入力処理では、先ずＳ４１でＣＰＵ３１はクリアランスソナー７〜９から障害物までの距離［ｃｍ］を特定するソナー信号“ＣＳＤｎ（ｎ＝１、２、３）”を入力する。ここで、図９に示すように本実施形態に係る車両周辺画像表示システム１では、クリアランスソナー７は車両２の左後方へと超音波を送出し、ソナー信号ＣＳＤ１を得る。また、クリアランスソナー８は車両２の後方へと超音波を送出し、ソナー信号ＣＳＤ２を得る。更に、クリアランスソナー９は車両２の右後方へと超音波を送出し、ソナー信号ＣＳＤ３を得る。
【００４２】
そして、Ｓ４２でＣＰＵ３１は、前記Ｓ４１で入力されたソナー信号を１５０で割り、その値を超えない最大の整数に１を加えた値を“ＣＳＤｎＰ（クリアランスソナー７からの信号に基づく値がＣＳＤ１Ｐ、クリアランスソナー８からの信号に基づく値がＣＳＤ２Ｐ、クリアランスソナー９からの信号に基づく値がＣＳＤ３Ｐ）”として算出する。
【００４３】
そして、Ｓ４３でＣＰＵ３１は、前記Ｓ４２で算出されたＣＳＤｎＰについて、２＜ＣＳＤｎＰ≦３が成立するか否か、即ち、自車から検出した障害物までの距離が１５０ｃｍより遠く３００ｃｍ以下であるか否か判定される。その結果、２＜ＣＳＤｎＰ≦３が成立すると判定された場合（Ｓ４３：ＹＥＳ）には、障害物までの距離を示す障害物距離フラグ“ＤＡｎ”に「２」を代入する（Ｓ４４）。
【００４４】
一方、前記Ｓ４２で算出されたＣＳＤｎＰについて、２＜ＣＳＤｎＰ≦３が成立しないと判定された場合（Ｓ４３：ＮＯ）には、更に、Ｓ４５において３＜ＣＳＤｎＰが成立するか否か、即ち、自車から検出した障害物までの距離が３００ｃｍより遠いか若しくは検出することができなかったかが判定される。その結果、３＜ＣＳＤｎＰが成立すると判定された場合（Ｓ４５：ＹＥＳ）には、障害物距離フラグである“ＤＡｎ”に「０」を代入する（Ｓ４６）。
【００４５】
それに対して、前記Ｓ４２で算出されたＣＳＤｎＰについて、３＜ＣＳＤｎＰも成立しないと判定された場合（Ｓ４５：ＮＯ）には、ＣＳＤｎＰ＝１が成立することとなる。即ち、自車から検出した障害物までの距離が１５０ｃｍより近いこととなり、障害物距離フラグである“ＤＡｎ”にＣＳＤｎＰの値（即ち「１」）を代入する（Ｓ４７）。
【００４６】
その後、Ｓ４８ではｎ＝３であるか否か、即ち全てのクリアランスソナー７〜９について上記のＳ４１〜Ｓ４７の処理が行われたか否かが判定される。
【００４７】
その結果、ｎ≠３であると判定された場合（Ｓ４８：ＮＯ）にはｎの値に１を加算（Ｓ４９）した後にＳ４１へと戻り、残りのクリアランスソナー７〜９についてＤＡｎを特定する処理を行う。一方、ｎ＝３であると判定された場合（Ｓ４８：ＹＥＳ）にはＳ５０へと移行し、ｎの値を初期化する。その後、Ｓ３の画像合成処理へと移行する
【００４８】
次に、前記Ｓ３でＣＰＵ３１が実行する画像合成処理のサブ処理プログラムについて図７に基づき説明する。図７は本実施形態に係る画像合成処理のサブ処理プログラムのフローチャートである。
【００４９】
画像合成処理では、先ずＳ５１でＣＰＵ３１は後方カメラ３で撮像した自車の後方環境のカメラ画像を取得する。その後、Ｓ５２でＣＰＵ３１は前記Ｓ５１で取得したカメラ画像について画像外縁付近に発生する歪みを補正する歪み補正計算処理を行う。
【００５０】
続いて、Ｓ５３でＣＰＵ３１は、前記Ｓ５２で歪みを補正したカメラ画像に対して、所定の俯瞰変換処理を施すことにより、上方の視点から垂直下方に見下ろした俯瞰画像を現在画像ＩＭ−ｐｒとして生成する。尚、撮像した画像の視点変換を行う俯瞰変換処理は既に公知（例えば、特開平１０−２１１８４９号公報参照）の技術であるので、ここではその説明は省略する。
【００５１】
更に、Ｓ５４では前記Ｓ５３で生成した現在画像ＩＭ−ｐｒに対して、システムが起動してからのトータルの走行距離を特定する距離インデックスΔＤＭを添付し（Ｓ５４）、ΔＤＭが添付された現在画像ＩＭ−ｐｒをメモリ（例えば、ＲＡＭ３３）へ書き込む（Ｓ５５）。
【００５２】
次に、Ｓ５６でＣＰＵ３１は現在位置に対して読み出すべき過去画像のインデックスＩＮＤを算出する。具体的には、システムが起動してからの走行距離ΔＤＭに対してＤｘ（現在位置に対して読み出すべき過去画像のインデックスを計算する為の定数（固定値））を引いた値をＩＮＤとして算出する。
【００５３】
そして、Ｓ５７でＣＰＵ３１は前記Ｓ５６で算出されたＩＮＤの値に基づいて、該当する過去画像ＩＭ−ｉｎｄをメモリから読み出す。更に、Ｓ５８においてＣＰＵ３１は、前記Ｓ５７で読み出された過去画像ＩＭ−ｉｎｄを前記Ｓ３１で入力されたステアリングセンサ信号に基づいて回転変換する回転変換処理を行い、ＩＭ−ｒｏｔを生成する。具体的には、自車が旋回している場合に、その旋回角度に従って俯瞰画像を補正する処理である。
【００５４】
続いて、Ｓ５９でＣＰＵ３１は、前記Ｓ５３で生成された現在画像ＩＭ−ｐｒと、Ｓ５８で生成された回転変換後の過去画像ＩＭ−ｒｏｔとを合成し、合成俯瞰画像ＩＭ−ｄｓｐを生成する。それによって、自車上方から自車周辺を撮像した俯瞰画像が生成される。
例えば、図１０は後方カメラ３によって撮像されたカメラ画像４０を示した図であり、図１１は図１０に示すカメラ画像４０を撮像した時点において自車の液晶ディスプレイ５に表示される俯瞰画像である駐車案内画面５０を示した図である。図１０及び図１１に示すように、カメラ画像４０において撮像されている他の駐車車両５２、５３及び駐車区画線５４〜５６は、自車両５１の上方から見下ろした場合に撮像される形状及び配置へと変換されて駐車案内画面５０に表示される。また、カメラ画像４０では撮像されない自車両５１の画像についても、上方から見下ろした形状で駐車案内画面５０の所定位置に表示される。尚、駐車案内画面５０において自車両５１が表示される位置は、駐車スペース５８へと進入する前は常に固定であり、自車両５１が後退するにつれて自車両５１の周囲の画像が変化した俯瞰画像に更新される。尚、上記Ｓ５２〜Ｓ５９の処理が俯瞰画像生成手段の処理に相当する。
【００５５】
次に、前記Ｓ４でＣＰＵ３１が実行する画像表示処理のサブ処理プログラムについて図８に基づき説明する。図８は本実施形態に係る画像表示処理のサブ処理プログラムのフローチャートである。
【００５６】
画像表示処理では、先ずＳ６１でＣＰＵ３１は自車が駐車スペースに進入したことを示すフラグ“ＦＬＧＭ”がＯＮとなっているか否かを判定する。そして、“ＦＬＧＭ”がＯＮであると判定された場合（Ｓ６１：ＹＥＳ）には、Ｓ７２へと移行して後述するように自車周辺の範囲のみを拡大した俯瞰画像の表示を継続して行う。
【００５７】
一方、“ＦＬＧＭ”がＯＦＦであると判定された場合（Ｓ６１：ＹＥＳ）には、前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐから駐車枠の左右の区画線を線分ＬＬ、ＬＲとして認識して抽出する（Ｓ６２）。具体的には、先ず、ＮＴＳＣのようなアナログ通信手段や、ｉ−ｌｉｎｋのようなデジタル通信手段を用いて合成俯瞰画像ＩＭ−ｄｓｐを入力し、ｊｐｅｇ、ｍｐｅｇ等のデジタル画像フォーマットに変換する。次に、駐車枠が一般に白線又は黄線であることを用いて、撮像画像中の駐車枠が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる駐車枠を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、駐車枠と他の路面との境界線を検出する。例えば、図１１に示す俯瞰画像からは駐車区画線５４、５５がそれぞれ線分ＬＬ、ＬＲとして抽出される。そして、抽出された線分ＬＬ、ＬＲによって、駐車スペース５８の範囲が特定され検出されることとなる。尚、上記Ｓ６２の処理が駐車スペース検出手段の処理に相当する。
【００５８】
次に、Ｓ６３でＣＰＵ３１は前記Ｓ６２で抽出された駐車枠区画線の線分ＬＬ、ＬＲを直線近似処理することにより、画像表示座標系における式ＬＮＬ、ＬＮＲを算出する。
【００５９】
続いて、Ｓ６４でＣＰＵ３１はステアリングセンサ信号ＳＴＲが「０」であるか否か、即ち、自車が旋回することなく直線状に後退しているか否か判定される。そして、ＳＴＲ≠０であると判定された場合（Ｓ６４：ＮＯ）、即ち、自車が旋回しつつ後退中である場合には、第１のトリミング範囲（第１の範囲）を設定する（Ｓ６５）。
そして、Ｓ６６でＣＰＵ３１は、前記Ｓ６６で設定された第１のトリミング範囲により前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐをトリミングし、更に、液晶ディスプレイ５に表示可能な表示範囲に合わせてトリミングした画像を拡大又は縮小変換して画像表示ＥＣＵ４の備えるＶ−ＲＡＭへと転送する（Ｓ６６）。そして、トリミングされた画像を液晶ディスプレイ５に表示する。その結果、図１１や図１２に示すように第１のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺の広範囲を俯瞰した俯瞰画像が液晶ディスプレイ５に表示されることとなる。尚、Ｖ−ＲＡＭはＲＡＭ３３と共用するようにしても良い。
【００６０】
また、Ｓ６７ではステアリングセンサ信号ＳＴＲに基づいて車両の走行軌跡を予測する。そして、走行軌跡を示したガイド線５６、５７と駐車スペース５８を示すスペース線５９を画面上に描画することにより、俯瞰画像に重畳して表示する。
【００６１】
一方、前記Ｓ６４でＳＴＲ＝０であると判定された場合（Ｓ６４：ＹＥＳ）、即ち、直線状に後退していると判定された場合には、続いて、ＬＮＬとＬＮＲの端点の座標ＬＮＬｅとＬＮＲｅを算出する（Ｓ６８）。
【００６２】
その後、Ｓ６９では、自車の後端を含む直線Ｙｓ（図１１、図１２参照）のＹ座標よりＬＮＬとＬＮＲの端点の座標ＬＮＬｅとＬＮＲｅのいずれかのＹ座標が大きいか否か、即ち、自車が駐車区画線の線分ＬＬ、ＬＲで区画された駐車スペース５８へと進入したか否かが判定される。尚、上記Ｓ６９の処理が進入判定手段の処理に相当する。
【００６３】
その結果、座標ＬＮＬｅとＬＮＲｅのＹ座標がいずれもＹｓより小さいと判定された場合（Ｓ６９：ＮＯ）には、駐車スペースへと進入していないと判定され、Ｓ６５へと移行し、継続して第１のトリミング範囲でトリミングされた俯瞰画像の表示が行われる。
【００６４】
それに対して、座標ＬＮＬｅとＬＮＲｅのいずれかのＹ座標がＹｓより大きいと判定された場合（Ｓ６９：ＹＥＳ）にはＳ７０へと移行し、自車が駐車スペース５８に進入したことを示すフラグ“ＦＬＧＭ”がＯＮとなっているか否かを判定する。そして、“ＦＬＧＭ”がＯＦＦであると判定された場合（Ｓ７０：ＮＯ）には、ＦＬＧＭをＯＮする（Ｓ７１）。一方、既に“ＦＬＧＭ”がＯＮであると判定された場合（Ｓ７０：ＹＥＳ）には、Ｓ７１へと移行する。
【００６５】
Ｓ７２ではＣＰＵ３１は、第２のトリミング範囲（第２の範囲）を設定する。尚、第２のトリミング範囲は第１のトリミング範囲より狭い範囲となっている。
【００６６】
続いて、Ｓ７３では中央に配置されたクリアランスソナー８のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ２”が「１」であるか否か、即ち、自車後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ２＝１であると判定された場合（Ｓ７３：ＹＥＳ）には、自車後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ２”を「ＯＮ」とする。一方、ＤＡ２≠１であると判定された場合（Ｓ７３：ＮＯ）には、Ｓ７５へと移行する。
【００６７】
Ｓ７５では左方に配置されたクリアランスソナー７のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ１”が「１」であるか否か、即ち、自車左後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ１＝１であると判定された場合（Ｓ７５：ＹＥＳ）には、自車左後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ１”を「ＯＮ」とする。一方、ＤＡ１≠１であると判定された場合（Ｓ７５：ＮＯ）には、Ｓ７７へと移行する。
【００６８】
更に、Ｓ７７では右方に配置されたクリアランスソナー９のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ３”が「１」であるか否か、即ち、自車右後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ３＝１であると判定された場合（Ｓ７７：ＹＥＳ）には、自車右後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ３”を「ＯＮ」とする。一方、ＤＡ３≠１であると判定された場合（Ｓ７７：ＮＯ）には、Ｓ７９へと移行する。
【００６９】
そして、Ｓ７９では前記Ｓ７２で設定された第２のトリミング範囲を“ＦＬＧＤＡ１〜３”の設定に基づいて拡張した第３のトリミング範囲（第３の範囲）を新たに設定する（Ｓ７９）。具体的には、“ＦＬＧＤＡ１”がＯＮに設定されている場合には左後方に１、５ｍ拡張し、“ＦＬＧＤＡ２”がＯＮに設定されている場合には後方に１、５ｍ拡張し、“ＦＬＧＤＡ３”がＯＮに設定されている場合には右後方に１、５ｍ拡張した第３のトリミング範囲を設定する（Ｓ８０）。尚、複数のフラグがＯＮに設定されている場合には、第２のトリミング範囲をＯＮに設定されている各フラグに対応する複数方向にそれぞれ拡張した第３のトリミング範囲を設定する。一方、ＤＡ２≠１であると判定された場合（Ｓ７３：ＮＯ）には、Ｓ７５へと移行する。
【００７０】
次に、Ｓ８０でＣＰＵ３１は前記Ｓ７２で設定された第２のトリミング範囲、若しくは前記Ｓ７９で第３のトリミング範囲が設定されていた場合には第３のトリミング範囲により前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐをトリミングし、更に、液晶ディスプレイ５に表示可能な表示範囲に合わせてトリミングした画像を拡大又は縮小変換して画像表示ＥＣＵ４の備えるＶ−ＲＡＭへと転送する。そして、トリミングされた画像を液晶ディスプレイ５に表示する。
【００７１】
その結果、クリアランスソナー７〜９でいずれも１５０ｃｍ以内で障害物が検出されなかった場合には、図１３に示す第２のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６０が液晶ディスプレイ５に表示されることとなる。ここで、図１３に示すように駐車案内画面６０では自車両５１が最も大きくなるような範囲で表示され、その結果、自車両５１とその周囲の極狭い範囲のみが表示される。
【００７２】
また、クリアランスソナー７で１５０ｃｍ以内に障害物が検出された場合には、図１４に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６１が液晶ディスプレイ５に表示されることとなる。ここで、図１４に示すように駐車案内画面６１では自車両５１と検出された障害物（図１４では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は左後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。
【００７３】
また、クリアランスソナー８で１５０ｃｍ以内に障害物が検出された場合には、図１５に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６２が液晶ディスプレイ５に表示されることとなる。ここで、図１５に示すように駐車案内画面６２では自車両５１と検出された障害物（図１５では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。
【００７４】
更に、クリアランスソナー９で１５０ｃｍ以内に障害物が検出された場合には、図１６に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６３が液晶ディスプレイ５に表示されることとなる。ここで、図１６に示すように駐車案内画面６３では自車両５１と検出された障害物（図１６では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は右後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。
【００７５】
以上詳細に説明した通り、本実施形態に係る車両周辺画像表示システム１では車両２において駐車操作が行われていると判定された場合（Ｓ１２：ＹＥＳ）に、後方カメラ３で撮像したカメラ画像から車両２の上方から車両周辺を俯瞰した俯瞰画像を生成し（Ｓ５２〜Ｓ５９）、特にクリアランスソナー７〜９によって車両２の所定距離内（本実施形態では１５０ｃｍ以内）に障害物を検出した場合には、検出された障害物と車両２とを含む第３のトリミング範囲でトリミングした俯瞰画像を液晶ディスプレイ５に表示するので、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
また、障害物が検出された場合には、検出された障害物と車両２とが液晶ディスプレイ５に対して表示可能であって且つ最も狭いトリミング範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
また、駐車操作が行われたと判定された場合に液晶ディスプレイ５に対して俯瞰画像を表示するので、利用者にとって周囲環境の情報が特に必要な駐車操作時において、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することができる。従って、利用者は駐車操作を容易に行うことが可能となる。
また、車両２が駐車スペースに進入する前は、車両２の周囲を広範囲に表示した第１のトリミング範囲に基づく俯瞰画像（図１１、図１２参照）を駐車案内画面５０として表示し、車両２が駐車スペースへと進入した際には第１のトリミング範囲より狭い第２のトリミング範囲に基づく俯瞰画像（図１３参照）を駐車案内画面６０として表示し、更に、クリアランスソナー７〜９によって車両２の所定距離内（本実施形態では１５０ｃｍ以内）に障害物を検出した場合には、第２のトリミング範囲より広い第３のトリミング範囲によって俯瞰画像（図１４〜図１６参照）を駐車案内画面６２〜６４として表示するので、現在の車両の状況に合わせた見易い範囲で俯瞰画像を表示することが可能となる。
【００７６】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではクリアランスソナー７〜９によって車両２の後方に障害物が検出された場合に、車両と障害物を含む第３のトリミング範囲でトリミングした俯瞰画像を表示することとしているが、クリアランスソナーを車両の前方や側方に新たに配置することによって、車両２の前方や側方に障害物が検出された場合にも、車両と障害物を含む第３のトリミング範囲でトリミングした俯瞰画像を表示するようにしても良い。また、障害物の検出手段はクリアランスソナーに限られること無く、例えばカメラで撮像した画像に基づいて障害物を検出するようにしても良い。
【００７７】
また、第２のトリミング範囲と第３のトリミング範囲とは同一の範囲であっても良い。その際には、ディスプレイの表示領域を変更することのみによって、検出された障害物を新たに表示するようにする。
【００７８】
また、本実施形態ではクリアランスソナー７〜９によって車両２の後方に障害物が検出された場合に、車両と障害物とを同一の表示ウィンドウで表示することとしているが、障害物の俯瞰画像は車両を表示するウィンドウと別のウィンドウで表示するようにしても良い。
【００７９】
また、駐車操作が開始された場合に、液晶ディスプレイ５の左半分に対してはナビゲーション装置による自車周囲の地図画面を表示し、右側半分に対してのみに駐車案内画面５０、６０（図１１〜図１３）を表示するようにしても良い。そして、特に車両２の後方に障害物が検出された場合には、地図画面を消去し、車両２と障害物を含む駐車案内画面６２〜６４（図１４〜図１６）の表示領域を拡大して表示するようにしても良い。
【図面の簡単な説明】
【００８０】
【図１】本実施形態に係る車両周辺画像表示システムの概略構成図である。
【図２】本実施形態に係る車両周辺画像表示システムの制御系を模式的に示すブロック図である。
【図３】本実施形態に係る駐車画像表示制御処理プログラムのフローチャートである。
【図４】本実施形態に係るシステム起動管理処理のサブ処理プログラムのフローチャートである。
【図５】本実施形態に係る車両信号入力処理のサブ処理プログラムのフローチャートである。
【図６】本実施形態に係るクリアランスソナー信号入力処理のサブ処理プログラムのフローチャートである。
【図７】本実施形態に係る画像合成処理のサブ処理プログラムのフローチャートである。
【図８】本実施形態に係る画像表示処理のサブ処理プログラムのフローチャートである。
【図９】車両の障害物の検出方向を示した模式図である。
【図１０】後方カメラによって撮像されたカメラ画像を示した図である。
【図１１】図１０に示すカメラ画像を撮像した時点において自車の液晶ディスプレイに表示される俯瞰画像を示した図である。
【図１２】液晶ディスプレイに表示される第１のトリミング範囲に基づく俯瞰画像を示した図である。
【図１３】液晶ディスプレイに表示される第２のトリミング範囲に基づく俯瞰画像を示した図である。
【図１４】車両の左後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。
【図１５】車両の後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。
【図１６】車両の右後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。
【符号の説明】
【００８１】
１ 車両周辺画像表示システム
２ 車両
３ 後方カメラ
４ 画像表示ＥＣＵ
５ 液晶ディスプレイ
７〜９ クリアランスソナー
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
【技術分野】
【０００１】
本発明は、車両上方から車両周辺を俯瞰した俯瞰画像を表示する車両周辺画像表示システムに関し、特に、障害物が検出された場合に検出された障害物と車両とを含む俯瞰画像を表示する車両周辺画像表示システムに関するものである。
【背景技術】
【０００２】
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する画像表示システムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、画像表示システムはこれらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うものである。
このような表示システムは、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。
【０００３】
そこで、従来より車両周辺をカメラによって撮像し、撮像した画像に基づいて車両上方から車両周辺を俯瞰した俯瞰画像を生成して表示を行う技術について知られている。例えば、特開２００３−１１５１００号公報では、駐車を行う際に駐車を行う自車周辺の俯瞰画像を表示するとともに、更に自車の移動に伴って自動的に俯瞰画像の表示範囲や縮尺を変更する画像表示システムについて記載されている。このような技術によれば、利用者は車両周辺の様子と共に車両と周辺にある地物や障害物との関係を、俯瞰画像より直感的に把握することができる。
【特許文献１】特開２００３−１１５１００号公報（第３頁〜第５頁、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した特許文献１に記載された画像表示システムでは、特に縮尺が拡大された状況では、利用者は自車周囲の限られた範囲のみしか視認することができなかった。従って、自車の近傍に人や自転車等の障害物が接近したとしても運転者からは障害物の姿が確認できない為に、障害物と接触するまで又は極めて近い距離に接近するまで運転者が障害物の存在に気付かないことが多く、接触の可能性が高くなっていた。
一方で、縮尺を小さくして広範囲の俯瞰画像のみを表示することとすると、俯瞰画像から正確な自車の位置や方向が把握し難くなり、運転操作が困難となる。
【０００５】
本発明は前記従来における問題点を解消するためになされたものであり、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となり、利用者に正確な周辺環境を容易に把握させることを可能とした車両周辺画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するため本願の請求項１に係る車両周辺画像表示システム（１）は、車両の周辺を撮像する撮像手段（３）と、前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段（４）と、画像表示手段（５）と、前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段（４）と、を有する車両周辺画像表示システムにおいて、車両周辺の障害物を検出する障害物検出手段（７〜９）を有し、前記表示制御手段は前記障害物検出手段によって障害物が検出された場合に、検出された障害物と車両とを含む前記俯瞰画像を前記画像表示手段に表示することを特徴とする。
【０００７】
また、請求項２に係る車両周辺画像表示システム（１）は、請求項１に記載の車両周辺画像表示システムにおいて、前記表示制御手段（４）は検出された障害物と車両とが前記画像表示手段（５）に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示することを特徴とする。
【０００８】
また、請求項３に係る車両周辺画像表示システム（１）は、請求項１又は請求項２に記載の車両周辺画像表示システムにおいて、駐車操作が行われたか否かを判定する駐車判定手段（４）を有し、前記表示制御手段（４）は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段（５）に対して俯瞰画像を表示することを特徴とする。
【０００９】
また、請求項４に係る車両周辺画像表示システム（１）は、車両の周辺を撮像する撮像手段（３）と、前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段（４）と、画像表示手段（５）と、前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段（４）と、を有する車両周辺画像表示システムにおいて、駐車操作が行われたか否かを判定する駐車判定手段（４）と、車両が駐車を行う駐車スペースを検出する駐車スペース検出手段（４）と、車両が前記駐車スペースに進入したか否かを判定する進入判定手段（４）と、車両周辺の障害物を検出する障害物検出手段（７〜９）と、を有し、前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して第１の範囲の前記俯瞰画像を表示し、前記進入判定手段により車両が前記駐車スペースに進入したと判定された場合に前記第１の範囲より狭い第２の範囲の俯瞰画像を表示し、前記障害物検出手段により障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示することを特徴とする。
尚、「第２の範囲」と「第３の範囲」は同一の範囲であっても良い。
【００１０】
更に、請求項５に係る車両周辺画像表示システム（１）は、請求項４に記載の車両周辺画像表示システムにおいて、前記第３の範囲は検出された障害物と車両とが前記画像表示手段（５）に対して表示可能であって且つ最も狭い範囲であることを特徴とする。
【発明の効果】
【００１１】
前記構成を有する請求項１の車両周辺画像表示システムでは、撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成し、障害物が検出された場合に、検出された障害物と車両とを含む俯瞰画像を画像表示手段に表示するので、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
【００１２】
また、請求項２の車両周辺画像表示システムでは、検出された障害物と車両とが画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
【００１３】
また、請求項３の車両周辺画像表示システムでは、駐車操作が行われたと判定された場合に画像表示手段に対して俯瞰画像を表示するので、利用者にとって周囲環境の情報が特に必要な駐車操作時において、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することができる。従って、利用者は駐車操作を容易に行うことが可能となる。
【００１４】
また、請求項４の車両周辺画像表示システムでは、撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成し、駐車操作が行われたと判定された場合に画像表示手段に対して第１の範囲の俯瞰画像を表示し、車両が駐車スペースに進入したと判定された場合に第１の範囲より狭い第２の範囲の俯瞰画像を表示し、障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示するので、現在の車両の状況に合わせた見易い範囲のみで俯瞰画像を表示することが可能となる。また、車両の周囲に障害物が位置する場合には、障害物を考慮した適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
【００１５】
更に、請求項５の車両周辺画像表示システムでは、検出された障害物と車両とが画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る車両周辺画像表示システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る車両周辺画像表示システム１の概略構成について図１及び図２を用いて説明する。図１は本実施形態に係る車両周辺画像表示システム１の概略構成図である。図２は本実施形態に係る車両周辺画像表示システム１の制御系を模式的に示すブロック図である。
【００１７】
図１及び図２に示すように、本実施形態に係る車両周辺画像表示システム１は、車両２に対して設置された後方カメラ（撮像手段）３と、画像表示ＥＣＵ（俯瞰画像生成手段、表示制御手段、駐車判定手段、駐車スペース検出手段、進入判定手段）４と、液晶ディスプレイ（画像表示手段）５と、スピーカ６と、画像表示ＥＣＵ４に接続されたクリアランスソナー７〜９や車速センサ１０、ステアリングセンサ１１、ジャイロセンサ１２、シフトポジションセンサ１３等の各種センサで構成されている。
【００１８】
後方カメラ３は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より４５度下方に向けて設置される。そして、後退時に車両２の進行方向となる車両後方を撮像し、その撮像された画像（図１０参照）は後述のように画像表示ＥＣＵ４によって車両２上方より車両２周辺を俯瞰した俯瞰画像（図１１参照）に変換されて液晶ディスプレイ５に表示される。
【００１９】
また、画像表示ＥＣＵ（エレクトロニック・コントロール・ユニット）４は、駐車操作が行われた際に後方カメラ３により撮像した画像から車両２上方より車両２周辺を俯瞰した俯瞰画像を生成する処理や、駐車スペースに進入した場合や障害物を検出した場合に液晶ディスプレイ５に表示する俯瞰画像のトリミング範囲を変更する処理や、後退時の車両２の予測進路を推定して、その軌跡を俯瞰画像に重畳して表示する処理等を行う電子制御ユニットである。尚、画像表示ＥＣＵ４はナビゲーション装置の制御に使用するＥＣＵと兼用してもよい。また、画像表示ＥＣＵ４の詳細な構成については後述する。
【００２０】
液晶ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、後退を行う時において車両２の周辺の俯瞰画像を表示する。尚、液晶ディスプレイ５はナビゲーション装置に使用するものと兼用してもよい。
【００２１】
また、スピーカ６は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、運転支援に関する案内音声や警告音等を出力する。
【００２２】
また、クリアランスソナー７〜９は、車両２の後方バンパの左角、中央、右角の計３箇所にそれぞれ取り付けられており、音波送信部と音波受信部とから基本的に構成されている。そして、音波送信部から車両２の左右の斜め後方及び後方の３方向に対して超音波を放射するとともに対象物（具体的には駐車車両、自転車、歩行者等）によって反射された反射波を音波受信部で受信する。その結果、受信した反射波の強度や波長に基づいて車両２の周囲に位置する障害物までの距離を検出することが可能となる。
【００２３】
また、車速センサ１０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。ステアリングセンサ１１は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出するセンサである。ジャイロセンサ１２は車両２の旋回角を検出するセンサである。また、シフトポジションセンサ１３は、シフトレバー（図示せず）に内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。
その結果、画像表示ＥＣＵ４は車速センサ１０の出力信号に基づいて車両２の現在の車速を検出し、ステアリングセンサ１１の出力信号に基づいて車両２の舵角を検出する。また、ジャイロセンサ１２によって検出された旋回角を積分することにより、自車方位を検出する。更に、シフトポジションセンサ１３によって車両２の現在のシフト位置を検出する。
【００２４】
次に、画像表示ＥＣＵ４の詳細について図２を用いて説明すると、画像表示ＥＣＵ４はＣＰＵ３１を核として構成されており、ＣＰＵ３１には記憶手段であるＲＯＭ３２及びＲＡＭ３３が接続されている。そして、ＲＯＭ３２には駐車操作時において後方カメラ３で撮像した画像から俯瞰画像を生成し、現在の状況に応じた適当な範囲で液晶ディスプレイ５に対して生成した俯瞰画像を表示する駐車画像表示制御処理プログラム（図３〜図８参照）、その他、液晶ディスプレイ５等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ３３はＣＰＵ３１で演算された各種データを一時的に記憶しておくメモリである。
更に、ＲＯＭ３２には、例えば車両２の車輪の半径、車幅、最小旋回半径、後方カメラ３の光軸方向（本実施形態では下方４５度）や車両２に対する後方カメラ３の設置位置等の各種パラメータについて記憶されている。そして、ＣＰＵ３１は後述するように記憶された各種パラメータ情報を用いることによって後方カメラ３で撮像された画像から後退時における車両２の予測進路の推定を行う。
また、ＲＡＭ３３には後述する各種のフラグ（“ＳＴＴ”、“ＦＬＧＭ”）や変数（“ＮＳＷ”、“ＳＴＲ”、“ΔＤＭ”、“Δｄ”、“Ｄｘ”）が格納される。更に、液晶ディスプレイ５に表示する表示画像等を一時的に格納する。尚、表示画像を格納するＶ−ＲＡＭをＲＡＭとは別に設けるようにしても良い。
【００２５】
続いて、前記構成を有する本実施形態に係る車両周辺画像表示システム１の画像表示ＥＣＵ４が実行する駐車画像表示制御処理プログラムについて図３に基づき説明する。図３は本実施形態に係る車両周辺画像表示システム１における駐車画像表示制御処理プログラムのフローチャートである。ここで、駐車画像表示制御処理プログラムは、駐車操作時において後方カメラ３で撮像した画像から俯瞰画像を生成し、現在の状況に応じた適当な範囲で液晶ディスプレイ５に対して生成した俯瞰画像を表示する処理を行うプログラムである。尚、以下の図３乃至図８にフローチャートで示されるプログラムは画像表示ＥＣＵ４が備えているＲＯＭ３２やＲＡＭ３３に記憶されており、ＣＰＵ３１により所定間隔（例えば２００ｍｓ毎）で繰り返し実行される。
【００２６】
駐車画像表示制御処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は駐車操作が行われているか否かの判定に基づいて液晶ディスプレイ５の表示画面の切り替えを行う後述のシステム起動管理処理（図４）を行う。
【００２７】
次に、Ｓ２においてＣＰＵ３１は、クリアランスソナー７〜９や車速センサ１０、ステアリングセンサ１１等の各種センサからの信号の入力を行う後述の車両信号入力処理（図５）を行う。
【００２８】
続いて、Ｓ３においてＣＰＵ３１は、後方カメラ３で撮像した画像に基づいて自車の上方より自車周辺を俯瞰した俯瞰画像を生成する後述の画像合成処理（図７）を行う。
【００２９】
そして、Ｓ４においてＣＰＵ３１は、前記Ｓ３で生成された俯瞰画像を現在の状況に応じた適当なトリミング範囲で液晶ディスプレイ５に対して表示する後述の画像表示処理（図８）を行う。尚、上記Ｓ４の処理が表示制御手段の処理に相当する。
【００３０】
次に、前記Ｓ１でＣＰＵ３１が実行するシステム起動管理処理のサブ処理プログラムについて図４に基づき説明する。図４は本実施形態に係るシステム起動管理処理のサブ処理プログラムのフローチャートである。
【００３１】
システム起動管理処理では、先ずＳ１１でＣＰＵ３１はシフトポジションセンサ１３からシフト位置を特定するシフトポジションセンサ信号“ＮＳＷ”を入力する。そして、Ｓ１２でＣＰＵ３１はＮＳＷ＝Ｒ（リバース）であるか否か、即ち、シフト位置を「Ｒ」として駐車操作を行っているか否かを判定する。尚、上記Ｓ１１の処理が駐車判定手段の処理に相当する。
【００３２】
その結果、ＮＳＷ＝Ｒであると判定された場合（Ｓ１２：ＹＥＳ）には、更に車両周辺画像表示システム１が起動中であることを示すフラグ“ＳＴＴ”がＯＮとなっているか否かを判定する（Ｓ１３）。
そして、ＳＴＴ＝ＯＮであると判定された場合（Ｓ１３：ＹＥＳ）には、既に車両周辺画像表示システム１が起動中であるので、システム起動管理処理を終了し、Ｓ２の車両信号入力処理へと移行する。
【００３３】
一方、ＳＴＴ＝ＯＦＦであると判定された場合（Ｓ１３：ＮＯ）には、現在の液晶ディスプレイ５に表示される表示画面を通常画面から駐車案内画面へと切り換える（Ｓ１４）。ここで、通常画面とは例えばナビゲーション装置による地図画像や経路情報等を表示した画面が該当する。また、駐車案内画面とは後述するように駐車を行う自車の上方から自車周辺を俯瞰した俯瞰画像（図１１〜図１６参照）を所定の範囲で表示した画面が該当する。
【００３４】
次に、Ｓ１５ではＣＰＵ３１は、車両周辺画像表示システムを起動させたことに基づいてフラグ“ＳＴＴ”をＯＮする。更に、Ｓ１６では単位時間当りに車両がバックで進んだ距離を示す変数“ΔＤＭ”を初期化（０を代入）する。その後、Ｓ２の車両信号入力処理へと移行する。
【００３５】
一方、前記Ｓ１２の判定処理において、ＮＳＷ≠Ｒであると判定された場合（Ｓ１２：ＮＯ）には、更にフラグ“ＳＴＴ”がＯＮとなっているか否かを判定する（Ｓ１７）。
そして、ＳＴＴ＝ＯＦＦであると判定された場合（Ｓ１７：ＮＯ）には、車両周辺画像表示システム１の起動を行うことなく処理を終了する。
【００３６】
一方、ＳＴＴ＝ＯＮであると判定された場合（Ｓ１７：ＹＥＳ）には、現在の液晶ディスプレイ５に表示される表示画面を駐車案内画面から通常画面へと切り換える（Ｓ１８）。次に、Ｓ１９ではＣＰＵ３１は、車両周辺画像表示システム１を終了させることに基づいてフラグ“ＳＴＴ”をＯＦＦとする。そして、Ｓ２０では各種変数（“ＮＳＷ”、“ＳＴＲ”、“ΔＤＭ”、“Δｄ”、“Ｄｘ”）を初期化する。
【００３７】
次に、前記Ｓ２でＣＰＵ３１が実行する車両信号入力処理のサブ処理プログラムについて図５に基づき説明する。図５は本実施形態に係る車両信号入力処理のサブ処理プログラムのフローチャートである。
【００３８】
車両信号入力処理では、先ずＳ３１でＣＰＵ３１はステアリングセンサ１１からステアリングの舵角を特定するステアリングセンサ信号“ＳＴＲ”を入力する。そして、Ｓ３２でＣＰＵ３１は車速センサ１０から出力された車速パルス信号“Ｖｐ”をカウントし、単位時間当りに自車がバックで進んだ移動距離“Δｄ”を算出する。
【００３９】
続いて、Ｓ３３でＣＰＵ３１は、システム起動以降に自車がバックで進んだトータルの距離“ΔＤＭ”に対して前記Ｓ３２に算出されたΔｄを加算することにより、ΔＤＭの値を更新する。その後、Ｓ３４では自車の周囲に位置する障害物を検出する後述のクリアランスソナー信号入力処理（図６）が行われ、画像合成処理（Ｓ３）へと移行する。
【００４０】
次に、前記Ｓ３４でＣＰＵ３１が実行するクリアランスソナー信号入力処理のサブ処理プログラムについて図６に基づき説明する。図６は本実施形態に係るクリアランスソナー信号入力処理のサブ処理プログラムのフローチャートである。
【００４１】
クリアランスソナー信号入力処理では、先ずＳ４１でＣＰＵ３１はクリアランスソナー７〜９から障害物までの距離［ｃｍ］を特定するソナー信号“ＣＳＤｎ（ｎ＝１、２、３）”を入力する。ここで、図９に示すように本実施形態に係る車両周辺画像表示システム１では、クリアランスソナー７は車両２の左後方へと超音波を送出し、ソナー信号ＣＳＤ１を得る。また、クリアランスソナー８は車両２の後方へと超音波を送出し、ソナー信号ＣＳＤ２を得る。更に、クリアランスソナー９は車両２の右後方へと超音波を送出し、ソナー信号ＣＳＤ３を得る。
【００４２】
そして、Ｓ４２でＣＰＵ３１は、前記Ｓ４１で入力されたソナー信号を１５０で割り、その値を超えない最大の整数に１を加えた値を“ＣＳＤｎＰ（クリアランスソナー７からの信号に基づく値がＣＳＤ１Ｐ、クリアランスソナー８からの信号に基づく値がＣＳＤ２Ｐ、クリアランスソナー９からの信号に基づく値がＣＳＤ３Ｐ）”として算出する。
【００４３】
そして、Ｓ４３でＣＰＵ３１は、前記Ｓ４２で算出されたＣＳＤｎＰについて、２＜ＣＳＤｎＰ≦３が成立するか否か、即ち、自車から検出した障害物までの距離が１５０ｃｍより遠く３００ｃｍ以下であるか否か判定される。その結果、２＜ＣＳＤｎＰ≦３が成立すると判定された場合（Ｓ４３：ＹＥＳ）には、障害物までの距離を示す障害物距離フラグ“ＤＡｎ”に「２」を代入する（Ｓ４４）。
【００４４】
一方、前記Ｓ４２で算出されたＣＳＤｎＰについて、２＜ＣＳＤｎＰ≦３が成立しないと判定された場合（Ｓ４３：ＮＯ）には、更に、Ｓ４５において３＜ＣＳＤｎＰが成立するか否か、即ち、自車から検出した障害物までの距離が３００ｃｍより遠いか若しくは検出することができなかったかが判定される。その結果、３＜ＣＳＤｎＰが成立すると判定された場合（Ｓ４５：ＹＥＳ）には、障害物距離フラグである“ＤＡｎ”に「０」を代入する（Ｓ４６）。
【００４５】
それに対して、前記Ｓ４２で算出されたＣＳＤｎＰについて、３＜ＣＳＤｎＰも成立しないと判定された場合（Ｓ４５：ＮＯ）には、ＣＳＤｎＰ＝１が成立することとなる。即ち、自車から検出した障害物までの距離が１５０ｃｍより近いこととなり、障害物距離フラグである“ＤＡｎ”にＣＳＤｎＰの値（即ち「１」）を代入する（Ｓ４７）。
【００４６】
その後、Ｓ４８ではｎ＝３であるか否か、即ち全てのクリアランスソナー７〜９について上記のＳ４１〜Ｓ４７の処理が行われたか否かが判定される。
【００４７】
その結果、ｎ≠３であると判定された場合（Ｓ４８：ＮＯ）にはｎの値に１を加算（Ｓ４９）した後にＳ４１へと戻り、残りのクリアランスソナー７〜９についてＤＡｎを特定する処理を行う。一方、ｎ＝３であると判定された場合（Ｓ４８：ＹＥＳ）にはＳ５０へと移行し、ｎの値を初期化する。その後、Ｓ３の画像合成処理へと移行する
【００４８】
次に、前記Ｓ３でＣＰＵ３１が実行する画像合成処理のサブ処理プログラムについて図７に基づき説明する。図７は本実施形態に係る画像合成処理のサブ処理プログラムのフローチャートである。
【００４９】
画像合成処理では、先ずＳ５１でＣＰＵ３１は後方カメラ３で撮像した自車の後方環境のカメラ画像を取得する。その後、Ｓ５２でＣＰＵ３１は前記Ｓ５１で取得したカメラ画像について画像外縁付近に発生する歪みを補正する歪み補正計算処理を行う。
【００５０】
続いて、Ｓ５３でＣＰＵ３１は、前記Ｓ５２で歪みを補正したカメラ画像に対して、所定の俯瞰変換処理を施すことにより、上方の視点から垂直下方に見下ろした俯瞰画像を現在画像ＩＭ−ｐｒとして生成する。尚、撮像した画像の視点変換を行う俯瞰変換処理は既に公知（例えば、特開平１０−２１１８４９号公報参照）の技術であるので、ここではその説明は省略する。
【００５１】
更に、Ｓ５４では前記Ｓ５３で生成した現在画像ＩＭ−ｐｒに対して、システムが起動してからのトータルの走行距離を特定する距離インデックスΔＤＭを添付し（Ｓ５４）、ΔＤＭが添付された現在画像ＩＭ−ｐｒをメモリ（例えば、ＲＡＭ３３）へ書き込む（Ｓ５５）。
【００５２】
次に、Ｓ５６でＣＰＵ３１は現在位置に対して読み出すべき過去画像のインデックスＩＮＤを算出する。具体的には、システムが起動してからの走行距離ΔＤＭに対してＤｘ（現在位置に対して読み出すべき過去画像のインデックスを計算する為の定数（固定値））を引いた値をＩＮＤとして算出する。
【００５３】
そして、Ｓ５７でＣＰＵ３１は前記Ｓ５６で算出されたＩＮＤの値に基づいて、該当する過去画像ＩＭ−ｉｎｄをメモリから読み出す。更に、Ｓ５８においてＣＰＵ３１は、前記Ｓ５７で読み出された過去画像ＩＭ−ｉｎｄを前記Ｓ３１で入力されたステアリングセンサ信号に基づいて回転変換する回転変換処理を行い、ＩＭ−ｒｏｔを生成する。具体的には、自車が旋回している場合に、その旋回角度に従って俯瞰画像を補正する処理である。
【００５４】
続いて、Ｓ５９でＣＰＵ３１は、前記Ｓ５３で生成された現在画像ＩＭ−ｐｒと、Ｓ５８で生成された回転変換後の過去画像ＩＭ−ｒｏｔとを合成し、合成俯瞰画像ＩＭ−ｄｓｐを生成する。それによって、自車上方から自車周辺を撮像した俯瞰画像が生成される。
例えば、図１０は後方カメラ３によって撮像されたカメラ画像４０を示した図であり、図１１は図１０に示すカメラ画像４０を撮像した時点において自車の液晶ディスプレイ５に表示される俯瞰画像である駐車案内画面５０を示した図である。図１０及び図１１に示すように、カメラ画像４０において撮像されている他の駐車車両５２、５３及び駐車区画線５４〜５６は、自車両５１の上方から見下ろした場合に撮像される形状及び配置へと変換されて駐車案内画面５０に表示される。また、カメラ画像４０では撮像されない自車両５１の画像についても、上方から見下ろした形状で駐車案内画面５０の所定位置に表示される。尚、駐車案内画面５０において自車両５１が表示される位置は、駐車スペース５８へと進入する前は常に固定であり、自車両５１が後退するにつれて自車両５１の周囲の画像が変化した俯瞰画像に更新される。尚、上記Ｓ５２〜Ｓ５９の処理が俯瞰画像生成手段の処理に相当する。
【００５５】
次に、前記Ｓ４でＣＰＵ３１が実行する画像表示処理のサブ処理プログラムについて図８に基づき説明する。図８は本実施形態に係る画像表示処理のサブ処理プログラムのフローチャートである。
【００５６】
画像表示処理では、先ずＳ６１でＣＰＵ３１は自車が駐車スペースに進入したことを示すフラグ“ＦＬＧＭ”がＯＮとなっているか否かを判定する。そして、“ＦＬＧＭ”がＯＮであると判定された場合（Ｓ６１：ＹＥＳ）には、Ｓ７２へと移行して後述するように自車周辺の範囲のみを拡大した俯瞰画像の表示を継続して行う。
【００５７】
一方、“ＦＬＧＭ”がＯＦＦであると判定された場合（Ｓ６１：ＹＥＳ）には、前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐから駐車枠の左右の区画線を線分ＬＬ、ＬＲとして認識して抽出する（Ｓ６２）。具体的には、先ず、ＮＴＳＣのようなアナログ通信手段や、ｉ−ｌｉｎｋのようなデジタル通信手段を用いて合成俯瞰画像ＩＭ−ｄｓｐを入力し、ｊｐｅｇ、ｍｐｅｇ等のデジタル画像フォーマットに変換する。次に、駐車枠が一般に白線又は黄線であることを用いて、撮像画像中の駐車枠が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる駐車枠を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、駐車枠と他の路面との境界線を検出する。例えば、図１１に示す俯瞰画像からは駐車区画線５４、５５がそれぞれ線分ＬＬ、ＬＲとして抽出される。そして、抽出された線分ＬＬ、ＬＲによって、駐車スペース５８の範囲が特定され検出されることとなる。尚、上記Ｓ６２の処理が駐車スペース検出手段の処理に相当する。
【００５８】
次に、Ｓ６３でＣＰＵ３１は前記Ｓ６２で抽出された駐車枠区画線の線分ＬＬ、ＬＲを直線近似処理することにより、画像表示座標系における式ＬＮＬ、ＬＮＲを算出する。
【００５９】
続いて、Ｓ６４でＣＰＵ３１はステアリングセンサ信号ＳＴＲが「０」であるか否か、即ち、自車が旋回することなく直線状に後退しているか否か判定される。そして、ＳＴＲ≠０であると判定された場合（Ｓ６４：ＮＯ）、即ち、自車が旋回しつつ後退中である場合には、第１のトリミング範囲（第１の範囲）を設定する（Ｓ６５）。
そして、Ｓ６６でＣＰＵ３１は、前記Ｓ６６で設定された第１のトリミング範囲により前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐをトリミングし、更に、液晶ディスプレイ５に表示可能な表示範囲に合わせてトリミングした画像を拡大又は縮小変換して画像表示ＥＣＵ４の備えるＶ−ＲＡＭへと転送する（Ｓ６６）。そして、トリミングされた画像を液晶ディスプレイ５に表示する。その結果、図１１や図１２に示すように第１のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺の広範囲を俯瞰した俯瞰画像が液晶ディスプレイ５に表示されることとなる。尚、Ｖ−ＲＡＭはＲＡＭ３３と共用するようにしても良い。
【００６０】
また、Ｓ６７ではステアリングセンサ信号ＳＴＲに基づいて車両の走行軌跡を予測する。そして、走行軌跡を示したガイド線５６、５７と駐車スペース５８を示すスペース線５９を画面上に描画することにより、俯瞰画像に重畳して表示する。
【００６１】
一方、前記Ｓ６４でＳＴＲ＝０であると判定された場合（Ｓ６４：ＹＥＳ）、即ち、直線状に後退していると判定された場合には、続いて、ＬＮＬとＬＮＲの端点の座標ＬＮＬｅとＬＮＲｅを算出する（Ｓ６８）。
【００６２】
その後、Ｓ６９では、自車の後端を含む直線Ｙｓ（図１１、図１２参照）のＹ座標よりＬＮＬとＬＮＲの端点の座標ＬＮＬｅとＬＮＲｅのいずれかのＹ座標が大きいか否か、即ち、自車が駐車区画線の線分ＬＬ、ＬＲで区画された駐車スペース５８へと進入したか否かが判定される。尚、上記Ｓ６９の処理が進入判定手段の処理に相当する。
【００６３】
その結果、座標ＬＮＬｅとＬＮＲｅのＹ座標がいずれもＹｓより小さいと判定された場合（Ｓ６９：ＮＯ）には、駐車スペースへと進入していないと判定され、Ｓ６５へと移行し、継続して第１のトリミング範囲でトリミングされた俯瞰画像の表示が行われる。
【００６４】
それに対して、座標ＬＮＬｅとＬＮＲｅのいずれかのＹ座標がＹｓより大きいと判定された場合（Ｓ６９：ＹＥＳ）にはＳ７０へと移行し、自車が駐車スペース５８に進入したことを示すフラグ“ＦＬＧＭ”がＯＮとなっているか否かを判定する。そして、“ＦＬＧＭ”がＯＦＦであると判定された場合（Ｓ７０：ＮＯ）には、ＦＬＧＭをＯＮする（Ｓ７１）。一方、既に“ＦＬＧＭ”がＯＮであると判定された場合（Ｓ７０：ＹＥＳ）には、Ｓ７１へと移行する。
【００６５】
Ｓ７２ではＣＰＵ３１は、第２のトリミング範囲（第２の範囲）を設定する。尚、第２のトリミング範囲は第１のトリミング範囲より狭い範囲となっている。
【００６６】
続いて、Ｓ７３では中央に配置されたクリアランスソナー８のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ２”が「１」であるか否か、即ち、自車後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ２＝１であると判定された場合（Ｓ７３：ＹＥＳ）には、自車後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ２”を「ＯＮ」とする。一方、ＤＡ２≠１であると判定された場合（Ｓ７３：ＮＯ）には、Ｓ７５へと移行する。
【００６７】
Ｓ７５では左方に配置されたクリアランスソナー７のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ１”が「１」であるか否か、即ち、自車左後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ１＝１であると判定された場合（Ｓ７５：ＹＥＳ）には、自車左後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ１”を「ＯＮ」とする。一方、ＤＡ１≠１であると判定された場合（Ｓ７５：ＮＯ）には、Ｓ７７へと移行する。
【００６８】
更に、Ｓ７７では右方に配置されたクリアランスソナー９のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ３”が「１」であるか否か、即ち、自車右後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ３＝１であると判定された場合（Ｓ７７：ＹＥＳ）には、自車右後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ３”を「ＯＮ」とする。一方、ＤＡ３≠１であると判定された場合（Ｓ７７：ＮＯ）には、Ｓ７９へと移行する。
【００６９】
そして、Ｓ７９では前記Ｓ７２で設定された第２のトリミング範囲を“ＦＬＧＤＡ１〜３”の設定に基づいて拡張した第３のトリミング範囲（第３の範囲）を新たに設定する（Ｓ７９）。具体的には、“ＦＬＧＤＡ１”がＯＮに設定されている場合には左後方に１、５ｍ拡張し、“ＦＬＧＤＡ２”がＯＮに設定されている場合には後方に１、５ｍ拡張し、“ＦＬＧＤＡ３”がＯＮに設定されている場合には右後方に１、５ｍ拡張した第３のトリミング範囲を設定する（Ｓ８０）。尚、複数のフラグがＯＮに設定されている場合には、第２のトリミング範囲をＯＮに設定されている各フラグに対応する複数方向にそれぞれ拡張した第３のトリミング範囲を設定する。一方、ＤＡ２≠１であると判定された場合（Ｓ７３：ＮＯ）には、Ｓ７５へと移行する。
【００７０】
次に、Ｓ８０でＣＰＵ３１は前記Ｓ７２で設定された第２のトリミング範囲、若しくは前記Ｓ７９で第３のトリミング範囲が設定されていた場合には第３のトリミング範囲により前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐをトリミングし、更に、液晶ディスプレイ５に表示可能な表示範囲に合わせてトリミングした画像を拡大又は縮小変換して画像表示ＥＣＵ４の備えるＶ−ＲＡＭへと転送する。そして、トリミングされた画像を液晶ディスプレイ５に表示する。
【００７１】
その結果、クリアランスソナー７〜９でいずれも１５０ｃｍ以内で障害物が検出されなかった場合には、図１３に示す第２のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６０が液晶ディスプレイ５に表示されることとなる。ここで、図１３に示すように駐車案内画面６０では自車両５１が最も大きくなるような範囲で表示され、その結果、自車両５１とその周囲の極狭い範囲のみが表示される。
【００７２】
また、クリアランスソナー７で１５０ｃｍ以内に障害物が検出された場合には、図１４に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６１が液晶ディスプレイ５に表示されることとなる。ここで、図１４に示すように駐車案内画面６１では自車両５１と検出された障害物（図１４では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は左後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。
【００７３】
また、クリアランスソナー８で１５０ｃｍ以内に障害物が検出された場合には、図１５に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６２が液晶ディスプレイ５に表示されることとなる。ここで、図１５に示すように駐車案内画面６２では自車両５１と検出された障害物（図１５では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。
【００７４】
更に、クリアランスソナー９で１５０ｃｍ以内に障害物が検出された場合には、図１６に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６３が液晶ディスプレイ５に表示されることとなる。ここで、図１６に示すように駐車案内画面６３では自車両５１と検出された障害物（図１６では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は右後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。
【００７５】
以上詳細に説明した通り、本実施形態に係る車両周辺画像表示システム１では車両２において駐車操作が行われていると判定された場合（Ｓ１２：ＹＥＳ）に、後方カメラ３で撮像したカメラ画像から車両２の上方から車両周辺を俯瞰した俯瞰画像を生成し（Ｓ５２〜Ｓ５９）、特にクリアランスソナー７〜９によって車両２の所定距離内（本実施形態では１５０ｃｍ以内）に障害物を検出した場合には、検出された障害物と車両２とを含む第３のトリミング範囲でトリミングした俯瞰画像を液晶ディスプレイ５に表示するので、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
また、障害物が検出された場合には、検出された障害物と車両２とが液晶ディスプレイ５に対して表示可能であって且つ最も狭いトリミング範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
また、駐車操作が行われたと判定された場合に液晶ディスプレイ５に対して俯瞰画像を表示するので、利用者にとって周囲環境の情報が特に必要な駐車操作時において、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することができる。従って、利用者は駐車操作を容易に行うことが可能となる。
また、車両２が駐車スペースに進入する前は、車両２の周囲を広範囲に表示した第１のトリミング範囲に基づく俯瞰画像（図１１、図１２参照）を駐車案内画面５０として表示し、車両２が駐車スペースへと進入した際には第１のトリミング範囲より狭い第２のトリミング範囲に基づく俯瞰画像（図１３参照）を駐車案内画面６０として表示し、更に、クリアランスソナー７〜９によって車両２の所定距離内（本実施形態では１５０ｃｍ以内）に障害物を検出した場合には、第２のトリミング範囲より広い第３のトリミング範囲によって俯瞰画像（図１４〜図１６参照）を駐車案内画面６２〜６４として表示するので、現在の車両の状況に合わせた見易い範囲で俯瞰画像を表示することが可能となる。
【００７６】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではクリアランスソナー７〜９によって車両２の後方に障害物が検出された場合に、車両と障害物を含む第３のトリミング範囲でトリミングした俯瞰画像を表示することとしているが、クリアランスソナーを車両の前方や側方に新たに配置することによって、車両２の前方や側方に障害物が検出された場合にも、車両と障害物を含む第３のトリミング範囲でトリミングした俯瞰画像を表示するようにしても良い。また、障害物の検出手段はクリアランスソナーに限られること無く、例えばカメラで撮像した画像に基づいて障害物を検出するようにしても良い。
【００７７】
また、第２のトリミング範囲と第３のトリミング範囲とは同一の範囲であっても良い。その際には、ディスプレイの表示領域を変更することのみによって、検出された障害物を新たに表示するようにする。
【００７８】
また、本実施形態ではクリアランスソナー７〜９によって車両２の後方に障害物が検出された場合に、車両と障害物とを同一の表示ウィンドウで表示することとしているが、障害物の俯瞰画像は車両を表示するウィンドウと別のウィンドウで表示するようにしても良い。
【００７９】
また、駐車操作が開始された場合に、液晶ディスプレイ５の左半分に対してはナビゲーション装置による自車周囲の地図画面を表示し、右側半分に対してのみに駐車案内画面５０、６０（図１１〜図１３）を表示するようにしても良い。そして、特に車両２の後方に障害物が検出された場合には、地図画面を消去し、車両２と障害物を含む駐車案内画面６２〜６４（図１４〜図１６）の表示領域を拡大して表示するようにしても良い。
【図面の簡単な説明】
【００８０】
【図１】本実施形態に係る車両周辺画像表示システムの概略構成図である。
【図２】本実施形態に係る車両周辺画像表示システムの制御系を模式的に示すブロック図である。
【図３】本実施形態に係る駐車画像表示制御処理プログラムのフローチャートである。
【図４】本実施形態に係るシステム起動管理処理のサブ処理プログラムのフローチャートである。
【図５】本実施形態に係る車両信号入力処理のサブ処理プログラムのフローチャートである。
【図６】本実施形態に係るクリアランスソナー信号入力処理のサブ処理プログラムのフローチャートである。
【図７】本実施形態に係る画像合成処理のサブ処理プログラムのフローチャートである。
【図８】本実施形態に係る画像表示処理のサブ処理プログラムのフローチャートである。
【図９】車両の障害物の検出方向を示した模式図である。
【図１０】後方カメラによって撮像されたカメラ画像を示した図である。
【図１１】図１０に示すカメラ画像を撮像した時点において自車の液晶ディスプレイに表示される俯瞰画像を示した図である。
【図１２】液晶ディスプレイに表示される第１のトリミング範囲に基づく俯瞰画像を示した図である。
【図１３】液晶ディスプレイに表示される第２のトリミング範囲に基づく俯瞰画像を示した図である。
【図１４】車両の左後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。
【図１５】車両の後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。
【図１６】車両の右後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。
【符号の説明】
【００８１】
１ 車両周辺画像表示システム
２ 車両
３ 後方カメラ
４ 画像表示ＥＣＵ
５ 液晶ディスプレイ
７〜９ クリアランスソナー
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
画像表示手段と、
前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段と、を有する車両周辺画像表示システムにおいて、
車両周辺の障害物を検出する障害物検出手段を有し、
前記表示制御手段は前記障害物検出手段によって障害物が検出された場合に、検出された障害物と車両とを含む前記俯瞰画像を前記画像表示手段に表示することを特徴とする車両周辺画像表示システム。
【請求項２】
前記表示制御手段は検出された障害物と車両とが前記画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示することを特徴とする請求項１に記載の車両周辺画像表示システム。
【請求項３】
駐車操作が行われたか否かを判定する駐車判定手段を有し、
前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して俯瞰画像を表示することを特徴とする請求項１又は請求項２に記載の車両周辺画像表示システム。
【請求項４】
車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
画像表示手段と、
前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段と、を有する車両周辺画像表示システムにおいて、
駐車操作が行われたか否かを判定する駐車判定手段と、
車両が駐車を行う駐車スペースを検出する駐車スペース検出手段と、
車両が前記駐車スペースに進入したか否かを判定する進入判定手段と、
車両周辺の障害物を検出する障害物検出手段と、を有し、
前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して第１の範囲の前記俯瞰画像を表示し、前記進入判定手段により車両が前記駐車スペースに進入したと判定された場合に前記第１の範囲より狭い第２の範囲の俯瞰画像を表示し、前記障害物検出手段により障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示することを特徴とする車両周辺画像表示システム。
【請求項５】
前記第３の範囲は検出された障害物と車両とが前記画像表示手段に対して表示可能であって且つ最も狭い範囲であることを特徴とする請求項４に記載の車両周辺画像表示システム。
【請求項１】
車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
画像表示手段と、
前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段と、を有する車両周辺画像表示システムにおいて、
車両周辺の障害物を検出する障害物検出手段を有し、
前記表示制御手段は前記障害物検出手段によって障害物が検出された場合に、検出された障害物と車両とを含む前記俯瞰画像を前記画像表示手段に表示することを特徴とする車両周辺画像表示システム。
【請求項２】
前記表示制御手段は検出された障害物と車両とが前記画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示することを特徴とする請求項１に記載の車両周辺画像表示システム。
【請求項３】
駐車操作が行われたか否かを判定する駐車判定手段を有し、
前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して俯瞰画像を表示することを特徴とする請求項１又は請求項２に記載の車両周辺画像表示システム。
【請求項４】
車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
画像表示手段と、
前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段と、を有する車両周辺画像表示システムにおいて、
駐車操作が行われたか否かを判定する駐車判定手段と、
車両が駐車を行う駐車スペースを検出する駐車スペース検出手段と、
車両が前記駐車スペースに進入したか否かを判定する進入判定手段と、
車両周辺の障害物を検出する障害物検出手段と、を有し、
前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して第１の範囲の前記俯瞰画像を表示し、前記進入判定手段により車両が前記駐車スペースに進入したと判定された場合に前記第１の範囲より狭い第２の範囲の俯瞰画像を表示し、前記障害物検出手段により障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示することを特徴とする車両周辺画像表示システム。
【請求項５】
前記第３の範囲は検出された障害物と車両とが前記画像表示手段に対して表示可能であって且つ最も狭い範囲であることを特徴とする請求項４に記載の車両周辺画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−３０７０５（Ｐ２００８−３０７０５Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０８５５５（Ｐ２００６−２０８５５５）
【出願日】平成１８年７月３１日（２００６．７．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月３１日（２００６．７．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]