駐車区画監視装置
【課題】 撮像した画像から検出された駐車区画線が不完全である場合に、過去に撮像手段により撮像された過去画像を重畳して表示することにより、運転者の駐車操作を容易に行うことを可能とした駐車区画監視装置を提供する。
【解決手段】 駐車を行う際に後方カメラ３によって撮像された駐車区画線Ｔが不完全であると判定された場合に、過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像から同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像を抽出し、現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像６２に重畳させることにより完全な駐車区画線ＴをＢＧＭ画像に表示させるように構成する。
【解決手段】 駐車を行う際に後方カメラ３によって撮像された駐車区画線Ｔが不完全であると判定された場合に、過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像から同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像を抽出し、現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像６２に重畳させることにより完全な駐車区画線ＴをＢＧＭ画像に表示させるように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が駐車を行う際に撮像手段により撮像した画像を画像表示手段に表示することにより駐車区画を監視する駐車区画監視装置に関し、特に、撮像した画像から検出された駐車区画線が不完全である場合に、過去に撮像手段により撮像された過去画像を重畳して表示することにより、様々な状況下において正確な駐車区画線を表示することが可能となり、運転者の駐車操作を容易に行うことを可能とした駐車区画監視装置に関するものである。
【背景技術】
【０００２】
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する周辺監視装置を搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、周辺監視装置はこれらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うものである。
このような周辺監視装置は、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。
【０００３】
ここで、特に前記周辺監視装置の中には、駐車時に車両の後方環境を撮像したカメラ画像を表示して、車両に対する運転者の駐車操作を支援する駐車支援装置がある。そのような駐車支援装置では、車両に対して後進方向側の状況を画像表示することによって、車両に対する運転者の駐車操作を支援するものや、ステアリング舵角センサからの信号に基づいて車両の進行予測曲線を算出し、算出した進行予測曲線を、上述したように撮像したカメラ画像に重畳して表示することによって、車両に対する運転者の駐車操作を支援するものが知られている。しかし、そのような駐車支援装置においては、夜間の駐車操作や、屋内駐車場への駐車操作など、運転者が比較的低照度条件下で駐車操作を行う場合、カメラ画像が暗く、車両の後方環境に対する運転者の視認性が低下するという問題があった。そこで、例えば特開２００３−６３３３９号公報には、カメラによって撮像された画像に基づいて駐車枠の輪郭を検出し、検出された駐車枠の輪郭に基づく図形をカメラによって撮像された駐車枠の画像に重畳したり、駐車枠の枠線を延長したりすることにより、カメラ画像内での車両の周辺環境に対する運転者の視認性を向上することが可能な駐車支援装置が記載されている。
【特許文献１】特開２００３−６３３３９号公報（第４頁〜第５頁、図１〜図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した特許文献１に記載された駐車支援装置は、表示画像の一部を加工することによって表示画面が暗い状態で見難くなっていた駐車枠の存在を認識し易くするものであり、駐車枠が途中で途切れている等の不完全な形状であったとしても、それ自体の形状を修正することはなかった。しかしながら、駐車枠を形成する枠線に関してはアスファルトやコンクリートの上に塗装されることにより描かれているのが一般であり、長年の使用により塗装が剥げていたり、また、水溜りや他車両などの障害物によって認識できなくなっていることが頻繁にある。更に、駐車枠の形状は各駐車場でそれぞれ異なっており、輪郭に基づく画像を重畳して表示したり、単に枠線を延長させるのみでは運転者に正しい枠線を認識させることができなかった。
【０００５】
本発明は前記従来における問題点を解消するためになされたものであり、撮像した画像から検出された駐車区画線が不完全である場合に、過去に撮像手段により撮像された過去画像を重畳して表示するので、様々な状況下において正確な駐車区画線を表示することが可能となり、運転者の駐車操作を容易に行うことを可能とした駐車区画監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するため本願の請求項１に駐車区画監視装置は、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画の駐車区画線を検出する駐車区画線検出手段と、前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、前記駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、前記画像重畳手段によって重畳された画像を前記画像表示手段に表示する重畳画像表示手段と、を有することを特徴とする。
【０００７】
また、請求項２に係る駐車区画監視装置は、請求項１に記載の駐車区画監視装置において、前記車両の現在地を検出する現在地検出手段と、前記車両の進行方向を検出する自車方向検出手段と、前記現在地検出手段及び前記自車方向検出手段の検出結果に基づいて前記撮像手段の現在位置及び視線方向を特定する撮像手段特定手段と、を有し、前記過去画像記憶手段には、前記過去画像とともに過去画像を撮像した際の前記撮像手段の現在位置及び視線方向を特定する特定情報が記憶され、前記画像重畳手段は、前記過去画像記憶手段に記憶された前記特定情報に基づいて前記過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする。
ここで、「前記撮像手段の現在位置及び視線方向を特定する情報」とは、撮像手段の現在位置及び視線方向を直接的に特定する撮像手段の具体的な座標や角度の情報でも良いし、車両の現在位置及び進行方向等の間接的に撮像手段の現在位置及び視線方向を特定できる情報であっても良い。
【０００８】
また、請求項３に係る駐車区画監視装置は、請求項１又は請求項２に記載の駐車区画監視装置において、前記駐車区画線検出手段によって検出された駐車区画線が不完全であって、且つ前記過去画像記憶手段に前記画像重畳手段により重畳可能な過去画像が記憶されていない場合に、検出された前記駐車区画線に基づいて前記撮像手段により撮像された画像の駐車区画線を補完する駐車区画線補完手段と、前記駐車区画線補完手段によって補完された画像を前記画像表示手段に表示する補完画像表示手段と、を有することを特徴とする。
ここで、「重畳可能な過去画像が記憶されていない場合」とは、同一形状を有する駐車区画線を撮像した過去画像が無いことをいい、駐車区画線検出手段によって検出された駐車区画線と同一の駐車区画線を撮像した過去画像がない場合の他に、駐車区画線検出手段によって検出された駐車区画線と同一の駐車場内の他の駐車区画線を撮像した過去画像がない場合としても良い。
【０００９】
また、請求項４に係る駐車区画監視装置は、請求項１乃至請求項３のいずれかに記載の駐車区画監視装置において、前記駐車区画線検出手段により前記車両が駐車を行う駐車区画の駐車区画線が検出されなかった場合に、前記過去画像記憶手段に記憶された過去画像と前記撮像手段の現在位置及び視線方向を特定する情報とに基づいて駐車区画線が存在することを検出する駐車区画線存在検出手段を有し、前記画像重畳手段は、前記駐車区画線存在検出手段によって前記駐車区画線が存在することが検出された場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする。
【００１０】
また、請求項５に係る駐車区画監視装置は、請求項１乃至請求項４のいずれかに記載の駐車区画監視装置において、前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段を備え、前記画像重畳手段は、前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする。
【００１１】
また、請求項６に係る駐車区画監視装置は、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段と、前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、を有することを特徴とする。
【００１２】
更に、請求項７に係る駐車区画監視装置は、請求項５又は請求項６に記載の駐車区画監視装置において、前記隣接駐車区画は、前記車両が駐車を行う駐車区画の後方に位置する駐車区画であることを特徴とする。
【発明の効果】
【００１３】
前記構成を有する請求項１の駐車区画監視装置では、撮像手段により撮像した画像に基づいて、車両が駐車を行う駐車区画の駐車区画線を検出し、検出された駐車区画線が不完全である場合には、記憶された過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって駐車区画線が完全な形状で検出できない場合であっても、完全な駐車区画線を表示することが可能となる。従って、運転者は表示された駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１４】
また、請求項２の駐車区画監視装置では、記憶された過去画像を撮像した際の撮像手段の現在位置と視線方向に基づいて過去画像を重畳させるので、視界不良、障害物等の様々な要因によって駐車区画線が完全な形状で検出できない場合であっても、より正確な位置に駐車区画線を表示することが可能となる。従って、運転者は、より正確な駐車操作を行うことが可能となる。
【００１５】
また、請求項３の駐車区画監視装置では、駐車区画線検出手段によって検出された駐車区画線が不完全であって、且つ画像重畳手段により重畳可能な過去画像が記憶されていない場合に、検出された駐車区画線に基づいて駐車区画線を補完し、その画像を画像表示手段に表示させるので、視界不良、障害物等の様々な要因によって駐車区画線が完全な形状で検出できない場合であっても、完全な駐車区画線を表示することが可能となる。従って、運転者は表示された駐車区画線を参照することにより、駐車操作を容易に行うことができる。また、過去画像を必要としないので、初めて駐車を行う場所においても、完全な駐車区画線を表示することが可能となる。
【００１６】
また、請求項４の駐車区画監視装置では、車両が駐車を行う駐車区画の駐車区画線が検出されなかった場合であっても、駐車区画線が存在する場合においては、過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって駐車区画線が全く検出できない場合であっても、完全な駐車区画線を表示することが可能となる。従って、運転者は表示された駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１７】
また、請求項５の駐車区画監視装置では、撮像手段により撮像した画像に基づいて、車両が駐車を行う駐車区画に隣接した隣接駐車区画線を検出し、検出された隣接駐車区画線が不完全である場合には、記憶された過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって隣接駐車区画線が完全な形状で検出できない場合であっても、完全な隣接駐車区画線を表示することが可能となる。従って、運転者は表示された隣接駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１８】
また、請求項６の駐車区画監視装置では、撮像手段により撮像した画像に基づいて、車両が駐車を行う駐車区画に隣接した隣接駐車区画線を検出し、検出された隣接駐車区画線が不完全である場合には、記憶された過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって隣接駐車区画線が完全な形状で検出できない場合であっても、完全な隣接駐車区画線を表示することが可能となる。従って、運転者は表示された隣接駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１９】
更に、請求項７の駐車区画監視装置では、特に車両を駐車する駐車区画の後方に位置する駐車区画の駐車区画線が不完全である場合に、重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって後方の駐車区画線が完全な形状で検出できない場合であっても、完全な後方の駐車区画線を表示することが可能となる。従って、運転者は表示された後方の駐車区画線を参照することにより、車体を駐車区画線に対して傾けることなく適切な位置で駐車させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明に係る駐車区画監視装置について具体化した第１及び第２実施形態に基づき図面を参照しつつ詳細に説明する。
【００２１】
（第１実施形態）
先ず、第１実施形態に係る駐車区画監視装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係る駐車区画監視装置１の概略構成図である。
図１に示すように、第１実施形態に係る駐車区画監視装置１は、車両２に対して設置された後方カメラ（撮像手段）３と、液晶ディスプレイ（画像表示手段）５と、画像処理ＥＣＵ６と、現在地検出部７と、過去画像ＤＢ（過去画像記憶手段）８と、車両ＥＣＵ９等で構成されている。
【００２２】
後方カメラ３は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、駐車時に車両２の進行方向となる車両後方を撮像し、その撮像した画像（以下、ＢＧＭ（バック・ガイド・モニタ）画像とする）は液晶ディスプレイ５に表示される。尚、第１実施形態に係るカメラ自体は、広角レンズにより左右１４０度の視野を確保し、後方８ｍ程度までの領域を撮影できるものを使用することとしているが、視野角や撮影距離の異なる他のカメラであっても良い。
【００２３】
液晶ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、駐車時において後方カメラ３で車両２の後方環境を撮像したＢＧＭ画像等を表示する。尚、液晶ディスプレイ５は、ナビゲーション装置に使用するものと兼用してもよい。
【００２４】
画像処理ＥＣＵ（エレクトロニック・コントロール・ユニット）６は、後方カメラ３で撮像したＢＧＭ画像から車両２が駐車を行う駐車区画の駐車区画線を検出し、駐車区画線が不完全である場合に、以前に撮像された過去ＢＧＭ画像を撮像したＢＧＭ画像に重畳した重畳ＢＧＭ画像、又は検出された他の駐車区画線に基づいて駐車区画線を補完した補完ＢＧＭ画像を生成するとともに、駐車区画に対する自車の経路（予測進路）を推定して、その軌跡をＢＧＭ画像に重畳させる処理を行う電子制御ユニットである。尚、画像処理ＥＣＵ６の詳細な構成については後述する。
【００２５】
また、現在地検出部７は、例えばナビゲーション装置のようなＧＰＳ（現在地検出手段）４１による位置検出機能と、車両２の絶対方位を検出する地磁気センサ４２（自車方向検出手段）と、地図データが格納された地図ＤＢ４３を備えたものであり（図２参照）、車両２の現在地と進行方向を地図上で特定することが可能となる。
【００２６】
また、過去画像ＤＢ８は、後方カメラ３により撮像したＢＧＭ画像の画像データが、撮像した時点の後方カメラ３の位置座標と角度（視線方向）とともに随時記憶される記憶手段である。尚、第１実施形態においては、過去画像ＤＢ８の記憶媒体としてハードディスクが使用されるが、磁気ディスク、メモリカード、磁気テープ、磁気ドラム、ＣＤ、ＭＤ、ＤＶＤ、光ディスク、ＭＯ、ＩＣカード、光カード等を外部記憶装置として使用することもできる。更に、車両ＥＣＵ９内の記憶領域（例えば、ＲＡＭやフラッシュメモリ）に設けることとしても良い。
【００２７】
そして、車両ＥＣＵ９は、エンジン、変速機、ブレーキ等の作動を制御する車両２の電子制御ユニットであり、また、車速センサ１２、操舵角センサ１３、ジャイロセンサ１４、ヨーレートセンサ１５、シフト位置検出センサ１６の各種センサが接続されている。ここで、車速センサ１２は、車両２の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して車両ＥＣＵ９に速度信号を出力する。また、操舵角センサ１３は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出して操舵角信号を車両ＥＣＵ９に出力する。ここで、操舵角センサ１３は、ステアリングコラムシャフトの回転量を光学センサ等で検出するように構成されている。更に、ジャイロセンサ１４は車両２の旋回角を検出して、車両ＥＣＵ９に旋回角信号を出力する。尚、ジャイロセンサ１４としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ヨーレートセンサ１５は、車両２のヨーレート（方位角変化量）を検出する。更に、シフト位置検出センサ１６は、シフトレバーに内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。
その結果、車両ＥＣＵ９は車速センサ１２の出力信号に基づいて車両２の現在の車速を検出し、操舵角センサ１３の出力信号に基づいて車両２の舵角を検出する。また、ジャイロセンサ１４によって検出された旋回角を積分することにより、自車方位を検出することができる。また、ヨーレートセンサ１５によって車両２のヨーレートを検出する。更に、シフト位置検出センサ１６によって車両２の現在のシフト位置を検出する。
【００２８】
次に、第１実施形態に係る駐車区画監視装置１の制御系に係る構成について特に画像処理ＥＣＵ６を中心にして図２に基づき説明する。図２は第１実施形態に係る駐車区画監視装置１の制御系を模式的に示すブロック図である。
図２において、駐車区画監視装置１の制御系は、画像処理ＥＣＵ６と、車両ＥＣＵ９の各制御手段を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
【００２９】
また、画像処理ＥＣＵ６は、ＣＰＵ２１を核として構成されており、ＣＰＵ２１には記憶手段であるＲＯＭ２２及びＲＡＭ２３が接続されている。そして、ＲＯＭ２２には後述する画像処理プログラム、その他、液晶ディスプレイ５等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ２３はＣＰＵ２１で演算された各種データを一時的に記憶しておくメモリである。
そして、ＣＰＵ２１には、駐車区画線検出処理部３１、車両推定軌跡作成処理部３２、カメラ位置検出処理部３３、画像重畳処理部３４、重畳画像表示処理部３５、駐車区画線補完処理部３６、補完画像表示処理部３７、駐車区画線存在検出処理部３８を備え、過去画像ＤＢ８、車両ＥＣＵ９及び各周辺機器から取得した情報に基づいて、ＢＧＭ画像（図５参照）の表示を液晶ディスプレイ５を制御して行う。
【００３０】
ここで、駐車区画線検出処理部３１は、後方カメラ３が撮像したＢＧＭ画像を取り込んで解析処理を行い、路面上の駐車区画線を検出する。具体的には、駐車区画線が一般に白線で描かれていることを利用して、画像中の駐車区画線が描かれた路面と他の路面を輝度差に基づいて識別することにより行う。
また、車両推定軌跡作成処理部３２は、駐車時において液晶ディスプレイ５に後方カメラ３により車両２の後方環境が撮像されたＢＧＭ画像が表示される際に、車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測する。
また、カメラ位置検出処理部３３は、現在地検出部７によって検出された車両２の現在位置と自車方位と、地図ＤＢ４３に記憶された地図データから、後方カメラ３の地図データ上の座標と角度（視線方向）を検出する。
また、画像重畳処理部３４は、撮像したＢＧＭ画像から前記駐車区画線検出処理部３１によって検出された駐車区画線が不完全（砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている状態）であった場合に、過去画像ＤＢ８に記憶された過去ＢＧＭ画像から対応する過去ＢＧＭ画像（同一の駐車区画線を撮像したＢＧＭ画像）を当該ＢＧＭ画像に重畳する（スーパーインポーズする）ことにより完全な駐車区画線を生成する。更に、前記車両推定軌跡作成処理部３２によって推定された軌跡５６（図５参照）の画像をＢＧＭ画像に対して重畳することにより車両２の推定移動軌跡をＢＧＭ画像に描画する。
また、重畳画像表示処理部３５は、前記画像重畳処理部３４によって過去ＢＧＭ画像や軌跡の画像が重畳されたＢＧＭ画像や軌跡の画像を液晶ディスプレイ５に対して表示する。
また、駐車区画線補完処理部３６は、撮像したＢＧＭ画像から前記駐車区画線検出処理部３１によって検出された駐車区画線が不完全であって、且つ対応する過去ＢＧＭ画像が過去画像ＤＢ８に無い場合に、検出された駐車区画線に基づいて不完全な部分の駐車区画線を予測して描画した画像を当該ＢＧＭ画像に重畳することにより駐車区画線を補完する。
また、補完画像表示処理部３７は、前記駐車区画線補完処理部３６によって補完されたＢＧＭ画像を液晶ディスプレイ５に対して表示する。
更に、駐車区画線存在検出処理部３８は、前記駐車区画線検出処理部３１によって駐車区画線が検出されなかった場合において、過去画像ＤＢに記憶された過去ＢＧＭ画像から対応する過去ＢＧＭ画像（同一の駐車区画線を撮像したＢＧＭ画像）の存在を検索することによって、撮像したＢＧＭ画像からは検出ができなかった駐車区画線（塗装が剥がれて白線が完全に消えている状態や、砂や水溜りなどの障害物によって白線が全て隠れている状態の駐車区画線）の存在を検出する。
【００３１】
また、現在地検出部７は、自車の現在位置を検出するＧＰＳ４１と、車両２の絶対方位を検出する地磁気センサ４２と、地図データが格納された地図ＤＢ４３を有する。ここで、ＧＰＳ４１は、人工衛星によって発生させられた電波を受信することにより、ＧＰＳ４１の設置位置を地球上における車両の現在地として検出する。また、地磁気センサ４２は、地磁気を測定することによって自車方位を検出する。また、地図ＤＢ４３は、地図データが記憶されたハードディスクと、ハードディスクに記録された地図データを読み出すとともにハードディスクに所定のデータを書き込むためのドライバからなり、ＧＰＳ４１の検出結果に基づいて必要な地域の地図データを読み出す。尚、第１実施形態においては、地図ＤＢ４３の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリカード、磁気テープ、磁気ドラム、ＣＤ、ＭＤ、ＤＶＤ、光ディスク、ＭＯ、ＩＣカード、光カード等を外部記憶装置として使用することもできる。
【００３２】
また、過去画像ＤＢ８は、後方カメラ３により撮像した過去ＢＧＭ画像の画像データが、撮像した時点の後方カメラ３の位置座標と角度（視線方向）とともに随時記憶されるハードディスク等の記憶媒体である。そして、記憶された画像データは撮像中のＢＧＭ画像に表示された駐車区画線を補完するために、画像処理ＥＣＵ６によって適当な補正がなされた後に、撮像中のＢＧＭ画像に重畳されて液晶ディスプレイ５に表示される。
【００３３】
また、車両ＥＣＵ９には車速センサ１２と操舵角センサ１３とジャイロセンサ１４とヨーレートセンサ１５とシフト位置検出センサ１６が接続されており、各センサ１２、１３、１４、１５、１６から送信された速度信号、操舵角信号、旋回角信号、角速度信号、操作信号とに基づいて、車両２の現在の車速、舵角、自車方位、ヨーレート及びシフトレバーの位置を検出する。そして、当該検出結果は、画像処理ＥＣＵ６に送信されて、過去ＢＧＭ画像の補正や車両２の予測軌跡の算出に用いられる。
【００３４】
次に、図３に基づいて後方カメラ３で撮像されたＢＧＭ画像が随時記憶される過去画像ＤＢ８について説明する。図３は第１実施形態に係る過去画像ＤＢ８の記憶領域を示した図である。
【００３５】
図３に示すように過去画像ＤＢ８の記憶領域は、過去ＢＧＭ画像の画像データと、当該過去ＢＧＭ画像が撮像された時点の後方カメラ３の地図データ上における座標と、同じくその時点における後方カメラ３の視線方向の角度とから構成されている。例えば、画像Ａは座標（ｘ１，ｙ１）でθ１方向に撮像された過去ＢＧＭ画像であることを示す。また、画像Ｂは座標（ｘ２，ｙ２）でθ２方向に撮像された過去ＢＧＭ画像であることを示す。
【００３６】
次に、図４及び図５を用いて車両２の駐車時に後方カメラ３によって撮像されるＢＧＭ画像について具体例をあげて説明する。
図４は、図３の過去画像ＤＢ８に記録された過去ＢＧＭ画像の内、所定の画像Ａが撮像された時点における車両２及び後方カメラ３の状態を地図上に示した模式図、図５は図４の状態における車両２の後方カメラ３によって撮像されたＢＧＭ画像（画像Ａ）を示した模式図である。
【００３７】
図４に示すように、車両２が複数の駐車区画５１〜５３を有する駐車場５０において駐車を行う際には、車両２の後方環境を後方カメラ３によって撮像した図５のＢＧＭ画像５５が液晶ディスプレイ５に表示される。ここで、図５に示すように、ＢＧＭ画像５５には、駐車区画５１、５３に停止される他車両Ｃ１、Ｃ２や、駐車区画線Ｔが表示され、更に、車両ＥＣＵ９で検出された舵角やヨーレートに基づいて車両推定軌跡作成処理部３２によって推定された車両の移動軌跡５６が重複して表示される。
従って、運転者は液晶ディスプレイ５のＢＧＭ画像を視認することにより、車両２が駐車を行う駐車区画５２の周囲の状況の把握が容易となり、車両２が駐車区画５２に対してどのような角度で進入するのかに関して予め認識することができる。それによって、車両２の駐車操作を容易に行うことが可能となる。
【００３８】
一方、撮像されたＢＧＭ画像５５からは、駐車区画線検出処理部３１によって後述するように駐車区画を形成する駐車区画線Ｔが検出される。例えば、図５に示すＢＧＭ画像５５からは、車両２が駐車を行う駐車区画（車両２を進入させる駐車区画）５２を形成する右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢがそれぞれ検出される。そして、検出された各駐車区画線ＴＲ、ＴＬ、ＴＢの状態が不完全（砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている状態）であると判定された場合には、後述のようにＢＧＭ画像５５に対して過去ＢＧＭ画像を重畳させることにより、完全な駐車区画線Ｔを表示した重畳ＢＧＭ画像を液晶ディスプレイ５に表示させる。
【００３９】
更に、後述するように車両２が駐車を行う駐車区画５２に関する画像が過去画像ＤＢ８（図３）に存在しないと判定された場合には、後方カメラ３によって撮像した図５のＢＧＭ画像を過去ＢＧＭ画像として過去画像ＤＢ８に保存する。その際、過去画像ＤＢ８には、図３に示すように画像データとともに後方カメラ３の地図データ上における座標と、視線方向の角度が記録される。
【００４０】
ここで、後方カメラ３の座標と角度は、車両２の地図データ上における座標と自車方位によって算出されるものである。以下に、図４を用いてその算出方法について説明すると、先ず現在地検出部７のＧＰＳ４１、地磁気センサ４２及び地図ＤＢ４３の地図データによって車両２の地図データ上の座標位置と自車方位が検出される。その後、ＧＰＳ４１と後方カメラ３との位置関係によって、後方カメラ３の座標位置と角度が検出される。
具体的には、車両２の位置座標Ａ：（Ｘ１，Ｙ１）はＧＰＳ４１の設置位置なので、車両２の位置座標Ａ：（Ｘ１，Ｙ１）に対して自車方位の逆方向にＧＰＳ４１と後方カメラ３との距離分を加算又は減算することにより、後方カメラ３の位置座標ａ：（ｘ１，ｙ１）が算出される。また、車両２の自車方位角φ１に対して１８０度減算又は加算することによって、その逆方向をなす後方カメラ３の視線方向の角度θ１が算出される。
【００４１】
続いて、前記構成を有する第１実施形態に係る駐車区画監視装置１の画像処理ＥＣＵ６が実行するＢＧＭ画像の画像処理プログラムについて図６に基づき説明する。図６は第１実施形態に係る駐車区画監視装置１における画像処理プログラムのフローチャートである。尚、以下の図６乃至図９にフローチャートで示されるプログラムは画像処理ＥＣＵ６が備えているＲＯＭ２２やＲＡＭ２３に記憶されており、ＣＰＵ２１により実行される。
【００４２】
ここで、画像処理プログラムは、車両２の駐車を行う際において後方カメラ３により撮像したＢＧＭ画像から駐車区画線Ｔを検出するとともに、検出した駐車区画線Ｔが不完全（砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている状態）と判定された場合、又は存在すべき駐車区画線Ｔが検出できない（砂や水溜り等の障害物によって白線が完全に隠れた状態や、劣化によって白線の塗装が全て剥がれている状態）と判定された場合に、過去画像ＤＢ８に記録された過去ＢＧＭ画像を重畳するか、又は検出された部分の駐車区画線Ｔから不完全な部分の駐車区画線Ｔを予測して補完することにより、完全な状態の駐車区画線ＴをＢＧＭ画像中に表示するものである。
【００４３】
画像表示処理では、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ２１は現在地検出部７からの車両２の現在地情報と地図データに基づいて、車両２が予め地図データ上で特定されているいずれかの駐車場に進入したか否かを検出する。
【００４４】
そして、車両２が駐車場に進入したことを検出した場合（Ｓ１：ＹＥＳ）には、Ｓ２の判定処理へと移行し、一方、車両２が駐車場に進入したことを検出しない場合（Ｓ１：ＮＯ）には検出されるまで待機される。
【００４５】
次に、Ｓ２では、駐車場へ進入した車両２が駐車開始の操作を行ったか否かが判定される。ここで、駐車開始の操作を行ったか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｒ（リバース）」に位置されたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００４６】
そして、車両２において駐車開始の操作がなされたと判定された場合、即ち、シフトレバーが「Ｒ（リバース）」に位置すると検出された場合（Ｓ２：ＹＥＳ）には、Ｓ３の処理へと移行する。一方、駐車開始の操作がなされていないと判定された場合、即ち、シフトレバーが「Ｒ（リバース）」以外に位置されていると検出された場合（Ｓ２：ＮＯ）には、駐車開始の操作検出されるまで待機される。
尚、Ｓ２の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作がなされたか否かでは無く、当該ＢＧＭ表示ボタンがＯＮされたか否かの判定によって、Ｓ３以降の処理を開始することとしても良い。
【００４７】
続いて、Ｓ３では後方カメラ３によって車両２の後方環境の撮像が開始される。更に、Ｓ４においては、ＣＰＵ２１は後方カメラ３が撮像した画像を取り込んで解析処理を行い、路面上における車両２が駐車を行う駐車区画５２（図４参照）を形成する駐車区画線Ｔを検出する。具体的には、駐車区画線Ｔが一般に白線であることを用いて、ＢＧＭ画像中の駐車区画線Ｔが描かれた路面と他の路面を輝度差に基づいて識別することにより行う。
【００４８】
また、Ｓ５では前記Ｓ４の検出に基づいて駐車区画線Ｔが検出されたか否かが判定され、駐車区画線Ｔが検出されたと判定された場合（Ｓ５：ＹＥＳ）には、更に、検出された駐車区画線Ｔが完全な形状で検出されたか否かを判定する（Ｓ６）。
【００４９】
ここで、Ｓ６の駐車区画線Ｔが完全な形状で検出されたか否かの判定方法には様々な方法があるが、第１実施形態に係る駐車区画監視装置１では、車両２の駐車を行う駐車区画を形成する３辺の駐車区画線Ｔ（図４及び図５に示す右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢの３本）がそれぞれ途切れることなく直線状に検出されたか否かによって判定される。尚、他の判定方法としては、例えば、検出された駐車区画線Ｔによって駐車区画の４箇所の角が形成されているか否かを判定する方法や、駐車区画線Ｔの輪郭線が直線となっているか否かを判定する方法等がある。
【００５０】
そして、駐車区画線Ｔが完全な形状で検出されたと判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行し、後述のＢＧＭ画像記録処理が行われる。ＢＧＭ画像記録処理は、今回撮像されたＢＧＭ画像を過去ＢＧＭ画像として過去画像ＤＢ８に記録する処理であり、記録された過去ＢＧＭ画像は次回以降において駐車区画線Ｔが完全に検出されなかった場合（Ｓ６：ＮＯ）等の補完に使用される（図７参照）。
【００５１】
一方、駐車区画線Ｔが不完全な形状で検出されたと判定された場合（Ｓ６：ＮＯ）には、Ｓ８へと移行し、後述の駐車区画線補完処理が行われる。駐車区画線補完処理は、現在撮像中のＢＧＭ画像を過去画像ＤＢ８に記憶された過去ＢＧＭ画像を用いて補完し、完全な駐車区画線ＴをＢＧＭ画像中に表示する処理である（図８参照）。
【００５２】
それに対し、駐車区画線Ｔが検出されなかったと判定された場合（Ｓ５：ＮＯ）には、Ｓ９で後述の過去画像完全重畳処理が行われる。過去画像完全重畳処理は、撮像したＢＧＭ画像の位置に駐車区画線Ｔが実際に存在すると判定された場合に、現在撮像中のＢＧＭ画像に対して過去画像ＤＢ８に記憶された過去ＢＧＭ画像を重畳することにより、検出されなかった駐車区画線ＴをＢＧＭ画像中に表示する処理である（図９参照）。
【００５３】
次に、第１実施形態に係る駐車区画監視装置１において前記Ｓ７で行われるＢＧＭ画像記録処理のサブ処理について図７に基づき説明する。図７は第１実施形態に係る駐車区画監視装置１におけるＢＧＭ画像記録処理のサブ処理プログラムのフローチャートである。
【００５４】
ＢＧＭ画像記録処理においては、先ずＳ１１において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、前記Ｓ４で検出された駐車区画線Ｔと同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像があるかを検索する。
【００５５】
そして、Ｓ１２においては、前記Ｓ１１の検索の結果、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在するか否かを判定する。ここで、同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在すると判定された場合（Ｓ１２：ＹＥＳ）には、今回の処理において撮像したＢＧＭ画像は保存を行うことなく、液晶ディスプレイ５に対して後方カメラ３で撮像中のＢＧＭ画像の表示のみを行う（Ｓ１３）。尚、ＢＧＭ画像の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡５６の画像を重畳して表示させる（図５参照）。
【００５６】
次に、Ｓ１４では車両２の駐車操作が終了したか否かを判定する。ここで、駐車操作が終了したか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｐ（パーキング）」に位置され、且つエンジンがＯＦＦされたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００５７】
そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ１４：ＹＥＳ）には、Ｓ１５の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ１４：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ１４の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ１５以降の処理を開始することとしても良い。
【００５８】
また、Ｓ１５では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該ＢＧＭ画像記録処理を終了する。
【００５９】
一方、前記Ｓ１２において、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在しないと判定された場合（Ｓ１２：ＮＯ）には、今回の処理において撮像したＢＧＭ画像を新たに過去ＢＧＭ画像として保存するとともに、液晶ディスプレイ５に対して後方カメラ３で撮像中のＢＧＭ画像の表示を行う（Ｓ１６）。尚、ＢＧＭ画像の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を重畳して表示させる（図５参照）。
【００６０】
次に、Ｓ１７では車両２の駐車操作が終了したか否かを判定する。そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ１７：ＹＥＳ）には、Ｓ１８の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ１７：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ１７の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ１８以降の処理を開始することとしても良い。
【００６１】
また、Ｓ１８では、後方カメラ３による撮像及び画像の記録を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該ＢＧＭ画像記録処理を終了する。
【００６２】
次に、第１実施形態に係る駐車区画監視装置１において前記Ｓ８で行われる駐車区画線補完処理のサブ処理について図８に基づき説明する。図８は第１実施形態に係る駐車区画監視装置１における駐車区画線補完処理のサブ処理プログラムのフローチャートである。
【００６３】
駐車区画線補完処理においては、先ずＳ２１において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、前記Ｓ４で検出された駐車区画線Ｔと同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像があるかを検索する。
【００６４】
そして、Ｓ２２においては、前記Ｓ１１の検索の結果、過去画像ＤＢ８中にＢＧＭ画像に対して重畳可能な同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在するか否かを判定する。ここで、同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在すると判定された場合（Ｓ２２：ＹＥＳ）には、撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させるＢＧＭ画像重畳処理を行う（Ｓ２３）。
【００６５】
ここで、図１０及び図１１はステップ２３において撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
ＢＧＭ画像重畳処理では、先ず前記Ｓ２１で検索された該当する過去ＢＧＭ画像に対応付けて記憶された撮像時の後方カメラ３の座標位置ａ及び角度θ（図３参照）を、過去画像ＤＢ８から読み出す。更に、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´を現在地検出部７から読み出す。その後、図１０に示すように該当する過去ＢＧＭ画像５９を、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´に対応するように座標変換することにより視点変換を行う（図１０では座標位置ａ：（ｘ２，ｙ２）→（ｘ１，ｙ１）、角度θ：（θ２→θ１）の変換を行う）。それによって、過去ＢＧＭ画像５９で表示される駐車区画線Ｔ（右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢ）を、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´で撮像したと仮定した場合の駐車区画線Ｔを表示する過去ＢＧＭ画像６０が生成される。
【００６６】
次に、図１１に示すように視点変換した過去ＢＧＭ画像６０を現在撮像中のＢＧＭ画像６２に対して重畳させる。その際、過去ＢＧＭ画像６０は現在撮像中のＢＧＭ画像６２の駐車区画線Ｔ´に対して、視点変換した過去ＢＧＭ画像６０の駐車区画線Ｔの位置を合わせて重畳させる。それによって、現在撮像中の駐車区画線Ｔ´に不連続部分６１が存在する場合であっても、過去画像の駐車区画線Ｔによって正確な位置に完全な駐車区画線Ｔが表示された重畳ＢＧＭ画像６３が生成される。
【００６７】
続いて、Ｓ２４では前記Ｓ２３で生成された重畳ＢＧＭ画像６３を液晶ディスプレイ５に対して表示する。尚、重畳ＢＧＭ画像６３の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を更に重畳して表示させる（図５参照）。
【００６８】
次に、Ｓ２５では車両２の駐車操作が終了したか否かを判定する。ここで、駐車操作が終了したか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｐ（パーキング）」に位置され、且つエンジンがＯＦＦされたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００６９】
そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ２５：ＹＥＳ）には、Ｓ２６の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ２５：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ２５の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ２６以降の処理を開始することとしても良い。
【００７０】
また、Ｓ２６では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該駐車区画線補完処理を終了する。
【００７１】
一方、前記Ｓ２２において、過去画像ＤＢ８中にＢＧＭ画像に対して重畳可能な同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在しないと判定された場合（Ｓ２２：ＮＯ）には、更に撮像中のＢＧＭ画像に対して不完全部分の駐車区画線Ｔを予測して描画することにより過去ＢＧＭ画像を補完する描画処理が可能か否かが判定される（Ｓ２７）。ここで、描画処理が可能か否かは検出された駐車区画線Ｔの状態に基づいて判定され、例えば図１２に示すように直線や角部の一部が欠いている状態の駐車区画線Ｔが検出された場合には、描画処理が可能であると判定される。また、逆に直線や角部の一部のみしか検出されない場合には、描画処理が不可能であると判定される。
【００７２】
そして、描画処理が可能であると判定された場合（Ｓ２７：ＹＥＳ）には、撮像中のＢＧＭ画像に対して不完全部分の駐車区画線Ｔを予測して描画することにより過去ＢＧＭ画像を補完する駐車区画線描画処理を行う（Ｓ２８）。
【００７３】
ここで、図１２（Ａ）及び（Ｂ）はステップ２８において撮像中のＢＧＭ画像に対して不完全部分の駐車区画線Ｔを描画して補完する際の具体的処理の手順を示した模式図である。
駐車区画線描画処理では、先ず撮像中のＢＧＭ画像７０、７２に表示される駐車区画線Ｔの内、検出可能な部分の駐車区画線Ｔから不完全部分の駐車区画線Ｔの形状を予測する。
【００７４】
例えば、図１２の（Ａ）のＢＧＭ画像７０では、左側駐車区画線ＴＬの略中間位置の一部が欠けた不完全部分６５が存在し、不完全部分６５は、その両側に位置する左側駐車区画線ＴＬを延長した（連結した）ものであることが予測される。
また、図１２の（Ｂ）のＢＧＭ画像７２では、左側駐車区画線ＴＬの略中間位置から前方への不完全部分６７が存在し、不完全部分６７は右側駐車区画線ＴＲと同じ長さだけ残りの左側駐車区画線ＴＬを延長したものであることが予測される。
【００７５】
そして、不完全部分の駐車区画線Ｔの形状予測に基づいて、不完全部分に該当する駐車区画線６６、６８を描画し、現在撮像中のＢＧＭ画像６２に対して重畳させる。それによって、現在撮像中の駐車区画線Ｔに不完全部分６５、６７が存在する場合であっても、新たに描画した駐車区画線６６、６８によって完全な駐車区画線Ｔが表示された補完ＢＧＭ画像７１、７３が生成される。
【００７６】
続いて、Ｓ２９では前記Ｓ２８で生成された補完ＢＧＭ画像７１、７３を液晶ディスプレイ５に対して表示する。尚、補完ＢＧＭ画像７１、７３の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を更に重畳して表示させる（図５参照）。
【００７７】
一方、描画処理が不可能であると判定された場合（Ｓ２７：ＮＯ）には、駐車区画線描画処理を行うことなく、液晶ディスプレイ５に対して後方カメラ３において撮像中のＢＧＭ画像と推定移動軌跡の表示のみを行う（Ｓ２９）。
【００７８】
次に、Ｓ３０では車両２の駐車操作が終了したか否かを判定する。そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ３０：ＹＥＳ）には、Ｓ３１の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ３０：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ３０の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ３１以降の処理を開始することとしても良い。
【００７９】
また、Ｓ３１では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該駐車区画線補完処理を終了する。
【００８０】
次に、第１実施形態に係る駐車区画監視装置１において前記Ｓ９で行われる過去画像完全重畳処理のサブ処理について図９に基づき説明する。図９は第１実施形態に係る駐車区画監視装置１における過去画像完全重畳処理のサブ処理プログラムのフローチャートである。
【００８１】
過去画像完全重畳処理においては、先ずＳ４１において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）を検索し（Ｓ４１）、撮像したＢＧＭ画像の路面位置に駐車区画線Ｔが実際に存在するか否かを判定する（Ｓ４２）。具体的には、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、駐車区画線Ｔが検出できなかった同一の路面を撮像した過去ＢＧＭ画像があるかを検索する。
【００８２】
そして、撮像したＢＧＭ画像の路面位置に駐車区画線Ｔが実際には存在すると判定された場合、即ち、過去ＢＧＭ画像の中に同一の路面で駐車区画線Ｔを撮像した画像が存在した場合（Ｓ４２：ＹＥＳ）には、撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させるＢＧＭ画像完全重畳処理を行う（Ｓ４３）。
【００８３】
ここで、図１３はステップ４３において撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
ＢＧＭ画像完全重畳処理では、先ず前記Ｓ２３の画像重畳処理と同様にして、該当する過去ＢＧＭ画像を、視点変換し、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´で撮像したと仮定した場合の駐車区画線Ｔを表示する過去ＢＧＭ画像６０を生成する。尚、過去ＢＧＭ画像６０の生成に関しては既に図１０を用いて詳細に説明したので、ここではその説明は省略する。
【００８４】
続いて、図１３に示すように視点変換した過去ＢＧＭ画像６０を現在撮像中のＢＧＭ画像７４に対して重畳させる。その際、過去ＢＧＭ画像６０は現在撮像中のＢＧＭ画像７４に対して、視点変換した過去ＢＧＭ画像６０の駐車区画線Ｔの位置を、検出されなかった駐車区画線の予測位置７６に合わせて重畳させる。それによって、現在撮像中のＢＧＭ画像に駐車区画線Ｔが検出されなかった場合であっても、過去画像の駐車区画線Ｔによって完全な駐車区画線Ｔが表示された重畳ＢＧＭ画像７５が生成される。
【００８５】
続いて、Ｓ４４では前記Ｓ４３で生成された重畳ＢＧＭ画像７５を液晶ディスプレイ５に対して表示する。尚、重畳ＢＧＭ画像７５の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を更に重畳して表示させる（図５参照）。
【００８６】
次に、Ｓ４５では車両２の駐車操作が終了したか否かを判定する。ここで、駐車操作が終了したか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｐ（パーキング）」に位置され、且つエンジンがＯＦＦされたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００８７】
そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ４５：ＹＥＳ）には、Ｓ４６の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ４５：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ４５の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ４６以降の処理を開始することとしても良い。
【００８８】
また、Ｓ４６では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該過去画像完全重畳処理を終了する。
【００８９】
一方、撮像したＢＧＭ画像の位置には駐車区画線Ｔが存在すると判定されなかった場合、即ち、過去ＢＧＭ画像の中に同じ路面で駐車区画線Ｔを撮像した画像が存在しない場合（Ｓ４２：ＮＯ）には、液晶ディスプレイ５に対して後方カメラ３において撮像中のＢＧＭ画像の表示のみを行う（Ｓ４７）。尚、ＢＧＭ画像の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を重畳して表示させる（図５参照）。
【００９０】
次に、Ｓ４８では車両２の駐車操作が終了したか否かを判定する。そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ４８：ＹＥＳ）には、Ｓ４９の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ４８：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ４８の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ４９以降の処理を開始することとしても良い。
【００９１】
また、Ｓ４９では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該過去画像完全重畳処理を終了する。
【００９２】
以上詳細に説明した通り、第１実施形態に係る駐車区画監視装置１では、駐車を行う際に後方カメラ３によって撮像された駐車区画線Ｔが不完全であると判定された場合（Ｓ６：ＮＯ）に、過去画像ＤＢ８に予め記憶された（Ｓ１６）過去ＢＧＭ画像から同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像を抽出し（Ｓ１１）、現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像６２に重畳させる（図１１参照）ので、駐車区画線Ｔの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な駐車区画線Ｔを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像された駐車区画線Ｔが不完全であると判定され（Ｓ６：ＮＯ）、且つ過去画像ＤＢ８に予め記憶された（Ｓ１６）過去ＢＧＭ画像から同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像がない場合（Ｓ２２：ＮＯ）であっても、検出された駐車区画線Ｔから不完全部分６５、６７の駐車区画線の形状を予測して、不完全部分に該当する駐車区画線６６、６８を描画し、現在撮像中のＢＧＭ画像６２に対して重畳させる（図１２（Ａ）及び（Ｂ）参照）ので、駐車区画線Ｔの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な駐車区画線Ｔを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像されたＢＧＭ画像上に駐車区画線Ｔが検出されなかった場合（Ｓ５：ＮＯ）でも、過去画像ＤＢ８に予め記憶された（Ｓ１６）過去ＢＧＭ画像の中に、検出されなかった駐車区画線Ｔを撮像した過去ＢＧＭ画像がある場合には（Ｓ２２：ＹＥＳ）、該当する過去ＢＧＭ画像を現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像７４に重畳させる（図１３参照）ので、駐車区画線Ｔの全部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な駐車区画線Ｔを液晶ディスプレイ５上に表示することが可能となる。
従って、どのような状況においても駐車区画線Ｔを完全な形状で表示させ、運転者の駐車操作を容易に行うことを可能とする。
【００９３】
（第２実施形態）
次に、第２実施形態に係る駐車区画監視装置について図１４乃至図１７に基づいて説明する。尚、以下の説明において上記図１乃至図１３の第１実施形態に係る駐車区画監視装置１の構成と同一符号は、前記第１実施形態に係る駐車区画監視装置１等の構成と同一あるいは相当部分を示すものである。
【００９４】
この第２実施形態に係る駐車区画監視装置の概略構成は、第１実施形態に係る駐車区画監視装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る駐車区画監視装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る駐車区画監視装置１が、前記Ｓ４で車両２が駐車を行う（車両２を進入させる）駐車区画５２を形成する駐車区画線Ｔ（具体的には、右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢの３本）を検出し、不完全であった場合に過去ＢＧＭ画像を重畳させること等によって駐車区画線Ｔを補完していたのに対し、第２実施形態に係る駐車区画監視装置では、車両２が駐車を行う（車両２を進入させる）駐車区画５２を形成する駐車区画線Ｔとともに駐車区画５２の後方（車両２の後進方向）に位置する後方駐車区画を形成する後方駐車区画線を検出し、不完全であった場合に過去ＢＧＭ画像を重畳させること等によって当該後方駐車区画線を補完する点で前記第１実施形態に係る駐車区画監視装置１と異なっている。
【００９５】
先ず、第２実施形態に係る駐車区画監視装置の画像処理ＥＣＵ６が実行するＢＧＭ画像の画像処理プログラムについて図１４に基づき説明する。図１４は第２実施形態に係る駐車区画監視装置における画像処理プログラムのフローチャートである。尚、以下の図１４にフローチャートで示されるプログラムは画像処理ＥＣＵ６が備えているＲＯＭ２２やＲＡＭ２３に記憶されており、ＣＰＵ２１により実行される。
【００９６】
ここで、Ｓ１０１乃至Ｓ１０３に係る処理は、前記第１実施形態に係る画像処理プログラムのＳ１乃至Ｓ３と同様の処理であるのでその説明を省略する。
先ずＳ１０４では、ＣＰＵ２１は後方カメラ３が撮像した画像を取り込んで解析処理を行い、路面上における車両２が駐車を行う駐車区画５２の駐車区画線Ｔ（図１５に示す左側駐車区画線ＴＬ、右側駐車区画線ＴＲ、奥側駐車区画線ＴＢ）と、駐車区画５２の後方（車両２の後進方向に）に隣接する後方駐車区画１０１（図１５参照）の後方駐車区画線Ｕ（図１５に示す左側後方駐車区画線ＵＬ、右側後方駐車区画線ＵＲ）を検出する。尚、Ｓ１０４は隣接駐車区画線検出処理に相当する。
また、図１５は後方駐車区画線Ｕを有する所定の駐車場１０２に進入した車両２と、その際に後方カメラ３により撮像されるＢＧＭ画像１００を示した模式図である。
【００９７】
更に、Ｓ１０５では前記Ｓ１０４の検出に基づいて後方駐車区画１０１を形成する後方駐車区画線Ｕが検出されたか否かが判定され、後方駐車区画線Ｕが検出されたと判定された場合（Ｓ１０５：ＹＥＳ）には、更に、検出された後方駐車区画線Ｕが完全な形状で検出されたか否かを判定する（Ｓ１０６）。
【００９８】
ここで、Ｓ１０６の後方駐車区画線Ｕが完全な形状で検出されたか否かの判定方法には様々な方法があるが、第２実施形態に係る駐車区画監視装置では、後方駐車区画１０１を形成する２辺の後方駐車区画線Ｕ（図１５に示す右側後方駐車区画線ＵＲ、左側後方駐車区画線ＵＬの２本）がそれぞれ途切れることなく直線状に検出されたか否かによって判定される。
【００９９】
そして、後方駐車区画線Ｕが完全な形状で検出されたと判定された場合（Ｓ１０６：ＹＥＳ）には、後方駐車区画線Ｕの補完等を特に行うことなく、Ｓ５へと移行し、第１実施形態に係る駐車区画監視装置１と同様に車両２が駐車を行う駐車区画５２の駐車区画線Ｔが完全か否かの判定が行われ、判定結果に基づいて駐車区画線Ｔの補完等が行われる。
【０１００】
一方、後方駐車区画線Ｕが不完全な形状で検出されたと判定された場合（Ｓ１０６：ＮＯ）には、Ｓ１０７へと移行し、現在撮像中のＢＧＭ画像を過去画像ＤＢ８に記憶された過去ＢＧＭ画像を用いて補完し、完全な後方駐車区画線ＵをＢＧＭ画像中に表示する後方駐車区画線補完処理が行われる。ここで、後方駐車区画線補完処理は、過去画像ＤＢ８に記憶された過去ＢＧＭ画像を重畳させることにより完全な後方駐車区画線Ｕを生成するか、又は過去画像ＤＢ８に同一の後方駐車区画線Ｕを撮像した画像が無いときには不完全部分の後方駐車区画線Ｕを予測して描画して後方駐車区画線Ｕを補完する処理であり、第１実施形態に係る駐車区画監視装置１のＳ２１、Ｓ２２、Ｓ２３及びＳ２８の処理に相当する処理を行う。
具体的には、先ず、同一の後方駐車区画１０１を撮像した過去ＢＧＭ画像があるか否かを検索し、過去ＢＧＭ画像が存在する場合にはその画像を視点変換し、重畳させることによって完全な後方駐車区画線Ｕを有する補完ＢＧＭ画像を生成する。一方、過去ＢＧＭ画像が存在しない場合には、撮像中のＢＧＭ画像に表示される後方駐車区画線Ｕの内、検出可能な部分の後方駐車区画線Ｕから不完全部分の後方駐車区画線Ｕの形状を予測して、描画した後方駐車区画線Ｕの画像を重畳させることによって完全な後方駐車区画線Ｕを有する補完ＢＧＭ画像を生成する。
【０１０１】
ここで、図１６はステップ１０７において撮像中のＢＧＭ画像に対して不完全部分の後方駐車区画線Ｕを補完する際の一例を示した模式図である。
例えば、図１６のＢＧＭ画像１０８では、他車両１１０によって左側後方駐車区画線ＵＬ及び右側後方駐車区画線ＵＲの略中間位置から前方への不完全部分１０６、１０７がそれぞれ存在するので、左側後方駐車区画線ＵＬ及び右側後方駐車区画線ＵＲをそれぞれ所定長さ延長することによって完全な後方駐車区画線Ｕを有する補完ＢＧＭ画像１０９とする。また、同一の後方駐車区画１０１を撮像した過去ＢＧＭ画像がある場合には、その画像を視点変換し、重畳させることによって完全な後方駐車区画線Ｕを有する重畳ＢＧＭ画像１０９とする。
【０１０２】
その後、Ｓ５へと移行し、第１実施形態に係る駐車区画監視装置１と同様に車両２が駐車を行う駐車区画５２の駐車区画線Ｔが完全か否かの判定が行われ、判定結果に基づいて駐車区画線Ｔの補完等が行われる。
【０１０３】
一方、後方駐車区画線Ｕが検出されなかったと判定された場合（Ｓ１０５：ＮＯ）には、Ｓ１０８において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）を検索し（Ｓ１０８）、撮像したＢＧＭ画像の位置に後方駐車区画線Ｕが実際に存在するか否かを判定する（Ｓ１０９）。具体的には、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、後方駐車区画線Ｕが検出されなかった同一の路面を撮像した過去ＢＧＭ画像があるかを検索する。
【０１０４】
そして、撮像したＢＧＭ画像の位置に後方駐車区画線Ｕが実際には存在すると判定された場合、即ち、過去ＢＧＭ画像の中に同じ路面で後方駐車区画線Ｕを撮像した画像が存在した場合（Ｓ１０９：ＹＥＳ）には、撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させるＢＧＭ画像重畳処理を行う（Ｓ１１０）。このＳ１１０のＢＧＭ画像重畳処理に関しては、前記第１実施形態に係るＳ４３の処理（図１３参照）と同様であり、その説明は省略する。
【０１０５】
一方、撮像したＢＧＭ画像の位置には後方駐車区画線Ｕが存在すると判定されなかった場合、即ち、過去ＢＧＭ画像の中に同じ路面で後方駐車区画線Ｕを撮像した画像が存在しない場合（Ｓ１０９：ＮＯ）には、後方駐車区画線Ｕに相当する線を新たに追加する後方駐車区画線延長処理を行う。
【０１０６】
ここで、図１７はステップ１１１において撮像中のＢＧＭ画像に対して新たに後方駐車区画線Ｕに相当する線を追加する際の一例を示した模式図である。
後方駐車区画線補完処理では、撮像中のＢＧＭ画像１１１において検出される車両２が駐車を行う駐車区画線Ｔの左側駐車区画線ＴＬ及び右側駐車区画線ＴＲを後方に所定長さ延長させることにより後方駐車区画線Ｕに相当する区画線１１５、１１６を描画する。それによって、現在撮像中のＢＧＭ画像１１１に駐車区画線Ｔが検出されなかった場合であっても、後方駐車区画線Ｕに相当する区画線１１５、１１６が表示されたＢＧＭ画像１１２が生成される。それによって、運転者は駐車操作を行う際に、液晶ディスプレイ５に表示された区画線１１５、１１６を基準にすることにより、駐車区画線Ｔに対して車両２の車体を傾けることなく、適切な位置に駐車させることが容易に可能となる。
【０１０７】
その後、Ｓ５へと移行し、第１実施形態に係る駐車区画監視装置１と同様に車両２が駐車を行う駐車区画５２の駐車区画線Ｔが完全か否かの判定が行われ、判定結果に基づいて駐車区画線Ｔの補完等が行われる。
【０１０８】
以上詳細に説明した通り、第２実施形態に係る駐車区画監視装置では、駐車を行う際に後方カメラ３によって撮像された後方駐車区画線Ｕが不完全であると判定された場合（Ｓ１０６：ＮＯ）に、過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像から同一の後方駐車区画線Ｕを撮像した過去ＢＧＭ画像を抽出し、現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像に重畳させる（Ｓ１０８）ので、後方駐車区画線Ｕの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な後方駐車区画線Ｕを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像された後方駐車区画線Ｕが不完全であると判定され（Ｓ１０６：ＮＯ）、且つ過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像から同一の後方駐車区画線Ｕを撮像した過去ＢＧＭ画像がない場合であっても、検出された後方駐車区画線Ｕから不完全部分の駐車区画線の形状を予測して、不完全部分に該当する後方駐車区画線Ｕを描画し、現在撮像中のＢＧＭ画像６２に対して重畳させる（Ｓ１０８）ので、後方駐車区画線Ｕの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な後方駐車区画線Ｕを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像されたＢＧＭ画像上に後方駐車区画線Ｕが検出されなかった場合（Ｓ１０５：ＮＯ）でも、過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像の中に、検出されなかった後方駐車区画線Ｕを撮像した過去ＢＧＭ画像がある場合には（Ｓ１０９：ＹＥＳ）、該当する過去ＢＧＭ画像を現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像に重畳させる（Ｓ１１０）ので、後方駐車区画線Ｕの全部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な後方駐車区画線Ｕを液晶ディスプレイ５上に表示することが可能となる。
従って、どのような状況においても後方駐車区画線Ｕを完全な形状で表示させ、運転者は表示された後方駐車区画線Ｕを基準とすることにより、駐車区画線Ｔに対する車両２の傾斜を無くして駐車操作を容易に行うことが可能となる。
更に、元々後方駐車区画線Ｕがない路面に対しても、車両２が駐車を行う駐車区画線Ｔから、新たに後方駐車区画線Ｕに相当する区画線１１５、１１６を延長して表示させるので、区画線１１５、１１６を基準にすることにより駐車区画線Ｔに対して車両２の車体を傾けることなく、適切な位置に容易に駐車させることが可能となる。
【０１０９】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第１実施形態及び第２実施形態では、駐車区画線Ｔが完全に検出された場合にのみ画像データを過去画像ＤＢ８に記録し、不完全な駐車区画線Ｔが検出された場合の駐車区画線の補完に使用することとしているが、完全に検出されない場合でも画像データの記録を行い、より完全に近い駐車区画線Ｔが検出された場合に、過去画像ＤＢ８に記録された画像データを書き換えるようにしても良い。
【０１１０】
また、第１実施形態及び第２実施形態では、前記図８の駐車区画線補完処理に関して、先ず過去画像ＤＢを検索し（Ｓ２１）、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在する場合（Ｓ２２：ＹＥＳ）に、ＢＧＭ画像重畳処理（Ｓ２３）を行い、過去ＢＧＭ画像が存在しない場合（Ｓ２２：ＮＯ）に、更に描画処理が可能か否かを判定（Ｓ２７）して駐車区画線描画処理（Ｓ２８）を行うこととしているが、Ｓ２２とＳ２７の判定順序は逆でも良い。例えば、過去ＢＧＭ画像の存在を判定する前に先ず描画処理が可能か否かを判定し（Ｓ２７）、可能な場合（Ｓ２７：ＹＥＳ）に駐車区画線描画処理（Ｓ２８）を行い、不可能である場合（Ｓ２７：ＮＯ）に更に過去ＢＧＭ画像が存在するか否かを判定（Ｓ２２）してＢＧＭ画像重畳処理（Ｓ２３）を行うようにしても良い。
【０１１１】
また、第１実施形態及び第２実施形態では、前記図８の駐車区画線補完処理に関して、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在する場合（Ｓ２２：ＹＥＳ）に、ＢＧＭ画像重畳処理（Ｓ２３）を行い、過去ＢＧＭ画像が存在しない場合（Ｓ２２：ＮＯ）に、更に描画処理が可能か否かを判定（Ｓ２７）して駐車区画線描画処理（Ｓ２８）を行うこととしているが、Ｓ２２の判定処理においては、同一の駐車区画線Ｔを撮像した過去画像があるか否かを判定するのではなく、検出された駐車区画線Ｔと同一駐車場内の他の駐車区画線Ｔを撮像した過去画像があるか否かを判定することとしても良い。基本的に同一の駐車場は同一形状の駐車区画線Ｔを有するためである。
【図面の簡単な説明】
【０１１２】
【図１】第１実施形態に係る駐車区画監視装置の概略構成図である。
【図２】第１実施形態に係る駐車区画監視装置の制御系を模式的に示すブロック図である。
【図３】第１実施形態に係る過去画像ＤＢ８の記憶領域を示した図である。
【図４】過去画像ＤＢに記録された過去ＢＧＭ画像の内、所定の画像Ａが撮像された時点における車両及び後方カメラの状態を地図上に示した模式図である。
【図５】図４の状態における車両の後方カメラによって撮像されたＢＧＭ画像を示した模式図である。
【図６】第１実施形態に係る駐車区画監視装置における画像処理プログラムのフローチャートである。
【図７】第１実施形態に係る駐車区画監視装置におけるＢＧＭ画像記録処理のサブ処理プログラムのフローチャートである。
【図８】第１実施形態に係る駐車区画監視装置における駐車区画線補完処理のサブ処理プログラムのフローチャートである。
【図９】第１実施形態に係る駐車区画監視装置における過去画像完全重畳処理のサブ処理プログラムのフローチャートである。
【図１０】撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
【図１１】撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
【図１２】（Ａ）及び（Ｂ）はステップ２８において撮像中のＢＧＭ画像に対して不完全部分の駐車区画線を描画して補完する際の具体的処理の手順を示した模式図である。
【図１３】ステップ４３において撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
【図１４】第２実施形態に係る駐車区画監視装置における画像処理プログラムのフローチャートである。
【図１５】後方駐車区画線を有する駐車場に進入した車両と、その際に後方カメラにより撮像されるＢＧＭ画像を示した模式図である。
【図１６】ステップ１０７において撮像中のＢＧＭ画像に対して不完全部分の後方駐車区画線を補完する際の一例を示した模式図である。
【図１７】ステップ１１１において撮像中のＢＧＭ画像に対して新たに後方駐車区画線を追加する際の一例を示した模式図である。
【符号の説明】
【０１１３】
１ 駐車区画監視装置
２ 車両
３ 後方カメラ
５ 液晶ディスプレイ
７ 現在地検出部
８ 過去画像ＤＢ
９ 車両ＥＣＵ
２１ ＣＰＵ
３１ 駐車区画線検出処理部
３２ 車両推定軌跡作成処理部
３３ カメラ位置検出処理部
３４ 画像重畳処理部
３５ 重畳画像表示処理部
３６ 駐車区画線補完処理部
３７ 補完画像表示処理部
３８ 駐車区画線存在検出処理部
４１ ＧＰＳ
４２ 地磁気センサ
５２ 駐車区画
Ｔ 駐車区画線
Ｕ 後方駐車区画線
【技術分野】
【０００１】
本発明は、車両が駐車を行う際に撮像手段により撮像した画像を画像表示手段に表示することにより駐車区画を監視する駐車区画監視装置に関し、特に、撮像した画像から検出された駐車区画線が不完全である場合に、過去に撮像手段により撮像された過去画像を重畳して表示することにより、様々な状況下において正確な駐車区画線を表示することが可能となり、運転者の駐車操作を容易に行うことを可能とした駐車区画監視装置に関するものである。
【背景技術】
【０００２】
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する周辺監視装置を搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、周辺監視装置はこれらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うものである。
このような周辺監視装置は、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。
【０００３】
ここで、特に前記周辺監視装置の中には、駐車時に車両の後方環境を撮像したカメラ画像を表示して、車両に対する運転者の駐車操作を支援する駐車支援装置がある。そのような駐車支援装置では、車両に対して後進方向側の状況を画像表示することによって、車両に対する運転者の駐車操作を支援するものや、ステアリング舵角センサからの信号に基づいて車両の進行予測曲線を算出し、算出した進行予測曲線を、上述したように撮像したカメラ画像に重畳して表示することによって、車両に対する運転者の駐車操作を支援するものが知られている。しかし、そのような駐車支援装置においては、夜間の駐車操作や、屋内駐車場への駐車操作など、運転者が比較的低照度条件下で駐車操作を行う場合、カメラ画像が暗く、車両の後方環境に対する運転者の視認性が低下するという問題があった。そこで、例えば特開２００３−６３３３９号公報には、カメラによって撮像された画像に基づいて駐車枠の輪郭を検出し、検出された駐車枠の輪郭に基づく図形をカメラによって撮像された駐車枠の画像に重畳したり、駐車枠の枠線を延長したりすることにより、カメラ画像内での車両の周辺環境に対する運転者の視認性を向上することが可能な駐車支援装置が記載されている。
【特許文献１】特開２００３−６３３３９号公報（第４頁〜第５頁、図１〜図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した特許文献１に記載された駐車支援装置は、表示画像の一部を加工することによって表示画面が暗い状態で見難くなっていた駐車枠の存在を認識し易くするものであり、駐車枠が途中で途切れている等の不完全な形状であったとしても、それ自体の形状を修正することはなかった。しかしながら、駐車枠を形成する枠線に関してはアスファルトやコンクリートの上に塗装されることにより描かれているのが一般であり、長年の使用により塗装が剥げていたり、また、水溜りや他車両などの障害物によって認識できなくなっていることが頻繁にある。更に、駐車枠の形状は各駐車場でそれぞれ異なっており、輪郭に基づく画像を重畳して表示したり、単に枠線を延長させるのみでは運転者に正しい枠線を認識させることができなかった。
【０００５】
本発明は前記従来における問題点を解消するためになされたものであり、撮像した画像から検出された駐車区画線が不完全である場合に、過去に撮像手段により撮像された過去画像を重畳して表示するので、様々な状況下において正確な駐車区画線を表示することが可能となり、運転者の駐車操作を容易に行うことを可能とした駐車区画監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するため本願の請求項１に駐車区画監視装置は、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画の駐車区画線を検出する駐車区画線検出手段と、前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、前記駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、前記画像重畳手段によって重畳された画像を前記画像表示手段に表示する重畳画像表示手段と、を有することを特徴とする。
【０００７】
また、請求項２に係る駐車区画監視装置は、請求項１に記載の駐車区画監視装置において、前記車両の現在地を検出する現在地検出手段と、前記車両の進行方向を検出する自車方向検出手段と、前記現在地検出手段及び前記自車方向検出手段の検出結果に基づいて前記撮像手段の現在位置及び視線方向を特定する撮像手段特定手段と、を有し、前記過去画像記憶手段には、前記過去画像とともに過去画像を撮像した際の前記撮像手段の現在位置及び視線方向を特定する特定情報が記憶され、前記画像重畳手段は、前記過去画像記憶手段に記憶された前記特定情報に基づいて前記過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする。
ここで、「前記撮像手段の現在位置及び視線方向を特定する情報」とは、撮像手段の現在位置及び視線方向を直接的に特定する撮像手段の具体的な座標や角度の情報でも良いし、車両の現在位置及び進行方向等の間接的に撮像手段の現在位置及び視線方向を特定できる情報であっても良い。
【０００８】
また、請求項３に係る駐車区画監視装置は、請求項１又は請求項２に記載の駐車区画監視装置において、前記駐車区画線検出手段によって検出された駐車区画線が不完全であって、且つ前記過去画像記憶手段に前記画像重畳手段により重畳可能な過去画像が記憶されていない場合に、検出された前記駐車区画線に基づいて前記撮像手段により撮像された画像の駐車区画線を補完する駐車区画線補完手段と、前記駐車区画線補完手段によって補完された画像を前記画像表示手段に表示する補完画像表示手段と、を有することを特徴とする。
ここで、「重畳可能な過去画像が記憶されていない場合」とは、同一形状を有する駐車区画線を撮像した過去画像が無いことをいい、駐車区画線検出手段によって検出された駐車区画線と同一の駐車区画線を撮像した過去画像がない場合の他に、駐車区画線検出手段によって検出された駐車区画線と同一の駐車場内の他の駐車区画線を撮像した過去画像がない場合としても良い。
【０００９】
また、請求項４に係る駐車区画監視装置は、請求項１乃至請求項３のいずれかに記載の駐車区画監視装置において、前記駐車区画線検出手段により前記車両が駐車を行う駐車区画の駐車区画線が検出されなかった場合に、前記過去画像記憶手段に記憶された過去画像と前記撮像手段の現在位置及び視線方向を特定する情報とに基づいて駐車区画線が存在することを検出する駐車区画線存在検出手段を有し、前記画像重畳手段は、前記駐車区画線存在検出手段によって前記駐車区画線が存在することが検出された場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする。
【００１０】
また、請求項５に係る駐車区画監視装置は、請求項１乃至請求項４のいずれかに記載の駐車区画監視装置において、前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段を備え、前記画像重畳手段は、前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする。
【００１１】
また、請求項６に係る駐車区画監視装置は、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段と、前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、を有することを特徴とする。
【００１２】
更に、請求項７に係る駐車区画監視装置は、請求項５又は請求項６に記載の駐車区画監視装置において、前記隣接駐車区画は、前記車両が駐車を行う駐車区画の後方に位置する駐車区画であることを特徴とする。
【発明の効果】
【００１３】
前記構成を有する請求項１の駐車区画監視装置では、撮像手段により撮像した画像に基づいて、車両が駐車を行う駐車区画の駐車区画線を検出し、検出された駐車区画線が不完全である場合には、記憶された過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって駐車区画線が完全な形状で検出できない場合であっても、完全な駐車区画線を表示することが可能となる。従って、運転者は表示された駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１４】
また、請求項２の駐車区画監視装置では、記憶された過去画像を撮像した際の撮像手段の現在位置と視線方向に基づいて過去画像を重畳させるので、視界不良、障害物等の様々な要因によって駐車区画線が完全な形状で検出できない場合であっても、より正確な位置に駐車区画線を表示することが可能となる。従って、運転者は、より正確な駐車操作を行うことが可能となる。
【００１５】
また、請求項３の駐車区画監視装置では、駐車区画線検出手段によって検出された駐車区画線が不完全であって、且つ画像重畳手段により重畳可能な過去画像が記憶されていない場合に、検出された駐車区画線に基づいて駐車区画線を補完し、その画像を画像表示手段に表示させるので、視界不良、障害物等の様々な要因によって駐車区画線が完全な形状で検出できない場合であっても、完全な駐車区画線を表示することが可能となる。従って、運転者は表示された駐車区画線を参照することにより、駐車操作を容易に行うことができる。また、過去画像を必要としないので、初めて駐車を行う場所においても、完全な駐車区画線を表示することが可能となる。
【００１６】
また、請求項４の駐車区画監視装置では、車両が駐車を行う駐車区画の駐車区画線が検出されなかった場合であっても、駐車区画線が存在する場合においては、過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって駐車区画線が全く検出できない場合であっても、完全な駐車区画線を表示することが可能となる。従って、運転者は表示された駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１７】
また、請求項５の駐車区画監視装置では、撮像手段により撮像した画像に基づいて、車両が駐車を行う駐車区画に隣接した隣接駐車区画線を検出し、検出された隣接駐車区画線が不完全である場合には、記憶された過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって隣接駐車区画線が完全な形状で検出できない場合であっても、完全な隣接駐車区画線を表示することが可能となる。従って、運転者は表示された隣接駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１８】
また、請求項６の駐車区画監視装置では、撮像手段により撮像した画像に基づいて、車両が駐車を行う駐車区画に隣接した隣接駐車区画線を検出し、検出された隣接駐車区画線が不完全である場合には、記憶された過去画像を撮像手段により撮像された画像に対して重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって隣接駐車区画線が完全な形状で検出できない場合であっても、完全な隣接駐車区画線を表示することが可能となる。従って、運転者は表示された隣接駐車区画線を参照することにより、駐車操作を容易に行うことができる。
【００１９】
更に、請求項７の駐車区画監視装置では、特に車両を駐車する駐車区画の後方に位置する駐車区画の駐車区画線が不完全である場合に、重畳した画像を画像表示手段に表示するので、視界不良、障害物等の様々な要因によって後方の駐車区画線が完全な形状で検出できない場合であっても、完全な後方の駐車区画線を表示することが可能となる。従って、運転者は表示された後方の駐車区画線を参照することにより、車体を駐車区画線に対して傾けることなく適切な位置で駐車させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明に係る駐車区画監視装置について具体化した第１及び第２実施形態に基づき図面を参照しつつ詳細に説明する。
【００２１】
（第１実施形態）
先ず、第１実施形態に係る駐車区画監視装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係る駐車区画監視装置１の概略構成図である。
図１に示すように、第１実施形態に係る駐車区画監視装置１は、車両２に対して設置された後方カメラ（撮像手段）３と、液晶ディスプレイ（画像表示手段）５と、画像処理ＥＣＵ６と、現在地検出部７と、過去画像ＤＢ（過去画像記憶手段）８と、車両ＥＣＵ９等で構成されている。
【００２２】
後方カメラ３は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、駐車時に車両２の進行方向となる車両後方を撮像し、その撮像した画像（以下、ＢＧＭ（バック・ガイド・モニタ）画像とする）は液晶ディスプレイ５に表示される。尚、第１実施形態に係るカメラ自体は、広角レンズにより左右１４０度の視野を確保し、後方８ｍ程度までの領域を撮影できるものを使用することとしているが、視野角や撮影距離の異なる他のカメラであっても良い。
【００２３】
液晶ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、駐車時において後方カメラ３で車両２の後方環境を撮像したＢＧＭ画像等を表示する。尚、液晶ディスプレイ５は、ナビゲーション装置に使用するものと兼用してもよい。
【００２４】
画像処理ＥＣＵ（エレクトロニック・コントロール・ユニット）６は、後方カメラ３で撮像したＢＧＭ画像から車両２が駐車を行う駐車区画の駐車区画線を検出し、駐車区画線が不完全である場合に、以前に撮像された過去ＢＧＭ画像を撮像したＢＧＭ画像に重畳した重畳ＢＧＭ画像、又は検出された他の駐車区画線に基づいて駐車区画線を補完した補完ＢＧＭ画像を生成するとともに、駐車区画に対する自車の経路（予測進路）を推定して、その軌跡をＢＧＭ画像に重畳させる処理を行う電子制御ユニットである。尚、画像処理ＥＣＵ６の詳細な構成については後述する。
【００２５】
また、現在地検出部７は、例えばナビゲーション装置のようなＧＰＳ（現在地検出手段）４１による位置検出機能と、車両２の絶対方位を検出する地磁気センサ４２（自車方向検出手段）と、地図データが格納された地図ＤＢ４３を備えたものであり（図２参照）、車両２の現在地と進行方向を地図上で特定することが可能となる。
【００２６】
また、過去画像ＤＢ８は、後方カメラ３により撮像したＢＧＭ画像の画像データが、撮像した時点の後方カメラ３の位置座標と角度（視線方向）とともに随時記憶される記憶手段である。尚、第１実施形態においては、過去画像ＤＢ８の記憶媒体としてハードディスクが使用されるが、磁気ディスク、メモリカード、磁気テープ、磁気ドラム、ＣＤ、ＭＤ、ＤＶＤ、光ディスク、ＭＯ、ＩＣカード、光カード等を外部記憶装置として使用することもできる。更に、車両ＥＣＵ９内の記憶領域（例えば、ＲＡＭやフラッシュメモリ）に設けることとしても良い。
【００２７】
そして、車両ＥＣＵ９は、エンジン、変速機、ブレーキ等の作動を制御する車両２の電子制御ユニットであり、また、車速センサ１２、操舵角センサ１３、ジャイロセンサ１４、ヨーレートセンサ１５、シフト位置検出センサ１６の各種センサが接続されている。ここで、車速センサ１２は、車両２の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して車両ＥＣＵ９に速度信号を出力する。また、操舵角センサ１３は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出して操舵角信号を車両ＥＣＵ９に出力する。ここで、操舵角センサ１３は、ステアリングコラムシャフトの回転量を光学センサ等で検出するように構成されている。更に、ジャイロセンサ１４は車両２の旋回角を検出して、車両ＥＣＵ９に旋回角信号を出力する。尚、ジャイロセンサ１４としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ヨーレートセンサ１５は、車両２のヨーレート（方位角変化量）を検出する。更に、シフト位置検出センサ１６は、シフトレバーに内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。
その結果、車両ＥＣＵ９は車速センサ１２の出力信号に基づいて車両２の現在の車速を検出し、操舵角センサ１３の出力信号に基づいて車両２の舵角を検出する。また、ジャイロセンサ１４によって検出された旋回角を積分することにより、自車方位を検出することができる。また、ヨーレートセンサ１５によって車両２のヨーレートを検出する。更に、シフト位置検出センサ１６によって車両２の現在のシフト位置を検出する。
【００２８】
次に、第１実施形態に係る駐車区画監視装置１の制御系に係る構成について特に画像処理ＥＣＵ６を中心にして図２に基づき説明する。図２は第１実施形態に係る駐車区画監視装置１の制御系を模式的に示すブロック図である。
図２において、駐車区画監視装置１の制御系は、画像処理ＥＣＵ６と、車両ＥＣＵ９の各制御手段を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
【００２９】
また、画像処理ＥＣＵ６は、ＣＰＵ２１を核として構成されており、ＣＰＵ２１には記憶手段であるＲＯＭ２２及びＲＡＭ２３が接続されている。そして、ＲＯＭ２２には後述する画像処理プログラム、その他、液晶ディスプレイ５等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ２３はＣＰＵ２１で演算された各種データを一時的に記憶しておくメモリである。
そして、ＣＰＵ２１には、駐車区画線検出処理部３１、車両推定軌跡作成処理部３２、カメラ位置検出処理部３３、画像重畳処理部３４、重畳画像表示処理部３５、駐車区画線補完処理部３６、補完画像表示処理部３７、駐車区画線存在検出処理部３８を備え、過去画像ＤＢ８、車両ＥＣＵ９及び各周辺機器から取得した情報に基づいて、ＢＧＭ画像（図５参照）の表示を液晶ディスプレイ５を制御して行う。
【００３０】
ここで、駐車区画線検出処理部３１は、後方カメラ３が撮像したＢＧＭ画像を取り込んで解析処理を行い、路面上の駐車区画線を検出する。具体的には、駐車区画線が一般に白線で描かれていることを利用して、画像中の駐車区画線が描かれた路面と他の路面を輝度差に基づいて識別することにより行う。
また、車両推定軌跡作成処理部３２は、駐車時において液晶ディスプレイ５に後方カメラ３により車両２の後方環境が撮像されたＢＧＭ画像が表示される際に、車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測する。
また、カメラ位置検出処理部３３は、現在地検出部７によって検出された車両２の現在位置と自車方位と、地図ＤＢ４３に記憶された地図データから、後方カメラ３の地図データ上の座標と角度（視線方向）を検出する。
また、画像重畳処理部３４は、撮像したＢＧＭ画像から前記駐車区画線検出処理部３１によって検出された駐車区画線が不完全（砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている状態）であった場合に、過去画像ＤＢ８に記憶された過去ＢＧＭ画像から対応する過去ＢＧＭ画像（同一の駐車区画線を撮像したＢＧＭ画像）を当該ＢＧＭ画像に重畳する（スーパーインポーズする）ことにより完全な駐車区画線を生成する。更に、前記車両推定軌跡作成処理部３２によって推定された軌跡５６（図５参照）の画像をＢＧＭ画像に対して重畳することにより車両２の推定移動軌跡をＢＧＭ画像に描画する。
また、重畳画像表示処理部３５は、前記画像重畳処理部３４によって過去ＢＧＭ画像や軌跡の画像が重畳されたＢＧＭ画像や軌跡の画像を液晶ディスプレイ５に対して表示する。
また、駐車区画線補完処理部３６は、撮像したＢＧＭ画像から前記駐車区画線検出処理部３１によって検出された駐車区画線が不完全であって、且つ対応する過去ＢＧＭ画像が過去画像ＤＢ８に無い場合に、検出された駐車区画線に基づいて不完全な部分の駐車区画線を予測して描画した画像を当該ＢＧＭ画像に重畳することにより駐車区画線を補完する。
また、補完画像表示処理部３７は、前記駐車区画線補完処理部３６によって補完されたＢＧＭ画像を液晶ディスプレイ５に対して表示する。
更に、駐車区画線存在検出処理部３８は、前記駐車区画線検出処理部３１によって駐車区画線が検出されなかった場合において、過去画像ＤＢに記憶された過去ＢＧＭ画像から対応する過去ＢＧＭ画像（同一の駐車区画線を撮像したＢＧＭ画像）の存在を検索することによって、撮像したＢＧＭ画像からは検出ができなかった駐車区画線（塗装が剥がれて白線が完全に消えている状態や、砂や水溜りなどの障害物によって白線が全て隠れている状態の駐車区画線）の存在を検出する。
【００３１】
また、現在地検出部７は、自車の現在位置を検出するＧＰＳ４１と、車両２の絶対方位を検出する地磁気センサ４２と、地図データが格納された地図ＤＢ４３を有する。ここで、ＧＰＳ４１は、人工衛星によって発生させられた電波を受信することにより、ＧＰＳ４１の設置位置を地球上における車両の現在地として検出する。また、地磁気センサ４２は、地磁気を測定することによって自車方位を検出する。また、地図ＤＢ４３は、地図データが記憶されたハードディスクと、ハードディスクに記録された地図データを読み出すとともにハードディスクに所定のデータを書き込むためのドライバからなり、ＧＰＳ４１の検出結果に基づいて必要な地域の地図データを読み出す。尚、第１実施形態においては、地図ＤＢ４３の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリカード、磁気テープ、磁気ドラム、ＣＤ、ＭＤ、ＤＶＤ、光ディスク、ＭＯ、ＩＣカード、光カード等を外部記憶装置として使用することもできる。
【００３２】
また、過去画像ＤＢ８は、後方カメラ３により撮像した過去ＢＧＭ画像の画像データが、撮像した時点の後方カメラ３の位置座標と角度（視線方向）とともに随時記憶されるハードディスク等の記憶媒体である。そして、記憶された画像データは撮像中のＢＧＭ画像に表示された駐車区画線を補完するために、画像処理ＥＣＵ６によって適当な補正がなされた後に、撮像中のＢＧＭ画像に重畳されて液晶ディスプレイ５に表示される。
【００３３】
また、車両ＥＣＵ９には車速センサ１２と操舵角センサ１３とジャイロセンサ１４とヨーレートセンサ１５とシフト位置検出センサ１６が接続されており、各センサ１２、１３、１４、１５、１６から送信された速度信号、操舵角信号、旋回角信号、角速度信号、操作信号とに基づいて、車両２の現在の車速、舵角、自車方位、ヨーレート及びシフトレバーの位置を検出する。そして、当該検出結果は、画像処理ＥＣＵ６に送信されて、過去ＢＧＭ画像の補正や車両２の予測軌跡の算出に用いられる。
【００３４】
次に、図３に基づいて後方カメラ３で撮像されたＢＧＭ画像が随時記憶される過去画像ＤＢ８について説明する。図３は第１実施形態に係る過去画像ＤＢ８の記憶領域を示した図である。
【００３５】
図３に示すように過去画像ＤＢ８の記憶領域は、過去ＢＧＭ画像の画像データと、当該過去ＢＧＭ画像が撮像された時点の後方カメラ３の地図データ上における座標と、同じくその時点における後方カメラ３の視線方向の角度とから構成されている。例えば、画像Ａは座標（ｘ１，ｙ１）でθ１方向に撮像された過去ＢＧＭ画像であることを示す。また、画像Ｂは座標（ｘ２，ｙ２）でθ２方向に撮像された過去ＢＧＭ画像であることを示す。
【００３６】
次に、図４及び図５を用いて車両２の駐車時に後方カメラ３によって撮像されるＢＧＭ画像について具体例をあげて説明する。
図４は、図３の過去画像ＤＢ８に記録された過去ＢＧＭ画像の内、所定の画像Ａが撮像された時点における車両２及び後方カメラ３の状態を地図上に示した模式図、図５は図４の状態における車両２の後方カメラ３によって撮像されたＢＧＭ画像（画像Ａ）を示した模式図である。
【００３７】
図４に示すように、車両２が複数の駐車区画５１〜５３を有する駐車場５０において駐車を行う際には、車両２の後方環境を後方カメラ３によって撮像した図５のＢＧＭ画像５５が液晶ディスプレイ５に表示される。ここで、図５に示すように、ＢＧＭ画像５５には、駐車区画５１、５３に停止される他車両Ｃ１、Ｃ２や、駐車区画線Ｔが表示され、更に、車両ＥＣＵ９で検出された舵角やヨーレートに基づいて車両推定軌跡作成処理部３２によって推定された車両の移動軌跡５６が重複して表示される。
従って、運転者は液晶ディスプレイ５のＢＧＭ画像を視認することにより、車両２が駐車を行う駐車区画５２の周囲の状況の把握が容易となり、車両２が駐車区画５２に対してどのような角度で進入するのかに関して予め認識することができる。それによって、車両２の駐車操作を容易に行うことが可能となる。
【００３８】
一方、撮像されたＢＧＭ画像５５からは、駐車区画線検出処理部３１によって後述するように駐車区画を形成する駐車区画線Ｔが検出される。例えば、図５に示すＢＧＭ画像５５からは、車両２が駐車を行う駐車区画（車両２を進入させる駐車区画）５２を形成する右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢがそれぞれ検出される。そして、検出された各駐車区画線ＴＲ、ＴＬ、ＴＢの状態が不完全（砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている状態）であると判定された場合には、後述のようにＢＧＭ画像５５に対して過去ＢＧＭ画像を重畳させることにより、完全な駐車区画線Ｔを表示した重畳ＢＧＭ画像を液晶ディスプレイ５に表示させる。
【００３９】
更に、後述するように車両２が駐車を行う駐車区画５２に関する画像が過去画像ＤＢ８（図３）に存在しないと判定された場合には、後方カメラ３によって撮像した図５のＢＧＭ画像を過去ＢＧＭ画像として過去画像ＤＢ８に保存する。その際、過去画像ＤＢ８には、図３に示すように画像データとともに後方カメラ３の地図データ上における座標と、視線方向の角度が記録される。
【００４０】
ここで、後方カメラ３の座標と角度は、車両２の地図データ上における座標と自車方位によって算出されるものである。以下に、図４を用いてその算出方法について説明すると、先ず現在地検出部７のＧＰＳ４１、地磁気センサ４２及び地図ＤＢ４３の地図データによって車両２の地図データ上の座標位置と自車方位が検出される。その後、ＧＰＳ４１と後方カメラ３との位置関係によって、後方カメラ３の座標位置と角度が検出される。
具体的には、車両２の位置座標Ａ：（Ｘ１，Ｙ１）はＧＰＳ４１の設置位置なので、車両２の位置座標Ａ：（Ｘ１，Ｙ１）に対して自車方位の逆方向にＧＰＳ４１と後方カメラ３との距離分を加算又は減算することにより、後方カメラ３の位置座標ａ：（ｘ１，ｙ１）が算出される。また、車両２の自車方位角φ１に対して１８０度減算又は加算することによって、その逆方向をなす後方カメラ３の視線方向の角度θ１が算出される。
【００４１】
続いて、前記構成を有する第１実施形態に係る駐車区画監視装置１の画像処理ＥＣＵ６が実行するＢＧＭ画像の画像処理プログラムについて図６に基づき説明する。図６は第１実施形態に係る駐車区画監視装置１における画像処理プログラムのフローチャートである。尚、以下の図６乃至図９にフローチャートで示されるプログラムは画像処理ＥＣＵ６が備えているＲＯＭ２２やＲＡＭ２３に記憶されており、ＣＰＵ２１により実行される。
【００４２】
ここで、画像処理プログラムは、車両２の駐車を行う際において後方カメラ３により撮像したＢＧＭ画像から駐車区画線Ｔを検出するとともに、検出した駐車区画線Ｔが不完全（砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている状態）と判定された場合、又は存在すべき駐車区画線Ｔが検出できない（砂や水溜り等の障害物によって白線が完全に隠れた状態や、劣化によって白線の塗装が全て剥がれている状態）と判定された場合に、過去画像ＤＢ８に記録された過去ＢＧＭ画像を重畳するか、又は検出された部分の駐車区画線Ｔから不完全な部分の駐車区画線Ｔを予測して補完することにより、完全な状態の駐車区画線ＴをＢＧＭ画像中に表示するものである。
【００４３】
画像表示処理では、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ２１は現在地検出部７からの車両２の現在地情報と地図データに基づいて、車両２が予め地図データ上で特定されているいずれかの駐車場に進入したか否かを検出する。
【００４４】
そして、車両２が駐車場に進入したことを検出した場合（Ｓ１：ＹＥＳ）には、Ｓ２の判定処理へと移行し、一方、車両２が駐車場に進入したことを検出しない場合（Ｓ１：ＮＯ）には検出されるまで待機される。
【００４５】
次に、Ｓ２では、駐車場へ進入した車両２が駐車開始の操作を行ったか否かが判定される。ここで、駐車開始の操作を行ったか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｒ（リバース）」に位置されたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００４６】
そして、車両２において駐車開始の操作がなされたと判定された場合、即ち、シフトレバーが「Ｒ（リバース）」に位置すると検出された場合（Ｓ２：ＹＥＳ）には、Ｓ３の処理へと移行する。一方、駐車開始の操作がなされていないと判定された場合、即ち、シフトレバーが「Ｒ（リバース）」以外に位置されていると検出された場合（Ｓ２：ＮＯ）には、駐車開始の操作検出されるまで待機される。
尚、Ｓ２の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作がなされたか否かでは無く、当該ＢＧＭ表示ボタンがＯＮされたか否かの判定によって、Ｓ３以降の処理を開始することとしても良い。
【００４７】
続いて、Ｓ３では後方カメラ３によって車両２の後方環境の撮像が開始される。更に、Ｓ４においては、ＣＰＵ２１は後方カメラ３が撮像した画像を取り込んで解析処理を行い、路面上における車両２が駐車を行う駐車区画５２（図４参照）を形成する駐車区画線Ｔを検出する。具体的には、駐車区画線Ｔが一般に白線であることを用いて、ＢＧＭ画像中の駐車区画線Ｔが描かれた路面と他の路面を輝度差に基づいて識別することにより行う。
【００４８】
また、Ｓ５では前記Ｓ４の検出に基づいて駐車区画線Ｔが検出されたか否かが判定され、駐車区画線Ｔが検出されたと判定された場合（Ｓ５：ＹＥＳ）には、更に、検出された駐車区画線Ｔが完全な形状で検出されたか否かを判定する（Ｓ６）。
【００４９】
ここで、Ｓ６の駐車区画線Ｔが完全な形状で検出されたか否かの判定方法には様々な方法があるが、第１実施形態に係る駐車区画監視装置１では、車両２の駐車を行う駐車区画を形成する３辺の駐車区画線Ｔ（図４及び図５に示す右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢの３本）がそれぞれ途切れることなく直線状に検出されたか否かによって判定される。尚、他の判定方法としては、例えば、検出された駐車区画線Ｔによって駐車区画の４箇所の角が形成されているか否かを判定する方法や、駐車区画線Ｔの輪郭線が直線となっているか否かを判定する方法等がある。
【００５０】
そして、駐車区画線Ｔが完全な形状で検出されたと判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行し、後述のＢＧＭ画像記録処理が行われる。ＢＧＭ画像記録処理は、今回撮像されたＢＧＭ画像を過去ＢＧＭ画像として過去画像ＤＢ８に記録する処理であり、記録された過去ＢＧＭ画像は次回以降において駐車区画線Ｔが完全に検出されなかった場合（Ｓ６：ＮＯ）等の補完に使用される（図７参照）。
【００５１】
一方、駐車区画線Ｔが不完全な形状で検出されたと判定された場合（Ｓ６：ＮＯ）には、Ｓ８へと移行し、後述の駐車区画線補完処理が行われる。駐車区画線補完処理は、現在撮像中のＢＧＭ画像を過去画像ＤＢ８に記憶された過去ＢＧＭ画像を用いて補完し、完全な駐車区画線ＴをＢＧＭ画像中に表示する処理である（図８参照）。
【００５２】
それに対し、駐車区画線Ｔが検出されなかったと判定された場合（Ｓ５：ＮＯ）には、Ｓ９で後述の過去画像完全重畳処理が行われる。過去画像完全重畳処理は、撮像したＢＧＭ画像の位置に駐車区画線Ｔが実際に存在すると判定された場合に、現在撮像中のＢＧＭ画像に対して過去画像ＤＢ８に記憶された過去ＢＧＭ画像を重畳することにより、検出されなかった駐車区画線ＴをＢＧＭ画像中に表示する処理である（図９参照）。
【００５３】
次に、第１実施形態に係る駐車区画監視装置１において前記Ｓ７で行われるＢＧＭ画像記録処理のサブ処理について図７に基づき説明する。図７は第１実施形態に係る駐車区画監視装置１におけるＢＧＭ画像記録処理のサブ処理プログラムのフローチャートである。
【００５４】
ＢＧＭ画像記録処理においては、先ずＳ１１において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、前記Ｓ４で検出された駐車区画線Ｔと同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像があるかを検索する。
【００５５】
そして、Ｓ１２においては、前記Ｓ１１の検索の結果、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在するか否かを判定する。ここで、同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在すると判定された場合（Ｓ１２：ＹＥＳ）には、今回の処理において撮像したＢＧＭ画像は保存を行うことなく、液晶ディスプレイ５に対して後方カメラ３で撮像中のＢＧＭ画像の表示のみを行う（Ｓ１３）。尚、ＢＧＭ画像の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡５６の画像を重畳して表示させる（図５参照）。
【００５６】
次に、Ｓ１４では車両２の駐車操作が終了したか否かを判定する。ここで、駐車操作が終了したか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｐ（パーキング）」に位置され、且つエンジンがＯＦＦされたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００５７】
そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ１４：ＹＥＳ）には、Ｓ１５の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ１４：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ１４の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ１５以降の処理を開始することとしても良い。
【００５８】
また、Ｓ１５では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該ＢＧＭ画像記録処理を終了する。
【００５９】
一方、前記Ｓ１２において、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在しないと判定された場合（Ｓ１２：ＮＯ）には、今回の処理において撮像したＢＧＭ画像を新たに過去ＢＧＭ画像として保存するとともに、液晶ディスプレイ５に対して後方カメラ３で撮像中のＢＧＭ画像の表示を行う（Ｓ１６）。尚、ＢＧＭ画像の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を重畳して表示させる（図５参照）。
【００６０】
次に、Ｓ１７では車両２の駐車操作が終了したか否かを判定する。そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ１７：ＹＥＳ）には、Ｓ１８の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ１７：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ１７の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ１８以降の処理を開始することとしても良い。
【００６１】
また、Ｓ１８では、後方カメラ３による撮像及び画像の記録を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該ＢＧＭ画像記録処理を終了する。
【００６２】
次に、第１実施形態に係る駐車区画監視装置１において前記Ｓ８で行われる駐車区画線補完処理のサブ処理について図８に基づき説明する。図８は第１実施形態に係る駐車区画監視装置１における駐車区画線補完処理のサブ処理プログラムのフローチャートである。
【００６３】
駐車区画線補完処理においては、先ずＳ２１において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、前記Ｓ４で検出された駐車区画線Ｔと同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像があるかを検索する。
【００６４】
そして、Ｓ２２においては、前記Ｓ１１の検索の結果、過去画像ＤＢ８中にＢＧＭ画像に対して重畳可能な同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在するか否かを判定する。ここで、同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在すると判定された場合（Ｓ２２：ＹＥＳ）には、撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させるＢＧＭ画像重畳処理を行う（Ｓ２３）。
【００６５】
ここで、図１０及び図１１はステップ２３において撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
ＢＧＭ画像重畳処理では、先ず前記Ｓ２１で検索された該当する過去ＢＧＭ画像に対応付けて記憶された撮像時の後方カメラ３の座標位置ａ及び角度θ（図３参照）を、過去画像ＤＢ８から読み出す。更に、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´を現在地検出部７から読み出す。その後、図１０に示すように該当する過去ＢＧＭ画像５９を、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´に対応するように座標変換することにより視点変換を行う（図１０では座標位置ａ：（ｘ２，ｙ２）→（ｘ１，ｙ１）、角度θ：（θ２→θ１）の変換を行う）。それによって、過去ＢＧＭ画像５９で表示される駐車区画線Ｔ（右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢ）を、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´で撮像したと仮定した場合の駐車区画線Ｔを表示する過去ＢＧＭ画像６０が生成される。
【００６６】
次に、図１１に示すように視点変換した過去ＢＧＭ画像６０を現在撮像中のＢＧＭ画像６２に対して重畳させる。その際、過去ＢＧＭ画像６０は現在撮像中のＢＧＭ画像６２の駐車区画線Ｔ´に対して、視点変換した過去ＢＧＭ画像６０の駐車区画線Ｔの位置を合わせて重畳させる。それによって、現在撮像中の駐車区画線Ｔ´に不連続部分６１が存在する場合であっても、過去画像の駐車区画線Ｔによって正確な位置に完全な駐車区画線Ｔが表示された重畳ＢＧＭ画像６３が生成される。
【００６７】
続いて、Ｓ２４では前記Ｓ２３で生成された重畳ＢＧＭ画像６３を液晶ディスプレイ５に対して表示する。尚、重畳ＢＧＭ画像６３の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を更に重畳して表示させる（図５参照）。
【００６８】
次に、Ｓ２５では車両２の駐車操作が終了したか否かを判定する。ここで、駐車操作が終了したか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｐ（パーキング）」に位置され、且つエンジンがＯＦＦされたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００６９】
そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ２５：ＹＥＳ）には、Ｓ２６の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ２５：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ２５の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ２６以降の処理を開始することとしても良い。
【００７０】
また、Ｓ２６では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該駐車区画線補完処理を終了する。
【００７１】
一方、前記Ｓ２２において、過去画像ＤＢ８中にＢＧＭ画像に対して重畳可能な同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在しないと判定された場合（Ｓ２２：ＮＯ）には、更に撮像中のＢＧＭ画像に対して不完全部分の駐車区画線Ｔを予測して描画することにより過去ＢＧＭ画像を補完する描画処理が可能か否かが判定される（Ｓ２７）。ここで、描画処理が可能か否かは検出された駐車区画線Ｔの状態に基づいて判定され、例えば図１２に示すように直線や角部の一部が欠いている状態の駐車区画線Ｔが検出された場合には、描画処理が可能であると判定される。また、逆に直線や角部の一部のみしか検出されない場合には、描画処理が不可能であると判定される。
【００７２】
そして、描画処理が可能であると判定された場合（Ｓ２７：ＹＥＳ）には、撮像中のＢＧＭ画像に対して不完全部分の駐車区画線Ｔを予測して描画することにより過去ＢＧＭ画像を補完する駐車区画線描画処理を行う（Ｓ２８）。
【００７３】
ここで、図１２（Ａ）及び（Ｂ）はステップ２８において撮像中のＢＧＭ画像に対して不完全部分の駐車区画線Ｔを描画して補完する際の具体的処理の手順を示した模式図である。
駐車区画線描画処理では、先ず撮像中のＢＧＭ画像７０、７２に表示される駐車区画線Ｔの内、検出可能な部分の駐車区画線Ｔから不完全部分の駐車区画線Ｔの形状を予測する。
【００７４】
例えば、図１２の（Ａ）のＢＧＭ画像７０では、左側駐車区画線ＴＬの略中間位置の一部が欠けた不完全部分６５が存在し、不完全部分６５は、その両側に位置する左側駐車区画線ＴＬを延長した（連結した）ものであることが予測される。
また、図１２の（Ｂ）のＢＧＭ画像７２では、左側駐車区画線ＴＬの略中間位置から前方への不完全部分６７が存在し、不完全部分６７は右側駐車区画線ＴＲと同じ長さだけ残りの左側駐車区画線ＴＬを延長したものであることが予測される。
【００７５】
そして、不完全部分の駐車区画線Ｔの形状予測に基づいて、不完全部分に該当する駐車区画線６６、６８を描画し、現在撮像中のＢＧＭ画像６２に対して重畳させる。それによって、現在撮像中の駐車区画線Ｔに不完全部分６５、６７が存在する場合であっても、新たに描画した駐車区画線６６、６８によって完全な駐車区画線Ｔが表示された補完ＢＧＭ画像７１、７３が生成される。
【００７６】
続いて、Ｓ２９では前記Ｓ２８で生成された補完ＢＧＭ画像７１、７３を液晶ディスプレイ５に対して表示する。尚、補完ＢＧＭ画像７１、７３の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を更に重畳して表示させる（図５参照）。
【００７７】
一方、描画処理が不可能であると判定された場合（Ｓ２７：ＮＯ）には、駐車区画線描画処理を行うことなく、液晶ディスプレイ５に対して後方カメラ３において撮像中のＢＧＭ画像と推定移動軌跡の表示のみを行う（Ｓ２９）。
【００７８】
次に、Ｓ３０では車両２の駐車操作が終了したか否かを判定する。そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ３０：ＹＥＳ）には、Ｓ３１の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ３０：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ３０の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ３１以降の処理を開始することとしても良い。
【００７９】
また、Ｓ３１では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該駐車区画線補完処理を終了する。
【００８０】
次に、第１実施形態に係る駐車区画監視装置１において前記Ｓ９で行われる過去画像完全重畳処理のサブ処理について図９に基づき説明する。図９は第１実施形態に係る駐車区画監視装置１における過去画像完全重畳処理のサブ処理プログラムのフローチャートである。
【００８１】
過去画像完全重畳処理においては、先ずＳ４１において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）を検索し（Ｓ４１）、撮像したＢＧＭ画像の路面位置に駐車区画線Ｔが実際に存在するか否かを判定する（Ｓ４２）。具体的には、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、駐車区画線Ｔが検出できなかった同一の路面を撮像した過去ＢＧＭ画像があるかを検索する。
【００８２】
そして、撮像したＢＧＭ画像の路面位置に駐車区画線Ｔが実際には存在すると判定された場合、即ち、過去ＢＧＭ画像の中に同一の路面で駐車区画線Ｔを撮像した画像が存在した場合（Ｓ４２：ＹＥＳ）には、撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させるＢＧＭ画像完全重畳処理を行う（Ｓ４３）。
【００８３】
ここで、図１３はステップ４３において撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
ＢＧＭ画像完全重畳処理では、先ず前記Ｓ２３の画像重畳処理と同様にして、該当する過去ＢＧＭ画像を、視点変換し、現在の車両２の後方カメラ３の座標位置ａ´及び角度θ´で撮像したと仮定した場合の駐車区画線Ｔを表示する過去ＢＧＭ画像６０を生成する。尚、過去ＢＧＭ画像６０の生成に関しては既に図１０を用いて詳細に説明したので、ここではその説明は省略する。
【００８４】
続いて、図１３に示すように視点変換した過去ＢＧＭ画像６０を現在撮像中のＢＧＭ画像７４に対して重畳させる。その際、過去ＢＧＭ画像６０は現在撮像中のＢＧＭ画像７４に対して、視点変換した過去ＢＧＭ画像６０の駐車区画線Ｔの位置を、検出されなかった駐車区画線の予測位置７６に合わせて重畳させる。それによって、現在撮像中のＢＧＭ画像に駐車区画線Ｔが検出されなかった場合であっても、過去画像の駐車区画線Ｔによって完全な駐車区画線Ｔが表示された重畳ＢＧＭ画像７５が生成される。
【００８５】
続いて、Ｓ４４では前記Ｓ４３で生成された重畳ＢＧＭ画像７５を液晶ディスプレイ５に対して表示する。尚、重畳ＢＧＭ画像７５の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を更に重畳して表示させる（図５参照）。
【００８６】
次に、Ｓ４５では車両２の駐車操作が終了したか否かを判定する。ここで、駐車操作が終了したか否かの判定は、具体的にはシフト位置検出センサ１６の検出信号に基づいて、シフトレバーが「Ｐ（パーキング）」に位置され、且つエンジンがＯＦＦされたことを車両ＥＣＵ９が検出したか否かによって判定される。
【００８７】
そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ４５：ＹＥＳ）には、Ｓ４６の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ４５：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ４５の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ４６以降の処理を開始することとしても良い。
【００８８】
また、Ｓ４６では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該過去画像完全重畳処理を終了する。
【００８９】
一方、撮像したＢＧＭ画像の位置には駐車区画線Ｔが存在すると判定されなかった場合、即ち、過去ＢＧＭ画像の中に同じ路面で駐車区画線Ｔを撮像した画像が存在しない場合（Ｓ４２：ＮＯ）には、液晶ディスプレイ５に対して後方カメラ３において撮像中のＢＧＭ画像の表示のみを行う（Ｓ４７）。尚、ＢＧＭ画像の表示の際には車両ＥＣＵ９から送信された車両２の舵角、自車方位及びヨーレート等から車両２の推定移動軌跡を予測し、その軌跡の画像を重畳して表示させる（図５参照）。
【００９０】
次に、Ｓ４８では車両２の駐車操作が終了したか否かを判定する。そして、車両２において駐車操作が終了したと判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」に位置し、且つエンジンがＯＦＦされたと検出された場合（Ｓ４８：ＹＥＳ）には、Ｓ４９の処理へと移行する。一方、駐車操作が継続して行われていると判定された場合、即ち、シフトレバーが「Ｐ（パーキング）」以外に位置するか、又はエンジンがＯＮとなっていると検出された場合（Ｓ４８：ＮＯ）には、駐車操作が終了されるまで待機される。
尚、Ｓ４８の判定処理では、車両２の内部において運転者が操作可能な位置にＢＧＭ表示ボタンを別途設け、駐車操作が終了されたか否かでは無く、当該ＢＧＭ表示ボタンがＯＦＦされたか否かの判定によって、Ｓ４９以降の処理を開始することとしても良い。
【００９１】
また、Ｓ４９では、後方カメラ３による撮像を終了するとともに、液晶ディスプレイ５の電源をＯＦＦし、ＢＧＭ画像の表示を終了する。その後、当該過去画像完全重畳処理を終了する。
【００９２】
以上詳細に説明した通り、第１実施形態に係る駐車区画監視装置１では、駐車を行う際に後方カメラ３によって撮像された駐車区画線Ｔが不完全であると判定された場合（Ｓ６：ＮＯ）に、過去画像ＤＢ８に予め記憶された（Ｓ１６）過去ＢＧＭ画像から同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像を抽出し（Ｓ１１）、現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像６２に重畳させる（図１１参照）ので、駐車区画線Ｔの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な駐車区画線Ｔを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像された駐車区画線Ｔが不完全であると判定され（Ｓ６：ＮＯ）、且つ過去画像ＤＢ８に予め記憶された（Ｓ１６）過去ＢＧＭ画像から同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像がない場合（Ｓ２２：ＮＯ）であっても、検出された駐車区画線Ｔから不完全部分６５、６７の駐車区画線の形状を予測して、不完全部分に該当する駐車区画線６６、６８を描画し、現在撮像中のＢＧＭ画像６２に対して重畳させる（図１２（Ａ）及び（Ｂ）参照）ので、駐車区画線Ｔの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な駐車区画線Ｔを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像されたＢＧＭ画像上に駐車区画線Ｔが検出されなかった場合（Ｓ５：ＮＯ）でも、過去画像ＤＢ８に予め記憶された（Ｓ１６）過去ＢＧＭ画像の中に、検出されなかった駐車区画線Ｔを撮像した過去ＢＧＭ画像がある場合には（Ｓ２２：ＹＥＳ）、該当する過去ＢＧＭ画像を現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像７４に重畳させる（図１３参照）ので、駐車区画線Ｔの全部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な駐車区画線Ｔを液晶ディスプレイ５上に表示することが可能となる。
従って、どのような状況においても駐車区画線Ｔを完全な形状で表示させ、運転者の駐車操作を容易に行うことを可能とする。
【００９３】
（第２実施形態）
次に、第２実施形態に係る駐車区画監視装置について図１４乃至図１７に基づいて説明する。尚、以下の説明において上記図１乃至図１３の第１実施形態に係る駐車区画監視装置１の構成と同一符号は、前記第１実施形態に係る駐車区画監視装置１等の構成と同一あるいは相当部分を示すものである。
【００９４】
この第２実施形態に係る駐車区画監視装置の概略構成は、第１実施形態に係る駐車区画監視装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る駐車区画監視装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る駐車区画監視装置１が、前記Ｓ４で車両２が駐車を行う（車両２を進入させる）駐車区画５２を形成する駐車区画線Ｔ（具体的には、右側駐車区画線ＴＲ、左側駐車区画線ＴＬ、奥側駐車区画線ＴＢの３本）を検出し、不完全であった場合に過去ＢＧＭ画像を重畳させること等によって駐車区画線Ｔを補完していたのに対し、第２実施形態に係る駐車区画監視装置では、車両２が駐車を行う（車両２を進入させる）駐車区画５２を形成する駐車区画線Ｔとともに駐車区画５２の後方（車両２の後進方向）に位置する後方駐車区画を形成する後方駐車区画線を検出し、不完全であった場合に過去ＢＧＭ画像を重畳させること等によって当該後方駐車区画線を補完する点で前記第１実施形態に係る駐車区画監視装置１と異なっている。
【００９５】
先ず、第２実施形態に係る駐車区画監視装置の画像処理ＥＣＵ６が実行するＢＧＭ画像の画像処理プログラムについて図１４に基づき説明する。図１４は第２実施形態に係る駐車区画監視装置における画像処理プログラムのフローチャートである。尚、以下の図１４にフローチャートで示されるプログラムは画像処理ＥＣＵ６が備えているＲＯＭ２２やＲＡＭ２３に記憶されており、ＣＰＵ２１により実行される。
【００９６】
ここで、Ｓ１０１乃至Ｓ１０３に係る処理は、前記第１実施形態に係る画像処理プログラムのＳ１乃至Ｓ３と同様の処理であるのでその説明を省略する。
先ずＳ１０４では、ＣＰＵ２１は後方カメラ３が撮像した画像を取り込んで解析処理を行い、路面上における車両２が駐車を行う駐車区画５２の駐車区画線Ｔ（図１５に示す左側駐車区画線ＴＬ、右側駐車区画線ＴＲ、奥側駐車区画線ＴＢ）と、駐車区画５２の後方（車両２の後進方向に）に隣接する後方駐車区画１０１（図１５参照）の後方駐車区画線Ｕ（図１５に示す左側後方駐車区画線ＵＬ、右側後方駐車区画線ＵＲ）を検出する。尚、Ｓ１０４は隣接駐車区画線検出処理に相当する。
また、図１５は後方駐車区画線Ｕを有する所定の駐車場１０２に進入した車両２と、その際に後方カメラ３により撮像されるＢＧＭ画像１００を示した模式図である。
【００９７】
更に、Ｓ１０５では前記Ｓ１０４の検出に基づいて後方駐車区画１０１を形成する後方駐車区画線Ｕが検出されたか否かが判定され、後方駐車区画線Ｕが検出されたと判定された場合（Ｓ１０５：ＹＥＳ）には、更に、検出された後方駐車区画線Ｕが完全な形状で検出されたか否かを判定する（Ｓ１０６）。
【００９８】
ここで、Ｓ１０６の後方駐車区画線Ｕが完全な形状で検出されたか否かの判定方法には様々な方法があるが、第２実施形態に係る駐車区画監視装置では、後方駐車区画１０１を形成する２辺の後方駐車区画線Ｕ（図１５に示す右側後方駐車区画線ＵＲ、左側後方駐車区画線ＵＬの２本）がそれぞれ途切れることなく直線状に検出されたか否かによって判定される。
【００９９】
そして、後方駐車区画線Ｕが完全な形状で検出されたと判定された場合（Ｓ１０６：ＹＥＳ）には、後方駐車区画線Ｕの補完等を特に行うことなく、Ｓ５へと移行し、第１実施形態に係る駐車区画監視装置１と同様に車両２が駐車を行う駐車区画５２の駐車区画線Ｔが完全か否かの判定が行われ、判定結果に基づいて駐車区画線Ｔの補完等が行われる。
【０１００】
一方、後方駐車区画線Ｕが不完全な形状で検出されたと判定された場合（Ｓ１０６：ＮＯ）には、Ｓ１０７へと移行し、現在撮像中のＢＧＭ画像を過去画像ＤＢ８に記憶された過去ＢＧＭ画像を用いて補完し、完全な後方駐車区画線ＵをＢＧＭ画像中に表示する後方駐車区画線補完処理が行われる。ここで、後方駐車区画線補完処理は、過去画像ＤＢ８に記憶された過去ＢＧＭ画像を重畳させることにより完全な後方駐車区画線Ｕを生成するか、又は過去画像ＤＢ８に同一の後方駐車区画線Ｕを撮像した画像が無いときには不完全部分の後方駐車区画線Ｕを予測して描画して後方駐車区画線Ｕを補完する処理であり、第１実施形態に係る駐車区画監視装置１のＳ２１、Ｓ２２、Ｓ２３及びＳ２８の処理に相当する処理を行う。
具体的には、先ず、同一の後方駐車区画１０１を撮像した過去ＢＧＭ画像があるか否かを検索し、過去ＢＧＭ画像が存在する場合にはその画像を視点変換し、重畳させることによって完全な後方駐車区画線Ｕを有する補完ＢＧＭ画像を生成する。一方、過去ＢＧＭ画像が存在しない場合には、撮像中のＢＧＭ画像に表示される後方駐車区画線Ｕの内、検出可能な部分の後方駐車区画線Ｕから不完全部分の後方駐車区画線Ｕの形状を予測して、描画した後方駐車区画線Ｕの画像を重畳させることによって完全な後方駐車区画線Ｕを有する補完ＢＧＭ画像を生成する。
【０１０１】
ここで、図１６はステップ１０７において撮像中のＢＧＭ画像に対して不完全部分の後方駐車区画線Ｕを補完する際の一例を示した模式図である。
例えば、図１６のＢＧＭ画像１０８では、他車両１１０によって左側後方駐車区画線ＵＬ及び右側後方駐車区画線ＵＲの略中間位置から前方への不完全部分１０６、１０７がそれぞれ存在するので、左側後方駐車区画線ＵＬ及び右側後方駐車区画線ＵＲをそれぞれ所定長さ延長することによって完全な後方駐車区画線Ｕを有する補完ＢＧＭ画像１０９とする。また、同一の後方駐車区画１０１を撮像した過去ＢＧＭ画像がある場合には、その画像を視点変換し、重畳させることによって完全な後方駐車区画線Ｕを有する重畳ＢＧＭ画像１０９とする。
【０１０２】
その後、Ｓ５へと移行し、第１実施形態に係る駐車区画監視装置１と同様に車両２が駐車を行う駐車区画５２の駐車区画線Ｔが完全か否かの判定が行われ、判定結果に基づいて駐車区画線Ｔの補完等が行われる。
【０１０３】
一方、後方駐車区画線Ｕが検出されなかったと判定された場合（Ｓ１０５：ＮＯ）には、Ｓ１０８において、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）を検索し（Ｓ１０８）、撮像したＢＧＭ画像の位置に後方駐車区画線Ｕが実際に存在するか否かを判定する（Ｓ１０９）。具体的には、過去画像ＤＢ８に記憶された画像データと、それに対応する後方カメラ３の座標と角度（図３参照）から、過去画像ＤＢ８に記憶された過去ＢＧＭ画像の内、後方駐車区画線Ｕが検出されなかった同一の路面を撮像した過去ＢＧＭ画像があるかを検索する。
【０１０４】
そして、撮像したＢＧＭ画像の位置に後方駐車区画線Ｕが実際には存在すると判定された場合、即ち、過去ＢＧＭ画像の中に同じ路面で後方駐車区画線Ｕを撮像した画像が存在した場合（Ｓ１０９：ＹＥＳ）には、撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させるＢＧＭ画像重畳処理を行う（Ｓ１１０）。このＳ１１０のＢＧＭ画像重畳処理に関しては、前記第１実施形態に係るＳ４３の処理（図１３参照）と同様であり、その説明は省略する。
【０１０５】
一方、撮像したＢＧＭ画像の位置には後方駐車区画線Ｕが存在すると判定されなかった場合、即ち、過去ＢＧＭ画像の中に同じ路面で後方駐車区画線Ｕを撮像した画像が存在しない場合（Ｓ１０９：ＮＯ）には、後方駐車区画線Ｕに相当する線を新たに追加する後方駐車区画線延長処理を行う。
【０１０６】
ここで、図１７はステップ１１１において撮像中のＢＧＭ画像に対して新たに後方駐車区画線Ｕに相当する線を追加する際の一例を示した模式図である。
後方駐車区画線補完処理では、撮像中のＢＧＭ画像１１１において検出される車両２が駐車を行う駐車区画線Ｔの左側駐車区画線ＴＬ及び右側駐車区画線ＴＲを後方に所定長さ延長させることにより後方駐車区画線Ｕに相当する区画線１１５、１１６を描画する。それによって、現在撮像中のＢＧＭ画像１１１に駐車区画線Ｔが検出されなかった場合であっても、後方駐車区画線Ｕに相当する区画線１１５、１１６が表示されたＢＧＭ画像１１２が生成される。それによって、運転者は駐車操作を行う際に、液晶ディスプレイ５に表示された区画線１１５、１１６を基準にすることにより、駐車区画線Ｔに対して車両２の車体を傾けることなく、適切な位置に駐車させることが容易に可能となる。
【０１０７】
その後、Ｓ５へと移行し、第１実施形態に係る駐車区画監視装置１と同様に車両２が駐車を行う駐車区画５２の駐車区画線Ｔが完全か否かの判定が行われ、判定結果に基づいて駐車区画線Ｔの補完等が行われる。
【０１０８】
以上詳細に説明した通り、第２実施形態に係る駐車区画監視装置では、駐車を行う際に後方カメラ３によって撮像された後方駐車区画線Ｕが不完全であると判定された場合（Ｓ１０６：ＮＯ）に、過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像から同一の後方駐車区画線Ｕを撮像した過去ＢＧＭ画像を抽出し、現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像に重畳させる（Ｓ１０８）ので、後方駐車区画線Ｕの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な後方駐車区画線Ｕを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像された後方駐車区画線Ｕが不完全であると判定され（Ｓ１０６：ＮＯ）、且つ過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像から同一の後方駐車区画線Ｕを撮像した過去ＢＧＭ画像がない場合であっても、検出された後方駐車区画線Ｕから不完全部分の駐車区画線の形状を予測して、不完全部分に該当する後方駐車区画線Ｕを描画し、現在撮像中のＢＧＭ画像６２に対して重畳させる（Ｓ１０８）ので、後方駐車区画線Ｕの一部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な後方駐車区画線Ｕを液晶ディスプレイ５上に表示することが可能となる。
また、駐車を行う際に後方カメラ３によって撮像されたＢＧＭ画像上に後方駐車区画線Ｕが検出されなかった場合（Ｓ１０５：ＮＯ）でも、過去画像ＤＢ８に予め記憶された過去ＢＧＭ画像の中に、検出されなかった後方駐車区画線Ｕを撮像した過去ＢＧＭ画像がある場合には（Ｓ１０９：ＹＥＳ）、該当する過去ＢＧＭ画像を現在の車両２に合わせて視点変換した後に現在のＢＧＭ画像に重畳させる（Ｓ１１０）ので、後方駐車区画線Ｕの全部が障害物等によって隠れていたり、塗装が剥げていたりする場合でも完全な後方駐車区画線Ｕを液晶ディスプレイ５上に表示することが可能となる。
従って、どのような状況においても後方駐車区画線Ｕを完全な形状で表示させ、運転者は表示された後方駐車区画線Ｕを基準とすることにより、駐車区画線Ｔに対する車両２の傾斜を無くして駐車操作を容易に行うことが可能となる。
更に、元々後方駐車区画線Ｕがない路面に対しても、車両２が駐車を行う駐車区画線Ｔから、新たに後方駐車区画線Ｕに相当する区画線１１５、１１６を延長して表示させるので、区画線１１５、１１６を基準にすることにより駐車区画線Ｔに対して車両２の車体を傾けることなく、適切な位置に容易に駐車させることが可能となる。
【０１０９】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第１実施形態及び第２実施形態では、駐車区画線Ｔが完全に検出された場合にのみ画像データを過去画像ＤＢ８に記録し、不完全な駐車区画線Ｔが検出された場合の駐車区画線の補完に使用することとしているが、完全に検出されない場合でも画像データの記録を行い、より完全に近い駐車区画線Ｔが検出された場合に、過去画像ＤＢ８に記録された画像データを書き換えるようにしても良い。
【０１１０】
また、第１実施形態及び第２実施形態では、前記図８の駐車区画線補完処理に関して、先ず過去画像ＤＢを検索し（Ｓ２１）、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在する場合（Ｓ２２：ＹＥＳ）に、ＢＧＭ画像重畳処理（Ｓ２３）を行い、過去ＢＧＭ画像が存在しない場合（Ｓ２２：ＮＯ）に、更に描画処理が可能か否かを判定（Ｓ２７）して駐車区画線描画処理（Ｓ２８）を行うこととしているが、Ｓ２２とＳ２７の判定順序は逆でも良い。例えば、過去ＢＧＭ画像の存在を判定する前に先ず描画処理が可能か否かを判定し（Ｓ２７）、可能な場合（Ｓ２７：ＹＥＳ）に駐車区画線描画処理（Ｓ２８）を行い、不可能である場合（Ｓ２７：ＮＯ）に更に過去ＢＧＭ画像が存在するか否かを判定（Ｓ２２）してＢＧＭ画像重畳処理（Ｓ２３）を行うようにしても良い。
【０１１１】
また、第１実施形態及び第２実施形態では、前記図８の駐車区画線補完処理に関して、過去画像ＤＢ８中に同一の駐車区画線Ｔを撮像した過去ＢＧＭ画像が存在する場合（Ｓ２２：ＹＥＳ）に、ＢＧＭ画像重畳処理（Ｓ２３）を行い、過去ＢＧＭ画像が存在しない場合（Ｓ２２：ＮＯ）に、更に描画処理が可能か否かを判定（Ｓ２７）して駐車区画線描画処理（Ｓ２８）を行うこととしているが、Ｓ２２の判定処理においては、同一の駐車区画線Ｔを撮像した過去画像があるか否かを判定するのではなく、検出された駐車区画線Ｔと同一駐車場内の他の駐車区画線Ｔを撮像した過去画像があるか否かを判定することとしても良い。基本的に同一の駐車場は同一形状の駐車区画線Ｔを有するためである。
【図面の簡単な説明】
【０１１２】
【図１】第１実施形態に係る駐車区画監視装置の概略構成図である。
【図２】第１実施形態に係る駐車区画監視装置の制御系を模式的に示すブロック図である。
【図３】第１実施形態に係る過去画像ＤＢ８の記憶領域を示した図である。
【図４】過去画像ＤＢに記録された過去ＢＧＭ画像の内、所定の画像Ａが撮像された時点における車両及び後方カメラの状態を地図上に示した模式図である。
【図５】図４の状態における車両の後方カメラによって撮像されたＢＧＭ画像を示した模式図である。
【図６】第１実施形態に係る駐車区画監視装置における画像処理プログラムのフローチャートである。
【図７】第１実施形態に係る駐車区画監視装置におけるＢＧＭ画像記録処理のサブ処理プログラムのフローチャートである。
【図８】第１実施形態に係る駐車区画監視装置における駐車区画線補完処理のサブ処理プログラムのフローチャートである。
【図９】第１実施形態に係る駐車区画監視装置における過去画像完全重畳処理のサブ処理プログラムのフローチャートである。
【図１０】撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
【図１１】撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
【図１２】（Ａ）及び（Ｂ）はステップ２８において撮像中のＢＧＭ画像に対して不完全部分の駐車区画線を描画して補完する際の具体的処理の手順を示した模式図である。
【図１３】ステップ４３において撮像中のＢＧＭ画像に対して該当する過去ＢＧＭ画像を重畳させる際の具体的処理の手順を示した模式図である。
【図１４】第２実施形態に係る駐車区画監視装置における画像処理プログラムのフローチャートである。
【図１５】後方駐車区画線を有する駐車場に進入した車両と、その際に後方カメラにより撮像されるＢＧＭ画像を示した模式図である。
【図１６】ステップ１０７において撮像中のＢＧＭ画像に対して不完全部分の後方駐車区画線を補完する際の一例を示した模式図である。
【図１７】ステップ１１１において撮像中のＢＧＭ画像に対して新たに後方駐車区画線を追加する際の一例を示した模式図である。
【符号の説明】
【０１１３】
１ 駐車区画監視装置
２ 車両
３ 後方カメラ
５ 液晶ディスプレイ
７ 現在地検出部
８ 過去画像ＤＢ
９ 車両ＥＣＵ
２１ ＣＰＵ
３１ 駐車区画線検出処理部
３２ 車両推定軌跡作成処理部
３３ カメラ位置検出処理部
３４ 画像重畳処理部
３５ 重畳画像表示処理部
３６ 駐車区画線補完処理部
３７ 補完画像表示処理部
３８ 駐車区画線存在検出処理部
４１ ＧＰＳ
４２ 地磁気センサ
５２ 駐車区画
Ｔ 駐車区画線
Ｕ 後方駐車区画線
【特許請求の範囲】
【請求項１】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、
前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、
前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画の駐車区画線を検出する駐車区画線検出手段と、
前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、
前記駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、
前記画像重畳手段によって重畳された画像を前記画像表示手段に表示する重畳画像表示手段と、
を有することを特徴とする駐車区画監視装置。
【請求項２】
前記車両の現在地を検出する現在地検出手段と、
前記車両の進行方向を検出する自車方向検出手段と、
前記現在地検出手段及び前記自車方向検出手段の検出結果に基づいて前記撮像手段の現在位置及び視線方向を特定する撮像手段特定手段と、を有し、
前記過去画像記憶手段には、前記過去画像とともに過去画像を撮像した際の前記撮像手段の現在位置及び視線方向を特定する特定情報が記憶され、
前記画像重畳手段は、前記過去画像記憶手段に記憶された前記特定情報に基づいて前記過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする請求項１に記載の駐車区画監視装置。
【請求項３】
前記駐車区画線検出手段によって検出された駐車区画線が不完全であって、且つ前記過去画像記憶手段に前記画像重畳手段により重畳可能な過去画像が記憶されていない場合に、検出された前記駐車区画線に基づいて前記撮像手段により撮像された画像の駐車区画線を補完する駐車区画線補完手段と、
前記駐車区画線補完手段によって補完された画像を前記画像表示手段に表示する補完画像表示手段と、を有することを特徴とする請求項１又は請求項２に記載の駐車区画監視装置。
【請求項４】
前記駐車区画線検出手段により前記車両が駐車を行う駐車区画の駐車区画線が検出されなかった場合に、前記過去画像記憶手段に記憶された過去画像と前記撮像手段の現在位置及び視線方向を特定する情報とに基づいて駐車区画線が存在することを検出する駐車区画線存在検出手段を有し、
前記画像重畳手段は、前記駐車区画線存在検出手段によって前記駐車区画線が存在することが検出された場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする請求項１乃至請求項３のいずれかに記載の駐車区画監視装置。
【請求項５】
前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段を備え、
前記画像重畳手段は、前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする請求項１乃至請求項４のいずれかに記載の駐車区画監視装置。
【請求項６】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、
前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、
前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段と、
前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、
前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、
を有することを特徴とする駐車区画監視装置。
【請求項７】
前記隣接駐車区画は、前記車両が駐車を行う駐車区画の後方に位置する駐車区画であることを特徴とする請求項５又は請求項６に記載の駐車区画監視装置。
【請求項１】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、
前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、
前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画の駐車区画線を検出する駐車区画線検出手段と、
前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、
前記駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、
前記画像重畳手段によって重畳された画像を前記画像表示手段に表示する重畳画像表示手段と、
を有することを特徴とする駐車区画監視装置。
【請求項２】
前記車両の現在地を検出する現在地検出手段と、
前記車両の進行方向を検出する自車方向検出手段と、
前記現在地検出手段及び前記自車方向検出手段の検出結果に基づいて前記撮像手段の現在位置及び視線方向を特定する撮像手段特定手段と、を有し、
前記過去画像記憶手段には、前記過去画像とともに過去画像を撮像した際の前記撮像手段の現在位置及び視線方向を特定する特定情報が記憶され、
前記画像重畳手段は、前記過去画像記憶手段に記憶された前記特定情報に基づいて前記過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする請求項１に記載の駐車区画監視装置。
【請求項３】
前記駐車区画線検出手段によって検出された駐車区画線が不完全であって、且つ前記過去画像記憶手段に前記画像重畳手段により重畳可能な過去画像が記憶されていない場合に、検出された前記駐車区画線に基づいて前記撮像手段により撮像された画像の駐車区画線を補完する駐車区画線補完手段と、
前記駐車区画線補完手段によって補完された画像を前記画像表示手段に表示する補完画像表示手段と、を有することを特徴とする請求項１又は請求項２に記載の駐車区画監視装置。
【請求項４】
前記駐車区画線検出手段により前記車両が駐車を行う駐車区画の駐車区画線が検出されなかった場合に、前記過去画像記憶手段に記憶された過去画像と前記撮像手段の現在位置及び視線方向を特定する情報とに基づいて駐車区画線が存在することを検出する駐車区画線存在検出手段を有し、
前記画像重畳手段は、前記駐車区画線存在検出手段によって前記駐車区画線が存在することが検出された場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする請求項１乃至請求項３のいずれかに記載の駐車区画監視装置。
【請求項５】
前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段を備え、
前記画像重畳手段は、前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳することを特徴とする請求項１乃至請求項４のいずれかに記載の駐車区画監視装置。
【請求項６】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像された画像を表示する画像表示手段と、を備え、
前記車両が駐車を行う際に前記画像表示手段により駐車区画を監視する駐車区画監視装置において、
前記撮像手段により撮像した画像に基づいて、前記車両が駐車を行う駐車区画に隣接する隣接駐車区画の駐車区画線を検出する隣接駐車区画線検出手段と、
前記撮像手段により撮像された画像を過去画像として記憶する過去画像記憶手段と、
前記隣接駐車区画線検出手段によって検出された駐車区画線が不完全である場合に、前記過去画像記憶手段に記憶された過去画像を前記撮像手段により撮像された画像に重畳する画像重畳手段と、
を有することを特徴とする駐車区画監視装置。
【請求項７】
前記隣接駐車区画は、前記車両が駐車を行う駐車区画の後方に位置する駐車区画であることを特徴とする請求項５又は請求項６に記載の駐車区画監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−３１１２９９（Ｐ２００６−３１１２９９Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１３２４９２（Ｐ２００５−１３２４９２）
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]