駐車場監視装置及び方法
【課題】駐車場の駐車エリアの利用状況を識別し、その状況を分かりやすく表示する。
【解決手段】カメラ１は、監視するエリアの上方に配置される。制御部２で撮影した画像の処理を行う。第１の射影変換部３は、射影平面を地面として原画像を射影変換する。第２の射影画像変換部４は、射影平面を車両の屋根の位置の高さとして原画像を射影変換する。画像合成部７は、第１の射影画像変換部３と第２の射影画像変換部４の出力側に配置され、出力された画像を合成する。車両位置座標検出部９は、画像合成部７で合成した画像より、車両の位置を合成画像上のある定点を座標原点とした駐車場座標系の位置として検出する。駐車状況判定部１１は、車両の位置座標と駐車スペースの位置座標を比較することにより、駐車スペースに車両が停止しているかを判定する。表示制御部８は、判定結果を外部のディスプレイ１２に表示する。
【解決手段】カメラ１は、監視するエリアの上方に配置される。制御部２で撮影した画像の処理を行う。第１の射影変換部３は、射影平面を地面として原画像を射影変換する。第２の射影画像変換部４は、射影平面を車両の屋根の位置の高さとして原画像を射影変換する。画像合成部７は、第１の射影画像変換部３と第２の射影画像変換部４の出力側に配置され、出力された画像を合成する。車両位置座標検出部９は、画像合成部７で合成した画像より、車両の位置を合成画像上のある定点を座標原点とした駐車場座標系の位置として検出する。駐車状況判定部１１は、車両の位置座標と駐車スペースの位置座標を比較することにより、駐車スペースに車両が停止しているかを判定する。表示制御部８は、判定結果を外部のディスプレイ１２に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、駐車場の駐車エリアの利用状況を識別し、その状況を分かりやすく表示する駐車場監視装置及びその方法に関する。
【背景技術】
【０００２】
駐車場の利用者は、駐車場内に入ると駐車スペースを入口から順にもしくは目的地から近い順に探すため、駐車場内の一部に車両が渋滞するという状況が起こる。この渋滞により、利用者の回転率が大幅に低下するという事態が生じる。このような事態を防止するために、駐車場の管理者は、駐車場内の状況を常時監視する必要がある。
【０００３】
さらに、停車位置や空車位置を表示するだけでは、駐車エリアに進入しようとしている先行車両までは表示できない。したがって、ドライバーが目標に定めた駐車エリアに到達したときには、既に先行車両が入庫している可能性もある。
【０００４】
そこで、従来技術として、駐車場内の車両位置または空車位置を監視するために、駐車場全体をカメラで撮影して所定時間ごとに差分画像を取る方法が知られている。この差分画像により、移動している車両を検出し、その車が停車した位置を検出する。そして、その車両の停車位置情報を駐車場マップ上にマークを付けるなどして、駐車位置または空車位置を表示し、管理していた（例えば、特許文献１，２参照）。
【０００５】
しかしながら、特許文献１のように車両の位置をカメラにより撮影した原画像により判断する場合には、空いているスペースや車両を判断するために高精度のカメラが必要になる。そのために、システムの導入コストが高くなり、普及が難しい問題点があった。また、高精度のカメラを使用しても、原画像をそのまま使用した場合、遠方のものは小さく表示され識別しにくく、実際の状況が確認できないという問題点もあった。更に移動する車両を認識する場合、原画像の差分で行なうと、車両の影までを誤検出する問題もあった。
【０００６】
そこで、結果表示だけでなく、カメラで撮影した原画像上に検出した車両位置や空車位置などの判定結果を重ね合わせて表示する方法や、原画像の逆透視変換を行ない、より見やすくする処理が行なわれている（例えば、特許文献３参照）。
【０００７】
また、移動する車両を特定する方法として、撮影した画像からエッジ成分を抽出し、抽出されたエッジ成分のうち、所定の範囲内にあるエッジ成分を統合した結果を変換する方法も知られている（例えば、特許文献４参照）。
【０００８】
【特許文献１】特開平４−２９０１９９号公報
【特許文献２】特開２００７−１４０６０６号公報
【特許文献３】特開２０００−９９８９４号公報
【特許文献４】特開平１０−４９６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献３のように、カメラで撮影した原画像上に検出した車両位置や空車位置などの判定結果を重ね合わせて表示する方法では、カメラで撮影した原画像をそのまま使用しているので、遠方のものは小さく表示され識別しにくいことには変わりは無かった。
【００１０】
また、原画像の逆透視変換を行ない領域内の駐車状況を俯瞰するのに近いイメージで表示する場合でも、単に地面に逆透視するため、遠方では、車両が駐車スペースからはみ出ているかどうか判明できないという問題点があった。
【００１１】
さらに、移動中の車両を、特許文献４のように画像中のエッジ成分を抽出して車両と判断する場合、画像中のエッジ成分をつかって検出しても、安定して検出することは難しかった。
【００１２】
本発明は、上記のような課題に鑑みなされたものであり、その目的は、見やすい画面で、且つ駐車スペースに正しく駐車されているかまで分かるようにする駐車場監視装置及び方法を提供することにある。
【課題を解決するための手段】
【００１３】
前記の目的を達成するために、本発明の駐車場監視装置は、駐車場を撮影する撮像装置と、撮像された画像を射影変換する制御部とを備えた駐車場監視装置において、前記制御部は、路面上を射影平面とする射影画像を作成する第１の射影画像変換部と、車両の屋根の高さを射影平面とする射影画像を作成する第２の射影画像変換部と、前記第１の射影画像変換部で射影変換した画像中から、カメラに近い部分を抽出する第１の画像抽出部と、前記第２の射影画像変換部で射影変換した画像中から、カメラに遠い部分を抽出する第２の画像抽出部と、前記第１の射影画像変換部と前記第２の射影画像変換部が変換した射影画像を合成する画像合成部と、前記画像合成部によって得られた合成画像を表示装置に表示する表示制御部とを備えることを特徴とする。
【００１４】
本発明において、前記制御部は、駐車場内における各駐車スペースの座標を記録した駐車スペース座標記録部と、この駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、前記画像合成部で合成した画像上における車両の座標位置を検出する車両位置座標検出部とを備えることもできる。
【００１５】
本発明において、前記制御部は、前記車両位置座標検出部が検出した車両の座標と、駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、駐車スペースにおける車両の駐車状況を判定する駐車状況判定部を備えることもできる。
【００１６】
本発明において、前記撮像装置が複数設けられ、複数の撮像装置で得られた原画像に基づいて各駐車スペースごとに画像の合成を行い、いずれかの撮像装置の画像を選択して接合することもできる。
【００１７】
本発明において、いずれかの撮像装置の画像を選択するかを予め記録した画像選択部を備え、各撮像装置の合成画像を、この画像選択部の記録に基づいて選択して接合することもできる。
【００１８】
本発明において、前記制御部は、合成画像のデータを一定時間ごとに保存する合成画像保存部と、前記合成画像保存部に保存された前後の画像の減算を行う差分演算部とを備えることもできる。
【００１９】
さらに、前記の各装置において実行される駐車場を監視する方法も本発明の一態様である。
【発明の効果】
【００２０】
本発明によれば、射影変換して見やすい画像を得ると共に、射影変換によって生ずる歪を補正し、車両の輪郭を正しく表示することができる。特に、カメラから遠方の車両であっても、あたかも車両の真上に近い角度から撮影したかのような画像を得ることができるため、駐車位置を正確に把握することができる。
【発明を実施するための最良の形態】
【００２１】
（１）第１の実施形態
以下、本発明の実施形態について、図１〜図６に従って具体的に説明する。各図で、同一または類似の構成部分には共通の符号を付し、重複する説明は省略する。なお、第１の実施形態は、駐車スペースの枠が表示されている駐車場に対して、カメラで撮影した原画像を射影変換し、その変換画像により車両の位置の特定を行うことを可能としたものである。
【００２２】
［第１の実施形態の構成］
図１において、１は駐車場に向けられたカメラで、このカメラ１が本発明の撮像装置に相当する。このカメラ１は、監視するエリアの上方に配置されており、監視エリアを見渡せる位置に配置される。２は前記カメラ１で撮影した画像の処理を行う制御部で、持ち運び可能なパソコンなどのコンピュータ上に設けられ、前記カメラ１とは無線あるいは有線により接続され、情報の授受が行われる。
【００２３】
３は、前記制御部２に設けられた第１の射影画像変換部であり、４は、同じく第２の射影画像変換部である。第１の射影変換部３は、射影平面を駐車場の地面としてカメラ１で撮影した原画像を射影変換する変換部である。また、第２の射影画像変換部４は、射影平面を車両Ｍの屋根の位置の高さ（本実施形態では、一般的な車両Ｍの平均値である１．５ｍとする）の平面として原画像を射影変換する変換部である。
【００２４】
第１の射影画像変換部３の出力側には第１の画像抽出部５が、第２の射影画像変換部４の出力側には第２の画像抽出部６が設けられている。このうち、第１の画像抽出部５は、第１の射影画像変換部３で射影変換された画像のうち、駐車スペースのカメラ側の部分（前半部分）を抽出する。第２の画像抽出部６は、第２の射影画像変換部４で射影変換された画像のうち、駐車スペースのカメラと反対側の部分（後半部分）を抽出する。
【００２５】
７は、前記制御部２に設けられた画像合成部であり、第１の画像抽出部５と第２の画像抽出部６の出力側に配置され、これらより抽出された画像を、第１の射影画像変換部３の画像の一部がカメラ１の近接側に、第２の射影画像変換部の画像の一部がカメラ１の遠方側になるように合成する。８は、表示制御部であり、画像合成部７で合成された画像を、制御部２の外部に設けられた表示装置であるディスプレイ１２に出力し表示する。
【００２６】
９は、車両位置座標検出部であり、画像合成部７で合成した画像上における車両Ｍの座標位置を検出する。すなわち、この車両位置座標検出部９は、画像合成部７で合成した画像中における車両Ｍの輪郭とその駐車スペースの輪郭を抽出する輪郭抽出処理部９ａと、輪郭抽出された車両位置と同じく輪郭抽出された駐車スペース位置のずれを検出する差分検出部９ｂと、輪郭抽出された駐車スペースの座標を、別途用意した駐車スペース座標記録部１０から取得する駐車スペース座標取得部９ｃを備えている。また、この車両位置座標検出部９は、駐車スペース座標取得部９ｃからの座標と前記差分検出部９ｂで得られた駐車スペースと車両Ｍの位置のずれ量に基づいて、車両Ｍの駐車位置の座標を演算する駐車位置演算部９ｄを備えている。
【００２７】
１０は、駐車スペース座標記憶部であり、カメラ１の撮影範囲内にある所定の１点を原点として、各駐車スペースの座標をＸＹ座標で記憶したものである。この場合、各駐車スペースごとに固有の識別番号を付し、その駐車スペースの識別番号とその頂点の座標を記憶する。なお、複数の固定カメラによって広い駐車場を撮影する場合には、駐車場全体を１つの座標系として、その座標系を各カメラで分割して撮影することで、各カメラに撮影された駐車スペースそれぞれの座標をカメラの識別番号と共に記憶する。
【００２８】
１１は、駐車状況判定部であり、車両位置座標検出部９から出力される車両Ｍの位置座標と駐車場スペース座標記憶部８に記憶された駐車スペースの位置座標を比較することにより、駐車スペースに車両Ｍが正確に停止しているかを判定する。そして、この駐車状況判定部１１は、その判定結果に伴い、画像合成部７で合成した変換画像上に警告表示その他のマークやアイコンなどを重ね合わせ、前記表示制御部８を介して、外部のディスプレイ１２に表示する。
【００２９】
［第１の実施形態の作用］
前記のような構成を有する本発明の実施形態の作用を、図２〜図５の原理図及び図６のフローチャートに従って説明する。
【００３０】
なお、本実施形態では、各駐車スペースごとに射影変換、画像の分割、合成処理を行うが、その場合に、白線などの枠で区分された駐車スペースごと、その枠を輪郭抽出し、その輪郭抽出された枠を基準として射影変換する画像の範囲を決定する。これにより、駐車スペースが段違いに配置された場合のように、駐車場内において各駐車スペースがランダムに配置されていても、各駐車スペースごとに車両を検出し、その射影画像を得ることができる。
【００３１】
カメラ１により撮影された画像は、制御部２に入力される（図６のステップ１）。ここで、原画像と射影変換された変換画像との関係は、図２に示すとおりである。すなわち、図２において、Ｏは、カメラ１の視点、Ｌはカメラ１の光軸と直角に配置された撮像面で、ｘ，ｙ平面として定義される。Ｌ’は前記撮像面Ｌに対して所定の角度で配置された射影平面であって、ｕ，ｖとして定義される。本実施形態では、この射影平面Ｌ’は、第１の射影画像変換部３では地面、第２の射影画像変換部４では地面から車両Ｍの高さである１．５ｍ分高い位置に地面と平行に設定された平面である。
【００３２】
撮像面Ｌに撮影された画像（図２中の中心点Ｐ、頂点Ａ，Ｂ，Ｃ，Ｄの四角形）は、射影平面Ｌ’上の変換画像としては、カメラの視点Ｏを中心として各点Ｐ，Ａ，Ｂ，Ｃ，Ｄを通過する放射状の線分が射影平面Ｌ’と交わる点を結んだ画像（図２中の中心点Ｐ’、頂点Ａ’，Ｂ’，Ｃ’，Ｄ’の四角形）として表される。
【００３３】
図３は、第１の射影画像変換部３により、第１の射影平面Ｌ’を地面に設定した場合の投影された立方体（車両Ｍ）の平面図である（ステップ２）。高さのある立方体は、カメラ位置に対し遠方に押し倒したような画像となる。そのため、射影された立方体の平面図形には、車両Ｍの手前位置Ｎは正確な位置を保持できるが、車両Ｍの遠方部分の位置Ｆは、正確な位置よりずれてしまうことを示している。一方、射影平面Ｌ’上に描かれた図形（駐車スペースを示す枠Ｓ）は、正しく射影される。
【００３４】
図４は、第２の射影画像変換部４により、第２の射影平面Ｌ”を車両Ｍの屋根部分（地面から１．５ｍの高さ）に設定した場合の投影された立方体の平面図を表した図である（ステップ３）。第２の射影平面Ｌ”では、高さのある立方体は、前記第１の射影平面Ｌ’に比較すると、カメラ位置に対し手前に押し倒したような画像となる。そのため、射影された立方体の平面図形には、車両Ｍの遠方部分の位置Ｆは正確な位置を保持できるが、車両Ｍの手前位置Ｎは、正確な位置よりずれてしまうことを示している。また、第２の射影平面Ｌ”上に描かれた図形の中で、駐車スペースを示す枠Ｓは、カメラ方向にずれて射影されることになる。
【００３５】
画像合成部７では、図５で示すように、第１の画像変換部３で変換した第１の射影平面Ｌ’の射影画像（ｂ）の中から、地面に描かれた駐車スペースを示す枠Ｓと、駐車スペースのカメラ近傍部分、すなわち射影画像（ｂ）の２点鎖線部分の画像を抽出する（ステップ４）。抽出する画像の範囲は、カメラ近傍部分の駐車スペース枠Ｓの外部から、Ｎ位置までとすることが望ましい。しかし、実際に、正確なＮ位置は車両Ｍの停止位置ごとに異なるからそれを検出することは計算が複雑化する。そこで、本実施形態では、カメラ近傍部分の駐車スペース枠Ｓの外部から駐車スペース枠Ｓの手前から１／４とするが、必ずしもこの位置に限らず、例えば、駐車スペース枠Ｓの外部から駐車スペース枠Ｓの中央までの部分とすることも可能である。
【００３６】
前記画像合成部７では、第２の画像変換部４で変換した第２の射影平面Ｌ”の射影画像（ｃ）の中から、カメラ遠方部、すなわち射影画像（ｃ）の２点鎖線部分の画像を抽出する（ステップ５）。抽出する画像の範囲は、車両Ｍの遠方部分の位置Ｆから車両Ｍの手前位置Ｎ位置までが好ましいが、第１の画像変換部３で変換した射影画像と同様に、正確なＮ位置を検出するのは、計算が複雑である。そこで、本実施形態では、車両Ｍの遠方部分の位置Ｆから駐車スペース枠Ｓの手前から１／４までとする。この位置は、合成する第１の射影平面Ｌ’の射影画像（ｂ）の切り取り位置に合わせて設定する。
【００３７】
なお、画像合成時は、車両Ｍが駐車枠Ｓからはみ出していることも想定して、第１の画像変換部３で変換した射影画像（ｂ）から抽出する画像、第２の画像変換部４で変換した射影画像（ｃ）から抽出する画像、共に、駐車スペース枠Ｓの１０％程度外側から使うこともできる。
【００３８】
その後、前記画像合成部７によって、第１の射影平面Ｌ’の射影画像（ｂ）の一部（カメラに近い前半部分）と、第２の射影平面Ｌ”の射影画像（ｃ）の一部（カメラから離れた後半部分）と合成する（ステップ６）。この合成された画像は、図５（ｄ）に示すように、車両Ｍの前部Ｎが駐車スペースの前の部分に収まり、車両Ｍの後部Ｆが駐車スペースを真上から見た場合の駐車スペース内に収まる位置になる。この画像より駐車状況の判定を行わない場合（ステップ７のＮ０）は、表示制御部８により、これらの情報がディスプレイ１２に表示される（ステップ８）。
【００３９】
この場合、駐車スペースの後ろの部分は、第２の射影平面Ｌ”の射影画像（ｃ）を使用するため、第１の射影平面Ｌ’の射影画像（ｂ）の位置（駐車スペースを真上から見た位置）よりも前方に移動した画像となるが、実際には、駐車スペースの後ろの部分は車両Ｍの後半の部分に隠れて見えないため、支障はない。すなわち、本実施形態の図では、駐車スペースと車両Ｍの関係を分かり易くするため、駐車スペースに比較して車両Ｍを小さく描き、駐車スペースの後半部分が見えるようにしているが、実際には、車両Ｍと駐車スペースの枠Ｓとの間にはそれほど間隔がなく、駐車スペースの後半部分が前方に移動していても、車両Ｍの陰に隠れてしまう。
【００４０】
駐車スペースの後半部分を正確に表示する場合には、第１の射影平面Ｌ’の射影画像（ｂ）と第２の射影平面Ｌ”の射影画像中から、輪郭抽出などの手法により車両Ｍの画像のみを抽出し、この抽出した車両Ｍの画像のみを前記と同様な手段で第１の射影平面Ｌ’の射影画像（ｂ）に対して合成する。このようにすると、本実施形態の図５（ｄ）中の車両Ｍの合成画像が得られるので、その車両Ｍの合成画像を第１の射影平面Ｌ’の射影画像（ｂ）の車両Ｍを抽出した画像（駐車スペースの枠Ｓのみが表示されている画像）に合成することで、駐車スペースは第１の射影平面Ｌ’の射影画像（ｂ）を使用し、車両Ｍは図５（ｄ）合成画像を使用した図５（ｅ）のような画像を得ることができる。
【００４１】
本実施の形態において、予め車両Ｍが駐車していない駐車スペースのみの画像を別途用意しておき、この駐車スペースのみの画像に、車両Ｍは図５（ｄ）中の車両Ｍのみの合成画像を重ね合わせることでも、駐車スペースの枠Ｓを正確に表示し、しかも車両Ｍについては第１の射影平面Ｌ’と第２の射影平面Ｌ”との射影画像の合成画像を表示させることもできる。
【００４２】
このようにして、本実施形態では、駐車場の側方に設けられたカメラ１で撮影した画像を、あたかも車両Ｍの上方（真上に近い位置）から撮影したのと同様な視点で、ディスプレイ１２に表示することが可能になる。
【００４３】
前記のようにディスプレイ１２に表示するだけでなく、本実施形態では、駐車スペース内における車両Ｍの駐車位置の正確な判定や、駐車スペース内に車両Ｍが存在するか否かを自動的に判定することもできる（ステップ７のＹＥＳ）。
【００４４】
すなわち、本実施形態では、そのために車両位置座標検出部９により、次のような処理を行う。まず、車両位置座標検出部９の輪郭抽出処理部９ａにより、画像合成部７で合成した画像（ｄ）中における車両Ｍの輪郭とその駐車スペースの輪郭を抽出する（ステップ１０）。次いで、差分検出部９ｂにより、輪郭抽出された車両位置と同じく輪郭抽出された駐車スペース位置のずれを検出する（ステップ１１）。その後、駐車スペース座標取得部９ｃにより、輪郭抽出された駐車スペースの座標を、駐車スペース座標記録部１０から取得する（ステップ１２）。更に、駐車位置演算部９ｄにより、駐車スペース座標取得部９ｃからの座標と前記差分検出部９ｂで得られた駐車スペースと車両Ｍの位置のずれ量に基づいて、車両Ｍの駐車位置の座標を演算する（ステップ１３）。
【００４５】
このようにすると、車両Ｍの駐車位置が駐車スペースを基準とする座標系で定まるので、車両Ｍの駐車位置を正確に判定できる。その結果、車両Ｍが駐車スペース内に正しく収まっているか、あるいは、駐車スペース内に車両が存在するか否かを自動的に判定することが可能になる。この判定結果は、駐車状況判定部１１により、不正駐車に対する警告表示や駐車場に空きがあるか否かの情報掲示が作成され（ステップ１４）、これらの情報がディスプレイ１２に表示される（ステップ８）。なお、これらの処理は、監視を必要とする間、繰り返され（ステップ９のＮＯ）、監視が不要となると（ステップ９のＹＥＳ）処理を終了する（ＥＮＤ）。
【００４６】
［第１の実施形態の効果］
上記の処理を行う本実施形態によれば、カメラ１で撮影した原画像を射影変換することで、変換時に生じる歪みを補正でき車両の輪郭を正しく表示することができるため、見やすい画像による駐車場監視装置及び方法を提供することが可能になる。特に、図示のように、駐車状況の判定を行った場合には、駐車場に関するより多くの情報を表示できる利点がある。
【００４７】
（２）第２の実施形態
以下、本発明の第２の実施形態について、図７，８に従って具体的に説明する。各図で、同一または類似の構成部分には共通の符号を付し、重複する説明は省略する。なお、第２の実施形態は、駐車スペースの枠が表示されていない駐車場に対して、カメラで撮影した原画像を射影変換し、その変換画像により車両の位置の特定を行うことを可能としたものである。
【００４８】
［第２の実施形態の構成］
前記第１の実施形態では、第１の射影画像変換部３及び第２の射影画像変換部４が、車両と駐車スペースの枠の両方について射影画像を得ていたのに対して、第２の実施形態は、駐車スペースの枠が存在しないので、車両の画像についてのみ第１の射影平面Ｌ’と第２の射影平面Ｌ”の射影画像を得る点で相違する。
【００４９】
また、本実施形態では、第１の射影平面Ｌ’のｕｖ座標系と、前記第１実施形態に設けられた駐車スペース座標記憶部１０に記憶されている各駐車スペースの座標とを変換する座標変換手段１３が設けられている。この座標変換手段１３は、第１の射影平面Ｌ’に射影されている車両のｕｖ座標値（例えば、車両の手前位置Ｎのｕｖ座標値）が、駐車場のある地点を原点とする実際の駐車場の座標系のどの座標値に相当するかを演算する。
【００５０】
［第２の実施形態の作用］
駐車スペース座標記憶部１０を設けた第２の実施形態の駐車場監視装置では、図８のフローチャートに示すように、駐車スペースの枠が表示されていない駐車場でも車両の駐車位置を判定できる。すなわち、カメラ１で駐車場の画像を撮影した後（ステップ１）、第１の射影画像変換部３により第１の射影平面Ｌ’で射影変換することで、車両の前の部分Ｎが正確に位置決めされた画像を得る（ステップ２）。そして、第２の射影画像変換部４により第２の射影平面Ｌ”で射影変換することで、車両の後ろの部分Ｆが正確に位置決めされた画像を得る（ステップ３）。
【００５１】
画像合成部７は、このようにして得られた第１の射影平面Ｌ’の射影画像の前半部分を抽出すると共に（ステップ４）、第２の射影平面Ｌ”の射影画像の後半部分を抽出し（ステップ５）、両者を合成する（ステップ６）。この画像より駐車状況の判定を行わない場合（ステップ７のＮ０）は、表示制御部８により、これらの情報がディスプレイ１２に表示ことも可能である（ステップ８）。そのようにすると、駐車場を撮影したカメラ１の画像に比較して、より高い位置から車両を撮影した画像がディスプレイ１２に表示されることになる。
【００５２】
第２の実施形態において、更に、駐車場に関する種々の情報を表示させるには（ステップ７のＮＯ）、前記座標変換部１１により、第１の射影平面Ｌ’における合成画像の車両の座標（ｕｖ座標）を、実際の駐車場の位置座標に変換する（ステップ１０）。その結果、実際の駐車場の座標系内における車両の合成画像の座標値が判明するので、駐車状況判定部１１により、この車両の座標値と駐車スペースの座標値とを比較して（ステップ１１）、車両が駐車スペースに正確に駐車しているか、あるいは駐車スペースの空満を判定することができる（ステップ１２）。この判定結果は、表示制御部８を介してディスプレイ１２に送られ、表示される（ステップ８）。なお、これらの処理は、監視を必要とする間、繰り返され（ステップ９のＮＯ）、監視が不要となると（ステップ９のＹＥＳ）処理を終了する（ＥＮＤ）。
【００５３】
［第２の実施形態の効果］
上記の処理を行う第２の実施形態によれば、駐車スペースの枠が表示されていない駐車場に対して、カメラ１で撮影した原画像を射影変換することで、変換時に生じる歪みを補正でき車両の輪郭を正しく表示することができる。そのため、見やすい画像による駐車場監視装置及び方法を提供することが可能になる。特に、図示のように、駐車状況の判定を行った場合には、駐車場に関するより多くの情報を表示できる利点がある。
【００５４】
（３）第３の実施形態
第３の発明の実施形態は、複数のカメラで撮影した各原画像を射影変換し、複数枚の射影変換後の画像に対して接合処理を行う。そして、接合処理を施した変換画像により車両の位置の特定を行うことを可能としてものである。
【００５５】
［第３の実施形態の構成］
第３の実施形態は、第１の実施形態の構成において、制御部２に入力するカメラ１を複数台設けたものである。この複数台のカメラは、設置する向きに制限が無く、駐車場に対して複数の方向から撮影するような向きに配置することもできる。
【００５６】
本実施の形態において、制御部２に、各カメラ１からの画像を第１の射影平面Ｌ’に射影変換する第１の射影画像変換部３と、第２の射影平面Ｌ”に射影変換する第２の射影画像変換部４とが設けられ、これら変換部３，４によって作成された射影画像の一部を抽出して合成する画像合成部７が設けられている点は、前記各実施形態と共通である。
【００５７】
一方、本実施の形態においては、各カメラ１が撮影した画像中のどの駐車スペースをディスプレイ１２に表示するかを予め記憶したカメラ画像選択部１４が設けられている。このカメラ画像選択部１４は、各カメラが撮影した駐車スペースの画像が、駐車場のどの座標に位置するかを駐車スペース座標取得部８から取得し、その座標値に基づいて、その駐車スペースがディスプレイ１２に表示すべきものであるか否かを決定する。
【００５８】
このカメラ画像選択部１４は、複数のカメラ１が重複して撮影する駐車スペースとその座標、及び重複して撮影される駐車スペースについては、いずれのカメラの画像を選択して表示するかを定めたデータを記憶するものである。この場合、カメラに近い駐車スペースほど鮮明な撮影画像が得られると共に、射影変換後の画像の変形度も少ないことから、基本的には駐車スペースに近い側のカメラの画像を選択するように指定する。
【００５９】
［第３の実施形態の作用］
このような構成を有する第３の実施形態においては、複数のカメラが画像を射影変換した画像を接合する処理として、モザイキング処理が用いられる。このモザイキング処理とは、撮影対象全体を複数の部分領域に分け、複数の撮影画像を取得し、これらを平面状に正しく配置することにより撮影対象全体が映る大きな画像を生成する処理である。
【００６０】
モザイキング処理を行う場合、組み合わせる画像は、車両の輪郭位置が正しく抽出されている画像が好ましい。例えば、射影平面を道路面に射影平面を設定した第１の射影変換画像のみでは、図９のようにカメラ１で撮影し射影変換した車両Ａの見え方と、カメラ２で撮影し射影変換した車両Ａの見え方が異なってしまう。このように、１台の車両Ａが異なったサイズや位置で示された画像をモザイキング処理すると、歪んだ合成画像となってしまう。
【００６１】
そこで、本実施形態では、単に複数のカメラの画像を直線的な切り口で合成するのではなく、前記カメラ画像選択部１４により、駐車スペース単位で表示する駐車スペース及び車両を決定し、これにより各駐車スペースで画像の歪みが生じないように工夫している。
【００６２】
［第３の実施形態の効果］
以上のような、第３の実施形態によれば、複数のカメラで駐車場を分割して撮影した原画像を、各原画像ごとに射影変換して合成した画像を、予め定められた駐車スペースごとにどのカメラの画像を選択するかを決めておいて、全体の画像を得るようにしたので、画像の接合部分に歪みが生じることなく、見やすい駐車場の画像を得ることができる。その結果、広大な駐車場であっても、多数のカメラの画像を合成することで、駐車場の利用状況を分かり易く表示することができる。
【００６３】
（４）第４の実施形態
第４の発明の実施形態は、カメラで撮影した各原画像を射影変換し、射影変換後の画像の差分を取ることにより、移動車両を検出することを可能としたものである。
【００６４】
［第４の実施形態の構成］
図１０において、５は画像合成部であり、第１の射影画像変換部３と第２の射影画像変換部４の出力側に配置され、これらより出力された画像を合成する。１３は、合成画像保存部であり、合成画像のデータを一定時間（例えば、Ｔ１，Ｔ２，Ｔ３・・・Ｔｎ）ごとに保存する。１４は、差分演算部であり、合成画像保存部１５に保存された前後の画像の減算を行うことにより、移動中の車両或いは移動状態から停止した車両を検出する。差分演算部１６の演算結果は、表示制御部８に対して出力する。
【００６５】
［第４の実施形態の作用］
このような構成を有する第４の実施形態においては、合成画像保存部１１には、カメラ１で撮影され、その後、前記第１、第２実施形態に示したような手順で作成された各時間Ｔ１，Ｔ２，Ｔ３・・・Ｔｎごとの画像データが順に保存されている。そこで、この保存された前後のデータの差分をとることにより、移動する車両があった場合は検出することができる。
【００６６】
［第４の実施形態の効果］
以上のような、第４の実施形態によれば、単に移動する車両の画像データの差分を取る従来技術に比較して、車両の画像をカメラの視線よりもより高い位置から見た角度で表示することができるので、カメラから遠い位置を移動する車両であっても明確に表示することができる。その結果、駐車場内を移動する車両を容易かつ正確に把握することができ、車両の案内や不法侵入する車両の発見などに効果的である。
【００６７】
（５）第５の実施形態
第５の発明の実施形態は、前記各実施形態が第１の射影平面Ｌ’と第２の射影平面Ｌ”への射影画像を合成することで、駐車スペース内における車両の位置を分かり易く表示したものであのに対して、第１の射影平面Ｌ’に対する射影画像のみを使用して、同様の作用効果を得るものである。すなわち、本実施形態は、第１の射影平面Ｌ’における駐車スペースの後半の部分を圧縮することにより、第２の射影平面Ｌ”の画像を合成するのと同様な効果を発揮させたものである。
【００６８】
［第５の実施形態の構成］
図１１において、１は駐車場に向けられたカメラである。このカメラ１は、監視するエリアの上方に配置されており、監視エリアを見渡せる位置に配置される。２は制御部である。持ち運び可能な大きさのカメラで撮影した画像の処理を行う。
【００６９】
３は第１の射影画像変換部であり、この第１の射影画像変換部３は、射影平面を地面としてカメラ１で撮影した原画像を射影変換するものである。本実施形態では、この第１の射影画像変換部３の出力側には、画像分割部１７が設けられている。この画像分割部１７は、この第１の射影画像変換部３によって得られた射影画像を、駐車スペース枠Ｓのカメラ側に近い部分から、例えば駐車スペースの長さの１／４部分を境界として、前後２つの部分に分割する。この画像分割部１７には、画像分割部１７によって分割された駐車スペースの後半の部分を圧縮する画像圧縮部１８が設けられている。
【００７０】
７は画像合成部であり、画像分割部１７と画像圧縮部１８の出力側に配置され、画像分割部１７で分割された前半部分（例えば、１／４部分）の画像と、画像圧縮部１８によって圧縮された後半の部分（例えば、３／４部分）の画像を合成する。この画像合成部７は、そこで合成された画像を、表示制御部８を介して制御部２の外部に設けられた表示装置のディスプレイ１２に対して出力する。
【００７１】
［第５の実施形態の作用］
このような構成を有する第５の実施形態の画像圧縮部１８においては、第１の画像変換部３で変換した射影画像から、駐車スペースの後半部分を取り出して、圧縮する。この場合の圧縮率は、次のようにして求める。
【００７２】
図１１に示すカメラの設置位置の高さＨｏ、車両の長さＢ、車両の高さＧｏ、カメラの中心軸とカメラ主点を通る垂直線の角度θ、車両後端の射影線とカメラ主点を通る垂直線との角度θｏ、カメラの中心軸と車両後端の射影線との角度α、カメラの主点から等価撮像面までの距離ｆ、及び図１２に示す等価撮像面と車両後端の射影線との交点と等価撮像面とカメラ中心線の交点との距離ｙとに基づいて、下記の式１より、第１の射影画像で、車両として投影される長さであるＳ＋Ｂを求める。ここで、Ｂは投影される車両自体の長さである。一方、Ｓは、カメラから離れた側の車両の屋根が投影された位置と、実際の車両位置までの距離（車両の影の長さ）である。また、Ｌは、カメラ主点を通る垂直線と車両後端の投影面の位置との距離である。
【００７３】
［数１］
【００７４】
また、代表的な車両の長さＢｏと、高さＧｏを用いると、射影によって生じる車両の代表的な見掛けの拡張率Ｒは、
[数２]
Ｒ＝（Ｓ＋Ｂｏ）／Ｂｏ ・・・(6)
となる。以上から、駐車スペースの画像上の位置ｙによって、式(5)(6)から、車両の拡張率Ｒが求まるので、ｙ位置に応じて、拡張率Ｒの逆数を圧縮率として、第１の射影平面Ｌ’の射影画像の後半部分を圧縮する。
【００７５】
具体例として、図１３に示すように、駐車スペース枠の手前から１／４〜１／２の位置Ｄを基準として、その撮影画面上のｙ座標から拡張率Ｒを求め、長さＫｌ、幅Ｋｗの仮想枠内（図１３の破線内）の画像の長さ方向を、Ｋｌ／Ｒになるように圧縮することができる。この場合、Ｋｌ及びＫｗは以下のような値にするのが好ましい。
Ｋｌ≒駐車スペース枠長さ（Ｅ)×１〜１．２
Ｋｗ≒駐車スペース幅Ｅｗ〜車両幅Ｂｗの範囲
【００７６】
［第５の実施形態の効果］
上記の処理を行う第５の実施形態によれば、第１の射影平面Ｌ’に対する射影画像の後半部分を圧縮するという簡単な処理により、第２の射影平面Ｌ”の画像を合成する前記実施形態と同様に、車両をその上方から見下ろすような角度でディスプレイに表示することが可能になる。
【００７７】
（６）他の実施形態
本発明は、前記各実施形態に限定されるものではなく、以下のような他の実施形態も包含する。
【００７８】
（ａ）第１の射影変換部３で変換した射影画像と第２の画像変換部４で変換した射影画像から、車両の輪郭を補正した合成画像を作成したが、第１の射影変換画像のみで合成画像を作成しても良い。例えば、第１の射影変換画像（ｂ）のカメラ遠方の伸び量Ｋは、カメラの設置条件と、車両の高さ、及び駐車座標位置によって算出されるので、擬似的に圧縮して表示することもできる。
【００７９】
（ｂ）第２の射影変換画像は車両の屋根の部分の位置を正確に投影表示することができることから、車両の屋根部分に注目することで正しい車両位置を追跡することができる。
【００８０】
（ｃ）制御部２の駐車車両判定部９において、各駐車スペースにおける駐車車両の有無のパターンを示した画像を作成する場合に、合成画像にするものは車両の有無を示すパターンでなくても良い。例えば、第２の射影変換画像を用いると、車両の屋根部分の色を抽出することも可能であるので、車両の有無を示すパターンの代りに、駐車してある車両の色を表示することも可能である。
【００８１】
（ｄ）カメラ１は、静止画を撮影するカメラでなくてもよい。例えば、動画に対しても、動画の１コマ、１コマに対して画像の変換処理を行うことで、リアルタイムでも表示することができる。
【００８２】
（ｅ）前記各実施形態は、いずれも個々の駐車スペースや車両ごとに射影変換を行ったものであるが、格子状に整然と並んだ駐車場の場合には、横一列の駐車スペースについて、一挙に第１の射影平面Ｌ’と第２の射影平面Ｌ”との射影変換を行い、その前半部分と後半部分とを抽出して、合成することも可能である。この場合は、個々の駐車スペースや車両の輪郭抽出による検出が不要となり、原画像中の予め定めた範囲について一度に射影変換を行うことで、処理を簡便化することができる。
【００８３】
（ｆ）本発明において、「車両の屋根の高さ」とは、必ずしも、射影変換する原画像に表示された車両の屋根の高さをいうものではなく、屋根の高さに近い値として、予め設定された寸法を示すものである。しかし、原画像中から輪郭抽出などの手法により車両の外径を検出し、その外形寸法とカメラの高さ、カメラとの距離などのデータに基づいて、原画像中の個々の車両についてその屋根の高さが判別した場合には、個々の車両ごとに第２の射影平面Ｌ”の高さを異ならせることも可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の第１の実施形態の構成を示すブロック図。
【図２】射影変換の原理図を示す図。
【図３】第１の射影変換部３における立体物の射影変換を示す図。
【図４】第２の射影変換部４における立体物の射影変換を示す図。
【図５】画像合成部６における画像合成の例示す図。
【図６】本発明の第１の実施形態におけるフローチャート。
【図７】本発明の第２の実施形態の構成を示すブロック図。
【図８】本発明の第２の実施形態におけるフローチャート。
【図９】本発明の第３の実施の形態の構成を示すブロック図。
【図１０】複数のカメラで監視する場合のカメラの配置と、共通視野における車両の見え方を示す図。
【図１１】本発明の第４の実施形態の構成を示す図。
【図１２】本発明の第５の実施形態の構成を示す図。
【図１３】本発明の第５の実施形態のカメラと車両位置を示す図。
【図１４】本発明の第５の実施形態のカメラ部分の拡大図。
【図１５】本発明の第５の実施形態の射影画像を圧縮の例を示す図。
【符号の説明】
【００８５】
１…カメラ
２…制御部
３…第１の画像変換部
４…第２の画像変換部
５…第１の画像抽出部
６…第２の画像抽出部
７…画像合成部
８…表示制御部
９…車両位置座標検出部
１０…駐車スペース座標記憶部
１１…駐車車両判定部
１２…ディスプレイ
１３…座標変換部
１４…カメラ画像選択部
１５…合成画像保存部
１６…差分演算部
１７…画像分割部
１８…画像圧縮部
【技術分野】
【０００１】
本発明は、駐車場の駐車エリアの利用状況を識別し、その状況を分かりやすく表示する駐車場監視装置及びその方法に関する。
【背景技術】
【０００２】
駐車場の利用者は、駐車場内に入ると駐車スペースを入口から順にもしくは目的地から近い順に探すため、駐車場内の一部に車両が渋滞するという状況が起こる。この渋滞により、利用者の回転率が大幅に低下するという事態が生じる。このような事態を防止するために、駐車場の管理者は、駐車場内の状況を常時監視する必要がある。
【０００３】
さらに、停車位置や空車位置を表示するだけでは、駐車エリアに進入しようとしている先行車両までは表示できない。したがって、ドライバーが目標に定めた駐車エリアに到達したときには、既に先行車両が入庫している可能性もある。
【０００４】
そこで、従来技術として、駐車場内の車両位置または空車位置を監視するために、駐車場全体をカメラで撮影して所定時間ごとに差分画像を取る方法が知られている。この差分画像により、移動している車両を検出し、その車が停車した位置を検出する。そして、その車両の停車位置情報を駐車場マップ上にマークを付けるなどして、駐車位置または空車位置を表示し、管理していた（例えば、特許文献１，２参照）。
【０００５】
しかしながら、特許文献１のように車両の位置をカメラにより撮影した原画像により判断する場合には、空いているスペースや車両を判断するために高精度のカメラが必要になる。そのために、システムの導入コストが高くなり、普及が難しい問題点があった。また、高精度のカメラを使用しても、原画像をそのまま使用した場合、遠方のものは小さく表示され識別しにくく、実際の状況が確認できないという問題点もあった。更に移動する車両を認識する場合、原画像の差分で行なうと、車両の影までを誤検出する問題もあった。
【０００６】
そこで、結果表示だけでなく、カメラで撮影した原画像上に検出した車両位置や空車位置などの判定結果を重ね合わせて表示する方法や、原画像の逆透視変換を行ない、より見やすくする処理が行なわれている（例えば、特許文献３参照）。
【０００７】
また、移動する車両を特定する方法として、撮影した画像からエッジ成分を抽出し、抽出されたエッジ成分のうち、所定の範囲内にあるエッジ成分を統合した結果を変換する方法も知られている（例えば、特許文献４参照）。
【０００８】
【特許文献１】特開平４−２９０１９９号公報
【特許文献２】特開２００７−１４０６０６号公報
【特許文献３】特開２０００−９９８９４号公報
【特許文献４】特開平１０−４９６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献３のように、カメラで撮影した原画像上に検出した車両位置や空車位置などの判定結果を重ね合わせて表示する方法では、カメラで撮影した原画像をそのまま使用しているので、遠方のものは小さく表示され識別しにくいことには変わりは無かった。
【００１０】
また、原画像の逆透視変換を行ない領域内の駐車状況を俯瞰するのに近いイメージで表示する場合でも、単に地面に逆透視するため、遠方では、車両が駐車スペースからはみ出ているかどうか判明できないという問題点があった。
【００１１】
さらに、移動中の車両を、特許文献４のように画像中のエッジ成分を抽出して車両と判断する場合、画像中のエッジ成分をつかって検出しても、安定して検出することは難しかった。
【００１２】
本発明は、上記のような課題に鑑みなされたものであり、その目的は、見やすい画面で、且つ駐車スペースに正しく駐車されているかまで分かるようにする駐車場監視装置及び方法を提供することにある。
【課題を解決するための手段】
【００１３】
前記の目的を達成するために、本発明の駐車場監視装置は、駐車場を撮影する撮像装置と、撮像された画像を射影変換する制御部とを備えた駐車場監視装置において、前記制御部は、路面上を射影平面とする射影画像を作成する第１の射影画像変換部と、車両の屋根の高さを射影平面とする射影画像を作成する第２の射影画像変換部と、前記第１の射影画像変換部で射影変換した画像中から、カメラに近い部分を抽出する第１の画像抽出部と、前記第２の射影画像変換部で射影変換した画像中から、カメラに遠い部分を抽出する第２の画像抽出部と、前記第１の射影画像変換部と前記第２の射影画像変換部が変換した射影画像を合成する画像合成部と、前記画像合成部によって得られた合成画像を表示装置に表示する表示制御部とを備えることを特徴とする。
【００１４】
本発明において、前記制御部は、駐車場内における各駐車スペースの座標を記録した駐車スペース座標記録部と、この駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、前記画像合成部で合成した画像上における車両の座標位置を検出する車両位置座標検出部とを備えることもできる。
【００１５】
本発明において、前記制御部は、前記車両位置座標検出部が検出した車両の座標と、駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、駐車スペースにおける車両の駐車状況を判定する駐車状況判定部を備えることもできる。
【００１６】
本発明において、前記撮像装置が複数設けられ、複数の撮像装置で得られた原画像に基づいて各駐車スペースごとに画像の合成を行い、いずれかの撮像装置の画像を選択して接合することもできる。
【００１７】
本発明において、いずれかの撮像装置の画像を選択するかを予め記録した画像選択部を備え、各撮像装置の合成画像を、この画像選択部の記録に基づいて選択して接合することもできる。
【００１８】
本発明において、前記制御部は、合成画像のデータを一定時間ごとに保存する合成画像保存部と、前記合成画像保存部に保存された前後の画像の減算を行う差分演算部とを備えることもできる。
【００１９】
さらに、前記の各装置において実行される駐車場を監視する方法も本発明の一態様である。
【発明の効果】
【００２０】
本発明によれば、射影変換して見やすい画像を得ると共に、射影変換によって生ずる歪を補正し、車両の輪郭を正しく表示することができる。特に、カメラから遠方の車両であっても、あたかも車両の真上に近い角度から撮影したかのような画像を得ることができるため、駐車位置を正確に把握することができる。
【発明を実施するための最良の形態】
【００２１】
（１）第１の実施形態
以下、本発明の実施形態について、図１〜図６に従って具体的に説明する。各図で、同一または類似の構成部分には共通の符号を付し、重複する説明は省略する。なお、第１の実施形態は、駐車スペースの枠が表示されている駐車場に対して、カメラで撮影した原画像を射影変換し、その変換画像により車両の位置の特定を行うことを可能としたものである。
【００２２】
［第１の実施形態の構成］
図１において、１は駐車場に向けられたカメラで、このカメラ１が本発明の撮像装置に相当する。このカメラ１は、監視するエリアの上方に配置されており、監視エリアを見渡せる位置に配置される。２は前記カメラ１で撮影した画像の処理を行う制御部で、持ち運び可能なパソコンなどのコンピュータ上に設けられ、前記カメラ１とは無線あるいは有線により接続され、情報の授受が行われる。
【００２３】
３は、前記制御部２に設けられた第１の射影画像変換部であり、４は、同じく第２の射影画像変換部である。第１の射影変換部３は、射影平面を駐車場の地面としてカメラ１で撮影した原画像を射影変換する変換部である。また、第２の射影画像変換部４は、射影平面を車両Ｍの屋根の位置の高さ（本実施形態では、一般的な車両Ｍの平均値である１．５ｍとする）の平面として原画像を射影変換する変換部である。
【００２４】
第１の射影画像変換部３の出力側には第１の画像抽出部５が、第２の射影画像変換部４の出力側には第２の画像抽出部６が設けられている。このうち、第１の画像抽出部５は、第１の射影画像変換部３で射影変換された画像のうち、駐車スペースのカメラ側の部分（前半部分）を抽出する。第２の画像抽出部６は、第２の射影画像変換部４で射影変換された画像のうち、駐車スペースのカメラと反対側の部分（後半部分）を抽出する。
【００２５】
７は、前記制御部２に設けられた画像合成部であり、第１の画像抽出部５と第２の画像抽出部６の出力側に配置され、これらより抽出された画像を、第１の射影画像変換部３の画像の一部がカメラ１の近接側に、第２の射影画像変換部の画像の一部がカメラ１の遠方側になるように合成する。８は、表示制御部であり、画像合成部７で合成された画像を、制御部２の外部に設けられた表示装置であるディスプレイ１２に出力し表示する。
【００２６】
９は、車両位置座標検出部であり、画像合成部７で合成した画像上における車両Ｍの座標位置を検出する。すなわち、この車両位置座標検出部９は、画像合成部７で合成した画像中における車両Ｍの輪郭とその駐車スペースの輪郭を抽出する輪郭抽出処理部９ａと、輪郭抽出された車両位置と同じく輪郭抽出された駐車スペース位置のずれを検出する差分検出部９ｂと、輪郭抽出された駐車スペースの座標を、別途用意した駐車スペース座標記録部１０から取得する駐車スペース座標取得部９ｃを備えている。また、この車両位置座標検出部９は、駐車スペース座標取得部９ｃからの座標と前記差分検出部９ｂで得られた駐車スペースと車両Ｍの位置のずれ量に基づいて、車両Ｍの駐車位置の座標を演算する駐車位置演算部９ｄを備えている。
【００２７】
１０は、駐車スペース座標記憶部であり、カメラ１の撮影範囲内にある所定の１点を原点として、各駐車スペースの座標をＸＹ座標で記憶したものである。この場合、各駐車スペースごとに固有の識別番号を付し、その駐車スペースの識別番号とその頂点の座標を記憶する。なお、複数の固定カメラによって広い駐車場を撮影する場合には、駐車場全体を１つの座標系として、その座標系を各カメラで分割して撮影することで、各カメラに撮影された駐車スペースそれぞれの座標をカメラの識別番号と共に記憶する。
【００２８】
１１は、駐車状況判定部であり、車両位置座標検出部９から出力される車両Ｍの位置座標と駐車場スペース座標記憶部８に記憶された駐車スペースの位置座標を比較することにより、駐車スペースに車両Ｍが正確に停止しているかを判定する。そして、この駐車状況判定部１１は、その判定結果に伴い、画像合成部７で合成した変換画像上に警告表示その他のマークやアイコンなどを重ね合わせ、前記表示制御部８を介して、外部のディスプレイ１２に表示する。
【００２９】
［第１の実施形態の作用］
前記のような構成を有する本発明の実施形態の作用を、図２〜図５の原理図及び図６のフローチャートに従って説明する。
【００３０】
なお、本実施形態では、各駐車スペースごとに射影変換、画像の分割、合成処理を行うが、その場合に、白線などの枠で区分された駐車スペースごと、その枠を輪郭抽出し、その輪郭抽出された枠を基準として射影変換する画像の範囲を決定する。これにより、駐車スペースが段違いに配置された場合のように、駐車場内において各駐車スペースがランダムに配置されていても、各駐車スペースごとに車両を検出し、その射影画像を得ることができる。
【００３１】
カメラ１により撮影された画像は、制御部２に入力される（図６のステップ１）。ここで、原画像と射影変換された変換画像との関係は、図２に示すとおりである。すなわち、図２において、Ｏは、カメラ１の視点、Ｌはカメラ１の光軸と直角に配置された撮像面で、ｘ，ｙ平面として定義される。Ｌ’は前記撮像面Ｌに対して所定の角度で配置された射影平面であって、ｕ，ｖとして定義される。本実施形態では、この射影平面Ｌ’は、第１の射影画像変換部３では地面、第２の射影画像変換部４では地面から車両Ｍの高さである１．５ｍ分高い位置に地面と平行に設定された平面である。
【００３２】
撮像面Ｌに撮影された画像（図２中の中心点Ｐ、頂点Ａ，Ｂ，Ｃ，Ｄの四角形）は、射影平面Ｌ’上の変換画像としては、カメラの視点Ｏを中心として各点Ｐ，Ａ，Ｂ，Ｃ，Ｄを通過する放射状の線分が射影平面Ｌ’と交わる点を結んだ画像（図２中の中心点Ｐ’、頂点Ａ’，Ｂ’，Ｃ’，Ｄ’の四角形）として表される。
【００３３】
図３は、第１の射影画像変換部３により、第１の射影平面Ｌ’を地面に設定した場合の投影された立方体（車両Ｍ）の平面図である（ステップ２）。高さのある立方体は、カメラ位置に対し遠方に押し倒したような画像となる。そのため、射影された立方体の平面図形には、車両Ｍの手前位置Ｎは正確な位置を保持できるが、車両Ｍの遠方部分の位置Ｆは、正確な位置よりずれてしまうことを示している。一方、射影平面Ｌ’上に描かれた図形（駐車スペースを示す枠Ｓ）は、正しく射影される。
【００３４】
図４は、第２の射影画像変換部４により、第２の射影平面Ｌ”を車両Ｍの屋根部分（地面から１．５ｍの高さ）に設定した場合の投影された立方体の平面図を表した図である（ステップ３）。第２の射影平面Ｌ”では、高さのある立方体は、前記第１の射影平面Ｌ’に比較すると、カメラ位置に対し手前に押し倒したような画像となる。そのため、射影された立方体の平面図形には、車両Ｍの遠方部分の位置Ｆは正確な位置を保持できるが、車両Ｍの手前位置Ｎは、正確な位置よりずれてしまうことを示している。また、第２の射影平面Ｌ”上に描かれた図形の中で、駐車スペースを示す枠Ｓは、カメラ方向にずれて射影されることになる。
【００３５】
画像合成部７では、図５で示すように、第１の画像変換部３で変換した第１の射影平面Ｌ’の射影画像（ｂ）の中から、地面に描かれた駐車スペースを示す枠Ｓと、駐車スペースのカメラ近傍部分、すなわち射影画像（ｂ）の２点鎖線部分の画像を抽出する（ステップ４）。抽出する画像の範囲は、カメラ近傍部分の駐車スペース枠Ｓの外部から、Ｎ位置までとすることが望ましい。しかし、実際に、正確なＮ位置は車両Ｍの停止位置ごとに異なるからそれを検出することは計算が複雑化する。そこで、本実施形態では、カメラ近傍部分の駐車スペース枠Ｓの外部から駐車スペース枠Ｓの手前から１／４とするが、必ずしもこの位置に限らず、例えば、駐車スペース枠Ｓの外部から駐車スペース枠Ｓの中央までの部分とすることも可能である。
【００３６】
前記画像合成部７では、第２の画像変換部４で変換した第２の射影平面Ｌ”の射影画像（ｃ）の中から、カメラ遠方部、すなわち射影画像（ｃ）の２点鎖線部分の画像を抽出する（ステップ５）。抽出する画像の範囲は、車両Ｍの遠方部分の位置Ｆから車両Ｍの手前位置Ｎ位置までが好ましいが、第１の画像変換部３で変換した射影画像と同様に、正確なＮ位置を検出するのは、計算が複雑である。そこで、本実施形態では、車両Ｍの遠方部分の位置Ｆから駐車スペース枠Ｓの手前から１／４までとする。この位置は、合成する第１の射影平面Ｌ’の射影画像（ｂ）の切り取り位置に合わせて設定する。
【００３７】
なお、画像合成時は、車両Ｍが駐車枠Ｓからはみ出していることも想定して、第１の画像変換部３で変換した射影画像（ｂ）から抽出する画像、第２の画像変換部４で変換した射影画像（ｃ）から抽出する画像、共に、駐車スペース枠Ｓの１０％程度外側から使うこともできる。
【００３８】
その後、前記画像合成部７によって、第１の射影平面Ｌ’の射影画像（ｂ）の一部（カメラに近い前半部分）と、第２の射影平面Ｌ”の射影画像（ｃ）の一部（カメラから離れた後半部分）と合成する（ステップ６）。この合成された画像は、図５（ｄ）に示すように、車両Ｍの前部Ｎが駐車スペースの前の部分に収まり、車両Ｍの後部Ｆが駐車スペースを真上から見た場合の駐車スペース内に収まる位置になる。この画像より駐車状況の判定を行わない場合（ステップ７のＮ０）は、表示制御部８により、これらの情報がディスプレイ１２に表示される（ステップ８）。
【００３９】
この場合、駐車スペースの後ろの部分は、第２の射影平面Ｌ”の射影画像（ｃ）を使用するため、第１の射影平面Ｌ’の射影画像（ｂ）の位置（駐車スペースを真上から見た位置）よりも前方に移動した画像となるが、実際には、駐車スペースの後ろの部分は車両Ｍの後半の部分に隠れて見えないため、支障はない。すなわち、本実施形態の図では、駐車スペースと車両Ｍの関係を分かり易くするため、駐車スペースに比較して車両Ｍを小さく描き、駐車スペースの後半部分が見えるようにしているが、実際には、車両Ｍと駐車スペースの枠Ｓとの間にはそれほど間隔がなく、駐車スペースの後半部分が前方に移動していても、車両Ｍの陰に隠れてしまう。
【００４０】
駐車スペースの後半部分を正確に表示する場合には、第１の射影平面Ｌ’の射影画像（ｂ）と第２の射影平面Ｌ”の射影画像中から、輪郭抽出などの手法により車両Ｍの画像のみを抽出し、この抽出した車両Ｍの画像のみを前記と同様な手段で第１の射影平面Ｌ’の射影画像（ｂ）に対して合成する。このようにすると、本実施形態の図５（ｄ）中の車両Ｍの合成画像が得られるので、その車両Ｍの合成画像を第１の射影平面Ｌ’の射影画像（ｂ）の車両Ｍを抽出した画像（駐車スペースの枠Ｓのみが表示されている画像）に合成することで、駐車スペースは第１の射影平面Ｌ’の射影画像（ｂ）を使用し、車両Ｍは図５（ｄ）合成画像を使用した図５（ｅ）のような画像を得ることができる。
【００４１】
本実施の形態において、予め車両Ｍが駐車していない駐車スペースのみの画像を別途用意しておき、この駐車スペースのみの画像に、車両Ｍは図５（ｄ）中の車両Ｍのみの合成画像を重ね合わせることでも、駐車スペースの枠Ｓを正確に表示し、しかも車両Ｍについては第１の射影平面Ｌ’と第２の射影平面Ｌ”との射影画像の合成画像を表示させることもできる。
【００４２】
このようにして、本実施形態では、駐車場の側方に設けられたカメラ１で撮影した画像を、あたかも車両Ｍの上方（真上に近い位置）から撮影したのと同様な視点で、ディスプレイ１２に表示することが可能になる。
【００４３】
前記のようにディスプレイ１２に表示するだけでなく、本実施形態では、駐車スペース内における車両Ｍの駐車位置の正確な判定や、駐車スペース内に車両Ｍが存在するか否かを自動的に判定することもできる（ステップ７のＹＥＳ）。
【００４４】
すなわち、本実施形態では、そのために車両位置座標検出部９により、次のような処理を行う。まず、車両位置座標検出部９の輪郭抽出処理部９ａにより、画像合成部７で合成した画像（ｄ）中における車両Ｍの輪郭とその駐車スペースの輪郭を抽出する（ステップ１０）。次いで、差分検出部９ｂにより、輪郭抽出された車両位置と同じく輪郭抽出された駐車スペース位置のずれを検出する（ステップ１１）。その後、駐車スペース座標取得部９ｃにより、輪郭抽出された駐車スペースの座標を、駐車スペース座標記録部１０から取得する（ステップ１２）。更に、駐車位置演算部９ｄにより、駐車スペース座標取得部９ｃからの座標と前記差分検出部９ｂで得られた駐車スペースと車両Ｍの位置のずれ量に基づいて、車両Ｍの駐車位置の座標を演算する（ステップ１３）。
【００４５】
このようにすると、車両Ｍの駐車位置が駐車スペースを基準とする座標系で定まるので、車両Ｍの駐車位置を正確に判定できる。その結果、車両Ｍが駐車スペース内に正しく収まっているか、あるいは、駐車スペース内に車両が存在するか否かを自動的に判定することが可能になる。この判定結果は、駐車状況判定部１１により、不正駐車に対する警告表示や駐車場に空きがあるか否かの情報掲示が作成され（ステップ１４）、これらの情報がディスプレイ１２に表示される（ステップ８）。なお、これらの処理は、監視を必要とする間、繰り返され（ステップ９のＮＯ）、監視が不要となると（ステップ９のＹＥＳ）処理を終了する（ＥＮＤ）。
【００４６】
［第１の実施形態の効果］
上記の処理を行う本実施形態によれば、カメラ１で撮影した原画像を射影変換することで、変換時に生じる歪みを補正でき車両の輪郭を正しく表示することができるため、見やすい画像による駐車場監視装置及び方法を提供することが可能になる。特に、図示のように、駐車状況の判定を行った場合には、駐車場に関するより多くの情報を表示できる利点がある。
【００４７】
（２）第２の実施形態
以下、本発明の第２の実施形態について、図７，８に従って具体的に説明する。各図で、同一または類似の構成部分には共通の符号を付し、重複する説明は省略する。なお、第２の実施形態は、駐車スペースの枠が表示されていない駐車場に対して、カメラで撮影した原画像を射影変換し、その変換画像により車両の位置の特定を行うことを可能としたものである。
【００４８】
［第２の実施形態の構成］
前記第１の実施形態では、第１の射影画像変換部３及び第２の射影画像変換部４が、車両と駐車スペースの枠の両方について射影画像を得ていたのに対して、第２の実施形態は、駐車スペースの枠が存在しないので、車両の画像についてのみ第１の射影平面Ｌ’と第２の射影平面Ｌ”の射影画像を得る点で相違する。
【００４９】
また、本実施形態では、第１の射影平面Ｌ’のｕｖ座標系と、前記第１実施形態に設けられた駐車スペース座標記憶部１０に記憶されている各駐車スペースの座標とを変換する座標変換手段１３が設けられている。この座標変換手段１３は、第１の射影平面Ｌ’に射影されている車両のｕｖ座標値（例えば、車両の手前位置Ｎのｕｖ座標値）が、駐車場のある地点を原点とする実際の駐車場の座標系のどの座標値に相当するかを演算する。
【００５０】
［第２の実施形態の作用］
駐車スペース座標記憶部１０を設けた第２の実施形態の駐車場監視装置では、図８のフローチャートに示すように、駐車スペースの枠が表示されていない駐車場でも車両の駐車位置を判定できる。すなわち、カメラ１で駐車場の画像を撮影した後（ステップ１）、第１の射影画像変換部３により第１の射影平面Ｌ’で射影変換することで、車両の前の部分Ｎが正確に位置決めされた画像を得る（ステップ２）。そして、第２の射影画像変換部４により第２の射影平面Ｌ”で射影変換することで、車両の後ろの部分Ｆが正確に位置決めされた画像を得る（ステップ３）。
【００５１】
画像合成部７は、このようにして得られた第１の射影平面Ｌ’の射影画像の前半部分を抽出すると共に（ステップ４）、第２の射影平面Ｌ”の射影画像の後半部分を抽出し（ステップ５）、両者を合成する（ステップ６）。この画像より駐車状況の判定を行わない場合（ステップ７のＮ０）は、表示制御部８により、これらの情報がディスプレイ１２に表示ことも可能である（ステップ８）。そのようにすると、駐車場を撮影したカメラ１の画像に比較して、より高い位置から車両を撮影した画像がディスプレイ１２に表示されることになる。
【００５２】
第２の実施形態において、更に、駐車場に関する種々の情報を表示させるには（ステップ７のＮＯ）、前記座標変換部１１により、第１の射影平面Ｌ’における合成画像の車両の座標（ｕｖ座標）を、実際の駐車場の位置座標に変換する（ステップ１０）。その結果、実際の駐車場の座標系内における車両の合成画像の座標値が判明するので、駐車状況判定部１１により、この車両の座標値と駐車スペースの座標値とを比較して（ステップ１１）、車両が駐車スペースに正確に駐車しているか、あるいは駐車スペースの空満を判定することができる（ステップ１２）。この判定結果は、表示制御部８を介してディスプレイ１２に送られ、表示される（ステップ８）。なお、これらの処理は、監視を必要とする間、繰り返され（ステップ９のＮＯ）、監視が不要となると（ステップ９のＹＥＳ）処理を終了する（ＥＮＤ）。
【００５３】
［第２の実施形態の効果］
上記の処理を行う第２の実施形態によれば、駐車スペースの枠が表示されていない駐車場に対して、カメラ１で撮影した原画像を射影変換することで、変換時に生じる歪みを補正でき車両の輪郭を正しく表示することができる。そのため、見やすい画像による駐車場監視装置及び方法を提供することが可能になる。特に、図示のように、駐車状況の判定を行った場合には、駐車場に関するより多くの情報を表示できる利点がある。
【００５４】
（３）第３の実施形態
第３の発明の実施形態は、複数のカメラで撮影した各原画像を射影変換し、複数枚の射影変換後の画像に対して接合処理を行う。そして、接合処理を施した変換画像により車両の位置の特定を行うことを可能としてものである。
【００５５】
［第３の実施形態の構成］
第３の実施形態は、第１の実施形態の構成において、制御部２に入力するカメラ１を複数台設けたものである。この複数台のカメラは、設置する向きに制限が無く、駐車場に対して複数の方向から撮影するような向きに配置することもできる。
【００５６】
本実施の形態において、制御部２に、各カメラ１からの画像を第１の射影平面Ｌ’に射影変換する第１の射影画像変換部３と、第２の射影平面Ｌ”に射影変換する第２の射影画像変換部４とが設けられ、これら変換部３，４によって作成された射影画像の一部を抽出して合成する画像合成部７が設けられている点は、前記各実施形態と共通である。
【００５７】
一方、本実施の形態においては、各カメラ１が撮影した画像中のどの駐車スペースをディスプレイ１２に表示するかを予め記憶したカメラ画像選択部１４が設けられている。このカメラ画像選択部１４は、各カメラが撮影した駐車スペースの画像が、駐車場のどの座標に位置するかを駐車スペース座標取得部８から取得し、その座標値に基づいて、その駐車スペースがディスプレイ１２に表示すべきものであるか否かを決定する。
【００５８】
このカメラ画像選択部１４は、複数のカメラ１が重複して撮影する駐車スペースとその座標、及び重複して撮影される駐車スペースについては、いずれのカメラの画像を選択して表示するかを定めたデータを記憶するものである。この場合、カメラに近い駐車スペースほど鮮明な撮影画像が得られると共に、射影変換後の画像の変形度も少ないことから、基本的には駐車スペースに近い側のカメラの画像を選択するように指定する。
【００５９】
［第３の実施形態の作用］
このような構成を有する第３の実施形態においては、複数のカメラが画像を射影変換した画像を接合する処理として、モザイキング処理が用いられる。このモザイキング処理とは、撮影対象全体を複数の部分領域に分け、複数の撮影画像を取得し、これらを平面状に正しく配置することにより撮影対象全体が映る大きな画像を生成する処理である。
【００６０】
モザイキング処理を行う場合、組み合わせる画像は、車両の輪郭位置が正しく抽出されている画像が好ましい。例えば、射影平面を道路面に射影平面を設定した第１の射影変換画像のみでは、図９のようにカメラ１で撮影し射影変換した車両Ａの見え方と、カメラ２で撮影し射影変換した車両Ａの見え方が異なってしまう。このように、１台の車両Ａが異なったサイズや位置で示された画像をモザイキング処理すると、歪んだ合成画像となってしまう。
【００６１】
そこで、本実施形態では、単に複数のカメラの画像を直線的な切り口で合成するのではなく、前記カメラ画像選択部１４により、駐車スペース単位で表示する駐車スペース及び車両を決定し、これにより各駐車スペースで画像の歪みが生じないように工夫している。
【００６２】
［第３の実施形態の効果］
以上のような、第３の実施形態によれば、複数のカメラで駐車場を分割して撮影した原画像を、各原画像ごとに射影変換して合成した画像を、予め定められた駐車スペースごとにどのカメラの画像を選択するかを決めておいて、全体の画像を得るようにしたので、画像の接合部分に歪みが生じることなく、見やすい駐車場の画像を得ることができる。その結果、広大な駐車場であっても、多数のカメラの画像を合成することで、駐車場の利用状況を分かり易く表示することができる。
【００６３】
（４）第４の実施形態
第４の発明の実施形態は、カメラで撮影した各原画像を射影変換し、射影変換後の画像の差分を取ることにより、移動車両を検出することを可能としたものである。
【００６４】
［第４の実施形態の構成］
図１０において、５は画像合成部であり、第１の射影画像変換部３と第２の射影画像変換部４の出力側に配置され、これらより出力された画像を合成する。１３は、合成画像保存部であり、合成画像のデータを一定時間（例えば、Ｔ１，Ｔ２，Ｔ３・・・Ｔｎ）ごとに保存する。１４は、差分演算部であり、合成画像保存部１５に保存された前後の画像の減算を行うことにより、移動中の車両或いは移動状態から停止した車両を検出する。差分演算部１６の演算結果は、表示制御部８に対して出力する。
【００６５】
［第４の実施形態の作用］
このような構成を有する第４の実施形態においては、合成画像保存部１１には、カメラ１で撮影され、その後、前記第１、第２実施形態に示したような手順で作成された各時間Ｔ１，Ｔ２，Ｔ３・・・Ｔｎごとの画像データが順に保存されている。そこで、この保存された前後のデータの差分をとることにより、移動する車両があった場合は検出することができる。
【００６６】
［第４の実施形態の効果］
以上のような、第４の実施形態によれば、単に移動する車両の画像データの差分を取る従来技術に比較して、車両の画像をカメラの視線よりもより高い位置から見た角度で表示することができるので、カメラから遠い位置を移動する車両であっても明確に表示することができる。その結果、駐車場内を移動する車両を容易かつ正確に把握することができ、車両の案内や不法侵入する車両の発見などに効果的である。
【００６７】
（５）第５の実施形態
第５の発明の実施形態は、前記各実施形態が第１の射影平面Ｌ’と第２の射影平面Ｌ”への射影画像を合成することで、駐車スペース内における車両の位置を分かり易く表示したものであのに対して、第１の射影平面Ｌ’に対する射影画像のみを使用して、同様の作用効果を得るものである。すなわち、本実施形態は、第１の射影平面Ｌ’における駐車スペースの後半の部分を圧縮することにより、第２の射影平面Ｌ”の画像を合成するのと同様な効果を発揮させたものである。
【００６８】
［第５の実施形態の構成］
図１１において、１は駐車場に向けられたカメラである。このカメラ１は、監視するエリアの上方に配置されており、監視エリアを見渡せる位置に配置される。２は制御部である。持ち運び可能な大きさのカメラで撮影した画像の処理を行う。
【００６９】
３は第１の射影画像変換部であり、この第１の射影画像変換部３は、射影平面を地面としてカメラ１で撮影した原画像を射影変換するものである。本実施形態では、この第１の射影画像変換部３の出力側には、画像分割部１７が設けられている。この画像分割部１７は、この第１の射影画像変換部３によって得られた射影画像を、駐車スペース枠Ｓのカメラ側に近い部分から、例えば駐車スペースの長さの１／４部分を境界として、前後２つの部分に分割する。この画像分割部１７には、画像分割部１７によって分割された駐車スペースの後半の部分を圧縮する画像圧縮部１８が設けられている。
【００７０】
７は画像合成部であり、画像分割部１７と画像圧縮部１８の出力側に配置され、画像分割部１７で分割された前半部分（例えば、１／４部分）の画像と、画像圧縮部１８によって圧縮された後半の部分（例えば、３／４部分）の画像を合成する。この画像合成部７は、そこで合成された画像を、表示制御部８を介して制御部２の外部に設けられた表示装置のディスプレイ１２に対して出力する。
【００７１】
［第５の実施形態の作用］
このような構成を有する第５の実施形態の画像圧縮部１８においては、第１の画像変換部３で変換した射影画像から、駐車スペースの後半部分を取り出して、圧縮する。この場合の圧縮率は、次のようにして求める。
【００７２】
図１１に示すカメラの設置位置の高さＨｏ、車両の長さＢ、車両の高さＧｏ、カメラの中心軸とカメラ主点を通る垂直線の角度θ、車両後端の射影線とカメラ主点を通る垂直線との角度θｏ、カメラの中心軸と車両後端の射影線との角度α、カメラの主点から等価撮像面までの距離ｆ、及び図１２に示す等価撮像面と車両後端の射影線との交点と等価撮像面とカメラ中心線の交点との距離ｙとに基づいて、下記の式１より、第１の射影画像で、車両として投影される長さであるＳ＋Ｂを求める。ここで、Ｂは投影される車両自体の長さである。一方、Ｓは、カメラから離れた側の車両の屋根が投影された位置と、実際の車両位置までの距離（車両の影の長さ）である。また、Ｌは、カメラ主点を通る垂直線と車両後端の投影面の位置との距離である。
【００７３】
［数１］
【００７４】
また、代表的な車両の長さＢｏと、高さＧｏを用いると、射影によって生じる車両の代表的な見掛けの拡張率Ｒは、
[数２]
Ｒ＝（Ｓ＋Ｂｏ）／Ｂｏ ・・・(6)
となる。以上から、駐車スペースの画像上の位置ｙによって、式(5)(6)から、車両の拡張率Ｒが求まるので、ｙ位置に応じて、拡張率Ｒの逆数を圧縮率として、第１の射影平面Ｌ’の射影画像の後半部分を圧縮する。
【００７５】
具体例として、図１３に示すように、駐車スペース枠の手前から１／４〜１／２の位置Ｄを基準として、その撮影画面上のｙ座標から拡張率Ｒを求め、長さＫｌ、幅Ｋｗの仮想枠内（図１３の破線内）の画像の長さ方向を、Ｋｌ／Ｒになるように圧縮することができる。この場合、Ｋｌ及びＫｗは以下のような値にするのが好ましい。
Ｋｌ≒駐車スペース枠長さ（Ｅ)×１〜１．２
Ｋｗ≒駐車スペース幅Ｅｗ〜車両幅Ｂｗの範囲
【００７６】
［第５の実施形態の効果］
上記の処理を行う第５の実施形態によれば、第１の射影平面Ｌ’に対する射影画像の後半部分を圧縮するという簡単な処理により、第２の射影平面Ｌ”の画像を合成する前記実施形態と同様に、車両をその上方から見下ろすような角度でディスプレイに表示することが可能になる。
【００７７】
（６）他の実施形態
本発明は、前記各実施形態に限定されるものではなく、以下のような他の実施形態も包含する。
【００７８】
（ａ）第１の射影変換部３で変換した射影画像と第２の画像変換部４で変換した射影画像から、車両の輪郭を補正した合成画像を作成したが、第１の射影変換画像のみで合成画像を作成しても良い。例えば、第１の射影変換画像（ｂ）のカメラ遠方の伸び量Ｋは、カメラの設置条件と、車両の高さ、及び駐車座標位置によって算出されるので、擬似的に圧縮して表示することもできる。
【００７９】
（ｂ）第２の射影変換画像は車両の屋根の部分の位置を正確に投影表示することができることから、車両の屋根部分に注目することで正しい車両位置を追跡することができる。
【００８０】
（ｃ）制御部２の駐車車両判定部９において、各駐車スペースにおける駐車車両の有無のパターンを示した画像を作成する場合に、合成画像にするものは車両の有無を示すパターンでなくても良い。例えば、第２の射影変換画像を用いると、車両の屋根部分の色を抽出することも可能であるので、車両の有無を示すパターンの代りに、駐車してある車両の色を表示することも可能である。
【００８１】
（ｄ）カメラ１は、静止画を撮影するカメラでなくてもよい。例えば、動画に対しても、動画の１コマ、１コマに対して画像の変換処理を行うことで、リアルタイムでも表示することができる。
【００８２】
（ｅ）前記各実施形態は、いずれも個々の駐車スペースや車両ごとに射影変換を行ったものであるが、格子状に整然と並んだ駐車場の場合には、横一列の駐車スペースについて、一挙に第１の射影平面Ｌ’と第２の射影平面Ｌ”との射影変換を行い、その前半部分と後半部分とを抽出して、合成することも可能である。この場合は、個々の駐車スペースや車両の輪郭抽出による検出が不要となり、原画像中の予め定めた範囲について一度に射影変換を行うことで、処理を簡便化することができる。
【００８３】
（ｆ）本発明において、「車両の屋根の高さ」とは、必ずしも、射影変換する原画像に表示された車両の屋根の高さをいうものではなく、屋根の高さに近い値として、予め設定された寸法を示すものである。しかし、原画像中から輪郭抽出などの手法により車両の外径を検出し、その外形寸法とカメラの高さ、カメラとの距離などのデータに基づいて、原画像中の個々の車両についてその屋根の高さが判別した場合には、個々の車両ごとに第２の射影平面Ｌ”の高さを異ならせることも可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の第１の実施形態の構成を示すブロック図。
【図２】射影変換の原理図を示す図。
【図３】第１の射影変換部３における立体物の射影変換を示す図。
【図４】第２の射影変換部４における立体物の射影変換を示す図。
【図５】画像合成部６における画像合成の例示す図。
【図６】本発明の第１の実施形態におけるフローチャート。
【図７】本発明の第２の実施形態の構成を示すブロック図。
【図８】本発明の第２の実施形態におけるフローチャート。
【図９】本発明の第３の実施の形態の構成を示すブロック図。
【図１０】複数のカメラで監視する場合のカメラの配置と、共通視野における車両の見え方を示す図。
【図１１】本発明の第４の実施形態の構成を示す図。
【図１２】本発明の第５の実施形態の構成を示す図。
【図１３】本発明の第５の実施形態のカメラと車両位置を示す図。
【図１４】本発明の第５の実施形態のカメラ部分の拡大図。
【図１５】本発明の第５の実施形態の射影画像を圧縮の例を示す図。
【符号の説明】
【００８５】
１…カメラ
２…制御部
３…第１の画像変換部
４…第２の画像変換部
５…第１の画像抽出部
６…第２の画像抽出部
７…画像合成部
８…表示制御部
９…車両位置座標検出部
１０…駐車スペース座標記憶部
１１…駐車車両判定部
１２…ディスプレイ
１３…座標変換部
１４…カメラ画像選択部
１５…合成画像保存部
１６…差分演算部
１７…画像分割部
１８…画像圧縮部
【特許請求の範囲】
【請求項１】
駐車場を撮影する撮像装置と、撮像された画像を射影変換する制御部とを備えた駐車場監視装置において、
前記制御部は、
路面上を射影平面とする射影画像を作成する第１の射影画像変換部と、
車両の屋根の高さを射影平面とする射影画像を作成する第２の射影画像変換部と、
前記第１の射影画像変換部で射影変換した画像中から、カメラに近い部分を抽出する第１の画像抽出部と、
前記第２の射影画像変換部で射影変換した画像中から、カメラに遠い部分を抽出する第２の画像抽出部と、
前記第１の射影画像変換部と前記第２の射影画像変換部が変換した射影画像を合成する画像合成部と、
前記画像合成部によって得られた合成画像を表示装置に表示する表示制御部とを備えることを特徴とする駐車場監視装置。
【請求項２】
前記制御部は、駐車場内における各駐車スペースの座標を記録した駐車スペース座標記録部と、この駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、前記画像合成部で合成した画像上における車両の座標位置を検出する車両位置座標検出部を備えることを特徴とする請求項１に記載の駐車場監視装置。
【請求項３】
前記制御部は、前記車両位置座標検出部が検出した車両の座標と、駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、駐車スペースにおける車両の駐車状況を判定する駐車状況判定部を備えることを特徴とする請求項１または請求項２に記載の駐車場監視装置。
【請求項４】
前記撮像装置が複数設けられ、複数の撮像装置で得られた原画像に基づいて各駐車スペースごとに画像の合成を行い、いずれかの撮像装置の画像を選択して接合することを特徴とする請求項１から請求項３のいずれか１項に記載の駐車場監視装置。
【請求項５】
いずれかの撮像装置の画像を選択するかを予め記録した画像選択部を備え、前記画像選択部が各撮像装置の合成画像を、記録に基づいて選択して接合することを特徴とする請求項４に記載の駐車場監視装置。
【請求項６】
前記制御部は、
合成画像のデータを一定時間ごとに保存する合成画像保存部と、
前記合成画像保存部に保存された前後の画像の減算を行う差分演算部とを備えることを特徴とする請求項１から５のいずれか１項に記載の駐車場監視装置。
【請求項７】
撮像装置によって撮像された画像に基づいて、路面上を射影平面とする射影画像を作成する第１の射影画像変換ステップと、
撮像装置によって撮像された画像に基づいて、車両の屋根の高さを射影平面とする射影画像を作成する第２の射影画像変換ステップと、
前記第１の射影画像変換ステップで射影変換した画像中から、カメラに近い部分を抽出する第１の画像抽出ステップと、
前記第２の射影画像変換ステップで射影変換した画像中から、カメラに遠い部分を抽出する第２の画像抽出ステップと、
前記第１の射影画像変換ステップと前記第２の射影画像変換ステップにおいて変換した射影画像を合成する画像合成ステップと、
前記画像合成ステップによって得られた合成画像を表示装置に表示する表示制御ステップとを備えることを特徴とする駐車場監視方法。
【請求項８】
前記制御ステップは、駐車場内における各駐車スペースの座標を記録した駐車スペース座標記録ステップと、この駐車スペース座標記録ステップから取得した駐車スペースの座標に基づいて、前記画像合成ステップで合成した画像上における車両の座標位置を検出する車両位置座標検出ステップとを備えることを特徴とする請求項７に記載の駐車場監視方法。
【請求項９】
前記制御ステップは、前記車両位置座標検出ステップが検出した車両の座標と、駐車スペース座標記録ステップから取得した駐車スペースの座標に基づいて、駐車スペースにおける車両の駐車状況を判定する駐車状況判定ステップを備えることを特徴とする請求項７または請求項８に記載の駐車場監視方法。
【請求項１０】
前記撮像装置が複数設けられ、複数の撮像装置で得られた原画像に基づいて各駐車スペースごとに画像の合成を行うステップと、いずれかの撮像装置の画像を選択して接合するステップを備えることを特徴とする請求項７から請求項９のいずれか１項に記載の駐車場監視方法。
【請求項１１】
いずれの撮像装置の画像を選択するかを予め記録した画像選択ステップを備え、各撮像装置の合成画像を、この画像選択ステップの記録に基づいて選択して接合することを特徴とする請求項１０に記載の駐車場監視方法。
【請求項１２】
前記制御ステップは、
合成画像のデータを一定時間ごとに保存する合成画像保存ステップと、
前記合成画像保存ステップに保存された前後の画像の減算を行う差分演算ステップとを含むことを特徴とする請求項７から請求項１１のいずれか１項に記載の駐車場監視方法。
【請求項１】
駐車場を撮影する撮像装置と、撮像された画像を射影変換する制御部とを備えた駐車場監視装置において、
前記制御部は、
路面上を射影平面とする射影画像を作成する第１の射影画像変換部と、
車両の屋根の高さを射影平面とする射影画像を作成する第２の射影画像変換部と、
前記第１の射影画像変換部で射影変換した画像中から、カメラに近い部分を抽出する第１の画像抽出部と、
前記第２の射影画像変換部で射影変換した画像中から、カメラに遠い部分を抽出する第２の画像抽出部と、
前記第１の射影画像変換部と前記第２の射影画像変換部が変換した射影画像を合成する画像合成部と、
前記画像合成部によって得られた合成画像を表示装置に表示する表示制御部とを備えることを特徴とする駐車場監視装置。
【請求項２】
前記制御部は、駐車場内における各駐車スペースの座標を記録した駐車スペース座標記録部と、この駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、前記画像合成部で合成した画像上における車両の座標位置を検出する車両位置座標検出部を備えることを特徴とする請求項１に記載の駐車場監視装置。
【請求項３】
前記制御部は、前記車両位置座標検出部が検出した車両の座標と、駐車スペース座標記録部から取得した駐車スペースの座標に基づいて、駐車スペースにおける車両の駐車状況を判定する駐車状況判定部を備えることを特徴とする請求項１または請求項２に記載の駐車場監視装置。
【請求項４】
前記撮像装置が複数設けられ、複数の撮像装置で得られた原画像に基づいて各駐車スペースごとに画像の合成を行い、いずれかの撮像装置の画像を選択して接合することを特徴とする請求項１から請求項３のいずれか１項に記載の駐車場監視装置。
【請求項５】
いずれかの撮像装置の画像を選択するかを予め記録した画像選択部を備え、前記画像選択部が各撮像装置の合成画像を、記録に基づいて選択して接合することを特徴とする請求項４に記載の駐車場監視装置。
【請求項６】
前記制御部は、
合成画像のデータを一定時間ごとに保存する合成画像保存部と、
前記合成画像保存部に保存された前後の画像の減算を行う差分演算部とを備えることを特徴とする請求項１から５のいずれか１項に記載の駐車場監視装置。
【請求項７】
撮像装置によって撮像された画像に基づいて、路面上を射影平面とする射影画像を作成する第１の射影画像変換ステップと、
撮像装置によって撮像された画像に基づいて、車両の屋根の高さを射影平面とする射影画像を作成する第２の射影画像変換ステップと、
前記第１の射影画像変換ステップで射影変換した画像中から、カメラに近い部分を抽出する第１の画像抽出ステップと、
前記第２の射影画像変換ステップで射影変換した画像中から、カメラに遠い部分を抽出する第２の画像抽出ステップと、
前記第１の射影画像変換ステップと前記第２の射影画像変換ステップにおいて変換した射影画像を合成する画像合成ステップと、
前記画像合成ステップによって得られた合成画像を表示装置に表示する表示制御ステップとを備えることを特徴とする駐車場監視方法。
【請求項８】
前記制御ステップは、駐車場内における各駐車スペースの座標を記録した駐車スペース座標記録ステップと、この駐車スペース座標記録ステップから取得した駐車スペースの座標に基づいて、前記画像合成ステップで合成した画像上における車両の座標位置を検出する車両位置座標検出ステップとを備えることを特徴とする請求項７に記載の駐車場監視方法。
【請求項９】
前記制御ステップは、前記車両位置座標検出ステップが検出した車両の座標と、駐車スペース座標記録ステップから取得した駐車スペースの座標に基づいて、駐車スペースにおける車両の駐車状況を判定する駐車状況判定ステップを備えることを特徴とする請求項７または請求項８に記載の駐車場監視方法。
【請求項１０】
前記撮像装置が複数設けられ、複数の撮像装置で得られた原画像に基づいて各駐車スペースごとに画像の合成を行うステップと、いずれかの撮像装置の画像を選択して接合するステップを備えることを特徴とする請求項７から請求項９のいずれか１項に記載の駐車場監視方法。
【請求項１１】
いずれの撮像装置の画像を選択するかを予め記録した画像選択ステップを備え、各撮像装置の合成画像を、この画像選択ステップの記録に基づいて選択して接合することを特徴とする請求項１０に記載の駐車場監視方法。
【請求項１２】
前記制御ステップは、
合成画像のデータを一定時間ごとに保存する合成画像保存ステップと、
前記合成画像保存ステップに保存された前後の画像の減算を行う差分演算ステップとを含むことを特徴とする請求項７から請求項１１のいずれか１項に記載の駐車場監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１０】
【公開番号】特開２０１０−１１７８００（Ｐ２０１０−１１７８００Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２８９３０５（Ｐ２００８−２８９３０５）
【出願日】平成２０年１１月１１日（２００８．１１．１１）
【出願人】（３９１０１７５４０）東芝ＩＴコントロールシステム株式会社 (107)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１１日（２００８．１１．１１）
【出願人】（３９１０１７５４０）東芝ＩＴコントロールシステム株式会社 (107)
【Ｆターム（参考）】
[ Back to top ]