駐車車両搭乗者撮像装置
【課題】記録装置として大容量のものを使用しなくても効率的な使用を可能とし、更に記録した映像から駐車車両の搭乗者を容易に見つけ出すことができる駐車車両搭乗者撮像装置を提供する。
【解決手段】広角カメラ１１０からの監視領域の映像データから画像内の動きのない静領域を抽出できると、その静領域から特徴量を計算し、この特徴量と車テンプレートとのパターンマッチングを行い、車領域がある場合はその位置情報と時刻情報を計算し、その車領域が何分動きがないかを判別する一方、位置情報を基にパンチルトズーム搭載カメラ１１１を制御してパンチルトズーム搭載カメラ１１１からの映像データを得て、該映像データから画像内の動領域を抽出し、更に顔領域を抽出し、顔画像のうち判定基準に最も適合するベストショットを判別して記録部１５０に記録する。
【解決手段】広角カメラ１１０からの監視領域の映像データから画像内の動きのない静領域を抽出できると、その静領域から特徴量を計算し、この特徴量と車テンプレートとのパターンマッチングを行い、車領域がある場合はその位置情報と時刻情報を計算し、その車領域が何分動きがないかを判別する一方、位置情報を基にパンチルトズーム搭載カメラ１１１を制御してパンチルトズーム搭載カメラ１１１からの映像データを得て、該映像データから画像内の動領域を抽出し、更に顔領域を抽出し、顔画像のうち判定基準に最も適合するベストショットを判別して記録部１５０に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで駐車車両や搭乗者を監視記録する駐車車両搭乗者撮像装置に関する。
【背景技術】
【０００２】
従来、監視カメラで駐車車両や搭乗者を監視記録する監視記録装置が開発されている（例えば、特許文献１参照）。特許文献１で開示されている監視記録装置は、広角カメラで駐車車両を探し出し、パンチルトズーム搭載カメラで搭乗者を監視するようにしている。
【０００３】
駐車車両は、路肩のどの部分に駐車するか分からないため、まず広角カメラで駐車車両の位置情報を検知し、検知した位置情報からパンチルトズーム搭載カメラを駐車車両近辺にパンチルトズームする。そして、搭乗者が車両に戻ってきたときに、その搭乗者をパンチルトズーム搭載カメラで撮像することにより、より鮮明に搭乗者を撮像することが可能となる。
【０００４】
【特許文献１】特開２００４−７３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視記録装置においては、駐車車両の搭乗者がいつ車両に戻ってくるか分からないため、常に撮像し続けなければならず、ＨＤＤ（Hard Disk Drive）等の記録装置の資源枯渇が著しく、大容量の記録装置を必要とし、その分、コスト高になる問題がある。また、長時間録画した映像から駐車車両の搭乗者を見つけ出す作業が必要であり、作業効率が悪いという問題もある。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、記録装置として大容量のものを使用しなくても効率的な使用を可能とし、更に記録した映像から駐車車両の搭乗者を容易に見つけ出すことができる駐車車両搭乗者撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的は下記構成により達成される。
（１） 監視領域に向けて配置される第１の撮像手段と、外部からの命令に従って撮影範囲を変える第２の撮像手段と、前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、前記静領域抽出手段で抽出された前記監視領域映像情報の静領域から背景の変化を検出する背景変化検出手段と、前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者を撮像可能にするカメラ制御手段と、前記第２の撮像手段からの映像情報から動きのある動領域を抽出する動領域抽出手段と、画像を記録するための記録手段と、前記動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、を備える。
【０００８】
（２） 監視領域に向けて配置される第１の撮像手段と、外部からの命令に従って撮影範囲を変える第２の撮像手段と、前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、前記静領域抽出手段で抽出された前記監視領域映像の複数の静領域から背景を求める背景変化検出手段と、前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、前記監視領域映像情報から画像内の動きのある動領域を抽出する第１の動領域抽出手段と、前記第１の動領域抽出手段で抽出された動領域内から人領域を抽出し、抽出した人領域の位置情報と時刻情報を計算する人領域抽出手段と、前記人領域抽出手段で抽出された人領域の特徴量を計算する人物特徴量抽出手段と、前記人物特徴量抽出手段で計算された特徴量をもつ人が前記監視領域映像情報内に存在するか否かを判別し、存在する場合は位置情報を計算する人物追尾手段と、前記人物追尾手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の近傍の映像を撮像可能に制御するカメラ制御手段と、前記第２の撮像手段からの映像情報から画像内の動きのある動領域を抽出する第２の動領域抽出手段と、画像を記録するための記録手段と、前記第２の動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、を備える。
【０００９】
（３） 上記（１）又は（２）に記載の駐車車両搭乗者撮像装置において、前記ベストショット判別手段でベストショット画像が選択された時刻において前記第１の撮像手段にて撮像された駐車領域の画像を前記記録手段に記録する車画像制御手段を備える。
【００１０】
（４） 監視領域に向けて配置される第１の撮像手段と、外部からの命令に従って撮影範囲を変える第２の撮像手段と、前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、前記静領域抽出手段で抽出された前記監視領域映像情報の複数の静領域から背景を求める背景変化検出手段と、前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、画像を記録するための記録手段と、前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が、車両と判断した場合はその車両の位置情報と時刻情報を計算すると共に高フレームレートのフレームレート制御命令を出力し、車両と判断した後、車両と判断できなくなると低フレームレートのフレームレート制御命令を出力する車パターンマッチング手段と、前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の顔画像が撮像可能に制御するカメラ制御手段と、前記車パターンマッチング手段からのフレームレート設定命令に従う時間間隔で前記第２の撮像手段からの映像データを取り込み前記記録手段に録画するフレームレート制御手段と、前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、を備える。
【００１１】
（５） 上記（１）乃至（４）のいずれかに記載の駐車車両搭乗者撮像装置において、複数の顔データを蓄積した顔データ蓄積手段と、アラームを発報するアラーム出力手段と、前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合に前記アラーム出力手段を動作させる顔検索手段と、を備える。
【００１２】
（６） 上記（５）に記載の駐車車両搭乗者撮像装置において、前記顔検索手段は、前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔がマッチングした場合にネットワークを介して集中サーバに配信する。
【発明の効果】
【００１３】
上記（１）に記載の駐車車両搭乗者撮像装置では、駐車車両を認識した場合にのみ記録を行い、しかも駐車車両搭乗者の顔のなかでも判定基準に最も適合するベストショット画像のみ記録するので、駐車車両の搭乗者を監視するためのデータ量の軽減化が図れるとともに、容易に搭乗者を特定することができる。
【００１４】
上記（２）に記載の駐車車両搭乗者撮像装置では、車両の搭乗者を追尾し位置情報を取得するので、降車時、乗車時からベストショット顔画像を取得することができ、より鮮明な駐車車両搭乗者のベストショット画像を記録することができる。
【００１５】
上記（３）に記載の駐車車両搭乗者撮像装置では、駐車車両搭乗者のベストショット画像とその駐車車両を記録することができる。
【００１６】
上記（４）に記載の駐車車両搭乗者撮像装置では、駐車車両を認識した場合には第２の撮像手段より得られる動画を高フレームレートで記録し、駐車車両を認識できなくなると低フレームレートで記録するので、駐車車両の搭乗者を監視するためのデータ量の軽減化が図れるとともに、容易に搭乗者を特定することができる。
【００１７】
上記（５）に記載の駐車車両搭乗者撮像装置では、不法駐車常習者といった顔データ蓄積手段に記録された特定の人物が不法駐車したときに即座にアラームを発報するので、不法駐車常習者の検挙に寄与できる。
【００１８】
上記（６）に記載の駐車車両搭乗者撮像装置では、不法駐車常習者といった顔データ蓄積手段に記録された特定の人物が不法駐車したときに即座にネットワークを介して集中サーバに配信することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図である。同図において、本実施の形態に係る駐車車両搭乗者撮像装置１００は、広角カメラ１１０と、パンチルトズーム搭載カメラ１１１と、監視制御記録装置１１２とを備えて構成される。監視制御記録装置１１２は、静領域抽出部１２１と、バッファＡ１２２及びＢ１２３と、背景選別部１２４及び１２５と、フレーム差分部１２６と、特徴量抽出部１２７と、車パターンマッチング部１２８と、駐車時間判定部１２９と、カメラ制御部１３０と、動領域抽出部１３１と、顔領域抽出部１３２と、ベストショット判別部１３３と、画像消去部１３４と、記録部１５０とを備えている。
【００２１】
なお、上記広角カメラ１１０は第１の撮像手段に対応する。また、パンチルトズーム搭載カメラ１１１は第２の撮像手段に対応する。また、静領域抽出部１２１は静領域抽出手段に対応する。また、バッファＡ１２２及びＢ１２３と背景選別部１２４及び１２５とフレーム差分部１２６は背景変化検出手段を構成する。また、特徴量抽出部１２７は特徴量抽出手段に対応する。また、車パターンマッチング部１２８は車パターンマッチング手段に対応する。また、駐車時間判定部１２９は駐車時間判定手段に対応する。また、カメラ制御部１３０はカメラ制御手段に対応する。また、動領域抽出部１３１は動領域抽出手段に対応する。また、顔領域抽出部１３２は顔領域抽出手段に対応する。また、ベストショット判別部１３３はベストショット判別手段に対応する。また、画像消去部１３４は画像消去手段に対応する。また、記録部１５０は記録手段に対応する。
【００２２】
広角カメラ１１０は、監視対象エリア全体を撮像できるように、３５ミリ換算値で５０ｍｍ以下の焦点距離を持つ広角レンズを備える。パンチルトズーム搭載カメラ１１１は、カメラ本体をパン（水平方向）及びチルト（上下方向）する機構を備えるとともに、レンズの焦点距離変更による光学ズームを備える。図２は、広角カメラ１１０と、パンチルトズーム搭載カメラ１１１と、監視制御記録装置１１２と、車両２００と、車両２００の運転手２１０と、車道２２０との位置関係の一例を示す図である。同図に示すように、広角カメラ１１０及びパンチルトズーム搭載カメラ１１１は、それぞれ監視方向に方向付けされ、配置される。この際、パンチルトズーム搭載カメラ１１１の動作によって、互いに衝突しないように一定の距離隔てて配置することもできる。なお、パンチルトズーム搭載カメラ１１１は、パンとチルトの動作によって撮影方向を任意に設定できるが、監視対象エリア内の中心に、水平方向の角度及び上下方向の角度の中心が来るように設定するのが望ましい。
【００２３】
図１において、静領域抽出部１２１は、差分法や動きベクトル法を用いて、広角カメラ１１０からの映像データ（監視領域映像）から画像内の動きのない領域（静領域）を抽出する。例えば、差分法を用いる場合、現在のフレームの映像とその１つ前のフレームの映像との差分を求めて動き領域を抽出して、その動き領域以外を静領域として抽出する。このようにして監視領域から静領域を抽出する。バッファＡ１２２及びＢ１２３は、フレーム毎に静領域抽出部１２１で抽出された静領域を一時的に格納するものである。バッファＡ１２２とバッファＢ１２３には、データ格納サイズの異なるものが用いられる。この理由については、次のフレーム差分部１２６のところで説明する。
【００２４】
背景選別部１２４は、バッファＡ１２２に格納された静領域群から背景画像を選別する。ここで、広角カメラ１１０で撮像される映像には前景と背景が存在し、前景とは、人、車といった常に動きのあるもので、背景とは、壁、地面といった動きのないものである。静領域には、前景に比べ背景の方が非常に多く、情報が残っていると仮定することができ、バッファＡ１２２に格納された静領域群から、例えば任意の個数存在する母集団から最頻値をとる最小二乗メディアン法を用いて、画素毎の最頻値を背景画素として背景画像を作成する。背景選別部１２５は、背景選別部１２４と同様の処理を行って、バッファＢ１２３に格納された静領域群から背景画像を選別する。
【００２５】
フレーム差分部１２６は、バッファＡ１２２に格納された静領域群を基に背景選別部１２４によって選別された背景画像Ｐ１と、バッファＢ１２３に格納された静領域群を基に背景選別部１２５によって選別された背景画像Ｐ２のフレーム差分をとる。ここで、上述したように、バッファＡ１２２とバッファＢ１２３のデータ格納サイズを違えているので、例えば、バッファＡ１２２のデータ容量を３００秒分の情報に相当するものとし、バッファＢ１２３のデータの容量を１０秒分の情報に相当するものとし、バッファＡ１２２では０〜３００秒の情報から背景画像Ｐ１が生成されたとし、バッファＢ１２３では２９０〜３００秒の情報から背景画像Ｐ２が生成されたとすると、２８９秒に車が停車された場合、バッファＡ１２２には停車前の２８８秒間の情報量が多いため、背景画像Ｐ１に車情報は反映されないが、バッファＢ１２３には停車後の情報量しか存在しないため、背景画像Ｐ２には車情報が反映される。
【００２６】
特徴量抽出部１２７は、フレーム差分部１２６でフレーム差分をとった結果から静領域がある場合、その静領域を保持し、この静領域から縦横比、サイズ、形状といったマッチングをとるための特徴量を計算する。車パターンマッチング部１２８は、ＤＰ（Dynamic Programming）マッチング法等のマッチングアルゴリズムを用いて、車テンプレートと特徴量抽出部１２７で計算された静領域の特徴量とのパターンマッチングを行い、車領域があるかどうか判定する。車領域がある場合は、その位置情報と時刻情報を計算し、保持する。
【００２７】
駐車時間判定部１２９は、車パターンマッチング部１２８に保持された車領域の位置情報と時刻情報から、その車領域が何分変化していないか計算する。この場合、広角カメラ１１０からの映像データが、例えば７２１×２４０画素で構成されたＮＴＳＣ（National Television Standards Committee）方式の映像データであれば、監視領域のＸ座標０〜７１９及びＹ座標０〜２３９における矩形領域の座標データを位置情報として表される。また、時刻情報は、ＹＹＹＹ／ＭＭ／ＤＤ ＨＨ：ＭＭ：ＳＳといったように、秒単位での計算が可能なフォーマットで表される。
【００２８】
画像消去部１３４は、駐車時間判別部１２９で計算された時間が、一般的な駐車時間未満である場合、駐車車両でなく停車車両であると判断し、位置情報と時刻情報からその停車車両で撮像された全顔画像を消去するとともに、位置情報と時刻情報を削除する。また、駐車時間判別部１２９で計算された時間が、一般的な駐車時間以上である場合、駐車車両と判断し、ベストショット判別部１３３に記録部１５０に格納された顔画像からベストショット画像を選択する命令を与える。
【００２９】
カメラ制御部１３０は、車パターンマッチング部１２８に保持した位置情報を基にパンチルトズーム搭載カメラ１１１を駐車車両近辺にパンチルトズームするため、パン、チルト、ズーム等のカメラ制御を行う。このカメラ制御には撮影を開始する指令も含まれる。
【００３０】
動領域抽出部１３１は、パンチルトズーム搭載カメラ１１１からの映像データから画像内の動きのある動領域を抽出する。例えば、現在のフレームの映像とその１つ前のフレームの映像との差分を求めて動きのある領域を抽出する。顔領域抽出部１３２は、動領域抽出部１３１で抽出された動領域から、楕円ハフといった顔領域を取得するアルゴリズムを用いて顔領域を抽出し、抽出した顔領域を出力する。ベストショット判別部１３３は、顔領域抽出部１３２で抽出された顔画像を記録部１５０に記録し、また画像消去部１３４からベストショット画像選択命令を受けることで、記録部１５０に格納された顔画像を所定の判定基準（コントラストが適性、顔のサイズが大きい、顔方向が正面等）に基づいて比較し、最も鮮明に撮像されたベストショット画像を選択する。また、ベストショット画像以外の画像は削除する。
【００３１】
次に、以上のように構成された駐車車両搭乗者撮像装置１００の動作について、図３及び図４のフロー図を用いて説明する。まず、静領域抽出部１２１が、広角カメラ１１０からの監視領域の映像データを取り込み（ステップＳ２０１）、差分法や動きベクトル法等を用いて、映像データから画像内の動きのない領域即ち静領域を抽出する（ステップＳ２０２）。監視領域から静領域を検出した後、該静領域をバッファＡ１２２とバッファＢ１２３に格納する（ステップＳ２０３及びＳ２０４）。この場合、バッファＡ１２２とバッファＢ１２３に静領域を格納できる空メモリがなければ、古い情報から順次上書きをする。例えば１秒間に１枚静領域を抽出し、バッファＡ１２２には３０枚静領域を格納できるとする。０〜３０秒までは全ての時刻の静領域をバッファＡ１２２に格納するが、３１秒には１秒目に抽出された静領域に対して上書きする。
【００３２】
次に、背景選別部１２４がバッファＡ１２２に格納された静領域群から背景画像Ｐ１を作成する（ステップＳ２０５）。同様に、背景選別部１２５がバッファＢ１２３に格納された静領域群から背景画像Ｐ２を作成する（ステップＳ２０６）。次に、フレーム差分部１２６が背景画像Ｐ１と背景画像Ｐ２のフレーム差分をとり（ステップＳ２０７）、その結果から停止している物体があるかどうか判定する（ステップＳ２０８）。背景に物体が存在した場合は、特徴量抽出部１２７が縦横比、サイズ、形状といったマッチングを行うための特徴量を計算する（ステップＳ２０９）。次に、車パターンマッチング部１２８がＤＰマッチング法等の縦横比、サイズ、形状といったテンプレート情報を基に任意のパターンを抽出するアルゴリズムを用いて、車パターンマッチング部１２８に保持した静領域内に車領域が存在するかマッチングを行う（ステップＳ２１０）。そして、マッチング結果から車領域があるかどうか判定し（ステップＳ２１１）、車領域がある場合（ステップＳ２１１でＹＥＳの場合）は、その車の位置情報・時刻情報を計算する（ステップＳ２１２）。
【００３３】
次に、カメラ制御部１３０が車パターンマッチング部１２８で算出された位置情報を基にパンチルトズーム搭載カメラ１１１にパンチルトズーム命令を与える（ステップＳ２１３）。これにより、パンチルトズーム搭載カメラ１１１には車領域の近傍が撮像される。そして、動領域抽出部１３１がパンチルトズーム搭載カメラ１１１からの映像データを取込み、差分法や動きベクトル法等用いて、動きのある動領域を検出する（ステップＳ２１４）。次に、顔領域抽出部１３２が例えば楕円ハフアルゴリズムを用いて、動き領域内に顔領域が存在するかマッチングを行う（ステップＳ２１５）。マッチングすればその顔画像を記録部１５０に記録する（ステップＳ２１６）。
【００３４】
一方、車が発進し、広角カメラ１１０外に移動したことで車領域がマッチングできなかった場合は、ステップＳ２１１の判定がＮＯとなるので、駐車時間判別部１２９が車パターンマッチング部１２８で取得された位置情報と時刻情報からその車が何分動きがないか時間を計算する。そして、駐車車両かどうかを判定する（ステップＳ２１７）。計算した時間が一般的な駐車時間未満である場合は、駐車車両でなく停車車両であると判断し、停車車両で撮像された全顔画像を記録部１５０から消去する（ステップＳ２１８）。更に、位置情報と時刻情報を削除する（ステップＳ２１９）。
【００３５】
これに対して、計算した時間が一般的な駐車時間以上である場合、駐車車両であると判断し、記録部１５０に格納された顔画像から、所定の比較基準に基づいて比較してベストショット画像を選択する（ステップＳ２２０）。この場合、ベストショットの比較基準において、例えば顔映像のコントラスト、顔映像サイズ及び顔方向情報の３つのベストショットを判別基準とした場合、抽出された顔映像を要素毎にスコア化し、スコア化したものに所定の重み係数を乗じて顔映像の総合スコアを算出する。現在のフレームから抽出した顔画像と過去のフレームで抽出した顔映像とを総合スコアでフレーム毎に順次比較し、総合スコアが最も大きいものをベストショットとする。それ以外の画像は削除する（ステップＳ２２１）。
【００３６】
このように本実施の形態に係る駐車車両搭乗者撮像装置１００によれば、広角カメラ１１０からの監視領域の映像データから画像内の動きのない領域即ち静領域を抽出できると、その静領域から特徴量を計算し、これにより得られた特徴量と車テンプレートとのパターンマッチングを行い、車領域がある場合はその位置情報と時刻情報を計算し、その車領域が何分動きがないかを判別する一方、位置情報を基にパンチルトズーム搭載カメラ１１１を制御してパンチルトズーム搭載カメラ１１１からの映像データを得て、その映像データから画像内の動きのある動領域を抽出し、更に顔領域を抽出して記録部１５０に記録し、車領域の動きの無い時間が一般的な駐車時間未満であれば、停車車両として判断して記録部１５０に記録した全顔画像を消去し、車領域の動きの無い時間が一般的な駐車時間以上であれば、駐車車両と判断して記録部１５０に記録した顔画像からベストショット画像を選択し、残りの顔画像については消去する。したがって、駐車車両と判断した場合、該車両の搭乗者のベストショット画像のみ保存するので、駐車車両の搭乗者を監視するためのデータ量の軽減化が図れるとともに、容易に搭乗者を特定することができる。
【００３７】
なお、上記実施の形態において、静領域抽出部１２１で抽出された静領域を２つのバッファＡ１２２とバッファＢ１２３に格納するようにしたが、バッファの数は２つに限定されることはなく、２つ以上であってもよい。但し、背景選別部１２５もそれに合わせて増やす必要がある。
【００３８】
（実施の形態２）
図５は、本発明の実施の形態２に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図である。なお、図５において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００３９】
図５において、本実施の形態に係る駐車車両搭乗者撮像装置３００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００の動領域抽出部１３１、顔領域抽出部１３２及びベストショット判別部１３３に代わってフレームレート制御部３２１を備えている点と、実施の形態１に係る駐車車両搭乗者撮像装置１００の車パターンマッチング部１２８に新たな機能を追加した車パターンマッチング部３２２を備えている点が異なっている。フレームレート制御部３２１は、パンチルトズーム搭載カメラ１１１からの映像データを取り込む間隔を変えて記録部１５０へ出力する。車パターンマッチング部３２２は、フレームレート制御部３２１に任意のフレームレートで撮像するようにフレームレート制御命令を与える。フレームレート制御部３２１は、フレームレート制御命令に従う時間間隔でパンチルトズーム搭載カメラ１１１からの映像データを取り込む。なお、フレームレート制御部３２１はフレームレート制御手段に対応する。
【００４０】
次に、図６及び図７のフロー図を用いて駐車車両搭乗者撮像装置３００の動作について説明する。ここで、図６のステップＳ４０１〜ステップＳ４１３は、前述した図３のステップＳ２０１〜ステップＳ２１３と同一であるので、説明を省略する。
【００４１】
図６及び図７において、ステップＳ４１２で車パターンマッチング部１２８が、静領域を車領域と判断してその車領域の位置情報と時刻情報を計算し、カメラ制御部１３０にカメラ制御命令を与えた後、フレームレート制御部３２１に対して高フレームレートで記録部１５０に動画を録画するようにフレームレート制御命令を与える（ステップＳ４１４）。フレームレート制御部３２１は、フレームレート制御命令が与えられることで、パンチルトズーム搭載カメラ１１１からの映像データを高フレームレートで記録部１５０に録画する。
【００４２】
一方、車が発進し、広角カメラ１１０外に移動したことで車領域がマッチングできなくなった場合、ステップＳ４１１からステップＳ４１５へ移行し、駐車車両かどうか判定する。駐車車両であれば、車パターンマッチング部３２２がフレームレート制御部３２１に対して、低フレームレートで録画するようにフレームレート制御命令を入力する（ステップＳ４１７）。このフレームレート制御命令が与えられることで、フレームレート制御部３２１がパンチルトズーム搭載カメラ１１１からの映像データを低フレームレートで記録部１５０に録画する。ステップＳ４１５の判定において、駐車車両でない即ち停車車両であると判断すると、位置情報と時刻情報からその停車車両を撮像した動画を削除するように画像消去部１３４に指示する。これにより、画像消去部１３４が該動画を記録部１５０から削除する（ステップＳ４１６）。
【００４３】
このように本実施の形態に係る駐車車両搭乗者撮像装置３００によれば、車テンプレートとのパターンマッチングを行って車領域がある場合は、その位置情報と時刻情報を計算し、その車領域が何分動きがないかを判別する一方、パンチルトズーム搭載カメラ１１１からの映像データを高フレームレートで記録部１５０に録画し、車領域があった状態から無くなった状態になると、そのときまで車領域が継続してきた時間が一般的な駐車時間以上であれば、パンチルトズーム搭載カメラ１１１からの映像データを低フレームレートで記録部１５０に録画し、車領域が継続してあった時間が一般的な駐車時間未満であれば、記録部１５０の録画データを消去する。したがって、駐車車両が発生したときのみ高フレームレートで記録することができる。
【００４４】
（実施の形態３）
図８は、本発明の実施の形態３に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図ある。なお、図８において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００４５】
図８において、本実施の形態に係る駐車車両搭乗者撮像装置５００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００と同一の構成に加えて、車画像格納部５２１と車画像制御部５２２を備えている点が異なっている。車画像格納部５２１は、車パターンマッチング部１２８がフレーム毎に抽出した車画像を保存する。車画像制御部５２２は、ベストショット判別部１３３が判別したベストショット画像が撮像された時刻に車画像格納部５２１に格納された車画像を取得して記録部１５０に記録する。そして、車画像格納部５２１に格納された車画像を消去する。なお、上記車画像格納部５２１と車画像制御部５２２は車画像制御手段を構成する。
【００４６】
以上のように構成された駐車車両搭乗者撮像装置５００の動作について、図９のフロー図を用いて説明する。なお、本実施の形態に係る駐車車両搭乗者撮像装置５００は、実施の形態１に係る駐車車両搭乗者撮像装置１００に車画像格納部５２１と車画像制御部５２２を追加した構成なので、これら以外の構成の説明は省略する。
【００４７】
車画像格納部５２１が、フレーム毎に抽出した車画像を保存する（ステップＳ６０１）。車画像制御部５２２が、顔画像のベストショットが撮像された時刻を取得し（ステップＳ６０２）、次いで顔画像のベストショットが撮像された時刻の車画像を記録部１５０に記録する（ステップＳ６０３）。次いで、車画像格納部５２１に格納された車画像を消去する（ステップＳ６０４）。
【００４８】
このように本実施の形態に係る駐車車両搭乗者撮像装置５００によれば、ベストショット画像が得られた時刻の車画像を記録部１５０に記録するので、駐車車両搭乗者のベストショット画像と駐車車両を共に記録部１５０に記録することができる。
【００４９】
（実施の形態４）
図１０は、本発明の実施の形態４に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図ある。なお、図１０において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００５０】
図１０において、本実施の形態に係る駐車車両搭乗者撮像装置７００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００と同一の構成に加えて、顔データベース７２１と、顔検索部７２２と、アラーム出力部７２３とを備えている点が異なっている。顔データベース７２１には複数の顔画像が格納されている。顔検索部７２２は、記録部１５０に格納された顔画像をキーとして、顔データベース７２１に格納されている顔画像の検索を行う。アラーム出力部７２３はアラーム出力を行う。なお、顔データベース７２１は顔データ蓄積手段に対応する。また、アラーム出力部７２３はアラーム出力手段に対応する。また、顔検索部７２２は顔検索手段に対応する。
【００５１】
以上のように構成された駐車車両搭乗者撮像装置７００の動作について、図１１のフロー図を用いて説明する。なお、本実施の形態に係る駐車車両搭乗者撮像装置７００は、実施の形態１に係る駐車車両搭乗者撮像装置１００に、顔データベース７２１と顔検索部７２２とアラーム出力部７２３とを追加した構成なので、これら以外の構成の説明は省略する。
【００５２】
まず、顔検索部７２２が、つい先ほど得られたベストショット画像をキーとして、顔データベース７２１内に存在する顔情報に対して検索をかける（ステップＳ８０１）。検索アルゴリズムは、例えばＡｄａＢｏｏｓｔ学習を用いた顔識別検出器によるマッチング手法でよい。また、顔データベース７２１は例えば不法駐車常習者の顔データベースでもよい。
【００５３】
そして、取得した顔画像が顔データベース７２１に存在するか否かを判定し（ステップＳ８０２）、存在する場合（ステップＳ８０２においてＹＥＳとなる場合）は、顔検索部７２２がアラーム出力部７２３にアラーム出力命令を与える。これにより、アラーム出力部７２３がアラーム出力を行う（ステップＳ８０３）。なお、アラーム出力部７２３はブザーを鳴動させるものであってもよいし、駐車車両搭乗者撮像装置７００にＩＰ（Internet Protocol）ネットワークといった一般的なネットワークに繋がるＩ／Ｆ（インタフェース）を持たせて、集中サーバもしくは最寄りの派出所に不法駐車情報を伝えるといった手法でもよい。
【００５４】
このように本実施の形態に係る駐車車両搭乗者撮像装置７００によれば、ベストショット画像と顔データベース７２１と顔の検索を行い、ベストショット画像が顔データベース７２１に存在する場合にアラーム出力を行うので、不法駐車常習者といった顔データベース７２１に格納された特定の人物が不法駐車したときに即座にアラームを発報することができる。
【００５５】
なお、前述した実施の形態２に係る駐車車両搭乗者撮像装置３００と実施の形態３に係る駐車車両搭乗者撮像装置５００においても、本実施の形態に係る駐車車両搭乗者撮像装置７００と同様の手段（即ち、予め登録してある顔データベース内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合にアラームを発報する手段）を追加しても構わない。
【００５６】
（実施の形態５）
図１２は、本発明の実施の形態５に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図ある。なお、図１２において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００５７】
図１２において、本実施の形態に係る駐車車両搭乗者撮像装置９００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００と同一の構成に加えて、動領域抽出部９２１と、人領域抽出部９２２と、人物特徴量抽出部９２３と、人物追尾部９２４とを備えている点が異なっている。
【００５８】
動領域抽出部９２１は、動領域抽出部１３１と同一の機能を有するものであり、広角カメラ１１０からの映像データから画像内の動きのある動領域を抽出する。例えば現在のフレームの映像とその１つ前のフレームの映像との差分を求めて動きのある動領域を抽出する。人領域抽出部９２２は、動領域抽出部９２１で抽出された動きのある動領域から、ＤＰマッチングアルゴリズムとった、縦横比、サイズ、形状といったテンプレート情報から人領域を取得するアルゴリズムによって人領域を抽出し、そのときの人の位置情報と時刻情報を抽出する。
【００５９】
人物特徴量抽出部９２３は、人領域抽出部９２２によって抽出された人領域の、例えば、身長、体型の縦横比、服装の色といった人毎に区別可能な特徴量を計算する。人物追尾部９２４は、人物特徴量抽出部９２３で計算された特徴量をもつ人が広角カメラ１１０で撮像された画像内に存在するか否かを判別し、存在する場合は位置情報を計算する。カメラ制御部１３０は、人物追尾部９２４で計算された位置情報を基にパンチルトズーム搭載カメラ１１１にパン、チルト、ズーム命令を与えて、パンチルトズーム搭載カメラ１１１に車両搭乗者の近傍の映像を撮像可能な画角に制御する。
【００６０】
なお、上記動領域抽出部１３１は第２の動領域抽出手段に対応する。また、動領域抽出部９２１は第１の動領域抽出手段に対応する。また、人領域抽出部９２２は人領域抽出手段に対応する。また、人物特徴量抽出部９２３は人物特徴量抽出手段に対応する。また、人物追尾部９２４は人物追尾手段に対応する。
【００６１】
以上のように構成された駐車車両搭乗者撮像装置９００について、図１３〜図１５のフロー図を用いて説明する。まず、初期化として搭乗者人数を「０」に設定する（ステップＳ１０００）。次いで、静領域抽出部１２１が広角カメラ１１０からの監視領域の映像データを取り込み（ステップＳ１００１）、差分法や動きベクトル法等を用いて、映像データから画像内の動きのない領域即ち静領域を抽出する（ステップＳ１００２）。監視領域から静領域を抽出した後、該静領域をバッファＡ１２２とバッファＢ１２３に格納する（ステップＳ１００３及びＳ１００４）。この場合、バッファＡ１２２とバッファＢ１２３に静領域を格納できる空メモリがなければ、古い情報から順次上書きをする。例えば１秒間に１枚静領域を抽出し、バッファＡ１２２には３０枚静領域を格納できるとする。０〜３０秒までは全ての時刻の静領域をバッファＡ１２２に格納するが、３１秒には１秒目に抽出された静領域に対して上書きする。
【００６２】
次に、背景選別部１２４がバッファＡ１２２に格納された静領域群から背景画像Ｐ１を作成する（ステップＳ１００５）。同様に、背景選別部１２５がバッファＢ１２３に格納された静領域群から背景画像Ｐ２を作成する（ステップＳ１００６）。次に、フレーム差分部１２６が背景画像Ｐ１と背景画像Ｐ２のフレーム差分をとり（ステップＳ１００７）、その結果から停止している物体があるかどうか判定する（ステップＳ１００８）。背景に物体が存在した場合は、特徴量抽出部１２７が、縦横比、サイズ、形状といったマッチングを行うための特徴量を計算する（ステップＳ１００９）。次に、車パターンマッチング部１２８が、ＤＰマッチング法等の縦横比、サイズ、形状といったテンプレート情報を基に任意のパターンを抽出するアルゴリズムを用いて、静領域内に車領域が存在するかマッチングを行う（ステップＳ１０１０）。そして、マッチング結果から車領域があるかどうか判定し（ステップＳ１０１１）、車領域がある場合（ＹＥＳの場合）は、その車の位置情報と時刻情報を計算する（ステップＳ１０１２）。
【００６３】
次に、広角カメラ１１０からの監視領域の映像データを動領域抽出部９２１が取り込み、差分法や動きベクトル法等を用いて、映像データから画像内の動きのある領域即ち動領域を検出する（ステップＳ１０１３）。次に、人領域抽出部９２２が、例えばＤＰマッチング法といった、縦横比、サイズ、形状といったテンプレート情報を基に任意のパターンを抽出するアルゴリズムも用いて、動領域内に人領域が存在するかマッチングを行い（ステップＳ１０１４）、人領域があるかどうか判定する（ステップＳ１０１５）。人領域がある場合は、検知した人領域全てにおいて、身長、体型の縦横比、服装の色といった人毎に区別可能な特徴量を計算する（ステップＳ１０１６）。そして、計算した特徴量が、車領域の位置情報周辺から新規に発生した特徴量かどうか判定する（ステップＳ１０１７）。新規に発生した特徴量である場合は、この人領域は車から降車した人物であると判断し、搭乗者人数を１増加させ、搭乗者特徴量として保持する（ステップＳ１０１８）。
【００６４】
次に、人物追尾部９２４が、ステップＳ１０１６で計算された特徴量内に同値の搭乗者特徴量が存在するか調べ、同値の値が存在する場合は同値の特徴量が搭乗者であると判断し、位置情報を計算する（ステップＳ１０１９）。次いで、カメラ制御部１３０が、人物追尾部９２４で計算された位置情報にパンチルトズーム命令をパンチルトズーム搭載カメラ１１１に送信し（ステップＳ１０２０）、パンチルトズーム搭載カメラ１１１から搭乗者の近傍の映像が撮像される。また、駐車時間判別部１２９が、車パターンマッチング部１２８が取得した車領域と位置情報から、その車が何分変化していないか駐車時間情報を計算する。
【００６５】
次に、パンチルトズーム搭載カメラ１１１からの人領域近傍の映像データを動領域抽出部１３１が取り込み、差分法や動きベクトル法等用いて動きのある動領域が検出される（ステップＳ１０２１）。例えば、差分法を用いる場合、動領域抽出部１３１は、現在のフレームの映像と現在のフレームの１つ前のフレームの映像との差分を求めて、監視領域から動きのある領域を検出する。
【００６６】
次に、顔領域抽出部１３２が、例えば楕円ハフアルゴリズムを用いて、動き領域内に顔領域が存在するかマッチングを行う（ステップＳ１０２２）。マッチングすれば、顔画像を記録部１５０に保存する（ステップＳ１０２３）。搭乗者特徴量を持った人領域が広角カメラ１１１の画角外に移動しても駐車車両が移動するまでマッチング、顔画像保存を行う。
【００６７】
車が発進し、広角カメラ１１０の画角外に移動したことで車領域がマッチングできなかった場合、ステップＳ１０１１で車領域なしと判断されるので、駐車時間判別部１２９が、車パターンマッチング部１２８で取得した位置情報と時刻情報から、その車が何分変化していないか時間を計算する。駐車時間判別部１２９が計算した時間が、一般的な駐車時間未満である場合、駐車車両ではなく停車車両であると判断し、ステップＳ１０２４からステップＳ１０２５に進み、画像消去部１３４が、位置情報と時刻情報からその停車車両で撮像された全顔画像を削除する。全顔画像の削除後、位置情報と時刻情報を削除する（ステップＳ１０２６）。
【００６８】
これに対して、駐車時間判別部１２９が計算された時間が一般的な駐車時間以上である場合、駐車車両であると判断されるので、ベストショット判別部１３３が、記録部１５０に格納された顔画像から所定の比較基準に基づいて比較し、ベストショット画像を選択する（ステップＳ１０２７）。この場合、ベストショットの比較基準において、例えば顔映像のコントラスト、顔映像サイズ及び顔方向情報の３つのベストショットを判別基準とした場合、抽出された顔映像を要素毎にスコア化し、スコア化したものに所定の重み係数を乗じて顔映像の総合スコアを算出する。現在のフレームから抽出した顔画像と、過去のフレームで抽出した顔映像とを総合スコアでフレーム毎に順次比較し、総合スコアが最も大きいものをベストショットとする。それ以外の画像は、画像消去部１３４が削除する（ステップＳ１０２８）。
【００６９】
このように本実施の形態に係る駐車車両搭乗者撮像装置９００によれば、動領域抽出部９２１と人領域抽出部９２２で広角カメラ１１０内の人領域を抽出し、人物特徴量抽出部９２３と人物追跡部９２４で搭乗者を追尾し位置情報を取得するので、降車時、乗車時からベストショット顔画像を取得することができ、より鮮明な駐車車両搭乗者のベストショット画像を記録することができる。
【００７０】
なお、本実施の形態において、上述した実施の形態４に係る駐車車両搭乗者撮像装置７００と同様の手段即ち予め登録してある顔データベース内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合にアラームを発報する手段を追加しても構わない。
【産業上の利用可能性】
【００７１】
本発明は、記録装置として大容量のものを使用しなくても効率的な使用を可能とし、更に記録した映像から駐車車両の搭乗者を容易に見つけ出すことができるといった効果を有し、監視カメラで駐車車両や搭乗者を監視記録する駐車車両搭乗者撮像装置などへの適用が可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態１に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る駐車車両搭乗者撮像装置における広角カメラとパンチルトズーム搭載カメラと監視制御記録装置と車両と該車両の運転手との位置関係の一例を示す図
【図３】本発明の実施の形態１に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図４】本発明の実施の形態１に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図５】本発明の実施の形態２に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図６】本発明の実施の形態２に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図７】本発明の実施の形態２に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図８】本発明の実施の形態３に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図９】本発明の実施の形態３に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１０】本発明の実施の形態４に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図１１】本発明の実施の形態４に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１２】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図１３】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１４】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１５】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【符号の説明】
【００７３】
１００、３００、５００、７００、９００ 駐車車両搭乗者撮像装置
１１０ 広角カメラ
１１１ パンチルトズーム搭載カメラ
１１２、１１３、１１４、１１５、１１６ 監視制御記録装置
１２１ 静領域抽出部
１２２ バッファＡ
１２３ バッファＢ
１２４、１２５ 背景選別部
１２６ フレーム差分部
１２７ 特徴量抽出部
１２８、３２２ 車パターンマッチング部
１２９ 駐車時間判別部
１３０ カメラ制御部
１３１ 動領域抽出部
１３２ 顔領域抽出部
１３３ ベストショット判別部
１３４ 画像消去部
１５０ 記録部
３２１ フレームレート制御部
５２１ 車画像格納部
５２２ 車画像制御部
７２１ 顔データベース
７２２ 顔検索部
７２３ アラーム出力部
９２１ 動領域抽出部
９２２ 人領域抽出部
９２３ 人物特徴量抽出部
９２４ 人物追尾部
【技術分野】
【０００１】
本発明は、監視カメラで駐車車両や搭乗者を監視記録する駐車車両搭乗者撮像装置に関する。
【背景技術】
【０００２】
従来、監視カメラで駐車車両や搭乗者を監視記録する監視記録装置が開発されている（例えば、特許文献１参照）。特許文献１で開示されている監視記録装置は、広角カメラで駐車車両を探し出し、パンチルトズーム搭載カメラで搭乗者を監視するようにしている。
【０００３】
駐車車両は、路肩のどの部分に駐車するか分からないため、まず広角カメラで駐車車両の位置情報を検知し、検知した位置情報からパンチルトズーム搭載カメラを駐車車両近辺にパンチルトズームする。そして、搭乗者が車両に戻ってきたときに、その搭乗者をパンチルトズーム搭載カメラで撮像することにより、より鮮明に搭乗者を撮像することが可能となる。
【０００４】
【特許文献１】特開２００４−７３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視記録装置においては、駐車車両の搭乗者がいつ車両に戻ってくるか分からないため、常に撮像し続けなければならず、ＨＤＤ（Hard Disk Drive）等の記録装置の資源枯渇が著しく、大容量の記録装置を必要とし、その分、コスト高になる問題がある。また、長時間録画した映像から駐車車両の搭乗者を見つけ出す作業が必要であり、作業効率が悪いという問題もある。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、記録装置として大容量のものを使用しなくても効率的な使用を可能とし、更に記録した映像から駐車車両の搭乗者を容易に見つけ出すことができる駐車車両搭乗者撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的は下記構成により達成される。
（１） 監視領域に向けて配置される第１の撮像手段と、外部からの命令に従って撮影範囲を変える第２の撮像手段と、前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、前記静領域抽出手段で抽出された前記監視領域映像情報の静領域から背景の変化を検出する背景変化検出手段と、前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者を撮像可能にするカメラ制御手段と、前記第２の撮像手段からの映像情報から動きのある動領域を抽出する動領域抽出手段と、画像を記録するための記録手段と、前記動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、を備える。
【０００８】
（２） 監視領域に向けて配置される第１の撮像手段と、外部からの命令に従って撮影範囲を変える第２の撮像手段と、前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、前記静領域抽出手段で抽出された前記監視領域映像の複数の静領域から背景を求める背景変化検出手段と、前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、前記監視領域映像情報から画像内の動きのある動領域を抽出する第１の動領域抽出手段と、前記第１の動領域抽出手段で抽出された動領域内から人領域を抽出し、抽出した人領域の位置情報と時刻情報を計算する人領域抽出手段と、前記人領域抽出手段で抽出された人領域の特徴量を計算する人物特徴量抽出手段と、前記人物特徴量抽出手段で計算された特徴量をもつ人が前記監視領域映像情報内に存在するか否かを判別し、存在する場合は位置情報を計算する人物追尾手段と、前記人物追尾手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の近傍の映像を撮像可能に制御するカメラ制御手段と、前記第２の撮像手段からの映像情報から画像内の動きのある動領域を抽出する第２の動領域抽出手段と、画像を記録するための記録手段と、前記第２の動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、を備える。
【０００９】
（３） 上記（１）又は（２）に記載の駐車車両搭乗者撮像装置において、前記ベストショット判別手段でベストショット画像が選択された時刻において前記第１の撮像手段にて撮像された駐車領域の画像を前記記録手段に記録する車画像制御手段を備える。
【００１０】
（４） 監視領域に向けて配置される第１の撮像手段と、外部からの命令に従って撮影範囲を変える第２の撮像手段と、前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、前記静領域抽出手段で抽出された前記監視領域映像情報の複数の静領域から背景を求める背景変化検出手段と、前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、画像を記録するための記録手段と、前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が、車両と判断した場合はその車両の位置情報と時刻情報を計算すると共に高フレームレートのフレームレート制御命令を出力し、車両と判断した後、車両と判断できなくなると低フレームレートのフレームレート制御命令を出力する車パターンマッチング手段と、前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の顔画像が撮像可能に制御するカメラ制御手段と、前記車パターンマッチング手段からのフレームレート設定命令に従う時間間隔で前記第２の撮像手段からの映像データを取り込み前記記録手段に録画するフレームレート制御手段と、前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、を備える。
【００１１】
（５） 上記（１）乃至（４）のいずれかに記載の駐車車両搭乗者撮像装置において、複数の顔データを蓄積した顔データ蓄積手段と、アラームを発報するアラーム出力手段と、前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合に前記アラーム出力手段を動作させる顔検索手段と、を備える。
【００１２】
（６） 上記（５）に記載の駐車車両搭乗者撮像装置において、前記顔検索手段は、前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔がマッチングした場合にネットワークを介して集中サーバに配信する。
【発明の効果】
【００１３】
上記（１）に記載の駐車車両搭乗者撮像装置では、駐車車両を認識した場合にのみ記録を行い、しかも駐車車両搭乗者の顔のなかでも判定基準に最も適合するベストショット画像のみ記録するので、駐車車両の搭乗者を監視するためのデータ量の軽減化が図れるとともに、容易に搭乗者を特定することができる。
【００１４】
上記（２）に記載の駐車車両搭乗者撮像装置では、車両の搭乗者を追尾し位置情報を取得するので、降車時、乗車時からベストショット顔画像を取得することができ、より鮮明な駐車車両搭乗者のベストショット画像を記録することができる。
【００１５】
上記（３）に記載の駐車車両搭乗者撮像装置では、駐車車両搭乗者のベストショット画像とその駐車車両を記録することができる。
【００１６】
上記（４）に記載の駐車車両搭乗者撮像装置では、駐車車両を認識した場合には第２の撮像手段より得られる動画を高フレームレートで記録し、駐車車両を認識できなくなると低フレームレートで記録するので、駐車車両の搭乗者を監視するためのデータ量の軽減化が図れるとともに、容易に搭乗者を特定することができる。
【００１７】
上記（５）に記載の駐車車両搭乗者撮像装置では、不法駐車常習者といった顔データ蓄積手段に記録された特定の人物が不法駐車したときに即座にアラームを発報するので、不法駐車常習者の検挙に寄与できる。
【００１８】
上記（６）に記載の駐車車両搭乗者撮像装置では、不法駐車常習者といった顔データ蓄積手段に記録された特定の人物が不法駐車したときに即座にネットワークを介して集中サーバに配信することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図である。同図において、本実施の形態に係る駐車車両搭乗者撮像装置１００は、広角カメラ１１０と、パンチルトズーム搭載カメラ１１１と、監視制御記録装置１１２とを備えて構成される。監視制御記録装置１１２は、静領域抽出部１２１と、バッファＡ１２２及びＢ１２３と、背景選別部１２４及び１２５と、フレーム差分部１２６と、特徴量抽出部１２７と、車パターンマッチング部１２８と、駐車時間判定部１２９と、カメラ制御部１３０と、動領域抽出部１３１と、顔領域抽出部１３２と、ベストショット判別部１３３と、画像消去部１３４と、記録部１５０とを備えている。
【００２１】
なお、上記広角カメラ１１０は第１の撮像手段に対応する。また、パンチルトズーム搭載カメラ１１１は第２の撮像手段に対応する。また、静領域抽出部１２１は静領域抽出手段に対応する。また、バッファＡ１２２及びＢ１２３と背景選別部１２４及び１２５とフレーム差分部１２６は背景変化検出手段を構成する。また、特徴量抽出部１２７は特徴量抽出手段に対応する。また、車パターンマッチング部１２８は車パターンマッチング手段に対応する。また、駐車時間判定部１２９は駐車時間判定手段に対応する。また、カメラ制御部１３０はカメラ制御手段に対応する。また、動領域抽出部１３１は動領域抽出手段に対応する。また、顔領域抽出部１３２は顔領域抽出手段に対応する。また、ベストショット判別部１３３はベストショット判別手段に対応する。また、画像消去部１３４は画像消去手段に対応する。また、記録部１５０は記録手段に対応する。
【００２２】
広角カメラ１１０は、監視対象エリア全体を撮像できるように、３５ミリ換算値で５０ｍｍ以下の焦点距離を持つ広角レンズを備える。パンチルトズーム搭載カメラ１１１は、カメラ本体をパン（水平方向）及びチルト（上下方向）する機構を備えるとともに、レンズの焦点距離変更による光学ズームを備える。図２は、広角カメラ１１０と、パンチルトズーム搭載カメラ１１１と、監視制御記録装置１１２と、車両２００と、車両２００の運転手２１０と、車道２２０との位置関係の一例を示す図である。同図に示すように、広角カメラ１１０及びパンチルトズーム搭載カメラ１１１は、それぞれ監視方向に方向付けされ、配置される。この際、パンチルトズーム搭載カメラ１１１の動作によって、互いに衝突しないように一定の距離隔てて配置することもできる。なお、パンチルトズーム搭載カメラ１１１は、パンとチルトの動作によって撮影方向を任意に設定できるが、監視対象エリア内の中心に、水平方向の角度及び上下方向の角度の中心が来るように設定するのが望ましい。
【００２３】
図１において、静領域抽出部１２１は、差分法や動きベクトル法を用いて、広角カメラ１１０からの映像データ（監視領域映像）から画像内の動きのない領域（静領域）を抽出する。例えば、差分法を用いる場合、現在のフレームの映像とその１つ前のフレームの映像との差分を求めて動き領域を抽出して、その動き領域以外を静領域として抽出する。このようにして監視領域から静領域を抽出する。バッファＡ１２２及びＢ１２３は、フレーム毎に静領域抽出部１２１で抽出された静領域を一時的に格納するものである。バッファＡ１２２とバッファＢ１２３には、データ格納サイズの異なるものが用いられる。この理由については、次のフレーム差分部１２６のところで説明する。
【００２４】
背景選別部１２４は、バッファＡ１２２に格納された静領域群から背景画像を選別する。ここで、広角カメラ１１０で撮像される映像には前景と背景が存在し、前景とは、人、車といった常に動きのあるもので、背景とは、壁、地面といった動きのないものである。静領域には、前景に比べ背景の方が非常に多く、情報が残っていると仮定することができ、バッファＡ１２２に格納された静領域群から、例えば任意の個数存在する母集団から最頻値をとる最小二乗メディアン法を用いて、画素毎の最頻値を背景画素として背景画像を作成する。背景選別部１２５は、背景選別部１２４と同様の処理を行って、バッファＢ１２３に格納された静領域群から背景画像を選別する。
【００２５】
フレーム差分部１２６は、バッファＡ１２２に格納された静領域群を基に背景選別部１２４によって選別された背景画像Ｐ１と、バッファＢ１２３に格納された静領域群を基に背景選別部１２５によって選別された背景画像Ｐ２のフレーム差分をとる。ここで、上述したように、バッファＡ１２２とバッファＢ１２３のデータ格納サイズを違えているので、例えば、バッファＡ１２２のデータ容量を３００秒分の情報に相当するものとし、バッファＢ１２３のデータの容量を１０秒分の情報に相当するものとし、バッファＡ１２２では０〜３００秒の情報から背景画像Ｐ１が生成されたとし、バッファＢ１２３では２９０〜３００秒の情報から背景画像Ｐ２が生成されたとすると、２８９秒に車が停車された場合、バッファＡ１２２には停車前の２８８秒間の情報量が多いため、背景画像Ｐ１に車情報は反映されないが、バッファＢ１２３には停車後の情報量しか存在しないため、背景画像Ｐ２には車情報が反映される。
【００２６】
特徴量抽出部１２７は、フレーム差分部１２６でフレーム差分をとった結果から静領域がある場合、その静領域を保持し、この静領域から縦横比、サイズ、形状といったマッチングをとるための特徴量を計算する。車パターンマッチング部１２８は、ＤＰ（Dynamic Programming）マッチング法等のマッチングアルゴリズムを用いて、車テンプレートと特徴量抽出部１２７で計算された静領域の特徴量とのパターンマッチングを行い、車領域があるかどうか判定する。車領域がある場合は、その位置情報と時刻情報を計算し、保持する。
【００２７】
駐車時間判定部１２９は、車パターンマッチング部１２８に保持された車領域の位置情報と時刻情報から、その車領域が何分変化していないか計算する。この場合、広角カメラ１１０からの映像データが、例えば７２１×２４０画素で構成されたＮＴＳＣ（National Television Standards Committee）方式の映像データであれば、監視領域のＸ座標０〜７１９及びＹ座標０〜２３９における矩形領域の座標データを位置情報として表される。また、時刻情報は、ＹＹＹＹ／ＭＭ／ＤＤ ＨＨ：ＭＭ：ＳＳといったように、秒単位での計算が可能なフォーマットで表される。
【００２８】
画像消去部１３４は、駐車時間判別部１２９で計算された時間が、一般的な駐車時間未満である場合、駐車車両でなく停車車両であると判断し、位置情報と時刻情報からその停車車両で撮像された全顔画像を消去するとともに、位置情報と時刻情報を削除する。また、駐車時間判別部１２９で計算された時間が、一般的な駐車時間以上である場合、駐車車両と判断し、ベストショット判別部１３３に記録部１５０に格納された顔画像からベストショット画像を選択する命令を与える。
【００２９】
カメラ制御部１３０は、車パターンマッチング部１２８に保持した位置情報を基にパンチルトズーム搭載カメラ１１１を駐車車両近辺にパンチルトズームするため、パン、チルト、ズーム等のカメラ制御を行う。このカメラ制御には撮影を開始する指令も含まれる。
【００３０】
動領域抽出部１３１は、パンチルトズーム搭載カメラ１１１からの映像データから画像内の動きのある動領域を抽出する。例えば、現在のフレームの映像とその１つ前のフレームの映像との差分を求めて動きのある領域を抽出する。顔領域抽出部１３２は、動領域抽出部１３１で抽出された動領域から、楕円ハフといった顔領域を取得するアルゴリズムを用いて顔領域を抽出し、抽出した顔領域を出力する。ベストショット判別部１３３は、顔領域抽出部１３２で抽出された顔画像を記録部１５０に記録し、また画像消去部１３４からベストショット画像選択命令を受けることで、記録部１５０に格納された顔画像を所定の判定基準（コントラストが適性、顔のサイズが大きい、顔方向が正面等）に基づいて比較し、最も鮮明に撮像されたベストショット画像を選択する。また、ベストショット画像以外の画像は削除する。
【００３１】
次に、以上のように構成された駐車車両搭乗者撮像装置１００の動作について、図３及び図４のフロー図を用いて説明する。まず、静領域抽出部１２１が、広角カメラ１１０からの監視領域の映像データを取り込み（ステップＳ２０１）、差分法や動きベクトル法等を用いて、映像データから画像内の動きのない領域即ち静領域を抽出する（ステップＳ２０２）。監視領域から静領域を検出した後、該静領域をバッファＡ１２２とバッファＢ１２３に格納する（ステップＳ２０３及びＳ２０４）。この場合、バッファＡ１２２とバッファＢ１２３に静領域を格納できる空メモリがなければ、古い情報から順次上書きをする。例えば１秒間に１枚静領域を抽出し、バッファＡ１２２には３０枚静領域を格納できるとする。０〜３０秒までは全ての時刻の静領域をバッファＡ１２２に格納するが、３１秒には１秒目に抽出された静領域に対して上書きする。
【００３２】
次に、背景選別部１２４がバッファＡ１２２に格納された静領域群から背景画像Ｐ１を作成する（ステップＳ２０５）。同様に、背景選別部１２５がバッファＢ１２３に格納された静領域群から背景画像Ｐ２を作成する（ステップＳ２０６）。次に、フレーム差分部１２６が背景画像Ｐ１と背景画像Ｐ２のフレーム差分をとり（ステップＳ２０７）、その結果から停止している物体があるかどうか判定する（ステップＳ２０８）。背景に物体が存在した場合は、特徴量抽出部１２７が縦横比、サイズ、形状といったマッチングを行うための特徴量を計算する（ステップＳ２０９）。次に、車パターンマッチング部１２８がＤＰマッチング法等の縦横比、サイズ、形状といったテンプレート情報を基に任意のパターンを抽出するアルゴリズムを用いて、車パターンマッチング部１２８に保持した静領域内に車領域が存在するかマッチングを行う（ステップＳ２１０）。そして、マッチング結果から車領域があるかどうか判定し（ステップＳ２１１）、車領域がある場合（ステップＳ２１１でＹＥＳの場合）は、その車の位置情報・時刻情報を計算する（ステップＳ２１２）。
【００３３】
次に、カメラ制御部１３０が車パターンマッチング部１２８で算出された位置情報を基にパンチルトズーム搭載カメラ１１１にパンチルトズーム命令を与える（ステップＳ２１３）。これにより、パンチルトズーム搭載カメラ１１１には車領域の近傍が撮像される。そして、動領域抽出部１３１がパンチルトズーム搭載カメラ１１１からの映像データを取込み、差分法や動きベクトル法等用いて、動きのある動領域を検出する（ステップＳ２１４）。次に、顔領域抽出部１３２が例えば楕円ハフアルゴリズムを用いて、動き領域内に顔領域が存在するかマッチングを行う（ステップＳ２１５）。マッチングすればその顔画像を記録部１５０に記録する（ステップＳ２１６）。
【００３４】
一方、車が発進し、広角カメラ１１０外に移動したことで車領域がマッチングできなかった場合は、ステップＳ２１１の判定がＮＯとなるので、駐車時間判別部１２９が車パターンマッチング部１２８で取得された位置情報と時刻情報からその車が何分動きがないか時間を計算する。そして、駐車車両かどうかを判定する（ステップＳ２１７）。計算した時間が一般的な駐車時間未満である場合は、駐車車両でなく停車車両であると判断し、停車車両で撮像された全顔画像を記録部１５０から消去する（ステップＳ２１８）。更に、位置情報と時刻情報を削除する（ステップＳ２１９）。
【００３５】
これに対して、計算した時間が一般的な駐車時間以上である場合、駐車車両であると判断し、記録部１５０に格納された顔画像から、所定の比較基準に基づいて比較してベストショット画像を選択する（ステップＳ２２０）。この場合、ベストショットの比較基準において、例えば顔映像のコントラスト、顔映像サイズ及び顔方向情報の３つのベストショットを判別基準とした場合、抽出された顔映像を要素毎にスコア化し、スコア化したものに所定の重み係数を乗じて顔映像の総合スコアを算出する。現在のフレームから抽出した顔画像と過去のフレームで抽出した顔映像とを総合スコアでフレーム毎に順次比較し、総合スコアが最も大きいものをベストショットとする。それ以外の画像は削除する（ステップＳ２２１）。
【００３６】
このように本実施の形態に係る駐車車両搭乗者撮像装置１００によれば、広角カメラ１１０からの監視領域の映像データから画像内の動きのない領域即ち静領域を抽出できると、その静領域から特徴量を計算し、これにより得られた特徴量と車テンプレートとのパターンマッチングを行い、車領域がある場合はその位置情報と時刻情報を計算し、その車領域が何分動きがないかを判別する一方、位置情報を基にパンチルトズーム搭載カメラ１１１を制御してパンチルトズーム搭載カメラ１１１からの映像データを得て、その映像データから画像内の動きのある動領域を抽出し、更に顔領域を抽出して記録部１５０に記録し、車領域の動きの無い時間が一般的な駐車時間未満であれば、停車車両として判断して記録部１５０に記録した全顔画像を消去し、車領域の動きの無い時間が一般的な駐車時間以上であれば、駐車車両と判断して記録部１５０に記録した顔画像からベストショット画像を選択し、残りの顔画像については消去する。したがって、駐車車両と判断した場合、該車両の搭乗者のベストショット画像のみ保存するので、駐車車両の搭乗者を監視するためのデータ量の軽減化が図れるとともに、容易に搭乗者を特定することができる。
【００３７】
なお、上記実施の形態において、静領域抽出部１２１で抽出された静領域を２つのバッファＡ１２２とバッファＢ１２３に格納するようにしたが、バッファの数は２つに限定されることはなく、２つ以上であってもよい。但し、背景選別部１２５もそれに合わせて増やす必要がある。
【００３８】
（実施の形態２）
図５は、本発明の実施の形態２に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図である。なお、図５において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００３９】
図５において、本実施の形態に係る駐車車両搭乗者撮像装置３００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００の動領域抽出部１３１、顔領域抽出部１３２及びベストショット判別部１３３に代わってフレームレート制御部３２１を備えている点と、実施の形態１に係る駐車車両搭乗者撮像装置１００の車パターンマッチング部１２８に新たな機能を追加した車パターンマッチング部３２２を備えている点が異なっている。フレームレート制御部３２１は、パンチルトズーム搭載カメラ１１１からの映像データを取り込む間隔を変えて記録部１５０へ出力する。車パターンマッチング部３２２は、フレームレート制御部３２１に任意のフレームレートで撮像するようにフレームレート制御命令を与える。フレームレート制御部３２１は、フレームレート制御命令に従う時間間隔でパンチルトズーム搭載カメラ１１１からの映像データを取り込む。なお、フレームレート制御部３２１はフレームレート制御手段に対応する。
【００４０】
次に、図６及び図７のフロー図を用いて駐車車両搭乗者撮像装置３００の動作について説明する。ここで、図６のステップＳ４０１〜ステップＳ４１３は、前述した図３のステップＳ２０１〜ステップＳ２１３と同一であるので、説明を省略する。
【００４１】
図６及び図７において、ステップＳ４１２で車パターンマッチング部１２８が、静領域を車領域と判断してその車領域の位置情報と時刻情報を計算し、カメラ制御部１３０にカメラ制御命令を与えた後、フレームレート制御部３２１に対して高フレームレートで記録部１５０に動画を録画するようにフレームレート制御命令を与える（ステップＳ４１４）。フレームレート制御部３２１は、フレームレート制御命令が与えられることで、パンチルトズーム搭載カメラ１１１からの映像データを高フレームレートで記録部１５０に録画する。
【００４２】
一方、車が発進し、広角カメラ１１０外に移動したことで車領域がマッチングできなくなった場合、ステップＳ４１１からステップＳ４１５へ移行し、駐車車両かどうか判定する。駐車車両であれば、車パターンマッチング部３２２がフレームレート制御部３２１に対して、低フレームレートで録画するようにフレームレート制御命令を入力する（ステップＳ４１７）。このフレームレート制御命令が与えられることで、フレームレート制御部３２１がパンチルトズーム搭載カメラ１１１からの映像データを低フレームレートで記録部１５０に録画する。ステップＳ４１５の判定において、駐車車両でない即ち停車車両であると判断すると、位置情報と時刻情報からその停車車両を撮像した動画を削除するように画像消去部１３４に指示する。これにより、画像消去部１３４が該動画を記録部１５０から削除する（ステップＳ４１６）。
【００４３】
このように本実施の形態に係る駐車車両搭乗者撮像装置３００によれば、車テンプレートとのパターンマッチングを行って車領域がある場合は、その位置情報と時刻情報を計算し、その車領域が何分動きがないかを判別する一方、パンチルトズーム搭載カメラ１１１からの映像データを高フレームレートで記録部１５０に録画し、車領域があった状態から無くなった状態になると、そのときまで車領域が継続してきた時間が一般的な駐車時間以上であれば、パンチルトズーム搭載カメラ１１１からの映像データを低フレームレートで記録部１５０に録画し、車領域が継続してあった時間が一般的な駐車時間未満であれば、記録部１５０の録画データを消去する。したがって、駐車車両が発生したときのみ高フレームレートで記録することができる。
【００４４】
（実施の形態３）
図８は、本発明の実施の形態３に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図ある。なお、図８において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００４５】
図８において、本実施の形態に係る駐車車両搭乗者撮像装置５００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００と同一の構成に加えて、車画像格納部５２１と車画像制御部５２２を備えている点が異なっている。車画像格納部５２１は、車パターンマッチング部１２８がフレーム毎に抽出した車画像を保存する。車画像制御部５２２は、ベストショット判別部１３３が判別したベストショット画像が撮像された時刻に車画像格納部５２１に格納された車画像を取得して記録部１５０に記録する。そして、車画像格納部５２１に格納された車画像を消去する。なお、上記車画像格納部５２１と車画像制御部５２２は車画像制御手段を構成する。
【００４６】
以上のように構成された駐車車両搭乗者撮像装置５００の動作について、図９のフロー図を用いて説明する。なお、本実施の形態に係る駐車車両搭乗者撮像装置５００は、実施の形態１に係る駐車車両搭乗者撮像装置１００に車画像格納部５２１と車画像制御部５２２を追加した構成なので、これら以外の構成の説明は省略する。
【００４７】
車画像格納部５２１が、フレーム毎に抽出した車画像を保存する（ステップＳ６０１）。車画像制御部５２２が、顔画像のベストショットが撮像された時刻を取得し（ステップＳ６０２）、次いで顔画像のベストショットが撮像された時刻の車画像を記録部１５０に記録する（ステップＳ６０３）。次いで、車画像格納部５２１に格納された車画像を消去する（ステップＳ６０４）。
【００４８】
このように本実施の形態に係る駐車車両搭乗者撮像装置５００によれば、ベストショット画像が得られた時刻の車画像を記録部１５０に記録するので、駐車車両搭乗者のベストショット画像と駐車車両を共に記録部１５０に記録することができる。
【００４９】
（実施の形態４）
図１０は、本発明の実施の形態４に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図ある。なお、図１０において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００５０】
図１０において、本実施の形態に係る駐車車両搭乗者撮像装置７００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００と同一の構成に加えて、顔データベース７２１と、顔検索部７２２と、アラーム出力部７２３とを備えている点が異なっている。顔データベース７２１には複数の顔画像が格納されている。顔検索部７２２は、記録部１５０に格納された顔画像をキーとして、顔データベース７２１に格納されている顔画像の検索を行う。アラーム出力部７２３はアラーム出力を行う。なお、顔データベース７２１は顔データ蓄積手段に対応する。また、アラーム出力部７２３はアラーム出力手段に対応する。また、顔検索部７２２は顔検索手段に対応する。
【００５１】
以上のように構成された駐車車両搭乗者撮像装置７００の動作について、図１１のフロー図を用いて説明する。なお、本実施の形態に係る駐車車両搭乗者撮像装置７００は、実施の形態１に係る駐車車両搭乗者撮像装置１００に、顔データベース７２１と顔検索部７２２とアラーム出力部７２３とを追加した構成なので、これら以外の構成の説明は省略する。
【００５２】
まず、顔検索部７２２が、つい先ほど得られたベストショット画像をキーとして、顔データベース７２１内に存在する顔情報に対して検索をかける（ステップＳ８０１）。検索アルゴリズムは、例えばＡｄａＢｏｏｓｔ学習を用いた顔識別検出器によるマッチング手法でよい。また、顔データベース７２１は例えば不法駐車常習者の顔データベースでもよい。
【００５３】
そして、取得した顔画像が顔データベース７２１に存在するか否かを判定し（ステップＳ８０２）、存在する場合（ステップＳ８０２においてＹＥＳとなる場合）は、顔検索部７２２がアラーム出力部７２３にアラーム出力命令を与える。これにより、アラーム出力部７２３がアラーム出力を行う（ステップＳ８０３）。なお、アラーム出力部７２３はブザーを鳴動させるものであってもよいし、駐車車両搭乗者撮像装置７００にＩＰ（Internet Protocol）ネットワークといった一般的なネットワークに繋がるＩ／Ｆ（インタフェース）を持たせて、集中サーバもしくは最寄りの派出所に不法駐車情報を伝えるといった手法でもよい。
【００５４】
このように本実施の形態に係る駐車車両搭乗者撮像装置７００によれば、ベストショット画像と顔データベース７２１と顔の検索を行い、ベストショット画像が顔データベース７２１に存在する場合にアラーム出力を行うので、不法駐車常習者といった顔データベース７２１に格納された特定の人物が不法駐車したときに即座にアラームを発報することができる。
【００５５】
なお、前述した実施の形態２に係る駐車車両搭乗者撮像装置３００と実施の形態３に係る駐車車両搭乗者撮像装置５００においても、本実施の形態に係る駐車車両搭乗者撮像装置７００と同様の手段（即ち、予め登録してある顔データベース内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合にアラームを発報する手段）を追加しても構わない。
【００５６】
（実施の形態５）
図１２は、本発明の実施の形態５に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図ある。なお、図１２において図１と共通する部分には同一の符号を付けてその説明を省略する。
【００５７】
図１２において、本実施の形態に係る駐車車両搭乗者撮像装置９００は、上述した実施の形態１に係る駐車車両搭乗者撮像装置１００と同一の構成に加えて、動領域抽出部９２１と、人領域抽出部９２２と、人物特徴量抽出部９２３と、人物追尾部９２４とを備えている点が異なっている。
【００５８】
動領域抽出部９２１は、動領域抽出部１３１と同一の機能を有するものであり、広角カメラ１１０からの映像データから画像内の動きのある動領域を抽出する。例えば現在のフレームの映像とその１つ前のフレームの映像との差分を求めて動きのある動領域を抽出する。人領域抽出部９２２は、動領域抽出部９２１で抽出された動きのある動領域から、ＤＰマッチングアルゴリズムとった、縦横比、サイズ、形状といったテンプレート情報から人領域を取得するアルゴリズムによって人領域を抽出し、そのときの人の位置情報と時刻情報を抽出する。
【００５９】
人物特徴量抽出部９２３は、人領域抽出部９２２によって抽出された人領域の、例えば、身長、体型の縦横比、服装の色といった人毎に区別可能な特徴量を計算する。人物追尾部９２４は、人物特徴量抽出部９２３で計算された特徴量をもつ人が広角カメラ１１０で撮像された画像内に存在するか否かを判別し、存在する場合は位置情報を計算する。カメラ制御部１３０は、人物追尾部９２４で計算された位置情報を基にパンチルトズーム搭載カメラ１１１にパン、チルト、ズーム命令を与えて、パンチルトズーム搭載カメラ１１１に車両搭乗者の近傍の映像を撮像可能な画角に制御する。
【００６０】
なお、上記動領域抽出部１３１は第２の動領域抽出手段に対応する。また、動領域抽出部９２１は第１の動領域抽出手段に対応する。また、人領域抽出部９２２は人領域抽出手段に対応する。また、人物特徴量抽出部９２３は人物特徴量抽出手段に対応する。また、人物追尾部９２４は人物追尾手段に対応する。
【００６１】
以上のように構成された駐車車両搭乗者撮像装置９００について、図１３〜図１５のフロー図を用いて説明する。まず、初期化として搭乗者人数を「０」に設定する（ステップＳ１０００）。次いで、静領域抽出部１２１が広角カメラ１１０からの監視領域の映像データを取り込み（ステップＳ１００１）、差分法や動きベクトル法等を用いて、映像データから画像内の動きのない領域即ち静領域を抽出する（ステップＳ１００２）。監視領域から静領域を抽出した後、該静領域をバッファＡ１２２とバッファＢ１２３に格納する（ステップＳ１００３及びＳ１００４）。この場合、バッファＡ１２２とバッファＢ１２３に静領域を格納できる空メモリがなければ、古い情報から順次上書きをする。例えば１秒間に１枚静領域を抽出し、バッファＡ１２２には３０枚静領域を格納できるとする。０〜３０秒までは全ての時刻の静領域をバッファＡ１２２に格納するが、３１秒には１秒目に抽出された静領域に対して上書きする。
【００６２】
次に、背景選別部１２４がバッファＡ１２２に格納された静領域群から背景画像Ｐ１を作成する（ステップＳ１００５）。同様に、背景選別部１２５がバッファＢ１２３に格納された静領域群から背景画像Ｐ２を作成する（ステップＳ１００６）。次に、フレーム差分部１２６が背景画像Ｐ１と背景画像Ｐ２のフレーム差分をとり（ステップＳ１００７）、その結果から停止している物体があるかどうか判定する（ステップＳ１００８）。背景に物体が存在した場合は、特徴量抽出部１２７が、縦横比、サイズ、形状といったマッチングを行うための特徴量を計算する（ステップＳ１００９）。次に、車パターンマッチング部１２８が、ＤＰマッチング法等の縦横比、サイズ、形状といったテンプレート情報を基に任意のパターンを抽出するアルゴリズムを用いて、静領域内に車領域が存在するかマッチングを行う（ステップＳ１０１０）。そして、マッチング結果から車領域があるかどうか判定し（ステップＳ１０１１）、車領域がある場合（ＹＥＳの場合）は、その車の位置情報と時刻情報を計算する（ステップＳ１０１２）。
【００６３】
次に、広角カメラ１１０からの監視領域の映像データを動領域抽出部９２１が取り込み、差分法や動きベクトル法等を用いて、映像データから画像内の動きのある領域即ち動領域を検出する（ステップＳ１０１３）。次に、人領域抽出部９２２が、例えばＤＰマッチング法といった、縦横比、サイズ、形状といったテンプレート情報を基に任意のパターンを抽出するアルゴリズムも用いて、動領域内に人領域が存在するかマッチングを行い（ステップＳ１０１４）、人領域があるかどうか判定する（ステップＳ１０１５）。人領域がある場合は、検知した人領域全てにおいて、身長、体型の縦横比、服装の色といった人毎に区別可能な特徴量を計算する（ステップＳ１０１６）。そして、計算した特徴量が、車領域の位置情報周辺から新規に発生した特徴量かどうか判定する（ステップＳ１０１７）。新規に発生した特徴量である場合は、この人領域は車から降車した人物であると判断し、搭乗者人数を１増加させ、搭乗者特徴量として保持する（ステップＳ１０１８）。
【００６４】
次に、人物追尾部９２４が、ステップＳ１０１６で計算された特徴量内に同値の搭乗者特徴量が存在するか調べ、同値の値が存在する場合は同値の特徴量が搭乗者であると判断し、位置情報を計算する（ステップＳ１０１９）。次いで、カメラ制御部１３０が、人物追尾部９２４で計算された位置情報にパンチルトズーム命令をパンチルトズーム搭載カメラ１１１に送信し（ステップＳ１０２０）、パンチルトズーム搭載カメラ１１１から搭乗者の近傍の映像が撮像される。また、駐車時間判別部１２９が、車パターンマッチング部１２８が取得した車領域と位置情報から、その車が何分変化していないか駐車時間情報を計算する。
【００６５】
次に、パンチルトズーム搭載カメラ１１１からの人領域近傍の映像データを動領域抽出部１３１が取り込み、差分法や動きベクトル法等用いて動きのある動領域が検出される（ステップＳ１０２１）。例えば、差分法を用いる場合、動領域抽出部１３１は、現在のフレームの映像と現在のフレームの１つ前のフレームの映像との差分を求めて、監視領域から動きのある領域を検出する。
【００６６】
次に、顔領域抽出部１３２が、例えば楕円ハフアルゴリズムを用いて、動き領域内に顔領域が存在するかマッチングを行う（ステップＳ１０２２）。マッチングすれば、顔画像を記録部１５０に保存する（ステップＳ１０２３）。搭乗者特徴量を持った人領域が広角カメラ１１１の画角外に移動しても駐車車両が移動するまでマッチング、顔画像保存を行う。
【００６７】
車が発進し、広角カメラ１１０の画角外に移動したことで車領域がマッチングできなかった場合、ステップＳ１０１１で車領域なしと判断されるので、駐車時間判別部１２９が、車パターンマッチング部１２８で取得した位置情報と時刻情報から、その車が何分変化していないか時間を計算する。駐車時間判別部１２９が計算した時間が、一般的な駐車時間未満である場合、駐車車両ではなく停車車両であると判断し、ステップＳ１０２４からステップＳ１０２５に進み、画像消去部１３４が、位置情報と時刻情報からその停車車両で撮像された全顔画像を削除する。全顔画像の削除後、位置情報と時刻情報を削除する（ステップＳ１０２６）。
【００６８】
これに対して、駐車時間判別部１２９が計算された時間が一般的な駐車時間以上である場合、駐車車両であると判断されるので、ベストショット判別部１３３が、記録部１５０に格納された顔画像から所定の比較基準に基づいて比較し、ベストショット画像を選択する（ステップＳ１０２７）。この場合、ベストショットの比較基準において、例えば顔映像のコントラスト、顔映像サイズ及び顔方向情報の３つのベストショットを判別基準とした場合、抽出された顔映像を要素毎にスコア化し、スコア化したものに所定の重み係数を乗じて顔映像の総合スコアを算出する。現在のフレームから抽出した顔画像と、過去のフレームで抽出した顔映像とを総合スコアでフレーム毎に順次比較し、総合スコアが最も大きいものをベストショットとする。それ以外の画像は、画像消去部１３４が削除する（ステップＳ１０２８）。
【００６９】
このように本実施の形態に係る駐車車両搭乗者撮像装置９００によれば、動領域抽出部９２１と人領域抽出部９２２で広角カメラ１１０内の人領域を抽出し、人物特徴量抽出部９２３と人物追跡部９２４で搭乗者を追尾し位置情報を取得するので、降車時、乗車時からベストショット顔画像を取得することができ、より鮮明な駐車車両搭乗者のベストショット画像を記録することができる。
【００７０】
なお、本実施の形態において、上述した実施の形態４に係る駐車車両搭乗者撮像装置７００と同様の手段即ち予め登録してある顔データベース内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合にアラームを発報する手段を追加しても構わない。
【産業上の利用可能性】
【００７１】
本発明は、記録装置として大容量のものを使用しなくても効率的な使用を可能とし、更に記録した映像から駐車車両の搭乗者を容易に見つけ出すことができるといった効果を有し、監視カメラで駐車車両や搭乗者を監視記録する駐車車両搭乗者撮像装置などへの適用が可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態１に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る駐車車両搭乗者撮像装置における広角カメラとパンチルトズーム搭載カメラと監視制御記録装置と車両と該車両の運転手との位置関係の一例を示す図
【図３】本発明の実施の形態１に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図４】本発明の実施の形態１に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図５】本発明の実施の形態２に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図６】本発明の実施の形態２に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図７】本発明の実施の形態２に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図８】本発明の実施の形態３に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図９】本発明の実施の形態３に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１０】本発明の実施の形態４に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図１１】本発明の実施の形態４に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１２】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の概略構成を示すブロック図
【図１３】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１４】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【図１５】本発明の実施の形態５に係る駐車車両搭乗者撮像装置の動作説明のためのフロー図
【符号の説明】
【００７３】
１００、３００、５００、７００、９００ 駐車車両搭乗者撮像装置
１１０ 広角カメラ
１１１ パンチルトズーム搭載カメラ
１１２、１１３、１１４、１１５、１１６ 監視制御記録装置
１２１ 静領域抽出部
１２２ バッファＡ
１２３ バッファＢ
１２４、１２５ 背景選別部
１２６ フレーム差分部
１２７ 特徴量抽出部
１２８、３２２ 車パターンマッチング部
１２９ 駐車時間判別部
１３０ カメラ制御部
１３１ 動領域抽出部
１３２ 顔領域抽出部
１３３ ベストショット判別部
１３４ 画像消去部
１５０ 記録部
３２１ フレームレート制御部
５２１ 車画像格納部
５２２ 車画像制御部
７２１ 顔データベース
７２２ 顔検索部
７２３ アラーム出力部
９２１ 動領域抽出部
９２２ 人領域抽出部
９２３ 人物特徴量抽出部
９２４ 人物追尾部
【特許請求の範囲】
【請求項１】
監視領域に向けて配置される第１の撮像手段と、
外部からの命令に従って撮影範囲を変える第２の撮像手段と、
前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、
前記静領域抽出手段で抽出された前記監視領域映像情報の静領域から背景の変化を検出する背景変化検出手段と、
前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、
前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者を撮像可能にするカメラ制御手段と、
前記第２の撮像手段からの映像情報から動きのある動領域を抽出する動領域抽出手段と、
画像を記録するための記録手段と、
前記動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、
前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、
を備える駐車車両搭乗者撮像装置。
【請求項２】
監視領域に向けて配置される第１の撮像手段と、
外部からの命令に従って撮影範囲を変える第２の撮像手段と、
前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、
前記静領域抽出手段で抽出された前記監視領域映像の複数の静領域から背景を求める背景変化検出手段と、
前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、
前記監視領域映像情報から画像内の動きのある動領域を抽出する第１の動領域抽出手段と、
前記第１の動領域抽出手段で抽出された動領域内から人領域を抽出し、抽出した人領域の位置情報と時刻情報を計算する人領域抽出手段と、
前記人領域抽出手段で抽出された人領域の特徴量を計算する人物特徴量抽出手段と、
前記人物特徴量抽出手段で計算された特徴量をもつ人が前記監視領域映像情報内に存在するか否かを判別し、存在する場合は位置情報を計算する人物追尾手段と、
前記人物追尾手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の近傍の映像を撮像可能に制御するカメラ制御手段と、
前記第２の撮像手段からの映像情報から画像内の動きのある動領域を抽出する第２の動領域抽出手段と、
画像を記録するための記録手段と、
前記第２の動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、
前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、
を備える駐車車両搭乗者撮像装置。
【請求項３】
前記ベストショット判別手段でベストショット画像が選択された時刻において前記第１の撮像手段にて撮像された駐車領域の画像を前記記録手段に記録する車画像制御手段を備える請求項１又は請求項２に記載の駐車車両搭乗者撮像装置。
【請求項４】
監視領域に向けて配置される第１の撮像手段と、
外部からの命令に従って撮影範囲を変える第２の撮像手段と、
前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、
前記静領域抽出手段で抽出された前記監視領域映像情報の複数の静領域から背景を求める背景変化検出手段と、
前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、
画像を記録するための記録手段と、
前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が、車両と判断した場合はその車両の位置情報と時刻情報を計算すると共に高フレームレートのフレームレート制御命令を出力し、車両と判断した後、車両と判断できなくなると低フレームレートのフレームレート制御命令を出力する車パターンマッチング手段と、
前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の顔画像が撮像可能に制御するカメラ制御手段と、
前記車パターンマッチング手段からのフレームレート設定命令に従う時間間隔で前記第２の撮像手段からの映像データを取り込み前記記録手段に録画するフレームレート制御手段と、
前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、
を備える駐車車両搭乗者撮像装置。
【請求項５】
複数の顔データを蓄積した顔データ蓄積手段と、
アラームを発報するアラーム出力手段と、
前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合に前記アラーム出力手段を動作させる顔検索手段と、
を備える請求項１乃至請求項４のいずれかに記載の駐車車両搭乗者撮像装置。
【請求項６】
前記顔検索手段は、前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔がマッチングした場合にネットワークを介して集中サーバに配信する請求項５に記載の駐車車両搭乗者撮像装置。
【請求項１】
監視領域に向けて配置される第１の撮像手段と、
外部からの命令に従って撮影範囲を変える第２の撮像手段と、
前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、
前記静領域抽出手段で抽出された前記監視領域映像情報の静領域から背景の変化を検出する背景変化検出手段と、
前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、
前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者を撮像可能にするカメラ制御手段と、
前記第２の撮像手段からの映像情報から動きのある動領域を抽出する動領域抽出手段と、
画像を記録するための記録手段と、
前記動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、
前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、
を備える駐車車両搭乗者撮像装置。
【請求項２】
監視領域に向けて配置される第１の撮像手段と、
外部からの命令に従って撮影範囲を変える第２の撮像手段と、
前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、
前記静領域抽出手段で抽出された前記監視領域映像の複数の静領域から背景を求める背景変化検出手段と、
前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が車両であるかどうか判別し、車両と判断した場合はその車両の位置情報と時刻情報を計算する車パターンマッチング手段と、
前記監視領域映像情報から画像内の動きのある動領域を抽出する第１の動領域抽出手段と、
前記第１の動領域抽出手段で抽出された動領域内から人領域を抽出し、抽出した人領域の位置情報と時刻情報を計算する人領域抽出手段と、
前記人領域抽出手段で抽出された人領域の特徴量を計算する人物特徴量抽出手段と、
前記人物特徴量抽出手段で計算された特徴量をもつ人が前記監視領域映像情報内に存在するか否かを判別し、存在する場合は位置情報を計算する人物追尾手段と、
前記人物追尾手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の近傍の映像を撮像可能に制御するカメラ制御手段と、
前記第２の撮像手段からの映像情報から画像内の動きのある動領域を抽出する第２の動領域抽出手段と、
画像を記録するための記録手段と、
前記第２の動領域抽出手段で抽出された動領域内から顔領域を抽出して前記記録手段に記録する顔領域抽出手段と、
前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間以上である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像のうち判定基準に最も適合するベストショットを判別し、ベストショットと判別した画像のみを前記記録手段に記録するベストショット判別手段と、
を備える駐車車両搭乗者撮像装置。
【請求項３】
前記ベストショット判別手段でベストショット画像が選択された時刻において前記第１の撮像手段にて撮像された駐車領域の画像を前記記録手段に記録する車画像制御手段を備える請求項１又は請求項２に記載の駐車車両搭乗者撮像装置。
【請求項４】
監視領域に向けて配置される第１の撮像手段と、
外部からの命令に従って撮影範囲を変える第２の撮像手段と、
前記第１の撮像手段からの監視領域映像情報から画像内の動きのない静領域を抽出する静領域抽出手段と、
前記静領域抽出手段で抽出された前記監視領域映像情報の複数の静領域から背景を求める背景変化検出手段と、
前記背景変化検出手段にて背景の変化が検出された場合に、前記背景の変化している領域の特徴量を抽出する特徴量抽出手段と、
画像を記録するための記録手段と、
前記特徴量抽出手段で抽出された前記特徴量と車テンプレートとのパターンマッチングを行い、前記特徴量が、車両と判断した場合はその車両の位置情報と時刻情報を計算すると共に高フレームレートのフレームレート制御命令を出力し、車両と判断した後、車両と判断できなくなると低フレームレートのフレームレート制御命令を出力する車パターンマッチング手段と、
前記車パターンマッチング手段で計算された前記位置情報を基に前記第２の撮像手段に命令を与えて、前記第２の撮像手段に前記車両の搭乗者の顔画像が撮像可能に制御するカメラ制御手段と、
前記車パターンマッチング手段からのフレームレート設定命令に従う時間間隔で前記第２の撮像手段からの映像データを取り込み前記記録手段に録画するフレームレート制御手段と、
前記車パターンマッチング手段で計算された前記車両の位置情報と時刻情報から動きのない時間を計算する駐車時間判定手段と、
前記駐車時間判定手段で計算された時間が予め設定された駐車時間未満である場合に、前記第２の撮像手段で撮像され前記記録手段に記録された全顔画像を削除する画像消去手段と、
を備える駐車車両搭乗者撮像装置。
【請求項５】
複数の顔データを蓄積した顔データ蓄積手段と、
アラームを発報するアラーム出力手段と、
前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔とのマッチングを行い、適合した場合に前記アラーム出力手段を動作させる顔検索手段と、
を備える請求項１乃至請求項４のいずれかに記載の駐車車両搭乗者撮像装置。
【請求項６】
前記顔検索手段は、前記顔データ蓄積手段内にある顔と新たに取得した不法駐車搭乗者の顔がマッチングした場合にネットワークを介して集中サーバに配信する請求項５に記載の駐車車両搭乗者撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−１３４９４８（Ｐ２００７−１３４９４８Ａ）
【公開日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願番号】特願２００５−３２５９５９（Ｐ２００５−３２５９５９）
【出願日】平成１７年１１月１０日（２００５．１１．１０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願日】平成１７年１１月１０日（２００５．１１．１０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]