混雑判定装置、混雑判定方法
【課題】混雑判定について、より高精度で的確な判定結果が得られるようにする。
【解決手段】撮像画像から検知した対象物の移動速度を検知し、この移動速度が滞留とみなされる所定条件を満たすような低下傾向を示す対象物（滞留対象物）を検知したことに応じて、撮像画像領域内に滞留域を設定する。そして、設定された滞留域における滞留対象物の数に基づき、滞留域ごとに混雑の発生の有無を判定する。この滞留域ごとの混雑の発生状況から、最終的な混雑状況を判定し、混雑情報を出力する。
【解決手段】撮像画像から検知した対象物の移動速度を検知し、この移動速度が滞留とみなされる所定条件を満たすような低下傾向を示す対象物（滞留対象物）を検知したことに応じて、撮像画像領域内に滞留域を設定する。そして、設定された滞留域における滞留対象物の数に基づき、滞留域ごとに混雑の発生の有無を判定する。この滞留域ごとの混雑の発生状況から、最終的な混雑状況を判定し、混雑情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に基づいて混雑状態を判定する混雑判定装置、及びその方法に関する。
【背景技術】
【０００２】
例えば特許文献１のようにして、定点に設置したカメラにより撮影して得られる画像に基づいて、人物などの混雑状態を判定して混雑情報を提供するようなシステムが知られている。
【０００３】
混雑判定のための技術として、特許文献１には、撮影した画像に含まれる人物領域を検出して、この検出された人物領域に基づいて画像中の人物の数を計測し、この計測された人物の数に基づいて混雑を判定するようにした構成が記載されている。
【０００４】
【特許文献１】特開２００７−２０１５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本願発明としても、撮像により得られる画像に基づいて混雑情報を提供（出力）しようとするものであるが、混雑の判定について、例えば特許文献１などと比較して、より精度の高い判定結果が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明は上記した課題を考慮して、混雑判定装置として次のように構成する。
つまり、撮像装置により撮像したことに基づいて得られる画像情報を入力する画像入力手段と、入力した上記画像情報の画内容において存在する所定の対象物を検知する処理を実行する対象物検知手段と、この対象物検知手段により検知された対象物ごとの移動速度を検知する移動速度検知手段と、この移動速度検知手段により検知される対象物ごとの移動速度に基づいて、画像情報の画像として撮像されている領域を含む所定の領域範囲から滞留が生じているとみなされる領域部分である滞留域を設定する滞留域設定手段と、設定された滞留域において存在する対象物の状態に基づいて混雑状況を判定する混雑判定手段とを備えることとした。
【０００７】
上記構成では、撮像により得られる画像情報の画像から検知した対象物についての移動速度を検知するようにされており、この対象物ごとに検知した移動速度に基づいて滞留域を設定し、この設定された滞留域における対象物の状態に基づいて混雑状況を判定するようにされている。即ち、本願発明では、先ず、滞留域を設定するのにあたり、対象物の移動速度を基としている。つまり、混雑判定にあたっては、個々の対象物の移動速度の情報を利用する。そのうえで、この滞留域内の状態を監視して、最終的に混雑状況を判定することとしている。つまり、滞留域という部分領域ごとの状態に基づき、混雑状況を判定できるようにしている。滞留域は混雑の発生可能性のある領域である。
【発明の効果】
【０００８】
これにより、例えば単純に、検知された対象物の数であるとか、画像の変化率などに基づいて混雑状況の判定を行う場合と比較して、より正確な判定結果を得ることができる。また、混雑判定にあたっては、混雑の発生可能性のある領域（滞留域）のみを対象としており、これにより、判定の処理に関しての効率は向上し、また、混雑判定に実際に適用するアルゴリズムなどの自由度も高くなる。
【発明を実施するための最良の形態】
【０００９】
図１は、本願発明を実施するための最良の形態（以下、実施の形態という）に対応する混雑情報出力装置（監視カメラ装置）を備えて構築される混雑情報提供システムの構築例を示している。
この図においては、例えばそれぞれ異なる場所Ａ、Ｂ、Ｃにおいて監視カメラ装置１が備えられている。これらの監視カメラ装置１は、例えば各場所において、混雑（渋滞）を監視・観測する対象となる空間領域を定点撮像できるようにして固定的に設置されて取り付けられる。
【００１０】
これらの監視カメラ装置１は、それぞれが撮像を行うことで撮像画像の情報（画像信号、画像データ）を得ることが可能とされており、さらに、このようにして得た画像の情報を利用して、人や自動車などをはじめとする所定の対象物についての混雑状況を判定し、判定した混雑状況が反映された混雑情報を得ることが可能とされている。
【００１１】
さらにこの場合の監視カメラ装置１は、ネットワーク３を経由しての通信が可能とされており、上記のようにして得られる混雑情報を、ネットワーク３経由で情報処理センタ２に対して送信（出力）可能とされている。
【００１２】
情報処理センタ２は、各場所からの監視カメラ装置１から送信されてくる混雑情報を受信取得し、目的に応じて取得した混雑情報を利用した所定の情報処理を行う。
【００１３】
なお、図１においては、場所Ａ、Ｂ、Ｃごとに応じて計３つの監視カメラ装置１が示されているが、これは、実施の形態に対応する混雑情報提供システムとして、情報処理センタ２が複数の監視カメラ装置１から送信される混雑情報の受信取得と情報処理に対応できることを明示しようとするものであり、従って、混雑情報提供システムを形成する監視カメラ装置１の数は特に限定されるべきものではない。
【００１４】
図２は、１台の監視カメラ装置１の構成例を示している。
この図に示すようにして、監視カメラ装置１は、例えば撮像部１１、画像信号処理部１２、制御部１３、記憶部１４、及び通信部１５を備えて成る。
撮像部１１は、例えば撮像のための光学系を有して撮像を行うとともに、撮像により得た撮像光から画像信号を生成するものとして構成される。
画像信号処理部１２は、撮像部１１にて生成される画像信号を取り込んで、所要の信号処理、画像解析処理を実行可能なようにして構成される。なお、画像信号処理部１２としての全て、あるいは一部については、ＤＳＰ(Digital Signal Processor)により構成することができる。
【００１５】
制御部１３は、例えばＣＰＵ(Central Processing Unit)、ＲＯＭ、ＲＡＭなどを備えて成るマイクロコンピュータなどを基として構成され、例えば上記ＣＰＵがＲＯＭ若しくは記憶部１４に記憶されるプログラムを実行することで、監視カメラ装置１における各種制御、処理を実行する。
記憶部１４は、例えばフラッシュメモリやＨＤＤ(ハードディスクドライブ)などを有して構成されるもので、制御部１３が利用する各種のデータを記憶可能な部位とされる。
通信部１５は、ネットワーク３を経由した所定の通信プロトコルに従った通信を、有線又は無線により実行するための物理層以上の所要の構成を備えて成る。通信部１５の通信動作は、制御部１３により制御される。
【００１６】
上記のようにして構成される監視カメラ装置１は、混雑情報提供システムを形成するものとして、撮像部１１により撮像して得られる画像（撮像画像）を解析することにより、先にも述べたようにして、予め決められた種類（例えば人、車両など）の対象物についての混雑状況を判定して混雑情報を出力するように構成される。
なお、ここでの撮像画像とは、撮像部１１により撮像して得られる画像信号（撮像画像信号）に対応する画内容を有する画像を指すものであり、従って、撮像画像の実体としては、上記撮像画像信号であるといえる。
【００１７】
例えばこれまでにおいて順当とされる混雑状況の判定（混雑判定）手法としては、次のようなものを挙げることができる。
ここで、図３（ａ）には、撮像画像として得られる画枠１００のなかに、混雑判定の対象となる複数（図では４つ）の対象物５０が存在している状態が示されている。なお、ここでの対象物は人としている。そして、混雑状況を判定するのにあたっては、画枠１００内に画像として現れている空間領域のうちで、判定対象となる空間領域部分（判定対象空間）を予め決めたうえで、この撮像画像としての画枠１００内において、この判定対象となる空間領域が撮像されている画像領域を検知枠１００として設定する。そして、この検知枠１００内に存在する対象物５０の数を検知することとして、検知される対象物５０の数が予め定めた閾値を越えた状態を、上記判定対象空間において混雑が発生している状況にあると判定するものである。例えば、先に挙げた特許文献１において、この図３（ａ）に対応した混雑判定の手法を採用している。
【００１８】
これに対して、本実施の形態における混雑判定の概念としては、次のようなものとなる。
例えば図３（ｂ）には、図３（ａ）と同じように複数（４つ）の対象物５０が存在している。ここで、対象物５０ごとに対応して示されている矢印Ｖは、対応する対象物５０についての移動の速度と方向を示すベクトル的なものとされる。
ここで、混雑を対象物の移動速度の点から捉えると、例えば混雑していないときの平均的な移動速度を基準速度とすれば、対象物の混雑の度合いが高くなるほど、この移動速度は、基準速度より遅くなっていく、ということがいえる。
本実施の形態としては、この移動速度に着目することとして、混雑判定にあたって、この移動速度の変化を主たる判定要素として利用することとした。
【００１９】
例えばここで、図３（ｂ）に示す状態は、判定空間領域に対応するものとした画枠１００において、或る一定以上の密度で対象物５０が存在している状態であるものとする。ただし、図３（ｂ）において示される矢印Ｖの長さは、その移動速度が一定以上であることを表しているものとする。
このような状態、つまり、判定空間領域内における対象物の密度は相応に高いが、その移動速度が所定以上である場合、つまり、対象物が滞留を生じずにスムーズに通過しているとして見ることができる状態では、これを混雑した状態であると判定しないようにする。
そして、例えば図３（ｂ）から図３（ｃ）への遷移として示すように、例えば同程度の対象物の密度でありながらも、短くなった矢印Ｖにより示すように、対象物５０の移動速度が一定以下にまで遅くなると、本実施の形態では、これを混雑した状態であると判定する。
【００２０】
例えば、図３（ａ）により説明したこれまでの混雑判定手法によると、例えば図３（ｂ）に示すような状態を、混雑が発生しているとして誤判定する可能性がある。これに対して、本実施の形態であれば、対象物５０ごとの移動速度に基づいて混雑判定を行うのであるから、上記のような誤判定が生じることはなくなる。つまり、これまでの混雑判定手法と比較すると、本実施の形態のほうが、より高精度な混雑判定を行えることになる。
【００２１】
次に、図４を参照して、本実施の形態の混雑判定の手法例をより具体的に説明する。
図４（ａ）には、或る決められた判定空間領域において存在しているとする４つの対象物５０−１、５０−２、５０−３、５０−４が示されている。
ここで、図４（ａ）においては、これら４つの対象物５０−１、５０−２、５０−３、５０−４ごとに対応する矢印Ｙの長さは、それぞれ、混雑していない定常状態にあるとみなされる程度の移動速度であることを示しているものとする。このような状態では、もちろん、混雑していない状態であるとして判定されている。なお、ここでは、説明を簡単なものとするために、これら対象物５０−１、５０−２、５０−３、５０−４の進行方向は全て同じとしている。
【００２２】
この状態から、例えば図４（ｂ）への遷移として示すように、対象物５０−１、５０−２、５０−３、５０−４のうち、紙面の左下（進行方向から見た場合には右前方となる）の対象物５０−２のみの移動速度が低下したとする。ここで、この対象物５０−２の移動速度の低下の仕方が、例えば混雑時の移動速度に相当する一定の条件を満たしていたとする。このような場合には、本実施の形態では、図４（ｃ）への遷移として示すようにして、判定空間領域における所定の部分空間領域（実際には、判定空間領域に対応する撮像画像領域において、この対象物５０−２（基準対象物）を含む所定形状の部分画像領域となる）を滞留域６０として設定する。
【００２３】
なお、撮像画像領域内における滞留域６０の位置についてであるが、１つには、撮像画像領域を適当に分割するなどして予め決めておくようにすることが考えられる。この場合には、基準対象物の位置を含む滞留域６０を選んで有効化することで滞留域６０を設定することになる。あるいは、基準対象物の位置に基づいて決めることができる。つまり、或る１つの対象物の移動速度の低下の仕方が、混雑時の移動速度に相当する一定の条件を満たしたとされて、上記或る１つの対象物が基準対象物となったときの、この基準対象物の位置を基準として、滞留域６０としての領域範囲の位置を決めるものである。
【００２４】
また、確認のために述べておくと、図４（ａ）、（ｂ）、（ｃ）及び次に説明する図４（ｄ）のそれぞれに示されている対象物５０−２は、同一人物ではない。各図に示されているのは、固定的に設定された判定空間領域であり、従って、例えば、図４（ａ）において示されている対象物５０−２としての人物は、時間経過に応じて、図４（ｂ）が示す時刻においては、既に、この判定空間領域を通過している。この点については、他の対象物５０−１、５０−３、５０−４についても同様である。図４（ａ）〜（ｄ）に示される対象物５０−１〜５０−４は、あくまでも、或る時刻にて判定空間領域において複数の対象物が散在していることを示しているものである。
これに対して、上記のようにして設定された滞留域６０は、対象物の移動に応じて移動するのではなく、一旦設定された位置にて固定されるべきものとなる。
【００２５】
このようにして滞留域６０を設定したことに続いては、この滞留域６０に存在することとなる対象物の数を検知する。そして、検知される滞留域６０内の対象物数が所定未満の状態では、混雑していないものとして判定する。そして、例えば図４（ｃ）から図４（ｄ）への遷移として模式的に示すようにして、検知される滞留域６０内の対象物数が所定以上となる状態になったとする。この状態を、その滞留域６０における混雑状況として混雑が発生しているものとして判定する。
本実施の形態としては、このようにして、滞留域６０が設定されるごとに、その滞留域６０ごとに、そこに存在する対象物数に基づいて混雑状況（ここでは混雑の発生の有無としている）を判定しようとするものである。そして、監視カメラ装置１では、このようにして得られる滞留域６０ごとに判定した混雑状況についての情報を処理して、情報処理センタ２に送信すべき混雑情報を得るようにされる。
【００２６】
上記の混雑判定では、先ず、対象物５０の移動速度の変化に基づいて滞留域６０を設定し、次いで、この滞留域６０に存在する対象物数が所定以上であるか否かに応じて、混雑しているか否かを判定することとしている。
つまり、本実施の形態では、混雑判定にあたって、対象物５０の移動速度の変化に基づくだけではなく、対象物５０の数についての情報も加味することで、これまでより精度の高い判定結果が得られるようにしているものである。
【００２７】
また、滞留域６０の設定の可否判断に対応する、対象物５０の移動速度の低下についての「一定の条件」としては、次のようなものを考えることができる。
例えば、先ず、混雑していないとされる定常時における対象物の移動速度の情報を、基準移動速度として予め有しておくようにする。
この基準移動速度が対応する、定常時に対応する対象物の移動速度は、例えば、現実の定常時において得られているとされる対象物の移動速度を実際に測定するなどして、その平均を計算するなどして得たものを、例えばユーザが入力して保持させるようにしてもよい。あるいは、定常時において得られる撮像画像を所定のアルゴリズムにより解析して、所定の演算などにより基準移動速度を求め、これを保持しておくようにすることも考えられる。
そのうえで、検知した対象物の移動速度が、基準移動速度に対して、所定割合以下になったのであれば、上記「一定の条件」を満たす移動速度の低下が生じたものとして扱うようにするものである。
【００２８】
また、上記図４にあっては、滞留域６０に対応する部分画像領域の形状は、対象物５０の進行方向にその長軸が沿うようにされた楕円形とされているが、これはあくまでも一例である。例えば長方形などの方形とされてもよい。
この場合には、対象物５０の進行方向が予め決まっているために、滞留域６０の形状を、例えば楕円のような長細くなる形状として、その長軸を対象物５０の進行方向に沿わせるようにして設定することで、後述する滞留域６０内の対象物数検知に有利なようにしている。逆に、例えば対象物５０の進行方向が定まらないような状況であれば、滞留域６０の形状を、真円であるとか正方形などの、径や辺の長短差が無い形状として設定してもよい。
【００２９】
また、図４（ｃ）によると、滞留域６０における基準となる対象物５０−２は、滞留域６０において、進行方向にそってほぼ中央にいるのではなく、若干前方に位置するようになっている。つまり、滞留域６０の設定の基準となる位置は、進行方向において、中央よりも前方における所定の位置とされている。このような滞留域６０の基準位置設定によると、滞留域６０は、基準となる対象物５０の前方よりも後方においてより長い空間を持つことになる。
滞留域６０は、或る１つの対象物５０の移動速度が一定条件を満たすようにして低下することに応じて設定される。一般的なこととして、１つの対象物の移動速度が低下したとすると、この影響を受けて、この対象物の後に続く対象物の移動速度が低下していく。従って、１つの対象物５０の移動速度が低下したときには、この対象物５０の前側よりも、後側にくる対象物を注目するほうが的確に混雑判定できることになる。このことに基づき、上記のように、図４の滞留域６０については、基準となる対象物５０の前方よりも後方に長い空間が在るようにしている。
【００３０】
図５は、本実施の形態の混雑判定の処理を機能ブロック構成により示したものである。この構成は、画像信号処理部１２の画像処理・解析機能と、制御部１８（ＣＰＵ）の処理の組み合わせにより実現できる。
この図に示すようにして、本実施の形態の混雑判定処理の機能は、対象物検知部２１、対象物状態検知部２２、滞留検知部２３、及び混雑判定部２４から成るものとしてみることができる。
対象物検知部２１は、先ず、撮像部１１にて撮像して得られる撮像画像信号を取り込む。つまり、撮像画像の取り込みを行う。そして、取り込んだ撮像画像について解析を行って、例えば人であるとか車など、予め設定した種類の対象物の存在を検知するための処理を実行する。この対象物検知処理には、例えば背景差分、フレーム画像間差分、パターンマッチング、学習器の仕様など、これまでに知られている技術を採用すればよい。
対象物検知部２１による対象物についての検知結果の情報は、対象物状体検知部２２に対して入力される。対象物検知部２１による対象物についての検知結果の情報としては、検知した対象物ごとに、撮像画像上での位置を対応させた情報などとなる。
【００３１】
対象物状態検知部２２は、上記対象物検知部２１により検知された対象物ごとに、例えば追跡処理を実行することで、その状態として、移動速度、移動方向を求める。つまり、図４において矢印Ｖとして模式的に示した量的数値を求める。なお、必要に応じては、対象物の状態として、移動速度及び移動方向以外の所定の情報を求めるようにしてもよい。
この追跡処理としても、例えばパーティクルフィルタなどをはじめ、これまでに知られている手法、方式を適宜選択して採用すればよい。
このようにして求められた対象物ごとの状態（移動速度、移動方向）の情報（状態情報）は、滞留検知部２３に対して出力される。
【００３２】
滞留検知部２３は、対象物状態検知部２２から出力される対象物ごとの状態情報に基づき、先に図４（ｃ）にて説明したようにして、滞留が生じているものとしてみなされる領域である、滞留域を設定する処理を実行する。なお、滞留検知部２３は、設定された滞留域ごとについて、これに対応付けられる付加的情報の管理なども行うものとする。例えば、滞留域ごとに、撮像画像における位置を示す位置情報が管理される。また、一旦設定された滞留域については、以降、その滞留域６０に存在することとなる対象物の数を認識し、この認識した対象物の数についての情報を管理する。また、後述もするようにして、一旦設定した滞留域を無効化して削除、消去するための管理も実行する。
【００３３】
滞留検知部２３によっては、設定された滞留域ごとに存在する対象物数の情報が得られている。混雑判定部２４は、この情報を利用して、例えば滞留域ごとの混雑の発生の有無を判定したうえで、この判定結果、及び必要に応じては、これまでの対象物検知部２１、対象物状態検知２２、滞留検知部２３にて得られた情報などを利用して、情報処理センタ２に送信すべき混雑に関する所定内容の情報である混雑情報を生成する。この混雑情報の情報処理センタ２への送信は、例えば制御部１８が混雑情報を通信部１５に渡したうえで、情報処理センタ２を送信先とする混雑情報の送信が行われるようにして制御を実行することで実現される。
【００３４】
図６、及び図７は、上記図５に示したブロック構成により実現される、混雑判定の処理手順例を、フローチャートにより示したものである。
図６においては、先ず、対象物検知部２１がステップＳ１０１により、撮像画像（撮像画像信号）の取り込みを実行し、次のステップＳ１０２により、この取り込んだ撮像画像を利用して対象物を検知する処理を実行する。
【００３５】
また、ステップＳ１０３においては、次のステップＳ１０４以降の手順に先だって、初期設定として、変数ａ、ｂ、ｃについて、それぞれ１を代入しておく。この処理は、例えば対象物検知部２１若しくは、対象物状態検知部２２が実行するものとすればよい。
【００３６】
次に、例えば対象物状態検知部２２は、ステップＳ１０４により、変数ａが最大値より大きい（ａ>full）か否かを判別する。変数ａは、ステップＳ１０５にて状態検知を行う対象となる対象物に与えられる番号を示す。このステップＳ１０４にて否定の判別結果が得られている限りはステップＳ１０５の手順により、先のステップＳ１０２により検知された対象物のうち、ａ番目として選択している対象物についての状態、即ち、移動速度及び移動方向についての検知を行う。
【００３７】
続くステップＳ１０６においては、滞留検知部２３が、上記ステップＳ１０５により検知して得た移動速度の情報に基づいて、そのａ番目の対象物について、滞留に相当する状態となったか否かを判別（判定）する。これは、即ち、先に図４（ｂ）（ｃ）にて説明したように、そのａ番目の対象物の移動速度が、混雑時に対応する程度にまで低下する変化（一定の条件を満たす変化）を生じたか否かを判定する処理となる。
【００３８】
ステップＳ１０６において、先ず否定の判別結果が得られたのであれば、ステップＳ１１３により、変数ａをインクリメントしたうえでステップＳ１０４に戻る。
これに対して肯定の判別結果が得られたのであれば、ステップＳ１０７以降の手順を実行する。
【００３９】
滞留検知部２３は、ステップＳ１０７において、先ず変数ｂが最大値を超えているか否かについて判別する。変数ｂは、現在において設定されている滞留域について付した番号に対応する。ここで否定の判別結果が得られたのであればステップＳ１０８に進む。ステップＳ１０８においては、ａ番目の対象物は、ｂ番目の滞留域内に存在しているか否かについての判別を行う。
ステップＳ１０８にて否定の判別結果が得られたのであれば、ステップＳ１１０にて変数ｂに付いてインクリメントしてステップＳ１０７に戻る。これに対して、ステップＳ１０８にて肯定の判別結果が得られたのであれば、ステップＳ１０９により、ｂ番目の滞留域についての情報（滞留域情報）を更新する。ここでの更新処理は、具体的には、滞留域情報の１つであって、その滞留域において存在する対象物数を示す滞留対象物数の値をインクリメントするものとなる。
ステップＳ１０９の手順が終了したとされるとステップＳ１１０により変数ｂをインクリメントした後、ステップＳ１０７に戻るようにされる。
【００４０】
また、ステップＳ１０７において肯定の判別結果が得られた場合には、滞留検知部２３は、ステップＳ１１１に進んで、ａ番目の対象物はどの滞留域にも属さないものであるか否かについて判別する。この判別は、ステップＳ１０７にて肯定の判別結果が得られるまで繰り返された、ステップＳ１０８、Ｓ１０９、Ｓ１１０の処理結果に基づいて行うことができる。
ステップＳ１１１にて否定の判別結果が得られた場合には、ステップＳ１１３により変数ａをインクリメントしてからステップＳ１０４に戻る。これに対して肯定の判別結果が得られた場合には、ステップＳ１１２により、ａ番目の対象物の位置を基準とする滞留域を新規に設定する処理を実行し、ステップＳ１１３を経たうえでステップＳ１０４に戻る。
【００４１】
ステップＳ１０４にて変数ａが最大値を超えたとして肯定の判別結果が得られたときには、検知された全ての対象物についての状態検知と、滞留域についての設定、滞留域情報の更新などが完了していることになる。この場合には、ステップＳ１１４以降の手順に進む。
なお、以降におけるステップＳ１１４〜Ｓ１２１までの手順は、ステップＳ１１８を除いて、混雑判定部２４が実行するものとする。ステップＳ１１８については滞留検知部２３が実行するものとする。
【００４２】
ステップＳ１１４においては、次のステップＳ１１５において滞留域情報を参照すべき滞留域ごとに付した番号に対応する変数ｃが最大値を超えているか否かについての判別を行い、ここで否定の判別結果が得られている限りは、ステップＳ１１５以降の手順を実行する。
【００４３】
ステップＳ１１５では、ｃ番目の滞留域に対応する滞留域情報を参照し、次のステップＳ１１６により、参照した滞留域情報の内容がアラート出力条件を満たしているか否かについて判別する。具体的には、例えばステップＳ１１５により滞留域情報に含まれる滞留対象物数の値を参照し、ステップＳ１１６において、この参照した滞留対象物数の値が所定の閾値以上であるか否かを判別する。また、アラート出力条件を満たす、ということは、ｃ番目の滞留域に関して、混雑していると見なせる状態となっていることを意味する。
【００４４】
ステップＳ１１６においてアラート出力条件を満たしているとして肯定の判別結果が得られた場合には、ステップＳ１１７によりアラートフラグを設定して（立てて）ステップＳ１１８に進む。否定の判別結果が得られたのであれば、ステップＳ１１７をスキップしてステップＳ１１８に進む。
【００４５】
ステップＳ１１８は、滞留検知部２３により、これまで設定されている滞留域についての更新処理を必要に応じて実行する手順である。この滞留域の更新処理としては、削除すべき滞留域の有無を判断して、その滞留域の設定を解除して削除する処理を挙げることができる。
即ち、先のステップＳ１１２により滞留域が一旦新規に設定されたとしても、その後において、その滞留域としての領域内の対象物が、滞留・混雑には相当しないような状態に戻る（変化する）可能性がある。例えば、その滞留域としての領域内の対象物の移動速度が、滞留の状態ではないとみなされる程度に速くなったような状態である。本来、滞留域は、混雑が発生する可能性のある領域としての意義を有するから、このようにして、既に混雑が発生していないことが明らかであるとみなされる状態に至ったものについては削除すべきことになる。
【００４６】
なお、削除対象となる滞留域を判定するための具体的な条件としては、複数考えられるが、ここでは、滞留域内に存在するとされる対象物の状態として、ステップＳ１０６において滞留であるとして判別される状態（移動速度）の対象物の数が０となる状態が所定時間以上継続した状態となった場合に、その滞留域を削除すべき条件が満たされるものとする。
【００４７】
ステップＳ１１８の処理として、上記のようにして決めた滞留域についての削除条件に従った、滞留域削除のための処理手順例を、図７に示す。
ここでは、ステップＳ１０６において滞留であるとして判別される状態（移動速度）の対象物について、「滞留対象物」ということにする。そして、ステップＳ１１８としては、先ず、ステップＳ２０１に示すようにして、ｃ番目の滞留域の滞留対象物の数が０であるか否かについて判別する。
【００４８】
ステップＳ２０１において滞留対象物の数が０であるとして肯定の判別結果が得られた場合には、ステップＳ２０２に進み、このｃ番目の滞留域に対応するタイマについて、計時を実行中（起動中）であるか否かについての判別を行う。
ここでタイマが起動中ではないとして否定の判別結果が得られた場合には、ステップＳ２０３により、ｃ番目の滞留域に対応させるタイマを起動させて、その計時を開始させ、この図に示す処理を抜ける。これに対してタイマが既に起動中にあるとして肯定の判別結果が得られた場合には、ステップＳ２０４により、現在のタイマの計時時間について、滞留域の削除条件に対応する所定時間に応じて設定されたタイマ時間を経過しているか否かについて判別する。
【００４９】
ステップＳ２０４において肯定の判別結果が得られた場合は、ｃ番目の滞留域は、滞留対象物の数が０の状態が一定時間以上継続した状態となり、削除条件を満たしたことになる。そこで、この場合にはステップＳ２０５に進んで、ｃ番目の滞留域を削除する処理を実行する。
これに対してステップＳ２０４にて否定の判別結果が得られた場合には、ステップＳ２０５をスキップしてこの図に示す処理を抜ける。
【００５０】
また、ステップＳ２０１において滞留対象物の数が０ではないとして否定の判別結果が得られたのであれば、ステップＳ２０６に進んで、現在、ｃ番目の滞留域に対応するタイマが起動中であるか否かについて判別する。ここでタイマが起動中であるとして肯定の判別結果が得られたのであれば、ステップＳ２０７によりタイマの計時を停止させて、計時時間をリセットしたうえでこの図に示す処理を抜ける。これに対して、否定の判別結果が得られたのであれば、ステップＳ２０７をスキップしてこの図に示す処理を抜ける。
【００５１】
上記図７のようにして、図６のステップＳ１１８としての手順を実行した後は、ステップＳ１１９により変数ｃについてインクリメントを実行してステップＳ１１４に戻る。
【００５２】
そして、現在設定されている全ての滞留域について、ステップＳ１１５〜Ｓ１１８の手順を実行したとすると、ステップＳ１１４にて肯定の判別結果が得られることとなり、ステップＳ１２０に進む。
【００５３】
ステップＳ１２０では、上記ステップＳ１１４〜Ｓ１１９を実行した結果として、アラートフラグの設定状況を認識する。即ち、これまでの処理によれば、アラートフラグは、混雑が生じているとされる（アラート出力条件を満たしている）滞留域ごとに設定されるものとなる。ステップＳ１２０では、アラートフラグがどの滞留域に設定されているのかを認識するようにされる。
そして、ステップＳ１２１により、上記ステップＳ１２０により認識したアラートフラグの設定状況に基づいて混雑情報を生成し、これを出力するための処理を実行する。ここで生成する混雑情報の内容は、ここでは特に限定されるものではなく、例えば情報処理センタ２が必要とする情報内容などに応じて適宜変更されてよい。本実施の形態としては、最も簡単な例として、この監視カメラ装置１により撮像することで監視可能な判定空間領域全体を対象として、混雑が生じているか否かを示す混雑情報を生成することとする。
【００５４】
また、この判定空間領域にて混雑が生じているか否かを判定するためのアルゴリズムも多様に考えられる。
いくつかの例を挙げておくと、最も簡単な例としては、ステップＳ１２０にて認識したアラートフラグの数が所定の閾値未満であれば混雑が生じていないと判定し、閾値以上であれば混雑が生じていると判定するというものを考えることができる。
また、例えば判定空間領域が或る程度の広さを有するような場合には、領域部分の間で、実質的に滞留・混雑が発生する状態となる移動速度が異なってくるような場合もあると考えられる。そこで、判定空間領域における所定の区分領域ごとに、例えばアラートフラグの設定された滞留域の数と比較する閾値を変更するなど、異なる条件を設定し、上記区分領域ごとの混雑の発生の有無を示すような混雑情報を生成することも考えられる。
また、アラートフラグの数などに基づいて混雑の度合い求め、この混雑の度合いを示す情報を混雑情報に含めることも考えられる。
また、上記の混雑情報としては、滞留域ごとに判定した混雑状況を示す情報を総合して、最終的に判定空間領域全体に関する混雑状況を判定し、この判定結果が反映される内容を有するものとなるが、例えば、例えば滞留域ごとに判定した混雑状況を示す情報の集合により混雑情報を生成するようにしてもよい。いずれにせよ、本実施の形態としての最終的な混雑判定結果（即ち混雑情報）は、設定された滞留域ごとの混雑状況（ここではアラートフラグの有無）に基づいて得られるべきものである。
このようにして得られる混雑情報は、通信部１５からネットワーク３経由で情報処理センタ２に対して送信される。
【００５５】
なお、本願発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
先ず、図６及び図７に手順として示した混雑判定のためのアルゴリズムについては、適宜変更されてよい。例えば、ステップＳ１０５及びステップＳ１０６による対象物の状態（移動速度）検知と、滞留判定に関しては、追跡処理のアルゴリズムを適用して対象物ごとに追跡を行うことで、先ず、各対象物の平均移動速度を求めておき、所定の時間内において、検知した移動速度が上記平均移動速度に対する一定以下の割合にまで低下したことを以て、滞留が生じているものとして検知するようなアルゴリズムを考えることもできる。また、さらにステップＳ１０６の滞留判別に関しては、移動速度に対する閾値について、判定空間領域における所定の区分領域ごとに異なる値を設定することが考えられる。
【００５６】
また、図２に示した監視カメラ装置１の構成は、あくまでも本実施の形態に対応させた必要最小限の構成を示しているものであって、実際としては、他の機能、構成などが付加されるようなものとされて構わない。
【００５７】
また、確認のために述べておくと、混雑判定のための対象物は、人、車の他にも考えられるものであり、特に限定されるべきものではない。
【００５８】
また、例えば図６、図７の各フローチャートに示す処理は、監視カメラ装置１の制御部１３を形成するものとされるＣＰＵが、ＲＯＭ或いは不揮発性メモリなどに記憶されるプログラムを実行することで実現されるものとしてみることができる。
また、このプログラムは、上記のようにして、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにして、例えば記憶部１４などの不揮発性の記憶領域に記憶させることが考えられる。また、データインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、例えばネットワーク経由などでサーバからダウンロードして取得できるように構成することも考えられる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態としての監視カメラ装置を有して成る混雑情報提供システムの構築例を示す図である。
【図２】実施の形態の監視カメラ装置の構成例を示す図である。
【図３】混雑判定手法の概念を、順当とされる例と実施の形態とで比較して示す図である。
【図４】実施の形態の混雑判定の手法例をより具体的に説明するための図である。
【図５】実施の形態の混雑判定のためのシステムをブロック構成により示す図である。
【図６】実施の形態の混雑判定及び混雑情報出力のための処理手順例を示すフローチャートである。
【図７】滞留域設定についての更新処理として、滞留域削除のための手順例を示すフローチャートである。
【符号の説明】
【００６０】
１ 監視カメラ装置、２ 情報処理センタ、３ ネットワーク、１１ 撮像部、１２ 画像信号処理部、１３ 制御部、１４ 記憶部、１５ 通信部、２１ 対象物検知部、２２ 対象物状態検知部、２３ 滞留検知部、２４ 混雑判定部、５０（５０−１・５０−２・５０−３・５０−４） 対象物、６０ 滞留域
【技術分野】
【０００１】
本発明は、撮像画像に基づいて混雑状態を判定する混雑判定装置、及びその方法に関する。
【背景技術】
【０００２】
例えば特許文献１のようにして、定点に設置したカメラにより撮影して得られる画像に基づいて、人物などの混雑状態を判定して混雑情報を提供するようなシステムが知られている。
【０００３】
混雑判定のための技術として、特許文献１には、撮影した画像に含まれる人物領域を検出して、この検出された人物領域に基づいて画像中の人物の数を計測し、この計測された人物の数に基づいて混雑を判定するようにした構成が記載されている。
【０００４】
【特許文献１】特開２００７−２０１５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本願発明としても、撮像により得られる画像に基づいて混雑情報を提供（出力）しようとするものであるが、混雑の判定について、例えば特許文献１などと比較して、より精度の高い判定結果が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明は上記した課題を考慮して、混雑判定装置として次のように構成する。
つまり、撮像装置により撮像したことに基づいて得られる画像情報を入力する画像入力手段と、入力した上記画像情報の画内容において存在する所定の対象物を検知する処理を実行する対象物検知手段と、この対象物検知手段により検知された対象物ごとの移動速度を検知する移動速度検知手段と、この移動速度検知手段により検知される対象物ごとの移動速度に基づいて、画像情報の画像として撮像されている領域を含む所定の領域範囲から滞留が生じているとみなされる領域部分である滞留域を設定する滞留域設定手段と、設定された滞留域において存在する対象物の状態に基づいて混雑状況を判定する混雑判定手段とを備えることとした。
【０００７】
上記構成では、撮像により得られる画像情報の画像から検知した対象物についての移動速度を検知するようにされており、この対象物ごとに検知した移動速度に基づいて滞留域を設定し、この設定された滞留域における対象物の状態に基づいて混雑状況を判定するようにされている。即ち、本願発明では、先ず、滞留域を設定するのにあたり、対象物の移動速度を基としている。つまり、混雑判定にあたっては、個々の対象物の移動速度の情報を利用する。そのうえで、この滞留域内の状態を監視して、最終的に混雑状況を判定することとしている。つまり、滞留域という部分領域ごとの状態に基づき、混雑状況を判定できるようにしている。滞留域は混雑の発生可能性のある領域である。
【発明の効果】
【０００８】
これにより、例えば単純に、検知された対象物の数であるとか、画像の変化率などに基づいて混雑状況の判定を行う場合と比較して、より正確な判定結果を得ることができる。また、混雑判定にあたっては、混雑の発生可能性のある領域（滞留域）のみを対象としており、これにより、判定の処理に関しての効率は向上し、また、混雑判定に実際に適用するアルゴリズムなどの自由度も高くなる。
【発明を実施するための最良の形態】
【０００９】
図１は、本願発明を実施するための最良の形態（以下、実施の形態という）に対応する混雑情報出力装置（監視カメラ装置）を備えて構築される混雑情報提供システムの構築例を示している。
この図においては、例えばそれぞれ異なる場所Ａ、Ｂ、Ｃにおいて監視カメラ装置１が備えられている。これらの監視カメラ装置１は、例えば各場所において、混雑（渋滞）を監視・観測する対象となる空間領域を定点撮像できるようにして固定的に設置されて取り付けられる。
【００１０】
これらの監視カメラ装置１は、それぞれが撮像を行うことで撮像画像の情報（画像信号、画像データ）を得ることが可能とされており、さらに、このようにして得た画像の情報を利用して、人や自動車などをはじめとする所定の対象物についての混雑状況を判定し、判定した混雑状況が反映された混雑情報を得ることが可能とされている。
【００１１】
さらにこの場合の監視カメラ装置１は、ネットワーク３を経由しての通信が可能とされており、上記のようにして得られる混雑情報を、ネットワーク３経由で情報処理センタ２に対して送信（出力）可能とされている。
【００１２】
情報処理センタ２は、各場所からの監視カメラ装置１から送信されてくる混雑情報を受信取得し、目的に応じて取得した混雑情報を利用した所定の情報処理を行う。
【００１３】
なお、図１においては、場所Ａ、Ｂ、Ｃごとに応じて計３つの監視カメラ装置１が示されているが、これは、実施の形態に対応する混雑情報提供システムとして、情報処理センタ２が複数の監視カメラ装置１から送信される混雑情報の受信取得と情報処理に対応できることを明示しようとするものであり、従って、混雑情報提供システムを形成する監視カメラ装置１の数は特に限定されるべきものではない。
【００１４】
図２は、１台の監視カメラ装置１の構成例を示している。
この図に示すようにして、監視カメラ装置１は、例えば撮像部１１、画像信号処理部１２、制御部１３、記憶部１４、及び通信部１５を備えて成る。
撮像部１１は、例えば撮像のための光学系を有して撮像を行うとともに、撮像により得た撮像光から画像信号を生成するものとして構成される。
画像信号処理部１２は、撮像部１１にて生成される画像信号を取り込んで、所要の信号処理、画像解析処理を実行可能なようにして構成される。なお、画像信号処理部１２としての全て、あるいは一部については、ＤＳＰ(Digital Signal Processor)により構成することができる。
【００１５】
制御部１３は、例えばＣＰＵ(Central Processing Unit)、ＲＯＭ、ＲＡＭなどを備えて成るマイクロコンピュータなどを基として構成され、例えば上記ＣＰＵがＲＯＭ若しくは記憶部１４に記憶されるプログラムを実行することで、監視カメラ装置１における各種制御、処理を実行する。
記憶部１４は、例えばフラッシュメモリやＨＤＤ(ハードディスクドライブ)などを有して構成されるもので、制御部１３が利用する各種のデータを記憶可能な部位とされる。
通信部１５は、ネットワーク３を経由した所定の通信プロトコルに従った通信を、有線又は無線により実行するための物理層以上の所要の構成を備えて成る。通信部１５の通信動作は、制御部１３により制御される。
【００１６】
上記のようにして構成される監視カメラ装置１は、混雑情報提供システムを形成するものとして、撮像部１１により撮像して得られる画像（撮像画像）を解析することにより、先にも述べたようにして、予め決められた種類（例えば人、車両など）の対象物についての混雑状況を判定して混雑情報を出力するように構成される。
なお、ここでの撮像画像とは、撮像部１１により撮像して得られる画像信号（撮像画像信号）に対応する画内容を有する画像を指すものであり、従って、撮像画像の実体としては、上記撮像画像信号であるといえる。
【００１７】
例えばこれまでにおいて順当とされる混雑状況の判定（混雑判定）手法としては、次のようなものを挙げることができる。
ここで、図３（ａ）には、撮像画像として得られる画枠１００のなかに、混雑判定の対象となる複数（図では４つ）の対象物５０が存在している状態が示されている。なお、ここでの対象物は人としている。そして、混雑状況を判定するのにあたっては、画枠１００内に画像として現れている空間領域のうちで、判定対象となる空間領域部分（判定対象空間）を予め決めたうえで、この撮像画像としての画枠１００内において、この判定対象となる空間領域が撮像されている画像領域を検知枠１００として設定する。そして、この検知枠１００内に存在する対象物５０の数を検知することとして、検知される対象物５０の数が予め定めた閾値を越えた状態を、上記判定対象空間において混雑が発生している状況にあると判定するものである。例えば、先に挙げた特許文献１において、この図３（ａ）に対応した混雑判定の手法を採用している。
【００１８】
これに対して、本実施の形態における混雑判定の概念としては、次のようなものとなる。
例えば図３（ｂ）には、図３（ａ）と同じように複数（４つ）の対象物５０が存在している。ここで、対象物５０ごとに対応して示されている矢印Ｖは、対応する対象物５０についての移動の速度と方向を示すベクトル的なものとされる。
ここで、混雑を対象物の移動速度の点から捉えると、例えば混雑していないときの平均的な移動速度を基準速度とすれば、対象物の混雑の度合いが高くなるほど、この移動速度は、基準速度より遅くなっていく、ということがいえる。
本実施の形態としては、この移動速度に着目することとして、混雑判定にあたって、この移動速度の変化を主たる判定要素として利用することとした。
【００１９】
例えばここで、図３（ｂ）に示す状態は、判定空間領域に対応するものとした画枠１００において、或る一定以上の密度で対象物５０が存在している状態であるものとする。ただし、図３（ｂ）において示される矢印Ｖの長さは、その移動速度が一定以上であることを表しているものとする。
このような状態、つまり、判定空間領域内における対象物の密度は相応に高いが、その移動速度が所定以上である場合、つまり、対象物が滞留を生じずにスムーズに通過しているとして見ることができる状態では、これを混雑した状態であると判定しないようにする。
そして、例えば図３（ｂ）から図３（ｃ）への遷移として示すように、例えば同程度の対象物の密度でありながらも、短くなった矢印Ｖにより示すように、対象物５０の移動速度が一定以下にまで遅くなると、本実施の形態では、これを混雑した状態であると判定する。
【００２０】
例えば、図３（ａ）により説明したこれまでの混雑判定手法によると、例えば図３（ｂ）に示すような状態を、混雑が発生しているとして誤判定する可能性がある。これに対して、本実施の形態であれば、対象物５０ごとの移動速度に基づいて混雑判定を行うのであるから、上記のような誤判定が生じることはなくなる。つまり、これまでの混雑判定手法と比較すると、本実施の形態のほうが、より高精度な混雑判定を行えることになる。
【００２１】
次に、図４を参照して、本実施の形態の混雑判定の手法例をより具体的に説明する。
図４（ａ）には、或る決められた判定空間領域において存在しているとする４つの対象物５０−１、５０−２、５０−３、５０−４が示されている。
ここで、図４（ａ）においては、これら４つの対象物５０−１、５０−２、５０−３、５０−４ごとに対応する矢印Ｙの長さは、それぞれ、混雑していない定常状態にあるとみなされる程度の移動速度であることを示しているものとする。このような状態では、もちろん、混雑していない状態であるとして判定されている。なお、ここでは、説明を簡単なものとするために、これら対象物５０−１、５０−２、５０−３、５０−４の進行方向は全て同じとしている。
【００２２】
この状態から、例えば図４（ｂ）への遷移として示すように、対象物５０−１、５０−２、５０−３、５０−４のうち、紙面の左下（進行方向から見た場合には右前方となる）の対象物５０−２のみの移動速度が低下したとする。ここで、この対象物５０−２の移動速度の低下の仕方が、例えば混雑時の移動速度に相当する一定の条件を満たしていたとする。このような場合には、本実施の形態では、図４（ｃ）への遷移として示すようにして、判定空間領域における所定の部分空間領域（実際には、判定空間領域に対応する撮像画像領域において、この対象物５０−２（基準対象物）を含む所定形状の部分画像領域となる）を滞留域６０として設定する。
【００２３】
なお、撮像画像領域内における滞留域６０の位置についてであるが、１つには、撮像画像領域を適当に分割するなどして予め決めておくようにすることが考えられる。この場合には、基準対象物の位置を含む滞留域６０を選んで有効化することで滞留域６０を設定することになる。あるいは、基準対象物の位置に基づいて決めることができる。つまり、或る１つの対象物の移動速度の低下の仕方が、混雑時の移動速度に相当する一定の条件を満たしたとされて、上記或る１つの対象物が基準対象物となったときの、この基準対象物の位置を基準として、滞留域６０としての領域範囲の位置を決めるものである。
【００２４】
また、確認のために述べておくと、図４（ａ）、（ｂ）、（ｃ）及び次に説明する図４（ｄ）のそれぞれに示されている対象物５０−２は、同一人物ではない。各図に示されているのは、固定的に設定された判定空間領域であり、従って、例えば、図４（ａ）において示されている対象物５０−２としての人物は、時間経過に応じて、図４（ｂ）が示す時刻においては、既に、この判定空間領域を通過している。この点については、他の対象物５０−１、５０−３、５０−４についても同様である。図４（ａ）〜（ｄ）に示される対象物５０−１〜５０−４は、あくまでも、或る時刻にて判定空間領域において複数の対象物が散在していることを示しているものである。
これに対して、上記のようにして設定された滞留域６０は、対象物の移動に応じて移動するのではなく、一旦設定された位置にて固定されるべきものとなる。
【００２５】
このようにして滞留域６０を設定したことに続いては、この滞留域６０に存在することとなる対象物の数を検知する。そして、検知される滞留域６０内の対象物数が所定未満の状態では、混雑していないものとして判定する。そして、例えば図４（ｃ）から図４（ｄ）への遷移として模式的に示すようにして、検知される滞留域６０内の対象物数が所定以上となる状態になったとする。この状態を、その滞留域６０における混雑状況として混雑が発生しているものとして判定する。
本実施の形態としては、このようにして、滞留域６０が設定されるごとに、その滞留域６０ごとに、そこに存在する対象物数に基づいて混雑状況（ここでは混雑の発生の有無としている）を判定しようとするものである。そして、監視カメラ装置１では、このようにして得られる滞留域６０ごとに判定した混雑状況についての情報を処理して、情報処理センタ２に送信すべき混雑情報を得るようにされる。
【００２６】
上記の混雑判定では、先ず、対象物５０の移動速度の変化に基づいて滞留域６０を設定し、次いで、この滞留域６０に存在する対象物数が所定以上であるか否かに応じて、混雑しているか否かを判定することとしている。
つまり、本実施の形態では、混雑判定にあたって、対象物５０の移動速度の変化に基づくだけではなく、対象物５０の数についての情報も加味することで、これまでより精度の高い判定結果が得られるようにしているものである。
【００２７】
また、滞留域６０の設定の可否判断に対応する、対象物５０の移動速度の低下についての「一定の条件」としては、次のようなものを考えることができる。
例えば、先ず、混雑していないとされる定常時における対象物の移動速度の情報を、基準移動速度として予め有しておくようにする。
この基準移動速度が対応する、定常時に対応する対象物の移動速度は、例えば、現実の定常時において得られているとされる対象物の移動速度を実際に測定するなどして、その平均を計算するなどして得たものを、例えばユーザが入力して保持させるようにしてもよい。あるいは、定常時において得られる撮像画像を所定のアルゴリズムにより解析して、所定の演算などにより基準移動速度を求め、これを保持しておくようにすることも考えられる。
そのうえで、検知した対象物の移動速度が、基準移動速度に対して、所定割合以下になったのであれば、上記「一定の条件」を満たす移動速度の低下が生じたものとして扱うようにするものである。
【００２８】
また、上記図４にあっては、滞留域６０に対応する部分画像領域の形状は、対象物５０の進行方向にその長軸が沿うようにされた楕円形とされているが、これはあくまでも一例である。例えば長方形などの方形とされてもよい。
この場合には、対象物５０の進行方向が予め決まっているために、滞留域６０の形状を、例えば楕円のような長細くなる形状として、その長軸を対象物５０の進行方向に沿わせるようにして設定することで、後述する滞留域６０内の対象物数検知に有利なようにしている。逆に、例えば対象物５０の進行方向が定まらないような状況であれば、滞留域６０の形状を、真円であるとか正方形などの、径や辺の長短差が無い形状として設定してもよい。
【００２９】
また、図４（ｃ）によると、滞留域６０における基準となる対象物５０−２は、滞留域６０において、進行方向にそってほぼ中央にいるのではなく、若干前方に位置するようになっている。つまり、滞留域６０の設定の基準となる位置は、進行方向において、中央よりも前方における所定の位置とされている。このような滞留域６０の基準位置設定によると、滞留域６０は、基準となる対象物５０の前方よりも後方においてより長い空間を持つことになる。
滞留域６０は、或る１つの対象物５０の移動速度が一定条件を満たすようにして低下することに応じて設定される。一般的なこととして、１つの対象物の移動速度が低下したとすると、この影響を受けて、この対象物の後に続く対象物の移動速度が低下していく。従って、１つの対象物５０の移動速度が低下したときには、この対象物５０の前側よりも、後側にくる対象物を注目するほうが的確に混雑判定できることになる。このことに基づき、上記のように、図４の滞留域６０については、基準となる対象物５０の前方よりも後方に長い空間が在るようにしている。
【００３０】
図５は、本実施の形態の混雑判定の処理を機能ブロック構成により示したものである。この構成は、画像信号処理部１２の画像処理・解析機能と、制御部１８（ＣＰＵ）の処理の組み合わせにより実現できる。
この図に示すようにして、本実施の形態の混雑判定処理の機能は、対象物検知部２１、対象物状態検知部２２、滞留検知部２３、及び混雑判定部２４から成るものとしてみることができる。
対象物検知部２１は、先ず、撮像部１１にて撮像して得られる撮像画像信号を取り込む。つまり、撮像画像の取り込みを行う。そして、取り込んだ撮像画像について解析を行って、例えば人であるとか車など、予め設定した種類の対象物の存在を検知するための処理を実行する。この対象物検知処理には、例えば背景差分、フレーム画像間差分、パターンマッチング、学習器の仕様など、これまでに知られている技術を採用すればよい。
対象物検知部２１による対象物についての検知結果の情報は、対象物状体検知部２２に対して入力される。対象物検知部２１による対象物についての検知結果の情報としては、検知した対象物ごとに、撮像画像上での位置を対応させた情報などとなる。
【００３１】
対象物状態検知部２２は、上記対象物検知部２１により検知された対象物ごとに、例えば追跡処理を実行することで、その状態として、移動速度、移動方向を求める。つまり、図４において矢印Ｖとして模式的に示した量的数値を求める。なお、必要に応じては、対象物の状態として、移動速度及び移動方向以外の所定の情報を求めるようにしてもよい。
この追跡処理としても、例えばパーティクルフィルタなどをはじめ、これまでに知られている手法、方式を適宜選択して採用すればよい。
このようにして求められた対象物ごとの状態（移動速度、移動方向）の情報（状態情報）は、滞留検知部２３に対して出力される。
【００３２】
滞留検知部２３は、対象物状態検知部２２から出力される対象物ごとの状態情報に基づき、先に図４（ｃ）にて説明したようにして、滞留が生じているものとしてみなされる領域である、滞留域を設定する処理を実行する。なお、滞留検知部２３は、設定された滞留域ごとについて、これに対応付けられる付加的情報の管理なども行うものとする。例えば、滞留域ごとに、撮像画像における位置を示す位置情報が管理される。また、一旦設定された滞留域については、以降、その滞留域６０に存在することとなる対象物の数を認識し、この認識した対象物の数についての情報を管理する。また、後述もするようにして、一旦設定した滞留域を無効化して削除、消去するための管理も実行する。
【００３３】
滞留検知部２３によっては、設定された滞留域ごとに存在する対象物数の情報が得られている。混雑判定部２４は、この情報を利用して、例えば滞留域ごとの混雑の発生の有無を判定したうえで、この判定結果、及び必要に応じては、これまでの対象物検知部２１、対象物状態検知２２、滞留検知部２３にて得られた情報などを利用して、情報処理センタ２に送信すべき混雑に関する所定内容の情報である混雑情報を生成する。この混雑情報の情報処理センタ２への送信は、例えば制御部１８が混雑情報を通信部１５に渡したうえで、情報処理センタ２を送信先とする混雑情報の送信が行われるようにして制御を実行することで実現される。
【００３４】
図６、及び図７は、上記図５に示したブロック構成により実現される、混雑判定の処理手順例を、フローチャートにより示したものである。
図６においては、先ず、対象物検知部２１がステップＳ１０１により、撮像画像（撮像画像信号）の取り込みを実行し、次のステップＳ１０２により、この取り込んだ撮像画像を利用して対象物を検知する処理を実行する。
【００３５】
また、ステップＳ１０３においては、次のステップＳ１０４以降の手順に先だって、初期設定として、変数ａ、ｂ、ｃについて、それぞれ１を代入しておく。この処理は、例えば対象物検知部２１若しくは、対象物状態検知部２２が実行するものとすればよい。
【００３６】
次に、例えば対象物状態検知部２２は、ステップＳ１０４により、変数ａが最大値より大きい（ａ>full）か否かを判別する。変数ａは、ステップＳ１０５にて状態検知を行う対象となる対象物に与えられる番号を示す。このステップＳ１０４にて否定の判別結果が得られている限りはステップＳ１０５の手順により、先のステップＳ１０２により検知された対象物のうち、ａ番目として選択している対象物についての状態、即ち、移動速度及び移動方向についての検知を行う。
【００３７】
続くステップＳ１０６においては、滞留検知部２３が、上記ステップＳ１０５により検知して得た移動速度の情報に基づいて、そのａ番目の対象物について、滞留に相当する状態となったか否かを判別（判定）する。これは、即ち、先に図４（ｂ）（ｃ）にて説明したように、そのａ番目の対象物の移動速度が、混雑時に対応する程度にまで低下する変化（一定の条件を満たす変化）を生じたか否かを判定する処理となる。
【００３８】
ステップＳ１０６において、先ず否定の判別結果が得られたのであれば、ステップＳ１１３により、変数ａをインクリメントしたうえでステップＳ１０４に戻る。
これに対して肯定の判別結果が得られたのであれば、ステップＳ１０７以降の手順を実行する。
【００３９】
滞留検知部２３は、ステップＳ１０７において、先ず変数ｂが最大値を超えているか否かについて判別する。変数ｂは、現在において設定されている滞留域について付した番号に対応する。ここで否定の判別結果が得られたのであればステップＳ１０８に進む。ステップＳ１０８においては、ａ番目の対象物は、ｂ番目の滞留域内に存在しているか否かについての判別を行う。
ステップＳ１０８にて否定の判別結果が得られたのであれば、ステップＳ１１０にて変数ｂに付いてインクリメントしてステップＳ１０７に戻る。これに対して、ステップＳ１０８にて肯定の判別結果が得られたのであれば、ステップＳ１０９により、ｂ番目の滞留域についての情報（滞留域情報）を更新する。ここでの更新処理は、具体的には、滞留域情報の１つであって、その滞留域において存在する対象物数を示す滞留対象物数の値をインクリメントするものとなる。
ステップＳ１０９の手順が終了したとされるとステップＳ１１０により変数ｂをインクリメントした後、ステップＳ１０７に戻るようにされる。
【００４０】
また、ステップＳ１０７において肯定の判別結果が得られた場合には、滞留検知部２３は、ステップＳ１１１に進んで、ａ番目の対象物はどの滞留域にも属さないものであるか否かについて判別する。この判別は、ステップＳ１０７にて肯定の判別結果が得られるまで繰り返された、ステップＳ１０８、Ｓ１０９、Ｓ１１０の処理結果に基づいて行うことができる。
ステップＳ１１１にて否定の判別結果が得られた場合には、ステップＳ１１３により変数ａをインクリメントしてからステップＳ１０４に戻る。これに対して肯定の判別結果が得られた場合には、ステップＳ１１２により、ａ番目の対象物の位置を基準とする滞留域を新規に設定する処理を実行し、ステップＳ１１３を経たうえでステップＳ１０４に戻る。
【００４１】
ステップＳ１０４にて変数ａが最大値を超えたとして肯定の判別結果が得られたときには、検知された全ての対象物についての状態検知と、滞留域についての設定、滞留域情報の更新などが完了していることになる。この場合には、ステップＳ１１４以降の手順に進む。
なお、以降におけるステップＳ１１４〜Ｓ１２１までの手順は、ステップＳ１１８を除いて、混雑判定部２４が実行するものとする。ステップＳ１１８については滞留検知部２３が実行するものとする。
【００４２】
ステップＳ１１４においては、次のステップＳ１１５において滞留域情報を参照すべき滞留域ごとに付した番号に対応する変数ｃが最大値を超えているか否かについての判別を行い、ここで否定の判別結果が得られている限りは、ステップＳ１１５以降の手順を実行する。
【００４３】
ステップＳ１１５では、ｃ番目の滞留域に対応する滞留域情報を参照し、次のステップＳ１１６により、参照した滞留域情報の内容がアラート出力条件を満たしているか否かについて判別する。具体的には、例えばステップＳ１１５により滞留域情報に含まれる滞留対象物数の値を参照し、ステップＳ１１６において、この参照した滞留対象物数の値が所定の閾値以上であるか否かを判別する。また、アラート出力条件を満たす、ということは、ｃ番目の滞留域に関して、混雑していると見なせる状態となっていることを意味する。
【００４４】
ステップＳ１１６においてアラート出力条件を満たしているとして肯定の判別結果が得られた場合には、ステップＳ１１７によりアラートフラグを設定して（立てて）ステップＳ１１８に進む。否定の判別結果が得られたのであれば、ステップＳ１１７をスキップしてステップＳ１１８に進む。
【００４５】
ステップＳ１１８は、滞留検知部２３により、これまで設定されている滞留域についての更新処理を必要に応じて実行する手順である。この滞留域の更新処理としては、削除すべき滞留域の有無を判断して、その滞留域の設定を解除して削除する処理を挙げることができる。
即ち、先のステップＳ１１２により滞留域が一旦新規に設定されたとしても、その後において、その滞留域としての領域内の対象物が、滞留・混雑には相当しないような状態に戻る（変化する）可能性がある。例えば、その滞留域としての領域内の対象物の移動速度が、滞留の状態ではないとみなされる程度に速くなったような状態である。本来、滞留域は、混雑が発生する可能性のある領域としての意義を有するから、このようにして、既に混雑が発生していないことが明らかであるとみなされる状態に至ったものについては削除すべきことになる。
【００４６】
なお、削除対象となる滞留域を判定するための具体的な条件としては、複数考えられるが、ここでは、滞留域内に存在するとされる対象物の状態として、ステップＳ１０６において滞留であるとして判別される状態（移動速度）の対象物の数が０となる状態が所定時間以上継続した状態となった場合に、その滞留域を削除すべき条件が満たされるものとする。
【００４７】
ステップＳ１１８の処理として、上記のようにして決めた滞留域についての削除条件に従った、滞留域削除のための処理手順例を、図７に示す。
ここでは、ステップＳ１０６において滞留であるとして判別される状態（移動速度）の対象物について、「滞留対象物」ということにする。そして、ステップＳ１１８としては、先ず、ステップＳ２０１に示すようにして、ｃ番目の滞留域の滞留対象物の数が０であるか否かについて判別する。
【００４８】
ステップＳ２０１において滞留対象物の数が０であるとして肯定の判別結果が得られた場合には、ステップＳ２０２に進み、このｃ番目の滞留域に対応するタイマについて、計時を実行中（起動中）であるか否かについての判別を行う。
ここでタイマが起動中ではないとして否定の判別結果が得られた場合には、ステップＳ２０３により、ｃ番目の滞留域に対応させるタイマを起動させて、その計時を開始させ、この図に示す処理を抜ける。これに対してタイマが既に起動中にあるとして肯定の判別結果が得られた場合には、ステップＳ２０４により、現在のタイマの計時時間について、滞留域の削除条件に対応する所定時間に応じて設定されたタイマ時間を経過しているか否かについて判別する。
【００４９】
ステップＳ２０４において肯定の判別結果が得られた場合は、ｃ番目の滞留域は、滞留対象物の数が０の状態が一定時間以上継続した状態となり、削除条件を満たしたことになる。そこで、この場合にはステップＳ２０５に進んで、ｃ番目の滞留域を削除する処理を実行する。
これに対してステップＳ２０４にて否定の判別結果が得られた場合には、ステップＳ２０５をスキップしてこの図に示す処理を抜ける。
【００５０】
また、ステップＳ２０１において滞留対象物の数が０ではないとして否定の判別結果が得られたのであれば、ステップＳ２０６に進んで、現在、ｃ番目の滞留域に対応するタイマが起動中であるか否かについて判別する。ここでタイマが起動中であるとして肯定の判別結果が得られたのであれば、ステップＳ２０７によりタイマの計時を停止させて、計時時間をリセットしたうえでこの図に示す処理を抜ける。これに対して、否定の判別結果が得られたのであれば、ステップＳ２０７をスキップしてこの図に示す処理を抜ける。
【００５１】
上記図７のようにして、図６のステップＳ１１８としての手順を実行した後は、ステップＳ１１９により変数ｃについてインクリメントを実行してステップＳ１１４に戻る。
【００５２】
そして、現在設定されている全ての滞留域について、ステップＳ１１５〜Ｓ１１８の手順を実行したとすると、ステップＳ１１４にて肯定の判別結果が得られることとなり、ステップＳ１２０に進む。
【００５３】
ステップＳ１２０では、上記ステップＳ１１４〜Ｓ１１９を実行した結果として、アラートフラグの設定状況を認識する。即ち、これまでの処理によれば、アラートフラグは、混雑が生じているとされる（アラート出力条件を満たしている）滞留域ごとに設定されるものとなる。ステップＳ１２０では、アラートフラグがどの滞留域に設定されているのかを認識するようにされる。
そして、ステップＳ１２１により、上記ステップＳ１２０により認識したアラートフラグの設定状況に基づいて混雑情報を生成し、これを出力するための処理を実行する。ここで生成する混雑情報の内容は、ここでは特に限定されるものではなく、例えば情報処理センタ２が必要とする情報内容などに応じて適宜変更されてよい。本実施の形態としては、最も簡単な例として、この監視カメラ装置１により撮像することで監視可能な判定空間領域全体を対象として、混雑が生じているか否かを示す混雑情報を生成することとする。
【００５４】
また、この判定空間領域にて混雑が生じているか否かを判定するためのアルゴリズムも多様に考えられる。
いくつかの例を挙げておくと、最も簡単な例としては、ステップＳ１２０にて認識したアラートフラグの数が所定の閾値未満であれば混雑が生じていないと判定し、閾値以上であれば混雑が生じていると判定するというものを考えることができる。
また、例えば判定空間領域が或る程度の広さを有するような場合には、領域部分の間で、実質的に滞留・混雑が発生する状態となる移動速度が異なってくるような場合もあると考えられる。そこで、判定空間領域における所定の区分領域ごとに、例えばアラートフラグの設定された滞留域の数と比較する閾値を変更するなど、異なる条件を設定し、上記区分領域ごとの混雑の発生の有無を示すような混雑情報を生成することも考えられる。
また、アラートフラグの数などに基づいて混雑の度合い求め、この混雑の度合いを示す情報を混雑情報に含めることも考えられる。
また、上記の混雑情報としては、滞留域ごとに判定した混雑状況を示す情報を総合して、最終的に判定空間領域全体に関する混雑状況を判定し、この判定結果が反映される内容を有するものとなるが、例えば、例えば滞留域ごとに判定した混雑状況を示す情報の集合により混雑情報を生成するようにしてもよい。いずれにせよ、本実施の形態としての最終的な混雑判定結果（即ち混雑情報）は、設定された滞留域ごとの混雑状況（ここではアラートフラグの有無）に基づいて得られるべきものである。
このようにして得られる混雑情報は、通信部１５からネットワーク３経由で情報処理センタ２に対して送信される。
【００５５】
なお、本願発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
先ず、図６及び図７に手順として示した混雑判定のためのアルゴリズムについては、適宜変更されてよい。例えば、ステップＳ１０５及びステップＳ１０６による対象物の状態（移動速度）検知と、滞留判定に関しては、追跡処理のアルゴリズムを適用して対象物ごとに追跡を行うことで、先ず、各対象物の平均移動速度を求めておき、所定の時間内において、検知した移動速度が上記平均移動速度に対する一定以下の割合にまで低下したことを以て、滞留が生じているものとして検知するようなアルゴリズムを考えることもできる。また、さらにステップＳ１０６の滞留判別に関しては、移動速度に対する閾値について、判定空間領域における所定の区分領域ごとに異なる値を設定することが考えられる。
【００５６】
また、図２に示した監視カメラ装置１の構成は、あくまでも本実施の形態に対応させた必要最小限の構成を示しているものであって、実際としては、他の機能、構成などが付加されるようなものとされて構わない。
【００５７】
また、確認のために述べておくと、混雑判定のための対象物は、人、車の他にも考えられるものであり、特に限定されるべきものではない。
【００５８】
また、例えば図６、図７の各フローチャートに示す処理は、監視カメラ装置１の制御部１３を形成するものとされるＣＰＵが、ＲＯＭ或いは不揮発性メモリなどに記憶されるプログラムを実行することで実現されるものとしてみることができる。
また、このプログラムは、上記のようにして、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにして、例えば記憶部１４などの不揮発性の記憶領域に記憶させることが考えられる。また、データインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、例えばネットワーク経由などでサーバからダウンロードして取得できるように構成することも考えられる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態としての監視カメラ装置を有して成る混雑情報提供システムの構築例を示す図である。
【図２】実施の形態の監視カメラ装置の構成例を示す図である。
【図３】混雑判定手法の概念を、順当とされる例と実施の形態とで比較して示す図である。
【図４】実施の形態の混雑判定の手法例をより具体的に説明するための図である。
【図５】実施の形態の混雑判定のためのシステムをブロック構成により示す図である。
【図６】実施の形態の混雑判定及び混雑情報出力のための処理手順例を示すフローチャートである。
【図７】滞留域設定についての更新処理として、滞留域削除のための手順例を示すフローチャートである。
【符号の説明】
【００６０】
１ 監視カメラ装置、２ 情報処理センタ、３ ネットワーク、１１ 撮像部、１２ 画像信号処理部、１３ 制御部、１４ 記憶部、１５ 通信部、２１ 対象物検知部、２２ 対象物状態検知部、２３ 滞留検知部、２４ 混雑判定部、５０（５０−１・５０−２・５０−３・５０−４） 対象物、６０ 滞留域
【特許請求の範囲】
【請求項１】
撮像装置により撮像したことに基づいて得られる画像情報を入力する画像入力手段と、
入力した上記画像情報の画内容において存在する所定の対象物を検知する処理を実行する対象物検知手段と
上記対象物検知手段により検知された対象物ごとの移動速度を検知する移動速度検知手段と、
上記移動速度検知手段により検知される対象物ごとの移動速度に基づいて、上記画像情報の画像として撮像されている領域を含む所定の領域範囲から、滞留が生じているとみなされる領域部分である滞留域を設定する滞留域設定手段と、
設定された上記滞留域において存在する対象物の状態に基づいて混雑状況を判定する、混雑判定手段と、
を備えることを特徴とする混雑判定装置。
【請求項２】
撮像装置により撮像したことに基づいて得られる画像情報を入力する画像入力手順と、
入力した上記画像情報の画内容において存在する所定の対象物を検知する処理を実行する対象物検知手順と
上記対象物検知手順により検知された対象物ごとの移動速度を検知する移動速度検知手順と、
上記移動速度検知手順により検知される対象物ごとの移動速度に基づいて、上記画像情報の画像として撮像されている領域を含む所定の領域範囲から、滞留が生じているとみなされる領域部分である滞留域を設定する滞留域設定手順と、
設定された上記滞留域において存在する対象物の状態に基づいて混雑状況を判定する、混雑判定手順と、
を実行することを特徴とする混雑判定方法。
【請求項１】
撮像装置により撮像したことに基づいて得られる画像情報を入力する画像入力手段と、
入力した上記画像情報の画内容において存在する所定の対象物を検知する処理を実行する対象物検知手段と
上記対象物検知手段により検知された対象物ごとの移動速度を検知する移動速度検知手段と、
上記移動速度検知手段により検知される対象物ごとの移動速度に基づいて、上記画像情報の画像として撮像されている領域を含む所定の領域範囲から、滞留が生じているとみなされる領域部分である滞留域を設定する滞留域設定手段と、
設定された上記滞留域において存在する対象物の状態に基づいて混雑状況を判定する、混雑判定手段と、
を備えることを特徴とする混雑判定装置。
【請求項２】
撮像装置により撮像したことに基づいて得られる画像情報を入力する画像入力手順と、
入力した上記画像情報の画内容において存在する所定の対象物を検知する処理を実行する対象物検知手順と
上記対象物検知手順により検知された対象物ごとの移動速度を検知する移動速度検知手順と、
上記移動速度検知手順により検知される対象物ごとの移動速度に基づいて、上記画像情報の画像として撮像されている領域を含む所定の領域範囲から、滞留が生じているとみなされる領域部分である滞留域を設定する滞留域設定手順と、
設定された上記滞留域において存在する対象物の状態に基づいて混雑状況を判定する、混雑判定手順と、
を実行することを特徴とする混雑判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１８１５５６（Ｐ２００９−１８１５５６Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−２２８５７（Ｐ２００８−２２８５７）
【出願日】平成２０年２月１日（２００８．２．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年２月１日（２００８．２．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]