説明

測定対象物計数器および測定対象物を計数するための方法

【課題】本発明は、測定対象物計数器および測定対象物を計数するための方法に関する。
【解決手段】本方法は、所定の計数ビューの移動する画像を表す画像を取り込むステップと、所定の計数ビューの移動する画像内の移動領域を検出するステップと、移動領域の動きの速度を指し示す移動領域速度値を計算するステップと、所定の計数境界や、移動領域速度値や、寄与時間間隔dtに基づいて寄与ゾーンを繰り返して規定するステップと、規定した寄与ゾーン内に含有される移動領域の面積のサイズを表すサブ面積値を繰り返して取り出し、記録するステップと、複数の記録したサブ面積値を足し算することによって合計面積値を生成するステップと、合計面積値を基準測定対象物面積値で割り算することによって計数境界を通過した測定対象物の数を推定するステップとを備え、前記寄与時間間隔が、サブ面積値を取り出す2つの連続した行為間の時間間隔に対応する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象物計数器および所定の境界を通過する測定対象物を計数するための方法に関する。より詳しくは、本発明は、カメラを使用して取り込んだ画像を解析することによってかかる測定対象物を計数することに関する。
【背景技術】
【0002】
境界を通過する測定対象物の数を決定するために協働するセンサおよび解析器に基づく測定対象物計数器が、種々の応用例において広く使用されている。
【0003】
測定対象物計数器は、例えば、デパートか、駅か、もしくはいずれかの別の関心のある区域に入るもしくは離れる人間か、ある区域を離れるもしくは入る家畜か、コンベヤベルト上を通過する製品か、またはコンベヤスライド上を通過する製品、等のような測定対象物を計数するために使用するデバイスである。測定対象物計数器を、例えば、安全目的のために使用することができるが、やはり、ある区域に入るまたは離れる測定対象物の統計データを生成するために使用することができる。
【0004】
測定対象物計数器は、一般論として検知部および解析部を備える。検知部は、例えば、測定対象物の目に見えるフィーチャを検出するために光スペクトルの可視部を検出する画像センサか、例えば、測定対象物の熱プロファイルを記録するために光スペクトルの赤外部を検出するマイクロボロメータセンサのような焦点面アレイか、または画像ビュー内の測定対象物までの距離の画像を生成する飛行時間センサシステムのような、測定対象物に関係するあるフィーチャを検出するセンサに通常基づく。
【0005】
検知部が、アレイ内の測定対象物のフィーチャを記録する、例えば、画像解析機器によって解釈し解析することができるデータを記録するセンサであるケースでは、解析部は、一般に画像を解析することに適合している。大部分の測定対象物計数器では、画像解析は、測定対象物検出アルゴリズムに基づき、例えば、個々の測定対象物を、センサによってカバーされる区域の至るところで検出し、識別し、追跡し、かつ測定対象物が所定の境界を通り過ぎるときに計数する。いくつかのタイプの測定対象物検出アルゴリズムが、当業者には公知である。
【0006】
現在の測定対象物検出アルゴリズムの持っている1つの問題点は、密集しており、類似のフィーチャを有し、および/またはほぼ同じ速度を有する複数の測定対象物を、別々の測定対象物として検出することが非常に困難なことである。これらの問題点が明らかである状況は、例えば、測定対象物が密集してまたは違ったサイズのクラスタで互いに重なり合って配列することがあるので、コンベヤベルト上へとでたらめに送り出される測定対象物を計数するときや、人間がクラスタでしばしば入る、すなわち、密集して歩く2人以上のグループで入るので、小売店または食料雑貨店に入るまたは出る人間を計数するときや、他の類似の状況である。測定対象物のクラスタは、密集してグループを作る測定対象物のグループとして理解されたい。測定対象物のクラスタを1つの測定対象物として検出することがあるために、問題が生じる。多くの測定対象物計数器は、検出した測定対象物を単純に計数することにだけ頼っており、測定対象物がクラスタで到着する場合および各クラスタが1つの測定対象物として計数される場合には、測定対象物の数の過少評価という結果になるであろう。
【0007】
ある先行技術の解決策では、検出した測定対象物中に包含される測定対象物の数のもっと正確な計数値を推定するために、検出した測定対象物の形状を解析する。しかしながら、検出した測定対象物のかかる形状解析は、大量の処理能力を必要とし、これゆえ、大量の余剰処理パワーを有するデバイスにこの方法の使用を限定している。かかる処理パワーは、小さなフォームファクタを有する組み込みシステムまたはデバイスでは利用できないことがある。
【0008】
WO 2009/016614には、計数し測定するためのプロセスを記載している。プロセスは、計数しようとする測定対象物を何も含まない背景画像を取り込むことを含む。次に、測定対象物をカメラの前に置いたときに画像を撮影する。背景画像とは異なる面積を測定対象物として解釈し、ある係数で、または測定対象物の数を指し示す値に対して面積を結び付ける値を含んでいるルックアップテーブルを使用して、解釈した測定対象物の面積に掛け算することによって、測定対象物の数を計算することができる。この方法は、静止した測定対象物を計数するときには簡単で効果的である。しかしながら、境界を通過している移動する測定対象物を計数しようとするときには、この方法は、信頼性がない。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】WO 2009/016614
【特許文献2】欧州特許出願第2172903号
【非特許文献】
【0010】
【非特許文献1】StaufferおよびGrimsonにより1999年6月に発表された、「1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR‘99)−Volume 2」2246頁に掲載の「Adaptive background mixture models for real−time tracking」
【非特許文献2】S.S. Beauchemin、J.L. Barron、「The computation of optical flow」、1995年、ACM New Tork、USA
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の1つの目的は、改善した測定対象物計数器を提供することである。
【課題を解決するための手段】
【0012】
この目的は、請求項1に記載の方法および請求項10に記載の測定対象物計数器によって達成される。本発明のさらなる実施形態を、従属請求項に提示する。
【0013】
特に、本発明の第1の態様によれば、この目的は、測定対象物を計数するための方法によって達成される。本方法は、所定の計数ビューの移動する画像を表す画像を取り込むステップと、所定の計数ビューの移動する画像内の移動領域を検出するステップと、移動領域の動きの速度を指し示す移動領域速度値を計算するステップと、所定の計数境界や、移動領域速度値や、寄与時間間隔dtに基づいて寄与ゾーンを繰り返して規定するステップと、規定した寄与ゾーン内に含有される移動領域の面積のサイズを表すサブ面積値を繰り返して取り出し、記録するステップと、複数の記録したサブ面積値を足し算することによって合計面積値を生成するステップと、合計面積値を基準測定対象物面積値で割り算することによって計数境界を通過した測定対象物の数を推定するステップとを備え、前記寄与時間間隔が、サブ面積値を取り出す2つの連続した行為間の時間間隔に対応する。
【0014】
本方法が、限られた能力、例えば、処理能力や、記憶能力、等を有する処理環境において移動する測定対象物を計数することを容易にするという点で、本方法は有利である。この利点についての1つの理由は、本方法が面積フロー、すなわち、移動領域内のサブ面積上で動作するという事実からの結果であり、それゆえ、測定対象物追跡などの労力の必要な動作を処理することを必要としない。
【0015】
一実施形態では、本方法は、移動する画像を取り込むことを可能にしたカメラ内で実行される。これによって、画像を人間計数器機能のためにネットワークをわたって送る必要がないために、システムの帯域幅必要量を、減少させることができる。
【0016】
別の一実施形態では、寄与ゾーンは、測定対象物が移動する画像内で検出される限り繰り返して規定される。
【0017】
さらに別の一実施形態によれば、計数境界を通過した測定対象物の計数値を推定する行為は、移動領域がそれぞれの寄与ゾーン内に存在しないときに実行される。測定対象物がそれらの対応する寄与ゾーン内に存在しないときに推定を実行することによって、それらの対応する寄与ゾーン内に存在する測定対象物に関係する処理が必要ない。これゆえ、システムは、2つの動作が同時に実行される場合よりも少ない処理能力を使用して動作することができる。
【0018】
別の一実施形態によれば、本方法は、合計の計数値を表す変数に推定した計数値を足し算するステップをさらに備える。
【0019】
一実施形態では、移動領域を検出するステップが、計数ビュー内に同時に存在する複数の移動領域を検出するステップをさらに備える。複数の移動領域を検出するステップによって、異なる移動領域のサブ面積を記録するときに、各移動領域の個々の特性、例えば、速度が考慮されることがあるために、サブ面積の精度を向上させることができる。その上、速度値を計算するステップが、それぞれ検出した移動領域についての個々の速度値を計算するステップを含むことがあり、したがって、移動領域の各々についての個々の寄与ゾーンを規定することを可能にする。これによって、サブ面積の精度を、さらに向上させることさえできる。
【0020】
さらに別の一実施形態では、寄与ゾーンを規定するステップの行為が、規定した寄与ゾーン内に含有される移動領域の面積のサイズを表すサブ面積値を取り出し、記録するステップの2つの連続した行為間に実行される。
【0021】
別の一実施形態では、寄与ゾーンを規定する行為が、サブ面積値を取り出し、記録するステップの各行為の前に繰り返される。
【0022】
本発明の別の一態様によれば、特定した計数境界を通過する測定対象物を計数するための測定対象物計数器は、所定の計数ビューの画像を取り込むために配置された画像センサと、取り込んだ画像内の移動する領域を検出し、移動領域の動きの速度を指し示す速度値を計算するために配置された移動領域検出器と、所定の計数境界や、移動領域の動きの速度や、寄与時間間隔dtに基づいて寄与ゾーンを繰り返して規定するために配置された寄与ゾーン計算器と、規定した寄与ゾーン内に含有された移動領域の面積のサイズを表すサブ面積値を取り出し、記録するために配置された面積計算器と、複数の記録したサブ面積値を足し算することによって合計面積値を積算するために配置された面積積算器と、合計面積値を基準測定対象物面積値で割り算することによって計数境界を通過した測定対象物の数を計算するために配置された測定対象物計数ユニットとを備える。
【0023】
本測定対象物計数器が、限られた能力、例えば、処理能力や、記憶能力、等を有する処理環境において移動する測定対象物を計数することを容易にする点で、本測定対象物計数器は有利である。この利点についての1つの理由は、測定対象物計数器が面積フロー、すなわち、移動領域内のサブ面積上で動作するようにさせる寄与ゾーン計算器および面積計算器を、本測定対象物計数器が含むという事実からの結果であり、それゆえ、アイデンティティに決定的な意味を持つ測定対象物追跡器などの処理労力の必要な手段を必要としない。
【0024】
一実施形態では、本測定対象物計数器が、カメラ内に配置される。これによって、画像を人間計数器機能のためにネットワークをわたって送る必要がないために、システムの帯域幅必要量を、減少させることができる。
【0025】
別の一実施形態では、移動領域検出器が、計数ビュー内に同時に存在する複数の移動領域を検出するためにさらに配置される。
【0026】
本発明を適用可能なさらなる範囲は、下記に与えられる詳細な説明から明らかになるであろう。しかしながら、本発明の精神および範囲内での様々な変更および変形が、この詳細な説明から当業者には明らかになるので、詳細な説明および具体的な例が、本発明の好ましい実施形態を指し示しているものの、例示だけの目的で与えられることを理解されたい。
【0027】
本発明の他のフィーチャおよび利点は、添付した図面を参照して現在の好ましい実施形態の下記の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0028】
【図1】本発明を使用することができる1つの可能性のある環境の概略図である。
【図2】本発明を使用することができるもう1つの可能性のある環境の概略図である。
【図3】本発明の1つの構成の概略図である。
【図4】本発明のもう1つの構成の概略図である。
【図5】本発明のさらにもう1つの構成の概略図である。
【図6】本発明の一実施形態によるカメラシステムの機能ブロックを示すブロック図である。
【図7】本発明の一実施形態による方法の一般的な流れ図である。
【図8】本発明の一実施形態を図示する流れ図である。
【図9】本発明の別の一実施形態を図示する流れ図である。
【図10】本発明によって解析された画像ビューの概略的な画像である。
【図11】図10の画像ビューから取り出した値およびデータの図である。
【図12】寄与ゾーンを規定する機能の代替実施形態の効果を示すグラフである。
【図13】寄与ゾーンを規定する機能の代替実施形態の効果を示すグラフである。
【図14】寄与ゾーンを規定する機能の代替実施形態の効果を示すグラフである。
【図15】図15a〜fは本発明の一実施形態によって処理される連続した画像を表す一連の画像ビューである。
【図16】個々の寄与する面積および合計面積を表すグラフである。
【発明を実施するための形態】
【0029】
本発明を詳細に説明する前に、記載したデバイスおよび方法を変えることができるので、本発明が、記載したデバイスの特定の構成部品または記載した方法のステップに限定されないことを、理解すべきである。本明細書において使用する用語は、特定の実施形態だけを説明する目的のためであり、限定するようには意図していないことを、やはり理解すべきである。明細書および別記の特許請求の範囲において使用するように、冠詞「1つ(a)」や、「1つ(an)」や、「前記(the)」や、「前記(said)」は、文脈が別なように明確に指示しない限り、1つまたは複数の要素があることを意味するように意図していることに、留意しなければならない。したがって、例えば、「1つのセンサ」または「前記センサ」への言及が、いくつかのセンサを含む場合がある、等である。さらに加えて、語「備える」は、別の要素またはステップを除外しない。その上、図では、類似の参照符号は、複数の図を通して類似の部品または対応する部品を示す。
【0030】
本発明は、測定対象物を計数する課題に関する。測定対象物を計数するための方法は、多くのケースでは多種多様な異なる測定対象物を計数するために良く適している、すなわち、一般的方法は、特定の測定対象物のタイプによってめったにカスタマイズされない。これは、本発明にもやはりあてはまる。本発明による方法を、計数境界を横切る実質的にすべてのタイプの移動する測定対象物を計数するために、有利なことに使用することができる。計数境界は、本質的に、境界を規定する任意の形状、例えば、1つの直線や、異なる方向を有し1つの連続する境界へと接続される複数の線や、円弧や、円、等からなる場合がある。
【0031】
本発明の実施形態についての1つの構成を、図1に図示する。この特定の構成では、計数しようとしている人間18、20が通り過ぎる通路の画像を取り込むための計数画像ビュー12を有するカメラ10を配置する。例えば、かかる構成を、出口14および/または入口14のところに配置することができる。次に、計数境界16を通過する人間の数を計数するために、カメラ10を含むシステムを配置し、計数境界16を、計数システム内でだけ規定する境界とすることができる、すなわち、出口/入口のところで必ずしも目で見ることができる線である必要がない。通路か、出口か、または入口は、小売店や、スーパーマーケットや、デパートや、公園や、駅や、図書館や、遊園地、等にある場合がある。計数ゾーン内の、すなわち、計数画像ビュー12内の人物18がもう一人の人物20によって分かりにくくされるまたは隠されるというリスクを最小にするために、カメラ10を、計数しようとする人間の上方に配置することができ、例えば、天井にまたは壁の高いところにマウントすることができる。図1の構成を、駐車場に入るおよび/または出る自動車を計数するためのシステムにおいてやはり使用することができる。
【0032】
本発明の実施形態についてのもう1つの構成を、図2に図示する。この構成では、測定対象物24を搬送するコンベヤベルト22の一部をカバーする計数画像ビュー12を有するカメラ10を配置する。計数システムを、計数境界16を通過する測定対象物の数を計数するために配置する。このようにして計数した測定対象物は、人物および動物を含む任意の測定対象物である場合がある。このタイプの応用例を、生産ライン上の製品や、手荷物輸送システム内の手荷物や、エスカレータ上の人間、等を計数するために配置することができる。
【0033】
ここで図3〜図5を参照して、一実施形態の計数システムは、計数画像ビュー12の画像を記録するカメラ10およびカメラ10によって取り込まれた画像を解析し、何個の測定対象物が計数境界16を通過したかを判断するために配置された測定対象物計数器26に基づく。上記のように、計数境界16を、測定対象物計数器26内の仮想境界として規定することができる。
【0034】
測定対象物計数器26を、カメラの外部のデバイスとすることができ、受け取った画像に基づいて測定対象物を計数する課題のための専用のデバイスとすることができる、図3参照。しかしながら、この機能を、同様にサーバ28や、パーソナルコンピュータ30や、ワークステーション32、等の中に同様に実装することができる。測定対象物計数器26用の画像を、カメラ10からコンピュータネットワーク34を介して伝達することができる。結果を、コンピュータネットワーク34を介して同様に提示することができる。
【0035】
別の一実施形態によれば、測定対象物計数器26は、再び、カメラ10の外部のデバイスである、図4参照。測定対象物計数器26を、専用デバイスとすることができるが、図3に関連して示したように、測定対象物計数器26を別のデバイス内にやはり実装することができる。この実施形態では、測定対象物計数器26が、カメラ10から直接画像を受け取り、コンピュータネットワーク34を介して結果を提示するために配置されることがある。
【0036】
さらに別の一実施形態によれば、図5参照、測定対象物計数器26を、カメラ10内に組み込むことができる。この実施形態では、計数の結果を、上記に開示したようにコンピュータネットワーク34を介して提示することができる。しかしながら、これらの実施形態のいずれかを、任意のタイプの伝送を介して結果の計数値を提示するために配置することができる。カメラ10内に測定対象物計数器26を組み込むことのいくつかの利点は、計数システムが小さな空間しか必要としないことや、計数値の基礎となる画像がネットワーク接続上を中継する代わりに内部を伝達するので、計数システムをより信頼できるものにすることができることや、1つのデバイスをインストールする必要があるだけで伝送経路を設定する必要がないので、計数システムのインストールが容易であることや、例えば、各画素が各々少なくとも3つの値によって表されるカラー画像との関連で、1つの信号値を表すデータが非常に小さいので、システムがはるかに小さな帯域幅しか必要としないこと、等である。
【0037】
組み込まれた測定対象物計数器26を有するカメラ10を、図6に一般化したブロック図によって例示する。この実施形態は、レンズ600や、画像センサ602や、画像処理ユニット604を含み、すべてが画像を取り込むために配置される。その上、カメラは、処理ユニット606や、揮発性メモリ608や、不揮発性メモリ610や、ネットワークインターフェース612を含み、すべてが、カメラ10の一般的な動作に関連した利用および画像取り込み機能に関連した利用のために配置されている。これらの部品は、当業者には周知であり、その機能はかかる部品の通常の機能と異なる必要がない。さらに、カメラ10は、画像解析器614や、基準面積調節手段616や、測定対象物計数ユニット618を含む。画像解析器614や、基準調節手段616や、測定対象物計数ユニット618の各々を、例えば、論理回路から作られるハードウェアによって実装することができる、または処理ユニット606によって実行され、メモリ608、610中に記憶されるプログラムコードによって、これらを実装することができる。
【0038】
画像センサ602を、例えば、測定対象物の目に見えるフィーチャを検出するために光スペクトルの可視部を検出する画像センサか、測定対象物の熱プロファイルを記録するために光スペクトルの赤外部を検出する、例えばマイクロボロメータなどの焦点面アレイか、または画像ビュー中の測定対象物までの距離の画像を生成する飛行時間センサシステムなどの、測定対象物に関係するあるフィーチャを検出する任意のセンサとすることができる。画像センサ602からの出力は、2次元画像として表すことができ、画像解析機器によって解釈し、解析することができるデータである。
【0039】
画像解析器は、画像センサ602によって取り込まれた画像データを解析するために配置され、移動領域の検出器620を含むことができる。移動領域の検出器620は、画像センサ602によって取り込まれた画像内の移動領域を検出するために配置され、下記に説明するように移動領域の検出に関連する機能、例えば、移動領域を検出し分割することや、検出した移動領域の速度を推定すること、等を実行する。本出願では、移動領域を、全体の領域が実質的に同じ方向に動いており、その移動領域がかかる動きを一時的に停止しているだけである画像内の画像要素、例えば、画素の領域として理解すべきである。
【0040】
基準面積調節手段616を、計数しようとする測定対象物についての標準サイズを指し示しているノルム値Anoを調節するために配置する。この値の調節をどのように実行するかを下記にさらに説明する。しかしながら、カメラ10がこの面積調節手段616を必ずしも含む必要がなく、むしろ標準面積値Anoを指し示す事前設定した一定値を含むことができる。Ano値を、揮発性メモリ608または不揮発性メモリ610のいずれかに記憶することができる。
【0041】
測定対象物計数ユニット618を、計数画像ビュー12の計数境界16を横切った測定対象物の数に対応する値を生成するために配置する。計数境界を通過した移動領域の面積を積算し、この積算した面積を前記標準面積値Anoで割ることによって対応する値を生成するために、測定対象物計数ユニットを配置することができる。一実施形態によれば、移動領域の面積の積算を、計数境界を横切る面積フローを調査することによって実現することができる。この面積積算機能を使用可能にするために、測定対象物計数ユニット618は、計数しようとする測定対象物を潜在的に表している移動領域を含む各個別の画像についての寄与ゾーンを決定するために配置された寄与ゾーン計算器622や、寄与ゾーン内に存在する面積に対応する瞬間的な面積フローを計算するために配置された面積計算器624や、瞬間的な面積フローの積分面積を計算するために、または各サンプリング期間の間の個別の面積値を足し算しかつ計数の際に使用すべき合計面積値を積算するために配置された面積積算器626をさらに含む。測定対象物計数器の機能に関するさらなる詳細を、下記に説明する。
【0042】
別の一実施形態によれば、測定対象物計数ユニット618を、コンピュータネットワーク34を介してカメラ10に接続される別のデバイス内に配置する。さらに別の一実施形態によれば、画像解析器614や、基準調節手段616や、測定対象物計数ユニット618を、ネットワーク34を介して処理する画像情報を受け取る別のデバイス内にすべて配置することができる。
【0043】
これゆえ、測定対象物を計数するための方法を、回路論理によってまたは処理ユニット606中で実行されるプログラムコードによって実装することができる。本発明の一実施形態によれば、図7参照、計数するための方法は、移動する画像を表す画像を取り込むステップ、ステップ700や、規定した計数境界を横切る移動領域の面積フローを取り込んだ画像から記録するステップ、ステップ702や、所定の時間間隔中に記録した移動領域の面積フローの積分値を計算するステップ、ステップ704を含む。積分値を計算するステップは、移動領域の面積スライスを総計するステップを含むことができる。これによって、画像ビュー内に測定対象物の存在中に個々の測定対象物を識別し追跡し続けるためのシステムを必要とせずに、測定対象物らしいものまたは計数境界を横切った測定対象物らしいものに関係する合計面積を求める。
【0044】
次に、結果の合計面積を基準面積で割り算し、ステップ706、割り算からの結果を、計数境界を横切った測定対象物の数を推定するために使用する、ステップ708。測定対象物の数をステップ708で推定した後で、新たな面積取り込みサイクルを開始する。
【0045】
所定の時間間隔を、特定の応用に対して適切である任意の長さにすることができる。別の一実施形態では、カメラによって記録されたフィーチャ、例えば、面積フローが記録されなくなるまでの積算面積により決定される時間間隔によって、所定の時間間隔を置き換えることができる。境界を横切る潜在的な測定対象物があり、次に推定を実行する限り、移動領域面積スライスを積分するステップによって、これを実装することができる。さらに別の一実施形態では、面積を、リセットせずに継続して積算し、次にユーザまたは別のシステムからの要求で、通り過ぎた測定対象物の数を提示する。
【0046】
特定の一実施形態によれば、正確に計数した測定対象物の面積に対応しない基準面積に関係する誤差の積算を避けるために、結果の合計面積を基準面積で割り算するステップ、ステップ706、および測定対象物の数の推定、ステップ708を、可能な限り早く実行すべきである。サイズが変わる測定対象物、例えば、人間や、動物、等を計数するときに、これは特に歴然としている。したがって、基準面積の1.2倍の合計面積が記録される場合には、1つの測定対象物が通過し、この特定の測定対象物が基準測定対象物の面積よりも幾分大きいことが予想される。しかしながら、基準面積の4.8倍の合計面積が記録される場合には、システムは、通過した測定対象物の数を5つに推定することができる。各々が基準面積の1.2倍の面積を有する4つの測定対象物が通過する場合以外では、この推定値はおそらく正しく、計数器は、5人の人物が通過したと依然として指し示すであろう。これゆえ、測定対象物の数を可能な限り早く推定する場合には、この積算された誤差を避けることができる、または低レベルに少なくとも維持することができる。
【0047】
プロセスが自動的に面積を出力し測定対象物の数を推定する状態にプロセスが到達していない場合でさえ、要求に応じて、プロセスは、現在の積算した合計面積を指し示す面積値の出力をやはり認めることができる、すなわち、面積値の出力を、いかなる時点においても要求することができる。
【0048】
特定の一実施形態では、上記の方法を、図8のプロセスに関連して下記に説明するように実装することができる。図8に関係する下記の説明は、やはり図10〜図12を参照する。初めに、プロセスを、計数画像ビューから画像を取り込み、これらの画像ビュー内の移動領域の存在を検出するように準備する、ステップ802。
【0049】
カメラ10によって取り込まれた計数画像ビューを表す図10では、2人の人物18、20を計数画像ビュー12中に取り込み移動領域を検出するステップ802が、破線によって指し示される1つの移動領域102の検出という結果をもたらす。この例では、計数画像ビュー12中に2人の人物18、20がいるという事実にも拘わらず、移動領域の検出、ステップ802が、1つの検出した移動領域102という結果をもたらした。これに関する理由は、前に述べたように、移動領域検出アルゴリズムが、互いに近接している測定対象物を見分けることが不可能であり、それゆえ、両方の人物18、20をカバーする1つの移動領域102として、移動領域102を検出することである。
【0050】
次に、検出した移動領域102の動きを記述する1つまたは複数の速度ベクトル


104を生成する、ステップ804。図10および図11中の移動領域102が1つの移動領域として検出されるので、1つだけの速度ベクトル


104が、図11に図示されている。前記生成した1つまたは複数の速度ベクトル


104は、各検出した移動領域102に関係する動きの方向および速度を含む。
【0051】
次に、対応する移動領域102の速度および積算した合計面積に足し算すべきサブ面積値を生成する2つの連続したステップ間の時間間隔に基づいて寄与ゾーンの境界を、各検出した移動領域102について計算する、ステップ806。
【0052】
図12に例示した一実施形態によれば、寄与ゾーンを、この特定の実施形態では直線である計数境界16や、全体の計数画像ビュー12の幅や、計数境界線16に平行な直線でありかつ計数境界線16から距離dSのところに配置された寄与線108によって規定する。距離dSは、積算した合計面積に足し算すべきサブ面積値を生成する連続したステップ間の時間に対応する時間間隔dtの間に、移動領域102が計数境界線16に向かって進む距離に対応する。距離dSを、例えば、dS=vdtとして計算することができる。
【0053】
したがって、速度vを短い時間値dt、例えば、2つの連続したサブ面積決定間の時間や、2つの連続した画像取り込み間の時間、等で掛け算することによって、距離dSを得ることができる。この式では、変数vは、計数境界線16に垂直な方向を有する速度ベクトル


104の速度成分である、図11参照。時間変数dtを、積算した合計面積に足し算すべきサブ面積値を生成する2つの連続したステップ間の時間または類似のサイクル、例えば、連続した寄与ゾーン計算間の時間や、移動領域が計数境界の近くにあるかどうかの連続した検査間の時間や、連続した移動領域検出間の時間、等とすることができる。しかしながら、時間変数dtを、複数のサイクル間の時間に、またはプロセスのいずれかの特定のフィーチャに関係しない一定値にやはり設定することができる。したがって、距離dSを、速度vを短い時間値dtで掛け算することによって得ることができる。
【0054】
次に、検出したいずれかの移動領域102が計数境界線16の近くにあると見出される場合には、この特定の実施形態では、これは、移動領域自体に関係する寄与ゾーン内に存在することが見出されることを意味し、ステップ808、次に、各移動領域自体に関係する寄与ゾーン内に存在する各移動領域102についてサブ面積dAを生成することによって、プロセスが続く、ステップ810。
【0055】
これゆえ、サブ面積dAを、dA=|寄与ゾーン∩移動領域|と記述することができる。寄与ゾーンおよび移動領域102の交点を、多角形クリッピングまたは寄与ゾーンと検出した移動領域102との間の画素レベルのAND演算によって決定することができる。次に、サブ面積dAを、結果の多角形の面積または結果の画素の総計として計算することができる。当業者は、サブ面積dAを決定するためのさらなる方法に気付くであろう。したがって、各サブ面積dAは、対応する寄与ゾーン内の存在する移動領域102の面積を指し示す。サブ面積dAを、面積フロー値としてやはり理解することができる。
【0056】
各サブ面積dAが決定されると、測定対象物検出境界16を通過する測定対象物に対応する面積を積算するために、各サブ面積dAを合計面積Atotに足し算する、ステップ812。移動領域を決定するステップ802や、速度ベクトルを生成するステップ804や、寄与ゾーンの境界16を計算するステップ806や、移動領域102が計数境界に近いかどうかを検査するステップ808や、サブ面積dAを生成するステップ810や、寄与面積dAを合計面積Atotに足し算するステップのこれらのステップを、タイマtiが時間切れになるまで繰り返す、ステップ814。タイマtiが時間切れになった後で、基準測定対象物の面積を表す値Anoによって積算した合計面積Atotを割り算することによって、時間間隔ti中に通過した測定対象物の数を決定する、ステップ816。これによって、測定対象物の数をNobj=Atot/Anoとして近似することができる。この推定した測定対象物の数を、より長い時間間隔を表す値を与えるために積算することができる、または関心のある関係者による将来のアクセスのために記憶することができる。いずれにせよ、計数境界を通過した測定対象物の数を推定すると、合計面積Atotを表す変数をリセットし、ステップ818、例えば、ゼロに設定し、プロセスは測定対象物を検出するステップ、802、に戻り、さらなる測定対象物を計数することができる。
【0057】
破線を使用して描かれた追加の処理ステップ、ステップ820および822によって図9中に表されている別の一実施形態によれば、ユーザからのまたは情報交換しているシステムからの結果要求、ステップ820、を検出するように、プロセスを動作可能にすることができる。要求に応じて、プロセスが進み、基準測定対象物の面積を表す値Anoで積算した合計面積Atotを割る計算を実行する、ステップ822。プロセスは、ステップ802に戻ることによってサブ面積を積算することを続ける。この特定の実施形態では、積算した合計面積Atotをめったにリセットしないように、ti時間間隔を大きな値に設定することができる。カメラを再始動させるまたはリセットするまで、積算した合計面積Atotを決してリセットしないように、システムを設定する場合さえある。
【0058】
一実施形態では、領域の検出、ステップ802、および速度ベクトル


の生成、ステップ804を、カメラ10の既存の機能によって実行し、測定対象物計数プロセスへ入力する。測定対象物計数プロセスへのこの入力を、1つまたは複数の移動領域指示子、例えば、各移動領域102のビットマッピング、または各移動領域102を近似する多角形や、楕円形や、長方形や、円等のうちのいずれか1つとすることができる。さらに、測定対象物計数プロセスは、各移動領域102または移動場に関連する速度ベクトル


を受け取ることができる。移動場は、実質的にすべての目に見える画像の表面の点または画素についての速度を含むことができる。測定対象物計数プロセスへの入力が移動場であるケースでは、速度ベクトル


を生成するために、移動場を移動領域102の表示と組み合わせることができる。かかる組み合わせをどのように実行するかは、当業者には周知である。これらの処理ステップを、当然のことながら、処理ユニット606内のソフトウェアによって同様に実行することができる。
【0059】
移動領域を検出するために、複数の可能性のある方法を使用することができる。移動領域を認識するために使用する可能性のあるアルゴリズムのいくつかの例を、StaufferおよびGrimsonにより1999年6月、「1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR‘99)−Volume 2」2246頁に掲載の「Adaptive background mixture models for real−time tracking」に発表されたものなどの分割アルゴリズムか、Almbladhにより欧州特許出願第2172903号に発表されたものなどのアルゴリズムか、S.S. Beauchemin、J.L. Barronにより「The computation of optical flow」、1995年、ACM New Tork、USA中で論じられたオプティカルフロー理論によるアルゴリズムか、または当業者には公知の分割アルゴリズムとすることができる。
【0060】
その上、検出した移動領域の速度に関するデータを生成するための複数の方法が、当業者には周知である。かかる方法の一例は、オプティカルフロー理論に論じられているような移動場を生成し、この移動場から速度ベクトル


を求めることである。もう1つの例は、連続して取り込んだ画像フレームからの移動領域を比較し、第1の画像フレームの移動領域と共通の面積を有する第2の画像フレームの移動領域が同じ移動領域を表すと仮定し、これによって、2つの連続したフレーム間の時間および移動領域の動きの距離に基づいて速度ベクトルを計算することである。さらにもう1つの方法は、速度を推定するために十分に長いが、移動領域が計数ビュー内に存在するときに全体の時間間隔の間にブロッブのアイデンティティを保証するためには十分な長さではない移動領域を追跡し続けるために配置された簡単な「ブロッブトラッカ」の使用を含む。速度ベクトル


を生成するためのさらなる方法は、当業者には周知であり、したがって、上記の例は、本発明の保護の範囲を限定するものではない。
【0061】
別の一実施形態を図9に図示する。このプロセスは、図8に説明したプロセスと非常に類似している。それゆえ、ステップ902〜912および916〜918は、ステップ802〜812および816〜818と同じである。しかしながら、移動領域が計数境界線16の近くになくなるまでAtotへの面積値の積算が続く点で、ステップ914は814とは異なる。これゆえ、移動領域が計数境界を通過していないときに、ある期間中に計数境界線16を通過した移動領域の数を推定する。移動領域検出器の実装形態に応じて、停止している移動領域の指示子が含まれる場合には、計数器の結果をより信頼できるようにすることができる。
【0062】
図示していない別の一実施形態では、これら2つの手法を組み合わせるために、ステップ814または914に対応するステップを準備することができる。したがって、時間間隔tiが時間切れにならない限り、移動領域が計数境界線16の近くになくなるまでAtotへの面積値の積算が続き、これらの条件のいずれかを満足する場合には、AtotをAnoで割り算することによって測定対象物の数を指し示す値を生成する。
【0063】
図8〜図9では、速度ベクトル


を、各検出した移動領域102に対して生成する。これを、移動領域検出の一部としてまたは、別個のプロセスとして実行することができる。別の一実施形態では、移動領域102が計数境界線16に達するまでまたは所定の距離になるまで、速度ベクトル


を、各移動領域102に対して生成しない。実装形態がある速度ベクトル


についてすべての検出した移動領域を処理するわけにはいかない場合には、この実施形態が有利な場合がある。
【0064】
計数境界を横切った測定対象物の既知の数について積算した面積Atotを比較することによって、計数境界を通過する測定対象物の数を計算するために使用する基準面積Anoを推定することができる、または多数であるが既知でない数の計数境界を横切った測定対象物からの多数の測定した合計面積に関する定量化ステップを解析し推定することによって、基準面積Anoを統計的に推測することができる。基準面積を推定するためのこの「自己学習」法を使用して、測定対象物計数システムは、時間とともに基準面積についての精度を向上させることができるはずである。そのような測定対象物計数システムを用いる利点は、手動校正または構成設定をまったく必要としない、または少なくともほんの少ししか必要としないことである。基準面積Anoを、例えば、人数計数器によって検出されたすべての客の面積の平均値または中央値とすることができる。あるいは、所定の一定の数とすることができる。
【0065】
寄与ゾーンの境界を設定する一方法を、図8および図12に関連して説明した。寄与ゾーンを設定するもう1つの方法を、図13に図示する。この方法は、寄与ゾーンの連続した計算間の時間に対応する時間間隔dtの間に、移動領域102が計数境界線16に向かって進む距離dSを計算するステップをやはり含む。しかしながら、距離dSを、計数境界16の異なる側に配置される2つの平行な寄与線108、110を設定するために使用する。これによって、計数ゾーンを、2つの平行な寄与線108、110および全体の計数画像ビューの幅、すなわち、寄与線108、110に垂直である計数画像ビューの端部、によって規定する。寄与線を、計数境界から異なる距離のところに、または同じ距離のところに配置することができる。
【0066】
寄与ゾーンの設定のさらにもう1つの方法を、図14に図示する。もう一度、距離dSを計算する。しかしながら、今回は、寄与線110を、計数境界16から距離dSのところで、移動領域102の移動方向に関して計数境界16の遠い側に配置する。これによって、寄与ゾーンを、計数境界や、寄与線110や、全体の計数画像ビューの幅によって規定する。
【0067】
本発明の理解を容易にするために、計数境界16を横切る2人の人物の状況に、本発明の特定の一実施形態における処理を適用する。この状況の処理を、図15a〜図15fおよび図16を参照して下記に説明する。図15a〜図15fは、時間tから時間tまでに取り込まれた6つの画像の画像系列を図説する。
【0068】
図15aでは、tにおいて、2人の人物50、52が近くで一緒に歩いているので、2人の人物50、52は、破線によって表示される1つの移動領域102として検出される。検出した移動領域102は、計数境界108にまだ達していないが、速度成分vは、続く時間スライスdt以内に線に達するであろうことを指し示す。それゆえ、移動領域102が寄与ゾーンの範囲内であり、前の説明ではサブ面積とやはり呼ばれる瞬間的な面積フロー、dAは、それゆえ、図16のグラフに図示したようにゼロではない。
【0069】
ここで、tにおける次のフレームを表す図15bを参照して、2人の人物50、52は、1つの移動領域102としてまだ検出されている。寄与ゾーンを、速度vに基づいて計算する。移動領域102の一部が、ここでは計数境界を横切っており、新たな瞬間的な面積フロー、dAを前に説明したように寄与ゾーンから生成する。寄与ゾーン内に存在する移動領域102の面積dAは、図15bおよび図16の両方に見られるように、tにおけるよりもtにおけるほうが大きい。
【0070】
t=tにおいて取り込まれた画像を表す図15cでは、2人の人物50、52は互いに離れるように歩いており、それゆえさらに離れて歩いている。2人の人物50、52は、これゆえ、2つの別々の移動領域102a、102bとして検出され、2つの別々の瞬間的な面積フロー成分dA2aおよびdA2bを生成する。異なる面積フロー成分dA2aおよびdA2bを、各移動領域102a、102bの個々の速度を使用してそれぞれ計算する、すなわち、各移動領域102a、102bの個別の速度v2a、v2bに基づいて、各移動領域102a、102bがそれ自体の寄与ゾーンを用いて与えられる。この例では、v2a>v2bであり、それゆえ、速度v2bで進む移動領域102bに対してよりも速度v2aで動く移動領域102aに対して、より大きな寄与ゾーンを生成する。一実施形態によれば、時間スロットtに対する合計の瞬間的な面積フローdAを生成するために、2つの瞬間的な面積フロー成分dA2aおよびdA2bを、一緒に足し算する。別の一実施形態によれば、2つの瞬間的な面積フロー成分dA2aおよびdA2bを別々に記憶するか、または計数境界を横切った合計の面積フローAtotを指し示す積算した変数に別々に足し算する。
【0071】
時間tにおいては、図15d参照、2人の人物50、52は、もう1度一緒に近づき、それによって、2人の人物50、52をカバーする1つの移動領域102を生成する。これゆえ、1つの瞬間的な面積フロー成分、dAを生成する。
【0072】
時間tにおいて取り込んだ画像では、図15e参照、2人の人物50、52に関係する移動領域についての最終の瞬間的な面積フロー成分、dAを決定する。次に、時間tにおいて、2人の人物50、52は、計数境界16を完全に通過し、さらなる面積フロー成分が決定されないことがある。
【0073】
上に論じたように、図16のグラフは、図15a〜図15fの画像系列から決定した瞬間的な面積フローまたはサブ面積を表しているグラフを示す。グラフの下方の面積は、画像系列から積算した面積と考えることができ、tからtまでの積分した瞬間的な面積フロー、すなわち、合計面積Atotに対応するはずである。
【0074】
図15aでは、検出した移動領域102の一部が計数境界線16に達しない場合でさえ、移動領域102の面積の一部を記録することができることをさらに示している。移動領域102は、算出可能になる面積フロー寄与のためにそれ自体の寄与ゾーン内にある必要があるだけであり、寄与ゾーンのサイズは、前に論じたように移動領域102の速度に依存する。これゆえ、高速の測定対象物は、より大きな寄与ゾーンをもたらすであろう。面積フローを適正に算出するために、測定対象物計数器カメラの視野範囲内に全体の寄与ゾーンを完全に含有することが有利である。これを、計数する測定対象物に対する上限速度として知ることができる。
【符号の説明】
【0075】
10 カメラ
12 所定の計数ビュー
14 出口/入口
16 計数境界
18、20 人間
22 コンベヤベルト
24 測定対象物
26 測定対象物計数器
28 サーバ
30 パーソナルコンピュータ
32 ワークステーション
34 コンピュータネットワーク
50 人物
52 人物
102 移動領域
104 速度ベクトル
108、110 寄与線
600 レンズ
602 画像センサ
604 画像処理ユニット
606 処理ユニット
608 揮発性メモリ
610 不揮発性メモリ
612 ネットワークインターフェース
614 画像解析器
616 基準面積調節手段
618 測定対象物計数ユニット
620 移動領域検出器
622 寄与ゾーン計算器
624 面積計算器
626 面積積算器

【特許請求の範囲】
【請求項1】
測定対象物を計数する方法であって、前記方法が、
所定の計数ビュー(12)の移動する画像を表す画像を取り込むステップと、
前記所定の計数ビュー(12)の前記移動する画像内の移動領域(102)を検出するステップと、
前記移動領域(102)の動きの速度を指し示す移動領域(102)速度値(v)を計算するステップと、
所定の計数境界(16)や、前記移動領域速度値(v)や、寄与時間間隔(dt)に基づいて寄与ゾーンを繰り返して規定するステップと、
前記規定した寄与ゾーン内に含有される前記移動領域(102)の面積のサイズを表すサブ面積値(dA)を繰り返して取り出し、記録するステップと、
複数の記録したサブ面積値(dA)を足し算することによって合計面積値(Atot)を生成するステップと、
前記合計面積値(Atot)を基準測定対象物面積値(Ano)で割り算することによって前記計数境界(16)を通過した測定対象物の数を推定するステップとを備え、
前記寄与時間間隔(dt)が、サブ面積値(dA)を取り出す2つの連続した行為間の時間間隔に対応する、方法。
【請求項2】
前記方法が、移動する画像を取り込むことを可能にしたカメラ(10)内で実行される、請求項1に記載の方法。
【請求項3】
寄与ゾーンを規定する前記行為は、移動領域(102)が前記移動する画像内で検出される限り繰り返して実行される、請求項1または2に記載の方法。
【請求項4】
前記計数境界(16)を通過した測定対象物の計数値を推定する前記行為は、移動領域(102)がそれぞれの寄与ゾーン内に存在しないときに実行される、請求項1ないし3のいずれか一項に記載の方法。
【請求項5】
合計の計数値を表す変数に前記推定した計数値を足し算するステップをさらに備えた、請求項4に記載の方法。
【請求項6】
移動領域(102)を前記検出するステップが、前記計数ビュー(12)内に同時に存在する複数の移動領域(102)を検出するステップをさらに備えた、請求項1ないし5のいずれか一項に記載の方法。
【請求項7】
速度値(v)を前記計算するステップが、それぞれ前記検出した移動領域(102)についての個々の速度値(v)を計算するステップを含む、請求項6に記載の方法。
【請求項8】
寄与ゾーンを規定する前記行為が、前記規定した寄与ゾーン内に含有される前記移動領域(102)の前記面積の前記サイズを表すサブ面積値(dA)を取り出し、記録するステップの2つの連続した行為間に実行される、請求項1ないし7のいずれか一項に記載の方法。
【請求項9】
寄与ゾーンを規定する前記行為が、サブ面積値(dA)を取り出すステップの各行為の前に繰り返される、請求項8に記載の方法。
【請求項10】
特定した計数境界(16)を通過する測定対象物を計数するための測定対象物計数器であって、前記測定対象物計数器が、
所定の計数ビュー(12)の画像を取り込むために配置された画像センサ(602)と、
前記取り込んだ画像内の移動する領域(102)を検出し、前記移動領域(102)の動きの速度を指し示す速度値(v)を計算するために配置された移動領域検出器(620)と
を備えた測定対象物計数器において、
所定の計数境界(16)や、前記速度値(v)や、寄与時間間隔(dt)に基づいて寄与ゾーンを繰り返して規定するために配置された寄与ゾーン計算器(622)と、
前記規定した寄与ゾーン内に含有された前記移動領域(102)の面積のサイズを表すサブ面積値(dA)を取り出し、記録するために配置された面積計算器(624)と、
複数の記録したサブ面積値(dA)を足し算することによって合計面積値(Atot)を積算するために配置された面積積算器(626)と、
前記合計面積値(Atot)を基準測定対象物面積値(Ano)で割り算することによって前記計数境界(16)を通過した測定対象物の数を計算するために配置された測定対象物計数ユニット(618)と
を備えることを特徴とする、測定対象物計数器。
【請求項11】
前記測定対象物計数器が、カメラ(10)内に配置される、請求項10に記載の測定対象物計数器。
【請求項12】
前記移動領域検出器(620)が、前記計数ビュー(12)内に同時に存在する複数の移動領域(102)を検出するためにさらに配置される、請求項10または11に記載の測定対象物計数器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2012−108908(P2012−108908A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−245559(P2011−245559)
【出願日】平成23年11月9日(2011.11.9)
【出願人】(502208205)アクシス アーベー (39)
【Fターム(参考)】