戸開閉検出装置及び戸開閉検出方法
【課題】映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置を得る。
【解決手段】動きベクトル算出部317は、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する。動きベクトル群重心位置推定部302は、近傍の似た動きベクトルを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する。検出結果判定部303は、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する。
【解決手段】動きベクトル算出部317は、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する。動きベクトル群重心位置推定部302は、近傍の似た動きベクトルを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する。検出結果判定部303は、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像信号を入力とし、映像処理を行って戸開閉の有無を検出し、その戸開閉の有無情報を出力する戸開閉検出装置及び戸開閉検出方法に関するものである。
【背景技術】
【0002】
近年、犯罪防止の観点から、ビル管理においても犯罪を抑止する効果を期待し、監視カメラの普及が進んでいる。特にエレベータや自動ドアに監視カメラを取り付ける場合が多い。このような監視カメラには録画装置が接続されており、監視映像を録画するのが一般的であるが、録画に要する記録容量に限界があることから、有意な監視映像だけを厳選して録画することで記録容量を有効に使い、録画時間を長時間化したいという要求がある。
【0003】
エレベータの監視カメラを利用した監視装置として、例えば特許文献1に記載されたものがあり、この文献にはカメラ映像による乗客検知方法、戸開閉検知方法が示されている。このように乗客や戸開閉を自動で検知することで、録画すべき監視映像としての有意性を自動的に判断にすることを可能としている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−238968号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1に示されたような従来の戸開閉検出方法では、エレベータの戸に動きセンサ等を設置し戸開閉検出する場合、エレベータの機種ごとに仕様が異なる制御盤の改修が必要であり、設計・制作・手配・在庫管理等、様々な場面で余計なコストがかかる、という問題を解決するために、制御盤の改修が不要となるような、画像処理を用いた戸開閉検出を行っている。それは画像中のエレベータの戸の上部付近のごく小さな固定領域において、その部分は人が通らないことを前提として背景差分法を用いて戸開閉を検出するようにしたものである。しかしながら、一般にエレベータの監視カメラは、エレベータかごの奥隅角に斜め下方向きで設置されることが多く、そのエレベータ上部付近自体が、監視カメラの設置位置次第で写らないことが多いという問題があった。また、仮に写ったとしても、カメラ設置後に固定領域を手動で設定する必要がある上、背の高い人物が固定領域部分を覆ってしまうことも考えられ、誤検知の原因となりうるという課題もあった。
【0006】
この発明は上記のような課題を解決するためになされたもので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置及び戸開閉検出方法を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明に係る戸開閉検出装置は、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えるものである。
【発明の効果】
【0008】
この発明の戸開閉検出装置は、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定するようにしたので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことができる。
【図面の簡単な説明】
【0009】
【図1】この発明の実施の形態1〜5に係る戸開閉検出装置が適用されるエレベータのかごを模式的に示す説明図である。
【図2】この発明の実施の形態1に係る戸開閉検出装置の入出力の構成を示す説明図である。
【図3】この発明の実施の形態1に係る戸開閉検出装置の内部構成図である。
【図4】この発明の実施の形態1〜5に係る戸開閉検出装置が適用されるエレベータかご内部の映像例を示す説明図である。
【図5】この発明の実施の形態1〜4に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布例を示す説明図である。
【図6】この発明の実施の形態1〜4に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布をグルーピングする例を示す説明図である。
【図7】この発明の実施の形態1に係る戸開閉検出装置の動作を示すフローチャートである。
【図8】この発明の実施の形態1〜4に係る戸開閉検出装置のベクトル評価部におけるベクトル水平成分の評価値を示す説明図である。
【図9】この発明の実施の形態1〜5に係る戸開閉検出装置のベクトル評価部におけるベクトル垂直成分の評価値を示す説明図である。
【図10】この発明の実施の形態1に係る戸開閉検出装置の再帰的距離評価部における評価値を示す説明図である。
【図11】この発明の実施の形態1に係る戸開閉検出装置の近傍ベクトル類似度評価部におけるブロック位置と係数の関係を示す説明図である。
【図12】この発明の実施の形態1に係る戸開閉検出装置の距離評価部における評価値を示す説明図である。
【図13】この発明の実施の形態2に係る戸開閉検出装置の入出力の構成を示す説明図である。
【図14】この発明の実施の形態2に係る戸開閉検出装置の内部構成図である。
【図15】この発明の実施の形態2に係る符号化ピクチャの構成例を示す説明図である。
【図16】この発明の実施の形態3、4に係る戸開閉検出装置の入出力の構成を示す説明図である。
【図17】この発明の実施の形態3に係る戸開閉検出装置の内部構成図である。
【図18】この発明の実施の形態4に係る戸開閉検出装置における録画データ処理部の内部構成図である。
【図19】この発明の実施の形態5に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布例を示す説明図である。
【図20】この発明の実施の形態5に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布をグルーピングする例を示す説明図である。
【図21】この発明の実施の形態5に係る戸開閉検出装置のベクトル評価部における動きベクトル水平成分の評価値を示す説明図である。
【発明を実施するための形態】
【0010】
実施の形態1.
以下、この発明の実施の形態1について説明する。本実施の形態1では、戸開閉検出の例として、図1で示すようなエレベータを例として説明を行う。図1はエレベータのかご101、エレベータの戸102、エレベータの乗客103、エレベータのかご内部の監視カメラ104を模式的に示す説明図である。監視カメラ104は、エレベータのかご101内の奥側上隅部に戸102方向を撮影するよう設置されている。また、図2に示すような形で、戸開閉検出装置201が接続されており、エレベータのかご101内部の監視映像である動画像信号204を戸開閉検出装置201へ出力するよう構成されている。
【0011】
戸開閉検出装置201は、動画像信号204を入力とし、戸開閉検出の判定を行い、戸開閉検出結果信号/動画像信号/動きベクトル分布のセット205を録画装置202に対して出力する。録画装置202は、戸開閉検出結果信号/動画像信号/動きベクトル分布のセット205を入力とし、戸開閉検出結果信号に基づき、Motion−JPEGやMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行い、録画データ203として蓄積する。
【0012】
図3に、本実施の形態1における戸開閉検出装置201の内部ブロックを示す。戸開閉検出装置201は、動画像信号処理部301、動きベクトル群重心位置推定部302、検出結果判定部303、動画像信号保存用メモリ304、動きベクトル分布保存用メモリ305を備えている。先ず、戸開閉検出装置201における戸開閉検出の原理を説明する。
【0013】
図4は、図1の監視カメラ104でエレベータのかご101の内部を撮影した映像の例である。戸102は閉まっている状態であり、乗客103が乗っている状態である。戸102は両開きの戸であるとする。乗客103の目的のフロアに到着した際に、戸102が開き乗客103がエレベータから降りようとするため、映像内の局所的な動きベクトルを算出する映像処理を行うことで、図5に示すような動きベクトルが検出される。乗客103から見て左の戸の動きベクトル501、右の戸の動きベクトル502、乗客の動きベクトル503が図5に示されるように検出される。
【0014】
この時、似た動きベクトルをグルーピングすることを考えると、図6のようにグルーピングすることになる。図面上の水平方向右向きをプラス、水平方向左向きをマイナスとすると、左の戸の動きベクトル501をグルーピングしたマイナスベクトルグループ601、右の戸の動きベクトル502をグルーピングしたプラスベクトルグループ602、乗客の動きベクトル503をグルーピングしたベクトルグループ603の3種類のベクトルグループが出来る。この時、戸102は両開きの戸であるため、左の戸の動きベクトル501をグルーピングしたマイナスベクトルグループ601と右の戸の動きベクトル502をグルーピングしたプラスベクトルグループ602に内包されている動きベクトルは、互いに逆向きとなる。また、その動きベクトルの分布は、動きベクトルの向きの法線方向に長く分布する分布形状となる。つまり、動きベクトルの分布状況を解析し、このような一対の動きベクトル群を検出した場合に戸開閉動作であると判定することが戸開閉検出の原理である。
【0015】
図7は、本実施の形態1の戸開閉検出装置201の動作を示すフローチャートである。先ず、映像処理を行い映像内の局所的な動きベクトルを算出し、動きベクトルの分布を算出する(ステップST701)。次に、動きベクトルをグルーピングするための前準備として、ステップST701で算出された動きベクトル分布を元に各動きベクトルグループの重心位置を推定する(ステップST702)。そして、ステップST702で推定された重心位置を元に、動きベクトルグループが図6のベクトルグループ601、602に示したような逆向き一対で法線方向に長い分布を持つかどうかの評価値を算出する(ステップST703)。更に、ステップST703で算出された評価値を元に戸開閉検出の判定を行う(ステップST704)。これらのST701〜ST704で戸開閉検出を行う。ここで、図7のフローチャートにおけるステップST701が図3の動画像信号処理部301の動作に対応しており、同様に、ステップST702が動きベクトル群重心位置推定部302、ステップST703とステップST704が検出結果判定部303の動作に対応している。以下、図7で示したフローチャートの流れに基づき、図3の各ブロックの説明を行う。
【0016】
動画像信号処理部301は、動画像信号321を入力とし、動きベクトル分布323を出力とする。内部ブロックとして、動きベクトル算出部317を持つ。動画像信号321は動画像信号保存用メモリ304に存在する2枚の動画像信号とし、その2枚の間の動きベクトルを算出する。動きベクトルの算出方法は、画像を矩形ブロックに分割し、各ブロックにおける動きベクトルを算出する。各ブロックにおける動きベクトルの算出方法としては、一般的なブロックマッチング方式を用い、例えば、以下の(式1)のfを最小化する(vx,vy)を算出する方法がある。
【0017】
上記の(式1)はブロックサイズ16×16画素の場合の例である。yが輝度値、t、t+1が時刻を示す。このようにして算出されたブロックごとの動きベクトルを動きベクトル分布として、動きベクトル分布保存用メモリ305に格納する。
【0018】
動きベクトル群重心位置推定部302は、動きベクトル分布保存用メモリ305に保存された動きベクトル分布324および検出結果判定部303から出力された、直前の戸開閉判定結果332を入力とし、動きベクトル群の推定重心位置330を出力とする。動きベクトル群重心位置推定部302は、ベクトル評価部311、再帰的距離評価部312、近傍ベクトル類似度評価部313、推定重心位置算出部314の4つの演算ブロックから構成されている。ベクトル評価部311、再帰的距離評価部312、近傍ベクトル類似度評価部313の3つのブロックの出力はいずれも評価値であり、そのそれぞれの評価値に基づいて推定重心位置算出部314で重心位置を推定する。重心位置は図6のマイナスベクトルグループ601およびプラスベクトルグループ602の2種類の重心位置をそれぞれ算出する。各評価部311、312、313で算出される評価値については、各ブロックについてマイナス/プラスの各評価値を算出し、各ブロックがマイナス/プラスのどちらのグループに属するか、あるいはどちらにも属さないかを評価するための評価値fminus_estimation1/fplus_estimation1を算出する。
【0019】
このブロック位置(m,n)の評価値fminus_estimation1(m,n)/fplus_estimation1(m,n)を元に、推定重心位置算出部314は、以下の(式2)(式3)に示すように、マイナスベクトルグループ601およびプラスベクトルグループ602の2種類の水平方向の重心位置fx_minus/fx_plusを推定し、推定重心位置330として出力する。下式中のMは画像内の水平方向のブロック数、Nは画像内の垂直方向のブロック数である。
【0020】
本実施の形態1ではエレベータの例で説明しているため、水平方向の重心位置を算出している。一般にエレベータの監視カメラはドアの最下部から人の背の高さプラスアルファ程度の領域が一番よく写るように配置されており、カメラのゆがみやエレベータのかごの形状と監視カメラの向きの関係から、エレベータの戸同士の接する線の方向に関して、写りが若干斜めになることはあるとしても、必然的にほぼ垂直方向に写ることになるため、図6に示すベクトルグループ601および602を見つける場合にも、各グループの水平方向の重心位置を推定すれば十分である。
【0021】
ブロック位置(m,n)の評価値fminus_estimation1(m,n)/fplus_estimation1(m,n)の算出については、ベクトル評価部311、再帰的距離評価部312、近傍ベクトル類似度評価部313の各出力値である評価値327、328、329の積をとることで算出する。以下、各評価部311、312、313の説明を行う。
ベクトル評価部311は、動きベクトル分布324を入力とし、ブロック位置(m,n)における動きベクトルの向きと大きさを評価する。動きベクトルの水平方向の向きが左向きのマイナスであればマイナスベクトルグループに属する可能性が高くなり、逆に動きベクトルの水平方向の向きが右向きのプラスであればプラスベクトルグループに属する可能性が高くなるため、評価値は例えば、以下の(式4)(式5)のように算出する。(式4)(式5)を図に示すと図8のようになる。(式4)(式5)および図8については、動きベクトル算出部317における動きベクトル(vx,vy)の算出範囲が±16の場合の例である。
【0022】
また、動きベクトルの垂直成分についても、エレベータの戸102同士の接する線の方向に関してほぼ垂直方向に写ることになる。従って、動きベクトルの垂直成分が概ねゼロに近いほどベクトルグループ601や602に属する可能性が高いと評価できるため、動きベクトルの垂直成分についての評価値は、例えば(式6)のように算出する。(式6)を図に示すと図9のようになる。図9についても、動きベクトル算出部317における動きベクトル(vx,vy)の算出範囲が±16の場合の例である。
【0023】
ベクトル評価部311の出力である評価値327は、マイナス/プラスそれぞれe1およびe2の積として算出する。
【0024】
再帰的距離評価部312は、動きベクトル分布324を入力とし、その1回前の戸開閉検出が有と判定された際の重心位置fx_minus/fx_plusからのブロック位置(m,n)の水平距離に逆比例する値を評価値とする。例えば図10のような形でfminus_e3(m,n)/fplus_e3(m,n)として評価し、評価値328として出力する。上記の「1回前の戸開閉検出が有と判定された際の重心位置fx_minus/fx_plusを保存するために、1回前の推定重心位置330と戸開閉判定結果332を入力している。
【0025】
近傍ベクトル類似度評価部313は、動きベクトル分布324を入力とし、ブロック位置(m,n)の近傍における動きベクトルの総合的類似度を評価する。図11に示すような係数で、ブロック位置(m,n)と対象ブロックのブロック同士の動きベクトル類似度で重み付け加算する。ブロック同士の動きベクトル類似度については、類似しているほど大きな値とする。図11の中にマイナスの値があるが、これは類似していると小さな評価値になるように設計している。エレベータの戸開閉のベクトルグループ601および602が縦長であり、横に膨らんだものはエレベータの戸開閉でない可能性があるため、横の位置に似た動きベクトルがある場合は乗客など戸以外のものである可能性が高いと考え、戸開閉評価値としては小さな評価値になるように設計している。各ブロック間の動きベクトル類似度を図11の係数で重み付け加算した値を評価値329として出力する。
以上が動きベクトル群重心位置推定部302の説明である。
【0026】
次に検出結果判定部303について説明を行う。
検出結果判定部303は、動きベクトル分布保存用メモリ305に保存されている動きベクトル分布325と、動きベクトル群重心位置推定部302から出力される推定重心位置330,ベクトル評価値327および近傍ベクトル類似度評価値329を入力とし、戸開閉判定結果332を出力とする。検出結果判定部303は、距離評価部315、戸開閉判定部316の2つの演算ブロックから構成されている。以下それぞれの演算ブロックの説明を行う。
【0027】
距離評価部315は、動きベクトル分布325と推定重心位置330を入力とし、その推定重心位置fx_minus/fx_plusからのブロック位置(m,n)の水平距離に逆比例する値を距離評価値331として出力する。例えば図12のような形でfminus_e3n(m,n)/fplus_e3n(m,n)として評価し、それぞれ距離評価値331として出力する。図12で示すように、動きベクトル群重心位置推定部302で推定された重心位置のごく近傍のブロックのみを高評価とする。これは図6で示すベクトルグループ601、602が細く縦長であることに基づく評価方法である。
【0028】
戸開閉判定部316は、ベクトル評価値327、距離評価値331、近傍ベクトル類似度評価値329を入力とし、戸開閉判定結果332を出力とする。入力となる各種評価値はブロック位置(m,n)におけるマイナス/プラスの評価値である。各ブロックにおいてマイナス/プラスそれぞれについて3種類の評価値の積を取り、ブロック位置(m,n)の評価値fminus_estimation2(m,n)/fplus_estimation2(m,n)を算出する。マイナス/プラスそれぞれについて全ブロックにつきfminus_estimation2(m,n)/fplus_estimation2(m,n)の加算を行い、その総和値についてマイナス/プラスそれぞれについて、ある固定値Aとの閾値評価することで、プラス/マイナス両方とも閾値を超えた場合に戸開閉有りとし、それ以外の場合に戸開閉検出無しとし、戸開閉判定結果332として出力する。
【0029】
戸開閉検出の有無の判定については画像1枚ごとに行う。一方、各ブロック(m,n)においてマイナス/プラスの評価値fminus_estimation2(m,n)/fplus_estimation2(m,n)が計算される。その各ブロックにおけるfminus_estimation2(m,n)/fplus_estimation2(m,n)の値に対してもある固定値Bとの閾値評価を行うことで、そのブロックがマイナスグループに属するか、プラスグループに属するか、どちらにも属さないかの3種類に分類することができる。
【0030】
この時、戸開閉動作有りと判定されているにもかかわらず、マイナス/プラスどちらにも属さないブロックで大きな動きベクトルを持つブロックが集まっている場合について、戸開閉動作だけでなく戸開閉動作以外の他の動物体(乗客等)も動いていると判断する。
【0031】
また、戸開閉動作有りと判定され、どちらにも属さないブロックすべてが小さな動きベクトルの場合、他の動物体は存在しないと考えられ、動いている乗客のいないエレベータにおける戸開閉動作のみがあったのだと判断する。
【0032】
戸開閉動作無しの場合は、マイナス/プラスの評価値にかかわらず、大きな動きベクトルを持つブロックが集まっている場合について、戸開閉以外の他の動物体(乗客等)が動いていると判断する。
【0033】
本実施の形態1に示す戸開閉検出装置201を以上のように構成することで、図6に示したベクトルグループ603のような動きベクトルを無視しつつベクトルグループ601、602が存在すれば検出することが可能であり、戸開閉動作の有無を検出できる。これにより、課題であったエレベータ上部付近自体が、監視カメラの設置位置次第で写らなくとも戸開閉動作の検出が可能となる。即ち、監視カメラ104は、その役割から、エレベータの戸102のうち人間が通る部分は必ず写るように設置されるため、一般に戸102の大部分は写ることになる。本実施の形態1では戸102の大部分が写っていれば戸開閉検出を行うことが出来ることから、映像内の戸102の位置に拠らず戸開閉検出が可能であり、カメラ設置後の手動設定も不要である。
【0034】
また、本実施の形態1では、戸開閉動作有りと検出した場合に、マイナス/プラスどちらにも属さないブロックにおける動きベクトル分布を調べることにより、動く乗客の存在の有無を確認することも可能であり、録画すべき映像かどうかの有意性の判定に用いることもできるため、戸開閉動作の有無だけでなく他の動物体の有無についても戸開閉検出装置201の出力としての戸開閉判定結果332に含めて出力することで、動く乗客のいないエレベータにおける戸開閉動作のみの映像を録画対象から除外することを可能とし、結果的に録画時間の長時間化を可能とする利点もある。
【0035】
以上のように、実施の形態1の戸開閉検出装置によれば、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部317と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部302と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部303を備えるので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことができる。
【0036】
また、実施の形態1の戸開閉検出方法によれば、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置を用いた戸開閉検出方法であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出ステップと、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定ステップと、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定ステップを備えるので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置を実現することができる。
【0037】
また、実施の形態1の戸開閉検出装置によれば、検出結果判定部303は、戸開閉の動作が行われたと判定する根拠となる動きベクトル群以外の動きベクトル群が存在した場合は、動物体が存在したと判定するようにしたので、動く乗客といった動物体の存在の有無も確認することができる。
【0038】
実施の形態2.
以下、この発明の実施の形態2について説明する。本実施の形態2においても、戸開閉検出の例として、図1で示すようなエレベータを例として説明を行う。
【0039】
実施の形態2における監視カメラ104は、図13に示すような形で、録画装置1301が接続されており、エレベータのかご内部の監視映像である動画像信号204を録画装置1301へ出力する。
【0040】
録画装置1301は、動画像信号204を入力とし、MPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行う過程で用いる動きベクトル分布1304を戸開閉検出装置1302に対して出力する。この時、MPEG等をはじめとする国際標準映像符号化方式の動きベクトルは、一般に未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布1304における個々の動きベクトルについて、MPEG用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として扱うこととする。戸開閉検出装置1302は動きベクトル分布1304を入力とし、その動きベクトル分布に基づき実施の形態1と同様の方法で戸開閉動作の有無と他動物体の有無を検出し、戸開閉動作の有無だけでなく他の動物体の有無についても戸開閉判定結果332に含めて出力する。
【0041】
録画装置1301は、その戸開閉判定結果332に基づき、録画データ1303として蓄積するかどうか判断する。
【0042】
本実施の形態2における戸開閉検出装置1302の内部ブロック図を図14に示す。実施の形態1における戸開閉検出装置201と比較した場合、動画像信号処理部301と動画像信号保存用メモリ304がない構成であり、その他のブロックは構成・動作とも同じであるため、動きベクトル群重心位置推定部302と検出結果判定部303の内部についての図示およびその説明を省略する。
【0043】
一般にMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行う場合は、図15のような形で周期的にIピクチャを入れることで再同期を可能としている。この塊を一般にGOP(Group Of Picture)と呼ぶ。戸開閉検出は画像ごとに行うため、例えば図15で示されるようにGOPの途中のピクチャを録画対象と判定した場合、そのPピクチャだけを保存しても再生できないため、そのPピクチャの属するGOPを保存することでそのピクチャを再生可能である。
【0044】
本実施の形態2に示す戸開閉検出装置1302を以上のように構成することで、実施の形態1と比較して、監視カメラと録画装置で構成される既存の監視映像録画システムへ戸開閉検出装置1302を組み込みやすいという利点がある。その理由は、実施の形態1の場合は監視カメラ104と録画装置202の間に戸開閉検出装置201を組み込むため、2箇所のインタフェース開発が必要なのに対し、実施の形態2では録画装置の後段に戸開閉検出装置1302を配置すればよいため、インタフェース開発が1箇所で済むためである。また、実施の形態2の戸開閉検出装置1302は実施の形態1の戸開閉検出装置201と比較して装置構成を簡易にすることが出来ており、これも大きな利点である。これは録画装置1301でMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行う際に必要となる動きベクトルを再利用して戸開閉検出装置1302に供給できるためである。
【0045】
以上のように、実施の形態2の戸開閉検出装置によれば、戸の映像が含まれる各ピクチャと、ピクチャ内の局所的な動きを示す動きベクトルのピクチャ全体の動きベクトル分布とを入力とし、戸開閉の有無を検出する戸開閉検出装置1302であって、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部302と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部303を備えるので、実施の形態1の効果に加えて、既存の監視映像録画システムへ戸開閉検出装置1302を組み込みやすく、また、実施の形態1よりも構成を簡素化することができる。
【0046】
実施の形態3.
以下、この発明の実施の形態3について説明する。本実施の形態3においては、戸開閉検出の例として、図1で示すようなエレベータにおいて、エレベータのかごの内部の監視映像がMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化され、録画された録画データを例として説明を行う。
【0047】
実施の形態3の装置構成を図16に示す。戸開閉検出装置1601に対して録画データ1602が入出力されるよう構成されている。即ち、戸開閉検出装置1601は録画データ1603を入力とし、録画データに対し、ピクチャ単位に戸開閉動作検出信号および他動物体検出信号のメタデータを付与した多重化データ1604を出力とする。
【0048】
実施の形態3における戸開閉検出装置1601の内部ブロック図を図17に示す。実施の形態2の戸開閉検出装置1302との比較で、録画データ処理部1701、検出結果メタデータ生成多重部1702、録画データ保存用メモリ1703が追加となっている。その他のブロックについては構成・動作とも実施の形態1および実施の形態2と同様であるため説明を省略する。
【0049】
戸開閉検出装置1601に入力された録画データ1603は、録画データ保存用メモリ1703に保存される。録画データ保存用メモリ1703に保存された録画データは、録画データ処理部1701に入力される録画データ1721および検出結果メタデータ生成多重部1702に入力される録画データ1723としてそれぞれ出力される。
【0050】
録画データ処理部1701は録画データ1721を入力とし、動きベクトル分布1722を出力とする。内部ブロックとして動きベクトル抽出部1711を備え、このブロックで、録画データから動きベクトルを抽出する。この時、MPEG等をはじめとする国際標準映像符号化方式の動きベクトルは、一般には未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布1722における個々の動きベクトルについて、抽出したMPEG用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として、動きベクトル分布1722を出力することとする。
【0051】
検出結果メタデータ生成多重部1702は、録画データ1723と戸開閉動作の有無と他動物体の有無が含まれた戸開閉判定結果332を入力とし、録画データ1723内の各ピクチャと戸開閉動作有無および他動物体有無を関連付けるメタデータの生成および録画データとメタデータの多重化を行い、録画データとメタデータの多重化データ1604として出力する。
【0052】
本実施の形態3に示す戸開閉検出装置1601を以上のように構成することで、実施の形態1や実施の形態2と異なり、既に録画された録画データに対して戸開閉有無検出や他動物体有無検出を行うことが出来る。戸開閉有無検出結果や他動物体有無検出結果と録画データとの対応をとることで、有意なシーンの検索を簡易に行うことが出来るという利点がある。
【0053】
以上のように、実施の形態3の戸開閉検出装置によれば、戸の映像が含まれるディジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で圧縮符号化されたビットストリームを入力とし、戸開閉の有無を検出する戸開閉検出装置1601であって、ビットストリームを入力とし、ビットストリームから動き補償予測に用いる動きベクトルを抽出し、動きベクトル分布として出力する録画データ処理部1701と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部302と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部303と、ビットストリームと判定結果とを入力とし、ビットストリームに含まれるピクチャと判定結果との対応付けを行ったメタデータを多重化したビットストリームを出力とする検出結果メタデータ生成多重部1702とを備えるので、実施の形態1の効果に加えて、既に録画された録画データに対して戸開閉有無検出や他動物体有無検出を行うことが出来る効果がある。
【0054】
実施の形態4.
以下、この発明の実施の形態4について説明する。本実施の形態4においては、戸開閉検出の例として、図1で示すようなエレベータにおいて、エレベータのかごの内部の監視映像がMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化され、録画された録画データを例として説明を行う。
【0055】
実施の形態4の戸開閉検出装置における図面上の構成は、図16に示した実施の形態3と同様であるため、その説明は省略する。実施の形態4と実施の形態3の相違点は、図17に示した戸開閉検出装置1601の内部ブロックにおける録画データ処理部1701の構成である。図18に、本実施の形態4の録画データ処理部1801の内部ブロック図を示す。これ以外は実施の形態3の戸開閉検出装置1601と同様であるため、以下、録画データ処理部1801について説明を行う。
【0056】
録画データ処理部1801は録画データ1721を入力とし、動きベクトル分布1722を出力としており、この入出力については実施の形態3と同様である。録画データ処理部1801は、内部ブロックとしてピクチャタイプ検出部1811、動きベクトル抽出部1711、動きベクトル算出部1812で構成されており、実施の形態3における録画データ処理部1701と比較して、ピクチャタイプ検出部1811、動きベクトル算出部1812が追加されている。
【0057】
ピクチャタイプ検出部1811は録画データに含まれるピクチャタイプを検出し、Iピクチャの場合には動きベクトルが含まれないため、動きベクトル算出部1812で動きベクトルを算出する。一方ピクチャタイプがPピクチャおよびBピクチャの場合は、動きベクトルが含まれるため動きベクトル抽出部1711で動きベクトルを抽出する。この時、MPEG等をはじめとする国際標準映像符号化方式の動きベクトルは、一般には未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布1722における個々の動きベクトルについて、抽出したMPEG用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として、動きベクトル分布1722を出力することとする。
【0058】
本実施の形態4に示す戸開閉検出装置を以上のように構成することで、実施の形態3と比較して、動きベクトルの存在しない録画データであるIピクチャについても戸開閉有無検出や他動物体有無検出を行うことが出来るという利点がある。
【0059】
以上のように、実施の形態4の戸開閉検出装置によれば、録画データ処理部1801は、ビットストリームからピクチャタイプを抽出し、動き補償予測を行うピクチャタイプであればビットストリームから動きベクトルを抽出し、動き補償予測を行わないピクチャタイプであれば各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力するようにしたので、実施の形態3の効果に加えて、Iピクチャについても戸開閉有無検出や他動物体有無検出を行うことが出来る効果がある。
【0060】
実施の形態5.
以下、この発明の実施の形態5について説明する。戸開閉検出の例として、図1で示すようなエレベータを例として説明を行うが、実施の形態1〜4とは異なり、両開きの戸ではなく片開きの戸の場合のエレベータ戸開閉検出に関して説明を行う。
【0061】
実施の形態1〜4における両開きの戸102の場合、図5および図6に示すような形で、水平方向右向きをプラス、水平方向左向きをマイナスとすると、左の戸の動きベクトル501をグルーピングしたマイナスベクトルグループ601、右の戸の動きベクトル502をグルーピングしたプラスベクトルグループ602、とした場合にベクトルグループ601と602を検出することで戸開閉動作有無の判定を行っていた。
【0062】
本実施の形態5における片開きの場合のエレベータかご内の動きベクトル分布の様子を図19に示す。片開きの戸1902は、乗客103から見て左から右に戸が片開きする場合の例であり、左の戸の動きベクトル1901が、右の戸の動きベクトル502と比較して「2倍の長さ」で「同じ向き」である点が両開きの戸102の場合と異なる点である。
【0063】
本実施の形態5においても、動きベクトルの分布状況を解析し、図20に示すようにベクトルグループ2001および602のような2つの動きベクトル群をセットで検出した場合に、戸開閉動作であると判定することが本実施の形態5における戸開閉検出の原理である。
【0064】
この時、実施の形態1〜4と異なる部分は、左の戸の動きベクトルが右の戸の動きベクトルと比較して「2倍の長さ」で「同じ向き」となる点である。よって図3におけるベクトル評価部311の内部動作と、実施の形態1における各式や図8、9、10、12における式の中の添字「minus」を「plus1」、「plus」を「plus2」に変更することで戸開閉有無を検出することが可能である。以下、その説明を行う。
【0065】
ベクトル評価部311の中で図8が動きベクトルの水平成分の評価値の例であった。これは動きベクトルの水平成分がマイナスであればマイナスベクトルグループに属する可能性が高く、動きベクトルの水平成分がプラスであればプラスベクトルグループに属する可能性が高いことに基づくものであった。よって、本実施の形態5におけるベクトル評価部311は、例えば図21のように構成し、左の戸が右の戸の「2倍の長さ」で「同じ向き」となる場合に評価値が高くなるように構成している。また、このようなベクトル評価値327に基づき、検出結果判定部303は、2個の動きベクトル群が互いに同じ向きで、一方の動きベクトル群が他方の動きベクトル群の2倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定する。
【0066】
本実施の形態5に示す戸開閉検出装置を以上のように構成することで、実施の形態1〜4においては両開きの戸を例として説明したが、片開きの戸についても戸開閉有無検出や他動物体有無検出を行うことが出来るという利点がある。
尚、本実施の形態5では、戸102が2枚の場合を説明したが、3枚以上であっても同様に適用可能である。即ち、検出結果判定部303は、R(Rは2以上の整数)個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のR倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定することで、同様に適用することができる。
【0067】
以上のように、実施の形態5の戸開閉検出装置によれば、検出結果判定部303は、R(Rは2以上の整数)個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のR倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定するようにしたので、片開きの戸開閉の検出にも対応することができ、実施の形態1と同様の効果を実現することができる。
【0068】
また、本実施の形態1〜5では、戸開閉検出の例としてエレベータを用いて戸開閉検出装置の動作および戸開閉検出方法を説明したが、エレベータの戸と類似の動きをするもの(例えば自動ドアなど)についても、同様の効果を得られることは言うまでもない。
【0069】
また、実施の形態5は、実施の形態1に適用した場合を説明したが、実施の形態2〜4のいずれかと組み合わせる等、実施の形態1以外の実施の形態と組み合わせてもよい。
【符号の説明】
【0070】
101 かご、102 戸、103 乗客、104 監視カメラ、201,1302,1601 戸開閉検出装置、204 動画像信号、205 戸開閉検出結果信号/動画像信号/動きベクトル分布のセット、301 動画像信号処理部、302 動きベクトル群重心位置推定部、303 検出結果判定部、317,1812 動きベクトル算出部、311 ベクトル評価部、312 再帰的距離評価部、313 近傍ベクトル類似度評価部、314 推定重心位置算出部、315 距離評価部、316 戸開閉判定部、501 左の戸の動きベクトル、502 右の戸の動きベクトル、503 乗客の動きベクトル、601 マイナスベクトルグループ、602 プラスベクトルグループ、603 ベクトルグループ、1304 動きベクトル分布、1603 録画データ、1701,1801 録画データ処理部、1702 検出結果メタデータ生成多重部、1711 動きベクトル抽出部、1811 ピクチャタイプ検出部、1901 左の戸の動きベクトル、1902 片開きの戸、2001 ベクトルグループ。
【技術分野】
【0001】
本発明は、動画像信号を入力とし、映像処理を行って戸開閉の有無を検出し、その戸開閉の有無情報を出力する戸開閉検出装置及び戸開閉検出方法に関するものである。
【背景技術】
【0002】
近年、犯罪防止の観点から、ビル管理においても犯罪を抑止する効果を期待し、監視カメラの普及が進んでいる。特にエレベータや自動ドアに監視カメラを取り付ける場合が多い。このような監視カメラには録画装置が接続されており、監視映像を録画するのが一般的であるが、録画に要する記録容量に限界があることから、有意な監視映像だけを厳選して録画することで記録容量を有効に使い、録画時間を長時間化したいという要求がある。
【0003】
エレベータの監視カメラを利用した監視装置として、例えば特許文献1に記載されたものがあり、この文献にはカメラ映像による乗客検知方法、戸開閉検知方法が示されている。このように乗客や戸開閉を自動で検知することで、録画すべき監視映像としての有意性を自動的に判断にすることを可能としている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−238968号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1に示されたような従来の戸開閉検出方法では、エレベータの戸に動きセンサ等を設置し戸開閉検出する場合、エレベータの機種ごとに仕様が異なる制御盤の改修が必要であり、設計・制作・手配・在庫管理等、様々な場面で余計なコストがかかる、という問題を解決するために、制御盤の改修が不要となるような、画像処理を用いた戸開閉検出を行っている。それは画像中のエレベータの戸の上部付近のごく小さな固定領域において、その部分は人が通らないことを前提として背景差分法を用いて戸開閉を検出するようにしたものである。しかしながら、一般にエレベータの監視カメラは、エレベータかごの奥隅角に斜め下方向きで設置されることが多く、そのエレベータ上部付近自体が、監視カメラの設置位置次第で写らないことが多いという問題があった。また、仮に写ったとしても、カメラ設置後に固定領域を手動で設定する必要がある上、背の高い人物が固定領域部分を覆ってしまうことも考えられ、誤検知の原因となりうるという課題もあった。
【0006】
この発明は上記のような課題を解決するためになされたもので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置及び戸開閉検出方法を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明に係る戸開閉検出装置は、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えるものである。
【発明の効果】
【0008】
この発明の戸開閉検出装置は、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定するようにしたので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことができる。
【図面の簡単な説明】
【0009】
【図1】この発明の実施の形態1〜5に係る戸開閉検出装置が適用されるエレベータのかごを模式的に示す説明図である。
【図2】この発明の実施の形態1に係る戸開閉検出装置の入出力の構成を示す説明図である。
【図3】この発明の実施の形態1に係る戸開閉検出装置の内部構成図である。
【図4】この発明の実施の形態1〜5に係る戸開閉検出装置が適用されるエレベータかご内部の映像例を示す説明図である。
【図5】この発明の実施の形態1〜4に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布例を示す説明図である。
【図6】この発明の実施の形態1〜4に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布をグルーピングする例を示す説明図である。
【図7】この発明の実施の形態1に係る戸開閉検出装置の動作を示すフローチャートである。
【図8】この発明の実施の形態1〜4に係る戸開閉検出装置のベクトル評価部におけるベクトル水平成分の評価値を示す説明図である。
【図9】この発明の実施の形態1〜5に係る戸開閉検出装置のベクトル評価部におけるベクトル垂直成分の評価値を示す説明図である。
【図10】この発明の実施の形態1に係る戸開閉検出装置の再帰的距離評価部における評価値を示す説明図である。
【図11】この発明の実施の形態1に係る戸開閉検出装置の近傍ベクトル類似度評価部におけるブロック位置と係数の関係を示す説明図である。
【図12】この発明の実施の形態1に係る戸開閉検出装置の距離評価部における評価値を示す説明図である。
【図13】この発明の実施の形態2に係る戸開閉検出装置の入出力の構成を示す説明図である。
【図14】この発明の実施の形態2に係る戸開閉検出装置の内部構成図である。
【図15】この発明の実施の形態2に係る符号化ピクチャの構成例を示す説明図である。
【図16】この発明の実施の形態3、4に係る戸開閉検出装置の入出力の構成を示す説明図である。
【図17】この発明の実施の形態3に係る戸開閉検出装置の内部構成図である。
【図18】この発明の実施の形態4に係る戸開閉検出装置における録画データ処理部の内部構成図である。
【図19】この発明の実施の形態5に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布例を示す説明図である。
【図20】この発明の実施の形態5に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布をグルーピングする例を示す説明図である。
【図21】この発明の実施の形態5に係る戸開閉検出装置のベクトル評価部における動きベクトル水平成分の評価値を示す説明図である。
【発明を実施するための形態】
【0010】
実施の形態1.
以下、この発明の実施の形態1について説明する。本実施の形態1では、戸開閉検出の例として、図1で示すようなエレベータを例として説明を行う。図1はエレベータのかご101、エレベータの戸102、エレベータの乗客103、エレベータのかご内部の監視カメラ104を模式的に示す説明図である。監視カメラ104は、エレベータのかご101内の奥側上隅部に戸102方向を撮影するよう設置されている。また、図2に示すような形で、戸開閉検出装置201が接続されており、エレベータのかご101内部の監視映像である動画像信号204を戸開閉検出装置201へ出力するよう構成されている。
【0011】
戸開閉検出装置201は、動画像信号204を入力とし、戸開閉検出の判定を行い、戸開閉検出結果信号/動画像信号/動きベクトル分布のセット205を録画装置202に対して出力する。録画装置202は、戸開閉検出結果信号/動画像信号/動きベクトル分布のセット205を入力とし、戸開閉検出結果信号に基づき、Motion−JPEGやMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行い、録画データ203として蓄積する。
【0012】
図3に、本実施の形態1における戸開閉検出装置201の内部ブロックを示す。戸開閉検出装置201は、動画像信号処理部301、動きベクトル群重心位置推定部302、検出結果判定部303、動画像信号保存用メモリ304、動きベクトル分布保存用メモリ305を備えている。先ず、戸開閉検出装置201における戸開閉検出の原理を説明する。
【0013】
図4は、図1の監視カメラ104でエレベータのかご101の内部を撮影した映像の例である。戸102は閉まっている状態であり、乗客103が乗っている状態である。戸102は両開きの戸であるとする。乗客103の目的のフロアに到着した際に、戸102が開き乗客103がエレベータから降りようとするため、映像内の局所的な動きベクトルを算出する映像処理を行うことで、図5に示すような動きベクトルが検出される。乗客103から見て左の戸の動きベクトル501、右の戸の動きベクトル502、乗客の動きベクトル503が図5に示されるように検出される。
【0014】
この時、似た動きベクトルをグルーピングすることを考えると、図6のようにグルーピングすることになる。図面上の水平方向右向きをプラス、水平方向左向きをマイナスとすると、左の戸の動きベクトル501をグルーピングしたマイナスベクトルグループ601、右の戸の動きベクトル502をグルーピングしたプラスベクトルグループ602、乗客の動きベクトル503をグルーピングしたベクトルグループ603の3種類のベクトルグループが出来る。この時、戸102は両開きの戸であるため、左の戸の動きベクトル501をグルーピングしたマイナスベクトルグループ601と右の戸の動きベクトル502をグルーピングしたプラスベクトルグループ602に内包されている動きベクトルは、互いに逆向きとなる。また、その動きベクトルの分布は、動きベクトルの向きの法線方向に長く分布する分布形状となる。つまり、動きベクトルの分布状況を解析し、このような一対の動きベクトル群を検出した場合に戸開閉動作であると判定することが戸開閉検出の原理である。
【0015】
図7は、本実施の形態1の戸開閉検出装置201の動作を示すフローチャートである。先ず、映像処理を行い映像内の局所的な動きベクトルを算出し、動きベクトルの分布を算出する(ステップST701)。次に、動きベクトルをグルーピングするための前準備として、ステップST701で算出された動きベクトル分布を元に各動きベクトルグループの重心位置を推定する(ステップST702)。そして、ステップST702で推定された重心位置を元に、動きベクトルグループが図6のベクトルグループ601、602に示したような逆向き一対で法線方向に長い分布を持つかどうかの評価値を算出する(ステップST703)。更に、ステップST703で算出された評価値を元に戸開閉検出の判定を行う(ステップST704)。これらのST701〜ST704で戸開閉検出を行う。ここで、図7のフローチャートにおけるステップST701が図3の動画像信号処理部301の動作に対応しており、同様に、ステップST702が動きベクトル群重心位置推定部302、ステップST703とステップST704が検出結果判定部303の動作に対応している。以下、図7で示したフローチャートの流れに基づき、図3の各ブロックの説明を行う。
【0016】
動画像信号処理部301は、動画像信号321を入力とし、動きベクトル分布323を出力とする。内部ブロックとして、動きベクトル算出部317を持つ。動画像信号321は動画像信号保存用メモリ304に存在する2枚の動画像信号とし、その2枚の間の動きベクトルを算出する。動きベクトルの算出方法は、画像を矩形ブロックに分割し、各ブロックにおける動きベクトルを算出する。各ブロックにおける動きベクトルの算出方法としては、一般的なブロックマッチング方式を用い、例えば、以下の(式1)のfを最小化する(vx,vy)を算出する方法がある。
【0017】
上記の(式1)はブロックサイズ16×16画素の場合の例である。yが輝度値、t、t+1が時刻を示す。このようにして算出されたブロックごとの動きベクトルを動きベクトル分布として、動きベクトル分布保存用メモリ305に格納する。
【0018】
動きベクトル群重心位置推定部302は、動きベクトル分布保存用メモリ305に保存された動きベクトル分布324および検出結果判定部303から出力された、直前の戸開閉判定結果332を入力とし、動きベクトル群の推定重心位置330を出力とする。動きベクトル群重心位置推定部302は、ベクトル評価部311、再帰的距離評価部312、近傍ベクトル類似度評価部313、推定重心位置算出部314の4つの演算ブロックから構成されている。ベクトル評価部311、再帰的距離評価部312、近傍ベクトル類似度評価部313の3つのブロックの出力はいずれも評価値であり、そのそれぞれの評価値に基づいて推定重心位置算出部314で重心位置を推定する。重心位置は図6のマイナスベクトルグループ601およびプラスベクトルグループ602の2種類の重心位置をそれぞれ算出する。各評価部311、312、313で算出される評価値については、各ブロックについてマイナス/プラスの各評価値を算出し、各ブロックがマイナス/プラスのどちらのグループに属するか、あるいはどちらにも属さないかを評価するための評価値fminus_estimation1/fplus_estimation1を算出する。
【0019】
このブロック位置(m,n)の評価値fminus_estimation1(m,n)/fplus_estimation1(m,n)を元に、推定重心位置算出部314は、以下の(式2)(式3)に示すように、マイナスベクトルグループ601およびプラスベクトルグループ602の2種類の水平方向の重心位置fx_minus/fx_plusを推定し、推定重心位置330として出力する。下式中のMは画像内の水平方向のブロック数、Nは画像内の垂直方向のブロック数である。
【0020】
本実施の形態1ではエレベータの例で説明しているため、水平方向の重心位置を算出している。一般にエレベータの監視カメラはドアの最下部から人の背の高さプラスアルファ程度の領域が一番よく写るように配置されており、カメラのゆがみやエレベータのかごの形状と監視カメラの向きの関係から、エレベータの戸同士の接する線の方向に関して、写りが若干斜めになることはあるとしても、必然的にほぼ垂直方向に写ることになるため、図6に示すベクトルグループ601および602を見つける場合にも、各グループの水平方向の重心位置を推定すれば十分である。
【0021】
ブロック位置(m,n)の評価値fminus_estimation1(m,n)/fplus_estimation1(m,n)の算出については、ベクトル評価部311、再帰的距離評価部312、近傍ベクトル類似度評価部313の各出力値である評価値327、328、329の積をとることで算出する。以下、各評価部311、312、313の説明を行う。
ベクトル評価部311は、動きベクトル分布324を入力とし、ブロック位置(m,n)における動きベクトルの向きと大きさを評価する。動きベクトルの水平方向の向きが左向きのマイナスであればマイナスベクトルグループに属する可能性が高くなり、逆に動きベクトルの水平方向の向きが右向きのプラスであればプラスベクトルグループに属する可能性が高くなるため、評価値は例えば、以下の(式4)(式5)のように算出する。(式4)(式5)を図に示すと図8のようになる。(式4)(式5)および図8については、動きベクトル算出部317における動きベクトル(vx,vy)の算出範囲が±16の場合の例である。
【0022】
また、動きベクトルの垂直成分についても、エレベータの戸102同士の接する線の方向に関してほぼ垂直方向に写ることになる。従って、動きベクトルの垂直成分が概ねゼロに近いほどベクトルグループ601や602に属する可能性が高いと評価できるため、動きベクトルの垂直成分についての評価値は、例えば(式6)のように算出する。(式6)を図に示すと図9のようになる。図9についても、動きベクトル算出部317における動きベクトル(vx,vy)の算出範囲が±16の場合の例である。
【0023】
ベクトル評価部311の出力である評価値327は、マイナス/プラスそれぞれe1およびe2の積として算出する。
【0024】
再帰的距離評価部312は、動きベクトル分布324を入力とし、その1回前の戸開閉検出が有と判定された際の重心位置fx_minus/fx_plusからのブロック位置(m,n)の水平距離に逆比例する値を評価値とする。例えば図10のような形でfminus_e3(m,n)/fplus_e3(m,n)として評価し、評価値328として出力する。上記の「1回前の戸開閉検出が有と判定された際の重心位置fx_minus/fx_plusを保存するために、1回前の推定重心位置330と戸開閉判定結果332を入力している。
【0025】
近傍ベクトル類似度評価部313は、動きベクトル分布324を入力とし、ブロック位置(m,n)の近傍における動きベクトルの総合的類似度を評価する。図11に示すような係数で、ブロック位置(m,n)と対象ブロックのブロック同士の動きベクトル類似度で重み付け加算する。ブロック同士の動きベクトル類似度については、類似しているほど大きな値とする。図11の中にマイナスの値があるが、これは類似していると小さな評価値になるように設計している。エレベータの戸開閉のベクトルグループ601および602が縦長であり、横に膨らんだものはエレベータの戸開閉でない可能性があるため、横の位置に似た動きベクトルがある場合は乗客など戸以外のものである可能性が高いと考え、戸開閉評価値としては小さな評価値になるように設計している。各ブロック間の動きベクトル類似度を図11の係数で重み付け加算した値を評価値329として出力する。
以上が動きベクトル群重心位置推定部302の説明である。
【0026】
次に検出結果判定部303について説明を行う。
検出結果判定部303は、動きベクトル分布保存用メモリ305に保存されている動きベクトル分布325と、動きベクトル群重心位置推定部302から出力される推定重心位置330,ベクトル評価値327および近傍ベクトル類似度評価値329を入力とし、戸開閉判定結果332を出力とする。検出結果判定部303は、距離評価部315、戸開閉判定部316の2つの演算ブロックから構成されている。以下それぞれの演算ブロックの説明を行う。
【0027】
距離評価部315は、動きベクトル分布325と推定重心位置330を入力とし、その推定重心位置fx_minus/fx_plusからのブロック位置(m,n)の水平距離に逆比例する値を距離評価値331として出力する。例えば図12のような形でfminus_e3n(m,n)/fplus_e3n(m,n)として評価し、それぞれ距離評価値331として出力する。図12で示すように、動きベクトル群重心位置推定部302で推定された重心位置のごく近傍のブロックのみを高評価とする。これは図6で示すベクトルグループ601、602が細く縦長であることに基づく評価方法である。
【0028】
戸開閉判定部316は、ベクトル評価値327、距離評価値331、近傍ベクトル類似度評価値329を入力とし、戸開閉判定結果332を出力とする。入力となる各種評価値はブロック位置(m,n)におけるマイナス/プラスの評価値である。各ブロックにおいてマイナス/プラスそれぞれについて3種類の評価値の積を取り、ブロック位置(m,n)の評価値fminus_estimation2(m,n)/fplus_estimation2(m,n)を算出する。マイナス/プラスそれぞれについて全ブロックにつきfminus_estimation2(m,n)/fplus_estimation2(m,n)の加算を行い、その総和値についてマイナス/プラスそれぞれについて、ある固定値Aとの閾値評価することで、プラス/マイナス両方とも閾値を超えた場合に戸開閉有りとし、それ以外の場合に戸開閉検出無しとし、戸開閉判定結果332として出力する。
【0029】
戸開閉検出の有無の判定については画像1枚ごとに行う。一方、各ブロック(m,n)においてマイナス/プラスの評価値fminus_estimation2(m,n)/fplus_estimation2(m,n)が計算される。その各ブロックにおけるfminus_estimation2(m,n)/fplus_estimation2(m,n)の値に対してもある固定値Bとの閾値評価を行うことで、そのブロックがマイナスグループに属するか、プラスグループに属するか、どちらにも属さないかの3種類に分類することができる。
【0030】
この時、戸開閉動作有りと判定されているにもかかわらず、マイナス/プラスどちらにも属さないブロックで大きな動きベクトルを持つブロックが集まっている場合について、戸開閉動作だけでなく戸開閉動作以外の他の動物体(乗客等)も動いていると判断する。
【0031】
また、戸開閉動作有りと判定され、どちらにも属さないブロックすべてが小さな動きベクトルの場合、他の動物体は存在しないと考えられ、動いている乗客のいないエレベータにおける戸開閉動作のみがあったのだと判断する。
【0032】
戸開閉動作無しの場合は、マイナス/プラスの評価値にかかわらず、大きな動きベクトルを持つブロックが集まっている場合について、戸開閉以外の他の動物体(乗客等)が動いていると判断する。
【0033】
本実施の形態1に示す戸開閉検出装置201を以上のように構成することで、図6に示したベクトルグループ603のような動きベクトルを無視しつつベクトルグループ601、602が存在すれば検出することが可能であり、戸開閉動作の有無を検出できる。これにより、課題であったエレベータ上部付近自体が、監視カメラの設置位置次第で写らなくとも戸開閉動作の検出が可能となる。即ち、監視カメラ104は、その役割から、エレベータの戸102のうち人間が通る部分は必ず写るように設置されるため、一般に戸102の大部分は写ることになる。本実施の形態1では戸102の大部分が写っていれば戸開閉検出を行うことが出来ることから、映像内の戸102の位置に拠らず戸開閉検出が可能であり、カメラ設置後の手動設定も不要である。
【0034】
また、本実施の形態1では、戸開閉動作有りと検出した場合に、マイナス/プラスどちらにも属さないブロックにおける動きベクトル分布を調べることにより、動く乗客の存在の有無を確認することも可能であり、録画すべき映像かどうかの有意性の判定に用いることもできるため、戸開閉動作の有無だけでなく他の動物体の有無についても戸開閉検出装置201の出力としての戸開閉判定結果332に含めて出力することで、動く乗客のいないエレベータにおける戸開閉動作のみの映像を録画対象から除外することを可能とし、結果的に録画時間の長時間化を可能とする利点もある。
【0035】
以上のように、実施の形態1の戸開閉検出装置によれば、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部317と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部302と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部303を備えるので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことができる。
【0036】
また、実施の形態1の戸開閉検出方法によれば、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置を用いた戸開閉検出方法であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出ステップと、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定ステップと、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定ステップを備えるので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置を実現することができる。
【0037】
また、実施の形態1の戸開閉検出装置によれば、検出結果判定部303は、戸開閉の動作が行われたと判定する根拠となる動きベクトル群以外の動きベクトル群が存在した場合は、動物体が存在したと判定するようにしたので、動く乗客といった動物体の存在の有無も確認することができる。
【0038】
実施の形態2.
以下、この発明の実施の形態2について説明する。本実施の形態2においても、戸開閉検出の例として、図1で示すようなエレベータを例として説明を行う。
【0039】
実施の形態2における監視カメラ104は、図13に示すような形で、録画装置1301が接続されており、エレベータのかご内部の監視映像である動画像信号204を録画装置1301へ出力する。
【0040】
録画装置1301は、動画像信号204を入力とし、MPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行う過程で用いる動きベクトル分布1304を戸開閉検出装置1302に対して出力する。この時、MPEG等をはじめとする国際標準映像符号化方式の動きベクトルは、一般に未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布1304における個々の動きベクトルについて、MPEG用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として扱うこととする。戸開閉検出装置1302は動きベクトル分布1304を入力とし、その動きベクトル分布に基づき実施の形態1と同様の方法で戸開閉動作の有無と他動物体の有無を検出し、戸開閉動作の有無だけでなく他の動物体の有無についても戸開閉判定結果332に含めて出力する。
【0041】
録画装置1301は、その戸開閉判定結果332に基づき、録画データ1303として蓄積するかどうか判断する。
【0042】
本実施の形態2における戸開閉検出装置1302の内部ブロック図を図14に示す。実施の形態1における戸開閉検出装置201と比較した場合、動画像信号処理部301と動画像信号保存用メモリ304がない構成であり、その他のブロックは構成・動作とも同じであるため、動きベクトル群重心位置推定部302と検出結果判定部303の内部についての図示およびその説明を省略する。
【0043】
一般にMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行う場合は、図15のような形で周期的にIピクチャを入れることで再同期を可能としている。この塊を一般にGOP(Group Of Picture)と呼ぶ。戸開閉検出は画像ごとに行うため、例えば図15で示されるようにGOPの途中のピクチャを録画対象と判定した場合、そのPピクチャだけを保存しても再生できないため、そのPピクチャの属するGOPを保存することでそのピクチャを再生可能である。
【0044】
本実施の形態2に示す戸開閉検出装置1302を以上のように構成することで、実施の形態1と比較して、監視カメラと録画装置で構成される既存の監視映像録画システムへ戸開閉検出装置1302を組み込みやすいという利点がある。その理由は、実施の形態1の場合は監視カメラ104と録画装置202の間に戸開閉検出装置201を組み込むため、2箇所のインタフェース開発が必要なのに対し、実施の形態2では録画装置の後段に戸開閉検出装置1302を配置すればよいため、インタフェース開発が1箇所で済むためである。また、実施の形態2の戸開閉検出装置1302は実施の形態1の戸開閉検出装置201と比較して装置構成を簡易にすることが出来ており、これも大きな利点である。これは録画装置1301でMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化を行う際に必要となる動きベクトルを再利用して戸開閉検出装置1302に供給できるためである。
【0045】
以上のように、実施の形態2の戸開閉検出装置によれば、戸の映像が含まれる各ピクチャと、ピクチャ内の局所的な動きを示す動きベクトルのピクチャ全体の動きベクトル分布とを入力とし、戸開閉の有無を検出する戸開閉検出装置1302であって、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部302と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部303を備えるので、実施の形態1の効果に加えて、既存の監視映像録画システムへ戸開閉検出装置1302を組み込みやすく、また、実施の形態1よりも構成を簡素化することができる。
【0046】
実施の形態3.
以下、この発明の実施の形態3について説明する。本実施の形態3においては、戸開閉検出の例として、図1で示すようなエレベータにおいて、エレベータのかごの内部の監視映像がMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化され、録画された録画データを例として説明を行う。
【0047】
実施の形態3の装置構成を図16に示す。戸開閉検出装置1601に対して録画データ1602が入出力されるよう構成されている。即ち、戸開閉検出装置1601は録画データ1603を入力とし、録画データに対し、ピクチャ単位に戸開閉動作検出信号および他動物体検出信号のメタデータを付与した多重化データ1604を出力とする。
【0048】
実施の形態3における戸開閉検出装置1601の内部ブロック図を図17に示す。実施の形態2の戸開閉検出装置1302との比較で、録画データ処理部1701、検出結果メタデータ生成多重部1702、録画データ保存用メモリ1703が追加となっている。その他のブロックについては構成・動作とも実施の形態1および実施の形態2と同様であるため説明を省略する。
【0049】
戸開閉検出装置1601に入力された録画データ1603は、録画データ保存用メモリ1703に保存される。録画データ保存用メモリ1703に保存された録画データは、録画データ処理部1701に入力される録画データ1721および検出結果メタデータ生成多重部1702に入力される録画データ1723としてそれぞれ出力される。
【0050】
録画データ処理部1701は録画データ1721を入力とし、動きベクトル分布1722を出力とする。内部ブロックとして動きベクトル抽出部1711を備え、このブロックで、録画データから動きベクトルを抽出する。この時、MPEG等をはじめとする国際標準映像符号化方式の動きベクトルは、一般には未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布1722における個々の動きベクトルについて、抽出したMPEG用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として、動きベクトル分布1722を出力することとする。
【0051】
検出結果メタデータ生成多重部1702は、録画データ1723と戸開閉動作の有無と他動物体の有無が含まれた戸開閉判定結果332を入力とし、録画データ1723内の各ピクチャと戸開閉動作有無および他動物体有無を関連付けるメタデータの生成および録画データとメタデータの多重化を行い、録画データとメタデータの多重化データ1604として出力する。
【0052】
本実施の形態3に示す戸開閉検出装置1601を以上のように構成することで、実施の形態1や実施の形態2と異なり、既に録画された録画データに対して戸開閉有無検出や他動物体有無検出を行うことが出来る。戸開閉有無検出結果や他動物体有無検出結果と録画データとの対応をとることで、有意なシーンの検索を簡易に行うことが出来るという利点がある。
【0053】
以上のように、実施の形態3の戸開閉検出装置によれば、戸の映像が含まれるディジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で圧縮符号化されたビットストリームを入力とし、戸開閉の有無を検出する戸開閉検出装置1601であって、ビットストリームを入力とし、ビットストリームから動き補償予測に用いる動きベクトルを抽出し、動きベクトル分布として出力する録画データ処理部1701と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部302と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部303と、ビットストリームと判定結果とを入力とし、ビットストリームに含まれるピクチャと判定結果との対応付けを行ったメタデータを多重化したビットストリームを出力とする検出結果メタデータ生成多重部1702とを備えるので、実施の形態1の効果に加えて、既に録画された録画データに対して戸開閉有無検出や他動物体有無検出を行うことが出来る効果がある。
【0054】
実施の形態4.
以下、この発明の実施の形態4について説明する。本実施の形態4においては、戸開閉検出の例として、図1で示すようなエレベータにおいて、エレベータのかごの内部の監視映像がMPEG等をはじめとする国際標準映像符号化方式で圧縮符号化され、録画された録画データを例として説明を行う。
【0055】
実施の形態4の戸開閉検出装置における図面上の構成は、図16に示した実施の形態3と同様であるため、その説明は省略する。実施の形態4と実施の形態3の相違点は、図17に示した戸開閉検出装置1601の内部ブロックにおける録画データ処理部1701の構成である。図18に、本実施の形態4の録画データ処理部1801の内部ブロック図を示す。これ以外は実施の形態3の戸開閉検出装置1601と同様であるため、以下、録画データ処理部1801について説明を行う。
【0056】
録画データ処理部1801は録画データ1721を入力とし、動きベクトル分布1722を出力としており、この入出力については実施の形態3と同様である。録画データ処理部1801は、内部ブロックとしてピクチャタイプ検出部1811、動きベクトル抽出部1711、動きベクトル算出部1812で構成されており、実施の形態3における録画データ処理部1701と比較して、ピクチャタイプ検出部1811、動きベクトル算出部1812が追加されている。
【0057】
ピクチャタイプ検出部1811は録画データに含まれるピクチャタイプを検出し、Iピクチャの場合には動きベクトルが含まれないため、動きベクトル算出部1812で動きベクトルを算出する。一方ピクチャタイプがPピクチャおよびBピクチャの場合は、動きベクトルが含まれるため動きベクトル抽出部1711で動きベクトルを抽出する。この時、MPEG等をはじめとする国際標準映像符号化方式の動きベクトルは、一般には未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布1722における個々の動きベクトルについて、抽出したMPEG用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として、動きベクトル分布1722を出力することとする。
【0058】
本実施の形態4に示す戸開閉検出装置を以上のように構成することで、実施の形態3と比較して、動きベクトルの存在しない録画データであるIピクチャについても戸開閉有無検出や他動物体有無検出を行うことが出来るという利点がある。
【0059】
以上のように、実施の形態4の戸開閉検出装置によれば、録画データ処理部1801は、ビットストリームからピクチャタイプを抽出し、動き補償予測を行うピクチャタイプであればビットストリームから動きベクトルを抽出し、動き補償予測を行わないピクチャタイプであれば各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力するようにしたので、実施の形態3の効果に加えて、Iピクチャについても戸開閉有無検出や他動物体有無検出を行うことが出来る効果がある。
【0060】
実施の形態5.
以下、この発明の実施の形態5について説明する。戸開閉検出の例として、図1で示すようなエレベータを例として説明を行うが、実施の形態1〜4とは異なり、両開きの戸ではなく片開きの戸の場合のエレベータ戸開閉検出に関して説明を行う。
【0061】
実施の形態1〜4における両開きの戸102の場合、図5および図6に示すような形で、水平方向右向きをプラス、水平方向左向きをマイナスとすると、左の戸の動きベクトル501をグルーピングしたマイナスベクトルグループ601、右の戸の動きベクトル502をグルーピングしたプラスベクトルグループ602、とした場合にベクトルグループ601と602を検出することで戸開閉動作有無の判定を行っていた。
【0062】
本実施の形態5における片開きの場合のエレベータかご内の動きベクトル分布の様子を図19に示す。片開きの戸1902は、乗客103から見て左から右に戸が片開きする場合の例であり、左の戸の動きベクトル1901が、右の戸の動きベクトル502と比較して「2倍の長さ」で「同じ向き」である点が両開きの戸102の場合と異なる点である。
【0063】
本実施の形態5においても、動きベクトルの分布状況を解析し、図20に示すようにベクトルグループ2001および602のような2つの動きベクトル群をセットで検出した場合に、戸開閉動作であると判定することが本実施の形態5における戸開閉検出の原理である。
【0064】
この時、実施の形態1〜4と異なる部分は、左の戸の動きベクトルが右の戸の動きベクトルと比較して「2倍の長さ」で「同じ向き」となる点である。よって図3におけるベクトル評価部311の内部動作と、実施の形態1における各式や図8、9、10、12における式の中の添字「minus」を「plus1」、「plus」を「plus2」に変更することで戸開閉有無を検出することが可能である。以下、その説明を行う。
【0065】
ベクトル評価部311の中で図8が動きベクトルの水平成分の評価値の例であった。これは動きベクトルの水平成分がマイナスであればマイナスベクトルグループに属する可能性が高く、動きベクトルの水平成分がプラスであればプラスベクトルグループに属する可能性が高いことに基づくものであった。よって、本実施の形態5におけるベクトル評価部311は、例えば図21のように構成し、左の戸が右の戸の「2倍の長さ」で「同じ向き」となる場合に評価値が高くなるように構成している。また、このようなベクトル評価値327に基づき、検出結果判定部303は、2個の動きベクトル群が互いに同じ向きで、一方の動きベクトル群が他方の動きベクトル群の2倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定する。
【0066】
本実施の形態5に示す戸開閉検出装置を以上のように構成することで、実施の形態1〜4においては両開きの戸を例として説明したが、片開きの戸についても戸開閉有無検出や他動物体有無検出を行うことが出来るという利点がある。
尚、本実施の形態5では、戸102が2枚の場合を説明したが、3枚以上であっても同様に適用可能である。即ち、検出結果判定部303は、R(Rは2以上の整数)個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のR倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定することで、同様に適用することができる。
【0067】
以上のように、実施の形態5の戸開閉検出装置によれば、検出結果判定部303は、R(Rは2以上の整数)個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のR倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定するようにしたので、片開きの戸開閉の検出にも対応することができ、実施の形態1と同様の効果を実現することができる。
【0068】
また、本実施の形態1〜5では、戸開閉検出の例としてエレベータを用いて戸開閉検出装置の動作および戸開閉検出方法を説明したが、エレベータの戸と類似の動きをするもの(例えば自動ドアなど)についても、同様の効果を得られることは言うまでもない。
【0069】
また、実施の形態5は、実施の形態1に適用した場合を説明したが、実施の形態2〜4のいずれかと組み合わせる等、実施の形態1以外の実施の形態と組み合わせてもよい。
【符号の説明】
【0070】
101 かご、102 戸、103 乗客、104 監視カメラ、201,1302,1601 戸開閉検出装置、204 動画像信号、205 戸開閉検出結果信号/動画像信号/動きベクトル分布のセット、301 動画像信号処理部、302 動きベクトル群重心位置推定部、303 検出結果判定部、317,1812 動きベクトル算出部、311 ベクトル評価部、312 再帰的距離評価部、313 近傍ベクトル類似度評価部、314 推定重心位置算出部、315 距離評価部、316 戸開閉判定部、501 左の戸の動きベクトル、502 右の戸の動きベクトル、503 乗客の動きベクトル、601 マイナスベクトルグループ、602 プラスベクトルグループ、603 ベクトルグループ、1304 動きベクトル分布、1603 録画データ、1701,1801 録画データ処理部、1702 検出結果メタデータ生成多重部、1711 動きベクトル抽出部、1811 ピクチャタイプ検出部、1901 左の戸の動きベクトル、1902 片開きの戸、2001 ベクトルグループ。
【特許請求の範囲】
【請求項1】
戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部と、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えることを特徴とする戸開閉検出装置。
【請求項2】
戸の映像が含まれる各ピクチャと、ピクチャ内の局所的な動きを示す動きベクトルの当該ピクチャ全体の動きベクトル分布とを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えることを特徴とする戸開閉検出装置。
【請求項3】
戸の映像が含まれるディジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で圧縮符号化されたビットストリームを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
前記ビットストリームを入力とし、当該ビットストリームから動き補償予測に用いる動きベクトルを抽出し、動きベクトル分布として出力する録画データ処理部と、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部と、
前記ビットストリームと前記判定結果とを入力とし、当該ビットストリームに含まれるピクチャと前記判定結果との対応付けを行ったメタデータを多重化したビットストリームを出力とする検出結果メタデータ生成多重部とを備えることを特徴とする戸開閉検出装置。
【請求項4】
録画データ処理部は、ビットストリームからピクチャタイプを抽出し、動き補償予測を行うピクチャタイプであればビットストリームから動きベクトルを抽出し、動き補償予測を行わないピクチャタイプであれば各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力することを特徴とする請求項3記載の戸開閉検出装置。
【請求項5】
検出結果判定部は、R(Rは2以上の整数)個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のR倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定することを特徴とする請求項1から請求項4のうちのいずれか1項記載の戸開閉検出装置。
【請求項6】
検出結果判定部は、戸開閉の動作が行われたと判定する根拠となる動きベクトル群以外の動きベクトル群が存在した場合は、動物体が存在したと判定することを特徴とする請求項1から請求項5のうちのいずれか1項記載の戸開閉検出装置。
【請求項7】
戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置を用いた戸開閉検出方法であって、
複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出ステップと、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定ステップと、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定ステップを備えることを特徴とする戸開閉検出方法。
【請求項1】
戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部と、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えることを特徴とする戸開閉検出装置。
【請求項2】
戸の映像が含まれる各ピクチャと、ピクチャ内の局所的な動きを示す動きベクトルの当該ピクチャ全体の動きベクトル分布とを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えることを特徴とする戸開閉検出装置。
【請求項3】
戸の映像が含まれるディジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で圧縮符号化されたビットストリームを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
前記ビットストリームを入力とし、当該ビットストリームから動き補償予測に用いる動きベクトルを抽出し、動きベクトル分布として出力する録画データ処理部と、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部と、
前記ビットストリームと前記判定結果とを入力とし、当該ビットストリームに含まれるピクチャと前記判定結果との対応付けを行ったメタデータを多重化したビットストリームを出力とする検出結果メタデータ生成多重部とを備えることを特徴とする戸開閉検出装置。
【請求項4】
録画データ処理部は、ビットストリームからピクチャタイプを抽出し、動き補償予測を行うピクチャタイプであればビットストリームから動きベクトルを抽出し、動き補償予測を行わないピクチャタイプであれば各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力することを特徴とする請求項3記載の戸開閉検出装置。
【請求項5】
検出結果判定部は、R(Rは2以上の整数)個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のR倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定することを特徴とする請求項1から請求項4のうちのいずれか1項記載の戸開閉検出装置。
【請求項6】
検出結果判定部は、戸開閉の動作が行われたと判定する根拠となる動きベクトル群以外の動きベクトル群が存在した場合は、動物体が存在したと判定することを特徴とする請求項1から請求項5のうちのいずれか1項記載の戸開閉検出装置。
【請求項7】
戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置を用いた戸開閉検出方法であって、
複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出ステップと、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定ステップと、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定ステップを備えることを特徴とする戸開閉検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2011−173707(P2011−173707A)
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願番号】特願2010−40251(P2010−40251)
【出願日】平成22年2月25日(2010.2.25)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願日】平成22年2月25日(2010.2.25)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]