動体検出装置と動体検出方法およびプログラム
【課題】動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようにする。
【解決手段】検出処理部３４で、現画像と過去画像を用いて算出した動きベクトルに基づき動体検出を行う。検出結果処理部３５は、検出処理部３４の動体検出処理部３４S，３４M，３４Lのいずれかで動体が検出されたとき、動体が検出されたことを出力する。動体検出処理部３４S，３４M，３４Lは、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを相違させることで、動体の遠近状態や移動速度に対する動体検出特性を互いに異なる特性とする。検出処理部３４は、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようになる。
【解決手段】検出処理部３４で、現画像と過去画像を用いて算出した動きベクトルに基づき動体検出を行う。検出結果処理部３５は、検出処理部３４の動体検出処理部３４S，３４M，３４Lのいずれかで動体が検出されたとき、動体が検出されたことを出力する。動体検出処理部３４S，３４M，３４Lは、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを相違させることで、動体の遠近状態や移動速度に対する動体検出特性を互いに異なる特性とする。検出処理部３４は、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動体検出装置と動体検出方法とプログラムに関する。詳しくは、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようにする。
【背景技術】
【０００２】
従来の監視カメラにおける侵入検知システムでは動体検出が行われている。例えば特許文献１は、撮像した画像データが複数エリアのブロックに分割される。また、各画像ブロックの平滑化された画像データについて状態変化の有無が検出される。この検出された状態変化有無ブロックのマップと、既に検出されている状態変化有無ブロックのマップを比較して、状態変化有りブロックの移動に伴う誤差発生ブロック数が算出されて、算出された誤差発生ブロック数が予め設定した数値を超えたときに動きを検知したと判断されている。
【０００３】
また、特許文献２の発明では、過去の複数枚の画像データが参照画像データとして保存される。この保存されている複数枚の参照画像データと撮影された画像データとで画素あるいは小領域での各々の差異が検出される。さらに、検出された差異の連続性あるいは出現性を元に画像データ中の移動物体が検出されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２５５６号公報
【特許文献２】特開２００６−１０７４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、状態変化有りブロックの移動に伴う誤差発生ブロックの数が予め設定した数値を超えたとき動きを検知したと判別する場合、動体が遠方に位置していると、動き検知の精度低下を招くおそれがある。すなわち、動体が遠方であると、撮影画像における動体の画像サイズが小さい。したがって、動体が遠方であると誤差発生ブロックの数は大きくならず、動きを検知することができない。
【０００６】
また、撮影された画像データと参照画像データとで画素あるいは小領域での各々の差異から動体を検出する場合においても、動体が遠方であるか近接した位置であるかに応じて、差異の連続性や出現性が大きく変化する。したがって、動体が遠方であるときと近接した位置にあるときで、動体の検知精度が大きく変化してしまうおそれがある。
【０００７】
そこで、この発明では、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できる動体検出装置と動体検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の第１の側面は、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出処理部を備え、前記動体検出処理部は、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出を行う動体検出装置にある。
【０００９】
この発明において、複数の動体検出処理部では、指定した複数の位置において、動き量が所定量以上となる位置を特徴点として、時間の経過に伴い特徴点がいずれの位置に移動するか追跡する。さらに、予め設定した判定基準を用いて特徴点の追跡結果から、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを用いて不要な特徴点の判定を行い、不要とされた特徴点を削除して、残った特徴点に基づいて動体が検出されたか否かの判定が行われる。
【００１０】
また、動体検出処理部では、他の動体検出処理部で行われる動体検出の設定情報に基づき、他の動体検出処理部で検出される動体を重複して検出することが少なくなるように動きベクトルの探索範囲が設定される。
【００１１】
この発明の第２の側面は、複数の動体検出処理部のそれぞれで、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う動体検出ステップを有し、前記動体検出ステップでは、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部で行われる動体検出ステップと相違させて動体の検出を行う動体検出方法にある。
【００１２】
この発明の第３の側面は、コンピュータを、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出機能手段として機能させて、前記動体検出機能手段では、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出機能手段と相違させて動体の検出を行われるためのプログラムにある。
【００１３】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１４】
この発明によれば、複数の動体検出処理部で、現画像と過去画像を用いて算出した動きベクトルに基づき動体検出が行われる。動体検出処理部では、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出が行われる。したがって、複数の動体検出処理部は、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようになる。
【図面の簡単な説明】
【００１５】
【図１】動体検出装置を撮像装置と一体に構成した場合の機能ブロック図である。
【図２】カメラヘッド部と別個に構成されている画像処理装置に動体検出装置を設けた場合を示す機能ブロック図である。
【図３】動体検出部の構成を示す図である。
【図４】動体検出処理部の構成を示す図である。
【図５】動きベクトルの算出方法を説明するための図である。
【図６】テンプレートマッチング方法を用いる場合の動作を説明するための図である。
【図７】特徴点を例示した図である。
【図８】特徴点の追跡状態を例示した図である。
【図９】削除対象の特徴点を説明するための図である。
【図１０】動体が近距離にある場合を説明するための図である。
【図１１】動体が中距離にある場合を説明するための図である。
【図１２】動体が遠距離にある場合を説明するための図である。
【図１３】動体検出部の他の構成を示す図である。
【図１４】探索範囲を示す情報を利用する場合の動作を説明するための図である。
【図１５】コンピュータの構成を例示した図である。
【発明を実施するための形態】
【００１６】
以下、発明を実施するための形態について説明する。この発明では、複数の動体検出処理部を設けて動体検出を行い、動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させることで、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようにする。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．動体検出装置の構成
１−２．動体検出方法
２．第２の実施の形態
２−１．動体検出部の他の構成
２−２．動体検出方法
３．ソフトウェア処理で動体検出を行う場合の構成
【００１７】
＜１．第１の実施の形態＞
「１−１．動体検出装置の構成」
図１は、動体検出装置を撮像装置と一体に構成した場合を示す機能ブロック図である。撮像装置１０は、撮像部１１、信号処理部１２、符号化処理部１３、動体検出部３０、伝送部４０を備えている。
【００１８】
撮像部１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いて構成されている。撮像部１１は、例えば監視対象領域を撮像して画像信号を出力する。
【００１９】
信号処理部１２は、撮像部１１から出力された画像信号に対して、ノイズ除去やカラー処理、適切な諧調へ圧縮する等を行う処理である。
【００２０】
符号化処理部１３は、信号処理部１２で処理された画像信号に対して所定の符号化方式で画像信号の圧縮処理を行う。例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ４（Moving Picture Experts Group phase 4）等の方式で画像信号の符号化処理を行う。また、符号化処理部１３は、符号化処理を行って得られた符号化信号を伝送部４０に出力する。
【００２１】
動体検出部３０は、信号処理部１２から出力された画像信号に基づいて動体検出を行う。また、動体検出部３０は、動体検出結果を伝送部４０に出力する。
【００２２】
伝送部４０は、動体検出部３０からの動体検出結果、および符号化処理部１３で得られた符号化信号を、ネットワーク等を介して外部機器例えば監視制御を行う監視制御装置に供給する。
【００２３】
図２は、カメラヘッド部と別個に構成されている画像処理装置に動体検出装置を設けた場合を示す機能ブロック図である。画像処理装置２０は、画像入力部２１、信号処理部２２、符号化処理部２３、動体検出部３０、伝送部４０を備えている。
【００２４】
画像入力部２１は、カメラヘッド部（図示せず）を画像処理装置に接続するためのインタフェースである。画像入力部２１は、例えばカメラヘッド部からアナログの画像信号が供給されたとき、アナログの画像信号をディジタルの画像信号に変換する処理を行う。
【００２５】
信号処理部２２は、カメラヘッド部から供給された画像信号に対して、ノイズ除去やカラー処理、適切な諧調へ圧縮する等を行う。
【００２６】
符号化処理部２３は、信号処理部２２で処理された画像信号に対して所定の圧縮符号化方式で圧縮符号化を行う。例えばＪＰＥＧやＭＰＥＧ４等の方式で画像信号の圧縮符号化処理を行う。また、符号化処理部２３は、圧縮符号化処理を行って得られた符号化信号を伝送部４０に出力する。
【００２７】
動体検出部３０は、信号処理部２２から出力された画像信号に基づいて動体検出を行う。また、動体検出部３０は、動体検出結果を伝送部４０に出力する。
【００２８】
伝送部４０は、動体検出部３０からの動体検出結果、および符号化処理部２３で得られた符号化信号を、ネットワーク等を介して外部機器例えば監視制御を行う監視制御装置に供給する。
【００２９】
図３は、動体検出部の構成を示している。動体検出部３０は、解像度変換部３１、過去画像保持部３２、座標指定部３３、検出処理部３４、検出結果処理部３５を備えている。
【００３０】
解像度変換部３１は、信号処理部２２から出力された画像信号を用いて解像度変換を行い、高解像度画像の画像信号と低解像度画像の画像信号を生成する。例えば、解像度変換部３１は、信号処理部２２から出力された画像信号が低解像度画像の画像信号であるとき、解像度変換を行い高解像度画像の画像信号を生成する。また、解像度変換部３１は、信号処理部２２から出力された画像信号が高解像度画像の画像信号であるとき、解像度変換を行い低解像度画像の画像信号を生成する。解像度変換部３１は、低解像度画像の画像信号を過去画像保持部３２と検出処理部３４の近距離動体検出処理部３４Sに出力する。解像度変換部３１は、高解像度画像の画像信号を過去画像保持部３２と検出処理部３４の中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lに出力する。
【００３１】
過去画像保持部３２は、解像度変換部３１から出力された画像信号を記憶する。また、過去画像保持部３２は、記憶している画像信号を近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lに出力する。すなわち過去画像保持部３２は、解像度変換部３１から近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lに供給される現画像の画像信号よりも過去の画像の画像信号を出力する。さらに、過去画像保持部３２は、保持している画像信号を解像度変換部３１から出力される画像信号で古い順から更新して、現画像から所定期間前までの過去画像の画像信号を記憶しておく。
【００３２】
座標指定部３３は、検出処理部３４で動体検出を行う位置を、ユーザ操作に応じて設定する。例えば、座標指定部３３は、ユーザが指定した位置を動体検出位置として、検出処理部３４に通知する。
【００３３】
検出処理部３４は、現画像と過去画像を用いて動体検出を行う複数の動体検出処理部で構成されている。複数の動体検出処理部は、等しい構成とされている。動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させる。すなわち、複数の動体検出処理部は、動体までの距離にかかわらず、いずれかの動体検出処理部で動体が検出できるように、動体検出特性が各動体検出処理部で異なる特性とされている。
【００３４】
例えば、検出処理部３４は、複数の動体検出処理部として近距離動体検出処理部３４Sと中距離動体検出処理部３４M、遠距離動体検出処理部３４Lを有している。近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lは、過去画像保持部３２に保持されている過去画像の画像信号と、解像度変換部３１から供給された現画像の画像信号を用いて動体検出を行う。ここで、近距離動体検出処理部３４Sは、近接している動体の検出を行うことができるように動体検出の設定を行う。また、遠距離動体検出処理部３４Lは、離れている動体の検出を行うことができるように動体検出の設定を行う。さらに、中距離動体検出処理部３４Mは、近距離動体検出処理部３４Sで検出する近接した動体と、遠距離動体検出処理部３４Lで検出する離れた動体との中間に位置する動体の検出を行うことができるように動体検出の設定を行う。さらに、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lは、座標指定部３３で指定された位置で動体検出を行う。
【００３５】
図４は、検出処理部３４における１つの動体検出処理部の構成を示している。動体検出処理部は、特徴点検出部３４１、特徴点登録部３４２、特徴点追跡部３４３、特徴点削除部３４４、判定部３４５を有している。
【００３６】
特徴点検出部３４１は、特徴点の検出を行い、検出した特徴点を特徴点登録部３４２に登録する処理を行う。特徴点検出部３４１は、予め指定した複数の位置で動きベクトルの算出を行い、動き量が所定量以上となる位置を特徴点として特徴点登録部３４２に登録する。また、特徴点検出部３４１は、指定されている位置の動き量が所定量未満であるとき、静止点である可能性が高いとして登録を行わないようにする。
【００３７】
特徴点登録部３４２は、特徴点検出部３４１で検出された特徴点を登録する。また、特徴点登録部３４２は、後述する特徴点削除部３４４で削除指示がなされた特徴点を、登録されている特徴点から削除する。
【００３８】
特徴点追跡部３４３は、特徴点登録部３４２に登録されている特徴点に対し、追跡処理を行う。追跡処理とは、時間の経過に伴い特徴点がいずれの位置に移動するか追跡する処理である。特徴点追跡部３４３は、特徴点の追跡を行い、追跡結果を特徴点削除部３４４に出力する。
【００３９】
特徴点削除部３４４は、特徴点追跡部３４３から出力された追跡結果に基づき、人や車などの動体の動きとは異なる動きを示す不要な特徴点を判別して削除する。特徴点削除部３４４は、不要な特徴点を判別するための判定基準が予め設定されている。特徴点削除部３４４は、特徴点の追跡結果に対して判定基準を適用して、動体の動きとは異なる動きを示す不要な特徴点の削除を行い、削除されていない特徴点を判定部３４５に出力する。また、特徴点削除部３４４は、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを判定基準として用いて判定を行い、不要な特徴点を削除する。さらに、特徴点削除部３４４は、特徴点削除部３４４で削除した特徴点の削除指示を特徴点登録部３４２に対して行い、特徴点登録部３４２に登録されている特徴点から特徴点削除部３４４で削除した特徴点を削除させる。
【００４０】
判定部３４５は、特徴点削除部３４４で削除されなかった特徴点に基づいて動体が検出されたか否かの判定を行う。撮像画像に動体が含まれると、動体部分では多数の特徴点が近い位置となり、かつ各特徴点の移動方向は同様な方向となる。したがって、判定部３４５は、特徴点の数と追跡後の位置と移動方向に基づいて、動体を検出したか否か判定する。具体的には、判定部３４５は、近接している特徴点の数が予め設定されている動体判別閾値以上であって、各特徴点の移動方向が同様な方向であったとき、動体を検出したと判別して検出結果を出力する。
【００４１】
図３に戻り、検出結果処理部３５は、検出処理部３４における複数の動体検出処理部の検出結果を統合処理して、伝送部４０に出力する。例えば、検出結果処理部３５は、複数の動体検出処理部のいずれかで動体が検出されたとき、動体が検出されたとして、動体検出結果を伝送部４０に出力する。また、検出結果処理部３５は、動体検出結果に、複数の動体検出処理部のいずれで動体が検出されたかを示す情報を含めるようにしてもよい。複数の動体検出処理部のいずれで動体が検出されたかを示す情報を動体検出結果に含めれば、検出された動体が近接した位置であるか離れた位置であるか判別できるようになる。
【００４２】
「１−２．動体検出方法」
次に、動体検出方法について説明する。動体検出処理部は、現画像と過去画像を用いた動体検出方法として、指定された複数の位置例えば座標指定部３３で指定された位置で所定量以上の動きが生じたとき特徴点として、特徴点の追跡を行う。さらに、特徴点の追跡では、人や車などの動きとは異なる動き、例えば木々の揺らぎなどのように振動に近い動きや１フレームで急激に速度が変更されるような動きを行っている特徴点を削除して追跡を行う。さらに、多数の特徴点が同じ方向に移動しているか判定することにより、外乱に強い動体の検知を行う。
【００４３】
特徴点検出部３４１は、座標指定部３３で指定された複数の位置の動きベクトルを算出して、算出した動きベクトルの動き量に基づき特徴点の検出を行う。
【００４４】
動きベクトルの算出方法は、テンプレートマッチング方法や勾配法など様々な方法を用いることができるが、以下の説明では比較的外乱に強いテンプレートマッチング方法を用いた場合について説明する。
【００４５】
図５は、動きベクトルの算出方法を説明するための図である。テンプレートマッチング方法では、動きベクトルを求めたい位置を基準とした周辺の画像、例えば図５の（Ａ）において破線で示すように、頭付近の画像をテンプレートＴＰとして切り出す。その切り出しを行ったテンプレートＴＰが図５の（Ｂ）において一点鎖線で示す探索範囲ＳＡのどこに移動したかを探索することにより、動きベクトルＭＶを算出する。この場合、画面全体を探索すると他の類似物が見つかる可能性があり、おかしな動きベクトルを求めてしまう可能性や、探索範囲が大きくなると計算量が増えてしまうという問題があるため、一般的には一定範囲の中で探索範囲を設定して一致する箇所を探索する。
【００４６】
探索している箇所と、テンプレートが一致しているかの判定方法としては様々な手法が提案されている。例えばＳＡＤ(Sum of Absolute Differences)と呼ばれる手法や正規化相互相関と呼ばれる手法が一般的には用いられる。なお、テンプレート自体を何らかの特徴量（例えばヒストグラムや周波数等）に変換してから一致する箇所を求める場合もある。
【００４７】
テンプレートマッチング方法を用いた場合、特徴点検出部３４１は、図６に示すように、座標指定部３３で指定された位置（白丸で示す位置）を基準とした画像をテンプレートＴＰとして、テンプレート毎に動きベクトルを算出する。なお、図６では９つの位置が指定されて、９個のテンプレートＴＰ（破線で示す）が設定された場合を例示している。
【００４８】
テンプレートは、検出する動体のサイズおよび画像の解像度に応じて適切なサイズに設定する。例えば、画像が低解像度で検出する動体のサイズが小さいとき、テンプレートが大きすぎると動体の画像部分がテンプレートで少なくなってしまう。このため、特徴点検出部３４１は、テンプレートマッチングを行ったときに、動体の動きベクトルを正しく算出することができないおそれがある。また、検出する動体のサイズが大きく画像が高解像度であるとき、テンプレートが小さすぎると動体の特徴がテンプレートに現れなくなってしまう。このため、特徴点検出部３４１は、テンプレートマッチングを行ったときに、テンプレートに類似した画像が複数検出されて、動きベクトルを正しく算出することができないおそれがある。したがって、テンプレートは、検出する動体のサイズおよび画像の解像度に応じて適切なサイズに設定することで、動体が指定された位置となったとき、テンプレートマッチングによって動体の動きベクトルを正しく算出できるようにする。
【００４９】
また、図６では、複数のテンプレートが連続して設けられている場合を示しているが、テンプレートは離れて設けられてもよい。
【００５０】
特徴点検出部３４１は、各テンプレートについて、過去画像を用いてテンプレートマッチングを行い、テンプレート毎に動きベクトルを算出する。特徴点検出部３４１は、テンプレートの動き量が予め設定した所定量以上のとき、指定された位置を特徴点として特徴点登録部３４２に登録する。また、特徴点検出部３４１は、テンプレートの動き量が所定量未満であるときは、特徴点の登録を行わないようにする。
【００５１】
図７は、画像内に動体が含まれたときの特徴点を例示している。なお、図７では動体ＯＢが図の右から左に移動する場合を示している。また、図７では、指定された位置を白丸、特徴点として登録された場合を黒丸で示している。
【００５２】
図７の（Ａ）に示すように時点ｔ０で動体ＯＢが指定された位置に到達していないときは、特徴点の登録が行われない。次に、図７の（Ｂ）に示すように、時点ｔ１で動体ＯＢが、指定された位置における右側の３つの位置に達すると、右側の３つの位置のテンプレートは、動体ＯＢの画像となる。したがって、指定された位置における右側の３つの位置が特徴点として登録される。図７の（Ｃ）に示すように時点ｔ２で動体ＯＢが、指定された９つの位置となると、９つの位置のテンプレートは、動体ＯＢの画像となる。したがって、指定された９つの位置が特徴点として登録される。図７の（Ｄ）に示すように示すように時点ｔ３で動体ＯＢが、指定された位置における左側の３つの位置に残っていると、左側の３つの位置のテンプレートは、動体ＯＢの画像となる。したがって、指定された位置における左側の３つの位置が特徴点として登録される。また、図７の（Ｅ）に示すように時点ｔ４で動体ＯＢが指定された位置を通過して、指定された位置に動体ＯＢが残っていないときは、特徴点の登録が行われない。
【００５３】
このように、特徴点検出部３４１は、指定された位置の動き量に基づき特徴点を検出して、検出した特徴点を特徴点登録部３４２に登録する。例えば特徴点検出部３４１は、フレーム毎に現画像上の指定された位置の動きベクトルを求めて、特徴点の検出および登録を行う。したがって、特徴点登録部３４２には、フレーム毎に検出された特徴点が順次登録されることになる。
【００５４】
特徴点追跡部３４３は、特徴点登録部３４２に登録されている特徴点についてテンプレートマッチング方法を用いて追跡を行う。すなわち、特徴点追跡部３４３は、登録されている特徴点について、動きベクトルを算出する。図８は、特徴点の追跡状態を例示している。特徴点追跡部３４３は、図８の（Ａ）に示すように、例えば時点ｔ１で検出された特徴点ＦＰaについて、時点ｔ２における位置（三角印で示す）、時点ｔ３における位置（四角印で示す位置）、時点ｔ３以降の位置を追跡する。また、特徴点追跡部３４３は、図８の（Ｂ）に示すように、例えば時点ｔ２で検出された特徴点ＦＰbについて、時点ｔ３における位置（四角印で示す位置）、時点ｔ３以降の位置を追跡する。さらに、特徴点追跡部３４３は、図示せずも、時点ｔ３以降で検出された特徴点についても同様に追跡を行う。
【００５５】
特徴点削除部３４４は、特徴点追跡部３４３から出力された追跡結果に対して判定基準を適用して、動体の動きとは異なる動きを示す不要な特徴点の削除を行う。特徴点削除部３４４は、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを判定基準として用いて判定を行う。例えば、特徴点削除部３４４は、以下の判定基準を用いて不要な特徴点を削除する。なお、図９は、削除対象の特徴点を説明するための図である。
【００５６】
削除対象の特徴点を判定する判定基準
・図９の（Ａ）に示すように、１フレーム間において急激に移動速度が変化する特徴点ＦＰＤ
・図９の（Ｂ）に示すように、急激に移動方向が変化する特徴点ＦＰＤ
・図９の（Ｃ）に示すように、一定距離以内に他の特徴点がない特徴点ＦＰＤ
また、特徴点を例えばフレーム毎に検出して登録すると、特徴点登録部３４２に登録されている特徴点の数が多くなり、特徴点を追跡するための演算量も多くなってしまう。そこで、特徴点削除部３４４は、一定時間以上追跡している特徴点を削除対象に含めることで、演算量が多くなってしまうことを防止する。
【００５７】
特徴点削除部３４４は、削除対象と判定された特徴点を削除して、削除されていない特徴点を判定部３４５に出力する。また、特徴点削除部３４４は、特徴点削除部３４４で削除した特徴点の削除指示を特徴点登録部３４２に対して行い、特徴点登録部３４２に登録されている特徴点から特徴点削除部３４４で削除した特徴点を削除させる。特徴点削除部３４４は、このように特徴点の削除を行い、動体を示す可能性の高い特徴点を判定部３４５に出力する。
【００５８】
判定部３４５は、特徴点削除部３４４で削除されなかった特徴点のデータを参照し通過判定を行う。ここで、例えば物体の通過の場合、多数の特徴点が近い位置となり、かつ各特徴点の移動方向は同様な方向となる。したがって、判定部３４５は、近接している特徴点の数が予め設定されている通過判別閾値以上であって、各特徴点の移動方向が同様な方向であったとき、動体を検出したとして検出結果を出力する。なお、動体を示す特徴点は、近接した位置であって複数フレームで同様な方向となることから、判定部３４５は、特徴点削除部３４４から出力された特徴点のデータを複数フレーム期間分用いて判定を行うようにしてもよい。
【００５９】
動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて、複数の動体検出処理部において、動体の遠近状態に対する動体検出特性が互いに異なるようにする。
【００６０】
ここで、例えば３つの動体検出処理部を設けて、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lとして動作させる場合、例えば、表１に示すように設定する。
【００６１】
【表１】
【００６２】
近距離動体検出処理部３４Sは、低解像度の画像と、過去画像として近い過去の画像（例えば１フレーム前）を用いて動体検出を行う。
【００６３】
中距離動体検出処理部３４Mは、近距離動体検出処理部３４Sで用いる画像よりも高解像度（例えば近距離動体検出処理部３４Sで用いる画像の２倍の解像度）の画像と、過去画像として近い過去の画像（例えば１フレーム前）を用いて動体検出を行う。
【００６４】
遠距離動体検出処理部３４Lは、中距離動体検出処理部３４Mで用いる画像と等しい高解像度の画像と、過去画像として遠い過去の画像（例えば５フレーム前）を用いて動体検出を行う。
【００６５】
図１０は、動体が近距離である場合を説明するための図である。なお、図１０において、実線は現画像における動体ＯＢ、破線は過去画像における動体ＯＢをそれぞれ示しており、動体ＯＢの移動後の位置を現画像から検出して動きベクトルを算出する場合を示している。また、後述する図１１、図１２も同様である。
【００６６】
図１０の（Ａ）に示すように、低解像度の画像を用いて動体検出を行う場合、一点鎖線で示す領域をテンプレートマッチングの探索範囲ＳＡとすれば、動体検出処理部は、動体ＯＢの動きベクトルを求めることができる。しかし、図１０の（Ｂ）に示すように、高解像度の画像を用いて、低解像度の画像を用いた場合と等しいサイズである一点鎖線で示す領域をテンプレートマッチングの探索範囲ＳＡとすると、動体検出処理部は、動体の動きベクトルを求めることができない。このため、高解像度の画像を用いる場合、特徴点検出部３４１や特徴点追跡部３４３は、例えば二点鎖線で示す広い探索範囲ＳＢを設けなければ動体の動きベクトルを算出できないことから、動きベクトルの算出に時間を要してしまう。また、通過する動体が近距離である場合、動体の画像は動体が離れている場合に比べて大きい。したがって、近距離動体検出処理部３４Sは、低解像度の画像を用いて近距離の動体の検出を行う。
【００６７】
図１１は、動体が中距離である場合を説明するための図である。図１１の（Ａ）に示すように、低解像度の画像を用いて動体検出を行う場合、中距離の動体は、現画像と過去画像との間で低解像度の画像における移動距離が少ない。このため、動体検出処理部は、動体の動きベクトルを精度よく求めることが困難となる。しかし、図１１の（Ｂ）に示すように、高解像度の画像を用いると、現画像と過去画像との間で高解像度の画像における動体の移動距離は、低解像度の画像における移動距離よりも大きくなる。このため、動体検出処理部は、動体の動きベクトルを精度よく求めることができるようになる。したがって、中距離動体検出処理部３４Mは、高解像度の画像を用いて中距離の動体の検出を行う。
【００６８】
図１２は、動体が遠距離である場合を説明するための図である。図１２の（Ａ）に示すように、低解像度の画像を用いて動体検出を行う場合、遠距離の動体は、現画像と過去画像との間で低解像度の画像における移動距離が少ない。また、動体の画像サイズは、動体が中距離である場合に比べて小さくなる。このため、動体検出処理部は、動体の動きベクトルを精度よく求めることが困難となる。また、図１２の（Ｂ）に示すように、高解像度の画像を用いると、現画像と過去画像との間で高解像度の画像における動体の移動距離は、低解像度の画像における移動距離よりも大きくなる。しかし、現画像と近い過去画像との間では、高解像度の画像を用いても移動距離が少ない。このため、図１２の（Ｃ）に示すように、過去画像として遠い過去画像すなわち現画像と過去画像との時間間隔を長くして移動距離を大きくすれば、動体検出処理部は、動体の動きベクトルを精度よく求めることができる。したがって、遠距離動体検出処理部３４Lは、高解像度の画像を用いるだけでなく、遠い過去画像を用いて遠距離の動体の検出を行う。
【００６９】
このように、検出処理部３４は、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lで上述のように動体検出を行うことから、動体が近距離であるか中距離であるか遠距離であるかにかかわらず動体を安定して検出できる。
【００７０】
さらに、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lは、それぞれ特徴点を検出して、検出した特徴点の追跡結果に基づいて動体検出を行うことから、安定して動体の検出を行うことができる。
【００７１】
なお、第１の実施の形態では近距離、中距離、遠距離という３段階で処理を行っているが、解像度や時間間隔をさらに細かく区分ことで、４段階や５段階等のように段階を増やすことができる。この段階を増やすという処理により、広い範囲速度に対応して検知が可能な処理を行うことができるようになる。
【００７２】
また、画像上における動き量は、動体が近接しているとき大きく、動体が遠方であるとき小さい。したがって、動体検出処理部は、動きベクトルの探索範囲を制御して、動体の遠近状態に対する動体検出特性を異なるようにしてもよい。
【００７３】
さらに、動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させることで、動体の移動速度にかかわらず安定して動体を検出できる。例えば、動体の移動速度が速いと、特徴点が探索範囲を超えて移動してしまい、動体検出処理部は、特徴点を追跡できなくなってしまう。しかし、現画像と過去画像との時間間隔を短くすれば、特徴点が移動しても探索範囲内となり、動体検出処理部は、追跡結果に基づいて動体を検出できるようになる。また、動体の移動速度が遅いと、低解像度の画像から動きベクトルを精度よく算出することが困難となり、動体検出処理部は、特徴点の登録や追跡を安定して行うことができない。しかし、高解像度の画像を用いれば、低解像度の画像から動きベクトルを算出する場合に比べて精度よく動きベクトルを算出すること可能となるので、動体検出処理部は、特徴点の登録や追跡を安定して行うことができる。さらに、探索範囲を広くすれば、動体検出処理部は、移動速度の速い動体を検出できるようになる。すなわち、動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させることで、動体の移動速度にかかわらず安定して動体を検出できるようになる。
【００７４】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。上述の動体検出部３０は、検出処理部３４の近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lが個々に動体検出を行っている。このため、例えば中距離動体検出処理部３４Mで検出できる動体を近距離動体検出処理部３４Sでも検出したり、遠距離動体検出処理部３４Lで検出できる動体を中距離動体検出処理部３４Mでも検出したり、検出動作が重複してしまう場合ある。そこで、第２の実施の形態では、他の動体検出部で行われる動体検出の設定情報を利用して、他の動体検出処理部で検出される動体が重複して検出されることが少なくなり、効率よく動体検出を行うことができる動体検出部について説明する。
【００７５】
「２−１．動体検出部の他の構成」
図１３は、動体検出部の他の構成を示している。なお、図１３において、図３と対応する部分については同一符号を付し、詳細な説明は省略する。
【００７６】
動体検出部３０ａの検出処理部３４aは、例えば近距離動体検出処理部３４Saと中距離動体検出処理部３４Maおよび遠距離動体検出処理部３４Laを有している。近距離動体検出処理部３４Saと中距離動体検出処理部３４Maおよび遠距離動体検出処理部３４Laは、過去画像保持部３２に保持されている過去画像の画像信号と、信号処理部１２，２２から供給された現画像の画像信号を用いて動体検出を行う。近距離動体検出処理部３４Saは、近接している動体の検出を行うことができるように動体検出の設定を行う。遠距離動体検出処理部３４Laは、離れている動体の検出を行うことができるように動体検出の設定を行う。また、中距離動体検出処理部３４Maは、近距離動体検出処理部３４Saで検出する近接した動体と、遠距離動体検出処理部３４Laで検出する離れた動体との中間に位置する動体の検出を行うことができるように動体検出の設定を行う。
【００７７】
さらに、近距離動体検出処理部３４Saと中距離動体検出処理部３４Maおよび遠距離動体検出処理部３４Laは、他の動体検出処理部で行われる動体検出の設定情報を利用して、他の動体検出部と重複しないように動体検出を行う。他の動体検出処理部で行われる動体検出の設定情報としては、例えば検出可能な動きに関する情報や探索範囲に関する情報や過去画像の情報を用いる。
【００７８】
「２−２．動体検出方法」
次に、特徴点検出部３４１で他の動体検出処理部から供給された検出可能な動きに関する情報を利用する場合について説明する。高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部において、例えば画像のフレームレートが等しく、高解像度の画像は低解像度の画像に対して２倍の解像度とする。この場合、高解像度の画像を用いる動体検出処理部において動き量がＮピクセルの動きを検出する処理は、低解像度の画像を用いる動体検出処理部において動き量が（Ｎ／２）ピクセルの動きを検出する処理に相当する。したがって、高解像度の画像を用いる動体検出処理部において、Ｎピクセルまでの動き量が検出可能である場合、低解像度の画像を用いる動体検出処理部は、（Ｎ／２）ピクセルのまでの動き量を示す位置は特徴点として登録しないようにする。
【００７９】
このようにすれば、特徴点登録部３４２に登録される特徴点を削減できるので、特徴点追跡部３４３の演算を削減することが可能となり、動体検出を高速に行うことができる。
【００８０】
また、低解像度の画像を用いる動体検出処理部は、（Ｎ／２）ピクセルよりも少ない動き量を基準として、この基準よりも動き量が大きい位置を特徴点として登録してもよい。この場合、高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部とで、動体検出を一部重複させることが可能となり、動体検出部３０ａは、安定した動体検出を行うことができる。
【００８１】
次に、特徴点追跡部３４３で他の動体検出処理部から供給された探索範囲を示す情報を利用する場合について図１４を用いて説明する。高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部において、画像フレームレートが等しく、高解像度の画像は例えば低解像度の画像に対して２倍の解像度とする。また、図１４に示すように、高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部における特徴点追跡部の探索範囲ＳＡをそれぞれ（Ｊ×Ｋ）ピクセルとする。この場合、図１４の（Ｂ）に示す高解像度の画像に対する探索範囲ＳＡは、図１４の（Ａ）に示すように低解像度の画像に対する探索範囲ＳＡに含まれる斜線で示す範囲ＳＣに相当する。すなわち、中解像度の画像に対する探索範囲は、（Ｊ×Ｋ）ピクセルの探索範囲ＳＡから高解像度の画像に対する探索範囲（（Ｊ／２）×（Ｋ／２））相当する範囲ＳＣを除外した範囲（Ｊ×Ｋ−（（Ｊ／２）×（Ｋ／２）））で行えばよい。このように探索範囲を設定すると、探索範囲を削減できることから、動体検出部３０ａは、特徴点の追跡を高速に行うことができるようになる。
【００８２】
また、低解像度の画像を用いる動体検出処理部は、範囲ＳＣよりも小さい範囲を除外してもよい。この場合、高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部とで、動体検出を一部重複させることが可能となり、動体検出部３０ａは、安定した動体検出を行うことができる。
【００８３】
次に、特徴点追跡部３４３で他の動体検出処理部から供給された過去画像の情報を利用する場合について説明する。近い過去画像を用いる動体検出処理部と遠い過去画像を用いる動体検出処理部において、近い過去画像がＨフレーム前の画像であり遠い過去画像が例えば５Ｈフレーム前の画像とする。
【００８４】
この場合、遠い過去画像の探索範囲が（Ｊ×Ｋ）ピクセルであるとすると、近い過去画像は、遠い過去画像に対してフレーム間隔が（１／５）の期間であり、動きを（１／５）と考えると、遠い過去画像を用いるときの探索範囲は、近い過去画像を用いるとき、（（Ｊ／５）×（Ｋ／５））ピクセルの範囲に相当する。したがって、近い過去画像を用いる特徴点追跡部は、（Ｊ×Ｋ）ピクセルの探索範囲から近い過去画像の時間間隔に対応する（（Ｊ／５）×（Ｋ／５））の範囲を除外した（（Ｊ−Ｊ／５）×（Ｋ−Ｋ／５））の範囲で行えばよい。このように探索範囲を設定すると、探索範囲を削減できることから、動体検出部３０ａは、特徴点の追跡を高速に行うことができるようになる。
【００８５】
また、近い過去画像を用いる動体検出処理部は、（（Ｊ／５）×（Ｋ／５））ピクセルの範囲よりも小さい範囲を除外すれば、近い過去画像を用いる動体検出処理部と遠い過去画像を用いる動体検出処理部とで、動体検出を一部重複させることが可能となり、安定した動体検出を行うことができる。
【００８６】
＜３．ソフトウェア処理で動体検出を行う場合の構成＞
また、上述した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、プログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させる。
【００８７】
図１５は、上述した処理をプログラムにより実行するコンピュータの構成を例示した図である。コンピュータ装置６０のＣＰＵ６１（Central Processing Unit）は、ＲＯＭ（Read Only Memory)６２、または記録部６９に記録されているプログラムにしたがって各種の処理を実行する。
【００８８】
ＲＡＭ６３（Random Access Memory）には、ＣＰＵ６１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス６４により相互に接続されている。
【００８９】
ＣＰＵ６１にはまた、バス６４を介して入出力インタフェース６５が接続されている。入出力インタフェース６５には、タッチパネルやキーボード、マウス、マイクロフォンなどのユーザインタフェース部６６、画像信号を入力するための入力部６７、ディスプレイなどよりなる出力部６８が接続されている。ＣＰＵ６１は、ユーザインタフェース部６６から入力される指令に対応して、入力部６７から入力された画像信号を用いて各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果を出力部６８に出力する。
【００９０】
入出力インタフェース６５に接続されている記録部６９は、例えばハードディスクからなり、ＣＰＵ６１が実行するプログラムや各種のデータを記録する。通信部７０は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。
【００９１】
ドライブ７１は、リムーバブルメディア７２が装着されたとき、それらを駆動して、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じてＲＯＭ６２やＲＡＭ６３または記録部６９に転送される。
【００９２】
なお、プログラムは、例えばハードディスクやＲＯＭ（Read Only Memory)に予め記録しておく。または、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア７２に、一時的あるいは永続的に格納（記録）しておき、ドライブ７１で読み出すようにする。さらに、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、通信部７０を介して転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールするようにしてもよい。
【００９３】
ＣＰＵ６１は、プログラムを実行して、コンピュータ装置６０を、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出機能手段として機能させる。また、動体検出機能手段では、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出機能手段と相違させて動体の検出を行う。
【００９４】
このようにすれば、入力部６７から入力された画像信号や、通信部７０を介して供給された画像信号に基づいて、動体までの距離や動体の移動速度にかかわらず安定して動体検出を行うことができる。
【００９５】
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、座標指定部３３で指定される位置は、図６に示すように画像の中央部分だけでなく、例えば左右に移動する動体を検出する場合には、画像の左右の端部側に設定してもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【００９６】
この発明の動体検出装置と動体検出方法およびプログラムでは、複数の動体検出処理部で、現画像と過去画像を用いて算出した動きベクトルに基づき動体検出が行われる。動体検出処理部では、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出が行われる。したがって、複数の動体検出処理部は、動体の遠近状態や移動速度に対する動体検出特性が互いに異なる特性となる。このため、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようになるので、監視装置や侵入検知システム等に適している。
【符号の説明】
【００９７】
１０・・・撮像装置、１１・・・撮像部、１２，２２・・・信号処理部、１３，２３・・・符号化処理部、２０・・・画像処理装置、２１・・・画像入力部、２３・・・符号化処理部、３０，３０ａ・・・動体検出部、３１・・・解像度変換部、３２・・・過去画像保持部、３３・・・座標指定部、３４，３４ａ・・・検出処理部、３４L，３４La・・・遠距離動体検出処理部、３４M，３４Ma・・・中距離動体検出処理部、３４S，３４Sa・・・近距離動体検出処理部、３５・・・検出結果処理部、４０・・・伝送部、６０・・・コンピュータ装置、６１・・・ＣＰＵ、６２・・・ＲＯＭ、６３・・・ＲＡＭ、６４・・・バス、６５・・・入出力インタフェース、６６・・・ユーザインタフェース部、６７・・・入力部、６８・・・出力部、６９・・・記録部、７０・・・通信部、７１・・・ドライブ、７２・・・リムーバブルメディア、３４１・・・特徴点検出部、３４２・・・特徴点登録部、３４３・・・特徴点追跡部、３４４・・・特徴点削除部、３４５・・・判定部
【技術分野】
【０００１】
この発明は、動体検出装置と動体検出方法とプログラムに関する。詳しくは、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようにする。
【背景技術】
【０００２】
従来の監視カメラにおける侵入検知システムでは動体検出が行われている。例えば特許文献１は、撮像した画像データが複数エリアのブロックに分割される。また、各画像ブロックの平滑化された画像データについて状態変化の有無が検出される。この検出された状態変化有無ブロックのマップと、既に検出されている状態変化有無ブロックのマップを比較して、状態変化有りブロックの移動に伴う誤差発生ブロック数が算出されて、算出された誤差発生ブロック数が予め設定した数値を超えたときに動きを検知したと判断されている。
【０００３】
また、特許文献２の発明では、過去の複数枚の画像データが参照画像データとして保存される。この保存されている複数枚の参照画像データと撮影された画像データとで画素あるいは小領域での各々の差異が検出される。さらに、検出された差異の連続性あるいは出現性を元に画像データ中の移動物体が検出されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２５５６号公報
【特許文献２】特開２００６−１０７４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、状態変化有りブロックの移動に伴う誤差発生ブロックの数が予め設定した数値を超えたとき動きを検知したと判別する場合、動体が遠方に位置していると、動き検知の精度低下を招くおそれがある。すなわち、動体が遠方であると、撮影画像における動体の画像サイズが小さい。したがって、動体が遠方であると誤差発生ブロックの数は大きくならず、動きを検知することができない。
【０００６】
また、撮影された画像データと参照画像データとで画素あるいは小領域での各々の差異から動体を検出する場合においても、動体が遠方であるか近接した位置であるかに応じて、差異の連続性や出現性が大きく変化する。したがって、動体が遠方であるときと近接した位置にあるときで、動体の検知精度が大きく変化してしまうおそれがある。
【０００７】
そこで、この発明では、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できる動体検出装置と動体検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の第１の側面は、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出処理部を備え、前記動体検出処理部は、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出を行う動体検出装置にある。
【０００９】
この発明において、複数の動体検出処理部では、指定した複数の位置において、動き量が所定量以上となる位置を特徴点として、時間の経過に伴い特徴点がいずれの位置に移動するか追跡する。さらに、予め設定した判定基準を用いて特徴点の追跡結果から、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを用いて不要な特徴点の判定を行い、不要とされた特徴点を削除して、残った特徴点に基づいて動体が検出されたか否かの判定が行われる。
【００１０】
また、動体検出処理部では、他の動体検出処理部で行われる動体検出の設定情報に基づき、他の動体検出処理部で検出される動体を重複して検出することが少なくなるように動きベクトルの探索範囲が設定される。
【００１１】
この発明の第２の側面は、複数の動体検出処理部のそれぞれで、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う動体検出ステップを有し、前記動体検出ステップでは、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部で行われる動体検出ステップと相違させて動体の検出を行う動体検出方法にある。
【００１２】
この発明の第３の側面は、コンピュータを、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出機能手段として機能させて、前記動体検出機能手段では、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出機能手段と相違させて動体の検出を行われるためのプログラムにある。
【００１３】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１４】
この発明によれば、複数の動体検出処理部で、現画像と過去画像を用いて算出した動きベクトルに基づき動体検出が行われる。動体検出処理部では、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出が行われる。したがって、複数の動体検出処理部は、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようになる。
【図面の簡単な説明】
【００１５】
【図１】動体検出装置を撮像装置と一体に構成した場合の機能ブロック図である。
【図２】カメラヘッド部と別個に構成されている画像処理装置に動体検出装置を設けた場合を示す機能ブロック図である。
【図３】動体検出部の構成を示す図である。
【図４】動体検出処理部の構成を示す図である。
【図５】動きベクトルの算出方法を説明するための図である。
【図６】テンプレートマッチング方法を用いる場合の動作を説明するための図である。
【図７】特徴点を例示した図である。
【図８】特徴点の追跡状態を例示した図である。
【図９】削除対象の特徴点を説明するための図である。
【図１０】動体が近距離にある場合を説明するための図である。
【図１１】動体が中距離にある場合を説明するための図である。
【図１２】動体が遠距離にある場合を説明するための図である。
【図１３】動体検出部の他の構成を示す図である。
【図１４】探索範囲を示す情報を利用する場合の動作を説明するための図である。
【図１５】コンピュータの構成を例示した図である。
【発明を実施するための形態】
【００１６】
以下、発明を実施するための形態について説明する。この発明では、複数の動体検出処理部を設けて動体検出を行い、動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させることで、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようにする。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．動体検出装置の構成
１−２．動体検出方法
２．第２の実施の形態
２−１．動体検出部の他の構成
２−２．動体検出方法
３．ソフトウェア処理で動体検出を行う場合の構成
【００１７】
＜１．第１の実施の形態＞
「１−１．動体検出装置の構成」
図１は、動体検出装置を撮像装置と一体に構成した場合を示す機能ブロック図である。撮像装置１０は、撮像部１１、信号処理部１２、符号化処理部１３、動体検出部３０、伝送部４０を備えている。
【００１８】
撮像部１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いて構成されている。撮像部１１は、例えば監視対象領域を撮像して画像信号を出力する。
【００１９】
信号処理部１２は、撮像部１１から出力された画像信号に対して、ノイズ除去やカラー処理、適切な諧調へ圧縮する等を行う処理である。
【００２０】
符号化処理部１３は、信号処理部１２で処理された画像信号に対して所定の符号化方式で画像信号の圧縮処理を行う。例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ４（Moving Picture Experts Group phase 4）等の方式で画像信号の符号化処理を行う。また、符号化処理部１３は、符号化処理を行って得られた符号化信号を伝送部４０に出力する。
【００２１】
動体検出部３０は、信号処理部１２から出力された画像信号に基づいて動体検出を行う。また、動体検出部３０は、動体検出結果を伝送部４０に出力する。
【００２２】
伝送部４０は、動体検出部３０からの動体検出結果、および符号化処理部１３で得られた符号化信号を、ネットワーク等を介して外部機器例えば監視制御を行う監視制御装置に供給する。
【００２３】
図２は、カメラヘッド部と別個に構成されている画像処理装置に動体検出装置を設けた場合を示す機能ブロック図である。画像処理装置２０は、画像入力部２１、信号処理部２２、符号化処理部２３、動体検出部３０、伝送部４０を備えている。
【００２４】
画像入力部２１は、カメラヘッド部（図示せず）を画像処理装置に接続するためのインタフェースである。画像入力部２１は、例えばカメラヘッド部からアナログの画像信号が供給されたとき、アナログの画像信号をディジタルの画像信号に変換する処理を行う。
【００２５】
信号処理部２２は、カメラヘッド部から供給された画像信号に対して、ノイズ除去やカラー処理、適切な諧調へ圧縮する等を行う。
【００２６】
符号化処理部２３は、信号処理部２２で処理された画像信号に対して所定の圧縮符号化方式で圧縮符号化を行う。例えばＪＰＥＧやＭＰＥＧ４等の方式で画像信号の圧縮符号化処理を行う。また、符号化処理部２３は、圧縮符号化処理を行って得られた符号化信号を伝送部４０に出力する。
【００２７】
動体検出部３０は、信号処理部２２から出力された画像信号に基づいて動体検出を行う。また、動体検出部３０は、動体検出結果を伝送部４０に出力する。
【００２８】
伝送部４０は、動体検出部３０からの動体検出結果、および符号化処理部２３で得られた符号化信号を、ネットワーク等を介して外部機器例えば監視制御を行う監視制御装置に供給する。
【００２９】
図３は、動体検出部の構成を示している。動体検出部３０は、解像度変換部３１、過去画像保持部３２、座標指定部３３、検出処理部３４、検出結果処理部３５を備えている。
【００３０】
解像度変換部３１は、信号処理部２２から出力された画像信号を用いて解像度変換を行い、高解像度画像の画像信号と低解像度画像の画像信号を生成する。例えば、解像度変換部３１は、信号処理部２２から出力された画像信号が低解像度画像の画像信号であるとき、解像度変換を行い高解像度画像の画像信号を生成する。また、解像度変換部３１は、信号処理部２２から出力された画像信号が高解像度画像の画像信号であるとき、解像度変換を行い低解像度画像の画像信号を生成する。解像度変換部３１は、低解像度画像の画像信号を過去画像保持部３２と検出処理部３４の近距離動体検出処理部３４Sに出力する。解像度変換部３１は、高解像度画像の画像信号を過去画像保持部３２と検出処理部３４の中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lに出力する。
【００３１】
過去画像保持部３２は、解像度変換部３１から出力された画像信号を記憶する。また、過去画像保持部３２は、記憶している画像信号を近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lに出力する。すなわち過去画像保持部３２は、解像度変換部３１から近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lに供給される現画像の画像信号よりも過去の画像の画像信号を出力する。さらに、過去画像保持部３２は、保持している画像信号を解像度変換部３１から出力される画像信号で古い順から更新して、現画像から所定期間前までの過去画像の画像信号を記憶しておく。
【００３２】
座標指定部３３は、検出処理部３４で動体検出を行う位置を、ユーザ操作に応じて設定する。例えば、座標指定部３３は、ユーザが指定した位置を動体検出位置として、検出処理部３４に通知する。
【００３３】
検出処理部３４は、現画像と過去画像を用いて動体検出を行う複数の動体検出処理部で構成されている。複数の動体検出処理部は、等しい構成とされている。動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させる。すなわち、複数の動体検出処理部は、動体までの距離にかかわらず、いずれかの動体検出処理部で動体が検出できるように、動体検出特性が各動体検出処理部で異なる特性とされている。
【００３４】
例えば、検出処理部３４は、複数の動体検出処理部として近距離動体検出処理部３４Sと中距離動体検出処理部３４M、遠距離動体検出処理部３４Lを有している。近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lは、過去画像保持部３２に保持されている過去画像の画像信号と、解像度変換部３１から供給された現画像の画像信号を用いて動体検出を行う。ここで、近距離動体検出処理部３４Sは、近接している動体の検出を行うことができるように動体検出の設定を行う。また、遠距離動体検出処理部３４Lは、離れている動体の検出を行うことができるように動体検出の設定を行う。さらに、中距離動体検出処理部３４Mは、近距離動体検出処理部３４Sで検出する近接した動体と、遠距離動体検出処理部３４Lで検出する離れた動体との中間に位置する動体の検出を行うことができるように動体検出の設定を行う。さらに、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mおよび遠距離動体検出処理部３４Lは、座標指定部３３で指定された位置で動体検出を行う。
【００３５】
図４は、検出処理部３４における１つの動体検出処理部の構成を示している。動体検出処理部は、特徴点検出部３４１、特徴点登録部３４２、特徴点追跡部３４３、特徴点削除部３４４、判定部３４５を有している。
【００３６】
特徴点検出部３４１は、特徴点の検出を行い、検出した特徴点を特徴点登録部３４２に登録する処理を行う。特徴点検出部３４１は、予め指定した複数の位置で動きベクトルの算出を行い、動き量が所定量以上となる位置を特徴点として特徴点登録部３４２に登録する。また、特徴点検出部３４１は、指定されている位置の動き量が所定量未満であるとき、静止点である可能性が高いとして登録を行わないようにする。
【００３７】
特徴点登録部３４２は、特徴点検出部３４１で検出された特徴点を登録する。また、特徴点登録部３４２は、後述する特徴点削除部３４４で削除指示がなされた特徴点を、登録されている特徴点から削除する。
【００３８】
特徴点追跡部３４３は、特徴点登録部３４２に登録されている特徴点に対し、追跡処理を行う。追跡処理とは、時間の経過に伴い特徴点がいずれの位置に移動するか追跡する処理である。特徴点追跡部３４３は、特徴点の追跡を行い、追跡結果を特徴点削除部３４４に出力する。
【００３９】
特徴点削除部３４４は、特徴点追跡部３４３から出力された追跡結果に基づき、人や車などの動体の動きとは異なる動きを示す不要な特徴点を判別して削除する。特徴点削除部３４４は、不要な特徴点を判別するための判定基準が予め設定されている。特徴点削除部３４４は、特徴点の追跡結果に対して判定基準を適用して、動体の動きとは異なる動きを示す不要な特徴点の削除を行い、削除されていない特徴点を判定部３４５に出力する。また、特徴点削除部３４４は、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを判定基準として用いて判定を行い、不要な特徴点を削除する。さらに、特徴点削除部３４４は、特徴点削除部３４４で削除した特徴点の削除指示を特徴点登録部３４２に対して行い、特徴点登録部３４２に登録されている特徴点から特徴点削除部３４４で削除した特徴点を削除させる。
【００４０】
判定部３４５は、特徴点削除部３４４で削除されなかった特徴点に基づいて動体が検出されたか否かの判定を行う。撮像画像に動体が含まれると、動体部分では多数の特徴点が近い位置となり、かつ各特徴点の移動方向は同様な方向となる。したがって、判定部３４５は、特徴点の数と追跡後の位置と移動方向に基づいて、動体を検出したか否か判定する。具体的には、判定部３４５は、近接している特徴点の数が予め設定されている動体判別閾値以上であって、各特徴点の移動方向が同様な方向であったとき、動体を検出したと判別して検出結果を出力する。
【００４１】
図３に戻り、検出結果処理部３５は、検出処理部３４における複数の動体検出処理部の検出結果を統合処理して、伝送部４０に出力する。例えば、検出結果処理部３５は、複数の動体検出処理部のいずれかで動体が検出されたとき、動体が検出されたとして、動体検出結果を伝送部４０に出力する。また、検出結果処理部３５は、動体検出結果に、複数の動体検出処理部のいずれで動体が検出されたかを示す情報を含めるようにしてもよい。複数の動体検出処理部のいずれで動体が検出されたかを示す情報を動体検出結果に含めれば、検出された動体が近接した位置であるか離れた位置であるか判別できるようになる。
【００４２】
「１−２．動体検出方法」
次に、動体検出方法について説明する。動体検出処理部は、現画像と過去画像を用いた動体検出方法として、指定された複数の位置例えば座標指定部３３で指定された位置で所定量以上の動きが生じたとき特徴点として、特徴点の追跡を行う。さらに、特徴点の追跡では、人や車などの動きとは異なる動き、例えば木々の揺らぎなどのように振動に近い動きや１フレームで急激に速度が変更されるような動きを行っている特徴点を削除して追跡を行う。さらに、多数の特徴点が同じ方向に移動しているか判定することにより、外乱に強い動体の検知を行う。
【００４３】
特徴点検出部３４１は、座標指定部３３で指定された複数の位置の動きベクトルを算出して、算出した動きベクトルの動き量に基づき特徴点の検出を行う。
【００４４】
動きベクトルの算出方法は、テンプレートマッチング方法や勾配法など様々な方法を用いることができるが、以下の説明では比較的外乱に強いテンプレートマッチング方法を用いた場合について説明する。
【００４５】
図５は、動きベクトルの算出方法を説明するための図である。テンプレートマッチング方法では、動きベクトルを求めたい位置を基準とした周辺の画像、例えば図５の（Ａ）において破線で示すように、頭付近の画像をテンプレートＴＰとして切り出す。その切り出しを行ったテンプレートＴＰが図５の（Ｂ）において一点鎖線で示す探索範囲ＳＡのどこに移動したかを探索することにより、動きベクトルＭＶを算出する。この場合、画面全体を探索すると他の類似物が見つかる可能性があり、おかしな動きベクトルを求めてしまう可能性や、探索範囲が大きくなると計算量が増えてしまうという問題があるため、一般的には一定範囲の中で探索範囲を設定して一致する箇所を探索する。
【００４６】
探索している箇所と、テンプレートが一致しているかの判定方法としては様々な手法が提案されている。例えばＳＡＤ(Sum of Absolute Differences)と呼ばれる手法や正規化相互相関と呼ばれる手法が一般的には用いられる。なお、テンプレート自体を何らかの特徴量（例えばヒストグラムや周波数等）に変換してから一致する箇所を求める場合もある。
【００４７】
テンプレートマッチング方法を用いた場合、特徴点検出部３４１は、図６に示すように、座標指定部３３で指定された位置（白丸で示す位置）を基準とした画像をテンプレートＴＰとして、テンプレート毎に動きベクトルを算出する。なお、図６では９つの位置が指定されて、９個のテンプレートＴＰ（破線で示す）が設定された場合を例示している。
【００４８】
テンプレートは、検出する動体のサイズおよび画像の解像度に応じて適切なサイズに設定する。例えば、画像が低解像度で検出する動体のサイズが小さいとき、テンプレートが大きすぎると動体の画像部分がテンプレートで少なくなってしまう。このため、特徴点検出部３４１は、テンプレートマッチングを行ったときに、動体の動きベクトルを正しく算出することができないおそれがある。また、検出する動体のサイズが大きく画像が高解像度であるとき、テンプレートが小さすぎると動体の特徴がテンプレートに現れなくなってしまう。このため、特徴点検出部３４１は、テンプレートマッチングを行ったときに、テンプレートに類似した画像が複数検出されて、動きベクトルを正しく算出することができないおそれがある。したがって、テンプレートは、検出する動体のサイズおよび画像の解像度に応じて適切なサイズに設定することで、動体が指定された位置となったとき、テンプレートマッチングによって動体の動きベクトルを正しく算出できるようにする。
【００４９】
また、図６では、複数のテンプレートが連続して設けられている場合を示しているが、テンプレートは離れて設けられてもよい。
【００５０】
特徴点検出部３４１は、各テンプレートについて、過去画像を用いてテンプレートマッチングを行い、テンプレート毎に動きベクトルを算出する。特徴点検出部３４１は、テンプレートの動き量が予め設定した所定量以上のとき、指定された位置を特徴点として特徴点登録部３４２に登録する。また、特徴点検出部３４１は、テンプレートの動き量が所定量未満であるときは、特徴点の登録を行わないようにする。
【００５１】
図７は、画像内に動体が含まれたときの特徴点を例示している。なお、図７では動体ＯＢが図の右から左に移動する場合を示している。また、図７では、指定された位置を白丸、特徴点として登録された場合を黒丸で示している。
【００５２】
図７の（Ａ）に示すように時点ｔ０で動体ＯＢが指定された位置に到達していないときは、特徴点の登録が行われない。次に、図７の（Ｂ）に示すように、時点ｔ１で動体ＯＢが、指定された位置における右側の３つの位置に達すると、右側の３つの位置のテンプレートは、動体ＯＢの画像となる。したがって、指定された位置における右側の３つの位置が特徴点として登録される。図７の（Ｃ）に示すように時点ｔ２で動体ＯＢが、指定された９つの位置となると、９つの位置のテンプレートは、動体ＯＢの画像となる。したがって、指定された９つの位置が特徴点として登録される。図７の（Ｄ）に示すように示すように時点ｔ３で動体ＯＢが、指定された位置における左側の３つの位置に残っていると、左側の３つの位置のテンプレートは、動体ＯＢの画像となる。したがって、指定された位置における左側の３つの位置が特徴点として登録される。また、図７の（Ｅ）に示すように時点ｔ４で動体ＯＢが指定された位置を通過して、指定された位置に動体ＯＢが残っていないときは、特徴点の登録が行われない。
【００５３】
このように、特徴点検出部３４１は、指定された位置の動き量に基づき特徴点を検出して、検出した特徴点を特徴点登録部３４２に登録する。例えば特徴点検出部３４１は、フレーム毎に現画像上の指定された位置の動きベクトルを求めて、特徴点の検出および登録を行う。したがって、特徴点登録部３４２には、フレーム毎に検出された特徴点が順次登録されることになる。
【００５４】
特徴点追跡部３４３は、特徴点登録部３４２に登録されている特徴点についてテンプレートマッチング方法を用いて追跡を行う。すなわち、特徴点追跡部３４３は、登録されている特徴点について、動きベクトルを算出する。図８は、特徴点の追跡状態を例示している。特徴点追跡部３４３は、図８の（Ａ）に示すように、例えば時点ｔ１で検出された特徴点ＦＰaについて、時点ｔ２における位置（三角印で示す）、時点ｔ３における位置（四角印で示す位置）、時点ｔ３以降の位置を追跡する。また、特徴点追跡部３４３は、図８の（Ｂ）に示すように、例えば時点ｔ２で検出された特徴点ＦＰbについて、時点ｔ３における位置（四角印で示す位置）、時点ｔ３以降の位置を追跡する。さらに、特徴点追跡部３４３は、図示せずも、時点ｔ３以降で検出された特徴点についても同様に追跡を行う。
【００５５】
特徴点削除部３４４は、特徴点追跡部３４３から出力された追跡結果に対して判定基準を適用して、動体の動きとは異なる動きを示す不要な特徴点の削除を行う。特徴点削除部３４４は、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを判定基準として用いて判定を行う。例えば、特徴点削除部３４４は、以下の判定基準を用いて不要な特徴点を削除する。なお、図９は、削除対象の特徴点を説明するための図である。
【００５６】
削除対象の特徴点を判定する判定基準
・図９の（Ａ）に示すように、１フレーム間において急激に移動速度が変化する特徴点ＦＰＤ
・図９の（Ｂ）に示すように、急激に移動方向が変化する特徴点ＦＰＤ
・図９の（Ｃ）に示すように、一定距離以内に他の特徴点がない特徴点ＦＰＤ
また、特徴点を例えばフレーム毎に検出して登録すると、特徴点登録部３４２に登録されている特徴点の数が多くなり、特徴点を追跡するための演算量も多くなってしまう。そこで、特徴点削除部３４４は、一定時間以上追跡している特徴点を削除対象に含めることで、演算量が多くなってしまうことを防止する。
【００５７】
特徴点削除部３４４は、削除対象と判定された特徴点を削除して、削除されていない特徴点を判定部３４５に出力する。また、特徴点削除部３４４は、特徴点削除部３４４で削除した特徴点の削除指示を特徴点登録部３４２に対して行い、特徴点登録部３４２に登録されている特徴点から特徴点削除部３４４で削除した特徴点を削除させる。特徴点削除部３４４は、このように特徴点の削除を行い、動体を示す可能性の高い特徴点を判定部３４５に出力する。
【００５８】
判定部３４５は、特徴点削除部３４４で削除されなかった特徴点のデータを参照し通過判定を行う。ここで、例えば物体の通過の場合、多数の特徴点が近い位置となり、かつ各特徴点の移動方向は同様な方向となる。したがって、判定部３４５は、近接している特徴点の数が予め設定されている通過判別閾値以上であって、各特徴点の移動方向が同様な方向であったとき、動体を検出したとして検出結果を出力する。なお、動体を示す特徴点は、近接した位置であって複数フレームで同様な方向となることから、判定部３４５は、特徴点削除部３４４から出力された特徴点のデータを複数フレーム期間分用いて判定を行うようにしてもよい。
【００５９】
動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて、複数の動体検出処理部において、動体の遠近状態に対する動体検出特性が互いに異なるようにする。
【００６０】
ここで、例えば３つの動体検出処理部を設けて、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lとして動作させる場合、例えば、表１に示すように設定する。
【００６１】
【表１】
【００６２】
近距離動体検出処理部３４Sは、低解像度の画像と、過去画像として近い過去の画像（例えば１フレーム前）を用いて動体検出を行う。
【００６３】
中距離動体検出処理部３４Mは、近距離動体検出処理部３４Sで用いる画像よりも高解像度（例えば近距離動体検出処理部３４Sで用いる画像の２倍の解像度）の画像と、過去画像として近い過去の画像（例えば１フレーム前）を用いて動体検出を行う。
【００６４】
遠距離動体検出処理部３４Lは、中距離動体検出処理部３４Mで用いる画像と等しい高解像度の画像と、過去画像として遠い過去の画像（例えば５フレーム前）を用いて動体検出を行う。
【００６５】
図１０は、動体が近距離である場合を説明するための図である。なお、図１０において、実線は現画像における動体ＯＢ、破線は過去画像における動体ＯＢをそれぞれ示しており、動体ＯＢの移動後の位置を現画像から検出して動きベクトルを算出する場合を示している。また、後述する図１１、図１２も同様である。
【００６６】
図１０の（Ａ）に示すように、低解像度の画像を用いて動体検出を行う場合、一点鎖線で示す領域をテンプレートマッチングの探索範囲ＳＡとすれば、動体検出処理部は、動体ＯＢの動きベクトルを求めることができる。しかし、図１０の（Ｂ）に示すように、高解像度の画像を用いて、低解像度の画像を用いた場合と等しいサイズである一点鎖線で示す領域をテンプレートマッチングの探索範囲ＳＡとすると、動体検出処理部は、動体の動きベクトルを求めることができない。このため、高解像度の画像を用いる場合、特徴点検出部３４１や特徴点追跡部３４３は、例えば二点鎖線で示す広い探索範囲ＳＢを設けなければ動体の動きベクトルを算出できないことから、動きベクトルの算出に時間を要してしまう。また、通過する動体が近距離である場合、動体の画像は動体が離れている場合に比べて大きい。したがって、近距離動体検出処理部３４Sは、低解像度の画像を用いて近距離の動体の検出を行う。
【００６７】
図１１は、動体が中距離である場合を説明するための図である。図１１の（Ａ）に示すように、低解像度の画像を用いて動体検出を行う場合、中距離の動体は、現画像と過去画像との間で低解像度の画像における移動距離が少ない。このため、動体検出処理部は、動体の動きベクトルを精度よく求めることが困難となる。しかし、図１１の（Ｂ）に示すように、高解像度の画像を用いると、現画像と過去画像との間で高解像度の画像における動体の移動距離は、低解像度の画像における移動距離よりも大きくなる。このため、動体検出処理部は、動体の動きベクトルを精度よく求めることができるようになる。したがって、中距離動体検出処理部３４Mは、高解像度の画像を用いて中距離の動体の検出を行う。
【００６８】
図１２は、動体が遠距離である場合を説明するための図である。図１２の（Ａ）に示すように、低解像度の画像を用いて動体検出を行う場合、遠距離の動体は、現画像と過去画像との間で低解像度の画像における移動距離が少ない。また、動体の画像サイズは、動体が中距離である場合に比べて小さくなる。このため、動体検出処理部は、動体の動きベクトルを精度よく求めることが困難となる。また、図１２の（Ｂ）に示すように、高解像度の画像を用いると、現画像と過去画像との間で高解像度の画像における動体の移動距離は、低解像度の画像における移動距離よりも大きくなる。しかし、現画像と近い過去画像との間では、高解像度の画像を用いても移動距離が少ない。このため、図１２の（Ｃ）に示すように、過去画像として遠い過去画像すなわち現画像と過去画像との時間間隔を長くして移動距離を大きくすれば、動体検出処理部は、動体の動きベクトルを精度よく求めることができる。したがって、遠距離動体検出処理部３４Lは、高解像度の画像を用いるだけでなく、遠い過去画像を用いて遠距離の動体の検出を行う。
【００６９】
このように、検出処理部３４は、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lで上述のように動体検出を行うことから、動体が近距離であるか中距離であるか遠距離であるかにかかわらず動体を安定して検出できる。
【００７０】
さらに、近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lは、それぞれ特徴点を検出して、検出した特徴点の追跡結果に基づいて動体検出を行うことから、安定して動体の検出を行うことができる。
【００７１】
なお、第１の実施の形態では近距離、中距離、遠距離という３段階で処理を行っているが、解像度や時間間隔をさらに細かく区分ことで、４段階や５段階等のように段階を増やすことができる。この段階を増やすという処理により、広い範囲速度に対応して検知が可能な処理を行うことができるようになる。
【００７２】
また、画像上における動き量は、動体が近接しているとき大きく、動体が遠方であるとき小さい。したがって、動体検出処理部は、動きベクトルの探索範囲を制御して、動体の遠近状態に対する動体検出特性を異なるようにしてもよい。
【００７３】
さらに、動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させることで、動体の移動速度にかかわらず安定して動体を検出できる。例えば、動体の移動速度が速いと、特徴点が探索範囲を超えて移動してしまい、動体検出処理部は、特徴点を追跡できなくなってしまう。しかし、現画像と過去画像との時間間隔を短くすれば、特徴点が移動しても探索範囲内となり、動体検出処理部は、追跡結果に基づいて動体を検出できるようになる。また、動体の移動速度が遅いと、低解像度の画像から動きベクトルを精度よく算出することが困難となり、動体検出処理部は、特徴点の登録や追跡を安定して行うことができない。しかし、高解像度の画像を用いれば、低解像度の画像から動きベクトルを算出する場合に比べて精度よく動きベクトルを算出すること可能となるので、動体検出処理部は、特徴点の登録や追跡を安定して行うことができる。さらに、探索範囲を広くすれば、動体検出処理部は、移動速度の速い動体を検出できるようになる。すなわち、動体検出処理部は、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させることで、動体の移動速度にかかわらず安定して動体を検出できるようになる。
【００７４】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。上述の動体検出部３０は、検出処理部３４の近距離動体検出処理部３４Sと中距離動体検出処理部３４Mと遠距離動体検出処理部３４Lが個々に動体検出を行っている。このため、例えば中距離動体検出処理部３４Mで検出できる動体を近距離動体検出処理部３４Sでも検出したり、遠距離動体検出処理部３４Lで検出できる動体を中距離動体検出処理部３４Mでも検出したり、検出動作が重複してしまう場合ある。そこで、第２の実施の形態では、他の動体検出部で行われる動体検出の設定情報を利用して、他の動体検出処理部で検出される動体が重複して検出されることが少なくなり、効率よく動体検出を行うことができる動体検出部について説明する。
【００７５】
「２−１．動体検出部の他の構成」
図１３は、動体検出部の他の構成を示している。なお、図１３において、図３と対応する部分については同一符号を付し、詳細な説明は省略する。
【００７６】
動体検出部３０ａの検出処理部３４aは、例えば近距離動体検出処理部３４Saと中距離動体検出処理部３４Maおよび遠距離動体検出処理部３４Laを有している。近距離動体検出処理部３４Saと中距離動体検出処理部３４Maおよび遠距離動体検出処理部３４Laは、過去画像保持部３２に保持されている過去画像の画像信号と、信号処理部１２，２２から供給された現画像の画像信号を用いて動体検出を行う。近距離動体検出処理部３４Saは、近接している動体の検出を行うことができるように動体検出の設定を行う。遠距離動体検出処理部３４Laは、離れている動体の検出を行うことができるように動体検出の設定を行う。また、中距離動体検出処理部３４Maは、近距離動体検出処理部３４Saで検出する近接した動体と、遠距離動体検出処理部３４Laで検出する離れた動体との中間に位置する動体の検出を行うことができるように動体検出の設定を行う。
【００７７】
さらに、近距離動体検出処理部３４Saと中距離動体検出処理部３４Maおよび遠距離動体検出処理部３４Laは、他の動体検出処理部で行われる動体検出の設定情報を利用して、他の動体検出部と重複しないように動体検出を行う。他の動体検出処理部で行われる動体検出の設定情報としては、例えば検出可能な動きに関する情報や探索範囲に関する情報や過去画像の情報を用いる。
【００７８】
「２−２．動体検出方法」
次に、特徴点検出部３４１で他の動体検出処理部から供給された検出可能な動きに関する情報を利用する場合について説明する。高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部において、例えば画像のフレームレートが等しく、高解像度の画像は低解像度の画像に対して２倍の解像度とする。この場合、高解像度の画像を用いる動体検出処理部において動き量がＮピクセルの動きを検出する処理は、低解像度の画像を用いる動体検出処理部において動き量が（Ｎ／２）ピクセルの動きを検出する処理に相当する。したがって、高解像度の画像を用いる動体検出処理部において、Ｎピクセルまでの動き量が検出可能である場合、低解像度の画像を用いる動体検出処理部は、（Ｎ／２）ピクセルのまでの動き量を示す位置は特徴点として登録しないようにする。
【００７９】
このようにすれば、特徴点登録部３４２に登録される特徴点を削減できるので、特徴点追跡部３４３の演算を削減することが可能となり、動体検出を高速に行うことができる。
【００８０】
また、低解像度の画像を用いる動体検出処理部は、（Ｎ／２）ピクセルよりも少ない動き量を基準として、この基準よりも動き量が大きい位置を特徴点として登録してもよい。この場合、高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部とで、動体検出を一部重複させることが可能となり、動体検出部３０ａは、安定した動体検出を行うことができる。
【００８１】
次に、特徴点追跡部３４３で他の動体検出処理部から供給された探索範囲を示す情報を利用する場合について図１４を用いて説明する。高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部において、画像フレームレートが等しく、高解像度の画像は例えば低解像度の画像に対して２倍の解像度とする。また、図１４に示すように、高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部における特徴点追跡部の探索範囲ＳＡをそれぞれ（Ｊ×Ｋ）ピクセルとする。この場合、図１４の（Ｂ）に示す高解像度の画像に対する探索範囲ＳＡは、図１４の（Ａ）に示すように低解像度の画像に対する探索範囲ＳＡに含まれる斜線で示す範囲ＳＣに相当する。すなわち、中解像度の画像に対する探索範囲は、（Ｊ×Ｋ）ピクセルの探索範囲ＳＡから高解像度の画像に対する探索範囲（（Ｊ／２）×（Ｋ／２））相当する範囲ＳＣを除外した範囲（Ｊ×Ｋ−（（Ｊ／２）×（Ｋ／２）））で行えばよい。このように探索範囲を設定すると、探索範囲を削減できることから、動体検出部３０ａは、特徴点の追跡を高速に行うことができるようになる。
【００８２】
また、低解像度の画像を用いる動体検出処理部は、範囲ＳＣよりも小さい範囲を除外してもよい。この場合、高解像度の画像を用いる動体検出処理部と低解像度の画像を用いる動体検出処理部とで、動体検出を一部重複させることが可能となり、動体検出部３０ａは、安定した動体検出を行うことができる。
【００８３】
次に、特徴点追跡部３４３で他の動体検出処理部から供給された過去画像の情報を利用する場合について説明する。近い過去画像を用いる動体検出処理部と遠い過去画像を用いる動体検出処理部において、近い過去画像がＨフレーム前の画像であり遠い過去画像が例えば５Ｈフレーム前の画像とする。
【００８４】
この場合、遠い過去画像の探索範囲が（Ｊ×Ｋ）ピクセルであるとすると、近い過去画像は、遠い過去画像に対してフレーム間隔が（１／５）の期間であり、動きを（１／５）と考えると、遠い過去画像を用いるときの探索範囲は、近い過去画像を用いるとき、（（Ｊ／５）×（Ｋ／５））ピクセルの範囲に相当する。したがって、近い過去画像を用いる特徴点追跡部は、（Ｊ×Ｋ）ピクセルの探索範囲から近い過去画像の時間間隔に対応する（（Ｊ／５）×（Ｋ／５））の範囲を除外した（（Ｊ−Ｊ／５）×（Ｋ−Ｋ／５））の範囲で行えばよい。このように探索範囲を設定すると、探索範囲を削減できることから、動体検出部３０ａは、特徴点の追跡を高速に行うことができるようになる。
【００８５】
また、近い過去画像を用いる動体検出処理部は、（（Ｊ／５）×（Ｋ／５））ピクセルの範囲よりも小さい範囲を除外すれば、近い過去画像を用いる動体検出処理部と遠い過去画像を用いる動体検出処理部とで、動体検出を一部重複させることが可能となり、安定した動体検出を行うことができる。
【００８６】
＜３．ソフトウェア処理で動体検出を行う場合の構成＞
また、上述した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、プログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させる。
【００８７】
図１５は、上述した処理をプログラムにより実行するコンピュータの構成を例示した図である。コンピュータ装置６０のＣＰＵ６１（Central Processing Unit）は、ＲＯＭ（Read Only Memory)６２、または記録部６９に記録されているプログラムにしたがって各種の処理を実行する。
【００８８】
ＲＡＭ６３（Random Access Memory）には、ＣＰＵ６１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス６４により相互に接続されている。
【００８９】
ＣＰＵ６１にはまた、バス６４を介して入出力インタフェース６５が接続されている。入出力インタフェース６５には、タッチパネルやキーボード、マウス、マイクロフォンなどのユーザインタフェース部６６、画像信号を入力するための入力部６７、ディスプレイなどよりなる出力部６８が接続されている。ＣＰＵ６１は、ユーザインタフェース部６６から入力される指令に対応して、入力部６７から入力された画像信号を用いて各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果を出力部６８に出力する。
【００９０】
入出力インタフェース６５に接続されている記録部６９は、例えばハードディスクからなり、ＣＰＵ６１が実行するプログラムや各種のデータを記録する。通信部７０は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。
【００９１】
ドライブ７１は、リムーバブルメディア７２が装着されたとき、それらを駆動して、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じてＲＯＭ６２やＲＡＭ６３または記録部６９に転送される。
【００９２】
なお、プログラムは、例えばハードディスクやＲＯＭ（Read Only Memory)に予め記録しておく。または、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア７２に、一時的あるいは永続的に格納（記録）しておき、ドライブ７１で読み出すようにする。さらに、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、通信部７０を介して転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールするようにしてもよい。
【００９３】
ＣＰＵ６１は、プログラムを実行して、コンピュータ装置６０を、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出機能手段として機能させる。また、動体検出機能手段では、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出機能手段と相違させて動体の検出を行う。
【００９４】
このようにすれば、入力部６７から入力された画像信号や、通信部７０を介して供給された画像信号に基づいて、動体までの距離や動体の移動速度にかかわらず安定して動体検出を行うことができる。
【００９５】
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、座標指定部３３で指定される位置は、図６に示すように画像の中央部分だけでなく、例えば左右に移動する動体を検出する場合には、画像の左右の端部側に設定してもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【００９６】
この発明の動体検出装置と動体検出方法およびプログラムでは、複数の動体検出処理部で、現画像と過去画像を用いて算出した動きベクトルに基づき動体検出が行われる。動体検出処理部では、現画像と過去画像の解像度と、現画像と過去画像との時間間隔と、動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出が行われる。したがって、複数の動体検出処理部は、動体の遠近状態や移動速度に対する動体検出特性が互いに異なる特性となる。このため、動体までの距離や動体の移動速度にかかわらず安定して動体を検出できるようになるので、監視装置や侵入検知システム等に適している。
【符号の説明】
【００９７】
１０・・・撮像装置、１１・・・撮像部、１２，２２・・・信号処理部、１３，２３・・・符号化処理部、２０・・・画像処理装置、２１・・・画像入力部、２３・・・符号化処理部、３０，３０ａ・・・動体検出部、３１・・・解像度変換部、３２・・・過去画像保持部、３３・・・座標指定部、３４，３４ａ・・・検出処理部、３４L，３４La・・・遠距離動体検出処理部、３４M，３４Ma・・・中距離動体検出処理部、３４S，３４Sa・・・近距離動体検出処理部、３５・・・検出結果処理部、４０・・・伝送部、６０・・・コンピュータ装置、６１・・・ＣＰＵ、６２・・・ＲＯＭ、６３・・・ＲＡＭ、６４・・・バス、６５・・・入出力インタフェース、６６・・・ユーザインタフェース部、６７・・・入力部、６８・・・出力部、６９・・・記録部、７０・・・通信部、７１・・・ドライブ、７２・・・リムーバブルメディア、３４１・・・特徴点検出部、３４２・・・特徴点登録部、３４３・・・特徴点追跡部、３４４・・・特徴点削除部、３４５・・・判定部
【特許請求の範囲】
【請求項１】
現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出処理部を備え、
前記動体検出処理部は、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出を行う動体検出装置。
【請求項２】
前記動体検出処理部は、
指定した複数の位置において、動き量が所定量以上となる位置を特徴点とする特徴点検出部と、
時間の経過に伴い前記特徴点がいずれの位置に移動するか追跡する特徴点追跡部と、
予め設定した判定基準を用いて前記特徴点の追跡結果から不要な特徴点を削除する特徴点削除部と、
削除されていない前記特徴点に基づき動体を検出したか否か判定する判定部とを備える
請求項１記載の動体検出装置。
【請求項３】
前記特徴点削除部は、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを用いて判定を行い不要な特徴点を削除する
請求項２記載の動体検出装置。
【請求項４】
前記判定部は、前記特徴点の数と追跡後の位置と移動方向に基づいて、動体を検出したか否か判定する
請求項２記載の動体検出装置。
【請求項５】
前記動体検出処理部は、他の動体検出処理部で行われる動体検出の設定情報に基づき、前記動きベクトルの探索範囲を設定する
請求項１記載の動体検出装置。
【請求項６】
前記動体検出処理部は、前記動体検出の設定情報に基づき前記動きベクトルの探索範囲を調整して、前記他の動体検出処理部で検出される動体が重複して検出されることを少なくする
請求項５記載の動体検出装置。
【請求項７】
前記複数の動体検出処理部の検出結果と統合して、前記複数の動体検出処理部のいずれかで動体が検出されたとき、動体が検出されたことを出力する検出結果処理部をさらに備える
請求項１記載の動体検出装置。
【請求項８】
複数の動体検出処理部のそれぞれで、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う動体検出ステップを有し、
前記動体検出ステップでは、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部で行われる動体検出ステップと相違させて動体の検出を行う動体検出方法。
【請求項９】
コンピュータを、
現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出機能手段として機能させて、
前記動体検出機能手段では、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出機能手段と相違させて動体の検出を行われるためのプログラム。
【請求項１】
現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出処理部を備え、
前記動体検出処理部は、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部と相違させて動体の検出を行う動体検出装置。
【請求項２】
前記動体検出処理部は、
指定した複数の位置において、動き量が所定量以上となる位置を特徴点とする特徴点検出部と、
時間の経過に伴い前記特徴点がいずれの位置に移動するか追跡する特徴点追跡部と、
予め設定した判定基準を用いて前記特徴点の追跡結果から不要な特徴点を削除する特徴点削除部と、
削除されていない前記特徴点に基づき動体を検出したか否か判定する判定部とを備える
請求項１記載の動体検出装置。
【請求項３】
前記特徴点削除部は、特徴点の移動方向と移動速度と位置および追跡期間の少なくともいずれかを用いて判定を行い不要な特徴点を削除する
請求項２記載の動体検出装置。
【請求項４】
前記判定部は、前記特徴点の数と追跡後の位置と移動方向に基づいて、動体を検出したか否か判定する
請求項２記載の動体検出装置。
【請求項５】
前記動体検出処理部は、他の動体検出処理部で行われる動体検出の設定情報に基づき、前記動きベクトルの探索範囲を設定する
請求項１記載の動体検出装置。
【請求項６】
前記動体検出処理部は、前記動体検出の設定情報に基づき前記動きベクトルの探索範囲を調整して、前記他の動体検出処理部で検出される動体が重複して検出されることを少なくする
請求項５記載の動体検出装置。
【請求項７】
前記複数の動体検出処理部の検出結果と統合して、前記複数の動体検出処理部のいずれかで動体が検出されたとき、動体が検出されたことを出力する検出結果処理部をさらに備える
請求項１記載の動体検出装置。
【請求項８】
複数の動体検出処理部のそれぞれで、現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う動体検出ステップを有し、
前記動体検出ステップでは、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出処理部で行われる動体検出ステップと相違させて動体の検出を行う動体検出方法。
【請求項９】
コンピュータを、
現画像と過去画像を用いて算出した動きベクトルに基づいて動体の検出を行う複数の動体検出機能手段として機能させて、
前記動体検出機能手段では、前記現画像と過去画像の解像度と、前記現画像と過去画像との時間間隔と、前記動きベクトルの探索範囲の少なくともいずれかを他の動体検出機能手段と相違させて動体の検出を行われるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１９２１４１（Ｐ２０１１−１９２１４１Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５９１１６（Ｐ２０１０−５９１１６）
【出願日】平成２２年３月１６日（２０１０．３．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１６日（２０１０．３．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]