移動物体検出装置及び方法、並びにプログラム
【課題】夜間など暗い場所でも充分な検出精度を得ることができるようにする。
【解決手段】 画像入力処理部１１は、解析画像のデータを入力し、解析画像内で指定領域を設定する処理を実行する。近距離検出処理部１２は、設定された指定領域を移動する、監視カメラからの第１の範囲の距離の移動物体の像を検出し、遠距離検出処理部１３は、設定された指定領域を移動する、監視カメラから第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する。また、遠距離検出処理部１３は、第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて移動物体の有無を判定する相関判定とを選択的に切り替えて使用する。本発明は、監視システムに適用することができる。
【解決手段】 画像入力処理部１１は、解析画像のデータを入力し、解析画像内で指定領域を設定する処理を実行する。近距離検出処理部１２は、設定された指定領域を移動する、監視カメラからの第１の範囲の距離の移動物体の像を検出し、遠距離検出処理部１３は、設定された指定領域を移動する、監視カメラから第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する。また、遠距離検出処理部１３は、第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて移動物体の有無を判定する相関判定とを選択的に切り替えて使用する。本発明は、監視システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体検出装置及び方法、並びにプログラムに関し、特に、夜間など暗い場所でも充分な検出精度を得られるようにする、移動物体検出装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来から、監視カメラにより所定の空間を監視する監視システムが存在する。このような監視システムは、監視カメラの撮像画像を解析画像として、解析画像のデータを解析することによって、当該監視画像内の指定された領域を移動した移動物体の像を検出する。このような監視システムには、従来、動きベクトルを用いて移動物体の像を検出する手法（例えば特許文献１参照）や、撮像時点と過去の相関を用いて移動物体を検出する手法（例えば、特許文献２，３参照）が多くの場合適用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６００４９号公報
【特許文献２】特許第３５０６９３４号公報
【特許文献３】特開２００７−２５１７２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、監視システムの性質上、検出漏れや誤検出が発生しないようにするため、たとえ夜間など暗い場所でも一定以上の検出精度が要求される。特許文献１乃至３を含め従来の移動物体の検出手法では、当該要求に十分に応えられていない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、夜間など暗い場所でも充分な検出精度を得ることを可能にするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の移動物体検出装置は、カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理手段と、前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出する第１の検出処理手段と、前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する第２の検出処理手段とを備え、前記第２の検出処理手段は、前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する。
【０００７】
前記第２の検出処理手段は、所定の指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、処理手法として決定する処理手法決定手段と、前記処理手法決定手段により前記処理手法として前記動きベクトル判定が決定された場合には、前記動きベクトル判定に従って、前記第２の範囲の距離の移動物体の像を検出する動きベクトル判定手段と、前記処理手法決定手段により前記処理手法として前記相関判定が決定された場合に、前記相関判定に従って、前記第２の範囲の距離の移動物体の像を検出する相関判定手段とを有することができる。
【０００８】
前記第２の検出処理手段は、前記処理手法決定手段が用いる前記指標として、前記指定領域の輝度が一定の基準以下であるかを判定する輝度判定手段をさらに有し、前記処理手法決定手段は、前記指定領域の輝度が一定の基準を超えていると前記輝度判定手段により判定された場合、前記動きベクトル判定を前記処理手法として決定し、前記指定領域の輝度が一定の基準以下であると前記輝度判定手段により判定された場合、前記相関判定を前記処理手法として決定することができる。
【０００９】
前記処理手法決定手段が用いる前記指標を、外部から入力する外部入力手段をさらに備え、前記処理手法決定手段は、前記外部入力手段に入力された前記指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、前記処理手法として決定することができる。
【００１０】
前記第２の検出処理手段によって探索される前記移動物体の像の距離の範囲が複数段階設定されており、前記第２の検出処理手段は、前記複数段階の距離の範囲毎に相互に独立して、前記処理手法として、前記動きベクトル判定と前記相関判定とを選択的に切り替えて使用することができる。
【００１１】
本発明の一側面の移動物体検出方法及びプログラムは、上述した本発明の一側面の移動物体検出装置に対応する方法及びプログラムである。
【００１２】
本発明の一側面の移動物体検出装置及び方法並びにプログラムにおいては、カメラにより撮像された画像である解析画像のデータが入力され、前記解析画像内で指定領域を設定する処理が実行される。設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像が検出され、設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像が検出される。前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とが選択的に切り替えて使用される。
【発明の効果】
【００１３】
以上のごとく、本発明によれば、夜間など暗い場所でも充分な検出精度を得ることが可能になる。
【図面の簡単な説明】
【００１４】
【図１】画像解析装置の機能的構成を示すブロック図である。
【図２】画像解析処理の対象となる解析画像の一例を示す図である。
【図３】探索範囲の分担の一例を示す図である。
【図４】動きベクトルの探索範囲の一例を示す図である。
【図５】検出領域の一例を示す図である。
【図６】画像解析処理の一例を説明するフローチャートである。
【図７】近距離検出処理の一例を説明するフローチャートである。
【図８】遠距離検出処理の一例を説明するフローチャートである。
【図９】本実施形態の画像解析装置を構成要素に含む監視システムの機能的構成例を示すブロック図である。
【図１０】本実施形態の画像解析装置を構成要素に含むシステムの機能的構成例を示すブロック図である。
【図１１】本実施形態の画像解析装置を構成要素に含む他のシステムの機能的構成例を示すブロック図である。
【図１２】４つに区分された各探索範囲での処理手法の一例を示す図である。
【図１３】画像解析装置の他の機能的構成を示すブロック図である。
【図１４】外部入力部を用いた処理手法の切り替えの具体例を説明する図である。
【図１５】本発明が適用される移動物体検出装置のハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明が適用される移動物体検出装置の実施形態として、２つの実施形態（以下、それぞれ第１実施形態および第２実施形態と称する）について説明する。よって、説明は以下の順序で行う。
１．第１実施形態（解析画像の輝度に基づいて処理手法が切り替えられる例）
２．第２実施形態（外部からの切替指示により処理手法が切り替えられる例）
【００１６】
＜１．第１実施形態＞
[画像解析装置の機能的構成]
図１は、本発明が適用される移動物体検出装置の一実施の形態としての画像解析装置の機能的構成を示すブロック図である。
【００１７】
図１の画像解析装置１は、監視システムの監視カメラの撮像画像を解析画像として、解析画像のデータを解析することにより、当該解析画像内の指定された領域（以下、指定領域と称する）内を移動物体の像が移動したかを検出する。このような一連の処理を、以下、画像解析処理と称する。
【００１８】
画像解析装置１は、このような画像解析処理を実行すべく、画像入力処理部１１、近距離検出処理部１２、遠距離検出処理部１３、結果統合部１４、及び結果出力部１５から構成されている。
【００１９】
画像入力処理部１１は、外部から解析画像のデータを入力し、当該解析画像のうち、ユーザ等により監視対象として指定された領域を、指定領域ＦＳとして設定する。
【００２０】
[解析画像の一例]
図２は、画像解析処理の対象となる解析画像の一例を示す図である。図２に示される解析画像４１においては、中央より右側に指定領域ＦＳが設定されている。
【００２１】
なお、画像解析装置１が移動物体の像を検出するために、監視対象としては動画像が採用される。動画像は、フレーム、フィールド等を単位画像として、複数の単位画像が所定の順番で配置されて構成される。このような単位画像のデータが、本実施形態では、解析画像のデータとして画像入力処理部１１に入力される。即ち、本実施形態では、動画像を構成する各単位画像の各々が入力される毎に、画像解析処理がその都度実行され、移動物体の像の有無が検出される。
【００２２】
近距離検出処理部１２及び遠距離検出処理部１３は、解析画像のデータに基づいて、当該解析画像内の指定領域ＦＳを移動物体の像が移動したかを検出する。
【００２３】
[探索範囲の分担の一例]
図３は、近距離検出処理部１２及び遠距離検出処理部１３の探索範囲の分担の一例を示している。
【００２４】
図３に示されるように、監視カメラ６１から一定距離以内の近距離（第１の範囲内の距離）の探索範囲Ｄ１において、図示せぬ移動物体が監視カメラ６１の前を移動して、その移動物体の像が指定領域ＦＳ内を移動した場合、当該移動物体の像は第１の検出処理手段としての近距離検出処理部１２によって検出される。
【００２５】
これに対して、監視カメラ６１から一定距離よりも離れた遠距離（第１の範囲の距離より遠い第２の範囲内の距離）の探索範囲Ｄ２において、図示せぬ移動物体が監視カメラ６１の前を移動して、その移動物体の像が指定領域ＦＳ（より正確には後述する検知領域ＦＦの場合もある）内を移動した場合、当該移動物体の像は第２の検出処理手段としての遠距離検出処理部１３によって検出される。
【００２６】
近距離検出処理部１２における手法としては、撮像時点と過去の画像の相関を用いて移動物体の像の有無を判定することによって、当該移動物体の像を検出する手法が好適である。なお、以下、このような手法を、相関判定と呼ぶ。一方、日中等の一定以上の光量を確保できる場合には、遠距離検出処理部１３における手法としては、動きベクトルを用いて移動物体の像の有無を判定することによって、当該移動物体の像を検出する手法が好適である。なお、以下、このような手法を、動きベクトル判定と呼ぶ。以下、好適な理由について説明する。
【００２７】
つまり、検出すべき移動物体が監視カメラ６１の近傍に存在する場合には、その移動物体の像の指定領域ＦＳ内のサイズは大きくなり、その移動速度が速いと画像内での単位時間当たりの移動距離も長くなり、動きベクトルを求めることが困難である。従って、このような場合に動きベクトル判定を採用すると、検出漏れが発生するおそれがある。これに対して、相関判定では、現在と過去の指定領域ＦＳ内の相関を取るため、このような検出漏れのおそれは少ない。このため、近距離検出処理部１２における手法としては、相関判定が好適であり、本実施形態でも相関判定が採用されている。
【００２８】
即ち、近距離検出処理部１２には、相関判定に従って移動物体の像を検出する相関判定部２１が設けられている。
【００２９】
相関判定部２１は、画像入力処理部１１に現時点で入力された解析画像（以下、現在画像と称する）のデータと、画像入力処理部１１に過去の時点に入力された解析画像（以下、過去画像と称する）のデータとを用いて、次の式（１）の値Rznccを演算する。
【００３０】
【数１】
【００３１】
式（１）において、値Rznccは、正規化相互相関の係数を示している。値Ｏは、現在画像の検出領域内の各画素値を示しており、相関判定部２１の処理では、現在画像の指定領域ＦＳ内の各画素値を示している。値Ｏavgは、現在画像の検出領域内の各画素値の平均値を示しており、相関判定部２１の処理では、現在画像の指定領域ＦＳ内の各画素値の平均値を示している。値Ｐは、過去画像の検出領域内の各画素値を示しており、相関判定部２１の処理では、過去画像の指定領域ＦＳ内の各画素値を示している。値Ｐavgは、過去画像の検出領域内の各画素値の平均値を示しており、相関判定部２１の処理では、過去画像の指定領域ＦＳ内の各画素値の平均値を示している。
【００３２】
正規化相互相関の係数Rznccは、移動物体が検出領域内に含まれたときには小さい値となり、移動物体が検出領域内に含まれていないときには大きい値となる。したがって、相関判定部２１は、例えば正規化相互相関の係数Rznccが閾値よりも小さい値となった場合、指定領域ＦＳ内に移動物体の像が存在し、大きい値となった場合、存在しないと判定することによって、当該移動物体の像を検出する。
【００３３】
しかしながら、このような相関判定は、検出すべき移動物体が監視カメラ６１から遠方に存在する場合には、不適当である。なぜならば、このような場合、その移動物体の像の指定領域ＦＳ内のサイズは小さくなるからである。即ち、このような場合の指定領域ＦＳ内の移動物体のサイズは、例えば監視カメラ６１の近傍に存在する木々の揺れ等の像のサイズと同程度になる。従って、相関判定では、指定領域ＦＳに含まれる移動物体の像が、検出すべき移動物体の像であるのか、それとも、木々の揺れ等の像により引き起こされる外乱によるものなのかを判断することが困難になる。従って、このような場合に相関判定を採用すると、誤検出が発生するおそれがある。
【００３４】
これに対して、動きベクトル判定では、指定領域ＦＳに含まれる移動物体の像の動きベクトルが求められるため、即ち、指定領域ＦＳに含まれる移動物体の像の移動速度や移動方向が容易にわかるため、このような誤検出のおそれは少ない。このため、遠距離検出処理部１３における手法としては、原則、動きベクトル判定が好適であり、本実施形態でも動きベクトル判定が採用されている。
【００３５】
ここで、「原則、動きベクトル判定が好適」という記載は、日中等の一定以上の光量を確保できることを前提として、この前提では好適であるという意味である。即ち、夜間等で十分な光量が得られない状態で監視カメラ６１が撮像すると、その結果得られる撮像画像の輝度は小さいものとなる。このような輝度の小さい撮像画像のデータを用いた場合、移動物体の像の動きベクトルの算出精度は悪化し、その結果、移動物体の像の検出精度も低下してしまう。
【００３６】
そこで、本実施形態では、遠距離検出処理部１３における手法としては、解析画像の輝度が基準以上の場合には、動きベクトル判定が採用される一方で、解析画像の輝度が基準未満の場合には、相関判定が採用される。
【００３７】
なお、解析画像の輝度が基準未満の場合、即ち、夜間等で十分な光量が得られない場合には、木々の揺れ等の外乱となる像は、解析画像に映り込まないか、映り込んだとしても検出すべき移動物体の像よりも遥かに輝度が小さくなる。従って、解析画像の輝度が基準未満の場合には、木々の揺れ等の像により引き起こされる外乱を移動物体の像であると誤検出してしまうおそれはほぼ無くなる。従って、解析画像の輝度が基準未満の場合であれば、遠距離検出処理部１３に対して相関判定を採用しても、誤検出のおそれは少ない。
【００３８】
このように、遠距離検出処理部１３は、動きベクトル判定と相関判定のうち、処理に用いる手法（以下、処理手法と称する）を解析画像の輝度に基づいて決定し、決定した処理手法に従って移動物体の像を検出する。
【００３９】
このため、図１に示されるように、遠距離検出処理部１３は、輝度判定部３１、処理手法決定部３２、動きベクトル判定部３３、及び相関判定部３４から構成されている。
【００４０】
輝度判定部３１は、画像入力処理部１１から出力された解析画像のデータに基づいて、当該解析画像の指定領域ＦＳの輝度が一定の基準以下であるかを判定する。具体的には例えば、輝度判定部３１は、指定領域ＦＳ内の各画素のうち、輝度値が基準値以下の画素の数をカウントする。輝度判定部３１は、カウントした画素の数が閾値より大きい場合に、指定領域ＦＳの輝度が一定の基準以下であると判定する。これに対して、輝度判定部３１は、カウントした画素の数が閾値以下の場合に、指定領域ＦＳの輝度が一定の基準を超えていると判定する。
【００４１】
処理手法決定部３２は、輝度判定部３１の判定結果に基づいて、動きベクトル判定と相関判定とのうち何れか一方を、処理手法として決定する。即ち、指定領域ＦＳの輝度が一定の基準を超えていると輝度判定部３１により判定された場合、処理手法決定部３２は、動きベクトル判定を処理手法として決定し、画像入力処理部１１から出力された解析画像のデータを動きベクトル判定部３３に供給する。これに対して、指定領域ＦＳの輝度が一定の基準以下であると輝度判定部３１により判定された場合、処理手法決定部３２は、相関判定を処理手法として決定し、画像入力処理部１１から出力された解析画像のデータを相関判定部３４に供給する。
【００４２】
動きベクトル判定部３３は、動きベクトル判定に従って移動物体の像を検出する。例えば、動きベクトル判定部３３は、現在画像の指定領域ＦＳ内の各画素を注目画素に順次設定し、現在画像の注目画素の周囲のブロック（以下、注目ブロックと称する）を設定する。次に、動きベクトル判定部３３は、注目ブロックに対応する過去画像内のブロック（以下、対応ブロックと称する）を探索する。そして、動きベクトル判定部３３は、現在画像と過去画像とを重ね合せた場合（同一座標系とした場合）における、対応ブロックから注目ブロックまでのベクトルを、注目画素の動きベクトルとして検出する。
【００４３】
[動きベクトルの探索範囲の一例]
図４は、対応ブロックの探索範囲、即ち動きベクトルの探索範囲の一例を示している。図４に示されるように、探索範囲ＦＶは、解析画像４１のうち、指定領域ＦＳの周囲であって、指定領域ＦＳよりも大きな範囲が設定される。なお、図４の探索範囲ＦＶは例示であり、解析画像４１内の任意の範囲を別途探索範囲として採用してもよい。
【００４４】
以上説明した動きベクトルの検出手法は、一般的にはブロックマッチング法と称されている。当然ながらブロックマッチング法は例示であり、その他の任意の手法、例えば勾配法を採用することもできる。
【００４５】
相関判定部３４は、相関判定に従って移動物体の像を検出する。即ち、相関判定部３４は、近距離検出処理部１２の相関判定部２１と基本的に同様の処理を実行する。ただし、上述した式（１）の正規化相互相関の係数Rznccを求めるために用いられる検出領域が、遠距離検出処理部１３の相関判定部３４と、近距離検出処理部１２の相関判定部２１とでは異なる。
【００４６】
[正規化相互相関の係数を求めるために用いられる検出領域の一例]
図５は、正規化相互相関の係数Rznccを求めるために用いられる検出領域の一例を示している。近距離検出処理部１２の相関判定部２１では、上述したように、指定領域ＦＳがそのまま検出領域として用いられる。これに対して、遠距離検出処理部１３の相関判定部３４では、指定領域ＦＳよりも小さいサイズの領域ＦＦが検出領域として用いられる。このように検出領域のサイズを小さくすることで、検出すべき移動物体の像の占める割合が大きくなるため、その分だけ、より遠距離に存在する移動物体の像の検出が可能になる。なお、このように検出領域のサイズを小さくしても、遠距離検出処理部１３の相関判定部３４は輝度が一定の基準以下の場合に動作するため、木々の揺れ等の像が外乱になることに起因して誤検出が発生するおそれはほぼ無くなる。
【００４７】
以上、動きベクトル判定と相関判定とを選択可能な遠距離検出処理部１３の機能的構成について説明した。図１に示されるように、このような遠距離検出処理部１３の検出結果は、近距離検出処理部１２の検出結果と共に、結果統合部１４に供給される。
【００４８】
結果統合部１４は、近距離検出処理部１２の検出結果と、遠距離検出処理部１３の検出結果とを統合して、その統合結果を結果出力部１５に供給する。結果出力部１５は、統合結果を、画像解析装置１からの最終的な検出結果として出力する。
【００４９】
例えば、近距離検出処理部１２の検出結果と、遠距離検出処理部１３の検出結果のうち少なくとも一方が、移動物体を検出したという結果の場合、「移動物体あり」という統合結果が、結果統合部１４によって得られ、結果出力部１５から出力される。
【００５０】
これに対して、例えば、近距離検出処理部１２の検出結果と、遠距離検出処理部１３の検出結果との何れもが、移動物体を検出していないという結果の場合、「移動物体なし」という統合結果が、結果統合部１４によって得られ、結果出力部１５から出力される。
【００５１】
[画像解析処理]
次に、図６を参照して、このような機能的構成を有する画像解析装置１の処理として、画像解析処理について説明する。
【００５２】
図６は、画像解析処理の一例を説明するフローチャートである。
【００５３】
上述したように、画像解析装置１が移動物体の像を検出するために、監視対象としては動画像が採用される。このような動画像は、例えば、図３の監視カメラ６１等により所定時間間隔毎に撮像された複数の単位画像から構成される。このため、このような動画像を構成する複数の単位画像の各々のデータが、図３の監視カメラ６１等から出力される毎に、画像解析処理はその都度実行される。
【００５４】
ステップＳ１において、図１の画像解析装置１の画像入力処理部１１は、監視カメラ６１等から出力された単位画像を解析画像として、解析画像のデータを入力して、当該解析画像内に指定領域を設定する。
【００５５】
ステップＳ２及びステップＳ３において、近距離検出処理部１２及び遠距離検出処理部１３は、近距離検出処理と遠距離検出処理とを並行して実行する。
【００５６】
ここで、近距離検出処理とは、近距離検出処理部１２が移動物体の像を検出するまでの一連の処理をいう。近距離検出処理の詳細については、図７のフローチャートを参照して後述する。一方、遠距離検出処理とは、遠距離検出処理部１３が移動物体の像を検出するまでの一連の処理をいう。遠距離検出処理の詳細については、図８のフローチャートを参照して後述する。
【００５７】
ステップＳ４において、結果統合部１４は、近距離検出処理と遠距離検出処理の結果を統合する。すなわち、近距離検出処理及び遠距離検出処理の両者の検出結果が「移動物体なし」であった場合、統合結果は「移動物体なし」となる。これに対して、近距離検出処理と遠距離検出処理のうちの少なくとも一方の検出結果が「移動物体あり」であった場合、統合結果は「移動物体あり」となる。
【００５８】
ステップＳ５において、結果出力部１５は、ステップＳ４の統合結果を、画像解析装置１の最終的な検出結果として出力する。これにより、画像解析処理は終了する。
【００５９】
[近距離検出処理]
次に、図７を参照して、このような画像解析処理のステップＳ２の処理の一部として、図１の画像解析装置１の近距離検出処理部１２により実行される近距離検出処理について説明する。
【００６０】
図７は、近距離検出処理の一例を説明するフローチャートである。
【００６１】
ステップＳ２１において、近距離検出処理部１２の相関判定部２１は、図６のステップＳ１の処理で入力された解析画像のデータに対して、相関判定を実行する。なお、「相関判定を実行する」とは、相関判定に従って移動物体の像を検出することを意味する。
【００６２】
ステップＳ２２において、相関判定部２１は、ステップＳ２１の相関判定の処理の結果を出力する。
【００６３】
ステップＳ２１の相関判定の処理で移動物体の像が検出されなかった場合、ステップＳ２２において相関判定部２１は、「移動物体なし」の結果を出力し、近距離検出処理は終了する。この場合、後述する図８の遠距離検出処理の結果も「移動物体なし」の場合、図６の画像解析処理の最終的な結果としても、ステップＳ５の処理で「移動物体なし」が出力される。一方、後述する図８の遠距離検出処理により「移動物体あり」の結果が出力されたときには、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００６４】
これに対して、ステップＳ２１の相関判定の処理で移動物体の像が検出された場合、ステップＳ２２において相関判定部２１は、「移動物体あり」の検出結果を出力し、近距離検出処理は終了する。この場合、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の結果が出力される。
【００６５】
ステップＳ２２において、ステップＳ２１の処理の結果が出力されると、処理は図６のステップＳ４に進む。
【００６６】
以上、図７を参照して、図６の画像解析処理のステップＳ２の処理として、図１の画像解析装置１の近距離検出処理部１２により実行される近距離検出処理について説明した。次に、図８を参照して、画像解析処理のステップＳ３の処理として、図１の画像解析装置１の遠距離検出処理部１３により実行される近距離検出処理について説明する。
【００６７】
[遠距離検出処理]
図８は、遠距離検出処理の一例を説明するフローチャートである。
【００６８】
ステップＳ４１において、遠距離検出処理部１３の輝度判定部３１は、図６のステップＳ１の処理で入力された解析画像のデータに基づいて、当該解析画像の輝度が一定の基準以下であるかを判定する。
【００６９】
解析画像の輝度が一定の基準を超えていると輝度判定部３１により判定された場合、処理手法決定部３２は、動きベクトル判定を処理手法として決定し、ステップＳ１の処理で入力された解析画像のデータを動きベクトル判定部３３に供給する。このような場合、ステップＳ４１の処理でＮＯであると判定されて、処理はステップＳ４２に進む。
【００７０】
ステップＳ４２において、動きベクトル判定部３３は、解析画像のデータに対して、動きベクトル判定を実行する。なお、「動きベクトル判定を実行する」とは、動きベクトル判定に従って移動物体の像を検出することを意味する。
【００７１】
ステップＳ４４において、動きベクトル判定部３３は、ステップＳ４２の動きベクトル判定の処理の結果を出力する。
【００７２】
ステップＳ４２の動きベクトル判定の処理で移動物体の像が検出されなかった場合、ステップＳ４４において動きベクトル判定部３３は、「移動物体なし」の結果を出力し、遠距離検出処理は終了する。この場合、上述した図７の近距離検出処理の結果も「移動物体なし」の場合、図６の画像解析処理の最終的な結果としても、ステップＳ５の処理で「移動物体なし」が出力される。一方、上述した図７の近距離検出処理から「移動物体あり」の結果が出力されたときには、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００７３】
これに対して、ステップＳ４２の動きベクトル判定の処理で移動物体の像が検出された場合、ステップＳ４４において動きベクトル判定部３３は、「移動物体あり」の検出結果を出力し、遠距離検出処理は終了する。この場合、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００７４】
以上、解析画像の輝度が一定の基準を超えて、ステップＳ４１の処理でＮＯであると判定された以降の処理、即ち動きベクトル判定が実行される場合の処理について説明した。
【００７５】
これに対して、解析画像の輝度が一定の基準以下であると輝度判定部３１により判定された場合、処理手法決定部３２は、相関判定を処理手法として決定し、ステップＳ１の処理で入力された解析画像のデータを相関判定部３４に供給する。このような場合、ステップＳ４１の処理ＹＥＳであると判定されて、処理はステップＳ４３に進む。
【００７６】
ステップＳ４３において、相関判定部３４は、解析画像のデータに対して、相関判定を実行する。なお、「相関判定を実行する」とは、相関判定に従って移動物体の像を検出することを意味する。
【００７７】
ステップＳ４４において、相関判定部３４は、ステップＳ４３の相関判定の処理の結果を出力する。
【００７８】
ステップＳ４３の相関判定の処理で移動物体の像が検出されなかった場合、ステップＳ４４において相関判定部２１は、「移動物体なし」の結果を出力し、遠距離検出処理は終了する。この場合、上述した図７の近距離検出処理の結果も「移動物体なし」の場合、図６の画像解析処理の最終的な結果としても、ステップＳ５の処理で「移動物体なし」が出力される。一方、上述した図７の近距離検出処理から「移動物体あり」の結果が出力されたときには、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００７９】
これに対して、ステップＳ４３の相関判定の処理で移動物体の像が検出された場合、ステップＳ４４において相関判定部２１は、「移動物体あり」の検出結果を出力し、遠距離検出処理は終了する。この場合、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００８０】
ステップＳ４４において、ステップＳ４２またはステップＳ４３の処理の結果が出力されると、処理は図６のステップＳ４に進む。
【００８１】
このように、画像解析装置１は、解析画像の指定領域ＦＳ内を移動する移動物体の像として、近距離の移動物体の像と、遠距離の移動物体の像とを区別して検出することができる。具体的には、画像解析装置１は、近距離の移動物体の像を検出する処理は、常に相関判定に従って行う。一方、解析画像の輝度が一定の基準を超えている場合、動きベクトル判定に従って遠距離の移動物体の像が検出される。これにより、日中等の明るい環境の場合には、木々の揺れの像等の外乱に対して頑健となり、安定した移動物体の像の検出が可能になる。
【００８２】
さらに、画像解析装置１は、解析画像の輝度が一定の基準以下になると、遠距離の移動物体の像を検出するために用いる処理手法を、動きベクトル判定から相関判定に切り替える。輝度変化に対しての頑健性は、相関判定の方が動きベクトル判定よりも優れている。一方で、相関判定が苦手とする木々の揺れ等の外乱は、夜間等の暗い環境のため解析画像の輝度が一定の基準以下の場合には、そもそも解析画像に映り込まないか、映り込んでも輝度が非常に小さくなっているため、誤検出のおそれも少ない。従って、夜間等の暗い環境のため解析画像の輝度が一定の基準以下となっても、安定した移動物体の像の検出を維持することが可能になる。
【００８３】
このような画像解析装置１は、上述した監視システムに適用できることは勿論のこと、その他各種各様の分野に適用することが可能である。以下、図９乃至図１１を参照して、画像解析装置１の適用の例を幾つか説明する。
【００８４】
[画像解析装置１の適用の例１]
図９は、本実施形態の画像解析装置を構成要素に含む監視システムの機能的構成例を示すブロック図である。
【００８５】
図９の監視システム８１は、撮像部９１、撮像信号処理部９２、撮像データ処理部９３、上述した本実施形態の画像解析装置１からなる画像解析部９４、及び伝送部９５から構成されている。
【００８６】
撮像部９１は、主にCCD（Charge Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）等の撮像素子やレンズからなり、具体的には例えば図３の監視カメラ６１からなり、移動物体等を撮像し、その結果得られる撮像信号を出力する。
【００８７】
撮像信号処理部９２は、撮像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、撮像信号処理部９２からは、デジタルの撮像信号、即ち、撮像画像のデータが出力されて、撮像データ処理部９３と画像解析部９４とに供給される。
【００８８】
撮像データ処理部９３は、撮像画像のデータをネットワークに流すための形態に変換する処理、例えば、撮像画像のデータの圧縮符号化処理を施す。
【００８９】
画像解析部９４は、画像解析装置１の説明として上述したように、撮像信号処理部９２から出力される撮像画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域ＦＳ内を移動する移動物体の像を検出する。
【００９０】
伝送部９５は、撮像データ処理部９３により符号化された画像データ及び画像解析部９４の解析結果を多重化してネットワークに伝送する。
【００９１】
[画像解析装置１の適用の例２]
図１０は、本実施形態の画像解析装置を構成要素に含むシステムであって、監視カメラ以外の外部からの画像信号をネットワーク上のストリームに変更するシステムの機能的構成例を示すブロック図である。
【００９２】
図１０のシステム１１１は、画像入力部１２１、画像信号処理部１２２、画像データ処理部１２３、上述した本実施形態の画像解析装置１からなる画像解析部１２４、及び伝送部１２５から構成されている。
【００９３】
画像入力部１２１は、監視カメラ以外の外部からの画像信号、例えばアナログカメラからの画像信号を入力する。
【００９４】
画像信号処理部１２２は、撮像信号処理部９２と同様に、画像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、画像信号処理部１２２からは、デジタルの画像信号、即ち、画像のデータが出力されて、画像データ処理部１２３と画像解析部１２４とに供給される。
【００９５】
画像データ処理部１２３は、撮像データ処理部９３と同様に、画像のデータをネットワークに流すための形態に変換する処理、例えば、画像のデータの圧縮符号化処理を施す。
【００９６】
画像解析部１２４は、画像解析装置１の説明として上述したように、画像信号処理部１２２から出力される画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域ＦＳ内を移動する移動物体の像を検出する。
【００９７】
伝送部１２５は、伝送部９５と同様に、画像データ処理部１２３により符号化された画像データ及び画像解析部１２４の解析結果を多重化してネットワークに伝送する。
【００９８】
[画像解析装置１の適用の例３]
図１１は、本実施形態の画像解析装置を構成要素に含む他のシステムの機能的構成例を示すブロック図である。
【００９９】
図１１のシステム１４１は、アナログ信号とデータ（デジタルの信号）との形態の違いによらず、処理した信号を保存するレコーダや、処理した信号に基づいてアラームを出力する専用装置やパーソナルコンピュータを含むシステムである。
【０１００】
図１１のシステム１４１は、画像入力部１５１、画像信号処理部１５２、上述した本実施形態の画像解析装置１からなる画像解析部１５３、及び伝送部１５４から構成されている。
【０１０１】
画像入力部１５１は、画像入力部１２１と同様に、監視カメラ以外の外部からの画像信号を入力する。
【０１０２】
画像信号処理部１５２は、撮像信号処理部９２や画像信号処理部１２２と同様に、画像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、画像信号処理部１５２からは、デジタルの画像信号、即ち、画像のデータが出力されて、画像解析部１５３に供給される。
【０１０３】
画像解析部１５３は、画像解析装置１の説明として上述したように、画像信号処理部１５２から出力される画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域ＦＳ内を移動する移動物体の像を検出する。
【０１０４】
伝送部１５４は、画像解析部１５３の解析結果をネットワークに伝送する。
【０１０５】
このような各種各様の分野に適用可能な本発明の実施形態は、上述した実施形態に特に限定されず、様々な実施の形態を取ることが可能である。
【０１０６】
例えば、上述した実施形態では、移動物体の像の探索範囲は、図３に示されるように、近距離の探索範囲Ｄ１と遠距離の探索範囲Ｄ２との２種類であった。しかしながら、移動物体の像の探索範囲の種類数は、特に２種類に限定されず、任意でよい。
【０１０７】
[各探索範囲での処理手法の一例]
図１２は、移動物体の像の探索範囲として４つに区分された場合の、各探索範囲での処理手法の一例を示している。
【０１０８】
図１２に示されるように、監視カメラ６１から一定距離以内の近距離の探索範囲Ｄ１は図３と同様である。一方で、図３の遠距離の探索範囲Ｄ２と同一の範囲が、監視カメラ６１から近い方の順に、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３といった３つの探索範囲に区分されている。第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３の各々では、相互に独立して移動物体の像の検出が行われる。この場合、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３の各々では、解析画像の輝度が一定の基準以下であるかが相互に独立して判定される。そして、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３のうち、輝度が一定の基準を超えている探索範囲の各々では、処理手法として動きベクトル判定が採用される。これに対して、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３のうち、輝度が一定の基準以下の探索範囲の各々では、処理手法として相関判定が採用される。
【０１０９】
また、上述したように、近距離の探索範囲Ｄ１では、指定領域ＦＳがそのまま検出領域として用いられる。これに対して、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３のうち、輝度が一定の基準以下の探索範囲で、処理手法として相関判定が採用された場合、指定領域ＦＳよりも小さいサイズの領域ＦＦが検出領域として用いられる。このとき、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３で検出領域として用いられる領域ＦＦは、それぞれ領域ＦＦ１、領域ＦＦ２、及び領域ＦＦ３とされ、検出領域のサイズは、この順に次第に小さくなる。このように、監視カメラ６１からより遠い範囲ほど、検出領域のサイズを小さくすることで、より遠距離に存在する移動物体の像の検出が可能になる。
【０１１０】
換言すると、図示はしないが、図１の遠距離検出処理部１３と基本的に同様の機能と構成を有する機能ブロックが、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３の各々の移動物体の検出用として相互に独立してそれぞれ設けられる。
【０１１１】
なお、この場合、別の移動物体の像の検出手法を組み合わせて採用してもよい。例えば、探索範囲に応じて解像度を変える手法を採用することができる。当該手法を採用した場合、例えば第２探索範囲Ｄ２１では低解像度を用いるのに対して、第３探索範囲Ｄ２２及び第４探索範囲Ｄ２３では高解像度を用いるといったことが可能になる。また例えば、探索範囲に応じてフレームレートを変える手法を採用することができる。当該手法を採用した場合、例えば第２探索範囲Ｄ２１及び第３探索範囲Ｄ２２では高フレームレートを用いるのに対して、第４探索範囲Ｄ２３では低フレームレートを用いるといったことが可能になる。
【０１１２】
このように、別の移動物体の像の検出手法を適宜組み合わせることで、木々などの外乱に対してより一段と頑健になると共に、屋内だけでなく屋外においても移動物体の像の検出が可能になる。
【０１１３】
また例えば、上述した実施形態では、遠距離に存在する移動物体の像を検出する場合に用いる処理手法の切り替えは、解析画像の輝度に基づいて行われた。しかしながら、遠距離に存在する移動物体の像を検出する場合に用いる処理手法の切り替えの指標は、解析画像の輝度に特に限定されず、任意の指標を採用することができる。
【０１１４】
＜２．第２実施形態＞
[画像解析装置の他の機能的構成]
図１３は、本発明が適用される移動物体検出装置の一実施の形態としての画像解析装置であって、遠距離に存在する移動物体の像を検出する場合に用いる処理手法の切り替えの指標が図１の例とは異なる場合の画像解析装置の機能的構成を示すブロック図である。
【０１１５】
図１３の画像解析装置１６１は、画像入力処理部１８１、近距離検出処理部１８２、外部入力部１８３、遠距離検出処理部１８４、結果統合部１８５、及び結果出力部１８６から構成されている。
【０１１６】
近距離検出処理部１８２は、相関判定部１９１から構成されている。
【０１１７】
遠距離検出処理部１８４は、処理手法決定部２０１、動きベクトル判定部２０２、及び相関判定部２０３から構成されている。
【０１１８】
図１３の画像解析装置１６１と、図１の画像解析装置１との機能的構成を比較すると、図１３の画像入力処理部１８１、近距離検出処理部１８２、結果統合部１８５、及び結果出力部１８６の各々は、図１の画像入力処理部１１、近距離検出処理部１２、結果統合部１４、及び結果出力部１５の各々と基本的に同様の構成と機能を有している。また、図１３の遠距離検出処理部１８４の構成要素、即ち、処理手法決定部２０１、動きベクトル判定部２０２、及び相関判定部２０３の各々は、図１の遠距離検出処理部１３のうち、処理手法決定部３２、動きベクトル判定部３３、及び相関判定部３４の各々と基本的に同様の構成と機能を有している。即ち、図１３の画像解析装置１６１の、この段落に記載している構成が、図１の画像解析装置１の構成と一致している。これらの一致した構成の説明は繰り返しになるので省略する。
【０１１９】
これに対して、次の点で、図１３の画像解析装置１６１は、図１の画像解析装置１と異なっている。即ち、図１の処理手法決定部３２が処理手法を決定する場合の指標は、輝度判定部３１から与えられるのに対して、図１３の処理手法決定部２０１が処理手法を決定する場合の指標は、外部入力部１８３から与えられる点が異なる。換言すると、図１３の画像解析装置１６１では、図１の輝度判定部３１の代わりに外部入力部１８３が設けられている点が異なる。
【０１２０】
外部入力部１８３は、処理手法の切替指示を外部から入力し、処理手法決定部２０１に通知する。
【０１２１】
処理手法決定部２０１は、外部入力部１８３から通知された切替指示に基づいて、動きベクトル判定と相関判定とのうち何れか一方を、処理手法として決定する。即ち、外部入力部１８３から動きベクトル判定への切替指示が通知された場合、処理手法決定部２０１は、動きベクトル判定を処理手法として決定し、画像入力処理部１８１から出力された解析画像のデータを動きベクトル判定部２０２に供給する。これに対して、外部入力部１８３から相関判定への切替指示が通知された場合、処理手法決定部２０１は、相関判定を処理手法として決定し、画像入力処理部１８１から出力された解析画像のデータを相関判定部２０３に供給する。
【０１２２】
[処理手法の切り替えの具体例]
図１４は、このような外部入力部１８３を用いた処理手法の切り替えの具体例を説明する図である。
【０１２３】
図１４に示すように、監視カメラ６１のレンズの前方にライト等の光源２１１が存在するとする。即ち、監視カメラ６１の奥から手前に向けた配置で光源２１１が存在するとする。
【０１２４】
このような場合、監視カメラ６１から出力される撮像画像の指定領域ＦＳの輝度は一定の基準以上となる。この場合、図１の画像解析装置１の遠距離検出処理部１３の処理手法としては、動きベクトル判定が用いられる。
【０１２５】
しかしながら、光源２１１による光の像が撮像画像の背景となっているため、木々の揺れの像等の外乱はほぼ存在しない状態となっており、外部の他の状況から判断して、動きベクトル判定よりも相関判定の方が好適な場合もある。このような場合、図１３の画像解析装置１６１では、相関判定への切替指示が外部入力部１８３に入力されて、遠距離検出処理部１８４の処理手法としては、相関判定が用いられる。
【０１２６】
また、例えば、光源２１１による光の像が遮られた時、移動物体が光源２１１の前を通過したと判断し、動きベクトル判定よりも相関判定の方が好適であるとする。このような場合、図１３の画像解析装置１６１では、相関判定への切替指示が外部入力部１８３に入力されて、遠距離検出処理部１８４の処理手法としては、相関判定が用いられる。
【０１２７】
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【０１２８】
この場合、上述した移動物体検出装置の少なくとも一部として、例えば、図１５に示されるパーソナルコンピュータを採用してもよい。
【０１２９】
図１５において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記録されているプログラムに従って各種の処理を実行する。または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３０】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１３１】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７が接続されている。また、ハードディスクなどより構成される記憶部３０８、および、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１３２】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア３１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１３３】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３４】
このようなプログラムを含む記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０１３５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
本発明は、監視カメラ、パーソナルコンピュータ、アラームを出力する専用装置等、画像データを解析する解析部を備えた装置であって、移動物体の像を検出可能な装置に適用することができる。
【符号の説明】
【０１３７】
１ 画像解析装置， １１ 画像入力処理部， １２ 近距離検出処理部， １３ 遠距離検出処理部， １４ 結果統合部， １５ 結果出力部， ２１ 相関判定部， ３１ 輝度判定部， ３２ 処理手法決定部， ３３ 動きベクトル判定部， ３４ 相関判定部， ４１ 解析画像， ６１ 監視カメラ， ８１ 監視システム， ９１ 撮像部， ９２ 撮像信号処理部， ９３ 撮像データ処理部， ９４ 画像解析部， ９５ 伝送部， １１１ システム， １２１ 画像入力部， １２２ 画像信号処理部， １２３ 画像データ処理部， １２４ 画像解析部， １２５ 伝送部， １４１ システム， １５１ 画像入力部， １５２ 画像信号処理部， １５３ 画像解析部， １５４ 伝送部， １６１ 画像解析装置， １８１ 画像入力処理部， １８２ 近距離検出処理部， １８３ 外部入力部， １８４ 遠距離検出処理部， １８５ 結果統合部， １８６ 結果出力部， １９１ 相関判定部， ２０１ 処理手法決定部， ２０２ 動きベクトル判定部， ２０３ 相関判定部
【技術分野】
【０００１】
本発明は、移動物体検出装置及び方法、並びにプログラムに関し、特に、夜間など暗い場所でも充分な検出精度を得られるようにする、移動物体検出装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来から、監視カメラにより所定の空間を監視する監視システムが存在する。このような監視システムは、監視カメラの撮像画像を解析画像として、解析画像のデータを解析することによって、当該監視画像内の指定された領域を移動した移動物体の像を検出する。このような監視システムには、従来、動きベクトルを用いて移動物体の像を検出する手法（例えば特許文献１参照）や、撮像時点と過去の相関を用いて移動物体を検出する手法（例えば、特許文献２，３参照）が多くの場合適用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６００４９号公報
【特許文献２】特許第３５０６９３４号公報
【特許文献３】特開２００７−２５１７２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、監視システムの性質上、検出漏れや誤検出が発生しないようにするため、たとえ夜間など暗い場所でも一定以上の検出精度が要求される。特許文献１乃至３を含め従来の移動物体の検出手法では、当該要求に十分に応えられていない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、夜間など暗い場所でも充分な検出精度を得ることを可能にするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の移動物体検出装置は、カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理手段と、前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出する第１の検出処理手段と、前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する第２の検出処理手段とを備え、前記第２の検出処理手段は、前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する。
【０００７】
前記第２の検出処理手段は、所定の指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、処理手法として決定する処理手法決定手段と、前記処理手法決定手段により前記処理手法として前記動きベクトル判定が決定された場合には、前記動きベクトル判定に従って、前記第２の範囲の距離の移動物体の像を検出する動きベクトル判定手段と、前記処理手法決定手段により前記処理手法として前記相関判定が決定された場合に、前記相関判定に従って、前記第２の範囲の距離の移動物体の像を検出する相関判定手段とを有することができる。
【０００８】
前記第２の検出処理手段は、前記処理手法決定手段が用いる前記指標として、前記指定領域の輝度が一定の基準以下であるかを判定する輝度判定手段をさらに有し、前記処理手法決定手段は、前記指定領域の輝度が一定の基準を超えていると前記輝度判定手段により判定された場合、前記動きベクトル判定を前記処理手法として決定し、前記指定領域の輝度が一定の基準以下であると前記輝度判定手段により判定された場合、前記相関判定を前記処理手法として決定することができる。
【０００９】
前記処理手法決定手段が用いる前記指標を、外部から入力する外部入力手段をさらに備え、前記処理手法決定手段は、前記外部入力手段に入力された前記指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、前記処理手法として決定することができる。
【００１０】
前記第２の検出処理手段によって探索される前記移動物体の像の距離の範囲が複数段階設定されており、前記第２の検出処理手段は、前記複数段階の距離の範囲毎に相互に独立して、前記処理手法として、前記動きベクトル判定と前記相関判定とを選択的に切り替えて使用することができる。
【００１１】
本発明の一側面の移動物体検出方法及びプログラムは、上述した本発明の一側面の移動物体検出装置に対応する方法及びプログラムである。
【００１２】
本発明の一側面の移動物体検出装置及び方法並びにプログラムにおいては、カメラにより撮像された画像である解析画像のデータが入力され、前記解析画像内で指定領域を設定する処理が実行される。設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像が検出され、設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像が検出される。前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とが選択的に切り替えて使用される。
【発明の効果】
【００１３】
以上のごとく、本発明によれば、夜間など暗い場所でも充分な検出精度を得ることが可能になる。
【図面の簡単な説明】
【００１４】
【図１】画像解析装置の機能的構成を示すブロック図である。
【図２】画像解析処理の対象となる解析画像の一例を示す図である。
【図３】探索範囲の分担の一例を示す図である。
【図４】動きベクトルの探索範囲の一例を示す図である。
【図５】検出領域の一例を示す図である。
【図６】画像解析処理の一例を説明するフローチャートである。
【図７】近距離検出処理の一例を説明するフローチャートである。
【図８】遠距離検出処理の一例を説明するフローチャートである。
【図９】本実施形態の画像解析装置を構成要素に含む監視システムの機能的構成例を示すブロック図である。
【図１０】本実施形態の画像解析装置を構成要素に含むシステムの機能的構成例を示すブロック図である。
【図１１】本実施形態の画像解析装置を構成要素に含む他のシステムの機能的構成例を示すブロック図である。
【図１２】４つに区分された各探索範囲での処理手法の一例を示す図である。
【図１３】画像解析装置の他の機能的構成を示すブロック図である。
【図１４】外部入力部を用いた処理手法の切り替えの具体例を説明する図である。
【図１５】本発明が適用される移動物体検出装置のハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明が適用される移動物体検出装置の実施形態として、２つの実施形態（以下、それぞれ第１実施形態および第２実施形態と称する）について説明する。よって、説明は以下の順序で行う。
１．第１実施形態（解析画像の輝度に基づいて処理手法が切り替えられる例）
２．第２実施形態（外部からの切替指示により処理手法が切り替えられる例）
【００１６】
＜１．第１実施形態＞
[画像解析装置の機能的構成]
図１は、本発明が適用される移動物体検出装置の一実施の形態としての画像解析装置の機能的構成を示すブロック図である。
【００１７】
図１の画像解析装置１は、監視システムの監視カメラの撮像画像を解析画像として、解析画像のデータを解析することにより、当該解析画像内の指定された領域（以下、指定領域と称する）内を移動物体の像が移動したかを検出する。このような一連の処理を、以下、画像解析処理と称する。
【００１８】
画像解析装置１は、このような画像解析処理を実行すべく、画像入力処理部１１、近距離検出処理部１２、遠距離検出処理部１３、結果統合部１４、及び結果出力部１５から構成されている。
【００１９】
画像入力処理部１１は、外部から解析画像のデータを入力し、当該解析画像のうち、ユーザ等により監視対象として指定された領域を、指定領域ＦＳとして設定する。
【００２０】
[解析画像の一例]
図２は、画像解析処理の対象となる解析画像の一例を示す図である。図２に示される解析画像４１においては、中央より右側に指定領域ＦＳが設定されている。
【００２１】
なお、画像解析装置１が移動物体の像を検出するために、監視対象としては動画像が採用される。動画像は、フレーム、フィールド等を単位画像として、複数の単位画像が所定の順番で配置されて構成される。このような単位画像のデータが、本実施形態では、解析画像のデータとして画像入力処理部１１に入力される。即ち、本実施形態では、動画像を構成する各単位画像の各々が入力される毎に、画像解析処理がその都度実行され、移動物体の像の有無が検出される。
【００２２】
近距離検出処理部１２及び遠距離検出処理部１３は、解析画像のデータに基づいて、当該解析画像内の指定領域ＦＳを移動物体の像が移動したかを検出する。
【００２３】
[探索範囲の分担の一例]
図３は、近距離検出処理部１２及び遠距離検出処理部１３の探索範囲の分担の一例を示している。
【００２４】
図３に示されるように、監視カメラ６１から一定距離以内の近距離（第１の範囲内の距離）の探索範囲Ｄ１において、図示せぬ移動物体が監視カメラ６１の前を移動して、その移動物体の像が指定領域ＦＳ内を移動した場合、当該移動物体の像は第１の検出処理手段としての近距離検出処理部１２によって検出される。
【００２５】
これに対して、監視カメラ６１から一定距離よりも離れた遠距離（第１の範囲の距離より遠い第２の範囲内の距離）の探索範囲Ｄ２において、図示せぬ移動物体が監視カメラ６１の前を移動して、その移動物体の像が指定領域ＦＳ（より正確には後述する検知領域ＦＦの場合もある）内を移動した場合、当該移動物体の像は第２の検出処理手段としての遠距離検出処理部１３によって検出される。
【００２６】
近距離検出処理部１２における手法としては、撮像時点と過去の画像の相関を用いて移動物体の像の有無を判定することによって、当該移動物体の像を検出する手法が好適である。なお、以下、このような手法を、相関判定と呼ぶ。一方、日中等の一定以上の光量を確保できる場合には、遠距離検出処理部１３における手法としては、動きベクトルを用いて移動物体の像の有無を判定することによって、当該移動物体の像を検出する手法が好適である。なお、以下、このような手法を、動きベクトル判定と呼ぶ。以下、好適な理由について説明する。
【００２７】
つまり、検出すべき移動物体が監視カメラ６１の近傍に存在する場合には、その移動物体の像の指定領域ＦＳ内のサイズは大きくなり、その移動速度が速いと画像内での単位時間当たりの移動距離も長くなり、動きベクトルを求めることが困難である。従って、このような場合に動きベクトル判定を採用すると、検出漏れが発生するおそれがある。これに対して、相関判定では、現在と過去の指定領域ＦＳ内の相関を取るため、このような検出漏れのおそれは少ない。このため、近距離検出処理部１２における手法としては、相関判定が好適であり、本実施形態でも相関判定が採用されている。
【００２８】
即ち、近距離検出処理部１２には、相関判定に従って移動物体の像を検出する相関判定部２１が設けられている。
【００２９】
相関判定部２１は、画像入力処理部１１に現時点で入力された解析画像（以下、現在画像と称する）のデータと、画像入力処理部１１に過去の時点に入力された解析画像（以下、過去画像と称する）のデータとを用いて、次の式（１）の値Rznccを演算する。
【００３０】
【数１】
【００３１】
式（１）において、値Rznccは、正規化相互相関の係数を示している。値Ｏは、現在画像の検出領域内の各画素値を示しており、相関判定部２１の処理では、現在画像の指定領域ＦＳ内の各画素値を示している。値Ｏavgは、現在画像の検出領域内の各画素値の平均値を示しており、相関判定部２１の処理では、現在画像の指定領域ＦＳ内の各画素値の平均値を示している。値Ｐは、過去画像の検出領域内の各画素値を示しており、相関判定部２１の処理では、過去画像の指定領域ＦＳ内の各画素値を示している。値Ｐavgは、過去画像の検出領域内の各画素値の平均値を示しており、相関判定部２１の処理では、過去画像の指定領域ＦＳ内の各画素値の平均値を示している。
【００３２】
正規化相互相関の係数Rznccは、移動物体が検出領域内に含まれたときには小さい値となり、移動物体が検出領域内に含まれていないときには大きい値となる。したがって、相関判定部２１は、例えば正規化相互相関の係数Rznccが閾値よりも小さい値となった場合、指定領域ＦＳ内に移動物体の像が存在し、大きい値となった場合、存在しないと判定することによって、当該移動物体の像を検出する。
【００３３】
しかしながら、このような相関判定は、検出すべき移動物体が監視カメラ６１から遠方に存在する場合には、不適当である。なぜならば、このような場合、その移動物体の像の指定領域ＦＳ内のサイズは小さくなるからである。即ち、このような場合の指定領域ＦＳ内の移動物体のサイズは、例えば監視カメラ６１の近傍に存在する木々の揺れ等の像のサイズと同程度になる。従って、相関判定では、指定領域ＦＳに含まれる移動物体の像が、検出すべき移動物体の像であるのか、それとも、木々の揺れ等の像により引き起こされる外乱によるものなのかを判断することが困難になる。従って、このような場合に相関判定を採用すると、誤検出が発生するおそれがある。
【００３４】
これに対して、動きベクトル判定では、指定領域ＦＳに含まれる移動物体の像の動きベクトルが求められるため、即ち、指定領域ＦＳに含まれる移動物体の像の移動速度や移動方向が容易にわかるため、このような誤検出のおそれは少ない。このため、遠距離検出処理部１３における手法としては、原則、動きベクトル判定が好適であり、本実施形態でも動きベクトル判定が採用されている。
【００３５】
ここで、「原則、動きベクトル判定が好適」という記載は、日中等の一定以上の光量を確保できることを前提として、この前提では好適であるという意味である。即ち、夜間等で十分な光量が得られない状態で監視カメラ６１が撮像すると、その結果得られる撮像画像の輝度は小さいものとなる。このような輝度の小さい撮像画像のデータを用いた場合、移動物体の像の動きベクトルの算出精度は悪化し、その結果、移動物体の像の検出精度も低下してしまう。
【００３６】
そこで、本実施形態では、遠距離検出処理部１３における手法としては、解析画像の輝度が基準以上の場合には、動きベクトル判定が採用される一方で、解析画像の輝度が基準未満の場合には、相関判定が採用される。
【００３７】
なお、解析画像の輝度が基準未満の場合、即ち、夜間等で十分な光量が得られない場合には、木々の揺れ等の外乱となる像は、解析画像に映り込まないか、映り込んだとしても検出すべき移動物体の像よりも遥かに輝度が小さくなる。従って、解析画像の輝度が基準未満の場合には、木々の揺れ等の像により引き起こされる外乱を移動物体の像であると誤検出してしまうおそれはほぼ無くなる。従って、解析画像の輝度が基準未満の場合であれば、遠距離検出処理部１３に対して相関判定を採用しても、誤検出のおそれは少ない。
【００３８】
このように、遠距離検出処理部１３は、動きベクトル判定と相関判定のうち、処理に用いる手法（以下、処理手法と称する）を解析画像の輝度に基づいて決定し、決定した処理手法に従って移動物体の像を検出する。
【００３９】
このため、図１に示されるように、遠距離検出処理部１３は、輝度判定部３１、処理手法決定部３２、動きベクトル判定部３３、及び相関判定部３４から構成されている。
【００４０】
輝度判定部３１は、画像入力処理部１１から出力された解析画像のデータに基づいて、当該解析画像の指定領域ＦＳの輝度が一定の基準以下であるかを判定する。具体的には例えば、輝度判定部３１は、指定領域ＦＳ内の各画素のうち、輝度値が基準値以下の画素の数をカウントする。輝度判定部３１は、カウントした画素の数が閾値より大きい場合に、指定領域ＦＳの輝度が一定の基準以下であると判定する。これに対して、輝度判定部３１は、カウントした画素の数が閾値以下の場合に、指定領域ＦＳの輝度が一定の基準を超えていると判定する。
【００４１】
処理手法決定部３２は、輝度判定部３１の判定結果に基づいて、動きベクトル判定と相関判定とのうち何れか一方を、処理手法として決定する。即ち、指定領域ＦＳの輝度が一定の基準を超えていると輝度判定部３１により判定された場合、処理手法決定部３２は、動きベクトル判定を処理手法として決定し、画像入力処理部１１から出力された解析画像のデータを動きベクトル判定部３３に供給する。これに対して、指定領域ＦＳの輝度が一定の基準以下であると輝度判定部３１により判定された場合、処理手法決定部３２は、相関判定を処理手法として決定し、画像入力処理部１１から出力された解析画像のデータを相関判定部３４に供給する。
【００４２】
動きベクトル判定部３３は、動きベクトル判定に従って移動物体の像を検出する。例えば、動きベクトル判定部３３は、現在画像の指定領域ＦＳ内の各画素を注目画素に順次設定し、現在画像の注目画素の周囲のブロック（以下、注目ブロックと称する）を設定する。次に、動きベクトル判定部３３は、注目ブロックに対応する過去画像内のブロック（以下、対応ブロックと称する）を探索する。そして、動きベクトル判定部３３は、現在画像と過去画像とを重ね合せた場合（同一座標系とした場合）における、対応ブロックから注目ブロックまでのベクトルを、注目画素の動きベクトルとして検出する。
【００４３】
[動きベクトルの探索範囲の一例]
図４は、対応ブロックの探索範囲、即ち動きベクトルの探索範囲の一例を示している。図４に示されるように、探索範囲ＦＶは、解析画像４１のうち、指定領域ＦＳの周囲であって、指定領域ＦＳよりも大きな範囲が設定される。なお、図４の探索範囲ＦＶは例示であり、解析画像４１内の任意の範囲を別途探索範囲として採用してもよい。
【００４４】
以上説明した動きベクトルの検出手法は、一般的にはブロックマッチング法と称されている。当然ながらブロックマッチング法は例示であり、その他の任意の手法、例えば勾配法を採用することもできる。
【００４５】
相関判定部３４は、相関判定に従って移動物体の像を検出する。即ち、相関判定部３４は、近距離検出処理部１２の相関判定部２１と基本的に同様の処理を実行する。ただし、上述した式（１）の正規化相互相関の係数Rznccを求めるために用いられる検出領域が、遠距離検出処理部１３の相関判定部３４と、近距離検出処理部１２の相関判定部２１とでは異なる。
【００４６】
[正規化相互相関の係数を求めるために用いられる検出領域の一例]
図５は、正規化相互相関の係数Rznccを求めるために用いられる検出領域の一例を示している。近距離検出処理部１２の相関判定部２１では、上述したように、指定領域ＦＳがそのまま検出領域として用いられる。これに対して、遠距離検出処理部１３の相関判定部３４では、指定領域ＦＳよりも小さいサイズの領域ＦＦが検出領域として用いられる。このように検出領域のサイズを小さくすることで、検出すべき移動物体の像の占める割合が大きくなるため、その分だけ、より遠距離に存在する移動物体の像の検出が可能になる。なお、このように検出領域のサイズを小さくしても、遠距離検出処理部１３の相関判定部３４は輝度が一定の基準以下の場合に動作するため、木々の揺れ等の像が外乱になることに起因して誤検出が発生するおそれはほぼ無くなる。
【００４７】
以上、動きベクトル判定と相関判定とを選択可能な遠距離検出処理部１３の機能的構成について説明した。図１に示されるように、このような遠距離検出処理部１３の検出結果は、近距離検出処理部１２の検出結果と共に、結果統合部１４に供給される。
【００４８】
結果統合部１４は、近距離検出処理部１２の検出結果と、遠距離検出処理部１３の検出結果とを統合して、その統合結果を結果出力部１５に供給する。結果出力部１５は、統合結果を、画像解析装置１からの最終的な検出結果として出力する。
【００４９】
例えば、近距離検出処理部１２の検出結果と、遠距離検出処理部１３の検出結果のうち少なくとも一方が、移動物体を検出したという結果の場合、「移動物体あり」という統合結果が、結果統合部１４によって得られ、結果出力部１５から出力される。
【００５０】
これに対して、例えば、近距離検出処理部１２の検出結果と、遠距離検出処理部１３の検出結果との何れもが、移動物体を検出していないという結果の場合、「移動物体なし」という統合結果が、結果統合部１４によって得られ、結果出力部１５から出力される。
【００５１】
[画像解析処理]
次に、図６を参照して、このような機能的構成を有する画像解析装置１の処理として、画像解析処理について説明する。
【００５２】
図６は、画像解析処理の一例を説明するフローチャートである。
【００５３】
上述したように、画像解析装置１が移動物体の像を検出するために、監視対象としては動画像が採用される。このような動画像は、例えば、図３の監視カメラ６１等により所定時間間隔毎に撮像された複数の単位画像から構成される。このため、このような動画像を構成する複数の単位画像の各々のデータが、図３の監視カメラ６１等から出力される毎に、画像解析処理はその都度実行される。
【００５４】
ステップＳ１において、図１の画像解析装置１の画像入力処理部１１は、監視カメラ６１等から出力された単位画像を解析画像として、解析画像のデータを入力して、当該解析画像内に指定領域を設定する。
【００５５】
ステップＳ２及びステップＳ３において、近距離検出処理部１２及び遠距離検出処理部１３は、近距離検出処理と遠距離検出処理とを並行して実行する。
【００５６】
ここで、近距離検出処理とは、近距離検出処理部１２が移動物体の像を検出するまでの一連の処理をいう。近距離検出処理の詳細については、図７のフローチャートを参照して後述する。一方、遠距離検出処理とは、遠距離検出処理部１３が移動物体の像を検出するまでの一連の処理をいう。遠距離検出処理の詳細については、図８のフローチャートを参照して後述する。
【００５７】
ステップＳ４において、結果統合部１４は、近距離検出処理と遠距離検出処理の結果を統合する。すなわち、近距離検出処理及び遠距離検出処理の両者の検出結果が「移動物体なし」であった場合、統合結果は「移動物体なし」となる。これに対して、近距離検出処理と遠距離検出処理のうちの少なくとも一方の検出結果が「移動物体あり」であった場合、統合結果は「移動物体あり」となる。
【００５８】
ステップＳ５において、結果出力部１５は、ステップＳ４の統合結果を、画像解析装置１の最終的な検出結果として出力する。これにより、画像解析処理は終了する。
【００５９】
[近距離検出処理]
次に、図７を参照して、このような画像解析処理のステップＳ２の処理の一部として、図１の画像解析装置１の近距離検出処理部１２により実行される近距離検出処理について説明する。
【００６０】
図７は、近距離検出処理の一例を説明するフローチャートである。
【００６１】
ステップＳ２１において、近距離検出処理部１２の相関判定部２１は、図６のステップＳ１の処理で入力された解析画像のデータに対して、相関判定を実行する。なお、「相関判定を実行する」とは、相関判定に従って移動物体の像を検出することを意味する。
【００６２】
ステップＳ２２において、相関判定部２１は、ステップＳ２１の相関判定の処理の結果を出力する。
【００６３】
ステップＳ２１の相関判定の処理で移動物体の像が検出されなかった場合、ステップＳ２２において相関判定部２１は、「移動物体なし」の結果を出力し、近距離検出処理は終了する。この場合、後述する図８の遠距離検出処理の結果も「移動物体なし」の場合、図６の画像解析処理の最終的な結果としても、ステップＳ５の処理で「移動物体なし」が出力される。一方、後述する図８の遠距離検出処理により「移動物体あり」の結果が出力されたときには、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００６４】
これに対して、ステップＳ２１の相関判定の処理で移動物体の像が検出された場合、ステップＳ２２において相関判定部２１は、「移動物体あり」の検出結果を出力し、近距離検出処理は終了する。この場合、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の結果が出力される。
【００６５】
ステップＳ２２において、ステップＳ２１の処理の結果が出力されると、処理は図６のステップＳ４に進む。
【００６６】
以上、図７を参照して、図６の画像解析処理のステップＳ２の処理として、図１の画像解析装置１の近距離検出処理部１２により実行される近距離検出処理について説明した。次に、図８を参照して、画像解析処理のステップＳ３の処理として、図１の画像解析装置１の遠距離検出処理部１３により実行される近距離検出処理について説明する。
【００６７】
[遠距離検出処理]
図８は、遠距離検出処理の一例を説明するフローチャートである。
【００６８】
ステップＳ４１において、遠距離検出処理部１３の輝度判定部３１は、図６のステップＳ１の処理で入力された解析画像のデータに基づいて、当該解析画像の輝度が一定の基準以下であるかを判定する。
【００６９】
解析画像の輝度が一定の基準を超えていると輝度判定部３１により判定された場合、処理手法決定部３２は、動きベクトル判定を処理手法として決定し、ステップＳ１の処理で入力された解析画像のデータを動きベクトル判定部３３に供給する。このような場合、ステップＳ４１の処理でＮＯであると判定されて、処理はステップＳ４２に進む。
【００７０】
ステップＳ４２において、動きベクトル判定部３３は、解析画像のデータに対して、動きベクトル判定を実行する。なお、「動きベクトル判定を実行する」とは、動きベクトル判定に従って移動物体の像を検出することを意味する。
【００７１】
ステップＳ４４において、動きベクトル判定部３３は、ステップＳ４２の動きベクトル判定の処理の結果を出力する。
【００７２】
ステップＳ４２の動きベクトル判定の処理で移動物体の像が検出されなかった場合、ステップＳ４４において動きベクトル判定部３３は、「移動物体なし」の結果を出力し、遠距離検出処理は終了する。この場合、上述した図７の近距離検出処理の結果も「移動物体なし」の場合、図６の画像解析処理の最終的な結果としても、ステップＳ５の処理で「移動物体なし」が出力される。一方、上述した図７の近距離検出処理から「移動物体あり」の結果が出力されたときには、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００７３】
これに対して、ステップＳ４２の動きベクトル判定の処理で移動物体の像が検出された場合、ステップＳ４４において動きベクトル判定部３３は、「移動物体あり」の検出結果を出力し、遠距離検出処理は終了する。この場合、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００７４】
以上、解析画像の輝度が一定の基準を超えて、ステップＳ４１の処理でＮＯであると判定された以降の処理、即ち動きベクトル判定が実行される場合の処理について説明した。
【００７５】
これに対して、解析画像の輝度が一定の基準以下であると輝度判定部３１により判定された場合、処理手法決定部３２は、相関判定を処理手法として決定し、ステップＳ１の処理で入力された解析画像のデータを相関判定部３４に供給する。このような場合、ステップＳ４１の処理ＹＥＳであると判定されて、処理はステップＳ４３に進む。
【００７６】
ステップＳ４３において、相関判定部３４は、解析画像のデータに対して、相関判定を実行する。なお、「相関判定を実行する」とは、相関判定に従って移動物体の像を検出することを意味する。
【００７７】
ステップＳ４４において、相関判定部３４は、ステップＳ４３の相関判定の処理の結果を出力する。
【００７８】
ステップＳ４３の相関判定の処理で移動物体の像が検出されなかった場合、ステップＳ４４において相関判定部２１は、「移動物体なし」の結果を出力し、遠距離検出処理は終了する。この場合、上述した図７の近距離検出処理の結果も「移動物体なし」の場合、図６の画像解析処理の最終的な結果としても、ステップＳ５の処理で「移動物体なし」が出力される。一方、上述した図７の近距離検出処理から「移動物体あり」の結果が出力されたときには、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００７９】
これに対して、ステップＳ４３の相関判定の処理で移動物体の像が検出された場合、ステップＳ４４において相関判定部２１は、「移動物体あり」の検出結果を出力し、遠距離検出処理は終了する。この場合、図６の画像解析処理の最終的な結果として、ステップＳ５の処理で「移動物体あり」の検出結果が出力される。
【００８０】
ステップＳ４４において、ステップＳ４２またはステップＳ４３の処理の結果が出力されると、処理は図６のステップＳ４に進む。
【００８１】
このように、画像解析装置１は、解析画像の指定領域ＦＳ内を移動する移動物体の像として、近距離の移動物体の像と、遠距離の移動物体の像とを区別して検出することができる。具体的には、画像解析装置１は、近距離の移動物体の像を検出する処理は、常に相関判定に従って行う。一方、解析画像の輝度が一定の基準を超えている場合、動きベクトル判定に従って遠距離の移動物体の像が検出される。これにより、日中等の明るい環境の場合には、木々の揺れの像等の外乱に対して頑健となり、安定した移動物体の像の検出が可能になる。
【００８２】
さらに、画像解析装置１は、解析画像の輝度が一定の基準以下になると、遠距離の移動物体の像を検出するために用いる処理手法を、動きベクトル判定から相関判定に切り替える。輝度変化に対しての頑健性は、相関判定の方が動きベクトル判定よりも優れている。一方で、相関判定が苦手とする木々の揺れ等の外乱は、夜間等の暗い環境のため解析画像の輝度が一定の基準以下の場合には、そもそも解析画像に映り込まないか、映り込んでも輝度が非常に小さくなっているため、誤検出のおそれも少ない。従って、夜間等の暗い環境のため解析画像の輝度が一定の基準以下となっても、安定した移動物体の像の検出を維持することが可能になる。
【００８３】
このような画像解析装置１は、上述した監視システムに適用できることは勿論のこと、その他各種各様の分野に適用することが可能である。以下、図９乃至図１１を参照して、画像解析装置１の適用の例を幾つか説明する。
【００８４】
[画像解析装置１の適用の例１]
図９は、本実施形態の画像解析装置を構成要素に含む監視システムの機能的構成例を示すブロック図である。
【００８５】
図９の監視システム８１は、撮像部９１、撮像信号処理部９２、撮像データ処理部９３、上述した本実施形態の画像解析装置１からなる画像解析部９４、及び伝送部９５から構成されている。
【００８６】
撮像部９１は、主にCCD（Charge Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）等の撮像素子やレンズからなり、具体的には例えば図３の監視カメラ６１からなり、移動物体等を撮像し、その結果得られる撮像信号を出力する。
【００８７】
撮像信号処理部９２は、撮像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、撮像信号処理部９２からは、デジタルの撮像信号、即ち、撮像画像のデータが出力されて、撮像データ処理部９３と画像解析部９４とに供給される。
【００８８】
撮像データ処理部９３は、撮像画像のデータをネットワークに流すための形態に変換する処理、例えば、撮像画像のデータの圧縮符号化処理を施す。
【００８９】
画像解析部９４は、画像解析装置１の説明として上述したように、撮像信号処理部９２から出力される撮像画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域ＦＳ内を移動する移動物体の像を検出する。
【００９０】
伝送部９５は、撮像データ処理部９３により符号化された画像データ及び画像解析部９４の解析結果を多重化してネットワークに伝送する。
【００９１】
[画像解析装置１の適用の例２]
図１０は、本実施形態の画像解析装置を構成要素に含むシステムであって、監視カメラ以外の外部からの画像信号をネットワーク上のストリームに変更するシステムの機能的構成例を示すブロック図である。
【００９２】
図１０のシステム１１１は、画像入力部１２１、画像信号処理部１２２、画像データ処理部１２３、上述した本実施形態の画像解析装置１からなる画像解析部１２４、及び伝送部１２５から構成されている。
【００９３】
画像入力部１２１は、監視カメラ以外の外部からの画像信号、例えばアナログカメラからの画像信号を入力する。
【００９４】
画像信号処理部１２２は、撮像信号処理部９２と同様に、画像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、画像信号処理部１２２からは、デジタルの画像信号、即ち、画像のデータが出力されて、画像データ処理部１２３と画像解析部１２４とに供給される。
【００９５】
画像データ処理部１２３は、撮像データ処理部９３と同様に、画像のデータをネットワークに流すための形態に変換する処理、例えば、画像のデータの圧縮符号化処理を施す。
【００９６】
画像解析部１２４は、画像解析装置１の説明として上述したように、画像信号処理部１２２から出力される画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域ＦＳ内を移動する移動物体の像を検出する。
【００９７】
伝送部１２５は、伝送部９５と同様に、画像データ処理部１２３により符号化された画像データ及び画像解析部１２４の解析結果を多重化してネットワークに伝送する。
【００９８】
[画像解析装置１の適用の例３]
図１１は、本実施形態の画像解析装置を構成要素に含む他のシステムの機能的構成例を示すブロック図である。
【００９９】
図１１のシステム１４１は、アナログ信号とデータ（デジタルの信号）との形態の違いによらず、処理した信号を保存するレコーダや、処理した信号に基づいてアラームを出力する専用装置やパーソナルコンピュータを含むシステムである。
【０１００】
図１１のシステム１４１は、画像入力部１５１、画像信号処理部１５２、上述した本実施形態の画像解析装置１からなる画像解析部１５３、及び伝送部１５４から構成されている。
【０１０１】
画像入力部１５１は、画像入力部１２１と同様に、監視カメラ以外の外部からの画像信号を入力する。
【０１０２】
画像信号処理部１５２は、撮像信号処理部９２や画像信号処理部１２２と同様に、画像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、画像信号処理部１５２からは、デジタルの画像信号、即ち、画像のデータが出力されて、画像解析部１５３に供給される。
【０１０３】
画像解析部１５３は、画像解析装置１の説明として上述したように、画像信号処理部１５２から出力される画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域ＦＳ内を移動する移動物体の像を検出する。
【０１０４】
伝送部１５４は、画像解析部１５３の解析結果をネットワークに伝送する。
【０１０５】
このような各種各様の分野に適用可能な本発明の実施形態は、上述した実施形態に特に限定されず、様々な実施の形態を取ることが可能である。
【０１０６】
例えば、上述した実施形態では、移動物体の像の探索範囲は、図３に示されるように、近距離の探索範囲Ｄ１と遠距離の探索範囲Ｄ２との２種類であった。しかしながら、移動物体の像の探索範囲の種類数は、特に２種類に限定されず、任意でよい。
【０１０７】
[各探索範囲での処理手法の一例]
図１２は、移動物体の像の探索範囲として４つに区分された場合の、各探索範囲での処理手法の一例を示している。
【０１０８】
図１２に示されるように、監視カメラ６１から一定距離以内の近距離の探索範囲Ｄ１は図３と同様である。一方で、図３の遠距離の探索範囲Ｄ２と同一の範囲が、監視カメラ６１から近い方の順に、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３といった３つの探索範囲に区分されている。第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３の各々では、相互に独立して移動物体の像の検出が行われる。この場合、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３の各々では、解析画像の輝度が一定の基準以下であるかが相互に独立して判定される。そして、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３のうち、輝度が一定の基準を超えている探索範囲の各々では、処理手法として動きベクトル判定が採用される。これに対して、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３のうち、輝度が一定の基準以下の探索範囲の各々では、処理手法として相関判定が採用される。
【０１０９】
また、上述したように、近距離の探索範囲Ｄ１では、指定領域ＦＳがそのまま検出領域として用いられる。これに対して、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３のうち、輝度が一定の基準以下の探索範囲で、処理手法として相関判定が採用された場合、指定領域ＦＳよりも小さいサイズの領域ＦＦが検出領域として用いられる。このとき、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３で検出領域として用いられる領域ＦＦは、それぞれ領域ＦＦ１、領域ＦＦ２、及び領域ＦＦ３とされ、検出領域のサイズは、この順に次第に小さくなる。このように、監視カメラ６１からより遠い範囲ほど、検出領域のサイズを小さくすることで、より遠距離に存在する移動物体の像の検出が可能になる。
【０１１０】
換言すると、図示はしないが、図１の遠距離検出処理部１３と基本的に同様の機能と構成を有する機能ブロックが、第２探索範囲Ｄ２１、第３探索範囲Ｄ２２、及び第４探索範囲Ｄ２３の各々の移動物体の検出用として相互に独立してそれぞれ設けられる。
【０１１１】
なお、この場合、別の移動物体の像の検出手法を組み合わせて採用してもよい。例えば、探索範囲に応じて解像度を変える手法を採用することができる。当該手法を採用した場合、例えば第２探索範囲Ｄ２１では低解像度を用いるのに対して、第３探索範囲Ｄ２２及び第４探索範囲Ｄ２３では高解像度を用いるといったことが可能になる。また例えば、探索範囲に応じてフレームレートを変える手法を採用することができる。当該手法を採用した場合、例えば第２探索範囲Ｄ２１及び第３探索範囲Ｄ２２では高フレームレートを用いるのに対して、第４探索範囲Ｄ２３では低フレームレートを用いるといったことが可能になる。
【０１１２】
このように、別の移動物体の像の検出手法を適宜組み合わせることで、木々などの外乱に対してより一段と頑健になると共に、屋内だけでなく屋外においても移動物体の像の検出が可能になる。
【０１１３】
また例えば、上述した実施形態では、遠距離に存在する移動物体の像を検出する場合に用いる処理手法の切り替えは、解析画像の輝度に基づいて行われた。しかしながら、遠距離に存在する移動物体の像を検出する場合に用いる処理手法の切り替えの指標は、解析画像の輝度に特に限定されず、任意の指標を採用することができる。
【０１１４】
＜２．第２実施形態＞
[画像解析装置の他の機能的構成]
図１３は、本発明が適用される移動物体検出装置の一実施の形態としての画像解析装置であって、遠距離に存在する移動物体の像を検出する場合に用いる処理手法の切り替えの指標が図１の例とは異なる場合の画像解析装置の機能的構成を示すブロック図である。
【０１１５】
図１３の画像解析装置１６１は、画像入力処理部１８１、近距離検出処理部１８２、外部入力部１８３、遠距離検出処理部１８４、結果統合部１８５、及び結果出力部１８６から構成されている。
【０１１６】
近距離検出処理部１８２は、相関判定部１９１から構成されている。
【０１１７】
遠距離検出処理部１８４は、処理手法決定部２０１、動きベクトル判定部２０２、及び相関判定部２０３から構成されている。
【０１１８】
図１３の画像解析装置１６１と、図１の画像解析装置１との機能的構成を比較すると、図１３の画像入力処理部１８１、近距離検出処理部１８２、結果統合部１８５、及び結果出力部１８６の各々は、図１の画像入力処理部１１、近距離検出処理部１２、結果統合部１４、及び結果出力部１５の各々と基本的に同様の構成と機能を有している。また、図１３の遠距離検出処理部１８４の構成要素、即ち、処理手法決定部２０１、動きベクトル判定部２０２、及び相関判定部２０３の各々は、図１の遠距離検出処理部１３のうち、処理手法決定部３２、動きベクトル判定部３３、及び相関判定部３４の各々と基本的に同様の構成と機能を有している。即ち、図１３の画像解析装置１６１の、この段落に記載している構成が、図１の画像解析装置１の構成と一致している。これらの一致した構成の説明は繰り返しになるので省略する。
【０１１９】
これに対して、次の点で、図１３の画像解析装置１６１は、図１の画像解析装置１と異なっている。即ち、図１の処理手法決定部３２が処理手法を決定する場合の指標は、輝度判定部３１から与えられるのに対して、図１３の処理手法決定部２０１が処理手法を決定する場合の指標は、外部入力部１８３から与えられる点が異なる。換言すると、図１３の画像解析装置１６１では、図１の輝度判定部３１の代わりに外部入力部１８３が設けられている点が異なる。
【０１２０】
外部入力部１８３は、処理手法の切替指示を外部から入力し、処理手法決定部２０１に通知する。
【０１２１】
処理手法決定部２０１は、外部入力部１８３から通知された切替指示に基づいて、動きベクトル判定と相関判定とのうち何れか一方を、処理手法として決定する。即ち、外部入力部１８３から動きベクトル判定への切替指示が通知された場合、処理手法決定部２０１は、動きベクトル判定を処理手法として決定し、画像入力処理部１８１から出力された解析画像のデータを動きベクトル判定部２０２に供給する。これに対して、外部入力部１８３から相関判定への切替指示が通知された場合、処理手法決定部２０１は、相関判定を処理手法として決定し、画像入力処理部１８１から出力された解析画像のデータを相関判定部２０３に供給する。
【０１２２】
[処理手法の切り替えの具体例]
図１４は、このような外部入力部１８３を用いた処理手法の切り替えの具体例を説明する図である。
【０１２３】
図１４に示すように、監視カメラ６１のレンズの前方にライト等の光源２１１が存在するとする。即ち、監視カメラ６１の奥から手前に向けた配置で光源２１１が存在するとする。
【０１２４】
このような場合、監視カメラ６１から出力される撮像画像の指定領域ＦＳの輝度は一定の基準以上となる。この場合、図１の画像解析装置１の遠距離検出処理部１３の処理手法としては、動きベクトル判定が用いられる。
【０１２５】
しかしながら、光源２１１による光の像が撮像画像の背景となっているため、木々の揺れの像等の外乱はほぼ存在しない状態となっており、外部の他の状況から判断して、動きベクトル判定よりも相関判定の方が好適な場合もある。このような場合、図１３の画像解析装置１６１では、相関判定への切替指示が外部入力部１８３に入力されて、遠距離検出処理部１８４の処理手法としては、相関判定が用いられる。
【０１２６】
また、例えば、光源２１１による光の像が遮られた時、移動物体が光源２１１の前を通過したと判断し、動きベクトル判定よりも相関判定の方が好適であるとする。このような場合、図１３の画像解析装置１６１では、相関判定への切替指示が外部入力部１８３に入力されて、遠距離検出処理部１８４の処理手法としては、相関判定が用いられる。
【０１２７】
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【０１２８】
この場合、上述した移動物体検出装置の少なくとも一部として、例えば、図１５に示されるパーソナルコンピュータを採用してもよい。
【０１２９】
図１５において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記録されているプログラムに従って各種の処理を実行する。または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３０】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１３１】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７が接続されている。また、ハードディスクなどより構成される記憶部３０８、および、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１３２】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア３１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１３３】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３４】
このようなプログラムを含む記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０１３５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
本発明は、監視カメラ、パーソナルコンピュータ、アラームを出力する専用装置等、画像データを解析する解析部を備えた装置であって、移動物体の像を検出可能な装置に適用することができる。
【符号の説明】
【０１３７】
１ 画像解析装置， １１ 画像入力処理部， １２ 近距離検出処理部， １３ 遠距離検出処理部， １４ 結果統合部， １５ 結果出力部， ２１ 相関判定部， ３１ 輝度判定部， ３２ 処理手法決定部， ３３ 動きベクトル判定部， ３４ 相関判定部， ４１ 解析画像， ６１ 監視カメラ， ８１ 監視システム， ９１ 撮像部， ９２ 撮像信号処理部， ９３ 撮像データ処理部， ９４ 画像解析部， ９５ 伝送部， １１１ システム， １２１ 画像入力部， １２２ 画像信号処理部， １２３ 画像データ処理部， １２４ 画像解析部， １２５ 伝送部， １４１ システム， １５１ 画像入力部， １５２ 画像信号処理部， １５３ 画像解析部， １５４ 伝送部， １６１ 画像解析装置， １８１ 画像入力処理部， １８２ 近距離検出処理部， １８３ 外部入力部， １８４ 遠距離検出処理部， １８５ 結果統合部， １８６ 結果出力部， １９１ 相関判定部， ２０１ 処理手法決定部， ２０２ 動きベクトル判定部， ２０３ 相関判定部
【特許請求の範囲】
【請求項１】
カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理手段と、
前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出する第１の検出処理手段と、
前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する第２の検出処理手段と
を備え、
前記第２の検出処理手段は、前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する
移動物体検出装置。
【請求項２】
前記第２の検出処理手段は、
所定の指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、処理手法として決定する処理手法決定手段と、
前記処理手法決定手段により前記処理手法として前記動きベクトル判定が決定された場合には、前記動きベクトル判定に従って、前記第２の範囲の距離の移動物体の像を検出する動きベクトル判定手段と、
前記処理手法決定手段により前記処理手法として前記相関判定が決定された場合に、前記相関判定に従って、前記第２の範囲の距離の移動物体の像を検出する相関判定手段と
を有する請求項１に記載の移動物体検出装置。
【請求項３】
前記第２の検出処理手段は、
前記処理手法決定手段が用いる前記指標として、前記指定領域の輝度が一定の基準以下であるかを判定する輝度判定手段をさらに有し、
前記処理手法決定手段は、
前記指定領域の輝度が一定の基準を超えていると前記輝度判定手段により判定された場合、前記動きベクトル判定を前記処理手法として決定し、
前記指定領域の輝度が一定の基準以下であると前記輝度判定手段により判定された場合、前記相関判定を前記処理手法として決定する
請求項２に記載の移動物体検出装置。
【請求項４】
前記処理手法決定手段が用いる前記指標を、外部から入力する外部入力手段をさらに備え、
前記処理手法決定手段は、前記外部入力手段に入力された前記指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、前記処理手法として決定する
請求項２に記載の移動物体検出装置。
【請求項５】
前記第２の検出処理手段によって探索される前記移動物体の像の距離の範囲が複数段階設定されており、
前記第２の検出処理手段は、前記複数段階の距離の範囲毎に相互に独立して、前記処理手法として、前記動きベクトル判定と前記相関判定とを選択的に切り替えて使用する
請求項３に記載の移動物体検出装置。
【請求項６】
カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理ステップと、
前記画像入力処理ステップの処理により設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出する第１の検出処理ステップと、
前記画像入力処理ステップの処理により設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する第２の検出処理手段と
を含み、
前記第２の検出処理ステップの処理は、前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する
移動物体検出方法。
【請求項７】
カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行し、
設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出し、
設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する
ステップを含み、
前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する
制御処理をコンピュータに実行させるプログラム。
【請求項１】
カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理手段と、
前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出する第１の検出処理手段と、
前記画像入力処理手段により設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する第２の検出処理手段と
を備え、
前記第２の検出処理手段は、前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する
移動物体検出装置。
【請求項２】
前記第２の検出処理手段は、
所定の指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、処理手法として決定する処理手法決定手段と、
前記処理手法決定手段により前記処理手法として前記動きベクトル判定が決定された場合には、前記動きベクトル判定に従って、前記第２の範囲の距離の移動物体の像を検出する動きベクトル判定手段と、
前記処理手法決定手段により前記処理手法として前記相関判定が決定された場合に、前記相関判定に従って、前記第２の範囲の距離の移動物体の像を検出する相関判定手段と
を有する請求項１に記載の移動物体検出装置。
【請求項３】
前記第２の検出処理手段は、
前記処理手法決定手段が用いる前記指標として、前記指定領域の輝度が一定の基準以下であるかを判定する輝度判定手段をさらに有し、
前記処理手法決定手段は、
前記指定領域の輝度が一定の基準を超えていると前記輝度判定手段により判定された場合、前記動きベクトル判定を前記処理手法として決定し、
前記指定領域の輝度が一定の基準以下であると前記輝度判定手段により判定された場合、前記相関判定を前記処理手法として決定する
請求項２に記載の移動物体検出装置。
【請求項４】
前記処理手法決定手段が用いる前記指標を、外部から入力する外部入力手段をさらに備え、
前記処理手法決定手段は、前記外部入力手段に入力された前記指標に基づいて、前記動きベクトル判定と前記相関判定とのうち何れか一方を、前記処理手法として決定する
請求項２に記載の移動物体検出装置。
【請求項５】
前記第２の検出処理手段によって探索される前記移動物体の像の距離の範囲が複数段階設定されており、
前記第２の検出処理手段は、前記複数段階の距離の範囲毎に相互に独立して、前記処理手法として、前記動きベクトル判定と前記相関判定とを選択的に切り替えて使用する
請求項３に記載の移動物体検出装置。
【請求項６】
カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理ステップと、
前記画像入力処理ステップの処理により設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出する第１の検出処理ステップと、
前記画像入力処理ステップの処理により設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する第２の検出処理手段と
を含み、
前記第２の検出処理ステップの処理は、前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する
移動物体検出方法。
【請求項７】
カメラにより撮像された画像である解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行し、
設定された前記指定領域を移動する、前記カメラからの第１の範囲の距離の移動物体の像を検出し、
設定された前記指定領域を移動する、前記カメラから前記第１の範囲より遠い第２の範囲の距離の移動物体の像を検出する
ステップを含み、
前記第２の範囲の距離の移動物体の像を検出する際の処理手法として、動きベクトルを用いて前記移動物体の有無を判定する動きベクトル判定と、過去の画像との相関を用いて前記移動物体の有無を判定する相関判定とを選択的に切り替えて使用する
制御処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２１０１７９（Ｐ２０１１−２１０１７９Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９６５２（Ｐ２０１０−７９６５２）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]