画像処理装置
【課題】回路規模が低減された簡易な構成として、物体の動きを映像によって確認可能とするための画像処理装置を提供すること。
【解決手段】実施形態によれば、画像処理装置であるＤＳＰ４は、積算部１２及び動き判別部１３を有する。積算部１２は、映像信号から得られる画素ごとの情報である輝度信号２１を積算する。動き判別部１３は、撮影された映像の時系列的な変化を積算部１２による積算結果から検知する。動き判別部１３は、映像での物体の動きを判別する。積算部１２は、単位領域内について、第１のフレームの情報を積算してから、第１のフレームについての積算の際とは信号レベルの符号を反転させて、第２のフレームの情報をさらに積算する。動き判別部１３は、積算部１２における第１のフレーム及び第２のフレームについての当該積算結果に応じて、単位領域内の動き判別を実施する。
【解決手段】実施形態によれば、画像処理装置であるＤＳＰ４は、積算部１２及び動き判別部１３を有する。積算部１２は、映像信号から得られる画素ごとの情報である輝度信号２１を積算する。動き判別部１３は、撮影された映像の時系列的な変化を積算部１２による積算結果から検知する。動き判別部１３は、映像での物体の動きを判別する。積算部１２は、単位領域内について、第１のフレームの情報を積算してから、第１のフレームについての積算の際とは信号レベルの符号を反転させて、第２のフレームの情報をさらに積算する。動き判別部１３は、積算部１２における第１のフレーム及び第２のフレームについての当該積算結果に応じて、単位領域内の動き判別を実施する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
物体の動きを映像から検出する動き検出システムとして、例えば、映像の輝度データの比較により得られた差分から物体の動きを判別するものが知られている。二以上のフレームにおける輝度データ同士を画面全体について比較する場合、カメラモジュールは、二以上のフレーム分のフレームメモリを要することで、回路規模の大型化が課題となる。かかる課題の解決のためにフレームメモリを少なくした場合、動き判別の精度の低下が問題となる。
【０００３】
物体の動いた方向や速さに応じた制御等を不要とするような場合、例えば、侵入物の有無を監視する監視システム等としては、カメラモジュールに代えて焦電センサを使用するものがある。焦電センサを使用するシステムは、回路規模の小型化が可能となる一方、映像による侵入物等の確認が望まれる用途には適していない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４３０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、回路規模が低減された簡易な構成として、物体の動きを映像によって確認可能とするための画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、画像処理装置は、積算部及び動き判別部を有する。積算部は、映像信号から得られる画素ごとの情報を積算する。動き判別部は、撮影された映像の時系列的な変化を積算部による積算結果から検知する。動き判別部は、映像での物体の動きを判別する。積算部は、単位領域内について、第１のフレームの情報を積算してから、第１のフレームについての積算の際とは信号レベルの符号を反転させて、第２のフレームの情報をさらに積算する。第２のフレームは、第１のフレームより後のフレームである。単位領域は、映像のうち動き判別部で動き判別の単位とする領域である。動き判別部は、積算部における第１のフレーム及び第２のフレームについての当該積算結果に応じて、単位領域内の動き判別を実施する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態の画像処理装置を適用した動き検出システムの構成を示すブロック図。
【図２】積算部による輝度信号の積算について説明する図。
【図３】第２の実施形態の画像処理装置の構成を示すブロック図。
【図４】各積算部による輝度信号の積算について説明する図。
【図５】第３の実施形態の画像処理装置の動作を説明する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００９】
（第１の実施形態）
図１は、第１の実施形態の画像処理装置を適用した動き検出システムの構成を示すブロック図である。動き検出システムは、カメラモジュール１及び表示装置２を有する。カメラモジュール１は、映像を撮影する。表示装置２は、カメラモジュール１により撮影された映像を表示する。表示装置２は、例えば、液晶ディスプレイである。
【００１０】
カメラモジュール１は、イメージセンサ３及びデジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）４を有する。イメージセンサ３は、被写体からの光を信号電荷に変換し、映像信号２０を出力する。画像処理装置であるＤＳＰ４は、イメージセンサ３からの映像信号２０に対する画像処理を実施する。
【００１１】
ＤＳＰ４は、映像信号処理部１０、タイミング発生部１１、積算部１２、動き判別部１３、着色処理部１４及びフォーマット変換部１５を有する。映像信号処理部１０は、ＤＳＰ４へ入力された映像信号２０に種々の演算処理を施し、輝度信号２１及び色差信号２２を生成する。
【００１２】
積算部１２は、輝度信号２１を積算し、積算値２３を出力する。動き判別部１３は、映像での物体の動きを判別し、判別結果信号２４を出力する。動き判別部１３は、カメラモジュール１で撮影された映像の時系列的な変化を、積算値２３から検知する。
【００１３】
着色処理部１４は、物体の動きがあった旨の判別結果信号２４に応じて、画面を着色表示するための処理を輝度信号２１及び色差信号２２に施す。フォーマット変換部１５は、着色処理部１４からの輝度信号２１及び色差信号２２に対し、表示装置２に適したフォーマット変換を施し、表示用映像信号２５を出力する。表示装置２は、ＤＳＰ４から出力された表示用映像信号２５に応じて映像を表示する。
【００１４】
タイミング発生部１１は、積算タイミング信号１６、積算値読み出しタイミング信号１７、符号切り換えタイミング信号１８及びセンサ用タイミング信号２６を出力する。タイミング発生部１１は、所定のフレーム期間ごとにセンサ用タイミング信号２６を出力する。イメージセンサ３は、センサ用タイミング信号２６に応じて被写体像を取り込む。
【００１５】
積算部１２は、積算タイミング信号１６に応じて、輝度信号２１の積算を実行する。積算部１２は、積算値読み出しタイミング信号１７に応じて、積算結果である積算値２３を出力する。さらに、積算部１２は、符号切り換えタイミング信号１８に応じて、積算の対象とする輝度信号２１について信号レベルの符号を反転させる。
【００１６】
図２は、積算部による輝度信号の積算について説明する図である。ここでは、連続する三つのフレームＦ１、Ｆ２、Ｆ３を対象とする輝度信号２１の積算及び動き判別を実施する場合を例とする。積算部１２は、フレームごとの画像のうちの単位領域内について、輝度信号２１を積算する。単位領域は、動き判別部１３での動き判別の単位とする領域とする。本実施形態では、単位領域２８は、画像の全範囲であるものとする。
【００１７】
タイミング発生部１１は、フレームＦ１についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ１についての輝度信号２１の生成が開始されると、積算タイミング信号１６により積算部１２へ積算の開始を指示する。積算部１２は、積算タイミング信号１６に応じて、フレームＦ１の単位領域２８について輝度信号２１を積算する。
【００１８】
タイミング発生部１１は、フレームＦ２についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ２について輝度信号２１の生成が開始されると、符号切り換えタイミング信号１８を出力する。例えば、フレームＦ１について輝度信号２１をプラス積算していたとすると、積算部１２は、符号切り換えタイミング信号１８に応じて、輝度信号２１の信号レベルの符号をプラスからマイナスへ反転させる。積算部１２は、フレームＦ１についてのプラス積算に続けて、フレームＦ２について輝度信号２１をマイナス積算する。
【００１９】
フレームＦ２について積算部１２での輝度信号２１の積算が完了すると、タイミング発生部１１は、積算値読み出しタイミング信号１７を出力する。積算部１２は、積算値読み出しタイミング信号１７に応じて、フレームＦ１（第１のフレーム）、及びフレームＦ２（第２のフレーム）についての積算値２３を出力する。積算部１２は、積算値２３を出力すると、それまでの積算結果をリセットする。動き判別部１３は、積算値２３に応じて、単位領域２８内の動き判別を実施する。
【００２０】
フレームＦ１とフレームＦ２とで信号レベルの符号を反転させることで、フレームＦ１及びフレームＦ２についての積算値２３は、フレームＦ１についての輝度信号２１とフレームＦ２についての輝度信号２１との差分となる。例えば、フレームＦ１の画像とフレームＦ２の画像とに全く変化が無かった場合、積算値２３はゼロとなる。
【００２１】
動き判別部１３は、映像の変化の有無を判別する基準とする判別用閾値を予め保持する。判別用閾値は、例えば、輝度信号２１に含まれるノイズ等の影響を考慮して設定されている。動き判別部１３は、フレームＦ１及びフレームＦ２についての積算値２３が判別用閾値以下であった場合、フレームＦ１及びフレームＦ２において物体の動きが無いものと判別する。動き判別部１３は、フレームＦ１及びフレームＦ２についての積算値２３が判別用閾値より大きかった場合、フレームＦ１及びフレームＦ２において物体の動きがあるものと判別する。
【００２２】
なお、判別用閾値は、固定値及び可変値のいずれであっても良いものとする。また、動き判別部１３は、判別用閾値をゼロとしても良い。この場合、動き判別部１３は、積算値２３がゼロ以外であれば、物体の動きがあるものと判別する。動き判別部１３は、判別用閾値をゼロに近い値とするほど、厳格な動き判別を行うこととなる。
【００２３】
動き判別部１３は、動き判別の結果を、判別結果信号２４として出力する。着色処理部１４は、物体の動きがあった旨の判別結果信号２４に応じて、画面全体が所定の色に着色表示されるように輝度信号２１及び色差信号２２を加工する。動き検出システムは、表示装置２での着色表示により、物体の動きを検出したことを利用者に報知する。着色処理部１４は、画面全体を着色表示させる場合に限られず、画面の一部を着色表示させるものとしても良い。
【００２４】
着色処理部１４は、輝度信号２１及び色差信号２２のネガポジ反転、信号レベルの固定値への変更、所定の色成分の加算等、いずれの手法により表示装置２に着色表示させるものであっても良い。また、着色処理部１４は、物体の動きがあった間のみならず、物体の動きが無くなっても一定の時間において着色表示を継続させることとしても良い。動き検出システムは、着色表示をある程度継続させることで、物体の動きがあったことを利用者へ確実に認識させることが可能となる。着色処理部１４は、時間の経過とともに着色表示の状態を適宜変化させることとしても良い。着色処理部１４は、着色表示と通常の表示とを交互に行うようにしても良い。動き検出システムは、着色表示と併せて、例えば、アラーム音の出力等をすることとしても良い。
【００２５】
タイミング発生部１１は、フレーム期間Ｆ３についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ３について輝度信号２１の生成が開始されると、符号切り換えタイミング信号１８を積算部１２へ出力する。積算部１２は、符号切り換えタイミング信号１８に応じて、輝度信号２１の信号レベルの符号をマイナスからプラスへ反転させる。ＤＳＰ４は、フレームＦ３以降についても、フレームＦ１及びＦ２についてと同様の動作を繰り返す。動き検出システムは、以上の動作により、物体の動きを検出する。
【００２６】
従来の画像処理装置は、第１フレームについての積算値と第２フレームについての積算値との比較のために、２個の積算部を要するか、２個のフレームのデータ量に相当するデータ保持部を要することとなる。本実施形態のＤＳＰ４は、第１フレーム及び第２フレームを通じて積算された積算値２３から、映像の時系列的な変化を検知する。ＤＳＰ４は、１個の積算部１２によって２個のフレームについての物体の動きを判別可能とすることで、フレームごとに得られた積算値同士を比較する場合に比べて、積算のための回路やメモリ容量を少なくすることが可能となる。これにより、動き検出システムは、回路規模が低減された簡易な構成のＤＳＰ４を使用して物体の動きを検出し、検出された物体を映像によって示すことができる。
【００２７】
なお、ＤＳＰ４は、各フレームについて連続して動き検出を実施する場合に限られない。ＤＳＰ４は、ある程度の期間を置いて動き検出を実施することとしても良い。また、ＤＳＰ４は、連続する第１フレーム及び第２フレームについて輝度信号２１の積算、及び動き判別を実施する場合に限られない。ＤＳＰ４は、ある程度の間隔を置いた第１フレーム及び第２フレームの間で、輝度信号２１の積算、及び動き判別を実施することとしても良い。ＤＳＰ４は、タイミング発生部１１による積算タイミング信号１６、積算値読み出しタイミング信号１７及び符号切り換えタイミング信号１８の出力を制御することで、動き検出の頻度や、輝度信号２１の積算、動き判別のタイミングを適宜調整することができる。
【００２８】
（第２の実施形態）
図３は、第２の実施形態の画像処理装置の構成を示すブロック図である。本実施形態の画像表示装置であるＤＳＰ３０は、動き検出システムに適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００２９】
ＤＳＰ３０は、映像信号処理部１０、タイミング発生部３１、４個の積算部３２−１、３２−２、３２−３、３２−４、４個の動き判別部３３−１、３３−２、３３−３、３３−４、着色処理部１４及びフォーマット変換部１５を有する。
【００３０】
図４は、各積算部による輝度信号の積算について説明する図である。ここでは、連続する８個のフレームＦ１〜Ｆ８を対象とする輝度信号２１の積算及び動き判別を実施する場合を例とする。
【００３１】
本実施形態では、画像に複数の単位領域を設定する。ここでは、画像の全範囲には、水平方向に４個（Ａ、Ｂ、Ｃ、Ｄ）、垂直方向に４個（１、２、３、４）のマトリクスをなす領域が定義されているものとする。４×４のマトリクスを構成する１６個の領域Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ａ３、Ｂ３、Ｃ３、Ｄ３、Ａ４、Ｂ４、Ｃ４、Ｄ４は、それぞれが単位領域であるものとする。ＤＳＰ３０は、垂直方向に並列する行ごとにおいて、水平方向に並列する４つの単位領域の動き判別を同時に実施する。
【００３２】
第１積算部３２−１及び第１動き判別部３３−１は、単位領域Ａ１、Ａ２、Ａ３、Ａ４に対応している。第２積算部３２−２及び第２動き判別部３３−２は、単位領域Ｂ１、Ｂ２、Ｂ３、Ｂ４に対応している。第３積算部３２−３及び第３動き判別部３３−３は、単位領域Ｃ１、Ｃ２、Ｃ３、Ｃ４に対応している。第４積算部３２−４及び第４動き判別部３３−４は、単位領域Ｄ１、Ｄ２、Ｄ３、Ｄ４に対応している。
【００３３】
ＤＳＰ３０は、フレームＦ１及びＦ２では、単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について、輝度信号２１の積算及び動き判別を実施する。タイミング発生部３１は、フレームＦ１についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ１の単位領域Ａ１について輝度信号２１の生成が開始されると、積算タイミング信号３６−１により第１積算部３２−１へ積算の開始を指示する。第１積算部３２−１は、積算タイミング信号３６−１に応じて、フレームＦ１の単位領域Ａ１について輝度信号２１を積算する。
【００３４】
タイミング発生部３１は、フレームＦ１の単位領域Ｂ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−２を出力し、第２積算部３２−２へ輝度信号２１の積算を指示する。第２積算部３２−２は、積算タイミング信号３６−２に応じて、フレームＦ１の単位領域Ｂ１について輝度信号を積算する。
【００３５】
タイミング発生部３１は、フレームＦ１の単位領域Ｃ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−３を出力し、第３積算部３２−３へ輝度信号２１の積算を指示する。第３積算部３２−３は、積算タイミング信号３６−３に応じて、フレームＦ１の単位領域Ｃ１について輝度信号を積算する。
【００３６】
タイミング発生部３１は、フレームＦ１の単位領域Ｄ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−４を出力し、第４積算部３２−４へ輝度信号２１の積算を指示する。第４積算部３２−４は、積算タイミング信号３６−４に応じて、フレームＦ１の単位領域Ｄ１について輝度信号を積算する。
【００３７】
第１積算部３２−１、第２積算部３２−２、第３積算部３２−３及び第４積算部３２−４は、それぞれフレームＦ１について輝度信号２１の積算が完了すると、積算を停止させる間、フレームＦ１についての積算結果を保持する。
【００３８】
タイミング発生部３１は、フレームＦ１の単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について輝度信号２１の生成が完了してから、フレームＦ２の単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について輝度信号２１の生成が開始するまでの間に、符号切り換えタイミング信号３８−１、３８−２、３８−３、３８−４を出力する。例えば、フレームＦ１について輝度信号２１をプラス積算していたとすると、第１積算部３２−１、第２積算部３２−２、第３積算部３２−３、第４積算部３２−４は、符号切り換えタイミング信号３８−１、３８−２、３８−３、３８−４に応じて、輝度信号２１の信号レベルの符号をプラスからマイナスへ反転させる。第１積算部３２−１、第２積算部３２−２、第３積算部３２−３、第４積算部３２−４は、フレームＦ１についてのプラス積算に続けて、フレームＦ２について輝度信号２１をマイナス積算する。
【００３９】
タイミング発生部３１は、フレームＦ２の単位領域Ａ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−１を出力し、第１積算部３２−１へ輝度信号２１の積算を指示する。第１積算部３２−１は、積算タイミング信号３６−１に応じて、フレームＦ２の単位領域Ａ１について輝度信号２１を積算する。第２積算部３２−２は、積算タイミング信号３６−２に応じて、フレームＦ２の単位領域Ｂ１について輝度信号２１を積算する。第３積算部３２−３は、積算タイミング信号３６−３に応じて、フレームＦ２の単位領域Ｃ１について輝度信号２１を積算する。第４積算部３２−４は、積算タイミング信号３６−４に応じて、フレームＦ２の単位領域Ｄ１について輝度信号２１を積算する。
【００４０】
フレームＦ２の単位領域Ａ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−１を出力する。第１積算部３２−１は、積算値読み出しタイミング信号３７−１に応じて、フレームＦ１（第１のフレーム）及びフレームＦ２（第２のフレーム）についての積算結果である積算値３４−１を出力する。第１積算部３２−１は、積算値３４−１を出力してから、それまでの積算結果をリセットする。
【００４１】
フレームＦ２の単位領域Ｂ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−２を出力する。第２積算部３２−２は、積算値読み出しタイミング信号３７−２に応じて積算値３４−２を出力する。第２積算部３２−２は、積算値３４−２を出力してから、それまでの積算結果をリセットする。
【００４２】
フレームＦ２の単位領域Ｃ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−３を出力する。第３積算部３２−３は、積算値読み出しタイミング信号３７−３に応じて積算値３４−３を出力する。第３積算部３２−３は、積算値３４−３を出力してから、それまでの積算結果をリセットする。
【００４３】
フレームＦ２の単位領域Ｄ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−４を出力する。第４積算部３２−４は、積算値読み出しタイミング信号３７−４に応じて積算値３４−４を出力する。第４積算部３２−４は、積算値３４−４を出力してから、それまでの積算結果をリセットする。
【００４４】
第１動き判別部３３−１は、第１積算部３２−１からの積算値３４−１に応じて、単位領域Ａ１内の動き判別を実施する。第１動き判別部３３−１は、動き判別の結果を、判別結果信号３５−１として出力する。第２動き判別部３３−２は、第２積算部３２−２からの積算値３４−２に応じて、単位領域Ｂ１内の動き判別を実施する。第２動き判別部３３−２は、動き判別の結果を、判別結果信号３５−２として出力する。
【００４５】
第３動き判別部３３−３は、第３積算部３２−３からの積算値３４−３に応じて、単位領域Ｃ１内の動き判別を実施する。第３動き判別部３３−３は、動き判別の結果を、判別結果信号３５−３として出力する。第４動き判別部３３−４は、第４積算部３２−４からの積算値３４−４に応じて、単位領域Ｄ１内の動き判別を実施する。第４動き判別部３３−４は、動き判別の結果を、判別結果信号３５−４として出力する。このように、ＤＳＰ３０は、単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について、物体の動きを別々に監視する。
【００４６】
着色処理部１４は、物体の動きがあった旨の判別結果信号３５−１、３５−２、３５−３、３５−４に応じて、例えば単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１のうち物体の動きがあった領域が所定の色に着色表示されるように輝度信号２１及び色差信号２２を加工する。
【００４７】
ＤＳＰ３０は、フレームＦ３及びＦ４では、単位領域Ａ２、Ｂ２、Ｃ２、Ｄ２について、輝度信号２１の積算及び動き判別を実施する。ＤＳＰ３０は、フレームＦ５及びＦ６では、単位領域Ａ３、Ｂ３、Ｃ３、Ｄ３について、輝度信号２１の積算及び動き判別を実施する。ＤＳＰ３０は、フレームＦ７及びＦ８では、単位領域Ａ４、Ｂ４、Ｃ４、Ｄ４について、輝度信号２１の積算及び動き判別を実施する。
【００４８】
ＤＳＰ３０は、単位領域Ａ１、Ａ２、Ａ３、Ａ４について時分割的に第１積算部３２−１及び第１動き判別部３３−１を使用する。ＤＳＰ３０は、単位領域Ｂ１、Ｂ２、Ｂ３、Ｂ４について時分割的に第２積算部３２−２及び第２動き判別部３３−２を使用する。ＤＳＰ３０は、単位領域Ｃ１、Ｃ２、Ｃ３、Ｃ４について時分割的に第３積算部３２−３及び第３動き判別部３３−３を使用する。ＤＳＰ３０は、単位領域Ｄ１、Ｄ２、Ｄ３、Ｄ４について時分割的に第４積算部３２−４及び第４動き判別部３３−４を使用する。
【００４９】
このようにして、ＤＳＰ３０は、８つのフレームＦ１〜Ｆ８により、画像の全範囲について物体の動きを判別する。ＤＳＰ３０は、フレームＦ８より後のフレームにおいても、各単位領域について同様の動作を繰り返す。
【００５０】
ＤＳＰ３０は、４個の積算部３２−１、３２−２、３２−３、３２−４を時分割的に使用することで、画像の全範囲について８個のフレームにより物体の動きを判別可能とする。ＤＳＰ３０は、フレームごとに得られた積算値同士を比較する場合に比べて、積算のための回路やメモリ容量を少なくすることが可能となる。これにより、動き検出システムは、回路規模が低減された簡易な構成のＤＳＰ３０を使用して単位領域ごとに物体の動きを検出し、検出された物体を映像によって示すことができる。
【００５１】
なお、ＤＳＰ３０は、画像における単位領域を１６個に設定する場合に限られない。単位領域の数は複数であればいくつであっても良い。また、ＤＳＰ３０は、各単位領域について均等に動き検出を実施する場合に限られず、単位領域ごとに動き検出の頻度を異ならせることとしても良い。例えば、室内への侵入者を監視するシステムの場合、出入り口付近の領域について、他の領域より動き検出の頻度を増加させるようにしても良い。ＤＳＰ３０は、単位領域ごとの動き検出の順序は一定である場合に限られず、適宜変更しても良い。
【００５２】
（第３の実施形態）
図５は、第３の実施形態の画像処理装置の動作を説明する図である。本実施形態にかかる画像処理装置であるＤＳＰは、第１の実施形態にかかるＤＳＰ４（図１参照）と同様の構成を備える。本実施形態の構成については図１を参照することとし、第１の実施形態と重複する説明は適宜省略するものとする。
【００５３】
ここでは、連続する３２個のフレームＦ１〜Ｆ３２を対象とする輝度信号２１の積算及び動き判別を実施する場合を例とする。本実施形態では、第２の実施形態と同様、画像に複数の単位領域を設定する。４×４のマトリクスを構成する１６個の領域Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ａ３、Ｂ３、Ｃ３、Ｄ３、Ａ４、Ｂ４、Ｃ４、Ｄ４は、それぞれが単位領域であるものとする。
【００５４】
積算部１２は、単位領域ごとの輝度信号２１の積算を時分割的に実施する。動き判別部１３は、単位領域ごとの動き判別を時分割的に実施する。ＤＳＰ４は、フレームＦ１及びＦ２では、単位領域Ａ１について、輝度信号２１の積算及び動き判別を実施する。タイミング発生部１１は、フレームＦ１についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ１の単位領域Ａ１について輝度信号２１の生成が開始されると、積算タイミング信号１６により積算部１２へ積算の開始を指示する。積算部１２は、積算タイミング信号１６に応じて、フレームＦ１の単位領域Ａ１について輝度信号２１を積算する。
【００５５】
タイミング発生部１１は、フレームＦ１の単位領域Ａ１についての輝度信号２１の生成が完了してから、フレームＦ２の単位領域Ａ１について輝度信号２１の生成が開始するまでの間に、符号切り換えタイミング信号１８を出力する。例えば、積算部１２は、符号切り換えタイミング信号１８に応じて、輝度信号２１の信号レベルの符号をプラスからマイナスへ反転させる。
【００５６】
タイミング発生部１１は、フレームＦ２についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ２の単位領域Ａ１について輝度信号２１の生成が開始されると、積算タイミング信号１６により積算部１２へ積算の開始を指示する。積算部１２は、積算タイミング信号１６に応じて、フレームＦ２の単位領域Ａ１について輝度信号２１を積算する。
【００５７】
フレームＦ２の単位領域Ａ１について輝度信号２１の積算が完了すると、タイミング発生部１１は、積算値読み出しタイミング信号１７を出力する。積算部１２は、積算値読み出しタイミング信号１７に応じて、フレームＦ１（第１のフレーム）及びフレームＦ２（第２のフレーム）についての積算結果である積算値２３を出力する。積算部１２は、積算値２３を出力してから、それまでの積算結果をリセットする。
【００５８】
動き判別部１３は、積算値２３に応じて、単位領域Ａ１内の動き判別を実施する。動き判別部１３は、動き判別の結果を、判別結果信号２４として出力する。着色処理部１４は、物体の動きがあった旨の判別結果信号２４に応じて、例えば単位領域Ａ１が所定の色に着色表示されるように輝度信号２１及び色差信号２２を加工する。
【００５９】
ＤＳＰ４は、単位領域Ａ１以外の１５個の単位領域Ｂ１〜Ｄ４について、フレームＦ３〜Ｆ３２において、単位領域Ａ１の場合と同様にして動き判別を順次実施していく。このようにして、ＤＳＰ４は、３２個のフレームＦ１〜Ｆ３２により、画像の全範囲について物体の動きを判別する。ＤＳＰ４は、フレームＦ３２より後のフレームにおいても、各単位領域について同様の動作を繰り返す。
【００６０】
着色処理部１４は、物体の動きがあった単位領域Ａ１〜Ｄ４ごとの着色表示により、物体の動きを検出した領域を利用者に報知する。着色処理部１４は、単位領域Ａ１〜Ｄ４ごとを着色表示させる他、例えば、画面全体を着色表示させることとしても良い。また、着色処理部１４は、単位領域内の全体を着色表示させる場合に限られず、単位領域内の一部、例えば、縁部分等のみを着色表示させるものとしても良い。
【００６１】
ＤＳＰ４は、１個の積算部１２と１個の動き判別部１３とを時分割的に使用することで、３２個のフレームで画像の全範囲について物体の動きを判別可能とする。これにより、動き検出システムは、回路規模が低減された簡易な構成のＤＳＰ４を使用して単位領域ごとに物体の動きを検出し、検出された物体を映像によって示すことができる。
【００６２】
なお、ＤＳＰ４は、画像における単位領域を１６個に設定する場合に限られない。単位領域の数は複数であればいくつであっても良い。また、ＤＳＰ４は、各単位領域について均等に動き検出を実施する場合に限られず、単位領域ごとに動き検出の頻度を異ならせることとしても良い。ＤＳＰ４は、単位領域ごとの動き検出の順序は一定である場合に限られず、適宜変更しても良い。
【００６３】
各実施形態の画像処理装置は、画像の全範囲について動き検出を実施する場合に限られず、画像の少なくとも一部について動き検出を実施するものであれば良いものとする。画像処理装置は、映像信号のうち、輝度信号２１の積算により動き検出を実施する場合に限られない。画像処理装置は、映像信号のうち輝度信号２１以外の情報、例えば、色差信号２２、ＲＧＢの各色信号、輪郭信号等の積算により動き検出を実施するものとしても良い。
【００６４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６５】
４ ＤＳＰ、１１ タイミング発生部、１２ 積算部、１３ 動き判別部、１６ 積算タイミング信号、１７ 積算値読み出しタイミング信号、１８ 符号切り換えタイミング信号、２１ 輝度信号、２８ 単位領域。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
物体の動きを映像から検出する動き検出システムとして、例えば、映像の輝度データの比較により得られた差分から物体の動きを判別するものが知られている。二以上のフレームにおける輝度データ同士を画面全体について比較する場合、カメラモジュールは、二以上のフレーム分のフレームメモリを要することで、回路規模の大型化が課題となる。かかる課題の解決のためにフレームメモリを少なくした場合、動き判別の精度の低下が問題となる。
【０００３】
物体の動いた方向や速さに応じた制御等を不要とするような場合、例えば、侵入物の有無を監視する監視システム等としては、カメラモジュールに代えて焦電センサを使用するものがある。焦電センサを使用するシステムは、回路規模の小型化が可能となる一方、映像による侵入物等の確認が望まれる用途には適していない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４３０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、回路規模が低減された簡易な構成として、物体の動きを映像によって確認可能とするための画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、画像処理装置は、積算部及び動き判別部を有する。積算部は、映像信号から得られる画素ごとの情報を積算する。動き判別部は、撮影された映像の時系列的な変化を積算部による積算結果から検知する。動き判別部は、映像での物体の動きを判別する。積算部は、単位領域内について、第１のフレームの情報を積算してから、第１のフレームについての積算の際とは信号レベルの符号を反転させて、第２のフレームの情報をさらに積算する。第２のフレームは、第１のフレームより後のフレームである。単位領域は、映像のうち動き判別部で動き判別の単位とする領域である。動き判別部は、積算部における第１のフレーム及び第２のフレームについての当該積算結果に応じて、単位領域内の動き判別を実施する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態の画像処理装置を適用した動き検出システムの構成を示すブロック図。
【図２】積算部による輝度信号の積算について説明する図。
【図３】第２の実施形態の画像処理装置の構成を示すブロック図。
【図４】各積算部による輝度信号の積算について説明する図。
【図５】第３の実施形態の画像処理装置の動作を説明する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００９】
（第１の実施形態）
図１は、第１の実施形態の画像処理装置を適用した動き検出システムの構成を示すブロック図である。動き検出システムは、カメラモジュール１及び表示装置２を有する。カメラモジュール１は、映像を撮影する。表示装置２は、カメラモジュール１により撮影された映像を表示する。表示装置２は、例えば、液晶ディスプレイである。
【００１０】
カメラモジュール１は、イメージセンサ３及びデジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）４を有する。イメージセンサ３は、被写体からの光を信号電荷に変換し、映像信号２０を出力する。画像処理装置であるＤＳＰ４は、イメージセンサ３からの映像信号２０に対する画像処理を実施する。
【００１１】
ＤＳＰ４は、映像信号処理部１０、タイミング発生部１１、積算部１２、動き判別部１３、着色処理部１４及びフォーマット変換部１５を有する。映像信号処理部１０は、ＤＳＰ４へ入力された映像信号２０に種々の演算処理を施し、輝度信号２１及び色差信号２２を生成する。
【００１２】
積算部１２は、輝度信号２１を積算し、積算値２３を出力する。動き判別部１３は、映像での物体の動きを判別し、判別結果信号２４を出力する。動き判別部１３は、カメラモジュール１で撮影された映像の時系列的な変化を、積算値２３から検知する。
【００１３】
着色処理部１４は、物体の動きがあった旨の判別結果信号２４に応じて、画面を着色表示するための処理を輝度信号２１及び色差信号２２に施す。フォーマット変換部１５は、着色処理部１４からの輝度信号２１及び色差信号２２に対し、表示装置２に適したフォーマット変換を施し、表示用映像信号２５を出力する。表示装置２は、ＤＳＰ４から出力された表示用映像信号２５に応じて映像を表示する。
【００１４】
タイミング発生部１１は、積算タイミング信号１６、積算値読み出しタイミング信号１７、符号切り換えタイミング信号１８及びセンサ用タイミング信号２６を出力する。タイミング発生部１１は、所定のフレーム期間ごとにセンサ用タイミング信号２６を出力する。イメージセンサ３は、センサ用タイミング信号２６に応じて被写体像を取り込む。
【００１５】
積算部１２は、積算タイミング信号１６に応じて、輝度信号２１の積算を実行する。積算部１２は、積算値読み出しタイミング信号１７に応じて、積算結果である積算値２３を出力する。さらに、積算部１２は、符号切り換えタイミング信号１８に応じて、積算の対象とする輝度信号２１について信号レベルの符号を反転させる。
【００１６】
図２は、積算部による輝度信号の積算について説明する図である。ここでは、連続する三つのフレームＦ１、Ｆ２、Ｆ３を対象とする輝度信号２１の積算及び動き判別を実施する場合を例とする。積算部１２は、フレームごとの画像のうちの単位領域内について、輝度信号２１を積算する。単位領域は、動き判別部１３での動き判別の単位とする領域とする。本実施形態では、単位領域２８は、画像の全範囲であるものとする。
【００１７】
タイミング発生部１１は、フレームＦ１についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ１についての輝度信号２１の生成が開始されると、積算タイミング信号１６により積算部１２へ積算の開始を指示する。積算部１２は、積算タイミング信号１６に応じて、フレームＦ１の単位領域２８について輝度信号２１を積算する。
【００１８】
タイミング発生部１１は、フレームＦ２についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ２について輝度信号２１の生成が開始されると、符号切り換えタイミング信号１８を出力する。例えば、フレームＦ１について輝度信号２１をプラス積算していたとすると、積算部１２は、符号切り換えタイミング信号１８に応じて、輝度信号２１の信号レベルの符号をプラスからマイナスへ反転させる。積算部１２は、フレームＦ１についてのプラス積算に続けて、フレームＦ２について輝度信号２１をマイナス積算する。
【００１９】
フレームＦ２について積算部１２での輝度信号２１の積算が完了すると、タイミング発生部１１は、積算値読み出しタイミング信号１７を出力する。積算部１２は、積算値読み出しタイミング信号１７に応じて、フレームＦ１（第１のフレーム）、及びフレームＦ２（第２のフレーム）についての積算値２３を出力する。積算部１２は、積算値２３を出力すると、それまでの積算結果をリセットする。動き判別部１３は、積算値２３に応じて、単位領域２８内の動き判別を実施する。
【００２０】
フレームＦ１とフレームＦ２とで信号レベルの符号を反転させることで、フレームＦ１及びフレームＦ２についての積算値２３は、フレームＦ１についての輝度信号２１とフレームＦ２についての輝度信号２１との差分となる。例えば、フレームＦ１の画像とフレームＦ２の画像とに全く変化が無かった場合、積算値２３はゼロとなる。
【００２１】
動き判別部１３は、映像の変化の有無を判別する基準とする判別用閾値を予め保持する。判別用閾値は、例えば、輝度信号２１に含まれるノイズ等の影響を考慮して設定されている。動き判別部１３は、フレームＦ１及びフレームＦ２についての積算値２３が判別用閾値以下であった場合、フレームＦ１及びフレームＦ２において物体の動きが無いものと判別する。動き判別部１３は、フレームＦ１及びフレームＦ２についての積算値２３が判別用閾値より大きかった場合、フレームＦ１及びフレームＦ２において物体の動きがあるものと判別する。
【００２２】
なお、判別用閾値は、固定値及び可変値のいずれであっても良いものとする。また、動き判別部１３は、判別用閾値をゼロとしても良い。この場合、動き判別部１３は、積算値２３がゼロ以外であれば、物体の動きがあるものと判別する。動き判別部１３は、判別用閾値をゼロに近い値とするほど、厳格な動き判別を行うこととなる。
【００２３】
動き判別部１３は、動き判別の結果を、判別結果信号２４として出力する。着色処理部１４は、物体の動きがあった旨の判別結果信号２４に応じて、画面全体が所定の色に着色表示されるように輝度信号２１及び色差信号２２を加工する。動き検出システムは、表示装置２での着色表示により、物体の動きを検出したことを利用者に報知する。着色処理部１４は、画面全体を着色表示させる場合に限られず、画面の一部を着色表示させるものとしても良い。
【００２４】
着色処理部１４は、輝度信号２１及び色差信号２２のネガポジ反転、信号レベルの固定値への変更、所定の色成分の加算等、いずれの手法により表示装置２に着色表示させるものであっても良い。また、着色処理部１４は、物体の動きがあった間のみならず、物体の動きが無くなっても一定の時間において着色表示を継続させることとしても良い。動き検出システムは、着色表示をある程度継続させることで、物体の動きがあったことを利用者へ確実に認識させることが可能となる。着色処理部１４は、時間の経過とともに着色表示の状態を適宜変化させることとしても良い。着色処理部１４は、着色表示と通常の表示とを交互に行うようにしても良い。動き検出システムは、着色表示と併せて、例えば、アラーム音の出力等をすることとしても良い。
【００２５】
タイミング発生部１１は、フレーム期間Ｆ３についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ３について輝度信号２１の生成が開始されると、符号切り換えタイミング信号１８を積算部１２へ出力する。積算部１２は、符号切り換えタイミング信号１８に応じて、輝度信号２１の信号レベルの符号をマイナスからプラスへ反転させる。ＤＳＰ４は、フレームＦ３以降についても、フレームＦ１及びＦ２についてと同様の動作を繰り返す。動き検出システムは、以上の動作により、物体の動きを検出する。
【００２６】
従来の画像処理装置は、第１フレームについての積算値と第２フレームについての積算値との比較のために、２個の積算部を要するか、２個のフレームのデータ量に相当するデータ保持部を要することとなる。本実施形態のＤＳＰ４は、第１フレーム及び第２フレームを通じて積算された積算値２３から、映像の時系列的な変化を検知する。ＤＳＰ４は、１個の積算部１２によって２個のフレームについての物体の動きを判別可能とすることで、フレームごとに得られた積算値同士を比較する場合に比べて、積算のための回路やメモリ容量を少なくすることが可能となる。これにより、動き検出システムは、回路規模が低減された簡易な構成のＤＳＰ４を使用して物体の動きを検出し、検出された物体を映像によって示すことができる。
【００２７】
なお、ＤＳＰ４は、各フレームについて連続して動き検出を実施する場合に限られない。ＤＳＰ４は、ある程度の期間を置いて動き検出を実施することとしても良い。また、ＤＳＰ４は、連続する第１フレーム及び第２フレームについて輝度信号２１の積算、及び動き判別を実施する場合に限られない。ＤＳＰ４は、ある程度の間隔を置いた第１フレーム及び第２フレームの間で、輝度信号２１の積算、及び動き判別を実施することとしても良い。ＤＳＰ４は、タイミング発生部１１による積算タイミング信号１６、積算値読み出しタイミング信号１７及び符号切り換えタイミング信号１８の出力を制御することで、動き検出の頻度や、輝度信号２１の積算、動き判別のタイミングを適宜調整することができる。
【００２８】
（第２の実施形態）
図３は、第２の実施形態の画像処理装置の構成を示すブロック図である。本実施形態の画像表示装置であるＤＳＰ３０は、動き検出システムに適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００２９】
ＤＳＰ３０は、映像信号処理部１０、タイミング発生部３１、４個の積算部３２−１、３２−２、３２−３、３２−４、４個の動き判別部３３−１、３３−２、３３−３、３３−４、着色処理部１４及びフォーマット変換部１５を有する。
【００３０】
図４は、各積算部による輝度信号の積算について説明する図である。ここでは、連続する８個のフレームＦ１〜Ｆ８を対象とする輝度信号２１の積算及び動き判別を実施する場合を例とする。
【００３１】
本実施形態では、画像に複数の単位領域を設定する。ここでは、画像の全範囲には、水平方向に４個（Ａ、Ｂ、Ｃ、Ｄ）、垂直方向に４個（１、２、３、４）のマトリクスをなす領域が定義されているものとする。４×４のマトリクスを構成する１６個の領域Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ａ３、Ｂ３、Ｃ３、Ｄ３、Ａ４、Ｂ４、Ｃ４、Ｄ４は、それぞれが単位領域であるものとする。ＤＳＰ３０は、垂直方向に並列する行ごとにおいて、水平方向に並列する４つの単位領域の動き判別を同時に実施する。
【００３２】
第１積算部３２−１及び第１動き判別部３３−１は、単位領域Ａ１、Ａ２、Ａ３、Ａ４に対応している。第２積算部３２−２及び第２動き判別部３３−２は、単位領域Ｂ１、Ｂ２、Ｂ３、Ｂ４に対応している。第３積算部３２−３及び第３動き判別部３３−３は、単位領域Ｃ１、Ｃ２、Ｃ３、Ｃ４に対応している。第４積算部３２−４及び第４動き判別部３３−４は、単位領域Ｄ１、Ｄ２、Ｄ３、Ｄ４に対応している。
【００３３】
ＤＳＰ３０は、フレームＦ１及びＦ２では、単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について、輝度信号２１の積算及び動き判別を実施する。タイミング発生部３１は、フレームＦ１についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ１の単位領域Ａ１について輝度信号２１の生成が開始されると、積算タイミング信号３６−１により第１積算部３２−１へ積算の開始を指示する。第１積算部３２−１は、積算タイミング信号３６−１に応じて、フレームＦ１の単位領域Ａ１について輝度信号２１を積算する。
【００３４】
タイミング発生部３１は、フレームＦ１の単位領域Ｂ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−２を出力し、第２積算部３２−２へ輝度信号２１の積算を指示する。第２積算部３２−２は、積算タイミング信号３６−２に応じて、フレームＦ１の単位領域Ｂ１について輝度信号を積算する。
【００３５】
タイミング発生部３１は、フレームＦ１の単位領域Ｃ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−３を出力し、第３積算部３２−３へ輝度信号２１の積算を指示する。第３積算部３２−３は、積算タイミング信号３６−３に応じて、フレームＦ１の単位領域Ｃ１について輝度信号を積算する。
【００３６】
タイミング発生部３１は、フレームＦ１の単位領域Ｄ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−４を出力し、第４積算部３２−４へ輝度信号２１の積算を指示する。第４積算部３２−４は、積算タイミング信号３６−４に応じて、フレームＦ１の単位領域Ｄ１について輝度信号を積算する。
【００３７】
第１積算部３２−１、第２積算部３２−２、第３積算部３２−３及び第４積算部３２−４は、それぞれフレームＦ１について輝度信号２１の積算が完了すると、積算を停止させる間、フレームＦ１についての積算結果を保持する。
【００３８】
タイミング発生部３１は、フレームＦ１の単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について輝度信号２１の生成が完了してから、フレームＦ２の単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について輝度信号２１の生成が開始するまでの間に、符号切り換えタイミング信号３８−１、３８−２、３８−３、３８−４を出力する。例えば、フレームＦ１について輝度信号２１をプラス積算していたとすると、第１積算部３２−１、第２積算部３２−２、第３積算部３２−３、第４積算部３２−４は、符号切り換えタイミング信号３８−１、３８−２、３８−３、３８−４に応じて、輝度信号２１の信号レベルの符号をプラスからマイナスへ反転させる。第１積算部３２−１、第２積算部３２−２、第３積算部３２−３、第４積算部３２−４は、フレームＦ１についてのプラス積算に続けて、フレームＦ２について輝度信号２１をマイナス積算する。
【００３９】
タイミング発生部３１は、フレームＦ２の単位領域Ａ１について輝度信号２１が生成されるタイミングで積算タイミング信号３６−１を出力し、第１積算部３２−１へ輝度信号２１の積算を指示する。第１積算部３２−１は、積算タイミング信号３６−１に応じて、フレームＦ２の単位領域Ａ１について輝度信号２１を積算する。第２積算部３２−２は、積算タイミング信号３６−２に応じて、フレームＦ２の単位領域Ｂ１について輝度信号２１を積算する。第３積算部３２−３は、積算タイミング信号３６−３に応じて、フレームＦ２の単位領域Ｃ１について輝度信号２１を積算する。第４積算部３２−４は、積算タイミング信号３６−４に応じて、フレームＦ２の単位領域Ｄ１について輝度信号２１を積算する。
【００４０】
フレームＦ２の単位領域Ａ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−１を出力する。第１積算部３２−１は、積算値読み出しタイミング信号３７−１に応じて、フレームＦ１（第１のフレーム）及びフレームＦ２（第２のフレーム）についての積算結果である積算値３４−１を出力する。第１積算部３２−１は、積算値３４−１を出力してから、それまでの積算結果をリセットする。
【００４１】
フレームＦ２の単位領域Ｂ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−２を出力する。第２積算部３２−２は、積算値読み出しタイミング信号３７−２に応じて積算値３４−２を出力する。第２積算部３２−２は、積算値３４−２を出力してから、それまでの積算結果をリセットする。
【００４２】
フレームＦ２の単位領域Ｃ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−３を出力する。第３積算部３２−３は、積算値読み出しタイミング信号３７−３に応じて積算値３４−３を出力する。第３積算部３２−３は、積算値３４−３を出力してから、それまでの積算結果をリセットする。
【００４３】
フレームＦ２の単位領域Ｄ１について輝度信号２１の積算が完了すると、タイミング発生部３１は、積算値読み出しタイミング信号３７−４を出力する。第４積算部３２−４は、積算値読み出しタイミング信号３７−４に応じて積算値３４−４を出力する。第４積算部３２−４は、積算値３４−４を出力してから、それまでの積算結果をリセットする。
【００４４】
第１動き判別部３３−１は、第１積算部３２−１からの積算値３４−１に応じて、単位領域Ａ１内の動き判別を実施する。第１動き判別部３３−１は、動き判別の結果を、判別結果信号３５−１として出力する。第２動き判別部３３−２は、第２積算部３２−２からの積算値３４−２に応じて、単位領域Ｂ１内の動き判別を実施する。第２動き判別部３３−２は、動き判別の結果を、判別結果信号３５−２として出力する。
【００４５】
第３動き判別部３３−３は、第３積算部３２−３からの積算値３４−３に応じて、単位領域Ｃ１内の動き判別を実施する。第３動き判別部３３−３は、動き判別の結果を、判別結果信号３５−３として出力する。第４動き判別部３３−４は、第４積算部３２−４からの積算値３４−４に応じて、単位領域Ｄ１内の動き判別を実施する。第４動き判別部３３−４は、動き判別の結果を、判別結果信号３５−４として出力する。このように、ＤＳＰ３０は、単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１について、物体の動きを別々に監視する。
【００４６】
着色処理部１４は、物体の動きがあった旨の判別結果信号３５−１、３５−２、３５−３、３５−４に応じて、例えば単位領域Ａ１、Ｂ１、Ｃ１、Ｄ１のうち物体の動きがあった領域が所定の色に着色表示されるように輝度信号２１及び色差信号２２を加工する。
【００４７】
ＤＳＰ３０は、フレームＦ３及びＦ４では、単位領域Ａ２、Ｂ２、Ｃ２、Ｄ２について、輝度信号２１の積算及び動き判別を実施する。ＤＳＰ３０は、フレームＦ５及びＦ６では、単位領域Ａ３、Ｂ３、Ｃ３、Ｄ３について、輝度信号２１の積算及び動き判別を実施する。ＤＳＰ３０は、フレームＦ７及びＦ８では、単位領域Ａ４、Ｂ４、Ｃ４、Ｄ４について、輝度信号２１の積算及び動き判別を実施する。
【００４８】
ＤＳＰ３０は、単位領域Ａ１、Ａ２、Ａ３、Ａ４について時分割的に第１積算部３２−１及び第１動き判別部３３−１を使用する。ＤＳＰ３０は、単位領域Ｂ１、Ｂ２、Ｂ３、Ｂ４について時分割的に第２積算部３２−２及び第２動き判別部３３−２を使用する。ＤＳＰ３０は、単位領域Ｃ１、Ｃ２、Ｃ３、Ｃ４について時分割的に第３積算部３２−３及び第３動き判別部３３−３を使用する。ＤＳＰ３０は、単位領域Ｄ１、Ｄ２、Ｄ３、Ｄ４について時分割的に第４積算部３２−４及び第４動き判別部３３−４を使用する。
【００４９】
このようにして、ＤＳＰ３０は、８つのフレームＦ１〜Ｆ８により、画像の全範囲について物体の動きを判別する。ＤＳＰ３０は、フレームＦ８より後のフレームにおいても、各単位領域について同様の動作を繰り返す。
【００５０】
ＤＳＰ３０は、４個の積算部３２−１、３２−２、３２−３、３２−４を時分割的に使用することで、画像の全範囲について８個のフレームにより物体の動きを判別可能とする。ＤＳＰ３０は、フレームごとに得られた積算値同士を比較する場合に比べて、積算のための回路やメモリ容量を少なくすることが可能となる。これにより、動き検出システムは、回路規模が低減された簡易な構成のＤＳＰ３０を使用して単位領域ごとに物体の動きを検出し、検出された物体を映像によって示すことができる。
【００５１】
なお、ＤＳＰ３０は、画像における単位領域を１６個に設定する場合に限られない。単位領域の数は複数であればいくつであっても良い。また、ＤＳＰ３０は、各単位領域について均等に動き検出を実施する場合に限られず、単位領域ごとに動き検出の頻度を異ならせることとしても良い。例えば、室内への侵入者を監視するシステムの場合、出入り口付近の領域について、他の領域より動き検出の頻度を増加させるようにしても良い。ＤＳＰ３０は、単位領域ごとの動き検出の順序は一定である場合に限られず、適宜変更しても良い。
【００５２】
（第３の実施形態）
図５は、第３の実施形態の画像処理装置の動作を説明する図である。本実施形態にかかる画像処理装置であるＤＳＰは、第１の実施形態にかかるＤＳＰ４（図１参照）と同様の構成を備える。本実施形態の構成については図１を参照することとし、第１の実施形態と重複する説明は適宜省略するものとする。
【００５３】
ここでは、連続する３２個のフレームＦ１〜Ｆ３２を対象とする輝度信号２１の積算及び動き判別を実施する場合を例とする。本実施形態では、第２の実施形態と同様、画像に複数の単位領域を設定する。４×４のマトリクスを構成する１６個の領域Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ａ３、Ｂ３、Ｃ３、Ｄ３、Ａ４、Ｂ４、Ｃ４、Ｄ４は、それぞれが単位領域であるものとする。
【００５４】
積算部１２は、単位領域ごとの輝度信号２１の積算を時分割的に実施する。動き判別部１３は、単位領域ごとの動き判別を時分割的に実施する。ＤＳＰ４は、フレームＦ１及びＦ２では、単位領域Ａ１について、輝度信号２１の積算及び動き判別を実施する。タイミング発生部１１は、フレームＦ１についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ１の単位領域Ａ１について輝度信号２１の生成が開始されると、積算タイミング信号１６により積算部１２へ積算の開始を指示する。積算部１２は、積算タイミング信号１６に応じて、フレームＦ１の単位領域Ａ１について輝度信号２１を積算する。
【００５５】
タイミング発生部１１は、フレームＦ１の単位領域Ａ１についての輝度信号２１の生成が完了してから、フレームＦ２の単位領域Ａ１について輝度信号２１の生成が開始するまでの間に、符号切り換えタイミング信号１８を出力する。例えば、積算部１２は、符号切り換えタイミング信号１８に応じて、輝度信号２１の信号レベルの符号をプラスからマイナスへ反転させる。
【００５６】
タイミング発生部１１は、フレームＦ２についてのセンサ用タイミング信号２６をイメージセンサ３へ出力し、フレームＦ２の単位領域Ａ１について輝度信号２１の生成が開始されると、積算タイミング信号１６により積算部１２へ積算の開始を指示する。積算部１２は、積算タイミング信号１６に応じて、フレームＦ２の単位領域Ａ１について輝度信号２１を積算する。
【００５７】
フレームＦ２の単位領域Ａ１について輝度信号２１の積算が完了すると、タイミング発生部１１は、積算値読み出しタイミング信号１７を出力する。積算部１２は、積算値読み出しタイミング信号１７に応じて、フレームＦ１（第１のフレーム）及びフレームＦ２（第２のフレーム）についての積算結果である積算値２３を出力する。積算部１２は、積算値２３を出力してから、それまでの積算結果をリセットする。
【００５８】
動き判別部１３は、積算値２３に応じて、単位領域Ａ１内の動き判別を実施する。動き判別部１３は、動き判別の結果を、判別結果信号２４として出力する。着色処理部１４は、物体の動きがあった旨の判別結果信号２４に応じて、例えば単位領域Ａ１が所定の色に着色表示されるように輝度信号２１及び色差信号２２を加工する。
【００５９】
ＤＳＰ４は、単位領域Ａ１以外の１５個の単位領域Ｂ１〜Ｄ４について、フレームＦ３〜Ｆ３２において、単位領域Ａ１の場合と同様にして動き判別を順次実施していく。このようにして、ＤＳＰ４は、３２個のフレームＦ１〜Ｆ３２により、画像の全範囲について物体の動きを判別する。ＤＳＰ４は、フレームＦ３２より後のフレームにおいても、各単位領域について同様の動作を繰り返す。
【００６０】
着色処理部１４は、物体の動きがあった単位領域Ａ１〜Ｄ４ごとの着色表示により、物体の動きを検出した領域を利用者に報知する。着色処理部１４は、単位領域Ａ１〜Ｄ４ごとを着色表示させる他、例えば、画面全体を着色表示させることとしても良い。また、着色処理部１４は、単位領域内の全体を着色表示させる場合に限られず、単位領域内の一部、例えば、縁部分等のみを着色表示させるものとしても良い。
【００６１】
ＤＳＰ４は、１個の積算部１２と１個の動き判別部１３とを時分割的に使用することで、３２個のフレームで画像の全範囲について物体の動きを判別可能とする。これにより、動き検出システムは、回路規模が低減された簡易な構成のＤＳＰ４を使用して単位領域ごとに物体の動きを検出し、検出された物体を映像によって示すことができる。
【００６２】
なお、ＤＳＰ４は、画像における単位領域を１６個に設定する場合に限られない。単位領域の数は複数であればいくつであっても良い。また、ＤＳＰ４は、各単位領域について均等に動き検出を実施する場合に限られず、単位領域ごとに動き検出の頻度を異ならせることとしても良い。ＤＳＰ４は、単位領域ごとの動き検出の順序は一定である場合に限られず、適宜変更しても良い。
【００６３】
各実施形態の画像処理装置は、画像の全範囲について動き検出を実施する場合に限られず、画像の少なくとも一部について動き検出を実施するものであれば良いものとする。画像処理装置は、映像信号のうち、輝度信号２１の積算により動き検出を実施する場合に限られない。画像処理装置は、映像信号のうち輝度信号２１以外の情報、例えば、色差信号２２、ＲＧＢの各色信号、輪郭信号等の積算により動き検出を実施するものとしても良い。
【００６４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６５】
４ ＤＳＰ、１１ タイミング発生部、１２ 積算部、１３ 動き判別部、１６ 積算タイミング信号、１７ 積算値読み出しタイミング信号、１８ 符号切り換えタイミング信号、２１ 輝度信号、２８ 単位領域。
【特許請求の範囲】
【請求項１】
映像信号から得られる画素ごとの情報を積算する積算部と、
撮影された映像の時系列的な変化を前記積算部による積算結果から検知し、前記映像での物体の動きを判別する動き判別部と、を有し、
前記積算部は、フレームごとの画像のうち前記動き判別部での動き判別の単位とする単位領域内について、第１のフレームの情報を積算してから、前記第１のフレームより後の第２のフレームの情報を、前記第１のフレームについての積算の際とは信号レベルの符号を反転させてさらに積算し、
前記動き判別部は、前記積算部における前記第１のフレーム及び前記第２のフレームについての当該積算結果に応じて、前記単位領域内の動き判別を実施することを特徴とする画像処理装置。
【請求項２】
前記動き判別部は、前記画像の全範囲を前記単位領域として動き判別を実施することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像に複数の前記単位領域が設定され、前記単位領域ごとの情報の積算を実施する複数の前記積算部と、
前記単位領域ごとの動き判別を実施する複数の前記動き判別部と、を有することを特徴とする請求項１に記載の画像処理装置
【請求項４】
前記動き判別部は、前記画像に設定された複数の前記単位領域について、前記単位領域ごとの動き判別を実施し、
前記積算部は、前記単位領域ごとの情報の積算を時分割的に実施することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記積算部に積算の実行を指示するタイミング信号と、前記積算部に前記符号の切り換えを指示するタイミング信号と、前記積算部に積算結果の出力を指示するタイミング信号と、の少なくともいずれかを出力するタイミング発生部をさらに有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画素ごとの情報は、輝度信号及び色差信号の少なくともいずれかであって、
物体の動きがあった旨の、前記動き判別部からの判別結果信号に応じて、画面を着色表示するための処理を前記輝度信号及び前記色差信号に施す着色処理部をさらに有することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項１】
映像信号から得られる画素ごとの情報を積算する積算部と、
撮影された映像の時系列的な変化を前記積算部による積算結果から検知し、前記映像での物体の動きを判別する動き判別部と、を有し、
前記積算部は、フレームごとの画像のうち前記動き判別部での動き判別の単位とする単位領域内について、第１のフレームの情報を積算してから、前記第１のフレームより後の第２のフレームの情報を、前記第１のフレームについての積算の際とは信号レベルの符号を反転させてさらに積算し、
前記動き判別部は、前記積算部における前記第１のフレーム及び前記第２のフレームについての当該積算結果に応じて、前記単位領域内の動き判別を実施することを特徴とする画像処理装置。
【請求項２】
前記動き判別部は、前記画像の全範囲を前記単位領域として動き判別を実施することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像に複数の前記単位領域が設定され、前記単位領域ごとの情報の積算を実施する複数の前記積算部と、
前記単位領域ごとの動き判別を実施する複数の前記動き判別部と、を有することを特徴とする請求項１に記載の画像処理装置
【請求項４】
前記動き判別部は、前記画像に設定された複数の前記単位領域について、前記単位領域ごとの動き判別を実施し、
前記積算部は、前記単位領域ごとの情報の積算を時分割的に実施することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記積算部に積算の実行を指示するタイミング信号と、前記積算部に前記符号の切り換えを指示するタイミング信号と、前記積算部に積算結果の出力を指示するタイミング信号と、の少なくともいずれかを出力するタイミング発生部をさらに有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画素ごとの情報は、輝度信号及び色差信号の少なくともいずれかであって、
物体の動きがあった旨の、前記動き判別部からの判別結果信号に応じて、画面を着色表示するための処理を前記輝度信号及び前記色差信号に施す着色処理部をさらに有することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２３９１２１（Ｐ２０１２−２３９１２１Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０８２４０（Ｐ２０１１−１０８２４０）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]