画像信号処理装置
【課題】対象物の動き検出の誤判定を抑制する画像信号処理装置を提供する。
【解決手段】画像情報抽出部2が抽出した輝度平均値を参照し、現フレームの画像ブロックの輝度平均値と、現フレームの画像ブロックと同一地点に位置する参照フレームの画像ブロックの輝度平均値との差分が閾値以上であった場合に、現フレームの画像ブロックと参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出部3と、該オフセット値を考慮して、現フレームの画像ブロックの画素値と、現フレームの画像ブロックと同位置の参照フレームの画像ブロックの画素値との差分が閾値以上であるか判定を行い閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定部4とを備える。
【解決手段】画像情報抽出部2が抽出した輝度平均値を参照し、現フレームの画像ブロックの輝度平均値と、現フレームの画像ブロックと同一地点に位置する参照フレームの画像ブロックの輝度平均値との差分が閾値以上であった場合に、現フレームの画像ブロックと参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出部3と、該オフセット値を考慮して、現フレームの画像ブロックの画素値と、現フレームの画像ブロックと同位置の参照フレームの画像ブロックの画素値との差分が閾値以上であるか判定を行い閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定部4とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、異なる時間に取得された複数の画像を用いて物体の動き検出を行う画像信号処理装置に関するものである。
【背景技術】
【0002】
従来より、撮影した画像を解析することにより侵入者などを検出する監視システムが利用され、この監視システムの物体の検出には取得された画像の輝度やその他のデータの変化に基づいて動きの有無を判定する方法が用いられている。
具体的には、撮影した画像フレームを複数のブロックに分割し、各ブロックの平均輝度値およびフレーム全体の平均輝度値を算出し、現フレームと前フレームにおいて各ブロックの平均輝度値およびフレーム全体の平均輝度値を用いた差分演算を行い、差分演算で得られた値をあらかじめ設定した閾値と比較することにより、動きを含むブロックを検出する動き検出装置が開示されている(特許文献1参照)。
【0003】
また、特許文献2には、動き検出対象フレームに対して過去の1フレームである背景フレーム、および動き検出対象フレームのブロック毎の輝度平均値を算出し、ブロック毎に、背景フレームの輝度平均値と、動き検出対象フレームのブロック毎の輝度平均値から補正値を差し引いた値との差分に基づいて、動き検出対象フレームに動きがあったか否かを判定する動き検出装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−157979号公報
【特許文献2】特開2008−257626号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の従来技術では、撮影された2枚の画像フレームをそれぞれ複数のブロックに分割し、同位置のブロックの輝度変化が閾値以上である場合に、当該ブロックを動きを含むブロックであると判定している。このため、2枚の画像フレームにおいて照明の変化のみで対象物が動いていない場合であっても動きを含むブロックであると誤判定する場合があるという課題があった。
【0006】
また、特許文献2の従来技術では、例えば画面内全域で対象物が動いている場合、すなわち画面全体が動いている場合、あるいは動き検出対象フレームにおいて動きが検出されたブロックで輝度変化が発生した場合に、動きが検出されたブロックでの輝度変化は補正値に反映されず、誤判定を招くという課題があった。また、補正値が動き検出対象フレームと背景フレームの輝度差を表していない場合にも、誤判定を招くという課題があった。
【0007】
この発明は、上記のような課題を解決するためになされたもので、対象物の動き検出の誤判定を抑制する画像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
この発明に係る画像信号処理装置は、入力された画像データを蓄積する記憶手段と、リアルタイムで入力される画像データを現フレームとし、記憶手段に蓄積された現フレームから所定時間前の画像データを参照フレームとして取得し、現フレームおよび参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値および輪郭情報を抽出する画像情報抽出手段と、画像情報抽出手段が抽出した輝度平均値を参照し、現フレームの画像ブロックの輝度平均値と、現フレームの画像ブロックと同一地点に位置する参照フレームの画像ブロックの輝度平均値との差分が閾値以上であった場合に、現フレームの画像ブロックと参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、オフセット算出手段が算出したオフセット値を考慮して、現フレームの画像ブロックの画素値と、現フレームの画像ブロックと同位置の参照フレームの画像ブロックの画素値との差分が閾値以上であるか判定を行い、現フレームと参照フレームの画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えるものである。
【発明の効果】
【0009】
この発明によれば、対象物の動き検出の誤判定を抑制することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態1による画像信号処理装置の構成を示すブロック図である。
【図2】実施の形態1による画像信号処理装置の画像フレームの分割処理を示す図である。
【図3】実施の形態1による画像信号処理装置の動作を示すフローチャートである。
【図4】実施の形態1による画像信号処理装置の表示結果を示す説明図である。
【図5】実施の形態2による画像信号処理装置の表示結果を示す説明図である。
【図6】実施の形態3による画像信号処理装置の構成を示すブロック図である。
【図7】実施の形態3による画像信号処理装置の動作を示すフローチャートである。
【図8】実施の形態3による画像信号処理装置の表示結果を示す説明図である。
【図9】実施の形態4による画像信号処理装置の構成を示すブロック図である。
【図10】実施の形態4による画像信号処理装置の動作を示すフローチャートである。
【図11】実施の形態4による画像信号処理装置の表示結果を示す説明図である。
【発明を実施するための形態】
【0011】
実施の形態1.
図1は、この発明の実施の形態1による画像信号処理装置の構成を示すブロック図である。
実施の形態1の画像信号処理装置10は、メモリ部1、画像情報抽出部2、オフセット算出部3、動き検出判定部4および表示制御部5で構成されている。また、画像信号処理装置10にはカメラ20が接続されており、該カメラ20が撮影した画像データが画像信号処理装置10に入力される。なお、この実施の形態1では、画像信号処理装置10が監視システムなどに適用される場合を想定し、動いている対象物の検出を例に説明する。そのため、画像信号処理装置10には、所定領域を撮影するカメラ20が接続され、撮影された画像データが画像処理装置10に入力される。以下では、カメラ20から入力されるリアルタイムの画像フレームデータを現フレームと称し、現フレームより前の異なる時間にカメラ20から入力された画像フレームデータを参照フレームと称して説明を行う。
【0012】
メモリ部1は、カメラ20から入力された画像データを蓄積する記憶領域であり、上述した現フレームと、現フレームから所定時間遡った期間の参照フレームを蓄積している。画像情報抽出部2は、カメラ20から画像データである現フレームが入力されると、メモリ部1から参照フレームを取得し、現フレームおよび参照フレームの画像フレームを所定サイズの画像ブロックに分割する。さらに分割した画像ブロック毎に輝度平均値や輪郭情報などの画像特徴情報を抽出する。これは、動き誤検出の原因となる対象物すなわち被写体の輝度変化および対象物の画像の特徴を検出し、動き誤検出を抑制するための処理である。ここで、輪郭情報は、現フレームおよび参照フレームを構成する画像ブロック毎にエッジ検出フィルタを施して抽出する。エッジ検出フィルタはソベルフィルタやその他のフィルタで適宜構成可能であり、本発明を限定するものではない。
【0013】
図2を参照しながら、画像情報抽出部2の画像フレームの分割について説明する。図2は、この発明の実施の形態1による画像信号処理装置の画像情報抽出部による画像フレームの分割処理を示す説明図である。
画像情報抽出部2は、あらかじめ設定された分割数に基づいて画像フレームを水平方向および垂直方向に分割する。図2の例では画像フレーム30が水平方向に水平ブロック数bhおよび垂直方向に垂直ブロック数bvとなるように分割される。分割されたブロックがそれぞれ画像ブロック40を構成する。
【0014】
オフセット算出部3は、画像情報抽出部2が抽出した画像ブロック毎の輝度平均値を参照し、現フレームと参照フレームにおける同一ブロックの輝度平均値差分を算出する。算出した輝度平均値差分とあらかじめ設定した閾値とを比較し、画像の輝度に変化があったか否か判定を行う。全ての画像ブロックの輝度に変化がないと判定した場合には、動き検出用輝度値オフセットを「0」に設定し、いずれかの画像ブロックの輝度に変化があったと判定した場合には、動き検出用輝度値オフセットを算出する。動き検出用輝度値オフセットとは、画面の明るさの変化による輝度値の変化量を差し引くための値であり、当該動き検出用輝度値オフセットを算出することにより画面内の動きのみに基づく輝度値の変化を算出することができる。動き検出用輝度値オフセットは、現フレームと参照フレームの1フレーム内のブロックの輝度平均値差分の平均値、あるいは中央値とするなど種々設定可能である。
【0015】
動き検出判定部4は、カメラ20から入力された画像データである現フレームと、メモリ部1から取得する参照フレームとにおいて、同位置の画像ブロックの画素差分を算出して閾値と比較することにより動き検出を行う。具体的には、オフセット算出部3が算出した動き検出用輝度値オフセットを、現フレームおよび参照フレームのうち輝度平均値がより小さい一方のフレームに加算した後、現フレームと参照フレームにおける同位置の画像ブロックの画素差分を算出し、算出した画素差分値が閾値以上である場合には、当該画像ブロックに動きを有する対象物が存在すると判定する。なお、動き検出用輝度値オフセットは、輝度平均値がより大きい一方のフレームから減算するように構成してもよい。
動き検出判定部4は、画素差分値が閾値未満であると判定された画像ブロックについて、さらに画像情報抽出部2が抽出した輪郭情報を参照して輪郭情報の変化が閾値以上である画像ブロックについても動きを有する対象物が存在すると判定する。
【0016】
表示制御部5は、動き検出判定部4から入力される検出結果を参照し、現フレーム内に動きを有する対象物が存在している場合には、当該対象物を含む画像ブロックそれそれぞれに動き検出マークなどを表示し、ユーザが動きを有する対象物が認識可能に表示制御を行う。
【0017】
次に、画像信号処理装置10の動作について説明する。
図3は、この発明の実施の形態1による画像信号処理装置の動作を示すフローチャートである。
画像情報抽出部2は、カメラ20から画像データが入力されると(ステップST1)、入力された画像データである現フレームおよびメモリ部1に蓄積された参照フレームをあらかじめ設定された分割数で分割して複数の画像ブロックとし、各フレームの画像ブロック毎に輝度平均値および輪郭情報などの画像特徴情報を算出する(ステップST2)。オフセット算出部3は、ステップST2で算出された画像特徴情報の輝度平均値を参照し、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分を算出し、算出した輝度平均値差分があらかじめ設定された閾値以上であるか判定を行う(ステップST3)。ここで、同位置の画像ブロックとは、現フレームと参照フレームとのそれぞれにおいて水平位置と垂直位置が同一である画像ブロックである。
【0018】
全ての画像ブロックにおいて輝度平均値差分が閾値未満であると判定された場合(ステップST3;NO)、オフセット算出部3は現フレームと参照フレームとの間において輝度の変化がないと判定し、動き検出用輝度値オフセットを「0」に設定し(ステップST4)、後述するステップST6の処理に進む。一方、輝度平均値差分が閾値以上である画像ブロックが存在すると判定された場合(ステップST3;YES)、オフセット算出部4は現フレームと参照フレームとの間において輝度の変化があると判定し、動き検出用輝度値オフセットを算出する(ステップST5)。
【0019】
動き検出判定部4は、ステップST5で算出した動き検出用輝度値オフセットを、現フレームまたは参照フレームのいずれか一方のフレームの画像に加算し、現フレームと参照フレームにおける同位置の画像ブロックの画素差分を算出する(ステップST6)。さらに、ステップST6で算出した画素差分値が、あらかじめ設定された閾値以上であるか判定を行う(ステップST7)。画素差分値が閾値以上であると判定された場合(ステップST7;YES)、現フレームと参照フレームとの間に動きを有する対象物が検出されたと判定する(ステップST8)。
【0020】
一方、画素差分値が閾値未満であると判定された場合(ステップST7;NO)、画素差分値が閾値未満であると判定された画像ブロックについて、画像情報抽出部2がステップST2で抽出した輪郭情報を取得し、取得した輪郭情報の現フレームと参照フレームとの差分和を算出し、あらかじめ設定された閾値以上であるか否か判定を行う(ステップST9)。たとえば、輪郭情報として、各画素で「輪郭画素(1)」または「非輪郭画素(0)」とした時に、現フレームと参照フレームとで同一画素位置同士で画素差分絶対値を取り、1フレーム分の差分絶対値和を算出する。輪郭情報の差分和が閾値以上であると判定された場合(ステップST9;YES)、輪郭情報に変化があると判定し、ステップST8の処理に進み、現フレームと参照フレームとの間に対象物の動き検出がなされたと判定する。なお、本実施例では、輪郭情報として、各画素で「輪郭画素(1)」または「非輪郭画素(0)」としたが、輪郭情報は2値のみならず、5段階や10段階などの多値情報でもよく、本発明を制限するものではない。
【0021】
一方、輪郭情報の差分和が閾値未満であると判定された場合(ステップST9;NO)、輪郭情報に変化がない、すなわち現フレームと参照フレームとの間では対象物の動きが非検出であると判定する(ステップST10)。動き検出判定部4は、現フレームを構成する全ての画像ブロックについて処理を行ったか否か判定を行い(ステップST11)、全ての画像ブロックについて処理を行っていないと判定された場合(ステップST11;NO)には、ステップST6の処理に戻る。
【0022】
一方、全ての画像ブロックについて処理を行ったと判定された場合(ステップST11;YES)には、検出結果を表示制御部5に出力する(ステップST12)。表示制御部5は、入力された検出結果を参照し、動き検出と判定された現フレームの画像ブロックに動き検出マークを表示する表示制御を行い(ステップST13)、処理を終了する。
【0023】
なおステップST5における輝度の変化があるとの判定には、現フレームと参照フレームとの間において対象物の動きがないがフレームの明るさが変化した場合(ケース1)と、対象物の動きにより現フレームと参照フレームの同一位置における画像ブロックの輝度平均値差分が閾値以上になる場合(ケース2)とが存在する。
【0024】
ただし、ケース1とケース2では、ステップST6の処理結果がそれぞれ異なる。ケース1の場合、ステップST6で算出される画素差分値が小さくなる。これは現フレームと参照フレームの同一位置の画像ブロック間の画素変化はフレーム間の画面の明るさの差であるオフセットに相当するためである。一方、ケース2の場合、ステップST6で算出される画素差分値は一般的に小さい値ではない。これは、フレーム間の画面の明るさが変化した場合とは異なり、現フレームと参照フレームの同一位置の同一位置の画像ブロック間の画素変化はフレーム間の画面の明るさの差とは限らないためである。そのため、ステップST6において画素差分値を算出し、ステップST7において画素差分値が所定の閾値以上であるか判定することにより、ケース1とケース2とを正確に区別することができる。
【0025】
図4は、この発明の実施の形態1による画像信号処理装置の表示結果を示す説明図である。図4(a)は参照フレームを示し、図4(b)は現フレームを示している。
図4(a)に示した参照フレーム200、および図4(b)に示した現フレーム100は、共に水平ブロック数bh、垂直ブロック数bvで分割された複数の画像ブロックで構成され、対象物50が写っている。図4に示すように、対象物50の存在位置が参照フレーム200と現フレーム100において異なり、対象物50が動いていると判定された場合、現フレーム100内の対象物50を含むブロックそれぞれに対して動き検出マーク60を表示する。なお、参照フレーム200または/および現フレーム100において対象物50が写っていない場合も存在し、対象物50の存在の有無が本願発明に影響を与えるものではない。
【0026】
以上のように、この実施の形態1によれば、現フレームと参照フレームの同位置の画像ブロックの輝度平均値の差分に基づいて輝度変化の発生を判定し、輝度変化が発生した場合に画像データの明るさの変化による輝度変化の変化量を差し引くための動き検出用輝度値オフセットを算出するオフセット算出部と、算出されたオフセット値を考慮して現フレームと参照フレームの同位置の画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定部とを備えるように構成したので、画像特徴情報に基づいて条件分けを行って画像ブロック毎の動き検出を行うことができ、対象物の動き検出の誤判定を抑制することができる。また、外光や照明の変化による輝度変化を差し引いて対象物の動きを判定することができ、動き検出の誤判定を抑制することができる。具体的には、外光や照明の変化のみで対象が動いていない場合に、対象物が動いていると誤判定することを抑制することができる。
【0027】
また、この実施の形態1によれば、動き検出判定部において現フレームと参照フレームの同位置の画像ブロックの画素値の差分が閾値未満であると判定された場合に、さらに輪郭情報の変化に基づいて動き検出を判定するように構成したので、輪郭情報も考慮したより細かい条件分けにより画像ブロック毎の動き検出を行うことができ、動き検出の誤判定を抑制することができる。具体的には、被写体が動いているが輝度変化が小さい場合にもさらに輪郭情報を考慮した動き検出を行うことができ、より正確に動きを有する対象物を検出することができる。
【0028】
実施の形態2.
上述した実施の形態1では、参照フレームとして、現フレームより前の異なる時間にカメラ20から入力された画像フレームデータを用いる構成を示したが、この実施の形態2では対象物が写っていない背景のみの画像フレームデータを背景参照フレームとして用いる構成を示す。
なお、この実施の形態2による画像信号処理装置10の構成要素は実施の形態1と同一であるため、画像信号処理装置10のブロック図の記載を省略し、実施の形態1で使用した符号と同一の符号を用いて説明を行う。
【0029】
カメラ20は、対象物が写っていない背景のみを撮影し、当該背景のみの画像フレームデータを背景参照フレームとしてメモリ部1に記憶させる。背景参照データは1種類だけではなく、撮影条件によりそれぞれ異なる複数の背景参照フレームを準備してメモリ部1に記憶させるように構成してもよい。
【0030】
画像信号処理装置10は、現フレームと背景参照フレームに基づいて動きを有する対象物の検出を行う。なお、動き検出処理は、参照フレームを背景参照フレームに替えて行う以外は実施の形態1と同一であるため、説明を省略する。
図5は、この発明の実施の形態2による画像信号処理装置10の表示結果を示す説明図である。図5(a)は背景参照フレームを示し、図5(b)は現フレームを示している。
図5に示すように、対象物が写っていない背景参照フレーム300を用いることにより、対象物が写っている参照フレームを用いる場合に比べて対象物50を容易に検出することができる。これは現フレーム100と背景参照フレーム300において、外光や照明の変化が除外された場合に現フレーム100と背景参照フレーム300とで画素差分を取ることにより、差分値が小さい領域は背景領域、差分値が大きい領域は対象物50が存在する領域として判定し易くなるためである。
【0031】
以上のように、この実施の形態2によれば、対象物が写っていない背景を撮影した背景参照フレームを用いて、現フレームと同位置の画像ブロックの画素値の差分が閾値以上であるか判定するように構成したので、対象物が存在する画像ブロックを容易に検出することができる。
【0032】
実施の形態3.
上述した実施の形態1では、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分に基づいて、輝度変化があったか否かを判定し、輝度変化があったと判定した場合に動き検出用輝度値オフセットを考慮して動きを有する対象物の検出を行い、さらに動き非検出の場合に輪郭情報の変化を考慮して動きを有する対象物の検出を行うことにより、高精度な動き検出を実現している。一方、この実施の形態1の構成では、動いていた対象物が静止した場合、ユーザは画面上でそれまで動いていた対象物が存在したことを認識することが困難である。そこで、この実施の形態3では、動き検出した画像ブロックに所定時間マーカを付すことにより、監視対象を明確化する構成を示す。
【0033】
図6は、この実施の形態3による画像信号処理装置の構成を示すブロック図である。
動き検出判定部4は、実施の形態1で示した構成に加えて、フラグ設定部6およびフラグ判定部7を備えている。また、メモリ部1は、実施の形態1で示した構成に加え、フラグ判定部7が判定処理を行う際に必要となる情報を記憶する。
【0034】
フラグ設定部6は、動き検出判定部4の処理として動き検出が判定された場合に、動き検出された画像ブロックの動き検出フラグを「ON」に設定し、設定した動き検出フラグ、フラグ判定時間、および画像ブロックの位置をメモリ部1に出力し、記憶させる。ここで、フラグ判定時間は動き検出フラグが「ON」されてからの時間を示し、各画像ブロックのフラグ判定時間は予め初期化(例えば、初期化の時間を「0」とする)しておき、メモリ部1側において動き検出フラグが「ON」されてからの経過時間を加算し、記憶する。
【0035】
メモリ部1は、フラグ設定部6から入力される動き検出フラグ、フラグ判定時間、および画像ブロックの位置を記憶する。さらにメモリ部1は、画像フレームをどの程度の期間蓄積するかを示すフレーム記憶時間を有しており、カメラ20から画像データが入力されると入力された画像フレームにフレーム記憶時間を割り当てる。
【0036】
フラグ判定部7は、動き検出判定部4の処理として動き非検出が判定された場合に、メモリ部1を参照し、該動き非検出であると判定された画像ブロックと同一位置の画像ブロックの動き検出フラグが「ON」であるか判定を行い、動き検出フラグが「ON」である場合に当該画像ブロックが静止状態であるか、あるいは実施の形態1で示した通常の動き非検出情報であるかの判定処理を行う。フラグ判定部7は予めフラグ判定閾値を有しており、メモリ部1に記憶されたフレーム記録時間とフラグ判定時間との差分と、記憶しているフラグ判定閾値とを比較することにより、該当する画像ブロックにおいて対象物が存在するが静止状態であるのか、対象物は存在せず通常の動き非検出状態であるのか判定する。
【0037】
表示制御部5は、動き検出判定部4およびフラグ判定部7から入力される検出結果を参照し、現フレーム内に動きを有する対象物が検出された場合には動き検出マークを表示し、現フレーム内に静止状態の対象物が検出された場合には停止検出マークを表示し、ユーザが対象物の移動あるいは停止を認識可能な表示制御を行う。
【0038】
図7は、この実施の形態3による画像信号処理装置の動作を示すフローチャートである。なお、実施の形態1による画像信号処理装置と同一のステップには、図3で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず、ステップST1からステップST10まで、実施の形態1と同様の処理を行う。その後、ステップST8において、現フレームと参照フレームとの間に動き検出がなされたと判定した場合、フラグ設定部6は動き検出された画像ブロックの動き検出フラグを「ON」に設定する(ステップST21)。さらに、設定した動き検出フラグ、初期化したフラグ判定時間、および該画像ブロックの位置情報をメモリ部1に出力し、記憶させる(ステップST22)。その後、フローはステップST11の処理に進む。
【0039】
一方、ステップST10において、現フレームと参照フレームとの間では動き非検出であると判定した場合、フラグ判定部7は、メモリ部1を参照し、動き非検出であると判定された現フレームの画像ブロックと同位置の参照フレームの画像ブロックの動き検出フラグが「ON」であるか判定を行う(ステップST23)。
【0040】
動き検出フラグが「ON」であると判定された場合(ステップST23;YES)、フラグ判定部7はさらにメモリ部1を参照し、フレーム記憶時間とフラグ判定時間の差分が予め設定されたフラグ判定時間閾値以下であるか判定を行う(ステップST24)。例えば、現フレームのフレーム記録時間が「100」に設定され、該当する画像ブロックのフラグ判定時間が「90」であり、フラグ判定時間閾値が「20」である場合、フレーム記憶時間とフラグ判定時間の差分は、閾値以下となり(100−90≦20)判定条件を満たすことから(ステップST24;YES)、対象物が静止状態であると判定し(ステップST25)、ステップT11の処理に進む。
【0041】
一方、動き検出フラグが「ON」でないと判定された場合(ステップST23;NO)、およびステップST24の判定処理において、例えば現フレームのフレーム記憶時間が「100」に設定され、該当する画像ブロックのフラグ判定時間が「70」であり、フラグ判定時間閾値が「20」である場合、フレーム記録時間とフラグ判定時間の差分は閾値より大きくなり(100−70>20)、判定条件を満たさない場合(ステップST24;NO)、通常の動き非検出であると判定し(ステップST26)、ステップST11の処理に進む。
【0042】
動き検出判定部4は、現フレームを構成する全ての画像ブロックについて処理を行ったか否か判定を行い(ステップST11)、全ての画像ブロックについて処理を行っていないと判定された場合(ステップST11;NO)には、ステップST6の処理に戻る。一方、全ての画像ブロックについて処理を行ったと判定された場合(ステップST11;YES)には、検出結果を表示制御部5に出力する(ステップST27)。出力される検出結果は、各画像ブロックで異なり、ステップST8における動き検出判定結果、ステップST25における静止状態の判定結果、ステップST26における通常の動き非検出の判定結果のうち該当する判定結果となる。
【0043】
表示制御部5は、入力された検出結果を参照し、動き検出と判定された画像ブロックに動き検出マークを表示し、静止状態が判定された画像ブロックには停止検出マークを表示し、動き非検出と判定された画像ブロックにはマークの表示は行わない、のいずれかの表示制御を行い(ステップST28)、処理を終了する。
【0044】
図8は、この実施の形態3による画像信号処理装置の表示結果を示す説明図である。図8(a)は、現フレーム100において対象物50が位置するそれぞれの画像ブロックに動き検出マーク60が表示されている例を示し、図8(b)は現フレーム100において所定時間静止している対象物50が位置するそれぞれの画像ブロックに所定時間、停止検出マーク70が表示される例を示している。停止検出マーク70は、動き検出マーク60とは異なる形状、あるいは異なる色のマークで表示され、区別される。
【0045】
以上のように、この実施の形態3によれば、動き検出が判定された画像ブロックの動き検出フラグを「ON」に設定するフラグ設定部6と、動き非検出と判定された現フレームの画像ブロックと同位置の参照フレームの画像ブロックの動き検出フラグが「ON」であるか判定すると共に、フレーム記憶時間とフラグ判定時間の差分が予め設定されたフラグ判定時間閾値とを比較し、閾値以下であった場合に、対象物が静止状態であると判定するフラグ判定部7とを備えるように構成したので、動きが止まった画像ブロック、すなわち対象物が静止状態である画像ブロックを明示することができ、移動していない対象物を明確化することができる。
【0046】
実施の形態4.
この実施の形態4では、上述した実施の形態1の構成に加え、動き検出した画像ブロックのうち同一の動きをとる画像ブロックをグルーピングして表示する構成について示す。
図9は、この実施の形態4の画像信号処理装置の構成を示すブロック図である。
表示制御部5に、グルーピング処理部8を追加して設けている。
【0047】
動き検出判定部4は、動き検出した画像ブロックについて、現フレームと参照フレームとを比較して動きベクトルを算出し、動き検出結果と動きベクトルとを合せて検出結果として表示制御部5に出力する。グルーピング処理部8は、動き検出判定部4から入力された検出結果を参照し、動き検出された複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックをグルーピングする。なお、画像ブロックのグルーピングは、同一の動きベクトルを有する画像ブロックに対して行ってもよいし、あらかじめ設定した範囲内の動きベクトルを有する画像ブロックに対して行ってもよく、グルーピングに用いる動きベクトルの範囲は適宜設定可能である。表示制御部5は、グルーピング処理部8のグルーピング結果に基づいて、同一のグループに属する画像ブロックにはグルーピングブロックなどを表示する。
【0048】
図10は、実施の形態4による画像信号処理装置の表示制御部の動作を示すフローチャートである。なお、図10のフローチャートでは、同一の動きベクトルを有する画像ブロックをグルーピングする場合を例に説明を行う。
表示制御部5のグルーピング処理部8は、動き検出判定部4から入力された検出結果を参照し、動き検出された画像ブロックが複数存在するか判定を行う(ステップST31)。複数存在すると判定された場合(ステップST31;YES)、該複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックが存在するか判定を行う(ステップST32)。
【0049】
同一の動きベクトルを有する画像ブロックが存在すると判定された場合(ステップST32;YES)、同一の動きベクトルを有する画像ブロックをグルーピングする(ステップST33)。表示制御部5は、ステップST33のグルーピング結果を参照し、同一のグループに属する画像ブロックをグルーピングブロックで囲む表示制御を行い(ステップST34)、処理を終了する。一方、動き検出された画像ブロックが複数存在しないと判定された場合(ステップST31;NO)、または同一の動きベクトルを有する画像ブロックが存在しないと判定された場合(ステップST32;NO)、グルーピング処理を行わずに終了する。
【0050】
図11は、実施の形態4による画像信号処理装置の表示結果を示す説明図である。図11(a)は、現フレーム100において複数の対象物50a,50bが存在し、対象物50aが位置する画像ブロックそれぞれに動き検出マーク60aを表示し、対象物50bが位置する画像ブロックそれぞれに動き検出マーク60bを表示する場合を例に示している。図11(b)は、図11(a)で示した対象物50a,50bが移動した場合の現フレーム100を示し、対象物50aが位置し、且つ同一の動きベクトル80aを有する複数の画像ブロックをグルーピングブロック90aで囲む表示を行い、対象物50bが位置し、且つ同一の動きベクトル80bを有する複数の画像ブロックをグルーピングブロック90bで囲む表示を行った場合を示している。なお、図11(b)の例では、移動ベクトル80a,80bも表示している。図11(b)の表示を行うことにより、対象物および対象物の移動方向を明確化することができる。
【0051】
以上のように、この実施の形態4では、現フレームと参照フレームとを比較して動きベクトルを算出する動き検出判定部4と、画像ブロックの動きベクトルを参照し、同一の動きベクトルを有する画像ブロックをグルーピングするグルーピング処理部8とを備えるように構成したので、フレーム内に複数の対象物が存在する場合にも、各対象物を明確化することができ、さらに各対象物の移動方向を認識することができる。
【0052】
また、上述した実施の形態4では、実施の形態1の画像信号処理装置にグルーピング処理を行う構成を追加して設ける説明を行ったが、実施の形態3の画像信号処理装置に追加して設けるように構成してもよい。
【0053】
なお、上述した実施の形態1から実施の形態4では、対象物が位置する画像ブロック全てに動き検出マークあるいは停止検出マークを表示する構成を示したが、対象物の四隅や対象物の外枠、対象物の中央のみに表示するように構成してもよく、表示方法は適宜変更可能である。また、動き検出マークや停止検出マークを四角や丸で表示する例を示したが、表示形状、さらには表示色など自由に設定可能である。
【0054】
また、上述した実施の形態1から実施の形態4では、画像信号処理装置を例に説明したが、画像信号処理方法やコンピュータプログラムに適用してもよい。
【0055】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0056】
1 メモリ部、2 画像情報抽出部、3 オフセット算出部、4 動き検出判定部、5 表示制御部、6 フラグ設定部、7 フラグ判定部、8 グルーピング処理部、10 画像信号処理装置、20 カメラ、30 画像フレーム、40 画像ブロック、50,50a,50b 対象物、60 動き検出マーク、70 停止検出マーク、80a,80b 動きベクトル、90a,90b グルーピングブロック、100 現フレーム、200 参照フレーム、300 背景参照フレーム。
【技術分野】
【0001】
この発明は、異なる時間に取得された複数の画像を用いて物体の動き検出を行う画像信号処理装置に関するものである。
【背景技術】
【0002】
従来より、撮影した画像を解析することにより侵入者などを検出する監視システムが利用され、この監視システムの物体の検出には取得された画像の輝度やその他のデータの変化に基づいて動きの有無を判定する方法が用いられている。
具体的には、撮影した画像フレームを複数のブロックに分割し、各ブロックの平均輝度値およびフレーム全体の平均輝度値を算出し、現フレームと前フレームにおいて各ブロックの平均輝度値およびフレーム全体の平均輝度値を用いた差分演算を行い、差分演算で得られた値をあらかじめ設定した閾値と比較することにより、動きを含むブロックを検出する動き検出装置が開示されている(特許文献1参照)。
【0003】
また、特許文献2には、動き検出対象フレームに対して過去の1フレームである背景フレーム、および動き検出対象フレームのブロック毎の輝度平均値を算出し、ブロック毎に、背景フレームの輝度平均値と、動き検出対象フレームのブロック毎の輝度平均値から補正値を差し引いた値との差分に基づいて、動き検出対象フレームに動きがあったか否かを判定する動き検出装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−157979号公報
【特許文献2】特開2008−257626号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の従来技術では、撮影された2枚の画像フレームをそれぞれ複数のブロックに分割し、同位置のブロックの輝度変化が閾値以上である場合に、当該ブロックを動きを含むブロックであると判定している。このため、2枚の画像フレームにおいて照明の変化のみで対象物が動いていない場合であっても動きを含むブロックであると誤判定する場合があるという課題があった。
【0006】
また、特許文献2の従来技術では、例えば画面内全域で対象物が動いている場合、すなわち画面全体が動いている場合、あるいは動き検出対象フレームにおいて動きが検出されたブロックで輝度変化が発生した場合に、動きが検出されたブロックでの輝度変化は補正値に反映されず、誤判定を招くという課題があった。また、補正値が動き検出対象フレームと背景フレームの輝度差を表していない場合にも、誤判定を招くという課題があった。
【0007】
この発明は、上記のような課題を解決するためになされたもので、対象物の動き検出の誤判定を抑制する画像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
この発明に係る画像信号処理装置は、入力された画像データを蓄積する記憶手段と、リアルタイムで入力される画像データを現フレームとし、記憶手段に蓄積された現フレームから所定時間前の画像データを参照フレームとして取得し、現フレームおよび参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値および輪郭情報を抽出する画像情報抽出手段と、画像情報抽出手段が抽出した輝度平均値を参照し、現フレームの画像ブロックの輝度平均値と、現フレームの画像ブロックと同一地点に位置する参照フレームの画像ブロックの輝度平均値との差分が閾値以上であった場合に、現フレームの画像ブロックと参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、オフセット算出手段が算出したオフセット値を考慮して、現フレームの画像ブロックの画素値と、現フレームの画像ブロックと同位置の参照フレームの画像ブロックの画素値との差分が閾値以上であるか判定を行い、現フレームと参照フレームの画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えるものである。
【発明の効果】
【0009】
この発明によれば、対象物の動き検出の誤判定を抑制することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態1による画像信号処理装置の構成を示すブロック図である。
【図2】実施の形態1による画像信号処理装置の画像フレームの分割処理を示す図である。
【図3】実施の形態1による画像信号処理装置の動作を示すフローチャートである。
【図4】実施の形態1による画像信号処理装置の表示結果を示す説明図である。
【図5】実施の形態2による画像信号処理装置の表示結果を示す説明図である。
【図6】実施の形態3による画像信号処理装置の構成を示すブロック図である。
【図7】実施の形態3による画像信号処理装置の動作を示すフローチャートである。
【図8】実施の形態3による画像信号処理装置の表示結果を示す説明図である。
【図9】実施の形態4による画像信号処理装置の構成を示すブロック図である。
【図10】実施の形態4による画像信号処理装置の動作を示すフローチャートである。
【図11】実施の形態4による画像信号処理装置の表示結果を示す説明図である。
【発明を実施するための形態】
【0011】
実施の形態1.
図1は、この発明の実施の形態1による画像信号処理装置の構成を示すブロック図である。
実施の形態1の画像信号処理装置10は、メモリ部1、画像情報抽出部2、オフセット算出部3、動き検出判定部4および表示制御部5で構成されている。また、画像信号処理装置10にはカメラ20が接続されており、該カメラ20が撮影した画像データが画像信号処理装置10に入力される。なお、この実施の形態1では、画像信号処理装置10が監視システムなどに適用される場合を想定し、動いている対象物の検出を例に説明する。そのため、画像信号処理装置10には、所定領域を撮影するカメラ20が接続され、撮影された画像データが画像処理装置10に入力される。以下では、カメラ20から入力されるリアルタイムの画像フレームデータを現フレームと称し、現フレームより前の異なる時間にカメラ20から入力された画像フレームデータを参照フレームと称して説明を行う。
【0012】
メモリ部1は、カメラ20から入力された画像データを蓄積する記憶領域であり、上述した現フレームと、現フレームから所定時間遡った期間の参照フレームを蓄積している。画像情報抽出部2は、カメラ20から画像データである現フレームが入力されると、メモリ部1から参照フレームを取得し、現フレームおよび参照フレームの画像フレームを所定サイズの画像ブロックに分割する。さらに分割した画像ブロック毎に輝度平均値や輪郭情報などの画像特徴情報を抽出する。これは、動き誤検出の原因となる対象物すなわち被写体の輝度変化および対象物の画像の特徴を検出し、動き誤検出を抑制するための処理である。ここで、輪郭情報は、現フレームおよび参照フレームを構成する画像ブロック毎にエッジ検出フィルタを施して抽出する。エッジ検出フィルタはソベルフィルタやその他のフィルタで適宜構成可能であり、本発明を限定するものではない。
【0013】
図2を参照しながら、画像情報抽出部2の画像フレームの分割について説明する。図2は、この発明の実施の形態1による画像信号処理装置の画像情報抽出部による画像フレームの分割処理を示す説明図である。
画像情報抽出部2は、あらかじめ設定された分割数に基づいて画像フレームを水平方向および垂直方向に分割する。図2の例では画像フレーム30が水平方向に水平ブロック数bhおよび垂直方向に垂直ブロック数bvとなるように分割される。分割されたブロックがそれぞれ画像ブロック40を構成する。
【0014】
オフセット算出部3は、画像情報抽出部2が抽出した画像ブロック毎の輝度平均値を参照し、現フレームと参照フレームにおける同一ブロックの輝度平均値差分を算出する。算出した輝度平均値差分とあらかじめ設定した閾値とを比較し、画像の輝度に変化があったか否か判定を行う。全ての画像ブロックの輝度に変化がないと判定した場合には、動き検出用輝度値オフセットを「0」に設定し、いずれかの画像ブロックの輝度に変化があったと判定した場合には、動き検出用輝度値オフセットを算出する。動き検出用輝度値オフセットとは、画面の明るさの変化による輝度値の変化量を差し引くための値であり、当該動き検出用輝度値オフセットを算出することにより画面内の動きのみに基づく輝度値の変化を算出することができる。動き検出用輝度値オフセットは、現フレームと参照フレームの1フレーム内のブロックの輝度平均値差分の平均値、あるいは中央値とするなど種々設定可能である。
【0015】
動き検出判定部4は、カメラ20から入力された画像データである現フレームと、メモリ部1から取得する参照フレームとにおいて、同位置の画像ブロックの画素差分を算出して閾値と比較することにより動き検出を行う。具体的には、オフセット算出部3が算出した動き検出用輝度値オフセットを、現フレームおよび参照フレームのうち輝度平均値がより小さい一方のフレームに加算した後、現フレームと参照フレームにおける同位置の画像ブロックの画素差分を算出し、算出した画素差分値が閾値以上である場合には、当該画像ブロックに動きを有する対象物が存在すると判定する。なお、動き検出用輝度値オフセットは、輝度平均値がより大きい一方のフレームから減算するように構成してもよい。
動き検出判定部4は、画素差分値が閾値未満であると判定された画像ブロックについて、さらに画像情報抽出部2が抽出した輪郭情報を参照して輪郭情報の変化が閾値以上である画像ブロックについても動きを有する対象物が存在すると判定する。
【0016】
表示制御部5は、動き検出判定部4から入力される検出結果を参照し、現フレーム内に動きを有する対象物が存在している場合には、当該対象物を含む画像ブロックそれそれぞれに動き検出マークなどを表示し、ユーザが動きを有する対象物が認識可能に表示制御を行う。
【0017】
次に、画像信号処理装置10の動作について説明する。
図3は、この発明の実施の形態1による画像信号処理装置の動作を示すフローチャートである。
画像情報抽出部2は、カメラ20から画像データが入力されると(ステップST1)、入力された画像データである現フレームおよびメモリ部1に蓄積された参照フレームをあらかじめ設定された分割数で分割して複数の画像ブロックとし、各フレームの画像ブロック毎に輝度平均値および輪郭情報などの画像特徴情報を算出する(ステップST2)。オフセット算出部3は、ステップST2で算出された画像特徴情報の輝度平均値を参照し、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分を算出し、算出した輝度平均値差分があらかじめ設定された閾値以上であるか判定を行う(ステップST3)。ここで、同位置の画像ブロックとは、現フレームと参照フレームとのそれぞれにおいて水平位置と垂直位置が同一である画像ブロックである。
【0018】
全ての画像ブロックにおいて輝度平均値差分が閾値未満であると判定された場合(ステップST3;NO)、オフセット算出部3は現フレームと参照フレームとの間において輝度の変化がないと判定し、動き検出用輝度値オフセットを「0」に設定し(ステップST4)、後述するステップST6の処理に進む。一方、輝度平均値差分が閾値以上である画像ブロックが存在すると判定された場合(ステップST3;YES)、オフセット算出部4は現フレームと参照フレームとの間において輝度の変化があると判定し、動き検出用輝度値オフセットを算出する(ステップST5)。
【0019】
動き検出判定部4は、ステップST5で算出した動き検出用輝度値オフセットを、現フレームまたは参照フレームのいずれか一方のフレームの画像に加算し、現フレームと参照フレームにおける同位置の画像ブロックの画素差分を算出する(ステップST6)。さらに、ステップST6で算出した画素差分値が、あらかじめ設定された閾値以上であるか判定を行う(ステップST7)。画素差分値が閾値以上であると判定された場合(ステップST7;YES)、現フレームと参照フレームとの間に動きを有する対象物が検出されたと判定する(ステップST8)。
【0020】
一方、画素差分値が閾値未満であると判定された場合(ステップST7;NO)、画素差分値が閾値未満であると判定された画像ブロックについて、画像情報抽出部2がステップST2で抽出した輪郭情報を取得し、取得した輪郭情報の現フレームと参照フレームとの差分和を算出し、あらかじめ設定された閾値以上であるか否か判定を行う(ステップST9)。たとえば、輪郭情報として、各画素で「輪郭画素(1)」または「非輪郭画素(0)」とした時に、現フレームと参照フレームとで同一画素位置同士で画素差分絶対値を取り、1フレーム分の差分絶対値和を算出する。輪郭情報の差分和が閾値以上であると判定された場合(ステップST9;YES)、輪郭情報に変化があると判定し、ステップST8の処理に進み、現フレームと参照フレームとの間に対象物の動き検出がなされたと判定する。なお、本実施例では、輪郭情報として、各画素で「輪郭画素(1)」または「非輪郭画素(0)」としたが、輪郭情報は2値のみならず、5段階や10段階などの多値情報でもよく、本発明を制限するものではない。
【0021】
一方、輪郭情報の差分和が閾値未満であると判定された場合(ステップST9;NO)、輪郭情報に変化がない、すなわち現フレームと参照フレームとの間では対象物の動きが非検出であると判定する(ステップST10)。動き検出判定部4は、現フレームを構成する全ての画像ブロックについて処理を行ったか否か判定を行い(ステップST11)、全ての画像ブロックについて処理を行っていないと判定された場合(ステップST11;NO)には、ステップST6の処理に戻る。
【0022】
一方、全ての画像ブロックについて処理を行ったと判定された場合(ステップST11;YES)には、検出結果を表示制御部5に出力する(ステップST12)。表示制御部5は、入力された検出結果を参照し、動き検出と判定された現フレームの画像ブロックに動き検出マークを表示する表示制御を行い(ステップST13)、処理を終了する。
【0023】
なおステップST5における輝度の変化があるとの判定には、現フレームと参照フレームとの間において対象物の動きがないがフレームの明るさが変化した場合(ケース1)と、対象物の動きにより現フレームと参照フレームの同一位置における画像ブロックの輝度平均値差分が閾値以上になる場合(ケース2)とが存在する。
【0024】
ただし、ケース1とケース2では、ステップST6の処理結果がそれぞれ異なる。ケース1の場合、ステップST6で算出される画素差分値が小さくなる。これは現フレームと参照フレームの同一位置の画像ブロック間の画素変化はフレーム間の画面の明るさの差であるオフセットに相当するためである。一方、ケース2の場合、ステップST6で算出される画素差分値は一般的に小さい値ではない。これは、フレーム間の画面の明るさが変化した場合とは異なり、現フレームと参照フレームの同一位置の同一位置の画像ブロック間の画素変化はフレーム間の画面の明るさの差とは限らないためである。そのため、ステップST6において画素差分値を算出し、ステップST7において画素差分値が所定の閾値以上であるか判定することにより、ケース1とケース2とを正確に区別することができる。
【0025】
図4は、この発明の実施の形態1による画像信号処理装置の表示結果を示す説明図である。図4(a)は参照フレームを示し、図4(b)は現フレームを示している。
図4(a)に示した参照フレーム200、および図4(b)に示した現フレーム100は、共に水平ブロック数bh、垂直ブロック数bvで分割された複数の画像ブロックで構成され、対象物50が写っている。図4に示すように、対象物50の存在位置が参照フレーム200と現フレーム100において異なり、対象物50が動いていると判定された場合、現フレーム100内の対象物50を含むブロックそれぞれに対して動き検出マーク60を表示する。なお、参照フレーム200または/および現フレーム100において対象物50が写っていない場合も存在し、対象物50の存在の有無が本願発明に影響を与えるものではない。
【0026】
以上のように、この実施の形態1によれば、現フレームと参照フレームの同位置の画像ブロックの輝度平均値の差分に基づいて輝度変化の発生を判定し、輝度変化が発生した場合に画像データの明るさの変化による輝度変化の変化量を差し引くための動き検出用輝度値オフセットを算出するオフセット算出部と、算出されたオフセット値を考慮して現フレームと参照フレームの同位置の画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定部とを備えるように構成したので、画像特徴情報に基づいて条件分けを行って画像ブロック毎の動き検出を行うことができ、対象物の動き検出の誤判定を抑制することができる。また、外光や照明の変化による輝度変化を差し引いて対象物の動きを判定することができ、動き検出の誤判定を抑制することができる。具体的には、外光や照明の変化のみで対象が動いていない場合に、対象物が動いていると誤判定することを抑制することができる。
【0027】
また、この実施の形態1によれば、動き検出判定部において現フレームと参照フレームの同位置の画像ブロックの画素値の差分が閾値未満であると判定された場合に、さらに輪郭情報の変化に基づいて動き検出を判定するように構成したので、輪郭情報も考慮したより細かい条件分けにより画像ブロック毎の動き検出を行うことができ、動き検出の誤判定を抑制することができる。具体的には、被写体が動いているが輝度変化が小さい場合にもさらに輪郭情報を考慮した動き検出を行うことができ、より正確に動きを有する対象物を検出することができる。
【0028】
実施の形態2.
上述した実施の形態1では、参照フレームとして、現フレームより前の異なる時間にカメラ20から入力された画像フレームデータを用いる構成を示したが、この実施の形態2では対象物が写っていない背景のみの画像フレームデータを背景参照フレームとして用いる構成を示す。
なお、この実施の形態2による画像信号処理装置10の構成要素は実施の形態1と同一であるため、画像信号処理装置10のブロック図の記載を省略し、実施の形態1で使用した符号と同一の符号を用いて説明を行う。
【0029】
カメラ20は、対象物が写っていない背景のみを撮影し、当該背景のみの画像フレームデータを背景参照フレームとしてメモリ部1に記憶させる。背景参照データは1種類だけではなく、撮影条件によりそれぞれ異なる複数の背景参照フレームを準備してメモリ部1に記憶させるように構成してもよい。
【0030】
画像信号処理装置10は、現フレームと背景参照フレームに基づいて動きを有する対象物の検出を行う。なお、動き検出処理は、参照フレームを背景参照フレームに替えて行う以外は実施の形態1と同一であるため、説明を省略する。
図5は、この発明の実施の形態2による画像信号処理装置10の表示結果を示す説明図である。図5(a)は背景参照フレームを示し、図5(b)は現フレームを示している。
図5に示すように、対象物が写っていない背景参照フレーム300を用いることにより、対象物が写っている参照フレームを用いる場合に比べて対象物50を容易に検出することができる。これは現フレーム100と背景参照フレーム300において、外光や照明の変化が除外された場合に現フレーム100と背景参照フレーム300とで画素差分を取ることにより、差分値が小さい領域は背景領域、差分値が大きい領域は対象物50が存在する領域として判定し易くなるためである。
【0031】
以上のように、この実施の形態2によれば、対象物が写っていない背景を撮影した背景参照フレームを用いて、現フレームと同位置の画像ブロックの画素値の差分が閾値以上であるか判定するように構成したので、対象物が存在する画像ブロックを容易に検出することができる。
【0032】
実施の形態3.
上述した実施の形態1では、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分に基づいて、輝度変化があったか否かを判定し、輝度変化があったと判定した場合に動き検出用輝度値オフセットを考慮して動きを有する対象物の検出を行い、さらに動き非検出の場合に輪郭情報の変化を考慮して動きを有する対象物の検出を行うことにより、高精度な動き検出を実現している。一方、この実施の形態1の構成では、動いていた対象物が静止した場合、ユーザは画面上でそれまで動いていた対象物が存在したことを認識することが困難である。そこで、この実施の形態3では、動き検出した画像ブロックに所定時間マーカを付すことにより、監視対象を明確化する構成を示す。
【0033】
図6は、この実施の形態3による画像信号処理装置の構成を示すブロック図である。
動き検出判定部4は、実施の形態1で示した構成に加えて、フラグ設定部6およびフラグ判定部7を備えている。また、メモリ部1は、実施の形態1で示した構成に加え、フラグ判定部7が判定処理を行う際に必要となる情報を記憶する。
【0034】
フラグ設定部6は、動き検出判定部4の処理として動き検出が判定された場合に、動き検出された画像ブロックの動き検出フラグを「ON」に設定し、設定した動き検出フラグ、フラグ判定時間、および画像ブロックの位置をメモリ部1に出力し、記憶させる。ここで、フラグ判定時間は動き検出フラグが「ON」されてからの時間を示し、各画像ブロックのフラグ判定時間は予め初期化(例えば、初期化の時間を「0」とする)しておき、メモリ部1側において動き検出フラグが「ON」されてからの経過時間を加算し、記憶する。
【0035】
メモリ部1は、フラグ設定部6から入力される動き検出フラグ、フラグ判定時間、および画像ブロックの位置を記憶する。さらにメモリ部1は、画像フレームをどの程度の期間蓄積するかを示すフレーム記憶時間を有しており、カメラ20から画像データが入力されると入力された画像フレームにフレーム記憶時間を割り当てる。
【0036】
フラグ判定部7は、動き検出判定部4の処理として動き非検出が判定された場合に、メモリ部1を参照し、該動き非検出であると判定された画像ブロックと同一位置の画像ブロックの動き検出フラグが「ON」であるか判定を行い、動き検出フラグが「ON」である場合に当該画像ブロックが静止状態であるか、あるいは実施の形態1で示した通常の動き非検出情報であるかの判定処理を行う。フラグ判定部7は予めフラグ判定閾値を有しており、メモリ部1に記憶されたフレーム記録時間とフラグ判定時間との差分と、記憶しているフラグ判定閾値とを比較することにより、該当する画像ブロックにおいて対象物が存在するが静止状態であるのか、対象物は存在せず通常の動き非検出状態であるのか判定する。
【0037】
表示制御部5は、動き検出判定部4およびフラグ判定部7から入力される検出結果を参照し、現フレーム内に動きを有する対象物が検出された場合には動き検出マークを表示し、現フレーム内に静止状態の対象物が検出された場合には停止検出マークを表示し、ユーザが対象物の移動あるいは停止を認識可能な表示制御を行う。
【0038】
図7は、この実施の形態3による画像信号処理装置の動作を示すフローチャートである。なお、実施の形態1による画像信号処理装置と同一のステップには、図3で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず、ステップST1からステップST10まで、実施の形態1と同様の処理を行う。その後、ステップST8において、現フレームと参照フレームとの間に動き検出がなされたと判定した場合、フラグ設定部6は動き検出された画像ブロックの動き検出フラグを「ON」に設定する(ステップST21)。さらに、設定した動き検出フラグ、初期化したフラグ判定時間、および該画像ブロックの位置情報をメモリ部1に出力し、記憶させる(ステップST22)。その後、フローはステップST11の処理に進む。
【0039】
一方、ステップST10において、現フレームと参照フレームとの間では動き非検出であると判定した場合、フラグ判定部7は、メモリ部1を参照し、動き非検出であると判定された現フレームの画像ブロックと同位置の参照フレームの画像ブロックの動き検出フラグが「ON」であるか判定を行う(ステップST23)。
【0040】
動き検出フラグが「ON」であると判定された場合(ステップST23;YES)、フラグ判定部7はさらにメモリ部1を参照し、フレーム記憶時間とフラグ判定時間の差分が予め設定されたフラグ判定時間閾値以下であるか判定を行う(ステップST24)。例えば、現フレームのフレーム記録時間が「100」に設定され、該当する画像ブロックのフラグ判定時間が「90」であり、フラグ判定時間閾値が「20」である場合、フレーム記憶時間とフラグ判定時間の差分は、閾値以下となり(100−90≦20)判定条件を満たすことから(ステップST24;YES)、対象物が静止状態であると判定し(ステップST25)、ステップT11の処理に進む。
【0041】
一方、動き検出フラグが「ON」でないと判定された場合(ステップST23;NO)、およびステップST24の判定処理において、例えば現フレームのフレーム記憶時間が「100」に設定され、該当する画像ブロックのフラグ判定時間が「70」であり、フラグ判定時間閾値が「20」である場合、フレーム記録時間とフラグ判定時間の差分は閾値より大きくなり(100−70>20)、判定条件を満たさない場合(ステップST24;NO)、通常の動き非検出であると判定し(ステップST26)、ステップST11の処理に進む。
【0042】
動き検出判定部4は、現フレームを構成する全ての画像ブロックについて処理を行ったか否か判定を行い(ステップST11)、全ての画像ブロックについて処理を行っていないと判定された場合(ステップST11;NO)には、ステップST6の処理に戻る。一方、全ての画像ブロックについて処理を行ったと判定された場合(ステップST11;YES)には、検出結果を表示制御部5に出力する(ステップST27)。出力される検出結果は、各画像ブロックで異なり、ステップST8における動き検出判定結果、ステップST25における静止状態の判定結果、ステップST26における通常の動き非検出の判定結果のうち該当する判定結果となる。
【0043】
表示制御部5は、入力された検出結果を参照し、動き検出と判定された画像ブロックに動き検出マークを表示し、静止状態が判定された画像ブロックには停止検出マークを表示し、動き非検出と判定された画像ブロックにはマークの表示は行わない、のいずれかの表示制御を行い(ステップST28)、処理を終了する。
【0044】
図8は、この実施の形態3による画像信号処理装置の表示結果を示す説明図である。図8(a)は、現フレーム100において対象物50が位置するそれぞれの画像ブロックに動き検出マーク60が表示されている例を示し、図8(b)は現フレーム100において所定時間静止している対象物50が位置するそれぞれの画像ブロックに所定時間、停止検出マーク70が表示される例を示している。停止検出マーク70は、動き検出マーク60とは異なる形状、あるいは異なる色のマークで表示され、区別される。
【0045】
以上のように、この実施の形態3によれば、動き検出が判定された画像ブロックの動き検出フラグを「ON」に設定するフラグ設定部6と、動き非検出と判定された現フレームの画像ブロックと同位置の参照フレームの画像ブロックの動き検出フラグが「ON」であるか判定すると共に、フレーム記憶時間とフラグ判定時間の差分が予め設定されたフラグ判定時間閾値とを比較し、閾値以下であった場合に、対象物が静止状態であると判定するフラグ判定部7とを備えるように構成したので、動きが止まった画像ブロック、すなわち対象物が静止状態である画像ブロックを明示することができ、移動していない対象物を明確化することができる。
【0046】
実施の形態4.
この実施の形態4では、上述した実施の形態1の構成に加え、動き検出した画像ブロックのうち同一の動きをとる画像ブロックをグルーピングして表示する構成について示す。
図9は、この実施の形態4の画像信号処理装置の構成を示すブロック図である。
表示制御部5に、グルーピング処理部8を追加して設けている。
【0047】
動き検出判定部4は、動き検出した画像ブロックについて、現フレームと参照フレームとを比較して動きベクトルを算出し、動き検出結果と動きベクトルとを合せて検出結果として表示制御部5に出力する。グルーピング処理部8は、動き検出判定部4から入力された検出結果を参照し、動き検出された複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックをグルーピングする。なお、画像ブロックのグルーピングは、同一の動きベクトルを有する画像ブロックに対して行ってもよいし、あらかじめ設定した範囲内の動きベクトルを有する画像ブロックに対して行ってもよく、グルーピングに用いる動きベクトルの範囲は適宜設定可能である。表示制御部5は、グルーピング処理部8のグルーピング結果に基づいて、同一のグループに属する画像ブロックにはグルーピングブロックなどを表示する。
【0048】
図10は、実施の形態4による画像信号処理装置の表示制御部の動作を示すフローチャートである。なお、図10のフローチャートでは、同一の動きベクトルを有する画像ブロックをグルーピングする場合を例に説明を行う。
表示制御部5のグルーピング処理部8は、動き検出判定部4から入力された検出結果を参照し、動き検出された画像ブロックが複数存在するか判定を行う(ステップST31)。複数存在すると判定された場合(ステップST31;YES)、該複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックが存在するか判定を行う(ステップST32)。
【0049】
同一の動きベクトルを有する画像ブロックが存在すると判定された場合(ステップST32;YES)、同一の動きベクトルを有する画像ブロックをグルーピングする(ステップST33)。表示制御部5は、ステップST33のグルーピング結果を参照し、同一のグループに属する画像ブロックをグルーピングブロックで囲む表示制御を行い(ステップST34)、処理を終了する。一方、動き検出された画像ブロックが複数存在しないと判定された場合(ステップST31;NO)、または同一の動きベクトルを有する画像ブロックが存在しないと判定された場合(ステップST32;NO)、グルーピング処理を行わずに終了する。
【0050】
図11は、実施の形態4による画像信号処理装置の表示結果を示す説明図である。図11(a)は、現フレーム100において複数の対象物50a,50bが存在し、対象物50aが位置する画像ブロックそれぞれに動き検出マーク60aを表示し、対象物50bが位置する画像ブロックそれぞれに動き検出マーク60bを表示する場合を例に示している。図11(b)は、図11(a)で示した対象物50a,50bが移動した場合の現フレーム100を示し、対象物50aが位置し、且つ同一の動きベクトル80aを有する複数の画像ブロックをグルーピングブロック90aで囲む表示を行い、対象物50bが位置し、且つ同一の動きベクトル80bを有する複数の画像ブロックをグルーピングブロック90bで囲む表示を行った場合を示している。なお、図11(b)の例では、移動ベクトル80a,80bも表示している。図11(b)の表示を行うことにより、対象物および対象物の移動方向を明確化することができる。
【0051】
以上のように、この実施の形態4では、現フレームと参照フレームとを比較して動きベクトルを算出する動き検出判定部4と、画像ブロックの動きベクトルを参照し、同一の動きベクトルを有する画像ブロックをグルーピングするグルーピング処理部8とを備えるように構成したので、フレーム内に複数の対象物が存在する場合にも、各対象物を明確化することができ、さらに各対象物の移動方向を認識することができる。
【0052】
また、上述した実施の形態4では、実施の形態1の画像信号処理装置にグルーピング処理を行う構成を追加して設ける説明を行ったが、実施の形態3の画像信号処理装置に追加して設けるように構成してもよい。
【0053】
なお、上述した実施の形態1から実施の形態4では、対象物が位置する画像ブロック全てに動き検出マークあるいは停止検出マークを表示する構成を示したが、対象物の四隅や対象物の外枠、対象物の中央のみに表示するように構成してもよく、表示方法は適宜変更可能である。また、動き検出マークや停止検出マークを四角や丸で表示する例を示したが、表示形状、さらには表示色など自由に設定可能である。
【0054】
また、上述した実施の形態1から実施の形態4では、画像信号処理装置を例に説明したが、画像信号処理方法やコンピュータプログラムに適用してもよい。
【0055】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0056】
1 メモリ部、2 画像情報抽出部、3 オフセット算出部、4 動き検出判定部、5 表示制御部、6 フラグ設定部、7 フラグ判定部、8 グルーピング処理部、10 画像信号処理装置、20 カメラ、30 画像フレーム、40 画像ブロック、50,50a,50b 対象物、60 動き検出マーク、70 停止検出マーク、80a,80b 動きベクトル、90a,90b グルーピングブロック、100 現フレーム、200 参照フレーム、300 背景参照フレーム。
【特許請求の範囲】
【請求項1】
入力された画像データを蓄積する記憶手段と、
リアルタイムで入力される画像データを現フレームとし、前記記憶手段に蓄積された前記現フレームから所定時間前の画像データを参照フレームとして取得し、前記現フレームおよび前記参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値および輪郭情報を抽出する画像情報抽出手段と、
前記画像情報抽出手段が抽出した輝度平均値を参照し、前記現フレームの画像ブロックの輝度平均値と、前記現フレームの画像ブロックと同一地点に位置する前記参照フレームの画像ブロックの輝度平均値との差分が閾値以上であった場合に、前記現フレームの画像ブロックと前記参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、前記画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、
前記オフセット算出手段が算出したオフセット値を考慮して、前記現フレームの画像ブロックの画素値と、前記現フレームの画像ブロックと同位置の前記参照フレームの画像ブロックの画素値との差分が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えた画像信号処理装置。
【請求項2】
前記動き検出判定手段は、前記現フレームと前記参照フレームの画像ブロックの画素値の差分が閾値未満であった場合に、前記画像情報抽出手段が抽出した輪郭情報を参照し、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出することを特徴とする請求項1記載の画像信号処理装置。
【請求項3】
前記動き検出判定手段において動きを有する対象物が存在すると検出された前記現フレームの画像ブロックに、検出フラグをセットし、セットした検出フラグおよび検出フラグをセットした画像ブロックの位置情報を前記記憶手段に記憶させるフラグ設定手段と、
前記動き検出判定手段において動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックについて、前記記憶手段を参照して当該現フレームの画像ブロックと同位置の画像ブロックの検出フラグがセットされているか否か判定を行い、検出フラグがセットされている場合に、さらに前記現フレームの画像ブロックに静止状態の対象物が存在するか否か判定を行うフラグ判定手段とを備えたことを特徴とする請求項2記載の画像信号処理装置。
【請求項4】
前記記憶手段は、画像フレームの記憶時間および前記検出フラグがセットされてからの経過時間を記憶し、
前記フラグ判定手段は、前記フレームの記憶時間と前記経過時間との差分があらかじめ設定した閾値以下である場合に、前記動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックに静止状態の対象物が存在すると判定することを特徴とする請求項3記載の画像信号処理装置。
【請求項5】
前記動き検出判定手段が動きを有する対象物が存在すると検出した画像ブロックに、当該対象物の存在を示す表示を行う表示制御手段とを備えたことを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像信号処理装置。
【請求項6】
前記表示制御手段は、前記フラグ判定手段において画像ブロック内に静止状態の対象物が存在すると判定された画像ブロックに、対象物の停止を示す表示を行うことを特徴とする請求項5記載の画像信号処理装置。
【請求項7】
前記表示制御手段は、複数の画像ブロックをグルーピングするグルーピング処理手段を備え、
前記動き検出判定手段は、前記現フレームと前記参照フレームとを比較して前記動きを有する対象物が存在すると判定した画像ブロックの動きベクトルを算出し、
前記グルーピング処理手段は、前記動き検出判定手段が算出した動きベクトルを参照し、略同一のベクトル方向の動きベクトルを有する複数の画像ブロックをグルーピングし、
前記表示制御手段は、前記グルーピング処理手段がグルーピングした画像ブロックが同一の対象物を構成する旨を表示することを特徴とする請求項5または請求項6記載の画像信号処理装置。
【請求項1】
入力された画像データを蓄積する記憶手段と、
リアルタイムで入力される画像データを現フレームとし、前記記憶手段に蓄積された前記現フレームから所定時間前の画像データを参照フレームとして取得し、前記現フレームおよび前記参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値および輪郭情報を抽出する画像情報抽出手段と、
前記画像情報抽出手段が抽出した輝度平均値を参照し、前記現フレームの画像ブロックの輝度平均値と、前記現フレームの画像ブロックと同一地点に位置する前記参照フレームの画像ブロックの輝度平均値との差分が閾値以上であった場合に、前記現フレームの画像ブロックと前記参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、前記画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、
前記オフセット算出手段が算出したオフセット値を考慮して、前記現フレームの画像ブロックの画素値と、前記現フレームの画像ブロックと同位置の前記参照フレームの画像ブロックの画素値との差分が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの画素値の差分が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えた画像信号処理装置。
【請求項2】
前記動き検出判定手段は、前記現フレームと前記参照フレームの画像ブロックの画素値の差分が閾値未満であった場合に、前記画像情報抽出手段が抽出した輪郭情報を参照し、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出することを特徴とする請求項1記載の画像信号処理装置。
【請求項3】
前記動き検出判定手段において動きを有する対象物が存在すると検出された前記現フレームの画像ブロックに、検出フラグをセットし、セットした検出フラグおよび検出フラグをセットした画像ブロックの位置情報を前記記憶手段に記憶させるフラグ設定手段と、
前記動き検出判定手段において動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックについて、前記記憶手段を参照して当該現フレームの画像ブロックと同位置の画像ブロックの検出フラグがセットされているか否か判定を行い、検出フラグがセットされている場合に、さらに前記現フレームの画像ブロックに静止状態の対象物が存在するか否か判定を行うフラグ判定手段とを備えたことを特徴とする請求項2記載の画像信号処理装置。
【請求項4】
前記記憶手段は、画像フレームの記憶時間および前記検出フラグがセットされてからの経過時間を記憶し、
前記フラグ判定手段は、前記フレームの記憶時間と前記経過時間との差分があらかじめ設定した閾値以下である場合に、前記動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックに静止状態の対象物が存在すると判定することを特徴とする請求項3記載の画像信号処理装置。
【請求項5】
前記動き検出判定手段が動きを有する対象物が存在すると検出した画像ブロックに、当該対象物の存在を示す表示を行う表示制御手段とを備えたことを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像信号処理装置。
【請求項6】
前記表示制御手段は、前記フラグ判定手段において画像ブロック内に静止状態の対象物が存在すると判定された画像ブロックに、対象物の停止を示す表示を行うことを特徴とする請求項5記載の画像信号処理装置。
【請求項7】
前記表示制御手段は、複数の画像ブロックをグルーピングするグルーピング処理手段を備え、
前記動き検出判定手段は、前記現フレームと前記参照フレームとを比較して前記動きを有する対象物が存在すると判定した画像ブロックの動きベクトルを算出し、
前記グルーピング処理手段は、前記動き検出判定手段が算出した動きベクトルを参照し、略同一のベクトル方向の動きベクトルを有する複数の画像ブロックをグルーピングし、
前記表示制御手段は、前記グルーピング処理手段がグルーピングした画像ブロックが同一の対象物を構成する旨を表示することを特徴とする請求項5または請求項6記載の画像信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−101419(P2013−101419A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−243491(P2011−243491)
【出願日】平成23年11月7日(2011.11.7)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成23年11月7日(2011.11.7)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]