背景差分処理装置、背景差分処理方法及びコンピュータプログラム
【課題】背景の移動に伴う前景抽出の精度低下を抑止可能とすること。
【解決手段】背景差分処理装置であって、複数の入力画像を蓄積する入力画像記憶部と、入力される入力画像を前記入力画像記憶部に書き込む画像入力部と、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理部と、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定部と、前記背景変化判定部によって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化部と、を備える。
【解決手段】背景差分処理装置であって、複数の入力画像を蓄積する入力画像記憶部と、入力される入力画像を前記入力画像記憶部に書き込む画像入力部と、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理部と、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定部と、前記背景変化判定部によって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像から前景を抽出する背景差分処理に関する。
【背景技術】
【０００２】
画像処理の分野において、背景と前景とを分離する場合に用いられる手法として背景差分処理がある。前景とは、撮像画像中の物体の中で撮像装置に対して概ね近い位置に存在する物体の姿であり、当該撮像画像において注目される物体の姿である。一方、背景とは、撮像画像の中で前景の背後の光景である。背景差分処理では、背景となる画像が特定の条件の元で予め撮像され、背景画像として保存される。そして、新たに撮像して得られる観測画像と背景画像との差分の画像が前景の画像として抽出される。つまり、背景差分処理は、目的の前景を抽出する処理である。背景差分処理は、比較的計算量が少ないことからリアルタイム処理に適している。そのため、背景差分処理は、簡易に前景を抽出するための手法として一般に使用されている。
【０００３】
しかしながら、背景差分処理には、背景の変化の程度によって前景を抽出する精度が左右されてしまうという問題がある。例えば、時間変化とともに背景に当たる日照が変化する状況や、撮像装置または背景に存在する物体が移動することにより背景が変化してしまう状況では、その背景の変化が差分として抽出される場合があり、背景差分処理の精度が低下してしまう。その結果、意図しない画像が前景として抽出されてしまう。
【０００４】
このような問題を解決するために、日照変化に頑健な色情報を解析することによって背景変化に係る問題を解決する技術が提案されている（非特許文献１参照）。また、背景画像を時間変化とともに更新していくことで背景の変化に追従する技術も提案されている（非特許文献２参照）。ただし、非特許文献１は日照変化に対応する技術であり、非特許文献２は照明やカメラの揺れ等の環境変化に対応する技術である。したがって、これらの文献によって提案されている技術では、背景の緩やかな変化や微小な変化に対応することはできても、撮像装置の視野が移動した場合のような急激な背景の変化に対しては、背景差分処理の精度低下を適切に低減することができなかった。このように、従来の背景差分処理では、背景に急激な変化又は大きな変化が無いことが前提条件となっていた。これ対し、背景が急激に又は大きく変化する場合においても前景を抽出する手法が考案されている。
【０００５】
そのような手法の一つとして、前述したような背景画像を更新する手法（動的背景更新法）を代替する手法がある。より具体的には、モザイキングを使用した手法も提案されている（非特許文献３参照）。モザイキングとは、撮像装置が撮像すると予測される範囲を予め撮像し、撮像された複数の静止画像をつなぎ合わせることによって１枚の全体静止画像を生成する処理である。そして、この全体静止画像を背景画像として背景差分処理が行われる。
【０００６】
また、背景差分処理に関連する技術として、以下のような技術もある。すなわち、特許文献１に開示された技術では、撮像装置が旋回する範囲が予め決められており、その背景を予め撮像しておくことによって背景差分が行われる。また、特許文献２に開示された技術は、前景の物体をトラッキングすることによって、前景の物体を抽出する技術であり、撮像装置に生じる揺れにも頑健なものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２６３２７０号公報
【特許文献２】特開２００１−１７５８７６号公報
【非特許文献】
【０００８】
【非特許文献１】島田敬士、有田大作、谷口倫一郎、“混合ガウス分布による動的背景モデルの分布数増減法”、画像の認識・理解シンポジウム（MIRU2006）、２００６年７月、ＰＰ．７４６−７５１
【非特許文献２】森田真司、他３名、“全方位画像センサを用いたネットワーク対応型遠隔監視システム”、電子情報通信学会論文誌（D-II)、Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ、Ｎｏ．５、ｐｐ．８６４−８７５、２００５年５月
【非特許文献３】Kiran S.Bhat、他２名、“Motion Detection and Segmentation using Image Mosaics”、ＩＣＭＥ２０００
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のように、背景の変化に追従する手法がいくつか提案されている。しかしながら、特許文献１及び非特許文献３に開示された技術では、予め撮像される範囲が決まっており、その範囲の外を背景とする場合には対応していない。そのため、予め撮像された範囲外へ撮像装置の視野が移動した場合には、前景の抽出精度が著しく低下してしまうという問題があった。また、特許文献２では、トラッキングにより前景を抽出しているため、前景の物体が変わった場合や、オクルージョン等によってトラッキングできなくなった場合に、前景の抽出精度が著しく低下してしまうという問題があった。また、非特許文献１及び非特許文献２に開示された技術では、背景の更新のタイミングに比べて背景の変化が早い場合には前景の抽出精度が著しく低下し、抽出精度が元に戻るまでに長い時間を要していた。すなわち、背景差分処理のために蓄積されている複数の背景が移動後の新しい背景に更新されるまでの間は、移動前の背景を用いた背景差分処理が行われるため、前景の抽出精度が著しく低下してしまうという問題があった。
【００１０】
上記事情に鑑み、本発明は、背景の変化に伴う前景抽出の精度低下を軽減する技術を提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明の一態様は、背景差分処理装置であって、複数の入力画像を蓄積する入力画像記憶部と、入力される入力画像を前記入力画像記憶部に書き込む画像入力部と、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理部と、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定部と、前記背景変化判定部によって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化部と、を備えることを特徴とする。
【００１２】
本発明の一態様は、上記の背景差分処理装置であって、前記背景変化判定部は、前記入力画像の判定用領域における画素値に基づいて前記判定を行うことを特徴とする。
【００１３】
本発明の一態様は、上記の背景差分処理装置であって、前記背景変化判定部は、前記入力画像において背景以外の部分として抽出された領域を除く前記判定用領域における画素値に基づいて前記判定を行うことを特徴とする。
【００１４】
本発明の一態様は、複数の入力画像を蓄積する入力画像記憶部を備えるコンピュータに対し、入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、を実行させるためのコンピュータプログラムである。
【００１５】
本発明の一態様は、背景差分処理方法であって、複数の入力画像を蓄積する入力画像記憶部を備える背景差分処理装置が、入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、前記背景差分処理装置が、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、前記背景差分処理装置が、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、前記背景差分処理装置が、前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、を備える。
【発明の効果】
【００１６】
本発明により、背景の変化に伴う前景抽出の精度低下を軽減することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】前景表示システムのシステム構成を表すシステム構成図である。
【図２】背景差分処理を説明する図である。
【図３】前景抽出装置の動作の流れを表すフローチャートである。
【図４】判定用領域の具体例を表す図である。
【図５】判定用領域の具体例を表す図である。
【図６】前景抽出装置の入力画像に対して行う処理の概略を表すグラフである。
【発明を実施するための形態】
【００１８】
図１は、前景表示システム１のシステム構成を表すシステム構成図である。前景表示システム１は、撮像装置１０、表示装置２０、前景抽出装置３０を備える。撮像装置１０はビデオカメラ等のような継続的に撮像を行う装置である。撮像装置１０は、１フレーム撮像する度に当該フレームの撮像画像を前景抽出装置３０に対して出力する。なお、撮像装置１０は、撮像終了後に、撮像装置１０の記憶領域に蓄積した撮像画像をフレーム単位で前景抽出装置３０に対して順次出力しても良い。
【００１９】
表示装置２０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のような画像表示装置である。表示装置２０は、前景抽出装置３０から出力された画像（前景画像）を表示する。前景とは、撮像装置１０によって撮像された画像中の物体の中で撮像装置１０に対して概ね近い位置に存在する物体の姿であり、当該画像において注目される物体の姿である。一方、背景とは、撮像装置１０によって撮像された画像の中で前景の背後の光景である。
【００２０】
前景抽出装置３０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、前景抽出プログラムを実行する。前景抽出装置３０は、前景抽出プログラムを実行することによって、設定値入力部３０１、設定値記憶部３０２、画像入力部３０３、入力画像記憶部３０４、背景差分処理部３０５、背景変化判定部３０６、入力画像初期化部３０７、背景平均画像生成部３０８を備える装置として機能する。前景抽出装置３０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。
【００２１】
設定値入力部３０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置である。設定値入力部３０１は、背景差分処理部３０５によって使用される設定値（例えば後述する差分閾値など）や、背景変化判定部３０６によって使用される設定値（例えばオプティカルフローの閾値など）を前景抽出装置３０に入力する際に操作者によって操作される。設定値入力部３０１は、操作者の操作に応じて入力された各設定値を、設定値記憶部３０２に書き込む。
【００２２】
設定値記憶部３０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置である。設定値記憶部３０２は、背景差分処理部３０５によって使用される設定値や、背景変化判定部３０６によって使用される設定値を記憶する。
画像入力部３０３は、撮像装置１０によって撮像された画像を前景抽出装置３０に取り込む。以下、画像入力部３０３によって取り込まれた画像を「入力画像」という。
【００２３】
入力画像記憶部３０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置であり、複数の入力画像を記憶する。
【００２４】
背景差分処理部３０５は、背景平均画像と新入力画像との差分をとることによって、新入力画像から前景の画像を抽出する。背景平均画像とは、入力画像記憶部３０４に記憶されている複数の入力画像を平均することによって生成される画像である。新入力画像とは、新たに画像入力部３０３によって取り込まれた入力画像であり、前景画像の抽出の対象となる画像である。
背景変化判定部３０６は、新入力画像の背景に、それまでに入力された入力画像の背景に比べて、所定の基準を超える変化があるか否かを判定する。また、背景変化判定部３０６は、新入力画像の背景が所定の基準を超えて変化したと判定した場合、さらに、この背景の変化が所定の基準以内であるか否かを判定する。以下、新入力画像の背景が所定の基準を超えて変化している状態を、「移動状態」という。また、新入力画像の背景の変化が所定の基準以内である状態を「停止状態」という。
【００２５】
入力画像初期化部３０７は、移動状態後に停止状態となった場合に、入力画像記憶部３０４に記憶されている入力画像を初期化する。具体的には、入力画像初期化部３０７は、移動状態後に停止状態となった時点（以下、「移動後停止時点」という。）以降の入力画像に対する背景差分処理において、移動後停止時点までの間に入力画像記憶部３０４に蓄積された入力画像を用いて背景差分処理部３０５が処理を行うことがないようにする。より具体的には、入力画像初期化部３０７は、例えば入力画像記憶部３０４に蓄積されている入力画像を全て削除する。
【００２６】
背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている入力画像を更新する。また、背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている入力画像に基づいて、背景平均画像を生成し、背景平均画像を更新する。入力画像記憶部３０４に記憶されている入力画像の更新処理は以下のように行われる。背景平均画像生成部３０８は、まず、画像入力部３０３に入力された新入力画像を入力画像記憶部３０４に書き込む。背景平均画像生成部３０８は、新入力画像を書き込む際に、入力画像記憶部３０４に記憶されている入力画像の中で古い入力画像から順に削除するようにして、予め設定された所定数を維持しても良い。背景平均画像生成部３０８は、他の方法により、予め設定された所定数を維持しても良い。また、背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている古い画像を削除せずに、順次新たな入力画像を追加して書き込んでも良い。
【００２７】
図２は、背景差分処理部３０５と背景平均画像生成部３０８とによって行われる背景差分処理を説明する図である。図２Ａは背景平均画像の例を表す。背景平均画像生成部３０８は、例えば以下のような処理によって背景平均画像を生成する。
【００２８】
まず、背景平均画像生成部３０８は、ｎ（ｎは２以上の自然数）個の画素によって構成される入力画像であって、入力画像記憶部３０４に記憶された入力画像のうち、第ｍ（１≦ｍ≦ｎ）の画素を対象とし、当該ｍの画素に対応する画素の輝度値を、複数の入力画像のそれぞれについて合計することにより、輝度値の合計値を算出する第１の算出処理を行う機能と、輝度値の合計値を、第１〜第ｎの画素のそれぞれについて第１の算出処理を繰り返して実行することによって算出する第２の算出処理と、輝度値の合計値を、当該輝度値の合計値を求めた対象の入力画像の数で除算する第３の処理とを行う。背景平均画像生成部３０８は、このようにして算出された平均値を各画素の輝度値とした画像を、背景平均画像として生成する。
背景平均画像を生成する際の処理について、ｎ枚の入力画像を用いる場合を例としてさらに具体的に説明する。例えば、座標（ｘ１，ｙ１）の画素に関して、背景平均画像生成部３０８は、ｎ枚の入力画像を対象として座標（ｘ１，ｙ１）の画素の輝度値（ｎ個）をそれぞれ合計する。このようにして、背景平均画像生成部３０８は、座標（ｘ１，ｙ１）の画素の合計値を算出する。次に、背景平均画像生成部３０８は、算出された合計値を、用いた入力画像の数であるｎで除算する。このようにして、背景平均画像生成部３０８は、座標（ｘ１，ｙ１）の画素の平均値を算出する。背景平均画像生成部３０８は、このような処理を全ての画素に対して実行する。そして、背景平均画像生成部３０８は、各画素で算出された平均値を輝度値とした画像を、背景平均画像として生成する。
【００２９】
背景平均画像を生成する際に用いられる画像は、入力画像記憶部３０４に記憶されている入力画像全てであっても良いし、入力画像記憶部３０４に記憶されている入力画像の一部であっても良い。一部である場合には、背景平均画像生成部３０８は、例えば入力画像記憶部３０４に記憶されたタイミングが新しい順に所定数（例えば５０枚）の入力画像を用いて背景平均画像を生成しても良い。
【００３０】
図２Ｂは新入力画像の例を表し、図２Ｃは前景画像の例を表す。背景差分処理においては、背景差分処理部３０５は、背景平均画像と新入力画像との差分を抽出することによって、新入力画像から前景の画像を抽出する。より具体的には、背景差分処理部３０５は、背景平均画像と新入力画像との各輝度値の差の絶対値を画素毎に算出する。次に、背景差分処理部３０５は、予め設定値記憶部３０２が記憶している差分閾値と、画素毎に算出された差の絶対値とを比較する。次に、背景差分処理部３０５は、画素毎に算出された差の絶対値が差分閾値を超えていない画素をマスクするためのマスク画像を生成する。背景差分処理部３０５は、生成されたマスク画像を用いて新入力画像にマスク処理を行うことによって、前景を除く領域をマスクした画像を生成する。このようにして生成された画像が、前景の画像となる。そして、背景差分処理部３０５は、前景の画像を表示装置２０へ出力する。なお、図２Ｃは、画素の輝度値の差を用いて前景を抽出した例であるが、背景差分処理部３０５は、輝度値以外の値（例えばＲＧＢ値など）の差を用いて前景を抽出しても良い。
背景差分処理部３０５が行う背景差分処理は、以下に説明する具体例に限定されず、他の実装方法によって行われても良い。
【００３１】
図３は、前景抽出装置３０の動作の流れを表すフローチャートである。図３を用いて、前景抽出装置３０の動作の流れについて説明する。まず、背景変化判定部３０６は、移動停止状態の値に“ｎｕｌｌ”を設定することによって、移動停止状態の値を初期化する（ステップＳ１００）。次に、画像入力部３０３は新たな入力画像（新入力画像）を取り込む（ステップＳ１０１）。次に、背景平均画像生成部３０８は、新入力画像を入力画像記憶部３０４に記憶させる（ステップＳ１０２）。背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている入力画像の数が前景抽出可能数に至っているか否か判定する（ステップＳ１０３）。前景画像抽出可能数とは、背景平均画像を生成するのに十分な入力画像の枚数であり、前景抽出装置３０の設計者や使用者などによって予め設定される。入力画像の数が前景抽出可能数に至っていない場合には（ステップＳ１０３−ＮＯ）、ステップＳ１１３の処理に移る。
【００３２】
一方、入力画像の数が前景抽出可能数に至っている場合（ステップＳ１０３−ＹＥＳ）、背景平均画像生成部３０８は、その時点で入力画像記憶部３０４に記憶されている複数の入力画像を用いて、背景平均画像を生成する（ステップＳ１０４）。次に、背景差分処理部３０５は、新入力画像と、新たに生成された背景平均画像との画素の輝度値を比較し、画素毎に輝度値の差を算出する。そして、背景差分処理部３０５は、算出された差が差分閾値を超えているか否かを判定し、差分閾値を超えている領域を前景の画像として抽出し、前景の画像を表示装置２０へ出力する（ステップＳ１０５）。
【００３３】
次に、背景変化判定部３０６が、背景変化判定処理を実行する。具体的には、背景変化判定処理は以下のように行われる。まず、背景変化判定部３０６は、前フレームと現フレームとの変化量を算出する（ステップＳ１０６）。現フレームとは、新入力画像のうち最新のものを表す。前フレームとは、現フレームの一つ前に入力された新入力画像を表す。変化量とは、現フレームの状態が移動状態であるか停止状態であるかを判定する際に用いられる値である。
【００３４】
フレーム間の変化量を算出する具体例について説明する。変化量の算出方法は、前フレームと現フレームとの背景の移動量を表す値を算出する方法であれば、どのように設定されても良い。例えば、背景変化判定部３０６は、判定用領域４０内の画素毎に算出されたオプティカルフローの値の合計値を変化量として算出しても良い。また、背景変化判定部３０６は、判定用領域４０内の画素毎に、オプティカルフローの値が所定の閾値を超えるか否か判定し、閾値を超えた画素の数を変化量として算出しても良い。また、背景変化判定部３０６は、閾値を超えた画素が判定用領域４０の全画素に占める割合や、閾値を超えた画素が入力画像の全画素に占める割合を変化量として算出しても良い。
【００３５】
背景変化判定部３０６は、前フレーム及び現フレームの一部の領域（以下、「判定用領域」という。）に基づいて変化量を算出する。すなわち、判定用領域とは、前フレーム及び現フレームの一部の領域であって、背景変化判定部３０６が変化量を算出する処理に用いられる領域である。図４及び図５は、判定用領域の具体例を表す図である。図４及び図５において、斜線部分が判定用領域の具体例を表す。図４Ａの場合、判定用領域４０は、画像の四方の縁に近い部分に設けられた所定の枠状の領域である。図４Ｂの場合、判定用領域４０は、４つの縁のうち３つの縁（画像の左右及び上の縁）に近い部分に設けられたコの字状の領域である。図４Ａ及び図４Ｂの例では、判定用領域４０は、前景の抽出位置などにかかわらず一定の位置に設けられる。このように判定用領域４０が一定の位置に設けられることにより、背景変化判定部３０６の処理を高速化させることが可能となる。また、判定用領域４０が画像の縁に近い部分に設けられることや、コの字型に設けられることにより、前景の物体の移動の影響によって背景が変化したと誤って判定してしまうことを抑止することが可能となる。
【００３６】
図４Ｃ及び図４Ｄは、動的に変化する判定用領域４０の概略を表す図である。図４Ｃに示される矩形は、前景領域５０を表す。すなわち、図４Ｃでは、前景領域５０の部分に、抽出された前景が位置している。動的に変化する判定用領域４０を設定する場合、背景変化判定部３０６は、図４Ａに示される初期判定用領域を用いて処理を行う。背景変化判定部３０６は、判定用領域４０を、初期判定用領域から前景領域５０を除外した残りの領域として用いる。
【００３７】
図４Ｄは、このように動的に設定された判定用領域４０の具体例を表す。図４Ｄの場合、図４Ａに示される判定用領域４０が初期判定用領域として予め設定されている。そして、初期判定用領域から、図４Ｃに示される前景領域５０を除外した残りの部分が判定用領域４０として示されている。なお、初期判定用領域から省かれる前景領域５０は、現フレームにおいて抽出された前景の領域であっても良いし、前フレームにおいて抽出された前景の領域であっても良いし、さらに過去の所定フレームの前景の領域であっても良い。
【００３８】
図５Ａ〜５Ｃは、動的に変化する判定用領域４０の概略の他の例を表す図である。この場合も、背景変化判定部３０６は、初期判定用領域を予め記憶している。また、背景変化判定部３０６は、過去の複数のフレームにおいて前景が位置した領域の集合を前景移動領域として判定する。図５Ａは前景の移動の様子を表す図である。過去のあるフレームにおいて前景は矩形５０−１の位置にあった。その後、前景は矩形５０−２まで平行移動した。この場合、図５Ｂに示されるように、矩形５０−１の左辺から矩形５０−２の右辺までを繋ぐ一連の横長の矩形５０−３が前景移動領域として判定される。そして、背景変化判定部３０６は、図５Ｃに示されるように、初期判定用領域から前景移動領域５０−３を除外した残りの領域として判定用領域４０を決定する。なお、前景移動領域５０は、現フレームから所定数過去に遡るまでの間の各フレームにおいて抽出された前景に基づいて判定されても良い。また、前景移動領域５０は、前フレーム又はさらに過去の所定のフレームから所定数過去に遡るまでの間の各フレームにおいて抽出された前景に基づいて判定されても良い。また、初期判定用領域は、図４Ａや図４Ｂのように画像内の一部分として設定されても良いし、画像全体として設定されても良い。
図５Ｄは、初期判定用領域が画像全体として設定された場合の、判定用領域４０の具体例を表す図である。図５Ｄの場合、画像全体として設定された初期判定用領域から、図５Ｂに示される前景移動領域５０−３を除外した残りの領域として判定用領域４０が決定されている。
【００３９】
このように動的に判定用領域４０が設けられることによって、前景の画像とかかわりの無い部分の画像のみによって背景変化の判定を行うことができる。そのため、前景の物体の移動の影響によって背景が変化したと誤って判定してしまうことを抑止することが可能となる。
【００４０】
図３に戻って背景変化判定処理の説明を続ける。ステップＳ１０６の処理の後、背景変化判定部３０６は、現在の移動停止状態の値が移動中であるか否か判定する（ステップＳ１０７）。移動停止状態の値は、前フレームと、前フレームよりも一つ前に入力された新入力画像のフレームとの間において、背景部分が移動状態であるか停止状態であるかを表す値である。移動状態である場合には、移動停止状態の値は“移動中”となり、停止状態である場合には、移動停止状態の値は“停止中”となる。
【００４１】
移動停止状態の値が“移動中”である場合には（ステップＳ１０７−ＹＥＳ）、背景変化判定部３０６は、Ｓ１０６で算出した変化量と停止判定閾値とに基づいて、移動停止状態を判定する（ステップＳ１０８）。停止判定閾値とは、変化量に対する閾値であり、移動停止状態の値が“移動中”から“停止中”に移行したか否かを判定するための閾値である。Ｓ１０６で算出した変化量が停止判定閾値より大きい場合は、背景変化判定部３０６は“移動中”と判定する（ステップＳ１０８−ＮＯ）。この場合、ステップＳ１１３の処理に移る。
【００４２】
一方、現フレームと前フレームとの変化量が停止判定閾値より小さい場合は、背景変化判定部３０６は“停止中”と判定する（ステップＳ１０８−ＹＥＳ）。この場合、すなわち“移動中”の後に“停止中”となった場合、入力画像初期化部３０７は、入力画像記憶部３０４に蓄積されている入力画像を初期化する（ステップＳ１１０）。そして、背景変化判定部３０６は、移動停止状態の値を“停止中”にする（ステップＳ１１１）。
【００４３】
ステップＳ１０７の処理において、移動停止状態の値が“移動中”でない場合には（ステップＳ１０７−ＮＯ）、背景変化判定部３０６は、変化量と移動判定閾値とに基づいて、移動停止状態を判定する（ステップＳ１０９）。
移動判定閾値とは、変化量に対する閾値であり、移動停止状態の値が“停止中”または初期値（ｎｕｌｌ等）から“移動中”に移行したか否かを判定するための基準となる値である。移動停止状態の値が“停止中”である場合は、移動停止状態の値は移動判定閾値により判定される。現フレームと前フレームとの変化量が移動判定閾値より大きい場合は、背景変化判定部３０６は“移動中”と判定する（ステップＳ１０９−ＹＥＳ）。この場合、背景変化判定部３０６は、移動停止状態の値に“移動中”を設定する（ステップＳ１１２）。一方、現フレームと前フレームとの変化量が移動判定閾値より小さい場合は、背景変化判定部３０６は“停止中”と判定する（ステップＳ１０９−ＮＯ）。この場合、ステップＳ１１３の処理に移る。
【００４４】
ステップＳ１０３−ＮＯの場合、ステップＳ１０８−ＮＯの場合、ステップＳ１０９−ＮＯの場合、ステップＳ１１１の処理が行われた場合、及びステップＳ１１２の処理が行われた場合、背景差分処理部３０５は、処理を継続するか否か判定する（ステップＳ１１３）。例えば、撮像装置１０によって撮像された画像が随時、新入力画像として画像入力部３０３に入力される場合には、背景差分処理部３０５は、撮像装置１０からの画像の入力が終わったか否かに基づいてこの判定を行う。撮像装置１０からの画像の入力が途切れた場合には、背景差分処理部３０５は処理を終了すると判定する（ステップＳ１１３−ＹＥＳ）。一方、撮像装置１０からの画像の入力が途切れていない場合には、背景差分処理部３０５は処理を継続すると判定し（ステップＳ１１３−ＮＯ）、ステップＳ１０１の処理に戻る。
なお、停止判定閾値の値と移動判定閾値の値とは、停止判定閾値＜移動判定閾値の関係を持つように設定される。このように設定されることにより、移動停止状態の値が頻繁に変更されてしまうことを防止することができる。
【００４５】
図６は、前景抽出装置３０の入力画像に対して行う処理の概略を表すグラフである。図６において、縦軸は背景正答率を表し、横軸は時間を表す。図６において、本発明のグラフは前景抽出装置３０による背景正答率を表し、既存技術のグラフは既存の動的背景更新技術による背景正答率を表す。背景正答率とは、背景差分処理において背景部分をどの程度正確に分別できたかを表す指標である。背景正答率は、その値が高いほど正確に背景部分を分別できたことを表す。撮像装置１０の移動などに伴って背景が急激に変化し始めると（背景変化）、上記の前景抽出装置３０であっても既存技術であっても、背景正答率は著しく低下してしまう。
【００４６】
一方で、撮像装置１０の移動の停止などに伴って背景の急激な変化が止まった時点（移動後停止時点）以降の背景正答率の変化は、本発明と既存技術とで大きく異なる。既存技術の場合には、動的背景更新処理によって、蓄積されている入力画像が新たな入力画像に次第に書き換えられていく。そのため、急激な移動前に蓄積されていた入力画像が、移動後の新たな背景を伴った入力画像に更新されるのにしたがってゆっくりと背景正答率が上昇する。これに対し、本発明の場合には、背景の急激な変化が止まった時点で、入力画像初期化部３０７によって、入力画像記憶部３０４に蓄積されている入力画像が初期化される。そして、移動後の新たな背景を伴った入力画像のみが入力画像として入力画像記憶部３０４に蓄積される。そのため、背景正答率を急激に回復させることが可能となる。
【００４７】
このように、前景抽出装置３０によれば、背景の急激な変化に対して簡易な装置構成によって背景差分処理を精度良く行うことが可能となる。また、前景抽出装置３０によれば、広範囲に亘った入力画像の生成などのような事前操作を行う必要無く、背景差分処理を精度良く行うことが可能となる。
【００４８】
＜変形例＞
設定値入力部３０１は、設定値が予め記録されている記録媒体から設定値を読み出して設定値記憶部３０２に書き込むように構成されても良い。記録媒体とは、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）やフラッシュメモリ等である。また、設定値入力部３０１は、ＬＡＮ（Local Area Network）や無線ＬＡＮ等のネットワークを介して他の情報処理装置から設定値を受信し、設定値記憶部３０２に書き込むように構成されても良い。また、前景抽出装置３０は設定値入力部３０１を備えないように構成されても良い。この場合、設定値記憶部３０２は予め各値を記憶している。
【００４９】
画像入力部３０３は、撮像装置１０によって撮像されている画像を入力するのではなく、予め撮像装置によって撮像され記録された画像を入力するように構成されても良い。この場合、予め撮像装置によって撮像された画像のデータは、前景抽出装置３０が備える記憶装置に記録されても良いし、前景抽出装置３０とは異なる他の装置に記録されても良い。このような画像のデータは、ネットワークを介して前景抽出装置３０に入力されても良い。
【００５０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５１】
１…前景表示システム， １０…撮像装置， ２０…表示装置， ３０…前景抽出装置（背景差分処理装置）， ３０１…設定値入力部， ３０２…設定値記憶部， ３０３…画像入力部， ３０４…入力画像記憶部， ３０５…背景差分処理部（背景差分処理部）， ３０６…背景変化判定部， ３０７…入力画像初期化部， ３０８…背景平均画像生成部
【技術分野】
【０００１】
本発明は、撮像された画像から前景を抽出する背景差分処理に関する。
【背景技術】
【０００２】
画像処理の分野において、背景と前景とを分離する場合に用いられる手法として背景差分処理がある。前景とは、撮像画像中の物体の中で撮像装置に対して概ね近い位置に存在する物体の姿であり、当該撮像画像において注目される物体の姿である。一方、背景とは、撮像画像の中で前景の背後の光景である。背景差分処理では、背景となる画像が特定の条件の元で予め撮像され、背景画像として保存される。そして、新たに撮像して得られる観測画像と背景画像との差分の画像が前景の画像として抽出される。つまり、背景差分処理は、目的の前景を抽出する処理である。背景差分処理は、比較的計算量が少ないことからリアルタイム処理に適している。そのため、背景差分処理は、簡易に前景を抽出するための手法として一般に使用されている。
【０００３】
しかしながら、背景差分処理には、背景の変化の程度によって前景を抽出する精度が左右されてしまうという問題がある。例えば、時間変化とともに背景に当たる日照が変化する状況や、撮像装置または背景に存在する物体が移動することにより背景が変化してしまう状況では、その背景の変化が差分として抽出される場合があり、背景差分処理の精度が低下してしまう。その結果、意図しない画像が前景として抽出されてしまう。
【０００４】
このような問題を解決するために、日照変化に頑健な色情報を解析することによって背景変化に係る問題を解決する技術が提案されている（非特許文献１参照）。また、背景画像を時間変化とともに更新していくことで背景の変化に追従する技術も提案されている（非特許文献２参照）。ただし、非特許文献１は日照変化に対応する技術であり、非特許文献２は照明やカメラの揺れ等の環境変化に対応する技術である。したがって、これらの文献によって提案されている技術では、背景の緩やかな変化や微小な変化に対応することはできても、撮像装置の視野が移動した場合のような急激な背景の変化に対しては、背景差分処理の精度低下を適切に低減することができなかった。このように、従来の背景差分処理では、背景に急激な変化又は大きな変化が無いことが前提条件となっていた。これ対し、背景が急激に又は大きく変化する場合においても前景を抽出する手法が考案されている。
【０００５】
そのような手法の一つとして、前述したような背景画像を更新する手法（動的背景更新法）を代替する手法がある。より具体的には、モザイキングを使用した手法も提案されている（非特許文献３参照）。モザイキングとは、撮像装置が撮像すると予測される範囲を予め撮像し、撮像された複数の静止画像をつなぎ合わせることによって１枚の全体静止画像を生成する処理である。そして、この全体静止画像を背景画像として背景差分処理が行われる。
【０００６】
また、背景差分処理に関連する技術として、以下のような技術もある。すなわち、特許文献１に開示された技術では、撮像装置が旋回する範囲が予め決められており、その背景を予め撮像しておくことによって背景差分が行われる。また、特許文献２に開示された技術は、前景の物体をトラッキングすることによって、前景の物体を抽出する技術であり、撮像装置に生じる揺れにも頑健なものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２６３２７０号公報
【特許文献２】特開２００１−１７５８７６号公報
【非特許文献】
【０００８】
【非特許文献１】島田敬士、有田大作、谷口倫一郎、“混合ガウス分布による動的背景モデルの分布数増減法”、画像の認識・理解シンポジウム（MIRU2006）、２００６年７月、ＰＰ．７４６−７５１
【非特許文献２】森田真司、他３名、“全方位画像センサを用いたネットワーク対応型遠隔監視システム”、電子情報通信学会論文誌（D-II)、Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ、Ｎｏ．５、ｐｐ．８６４−８７５、２００５年５月
【非特許文献３】Kiran S.Bhat、他２名、“Motion Detection and Segmentation using Image Mosaics”、ＩＣＭＥ２０００
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のように、背景の変化に追従する手法がいくつか提案されている。しかしながら、特許文献１及び非特許文献３に開示された技術では、予め撮像される範囲が決まっており、その範囲の外を背景とする場合には対応していない。そのため、予め撮像された範囲外へ撮像装置の視野が移動した場合には、前景の抽出精度が著しく低下してしまうという問題があった。また、特許文献２では、トラッキングにより前景を抽出しているため、前景の物体が変わった場合や、オクルージョン等によってトラッキングできなくなった場合に、前景の抽出精度が著しく低下してしまうという問題があった。また、非特許文献１及び非特許文献２に開示された技術では、背景の更新のタイミングに比べて背景の変化が早い場合には前景の抽出精度が著しく低下し、抽出精度が元に戻るまでに長い時間を要していた。すなわち、背景差分処理のために蓄積されている複数の背景が移動後の新しい背景に更新されるまでの間は、移動前の背景を用いた背景差分処理が行われるため、前景の抽出精度が著しく低下してしまうという問題があった。
【００１０】
上記事情に鑑み、本発明は、背景の変化に伴う前景抽出の精度低下を軽減する技術を提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明の一態様は、背景差分処理装置であって、複数の入力画像を蓄積する入力画像記憶部と、入力される入力画像を前記入力画像記憶部に書き込む画像入力部と、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理部と、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定部と、前記背景変化判定部によって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化部と、を備えることを特徴とする。
【００１２】
本発明の一態様は、上記の背景差分処理装置であって、前記背景変化判定部は、前記入力画像の判定用領域における画素値に基づいて前記判定を行うことを特徴とする。
【００１３】
本発明の一態様は、上記の背景差分処理装置であって、前記背景変化判定部は、前記入力画像において背景以外の部分として抽出された領域を除く前記判定用領域における画素値に基づいて前記判定を行うことを特徴とする。
【００１４】
本発明の一態様は、複数の入力画像を蓄積する入力画像記憶部を備えるコンピュータに対し、入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、を実行させるためのコンピュータプログラムである。
【００１５】
本発明の一態様は、背景差分処理方法であって、複数の入力画像を蓄積する入力画像記憶部を備える背景差分処理装置が、入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、前記背景差分処理装置が、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、前記背景差分処理装置が、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、前記背景差分処理装置が、前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、を備える。
【発明の効果】
【００１６】
本発明により、背景の変化に伴う前景抽出の精度低下を軽減することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】前景表示システムのシステム構成を表すシステム構成図である。
【図２】背景差分処理を説明する図である。
【図３】前景抽出装置の動作の流れを表すフローチャートである。
【図４】判定用領域の具体例を表す図である。
【図５】判定用領域の具体例を表す図である。
【図６】前景抽出装置の入力画像に対して行う処理の概略を表すグラフである。
【発明を実施するための形態】
【００１８】
図１は、前景表示システム１のシステム構成を表すシステム構成図である。前景表示システム１は、撮像装置１０、表示装置２０、前景抽出装置３０を備える。撮像装置１０はビデオカメラ等のような継続的に撮像を行う装置である。撮像装置１０は、１フレーム撮像する度に当該フレームの撮像画像を前景抽出装置３０に対して出力する。なお、撮像装置１０は、撮像終了後に、撮像装置１０の記憶領域に蓄積した撮像画像をフレーム単位で前景抽出装置３０に対して順次出力しても良い。
【００１９】
表示装置２０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のような画像表示装置である。表示装置２０は、前景抽出装置３０から出力された画像（前景画像）を表示する。前景とは、撮像装置１０によって撮像された画像中の物体の中で撮像装置１０に対して概ね近い位置に存在する物体の姿であり、当該画像において注目される物体の姿である。一方、背景とは、撮像装置１０によって撮像された画像の中で前景の背後の光景である。
【００２０】
前景抽出装置３０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、前景抽出プログラムを実行する。前景抽出装置３０は、前景抽出プログラムを実行することによって、設定値入力部３０１、設定値記憶部３０２、画像入力部３０３、入力画像記憶部３０４、背景差分処理部３０５、背景変化判定部３０６、入力画像初期化部３０７、背景平均画像生成部３０８を備える装置として機能する。前景抽出装置３０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。
【００２１】
設定値入力部３０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置である。設定値入力部３０１は、背景差分処理部３０５によって使用される設定値（例えば後述する差分閾値など）や、背景変化判定部３０６によって使用される設定値（例えばオプティカルフローの閾値など）を前景抽出装置３０に入力する際に操作者によって操作される。設定値入力部３０１は、操作者の操作に応じて入力された各設定値を、設定値記憶部３０２に書き込む。
【００２２】
設定値記憶部３０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置である。設定値記憶部３０２は、背景差分処理部３０５によって使用される設定値や、背景変化判定部３０６によって使用される設定値を記憶する。
画像入力部３０３は、撮像装置１０によって撮像された画像を前景抽出装置３０に取り込む。以下、画像入力部３０３によって取り込まれた画像を「入力画像」という。
【００２３】
入力画像記憶部３０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置であり、複数の入力画像を記憶する。
【００２４】
背景差分処理部３０５は、背景平均画像と新入力画像との差分をとることによって、新入力画像から前景の画像を抽出する。背景平均画像とは、入力画像記憶部３０４に記憶されている複数の入力画像を平均することによって生成される画像である。新入力画像とは、新たに画像入力部３０３によって取り込まれた入力画像であり、前景画像の抽出の対象となる画像である。
背景変化判定部３０６は、新入力画像の背景に、それまでに入力された入力画像の背景に比べて、所定の基準を超える変化があるか否かを判定する。また、背景変化判定部３０６は、新入力画像の背景が所定の基準を超えて変化したと判定した場合、さらに、この背景の変化が所定の基準以内であるか否かを判定する。以下、新入力画像の背景が所定の基準を超えて変化している状態を、「移動状態」という。また、新入力画像の背景の変化が所定の基準以内である状態を「停止状態」という。
【００２５】
入力画像初期化部３０７は、移動状態後に停止状態となった場合に、入力画像記憶部３０４に記憶されている入力画像を初期化する。具体的には、入力画像初期化部３０７は、移動状態後に停止状態となった時点（以下、「移動後停止時点」という。）以降の入力画像に対する背景差分処理において、移動後停止時点までの間に入力画像記憶部３０４に蓄積された入力画像を用いて背景差分処理部３０５が処理を行うことがないようにする。より具体的には、入力画像初期化部３０７は、例えば入力画像記憶部３０４に蓄積されている入力画像を全て削除する。
【００２６】
背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている入力画像を更新する。また、背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている入力画像に基づいて、背景平均画像を生成し、背景平均画像を更新する。入力画像記憶部３０４に記憶されている入力画像の更新処理は以下のように行われる。背景平均画像生成部３０８は、まず、画像入力部３０３に入力された新入力画像を入力画像記憶部３０４に書き込む。背景平均画像生成部３０８は、新入力画像を書き込む際に、入力画像記憶部３０４に記憶されている入力画像の中で古い入力画像から順に削除するようにして、予め設定された所定数を維持しても良い。背景平均画像生成部３０８は、他の方法により、予め設定された所定数を維持しても良い。また、背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている古い画像を削除せずに、順次新たな入力画像を追加して書き込んでも良い。
【００２７】
図２は、背景差分処理部３０５と背景平均画像生成部３０８とによって行われる背景差分処理を説明する図である。図２Ａは背景平均画像の例を表す。背景平均画像生成部３０８は、例えば以下のような処理によって背景平均画像を生成する。
【００２８】
まず、背景平均画像生成部３０８は、ｎ（ｎは２以上の自然数）個の画素によって構成される入力画像であって、入力画像記憶部３０４に記憶された入力画像のうち、第ｍ（１≦ｍ≦ｎ）の画素を対象とし、当該ｍの画素に対応する画素の輝度値を、複数の入力画像のそれぞれについて合計することにより、輝度値の合計値を算出する第１の算出処理を行う機能と、輝度値の合計値を、第１〜第ｎの画素のそれぞれについて第１の算出処理を繰り返して実行することによって算出する第２の算出処理と、輝度値の合計値を、当該輝度値の合計値を求めた対象の入力画像の数で除算する第３の処理とを行う。背景平均画像生成部３０８は、このようにして算出された平均値を各画素の輝度値とした画像を、背景平均画像として生成する。
背景平均画像を生成する際の処理について、ｎ枚の入力画像を用いる場合を例としてさらに具体的に説明する。例えば、座標（ｘ１，ｙ１）の画素に関して、背景平均画像生成部３０８は、ｎ枚の入力画像を対象として座標（ｘ１，ｙ１）の画素の輝度値（ｎ個）をそれぞれ合計する。このようにして、背景平均画像生成部３０８は、座標（ｘ１，ｙ１）の画素の合計値を算出する。次に、背景平均画像生成部３０８は、算出された合計値を、用いた入力画像の数であるｎで除算する。このようにして、背景平均画像生成部３０８は、座標（ｘ１，ｙ１）の画素の平均値を算出する。背景平均画像生成部３０８は、このような処理を全ての画素に対して実行する。そして、背景平均画像生成部３０８は、各画素で算出された平均値を輝度値とした画像を、背景平均画像として生成する。
【００２９】
背景平均画像を生成する際に用いられる画像は、入力画像記憶部３０４に記憶されている入力画像全てであっても良いし、入力画像記憶部３０４に記憶されている入力画像の一部であっても良い。一部である場合には、背景平均画像生成部３０８は、例えば入力画像記憶部３０４に記憶されたタイミングが新しい順に所定数（例えば５０枚）の入力画像を用いて背景平均画像を生成しても良い。
【００３０】
図２Ｂは新入力画像の例を表し、図２Ｃは前景画像の例を表す。背景差分処理においては、背景差分処理部３０５は、背景平均画像と新入力画像との差分を抽出することによって、新入力画像から前景の画像を抽出する。より具体的には、背景差分処理部３０５は、背景平均画像と新入力画像との各輝度値の差の絶対値を画素毎に算出する。次に、背景差分処理部３０５は、予め設定値記憶部３０２が記憶している差分閾値と、画素毎に算出された差の絶対値とを比較する。次に、背景差分処理部３０５は、画素毎に算出された差の絶対値が差分閾値を超えていない画素をマスクするためのマスク画像を生成する。背景差分処理部３０５は、生成されたマスク画像を用いて新入力画像にマスク処理を行うことによって、前景を除く領域をマスクした画像を生成する。このようにして生成された画像が、前景の画像となる。そして、背景差分処理部３０５は、前景の画像を表示装置２０へ出力する。なお、図２Ｃは、画素の輝度値の差を用いて前景を抽出した例であるが、背景差分処理部３０５は、輝度値以外の値（例えばＲＧＢ値など）の差を用いて前景を抽出しても良い。
背景差分処理部３０５が行う背景差分処理は、以下に説明する具体例に限定されず、他の実装方法によって行われても良い。
【００３１】
図３は、前景抽出装置３０の動作の流れを表すフローチャートである。図３を用いて、前景抽出装置３０の動作の流れについて説明する。まず、背景変化判定部３０６は、移動停止状態の値に“ｎｕｌｌ”を設定することによって、移動停止状態の値を初期化する（ステップＳ１００）。次に、画像入力部３０３は新たな入力画像（新入力画像）を取り込む（ステップＳ１０１）。次に、背景平均画像生成部３０８は、新入力画像を入力画像記憶部３０４に記憶させる（ステップＳ１０２）。背景平均画像生成部３０８は、入力画像記憶部３０４に記憶されている入力画像の数が前景抽出可能数に至っているか否か判定する（ステップＳ１０３）。前景画像抽出可能数とは、背景平均画像を生成するのに十分な入力画像の枚数であり、前景抽出装置３０の設計者や使用者などによって予め設定される。入力画像の数が前景抽出可能数に至っていない場合には（ステップＳ１０３−ＮＯ）、ステップＳ１１３の処理に移る。
【００３２】
一方、入力画像の数が前景抽出可能数に至っている場合（ステップＳ１０３−ＹＥＳ）、背景平均画像生成部３０８は、その時点で入力画像記憶部３０４に記憶されている複数の入力画像を用いて、背景平均画像を生成する（ステップＳ１０４）。次に、背景差分処理部３０５は、新入力画像と、新たに生成された背景平均画像との画素の輝度値を比較し、画素毎に輝度値の差を算出する。そして、背景差分処理部３０５は、算出された差が差分閾値を超えているか否かを判定し、差分閾値を超えている領域を前景の画像として抽出し、前景の画像を表示装置２０へ出力する（ステップＳ１０５）。
【００３３】
次に、背景変化判定部３０６が、背景変化判定処理を実行する。具体的には、背景変化判定処理は以下のように行われる。まず、背景変化判定部３０６は、前フレームと現フレームとの変化量を算出する（ステップＳ１０６）。現フレームとは、新入力画像のうち最新のものを表す。前フレームとは、現フレームの一つ前に入力された新入力画像を表す。変化量とは、現フレームの状態が移動状態であるか停止状態であるかを判定する際に用いられる値である。
【００３４】
フレーム間の変化量を算出する具体例について説明する。変化量の算出方法は、前フレームと現フレームとの背景の移動量を表す値を算出する方法であれば、どのように設定されても良い。例えば、背景変化判定部３０６は、判定用領域４０内の画素毎に算出されたオプティカルフローの値の合計値を変化量として算出しても良い。また、背景変化判定部３０６は、判定用領域４０内の画素毎に、オプティカルフローの値が所定の閾値を超えるか否か判定し、閾値を超えた画素の数を変化量として算出しても良い。また、背景変化判定部３０６は、閾値を超えた画素が判定用領域４０の全画素に占める割合や、閾値を超えた画素が入力画像の全画素に占める割合を変化量として算出しても良い。
【００３５】
背景変化判定部３０６は、前フレーム及び現フレームの一部の領域（以下、「判定用領域」という。）に基づいて変化量を算出する。すなわち、判定用領域とは、前フレーム及び現フレームの一部の領域であって、背景変化判定部３０６が変化量を算出する処理に用いられる領域である。図４及び図５は、判定用領域の具体例を表す図である。図４及び図５において、斜線部分が判定用領域の具体例を表す。図４Ａの場合、判定用領域４０は、画像の四方の縁に近い部分に設けられた所定の枠状の領域である。図４Ｂの場合、判定用領域４０は、４つの縁のうち３つの縁（画像の左右及び上の縁）に近い部分に設けられたコの字状の領域である。図４Ａ及び図４Ｂの例では、判定用領域４０は、前景の抽出位置などにかかわらず一定の位置に設けられる。このように判定用領域４０が一定の位置に設けられることにより、背景変化判定部３０６の処理を高速化させることが可能となる。また、判定用領域４０が画像の縁に近い部分に設けられることや、コの字型に設けられることにより、前景の物体の移動の影響によって背景が変化したと誤って判定してしまうことを抑止することが可能となる。
【００３６】
図４Ｃ及び図４Ｄは、動的に変化する判定用領域４０の概略を表す図である。図４Ｃに示される矩形は、前景領域５０を表す。すなわち、図４Ｃでは、前景領域５０の部分に、抽出された前景が位置している。動的に変化する判定用領域４０を設定する場合、背景変化判定部３０６は、図４Ａに示される初期判定用領域を用いて処理を行う。背景変化判定部３０６は、判定用領域４０を、初期判定用領域から前景領域５０を除外した残りの領域として用いる。
【００３７】
図４Ｄは、このように動的に設定された判定用領域４０の具体例を表す。図４Ｄの場合、図４Ａに示される判定用領域４０が初期判定用領域として予め設定されている。そして、初期判定用領域から、図４Ｃに示される前景領域５０を除外した残りの部分が判定用領域４０として示されている。なお、初期判定用領域から省かれる前景領域５０は、現フレームにおいて抽出された前景の領域であっても良いし、前フレームにおいて抽出された前景の領域であっても良いし、さらに過去の所定フレームの前景の領域であっても良い。
【００３８】
図５Ａ〜５Ｃは、動的に変化する判定用領域４０の概略の他の例を表す図である。この場合も、背景変化判定部３０６は、初期判定用領域を予め記憶している。また、背景変化判定部３０６は、過去の複数のフレームにおいて前景が位置した領域の集合を前景移動領域として判定する。図５Ａは前景の移動の様子を表す図である。過去のあるフレームにおいて前景は矩形５０−１の位置にあった。その後、前景は矩形５０−２まで平行移動した。この場合、図５Ｂに示されるように、矩形５０−１の左辺から矩形５０−２の右辺までを繋ぐ一連の横長の矩形５０−３が前景移動領域として判定される。そして、背景変化判定部３０６は、図５Ｃに示されるように、初期判定用領域から前景移動領域５０−３を除外した残りの領域として判定用領域４０を決定する。なお、前景移動領域５０は、現フレームから所定数過去に遡るまでの間の各フレームにおいて抽出された前景に基づいて判定されても良い。また、前景移動領域５０は、前フレーム又はさらに過去の所定のフレームから所定数過去に遡るまでの間の各フレームにおいて抽出された前景に基づいて判定されても良い。また、初期判定用領域は、図４Ａや図４Ｂのように画像内の一部分として設定されても良いし、画像全体として設定されても良い。
図５Ｄは、初期判定用領域が画像全体として設定された場合の、判定用領域４０の具体例を表す図である。図５Ｄの場合、画像全体として設定された初期判定用領域から、図５Ｂに示される前景移動領域５０−３を除外した残りの領域として判定用領域４０が決定されている。
【００３９】
このように動的に判定用領域４０が設けられることによって、前景の画像とかかわりの無い部分の画像のみによって背景変化の判定を行うことができる。そのため、前景の物体の移動の影響によって背景が変化したと誤って判定してしまうことを抑止することが可能となる。
【００４０】
図３に戻って背景変化判定処理の説明を続ける。ステップＳ１０６の処理の後、背景変化判定部３０６は、現在の移動停止状態の値が移動中であるか否か判定する（ステップＳ１０７）。移動停止状態の値は、前フレームと、前フレームよりも一つ前に入力された新入力画像のフレームとの間において、背景部分が移動状態であるか停止状態であるかを表す値である。移動状態である場合には、移動停止状態の値は“移動中”となり、停止状態である場合には、移動停止状態の値は“停止中”となる。
【００４１】
移動停止状態の値が“移動中”である場合には（ステップＳ１０７−ＹＥＳ）、背景変化判定部３０６は、Ｓ１０６で算出した変化量と停止判定閾値とに基づいて、移動停止状態を判定する（ステップＳ１０８）。停止判定閾値とは、変化量に対する閾値であり、移動停止状態の値が“移動中”から“停止中”に移行したか否かを判定するための閾値である。Ｓ１０６で算出した変化量が停止判定閾値より大きい場合は、背景変化判定部３０６は“移動中”と判定する（ステップＳ１０８−ＮＯ）。この場合、ステップＳ１１３の処理に移る。
【００４２】
一方、現フレームと前フレームとの変化量が停止判定閾値より小さい場合は、背景変化判定部３０６は“停止中”と判定する（ステップＳ１０８−ＹＥＳ）。この場合、すなわち“移動中”の後に“停止中”となった場合、入力画像初期化部３０７は、入力画像記憶部３０４に蓄積されている入力画像を初期化する（ステップＳ１１０）。そして、背景変化判定部３０６は、移動停止状態の値を“停止中”にする（ステップＳ１１１）。
【００４３】
ステップＳ１０７の処理において、移動停止状態の値が“移動中”でない場合には（ステップＳ１０７−ＮＯ）、背景変化判定部３０６は、変化量と移動判定閾値とに基づいて、移動停止状態を判定する（ステップＳ１０９）。
移動判定閾値とは、変化量に対する閾値であり、移動停止状態の値が“停止中”または初期値（ｎｕｌｌ等）から“移動中”に移行したか否かを判定するための基準となる値である。移動停止状態の値が“停止中”である場合は、移動停止状態の値は移動判定閾値により判定される。現フレームと前フレームとの変化量が移動判定閾値より大きい場合は、背景変化判定部３０６は“移動中”と判定する（ステップＳ１０９−ＹＥＳ）。この場合、背景変化判定部３０６は、移動停止状態の値に“移動中”を設定する（ステップＳ１１２）。一方、現フレームと前フレームとの変化量が移動判定閾値より小さい場合は、背景変化判定部３０６は“停止中”と判定する（ステップＳ１０９−ＮＯ）。この場合、ステップＳ１１３の処理に移る。
【００４４】
ステップＳ１０３−ＮＯの場合、ステップＳ１０８−ＮＯの場合、ステップＳ１０９−ＮＯの場合、ステップＳ１１１の処理が行われた場合、及びステップＳ１１２の処理が行われた場合、背景差分処理部３０５は、処理を継続するか否か判定する（ステップＳ１１３）。例えば、撮像装置１０によって撮像された画像が随時、新入力画像として画像入力部３０３に入力される場合には、背景差分処理部３０５は、撮像装置１０からの画像の入力が終わったか否かに基づいてこの判定を行う。撮像装置１０からの画像の入力が途切れた場合には、背景差分処理部３０５は処理を終了すると判定する（ステップＳ１１３−ＹＥＳ）。一方、撮像装置１０からの画像の入力が途切れていない場合には、背景差分処理部３０５は処理を継続すると判定し（ステップＳ１１３−ＮＯ）、ステップＳ１０１の処理に戻る。
なお、停止判定閾値の値と移動判定閾値の値とは、停止判定閾値＜移動判定閾値の関係を持つように設定される。このように設定されることにより、移動停止状態の値が頻繁に変更されてしまうことを防止することができる。
【００４５】
図６は、前景抽出装置３０の入力画像に対して行う処理の概略を表すグラフである。図６において、縦軸は背景正答率を表し、横軸は時間を表す。図６において、本発明のグラフは前景抽出装置３０による背景正答率を表し、既存技術のグラフは既存の動的背景更新技術による背景正答率を表す。背景正答率とは、背景差分処理において背景部分をどの程度正確に分別できたかを表す指標である。背景正答率は、その値が高いほど正確に背景部分を分別できたことを表す。撮像装置１０の移動などに伴って背景が急激に変化し始めると（背景変化）、上記の前景抽出装置３０であっても既存技術であっても、背景正答率は著しく低下してしまう。
【００４６】
一方で、撮像装置１０の移動の停止などに伴って背景の急激な変化が止まった時点（移動後停止時点）以降の背景正答率の変化は、本発明と既存技術とで大きく異なる。既存技術の場合には、動的背景更新処理によって、蓄積されている入力画像が新たな入力画像に次第に書き換えられていく。そのため、急激な移動前に蓄積されていた入力画像が、移動後の新たな背景を伴った入力画像に更新されるのにしたがってゆっくりと背景正答率が上昇する。これに対し、本発明の場合には、背景の急激な変化が止まった時点で、入力画像初期化部３０７によって、入力画像記憶部３０４に蓄積されている入力画像が初期化される。そして、移動後の新たな背景を伴った入力画像のみが入力画像として入力画像記憶部３０４に蓄積される。そのため、背景正答率を急激に回復させることが可能となる。
【００４７】
このように、前景抽出装置３０によれば、背景の急激な変化に対して簡易な装置構成によって背景差分処理を精度良く行うことが可能となる。また、前景抽出装置３０によれば、広範囲に亘った入力画像の生成などのような事前操作を行う必要無く、背景差分処理を精度良く行うことが可能となる。
【００４８】
＜変形例＞
設定値入力部３０１は、設定値が予め記録されている記録媒体から設定値を読み出して設定値記憶部３０２に書き込むように構成されても良い。記録媒体とは、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）やフラッシュメモリ等である。また、設定値入力部３０１は、ＬＡＮ（Local Area Network）や無線ＬＡＮ等のネットワークを介して他の情報処理装置から設定値を受信し、設定値記憶部３０２に書き込むように構成されても良い。また、前景抽出装置３０は設定値入力部３０１を備えないように構成されても良い。この場合、設定値記憶部３０２は予め各値を記憶している。
【００４９】
画像入力部３０３は、撮像装置１０によって撮像されている画像を入力するのではなく、予め撮像装置によって撮像され記録された画像を入力するように構成されても良い。この場合、予め撮像装置によって撮像された画像のデータは、前景抽出装置３０が備える記憶装置に記録されても良いし、前景抽出装置３０とは異なる他の装置に記録されても良い。このような画像のデータは、ネットワークを介して前景抽出装置３０に入力されても良い。
【００５０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５１】
１…前景表示システム， １０…撮像装置， ２０…表示装置， ３０…前景抽出装置（背景差分処理装置）， ３０１…設定値入力部， ３０２…設定値記憶部， ３０３…画像入力部， ３０４…入力画像記憶部， ３０５…背景差分処理部（背景差分処理部）， ３０６…背景変化判定部， ３０７…入力画像初期化部， ３０８…背景平均画像生成部
【特許請求の範囲】
【請求項１】
複数の入力画像を蓄積する入力画像記憶部と、
入力される入力画像を前記入力画像記憶部に書き込む画像入力部と、
前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理部と、
新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定部と、
前記背景変化判定部によって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化部と、
を備える背景差分処理装置。
【請求項２】
前記背景変化判定部は、前記入力画像の判定用領域における画素値に基づいて前記判定を行うことを特徴とする請求項１に記載の背景差分処理装置。
【請求項３】
前記背景変化判定部は、前記入力画像において背景以外の部分として抽出された領域を除く前記判定用領域における画素値に基づいて前記判定を行うことを特徴とする請求項２に記載の背景差分処理装置。
【請求項４】
複数の入力画像を蓄積する入力画像記憶部を備えるコンピュータに対し、
入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、
前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、
新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、
前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、
を実行させるためのコンピュータプログラム。
【請求項５】
複数の入力画像を蓄積する入力画像記憶部を備える背景差分処理装置が、入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、
前記背景差分処理装置が、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、
前記背景差分処理装置が、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、
前記背景差分処理装置が、前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、
を備える背景差分処理方法。
【請求項１】
複数の入力画像を蓄積する入力画像記憶部と、
入力される入力画像を前記入力画像記憶部に書き込む画像入力部と、
前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理部と、
新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定部と、
前記背景変化判定部によって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化部と、
を備える背景差分処理装置。
【請求項２】
前記背景変化判定部は、前記入力画像の判定用領域における画素値に基づいて前記判定を行うことを特徴とする請求項１に記載の背景差分処理装置。
【請求項３】
前記背景変化判定部は、前記入力画像において背景以外の部分として抽出された領域を除く前記判定用領域における画素値に基づいて前記判定を行うことを特徴とする請求項２に記載の背景差分処理装置。
【請求項４】
複数の入力画像を蓄積する入力画像記憶部を備えるコンピュータに対し、
入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、
前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、
新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、
前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、
を実行させるためのコンピュータプログラム。
【請求項５】
複数の入力画像を蓄積する入力画像記憶部を備える背景差分処理装置が、入力される入力画像を前記入力画像記憶部に書き込む入力画像書込ステップと、
前記背景差分処理装置が、前記入力画像記憶部に蓄積されている前記複数の入力画像に基づいて、新たに入力された入力画像に対し背景差分処理を行い、前記入力画像から前景画像を抽出する背景差分処理ステップと、
前記背景差分処理装置が、新たに入力された入力画像と過去に入力された入力画像との背景部分が移動状態であるか停止状態であるか判定する背景変化判定ステップと、
前記背景差分処理装置が、前記背景変化判定ステップによって、移動状態と判定された後にその後の入力画像に基づいて停止状態と判定された場合に、前記入力画像記憶部に蓄積されている前記複数の入力画像を初期化する入力画像初期化ステップと、
を備える背景差分処理方法。
【図１】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【公開番号】特開２０１２−１０４０５３（Ｐ２０１２−１０４０５３Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５４１５８（Ｐ２０１０−２５４１５８）
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]