画像処理装置及び画像処理方法
【課題】 撮像画像内において変化を検知する検知領域と、マスク領域とが重複する場合、意図した変化を検知できない恐れがあった。
【解決手段】 変化検知部１３５は、画像内において変化を検知する検知領域の指定情報と、画像内のマスク領域の指定情報とを取得し（Ｓ４０２）、変化検知部１３５は、検知領域とマスク領域が重複する場合、検知領域とマスク領域が重複しない場合よりも、検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように変化発生イベントの出力条件を決定する（Ｓ４０６、４０７）。
【解決手段】 変化検知部１３５は、画像内において変化を検知する検知領域の指定情報と、画像内のマスク領域の指定情報とを取得し（Ｓ４０２）、変化検知部１３５は、検知領域とマスク領域が重複する場合、検知領域とマスク領域が重複しない場合よりも、検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように変化発生イベントの出力条件を決定する（Ｓ４０６、４０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の変化の発生を検知する画像処理装置に関する。
【背景技術】
【０００２】
街頭に設置されたカメラ映像をインターネット上で公開する場合、プライバシー保護を目的として、視野範囲の一部を非公開にしたいという要望がある。このような要望に対して、特許文献１には、非公開にしたい領域をマスク領域として塗り潰すマスク処理について記載されている。
【０００３】
また、特許文献２には、所定の輝度値以上の画素数が所定数以上、検知されると、視野妨害行為が発生したと判定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−３２８３３７号公報
【特許文献２】特開２０００−２２２６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、マスク処理された画像を用いると、変化発生イベントを検知できなくなる恐れがあった。
【０００６】
例えば、時間的に隣接する２つの画像フレームにおける検知領域の３０％以上の画素値が異なる場合に、変化が発生したと判定される設定において、検知領域の８０％がマスク領域として塗りつぶされていると、変化が発生したと判定されないことになってしまう。
【０００７】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、マスク処理された画像を用いた場合における変化発生イベントの検知処理の精度を向上させることである。
【課題を解決するための手段】
【０００８】
上記の問題点を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。すなわち、画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得手段と、前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように当該変化発生イベントの出力条件を決定する決定手段とを有する。
【発明の効果】
【０００９】
本発明によれば、マスク処理された画像を用いた場合における変化発生イベントの検知処理の精度を向上できる。
【図面の簡単な説明】
【００１０】
【図１】システム構成図
【図２】カメラのハードウェア構成図
【図３】マスク領域と検知領域の関係を説明するための図
【図４】変化の発生の検知処理を説明するためのフローチャート
【図５】システムの動作を説明するための図
【図６】変化の発生の検知処理のためのパラメータを設定する画面の例を示す図
【発明を実施するための形態】
【００１１】
＜第１の実施形態＞
本実施形態では、画像内において変化を検知する検知領域が、マスク領域と重複した場合と、重複していない場合とで、変化発生イベントの出力条件が異なるようにすることについて説明する。
【００１２】
図１は、本実施形態のシステム構成を示す図である。システムはネットワークカメラ１００（以下カメラ１００）、表示端末２００、解析サーバ３００、録画サーバ４００がネットワーク経由で接続されている。カメラ１００により、画像１０１が表示端末２００、解析サーバ３００、録画サーバ４００に配信される。カメラ１００はプライバシーマスク機能と、画像処理による変化発生の検知機能を持つ。各クライアントへ配信される画像１０１は、一部にマスク処理が施されている。
【００１３】
次にネットワークカメラ１００（カメラ１００）の構成を、図２を用いて説明する。カメラ１００は、撮像系１１０、画像取得部１３１、マスク処理部１３２、符号化部１３３、画像配信部１３４、変化検知部１３５、イベント出力部１３６、撮像系制御部１３７、雲台制御部１３８、雲台駆動系１２０、設定制御部１３９、通信部１４０を有する。
【００１４】
画像取得部１３１は、撮像系１１０を制御して画像を取得する。
マスク処理部１３２は、画像取得部１３１により取得された画像に対してマスク処理を行う。本形態では、マスク領域を黒塗りするマスク処理を中心に説明するが、例えば、マスク領域に対してぼかし、モザイクなどをしても良い。また、マスク処理部１３２は、マスク処理した画像を符号化部１３３と変化検知部１３５へそれぞれ出力する。
【００１５】
符号化部１３３は、マスク処理部１３２によってマスク処理された画像を符号化する。符号化方式には、例えば、モーションＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４などの方式がある。
【００１６】
画像配信部１３４は、符号化部１３３により符号化された画像を通信部１４０を介してネットワークへ配信する。配信された画像は表示端末２００、解析サーバ３００、録画サーバ４００により受信される。
【００１７】
変化検知部１３５は、マスク処理部１３２によってマスク処理された画像から変化の発生を検知するための検知処理を行う。本形態の変化検知部１３５は、時間的に隣接するフレームの比較に基づいて、変化の発生を検知する。変化の発生の検知方法の詳細は、図３を用いて後述する。変化検知部１３５は、変化の発生を検知すると、変化発生イベントをイベント出力部１３６へ通知する。
【００１８】
イベント出力部１３６は、変化検知部１３５からの通知に応じて、変化発生イベントを、通信部１４０を介してクライアント（表示端末２００、解析サーバ３００、録画サーバ４００）へ通知する。
【００１９】
通信部１４０は、画像配信部１３４からのマスク処理済みの画像、及び、イベント出力部１３６からの変化発生イベントを、ネットワークを介してクライアント（表示端末２００、解析サーバ３００、録画サーバ４００）へ送信する。また、通信部１４０は、クライアントから、カメラ制御情報やマスク設定情報を受信する。カメラ制御情報は、例えば、カメラの撮像方向やズーム倍率、フォーカスや絞り等を変更するための情報である。また、マスク設定情報は、マスク領域の追加、削除、又は、既存のマスク領域の位置やサイズの変更のための情報である。
【００２０】
設定制御部１３９は、通信部１４０から受信したカメラ制御情報を、その種類に応じて、撮像系制御部１３７、又は、雲台制御部１３８へ通知する。これにより、カメラのパン角やチルト角、カメラのズーム倍率や絞り、フォーカス等が変更される。
【００２１】
また、設定制御部１３９は、通信部１４０から受信したマスク設定情報を、変化検知部１３５とマスク処理部１３２へ通知する。これにより、マスク処理部１３２でマスク処理されるマスク領域の追加、削除、又は既存のマスク領域の位置やサイズの変更が行われる。また、変化検知部１３５における変化発生イベントの出力条件が決定される。
【００２２】
次に、本実施形態における変化発生イベントの出力条件の決定方法について、図３を用いて説明する。図３に示すように、カメラ１００により撮像された画像２１０内に、マスク領域２１１、検知領域２１２が存在する。なお、マスク領域２１１と検知領域２１２は、重複領域２１３において重複している。
【００２３】
まず、マスク領域２１１が無い場合における変化発生の検知方法について説明する。本形態の変化検知部１３５は、時間的に隣接するフレームの検知領域２１２の画素値を比較し、その違いが所定値以上の画素値を、変化画素として特定する。そして、変化検知部１３５は、検知領域２１２の面積に対する、検知領域２１２内における変化画素数（変化領域２１５の面積）の割合が所定の割合以上である場合に、変化が発生したと判定する。すなわち、検知領域２１２の面積をＳｄ、変化領域２１５（検知領域２１２内における変化画素の領域）の面積をＳｍとすると、Ｓｍ／Ｓｄ（＝変化量Ｒｓ）が所定値以上である場合に、変化が発生したと判定される。つまり、Ｒｓが所定の下限値Ｔｍｉｎ以上の場合に、変化が発生したと判定される。なお、変化量Ｒｓの値に上限値を設けることも可能である。この場合、変化量ＲｓがＴｍｉｎ以上Ｔｍａｘ未満の場合に、変化が発生したと判定される。なおＴｍｉｎとＴｍａｘが取りうる値の範囲は、いずれも０から１までの実数であるが、クライアントの表示画面上では、例えば百分率（０％から１００％）で表示させる。
すなわち、
Ｉｆ（Ｔｍｉｎ≦Ｒｓ ＡＮＤ Ｒｓ≦Ｔｍａｘ）Ｔｈｅｎ変化あり； （式１）
Ｒｓ＝Ｓｍ／Ｓｄ （式２）
Ｓｍ： 変化領域２１５の面積
Ｓｄ： 検知領域２１２の面積
Ｔｍｉｎ：下限しきい値、Ｔｍａｘ：上限しきい値
なお、通常はＴｍｉｎ≦Ｔｍａｘである。また、Ｔｍｉｎのデフォルト値は例えば０．５、Ｔｍａｘのデフォルト値は例えば１にすることができる。この場合において、例えば、検知領域２１２の面積（画素数）が、１０００画素で、変化領域２１５の面積（検知領域２１２内の変化画素の画素数）が、６００画素の場合、変化が発生したと判定される。一方、変化領域２１５の面積が４００画素の場合、変化が発生していないと判定される。また、例えば、Ｔｍｉｎを０に設定すれば、検知領域２１２内における変化画素数が１画素であっても、変化が発生したと判定される。
【００２４】
ただし変化の発生の検知方法は、上記の方法に限らない。ほかの方法として、例えば、検知領域２１２の面積に関わらず、検知領域２１２内における変化画素の画素数が、所定の画素数以上の場合に、変化が発生したと判定するようにしても良い。また、隣接フレーム間の差分による方法のほかに、事前に取得した基準画像と、撮像画像との比較に基づいて特定した変化画素に基づいて変化の発生を検知することも可能である。この場合に用いる基準画像は、画像内に動きがないときに自動的に更新することも可能である。
【００２５】
また、輝度値の比較により変化画素を特定しても良い。また、画素ごとではなく、ブロックごとに変化画素を特定しても良い。また、エッジ成分などの特徴量用いて特定された変化画素に基づいて変化の発生を検知することも可能である。変化検知部１３５による変化検知のための方法やパラメータは、クライアント（表示端末２００、解析サーバ３００、録画サーバ４００）を用いて設定及び変更できる。
【００２６】
次に、検知領域２１２とマスク領域２１１とが重複する場合における変化発生の検知処理について説明する。本形態の変化検知部１３５は、検知領域２１２とマスク領域２１１とが重複する場合は、重複していない場合よりも、ＴｍｉｎとＴｍａｘの値を小さくする。ＴｍｉｎとＴｍａｘを小さくするということは、変化発生イベントが出力される変化領域２１５の面積の下限値と上限値が小さくなることを意味する。ただし、上限値と下限値のどちらか一方（例えばＴｍｉｎ）のみを小さくしてもよい。
【００２７】
すなわち、変化検知部１３５は、検知領域２１２とマスク領域２１１とが重複する場合、重複しない場合よりも、変化領域２１５が小さくても変化発生イベントが出力されるように、変化発生イベントの出力条件を決定する。なお、変化領域２１５は、検知領域２１２内において特定された変化画素の画素数に対応する。
【００２８】
また、本形態の変化検知部１３５は、検知領域２１２とマスク領域２１１との重複領域２１３の面積が大きいほど、ＴｍｉｎとＴｍａｘの値を小さくする。すなわち、変化検知部１３５は、検知領域２１２とマスク領域２１１との重複面積Ｓｖが、第１の重複面積の場合、第１の重複面積よりも小さい第２の重複面積の場合よりも、変化発生イベントが出力される変化領域２１５の面積の上限値と下限値を小さくする。なお、変化検知部１３５は、上限値と下限値のうちどちらか一方を小さくすることも可能である。このようにして変化検知部１３５は、検知領域２１２とマスク領域２１１の重複面積の大きさに応じて、変化発生イベントの出力条件を決定する。
【００２９】
より具体的には、変化検知部１３５は、検知領域２１２とマスク領域２１１とが重複した場合、重複する前におけるＴｍｉｎとＴｍａｘを、以下のように変更する。
Ｔｍｉｎ＝Ｔｍｉｎ ＊（Ｓｄ−Ｓｖ）／Ｓｄ； （式３）
Ｔｍａｘ＝Ｔｍａｘ ＊（Ｓｄ−Ｓｖ）／Ｓｄ； （式４）
【００３０】
次に図４を用いて、ネットワークカメラ１００（カメラ１００）による変化発生の検知処理の流れについて説明する。本形態のカメラ１００は、図４の処理を、撮像開始の指示を受けたときに開始する。また、カメラ１００は、図４にかかる処理を実行するためのプログラムを記憶した記憶媒体から当該プログラムをＣＰＵで読み出して実行することにより、図４の処理を実現する。ただし、図４の処理に少なくとも一部を専用のハードウェアによって行うようにすることも可能である。
【００３１】
カメラ１００の変化検知部１３５は、連続合致回数Ｃを初期化する（Ｓ４０１）。連続合致回数Ｃは、変化量Ｒｓが、連続してＴｍｉｎ以上Ｔｍａｘ未満になった回数を示している。本形態の変化検知部１３５は、連続合致回数Ｃが閾値を超えると、変化が発生したと判定し、変化発生イベントを出力する。このようにすることで、瞬間的な雑音により変化が誤検知されることを防止できる。ただし、連続合致回数Ｃを１に設定することも可能である。
【００３２】
画像取得部１３１は、撮像系１１０から画像を取得する（Ｓ４０２）。また、Ｓ４０２（取得手順）において、変化検知部１３５は、検知領域２１２の指定情報と、マスク領域２１１の指定情報を取得する。ここで、検知領域２１２の指定情報は、Ｓ４０２で取得された画像内の検知領域２１２を特定するための情報である。また、マスク領域２１１は、Ｓ４０２で取得された画像内においてマスク処理する領域（マスク領域）を特定するための情報である。なお、検知領域２１２、マスク領域２１１の指定情報は、Ｓ４０２で定期的に取得するようにしても、変化したときのみ取得するようにしても良い。
【００３３】
また、例えば、カメラ１００の撮像画像を表示している表示端末２００のユーザにより、マスク領域が座標情報で指定された場合、変化検知部１３５は、当該指定に応じた情報を、マスク領域の指定情報として取得する。また、例えば、ある特定の文字やナンバーが映っている領域をマスク処理することが指定された場合、変化検知部１３５は、当該指定に応じた情報と、Ｓ４０２において画像取得部１３１が取得した画像との比較結果に基づいて、マスク領域の指定情報を取得する。
【００３４】
マスク処理部１３２は、Ｓ４０２で取得された画像に対して、マスク領域の指定情報を用いてマスク処理を行う（Ｓ４０３）。さらに、変化検知部１３５は、Ｓ４０３でマスク処理された画像であって、時間的に隣接するフレームの検知領域２１２を比較して、変化領域２１５の面積（検知領域２１２内における変化画素の画素数）を取得する。変化検知部１３５は、取得された変化領域２１５の面積と、検知領域２１２の面積との割合（変化量Ｒｓ）を取得する。
【００３５】
そして、変化検知部１３５は、変化量Ｒｓが、Ｔｍｉｎ以上Ｔｍａｘ未満であるか判定する（Ｓ４０６、Ｓ４０７）。なお、変化検知部１３５は、Ｓ４０６、Ｓ４０７（決定手順）において、変化発生イベントの出力条件（ＴｍｉｎとＴｍａｘ）を、検知領域２１２とマスク領域２１１の重複状態に基づいて決定する。すなわち、変化検知部１３５は、検知領域２１２とマスク領域２１１が重複する場合、重複しない場合よりも、検知領域２１２内の変化領域２１５が小さくても変化発生イベントが出力されるように変化発生イベントの出力条件を決定する。
【００３６】
なお、変化発生イベントの出力条件（ＴｍｉｎとＴｍａｘ）は、Ｓ４０６とＳ４０７のたびに決定することも可能であるが、１度決定した後は、検知領域２１２とマスク領域２１１のいずれかが変化したときのみ、再度計算して決定するようにしてもよい。
【００３７】
変化検知部１３５は、変化量Ｒｓが、Ｔｍｉｎ以上Ｔｍａｘ未満であると判定した場合、連続合致回数Ｃに１を加える。一方、変化量Ｒｓが、Ｔｍｉｎ以上Ｔｍａｘ未満でないと判定された場合、連続合致回数Ｃを０にリセットする（Ｓ４０９）。
【００３８】
そして、変化検知部１３５は、現在の連続合致回数が閾値Ｔｃ以上であるか否かを判定する（Ｓ４１０）。連続合致回数が閾値Ｔｃ以上であると判定されると、変化検知部１３５は、イベント出力部１３６へ変化発生イベントを通知する（Ｓ４１１）。すなわち、変化検知部１３５は、Ｓ４０６、Ｓ４０７で決定された変化発生イベントの出力条件（Ｔｍａｘ，Ｔｍｉｎ）に応じて、変化発生イベントを出力する。
【００３９】
変化検知部１３５から変化発生イベントが通知されたイベント出力部１３６は、変化発生イベントをネットワークを介してクライアント（表示端末２００、解析サーバ３００、録画サーバ４００）へ出力する。変化発生イベントは、各クライアントにより受信され、変化の発生時刻が記録される。また、例えば、変化発生イベントに応じて、クライアントでアラームを鳴らしたり警告メッセージを表示したりしても良い。
【００４０】
一方、Ｓ４１０において、連続合致回数が閾値Ｔｃ未満であると判定されると、Ｓ４０２に戻る。変化検知部１３５は、Ｓ４１１でイベント出力部１３６に対して変化発生イベントを通知すると、その後、図４の処理を終了するか否かを判定し（Ｓ４１２）、終了しないと判定された場合は、Ｓ４０１に戻る。一方、Ｓ４１２で処理を終了すると判定された場合は、図４の処理を終了する。
【００４１】
次に、図５を用いて、各装置の処理シーケンスについて説明する。なお、上記の説明では、カメラ１００において、変化発生イベントの出力条件を決定する例について説明した。しかし、例えば、検知領域２１２とマスク領域２１１の重複状態に基づいて、クライアント（表示端末２００、解析サーバ３００、録画サーバ４００）で変化発生イベントの出力条件を決定するようにしても良い。以下では、図５を用いて、表示端末２００が変化発生イベントの出力条件を決定する場合の処理シーケンスについて説明する。
【００４２】
表示端末２００は、ユーザによる入力に基づいて、マスク領域２１１の設定（ステップ５３１）、検知領域２１２の設定（ステップ５３２）、変化検知パラメータの設定（ステップ５３３）を行う。変化検知パラメータとは、例えば、検知領域２１２とマスク領域２１１が重複していないときの変化発生イベントの出力条件（Ｒｓの下限値と上限値）である。これらの設定に基づいて、変化発生イベントの出力条件（Ｔｍｉｎ，Ｔｍａｘ）が決定される（ステップ５３４）。なお、これらの設定のうち、ユーザが入力しない設定については、デフォルト値が用いられる。そして、表示端末２００は、マスク領域２１１の設定に基づいてマスク領域２１１の指定情報を生成するとともに（ステップ５４１）、検知領域２１２の設定に基づいて検知領域２１２の指定情報を生成する（ステップ５４２）。そして、表示端末２００は、生成されたマスク領域２１１の指定情報、検知領域２１２の指定情報、及び、変化発生イベントの出力条件をカメラ１００へ送信する（ステップ５３５）。
【００４３】
例えば、表示端末２００のユーザが、面積が１０００画素のマスク領域２１１と、２０００画素の検知領域２１２とを指定し、変化検知パラメータとして、Ｒｓの下限値を０．２、上限値を０．８に設定したとする。この場合において、検知領域２１２とマスク領域２１１が５００画素だけ重複していた場合、表示端末２００は、変化発生イベントの出力条件として、Ｔｍｉｎを０．１５、Ｔｍａｘを０．６に決定する。そして、表示端末２００は、決定されたＴｍｉｎ（＝０．１５）、Ｔｍａｘ（０．６）を、マスク領域２１１の指定情報、検知領域２１２の指定情報と共に、カメラ１００へ送信する（ステップ５３５）。
【００４４】
一方、カメラ１００は、ステップ５１１で取得した画像に対して、ステップ５１３で表示端末２００から受信したマスク領域２１１の指定情報に基づいてマスク処理を行う（ステップ５１２）。また、カメラ１００は、表示端末２００から受信した変化発生イベントの出力条件と、変化領域２１５の面積に基づいて変化の発生を検知し、変化発生イベントを各クライアントへ出力する（ステップ５１４）。
【００４５】
なお、本形態では、変化の発生の検知処理をカメラ１００が行う例について説明したが、各クライアントにおいて変化の発生を検知するようにしても良い。すなわち、あるクライアント（例えば表示端末２００）のユーザにより指定されたマスク領域の指定情報や、検知領域の指定情報や、変化検知パラメータに基づいて、他のクライアント（例えば解析サーバ３００）で変化発生イベントの検知処理を行うこともできる。この場合、カメラ１００は、表示端末２００からの指定に応じた検知領域の特定情報と、変化発生イベントの出力条件を解析サーバ３００へ送信する。このようにすることで、解析サーバ３００が、表示端末２００と同じ条件で、変化の発生を検知できる。
【００４６】
すなわち、解析サーバ３００は、カメラ１００からマスク処理済みの画像を取得すると共に、検知領域２１２の指定情報と、マスク領域２１１の指定情報とを取得する。そして、解析サーバ３００は、カメラ１００からのマスク処理済みの画像内の検知領域２１２における変化画素を検知する。そして、解析サーバ３００は、変化が検知された変化領域（変化画素の集まり）の面積と変化発生イベントの出力条件に応じて、変化発生イベントをカメラ１００及び他のクライアントへ出力する。上記のような解析サーバ３００の処理は、表示端末２００や録画サーバ４００で行うことも可能である。
【００４７】
＜第２の実施形態＞
次に第２の実施形態について、実施形態１との差異を中心に説明する。本実施形態では、マスク領域２１１と検知領域２１２の重複状態に基づいて、変化発生イベントの出力条件（Ｔｍａｘ，Ｔｍｉｎ）の取りうる範囲を決定する例について説明する。本形態のユーザは、決定された範囲内で、変化発生イベントの出力条件を設定することができる。
【００４８】
本形態における表示端末２００の処理について、図６を用いて説明する。なお、本形態では、変化発生イベントの出力条件の取りうる範囲を表示端末２００が決定する例を中心に説明するが、例えば、カメラ１００やほかのクライアントにおいて決定するようにしてもよい。
【００４９】
図６に示すように、画像２１０内には、マスク領域２１１、検知領域２１２が存在する。また、図６は、つまみ２３１及び２３４に対するユーザ操作に応じて、変化発生イベントの出力条件を指定できることを示している。例えば、表示端末２００のユーザが、つまみ２３１を左方向に移動させるとＴｍｉｎが小さくなり、つまみ２３４を右方向に移動させるとＴｍａｘが大きくなる。本形態では、目盛り２３２及び２３５の左端は０（０％）、右端は１（１００％）に対応している。また、目盛り２３２には、グレー表示された範囲２３３が存在し、目盛り２３５には、グレー表示された範囲２３６が存在する。グレー表示された範囲２３３は、指定できないＴｍｉｎの値の範囲を示しており、同様に、グレー表示された範囲２３６は、指定できないＴｍａｘの値の範囲を示している。
【００５０】
例えば、マスク領域２１１と検知領域２１２の重複領域２１３の面積が、検知領域２１２の面積の３０％に相当する場合において、Ｔｍｉｎが、検知領域２１２の面積の８０％に設定されてしまうと、変化の発生を検知できない。このように、マスク領域２１１と検知領域２１２の重複状態によっては、ユーザが指定したＴｍａｘとＴｍｉｎ（変化発生イベントの出力条件）による変化発生の検知が不可能になる場合がある。したがって、本形態の表示端末２００は、マスク領域２１１と検知領域２１２の重複状態に応じて、ＴｍａｘやＴｍｉｎの指定すべきでない範囲をグレー表示する。上記の例では、ＴｍｉｎとＴｍａｘが７０％を超えないように、７０％を超える範囲をグレー表示する。ただし、どちらか一方（例えばＴｍｉｎ）に関する目盛りのみで、グレー表示にすることも可能である。
【００５１】
また、本形態の表示端末２００は、例えば、Ｔｍｉｎの上限値を超える値がユーザにより指定された場合、Ｔｍｉｎを上限値に設定する。また、表示端末２００は、例えば、Ｔｍａｘの上限値を超える値がユーザにより指定された場合、Ｔｍａｘを上限値に設定する。すなわち、本形態の表示端末２００は、ユーザにより指定されたＴｍｉｎやＴｍａｘを、以下の（式５）、（式６）に従って変更する。
Ｉｆ（Ｔｍｉｎ≧１−Ｓｖ／Ｓｄ）Ｔｈｅｎ Ｔｍｉｎ＝１−Ｓｖ／Ｓｄ； （式５）
Ｉｆ（Ｔｍａｘ≧１−Ｓｖ／Ｓｄ）Ｔｈｅｎ Ｔｍａｘ＝１−Ｓｖ／Ｓｄ； （式６）
すなわち、（式５）によれば、重複領域２１３の面積Ｓｖと、検知領域２１２の面積Ｓｄとの比率Ｓｖ／Ｓｄが、例えば、０．７のときに、つまみ２３１の操作によりＴｍｉｎとして０．４が指定されると、Ｔｍｉｎが０．３に変更される。一方、Ｔｍｉｎとして０．２が指定されると、そのまま０．２となる。また、例えば、Ｓｖ／Ｓｄが０．４のときに、つまみ２３１の操作によりＴｍｉｎとして０．７が指定されるとＴｍｉｎが０．６に変更される。一方、Ｔｍｉｎとして０．５が指定されると、そのまま０．５となる。
【００５２】
また、（式６）によれば、Ｓｖ／Ｓｄが、例えば、０．７のときに、つまみ２３４の操作によりＴｍａｘとして０．４が指定されると、Ｔｍａｘが０．３に変更される。一方、Ｔｍａｘとして０．２が指定されると、そのまま０．２となる。また、例えば、Ｓｖ／Ｓｄが０．４のときに、つまみ２３４の操作によりＴｍａｘとして０．７が指定されるとＴｍａｘが０．６に変更される。一方、Ｔｍａｘとして０．５が指定されると、そのまま０．５となる。
【００５３】
つまり、本形態の表示端末２００は、変化発生イベントが出力される変化領域２１５の面積（変化画素の画素数）の上限値を、検知領域２１２の面積Ｓｄと、重複領域２１３の面積Ｓｖとの比率に基づいて決定する。
【００５４】
このように、本形態の表示端末２００は、ユーザにより指定されたＴｍａｘとＴｍｉｎの値を、マスク領域２１１と検知領域２１２の重複状態に応じて変更する。ただし、値を変更する形態に限らず、例えば、Ｔｍｉｎの上限値を超える値がユーザにより指定された場合、その指定操作を無効にするようにしてもよい。また、Ｔｍｉｎの上限値を超える位置につまみ２３１を動かせないようにすることも可能である。また、ＴｍａｘとＴｍｉｎが同じ値になることもありうるが、その場合は、表示端末２００の表示画面上に警告メッセージを表示するようにしても良い。
【００５５】
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像内の変化の発生を検知する画像処理装置に関する。
【背景技術】
【０００２】
街頭に設置されたカメラ映像をインターネット上で公開する場合、プライバシー保護を目的として、視野範囲の一部を非公開にしたいという要望がある。このような要望に対して、特許文献１には、非公開にしたい領域をマスク領域として塗り潰すマスク処理について記載されている。
【０００３】
また、特許文献２には、所定の輝度値以上の画素数が所定数以上、検知されると、視野妨害行為が発生したと判定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−３２８３３７号公報
【特許文献２】特開２０００−２２２６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、マスク処理された画像を用いると、変化発生イベントを検知できなくなる恐れがあった。
【０００６】
例えば、時間的に隣接する２つの画像フレームにおける検知領域の３０％以上の画素値が異なる場合に、変化が発生したと判定される設定において、検知領域の８０％がマスク領域として塗りつぶされていると、変化が発生したと判定されないことになってしまう。
【０００７】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、マスク処理された画像を用いた場合における変化発生イベントの検知処理の精度を向上させることである。
【課題を解決するための手段】
【０００８】
上記の問題点を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。すなわち、画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得手段と、前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように当該変化発生イベントの出力条件を決定する決定手段とを有する。
【発明の効果】
【０００９】
本発明によれば、マスク処理された画像を用いた場合における変化発生イベントの検知処理の精度を向上できる。
【図面の簡単な説明】
【００１０】
【図１】システム構成図
【図２】カメラのハードウェア構成図
【図３】マスク領域と検知領域の関係を説明するための図
【図４】変化の発生の検知処理を説明するためのフローチャート
【図５】システムの動作を説明するための図
【図６】変化の発生の検知処理のためのパラメータを設定する画面の例を示す図
【発明を実施するための形態】
【００１１】
＜第１の実施形態＞
本実施形態では、画像内において変化を検知する検知領域が、マスク領域と重複した場合と、重複していない場合とで、変化発生イベントの出力条件が異なるようにすることについて説明する。
【００１２】
図１は、本実施形態のシステム構成を示す図である。システムはネットワークカメラ１００（以下カメラ１００）、表示端末２００、解析サーバ３００、録画サーバ４００がネットワーク経由で接続されている。カメラ１００により、画像１０１が表示端末２００、解析サーバ３００、録画サーバ４００に配信される。カメラ１００はプライバシーマスク機能と、画像処理による変化発生の検知機能を持つ。各クライアントへ配信される画像１０１は、一部にマスク処理が施されている。
【００１３】
次にネットワークカメラ１００（カメラ１００）の構成を、図２を用いて説明する。カメラ１００は、撮像系１１０、画像取得部１３１、マスク処理部１３２、符号化部１３３、画像配信部１３４、変化検知部１３５、イベント出力部１３６、撮像系制御部１３７、雲台制御部１３８、雲台駆動系１２０、設定制御部１３９、通信部１４０を有する。
【００１４】
画像取得部１３１は、撮像系１１０を制御して画像を取得する。
マスク処理部１３２は、画像取得部１３１により取得された画像に対してマスク処理を行う。本形態では、マスク領域を黒塗りするマスク処理を中心に説明するが、例えば、マスク領域に対してぼかし、モザイクなどをしても良い。また、マスク処理部１３２は、マスク処理した画像を符号化部１３３と変化検知部１３５へそれぞれ出力する。
【００１５】
符号化部１３３は、マスク処理部１３２によってマスク処理された画像を符号化する。符号化方式には、例えば、モーションＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４などの方式がある。
【００１６】
画像配信部１３４は、符号化部１３３により符号化された画像を通信部１４０を介してネットワークへ配信する。配信された画像は表示端末２００、解析サーバ３００、録画サーバ４００により受信される。
【００１７】
変化検知部１３５は、マスク処理部１３２によってマスク処理された画像から変化の発生を検知するための検知処理を行う。本形態の変化検知部１３５は、時間的に隣接するフレームの比較に基づいて、変化の発生を検知する。変化の発生の検知方法の詳細は、図３を用いて後述する。変化検知部１３５は、変化の発生を検知すると、変化発生イベントをイベント出力部１３６へ通知する。
【００１８】
イベント出力部１３６は、変化検知部１３５からの通知に応じて、変化発生イベントを、通信部１４０を介してクライアント（表示端末２００、解析サーバ３００、録画サーバ４００）へ通知する。
【００１９】
通信部１４０は、画像配信部１３４からのマスク処理済みの画像、及び、イベント出力部１３６からの変化発生イベントを、ネットワークを介してクライアント（表示端末２００、解析サーバ３００、録画サーバ４００）へ送信する。また、通信部１４０は、クライアントから、カメラ制御情報やマスク設定情報を受信する。カメラ制御情報は、例えば、カメラの撮像方向やズーム倍率、フォーカスや絞り等を変更するための情報である。また、マスク設定情報は、マスク領域の追加、削除、又は、既存のマスク領域の位置やサイズの変更のための情報である。
【００２０】
設定制御部１３９は、通信部１４０から受信したカメラ制御情報を、その種類に応じて、撮像系制御部１３７、又は、雲台制御部１３８へ通知する。これにより、カメラのパン角やチルト角、カメラのズーム倍率や絞り、フォーカス等が変更される。
【００２１】
また、設定制御部１３９は、通信部１４０から受信したマスク設定情報を、変化検知部１３５とマスク処理部１３２へ通知する。これにより、マスク処理部１３２でマスク処理されるマスク領域の追加、削除、又は既存のマスク領域の位置やサイズの変更が行われる。また、変化検知部１３５における変化発生イベントの出力条件が決定される。
【００２２】
次に、本実施形態における変化発生イベントの出力条件の決定方法について、図３を用いて説明する。図３に示すように、カメラ１００により撮像された画像２１０内に、マスク領域２１１、検知領域２１２が存在する。なお、マスク領域２１１と検知領域２１２は、重複領域２１３において重複している。
【００２３】
まず、マスク領域２１１が無い場合における変化発生の検知方法について説明する。本形態の変化検知部１３５は、時間的に隣接するフレームの検知領域２１２の画素値を比較し、その違いが所定値以上の画素値を、変化画素として特定する。そして、変化検知部１３５は、検知領域２１２の面積に対する、検知領域２１２内における変化画素数（変化領域２１５の面積）の割合が所定の割合以上である場合に、変化が発生したと判定する。すなわち、検知領域２１２の面積をＳｄ、変化領域２１５（検知領域２１２内における変化画素の領域）の面積をＳｍとすると、Ｓｍ／Ｓｄ（＝変化量Ｒｓ）が所定値以上である場合に、変化が発生したと判定される。つまり、Ｒｓが所定の下限値Ｔｍｉｎ以上の場合に、変化が発生したと判定される。なお、変化量Ｒｓの値に上限値を設けることも可能である。この場合、変化量ＲｓがＴｍｉｎ以上Ｔｍａｘ未満の場合に、変化が発生したと判定される。なおＴｍｉｎとＴｍａｘが取りうる値の範囲は、いずれも０から１までの実数であるが、クライアントの表示画面上では、例えば百分率（０％から１００％）で表示させる。
すなわち、
Ｉｆ（Ｔｍｉｎ≦Ｒｓ ＡＮＤ Ｒｓ≦Ｔｍａｘ）Ｔｈｅｎ変化あり； （式１）
Ｒｓ＝Ｓｍ／Ｓｄ （式２）
Ｓｍ： 変化領域２１５の面積
Ｓｄ： 検知領域２１２の面積
Ｔｍｉｎ：下限しきい値、Ｔｍａｘ：上限しきい値
なお、通常はＴｍｉｎ≦Ｔｍａｘである。また、Ｔｍｉｎのデフォルト値は例えば０．５、Ｔｍａｘのデフォルト値は例えば１にすることができる。この場合において、例えば、検知領域２１２の面積（画素数）が、１０００画素で、変化領域２１５の面積（検知領域２１２内の変化画素の画素数）が、６００画素の場合、変化が発生したと判定される。一方、変化領域２１５の面積が４００画素の場合、変化が発生していないと判定される。また、例えば、Ｔｍｉｎを０に設定すれば、検知領域２１２内における変化画素数が１画素であっても、変化が発生したと判定される。
【００２４】
ただし変化の発生の検知方法は、上記の方法に限らない。ほかの方法として、例えば、検知領域２１２の面積に関わらず、検知領域２１２内における変化画素の画素数が、所定の画素数以上の場合に、変化が発生したと判定するようにしても良い。また、隣接フレーム間の差分による方法のほかに、事前に取得した基準画像と、撮像画像との比較に基づいて特定した変化画素に基づいて変化の発生を検知することも可能である。この場合に用いる基準画像は、画像内に動きがないときに自動的に更新することも可能である。
【００２５】
また、輝度値の比較により変化画素を特定しても良い。また、画素ごとではなく、ブロックごとに変化画素を特定しても良い。また、エッジ成分などの特徴量用いて特定された変化画素に基づいて変化の発生を検知することも可能である。変化検知部１３５による変化検知のための方法やパラメータは、クライアント（表示端末２００、解析サーバ３００、録画サーバ４００）を用いて設定及び変更できる。
【００２６】
次に、検知領域２１２とマスク領域２１１とが重複する場合における変化発生の検知処理について説明する。本形態の変化検知部１３５は、検知領域２１２とマスク領域２１１とが重複する場合は、重複していない場合よりも、ＴｍｉｎとＴｍａｘの値を小さくする。ＴｍｉｎとＴｍａｘを小さくするということは、変化発生イベントが出力される変化領域２１５の面積の下限値と上限値が小さくなることを意味する。ただし、上限値と下限値のどちらか一方（例えばＴｍｉｎ）のみを小さくしてもよい。
【００２７】
すなわち、変化検知部１３５は、検知領域２１２とマスク領域２１１とが重複する場合、重複しない場合よりも、変化領域２１５が小さくても変化発生イベントが出力されるように、変化発生イベントの出力条件を決定する。なお、変化領域２１５は、検知領域２１２内において特定された変化画素の画素数に対応する。
【００２８】
また、本形態の変化検知部１３５は、検知領域２１２とマスク領域２１１との重複領域２１３の面積が大きいほど、ＴｍｉｎとＴｍａｘの値を小さくする。すなわち、変化検知部１３５は、検知領域２１２とマスク領域２１１との重複面積Ｓｖが、第１の重複面積の場合、第１の重複面積よりも小さい第２の重複面積の場合よりも、変化発生イベントが出力される変化領域２１５の面積の上限値と下限値を小さくする。なお、変化検知部１３５は、上限値と下限値のうちどちらか一方を小さくすることも可能である。このようにして変化検知部１３５は、検知領域２１２とマスク領域２１１の重複面積の大きさに応じて、変化発生イベントの出力条件を決定する。
【００２９】
より具体的には、変化検知部１３５は、検知領域２１２とマスク領域２１１とが重複した場合、重複する前におけるＴｍｉｎとＴｍａｘを、以下のように変更する。
Ｔｍｉｎ＝Ｔｍｉｎ ＊（Ｓｄ−Ｓｖ）／Ｓｄ； （式３）
Ｔｍａｘ＝Ｔｍａｘ ＊（Ｓｄ−Ｓｖ）／Ｓｄ； （式４）
【００３０】
次に図４を用いて、ネットワークカメラ１００（カメラ１００）による変化発生の検知処理の流れについて説明する。本形態のカメラ１００は、図４の処理を、撮像開始の指示を受けたときに開始する。また、カメラ１００は、図４にかかる処理を実行するためのプログラムを記憶した記憶媒体から当該プログラムをＣＰＵで読み出して実行することにより、図４の処理を実現する。ただし、図４の処理に少なくとも一部を専用のハードウェアによって行うようにすることも可能である。
【００３１】
カメラ１００の変化検知部１３５は、連続合致回数Ｃを初期化する（Ｓ４０１）。連続合致回数Ｃは、変化量Ｒｓが、連続してＴｍｉｎ以上Ｔｍａｘ未満になった回数を示している。本形態の変化検知部１３５は、連続合致回数Ｃが閾値を超えると、変化が発生したと判定し、変化発生イベントを出力する。このようにすることで、瞬間的な雑音により変化が誤検知されることを防止できる。ただし、連続合致回数Ｃを１に設定することも可能である。
【００３２】
画像取得部１３１は、撮像系１１０から画像を取得する（Ｓ４０２）。また、Ｓ４０２（取得手順）において、変化検知部１３５は、検知領域２１２の指定情報と、マスク領域２１１の指定情報を取得する。ここで、検知領域２１２の指定情報は、Ｓ４０２で取得された画像内の検知領域２１２を特定するための情報である。また、マスク領域２１１は、Ｓ４０２で取得された画像内においてマスク処理する領域（マスク領域）を特定するための情報である。なお、検知領域２１２、マスク領域２１１の指定情報は、Ｓ４０２で定期的に取得するようにしても、変化したときのみ取得するようにしても良い。
【００３３】
また、例えば、カメラ１００の撮像画像を表示している表示端末２００のユーザにより、マスク領域が座標情報で指定された場合、変化検知部１３５は、当該指定に応じた情報を、マスク領域の指定情報として取得する。また、例えば、ある特定の文字やナンバーが映っている領域をマスク処理することが指定された場合、変化検知部１３５は、当該指定に応じた情報と、Ｓ４０２において画像取得部１３１が取得した画像との比較結果に基づいて、マスク領域の指定情報を取得する。
【００３４】
マスク処理部１３２は、Ｓ４０２で取得された画像に対して、マスク領域の指定情報を用いてマスク処理を行う（Ｓ４０３）。さらに、変化検知部１３５は、Ｓ４０３でマスク処理された画像であって、時間的に隣接するフレームの検知領域２１２を比較して、変化領域２１５の面積（検知領域２１２内における変化画素の画素数）を取得する。変化検知部１３５は、取得された変化領域２１５の面積と、検知領域２１２の面積との割合（変化量Ｒｓ）を取得する。
【００３５】
そして、変化検知部１３５は、変化量Ｒｓが、Ｔｍｉｎ以上Ｔｍａｘ未満であるか判定する（Ｓ４０６、Ｓ４０７）。なお、変化検知部１３５は、Ｓ４０６、Ｓ４０７（決定手順）において、変化発生イベントの出力条件（ＴｍｉｎとＴｍａｘ）を、検知領域２１２とマスク領域２１１の重複状態に基づいて決定する。すなわち、変化検知部１３５は、検知領域２１２とマスク領域２１１が重複する場合、重複しない場合よりも、検知領域２１２内の変化領域２１５が小さくても変化発生イベントが出力されるように変化発生イベントの出力条件を決定する。
【００３６】
なお、変化発生イベントの出力条件（ＴｍｉｎとＴｍａｘ）は、Ｓ４０６とＳ４０７のたびに決定することも可能であるが、１度決定した後は、検知領域２１２とマスク領域２１１のいずれかが変化したときのみ、再度計算して決定するようにしてもよい。
【００３７】
変化検知部１３５は、変化量Ｒｓが、Ｔｍｉｎ以上Ｔｍａｘ未満であると判定した場合、連続合致回数Ｃに１を加える。一方、変化量Ｒｓが、Ｔｍｉｎ以上Ｔｍａｘ未満でないと判定された場合、連続合致回数Ｃを０にリセットする（Ｓ４０９）。
【００３８】
そして、変化検知部１３５は、現在の連続合致回数が閾値Ｔｃ以上であるか否かを判定する（Ｓ４１０）。連続合致回数が閾値Ｔｃ以上であると判定されると、変化検知部１３５は、イベント出力部１３６へ変化発生イベントを通知する（Ｓ４１１）。すなわち、変化検知部１３５は、Ｓ４０６、Ｓ４０７で決定された変化発生イベントの出力条件（Ｔｍａｘ，Ｔｍｉｎ）に応じて、変化発生イベントを出力する。
【００３９】
変化検知部１３５から変化発生イベントが通知されたイベント出力部１３６は、変化発生イベントをネットワークを介してクライアント（表示端末２００、解析サーバ３００、録画サーバ４００）へ出力する。変化発生イベントは、各クライアントにより受信され、変化の発生時刻が記録される。また、例えば、変化発生イベントに応じて、クライアントでアラームを鳴らしたり警告メッセージを表示したりしても良い。
【００４０】
一方、Ｓ４１０において、連続合致回数が閾値Ｔｃ未満であると判定されると、Ｓ４０２に戻る。変化検知部１３５は、Ｓ４１１でイベント出力部１３６に対して変化発生イベントを通知すると、その後、図４の処理を終了するか否かを判定し（Ｓ４１２）、終了しないと判定された場合は、Ｓ４０１に戻る。一方、Ｓ４１２で処理を終了すると判定された場合は、図４の処理を終了する。
【００４１】
次に、図５を用いて、各装置の処理シーケンスについて説明する。なお、上記の説明では、カメラ１００において、変化発生イベントの出力条件を決定する例について説明した。しかし、例えば、検知領域２１２とマスク領域２１１の重複状態に基づいて、クライアント（表示端末２００、解析サーバ３００、録画サーバ４００）で変化発生イベントの出力条件を決定するようにしても良い。以下では、図５を用いて、表示端末２００が変化発生イベントの出力条件を決定する場合の処理シーケンスについて説明する。
【００４２】
表示端末２００は、ユーザによる入力に基づいて、マスク領域２１１の設定（ステップ５３１）、検知領域２１２の設定（ステップ５３２）、変化検知パラメータの設定（ステップ５３３）を行う。変化検知パラメータとは、例えば、検知領域２１２とマスク領域２１１が重複していないときの変化発生イベントの出力条件（Ｒｓの下限値と上限値）である。これらの設定に基づいて、変化発生イベントの出力条件（Ｔｍｉｎ，Ｔｍａｘ）が決定される（ステップ５３４）。なお、これらの設定のうち、ユーザが入力しない設定については、デフォルト値が用いられる。そして、表示端末２００は、マスク領域２１１の設定に基づいてマスク領域２１１の指定情報を生成するとともに（ステップ５４１）、検知領域２１２の設定に基づいて検知領域２１２の指定情報を生成する（ステップ５４２）。そして、表示端末２００は、生成されたマスク領域２１１の指定情報、検知領域２１２の指定情報、及び、変化発生イベントの出力条件をカメラ１００へ送信する（ステップ５３５）。
【００４３】
例えば、表示端末２００のユーザが、面積が１０００画素のマスク領域２１１と、２０００画素の検知領域２１２とを指定し、変化検知パラメータとして、Ｒｓの下限値を０．２、上限値を０．８に設定したとする。この場合において、検知領域２１２とマスク領域２１１が５００画素だけ重複していた場合、表示端末２００は、変化発生イベントの出力条件として、Ｔｍｉｎを０．１５、Ｔｍａｘを０．６に決定する。そして、表示端末２００は、決定されたＴｍｉｎ（＝０．１５）、Ｔｍａｘ（０．６）を、マスク領域２１１の指定情報、検知領域２１２の指定情報と共に、カメラ１００へ送信する（ステップ５３５）。
【００４４】
一方、カメラ１００は、ステップ５１１で取得した画像に対して、ステップ５１３で表示端末２００から受信したマスク領域２１１の指定情報に基づいてマスク処理を行う（ステップ５１２）。また、カメラ１００は、表示端末２００から受信した変化発生イベントの出力条件と、変化領域２１５の面積に基づいて変化の発生を検知し、変化発生イベントを各クライアントへ出力する（ステップ５１４）。
【００４５】
なお、本形態では、変化の発生の検知処理をカメラ１００が行う例について説明したが、各クライアントにおいて変化の発生を検知するようにしても良い。すなわち、あるクライアント（例えば表示端末２００）のユーザにより指定されたマスク領域の指定情報や、検知領域の指定情報や、変化検知パラメータに基づいて、他のクライアント（例えば解析サーバ３００）で変化発生イベントの検知処理を行うこともできる。この場合、カメラ１００は、表示端末２００からの指定に応じた検知領域の特定情報と、変化発生イベントの出力条件を解析サーバ３００へ送信する。このようにすることで、解析サーバ３００が、表示端末２００と同じ条件で、変化の発生を検知できる。
【００４６】
すなわち、解析サーバ３００は、カメラ１００からマスク処理済みの画像を取得すると共に、検知領域２１２の指定情報と、マスク領域２１１の指定情報とを取得する。そして、解析サーバ３００は、カメラ１００からのマスク処理済みの画像内の検知領域２１２における変化画素を検知する。そして、解析サーバ３００は、変化が検知された変化領域（変化画素の集まり）の面積と変化発生イベントの出力条件に応じて、変化発生イベントをカメラ１００及び他のクライアントへ出力する。上記のような解析サーバ３００の処理は、表示端末２００や録画サーバ４００で行うことも可能である。
【００４７】
＜第２の実施形態＞
次に第２の実施形態について、実施形態１との差異を中心に説明する。本実施形態では、マスク領域２１１と検知領域２１２の重複状態に基づいて、変化発生イベントの出力条件（Ｔｍａｘ，Ｔｍｉｎ）の取りうる範囲を決定する例について説明する。本形態のユーザは、決定された範囲内で、変化発生イベントの出力条件を設定することができる。
【００４８】
本形態における表示端末２００の処理について、図６を用いて説明する。なお、本形態では、変化発生イベントの出力条件の取りうる範囲を表示端末２００が決定する例を中心に説明するが、例えば、カメラ１００やほかのクライアントにおいて決定するようにしてもよい。
【００４９】
図６に示すように、画像２１０内には、マスク領域２１１、検知領域２１２が存在する。また、図６は、つまみ２３１及び２３４に対するユーザ操作に応じて、変化発生イベントの出力条件を指定できることを示している。例えば、表示端末２００のユーザが、つまみ２３１を左方向に移動させるとＴｍｉｎが小さくなり、つまみ２３４を右方向に移動させるとＴｍａｘが大きくなる。本形態では、目盛り２３２及び２３５の左端は０（０％）、右端は１（１００％）に対応している。また、目盛り２３２には、グレー表示された範囲２３３が存在し、目盛り２３５には、グレー表示された範囲２３６が存在する。グレー表示された範囲２３３は、指定できないＴｍｉｎの値の範囲を示しており、同様に、グレー表示された範囲２３６は、指定できないＴｍａｘの値の範囲を示している。
【００５０】
例えば、マスク領域２１１と検知領域２１２の重複領域２１３の面積が、検知領域２１２の面積の３０％に相当する場合において、Ｔｍｉｎが、検知領域２１２の面積の８０％に設定されてしまうと、変化の発生を検知できない。このように、マスク領域２１１と検知領域２１２の重複状態によっては、ユーザが指定したＴｍａｘとＴｍｉｎ（変化発生イベントの出力条件）による変化発生の検知が不可能になる場合がある。したがって、本形態の表示端末２００は、マスク領域２１１と検知領域２１２の重複状態に応じて、ＴｍａｘやＴｍｉｎの指定すべきでない範囲をグレー表示する。上記の例では、ＴｍｉｎとＴｍａｘが７０％を超えないように、７０％を超える範囲をグレー表示する。ただし、どちらか一方（例えばＴｍｉｎ）に関する目盛りのみで、グレー表示にすることも可能である。
【００５１】
また、本形態の表示端末２００は、例えば、Ｔｍｉｎの上限値を超える値がユーザにより指定された場合、Ｔｍｉｎを上限値に設定する。また、表示端末２００は、例えば、Ｔｍａｘの上限値を超える値がユーザにより指定された場合、Ｔｍａｘを上限値に設定する。すなわち、本形態の表示端末２００は、ユーザにより指定されたＴｍｉｎやＴｍａｘを、以下の（式５）、（式６）に従って変更する。
Ｉｆ（Ｔｍｉｎ≧１−Ｓｖ／Ｓｄ）Ｔｈｅｎ Ｔｍｉｎ＝１−Ｓｖ／Ｓｄ； （式５）
Ｉｆ（Ｔｍａｘ≧１−Ｓｖ／Ｓｄ）Ｔｈｅｎ Ｔｍａｘ＝１−Ｓｖ／Ｓｄ； （式６）
すなわち、（式５）によれば、重複領域２１３の面積Ｓｖと、検知領域２１２の面積Ｓｄとの比率Ｓｖ／Ｓｄが、例えば、０．７のときに、つまみ２３１の操作によりＴｍｉｎとして０．４が指定されると、Ｔｍｉｎが０．３に変更される。一方、Ｔｍｉｎとして０．２が指定されると、そのまま０．２となる。また、例えば、Ｓｖ／Ｓｄが０．４のときに、つまみ２３１の操作によりＴｍｉｎとして０．７が指定されるとＴｍｉｎが０．６に変更される。一方、Ｔｍｉｎとして０．５が指定されると、そのまま０．５となる。
【００５２】
また、（式６）によれば、Ｓｖ／Ｓｄが、例えば、０．７のときに、つまみ２３４の操作によりＴｍａｘとして０．４が指定されると、Ｔｍａｘが０．３に変更される。一方、Ｔｍａｘとして０．２が指定されると、そのまま０．２となる。また、例えば、Ｓｖ／Ｓｄが０．４のときに、つまみ２３４の操作によりＴｍａｘとして０．７が指定されるとＴｍａｘが０．６に変更される。一方、Ｔｍａｘとして０．５が指定されると、そのまま０．５となる。
【００５３】
つまり、本形態の表示端末２００は、変化発生イベントが出力される変化領域２１５の面積（変化画素の画素数）の上限値を、検知領域２１２の面積Ｓｄと、重複領域２１３の面積Ｓｖとの比率に基づいて決定する。
【００５４】
このように、本形態の表示端末２００は、ユーザにより指定されたＴｍａｘとＴｍｉｎの値を、マスク領域２１１と検知領域２１２の重複状態に応じて変更する。ただし、値を変更する形態に限らず、例えば、Ｔｍｉｎの上限値を超える値がユーザにより指定された場合、その指定操作を無効にするようにしてもよい。また、Ｔｍｉｎの上限値を超える位置につまみ２３１を動かせないようにすることも可能である。また、ＴｍａｘとＴｍｉｎが同じ値になることもありうるが、その場合は、表示端末２００の表示画面上に警告メッセージを表示するようにしても良い。
【００５５】
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得手段と、
前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように当該変化発生イベントの出力条件を決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記変化発生イベントが出力される変化領域の面積の上限値、及び、下限値が小さくなるように前記変化発生イベントの出力条件を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記検知領域と前記マスク領域との重複面積が第１の重複面積の場合、前記第１の重複面積よりも小さい第２の重複面積の場合よりも、前記検知領域内において検知された変化領域が小さくても前記変化発生イベントが出力されるように前記変化発生イベントの出力条件を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記検知領域と前記マスク領域との重複面積が第１の重複面積の場合、前記第１の重複面積よりも小さい第２の重複面積の場合よりも、前記変化発生イベントが出力される変化領域の面積の上限値、及び、下限値が小さくなるように前記変化発生イベントの出力条件を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
撮像手段と、前記撮像手段の撮像により得られた画像内の検知領域における前記変化を検知する検知手段と、
前記検知手段により前記変化が検知された変化領域の面積と前記決定手段により決定された変化発生イベントの出力条件に応じて、前記変化発生イベントを出力する出力手段とを有することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、撮像手段を有する撮像装置から前記マスク領域のマスク処理済みの画像を取得すると共に、前記検知領域の指定情報と、前記マスク領域の指定情報とを取得し、前記撮像装置からのマスク処理済みの画像内の検知領域における前記変化を検知する検知手段と、
前記検知手段により前記変化が検知された変化領域の面積と前記決定手段により決定された変化発生イベントの出力条件に応じて、前記変化発生イベントを出力する出力手段とを有することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記変化発生イベントが出力される変化領域の面積の上限値を、前記検知領域の面積と、前記検知領域とマスク領域の重複領域の面積との比率に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
画像処理装置が行う画像処理方法であって、
画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得工程と、
前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように当該変化発生イベントの出力条件を決定する決定工程とを有することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得手順と、
前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように、当該変化発生イベントの出力条件を決定する決定手順とを実行させることを特徴とするプログラム。
【請求項１】
画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得手段と、
前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように当該変化発生イベントの出力条件を決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記変化発生イベントが出力される変化領域の面積の上限値、及び、下限値が小さくなるように前記変化発生イベントの出力条件を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記検知領域と前記マスク領域との重複面積が第１の重複面積の場合、前記第１の重複面積よりも小さい第２の重複面積の場合よりも、前記検知領域内において検知された変化領域が小さくても前記変化発生イベントが出力されるように前記変化発生イベントの出力条件を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記検知領域と前記マスク領域との重複面積が第１の重複面積の場合、前記第１の重複面積よりも小さい第２の重複面積の場合よりも、前記変化発生イベントが出力される変化領域の面積の上限値、及び、下限値が小さくなるように前記変化発生イベントの出力条件を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
撮像手段と、前記撮像手段の撮像により得られた画像内の検知領域における前記変化を検知する検知手段と、
前記検知手段により前記変化が検知された変化領域の面積と前記決定手段により決定された変化発生イベントの出力条件に応じて、前記変化発生イベントを出力する出力手段とを有することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、撮像手段を有する撮像装置から前記マスク領域のマスク処理済みの画像を取得すると共に、前記検知領域の指定情報と、前記マスク領域の指定情報とを取得し、前記撮像装置からのマスク処理済みの画像内の検知領域における前記変化を検知する検知手段と、
前記検知手段により前記変化が検知された変化領域の面積と前記決定手段により決定された変化発生イベントの出力条件に応じて、前記変化発生イベントを出力する出力手段とを有することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記変化発生イベントが出力される変化領域の面積の上限値を、前記検知領域の面積と、前記検知領域とマスク領域の重複領域の面積との比率に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
画像処理装置が行う画像処理方法であって、
画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得工程と、
前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように当該変化発生イベントの出力条件を決定する決定工程とを有することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
画像内において変化を検知する検知領域の指定情報と、前記画像内のマスク領域の指定情報とを取得する取得手順と、
前記検知領域と前記マスク領域が重複する場合、前記検知領域と前記マスク領域が重複しない場合よりも、前記検知領域内において検知された変化領域が小さくても変化発生イベントが出力されるように、当該変化発生イベントの出力条件を決定する決定手順とを実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１６０９７２（Ｐ２０１２−１６０９７２Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−２０１３９（Ｐ２０１１−２０１３９）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]