画像処理装置
【課題】監視カメラを用いた映像監視システムにおいて、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない画像処理装置を提供する。
【解決手段】監視カメラの映像信号から動き領域を検出し、動き領域とプライバシー保護のためのマスク領域との相対位置関係を判定し、動き領域が無いか又は動き領域がマスク領域外のとき、若しくは動き領域が全部マスク領域内のときは、そのままマスク領域をマスキングするようにし、動き領域の一部がマスク領域に入っている場合には、その一部の領域をマスク領域から除くようにマスキングすることで動き領域の全部の画像が表示可能となる。これにより監視機能が損なわれることのない画像処理装置が提供できる。
【解決手段】監視カメラの映像信号から動き領域を検出し、動き領域とプライバシー保護のためのマスク領域との相対位置関係を判定し、動き領域が無いか又は動き領域がマスク領域外のとき、若しくは動き領域が全部マスク領域内のときは、そのままマスク領域をマスキングするようにし、動き領域の一部がマスク領域に入っている場合には、その一部の領域をマスク領域から除くようにマスキングすることで動き領域の全部の画像が表示可能となる。これにより監視機能が損なわれることのない画像処理装置が提供できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に係り、特に監視カメラを用いた映像監視システムにおけるプライバシー保護のためのマスキングに関するものである。
【背景技術】
【０００２】
近年、店舗、集合住宅、道路、商店街等では、セキュリティを確保する手段として監視カメラを用いた映像監視システムが利用されている。かかる映像監視システムは、監視カメラが撮像した映像情報をモニタリングしたり記録する手段を備え、非常時の速やかな対処や事後の問題解決を助けるという効果をもたらしている。
【０００３】
しかしながら、上記の映像監視システムは、通常、監視カメラからの映像情報をそのまま表示したり記録するものであり、監視領域内に存在するプライバシーの保護すべき映像情報を除外することができない問題を有していた。
このような問題に対して、従来から、監視カメラからの映像情報にプライバシー保護領域を設定し、該保護領域をマスクして保護すべき映像情報を画面に表示しないよう信号処理した後に外部に出力する技術が多数提案されている（例えば、下記特許文献１参照）。
【０００４】
一方、不審者の侵入を監視する目的の映像監視システムには、常時画面を観察せずとも、あるいは常時連続記録せずとも良いように、不審者の侵入で画面内の一部に変化があった場合にのみ警報を出したり記録を開始する機能を持つものがある。このような映像監視システムでは、不審者侵入の検出に画像処理による動き検出技術が用いられている。
下記特許文献２は、本特許出願人により提案されたもので、周辺光量の変動の影響を受けないように改良された動き検出技術の開示例である。
【特許文献１】特開２００３−６１０７６号公報
【特許文献２】特開２００４−１５７９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１には監視カメラからの映像情報にプライバシー保護領域を設定し、該保護領域をマスクして保護すべき情報を画面に表示しない技術が開示されているが、この場合には、前記保護領域内の映像情報は、たとえ保護すべきでない画像や保護する必要のない画像であっても、すべてマスクされてしまうという問題がある。
すなわち、従来のマスク手段では、画面上のマスクされる領域内に、例えば監視の必要な不審者の画像が入り込んだときには、この不審者の画像がマスクされて見えなくなるという不都合が発生した。
【０００６】
本発明は、このような従来の問題点に鑑みてなされたものであり、その目的は、監視カメラを用いた映像監視システムにおいて、撮像した映像情報にプライバシー保護領域を設定し、該保護領域をマスクして保護すべき情報を画面に表示しないようにすると共に、保護すべきでない画像や保護する必要のない画像が該保護領域内に入り込んだ場合に、これらの画像がマスクされないようにする信号処理手段を有する画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決する手段として以下の（１）（２）（３）に記載の構成からなる。すなわち、
（１）監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像画像の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合或いは前記動き指定領域が前記マスク指定領域内に収まっている場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、 を備えたことを特徴とする画像処理装置。
（２）監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、 を備えたことを特徴とする画像処理装置。
（３）監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義して、メモリに格納させる動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き指定領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記動き領域の連続性がないときに、前記マスク指定領域内に収まった状態の前記動き領域が停止したか否かの判定を行う停止判定手段と、
前記停止判定手段で前記動き指定領域が停止していると判定された場合に、前記動き指定領域が前記マスク指定領域内で停止した状態からの時間を計測するタイマーと、
前記タイマーで計測された時間が所定時間経過するまで、前記マスク判定手段に前記動き領域定義手段のメモリに格納されている前記動き指定領域の情報を出力させる第１制御手段と、
前記所定時間以内に前記動き指定領域が停止した状態から再度動き出した場合に、前記マスク判定手段に前記動き方向判定手段で判定された前記動き指定領域を除いて前記マスク指定領域をマスキングさせるマスク制御信号を生成させる第２制御手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、 を備えたことを特徴とする画像処理装置である。
【発明の効果】
【０００８】
請求項１に係る本発明の第１の効果は、撮像画像の中の動き領域を検出する動き検出手段と、動き検出手段で検出された動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、予め定められたマスク領域設定情報に基づき、撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、動き指定領域がマスク指定領域に重なっていない場合或いは動き指定領域がマスク指定領域内に収まっている場合には、マスク指定領域をマスキングするマスク制御信号を生成し、動き指定領域がマスク指定領域と一部重なっている場合には、マスク指定領域内の動き領域を除いてマスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、マスク制御信号により、マスク指定領域をマスキングするマスク処理手段とを備えた格別な構成があるので、保護すべきでない画像や保護する必要のない画像の一部がマスク領域内に入り込んだ場合に、これらの画像がマスクされずに画像表示できるので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【０００９】
又、請求項２に係る本発明の第２の効果は、前記構成に加え、動き領域の位置とこの動き領域の直前の位置とから動き領域の動き方向の連続性を判定する動き方向判定手段と、動き領域がマスク指定領域内にすべて収まっている場合には、動き方向判定手段で判定された動き方向の連続性の判定結果により、連続性があるときには、マスク指定領域内の前記動き領域を除いてマスク指定領域をマスキングし、連続性がないときには、マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段とを備えた格別な構成があるので、保護すべきでない画像や保護する必要のない画像の全部がマスク領域内にすべて入り込んだ場合においても、これらの画像がマスクされずに画像表示できるので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【００１０】
又、請求項３に係る本発明の第３の効果は、更に前記構成に加え、動き指定領域をメモリに格納させる動き領域定義手段と、マスク指定領域内に収まった状態の動き領域が停止したか否かの判定を行う停止判定手段と、停止判定手段で前記動き指定領域が停止していると判定された場合に、動き指定領域がマスク指定領域内で停止した状態からの時間を計測するタイマーと、タイマーで計測された時間が所定時間経過するまで、マスク判定手段に動き領域定義手段のメモリに格納されている動き指定領域の情報を出力させる第１制御手段と、所定時間以内に動き指定領域が停止した状態から再度動き出した場合に、マスク判定手段に動き方向判定手段で判定された動き指定領域を除いてマスク指定領域をマスキングさせるマスク制御信号を生成させる第２制御手段とを備えた格別な構成があるので、保護すべきでない画像や保護する必要のない画像の全部がマスク領域内にすべて入り込み、動きを停止した場合においても、これらの画像がマスクされずに画像表示できるので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について図面と共に説明する。
図１は本発明に係る画像処理装置の第１の実施例を示すブロック図、図２は第１の実施例の動作を説明する画面表示例を示した図で、（ａ）はマスク処理をしない画面、（ｂ）は保護領域をマスク処理した画面、（ｃ）は従来のマスク処理による画面、（ｄ）は第１の実施例によるマスク処理画面を示す図であり、図３は第１の実施例におけるマスクキング領域を説明するための図である。
又、図４は本発明に係る画像処理装置の第２の実施例を示すブロック図、図５は第２の実施例の動作を説明する画面表示例を示した図で、（ａ）はマスク処理をしない画面、（ｂ）は保護領域とその上下を含めて大きくマスク処理した画面、（ｃ）は動き領域の移動を説明する図、（ｄ）は第２の実施例によるマスク処理画面を示す図である。
更に、図６は本発明に係る画像処理装置の第３の実施例を示すブロック図、図７は第３の実施例の動作を説明する画面表示例を示した図であり、（ａ）は人物が停止したためにマスクされる従来の不具合を説明する図、（ｂ）は第３の実施例によるマスク処理により人物が表示される画面を示す図である。
【実施例１】
【００１２】
本発明に係る第１の実施例における画像処理装置は、プライバシー保護領域の画像が比較的小さい場合に用いて好適な構成である。まず全体構成と動作の概略を説明する。
【００１３】
図１において、図示しない監視カメラから入来した入力画像信号１は、マスク処理回路２と動き検出回路４に入力される。マスク処理回路２は、後述のマスク判定回路６からのマスク制御信号により、入力画像信号１に後述する格別のマスク処理を施して出力画像信号３として外部に出力する。なお、外部に出力された出力画像信号３は、図示しないモニターテレビに表示して監視したり、ビデオテープレコーダ等の記録再生装置で記録保存される。
【００１４】
動き検出回路４では、入力された入力画像信号１から動きがあった領域の検出を行う。このときに用いる動き検出技術は、前記特許文献２（６〜８頁（段落００１８〜００３０）、図３〜６）に記載のアルゴリズムからなる検出技術である。
ここで、特許文献２に記載の動き検出技術の仕組みを簡単に説明する。この動き検出は、監視カメラからの入力画像信号をフレーム表示画面上で四角形の小面積に一様に細分化し、細分化された一つ一つの小面積の平均輝度レベルを求めて、この平均輝度と同じ個所での所定時間前の平均輝度とを比較し、この比較結果から小面積部分の画像信号に変化が有ったかどうかを検出するもので、この変化の有った小面積部分がひとかたまりの群を成しているときに、その領域は人物等が動いている画像情報であると判定するものである。
【００１５】
このようにして、動き検出回路４で入力画像信号１に動きが検出されたならば、次に動き領域定義回路５において、動きの検出された小面積部分が指定したひとかたまりの群を成していると判定されたときに、このひとかたまりの動きの有る領域は監視対象物と定義してフレーム表示画面上の位置情報を得る。次いでこの動き領域位置情報は次のマスク判定回路６に供給される。
【００１６】
マスク判定回路６には、別途マスク領域設定回路８において、外部から供給されたマスク領域設定情報９を受けて作成された、フレーム表示画面上でプライバシーを保護するためのマスク領域位置情報が入力されている。
【００１７】
マスク判定回路６は、入力された動き領域位置情報とマスク領域位置情報とから、入力画像信号１内の動き画像部分の表示を制御するマスク制御信号を作成してマスク処理回路２に供給するものである。
次に、上記マスク制御信号の作成方法を説明する。
マスク制御信号は、動き領域位置情報とマスク領域位置情報との相対位置関係から、次の３つの状態を判定してマスク制御信号を作成する。
【００１８】
第１の状態は、動き領域とマスク領域が重なっていない場合である。この状態では、マスク領域位置情報をそのままマスク制御信号として出力する。したがって、動き領域の画像はそのまま画面に表示される。
【００１９】
第２の状態は、動き領域がすべてマスク領域の範囲に入っている場合である。この状態も前記第１の状態と同様にマスク領域位置情報をそのままマスク制御信号として出力する。詳しくは後述するが、この状態は、マスク領域の中で画像が動いている場合であって、プライバシーを保護すべき画像が動いているのでマスクする必要がある。したがって、動き領域は画面に表示されない。
【００２０】
第３の状態は、動き領域の一部分がマスク領域と重なっている場合である。つまり、動き領域がマスク領域内とマスク領域外の両方にまたがっている場合である。この状態のときは、マスク領域内の動き領域部分をマスクしない形態のマスク制御信号を作成する。したがって、動き領域は画面に表示される。
【００２１】
次に、図２を用い、マスク判定回路６で作成されたマスク制御信号がマスク処理回路２に供給され、入力画像信号１がマスク処理される状態の表示画像について説明する。
図２（ａ）は、マスク処理をしない場合で、監視カメラが撮像して得た映像信号をそのまま表示した画面である。この図で窓１０１の画像部分がプライバシーを保護する領域である。人物１０２は保護すべきでないか、あるいは保護する必要のない画像で、動きを伴っており、常に表示したい画像とする。
【００２２】
同図（ｂ）は、保護領域である前記窓１０１をマスク１０３で隠した表示画像である。こうすることで、窓１０１の内部は画面に表示されずプライバシーが保護される。
この図の状態には、前記の動き領域位置情報とマスク領域位置情報との相対位置関係で述べた２つの状態が表されている。
一つは、人物１０２とマスク１０３の相対関係で、この図の場合両者は離れているので前記第１の状態である。したがって、動いている人物１０２はそのまま表示される。
【００２３】
一方、窓１０１とマスク１０３の相対関係は、仮に窓１０１の内部で何かの動きが有ったとして動き検出されても、その領域はマスク１０３の領域の範囲にすべて入るので、前記第２の状態となって、窓１０１の画像はマスクされたままになる。
【００２４】
次いで、人物１０２は前進し、マスク１０３の領域に入った場合の画像が同図（ｄ）である。
このとき、従来のマスク処理では、同図（ｃ）に示すように、マスク１０３の領域に重なっている人物１０２の上半身は隠れてしまい、監視するには具合が悪いことになる。しかし、本実施例では、図（ｄ）に示すように、人物１０２の上半身が隠れることなく表示されるようになる。
図（ｄ）における人物１０２とマスク１０３の相対関係は前記第３の状態であるから、動きが検出された人物１０２とマスク１０３とが重なっている部分はマスクしないようなマスク制御信号が作成される。すなわち、マスク領域からはみ出して動き領域が検出された画像は、マスク領域と重なっている部分もマスクせずにそのまま表示される。
図３は、この状態におけるマスク１０３のマスキング領域を分り易く示したものであり、マスク１０３は人物の輪郭で抜き取られた形のマスク領域になる。この図３に示すマスク１０３でマスク処理をすると、人物の輪郭で抜き取られた形の部分の画像はそのまま表示されるので、人物１０２の上半身が見えることになる。
【００２５】
以上詳述したように、本発明の第１の実施例では、検出された動き領域とマスク領域の相対位置関係を３つの状態に分けて、夫々の状態で動きを伴っている画像の表示をマスク制御信号で制御することにより、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【実施例２】
【００２６】
次に、本発明の第２の実施例を図４及び図５を用いて説明する。第２の実施例は、監視したい人物が設定したマスク領域内にすべて入ってしまうような広いマスク領域の場合に用いて好適な画像処理装置である。
まず第２の実施例におけるマスク領域を説明する。図５（ａ）において、窓２０１の画像部分がプライバシーを保護する領域である。人物２０２は、保護すべきでないか、あるいは保護する必要のない画像で、動きを伴っており、常に表示したい画像とする。
【００２７】
図５（ｂ）は、保護領域である前記窓２０１をマスク２０３で隠した表示画像である。こうすることで、窓２０１の内部は画面に表示されずプライバシーが保護される。なお、図示したように本実施例のマスク２０３は窓２０１の上下すべてをマスクする状態に設定されている例である。これにより、人物２０２が移動してマスク領域に重なったときには、人物の画像がすべてマスクの領域内に包含されることになる。このような状態の場合には、前記第１の実施例では、人物がすべてマスクされ隠れることになり監視できなくなるので不都合である。
【００２８】
次に、図４を用いて第２の実施例における画像処理装置の構成を説明する。
図４は、前記図１と同一機能の回路ブロックには同一番号を付してある。又、図４が図１と異なる点は、動き方向判定回路７が加わったことである。したがって、この動き方向判定回路７に直接関連しない部分は、前記第１の実施例と同一の動作であるので簡略化のために説明を省略する。
【００２９】
動き方向判定回路７は、画像の中の動きが検出された領域が、所定時間前に検出された動き領域と比較することで動き方向を検出し、動きの画像が移動したものであることを判定する回路である。
この動き方向を検出するアルゴリズムは、前記特許文献２（１１〜１２頁（段落００４３〜００４６）、図９〜１０）に記載のアルゴリズムからなる検出技術を用いる。
【００３０】
ここで、特許文献２に記載の動き方向を検出する技術の仕組みを簡単に説明する。動き方向検出は、前記動き検出の仕組みの説明で述べたような手段で、小面積に一様に細分化された画像信号から動きが検出された各小面積部分の位置情報を得て、まず、この位置情報から動き領域全体の中心座標を算出し記憶しておく。
次いで、所定時間経過後における同様に算出した動き領域全体の中心座標を求めて、前記記憶されている中心座標の値とを比較することにより、動き領域の移動の量と方向を得るのである。
【００３１】
図４に示す動き方向判定回路７は、動き領域定義回路５からの動き領域位置情報を受けて動き領域の移動の量と方向を算出し、現在の動き領域が所定時間前の位置から移動したものであることを判定し、動き方向判定結果をマスク判定回路６に入力する。
【００３２】
マスク判定回路６は、入力された前記動き方向判定結果や、動き領域定義回路５からの動き領域位置情報、マスク領域設定回路８からのマスク領域位置情報とから、入力画像信号１内の動き画像部分の表示を制御するマスク制御信号を作成してマスク処理回路２に供給する。
マスク判定回路６で作成されるマスク制御信号は、動き方向判定結果と動き領域位置情報、マスク領域位置情報から、次の３つの状態を判定してマスク制御信号を作成する。
【００３３】
第１の状態は、動き領域とマスク領域が重なっていない場合である。この状態では、マスク領域位置情報をそのままマスク制御信号として出力する。したがって、動き領域の画像はそのまま画面に表示される。
【００３４】
第２の状態は、動き領域の一部分がマスク領域と重なっている場合である。つまり、動き領域がマスク領域内とマスク領域外の両方にまたがっている場合である。この状態のときは、マスク領域内の動き領域部分をマスクしない形態のマスク制御信号を作成する。したがって、動き領域は画面に表示される。
【００３５】
第３の状態は、動き領域がすべてマスク領域の範囲に入っている場合である。
この状態では、動き方向判定結果を用いてマスク制御信号の作成方法を切替える。
動き方向判定結果により、動き領域がマスク領域の外から移動してきたものであるときは、マスク領域内の動き領域部分をマスクしない形態のマスク制御信号を作成する。したがって、動き領域は画面に表示される。
【００３６】
又、動き方向判定結果により、動き領域がマスク領域の外から移動してきたものでないときは、前記第１の状態と同様にマスク領域位置情報をそのままマスク制御信号として出力する。この状態は、マスク領域の中で画像が動いている場合であって、プライバシーを保護すべき画像が動いているのでマスクする必要がある。したがって、動き領域は画面に表示されない。
【００３７】
次に、図５を用いて前記動き方向判定回路７の動作を補足説明する。
図５（ｃ）において、人物２０２ａは現在の動き領域位置で、人物２０２ｂは所定時間前の動き領域位置を表している。この２つの動き領域位置情報から、動き方向判定回路７は画像の移動量と方向を算出する。
図５（ｄ）は更に所定時間経過後の画像である。人物２０２ａがマスク領域２０３内にすべて包含された状態である。この場合も上記と同様に、所定時間前の人物２０２ｂの位置情報を用いて、現在の動き画像の移動量と方向を算出し、これまでに算出した移動量と方向から動き領域の連続性を判定して、現在の動き画像は所定時間前からの移動であることを判定する。
【００３８】
以上詳述したように、本発明の第２の実施例では、検出された動き領域が設定したマスク領域内にすべて入ってしまうような広いマスク領域の場合であっても、動き領域の移動量と方向から、動き領域がマスク領域外からの移動であるとして、動き領域の画像を表示するマスク処理を行うので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【実施例３】
【００３９】
次に、本発明の第３の実施例を図６及び図７を用いて説明する。第３の実施例は、監視したい人物が設定したマスク領域内に入り、そこで動きを停止することがある場合に用いて好適な画像処理装置である。
前記第２の実施例では、監視対象は撮像画面内を通過するような連続動作が前提でマスク処理を行っているので、たとえば、監視したい人物が設定したマスク領域内で立ち止まり動きが検出されなくなるとマスク処理に不具合が生ずることになる。
【００４０】
図７（ａ）はこの様子を示したものである。すなわち、マスク３０３の領域内に人物３０２（ａ）が入り、そこで立ち止ると動きが検出されなくなるので、第２の実施例のマスク処理動作ではマスク３０３により人物がマスクされて表示されなくなる。なお、同図ではこの表示されない状態を表すのに人物３０２ａを薄い線で描いてある。
本発明の第３の実施例は、このような不具合が起こらないようにマスク処理を行うもので、図７（ｂ）の人物３０２（ｂ）に示すように、人物が立ち止り動きが検出されなくなってもマスクされずに表示できるようにするものであり、以下、図６を用いて本実施例におけるマスク処理動作を説明する。
【００４１】
図６のブロック図は、前記第２の実施例で使用した図４に、新たに動き停止判定回路１０、メモリ１１、タイマー１２を加えて構成されているものである。なお、図４と同一構成部分は同一符号を付してあり、簡略のためその部分の動作説明は省略する。
新たに加わった動き停止判定回路１０は、画像の中の動きが停止したことを判定する回路であり、メモリ１１は動き領域定義回路５で定義された動き領域の座標位置データを逐次更新しながら保持するメモリ、タイマー１２は動き停止判定回路１０によって動き停止が判定されてからの経過時間を計測するタイマーである。
【００４２】
第３の実施例は、前記したように第２の実施例においてマスク領域内に人物が入り立ち止まるという特殊な状態に対応したマスク処理であるが、人物が立ち止るまでは第２の実施例で述べたマスク処理と同一であるのでその説明は省略し、人物が立ち止まった時点からの動作について述べる。
【００４３】
図６において、動き停止判定回路１０は、動き検出回路４からの動き情報が無くなり人物の動きが停止したと判定した場合には、動き領域定義回路５に制御信号を供給する。これにより動き領域定義回路５は、メモリ１１に対して動き領域位置情報のデータ更新を停止する制御を行うと共に、このメモリ１１に格納されている直前の動き領域位置情報を読み出してこの位置情報をマスク判定回路６に供給する。
【００４４】
更に、同時に動き領域定義回路５は、タイマー１２を起動して動き停止の制御信号が動き停止判定回路１０より供給されてからの時間を計測する。そして、動き領域定義回路５はタイマー１２による所定の時間経過まで、マスク判定回路６にメモリ１１に格納されている動き領域位置情報の供給を継続する。
このようにして、人物の動き停止後は予め設定されている所定の時間の間、動き停止直前の動き領域が表示されるので、人物がマスクされることなく見ることが可能になる。
【００４５】
前記所定時間内に人物の動きが再開されると、動き領域定義回路５からは、メモリ１１に格納されていた停止期間の動き領域位置情報に引き続き、動きが再開された時刻の動き領域位置情報とが動き方向判定回路７に供給される。この２つの動き領域位置情報に基づき、動き方向判定回路７によって再び連続した動きを判定し、前記第２実施例と同様にマスク領域内の人物の表示を継続する。
【００４６】
以上詳述したように、本発明の第３の実施例では、動き領域が設定したマスク領域内にすべて入ってしまうような広いマスク領域の場合であっても、動き領域の移動量と方向から動き領域がマスク領域外からの移動であると判断することにより、その動き領域の画像を表示可能とするマスク処理を行うと共に、マスク領域内で人物が立ち止るなどの動きが停止した場合にも、動きの停止を判定して所定の停止時間内は継続して人物を表示できる機能を有するものである。
このようなマスク処理を行うので、本発明による画像処理装置ではプライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【図面の簡単な説明】
【００４７】
【図１】本発明に係る画像処理装置の第１の実施例を示すブロック図である。
【図２】第１の実施例の動作を説明する画面表示例を示した図であり、（ａ）はマスク処理をしない画面、（ｂ）は保護領域をマスク処理した画面、（ｃ）は従来のマスク処理による画面、（ｄ）は第１の実施例によるマスク処理画面を示す図である。
【図３】第１の実施例におけるマスクキング領域の一例を示した図である。
【図４】本発明に係る画像処理装置の第２の実施例を示すブロック図である。
【図５】第２の実施例の動作を説明する画面表示例を示した図であり、（ａ）はマスク処理をしない画面、（ｂ）は保護領域とその上下を含めて大きくマスク処理した画面、（ｃ）は動き領域の移動を説明する図、（ｄ）は第２の実施例によるマスク処理画面を示す図である。
【図６】本発明に係る画像処理装置の第３の実施例を示すブロック図である。
【図７】第３の実施例の動作を説明する画面表示例を示した図であり、（ａ）は人物が停止したためにマスクされる従来の不具合を説明する図、（ｂ）は第３の実施例によるマスク処理により人物が表示される画面を示す図である。
【符号の説明】
【００４８】
１… 入力画像信号
２… マスク処理回路
３… 出力画像信号
４… 動き検出回路
５… 動き領域定義回路
６… マスク判定回路
７… 動き方向判定回路
８… マスク領域設定回路
９… マスク領域設定情報
１０… 動き停止判定回路
１１… メモリ
１２… タイマー
１０１、２０１… 窓（プライバシーを保護する領域）
１０２、２０２… 人物（２０２ａ…現在位置、２０２ｂ…所定時間前の位置）
１０３、２０３、３０３… マスク
３０２… 立ち止った人物（３０２ａ…マスクされて見えない状態、３０２ｂ…マスクされない状態）
【技術分野】
【０００１】
本発明は画像処理装置に係り、特に監視カメラを用いた映像監視システムにおけるプライバシー保護のためのマスキングに関するものである。
【背景技術】
【０００２】
近年、店舗、集合住宅、道路、商店街等では、セキュリティを確保する手段として監視カメラを用いた映像監視システムが利用されている。かかる映像監視システムは、監視カメラが撮像した映像情報をモニタリングしたり記録する手段を備え、非常時の速やかな対処や事後の問題解決を助けるという効果をもたらしている。
【０００３】
しかしながら、上記の映像監視システムは、通常、監視カメラからの映像情報をそのまま表示したり記録するものであり、監視領域内に存在するプライバシーの保護すべき映像情報を除外することができない問題を有していた。
このような問題に対して、従来から、監視カメラからの映像情報にプライバシー保護領域を設定し、該保護領域をマスクして保護すべき映像情報を画面に表示しないよう信号処理した後に外部に出力する技術が多数提案されている（例えば、下記特許文献１参照）。
【０００４】
一方、不審者の侵入を監視する目的の映像監視システムには、常時画面を観察せずとも、あるいは常時連続記録せずとも良いように、不審者の侵入で画面内の一部に変化があった場合にのみ警報を出したり記録を開始する機能を持つものがある。このような映像監視システムでは、不審者侵入の検出に画像処理による動き検出技術が用いられている。
下記特許文献２は、本特許出願人により提案されたもので、周辺光量の変動の影響を受けないように改良された動き検出技術の開示例である。
【特許文献１】特開２００３−６１０７６号公報
【特許文献２】特開２００４−１５７９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１には監視カメラからの映像情報にプライバシー保護領域を設定し、該保護領域をマスクして保護すべき情報を画面に表示しない技術が開示されているが、この場合には、前記保護領域内の映像情報は、たとえ保護すべきでない画像や保護する必要のない画像であっても、すべてマスクされてしまうという問題がある。
すなわち、従来のマスク手段では、画面上のマスクされる領域内に、例えば監視の必要な不審者の画像が入り込んだときには、この不審者の画像がマスクされて見えなくなるという不都合が発生した。
【０００６】
本発明は、このような従来の問題点に鑑みてなされたものであり、その目的は、監視カメラを用いた映像監視システムにおいて、撮像した映像情報にプライバシー保護領域を設定し、該保護領域をマスクして保護すべき情報を画面に表示しないようにすると共に、保護すべきでない画像や保護する必要のない画像が該保護領域内に入り込んだ場合に、これらの画像がマスクされないようにする信号処理手段を有する画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決する手段として以下の（１）（２）（３）に記載の構成からなる。すなわち、
（１）監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像画像の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合或いは前記動き指定領域が前記マスク指定領域内に収まっている場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、 を備えたことを特徴とする画像処理装置。
（２）監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、 を備えたことを特徴とする画像処理装置。
（３）監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義して、メモリに格納させる動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き指定領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記動き領域の連続性がないときに、前記マスク指定領域内に収まった状態の前記動き領域が停止したか否かの判定を行う停止判定手段と、
前記停止判定手段で前記動き指定領域が停止していると判定された場合に、前記動き指定領域が前記マスク指定領域内で停止した状態からの時間を計測するタイマーと、
前記タイマーで計測された時間が所定時間経過するまで、前記マスク判定手段に前記動き領域定義手段のメモリに格納されている前記動き指定領域の情報を出力させる第１制御手段と、
前記所定時間以内に前記動き指定領域が停止した状態から再度動き出した場合に、前記マスク判定手段に前記動き方向判定手段で判定された前記動き指定領域を除いて前記マスク指定領域をマスキングさせるマスク制御信号を生成させる第２制御手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、 を備えたことを特徴とする画像処理装置である。
【発明の効果】
【０００８】
請求項１に係る本発明の第１の効果は、撮像画像の中の動き領域を検出する動き検出手段と、動き検出手段で検出された動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、予め定められたマスク領域設定情報に基づき、撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、動き指定領域がマスク指定領域に重なっていない場合或いは動き指定領域がマスク指定領域内に収まっている場合には、マスク指定領域をマスキングするマスク制御信号を生成し、動き指定領域がマスク指定領域と一部重なっている場合には、マスク指定領域内の動き領域を除いてマスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、マスク制御信号により、マスク指定領域をマスキングするマスク処理手段とを備えた格別な構成があるので、保護すべきでない画像や保護する必要のない画像の一部がマスク領域内に入り込んだ場合に、これらの画像がマスクされずに画像表示できるので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【０００９】
又、請求項２に係る本発明の第２の効果は、前記構成に加え、動き領域の位置とこの動き領域の直前の位置とから動き領域の動き方向の連続性を判定する動き方向判定手段と、動き領域がマスク指定領域内にすべて収まっている場合には、動き方向判定手段で判定された動き方向の連続性の判定結果により、連続性があるときには、マスク指定領域内の前記動き領域を除いてマスク指定領域をマスキングし、連続性がないときには、マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段とを備えた格別な構成があるので、保護すべきでない画像や保護する必要のない画像の全部がマスク領域内にすべて入り込んだ場合においても、これらの画像がマスクされずに画像表示できるので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【００１０】
又、請求項３に係る本発明の第３の効果は、更に前記構成に加え、動き指定領域をメモリに格納させる動き領域定義手段と、マスク指定領域内に収まった状態の動き領域が停止したか否かの判定を行う停止判定手段と、停止判定手段で前記動き指定領域が停止していると判定された場合に、動き指定領域がマスク指定領域内で停止した状態からの時間を計測するタイマーと、タイマーで計測された時間が所定時間経過するまで、マスク判定手段に動き領域定義手段のメモリに格納されている動き指定領域の情報を出力させる第１制御手段と、所定時間以内に動き指定領域が停止した状態から再度動き出した場合に、マスク判定手段に動き方向判定手段で判定された動き指定領域を除いてマスク指定領域をマスキングさせるマスク制御信号を生成させる第２制御手段とを備えた格別な構成があるので、保護すべきでない画像や保護する必要のない画像の全部がマスク領域内にすべて入り込み、動きを停止した場合においても、これらの画像がマスクされずに画像表示できるので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について図面と共に説明する。
図１は本発明に係る画像処理装置の第１の実施例を示すブロック図、図２は第１の実施例の動作を説明する画面表示例を示した図で、（ａ）はマスク処理をしない画面、（ｂ）は保護領域をマスク処理した画面、（ｃ）は従来のマスク処理による画面、（ｄ）は第１の実施例によるマスク処理画面を示す図であり、図３は第１の実施例におけるマスクキング領域を説明するための図である。
又、図４は本発明に係る画像処理装置の第２の実施例を示すブロック図、図５は第２の実施例の動作を説明する画面表示例を示した図で、（ａ）はマスク処理をしない画面、（ｂ）は保護領域とその上下を含めて大きくマスク処理した画面、（ｃ）は動き領域の移動を説明する図、（ｄ）は第２の実施例によるマスク処理画面を示す図である。
更に、図６は本発明に係る画像処理装置の第３の実施例を示すブロック図、図７は第３の実施例の動作を説明する画面表示例を示した図であり、（ａ）は人物が停止したためにマスクされる従来の不具合を説明する図、（ｂ）は第３の実施例によるマスク処理により人物が表示される画面を示す図である。
【実施例１】
【００１２】
本発明に係る第１の実施例における画像処理装置は、プライバシー保護領域の画像が比較的小さい場合に用いて好適な構成である。まず全体構成と動作の概略を説明する。
【００１３】
図１において、図示しない監視カメラから入来した入力画像信号１は、マスク処理回路２と動き検出回路４に入力される。マスク処理回路２は、後述のマスク判定回路６からのマスク制御信号により、入力画像信号１に後述する格別のマスク処理を施して出力画像信号３として外部に出力する。なお、外部に出力された出力画像信号３は、図示しないモニターテレビに表示して監視したり、ビデオテープレコーダ等の記録再生装置で記録保存される。
【００１４】
動き検出回路４では、入力された入力画像信号１から動きがあった領域の検出を行う。このときに用いる動き検出技術は、前記特許文献２（６〜８頁（段落００１８〜００３０）、図３〜６）に記載のアルゴリズムからなる検出技術である。
ここで、特許文献２に記載の動き検出技術の仕組みを簡単に説明する。この動き検出は、監視カメラからの入力画像信号をフレーム表示画面上で四角形の小面積に一様に細分化し、細分化された一つ一つの小面積の平均輝度レベルを求めて、この平均輝度と同じ個所での所定時間前の平均輝度とを比較し、この比較結果から小面積部分の画像信号に変化が有ったかどうかを検出するもので、この変化の有った小面積部分がひとかたまりの群を成しているときに、その領域は人物等が動いている画像情報であると判定するものである。
【００１５】
このようにして、動き検出回路４で入力画像信号１に動きが検出されたならば、次に動き領域定義回路５において、動きの検出された小面積部分が指定したひとかたまりの群を成していると判定されたときに、このひとかたまりの動きの有る領域は監視対象物と定義してフレーム表示画面上の位置情報を得る。次いでこの動き領域位置情報は次のマスク判定回路６に供給される。
【００１６】
マスク判定回路６には、別途マスク領域設定回路８において、外部から供給されたマスク領域設定情報９を受けて作成された、フレーム表示画面上でプライバシーを保護するためのマスク領域位置情報が入力されている。
【００１７】
マスク判定回路６は、入力された動き領域位置情報とマスク領域位置情報とから、入力画像信号１内の動き画像部分の表示を制御するマスク制御信号を作成してマスク処理回路２に供給するものである。
次に、上記マスク制御信号の作成方法を説明する。
マスク制御信号は、動き領域位置情報とマスク領域位置情報との相対位置関係から、次の３つの状態を判定してマスク制御信号を作成する。
【００１８】
第１の状態は、動き領域とマスク領域が重なっていない場合である。この状態では、マスク領域位置情報をそのままマスク制御信号として出力する。したがって、動き領域の画像はそのまま画面に表示される。
【００１９】
第２の状態は、動き領域がすべてマスク領域の範囲に入っている場合である。この状態も前記第１の状態と同様にマスク領域位置情報をそのままマスク制御信号として出力する。詳しくは後述するが、この状態は、マスク領域の中で画像が動いている場合であって、プライバシーを保護すべき画像が動いているのでマスクする必要がある。したがって、動き領域は画面に表示されない。
【００２０】
第３の状態は、動き領域の一部分がマスク領域と重なっている場合である。つまり、動き領域がマスク領域内とマスク領域外の両方にまたがっている場合である。この状態のときは、マスク領域内の動き領域部分をマスクしない形態のマスク制御信号を作成する。したがって、動き領域は画面に表示される。
【００２１】
次に、図２を用い、マスク判定回路６で作成されたマスク制御信号がマスク処理回路２に供給され、入力画像信号１がマスク処理される状態の表示画像について説明する。
図２（ａ）は、マスク処理をしない場合で、監視カメラが撮像して得た映像信号をそのまま表示した画面である。この図で窓１０１の画像部分がプライバシーを保護する領域である。人物１０２は保護すべきでないか、あるいは保護する必要のない画像で、動きを伴っており、常に表示したい画像とする。
【００２２】
同図（ｂ）は、保護領域である前記窓１０１をマスク１０３で隠した表示画像である。こうすることで、窓１０１の内部は画面に表示されずプライバシーが保護される。
この図の状態には、前記の動き領域位置情報とマスク領域位置情報との相対位置関係で述べた２つの状態が表されている。
一つは、人物１０２とマスク１０３の相対関係で、この図の場合両者は離れているので前記第１の状態である。したがって、動いている人物１０２はそのまま表示される。
【００２３】
一方、窓１０１とマスク１０３の相対関係は、仮に窓１０１の内部で何かの動きが有ったとして動き検出されても、その領域はマスク１０３の領域の範囲にすべて入るので、前記第２の状態となって、窓１０１の画像はマスクされたままになる。
【００２４】
次いで、人物１０２は前進し、マスク１０３の領域に入った場合の画像が同図（ｄ）である。
このとき、従来のマスク処理では、同図（ｃ）に示すように、マスク１０３の領域に重なっている人物１０２の上半身は隠れてしまい、監視するには具合が悪いことになる。しかし、本実施例では、図（ｄ）に示すように、人物１０２の上半身が隠れることなく表示されるようになる。
図（ｄ）における人物１０２とマスク１０３の相対関係は前記第３の状態であるから、動きが検出された人物１０２とマスク１０３とが重なっている部分はマスクしないようなマスク制御信号が作成される。すなわち、マスク領域からはみ出して動き領域が検出された画像は、マスク領域と重なっている部分もマスクせずにそのまま表示される。
図３は、この状態におけるマスク１０３のマスキング領域を分り易く示したものであり、マスク１０３は人物の輪郭で抜き取られた形のマスク領域になる。この図３に示すマスク１０３でマスク処理をすると、人物の輪郭で抜き取られた形の部分の画像はそのまま表示されるので、人物１０２の上半身が見えることになる。
【００２５】
以上詳述したように、本発明の第１の実施例では、検出された動き領域とマスク領域の相対位置関係を３つの状態に分けて、夫々の状態で動きを伴っている画像の表示をマスク制御信号で制御することにより、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【実施例２】
【００２６】
次に、本発明の第２の実施例を図４及び図５を用いて説明する。第２の実施例は、監視したい人物が設定したマスク領域内にすべて入ってしまうような広いマスク領域の場合に用いて好適な画像処理装置である。
まず第２の実施例におけるマスク領域を説明する。図５（ａ）において、窓２０１の画像部分がプライバシーを保護する領域である。人物２０２は、保護すべきでないか、あるいは保護する必要のない画像で、動きを伴っており、常に表示したい画像とする。
【００２７】
図５（ｂ）は、保護領域である前記窓２０１をマスク２０３で隠した表示画像である。こうすることで、窓２０１の内部は画面に表示されずプライバシーが保護される。なお、図示したように本実施例のマスク２０３は窓２０１の上下すべてをマスクする状態に設定されている例である。これにより、人物２０２が移動してマスク領域に重なったときには、人物の画像がすべてマスクの領域内に包含されることになる。このような状態の場合には、前記第１の実施例では、人物がすべてマスクされ隠れることになり監視できなくなるので不都合である。
【００２８】
次に、図４を用いて第２の実施例における画像処理装置の構成を説明する。
図４は、前記図１と同一機能の回路ブロックには同一番号を付してある。又、図４が図１と異なる点は、動き方向判定回路７が加わったことである。したがって、この動き方向判定回路７に直接関連しない部分は、前記第１の実施例と同一の動作であるので簡略化のために説明を省略する。
【００２９】
動き方向判定回路７は、画像の中の動きが検出された領域が、所定時間前に検出された動き領域と比較することで動き方向を検出し、動きの画像が移動したものであることを判定する回路である。
この動き方向を検出するアルゴリズムは、前記特許文献２（１１〜１２頁（段落００４３〜００４６）、図９〜１０）に記載のアルゴリズムからなる検出技術を用いる。
【００３０】
ここで、特許文献２に記載の動き方向を検出する技術の仕組みを簡単に説明する。動き方向検出は、前記動き検出の仕組みの説明で述べたような手段で、小面積に一様に細分化された画像信号から動きが検出された各小面積部分の位置情報を得て、まず、この位置情報から動き領域全体の中心座標を算出し記憶しておく。
次いで、所定時間経過後における同様に算出した動き領域全体の中心座標を求めて、前記記憶されている中心座標の値とを比較することにより、動き領域の移動の量と方向を得るのである。
【００３１】
図４に示す動き方向判定回路７は、動き領域定義回路５からの動き領域位置情報を受けて動き領域の移動の量と方向を算出し、現在の動き領域が所定時間前の位置から移動したものであることを判定し、動き方向判定結果をマスク判定回路６に入力する。
【００３２】
マスク判定回路６は、入力された前記動き方向判定結果や、動き領域定義回路５からの動き領域位置情報、マスク領域設定回路８からのマスク領域位置情報とから、入力画像信号１内の動き画像部分の表示を制御するマスク制御信号を作成してマスク処理回路２に供給する。
マスク判定回路６で作成されるマスク制御信号は、動き方向判定結果と動き領域位置情報、マスク領域位置情報から、次の３つの状態を判定してマスク制御信号を作成する。
【００３３】
第１の状態は、動き領域とマスク領域が重なっていない場合である。この状態では、マスク領域位置情報をそのままマスク制御信号として出力する。したがって、動き領域の画像はそのまま画面に表示される。
【００３４】
第２の状態は、動き領域の一部分がマスク領域と重なっている場合である。つまり、動き領域がマスク領域内とマスク領域外の両方にまたがっている場合である。この状態のときは、マスク領域内の動き領域部分をマスクしない形態のマスク制御信号を作成する。したがって、動き領域は画面に表示される。
【００３５】
第３の状態は、動き領域がすべてマスク領域の範囲に入っている場合である。
この状態では、動き方向判定結果を用いてマスク制御信号の作成方法を切替える。
動き方向判定結果により、動き領域がマスク領域の外から移動してきたものであるときは、マスク領域内の動き領域部分をマスクしない形態のマスク制御信号を作成する。したがって、動き領域は画面に表示される。
【００３６】
又、動き方向判定結果により、動き領域がマスク領域の外から移動してきたものでないときは、前記第１の状態と同様にマスク領域位置情報をそのままマスク制御信号として出力する。この状態は、マスク領域の中で画像が動いている場合であって、プライバシーを保護すべき画像が動いているのでマスクする必要がある。したがって、動き領域は画面に表示されない。
【００３７】
次に、図５を用いて前記動き方向判定回路７の動作を補足説明する。
図５（ｃ）において、人物２０２ａは現在の動き領域位置で、人物２０２ｂは所定時間前の動き領域位置を表している。この２つの動き領域位置情報から、動き方向判定回路７は画像の移動量と方向を算出する。
図５（ｄ）は更に所定時間経過後の画像である。人物２０２ａがマスク領域２０３内にすべて包含された状態である。この場合も上記と同様に、所定時間前の人物２０２ｂの位置情報を用いて、現在の動き画像の移動量と方向を算出し、これまでに算出した移動量と方向から動き領域の連続性を判定して、現在の動き画像は所定時間前からの移動であることを判定する。
【００３８】
以上詳述したように、本発明の第２の実施例では、検出された動き領域が設定したマスク領域内にすべて入ってしまうような広いマスク領域の場合であっても、動き領域の移動量と方向から、動き領域がマスク領域外からの移動であるとして、動き領域の画像を表示するマスク処理を行うので、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【実施例３】
【００３９】
次に、本発明の第３の実施例を図６及び図７を用いて説明する。第３の実施例は、監視したい人物が設定したマスク領域内に入り、そこで動きを停止することがある場合に用いて好適な画像処理装置である。
前記第２の実施例では、監視対象は撮像画面内を通過するような連続動作が前提でマスク処理を行っているので、たとえば、監視したい人物が設定したマスク領域内で立ち止まり動きが検出されなくなるとマスク処理に不具合が生ずることになる。
【００４０】
図７（ａ）はこの様子を示したものである。すなわち、マスク３０３の領域内に人物３０２（ａ）が入り、そこで立ち止ると動きが検出されなくなるので、第２の実施例のマスク処理動作ではマスク３０３により人物がマスクされて表示されなくなる。なお、同図ではこの表示されない状態を表すのに人物３０２ａを薄い線で描いてある。
本発明の第３の実施例は、このような不具合が起こらないようにマスク処理を行うもので、図７（ｂ）の人物３０２（ｂ）に示すように、人物が立ち止り動きが検出されなくなってもマスクされずに表示できるようにするものであり、以下、図６を用いて本実施例におけるマスク処理動作を説明する。
【００４１】
図６のブロック図は、前記第２の実施例で使用した図４に、新たに動き停止判定回路１０、メモリ１１、タイマー１２を加えて構成されているものである。なお、図４と同一構成部分は同一符号を付してあり、簡略のためその部分の動作説明は省略する。
新たに加わった動き停止判定回路１０は、画像の中の動きが停止したことを判定する回路であり、メモリ１１は動き領域定義回路５で定義された動き領域の座標位置データを逐次更新しながら保持するメモリ、タイマー１２は動き停止判定回路１０によって動き停止が判定されてからの経過時間を計測するタイマーである。
【００４２】
第３の実施例は、前記したように第２の実施例においてマスク領域内に人物が入り立ち止まるという特殊な状態に対応したマスク処理であるが、人物が立ち止るまでは第２の実施例で述べたマスク処理と同一であるのでその説明は省略し、人物が立ち止まった時点からの動作について述べる。
【００４３】
図６において、動き停止判定回路１０は、動き検出回路４からの動き情報が無くなり人物の動きが停止したと判定した場合には、動き領域定義回路５に制御信号を供給する。これにより動き領域定義回路５は、メモリ１１に対して動き領域位置情報のデータ更新を停止する制御を行うと共に、このメモリ１１に格納されている直前の動き領域位置情報を読み出してこの位置情報をマスク判定回路６に供給する。
【００４４】
更に、同時に動き領域定義回路５は、タイマー１２を起動して動き停止の制御信号が動き停止判定回路１０より供給されてからの時間を計測する。そして、動き領域定義回路５はタイマー１２による所定の時間経過まで、マスク判定回路６にメモリ１１に格納されている動き領域位置情報の供給を継続する。
このようにして、人物の動き停止後は予め設定されている所定の時間の間、動き停止直前の動き領域が表示されるので、人物がマスクされることなく見ることが可能になる。
【００４５】
前記所定時間内に人物の動きが再開されると、動き領域定義回路５からは、メモリ１１に格納されていた停止期間の動き領域位置情報に引き続き、動きが再開された時刻の動き領域位置情報とが動き方向判定回路７に供給される。この２つの動き領域位置情報に基づき、動き方向判定回路７によって再び連続した動きを判定し、前記第２実施例と同様にマスク領域内の人物の表示を継続する。
【００４６】
以上詳述したように、本発明の第３の実施例では、動き領域が設定したマスク領域内にすべて入ってしまうような広いマスク領域の場合であっても、動き領域の移動量と方向から動き領域がマスク領域外からの移動であると判断することにより、その動き領域の画像を表示可能とするマスク処理を行うと共に、マスク領域内で人物が立ち止るなどの動きが停止した場合にも、動きの停止を判定して所定の停止時間内は継続して人物を表示できる機能を有するものである。
このようなマスク処理を行うので、本発明による画像処理装置ではプライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となる。
【図面の簡単な説明】
【００４７】
【図１】本発明に係る画像処理装置の第１の実施例を示すブロック図である。
【図２】第１の実施例の動作を説明する画面表示例を示した図であり、（ａ）はマスク処理をしない画面、（ｂ）は保護領域をマスク処理した画面、（ｃ）は従来のマスク処理による画面、（ｄ）は第１の実施例によるマスク処理画面を示す図である。
【図３】第１の実施例におけるマスクキング領域の一例を示した図である。
【図４】本発明に係る画像処理装置の第２の実施例を示すブロック図である。
【図５】第２の実施例の動作を説明する画面表示例を示した図であり、（ａ）はマスク処理をしない画面、（ｂ）は保護領域とその上下を含めて大きくマスク処理した画面、（ｃ）は動き領域の移動を説明する図、（ｄ）は第２の実施例によるマスク処理画面を示す図である。
【図６】本発明に係る画像処理装置の第３の実施例を示すブロック図である。
【図７】第３の実施例の動作を説明する画面表示例を示した図であり、（ａ）は人物が停止したためにマスクされる従来の不具合を説明する図、（ｂ）は第３の実施例によるマスク処理により人物が表示される画面を示す図である。
【符号の説明】
【００４８】
１… 入力画像信号
２… マスク処理回路
３… 出力画像信号
４… 動き検出回路
５… 動き領域定義回路
６… マスク判定回路
７… 動き方向判定回路
８… マスク領域設定回路
９… マスク領域設定情報
１０… 動き停止判定回路
１１… メモリ
１２… タイマー
１０１、２０１… 窓（プライバシーを保護する領域）
１０２、２０２… 人物（２０２ａ…現在位置、２０２ｂ…所定時間前の位置）
１０３、２０３、３０３… マスク
３０２… 立ち止った人物（３０２ａ…マスクされて見えない状態、３０２ｂ…マスクされない状態）
【特許請求の範囲】
【請求項１】
監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像画像の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合或いは前記動き指定領域が前記マスク指定領域内に収まっている場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義して、メモリに格納させる動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き指定領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記動き領域の連続性がないときに、前記マスク指定領域内に収まった状態の前記動き領域が停止したか否かの判定を行う停止判定手段と、
前記停止判定手段で前記動き指定領域が停止していると判定された場合に、前記動き指定領域が前記マスク指定領域内で停止した状態からの時間を計測するタイマーと、
前記タイマーで計測された時間が所定時間経過するまで、前記マスク判定手段に前記動き領域定義手段のメモリに格納されている前記動き指定領域の情報を出力させる第１制御手段と、
前記所定時間以内に前記動き指定領域が停止した状態から再度動き出した場合に、前記マスク判定手段に前記動き方向判定手段で判定された前記動き指定領域を除いて前記マスク指定領域をマスキングさせるマスク制御信号を生成させる第２制御手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項１】
監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像画像の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合或いは前記動き指定領域が前記マスク指定領域内に収まっている場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義する動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
監視カメラを用いて撮影した撮像画像の一部をマスキング処理する画像処理装置において、
前記監視カメラから出力される撮像信号の中の動き領域を検出する動き検出手段と、
前記動き検出手段で検出された前記動き領域の中から指定した動き指定領域を定義して、メモリに格納させる動き領域定義手段と、
前記動き領域の位置と前記動き領域の直前の位置とから前記動き指定領域の動き方向の連続性を判定する動き方向判定手段と、
予め定められたマスク領域設定情報に基づき、前記撮像画像の中からマスキングするマスク指定領域を設定するマスク領域設定手段と、
前記動き指定領域が前記マスク指定領域に重なっていない場合には、前記マスク指定領域をマスキングするマスク制御信号を生成し、前記動き指定領域が前記マスク指定領域と一部重なっている場合には、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、前記動き領域が前記マスク指定領域内に収まっている場合には、前記動き方向判定手段で判定された前記動き方向の連続性の判定結果により、連続性があるときには、前記マスク指定領域内の前記動き領域を除いて前記マスク指定領域をマスキングし、連続性がないときには、前記マスク指定領域をマスキングするマスク制御信号を生成するマスク判定手段と、
前記動き領域の連続性がないときに、前記マスク指定領域内に収まった状態の前記動き領域が停止したか否かの判定を行う停止判定手段と、
前記停止判定手段で前記動き指定領域が停止していると判定された場合に、前記動き指定領域が前記マスク指定領域内で停止した状態からの時間を計測するタイマーと、
前記タイマーで計測された時間が所定時間経過するまで、前記マスク判定手段に前記動き領域定義手段のメモリに格納されている前記動き指定領域の情報を出力させる第１制御手段と、
前記所定時間以内に前記動き指定領域が停止した状態から再度動き出した場合に、前記マスク判定手段に前記動き方向判定手段で判定された前記動き指定領域を除いて前記マスク指定領域をマスキングさせるマスク制御信号を生成させる第２制御手段と、
前記マスク制御信号により、前記マスク指定領域をマスキングするマスク処理手段と、
を備えたことを特徴とする画像処理装置。
【図１】
【図３】
【図４】
【図６】
【図２】
【図５】
【図７】
【図３】
【図４】
【図６】
【図２】
【図５】
【図７】
【公開番号】特開２００６−３０４２５０（Ｐ２００６−３０４２５０Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−２４０９８０（Ｐ２００５−２４０９８０）
【出願日】平成１７年８月２３日（２００５．８．２３）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年８月２３日（２００５．８．２３）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]