監視用画像処理装置
【課題】人物をマスク画像で効果的に隠しプライバシー保護を十分に図ることができる監視用画像処理装置を提供することを目的とする。
【解決手段】 監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、前記現画像と前記比較用画像とを比較し変化領域を抽出する変化領域抽出手段と、前記変化領域内の各輝度値を所定の閾値で２値化し、該２値化後の結果に基づいて前記現画像内のマスキングする領域を設定するマスク領域設定手段と、前記マスク領域内を覆う第１のマスク画像を作成する第１のマスク画像作成手段と、前記現画像の前記マスク領域に前記第１のマスク画像を重ね合わせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする。
【解決手段】 監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、前記現画像と前記比較用画像とを比較し変化領域を抽出する変化領域抽出手段と、前記変化領域内の各輝度値を所定の閾値で２値化し、該２値化後の結果に基づいて前記現画像内のマスキングする領域を設定するマスク領域設定手段と、前記マスク領域内を覆う第１のマスク画像を作成する第１のマスク画像作成手段と、前記現画像の前記マスク領域に前記第１のマスク画像を重ね合わせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、プライバシー保護のために画像の一部をマスキング処理する監視用画像処理装置に関するものである。
【背景技術】
【０００２】
個人情報保護法の制定、肖像権の範囲の拡大などの個人情報を尊重する社会背景があり、より慎重な個人情報の扱いが求められている。画像による監視システムにおいても、肖像権を含む個人情報である「顔情報」は、慎重に取り扱うことが要請されており、それら解決の為、各種手段が提供されている。従来の監視システムに用いられる監視用画像処理装置においては、撮影される人物のプライバシーの保護が必要な画像領域に予め作成したマスク画像を重ね合わせ、その画像領域を見えなくすること（マスキング）によりプライバシーの保護を図っていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４３１１２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視用画像処理装置では、マスク画像が重ね合わせられるマスク領域は予め固定で設定されていた。そのため、人物が移動してマスク領域から出てしまうとその人物をマスク画像で隠せなくなり、プライバシー保護を図ることができないという課題があった。また、個人情報の尊重と効率的な監視の要請を両立させるためには、下記の条件１〜３を満たすようなマスク処理を実行することが好ましい。
条件１：画面中の歩行者を、個人が分からないように目隠しする。
条件２：個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい。
条件３：マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい。
【０００５】
本発明は、上記のような課題を解決するためになされたもので、人物をマスク画像で効果的に隠しプライバシー保護を十分に図ることができる監視用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る監視用画像処理装置は、監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、前記現画像と前記比較用画像とを比較し変化領域を抽出する変化領域抽出手段と、前記変化領域内の各輝度値を所定の閾値で２値化し、該２値化後の結果に基づいて前記現画像内のマスキングする領域を設定するマスク領域設定手段と、前記マスク領域内を覆う第１のマスク画像を作成する第１のマスク画像作成手段と、前記現画像の前記マスク領域に前記第１のマスク画像を重ね合わせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明の監視用画像処理装置は、現画像と比較用画像とに基づいて作成したマスク画像を現画像に重ね合わせるので、人物の移動に追従した動的なマスキング処理をすることができ、撮影される人物のプライバシー保護を十分に図ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の監視用画像処理装置を示す構成図。
【図２】現画像の一例を示す図。
【図３】比較用画像の一例を示す図。
【図４】現画像と比較用画像とを比較して抽出した変化領域を示す概念図。
【図５】図４の変化領域を２値化したシルエットを示す概念図。
【図６】人物領域を示す図。
【図７】第１のマスク画像の一例を示す図。
【図８】現画像と第１のマスク画像との重ね合わせ画像を示す図。
【図９】実施の形態１の動作を説明するフローチャートを示す図。
【図１０】１〜４フレームの重ね合わせ画像を示す図。
【図１１】人物領域内の上方２分の１をマスク領域と設定した第１のマスク画像を示す図。
【図１２】人物領域内の上方２分の１をマスク領域と設定した第１のマスク画像と図１０の現画像との重ね合わせ画像を示す図。
【図１３】第２のマスク画像の一例を示す図。
【図１４】第２のマスク画像と現画像との重ね合わせ画像を示す図。
【図１５】実施の形態２の監視用画像処理装置を示す構成図。
【図１６】マスク領域に比較用画像データの対応画素が入力された第２のマスク画像と現画像との重ね合わせ画像を示す図。
【図１７】実施の形態２の動作を説明するフローチャートを示す図。
【図１８】実施の形態３の動作を説明するフローチャートを示す図。
【図１９】実施の形態４の監視用画像処理装置を示す構成図。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１〜図１２を用いて実施の形態１を説明する。図１は、実施の形態１の監視用画像処理装置を示す構成図である。
【００１０】
図１に示すように、監視用画像処理装置は、ビデオ入力手段１と、A/D変換手段２と、現画像記憶手段３と、比較用画像記憶手段４と、比較用画像更新手段５と、変化領域抽出手段６と、マスク領域設定手段７と、第１のマスク画像作成手段８と、重ね合わせ手段９と、D/A変換手段１０と、ビデオ出力手段１１とを有する。
【００１１】
ビデオ入力手段１は、監視カメラ等の外部装置からビデオ信号を入力する。
【００１２】
A/D変換手段２は、ビデオ入力手段１に入力されたビデオ信号を監視用画像処理装置で処理するため量子化し、デジタルデータに変換する。例えば、１画素あたり８ビットの多値データに変換する。
【００１３】
現画像記憶手段３は、A/D変換手段２の出力を受け監視対象エリアの現在の画像である現画像のデータを受け取って記憶する。図２は、現画像の一例を示す図である。この例では、現画像は屋内の通路を撮影した画像で、通路をドア方向に向かって移動する人物が撮影されている。
【００１４】
比較用画像記憶手段４は、現画像記憶手段３に記憶される現画像と比較するための比較用画像データを作成し、記憶する。具体的には現画像との差分処理を行う比較対象として背景画像を蓄積している。図３は、比較用画像の一例を示す図である。図３の比較用画像は、図２の現画像と比較して、カメラ視野内の移動物が消去された画像（背景画像）となっている。
【００１５】
比較用画像更新手段５は、所定のルールに基づいて比較用画像記憶手段４の比較用画像データの作成、記憶、更新処理を指示する。これら比較用画像記憶手段４、比較用画像更新手段５の処理についての詳細は後述する。
【００１６】
変化領域抽出手段６は、現画像記憶手段３に記憶される現画像データと、比較用画像記憶手段４に記憶される比較用画像データとを比較して差分を取り、変化領域を抽出する。なお、比較とは画素単位で輝度差（または色差）を求める処理のことをいい、例えばA/D変換手段２が８ビットで量子化を行っていれば、輝度差は０〜２５５の値をとる。この輝度差を全画面で求めたものが図４に示す変化領域になる。
【００１７】
図４は、図２の現画像と図３の比較用画像とを比較して抽出した変化領域を示す概念図である。図２での人物が撮影されている領域及び人物の影があった領域が変化領域として抽出されている。
【００１８】
マスク領域設定手段７は、変化領域抽出手段６で抽出された変化領域より人物と思われる領域を特定する処理を行う。具体的には、変化領域抽出手段６で抽出された変化領域内の各輝度値を所定の閾値で２値化する。２値化とは、０〜２５５の値をとる変化領域を特定のしきい値より上か下かで０、１に置き換える作業である。図４の変化領域が２値化されると、図５の様なシルエット画像となる。このシルエットが、求める「人物が存在すると想定される領域（略：人物領域）」である。図５は、図４の変化領域内の各輝度値を２値化し抽出した領域（シルエット）を示す概念図である。黒い領域は１の部分で、それ以外の領域は０の部分となっている。変化領域抽出手段６やマスク領域設定手段７では、ある程度の誤差が出るため、シルエットは完全に人物領域を示していない場合が多い。図５と図４とを比較すると、人物の影の部分、人物の「腕」に該当する部分の一部は閾値以下と判定されその輝度値は０に置き換えられており（黒以外の領域となっている）、誤差の中で消失している。したがって、人物の「影」に該当する部分のような誤差の影響を低減するため、シルエットそのものではなく、シルエットを含むより大きい範囲を人物領域とするのが妥当である。そこで、シルエットの外接矩形を人物領域と定義する。図６は人物領域を示す概念図である。シルエットに外接するよう設けられた矩形領域が人物領域である。
【００１９】
第１のマスク画像作成手段８は、マスク領域設定手段７で設定されたマスク領域内を覆う第１のマスク画像データを作成する。図７は第１のマスク画像の一例を示す図である。この例では人物領域内の全てをマスク領域としており、マスク領域内を黒色に塗りつぶした第１のマスク画像を示している。
【００２０】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と第１のマスク画像記憶手段８に記憶される第１のマスク画像とを重ね合わせて重ね合わせ画像を作成する。図８は、図２の現画像に図７の第１のマスク画像が重ね合わせられた重ね合わせ画像を示す図である。マスク領域内が黒色に塗りつぶされることによって、人物がマスク画像で見えなくなっている。
【００２１】
D/A変換手段１０は、重ね合わせ手段９から重ね合わせ画像データを受け取り、ビデオ信号に変換する。
【００２２】
ビデオ出力手段１１は、D/A変換手段１０で変換されたビデオ信号を、外部の装置に出力する。
【００２３】
比較用画像記憶手段４、比較用画像更新手段５の機能についての詳細を説明する。ここでは比較用画像データの更新ルールについて、過去５フレームの画像データから比較用画像データを作成、更新する平均法について説明する。
【００２４】
まず、A/D変換手段２から１フレーム目の現画像データが比較用画像記憶手段４に入力されると、比較用画像記憶手段４は１フレーム目の現画像データが入力されたことを比較用画像更新手段５に通知する。通知を受け取った比較用画像更新手段５は、比較用画像記憶手段４にその現画像データを記憶するよう指示する。比較用画像記憶手段４からの指示を受けた比較用画像記憶手段４は、１フレーム目の現画像データを記憶する。
【００２５】
その後２フレーム目以降の現画像データも同様に比較用画像記憶手段４に記憶されていく。５フレーム目の現画像データが比較用画像記憶手段４に入力されると、比較用画像記憶手段４からの通知を受けた比較用画像更新手段５は、比較用画像記憶手段４に１〜５枚目のフレームから比較用画像データを作成するよう指示する。指示を受けた比較用画像記憶手段４は、これまで記憶していた１フレーム目から５フレーム目までの現画像データを平均した比較用画像データを作成する。平均とはすなわち、５フレームの現画像データを画素単位で加算し、その和をフレーム数５で割ることにより平均値を求めることである。このように作成された比較用画像データは、６〜１０フレーム目までの現画像データとの比較に用いられる。
【００２６】
１〜５フレーム目までの各現画像データについては、例えば、平均された比較用画像データが作成されるまでは現画像記憶手段３に記憶しておき、平均された比較用画像データが作成されると各現画像フレームと比較することとしてよい。すなわち、１〜５フレーム目までの各現画像データについても、１フレーム目から５フレーム目までの現画像データを平均した比較用画像データと比較されることとなる。
【００２７】
次に６フレーム目の現画像データが入力されてくると、比較用画像更新手段５は比較用画像記憶手段４に再び記憶指示を行い、１０フレーム目までの現画像データが入力された時点で６〜１０フレーム目の現画像データを平均した比較用画像データが新たに作成され比較用画像の更新が行われる。以降も同様である。なお、上記説明では５フレームごとに平均の比較用画像データを更新するものとしたが、このフレーム数は５に限定されないことは言うまでもない。
【００２８】
次に、実施の形態１の動作について説明する。図９は、実施の形態１の動作を説明するフローチャートを示す図である。
【００２９】
カメラ等の外部装置からビデオ信号がビデオ入力手段１に入力されると、処理が開始され、A/D変換手段２でデジタル変換された現画像データが得られる（ステップＳ１）。
【００３０】
得られた現画像データは現画像記憶手段３に記憶される（ステップＳ２）。また、現画像データは比較用画像記憶手段４にも出力され、比較用画像データ作成用の記憶領域に記憶される。
【００３１】
次に、現画像データと比較用画像データとを比較し変化領域を抽出する（ステップＳ３〜Ｓ６）。比較用画像データが更新されない場合（ステップＳ３−Ｎｏ）、現画像データと更新される前の比較用画像データ（すなわち比較用画像記憶手段４に既に記憶されている比較用画像データ）とから差分を計算し、変化領域が抽出される（ステップＳ４）。
【００３２】
比較用画像データが更新される場合（ステップＳ３−Ｙｅｓ）、比較用画像データの更新処理がなされ（ステップＳ５）、新たに作成された比較用画像データが比較用画像記憶手段４に記憶される。それまで記憶されていた更新前の比較用画像データについては廃棄してもよい。そして、現画像データと更新後の比較用画像データとから差分を計算し、変化領域が抽出される（ステップＳ６）。
【００３３】
変化領域抽出手段６において変化領域が抽出されると、マスク領域設定手段７は、変化領域内の各輝度値を２値化して求めたシルエットの外接矩形領域を人物領域と判定し、人物領域の一部もしくは全部をマスク領域として設定する（ステップＳ７）。
【００３４】
次に、第１のマスク画像作成手段８はマスク領域内を覆う第１のマスク画像を作成する（ステップＳ８）。
【００３５】
そして、重ね合わせ手段９において現画像と第１のマスク画像作成手段８が作成した第１のマスク画像とが重ね合わせられ、現画像中のマスク領域を覆った重ね合わせ画像が作成される（ステップＳ９）。そして、D/A変換手段１０でビデオ信号に変換され、出力される（ステップＳ１０）。
【００３６】
図１０は、１〜４フレーム分の現画像について作成された、マスクを重ね合わせた画像を示す。各フレームの現画像についてマスク領域に第１のマスク画像が重ね合わせられており、移動する人物に追従してマスキング処理が行われている。
【００３７】
以上のように実施の形態１によれば、各フレーム毎に現画像と比較用画像（背景画像）とを比較して変化領域を抽出し、その変化領域から人物が存在する人物領域を求め人物領域の一部もしくは全部に設定されたマスク領域に第１のマスク画像を重ね合わせるので、画像中の人物の移動に追従した動的なマスキング処理をすることができ、撮影される人物のプライバシー保護を十分に図ることができる。
【００３８】
また、マスク領域設定手段７はシルエットの範囲そのものを人物領域として判定せず、シルエットの外接矩形を人物領域と判定することにより、２値化誤差による影響を補償することができる。つまり、閾値によっては、シルエットにおける人物の顔の部分が消えたりする場合がある。そのような場合にシルエット範囲をそのまま全て人物領域としてしまうと、人物の顔がある領域に第１のマスク画像を合成できなくなりプライバシー保護が十分に図れないようになってしまう。そういったことから、シルエットの外接矩形領域を人物領域と判定することにより、プライバシーを保護したい人物を的確に第１のマスク画像で隠すことができるとともに、人物以外の範囲は十分に視認することが可能となる。
【００３９】
上記説明においてはシルエットの外接矩形を人物領域と判定することとしたが、これに限定されるものではない。
【００４０】
第１のマスク画像作成手段８で作成される第１のマスク画像の一例として、図６に示す人物領域内全てをマスク領域とした第１のマスク画像について説明したが、これに限定されるものではない。例えば図１１に示すように、人物領域内の上方２分の１をマスク領域と設定した第１のマスク画像としてもよい。図１１の黒色で囲まれた領域がマスク領域で、破線で囲まれた領域が人物領域である。図１２は、図１１の第１のマスク画像と図１０の１〜４フレームの現画像との重ね合わせ画像を示す。このように、人物領域の上方２分の１をマスク領域にとった第１のマスク画像を現画像と重ね合わせることによって人物領域の下半分がマスク画像で覆われなくなるので、監視映像を見る管理者は、人物が通過していることを明確に把握でき、その移動方向についても確認することができる。人物領域の上方２分の１をマスク領域とした場合、「画面中の歩行者を、個人が分からないように目隠しする」という条件１、「個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい」という条件２、「マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい」という条件３を充足し、個人情報の尊重と効率的な監視の要請を両立させることができる。マスク領域は人物領域の上方２分の１ではなく、４分の１、８分の１等にしてもよい。
【００４１】
実施の形態２．
図１３〜図１７を用いて実施の形態２を説明する。実施の形態１では現画像のマスク領域にマスク画像を重ね合わせることによりマスキング処理を行っていたが、実施の形態２ではマスク領域にモザイク処理した第２のマスク画像を重ね合わせることによりマスキング処理を行う。
【００４２】
図１５は実施の形態２の監視用画像処理装置を示す構成図である。実施の形態１に相当する部分には図１と同一の符号を付してその説明を省略する。実施の形態２の監視用画像処理装置は、実施の形態１の構成に加え第２のマスク画像作成手段１２を新たに備える。
【００４３】
第２のマスク画像作成手段１２は、第１のマスク画像作成手段８から出力された第１のマスク画像データから、モザイク処理した第２のマスク画像を作成する。図１３は、第２のマスク画像の例である。
【００４４】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と、第２のマスク画像作成手段１２で記憶される第２のマスク画像とを重ね合わせた重ね合わせ画像を作成する。図１４は一例として図２の現画像と図１３の第２のマスク画像との重ね合わせ画像を示す。図１３のマスク部分（黒色部分）にはマスク画像（例：グレー等の輝度値色差値固定の画像）が入力され、非マスク部分（白色部分）には現画像データが入力されたままとなる。
【００４５】
そのため図１４の重ね合わせ画像において、歩行者の行動がある程度把握出来る様になる。例えば、不審物を置いて立ち去ったとか、器物を破損させて立ち去った等の、おおよその行動の把握が可能となってくる。この部分は、上部を完全にマスクした「実施例１」では、対応出来ない部分である。
【００４６】
次に、実施の形態２の動作について説明する。図１７は、実施の形態２の動作を説明するフローチャートを示す図である。ステップＳ０１からステップＳ０８までは実施の形態１におけるステップＳ１からステップＳ８の動作と同様であるため、その説明を省略する。
【００４７】
第１のマスク画像作成手段８において第１のマスク画像が作成されると、第２のマスク画像作成手段１２はモザイク処理されたマスク画像データを作成し、記憶する（ステップＳ０９）。
【００４８】
次に、重ね合わせ手段９は現画像と第２のマスク画像とを重ね合わせて重ね合わせ画像を作成する（ステップＳ０１０）。D/A変換手段１０でビデオ信号に変換し、ビデオ出力手段１１から出力する（ステップＳ０１１）。
【００４９】
以上のように実施の形態２によれば、モザイク処理されたマスク画像を現画像に重ね合わせるので、画像中の人物の移動に追従した動的なマスキング処理をすることができ、実施の形態１と同様、撮影される人物のプライバシーの保護を十分に図ることができる。
【００５０】
また実施の形態２において、人物のプライバシーを保護しつつ管理者はある程度その人物の行動を把握することができ、さらに、実施の形態１と比較して人物以外の箇所（比較用）についての視認性を向上させることができる。
【００５１】
つまり、画面中の歩行者を、個人が分からないように目隠しする」という条件１、「個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい」という条件２、「マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい」という条件３を充足し、個人情報の尊重と効率的な監視の要請を両立させることができる。更なる効果として、歩行者の行動がある程度把握出来る様になる。例えば、不審物を置いて立ち去ったとか、器物を破損させて立ち去った等の、おおよその行動の把握は、上記説明の実施の形態１のように、上部を完全にマスクした場合、対応出来ないが、上記説明の実施の形態２では可能である。さらに、マスク画像は歩行者に付いて追跡して行くため、歩行者以外の視界を遮ることはないので、常に最適の視界を確保しており、効率的な監視がさらに保障される。以上の通り、条件１〜３を満足したうえ歩行者の行動がある程度把握出来る、効率と視認性のよいマスク処理を実施しうる。
【００５２】
実施の形態３．
実施の形態３を説明する。
実施の形態２では現画像のマスク領域にモザイク状のマスク画像を重ね合わせることによりマスキング処理を行っていたが、実施の形態３ではマスク領域に比較用画像を重ね合わせることによりマスキング処理を行う。
【００５３】
実施の形態３の監視用画像処理装置は、図１５における実施の形態２と構成は同じで、第２のマスク画像作成手段１２の動作が異なる。
【００５４】
第２のマスク画像作成手段１２は、第１のマスク画像作成手段８から出力されたモザイク処理されたマスク画像データのマスク部分に、比較用画像記憶手段４から入力された比較用画像データを埋め込む。
第２のマスク画像は、マスク領域（黒色部分）に比較用画像データの対応画素が入力された画像である。
【００５５】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と、第２のマスク画像作成手段１２で記憶される第２のマスク画像とを重ね合わせた重ね合わせ画像を作成する。図１６は一例として図２の現画像とマスク領域（黒色部分）に比較用画像データの対応画素が入力された第２のマスク画像との重ね合わせ画像を示す。図１３のマスク部分（黒色部分）には比較用画像データ画像が入力され、非マスク部分（白色部分）には現画像データが入力された画像となる。
【００５６】
そのため図１６の重ね合わせ画像において、第２のマスク箇所については比較用画像となり、あたかも人間が半透明化されたような透かし効果が得られる。
【００５７】
人物領域のうち人物が存在しない箇所については何の処理もされていないような完全透明化効果が得られる。実際には人物が存在しない箇所についても現画像データと比較用画像データの画像がモザイク状に配置されているのだが、そこでは２つの画像の差異が殆どないため、何も処理されていないように見える。
【００５８】
次に、実施の形態３の動作について説明する。図１８は、実施の形態３の動作を説明するフローチャートを示す図である。ステップＳ０１からステップＳ０８までは実施の形態２におけるステップＳ０１からステップＳ０８の動作と同様であるため、その説明を省略する。
【００５９】
第１のマスク画像作成手段８において第１のマスク画像が作成されると、第２のマスク画像作成手段１２はモザイク処理されたマスク画像データのマスク箇所に比較用画像データを埋め込んだ第２のマスク画像データを作成し、記憶する（ステップＳ０９）。
【００６０】
次に、重ね合わせ手段９は現画像と第２のマスク画像とを重ね合わせて重ね合わせ画像を作成する（ステップＳ０１０）。現画像と第２のマスク画像とが重ね合わせられた重ね合わせ画像が作成される。D/A変換手段１０でビデオ信号に変換し、ビデオ出力手段１１から出力する（ステップＳ０１１）。
【００６１】
以上のように実施の形態３によれば、モザイク状に比較用画像データと現画像交互に配置されているので、撮影された人物を半透明化することができるとともに、撮影された人物以外の箇所については何の処理も行われていないように見せることができる。すなわち、実質上撮影された画像中の人物のみにマスキング処理（半透明化処理）を行うことができる。そうすることにより、人物のプライバシーを保護しつつ管理者はある程度その人物の行動を把握することができ、さらに、実施の形態２と比較して人物以外の箇所（比較用）についての視認性を向上させることができる。
【００６２】
つまり、画面中の歩行者を、個人が分からないように目隠しする」という条件１、「個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい」という条件２、「マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい」という条件３を充足し、個人情報の尊重と効率的な監視の要請を両立させることができる。更なる効果として、歩行者の行動がある程度把握出来る様になる。例えば、不審物を置いて立ち去ったとか、器物を破損させて立ち去った等の、おおよその行動の把握は、上記説明の実施の形態１のように、上部を完全にマスクした場合、対応出来ないが、上記説明の実施の形態３では可能である。さらに、マスク画像は歩行者に付いて追跡して行くため、歩行者以外の視界を遮ることはないので、常に最適の視界を確保しており、効率的な監視がさらに保障される。以上の通り、条件１〜３を満足したうえ歩行者の行動がある程度把握出来る、効率と視認性のよいマスク処理を実施しうる。
【００６３】
実施の形態４．
図１９を用いて実施の形態４を説明する。実施の形態４は、実施の形態３のマスク画像を全画面に拡張したマスキング処理を行う。すなわち、本実施の形態は、実施の形態１、２、３と比較して、そのマスク領域を現画像の全領域（全画面）としている点で異なる。実施の形態１、２、３のように現画像と比較用画像との比較から変化領域の抽出を行い人物領域を判定してからマスク領域を設定するという作業は行わない。
【００６４】
図１９は実施の形態４の監視用画像処理装置を示す構成図である。実施の形態３に相当する部分には図１５と同一の符号を付してその説明を省略する。実施の形態４の監視用画像処理装置は第３のマスク画像作成手段１３を備え、実施の形態３における変化領域抽出手段６、マスク領域設定手段７、第１のマスク画像作成手段８を備えていない構成となる。
【００６５】
第３のマスク画像作成手段１３は、全画面についてモザイク処理を行い、そのモザイク部分に比較用画像データを埋め込んだ第３のマスク画像を作成し記憶する。
【００６６】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と、マスク画像処理手段１２で記憶された第３のマスク画像とを重ね合わせて重ね合わせ画像を作成する。このように作成された重ね合わせ画像は、図１６の重ね合わせ画像と同様に、人物は半透明化されるとともに人物以外の箇所については何の処理も行われていないように見える。このように現画像に第３のマスク画像を重ね合わせた重ね合わせ画像についても（すなわちマスク領域を全画面に拡大しても）、人物以外の領域については現画像と比較用画像とでほとんど差異がないため（画像がつながっているため）同様の結果が得られる。
【００６７】
以上のように実施の形態３によれば、実施の形態３と同様の効果を有することに加え、現画像と比較用画像とから差分を計算して変化領域抽出処理、マスク領域設定処理を行うことが不要となるので、実施の形態３よりも安価でかつ小規模な監視用画像処理装置で実施の形態３と同様の効果を得ることができる。
【符号の説明】
【００６８】
１ ビデオ入力手段
２ A/D変換手段
３ 現画像記憶手段
４ 比較用画像記憶手段
５ 比較用画像更新手段
６ 変化領域抽出手段
７ マスク領域設定手段
８ 第１のマスク画像作成手段
９ 重ね合わせ手段
１０ D/A変換手段
１１ ビデオ出力手段
１２ 第２のマスク画像作成手段
１３ 第３のマスク画像作成手段
【技術分野】
【０００１】
この発明は、プライバシー保護のために画像の一部をマスキング処理する監視用画像処理装置に関するものである。
【背景技術】
【０００２】
個人情報保護法の制定、肖像権の範囲の拡大などの個人情報を尊重する社会背景があり、より慎重な個人情報の扱いが求められている。画像による監視システムにおいても、肖像権を含む個人情報である「顔情報」は、慎重に取り扱うことが要請されており、それら解決の為、各種手段が提供されている。従来の監視システムに用いられる監視用画像処理装置においては、撮影される人物のプライバシーの保護が必要な画像領域に予め作成したマスク画像を重ね合わせ、その画像領域を見えなくすること（マスキング）によりプライバシーの保護を図っていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４３１１２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視用画像処理装置では、マスク画像が重ね合わせられるマスク領域は予め固定で設定されていた。そのため、人物が移動してマスク領域から出てしまうとその人物をマスク画像で隠せなくなり、プライバシー保護を図ることができないという課題があった。また、個人情報の尊重と効率的な監視の要請を両立させるためには、下記の条件１〜３を満たすようなマスク処理を実行することが好ましい。
条件１：画面中の歩行者を、個人が分からないように目隠しする。
条件２：個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい。
条件３：マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい。
【０００５】
本発明は、上記のような課題を解決するためになされたもので、人物をマスク画像で効果的に隠しプライバシー保護を十分に図ることができる監視用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る監視用画像処理装置は、監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、前記現画像と前記比較用画像とを比較し変化領域を抽出する変化領域抽出手段と、前記変化領域内の各輝度値を所定の閾値で２値化し、該２値化後の結果に基づいて前記現画像内のマスキングする領域を設定するマスク領域設定手段と、前記マスク領域内を覆う第１のマスク画像を作成する第１のマスク画像作成手段と、前記現画像の前記マスク領域に前記第１のマスク画像を重ね合わせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明の監視用画像処理装置は、現画像と比較用画像とに基づいて作成したマスク画像を現画像に重ね合わせるので、人物の移動に追従した動的なマスキング処理をすることができ、撮影される人物のプライバシー保護を十分に図ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の監視用画像処理装置を示す構成図。
【図２】現画像の一例を示す図。
【図３】比較用画像の一例を示す図。
【図４】現画像と比較用画像とを比較して抽出した変化領域を示す概念図。
【図５】図４の変化領域を２値化したシルエットを示す概念図。
【図６】人物領域を示す図。
【図７】第１のマスク画像の一例を示す図。
【図８】現画像と第１のマスク画像との重ね合わせ画像を示す図。
【図９】実施の形態１の動作を説明するフローチャートを示す図。
【図１０】１〜４フレームの重ね合わせ画像を示す図。
【図１１】人物領域内の上方２分の１をマスク領域と設定した第１のマスク画像を示す図。
【図１２】人物領域内の上方２分の１をマスク領域と設定した第１のマスク画像と図１０の現画像との重ね合わせ画像を示す図。
【図１３】第２のマスク画像の一例を示す図。
【図１４】第２のマスク画像と現画像との重ね合わせ画像を示す図。
【図１５】実施の形態２の監視用画像処理装置を示す構成図。
【図１６】マスク領域に比較用画像データの対応画素が入力された第２のマスク画像と現画像との重ね合わせ画像を示す図。
【図１７】実施の形態２の動作を説明するフローチャートを示す図。
【図１８】実施の形態３の動作を説明するフローチャートを示す図。
【図１９】実施の形態４の監視用画像処理装置を示す構成図。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１〜図１２を用いて実施の形態１を説明する。図１は、実施の形態１の監視用画像処理装置を示す構成図である。
【００１０】
図１に示すように、監視用画像処理装置は、ビデオ入力手段１と、A/D変換手段２と、現画像記憶手段３と、比較用画像記憶手段４と、比較用画像更新手段５と、変化領域抽出手段６と、マスク領域設定手段７と、第１のマスク画像作成手段８と、重ね合わせ手段９と、D/A変換手段１０と、ビデオ出力手段１１とを有する。
【００１１】
ビデオ入力手段１は、監視カメラ等の外部装置からビデオ信号を入力する。
【００１２】
A/D変換手段２は、ビデオ入力手段１に入力されたビデオ信号を監視用画像処理装置で処理するため量子化し、デジタルデータに変換する。例えば、１画素あたり８ビットの多値データに変換する。
【００１３】
現画像記憶手段３は、A/D変換手段２の出力を受け監視対象エリアの現在の画像である現画像のデータを受け取って記憶する。図２は、現画像の一例を示す図である。この例では、現画像は屋内の通路を撮影した画像で、通路をドア方向に向かって移動する人物が撮影されている。
【００１４】
比較用画像記憶手段４は、現画像記憶手段３に記憶される現画像と比較するための比較用画像データを作成し、記憶する。具体的には現画像との差分処理を行う比較対象として背景画像を蓄積している。図３は、比較用画像の一例を示す図である。図３の比較用画像は、図２の現画像と比較して、カメラ視野内の移動物が消去された画像（背景画像）となっている。
【００１５】
比較用画像更新手段５は、所定のルールに基づいて比較用画像記憶手段４の比較用画像データの作成、記憶、更新処理を指示する。これら比較用画像記憶手段４、比較用画像更新手段５の処理についての詳細は後述する。
【００１６】
変化領域抽出手段６は、現画像記憶手段３に記憶される現画像データと、比較用画像記憶手段４に記憶される比較用画像データとを比較して差分を取り、変化領域を抽出する。なお、比較とは画素単位で輝度差（または色差）を求める処理のことをいい、例えばA/D変換手段２が８ビットで量子化を行っていれば、輝度差は０〜２５５の値をとる。この輝度差を全画面で求めたものが図４に示す変化領域になる。
【００１７】
図４は、図２の現画像と図３の比較用画像とを比較して抽出した変化領域を示す概念図である。図２での人物が撮影されている領域及び人物の影があった領域が変化領域として抽出されている。
【００１８】
マスク領域設定手段７は、変化領域抽出手段６で抽出された変化領域より人物と思われる領域を特定する処理を行う。具体的には、変化領域抽出手段６で抽出された変化領域内の各輝度値を所定の閾値で２値化する。２値化とは、０〜２５５の値をとる変化領域を特定のしきい値より上か下かで０、１に置き換える作業である。図４の変化領域が２値化されると、図５の様なシルエット画像となる。このシルエットが、求める「人物が存在すると想定される領域（略：人物領域）」である。図５は、図４の変化領域内の各輝度値を２値化し抽出した領域（シルエット）を示す概念図である。黒い領域は１の部分で、それ以外の領域は０の部分となっている。変化領域抽出手段６やマスク領域設定手段７では、ある程度の誤差が出るため、シルエットは完全に人物領域を示していない場合が多い。図５と図４とを比較すると、人物の影の部分、人物の「腕」に該当する部分の一部は閾値以下と判定されその輝度値は０に置き換えられており（黒以外の領域となっている）、誤差の中で消失している。したがって、人物の「影」に該当する部分のような誤差の影響を低減するため、シルエットそのものではなく、シルエットを含むより大きい範囲を人物領域とするのが妥当である。そこで、シルエットの外接矩形を人物領域と定義する。図６は人物領域を示す概念図である。シルエットに外接するよう設けられた矩形領域が人物領域である。
【００１９】
第１のマスク画像作成手段８は、マスク領域設定手段７で設定されたマスク領域内を覆う第１のマスク画像データを作成する。図７は第１のマスク画像の一例を示す図である。この例では人物領域内の全てをマスク領域としており、マスク領域内を黒色に塗りつぶした第１のマスク画像を示している。
【００２０】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と第１のマスク画像記憶手段８に記憶される第１のマスク画像とを重ね合わせて重ね合わせ画像を作成する。図８は、図２の現画像に図７の第１のマスク画像が重ね合わせられた重ね合わせ画像を示す図である。マスク領域内が黒色に塗りつぶされることによって、人物がマスク画像で見えなくなっている。
【００２１】
D/A変換手段１０は、重ね合わせ手段９から重ね合わせ画像データを受け取り、ビデオ信号に変換する。
【００２２】
ビデオ出力手段１１は、D/A変換手段１０で変換されたビデオ信号を、外部の装置に出力する。
【００２３】
比較用画像記憶手段４、比較用画像更新手段５の機能についての詳細を説明する。ここでは比較用画像データの更新ルールについて、過去５フレームの画像データから比較用画像データを作成、更新する平均法について説明する。
【００２４】
まず、A/D変換手段２から１フレーム目の現画像データが比較用画像記憶手段４に入力されると、比較用画像記憶手段４は１フレーム目の現画像データが入力されたことを比較用画像更新手段５に通知する。通知を受け取った比較用画像更新手段５は、比較用画像記憶手段４にその現画像データを記憶するよう指示する。比較用画像記憶手段４からの指示を受けた比較用画像記憶手段４は、１フレーム目の現画像データを記憶する。
【００２５】
その後２フレーム目以降の現画像データも同様に比較用画像記憶手段４に記憶されていく。５フレーム目の現画像データが比較用画像記憶手段４に入力されると、比較用画像記憶手段４からの通知を受けた比較用画像更新手段５は、比較用画像記憶手段４に１〜５枚目のフレームから比較用画像データを作成するよう指示する。指示を受けた比較用画像記憶手段４は、これまで記憶していた１フレーム目から５フレーム目までの現画像データを平均した比較用画像データを作成する。平均とはすなわち、５フレームの現画像データを画素単位で加算し、その和をフレーム数５で割ることにより平均値を求めることである。このように作成された比較用画像データは、６〜１０フレーム目までの現画像データとの比較に用いられる。
【００２６】
１〜５フレーム目までの各現画像データについては、例えば、平均された比較用画像データが作成されるまでは現画像記憶手段３に記憶しておき、平均された比較用画像データが作成されると各現画像フレームと比較することとしてよい。すなわち、１〜５フレーム目までの各現画像データについても、１フレーム目から５フレーム目までの現画像データを平均した比較用画像データと比較されることとなる。
【００２７】
次に６フレーム目の現画像データが入力されてくると、比較用画像更新手段５は比較用画像記憶手段４に再び記憶指示を行い、１０フレーム目までの現画像データが入力された時点で６〜１０フレーム目の現画像データを平均した比較用画像データが新たに作成され比較用画像の更新が行われる。以降も同様である。なお、上記説明では５フレームごとに平均の比較用画像データを更新するものとしたが、このフレーム数は５に限定されないことは言うまでもない。
【００２８】
次に、実施の形態１の動作について説明する。図９は、実施の形態１の動作を説明するフローチャートを示す図である。
【００２９】
カメラ等の外部装置からビデオ信号がビデオ入力手段１に入力されると、処理が開始され、A/D変換手段２でデジタル変換された現画像データが得られる（ステップＳ１）。
【００３０】
得られた現画像データは現画像記憶手段３に記憶される（ステップＳ２）。また、現画像データは比較用画像記憶手段４にも出力され、比較用画像データ作成用の記憶領域に記憶される。
【００３１】
次に、現画像データと比較用画像データとを比較し変化領域を抽出する（ステップＳ３〜Ｓ６）。比較用画像データが更新されない場合（ステップＳ３−Ｎｏ）、現画像データと更新される前の比較用画像データ（すなわち比較用画像記憶手段４に既に記憶されている比較用画像データ）とから差分を計算し、変化領域が抽出される（ステップＳ４）。
【００３２】
比較用画像データが更新される場合（ステップＳ３−Ｙｅｓ）、比較用画像データの更新処理がなされ（ステップＳ５）、新たに作成された比較用画像データが比較用画像記憶手段４に記憶される。それまで記憶されていた更新前の比較用画像データについては廃棄してもよい。そして、現画像データと更新後の比較用画像データとから差分を計算し、変化領域が抽出される（ステップＳ６）。
【００３３】
変化領域抽出手段６において変化領域が抽出されると、マスク領域設定手段７は、変化領域内の各輝度値を２値化して求めたシルエットの外接矩形領域を人物領域と判定し、人物領域の一部もしくは全部をマスク領域として設定する（ステップＳ７）。
【００３４】
次に、第１のマスク画像作成手段８はマスク領域内を覆う第１のマスク画像を作成する（ステップＳ８）。
【００３５】
そして、重ね合わせ手段９において現画像と第１のマスク画像作成手段８が作成した第１のマスク画像とが重ね合わせられ、現画像中のマスク領域を覆った重ね合わせ画像が作成される（ステップＳ９）。そして、D/A変換手段１０でビデオ信号に変換され、出力される（ステップＳ１０）。
【００３６】
図１０は、１〜４フレーム分の現画像について作成された、マスクを重ね合わせた画像を示す。各フレームの現画像についてマスク領域に第１のマスク画像が重ね合わせられており、移動する人物に追従してマスキング処理が行われている。
【００３７】
以上のように実施の形態１によれば、各フレーム毎に現画像と比較用画像（背景画像）とを比較して変化領域を抽出し、その変化領域から人物が存在する人物領域を求め人物領域の一部もしくは全部に設定されたマスク領域に第１のマスク画像を重ね合わせるので、画像中の人物の移動に追従した動的なマスキング処理をすることができ、撮影される人物のプライバシー保護を十分に図ることができる。
【００３８】
また、マスク領域設定手段７はシルエットの範囲そのものを人物領域として判定せず、シルエットの外接矩形を人物領域と判定することにより、２値化誤差による影響を補償することができる。つまり、閾値によっては、シルエットにおける人物の顔の部分が消えたりする場合がある。そのような場合にシルエット範囲をそのまま全て人物領域としてしまうと、人物の顔がある領域に第１のマスク画像を合成できなくなりプライバシー保護が十分に図れないようになってしまう。そういったことから、シルエットの外接矩形領域を人物領域と判定することにより、プライバシーを保護したい人物を的確に第１のマスク画像で隠すことができるとともに、人物以外の範囲は十分に視認することが可能となる。
【００３９】
上記説明においてはシルエットの外接矩形を人物領域と判定することとしたが、これに限定されるものではない。
【００４０】
第１のマスク画像作成手段８で作成される第１のマスク画像の一例として、図６に示す人物領域内全てをマスク領域とした第１のマスク画像について説明したが、これに限定されるものではない。例えば図１１に示すように、人物領域内の上方２分の１をマスク領域と設定した第１のマスク画像としてもよい。図１１の黒色で囲まれた領域がマスク領域で、破線で囲まれた領域が人物領域である。図１２は、図１１の第１のマスク画像と図１０の１〜４フレームの現画像との重ね合わせ画像を示す。このように、人物領域の上方２分の１をマスク領域にとった第１のマスク画像を現画像と重ね合わせることによって人物領域の下半分がマスク画像で覆われなくなるので、監視映像を見る管理者は、人物が通過していることを明確に把握でき、その移動方向についても確認することができる。人物領域の上方２分の１をマスク領域とした場合、「画面中の歩行者を、個人が分からないように目隠しする」という条件１、「個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい」という条件２、「マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい」という条件３を充足し、個人情報の尊重と効率的な監視の要請を両立させることができる。マスク領域は人物領域の上方２分の１ではなく、４分の１、８分の１等にしてもよい。
【００４１】
実施の形態２．
図１３〜図１７を用いて実施の形態２を説明する。実施の形態１では現画像のマスク領域にマスク画像を重ね合わせることによりマスキング処理を行っていたが、実施の形態２ではマスク領域にモザイク処理した第２のマスク画像を重ね合わせることによりマスキング処理を行う。
【００４２】
図１５は実施の形態２の監視用画像処理装置を示す構成図である。実施の形態１に相当する部分には図１と同一の符号を付してその説明を省略する。実施の形態２の監視用画像処理装置は、実施の形態１の構成に加え第２のマスク画像作成手段１２を新たに備える。
【００４３】
第２のマスク画像作成手段１２は、第１のマスク画像作成手段８から出力された第１のマスク画像データから、モザイク処理した第２のマスク画像を作成する。図１３は、第２のマスク画像の例である。
【００４４】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と、第２のマスク画像作成手段１２で記憶される第２のマスク画像とを重ね合わせた重ね合わせ画像を作成する。図１４は一例として図２の現画像と図１３の第２のマスク画像との重ね合わせ画像を示す。図１３のマスク部分（黒色部分）にはマスク画像（例：グレー等の輝度値色差値固定の画像）が入力され、非マスク部分（白色部分）には現画像データが入力されたままとなる。
【００４５】
そのため図１４の重ね合わせ画像において、歩行者の行動がある程度把握出来る様になる。例えば、不審物を置いて立ち去ったとか、器物を破損させて立ち去った等の、おおよその行動の把握が可能となってくる。この部分は、上部を完全にマスクした「実施例１」では、対応出来ない部分である。
【００４６】
次に、実施の形態２の動作について説明する。図１７は、実施の形態２の動作を説明するフローチャートを示す図である。ステップＳ０１からステップＳ０８までは実施の形態１におけるステップＳ１からステップＳ８の動作と同様であるため、その説明を省略する。
【００４７】
第１のマスク画像作成手段８において第１のマスク画像が作成されると、第２のマスク画像作成手段１２はモザイク処理されたマスク画像データを作成し、記憶する（ステップＳ０９）。
【００４８】
次に、重ね合わせ手段９は現画像と第２のマスク画像とを重ね合わせて重ね合わせ画像を作成する（ステップＳ０１０）。D/A変換手段１０でビデオ信号に変換し、ビデオ出力手段１１から出力する（ステップＳ０１１）。
【００４９】
以上のように実施の形態２によれば、モザイク処理されたマスク画像を現画像に重ね合わせるので、画像中の人物の移動に追従した動的なマスキング処理をすることができ、実施の形態１と同様、撮影される人物のプライバシーの保護を十分に図ることができる。
【００５０】
また実施の形態２において、人物のプライバシーを保護しつつ管理者はある程度その人物の行動を把握することができ、さらに、実施の形態１と比較して人物以外の箇所（比較用）についての視認性を向上させることができる。
【００５１】
つまり、画面中の歩行者を、個人が分からないように目隠しする」という条件１、「個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい」という条件２、「マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい」という条件３を充足し、個人情報の尊重と効率的な監視の要請を両立させることができる。更なる効果として、歩行者の行動がある程度把握出来る様になる。例えば、不審物を置いて立ち去ったとか、器物を破損させて立ち去った等の、おおよその行動の把握は、上記説明の実施の形態１のように、上部を完全にマスクした場合、対応出来ないが、上記説明の実施の形態２では可能である。さらに、マスク画像は歩行者に付いて追跡して行くため、歩行者以外の視界を遮ることはないので、常に最適の視界を確保しており、効率的な監視がさらに保障される。以上の通り、条件１〜３を満足したうえ歩行者の行動がある程度把握出来る、効率と視認性のよいマスク処理を実施しうる。
【００５２】
実施の形態３．
実施の形態３を説明する。
実施の形態２では現画像のマスク領域にモザイク状のマスク画像を重ね合わせることによりマスキング処理を行っていたが、実施の形態３ではマスク領域に比較用画像を重ね合わせることによりマスキング処理を行う。
【００５３】
実施の形態３の監視用画像処理装置は、図１５における実施の形態２と構成は同じで、第２のマスク画像作成手段１２の動作が異なる。
【００５４】
第２のマスク画像作成手段１２は、第１のマスク画像作成手段８から出力されたモザイク処理されたマスク画像データのマスク部分に、比較用画像記憶手段４から入力された比較用画像データを埋め込む。
第２のマスク画像は、マスク領域（黒色部分）に比較用画像データの対応画素が入力された画像である。
【００５５】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と、第２のマスク画像作成手段１２で記憶される第２のマスク画像とを重ね合わせた重ね合わせ画像を作成する。図１６は一例として図２の現画像とマスク領域（黒色部分）に比較用画像データの対応画素が入力された第２のマスク画像との重ね合わせ画像を示す。図１３のマスク部分（黒色部分）には比較用画像データ画像が入力され、非マスク部分（白色部分）には現画像データが入力された画像となる。
【００５６】
そのため図１６の重ね合わせ画像において、第２のマスク箇所については比較用画像となり、あたかも人間が半透明化されたような透かし効果が得られる。
【００５７】
人物領域のうち人物が存在しない箇所については何の処理もされていないような完全透明化効果が得られる。実際には人物が存在しない箇所についても現画像データと比較用画像データの画像がモザイク状に配置されているのだが、そこでは２つの画像の差異が殆どないため、何も処理されていないように見える。
【００５８】
次に、実施の形態３の動作について説明する。図１８は、実施の形態３の動作を説明するフローチャートを示す図である。ステップＳ０１からステップＳ０８までは実施の形態２におけるステップＳ０１からステップＳ０８の動作と同様であるため、その説明を省略する。
【００５９】
第１のマスク画像作成手段８において第１のマスク画像が作成されると、第２のマスク画像作成手段１２はモザイク処理されたマスク画像データのマスク箇所に比較用画像データを埋め込んだ第２のマスク画像データを作成し、記憶する（ステップＳ０９）。
【００６０】
次に、重ね合わせ手段９は現画像と第２のマスク画像とを重ね合わせて重ね合わせ画像を作成する（ステップＳ０１０）。現画像と第２のマスク画像とが重ね合わせられた重ね合わせ画像が作成される。D/A変換手段１０でビデオ信号に変換し、ビデオ出力手段１１から出力する（ステップＳ０１１）。
【００６１】
以上のように実施の形態３によれば、モザイク状に比較用画像データと現画像交互に配置されているので、撮影された人物を半透明化することができるとともに、撮影された人物以外の箇所については何の処理も行われていないように見せることができる。すなわち、実質上撮影された画像中の人物のみにマスキング処理（半透明化処理）を行うことができる。そうすることにより、人物のプライバシーを保護しつつ管理者はある程度その人物の行動を把握することができ、さらに、実施の形態２と比較して人物以外の箇所（比較用）についての視認性を向上させることができる。
【００６２】
つまり、画面中の歩行者を、個人が分からないように目隠しする」という条件１、「個人を特定できなくても、歩行者が通過したことは認識出来る様にしたい」という条件２、「マスク画像は画面全景の２割程度とし、８割程度は常時撮影したい」という条件３を充足し、個人情報の尊重と効率的な監視の要請を両立させることができる。更なる効果として、歩行者の行動がある程度把握出来る様になる。例えば、不審物を置いて立ち去ったとか、器物を破損させて立ち去った等の、おおよその行動の把握は、上記説明の実施の形態１のように、上部を完全にマスクした場合、対応出来ないが、上記説明の実施の形態３では可能である。さらに、マスク画像は歩行者に付いて追跡して行くため、歩行者以外の視界を遮ることはないので、常に最適の視界を確保しており、効率的な監視がさらに保障される。以上の通り、条件１〜３を満足したうえ歩行者の行動がある程度把握出来る、効率と視認性のよいマスク処理を実施しうる。
【００６３】
実施の形態４．
図１９を用いて実施の形態４を説明する。実施の形態４は、実施の形態３のマスク画像を全画面に拡張したマスキング処理を行う。すなわち、本実施の形態は、実施の形態１、２、３と比較して、そのマスク領域を現画像の全領域（全画面）としている点で異なる。実施の形態１、２、３のように現画像と比較用画像との比較から変化領域の抽出を行い人物領域を判定してからマスク領域を設定するという作業は行わない。
【００６４】
図１９は実施の形態４の監視用画像処理装置を示す構成図である。実施の形態３に相当する部分には図１５と同一の符号を付してその説明を省略する。実施の形態４の監視用画像処理装置は第３のマスク画像作成手段１３を備え、実施の形態３における変化領域抽出手段６、マスク領域設定手段７、第１のマスク画像作成手段８を備えていない構成となる。
【００６５】
第３のマスク画像作成手段１３は、全画面についてモザイク処理を行い、そのモザイク部分に比較用画像データを埋め込んだ第３のマスク画像を作成し記憶する。
【００６６】
重ね合わせ手段９は、現画像記憶手段３に記憶される現画像と、マスク画像処理手段１２で記憶された第３のマスク画像とを重ね合わせて重ね合わせ画像を作成する。このように作成された重ね合わせ画像は、図１６の重ね合わせ画像と同様に、人物は半透明化されるとともに人物以外の箇所については何の処理も行われていないように見える。このように現画像に第３のマスク画像を重ね合わせた重ね合わせ画像についても（すなわちマスク領域を全画面に拡大しても）、人物以外の領域については現画像と比較用画像とでほとんど差異がないため（画像がつながっているため）同様の結果が得られる。
【００６７】
以上のように実施の形態３によれば、実施の形態３と同様の効果を有することに加え、現画像と比較用画像とから差分を計算して変化領域抽出処理、マスク領域設定処理を行うことが不要となるので、実施の形態３よりも安価でかつ小規模な監視用画像処理装置で実施の形態３と同様の効果を得ることができる。
【符号の説明】
【００６８】
１ ビデオ入力手段
２ A/D変換手段
３ 現画像記憶手段
４ 比較用画像記憶手段
５ 比較用画像更新手段
６ 変化領域抽出手段
７ マスク領域設定手段
８ 第１のマスク画像作成手段
９ 重ね合わせ手段
１０ D/A変換手段
１１ ビデオ出力手段
１２ 第２のマスク画像作成手段
１３ 第３のマスク画像作成手段
【特許請求の範囲】
【請求項１】
監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、
前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、
前記現画像と前記比較用画像とを比較し変化領域を抽出する変化領域抽出手段と、
前記変化領域内の各輝度値を所定の閾値で２値化し、該２値化後の結果に基づいて前記現画像内のマスキングする領域を設定するマスク領域設定手段と、
前記マスク領域内を覆う第１のマスク画像を作成する第１のマスク画像作成手段と、
前記現画像の前記マスク領域に前記第１のマスク画像を重ね合わせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする監視用画像処理装置。
【請求項２】
前記マスク領域設定手段は、前記２値化により抽出した領域の外接矩形を人物領域として判定し、該人物領域の一部または全部を前記マスク領域として設定することを特徴とする請求項１に記載の監視用画像処理装置。
【請求項３】
前記比較用画像を所定のルールに基づいて更新する比較用画像更新手段を有することを特徴とする請求項１または２に記載の監視用画像処理装置。
【請求項４】
前記第１のマスク画像をモザイク処理した第２のマスク画像を作成する第２のマスク画像作成手段を有し、
前記重ね合わせ手段は前記現画像の前記マスク領域に前記第２のマスク画像を重ね合わせることを特徴とする請求項１乃至３のいずれかに記載の監視用画像処理装置。
【請求項５】
前記第２のマスク画像の一部には前記比較用画像の画素が入力されていることを特徴とする請求項４に記載の監視用画像処理装置。
【請求項６】
監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、
前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、
前記現画像の全画面を覆うとともに、モザイク処理され一部に前記比較用画像の画素が入力される第３のマスク画像を作成する第３のマスク画像作成手段と、
前記現画像に前記第３のマスク画像を重ねあわせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする監視用画像処理装置。
【請求項１】
監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、
前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、
前記現画像と前記比較用画像とを比較し変化領域を抽出する変化領域抽出手段と、
前記変化領域内の各輝度値を所定の閾値で２値化し、該２値化後の結果に基づいて前記現画像内のマスキングする領域を設定するマスク領域設定手段と、
前記マスク領域内を覆う第１のマスク画像を作成する第１のマスク画像作成手段と、
前記現画像の前記マスク領域に前記第１のマスク画像を重ね合わせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする監視用画像処理装置。
【請求項２】
前記マスク領域設定手段は、前記２値化により抽出した領域の外接矩形を人物領域として判定し、該人物領域の一部または全部を前記マスク領域として設定することを特徴とする請求項１に記載の監視用画像処理装置。
【請求項３】
前記比較用画像を所定のルールに基づいて更新する比較用画像更新手段を有することを特徴とする請求項１または２に記載の監視用画像処理装置。
【請求項４】
前記第１のマスク画像をモザイク処理した第２のマスク画像を作成する第２のマスク画像作成手段を有し、
前記重ね合わせ手段は前記現画像の前記マスク領域に前記第２のマスク画像を重ね合わせることを特徴とする請求項１乃至３のいずれかに記載の監視用画像処理装置。
【請求項５】
前記第２のマスク画像の一部には前記比較用画像の画素が入力されていることを特徴とする請求項４に記載の監視用画像処理装置。
【請求項６】
監視対象エリアの現在の画像である現画像を記憶する現画像記憶手段と、
前記現画像と比較するための比較用画像を記憶する比較用画像記憶手段と、
前記現画像の全画面を覆うとともに、モザイク処理され一部に前記比較用画像の画素が入力される第３のマスク画像を作成する第３のマスク画像作成手段と、
前記現画像に前記第３のマスク画像を重ねあわせた重ね合わせ画像を作成する重ね合わせ手段とを有することを特徴とする監視用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１７４１８６（Ｐ２０１２−１７４１８６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８３６１（Ｐ２０１１−３８３６１）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]