説明

撮像装置および映像処理装置

【課題】撮像により得られた映像においてプライバシー保護領域でのマスク処理を維持しつつ、該保護領域内に入った監視対象の被写体がマスクされないようにする。
【解決手段】映像処理装置は、撮像装置による第1の被写体を含むシーンの撮像により生成された映像のうち該第1の被写体が写った第1の領域602にマスク処理を行うマスク処理手段と、撮像装置から被写体までの距離に関する情報を用いて、映像における第1の領域内に第1の被写体よりも近い距離に位置する第2の被写体603が写ったことを検出する検出手段とを有する。マスク処理手段は、第1の領域のうち、第2の被写体が写っている第2の領域でのマスク処理を解除し、該第2の領域以外の領域でのマスク処理を維持した出力映像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像監視システムに用いられる撮像装置や映像処理装置に関し、特に撮像により得られた映像の一部にマスク処理を行う装置に関する。
【背景技術】
【0002】
店舗、集合住宅、道路、商店街等に設けられる映像監視システムは、監視カメラによる撮像により得られた映像をモニタリングしたり記録したりすることで、非常時の速やかな対処を可能としたり、事後の問題解決を容易にしたりする。ただし、監視カメラによる撮像範囲(監視範囲)内には、プライバシーを保護すべき被写体が存在する場合があり、そのような被写体の映像を除外する必要がある。
特許文献1には、監視カメラからの映像にプライバシー保護領域を設定し、該プライバシー保護領域をマスク処理して表示されないようにする一方、該保護領域内に監視対象の被写体が入り込んだ場合にはマスク処理を解除する映像監視システムが開示されている。また、特許文献2には、マスク処理を行った後の映像上で動き領域を検出することに応じて、該マスク処理を解除する映像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−61076号公報
【特許文献2】特開2006−304250号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1にて開示されたシステムでは、保護領域内の映像は、たとえ該保護領域内に保護すべきではない又は保護する必要のない被写体が存在していてもすべてマスクされてしまう。このため、保護領域内に監視が必要な不審者が入り込んだときに、この不審者の映像までがマスクされてしまい、監視カメラとして役に立たなくなる。
また、特許文献2の映像処理装置のように動き領域の検出に応じてマスク処理を解除すると、頻繁に人や車が行き交う場所を監視する場合に、必要なマスク処理を維持することができない。
本発明は、撮像により得られた映像において、プライバシー保護領域でのマスク処理を維持しつつ、該保護領域内に入った監視対象の被写体がマスクされないようにすることができる映像処理装置を提供する。
【課題を解決するための手段】
【0005】
本発明の一側面としての映像処理装置は、撮像装置による第1の被写体を含むシーンの撮像により生成された映像のうち該第1の被写体が写った第1の領域にマスク処理を行うマスク処理手段と、撮像装置から被写体までの距離に関する情報を用いて、映像における第1の領域内に第1の被写体よりも近い距離に位置する第2の被写体が写ったことを検出する検出手段とを有する。そして、マスク処理手段は、第1の領域のうち、第2の被写体が写っている第2の領域でのマスク処理を解除し、該第2の領域以外の領域でのマスク処理を維持した出力映像を生成することを特徴とする。
【発明の効果】
【0006】
本発明によれば、プライバシー保護領域等の第1の領域においてマスクをすべき第1の被写体に対するマスク処理は維持しつつ、該第1の領域内に入ったより近い距離の第2の被写体(例えば、監視対象の被写体)に対するマスク処理を解除することができる。第2の被写体に対するマスク処理を解除する条件を、該第2の被写体が第1の領域内に入った被写体であって、該第1の被写体よりも近い距離の被写体である場合に制限することで、マスク処理を解除する領域と維持する領域とを適切に切り分けることができる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施例1であるネットワークカメラの構成を示すブロック図。
【図2】実施例1のネットワークカメラの動作を説明するフローチャート。
【図3】本発明の実施例2であるネットワークカメラの動作を説明するフローチャート。
【図4】実施例1のネットワークカメラにより生成される映像の例を示す図。
【図5】従来および実施例1のネットワークカメラにより生成される映像の例を示す図。
【図6】実施例1のネットワークカメラにより生成される映像の他の例を示す図。
【図7】実施例1のネットワークカメラを含むネットワークカメラシステムの構成を示すブロック図。
【図8】本発明の実施例2であるネットワークカメラシステムの動作を示すフローチャート。
【図9】実施例3のネットワークカメラシステムの動作を示すフローチャート。
【発明を実施するための形態】
【0008】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例1】
【0009】
図7には、本発明の実施例1であるネットワークカメラおよびクライアントコンピュータにより構成されるネットワークカメラシステムの構成を示す。図7において、701は様々な被写体を含むシーン(撮像範囲)702を撮像して映像データを生成するネットワークカメラ(映像サーバ)である。ネットワークカメラ701は生成した映像データを出力(送信)する。ネットワークカメラ701は、本発明にいう映像処理装置として機能する撮像装置である。
705は利用者及び管理者がネットワークカメラ701から転送された映像データを受信して表示するとともに、ネットワークカメラ701を制御するパーソナルコンピュータ(PC)等のクライアント端末である。703はインターネット等のネットワークであり、該ネットワーク703を介してネットワークカメラ701とクライアント端末705は映像データやカメラ制御信号等を送受信することができる。
撮像された映像データ704は、予め設定されたマスキング処理が施され、ネットワーク703を介して、クライアント端末705に伝送される。
図1には、ネットワークカメラ(以下、単にカメラという)701の構成を示している。101は固定の前玉レンズ(第1レンズ)である。102はズームレンズ(第2レンズ)であり、ステッピングモータ117によって光軸方向に移動されてズーム動作を行う。103はアイリス(絞り)であり、104は固定の第3レンズである。105はフォーカスレンズ(第4レンズ)であり、ステッピングモータ119によって光軸方向に移動されて焦点調節を行う。前玉レンズ101〜フォーカスレンズ105により撮影光学系が構成される。
106はCCDセンサやCMOSセンサ等の光電変換素子により構成され、撮影光学系により形成された被写体像を光電変換する撮像素子である。109は同期信号発生部(TG)、107は自動利得制御部(CDS/AGC)、108はA/D変換部、110は信号処理部、124は撮像に必要な各種データやプログラムが記憶されたメモリである。
122は撮影光学系からの光の中の不要な赤外成分を除去する赤外カットフィルタであり、121はダミーガラスである。ダミーガラス121は、シーンの輝度が低く、赤外カットフィルタ122を用いると十分な明るさの映像が得られない場合に赤外カットフィルタ122に置き換えられる。
123はカメラ701の動作の制御を司るマイクロコンピュータ(コントローラ)である。
125はカメラ701のパンニングおよびチルティングを行って撮影方向を変更する雲台である。116はAE(自動露出)/AWB(オートホワイトバランス)の評価値を検出するAE/AWB処理部である。115はAF(オートフォーカス)の評価値を検出するAF処理部である。
シーン701中の被写体からの光は、撮影光学系を通って撮像素子106の撮像面上に被写体像を形成する。被写体像は撮像素子106によって電気信号(アナログ信号)に変換され、該アナログ信号はAGC部107に入力される。AGC部107で信号増幅が行われたアナログ信号は、A/D変換部108でデジタル信号に変換される。
A/D変換部108からのデジタル信号に対して、信号処理部110にて色分離、ホワイトバランス、ガンマ補正等の映像処理が施されることで映像データ(映像信号)が生成される。撮像素子106、AGC部107、A/D変換部108および信号処理部110により撮像系が構成される。
信号処理部110から出力された映像データには、撮影情報付加部111にて、シャッタースピード等の撮影情報が付加される。そして、この映像データは、画像圧縮部112で圧縮される。
圧縮された映像データは、ネットワークインターフェース113およびネットワーク703を介して、図1に示したクライアント端末(以下、クライアントPCという)705に伝送される。
AF処理部115は、全画面の映像信号のうち所定のAF枠内の映像信号から高周波成分を抽出して該映像信号の鮮鋭度を示すAF評価値を生成する。AF評価値は、コントローラ123に供給され、コントローラ123はAF評価値が最大となるようにフォーカスレンズ105を移動させ、合焦対象の被写体にピントを合わせる。
映像データ上にてマスク処理が行われるプライバシー保護領域(第1の領域)は、例えばクライアントPC705上のアプリケーションを使用して設定され、カメラ701に転送される。また、パンニング、チルティング、ズーミング操作を行った場合でも、適切にプライバシー保護領域をマスキングできるように、映像データに対して随時補正が行われる。
図4(a)には、本実施例のカメラ701による撮像により得られる映像の例を示している。ここでは、カメラ701によって建物の玄関フロア(シーン)の内部を撮像する。この場合に、玄関ドアを通して建物の外に存在する自動車(第1の被写体)601を含む領域をプライバシー保護領域602として設定すると、図4(b)に示すようにプライバシー保護領域602にマスク処理が施された(マスクがかかった)出力映像が得られる。
ここで、映像中に玄関フロア内のカメラ701と玄関ドアとの間を横切る人物(第2の被写体)603が表れた場合、従来のマスク処理では以下のような問題があった。すなわち、プライバシー保護領域602が建物の外の自動車601に対して設定されているにもかかわらず、それよりも近い距離に位置する人物603にも、図5(a)に示すようにマスクがかかってしまい、人物603の一部(又は全体)を表示することができない。
このため、本実施例では、プライバシー保護対象に後述する距離に関する情報を付加することで、プライバシー保護領域602内(第1の領域内)に自動車601よりも近い距離に位置する人物603が写ったことを検出する。人物603はカメラ701を通じた監視対象である。したがって、図5(b)に示すように、自動車601に対するマスク処理を維持しつつ、人物603に対するマスク処理を解除する。これにより、人物603の全体を表示しながら自動車601にマスクがかかった出力映像が得られる。
映像中に人物603が写ったことを検出するための方法の例を以下に説明する。本実施例では、まず映像中の動きを検出する。具体的には、カメラ701からの映像データを構成するフレーム画像を複数(多数)の小領域に分割し、該分割された1つ1つの小領域の平均輝度を求める。そして、第1の時刻で求めた平均輝度と、第1の時刻から所定時間が経過した後の第2の時刻で求めた同じ小領域の平均輝度とを比較し、これらの間に所定の変化が生じたか否かを判定する。そして、このような変化があった小領域がひとかたまりの群を成している場合に、その群の領域で人物等の被写体が動いていると判定する。さらに、本実施例では、該動いている被写体までの距離が所定の近距離範囲に入っているかも判定する。これにより、図5に示すように、自動車601よりも近い距離に位置する人物603がプライバシー保護領域602内に入った(写った)ことを検出することができる。
次に、図2のフローチャートを用いて本実施例のカメラ701(主としてコントローラ123)の動作について説明する。この動作は、コントローラ123内に格納されたコンピュータプログラムに従って実行される。コントローラ123は、距離情報取得手段と、マスク処理手段と、被写体検出手段の機能を有する。
ステップ201では、コントローラ123は、マスク領域の設定データを読み出す。撮像により生成された映像データにおいてマスク処理を行う領域としてのマスク領域(図4および図5に示したプライバシー保護領域602)は、ユーザがクライアントPC705において任意に設定することができる。マスク領域の設定データは、クライアントPC705からネットワーク703を介してカメラ701に送信され、コントローラ123は、受信したマスク領域の設定データを読み出す。なお、マスク領域の設定は、カメラ701において行うことも可能である。
ステップ202では、コントローラ123は、マスクをかける第1の被写体(図4中の自動車601)に対してAFによるピント合わせを行う。そして、ピントが合った状態でのズームレンズ102およびフォーカスレンズ105の位置から、カメラ701から第1の被写体までの距離に関する情報を算出する。なお、ここにいう距離に関する情報とは、1つの数値としての距離であってもよいし、ある幅を持った距離範囲であってもよい。また、必ずしも直接、距離を示す情報でなくてもよく、距離に対応した情報であればよい。以下の説明においては、距離に関する情報が1つの数値としての距離を示すものとし、第1の被写体までの距離を、マスク領域距離という。
ステップ203では、コントローラ123は、雲台125におけるパン角度とチルト角度およびカメラ701のズーム位置(画角)を読み出す。
ステップ204では、コントローラ123は、ステップ201で読み出したマスク領域の設定データとステップ203で読み出したパン角度、チルト角度およびズーム位置とに基づいて、映像データ上にマスク領域を設定し、該マスク領域に対してマスク処理を行う。これにより、例えば図4(b)に示した映像が得られる。
次にステップ205では、コントローラ123は、前述した方法によって映像中(ただし、マスク領域中)の動きを検出する。
ステップ206では、コントローラ123は、マスク領域中において動き、つまりは動く第2の被写体(図5中の人物603)が検出された動き領域(第2の領域)を設定する。
ステップ207では、コントローラ123は、AFによって第2の被写体にピント合わせを行う。そして、ピントが合った状態でのズームレンズ102およびフォーカスレンズ105の位置から、カメラ701から第2の被写体までの距離情報(距離に関する情報)を算出する。ここでの距離情報も、第1の被写体までの距離情報と同様に、1つの数値としての距離であってもよいし、ある幅を持った距離範囲であってもよい。また、必ずしも直接、距離を示す情報でなくてもよく、距離に対応した情報であればよい。
以下の説明においては、距離に関する情報が1つの数値としての距離を示すものとし、第2の被写体までの距離を、動き領域距離という。
ステップ208では、コントローラ123は、動き領域距離が、ステップ202で得られたマスク領域距離よりも所定値以上近い距離範囲内の距離か否かを判定する。図4および図5の例では、マスク領域距離(自動車601までの距離)が5mを示し、所定値を1m(玄関ドアを含む距離範囲)とする場合、動き領域距離情報(人物703までの距離)が4m以下の近距離範囲内の距離を示すか否かを判定する。動き領域距離がマスク領域距離よりも所定値以上近い距離範囲内の距離であればステップ210に進み、そうでなければステップ209に進む。
ステップ209では、コントローラ123は、マスク領域全体のマスク処理を維持した出力映像を生成する。そして、ステップ211に進む。
ステップ210では、コントローラ123は、マスク領域のうち動き領域ではマスク処理を解除し、動き領域以外(第2の領域以外)の領域(人物703が存在せずに自動車601のみが存在している領域)ではマスク処理を維持した出力映像を生成する。そして、ステップ211に進む。
ステップ211では、コントローラ123は、生成した出力映像をネットワーク703を介してクライアントPC705に配信する。
以上説明したように、本実施例によれば、プライバシー保護領域に距離情報を付加することにより、プライバシー保護対象と監視対象との判別が容易となる。このため、プライバシー保護対象についてはマスクをかけ、監視対象についてはマスクをかけることなく表示する出力映像を生成することができる。
また、前述したように、本実施例では、動き領域距離がマスク領域距離よりも所定値以上近い距離範囲内の距離である場合に限って動き領域のマスク処理を解除する。これにより、図6に示すように、建物の外であるが自動車601よりも手前(近い距離の位置)に人物604が表れた場合に、この人物604に対するマスク処理が解除されてしまうことを回避できる。すなわち、人物604が表れた場合でも、図5(b)に示すような出力映像が得られる。
なお、本実施例では、ズームレンズ102およびフォーカスレンズ105の位置から被写体までの距離情報を算出(取得)する場合について説明したが、不図示の外部測距センサを用いて被写体までの距離情報を取得するようにしてもよい。
【実施例2】
【0010】
図3のフローチャートには、本発明の実施例2であるネットワークカメラの動作を示している。本実施例のネットワークカメラおよびこれを含むネットワークカメラシステムの構成は実施例1と基本的に同じであるので、ここでの説明は省略する。また、実施例1と共通する又は同様の機能を有する構成要素には、実施例1と同じ符号を付す。
本実施例では、マスク領域を複数のブロックに細分化し、マスク領域距離よりも近い距離の範囲において動き検出がなされていない状態のフレーム画像をブロック単位で基準情報(言い換えれば、基準画像)として設定し、不図示の画像メモリに保存する。そして、ブロックごとに、順次得られるフレーム画像の輝度、色相およびAF評価値(鮮鋭度)を基準情報のそれらと比較し、差が発生した場合にマスク領域中に新たな被写体(第2の被写体)が表れた(写った)と判定する。この新たな被写体は、静止した被写体であってもよい。
ステップ301からステップ305での処理は、実施例1(図2)にて説明したステップ201からステップ205での処理と同じである。
ステップ306では、コントローラ123は、実施例1のステップ206〜208と同様にして、マスク領域距離よりも近距離範囲において動きが検出されたか否かを判定する。動きが検出された場合はステップ308に進み、検出されない場合はステップ307に進む。
ステップ307では、コントローラ123は、上述した基準情報を画像メモリに取り込む(更新する)。
ステップ308では、コントローラ123は、現在のフレーム画像の輝度、色相およびAF評価値を基準情報のそれらと比較する。すなわち、映像の輝度、色相およびAF評価値における変化を検出する。
ステップ309では、コントローラ123は、映像の変化がマスク領域内で発生したか否かを判定する。マスク領域内で映像の変化が発生した場合はステップ311に進み、マスク領域外で映像の変化が発生した場合はステップ310に進む。
ステップ310では、コントローラ123は、マスク領域全体のマスク処理を維持した出力映像を生成する。そして、ステップ312に進む。
ステップ311では、コントローラ123は、マスク領域のうち映像の変化が発生した領域(第2の領域)についてはマスク処理を解除し、動き領域以外の領域についてはマスク処理を維持した出力映像を生成する。そして、ステップ312に進む。
ステップ312では、コントローラ123は、生成した出力映像をネットワーク703を介してクライアントPC705に配信する。
本実施例によれば、マスク領域中に基準画像に対して相違する部分が発生した場合にはその相違部分のマスク処理を解除するので、マスク領域内に危険物(静止物)が置き去りにされたような場合でもこれを検出することが可能となる。
なお、基準画像に対する各フレーム画像中の相違部分の発生の有無は、前述した輝度、色相およびAF評価値だけでなく、被写体までの距離情報や画像の高調波成分の評価によっても検出が可能である。
【実施例3】
【0011】
本発明の実施例3であるネットワークカメラシステムについて説明する。本実施例のネットワークカメラシステムの構成は実施例1(図7)と同じである。また、ネットワークカメラの構成も基本的には実施例1(図1)と同じである。
図7において、クライアントPC705は、利用者及び管理者がネットワークカメラ701から転送された映像データを受信して記録する録画サーバとして機能する。また、クライアントPC705は、該映像データを表示するとともに、ネットワークカメラ701を制御する。録画サーバは、監視映像、マスキング設定領域およびマスキングデータの送信を行う。録画サーバ上でも、通常再生時には、マスク処理を施した上で表示を行う。
プライバシー保護領域での監視対象の被写体に対するマスキングの解除処理は、クライアントPC705、つまりは録画サーバ上でも可能である。これにより、映像情報がマスキングによって欠落することなく伝送でき、かつ暗号化を施すことで、画像の流出等も防止できる。また、必要であれば、マスク設定を解除することで、映像を欠落することなく精査可能となる。
図8のフローチャートには、本実施例のネットワークカメラ701の動作を示している。
ステップ401からステップ409での処理は、実施例2(図3)にて説明したステップ301からステップ309での処理と同じである。
ステップ409において映像の変化がマスク領域内で発生したと判定した場合は、コントローラ123はステップ411に進み、マスク領域外で映像の変化が発生したと判定した場合はステップ410に進む。
ステップ410では、コントローラ123は、マスク領域全体のマスク処理を維持した出力映像を生成する。そして、ステップ412に進む。
ステップ411では、コントローラ123は、マスク領域のうち映像の変化が発生した領域(第2の領域)についてはマスク処理を解除し、動き領域以外の領域についてはマスク処理を維持した出力映像を生成する。そして、ステップ412に進む。
ステップ412では、コントローラ123は、ステップ410,411におけるマスク処理(またはその解除処理)に関する情報(以下、マスク処理情報という)を付加した出力映像を暗号化する。
そして、ステップ412では、コントローラ123は、暗号化した出力映像とマスク処理情報をネットワーク703を介してクライアントPC705に配信する。
図9のフローチャートには、本実施例のクライアントPC705の動作を示している。
ステップ501では、クライアントPC705は、ネットワークカメラ701から転送された、暗号化された映像データおよびマスク処理情報を受信する。本実施例では、コントローラ123およびクライアントPC705がマスク処理手段として機能する。
ステップ502では、クライアントPC705は、映像データの暗号を解除する。
そして、ステップ503では、クライアントPC705は、マスク処理情報を読み出す。
ステップ504では、クライアントPC705は、マスク処理を行わないことを示すマスク解除コードが入力されたか否かを判定する。該マスク解除コードが入力されない場合はステップ505に進み、該マスク解除コードが入力された場合はステップ506に進む。
ステップ505では、クライアントPC705は、マスク処理情報に従って、映像データに対するマスク処理を行う。そして、ステップ506に進む。
ステップ506では、マスク処理がなされた又はマスク処理がなされていない映像データをモニタに表示する。そして、本処理を終了する。
このように、ネットワークを前提としたネットワークカメラシステムでは、ネットワークカメラとクライアントとの間での暗号化通信が可能であり、保存した映像データにもセキュリティを施すことが可能である。そして、再生時に常にマスキングした画像を表示さすることが可能である。
また、アクセス権のレベルを設定することにより、プライバシー保護領域を解除した映像の再生も可能となる。
プライバシー保護領域に距離情報を加えることで、動き検出された監視対象の測距により、プライバシー保護領域内での動体か、監視対象の動きかを見分けることが可能となり、より正確なマスク解除が可能となる。
【0012】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0013】
撮像により得られた映像においてプライバシー保護領域でのマスク処理を維持しつつ、該保護領域内に入った監視対象の被写体がマスクされない映像処理装置を提供できる。
【符号の説明】
【0014】
123 コントローラ
601,603 被写体
602 マスク領域(プライバシー保護領域)
701 ネットワークカメラ
705 クライアント端末(PC)

【特許請求の範囲】
【請求項1】
撮像により生成された映像を処理する映像処理装置であって、
第1の被写体を含むシーンの撮像により生成された映像のうち該第1の被写体が写った第1の領域にマスク処理を行うマスク処理手段と、
前記撮像を行う撮像装置から被写体までの距離に関する情報を用いて、前記映像における前記第1の領域内に前記第1の被写体よりも近い距離に位置する第2の被写体が写ったことを検出する被写体検出手段とを有し、
前記マスク処理手段は、前記第1の領域のうち、前記第2の被写体が写っている第2の領域での前記マスク処理を解除し、該第2の領域以外の領域での前記マスク処理を維持した出力映像を生成することを特徴とする映像処理装置。
【請求項2】
前記被写体検出手段は、前記映像の輝度、色相および鮮鋭度のうち少なくとも1つの変化に基づいて、前記第1の領域内に前記第2の被写体が写ったことを検出することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
撮像により映像を生成する撮像系と、
請求項1又は2に記載の映像処理装置とを有することを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−130271(P2011−130271A)
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願番号】特願2009−287984(P2009−287984)
【出願日】平成21年12月18日(2009.12.18)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】