画像処理装置
【課題】プライバシーマスクによって被写体を適切に隠すことが可能な画像処理装置を提供する。
【解決手段】監視カメラ１０は、画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、一の画像における被写体の特徴量に基づいて、他の画像における被写体の位置を検出する被写体検出部１４と、ズーム及び回転による被写体の画像内における移動に応じて、プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部１６と、を備え、プライバシーマスク表示演算部１６は、ズーム時には、被写体検出部によって検出された被写体の位置に基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、プライバシーマスクが前記被写体を追跡するようにプライバシーマスクの位置を補正する。
【解決手段】監視カメラ１０は、画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、一の画像における被写体の特徴量に基づいて、他の画像における被写体の位置を検出する被写体検出部１４と、ズーム及び回転による被写体の画像内における移動に応じて、プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部１６と、を備え、プライバシーマスク表示演算部１６は、ズーム時には、被写体検出部によって検出された被写体の位置に基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、プライバシーマスクが前記被写体を追跡するようにプライバシーマスクの位置を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像にプライバシーマスク処理を施す画像処理装置に関する。
【背景技術】
【０００２】
近年、盗難等の犯罪防止用、事故、事件等の証拠記録用として、街角、マンションの入口、店内等に監視カメラを設置し、撮影箇所において長時間撮影対象物を撮影することにより対象物体の状況や推移をリアルタイムに観察するとともに、撮影した画像をハードディスクドライブ等の記憶装置に記憶させる監視カメラシステムが普及しており、記憶装置に記憶されている画像が、後の分析や事件の証拠として用いられている。一方、看板が写ってしまって住所が特定されてしまったり、窓から建物の内部が写ってしまったりする等、プライバシーの侵害につながる画像が含まれるケースも生じることから、監視カメラで撮影した画像に対して、その一部を隠すためのマスク、いわゆるプライバシーマスクを付加する技術が開発されている（特許文献１参照）。特許文献１に記載された技術では、パン、チルトといった監視カメラの回転に応じてマスクの位置を補正することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−０１５３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的な監視カメラにおいて、光学中心と画像中心とは一致しておらず、また、これらのズレ量及び方向は、監視カメラごとに個体差がある上、監視カメラと被写体との距離によっても変わってしまう。しかしながら、特許文献１に記載された技術では、かかる不一致を考慮していないため、ズーム時にはマスクで隠すべき被写体が見えてしまうおそれがある。
【０００５】
本発明は、前記した問題を解決すべく創案されたものであり、プライバシーマスクによって適切に被写体を隠すことが可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明の画像処理装置は、ズーム機能及び回転機能を有するカメラによって撮像された画像を処理する画像処理装置であって、画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、一の前記画像における前記被写体の特徴量に基づいて、他の前記画像における前記被写体の位置を検出する被写体検出部と、ズーム及び回転による前記被写体の画像内における移動に応じて、前記プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部を備え、前記プライバシーマスク表示演算部は、ズーム時には、前記被写体検出部によって検出された前記被写体の位置に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、プライバシーマスクによって適切に被写体を隠すことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る監視システムを模式的に示す図である。
【図２】図１の画像信号処理部を示すブロック図である。
【図３】図２の検波処理部を示すブロック図である。
【図４】図１の被写体検出部を示すブロック図である。
【図５】図４の記憶部に記憶された情報を説明するための図である。
【図６】ズーム後の被写体の検出手法の一例を説明するための図である。
【図７】移動ベクトル計算部による移動ベクトル決定手法の詳細を説明するための図である。
【図８】図１のプライバシーマスク設定部及びプライバシーマスク表示演算部を示すブロック図である。
【図９】（ａ）は、プライバシーマスクが付加される前の画像を示す図、（ｂ）は、プライバシーマスクが付加された画像を示す図である。
【図１０】プライバシーマスクを付加する際の３次元図である。
【図１１】（ａ）は、光学中心と画像中心とが一致する場合のズームによる被写体の広がりを説明するための図であり、（ｂ）は光学中心と画像中心とがずれている場合のズームによる被写体の広がりを説明するための図である。
【図１２】本発明の実施形態に係る監視システムの第一の動作例を説明するための図である。
【図１３】本発明の実施形態に係る監視システムの第二の動作例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。以下の説明において、プライバシーマスクが付加される被写体は、窓、写真、看板等といった静止している被写体、すなわち静止対象物（静止物体）であり、被写体の移動とは、ズーム及び回転による被写体の画像内における大きさの変化、位置の変化を指す。
【００１０】
まず、本発明の実施形態に係る監視システムの構成について、図１〜図９を参照して説明する。
【００１１】
図１に示すように、本発明の実施形態に係る監視システム１は、監視カメラ１０と、端末２０と、を備えており、監視カメラ１０及び端末２０は、ネットワークＮＷを介して通信可能に接続されている。
【００１２】
＜端末＞
本発明の実施形態に係る端末２０は、キーボード、マウス等からなる入力部２１と、制御部２２と、記憶部２３と、ディスプレイからなる表示部２４とを備えるコンピュータである。端末２０の制御部２２は、監視カメラ１０から送信された映像を記憶部２３に記憶させたり表示部２４に表示させたりする。また、端末２０の制御部２２は、ユーザによる入力部２１の操作（例えば、マウスのドラッグ操作による閉領域の指定等）に基づいて、監視カメラ１０によって撮像された映像にプライバシーマスクを設定する被写体の位置に関する位置情報を生成し、ネットワークＮＷを介して監視カメラ１０へ送信する。また、端末２０の制御部２２は、ユーザによる入力部２１の操作に基づいて、監視カメラ１０の撮像部１１のズーム機構１１ａ及び回転機構１８を駆動させるための信号をネットワークＮＷを介して監視カメラ１０の機構制御部１７へ送信する。
【００１３】
＜監視カメラ＞
本発明の実施形態に係る監視カメラ１０は、撮像部１１と、画像信号処理部１２と、記憶部１３と、被写体検出部１４と、プライバシーマスク設定部１５と、プライバシーマスク表示演算部１６と、機構制御部１７と、回転機構１８と、を備える。これらのうち、撮像部１１及び回転機構１８を除く画像信号処理部１２、記憶部１３、被写体検出部１４、プライバシーマスク設定部１５、プライバシーマスク表示演算部１６及び機構制御部１７の組合せが、特許請求の範囲における画像処理装置の一例である。かかる画像処理装置は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成される。
【００１４】
≪撮像部及び回転機構≫
撮像部１１は、被写体を撮像するための光学系及び撮像素子を有するカメラ本体である。撮像部１１によって撮像された映像（一連の画像）は、画像信号として、順次、画像信号処理部１２へ出力される。
【００１５】
また、撮像部１１は、ズーム機構１１ａを備える。ズーム機構１１ａは、光学系を駆動することによって、撮影倍率を変更するための機構である。回転機構１８は、パン方向及びチルト方向に回転することによって、監視カメラ１０の撮影方向を変更するための機構である。
【００１６】
≪画像信号処理部１２≫
画像信号処理部１２は、撮像部１１によって撮像された画像にプライバシーマスクを付加した画像を生成し、生成された画像をネットワークＮＷを介して端末２０へ送信する。
図２に示すように、画像信号処理部１２は、機能部として、画像処理部１２ａと、検波処理部１２ｂと、記憶部管理部１２ｃと、プライバシーマスク付加部１２ｄと、画像送信部１２ｅと、を備える。
【００１７】
画像処理部１２ａは、撮像部１１から出力された画像を取得し、取得された画像に輝度補正、色補正、ガンマ補正等を処理を施す。処理された画像は、プライバシーマスク付加部１２ｃへ出力される。
【００１８】
検波処理部１２ｂは、撮像部１１から出力された画像を取得し、取得された画像に対して検波処理を施し、各種特徴量を検波する。図３に示すように、検波処理部１２ｂは、特徴量として画像のエッジ特徴量を検波するエッジ検波部１２ｂ１と、特徴量として画像の輝度を検波する輝度検波部１２ｂ２と、特徴量として画像のヒストグラムを検波するヒストグラム検波部１２ｂ３と、を備える。エッジ検波部１２ｂ１、輝度検波部１２ｂ２及びヒストグラム検波部１２ｂ３は、後記するプライバシーマスク表示処理部１６ｃから特徴量を検波すべき位置を取得し、当該位置の各種特徴量を検波する。検波されたエッジ、輝度及びヒストグラムは、特徴量取得部１４ａへ出力される。
【００１９】
図２に戻り、記憶部管理部１２ｃは、記憶部１３を管理するものであって、プライバシーマスクが付加される前の画像を記憶部１３に一時的に記憶させたり、記憶部１３に一時的に記憶された、プライバシーマスクが付加される前の画像を読み出してプライバシーマスク付加部１２ｄへ出力したりする。本実施形態では、ズーム及び回転による被写体の画像内における移動後に移動した被写体を検出してプライバシーマスクを付加する構成であるため、画像を遅延させないと、被写体がプライバシーマスクによって隠されずに見えてしまうおそれがある。すなわち、記憶部管理部１２ｃは、プライバシーマスクが付加される前の画像を数コマ分遅延させてプライバシーマスク付加部１２ｄへ出力することにより、プライバシーマスク付加部１２ｄが、プライバシーマスクを被写体の位置に確実に付加することができる。
【００２０】
プライバシーマスク付加部１２ｄは、プライバシーマスク表示演算部１６から出力された位置情報に基づいて、画像にプライバシーマスクを付加する。プライバシーマスクが付加された画像は、画像送信部１２ｅへ出力される。
【００２１】
画像送信部１２ｅは、プライバシーマスクが付加された画像をネットワークＮＷを介して端末２０の制御部２２へ送信する。端末２０の制御部２２は、プライバシーマスクが付加された画像を取得し、記憶部２３に記憶させたり、表示部２４に表示させたりする。画像送信部１２ｅは、アナログ出力に限定されず、ＲＥＣ６５６等のディジタル出力にも対応可能である。
【００２２】
≪記憶部≫
図１に戻り、記憶部１３には、プライバシーマスクが付加される前の画像が一時的に記憶される。
【００２３】
≪被写体検出部≫
被写体検出部１４は、プライバシーマスクの位置情報のズーム補正を行うために、一の画像においてプライバシーマスクが付加された被写体の他の画像における位置を検出し、一の画像と他の画像との間における当該被写体の移動ベクトルを計算する。被写体検出部１４は、ズームが実行されているときのみ、被写体の位置を検出する。図４に示すように、被写体検出部１４は、機能部として、特徴量取得部１４ａと、記憶部１４ｂと、特徴量検索部１４ｃと、移動ベクトル計算部１４ｄと、を備える。
【００２４】
特徴量取得部１４ａは、検波処理部１２ｂから、プライバシーマスクが付加されている被写体の特徴量（エッジ、輝度及びヒストグラム）を取得する。また、特徴量取得部１４ａは、後記するプライバシーマスク表示処理部１６ｃから、現在の被写体の位置情報を取得する。取得された特徴量は、記憶部１４ｂに記憶される。また、取得された特徴量及び現在の被写体の位置情報は、特徴量検索部１４ｃへ出力される。
【００２５】
記憶部１４ｂには、特徴量取得部１４ａによって取得された特徴量が記憶される。図５に示すように、プライバシーマスクが付加された被写体の特徴量は、マスクＮｏ、日時、プライバシーマスクの中心位置、プライバシーマスクの幅、パン角度及びチルト角度、ズーム倍率、被写体の移動ベクトル、設定中／稼働中のステータスフラグ（後記する）等と関連付けて記憶される。記憶部１４ｂに記憶された特徴量等のデータは、端末２０の表示部２４によって参照可能な構成であってもよい。
【００２６】
特徴量検索部１４ｃは、画像処理部１２ａからズーム後の画像を取得し、特徴量取得部１４ａによって取得された被写体の特徴量に基づいて、ズーム後の画像を順に走査して類似の特徴量の位置を検索することによって、ズーム後の被写体を検出する。
【００２７】
特徴量検索部１４ｃによるズーム後の被写体の検出手法の一例について説明する。図６に示すように、ズーム前の被写体の中心位置を（ｉ０，ｊ０）、ズーム後の被写体の中心位置を（ｉ，ｊ）、ズーム倍率をＺとする。ズーム前の被写体の大きさを（ＳＸ，ＳＹ）とすると、ズーム後の被写体の大きさは（ＳＸ×Ｚ，ＳＹ×Ｚ）となる。ここで、ズーム前後で被写体の大きさが異なるため、特徴量の正規化が必要となる。この場合におけるズームによる特徴量差分ρは、以下の式で記述される。
【数１】
ここで、ＣＨはヒストグラムに関する特徴量、ＣＢは輝度に関する特徴量、ＣＥはエッジに関する特徴量であり、以下の式で記述される。
【数２】
この結果、ズーム前の特徴量とズーム後の特徴量との差が最も小さい、すなわち、特徴量差分ρが最小となる（ｉ，ｊ）がズーム後の被写体の位置となる。
【００２８】
図４に戻り、移動ベクトル計算部１４ｄは、画像内における、ズーム前の被写体とズーム後の被写体との移動ベクトルを計算する。この場合における移動ベクトルは、以下の式で記述される。
【数３】
【００２９】
ここで、移動ベクトル計算部１４ｄによる移動ベクトル決定手法の詳細について、図７を参照して説明する。図７において、（ｉｎ，ｊｎ）は、画像外部に移動した被写体の中心座標であり、（ｉｆ，ｊｆ）は、被写体が画像外部に移動してしまった場合に、誤って検出された被写体の中心座標である。ズームによって被写体が画像外部に移動したり、被写体が他の被写体によって隠れてしまう場合には、特徴量検索部１４ｃが被写体の位置を誤って検出してしまうおそれがある。そこで、移動ベクトル計算部１４ｄは、記憶部１４ｂに記憶された前回計算された移動ベクトルと、今回計算された移動ベクトルと、を比較する。これらの移動ベクトルの向きが異なる場合には、移動ベクトル計算部１４ｄは、計算された移動ベクトルではなく、記憶部１４ｂに記憶された前回計算された移動ベクトルを採用する。向きが一致している場合には、今回計算された移動ベクトルを採用する。
前回計算された移動ベクトルを
【数４】
とし、
今回計算された移動ベクトルを
【数５】
とした場合、現在の移動ベクトル
【数６】
を決定する場合には、下記式が用いられる。
【数７】
【００３０】
前回計算された移動ベクトルと今回計算された移動ベクトルとが同じ方向を向いている場合には、今回計算された移動ベクトルを採用し、今回計算された移動ベクトルを記憶部１４ｂに更新記憶させる。ただし、移動ベクトルは画像内の位置によって決まるため、撮像部１１が回転された場合には、被写体の画像外の位置の変化するため、記憶部１４ｂに記憶された移動ベクトルは使用することができなくなる。したがって、撮像部１１が回転された場合には、記憶部１４ｂ内の移動ベクトルは（０，０）に更新記憶され、移動ベクトル計算部１４ｄは今回計算された移動ベクトルを採用した後、今回計算された移動ベクトルを記憶部１４ｂに更新記憶させる。この手法は、下記式によって示される。
【数８】
【００３１】
前回計算された移動ベクトルが採用される場合には、被写体の位置が分からないため、移動ベクトル計算部１４ｄは、前回計算された移動ベクトルとズーム倍率の変化とに基づいて、ズームにより被写体が画像内において移動する量を計算し、移動ベクトルを最終的に決定する。
【００３２】
≪プライバシーマスク設定部≫
図１に戻り、プライバシーマスク設定部１５は、ユーザによる入力部２１の操作に基づいて制御部２２から送信された、プライバシーマスクに関する情報（プライバシーマスクを設定する被写体の位置に関する位置情報）を、監視カメラ１内部で取り扱う座標系に設定し直す。図８に示すように、プライバシーマスク設定部１５は、機能部として、位置設定部１５ａと、角度設定部１５ｂと、を備える。
【００３３】
位置設定部１５ａは、端末２０の制御部２２から送信された、プライバシーマスクを設定する位置に関する位置情報（プライバシーマスクの中心位置、幅及び高さに関する情報）を取得し、かかる情報をカメラ内部で取り扱う座標系に変換し、プライバシーマスク表示演算部１６の角度補正処理部１６ａへ送信する。
【００３４】
ここで、プライバシーマスクの座標の計算手法について、図９を参照して説明する。図９の例においては、監視カメラ１０の撮像部１１は、室内を撮像しており、その窓部分にプライバシーマスクが付加される（外の風景によって監視カメラ１０が設置された建物が判明することを防ぐため）。
【００３５】
図９（ｂ）に示すように、撮像部１１によって撮像された画像の横（水平）方向の総画素をＨ、縦（鉛直）方向の総画素をＶ、画像中心の座標を（０，０）とする。位置設定部１５ａは、端末２０の制御部２２から送信されたプライバシーマスクの中心位置（ｍｈ，ｍｖ）、幅ｈｕ及び高さｖｕに基づいて、画素における幅ｈ及び画素における高さｖ（監視カメラ１０の座標系における幅ｈ及び高さｖ）を計算する。
【数９】
ここで、ＲＨは横方向の分解能であり、ＲＶは縦方向の分解能である。撮像部１１によって撮像された画像の信号においては、画像左上が（０，０）となるため、位置設定部１５ａは、下記式を用いてプライバシーマスクの四隅の座標を計算する。
【数１０】
【００３６】
図８に戻り、角度設定部１５ｂは、端末２０の制御部２２から送信された、監視カメラ１０の撮像部１１の回転角度に関する角度情報を取得し、かかる情報を監視カメラ１０内部で取り扱う座標系に変換し、プライバシーマスク表示演算部１６の角度補正処理部１６ａへ送信する。
【００３７】
ここで、プライバシーマスクを付加する際の２次元座標系について、図１０を参照して説明する。監視カメラ１０の撮像部１１は、３次元の回転制御が行われる、そのため、プライバシーマスクの同様に３次元に対応しなければならない。角度設定部１５ｂは、端末２０の制御部２２から送信された回転機構１８の回転角度に基づいて、水平方向の回転角度であるパン角θ、鉛直方向の回転角度であるチルト角σ、及び、監視カメラ１０から被写体までの距離ｒを計算する。
【００３８】
≪プライバシーマスク表示演算部≫
図１に戻り、プライバシーマスク表示演算部１６は、ズーム機構１１ａ及び回転機構１８による撮像方向の移動によって、画像におけるプライバシーマスクの位置を変更する必要が生じた場合に、プライバシーマスクの表示位置を補正する。図８に示すように、プライバシーマスク表示演算部１６は、機能部として、角度補正処理部１６ａと、ズーム補正処理部１６ｂと、プライバシーマスク表示処理部１６ｃと、を備える。
【００３９】
角度補正処理部１６ａは、回転機構１８によって監視カメラ１０（撮像部１１）の撮像方向が回転移動したときに、当該回転の角度に基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正する。かかる補正については、公知の手法が適宜採用可能であるため、詳細な説明を省略する。
【００４０】
ズーム補正処理部１６ｂは、ズーム機構１１ａによって撮像部１１の撮像領域が変化したときに、ズームの倍率及び移動ベクトル計算部１４ｄによって計算された移動ベクトルに基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正する。
【００４１】
ここで、ズーム時における画像内における被写体の移動について、図１１を参照して説明する。図１１（ａ）に示すように、撮像部１１の光学中心と画像中心とが一致する場合には、当該画像をズームによって拡大すると、被写体は画像中心を中心として放射状に広がっていく。一方、図１１（ｂ）に示すように、撮像部１１の光学中心と画像中心とがずれている場合には、当該画像をズームによって拡大すると、被写体は光学中心を中心として放射状に広がっていくことになる。例えば、図１１（ｂ）に示すように光学中心が画像右下側にある場合には、被写体は全体的に左上に移動していくことになる。また、撮像部１１と被写体との距離によっても、ズームに伴う被写体の移動量は異なってくる。このため、プライバシーマスクが画像上の同じ位置に付加されていたとしても、光学中心と画像中心とのずれの向き及び量が変わればズームに伴う被写体の移動量は異なることになり、計算によってプライバシーマスクの位置を補正することは不可能である。
【００４２】
図８に戻り、プライバシーマスク表示処理部１６ｃは、角度補正処理部１６ａ及びズーム補正処理部１６ｂによって補正されたプライバシーマスクの位置に関する位置情報を取得し、これらに基づいて、プライバシーマスクの位置に関する位置情報を決定する。決定された位置情報は、プライバシーマスク付加部１２ｄ及び特徴量取得部１４ａへ出力される。
【００４３】
＜第一の動作例＞
続いて、本発明の実施形態に係る監視システム１の第一の動作例について、図１２を参照して説明する。まず、ユーザが端末２０の入力部２１を操作することによって、監視カメラ１０のモードが設定中又は稼働中に切り替えられる。監視カメラ１０のモードが設定中モードである場合には（ステップＳ１でＹｅｓ）、角度設定部１５ｂがパン角及びチルト角を設定し（ステップＳ２）、続いて、ユーザによる端末２０の入力部２１の操作に応じて、位置設定部１５ａがプライバシーマスクの位置に関する位置情報を設定し、プライバシーマスク付加部１２ｄが設定された位置情報に基づいてプライバシーマスクを付加する（ステップＳ３）。
【００４４】
一方、監視カメラ１０のモードが稼働中モードである場合において（ステップＳ１でＮｏ）、ユーザが端末２０の入力部２１を操作することによって撮像部１１がパン又はチルトされた場合には（ステップＳ１１でＹｅｓ）、角度補正処理部１６ａがパン角又はチルト角によるプライバシーマスク表示補正処理を行う（ステップＳ１２）。さらに、ステップＳ１１でＮｏの場合及びステップＳ１２の実行後において、ユーザが端末２０の入力部２１を操作することによって撮像部１１がズームされた場合には（ステップＳ１３でＹｅｓ）、ズーム補正処理部１６ｂが特徴量検索によるプライバシーマスク表示補正処理を行う（ステップＳ１４）。パン又はチルトされていない場合（ステップＳ１１でＮｏ）、かつ、ズームされていない場合（ステップＳ１３でＮｏ）には、プライバシーマスク表示補正処理は行われない。
【００４５】
＜第二の動作例＞
続いて、本発明の実施形態に係る監視システム１の第二の動作例について、図１３を参照して説明する。まず、ユーザが端末２０の入力部２１を操作することによって、監視カメラ１０のモードが設定中又は稼働中に切り替えられる。監視カメラ１０のモードが設定中モードである場合には（ステップＳ２１でＹｅｓ）、角度設定部１５ｂがパン角及びチルト角を設定し（ステップＳ２２）、続いて、ユーザによる端末２０の入力部２１の操作に応じて、位置設定部１５ａがプライバシーマスクの位置に関する位置情報を設定し、プライバシーマスク付加部１２ｄが設定された位置情報に基づいてプライバシーマスクを付加する（ステップＳ２３）。
【００４６】
一方、監視カメラ１０のモードが稼働中モードである場合において（ステップＳ２１でＮｏ）、ユーザが端末２０の入力部２１を操作することによって撮像部１１がズームされた場合には（ステップＳ３１でＹｅｓ）、ズーム補正処理部１６ｂが特徴量検索によるプライバシーマスク表示補正処理を行う（ステップＳ３２）。また、ステップＳ３１でＮｏの場合において、ユーザが端末２０の入力部２１を操作することによって撮像部１１がパン又はチルトされた場合には（ステップＳ３３でＹｅｓ）、角度補正処理部１６ａがパン角又はチルト角によるプライバシーマスク表示補正処理を行う（ステップＳ３４）。ズームされていない場合（ステップＳ３１でＮｏ）、かつ、パン又はチルトされていない場合（ステップＳ３３でＮｏ）には、プライバシーマスク表示補正処理は行われない。第二の動作例によると、ズームとパン又はチルトとが同時に行われた場合には、特徴量検索によるプライバシーマスク表示補正処理を優先することができる。
【００４７】
本発明の実施形態に係る監視カメラ１０は、パン又はチルト時には、パン角又はチルト角によってプライバシーマスクの位置を補正するので、少ない演算量でプライバシーマスクの補正を行うことができ、ズーム時には、特徴量検索によってプライバシーマスクの位置を補正するので、ズーム時において、光学中心と画像中心とのズレによって被写体がプライバシーマスクによって隠されることなく見えてしまうという事態を防ぐことができる。また、本発明の実施形態に係る監視カメラ１０は、被写体検出部１４がズーム時にのみ被写体の位置を検出し、ズームが実行されていないときには被写体の位置の検出を停止するので、演算量を抑えることができる。
【００４８】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、図１において、１台の監視カメラ１０と１台の端末２０とがネットワークＮＷを介して接続される構成を図示したが、複数台の監視カメラ１０と１台の端末２０とがネットワークＮＷを介して接続される構成であってもよい。また、監視カメラ１０における画像信号処理部１２、記憶部１３、被写体検出部１４、プライバシーマスク設定部１５、プライバシーマスク表示演算部１６及び機構制御部１７は、撮像部１１と別体に設けられる構成であってもよい。
【符号の説明】
【００４９】
１０ 監視カメラ（画像処理装置）
１１ 撮像部（カメラ）
１２ｄ プライバシーマスク付加部
１４ 被写体検出部
１６ プライバシーマスク表示演算部
【技術分野】
【０００１】
本発明は、画像にプライバシーマスク処理を施す画像処理装置に関する。
【背景技術】
【０００２】
近年、盗難等の犯罪防止用、事故、事件等の証拠記録用として、街角、マンションの入口、店内等に監視カメラを設置し、撮影箇所において長時間撮影対象物を撮影することにより対象物体の状況や推移をリアルタイムに観察するとともに、撮影した画像をハードディスクドライブ等の記憶装置に記憶させる監視カメラシステムが普及しており、記憶装置に記憶されている画像が、後の分析や事件の証拠として用いられている。一方、看板が写ってしまって住所が特定されてしまったり、窓から建物の内部が写ってしまったりする等、プライバシーの侵害につながる画像が含まれるケースも生じることから、監視カメラで撮影した画像に対して、その一部を隠すためのマスク、いわゆるプライバシーマスクを付加する技術が開発されている（特許文献１参照）。特許文献１に記載された技術では、パン、チルトといった監視カメラの回転に応じてマスクの位置を補正することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−０１５３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的な監視カメラにおいて、光学中心と画像中心とは一致しておらず、また、これらのズレ量及び方向は、監視カメラごとに個体差がある上、監視カメラと被写体との距離によっても変わってしまう。しかしながら、特許文献１に記載された技術では、かかる不一致を考慮していないため、ズーム時にはマスクで隠すべき被写体が見えてしまうおそれがある。
【０００５】
本発明は、前記した問題を解決すべく創案されたものであり、プライバシーマスクによって適切に被写体を隠すことが可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明の画像処理装置は、ズーム機能及び回転機能を有するカメラによって撮像された画像を処理する画像処理装置であって、画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、一の前記画像における前記被写体の特徴量に基づいて、他の前記画像における前記被写体の位置を検出する被写体検出部と、ズーム及び回転による前記被写体の画像内における移動に応じて、前記プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部を備え、前記プライバシーマスク表示演算部は、ズーム時には、前記被写体検出部によって検出された前記被写体の位置に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、プライバシーマスクによって適切に被写体を隠すことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る監視システムを模式的に示す図である。
【図２】図１の画像信号処理部を示すブロック図である。
【図３】図２の検波処理部を示すブロック図である。
【図４】図１の被写体検出部を示すブロック図である。
【図５】図４の記憶部に記憶された情報を説明するための図である。
【図６】ズーム後の被写体の検出手法の一例を説明するための図である。
【図７】移動ベクトル計算部による移動ベクトル決定手法の詳細を説明するための図である。
【図８】図１のプライバシーマスク設定部及びプライバシーマスク表示演算部を示すブロック図である。
【図９】（ａ）は、プライバシーマスクが付加される前の画像を示す図、（ｂ）は、プライバシーマスクが付加された画像を示す図である。
【図１０】プライバシーマスクを付加する際の３次元図である。
【図１１】（ａ）は、光学中心と画像中心とが一致する場合のズームによる被写体の広がりを説明するための図であり、（ｂ）は光学中心と画像中心とがずれている場合のズームによる被写体の広がりを説明するための図である。
【図１２】本発明の実施形態に係る監視システムの第一の動作例を説明するための図である。
【図１３】本発明の実施形態に係る監視システムの第二の動作例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。以下の説明において、プライバシーマスクが付加される被写体は、窓、写真、看板等といった静止している被写体、すなわち静止対象物（静止物体）であり、被写体の移動とは、ズーム及び回転による被写体の画像内における大きさの変化、位置の変化を指す。
【００１０】
まず、本発明の実施形態に係る監視システムの構成について、図１〜図９を参照して説明する。
【００１１】
図１に示すように、本発明の実施形態に係る監視システム１は、監視カメラ１０と、端末２０と、を備えており、監視カメラ１０及び端末２０は、ネットワークＮＷを介して通信可能に接続されている。
【００１２】
＜端末＞
本発明の実施形態に係る端末２０は、キーボード、マウス等からなる入力部２１と、制御部２２と、記憶部２３と、ディスプレイからなる表示部２４とを備えるコンピュータである。端末２０の制御部２２は、監視カメラ１０から送信された映像を記憶部２３に記憶させたり表示部２４に表示させたりする。また、端末２０の制御部２２は、ユーザによる入力部２１の操作（例えば、マウスのドラッグ操作による閉領域の指定等）に基づいて、監視カメラ１０によって撮像された映像にプライバシーマスクを設定する被写体の位置に関する位置情報を生成し、ネットワークＮＷを介して監視カメラ１０へ送信する。また、端末２０の制御部２２は、ユーザによる入力部２１の操作に基づいて、監視カメラ１０の撮像部１１のズーム機構１１ａ及び回転機構１８を駆動させるための信号をネットワークＮＷを介して監視カメラ１０の機構制御部１７へ送信する。
【００１３】
＜監視カメラ＞
本発明の実施形態に係る監視カメラ１０は、撮像部１１と、画像信号処理部１２と、記憶部１３と、被写体検出部１４と、プライバシーマスク設定部１５と、プライバシーマスク表示演算部１６と、機構制御部１７と、回転機構１８と、を備える。これらのうち、撮像部１１及び回転機構１８を除く画像信号処理部１２、記憶部１３、被写体検出部１４、プライバシーマスク設定部１５、プライバシーマスク表示演算部１６及び機構制御部１７の組合せが、特許請求の範囲における画像処理装置の一例である。かかる画像処理装置は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成される。
【００１４】
≪撮像部及び回転機構≫
撮像部１１は、被写体を撮像するための光学系及び撮像素子を有するカメラ本体である。撮像部１１によって撮像された映像（一連の画像）は、画像信号として、順次、画像信号処理部１２へ出力される。
【００１５】
また、撮像部１１は、ズーム機構１１ａを備える。ズーム機構１１ａは、光学系を駆動することによって、撮影倍率を変更するための機構である。回転機構１８は、パン方向及びチルト方向に回転することによって、監視カメラ１０の撮影方向を変更するための機構である。
【００１６】
≪画像信号処理部１２≫
画像信号処理部１２は、撮像部１１によって撮像された画像にプライバシーマスクを付加した画像を生成し、生成された画像をネットワークＮＷを介して端末２０へ送信する。
図２に示すように、画像信号処理部１２は、機能部として、画像処理部１２ａと、検波処理部１２ｂと、記憶部管理部１２ｃと、プライバシーマスク付加部１２ｄと、画像送信部１２ｅと、を備える。
【００１７】
画像処理部１２ａは、撮像部１１から出力された画像を取得し、取得された画像に輝度補正、色補正、ガンマ補正等を処理を施す。処理された画像は、プライバシーマスク付加部１２ｃへ出力される。
【００１８】
検波処理部１２ｂは、撮像部１１から出力された画像を取得し、取得された画像に対して検波処理を施し、各種特徴量を検波する。図３に示すように、検波処理部１２ｂは、特徴量として画像のエッジ特徴量を検波するエッジ検波部１２ｂ１と、特徴量として画像の輝度を検波する輝度検波部１２ｂ２と、特徴量として画像のヒストグラムを検波するヒストグラム検波部１２ｂ３と、を備える。エッジ検波部１２ｂ１、輝度検波部１２ｂ２及びヒストグラム検波部１２ｂ３は、後記するプライバシーマスク表示処理部１６ｃから特徴量を検波すべき位置を取得し、当該位置の各種特徴量を検波する。検波されたエッジ、輝度及びヒストグラムは、特徴量取得部１４ａへ出力される。
【００１９】
図２に戻り、記憶部管理部１２ｃは、記憶部１３を管理するものであって、プライバシーマスクが付加される前の画像を記憶部１３に一時的に記憶させたり、記憶部１３に一時的に記憶された、プライバシーマスクが付加される前の画像を読み出してプライバシーマスク付加部１２ｄへ出力したりする。本実施形態では、ズーム及び回転による被写体の画像内における移動後に移動した被写体を検出してプライバシーマスクを付加する構成であるため、画像を遅延させないと、被写体がプライバシーマスクによって隠されずに見えてしまうおそれがある。すなわち、記憶部管理部１２ｃは、プライバシーマスクが付加される前の画像を数コマ分遅延させてプライバシーマスク付加部１２ｄへ出力することにより、プライバシーマスク付加部１２ｄが、プライバシーマスクを被写体の位置に確実に付加することができる。
【００２０】
プライバシーマスク付加部１２ｄは、プライバシーマスク表示演算部１６から出力された位置情報に基づいて、画像にプライバシーマスクを付加する。プライバシーマスクが付加された画像は、画像送信部１２ｅへ出力される。
【００２１】
画像送信部１２ｅは、プライバシーマスクが付加された画像をネットワークＮＷを介して端末２０の制御部２２へ送信する。端末２０の制御部２２は、プライバシーマスクが付加された画像を取得し、記憶部２３に記憶させたり、表示部２４に表示させたりする。画像送信部１２ｅは、アナログ出力に限定されず、ＲＥＣ６５６等のディジタル出力にも対応可能である。
【００２２】
≪記憶部≫
図１に戻り、記憶部１３には、プライバシーマスクが付加される前の画像が一時的に記憶される。
【００２３】
≪被写体検出部≫
被写体検出部１４は、プライバシーマスクの位置情報のズーム補正を行うために、一の画像においてプライバシーマスクが付加された被写体の他の画像における位置を検出し、一の画像と他の画像との間における当該被写体の移動ベクトルを計算する。被写体検出部１４は、ズームが実行されているときのみ、被写体の位置を検出する。図４に示すように、被写体検出部１４は、機能部として、特徴量取得部１４ａと、記憶部１４ｂと、特徴量検索部１４ｃと、移動ベクトル計算部１４ｄと、を備える。
【００２４】
特徴量取得部１４ａは、検波処理部１２ｂから、プライバシーマスクが付加されている被写体の特徴量（エッジ、輝度及びヒストグラム）を取得する。また、特徴量取得部１４ａは、後記するプライバシーマスク表示処理部１６ｃから、現在の被写体の位置情報を取得する。取得された特徴量は、記憶部１４ｂに記憶される。また、取得された特徴量及び現在の被写体の位置情報は、特徴量検索部１４ｃへ出力される。
【００２５】
記憶部１４ｂには、特徴量取得部１４ａによって取得された特徴量が記憶される。図５に示すように、プライバシーマスクが付加された被写体の特徴量は、マスクＮｏ、日時、プライバシーマスクの中心位置、プライバシーマスクの幅、パン角度及びチルト角度、ズーム倍率、被写体の移動ベクトル、設定中／稼働中のステータスフラグ（後記する）等と関連付けて記憶される。記憶部１４ｂに記憶された特徴量等のデータは、端末２０の表示部２４によって参照可能な構成であってもよい。
【００２６】
特徴量検索部１４ｃは、画像処理部１２ａからズーム後の画像を取得し、特徴量取得部１４ａによって取得された被写体の特徴量に基づいて、ズーム後の画像を順に走査して類似の特徴量の位置を検索することによって、ズーム後の被写体を検出する。
【００２７】
特徴量検索部１４ｃによるズーム後の被写体の検出手法の一例について説明する。図６に示すように、ズーム前の被写体の中心位置を（ｉ０，ｊ０）、ズーム後の被写体の中心位置を（ｉ，ｊ）、ズーム倍率をＺとする。ズーム前の被写体の大きさを（ＳＸ，ＳＹ）とすると、ズーム後の被写体の大きさは（ＳＸ×Ｚ，ＳＹ×Ｚ）となる。ここで、ズーム前後で被写体の大きさが異なるため、特徴量の正規化が必要となる。この場合におけるズームによる特徴量差分ρは、以下の式で記述される。
【数１】
ここで、ＣＨはヒストグラムに関する特徴量、ＣＢは輝度に関する特徴量、ＣＥはエッジに関する特徴量であり、以下の式で記述される。
【数２】
この結果、ズーム前の特徴量とズーム後の特徴量との差が最も小さい、すなわち、特徴量差分ρが最小となる（ｉ，ｊ）がズーム後の被写体の位置となる。
【００２８】
図４に戻り、移動ベクトル計算部１４ｄは、画像内における、ズーム前の被写体とズーム後の被写体との移動ベクトルを計算する。この場合における移動ベクトルは、以下の式で記述される。
【数３】
【００２９】
ここで、移動ベクトル計算部１４ｄによる移動ベクトル決定手法の詳細について、図７を参照して説明する。図７において、（ｉｎ，ｊｎ）は、画像外部に移動した被写体の中心座標であり、（ｉｆ，ｊｆ）は、被写体が画像外部に移動してしまった場合に、誤って検出された被写体の中心座標である。ズームによって被写体が画像外部に移動したり、被写体が他の被写体によって隠れてしまう場合には、特徴量検索部１４ｃが被写体の位置を誤って検出してしまうおそれがある。そこで、移動ベクトル計算部１４ｄは、記憶部１４ｂに記憶された前回計算された移動ベクトルと、今回計算された移動ベクトルと、を比較する。これらの移動ベクトルの向きが異なる場合には、移動ベクトル計算部１４ｄは、計算された移動ベクトルではなく、記憶部１４ｂに記憶された前回計算された移動ベクトルを採用する。向きが一致している場合には、今回計算された移動ベクトルを採用する。
前回計算された移動ベクトルを
【数４】
とし、
今回計算された移動ベクトルを
【数５】
とした場合、現在の移動ベクトル
【数６】
を決定する場合には、下記式が用いられる。
【数７】
【００３０】
前回計算された移動ベクトルと今回計算された移動ベクトルとが同じ方向を向いている場合には、今回計算された移動ベクトルを採用し、今回計算された移動ベクトルを記憶部１４ｂに更新記憶させる。ただし、移動ベクトルは画像内の位置によって決まるため、撮像部１１が回転された場合には、被写体の画像外の位置の変化するため、記憶部１４ｂに記憶された移動ベクトルは使用することができなくなる。したがって、撮像部１１が回転された場合には、記憶部１４ｂ内の移動ベクトルは（０，０）に更新記憶され、移動ベクトル計算部１４ｄは今回計算された移動ベクトルを採用した後、今回計算された移動ベクトルを記憶部１４ｂに更新記憶させる。この手法は、下記式によって示される。
【数８】
【００３１】
前回計算された移動ベクトルが採用される場合には、被写体の位置が分からないため、移動ベクトル計算部１４ｄは、前回計算された移動ベクトルとズーム倍率の変化とに基づいて、ズームにより被写体が画像内において移動する量を計算し、移動ベクトルを最終的に決定する。
【００３２】
≪プライバシーマスク設定部≫
図１に戻り、プライバシーマスク設定部１５は、ユーザによる入力部２１の操作に基づいて制御部２２から送信された、プライバシーマスクに関する情報（プライバシーマスクを設定する被写体の位置に関する位置情報）を、監視カメラ１内部で取り扱う座標系に設定し直す。図８に示すように、プライバシーマスク設定部１５は、機能部として、位置設定部１５ａと、角度設定部１５ｂと、を備える。
【００３３】
位置設定部１５ａは、端末２０の制御部２２から送信された、プライバシーマスクを設定する位置に関する位置情報（プライバシーマスクの中心位置、幅及び高さに関する情報）を取得し、かかる情報をカメラ内部で取り扱う座標系に変換し、プライバシーマスク表示演算部１６の角度補正処理部１６ａへ送信する。
【００３４】
ここで、プライバシーマスクの座標の計算手法について、図９を参照して説明する。図９の例においては、監視カメラ１０の撮像部１１は、室内を撮像しており、その窓部分にプライバシーマスクが付加される（外の風景によって監視カメラ１０が設置された建物が判明することを防ぐため）。
【００３５】
図９（ｂ）に示すように、撮像部１１によって撮像された画像の横（水平）方向の総画素をＨ、縦（鉛直）方向の総画素をＶ、画像中心の座標を（０，０）とする。位置設定部１５ａは、端末２０の制御部２２から送信されたプライバシーマスクの中心位置（ｍｈ，ｍｖ）、幅ｈｕ及び高さｖｕに基づいて、画素における幅ｈ及び画素における高さｖ（監視カメラ１０の座標系における幅ｈ及び高さｖ）を計算する。
【数９】
ここで、ＲＨは横方向の分解能であり、ＲＶは縦方向の分解能である。撮像部１１によって撮像された画像の信号においては、画像左上が（０，０）となるため、位置設定部１５ａは、下記式を用いてプライバシーマスクの四隅の座標を計算する。
【数１０】
【００３６】
図８に戻り、角度設定部１５ｂは、端末２０の制御部２２から送信された、監視カメラ１０の撮像部１１の回転角度に関する角度情報を取得し、かかる情報を監視カメラ１０内部で取り扱う座標系に変換し、プライバシーマスク表示演算部１６の角度補正処理部１６ａへ送信する。
【００３７】
ここで、プライバシーマスクを付加する際の２次元座標系について、図１０を参照して説明する。監視カメラ１０の撮像部１１は、３次元の回転制御が行われる、そのため、プライバシーマスクの同様に３次元に対応しなければならない。角度設定部１５ｂは、端末２０の制御部２２から送信された回転機構１８の回転角度に基づいて、水平方向の回転角度であるパン角θ、鉛直方向の回転角度であるチルト角σ、及び、監視カメラ１０から被写体までの距離ｒを計算する。
【００３８】
≪プライバシーマスク表示演算部≫
図１に戻り、プライバシーマスク表示演算部１６は、ズーム機構１１ａ及び回転機構１８による撮像方向の移動によって、画像におけるプライバシーマスクの位置を変更する必要が生じた場合に、プライバシーマスクの表示位置を補正する。図８に示すように、プライバシーマスク表示演算部１６は、機能部として、角度補正処理部１６ａと、ズーム補正処理部１６ｂと、プライバシーマスク表示処理部１６ｃと、を備える。
【００３９】
角度補正処理部１６ａは、回転機構１８によって監視カメラ１０（撮像部１１）の撮像方向が回転移動したときに、当該回転の角度に基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正する。かかる補正については、公知の手法が適宜採用可能であるため、詳細な説明を省略する。
【００４０】
ズーム補正処理部１６ｂは、ズーム機構１１ａによって撮像部１１の撮像領域が変化したときに、ズームの倍率及び移動ベクトル計算部１４ｄによって計算された移動ベクトルに基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正する。
【００４１】
ここで、ズーム時における画像内における被写体の移動について、図１１を参照して説明する。図１１（ａ）に示すように、撮像部１１の光学中心と画像中心とが一致する場合には、当該画像をズームによって拡大すると、被写体は画像中心を中心として放射状に広がっていく。一方、図１１（ｂ）に示すように、撮像部１１の光学中心と画像中心とがずれている場合には、当該画像をズームによって拡大すると、被写体は光学中心を中心として放射状に広がっていくことになる。例えば、図１１（ｂ）に示すように光学中心が画像右下側にある場合には、被写体は全体的に左上に移動していくことになる。また、撮像部１１と被写体との距離によっても、ズームに伴う被写体の移動量は異なってくる。このため、プライバシーマスクが画像上の同じ位置に付加されていたとしても、光学中心と画像中心とのずれの向き及び量が変わればズームに伴う被写体の移動量は異なることになり、計算によってプライバシーマスクの位置を補正することは不可能である。
【００４２】
図８に戻り、プライバシーマスク表示処理部１６ｃは、角度補正処理部１６ａ及びズーム補正処理部１６ｂによって補正されたプライバシーマスクの位置に関する位置情報を取得し、これらに基づいて、プライバシーマスクの位置に関する位置情報を決定する。決定された位置情報は、プライバシーマスク付加部１２ｄ及び特徴量取得部１４ａへ出力される。
【００４３】
＜第一の動作例＞
続いて、本発明の実施形態に係る監視システム１の第一の動作例について、図１２を参照して説明する。まず、ユーザが端末２０の入力部２１を操作することによって、監視カメラ１０のモードが設定中又は稼働中に切り替えられる。監視カメラ１０のモードが設定中モードである場合には（ステップＳ１でＹｅｓ）、角度設定部１５ｂがパン角及びチルト角を設定し（ステップＳ２）、続いて、ユーザによる端末２０の入力部２１の操作に応じて、位置設定部１５ａがプライバシーマスクの位置に関する位置情報を設定し、プライバシーマスク付加部１２ｄが設定された位置情報に基づいてプライバシーマスクを付加する（ステップＳ３）。
【００４４】
一方、監視カメラ１０のモードが稼働中モードである場合において（ステップＳ１でＮｏ）、ユーザが端末２０の入力部２１を操作することによって撮像部１１がパン又はチルトされた場合には（ステップＳ１１でＹｅｓ）、角度補正処理部１６ａがパン角又はチルト角によるプライバシーマスク表示補正処理を行う（ステップＳ１２）。さらに、ステップＳ１１でＮｏの場合及びステップＳ１２の実行後において、ユーザが端末２０の入力部２１を操作することによって撮像部１１がズームされた場合には（ステップＳ１３でＹｅｓ）、ズーム補正処理部１６ｂが特徴量検索によるプライバシーマスク表示補正処理を行う（ステップＳ１４）。パン又はチルトされていない場合（ステップＳ１１でＮｏ）、かつ、ズームされていない場合（ステップＳ１３でＮｏ）には、プライバシーマスク表示補正処理は行われない。
【００４５】
＜第二の動作例＞
続いて、本発明の実施形態に係る監視システム１の第二の動作例について、図１３を参照して説明する。まず、ユーザが端末２０の入力部２１を操作することによって、監視カメラ１０のモードが設定中又は稼働中に切り替えられる。監視カメラ１０のモードが設定中モードである場合には（ステップＳ２１でＹｅｓ）、角度設定部１５ｂがパン角及びチルト角を設定し（ステップＳ２２）、続いて、ユーザによる端末２０の入力部２１の操作に応じて、位置設定部１５ａがプライバシーマスクの位置に関する位置情報を設定し、プライバシーマスク付加部１２ｄが設定された位置情報に基づいてプライバシーマスクを付加する（ステップＳ２３）。
【００４６】
一方、監視カメラ１０のモードが稼働中モードである場合において（ステップＳ２１でＮｏ）、ユーザが端末２０の入力部２１を操作することによって撮像部１１がズームされた場合には（ステップＳ３１でＹｅｓ）、ズーム補正処理部１６ｂが特徴量検索によるプライバシーマスク表示補正処理を行う（ステップＳ３２）。また、ステップＳ３１でＮｏの場合において、ユーザが端末２０の入力部２１を操作することによって撮像部１１がパン又はチルトされた場合には（ステップＳ３３でＹｅｓ）、角度補正処理部１６ａがパン角又はチルト角によるプライバシーマスク表示補正処理を行う（ステップＳ３４）。ズームされていない場合（ステップＳ３１でＮｏ）、かつ、パン又はチルトされていない場合（ステップＳ３３でＮｏ）には、プライバシーマスク表示補正処理は行われない。第二の動作例によると、ズームとパン又はチルトとが同時に行われた場合には、特徴量検索によるプライバシーマスク表示補正処理を優先することができる。
【００４７】
本発明の実施形態に係る監視カメラ１０は、パン又はチルト時には、パン角又はチルト角によってプライバシーマスクの位置を補正するので、少ない演算量でプライバシーマスクの補正を行うことができ、ズーム時には、特徴量検索によってプライバシーマスクの位置を補正するので、ズーム時において、光学中心と画像中心とのズレによって被写体がプライバシーマスクによって隠されることなく見えてしまうという事態を防ぐことができる。また、本発明の実施形態に係る監視カメラ１０は、被写体検出部１４がズーム時にのみ被写体の位置を検出し、ズームが実行されていないときには被写体の位置の検出を停止するので、演算量を抑えることができる。
【００４８】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、図１において、１台の監視カメラ１０と１台の端末２０とがネットワークＮＷを介して接続される構成を図示したが、複数台の監視カメラ１０と１台の端末２０とがネットワークＮＷを介して接続される構成であってもよい。また、監視カメラ１０における画像信号処理部１２、記憶部１３、被写体検出部１４、プライバシーマスク設定部１５、プライバシーマスク表示演算部１６及び機構制御部１７は、撮像部１１と別体に設けられる構成であってもよい。
【符号の説明】
【００４９】
１０ 監視カメラ（画像処理装置）
１１ 撮像部（カメラ）
１２ｄ プライバシーマスク付加部
１４ 被写体検出部
１６ プライバシーマスク表示演算部
【特許請求の範囲】
【請求項１】
ズーム機能及び回転機能を有するカメラによって撮像された画像を処理する画像処理装置であって、
画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、
一の前記画像における前記被写体の特徴量に基づいて、他の前記画像における前記被写体の位置を検出する被写体検出部と、
ズーム及び回転による前記被写体の画像内における移動に応じて、前記プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部と、
を備え、
前記プライバシーマスク表示演算部は、ズーム時には、前記被写体検出部によって検出された前記被写体の位置に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正する
ことを特徴とする画像処理装置。
【請求項２】
前記被写体検出部は、ズーム時にのみ前記被写体の位置を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記プライバシーマスク付加部は、静止している前記被写体に対して前記プライバシーマスクを付加する
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項１】
ズーム機能及び回転機能を有するカメラによって撮像された画像を処理する画像処理装置であって、
画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、
一の前記画像における前記被写体の特徴量に基づいて、他の前記画像における前記被写体の位置を検出する被写体検出部と、
ズーム及び回転による前記被写体の画像内における移動に応じて、前記プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部と、
を備え、
前記プライバシーマスク表示演算部は、ズーム時には、前記被写体検出部によって検出された前記被写体の位置に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正する
ことを特徴とする画像処理装置。
【請求項２】
前記被写体検出部は、ズーム時にのみ前記被写体の位置を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記プライバシーマスク付加部は、静止している前記被写体に対して前記プライバシーマスクを付加する
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２０５５１７（Ｐ２０１１−２０５５１７Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７２３６３（Ｐ２０１０−７２３６３）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]