監視映像表示システム
【課題】 監視効率の低下を抑えてプライバシに配慮した監視映像を表示する。
【解決手段】 複数のカメラと、映像を表示するモニタ装置とを備える監視システムにおいて、各々のカメラの映像に映っている人物が、正面であるか背面であるかを判定し、アクセス権限が低い閲覧者に対しては、背面が映っているカメラの映像を表示する。また、アクセス権限が高い閲覧者に対しては、正面が映っているカメラを表示し、複数の人物が映っているカメラで、一部の人物が背面となる場合は、正面の顔画像を重畳して映像を表示する。
【解決手段】 複数のカメラと、映像を表示するモニタ装置とを備える監視システムにおいて、各々のカメラの映像に映っている人物が、正面であるか背面であるかを判定し、アクセス権限が低い閲覧者に対しては、背面が映っているカメラの映像を表示する。また、アクセス権限が高い閲覧者に対しては、正面が映っているカメラを表示し、複数の人物が映っているカメラで、一部の人物が背面となる場合は、正面の顔画像を重畳して映像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プライバシ問題に配慮して映像を表示することが可能な監視システムに関する。
【背景技術】
【０００２】
ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。このような監視システムでは、大量の監視画像を取得することが可能となり、多角的なモニタリングが可能となる。最近では、監視モニタ端末の画面に、数百台のカメラの映像を並べて表示し、監視業務を行うといった用途も存在する。
【０００３】
しかし、一般人など、不特定多数の人物が撮影対象となる場所では、プライバシの問題が生じるため、権限の高い閲覧者でなければ監視映像を確認できないといった問題がある。そこで、カメラに映っている人物を認識し、事前に登録されている人物以外の場合は、モザイク処理等の抽象化処理を行った映像を利用する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０３６０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、前述した従来技術では、顔が鮮明に映っていない場合は人物の認識が困難であるという問題と、認識を厳しくした場合には表示しても問題ない人物の映像が抽象化処理されてしまうという問題がある。プライバシの問題を、プライバシを考慮しなければならない人物に限定し、限定された人物についてもプライバシの問題がない範囲で人物の情報を取得できることが望ましい。
【０００６】
そこで、監視効率の低下を抑えつつ、プライバシに配慮した映像を公開することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の代表的な一形態によれば、同一拠点を撮影する複数のカメラと、前記カメラで撮影された映像を表示するモニタ装置とを備える監視映像表示システムであって、閲覧者のアクセス権限に応じて、背面映像を表示させるか、正面映像を表示させるかを判定し、判定した結果に基づいて映像を表示するカメラを自動選択する。また、同一拠点を撮影する何れのカメラでも背面を映すことが困難な場合は、閲覧者のアクセス権限に応じて、閲覧可能な人物以外をモザイク処理（不鮮明化処理）して表示する。
【発明の効果】
【０００８】
本発明の一形態によれば、閲覧者のアクセス権限に応じて生成したプライバシ対策した映像をモニタ表示に表示することによって、従来技術ではモザイク処理などの抽象化処理によって知っている人物であっても誰であるか把握することが困難であった状況に対し、抽象化されていない背面の映像を表示することによって、人物を判定できる可能性が高まるため、抽象化処理よりも監視効率の低下を抑えられると共に、プライバシの問題で導入が困難なパブリックエリア等への監視システムの導入が進められるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態の監視映像表示システムの構成の一例を示すブロック図である。
【図２】本発明の実施の形態の監視映像表示システムのカメラ制御ＰＣの構成図である。
【図３】本発明の実施の形態の監視映像表示システムの画像処理ＰＣの構成図である。
【図４】本発明の実施の形態の監視映像表示システムの表示制御ＰＣの構成図である。
【図５】本発明の実施の形態の監視映像表示システムの映像蓄積ＰＣの構成図である。
【図６】本発明の実施の形態のカメラ情報データの一例を示す図である。
【図７】本発明の実施の形態の顔検出領域と動き検出領域の一例を示す図である。
【図８】本発明の実施の形態の監視映像を表示する手順を示すフローチャートである。
【図９】本発明の実施の形態の監視映像を表示する際のデータフローを示す図である。
【図１０】本発明の実施の形態の監視映像を検索する際のデータフローを示す図である。
【図１１】本発明の実施の形態の保護映像表示ポリシーを示す図である。
【図１２】本発明の実施の形態の拠点の情報の一例を示す図である。
【図１３】本発明の実施の形態の背面が映っているカメラ映像の表示の一例を示す図である。
【図１４】本発明の実施の形態の正面が映っているカメラ映像の表示の一例を示す図である。
【図１５】本発明の実施の形態の監視映像を検索する手順を示すフローチャートである。
【図１６】本発明の実施の形態の検索用のキー画像の選択画面を示す図である。
【図１７】本発明の実施の形態の画像処理で取得されるデータの種類を示す図である。
【図１８】本発明の実施の形態の保護映像の表示例を示す図である。
【図１９】本発明の実施の形態の正面背面対応データの一例を示す図である。
【図２０】本発明の実施の形態の背面画像に対応した監視映像を検索する手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
次に、本発明の実施の形態について、図面を参照して説明する。
【００１１】
図１は、本発明の実施の形態の監視映像表示システムの構成の一例を示すブロック図である。
【００１２】
図１において、監視映像表示システムは、複数のカメラ１０を含む入力装置群１と、複数のカメラ１０を制御し、プライバシに配慮して所望のカメラ１０の映像を表示する監視センタ２を主体に構成される。
【００１３】
監視映像表示システムは、建造物内などに複数のカメラ１０を設置し、監視センタ２の管理者または監視員が複数のカメラ１０の映像を監視し、各々のカメラ１０の映像を映像蓄積ＰＣ６に格納していくものである。
監視センタ２には、複数のカメラ１０の映像を拠点別またはカメラ別に並べて表示する表示制御ＰＣ（モニタ装置）５を備え、管理者（又は監視員）が表示制御ＰＣ５のモニタ５０に表示される映像を監視する。
また、表示制御ＰＣ５では、画像処理ＰＣ４から画像データおよび画像処理結果のデータを受信すると、アクセス権限取得手段によって取得した閲覧者のアクセス権限に応じて、カメラ選択手段によって選択されたカメラの映像を、画像表示判定手段によってプライバシ対策が行われた監視映像に変換し、モニタ５０に表示する。カメラ１０は所定の位置に固定されて、設置位置の情報が管理されており、画像処理によって得られる人物情報を用いて、最適なプライバシ対策をした映像をモニタ５０に表示させることで、監視効率の低下を最小限に抑えて監視映像を表示することができる。
監視センタ２は、上述の機能を実現するため、カメラ群から映像を取得して画像処理ＰＣ４に映像を送信するカメラ制御ＰＣ３と、カメラ１０から取得した映像中の人物情報を取得する画像処理ＰＣ４と、監視映像の表示を行う表示制御ＰＣ５と、監視映像を蓄積する映像蓄積ＰＣ６から構成される。以下、各部の詳細について説明する。
【００１４】
＜入力装置群の構成＞
監視センタ２は、複数の入力装置群１を管理しており、各入力装置群は建造物などの所定の領域（例えば、各フロア）毎、あるいは、一定の面積毎に設定され、ひとつの入力装置群１−１、１−２、１−３には複数のカメラ１０が含まれる。なお、以下の説明では、カメラ群１−１、１−２、１−３の構成は同様であるので、同一のものに同一の符号を付して重複した説明を省略する。
【００１５】
所定の位置に設置されたカメラ１０は、所定のフレームレートで所定の解像度の動画を撮像し、出力する。カメラ１０は、ネットワークケーブルまたは専用ケーブルなどの通信網１００で、カメラ制御ＰＣ３に接続される。カメラは、ＩＰカメラなど、映像を出力可能なカメラとし、外部からの要求に応じて映像を出力するカメラであっても、カメラ側から一方的に映像を出力するカメラであっても構わない。
【００１６】
これらのデバイスは拠点別に複数設置されており、その設置位置の情報はカメラ制御ＰＣ３で管理される。
【００１７】
＜監視センタの構成＞
次に、監視センタ２の構成要素について、図２乃至図６を参照しながら以下に説明する。
【００１８】
カメラ１０から映像を取得し、画像処理ＰＣ４に映像を送信するカメラ制御ＰＣ３は、図２に例を示す構成図のように、ＣＰＵ２０１、メモリ２０２、入力部２０３、通信部２０４および記憶部２１０を含む計算機で構成される。記憶部２１０には、ＯＳ２１１、カメラ情報データ２１２、カメラ画像取得プログラム２１３、カメラ画像送信プログラム２１４、カメラ情報管理プログラム２１５が登録される。カメラ情報データ２１２には、図６に例を示すように、ネットワークや専用ケーブルなどで構成される通信網１００で接続されているカメラ１０のカメラＩＤと、ＩＰアドレスと、カメラが設置されている拠点を識別する拠点ＩＤと、設置位置の座標値およびカメラが向いている方向を示す設置位置と、カメラの撮影範囲との情報が格納される。尚、上記プログラムは、メモリ２０２に読み込まれ、ＣＰＵ２０１が制御することにより実行される。
【００１９】
画像処理ＰＣ４は、図３に例を示す構成図のように、ＣＰＵ３０１、メモリ３０２、入力部３０３、通信部３０４および記憶部３１０を含む計算機で構成される。記憶部３１０には、ＯＳ３１１、キャッシュデータ３１２、顔領域検出プログラム３１３、動き領域検出プログラム３１４、人物位置検出プログラム３１５、画像特徴量生成プログラム３１６、データ送受信プログラム３１７と、が登録される。キャッシュデータ３１２には、画像データ及び、図７、図１７に例を示す顔検出領域の情報や動き検出領域の情報などの画像処理結果のデータが一時保存される。画像処理ＰＣ４は、カメラ制御ＰＣ３から受信した画像データから、顔領域検出処理と、動き領域検出処理と、人物位置検出処理と、画像特徴量生成処理を行い、表示制御ＰＣ５に、キャッシュデータ３１２に保存されている画像データおよび検出処理した各々の結果を表示制御ＰＣ５に順次送信する。尚、上記プログラムは、メモリ３０２に読み込まれ、ＣＰＵ３０１が制御することにより実行される。
【００２０】
表示制御ＰＣ５は、図４に例を示す構成図のように、ＣＰＵ４０１、メモリ４０２、入力部４０３、表示部４０４、通信部４０５および記憶部４１０を含む計算機で構成される。記憶部４１０には、ＯＳ４１１、キャッシュデータ４１２、ユーザ情報データ４１３、映像処理プログラム４１４、映像管理プログラム４１５、表示制御プログラム４１６、ユーザ管理プログラム４１７、データ送受信プログラム４１８と、が登録される。表示制御ＰＣ５は、画像処理ＰＣ４から画像データおよび画像処理結果のデータを受信し、ユーザのアクセス権限に応じたプライバシ対策をした映像を表示部４０４に表示し、受信した画像データと、画像処理結果のデータと、正面画像と背面画像を対応づけたデータとを映像蓄積ＰＣ６に送信する。映像処理プログラムは４１４は、表示制御プログラム４１６によって選択されたカメラおよび表示方法に基づき、モザイク処理や部分画像の合成処理を行い、表示する映像を生成する。また、映像管理プログラム４１５は、画像データや画像処理結果のデータ等をデータ送受信プログラム４１８で、映像蓄積ＰＣ６に送信し、必要に応じて映像蓄積ＰＣ６から画像データや画像処理結果のデータを取得する。尚、上記プログラムは、メモリ４０２に読み込まれ、ＣＰＵ４０１が制御することにより実行される。
【００２１】
映像蓄積ＰＣ６は、図５に例を示す構成図のように、ＣＰＵ５０１、メモリ５０２、入力部５０３、通信部５０４および記憶部５１０を含む計算機で構成される。記憶部５１０には、ＯＳ５１１、画像データ５１２、顔検出領域データ５１３、動き検出領域データ５１４、画像特徴量データ５１５、正面背面対応データ５１６、映像管理プログラム５１７、画像検索プログラム５１８、データ送受信プログラム５１９と、が登録される。映像蓄積ＰＣ６は、表示制御ＰＣ５から受信した画像データおよび画像処理結果のデータを画像データ５１２、顔検出領域データ５１３、動き検出領域データ５１４、画像特徴量データ５１５、正面背面対応データ５１６に蓄積し、表示制御ＰＣ５から蓄積データの取得要求を受信した場合は、該当する蓄積データを表示制御ＰＣ５に送信する。また、表示制御ＰＣ５から画像検索要求があった場合は、画像検索プログラム５１８で、検索キー画像と見た目に類似した画像を検索し、検索結果を表示制御ＰＣ５に送信する。尚、上記プログラムは、メモリ５０２に読み込まれ、ＣＰＵ５０１が制御することにより実行される。尚、カメラ制御ＰＣ３、画像処理ＰＣ４、表示制御ＰＣ５、映像蓄積ＰＣ６は、１台または複数台のＰＣにまとめてプログラムを動作させても構わない。なお、各実施例におけるモザイク処理について、どの実施例でも、モザイク処理そのものには限られず、例えば、ぼやかす処理を施したものなど、人物を特定できないように不鮮明化処理するものであれば、何でも良い。
【００２２】
次に、本発明の実施の形態の監視映像を表示する手順を図８に示すフローチャートおよび図９、図１０に示すデータフロー図を用いて説明する。
【００２３】
まず、カメラ画像取得プログラム２１３で、カメラ１０への接続に必要なＩＰアドレス等の情報を図６に例を示すカメラ情報データ２１２から読み出し、各々のカメラ１０からから画像データを取得し、カメラ画像送信プログラム２１４で、画像データを画像処理ＰＣ４に送信する（Ｓ８０１）。ここで、映像は画像の集合であるため、ここではカメラで取得した映像を画像データと表現する。尚、画像データの取得は、カメラ制御ＰＣ３から、カメラ１０に画像取得要求を出して画像データを取得する方式であっても、カメラ１０から一方的に送信される画像データを取得する方式であっても、カメラから画像データを取得することができれば方式は問わない。例えば、カメラ制御ＰＣからカメラに対してｈｔｔｐリクエストを送信し、カメラがｈｔｔｐリクエストを受信するとｊｐｅｇエンコードされた画像データがレスポンスとしてカメラ制御ＰＣに送信される。ここで、カメラ制御ＰＣで画像データを受信した時刻が撮影日時として画像データに付与される。その他、撮影に使われたカメラのＩＤ等、画像の属性情報も併せて画像データに付与される。
【００２４】
次に、画像処理ＰＣ４のデータ送受信プログラム３１７で、カメラ制御ＰＣ３から受信した画像データを取得し、キャッシュデータ３１２に登録する。尚、キャッシュデータ３１２が事前に定めた容量を超えた場合には、古いデータから削除されるようにしても構わない。また、キャッシュデータ３１２は、随時更新されており、最新の画像データを取得したり、指定条件に適合する画像データを参照したりすることができる。
【００２５】
次に、顔領域検出プログラム３１３で、キャッシュデータ３１２に登録されている最新の画像データを取得し、顔領域の有無情報および顔領域が含まれている場合は顔領域の情報を取得し、キャッシュデータ３１２に登録する（Ｓ８０２）。顔領域の検出は、公知の方法を用い、例えば、特許文献２に記載の方法を用いることができる。特許文献２に記載の方法では、複数人の顔画像を合成した平均顔を用いて顔型テンプレートを事前に生成しておき、入力画像と顔型テンプレートのマッチング処理を行うことによって、顔領域を検出する。その他、顔領域検出ツールとして広く知られているオープンソースのライブラリＯｐｅｎＣＶなどを用いることができる。尚、顔領域が検出できれば、肌色の情報を用いる方法など、どのような方法を用いても構わない。また、複数の顔領域が検出された場合には、複数の顔領域の情報をキャッシュデータ３１２に登録する。
【００２６】
次に、動き領域検出プログラム３１４にて、キャッシュデータ３１２から事前に指定する個数の最新の画像データを取得し、動きが検出された領域の情報を取得して、キャッシュデータ３１２に登録する（Ｓ８０３）。動き領域の検出は、公知の方法を用いる。例えば、固定カメラで撮影された映像では背景が変動しない特徴を利用し、過去数枚の画像データからＲＧＢ画素情報の平均値を取得することによって背景画像を生成し、背景だけが映っている背景画像と、動き領域が含まれる画像との差分が大きい部分を動きがあった領域として検出する方法が広く知られている。尚、動き検出領域の面積が事前に定めた値よりも小さい場合には、ノイズと見なし動き検出領域から除外する。背景差分による動き領域検出法の従来技術としては、（１）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ， Ｎｏ．６， ｐｐ．８５５−８６５，１９８９、（２）情報処理学会コンピュータビジョン研究会報告７５−５，１９９１、（３）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ， Ｎｏ．９， ｐｐ．１７１６−１７２６，１９９４などの技術に記載の方法を用いることもできる。尚、複数の動き領域が検出された場合には、複数の動き領域の情報をキャッシュデータ３１２に登録する。
【００２７】
次に、人物位置検出プログラム３１５で、カメラの撮影範囲にいる人物が立っている位置を取得する（Ｓ８０４）。人物位置の取得は、動き領域検出プログラム３１４にて取得した動き検出領域を、キャッシュデータ３１２から読み出し、動き検出領域の最下部の座標を足下と仮定し、事前に作成するカメラ画像の画素各々と床の位置の対応関係データを、カメラ制御ＰＣ３に登録されているカメラ情報データ２１２からカメラ情報管理プログラム２１５で取得することによって、人物の位置を特定する。ここで、動き検出領域のサイズの縦横比が事前に定めた範囲外である場合は、上半身または下半身のみが映っていると仮定し、人物位置は特定しない。尚、特許文献３に記載の方法のように、人物の頭部を検出し、頭部の画像上での座標とカメラの撮影範囲の現実空間の床部分とを対応づけた変換テーブルを参照して人物位置を取得する方法を用いるなど、人物位置が特定できれば、どのような方法を用いても構わない。
【００２８】
次に、画像特徴量生成プログラム３１６で、顔領域を検出するステップＳ８０２で検出した顔検出領域の画像に対して、人物検索に用いる画像特徴量を生成する（Ｓ８０５）。画像特徴量の生成は、画像の画素値情報を用いて、画像中のエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、画像特徴量とする。ここで、エッジパターンの分布は、特徴的なエッジパターンを予め複数設定し、画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数することによって生成される。尚、目、口、鼻の距離など、エッジパターン情報以外の情報を用いて特徴量ベクトルを生成し、類似度を計算することもできる。また、類似した顔を検索することができる画像特徴量であれば、上記以外の画像特徴量を用いても構わない。
【００２９】
尚、上記Ｓ８０２乃至Ｓ８０５で取得したデータは、表示制御ＰＣ５からのデータ取得要求に応じて順次表示制御ＰＣ５に送信する。
【００３０】
次に、表示制御ＰＣ５のユーザ管理プログラム４１７で、閲覧者のアクセス権限を取得し（Ｓ８０６）、図１１に例を示す事前に定めるアクセス権限ポリシーで、正面（両目または片目が含まれる顔が映っている画像を正面とする）の画像を表示するか、背面の画像を表示するかを示す保護要否判定を行い（Ｓ８０７）、保護要と判定された場合には、プライバシの影響が少ないカメラを選択する（Ｓ８０８）。尚、カメラの選択は、画像処理ＰＣ４から受信した画像処理結果から、顔画像の有無を判定し、拠点各々について、カメラに顔画像が映っていないカメラ（人物の正面が映っていないカメラ）を選択する（Ｓ８０９）。尚、背面が映っているカメラが複数ある場合は、人物が映っている領域が大きい映像は、知っている人物の判定が容易であるため、動き検出領域の面積が最大となるカメラを選択する。尚、同一拠点かどうかは、カメラ制御ＰＣ３のカメラ情報データ２１２に登録される撮影範囲情報と、人物の位置情報を用いて判定する。例えば、図１２に例を示す拠点において、座標１０，１０の位置と人物の位置が特定された場合で、座標１，８に設置されるカメラＣ０１に人物の正面が映っている場合は、図６に例を示すカメラ情報データ２１２を参照して、座標１０，１０が撮影範囲に含まれる座標１７，２５に設置されたカメラＣ０２を、背面が映っているカメラと選択する。但し、Ｃ０２の画像からも顔領域が検出されていない場合、この拠点については背面が映っているカメラはないと判定する。また、複数の動き検出領域が存在する場合（複数の人物が映っている場合）は、最も顔領域検出数が少ないカメラを選択する。
【００３１】
次に、ステップＳ８０９で選択したカメラの画像に正面顔が映っている場合は、顔の部分にモザイク処理をした保護映像を生成する。尚、同一拠点に複数のカメラがある場合で、動き領域が検出されているが、何れのカメラの映像からも顔領域が検出されていない場合は、顔が映っている可能性を加味し、動き検出領域の上部から指定した割合の部分を顔領域と仮定しモザイク処理（不鮮明化処理）を行う。また、モザイク処理によって、知っている人物であっても判定することが困難になってしまうことを防止するため、図１８に例を示すように、別のカメラで取得した背面画像（顔領域）がある場合には、背面画像を重畳して表示する。ここで、背面画像の取得は、人物の位置情報を用い、顔が検知されていないカメラで人物の位置から一番近いカメラを特定し、人物の位置に対応する動き検出領域がある場合には、その上部を背面画像とすることによって取得される。
【００３２】
尚、アクセス権限を取得するステップＳ８０６において、管理者であると判定された場合には、上記保護映像を生成するステップＳ８０９乃至ステップＳ８１０の処理は省略することができる（Ｓ８０８）。
【００３３】
次に、映像処理プログラム４１４で、保護映像を生成するステップＳ８０９乃至ステップＳ８１１で生成した映像を拠点別に並べた映像を生成し（Ｓ８１１）、表示制御プログラム４１６で、モニタなどの表示部４０４に映像を表示する（Ｓ８１２）。表示映像の生成は、アクセス権限が管理者以外の場合は、図１３に例を示すように背面が映っているカメラの映像を表示し、アクセス権限が高いユーザの場合は、図１４に例を示すように正面が映っているカメラの映像を表示する。また、アクセス権限が低いユーザの場合であっても、部屋の入退出管理システムや人物認証システムなどにより、人物が特定できている場合は、表示に問題がない人物かどうかをユーザ管理プログラム４１７で判定し、問題ない人物と判定された場合には、その人物に関しては正面が映っているカメラの映像を表示することもできる。例えば、ある拠点で入退出管理システムで人物が特定されている場合で、動きが検出された領域が１つである場合は、動きがある領域の人物が入退出管理システムで特定されている人物と判定できる。また、アクセス権限の高いユーザが閲覧する場合で、複数の人物がカメラの前に移っている場合で一部の人が背面の映像となっている場合には、図１４の部屋Ｂに例を示すように別のカメラに映っている正面映像を用いて、すべての人物の顔画像が確認できるように背面が映っている人物に顔画像を合成してあるいは重畳して表示する。ここで表示した画像データおよびキャッシュデータ３１２に登録されている画像処理結果のデータは、データ送受信プログラム４１８で、映像蓄積ＰＣ６に送信し、映像蓄積ＰＣ６の映像管理プログラム５１７で、画像データ５１２、顔検出領域データ５１３、動き検出領域データ５１４、画像特徴量データ５１５、正面背面対応データ５１６に登録する（Ｓ８１３）。尚、同じ位置で動き領域が検出されている複数のカメラがある場合は、正面が映っているカメラの画像を正面画像とし、背面が映っているカメラの画像を背面画像として対応付け、画像データに対してユニークに与えられた画像ＩＤをの対応関係を図１９に例を示す正面背面対応データ５１６に登録する。
【００３４】
次に、監視映像表示の終了指示の有無を判定し（Ｓ８１５）、終了指示がない場合には、上記ステップＳ８０１乃至ステップＳ８１４の処理を実行する。また、終了指示がある場合には、処理を終了する（Ｓ８１５）。
【００３５】
次に、本発明の監視映像を検索して表示する手順を、図１５のフローチャートを用いて説明する。この例では、同一人物を検索する場合には、人物認証技術または類似画像検索技術を利用することになるが、監視映像のように撮影条件がよくない状態でとられた映像に関しては人物認証技術の利用が困難なため、ここでは、注目している人物と同じ人物を探すことを目的として類似画像検索を行う例である。
【００３６】
まず、表示制御ＰＣ５のユーザ管理プログラム４１７で、ユーザのアクセス権限を取得する（Ｓ１５０１）。
次に、表示制御ＰＣ５の表示制御プログラム４１６で、検索対象となる人物が映っている撮影日時およびカメラ等の検索条件を、図１６に例を示す検索条件指定画面を表示部４０４に表示させ、キーボードやマウスなどの入力部４０３からキー画像の指定を受け、検キー画像を取得する（Ｓ１５０２）。
【００３７】
次に、映像検索プログラム５１８で、ステップＳ１５０２で選択されたキー画像に含まれる顔検出領域と見た目の類似度が高い顔検出領域を含む画像を検索し（Ｓ１５０３）、表示制御ＰＣ５の表示制御プログラム４１６で、検索結果を表示部４０４に表示する（Ｓ１５０４，Ｓ１５０５）。ここで、例えば、類似度の計算は、画像特徴量を生成するステップＳ８０５で生成した画像特徴量（ベクトルデータ）を用い、選択したキー画像の画像特徴量と二乗距離が小さい画像特徴量を有する画像が類似画像として取得される。尚、ステップＳ１５０１で取得したアクセス権限が、管理者権限である場合は、監視映像を表示するステップＳ８１２と同様に、背面が映っている映像に関しても対応して格納される顔画像データを用いて検索し、正面画像と共に背面画像の映像を表示することができる。次に、映像検索の終了指示の有無を判定し、終了指示がない場合には、上記ステップＳ１５０１乃至ステップＳ１５０５の処理を実行する。また、終了指示がある場合には、処理を終了する（Ｓ１５０６）。
【００３８】
次に、背面画像を含む画像がキー画像として指定された場合の第２の検索の手順を、図２０に示すフローチャートを用いて説明する。まず、閲覧者のアクセス権限を、ユーザ管理プログラム４１７で取得する（Ｓ２００１）。次に、表示制御プログラム４１６で、検索キー画像を取得し（Ｓ２００２）、前記キー画像が背面画像かどうか判定し（Ｓ２００３）、背面画像である場合は、図１９に例を示す正面背面対応データ５１６を参照し、対応する正面データの画像ＩＤを取得する（Ｓ２００４）。ここで、対応する正面データの画像ＩＤが複数ある場合は、値が小さいＩＤを取得する。次に、前記取得した正面データの画像ＩＤに対応する画像特徴量を画像検索プログラム５１８で取得し、前記画像特徴量をキー画像の画像特徴量として類似検索処理を行う（Ｓ２００５）。次に、閲覧者が管理者でない場合は（Ｓ２００６）、正面画像を閲覧することができないため、正面背面対応データ５１６を参照し、検索結果各々の正面画像の画像ＩＤから背面画像の画像ＩＤを逆引きし、背面画像の画像ＩＤを取得する（Ｓ２００７）。尚、管理者である場合は、正面画像を表示することができるので、ステップＳ２００７の処理は不要である。次に、検索結果の情報を表示制御ＰＣ５に送信し、映像処理プログラム４１４にて、検索結果の表示画面を生成し（Ｓ２００８）、表示制御プログラム４１６で、表示部４０４に検索結果を表示させる（Ｓ２００９）。次に、映像検索の終了指示の有無を判定し、終了指示がない場合には、上記ステップＳ２００１乃至ステップＳ２００９の処理を実行する。また、終了指示がある場合には、処理を終了する（Ｓ２０１０）。
【００３９】
本発明の実施の形態によれば、アクセス権限の低いユーザが監視映像を確認する場合であっても、背面映像を映すことによって、モザイク処理等で人物を判定できなくしてしまう方法と比較して、怪しい人物かどうかを判定しやすいという効果がある。また、アクセス権限の高いユーザについても、正面が映っているカメラの映像を確認できることと、背面が映っている人物の顔を容易に確認することができるため、監視効率が高いという効果がある。また、正面画像と背面画像を対応づけたデータを蓄積することにより、正面画像で背面画像が映っているカメラを検索したり、背面画像で正面画像が映っているカメラを検索したりすることができるという効果がある。
【００４０】
【特許文献２】特開２００８−２１１５３４公報
【特許文献３】特許第３６３７３６０号公報
【符号の説明】
【００４１】
１ 入力装置群
２ 監視センタ
３ カメラ制御ＰＣ
４ 画像処理ＰＣ
５ 表示制御ＰＣ
６ 映像蓄積ＰＣ
１０ カメラ
２０１ ＣＰＵ
２０２ メモリ
２０３ 入力部
２０４ 通信部
２１０ 記憶部
２１１ ＯＳ
２１２ カメラ情報データ
２１３ カメラ画像取得プログラム
２１４ カメラ画像送信プログラム
２１５ カメラ情報管理プログラム
３０１ ＣＰＵ
３０２ メモリ
３０３ 入力部
３０４ 通信部
３１０ 記憶部
３１１ ＯＳ
３１２ キャッシュデータ
３１３ 顔領域検出プログラム
３１４ 動き領域検出プログラム
３１５ 人物位置特定プログラム
３１６ 画像特徴量生成プログラム
３１７ データ送受信プログラム
４０１ ＣＰＵ
４０２ メモリ
４０３ 入力部
４０４ 表示部
４０５ 通信部
４１０ 記憶部
４１１ ＯＳ
４１２ キャッシュデータ
４１３ ユーザ情報データ
４１４ 映像処理プログラム
４１５ 映像管理プログラム
４１６ 表示制御プログラム
４１７ ユーザ管理プログラム
４１８ データ送受信プログラム
５０１ ＣＰＵ
５０２ メモリ
５０３ 入力部
５０４ 通信部
５１０ 記憶部
５１１ ＯＳ
５１２ 画像データ
５１３ 顔検出領域データ
５１４ 動き検出領域データ
５１５ 画像特徴量データ
５１６ 正面背面対応データ
５１７ 映像管理プログラム
５１８ 画像検索プログラム
５１９ データ送受信プログラム
【技術分野】
【０００１】
本発明は、プライバシ問題に配慮して映像を表示することが可能な監視システムに関する。
【背景技術】
【０００２】
ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。このような監視システムでは、大量の監視画像を取得することが可能となり、多角的なモニタリングが可能となる。最近では、監視モニタ端末の画面に、数百台のカメラの映像を並べて表示し、監視業務を行うといった用途も存在する。
【０００３】
しかし、一般人など、不特定多数の人物が撮影対象となる場所では、プライバシの問題が生じるため、権限の高い閲覧者でなければ監視映像を確認できないといった問題がある。そこで、カメラに映っている人物を認識し、事前に登録されている人物以外の場合は、モザイク処理等の抽象化処理を行った映像を利用する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０３６０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、前述した従来技術では、顔が鮮明に映っていない場合は人物の認識が困難であるという問題と、認識を厳しくした場合には表示しても問題ない人物の映像が抽象化処理されてしまうという問題がある。プライバシの問題を、プライバシを考慮しなければならない人物に限定し、限定された人物についてもプライバシの問題がない範囲で人物の情報を取得できることが望ましい。
【０００６】
そこで、監視効率の低下を抑えつつ、プライバシに配慮した映像を公開することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の代表的な一形態によれば、同一拠点を撮影する複数のカメラと、前記カメラで撮影された映像を表示するモニタ装置とを備える監視映像表示システムであって、閲覧者のアクセス権限に応じて、背面映像を表示させるか、正面映像を表示させるかを判定し、判定した結果に基づいて映像を表示するカメラを自動選択する。また、同一拠点を撮影する何れのカメラでも背面を映すことが困難な場合は、閲覧者のアクセス権限に応じて、閲覧可能な人物以外をモザイク処理（不鮮明化処理）して表示する。
【発明の効果】
【０００８】
本発明の一形態によれば、閲覧者のアクセス権限に応じて生成したプライバシ対策した映像をモニタ表示に表示することによって、従来技術ではモザイク処理などの抽象化処理によって知っている人物であっても誰であるか把握することが困難であった状況に対し、抽象化されていない背面の映像を表示することによって、人物を判定できる可能性が高まるため、抽象化処理よりも監視効率の低下を抑えられると共に、プライバシの問題で導入が困難なパブリックエリア等への監視システムの導入が進められるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態の監視映像表示システムの構成の一例を示すブロック図である。
【図２】本発明の実施の形態の監視映像表示システムのカメラ制御ＰＣの構成図である。
【図３】本発明の実施の形態の監視映像表示システムの画像処理ＰＣの構成図である。
【図４】本発明の実施の形態の監視映像表示システムの表示制御ＰＣの構成図である。
【図５】本発明の実施の形態の監視映像表示システムの映像蓄積ＰＣの構成図である。
【図６】本発明の実施の形態のカメラ情報データの一例を示す図である。
【図７】本発明の実施の形態の顔検出領域と動き検出領域の一例を示す図である。
【図８】本発明の実施の形態の監視映像を表示する手順を示すフローチャートである。
【図９】本発明の実施の形態の監視映像を表示する際のデータフローを示す図である。
【図１０】本発明の実施の形態の監視映像を検索する際のデータフローを示す図である。
【図１１】本発明の実施の形態の保護映像表示ポリシーを示す図である。
【図１２】本発明の実施の形態の拠点の情報の一例を示す図である。
【図１３】本発明の実施の形態の背面が映っているカメラ映像の表示の一例を示す図である。
【図１４】本発明の実施の形態の正面が映っているカメラ映像の表示の一例を示す図である。
【図１５】本発明の実施の形態の監視映像を検索する手順を示すフローチャートである。
【図１６】本発明の実施の形態の検索用のキー画像の選択画面を示す図である。
【図１７】本発明の実施の形態の画像処理で取得されるデータの種類を示す図である。
【図１８】本発明の実施の形態の保護映像の表示例を示す図である。
【図１９】本発明の実施の形態の正面背面対応データの一例を示す図である。
【図２０】本発明の実施の形態の背面画像に対応した監視映像を検索する手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
次に、本発明の実施の形態について、図面を参照して説明する。
【００１１】
図１は、本発明の実施の形態の監視映像表示システムの構成の一例を示すブロック図である。
【００１２】
図１において、監視映像表示システムは、複数のカメラ１０を含む入力装置群１と、複数のカメラ１０を制御し、プライバシに配慮して所望のカメラ１０の映像を表示する監視センタ２を主体に構成される。
【００１３】
監視映像表示システムは、建造物内などに複数のカメラ１０を設置し、監視センタ２の管理者または監視員が複数のカメラ１０の映像を監視し、各々のカメラ１０の映像を映像蓄積ＰＣ６に格納していくものである。
監視センタ２には、複数のカメラ１０の映像を拠点別またはカメラ別に並べて表示する表示制御ＰＣ（モニタ装置）５を備え、管理者（又は監視員）が表示制御ＰＣ５のモニタ５０に表示される映像を監視する。
また、表示制御ＰＣ５では、画像処理ＰＣ４から画像データおよび画像処理結果のデータを受信すると、アクセス権限取得手段によって取得した閲覧者のアクセス権限に応じて、カメラ選択手段によって選択されたカメラの映像を、画像表示判定手段によってプライバシ対策が行われた監視映像に変換し、モニタ５０に表示する。カメラ１０は所定の位置に固定されて、設置位置の情報が管理されており、画像処理によって得られる人物情報を用いて、最適なプライバシ対策をした映像をモニタ５０に表示させることで、監視効率の低下を最小限に抑えて監視映像を表示することができる。
監視センタ２は、上述の機能を実現するため、カメラ群から映像を取得して画像処理ＰＣ４に映像を送信するカメラ制御ＰＣ３と、カメラ１０から取得した映像中の人物情報を取得する画像処理ＰＣ４と、監視映像の表示を行う表示制御ＰＣ５と、監視映像を蓄積する映像蓄積ＰＣ６から構成される。以下、各部の詳細について説明する。
【００１４】
＜入力装置群の構成＞
監視センタ２は、複数の入力装置群１を管理しており、各入力装置群は建造物などの所定の領域（例えば、各フロア）毎、あるいは、一定の面積毎に設定され、ひとつの入力装置群１−１、１−２、１−３には複数のカメラ１０が含まれる。なお、以下の説明では、カメラ群１−１、１−２、１−３の構成は同様であるので、同一のものに同一の符号を付して重複した説明を省略する。
【００１５】
所定の位置に設置されたカメラ１０は、所定のフレームレートで所定の解像度の動画を撮像し、出力する。カメラ１０は、ネットワークケーブルまたは専用ケーブルなどの通信網１００で、カメラ制御ＰＣ３に接続される。カメラは、ＩＰカメラなど、映像を出力可能なカメラとし、外部からの要求に応じて映像を出力するカメラであっても、カメラ側から一方的に映像を出力するカメラであっても構わない。
【００１６】
これらのデバイスは拠点別に複数設置されており、その設置位置の情報はカメラ制御ＰＣ３で管理される。
【００１７】
＜監視センタの構成＞
次に、監視センタ２の構成要素について、図２乃至図６を参照しながら以下に説明する。
【００１８】
カメラ１０から映像を取得し、画像処理ＰＣ４に映像を送信するカメラ制御ＰＣ３は、図２に例を示す構成図のように、ＣＰＵ２０１、メモリ２０２、入力部２０３、通信部２０４および記憶部２１０を含む計算機で構成される。記憶部２１０には、ＯＳ２１１、カメラ情報データ２１２、カメラ画像取得プログラム２１３、カメラ画像送信プログラム２１４、カメラ情報管理プログラム２１５が登録される。カメラ情報データ２１２には、図６に例を示すように、ネットワークや専用ケーブルなどで構成される通信網１００で接続されているカメラ１０のカメラＩＤと、ＩＰアドレスと、カメラが設置されている拠点を識別する拠点ＩＤと、設置位置の座標値およびカメラが向いている方向を示す設置位置と、カメラの撮影範囲との情報が格納される。尚、上記プログラムは、メモリ２０２に読み込まれ、ＣＰＵ２０１が制御することにより実行される。
【００１９】
画像処理ＰＣ４は、図３に例を示す構成図のように、ＣＰＵ３０１、メモリ３０２、入力部３０３、通信部３０４および記憶部３１０を含む計算機で構成される。記憶部３１０には、ＯＳ３１１、キャッシュデータ３１２、顔領域検出プログラム３１３、動き領域検出プログラム３１４、人物位置検出プログラム３１５、画像特徴量生成プログラム３１６、データ送受信プログラム３１７と、が登録される。キャッシュデータ３１２には、画像データ及び、図７、図１７に例を示す顔検出領域の情報や動き検出領域の情報などの画像処理結果のデータが一時保存される。画像処理ＰＣ４は、カメラ制御ＰＣ３から受信した画像データから、顔領域検出処理と、動き領域検出処理と、人物位置検出処理と、画像特徴量生成処理を行い、表示制御ＰＣ５に、キャッシュデータ３１２に保存されている画像データおよび検出処理した各々の結果を表示制御ＰＣ５に順次送信する。尚、上記プログラムは、メモリ３０２に読み込まれ、ＣＰＵ３０１が制御することにより実行される。
【００２０】
表示制御ＰＣ５は、図４に例を示す構成図のように、ＣＰＵ４０１、メモリ４０２、入力部４０３、表示部４０４、通信部４０５および記憶部４１０を含む計算機で構成される。記憶部４１０には、ＯＳ４１１、キャッシュデータ４１２、ユーザ情報データ４１３、映像処理プログラム４１４、映像管理プログラム４１５、表示制御プログラム４１６、ユーザ管理プログラム４１７、データ送受信プログラム４１８と、が登録される。表示制御ＰＣ５は、画像処理ＰＣ４から画像データおよび画像処理結果のデータを受信し、ユーザのアクセス権限に応じたプライバシ対策をした映像を表示部４０４に表示し、受信した画像データと、画像処理結果のデータと、正面画像と背面画像を対応づけたデータとを映像蓄積ＰＣ６に送信する。映像処理プログラムは４１４は、表示制御プログラム４１６によって選択されたカメラおよび表示方法に基づき、モザイク処理や部分画像の合成処理を行い、表示する映像を生成する。また、映像管理プログラム４１５は、画像データや画像処理結果のデータ等をデータ送受信プログラム４１８で、映像蓄積ＰＣ６に送信し、必要に応じて映像蓄積ＰＣ６から画像データや画像処理結果のデータを取得する。尚、上記プログラムは、メモリ４０２に読み込まれ、ＣＰＵ４０１が制御することにより実行される。
【００２１】
映像蓄積ＰＣ６は、図５に例を示す構成図のように、ＣＰＵ５０１、メモリ５０２、入力部５０３、通信部５０４および記憶部５１０を含む計算機で構成される。記憶部５１０には、ＯＳ５１１、画像データ５１２、顔検出領域データ５１３、動き検出領域データ５１４、画像特徴量データ５１５、正面背面対応データ５１６、映像管理プログラム５１７、画像検索プログラム５１８、データ送受信プログラム５１９と、が登録される。映像蓄積ＰＣ６は、表示制御ＰＣ５から受信した画像データおよび画像処理結果のデータを画像データ５１２、顔検出領域データ５１３、動き検出領域データ５１４、画像特徴量データ５１５、正面背面対応データ５１６に蓄積し、表示制御ＰＣ５から蓄積データの取得要求を受信した場合は、該当する蓄積データを表示制御ＰＣ５に送信する。また、表示制御ＰＣ５から画像検索要求があった場合は、画像検索プログラム５１８で、検索キー画像と見た目に類似した画像を検索し、検索結果を表示制御ＰＣ５に送信する。尚、上記プログラムは、メモリ５０２に読み込まれ、ＣＰＵ５０１が制御することにより実行される。尚、カメラ制御ＰＣ３、画像処理ＰＣ４、表示制御ＰＣ５、映像蓄積ＰＣ６は、１台または複数台のＰＣにまとめてプログラムを動作させても構わない。なお、各実施例におけるモザイク処理について、どの実施例でも、モザイク処理そのものには限られず、例えば、ぼやかす処理を施したものなど、人物を特定できないように不鮮明化処理するものであれば、何でも良い。
【００２２】
次に、本発明の実施の形態の監視映像を表示する手順を図８に示すフローチャートおよび図９、図１０に示すデータフロー図を用いて説明する。
【００２３】
まず、カメラ画像取得プログラム２１３で、カメラ１０への接続に必要なＩＰアドレス等の情報を図６に例を示すカメラ情報データ２１２から読み出し、各々のカメラ１０からから画像データを取得し、カメラ画像送信プログラム２１４で、画像データを画像処理ＰＣ４に送信する（Ｓ８０１）。ここで、映像は画像の集合であるため、ここではカメラで取得した映像を画像データと表現する。尚、画像データの取得は、カメラ制御ＰＣ３から、カメラ１０に画像取得要求を出して画像データを取得する方式であっても、カメラ１０から一方的に送信される画像データを取得する方式であっても、カメラから画像データを取得することができれば方式は問わない。例えば、カメラ制御ＰＣからカメラに対してｈｔｔｐリクエストを送信し、カメラがｈｔｔｐリクエストを受信するとｊｐｅｇエンコードされた画像データがレスポンスとしてカメラ制御ＰＣに送信される。ここで、カメラ制御ＰＣで画像データを受信した時刻が撮影日時として画像データに付与される。その他、撮影に使われたカメラのＩＤ等、画像の属性情報も併せて画像データに付与される。
【００２４】
次に、画像処理ＰＣ４のデータ送受信プログラム３１７で、カメラ制御ＰＣ３から受信した画像データを取得し、キャッシュデータ３１２に登録する。尚、キャッシュデータ３１２が事前に定めた容量を超えた場合には、古いデータから削除されるようにしても構わない。また、キャッシュデータ３１２は、随時更新されており、最新の画像データを取得したり、指定条件に適合する画像データを参照したりすることができる。
【００２５】
次に、顔領域検出プログラム３１３で、キャッシュデータ３１２に登録されている最新の画像データを取得し、顔領域の有無情報および顔領域が含まれている場合は顔領域の情報を取得し、キャッシュデータ３１２に登録する（Ｓ８０２）。顔領域の検出は、公知の方法を用い、例えば、特許文献２に記載の方法を用いることができる。特許文献２に記載の方法では、複数人の顔画像を合成した平均顔を用いて顔型テンプレートを事前に生成しておき、入力画像と顔型テンプレートのマッチング処理を行うことによって、顔領域を検出する。その他、顔領域検出ツールとして広く知られているオープンソースのライブラリＯｐｅｎＣＶなどを用いることができる。尚、顔領域が検出できれば、肌色の情報を用いる方法など、どのような方法を用いても構わない。また、複数の顔領域が検出された場合には、複数の顔領域の情報をキャッシュデータ３１２に登録する。
【００２６】
次に、動き領域検出プログラム３１４にて、キャッシュデータ３１２から事前に指定する個数の最新の画像データを取得し、動きが検出された領域の情報を取得して、キャッシュデータ３１２に登録する（Ｓ８０３）。動き領域の検出は、公知の方法を用いる。例えば、固定カメラで撮影された映像では背景が変動しない特徴を利用し、過去数枚の画像データからＲＧＢ画素情報の平均値を取得することによって背景画像を生成し、背景だけが映っている背景画像と、動き領域が含まれる画像との差分が大きい部分を動きがあった領域として検出する方法が広く知られている。尚、動き検出領域の面積が事前に定めた値よりも小さい場合には、ノイズと見なし動き検出領域から除外する。背景差分による動き領域検出法の従来技術としては、（１）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ， Ｎｏ．６， ｐｐ．８５５−８６５，１９８９、（２）情報処理学会コンピュータビジョン研究会報告７５−５，１９９１、（３）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ， Ｎｏ．９， ｐｐ．１７１６−１７２６，１９９４などの技術に記載の方法を用いることもできる。尚、複数の動き領域が検出された場合には、複数の動き領域の情報をキャッシュデータ３１２に登録する。
【００２７】
次に、人物位置検出プログラム３１５で、カメラの撮影範囲にいる人物が立っている位置を取得する（Ｓ８０４）。人物位置の取得は、動き領域検出プログラム３１４にて取得した動き検出領域を、キャッシュデータ３１２から読み出し、動き検出領域の最下部の座標を足下と仮定し、事前に作成するカメラ画像の画素各々と床の位置の対応関係データを、カメラ制御ＰＣ３に登録されているカメラ情報データ２１２からカメラ情報管理プログラム２１５で取得することによって、人物の位置を特定する。ここで、動き検出領域のサイズの縦横比が事前に定めた範囲外である場合は、上半身または下半身のみが映っていると仮定し、人物位置は特定しない。尚、特許文献３に記載の方法のように、人物の頭部を検出し、頭部の画像上での座標とカメラの撮影範囲の現実空間の床部分とを対応づけた変換テーブルを参照して人物位置を取得する方法を用いるなど、人物位置が特定できれば、どのような方法を用いても構わない。
【００２８】
次に、画像特徴量生成プログラム３１６で、顔領域を検出するステップＳ８０２で検出した顔検出領域の画像に対して、人物検索に用いる画像特徴量を生成する（Ｓ８０５）。画像特徴量の生成は、画像の画素値情報を用いて、画像中のエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、画像特徴量とする。ここで、エッジパターンの分布は、特徴的なエッジパターンを予め複数設定し、画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数することによって生成される。尚、目、口、鼻の距離など、エッジパターン情報以外の情報を用いて特徴量ベクトルを生成し、類似度を計算することもできる。また、類似した顔を検索することができる画像特徴量であれば、上記以外の画像特徴量を用いても構わない。
【００２９】
尚、上記Ｓ８０２乃至Ｓ８０５で取得したデータは、表示制御ＰＣ５からのデータ取得要求に応じて順次表示制御ＰＣ５に送信する。
【００３０】
次に、表示制御ＰＣ５のユーザ管理プログラム４１７で、閲覧者のアクセス権限を取得し（Ｓ８０６）、図１１に例を示す事前に定めるアクセス権限ポリシーで、正面（両目または片目が含まれる顔が映っている画像を正面とする）の画像を表示するか、背面の画像を表示するかを示す保護要否判定を行い（Ｓ８０７）、保護要と判定された場合には、プライバシの影響が少ないカメラを選択する（Ｓ８０８）。尚、カメラの選択は、画像処理ＰＣ４から受信した画像処理結果から、顔画像の有無を判定し、拠点各々について、カメラに顔画像が映っていないカメラ（人物の正面が映っていないカメラ）を選択する（Ｓ８０９）。尚、背面が映っているカメラが複数ある場合は、人物が映っている領域が大きい映像は、知っている人物の判定が容易であるため、動き検出領域の面積が最大となるカメラを選択する。尚、同一拠点かどうかは、カメラ制御ＰＣ３のカメラ情報データ２１２に登録される撮影範囲情報と、人物の位置情報を用いて判定する。例えば、図１２に例を示す拠点において、座標１０，１０の位置と人物の位置が特定された場合で、座標１，８に設置されるカメラＣ０１に人物の正面が映っている場合は、図６に例を示すカメラ情報データ２１２を参照して、座標１０，１０が撮影範囲に含まれる座標１７，２５に設置されたカメラＣ０２を、背面が映っているカメラと選択する。但し、Ｃ０２の画像からも顔領域が検出されていない場合、この拠点については背面が映っているカメラはないと判定する。また、複数の動き検出領域が存在する場合（複数の人物が映っている場合）は、最も顔領域検出数が少ないカメラを選択する。
【００３１】
次に、ステップＳ８０９で選択したカメラの画像に正面顔が映っている場合は、顔の部分にモザイク処理をした保護映像を生成する。尚、同一拠点に複数のカメラがある場合で、動き領域が検出されているが、何れのカメラの映像からも顔領域が検出されていない場合は、顔が映っている可能性を加味し、動き検出領域の上部から指定した割合の部分を顔領域と仮定しモザイク処理（不鮮明化処理）を行う。また、モザイク処理によって、知っている人物であっても判定することが困難になってしまうことを防止するため、図１８に例を示すように、別のカメラで取得した背面画像（顔領域）がある場合には、背面画像を重畳して表示する。ここで、背面画像の取得は、人物の位置情報を用い、顔が検知されていないカメラで人物の位置から一番近いカメラを特定し、人物の位置に対応する動き検出領域がある場合には、その上部を背面画像とすることによって取得される。
【００３２】
尚、アクセス権限を取得するステップＳ８０６において、管理者であると判定された場合には、上記保護映像を生成するステップＳ８０９乃至ステップＳ８１０の処理は省略することができる（Ｓ８０８）。
【００３３】
次に、映像処理プログラム４１４で、保護映像を生成するステップＳ８０９乃至ステップＳ８１１で生成した映像を拠点別に並べた映像を生成し（Ｓ８１１）、表示制御プログラム４１６で、モニタなどの表示部４０４に映像を表示する（Ｓ８１２）。表示映像の生成は、アクセス権限が管理者以外の場合は、図１３に例を示すように背面が映っているカメラの映像を表示し、アクセス権限が高いユーザの場合は、図１４に例を示すように正面が映っているカメラの映像を表示する。また、アクセス権限が低いユーザの場合であっても、部屋の入退出管理システムや人物認証システムなどにより、人物が特定できている場合は、表示に問題がない人物かどうかをユーザ管理プログラム４１７で判定し、問題ない人物と判定された場合には、その人物に関しては正面が映っているカメラの映像を表示することもできる。例えば、ある拠点で入退出管理システムで人物が特定されている場合で、動きが検出された領域が１つである場合は、動きがある領域の人物が入退出管理システムで特定されている人物と判定できる。また、アクセス権限の高いユーザが閲覧する場合で、複数の人物がカメラの前に移っている場合で一部の人が背面の映像となっている場合には、図１４の部屋Ｂに例を示すように別のカメラに映っている正面映像を用いて、すべての人物の顔画像が確認できるように背面が映っている人物に顔画像を合成してあるいは重畳して表示する。ここで表示した画像データおよびキャッシュデータ３１２に登録されている画像処理結果のデータは、データ送受信プログラム４１８で、映像蓄積ＰＣ６に送信し、映像蓄積ＰＣ６の映像管理プログラム５１７で、画像データ５１２、顔検出領域データ５１３、動き検出領域データ５１４、画像特徴量データ５１５、正面背面対応データ５１６に登録する（Ｓ８１３）。尚、同じ位置で動き領域が検出されている複数のカメラがある場合は、正面が映っているカメラの画像を正面画像とし、背面が映っているカメラの画像を背面画像として対応付け、画像データに対してユニークに与えられた画像ＩＤをの対応関係を図１９に例を示す正面背面対応データ５１６に登録する。
【００３４】
次に、監視映像表示の終了指示の有無を判定し（Ｓ８１５）、終了指示がない場合には、上記ステップＳ８０１乃至ステップＳ８１４の処理を実行する。また、終了指示がある場合には、処理を終了する（Ｓ８１５）。
【００３５】
次に、本発明の監視映像を検索して表示する手順を、図１５のフローチャートを用いて説明する。この例では、同一人物を検索する場合には、人物認証技術または類似画像検索技術を利用することになるが、監視映像のように撮影条件がよくない状態でとられた映像に関しては人物認証技術の利用が困難なため、ここでは、注目している人物と同じ人物を探すことを目的として類似画像検索を行う例である。
【００３６】
まず、表示制御ＰＣ５のユーザ管理プログラム４１７で、ユーザのアクセス権限を取得する（Ｓ１５０１）。
次に、表示制御ＰＣ５の表示制御プログラム４１６で、検索対象となる人物が映っている撮影日時およびカメラ等の検索条件を、図１６に例を示す検索条件指定画面を表示部４０４に表示させ、キーボードやマウスなどの入力部４０３からキー画像の指定を受け、検キー画像を取得する（Ｓ１５０２）。
【００３７】
次に、映像検索プログラム５１８で、ステップＳ１５０２で選択されたキー画像に含まれる顔検出領域と見た目の類似度が高い顔検出領域を含む画像を検索し（Ｓ１５０３）、表示制御ＰＣ５の表示制御プログラム４１６で、検索結果を表示部４０４に表示する（Ｓ１５０４，Ｓ１５０５）。ここで、例えば、類似度の計算は、画像特徴量を生成するステップＳ８０５で生成した画像特徴量（ベクトルデータ）を用い、選択したキー画像の画像特徴量と二乗距離が小さい画像特徴量を有する画像が類似画像として取得される。尚、ステップＳ１５０１で取得したアクセス権限が、管理者権限である場合は、監視映像を表示するステップＳ８１２と同様に、背面が映っている映像に関しても対応して格納される顔画像データを用いて検索し、正面画像と共に背面画像の映像を表示することができる。次に、映像検索の終了指示の有無を判定し、終了指示がない場合には、上記ステップＳ１５０１乃至ステップＳ１５０５の処理を実行する。また、終了指示がある場合には、処理を終了する（Ｓ１５０６）。
【００３８】
次に、背面画像を含む画像がキー画像として指定された場合の第２の検索の手順を、図２０に示すフローチャートを用いて説明する。まず、閲覧者のアクセス権限を、ユーザ管理プログラム４１７で取得する（Ｓ２００１）。次に、表示制御プログラム４１６で、検索キー画像を取得し（Ｓ２００２）、前記キー画像が背面画像かどうか判定し（Ｓ２００３）、背面画像である場合は、図１９に例を示す正面背面対応データ５１６を参照し、対応する正面データの画像ＩＤを取得する（Ｓ２００４）。ここで、対応する正面データの画像ＩＤが複数ある場合は、値が小さいＩＤを取得する。次に、前記取得した正面データの画像ＩＤに対応する画像特徴量を画像検索プログラム５１８で取得し、前記画像特徴量をキー画像の画像特徴量として類似検索処理を行う（Ｓ２００５）。次に、閲覧者が管理者でない場合は（Ｓ２００６）、正面画像を閲覧することができないため、正面背面対応データ５１６を参照し、検索結果各々の正面画像の画像ＩＤから背面画像の画像ＩＤを逆引きし、背面画像の画像ＩＤを取得する（Ｓ２００７）。尚、管理者である場合は、正面画像を表示することができるので、ステップＳ２００７の処理は不要である。次に、検索結果の情報を表示制御ＰＣ５に送信し、映像処理プログラム４１４にて、検索結果の表示画面を生成し（Ｓ２００８）、表示制御プログラム４１６で、表示部４０４に検索結果を表示させる（Ｓ２００９）。次に、映像検索の終了指示の有無を判定し、終了指示がない場合には、上記ステップＳ２００１乃至ステップＳ２００９の処理を実行する。また、終了指示がある場合には、処理を終了する（Ｓ２０１０）。
【００３９】
本発明の実施の形態によれば、アクセス権限の低いユーザが監視映像を確認する場合であっても、背面映像を映すことによって、モザイク処理等で人物を判定できなくしてしまう方法と比較して、怪しい人物かどうかを判定しやすいという効果がある。また、アクセス権限の高いユーザについても、正面が映っているカメラの映像を確認できることと、背面が映っている人物の顔を容易に確認することができるため、監視効率が高いという効果がある。また、正面画像と背面画像を対応づけたデータを蓄積することにより、正面画像で背面画像が映っているカメラを検索したり、背面画像で正面画像が映っているカメラを検索したりすることができるという効果がある。
【００４０】
【特許文献２】特開２００８−２１１５３４公報
【特許文献３】特許第３６３７３６０号公報
【符号の説明】
【００４１】
１ 入力装置群
２ 監視センタ
３ カメラ制御ＰＣ
４ 画像処理ＰＣ
５ 表示制御ＰＣ
６ 映像蓄積ＰＣ
１０ カメラ
２０１ ＣＰＵ
２０２ メモリ
２０３ 入力部
２０４ 通信部
２１０ 記憶部
２１１ ＯＳ
２１２ カメラ情報データ
２１３ カメラ画像取得プログラム
２１４ カメラ画像送信プログラム
２１５ カメラ情報管理プログラム
３０１ ＣＰＵ
３０２ メモリ
３０３ 入力部
３０４ 通信部
３１０ 記憶部
３１１ ＯＳ
３１２ キャッシュデータ
３１３ 顔領域検出プログラム
３１４ 動き領域検出プログラム
３１５ 人物位置特定プログラム
３１６ 画像特徴量生成プログラム
３１７ データ送受信プログラム
４０１ ＣＰＵ
４０２ メモリ
４０３ 入力部
４０４ 表示部
４０５ 通信部
４１０ 記憶部
４１１ ＯＳ
４１２ キャッシュデータ
４１３ ユーザ情報データ
４１４ 映像処理プログラム
４１５ 映像管理プログラム
４１６ 表示制御プログラム
４１７ ユーザ管理プログラム
４１８ データ送受信プログラム
５０１ ＣＰＵ
５０２ メモリ
５０３ 入力部
５０４ 通信部
５１０ 記憶部
５１１ ＯＳ
５１２ 画像データ
５１３ 顔検出領域データ
５１４ 動き検出領域データ
５１５ 画像特徴量データ
５１６ 正面背面対応データ
５１７ 映像管理プログラム
５１８ 画像検索プログラム
５１９ データ送受信プログラム
【特許請求の範囲】
【請求項１】
同一拠点を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える監視映像表示システムであって、
閲覧者のアクセス権限を取得する手段と、
前記カメラによって撮影された画像について、前記閲覧者のアクセス権限に応じて、背面映像を表示させるか、正面映像を表示させるかを判定する判定手段と、
前記判定手段によって判定した結果に基づいて、映像を表示するカメラを選択する選択手段と、
前記選択されたカメラの映像を前記モニタ装置に表示する手段とを有することを特徴とする監視映像表示システム。
【請求項２】
前記判定手段は、前記アクセス権限がある場合には、前記判定手段は、前記正面映像を表示させる判定を行い、前記アクセス権限がない場合には、前記背面画像を表示させる判定を行うことを特徴とする請求項１記載の監視映像表示システム。
【請求項３】
前記判定手段は、
前記アクセス権限がある場合には、前記判定手段は、前記正面映像を表示させる判定を行い、前記正面画像がない場合には、背面画像を表示させる判定を行い、
前記アクセス権限がない場合には、前記背面画像を表示させる判定を行い、前記背面画像がない場合は、前記正面画像を表示させる判定を行い、
さらに、前記アクセス権限がない場合で正面画像を表示させる場合には、前記選択手段にて選択したカメラの映像の顔領域に不鮮明化処理を行うことを特徴とする請求項１記載の監視映像表示システム。
【請求項４】
前記アクセス権限がある場合で、前記背面画像を表示させる場合には、前記モニタ装置に、前記背面画像に同一人物の顔画像を重畳して表示させることを特徴とする請求項１記載の監視映像表示システム。
【請求項５】
前記アクセス権限がない場合で、前記正面画像を表示させる場合には、前記選択手段にて選択したカメラの映像の顔領域に不鮮明化処理を行った正面画像を表示し、さらに、前記不鮮明化処理された正面画像に、同一人物の背面画像を重畳して表示させることを特徴とする請求項１記載の監視映像表示システム。
【請求項６】
前記選択手段は、顔検出領域の情報と、動き検出領域の情報と、人物位置の情報とを用い、同じ人物が１つのカメラに表示されるようにカメラを選択することを特徴とする請求項１記載の監視映像表示システム。
【請求項７】
前記判定手段は、人物の正面であるか背面であるかの判定を、顔領域の有無で判定し、前記複数のカメラから取得された動きが検出された位置すべてにおいて、前記顔領域が無いと判定された場合には、動きが検出された領域の上部を不鮮明化して前記モニタ装置に表示することを特徴とする請求項１記載の監視映像表示システム。
【請求項８】
同一拠点を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える監視映像表示システムであって、
前記カメラによって撮影された画像を表示する手段と、
前記表示された画像から、検索キーとなる背面画像の指定を受ける手段と、
前記背面画像と対応する正面画像を検索し、前記正面画像を検索キーとして、類似画像の検索を行い、別の画像を、前記モニタ装置に表示させる手段とを有することを特徴とする監視映像表示システム。
【請求項９】
さらに、閲覧者のアクセス権限を取得する手段と、
前記閲覧者のアクセス権限に応じて、背面映像を表示させるか、正面映像を表示させるかを判定する判定手段とを有し、
前記モニタ装置に表示させる別の画像は、前記閲覧者のアクセス権限がある場合には、正面映像であることを特徴とする請求項８記載の監視映像表示システム。
【請求項１０】
更に、背面画像IDと正面画像IDとの対応テーブルを有し、
前記対応テーブルは、前記背面画像と対応する正面画像を検索する際に、用いられることを特徴とする請求項８記載の監視映像表示システム。
【請求項１】
同一拠点を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える監視映像表示システムであって、
閲覧者のアクセス権限を取得する手段と、
前記カメラによって撮影された画像について、前記閲覧者のアクセス権限に応じて、背面映像を表示させるか、正面映像を表示させるかを判定する判定手段と、
前記判定手段によって判定した結果に基づいて、映像を表示するカメラを選択する選択手段と、
前記選択されたカメラの映像を前記モニタ装置に表示する手段とを有することを特徴とする監視映像表示システム。
【請求項２】
前記判定手段は、前記アクセス権限がある場合には、前記判定手段は、前記正面映像を表示させる判定を行い、前記アクセス権限がない場合には、前記背面画像を表示させる判定を行うことを特徴とする請求項１記載の監視映像表示システム。
【請求項３】
前記判定手段は、
前記アクセス権限がある場合には、前記判定手段は、前記正面映像を表示させる判定を行い、前記正面画像がない場合には、背面画像を表示させる判定を行い、
前記アクセス権限がない場合には、前記背面画像を表示させる判定を行い、前記背面画像がない場合は、前記正面画像を表示させる判定を行い、
さらに、前記アクセス権限がない場合で正面画像を表示させる場合には、前記選択手段にて選択したカメラの映像の顔領域に不鮮明化処理を行うことを特徴とする請求項１記載の監視映像表示システム。
【請求項４】
前記アクセス権限がある場合で、前記背面画像を表示させる場合には、前記モニタ装置に、前記背面画像に同一人物の顔画像を重畳して表示させることを特徴とする請求項１記載の監視映像表示システム。
【請求項５】
前記アクセス権限がない場合で、前記正面画像を表示させる場合には、前記選択手段にて選択したカメラの映像の顔領域に不鮮明化処理を行った正面画像を表示し、さらに、前記不鮮明化処理された正面画像に、同一人物の背面画像を重畳して表示させることを特徴とする請求項１記載の監視映像表示システム。
【請求項６】
前記選択手段は、顔検出領域の情報と、動き検出領域の情報と、人物位置の情報とを用い、同じ人物が１つのカメラに表示されるようにカメラを選択することを特徴とする請求項１記載の監視映像表示システム。
【請求項７】
前記判定手段は、人物の正面であるか背面であるかの判定を、顔領域の有無で判定し、前記複数のカメラから取得された動きが検出された位置すべてにおいて、前記顔領域が無いと判定された場合には、動きが検出された領域の上部を不鮮明化して前記モニタ装置に表示することを特徴とする請求項１記載の監視映像表示システム。
【請求項８】
同一拠点を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える監視映像表示システムであって、
前記カメラによって撮影された画像を表示する手段と、
前記表示された画像から、検索キーとなる背面画像の指定を受ける手段と、
前記背面画像と対応する正面画像を検索し、前記正面画像を検索キーとして、類似画像の検索を行い、別の画像を、前記モニタ装置に表示させる手段とを有することを特徴とする監視映像表示システム。
【請求項９】
さらに、閲覧者のアクセス権限を取得する手段と、
前記閲覧者のアクセス権限に応じて、背面映像を表示させるか、正面映像を表示させるかを判定する判定手段とを有し、
前記モニタ装置に表示させる別の画像は、前記閲覧者のアクセス権限がある場合には、正面映像であることを特徴とする請求項８記載の監視映像表示システム。
【請求項１０】
更に、背面画像IDと正面画像IDとの対応テーブルを有し、
前記対応テーブルは、前記背面画像と対応する正面画像を検索する際に、用いられることを特徴とする請求項８記載の監視映像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−２９７９８（Ｐ２０１１−２９７９８Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７１７３６（Ｐ２００９−１７１７３６）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]