画像データ制御装置
【課題】監視カメラから送信するデータ量を削減し、監視対象の物体の位置と状態を把握することを可能とする画像データ制御装置を提供すること。
【解決手段】入力した画像データから物体の検出を行い、解析する画像解析部１２０と、送信した画像データと画像ＩＤを対応付けて蓄積する送信済み画像確認リスト蓄積部１５０と、画像解析部１２０が検出した物体を分類し、一番近いと分類された送信済みの画像が、送信済み画像確認リスト蓄積部１５０も蓄積されている場合に、画像データを送信しないと判定する物体画像送信判定部１８０と、物体画像送信判定部１８０の判定に従って、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと画像解析手段が検出した物体の領域情報を出力するデータを送信する送信制御部１９０を備える。
【解決手段】入力した画像データから物体の検出を行い、解析する画像解析部１２０と、送信した画像データと画像ＩＤを対応付けて蓄積する送信済み画像確認リスト蓄積部１５０と、画像解析部１２０が検出した物体を分類し、一番近いと分類された送信済みの画像が、送信済み画像確認リスト蓄積部１５０も蓄積されている場合に、画像データを送信しないと判定する物体画像送信判定部１８０と、物体画像送信判定部１８０の判定に従って、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと画像解析手段が検出した物体の領域情報を出力するデータを送信する送信制御部１９０を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラと監視モニタとを接続した監視カメラシステムにおいて、特に、監視モニタ装置へ送信する画像データを制御する画像データ制御装置に関するものである。
【背景技術】
【０００２】
近年、様々な場所に設置された多数の監視カメラが、ネットワークで接続された監視モニタに画像データを送信して、監視、モニタリングを行う監視システムに対するニーズは急速に拡大している。しかし、監視システムに利用できるネットワークの帯域は、データを送信する容量が十分に確保できない場合がある。多数の監視カメラが、同時に画像などの比較的データ量が大きいデータを大量に送信すると、ネットワークシステムに大きな負荷がかかる。最悪の場合ではネットワークシステムがダウンし、データ通信が行えなくなる問題が発生する。
【０００３】
従来の技術として、監視カメラが、撮像した画像データ全てを送るのではなく、監視対象の物体（例えば人間や移動する物体）を特定し、特定した物体を切り出した一部の画像データのみを送信する技術がある（例えば、特許文献１参照）。前記特許文献１に記載された技術では、監視対象の物体を切り出した一部の画像データのみを送信することで、全体の画像データを送信する場合よりも、相対的に送信するデータ量を減らすことができる。また、前記特許文献１に記載された技術では、監視カメラが、特定した物体の移動量が一定量を越えた時に切り出した画像データを送信することで、更に、送信するデータ量を減らすことができる。
【０００４】
しかしながら、前記特許文献１の技術では、監視対象の物体の移動量が一定量を越えない場合、監視対象の物体の画像データを送信しない。このため、監視モニタに表示される画像は、監視対象の物体の画像が更新されず、監視者は、監視対象の物体の現在位置を正確に把握できなくなる。また、監視者は、監視対象の物体の移動途中の軌跡を詳細に把握することはできない。送信する頻度を高くした場合、相対的には全体画像データのデータ量よりも小さくなるが、画像データを送信することに変わりはなく、送信する画像のデータ量の総量が大きくなってしまう。
【０００５】
この課題を解決する従来の技術として、監視カメラにて撮像した画像データを画像解析して、監視対象の物体（例えば人間や移動する物体）を検出し、当該の物体の位置情報のみを送付する技術がある（例えば、特許文献２参照）。前記特許文献２に記載された技術では、映像監視モニタに表示する画像を、システムで複数種類定義して、システムで定義した複数の画像から指定した画像を、監視カメラから送付された位置情報の位置に表示するように監視システム構成する。画像データを送信せずに位置情報を送信するので、画像データを送信する場合よりもデータ量を減らしつつ、監視モニタの監視者は、監視カメラにて撮像する範囲内において、監視対象の物体がどこに位置するのかを把握することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１４１７００号公報
【特許文献２】国際公開第２００７／０３７３５０号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の技術では、監視対象の物体の画像データを送信せずに位置情報を送信するので、監視対象の物体がどこに位置するのかを監視モニタに表示することはできるが、現在の画像を表示することができない。このため、監視モニタの監視者は、監視対象の物体がどこに位置するのかは把握できるが、どのような状態（様子）かを把握することができないという課題を有していた。
【０００８】
本発明は、前記従来の課題を解決するもので、監視カメラから送信するデータ量を削減し、監視対象の物体の位置と状態を把握することを可能とする画像データ制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の画像データ制御装置は、入力した画像データから物体の検出を行い、前記検出した物体の画像を解析し、前記検出した物体の領域情報を出力する画像解析手段と、前記入力した画像データから、前記画像解析手段が出力した前記領域情報が示す領域の画像を切り出して出力する画像切り出し手段と、前記画像切り出し手段が出力した切り出し画像データを、エンコードして圧縮画像データを生成するエンコード手段と、画像データを識別する画像ＩＤを付与し、画像データと画像ＩＤと画像を対応付ける画像ＩＤ付与手段と、送信した画像データと、前記送信した画像データに付与された画像ＩＤとを送信済み画像確認リストとして蓄積し、送信履歴を管理する送信済み画像確認リスト蓄積手段と、前記画像解析手段が検出した物体の画像に対し、前記画像確認リスト蓄積手段に蓄積されている画像の中で、一番近い画像に分類するためのルールであるカテゴリー化ルールを保持するカテゴリー化ルール保持手段と、前記カテゴリー化ルール保持手段が保持している前記カテゴリー化ルールを用いて、前記画像解析手段が検出した物体の画像に対する分類を行い、一番近いと分類された送信済みの画像が、前記送信済み画像確認リストに蓄積されている場合に、前記画像解析手段が検出した物体の画像データを送信しないと判定する物体画像送信判定手段と、前記物体画像送信判定手段が、前記画像解析手段が検出した物体の画像データを送信しないと判定した場合、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと、前記画像解析手段が検出した物体の領域情報を出力する送信制御手段とを備える。
【００１０】
本構成によって、画像データ制御装置は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。
【発明の効果】
【００１１】
本発明の画像データ制御装置によれば、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。これにより、画像データ制御装置を備えた監視カメラは、監視対象の物体の画像データを送信する場合と比べて、送信するデータ量を削減することができる。また、監視モニタは、画像データ制御装置が送信したデータを受け取り、監視対象の物体がどのような状態でどこに位置するかを表示することができる。これにより、監視モニタの監視者は、監視対象の物体の位置と状態を把握することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１における画像データ制御装置を備えた撮像装置の構成を示す構成図
【図２】本発明の実施の形態１における姿勢テンプレート画像リストの一例を示す図
【図３】本発明の実施の形態１における送信済み画像確認リストの一例を示す図
【図４】本発明の実施の形態１における送信制御部が出力するデータの一例を示す図
【図５】本発明の実施の形態１における画像データ制御装置の動作の一例を示すフローチャート
【図６】本発明の実施の形態１における画像送信判定処理の動作の一例を示すフローチャート
【図７】本発明の実施の形態１における分類候補リストの一例を示す図
【図８】本発明の実施の形態１におけるデータ送信処理の動作の一例を示すフローチャート
【図９】本発明の実施の形態１における映像表示装置の構成を示す図
【図１０】本発明の実施の形態１における映像表示装置の動作の一例を示すフローチャート
【図１１】本発明の実施の形態１における映像表示装置の動作の一例を示すフローチャート
【図１２】本発明の実施の形態１における物体描画処理の動作の一例を示すフローチャート
【図１３】本発明の実施の形態１における撮像装置が撮像する画像の一例を示す図
【図１４】本発明の実施の形態１における送信済み画像確認リストの一例を示す図
【図１５】本発明の実施の形態１における送信済み画像確認リストの一例を示す図
【図１６】本発明の実施の形態１における映像表示装置に表示される画像の一例を示す図
【図１７】本発明の実施の形態１における画像送信判定処理の動作の一例を示すフローチャート
【図１８】本発明の実施の形態１における送信済み画像確認リストデータの一例を示す図
【図１９】本発明の実施の形態１における画像送信判定処理の動作の一例を示す図
【図２０】本発明の実施の形態１におけるデータ送信処理の動作の一例を示す図
【図２１】本発明の実施の形態２における画像データ制御装置を備えた撮像装置の構成を示す構成図
【図２２】本発明の実施の形態２における画像データ制御装置の動作の一例を示す図
【図２３】本発明の実施の形態２における画像送信判定処理の動作の一例を示す図
【図２４】本発明の実施の形態２におけるデータ送信処理の動作の一例を示す図
【図２５】本発明の本発明の実施の形態３における画像データ制御装置を備えた撮像装置の構成図
【図２６】本発明の実施の形態３における再送制御処理の動作の一例を示す図
【図２７】本発明の実施の形態３における物体描画処理の動作の一例を示す図
【図２８】本発明の実施の形態４における画像データ制御装置を備えた撮像装置の構成を示す構成図
【図２９】本発明の実施の形態５における画像データ制御装置を備えた撮像装置の構成図
【図３０】本発明の実施の形態６における画像データ制御装置を備えた撮像装置の構成図
【図３１】本発明の実施の形態６における画像データ制御装置の動作の一例を示す図
【発明を実施するための形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
（実施の形態１）
図１は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【００１５】
図１の撮像装置１０１は、ネットワークを介して撮像した画像を送信する監視用デジタルビデオカメラとして構成されている。撮像装置１０１は、ネットワーク９９９９と接続しており、ネットワーク９９９９を介して、映像表示装置２００に画像などのデータを送信する。撮像装置１０１は監視カメラであり、映像表示装置２００は監視モニタとして、監視システムを構成する。また、複数個の撮像装置１０１を備え、映像表示装置２００は、複数個の撮像装置１０１からのデータを受け取り、監視、モニタリングを行うことができる。
【００１６】
図１の撮像装置１０１は、撮像部１０２、送信部１０３、画像データ制御装置１００を備えている。
【００１７】
撮像部１０２は、光学レンズなどを通して装置内に入力された光学的な画像信号を画像データに変換する。また、撮像部１０２は、アナログ−デジタル変換回路を持ち、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ、色差成分ＣｂとＣｒで表現するＹＣｂＣｒ形式を用いるようにしてもよいし、ＲＧＢ形式などの形式を用いてもよい。
【００１８】
撮像部１０２は、装置内に入力された画像信号を周期的に画像データに変換し、出力する。撮像部１０２は、３０分の１秒ごとに入力された画像信号を画像データに変換し、出力するようにしてもよい。以下、画像信号を画像データに変換する１周期は、撮像周期と記載する。
【００１９】
送信部１０３は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００にデータを送信する。送信部１０３は、画像データ制御装置１００から通知されたデータを、映像表示装置２００に送信する。
【００２０】
送信部１０３は、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。送信部１０３は、これら通信プロトコルに準拠する形式でデータをパケット化し、送信する。
【００２１】
送信部１０３は、映像表示装置２００のアドレスを、内部の不揮発性のメモリーに保持しており、このアドレスを用いて、映像表示装置２００との通信を行う。
【００２２】
送信部１０３は、ＬＡＮケーブルなどの有線によって、ネットワーク９９９９と接続するように構成してもよいし、無線ＬＡＮを介して、ネットワークに接続するようにしてもよい。
【００２３】
画像データ制御装置１００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置１００は、送信すると決定したデータを送信部１０３に通知する。
【００２４】
画像データ制御装置１００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、送信制御部１９０を備えている。
【００２５】
入力部１１０は、撮像部１０２が出力した画像データを受け取り、受け取った画像データを、画像解析部１２０、画像切り出し部１３０、エンコード部１４０に出力する。
【００２６】
画像解析部１２０は、入力部１１０が出力した画像データを入力し、画像データ内に写されている１つまたは複数の物体を検出し、検出した物体の画像を解析する。画像解析部１２０で行う物体検出は、フレーム間差分法によって、動く物体（動体）を検出し、検出した動体を認識すべき物体として決定する。
【００２７】
なお、画像解析部１２０は、予め人間などの物体がいない状態の背景画像を保持し、背景画像と入力した画像データとを比較して物体を認識する、背景差分法などを用いてもよい。また、画像解析部１２０は、顔検出や人物検出、ペット検出などの他の検出処理を用いてもよい。
【００２８】
画像解析部１２０は、入力部１１０から入力した画像データ内の、全ての領域に対して、物体検出を行う。画像解析部１２０は、物体を検出した場合は、検出結果から割り出した物体の領域情報を、物体画像送信判定部１８０に出力する。
【００２９】
物体の領域情報は、物体領域の高さ（物体領域高さＦｈ）、幅（物体領域幅Ｆｗ）、水平方向の位置（物体領域水平位置Ｆｘ）、および垂直方向の位置（物体領域垂直位置Ｆｙ）からなる。なお、物体領域水平位置Ｆｘは、例えば、画像データの左端から物体領域の左上端までの、水平方向の距離によって表され、物体領域垂直位置Ｆｙは、例えば、画像データの上端から物体領域の左上端までの、垂直方向の距離によって表される。
【００３０】
画像切り出し部１３０は、物体画像送信判定部１８０から指示を受け取り、入力部１１０から入力した画像データから、指示された領域の画像を切り出す。画像切り出し部１３０は、切り出しを指示された領域の各画素をコピーし、指示されたメモリー領域に記録する。
【００３１】
画像切り出し部１３０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成された内部バッファを持つ。この内部バッファは、物体画像送信判定部１８０も参照可能とする。画像切り出し部１３０は、切り出した画像を内部バッファに一時的に保管することで、切り出し画像を複数のモジュールでの処理に利用することができる。
【００３２】
エンコード部１４０は、入力部１１０が出力した画像データと、画像切り出し部１３０が出力した切り出し画像を入力し、エンコードして圧縮像データを生成する。エンコード部１４０は、圧縮画像データの形式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により画像データを圧縮する。
【００３３】
送信済み画像確認リスト蓄積部１５０は、送信した画像データと画像ＩＤを、リスト形式で蓄積する。送信済み画像確認リスト蓄積部１５０は、送信した画像データと画像ＩＤを組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部１５０は、送信制御部１９０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。
【００３４】
送信済み画像確認リスト蓄積部１５０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に情報を蓄積するようにしてもよい。また、送信済み画像確認リスト蓄積部１５０は、ＤＲＡＭのような揮発性の半導体メモリーによって構成するようにしてもよい。
【００３５】
画像ＩＤ付与部１６０は、物体画像送信判定部１８０からの要求を受け取り、画像データを識別する識別子（画像ＩＤ）を付与し、画像ＩＤと画像を対応付ける。
【００３６】
画像ＩＤ付与部１６０は、ＤＲＡＭなどにより構成された内部蓄積機能を持ち、付与済みの最新画像ＩＤを記憶する。画像ＩＤ付与部１６０は、新しい画像ＩＤを付与する際に、記憶している最新画像ＩＤ＋１の値を、新しい画像ＩＤとして付与する。なお、画像ＩＤ付与部１６０は、一つも画像ＩＤの付与を行っていない初期状態では、所定の値を記憶し、付与後の状態と識別できるようにする。
【００３７】
カテゴリー化ルール保持部１７０は、入力部１１０から入力した画像データ内の、物体の画像に対し、類似性を判断する際に使用するルール（カテゴリー化ルール）を保持する。カテゴリー化ルールとは、蓄積済みの画像の中で、一番近い画像に分類するためのルールである。
【００３８】
カテゴリー化ルールには、「物体を人間の姿勢認識によって分類し、姿勢が近い画像に同じ画像に分類とする」ことを意味する情報が記載されている。記載方法は、テキスト形式の文字列で表現してもよい。また、記載方法は、予め定義された変数値によって表現してもよい。
【００３９】
カテゴリー化ルール保持部１７０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に、カテゴリー化ルールを保持している。
【００４０】
物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールを取得し、カテゴリー化ルールに従って、画像解析部１２０が検出した物体の画像を分類する。物体画像送信判定部１８０は、分類した結果に基づいて、画像解析部１２０が検出した物体の画像を分類し、物体の画像データを映像表示装置２００に送信するか否かを判定する。
【００４１】
姿勢認識を実現する方法は、例えば、次の手順で行う。
【００４２】
カテゴリー化ルール保持部１７０は、認識対象の姿勢毎に、対応するテンプレート画像を、前もって保持している。テンプレート画像とは、例えば、しゃがんでいる、手で引っ張っているなど、人間の姿勢を、それぞれ単純な２値化データとして示し画像である。まず、画像解析部１２０は、人間の画像を検出する。次に、物体画像送信判定部１８０は、画像切り出し部１３０に画像の切り出しを指示し、画像解析部１２０が検出した物体画像を取得する。物体画像送信判定部１８０が、画像の姿勢を特徴化した濃淡画像を抽出し２値化する。次に、物体画像送信判定部１８０が、各テンプレート画像と比較して、最も適合するテンプレート画像を決定し、テンプレート画像が対応する姿勢を認識結果とする。
【００４３】
また、姿勢認識を実現する他の方法は、例えば、人間の関節などの部位を抽出し、各関節間の距離によって姿勢を認識する手法を用いてもよい。
【００４４】
なお、カテゴリー化ルール保持部１７０が、各テンプレート画像を保持しているとしたが、本発明はこれに限定されるものではなく、例えば、物体画像送信判定部１８０が保持してもよい。
【００４５】
図２は、姿勢テンプレート画像リストの一例を示している。姿勢テンプレート画像リストは、前述したカテゴリー化ルールを示した情報であり、各姿勢とテンプレート画像とを対応付けて、カテゴリー化ルール保持部１７０が保持している。「立つ」、「腰掛ける」などの各姿勢にはテンプレートＩＤが割り振られており、このテンプレートＩＤを使ってテンプレート画像を管理している。そのため、テンプレートＩＤが決めれば、そのＩＤが示す姿勢の意味とテンプレート画像データが一意に特定できる。また、テンプレート画像データは２値化されており、テンプレートマッチングに適した形式に加工されているものとする。
【００４６】
物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０から姿勢テンプレート画像リストを取得し、画像解析部１２０が検出した物体の画像を、姿勢認識に基づいて分類する。すなわち、物体画像送信判定部１８０は、画像解析部１２０が検出した物体の画像とテンプレート画像リストの各テンプレート画像とを比較する。
【００４７】
なお、物体画像送信判定部１８０は、前述した比較を行うために、画像切り出し部１３０に、画像解析部１２０が検出した物体画像の切り出しを指示する。物体画像送信判定部１８０は、画像切り出し部１３０に対して、画像解析部１２０から受け取った物体の領域情報を指定し、物体の部分の画像を切り出すように指示する。画像切り出し部１３０は、切り出した画像を内部バッファに記録する。物体画像送信判定部１８０は、内部バッファにアクセスし、画像解析部１２０が検出した物体画像を取得する。更に、物体画像送信判定部１８０は、画像切り出し部１３０が切り出した画像を濃淡２値化し、比較に用いる。また、物体画像送信判定部１８０は、比較を行いやすくするために、テンプレート画像の画角にリサイズして、比較してもよい。
【００４８】
物体画像送信判定部１８０は、前記比較によって、画像解析部１２０が検出した物体画像に一番近いテンプレート画像を決定し、一番近いテンプレート画像のテンプレートＩＤを特定する。
【００４９】
次に、物体画像送信判定部１８０は、送信済み画像確認リスト蓄積部１５０から送信済み画像確認リストを取得して、分類した姿勢の画像は送信済みか否かを確認する。
【００５０】
図３は、送信済み画像確認リストの一例を示している。送信済み画像確認リストは、画像ＩＤと送信した圧縮画像データとを対応付けて保持している。更に、送信済み画像確認リストは、テンプレートＩＤを各エントリーにもち、１つのテンプレートＩＤ（姿勢）に対して、一意に画像ＩＤ、及び、送信した画像データが決まるフォーマットとする。また、送信済み画像確認リストに記載の各画像が送信済みか否かを判定するには、各画像のエントリーに画像ＩＤと圧縮画像データにデータ割り与えられているかを調べることによって判定できる。
【００５１】
物体画像送信判定部１８０は、送信済み画像確認リストを参照し、一番近いテンプレート画像のテンプレートＩＤに対応する画像を送信済みであるか否かを確認する。
【００５２】
物体画像送信判定部１８０は、テンプレートＩＤに対応する画像を送信済みであれば物体の画像は送信しないと判定する。一方、物体画像送信判定部１８０は、送信済みでなければ物体の画像を送信すると判定する。
【００５３】
なお、実施の形態１の姿勢テンプレート画像リストは図２に示す情報を保持しているが、本発明はこれに限定されるものではなく、例えば、テンプレート画像の画格情報を持つようにしてもよい。
【００５４】
なお、実施の形態１の画像解析部１２０では、人間の姿勢認識の手法を用いて説明するが、例えば、物体の色ヒストグラムによる分類などを行ってもよい。
【００５５】
また、実施の形態１においては、物体画像送信判定部１８０が、画像解析部１２０によって検出した物体画像を、画像切り出し部１３０に切り出ように指示する構成である。他の構成として、例えば、画像解析部１２０が、検出した物体画像を画像切り出し部１３０に切り出すように指示するようにしてもよい。
【００５６】
物体画像送信判定部１８０は、物体画像を送信すると判定した場合は、画像ＩＤ付与部１６０より新たな画像ＩＤを取得し、これを送信する画像を識別するＩＤとして使用する。
【００５７】
送信制御部１９０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
【００５８】
図４は、送信制御部１９０が出力するデータの一例を示す。図４（ａ）は、画像データを送信する場合を示しており、送信制御部１９０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。図４（ｂ）は、画像データを送信しない場合を示しており、送信制御部１９０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
【００５９】
なお、送信制御部１９０が出力するデータは、例えば、姿勢認識結果である姿勢情報などを含んでもよい。
【００６０】
以上の構成により、画像データ制御装置を備えた撮像装置は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知する。
【００６１】
図５は、本発明の実施の形態１における画像データ制御装置１００の、撮像部１０２から画像データを受け取った際の動作を示すフローチャートである。撮像部１０２は、周期的に画像データを画像データ制御装置１００に出力する。そのため、図５の動作は、周期的に繰り替えされる。
【００６２】
まず、ステップＳ１００において、入力部１１０は、撮像部１０２から出力された画像データを受け取り、画像解析部１２０に出力する。画像解析部１２０は、入力部１１０が出力した画像データを入力し、画像データ内に存在する物体を検出し、物体の領域情報を得る。画像解析部１２０は、検出した物体の領域情報を、物体画像送信判定部１８０に出力する。
【００６３】
次に、ステップＳ２００において、物体画像送信判定部１８０は、画像送信判定処理を行う。物体画像送信判定部１８０は、ステップＳ１００で検出した物体から、次の処理対象の物体を決定し、この物体の画像を、送信するか否かを判断する。
【００６４】
ステップＳ４００において、送信制御部１９０は、ステップＳ２００で判定した結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
【００６５】
ステップＳ５００において、物体画像送信判定部１８０は、ステップＳ１００で検出した全ての物体に対して処理を行っていない場合、ステップＳ２００に遷移する。一方、物体画像送信判定部１８０は、全ての物体に対して処理を行った場合、処理を終了する。つまり、物体画像送信判定部１８０と送信制御部１９０は、画像解析部１２０が検出した物体画像１つごとに、ステップＳ２００とＳ４００の処理を繰り返す。
【００６６】
図６は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。
【００６７】
ステップＳ２１０において、物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０にアクセスし、カテゴリー化ルールを取得する。
【００６８】
ステップＳ２２０において、物体画像送信判定部１８０は、送信済み画像確認リスト蓄積部１５０より、送信済み画像確認リストを取得する。送信済み画像確認リストは、物体画像を送信するか否かの判定に使用する。
【００６９】
ステップＳ２２５において、物体画像送信判定部１８０は、物体画像の比較に使用する、画像解析部１２０が物体検出した物体画像を取得する。物体画像送信判定部１８０は、画像解析部１２０より入力された物体の位置情報を画像切り出し部１３０に入力し、画像データの物体画像部分を切り出すよう指示する。画像切り出し部１３０は、前記指示を受け取ると、入力部１１０より入力した画像データの物体画像部分を切り出し、内部バッファに記録する。物体画像送信判定部１８０は、画像切り出し部１３０にアクセスし、切り出した物体画像を取得する。
【００７０】
以降のステップＳ２３０からステップＳ２４０までの一連の処理で、各姿勢のテンプレート画像リストに記録されている各画像と、ステップ１００で画像解析部１２０が物体検出した物体画像を比較する。物体画像送信判定部１８０は、テンプレート画像リストの内テンプレートＩＤの番号が若い順に、画像解析部１２０が物体検出した物体画像との比較を行う。
【００７１】
ステップＳ２３０において、物体画像送信判定部１８０は、テンプレート画像リストに記録されている物体画像のうち、まだ比較に使っていないテンプレートＩＤの中で一番番号の若いＩＤである画像を参照する。
【００７２】
次に、物体画像送信判定部１８０は、ステップＳ２２５にて取得した物体画像とテンプレート画像リストに記録されている画像を比較し、比較した各々の画像がどのくらい近いかを示す一致率を算出する。一致率とは、比較した２つの画像において、画像内の画素毎に排他的論理和の合計を求め、この値によって２つの画像がどれくらい近いかを示す値である。よって、一致率は値が低いほうが近い、値が高いほうが近くないことを意味する。
【００７３】
ステップＳ２３０では、図７に示す分類候補リストに算出した一致率を格納し、以降の処理にて利用する。
【００７４】
ステップＳ２４０において、ステップＳ２１０にて取得したテンプレート画像リストに記録されている全ての画像と、物体検出した物体画像との比較が完了したかをチェックする。まだ、比較していない画像が残っている場合は、ステップＳ２３０に遷移し、そうでない場合はステップＳ２５０に遷移する。
【００７５】
ステップＳ２５０において、物体画像送信判定部１８０は、分類候補リストを参照し、検出した物体に一番近いテンプレート画像のテンプレートＩＤを得る。
【００７６】
ステップＳ２６０において、物体画像送信判定部１８０は、ステップＳ２５０にて取得したテンプレートＩＤに関連する画像が送信済みか否かを確認する。物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２５０の処理で分類したテンプレート画像のテンプレートＩＤと、同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部１８０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像が送信済みか否かを調べる。調べた結果、一番近いテンプレート画像に対応する画像が送信済みではない場合は、ステップＳ２７０に遷移し、送信済みであると判断された場合は、ステップＳ３１０に遷移する。
【００７７】
ステップＳ２７０において、物体画像送信判定部１８０は、判定結果を「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」として、ステップＳ２８０に遷移する。
【００７８】
ステップＳ２８０において、物体画像送信判定部１８０は、画像ＩＤ付与部１６０にアクセスし、新たな画像ＩＤを取得する。
【００７９】
ステップＳ３００において、物体画像送信判定部１８０は、送信制御部１９０に、取得した新たな画像ＩＤと、一番近いテンプレート画像のテンプレートＩＤと、物体画像の領域情報と、判定結果を出力する。ここで、物体画像送信判定部１８０は、ステップＳ２８０で取得した新たな画像ＩＤと、ステップＳ２５０で得た一番近いテンプレート画像のテンプレートＩＤとを用いる。ステップＳ３００の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
【００８０】
一方、ステップＳ２６０にて、物体画像送信判定部１８０はステップＳ２５０で得たテンプレートＩＤに関連する画像がすでに送信済みであると判断した場合、ステップＳ３１０に遷移する。
【００８１】
ステップＳ３１０において、物体画像送信判定部１８０は、判定結果を「新たな画像ＩＤは付与せず、一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」として、ステップＳ３２０に遷移する。
【００８２】
ステップＳ３２０において、物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２５０で分類した姿勢の、テンプレート画像のテンプレートＩＤと同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部１８０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像の画像ＩＤを取得する。
【００８３】
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、ステップＳ３２０で取得した画像ＩＤと、物体画像の領域情報と判定結果を入力する。ステップＳ３３０の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
【００８４】
上記のように、物体画像送信判定部１８０は、外部の装置に画像を送信するか否かの判定し、判定結果や、送信する画像ＩＤ、物体画像の領域情報などのデータ送信処理に必要となる情報を送信制御部１９０に入力する。
【００８５】
図８は、データ送信処理（図５のステップＳ４００）の詳細な動作を示すフローチャートである。
【００８６】
まず、ステップＳ４１０において、送信制御部１９０は、図５のステップＳ２００での判定結果に応じて、映像表示装置２００に送信するデータを切り替える。判定結果が画像を送付するものである場合は、ステップＳ４２０に遷移し、以降、物体検出した物体画像の画像データを送信する一連の処理を行う。
【００８７】
ステップＳ４２０において、送信制御部１９０は、画像切り出し部１３０に、物体画像送信判定部１８０から受け取った物体画像の領域情報を入力し、入力部１１０から入力した画像データの物体画像部分の切り出しを指示する。画像切り出し部１３０は、切り出画像をエンコード部１４０に出力し、エンコード部１４０は、エンコード処理して圧縮画像データを生成する。
【００８８】
なお、画像切り出し部１３０がエンコード部１４０に出力する切り出し画像は、上記にように新たに切り出すのではなく、図６のステップＳ２２５において切り出し、内部バッファに記録している画像を使用してもよい。
【００８９】
エンコード部１４０は、画像切り出し部より前記切り出し画像を受け取ると、エンコード処理を行い、圧縮画像データを生成し、送信制御部１９０に出力する。
【００９０】
次に、ステップＳ４３０において、送信制御部１９０は、ステップＳ４２０で生成した圧縮画像データと、図５のステップＳ２００で付与した新たな画像ＩＤと、物体画像の領域情報を含むメタデータを生成し、送信部１０３に出力する。
【００９１】
ステップＳ４４０において、送信制御部１９０は、送信済み画像確認リストの更新を行う。すなわち、送信制御部１９０は、ステップＳ４３０で出力した圧縮画像データと画像ＩＤと、図６のステップＳ２５０で取得した一番近いテンプレート画像のテンプレートＩＤを、送信済み画像確認リスト蓄積部１５０に通知する。送信済み画像確認リスト蓄積部１５０は、受け取ったテンプレートＩＤのエントリーに画像ＩＤと圧縮画像データを追加する。これにより、最初は当該のテンプレートＩＤに対応する画像ＩＤと画像データが抜けている状態だったエントリーに、画像ＩＤと圧縮画像データが追加される。
【００９２】
ステップＳ４４０が終了すると、データ送信処理を終了し、ステップＳ５００に遷移する。
【００９３】
一方、ステップＳ４１０において、図５のステップＳ２００での判定結果が画像を送付しないである場合は、ステップＳ４５０に遷移する。
【００９４】
ステップＳ４５０において、送信制御部１９０は、図５のステップＳ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤと、物体画像の領域情報を含むメタデータを生成し、送信部１０３に出力する。
【００９５】
ステップＳ４５０が終了すると、リターンに遷移し、データ送信処理が終了する。
【００９６】
以上により、送信制御部１９０は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知する。
【００９７】
物体画像送信判定部１８０が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」と判定した場合、送信制御部１９０は、圧縮画像データと、画像ＩＤと、物体画像の領域情報を、送信データとして出力する。
【００９８】
物体画像送信判定部１８０が「送信済み画像の中で一番近い画像の画像ＩＤと領域情報を送信し、新たな画像は送信しない」と判定した場合、送信制御部１９０は、送信済み画像の画像ＩＤと物体画像の領域情報を、送信データとして出力する。
【００９９】
実施の形態１の画像データ制御装置１００を備えた撮像装置１０１は、送信履歴にない人物を物体検出により検出した時に、検出した物体画像を送信するのみで、物体画像を表示するベースとなる背景画像については送信しない。
【０１００】
撮像装置１０１の電源が投入された直後に、画像データ制御装置１００は、撮像部１０２から画像データを受け取る。画像データ制御装置１００のエンコード部１４０は、受け取った画像データをエンコードして、圧縮画像データを生成し、送信制御部１９０に出力する。送信制御部１９０は、圧縮画像データを、背景データとして、送信部１０３を介して、映像表示装置２００に送信する。
【０１０１】
送信した圧縮画像データは、撮像装置１０１の起動直後に、撮像部１０２が撮像した全体の画像データをエンコードしたものであり、受信側の映像表示装置２００は、この画像を背景画像として表示する。
【０１０２】
なお、実施の形態１において、背景画像は、撮像装置１０１の起動を行う処理において送信するように説明するが、この限りではなく、例えば、定期的に送ってもよい。
【０１０３】
次に、撮像装置１０１が送信したデータを受信し、受信したデータを基に画像を表示する映像表示装置２００について説明する。
【０１０４】
図９は、映像表示装置２００の構成を示した図である。
【０１０５】
映像表示装置２００は、受信した画像を表示する装置として構成されており、受信部２１０、画像蓄積部２２０、デコード部２３０、リサイズ部２４０、合成部２５０、及び、表示部２６０を備えている。
【０１０６】
受信部２１０は、ネットワークに接続されており、ネットワークを介して外部装置からデータを受信する。受信部２１０は、ＬＡＮケーブルによって、ネットワークと接続している。また、受信部２１０は、無線ＬＡＮを介して、ネットワークに接続するようにしてもよい。受信部２１０は、受信したデータ（画像）を、画像蓄積部２２０へ通知する。また、受信部２１０は、受信した画像ＩＤを用いて、画像蓄積部２２０に記録された画像の中から、対応する画像を取得する。また、受信部２１０は、背景画像を表示した時刻から一定時間が経過したか否かを判断し、表示のリセットを制御する。
【０１０７】
画像蓄積部２２０は、受信部２１０が受信した画像を蓄積する。画像蓄積部２２０は、図３に一例を示した通り、受信した画像データと画像ＩＤとを対応付けて保持している。画像蓄積部２２０は、圧縮画像データと画像ＩＤを入力されると自身が管理するデータに追加する。
【０１０８】
画像蓄積部２２０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体、ＤＲＡＭなどの揮発性の半導体メモリーにより構成する。
【０１０９】
デコード部２３０は、受信部２１０が受信した圧縮画像データをデコードし、画像データを生成する。撮像装置１０１は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により画像データを圧縮して、送信する。デコード部２３０は、これら圧縮形式に対応して、デコードする。
【０１１０】
リサイズ部２４０は、入力した画像を所定の大きさにリサイズして出力する。リサイズ部２４０は、デコード部２３０から画像データを受け取り、受信部２１０から領域情報を受け取る。リサイズ部２４０は、受け取った画像データを、領域情報が示すサイズに変更する。
【０１１１】
合成部２５０は、デコード部２３０から出力された画像データと、リサイズ部２４０から出力された画像データの内、１つないし複数を合成して出力する。合成部２５０は、デコード部２３０から画像データを受け取り、リサイズ部２４０から画像データと領域情報を受け取る。合成部２５０は、受け取った複数の画像データを合成して出力する。なお、起動力後など、映像表示装置２００が背景画像のみ受信済みの場合、合成部２５０は、合成することなく、デコード部２３０から受け取った画像データをそのまま表示部に出力する。
【０１１２】
表示部２６０は、液晶パネルや有機ＥＬパネルといったデバイスにより構成され、合成部２５０から出力された画像データを表示する。
【０１１３】
次に、映像表示装置２００が、撮像装置１０１から送信された画像を受信し、表示する処理を説明する。
【０１１４】
図１０は、映像表示装置２００が受信した背景画像を表示する動作の一例を示したフローチャートである。
【０１１５】
ステップＳ７００において、受信部２１０は、撮像装置１０１が送信した背景画像を受信する。受信部２１０は、受信した画像をデコード部２３０に通知する。
【０１１６】
次に、ステップＳ７１０において、デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、合成部２５０に通知する。合成部２５０は、合成処理を行わずに、デコード部２３０から受け取った画像データをそのまま表示部２６０に出力する。これにより、背景画像は表示部２６０に表示される。
【０１１７】
ステップＳ７２０において、受信部２１０は、受信した画像を、背景画像として画像蓄積部２２０に保存する。この保存した画像データは表示部２６０の表示をリセットするために使用される。
【０１１８】
図１１は、映像表示装置２００が受信した物体画像を表示する動作の一例を示したフローチャートである。映像表示装置２００は、図１０で説明した背景画像に、新たに受信した物体画像を合成して、表示する。
【０１１９】
ステップＳ８００において、受信部２１０は、撮像装置１０１が送信したデータを受信する。
【０１２０】
ステップＳ８１０において、受信部２１０は、背景画像を表示した時刻から一定時間が経過したか否かを判断する。一定時間が経過済みの場合、受信部２１０は、表示をリセットすると決定する。
【０１２１】
リセットせずに物体画像を背景画像に合成するだけだと、表示部２６０に表示される画面内に同じ物体画像が多数表示され、その物体画像の位置が最新の位置なのかがわからなくなる。これでは、撮像装置１０１が撮像している範囲ないにおいて、どこに（全体画像のどこに）人間が位置するか、を把握することができなくなり、監視するという要求を満たせなくなる。
【０１２２】
映像表示装置２００は、カメラが撮像する周期と同じ周期でリセット処理を行う。画像データの撮像されたタイムスタンプを利用し、受信した物体画像のタイムスタンプが、前回リセットしたタイムスタンプと１撮像周期分の和と等しい、もしくは、大きい場合はリセットする。
【０１２３】
前回リセットしたタイムスタンプは、例えば、受信部２１０が内蔵するメモリー（図示しない）、または、画像蓄積部２２０に記録する。
【０１２４】
ステップＳ８１０にて、受信部２１０が表示をリセットすると判定した場合、ステップＳ８２０に遷移する。一方、ステップＳ８１０にて、受信部２１０が表示をリセットしないと判定した場合、ステップＳ８５０に遷移する。
【０１２５】
ステップＳ８２０において、映像表示装置２００は、物体表示処理を行い、受信した物体画像データを表示する。詳細は図１２を用いて、後で説明する。
【０１２６】
ステップＳ８３０において、受信したデータには圧縮画像データが含まれて場合は、ステップＳ８４０に遷移する。一方、受信したデータに圧縮画像データが含まれていない場合は、処理を終了する。
【０１２７】
ステップＳ８４０において、受信部２１０は、圧縮画像データと受信した画像ＩＤを画像蓄積部２２０へ通知する。画像蓄積部２２０は、受信部２１０から通知された圧縮画像データと画像ＩＤを、管理しているデータに追加し、更新する。
【０１２８】
ステップＳ８５０において、受信部２１０は、画像蓄積部２２０から背景画像の圧縮画像データを取得する。受信部２１０は、取得した圧縮画像データをデコード部２３０に通知する。
【０１２９】
ステップＳ８６０において、デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、合成部２５０に通知する。合成部２５０は、合成処理を行わずに、デコード部２３０から受け取った画像データをそのまま表示部２６０に出力する。これにより、表示部２６０の表示がリセットされる。この後、ステップ８２０に遷移し、映像表示装置２００は、物体描画処理を行う。
【０１３０】
図１２は、物体表示処理（図１１のＳ８２０）の詳細な動作を示すフローチャートである。
【０１３１】
ステップＳ９００において、受信部２１０は、受信したデータに物体の画像データが含まれているか否かにより処理を分岐する。受信したデータに物体画像データが含まれている場合、ステップＳ９１０に遷移し、新たに受信した物体画像を表示する処理を行う。一方、受信したデータに物体画像データが含まれていない場合、ステップＳ９２０に遷移し、画像蓄積部２２０が保持する画像を表示する処理を行う。
【０１３２】
ステップＳ９１０において、受信部２１０は、受信した物体画像の圧縮画像データを、デコード部２３０に通知する。デコード部２３０は、通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データをリサイズ部２４０に出力する。また、受信部２１０は、受信した物体画像の領域情報を、リサイズ部２４０に出力する。
【０１３３】
一方、ステップＳ９２０において、受信部２１０は、画像蓄積部２２０に記録された画像の中から、受信した画像ＩＤと同じ画像ＩＤを持つ画像を検索する。
【０１３４】
ステップＳ９３０において、受信部２１０は、同じ画像ＩＤを持つ画像が画像蓄積部２２０にない場合、処理を終了する。一方、受信部２１０は、同じ画像ＩＤを持つ画像が画像蓄積部２２０に存在する場合、ステップＳ９４０に遷移する。
【０１３５】
ステップＳ９４０において、受信部２１０は、受信した画像ＩＤと同じＩＤを持つ画像を、画像蓄積部２２０から取得する。受信部２１０は、取得した圧縮画像データをデコード部２３０に通知する。デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、リサイズ部２４０に出力する。また、受信部２１０は、受信した物体画像の領域情報を、リサイズ部２４０に出力する。
【０１３６】
ステップＳ９５０において、リサイズ部２４０は、入力された画像データを、入力された領域情報のサイズにリサイズする。これにより、物体画像を領域情報に記載されたサイズに調整することができる。例えば、画像蓄積部２２０から取得した物体画像のサイズが、受信部２１０から受け取った領域情報のサイズと違う場合でも、受信部２１０から受け取った領域情報のサイズに合わせた画像データを、生成することができる。リサイズ部２４０は、リサイズした後の画像データと領域情報を、合成部２５０に出力する。
【０１３７】
ステップＳ９６０において、合成部２５０は、リサイズした後の画像と、合成部２５０が保持する内部バッファに記録している画像とを、合成する。合成部２５０は、内部バッファに、現時点で、表示部２６０で表示している画像を保持している。これにより、受信部２１０が、受信した複数の画像を追記的に合成することができる。撮像装置１０１の１撮像周期の間に、撮像装置１０１から受信した物体画像全てを合成した画像を作ることができる。
【０１３８】
合成部２５０は、内部バッファに記録している画像上の位置であって、受け取った領域情報に記載に位置に、リサイズした後の物体画像を重ねて配置し、この二つの画像を合成する。
【０１３９】
ステップＳ９７０において、合成部２５０は前記ステップ９６０で合成した画像を表示部２６０に出力する。これにより、表示部２６０は背景画像に、物体画像を合成した画像を表示する。
【０１４０】
ステップＳ９７０が終了すると、リターンに遷移し、物体描画処理を終了する。
【０１４１】
以上の構成により、映像表示装置は、受信したデータに対象の物体の画像データが含まれない場合でも、類似している過去に受信済みの物体画像を用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
【０１４２】
（ユースケースによる説明）
撮像装置１０１と映像表示装置２００がどのように動作するかを、具体的なユースケースを交えて、説明する。
【０１４３】
図１３は、撮像装置１０１が、撮像した画像の一例を示している。
【０１４４】
図１３（ａ）は、時刻ｔにおいて、人物Ａが撮像装置１０１の撮像範囲内に入ってきたときに撮像した画像を表したものである。
【０１４５】
図１３（ａ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
【０１４６】
図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
【０１４７】
図６のステップＳ２１０において、物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールと図２で一例を示したテンプレート画像リストを取得する。
【０１４８】
ステップＳ２２０において、物体画像送信判定部１８０は、送信済み画像確認リストを取得する。ここでは、図１４に示した送信済み画像確認リストを取得したものとして、説明する。
【０１４９】
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ａ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
【０１５０】
図１４の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する画像データは、保持していない。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みではないと判断し、ステップＳ２７０に遷移する。判定結果は「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」となる。
【０１５１】
ステップＳ２８０において、物体画像送信判定部１８０は、画像ＩＤ付与部１６０より新しい画像ＩＤの付与を受ける。図１４の送信済み画像確認リストでは、付与済み最終画像は画像ＩＤ＝２である。画像ＩＤ付与部１６０は、新たな画像ＩＤ（ＩＤ＝３）を付与する。
【０１５２】
ステップＳ３００において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と、一番近いテンプレート画像のテンプレートＩＤと、人物Ａの物体の領域情報と、判定結果を出力する。
【０１５３】
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」なので、ステップＳ４２０に遷移する。
【０１５４】
ステップＳ４２０において、送信制御部１９０が指示することで、物体画像の圧縮画像データを生成する。ステップＳ４３０において、送信制御部１９０は、生成した物体の画像圧縮データと、新たに付与した画像ＩＤ（ＩＤ＝３）と、物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
【０１５５】
ステップＳ４４０において、送信制御部１９０は、一番近いテンプレート画像のテンプレートＩＤと、送信した画像ＩＤと圧縮画像データを、送信済み画像確認リスト蓄積部１５０に入力する。送信済み画像確認リスト蓄積部１５０は、送信済み画像確認リストを更新する。その結果、送信済み画像確認リストは、図１４から図１５に更新される。
【０１５６】
図１３（ａ）では、撮像した画像内に存在する物体画像が１つだけであるので、ステップ図５のＳ５００において、検出した画像はすべて処理を行ったことになるので、処理が終了する。
【０１５７】
次に、図１３（ａ）の場合に、映像表示装置２００が、データを受信し、画像を表示する処理について、具体的に説明する。また、画像蓄積部２２０が蓄積する画像データは、図１４と同様とする。
【０１５８】
映像表示装置２００の受信部２１０は、図１１のステップＳ８００において、データを受信する。
【０１５９】
受信したデータは、物体の画像圧縮データであり、１撮像周期において最初に撮像された画像である。従って、表示部２６０に表示している画像をリセットする必要がある。ステップＳ８１０において、例えば、物体の画像圧縮データのタイムスタンプと前回表示した画像のタイムスタンプを比較して、１撮像周期分の差分があることを検知し、ステップＳ８５０に遷移する。
【０１６０】
受信部２１０は、ステップＳ８５０で、画像蓄積部２２０から背景画像の圧縮画像データを取得し、ステップＳ８６０で、表示部２６０の表示をリセットする。
【０１６１】
次に、ステップＳ８２０に遷移し、映像表示装置２００は、物体の画像を描画する。
【０１６２】
図１２のステップＳ９００において、受信部２１０が受信したデータには物体の圧縮画像データが含まれているので、ステップＳ９１０に遷移する。ステップＳ９１０において、デコード部２３０が、物体の圧縮画像データをデコードして、画像データを生成する。
【０１６３】
ステップＳ９５０に遷移して、画像データが物体の領域情報の大きさとなるようにリサイズする。
【０１６４】
ステップＳ９６０において、合成部２５０は、リサイズした後の物体画像と、背景画像を合成する。合成部２５０は、リサイズ後の物体画像が、受信した物体の領域情報が示す位置となるように合成する。
【０１６５】
ステップＳ９７０において、合成部２５０は、ステップＳ９６０で合成した画像を表示部２６０に出力する。図１６（ａ）は、表示部２６０が表示する時刻ｔの画像を示している。
【０１６６】
図１１のステップＳ８３０において、受信したデータには物体の圧縮画像データが含まれているので、ステップＳ８４０に遷移し、物体の圧縮画像データと画像ＩＤ（ＩＤ＝３）を画像蓄積部２２０に入力する。画像蓄積部２２０は、蓄積データを、図１３と同様のデータから、図１５と同様のデータに更新する。
【０１６７】
以上により、映像表示装置２００は、対象の物体（人間）の画像を表示することができ、監視対象の物体がどのような状態でどこに位置するかを把握することができる。
【０１６８】
図１３（ｂ）は、時刻ｔ＋１において、撮像装置１０１が撮像した画像を表したものである。時刻ｔの画像と比べて、人物Ａの位置が変化している。
【０１６９】
図１３（ｂ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
【０１７０】
図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
【０１７１】
図６のステップＳ２２０において、物体画像送信判定部１８０は、図１５に示した送信済み画像確認リストを取得する。
【０１７２】
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ｂ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
【０１７３】
図１５の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する物体画像を保持している。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みと判断し、ステップＳ３１０に遷移する。判定結果は「新たな画像ＩＤを付与せず、過去に送信した画像の中で一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」となる。
【０１７４】
ステップＳ３２０において、物体画像送信判定部１８０は、図１５の送信済み画像確認リストを参照して、テンプレートＩＤ＝０に対応する画像ＩＤ（ＩＤ＝３）を取得する。
【０１７５】
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と物体の領域情報と判定結果に出力する。
【０１７６】
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤは付与せず一番近い画像の画像ＩＤと、領域情報を送付する」なので、ステップＳ４５０に遷移する。
【０１７７】
ステップＳ４５０において、送信制御部１９０は、図５のステップＳ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤ（ＩＤ＝３）と物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
【０１７８】
図１３（ｂ）では、撮像した画像内に存在する物体画像が１つだけであるので、ステップ図５のＳ５００において、検出した画像はすべて処理を行ったことになるので、処理が終了する。他の人間が撮像されている場合は、再度画像送信判定処理を行う。
【０１７９】
次に、図１３（ｂ）の場合に、映像表示装置２００が、データを受信し、画像を表示する処理について、具体的に説明する。また、画像蓄積部２２０が蓄積する画像データは図１５と同様とする。
【０１８０】
映像表示装置２００の受信部２１０は、図１１のステップＳ８００において、データを受信する。
【０１８１】
ステップＳ８１０において、受信部２１０は、受信したデータの時刻はｔ＋１であり、前回の時刻ｔの場合から１撮像周期分の時間が経過していると判定し、ステップＳ８５０に遷移する。
【０１８２】
受信部２１０は、ステップＳ８５０で、画像蓄積部２２０から背景画像の圧縮画像データを取得し、ステップＳ８６０で、表示部２６０の表示をリセットする。
【０１８３】
次に、ステップＳ８２０に遷移し、映像表示装置２００は、物体の画像を描画する。
【０１８４】
図１２のステップＳ９００において、受信部２１０が受信したデータには圧縮画像データが含まれていないので、ステップＳ９２０に遷移する。ステップＳ９２０において、受信部２１０は、画像蓄積部２２０にアクセスし、画像ＩＤ（ＩＤ＝３）の画像圧縮データを検索する。画像蓄積部２２０に蓄積されているデータは、図１５であるので、画像ＩＤ＝３のエントリーが存在しており、ステップＳ９３０の分岐で、ステップＳ９４０に遷移する。
【０１８５】
ステップＳ９４０において、受信部２１０は、送信済み画像確認リスト蓄積部１５０から画像ＩＤ（ＩＤ＝３）の画像を取得し、デコード部２３０が、デコードして、画像データを生成する。
【０１８６】
ステップＳ９５０に遷移して、画像データが物体の領域情報の大きさとなるようにリサイズする。
【０１８７】
ステップＳ９６０おいて、合成部２５０は、リサイズした後の物体画像と、背景画像を合成する。合成部２５０は、リサイズ後の物体画像が、受信した物体の領域情報が示す位置となるように合成する。
【０１８８】
ステップＳ９７０において、合成部２５０は、ステップＳ９６０で合成した画像を表示部２６０に出力する。図１６（ｂ）は、表示部２６０が表示する時刻ｔ＋１の画像を示している。
【０１８９】
図１３（ｃ）は、時刻ｔ＋２において、撮像装置１０１が撮像した画像を表したものである。時刻ｔ＋１の画像と比べて、人物Ａの位置と、姿勢が少しだけ変化している。
【０１９０】
図１３（ｃ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
【０１９１】
時刻ｔ＋１の場合と同様に、図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
【０１９２】
図６のステップＳ２２０において、物体画像送信判定部１８０は、図１５に示した送信済み画像確認リストを取得する。
【０１９３】
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ｃ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
【０１９４】
図１５の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する物体画像を保持している。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みと判断し、ステップＳ３１０に遷移する。判定結果は「新たな画像ＩＤを付与せず、過去に送信した画像の中で一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」となる。
【０１９５】
ステップＳ３２０処理において、物体画像送信判定部１８０は、図１５の送信済み画像確認リストを参照して、テンプレートＩＤ＝０に対応する画像ＩＤ（ＩＤ＝３）を取得する。
【０１９６】
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と物体の領域情報と判定結果に出力する。
【０１９７】
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤは付与せず一番近い画像の画像ＩＤと、領域情報を送付する」なので、ステップＳ４５０に遷移する。
【０１９８】
ステップＳ４５０において、送信制御部１９０は、図５のステップ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤ（ＩＤ＝３）と物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
【０１９９】
以下の動作は、時刻ｔ＋１の場合と同様となる。
【０２００】
映像表示装置２００は、時刻ｔ＋１の場合と同様に処理を行い、物体の画像と背景画像を合成し、合成した画像を表示する。図１６（ｃ）は、表示部２６０が表示する時刻ｔ＋１の画像を示している。
【０２０１】
以上により、映像表示装置２００は、対象の物体（人間）の画像を表示することができ、監視対象の物体がどのような状態でどこに位置するかを把握することができる。
【０２０２】
図１６（ｃ）に示した時刻ｔ＋２の画像は、撮像装置１０１が撮像した画像を示した図１３（ｃ）とは、物体Ａの姿勢が少し異なっている。同じ画像を映像表示装置２００は表示することはできないが、近い画像を表示することができる。よって、撮像装置１０１が撮像した範囲内において、どこに人間がいて、その人間がどのような姿勢にあるのかを把握することができる。
【０２０３】
図１３では、時刻ｔ＋１と時刻ｔ＋２において、撮像装置１０１は、同じ物体を、同じような姿勢で連続して撮像しており、過去に送信済みの画像の画像ＩＤと領域情報を送信する。撮像装置１０１は、新しく物体の圧縮画像データを、送信しない。
【０２０４】
例えば、時刻ｔ＋２から時刻ｔ＋ｋにおいて、撮像装置１０１は、同じ物体を、同じような姿勢で連続して撮像した場合でも、同様に、撮像装置１０１は、過去に送信済みの画像の画像ＩＤと領域情報を送信する。撮像装置１０１は、新しく物体の圧縮画像データを、送信しない。
【０２０５】
以上により、画像データ制御装置を備えた撮像装置は、送信するデータ量を減らすことができる。
【０２０６】
また、対象の物体が、撮像装置１０１の撮像範囲からフレームアウトしたとしても、同様の処理が可能である。つまり、撮像装置１０１の送信済み画像確認リスト蓄積部１５０が、物体の画像を蓄積している限り、撮像装置１０１は、過去に送信済みの画像の画像ＩＤを用いて、送信するデータ量を削減することが可能となる。
【０２０７】
映像表示装置２００は、過去に送付済みの画像ＩＤが送付された場合、対応する送付済みの画像と背景画像とを合成して、表示することができる。これにより、撮像装置１０１が撮像している範囲内において、対象の物体がどの位置にどのような姿勢で位置するかを把握することができる。例えば、ＡＴＭなどの防犯上、厳しい監視が必要な場所において、不審者がＡＴＭの近くを徘徊していないか、ＡＴＭ近くに長時間居座っている人物はいないかを把握することが可能となる。
【０２０８】
また、対象者の姿勢を時系列で見ることができ、撮像されている対象者の行動を類推し、異常な行動をしていないかを判断する材料とすることができる。
【０２０９】
さらに、映像表示装置２００は、撮像装置１０１が実際に撮像した画像を受信して表示するので、予め複数の画像を用意する必要はない。
【０２１０】
なお、物体画像送信判定部１８０が行う処理であって、画像解析部１２０が検出した物体を姿勢認識する方法として、認識したい姿勢毎にテンプレート画像をテンプレート画像リストとして予め用意している例を説明した。
【０２１１】
他の方法として、例えば、物体画像送信判定部１８０は、送信済み画像確認リストに蓄積されている画像を、姿勢認識に利用してもよい。
【０２１２】
物体画像送信判定部１８０は、画像解析部１２０が検出した物体の画像と、送信済み画像確認リストに記載されている各画像データとを比較して、送信済み画像確認リスト内の画像で一番近い画像に、新しい物体の画像を分類する。テンプレート画像リストは予め用意せずに、送信済み画像確認リストの画像が姿勢認識で使用するテンプレート画像の役割を兼ねる。
【０２１３】
物体画像送信判定部１８０は、送信済み画像確認リストに、対応する画像データがない場合、新たに画像ＩＤを付与して画像データを送信する。また、物体画像送信判定部１８０は、一致率を用いて、一致率がある閾値よりも低い画像が送信済み画像確認リストに存在しない（近い画像が存在しない）場合、新たに画像ＩＤを付与して画像データを送信する。
【０２１４】
以上により、画像データ制御装置によれば、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。これにより、画像データ制御装置を備えた監視カメラは、監視対象の物体の画像データを送信する場合と比べて、送信するデータ量を削減することができる。
【０２１５】
また、監視モニタは、画像データ制御装置が送信したデータを受け取り、監視対象の物体がどのような状態でどこに位置するかを表示することができる。これにより、監視モニタの監視者は、監視対象の物体の位置と状態を把握することが可能となる。
【０２１６】
図１７は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。ここでは、物体画像送信判定部１８０が、送信済み画像確認リストに蓄積されている画像を姿勢認識に利用する場合を示している。なお、図１７において、図６と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２１７】
ステップＳ９８０において、物体画像送信判定部１８０は、送信済み画像確認リストに記録されている画像のうち、まだ比較に使っていない画像ＩＤの中で一番番号の若い画像ＩＤである画像を参照する。
【０２１８】
次に、物体画像送信判定部１８０は、ステップＳ２２５にて取得した物体画像と送信済み画像確認リストに記録されている画像を比較し、一致率を算出する。物体画像送信判定部１８０は、算出した一致率を、分類候補リストに格納する。なお、分類候補リストは、例えば、図７に示した分類候補リストのテンプレートＩＤを、画像ＩＤに差し替えたものとなる。
【０２１９】
ステップＳ９８１において、ステップＳ２２０にて取得した送信済み画像確認リストに記録されている全ての画像と、物体検出した物体画像との比較が完了したかをチェックする。まだ、比較していない画像が残っている場合は、ステップＳ９８０に遷移し、そうでない場合はステップＳ９８０に遷移する。
【０２２０】
ステップＳ９８２において、物体画像送信判定部１８０は、分類候補リストを参照し、一致率が閾値よりも小さいエントリーがリストに存在するか否かを確認する。物体画像送信判定部１８０は、対応するエントリーが存在しない場合、画像解析部１２０にて検出した画像に近い画像は送信済みの画像の中にはないと判断し、ステップＳ２７０に遷移する。一方、物体画像送信判定部１８０は、対応するエントリーが存在する場合、画像解析部１２０にて検出した画像に近い画像は送信済みの画像の中にあると判断し、ステップＳ３１０に遷移する。
【０２２１】
なお、ステップＳ９８２で使用する閾値は、物体画像送信判定部１８０が予め保持する。また、この閾値をカテゴリー化ルールで定義し、物体画像送信判定部１８０が、ステップＳ２２０で取得してもよい。
【０２２２】
ステップＳ９８３において、物体画像送信判定部１８０は、ステップＳ９８０からステップＳ９８１の処理で分類した送信済み画像確認リストの中で、一番近い画像の画像ＩＤを取得する。物体画像送信判定部１８０は、一致率を参照して、一番近い画像の画像ＩＤを判断する。
【０２２３】
以上により、テンプレート画像リストを予め用意しなくても、ある程度近い画像がある場合は、既に送信済みの画像の画像ＩＤを送信し、近い画像がない場合は、新たに画像データと画像ＩＤを送信することになる。これにより、テンプレート画像リストを予め作成する手間が省ける。
【０２２４】
さらに、送信制御部１９０が、送信済み画像確認リストに、各エントリーに当該の画像を送信した回数を記録し、一定の周期毎にあまり使われていない画像のエントリーを削除するようにしてもよい。これにより、テンプレート画像のリストである送信済み画像確認リストを動的に更新することができ、かつ、送信済み画像確認リストを一定サイズ以下に制限することで、メモリーを適切に活用できる。
【０２２５】
なお、実施の形態１において、物体画像送信判定部１８０は、人間の姿勢認識の結果を用いて、画像解析部１２０が検出した画像を分類するとして説明した。他の方法として、例えば、画像解析部１２０が顔検出を行い、物体画像送信判定部１８０は、画像解析部１２０が検出した顔画像を分類し、映像表示装置２００に送信するべきか否かを判定して処理することができる。
【０２２６】
顔検出処理を実現する方法は、弱識別器（識別能力の低い識別器）を複数個選び、各識別器の結果を統合して、結果を判定する手法を用いる。各々の識別器は顔を検出するのに、有効な特徴を識別するのに用いられる。物体画像送信判定部１８０は、顔の識別に必要な特徴を識別する識別器を複数用意し、これら複数の識別器を用いる。顔検出を行う場合は、対象となる画像を識別器にかけ、識別器それぞれの識別結果を統合的に判断する。これにより、顔を検出することができる。また、この手法では識別器を多数選択するための学習にＡｄａｂｏｏｓｔと呼ばれる機械学習アルゴリズムを利用する。この学習を行うことによって、より精度の高い顔検出が可能な識別器の組を得る。
【０２２７】
画像解析部１２０は、Ａｄａｂｏｏｓｔアルゴリズムによって学習済みの識別器の組を予め用意し、入力部１１０が入力した画像内の、全ての領域に対して、顔検出を行うことができる。
【０２２８】
また、物体画像送信判定部１８０は、画像解析部１２０で検出した顔画像を比較する方法として、複数の方法を用いることができる。物体画像送信判定部１８０は、例えば、顔画像の各画素に対し、各画素の輝度の濃淡情報などをパターンマッチングする手法を用いる。また、物体画像送信判定部１８０は、顔の輪郭をエッジ検出により抽出してマッチングを行う手法を用いる。また、物体画像送信判定部１８０は、画像をフーリエ変換して周波数成分を抽出して比較する手法を用いる。また、物体画像送信判定部１８０は、これらの方法を複数組み合わせて使用する。これらの手法は顔を比較して、所定の人物か否かを判定する顔認証を実現する手法として、一般的に使われている。あるいは、物体画像送信判定部１８０は、顔画像データの比較方法として、顔の特徴的な部位である目や口などを、前記の弱識別器を使って検出し、それらの位置関係を抽出する、比較したい各々の画像間で比較する手法を用いてもよい。
【０２２９】
物体画像送信判定部１８０は、顔画像データの比較方法として、複数の方法を用いることができる。物体画像送信判定部１８０は、顔画像の各画素の輝度の濃淡情報などをパターンマッチングする手法を用いる。また、物体画像送信判定部１８０は、顔の輪郭をエッジ検出により抽出してマッチングを行う手法を用いる。また、物体画像送信判定部１８０は、画像をフーリエ変換して周波数成分を抽出し、比較する手法を用いる。また、物体画像送信判定部１８０は、これらの方法を複数組み合わせて使用する。
【０２３０】
あるいは、物体画像送信判定部１８０は、顔画像データの比較方法として、顔の特徴的な部位である目や口などを、前記の弱識別器を使って検出し、それらの位置関係を抽出す、比較したい各々の画像間で比較する手法を用いてもよい。
【０２３１】
なお、画像切り出し部１３０が、内部バッファを持ち、切り出した画像を格納するとして説明したが、本発明はこれに限定されるものではない。物体画像送信判定部１８０は、前記の行動認識結果によって画像を分類する場合、画像解析部１２０が切り出した画像を取得する必要がない（ステップＳ２２５は不要となる）。よって、画像切り出し部１３０は、一時的に切り出した画像を格納する必要がなくなるので、画像切り出し部１３０に内部バッファを持たなくてもよい。
【０２３２】
なお、物体画像送信判定部１８０は、物体追跡を行い、追跡する物体ごとにカテゴリー化を行うようにしてもよい。物体追跡は、例えば、次の手順で実施する。（１）まず、画像解析部１２０が、物体を検出する。（２）物体画像送信判定部１８０は、検出した物体と、過去に検出した物体とパターンマッチングで比較する。（３）物体画像送信判定部１８０は、同じ物体であるか否かを判断する。（４）物体画像送信判定部１８０は、同じ物体と認識できれば、その認識した物体を継続して追跡する。（５）物体画像送信判定部１８０は、同じ物体と認識できなければ、新たな物体ＩＤを付与し、新たな物体として内部メモリーに蓄積する。また、前記（２）から（５）の処理は、画像解析部１２０が実施し、追跡結果（例えば、物体の識別子と物体の領域情報など）を物体画像送信判定部１８０に通知するようにしてもよい。
【０２３３】
画像解析部１２０は、物体の追跡を行い、撮像した画像データに撮像されている物体毎に識別子を割り当て、物体画像送信判定部１８０に追跡結果を通知する。物体画像送信判定部１８０は、画像解析部１２０から追跡結果を受け取り、識別した物体毎に過去画像との比較、分類することができる。これにより、物体画像送信判定部１８０は、物体追跡して識別した物体毎に、画像を映像表示装置２００に送信するべきか否かを判定することができる。
【０２３４】
例えば、物体画像送信判定部１８０は、ステップＳ２６０において、Ｓ２２０で取得した送信済み画像確認リストの画像から、同じ物体の識別子であって、かつ、ステップＳ２５０と同じテンプレートＩＤの画像が送信済みか否かを確認する。
【０２３５】
図１８は、送信済み画像確認リスト蓄積部１５０が蓄積する送信済み画像確認リストの一例を示しており、物体の識別子を記憶している。送信済み画像確認リストが物体の識別子を保持することにより、ステップＳ２６０において、識別した物体毎に画像の送信判定を行うことができる。さらに、ステップＳ４４０において、送信制御部１９０は、行動認識結果も送信済み画像確認リスト蓄積部１５０に入力し、送信済み画像確認リストに行動認識結果を蓄積すればよい。
【０２３６】
もしくは、画像解析部１２０は、上記で説明した顔検出、顔認証を用いて、撮像した物体を識別し、識別した物体ごとにカテゴリー化を行うようにしてもよい。
【０２３７】
なお、物体画像送信判定部１８０は、物体がより明らかな画像が撮像できたか否かを解析し、画像を送信するか否かを判定してもよい。
【０２３８】
例えば、画像解析部１２０は、顔検出を行った後、顔の傾き角度を検出する。画像解析部１２０は、例えば、検出した顔おいて、複数の部位の位置を抽出し、顔モデルに基づいて顔の傾き角度を検出する方法を用いて、顔の傾きを検出する。
【０２３９】
画像解析部１２０は、顔検出を行った後、顔の傾き角度を検出し、顔の傾き角度などを検出結果として、物体画像送信判定部１８０に出力する。物体画像送信判定部１８０は、顔の傾き角度と、送信済み画像確認リストに記載の傾きを比較し、より傾きがない、すなわち、正対している場合は、画像を送信すると判定する。
【０２４０】
また、画像解析部１２０は、物体追跡も行い、追跡している物体毎に顔の傾き比較をしてもよい。
【０２４１】
なお、物体画像送信判定部１８０は、画像解析部１２０が検出した物体を分類し、物体の画像を映像表示装置２００に送信するべきか否かを判定する処理を説明した。物体画像送信判定部１８０は、更に、一定時間周期ごとに、画像解析部１２０が検出した物体の画像を、送信するか否かを判定してもよい。送信済み画像確認リスト蓄積部１５０は、画像の画像ＩＤと送信した圧縮画像データを蓄積するだけではなく、各画像が前回送信された時刻情報も保持する。送信済み画像確認リスト蓄積部１５０は、タイムスタンプなどの時刻情報が入力されると、前回送信された時刻を更新する。
【０２４２】
図１９は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。ここでは、物体画像送信判定部１８０が、一定時間周期毎に画像を送信する場合を示している。なお、図１９において、図６と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２４３】
ステップＳ９９０において、物体画像送信判定部１８０は、ステップＳ２５０の処理で取得したテンプレートＩＤに対応する画像のエントリーを、送信済み画像確認リストから得る。そして、物体画像送信判定部１８０は、取得した画像の送信時刻を参照し、一定時間以上経過したか否かを判断する。物体画像送信判定部１８０は、一定時間以上経過していると判断した場合、ステップＳ９９１に遷移し、そうでなれれば、ステップＳ３１０に遷移する。
【０２４４】
ステップＳ９９１において、物体画像送信判定部１８０は、判定結果を「画像ＩＤと画像の両方を再び送信する」とする。
【０２４５】
ステップＳ９９２において、物体画像送信判定部１８０は、送信制御部１９０に、ステップＳ２５０の処理で取得したテンプレートＩＤに対応する画像の画像ＩＤと、顔画像の領域情報と判定結果を出力する。ステップＳ９９２の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。画像送信判定処理が終了すると、データ送信処理に遷移する。
【０２４６】
図２０は、データ送信処理（図５のステップＳ４００）の詳細な動作を示すフローチャートである。ここでは、送信制御部１９０が、一定時間周期毎に画像を送信する場合を示している。図２０において、図８と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２４７】
ステップＳ９９３において、送信制御部１９０は、画像送信判定処理の判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」である場合、ステップＳ４３０に遷移する。また、送信制御部１９０は、判定結果が「画像ＩＤと画像の両方を再び送信する」である場合、ステップＳ９９４に遷移する。
【０２４８】
ステップＳ９９４において、送信制御部１９０は、Ｓ４２０にて生成した圧縮画像データと、Ｓ９９２で用いた画像ＩＤと領域情報を、送信部１０３にし出力し、映像表示装置２００に送信する。なお、Ｓ９２２で用いた画像ＩＤとは、画像解析部１２０で検出した物体の画像と一番近い画像の画像ＩＤである。
【０２４９】
次に、ステップＳ９９５において、送信制御部１９０は、ステップＳ９９４で送信した画像ＩＤと圧縮画像データと撮像されたタイムスタンプを、送信済み画像確認リスト蓄積部１５０に入力する。撮像されたタイムスタンプは、撮像装置１０１が保持するシステムクロックを使用するようにしてもよい。送信済み画像確認リスト蓄積部１５０は、画像ＩＤの画像の送信時刻を入力されたシステムクロックに変更する。
【０２５０】
ステップＳ９９５の処理が完了すると、リターンに遷移し、データ送信処理が終了して、ステップＳ５００に遷移する。
【０２５１】
以上のように、送信済みの画像に分類できる場合で、かつ、前回画像データを送信してから一定時間以上経過した場合は、ステップＳ９９０において、ステップＳ９９１に遷移する。物体画像送信判定部１８０は、「画像ＩＤと画像の両方を再び送信する」と判定する。これにより、ステップＳ４１０ではステップＳ４２０に遷移し、さらにステップＳ９９３ではステップＳ９９４に遷移するので、送信制御部１９０は、画像ＩＤと物体の領域情報とＳ４２０にて切り出した物体の圧縮画像データを出力する。
【０２５２】
これにより、撮像装置１０１は、一定時間周期ごとに、画像解析部１２０で検出した物体の画像を送信する。つまり、撮像装置１０１は、一定時間ごとに最新の画像を送信することができる。
【０２５３】
なお、物体画像送信判定部１８０は、画像解析部１２０で複数の物体を検出し、これら複数の物体の領域が重なった場合は、重なった画像を別の物体であると判断してもよい。この場合、物体画像送信判定部１８０は、新たな画像ＩＤを付与して、重なった画像の画像データを送信するように判定する。
【０２５４】
複数の物体の領域が重なった画像を別の物体であると判断する方法として、複数の方法を用いることができる。画像解析部１２０が、複数の物体の重なりを検出した場合は、重なり合った画像を別の物体として判定し、重なり合った画像の領域情報を物体画像送信判定部１８０に送信する。これにより、画像解析部１２０が物体Ａと物体Ｂという重なり合う２つの物体を検出した場合、別の物体Ｃを検出したと判断し、物体Ｃの領域情報（例えば、物体Ａと物体Ｂを含む矩形の領域情報）を、物体画像送信判定部１８０に出力する。画像送信判定処理において、物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２４０の処理で、物体Ａと物体Ｂではない物体として、物体Ｃを分類し、ステップＳ２６０においてステップＳ２７０に分岐する。物体画像送信判定部１８０は、物体Ａ（例えば、ＩＤ＝１）や物体Ｂ（例えば、ＩＤ＝２）と違う新しい画像ＩＤ（例えば、ＩＤ＝３）を付与する。その後、物体画像送信判定部１８０は、画像ＩＤと画像の物体Ｃの画像を送信するように判定する。また、物体Ａと物体Ｂという２つの物体の重なりである物体Ｃの領域情報を入力しているので、物体画像送信判定部１８０と送信制御部１９０は、物体Ｃの画像を画像切り出し部１３０に物体Ｃの切り出しを指示できる。よって、ステップＳ４２０において、送信制御部１９０は、物体Ｃの圧縮画像データを生成し、ステップＳ４２０において、送信部１０３に、圧縮画像データと新たな画像ＩＤ、物体Ｃの領域情報を出力する。
【０２５５】
また、例えば、画像解析部１２０は、物体Ａと物体Ｂが重なりあった場合に、物体Ｃのみの領域情報など情報を、物体画像送信判定部１８０に入力し、物体Ａと物体Ｂの領域情報など情報を入力しないようにしてもよい。
【０２５６】
物体画像送信判定部１８０は、画像解析部１２０で複数の物体を検出し、これら複数の物体が近接している（物体の距離がある閾値以下）場合も、重なった画像を別の物体であると判断する。物体画像送信判定部１８０は、重なった画像に対して、新たな画像ＩＤを付与して、重なった画像の画像データを送信するように判定してもよい。例えば、上記と同様に、画像解析部１２０は、物体Ａと物体Ｂが近接している場合（物体の距離がある閾値以下）も、同様に物体Ａと物体Ｂを合わせた物体Ｃとして検出するようにすればよい。
【０２５７】
なお、以上で説明した、「物体追跡」、「顔認識」、「行動認識」などは、各々を組み合わせるように構成してもよい。顔を検出して比較するだけでは、例えば、撮像途中で対象の人物が背を向けるなどして、顔が見えなくなった場合に対象をロストする。しかし、物体追跡を合わせて行うことにより、顔を検出できなくても、同じ物体であることを識別することができる。よって、カテゴリー化ルール保持部１７０は、物体追跡を合わせたカテゴリー化ルールを定義して保持し、物体画像送信判定部１８０は、同じ物体と認識して新たな画像を送信しないように判定する。これによって、画像の送信を抑制することができ、トラフィックを低減できる。
【０２５８】
以上のように、必要な認識技術と判定方法を組み合わせ可能とし、さまざまな状況に対応できるように、画像解析部１２０、物体画像送信判定部１８０、カテゴリー化ルール保持部１７０が保持するカテゴリー化ルールを、構成してもよい。
【０２５９】
（実施の形態２）
実施の形態２における画像データ制御装置４００は、画像解析部１２０によって検出された物体が蓄積済みの画像に分類できないと判断した場合の処理が、実施の形態１と異なっている。画像データ制御装置４００は、連続する所定回数（ｎ回）の送信において、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを、送ることを特徴とする。
【０２６０】
図２１は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０２６１】
図２１の撮像装置１０１は、撮像部１０２、送信部１０３、画像データ制御装置４００を備えている。図２１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０２６２】
画像データ制御装置４００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置４００は、送信すると決定したデータを送信部１０３に通知する。
【０２６３】
画像データ制御装置４００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部４１０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部４２０、送信制御部４３０を備えている。
【０２６４】
送信済み画像確認リスト蓄積部４１０は、送信した画像データと画像ＩＤと送信回数を、リスト形式で蓄積する。送信済み画像確認リスト蓄積部４１０は、送信した画像データと画像ＩＤと送信回数を組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部４１０は、送信制御部４３０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。送信済み画像確認リスト蓄積部４１０は、受け取った画像ＩＤが、送信済み画像確認リストで既に保持されている場合は、対応する送信回数を１つ加算し、送信回数を更新する。
【０２６５】
物体画像送信判定部４２０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールを取得し、カテゴリー化ルールに従って、画像解析部１２０が検出した物体の画像を分類する。物体画像送信判定部４２０は、分類した結果に基づいて、画像解析部１２０が検出した物体の画像を分類し、物体の画像データを映像表示装置２００に送信するか否かを判定する。物体画像送信判定部４２０は、画像解析部１２０が検出した物体を、送信済み画像確認リスト蓄積部４１０に蓄積されている画像に分類できないと判断した場合は、次の処理を行う。物体画像送信判定部４２０は、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤを、所定回数（ｎ回）連続して送信すると判定する。物体画像送信判定部４２０は、予め規定されているｎの値を内部の保持するようにしてもよいし、カテゴリー化ルールのパラメータとして持たせてもよい。
【０２６６】
送信制御部４３０は、物体画像送信判定部４２０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部４３０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部４３０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。また、所定回数（ｎ回）連続して送信する場合は、送信制御部４３０は、所定回数（ｎ回）、付与した同じ画像ＩＤと物体の切り出し画像と物体の領域情報を含むメタデータを生成し、出力する。
【０２６７】
図２２は、実施の形態２における画像データ制御装置４００の、撮像部１０２から画像データを受け取った際の動作示すフローチャートである。撮像部１０２は、周期的に画像データを画像データ制御装置４００に出力する。そのため、図２２の動作は、周期的に繰り替えされる。なお、図２２において、図５と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２６８】
ステップＳ１０１０において、物体画像送信判定部４２０は、画像送信判定処理を行う。物体画像送信判定部４２０は、ステップＳ１００で検出した物体から、次の処理対象の物体を決定し、この物体の画像を、送信するか否かを判断する。
【０２６９】
ステップＳ１０２０において、送信制御部４３０は、ステップＳ１０１０で判定した結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
【０２７０】
図２３は、画像送信判定処理（図２２のステップＳ１０１０）の詳細な動作を示すフローチャートである。なお、図２３において、図６と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
【０２７１】
ステップＳ２６０において、物体画像送信判定部４２０は、ステップＳ２５０にて取得したテンプレートＩＤに関連する画像が送信済みか否かを確認する。物体画像送信判定部４２０は、ステップＳ２３０からステップＳ２５０の処理で分類したテンプレート画像のテンプレートＩＤと、同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部４２０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像が送信済みか否かを調べる。調べた結果、一番近いテンプレート画像に対応する画像が送信済みではない場合は、ステップＳ２７０に遷移し、送信済みであると判断された場合は、ステップＳ１１１０に遷移する。
【０２７２】
ステップＳ１１１０において、物体画像送信判定部４２０は、送信済み画像確認リストから抽出したエントリーの送信回数と、連続して送付するように規定された所定回数（ｎ）を比較する。物体画像送信判定部４２０が比較した結果、送信回数が所定回数（ｎ）未満であれば、ステップＳ１１２０に遷移し、そうでなれれば、ステップＳ３１０に遷移する。画像の送信回数と所定回数（ｎ）を比較することにより、連続するｎ回においては、画像を送信するステップＳ１１２０に遷移するように分岐する。
【０２７３】
ステップＳ１１２０において、物体画像送信判定部４２０は、判定結果を「付与済みの画像ＩＤと画像の両方を送信する」とする。
【０２７４】
ステップＳ１１２８において、物体画像送信判定部４２０は、ステップＳ２３０からステップＳ２５０で分類した姿勢の、テンプレート画像のテンプレートＩＤと同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部４２０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像の画像ＩＤを取得する。
【０２７５】
ステップＳ１１３０において、物体画像送信判定部４２０は、送信制御部４３０に、ステップＳ１１２８で取得した画像ＩＤと、物体画像の領域情報と判定結果を入力する。
【０２７６】
ステップＳ１１３０の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
【０２７７】
図２４は、データ送信処理（図２２のステップＳ１０２０）の詳細な動作を示すフローチャートである。なお、図２４において、図８と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
【０２７８】
ステップＳ１２１０において、送信制御部４３０は、図２２のステップＳ１０１０の判定結果に応じて、映像表示装置２００に送信するデータを切り替える。判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」である場合、送信制御部４３０は、ステップＳ４３０に遷移する。判定結果が「付与済みの画像ＩＤと画像の両方を送信する」である場合、送信制御部４３０は、ステップＳ１２２０に遷移する。
【０２７９】
ステップＳ１２２０において、送信制御部４３０は、ステップＳ４２０にて生成した圧縮画像データと、付与済みの連続したｎ回において同じ画像ＩＤとステップＳ１１３０にて入力された物体の領域情報を含むメタデータを生成し、送信部１０３に出力する。同じ画像ＩＤとは、Ｓ１１３０に入力された、画像解析部１２０で検出した物体の画像と一番近い画像の画像ＩＤである。
【０２８０】
ステップ１２３０において、送信制御部４３０は、送信済み画像確認リストの更新を行う。すなわち、送信制御部４３０は、ステップＳ１２２０で出力した画像ＩＤと圧縮画像データを、送信済み画像確認リスト蓄積部４１０に通知する。送信済み画像確認リスト蓄積部４１０は、受け取った画像ＩＤに対応する画像の送信回数をインクリメントする。
【０２８１】
ステップＳ１２３０が完了すると、リターンに遷移し、データ送信処理が終了する。
【０２８２】
以上により、画像データ制御装置を備えた撮像装置は、送信済みの画像に分類できない画像が検出された場合、連続する所定回数（ｎ回）、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを送信することになる。ステップＳ１１２０において、連続するｎ回の間は画像の送信回数はｎ未満になるので、ステップＳ１１２０に遷移し、物体画像送信判定部４２０は、「付与済みの画像ＩＤと画像の両方を送信する」と判定する。よって、ステップＳ４１０ではステップＳ４２０に遷移し、さらに、ステップＳ１１２０ではステップＳ１２２０に遷移する。ステップＳ１２２０において、送信制御部４３０は、同じ画像ＩＤとステップＳ４２０において切り出した画像の両方と、物体の領域情報を出力する。
【０２８３】
また、連続するｎ回の画像送信を終了した場合は、ステップＳ１２３０にて、送信済み画像確認リストの画像の送信回数がｎ回に達する。よって、次のｎ＋１回目の処理では、ステップＳ１１１０においてステップＳ３１０に遷移する。物体画像送信判定部４２０は、「新たな画像ＩＤを付与せず、送信済み画像の中で一番近い画像の画像ＩＤと領域情報を送信し、新たな画像は送信しない」と判定する。これにより、ステップＳ４１０ではステップＳ４５０に遷移し、送信制御部４３０は、画像ＩＤと物体の領域情報のみを、送信データとして出力し、圧縮画像データは出力しない。
【０２８４】
また、連続するｎ回の間に、画像解析部１２０で検出していた物体が、撮像部１０２の撮像範囲からフレームアウトする、他の物体と重なる、などの理由により、検出されなくなる場合がある。その結果、画像解析部１２０は、対象の物体を検出できなくなり、ｎ回に至る途中で、同じ画像ＩＤが付与された画像データの送信は途切れる。
【０２８５】
途切れた場合、送信済み画像確認リストが送信回数の値を保持しておき、再び対象の物体が検出された時に、物体画像送信判定部４２０は、連続するｎ回の間に同じＩＤと物体の領域情報と画像データを送信することを再開することができる。
【０２８６】
また、途切れた場合、送信済み画像確認リストが保持している送信回数の値を、リセットする、または、ｎ（送信完了）としてもよい。
【０２８７】
以上により、画像データ制御装置を備えた撮像装置は、送信済みの画像に分類できない画像が検出された場合、その後に、連続する所定回数（ｎ回）の送信において、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを送信する。対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を複数回送信することで、物体の状態を通知することができる。
【０２８８】
画像データ制御装置４００を備えた撮像装置が、再送制御のないプロトコルを用いて送信した場合、映像表示装置２００が圧縮画像データを欠損すると、映像表示装置２００は欠損したデータを受信することができない。再送制御のないプロトコルとは、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）である。しかし、画像データ制御装置４００を備えた撮像装置は、連続するｎ回、同じ画像ＩＤの圧縮画像データを送信するため、映像表示装置２００は、圧縮画像データを受信するｎ回の機会を、得ることができる。伝送路であるネットワーク９９９９で、画像データ制御装置４００を備えた撮像装置が送信した圧縮画像データが数回（＜ｎ回）欠損した場合でも、映像表示装置２００は、欠損した画像と同じ画像ＩＤの画像を受信し、表示することができる。
【０２８９】
また、画像データ制御装置４００を備えた撮像装置は、ステップＳ４２０、およびステップＳ１２２０で、連続するｎ回の画像の送信において、毎回、撮像部１０２から受け取った画像から、対象の画像を切り出して送信する画像を生成する。つまり、画像データ制御装置４００を備えた撮像装置は、同じ分類はされているが、異なった画像を映像表示装置２００に送信することができる。
【０２９０】
これにより、映像表示装置２００は、表示する物体の様子を異なる画像を連続するｎ回の異なる表示で異なる複数の画像を表示することができる。映像表示装置２００を視聴して監視する監視者は、検出した物体に対してより多くの画像（対象物体の姿勢）を視聴でき、利便性が向上する。
【０２９１】
なお、画像データ制御装置４００を備えた撮像装置は、連続するｎ回において同じ画像を送信するようにしてもよい。例えば、ステップＳ１２２０において、ステップＳ４２０にて生成した画像ではなく、送信済み画像確認リスト蓄積部４１０に記録している画像で、送信する画像ＩＤと同じ画像ＩＤの画像を取得して、送信するようにすれば実現できる。画像データ制御装置４００を備えた撮像装置が、複数の映像表示装置に同時に画像を送信する場合、ネットワーク上でデータの欠損が発生しても、複数の映像表示装置間で、必ず同じ画像を表示することを保証することができる。
【０２９２】
なお、画像データ制御装置４００を備えた撮像装置は、ステップＳ１２３０において、入力した圧縮画像データを送信済み画像確認リスト蓄積部４１０に記録するようにしてもよい。この場合、送信済み画像確認リスト蓄積部４１０は、同じ画像ＩＤのエントリーを追加し、入力された圧縮画像データを前記の画像ＩＤと対応させて記録する。また、送信済み画像確認リスト蓄積部４１０は、特殊なフラグを設けて、連続した送信したｎ回において２回目以降に送信した画像はこのフラグをＯＮするようにしてもよい。これにより、送信済み画像確認リスト蓄積部４１０は、同じ画像ＩＤが複数存在してもデータの整合性が保てるようになる。
【０２９３】
なお、連続するｎ回の間に、画像解析部１２０が検出していた物体が、他の物体と重なったことを検出した場合は、ｎ回に至る途中で、同じ画像ＩＤと画像データを送信することを中断してもよい。画像解析部１２０は、複数の物体の重なりを検出した場合、重なり合った画像を別の物体として判定し、重なり合った画像の領域情報を物体画像送信判定部４２０に通知する。物体画像送信判定部４２０は、各々の画像の領域情報を入力しない。これにより、物体画像送信判定部４２０は、各々の物体の情報を個々に得ることができないので、重なり合った一つの物体として処理する。
【０２９４】
また、送信済み画像確認リストは、記録している送信回数の値を保持する。これにより、再び同じ物体が検出された時に、物体画像送信判定部４２０は、連続するｎ回の間に同じＩＤと物体の領域情報と画像データを送信することを再開することができる。また、送信済み画像確認リストが保持している送信回数の値を、リセットする、または、ｎ（送信完了）としてもよい。
【０２９５】
（実施の形態３）
実施の形態３における画像データ制御装置５００は、映像表示装置２００などの外部の装置から、画像の再送要求を受け取り、画像を再送することを特徴とする。
【０２９６】
図２５は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０２９７】
図２５の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置５００を備えている。図２５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０２９８】
画像データ制御装置５００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置５００は、送信すると決定したデータを送信部１０３に通知する。
【０２９９】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００から再送要求を受信し、画像データ制御装置５００に通知する。
【０３００】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３０１】
画像データ制御装置５００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、再送要求受信部５１０、送信制御部５２０を備えている。
【０３０２】
再送要求受信部５１０は、受信部１０４から、再送要求を受信する。再送要求は、再送する画像の画像ＩＤを含んでいる。再送要求受信部５１０は、受信した再送要求に含まれている画像ＩＤを送信制御部５２０に通知し、画像の再送を行うように指示する。
【０３０３】
送信制御部５２０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部１９０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部１９０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。また、送信制御部５２０は、再送要求受信部５１０からの指示を受け取り、再送制御処理を行う。
【０３０４】
実施の形態３における画像データ制御装置５００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で説明した図５の処理と同様である。
【０３０５】
図２６は、実施の形態３における画像データ制御装置５００が、外部装置（例えば、映像表示装置２００）からの再送要求を受信した際の、動作の一例を示すフローチャートである。撮像装置１０１の受信部１０４は、外部の装置（例えば、映像表示装置２００）から再送要求を受信し、画像データ制御装置５００に通知する。画像データ制御装置５００の再送要求受信部５１０は、再送要求を受け取り、処理を開始する。
【０３０６】
ステップＳ１３１０において、再送要求受信部５１０は、受信した再送要求含まれている画像ＩＤを確認し、画像ＩＤを送信制御部５２０に通知し、画像の再送を行うように指示する。送信制御部５２０は、再送要求受信部５１０からの指示を受け取り、送信済み画像確認リスト蓄積部１５０から送信済み画像確認リストを取得する。
【０３０７】
ステップＳ１３２０において、送信制御部５２０は、再送要求受信部５１０から通知された画像ＩＤと同じ画像ＩＤを持つ画像ＩＤを、送信済み画像確認リスト内から検索し、同じ画像ＩＤを持つ画像の圧縮画像データを取得する。
【０３０８】
最後に、ステップＳ１３３０において、送信制御部５２０は、ステップＳ１３２０で取得した圧縮画像データと画像ＩＤを含むメタデータを生成し、送信部１０３に出力する。これにより、送信部１０３は、再送が要求された画像の圧縮画像データを、再送要求を通知した装置に送信することができる。
【０３０９】
なお、再送要求が送信先アドレスを含んでおり、再送要求受信部５１０が、この送信先アドレスを、送信制御部５２０に通知することで、送信制御部５２０は、再送先のアドレスを用いて、正しい再送先に送信を行うことができる。
【０３１０】
以上により、画像データ制御装置を備えた撮像装置においては、再送要求受信部５１０が再送要求を受け取り、送信制御部５２０に再送を指示し、送信制御部５２０が、以前に送信した画像と同じ画像を、映像表示装置２００に再送する。映像表示装置２００は、受信した画像ＩＤの画像を画像蓄積部２２０に保持していない場合に、撮像装置に画像の再送を要求する。これにより、映像表示装置２００は、再送された画像データを、受信することが可能となる。映像表示装置２００は、受信した画像ＩＤの画像を保持していない場合でも、再送された画像データを用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
【０３１１】
図２７は、物体表示処理（図１１のＳ８２０）の詳細な動作を示すフローチャートである。なお、図２７において、図１２と同じ処理を行うステップについては同じ符号を用い説明を省略する。
【０３１２】
映像表示装置２００は、図１０で説明した背景画像に、新たに受信した物体画像を合成して、表示する。実施の形態３における映像表示装置２００は、再送処理を行う以外は、実施の形態１で説明した処理と同様である。
【０３１３】
まず、映像表示装置２００の受信部２１０は、撮像装置１０１から受信したデータを判定する。圧縮画像データが含まれておらず（ステップＳ９００がＮｏ）、同じ画像ＩＤの画像が画像蓄積部２２０に蓄積されていない場合（ステップＳ９３０がＮｏ）、ステップＳ１３７０に遷移する。
【０３１４】
ステップＳ１３７０において、受信部２１０は、撮像装置１０１に画像の再送要求を要求し、物体描画処理を終了する。
【０３１５】
再送要求を受信した撮像装置１０１は、図２６を用いて説明した通り、再送を要求した画像ＩＤと圧縮画像データを再送する。
【０３１６】
映像表示装置２００は、撮像装置１０１が再送した画像ＩＤと圧縮画像データを受け取り、図１１の部分画像受信処理を行うことにより、画像を表示することができる。
【０３１７】
以上により、画像データ制御装置を備えた撮像装置は、再送要求を受信し、受信した再送要求に基づいて、以前に送信した画像と同じ画像を、映像表示装置２００に再送する。これにより、映像表示装置２００は、ネットワーク伝送で画像データが欠損した場合に、再送された画像データを、受信することが可能となる。また、映像表示装置２００が、内部メモリー容量の制約などにより、受信した画像すべてを保持できず、画像蓄積部２２０は蓄積した画像の総要領がメモリーの上限値に達した場合に蓄積した画像の一部を削除する場合にも有効である。映像表示装置２００が、再送を要求し、再送された画像データを、受信することが可能となる。つまり、映像表示装置２００は、受信した画像ＩＤの画像を保持していない場合でも、再送された画像データを用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
【０３１８】
（実施の形態４）
実施の形態４における画像データ制御装置６００は、映像表示装置２００などの外部の装置から、画像を蓄積した送信済み画像確認リストに対するリフレッシュ要求を受け取ることを特徴とする。
【０３１９】
図２８は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０３２０】
図２８の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置６００を備えている。図２８において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０３２１】
画像データ制御装置６００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置６００は、送信すると決定したデータを送信部１０３に通知する。
【０３２２】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００からリフレッシュ要求を受信し、画像データ制御装置６００に通知する。
【０３２３】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３２４】
画像データ制御装置６００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部６１０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、リフレッシュ要求受信部６２０、送信制御部６３０を備えている。
【０３２５】
リフレッシュ要求受信部６２０は、受信部１０４から、リフレッシュ要求を受信する。リフレッシュ要求は、リフレッシュ対象の画像の画像ＩＤを含んでいる。リフレッシュ要求受信部６２０は、受信したリフレッシュ要求に含まれている画像ＩＤを送信済み画像確認リスト蓄積部６１０に通知し、指定した画像ＩＤの画像を削除するように指示する。
【０３２６】
リフレッシュ要求受信部６２０は、リフレッシュ要求した映像表示装置２００にリフレッシュ完了を通知するよう、送信制御部６３０に指示を出す。
【０３２７】
送信済み画像確認リスト蓄積部６１０は、送信した画像データと画像ＩＤを、リスト形式で蓄積する。送信済み画像確認リスト蓄積部６１０は、送信した画像データと画像ＩＤを組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部６１０は、送信制御部６３０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。
【０３２８】
送信済み画像確認リスト蓄積部６１０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に情報を蓄積するようにしてもよい。また、送信済み画像確認リスト蓄積部１５０は、ＤＲＡＭのような揮発性の半導体メモリーによって構成するようにしてもよい。
【０３２９】
送信済み画像確認リスト蓄積部６１０は、リフレッシュ要求受信部６２０から、画像ＩＤを指定した削除指示を受け取り、指定された画像ＩＤのエントリーを送信済み画像確認リストから削除する。
【０３３０】
送信制御部６３０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部６３０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部６３０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
【０３３１】
送信制御部６３０は、リフレッシュ要求受信部６２０から指示を受け、送信部１０３を介して、リフレッシュ要求をした映像表示装置２００に、リフレッシュ完了通知を送信する。
【０３３２】
画像データ制御装置を備えた撮像装置が、リフレッシュ要求によって、指定された画像ＩＤを削除した後に、リフレッシュした画像ＩＤに分類できる画像が、撮像部１０２で撮像された場合について説明する。
【０３３３】
実施の形態４において、画像データ制御装置６００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で図５を用いて説明した処理と同様である。
【０３３４】
リフレッシュ処理によって、図６のステップＳ２２５で検出した物体の画像に対応する画像ＩＤのエントリーは、送信済み画像確認リストから削除されているとする。つまり、送信済み画像確認リストは、ステップＳ２５０で取得した一番近いテンプレート画像に対応する画像が蓄積していない。よって、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みでないと判定し、ステップＳ２７０に遷移する。そして、ステップＳ２７０以降の処理によって、ステップＳ２２５にて取得された画像は、新しい画像ＩＤを付与され、新しい画像として以降処理が継続される。
【０３３５】
以上により、画像データ制御装置６００を備えた撮像装置は、リフレッシュを実施した以降に、リフレッシュした画像ＩＤに相当する画像を撮像した場合、新たな画像ＩＤを付与し新しい画像として取り扱う。画像データ制御装置６００を備えた撮像装置は、削除したＩＤを使用するのではなく、新しく付与した画像ＩＤを用いて、圧縮画像データを映像表示装置２００に送信する。
【０３３６】
撮像装置１０１が保持する送信済み画像確認リストと映像表示装置２００が保持する画像蓄積データの間に不整合が起こった場合に、有効である。不整合となっている画像ＩＤをリフレッシュし、不整合となっていた画像ＩＤを破棄し、新しい画像ＩＤにて、以降の処理を行うことが可能となる。不整合が発生する要因としては、例えば、ネットワーク上でデータが欠損した場合、映像表示装置２００の予期せぬＨＷ不具合などがある。
【０３３７】
なお、画像データ制御装置６００は、指定された画像ＩＤに対してリフレッシュ処理を行う。また、画像データ制御装置６００は、付与済みの全画像ＩＤについてリフレッシュしてもよい。リフレッシュ要求受信部６２０は、受信したリフレッシュ要求に含まれている画像ＩＤが、全画像ＩＤを削除するために規定された値の場合、送信済み画像確認リスト蓄積部６１０に、全画像ＩＤの画像を削除するように指示する。送信済み画像確認リスト蓄積部６１０は、リフレッシュ要求受信部６２０から、全削除指示を受け取り、全ての画像ＩＤのエントリーを送信済み画像確認リストから削除する。
【０３３８】
なお、画像データ制御装置６００を備えた撮像装置１０１が、複数の映像表示装置に、同時に画像を送信している場合、送信制御部６３０は、複数の映像表示装置すべてにリフレッシュ完了を送信してもよい。これにより、複数の映像表示装置の間で、リフレッシュした状態を同期することができる。
【０３３９】
（実施の形態５）
実施の形態５における画像データ制御装置３００は、カテゴリー化ルール保持部が保持するカテゴリー化ルールを変更可能とすることを特徴とする。
【０３４０】
図２９は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０３４１】
図２９の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置３００を備えている。図２９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０３４２】
画像データ制御装置３００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置３００は、送信すると決定したデータを送信部１０３に通知する。
【０３４３】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００からカテゴリー化ルールの変更要求を受信し、画像データ制御装置３００に通知する。
【０３４４】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３４５】
画像データ制御装置３００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部３２０、物体画像送信判定部１８０、送信制御部１９０、ルール変更要求受信部３１０を備えている。
【０３４６】
ルール変更要求受信部３１０は、受信部１０４から、カテゴリー化ルールの変更要求を受信する。ルール変更要求受信部３１０は、受信した変更要求を、カテゴリー化ルール保持部３２０に通知する。
【０３４７】
カテゴリー化ルール保持部３２０は、入力部１１０から入力した画像データ内の、物体の画像に対し、類似性を判断する際に使用するルール（カテゴリー化ルール）を保持する。カテゴリー化ルールとは、蓄積済みの画像の中で、一番近い画像に分類するためのルールである。
【０３４８】
カテゴリー化ルールには、「物体を人間の姿勢認識によって分類し、姿勢が近い画像に同じ画像に分類とする」ことを意味する情報が記載されている。記載方法は、テキスト形式の文字列で表現してもよい。また、記載方法は、予め定義された変数値によって表現してもよい。
【０３４９】
カテゴリー化ルール保持部３２０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に、カテゴリー化ルールを保持している。
【０３５０】
カテゴリー化ルール保持部３２０は、ルール変更要求受信部３１０から通知された変更要求に基づいて、カテゴリー化ルールを更新する。
【０３５１】
実施の形態５において、画像データ制御装置３００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で図５を用いて説明した処理と同様である。
【０３５２】
画像データ制御装置３００は、カテゴリー化ルールの変更要求を受信することにより、カテゴリー化ルール保持部３２０が保持しているルールを更新する。画像送信判定処理において、図６のステップＳ２１０で、物体画像送信判定部１８０は、更新後のカテゴリー化ルールを取得する。よって、画像送信判定処理のステップＳ２３０からステップＳ２５０で行う、画像解析部１２０で検出した物体の画像を分類する仕方が変化し、送信する圧縮画像データを変化させることができる。
【０３５３】
画像データ制御装置３００を備えた撮像装置は、カテゴリー化ルールの変更要求を受信し、カテゴリー化ルール保持部３２０が保持するカテゴリー化ルールを変更する。これにより、画像データ制御装置３００を備えた撮像装置は、状況に応じて映像表示装置２００が要求したカテゴリー化ルールに変更することでき、映像表示装置２００を監視する監視者の利便性を向上することができる。
【０３５４】
（実施の形態６）
実施の形態６における画像データ制御装置３３０は、複数の映像表示装置に同時に圧縮画像データを送信する場合において、送信先の映像表示装置を動的に変更可能とすることを特徴とする。
【０３５５】
図３０は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０３５６】
図３０の撮像装置３６０は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置３３０を備えている。図３０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０３５７】
図３０の撮像装置３６０は、ネットワークを介して撮像した画像を送信する監視用デジタルビデオカメラとして構成されている。撮像装置３６０は、ネットワーク９９９９と接続しており、ネットワーク９９９９を介して、複数の映像表示装置（２００ａ、２００ｂ、２００ｎ）に画像などのデータを送信する。撮像装置３６０は監視カメラであり、映像表示装置（２００ａ、２００ｂ、２００ｎ）は監視モニタとして、監視システムを構成する。
【０３５８】
新たに画像の要求を所望する映像表示装置（２００ａ、２００ｂ、２００ｎのいずれか）は、撮像装置３６０に、画像送信要求を送信する。また、画像送信の停止を所望する映像表示装置（２００ａ、２００ｂ、２００ｎのいずれか）は、撮像装置３６０に画像送信停止要求を送信する。
【０３５９】
画像データ制御装置３３０は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置へ送信するデータを決定する。画像データ制御装置３３０は、送信すると決定したデータを送信部１０３に通知する。
【０３６０】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置からデータを受信する。受信部１０４は、映像表示装置から画像送信要求を受信し、画像データ制御装置３３０に通知する。
【０３６１】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３６２】
画像データ制御装置３３０は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、送信制御部３５０、画像送信要求受信部３４０を備えている。
【０３６３】
画像送信要求受信部３４０は、受信部１０４から、画像の送信を新たに要求する画像送信要求を受信する。画像送信要求は、送信を要求する映像表示装置のアドレスを含んでいる。画像送信要求受信部３４０は、画像送信要求を受信すると、送信制御部３５０に、画像送信要求に含まれるアドレスを、送信先アドレスに追加するよう指示する。
【０３６４】
画像送信要求受信部３４０は、画像送信を停止する要求である画像送信停止要求を受信する。画像送信要求は、送信の停止を要求する映像表示装置のアドレスを含んでいる。画像送信要求受信部３４０は、画像送信停止要求を受信すると、送信制御部３５０に、画像送信停止要求に含まれるアドレスを、送信先アドレスから削除するよう指示する。
【０３６５】
送信制御部３５０は、物体画像送信判定部１８０の判定結果に応じて、複数の映像表示装置に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部３５０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部３５０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
【０３６６】
送信制御部３５０は、送信先の映像表示装置のアドレスを、送信先アドレスとして記憶した送信先リストを保持している。送信制御部３５０は、図８のステップＳ４３０、Ｓ４５０などにてデータを送信する際は、送信先リストに記憶されている全アドレスにデータを送信する。
【０３６７】
送信制御部３５０は、画像送信要求受信部３４０から、送信先アドレスの追加指示を受けると、送信先リストに新たな送信先のアドレスを追加する。
【０３６８】
送信制御部３５０は、画像送信要求受信部３４０から、送信先アドレスの削除指示を受けると、送信先リストから指示されたアドレスを削除する。
【０３６９】
これにより、送信制御部３５０は、画像送信中においても、送信先の映像表示装置を動的に増減することができる。
【０３７０】
図３１は、実施の形態６における画像データ制御装置３３０の、撮像部１０２から画像データを受け取った際の動作を示すフローチャートである。なお、図３１において、図５と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
【０３７１】
ステップＳ１４１０において、送信制御部３５０は、送信先リストを参照し、送信先アドレスが格納されているか否かを確認する。確認の結果、送信先アドレスが格納されていれば、ステップＳ４００に遷移する。送信先リストに送信先アドレスが格納されていない場合は、処理を終了する。
【０３７２】
画像データ制御装置３３０を備えた撮像装置は、画像送信要求や画像送信停止要求を受信し、受信した要求に応じて送信制御部３５０に送信先アドレスの追加、削除を指示し、データの送信先を動的に変更する。これにより、画像データ制御装置３３０を備えた撮像装置は、状況に応じて、送信先の映像表示装置（２００ａ、２００ｂ、２００ｎ）を変更し、データの受信を望まない映像表示装置へのデータ送信を行わない。これにより、ネットワークのトラフィックを低減することができる。
【０３７３】
なお、画像データ制御装置３３０を備えた撮像装置は、初期状態では送信制御部３５０が保持する送信先リストを空にしておき、送信要求があった相手にのみ画像を送信する。
【０３７４】
なお、実施の形態１から実施の形態６のカテゴリー化ルール保持部は、物体画像送信判定部の外に配置していたが、例えば、カテゴリー化ルール保持部の内部に配置してもよい。
【０３７５】
なお、実施の形態１から実施の形態６の画像データ制御装置を備えた撮像装置は、ネットワークを介して、映像蓄積サーバ、状況解析サーバ（独自に画像を解析、例えば、高精度の顔認証用サーバ）などに接続し、必要な処理を外部の装置で分散処理してもよい。
【０３７６】
なお、実施の形態１から実施の形態６における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。上記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０３７７】
また、実施の形態１から実施の形態６において、画像データ制御装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０３７８】
また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されていてもよい。
【０３７９】
また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３８０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０３８１】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０３８２】
また、本発明は、上記実施の形態１から実施の形態６をそれぞれ組み合わせるとしてもよい。また、今回開示された実施の形態および変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０３８３】
本発明にかかる画像データ制御装置は、対象とする物体がすでに送信済みの画像と近い画像である場合は、画像データを送信せずに、類似している送信済み画像を識別する情報を送信する機能を有し、ネットワークを介して画像を送信する監視カメラ、Ｗｅｂカメラ、デジタルビデオカメラ等として有用である。また、テレビ会議システム、テレビ電話機能を有する携帯電話などの用途にも応用することができる。
【符号の説明】
【０３８４】
１０１，３６０ 撮像装置
１００，３００，３３０，４００，５００，６００ 画像データ制御装置
１０２ 撮像部
１０３ 送信部
１０４ 受信部
１１０ 入力部
１２０ 画像解析部
１３０ 画像切り出し部
１４０ エンコード部
１５０，４１０，６１０ 送信済み画像確認リスト蓄積部
１６０ 画像ＩＤ付与部
１７０，３２０ カテゴリー化ルール保持部
１８０，４２０ 物体画像送信判定部
１９０，３５０，４３０，５２０，６３０ 送信制御部
２００，２００ａ，２００ｂ，２００ｎ 映像表示装置
２１０ 受信部
２２０ 画像蓄積部
２３０ デコード部
２４０ リサイズ部
２５０ 合成部
２６０ 表示部
５１０ 再送要求受信部
６２０ リフレッシュ要求受信部
３１０ ルール変更要求受信部
３４０ 画像送信要求受信部
９９９９ ネットワーク
【技術分野】
【０００１】
本発明は、監視カメラと監視モニタとを接続した監視カメラシステムにおいて、特に、監視モニタ装置へ送信する画像データを制御する画像データ制御装置に関するものである。
【背景技術】
【０００２】
近年、様々な場所に設置された多数の監視カメラが、ネットワークで接続された監視モニタに画像データを送信して、監視、モニタリングを行う監視システムに対するニーズは急速に拡大している。しかし、監視システムに利用できるネットワークの帯域は、データを送信する容量が十分に確保できない場合がある。多数の監視カメラが、同時に画像などの比較的データ量が大きいデータを大量に送信すると、ネットワークシステムに大きな負荷がかかる。最悪の場合ではネットワークシステムがダウンし、データ通信が行えなくなる問題が発生する。
【０００３】
従来の技術として、監視カメラが、撮像した画像データ全てを送るのではなく、監視対象の物体（例えば人間や移動する物体）を特定し、特定した物体を切り出した一部の画像データのみを送信する技術がある（例えば、特許文献１参照）。前記特許文献１に記載された技術では、監視対象の物体を切り出した一部の画像データのみを送信することで、全体の画像データを送信する場合よりも、相対的に送信するデータ量を減らすことができる。また、前記特許文献１に記載された技術では、監視カメラが、特定した物体の移動量が一定量を越えた時に切り出した画像データを送信することで、更に、送信するデータ量を減らすことができる。
【０００４】
しかしながら、前記特許文献１の技術では、監視対象の物体の移動量が一定量を越えない場合、監視対象の物体の画像データを送信しない。このため、監視モニタに表示される画像は、監視対象の物体の画像が更新されず、監視者は、監視対象の物体の現在位置を正確に把握できなくなる。また、監視者は、監視対象の物体の移動途中の軌跡を詳細に把握することはできない。送信する頻度を高くした場合、相対的には全体画像データのデータ量よりも小さくなるが、画像データを送信することに変わりはなく、送信する画像のデータ量の総量が大きくなってしまう。
【０００５】
この課題を解決する従来の技術として、監視カメラにて撮像した画像データを画像解析して、監視対象の物体（例えば人間や移動する物体）を検出し、当該の物体の位置情報のみを送付する技術がある（例えば、特許文献２参照）。前記特許文献２に記載された技術では、映像監視モニタに表示する画像を、システムで複数種類定義して、システムで定義した複数の画像から指定した画像を、監視カメラから送付された位置情報の位置に表示するように監視システム構成する。画像データを送信せずに位置情報を送信するので、画像データを送信する場合よりもデータ量を減らしつつ、監視モニタの監視者は、監視カメラにて撮像する範囲内において、監視対象の物体がどこに位置するのかを把握することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１４１７００号公報
【特許文献２】国際公開第２００７／０３７３５０号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の技術では、監視対象の物体の画像データを送信せずに位置情報を送信するので、監視対象の物体がどこに位置するのかを監視モニタに表示することはできるが、現在の画像を表示することができない。このため、監視モニタの監視者は、監視対象の物体がどこに位置するのかは把握できるが、どのような状態（様子）かを把握することができないという課題を有していた。
【０００８】
本発明は、前記従来の課題を解決するもので、監視カメラから送信するデータ量を削減し、監視対象の物体の位置と状態を把握することを可能とする画像データ制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の画像データ制御装置は、入力した画像データから物体の検出を行い、前記検出した物体の画像を解析し、前記検出した物体の領域情報を出力する画像解析手段と、前記入力した画像データから、前記画像解析手段が出力した前記領域情報が示す領域の画像を切り出して出力する画像切り出し手段と、前記画像切り出し手段が出力した切り出し画像データを、エンコードして圧縮画像データを生成するエンコード手段と、画像データを識別する画像ＩＤを付与し、画像データと画像ＩＤと画像を対応付ける画像ＩＤ付与手段と、送信した画像データと、前記送信した画像データに付与された画像ＩＤとを送信済み画像確認リストとして蓄積し、送信履歴を管理する送信済み画像確認リスト蓄積手段と、前記画像解析手段が検出した物体の画像に対し、前記画像確認リスト蓄積手段に蓄積されている画像の中で、一番近い画像に分類するためのルールであるカテゴリー化ルールを保持するカテゴリー化ルール保持手段と、前記カテゴリー化ルール保持手段が保持している前記カテゴリー化ルールを用いて、前記画像解析手段が検出した物体の画像に対する分類を行い、一番近いと分類された送信済みの画像が、前記送信済み画像確認リストに蓄積されている場合に、前記画像解析手段が検出した物体の画像データを送信しないと判定する物体画像送信判定手段と、前記物体画像送信判定手段が、前記画像解析手段が検出した物体の画像データを送信しないと判定した場合、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと、前記画像解析手段が検出した物体の領域情報を出力する送信制御手段とを備える。
【００１０】
本構成によって、画像データ制御装置は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。
【発明の効果】
【００１１】
本発明の画像データ制御装置によれば、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。これにより、画像データ制御装置を備えた監視カメラは、監視対象の物体の画像データを送信する場合と比べて、送信するデータ量を削減することができる。また、監視モニタは、画像データ制御装置が送信したデータを受け取り、監視対象の物体がどのような状態でどこに位置するかを表示することができる。これにより、監視モニタの監視者は、監視対象の物体の位置と状態を把握することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１における画像データ制御装置を備えた撮像装置の構成を示す構成図
【図２】本発明の実施の形態１における姿勢テンプレート画像リストの一例を示す図
【図３】本発明の実施の形態１における送信済み画像確認リストの一例を示す図
【図４】本発明の実施の形態１における送信制御部が出力するデータの一例を示す図
【図５】本発明の実施の形態１における画像データ制御装置の動作の一例を示すフローチャート
【図６】本発明の実施の形態１における画像送信判定処理の動作の一例を示すフローチャート
【図７】本発明の実施の形態１における分類候補リストの一例を示す図
【図８】本発明の実施の形態１におけるデータ送信処理の動作の一例を示すフローチャート
【図９】本発明の実施の形態１における映像表示装置の構成を示す図
【図１０】本発明の実施の形態１における映像表示装置の動作の一例を示すフローチャート
【図１１】本発明の実施の形態１における映像表示装置の動作の一例を示すフローチャート
【図１２】本発明の実施の形態１における物体描画処理の動作の一例を示すフローチャート
【図１３】本発明の実施の形態１における撮像装置が撮像する画像の一例を示す図
【図１４】本発明の実施の形態１における送信済み画像確認リストの一例を示す図
【図１５】本発明の実施の形態１における送信済み画像確認リストの一例を示す図
【図１６】本発明の実施の形態１における映像表示装置に表示される画像の一例を示す図
【図１７】本発明の実施の形態１における画像送信判定処理の動作の一例を示すフローチャート
【図１８】本発明の実施の形態１における送信済み画像確認リストデータの一例を示す図
【図１９】本発明の実施の形態１における画像送信判定処理の動作の一例を示す図
【図２０】本発明の実施の形態１におけるデータ送信処理の動作の一例を示す図
【図２１】本発明の実施の形態２における画像データ制御装置を備えた撮像装置の構成を示す構成図
【図２２】本発明の実施の形態２における画像データ制御装置の動作の一例を示す図
【図２３】本発明の実施の形態２における画像送信判定処理の動作の一例を示す図
【図２４】本発明の実施の形態２におけるデータ送信処理の動作の一例を示す図
【図２５】本発明の本発明の実施の形態３における画像データ制御装置を備えた撮像装置の構成図
【図２６】本発明の実施の形態３における再送制御処理の動作の一例を示す図
【図２７】本発明の実施の形態３における物体描画処理の動作の一例を示す図
【図２８】本発明の実施の形態４における画像データ制御装置を備えた撮像装置の構成を示す構成図
【図２９】本発明の実施の形態５における画像データ制御装置を備えた撮像装置の構成図
【図３０】本発明の実施の形態６における画像データ制御装置を備えた撮像装置の構成図
【図３１】本発明の実施の形態６における画像データ制御装置の動作の一例を示す図
【発明を実施するための形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
（実施の形態１）
図１は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【００１５】
図１の撮像装置１０１は、ネットワークを介して撮像した画像を送信する監視用デジタルビデオカメラとして構成されている。撮像装置１０１は、ネットワーク９９９９と接続しており、ネットワーク９９９９を介して、映像表示装置２００に画像などのデータを送信する。撮像装置１０１は監視カメラであり、映像表示装置２００は監視モニタとして、監視システムを構成する。また、複数個の撮像装置１０１を備え、映像表示装置２００は、複数個の撮像装置１０１からのデータを受け取り、監視、モニタリングを行うことができる。
【００１６】
図１の撮像装置１０１は、撮像部１０２、送信部１０３、画像データ制御装置１００を備えている。
【００１７】
撮像部１０２は、光学レンズなどを通して装置内に入力された光学的な画像信号を画像データに変換する。また、撮像部１０２は、アナログ−デジタル変換回路を持ち、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ、色差成分ＣｂとＣｒで表現するＹＣｂＣｒ形式を用いるようにしてもよいし、ＲＧＢ形式などの形式を用いてもよい。
【００１８】
撮像部１０２は、装置内に入力された画像信号を周期的に画像データに変換し、出力する。撮像部１０２は、３０分の１秒ごとに入力された画像信号を画像データに変換し、出力するようにしてもよい。以下、画像信号を画像データに変換する１周期は、撮像周期と記載する。
【００１９】
送信部１０３は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００にデータを送信する。送信部１０３は、画像データ制御装置１００から通知されたデータを、映像表示装置２００に送信する。
【００２０】
送信部１０３は、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。送信部１０３は、これら通信プロトコルに準拠する形式でデータをパケット化し、送信する。
【００２１】
送信部１０３は、映像表示装置２００のアドレスを、内部の不揮発性のメモリーに保持しており、このアドレスを用いて、映像表示装置２００との通信を行う。
【００２２】
送信部１０３は、ＬＡＮケーブルなどの有線によって、ネットワーク９９９９と接続するように構成してもよいし、無線ＬＡＮを介して、ネットワークに接続するようにしてもよい。
【００２３】
画像データ制御装置１００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置１００は、送信すると決定したデータを送信部１０３に通知する。
【００２４】
画像データ制御装置１００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、送信制御部１９０を備えている。
【００２５】
入力部１１０は、撮像部１０２が出力した画像データを受け取り、受け取った画像データを、画像解析部１２０、画像切り出し部１３０、エンコード部１４０に出力する。
【００２６】
画像解析部１２０は、入力部１１０が出力した画像データを入力し、画像データ内に写されている１つまたは複数の物体を検出し、検出した物体の画像を解析する。画像解析部１２０で行う物体検出は、フレーム間差分法によって、動く物体（動体）を検出し、検出した動体を認識すべき物体として決定する。
【００２７】
なお、画像解析部１２０は、予め人間などの物体がいない状態の背景画像を保持し、背景画像と入力した画像データとを比較して物体を認識する、背景差分法などを用いてもよい。また、画像解析部１２０は、顔検出や人物検出、ペット検出などの他の検出処理を用いてもよい。
【００２８】
画像解析部１２０は、入力部１１０から入力した画像データ内の、全ての領域に対して、物体検出を行う。画像解析部１２０は、物体を検出した場合は、検出結果から割り出した物体の領域情報を、物体画像送信判定部１８０に出力する。
【００２９】
物体の領域情報は、物体領域の高さ（物体領域高さＦｈ）、幅（物体領域幅Ｆｗ）、水平方向の位置（物体領域水平位置Ｆｘ）、および垂直方向の位置（物体領域垂直位置Ｆｙ）からなる。なお、物体領域水平位置Ｆｘは、例えば、画像データの左端から物体領域の左上端までの、水平方向の距離によって表され、物体領域垂直位置Ｆｙは、例えば、画像データの上端から物体領域の左上端までの、垂直方向の距離によって表される。
【００３０】
画像切り出し部１３０は、物体画像送信判定部１８０から指示を受け取り、入力部１１０から入力した画像データから、指示された領域の画像を切り出す。画像切り出し部１３０は、切り出しを指示された領域の各画素をコピーし、指示されたメモリー領域に記録する。
【００３１】
画像切り出し部１３０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成された内部バッファを持つ。この内部バッファは、物体画像送信判定部１８０も参照可能とする。画像切り出し部１３０は、切り出した画像を内部バッファに一時的に保管することで、切り出し画像を複数のモジュールでの処理に利用することができる。
【００３２】
エンコード部１４０は、入力部１１０が出力した画像データと、画像切り出し部１３０が出力した切り出し画像を入力し、エンコードして圧縮像データを生成する。エンコード部１４０は、圧縮画像データの形式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により画像データを圧縮する。
【００３３】
送信済み画像確認リスト蓄積部１５０は、送信した画像データと画像ＩＤを、リスト形式で蓄積する。送信済み画像確認リスト蓄積部１５０は、送信した画像データと画像ＩＤを組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部１５０は、送信制御部１９０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。
【００３４】
送信済み画像確認リスト蓄積部１５０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に情報を蓄積するようにしてもよい。また、送信済み画像確認リスト蓄積部１５０は、ＤＲＡＭのような揮発性の半導体メモリーによって構成するようにしてもよい。
【００３５】
画像ＩＤ付与部１６０は、物体画像送信判定部１８０からの要求を受け取り、画像データを識別する識別子（画像ＩＤ）を付与し、画像ＩＤと画像を対応付ける。
【００３６】
画像ＩＤ付与部１６０は、ＤＲＡＭなどにより構成された内部蓄積機能を持ち、付与済みの最新画像ＩＤを記憶する。画像ＩＤ付与部１６０は、新しい画像ＩＤを付与する際に、記憶している最新画像ＩＤ＋１の値を、新しい画像ＩＤとして付与する。なお、画像ＩＤ付与部１６０は、一つも画像ＩＤの付与を行っていない初期状態では、所定の値を記憶し、付与後の状態と識別できるようにする。
【００３７】
カテゴリー化ルール保持部１７０は、入力部１１０から入力した画像データ内の、物体の画像に対し、類似性を判断する際に使用するルール（カテゴリー化ルール）を保持する。カテゴリー化ルールとは、蓄積済みの画像の中で、一番近い画像に分類するためのルールである。
【００３８】
カテゴリー化ルールには、「物体を人間の姿勢認識によって分類し、姿勢が近い画像に同じ画像に分類とする」ことを意味する情報が記載されている。記載方法は、テキスト形式の文字列で表現してもよい。また、記載方法は、予め定義された変数値によって表現してもよい。
【００３９】
カテゴリー化ルール保持部１７０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に、カテゴリー化ルールを保持している。
【００４０】
物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールを取得し、カテゴリー化ルールに従って、画像解析部１２０が検出した物体の画像を分類する。物体画像送信判定部１８０は、分類した結果に基づいて、画像解析部１２０が検出した物体の画像を分類し、物体の画像データを映像表示装置２００に送信するか否かを判定する。
【００４１】
姿勢認識を実現する方法は、例えば、次の手順で行う。
【００４２】
カテゴリー化ルール保持部１７０は、認識対象の姿勢毎に、対応するテンプレート画像を、前もって保持している。テンプレート画像とは、例えば、しゃがんでいる、手で引っ張っているなど、人間の姿勢を、それぞれ単純な２値化データとして示し画像である。まず、画像解析部１２０は、人間の画像を検出する。次に、物体画像送信判定部１８０は、画像切り出し部１３０に画像の切り出しを指示し、画像解析部１２０が検出した物体画像を取得する。物体画像送信判定部１８０が、画像の姿勢を特徴化した濃淡画像を抽出し２値化する。次に、物体画像送信判定部１８０が、各テンプレート画像と比較して、最も適合するテンプレート画像を決定し、テンプレート画像が対応する姿勢を認識結果とする。
【００４３】
また、姿勢認識を実現する他の方法は、例えば、人間の関節などの部位を抽出し、各関節間の距離によって姿勢を認識する手法を用いてもよい。
【００４４】
なお、カテゴリー化ルール保持部１７０が、各テンプレート画像を保持しているとしたが、本発明はこれに限定されるものではなく、例えば、物体画像送信判定部１８０が保持してもよい。
【００４５】
図２は、姿勢テンプレート画像リストの一例を示している。姿勢テンプレート画像リストは、前述したカテゴリー化ルールを示した情報であり、各姿勢とテンプレート画像とを対応付けて、カテゴリー化ルール保持部１７０が保持している。「立つ」、「腰掛ける」などの各姿勢にはテンプレートＩＤが割り振られており、このテンプレートＩＤを使ってテンプレート画像を管理している。そのため、テンプレートＩＤが決めれば、そのＩＤが示す姿勢の意味とテンプレート画像データが一意に特定できる。また、テンプレート画像データは２値化されており、テンプレートマッチングに適した形式に加工されているものとする。
【００４６】
物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０から姿勢テンプレート画像リストを取得し、画像解析部１２０が検出した物体の画像を、姿勢認識に基づいて分類する。すなわち、物体画像送信判定部１８０は、画像解析部１２０が検出した物体の画像とテンプレート画像リストの各テンプレート画像とを比較する。
【００４７】
なお、物体画像送信判定部１８０は、前述した比較を行うために、画像切り出し部１３０に、画像解析部１２０が検出した物体画像の切り出しを指示する。物体画像送信判定部１８０は、画像切り出し部１３０に対して、画像解析部１２０から受け取った物体の領域情報を指定し、物体の部分の画像を切り出すように指示する。画像切り出し部１３０は、切り出した画像を内部バッファに記録する。物体画像送信判定部１８０は、内部バッファにアクセスし、画像解析部１２０が検出した物体画像を取得する。更に、物体画像送信判定部１８０は、画像切り出し部１３０が切り出した画像を濃淡２値化し、比較に用いる。また、物体画像送信判定部１８０は、比較を行いやすくするために、テンプレート画像の画角にリサイズして、比較してもよい。
【００４８】
物体画像送信判定部１８０は、前記比較によって、画像解析部１２０が検出した物体画像に一番近いテンプレート画像を決定し、一番近いテンプレート画像のテンプレートＩＤを特定する。
【００４９】
次に、物体画像送信判定部１８０は、送信済み画像確認リスト蓄積部１５０から送信済み画像確認リストを取得して、分類した姿勢の画像は送信済みか否かを確認する。
【００５０】
図３は、送信済み画像確認リストの一例を示している。送信済み画像確認リストは、画像ＩＤと送信した圧縮画像データとを対応付けて保持している。更に、送信済み画像確認リストは、テンプレートＩＤを各エントリーにもち、１つのテンプレートＩＤ（姿勢）に対して、一意に画像ＩＤ、及び、送信した画像データが決まるフォーマットとする。また、送信済み画像確認リストに記載の各画像が送信済みか否かを判定するには、各画像のエントリーに画像ＩＤと圧縮画像データにデータ割り与えられているかを調べることによって判定できる。
【００５１】
物体画像送信判定部１８０は、送信済み画像確認リストを参照し、一番近いテンプレート画像のテンプレートＩＤに対応する画像を送信済みであるか否かを確認する。
【００５２】
物体画像送信判定部１８０は、テンプレートＩＤに対応する画像を送信済みであれば物体の画像は送信しないと判定する。一方、物体画像送信判定部１８０は、送信済みでなければ物体の画像を送信すると判定する。
【００５３】
なお、実施の形態１の姿勢テンプレート画像リストは図２に示す情報を保持しているが、本発明はこれに限定されるものではなく、例えば、テンプレート画像の画格情報を持つようにしてもよい。
【００５４】
なお、実施の形態１の画像解析部１２０では、人間の姿勢認識の手法を用いて説明するが、例えば、物体の色ヒストグラムによる分類などを行ってもよい。
【００５５】
また、実施の形態１においては、物体画像送信判定部１８０が、画像解析部１２０によって検出した物体画像を、画像切り出し部１３０に切り出ように指示する構成である。他の構成として、例えば、画像解析部１２０が、検出した物体画像を画像切り出し部１３０に切り出すように指示するようにしてもよい。
【００５６】
物体画像送信判定部１８０は、物体画像を送信すると判定した場合は、画像ＩＤ付与部１６０より新たな画像ＩＤを取得し、これを送信する画像を識別するＩＤとして使用する。
【００５７】
送信制御部１９０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
【００５８】
図４は、送信制御部１９０が出力するデータの一例を示す。図４（ａ）は、画像データを送信する場合を示しており、送信制御部１９０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。図４（ｂ）は、画像データを送信しない場合を示しており、送信制御部１９０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
【００５９】
なお、送信制御部１９０が出力するデータは、例えば、姿勢認識結果である姿勢情報などを含んでもよい。
【００６０】
以上の構成により、画像データ制御装置を備えた撮像装置は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知する。
【００６１】
図５は、本発明の実施の形態１における画像データ制御装置１００の、撮像部１０２から画像データを受け取った際の動作を示すフローチャートである。撮像部１０２は、周期的に画像データを画像データ制御装置１００に出力する。そのため、図５の動作は、周期的に繰り替えされる。
【００６２】
まず、ステップＳ１００において、入力部１１０は、撮像部１０２から出力された画像データを受け取り、画像解析部１２０に出力する。画像解析部１２０は、入力部１１０が出力した画像データを入力し、画像データ内に存在する物体を検出し、物体の領域情報を得る。画像解析部１２０は、検出した物体の領域情報を、物体画像送信判定部１８０に出力する。
【００６３】
次に、ステップＳ２００において、物体画像送信判定部１８０は、画像送信判定処理を行う。物体画像送信判定部１８０は、ステップＳ１００で検出した物体から、次の処理対象の物体を決定し、この物体の画像を、送信するか否かを判断する。
【００６４】
ステップＳ４００において、送信制御部１９０は、ステップＳ２００で判定した結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
【００６５】
ステップＳ５００において、物体画像送信判定部１８０は、ステップＳ１００で検出した全ての物体に対して処理を行っていない場合、ステップＳ２００に遷移する。一方、物体画像送信判定部１８０は、全ての物体に対して処理を行った場合、処理を終了する。つまり、物体画像送信判定部１８０と送信制御部１９０は、画像解析部１２０が検出した物体画像１つごとに、ステップＳ２００とＳ４００の処理を繰り返す。
【００６６】
図６は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。
【００６７】
ステップＳ２１０において、物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０にアクセスし、カテゴリー化ルールを取得する。
【００６８】
ステップＳ２２０において、物体画像送信判定部１８０は、送信済み画像確認リスト蓄積部１５０より、送信済み画像確認リストを取得する。送信済み画像確認リストは、物体画像を送信するか否かの判定に使用する。
【００６９】
ステップＳ２２５において、物体画像送信判定部１８０は、物体画像の比較に使用する、画像解析部１２０が物体検出した物体画像を取得する。物体画像送信判定部１８０は、画像解析部１２０より入力された物体の位置情報を画像切り出し部１３０に入力し、画像データの物体画像部分を切り出すよう指示する。画像切り出し部１３０は、前記指示を受け取ると、入力部１１０より入力した画像データの物体画像部分を切り出し、内部バッファに記録する。物体画像送信判定部１８０は、画像切り出し部１３０にアクセスし、切り出した物体画像を取得する。
【００７０】
以降のステップＳ２３０からステップＳ２４０までの一連の処理で、各姿勢のテンプレート画像リストに記録されている各画像と、ステップ１００で画像解析部１２０が物体検出した物体画像を比較する。物体画像送信判定部１８０は、テンプレート画像リストの内テンプレートＩＤの番号が若い順に、画像解析部１２０が物体検出した物体画像との比較を行う。
【００７１】
ステップＳ２３０において、物体画像送信判定部１８０は、テンプレート画像リストに記録されている物体画像のうち、まだ比較に使っていないテンプレートＩＤの中で一番番号の若いＩＤである画像を参照する。
【００７２】
次に、物体画像送信判定部１８０は、ステップＳ２２５にて取得した物体画像とテンプレート画像リストに記録されている画像を比較し、比較した各々の画像がどのくらい近いかを示す一致率を算出する。一致率とは、比較した２つの画像において、画像内の画素毎に排他的論理和の合計を求め、この値によって２つの画像がどれくらい近いかを示す値である。よって、一致率は値が低いほうが近い、値が高いほうが近くないことを意味する。
【００７３】
ステップＳ２３０では、図７に示す分類候補リストに算出した一致率を格納し、以降の処理にて利用する。
【００７４】
ステップＳ２４０において、ステップＳ２１０にて取得したテンプレート画像リストに記録されている全ての画像と、物体検出した物体画像との比較が完了したかをチェックする。まだ、比較していない画像が残っている場合は、ステップＳ２３０に遷移し、そうでない場合はステップＳ２５０に遷移する。
【００７５】
ステップＳ２５０において、物体画像送信判定部１８０は、分類候補リストを参照し、検出した物体に一番近いテンプレート画像のテンプレートＩＤを得る。
【００７６】
ステップＳ２６０において、物体画像送信判定部１８０は、ステップＳ２５０にて取得したテンプレートＩＤに関連する画像が送信済みか否かを確認する。物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２５０の処理で分類したテンプレート画像のテンプレートＩＤと、同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部１８０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像が送信済みか否かを調べる。調べた結果、一番近いテンプレート画像に対応する画像が送信済みではない場合は、ステップＳ２７０に遷移し、送信済みであると判断された場合は、ステップＳ３１０に遷移する。
【００７７】
ステップＳ２７０において、物体画像送信判定部１８０は、判定結果を「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」として、ステップＳ２８０に遷移する。
【００７８】
ステップＳ２８０において、物体画像送信判定部１８０は、画像ＩＤ付与部１６０にアクセスし、新たな画像ＩＤを取得する。
【００７９】
ステップＳ３００において、物体画像送信判定部１８０は、送信制御部１９０に、取得した新たな画像ＩＤと、一番近いテンプレート画像のテンプレートＩＤと、物体画像の領域情報と、判定結果を出力する。ここで、物体画像送信判定部１８０は、ステップＳ２８０で取得した新たな画像ＩＤと、ステップＳ２５０で得た一番近いテンプレート画像のテンプレートＩＤとを用いる。ステップＳ３００の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
【００８０】
一方、ステップＳ２６０にて、物体画像送信判定部１８０はステップＳ２５０で得たテンプレートＩＤに関連する画像がすでに送信済みであると判断した場合、ステップＳ３１０に遷移する。
【００８１】
ステップＳ３１０において、物体画像送信判定部１８０は、判定結果を「新たな画像ＩＤは付与せず、一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」として、ステップＳ３２０に遷移する。
【００８２】
ステップＳ３２０において、物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２５０で分類した姿勢の、テンプレート画像のテンプレートＩＤと同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部１８０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像の画像ＩＤを取得する。
【００８３】
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、ステップＳ３２０で取得した画像ＩＤと、物体画像の領域情報と判定結果を入力する。ステップＳ３３０の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
【００８４】
上記のように、物体画像送信判定部１８０は、外部の装置に画像を送信するか否かの判定し、判定結果や、送信する画像ＩＤ、物体画像の領域情報などのデータ送信処理に必要となる情報を送信制御部１９０に入力する。
【００８５】
図８は、データ送信処理（図５のステップＳ４００）の詳細な動作を示すフローチャートである。
【００８６】
まず、ステップＳ４１０において、送信制御部１９０は、図５のステップＳ２００での判定結果に応じて、映像表示装置２００に送信するデータを切り替える。判定結果が画像を送付するものである場合は、ステップＳ４２０に遷移し、以降、物体検出した物体画像の画像データを送信する一連の処理を行う。
【００８７】
ステップＳ４２０において、送信制御部１９０は、画像切り出し部１３０に、物体画像送信判定部１８０から受け取った物体画像の領域情報を入力し、入力部１１０から入力した画像データの物体画像部分の切り出しを指示する。画像切り出し部１３０は、切り出画像をエンコード部１４０に出力し、エンコード部１４０は、エンコード処理して圧縮画像データを生成する。
【００８８】
なお、画像切り出し部１３０がエンコード部１４０に出力する切り出し画像は、上記にように新たに切り出すのではなく、図６のステップＳ２２５において切り出し、内部バッファに記録している画像を使用してもよい。
【００８９】
エンコード部１４０は、画像切り出し部より前記切り出し画像を受け取ると、エンコード処理を行い、圧縮画像データを生成し、送信制御部１９０に出力する。
【００９０】
次に、ステップＳ４３０において、送信制御部１９０は、ステップＳ４２０で生成した圧縮画像データと、図５のステップＳ２００で付与した新たな画像ＩＤと、物体画像の領域情報を含むメタデータを生成し、送信部１０３に出力する。
【００９１】
ステップＳ４４０において、送信制御部１９０は、送信済み画像確認リストの更新を行う。すなわち、送信制御部１９０は、ステップＳ４３０で出力した圧縮画像データと画像ＩＤと、図６のステップＳ２５０で取得した一番近いテンプレート画像のテンプレートＩＤを、送信済み画像確認リスト蓄積部１５０に通知する。送信済み画像確認リスト蓄積部１５０は、受け取ったテンプレートＩＤのエントリーに画像ＩＤと圧縮画像データを追加する。これにより、最初は当該のテンプレートＩＤに対応する画像ＩＤと画像データが抜けている状態だったエントリーに、画像ＩＤと圧縮画像データが追加される。
【００９２】
ステップＳ４４０が終了すると、データ送信処理を終了し、ステップＳ５００に遷移する。
【００９３】
一方、ステップＳ４１０において、図５のステップＳ２００での判定結果が画像を送付しないである場合は、ステップＳ４５０に遷移する。
【００９４】
ステップＳ４５０において、送信制御部１９０は、図５のステップＳ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤと、物体画像の領域情報を含むメタデータを生成し、送信部１０３に出力する。
【００９５】
ステップＳ４５０が終了すると、リターンに遷移し、データ送信処理が終了する。
【００９６】
以上により、送信制御部１９０は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知する。
【００９７】
物体画像送信判定部１８０が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」と判定した場合、送信制御部１９０は、圧縮画像データと、画像ＩＤと、物体画像の領域情報を、送信データとして出力する。
【００９８】
物体画像送信判定部１８０が「送信済み画像の中で一番近い画像の画像ＩＤと領域情報を送信し、新たな画像は送信しない」と判定した場合、送信制御部１９０は、送信済み画像の画像ＩＤと物体画像の領域情報を、送信データとして出力する。
【００９９】
実施の形態１の画像データ制御装置１００を備えた撮像装置１０１は、送信履歴にない人物を物体検出により検出した時に、検出した物体画像を送信するのみで、物体画像を表示するベースとなる背景画像については送信しない。
【０１００】
撮像装置１０１の電源が投入された直後に、画像データ制御装置１００は、撮像部１０２から画像データを受け取る。画像データ制御装置１００のエンコード部１４０は、受け取った画像データをエンコードして、圧縮画像データを生成し、送信制御部１９０に出力する。送信制御部１９０は、圧縮画像データを、背景データとして、送信部１０３を介して、映像表示装置２００に送信する。
【０１０１】
送信した圧縮画像データは、撮像装置１０１の起動直後に、撮像部１０２が撮像した全体の画像データをエンコードしたものであり、受信側の映像表示装置２００は、この画像を背景画像として表示する。
【０１０２】
なお、実施の形態１において、背景画像は、撮像装置１０１の起動を行う処理において送信するように説明するが、この限りではなく、例えば、定期的に送ってもよい。
【０１０３】
次に、撮像装置１０１が送信したデータを受信し、受信したデータを基に画像を表示する映像表示装置２００について説明する。
【０１０４】
図９は、映像表示装置２００の構成を示した図である。
【０１０５】
映像表示装置２００は、受信した画像を表示する装置として構成されており、受信部２１０、画像蓄積部２２０、デコード部２３０、リサイズ部２４０、合成部２５０、及び、表示部２６０を備えている。
【０１０６】
受信部２１０は、ネットワークに接続されており、ネットワークを介して外部装置からデータを受信する。受信部２１０は、ＬＡＮケーブルによって、ネットワークと接続している。また、受信部２１０は、無線ＬＡＮを介して、ネットワークに接続するようにしてもよい。受信部２１０は、受信したデータ（画像）を、画像蓄積部２２０へ通知する。また、受信部２１０は、受信した画像ＩＤを用いて、画像蓄積部２２０に記録された画像の中から、対応する画像を取得する。また、受信部２１０は、背景画像を表示した時刻から一定時間が経過したか否かを判断し、表示のリセットを制御する。
【０１０７】
画像蓄積部２２０は、受信部２１０が受信した画像を蓄積する。画像蓄積部２２０は、図３に一例を示した通り、受信した画像データと画像ＩＤとを対応付けて保持している。画像蓄積部２２０は、圧縮画像データと画像ＩＤを入力されると自身が管理するデータに追加する。
【０１０８】
画像蓄積部２２０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体、ＤＲＡＭなどの揮発性の半導体メモリーにより構成する。
【０１０９】
デコード部２３０は、受信部２１０が受信した圧縮画像データをデコードし、画像データを生成する。撮像装置１０１は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により画像データを圧縮して、送信する。デコード部２３０は、これら圧縮形式に対応して、デコードする。
【０１１０】
リサイズ部２４０は、入力した画像を所定の大きさにリサイズして出力する。リサイズ部２４０は、デコード部２３０から画像データを受け取り、受信部２１０から領域情報を受け取る。リサイズ部２４０は、受け取った画像データを、領域情報が示すサイズに変更する。
【０１１１】
合成部２５０は、デコード部２３０から出力された画像データと、リサイズ部２４０から出力された画像データの内、１つないし複数を合成して出力する。合成部２５０は、デコード部２３０から画像データを受け取り、リサイズ部２４０から画像データと領域情報を受け取る。合成部２５０は、受け取った複数の画像データを合成して出力する。なお、起動力後など、映像表示装置２００が背景画像のみ受信済みの場合、合成部２５０は、合成することなく、デコード部２３０から受け取った画像データをそのまま表示部に出力する。
【０１１２】
表示部２６０は、液晶パネルや有機ＥＬパネルといったデバイスにより構成され、合成部２５０から出力された画像データを表示する。
【０１１３】
次に、映像表示装置２００が、撮像装置１０１から送信された画像を受信し、表示する処理を説明する。
【０１１４】
図１０は、映像表示装置２００が受信した背景画像を表示する動作の一例を示したフローチャートである。
【０１１５】
ステップＳ７００において、受信部２１０は、撮像装置１０１が送信した背景画像を受信する。受信部２１０は、受信した画像をデコード部２３０に通知する。
【０１１６】
次に、ステップＳ７１０において、デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、合成部２５０に通知する。合成部２５０は、合成処理を行わずに、デコード部２３０から受け取った画像データをそのまま表示部２６０に出力する。これにより、背景画像は表示部２６０に表示される。
【０１１７】
ステップＳ７２０において、受信部２１０は、受信した画像を、背景画像として画像蓄積部２２０に保存する。この保存した画像データは表示部２６０の表示をリセットするために使用される。
【０１１８】
図１１は、映像表示装置２００が受信した物体画像を表示する動作の一例を示したフローチャートである。映像表示装置２００は、図１０で説明した背景画像に、新たに受信した物体画像を合成して、表示する。
【０１１９】
ステップＳ８００において、受信部２１０は、撮像装置１０１が送信したデータを受信する。
【０１２０】
ステップＳ８１０において、受信部２１０は、背景画像を表示した時刻から一定時間が経過したか否かを判断する。一定時間が経過済みの場合、受信部２１０は、表示をリセットすると決定する。
【０１２１】
リセットせずに物体画像を背景画像に合成するだけだと、表示部２６０に表示される画面内に同じ物体画像が多数表示され、その物体画像の位置が最新の位置なのかがわからなくなる。これでは、撮像装置１０１が撮像している範囲ないにおいて、どこに（全体画像のどこに）人間が位置するか、を把握することができなくなり、監視するという要求を満たせなくなる。
【０１２２】
映像表示装置２００は、カメラが撮像する周期と同じ周期でリセット処理を行う。画像データの撮像されたタイムスタンプを利用し、受信した物体画像のタイムスタンプが、前回リセットしたタイムスタンプと１撮像周期分の和と等しい、もしくは、大きい場合はリセットする。
【０１２３】
前回リセットしたタイムスタンプは、例えば、受信部２１０が内蔵するメモリー（図示しない）、または、画像蓄積部２２０に記録する。
【０１２４】
ステップＳ８１０にて、受信部２１０が表示をリセットすると判定した場合、ステップＳ８２０に遷移する。一方、ステップＳ８１０にて、受信部２１０が表示をリセットしないと判定した場合、ステップＳ８５０に遷移する。
【０１２５】
ステップＳ８２０において、映像表示装置２００は、物体表示処理を行い、受信した物体画像データを表示する。詳細は図１２を用いて、後で説明する。
【０１２６】
ステップＳ８３０において、受信したデータには圧縮画像データが含まれて場合は、ステップＳ８４０に遷移する。一方、受信したデータに圧縮画像データが含まれていない場合は、処理を終了する。
【０１２７】
ステップＳ８４０において、受信部２１０は、圧縮画像データと受信した画像ＩＤを画像蓄積部２２０へ通知する。画像蓄積部２２０は、受信部２１０から通知された圧縮画像データと画像ＩＤを、管理しているデータに追加し、更新する。
【０１２８】
ステップＳ８５０において、受信部２１０は、画像蓄積部２２０から背景画像の圧縮画像データを取得する。受信部２１０は、取得した圧縮画像データをデコード部２３０に通知する。
【０１２９】
ステップＳ８６０において、デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、合成部２５０に通知する。合成部２５０は、合成処理を行わずに、デコード部２３０から受け取った画像データをそのまま表示部２６０に出力する。これにより、表示部２６０の表示がリセットされる。この後、ステップ８２０に遷移し、映像表示装置２００は、物体描画処理を行う。
【０１３０】
図１２は、物体表示処理（図１１のＳ８２０）の詳細な動作を示すフローチャートである。
【０１３１】
ステップＳ９００において、受信部２１０は、受信したデータに物体の画像データが含まれているか否かにより処理を分岐する。受信したデータに物体画像データが含まれている場合、ステップＳ９１０に遷移し、新たに受信した物体画像を表示する処理を行う。一方、受信したデータに物体画像データが含まれていない場合、ステップＳ９２０に遷移し、画像蓄積部２２０が保持する画像を表示する処理を行う。
【０１３２】
ステップＳ９１０において、受信部２１０は、受信した物体画像の圧縮画像データを、デコード部２３０に通知する。デコード部２３０は、通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データをリサイズ部２４０に出力する。また、受信部２１０は、受信した物体画像の領域情報を、リサイズ部２４０に出力する。
【０１３３】
一方、ステップＳ９２０において、受信部２１０は、画像蓄積部２２０に記録された画像の中から、受信した画像ＩＤと同じ画像ＩＤを持つ画像を検索する。
【０１３４】
ステップＳ９３０において、受信部２１０は、同じ画像ＩＤを持つ画像が画像蓄積部２２０にない場合、処理を終了する。一方、受信部２１０は、同じ画像ＩＤを持つ画像が画像蓄積部２２０に存在する場合、ステップＳ９４０に遷移する。
【０１３５】
ステップＳ９４０において、受信部２１０は、受信した画像ＩＤと同じＩＤを持つ画像を、画像蓄積部２２０から取得する。受信部２１０は、取得した圧縮画像データをデコード部２３０に通知する。デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、リサイズ部２４０に出力する。また、受信部２１０は、受信した物体画像の領域情報を、リサイズ部２４０に出力する。
【０１３６】
ステップＳ９５０において、リサイズ部２４０は、入力された画像データを、入力された領域情報のサイズにリサイズする。これにより、物体画像を領域情報に記載されたサイズに調整することができる。例えば、画像蓄積部２２０から取得した物体画像のサイズが、受信部２１０から受け取った領域情報のサイズと違う場合でも、受信部２１０から受け取った領域情報のサイズに合わせた画像データを、生成することができる。リサイズ部２４０は、リサイズした後の画像データと領域情報を、合成部２５０に出力する。
【０１３７】
ステップＳ９６０において、合成部２５０は、リサイズした後の画像と、合成部２５０が保持する内部バッファに記録している画像とを、合成する。合成部２５０は、内部バッファに、現時点で、表示部２６０で表示している画像を保持している。これにより、受信部２１０が、受信した複数の画像を追記的に合成することができる。撮像装置１０１の１撮像周期の間に、撮像装置１０１から受信した物体画像全てを合成した画像を作ることができる。
【０１３８】
合成部２５０は、内部バッファに記録している画像上の位置であって、受け取った領域情報に記載に位置に、リサイズした後の物体画像を重ねて配置し、この二つの画像を合成する。
【０１３９】
ステップＳ９７０において、合成部２５０は前記ステップ９６０で合成した画像を表示部２６０に出力する。これにより、表示部２６０は背景画像に、物体画像を合成した画像を表示する。
【０１４０】
ステップＳ９７０が終了すると、リターンに遷移し、物体描画処理を終了する。
【０１４１】
以上の構成により、映像表示装置は、受信したデータに対象の物体の画像データが含まれない場合でも、類似している過去に受信済みの物体画像を用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
【０１４２】
（ユースケースによる説明）
撮像装置１０１と映像表示装置２００がどのように動作するかを、具体的なユースケースを交えて、説明する。
【０１４３】
図１３は、撮像装置１０１が、撮像した画像の一例を示している。
【０１４４】
図１３（ａ）は、時刻ｔにおいて、人物Ａが撮像装置１０１の撮像範囲内に入ってきたときに撮像した画像を表したものである。
【０１４５】
図１３（ａ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
【０１４６】
図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
【０１４７】
図６のステップＳ２１０において、物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールと図２で一例を示したテンプレート画像リストを取得する。
【０１４８】
ステップＳ２２０において、物体画像送信判定部１８０は、送信済み画像確認リストを取得する。ここでは、図１４に示した送信済み画像確認リストを取得したものとして、説明する。
【０１４９】
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ａ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
【０１５０】
図１４の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する画像データは、保持していない。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みではないと判断し、ステップＳ２７０に遷移する。判定結果は「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」となる。
【０１５１】
ステップＳ２８０において、物体画像送信判定部１８０は、画像ＩＤ付与部１６０より新しい画像ＩＤの付与を受ける。図１４の送信済み画像確認リストでは、付与済み最終画像は画像ＩＤ＝２である。画像ＩＤ付与部１６０は、新たな画像ＩＤ（ＩＤ＝３）を付与する。
【０１５２】
ステップＳ３００において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と、一番近いテンプレート画像のテンプレートＩＤと、人物Ａの物体の領域情報と、判定結果を出力する。
【０１５３】
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」なので、ステップＳ４２０に遷移する。
【０１５４】
ステップＳ４２０において、送信制御部１９０が指示することで、物体画像の圧縮画像データを生成する。ステップＳ４３０において、送信制御部１９０は、生成した物体の画像圧縮データと、新たに付与した画像ＩＤ（ＩＤ＝３）と、物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
【０１５５】
ステップＳ４４０において、送信制御部１９０は、一番近いテンプレート画像のテンプレートＩＤと、送信した画像ＩＤと圧縮画像データを、送信済み画像確認リスト蓄積部１５０に入力する。送信済み画像確認リスト蓄積部１５０は、送信済み画像確認リストを更新する。その結果、送信済み画像確認リストは、図１４から図１５に更新される。
【０１５６】
図１３（ａ）では、撮像した画像内に存在する物体画像が１つだけであるので、ステップ図５のＳ５００において、検出した画像はすべて処理を行ったことになるので、処理が終了する。
【０１５７】
次に、図１３（ａ）の場合に、映像表示装置２００が、データを受信し、画像を表示する処理について、具体的に説明する。また、画像蓄積部２２０が蓄積する画像データは、図１４と同様とする。
【０１５８】
映像表示装置２００の受信部２１０は、図１１のステップＳ８００において、データを受信する。
【０１５９】
受信したデータは、物体の画像圧縮データであり、１撮像周期において最初に撮像された画像である。従って、表示部２６０に表示している画像をリセットする必要がある。ステップＳ８１０において、例えば、物体の画像圧縮データのタイムスタンプと前回表示した画像のタイムスタンプを比較して、１撮像周期分の差分があることを検知し、ステップＳ８５０に遷移する。
【０１６０】
受信部２１０は、ステップＳ８５０で、画像蓄積部２２０から背景画像の圧縮画像データを取得し、ステップＳ８６０で、表示部２６０の表示をリセットする。
【０１６１】
次に、ステップＳ８２０に遷移し、映像表示装置２００は、物体の画像を描画する。
【０１６２】
図１２のステップＳ９００において、受信部２１０が受信したデータには物体の圧縮画像データが含まれているので、ステップＳ９１０に遷移する。ステップＳ９１０において、デコード部２３０が、物体の圧縮画像データをデコードして、画像データを生成する。
【０１６３】
ステップＳ９５０に遷移して、画像データが物体の領域情報の大きさとなるようにリサイズする。
【０１６４】
ステップＳ９６０において、合成部２５０は、リサイズした後の物体画像と、背景画像を合成する。合成部２５０は、リサイズ後の物体画像が、受信した物体の領域情報が示す位置となるように合成する。
【０１６５】
ステップＳ９７０において、合成部２５０は、ステップＳ９６０で合成した画像を表示部２６０に出力する。図１６（ａ）は、表示部２６０が表示する時刻ｔの画像を示している。
【０１６６】
図１１のステップＳ８３０において、受信したデータには物体の圧縮画像データが含まれているので、ステップＳ８４０に遷移し、物体の圧縮画像データと画像ＩＤ（ＩＤ＝３）を画像蓄積部２２０に入力する。画像蓄積部２２０は、蓄積データを、図１３と同様のデータから、図１５と同様のデータに更新する。
【０１６７】
以上により、映像表示装置２００は、対象の物体（人間）の画像を表示することができ、監視対象の物体がどのような状態でどこに位置するかを把握することができる。
【０１６８】
図１３（ｂ）は、時刻ｔ＋１において、撮像装置１０１が撮像した画像を表したものである。時刻ｔの画像と比べて、人物Ａの位置が変化している。
【０１６９】
図１３（ｂ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
【０１７０】
図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
【０１７１】
図６のステップＳ２２０において、物体画像送信判定部１８０は、図１５に示した送信済み画像確認リストを取得する。
【０１７２】
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ｂ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
【０１７３】
図１５の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する物体画像を保持している。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みと判断し、ステップＳ３１０に遷移する。判定結果は「新たな画像ＩＤを付与せず、過去に送信した画像の中で一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」となる。
【０１７４】
ステップＳ３２０において、物体画像送信判定部１８０は、図１５の送信済み画像確認リストを参照して、テンプレートＩＤ＝０に対応する画像ＩＤ（ＩＤ＝３）を取得する。
【０１７５】
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と物体の領域情報と判定結果に出力する。
【０１７６】
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤは付与せず一番近い画像の画像ＩＤと、領域情報を送付する」なので、ステップＳ４５０に遷移する。
【０１７７】
ステップＳ４５０において、送信制御部１９０は、図５のステップＳ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤ（ＩＤ＝３）と物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
【０１７８】
図１３（ｂ）では、撮像した画像内に存在する物体画像が１つだけであるので、ステップ図５のＳ５００において、検出した画像はすべて処理を行ったことになるので、処理が終了する。他の人間が撮像されている場合は、再度画像送信判定処理を行う。
【０１７９】
次に、図１３（ｂ）の場合に、映像表示装置２００が、データを受信し、画像を表示する処理について、具体的に説明する。また、画像蓄積部２２０が蓄積する画像データは図１５と同様とする。
【０１８０】
映像表示装置２００の受信部２１０は、図１１のステップＳ８００において、データを受信する。
【０１８１】
ステップＳ８１０において、受信部２１０は、受信したデータの時刻はｔ＋１であり、前回の時刻ｔの場合から１撮像周期分の時間が経過していると判定し、ステップＳ８５０に遷移する。
【０１８２】
受信部２１０は、ステップＳ８５０で、画像蓄積部２２０から背景画像の圧縮画像データを取得し、ステップＳ８６０で、表示部２６０の表示をリセットする。
【０１８３】
次に、ステップＳ８２０に遷移し、映像表示装置２００は、物体の画像を描画する。
【０１８４】
図１２のステップＳ９００において、受信部２１０が受信したデータには圧縮画像データが含まれていないので、ステップＳ９２０に遷移する。ステップＳ９２０において、受信部２１０は、画像蓄積部２２０にアクセスし、画像ＩＤ（ＩＤ＝３）の画像圧縮データを検索する。画像蓄積部２２０に蓄積されているデータは、図１５であるので、画像ＩＤ＝３のエントリーが存在しており、ステップＳ９３０の分岐で、ステップＳ９４０に遷移する。
【０１８５】
ステップＳ９４０において、受信部２１０は、送信済み画像確認リスト蓄積部１５０から画像ＩＤ（ＩＤ＝３）の画像を取得し、デコード部２３０が、デコードして、画像データを生成する。
【０１８６】
ステップＳ９５０に遷移して、画像データが物体の領域情報の大きさとなるようにリサイズする。
【０１８７】
ステップＳ９６０おいて、合成部２５０は、リサイズした後の物体画像と、背景画像を合成する。合成部２５０は、リサイズ後の物体画像が、受信した物体の領域情報が示す位置となるように合成する。
【０１８８】
ステップＳ９７０において、合成部２５０は、ステップＳ９６０で合成した画像を表示部２６０に出力する。図１６（ｂ）は、表示部２６０が表示する時刻ｔ＋１の画像を示している。
【０１８９】
図１３（ｃ）は、時刻ｔ＋２において、撮像装置１０１が撮像した画像を表したものである。時刻ｔ＋１の画像と比べて、人物Ａの位置と、姿勢が少しだけ変化している。
【０１９０】
図１３（ｃ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
【０１９１】
時刻ｔ＋１の場合と同様に、図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
【０１９２】
図６のステップＳ２２０において、物体画像送信判定部１８０は、図１５に示した送信済み画像確認リストを取得する。
【０１９３】
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ｃ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
【０１９４】
図１５の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する物体画像を保持している。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みと判断し、ステップＳ３１０に遷移する。判定結果は「新たな画像ＩＤを付与せず、過去に送信した画像の中で一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」となる。
【０１９５】
ステップＳ３２０処理において、物体画像送信判定部１８０は、図１５の送信済み画像確認リストを参照して、テンプレートＩＤ＝０に対応する画像ＩＤ（ＩＤ＝３）を取得する。
【０１９６】
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と物体の領域情報と判定結果に出力する。
【０１９７】
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤは付与せず一番近い画像の画像ＩＤと、領域情報を送付する」なので、ステップＳ４５０に遷移する。
【０１９８】
ステップＳ４５０において、送信制御部１９０は、図５のステップ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤ（ＩＤ＝３）と物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
【０１９９】
以下の動作は、時刻ｔ＋１の場合と同様となる。
【０２００】
映像表示装置２００は、時刻ｔ＋１の場合と同様に処理を行い、物体の画像と背景画像を合成し、合成した画像を表示する。図１６（ｃ）は、表示部２６０が表示する時刻ｔ＋１の画像を示している。
【０２０１】
以上により、映像表示装置２００は、対象の物体（人間）の画像を表示することができ、監視対象の物体がどのような状態でどこに位置するかを把握することができる。
【０２０２】
図１６（ｃ）に示した時刻ｔ＋２の画像は、撮像装置１０１が撮像した画像を示した図１３（ｃ）とは、物体Ａの姿勢が少し異なっている。同じ画像を映像表示装置２００は表示することはできないが、近い画像を表示することができる。よって、撮像装置１０１が撮像した範囲内において、どこに人間がいて、その人間がどのような姿勢にあるのかを把握することができる。
【０２０３】
図１３では、時刻ｔ＋１と時刻ｔ＋２において、撮像装置１０１は、同じ物体を、同じような姿勢で連続して撮像しており、過去に送信済みの画像の画像ＩＤと領域情報を送信する。撮像装置１０１は、新しく物体の圧縮画像データを、送信しない。
【０２０４】
例えば、時刻ｔ＋２から時刻ｔ＋ｋにおいて、撮像装置１０１は、同じ物体を、同じような姿勢で連続して撮像した場合でも、同様に、撮像装置１０１は、過去に送信済みの画像の画像ＩＤと領域情報を送信する。撮像装置１０１は、新しく物体の圧縮画像データを、送信しない。
【０２０５】
以上により、画像データ制御装置を備えた撮像装置は、送信するデータ量を減らすことができる。
【０２０６】
また、対象の物体が、撮像装置１０１の撮像範囲からフレームアウトしたとしても、同様の処理が可能である。つまり、撮像装置１０１の送信済み画像確認リスト蓄積部１５０が、物体の画像を蓄積している限り、撮像装置１０１は、過去に送信済みの画像の画像ＩＤを用いて、送信するデータ量を削減することが可能となる。
【０２０７】
映像表示装置２００は、過去に送付済みの画像ＩＤが送付された場合、対応する送付済みの画像と背景画像とを合成して、表示することができる。これにより、撮像装置１０１が撮像している範囲内において、対象の物体がどの位置にどのような姿勢で位置するかを把握することができる。例えば、ＡＴＭなどの防犯上、厳しい監視が必要な場所において、不審者がＡＴＭの近くを徘徊していないか、ＡＴＭ近くに長時間居座っている人物はいないかを把握することが可能となる。
【０２０８】
また、対象者の姿勢を時系列で見ることができ、撮像されている対象者の行動を類推し、異常な行動をしていないかを判断する材料とすることができる。
【０２０９】
さらに、映像表示装置２００は、撮像装置１０１が実際に撮像した画像を受信して表示するので、予め複数の画像を用意する必要はない。
【０２１０】
なお、物体画像送信判定部１８０が行う処理であって、画像解析部１２０が検出した物体を姿勢認識する方法として、認識したい姿勢毎にテンプレート画像をテンプレート画像リストとして予め用意している例を説明した。
【０２１１】
他の方法として、例えば、物体画像送信判定部１８０は、送信済み画像確認リストに蓄積されている画像を、姿勢認識に利用してもよい。
【０２１２】
物体画像送信判定部１８０は、画像解析部１２０が検出した物体の画像と、送信済み画像確認リストに記載されている各画像データとを比較して、送信済み画像確認リスト内の画像で一番近い画像に、新しい物体の画像を分類する。テンプレート画像リストは予め用意せずに、送信済み画像確認リストの画像が姿勢認識で使用するテンプレート画像の役割を兼ねる。
【０２１３】
物体画像送信判定部１８０は、送信済み画像確認リストに、対応する画像データがない場合、新たに画像ＩＤを付与して画像データを送信する。また、物体画像送信判定部１８０は、一致率を用いて、一致率がある閾値よりも低い画像が送信済み画像確認リストに存在しない（近い画像が存在しない）場合、新たに画像ＩＤを付与して画像データを送信する。
【０２１４】
以上により、画像データ制御装置によれば、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。これにより、画像データ制御装置を備えた監視カメラは、監視対象の物体の画像データを送信する場合と比べて、送信するデータ量を削減することができる。
【０２１５】
また、監視モニタは、画像データ制御装置が送信したデータを受け取り、監視対象の物体がどのような状態でどこに位置するかを表示することができる。これにより、監視モニタの監視者は、監視対象の物体の位置と状態を把握することが可能となる。
【０２１６】
図１７は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。ここでは、物体画像送信判定部１８０が、送信済み画像確認リストに蓄積されている画像を姿勢認識に利用する場合を示している。なお、図１７において、図６と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２１７】
ステップＳ９８０において、物体画像送信判定部１８０は、送信済み画像確認リストに記録されている画像のうち、まだ比較に使っていない画像ＩＤの中で一番番号の若い画像ＩＤである画像を参照する。
【０２１８】
次に、物体画像送信判定部１８０は、ステップＳ２２５にて取得した物体画像と送信済み画像確認リストに記録されている画像を比較し、一致率を算出する。物体画像送信判定部１８０は、算出した一致率を、分類候補リストに格納する。なお、分類候補リストは、例えば、図７に示した分類候補リストのテンプレートＩＤを、画像ＩＤに差し替えたものとなる。
【０２１９】
ステップＳ９８１において、ステップＳ２２０にて取得した送信済み画像確認リストに記録されている全ての画像と、物体検出した物体画像との比較が完了したかをチェックする。まだ、比較していない画像が残っている場合は、ステップＳ９８０に遷移し、そうでない場合はステップＳ９８０に遷移する。
【０２２０】
ステップＳ９８２において、物体画像送信判定部１８０は、分類候補リストを参照し、一致率が閾値よりも小さいエントリーがリストに存在するか否かを確認する。物体画像送信判定部１８０は、対応するエントリーが存在しない場合、画像解析部１２０にて検出した画像に近い画像は送信済みの画像の中にはないと判断し、ステップＳ２７０に遷移する。一方、物体画像送信判定部１８０は、対応するエントリーが存在する場合、画像解析部１２０にて検出した画像に近い画像は送信済みの画像の中にあると判断し、ステップＳ３１０に遷移する。
【０２２１】
なお、ステップＳ９８２で使用する閾値は、物体画像送信判定部１８０が予め保持する。また、この閾値をカテゴリー化ルールで定義し、物体画像送信判定部１８０が、ステップＳ２２０で取得してもよい。
【０２２２】
ステップＳ９８３において、物体画像送信判定部１８０は、ステップＳ９８０からステップＳ９８１の処理で分類した送信済み画像確認リストの中で、一番近い画像の画像ＩＤを取得する。物体画像送信判定部１８０は、一致率を参照して、一番近い画像の画像ＩＤを判断する。
【０２２３】
以上により、テンプレート画像リストを予め用意しなくても、ある程度近い画像がある場合は、既に送信済みの画像の画像ＩＤを送信し、近い画像がない場合は、新たに画像データと画像ＩＤを送信することになる。これにより、テンプレート画像リストを予め作成する手間が省ける。
【０２２４】
さらに、送信制御部１９０が、送信済み画像確認リストに、各エントリーに当該の画像を送信した回数を記録し、一定の周期毎にあまり使われていない画像のエントリーを削除するようにしてもよい。これにより、テンプレート画像のリストである送信済み画像確認リストを動的に更新することができ、かつ、送信済み画像確認リストを一定サイズ以下に制限することで、メモリーを適切に活用できる。
【０２２５】
なお、実施の形態１において、物体画像送信判定部１８０は、人間の姿勢認識の結果を用いて、画像解析部１２０が検出した画像を分類するとして説明した。他の方法として、例えば、画像解析部１２０が顔検出を行い、物体画像送信判定部１８０は、画像解析部１２０が検出した顔画像を分類し、映像表示装置２００に送信するべきか否かを判定して処理することができる。
【０２２６】
顔検出処理を実現する方法は、弱識別器（識別能力の低い識別器）を複数個選び、各識別器の結果を統合して、結果を判定する手法を用いる。各々の識別器は顔を検出するのに、有効な特徴を識別するのに用いられる。物体画像送信判定部１８０は、顔の識別に必要な特徴を識別する識別器を複数用意し、これら複数の識別器を用いる。顔検出を行う場合は、対象となる画像を識別器にかけ、識別器それぞれの識別結果を統合的に判断する。これにより、顔を検出することができる。また、この手法では識別器を多数選択するための学習にＡｄａｂｏｏｓｔと呼ばれる機械学習アルゴリズムを利用する。この学習を行うことによって、より精度の高い顔検出が可能な識別器の組を得る。
【０２２７】
画像解析部１２０は、Ａｄａｂｏｏｓｔアルゴリズムによって学習済みの識別器の組を予め用意し、入力部１１０が入力した画像内の、全ての領域に対して、顔検出を行うことができる。
【０２２８】
また、物体画像送信判定部１８０は、画像解析部１２０で検出した顔画像を比較する方法として、複数の方法を用いることができる。物体画像送信判定部１８０は、例えば、顔画像の各画素に対し、各画素の輝度の濃淡情報などをパターンマッチングする手法を用いる。また、物体画像送信判定部１８０は、顔の輪郭をエッジ検出により抽出してマッチングを行う手法を用いる。また、物体画像送信判定部１８０は、画像をフーリエ変換して周波数成分を抽出して比較する手法を用いる。また、物体画像送信判定部１８０は、これらの方法を複数組み合わせて使用する。これらの手法は顔を比較して、所定の人物か否かを判定する顔認証を実現する手法として、一般的に使われている。あるいは、物体画像送信判定部１８０は、顔画像データの比較方法として、顔の特徴的な部位である目や口などを、前記の弱識別器を使って検出し、それらの位置関係を抽出する、比較したい各々の画像間で比較する手法を用いてもよい。
【０２２９】
物体画像送信判定部１８０は、顔画像データの比較方法として、複数の方法を用いることができる。物体画像送信判定部１８０は、顔画像の各画素の輝度の濃淡情報などをパターンマッチングする手法を用いる。また、物体画像送信判定部１８０は、顔の輪郭をエッジ検出により抽出してマッチングを行う手法を用いる。また、物体画像送信判定部１８０は、画像をフーリエ変換して周波数成分を抽出し、比較する手法を用いる。また、物体画像送信判定部１８０は、これらの方法を複数組み合わせて使用する。
【０２３０】
あるいは、物体画像送信判定部１８０は、顔画像データの比較方法として、顔の特徴的な部位である目や口などを、前記の弱識別器を使って検出し、それらの位置関係を抽出す、比較したい各々の画像間で比較する手法を用いてもよい。
【０２３１】
なお、画像切り出し部１３０が、内部バッファを持ち、切り出した画像を格納するとして説明したが、本発明はこれに限定されるものではない。物体画像送信判定部１８０は、前記の行動認識結果によって画像を分類する場合、画像解析部１２０が切り出した画像を取得する必要がない（ステップＳ２２５は不要となる）。よって、画像切り出し部１３０は、一時的に切り出した画像を格納する必要がなくなるので、画像切り出し部１３０に内部バッファを持たなくてもよい。
【０２３２】
なお、物体画像送信判定部１８０は、物体追跡を行い、追跡する物体ごとにカテゴリー化を行うようにしてもよい。物体追跡は、例えば、次の手順で実施する。（１）まず、画像解析部１２０が、物体を検出する。（２）物体画像送信判定部１８０は、検出した物体と、過去に検出した物体とパターンマッチングで比較する。（３）物体画像送信判定部１８０は、同じ物体であるか否かを判断する。（４）物体画像送信判定部１８０は、同じ物体と認識できれば、その認識した物体を継続して追跡する。（５）物体画像送信判定部１８０は、同じ物体と認識できなければ、新たな物体ＩＤを付与し、新たな物体として内部メモリーに蓄積する。また、前記（２）から（５）の処理は、画像解析部１２０が実施し、追跡結果（例えば、物体の識別子と物体の領域情報など）を物体画像送信判定部１８０に通知するようにしてもよい。
【０２３３】
画像解析部１２０は、物体の追跡を行い、撮像した画像データに撮像されている物体毎に識別子を割り当て、物体画像送信判定部１８０に追跡結果を通知する。物体画像送信判定部１８０は、画像解析部１２０から追跡結果を受け取り、識別した物体毎に過去画像との比較、分類することができる。これにより、物体画像送信判定部１８０は、物体追跡して識別した物体毎に、画像を映像表示装置２００に送信するべきか否かを判定することができる。
【０２３４】
例えば、物体画像送信判定部１８０は、ステップＳ２６０において、Ｓ２２０で取得した送信済み画像確認リストの画像から、同じ物体の識別子であって、かつ、ステップＳ２５０と同じテンプレートＩＤの画像が送信済みか否かを確認する。
【０２３５】
図１８は、送信済み画像確認リスト蓄積部１５０が蓄積する送信済み画像確認リストの一例を示しており、物体の識別子を記憶している。送信済み画像確認リストが物体の識別子を保持することにより、ステップＳ２６０において、識別した物体毎に画像の送信判定を行うことができる。さらに、ステップＳ４４０において、送信制御部１９０は、行動認識結果も送信済み画像確認リスト蓄積部１５０に入力し、送信済み画像確認リストに行動認識結果を蓄積すればよい。
【０２３６】
もしくは、画像解析部１２０は、上記で説明した顔検出、顔認証を用いて、撮像した物体を識別し、識別した物体ごとにカテゴリー化を行うようにしてもよい。
【０２３７】
なお、物体画像送信判定部１８０は、物体がより明らかな画像が撮像できたか否かを解析し、画像を送信するか否かを判定してもよい。
【０２３８】
例えば、画像解析部１２０は、顔検出を行った後、顔の傾き角度を検出する。画像解析部１２０は、例えば、検出した顔おいて、複数の部位の位置を抽出し、顔モデルに基づいて顔の傾き角度を検出する方法を用いて、顔の傾きを検出する。
【０２３９】
画像解析部１２０は、顔検出を行った後、顔の傾き角度を検出し、顔の傾き角度などを検出結果として、物体画像送信判定部１８０に出力する。物体画像送信判定部１８０は、顔の傾き角度と、送信済み画像確認リストに記載の傾きを比較し、より傾きがない、すなわち、正対している場合は、画像を送信すると判定する。
【０２４０】
また、画像解析部１２０は、物体追跡も行い、追跡している物体毎に顔の傾き比較をしてもよい。
【０２４１】
なお、物体画像送信判定部１８０は、画像解析部１２０が検出した物体を分類し、物体の画像を映像表示装置２００に送信するべきか否かを判定する処理を説明した。物体画像送信判定部１８０は、更に、一定時間周期ごとに、画像解析部１２０が検出した物体の画像を、送信するか否かを判定してもよい。送信済み画像確認リスト蓄積部１５０は、画像の画像ＩＤと送信した圧縮画像データを蓄積するだけではなく、各画像が前回送信された時刻情報も保持する。送信済み画像確認リスト蓄積部１５０は、タイムスタンプなどの時刻情報が入力されると、前回送信された時刻を更新する。
【０２４２】
図１９は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。ここでは、物体画像送信判定部１８０が、一定時間周期毎に画像を送信する場合を示している。なお、図１９において、図６と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２４３】
ステップＳ９９０において、物体画像送信判定部１８０は、ステップＳ２５０の処理で取得したテンプレートＩＤに対応する画像のエントリーを、送信済み画像確認リストから得る。そして、物体画像送信判定部１８０は、取得した画像の送信時刻を参照し、一定時間以上経過したか否かを判断する。物体画像送信判定部１８０は、一定時間以上経過していると判断した場合、ステップＳ９９１に遷移し、そうでなれれば、ステップＳ３１０に遷移する。
【０２４４】
ステップＳ９９１において、物体画像送信判定部１８０は、判定結果を「画像ＩＤと画像の両方を再び送信する」とする。
【０２４５】
ステップＳ９９２において、物体画像送信判定部１８０は、送信制御部１９０に、ステップＳ２５０の処理で取得したテンプレートＩＤに対応する画像の画像ＩＤと、顔画像の領域情報と判定結果を出力する。ステップＳ９９２の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。画像送信判定処理が終了すると、データ送信処理に遷移する。
【０２４６】
図２０は、データ送信処理（図５のステップＳ４００）の詳細な動作を示すフローチャートである。ここでは、送信制御部１９０が、一定時間周期毎に画像を送信する場合を示している。図２０において、図８と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２４７】
ステップＳ９９３において、送信制御部１９０は、画像送信判定処理の判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」である場合、ステップＳ４３０に遷移する。また、送信制御部１９０は、判定結果が「画像ＩＤと画像の両方を再び送信する」である場合、ステップＳ９９４に遷移する。
【０２４８】
ステップＳ９９４において、送信制御部１９０は、Ｓ４２０にて生成した圧縮画像データと、Ｓ９９２で用いた画像ＩＤと領域情報を、送信部１０３にし出力し、映像表示装置２００に送信する。なお、Ｓ９２２で用いた画像ＩＤとは、画像解析部１２０で検出した物体の画像と一番近い画像の画像ＩＤである。
【０２４９】
次に、ステップＳ９９５において、送信制御部１９０は、ステップＳ９９４で送信した画像ＩＤと圧縮画像データと撮像されたタイムスタンプを、送信済み画像確認リスト蓄積部１５０に入力する。撮像されたタイムスタンプは、撮像装置１０１が保持するシステムクロックを使用するようにしてもよい。送信済み画像確認リスト蓄積部１５０は、画像ＩＤの画像の送信時刻を入力されたシステムクロックに変更する。
【０２５０】
ステップＳ９９５の処理が完了すると、リターンに遷移し、データ送信処理が終了して、ステップＳ５００に遷移する。
【０２５１】
以上のように、送信済みの画像に分類できる場合で、かつ、前回画像データを送信してから一定時間以上経過した場合は、ステップＳ９９０において、ステップＳ９９１に遷移する。物体画像送信判定部１８０は、「画像ＩＤと画像の両方を再び送信する」と判定する。これにより、ステップＳ４１０ではステップＳ４２０に遷移し、さらにステップＳ９９３ではステップＳ９９４に遷移するので、送信制御部１９０は、画像ＩＤと物体の領域情報とＳ４２０にて切り出した物体の圧縮画像データを出力する。
【０２５２】
これにより、撮像装置１０１は、一定時間周期ごとに、画像解析部１２０で検出した物体の画像を送信する。つまり、撮像装置１０１は、一定時間ごとに最新の画像を送信することができる。
【０２５３】
なお、物体画像送信判定部１８０は、画像解析部１２０で複数の物体を検出し、これら複数の物体の領域が重なった場合は、重なった画像を別の物体であると判断してもよい。この場合、物体画像送信判定部１８０は、新たな画像ＩＤを付与して、重なった画像の画像データを送信するように判定する。
【０２５４】
複数の物体の領域が重なった画像を別の物体であると判断する方法として、複数の方法を用いることができる。画像解析部１２０が、複数の物体の重なりを検出した場合は、重なり合った画像を別の物体として判定し、重なり合った画像の領域情報を物体画像送信判定部１８０に送信する。これにより、画像解析部１２０が物体Ａと物体Ｂという重なり合う２つの物体を検出した場合、別の物体Ｃを検出したと判断し、物体Ｃの領域情報（例えば、物体Ａと物体Ｂを含む矩形の領域情報）を、物体画像送信判定部１８０に出力する。画像送信判定処理において、物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２４０の処理で、物体Ａと物体Ｂではない物体として、物体Ｃを分類し、ステップＳ２６０においてステップＳ２７０に分岐する。物体画像送信判定部１８０は、物体Ａ（例えば、ＩＤ＝１）や物体Ｂ（例えば、ＩＤ＝２）と違う新しい画像ＩＤ（例えば、ＩＤ＝３）を付与する。その後、物体画像送信判定部１８０は、画像ＩＤと画像の物体Ｃの画像を送信するように判定する。また、物体Ａと物体Ｂという２つの物体の重なりである物体Ｃの領域情報を入力しているので、物体画像送信判定部１８０と送信制御部１９０は、物体Ｃの画像を画像切り出し部１３０に物体Ｃの切り出しを指示できる。よって、ステップＳ４２０において、送信制御部１９０は、物体Ｃの圧縮画像データを生成し、ステップＳ４２０において、送信部１０３に、圧縮画像データと新たな画像ＩＤ、物体Ｃの領域情報を出力する。
【０２５５】
また、例えば、画像解析部１２０は、物体Ａと物体Ｂが重なりあった場合に、物体Ｃのみの領域情報など情報を、物体画像送信判定部１８０に入力し、物体Ａと物体Ｂの領域情報など情報を入力しないようにしてもよい。
【０２５６】
物体画像送信判定部１８０は、画像解析部１２０で複数の物体を検出し、これら複数の物体が近接している（物体の距離がある閾値以下）場合も、重なった画像を別の物体であると判断する。物体画像送信判定部１８０は、重なった画像に対して、新たな画像ＩＤを付与して、重なった画像の画像データを送信するように判定してもよい。例えば、上記と同様に、画像解析部１２０は、物体Ａと物体Ｂが近接している場合（物体の距離がある閾値以下）も、同様に物体Ａと物体Ｂを合わせた物体Ｃとして検出するようにすればよい。
【０２５７】
なお、以上で説明した、「物体追跡」、「顔認識」、「行動認識」などは、各々を組み合わせるように構成してもよい。顔を検出して比較するだけでは、例えば、撮像途中で対象の人物が背を向けるなどして、顔が見えなくなった場合に対象をロストする。しかし、物体追跡を合わせて行うことにより、顔を検出できなくても、同じ物体であることを識別することができる。よって、カテゴリー化ルール保持部１７０は、物体追跡を合わせたカテゴリー化ルールを定義して保持し、物体画像送信判定部１８０は、同じ物体と認識して新たな画像を送信しないように判定する。これによって、画像の送信を抑制することができ、トラフィックを低減できる。
【０２５８】
以上のように、必要な認識技術と判定方法を組み合わせ可能とし、さまざまな状況に対応できるように、画像解析部１２０、物体画像送信判定部１８０、カテゴリー化ルール保持部１７０が保持するカテゴリー化ルールを、構成してもよい。
【０２５９】
（実施の形態２）
実施の形態２における画像データ制御装置４００は、画像解析部１２０によって検出された物体が蓄積済みの画像に分類できないと判断した場合の処理が、実施の形態１と異なっている。画像データ制御装置４００は、連続する所定回数（ｎ回）の送信において、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを、送ることを特徴とする。
【０２６０】
図２１は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０２６１】
図２１の撮像装置１０１は、撮像部１０２、送信部１０３、画像データ制御装置４００を備えている。図２１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０２６２】
画像データ制御装置４００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置４００は、送信すると決定したデータを送信部１０３に通知する。
【０２６３】
画像データ制御装置４００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部４１０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部４２０、送信制御部４３０を備えている。
【０２６４】
送信済み画像確認リスト蓄積部４１０は、送信した画像データと画像ＩＤと送信回数を、リスト形式で蓄積する。送信済み画像確認リスト蓄積部４１０は、送信した画像データと画像ＩＤと送信回数を組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部４１０は、送信制御部４３０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。送信済み画像確認リスト蓄積部４１０は、受け取った画像ＩＤが、送信済み画像確認リストで既に保持されている場合は、対応する送信回数を１つ加算し、送信回数を更新する。
【０２６５】
物体画像送信判定部４２０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールを取得し、カテゴリー化ルールに従って、画像解析部１２０が検出した物体の画像を分類する。物体画像送信判定部４２０は、分類した結果に基づいて、画像解析部１２０が検出した物体の画像を分類し、物体の画像データを映像表示装置２００に送信するか否かを判定する。物体画像送信判定部４２０は、画像解析部１２０が検出した物体を、送信済み画像確認リスト蓄積部４１０に蓄積されている画像に分類できないと判断した場合は、次の処理を行う。物体画像送信判定部４２０は、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤを、所定回数（ｎ回）連続して送信すると判定する。物体画像送信判定部４２０は、予め規定されているｎの値を内部の保持するようにしてもよいし、カテゴリー化ルールのパラメータとして持たせてもよい。
【０２６６】
送信制御部４３０は、物体画像送信判定部４２０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部４３０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部４３０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。また、所定回数（ｎ回）連続して送信する場合は、送信制御部４３０は、所定回数（ｎ回）、付与した同じ画像ＩＤと物体の切り出し画像と物体の領域情報を含むメタデータを生成し、出力する。
【０２６７】
図２２は、実施の形態２における画像データ制御装置４００の、撮像部１０２から画像データを受け取った際の動作示すフローチャートである。撮像部１０２は、周期的に画像データを画像データ制御装置４００に出力する。そのため、図２２の動作は、周期的に繰り替えされる。なお、図２２において、図５と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
【０２６８】
ステップＳ１０１０において、物体画像送信判定部４２０は、画像送信判定処理を行う。物体画像送信判定部４２０は、ステップＳ１００で検出した物体から、次の処理対象の物体を決定し、この物体の画像を、送信するか否かを判断する。
【０２６９】
ステップＳ１０２０において、送信制御部４３０は、ステップＳ１０１０で判定した結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
【０２７０】
図２３は、画像送信判定処理（図２２のステップＳ１０１０）の詳細な動作を示すフローチャートである。なお、図２３において、図６と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
【０２７１】
ステップＳ２６０において、物体画像送信判定部４２０は、ステップＳ２５０にて取得したテンプレートＩＤに関連する画像が送信済みか否かを確認する。物体画像送信判定部４２０は、ステップＳ２３０からステップＳ２５０の処理で分類したテンプレート画像のテンプレートＩＤと、同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部４２０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像が送信済みか否かを調べる。調べた結果、一番近いテンプレート画像に対応する画像が送信済みではない場合は、ステップＳ２７０に遷移し、送信済みであると判断された場合は、ステップＳ１１１０に遷移する。
【０２７２】
ステップＳ１１１０において、物体画像送信判定部４２０は、送信済み画像確認リストから抽出したエントリーの送信回数と、連続して送付するように規定された所定回数（ｎ）を比較する。物体画像送信判定部４２０が比較した結果、送信回数が所定回数（ｎ）未満であれば、ステップＳ１１２０に遷移し、そうでなれれば、ステップＳ３１０に遷移する。画像の送信回数と所定回数（ｎ）を比較することにより、連続するｎ回においては、画像を送信するステップＳ１１２０に遷移するように分岐する。
【０２７３】
ステップＳ１１２０において、物体画像送信判定部４２０は、判定結果を「付与済みの画像ＩＤと画像の両方を送信する」とする。
【０２７４】
ステップＳ１１２８において、物体画像送信判定部４２０は、ステップＳ２３０からステップＳ２５０で分類した姿勢の、テンプレート画像のテンプレートＩＤと同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部４２０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像の画像ＩＤを取得する。
【０２７５】
ステップＳ１１３０において、物体画像送信判定部４２０は、送信制御部４３０に、ステップＳ１１２８で取得した画像ＩＤと、物体画像の領域情報と判定結果を入力する。
【０２７６】
ステップＳ１１３０の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
【０２７７】
図２４は、データ送信処理（図２２のステップＳ１０２０）の詳細な動作を示すフローチャートである。なお、図２４において、図８と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
【０２７８】
ステップＳ１２１０において、送信制御部４３０は、図２２のステップＳ１０１０の判定結果に応じて、映像表示装置２００に送信するデータを切り替える。判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」である場合、送信制御部４３０は、ステップＳ４３０に遷移する。判定結果が「付与済みの画像ＩＤと画像の両方を送信する」である場合、送信制御部４３０は、ステップＳ１２２０に遷移する。
【０２７９】
ステップＳ１２２０において、送信制御部４３０は、ステップＳ４２０にて生成した圧縮画像データと、付与済みの連続したｎ回において同じ画像ＩＤとステップＳ１１３０にて入力された物体の領域情報を含むメタデータを生成し、送信部１０３に出力する。同じ画像ＩＤとは、Ｓ１１３０に入力された、画像解析部１２０で検出した物体の画像と一番近い画像の画像ＩＤである。
【０２８０】
ステップ１２３０において、送信制御部４３０は、送信済み画像確認リストの更新を行う。すなわち、送信制御部４３０は、ステップＳ１２２０で出力した画像ＩＤと圧縮画像データを、送信済み画像確認リスト蓄積部４１０に通知する。送信済み画像確認リスト蓄積部４１０は、受け取った画像ＩＤに対応する画像の送信回数をインクリメントする。
【０２８１】
ステップＳ１２３０が完了すると、リターンに遷移し、データ送信処理が終了する。
【０２８２】
以上により、画像データ制御装置を備えた撮像装置は、送信済みの画像に分類できない画像が検出された場合、連続する所定回数（ｎ回）、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを送信することになる。ステップＳ１１２０において、連続するｎ回の間は画像の送信回数はｎ未満になるので、ステップＳ１１２０に遷移し、物体画像送信判定部４２０は、「付与済みの画像ＩＤと画像の両方を送信する」と判定する。よって、ステップＳ４１０ではステップＳ４２０に遷移し、さらに、ステップＳ１１２０ではステップＳ１２２０に遷移する。ステップＳ１２２０において、送信制御部４３０は、同じ画像ＩＤとステップＳ４２０において切り出した画像の両方と、物体の領域情報を出力する。
【０２８３】
また、連続するｎ回の画像送信を終了した場合は、ステップＳ１２３０にて、送信済み画像確認リストの画像の送信回数がｎ回に達する。よって、次のｎ＋１回目の処理では、ステップＳ１１１０においてステップＳ３１０に遷移する。物体画像送信判定部４２０は、「新たな画像ＩＤを付与せず、送信済み画像の中で一番近い画像の画像ＩＤと領域情報を送信し、新たな画像は送信しない」と判定する。これにより、ステップＳ４１０ではステップＳ４５０に遷移し、送信制御部４３０は、画像ＩＤと物体の領域情報のみを、送信データとして出力し、圧縮画像データは出力しない。
【０２８４】
また、連続するｎ回の間に、画像解析部１２０で検出していた物体が、撮像部１０２の撮像範囲からフレームアウトする、他の物体と重なる、などの理由により、検出されなくなる場合がある。その結果、画像解析部１２０は、対象の物体を検出できなくなり、ｎ回に至る途中で、同じ画像ＩＤが付与された画像データの送信は途切れる。
【０２８５】
途切れた場合、送信済み画像確認リストが送信回数の値を保持しておき、再び対象の物体が検出された時に、物体画像送信判定部４２０は、連続するｎ回の間に同じＩＤと物体の領域情報と画像データを送信することを再開することができる。
【０２８６】
また、途切れた場合、送信済み画像確認リストが保持している送信回数の値を、リセットする、または、ｎ（送信完了）としてもよい。
【０２８７】
以上により、画像データ制御装置を備えた撮像装置は、送信済みの画像に分類できない画像が検出された場合、その後に、連続する所定回数（ｎ回）の送信において、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを送信する。対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を複数回送信することで、物体の状態を通知することができる。
【０２８８】
画像データ制御装置４００を備えた撮像装置が、再送制御のないプロトコルを用いて送信した場合、映像表示装置２００が圧縮画像データを欠損すると、映像表示装置２００は欠損したデータを受信することができない。再送制御のないプロトコルとは、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）である。しかし、画像データ制御装置４００を備えた撮像装置は、連続するｎ回、同じ画像ＩＤの圧縮画像データを送信するため、映像表示装置２００は、圧縮画像データを受信するｎ回の機会を、得ることができる。伝送路であるネットワーク９９９９で、画像データ制御装置４００を備えた撮像装置が送信した圧縮画像データが数回（＜ｎ回）欠損した場合でも、映像表示装置２００は、欠損した画像と同じ画像ＩＤの画像を受信し、表示することができる。
【０２８９】
また、画像データ制御装置４００を備えた撮像装置は、ステップＳ４２０、およびステップＳ１２２０で、連続するｎ回の画像の送信において、毎回、撮像部１０２から受け取った画像から、対象の画像を切り出して送信する画像を生成する。つまり、画像データ制御装置４００を備えた撮像装置は、同じ分類はされているが、異なった画像を映像表示装置２００に送信することができる。
【０２９０】
これにより、映像表示装置２００は、表示する物体の様子を異なる画像を連続するｎ回の異なる表示で異なる複数の画像を表示することができる。映像表示装置２００を視聴して監視する監視者は、検出した物体に対してより多くの画像（対象物体の姿勢）を視聴でき、利便性が向上する。
【０２９１】
なお、画像データ制御装置４００を備えた撮像装置は、連続するｎ回において同じ画像を送信するようにしてもよい。例えば、ステップＳ１２２０において、ステップＳ４２０にて生成した画像ではなく、送信済み画像確認リスト蓄積部４１０に記録している画像で、送信する画像ＩＤと同じ画像ＩＤの画像を取得して、送信するようにすれば実現できる。画像データ制御装置４００を備えた撮像装置が、複数の映像表示装置に同時に画像を送信する場合、ネットワーク上でデータの欠損が発生しても、複数の映像表示装置間で、必ず同じ画像を表示することを保証することができる。
【０２９２】
なお、画像データ制御装置４００を備えた撮像装置は、ステップＳ１２３０において、入力した圧縮画像データを送信済み画像確認リスト蓄積部４１０に記録するようにしてもよい。この場合、送信済み画像確認リスト蓄積部４１０は、同じ画像ＩＤのエントリーを追加し、入力された圧縮画像データを前記の画像ＩＤと対応させて記録する。また、送信済み画像確認リスト蓄積部４１０は、特殊なフラグを設けて、連続した送信したｎ回において２回目以降に送信した画像はこのフラグをＯＮするようにしてもよい。これにより、送信済み画像確認リスト蓄積部４１０は、同じ画像ＩＤが複数存在してもデータの整合性が保てるようになる。
【０２９３】
なお、連続するｎ回の間に、画像解析部１２０が検出していた物体が、他の物体と重なったことを検出した場合は、ｎ回に至る途中で、同じ画像ＩＤと画像データを送信することを中断してもよい。画像解析部１２０は、複数の物体の重なりを検出した場合、重なり合った画像を別の物体として判定し、重なり合った画像の領域情報を物体画像送信判定部４２０に通知する。物体画像送信判定部４２０は、各々の画像の領域情報を入力しない。これにより、物体画像送信判定部４２０は、各々の物体の情報を個々に得ることができないので、重なり合った一つの物体として処理する。
【０２９４】
また、送信済み画像確認リストは、記録している送信回数の値を保持する。これにより、再び同じ物体が検出された時に、物体画像送信判定部４２０は、連続するｎ回の間に同じＩＤと物体の領域情報と画像データを送信することを再開することができる。また、送信済み画像確認リストが保持している送信回数の値を、リセットする、または、ｎ（送信完了）としてもよい。
【０２９５】
（実施の形態３）
実施の形態３における画像データ制御装置５００は、映像表示装置２００などの外部の装置から、画像の再送要求を受け取り、画像を再送することを特徴とする。
【０２９６】
図２５は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０２９７】
図２５の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置５００を備えている。図２５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０２９８】
画像データ制御装置５００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置５００は、送信すると決定したデータを送信部１０３に通知する。
【０２９９】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００から再送要求を受信し、画像データ制御装置５００に通知する。
【０３００】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３０１】
画像データ制御装置５００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、再送要求受信部５１０、送信制御部５２０を備えている。
【０３０２】
再送要求受信部５１０は、受信部１０４から、再送要求を受信する。再送要求は、再送する画像の画像ＩＤを含んでいる。再送要求受信部５１０は、受信した再送要求に含まれている画像ＩＤを送信制御部５２０に通知し、画像の再送を行うように指示する。
【０３０３】
送信制御部５２０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部１９０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部１９０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。また、送信制御部５２０は、再送要求受信部５１０からの指示を受け取り、再送制御処理を行う。
【０３０４】
実施の形態３における画像データ制御装置５００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で説明した図５の処理と同様である。
【０３０５】
図２６は、実施の形態３における画像データ制御装置５００が、外部装置（例えば、映像表示装置２００）からの再送要求を受信した際の、動作の一例を示すフローチャートである。撮像装置１０１の受信部１０４は、外部の装置（例えば、映像表示装置２００）から再送要求を受信し、画像データ制御装置５００に通知する。画像データ制御装置５００の再送要求受信部５１０は、再送要求を受け取り、処理を開始する。
【０３０６】
ステップＳ１３１０において、再送要求受信部５１０は、受信した再送要求含まれている画像ＩＤを確認し、画像ＩＤを送信制御部５２０に通知し、画像の再送を行うように指示する。送信制御部５２０は、再送要求受信部５１０からの指示を受け取り、送信済み画像確認リスト蓄積部１５０から送信済み画像確認リストを取得する。
【０３０７】
ステップＳ１３２０において、送信制御部５２０は、再送要求受信部５１０から通知された画像ＩＤと同じ画像ＩＤを持つ画像ＩＤを、送信済み画像確認リスト内から検索し、同じ画像ＩＤを持つ画像の圧縮画像データを取得する。
【０３０８】
最後に、ステップＳ１３３０において、送信制御部５２０は、ステップＳ１３２０で取得した圧縮画像データと画像ＩＤを含むメタデータを生成し、送信部１０３に出力する。これにより、送信部１０３は、再送が要求された画像の圧縮画像データを、再送要求を通知した装置に送信することができる。
【０３０９】
なお、再送要求が送信先アドレスを含んでおり、再送要求受信部５１０が、この送信先アドレスを、送信制御部５２０に通知することで、送信制御部５２０は、再送先のアドレスを用いて、正しい再送先に送信を行うことができる。
【０３１０】
以上により、画像データ制御装置を備えた撮像装置においては、再送要求受信部５１０が再送要求を受け取り、送信制御部５２０に再送を指示し、送信制御部５２０が、以前に送信した画像と同じ画像を、映像表示装置２００に再送する。映像表示装置２００は、受信した画像ＩＤの画像を画像蓄積部２２０に保持していない場合に、撮像装置に画像の再送を要求する。これにより、映像表示装置２００は、再送された画像データを、受信することが可能となる。映像表示装置２００は、受信した画像ＩＤの画像を保持していない場合でも、再送された画像データを用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
【０３１１】
図２７は、物体表示処理（図１１のＳ８２０）の詳細な動作を示すフローチャートである。なお、図２７において、図１２と同じ処理を行うステップについては同じ符号を用い説明を省略する。
【０３１２】
映像表示装置２００は、図１０で説明した背景画像に、新たに受信した物体画像を合成して、表示する。実施の形態３における映像表示装置２００は、再送処理を行う以外は、実施の形態１で説明した処理と同様である。
【０３１３】
まず、映像表示装置２００の受信部２１０は、撮像装置１０１から受信したデータを判定する。圧縮画像データが含まれておらず（ステップＳ９００がＮｏ）、同じ画像ＩＤの画像が画像蓄積部２２０に蓄積されていない場合（ステップＳ９３０がＮｏ）、ステップＳ１３７０に遷移する。
【０３１４】
ステップＳ１３７０において、受信部２１０は、撮像装置１０１に画像の再送要求を要求し、物体描画処理を終了する。
【０３１５】
再送要求を受信した撮像装置１０１は、図２６を用いて説明した通り、再送を要求した画像ＩＤと圧縮画像データを再送する。
【０３１６】
映像表示装置２００は、撮像装置１０１が再送した画像ＩＤと圧縮画像データを受け取り、図１１の部分画像受信処理を行うことにより、画像を表示することができる。
【０３１７】
以上により、画像データ制御装置を備えた撮像装置は、再送要求を受信し、受信した再送要求に基づいて、以前に送信した画像と同じ画像を、映像表示装置２００に再送する。これにより、映像表示装置２００は、ネットワーク伝送で画像データが欠損した場合に、再送された画像データを、受信することが可能となる。また、映像表示装置２００が、内部メモリー容量の制約などにより、受信した画像すべてを保持できず、画像蓄積部２２０は蓄積した画像の総要領がメモリーの上限値に達した場合に蓄積した画像の一部を削除する場合にも有効である。映像表示装置２００が、再送を要求し、再送された画像データを、受信することが可能となる。つまり、映像表示装置２００は、受信した画像ＩＤの画像を保持していない場合でも、再送された画像データを用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
【０３１８】
（実施の形態４）
実施の形態４における画像データ制御装置６００は、映像表示装置２００などの外部の装置から、画像を蓄積した送信済み画像確認リストに対するリフレッシュ要求を受け取ることを特徴とする。
【０３１９】
図２８は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０３２０】
図２８の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置６００を備えている。図２８において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０３２１】
画像データ制御装置６００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置６００は、送信すると決定したデータを送信部１０３に通知する。
【０３２２】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００からリフレッシュ要求を受信し、画像データ制御装置６００に通知する。
【０３２３】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３２４】
画像データ制御装置６００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部６１０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、リフレッシュ要求受信部６２０、送信制御部６３０を備えている。
【０３２５】
リフレッシュ要求受信部６２０は、受信部１０４から、リフレッシュ要求を受信する。リフレッシュ要求は、リフレッシュ対象の画像の画像ＩＤを含んでいる。リフレッシュ要求受信部６２０は、受信したリフレッシュ要求に含まれている画像ＩＤを送信済み画像確認リスト蓄積部６１０に通知し、指定した画像ＩＤの画像を削除するように指示する。
【０３２６】
リフレッシュ要求受信部６２０は、リフレッシュ要求した映像表示装置２００にリフレッシュ完了を通知するよう、送信制御部６３０に指示を出す。
【０３２７】
送信済み画像確認リスト蓄積部６１０は、送信した画像データと画像ＩＤを、リスト形式で蓄積する。送信済み画像確認リスト蓄積部６１０は、送信した画像データと画像ＩＤを組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部６１０は、送信制御部６３０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。
【０３２８】
送信済み画像確認リスト蓄積部６１０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に情報を蓄積するようにしてもよい。また、送信済み画像確認リスト蓄積部１５０は、ＤＲＡＭのような揮発性の半導体メモリーによって構成するようにしてもよい。
【０３２９】
送信済み画像確認リスト蓄積部６１０は、リフレッシュ要求受信部６２０から、画像ＩＤを指定した削除指示を受け取り、指定された画像ＩＤのエントリーを送信済み画像確認リストから削除する。
【０３３０】
送信制御部６３０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部６３０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部６３０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
【０３３１】
送信制御部６３０は、リフレッシュ要求受信部６２０から指示を受け、送信部１０３を介して、リフレッシュ要求をした映像表示装置２００に、リフレッシュ完了通知を送信する。
【０３３２】
画像データ制御装置を備えた撮像装置が、リフレッシュ要求によって、指定された画像ＩＤを削除した後に、リフレッシュした画像ＩＤに分類できる画像が、撮像部１０２で撮像された場合について説明する。
【０３３３】
実施の形態４において、画像データ制御装置６００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で図５を用いて説明した処理と同様である。
【０３３４】
リフレッシュ処理によって、図６のステップＳ２２５で検出した物体の画像に対応する画像ＩＤのエントリーは、送信済み画像確認リストから削除されているとする。つまり、送信済み画像確認リストは、ステップＳ２５０で取得した一番近いテンプレート画像に対応する画像が蓄積していない。よって、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みでないと判定し、ステップＳ２７０に遷移する。そして、ステップＳ２７０以降の処理によって、ステップＳ２２５にて取得された画像は、新しい画像ＩＤを付与され、新しい画像として以降処理が継続される。
【０３３５】
以上により、画像データ制御装置６００を備えた撮像装置は、リフレッシュを実施した以降に、リフレッシュした画像ＩＤに相当する画像を撮像した場合、新たな画像ＩＤを付与し新しい画像として取り扱う。画像データ制御装置６００を備えた撮像装置は、削除したＩＤを使用するのではなく、新しく付与した画像ＩＤを用いて、圧縮画像データを映像表示装置２００に送信する。
【０３３６】
撮像装置１０１が保持する送信済み画像確認リストと映像表示装置２００が保持する画像蓄積データの間に不整合が起こった場合に、有効である。不整合となっている画像ＩＤをリフレッシュし、不整合となっていた画像ＩＤを破棄し、新しい画像ＩＤにて、以降の処理を行うことが可能となる。不整合が発生する要因としては、例えば、ネットワーク上でデータが欠損した場合、映像表示装置２００の予期せぬＨＷ不具合などがある。
【０３３７】
なお、画像データ制御装置６００は、指定された画像ＩＤに対してリフレッシュ処理を行う。また、画像データ制御装置６００は、付与済みの全画像ＩＤについてリフレッシュしてもよい。リフレッシュ要求受信部６２０は、受信したリフレッシュ要求に含まれている画像ＩＤが、全画像ＩＤを削除するために規定された値の場合、送信済み画像確認リスト蓄積部６１０に、全画像ＩＤの画像を削除するように指示する。送信済み画像確認リスト蓄積部６１０は、リフレッシュ要求受信部６２０から、全削除指示を受け取り、全ての画像ＩＤのエントリーを送信済み画像確認リストから削除する。
【０３３８】
なお、画像データ制御装置６００を備えた撮像装置１０１が、複数の映像表示装置に、同時に画像を送信している場合、送信制御部６３０は、複数の映像表示装置すべてにリフレッシュ完了を送信してもよい。これにより、複数の映像表示装置の間で、リフレッシュした状態を同期することができる。
【０３３９】
（実施の形態５）
実施の形態５における画像データ制御装置３００は、カテゴリー化ルール保持部が保持するカテゴリー化ルールを変更可能とすることを特徴とする。
【０３４０】
図２９は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０３４１】
図２９の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置３００を備えている。図２９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０３４２】
画像データ制御装置３００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置３００は、送信すると決定したデータを送信部１０３に通知する。
【０３４３】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００からカテゴリー化ルールの変更要求を受信し、画像データ制御装置３００に通知する。
【０３４４】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３４５】
画像データ制御装置３００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部３２０、物体画像送信判定部１８０、送信制御部１９０、ルール変更要求受信部３１０を備えている。
【０３４６】
ルール変更要求受信部３１０は、受信部１０４から、カテゴリー化ルールの変更要求を受信する。ルール変更要求受信部３１０は、受信した変更要求を、カテゴリー化ルール保持部３２０に通知する。
【０３４７】
カテゴリー化ルール保持部３２０は、入力部１１０から入力した画像データ内の、物体の画像に対し、類似性を判断する際に使用するルール（カテゴリー化ルール）を保持する。カテゴリー化ルールとは、蓄積済みの画像の中で、一番近い画像に分類するためのルールである。
【０３４８】
カテゴリー化ルールには、「物体を人間の姿勢認識によって分類し、姿勢が近い画像に同じ画像に分類とする」ことを意味する情報が記載されている。記載方法は、テキスト形式の文字列で表現してもよい。また、記載方法は、予め定義された変数値によって表現してもよい。
【０３４９】
カテゴリー化ルール保持部３２０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に、カテゴリー化ルールを保持している。
【０３５０】
カテゴリー化ルール保持部３２０は、ルール変更要求受信部３１０から通知された変更要求に基づいて、カテゴリー化ルールを更新する。
【０３５１】
実施の形態５において、画像データ制御装置３００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で図５を用いて説明した処理と同様である。
【０３５２】
画像データ制御装置３００は、カテゴリー化ルールの変更要求を受信することにより、カテゴリー化ルール保持部３２０が保持しているルールを更新する。画像送信判定処理において、図６のステップＳ２１０で、物体画像送信判定部１８０は、更新後のカテゴリー化ルールを取得する。よって、画像送信判定処理のステップＳ２３０からステップＳ２５０で行う、画像解析部１２０で検出した物体の画像を分類する仕方が変化し、送信する圧縮画像データを変化させることができる。
【０３５３】
画像データ制御装置３００を備えた撮像装置は、カテゴリー化ルールの変更要求を受信し、カテゴリー化ルール保持部３２０が保持するカテゴリー化ルールを変更する。これにより、画像データ制御装置３００を備えた撮像装置は、状況に応じて映像表示装置２００が要求したカテゴリー化ルールに変更することでき、映像表示装置２００を監視する監視者の利便性を向上することができる。
【０３５４】
（実施の形態６）
実施の形態６における画像データ制御装置３３０は、複数の映像表示装置に同時に圧縮画像データを送信する場合において、送信先の映像表示装置を動的に変更可能とすることを特徴とする。
【０３５５】
図３０は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
【０３５６】
図３０の撮像装置３６０は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置３３０を備えている。図３０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０３５７】
図３０の撮像装置３６０は、ネットワークを介して撮像した画像を送信する監視用デジタルビデオカメラとして構成されている。撮像装置３６０は、ネットワーク９９９９と接続しており、ネットワーク９９９９を介して、複数の映像表示装置（２００ａ、２００ｂ、２００ｎ）に画像などのデータを送信する。撮像装置３６０は監視カメラであり、映像表示装置（２００ａ、２００ｂ、２００ｎ）は監視モニタとして、監視システムを構成する。
【０３５８】
新たに画像の要求を所望する映像表示装置（２００ａ、２００ｂ、２００ｎのいずれか）は、撮像装置３６０に、画像送信要求を送信する。また、画像送信の停止を所望する映像表示装置（２００ａ、２００ｂ、２００ｎのいずれか）は、撮像装置３６０に画像送信停止要求を送信する。
【０３５９】
画像データ制御装置３３０は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置へ送信するデータを決定する。画像データ制御装置３３０は、送信すると決定したデータを送信部１０３に通知する。
【０３６０】
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置からデータを受信する。受信部１０４は、映像表示装置から画像送信要求を受信し、画像データ制御装置３３０に通知する。
【０３６１】
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
【０３６２】
画像データ制御装置３３０は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、送信制御部３５０、画像送信要求受信部３４０を備えている。
【０３６３】
画像送信要求受信部３４０は、受信部１０４から、画像の送信を新たに要求する画像送信要求を受信する。画像送信要求は、送信を要求する映像表示装置のアドレスを含んでいる。画像送信要求受信部３４０は、画像送信要求を受信すると、送信制御部３５０に、画像送信要求に含まれるアドレスを、送信先アドレスに追加するよう指示する。
【０３６４】
画像送信要求受信部３４０は、画像送信を停止する要求である画像送信停止要求を受信する。画像送信要求は、送信の停止を要求する映像表示装置のアドレスを含んでいる。画像送信要求受信部３４０は、画像送信停止要求を受信すると、送信制御部３５０に、画像送信停止要求に含まれるアドレスを、送信先アドレスから削除するよう指示する。
【０３６５】
送信制御部３５０は、物体画像送信判定部１８０の判定結果に応じて、複数の映像表示装置に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部３５０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部３５０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
【０３６６】
送信制御部３５０は、送信先の映像表示装置のアドレスを、送信先アドレスとして記憶した送信先リストを保持している。送信制御部３５０は、図８のステップＳ４３０、Ｓ４５０などにてデータを送信する際は、送信先リストに記憶されている全アドレスにデータを送信する。
【０３６７】
送信制御部３５０は、画像送信要求受信部３４０から、送信先アドレスの追加指示を受けると、送信先リストに新たな送信先のアドレスを追加する。
【０３６８】
送信制御部３５０は、画像送信要求受信部３４０から、送信先アドレスの削除指示を受けると、送信先リストから指示されたアドレスを削除する。
【０３６９】
これにより、送信制御部３５０は、画像送信中においても、送信先の映像表示装置を動的に増減することができる。
【０３７０】
図３１は、実施の形態６における画像データ制御装置３３０の、撮像部１０２から画像データを受け取った際の動作を示すフローチャートである。なお、図３１において、図５と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
【０３７１】
ステップＳ１４１０において、送信制御部３５０は、送信先リストを参照し、送信先アドレスが格納されているか否かを確認する。確認の結果、送信先アドレスが格納されていれば、ステップＳ４００に遷移する。送信先リストに送信先アドレスが格納されていない場合は、処理を終了する。
【０３７２】
画像データ制御装置３３０を備えた撮像装置は、画像送信要求や画像送信停止要求を受信し、受信した要求に応じて送信制御部３５０に送信先アドレスの追加、削除を指示し、データの送信先を動的に変更する。これにより、画像データ制御装置３３０を備えた撮像装置は、状況に応じて、送信先の映像表示装置（２００ａ、２００ｂ、２００ｎ）を変更し、データの受信を望まない映像表示装置へのデータ送信を行わない。これにより、ネットワークのトラフィックを低減することができる。
【０３７３】
なお、画像データ制御装置３３０を備えた撮像装置は、初期状態では送信制御部３５０が保持する送信先リストを空にしておき、送信要求があった相手にのみ画像を送信する。
【０３７４】
なお、実施の形態１から実施の形態６のカテゴリー化ルール保持部は、物体画像送信判定部の外に配置していたが、例えば、カテゴリー化ルール保持部の内部に配置してもよい。
【０３７５】
なお、実施の形態１から実施の形態６の画像データ制御装置を備えた撮像装置は、ネットワークを介して、映像蓄積サーバ、状況解析サーバ（独自に画像を解析、例えば、高精度の顔認証用サーバ）などに接続し、必要な処理を外部の装置で分散処理してもよい。
【０３７６】
なお、実施の形態１から実施の形態６における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。上記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０３７７】
また、実施の形態１から実施の形態６において、画像データ制御装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０３７８】
また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されていてもよい。
【０３７９】
また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３８０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０３８１】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０３８２】
また、本発明は、上記実施の形態１から実施の形態６をそれぞれ組み合わせるとしてもよい。また、今回開示された実施の形態および変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０３８３】
本発明にかかる画像データ制御装置は、対象とする物体がすでに送信済みの画像と近い画像である場合は、画像データを送信せずに、類似している送信済み画像を識別する情報を送信する機能を有し、ネットワークを介して画像を送信する監視カメラ、Ｗｅｂカメラ、デジタルビデオカメラ等として有用である。また、テレビ会議システム、テレビ電話機能を有する携帯電話などの用途にも応用することができる。
【符号の説明】
【０３８４】
１０１，３６０ 撮像装置
１００，３００，３３０，４００，５００，６００ 画像データ制御装置
１０２ 撮像部
１０３ 送信部
１０４ 受信部
１１０ 入力部
１２０ 画像解析部
１３０ 画像切り出し部
１４０ エンコード部
１５０，４１０，６１０ 送信済み画像確認リスト蓄積部
１６０ 画像ＩＤ付与部
１７０，３２０ カテゴリー化ルール保持部
１８０，４２０ 物体画像送信判定部
１９０，３５０，４３０，５２０，６３０ 送信制御部
２００，２００ａ，２００ｂ，２００ｎ 映像表示装置
２１０ 受信部
２２０ 画像蓄積部
２３０ デコード部
２４０ リサイズ部
２５０ 合成部
２６０ 表示部
５１０ 再送要求受信部
６２０ リフレッシュ要求受信部
３１０ ルール変更要求受信部
３４０ 画像送信要求受信部
９９９９ ネットワーク
【特許請求の範囲】
【請求項１】
入力した画像データから物体の検出を行い、前記検出した物体の画像を解析し、前記検出した物体の領域情報を出力する画像解析手段と、
前記入力した画像データから、前記画像解析手段が出力した前記領域情報が示す領域の画像を切り出して出力する画像切り出し手段と、
前記画像切り出し手段が出力した切り出し画像データを、エンコードして圧縮画像データを生成するエンコード手段と、
画像データを識別する画像ＩＤを付与し、画像データと画像ＩＤと画像を対応付ける画像ＩＤ付与手段と、
送信した画像データと、前記送信した画像データに付与された画像ＩＤとを送信済み画像確認リストとして蓄積し、送信履歴を管理する送信済み画像確認リスト蓄積手段と、
前記画像解析手段が検出した物体の画像に対し、前記画像確認リスト蓄積手段に蓄積されている画像の中で、一番近い画像に分類するためのルールであるカテゴリー化ルールを保持するカテゴリー化ルール保持手段と、
前記カテゴリー化ルール保持手段が保持している前記カテゴリー化ルールを用いて、前記画像解析手段が検出した物体の画像に対する分類を行い、一番近いと分類された送信済みの画像が、前記送信済み画像確認リストに蓄積されている場合に、前記画像解析手段が検出した物体の画像データを送信しないと判定する物体画像送信判定手段と、
前記物体画像送信判定手段が、前記画像解析手段が検出した物体の画像データを送信しないと判定した場合、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと、前記画像解析手段が検出した物体の領域情報を出力する送信制御手段とを備えることを特徴とする画像データ制御装置。
【請求項１】
入力した画像データから物体の検出を行い、前記検出した物体の画像を解析し、前記検出した物体の領域情報を出力する画像解析手段と、
前記入力した画像データから、前記画像解析手段が出力した前記領域情報が示す領域の画像を切り出して出力する画像切り出し手段と、
前記画像切り出し手段が出力した切り出し画像データを、エンコードして圧縮画像データを生成するエンコード手段と、
画像データを識別する画像ＩＤを付与し、画像データと画像ＩＤと画像を対応付ける画像ＩＤ付与手段と、
送信した画像データと、前記送信した画像データに付与された画像ＩＤとを送信済み画像確認リストとして蓄積し、送信履歴を管理する送信済み画像確認リスト蓄積手段と、
前記画像解析手段が検出した物体の画像に対し、前記画像確認リスト蓄積手段に蓄積されている画像の中で、一番近い画像に分類するためのルールであるカテゴリー化ルールを保持するカテゴリー化ルール保持手段と、
前記カテゴリー化ルール保持手段が保持している前記カテゴリー化ルールを用いて、前記画像解析手段が検出した物体の画像に対する分類を行い、一番近いと分類された送信済みの画像が、前記送信済み画像確認リストに蓄積されている場合に、前記画像解析手段が検出した物体の画像データを送信しないと判定する物体画像送信判定手段と、
前記物体画像送信判定手段が、前記画像解析手段が検出した物体の画像データを送信しないと判定した場合、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと、前記画像解析手段が検出した物体の領域情報を出力する送信制御手段とを備えることを特徴とする画像データ制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１２−２０９８３１（Ｐ２０１２−２０９８３１Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７５００７（Ｐ２０１１−７５００７）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]