画像処理装置、画像処理方法、およびプログラム
【課題】動画に含まれる複数の動画構成画像から特徴領域を特定するときの、処理時間を短縮すること。
【解決手段】画像処理装置は、複数の動画構成画像を含む動画を処理する画像処理装置であって、動画構成画像から、特徴領域を検出する特徴領域検出部と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の非選択画像における特徴領域の位置を特定する特徴領域特定部とを備える。特徴領域特定部は、非選択画像より前にある選択画像および非選択画像より後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定する。
【解決手段】画像処理装置は、複数の動画構成画像を含む動画を処理する画像処理装置であって、動画構成画像から、特徴領域を検出する特徴領域検出部と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の非選択画像における特徴領域の位置を特定する特徴領域特定部とを備える。特徴領域特定部は、非選択画像より前にある選択画像および非選択画像より後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を圧縮する画像処理装置および画像処理方法、並びに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
動画像において検出された顔を含む画像ブロックのうち、目、口などを含む画像ブロックに対して、他の画像ブロックより多くの情報ビット数を割り当てて符号化する画像符号化装置が知られている（例えば、特許文献１参照。）。
【特許文献１】特許第２８２８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の技術によると、画像符号化装置は、複数のフレームのそれぞれから、顔、目、口などを含む画像ブロックを検出している。このため、顔、目、口などを含む画像ブロックを検出するときに、多くの時間を費やす場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、複数の動画構成画像を含む動画を処理する画像処理装置であって、動画構成画像から、特徴領域を検出する特徴領域検出部と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部とを備える。
【０００５】
特徴領域特定部は、非選択画像より前にある選択画像および非選択画像より後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定してよい。動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、特徴領域特定部は、選択画像における特徴領域の位置および動きベクトルに基づいて、非選択画像における特徴領域の位置を特定してよい。
【０００６】
動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、圧縮動画取得部によって取得された動画を伸張する圧縮動画伸張部とをさらに備え、特徴領域検出部は、圧縮動画伸張部によって伸張された動画から選択された選択画像から、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得された動画に含まれる動きベクトルを取得し、特徴領域特定部は、選択画像における特徴領域の位置および動きベクトルに基づいて、圧縮動画伸張部によって伸張された動画から選択されなかった非選択画像における特徴領域の位置を特定してよい。圧縮動画取得部は、動きベクトルを含むＭＰＥＧ動画を取得し、圧縮動画伸張部は、圧縮動画取得部によって取得されたＭＰＥＧ動画を伸張し、特徴領域検出部は、伸張されたＭＰＥＧ動画に含まれる選択画像から、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得されたＭＰＥＧ動画に含まれる動きベクトルを取得してよい。
【０００７】
選択画像および非選択画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する画像分割部と、特徴領域の画像と背景領域の画像とを、それぞれ異なる強度で符号化する符号化部とをさらに備えてよい。選択画像から検出された特徴領域、および非選択画像において特定された特徴領域を包含する包含領域を特定する包含領域特定部と、選択画像および非選択画像のそれぞれにおける包含領域以外の領域の画素値を固定値化する固定値化部とをさらに備え、符号化部は、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化してよい。
【０００８】
本発明の第２の形態によると、複数の動画構成画像を含む動画を処理する画像処理方法であって、動画構成画像から、特徴領域を検出する特徴領域検出段階と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定段階とを備える。
【０００９】
本発明の第３の形態によると、複数の動画構成画像を含む動画を処理する画像処理装置用のプログラムであって、画像処理装置を、動画構成画像から、特徴領域を検出する特徴領域検出部、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００１３】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
【００１４】
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１５】
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
【００１６】
具体的には、撮像装置１００ａは、撮像部１０２ａおよび撮像動画圧縮部１０４ａを有する。撮像部１０２ａは、監視対象空間１５０を撮像することにより、撮像動画に含まれる複数の動画構成画像を生成する。なお、撮像部１０２ａは、ＲＡＷ形式の動画構成画像を生成してよい。撮像動画圧縮部１０４ａは、撮像部１０２ａにより生成されたＲＡＷ形式の動画構成画像を同時化して、同時化して得られた複数の動画構成画像を含む撮像動画をＭＰＥＧ符号化等により圧縮することにより、撮像動画データを生成する。
【００１７】
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
【００１８】
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１９】
画像処理装置１７０は、画像処理装置１２０ａから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００２０】
なお、画像処理装置１７０は、生成した合成動画または画像処理装置１２０ａから取得した撮像動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、画像ＤＢ１７５に記録された合成動画を、表示装置１８０ａからの要求に応じて表示装置１８０ａに供給してよい。また、画像処理装置１７０は、表示装置１８０ａからの要求に応じて、画像ＤＢ１７５に記録された撮像動画データを上述したように復号して表示装置１８０ａに供給してもよい。なお、画像ＤＢ１７５は、一例としてハードディスク等の不揮発性の記録媒体を有してよく、画像処理装置１７０から供給された合成動画を当該記録媒体に記録してよい。
【００２１】
なお、撮像装置１００ｂおよび撮像装置１００ｃは、撮像部１０２ａが有する構成要素と同様の機能を有する構成要素を有している。撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。なお、以下の説明では、撮像部１０２ａ〜ｃを撮像部１０２と総称する場合があり、撮像動画圧縮部１０４ａ〜ｃを撮像動画圧縮部１０４と総称する場合がある。
【００２２】
また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００２３】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００２４】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、および画像生成部２０５を有する。また、画像処理装置１２０は、動きベクトル取得部２５１、特徴領域特定部２５２、包含領域特定ユニット２６０、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、対応付け処理部２０６、および出力部２０７を有する。
【００２５】
包含領域特定ユニット２６０は、複数の包含領域特定部２６１ａ−２６１ｃ（以下、包含領域特定部２６１と総称する。）を含む。固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。低減化ユニット２２０は、複数の画質低減部２２１ａ−ｄ（以下、画質低減部２２１と総称する。）を含む。
【００２６】
符号化ユニット２３０は、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄを総称して、符号化部２３１と呼ぶ場合がある。
【００２７】
なお、画質低減部２２１ａおよび背景領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。また、画質低減部２２１ｂおよび背景領域動画符号化部２３１ｂは、圧縮部２４０ｂとして機能する。同様に、画質低減部２２１ｃおよび背景領域動画符号化部２３１ｃは圧縮部２４０ｃとして機能する。画質低減部２２１ｄおよび背景領域動画符号化部２３１ｄは圧縮部２４０ｄとして機能する。なお、複数の圧縮部２４０ａ−ｄを、圧縮部２４０と総称する。
【００２８】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。例えば、圧縮動画取得部２０１は、動きベクトルを含むＭＰＥＧ動画を取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
【００２９】
具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。例えば、圧縮動画伸張部２０２は、圧縮動画取得部２０１によって取得されたＭＰＥＧ動画を伸張する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、圧縮された動画は、当該動画における被写体の動きベクトルを含む。
【００３０】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。具体的には、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。より具体的には、特徴領域検出部２０３は、圧縮動画伸張部２０２によって伸張された動画から、任意の間隔毎、または動画の内容に基づいて算出された時間間隔毎に動画構成画像を選択した後に、選択された動画構成画像である選択画像から、特徴領域を検出する。例えば、特徴領域検出部２０３は、圧縮動画伸張部２０２によって伸張されたＭＰＥＧ動画から複数のＩフレームを選択した後に、選択された複数のＩフレームのそれぞれから、特徴領域を検出する。また、特徴領域検出部２０３は、動画の動物体の速度、または動画のシーン輝度の変化に応じて、選択画像として選択する動画構成画像の間隔を調整してもよい。
【００３１】
動きベクトル取得部２５１は、動画における被写体の動きベクトルを取得する。具体的には、動きベクトル取得部２５１は、圧縮動画取得部２０１によって取得された動画（撮像動画データ）に含まれる動きベクトルを取得する。より具体的には、動きベクトル取得部２５１は、圧縮動画取得部２０１によって取得されたＭＰＥＧ動画に含まれる動きベクトルを取得する。なお、動きベクトル取得部２５１が、圧縮動画取得部２０１によって取得された動画から動きベクトルを取得できない場合、動きベクトル取得部２５１は、圧縮動画伸張部２０２によって伸張された動画に含まれる複数の動画構成画像に基づいて、当該動画の動きベクトルを算出してもよい。
【００３２】
特徴領域特定部２５２は、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、動画から選択されなかった動画構成画像である非選択画像における特徴領域の位置を特定する。具体的には、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある選択画像、および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定する。
【００３３】
より具体的には、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある選択画像、および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定する。例えば、特徴領域特定部２５２は、非選択画像であるＰフレームまたはＢフレームより時間軸方向の前後にある選択画像であるＩフレームのそれぞれにおける特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像であるＰフレームまたはＢフレームにおける特徴領域の位置を特定する。
【００３４】
なお、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある一つまたは複数の選択画像における特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部２５２は、非選択画像より時間軸方向の後ろにある一つまたは複数の選択画像における特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定してもよい。
【００３５】
また、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある選択画像および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある一つまたは複数の選択画像における特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部２５２は、非選択画像より時間軸方向の後ろにある一つまたは複数の選択画像における特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。
【００３６】
画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。具体的には、画像分割部２０４は、複数の動画構成画像のそれぞれを、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。
【００３７】
画像生成部２０５は、特徴領域動画を圧縮するための特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画に含まれる複数の動画構成画像から、特徴領域画像を抽出した後に、抽出された特徴領域画像を複製することにより、特徴領域圧縮用動画を生成する。より具体的には、画像生成部２０５は、動画に含まれる複数の動画構成画像から、複数種類の特徴領域画像を抽出することにより、複数の特徴領域圧縮用動画を生成する。また、画像生成部２０５は、動画に含まれる複数の動画構成画像から、背景領域画像を抽出した後に、抽出された背景領域画像を複製することにより、背景領域圧縮用動画を生成する。
【００３８】
包含領域特定部２６１は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する包含領域を特定する。具体的には、包含領域特定部２６１は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する、マクロブロックの集合領域を、包含領域として特定する。
【００３９】
そして、固定値化部２１１は、複数の特徴領域圧縮用動画のそれぞれにおける、複数の動画構成画像のそれぞれにおいて、包含領域特定部２６１によって特定された包含領域以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、包含領域以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。
【００４０】
そして、圧縮部２４０は、包含領域以外の領域の画素値が固定値化された動画構成画像を複数含む、複数の特徴領域圧縮用画像のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。また、圧縮部２４０は、複数の特徴領域圧縮用画像のそれぞれに対して、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化する。
【００４１】
このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
【００４２】
以上説明したように、特徴領域検出部２０３は、画像から特徴領域を検出する。そして、画像分割部２０４は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部２４０は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００４３】
なお、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
【００４４】
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
【００４５】
圧縮部２４０における画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。
【００４６】
圧縮部２４０における符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
【００４７】
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部２０７は、対応付け処理部２０６が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク１１０に送出する。
【００４８】
なお、特徴領域検出部２０３は、特願２００８−０７８６４１号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部２０３は、生成された画像群のうちの相対的に小さい第１の画像に、第１のフィルタを作用させて、評価値を算出する。ここで、第１のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第１のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。特徴領域検出部２０３は、所定の第１の閾値を越える評価値が得られた一次候補領域を、第１の画像から抽出する。
【００４９】
そして、特徴領域検出部２０３は、第１の画像よりも画素数が一段階多い第２の画像における一次候補領域に相当する領域に、フィルタ群のうちの第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて、評価値を算出する。そして、特徴領域検出部２０３は、所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する。
【００５０】
ここで、特徴領域検出部２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部２０３は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域検出部２０３は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。
【００５１】
また、特徴領域検出部２０３は、特願２００８−０７８６３６号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域検出部２０３は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域検出部２０３は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部２０３は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部２０３は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、特徴領域検出部２０３は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域検出部２０３は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。
【００５２】
なお、特徴領域検出部２０３は、特願２００８−０７８６３６号に記載された方法と、特願２００８−０７８６４１号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願２００８−０７８６３６号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域検出部２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部２０３は、画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域検出部２０３は、該複数の第１のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部２０３は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部２０３は、求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。
【００５３】
また、特徴領域検出部２０３は、上記画像群のうちの第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域に複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域検出部２０３は、当該複数の第２のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部２０３は、複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部２０３は、求められた二次評価値と第２の閾値とを比較して第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。
【００５４】
ここで、特徴領域検出部２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部２０３は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。
【００５５】
また、特徴領域検出部２０３は、特願２００８−０９８６００号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、複数の撮像装置１００により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置１００ａおよび撮像装置１００ｂは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置１００ａおよび撮像装置１００ｂは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置１００ａが撮像した第１の撮像画像と、撮像装置１００ｂが撮像した第２の撮像画像とを、ペア画像と呼ぶ。特徴領域検出部２０３は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。
【００５６】
特徴領域検出部２０３は、ペア画像とみなされる第１および第２の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域検出部２０３は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、特徴領域検出部２０３は、抽出した第１の撮像画像上の領域と第２の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域検出部２０３は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。特徴領域検出部２０３は、被写体までの距離に基づく被写体の３次元形状に基づいて、特定種類のオブジェクトを検出することができる。
【００５７】
ここで、特徴領域検出部２０３は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第１および第２の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域検出部２０３は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル（例えば、画素値勾配ベクトル）を例示することができる。そして、特徴領域検出部２０３は、算出された第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出する。特徴領域検出部２０３は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域検出部２０３は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域検出部２０３は、被写体の３次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。
【００５８】
また、特徴領域検出部２０３は、特願２００８−０９１５６２号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置１００の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域検出部２０３は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域検出部２０３は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域検出部２０３は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域検出部２０３は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。
【００５９】
なお、撮像装置１００が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置１００の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置１００により、一の撮像装置１００が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置１００のそれぞれの撮像方向、および複数の撮像装置１００のそれぞれにより撮像された撮像画像上の位置を例示することができる。
【００６０】
なお、本図の構成では、画像処理装置１２０が有する複数の圧縮部２４０のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の構成では、画像処理装置１２０は一の圧縮部２４０を有してよく、一の圧縮部２４０が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮部２４０に時分割で順次供給され、一の圧縮部２４０が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【００６１】
他にも、一の圧縮部２４０は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮部２４０に供給され、供給された複数の特徴領域の画像および背景領域の画像を一の圧縮部２４０がそれぞれ圧縮してよい。
【００６２】
また、上記のように一の圧縮部２４０が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮部２４０が圧縮する形態では、一の圧縮部２４０は、一の画像を圧縮してもよく、本図で説明したように画像分割部２０４によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮部２４０が一の画像を圧縮する場合には、画像分割部２０４による分割処理および固定値化部２１１による固定値化処理はなされなくてよいので、画像処理装置１２０は、画像分割部２０４および固定値化ユニット２１０を有しなくてよい。
【００６３】
図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、合成部３０３、および出力部３０４を有する。圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｄ（以下、圧縮動画伸張部３１１と総称する。）を含む。
【００６４】
圧縮動画取得部３０１は、出力部２０７が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
【００６５】
圧縮動画伸張部３１１は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部３１１ａは背景領域動画データを復号する。また、圧縮動画伸張部３１１ｂ−ｄは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部３１１ｂ−ｄは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
【００６６】
合成部３０３は、圧縮動画伸張部３１１が復号することによって得られた動画構成画像を合成する。具体的には、合成部３０３は、圧縮動画伸張部３１１ｂ−ｄにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。なお、出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、画像ＤＢ１７５に記録してもよい。なお、画像処理装置１７０は、出力部２０７から対応づけられて出力された複数の特徴領域動画データおよび背景領域動画データを、画像ＤＢ１７５に記録してよい。この場合、圧縮動画取得部３０１は、画像ＤＢ１７５に記録されている、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得してもよい。
【００６７】
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号した得られた動画を出力部３０４が出力してもよい。
【００６８】
図４は、画像処理装置１２０の処理フローの一例を示す。圧縮動画取得部２０１が撮像動画データを取得（４０１）。圧縮動画伸張部２０２は、撮像動画データを復号することによって複数のフレーム画像４１０を生成する。特徴領域検出部２０３は、フレーム画像４１０の画像内容又は複数のフレーム画像４１０の画像内容に基づいて、特徴領域の一例であるＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出する（４０２）。
【００６９】
特徴領域検出部２０３は、人物の顔、人体、および移動物体を含む領域を、異なる種類のＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をＲＯＩとする。また、特徴領域検出部２０３は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をＲＯＩとする。なお、特徴領域検出部２０３は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【００７０】
また、特徴領域検出部２０３は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部２０３は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部２０３は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。
【００７１】
このように、特徴領域検出部２０３は、予め定められた画像内容に関する条件に適合する領域を、ＲＯＩとして検出する。より具体的には、特徴領域検出部２０３は、予め定められた条件に適合するオブジェクトを含む領域を、ＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ＲＯＩとして検出する。また、特徴領域検出部２０３は、画像の変化量が予め定められた変化量より大きい領域を、ＲＯＩとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をＲＯＩとして検出する。
【００７２】
なお、特徴領域検出部２０３は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、ＲＯＩとして検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をＲＯＩとして検出してよい。
【００７３】
また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、ＲＯＩを検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、ＲＯＩとして検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域をＲＯＩとして検出することができる。なお、特徴領域検出部２０３は、矩形を含む任意の形状を有するＲＯＩを検出してよい。
【００７４】
そして、画像処理装置１２０は、検出されたＲＯＩに基づいて圧縮用動画を生成する（４０３）。具体的には、画像分割部２０４は、フレーム画像をＲＯＩとそれ以外の領域に分割する。そして、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とを生成する。具体的には、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、顔領域用の特徴領域動画４５０、人領域用の特徴領域動画４４０、動領域用の特徴領域動画４３０、および背景領域用の背景領域動画４２０を生成する。
【００７５】
そして、画像処理装置１２０は、固定値化部２１１および画質低減部２２１により、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とに対して、画質を低減する（４０４ａ、４０４ｂ、４０４ｃ、４０４ｄ）。具体的には、固定値化部２１１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像において、画像分割部２０４が分割したＲＯＩ内の画素値は変化させず、ＲＯＩ以外の領域に対する画素値を所定の値（例えば、輝度値０）にする。なお、固定値化部２１１は、ＲＯＩ以外の領域の画素値を、当該ＲＯＩに近傍する領域の画素値の平均的な画素値にしてよい。
【００７６】
このように、画像生成部２０５および固定値化部２１１により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０および背景領域動画４２０が生成される。なお、後に詳しく説明するように、画像処理装置１７０は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のようなＲＯＩ以外の領域が固定値化されている動画を、背景領域動画４２０に重ね合わせた動画を生成する。したがって、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。
【００７７】
また、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも１つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。
【００７８】
そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部２２１は、背景領域動画のフレーム画像の画質を、ＲＯＩ内の画像の画質より低くする。例えば、画質低減部２２１は、背景領域動画のフレーム画像の解像度を、ＲＯＩ内の画像のより小さくする。
【００７９】
また、画質低減部２２１は、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。また、画質低減部２２１は、背景領域動画４２０に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画４２０のフレームレートを低減する。
【００８０】
なお、画質低減部２２１ａは、背景領域動画４２０の画質を低減する。また、画質低減部２２１ｂ、画質低減部２２１ｃ、および画質低減部２２１ｄは、それぞれ特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０の画質を低減する。
【００８１】
そして、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれ符号化する（４０５ａ、４０５ｂ、４０５ｃ、４０５ｄ）。例えば、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれＭＰＥＧ符号化する。
【００８２】
例えば、背景領域動画符号化部２３１ａは、背景領域動画用の符号化設定で背景領域動画をＭＰＥＧ符号化する。特徴領域動画符号化部２３１ｂ、特徴領域動画符号化部２３１ｃ、および特徴領域動画符号化部２３１ｄは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれＭＰＥＧ符号化する。なお、符号化設定は、例えばＭＰＥＧ符号化における量子化テーブルを設定することを含む。なお、符号化設定については図５に関連して説明する。
【００８３】
そして、対応付け処理部２０６は、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部２０７が表示装置１８０に出力する（４０６）。このとき、対応付け処理部２０６は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報（例えば、タイムスタンプ）を、タグ情報等に付加してよい。また、対応付け処理部２０６は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置１００を識別する識別情報等を、タグ情報等に付加してよい。
【００８４】
以上説明したように、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。
【００８５】
また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部２０３は、撮像装置１００から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。
【００８６】
なお、圧縮部２４０は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔がに大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム１０を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より高画質にするとした。しかしながら、画像処理システム１０を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム１０を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より低画質にしてもよい。例えば圧縮部２４０は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。
【００８７】
その他にも、特徴領域検出部２０３は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部２２１は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。
【００８８】
以上説明したように、画像処理装置１２０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置１２０によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、ＭＰＥＧ符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が０になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置１２０の製造コストを低減することができる場合がある。
【００８９】
以上の説明では、圧縮部２４０は、ＲＯＩ領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部２４０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ内の画像を切り出して圧縮して特徴領域動画として出力してもよい。
【００９０】
なお、特徴領域検出部２０３がＲＯＩを検出していない場合には、出力部２０７は、圧縮部２４０ａが出力する背景領域動画データを画像処理装置１７０に出力する。この場合、画像生成部２０５は特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成しなくてよい。そして、画像生成部２０５は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成して、出力部２０７は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置１７０に出力する。この間、圧縮部２４０ａは、背景領域動画４２０を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画４２０を圧縮しつづけてよい。
【００９１】
その他にも、特徴領域検出部２０３がＲＯＩを検出していない間には、圧縮部２４０は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたＲＯＩ非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部２４０は、特徴領域動画をＲＯＩ非検出期間圧縮率より低い圧縮率で圧縮してよい。
【００９２】
なお、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出してから予め定められた期間の背景領域動画をＲＯＩ非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ＲＯＩとして検出されるべき領域がＲＯＩとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部２４０は、特徴領域検出部２０３が検出した複数のフレーム画像におけるＲＯＩ領域の位置から推定される他のフレーム画像におけるＲＯＩ領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。
【００９３】
図５は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部２０１が取得した撮像動画データのフレームレートが１６ｆｐｓであり、当該撮像動画データに含まれるフレーム画像の解像度が７２ｄｐｉであるとする。
【００９４】
撮像動画に含まれるフレーム画像４１０の解像度に対する画質低減後の背景領域動画４２０に含まれるフレーム画像の解像度の比率を示す解像度比率は予め１／８と定められている。画質低減部２２１は、画像生成部２０５によって撮像動画が複製されることによって生成された画質低減前の背景領域動画４２０に含まれるフレーム画像に対して１／８の解像度である９ｄｐｉのフレーム画像を、画質低減前の背景領域動画４２０に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画４２０のフレームレートの比率を示すフレームレート比率は予め１／８と定められている。画質低減部２２１は、画質低減前の背景領域動画４２０のフレームレートの１／８のフレームレートである２ｆｐｓのフレームレートの背景領域動画４２０を、画質低減前の背景領域動画４２０に含まれるフレーム画像を間引くことによって生成する。
【００９５】
同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画４３０については解像度比率およびフレームレート比率は１／４が定められており、特徴領域動画４４０については解像度比率およびフレームレート比率として１／２が定められており、特徴領域動画４５０については解像度比率およびフレームレート比率として１／１が定められている。これにより、画質低減部２２１ｂは、フレームレートが４ｆｐｓ、フレーム画像の解像度が１８ｄｐｉの特徴領域動画４３０を生成する。また、画質低減部２２１ｃは、フレームレートが８ｆｐｓ、フレーム画像の解像度が３６ｄｐｉの特徴領域動画４４０を生成する。また、画質低減部２２１ｄは、フレームレートが１６ｆｐｓ、フレーム画像の解像度が７２ｄｐｉの特徴領域動画４５０を生成する。
【００９６】
なお、上記の例では、画質低減部２２１が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部２２１は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。
【００９７】
なお、画質低減部２２１による画質低減に加えて、又は画質低減部２２１による画質低減に替えて、符号化部２３１がフレーム画像の画質を低減してもよい。例えば、符号化部２３１が、ＭＰＥＧ符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。
【００９８】
また、画質低減部２２１はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。
【００９９】
なお、以上の説明では、画像生成部２０５が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部２０５は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部２１１ａが固定値化して、画質低減部２２１が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。
【０１００】
図６は、画像処理装置１７０の処理フローの一例を示す。圧縮動画取得部３０１は、画像処理装置１２０から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置１００を識別する情報等を取得する（６０１）。そして、圧縮動画伸張部３１１は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画６１０を生成する。（６０２ａ）同時に、圧縮動画伸張部３１１は、動領域レイヤーを示す特徴領域動画６２０、人領域レイヤーを示す特徴領域動画６３０、および顔領域レイヤーを示す特徴領域動画６４０を生成する（６０２ｂ、６０２ｃ、および６０２ｄ）。
【０１０１】
合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像を合成する（６０３）。このとき、合成部３０３は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。
【０１０２】
このとき、合成部３０３は、特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画６１０に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０のフレームレートが異なる場合には、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０の最新のフレーム画像を合成する。
【０１０３】
これにより、合成部３０３は、合成フレーム画像を生成する。合成部３０３は、複数の合成フレーム画像を含む合成動画６５０を生成する。そして、出力部３０４は、圧縮動画取得部３０１が取得したタグ情報等に基づいて、合成動画を表示させる表示装置１８０を選択して、選択した表示装置１８０に合成動画を供給する（６０４）。
【０１０４】
図７は、複数の動画構成画像において特徴領域を特定する方法の一例を示す。図７において、上段に示す動画７００は、特徴領域検出部２０３によって選択画像の特徴領域が検出された動画を示す。一方、図７において、下段に示す動画７００は、特徴領域特定部２５２によって非選択画像の特徴領域が特定された動画を示す。また、動画７００は、連続している動画構成画像７０１−７０５を含んでいる。
【０１０５】
動画７００に含まれる動画構成画像のうち、動画構成画像７０１および動画構成画像７０５は、動画７００の中から任意に選択された選択画像を示す。例えば、動画構成画像７０１および動画構成画像７０５は、ＭＰＥＧ符号化におけるＩフレームである。また、動画７００に含まれる動画構成画像のうち、動画構成画像７０２、動画構成画像７０３、および動画構成画像７０４は、動画７００の中から任意に選択された選択画像ではない非選択画像を示す。例えば、動画構成画像７０２、動画構成画像７０３、および動画構成画像７０４は、ＭＰＥＧ符号化におけるＢフレームまたはＰフレームである。
【０１０６】
ここで、動画構成画像７０１および動画構成画像７０５は、選択画像であることから、図７の上段に示すように、特徴領域検出部２０３によって、動画構成画像７０１は、特徴領域７０１ａが検出されており、動画構成画像７０５は、特徴領域７０５ａが検出されている。一方、動画構成画像７０２、動画構成画像７０３、および動画構成画像７０４は、非選択画像であることから、図７の上段に示すように、特徴領域は検出されていない。
【０１０７】
そこで、特徴領域特定部２５２は、特徴領域７０１ａの位置および特徴領域７０５の位置に基づいて、動画構成画像７０２における特徴領域７０２ａ、動画構成画像７０３における特徴領域７０３ｂ、および動画構成画像７０４における特徴領域７０４ｂを特定している。これにより、動画構成画像７０１−７０５は、図７の下段に示すように、それぞれ特徴領域が特定された状態となる。
【０１０８】
特徴領域特定部２５２は、特徴領域７０１ａの位置および特徴領域７０５ａの位置に基づいて、動画７００の動きベクトルを用いて、特徴領域７０２ａ、特徴領域７０３ｂ、および特徴領域７０４ｂを特定している。なお、特徴領域特定部２５２は、特徴領域７０１ａの位置および特徴領域７０５ａの位置に基づいて、線形補間により、特徴領域７０２ａ、特徴領域７０３ｂ、および特徴領域７０４ｂを特定してもよい。
【０１０９】
このように、本実施形態の画像処理装置１２０は、選択画像に対しては、特徴領域検出部２０３が、特徴領域を検出している。一方、非選択画像に対しては、特徴領域特定部２５２が、選択画像の特徴領域に基づいて、特徴領域を特定している。これにより、本実施形態の画像処理装置１２０を、実際の監視システムに適用した場合には、特徴領域検出部２０３による特徴領域の検出処理回数を軽減することができる場合があり、結果的に、動画に含まれる複数の動画構成画像から特徴領域を特定するときの、処理時間を短縮することができる場合がある。
【０１１０】
図８は、包含領域以外の領域を固定値化する方法の一例を示す。図８において、動画８００は、包含領域特定部２６１によって包含領域が特定され、固定値化部２１１によって包含領域以外の領域が固定値化された動画を示す。また、動画８００は、連続する動画構成画像８０１−８０５を含んでいる。
【０１１１】
動画構成画像８０１の特徴領域および動画構成画像８０５の特徴領域は、特徴領域検出部２０３によって検出されている。動画構成画像８０２の特徴領域、動画構成画像８０３の特徴領域、および動画構成画像８０４の特徴領域は、特徴領域特定部２５２によって特定されている。そして、動画構成画像８０１−８０５のそれぞれにおいて、包含領域８１０は、包含領域特定部２６１によって特定された、動画構成画像８０１−８０５のそれぞれの特徴領域を包含する領域を示す。また、動画構成画像８０１−８０５のそれぞれにおいて、包含領域８１０以外の領域は、固定値化部２１１によって画素値が「０」に固定値化されている。
【０１１２】
このように、本実施形態の画像処理装置１２０は、複数の動画構成画像の特徴領域を包含する包含領域を特定した後に、包含領域以外の領域を固定値化する。これにより、本実施形態の画像処理装置１２０を、実際の監視システムに適用した場合には、動画構成画像間における包含領域以外の領域における画素値の差分量を少なくすることができ、結果的に、動画構成画像間における差分データの圧縮率を高めることができる。
【０１１３】
図９は、動画構成画像の参照関係の一例を示す。上述したように、撮像装置１００から供給された撮像動画データがフレーム間圧縮を用いた圧縮方式で圧縮されている場合、撮像動画データには、一の動画構成画像における部分領域（例えば、マクロブロック、スライスなど）の画像と他の動画構成画像における対応する大きさの画像領域の画像との間の差分データが含まれる。また、撮像動画データには、当該一の動画構成画像における部分領域の位置と、当該部分領域の差分対象となった画像領域の位置との間の位置差を示す動きベクトル情報が、撮像動画データに含まれる。
【０１１４】
これらの領域は、動きベクトルで互いに結びつけられているということができる。そして、本実施形態では、部分領域の差分対象領域のことを、部分領域が参照している領域と呼ぶ。そして、本実施形態では、一の動画構成画像における部分領域と動きベクトルで結び付けられた他の動画構成画像における部分領域を、直接的な参照関係がある部分領域とする。また、これらの直接的な部分領域を含む領域どうしを、直接的な参照関係がある領域とする。また、これらの直接的な部分領域を含む動画構成画像どうしを、直接的な参照関係がある動画構成画像とする。
【０１１５】
また、他の動画構成画像も、さらなる他の動画構成画像と動きベクトルで結びつけられている。この場合、当該一の動画構成画像における部分領域と直接的な参照関係がある他の動画構成画像における部分領域が、さらなる他の動画構成画像における部分領域と直接的な参照関係がある場合がある。この場合、さらなる他の動画構成画像における部分領域を、当該一の動画構成画像における部分領域と間接的な参照関係がある部分領域とする。また、これらの間接的な部分領域を含む領域どうしを、間接的な参照関係がある領域とする。また、これらの間接的な部分領域を含む動画構成画像どうしを、間接的な参照関係がある動画構成画像とする。このように、一の動画構成画像における部分領域と他の動画構成画像における部分領域とが、複数の直接的な参照関係で結ばれている場合に、これらの部分領域を間接的に参照関係にある部分領域とする。
【０１１６】
本図に示されるように、撮像動画に含まれる動画構成画像９１０−１〜７（以下、動画構成画像９１０と総称する場合がある。）のうち、動画構成画像９１０−１がＩフレームであり、動画構成画像９１０−４および動画構成画像９１０−７がＰフレームであり、それ以外の動画構成画像９１０がＢフレームであるとする。この場合、例えば、動画構成画像９１０−２〜４は、動画構成画像９１０−１と直接的な参照関係にありえる。なお、本図では、直接的な参照関係にありえる動画構成画像どうしが、フレーム間予測の予測方向を示す矢印９０１〜９０９で結ばれて示されている。
【０１１７】
図１０は、参照関係で結ばれた特徴領域の一例を示す。以下の説明では、動画構成画像９１０のそれぞれの画像領域を一の画像領域１０００で示す。本図の（ａ）を参照して、特徴領域１０１１は、特徴領域検出部２０３が、動画構成画像９１０−１から検出した特徴領域であるとする。一例として、特徴領域検出部２０３は、テンプレートマッチング等の画像認識処理により、特徴領域１０１１を検出する。
【０１１８】
特徴領域特定部２５２は、特徴領域１０１１に含まれるマクロブロックを起点として、当該マクロブロックに関連づけられた動きベクトルを複数の動画構成画像にわたって辿っていく。なお、マクロブロックに関連づけられた動きベクトルは、当該マクロブロックとの差分対象となる画像領域の位置と当該マクロブロックの位置との間の位置差を示す情報であってよい。また、マクロブロックに関連づけられた動きベクトルは、当該マクロブロックの少なくとも一部の画像領域を他のマクロブロックの差分対象である場合に、当該マクロブロックの少なくとも一部の画像領域の位置と当該他のマクロブロックの位置との間の位置差を示す情報であってよい。
【０１１９】
これにより、特徴領域特定部２５２は、特徴領域１０１１に含まれるマクロブロックと直接的または間接的な参照関係にある、他の動画構成画像における領域を特定する。そして、特徴領域特定部２５２は、当該直接的または間接的な参照関係にある領域を含む領域を、他の動画構成画像における特徴領域として特定する。例えば、特徴領域特定部２５２は、当該直接的または間接的な参照関係にある領域を含み、特徴領域１０１１と同じ大きさの領域を、他の動画構成画像における特徴領域として特定してよい。
【０１２０】
例えば、特徴領域特定部２５２は、特徴領域１０１１の位置、および参照関係９００、および動画構成画像９１０−４に関連づけられた動きベクトルに基づいて、動画構成画像９１０−１と直接的な参照関係にある動画構成画像９１０−４における特徴領域１０１４を特定することができる。また、特徴領域特定部２５２は、参照関係９０８および動画構成画像９１０−６に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−１と間接的な参照関係にある動画構成画像９１０−６における特徴領域１０１６を特定することができる。このように、特徴領域特定部２５２は、特徴領域１０１１と特徴領域１０１４との間の位置差を示す特徴領域ベクトル１０１０−１と、特徴領域１０１４と特徴領域１０１６との間の位置差を示す特徴領域ベクトル１０１０−２とを算出することができる。
【０１２１】
また、本図の（ｂ）を参照して、特徴領域１０２３は、特徴領域検出部２０３が、動画構成画像９１０−３から検出した特徴領域であるとする。一例として、特徴領域検出部２０３は、テンプレートマッチング等の画像認識処理により、特徴領域１０２３を検出する。
【０１２２】
特徴領域特定部２５２は、特徴領域１０２３の位置、参照関係９０３、および動画構成画像９１０−３に関連づけられた動きベクトルに基づいて、動画構成画像９１０−３と直接的な参照関係にある動画構成画像９１０−１における特徴領域１０２１を特定することができる。また、特徴領域特定部２５２は、参照関係９００および動画構成画像９１０−４に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−３と間接的な参照関係にある動画構成画像９１０−４における特徴領域１０２４を特定することができる。
【０１２３】
また、特徴領域特定部２５２は、参照関係９０５および動画構成画像９１０−７に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−３と間接的な参照関係にある動画構成画像９１０−７における特徴領域１０２７を特定することができる。また、特徴領域特定部２５２は、参照関係９０９および動画構成画像９１０−６に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−３と間接的な参照関係にある動画構成画像９１０−６における特徴領域１０２６を特定することができる。このように、特徴領域特定部２５２は、特徴領域１０２３と特徴領域１０２１との間の位置差を示す特徴領域ベクトル１０２０−２と、特徴領域１０２１と特徴領域１０２４との間の位置差を示す特徴領域ベクトル１０２０−２と、特徴領域１０２４と特徴領域１０２７との間の位置差を示す特徴領域ベクトル１０２０−３と、特徴領域１０２７と特徴領域１０２６との間の位置差を示す特徴領域ベクトル１０２０−４とを算出することができる。
【０１２４】
このように、特徴領域特定部２５２は、選択画像における特徴領域の位置、および複数の動画構成画像における動きベクトルに基づいて、非選択画像における特徴領域の位置を特定することができる。具体的には、特徴領域特定部２５２は、選択画像における特徴領域の位置、非選択画像における動きベクトル、および、選択画像における特徴領域および非選択画像と動きベクトルによって直接的または間接的な参照関係にある１以上の動画構成画像における動きベクトルに基づいて、選択画像における特徴領域と動きベクトルによって間接的な参照関係にある非選択画像における特徴領域の位置を特定する。具体的には、特徴領域特定部２５２は、選択画像における特徴領域と動きベクトルによって間接的な参照関係にある領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、特徴領域として特定する。このため、特徴領域特定部２５２は、非選択画像における特徴領域を高速に特定することができる。
【０１２５】
図１１は、動画構成画像９１０−６における特徴領域の一例を示す。ここで、特徴領域１１１０は、特徴領域検出部２０３がテンプレートマッチング等の画像認識処理により検出された特徴領域とする。また、参照関係領域１１１６は、図９および図１０に関連して説明したように、特徴領域特定部２５２が選択画像における特徴領域との直接的または間接的な参照関係に基づいて特定した領域であるとする。図９および図１０に関連する説明では、特徴領域特定部２５２は、参照領域を特徴領域として特定したが、本図の例では、特徴領域特定部２５２は、特徴領域検出部２０３が検出した特徴領域と、参照関係領域とに基づいて、特徴領域を特定する。
【０１２６】
具体的には、特徴領域特定部２５２は、特徴領域検出部２０３により検出された特徴領域１１１０と、参照関係領域１１１６とを包含する領域を、特徴領域として特定してよい。具体的には、特徴領域特定部２５２は、特徴領域検出部２０３により検出された特徴領域１１１０と、参照関係領域１１１６との和領域を、特徴領域として特定してよい。このように、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域の少なくとも一方を含む領域を、特徴領域として特定する。これにより、画像認識処理で特徴領域を検出し損ねた場合であっても、動きベクトルに基づく参照関係領域を特徴領域として特定することができる。このため、特徴領域をよりロバストに検出することができる。
【０１２７】
なお、特徴領域検出部２０３は全ての動画構成画像における特徴領域を検出してよい。また、特徴領域特定部２５２は、特徴領域検出部２０３によって複数の動画構成画像から検出された特徴領域のそれぞれに対する参照関係領域を、全ての動画構成画像において特定してよい。これにより、特徴領域検出のロバスト性を著しく高めることができる。
【０１２８】
他にも、特徴領域特定部２５２は、特徴領域検出部２０３により検出された特徴領域１１１０と参照関係領域１１１６との双方に含まれる領域１１２０を、特徴領域として特定してよい。このように、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域にともに含まれる領域を、特徴領域として特定してよい。このため、特徴領域として検出されるべき被写体が撮像されている確率が比較的に高い領域を特徴領域として特定することができる。以上説明したように、特徴領域特定部２５２は、選択画像における特徴領域と直接的または間接的な参照関係にある非選択画像における領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、特徴領域として特定する。
【０１２９】
なお、圧縮部２４０は、特徴領域特定部２５２が特定した特徴領域以外の領域の画像を、特徴領域特定部２５２が特定した特徴領域より高い圧縮強度で圧縮してよい。また、圧縮部２４０は、特徴領域１１１０および参照関係領域１１１６のいずれか一方に含まれる領域である領域１１２１および領域１１２２を、領域１１２０より高い圧縮強度で圧縮してよい。このように、圧縮部２４０は、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域のいずれか一方に含まれる領域の画像を、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域にともに含まれる領域より高い圧縮強度で圧縮してよい。これにより、特徴領域として特定された領域内においても、特徴領域として検出されるべき被写体が撮像されている確率が比較的に高い領域の情報量を高めることができる。
【０１３０】
上記の例では、特徴領域特定部２５２の動作原理を、フレーム単位で符号化方式が選択されたＩフレーム、Ｐフレーム、およびＢフレームを用いて説明した。ＰフレームおよびＢフレームにおいてイントラ符号化されているマクロブロックが存在しても、特徴領域特定部２５２は同様にして参照関係領域を特定することができる。また、フレーム間符号化およびフレーム内符号化がマクロブロック単位またはスライス単位で選択されて符号化された撮像動画データにおいても、特徴領域特定部２５２は同様にして参照関係領域を特定することができる。
【０１３１】
図１２は、識別された特徴領域の一例を示す。特徴領域１２０１および特徴領域１２０２は、ともに動画構成画像９１０−１における特徴領域であるとする。なお、特徴領域１２０１および特徴領域１２０２は、特徴領域検出部２０３が動画構成画像９１０−１から検出された特徴領域であってよく、特徴領域特定部２５２が特定した動画構成画像９１０−１における特徴領域であってもよい。また、特徴領域１２１１、特徴領域１２１２、および特徴領域１２１３は、いずれも特徴領域検出部２０３が動画構成画像９１０−７から検出した特徴領域であるとする。
【０１３２】
ここで、特徴領域特定部２５２は、特徴領域１２０１の位置および参照関係に基づいて、参照関係領域の位置を特定する。例えば、特徴領域特定部２５２は、特徴領域１２０１の点Ｐ１に対応する点Ｐ１'を特定する。また、特徴領域特定部２５２は、特徴領域１２０２の点Ｐ２に対応する点Ｐ２'を特定する。そして、特徴領域特定部２５２は、特徴領域１２１１において点Ｐ１または点Ｐ２に対応すべき対応点Ｐ３、特徴領域１２１２において点Ｐ１または点Ｐ２に対応すべき対応点Ｐ４、および特徴領域１２１３において点Ｐ１または点Ｐ２に対応すべき対応点Ｐ５のそれぞれの位置を、点Ｐ１'および点Ｐ２'のそれぞれの位置と比較する。例えば、特徴領域特定部２５２は、各対応点のそれぞれの位置と点Ｐ１'との間のそれぞれの距離、ならびに、各対応点のそれぞれの位置と点Ｐ２'との間のそれぞれの距離を算出する。
【０１３３】
そして、特徴領域特定部２５２は、予め定められた値以下の距離が算出された点の組を特定する。例えば、特徴領域特定部２５２は、対応点Ｐ３と点Ｐ２'の組、および、対応点Ｐ４と点Ｐ１'の組を、予め定められた値以下の距離が算出された点の組として特定する。そして、特徴領域特定部２５２は、対応点Ｐ４を持つ特徴領域１２１２に、特徴領域１２０１に撮像されている被写体と同じ被写体が撮像されていると判断する。また、特徴領域特定部２５２は、対応点Ｐ３を持つ特徴領域１２１１に、特徴領域１２０２に撮像されている被写体と同じ被写体が撮像されていると判断する。また、特徴領域特定部２５２は、特徴領域１２１３には、特徴領域１２０１に撮像されている被写体および特徴領域１２０２に撮像されている被写体のいずれとも異なる被写体が撮像されていると判断する。このようにして、特徴領域特定部２５２は、他の動画構成画像に含まれるオブジェクトとの同一性を推定することができる。
【０１３４】
このように、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域の位置と、非選択画像における参照関係領域の位置との間の距離が予め定められた値より大きい場合に、非選択画像における参照関係領域を、特徴領域検出部２０３が非選択画像から検出した特徴領域内に存在するオブジェクトと異なるオブジェクトが存在する特徴領域として特定する。また、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域の位置と、非選択画像における参照関係領域の位置との間の距離が予め定められた値以下である場合に、非選択画像における参照関係領域の少なくとも一部の領域を、特徴領域検出部２０３が非選択画像から検出した特徴領域内に存在するオブジェクトと同じオブジェクトが存在する特徴領域として特定してよい。
【０１３５】
図１３は、画像処理装置１２０におけるブロック構成の他の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、圧縮部２４０、動きベクトル取得部２５１、特徴領域特定部２５２、圧縮制御ユニット２７０、対応付け処理部２０６、および出力部２０７を有する。画像分割部２０４は、入力動画画質制御部２８０、画質低減部２８１、複数の階層間差分圧縮部２８２ａ−ｄ（以下、階層間差分圧縮部２８２と総称する。）を有する。
【０１３６】
なお、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、対応付け処理部２０６、および出力部２０７の機能および動作は、それぞれ図２から図１２に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、対応付け処理部２０６、および出力部２０７の機能および動作と略同一であるので、その相違点を除いて説明を省略する。
【０１３７】
圧縮制御ユニット２７０は、圧縮部２４０における圧縮処理を制御する。また、圧縮制御ユニット２７０は、特徴領域特定部２５２が特定した特徴領域を示す情報を対応付け処理部２０６に供給する。例えば、圧縮制御ユニット２７０は、特徴領域特定部２５２が特定した特徴領域を取得して、圧縮部２４０による特徴領域に対する圧縮処理を制御する。具体的には、圧縮制御ユニット２７０は、圧縮部２４０を制御して、圧縮部２４０に下記の圧縮処理を行わせる。
【０１３８】
入力動画画質制御部２８０は、圧縮動画伸張部２０２が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。画質低減部２８１は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部２８１は、生成した画質が異なる動画を階層間差分圧縮部２８２に提供する。具体的には、画質低減部２８１は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。
【０１３９】
そして、階層間差分圧縮部２８２は、予め定められた画質の動画を画質低減部２８１から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部２８２は、互いに異なる画質の動画を圧縮する。なお、階層間差分圧縮部２８２ａに供給される動画に含まれる動画構成画像は、階層間差分圧縮部２８２ｂ−ｄに供給される動画に含まれる動画構成画像である特徴領域画像より画質が低い。つまり、画質低減部２８１は、階層間差分圧縮部２８２ｂ−ｄに供給される特徴領域画像より低画質な低画質画像を生成して、階層間差分圧縮部２８２ａに供給する。
【０１４０】
このように、階層間差分圧縮部２８２ａは、階層間差分圧縮部２８２ｂ−ｄのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。なお、階層間差分圧縮部２８２ｂ−ｄは、階層間差分圧縮部２８２ｂ、階層間差分圧縮部２８２ｃ、および階層間差分圧縮部２８２ｄの順で解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。
【０１４１】
階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｂは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｂは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【０１４２】
また、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｃは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｃは、複数の特徴領域のうち、特徴領域の特徴量に応じた少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【０１４３】
また、階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｃが圧縮した動画構成画像を伸張する。そして、階層間差分圧縮部２８２ｄは、伸張して得られた動画構成画像を、入力動画画質制御部２８０から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｄは、拡大して得られた動画構成画像と入力動画画質制御部２８０から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｄは、複数の特徴領域のうち、特徴領域の特徴量に応じた少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【０１４４】
このように、階層間差分圧縮部２８２ｂ−ｄは、入力動画画質制御部２８０または画質低減部２８１から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。そして、対応付け処理部２０６は、階層間差分圧縮部２８２ａ−ｄによって圧縮して得られた複数の動画構成画像を含む圧縮動画データを、特徴領域を特定する情報に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報が対応づけられた圧縮動画データを画像処理装置１７０に送信する。このように、画像処理装置１２０は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
【０１４５】
図１４は、階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。階層間差分圧縮部２８２ａは、動き解析部２８５ａ、動き符号化部２８６ａ、差分処理部２８７ａ、および符号化部２８８ａを有する。動き解析部２８５ａは、差分対象領域決定部２９４ａおよび位置差情報生成部２９５ａを含む。差分処理部２８７ａは、差分画素画像生成部２９６ａ、空間周波数領域変換部２９７ａ、および量子化部２９８ａを含む。
【０１４６】
階層間差分圧縮部２８２ｂは、動き解析部２８５ｂ、動き符号化部２８６ｂ、差分処理部２８７ｂ、画像拡大部２９３ｂ、画像復号部２９２ｂ、画素値変更部２９１ｂ、および符号化部２８８ｂを有する。動き解析部２８５ｂは、差分対象領域決定部２９４ｂおよび位置差情報生成部２９５ｂを含む。差分処理部２８７ｂは、差分画素画像生成部２９６ｂ、空間周波数領域変換部２９７ｂ、量子化部２９８ｂ、および周波数領域画質変換部２９９ｂを含む。なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｂが有する構成要素と略同一の構成要素を有するので、説明を省略する。
【０１４７】
以下に、階層間差分圧縮部２８２ａの各構成要素の機能および動作について説明する。動き解析部２８５ａは、画質低減部２８１から受け取った複数の動画構成画像の画像内容に基づいて複数の動画構成画像にわたる動きを解析して、当該動きに基づいて動画構成画像を圧縮すべき部分領域を決定する。
【０１４８】
具体的には、差分対象領域決定部２９４ａは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部２９４ａは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部２８７ａに供給する。
【０１４９】
また、位置差情報生成部２９５ａは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ａは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部２９５ａは、生成した位置差情報を動き符号化部２８６ａに供給する。
【０１５０】
動き符号化部２８６ａは、位置差情報生成部２９５ａから供給された位置差情報を符号化して、対応付け処理部２０６に供給する。例えば、動き符号化部２８６は、隣接する部分領域における位置差情報との間の差を符号化して、対応付け処理部２０６に供給する。
【０１５１】
差分処理部２８７ａは、動き解析部２８５ａから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部２９６ａは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
【０１５２】
そして、空間周波数領域変換部２９７ａは、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ａは、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部２９７ａは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。
【０１５３】
なお、動き解析部２８５ａが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部２８７ａは圧縮対象の部分領域の画素情報を空間周波数領域変換部２９７ａに供給する。空間周波数領域変換部２９７ａは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。
【０１５４】
量子化部２９８ａは、空間周波数領域変換部２９７ａが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部２８８ａは、量子化部２９８ａによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部２８８は、量子化部２９８ａによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部２８８ａは、符号化した動画を、対応付け処理部２０６に供給する。
【０１５５】
以下に、階層間差分圧縮部２８２ｂが含む各構成要素の機能および動作について説明する。階層間差分圧縮部２８２ｂが含む構成要素のうち、階層間差分圧縮部２８２ａが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部２８２ａが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
【０１５６】
差分対象領域決定部２９４ｂは、差分対象領域決定部２９４ａと同様に、画質低減部２８１から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部２９４ｂは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部２９４ｂは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部２９１ｂに供給する。
【０１５７】
また、画像復号部２９２ｂは、符号化部２８８ａから動画構成画像を取得するとともに、動き符号化部２８６ａから位置差情報を取得する。そして、画像復号部２９２ｂは、符号化部２８８ａから取得した動画構成画像を、動き符号化部２８６ａから取得した位置差情報を用いて復号する。なお、画像復号部２９２ｂは、量子化部２９８ａにより量子化された動画構成画像を取得して復号してよく、符号化部２８８ａが符号化した動画構成画像を取得して復号してもよい。
【０１５８】
画像拡大部２９３ｂは、画像復号部２９２ｂにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部２９１ｂは、差分対象領域決定部２９４ｂが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。このように、画素値変更部２９１ｂは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。
【０１５９】
差分処理部２８７ｂは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部２９１ｂから受け取る。そして、差分処理部２８７ｂは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか（以下、イントラ符号化と呼ぶ。）、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか（以下、インター符号化と呼ぶ。）、拡大画像との間の差分により符号化するか（以下、階層間符号化と呼ぶ。）を決定する。このとき、差分処理部２８７ｂは符号化後の符号量がより小さい符号化方法をより優先して選択する。なお、特徴領域以外の領域においては、差分を持たないように画素値が置き換えられているので階層間符号化が選択される。したがって、階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
【０１６０】
階層間符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部２９６ｂは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
【０１６１】
インター符号化が選択された場合には、差分画素画像生成部２９６ｂは、画素値変更部２９１ｂにより生成された特徴領域画像と、他の動画構成画像から画素値変更部２９１ｂが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部２９４ｂが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域において差分対象領域決定部２９４ｂが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部２９４ｂが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
【０１６２】
なお、イントラ符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
【０１６３】
空間周波数領域変換部２９７ｂは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ｂは、差分画素画像が示す差分値を、空間周波数領域変換部２９７ａと同様に、離散コサイン変換（ＤＣＴ）、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部２９８ｂは、量子化部２９８ａと同様に、空間周波数領域変換部２９７ｂが空間周波数領域に変換することによって得られた変換係数を量子化する。
【０１６４】
そして、周波数領域画質変換部２９９ｂは、空間周波数領域変換部２９７ｂにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像を生成する。具体的には、周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数を０にしてもよい。
【０１６５】
このように、差分処理部２８７ｂは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部２８８ｂは、差分処理部２８７ｂが生成した特徴領域差分画像を符号化する。
【０１６６】
また、上記したように、差分処理部２８７ｂは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部２８７は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
【０１６７】
なお、以上の説明においては、画素値変更部２９１ｂは、差分画素画像における少なくとも特徴領域以外の領域（予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域）において差分値を０とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を０とすることもできる。
【０１６８】
例えば、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を０とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【０１６９】
このように、画素値変更部２９１ｂは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部２９６は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
【０１７０】
なお、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部２８２（例えば、階層間差分圧縮部２８２ａ）に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略０にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【０１７１】
なお、位置差情報生成部２９５ｂは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ｂは、位置差情報生成部２９５ａと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
【０１７２】
位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部２９０ｂは、動き符号化部２８６ａから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域における動きベクトルの大きさを０にする。例えば、位置差情報変更部２９０ｂは、特徴領域以外の領域について、位置差情報生成部２９５ｂから受け取った動きベクトルの大きさを０にするとともに、動き符号化部２８６ａから受け取った動きベクトルの大きさを０にする。
【０１７３】
そして、動き符号化部２８６ｂは、位置差情報を符号化する。具体的には、動き符号化部２８６ｂは、動き符号化部２８６ａと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部２８６ｂにより符号化された位置差情報は、対応付け処理部２０６に供給される。
【０１７４】
なお、本実施形態では、位置差情報変更部２９０は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部２９０ｂは、動き符号化部２８６ｂにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部２９０ｂは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部２８６により符号化された位置差情報を変更してもよい。
【０１７５】
なお、符号化部２８８ｂは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
【０１７６】
例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、ＭＰＥＧ符号化におけるＮｏｎＭＣ ＮｏｔＣｏｄｅｄに相当する種別であってよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂが動きベクトルの大きさおよび差分情報が０であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部２８２ｂは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
【０１７７】
なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｂと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄが有する、階層間差分圧縮部２８２と同名の構成要素には同じ符号を付す。そして、符号の末尾（ｂ、ｃ、ｄ）により、階層間差分圧縮部２８２ｂ−ｄのいずれに含まれる構成要素であるかを区別する。
【０１７８】
例えば、動き解析部２８５ｃは階層間差分圧縮部２８２ｃが有する構成要素の一つであって、動き解析部２８５ｄは階層間差分圧縮部２８２ｄが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部２８２ｂ−ｄが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部２９１は、画素値変更部２９１ｂ−ｄを示す。
【０１７９】
なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄの機能および動作と、階層間差分圧縮部２８２ｂの機能および動作とは、画質低減部２８１から異なる画質の動画を取得して処理すること、および位置差情報変更部２９０ｃおよびｄ、ならびに画像復号部２９２ｃおよびｄが、より画質が低い動画を処理する他の階層間差分圧縮部２８２から、差分処理用の位置差情報および動画構成画像を取得するところが異なる。
【０１８０】
より具体的には、位置差情報変更部２９０ｃは、動き符号化部２８６ｂから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｃは、動き符号化部２８６ｂから位置差情報を取得するとともに、符号化部２８８ｂから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。また、位置差情報変更部２９０ｄは、動き符号化部２８６ｃから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｄは、動き符号化部２８６ｃから位置差情報を取得するとともに、符号化部２８８ｃから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
【０１８１】
なお、特徴領域検出部２０３は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部２８１は、一の特徴の種類を持つ特徴領域において解像度を低減することにより当該動画構成画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を当該動画構成画像から生成する。階層間差分圧縮部２８２ｂ−ｃは、特徴領域の種類ごとに用意されており、階層間差分圧縮部２８２ｂ−ｃのそれぞれは、少なくとも予め定められた種類の特徴領域において特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を圧縮する。
【０１８２】
具体的には、階層間差分圧縮部２８２ｂは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部２８２ｃは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。そして、階層間差分圧縮部２８２ｄは、予め定められた他の種類の特徴領域において高い解像度を持つ高解像度特徴領域画像を処理する。
【０１８３】
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０１８４】
以上説明したように、差分処理部２８７は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
【０１８５】
また、符号化部２８８は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、対応付け処理部２０６は、動き符号化部２８６ａ−ｄにより符号化された位置差情報および符号化部２８８ａ−ｄにより符号化された動画構成画像（例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像）を、特徴領域を特定する情報と対応づける。
【０１８６】
以上説明したように、階層間差分圧縮部２８２ａは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｃよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、特徴領域以外の領域において、階層間差分圧縮部２８２ａが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１８７】
同様に、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｄよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｃよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、特徴領域以外の領域において、それぞれ階層間差分圧縮部２８２ｂおよびｃが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１８８】
このように、階層間差分圧縮部２８２ｂ−ｄのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部２８２ｂ−ｄは、他の階層間差分圧縮部２８２が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
【０１８９】
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部２８２ｂ−ｄは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部２８２に供給してよい。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
【０１９０】
なお、画像処理装置１２０は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置１２０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを階層毎に復号することで、複数の動画構成画像を各階層毎に得ることができる。そして画像処理装置１７０は、得られた動画構成画像において階層間差分により符号化されている領域については、差分対象となった他階層の動画構成画像上の領域と加算する。これにより、画像処理装置１７０は、複数の階層のそれぞれについて、動画に含まれる複数の動画構成画像を生成することができる。
【０１９１】
図１５は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、画像処理装置１２０に替えて、撮像装置１００ａ−ｄがそれぞれ画像処理部１６０４ａ−ｄ（以下、画像処理部１６０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
【０１９２】
画像処理部１６０４は、画像処理装置１２０に含まれる構成要素のうち、圧縮動画取得部２０１および圧縮動画伸張部２０２を除く構成要素を有している。そして、画像処理部１６０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１４にかけて画像処理システム１０に関連して説明した効果と同様の効果が得ることができる。
【０１９３】
なお、画像処理部１６０４は、ＲＡＷ形式で表された複数の動画構成画像を含む撮像動画を撮像部１０２から取得してよい。そして、画像処理部１６０４は、ＲＡＷ形式で表された複数の動画構成画像のそれぞれから、１以上の特徴領域を検出してよい。また、画像処理部１６０４は、取得した撮像動画に含まれるＲＡＷ形式で表された複数の動画構成画像をＲＡＷ形式のまま圧縮してよい。このとき、画像処理部１６０４は、図１〜図１４にかけて画像処理装置１２０の動作に関連して説明した圧縮方法で、撮像動画を圧縮することができる。
【０１９４】
なお、画像処理装置１７０は、画像処理部１６０４から取得した圧縮動画を伸張することにより、ＲＡＷ形式で表された複数の動画構成画像を取得することができる。そして、画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の動画構成画像を、例えば特徴領域以外の領域および複数の特徴領域を含む複数の領域毎に同時化処理を施してよい。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【０１９５】
なお、画像処理装置１７０は、同時化処理によって得られた動画構成画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置１７０における超解像処理としては、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開２００４−８８６１５号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
【０１９６】
なお、画像処理装置１７０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置１７０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施してよい。この場合、画像処理装置１７０は、特開２００６−３５０４９８号公報に記載されたような主成分分析（ＰＣＡ）に基づくモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置１７０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【０１９７】
このように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
【０１９８】
また、学習データとしては、特開２００６−３５０４９８号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ−ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。
【０１９９】
そして、画像処理装置１７０は、動画構成画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置１７０は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置１７０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置１７０は、動画構成画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。
【０２００】
そして、画像処理装置１７０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置１７０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置１７０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。なお、図１〜１４に関連して説明した画像処理システム１０の構成においても、画像処理装置１７０は、特徴領域の画像に上述した超解像処理を施すことができる。
【０２０１】
なお、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部１６０４は、撮像部１０２から取得した複数の動画構成画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部１６０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部１６０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。
【０２０２】
この場合、画像処理装置１７０は、画像処理部１６０４から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部１６０４は、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。
【０２０３】
図１６は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
【０２０４】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０２０５】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。
【０２０６】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０２０７】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【０２０８】
ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１５に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、および画像生成部２０５として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１５に関連して説明した固定値化部２１１、画質低減部２２１、符号化部２３１、対応付け処理部２０６、出力部２０７、および圧縮制御ユニット２７０として機能させる。
【０２０９】
また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１５に関連して説明した動きベクトル取得部２５１、特徴領域特定部２５２および包含領域特定部２６１として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１７０を、図１から図１５に関連して説明した圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張部３１１、合成部３０３、および出力部３０４として機能させる。
【０２１０】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。
【０２１１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０２１２】
【図１】一実施形態に係る画像処理システム１０の一例を示す。
【図２】画像処理装置１２０のブロック構成の一例を示す。
【図３】画像処理装置１７０のブロック構成の一例を示す。
【図４】画像処理装置１２０の処理フローの一例を示す。
【図５】複数の特徴領域動画および背景領域動画の画質の一例を示す。
【図６】画像処理装置１７０の処理フローの一例を示す。
【図７】複数の動画構成画像において特徴領域を特定する方法の一例を示す。
【図８】包含領域以外の領域を固定値化する方法の一例を示す。
【図９】動画構成画像の参照関係の一例を示す図である。
【図１０】参照関係で結ばれた特徴領域の一例を示す図である。
【図１１】動画構成画像９１０−６における特徴領域の一例を示す図である。
【図１２】識別された特徴領域の一例を示す図である。
【図１３】画像処理装置１２０におけるブロック構成の他の一例を示す図である。
【図１４】階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す図である。
【図１５】他の実施形態に係る画像処理システム２０の一例を示す図である。
【図１６】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。
【符号の説明】
【０２１３】
１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像動画圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０４ 画像分割部
２０５ 画像生成部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ａ 背景領域動画符号化部
２３１ｂ−ｄ 特徴領域動画符号化部
２４０ 圧縮部
２５１ 動きベクトル取得部
２５２ 特徴領域特定部
２６０ 包含領域特定ユニット
２６１ 包含領域特定部
２７０ 圧縮制御ユニット
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 合成部
３０４ 出力部
１６０４ 画像処理部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を圧縮する画像処理装置および画像処理方法、並びに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
動画像において検出された顔を含む画像ブロックのうち、目、口などを含む画像ブロックに対して、他の画像ブロックより多くの情報ビット数を割り当てて符号化する画像符号化装置が知られている（例えば、特許文献１参照。）。
【特許文献１】特許第２８２８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の技術によると、画像符号化装置は、複数のフレームのそれぞれから、顔、目、口などを含む画像ブロックを検出している。このため、顔、目、口などを含む画像ブロックを検出するときに、多くの時間を費やす場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、複数の動画構成画像を含む動画を処理する画像処理装置であって、動画構成画像から、特徴領域を検出する特徴領域検出部と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部とを備える。
【０００５】
特徴領域特定部は、非選択画像より前にある選択画像および非選択画像より後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定してよい。動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、特徴領域特定部は、選択画像における特徴領域の位置および動きベクトルに基づいて、非選択画像における特徴領域の位置を特定してよい。
【０００６】
動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、圧縮動画取得部によって取得された動画を伸張する圧縮動画伸張部とをさらに備え、特徴領域検出部は、圧縮動画伸張部によって伸張された動画から選択された選択画像から、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得された動画に含まれる動きベクトルを取得し、特徴領域特定部は、選択画像における特徴領域の位置および動きベクトルに基づいて、圧縮動画伸張部によって伸張された動画から選択されなかった非選択画像における特徴領域の位置を特定してよい。圧縮動画取得部は、動きベクトルを含むＭＰＥＧ動画を取得し、圧縮動画伸張部は、圧縮動画取得部によって取得されたＭＰＥＧ動画を伸張し、特徴領域検出部は、伸張されたＭＰＥＧ動画に含まれる選択画像から、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得されたＭＰＥＧ動画に含まれる動きベクトルを取得してよい。
【０００７】
選択画像および非選択画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する画像分割部と、特徴領域の画像と背景領域の画像とを、それぞれ異なる強度で符号化する符号化部とをさらに備えてよい。選択画像から検出された特徴領域、および非選択画像において特定された特徴領域を包含する包含領域を特定する包含領域特定部と、選択画像および非選択画像のそれぞれにおける包含領域以外の領域の画素値を固定値化する固定値化部とをさらに備え、符号化部は、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化してよい。
【０００８】
本発明の第２の形態によると、複数の動画構成画像を含む動画を処理する画像処理方法であって、動画構成画像から、特徴領域を検出する特徴領域検出段階と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定段階とを備える。
【０００９】
本発明の第３の形態によると、複数の動画構成画像を含む動画を処理する画像処理装置用のプログラムであって、画像処理装置を、動画構成画像から、特徴領域を検出する特徴領域検出部、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００１３】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
【００１４】
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１５】
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
【００１６】
具体的には、撮像装置１００ａは、撮像部１０２ａおよび撮像動画圧縮部１０４ａを有する。撮像部１０２ａは、監視対象空間１５０を撮像することにより、撮像動画に含まれる複数の動画構成画像を生成する。なお、撮像部１０２ａは、ＲＡＷ形式の動画構成画像を生成してよい。撮像動画圧縮部１０４ａは、撮像部１０２ａにより生成されたＲＡＷ形式の動画構成画像を同時化して、同時化して得られた複数の動画構成画像を含む撮像動画をＭＰＥＧ符号化等により圧縮することにより、撮像動画データを生成する。
【００１７】
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
【００１８】
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１９】
画像処理装置１７０は、画像処理装置１２０ａから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００２０】
なお、画像処理装置１７０は、生成した合成動画または画像処理装置１２０ａから取得した撮像動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、画像ＤＢ１７５に記録された合成動画を、表示装置１８０ａからの要求に応じて表示装置１８０ａに供給してよい。また、画像処理装置１７０は、表示装置１８０ａからの要求に応じて、画像ＤＢ１７５に記録された撮像動画データを上述したように復号して表示装置１８０ａに供給してもよい。なお、画像ＤＢ１７５は、一例としてハードディスク等の不揮発性の記録媒体を有してよく、画像処理装置１７０から供給された合成動画を当該記録媒体に記録してよい。
【００２１】
なお、撮像装置１００ｂおよび撮像装置１００ｃは、撮像部１０２ａが有する構成要素と同様の機能を有する構成要素を有している。撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。なお、以下の説明では、撮像部１０２ａ〜ｃを撮像部１０２と総称する場合があり、撮像動画圧縮部１０４ａ〜ｃを撮像動画圧縮部１０４と総称する場合がある。
【００２２】
また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００２３】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００２４】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、および画像生成部２０５を有する。また、画像処理装置１２０は、動きベクトル取得部２５１、特徴領域特定部２５２、包含領域特定ユニット２６０、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、対応付け処理部２０６、および出力部２０７を有する。
【００２５】
包含領域特定ユニット２６０は、複数の包含領域特定部２６１ａ−２６１ｃ（以下、包含領域特定部２６１と総称する。）を含む。固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。低減化ユニット２２０は、複数の画質低減部２２１ａ−ｄ（以下、画質低減部２２１と総称する。）を含む。
【００２６】
符号化ユニット２３０は、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄを総称して、符号化部２３１と呼ぶ場合がある。
【００２７】
なお、画質低減部２２１ａおよび背景領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。また、画質低減部２２１ｂおよび背景領域動画符号化部２３１ｂは、圧縮部２４０ｂとして機能する。同様に、画質低減部２２１ｃおよび背景領域動画符号化部２３１ｃは圧縮部２４０ｃとして機能する。画質低減部２２１ｄおよび背景領域動画符号化部２３１ｄは圧縮部２４０ｄとして機能する。なお、複数の圧縮部２４０ａ−ｄを、圧縮部２４０と総称する。
【００２８】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。例えば、圧縮動画取得部２０１は、動きベクトルを含むＭＰＥＧ動画を取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
【００２９】
具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。例えば、圧縮動画伸張部２０２は、圧縮動画取得部２０１によって取得されたＭＰＥＧ動画を伸張する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、圧縮された動画は、当該動画における被写体の動きベクトルを含む。
【００３０】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。具体的には、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。より具体的には、特徴領域検出部２０３は、圧縮動画伸張部２０２によって伸張された動画から、任意の間隔毎、または動画の内容に基づいて算出された時間間隔毎に動画構成画像を選択した後に、選択された動画構成画像である選択画像から、特徴領域を検出する。例えば、特徴領域検出部２０３は、圧縮動画伸張部２０２によって伸張されたＭＰＥＧ動画から複数のＩフレームを選択した後に、選択された複数のＩフレームのそれぞれから、特徴領域を検出する。また、特徴領域検出部２０３は、動画の動物体の速度、または動画のシーン輝度の変化に応じて、選択画像として選択する動画構成画像の間隔を調整してもよい。
【００３１】
動きベクトル取得部２５１は、動画における被写体の動きベクトルを取得する。具体的には、動きベクトル取得部２５１は、圧縮動画取得部２０１によって取得された動画（撮像動画データ）に含まれる動きベクトルを取得する。より具体的には、動きベクトル取得部２５１は、圧縮動画取得部２０１によって取得されたＭＰＥＧ動画に含まれる動きベクトルを取得する。なお、動きベクトル取得部２５１が、圧縮動画取得部２０１によって取得された動画から動きベクトルを取得できない場合、動きベクトル取得部２５１は、圧縮動画伸張部２０２によって伸張された動画に含まれる複数の動画構成画像に基づいて、当該動画の動きベクトルを算出してもよい。
【００３２】
特徴領域特定部２５２は、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、動画から選択されなかった動画構成画像である非選択画像における特徴領域の位置を特定する。具体的には、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある選択画像、および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定する。
【００３３】
より具体的には、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある選択画像、および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定する。例えば、特徴領域特定部２５２は、非選択画像であるＰフレームまたはＢフレームより時間軸方向の前後にある選択画像であるＩフレームのそれぞれにおける特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像であるＰフレームまたはＢフレームにおける特徴領域の位置を特定する。
【００３４】
なお、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある一つまたは複数の選択画像における特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部２５２は、非選択画像より時間軸方向の後ろにある一つまたは複数の選択画像における特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定してもよい。
【００３５】
また、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある選択画像および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部２５２は、非選択画像より時間軸方向の前にある一つまたは複数の選択画像における特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部２５２は、非選択画像より時間軸方向の後ろにある一つまたは複数の選択画像における特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。
【００３６】
画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。具体的には、画像分割部２０４は、複数の動画構成画像のそれぞれを、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。
【００３７】
画像生成部２０５は、特徴領域動画を圧縮するための特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画に含まれる複数の動画構成画像から、特徴領域画像を抽出した後に、抽出された特徴領域画像を複製することにより、特徴領域圧縮用動画を生成する。より具体的には、画像生成部２０５は、動画に含まれる複数の動画構成画像から、複数種類の特徴領域画像を抽出することにより、複数の特徴領域圧縮用動画を生成する。また、画像生成部２０５は、動画に含まれる複数の動画構成画像から、背景領域画像を抽出した後に、抽出された背景領域画像を複製することにより、背景領域圧縮用動画を生成する。
【００３８】
包含領域特定部２６１は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する包含領域を特定する。具体的には、包含領域特定部２６１は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する、マクロブロックの集合領域を、包含領域として特定する。
【００３９】
そして、固定値化部２１１は、複数の特徴領域圧縮用動画のそれぞれにおける、複数の動画構成画像のそれぞれにおいて、包含領域特定部２６１によって特定された包含領域以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、包含領域以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。
【００４０】
そして、圧縮部２４０は、包含領域以外の領域の画素値が固定値化された動画構成画像を複数含む、複数の特徴領域圧縮用画像のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。また、圧縮部２４０は、複数の特徴領域圧縮用画像のそれぞれに対して、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化する。
【００４１】
このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
【００４２】
以上説明したように、特徴領域検出部２０３は、画像から特徴領域を検出する。そして、画像分割部２０４は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部２４０は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００４３】
なお、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
【００４４】
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
【００４５】
圧縮部２４０における画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。
【００４６】
圧縮部２４０における符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
【００４７】
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部２０７は、対応付け処理部２０６が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク１１０に送出する。
【００４８】
なお、特徴領域検出部２０３は、特願２００８−０７８６４１号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部２０３は、生成された画像群のうちの相対的に小さい第１の画像に、第１のフィルタを作用させて、評価値を算出する。ここで、第１のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第１のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。特徴領域検出部２０３は、所定の第１の閾値を越える評価値が得られた一次候補領域を、第１の画像から抽出する。
【００４９】
そして、特徴領域検出部２０３は、第１の画像よりも画素数が一段階多い第２の画像における一次候補領域に相当する領域に、フィルタ群のうちの第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて、評価値を算出する。そして、特徴領域検出部２０３は、所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する。
【００５０】
ここで、特徴領域検出部２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部２０３は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域検出部２０３は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。
【００５１】
また、特徴領域検出部２０３は、特願２００８−０７８６３６号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域検出部２０３は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域検出部２０３は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部２０３は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部２０３は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、特徴領域検出部２０３は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域検出部２０３は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。
【００５２】
なお、特徴領域検出部２０３は、特願２００８−０７８６３６号に記載された方法と、特願２００８−０７８６４１号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願２００８−０７８６３６号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域検出部２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部２０３は、画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域検出部２０３は、該複数の第１のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部２０３は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部２０３は、求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。
【００５３】
また、特徴領域検出部２０３は、上記画像群のうちの第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域に複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域検出部２０３は、当該複数の第２のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部２０３は、複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部２０３は、求められた二次評価値と第２の閾値とを比較して第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。
【００５４】
ここで、特徴領域検出部２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部２０３は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。
【００５５】
また、特徴領域検出部２０３は、特願２００８−０９８６００号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、複数の撮像装置１００により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置１００ａおよび撮像装置１００ｂは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置１００ａおよび撮像装置１００ｂは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置１００ａが撮像した第１の撮像画像と、撮像装置１００ｂが撮像した第２の撮像画像とを、ペア画像と呼ぶ。特徴領域検出部２０３は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。
【００５６】
特徴領域検出部２０３は、ペア画像とみなされる第１および第２の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域検出部２０３は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、特徴領域検出部２０３は、抽出した第１の撮像画像上の領域と第２の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域検出部２０３は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。特徴領域検出部２０３は、被写体までの距離に基づく被写体の３次元形状に基づいて、特定種類のオブジェクトを検出することができる。
【００５７】
ここで、特徴領域検出部２０３は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第１および第２の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域検出部２０３は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル（例えば、画素値勾配ベクトル）を例示することができる。そして、特徴領域検出部２０３は、算出された第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出する。特徴領域検出部２０３は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域検出部２０３は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域検出部２０３は、被写体の３次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。
【００５８】
また、特徴領域検出部２０３は、特願２００８−０９１５６２号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部２０３は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置１００の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域検出部２０３は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域検出部２０３は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域検出部２０３は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域検出部２０３は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。
【００５９】
なお、撮像装置１００が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置１００の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置１００により、一の撮像装置１００が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置１００のそれぞれの撮像方向、および複数の撮像装置１００のそれぞれにより撮像された撮像画像上の位置を例示することができる。
【００６０】
なお、本図の構成では、画像処理装置１２０が有する複数の圧縮部２４０のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の構成では、画像処理装置１２０は一の圧縮部２４０を有してよく、一の圧縮部２４０が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮部２４０に時分割で順次供給され、一の圧縮部２４０が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【００６１】
他にも、一の圧縮部２４０は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮部２４０に供給され、供給された複数の特徴領域の画像および背景領域の画像を一の圧縮部２４０がそれぞれ圧縮してよい。
【００６２】
また、上記のように一の圧縮部２４０が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮部２４０が圧縮する形態では、一の圧縮部２４０は、一の画像を圧縮してもよく、本図で説明したように画像分割部２０４によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮部２４０が一の画像を圧縮する場合には、画像分割部２０４による分割処理および固定値化部２１１による固定値化処理はなされなくてよいので、画像処理装置１２０は、画像分割部２０４および固定値化ユニット２１０を有しなくてよい。
【００６３】
図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、合成部３０３、および出力部３０４を有する。圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｄ（以下、圧縮動画伸張部３１１と総称する。）を含む。
【００６４】
圧縮動画取得部３０１は、出力部２０７が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
【００６５】
圧縮動画伸張部３１１は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部３１１ａは背景領域動画データを復号する。また、圧縮動画伸張部３１１ｂ−ｄは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部３１１ｂ−ｄは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
【００６６】
合成部３０３は、圧縮動画伸張部３１１が復号することによって得られた動画構成画像を合成する。具体的には、合成部３０３は、圧縮動画伸張部３１１ｂ−ｄにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。なお、出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、画像ＤＢ１７５に記録してもよい。なお、画像処理装置１７０は、出力部２０７から対応づけられて出力された複数の特徴領域動画データおよび背景領域動画データを、画像ＤＢ１７５に記録してよい。この場合、圧縮動画取得部３０１は、画像ＤＢ１７５に記録されている、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得してもよい。
【００６７】
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号した得られた動画を出力部３０４が出力してもよい。
【００６８】
図４は、画像処理装置１２０の処理フローの一例を示す。圧縮動画取得部２０１が撮像動画データを取得（４０１）。圧縮動画伸張部２０２は、撮像動画データを復号することによって複数のフレーム画像４１０を生成する。特徴領域検出部２０３は、フレーム画像４１０の画像内容又は複数のフレーム画像４１０の画像内容に基づいて、特徴領域の一例であるＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出する（４０２）。
【００６９】
特徴領域検出部２０３は、人物の顔、人体、および移動物体を含む領域を、異なる種類のＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をＲＯＩとする。また、特徴領域検出部２０３は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をＲＯＩとする。なお、特徴領域検出部２０３は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【００７０】
また、特徴領域検出部２０３は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部２０３は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部２０３は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。
【００７１】
このように、特徴領域検出部２０３は、予め定められた画像内容に関する条件に適合する領域を、ＲＯＩとして検出する。より具体的には、特徴領域検出部２０３は、予め定められた条件に適合するオブジェクトを含む領域を、ＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ＲＯＩとして検出する。また、特徴領域検出部２０３は、画像の変化量が予め定められた変化量より大きい領域を、ＲＯＩとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をＲＯＩとして検出する。
【００７２】
なお、特徴領域検出部２０３は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、ＲＯＩとして検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をＲＯＩとして検出してよい。
【００７３】
また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、ＲＯＩを検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、ＲＯＩとして検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域をＲＯＩとして検出することができる。なお、特徴領域検出部２０３は、矩形を含む任意の形状を有するＲＯＩを検出してよい。
【００７４】
そして、画像処理装置１２０は、検出されたＲＯＩに基づいて圧縮用動画を生成する（４０３）。具体的には、画像分割部２０４は、フレーム画像をＲＯＩとそれ以外の領域に分割する。そして、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とを生成する。具体的には、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、顔領域用の特徴領域動画４５０、人領域用の特徴領域動画４４０、動領域用の特徴領域動画４３０、および背景領域用の背景領域動画４２０を生成する。
【００７５】
そして、画像処理装置１２０は、固定値化部２１１および画質低減部２２１により、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とに対して、画質を低減する（４０４ａ、４０４ｂ、４０４ｃ、４０４ｄ）。具体的には、固定値化部２１１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像において、画像分割部２０４が分割したＲＯＩ内の画素値は変化させず、ＲＯＩ以外の領域に対する画素値を所定の値（例えば、輝度値０）にする。なお、固定値化部２１１は、ＲＯＩ以外の領域の画素値を、当該ＲＯＩに近傍する領域の画素値の平均的な画素値にしてよい。
【００７６】
このように、画像生成部２０５および固定値化部２１１により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０および背景領域動画４２０が生成される。なお、後に詳しく説明するように、画像処理装置１７０は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のようなＲＯＩ以外の領域が固定値化されている動画を、背景領域動画４２０に重ね合わせた動画を生成する。したがって、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。
【００７７】
また、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも１つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。
【００７８】
そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部２２１は、背景領域動画のフレーム画像の画質を、ＲＯＩ内の画像の画質より低くする。例えば、画質低減部２２１は、背景領域動画のフレーム画像の解像度を、ＲＯＩ内の画像のより小さくする。
【００７９】
また、画質低減部２２１は、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。また、画質低減部２２１は、背景領域動画４２０に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画４２０のフレームレートを低減する。
【００８０】
なお、画質低減部２２１ａは、背景領域動画４２０の画質を低減する。また、画質低減部２２１ｂ、画質低減部２２１ｃ、および画質低減部２２１ｄは、それぞれ特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０の画質を低減する。
【００８１】
そして、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれ符号化する（４０５ａ、４０５ｂ、４０５ｃ、４０５ｄ）。例えば、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれＭＰＥＧ符号化する。
【００８２】
例えば、背景領域動画符号化部２３１ａは、背景領域動画用の符号化設定で背景領域動画をＭＰＥＧ符号化する。特徴領域動画符号化部２３１ｂ、特徴領域動画符号化部２３１ｃ、および特徴領域動画符号化部２３１ｄは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれＭＰＥＧ符号化する。なお、符号化設定は、例えばＭＰＥＧ符号化における量子化テーブルを設定することを含む。なお、符号化設定については図５に関連して説明する。
【００８３】
そして、対応付け処理部２０６は、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部２０７が表示装置１８０に出力する（４０６）。このとき、対応付け処理部２０６は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報（例えば、タイムスタンプ）を、タグ情報等に付加してよい。また、対応付け処理部２０６は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置１００を識別する識別情報等を、タグ情報等に付加してよい。
【００８４】
以上説明したように、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。
【００８５】
また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部２０３は、撮像装置１００から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。
【００８６】
なお、圧縮部２４０は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔がに大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム１０を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より高画質にするとした。しかしながら、画像処理システム１０を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム１０を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より低画質にしてもよい。例えば圧縮部２４０は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。
【００８７】
その他にも、特徴領域検出部２０３は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部２２１は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。
【００８８】
以上説明したように、画像処理装置１２０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置１２０によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、ＭＰＥＧ符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が０になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置１２０の製造コストを低減することができる場合がある。
【００８９】
以上の説明では、圧縮部２４０は、ＲＯＩ領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部２４０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ内の画像を切り出して圧縮して特徴領域動画として出力してもよい。
【００９０】
なお、特徴領域検出部２０３がＲＯＩを検出していない場合には、出力部２０７は、圧縮部２４０ａが出力する背景領域動画データを画像処理装置１７０に出力する。この場合、画像生成部２０５は特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成しなくてよい。そして、画像生成部２０５は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成して、出力部２０７は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置１７０に出力する。この間、圧縮部２４０ａは、背景領域動画４２０を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画４２０を圧縮しつづけてよい。
【００９１】
その他にも、特徴領域検出部２０３がＲＯＩを検出していない間には、圧縮部２４０は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたＲＯＩ非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部２４０は、特徴領域動画をＲＯＩ非検出期間圧縮率より低い圧縮率で圧縮してよい。
【００９２】
なお、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出してから予め定められた期間の背景領域動画をＲＯＩ非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ＲＯＩとして検出されるべき領域がＲＯＩとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部２４０は、特徴領域検出部２０３が検出した複数のフレーム画像におけるＲＯＩ領域の位置から推定される他のフレーム画像におけるＲＯＩ領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。
【００９３】
図５は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部２０１が取得した撮像動画データのフレームレートが１６ｆｐｓであり、当該撮像動画データに含まれるフレーム画像の解像度が７２ｄｐｉであるとする。
【００９４】
撮像動画に含まれるフレーム画像４１０の解像度に対する画質低減後の背景領域動画４２０に含まれるフレーム画像の解像度の比率を示す解像度比率は予め１／８と定められている。画質低減部２２１は、画像生成部２０５によって撮像動画が複製されることによって生成された画質低減前の背景領域動画４２０に含まれるフレーム画像に対して１／８の解像度である９ｄｐｉのフレーム画像を、画質低減前の背景領域動画４２０に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画４２０のフレームレートの比率を示すフレームレート比率は予め１／８と定められている。画質低減部２２１は、画質低減前の背景領域動画４２０のフレームレートの１／８のフレームレートである２ｆｐｓのフレームレートの背景領域動画４２０を、画質低減前の背景領域動画４２０に含まれるフレーム画像を間引くことによって生成する。
【００９５】
同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画４３０については解像度比率およびフレームレート比率は１／４が定められており、特徴領域動画４４０については解像度比率およびフレームレート比率として１／２が定められており、特徴領域動画４５０については解像度比率およびフレームレート比率として１／１が定められている。これにより、画質低減部２２１ｂは、フレームレートが４ｆｐｓ、フレーム画像の解像度が１８ｄｐｉの特徴領域動画４３０を生成する。また、画質低減部２２１ｃは、フレームレートが８ｆｐｓ、フレーム画像の解像度が３６ｄｐｉの特徴領域動画４４０を生成する。また、画質低減部２２１ｄは、フレームレートが１６ｆｐｓ、フレーム画像の解像度が７２ｄｐｉの特徴領域動画４５０を生成する。
【００９６】
なお、上記の例では、画質低減部２２１が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部２２１は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。
【００９７】
なお、画質低減部２２１による画質低減に加えて、又は画質低減部２２１による画質低減に替えて、符号化部２３１がフレーム画像の画質を低減してもよい。例えば、符号化部２３１が、ＭＰＥＧ符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。
【００９８】
また、画質低減部２２１はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。
【００９９】
なお、以上の説明では、画像生成部２０５が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部２０５は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部２１１ａが固定値化して、画質低減部２２１が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。
【０１００】
図６は、画像処理装置１７０の処理フローの一例を示す。圧縮動画取得部３０１は、画像処理装置１２０から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置１００を識別する情報等を取得する（６０１）。そして、圧縮動画伸張部３１１は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画６１０を生成する。（６０２ａ）同時に、圧縮動画伸張部３１１は、動領域レイヤーを示す特徴領域動画６２０、人領域レイヤーを示す特徴領域動画６３０、および顔領域レイヤーを示す特徴領域動画６４０を生成する（６０２ｂ、６０２ｃ、および６０２ｄ）。
【０１０１】
合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像を合成する（６０３）。このとき、合成部３０３は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。
【０１０２】
このとき、合成部３０３は、特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画６１０に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０のフレームレートが異なる場合には、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０の最新のフレーム画像を合成する。
【０１０３】
これにより、合成部３０３は、合成フレーム画像を生成する。合成部３０３は、複数の合成フレーム画像を含む合成動画６５０を生成する。そして、出力部３０４は、圧縮動画取得部３０１が取得したタグ情報等に基づいて、合成動画を表示させる表示装置１８０を選択して、選択した表示装置１８０に合成動画を供給する（６０４）。
【０１０４】
図７は、複数の動画構成画像において特徴領域を特定する方法の一例を示す。図７において、上段に示す動画７００は、特徴領域検出部２０３によって選択画像の特徴領域が検出された動画を示す。一方、図７において、下段に示す動画７００は、特徴領域特定部２５２によって非選択画像の特徴領域が特定された動画を示す。また、動画７００は、連続している動画構成画像７０１−７０５を含んでいる。
【０１０５】
動画７００に含まれる動画構成画像のうち、動画構成画像７０１および動画構成画像７０５は、動画７００の中から任意に選択された選択画像を示す。例えば、動画構成画像７０１および動画構成画像７０５は、ＭＰＥＧ符号化におけるＩフレームである。また、動画７００に含まれる動画構成画像のうち、動画構成画像７０２、動画構成画像７０３、および動画構成画像７０４は、動画７００の中から任意に選択された選択画像ではない非選択画像を示す。例えば、動画構成画像７０２、動画構成画像７０３、および動画構成画像７０４は、ＭＰＥＧ符号化におけるＢフレームまたはＰフレームである。
【０１０６】
ここで、動画構成画像７０１および動画構成画像７０５は、選択画像であることから、図７の上段に示すように、特徴領域検出部２０３によって、動画構成画像７０１は、特徴領域７０１ａが検出されており、動画構成画像７０５は、特徴領域７０５ａが検出されている。一方、動画構成画像７０２、動画構成画像７０３、および動画構成画像７０４は、非選択画像であることから、図７の上段に示すように、特徴領域は検出されていない。
【０１０７】
そこで、特徴領域特定部２５２は、特徴領域７０１ａの位置および特徴領域７０５の位置に基づいて、動画構成画像７０２における特徴領域７０２ａ、動画構成画像７０３における特徴領域７０３ｂ、および動画構成画像７０４における特徴領域７０４ｂを特定している。これにより、動画構成画像７０１−７０５は、図７の下段に示すように、それぞれ特徴領域が特定された状態となる。
【０１０８】
特徴領域特定部２５２は、特徴領域７０１ａの位置および特徴領域７０５ａの位置に基づいて、動画７００の動きベクトルを用いて、特徴領域７０２ａ、特徴領域７０３ｂ、および特徴領域７０４ｂを特定している。なお、特徴領域特定部２５２は、特徴領域７０１ａの位置および特徴領域７０５ａの位置に基づいて、線形補間により、特徴領域７０２ａ、特徴領域７０３ｂ、および特徴領域７０４ｂを特定してもよい。
【０１０９】
このように、本実施形態の画像処理装置１２０は、選択画像に対しては、特徴領域検出部２０３が、特徴領域を検出している。一方、非選択画像に対しては、特徴領域特定部２５２が、選択画像の特徴領域に基づいて、特徴領域を特定している。これにより、本実施形態の画像処理装置１２０を、実際の監視システムに適用した場合には、特徴領域検出部２０３による特徴領域の検出処理回数を軽減することができる場合があり、結果的に、動画に含まれる複数の動画構成画像から特徴領域を特定するときの、処理時間を短縮することができる場合がある。
【０１１０】
図８は、包含領域以外の領域を固定値化する方法の一例を示す。図８において、動画８００は、包含領域特定部２６１によって包含領域が特定され、固定値化部２１１によって包含領域以外の領域が固定値化された動画を示す。また、動画８００は、連続する動画構成画像８０１−８０５を含んでいる。
【０１１１】
動画構成画像８０１の特徴領域および動画構成画像８０５の特徴領域は、特徴領域検出部２０３によって検出されている。動画構成画像８０２の特徴領域、動画構成画像８０３の特徴領域、および動画構成画像８０４の特徴領域は、特徴領域特定部２５２によって特定されている。そして、動画構成画像８０１−８０５のそれぞれにおいて、包含領域８１０は、包含領域特定部２６１によって特定された、動画構成画像８０１−８０５のそれぞれの特徴領域を包含する領域を示す。また、動画構成画像８０１−８０５のそれぞれにおいて、包含領域８１０以外の領域は、固定値化部２１１によって画素値が「０」に固定値化されている。
【０１１２】
このように、本実施形態の画像処理装置１２０は、複数の動画構成画像の特徴領域を包含する包含領域を特定した後に、包含領域以外の領域を固定値化する。これにより、本実施形態の画像処理装置１２０を、実際の監視システムに適用した場合には、動画構成画像間における包含領域以外の領域における画素値の差分量を少なくすることができ、結果的に、動画構成画像間における差分データの圧縮率を高めることができる。
【０１１３】
図９は、動画構成画像の参照関係の一例を示す。上述したように、撮像装置１００から供給された撮像動画データがフレーム間圧縮を用いた圧縮方式で圧縮されている場合、撮像動画データには、一の動画構成画像における部分領域（例えば、マクロブロック、スライスなど）の画像と他の動画構成画像における対応する大きさの画像領域の画像との間の差分データが含まれる。また、撮像動画データには、当該一の動画構成画像における部分領域の位置と、当該部分領域の差分対象となった画像領域の位置との間の位置差を示す動きベクトル情報が、撮像動画データに含まれる。
【０１１４】
これらの領域は、動きベクトルで互いに結びつけられているということができる。そして、本実施形態では、部分領域の差分対象領域のことを、部分領域が参照している領域と呼ぶ。そして、本実施形態では、一の動画構成画像における部分領域と動きベクトルで結び付けられた他の動画構成画像における部分領域を、直接的な参照関係がある部分領域とする。また、これらの直接的な部分領域を含む領域どうしを、直接的な参照関係がある領域とする。また、これらの直接的な部分領域を含む動画構成画像どうしを、直接的な参照関係がある動画構成画像とする。
【０１１５】
また、他の動画構成画像も、さらなる他の動画構成画像と動きベクトルで結びつけられている。この場合、当該一の動画構成画像における部分領域と直接的な参照関係がある他の動画構成画像における部分領域が、さらなる他の動画構成画像における部分領域と直接的な参照関係がある場合がある。この場合、さらなる他の動画構成画像における部分領域を、当該一の動画構成画像における部分領域と間接的な参照関係がある部分領域とする。また、これらの間接的な部分領域を含む領域どうしを、間接的な参照関係がある領域とする。また、これらの間接的な部分領域を含む動画構成画像どうしを、間接的な参照関係がある動画構成画像とする。このように、一の動画構成画像における部分領域と他の動画構成画像における部分領域とが、複数の直接的な参照関係で結ばれている場合に、これらの部分領域を間接的に参照関係にある部分領域とする。
【０１１６】
本図に示されるように、撮像動画に含まれる動画構成画像９１０−１〜７（以下、動画構成画像９１０と総称する場合がある。）のうち、動画構成画像９１０−１がＩフレームであり、動画構成画像９１０−４および動画構成画像９１０−７がＰフレームであり、それ以外の動画構成画像９１０がＢフレームであるとする。この場合、例えば、動画構成画像９１０−２〜４は、動画構成画像９１０−１と直接的な参照関係にありえる。なお、本図では、直接的な参照関係にありえる動画構成画像どうしが、フレーム間予測の予測方向を示す矢印９０１〜９０９で結ばれて示されている。
【０１１７】
図１０は、参照関係で結ばれた特徴領域の一例を示す。以下の説明では、動画構成画像９１０のそれぞれの画像領域を一の画像領域１０００で示す。本図の（ａ）を参照して、特徴領域１０１１は、特徴領域検出部２０３が、動画構成画像９１０−１から検出した特徴領域であるとする。一例として、特徴領域検出部２０３は、テンプレートマッチング等の画像認識処理により、特徴領域１０１１を検出する。
【０１１８】
特徴領域特定部２５２は、特徴領域１０１１に含まれるマクロブロックを起点として、当該マクロブロックに関連づけられた動きベクトルを複数の動画構成画像にわたって辿っていく。なお、マクロブロックに関連づけられた動きベクトルは、当該マクロブロックとの差分対象となる画像領域の位置と当該マクロブロックの位置との間の位置差を示す情報であってよい。また、マクロブロックに関連づけられた動きベクトルは、当該マクロブロックの少なくとも一部の画像領域を他のマクロブロックの差分対象である場合に、当該マクロブロックの少なくとも一部の画像領域の位置と当該他のマクロブロックの位置との間の位置差を示す情報であってよい。
【０１１９】
これにより、特徴領域特定部２５２は、特徴領域１０１１に含まれるマクロブロックと直接的または間接的な参照関係にある、他の動画構成画像における領域を特定する。そして、特徴領域特定部２５２は、当該直接的または間接的な参照関係にある領域を含む領域を、他の動画構成画像における特徴領域として特定する。例えば、特徴領域特定部２５２は、当該直接的または間接的な参照関係にある領域を含み、特徴領域１０１１と同じ大きさの領域を、他の動画構成画像における特徴領域として特定してよい。
【０１２０】
例えば、特徴領域特定部２５２は、特徴領域１０１１の位置、および参照関係９００、および動画構成画像９１０−４に関連づけられた動きベクトルに基づいて、動画構成画像９１０−１と直接的な参照関係にある動画構成画像９１０−４における特徴領域１０１４を特定することができる。また、特徴領域特定部２５２は、参照関係９０８および動画構成画像９１０−６に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−１と間接的な参照関係にある動画構成画像９１０−６における特徴領域１０１６を特定することができる。このように、特徴領域特定部２５２は、特徴領域１０１１と特徴領域１０１４との間の位置差を示す特徴領域ベクトル１０１０−１と、特徴領域１０１４と特徴領域１０１６との間の位置差を示す特徴領域ベクトル１０１０−２とを算出することができる。
【０１２１】
また、本図の（ｂ）を参照して、特徴領域１０２３は、特徴領域検出部２０３が、動画構成画像９１０−３から検出した特徴領域であるとする。一例として、特徴領域検出部２０３は、テンプレートマッチング等の画像認識処理により、特徴領域１０２３を検出する。
【０１２２】
特徴領域特定部２５２は、特徴領域１０２３の位置、参照関係９０３、および動画構成画像９１０−３に関連づけられた動きベクトルに基づいて、動画構成画像９１０−３と直接的な参照関係にある動画構成画像９１０−１における特徴領域１０２１を特定することができる。また、特徴領域特定部２５２は、参照関係９００および動画構成画像９１０−４に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−３と間接的な参照関係にある動画構成画像９１０−４における特徴領域１０２４を特定することができる。
【０１２３】
また、特徴領域特定部２５２は、参照関係９０５および動画構成画像９１０−７に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−３と間接的な参照関係にある動画構成画像９１０−７における特徴領域１０２７を特定することができる。また、特徴領域特定部２５２は、参照関係９０９および動画構成画像９１０−６に関連づけられた動きベクトルにさらに基づいて、動画構成画像９１０−３と間接的な参照関係にある動画構成画像９１０−６における特徴領域１０２６を特定することができる。このように、特徴領域特定部２５２は、特徴領域１０２３と特徴領域１０２１との間の位置差を示す特徴領域ベクトル１０２０−２と、特徴領域１０２１と特徴領域１０２４との間の位置差を示す特徴領域ベクトル１０２０−２と、特徴領域１０２４と特徴領域１０２７との間の位置差を示す特徴領域ベクトル１０２０−３と、特徴領域１０２７と特徴領域１０２６との間の位置差を示す特徴領域ベクトル１０２０−４とを算出することができる。
【０１２４】
このように、特徴領域特定部２５２は、選択画像における特徴領域の位置、および複数の動画構成画像における動きベクトルに基づいて、非選択画像における特徴領域の位置を特定することができる。具体的には、特徴領域特定部２５２は、選択画像における特徴領域の位置、非選択画像における動きベクトル、および、選択画像における特徴領域および非選択画像と動きベクトルによって直接的または間接的な参照関係にある１以上の動画構成画像における動きベクトルに基づいて、選択画像における特徴領域と動きベクトルによって間接的な参照関係にある非選択画像における特徴領域の位置を特定する。具体的には、特徴領域特定部２５２は、選択画像における特徴領域と動きベクトルによって間接的な参照関係にある領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、特徴領域として特定する。このため、特徴領域特定部２５２は、非選択画像における特徴領域を高速に特定することができる。
【０１２５】
図１１は、動画構成画像９１０−６における特徴領域の一例を示す。ここで、特徴領域１１１０は、特徴領域検出部２０３がテンプレートマッチング等の画像認識処理により検出された特徴領域とする。また、参照関係領域１１１６は、図９および図１０に関連して説明したように、特徴領域特定部２５２が選択画像における特徴領域との直接的または間接的な参照関係に基づいて特定した領域であるとする。図９および図１０に関連する説明では、特徴領域特定部２５２は、参照領域を特徴領域として特定したが、本図の例では、特徴領域特定部２５２は、特徴領域検出部２０３が検出した特徴領域と、参照関係領域とに基づいて、特徴領域を特定する。
【０１２６】
具体的には、特徴領域特定部２５２は、特徴領域検出部２０３により検出された特徴領域１１１０と、参照関係領域１１１６とを包含する領域を、特徴領域として特定してよい。具体的には、特徴領域特定部２５２は、特徴領域検出部２０３により検出された特徴領域１１１０と、参照関係領域１１１６との和領域を、特徴領域として特定してよい。このように、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域の少なくとも一方を含む領域を、特徴領域として特定する。これにより、画像認識処理で特徴領域を検出し損ねた場合であっても、動きベクトルに基づく参照関係領域を特徴領域として特定することができる。このため、特徴領域をよりロバストに検出することができる。
【０１２７】
なお、特徴領域検出部２０３は全ての動画構成画像における特徴領域を検出してよい。また、特徴領域特定部２５２は、特徴領域検出部２０３によって複数の動画構成画像から検出された特徴領域のそれぞれに対する参照関係領域を、全ての動画構成画像において特定してよい。これにより、特徴領域検出のロバスト性を著しく高めることができる。
【０１２８】
他にも、特徴領域特定部２５２は、特徴領域検出部２０３により検出された特徴領域１１１０と参照関係領域１１１６との双方に含まれる領域１１２０を、特徴領域として特定してよい。このように、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域にともに含まれる領域を、特徴領域として特定してよい。このため、特徴領域として検出されるべき被写体が撮像されている確率が比較的に高い領域を特徴領域として特定することができる。以上説明したように、特徴領域特定部２５２は、選択画像における特徴領域と直接的または間接的な参照関係にある非選択画像における領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、特徴領域として特定する。
【０１２９】
なお、圧縮部２４０は、特徴領域特定部２５２が特定した特徴領域以外の領域の画像を、特徴領域特定部２５２が特定した特徴領域より高い圧縮強度で圧縮してよい。また、圧縮部２４０は、特徴領域１１１０および参照関係領域１１１６のいずれか一方に含まれる領域である領域１１２１および領域１１２２を、領域１１２０より高い圧縮強度で圧縮してよい。このように、圧縮部２４０は、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域のいずれか一方に含まれる領域の画像を、特徴領域検出部２０３が非選択画像から検出した特徴領域、および非選択画像における参照関係領域にともに含まれる領域より高い圧縮強度で圧縮してよい。これにより、特徴領域として特定された領域内においても、特徴領域として検出されるべき被写体が撮像されている確率が比較的に高い領域の情報量を高めることができる。
【０１３０】
上記の例では、特徴領域特定部２５２の動作原理を、フレーム単位で符号化方式が選択されたＩフレーム、Ｐフレーム、およびＢフレームを用いて説明した。ＰフレームおよびＢフレームにおいてイントラ符号化されているマクロブロックが存在しても、特徴領域特定部２５２は同様にして参照関係領域を特定することができる。また、フレーム間符号化およびフレーム内符号化がマクロブロック単位またはスライス単位で選択されて符号化された撮像動画データにおいても、特徴領域特定部２５２は同様にして参照関係領域を特定することができる。
【０１３１】
図１２は、識別された特徴領域の一例を示す。特徴領域１２０１および特徴領域１２０２は、ともに動画構成画像９１０−１における特徴領域であるとする。なお、特徴領域１２０１および特徴領域１２０２は、特徴領域検出部２０３が動画構成画像９１０−１から検出された特徴領域であってよく、特徴領域特定部２５２が特定した動画構成画像９１０−１における特徴領域であってもよい。また、特徴領域１２１１、特徴領域１２１２、および特徴領域１２１３は、いずれも特徴領域検出部２０３が動画構成画像９１０−７から検出した特徴領域であるとする。
【０１３２】
ここで、特徴領域特定部２５２は、特徴領域１２０１の位置および参照関係に基づいて、参照関係領域の位置を特定する。例えば、特徴領域特定部２５２は、特徴領域１２０１の点Ｐ１に対応する点Ｐ１'を特定する。また、特徴領域特定部２５２は、特徴領域１２０２の点Ｐ２に対応する点Ｐ２'を特定する。そして、特徴領域特定部２５２は、特徴領域１２１１において点Ｐ１または点Ｐ２に対応すべき対応点Ｐ３、特徴領域１２１２において点Ｐ１または点Ｐ２に対応すべき対応点Ｐ４、および特徴領域１２１３において点Ｐ１または点Ｐ２に対応すべき対応点Ｐ５のそれぞれの位置を、点Ｐ１'および点Ｐ２'のそれぞれの位置と比較する。例えば、特徴領域特定部２５２は、各対応点のそれぞれの位置と点Ｐ１'との間のそれぞれの距離、ならびに、各対応点のそれぞれの位置と点Ｐ２'との間のそれぞれの距離を算出する。
【０１３３】
そして、特徴領域特定部２５２は、予め定められた値以下の距離が算出された点の組を特定する。例えば、特徴領域特定部２５２は、対応点Ｐ３と点Ｐ２'の組、および、対応点Ｐ４と点Ｐ１'の組を、予め定められた値以下の距離が算出された点の組として特定する。そして、特徴領域特定部２５２は、対応点Ｐ４を持つ特徴領域１２１２に、特徴領域１２０１に撮像されている被写体と同じ被写体が撮像されていると判断する。また、特徴領域特定部２５２は、対応点Ｐ３を持つ特徴領域１２１１に、特徴領域１２０２に撮像されている被写体と同じ被写体が撮像されていると判断する。また、特徴領域特定部２５２は、特徴領域１２１３には、特徴領域１２０１に撮像されている被写体および特徴領域１２０２に撮像されている被写体のいずれとも異なる被写体が撮像されていると判断する。このようにして、特徴領域特定部２５２は、他の動画構成画像に含まれるオブジェクトとの同一性を推定することができる。
【０１３４】
このように、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域の位置と、非選択画像における参照関係領域の位置との間の距離が予め定められた値より大きい場合に、非選択画像における参照関係領域を、特徴領域検出部２０３が非選択画像から検出した特徴領域内に存在するオブジェクトと異なるオブジェクトが存在する特徴領域として特定する。また、特徴領域特定部２５２は、特徴領域検出部２０３が非選択画像から検出した特徴領域の位置と、非選択画像における参照関係領域の位置との間の距離が予め定められた値以下である場合に、非選択画像における参照関係領域の少なくとも一部の領域を、特徴領域検出部２０３が非選択画像から検出した特徴領域内に存在するオブジェクトと同じオブジェクトが存在する特徴領域として特定してよい。
【０１３５】
図１３は、画像処理装置１２０におけるブロック構成の他の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、圧縮部２４０、動きベクトル取得部２５１、特徴領域特定部２５２、圧縮制御ユニット２７０、対応付け処理部２０６、および出力部２０７を有する。画像分割部２０４は、入力動画画質制御部２８０、画質低減部２８１、複数の階層間差分圧縮部２８２ａ−ｄ（以下、階層間差分圧縮部２８２と総称する。）を有する。
【０１３６】
なお、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、対応付け処理部２０６、および出力部２０７の機能および動作は、それぞれ図２から図１２に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、対応付け処理部２０６、および出力部２０７の機能および動作と略同一であるので、その相違点を除いて説明を省略する。
【０１３７】
圧縮制御ユニット２７０は、圧縮部２４０における圧縮処理を制御する。また、圧縮制御ユニット２７０は、特徴領域特定部２５２が特定した特徴領域を示す情報を対応付け処理部２０６に供給する。例えば、圧縮制御ユニット２７０は、特徴領域特定部２５２が特定した特徴領域を取得して、圧縮部２４０による特徴領域に対する圧縮処理を制御する。具体的には、圧縮制御ユニット２７０は、圧縮部２４０を制御して、圧縮部２４０に下記の圧縮処理を行わせる。
【０１３８】
入力動画画質制御部２８０は、圧縮動画伸張部２０２が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。画質低減部２８１は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部２８１は、生成した画質が異なる動画を階層間差分圧縮部２８２に提供する。具体的には、画質低減部２８１は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。
【０１３９】
そして、階層間差分圧縮部２８２は、予め定められた画質の動画を画質低減部２８１から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部２８２は、互いに異なる画質の動画を圧縮する。なお、階層間差分圧縮部２８２ａに供給される動画に含まれる動画構成画像は、階層間差分圧縮部２８２ｂ−ｄに供給される動画に含まれる動画構成画像である特徴領域画像より画質が低い。つまり、画質低減部２８１は、階層間差分圧縮部２８２ｂ−ｄに供給される特徴領域画像より低画質な低画質画像を生成して、階層間差分圧縮部２８２ａに供給する。
【０１４０】
このように、階層間差分圧縮部２８２ａは、階層間差分圧縮部２８２ｂ−ｄのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。なお、階層間差分圧縮部２８２ｂ−ｄは、階層間差分圧縮部２８２ｂ、階層間差分圧縮部２８２ｃ、および階層間差分圧縮部２８２ｄの順で解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。
【０１４１】
階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｂは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｂは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【０１４２】
また、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｃは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｃは、複数の特徴領域のうち、特徴領域の特徴量に応じた少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【０１４３】
また、階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｃが圧縮した動画構成画像を伸張する。そして、階層間差分圧縮部２８２ｄは、伸張して得られた動画構成画像を、入力動画画質制御部２８０から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｄは、拡大して得られた動画構成画像と入力動画画質制御部２８０から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｄは、複数の特徴領域のうち、特徴領域の特徴量に応じた少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【０１４４】
このように、階層間差分圧縮部２８２ｂ−ｄは、入力動画画質制御部２８０または画質低減部２８１から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。そして、対応付け処理部２０６は、階層間差分圧縮部２８２ａ−ｄによって圧縮して得られた複数の動画構成画像を含む圧縮動画データを、特徴領域を特定する情報に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報が対応づけられた圧縮動画データを画像処理装置１７０に送信する。このように、画像処理装置１２０は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
【０１４５】
図１４は、階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。階層間差分圧縮部２８２ａは、動き解析部２８５ａ、動き符号化部２８６ａ、差分処理部２８７ａ、および符号化部２８８ａを有する。動き解析部２８５ａは、差分対象領域決定部２９４ａおよび位置差情報生成部２９５ａを含む。差分処理部２８７ａは、差分画素画像生成部２９６ａ、空間周波数領域変換部２９７ａ、および量子化部２９８ａを含む。
【０１４６】
階層間差分圧縮部２８２ｂは、動き解析部２８５ｂ、動き符号化部２８６ｂ、差分処理部２８７ｂ、画像拡大部２９３ｂ、画像復号部２９２ｂ、画素値変更部２９１ｂ、および符号化部２８８ｂを有する。動き解析部２８５ｂは、差分対象領域決定部２９４ｂおよび位置差情報生成部２９５ｂを含む。差分処理部２８７ｂは、差分画素画像生成部２９６ｂ、空間周波数領域変換部２９７ｂ、量子化部２９８ｂ、および周波数領域画質変換部２９９ｂを含む。なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｂが有する構成要素と略同一の構成要素を有するので、説明を省略する。
【０１４７】
以下に、階層間差分圧縮部２８２ａの各構成要素の機能および動作について説明する。動き解析部２８５ａは、画質低減部２８１から受け取った複数の動画構成画像の画像内容に基づいて複数の動画構成画像にわたる動きを解析して、当該動きに基づいて動画構成画像を圧縮すべき部分領域を決定する。
【０１４８】
具体的には、差分対象領域決定部２９４ａは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部２９４ａは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部２８７ａに供給する。
【０１４９】
また、位置差情報生成部２９５ａは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ａは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部２９５ａは、生成した位置差情報を動き符号化部２８６ａに供給する。
【０１５０】
動き符号化部２８６ａは、位置差情報生成部２９５ａから供給された位置差情報を符号化して、対応付け処理部２０６に供給する。例えば、動き符号化部２８６は、隣接する部分領域における位置差情報との間の差を符号化して、対応付け処理部２０６に供給する。
【０１５１】
差分処理部２８７ａは、動き解析部２８５ａから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部２９６ａは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
【０１５２】
そして、空間周波数領域変換部２９７ａは、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ａは、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部２９７ａは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。
【０１５３】
なお、動き解析部２８５ａが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部２８７ａは圧縮対象の部分領域の画素情報を空間周波数領域変換部２９７ａに供給する。空間周波数領域変換部２９７ａは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。
【０１５４】
量子化部２９８ａは、空間周波数領域変換部２９７ａが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部２８８ａは、量子化部２９８ａによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部２８８は、量子化部２９８ａによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部２８８ａは、符号化した動画を、対応付け処理部２０６に供給する。
【０１５５】
以下に、階層間差分圧縮部２８２ｂが含む各構成要素の機能および動作について説明する。階層間差分圧縮部２８２ｂが含む構成要素のうち、階層間差分圧縮部２８２ａが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部２８２ａが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
【０１５６】
差分対象領域決定部２９４ｂは、差分対象領域決定部２９４ａと同様に、画質低減部２８１から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部２９４ｂは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部２９４ｂは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部２９１ｂに供給する。
【０１５７】
また、画像復号部２９２ｂは、符号化部２８８ａから動画構成画像を取得するとともに、動き符号化部２８６ａから位置差情報を取得する。そして、画像復号部２９２ｂは、符号化部２８８ａから取得した動画構成画像を、動き符号化部２８６ａから取得した位置差情報を用いて復号する。なお、画像復号部２９２ｂは、量子化部２９８ａにより量子化された動画構成画像を取得して復号してよく、符号化部２８８ａが符号化した動画構成画像を取得して復号してもよい。
【０１５８】
画像拡大部２９３ｂは、画像復号部２９２ｂにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部２９１ｂは、差分対象領域決定部２９４ｂが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。このように、画素値変更部２９１ｂは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。
【０１５９】
差分処理部２８７ｂは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部２９１ｂから受け取る。そして、差分処理部２８７ｂは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか（以下、イントラ符号化と呼ぶ。）、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか（以下、インター符号化と呼ぶ。）、拡大画像との間の差分により符号化するか（以下、階層間符号化と呼ぶ。）を決定する。このとき、差分処理部２８７ｂは符号化後の符号量がより小さい符号化方法をより優先して選択する。なお、特徴領域以外の領域においては、差分を持たないように画素値が置き換えられているので階層間符号化が選択される。したがって、階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
【０１６０】
階層間符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部２９６ｂは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
【０１６１】
インター符号化が選択された場合には、差分画素画像生成部２９６ｂは、画素値変更部２９１ｂにより生成された特徴領域画像と、他の動画構成画像から画素値変更部２９１ｂが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部２９４ｂが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域において差分対象領域決定部２９４ｂが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部２９４ｂが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
【０１６２】
なお、イントラ符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
【０１６３】
空間周波数領域変換部２９７ｂは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ｂは、差分画素画像が示す差分値を、空間周波数領域変換部２９７ａと同様に、離散コサイン変換（ＤＣＴ）、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部２９８ｂは、量子化部２９８ａと同様に、空間周波数領域変換部２９７ｂが空間周波数領域に変換することによって得られた変換係数を量子化する。
【０１６４】
そして、周波数領域画質変換部２９９ｂは、空間周波数領域変換部２９７ｂにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像を生成する。具体的には、周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数を０にしてもよい。
【０１６５】
このように、差分処理部２８７ｂは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部２８８ｂは、差分処理部２８７ｂが生成した特徴領域差分画像を符号化する。
【０１６６】
また、上記したように、差分処理部２８７ｂは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部２８７は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
【０１６７】
なお、以上の説明においては、画素値変更部２９１ｂは、差分画素画像における少なくとも特徴領域以外の領域（予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域）において差分値を０とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を０とすることもできる。
【０１６８】
例えば、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を０とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【０１６９】
このように、画素値変更部２９１ｂは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部２９６は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
【０１７０】
なお、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部２８２（例えば、階層間差分圧縮部２８２ａ）に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略０にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【０１７１】
なお、位置差情報生成部２９５ｂは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ｂは、位置差情報生成部２９５ａと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
【０１７２】
位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部２９０ｂは、動き符号化部２８６ａから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域における動きベクトルの大きさを０にする。例えば、位置差情報変更部２９０ｂは、特徴領域以外の領域について、位置差情報生成部２９５ｂから受け取った動きベクトルの大きさを０にするとともに、動き符号化部２８６ａから受け取った動きベクトルの大きさを０にする。
【０１７３】
そして、動き符号化部２８６ｂは、位置差情報を符号化する。具体的には、動き符号化部２８６ｂは、動き符号化部２８６ａと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部２８６ｂにより符号化された位置差情報は、対応付け処理部２０６に供給される。
【０１７４】
なお、本実施形態では、位置差情報変更部２９０は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部２９０ｂは、動き符号化部２８６ｂにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部２９０ｂは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部２８６により符号化された位置差情報を変更してもよい。
【０１７５】
なお、符号化部２８８ｂは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
【０１７６】
例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、ＭＰＥＧ符号化におけるＮｏｎＭＣ ＮｏｔＣｏｄｅｄに相当する種別であってよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂが動きベクトルの大きさおよび差分情報が０であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部２８２ｂは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
【０１７７】
なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｂと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄが有する、階層間差分圧縮部２８２と同名の構成要素には同じ符号を付す。そして、符号の末尾（ｂ、ｃ、ｄ）により、階層間差分圧縮部２８２ｂ−ｄのいずれに含まれる構成要素であるかを区別する。
【０１７８】
例えば、動き解析部２８５ｃは階層間差分圧縮部２８２ｃが有する構成要素の一つであって、動き解析部２８５ｄは階層間差分圧縮部２８２ｄが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部２８２ｂ−ｄが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部２９１は、画素値変更部２９１ｂ−ｄを示す。
【０１７９】
なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄの機能および動作と、階層間差分圧縮部２８２ｂの機能および動作とは、画質低減部２８１から異なる画質の動画を取得して処理すること、および位置差情報変更部２９０ｃおよびｄ、ならびに画像復号部２９２ｃおよびｄが、より画質が低い動画を処理する他の階層間差分圧縮部２８２から、差分処理用の位置差情報および動画構成画像を取得するところが異なる。
【０１８０】
より具体的には、位置差情報変更部２９０ｃは、動き符号化部２８６ｂから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｃは、動き符号化部２８６ｂから位置差情報を取得するとともに、符号化部２８８ｂから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。また、位置差情報変更部２９０ｄは、動き符号化部２８６ｃから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｄは、動き符号化部２８６ｃから位置差情報を取得するとともに、符号化部２８８ｃから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
【０１８１】
なお、特徴領域検出部２０３は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部２８１は、一の特徴の種類を持つ特徴領域において解像度を低減することにより当該動画構成画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を当該動画構成画像から生成する。階層間差分圧縮部２８２ｂ−ｃは、特徴領域の種類ごとに用意されており、階層間差分圧縮部２８２ｂ−ｃのそれぞれは、少なくとも予め定められた種類の特徴領域において特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を圧縮する。
【０１８２】
具体的には、階層間差分圧縮部２８２ｂは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部２８２ｃは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。そして、階層間差分圧縮部２８２ｄは、予め定められた他の種類の特徴領域において高い解像度を持つ高解像度特徴領域画像を処理する。
【０１８３】
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０１８４】
以上説明したように、差分処理部２８７は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
【０１８５】
また、符号化部２８８は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、対応付け処理部２０６は、動き符号化部２８６ａ−ｄにより符号化された位置差情報および符号化部２８８ａ−ｄにより符号化された動画構成画像（例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像）を、特徴領域を特定する情報と対応づける。
【０１８６】
以上説明したように、階層間差分圧縮部２８２ａは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｃよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、特徴領域以外の領域において、階層間差分圧縮部２８２ａが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１８７】
同様に、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｄよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｃよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、特徴領域以外の領域において、それぞれ階層間差分圧縮部２８２ｂおよびｃが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１８８】
このように、階層間差分圧縮部２８２ｂ−ｄのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部２８２ｂ−ｄは、他の階層間差分圧縮部２８２が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
【０１８９】
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部２８２ｂ−ｄは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部２８２に供給してよい。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
【０１９０】
なお、画像処理装置１２０は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置１２０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを階層毎に復号することで、複数の動画構成画像を各階層毎に得ることができる。そして画像処理装置１７０は、得られた動画構成画像において階層間差分により符号化されている領域については、差分対象となった他階層の動画構成画像上の領域と加算する。これにより、画像処理装置１７０は、複数の階層のそれぞれについて、動画に含まれる複数の動画構成画像を生成することができる。
【０１９１】
図１５は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、画像処理装置１２０に替えて、撮像装置１００ａ−ｄがそれぞれ画像処理部１６０４ａ−ｄ（以下、画像処理部１６０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
【０１９２】
画像処理部１６０４は、画像処理装置１２０に含まれる構成要素のうち、圧縮動画取得部２０１および圧縮動画伸張部２０２を除く構成要素を有している。そして、画像処理部１６０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１４にかけて画像処理システム１０に関連して説明した効果と同様の効果が得ることができる。
【０１９３】
なお、画像処理部１６０４は、ＲＡＷ形式で表された複数の動画構成画像を含む撮像動画を撮像部１０２から取得してよい。そして、画像処理部１６０４は、ＲＡＷ形式で表された複数の動画構成画像のそれぞれから、１以上の特徴領域を検出してよい。また、画像処理部１６０４は、取得した撮像動画に含まれるＲＡＷ形式で表された複数の動画構成画像をＲＡＷ形式のまま圧縮してよい。このとき、画像処理部１６０４は、図１〜図１４にかけて画像処理装置１２０の動作に関連して説明した圧縮方法で、撮像動画を圧縮することができる。
【０１９４】
なお、画像処理装置１７０は、画像処理部１６０４から取得した圧縮動画を伸張することにより、ＲＡＷ形式で表された複数の動画構成画像を取得することができる。そして、画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の動画構成画像を、例えば特徴領域以外の領域および複数の特徴領域を含む複数の領域毎に同時化処理を施してよい。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【０１９５】
なお、画像処理装置１７０は、同時化処理によって得られた動画構成画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置１７０における超解像処理としては、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開２００４−８８６１５号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
【０１９６】
なお、画像処理装置１７０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置１７０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施してよい。この場合、画像処理装置１７０は、特開２００６−３５０４９８号公報に記載されたような主成分分析（ＰＣＡ）に基づくモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置１７０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【０１９７】
このように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
【０１９８】
また、学習データとしては、特開２００６−３５０４９８号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ−ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。
【０１９９】
そして、画像処理装置１７０は、動画構成画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置１７０は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置１７０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置１７０は、動画構成画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。
【０２００】
そして、画像処理装置１７０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置１７０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置１７０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。なお、図１〜１４に関連して説明した画像処理システム１０の構成においても、画像処理装置１７０は、特徴領域の画像に上述した超解像処理を施すことができる。
【０２０１】
なお、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部１６０４は、撮像部１０２から取得した複数の動画構成画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部１６０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部１６０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。
【０２０２】
この場合、画像処理装置１７０は、画像処理部１６０４から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部１６０４は、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。
【０２０３】
図１６は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
【０２０４】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０２０５】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。
【０２０６】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０２０７】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【０２０８】
ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１５に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、および画像生成部２０５として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１５に関連して説明した固定値化部２１１、画質低減部２２１、符号化部２３１、対応付け処理部２０６、出力部２０７、および圧縮制御ユニット２７０として機能させる。
【０２０９】
また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１５に関連して説明した動きベクトル取得部２５１、特徴領域特定部２５２および包含領域特定部２６１として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１７０を、図１から図１５に関連して説明した圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張部３１１、合成部３０３、および出力部３０４として機能させる。
【０２１０】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。
【０２１１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０２１２】
【図１】一実施形態に係る画像処理システム１０の一例を示す。
【図２】画像処理装置１２０のブロック構成の一例を示す。
【図３】画像処理装置１７０のブロック構成の一例を示す。
【図４】画像処理装置１２０の処理フローの一例を示す。
【図５】複数の特徴領域動画および背景領域動画の画質の一例を示す。
【図６】画像処理装置１７０の処理フローの一例を示す。
【図７】複数の動画構成画像において特徴領域を特定する方法の一例を示す。
【図８】包含領域以外の領域を固定値化する方法の一例を示す。
【図９】動画構成画像の参照関係の一例を示す図である。
【図１０】参照関係で結ばれた特徴領域の一例を示す図である。
【図１１】動画構成画像９１０−６における特徴領域の一例を示す図である。
【図１２】識別された特徴領域の一例を示す図である。
【図１３】画像処理装置１２０におけるブロック構成の他の一例を示す図である。
【図１４】階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す図である。
【図１５】他の実施形態に係る画像処理システム２０の一例を示す図である。
【図１６】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。
【符号の説明】
【０２１３】
１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像動画圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０４ 画像分割部
２０５ 画像生成部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ａ 背景領域動画符号化部
２３１ｂ−ｄ 特徴領域動画符号化部
２４０ 圧縮部
２５１ 動きベクトル取得部
２５２ 特徴領域特定部
２６０ 包含領域特定ユニット
２６１ 包含領域特定部
２７０ 圧縮制御ユニット
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 合成部
３０４ 出力部
１６０４ 画像処理部
【特許請求の範囲】
【請求項１】
複数の動画構成画像を含む動画を処理する画像処理装置であって、
前記動画構成画像から、特徴領域を検出する特徴領域検出部と、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の前記動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部と
を備える画像処理装置。
【請求項２】
前記特徴領域検出部は、前記動画から選択された前記動画構成画像である前記選択画像から、特徴領域を検出し、
特徴領域特定部は、前記選択画像における前記特徴領域の位置に基づいて、前記動画から選択されなかった前記動画構成画像である前記非選択画像における特徴領域の位置を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記特徴領域特定部は、前記非選択画像より前にある前記選択画像および前記非選択画像より後にある前記選択画像のそれぞれにおける前記特徴領域の位置に基づいて、前記非選択画像における特徴領域の位置を特定する
請求項２に記載の画像処理装置。
【請求項４】
前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記非選択画像における特徴領域の位置を特定する
請求項２に記載の画像処理装置。
【請求項５】
前記動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、
前記圧縮動画取得部によって取得された前記動画を伸張する圧縮動画伸張部と
をさらに備え、
前記特徴領域検出部は、前記圧縮動画伸張部によって伸張された前記動画から選択された前記選択画像から、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記動画に含まれる前記動きベクトルを取得し、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記圧縮動画伸張部によって伸張された前記動画から選択されなかった前記非選択画像における特徴領域の位置を特定する
請求項４に記載の画像処理装置。
【請求項６】
前記圧縮動画取得部は、前記動きベクトルを含むＭＰＥＧ動画を取得し、
前記圧縮動画伸張部は、前記圧縮動画取得部によって取得された前記ＭＰＥＧ動画を伸張し、
前記特徴領域検出部は、伸張された前記ＭＰＥＧ動画に含まれる前記選択画像から、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記ＭＰＥＧ動画に含まれる前記動きベクトルを取得する
請求項５に記載の画像処理装置。
【請求項７】
前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、および複数の前記動画構成画像における前記動きベクトルに基づいて、前記非選択画像における特徴領域の位置を特定する
請求項１に記載の画像処理装置。
【請求項８】
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、前記非選択画像における前記動きベクトル、および、前記選択画像における前記特徴領域および前記非選択画像と前記動きベクトルによって直接的または間接的な参照関係にある１以上の前記動画構成画像における前記動きベクトルに基づいて、前記選択画像における前記特徴領域と動きベクトルによって間接的な参照関係にある前記非選択画像における特徴領域の位置を特定する
請求項７に記載の画像処理装置。
【請求項９】
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、前記非選択画像における前記動きベクトル、および、前記選択画像における前記特徴領域および前記非選択画像と前記動きベクトルによって直接的または間接的な参照関係にある１以上の前記動画構成画像における前記動きベクトルに基づいて、前記選択画像における前記特徴領域と動きベクトルによって間接的な参照関係にある前記非選択画像上の領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、前記非選択画像における前記特徴領域として特定する
請求項８に記載の画像処理装置。
【請求項１０】
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域の少なくとも一方を含む領域を、前記特徴領域として特定する
請求項９に記載の画像処理装置。
【請求項１１】
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域にともに含まれる領域を、前記特徴領域として特定する
請求項９に記載の画像処理装置。
【請求項１２】
前記特徴領域特定部が特定した特徴領域以外の領域の画像を、前記特徴領域特定部が特定した特徴領域より高い圧縮強度で圧縮する圧縮部
をさらに備える請求項９に記載の画像処理装置。
【請求項１３】
前記圧縮部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域のいずれか一方に含まれる領域の画像を、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域にともに含まれる領域より高い圧縮強度で圧縮する
請求項１２に記載の画像処理装置。
【請求項１４】
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域の位置と、前記非選択画像における前記参照関係領域の位置との間の距離が予め定められた値より大きい場合に、前記非選択画像における前記参照関係領域を、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域内に存在するオブジェクトと異なるオブジェクトが存在する特徴領域として特定する
請求項９に記載の画像処理装置。
【請求項１５】
前記選択画像および前記非選択画像のそれぞれを、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
前記特徴領域の画像と前記背景領域の画像とを、それぞれ異なる強度で符号化する符号化部と
をさらに備える請求項２に記載の画像処理装置。
【請求項１６】
前記選択画像から検出された前記特徴領域、および前記非選択画像において特定された前記特徴領域を包含する包含領域を特定する包含領域特定部と、
前記選択画像および前記非選択画像のそれぞれにおける前記包含領域以外の領域の画素値を固定値化する固定値化部と
をさらに備え、
前記符号化部は、前記包含領域の画像と、前記包含領域以外の領域の画像とを、それぞれ異なる強度で符号化する
請求項１５に記載の画像処理装置。
【請求項１７】
複数の動画構成画像を含む動画を処理する画像処理方法であって、
前記動画構成画像から、特徴領域を検出する特徴領域検出段階と、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の前記動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定段階と
を備える画像処理方法。
【請求項１８】
複数の動画構成画像を含む動画を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
前記動画構成画像から、特徴領域を検出する特徴領域検出部、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の非選択画像における特徴領域の位置を特定する特徴領域特定部
として機能させるプログラム。
【請求項１】
複数の動画構成画像を含む動画を処理する画像処理装置であって、
前記動画構成画像から、特徴領域を検出する特徴領域検出部と、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の前記動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部と
を備える画像処理装置。
【請求項２】
前記特徴領域検出部は、前記動画から選択された前記動画構成画像である前記選択画像から、特徴領域を検出し、
特徴領域特定部は、前記選択画像における前記特徴領域の位置に基づいて、前記動画から選択されなかった前記動画構成画像である前記非選択画像における特徴領域の位置を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記特徴領域特定部は、前記非選択画像より前にある前記選択画像および前記非選択画像より後にある前記選択画像のそれぞれにおける前記特徴領域の位置に基づいて、前記非選択画像における特徴領域の位置を特定する
請求項２に記載の画像処理装置。
【請求項４】
前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記非選択画像における特徴領域の位置を特定する
請求項２に記載の画像処理装置。
【請求項５】
前記動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、
前記圧縮動画取得部によって取得された前記動画を伸張する圧縮動画伸張部と
をさらに備え、
前記特徴領域検出部は、前記圧縮動画伸張部によって伸張された前記動画から選択された前記選択画像から、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記動画に含まれる前記動きベクトルを取得し、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記圧縮動画伸張部によって伸張された前記動画から選択されなかった前記非選択画像における特徴領域の位置を特定する
請求項４に記載の画像処理装置。
【請求項６】
前記圧縮動画取得部は、前記動きベクトルを含むＭＰＥＧ動画を取得し、
前記圧縮動画伸張部は、前記圧縮動画取得部によって取得された前記ＭＰＥＧ動画を伸張し、
前記特徴領域検出部は、伸張された前記ＭＰＥＧ動画に含まれる前記選択画像から、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記ＭＰＥＧ動画に含まれる前記動きベクトルを取得する
請求項５に記載の画像処理装置。
【請求項７】
前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、および複数の前記動画構成画像における前記動きベクトルに基づいて、前記非選択画像における特徴領域の位置を特定する
請求項１に記載の画像処理装置。
【請求項８】
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、前記非選択画像における前記動きベクトル、および、前記選択画像における前記特徴領域および前記非選択画像と前記動きベクトルによって直接的または間接的な参照関係にある１以上の前記動画構成画像における前記動きベクトルに基づいて、前記選択画像における前記特徴領域と動きベクトルによって間接的な参照関係にある前記非選択画像における特徴領域の位置を特定する
請求項７に記載の画像処理装置。
【請求項９】
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、前記非選択画像における前記動きベクトル、および、前記選択画像における前記特徴領域および前記非選択画像と前記動きベクトルによって直接的または間接的な参照関係にある１以上の前記動画構成画像における前記動きベクトルに基づいて、前記選択画像における前記特徴領域と動きベクトルによって間接的な参照関係にある前記非選択画像上の領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、前記非選択画像における前記特徴領域として特定する
請求項８に記載の画像処理装置。
【請求項１０】
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域の少なくとも一方を含む領域を、前記特徴領域として特定する
請求項９に記載の画像処理装置。
【請求項１１】
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域にともに含まれる領域を、前記特徴領域として特定する
請求項９に記載の画像処理装置。
【請求項１２】
前記特徴領域特定部が特定した特徴領域以外の領域の画像を、前記特徴領域特定部が特定した特徴領域より高い圧縮強度で圧縮する圧縮部
をさらに備える請求項９に記載の画像処理装置。
【請求項１３】
前記圧縮部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域のいずれか一方に含まれる領域の画像を、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域にともに含まれる領域より高い圧縮強度で圧縮する
請求項１２に記載の画像処理装置。
【請求項１４】
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域の位置と、前記非選択画像における前記参照関係領域の位置との間の距離が予め定められた値より大きい場合に、前記非選択画像における前記参照関係領域を、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域内に存在するオブジェクトと異なるオブジェクトが存在する特徴領域として特定する
請求項９に記載の画像処理装置。
【請求項１５】
前記選択画像および前記非選択画像のそれぞれを、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
前記特徴領域の画像と前記背景領域の画像とを、それぞれ異なる強度で符号化する符号化部と
をさらに備える請求項２に記載の画像処理装置。
【請求項１６】
前記選択画像から検出された前記特徴領域、および前記非選択画像において特定された前記特徴領域を包含する包含領域を特定する包含領域特定部と、
前記選択画像および前記非選択画像のそれぞれにおける前記包含領域以外の領域の画素値を固定値化する固定値化部と
をさらに備え、
前記符号化部は、前記包含領域の画像と、前記包含領域以外の領域の画像とを、それぞれ異なる強度で符号化する
請求項１５に記載の画像処理装置。
【請求項１７】
複数の動画構成画像を含む動画を処理する画像処理方法であって、
前記動画構成画像から、特徴領域を検出する特徴領域検出段階と、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の前記動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定段階と
を備える画像処理方法。
【請求項１８】
複数の動画構成画像を含む動画を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
前記動画構成画像から、特徴領域を検出する特徴領域検出部、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の非選択画像における特徴領域の位置を特定する特徴領域特定部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−４８６２０（Ｐ２００９−４８６２０Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００８−１７４８５７（Ｐ２００８−１７４８５７）
【出願日】平成２０年７月３日（２００８．７．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成２０年７月３日（２００８．７．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]