画像処理装置、画像処理方法、プログラム、および画像処理システム
【課題】画像のデータ量を著しく削減すること。
【解決手段】画像処理装置は、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部とを備える。また、画像処理装置は、出力部から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力部から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部を備える。
【解決手段】画像処理装置は、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部とを備える。また、画像処理装置は、出力部から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力部から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。本発明は、特に、画像を圧縮する画像処理装置、画像処理方法および画像処理システム、並びに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
自動車の重心位置および動きベクトル並びに背景画像を受信して、重心位置および動きベクトルに応じて、背景画像上に自動車を重畳する技術が知られている（例えば、特許文献１参照。）。また、輝度値差が所定の閾値より小さい領域を特定して、特定した領域を背景領域として更新する技術が知られている（例えば、特許文献２参照。）。
【特許文献１】特開２００２−１５０４８３号公報
【特許文献２】特開２０００−１５６８５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１および２に記載の技術によると、背景は大きく変化しないので、背景を頻繁に送信してしまう。したがって、画像のデータ量を著しく削減することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部と、を備える。
【０００５】
動画における背景となるべき複数の背景画像を予め送信する背景画像送信部をさらに備え、トランジション情報生成部は、複数の背景画像の中から、変化検出部が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像を特定し、特定した複数の背景画像を識別する識別情報を含むトランジション情報を生成してもよい。
【０００６】
トランジション情報生成部は、複数の背景画像の中から、変化検出部が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像および当該複数の背景画像を表示させる表示順を特定し、当該複数の背景画像を識別する識別情報および当該表示順を含むトランジション情報を生成してもよい。
【０００７】
トランジション情報生成部は、複数の動画構成画像のそれぞれについて、複数の背景画像の中から動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定し、類似背景画像を識別する識別情報を含むトランジション情報を生成してもよい。
【０００８】
トランジション情報生成部は、類似背景画像と動画構成画像との間の差分画像を生成し、類似背景画像を識別する識別情報および差分画像を含むトランジション情報を生成してもよい。
【０００９】
背景画像送信部は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信し、トランジション情報生成部は、背景領域に含まれる部分領域のそれぞれにおいて、複数の部分背景画像の中から動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定し、複数の部分領域のそれぞれにおける類似部分背景画像を識別する識別情報を含むトランジション情報を生成してもよい。
【００１０】
特徴領域の画像を、特徴領域に含まれる部分領域ごとに圧縮する圧縮部をさらに備え、出力部は、トランジション情報および圧縮部により圧縮された特徴領域の画像を送信してもよい。
【００１１】
変化検出部は、背景領域における画像の周期的な変化を検出し、トランジション情報生成部は、変化検出部が検出した周期的な変化に基づいて、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含むトランジション情報を生成してもよい。
【００１２】
背景となる背景画像を送信する背景画像送信部をさらに備え、変化検出部は、背景領域における画像の周期的な変化を検出し、トランジション情報生成部は、変化検出部が検出した周期的な変化に基づいて、背景領域における背景画像からの時刻に応じた変化を示すトランジション情報を生成してもよい。
【００１３】
本発明の第２の形態によると、画像処理方法であって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、変化検出段階が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力段階と、を備える。
【００１４】
本発明の第３の形態によると、画像を処理する画像処理装置用のプログラムであって、画像処理装置を、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部、として機能させる。
【００１５】
本発明の第４の形態によると、画像処理システムであって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部と、出力部から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力部から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部と、を備える。
【００１６】
本発明の第５の形態によると、画像処理方法であって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、変化検出段階が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力段階と、出力段階から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力段階から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成段階と、を備える。
【００１７】
本発明の第６の形態によると、画像を処理する画像処理システム用のプログラムであって、画像処理システムを、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部、出力部から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力部から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部、として機能させる。
【００１８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２０】
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００２１】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
【００２２】
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００２３】
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
【００２４】
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画である背景領域動画を生成する。
【００２５】
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連付けて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００２６】
画像処理装置１７０は、画像処理装置１２０ａから受信した、関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００２７】
なお、撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信して関連付けされた複数の特徴領域動画データおよび背景領域動画データから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００２８】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００２９】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、背景情報生成ユニット２６０、対応付け処理部２０６、および出力部２０７を有する。
【００３０】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
【００３１】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。また、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。また、画像分割部２０４は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。
【００３２】
画像生成部２０５は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画を生成する。また、画像生成部２０５は、動画を複製することにより、背景領域の動画である背景領域動画を生成する。
【００３３】
固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。固定値化部２１１は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、特徴領域画像以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。
【００３４】
低減化ユニット２２０は、複数の画質低減部２２１ａ−ｃ（以下、画質低減部２２１と総称する。）を含む。画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。
【００３５】
符号化ユニット２３０は、複数の特徴領域動画符号化部２３１ａ−ｃ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、特徴領域動画符号化部２３１ａ−ｃを総称して、符号化部２３１と呼ぶ場合がある。符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
【００３６】
なお、画質低減部２２１ａおよび特徴領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。同様に、画質低減部２２１ｂおよび特徴領域動画符号化部２３１ｂは圧縮部２４０ｂとして機能する。画質低減部２２１ｃおよび特徴領域動画符号化部２３１ｃは、圧縮部２４０ｃとして機能する。なお、複数の圧縮部２４０ａ−ｃを、圧縮部２４０と総称する。
【００３７】
圧縮部２４０は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。上記特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
【００３８】
なお、圧縮部２４０ａ、圧縮部２４０ｂ、および圧縮部２４０ｃには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ａ、圧縮部２４０ｂ、および圧縮部２４０ｃは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ａ、圧縮部２４０ｂ、および圧縮部２４０ｃは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。また、圧縮部２４０は、特徴領域の画像を、特徴領域に含まれる部分領域ごとに圧縮する。
【００３９】
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
【００４０】
背景情報生成ユニット２６０は、背景領域の画像の移り変わりを示すトランジション情報を出力する。また、背景情報生成ユニット２６０は、動画における背景となるべき複数の背景画像を出力する。背景情報生成ユニット２６０は、動画における背景となるべき複数の部分背景画像を出力してもよい。
【００４１】
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画圧縮することによって生成した複数の特徴領域動画データおよび背景情報生成ユニット２６０が出力したトランジション情報を、例えばタグ情報等を付帯する等して互いに対応付ける。出力部２０７は、対応付け処理部２０６が対応付けた複数の特徴領域動画データおよびトランジション情報を通信ネットワーク１１０に送出する。
【００４２】
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を特定したときの信頼性の度合いを示す確信度を、複数の特徴領域毎に算出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた強度で圧縮する。例えば、画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた設定値を用いて符号化することにより圧縮する。例えば、圧縮部２４０は、複数の特徴領域動画を、それぞれの確信度が低いほど、それぞれの特徴量に応じた強度より低い強度で圧縮してよい。
【００４３】
図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、受信部３０５、格納部３０６、動画生成部３０３、および出力部３０４を有する。
【００４４】
圧縮動画取得部３０１は、出力部２０７が出力した、対応付けられた複数の特徴領域動画データおよびトランジション情報を取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した、対応付けられた複数の特徴領域動画データおよびトランジション情報を取り出す。
【００４５】
圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｃ（以下、圧縮動画伸張部３１１と総称する。）を含む。圧縮動画伸張部３１１は、複数の特徴領域動画データを復号する。また、圧縮動画伸張部３１１ａ−ｃは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画を取得する。なお、圧縮動画伸張部３１１ａ−ｃは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
【００４６】
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号された動画を出力部３０４が出力してもよい。
【００４７】
受信部３０５は、背景情報生成ユニット２６０が送信した画像を受信する。たとえば、背景情報生成ユニット２６０が、動画における背景となるべき複数の背景画像を送信した場合、受信部３０５は、当該複数の背景画像を受信する。また、背景情報生成ユニット２６０が、背景となるべき画像である複数の部分背景画像を送信した場合、受信部３０５は、当該複数の部分背景画像を受信する。
【００４８】
格納部３０６は、受信部３０５が受信した画像を格納する。たとえば、受信部３０５が、複数の背景画像を受信した場合、格納部３０６は、当該複数の背景画像を格納する。また、受信部３０５が、複数の部分背景画像を受信した場合、格納部３０６は、当該複数の部分背景画像を格納する。
【００４９】
動画生成部３０３は、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景情報生成ユニット２６０から送信された背景画像に重ね合わせることにより、動画構成画像を生成する。この場合、動画生成部３０３は、背景情報生成ユニット２６０が生成したトランジション情報に基づいて、上記特徴領域の画像を、背景情報生成ユニット２６０から送信された背景画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５０】
圧縮動画取得部３０１が取得したトランジション情報に背景画像の識別情報が含まれている場合、動画生成部３０３は、当該識別情報によって特定される背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した背景画像を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５１】
また、圧縮動画取得部３０１が取得したトランジション情報に部分背景画像の識別情報が含まれている場合、動画生成部３０３は、当該識別情報によって特定される部分背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した部分背景画像を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５２】
また、圧縮動画取得部３０１が取得したトランジション情報に背景画像の識別情報およびその表示順が含まれている場合、動画生成部３０３は、当該識別情報によって特定される背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した背景画像を、上記表示順に従って、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５３】
また、圧縮動画取得部３０１が取得したトランジション情報に背景画像の識別情報および差分画像が含まれている場合、動画生成部３０３は、当該識別情報によって特定される部分背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した背景画像と取得した差分画像とに基づいて背景画像を生成してもよい。さらに、動画生成部３０３は、生成した背景画像を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５４】
また、圧縮動画取得部３０１が取得したトランジション情報に、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることが含まれている場合、動画生成部３０３は、上記背景動画を繰り返された背景動画を生成してもよい。そして、動画生成部３０３は、生成した背景動画を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５５】
また、圧縮動画取得部３０１が取得したトランジション情報が、背景領域における背景画像からの時刻に応じた変化を示す場合、動画生成部３０３は、一つの背景画像を取得してから、取得した背景画像をトランジション情報に従って周期式に変化させることにより背景動画を生成してもよい。そして、動画生成部３０３は、生成した背景動画を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。このとき、圧縮動画取得部３０１が、上記トランジション情報と共に上記一つの背景画像を受信した場合、動画生成部３０３は、圧縮動画取得部３０１から、上記一つの背景画像を取得してもよい。
【００５６】
また、上記トランジション情報に上記一つの背景画像の識別情報が含まれている場合、動画生成部３０３は、上記識別情報によって特定される背景画像を格納部３０６から抽出してもよい。なお、圧縮動画取得部３０１が取得したトランジション情報が、背景画像を周期的に変化させるための計算式である揺らぎ式を含む場合、動画生成部３０３は、取得した背景画像を上記揺らぎ式を用いて周期式に変化させることにより背景動画を生成してもよい。
【００５７】
出力部３０４は、動画生成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。出力部３０４は、特徴領域の画像を、異なる画像サイズまたは異なる画質で表示してもよい。たとえば、出力部３０４は、ユーザからの要求がないときは、画像サイズが縮小された特徴領域の画像を表示して、ユーザからの要求があったときは、画像サイズが拡大された特徴領域の画像を表示してもよい。また、出力部３０４は、ユーザからの要求がないときは、低画質化された特徴領域の画像を表示して、ユーザからの要求があったときは、高画質化された特徴領域の画像を表示してもよい。
【００５８】
図４は、画像処理装置１２０のブロック構成の別の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、入力動画画質制御部２８０、画質低減部２８１、階層間差分圧縮部２８２ａ−ｃ（以下、階層間差分圧縮部２８２と総称する。）、背景情報生成ユニット２６０、および出力部２０７を備える。
【００５９】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
【００６０】
具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、動画構成画像は、この発明における入力画像の一例である。
【００６１】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。入力動画画質制御部２８０は、圧縮動画伸張部２０２が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。具体的には、入力動画画質制御部２８０は、特徴領域以外の領域、すわなち背景領域の画質を低くする。なお、入力動画画質制御部２８０は、特徴領域以外の領域、すわなち背景領域の全画素の画素値および輝度値を０にしてもよい。
【００６２】
画質低減部２８１は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部２８１は、生成した画質が異なる動画を階層間差分圧縮部２８２に提供する。具体的には、画質低減部２８１は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。そして、階層間差分圧縮部２８２は、予め定められた画質の動画を画質低減部２８１から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部２８２は、互いに異なる画質の動画を圧縮する。
【００６３】
なお、画質低減部２８１が階層間差分圧縮部２８２ａに供給する動画に含まれる動画構成画像は、この発明における低画質画像の一例であってよい。また、画質低減部２８１が階層間差分圧縮部２８２ｂ−ｃに供給する動画に含まれる動画構成画像は、この発明における特徴領域画像の一例であってよい。この場合、画質低減部２８１および入力動画画質制御部２８０は、この発明における画像生成部として機能する。
【００６４】
なお、階層間差分圧縮部２８２ａは、階層間差分圧縮部２８２ｂ−ｃのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。なお、階層間差分圧縮部２８２は、階層間差分圧縮部２８２ｂ、および階層間差分圧縮部２８２ｃの順で解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。
【００６５】
階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｂは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｂは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【００６６】
また、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｃは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｃは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【００６７】
このように、階層間差分圧縮部２８２ｂ−ｃは、入力動画画質制御部２８０または画質低減部２８１から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。
【００６８】
背景情報生成ユニット２６０は、圧縮動画伸張部２０２によって生成された、動画に含まれる複数の動画構成画像から、背景領域の画像の移り変わりを示すトランジション情報を生成する。また、背景情報生成ユニット２６０は、圧縮動画伸張部２０２によって生成された、動画に含まれる複数の動画構成画像から、動画における背景となるべき複数の背景画像を送信する。
【００６９】
出力部２０７は、階層間差分圧縮部２８２のそれぞれが圧縮して得られた動画を多重化して出力する。また、出力部２０７は、背景情報生成ユニット２６０によって生成されたトランジション情報を出力する。具体的には、出力部２０７は、階層間差分圧縮部２８２が圧縮した動画および背景情報生成ユニット２６０が生成したトランジション情報を画像処理装置１７０に送信する。このように、画像処理装置１２０は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
【００７０】
図５は、階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。階層間差分圧縮部２８２ａは、動き解析部２８５ａ、動き符号化部２８６ａ、差分処理部２８７ａ、および符号化部２８８ａを有する。動き解析部２８５ａは、差分対象領域決定部２９４ａおよび位置差情報生成部２９５ａを含む。差分処理部２８７ａは、差分画素画像生成部２９６ａ、空間周波数領域変換部２９７ａ、および量子化部２９８ａを含む。
【００７１】
階層間差分圧縮部２８２ｂは、動き解析部２８５ｂ、動き符号化部２８６ｂ、差分処理部２８７ｂ、画像拡大部２９３ｂ、画像復号部２９２ｂ、画素値変更部２９１ｂ、および符号化部２８８ｂを有する。動き解析部２８５ｂは、差分対象領域決定部２９４ｂおよび位置差情報生成部２９５ｂを含む。差分処理部２８７ｂは、差分画素画像生成部２９６ｂ、空間周波数領域変換部２９７ｂ、量子化部２９８ｂ、および周波数領域画質変換部２９９ｂを含む。なお、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが有する構成要素と略同一の構成要素を有するので、説明を省略する。
【００７２】
以下に、階層間差分圧縮部２８２ａの各構成要素の機能および動作について説明する。動き解析部２８５ａは、画質低減部２８１から受け取った複数の動画構成画像の画像内容に基づいて、複数の動画構成画像にわたる動きを解析することによって、動きに基づいて動画構成画像を圧縮する部分領域を決定する。
【００７３】
具体的には、差分対象領域決定部２９４ａは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部２９４ａは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部２８７ａに供給する。
【００７４】
また、位置差情報生成部２９５ａは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ａは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部２９５ａは、生成した位置差情報を動き符号化部２８６ａに供給する。
【００７５】
動き符号化部２８６ａは、位置差情報生成部２９５ａから供給された位置差情報を符号化して、出力部２０７に供給する。例えば、動き符号化部２８６は、隣接する部分領域における位置差情報との間の差を符号化して、出力部２０７に供給する。
【００７６】
差分処理部２８７ａは、動き解析部２８５ａから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部２９６ａは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
【００７７】
そして、空間周波数領域変換部２９７ａは、差分画素画像を部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ａは、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部２９７ａは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。
【００７８】
なお、動き解析部２８５ａが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部２８７ａは圧縮対象の部分領域の画素情報を空間周波数領域変換部２９７ａに供給する。空間周波数領域変換部２９７ａは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。
【００７９】
量子化部２９８ａは、空間周波数領域変換部２９７ａが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部２８８ａは、量子化部２９８ａによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部２８８は、量子化部２９８ａによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部２８８ａは、符号化することによって得られた動画を出力部２０７に供給する。
【００８０】
以下に、階層間差分圧縮部２８２ｂが含む各構成要素の機能および動作について説明する。階層間差分圧縮部２８２ｂが含む構成要素のうち、階層間差分圧縮部２８２ａが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部２８２ａが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
【００８１】
差分対象領域決定部２９４ｂは、差分対象領域決定部２９４ａと同様に、画質低減部２８１から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部２９４ｂは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部２９４ｂは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部２９１ｂに供給する。
【００８２】
また、画像復号部２９２ｂは、符号化部２８８ａから動画構成画像を取得するとともに、動き符号化部２８６ａから位置差情報を取得する。そして、画像復号部２９２ｂは、符号化部２８８ａから取得した動画構成画像を、動き符号化部２８６ａから取得した位置差情報を用いて復号する。なお、画像復号部２９２ｂは、量子化部２９８ａにより量子化された動画構成画像を取得して復号してよく、符号化部２８８ａが符号化した動画構成画像を取得して復号してもよい。なお、画像復号部２９２ｂによって復号されて得られた動画構成画像は、この発明における低画質画像の一例であってよい。この場合、階層間差分圧縮部２８２ａは、この発明における低画質画像を生成する画像生成部として機能する。
【００８３】
画像拡大部２９３ｂは、画像復号部２９２ｂにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部２９１ｂは、差分対象領域決定部２９４ｂが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。
【００８４】
このように、画素値変更部２９１ｂは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。なお、画素値変更部２９１ｂは、この発明において、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する画像生成部として機能することができる。
【００８５】
差分処理部２８７ｂは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部２９１ｂから受け取る。そして、差分処理部２８７ｂは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか（以下、イントラ符号化と呼ぶ。）、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか（以下、インター符号化と呼ぶ。）、拡大画像との間の差分により符号化するか（以下、階層間圧縮と呼ぶ。）を決定する。このとき、差分処理部２８７ｂは符号化後の符号量がより小さい符号化方法をより優先して選択する。特徴領域以外の領域において差分を持たないように画素値が置き換えられているので階層間符号化が選択されるので階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
【００８６】
階層間符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部２９６ｂは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
【００８７】
インター符号化が選択された場合には、差分画素画像生成部２９６ｂは、画素値変更部２９１ｂにより生成された特徴領域画像と、他の動画構成画像から画素値変更部２９１ｂが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部２９４ｂが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域において差分対象領域決定部２９４ｂが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部２９４ｂが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
【００８８】
なお、イントラ符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
【００８９】
空間周波数領域変換部２９７ｂは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ｂは、差分画素画像が示す差分値を、空間周波数領域変換部２９７ａと同様に、離散コサイン変換（ＤＣＴ）、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部２９８ｂは、量子化部２９８ａと同様に、空間周波数領域変換部２９７ｂが空間周波数領域に変換することによって得られた変換係数を量子化する。
【００９０】
そして、周波数領域画質変換部２９９ｂは、空間周波数領域変換部２９７ｂにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像または特徴領域間差分画像を生成する。具体的には、周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数を０にしてもよい。
【００９１】
このように、差分処理部２８７ｂは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部２８８ｂは、差分処理部２８７ｂが生成した特徴領域差分画像を符号化する。
【００９２】
また、上記したように、差分処理部２８７ｂは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部２８７は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
【００９３】
なお、以上の説明においては、画素値変更部２９１ｂは、差分画素画像における少なくとも特徴領域以外の領域（予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域）において差分値を０とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を０とすることもできる。
【００９４】
例えば、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を０とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【００９５】
このように、画素値変更部２９１ｂは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部２９６は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
【００９６】
なお、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部２８２（例えば、階層間差分圧縮部２８２ａ）に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略０にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【００９７】
なお、位置差情報生成部２９５ｂは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ｂは、位置差情報生成部２９５ａと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
【００９８】
位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部２９０ｂは、動き符号化部２８６ａから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域における動きベクトルの大きさを０にする。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域について、位置差情報生成部２９５ｂから受け取った動きベクトルの大きさを０にするとともに、動き符号化部２８６ａから受け取った動きベクトルの大きさを０にする。
【００９９】
そして、動き符号化部２８６ｂは、位置差情報を符号化する。具体的には、動き符号化部２８６ｂは、動き符号化部２８６ａと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部２８６ｂにより符号化された位置差情報は、出力部２０７に供給される。
【０１００】
なお、本実施形態では、位置差情報変更部２９０は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部２９０ｂは、動き符号化部２８６ｂにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部２９０ｂは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部２８６により符号化された位置差情報を変更してもよい。
【０１０１】
なお、符号化部２８８ｂは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
【０１０２】
例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、ＭＰＥＧ符号化におけるＮｏｎＭＣ ＮｏｔＣｏｄｅｄに相当する種別であってよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂが動きベクトルの大きさおよび差分情報が０であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部２８２ｂは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
【０１０３】
なお、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部２８２ｃが有する、階層間差分圧縮部２８２と同名の構成要素には同じ符号を付す。そして、符号の末尾（ｂ、ｃ）により、階層間差分圧縮部２８２ｂ−ｃのいずれに含まれる構成要素であるかを区別する。
【０１０４】
例えば、動き解析部２８５ｃは階層間差分圧縮部２８２ｃが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部２８２ｂ−ｃが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部２９１は、画素値変更部２９１ｂ−ｃを示す。
【０１０５】
なお、階層間差分圧縮部２８２ｃの機能および動作と、階層間差分圧縮部２８２ｂの機能および動作は、画質低減部２８１から異なる画質の動画を取得して処理すること、および位置差情報変更部２９０ｃ、ならびに画像復号部２９２ｃが、より画質が低い動画を処理する他の階層間差分圧縮部２８２から、差分のための位置差情報および動画構成画像を取得するところが異なる。
【０１０６】
より具体的には、位置差情報変更部２９０ｃは、動き符号化部２８６ｂから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｃは、動き符号化部２８６ｂから位置差情報を取得するとともに、符号化部２８８ｂから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
【０１０７】
なお、特徴領域検出部２０３は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部２８１は、一の特徴の種類を持つ特徴領域において解像度を低減することにより入力画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を入力画像から生成する。そして、階層間差分圧縮部２８２ｂ−ｃは、特徴領域の種類ごとに用意されており、少なくとも予め定められた種類の特徴領域において、特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を処理する。
【０１０８】
具体的には、階層間差分圧縮部２８２ｂは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部２８２ｃは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。
【０１０９】
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０１１０】
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
【０１１１】
符号化部２８８は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、出力部２０７は、動き符号化部２８６ａ−ｃにより符号化された位置差情報および符号化部２８８ａ−ｃにより符号化された動画構成画像（例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像）を、多重化して出力する。
【０１１２】
以上説明したように、階層間差分圧縮部２８２ａは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｃよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、特徴領域以外の領域において、階層間差分圧縮部２８２ａが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１１３】
同様に、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｃは、特徴領域以外の領域において、階層間差分圧縮部２８２ｂが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１１４】
このように、階層間差分圧縮部２８２ｂ−ｃのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部２８２ｂ−ｃは、他の階層間差分圧縮部２８２が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
【０１１５】
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部２８２ｂ−ｃは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部２８２に供給してよい。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
【０１１６】
なお、画像処理装置１２０は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置１２０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。
【０１１７】
なお、画像処理装置１７０は、階層間差分圧縮部２８２ａ−ｃのそれぞれにより圧縮された複数の動画構成画像を取得する。そして、画像処理装置１７０は、取得した複数の動画構成画像をそれぞれ復号する。そして、画像処理装置１７０は、復号することにより得られた複数の動画構成画像を重ね合わせることにより一の合成画像を生成する。そして、画像処理装置１７０は、生成した合成画像を動画構成画像として含む動画を、表示装置１８０に供給する。
【０１１８】
図６は、背景情報生成ユニット２６０のブロック構成の一例を示す。背景情報生成ユニット２６０は、背景画像送信部２６１、変化検出部２６２、およびトランジション情報生成部２６３を有する。
【０１１９】
背景画像送信部２６１は、動画における背景となるべき複数の背景画像を予め送信する。具体的には、背景画像送信部２６１は、出力部２０７および対応付け処理部２０６を介して、動画における背景となるべき複数の背景画像を画像処理装置１７０へ予め送信する。背景画像送信部２６１は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信してもよい。たとえば、背景画像送信部２６１は、動画構成画像の画像領域における複数のマクロブロックのそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信してもよい。
【０１２０】
変化検出部２６２は、動画から、特徴領域検出部２０３によって検出された特徴領域以外の領域である背景領域における画像の変化を検出する。変化検出部２６２は、画像生成部２０５から出力された背景領域動画から、上記画像の変化を検出してもよい。また、変化検出部２６２は、圧縮動画伸張部２０２から出力された動画から、上記画像の変化を検出してもよい。また、変化検出部２６２は、背景領域における画像の輝度の変化を検出してもよい。
【０１２１】
また、変化検出部２６２は、背景領域における画像の周期的な変化を検出してもよい。たとえば、変化検出部２６２は、背景領域において画像の輝度変化が一定時間ないことを検出してもよい。また、変化検出部２６２は、木の葉のゆれ、水面のゆれのように、背景領域における画像が一定の輝度変化を繰り返すことを検出してもよい。
【０１２２】
トランジション情報生成部２６３は、変化検出部２６２が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成する。たとえば、トランジション情報生成部２６３は、背景画像送信部２６１によって予め送信された複数の背景画像の中から、変化検出部２６２が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像を特定してから、特定した複数の背景画像を識別する識別情報を含むトランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景画像送信部２６１によって予め送信された複数の背景画像の中から、変化検出部２６２が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像およびその表示順を含むトランジション情報を生成してもよい。
【０１２３】
また、トランジション情報生成部２６３は、複数の動画構成画像のそれぞれについて、背景画像送信部２６１によって予め送信された複数の背景画像の中から、動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定してから、その識別情報を含むトランジション情報を生成してもよい。この場合、トランジション情報生成部２６３は、動画構成画像との輝度の差が予め定められた値以下の背景画像である類似背景画像を特定してから、その識別情報を含むトランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景画像送信部２６１によって予め送信された複数の背景画像の中から、動画構成画像との差が最も小さい背景画像を類似背景画像として特定してもよい。
【０１２４】
また、トランジション情報生成部２６３は、類似背景画像と動画構成画像との間の差分画像を生成してから、類似背景画像を識別する識別情報および差分画像を含むトランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景領域に含まれる部分領域のそれぞれにおいて、複数の部分背景画像の中から動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定してから、それらを識別する識別情報を含むトランジション情報を生成してもよい。
【０１２５】
また、トランジション情報生成部２６３は、変化検出部２６２が検出した周期的な変化に基づいて、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含むトランジション情報を生成してもよい。この場合、トランジション情報生成部２６３は、画像生成部２０５または圧縮動画伸張部２０２から出力された動画から、背景領域における一周期分の変化を示す背景動画を生成してもよい。
【０１２６】
また、トランジション情報生成部２６３は、変化検出部２６２が検出した周期的な変化に基づいて、背景領域における背景画像からの時刻に応じた変化を示すトランジション情報を生成してもよい。たとえば、周期的に変化させるための一つの背景画像を含んだ上記トランジション情報を生成してもよい。また、周期的に変化させるための一つの背景画像の識別情報を含んだ上記トランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景画像を周期的に変化させるための計算式である揺らぎ式を含むトランジション情報を生成してもよい。この場合、トランジション情報生成部２６３は、マクロブロックごとの揺らぎ式を含むトランジション情報を生成してもよい。
【０１２７】
また、トランジション情報生成部２６３は、生成したトランジション情報を、対応付け処理部２０６へ出力してもよい。また、トランジション情報生成部２６３は、生成したトランジション情報を、出力部２０７へ出力してもよい。
【０１２８】
図７は、背景画像の一例を示す。背景画像７０１、背景画像７０２、および背景画像７０３は、背景情報生成ユニット２６０によって特定された、背景領域における画像の変化に対応する背景画像である。また、背景画像７０１、背景画像７０２、および背景画像７０３は、背景領域の移り変わりを示す背景画像である。背景画像７０１−７０３は、当該背景画像７０１−７０３と重ね合わせられる特徴領域の画像よりも高画質であってもよい。
【０１２９】
背景情報生成ユニット２６０は、背景画像７０１−７０３を含む複数の背景画像を予め画像処理装置１７０へ送信する。画像処理装置１７０は、受信した複数の背景画像を格納部３０６へ格納する。背景情報生成ユニット２６０は、背景画像７０１−７０３の識別情報が含まれたトランジション情報を生成する。そして、背景情報生成ユニット２６０は、生成したトランジション情報を画像処理装置１７０へ送信する。
【０１３０】
画像処理装置１７０は、受信したトランジション情報に基づいて、格納部３０６に格納されている複数の背景画像の中から、背景画像７０１−７０３を抽出してもよい。そして、画像処理装置１７０は、抽出した背景画像７０１−７０３から背景動画を生成してもよい。さらに、画像処理装置１７０は、生成した背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。
【０１３１】
背景情報生成ユニット２６０は、背景画像７０１−７０３を、予め画像処理装置１７０へ送信しなくてもよい。この場合、背景情報生成ユニット２６０は、特徴領域の画像が画像処理装置１７０へ送信されるタイミングで、背景画像７０１−７０３を、背景動画として画像処理装置１７０へ送信してもよい。そして、画像処理装置１７０は、背景情報生成ユニット２６０から送信された背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。この場合、背景情報生成ユニット２６０は、トランジション情報を画像処理装置１７０へ送信しなくてもよい。
【０１３２】
また、背景情報生成ユニット２６０は、背景画像７０１−７０３のいずれか一つを選択して、選択した背景画像と、選択した背景画像を周期的に変化させるための計算式である揺らぎ式とを画像処理装置１７０へ送信してもよい。この場合、画像処理装置１７０は、背景情報生成ユニット２６０から送信された一つの背景画像を、同じく背景情報生成ユニット２６０から送信された揺らぎ式を用いて周期的に変化させることにより、背景動画を生成してもよい。そして、画像処理装置１７０は、生成した背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。
【０１３３】
図８は、背景動画の一例を示す。背景動画８００は、画像処理装置１７０によって生成される。背景動画８００は、背景画像７０１、背景画像７０２、および７０３をそれぞれ複数含む。画像処理装置１７０が、背景動画８００を再生すると、画像処理装置１７０においては、木の葉が周期的に変化する樹木を含んだ背景動画が、画面に表示される。画像処理装置１７０は、背景動画８００を再生した場合、背景が固定された背景動画を表示するよりも、より背景らしさが表現された背景動画を表示することができる場合がある。
【０１３４】
このように、本実施形態の画像処理システム１０においては、画像処理装置１２０は、特徴領域の動画と、一部の背景画像とを、画像処理装置１７０へ送信する。そして、画像処理装置１７０は、画像処理装置１２０から送信された一部の背景画像を繰返し用いることにより、または周期的に変化させることにより、背景動画を生成する。そのうえで、画像処理装置１７０は、生成した背景動画を、画像処理装置１２０から送信された特徴領域の動画と重ね合わせることにより、表示用の動画を生成する。これにより、本実施形態の画像処理システム１０を実際の監視システムに適用した場合には、本実施形態の画像処理システム１０を適用しない監視システムよりも、ネットワーク上で通信される画像のデータ量を削減することができる場合がある。
【０１３５】
図９は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
【０１３６】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１３７】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。
【０１３８】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１３９】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【０１４０】
ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、および画像生成部２０５として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した固定値化部２１１、画質低減部２２１、符号化部２３１、対応付け処理部２０６、および出力部２０７として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した、入力動画画質制御部２８０、画質低減部２８１、および階層間差分圧縮部２８２として機能させる。
【０１４１】
また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した背景画像送信部２６１、変化検出部２６２、およびトランジション情報生成部２６３として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１７０を、図１から図８に関連して説明した圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張部３１１、動画生成部３０３、出力部３０４、受信部３０５、および格納部３０６として機能させる。
【０１４２】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。
【０１４３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１４４】
【図１】一実施形態に係る画像処理システム１０の一例を示す。
【図２】画像処理装置１２０のブロック構成の一例を示す。
【図３】画像処理装置１７０のブロック構成の一例を示す。
【図４】画像処理装置１２０のブロック構成の別の一例を示す。
【図５】階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。
【図６】背景情報生成ユニット２６０のブロック構成の一例を示す。
【図７】背景画像の一例を示す。
【図８】背景動画の一例を示す。
【図９】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。
【符号の説明】
【０１４５】
１０ 画像処理システム
１００ 撮像装置
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０４ 画像分割部
２０５ 画像生成部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ｂ−ｃ 特徴領域動画符号化部
２４０ 圧縮部
２６０ 背景情報生成ユニット
２６１ 背景画像送信部
２６２ 変化検出部
２６３ トランジション情報生成部
２８０ 入力動画画質制御部
２８１ 画質低減部
２８２ 階層間差分圧縮部
２８５ 動き解析部
２８６ 動き符号化部
２８７ 差分処理部
２８８ 符号化部
２９０ 位置差情報変更部
２９１ 画素値変更部
２９２ 画像復号部
２９３ 画像拡大部
２９４ 差分対象領域決定部
２９５ 位置差情報生成部
２９６ 差分画素画像生成部
２９７ 空間周波数領域変換部
２９８ 量子化部
２９９ 周波数領域画質変換部
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 動画生成部
３０４ 出力部
３０５ 受信部
３０６ 格納部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。本発明は、特に、画像を圧縮する画像処理装置、画像処理方法および画像処理システム、並びに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
自動車の重心位置および動きベクトル並びに背景画像を受信して、重心位置および動きベクトルに応じて、背景画像上に自動車を重畳する技術が知られている（例えば、特許文献１参照。）。また、輝度値差が所定の閾値より小さい領域を特定して、特定した領域を背景領域として更新する技術が知られている（例えば、特許文献２参照。）。
【特許文献１】特開２００２−１５０４８３号公報
【特許文献２】特開２０００−１５６８５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１および２に記載の技術によると、背景は大きく変化しないので、背景を頻繁に送信してしまう。したがって、画像のデータ量を著しく削減することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部と、を備える。
【０００５】
動画における背景となるべき複数の背景画像を予め送信する背景画像送信部をさらに備え、トランジション情報生成部は、複数の背景画像の中から、変化検出部が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像を特定し、特定した複数の背景画像を識別する識別情報を含むトランジション情報を生成してもよい。
【０００６】
トランジション情報生成部は、複数の背景画像の中から、変化検出部が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像および当該複数の背景画像を表示させる表示順を特定し、当該複数の背景画像を識別する識別情報および当該表示順を含むトランジション情報を生成してもよい。
【０００７】
トランジション情報生成部は、複数の動画構成画像のそれぞれについて、複数の背景画像の中から動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定し、類似背景画像を識別する識別情報を含むトランジション情報を生成してもよい。
【０００８】
トランジション情報生成部は、類似背景画像と動画構成画像との間の差分画像を生成し、類似背景画像を識別する識別情報および差分画像を含むトランジション情報を生成してもよい。
【０００９】
背景画像送信部は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信し、トランジション情報生成部は、背景領域に含まれる部分領域のそれぞれにおいて、複数の部分背景画像の中から動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定し、複数の部分領域のそれぞれにおける類似部分背景画像を識別する識別情報を含むトランジション情報を生成してもよい。
【００１０】
特徴領域の画像を、特徴領域に含まれる部分領域ごとに圧縮する圧縮部をさらに備え、出力部は、トランジション情報および圧縮部により圧縮された特徴領域の画像を送信してもよい。
【００１１】
変化検出部は、背景領域における画像の周期的な変化を検出し、トランジション情報生成部は、変化検出部が検出した周期的な変化に基づいて、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含むトランジション情報を生成してもよい。
【００１２】
背景となる背景画像を送信する背景画像送信部をさらに備え、変化検出部は、背景領域における画像の周期的な変化を検出し、トランジション情報生成部は、変化検出部が検出した周期的な変化に基づいて、背景領域における背景画像からの時刻に応じた変化を示すトランジション情報を生成してもよい。
【００１３】
本発明の第２の形態によると、画像処理方法であって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、変化検出段階が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力段階と、を備える。
【００１４】
本発明の第３の形態によると、画像を処理する画像処理装置用のプログラムであって、画像処理装置を、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部、として機能させる。
【００１５】
本発明の第４の形態によると、画像処理システムであって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部と、出力部から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力部から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部と、を備える。
【００１６】
本発明の第５の形態によると、画像処理方法であって、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、変化検出段階が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力段階と、出力段階から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力段階から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成段階と、を備える。
【００１７】
本発明の第６の形態によると、画像を処理する画像処理システム用のプログラムであって、画像処理システムを、動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、動画から、特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、変化検出部が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、トランジション情報および複数の動画構成画像における特徴領域の画像を送信する出力部、出力部から受信したトランジション情報に応じて背景領域の画像を移り変わらせた画像と出力部から受信した特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部、として機能させる。
【００１８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２０】
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００２１】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
【００２２】
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００２３】
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
【００２４】
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画である背景領域動画を生成する。
【００２５】
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連付けて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００２６】
画像処理装置１７０は、画像処理装置１２０ａから受信した、関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００２７】
なお、撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信して関連付けされた複数の特徴領域動画データおよび背景領域動画データから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００２８】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００２９】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、背景情報生成ユニット２６０、対応付け処理部２０６、および出力部２０７を有する。
【００３０】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
【００３１】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。また、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。また、画像分割部２０４は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。
【００３２】
画像生成部２０５は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画を生成する。また、画像生成部２０５は、動画を複製することにより、背景領域の動画である背景領域動画を生成する。
【００３３】
固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。固定値化部２１１は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、特徴領域画像以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。
【００３４】
低減化ユニット２２０は、複数の画質低減部２２１ａ−ｃ（以下、画質低減部２２１と総称する。）を含む。画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。
【００３５】
符号化ユニット２３０は、複数の特徴領域動画符号化部２３１ａ−ｃ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、特徴領域動画符号化部２３１ａ−ｃを総称して、符号化部２３１と呼ぶ場合がある。符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
【００３６】
なお、画質低減部２２１ａおよび特徴領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。同様に、画質低減部２２１ｂおよび特徴領域動画符号化部２３１ｂは圧縮部２４０ｂとして機能する。画質低減部２２１ｃおよび特徴領域動画符号化部２３１ｃは、圧縮部２４０ｃとして機能する。なお、複数の圧縮部２４０ａ−ｃを、圧縮部２４０と総称する。
【００３７】
圧縮部２４０は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。上記特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
【００３８】
なお、圧縮部２４０ａ、圧縮部２４０ｂ、および圧縮部２４０ｃには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ａ、圧縮部２４０ｂ、および圧縮部２４０ｃは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ａ、圧縮部２４０ｂ、および圧縮部２４０ｃは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。また、圧縮部２４０は、特徴領域の画像を、特徴領域に含まれる部分領域ごとに圧縮する。
【００３９】
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
【００４０】
背景情報生成ユニット２６０は、背景領域の画像の移り変わりを示すトランジション情報を出力する。また、背景情報生成ユニット２６０は、動画における背景となるべき複数の背景画像を出力する。背景情報生成ユニット２６０は、動画における背景となるべき複数の部分背景画像を出力してもよい。
【００４１】
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画圧縮することによって生成した複数の特徴領域動画データおよび背景情報生成ユニット２６０が出力したトランジション情報を、例えばタグ情報等を付帯する等して互いに対応付ける。出力部２０７は、対応付け処理部２０６が対応付けた複数の特徴領域動画データおよびトランジション情報を通信ネットワーク１１０に送出する。
【００４２】
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を特定したときの信頼性の度合いを示す確信度を、複数の特徴領域毎に算出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた強度で圧縮する。例えば、画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた設定値を用いて符号化することにより圧縮する。例えば、圧縮部２４０は、複数の特徴領域動画を、それぞれの確信度が低いほど、それぞれの特徴量に応じた強度より低い強度で圧縮してよい。
【００４３】
図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、受信部３０５、格納部３０６、動画生成部３０３、および出力部３０４を有する。
【００４４】
圧縮動画取得部３０１は、出力部２０７が出力した、対応付けられた複数の特徴領域動画データおよびトランジション情報を取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した、対応付けられた複数の特徴領域動画データおよびトランジション情報を取り出す。
【００４５】
圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｃ（以下、圧縮動画伸張部３１１と総称する。）を含む。圧縮動画伸張部３１１は、複数の特徴領域動画データを復号する。また、圧縮動画伸張部３１１ａ−ｃは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画を取得する。なお、圧縮動画伸張部３１１ａ−ｃは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
【００４６】
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号された動画を出力部３０４が出力してもよい。
【００４７】
受信部３０５は、背景情報生成ユニット２６０が送信した画像を受信する。たとえば、背景情報生成ユニット２６０が、動画における背景となるべき複数の背景画像を送信した場合、受信部３０５は、当該複数の背景画像を受信する。また、背景情報生成ユニット２６０が、背景となるべき画像である複数の部分背景画像を送信した場合、受信部３０５は、当該複数の部分背景画像を受信する。
【００４８】
格納部３０６は、受信部３０５が受信した画像を格納する。たとえば、受信部３０５が、複数の背景画像を受信した場合、格納部３０６は、当該複数の背景画像を格納する。また、受信部３０５が、複数の部分背景画像を受信した場合、格納部３０６は、当該複数の部分背景画像を格納する。
【００４９】
動画生成部３０３は、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景情報生成ユニット２６０から送信された背景画像に重ね合わせることにより、動画構成画像を生成する。この場合、動画生成部３０３は、背景情報生成ユニット２６０が生成したトランジション情報に基づいて、上記特徴領域の画像を、背景情報生成ユニット２６０から送信された背景画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５０】
圧縮動画取得部３０１が取得したトランジション情報に背景画像の識別情報が含まれている場合、動画生成部３０３は、当該識別情報によって特定される背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した背景画像を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５１】
また、圧縮動画取得部３０１が取得したトランジション情報に部分背景画像の識別情報が含まれている場合、動画生成部３０３は、当該識別情報によって特定される部分背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した部分背景画像を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５２】
また、圧縮動画取得部３０１が取得したトランジション情報に背景画像の識別情報およびその表示順が含まれている場合、動画生成部３０３は、当該識別情報によって特定される背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した背景画像を、上記表示順に従って、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５３】
また、圧縮動画取得部３０１が取得したトランジション情報に背景画像の識別情報および差分画像が含まれている場合、動画生成部３０３は、当該識別情報によって特定される部分背景画像を、格納部３０６から抽出してもよい。そして、動画生成部３０３は、抽出した背景画像と取得した差分画像とに基づいて背景画像を生成してもよい。さらに、動画生成部３０３は、生成した背景画像を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５４】
また、圧縮動画取得部３０１が取得したトランジション情報に、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることが含まれている場合、動画生成部３０３は、上記背景動画を繰り返された背景動画を生成してもよい。そして、動画生成部３０３は、生成した背景動画を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
【００５５】
また、圧縮動画取得部３０１が取得したトランジション情報が、背景領域における背景画像からの時刻に応じた変化を示す場合、動画生成部３０３は、一つの背景画像を取得してから、取得した背景画像をトランジション情報に従って周期式に変化させることにより背景動画を生成してもよい。そして、動画生成部３０３は、生成した背景動画を、圧縮動画伸張部３１１ａ−ｃにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。このとき、圧縮動画取得部３０１が、上記トランジション情報と共に上記一つの背景画像を受信した場合、動画生成部３０３は、圧縮動画取得部３０１から、上記一つの背景画像を取得してもよい。
【００５６】
また、上記トランジション情報に上記一つの背景画像の識別情報が含まれている場合、動画生成部３０３は、上記識別情報によって特定される背景画像を格納部３０６から抽出してもよい。なお、圧縮動画取得部３０１が取得したトランジション情報が、背景画像を周期的に変化させるための計算式である揺らぎ式を含む場合、動画生成部３０３は、取得した背景画像を上記揺らぎ式を用いて周期式に変化させることにより背景動画を生成してもよい。
【００５７】
出力部３０４は、動画生成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。出力部３０４は、特徴領域の画像を、異なる画像サイズまたは異なる画質で表示してもよい。たとえば、出力部３０４は、ユーザからの要求がないときは、画像サイズが縮小された特徴領域の画像を表示して、ユーザからの要求があったときは、画像サイズが拡大された特徴領域の画像を表示してもよい。また、出力部３０４は、ユーザからの要求がないときは、低画質化された特徴領域の画像を表示して、ユーザからの要求があったときは、高画質化された特徴領域の画像を表示してもよい。
【００５８】
図４は、画像処理装置１２０のブロック構成の別の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、入力動画画質制御部２８０、画質低減部２８１、階層間差分圧縮部２８２ａ−ｃ（以下、階層間差分圧縮部２８２と総称する。）、背景情報生成ユニット２６０、および出力部２０７を備える。
【００５９】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
【００６０】
具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、動画構成画像は、この発明における入力画像の一例である。
【００６１】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。入力動画画質制御部２８０は、圧縮動画伸張部２０２が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。具体的には、入力動画画質制御部２８０は、特徴領域以外の領域、すわなち背景領域の画質を低くする。なお、入力動画画質制御部２８０は、特徴領域以外の領域、すわなち背景領域の全画素の画素値および輝度値を０にしてもよい。
【００６２】
画質低減部２８１は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部２８１は、生成した画質が異なる動画を階層間差分圧縮部２８２に提供する。具体的には、画質低減部２８１は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。そして、階層間差分圧縮部２８２は、予め定められた画質の動画を画質低減部２８１から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部２８２は、互いに異なる画質の動画を圧縮する。
【００６３】
なお、画質低減部２８１が階層間差分圧縮部２８２ａに供給する動画に含まれる動画構成画像は、この発明における低画質画像の一例であってよい。また、画質低減部２８１が階層間差分圧縮部２８２ｂ−ｃに供給する動画に含まれる動画構成画像は、この発明における特徴領域画像の一例であってよい。この場合、画質低減部２８１および入力動画画質制御部２８０は、この発明における画像生成部として機能する。
【００６４】
なお、階層間差分圧縮部２８２ａは、階層間差分圧縮部２８２ｂ−ｃのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。なお、階層間差分圧縮部２８２は、階層間差分圧縮部２８２ｂ、および階層間差分圧縮部２８２ｃの順で解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。
【００６５】
階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｂは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｂは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【００６６】
また、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｃは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｃは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
【００６７】
このように、階層間差分圧縮部２８２ｂ−ｃは、入力動画画質制御部２８０または画質低減部２８１から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。
【００６８】
背景情報生成ユニット２６０は、圧縮動画伸張部２０２によって生成された、動画に含まれる複数の動画構成画像から、背景領域の画像の移り変わりを示すトランジション情報を生成する。また、背景情報生成ユニット２６０は、圧縮動画伸張部２０２によって生成された、動画に含まれる複数の動画構成画像から、動画における背景となるべき複数の背景画像を送信する。
【００６９】
出力部２０７は、階層間差分圧縮部２８２のそれぞれが圧縮して得られた動画を多重化して出力する。また、出力部２０７は、背景情報生成ユニット２６０によって生成されたトランジション情報を出力する。具体的には、出力部２０７は、階層間差分圧縮部２８２が圧縮した動画および背景情報生成ユニット２６０が生成したトランジション情報を画像処理装置１７０に送信する。このように、画像処理装置１２０は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
【００７０】
図５は、階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。階層間差分圧縮部２８２ａは、動き解析部２８５ａ、動き符号化部２８６ａ、差分処理部２８７ａ、および符号化部２８８ａを有する。動き解析部２８５ａは、差分対象領域決定部２９４ａおよび位置差情報生成部２９５ａを含む。差分処理部２８７ａは、差分画素画像生成部２９６ａ、空間周波数領域変換部２９７ａ、および量子化部２９８ａを含む。
【００７１】
階層間差分圧縮部２８２ｂは、動き解析部２８５ｂ、動き符号化部２８６ｂ、差分処理部２８７ｂ、画像拡大部２９３ｂ、画像復号部２９２ｂ、画素値変更部２９１ｂ、および符号化部２８８ｂを有する。動き解析部２８５ｂは、差分対象領域決定部２９４ｂおよび位置差情報生成部２９５ｂを含む。差分処理部２８７ｂは、差分画素画像生成部２９６ｂ、空間周波数領域変換部２９７ｂ、量子化部２９８ｂ、および周波数領域画質変換部２９９ｂを含む。なお、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが有する構成要素と略同一の構成要素を有するので、説明を省略する。
【００７２】
以下に、階層間差分圧縮部２８２ａの各構成要素の機能および動作について説明する。動き解析部２８５ａは、画質低減部２８１から受け取った複数の動画構成画像の画像内容に基づいて、複数の動画構成画像にわたる動きを解析することによって、動きに基づいて動画構成画像を圧縮する部分領域を決定する。
【００７３】
具体的には、差分対象領域決定部２９４ａは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部２９４ａは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部２８７ａに供給する。
【００７４】
また、位置差情報生成部２９５ａは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ａは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部２９５ａは、生成した位置差情報を動き符号化部２８６ａに供給する。
【００７５】
動き符号化部２８６ａは、位置差情報生成部２９５ａから供給された位置差情報を符号化して、出力部２０７に供給する。例えば、動き符号化部２８６は、隣接する部分領域における位置差情報との間の差を符号化して、出力部２０７に供給する。
【００７６】
差分処理部２８７ａは、動き解析部２８５ａから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部２９６ａは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
【００７７】
そして、空間周波数領域変換部２９７ａは、差分画素画像を部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ａは、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部２９７ａは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。
【００７８】
なお、動き解析部２８５ａが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部２８７ａは圧縮対象の部分領域の画素情報を空間周波数領域変換部２９７ａに供給する。空間周波数領域変換部２９７ａは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。
【００７９】
量子化部２９８ａは、空間周波数領域変換部２９７ａが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部２８８ａは、量子化部２９８ａによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部２８８は、量子化部２９８ａによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部２８８ａは、符号化することによって得られた動画を出力部２０７に供給する。
【００８０】
以下に、階層間差分圧縮部２８２ｂが含む各構成要素の機能および動作について説明する。階層間差分圧縮部２８２ｂが含む構成要素のうち、階層間差分圧縮部２８２ａが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部２８２ａが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
【００８１】
差分対象領域決定部２９４ｂは、差分対象領域決定部２９４ａと同様に、画質低減部２８１から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部２９４ｂは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部２９４ｂは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部２９１ｂに供給する。
【００８２】
また、画像復号部２９２ｂは、符号化部２８８ａから動画構成画像を取得するとともに、動き符号化部２８６ａから位置差情報を取得する。そして、画像復号部２９２ｂは、符号化部２８８ａから取得した動画構成画像を、動き符号化部２８６ａから取得した位置差情報を用いて復号する。なお、画像復号部２９２ｂは、量子化部２９８ａにより量子化された動画構成画像を取得して復号してよく、符号化部２８８ａが符号化した動画構成画像を取得して復号してもよい。なお、画像復号部２９２ｂによって復号されて得られた動画構成画像は、この発明における低画質画像の一例であってよい。この場合、階層間差分圧縮部２８２ａは、この発明における低画質画像を生成する画像生成部として機能する。
【００８３】
画像拡大部２９３ｂは、画像復号部２９２ｂにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部２９１ｂは、差分対象領域決定部２９４ｂが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。
【００８４】
このように、画素値変更部２９１ｂは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。なお、画素値変更部２９１ｂは、この発明において、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する画像生成部として機能することができる。
【００８５】
差分処理部２８７ｂは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部２９１ｂから受け取る。そして、差分処理部２８７ｂは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか（以下、イントラ符号化と呼ぶ。）、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか（以下、インター符号化と呼ぶ。）、拡大画像との間の差分により符号化するか（以下、階層間圧縮と呼ぶ。）を決定する。このとき、差分処理部２８７ｂは符号化後の符号量がより小さい符号化方法をより優先して選択する。特徴領域以外の領域において差分を持たないように画素値が置き換えられているので階層間符号化が選択されるので階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
【００８６】
階層間符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部２９６ｂは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
【００８７】
インター符号化が選択された場合には、差分画素画像生成部２９６ｂは、画素値変更部２９１ｂにより生成された特徴領域画像と、他の動画構成画像から画素値変更部２９１ｂが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部２９４ｂが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域において差分対象領域決定部２９４ｂが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部２９４ｂが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
【００８８】
なお、イントラ符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
【００８９】
空間周波数領域変換部２９７ｂは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ｂは、差分画素画像が示す差分値を、空間周波数領域変換部２９７ａと同様に、離散コサイン変換（ＤＣＴ）、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部２９８ｂは、量子化部２９８ａと同様に、空間周波数領域変換部２９７ｂが空間周波数領域に変換することによって得られた変換係数を量子化する。
【００９０】
そして、周波数領域画質変換部２９９ｂは、空間周波数領域変換部２９７ｂにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像または特徴領域間差分画像を生成する。具体的には、周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数を０にしてもよい。
【００９１】
このように、差分処理部２８７ｂは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部２８８ｂは、差分処理部２８７ｂが生成した特徴領域差分画像を符号化する。
【００９２】
また、上記したように、差分処理部２８７ｂは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部２８７は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
【００９３】
なお、以上の説明においては、画素値変更部２９１ｂは、差分画素画像における少なくとも特徴領域以外の領域（予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域）において差分値を０とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を０とすることもできる。
【００９４】
例えば、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を０とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【００９５】
このように、画素値変更部２９１ｂは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部２９６は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
【００９６】
なお、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部２８２（例えば、階層間差分圧縮部２８２ａ）に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略０にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
【００９７】
なお、位置差情報生成部２９５ｂは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ｂは、位置差情報生成部２９５ａと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
【００９８】
位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部２９０ｂは、動き符号化部２８６ａから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域における動きベクトルの大きさを０にする。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域について、位置差情報生成部２９５ｂから受け取った動きベクトルの大きさを０にするとともに、動き符号化部２８６ａから受け取った動きベクトルの大きさを０にする。
【００９９】
そして、動き符号化部２８６ｂは、位置差情報を符号化する。具体的には、動き符号化部２８６ｂは、動き符号化部２８６ａと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部２８６ｂにより符号化された位置差情報は、出力部２０７に供給される。
【０１００】
なお、本実施形態では、位置差情報変更部２９０は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部２９０ｂは、動き符号化部２８６ｂにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部２９０ｂは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部２８６により符号化された位置差情報を変更してもよい。
【０１０１】
なお、符号化部２８８ｂは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
【０１０２】
例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、ＭＰＥＧ符号化におけるＮｏｎＭＣ ＮｏｔＣｏｄｅｄに相当する種別であってよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂが動きベクトルの大きさおよび差分情報が０であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部２８２ｂは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
【０１０３】
なお、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部２８２ｃが有する、階層間差分圧縮部２８２と同名の構成要素には同じ符号を付す。そして、符号の末尾（ｂ、ｃ）により、階層間差分圧縮部２８２ｂ−ｃのいずれに含まれる構成要素であるかを区別する。
【０１０４】
例えば、動き解析部２８５ｃは階層間差分圧縮部２８２ｃが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部２８２ｂ−ｃが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部２９１は、画素値変更部２９１ｂ−ｃを示す。
【０１０５】
なお、階層間差分圧縮部２８２ｃの機能および動作と、階層間差分圧縮部２８２ｂの機能および動作は、画質低減部２８１から異なる画質の動画を取得して処理すること、および位置差情報変更部２９０ｃ、ならびに画像復号部２９２ｃが、より画質が低い動画を処理する他の階層間差分圧縮部２８２から、差分のための位置差情報および動画構成画像を取得するところが異なる。
【０１０６】
より具体的には、位置差情報変更部２９０ｃは、動き符号化部２８６ｂから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｃは、動き符号化部２８６ｂから位置差情報を取得するとともに、符号化部２８８ｂから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
【０１０７】
なお、特徴領域検出部２０３は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部２８１は、一の特徴の種類を持つ特徴領域において解像度を低減することにより入力画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を入力画像から生成する。そして、階層間差分圧縮部２８２ｂ−ｃは、特徴領域の種類ごとに用意されており、少なくとも予め定められた種類の特徴領域において、特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を処理する。
【０１０８】
具体的には、階層間差分圧縮部２８２ｂは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部２８２ｃは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。
【０１０９】
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０１１０】
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
【０１１１】
符号化部２８８は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、出力部２０７は、動き符号化部２８６ａ−ｃにより符号化された位置差情報および符号化部２８８ａ−ｃにより符号化された動画構成画像（例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像）を、多重化して出力する。
【０１１２】
以上説明したように、階層間差分圧縮部２８２ａは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｃよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、特徴領域以外の領域において、階層間差分圧縮部２８２ａが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１１３】
同様に、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｃは、特徴領域以外の領域において、階層間差分圧縮部２８２ｂが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
【０１１４】
このように、階層間差分圧縮部２８２ｂ−ｃのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部２８２ｂ−ｃは、他の階層間差分圧縮部２８２が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
【０１１５】
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部２８２ｂ−ｃは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部２８２に供給してよい。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
【０１１６】
なお、画像処理装置１２０は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置１２０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。
【０１１７】
なお、画像処理装置１７０は、階層間差分圧縮部２８２ａ−ｃのそれぞれにより圧縮された複数の動画構成画像を取得する。そして、画像処理装置１７０は、取得した複数の動画構成画像をそれぞれ復号する。そして、画像処理装置１７０は、復号することにより得られた複数の動画構成画像を重ね合わせることにより一の合成画像を生成する。そして、画像処理装置１７０は、生成した合成画像を動画構成画像として含む動画を、表示装置１８０に供給する。
【０１１８】
図６は、背景情報生成ユニット２６０のブロック構成の一例を示す。背景情報生成ユニット２６０は、背景画像送信部２６１、変化検出部２６２、およびトランジション情報生成部２６３を有する。
【０１１９】
背景画像送信部２６１は、動画における背景となるべき複数の背景画像を予め送信する。具体的には、背景画像送信部２６１は、出力部２０７および対応付け処理部２０６を介して、動画における背景となるべき複数の背景画像を画像処理装置１７０へ予め送信する。背景画像送信部２６１は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信してもよい。たとえば、背景画像送信部２６１は、動画構成画像の画像領域における複数のマクロブロックのそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信してもよい。
【０１２０】
変化検出部２６２は、動画から、特徴領域検出部２０３によって検出された特徴領域以外の領域である背景領域における画像の変化を検出する。変化検出部２６２は、画像生成部２０５から出力された背景領域動画から、上記画像の変化を検出してもよい。また、変化検出部２６２は、圧縮動画伸張部２０２から出力された動画から、上記画像の変化を検出してもよい。また、変化検出部２６２は、背景領域における画像の輝度の変化を検出してもよい。
【０１２１】
また、変化検出部２６２は、背景領域における画像の周期的な変化を検出してもよい。たとえば、変化検出部２６２は、背景領域において画像の輝度変化が一定時間ないことを検出してもよい。また、変化検出部２６２は、木の葉のゆれ、水面のゆれのように、背景領域における画像が一定の輝度変化を繰り返すことを検出してもよい。
【０１２２】
トランジション情報生成部２６３は、変化検出部２６２が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成する。たとえば、トランジション情報生成部２６３は、背景画像送信部２６１によって予め送信された複数の背景画像の中から、変化検出部２６２が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像を特定してから、特定した複数の背景画像を識別する識別情報を含むトランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景画像送信部２６１によって予め送信された複数の背景画像の中から、変化検出部２６２が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像およびその表示順を含むトランジション情報を生成してもよい。
【０１２３】
また、トランジション情報生成部２６３は、複数の動画構成画像のそれぞれについて、背景画像送信部２６１によって予め送信された複数の背景画像の中から、動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定してから、その識別情報を含むトランジション情報を生成してもよい。この場合、トランジション情報生成部２６３は、動画構成画像との輝度の差が予め定められた値以下の背景画像である類似背景画像を特定してから、その識別情報を含むトランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景画像送信部２６１によって予め送信された複数の背景画像の中から、動画構成画像との差が最も小さい背景画像を類似背景画像として特定してもよい。
【０１２４】
また、トランジション情報生成部２６３は、類似背景画像と動画構成画像との間の差分画像を生成してから、類似背景画像を識別する識別情報および差分画像を含むトランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景領域に含まれる部分領域のそれぞれにおいて、複数の部分背景画像の中から動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定してから、それらを識別する識別情報を含むトランジション情報を生成してもよい。
【０１２５】
また、トランジション情報生成部２６３は、変化検出部２６２が検出した周期的な変化に基づいて、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含むトランジション情報を生成してもよい。この場合、トランジション情報生成部２６３は、画像生成部２０５または圧縮動画伸張部２０２から出力された動画から、背景領域における一周期分の変化を示す背景動画を生成してもよい。
【０１２６】
また、トランジション情報生成部２６３は、変化検出部２６２が検出した周期的な変化に基づいて、背景領域における背景画像からの時刻に応じた変化を示すトランジション情報を生成してもよい。たとえば、周期的に変化させるための一つの背景画像を含んだ上記トランジション情報を生成してもよい。また、周期的に変化させるための一つの背景画像の識別情報を含んだ上記トランジション情報を生成してもよい。また、トランジション情報生成部２６３は、背景画像を周期的に変化させるための計算式である揺らぎ式を含むトランジション情報を生成してもよい。この場合、トランジション情報生成部２６３は、マクロブロックごとの揺らぎ式を含むトランジション情報を生成してもよい。
【０１２７】
また、トランジション情報生成部２６３は、生成したトランジション情報を、対応付け処理部２０６へ出力してもよい。また、トランジション情報生成部２６３は、生成したトランジション情報を、出力部２０７へ出力してもよい。
【０１２８】
図７は、背景画像の一例を示す。背景画像７０１、背景画像７０２、および背景画像７０３は、背景情報生成ユニット２６０によって特定された、背景領域における画像の変化に対応する背景画像である。また、背景画像７０１、背景画像７０２、および背景画像７０３は、背景領域の移り変わりを示す背景画像である。背景画像７０１−７０３は、当該背景画像７０１−７０３と重ね合わせられる特徴領域の画像よりも高画質であってもよい。
【０１２９】
背景情報生成ユニット２６０は、背景画像７０１−７０３を含む複数の背景画像を予め画像処理装置１７０へ送信する。画像処理装置１７０は、受信した複数の背景画像を格納部３０６へ格納する。背景情報生成ユニット２６０は、背景画像７０１−７０３の識別情報が含まれたトランジション情報を生成する。そして、背景情報生成ユニット２６０は、生成したトランジション情報を画像処理装置１７０へ送信する。
【０１３０】
画像処理装置１７０は、受信したトランジション情報に基づいて、格納部３０６に格納されている複数の背景画像の中から、背景画像７０１−７０３を抽出してもよい。そして、画像処理装置１７０は、抽出した背景画像７０１−７０３から背景動画を生成してもよい。さらに、画像処理装置１７０は、生成した背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。
【０１３１】
背景情報生成ユニット２６０は、背景画像７０１−７０３を、予め画像処理装置１７０へ送信しなくてもよい。この場合、背景情報生成ユニット２６０は、特徴領域の画像が画像処理装置１７０へ送信されるタイミングで、背景画像７０１−７０３を、背景動画として画像処理装置１７０へ送信してもよい。そして、画像処理装置１７０は、背景情報生成ユニット２６０から送信された背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。この場合、背景情報生成ユニット２６０は、トランジション情報を画像処理装置１７０へ送信しなくてもよい。
【０１３２】
また、背景情報生成ユニット２６０は、背景画像７０１−７０３のいずれか一つを選択して、選択した背景画像と、選択した背景画像を周期的に変化させるための計算式である揺らぎ式とを画像処理装置１７０へ送信してもよい。この場合、画像処理装置１７０は、背景情報生成ユニット２６０から送信された一つの背景画像を、同じく背景情報生成ユニット２６０から送信された揺らぎ式を用いて周期的に変化させることにより、背景動画を生成してもよい。そして、画像処理装置１７０は、生成した背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。
【０１３３】
図８は、背景動画の一例を示す。背景動画８００は、画像処理装置１７０によって生成される。背景動画８００は、背景画像７０１、背景画像７０２、および７０３をそれぞれ複数含む。画像処理装置１７０が、背景動画８００を再生すると、画像処理装置１７０においては、木の葉が周期的に変化する樹木を含んだ背景動画が、画面に表示される。画像処理装置１７０は、背景動画８００を再生した場合、背景が固定された背景動画を表示するよりも、より背景らしさが表現された背景動画を表示することができる場合がある。
【０１３４】
このように、本実施形態の画像処理システム１０においては、画像処理装置１２０は、特徴領域の動画と、一部の背景画像とを、画像処理装置１７０へ送信する。そして、画像処理装置１７０は、画像処理装置１２０から送信された一部の背景画像を繰返し用いることにより、または周期的に変化させることにより、背景動画を生成する。そのうえで、画像処理装置１７０は、生成した背景動画を、画像処理装置１２０から送信された特徴領域の動画と重ね合わせることにより、表示用の動画を生成する。これにより、本実施形態の画像処理システム１０を実際の監視システムに適用した場合には、本実施形態の画像処理システム１０を適用しない監視システムよりも、ネットワーク上で通信される画像のデータ量を削減することができる場合がある。
【０１３５】
図９は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
【０１３６】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１３７】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。
【０１３８】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１３９】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【０１４０】
ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、および画像生成部２０５として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した固定値化部２１１、画質低減部２２１、符号化部２３１、対応付け処理部２０６、および出力部２０７として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した、入力動画画質制御部２８０、画質低減部２８１、および階層間差分圧縮部２８２として機能させる。
【０１４１】
また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図８に関連して説明した背景画像送信部２６１、変化検出部２６２、およびトランジション情報生成部２６３として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１７０を、図１から図８に関連して説明した圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張部３１１、動画生成部３０３、出力部３０４、受信部３０５、および格納部３０６として機能させる。
【０１４２】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。
【０１４３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１４４】
【図１】一実施形態に係る画像処理システム１０の一例を示す。
【図２】画像処理装置１２０のブロック構成の一例を示す。
【図３】画像処理装置１７０のブロック構成の一例を示す。
【図４】画像処理装置１２０のブロック構成の別の一例を示す。
【図５】階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。
【図６】背景情報生成ユニット２６０のブロック構成の一例を示す。
【図７】背景画像の一例を示す。
【図８】背景動画の一例を示す。
【図９】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。
【符号の説明】
【０１４５】
１０ 画像処理システム
１００ 撮像装置
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０４ 画像分割部
２０５ 画像生成部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ｂ−ｃ 特徴領域動画符号化部
２４０ 圧縮部
２６０ 背景情報生成ユニット
２６１ 背景画像送信部
２６２ 変化検出部
２６３ トランジション情報生成部
２８０ 入力動画画質制御部
２８１ 画質低減部
２８２ 階層間差分圧縮部
２８５ 動き解析部
２８６ 動き符号化部
２８７ 差分処理部
２８８ 符号化部
２９０ 位置差情報変更部
２９１ 画素値変更部
２９２ 画像復号部
２９３ 画像拡大部
２９４ 差分対象領域決定部
２９５ 位置差情報生成部
２９６ 差分画素画像生成部
２９７ 空間周波数領域変換部
２９８ 量子化部
２９９ 周波数領域画質変換部
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 動画生成部
３０４ 出力部
３０５ 受信部
３０６ 格納部
【特許請求の範囲】
【請求項１】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部と、
を備える画像処理装置。
【請求項２】
前記動画における背景となるべき複数の背景画像を予め送信する背景画像送信部
をさらに備え、
前記トランジション情報生成部は、前記複数の背景画像の中から、前記変化検出部が検出した変化に対応する前記背景領域の画像の移り変わりを示す複数の背景画像を特定し、特定した複数の背景画像を識別する識別情報を含む前記トランジション情報を生成する請求項１に記載の画像処理装置。
【請求項３】
前記トランジション情報生成部は、前記複数の背景画像の中から、前記変化検出部が検出した変化に対応する前記背景領域の画像の移り変わりを示す複数の背景画像および当該複数の背景画像を表示させる表示順を特定し、当該複数の背景画像を識別する識別情報および当該表示順を含む前記トランジション情報を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記トランジション情報生成部は、前記複数の動画構成画像のそれぞれについて、前記複数の背景画像の中から動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定し、前記類似背景画像を識別する識別情報を含む前記トランジション情報を生成する
請求項２に記載の画像処理装置。
【請求項５】
前記トランジション情報生成部は、前記類似背景画像と前記動画構成画像との間の差分画像を生成し、前記類似背景画像を識別する識別情報および前記差分画像を含む前記トランジション情報を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記背景画像送信部は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信し、
前記トランジション情報生成部は、前記背景領域に含まれる前記部分領域のそれぞれにおいて、前記複数の部分背景画像の中から前記動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定し、前記複数の部分領域のそれぞれにおける前記類似部分背景画像を識別する識別情報を含む前記トランジション情報を生成する
請求項４に記載の画像処理装置。
【請求項７】
前記特徴領域の画像を、前記特徴領域に含まれる前記部分領域ごとに圧縮する圧縮部
をさらに備え、
前記出力部は、前記トランジション情報および前記圧縮部により圧縮された前記特徴領域の画像を送信する
請求項６に記載の画像処理装置。
【請求項８】
前記変化検出部は、前記背景領域における画像の周期的な変化を検出し、
前記トランジション情報生成部は、前記変化検出部が検出した周期的な変化に基づいて、前記背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含む前記トランジション情報を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記背景となる背景画像を送信する背景画像送信部
をさらに備え、
前記変化検出部は、前記背景領域における画像の周期的な変化を検出し、
前記トランジション情報生成部は、前記変化検出部が検出した周期的な変化に基づいて、前記背景領域における前記背景画像からの時刻に応じた変化を示す前記トランジション情報を生成する
請求項１に記載の画像処理装置。
【請求項１０】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、
前記変化検出段階が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力段階と、
を備える画像処理方法。
【請求項１１】
画像を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部、
として機能させるプログラム。
【請求項１２】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部と、
前記出力部から受信した前記トランジション情報に応じて前記背景領域の画像を移り変わらせた画像と前記出力部から受信した前記特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部と、
を備える画像処理システム。
【請求項１３】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、
前記変化検出段階が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力段階と、
前記出力段階から受信した前記トランジション情報に応じて前記背景領域の画像を移り変わらせた画像と前記出力段階から受信した前記特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成段階と、
を備える画像処理方法。
【請求項１４】
画像を処理する画像処理システム用のプログラムであって、前記画像処理システムを、
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部、
前記出力部から受信した前記トランジション情報に応じて前記背景領域の画像を移り変わらせた画像と前記出力部から受信した前記特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部、
として機能させるプログラム。
【請求項１】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部と、
を備える画像処理装置。
【請求項２】
前記動画における背景となるべき複数の背景画像を予め送信する背景画像送信部
をさらに備え、
前記トランジション情報生成部は、前記複数の背景画像の中から、前記変化検出部が検出した変化に対応する前記背景領域の画像の移り変わりを示す複数の背景画像を特定し、特定した複数の背景画像を識別する識別情報を含む前記トランジション情報を生成する請求項１に記載の画像処理装置。
【請求項３】
前記トランジション情報生成部は、前記複数の背景画像の中から、前記変化検出部が検出した変化に対応する前記背景領域の画像の移り変わりを示す複数の背景画像および当該複数の背景画像を表示させる表示順を特定し、当該複数の背景画像を識別する識別情報および当該表示順を含む前記トランジション情報を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記トランジション情報生成部は、前記複数の動画構成画像のそれぞれについて、前記複数の背景画像の中から動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定し、前記類似背景画像を識別する識別情報を含む前記トランジション情報を生成する
請求項２に記載の画像処理装置。
【請求項５】
前記トランジション情報生成部は、前記類似背景画像と前記動画構成画像との間の差分画像を生成し、前記類似背景画像を識別する識別情報および前記差分画像を含む前記トランジション情報を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記背景画像送信部は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信し、
前記トランジション情報生成部は、前記背景領域に含まれる前記部分領域のそれぞれにおいて、前記複数の部分背景画像の中から前記動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定し、前記複数の部分領域のそれぞれにおける前記類似部分背景画像を識別する識別情報を含む前記トランジション情報を生成する
請求項４に記載の画像処理装置。
【請求項７】
前記特徴領域の画像を、前記特徴領域に含まれる前記部分領域ごとに圧縮する圧縮部
をさらに備え、
前記出力部は、前記トランジション情報および前記圧縮部により圧縮された前記特徴領域の画像を送信する
請求項６に記載の画像処理装置。
【請求項８】
前記変化検出部は、前記背景領域における画像の周期的な変化を検出し、
前記トランジション情報生成部は、前記変化検出部が検出した周期的な変化に基づいて、前記背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含む前記トランジション情報を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記背景となる背景画像を送信する背景画像送信部
をさらに備え、
前記変化検出部は、前記背景領域における画像の周期的な変化を検出し、
前記トランジション情報生成部は、前記変化検出部が検出した周期的な変化に基づいて、前記背景領域における前記背景画像からの時刻に応じた変化を示す前記トランジション情報を生成する
請求項１に記載の画像処理装置。
【請求項１０】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、
前記変化検出段階が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力段階と、
を備える画像処理方法。
【請求項１１】
画像を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部、
として機能させるプログラム。
【請求項１２】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部と、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部と、
前記出力部から受信した前記トランジション情報に応じて前記背景領域の画像を移り変わらせた画像と前記出力部から受信した前記特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部と、
を備える画像処理システム。
【請求項１３】
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出段階と、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出段階と、
前記変化検出段階が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成段階と、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力段階と、
前記出力段階から受信した前記トランジション情報に応じて前記背景領域の画像を移り変わらせた画像と前記出力段階から受信した前記特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成段階と、
を備える画像処理方法。
【請求項１４】
画像を処理する画像処理システム用のプログラムであって、前記画像処理システムを、
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部、
前記動画から、前記特徴領域以外の領域である背景領域における画像の変化を検出する変化検出部、
前記変化検出部が検出した変化に対応する、前記背景領域の画像の移り変わりを示すトランジション情報を生成するトランジション情報生成部、
前記トランジション情報および前記複数の動画構成画像における前記特徴領域の画像を送信する出力部、
前記出力部から受信した前記トランジション情報に応じて前記背景領域の画像を移り変わらせた画像と前記出力部から受信した前記特徴領域の画像とを合成した複数の合成画像を含む動画を生成する動画生成部、
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−７１７３４（Ｐ２００９−７１７３４Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２４０１８８（Ｐ２００７−２４０１８８）
【出願日】平成１９年９月１４日（２００７．９．１４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１４日（２００７．９．１４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]