画像処理装置、画像処理方法、及びプログラム
【課題】画像のデータ量を効果的に削減することができる画像処理装置を提供すること。
【解決手段】画像圧縮装置であって、画像から特徴領域を検出する特徴領域検出部と、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部と、特徴領域の画像である特徴領域画像を圧縮する圧縮部と、情報量が大きいほど、圧縮部が特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部とを備える。圧縮部は、特徴領域以外の背景領域の画像である背景領域画像を、特徴領域画像より大きい圧縮強度で圧縮してよい。
【解決手段】画像圧縮装置であって、画像から特徴領域を検出する特徴領域検出部と、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部と、特徴領域の画像である特徴領域画像を圧縮する圧縮部と、情報量が大きいほど、圧縮部が特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部とを備える。圧縮部は、特徴領域以外の背景領域の画像である背景領域画像を、特徴領域画像より大きい圧縮強度で圧縮してよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。本発明は、特に、画像を処理する画像処理装置及び画像処理方法、並びに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
符号化された画面とこれから符号化すべき画面とを比較することにより画面内の変化領域を抽出して、符号化すべき画面を複数の画像ブロックに分割して、変化領域を含む画像ブロックを符号化する動画像符号化装置が知られている（例えば、特許文献１参照。）。この動画像符号化装置では、変化領域を含む画像ブロックのうち、より限定された領域を含む画像ブロックに対して、他の変化領域を含む画像ブロックに割り当てられた情報ビット数より多くの情報ビット数を割り当てて符号化する。
【特許文献１】特許２８２８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献に記載の技術では、例えば顔が十分な画質で得られている画像に対しても、顔により多くの情報ビット数を割り当ててしまう場合がある。このため、符号化後の画像のデータ量を効率的に低減することができない場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像圧縮装置であって、画像から特徴領域を検出する特徴領域検出部と、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部と、特徴領域の画像である特徴領域画像を圧縮する圧縮部と、情報量が大きいほど、圧縮部が特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部とを備える。圧縮部は、特徴領域以外の背景領域の画像である背景領域画像を、特徴領域画像より大きい圧縮強度で圧縮してよい。
【０００５】
特徴領域検出部は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。また、特徴量検出部は、人物の顔、頭部、手、又は人体を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。
【０００６】
情報量算出部は、人物の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい情報量を算出してよい。また、情報量算出部は、予め定められた値より大きい適合度で適合するオブジェクトが示す人物の顔、頭部、手、又は人体の向きを特定し、特定した顔、頭部、手、又は人体の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい情報量を算出してよい。
【０００７】
また、情報量算出部は、特徴領域に含まれるオブジェクトが条件に適合した適合度が大きいほど、より大きい情報量を算出してよい。特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、特徴領域として検出し、情報量算出部は、一致度が大きいほど、より大きい情報量を算出してよい。
【０００８】
本発明の第２の形態によると、画像処理方法であって、画像から特徴領域を検出する特徴領域検出段階と、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出段階と、特徴領域の画像である特徴領域画像を圧縮する圧縮段階と、情報量が大きいほど、圧縮段階において特徴領域画像が圧縮される圧縮強度をより大きく決定する圧縮強度決定段階とを備える。
【０００９】
本発明の第３の形態によると、画像処理装置用のプログラムであって、画像処理装置を、画像から特徴領域を検出する特徴領域検出部、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部、特徴領域の画像である特徴領域画像を圧縮する圧縮部、情報量が大きいほど、圧縮部が特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００１３】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
【００１４】
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１５】
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
【００１６】
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
【００１７】
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１８】
画像処理装置１７０は、画像処理装置１２０ａから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００１９】
なお、撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００２０】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残しことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００２１】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、対応付け処理部２０６、および出力部２０７を有する。
【００２２】
固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。低減化ユニット２２０は、複数の画質低減部２２１ａ−ｄ（以下、画質低減部２２１と総称する。）を含む。
【００２３】
符号化ユニット２３０は、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄを総称して、符号化部２３１と呼ぶ場合がある。
【００２４】
なお、画質低減部２２１ａおよび背景領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。また、画質低減部２２１ｂおよび背景領域動画符号化部２３１ｂは、圧縮部２４０ｂとして機能する。同様に、画質低減部２２１ｃおよび背景領域動画符号化部２３１ｃは圧縮部２４０ｃとして機能する。画質低減部２２１ｄおよび背景領域動画符号化部２３１ｄは圧縮部２４０ｄとして機能する。なお、複数の圧縮部２４０ａ−ｄを、圧縮部２４０と総称する。
【００２５】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
【００２６】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
【００２７】
画像生成部２０５は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
【００２８】
そして、固定値化部２１１は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、特徴領域画像以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。そして、圧縮部２４０は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。
【００２９】
以上説明したように、特徴領域検出部２０３は、画像から特徴領域を検出する。そして、画像分割部２０４は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部２４０は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００３０】
なお、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
【００３１】
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
【００３２】
なお、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部２０４は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
【００３３】
具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
【００３４】
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部２０７は、対応付け処理部２０６が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク１１０に送出する。
【００３５】
図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、合成部３０３、および出力部３０４を有する。圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｄ（以下、圧縮動画伸張部３１１と総称する。）を含む。
【００３６】
圧縮動画取得部３０１は、出力部２０７が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
【００３７】
圧縮動画伸張部３１１は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部３１１ａは背景領域動画データを復号する。また、圧縮動画伸張部３１１ｂ−ｄは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部３１１ｂ−ｄは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
【００３８】
合成部３０３は、圧縮動画伸張部３１１が復号することによって得られた動画構成画像を合成する。具体的には、合成部３０３は、圧縮動画伸張部３１１ｂ−ｄにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。
【００３９】
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号した得られた動画を出力部３０４が出力してもよい。
【００４０】
図４は、画像処理装置１２０の処理フローの一例を示す。圧縮動画取得部２０１が撮像動画データを取得（４０１）。圧縮動画伸張部２０２は、撮像動画データを復号することによって複数のフレーム画像４１０を生成する。特徴領域検出部２０３は、フレーム画像４１０の画像内容又は複数のフレーム画像４１０の画像内容に基づいて、特徴領域の一例であるＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出する（４０２）。
【００４１】
特徴領域検出部２０３は、人物の顔、人体、および移動物体を含む領域を、異なる種類のＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をＲＯＩとする。また、特徴領域検出部２０３は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をＲＯＩとする。なお、特徴領域検出部２０３は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【００４２】
また、特徴領域検出部２０３は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部２０３は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部２０３は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。
【００４３】
このように、特徴領域検出部２０３は、予め定められた画像内容に関する条件に適合する領域を、ＲＯＩとして検出する。より具体的には、特徴領域検出部２０３は、予め定められた条件に適合するオブジェクトを含む領域を、ＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ＲＯＩとして検出する。また、特徴領域検出部２０３は、画像の変化量が予め定められた変化量より大きい領域を、ＲＯＩとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をＲＯＩとして検出する。
【００４４】
そして、画像処理装置１２０は、検出されたＲＯＩに基づいて圧縮用動画を生成する（４０３）。具体的には、画像分割部２０４は、フレーム画像をＲＯＩとそれ以外の領域に分割する。そして、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とを生成する。具体的には、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、顔領域用の特徴領域動画４５０、人領域用の特徴領域動画４４０、動領域用の特徴領域動画４３０、および背景領域用の背景領域動画４２０を生成する。
【００４５】
そして、画像処理装置１２０は、固定値化部２１１および画質低減部２２１により、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とに対して、画質を低減する（４０４ａ、４０４ｂ、４０４ｃ、４０４ｄ）。具体的には、固定値化部２１１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像において、画像分割部２０４が分割したＲＯＩ内の画素値は変化させず、ＲＯＩ以外の領域に対する画素値を所定の値（例えば、輝度値０）にする。なお、固定値化部２１１は、ＲＯＩ以外の領域の画素値を、当該ＲＯＩに近傍する領域の画素値の平均的な画素値にしてよい。
【００４６】
このように、画像生成部２０５および固定値化部２１１により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０および背景領域動画４２０が生成される。なお、後に詳しく説明するように、画像処理装置１７０は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のようなＲＯＩ以外の領域が固定値化されている動画を、背景領域動画４２０に重ね合わせた動画を生成する。したがって、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。
【００４７】
また、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも１つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。
【００４８】
そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部２２１は、背景領域動画のフレーム画像の画質を、ＲＯＩ内の画像の画質より低くする。例えば、画質低減部２２１は、背景領域動画のフレーム画像の解像度を、ＲＯＩ内の画像のより小さくする。
【００４９】
また、画質低減部２２１は、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。また、画質低減部２２１は、背景領域動画４２０に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画４２０のフレームレートを低減する。
【００５０】
なお、画質低減部２２１ａは、背景領域動画４２０の画質を低減する。また、画質低減部２２１ｂ、画質低減部２２１ｃ、および画質低減部２２１ｄは、それぞれ特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０の画質を低減する。
【００５１】
そして、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれ符号化する（４０５ａ、４０５ｂ、４０５ｃ、４０５ｄ）。例えば、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれＭＰＥＧ符号化する。
【００５２】
例えば、背景領域動画符号化部２３１ａは、背景領域動画用の符号化設定で背景領域動画をＭＰＥＧ符号化する。特徴領域動画符号化部２３１ｂ、特徴領域動画符号化部２３１ｃ、および特徴領域動画符号化部２３１ｄは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれＭＰＥＧ符号化する。なお、符号化設定は、例えばＭＰＥＧ符号化における量子化テーブルを設定することを含む。なお、符号化設定については図５に関連して説明する。
【００５３】
そして、対応付け処理部２０６は、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部２０７が表示装置１８０に出力する（４０６）。このとき、対応付け処理部２０６は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報（例えば、タイムスタンプ）を、タグ情報等に付加してよい。また、対応付け処理部２０６は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置１００を識別する識別情報等を、タグ情報等に付加してよい。
【００５４】
以上説明したように、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。
【００５５】
また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部２０３は、撮像装置１００から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。
【００５６】
なお、圧縮部２４０は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔の順に大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム１０を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より高画質にするとした。しかしながら、画像処理システム１０を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム１０を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より低画質にしてもよい。例えば圧縮部２４０は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。
【００５７】
その他にも、特徴領域検出部２０３は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部２２１は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。
【００５８】
以上説明したように、画像処理装置１２０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置１２０によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、ＭＰＥＧ符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が０になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置１２０の製造コストを低減することができる場合がある。
【００５９】
以上の説明では、圧縮部２４０は、ＲＯＩ領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部２４０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ内の画像を切り出して圧縮して特徴領域動画として出力してもよい。
【００６０】
なお、特徴領域検出部２０３がＲＯＩを検出していない場合には、出力部２０７は、圧縮部２４０ａが出力する背景領域動画データを画像処理装置１７０に出力する。この場合、画像生成部２０５は特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成しなくてよい。そして、画像生成部２０５は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成して、出力部２０７は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置１７０に出力する。この間、圧縮部２４０ａは、背景領域動画４２０を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画４２０を圧縮しつづけてよい。
【００６１】
その他にも、特徴領域検出部２０３がＲＯＩを検出していない間には、圧縮部２４０は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたＲＯＩ非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部２４０は、特徴領域動画をＲＯＩ非検出期間圧縮率より低い圧縮率で圧縮してよい。
【００６２】
なお、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出してから予め定められた期間の背景領域動画をＲＯＩ非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ＲＯＩとして検出されるべき領域がＲＯＩとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部２４０は、特徴領域検出部２０３が検出した複数のフレーム画像におけるＲＯＩ領域の位置から推定される他のフレーム画像におけるＲＯＩ領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。
【００６３】
図５は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部２０１が取得した撮像動画データのフレームレートが１６ｆｐｓであり、当該撮像動画データに含まれるフレーム画像の解像度が７２ｄｐｉであるとする。
【００６４】
撮像動画に含まれるフレーム画像４１０の解像度に対する画質低減後の背景領域動画４２０に含まれるフレーム画像の解像度の比率を示す解像度比率は予め１／８と定められている。画質低減部２２１は、画像生成部２０５によって撮像動画が複製されることによって生成された画質低減前の背景領域動画４２０に含まれるフレーム画像に対して１／８の解像度である９ｄｐｉのフレーム画像を、画質低減前の背景領域動画４２０に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画４２０のフレームレートの比率を示すフレームレート比率は予め１／８と定められている。画質低減部２２１は、画質低減前の背景領域動画４２０のフレームレートの１／８のフレームレートである２ｆｐｓのフレームレートの背景領域動画４２０を、画質低減前の背景領域動画４２０に含まれるフレーム画像を間引くことによって生成する。
【００６５】
同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画４３０については解像度比率およびフレームレート比率は１／４が定められており、特徴領域動画４４０については解像度比率およびフレームレート比率として１／２が定められており、特徴領域動画４５０については解像度比率およびフレームレート比率として１／１が定められている。これにより、画質低減部２２１ｂは、フレームレートが４ｆｐｓ、フレーム画像の解像度が１８ｄｐｉの特徴領域動画４３０を生成する。また、画質低減部２２１ｃは、フレームレートが８ｆｐｓ、フレーム画像の解像度が３６ｄｐｉの特徴領域動画４４０を生成する。また、画質低減部２２１ｄは、フレームレートが１６ｆｐｓ、フレーム画像の解像度が７２ｄｐｉの特徴領域動画４５０を生成する。
【００６６】
なお、上記の例では、画質低減部２２１が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部２２１は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。
【００６７】
なお、画質低減部２２１による画質低減に加えて、又は画質低減部２２１による画質低減に替えて、符号化部２３１がフレーム画像の画質を低減してもよい。例えば、符号化部２３１が、ＭＰＥＧ符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。
【００６８】
また、画質低減部２２１はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。
【００６９】
なお、以上の説明では、画像生成部２０５が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部２０５は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部２１１ａが固定値化して、画質低減部２２１が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。
【００７０】
図６は、画像処理装置１７０の処理フローの一例を示す。圧縮動画取得部３０１は、画像処理装置１２０から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置１００を識別する情報等を取得する（６０１）。そして、圧縮動画伸張部３１１は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画６１０を生成する（６０２ａ）。同時に、圧縮動画伸張部３１１は、動領域レイヤーを示す特徴領域動画６２０、人領域レイヤーを示す特徴領域動画６３０、および顔領域レイヤーを示す特徴領域動画６４０を生成する（６０２ｂ、６０２ｃ、および６０２ｄ）。
【００７１】
合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像を合成する（６０３）。このとき、合成部３０３は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。
【００７２】
このとき、合成部３０３は、特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画６１０に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０のフレームレートが異なる場合には、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０の最新のフレーム画像を合成する。
【００７３】
これにより、合成部３０３は、合成フレーム画像を生成する。合成部３０３は、複数の合成フレーム画像を含む合成動画６５０を生成する。そして、出力部３０４は、圧縮動画取得部３０１が取得したタグ情報等に基づいて、合成動画を表示させる表示装置１８０を選択して、選択した表示装置１８０に合成動画を供給する（６０４）。
【００７４】
図７は、画像処理装置１２０がさらに有する圧縮制御ユニット７００の構成の一例を示す。圧縮制御ユニット７００は、境界領域特定部７１０、情報量算出部７２０、同一被写体領域特定部７３０、圧縮強度決定部７４０、条件格納部７５０、および圧縮制御部７６０を含む。なお、圧縮動画取得部２０１は、この発明における動画取得部の一例であってよい。
【００７５】
条件格納部７５０は、特徴領域の特徴に応じて異なる圧縮強度を割り当てる、特徴領域の特徴に応じた異なる割り当て条件を格納する。具体的には、条件格納部７５０は、特徴領域の種類に応じた異なる条件を格納している。
【００７６】
そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を特徴領域の特徴に応じて制御する。具体的には、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域の特徴に応じて制御する。より具体的には、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域の種類に応じて制御する。
【００７７】
圧縮部２４０は、圧縮部２４０は、複数の動画構成画像において同じ種類の特徴を有する特徴領域画像を複数含む複数の特徴領域動画のそれぞれを圧縮する。このとき、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、複数の特徴領域動画のそれぞれを圧縮部２４０が圧縮する圧縮強度を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御する。
【００７８】
なお、条件格納部７５０は、特徴領域の種類に応じて異なる画質低減量を格納してよい。そして、画質低減部２２１は、複数の動画構成画像において同じ種類の特徴を有する特徴領域画像を複数含む複数の特徴領域動画のそれぞれの画質を低減してよい。このとき、圧縮制御部７６０は、条件格納部７５０が格納している画質低減量に基づいて、画質低減部２２１が画質を低減させる画質低減量を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御してよい。
【００７９】
なお、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、複数の特徴領域動画のそれぞれを圧縮部２４０が圧縮する圧縮強度を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御してよい。なお、圧縮動画取得部２０１は、異なる位置から撮像されて得られた複数の動画を取得する。例えば、圧縮動画取得部２０１は、撮像装置１００ａ−ｃが撮像した複数の動画を取得する。
【００８０】
そして、同一被写体領域特定部７３０は、動画取得部が取得した複数の動画のうちの一の動画に含まれる動画構成画像から抽出された特徴領域に含まれる被写体と同じ被写体を含む、他の動画に含まれる動画構成画像から抽出された特徴領域を特定する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、同一被写体領域特定部７３０が特定した同じ被写体を含む特徴領域のうちの少なくとも１つの特徴領域の特徴領域画像を圧縮部２４０が圧縮する圧縮強度を、特徴領域の特徴に応じて制御するとともに、圧縮部２４０が他の特徴領域の特徴領域画像を圧縮する圧縮強度を、当該少なくとも１つの特徴領域画像を圧縮する圧縮率より高く制御する。
【００８１】
なお、境界領域特定部７１０は、特徴領域と特徴領域以外の領域との間の境界近傍の領域である境界領域を特定する。そして、圧縮強度決定部７４０は、特徴領域に含まれる画像を圧縮する圧縮強度と、背景領域に含まれる画像を圧縮する圧縮強度との間の圧縮強度を、境界領域の画像を圧縮する圧縮強度として決定する。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した圧縮強度で、境界領域に含まれる画像を圧縮する。このように、圧縮部２４０は、特徴領域に含まれる画像、背景領域に含まれる画像、及び境界領域の画像を、それぞれ異なる強度で圧縮する。
【００８２】
圧縮強度決定部７４０は、特徴領域により近い領域の画像を圧縮する圧縮強度として、特徴領域に含まれる画像を圧縮する圧縮強度により近い圧縮強度を決定する。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した境界領域の領域に応じた圧縮強度で、境界領域の画像を圧縮する。
【００８３】
圧縮強度決定部７４０は、特徴領域の特徴の種類に応じて特徴領域に含まれる画像の圧縮後の画質を決定し、特徴領域に含まれる画像の圧縮後の画質より低い画質を背景領域に含まれる画像の圧縮後の画質として決定し、特徴領域に含まれる画像の圧縮後の画質と背景領域に含まれる画像の圧縮後の画質との間の画質を境界領域の画像の圧縮後の画質として決定する。そして、画質低減部２２１は、特徴領域に含まれる画像の画質、背景領域に含まれる画像の画質、及び境界領域の画像の画質を、圧縮強度決定部７４０が決定した画質に低減する。
【００８４】
より具体的には、圧縮強度決定部７４０は、特徴領域の特徴の種類に応じて特徴領域に含まれる画像の圧縮後の解像度を決定し、特徴領域に含まれる画像の圧縮後の解像度より低い解像度を背景領域に含まれる画像の圧縮後の解像度として決定し、特徴領域に含まれる画像の圧縮後の解像度と背景領域に含まれる画像の圧縮後の解像度との間の解像度を境界領域の画像の圧縮後の解像度として決定する。そして、画質低減部２２１は、特徴領域に含まれる画像の解像度、背景領域に含まれる画像の解像度、及び境界領域の画像解像度を、圧縮強度決定部７４０が決定した解像度に低減する。
【００８５】
情報量算出部７２０は、特徴領域に含まれる被写体が持つ情報量を算出する。例えば顔領域のＲＯＩを例に挙げると、情報量は、ＲＯＩに含まれるオブジェクトが有する、人物の顔としての情報量であってよい。例えば、情報量は、画像から人物の顔を認識する場合における認識のし易さを示す値であってよい。一例として、情報量は、人物の顔の面積或いは人物の顔を示す画像領域に含まれる画素数であってよい。
【００８６】
そして、圧縮部２４０は、特徴領域の画像である特徴領域画像を圧縮する。このとき、圧縮強度決定部７４０は、情報量が大きいほど、圧縮部２４０が特徴領域画像を圧縮する圧縮強度をより大きく決定する。顔が十分に大きく撮像されているＲＯＩについては、そのＲＯＩを高い圧縮強度で圧縮することによって画質が多少低下しても、顔を十分判別することができる品質が保たれている場合が多い。したがって、本実施形態の画像処理装置１２０を実際の製品に適用した場合には、例えば顔が十分に大きく撮像されている場合には高い圧縮率でＲＯＩを圧縮するので、画像のデータ量が無駄に増大することを未然に防ぐことができる場合がある。
【００８７】
なお、特徴領域検出部２０３は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。そして、特徴量検出部は、人物１３０の顔、頭部、手、又は人体を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。
【００８８】
この場合、情報量算出部７２０は、特徴領域に含まれるオブジェクトが条件に適合した適合度が大きいほど、より大きい情報量を算出してよい。そして、圧縮強度決定部７４０は、適合度が大きいほど、圧縮部２４０が特徴領域を圧縮する圧縮強度をより大きく決定してよい。
【００８９】
なお、特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、特徴領域として検出してよい。この場合に、情報量算出部７２０は、一致度が大きいほど、より大きい情報量を算出してよい。そして、圧縮強度決定部７４０は、一致度が大きいほど、圧縮部２４０が特徴領域を圧縮する圧縮強度をより大きく決定してよい。
【００９０】
なお、情報量算出部７２０は、画像を撮像した撮像装置１００と特徴領域に含まれる被写体との間の距離を特定し、特定した距離が短いほど、より大きい情報量を算出してもよい。また、情報量算出部７２０は、特徴領域の大きさがより大きいほど、より大きい情報量を算出してもよい。
【００９１】
また、特徴領域検出部２０３が特徴の種類が異なる複数の特徴領域を画像から検出した場合に、情報量算出部７２０は、複数の特徴領域のそれぞれに含まれる被写体が持つ情報量をそれぞれ算出してよい。そして、圧縮強度決定部７４０は、複数の特徴領域画像のそれぞれについて、情報量がより大きい特徴領域の圧縮度をより大きく決定してよい。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した圧縮度で、複数の特徴領域画像を圧縮してよい。
【００９２】
また、特徴領域検出部２０３が動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出した場合には、情報量算出部７２０は、複数の動画構成画像のそれぞれにおける複数の特徴領域に含まれる被写体が持つ情報量を算出してよい。そして、圧縮強度決定部７４０は、複数の動画構成画像のそれぞれの特徴領域画像について、情報量が大きいほど、圧縮部２４０が特徴領域画像を圧縮する圧縮強度をより大きく決定してよい。そして、圧縮部２４０は、複数の動画構成画像のそれぞれの特徴領域画像を、圧縮強度決定部７４０が決定した圧縮強度で圧縮してよい。
【００９３】
なお、同一被写体領域特定部７３０は、複数の動画構成画像のそれぞれにおける特徴領域のうち、同じ被写体が含まれる複数の特徴領域を特定する。具体的には、同一被写体領域特定部７３０は、複数のフレーム画像のそれぞれにおいて、同一人物が含まれるＲＯＩを特定する。
【００９４】
そして、圧縮強度決定部７４０は、同一被写体領域特定部７３０が特定した複数の特徴領域が持つ情報量のうち最大の情報量を含む予め定められた情報量の範囲の情報量を持つ特徴領域を含む１以上の動画構成画像における特徴領域画像を圧縮する圧縮強度として、他の動画構成画像の少なくとも１つにおける特徴領域画像を圧縮する圧縮強度より小さい圧縮強度を決定する。これにより、例えば、動画において被写体としての情報を多く含むフレーム画像が存在する場合には、そのフレーム画像を高画質で記録しておき、同一被写体が写っている他のフレーム画像については圧縮強度を高めることができる場合がある。このため、動画のデータ量を効果的に低減しつつ、より望ましいタイミングで撮像された被写体を高画質で記録することができる場合がある。
【００９５】
図８は、条件格納部７５０が格納しているデータの一例をテーブル形式で示す。条件格納部７５０は、検出されたＲＯＩの数を示すＲＯＩ数、検出されたＲＯＩの面積を示すＲＯＩ面積、検出されたＲＯＩの位置を示すＲＯＩ位置、ＲＯＩ内の人物の顔の向きを示す顔向き、および顔オブジェクトとして認識されたＲＯＩ内のオブジェクト数を示す顔要素数のそれぞれに対応づけて、空間解像度スコアを格納する。なお、顔オブジェクトの数とは、目、口、鼻等のような、顔に含まれるべきオブジェクトに予め定められた一致度より高い一致度で一致したオブジェクトの数であってよい。
【００９６】
なお、空間解像度スコアは、圧縮後のフレーム画像の画質を示す指標値であってよい。具体的には、空間解像度スコアは、圧縮後のフレーム画像の解像度、階調数、および色数の少なくともいずれかを示す指標であってよい。このように、空間解像度スコアは、実空間の解像度および色空間の解像度を含む。なお、より大きい空間解像度スコアが、より高い画質を示してよい。
【００９７】
本図に示されるように、条件格納部７５０は、より少ないＲＯＩ数に対応づけてより大きい空間解像度スコアを格納してよい。また、条件格納部７５０は、より小さいＲＯＩ面積に対応づけてより大きい空間解像度スコアを格納してよい。また、予め定められたフレーム画像上の位置とＲＯＩの中心位置との間の距離をＲＯＩ位置の指標とした場合において、条件格納部７５０は、当該距離が短いほどよりより大きい空間解像度スコアを格納してよい。これにより、顔が存在すべき所定の位置にＲＯＩの位置が近いほど空間解像度スコアは高くなる。
【００９８】
また、条件格納部７５０は、ＲＯＩに含まれるオブジェクトが示す顔の向きが前斜方に近いほどより大きい空間解像度スコアを格納し、顔の向きが後向きに近いほど低い空間解像度スコアを格納してよい。また、条件格納部７５０は、より多い顔要素数に対応づけてより大きい空間解像度スコアを格納してよい。
【００９９】
圧縮強度決定部７４０は、特徴領域検出部２０３が顔領域のＲＯＩを検出すると、当該顔領域のＲＯＩについて、ＲＯＩ数、ＲＯＩ面積、ＲＯＩ位置、顔向き、および顔要素数等のパラメータを算出する。そして、圧縮強度決定部７４０は、条件格納部７５０が格納するデータに基づいて、空間解像度の高さを示す空間解像度スコアを算出する。例えば、圧縮強度決定部７４０は、ＲＯＩ数、ＲＯＩ面積、ＲＯＩ位置、顔向き、および顔要素数のそれぞれに対応づけて条件格納部７５０が格納している空間解像度スコアを抽出して、抽出した空間解像度スコアの合計値を算出する。
【０１００】
そして、圧縮強度決定部７４０は、算出した合計値が大きいほど、より高い空間解像度を決定する。なお、圧縮強度決定部７４０は、空間解像度スコアの合計値と空間解像度とが予め対応づけられたテーブルに従って、空間解像度を決定してよい。
【０１０１】
他にも、条件格納部７５０は、空間解像度スコアに代えて、解像度、階調数、および色数そのものを格納してもよい。また、空間解像度スコアは、圧縮後のフレーム画像が有意な周波数成分を有するべき空間周波数帯域を示す指標であってよい。
【０１０２】
図９は、条件格納部７５０が格納している他のデータの一例をテーブル形式で示す。条件格納部７５０は、ＲＯＩの移動速度に対応づけて、時間解像度スコアを格納する。なお、時間解像度スコアは、圧縮後の動画の時間解像度を示す指標値であってよい。具体的には、時間解像度スコアは、圧縮後の動画のフレームレートを示す指標であってよい。なお、より大きい時間解像度スコアが、より高い時間解像度を示してよい。そして、本図に示されるように、条件格納部７５０は、より高速な移動速度に対応づけてより大きい空間解像度スコアを格納してよい。
【０１０３】
圧縮強度決定部７４０は、特徴領域検出部２０３が各フレーム画像から顔領域のＲＯＩを検出すると、フレーム画像のそれぞれにおけるＲＯＩの位置に基づいて、ＲＯＩの移動速度を算出する。そして、圧縮強度決定部７４０は、算出した移動速度に対応づけて条件格納部７５０が格納する時間解像度スコアを抽出する。そして、圧縮強度決定部７４０は、抽出した時間解像度スコアに応じた時間解像度を決定する。なお、条件格納部７５０は、時間解像度スコアに代えて、圧縮後のフレームレートそのものを格納してもよい。
【０１０４】
なお、図８および図９においては、条件格納部７５０が格納している顔領域のＲＯＩに割り当てられた画質の指標値の一例を示したが、条件格納部７５０は、顔領域以外にも、人領域および動領域のＲＯＩのそれぞれについて、上記のような各種パラメータに対応づけられた空間解像度スコアおよび時間解像度スコアを格納してよい。
【０１０５】
以上説明したように、圧縮強度決定部７４０は、特徴領域の特徴に応じて、特徴領域に含まれる画像を圧縮する圧縮強度を決定する。具体的には、圧縮強度決定部７４０は、特徴領域の特徴の種類に応じて、特徴領域に含まれる画像を圧縮する圧縮強度を決定する。また、圧縮強度決定部７４０は、特徴領域より大きい圧縮強度を、背景領域に含まれる画像を圧縮する圧縮強度として決定する。
【０１０６】
また、条件格納部７５０は、特徴領域の種類に応じて異なる空間解像度の低減量又は特徴領域の種類に応じて異なる時間解像度の低減量を格納している。そして、圧縮制御部７６０は、条件格納部７５０が格納している空間解像度の低減量又は時間解像度の低減量の少なくとも一方に基づいて、画質低減部２２１が画質を低減させる空間解像度の低減量又は時間解像度の低減量を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御する。
【０１０７】
また、条件格納部７５０は、特徴領域が示す領域の特徴に応じた異なる条件を格納する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域が示す領域の特徴に応じて制御する。
【０１０８】
より具体的には、条件格納部７５０は、特徴領域の数、特徴領域の大きさ、又は特徴領域の位置に応じた異なる条件を格納する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域が示す領域の数、大きさ、又は位置に応じて制御する。
【０１０９】
また、条件格納部７５０は、特徴領域画像に含まれるオブジェクトの特徴に応じた異なる条件を格納する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域画像に含まれるオブジェクトの特徴に応じて制御する。
【０１１０】
なお、条件格納部７５０は、特徴領域画像に含まれるオブジェクトの形状、オブジェクトの向き、オブジェクトの移動方向、又はオブジェクトの移動量に応じた異なる条件を格納してよい。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域画像に含まれるオブジェクトの形状、オブジェクトの向き、オブジェクトの移動方向、又はオブジェクトの移動量に応じて制御してよい。
【０１１１】
図１０は、情報量算出部７２０が格納しているデータの一例をテーブル形式で示す。情報量算出部７２０は、人物の顔の向きを示す顔向き、およびＲＯＩ内に含まれるオブジェクトが人物の顔に含まれるオブジェクトに一致する一致度を示す顔要素一致度に対応づけて、情報量を格納している。
【０１１２】
情報量算出部７２０は、例えば顔領域のＲＯＩに含まれる人物の顔のオブジェクトの画像内容に基づいて顔の向きを特定する。例えば、情報量算出部７２０は、頭部を示すオブジェクトにおける、目、鼻、及び口を示すオブジェクトの位置に基づいて顔の向きを特定する。そして、情報量算出部７２０は、特定した向きが前斜方に近いほどより大きい情報量を算出し、特定した向きが後に近いほどより小さい情報量を算出する。なお、情報量算出部７２０は、人物の顔の向きに代えて、或いは人物の顔の向きに加えて、人物の手の向き又は人体の向きを特定してよい。そして、情報量算出部７２０は、特定したそれぞれの向きが予め定められた向きに近いほどより大きい情報量を算出してよい。
【０１１３】
また、情報量算出部７２０は、人物の顔のオブジェクトの輪郭と、予め定められた人物の顔のパターンとの間の一致度を、例えばパターンマッチングにより算出する。そして、情報量算出部７２０は、算出した一致度が大きいほどより大きい情報量を算出する。
【０１１４】
このように、情報量算出部７２０は、人物１３０の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい情報量を算出する。また、情報量算出部７２０は、予め定められた値より大きい適合度で適合するオブジェクトが示す人物１３０の顔、頭部、手、又は人体の向きを特定し、特定した顔、頭部、手、又は人体の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい情報量を算出する。
【０１１５】
図１１は、圧縮強度決定部７４０が圧縮強度を決定する一例を示す。ここでは、圧縮強度決定部７４０が圧縮強度を制御する領域を、顔要素一致度および体要素一致度を座標軸とする空間を用いて説明する。なお、ここでいう体要素一致度とは、例えばフレーム画像に含まれるオブジェクトの輪郭と、予め定められた人体のパターンとの間の一致度であってよい。
【０１１６】
特徴領域検出部２０３は、フレーム画像に含まれるオブジェクトについて体要素一致度及び顔要素一致度を算出する。そして、特徴領域検出部２０３は、体要素一致度の座標軸上で体要素一致度の値がαである点と、顔要素一致度の座標上で顔要素一致度の値がβである点と結ぶ線に対して、原点と反対側の領域にある場合に、当該オブジェクトを含む領域をＲＯＩとして検出する。なお、ここで説明した方法はＲＯＩを検出する検出方法の一例であって、特徴領域検出部２０３は他の方法を使用してＲＯＩを検出してよいことは言うまでもない。
【０１１７】
そして、圧縮強度決定部７４０は、顔要素一致度が予め定められた値γより小さいことを条件として、顔要素一致度が小さいほどよい低い圧縮強度を決定する。そして、圧縮強度決定部７４０は、顔要素一致度がγより以上である場合に、顔要素一致度が大きいほどよい高い圧縮強度を決定する。
【０１１８】
このように、圧縮強度決定部７４０は、人物である確率が高いオブジェクトであって、人物の顔である可能性が低いオブジェクトを含む領域の圧縮強度を低くする。このため、圧縮強度決定部７４０は、顔が十分にはっきりと写っていないＲＯＩを圧縮する圧縮強度として低い圧縮強度を決定するので、そのようなＲＯＩが高い圧縮強度で圧縮されて顔を一層判別しにくくなってしまうことを未然に防ぐことができる場合がある。なお、本図においては、説明を簡単にすることを目的として、情報量の指標の一つである顔要素一致度を用いて圧縮強度決定部７４０が圧縮強度を決定する動作を説明したが、圧縮強度決定部７４０は、顔要素一致度以外を指標とする情報量の大小に基づいて圧縮強度を決定してよいことは言うまでもない。
【０１１９】
図１２は、情報量算出部７２０が算出した情報量の時間発展の一例を示す。符号Ｐ１−Ｐ１５のそれぞれは複数のフレーム画像のそれぞれを示す。そして、符号Ｐ１−Ｐ１５によって示される点が示す情報量は、符号Ｐ１−１５によって示されるフレーム画像のそれぞれから検出された同一被写体を含むＲＯＩに含まれる被写体の情報量を示す。本図を参照すると、時間が経過するにつれて情報量が増大していき、Ｐ７で示されるフレーム画像におけるＲＯＩで情報量が極大値に達した後、情報量が減少している。
【０１２０】
このような場合、圧縮強度決定部７４０は、Ｐ７で示されるフレーム画像が撮像されたタイミングの近傍で撮像されたＰ６及びＰ８とＰ７とのそれぞれで示されるフレーム画像から検出されたＲＯＩを圧縮する圧縮率として、所定の低圧縮率を決定する。そして、圧縮強度決定部７４０は、Ｐ７、及びＰ８以外のフレーム画像から検出された、予め定められた値より大きい情報量を持つＲＯＩ（フレーム画像Ｐ４、Ｐ５、Ｐ９、およびＰ１０から検出されたＲＯＩ）を圧縮する圧縮強度として、低圧縮率より大きい中圧縮率を決定する。そして、圧縮強度決定部７４０は、予め定められた値以下の情報量を持つＲＯＩ（フレーム画像Ｐ１−Ｐ３、Ｐ１２−Ｐ１５から検出されたＲＯＩを圧縮する圧縮強度として、低圧縮率を決定する。
【０１２１】
本図で示されるような情報量の時間発展は、例えば人物が遠方から撮像装置１００に近づいてきて、その後に撮像装置１００から遠ざかっていった場合等に、得られる場合がある。このような場合、画像処理装置１２０は、例えばＰ６、Ｐ７、及びＰ８で示されるフレーム画像のＲＯＩを低圧縮率で圧縮することで人物を確実に高画質で記録しつつ、他のフレーム画像についてはある程度画質を落として記録することができる場合がある。このため、画像処理装置１２０によると、人物を高画質で記録しつつ動画のデータ量を低減することができる場合がある。
【０１２２】
図１３は、ＲＯＩにおける境界領域の一例を示す。以上に説明したように、圧縮強度決定部７４０は、ＲＯＩの種類、ＲＯＩの数等に応じて、ＲＯＩを圧縮する圧縮強度を決定する。例えば、圧縮強度決定部７４０は、ＲＯＩの解像度を決定する。そして、圧縮強度決定部７４０はさらに、ＲＯＩと背景領域の境界領域の解像度も制御する。
【０１２３】
ここでは、特徴領域検出部２０３が、領域１３１０、領域１３１１、及び領域１３１２を合わせた領域を顔領域のＲＯＩとして検出しているとする。そして、特徴領域検出部２０３は、当該顔領域の近傍に、人領域のＲＯＩとして、領域１３２０、領域１３２１、および領域１３２２を合わせた領域を検出しているとする。そして、圧縮強度決定部７４０は、図１−１２に関連して説明したようにして、顔領域のＲＯＩの解像度として解像度Ａ、人領域のＲＯＩの解像度として解像度Ｂ、背景領域の解像度として解像度Ｃを決定したとする。
【０１２４】
この場合、境界領域特定部７１０は、顔領域のＲＯＩの周部における所定幅の領域、人領域のＲＯＩの周部における所定幅の領域を、境界領域として特定する。なお、境界領域特定部７１０は、ＲＯＩ内及びＲＯＩ外のいずれかに境界領域を特定してよい。他にも、境界領域特定部７１０は、ＲＯＩ内の領域及びＲＯＩ外の領域の双方にまたがる境界領域を特定してもよい。そして、圧縮強度決定部７４０は、境界領域における解像度を、当該境界領域を含むＲＯＩの解像度と、他のＲＯＩの解像度又は背景領域の解像度とに応じて決定する。
【０１２５】
具体的には、圧縮強度決定部７４０は、顔領域のＲＯＩと人領域のＲＯＩとの間の境界領域１３１２及び１３２２の解像度として、解像度Ａ及び解像度Ｂの平均の解像度を決定する。また、圧縮強度決定部７４０は、顔領域のＲＯＩと背景領域との間の境界領域１３１１の解像度として、解像度Ａ及び解像度Ｃの平均の解像度を決定する。また、圧縮強度決定部７４０は、人領域のＲＯＩと背景領域との間の境界領域１３２１の解像度として、解像度Ｂ及び解像度Ｃの平均の解像度を決定する。なお、圧縮強度決定部７４０は、所定の勾配で漸変する解像度を、境界領域における解像度として決定してもよい。
【０１２６】
このように、境界領域特定部７１０は、特徴領域以外の領域と特徴領域との間の境界の近傍における特徴領域内の領域を、境界領域として特定する。なお、境界領域特定部７１０は、特徴領域がより大きい場合により大きい境界領域を特定してよい。また、境界領域特定部７１０は、特徴領域に含まれる画像を圧縮する圧縮強度と、背景特徴に含まれる画像を圧縮する圧縮強度との差がより大きい場合に、より大きい境界領域を特定してもよい。
【０１２７】
また、境界領域特定部７１０は、複数の特徴領域のうちの近接する特徴領域について、一方の特徴領域と他方の特徴領域との間の境界近傍の領域を、境界領域として特定する。そして、圧縮強度決定部７４０は、一方の特徴領域に含まれる画像を圧縮する圧縮強度と他方の特徴領域に含まれる画像を圧縮する圧縮強度との間の圧縮強度を、一方の特徴領域と他方の特徴領域との間の境界近傍の境界領域の画像を圧縮する圧縮強度として決定する。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した圧縮強度で、一方の特徴領域と他方の特徴領域との間の境界近傍の境界領域の画像を圧縮する。
【０１２８】
このように、圧縮強度決定部７４０が、ＲＯＩの解像度と背景領域の解像度との中間の解像度を境界領域の解像度として決定する。このため、画像処理装置１７０が生成した合成動画に含まれるフレーム画像において、ＲＯＩの解像度と背景領域の解像度の差を目立たなくすることができる場合がある。
【０１２９】
図１４は、画像処理装置１２０及び画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０及び画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【０１３０】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１３１】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【０１３２】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１３３】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１３に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化部２１１、画質低減部２２１、符号化部２３１、対応付け処理部２０６、出力部２０７、境界領域特定部７１０、情報量算出部７２０、同一被写体領域特定部７３０、圧縮強度決定部７４０、条件格納部７５０、および圧縮制御部７６０として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１７０を、図１から図１３に関連して説明した圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張部３１１、合成部３０３、及び出力部３０４として機能させる。
【０１３４】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０及び画像処理装置１７０に提供してもよい。
【０１３５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１３６】
【図１】一実施形態に係る画像処理システム１０の一例を示す図である。
【図２】画像処理装置１２０のブロック構成の一例を示す図である。
【図３】画像処理装置１７０のブロック構成の一例を示す図である。
【図４】画像処理装置１２０の処理フローの一例を示す図である。
【図５】複数の特徴領域動画及び背景領域動画の画質の一例を示す図である。
【図６】画像処理装置１７０の処理フローの一例を示す図である。
【図７】画像処理装置１２０が有する圧縮制御ユニット７００の構成の一例を示す図である。
【図８】条件格納部７５０が格納しているデータの一例を示す図である。
【図９】条件格納部７５０が格納している他のデータの一例を示す図である。
【図１０】情報量算出部７２０が格納しているデータの一例を示す図である。
【図１１】圧縮強度決定部７４０が圧縮強度を決定する一例を示す図である。
【図１２】情報量算出部７２０が算出した情報量の時間発展の一例を示す図である。
【図１３】ＲＯＩにおける境界領域の一例を示す図である。
【図１４】画像処理装置１２０及び画像処理装置１７０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１３７】
１０ 画像処理システム
１００ 撮像装置
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０４ 画像分割部
２０５ 画像生成部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ａ 背景領域動画符号化部
２３１ｂ−ｄ 特徴領域動画符号化部
２４０ 圧縮部
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 合成部
３０４ 出力部
７００ 圧縮制御ユニット
７１０ 境界領域特定部
７２０ 情報量算出部
７３０ 同一被写体領域特定部
７４０ 圧縮強度決定部
７５０ 条件格納部
７６０ 圧縮制御部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。本発明は、特に、画像を処理する画像処理装置及び画像処理方法、並びに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
符号化された画面とこれから符号化すべき画面とを比較することにより画面内の変化領域を抽出して、符号化すべき画面を複数の画像ブロックに分割して、変化領域を含む画像ブロックを符号化する動画像符号化装置が知られている（例えば、特許文献１参照。）。この動画像符号化装置では、変化領域を含む画像ブロックのうち、より限定された領域を含む画像ブロックに対して、他の変化領域を含む画像ブロックに割り当てられた情報ビット数より多くの情報ビット数を割り当てて符号化する。
【特許文献１】特許２８２８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献に記載の技術では、例えば顔が十分な画質で得られている画像に対しても、顔により多くの情報ビット数を割り当ててしまう場合がある。このため、符号化後の画像のデータ量を効率的に低減することができない場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像圧縮装置であって、画像から特徴領域を検出する特徴領域検出部と、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部と、特徴領域の画像である特徴領域画像を圧縮する圧縮部と、情報量が大きいほど、圧縮部が特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部とを備える。圧縮部は、特徴領域以外の背景領域の画像である背景領域画像を、特徴領域画像より大きい圧縮強度で圧縮してよい。
【０００５】
特徴領域検出部は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。また、特徴量検出部は、人物の顔、頭部、手、又は人体を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。
【０００６】
情報量算出部は、人物の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい情報量を算出してよい。また、情報量算出部は、予め定められた値より大きい適合度で適合するオブジェクトが示す人物の顔、頭部、手、又は人体の向きを特定し、特定した顔、頭部、手、又は人体の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい情報量を算出してよい。
【０００７】
また、情報量算出部は、特徴領域に含まれるオブジェクトが条件に適合した適合度が大きいほど、より大きい情報量を算出してよい。特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、特徴領域として検出し、情報量算出部は、一致度が大きいほど、より大きい情報量を算出してよい。
【０００８】
本発明の第２の形態によると、画像処理方法であって、画像から特徴領域を検出する特徴領域検出段階と、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出段階と、特徴領域の画像である特徴領域画像を圧縮する圧縮段階と、情報量が大きいほど、圧縮段階において特徴領域画像が圧縮される圧縮強度をより大きく決定する圧縮強度決定段階とを備える。
【０００９】
本発明の第３の形態によると、画像処理装置用のプログラムであって、画像処理装置を、画像から特徴領域を検出する特徴領域検出部、特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部、特徴領域の画像である特徴領域画像を圧縮する圧縮部、情報量が大きいほど、圧縮部が特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００１３】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
【００１４】
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１５】
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
【００１６】
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
【００１７】
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１８】
画像処理装置１７０は、画像処理装置１２０ａから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００１９】
なお、撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００２０】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残しことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００２１】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、対応付け処理部２０６、および出力部２０７を有する。
【００２２】
固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。低減化ユニット２２０は、複数の画質低減部２２１ａ−ｄ（以下、画質低減部２２１と総称する。）を含む。
【００２３】
符号化ユニット２３０は、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄを総称して、符号化部２３１と呼ぶ場合がある。
【００２４】
なお、画質低減部２２１ａおよび背景領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。また、画質低減部２２１ｂおよび背景領域動画符号化部２３１ｂは、圧縮部２４０ｂとして機能する。同様に、画質低減部２２１ｃおよび背景領域動画符号化部２３１ｃは圧縮部２４０ｃとして機能する。画質低減部２２１ｄおよび背景領域動画符号化部２３１ｄは圧縮部２４０ｄとして機能する。なお、複数の圧縮部２４０ａ−ｄを、圧縮部２４０と総称する。
【００２５】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
【００２６】
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
【００２７】
画像生成部２０５は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
【００２８】
そして、固定値化部２１１は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、特徴領域画像以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。そして、圧縮部２４０は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。
【００２９】
以上説明したように、特徴領域検出部２０３は、画像から特徴領域を検出する。そして、画像分割部２０４は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部２４０は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００３０】
なお、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
【００３１】
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
【００３２】
なお、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部２０４は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
【００３３】
具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
【００３４】
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部２０７は、対応付け処理部２０６が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク１１０に送出する。
【００３５】
図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、合成部３０３、および出力部３０４を有する。圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｄ（以下、圧縮動画伸張部３１１と総称する。）を含む。
【００３６】
圧縮動画取得部３０１は、出力部２０７が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
【００３７】
圧縮動画伸張部３１１は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部３１１ａは背景領域動画データを復号する。また、圧縮動画伸張部３１１ｂ−ｄは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部３１１ｂ−ｄは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
【００３８】
合成部３０３は、圧縮動画伸張部３１１が復号することによって得られた動画構成画像を合成する。具体的には、合成部３０３は、圧縮動画伸張部３１１ｂ−ｄにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。
【００３９】
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号した得られた動画を出力部３０４が出力してもよい。
【００４０】
図４は、画像処理装置１２０の処理フローの一例を示す。圧縮動画取得部２０１が撮像動画データを取得（４０１）。圧縮動画伸張部２０２は、撮像動画データを復号することによって複数のフレーム画像４１０を生成する。特徴領域検出部２０３は、フレーム画像４１０の画像内容又は複数のフレーム画像４１０の画像内容に基づいて、特徴領域の一例であるＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出する（４０２）。
【００４１】
特徴領域検出部２０３は、人物の顔、人体、および移動物体を含む領域を、異なる種類のＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をＲＯＩとする。また、特徴領域検出部２０３は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をＲＯＩとする。なお、特徴領域検出部２０３は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【００４２】
また、特徴領域検出部２０３は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部２０３は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部２０３は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。
【００４３】
このように、特徴領域検出部２０３は、予め定められた画像内容に関する条件に適合する領域を、ＲＯＩとして検出する。より具体的には、特徴領域検出部２０３は、予め定められた条件に適合するオブジェクトを含む領域を、ＲＯＩとして検出する。例えば、特徴領域検出部２０３は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ＲＯＩとして検出する。また、特徴領域検出部２０３は、画像の変化量が予め定められた変化量より大きい領域を、ＲＯＩとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をＲＯＩとして検出する。
【００４４】
そして、画像処理装置１２０は、検出されたＲＯＩに基づいて圧縮用動画を生成する（４０３）。具体的には、画像分割部２０４は、フレーム画像をＲＯＩとそれ以外の領域に分割する。そして、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とを生成する。具体的には、画像生成部２０５は、複数のフレーム画像４１０を複製することによって、顔領域用の特徴領域動画４５０、人領域用の特徴領域動画４４０、動領域用の特徴領域動画４３０、および背景領域用の背景領域動画４２０を生成する。
【００４５】
そして、画像処理装置１２０は、固定値化部２１１および画質低減部２２１により、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０と、背景領域動画４２０とに対して、画質を低減する（４０４ａ、４０４ｂ、４０４ｃ、４０４ｄ）。具体的には、固定値化部２１１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像において、画像分割部２０４が分割したＲＯＩ内の画素値は変化させず、ＲＯＩ以外の領域に対する画素値を所定の値（例えば、輝度値０）にする。なお、固定値化部２１１は、ＲＯＩ以外の領域の画素値を、当該ＲＯＩに近傍する領域の画素値の平均的な画素値にしてよい。
【００４６】
このように、画像生成部２０５および固定値化部２１１により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０および背景領域動画４２０が生成される。なお、後に詳しく説明するように、画像処理装置１７０は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のようなＲＯＩ以外の領域が固定値化されている動画を、背景領域動画４２０に重ね合わせた動画を生成する。したがって、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。
【００４７】
また、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも１つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。
【００４８】
そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のそれぞれが含むフレーム画像におけるＲＯＩ内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部２２１は、背景領域動画のフレーム画像の画質を、ＲＯＩ内の画像の画質より低くする。例えば、画質低減部２２１は、背景領域動画のフレーム画像の解像度を、ＲＯＩ内の画像のより小さくする。
【００４９】
また、画質低減部２２１は、背景領域動画４２０、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部２２１は、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０のフレームレートを低減する。また、画質低減部２２１は、背景領域動画４２０に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画４２０のフレームレートを低減する。
【００５０】
なお、画質低減部２２１ａは、背景領域動画４２０の画質を低減する。また、画質低減部２２１ｂ、画質低減部２２１ｃ、および画質低減部２２１ｄは、それぞれ特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０の画質を低減する。
【００５１】
そして、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれ符号化する（４０５ａ、４０５ｂ、４０５ｃ、４０５ｄ）。例えば、背景領域動画符号化部２３１ａ、および領域動画符号化部２３１ｂ−ｄは、画質低減部２２１により画質が低減された動画をそれぞれＭＰＥＧ符号化する。
【００５２】
例えば、背景領域動画符号化部２３１ａは、背景領域動画用の符号化設定で背景領域動画をＭＰＥＧ符号化する。特徴領域動画符号化部２３１ｂ、特徴領域動画符号化部２３１ｃ、および特徴領域動画符号化部２３１ｄは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれＭＰＥＧ符号化する。なお、符号化設定は、例えばＭＰＥＧ符号化における量子化テーブルを設定することを含む。なお、符号化設定については図５に関連して説明する。
【００５３】
そして、対応付け処理部２０６は、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部２０７が表示装置１８０に出力する（４０６）。このとき、対応付け処理部２０６は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報（例えば、タイムスタンプ）を、タグ情報等に付加してよい。また、対応付け処理部２０６は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置１００を識別する識別情報等を、タグ情報等に付加してよい。
【００５４】
以上説明したように、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。
【００５５】
また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部２０３は、撮像装置１００から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。
【００５６】
なお、圧縮部２４０は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔の順に大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム１０を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より高画質にするとした。しかしながら、画像処理システム１０を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム１０を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をＲＯＩとして検出して、検出したＲＯＩをＲＯＩ以外の領域より低画質にしてもよい。例えば圧縮部２４０は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。
【００５７】
その他にも、特徴領域検出部２０３は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部２２１は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部２４０は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。
【００５８】
以上説明したように、画像処理装置１２０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置１２０によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、ＭＰＥＧ符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が０になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置１２０の製造コストを低減することができる場合がある。
【００５９】
以上の説明では、圧縮部２４０は、ＲＯＩ領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部２４０は、特徴領域動画に含まれるフレーム画像におけるＲＯＩ内の画像を切り出して圧縮して特徴領域動画として出力してもよい。
【００６０】
なお、特徴領域検出部２０３がＲＯＩを検出していない場合には、出力部２０７は、圧縮部２４０ａが出力する背景領域動画データを画像処理装置１７０に出力する。この場合、画像生成部２０５は特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成しなくてよい。そして、画像生成部２０５は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、特徴領域動画４３０、特徴領域動画４４０、および特徴領域動画４５０を生成して、出力部２０７は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置１７０に出力する。この間、圧縮部２４０ａは、背景領域動画４２０を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画４２０を圧縮しつづけてよい。
【００６１】
その他にも、特徴領域検出部２０３がＲＯＩを検出していない間には、圧縮部２４０は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたＲＯＩ非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部２４０は、特徴領域動画をＲＯＩ非検出期間圧縮率より低い圧縮率で圧縮してよい。
【００６２】
なお、圧縮部２４０は、特徴領域検出部２０３がＲＯＩを検出してから予め定められた期間の背景領域動画をＲＯＩ非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ＲＯＩとして検出されるべき領域がＲＯＩとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部２４０は、特徴領域検出部２０３が検出した複数のフレーム画像におけるＲＯＩ領域の位置から推定される他のフレーム画像におけるＲＯＩ領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。
【００６３】
図５は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部２０１が取得した撮像動画データのフレームレートが１６ｆｐｓであり、当該撮像動画データに含まれるフレーム画像の解像度が７２ｄｐｉであるとする。
【００６４】
撮像動画に含まれるフレーム画像４１０の解像度に対する画質低減後の背景領域動画４２０に含まれるフレーム画像の解像度の比率を示す解像度比率は予め１／８と定められている。画質低減部２２１は、画像生成部２０５によって撮像動画が複製されることによって生成された画質低減前の背景領域動画４２０に含まれるフレーム画像に対して１／８の解像度である９ｄｐｉのフレーム画像を、画質低減前の背景領域動画４２０に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画４２０のフレームレートの比率を示すフレームレート比率は予め１／８と定められている。画質低減部２２１は、画質低減前の背景領域動画４２０のフレームレートの１／８のフレームレートである２ｆｐｓのフレームレートの背景領域動画４２０を、画質低減前の背景領域動画４２０に含まれるフレーム画像を間引くことによって生成する。
【００６５】
同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画４３０については解像度比率およびフレームレート比率は１／４が定められており、特徴領域動画４４０については解像度比率およびフレームレート比率として１／２が定められており、特徴領域動画４５０については解像度比率およびフレームレート比率として１／１が定められている。これにより、画質低減部２２１ｂは、フレームレートが４ｆｐｓ、フレーム画像の解像度が１８ｄｐｉの特徴領域動画４３０を生成する。また、画質低減部２２１ｃは、フレームレートが８ｆｐｓ、フレーム画像の解像度が３６ｄｐｉの特徴領域動画４４０を生成する。また、画質低減部２２１ｄは、フレームレートが１６ｆｐｓ、フレーム画像の解像度が７２ｄｐｉの特徴領域動画４５０を生成する。
【００６６】
なお、上記の例では、画質低減部２２１が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部２２１は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。
【００６７】
なお、画質低減部２２１による画質低減に加えて、又は画質低減部２２１による画質低減に替えて、符号化部２３１がフレーム画像の画質を低減してもよい。例えば、符号化部２３１が、ＭＰＥＧ符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。
【００６８】
また、画質低減部２２１はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。
【００６９】
なお、以上の説明では、画像生成部２０５が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部２０５は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部２１１ａが固定値化して、画質低減部２２１が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。
【００７０】
図６は、画像処理装置１７０の処理フローの一例を示す。圧縮動画取得部３０１は、画像処理装置１２０から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置１００を識別する情報等を取得する（６０１）。そして、圧縮動画伸張部３１１は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画６１０を生成する（６０２ａ）。同時に、圧縮動画伸張部３１１は、動領域レイヤーを示す特徴領域動画６２０、人領域レイヤーを示す特徴領域動画６３０、および顔領域レイヤーを示す特徴領域動画６４０を生成する（６０２ｂ、６０２ｃ、および６０２ｄ）。
【００７１】
合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像を合成する（６０３）。このとき、合成部３０３は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。
【００７２】
このとき、合成部３０３は、特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画６１０に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部３０３は、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０のフレームレートが異なる場合には、背景領域動画６１０並びに特徴領域動画６２０、特徴領域動画６３０、および特徴領域動画６４０の最新のフレーム画像を合成する。
【００７３】
これにより、合成部３０３は、合成フレーム画像を生成する。合成部３０３は、複数の合成フレーム画像を含む合成動画６５０を生成する。そして、出力部３０４は、圧縮動画取得部３０１が取得したタグ情報等に基づいて、合成動画を表示させる表示装置１８０を選択して、選択した表示装置１８０に合成動画を供給する（６０４）。
【００７４】
図７は、画像処理装置１２０がさらに有する圧縮制御ユニット７００の構成の一例を示す。圧縮制御ユニット７００は、境界領域特定部７１０、情報量算出部７２０、同一被写体領域特定部７３０、圧縮強度決定部７４０、条件格納部７５０、および圧縮制御部７６０を含む。なお、圧縮動画取得部２０１は、この発明における動画取得部の一例であってよい。
【００７５】
条件格納部７５０は、特徴領域の特徴に応じて異なる圧縮強度を割り当てる、特徴領域の特徴に応じた異なる割り当て条件を格納する。具体的には、条件格納部７５０は、特徴領域の種類に応じた異なる条件を格納している。
【００７６】
そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を特徴領域の特徴に応じて制御する。具体的には、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域の特徴に応じて制御する。より具体的には、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域の種類に応じて制御する。
【００７７】
圧縮部２４０は、圧縮部２４０は、複数の動画構成画像において同じ種類の特徴を有する特徴領域画像を複数含む複数の特徴領域動画のそれぞれを圧縮する。このとき、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、複数の特徴領域動画のそれぞれを圧縮部２４０が圧縮する圧縮強度を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御する。
【００７８】
なお、条件格納部７５０は、特徴領域の種類に応じて異なる画質低減量を格納してよい。そして、画質低減部２２１は、複数の動画構成画像において同じ種類の特徴を有する特徴領域画像を複数含む複数の特徴領域動画のそれぞれの画質を低減してよい。このとき、圧縮制御部７６０は、条件格納部７５０が格納している画質低減量に基づいて、画質低減部２２１が画質を低減させる画質低減量を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御してよい。
【００７９】
なお、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、複数の特徴領域動画のそれぞれを圧縮部２４０が圧縮する圧縮強度を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御してよい。なお、圧縮動画取得部２０１は、異なる位置から撮像されて得られた複数の動画を取得する。例えば、圧縮動画取得部２０１は、撮像装置１００ａ−ｃが撮像した複数の動画を取得する。
【００８０】
そして、同一被写体領域特定部７３０は、動画取得部が取得した複数の動画のうちの一の動画に含まれる動画構成画像から抽出された特徴領域に含まれる被写体と同じ被写体を含む、他の動画に含まれる動画構成画像から抽出された特徴領域を特定する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、同一被写体領域特定部７３０が特定した同じ被写体を含む特徴領域のうちの少なくとも１つの特徴領域の特徴領域画像を圧縮部２４０が圧縮する圧縮強度を、特徴領域の特徴に応じて制御するとともに、圧縮部２４０が他の特徴領域の特徴領域画像を圧縮する圧縮強度を、当該少なくとも１つの特徴領域画像を圧縮する圧縮率より高く制御する。
【００８１】
なお、境界領域特定部７１０は、特徴領域と特徴領域以外の領域との間の境界近傍の領域である境界領域を特定する。そして、圧縮強度決定部７４０は、特徴領域に含まれる画像を圧縮する圧縮強度と、背景領域に含まれる画像を圧縮する圧縮強度との間の圧縮強度を、境界領域の画像を圧縮する圧縮強度として決定する。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した圧縮強度で、境界領域に含まれる画像を圧縮する。このように、圧縮部２４０は、特徴領域に含まれる画像、背景領域に含まれる画像、及び境界領域の画像を、それぞれ異なる強度で圧縮する。
【００８２】
圧縮強度決定部７４０は、特徴領域により近い領域の画像を圧縮する圧縮強度として、特徴領域に含まれる画像を圧縮する圧縮強度により近い圧縮強度を決定する。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した境界領域の領域に応じた圧縮強度で、境界領域の画像を圧縮する。
【００８３】
圧縮強度決定部７４０は、特徴領域の特徴の種類に応じて特徴領域に含まれる画像の圧縮後の画質を決定し、特徴領域に含まれる画像の圧縮後の画質より低い画質を背景領域に含まれる画像の圧縮後の画質として決定し、特徴領域に含まれる画像の圧縮後の画質と背景領域に含まれる画像の圧縮後の画質との間の画質を境界領域の画像の圧縮後の画質として決定する。そして、画質低減部２２１は、特徴領域に含まれる画像の画質、背景領域に含まれる画像の画質、及び境界領域の画像の画質を、圧縮強度決定部７４０が決定した画質に低減する。
【００８４】
より具体的には、圧縮強度決定部７４０は、特徴領域の特徴の種類に応じて特徴領域に含まれる画像の圧縮後の解像度を決定し、特徴領域に含まれる画像の圧縮後の解像度より低い解像度を背景領域に含まれる画像の圧縮後の解像度として決定し、特徴領域に含まれる画像の圧縮後の解像度と背景領域に含まれる画像の圧縮後の解像度との間の解像度を境界領域の画像の圧縮後の解像度として決定する。そして、画質低減部２２１は、特徴領域に含まれる画像の解像度、背景領域に含まれる画像の解像度、及び境界領域の画像解像度を、圧縮強度決定部７４０が決定した解像度に低減する。
【００８５】
情報量算出部７２０は、特徴領域に含まれる被写体が持つ情報量を算出する。例えば顔領域のＲＯＩを例に挙げると、情報量は、ＲＯＩに含まれるオブジェクトが有する、人物の顔としての情報量であってよい。例えば、情報量は、画像から人物の顔を認識する場合における認識のし易さを示す値であってよい。一例として、情報量は、人物の顔の面積或いは人物の顔を示す画像領域に含まれる画素数であってよい。
【００８６】
そして、圧縮部２４０は、特徴領域の画像である特徴領域画像を圧縮する。このとき、圧縮強度決定部７４０は、情報量が大きいほど、圧縮部２４０が特徴領域画像を圧縮する圧縮強度をより大きく決定する。顔が十分に大きく撮像されているＲＯＩについては、そのＲＯＩを高い圧縮強度で圧縮することによって画質が多少低下しても、顔を十分判別することができる品質が保たれている場合が多い。したがって、本実施形態の画像処理装置１２０を実際の製品に適用した場合には、例えば顔が十分に大きく撮像されている場合には高い圧縮率でＲＯＩを圧縮するので、画像のデータ量が無駄に増大することを未然に防ぐことができる場合がある。
【００８７】
なお、特徴領域検出部２０３は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。そして、特徴量検出部は、人物１３０の顔、頭部、手、又は人体を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。
【００８８】
この場合、情報量算出部７２０は、特徴領域に含まれるオブジェクトが条件に適合した適合度が大きいほど、より大きい情報量を算出してよい。そして、圧縮強度決定部７４０は、適合度が大きいほど、圧縮部２４０が特徴領域を圧縮する圧縮強度をより大きく決定してよい。
【００８９】
なお、特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、特徴領域として検出してよい。この場合に、情報量算出部７２０は、一致度が大きいほど、より大きい情報量を算出してよい。そして、圧縮強度決定部７４０は、一致度が大きいほど、圧縮部２４０が特徴領域を圧縮する圧縮強度をより大きく決定してよい。
【００９０】
なお、情報量算出部７２０は、画像を撮像した撮像装置１００と特徴領域に含まれる被写体との間の距離を特定し、特定した距離が短いほど、より大きい情報量を算出してもよい。また、情報量算出部７２０は、特徴領域の大きさがより大きいほど、より大きい情報量を算出してもよい。
【００９１】
また、特徴領域検出部２０３が特徴の種類が異なる複数の特徴領域を画像から検出した場合に、情報量算出部７２０は、複数の特徴領域のそれぞれに含まれる被写体が持つ情報量をそれぞれ算出してよい。そして、圧縮強度決定部７４０は、複数の特徴領域画像のそれぞれについて、情報量がより大きい特徴領域の圧縮度をより大きく決定してよい。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した圧縮度で、複数の特徴領域画像を圧縮してよい。
【００９２】
また、特徴領域検出部２０３が動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出した場合には、情報量算出部７２０は、複数の動画構成画像のそれぞれにおける複数の特徴領域に含まれる被写体が持つ情報量を算出してよい。そして、圧縮強度決定部７４０は、複数の動画構成画像のそれぞれの特徴領域画像について、情報量が大きいほど、圧縮部２４０が特徴領域画像を圧縮する圧縮強度をより大きく決定してよい。そして、圧縮部２４０は、複数の動画構成画像のそれぞれの特徴領域画像を、圧縮強度決定部７４０が決定した圧縮強度で圧縮してよい。
【００９３】
なお、同一被写体領域特定部７３０は、複数の動画構成画像のそれぞれにおける特徴領域のうち、同じ被写体が含まれる複数の特徴領域を特定する。具体的には、同一被写体領域特定部７３０は、複数のフレーム画像のそれぞれにおいて、同一人物が含まれるＲＯＩを特定する。
【００９４】
そして、圧縮強度決定部７４０は、同一被写体領域特定部７３０が特定した複数の特徴領域が持つ情報量のうち最大の情報量を含む予め定められた情報量の範囲の情報量を持つ特徴領域を含む１以上の動画構成画像における特徴領域画像を圧縮する圧縮強度として、他の動画構成画像の少なくとも１つにおける特徴領域画像を圧縮する圧縮強度より小さい圧縮強度を決定する。これにより、例えば、動画において被写体としての情報を多く含むフレーム画像が存在する場合には、そのフレーム画像を高画質で記録しておき、同一被写体が写っている他のフレーム画像については圧縮強度を高めることができる場合がある。このため、動画のデータ量を効果的に低減しつつ、より望ましいタイミングで撮像された被写体を高画質で記録することができる場合がある。
【００９５】
図８は、条件格納部７５０が格納しているデータの一例をテーブル形式で示す。条件格納部７５０は、検出されたＲＯＩの数を示すＲＯＩ数、検出されたＲＯＩの面積を示すＲＯＩ面積、検出されたＲＯＩの位置を示すＲＯＩ位置、ＲＯＩ内の人物の顔の向きを示す顔向き、および顔オブジェクトとして認識されたＲＯＩ内のオブジェクト数を示す顔要素数のそれぞれに対応づけて、空間解像度スコアを格納する。なお、顔オブジェクトの数とは、目、口、鼻等のような、顔に含まれるべきオブジェクトに予め定められた一致度より高い一致度で一致したオブジェクトの数であってよい。
【００９６】
なお、空間解像度スコアは、圧縮後のフレーム画像の画質を示す指標値であってよい。具体的には、空間解像度スコアは、圧縮後のフレーム画像の解像度、階調数、および色数の少なくともいずれかを示す指標であってよい。このように、空間解像度スコアは、実空間の解像度および色空間の解像度を含む。なお、より大きい空間解像度スコアが、より高い画質を示してよい。
【００９７】
本図に示されるように、条件格納部７５０は、より少ないＲＯＩ数に対応づけてより大きい空間解像度スコアを格納してよい。また、条件格納部７５０は、より小さいＲＯＩ面積に対応づけてより大きい空間解像度スコアを格納してよい。また、予め定められたフレーム画像上の位置とＲＯＩの中心位置との間の距離をＲＯＩ位置の指標とした場合において、条件格納部７５０は、当該距離が短いほどよりより大きい空間解像度スコアを格納してよい。これにより、顔が存在すべき所定の位置にＲＯＩの位置が近いほど空間解像度スコアは高くなる。
【００９８】
また、条件格納部７５０は、ＲＯＩに含まれるオブジェクトが示す顔の向きが前斜方に近いほどより大きい空間解像度スコアを格納し、顔の向きが後向きに近いほど低い空間解像度スコアを格納してよい。また、条件格納部７５０は、より多い顔要素数に対応づけてより大きい空間解像度スコアを格納してよい。
【００９９】
圧縮強度決定部７４０は、特徴領域検出部２０３が顔領域のＲＯＩを検出すると、当該顔領域のＲＯＩについて、ＲＯＩ数、ＲＯＩ面積、ＲＯＩ位置、顔向き、および顔要素数等のパラメータを算出する。そして、圧縮強度決定部７４０は、条件格納部７５０が格納するデータに基づいて、空間解像度の高さを示す空間解像度スコアを算出する。例えば、圧縮強度決定部７４０は、ＲＯＩ数、ＲＯＩ面積、ＲＯＩ位置、顔向き、および顔要素数のそれぞれに対応づけて条件格納部７５０が格納している空間解像度スコアを抽出して、抽出した空間解像度スコアの合計値を算出する。
【０１００】
そして、圧縮強度決定部７４０は、算出した合計値が大きいほど、より高い空間解像度を決定する。なお、圧縮強度決定部７４０は、空間解像度スコアの合計値と空間解像度とが予め対応づけられたテーブルに従って、空間解像度を決定してよい。
【０１０１】
他にも、条件格納部７５０は、空間解像度スコアに代えて、解像度、階調数、および色数そのものを格納してもよい。また、空間解像度スコアは、圧縮後のフレーム画像が有意な周波数成分を有するべき空間周波数帯域を示す指標であってよい。
【０１０２】
図９は、条件格納部７５０が格納している他のデータの一例をテーブル形式で示す。条件格納部７５０は、ＲＯＩの移動速度に対応づけて、時間解像度スコアを格納する。なお、時間解像度スコアは、圧縮後の動画の時間解像度を示す指標値であってよい。具体的には、時間解像度スコアは、圧縮後の動画のフレームレートを示す指標であってよい。なお、より大きい時間解像度スコアが、より高い時間解像度を示してよい。そして、本図に示されるように、条件格納部７５０は、より高速な移動速度に対応づけてより大きい空間解像度スコアを格納してよい。
【０１０３】
圧縮強度決定部７４０は、特徴領域検出部２０３が各フレーム画像から顔領域のＲＯＩを検出すると、フレーム画像のそれぞれにおけるＲＯＩの位置に基づいて、ＲＯＩの移動速度を算出する。そして、圧縮強度決定部７４０は、算出した移動速度に対応づけて条件格納部７５０が格納する時間解像度スコアを抽出する。そして、圧縮強度決定部７４０は、抽出した時間解像度スコアに応じた時間解像度を決定する。なお、条件格納部７５０は、時間解像度スコアに代えて、圧縮後のフレームレートそのものを格納してもよい。
【０１０４】
なお、図８および図９においては、条件格納部７５０が格納している顔領域のＲＯＩに割り当てられた画質の指標値の一例を示したが、条件格納部７５０は、顔領域以外にも、人領域および動領域のＲＯＩのそれぞれについて、上記のような各種パラメータに対応づけられた空間解像度スコアおよび時間解像度スコアを格納してよい。
【０１０５】
以上説明したように、圧縮強度決定部７４０は、特徴領域の特徴に応じて、特徴領域に含まれる画像を圧縮する圧縮強度を決定する。具体的には、圧縮強度決定部７４０は、特徴領域の特徴の種類に応じて、特徴領域に含まれる画像を圧縮する圧縮強度を決定する。また、圧縮強度決定部７４０は、特徴領域より大きい圧縮強度を、背景領域に含まれる画像を圧縮する圧縮強度として決定する。
【０１０６】
また、条件格納部７５０は、特徴領域の種類に応じて異なる空間解像度の低減量又は特徴領域の種類に応じて異なる時間解像度の低減量を格納している。そして、圧縮制御部７６０は、条件格納部７５０が格納している空間解像度の低減量又は時間解像度の低減量の少なくとも一方に基づいて、画質低減部２２１が画質を低減させる空間解像度の低減量又は時間解像度の低減量を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御する。
【０１０７】
また、条件格納部７５０は、特徴領域が示す領域の特徴に応じた異なる条件を格納する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域が示す領域の特徴に応じて制御する。
【０１０８】
より具体的には、条件格納部７５０は、特徴領域の数、特徴領域の大きさ、又は特徴領域の位置に応じた異なる条件を格納する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域が示す領域の数、大きさ、又は位置に応じて制御する。
【０１０９】
また、条件格納部７５０は、特徴領域画像に含まれるオブジェクトの特徴に応じた異なる条件を格納する。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域画像に含まれるオブジェクトの特徴に応じて制御する。
【０１１０】
なお、条件格納部７５０は、特徴領域画像に含まれるオブジェクトの形状、オブジェクトの向き、オブジェクトの移動方向、又はオブジェクトの移動量に応じた異なる条件を格納してよい。そして、圧縮制御部７６０は、条件格納部７５０が格納している条件に基づいて、圧縮部２４０が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域画像に含まれるオブジェクトの形状、オブジェクトの向き、オブジェクトの移動方向、又はオブジェクトの移動量に応じて制御してよい。
【０１１１】
図１０は、情報量算出部７２０が格納しているデータの一例をテーブル形式で示す。情報量算出部７２０は、人物の顔の向きを示す顔向き、およびＲＯＩ内に含まれるオブジェクトが人物の顔に含まれるオブジェクトに一致する一致度を示す顔要素一致度に対応づけて、情報量を格納している。
【０１１２】
情報量算出部７２０は、例えば顔領域のＲＯＩに含まれる人物の顔のオブジェクトの画像内容に基づいて顔の向きを特定する。例えば、情報量算出部７２０は、頭部を示すオブジェクトにおける、目、鼻、及び口を示すオブジェクトの位置に基づいて顔の向きを特定する。そして、情報量算出部７２０は、特定した向きが前斜方に近いほどより大きい情報量を算出し、特定した向きが後に近いほどより小さい情報量を算出する。なお、情報量算出部７２０は、人物の顔の向きに代えて、或いは人物の顔の向きに加えて、人物の手の向き又は人体の向きを特定してよい。そして、情報量算出部７２０は、特定したそれぞれの向きが予め定められた向きに近いほどより大きい情報量を算出してよい。
【０１１３】
また、情報量算出部７２０は、人物の顔のオブジェクトの輪郭と、予め定められた人物の顔のパターンとの間の一致度を、例えばパターンマッチングにより算出する。そして、情報量算出部７２０は、算出した一致度が大きいほどより大きい情報量を算出する。
【０１１４】
このように、情報量算出部７２０は、人物１３０の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい情報量を算出する。また、情報量算出部７２０は、予め定められた値より大きい適合度で適合するオブジェクトが示す人物１３０の顔、頭部、手、又は人体の向きを特定し、特定した顔、頭部、手、又は人体の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい情報量を算出する。
【０１１５】
図１１は、圧縮強度決定部７４０が圧縮強度を決定する一例を示す。ここでは、圧縮強度決定部７４０が圧縮強度を制御する領域を、顔要素一致度および体要素一致度を座標軸とする空間を用いて説明する。なお、ここでいう体要素一致度とは、例えばフレーム画像に含まれるオブジェクトの輪郭と、予め定められた人体のパターンとの間の一致度であってよい。
【０１１６】
特徴領域検出部２０３は、フレーム画像に含まれるオブジェクトについて体要素一致度及び顔要素一致度を算出する。そして、特徴領域検出部２０３は、体要素一致度の座標軸上で体要素一致度の値がαである点と、顔要素一致度の座標上で顔要素一致度の値がβである点と結ぶ線に対して、原点と反対側の領域にある場合に、当該オブジェクトを含む領域をＲＯＩとして検出する。なお、ここで説明した方法はＲＯＩを検出する検出方法の一例であって、特徴領域検出部２０３は他の方法を使用してＲＯＩを検出してよいことは言うまでもない。
【０１１７】
そして、圧縮強度決定部７４０は、顔要素一致度が予め定められた値γより小さいことを条件として、顔要素一致度が小さいほどよい低い圧縮強度を決定する。そして、圧縮強度決定部７４０は、顔要素一致度がγより以上である場合に、顔要素一致度が大きいほどよい高い圧縮強度を決定する。
【０１１８】
このように、圧縮強度決定部７４０は、人物である確率が高いオブジェクトであって、人物の顔である可能性が低いオブジェクトを含む領域の圧縮強度を低くする。このため、圧縮強度決定部７４０は、顔が十分にはっきりと写っていないＲＯＩを圧縮する圧縮強度として低い圧縮強度を決定するので、そのようなＲＯＩが高い圧縮強度で圧縮されて顔を一層判別しにくくなってしまうことを未然に防ぐことができる場合がある。なお、本図においては、説明を簡単にすることを目的として、情報量の指標の一つである顔要素一致度を用いて圧縮強度決定部７４０が圧縮強度を決定する動作を説明したが、圧縮強度決定部７４０は、顔要素一致度以外を指標とする情報量の大小に基づいて圧縮強度を決定してよいことは言うまでもない。
【０１１９】
図１２は、情報量算出部７２０が算出した情報量の時間発展の一例を示す。符号Ｐ１−Ｐ１５のそれぞれは複数のフレーム画像のそれぞれを示す。そして、符号Ｐ１−Ｐ１５によって示される点が示す情報量は、符号Ｐ１−１５によって示されるフレーム画像のそれぞれから検出された同一被写体を含むＲＯＩに含まれる被写体の情報量を示す。本図を参照すると、時間が経過するにつれて情報量が増大していき、Ｐ７で示されるフレーム画像におけるＲＯＩで情報量が極大値に達した後、情報量が減少している。
【０１２０】
このような場合、圧縮強度決定部７４０は、Ｐ７で示されるフレーム画像が撮像されたタイミングの近傍で撮像されたＰ６及びＰ８とＰ７とのそれぞれで示されるフレーム画像から検出されたＲＯＩを圧縮する圧縮率として、所定の低圧縮率を決定する。そして、圧縮強度決定部７４０は、Ｐ７、及びＰ８以外のフレーム画像から検出された、予め定められた値より大きい情報量を持つＲＯＩ（フレーム画像Ｐ４、Ｐ５、Ｐ９、およびＰ１０から検出されたＲＯＩ）を圧縮する圧縮強度として、低圧縮率より大きい中圧縮率を決定する。そして、圧縮強度決定部７４０は、予め定められた値以下の情報量を持つＲＯＩ（フレーム画像Ｐ１−Ｐ３、Ｐ１２−Ｐ１５から検出されたＲＯＩを圧縮する圧縮強度として、低圧縮率を決定する。
【０１２１】
本図で示されるような情報量の時間発展は、例えば人物が遠方から撮像装置１００に近づいてきて、その後に撮像装置１００から遠ざかっていった場合等に、得られる場合がある。このような場合、画像処理装置１２０は、例えばＰ６、Ｐ７、及びＰ８で示されるフレーム画像のＲＯＩを低圧縮率で圧縮することで人物を確実に高画質で記録しつつ、他のフレーム画像についてはある程度画質を落として記録することができる場合がある。このため、画像処理装置１２０によると、人物を高画質で記録しつつ動画のデータ量を低減することができる場合がある。
【０１２２】
図１３は、ＲＯＩにおける境界領域の一例を示す。以上に説明したように、圧縮強度決定部７４０は、ＲＯＩの種類、ＲＯＩの数等に応じて、ＲＯＩを圧縮する圧縮強度を決定する。例えば、圧縮強度決定部７４０は、ＲＯＩの解像度を決定する。そして、圧縮強度決定部７４０はさらに、ＲＯＩと背景領域の境界領域の解像度も制御する。
【０１２３】
ここでは、特徴領域検出部２０３が、領域１３１０、領域１３１１、及び領域１３１２を合わせた領域を顔領域のＲＯＩとして検出しているとする。そして、特徴領域検出部２０３は、当該顔領域の近傍に、人領域のＲＯＩとして、領域１３２０、領域１３２１、および領域１３２２を合わせた領域を検出しているとする。そして、圧縮強度決定部７４０は、図１−１２に関連して説明したようにして、顔領域のＲＯＩの解像度として解像度Ａ、人領域のＲＯＩの解像度として解像度Ｂ、背景領域の解像度として解像度Ｃを決定したとする。
【０１２４】
この場合、境界領域特定部７１０は、顔領域のＲＯＩの周部における所定幅の領域、人領域のＲＯＩの周部における所定幅の領域を、境界領域として特定する。なお、境界領域特定部７１０は、ＲＯＩ内及びＲＯＩ外のいずれかに境界領域を特定してよい。他にも、境界領域特定部７１０は、ＲＯＩ内の領域及びＲＯＩ外の領域の双方にまたがる境界領域を特定してもよい。そして、圧縮強度決定部７４０は、境界領域における解像度を、当該境界領域を含むＲＯＩの解像度と、他のＲＯＩの解像度又は背景領域の解像度とに応じて決定する。
【０１２５】
具体的には、圧縮強度決定部７４０は、顔領域のＲＯＩと人領域のＲＯＩとの間の境界領域１３１２及び１３２２の解像度として、解像度Ａ及び解像度Ｂの平均の解像度を決定する。また、圧縮強度決定部７４０は、顔領域のＲＯＩと背景領域との間の境界領域１３１１の解像度として、解像度Ａ及び解像度Ｃの平均の解像度を決定する。また、圧縮強度決定部７４０は、人領域のＲＯＩと背景領域との間の境界領域１３２１の解像度として、解像度Ｂ及び解像度Ｃの平均の解像度を決定する。なお、圧縮強度決定部７４０は、所定の勾配で漸変する解像度を、境界領域における解像度として決定してもよい。
【０１２６】
このように、境界領域特定部７１０は、特徴領域以外の領域と特徴領域との間の境界の近傍における特徴領域内の領域を、境界領域として特定する。なお、境界領域特定部７１０は、特徴領域がより大きい場合により大きい境界領域を特定してよい。また、境界領域特定部７１０は、特徴領域に含まれる画像を圧縮する圧縮強度と、背景特徴に含まれる画像を圧縮する圧縮強度との差がより大きい場合に、より大きい境界領域を特定してもよい。
【０１２７】
また、境界領域特定部７１０は、複数の特徴領域のうちの近接する特徴領域について、一方の特徴領域と他方の特徴領域との間の境界近傍の領域を、境界領域として特定する。そして、圧縮強度決定部７４０は、一方の特徴領域に含まれる画像を圧縮する圧縮強度と他方の特徴領域に含まれる画像を圧縮する圧縮強度との間の圧縮強度を、一方の特徴領域と他方の特徴領域との間の境界近傍の境界領域の画像を圧縮する圧縮強度として決定する。そして、圧縮部２４０は、圧縮強度決定部７４０が決定した圧縮強度で、一方の特徴領域と他方の特徴領域との間の境界近傍の境界領域の画像を圧縮する。
【０１２８】
このように、圧縮強度決定部７４０が、ＲＯＩの解像度と背景領域の解像度との中間の解像度を境界領域の解像度として決定する。このため、画像処理装置１７０が生成した合成動画に含まれるフレーム画像において、ＲＯＩの解像度と背景領域の解像度の差を目立たなくすることができる場合がある。
【０１２９】
図１４は、画像処理装置１２０及び画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０及び画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【０１３０】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１３１】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【０１３２】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１３３】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１３に関連して説明した圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化部２１１、画質低減部２２１、符号化部２３１、対応付け処理部２０６、出力部２０７、境界領域特定部７１０、情報量算出部７２０、同一被写体領域特定部７３０、圧縮強度決定部７４０、条件格納部７５０、および圧縮制御部７６０として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１７０を、図１から図１３に関連して説明した圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張部３１１、合成部３０３、及び出力部３０４として機能させる。
【０１３４】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０及び画像処理装置１７０に提供してもよい。
【０１３５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１３６】
【図１】一実施形態に係る画像処理システム１０の一例を示す図である。
【図２】画像処理装置１２０のブロック構成の一例を示す図である。
【図３】画像処理装置１７０のブロック構成の一例を示す図である。
【図４】画像処理装置１２０の処理フローの一例を示す図である。
【図５】複数の特徴領域動画及び背景領域動画の画質の一例を示す図である。
【図６】画像処理装置１７０の処理フローの一例を示す図である。
【図７】画像処理装置１２０が有する圧縮制御ユニット７００の構成の一例を示す図である。
【図８】条件格納部７５０が格納しているデータの一例を示す図である。
【図９】条件格納部７５０が格納している他のデータの一例を示す図である。
【図１０】情報量算出部７２０が格納しているデータの一例を示す図である。
【図１１】圧縮強度決定部７４０が圧縮強度を決定する一例を示す図である。
【図１２】情報量算出部７２０が算出した情報量の時間発展の一例を示す図である。
【図１３】ＲＯＩにおける境界領域の一例を示す図である。
【図１４】画像処理装置１２０及び画像処理装置１７０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１３７】
１０ 画像処理システム
１００ 撮像装置
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０４ 画像分割部
２０５ 画像生成部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ａ 背景領域動画符号化部
２３１ｂ−ｄ 特徴領域動画符号化部
２４０ 圧縮部
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 合成部
３０４ 出力部
７００ 圧縮制御ユニット
７１０ 境界領域特定部
７２０ 情報量算出部
７３０ 同一被写体領域特定部
７４０ 圧縮強度決定部
７５０ 条件格納部
７６０ 圧縮制御部
【特許請求の範囲】
【請求項１】
画像から特徴領域を検出する特徴領域検出部と、
前記特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部と、
前記特徴領域の画像である特徴領域画像を圧縮する圧縮部と、
前記情報量が大きいほど、前記圧縮部が前記特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部と
を備える画像圧縮装置。
【請求項２】
前記圧縮部は、前記特徴領域以外の背景領域の画像である背景領域画像を、前記特徴領域画像より大きい圧縮強度で圧縮する
請求項１に記載の画像圧縮装置。
【請求項３】
前記特徴領域検出部は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、前記特徴領域として検出する
請求項２に記載の画像圧縮装置。
【請求項４】
前記特徴量検出部は、人物の顔、頭部、手、又は人体を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、前記特徴領域として検出する
請求項３に記載の画像圧縮装置。
【請求項５】
前記情報量算出部は、人物の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に前記特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい前記情報量を算出する
請求項４に記載の画像圧縮装置。
【請求項６】
前記情報量算出部は、前記予め定められた値より大きい適合度で適合するオブジェクトが示す人物の顔、頭部、手、又は人体の向きを特定し、特定した顔、頭部、手、又は人体の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい前記情報量を算出する
請求項５に記載の画像圧縮装置。
【請求項７】
前記情報量算出部は、前記特徴領域に含まれるオブジェクトが前記条件に適合した適合度が大きいほど、より大きい前記情報量を算出する
請求項３に記載の画像圧縮装置。
【請求項８】
前記特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、前記特徴領域として検出し、
前記情報量算出部は、前記一致度が大きいほど、より大きい前記情報量を算出する
請求項６に記載の画像圧縮装置。
【請求項９】
前記情報量算出部は、前記画像を撮像した撮像装置と前記特徴領域に含まれる被写体との間の距離を特定し、特定した距離が短いほど、より大きい前記前記情報量を算出する
請求項３に記載の画像圧縮装置。
【請求項１０】
前記情報量算出部は、前記特徴領域の大きさがより大きいほど、より大きい前記情報量を算出する
請求項３に記載の画像圧縮装置。
【請求項１１】
前記特徴領域検出部は、画像から、特徴の種類が異なる複数の前記特徴領域を検出し、
前記情報量算出部は、複数の前記特徴領域のそれぞれに含まれる被写体が持つ情報量をそれぞれ算出し、
前記圧縮強度決定部は、複数の前記特徴領域画像のそれぞれについて、前記情報量がより大きい前記特徴領域の圧縮度をより大きく決定し、
前記圧縮部は、前記圧縮強度決定部が決定した圧縮度で、複数の前記特徴領域画像を圧縮する
請求項３に記載の画像圧縮装置。
【請求項１２】
前記特徴領域検出部は、動画に含まれる複数の動画構成画像のそれぞれから、前記特徴領域を検出し、
前記情報量算出部は、前記複数の動画構成画像のそれぞれにおける複数の前記特徴領域に含まれる被写体が持つ情報量を算出し、
前記圧縮強度決定部は、前記複数の動画構成画像のそれぞれの前記特徴領域画像について、前記情報量が大きいほど、前記圧縮部が前記特徴領域画像を圧縮する圧縮強度をより大きく決定し、
前記圧縮部は、前記複数の動画構成画像のそれぞれの前記特徴領域画像を、前記圧縮強度決定部が決定した圧縮強度で圧縮する
請求項３に記載の画像圧縮装置。
【請求項１３】
前記複数の動画構成画像のそれぞれにおける前記特徴領域のうち、同じ被写体が含まれる複数の前記特徴領域を特定する同一被写体領域特定部
をさらに備え、
前記圧縮強度決定部は、前記同一被写体領域特定部が特定した複数の前記特徴領域が持つ前記情報量のうち最大の前記情報量を含む予め定められた前記情報量の範囲の前記情報量を持つ前記特徴領域を含む１以上の動画構成画像における前記特徴領域画像を圧縮する圧縮強度として、他の動画構成画像の少なくとも１つにおける前記特徴領域画像を圧縮する圧縮強度より小さい圧縮強度を決定する
請求項１２に記載の画像圧縮装置。
【請求項１４】
画像から特徴領域を検出する特徴領域検出段階と、
前記特徴領域に含まれる被写体が持つ情報量を算出する情報量算出段階と、
前記特徴領域の画像である特徴領域画像を圧縮する圧縮段階と、
前記情報量が大きいほど、前記圧縮段階において前記特徴領域画像が圧縮される圧縮強度をより大きく決定する圧縮強度決定段階と
を備える画像処理方法。
【請求項１５】
画像処理装置用のプログラムであって、前記画像処理装置を、
画像から特徴領域を検出する特徴領域検出部、
前記特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部、
前記特徴領域の画像である特徴領域画像を圧縮する圧縮部、
前記情報量が大きいほど、前記圧縮部が前記特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部
として機能させるプログラム。
【請求項１】
画像から特徴領域を検出する特徴領域検出部と、
前記特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部と、
前記特徴領域の画像である特徴領域画像を圧縮する圧縮部と、
前記情報量が大きいほど、前記圧縮部が前記特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部と
を備える画像圧縮装置。
【請求項２】
前記圧縮部は、前記特徴領域以外の背景領域の画像である背景領域画像を、前記特徴領域画像より大きい圧縮強度で圧縮する
請求項１に記載の画像圧縮装置。
【請求項３】
前記特徴領域検出部は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、前記特徴領域として検出する
請求項２に記載の画像圧縮装置。
【請求項４】
前記特徴量検出部は、人物の顔、頭部、手、又は人体を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、前記特徴領域として検出する
請求項３に記載の画像圧縮装置。
【請求項５】
前記情報量算出部は、人物の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に前記特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい前記情報量を算出する
請求項４に記載の画像圧縮装置。
【請求項６】
前記情報量算出部は、前記予め定められた値より大きい適合度で適合するオブジェクトが示す人物の顔、頭部、手、又は人体の向きを特定し、特定した顔、頭部、手、又は人体の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい前記情報量を算出する
請求項５に記載の画像圧縮装置。
【請求項７】
前記情報量算出部は、前記特徴領域に含まれるオブジェクトが前記条件に適合した適合度が大きいほど、より大きい前記情報量を算出する
請求項３に記載の画像圧縮装置。
【請求項８】
前記特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、前記特徴領域として検出し、
前記情報量算出部は、前記一致度が大きいほど、より大きい前記情報量を算出する
請求項６に記載の画像圧縮装置。
【請求項９】
前記情報量算出部は、前記画像を撮像した撮像装置と前記特徴領域に含まれる被写体との間の距離を特定し、特定した距離が短いほど、より大きい前記前記情報量を算出する
請求項３に記載の画像圧縮装置。
【請求項１０】
前記情報量算出部は、前記特徴領域の大きさがより大きいほど、より大きい前記情報量を算出する
請求項３に記載の画像圧縮装置。
【請求項１１】
前記特徴領域検出部は、画像から、特徴の種類が異なる複数の前記特徴領域を検出し、
前記情報量算出部は、複数の前記特徴領域のそれぞれに含まれる被写体が持つ情報量をそれぞれ算出し、
前記圧縮強度決定部は、複数の前記特徴領域画像のそれぞれについて、前記情報量がより大きい前記特徴領域の圧縮度をより大きく決定し、
前記圧縮部は、前記圧縮強度決定部が決定した圧縮度で、複数の前記特徴領域画像を圧縮する
請求項３に記載の画像圧縮装置。
【請求項１２】
前記特徴領域検出部は、動画に含まれる複数の動画構成画像のそれぞれから、前記特徴領域を検出し、
前記情報量算出部は、前記複数の動画構成画像のそれぞれにおける複数の前記特徴領域に含まれる被写体が持つ情報量を算出し、
前記圧縮強度決定部は、前記複数の動画構成画像のそれぞれの前記特徴領域画像について、前記情報量が大きいほど、前記圧縮部が前記特徴領域画像を圧縮する圧縮強度をより大きく決定し、
前記圧縮部は、前記複数の動画構成画像のそれぞれの前記特徴領域画像を、前記圧縮強度決定部が決定した圧縮強度で圧縮する
請求項３に記載の画像圧縮装置。
【請求項１３】
前記複数の動画構成画像のそれぞれにおける前記特徴領域のうち、同じ被写体が含まれる複数の前記特徴領域を特定する同一被写体領域特定部
をさらに備え、
前記圧縮強度決定部は、前記同一被写体領域特定部が特定した複数の前記特徴領域が持つ前記情報量のうち最大の前記情報量を含む予め定められた前記情報量の範囲の前記情報量を持つ前記特徴領域を含む１以上の動画構成画像における前記特徴領域画像を圧縮する圧縮強度として、他の動画構成画像の少なくとも１つにおける前記特徴領域画像を圧縮する圧縮強度より小さい圧縮強度を決定する
請求項１２に記載の画像圧縮装置。
【請求項１４】
画像から特徴領域を検出する特徴領域検出段階と、
前記特徴領域に含まれる被写体が持つ情報量を算出する情報量算出段階と、
前記特徴領域の画像である特徴領域画像を圧縮する圧縮段階と、
前記情報量が大きいほど、前記圧縮段階において前記特徴領域画像が圧縮される圧縮強度をより大きく決定する圧縮強度決定段階と
を備える画像処理方法。
【請求項１５】
画像処理装置用のプログラムであって、前記画像処理装置を、
画像から特徴領域を検出する特徴領域検出部、
前記特徴領域に含まれる被写体が持つ情報量を算出する情報量算出部、
前記特徴領域の画像である特徴領域画像を圧縮する圧縮部、
前記情報量が大きいほど、前記圧縮部が前記特徴領域画像を圧縮する圧縮強度をより大きく決定する圧縮強度決定部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２７５６４（Ｐ２００９−２７５６４Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１９０１５２（Ｐ２００７−１９０１５２）
【出願日】平成１９年７月２０日（２００７．７．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２０日（２００７．７．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]