画像処理装置及び画像処理プログラム
【課題】 ユーザが注目する領域の画質を良好としつつ、該領域と、その周縁部の領域と画質の差が顕著になることを防止する。
【解決手段】 画像の特徴部位が含まれる第１領域及び特徴部位に関連する部位が含まれる第２領域を、画像の注目領域として設定する領域設定部と、注目領域と注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮処理における重要度を設定する重要度設定部と、注目領域と他の領域とのそれぞれの領域に対して設定された重要度に基づいて画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて注目領域及び他の領域に対する画像圧縮処理を領域毎に実行する画像圧縮部と、を備えたことを特徴とする。
【解決手段】 画像の特徴部位が含まれる第１領域及び特徴部位に関連する部位が含まれる第２領域を、画像の注目領域として設定する領域設定部と、注目領域と注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮処理における重要度を設定する重要度設定部と、注目領域と他の領域とのそれぞれの領域に対して設定された重要度に基づいて画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて注目領域及び他の領域に対する画像圧縮処理を領域毎に実行する画像圧縮部と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取り込まれる画像信号を圧縮符号化する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像を圧縮符号化する方式として、ＭＰＥＧ（Moving Picture Experts Group）方式や、Ｈ．２６Ｌ方式などが知られている。このような圧縮符号化においては、圧縮符号化された画像を復号化したときに良好な画像を取得できるように、ＴＭ５（Test Model 5）と呼ばれる符号量制御や量子化制御を行うことも知られている。このＴＭ５と呼ばれる方式を用いることで視覚的劣化が目立ちやすい平坦部に符号量が多く割り当てられ、復号化された画像における画質の劣化を抑えることができる。これら技術を用いて画像を圧縮符号化する際に、画像に含まれる人物の顔や肌色を検出し、検出された顔の領域や肌色の領域に対して多くの符号量を割り当てることも提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６６２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような顔検出や肌色検出の結果に基づいて符号化制御を行う場合、顔の領域や肌色の領域に対して多くの符号量が割り当てられる。このため、復号化された画像では、顔の領域や肌色の領域における画質は良好であるものの、それ以外の領域における画質は低くなる。このため、上述した圧縮符号化を行った画像を復号化した場合、顔や肌色の領域と、その周縁部の領域との画質の差が顕著になってしまい、違和感を与えた画像となるという問題がある。
【０００５】
本発明は、ユーザが注目する領域の画質を良好としつつ、該領域と、その周縁部の領域と画質の差が顕著になることを防止した圧縮符号化を行うことができるようにした画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定部と、前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮処理における重要度を設定する重要度設定部と、前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮部と、を備えたことを特徴とする。
【０００７】
また、前記重要度設定部は、前記注目領域を構成する前記第１の領域及び前記第２の領域のそれぞれの領域に対して重要度を設定するものである。
【０００８】
また、前記重要度設定部は、前記注目領域における所定部分から周縁部分に向けて前記重要度が低くなるように前記注目領域の重要度を設定するものである。
【０００９】
また、前記画像が動画像からなる場合には、前記重要度設定部は、前記動画像中における同一の前記特徴部位の面積の変化に伴って、該特徴部位が含まれる前記注目領域に対する重要度を設定するものであってもよいし、前記圧縮率設定部は、前記動画像中における同一の前記特徴部位の面積の変化に伴って、該特徴部位が含まれる前記注目領域に対する重要度を設定するものであってもよい。
【００１０】
また、前記第２領域は、前記第１領域の周縁部分における特徴量を検出することで特定されることが好ましい。
【００１１】
また、前記重要度設定部は、前記第１領域又は前記第２領域における特徴量に基づいて、前記注目領域における前記重要度を設定することが好ましい。
【００１２】
また、本発明の画像処理プログラムは、画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定工程と、前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮時における重要度を設定する重要度設定工程と、前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【００１３】
本発明によれば、ユーザが注目する領域の画質を良好としつつ、該領域と、その周縁部の領域と画質の差が顕著になることを防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明のデジタルカメラの電気的構成を示す機能ブロック図である。
【図２】（ａ）人物を撮影したときに得られる画像ＰＩを示す図、（ｂ）被写体領域として検出された顔領域を示す図、（ｃ）顔領域が含まれる領域及び関連領域を示す図、（ｄ）注目領域と背景領域とを示す図である。
【図３】（ａ）はＡ−Ａ断面における各領域の重要度を示すグラフ、（ｂ）は（ａ）に対して平滑化処理を行ったときのＡ−Ａ断面における各領域の重要度を示すグラフである。
【図４】圧縮符号化回路の構成を示す機能ブロック図である。
【図５】圧縮符号化処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、撮像装置の一実施形態としてデジタルカメラを例に挙げて説明する。
【００１６】
図１に示すように、デジタルカメラ１０は、撮像光学系２１、撮像素子２２、Ａ／Ｄ変換部２３、レンズ駆動機構２４、タイミングジェネレータ（ＴＧ）２５、バッファメモリ３０、画像処理回路３１、圧縮符号化回路３２、接続用Ｉ／Ｆ３３、表示制御回路３４、表示装置３５、ＣＰＵ４１、内蔵メモリ４２、レリーズボタン４３、設定操作部４４などから構成される。なお、Ａ／Ｄ変換部２３、バッファメモリ３０、画像処理回路３１、圧縮符号化回路３２、接続用Ｉ／Ｆ３３、表示制御回路３４、ＣＰＵ４１及び内蔵メモリ４２は、バス４５を介して接続される。
【００１７】
撮像光学系２１は、ズームレンズやフォーカスレンズなど、複数のレンズから構成されている。ズームレンズは、その光軸Ｌ方向に移動することで撮影倍率が変更される。また、フォーカスレンズは、光軸Ｌ方向に微小移動することで撮像光学系２１におけるフォーカスが調整される。
【００１８】
撮像素子２２は、例えばＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。この撮像素子２２は、撮像光学系２１により取り込まれた被写体光（入射光）を受光し、信号電荷に変換する。この信号電荷に基づいた電圧が、各画素の画素信号として出力される。なお、各画素の画素信号をまとめた信号が画像信号となる。
【００１９】
Ａ／Ｄ変換部２３は、撮像素子２２から出力された画像信号をアナログ信号からデジタル信号に変換する。このデジタル化された画像信号はバッファメモリ３０に書き込まれる。
【００２０】
レンズ駆動機構２４は、撮像光学系２１の各レンズを光軸Ｌ方向に移動させる。タイミングジェネレータ２５は、撮像素子２２やＡ／Ｄ変換部２３に対して、パルス信号を出力することで、これらの動作タイミングを同期させる。
【００２１】
画像処理回路３１は、バッファメモリ３０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、階調変換処理などの画像処理を施す。これら画像処理がバッファメモリ３０から読み出された画像信号に対して施されることで、画像データが生成される。生成された画像データは、バッファメモリ３０に一時記憶される。
【００２２】
圧縮符号化回路３２は、バッファメモリ３０に一時記憶される画像処理済みの画像データに対して圧縮符号化処理を実行する。例えば動画像に基づく画像データであれば、圧縮符号化回路３２は、圧縮符号化処理により、Ｍｐｅｇ形式やＨ．２６Ｌ形式の符号化データを生成する。なお、この符号化データは、撮影条件、撮影日時、カメラの基本情報等からなる付帯情報が付帯され、接続用Ｉ／Ｆ３３に接続された記憶媒体４６に書き込まれる。なお、圧縮符号化回路３２の構成については、後述する。
【００２３】
接続用Ｉ／Ｆ３３は、デジタルカメラ１０に装着される記憶媒体４６と電気的に接続されることで、記憶媒体４６へのデータの書き込みや、記憶媒体４６に記憶されたデータの読み出しを行うことが可能となる。
【００２４】
表示装置３５は、例えばＬＣＤやＥＬディスプレイなどから構成される。この表示装置３５は、スルー画像や、撮影により得られた画像の他に、設定を行う際の設定用の画像を表示する。なお、この表示装置３５における画像表示は、表示制御回路３４により制御される。
【００２５】
ＣＰＵ４１は、内蔵メモリ４２に格納される制御プログラムを読み出し実行することで、デジタルカメラ１０の各部を制御する。ＣＰＵ４１は、撮影時には、ＡＥ処理、ＡＦ処理等を実行した後、これら処理に基づいた撮像処理を実行する。
【００２６】
レリーズボタン４３は、撮影を行う際に操作される。設定操作部４４は、デジタルカメラ１０における初期設定や、撮影時や再生時の設定などを行う際に操作される。
【００２７】
このＣＰＵ４１は、被写体検出部５１、特徴量抽出部５２、注目領域設定部５３及び重要度設定部５４の機能を有している。被写体検出部５１は、取得される画像データを用いて被写体検出処理を実行する。ここで、取得される画像データとしては、撮影待機状態時に取り込まれるスルー画像データや、撮影時に得られた静止画像や動画像に基づく画像データが挙げられる。この被写体検出部５１による被写体検出処理の結果は、上述したＡＥ処理、ＡＦ処理の他、画像処理回路３１による美肌処理などに用いられる。この被写体検出部５１により、例えば人物の顔、動物の顔、花などが画像内の特徴部位として検出される。以下、人物を撮影したときの画像について説明する。
図２（ａ）は、人物を撮影したときの画像ＰＩを示している。なお、図２においては、画像ＰＩの左右方向をｘ方向、画像ＰＩの上下方向をｙ方向としている。
【００２８】
被写体が検出されると、被写体検出部５１は、被写体が含まれる矩形の領域を被写体領域６０とする。そして、被写体検出部５１は、被写体領域６０の中心Ｃ１の位置座標（ｘ１、ｙ１）、被写体領域６０の幅Ｈ１及び高さＶ１、被写体領域６０の傾斜角θ１を算出する（図２（ｂ）参照）。なお、被写体領域６０の傾斜角θ１は、画像ＰＩの上下方向（図２中Ｙ方向）に対して、被写体領域６０の高さ方向が傾斜する角度である。なお、図２においては、画像ＰＩの上下方向（Ｙ方向）と、被写体領域６０の高さ方向とが同一方向であることから、被写体領域６０の傾斜角θ１はθ１＝０となる。被写体検出部５１は、算出した被写体領域６０の中心Ｃ１の位置座標（ｘ１、ｙ１）、被写体領域６０の幅Ｈ１、高さＶ１及び被写体領域６０の傾斜角θ１を、被写体領域６０の情報（以下、被写体領域情報）として生成する。
【００２９】
特徴量抽出部５２は、生成された被写体領域情報を用いて、被写体領域６０及び被写体領域６０に近接する領域における特徴量をそれぞれ抽出する。なお、特徴量としては、例えば色成分（彩度値や色差値など）や、色成分の連続性などが挙げられる。例えば色成分の連続性を特徴量として抽出することで、被写体領域６０又は被写体領域６０に近接する領域に、服の模様に代表されるテクスチャの有無を検出することができる。
【００３０】
注目領域設定部５３は、被写体検出部５１によって生成された被写体領域６０の情報を用いて、画像ＰＩに含まれる注目すべき領域（以下、注目領域）を設定する。上述したように、被写体検出部５１によって被写体領域情報が生成されている。注目領域設定部５３は、被写体領域情報を用いて、被写体領域６０を含む領域６１と、被写体に関連する領域（以下、関連領域）６２とを、注目領域６５として設定する。
【００３１】
例えば人物を撮影することにより得られた画像ＰＩの場合、被写体検出部５１によって被写体領域６０が検出されている。まず、注目領域設定部５３は、被写体領域６０の幅Ｈ１及び高さＶ１のそれぞれに係数αを乗算し、幅Ｈ２（＝α×Ｈ１）及び高さＶ２（＝α×Ｖ１）を算出する。そして、注目領域設定部５３は、幅Ｈ２及び高さＶ２からなる領域６１を、その中心Ｃ２が被写体領域６０の中心Ｃ１と一致するように設定する。人物を撮影した画像ＰＩの場合、人物の顔の領域が被写体領域６０となる。そこで、被写体領域６０が含まれる領域６１を求めることで、人物の顔の領域だけでなく、人物の髪の毛や首の領域も注目領域として設定することができる。
【００３２】
また、注目領域設定部５３は、被写体領域６０の下方の領域のうち、傾斜角θ１の情報に基づいた所定の領域を、画像ＰＩに含まれる特徴部位に関連する部位が占める領域（以下、関連領域）６２として求める。
【００３３】
図２（ｃ）に示すように、例えば人物の顔の領域が被写体領域６０として設定されている場合、注目領域設定部５３は、被写体領域６０の幅Ｈ１に対して係数βを、被写体領域６０の高さＶ１に対して係数γをそれぞれ乗算し、幅Ｈ３（＝β×Ｈ１）、Ｖ３（＝γ×
Ｖ１）を求める。ここで、一般的な人物の肩の幅は顔の幅に対して３〜４倍であることから、係数βは３≦β≦４の範囲内で設定される。また、人物の首から足先までの高さは、人物の顔の高さの６〜８倍であることから、係数γは６≦γ≦８の範囲内で設定される。なお、被写体領域６０に含まれる顔が子供の顔であると判別できるのであれば、上述した係数β、γは、上述した範囲に基づく範囲内の値をとる必要はない。
【００３４】
そして、注目領域設定部５３は、被写体領域情報から傾斜角θ１の情報を読み出し、幅Ｈ３、高さＨ３の領域を傾斜させる。この処理の後、注目領域設定部５３は、被写体領域６０の下方の領域のうち、傾斜させた幅Ｈ３、高さＨ３の領域を関連領域６２とする。
【００３５】
この関連領域６２の設定時に、算出される幅Ｈ３及び高さＶ３で規定される領域の一部が画像外となる場合には、注目領域設定部５３は、算出される幅Ｈ３及び高さＶ３で規定される領域のうち、画像から外れる領域を除いた領域を関連領域６２とする。
【００３６】
関連領域６２を求めた後、注目領域設定部５３は、関連領域６２の中心の位置座標Ｃ３、高さＨ３、幅Ｖ３、関連領域６２の傾斜角θ３を、関連領域６２の情報（以下、関連領域情報）として生成する。そして、注目領域設定部５３は、先に求めた領域６１及び関連領域６２をまとめた領域（図２（ｄ）中領域ハッチングで示される領域）を注目領域６４として設定する。
【００３７】
重要度設定部５４は、画像内の各領域に対する重要度を設定する。ここで、画像内における重要度とは、圧縮符号化処理における圧縮率の優先順位を示す。
【００３８】
図２（ｄ）に示すように、まず、重要度設定部５４は、注目領域６４を構成する領域６１の中心Ｃ２、及び関連領域６２の中心Ｃ３に該当する画素の重要度をＬｖ１、領域６１のうち中心Ｃ２を除く領域の重要度をＬｖ２にそれぞれ設定する。また、重要度設定部５４は、関連領域６２のうち、中心Ｃ３及び領域６１と重畳される領域（図２（ｄ）中ハッチングで示される領域６５）を除く領域の重要度をＬｖ３、注目領域６４を除く、言い換えれば背景となる領域（以下、背景領域）６６の重要度をＬｖ４に設定する。なお、重要度は、Ｌｖ１→Ｌｖ２→Ｌｖ３→Ｌｖ４の順で低くなる。例えば重要度が高ければ高いほど、対応する領域の符号量が多くなり、結果として圧縮率が低くなる。一方、重要度が低ければ低いほど、対応する領域の符号量が少なくなり、結果として圧縮率が高くなる。このように、重要度設定部５４は、画像内の各領域に重要度を設定し、画像データに対応する重要度の分布データ（マップデータ）を生成する。なお、重要度をＬｖ１〜Ｌｖ４は、重要度のレベルを示すものであり、実際には、重要度に応じた数値である。
【００３９】
次に、重要度設定部５４は、生成された重要度の分布データに対して平滑化処理を行う。
【００４０】
図３（ａ）は図２（ｄ）のＡ−Ａ断面における重要度の分布を示し、図３（ｂ）は、平滑化処理を行ったときのＡ−Ａ断面における重要度の分布を示している。これら図からもわかるように、重要度の分布データに対して平滑化処理を行うことによって、重要度Ｌｖ１及びＬｖ２との境界、重要度Ｌｖ１とＬｖ３との境界、重要度Ｌｖ２及びＬｖ３との境界、重要度Ｌｖ２及びＬｖ４との境界、重要度Ｌｖ１とＬｖ３との境界、重要度Ｌｖ３とＬｖ４との境界のそれぞれの重要度の差を小さくすることができる。この重要度の分布データは、圧縮符号化回路３２に出力される。なお、画像データの解像度が低い場合や、画像データの画像サイズが小さい場合には、重要度の分布データに対して平滑化処理を行う必要はない。
【００４１】
なお、本実施形態では、注目領域内のそれぞれの領域に対して、重要度を設定することで、重要度の分布データを生成しているが、まず、領域６１及び背景領域６４に対する重要度の分布データ、関連領域６２及び背景領域６４に対する重要度の分布データをそれぞれ生成した後、生成した分布データを組み合わせることで、画像全体における重要度の分布データを生成することも可能である。また、被写体領域及び背景領域に対する重要度の分布データと、関連領域及び背景領域に対する重要度の分布データとを予め内蔵メモリ４２に記憶させておき、実際に検出される被写体領域に合わせて、被写体領域及び背景領域に対する重要度の分布データや関連領域及び背景領域に対する重要度の分布データを調整した後、これら調整した分布データを組み合わせることで、画像全体における重要度の分布データを生成することも可能である。
【００４２】
次に、圧縮符号化回路３２の構成について、図４を用いて説明する。圧縮符号化回路３２は、フレームメモリ７１、フレーム並び替え部７２、加減算器７３、直交変換部７４、量子化部７５、エントロピー符号化部７６、バッファメモリ７７、逆量子化部７８、逆直交変換部７９、加算器８０、フレームメモリ８１、動き予測／動き補償部８２、スイッチ８３、符号量制御部８４及び量子化制御部８５を備えている。
【００４３】
圧縮符号化回路３２に入力された動画像データは、フレームメモリ７１に記憶される。フレーム並び替え部７２は、フレームメモリ７１に記憶された動画像データの各フレーム画像データを所定の符号化フォーマットに準拠した順序となるように、符号化ピクチャタイプに応じた並べ替えを行う。このフレーム並べ替え部７２により並び替えられたフレーム画像データは、それぞれ所定サイズのマクロブロックに分割される。
【００４４】
その後、符号化するフレーム画像データがフレーム内符号化（イントラ符号化）方式となるフレーム画像データの場合には、直交変換部７４はマクロブロック内のデータに対して直交変換処理を実行し、直交変換係数を求める。量子化部７５は、直交変換係数を量子化する。また、符号化するフレーム画像データがフレーム間符号化ピクチャ（インター符号化）方式となるフレーム画像データの場合、逆量子化部７８は、符号化されたフレーム画像データに対して逆量子化する。そして、逆直交変換部７９は、逆量子化により得られた直交変換係数のデータに対して、逆直交変換処理を施す。これにより、ローカルデコード画像データが生成される。
【００４５】
動き予測／動き補償部８２は、これから符号化するフレーム画像データの動き予測及び動き補償を実行する。加減算器７３は、ローカルデコード画像データとの差分値を算出する。算出された差分値は、直交変換部７４に入力される。この直交変換部７４は、入力された差分値に対して直交変換処理を施し、直交変数係数のデータを求める。そして、量子化部７５にて直交変換係数が量子化される。なお、スイッチ８３は、イントラ符号化方式のフレーム画像データに対して動き予測及び動き補償を行うか、インター符号化方式のフレーム画像データに対して動き予測及び動き補償を行うかを選択するためのものである。なお、このスイッチ８３がオンとなることで、動き予測／動き補償部８２にて生成された予測誤差データが加算器８０に出力され、ローカルデコード画像データに加算される。
【００４６】
なお、量子化部７５で量子化された量子化データは、エントロピー符号化（可変長符号化）部７６で符号化され、符号化されたデータがストリームバッファメモリ７７に一旦保持された後、出力される。
【００４７】
符号量制御部８４は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）内の各フレーム画像データに対する割り当てビット量を、割り当て対象となるフレーム画像データを含めてＧＯＰ内でまだ符号化されていないフレーム画像データに対するビット量に応じて割り当てる。この割り当てを、ＧＯＰ内の符号化を行うフレーム画像データの順に繰り返し実行し、フレーム画像データ毎にピクチャ目標符号量を設定する。
【００４８】
量子化制御部８５は、各フレーム画像データに対する目標符号量とエントロピー符号化から出力される発生符号量とを一致させるための仮想バッファの容量に基づき、フィードバック制御により量子化パラメータを算出する。この量子化パラメータを算出した後、量子化制御部８５は、入力される重要度の分布データをマクロブロックごとに適用し、算出された量子化パラメータに係数δを乗算する。例えば量子化するマクロブロックが重要度の高い領域であれば係数δの値を小さくし、量子化するマクロブロックが重要度の低い領域であれば係数δの値を大きくする。つまり、重要度が高いほど、その領域における量子化パラメータが小さくなり、その領域の符号量が多く（圧縮率が低く）なる。反対に、重要度が低いほど、その領域における量子化パラメータが大きくなり、その領域の符号量が少なく（圧縮率が高く）なる。つまり、重要度が低い領域ほど圧縮率が高くなる。
【００４９】
次に、動画像データに対する圧縮符号化処理の流れを図５のフローチャートに基づいて説明する。
【００５０】
ステップＳ１０１は、画像データを読み出す処理である。ＣＰＵ４１は、バッファメモリ３０に一時記憶される動画像データのフレーム画像データを読み出す。
【００５１】
ステップＳ１０２は、被写体検出を行う処理である。ＣＰＵ４１は、ステップＳ１０１にて読み出した各フレーム画像データに対して被写体検出を行い、検出される被写体が含まれる矩形の領域を被写体領域とする。そして、ＣＰＵ４１は、被写体領域６０の中心Ｃ１の位置座標（ｘ１、ｙ１）、被写体領域６０の高さＨ１及び幅Ｖ１、被写体領域６０の傾斜角θ１を求め、これらをまとめた被写体領域情報を生成する。
【００５２】
ステップＳ１０３は、注目領域を設定する処理である。ＣＰＵ４１は、被写体領域情報を用いて、被写体領域６０が含まれる所定の領域６１を求める。その後、ＣＰＵ４１は、被写体領域情報を用いて、被写体領域６０に連なる関連領域６２を求める。最後に、ＣＰＵ４１は、求めた領域６１及び関連領域６２を注目領域６４として設定する。なお、関連領域６２を求めたときに、ＣＰＵ４１は、関連領域６２の幅Ｈ３、高さＶ３、中心となる位置座標Ｃ３（ｘ３，ｙ３）及び傾斜角θ３を関連領域情報として生成する。
【００５３】
ステップＳ１０４は、重要度の分布テーブルを生成する処理である。ステップＳ１０３において、注目領域６４が設定されている。ＣＰＵ４１は、被写体領域情報、関連領域情報を用いて、フレーム画像データに対応する、重要度の分布テーブルを生成する。ＣＰＵ４１は、生成された重要度の分布テーブルを、対応するフレーム画像データに関連付けた後、重要度の分布テーブルを圧縮符号化回路３２に出力する。
【００５４】
ステップＳ１０５は、圧縮符号化する処理である。バッファメモリ３０に記憶された各フレーム画像データは圧縮符号化回路３２に入力される。圧縮符号化回路３２は、符号化ピクチャの種類別に応じて、フレーム画像データを並べ替える。そして、圧縮符号化回路３２は、並べ替えたフレーム画像データ毎に、圧縮符号化処理を実行する。この圧縮符号化処理の際に、ステップＳ１０５において生成された重要度の分布データが参照される。つまり、各フレーム画像データに対する圧縮符号化処理では、重要度の分布データをマクロブロック毎に適応することで量子化パラメータが適宜調整されながら、量子化が実行される。
【００５５】
ステップＳ１０６は、符号化データを記憶する処理である。ＣＰＵ４１は、圧縮符号化回路から出力される複数の符号化データを順次１つのファイルとなるように記憶媒体４６に書き込む。この際、ＣＰＵ４１は、撮影条件、撮影日時、カメラの基本情報、撮影日時などの情報を生成したファイルの付帯情報として書き込む。
【００５６】
例えば、人物を撮影した動画像データのフレーム画像データに対応する重要度は、注目領域６４のうち、領域６１の中心Ｃ２（被写体領域６０の中心Ｃ１）、及び関連領域６２の中心Ｃ３が最も高く、領域６１の中心Ｃ２を除いた部分、関連領域６２の中心Ｃ３を除いた部分、背景領域６６の順に低くなる。つまり、このようなフレーム画像データを圧縮符号化する場合、人物の顔が含まれる領域６１、関連領域６２、背景領域６６の順で、各領域における符号量が優先される。つまり、領域６１に対する圧縮率が最も低く、関連領域６２、背景領域６６の順で圧縮率が高くなる。また、重要度の分布データは、平滑化処理されたデータからなるので、通常、領域６１や関連領域６２と、背景領域６６とを異なる圧縮率で圧縮した符号化データを復号化したときに生じる、各領域間の画質の差を抑制することが可能となる。
【００５７】
本実施形態では、人物を撮影した画像の場合、被写体領域６０に連なる下方の領域のうち、被写体領域６０の幅Ｈ１に係数βを乗算した幅Ｈ３、被写体領域６０の高さＶ２に係数γを乗算した幅Ｖ３からなる領域を、被写体に関連する関連領域６２に設定しているが、関連領域６２の設定は、これに限定される必要はない。上述したように、特徴量抽出部５２により被写体領域６０及び被写体領域６０に近接する領域に対する特徴量抽出処理が行われている。注目領域設定部５３は、抽出された特徴量を参照し、例えば同一の色成分が連続する、或いは異なる色成分が連続する領域の有無を判別し、該当する領域があれば、その領域を関連領域としてもよい。
【００５８】
また、この他に、人物の手や腕、或いは足など、人物の顔から離れている場合もある。このような場合、注目領域設定部５３は、特徴量抽出部５２により抽出される被写体領域６０及び被写体領域６０に近接する領域の特徴量を用いて、被写体領域６０における色成分に対して所定の範囲に含まれる色成分が含まれる領域を特定する。被写体領域６０における色成分に対して所定の範囲に含まれる色成分が含まれる領域が特定された場合には、注目領域設定部５３は、その領域が含まれる領域を関連領域６２に設定する。
【００５９】
本実施形態では、被写体領域６０、領域６１及び関連領域６２を、それぞれ矩形の領域としているが、これに限定される必要はなく、各領域の形状は適宜設定されるものである。
【００６０】
本実施形態では、被写体が含まれる領域６１の中心Ｃ２及び関連領域６２の中心Ｃ３、中心Ｃ２を除く領域６１、中心Ｃ３を除く関連領域６３、背景領域６６の順で、重要度が低くなるように設定している場合について説明しているが、これに限定される必要はなく、例えば人物が着ている衣服の彩度が高い場合には関連領域６３の重要度を上げる、人物の顔の領域の輝度が低い場合には領域６１の重要度を下げるなど、各領域から求められる色成分、焦点状態、面積などの特徴量に基づいて、注目領域の各領域に対する重要度を設定することも可能である。
【００６１】
本実施形態では、領域６１の中心Ｃ２の重要度と、関連領域６２の中心Ｃ３の重要度を同一としている。しかしながら、実際には、人物の顔の領域を中心に撮影を行う場合が多いことから、領域６１の中心Ｃ２の重要度は、関連領域の６２の中心Ｃ３の重要度よりも高く設定してもよい。
【００６２】
本実施形態では、重要度の分布を示すテーブルを生成しているが、これに限定する必要はなく、量子化テーブルに乗算する係数の分布を示すテーブルを生成することも可能である。
【００６３】
本実施形態では、フレーム画像データ毎に生成される重要度の分布データは、他のフレーム画像データを考慮したものではない。つまり、特徴部位の大きさ（面積）が変化する場合であっても、重要度は変化しない。このため、動画像中における同一の被写体の大きさが変化する場合には、その変化量に基づいて重要度を変化させるようにしてもよい。また、この他に、同一の被写体が含まれるフレーム画像データの数をカウントし、フレーム画像データ全体に対する同一の被写体が含まれるフレーム数、つまり、同一の被写体の出現頻度や、重要度の設定を変更してもよい。
【００６４】
本実施形態では、一人の人物を被写体とした場合について説明しているが、複数の被写体が検出される場合であっても、本発明は適用できる。複数の被写体が検出される場合には、面積が一番大きい被写体や、動画像中に出現する頻度が高い被写体に対する重要度を高くすればよい。また、被写体の画像を予め登録しておき、登録された被写体に対しては重要度を高く設定してもよい。
【００６５】
本実施形態では、画像データに対して圧縮符号化処理を行うとしか述べていないが、実際には、輝度信号及び色差信号からなる画像信号のそれぞれの信号に対して圧縮符号化処理が実行されている。つまり、これら信号のうち、輝度信号に対しては量子化パラメータを変動させずに圧縮符号化処理を行い、色差信号に対しては彩度が高い領域に対して量子化パラメータが小さくなるように調整した上で、圧縮符号化処理を実行すればよい。
【００６６】
本実施形態では、動画像データに対する圧縮符号化処理を例に挙げて説明しているが、これに限定される必要はなく、静止画像データに圧縮符号化処理についても本発明を適用することが可能である。
【００６７】
本実施形態では、画像処理装置としてデジタルカメラを例に取り上げて説明しているが、画像を圧縮できる装置であればデジタルカメラに限定される必要はなく、例えば携帯電話機など、カメラ機能を有する携帯型端末機であってもよい。
【００６８】
本実施形態は、画像処理装置について説明しているが、この他に、図１の被写体検出部５１、特徴量抽出部５２、注目領域設定部５３、重要度設定部５４の機能や、圧縮符号化回路３２の機能や、図４に示す動作をコンピュータに実行させることが可能な画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなど、コンピュータにより読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６９】
１０…デジタルカメラ、３２…圧縮符号化回路、４１…ＣＰＵ、５１…被写体検出部、５２…特徴量検出部、５３…注目領域設定部、５４…重要度設定部、７５…量子化部、８５…量子化制御部
【技術分野】
【０００１】
本発明は、取り込まれる画像信号を圧縮符号化する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像を圧縮符号化する方式として、ＭＰＥＧ（Moving Picture Experts Group）方式や、Ｈ．２６Ｌ方式などが知られている。このような圧縮符号化においては、圧縮符号化された画像を復号化したときに良好な画像を取得できるように、ＴＭ５（Test Model 5）と呼ばれる符号量制御や量子化制御を行うことも知られている。このＴＭ５と呼ばれる方式を用いることで視覚的劣化が目立ちやすい平坦部に符号量が多く割り当てられ、復号化された画像における画質の劣化を抑えることができる。これら技術を用いて画像を圧縮符号化する際に、画像に含まれる人物の顔や肌色を検出し、検出された顔の領域や肌色の領域に対して多くの符号量を割り当てることも提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６６２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような顔検出や肌色検出の結果に基づいて符号化制御を行う場合、顔の領域や肌色の領域に対して多くの符号量が割り当てられる。このため、復号化された画像では、顔の領域や肌色の領域における画質は良好であるものの、それ以外の領域における画質は低くなる。このため、上述した圧縮符号化を行った画像を復号化した場合、顔や肌色の領域と、その周縁部の領域との画質の差が顕著になってしまい、違和感を与えた画像となるという問題がある。
【０００５】
本発明は、ユーザが注目する領域の画質を良好としつつ、該領域と、その周縁部の領域と画質の差が顕著になることを防止した圧縮符号化を行うことができるようにした画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定部と、前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮処理における重要度を設定する重要度設定部と、前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮部と、を備えたことを特徴とする。
【０００７】
また、前記重要度設定部は、前記注目領域を構成する前記第１の領域及び前記第２の領域のそれぞれの領域に対して重要度を設定するものである。
【０００８】
また、前記重要度設定部は、前記注目領域における所定部分から周縁部分に向けて前記重要度が低くなるように前記注目領域の重要度を設定するものである。
【０００９】
また、前記画像が動画像からなる場合には、前記重要度設定部は、前記動画像中における同一の前記特徴部位の面積の変化に伴って、該特徴部位が含まれる前記注目領域に対する重要度を設定するものであってもよいし、前記圧縮率設定部は、前記動画像中における同一の前記特徴部位の面積の変化に伴って、該特徴部位が含まれる前記注目領域に対する重要度を設定するものであってもよい。
【００１０】
また、前記第２領域は、前記第１領域の周縁部分における特徴量を検出することで特定されることが好ましい。
【００１１】
また、前記重要度設定部は、前記第１領域又は前記第２領域における特徴量に基づいて、前記注目領域における前記重要度を設定することが好ましい。
【００１２】
また、本発明の画像処理プログラムは、画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定工程と、前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮時における重要度を設定する重要度設定工程と、前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【００１３】
本発明によれば、ユーザが注目する領域の画質を良好としつつ、該領域と、その周縁部の領域と画質の差が顕著になることを防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明のデジタルカメラの電気的構成を示す機能ブロック図である。
【図２】（ａ）人物を撮影したときに得られる画像ＰＩを示す図、（ｂ）被写体領域として検出された顔領域を示す図、（ｃ）顔領域が含まれる領域及び関連領域を示す図、（ｄ）注目領域と背景領域とを示す図である。
【図３】（ａ）はＡ−Ａ断面における各領域の重要度を示すグラフ、（ｂ）は（ａ）に対して平滑化処理を行ったときのＡ−Ａ断面における各領域の重要度を示すグラフである。
【図４】圧縮符号化回路の構成を示す機能ブロック図である。
【図５】圧縮符号化処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、撮像装置の一実施形態としてデジタルカメラを例に挙げて説明する。
【００１６】
図１に示すように、デジタルカメラ１０は、撮像光学系２１、撮像素子２２、Ａ／Ｄ変換部２３、レンズ駆動機構２４、タイミングジェネレータ（ＴＧ）２５、バッファメモリ３０、画像処理回路３１、圧縮符号化回路３２、接続用Ｉ／Ｆ３３、表示制御回路３４、表示装置３５、ＣＰＵ４１、内蔵メモリ４２、レリーズボタン４３、設定操作部４４などから構成される。なお、Ａ／Ｄ変換部２３、バッファメモリ３０、画像処理回路３１、圧縮符号化回路３２、接続用Ｉ／Ｆ３３、表示制御回路３４、ＣＰＵ４１及び内蔵メモリ４２は、バス４５を介して接続される。
【００１７】
撮像光学系２１は、ズームレンズやフォーカスレンズなど、複数のレンズから構成されている。ズームレンズは、その光軸Ｌ方向に移動することで撮影倍率が変更される。また、フォーカスレンズは、光軸Ｌ方向に微小移動することで撮像光学系２１におけるフォーカスが調整される。
【００１８】
撮像素子２２は、例えばＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。この撮像素子２２は、撮像光学系２１により取り込まれた被写体光（入射光）を受光し、信号電荷に変換する。この信号電荷に基づいた電圧が、各画素の画素信号として出力される。なお、各画素の画素信号をまとめた信号が画像信号となる。
【００１９】
Ａ／Ｄ変換部２３は、撮像素子２２から出力された画像信号をアナログ信号からデジタル信号に変換する。このデジタル化された画像信号はバッファメモリ３０に書き込まれる。
【００２０】
レンズ駆動機構２４は、撮像光学系２１の各レンズを光軸Ｌ方向に移動させる。タイミングジェネレータ２５は、撮像素子２２やＡ／Ｄ変換部２３に対して、パルス信号を出力することで、これらの動作タイミングを同期させる。
【００２１】
画像処理回路３１は、バッファメモリ３０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、階調変換処理などの画像処理を施す。これら画像処理がバッファメモリ３０から読み出された画像信号に対して施されることで、画像データが生成される。生成された画像データは、バッファメモリ３０に一時記憶される。
【００２２】
圧縮符号化回路３２は、バッファメモリ３０に一時記憶される画像処理済みの画像データに対して圧縮符号化処理を実行する。例えば動画像に基づく画像データであれば、圧縮符号化回路３２は、圧縮符号化処理により、Ｍｐｅｇ形式やＨ．２６Ｌ形式の符号化データを生成する。なお、この符号化データは、撮影条件、撮影日時、カメラの基本情報等からなる付帯情報が付帯され、接続用Ｉ／Ｆ３３に接続された記憶媒体４６に書き込まれる。なお、圧縮符号化回路３２の構成については、後述する。
【００２３】
接続用Ｉ／Ｆ３３は、デジタルカメラ１０に装着される記憶媒体４６と電気的に接続されることで、記憶媒体４６へのデータの書き込みや、記憶媒体４６に記憶されたデータの読み出しを行うことが可能となる。
【００２４】
表示装置３５は、例えばＬＣＤやＥＬディスプレイなどから構成される。この表示装置３５は、スルー画像や、撮影により得られた画像の他に、設定を行う際の設定用の画像を表示する。なお、この表示装置３５における画像表示は、表示制御回路３４により制御される。
【００２５】
ＣＰＵ４１は、内蔵メモリ４２に格納される制御プログラムを読み出し実行することで、デジタルカメラ１０の各部を制御する。ＣＰＵ４１は、撮影時には、ＡＥ処理、ＡＦ処理等を実行した後、これら処理に基づいた撮像処理を実行する。
【００２６】
レリーズボタン４３は、撮影を行う際に操作される。設定操作部４４は、デジタルカメラ１０における初期設定や、撮影時や再生時の設定などを行う際に操作される。
【００２７】
このＣＰＵ４１は、被写体検出部５１、特徴量抽出部５２、注目領域設定部５３及び重要度設定部５４の機能を有している。被写体検出部５１は、取得される画像データを用いて被写体検出処理を実行する。ここで、取得される画像データとしては、撮影待機状態時に取り込まれるスルー画像データや、撮影時に得られた静止画像や動画像に基づく画像データが挙げられる。この被写体検出部５１による被写体検出処理の結果は、上述したＡＥ処理、ＡＦ処理の他、画像処理回路３１による美肌処理などに用いられる。この被写体検出部５１により、例えば人物の顔、動物の顔、花などが画像内の特徴部位として検出される。以下、人物を撮影したときの画像について説明する。
図２（ａ）は、人物を撮影したときの画像ＰＩを示している。なお、図２においては、画像ＰＩの左右方向をｘ方向、画像ＰＩの上下方向をｙ方向としている。
【００２８】
被写体が検出されると、被写体検出部５１は、被写体が含まれる矩形の領域を被写体領域６０とする。そして、被写体検出部５１は、被写体領域６０の中心Ｃ１の位置座標（ｘ１、ｙ１）、被写体領域６０の幅Ｈ１及び高さＶ１、被写体領域６０の傾斜角θ１を算出する（図２（ｂ）参照）。なお、被写体領域６０の傾斜角θ１は、画像ＰＩの上下方向（図２中Ｙ方向）に対して、被写体領域６０の高さ方向が傾斜する角度である。なお、図２においては、画像ＰＩの上下方向（Ｙ方向）と、被写体領域６０の高さ方向とが同一方向であることから、被写体領域６０の傾斜角θ１はθ１＝０となる。被写体検出部５１は、算出した被写体領域６０の中心Ｃ１の位置座標（ｘ１、ｙ１）、被写体領域６０の幅Ｈ１、高さＶ１及び被写体領域６０の傾斜角θ１を、被写体領域６０の情報（以下、被写体領域情報）として生成する。
【００２９】
特徴量抽出部５２は、生成された被写体領域情報を用いて、被写体領域６０及び被写体領域６０に近接する領域における特徴量をそれぞれ抽出する。なお、特徴量としては、例えば色成分（彩度値や色差値など）や、色成分の連続性などが挙げられる。例えば色成分の連続性を特徴量として抽出することで、被写体領域６０又は被写体領域６０に近接する領域に、服の模様に代表されるテクスチャの有無を検出することができる。
【００３０】
注目領域設定部５３は、被写体検出部５１によって生成された被写体領域６０の情報を用いて、画像ＰＩに含まれる注目すべき領域（以下、注目領域）を設定する。上述したように、被写体検出部５１によって被写体領域情報が生成されている。注目領域設定部５３は、被写体領域情報を用いて、被写体領域６０を含む領域６１と、被写体に関連する領域（以下、関連領域）６２とを、注目領域６５として設定する。
【００３１】
例えば人物を撮影することにより得られた画像ＰＩの場合、被写体検出部５１によって被写体領域６０が検出されている。まず、注目領域設定部５３は、被写体領域６０の幅Ｈ１及び高さＶ１のそれぞれに係数αを乗算し、幅Ｈ２（＝α×Ｈ１）及び高さＶ２（＝α×Ｖ１）を算出する。そして、注目領域設定部５３は、幅Ｈ２及び高さＶ２からなる領域６１を、その中心Ｃ２が被写体領域６０の中心Ｃ１と一致するように設定する。人物を撮影した画像ＰＩの場合、人物の顔の領域が被写体領域６０となる。そこで、被写体領域６０が含まれる領域６１を求めることで、人物の顔の領域だけでなく、人物の髪の毛や首の領域も注目領域として設定することができる。
【００３２】
また、注目領域設定部５３は、被写体領域６０の下方の領域のうち、傾斜角θ１の情報に基づいた所定の領域を、画像ＰＩに含まれる特徴部位に関連する部位が占める領域（以下、関連領域）６２として求める。
【００３３】
図２（ｃ）に示すように、例えば人物の顔の領域が被写体領域６０として設定されている場合、注目領域設定部５３は、被写体領域６０の幅Ｈ１に対して係数βを、被写体領域６０の高さＶ１に対して係数γをそれぞれ乗算し、幅Ｈ３（＝β×Ｈ１）、Ｖ３（＝γ×
Ｖ１）を求める。ここで、一般的な人物の肩の幅は顔の幅に対して３〜４倍であることから、係数βは３≦β≦４の範囲内で設定される。また、人物の首から足先までの高さは、人物の顔の高さの６〜８倍であることから、係数γは６≦γ≦８の範囲内で設定される。なお、被写体領域６０に含まれる顔が子供の顔であると判別できるのであれば、上述した係数β、γは、上述した範囲に基づく範囲内の値をとる必要はない。
【００３４】
そして、注目領域設定部５３は、被写体領域情報から傾斜角θ１の情報を読み出し、幅Ｈ３、高さＨ３の領域を傾斜させる。この処理の後、注目領域設定部５３は、被写体領域６０の下方の領域のうち、傾斜させた幅Ｈ３、高さＨ３の領域を関連領域６２とする。
【００３５】
この関連領域６２の設定時に、算出される幅Ｈ３及び高さＶ３で規定される領域の一部が画像外となる場合には、注目領域設定部５３は、算出される幅Ｈ３及び高さＶ３で規定される領域のうち、画像から外れる領域を除いた領域を関連領域６２とする。
【００３６】
関連領域６２を求めた後、注目領域設定部５３は、関連領域６２の中心の位置座標Ｃ３、高さＨ３、幅Ｖ３、関連領域６２の傾斜角θ３を、関連領域６２の情報（以下、関連領域情報）として生成する。そして、注目領域設定部５３は、先に求めた領域６１及び関連領域６２をまとめた領域（図２（ｄ）中領域ハッチングで示される領域）を注目領域６４として設定する。
【００３７】
重要度設定部５４は、画像内の各領域に対する重要度を設定する。ここで、画像内における重要度とは、圧縮符号化処理における圧縮率の優先順位を示す。
【００３８】
図２（ｄ）に示すように、まず、重要度設定部５４は、注目領域６４を構成する領域６１の中心Ｃ２、及び関連領域６２の中心Ｃ３に該当する画素の重要度をＬｖ１、領域６１のうち中心Ｃ２を除く領域の重要度をＬｖ２にそれぞれ設定する。また、重要度設定部５４は、関連領域６２のうち、中心Ｃ３及び領域６１と重畳される領域（図２（ｄ）中ハッチングで示される領域６５）を除く領域の重要度をＬｖ３、注目領域６４を除く、言い換えれば背景となる領域（以下、背景領域）６６の重要度をＬｖ４に設定する。なお、重要度は、Ｌｖ１→Ｌｖ２→Ｌｖ３→Ｌｖ４の順で低くなる。例えば重要度が高ければ高いほど、対応する領域の符号量が多くなり、結果として圧縮率が低くなる。一方、重要度が低ければ低いほど、対応する領域の符号量が少なくなり、結果として圧縮率が高くなる。このように、重要度設定部５４は、画像内の各領域に重要度を設定し、画像データに対応する重要度の分布データ（マップデータ）を生成する。なお、重要度をＬｖ１〜Ｌｖ４は、重要度のレベルを示すものであり、実際には、重要度に応じた数値である。
【００３９】
次に、重要度設定部５４は、生成された重要度の分布データに対して平滑化処理を行う。
【００４０】
図３（ａ）は図２（ｄ）のＡ−Ａ断面における重要度の分布を示し、図３（ｂ）は、平滑化処理を行ったときのＡ−Ａ断面における重要度の分布を示している。これら図からもわかるように、重要度の分布データに対して平滑化処理を行うことによって、重要度Ｌｖ１及びＬｖ２との境界、重要度Ｌｖ１とＬｖ３との境界、重要度Ｌｖ２及びＬｖ３との境界、重要度Ｌｖ２及びＬｖ４との境界、重要度Ｌｖ１とＬｖ３との境界、重要度Ｌｖ３とＬｖ４との境界のそれぞれの重要度の差を小さくすることができる。この重要度の分布データは、圧縮符号化回路３２に出力される。なお、画像データの解像度が低い場合や、画像データの画像サイズが小さい場合には、重要度の分布データに対して平滑化処理を行う必要はない。
【００４１】
なお、本実施形態では、注目領域内のそれぞれの領域に対して、重要度を設定することで、重要度の分布データを生成しているが、まず、領域６１及び背景領域６４に対する重要度の分布データ、関連領域６２及び背景領域６４に対する重要度の分布データをそれぞれ生成した後、生成した分布データを組み合わせることで、画像全体における重要度の分布データを生成することも可能である。また、被写体領域及び背景領域に対する重要度の分布データと、関連領域及び背景領域に対する重要度の分布データとを予め内蔵メモリ４２に記憶させておき、実際に検出される被写体領域に合わせて、被写体領域及び背景領域に対する重要度の分布データや関連領域及び背景領域に対する重要度の分布データを調整した後、これら調整した分布データを組み合わせることで、画像全体における重要度の分布データを生成することも可能である。
【００４２】
次に、圧縮符号化回路３２の構成について、図４を用いて説明する。圧縮符号化回路３２は、フレームメモリ７１、フレーム並び替え部７２、加減算器７３、直交変換部７４、量子化部７５、エントロピー符号化部７６、バッファメモリ７７、逆量子化部７８、逆直交変換部７９、加算器８０、フレームメモリ８１、動き予測／動き補償部８２、スイッチ８３、符号量制御部８４及び量子化制御部８５を備えている。
【００４３】
圧縮符号化回路３２に入力された動画像データは、フレームメモリ７１に記憶される。フレーム並び替え部７２は、フレームメモリ７１に記憶された動画像データの各フレーム画像データを所定の符号化フォーマットに準拠した順序となるように、符号化ピクチャタイプに応じた並べ替えを行う。このフレーム並べ替え部７２により並び替えられたフレーム画像データは、それぞれ所定サイズのマクロブロックに分割される。
【００４４】
その後、符号化するフレーム画像データがフレーム内符号化（イントラ符号化）方式となるフレーム画像データの場合には、直交変換部７４はマクロブロック内のデータに対して直交変換処理を実行し、直交変換係数を求める。量子化部７５は、直交変換係数を量子化する。また、符号化するフレーム画像データがフレーム間符号化ピクチャ（インター符号化）方式となるフレーム画像データの場合、逆量子化部７８は、符号化されたフレーム画像データに対して逆量子化する。そして、逆直交変換部７９は、逆量子化により得られた直交変換係数のデータに対して、逆直交変換処理を施す。これにより、ローカルデコード画像データが生成される。
【００４５】
動き予測／動き補償部８２は、これから符号化するフレーム画像データの動き予測及び動き補償を実行する。加減算器７３は、ローカルデコード画像データとの差分値を算出する。算出された差分値は、直交変換部７４に入力される。この直交変換部７４は、入力された差分値に対して直交変換処理を施し、直交変数係数のデータを求める。そして、量子化部７５にて直交変換係数が量子化される。なお、スイッチ８３は、イントラ符号化方式のフレーム画像データに対して動き予測及び動き補償を行うか、インター符号化方式のフレーム画像データに対して動き予測及び動き補償を行うかを選択するためのものである。なお、このスイッチ８３がオンとなることで、動き予測／動き補償部８２にて生成された予測誤差データが加算器８０に出力され、ローカルデコード画像データに加算される。
【００４６】
なお、量子化部７５で量子化された量子化データは、エントロピー符号化（可変長符号化）部７６で符号化され、符号化されたデータがストリームバッファメモリ７７に一旦保持された後、出力される。
【００４７】
符号量制御部８４は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）内の各フレーム画像データに対する割り当てビット量を、割り当て対象となるフレーム画像データを含めてＧＯＰ内でまだ符号化されていないフレーム画像データに対するビット量に応じて割り当てる。この割り当てを、ＧＯＰ内の符号化を行うフレーム画像データの順に繰り返し実行し、フレーム画像データ毎にピクチャ目標符号量を設定する。
【００４８】
量子化制御部８５は、各フレーム画像データに対する目標符号量とエントロピー符号化から出力される発生符号量とを一致させるための仮想バッファの容量に基づき、フィードバック制御により量子化パラメータを算出する。この量子化パラメータを算出した後、量子化制御部８５は、入力される重要度の分布データをマクロブロックごとに適用し、算出された量子化パラメータに係数δを乗算する。例えば量子化するマクロブロックが重要度の高い領域であれば係数δの値を小さくし、量子化するマクロブロックが重要度の低い領域であれば係数δの値を大きくする。つまり、重要度が高いほど、その領域における量子化パラメータが小さくなり、その領域の符号量が多く（圧縮率が低く）なる。反対に、重要度が低いほど、その領域における量子化パラメータが大きくなり、その領域の符号量が少なく（圧縮率が高く）なる。つまり、重要度が低い領域ほど圧縮率が高くなる。
【００４９】
次に、動画像データに対する圧縮符号化処理の流れを図５のフローチャートに基づいて説明する。
【００５０】
ステップＳ１０１は、画像データを読み出す処理である。ＣＰＵ４１は、バッファメモリ３０に一時記憶される動画像データのフレーム画像データを読み出す。
【００５１】
ステップＳ１０２は、被写体検出を行う処理である。ＣＰＵ４１は、ステップＳ１０１にて読み出した各フレーム画像データに対して被写体検出を行い、検出される被写体が含まれる矩形の領域を被写体領域とする。そして、ＣＰＵ４１は、被写体領域６０の中心Ｃ１の位置座標（ｘ１、ｙ１）、被写体領域６０の高さＨ１及び幅Ｖ１、被写体領域６０の傾斜角θ１を求め、これらをまとめた被写体領域情報を生成する。
【００５２】
ステップＳ１０３は、注目領域を設定する処理である。ＣＰＵ４１は、被写体領域情報を用いて、被写体領域６０が含まれる所定の領域６１を求める。その後、ＣＰＵ４１は、被写体領域情報を用いて、被写体領域６０に連なる関連領域６２を求める。最後に、ＣＰＵ４１は、求めた領域６１及び関連領域６２を注目領域６４として設定する。なお、関連領域６２を求めたときに、ＣＰＵ４１は、関連領域６２の幅Ｈ３、高さＶ３、中心となる位置座標Ｃ３（ｘ３，ｙ３）及び傾斜角θ３を関連領域情報として生成する。
【００５３】
ステップＳ１０４は、重要度の分布テーブルを生成する処理である。ステップＳ１０３において、注目領域６４が設定されている。ＣＰＵ４１は、被写体領域情報、関連領域情報を用いて、フレーム画像データに対応する、重要度の分布テーブルを生成する。ＣＰＵ４１は、生成された重要度の分布テーブルを、対応するフレーム画像データに関連付けた後、重要度の分布テーブルを圧縮符号化回路３２に出力する。
【００５４】
ステップＳ１０５は、圧縮符号化する処理である。バッファメモリ３０に記憶された各フレーム画像データは圧縮符号化回路３２に入力される。圧縮符号化回路３２は、符号化ピクチャの種類別に応じて、フレーム画像データを並べ替える。そして、圧縮符号化回路３２は、並べ替えたフレーム画像データ毎に、圧縮符号化処理を実行する。この圧縮符号化処理の際に、ステップＳ１０５において生成された重要度の分布データが参照される。つまり、各フレーム画像データに対する圧縮符号化処理では、重要度の分布データをマクロブロック毎に適応することで量子化パラメータが適宜調整されながら、量子化が実行される。
【００５５】
ステップＳ１０６は、符号化データを記憶する処理である。ＣＰＵ４１は、圧縮符号化回路から出力される複数の符号化データを順次１つのファイルとなるように記憶媒体４６に書き込む。この際、ＣＰＵ４１は、撮影条件、撮影日時、カメラの基本情報、撮影日時などの情報を生成したファイルの付帯情報として書き込む。
【００５６】
例えば、人物を撮影した動画像データのフレーム画像データに対応する重要度は、注目領域６４のうち、領域６１の中心Ｃ２（被写体領域６０の中心Ｃ１）、及び関連領域６２の中心Ｃ３が最も高く、領域６１の中心Ｃ２を除いた部分、関連領域６２の中心Ｃ３を除いた部分、背景領域６６の順に低くなる。つまり、このようなフレーム画像データを圧縮符号化する場合、人物の顔が含まれる領域６１、関連領域６２、背景領域６６の順で、各領域における符号量が優先される。つまり、領域６１に対する圧縮率が最も低く、関連領域６２、背景領域６６の順で圧縮率が高くなる。また、重要度の分布データは、平滑化処理されたデータからなるので、通常、領域６１や関連領域６２と、背景領域６６とを異なる圧縮率で圧縮した符号化データを復号化したときに生じる、各領域間の画質の差を抑制することが可能となる。
【００５７】
本実施形態では、人物を撮影した画像の場合、被写体領域６０に連なる下方の領域のうち、被写体領域６０の幅Ｈ１に係数βを乗算した幅Ｈ３、被写体領域６０の高さＶ２に係数γを乗算した幅Ｖ３からなる領域を、被写体に関連する関連領域６２に設定しているが、関連領域６２の設定は、これに限定される必要はない。上述したように、特徴量抽出部５２により被写体領域６０及び被写体領域６０に近接する領域に対する特徴量抽出処理が行われている。注目領域設定部５３は、抽出された特徴量を参照し、例えば同一の色成分が連続する、或いは異なる色成分が連続する領域の有無を判別し、該当する領域があれば、その領域を関連領域としてもよい。
【００５８】
また、この他に、人物の手や腕、或いは足など、人物の顔から離れている場合もある。このような場合、注目領域設定部５３は、特徴量抽出部５２により抽出される被写体領域６０及び被写体領域６０に近接する領域の特徴量を用いて、被写体領域６０における色成分に対して所定の範囲に含まれる色成分が含まれる領域を特定する。被写体領域６０における色成分に対して所定の範囲に含まれる色成分が含まれる領域が特定された場合には、注目領域設定部５３は、その領域が含まれる領域を関連領域６２に設定する。
【００５９】
本実施形態では、被写体領域６０、領域６１及び関連領域６２を、それぞれ矩形の領域としているが、これに限定される必要はなく、各領域の形状は適宜設定されるものである。
【００６０】
本実施形態では、被写体が含まれる領域６１の中心Ｃ２及び関連領域６２の中心Ｃ３、中心Ｃ２を除く領域６１、中心Ｃ３を除く関連領域６３、背景領域６６の順で、重要度が低くなるように設定している場合について説明しているが、これに限定される必要はなく、例えば人物が着ている衣服の彩度が高い場合には関連領域６３の重要度を上げる、人物の顔の領域の輝度が低い場合には領域６１の重要度を下げるなど、各領域から求められる色成分、焦点状態、面積などの特徴量に基づいて、注目領域の各領域に対する重要度を設定することも可能である。
【００６１】
本実施形態では、領域６１の中心Ｃ２の重要度と、関連領域６２の中心Ｃ３の重要度を同一としている。しかしながら、実際には、人物の顔の領域を中心に撮影を行う場合が多いことから、領域６１の中心Ｃ２の重要度は、関連領域の６２の中心Ｃ３の重要度よりも高く設定してもよい。
【００６２】
本実施形態では、重要度の分布を示すテーブルを生成しているが、これに限定する必要はなく、量子化テーブルに乗算する係数の分布を示すテーブルを生成することも可能である。
【００６３】
本実施形態では、フレーム画像データ毎に生成される重要度の分布データは、他のフレーム画像データを考慮したものではない。つまり、特徴部位の大きさ（面積）が変化する場合であっても、重要度は変化しない。このため、動画像中における同一の被写体の大きさが変化する場合には、その変化量に基づいて重要度を変化させるようにしてもよい。また、この他に、同一の被写体が含まれるフレーム画像データの数をカウントし、フレーム画像データ全体に対する同一の被写体が含まれるフレーム数、つまり、同一の被写体の出現頻度や、重要度の設定を変更してもよい。
【００６４】
本実施形態では、一人の人物を被写体とした場合について説明しているが、複数の被写体が検出される場合であっても、本発明は適用できる。複数の被写体が検出される場合には、面積が一番大きい被写体や、動画像中に出現する頻度が高い被写体に対する重要度を高くすればよい。また、被写体の画像を予め登録しておき、登録された被写体に対しては重要度を高く設定してもよい。
【００６５】
本実施形態では、画像データに対して圧縮符号化処理を行うとしか述べていないが、実際には、輝度信号及び色差信号からなる画像信号のそれぞれの信号に対して圧縮符号化処理が実行されている。つまり、これら信号のうち、輝度信号に対しては量子化パラメータを変動させずに圧縮符号化処理を行い、色差信号に対しては彩度が高い領域に対して量子化パラメータが小さくなるように調整した上で、圧縮符号化処理を実行すればよい。
【００６６】
本実施形態では、動画像データに対する圧縮符号化処理を例に挙げて説明しているが、これに限定される必要はなく、静止画像データに圧縮符号化処理についても本発明を適用することが可能である。
【００６７】
本実施形態では、画像処理装置としてデジタルカメラを例に取り上げて説明しているが、画像を圧縮できる装置であればデジタルカメラに限定される必要はなく、例えば携帯電話機など、カメラ機能を有する携帯型端末機であってもよい。
【００６８】
本実施形態は、画像処理装置について説明しているが、この他に、図１の被写体検出部５１、特徴量抽出部５２、注目領域設定部５３、重要度設定部５４の機能や、圧縮符号化回路３２の機能や、図４に示す動作をコンピュータに実行させることが可能な画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなど、コンピュータにより読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６９】
１０…デジタルカメラ、３２…圧縮符号化回路、４１…ＣＰＵ、５１…被写体検出部、５２…特徴量検出部、５３…注目領域設定部、５４…重要度設定部、７５…量子化部、８５…量子化制御部
【特許請求の範囲】
【請求項１】
画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定部と、
前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮処理における重要度を設定する重要度設定部と、
前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記重要度設定部は、前記注目領域を構成する前記第１の領域及び前記第２の領域のそれぞれの領域に対して重要度を設定することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記重要度設定部は、前記注目領域における所定部分から周縁部分に向けて前記重要度が低くなるように前記注目領域を設定することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記画像は、動画像からなり、
前記重要度設定部は、前記動画像中における同一の前記特徴部位の面積の変化に伴って、該特徴部位が含まれる前記注目領域に対する重要度を設定することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記画像は、動画像からなり、
前記圧縮率設定部は、同一の前記特徴部位が前記動画像に出現する頻度に基づいて、該特徴部位が含まれる前記注目領域に対する重要度を設定することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像処理装置において、
前記第２領域は、前記第１領域の周縁部分における特徴量を検出することで特定されることを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記重要度設定部は、前記第１領域又は前記第２領域における特徴量に基づいて、前記注目領域における前記重要度を設定することを特徴とする画像処理装置。
【請求項８】
画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定工程と、
前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮時における重要度を設定する重要度設定工程と、
前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮工程と、
をコンピュータに実行させることが可能な画像処理プログラム。
【請求項１】
画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定部と、
前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮処理における重要度を設定する重要度設定部と、
前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記重要度設定部は、前記注目領域を構成する前記第１の領域及び前記第２の領域のそれぞれの領域に対して重要度を設定することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記重要度設定部は、前記注目領域における所定部分から周縁部分に向けて前記重要度が低くなるように前記注目領域を設定することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記画像は、動画像からなり、
前記重要度設定部は、前記動画像中における同一の前記特徴部位の面積の変化に伴って、該特徴部位が含まれる前記注目領域に対する重要度を設定することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記画像は、動画像からなり、
前記圧縮率設定部は、同一の前記特徴部位が前記動画像に出現する頻度に基づいて、該特徴部位が含まれる前記注目領域に対する重要度を設定することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像処理装置において、
前記第２領域は、前記第１領域の周縁部分における特徴量を検出することで特定されることを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記重要度設定部は、前記第１領域又は前記第２領域における特徴量に基づいて、前記注目領域における前記重要度を設定することを特徴とする画像処理装置。
【請求項８】
画像の特徴部位が含まれる第１領域及び前記特徴部位に関連する部位が含まれる第２領域を、前記画像の注目領域として設定する領域設定工程と、
前記注目領域と該注目領域を除く他の領域とのそれぞれの領域に対して、画像圧縮時における重要度を設定する重要度設定工程と、
前記注目領域と前記他の領域とのそれぞれの領域に対して設定された前記重要度に基づいて前記画像圧縮処理に用いるパラメータを調整し、調整した前記パラメータを用いて前記注目領域及び前記他の領域に対する前記画像圧縮処理を領域毎に実行する画像圧縮工程と、
をコンピュータに実行させることが可能な画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１３８６４８（Ｐ２０１２−１３８６４８Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８７６６９（Ｐ２０１０−２８７６６９）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]