画像信号処理装置、画像信号処理方法、及びコンピュータプログラム
【課題】 画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減する。
【解決手段】 抽出色領域選択部１２０は、符号量制御部１１６で算出された抑圧符号量に基づいて、抑圧すべき符号量が大きい場合には、本来の特定色（例えば肌色）の領域よりも広い領域を選択する。一方、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域を選択する。これにより、画像信号の伝送レートを可及的に一定に保持することが可能になり、画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減することができる。
【解決手段】 抽出色領域選択部１２０は、符号量制御部１１６で算出された抑圧符号量に基づいて、抑圧すべき符号量が大きい場合には、本来の特定色（例えば肌色）の領域よりも広い領域を選択する。一方、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域を選択する。これにより、画像信号の伝送レートを可及的に一定に保持することが可能になり、画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、及びコンピュータプログラムに関し、特に、画像信号を符号化するために用いて好適なものである。
【背景技術】
【０００２】
近年、能率的な情報伝達のために、映像信号の符号化・圧縮処理の技術が必要不可欠なものとなっている。この符号化・圧縮技術の中で最も重要な技術の一つに符号量レートの制御がある。この符号量レートの制御は、復号器側のバッファが破綻をきたさないように考慮して、出力するデータレートを調整するものである。例えば、画像中に精細な部分が多く、生成される符号量が多い場合には、量子化テーブルを変更して符号量を削減する。逆に生成される符号量が少ない場合には、量子化テーブルを変更して符号量を増加させる。
【０００３】
特許文献１では、ネットワーク通信に合うように、符号化ファイルのビットレートを自動的に制御し、用途（ビデオ、インターネット通信）に応じて動画像をリアルタイムに転送することを実現している。
【０００４】
【特許文献１】特開２００１−３５２４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ネットワークの通信速度が遅い場合、伝送ビットレートを下げることになる。したがって、画像信号の高周波成分の抑圧が大きくなる。一般的に高周波成分の抑圧が大きいと、再生画像は粗くなると共に、原画像と再生画像との誤差が大きくなる。また、ブロック単位で画質を調整する制御を行う場合に伝送ビットレートを下げると、ブロック間で画質に差が発生し、ブロックとブロックとの境界で画質が大きく異なる（段差が生じる）ことになる。
【０００６】
また、画像信号の中の色領域を抽出し、抽出した色領域に基づいて処理パラメータを切り替える手法がある。この手法は、例えば肌色を抽出して高周波成分を落とすことにより、吹き出物やひげの剃り残し等を目立たせなくさせることが目的である。従来の手法では、色領域を抽出して周波数成分を制御した場合にも伝送ビットレートに影響を与えてしまい、画質が低下してしまう虞がある。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像信号処理装置は、画像信号の色の分布を解析する色分布解析手段と、前記画像信号の中から特定の色が存在する領域を抽出する領域抽出手段と、前記領域抽出手段により抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理手段と、前記輪郭処理手段により輪郭部が処理された画像信号を符号化する符号化手段と、前記符号化手段で符号化される画像信号の符号量の抑制値を算出する符号量制御手段とを有し、前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値と、前記色分布解析手段により解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする。
【０００９】
本発明の画像信号処理方法は、画像信号の色の分布を解析する色分布解析ステップと、前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、前記領域抽出ステップにより抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理ステップと、前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとを有し、前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする。
【００１０】
本発明のコンピュータプログラムは、画像信号の色の分布を解析する色分布解析ステップと、前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、前記領域抽出ステップにより抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理ステップと、前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとをコンピュータに実行させ、前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像信号の符号量の抑制値と、画像信号の色の分布とに基づいて、画像信号の中から特定の色が存在する領域を抽出し、抽出した領域の画像信号に含まれるオブジェクトの輪郭部を処理するようにした。したがって、画像信号の符号量の抑制値に応じて、特定の色として定義される範囲を変えることができる。したがって、画像から色領域を抽出して周波数成分を制御した場合に、伝送ビットレートに与える影響を低減することができる。
【発明を実施するための最良の形態】
【００１２】
次に、図面を参照しながら、本発明の一実施形態について説明する。
図１は、画像処理装置の一例である撮像装置の全体構成の一例を示した図である。
図１において、ＣＰＵ１１７は、撮像装置全体を統括制御するものである。ＣＰＵ１１７は、例えば、ＲＯＭ１２７に記憶された制御プログラムを、ＳＤＲＡＭ１１８をワークメモリとして使用して実行することにより、撮像装置における各種の制御を実行する。以下に、本実施形態の撮像装置における動作の概略を説明する。
【００１３】
まず、レンズ１０１により結像された映像はＣＣＤ（Charge Coupled Devices）１０２で光電変換される。光電変換された映像信号はＡＤ変換部１０３でＡ／Ｄ変換されデジタルの画像信号として信号処理部１２６へ入力される。
【００１４】
信号処理部１２６へ入力された画像信号はまず、色分離部１０４で色分離処理が施される。色分離部１０４で色分離処理が施された画像信号は、輝度処理部１０５、色差処理部１０６、輪郭処理部１０７に出力される。
輝度処理部１０５は、色分離部１０４で色分離処理が施されることにより得られた輝度信号に対する処理を行う。色差処理部１０６は、色分離部１０４で色分離処理が施されることにより得られた色差信号に対する処理を行う。
【００１５】
また、色分離部１０４で色分離処理が施されることにより得られた色差信号は、色分布解析部１１９にも出力される。色分布解析部１１９は、色差信号に基づいて、画像信号の画角内に存在する色の分布を解析し、特定色（例えば肌に相当する色）の領域の分布と、その面積とを算出する。このように本実施形態では、例えば、色分布解析部１１９によって色分布解析手段が実現される。
抽出色領域選択部１２０は、色分布解析部１１９で算出された特定色の領域の分布及び面積と、後述する符号量制御部１１６で符号量の抑制値として算出された抑圧符号量の情報とに基づいて、画像信号の中から抽出すべき色領域を選択する。この選択は、抑圧符号量を所定の閾値と比較して判断することにより行われる。ここで、抑圧符号量とは、符号化処理部１１４で画像信号を符号化する際に抑圧すべき符号量を言う。
【００１６】
図２は、抽出色領域選択部１２０で選択される色領域の一例を示した図である。
図２に示すように、図１の色分離部１０４で生成された各画素の色差成分は、Ｒ-Ｙ成分と、Ｂ-Ｙ成分とを用いて２次元空間で表現できる。領域２０１は、色分布解析部１１９で算出された特定色（例えば肌色）の領域である。
抽出色領域選択部１２０で選択される領域の範囲は、符号量制御部１１６で算出された抑圧符号量に基づいて決定される。目標とするビットレートが低く、抑圧すべき符号量が所定の閾値よりも大きい場合、抽出色領域選択部１２０で選択される領域は大きくなる（本来の特定色（例えば肌色）の領域よりも広い領域となる）。即ち、特定色（例えば肌色）として定義される色がより広い範囲となる。一方、抑圧すべき符号量が所定の閾値以下の場合、抽出色領域選択部１２０で選択される領域は小さくなる（本来の特定色（例えば肌色）の領域となる）。これは、特定色部（例えば肌色部）の処理により一般的に符号量が低下する為である。
以上のように本実施形態では、抽出色領域選択部１２０によって領域抽出手段が実現される。
【００１７】
輪郭処理部１０７は、色分離部１０４で色分離処理が施された画像信号に対して、その画像信号に含まれるオブジェクトの輪郭部を処理する。例えば、輪郭処理部１０７は、色分離部１０４で色分離処理が施された画像信号に対して輪郭強調等の処理を行う。ここで、本実施形態の輪郭処理部１０７は、抽出色領域選択部１２０で選択された領域を示す抽出色領域情報に基づいて、輪郭強調を調整する。例えば、肌色の領域は、しわ等を目立たせなくさせるために輪郭協調を弱めるようにする。
【００１８】
図３は、輪郭処理部１０７の構成の一例を詳細に示した図である。
図３において、輪郭抽出部３０１は、画像信号に対してフィルタ処理を行って輪郭部を抽出する。このように本実施形態では、輪郭抽出部３０１によって輪郭抽出手段が実現される。
パラメータ生成部３０５は、抽出色領域選択部１２０から出力された抽出色領域情報Ｄ１に基づいて、処理対象の領域が、抽出色領域選択部１２０で選択された領域である場合には、ベースクリップ値Ｄ２として大きな値を選択する。また、この場合、ゲイン値Ｄ３としては小さな値を選択する。一方、抽出色領域選択部１２０で選択された領域でない場合には、ベースクリップ値Ｄ２として小さな値を選択すると共に、ゲイン値Ｄ３として大きな値を選択する。
【００１９】
小振幅ノイズ抑圧部３０２は、パラメータ生成部３０５で選択されたベースクリップ値Ｄ２に基づいて、輪郭抽出部３０１で抽出された輪郭部の微小変動部分の抑圧を行い、ノイズ成分を削除する。これにより、画像信号の直線応答性の制御が行われる。前述したように、抽出色領域選択部１２０で選択された領域については、ベースクリップ値Ｄ２として相対的に大きな値が選択される。したがって、抽出色領域選択部１２０で選択された領域については、輪郭部（エッジ部）の小振幅の高周波成分を抑圧することにより符号量を抑圧することが可能になる。すなわち、抽出色領域選択部１２０で選択された領域については、ノイズをより多く抑制することが可能になる。このように本実施形態では、例えば、小振幅ノイズ抑圧部３０２によってノイズ抑制手段が実現される。
乗算器であるゲイン調整部３０３は、パラメータ生成部３０５で選択されたゲイン値Ｄ３と、小振幅ノイズ抑圧部３０２でノイズが除去された輪郭部の信号とを乗算してゲイン調整を行う。これにより画像信号の周波数特性の制御が行われる。前述したように抽出色領域選択部１２０で選択された領域である場合には、ゲイン値Ｄ３として相対的に小さな値が選択される。したがって、抽出色領域選択部１２０で選択された領域については、輪郭部（エッジ部）の利得を小さくしてレンジを小さくすることにより符号量を抑圧することが可能となる。このように本実施形態では、ゲイン調整部３０３によってゲイン制御手段が実現される。
加算器３０４は、色分離部１０４から出力された画像信号と、ゲイン調整部３０３でゲイン調整が行われた輪郭部とを加算する。これにより、輪郭部が強調された画像信号が出力される。
【００２０】
図４は、図３に示した輪郭処理部１０７の輪郭抽出部３０１、小振幅ノイズ抑圧部３０２、及びゲイン調整部３０３における入出力波形の一例を示した図である。
前述したように、抽出色領域選択部１２０で選択された色領域（特定色領域）の輪郭部では、小振幅ノイズ抑圧部３０２でのベースクリップ値が大きくとられ、結果として輪郭部の小振幅成分が抑圧される（信号４０１を参照）。更に、抽出色領域選択部１２０で選択された色領域（特定色領域）の輪郭部では、ゲイン調整部３０３でのゲイン値は小さくとられ、結果として輪郭部の強調は弱くなる（信号４０２を参照）。
【００２１】
したがって、抽出色領域選択部１２０で選択された色領域（例えば肌の領域）は輪郭強調が弱められ、高周波成分も抑圧されることになる。これにより、しわ、吹き出物などが目立たなくなる。
一方、抽出色領域選択部１２０で選択された色領域（特定色領域）以外の輪郭部では、小振幅ノイズ抑圧部３０２でのベースクリップ値が小さくとられる共に（信号４０３を参照）、ゲイン調整部３０３でのゲイン値は大きくとられる（信号４０４を参照）。
以上のように本実施形態では、輪郭処理部１０７によって輪郭処理手段が実現される。
【００２２】
図１に説明を戻し、ＡＦ処理部１０８は、色分離部１０４で色分離処理が施された画像信号に基づいて、オートフォーカス制御に必要な評価値を取得する。
ＡＥ処理部１０９は、色分離部１０４で色分離処理が施された画像信号に基づいて、自動露光制御に必要な評価値を取得する。
ＡＷＢ処理部１１０は、色分離部１０４で色分離処理が施された画像信号に基づいて、オートホワイトバランス調整に必要な評価値を取得する。
ＡＦ処理部１０８、ＡＥ処理部１０９、及びＡＷＢ処理部１１０で取得された評価値を利用したＣＰＵ１１７の処理によりオートフォーカス、自動露光、及びオートホワイトバランスが実行される。
【００２３】
γ処理部１１１は、輝度処理部１０５、色差処理部１０６、及び輪郭処理部１０７で処理された画像信号に対して、ガンマ補正等のガンマ処理を施す。
リサイズ処理部１１２は、ユーザによる操作部１２１の操作に基づいて、γ処理部１１１でガンマ処理が施された画像信号のサイズを変更する。操作部１２１には、例えば、映像を拡大する拡大ボタンと、拡大した映像を元に戻す縮小ボタンとが設けられている。また、映像が拡大・縮小される様子は、例えば電子ビューファインダを備えて構成される表示部１２２に映し出される。ユーザは、表示部１２２に表示されている映像を見ながら、拡大ボタンや縮小ボタンを操作することにより、表示部１２２に表示されている映像を拡大させたり縮小させたりすることができる。
【００２４】
ＮＲ処理部１１３は、リサイズ処理部１１２でサイズが変更された画像信号に含まれているノイズを低減するための処理を行う。
符号化処理部１１４は、ＮＲ処理部１１３でノイズが低減された画像信号に対して、圧縮を目的とする符号化処理を行い、符号化データを生成する。このように本実施形態では、例えば、符号化処理部１１４によって符号化手段が実現される。
符号化処理部１１４で生成された符号化データは、一定のレートで出力するためにバッファ１１５に一時的に蓄積される。
Ｉ／Ｆ部１２３は、バッファ１１５に蓄積された符号化データを、伝送レート（Ｉ／Ｆ部１２３に接続された通信ネットワークの伝送速度）に応じて外部へ出力する。
【００２５】
符号量制御部１１６は、Ｉ／Ｆ部１２３で取得される伝送レートと、バッファ１１５における符号化データの蓄積状態とを監視する。そして、符号量制御部１１６は、バッファ１１５へ入力される符号量を調整するために、バッファ１１５における符号化データの蓄積状態と、伝送レートとを用いて、符号化処理部１１４及び抽出色領域選択部１２０とを制御する。
【００２６】
具体的に符号量制御部１１６は、バッファ１１５における符号化データの蓄積状態と、伝送レートとに基づいて、バッファ１１５から出力される符号化データのビットレートを算出し、算出したビットレートに応じて量子化係数を算出する。符号化処理部１１４は、符号量制御部１１６で算出された量子化係数に基づいて、量子化テーブルの係数を変更することによりバッファ１１５へ入力される符号量を調整する。
【００２７】
また、符号量制御部１１６は、バッファ１１５から出力される符号化データのビットレートと、伝送レートとを比較し、比較した結果に基づいて、符号化処理部１１４で画像信号を符号化する際に抑圧すべき符号量を算出する。そして、符号量制御部１１６は、算出した抑圧すべき符号量を示す抑圧符号量の情報を抽出色領域選択部１２０に出力する。
以上のように本実施形態では、符号量制御部１１６によって符号量制御手段が実現される。
【００２８】
尚、図１において、ＣＰＵ１１７、ＳＤＲＡＭ１１８、ＲＯＭ１２７、操作部１２１、表示部１２２、及び撮像部１２４は、通信バス１２５を介して相互に接続されている。また、操作部１２１に設けられている操作子は前述したものに限定されない。例えば、電源スイッチや撮影指示スイッチ等も操作部１２１に設けられている。
【００２９】
次に、図５のフローチャートを参照しながら、画像から特定色の領域を抽出して高周波成分を制御する際の撮像装置の処理の一例を説明する。
まず、色分布解析部１１９は、色分離部１０４で色分離処理が施されることにより得られた色差信号に基づいて、画像信号に存在する色の分布を解析し、特定色（例えば肌に相当する色）の領域の分布と、その面積とを求める（ステップＳ５０１）。
次に、符号量制御部１１６は、バッファ１１５から出力される符号化データのビットレートと、通信ネットワークの伝送速度とを比較する。そして、比較した結果に基づいて、符号化処理部１１４で画像信号を符号化する際に抑圧すべき符号量を算出する（ステップＳ５０２）。この時、バッファ１１５の蓄積量から符号量を求めても良い。
【００３０】
次に、抽出色領域選択部１２０は、ステップＳ５０１で求められた特定色の領域の分布及び面積と、ステップＳ５０２で算出された符号量とに基づいて、高周波成分を抑圧するための処理を行う対象となる色領域を、画像信号から選択する（ステップＳ５０３）。即ち、抽出色領域選択部１２０は、高周波成分の抑圧の対象となる色成分のデータを選択する。
ここで、ビットレートが低く、抑圧すべき符号量が大きい場合、抽出色領域選択部１２０は、発生符号量を削減するために、高周波成分が抑圧されるように、本来の特定色（例えば肌色）の領域よりも広い領域を選択する。
一方、ビットレートが高く、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域又はさらに狭い領域を選択する。
【００３１】
次に、輪郭抽出部３０１は、画像信号から輪郭部を抽出する（ステップＳ５０４）。
次に、パラメータ生成部３０５は、抽出色領域選択部１２０から出力された抽出色領域情報に基づいて、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域であるか否かを判定する（ステップＳ５０５）。
この判定の結果、処理対象の領域が、抽出色領域選択部１２０により選択された領域である場合には、パラメータ生成部３０５は、微小振幅成分を積極的に除去すべく、ベースクリップ値として相対的に大きな値を選択する（ステップＳ５０６）。
【００３２】
次に、小振幅ノイズ抑圧部３０２は、ステップＳ５０６でパラメータ生成部３０５により選択されたベースクリップ値に基づき、ステップＳ５０４で輪郭抽出部３０１により抽出された輪郭部の微小変動部分を抑圧し、ノイズ成分を削除する（ステップＳ５０７）。
一方、ステップＳ５０５において、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域でない場合には、ベースクリップ値として相対的に小さな値を選択してステップＳ５０７に進む（ステップＳ５０８）。ステップＳ５０７では、小振幅ノイズ抑圧部３０２は、このステップＳ５０７でパラメータ生成部３０５により選択されたベースクリップ値に基づき、ステップＳ５０４で輪郭抽出部３０１により抽出された輪郭部の微小変動部分を抑圧する。
【００３３】
そして、パラメータ生成部３０５は、抽出色領域選択部１２０から出力された抽出色領域情報に基づいて、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域であるか否かを判定する（ステップＳ５０９）。
この判定の結果、処理対象の領域が、抽出色領域選択部１２０により選択された領域である場合には、パラメータ生成部３０５は、高周波成分の振幅レベルを小さくすべく、ゲイン値として相対的に小さな値を選択する（ステップＳ５１０）。
【００３４】
次に、ゲイン調整部３０３は、ステップＳ５１０でパラメータ生成部３０５により選択されたゲイン値と、ステップＳ５０７で小振幅ノイズ抑圧部３０２によりノイズが除去された輪郭部の信号と乗算してゲイン調整を行う（ステップＳ５１１）。
一方、ステップＳ５０９において、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域でない場合には、ゲイン値として相対的に大きな値を選択してステップＳ５１１に進む（ステップＳ５１２）。ステップＳ５１１では、ゲイン調整部３０３は、ステップＳ５１１でパラメータ生成部３０５により選択されたゲイン値と、ステップＳ５０７で小振幅ノイズ抑圧部３０２によりノイズが除去された輪郭部の信号と乗算してゲイン調整を行う
【００３５】
そして、加算器３０４は、色分離部１０４から出力された画像信号と、ゲイン調整部３０３でゲイン調整が行われた輪郭部とを加算する。これにより、輪郭部が強調された画像信号が出力される（ステップＳ５１３）。
次に、γ処理部１１１、リサイズ処理部１１２、ＮＲ処理部１１３、符号化処理部１１４、バッファ１１５、Ｉ／Ｆ部１２３を介して、輪郭部が調整された画像信号が出力される（ステップＳ５１４）。この画像信号は、撮像装置に装着されたリムーバルディスク等の記憶媒体に保存されたり、表示部１２２に表示されたりする。
【００３６】
以上のように本実施形態では、抽出色領域選択部１２０は、符号量制御部１１６で算出された抑圧符号量に基づいて、抑圧すべき符号量が大きい場合には、本来の特定色（例えば肌色）の領域よりも広い領域を選択する。一方、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域を選択する。これにより、画像信号の伝送レートを可及的に一定に保持することが可能になり、画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減することができる。
【００３７】
そして、小振幅ノイズ抑圧部３０２は、抽出色領域選択部１２０で選択された領域の輪郭部のノイズを積極的に除去する。更に、ゲイン調整部３０３は、抽出色領域選択部１２０で選択された領域の輪郭部に対するゲイン値を小さくして、輪郭部の変動のレベルを小さくする。
また、小振幅ノイズ抑圧部３０２は、抽出色領域選択部１２０で選択されていない領域の輪郭部についてはノイズ除去を低減する。更に、ゲイン調整部３０３は、抽出色領域選択部１２０で選択されていない領域の輪郭部についてはゲイン値を大きくして、輪郭部強調の度合を大きくする。
【００３８】
以上のように、抑圧すべき符号量（抑圧符号量）を抽出色領域選択部１２０にフィードバックする。そして、抑圧すべき符号量に基づいて、抑圧すべき符号量が大きい場合には、本来の特定色（例えば肌色）の領域よりも広い領域を選択し、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域を選択する。そして、抽出色領域選択部１２０で選択された特定色の領域（例えば肌の領域）についてのみ高周波成分を抑圧して輪郭処理を行う。したがって、特定色の領域については輪郭強調が弱められ、高周波成分も抑圧されることになる。よって、しわ、吹き出物などが目立たなくすることができ、符号化した画像の画質が劣化することを簡易な構成で低減することができる。
【００３９】
また、符号量制御部１１６で算出された抑圧符号量が大きい程、高周波成分を抑圧する領域（抽出色領域選択部１２０が選択する領域）を大きくする。従って、符号化処理部１１４での量子化制御による画質低下を低減することができる。
また、ＣＣＤ１０２〜ＮＲ処理部１１３、色分布解析部１１９、及び抽出色領域選択部１２０では、１画素単位で処理することができる。したがって、ブロック単位（隣接する複数の画素からなるブロック単位）で発生する歪み（所謂ブロック歪み）等のノイズが発生することを低減することができる。
また、本実施形態では、輪郭処理部１０７に於いて、低周波成分については言及せず、そのまま加算器３０４で加算するようにしたが、この限りでは無い。例えば、加算器３０４の一方の信号の低周波成分を分離してゲイン補正をしても良い。
また、特定の色について処理する場合を例に挙げて説明したが、色相としても同様の処理を行うことができる。
【００４０】
（本発明の他の実施形態）
前述した本発明の実施形態における画像信号処理装置を構成する各手段、並びに画像信号処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４１】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００４３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００４５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００４６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００４７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００４８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００４９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００５０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００５１】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態を示し、撮像装置の全体構成の一例を示した図である。
【図２】本発明の実施形態を示し、抽出色領域選択部で選択される色領域の一例を示した図である。
【図３】本発明の実施形態を示し、輪郭処理部の構成の一例を詳細に示した図である。
【図４】本発明の実施形態を示し、図３に示した輪郭抽出部、小振幅ノイズ抑圧部、及びゲイン調整部における入出力波形の一例を示した図である。
【図５】本発明の実施形態を示し、画像から特定色の領域を抽出して周波数成分を制御する際の撮像装置の処理の一例を説明するフローチャートである。
【符号の説明】
【００５３】
１０１ レンズ
１０２ ＣＣＤ
１０４ 色分離部
１０７ 輪郭処理部
１１４ 符号化処理部
１１５ バッファ
１１６ 符号量制御部
１１９ 色分布解析部
１２０ 抽出色領域選択部
３０１ 輪郭抽出部
３０２ 小振幅ノイズ抑圧部
３０３ ゲイン調整部
３０４ 加算器
３０５ パラメータ生成部
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、及びコンピュータプログラムに関し、特に、画像信号を符号化するために用いて好適なものである。
【背景技術】
【０００２】
近年、能率的な情報伝達のために、映像信号の符号化・圧縮処理の技術が必要不可欠なものとなっている。この符号化・圧縮技術の中で最も重要な技術の一つに符号量レートの制御がある。この符号量レートの制御は、復号器側のバッファが破綻をきたさないように考慮して、出力するデータレートを調整するものである。例えば、画像中に精細な部分が多く、生成される符号量が多い場合には、量子化テーブルを変更して符号量を削減する。逆に生成される符号量が少ない場合には、量子化テーブルを変更して符号量を増加させる。
【０００３】
特許文献１では、ネットワーク通信に合うように、符号化ファイルのビットレートを自動的に制御し、用途（ビデオ、インターネット通信）に応じて動画像をリアルタイムに転送することを実現している。
【０００４】
【特許文献１】特開２００１−３５２４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ネットワークの通信速度が遅い場合、伝送ビットレートを下げることになる。したがって、画像信号の高周波成分の抑圧が大きくなる。一般的に高周波成分の抑圧が大きいと、再生画像は粗くなると共に、原画像と再生画像との誤差が大きくなる。また、ブロック単位で画質を調整する制御を行う場合に伝送ビットレートを下げると、ブロック間で画質に差が発生し、ブロックとブロックとの境界で画質が大きく異なる（段差が生じる）ことになる。
【０００６】
また、画像信号の中の色領域を抽出し、抽出した色領域に基づいて処理パラメータを切り替える手法がある。この手法は、例えば肌色を抽出して高周波成分を落とすことにより、吹き出物やひげの剃り残し等を目立たせなくさせることが目的である。従来の手法では、色領域を抽出して周波数成分を制御した場合にも伝送ビットレートに影響を与えてしまい、画質が低下してしまう虞がある。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像信号処理装置は、画像信号の色の分布を解析する色分布解析手段と、前記画像信号の中から特定の色が存在する領域を抽出する領域抽出手段と、前記領域抽出手段により抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理手段と、前記輪郭処理手段により輪郭部が処理された画像信号を符号化する符号化手段と、前記符号化手段で符号化される画像信号の符号量の抑制値を算出する符号量制御手段とを有し、前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値と、前記色分布解析手段により解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする。
【０００９】
本発明の画像信号処理方法は、画像信号の色の分布を解析する色分布解析ステップと、前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、前記領域抽出ステップにより抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理ステップと、前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとを有し、前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする。
【００１０】
本発明のコンピュータプログラムは、画像信号の色の分布を解析する色分布解析ステップと、前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、前記領域抽出ステップにより抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理ステップと、前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとをコンピュータに実行させ、前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像信号の符号量の抑制値と、画像信号の色の分布とに基づいて、画像信号の中から特定の色が存在する領域を抽出し、抽出した領域の画像信号に含まれるオブジェクトの輪郭部を処理するようにした。したがって、画像信号の符号量の抑制値に応じて、特定の色として定義される範囲を変えることができる。したがって、画像から色領域を抽出して周波数成分を制御した場合に、伝送ビットレートに与える影響を低減することができる。
【発明を実施するための最良の形態】
【００１２】
次に、図面を参照しながら、本発明の一実施形態について説明する。
図１は、画像処理装置の一例である撮像装置の全体構成の一例を示した図である。
図１において、ＣＰＵ１１７は、撮像装置全体を統括制御するものである。ＣＰＵ１１７は、例えば、ＲＯＭ１２７に記憶された制御プログラムを、ＳＤＲＡＭ１１８をワークメモリとして使用して実行することにより、撮像装置における各種の制御を実行する。以下に、本実施形態の撮像装置における動作の概略を説明する。
【００１３】
まず、レンズ１０１により結像された映像はＣＣＤ（Charge Coupled Devices）１０２で光電変換される。光電変換された映像信号はＡＤ変換部１０３でＡ／Ｄ変換されデジタルの画像信号として信号処理部１２６へ入力される。
【００１４】
信号処理部１２６へ入力された画像信号はまず、色分離部１０４で色分離処理が施される。色分離部１０４で色分離処理が施された画像信号は、輝度処理部１０５、色差処理部１０６、輪郭処理部１０７に出力される。
輝度処理部１０５は、色分離部１０４で色分離処理が施されることにより得られた輝度信号に対する処理を行う。色差処理部１０６は、色分離部１０４で色分離処理が施されることにより得られた色差信号に対する処理を行う。
【００１５】
また、色分離部１０４で色分離処理が施されることにより得られた色差信号は、色分布解析部１１９にも出力される。色分布解析部１１９は、色差信号に基づいて、画像信号の画角内に存在する色の分布を解析し、特定色（例えば肌に相当する色）の領域の分布と、その面積とを算出する。このように本実施形態では、例えば、色分布解析部１１９によって色分布解析手段が実現される。
抽出色領域選択部１２０は、色分布解析部１１９で算出された特定色の領域の分布及び面積と、後述する符号量制御部１１６で符号量の抑制値として算出された抑圧符号量の情報とに基づいて、画像信号の中から抽出すべき色領域を選択する。この選択は、抑圧符号量を所定の閾値と比較して判断することにより行われる。ここで、抑圧符号量とは、符号化処理部１１４で画像信号を符号化する際に抑圧すべき符号量を言う。
【００１６】
図２は、抽出色領域選択部１２０で選択される色領域の一例を示した図である。
図２に示すように、図１の色分離部１０４で生成された各画素の色差成分は、Ｒ-Ｙ成分と、Ｂ-Ｙ成分とを用いて２次元空間で表現できる。領域２０１は、色分布解析部１１９で算出された特定色（例えば肌色）の領域である。
抽出色領域選択部１２０で選択される領域の範囲は、符号量制御部１１６で算出された抑圧符号量に基づいて決定される。目標とするビットレートが低く、抑圧すべき符号量が所定の閾値よりも大きい場合、抽出色領域選択部１２０で選択される領域は大きくなる（本来の特定色（例えば肌色）の領域よりも広い領域となる）。即ち、特定色（例えば肌色）として定義される色がより広い範囲となる。一方、抑圧すべき符号量が所定の閾値以下の場合、抽出色領域選択部１２０で選択される領域は小さくなる（本来の特定色（例えば肌色）の領域となる）。これは、特定色部（例えば肌色部）の処理により一般的に符号量が低下する為である。
以上のように本実施形態では、抽出色領域選択部１２０によって領域抽出手段が実現される。
【００１７】
輪郭処理部１０７は、色分離部１０４で色分離処理が施された画像信号に対して、その画像信号に含まれるオブジェクトの輪郭部を処理する。例えば、輪郭処理部１０７は、色分離部１０４で色分離処理が施された画像信号に対して輪郭強調等の処理を行う。ここで、本実施形態の輪郭処理部１０７は、抽出色領域選択部１２０で選択された領域を示す抽出色領域情報に基づいて、輪郭強調を調整する。例えば、肌色の領域は、しわ等を目立たせなくさせるために輪郭協調を弱めるようにする。
【００１８】
図３は、輪郭処理部１０７の構成の一例を詳細に示した図である。
図３において、輪郭抽出部３０１は、画像信号に対してフィルタ処理を行って輪郭部を抽出する。このように本実施形態では、輪郭抽出部３０１によって輪郭抽出手段が実現される。
パラメータ生成部３０５は、抽出色領域選択部１２０から出力された抽出色領域情報Ｄ１に基づいて、処理対象の領域が、抽出色領域選択部１２０で選択された領域である場合には、ベースクリップ値Ｄ２として大きな値を選択する。また、この場合、ゲイン値Ｄ３としては小さな値を選択する。一方、抽出色領域選択部１２０で選択された領域でない場合には、ベースクリップ値Ｄ２として小さな値を選択すると共に、ゲイン値Ｄ３として大きな値を選択する。
【００１９】
小振幅ノイズ抑圧部３０２は、パラメータ生成部３０５で選択されたベースクリップ値Ｄ２に基づいて、輪郭抽出部３０１で抽出された輪郭部の微小変動部分の抑圧を行い、ノイズ成分を削除する。これにより、画像信号の直線応答性の制御が行われる。前述したように、抽出色領域選択部１２０で選択された領域については、ベースクリップ値Ｄ２として相対的に大きな値が選択される。したがって、抽出色領域選択部１２０で選択された領域については、輪郭部（エッジ部）の小振幅の高周波成分を抑圧することにより符号量を抑圧することが可能になる。すなわち、抽出色領域選択部１２０で選択された領域については、ノイズをより多く抑制することが可能になる。このように本実施形態では、例えば、小振幅ノイズ抑圧部３０２によってノイズ抑制手段が実現される。
乗算器であるゲイン調整部３０３は、パラメータ生成部３０５で選択されたゲイン値Ｄ３と、小振幅ノイズ抑圧部３０２でノイズが除去された輪郭部の信号とを乗算してゲイン調整を行う。これにより画像信号の周波数特性の制御が行われる。前述したように抽出色領域選択部１２０で選択された領域である場合には、ゲイン値Ｄ３として相対的に小さな値が選択される。したがって、抽出色領域選択部１２０で選択された領域については、輪郭部（エッジ部）の利得を小さくしてレンジを小さくすることにより符号量を抑圧することが可能となる。このように本実施形態では、ゲイン調整部３０３によってゲイン制御手段が実現される。
加算器３０４は、色分離部１０４から出力された画像信号と、ゲイン調整部３０３でゲイン調整が行われた輪郭部とを加算する。これにより、輪郭部が強調された画像信号が出力される。
【００２０】
図４は、図３に示した輪郭処理部１０７の輪郭抽出部３０１、小振幅ノイズ抑圧部３０２、及びゲイン調整部３０３における入出力波形の一例を示した図である。
前述したように、抽出色領域選択部１２０で選択された色領域（特定色領域）の輪郭部では、小振幅ノイズ抑圧部３０２でのベースクリップ値が大きくとられ、結果として輪郭部の小振幅成分が抑圧される（信号４０１を参照）。更に、抽出色領域選択部１２０で選択された色領域（特定色領域）の輪郭部では、ゲイン調整部３０３でのゲイン値は小さくとられ、結果として輪郭部の強調は弱くなる（信号４０２を参照）。
【００２１】
したがって、抽出色領域選択部１２０で選択された色領域（例えば肌の領域）は輪郭強調が弱められ、高周波成分も抑圧されることになる。これにより、しわ、吹き出物などが目立たなくなる。
一方、抽出色領域選択部１２０で選択された色領域（特定色領域）以外の輪郭部では、小振幅ノイズ抑圧部３０２でのベースクリップ値が小さくとられる共に（信号４０３を参照）、ゲイン調整部３０３でのゲイン値は大きくとられる（信号４０４を参照）。
以上のように本実施形態では、輪郭処理部１０７によって輪郭処理手段が実現される。
【００２２】
図１に説明を戻し、ＡＦ処理部１０８は、色分離部１０４で色分離処理が施された画像信号に基づいて、オートフォーカス制御に必要な評価値を取得する。
ＡＥ処理部１０９は、色分離部１０４で色分離処理が施された画像信号に基づいて、自動露光制御に必要な評価値を取得する。
ＡＷＢ処理部１１０は、色分離部１０４で色分離処理が施された画像信号に基づいて、オートホワイトバランス調整に必要な評価値を取得する。
ＡＦ処理部１０８、ＡＥ処理部１０９、及びＡＷＢ処理部１１０で取得された評価値を利用したＣＰＵ１１７の処理によりオートフォーカス、自動露光、及びオートホワイトバランスが実行される。
【００２３】
γ処理部１１１は、輝度処理部１０５、色差処理部１０６、及び輪郭処理部１０７で処理された画像信号に対して、ガンマ補正等のガンマ処理を施す。
リサイズ処理部１１２は、ユーザによる操作部１２１の操作に基づいて、γ処理部１１１でガンマ処理が施された画像信号のサイズを変更する。操作部１２１には、例えば、映像を拡大する拡大ボタンと、拡大した映像を元に戻す縮小ボタンとが設けられている。また、映像が拡大・縮小される様子は、例えば電子ビューファインダを備えて構成される表示部１２２に映し出される。ユーザは、表示部１２２に表示されている映像を見ながら、拡大ボタンや縮小ボタンを操作することにより、表示部１２２に表示されている映像を拡大させたり縮小させたりすることができる。
【００２４】
ＮＲ処理部１１３は、リサイズ処理部１１２でサイズが変更された画像信号に含まれているノイズを低減するための処理を行う。
符号化処理部１１４は、ＮＲ処理部１１３でノイズが低減された画像信号に対して、圧縮を目的とする符号化処理を行い、符号化データを生成する。このように本実施形態では、例えば、符号化処理部１１４によって符号化手段が実現される。
符号化処理部１１４で生成された符号化データは、一定のレートで出力するためにバッファ１１５に一時的に蓄積される。
Ｉ／Ｆ部１２３は、バッファ１１５に蓄積された符号化データを、伝送レート（Ｉ／Ｆ部１２３に接続された通信ネットワークの伝送速度）に応じて外部へ出力する。
【００２５】
符号量制御部１１６は、Ｉ／Ｆ部１２３で取得される伝送レートと、バッファ１１５における符号化データの蓄積状態とを監視する。そして、符号量制御部１１６は、バッファ１１５へ入力される符号量を調整するために、バッファ１１５における符号化データの蓄積状態と、伝送レートとを用いて、符号化処理部１１４及び抽出色領域選択部１２０とを制御する。
【００２６】
具体的に符号量制御部１１６は、バッファ１１５における符号化データの蓄積状態と、伝送レートとに基づいて、バッファ１１５から出力される符号化データのビットレートを算出し、算出したビットレートに応じて量子化係数を算出する。符号化処理部１１４は、符号量制御部１１６で算出された量子化係数に基づいて、量子化テーブルの係数を変更することによりバッファ１１５へ入力される符号量を調整する。
【００２７】
また、符号量制御部１１６は、バッファ１１５から出力される符号化データのビットレートと、伝送レートとを比較し、比較した結果に基づいて、符号化処理部１１４で画像信号を符号化する際に抑圧すべき符号量を算出する。そして、符号量制御部１１６は、算出した抑圧すべき符号量を示す抑圧符号量の情報を抽出色領域選択部１２０に出力する。
以上のように本実施形態では、符号量制御部１１６によって符号量制御手段が実現される。
【００２８】
尚、図１において、ＣＰＵ１１７、ＳＤＲＡＭ１１８、ＲＯＭ１２７、操作部１２１、表示部１２２、及び撮像部１２４は、通信バス１２５を介して相互に接続されている。また、操作部１２１に設けられている操作子は前述したものに限定されない。例えば、電源スイッチや撮影指示スイッチ等も操作部１２１に設けられている。
【００２９】
次に、図５のフローチャートを参照しながら、画像から特定色の領域を抽出して高周波成分を制御する際の撮像装置の処理の一例を説明する。
まず、色分布解析部１１９は、色分離部１０４で色分離処理が施されることにより得られた色差信号に基づいて、画像信号に存在する色の分布を解析し、特定色（例えば肌に相当する色）の領域の分布と、その面積とを求める（ステップＳ５０１）。
次に、符号量制御部１１６は、バッファ１１５から出力される符号化データのビットレートと、通信ネットワークの伝送速度とを比較する。そして、比較した結果に基づいて、符号化処理部１１４で画像信号を符号化する際に抑圧すべき符号量を算出する（ステップＳ５０２）。この時、バッファ１１５の蓄積量から符号量を求めても良い。
【００３０】
次に、抽出色領域選択部１２０は、ステップＳ５０１で求められた特定色の領域の分布及び面積と、ステップＳ５０２で算出された符号量とに基づいて、高周波成分を抑圧するための処理を行う対象となる色領域を、画像信号から選択する（ステップＳ５０３）。即ち、抽出色領域選択部１２０は、高周波成分の抑圧の対象となる色成分のデータを選択する。
ここで、ビットレートが低く、抑圧すべき符号量が大きい場合、抽出色領域選択部１２０は、発生符号量を削減するために、高周波成分が抑圧されるように、本来の特定色（例えば肌色）の領域よりも広い領域を選択する。
一方、ビットレートが高く、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域又はさらに狭い領域を選択する。
【００３１】
次に、輪郭抽出部３０１は、画像信号から輪郭部を抽出する（ステップＳ５０４）。
次に、パラメータ生成部３０５は、抽出色領域選択部１２０から出力された抽出色領域情報に基づいて、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域であるか否かを判定する（ステップＳ５０５）。
この判定の結果、処理対象の領域が、抽出色領域選択部１２０により選択された領域である場合には、パラメータ生成部３０５は、微小振幅成分を積極的に除去すべく、ベースクリップ値として相対的に大きな値を選択する（ステップＳ５０６）。
【００３２】
次に、小振幅ノイズ抑圧部３０２は、ステップＳ５０６でパラメータ生成部３０５により選択されたベースクリップ値に基づき、ステップＳ５０４で輪郭抽出部３０１により抽出された輪郭部の微小変動部分を抑圧し、ノイズ成分を削除する（ステップＳ５０７）。
一方、ステップＳ５０５において、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域でない場合には、ベースクリップ値として相対的に小さな値を選択してステップＳ５０７に進む（ステップＳ５０８）。ステップＳ５０７では、小振幅ノイズ抑圧部３０２は、このステップＳ５０７でパラメータ生成部３０５により選択されたベースクリップ値に基づき、ステップＳ５０４で輪郭抽出部３０１により抽出された輪郭部の微小変動部分を抑圧する。
【００３３】
そして、パラメータ生成部３０５は、抽出色領域選択部１２０から出力された抽出色領域情報に基づいて、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域であるか否かを判定する（ステップＳ５０９）。
この判定の結果、処理対象の領域が、抽出色領域選択部１２０により選択された領域である場合には、パラメータ生成部３０５は、高周波成分の振幅レベルを小さくすべく、ゲイン値として相対的に小さな値を選択する（ステップＳ５１０）。
【００３４】
次に、ゲイン調整部３０３は、ステップＳ５１０でパラメータ生成部３０５により選択されたゲイン値と、ステップＳ５０７で小振幅ノイズ抑圧部３０２によりノイズが除去された輪郭部の信号と乗算してゲイン調整を行う（ステップＳ５１１）。
一方、ステップＳ５０９において、処理対象の領域が、ステップＳ５０３で抽出色領域選択部１２０により選択された領域でない場合には、ゲイン値として相対的に大きな値を選択してステップＳ５１１に進む（ステップＳ５１２）。ステップＳ５１１では、ゲイン調整部３０３は、ステップＳ５１１でパラメータ生成部３０５により選択されたゲイン値と、ステップＳ５０７で小振幅ノイズ抑圧部３０２によりノイズが除去された輪郭部の信号と乗算してゲイン調整を行う
【００３５】
そして、加算器３０４は、色分離部１０４から出力された画像信号と、ゲイン調整部３０３でゲイン調整が行われた輪郭部とを加算する。これにより、輪郭部が強調された画像信号が出力される（ステップＳ５１３）。
次に、γ処理部１１１、リサイズ処理部１１２、ＮＲ処理部１１３、符号化処理部１１４、バッファ１１５、Ｉ／Ｆ部１２３を介して、輪郭部が調整された画像信号が出力される（ステップＳ５１４）。この画像信号は、撮像装置に装着されたリムーバルディスク等の記憶媒体に保存されたり、表示部１２２に表示されたりする。
【００３６】
以上のように本実施形態では、抽出色領域選択部１２０は、符号量制御部１１６で算出された抑圧符号量に基づいて、抑圧すべき符号量が大きい場合には、本来の特定色（例えば肌色）の領域よりも広い領域を選択する。一方、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域を選択する。これにより、画像信号の伝送レートを可及的に一定に保持することが可能になり、画像から色領域を抽出して周波数成分を制御した際に、伝送ビットレートに与える影響を低減することができる。
【００３７】
そして、小振幅ノイズ抑圧部３０２は、抽出色領域選択部１２０で選択された領域の輪郭部のノイズを積極的に除去する。更に、ゲイン調整部３０３は、抽出色領域選択部１２０で選択された領域の輪郭部に対するゲイン値を小さくして、輪郭部の変動のレベルを小さくする。
また、小振幅ノイズ抑圧部３０２は、抽出色領域選択部１２０で選択されていない領域の輪郭部についてはノイズ除去を低減する。更に、ゲイン調整部３０３は、抽出色領域選択部１２０で選択されていない領域の輪郭部についてはゲイン値を大きくして、輪郭部強調の度合を大きくする。
【００３８】
以上のように、抑圧すべき符号量（抑圧符号量）を抽出色領域選択部１２０にフィードバックする。そして、抑圧すべき符号量に基づいて、抑圧すべき符号量が大きい場合には、本来の特定色（例えば肌色）の領域よりも広い領域を選択し、抑圧すべき符号量が小さい（又はない）場合、抽出色領域選択部１２０は、本来の特定色（例えば肌色）の領域を選択する。そして、抽出色領域選択部１２０で選択された特定色の領域（例えば肌の領域）についてのみ高周波成分を抑圧して輪郭処理を行う。したがって、特定色の領域については輪郭強調が弱められ、高周波成分も抑圧されることになる。よって、しわ、吹き出物などが目立たなくすることができ、符号化した画像の画質が劣化することを簡易な構成で低減することができる。
【００３９】
また、符号量制御部１１６で算出された抑圧符号量が大きい程、高周波成分を抑圧する領域（抽出色領域選択部１２０が選択する領域）を大きくする。従って、符号化処理部１１４での量子化制御による画質低下を低減することができる。
また、ＣＣＤ１０２〜ＮＲ処理部１１３、色分布解析部１１９、及び抽出色領域選択部１２０では、１画素単位で処理することができる。したがって、ブロック単位（隣接する複数の画素からなるブロック単位）で発生する歪み（所謂ブロック歪み）等のノイズが発生することを低減することができる。
また、本実施形態では、輪郭処理部１０７に於いて、低周波成分については言及せず、そのまま加算器３０４で加算するようにしたが、この限りでは無い。例えば、加算器３０４の一方の信号の低周波成分を分離してゲイン補正をしても良い。
また、特定の色について処理する場合を例に挙げて説明したが、色相としても同様の処理を行うことができる。
【００４０】
（本発明の他の実施形態）
前述した本発明の実施形態における画像信号処理装置を構成する各手段、並びに画像信号処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４１】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００４３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００４５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００４６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００４７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００４８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００４９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００５０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００５１】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態を示し、撮像装置の全体構成の一例を示した図である。
【図２】本発明の実施形態を示し、抽出色領域選択部で選択される色領域の一例を示した図である。
【図３】本発明の実施形態を示し、輪郭処理部の構成の一例を詳細に示した図である。
【図４】本発明の実施形態を示し、図３に示した輪郭抽出部、小振幅ノイズ抑圧部、及びゲイン調整部における入出力波形の一例を示した図である。
【図５】本発明の実施形態を示し、画像から特定色の領域を抽出して周波数成分を制御する際の撮像装置の処理の一例を説明するフローチャートである。
【符号の説明】
【００５３】
１０１ レンズ
１０２ ＣＣＤ
１０４ 色分離部
１０７ 輪郭処理部
１１４ 符号化処理部
１１５ バッファ
１１６ 符号量制御部
１１９ 色分布解析部
１２０ 抽出色領域選択部
３０１ 輪郭抽出部
３０２ 小振幅ノイズ抑圧部
３０３ ゲイン調整部
３０４ 加算器
３０５ パラメータ生成部
【特許請求の範囲】
【請求項１】
画像信号の色の分布を解析する色分布解析手段と、
前記画像信号の中から特定の色が存在する領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された領域の画像信号に含まれる輪郭部を処理する輪郭処理手段と、
前記輪郭処理手段により輪郭部が処理された画像信号を符号化する符号化手段と、
前記符号化手段で符号化される画像信号の符号量の抑制値を算出する符号量制御手段とを有し、
前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値と、前記色分布解析手段により解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする画像信号処理装置。
【請求項２】
前記輪郭処理手段は、前記画像信号から、輪郭部を抽出する輪郭抽出手段と、
前記輪郭抽出手段により抽出された輪郭部の画像信号に含まれるノイズを抑制するノイズ抑制手段と、
前記輪郭抽出手段により抽出された輪郭部の画像信号のゲインを制御するゲイン制御手段とを有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記ノイズ抑制手段は、前記領域抽出手段により抽出された領域の画像信号に含まれるノイズを、前記領域抽出手段により抽出されなかった領域の画像信号に含まれるノイズよりも多く抑制し、
前記ゲイン制御手段は、前記領域抽出手段により抽出された領域の画像信号のゲインを、前記領域抽出手段により抽出されなかった領域の画像信号のゲインよりも小さくすることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値が所定の閾値よりも大きい場合の方が、前記符号量制御手段により算出された符号量の抑制値が所定の閾値以下である場合よりも、前記特定の色が存在する領域として広い領域を抽出することを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値が所定の閾値よりも大きい場合には、前記特定の色が存在する本来の領域よりも広い領域を前記特定の色が存在する領域として抽出し、前記符号量制御手段により算出された符号量の抑制値が所定の閾値以下の場合には、前記特定の色が存在する本来の領域を前記特定の色が存在する領域として抽出することを特徴とする請求項４に記載の画像信号処理装置。
【請求項６】
画像信号の色の分布を解析する色分布解析ステップと、
前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域の画像信号に含まれる輪郭部を処理する輪郭処理ステップと、
前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、
前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとを有し、
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする画像信号処理方法。
【請求項７】
前記輪郭処理ステップは、前記画像信号から、輪郭部を抽出する輪郭抽出ステップと、
前記輪郭抽出ステップにより抽出された輪郭部の画像信号に含まれるノイズを抑制するノイズ抑制ステップと、
前記輪郭抽出ステップにより抽出された輪郭部の画像信号のゲインを制御するゲイン制御ステップとを有することを特徴とする請求項６に記載の画像信号処理方法。
【請求項８】
前記ノイズ抑制ステップは、前記領域抽出ステップにより抽出された領域の画像信号に含まれるノイズを、前記領域抽出ステップにより抽出されなかった領域の画像信号に含まれるノイズよりも多く抑制し、
前記ゲイン制御ステップは、前記領域抽出ステップにより抽出された領域の画像信号のゲインを、前記領域抽出ステップにより抽出されなかった領域の画像信号のゲインよりも小さくすることを特徴とする請求項７に記載の画像信号処理方法。
【請求項９】
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値よりも大きい場合の方が、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値以下である場合よりも、前記特定の色が存在する領域として広い領域を抽出することを特徴とする請求項７に記載の画像信号処理方法。
【請求項１０】
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値よりも大きい場合には、前記特定の色が存在する本来の領域よりも広い領域を前記特定の色が存在する領域として抽出し、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値以下の場合には、前記特定の色が存在する本来の領域を前記特定の色が存在する領域として抽出することを特徴とする請求項９に記載の画像信号処理方法。
【請求項１１】
画像信号の色の分布を解析する色分布解析ステップと、
前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理ステップと、
前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、
前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとをコンピュータに実行させ、
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とするコンピュータプログラム。
【請求項１】
画像信号の色の分布を解析する色分布解析手段と、
前記画像信号の中から特定の色が存在する領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された領域の画像信号に含まれる輪郭部を処理する輪郭処理手段と、
前記輪郭処理手段により輪郭部が処理された画像信号を符号化する符号化手段と、
前記符号化手段で符号化される画像信号の符号量の抑制値を算出する符号量制御手段とを有し、
前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値と、前記色分布解析手段により解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする画像信号処理装置。
【請求項２】
前記輪郭処理手段は、前記画像信号から、輪郭部を抽出する輪郭抽出手段と、
前記輪郭抽出手段により抽出された輪郭部の画像信号に含まれるノイズを抑制するノイズ抑制手段と、
前記輪郭抽出手段により抽出された輪郭部の画像信号のゲインを制御するゲイン制御手段とを有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記ノイズ抑制手段は、前記領域抽出手段により抽出された領域の画像信号に含まれるノイズを、前記領域抽出手段により抽出されなかった領域の画像信号に含まれるノイズよりも多く抑制し、
前記ゲイン制御手段は、前記領域抽出手段により抽出された領域の画像信号のゲインを、前記領域抽出手段により抽出されなかった領域の画像信号のゲインよりも小さくすることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値が所定の閾値よりも大きい場合の方が、前記符号量制御手段により算出された符号量の抑制値が所定の閾値以下である場合よりも、前記特定の色が存在する領域として広い領域を抽出することを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
前記領域抽出手段は、前記符号量制御手段により算出された符号量の抑制値が所定の閾値よりも大きい場合には、前記特定の色が存在する本来の領域よりも広い領域を前記特定の色が存在する領域として抽出し、前記符号量制御手段により算出された符号量の抑制値が所定の閾値以下の場合には、前記特定の色が存在する本来の領域を前記特定の色が存在する領域として抽出することを特徴とする請求項４に記載の画像信号処理装置。
【請求項６】
画像信号の色の分布を解析する色分布解析ステップと、
前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域の画像信号に含まれる輪郭部を処理する輪郭処理ステップと、
前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、
前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとを有し、
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とする画像信号処理方法。
【請求項７】
前記輪郭処理ステップは、前記画像信号から、輪郭部を抽出する輪郭抽出ステップと、
前記輪郭抽出ステップにより抽出された輪郭部の画像信号に含まれるノイズを抑制するノイズ抑制ステップと、
前記輪郭抽出ステップにより抽出された輪郭部の画像信号のゲインを制御するゲイン制御ステップとを有することを特徴とする請求項６に記載の画像信号処理方法。
【請求項８】
前記ノイズ抑制ステップは、前記領域抽出ステップにより抽出された領域の画像信号に含まれるノイズを、前記領域抽出ステップにより抽出されなかった領域の画像信号に含まれるノイズよりも多く抑制し、
前記ゲイン制御ステップは、前記領域抽出ステップにより抽出された領域の画像信号のゲインを、前記領域抽出ステップにより抽出されなかった領域の画像信号のゲインよりも小さくすることを特徴とする請求項７に記載の画像信号処理方法。
【請求項９】
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値よりも大きい場合の方が、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値以下である場合よりも、前記特定の色が存在する領域として広い領域を抽出することを特徴とする請求項７に記載の画像信号処理方法。
【請求項１０】
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値よりも大きい場合には、前記特定の色が存在する本来の領域よりも広い領域を前記特定の色が存在する領域として抽出し、前記符号量制御ステップにより算出された符号量の抑制値が所定の閾値以下の場合には、前記特定の色が存在する本来の領域を前記特定の色が存在する領域として抽出することを特徴とする請求項９に記載の画像信号処理方法。
【請求項１１】
画像信号の色の分布を解析する色分布解析ステップと、
前記画像信号の中から特定の色が存在する領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域の画像信号に含まれるオブジェクトの輪郭部を処理する輪郭処理ステップと、
前記輪郭処理ステップにより輪郭部が処理された画像信号を符号化する符号化ステップと、
前記符号化ステップで符号化される画像信号の符号量の抑制値を算出する符号量制御ステップとをコンピュータに実行させ、
前記領域抽出ステップは、前記符号量制御ステップにより算出された符号量の抑制値と、前記色分布解析ステップにより解析された色の分布とに基づいて、前記画像信号の中から特定の色が存在する領域を抽出することを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−２５２５９８（Ｐ２００８−２５２５９８Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−９２１３５（Ｐ２００７−９２１３５）
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]