デジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラム
【課題】顔領域に対する後処理のために、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を好適に用いる。
【解決手段】輝度信号や色差信号を持つ固定長データを用いて顔検出処理とその処理により顔の可能性があると判断された領域に対して後処理を行なうシステムに適用することができるが、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加し、データ長を増やすのではなく、固定データ長を変えることなく後処理回路の仕様や性能に合わせ輝度、あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報をマージする。
【解決手段】輝度信号や色差信号を持つ固定長データを用いて顔検出処理とその処理により顔の可能性があると判断された領域に対して後処理を行なうシステムに適用することができるが、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加し、データ長を増やすのではなく、固定データ長を変えることなく後処理回路の仕様や性能に合わせ輝度、あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報をマージする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を行なうデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムに係り、特に、画像データの輝度信号及び色差信号を用いて顔領域の検出を行なうデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。また、最近では、デジタルカメラにも顔認識技術が搭載されるようになってきている。例えば検出した顔領域に対して輝度補正、色補正、アパーチャ補正といった後処理を行なったり、あるいは被写体検出若しくは被写体認識に基づく自動焦点合わせ（ＡＦ）や自動露光調整（ＡＥ）、自動画角設定、自動撮影といったカメラワークを自動化したりすることができる。
【０００３】
顔認識システムは、例えば、入力画像に含まれる顔画像の位置と大きさを検出する顔検出処理と、検出された顔画像から主要な顔パーツの位置を検出する顔パーツ検出処理と、顔パーツの位置に基づいて顔画像に位置合わせや回転の補正を行なって得られる照合画像と登録画像を照合して顔画像の識別（人物の特定）を行なう顔識別処理で構成される。
【０００４】
デジタルカメラなどでは、撮影したＲＧＢ画像信号から所定の計算式により輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換してから、ＪＰＥＧやＭＰＥＧなどの符号化圧縮処理が施される。また、このような撮影画像から輝度信号と式差信号を用いて顔検出を行なう方法が知られている。
【０００５】
まず、画像データの輝度信号（Ｙ）を用いてその周波数成分を処理することで、顔の位置と形状を判別することができる。例えば、極端に輝度信号の変化の大きい部分又は小さい部分を検出することで顔である可能性を判断する材料としたり、輪郭抽出することにより、その抽出された輪郭の大きさや形状などから顔である可能性を判断したりすることができる。続いて、色差信号（Ｃｂ、Ｃｒ）を用いて、色として図１１に示すようなＣｂ及びＣｒ座標空間において肌色と判断するため設定可能なＣｂ及びＣｒの値と入力画像のＣｂ、Ｃｒを比較し、肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なうことができる。
【０００６】
そして、デジタルカメラとしては、顔検出された後、その検出顔の領域に対して輝度補正、色補正、アパーチャ補正といった、デジタル画像の後処理を行なうことができる。また、顔領域を抽出して顔に適した符号化を行なうことにより、画質の改善や低ビットレ−トでの符号化が可能となる。
【０００７】
例えば、肌色として検出されるべき色相の条件を光源判定の誤差を許容するように可変設定している顔領域抽出方法について提案がなされている（例えば、特許文献１を参照のこと）。
【０００８】
また、Ｒ−Ｙ及びＢ−Ｙ色差信号の位相及び振幅に基づくメモリの出力と輝度信号のレベルとに応じて肌色領域を示す肌色検出信号を出力し、その肌色検出信号によってＲ−Ｙ及びＢ−Ｙ色差信号の利得を制御する映像信号処理装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００９】
このように顔領域の判定結果や肌色検出結果を基に顔領域に対して後処理を行なうシステムなどにおいては、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を用いる必要がある。
【００１０】
一方、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を行なうシステムは、一般に、バス接続されたＣＰＵやメモリ（ＲＡＭ、ＳＤＲＡＭ、ＤＤＲなど）などで構成されるアーキテクチャを備え、データの演算、転送、記録を行なう。しかしながら、このようなシステム・アーキテクチャ上で使用する画像データ（輝度、色差信号など）は有限なデータ長（ビット長）を持つので、輝度信号や色差信号の他に顔検出若しくは肌色検出の結果などを示す信号を追加すると、データ長の増加に伴い回路規模の増大を招来し、あるいはアーキテクチャを変更しなければならなくなる、といった弊害がある。
【００１１】
【特許文献１】特開２００４−１９２１２９号公報
【特許文献２】特開平１１−１４６４０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、画像データの輝度信号及び色差信号を用いて顔領域の検出を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、カムコーダやデジタルカメラにおける輝度補正や色補正、アパーチャ補正といった顔領域に対する後処理のために、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を好適に用いることができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像データを用いたデジタル信号処理を行なうデジタル信号処理装置であって、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
を具備することを特徴とするデジタル信号処理装置である。
【００１６】
最近、デジタルカメラなどに顔認識技術が搭載され、例えば検出した顔領域に対して輝度補正、色補正、アパーチャ補正といった後処理を行なうことができる。
【００１７】
撮影画像から輝度信号と式差信号を用いて顔検出を行なう方法が知られており、まず、画像データの輝度信号（Ｙ）を用いてその周波数成分を処理することで、顔の位置と形状を判別し、続いて、色差信号（Ｃｂ、Ｃｒ）を用いて肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なうことができる。
【００１８】
ところで、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を行なうシステムの多くは各回路コンポーネントがバス接続されたアーキテクチャを備えており、使用する画像データ（輝度、色差信号など）は有限なデータ長（ビット長）を持つ。このため、画像データから顔領域若しくは肌色領域の検出処理を行なった後に、固定データ長からなる輝度信号や色差信号の他に顔検出若しくは肌色検出の結果などを示す信号を追加すると、データ長の増加に伴い回路規模の増大を招来し、あるいはアーキテクチャを変更しなければならなくなる、という問題がある。
【００１９】
これに対し、本発明に係るデジタル信号処理装置では、顔又は肌色検出手段は、輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行なった後、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として、後段の後処理回路などに出力するようになっている。
【００２０】
本発明に係るデジタル信号処理装置によれば、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加してデータ長を増やすのではなく、固定データ長を一定としたまま後処理回路の仕様や性能に合わせて輝度信号あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報（輪郭、形状、肌色情報など）をマージするようになっている。
【００２１】
すなわち、本発明を顔検出若しくは顔認識などの処理において輝度信号並びに色差信号の固定長データにより必要な情報（顔領域判定や肌色検出の結果など）を検出する処理に適用すると、限られたデータ長に新たに処理された情報を既存のデータ部分に付加することで、データ長を変化させることなく、顔検出若しくは顔識別に有用な付加データを生成し転送することができる。これにより、システムのアーキテクチャの大幅な変更や、それに伴うハードウェアの回路規模増加を起こすことなく、検出された顔領域に対して補正などの後処理を行なうことが可能となる。
【００２２】
また、本発明の第２の側面は、画像データを用いたデジタル信号処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
として機能させるためのコンピュータ・プログラムである。
【００２３】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係るデジタル信号処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２４】
本発明によれば、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することができる。
【００２５】
また、本発明によれば、画像データの輝度信号及び色差信号を用いて顔領域の検出を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することができる。
【００２６】
また、本発明によれば、カムコーダやデジタルカメラにおける輝度補正や色補正、アパーチャ補正といった顔領域に対する後処理のために、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を好適に用いることができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することができる。
【００２７】
本発明に係るデジタル信号処理装置によれば、顔検出若しくは顔認識などの処理において輝度信号並びに色差信号の固定長データにより必要な情報（顔領域判定や肌色検出の結果など）を検出する処理において、限られたデータ長に新たに処理された情報を既存のデータ部分に付加することで、データ長を変化させることなく、顔検出若しくは顔識別に有用な付加データを生成し転送することができる。
【００２８】
本発明は、輝度信号や色差信号を持つ固定長データを用いて顔検出（若しくは顔認識）処理とその処理により顔の可能性があると判断された領域に対して後処理を行なうシステムに適用することができるが、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加してデータ長を増やすのではなく、固定データ長を一定としたまま後処理回路の仕様や性能に合わせて輝度信号あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報（輪郭、形状、肌色情報など）をマージするようになっている。これにより、システムのアーキテクチャの大幅な変更や、それに伴うハードウェアの回路規模増加を起こすことなく、検出された顔領域に対して補正などの後処理を行なうことが可能となる。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３１】
図１には、本発明の一実施形態に係るカメラ信号処理システムの構成を模式的に示している。同装置は、固体撮像素子などから得られた画像を信号処理して得られるＲＧＢ画像信号に基づいて、輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）を出力し、さらに顔検出を行なうとともに、顔検出結果に基づいて輝度補正、色補正、アパーチャ補正といった後処理を行なうように構成されている。以下、各部について説明する。
【００３２】
センサ１は、ＣＣＤやＣＭＯＳなどの固体撮像素子が利用される。光電変換効果を持つ各画素が２次元に配列され、受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。
【００３３】
センサ１からの画素信号は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路２にてセンサ１から受ける信号の低雑音を高精度に抑圧し、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）３により適正なゲイン・コントロールをかけた後、ＡＤ変換器４によりデジタル信号に変換する。
【００３４】
続くカメラ信号処理回路５では、ＡＷＢ、γ補正、色空間変換といった、デジタル画像データに対するデジタル信号処理を行なう。ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）によりホワイトバランス・ゲインを掛けて適正な色状態を再現し、デモザイク処理してＲＧＢ画面信号を作成する。また、ＲＧＢγ補正をかけて、ＲＧＢ信号をモニタなどで撮影画像を出力する際に階調を正しく再現させるために階調変換を行なうようにしてもよい。そして、Ｙマトリクス計算並びにＣマトリクス計算を実行することによって、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換して、それぞれ固定データ長からなる輝度信号及び色差信号を出力する。
【００３５】
顔又は肌色検出回路６は、輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行なう。まず、画像データの輝度信号（Ｙ）を用いてその周波数成分を処理することで、顔の位置と形状を判別する。続いて、色差信号（Ｃｂ、Ｃｒ）を用いて、色として図１１に示すようなＣｂ及びＣｒ座標空間において肌色と判断するため設定可能なＣｂ及びＣｒの値と入力画像のＣｂ、Ｃｒを比較し、肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なう。
【００３６】
なお、本出願人に既に譲渡されている特願２００７−１６７４１５号明細書には、輝度信号及び色差信号を用いて顔検出を行なう画像処理装置について開示されているで、参照されたい。
【００３７】
顔後段処理回路７は、入力画像データのうち顔又は肌色検出回路６によって検出された顔領域に対して、輝度補正、色補正、アパーチャ補正といった、デジタル画像の後処理を行なう。
【００３８】
顔後段処理回路７によって後処理を施した後のＹＣｒＣｂ画像信号は、モニタ・ディスプレイ（図示しないが、デジタルカメラに備えられた表示パネル、並びにテレビ画面への外部出力を含む）などの表示系で表示出力され、あるいはＪＰＥＧやＭＰＥＧといった適切な画像符号化圧縮を施した後、記録画像としてフラッシュメモリやハード・ディスクなどのメディア（いずれも図示しない）に記録される。また、後処理した後の画像信号から得られる被写体検出若しくは被写体認識の情報に基づいて、自動焦点合わせ（ＡＦ）や自動露光調整（ＡＥ）、自動画角設定、自動撮影といったカメラワークの自動化のための制御を行なうことができる。
【００３９】
なお、図面の錯綜を回避するために図１では省略しているが、カメラ信号処理回路５や顔又は肌色検出回路６は、必要に応じて画像情報を記録するためのメモリや、各回路の制御を司るマイクロコンピュータとの接続を配設するようにしてもよい。
【００４０】
図１に示したカメラ信号処理システムにおいて、カメラ信号処理回路５から顔後段処理回路７までの間に着目すると、輝度信号（Ｙ）、色差信号（Ｃｒ、Ｃｂ）は有限なデータ長を持つ。図２には、カメラ信号処理回路５から顔後段処理回路７までの間の経路を示している。
【００４１】
図２に示す回路例では、輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）は有限固定長のビット幅として各８ビットのデータ［７：０］で記述する。カメラ信号処理回路５は、ＲＧＢ画像信号を色空間変換して、各８ビットのデータ［７：０］から輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）を顔又は肌色検出回路６に出力する。
【００４２】
また、顔又は肌色検出回路６は、これら有限固定長の８ビット幅からなる輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）を基に、画像データから顔領域を検出する。そして、顔又は肌色検出回路６は、それぞれ有限固定長の８ビット幅からなる輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）に加えて、顔領域判定若しくは肌色検出の結果を示す１ビット幅（若しくは数ビット幅）のＦａｃｅ信号を、顔後段処理回路７に出力する。図３には、顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。
【００４３】
顔後段処理回路７は、輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）と、顔検出を示すＦａｃｅ信号を情報として使用して、輝度補正、色補正、アパーチャ補正といった、デジタル画像の後処理を行なう。
【００４４】
ここで、カメラ信号処理回路５と、顔又は肌色検出回路６、及び顔後段処理回路６の間の信号接続が、実際には固定データ長のバスを介したＣＰＵと画像記録メモリ（いずれも図示しない）間のやり取りとなるアーキテクチャであるとし、且つ、そのハードウェア構成が２４ビット幅のデータ長を前提としたとする。このような場合、各８ビット長の輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）に加えて、顔又は肌色検出回路６において１ビット（若しくは数ビット）幅のＦａｃｅ信号が加わると、大幅な回路増加、あるいはアーキテクチャの変更が必要となる可能性があり、言い換えればコスト増大を招来する。
【００４５】
図４には、カメラ信号処理回路５から顔後段処理回路７までの間の経路の他の構成例を示している。図２との主な相違は、輝度信号Ｙ［７：０］の最下位１ビットＹ［０］を削除し、そこにＦａｃｅ信号をマージしている点にある。すなわち、ハードウェア構成が２４ビット幅のデータ長とするアーキテクチャに抵触しないことから、顔又は肌色検出回路６が顔領域判定若しくは肌色検出結果に関する情報を出力したとしても、ハードウェア構成として変更する必要がない。
【００４６】
見かけ上は、カメラ信号処理回路５から出力される輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）の合計２４ビット幅となるが、顔又は肌色検出回路６の出力２４ビットの中にはＦａｃｅ信号がマージされているので、顔後段処理回路７に対しては、輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）に加えて顔領域判定若しくは肌色検出結果に関する情報を供給することができる。
【００４７】
図５には、図４の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。同図では、全体のビット長を顔又は肌色検出回路６に入力される輝度信号及び色差信号のビット長の合計と同じ２４ビットとなることを前提にしている。図示の例では、輝度信号（Ｙ）のデータのうち最下位１ビットが削除され、同ビット位置に顔又は肌色検出回路６における顔領域判定若しくは肌色検出結果に関する情報を示すＦａｃｅ信号がマージされている。
【００４８】
この場合、顔後段処理回路７では、使用する輝度情報が減ることになるので、顔後段処理回路７では輝度信号（Ｙ）の最下位ビットの情報が必要ではない、あるいは顔後段処理の性能に影響がないことが前提となる。また、顔後段処理に必要がない、又は性能に影響がないという条件を満たしていれば、輝度信号（Ｙ）で削減するビット数を増やし、その分だけマージするＦａｃｅ信号のビット長を拡張することができる。また、顔又は肌色検出回路６が削減する輝度信号（Ｙ）のビット長（若しくはマージするＦａｃｅ信号のビット長）を固定にしてもよいし、顔後段処理回路７の条件に応じて可変にしてもよい。いずれにせよ、顔又は肌色検出回路６から出力する信号全体でビット長が固定であることが保証されていればよい。
【００４９】
また、図６には、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示している。図示の例では、顔後段処理回路７は輝度信号のみを用いて顔後段処理を行なうことから、顔又は肌色検出回路６は、輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）をそれぞれ８ビットずつ出力するのではなく、それぞれ８ビット長の３画素分の輝度信号（Ｙ０、Ｙ１、Ｙ２）を出力するようになっている。そして、各画素の輝度信号（Ｙ０、Ｙ１、Ｙ２）の最下位１ビットＹ０［０］、Ｙ１［０］、及びＹ２［０］を削除し、これら最下位ビット位置に各画素についてのＦａｃｅ信号（Ｆａｃｅ０、Ｆａｃｅ１、Ｆａｃｅ２）をそれぞれマージしている。この場合も、ハードウェア構成が２４ビット幅のデータ長とするアーキテクチャに抵触しないことから、顔又は肌色検出回路６が顔領域判定若しくは肌色検出結果に関する情報を出力したとしても、ハードウェア構成として変更する必要がない。
【００５０】
図７には、図６の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。図示の例では、３画素分の各輝度信号（Ｙ０、Ｙ１、Ｙ２）のデータのうち最下位１ビット（Ｙ０［０］、Ｙ１［０］、Ｙ２［０］）が削除され、これらのビット位置にはそれぞれに対応する画素についてのＦａｃｅ信号（Ｆａｃｅ０、Ｆａｃｅ１、Ｆａｃｅ２）がマージされている。
【００５１】
この場合、顔後段処理回路７では、画素毎に使用する輝度情報が減ることになるので、顔後段処理回路７では輝度信号（Ｙ）の最下位ビットの情報が必要ではない、あるいは顔後段処理の性能に影響がないことが前提となる。また、顔後段処理に必要がない、又は性能に影響がないという条件を満たしていれば、各画素について輝度信号（Ｙ）で削減するビット数をそれぞれ増やし、その分だけマージする画素毎のＦａｃｅ信号のビット長を拡張することができる。また、顔又は肌色検出回路６が削減する輝度信号（Ｙ）のビット長（若しくはマージするＦａｃｅ信号のビット長）を固定にしてもよいし、顔後段処理回路７の条件に応じて可変にしてもよい。いずれにせよ、顔又は肌色検出回路６から出力する信号全体でビット長が固定であることが保証されていればよい。
【００５２】
また、図８には、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示している。図示の例では、顔後段処理回路７は色差信号（Ｃｒ、Ｃｂ）の最下位１ビットは顔後段処理に必要ない若しくは性能に影響を与えないことから、顔又は肌色検出回路６は、輝度信号（Ｙ）は８ビット長で出力するが、各色差信号の最下位１ビットＣｒ［０］及びＣｂ［０］をともに削除し、詰めた上で、顔領域判定若しくは肌色検出結果に関する情報を２ビット長の信号Ｆａｃｅ［１：０］を全出力２４ビットのうち上位２ビットにマージしている。この場合も、ハードウェア構成が２４ビット幅のデータ長とするアーキテクチャに抵触しないことから、顔又は肌色検出回路６が顔領域判定若しくは肌色検出結果に関する情報を出力したとしても、ハードウェア構成として変更する必要がない。
【００５３】
図８が、図４及び図６に示した例と相違する主な点は、顔領域判定若しくは肌色検出結果に関する情報が１ビットから２ビットに拡張されているところにある。Ｆａｃｅ信号が１ビットであると、該当する画素が顔であるかあるいは層でないかを０又は１の値で示すフラグの役割として使用される。これに対し、Ｆａｃｅ信号が２ビット長である場合には、顔として検出されたことの有無に加え、検出された部分が顔領域である可能性があり、且つ肌色の種類（人種）であることや、顔の大きさや形状などのような情報も付加することが可能となる。
【００５４】
例えば、２ビットの信号Ｆａｃｅ［１：０］の上位１ビットＦａｃｅ［１］は顔の有無を示すフラグとし、下位１ビットは肌色のレベルの相違（黒に近い肌色、白に近い肌色など）の情報に使用することなどが考えられる。この例では、Ｆａｃｅ［１：０］の場合を示しているが、本発明の要旨はＦａｃｅ信号が２ビット超であることに限定されるものではなく、顔後段処理回路７の仕様や性能に応じて必要とする顔や肌色の情報量が異なる。また、輝度信号（Ｙ）のデータではなく、色差信号（Ｃｒ、Ｃｂ）の各最下位から１ビットずつを削減している点に関しても顔後段処理回路７の必要とする仕様や性能に応じて削除データ幅を決定すればよい。
【００５５】
図９には、図８の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。図示の例では、輝度信号（Ｙ）は８ビット長のまま出力するが、各色差信号（Ｃｒ、Ｃｂ）のデータのうち最下位１ビットがそれぞれ削除され、詰めた上で２ビット長の信号Ｆａｃｅ［１：０］を全出力２４ビットのうち上位２ビットにマージしている。
【００５６】
この場合、顔後段処理回路７では、使用する色差情報が減ることになるので、顔後段処理回路７では色差信号（Ｃｒ、Ｃｂ）の最下位ビットの情報が必要ではない、あるいは顔後段処理の性能に影響がないことが前提となる。また、顔後段処理に必要がない、又は性能に影響がないという条件を満たしていれば、各色差信号（Ｃｒ、Ｃｂ）で削減するビット数を増やし、その分だけマージするＦａｃｅ信号のビット長を拡張することができる。また、顔又は肌色検出回路６が削減する各色差信号（Ｃｒ、Ｃｂ）のビット長（若しくはマージするＦａｃｅ信号のビット長）を固定にしてもよいし、顔後段処理回路７の条件に応じて可変にしてもよい。いずれにせよ、顔又は肌色検出回路６から出力する信号全体でビット長が固定であることが保証されていればよい。
【００５７】
これまで説明してきたデータ・アラインメント例では、顔又は肌色検出回路６の出力として輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）、顔検出信号（Ｆａｃｅ）の全体で２４ビットのシステムとして説明してきたが、本発明の要旨はこれに限定されるものではなく、顔後段処理回路７などに依存して全体のビット長が決定される。図１０には、全体で６４ビット長としたデータ・アラインメント例を示している。
【産業上の利用可能性】
【００５８】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００５９】
本発明は、輝度信号や色差信号を持つ固定長データを用いて顔検出（若しくは顔認識）処理とその処理により顔の可能性があると判断された領域に対して後処理を行なうシステムに適用することができる。その際、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加してデータ長を増やすのではなく、固定データ長を一定としたまま後処理回路の仕様や性能に合わせて輝度信号あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報（輪郭、形状、肌色情報など）をマージするので、システムのアーキテクチャの大幅な変更や、それに伴うハードウェアの回路規模増加を起こすことなく、検出された顔領域に対して補正などの後処理を行なうことが可能となる。
【００６０】
例えば、本発明は、カムコーダ、デジタルカメラ、あるいは携帯付きカメラにおけるデジタル信号処理において、顔検出、認識を輝度、色差信号を用いて輪郭、形状や肌色などから顔領域を検出し、その領域に対して補正などを行なう処理部、又はその周辺回路に適用することができる。
【００６１】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００６２】
【図１】図１は、本発明の一実施形態に係るカメラ信号処理システムの構成を模式的に示した図である。
【図２】図２は、カメラ信号処理回路５から顔後段処理回路７までの間の経路を示した図である。
【図３】図３は、図２の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図４】図４は、カメラ信号処理回路５から顔後段処理回路７までの間の経路の他の構成例を示した図である。
【図５】図５は、図４の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図６】図６は、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示した図である。
【図７】図７は、図６の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図８】図８は、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示した図である。
【図９】図９は、図８の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図１０】図１０は、全体で６４ビットとなるシステムにおけるデータ・アラインメント例を示した図である。
【図１１】図１１は、Ｃｂ及びＣｒ座標空間において肌色と判断するため設定可能なＣｂ及びＣｒの値と入力画像のＣｂ、Ｃｒを比較し、肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なう処理を説明するための図である
【符号の説明】
【００６３】
１…センサ
２…ＣＤＳ（相関二重サンプリング）回路
３…ＡＧＣ（自動利得制御回路）
４…ＡＤ変換器
５…カメラ信号処理回路
６…顔又は肌色検出回路
７…顔後段処理回路
【技術分野】
【０００１】
本発明は、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を行なうデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムに係り、特に、画像データの輝度信号及び色差信号を用いて顔領域の検出を行なうデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。また、最近では、デジタルカメラにも顔認識技術が搭載されるようになってきている。例えば検出した顔領域に対して輝度補正、色補正、アパーチャ補正といった後処理を行なったり、あるいは被写体検出若しくは被写体認識に基づく自動焦点合わせ（ＡＦ）や自動露光調整（ＡＥ）、自動画角設定、自動撮影といったカメラワークを自動化したりすることができる。
【０００３】
顔認識システムは、例えば、入力画像に含まれる顔画像の位置と大きさを検出する顔検出処理と、検出された顔画像から主要な顔パーツの位置を検出する顔パーツ検出処理と、顔パーツの位置に基づいて顔画像に位置合わせや回転の補正を行なって得られる照合画像と登録画像を照合して顔画像の識別（人物の特定）を行なう顔識別処理で構成される。
【０００４】
デジタルカメラなどでは、撮影したＲＧＢ画像信号から所定の計算式により輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換してから、ＪＰＥＧやＭＰＥＧなどの符号化圧縮処理が施される。また、このような撮影画像から輝度信号と式差信号を用いて顔検出を行なう方法が知られている。
【０００５】
まず、画像データの輝度信号（Ｙ）を用いてその周波数成分を処理することで、顔の位置と形状を判別することができる。例えば、極端に輝度信号の変化の大きい部分又は小さい部分を検出することで顔である可能性を判断する材料としたり、輪郭抽出することにより、その抽出された輪郭の大きさや形状などから顔である可能性を判断したりすることができる。続いて、色差信号（Ｃｂ、Ｃｒ）を用いて、色として図１１に示すようなＣｂ及びＣｒ座標空間において肌色と判断するため設定可能なＣｂ及びＣｒの値と入力画像のＣｂ、Ｃｒを比較し、肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なうことができる。
【０００６】
そして、デジタルカメラとしては、顔検出された後、その検出顔の領域に対して輝度補正、色補正、アパーチャ補正といった、デジタル画像の後処理を行なうことができる。また、顔領域を抽出して顔に適した符号化を行なうことにより、画質の改善や低ビットレ−トでの符号化が可能となる。
【０００７】
例えば、肌色として検出されるべき色相の条件を光源判定の誤差を許容するように可変設定している顔領域抽出方法について提案がなされている（例えば、特許文献１を参照のこと）。
【０００８】
また、Ｒ−Ｙ及びＢ−Ｙ色差信号の位相及び振幅に基づくメモリの出力と輝度信号のレベルとに応じて肌色領域を示す肌色検出信号を出力し、その肌色検出信号によってＲ−Ｙ及びＢ−Ｙ色差信号の利得を制御する映像信号処理装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００９】
このように顔領域の判定結果や肌色検出結果を基に顔領域に対して後処理を行なうシステムなどにおいては、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を用いる必要がある。
【００１０】
一方、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を行なうシステムは、一般に、バス接続されたＣＰＵやメモリ（ＲＡＭ、ＳＤＲＡＭ、ＤＤＲなど）などで構成されるアーキテクチャを備え、データの演算、転送、記録を行なう。しかしながら、このようなシステム・アーキテクチャ上で使用する画像データ（輝度、色差信号など）は有限なデータ長（ビット長）を持つので、輝度信号や色差信号の他に顔検出若しくは肌色検出の結果などを示す信号を追加すると、データ長の増加に伴い回路規模の増大を招来し、あるいはアーキテクチャを変更しなければならなくなる、といった弊害がある。
【００１１】
【特許文献１】特開２００４−１９２１２９号公報
【特許文献２】特開平１１−１４６４０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、画像データの輝度信号及び色差信号を用いて顔領域の検出を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、カムコーダやデジタルカメラにおける輝度補正や色補正、アパーチャ補正といった顔領域に対する後処理のために、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を好適に用いることができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像データを用いたデジタル信号処理を行なうデジタル信号処理装置であって、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
を具備することを特徴とするデジタル信号処理装置である。
【００１６】
最近、デジタルカメラなどに顔認識技術が搭載され、例えば検出した顔領域に対して輝度補正、色補正、アパーチャ補正といった後処理を行なうことができる。
【００１７】
撮影画像から輝度信号と式差信号を用いて顔検出を行なう方法が知られており、まず、画像データの輝度信号（Ｙ）を用いてその周波数成分を処理することで、顔の位置と形状を判別し、続いて、色差信号（Ｃｂ、Ｃｒ）を用いて肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なうことができる。
【００１８】
ところで、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を行なうシステムの多くは各回路コンポーネントがバス接続されたアーキテクチャを備えており、使用する画像データ（輝度、色差信号など）は有限なデータ長（ビット長）を持つ。このため、画像データから顔領域若しくは肌色領域の検出処理を行なった後に、固定データ長からなる輝度信号や色差信号の他に顔検出若しくは肌色検出の結果などを示す信号を追加すると、データ長の増加に伴い回路規模の増大を招来し、あるいはアーキテクチャを変更しなければならなくなる、という問題がある。
【００１９】
これに対し、本発明に係るデジタル信号処理装置では、顔又は肌色検出手段は、輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行なった後、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として、後段の後処理回路などに出力するようになっている。
【００２０】
本発明に係るデジタル信号処理装置によれば、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加してデータ長を増やすのではなく、固定データ長を一定としたまま後処理回路の仕様や性能に合わせて輝度信号あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報（輪郭、形状、肌色情報など）をマージするようになっている。
【００２１】
すなわち、本発明を顔検出若しくは顔認識などの処理において輝度信号並びに色差信号の固定長データにより必要な情報（顔領域判定や肌色検出の結果など）を検出する処理に適用すると、限られたデータ長に新たに処理された情報を既存のデータ部分に付加することで、データ長を変化させることなく、顔検出若しくは顔識別に有用な付加データを生成し転送することができる。これにより、システムのアーキテクチャの大幅な変更や、それに伴うハードウェアの回路規模増加を起こすことなく、検出された顔領域に対して補正などの後処理を行なうことが可能となる。
【００２２】
また、本発明の第２の側面は、画像データを用いたデジタル信号処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
として機能させるためのコンピュータ・プログラムである。
【００２３】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係るデジタル信号処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２４】
本発明によれば、カムコーダやデジタルカメラ（カメラ付携帯電話を含む）のような、画像データを用いたデジタル信号処理を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することができる。
【００２５】
また、本発明によれば、画像データの輝度信号及び色差信号を用いて顔領域の検出を好適に行なうことができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することができる。
【００２６】
また、本発明によれば、カムコーダやデジタルカメラにおける輝度補正や色補正、アパーチャ補正といった顔領域に対する後処理のために、画像の輝度信号や色差信号に加えて、顔検出で顔と判断されたことを示す信号を好適に用いることができる、優れたデジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラムを提供することができる。
【００２７】
本発明に係るデジタル信号処理装置によれば、顔検出若しくは顔認識などの処理において輝度信号並びに色差信号の固定長データにより必要な情報（顔領域判定や肌色検出の結果など）を検出する処理において、限られたデータ長に新たに処理された情報を既存のデータ部分に付加することで、データ長を変化させることなく、顔検出若しくは顔識別に有用な付加データを生成し転送することができる。
【００２８】
本発明は、輝度信号や色差信号を持つ固定長データを用いて顔検出（若しくは顔認識）処理とその処理により顔の可能性があると判断された領域に対して後処理を行なうシステムに適用することができるが、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加してデータ長を増やすのではなく、固定データ長を一定としたまま後処理回路の仕様や性能に合わせて輝度信号あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報（輪郭、形状、肌色情報など）をマージするようになっている。これにより、システムのアーキテクチャの大幅な変更や、それに伴うハードウェアの回路規模増加を起こすことなく、検出された顔領域に対して補正などの後処理を行なうことが可能となる。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３１】
図１には、本発明の一実施形態に係るカメラ信号処理システムの構成を模式的に示している。同装置は、固体撮像素子などから得られた画像を信号処理して得られるＲＧＢ画像信号に基づいて、輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂなど）を出力し、さらに顔検出を行なうとともに、顔検出結果に基づいて輝度補正、色補正、アパーチャ補正といった後処理を行なうように構成されている。以下、各部について説明する。
【００３２】
センサ１は、ＣＣＤやＣＭＯＳなどの固体撮像素子が利用される。光電変換効果を持つ各画素が２次元に配列され、受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。
【００３３】
センサ１からの画素信号は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路２にてセンサ１から受ける信号の低雑音を高精度に抑圧し、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）３により適正なゲイン・コントロールをかけた後、ＡＤ変換器４によりデジタル信号に変換する。
【００３４】
続くカメラ信号処理回路５では、ＡＷＢ、γ補正、色空間変換といった、デジタル画像データに対するデジタル信号処理を行なう。ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）によりホワイトバランス・ゲインを掛けて適正な色状態を再現し、デモザイク処理してＲＧＢ画面信号を作成する。また、ＲＧＢγ補正をかけて、ＲＧＢ信号をモニタなどで撮影画像を出力する際に階調を正しく再現させるために階調変換を行なうようにしてもよい。そして、Ｙマトリクス計算並びにＣマトリクス計算を実行することによって、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換して、それぞれ固定データ長からなる輝度信号及び色差信号を出力する。
【００３５】
顔又は肌色検出回路６は、輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行なう。まず、画像データの輝度信号（Ｙ）を用いてその周波数成分を処理することで、顔の位置と形状を判別する。続いて、色差信号（Ｃｂ、Ｃｒ）を用いて、色として図１１に示すようなＣｂ及びＣｒ座標空間において肌色と判断するため設定可能なＣｂ及びＣｒの値と入力画像のＣｂ、Ｃｒを比較し、肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なう。
【００３６】
なお、本出願人に既に譲渡されている特願２００７−１６７４１５号明細書には、輝度信号及び色差信号を用いて顔検出を行なう画像処理装置について開示されているで、参照されたい。
【００３７】
顔後段処理回路７は、入力画像データのうち顔又は肌色検出回路６によって検出された顔領域に対して、輝度補正、色補正、アパーチャ補正といった、デジタル画像の後処理を行なう。
【００３８】
顔後段処理回路７によって後処理を施した後のＹＣｒＣｂ画像信号は、モニタ・ディスプレイ（図示しないが、デジタルカメラに備えられた表示パネル、並びにテレビ画面への外部出力を含む）などの表示系で表示出力され、あるいはＪＰＥＧやＭＰＥＧといった適切な画像符号化圧縮を施した後、記録画像としてフラッシュメモリやハード・ディスクなどのメディア（いずれも図示しない）に記録される。また、後処理した後の画像信号から得られる被写体検出若しくは被写体認識の情報に基づいて、自動焦点合わせ（ＡＦ）や自動露光調整（ＡＥ）、自動画角設定、自動撮影といったカメラワークの自動化のための制御を行なうことができる。
【００３９】
なお、図面の錯綜を回避するために図１では省略しているが、カメラ信号処理回路５や顔又は肌色検出回路６は、必要に応じて画像情報を記録するためのメモリや、各回路の制御を司るマイクロコンピュータとの接続を配設するようにしてもよい。
【００４０】
図１に示したカメラ信号処理システムにおいて、カメラ信号処理回路５から顔後段処理回路７までの間に着目すると、輝度信号（Ｙ）、色差信号（Ｃｒ、Ｃｂ）は有限なデータ長を持つ。図２には、カメラ信号処理回路５から顔後段処理回路７までの間の経路を示している。
【００４１】
図２に示す回路例では、輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）は有限固定長のビット幅として各８ビットのデータ［７：０］で記述する。カメラ信号処理回路５は、ＲＧＢ画像信号を色空間変換して、各８ビットのデータ［７：０］から輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）を顔又は肌色検出回路６に出力する。
【００４２】
また、顔又は肌色検出回路６は、これら有限固定長の８ビット幅からなる輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）を基に、画像データから顔領域を検出する。そして、顔又は肌色検出回路６は、それぞれ有限固定長の８ビット幅からなる輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）に加えて、顔領域判定若しくは肌色検出の結果を示す１ビット幅（若しくは数ビット幅）のＦａｃｅ信号を、顔後段処理回路７に出力する。図３には、顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。
【００４３】
顔後段処理回路７は、輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）と、顔検出を示すＦａｃｅ信号を情報として使用して、輝度補正、色補正、アパーチャ補正といった、デジタル画像の後処理を行なう。
【００４４】
ここで、カメラ信号処理回路５と、顔又は肌色検出回路６、及び顔後段処理回路６の間の信号接続が、実際には固定データ長のバスを介したＣＰＵと画像記録メモリ（いずれも図示しない）間のやり取りとなるアーキテクチャであるとし、且つ、そのハードウェア構成が２４ビット幅のデータ長を前提としたとする。このような場合、各８ビット長の輝度信号（Ｙ）、並びに色差信号（Ｃｂ、Ｃｒ）に加えて、顔又は肌色検出回路６において１ビット（若しくは数ビット）幅のＦａｃｅ信号が加わると、大幅な回路増加、あるいはアーキテクチャの変更が必要となる可能性があり、言い換えればコスト増大を招来する。
【００４５】
図４には、カメラ信号処理回路５から顔後段処理回路７までの間の経路の他の構成例を示している。図２との主な相違は、輝度信号Ｙ［７：０］の最下位１ビットＹ［０］を削除し、そこにＦａｃｅ信号をマージしている点にある。すなわち、ハードウェア構成が２４ビット幅のデータ長とするアーキテクチャに抵触しないことから、顔又は肌色検出回路６が顔領域判定若しくは肌色検出結果に関する情報を出力したとしても、ハードウェア構成として変更する必要がない。
【００４６】
見かけ上は、カメラ信号処理回路５から出力される輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）の合計２４ビット幅となるが、顔又は肌色検出回路６の出力２４ビットの中にはＦａｃｅ信号がマージされているので、顔後段処理回路７に対しては、輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）に加えて顔領域判定若しくは肌色検出結果に関する情報を供給することができる。
【００４７】
図５には、図４の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。同図では、全体のビット長を顔又は肌色検出回路６に入力される輝度信号及び色差信号のビット長の合計と同じ２４ビットとなることを前提にしている。図示の例では、輝度信号（Ｙ）のデータのうち最下位１ビットが削除され、同ビット位置に顔又は肌色検出回路６における顔領域判定若しくは肌色検出結果に関する情報を示すＦａｃｅ信号がマージされている。
【００４８】
この場合、顔後段処理回路７では、使用する輝度情報が減ることになるので、顔後段処理回路７では輝度信号（Ｙ）の最下位ビットの情報が必要ではない、あるいは顔後段処理の性能に影響がないことが前提となる。また、顔後段処理に必要がない、又は性能に影響がないという条件を満たしていれば、輝度信号（Ｙ）で削減するビット数を増やし、その分だけマージするＦａｃｅ信号のビット長を拡張することができる。また、顔又は肌色検出回路６が削減する輝度信号（Ｙ）のビット長（若しくはマージするＦａｃｅ信号のビット長）を固定にしてもよいし、顔後段処理回路７の条件に応じて可変にしてもよい。いずれにせよ、顔又は肌色検出回路６から出力する信号全体でビット長が固定であることが保証されていればよい。
【００４９】
また、図６には、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示している。図示の例では、顔後段処理回路７は輝度信号のみを用いて顔後段処理を行なうことから、顔又は肌色検出回路６は、輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）をそれぞれ８ビットずつ出力するのではなく、それぞれ８ビット長の３画素分の輝度信号（Ｙ０、Ｙ１、Ｙ２）を出力するようになっている。そして、各画素の輝度信号（Ｙ０、Ｙ１、Ｙ２）の最下位１ビットＹ０［０］、Ｙ１［０］、及びＹ２［０］を削除し、これら最下位ビット位置に各画素についてのＦａｃｅ信号（Ｆａｃｅ０、Ｆａｃｅ１、Ｆａｃｅ２）をそれぞれマージしている。この場合も、ハードウェア構成が２４ビット幅のデータ長とするアーキテクチャに抵触しないことから、顔又は肌色検出回路６が顔領域判定若しくは肌色検出結果に関する情報を出力したとしても、ハードウェア構成として変更する必要がない。
【００５０】
図７には、図６の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。図示の例では、３画素分の各輝度信号（Ｙ０、Ｙ１、Ｙ２）のデータのうち最下位１ビット（Ｙ０［０］、Ｙ１［０］、Ｙ２［０］）が削除され、これらのビット位置にはそれぞれに対応する画素についてのＦａｃｅ信号（Ｆａｃｅ０、Ｆａｃｅ１、Ｆａｃｅ２）がマージされている。
【００５１】
この場合、顔後段処理回路７では、画素毎に使用する輝度情報が減ることになるので、顔後段処理回路７では輝度信号（Ｙ）の最下位ビットの情報が必要ではない、あるいは顔後段処理の性能に影響がないことが前提となる。また、顔後段処理に必要がない、又は性能に影響がないという条件を満たしていれば、各画素について輝度信号（Ｙ）で削減するビット数をそれぞれ増やし、その分だけマージする画素毎のＦａｃｅ信号のビット長を拡張することができる。また、顔又は肌色検出回路６が削減する輝度信号（Ｙ）のビット長（若しくはマージするＦａｃｅ信号のビット長）を固定にしてもよいし、顔後段処理回路７の条件に応じて可変にしてもよい。いずれにせよ、顔又は肌色検出回路６から出力する信号全体でビット長が固定であることが保証されていればよい。
【００５２】
また、図８には、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示している。図示の例では、顔後段処理回路７は色差信号（Ｃｒ、Ｃｂ）の最下位１ビットは顔後段処理に必要ない若しくは性能に影響を与えないことから、顔又は肌色検出回路６は、輝度信号（Ｙ）は８ビット長で出力するが、各色差信号の最下位１ビットＣｒ［０］及びＣｂ［０］をともに削除し、詰めた上で、顔領域判定若しくは肌色検出結果に関する情報を２ビット長の信号Ｆａｃｅ［１：０］を全出力２４ビットのうち上位２ビットにマージしている。この場合も、ハードウェア構成が２４ビット幅のデータ長とするアーキテクチャに抵触しないことから、顔又は肌色検出回路６が顔領域判定若しくは肌色検出結果に関する情報を出力したとしても、ハードウェア構成として変更する必要がない。
【００５３】
図８が、図４及び図６に示した例と相違する主な点は、顔領域判定若しくは肌色検出結果に関する情報が１ビットから２ビットに拡張されているところにある。Ｆａｃｅ信号が１ビットであると、該当する画素が顔であるかあるいは層でないかを０又は１の値で示すフラグの役割として使用される。これに対し、Ｆａｃｅ信号が２ビット長である場合には、顔として検出されたことの有無に加え、検出された部分が顔領域である可能性があり、且つ肌色の種類（人種）であることや、顔の大きさや形状などのような情報も付加することが可能となる。
【００５４】
例えば、２ビットの信号Ｆａｃｅ［１：０］の上位１ビットＦａｃｅ［１］は顔の有無を示すフラグとし、下位１ビットは肌色のレベルの相違（黒に近い肌色、白に近い肌色など）の情報に使用することなどが考えられる。この例では、Ｆａｃｅ［１：０］の場合を示しているが、本発明の要旨はＦａｃｅ信号が２ビット超であることに限定されるものではなく、顔後段処理回路７の仕様や性能に応じて必要とする顔や肌色の情報量が異なる。また、輝度信号（Ｙ）のデータではなく、色差信号（Ｃｒ、Ｃｂ）の各最下位から１ビットずつを削減している点に関しても顔後段処理回路７の必要とする仕様や性能に応じて削除データ幅を決定すればよい。
【００５５】
図９には、図８の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示している。図示の例では、輝度信号（Ｙ）は８ビット長のまま出力するが、各色差信号（Ｃｒ、Ｃｂ）のデータのうち最下位１ビットがそれぞれ削除され、詰めた上で２ビット長の信号Ｆａｃｅ［１：０］を全出力２４ビットのうち上位２ビットにマージしている。
【００５６】
この場合、顔後段処理回路７では、使用する色差情報が減ることになるので、顔後段処理回路７では色差信号（Ｃｒ、Ｃｂ）の最下位ビットの情報が必要ではない、あるいは顔後段処理の性能に影響がないことが前提となる。また、顔後段処理に必要がない、又は性能に影響がないという条件を満たしていれば、各色差信号（Ｃｒ、Ｃｂ）で削減するビット数を増やし、その分だけマージするＦａｃｅ信号のビット長を拡張することができる。また、顔又は肌色検出回路６が削減する各色差信号（Ｃｒ、Ｃｂ）のビット長（若しくはマージするＦａｃｅ信号のビット長）を固定にしてもよいし、顔後段処理回路７の条件に応じて可変にしてもよい。いずれにせよ、顔又は肌色検出回路６から出力する信号全体でビット長が固定であることが保証されていればよい。
【００５７】
これまで説明してきたデータ・アラインメント例では、顔又は肌色検出回路６の出力として輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）、顔検出信号（Ｆａｃｅ）の全体で２４ビットのシステムとして説明してきたが、本発明の要旨はこれに限定されるものではなく、顔後段処理回路７などに依存して全体のビット長が決定される。図１０には、全体で６４ビット長としたデータ・アラインメント例を示している。
【産業上の利用可能性】
【００５８】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００５９】
本発明は、輝度信号や色差信号を持つ固定長データを用いて顔検出（若しくは顔認識）処理とその処理により顔の可能性があると判断された領域に対して後処理を行なうシステムに適用することができる。その際、後処理回路の固定の入力データ長の輝度信号や色差信号に新たな検出信号を追加してデータ長を増やすのではなく、固定データ長を一定としたまま後処理回路の仕様や性能に合わせて輝度信号あるいは色差信号のデータ長を削減し、その部分に新たに顔検出処理で得られた情報（輪郭、形状、肌色情報など）をマージするので、システムのアーキテクチャの大幅な変更や、それに伴うハードウェアの回路規模増加を起こすことなく、検出された顔領域に対して補正などの後処理を行なうことが可能となる。
【００６０】
例えば、本発明は、カムコーダ、デジタルカメラ、あるいは携帯付きカメラにおけるデジタル信号処理において、顔検出、認識を輝度、色差信号を用いて輪郭、形状や肌色などから顔領域を検出し、その領域に対して補正などを行なう処理部、又はその周辺回路に適用することができる。
【００６１】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００６２】
【図１】図１は、本発明の一実施形態に係るカメラ信号処理システムの構成を模式的に示した図である。
【図２】図２は、カメラ信号処理回路５から顔後段処理回路７までの間の経路を示した図である。
【図３】図３は、図２の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図４】図４は、カメラ信号処理回路５から顔後段処理回路７までの間の経路の他の構成例を示した図である。
【図５】図５は、図４の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図６】図６は、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示した図である。
【図７】図７は、図６の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図８】図８は、カメラ信号処理回路５から顔後段処理回路７までの間の経路についてのさらに他の構成例を示した図である。
【図９】図９は、図８の場合の顔又は肌色検出回路６が出力するデータ・アラインメント例を示した図である。
【図１０】図１０は、全体で６４ビットとなるシステムにおけるデータ・アラインメント例を示した図である。
【図１１】図１１は、Ｃｂ及びＣｒ座標空間において肌色と判断するため設定可能なＣｂ及びＣｒの値と入力画像のＣｂ、Ｃｒを比較し、肌色エリア内のものと判断された入力画像領域と、輝度信号により判断された形状情報から顔検出を行なう処理を説明するための図である
【符号の説明】
【００６３】
１…センサ
２…ＣＤＳ（相関二重サンプリング）回路
３…ＡＧＣ（自動利得制御回路）
４…ＡＤ変換器
５…カメラ信号処理回路
６…顔又は肌色検出回路
７…顔後段処理回路
【特許請求の範囲】
【請求項１】
画像データを用いたデジタル信号処理を行なうデジタル信号処理装置であって、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
を具備することを特徴とするデジタル信号処理装置。
【請求項２】
前記顔又は肌色検出手段は、輝度信号あるいは色差信号のデータ長を削減するとともに、該削減したデータ長部分の信号に顔領域若しくは肌色領域の検出処理で得られた情報をマージすることで、出力信号を前記有限固定長と同一のビット幅とする、
ことを特徴とする請求項１に記載のデジタル信号処理装置。
【請求項３】
入力画像データのうち前記顔又は肌色検出手段によって検出された顔領域に対して輝度補正、色補正、アパーチャ補正若しくはその他の後処理を行なう顔後段処理手段をさらに備え、
前記顔又は肌色検出手段は、前記顔後段処理手段の仕様若しくは性能に応じて、輝度信号又は色差信号において削減するデータ長を決定する、
ことを特徴とする請求項２に記載のデジタル信号処理装置。
【請求項４】
画像データを用いたデジタル信号処理を行なうデジタル信号処理方法であって、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理ステップと、
前記画像データ処理ステップによって得られる輝度信号及び色差信号を基に画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出ステップと、
を具備することを特徴とするデジタル信号処理装置。
【請求項５】
画像データを用いたデジタル信号処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
として機能させるためのコンピュータ・プログラム。
【請求項１】
画像データを用いたデジタル信号処理を行なうデジタル信号処理装置であって、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
を具備することを特徴とするデジタル信号処理装置。
【請求項２】
前記顔又は肌色検出手段は、輝度信号あるいは色差信号のデータ長を削減するとともに、該削減したデータ長部分の信号に顔領域若しくは肌色領域の検出処理で得られた情報をマージすることで、出力信号を前記有限固定長と同一のビット幅とする、
ことを特徴とする請求項１に記載のデジタル信号処理装置。
【請求項３】
入力画像データのうち前記顔又は肌色検出手段によって検出された顔領域に対して輝度補正、色補正、アパーチャ補正若しくはその他の後処理を行なう顔後段処理手段をさらに備え、
前記顔又は肌色検出手段は、前記顔後段処理手段の仕様若しくは性能に応じて、輝度信号又は色差信号において削減するデータ長を決定する、
ことを特徴とする請求項２に記載のデジタル信号処理装置。
【請求項４】
画像データを用いたデジタル信号処理を行なうデジタル信号処理方法であって、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理ステップと、
前記画像データ処理ステップによって得られる輝度信号及び色差信号を基に画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出ステップと、
を具備することを特徴とするデジタル信号処理装置。
【請求項５】
画像データを用いたデジタル信号処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
デジタル画像データに対する画像データ処理を行ない、有限固定長のビット幅からなる輝度信号及び色差信号を出力する画像データ処理手段と、
前記画像データ処理手段から輝度信号及び色差信号を入力して、画像データから顔領域若しくは肌色領域の検出処理を行ない、該検出結果に関する情報を輝度信号及び色差信号と併せて、前記有限固定長と同一のビット幅からなる信号として出力する顔又は肌色検出手段と、
として機能させるためのコンピュータ・プログラム。
【図１】
【図２】
【図４】
【図６】
【図８】
【図３】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図２】
【図４】
【図６】
【図８】
【図３】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１２３１１９（Ｐ２００９−１２３１１９Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９８６０２（Ｐ２００７−２９８６０２）
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]