画像処理装置、画像処理方法、プログラム、及び電子装置
【課題】消費電力を抑えつつ、肌領域を精度良く検出する。
【解決手段】光源群２３は、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有し、光源群２４は、それぞれ異なる指向特性で第１の波長よりも長波長である第２の波長の光を被写体に照射する複数の照射部を有し、LED制御部２２は、被写体までの距離に応じて、光源群２３及び２４それぞれの照射部の光出力を制御し、撮像部２６は、第１の波長の光が被写体に照射されているときに被写体を撮像して得られる第１の画像を生成するとともに、第２の波長の光が被写体に照射されているときに被写体を撮像して得られる第２の画像を生成し、画像処理部２８は、第１の画像と第２の画像との差分と、差分と比較される閾値との比較結果に基づいて、肌領域を検出する。本発明は、例えば、人の手の動き等を検出する検出装置に適用できる。
【解決手段】光源群２３は、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有し、光源群２４は、それぞれ異なる指向特性で第１の波長よりも長波長である第２の波長の光を被写体に照射する複数の照射部を有し、LED制御部２２は、被写体までの距離に応じて、光源群２３及び２４それぞれの照射部の光出力を制御し、撮像部２６は、第１の波長の光が被写体に照射されているときに被写体を撮像して得られる第１の画像を生成するとともに、第２の波長の光が被写体に照射されているときに被写体を撮像して得られる第２の画像を生成し、画像処理部２８は、第１の画像と第２の画像との差分と、差分と比較される閾値との比較結果に基づいて、肌領域を検出する。本発明は、例えば、人の手の動き等を検出する検出装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出できるようにした画像処理装置、画像処理方法、プログラム、及び電子装置に関する。
【背景技術】
【０００２】
被写体（例えば、人物）を撮像して得られる撮像画像上から、顔や手などのように肌が露出している領域（以下、肌領域という）を検出する肌検出技術が存在する（例えば、特許文献１乃至３を参照）。
【０００３】
この肌検出技術では、波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体を撮像した第１の画像と、波長λ１とは異なる波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度値の差分が所定の閾値よりも大きな領域を肌領域として検出する。
【０００４】
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は870nm、波長λ２は950nmとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４７０６７号公報
【特許文献２】特開平０６−１２３７００号公報
【特許文献３】特開平０５−３２９１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
肌検出技術では、例えば、被写体までの距離が0.05[m]である場合において、被写体が存在する範囲を照射する指向特性の各LEDを用いるときには、被写体までの距離が5[m]である場合において、被写体が存在する範囲の他、被写体が存在せず、照射が不要な範囲に対しても、光を照射することとなる。
【０００７】
このため、肌検出技術では、照射が不要な範囲に対しても、肌検出に必要な光出力で光を照射するため、照射光量が増大してしまい、各LEDの消費電力が大きくなってしまう。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、消費電力を抑えつつ、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段とを含む画像処理装置である。
【００１０】
前記照射制御手段では、前記被写体までの距離が所定の距離未満である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が小さくなるとともに、指向特性の低い照射部の光出力が大きくなるように制御し、前記被写体までの距離が前記所定の距離以上である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が大きくなるとともに、指向特性の低い照射部の光出力が小さくなるように制御するようにすることができる。
【００１１】
前記撮像生成手段により撮像される撮像領域内には、前記被写体までの距離に応じて、肌領域を検出するために必要な光出力で照射するための検出対象領域が予め決められており、前記被写体までの距離が、前記検出対象領域の水平方向の半幅、又は前記検出対象領域の垂直方向の半幅の少なくとも１つと、前記撮像生成手段の半画角とに基づいて決められる前記所定の距離以上であるか否かを判定する判定手段をさらに設けることができる。
【００１２】
前記被写体までの距離を算出する距離算出手段をさらに設けることができ、前記照射制御手段では、算出された前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御することができる。
【００１３】
前記第１及び第２の発光手段では、半値半角が前記撮像生成手段の半画角以上である照射部、又は半値半角が前記撮像生成手段の半画角以下である照射部の少なくとも１つを有するようにすることができる。
【００１４】
前記第１の波長λ１、前記第２の波長λ２は次式の関係を満たす
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
ようにすることができる。
【００１５】
本発明の第１の側面の画像処理方法は、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、照射制御手段と、撮像生成手段と、検出手段とを含み、前記第１の発光手段が、前記第１の波長の光を前記被写体に照射し、前記第２の発光手段が、前記第２の波長の光を前記被写体に照射し、前記照射制御手段が、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御し、前記撮像生成手段が、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成し、前記検出手段が、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出するステップを含む画像処理方法である。
【００１６】
本発明の第１の側面のプログラムは、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段とを含む画像処理装置のコンピュータを、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段として機能させるためのプログラムである。
【００１７】
本発明の第１の側面によれば、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力が制御され、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域が検出される。
【００１８】
本発明の第２の側面の電子装置は、画像上から人間の肌を表す肌領域を検出する電子装置であって、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と、検出された前記肌領域に基づいて、所定の処理を実行する実行手段とを含む電子装置である。
【００１９】
本発明の第２の側面によれば、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力が制御され、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像が生成されるとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像が生成され、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域が検出され、検出された前記肌領域に基づいて、所定の処理が実行される。
【発明の効果】
【００２０】
本発明によれば、光源による消費電力を抑えつつ、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明を適用した検出装置の構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】撮像部の撮像範囲を説明するための図である。
【図４】指向特性の一例を示す図である。
【図５】近距離における照度分布の一例を示す図である。
【図６】遠距離における照度分布の一例を示す図である。
【図７】検出装置が行なう肌検出処理を説明するためのフローチャートである。
【図８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（被写体までの距離に応じて指向特性の異なるLEDを用いる場合の例）
２． 変形例
【００２３】
＜１．本実施の形態＞
［検出装置１の構成例］
図１は、本実施の形態である検出装置１の構成例を示している。この検出装置１は、例えば、それぞれ異なる指向特性を有する複数のLEDのうち、検出対象物４１までの距離（以下、被写体距離という）に応じたLEDを点灯させ、効率的に光を照射するようにして、撮像した画像から検出対象物４１としての人の肌領域（例えば、顔、手など）を精度良く検出できるようにしたものである。
【００２４】
検出装置１は、コントローラ２１、LED制御部２２、光源群２３、光源群２４、光学フィルタ２５、撮像部２６、撮像制御部２７、画像処理部２８、及び距離算出部２９により構成される。
【００２５】
コントローラ２１は、例えば、撮像部２６の撮像により得られる第１及び第２の画像（後述する）上の被写体の輝度値が、飽和レベルの1/5以上であるという条件（肌領域を検出可能な条件）を満たすように、検出装置１の各部の動作を統括して制御する。
【００２６】
すなわち、例えば、被写体までの距離が遠くなる程に、第１及び第２の画像の輝度値が減少する。第１及び第２の画像上の被写体の輝度値は、その値が小さくなりすぎるとノイズに埋もれてしまい、肌領域の検出ができなくなってしまう。また、第１及び第２の画像上の被写体の輝度値は、その値が大きくなりすぎて飽和（白とび）してしまっても、肌領域の検出ができなくなってしまう。
【００２７】
そこで、コントローラ２１は、肌領域を検出可能な条件として、第１及び第２の画像上の被写体の輝度値は、飽和レベルの1/5以上であるという条件を満たすように、被写体距離に応じて、検出装置１の各部の動作を制御するようにしている。なお、この条件は、本発明者が各撮像素子に対して実測した結果に基づく経験則から求められたものである。
【００２８】
LED制御部２２は、コントローラ２１からの制御に従い、光源群２３及び２４の点灯タイミング、消灯タイミング、光出力レベルを制御する。
【００２９】
光源群２３は、砲弾型の各LEDにより構成される副光源群２３−１、及び出射面が平坦な各LEDにより構成される副光源群２３−２により構成される。光源群２４は、砲弾型の各LEDにより構成される副光源群２４−１、及び出射面が平坦な各LEDにより構成される副光源群２４−２から構成される。なお、砲弾型のLEDは、出射面が平坦なLEDよりも指向特性が高くなっている。
【００３０】
光源群２３は、LED制御部２２からの制御に従い、発光スペクトルのピーク波長がλ１である光（以下、波長λ１の光という）を発光する。すなわち、例えば、光源群２３は、被写体距離が遠距離である程、指向特性が高い副光源群２３−１の光出力が大きくなるように発光し、被写体距離が近距離である程、指向特性が低い副光源群２３−２の光出力が大きくなるように発光する。
【００３１】
光源群２４は、LED制御部２２の制御に従い、発光スペクトルのピーク波長がλ２である光（以下、波長λ２の光という）を発光する。すなわち、例えば、光源群２４は、被写体距離が遠距離である程、指向特性が高い副光源群２４−１の光出力が大きくなるように発光し、被写体距離が近距離である程、指向特性が低い副光源群２４−２の光出力が大きくなるように発光する。
【００３２】
なお、波長λ１，λ２の具体的な値については、図２を参照して後述する。
【００３３】
光学フィルタ２５は、撮像部２６に入射する光を制限するよう撮像部２６の前面に設けられており、例えば、その分光特性として波長λ１よりも短波長側の光及び波長λ２よりも長波長側の光を吸収し、波長λ１以上であって波長λ２以下の光を透過するようになされている。
【００３４】
撮像部２６は、集光レンズと、CCD、CMOSなどの撮像素子とを内蔵しており、撮像制御部２７からの制御に従い、光学フィルタ２５を透過してきた光（被写体からの反射光）を受光して画像を生成する。光源群２３が発光しているときに生成される画像を第１の画像とし、光源群２４が発光しているときに生成される画像を第２の画像とする。
【００３５】
撮像部２６は、生成した第１及び第２の画像を、撮像制御部２７に供給する。
【００３６】
撮像制御部２７は、コントローラ２１からの制御に従い、撮像部２６の撮像タイミング、撮像時間（露光時間）、輝度値増幅のゲインなどを制御する。また、撮像制御部２７は、撮像部２６から供給される第１及び第２の画像を画像処理部２８に出力する。
【００３７】
画像処理部２８は、撮像制御部２７からの第１及び第２の画像の、対応する画素の輝度値Ｙ１，Ｙ２の差分である反射率差検出信号Ｓ＝Ｙ１−Ｙ２を算出し、反射率差検出信号Ｓを所定の閾値と比較することにより２値化する。
【００３８】
そして、画像処理部２８は、その２値化により得られる２値化肌画像上の全領域のうち、２値の一方の領域（対応する反射率差検出信号Ｓが所定の閾値以上となっている領域）を肌領域として検出する。また、画像処理部２８は、２値化肌画像を距離算出部２９に供給する。
【００３９】
なお、画像処理部２８は、算出した反射率差検出信号Ｓを、例えば、輝度値Ｙ１又はＹ２のいずれかで除算（正規化）した上で、２値化を行うようにしてもよい。
【００４０】
距離算出部２９は、被写体距離が近い程、被写体の肌領域の大きさ（例えば、肌領域の面積や幅等）が大きくなることを利用して、画像処理部２８からの２値化肌画像上の肌領域の大きさに基づいて、被写体距離を算出し、コントローラ２１に供給する。
【００４１】
これにより、コントローラ２１は、距離算出部２９からの被写体距離に基づき、例えば、LED制御部２２を制御して、光源群２３を構成する副光源群２３−１及び副光源群２３−２それぞれの光出力、並びに光源群２４を構成する副光源群２４−１及び副光源群２４−２それぞれの光出力を制御させる。
【００４２】
なお、距離算出部２９は、画像処理部２８からの２値化肌画像上の肌領域の大きさに基づいて、被写体距離を算出するようにしたが、被写体距離を算出できれば、どのような算出方法により算出するようにしてもよい。
【００４３】
具体的には、例えば、距離算出部２９は、画像処理部２８からの２値化肌画像に代えて、検出対象物４１にレーザを照射して被写体距離を測定するレーザレンジファインダや、異なる視差が設けられた２台のカメラを用いて被写体距離を測定するステレオカメラ等を用いて、被写体距離を測定するようにしてもよい。
【００４４】
[肌に対する分光反射特性]
次に、図２は、人間の肌に対する分光反射特性を示している。
【００４５】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００４６】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００４７】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、630乃至1100[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００４８】
なお、波長λ１及びλ２の組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００４９】
具体的には、例えば、上述した分光反射特性において、波長λ１及びλ２の組合せとして、波長λ１が630[nm]以上であって1000[nm]以下であり、波長λ２が900[nm]以上であって1100[nm]以下であり、且つ、波長λ１が波長λ２よりも短い波長（波長λ１＜波長λ２）（より好適には、波長λ１＋40[nm]＜波長λ２）となる組合せが採用される。
【００５０】
[撮像部２６の撮像範囲]
次に、図３を参照して、撮像部２６の撮像範囲について説明する。図３は、撮像部２６の上面図を示している。
【００５１】
図３において、撮像部２６の画角θを挟む２本の撮像範囲境界線L1及びL2により形成される三角形状の範囲は、撮像部２６の撮像範囲を示している。
【００５２】
図３において、撮像部２６の光軸と一致するZ軸は、撮像部２６（光源群２３及び２４）から被写体（検出対象物４１）までの被写体距離ｚを示している。なお、本実施の形態では、撮像部２６と、光源群２３及び２４とは、近接した状態で設置されているものとする。
【００５３】
光源群２３及び２４は、予め決められた検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射する必要がある。
【００５４】
具体的には、例えば、被写体距離ｚが0≦ｚ≦a[m]である近距離において、検出対象物４１は、被写体距離ｚにおける撮像領域（第１及び第２の画像に対応する領域）の多くを占めることとなる。したがって、被写体距離ｚが近距離である場合、被写体距離ｚにおける撮像領域を検出対象領域とし、その検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射する必要がある。
【００５５】
これに対して、被写体距離ｚがa＜ｚ≦b[m]である遠距離において、検出対象物４１は、主に、被写体距離ｚにおける撮像領域のうちの所定の領域（例えば、中央の領域）を占めることとなる。したがって、被写体距離ｚが遠距離である場合、被写体距離ｚにおける撮像領域のうちの所定の領域を含む領域を、検出対象領域とし、その検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射すればよい。
【００５６】
なお、検出対象領域は、検出対象物４１が移動すると想定される領域であって、予め実験等により決められているものとする。具体的には、例えば、検出対象領域は、横幅と縦幅とがそれぞれ、同一の幅（例えば、幅２×ｗ）である領域をいう。また、距離aは、検出対象領域の半幅ｗと、撮像部２６の画角θの半画角θ/2とにより決定される。具体的には、例えば、距離aは、撮像部２６から、距離ｗ/tan(θ/2)の１倍から２倍程度の距離とされる。
【００５７】
本実施の形態では、図３に示されるように、距離ｗ/tan(θ/2)の１倍を距離a（=ｗ/tan(θ/2)）としている。
【００５８】
なお、検出対象領域の横幅と縦幅とが、それぞれ異なる幅ｊとｋである場合、横幅ｊ又は縦幅ｋの一方についての半幅ｗと、撮像部２６についての半画角θ/2とに基づいて、距離ｗ/tan(θ/2)が算出されることになる。
【００５９】
また、検出対象領域の横幅と縦幅とが、それぞれ異なる幅ｊとｋである場合、横幅ｊと縦幅ｋとの平均を求め、その結果得られる平均幅の半幅と、撮像部２６についての半画角θ/2とに基づいて、距離ｗ/tan(θ/2)を算出するようにしてもよい。
【００６０】
[副光源群の指向特性について]
図４は、副光源群２３−１及び２４−１と、副光源群２３−２及び２４−２との指向特性を示している。
【００６１】
図４において、横軸は、半画角θ/2を示しており、縦軸は、光の強度（相対値）を示している。なお、横軸の半画角θ/2において、正の値で表される角度は、撮像部２６の光軸（図３のZ軸）と撮像範囲境界線L1との角度θ/2を示しており、負の値で表される角度は、撮像部２６の光軸と撮像範囲境界線L2との角度を示している。
【００６２】
副光源群２３−１及び２４−１それぞれを構成するLEDは、図４に示されるグラフ１のような高い指向特性を有している。具体的には、例えば、LEDの半値半角が、撮像部２６の半画角θ/2以下となるような指向特性を有する。
【００６３】
また、副光源群２３−２及び２４−２それぞれを構成するLEDは、図４に示されるグラフ２のような低い指向特性を有している。具体的には、例えば、LEDの半値半角が、撮像部２６の半画角θ/2以上となるような指向特性を有する。
【００６４】
なお、半値半角とは、LEDから照射される光の強度のうち、ピーク強度（を表す値）の半値で照射されている光の照射方向と、LEDの中心を通る方向との成す角度をいう。
【００６５】
図４に示されるように、副光源群２３−１及び２４−１は、副光源群２３−２及び２４−２よりも高い指向特性を有する。
【００６６】
このため、副光源群２３−１及び２４−１は、被写体距離ｚが遠距離である場合に、副光源群２３−２及び２４−２を用いるときと比較して、消費電力を抑制した状態で、検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射することが可能となる。
【００６７】
また、図４に示されるように、副光源群２３−２及び２４−２は、副光源群２３−１及び２４−１よりも低い指向特性を有する。
【００６８】
このため、副光源群２３−２及び２４−２は、被写体距離ｚが近距離である場合に、副光源群２３−１及び２４−１を用いるときと比較して、消費電力を抑制した状態で、検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射することが可能となる。
【００６９】
次に、図５及び図６を参照して、副光源群２３−１と、副光源群２３−２との照度分布について説明する。なお、副光源群２４−１と、副光源群２４−２との照度分布は、副光源群２３−１と、副光源群２３−２との照度分布と同様となるため、その説明は以下省略する。
【００７０】
[近距離における照度分布]
図５は、被写体距離ｚが近距離である場合、すなわち、例えば、被写体距離ｚ=0.3[m]である場合の照度分布の一例を示している。
【００７１】
図５において、横軸は、被写体距離ｚにおける撮像領域（検出対象領域）上の水平方向の位置を示しており、縦軸は、照度（相対値）を示している。なお、横軸において、撮像領域の中央の位置を0[m]としている。また、図５において、撮像部２６の画角θは９０度であるものとする。
【００７２】
さらに、図５において、グラフ１は、副光源２３−１における照度分布を示している。グラフ２は、副光源２３−２における照度分布を示している。なお、副光源２３−１と副光源２３−２とのそれぞれの光出力（照射光における強度の積算値）は等しいものとしている。これらのことは、後述する図６についても同様である。
【００７３】
なお、被写体距離ｚ=0.3[m]における撮像領域（検出対象領域）において、撮像範囲境界線L1の位置は0.3[m]であり、撮像範囲境界線L2の位置は-0.3[m]である。
【００７４】
図５のグラフ２において、±0.3[m]付近の位置における照度は、0[m]付近の位置における照度の約1/3程度であり、照射時間や露光時間等を調整することで、撮像部２６の撮像により得られる第１及び第２の画像における各輝度値すべてを、飽和レベルの1/5以上の範囲内に収めることができる。
【００７５】
これに対して、図５のグラフ１において、±0.3[m]付近の位置における照度は、0[m]付近の位置における照度と比較して非常に小さいものとなっており、撮像部２６の撮像により得られる第１及び第２の画像における各輝度値すべてを、飽和レベルの1/5以上の範囲内に収めることはできない。
【００７６】
したがって、被写体距離ｚ=0.3[m]である場合には、図５のグラフ２に示されるような指向特性が低い副光源群２３−２を用いることが望ましい。
【００７７】
なお、副光源群２３−１と副光源群２２−２とは、同一の消費電力を消費して、同一の光出力で光を照射するものとなっている。また、図５では、±0.3[m]付近の位置における照度において、グラフ２は、グラフ１よりも高い照度を得ることができるようになっている。
【００７８】
このため、消費電力の低減という観点からも、グラフ２に示されるような指向特性が低い副光源群２３−２を用いることが望ましい。
【００７９】
[遠距離における照度分布]
図６は、被写体距離ｚが遠距離である場合、すなわち、例えば、被写体距離ｚ=3[m]である場合の照度分布の一例を示している。
【００８０】
なお、被写体距離ｚ=3[m]における撮像領域において、撮像範囲境界線L1の位置は3[m]であり、撮像範囲境界線L2の位置は-3[m]である。また、検出対象領域境界線T1の位置は1[m]であり、撮像範囲境界線T2の位置は-1[m]である。
【００８１】
図６のグラフ１において、±1[m]付近の位置における照度は、0[m]付近の位置における照度と比較して約半分となっており、露光時間等を調整することで、輝度値を飽和レベルの1/5以上の範囲内に収めることができる。
【００８２】
これに対して、図６のグラフ２における照度は、全体的に小さなものとなっており、肌領域を精度良く検出することができない。
【００８３】
したがって、被写体距離ｚ=3[m]である場合には、図６のグラフ１に示されるような指向特性が高い副光源群２３−１を用いることが望ましい。
【００８４】
なお、上述したように、副光源群２３−１と副光源群２２−２とは、同一の消費電力を消費して、同一の光出力で光を照射するものとなっている。また、図６では、±1[m]付近の位置における照度において、グラフ１は、グラフ２よりも高い照度を得ることができるようになっている。
【００８５】
このため、消費電力の低減という観点からも、グラフ１に示されるような指向特性が低い副光源群２３−１を用いることが望ましい。
【００８６】
このため、例えば、検出装置１は、被写体距離ｚが近距離である程に、指向特性が低い副光源群２３−２及び２４−２の光出力を大きくするとともに、指向特性が高い副光源群２３−１及び２４−１の光出力を小さくするようにする。また、検出装置１は、被写体距離ｚが遠距離である程に、指向特性が低い副光源群２３−２及び２４−２の光出力を小さくするとともに、指向特性が高い副光源群２３−１及び２４−１の光出力を大きくするようにする。
【００８７】
なお、検出装置１は、近距離において、グラフ２に示されるような指向特性が低い副光源群２３−２及び２４−２のみを用いるようにし、遠距離において、グラフ１に示されるような指向特性が高い副光源群２３−１及び２４−１のみを用いるようにして、肌領域を検出するようにしてもよい。
【００８８】
[検出装置１の動作説明]
次に、図７のフローチャートを参照して、検出装置１が行う肌検出処理を説明する。
【００８９】
ステップＳ１において、距離算出部２９は、被写体距離ｚを算出し、コントローラ２１に供給する。コントローラ２１は、例えば、距離算出部２９からの被写体距離ｚに基づいて、被写体距離ｚが距離a以下の近距離であるのか、被写体距離ｚが距離aよりも長い遠距離であるのかを判定し、その判定結果に基づいて、肌検出に用いるLEDを決定する。
【００９０】
すなわち、例えば、コントローラ２１は、被写体距離ｚが近距離である場合、光源群２３を構成する副光源群２３−１及び２３−２のうち、指向特性の低い副光源群２３−２を、光源群２４を構成する副光源群２４−１及び２４−２のうち、指向特性の低い副光源群２４−２をそれぞれ決定する。
【００９１】
また、例えば、コントローラ２１は、被写体距離ｚが遠距離である場合、光源群２３を構成する副光源群２３−１及び２３−２のうち、指向特性の高い副光源群２３−１を、光源群２４を構成する副光源群２４−１及び２４−２のうち、指向特性の高い副光源群２４−１をそれぞれ決定する。
【００９２】
いまの場合、コントローラ２１は、副光源群２３−１及び２４−１を決定したものとして、ステップＳ２以降の処理を説明する。
【００９３】
なお、距離算出部２９は、例えば、前回の肌検出処理において算出された２値化肌画像に基づいて、被写体距離ｚを算出して、コントローラ２１に供給するものとする。
【００９４】
ステップＳ２において、副光源群２３−１は、LED制御部２２からの制御に従い、波長λ１の光を被写体に照射する。ステップＳ３において、撮像部２６は、撮像制御部２７からの制御に従い、入射される被写体からの反射光を光電変換することにより第１の画像を生成し、撮像制御部２７に供給する。
【００９５】
ステップＳ４において、副光源群２３−１は、LED制御部２２からの制御に従い、消灯する。また、副光源群２４−１は、LED制御部２２からの制御に従い、波長λ２の光を被写体に照射する。ステップＳ５において、撮像部２６は、撮像制御部２７からの制御に従い、入射される被写体からの反射光を光電変換することにより第２の画像を生成し、撮像制御部２７に供給する。
【００９６】
そして、副光源群２４−１は、LED制御部２２からの制御に従い消灯する。撮像制御部２７は、撮像部２６からの第１及び第２の画像を、画像処理部２８に供給する。
【００９７】
ステップＳ６において、画像処理部２８は、撮像制御部２７からの第１及び第２の画像の、対応する画素の輝度値Ｙ１，Ｙ２の差分である反射率差検出信号Ｓ＝Ｙ１−Ｙ２を算出する。なお、輝度値Ｙ１は、第１の画像を構成する画素の輝度値であり、輝度値Ｙ２は、第２の画像を構成する画素の輝度値であるとする。
【００９８】
ステップＳ７において、画像処理部２８は、反射率差検出信号Ｓを所定の閾値と比較することにより２値化し、その２値化により得られる２値化肌画像上の全領域のうち、２値の一方の領域を肌領域として検出する。また、画像処理部２８は、２値化肌画像を距離算出部２９に供給する。
【００９９】
ステップＳ８において、画像処理部２８は、生成した２値化肌画像を構成する各画素のうち、一方の領域を肌領域として検出する。以上で、肌検出処理は終了される。
【０１００】
以上説明した肌検出処理によれば、被写体距離ｚに応じて決定された副光源群２３−１及び２４−１（又は副光源群２３−２及び２４−２）により光を照射するようにして得られる第１及び第２の画像を用いて、肌領域を検出するようにしたので、被写体距離ｚに拘らず、単一の指向特性を有する複数のLEDを用いる場合と比較して、照射による消費電力を少なくすることが可能となる。
【０１０１】
なお、LEDの光出力には制限があるため、単一の指向特性を有するLEDを用いる場合には、LEDの光出力の制限に応じて、肌領域を検出可能な距離が制限されることとなる。
【０１０２】
この点について、肌検出処理では、被写体距離ｚに応じて、より少ない消費電力で光を照射する指向特性を有する適切な副光源群を用いるようにしているので、単一の指向特性を有する複数のLEDを用いる場合と比較して、より遠い距離に存在する検出対象物４１を検出することが可能となる。
【０１０３】
＜２．変形例＞
本実施の形態では、副光源群２３−１及び２４−１を、砲弾型のLEDにより構成し、副光源群２３−２及び２４−２を、出射面が平坦なLEDにより構成するようにして、それぞれ異なる指向特性を有するようにしたが、その他、例えば、レンズやミラー、偏光板等の光学部品を用いて、異なる指向特性を有するようにさせてもよい。
【０１０４】
また、本実施の形態では、光源群２３として、２つの副光源群２３−１及び２３−２を採用することとしたが、３つ以上の、それぞれ異なる指向特性（それぞれ異なる半値半角）を有する副光源群を採用するようにしてもよい。具体的には、例えば、光源群２３として、半値半角が半画角θ/2以上である副光源群、又は半値半角が半画角θ/2以下である副光源群の少なくとも１つを含む複数の副光源群を採用できる。このことは、光源群２４についても同様である。
【０１０５】
本実施の形態である検出装置１は、例えば、テレビジョン受像機などの任意の電子装置に内蔵させることができる。その電子装置においては、検出された肌領域（例えば被写体の手など）の動きに応じ、所定の処理を実行するようにすることができる。
【０１０６】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０７】
[コンピュータの構成例]
図８は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０１０８】
CPU（central processing unit）６１は、ROM（read only memory）６２、または記憶部６８に記憶されているプログラムに従って各種の処理を実行する。RAM（random access memory）６３には、CPU６１が実行するプログラムやデータなどが適宜記憶される。これらのCPU６１、ROM６２、およびRAM６３は、バス６４により相互に接続されている。
【０１０９】
CPU６１にはまた、バス６４を介して入出力インタフェース６５が接続されている。入出力インタフェース６５には、キーボード、マウス、マイクロホンなどよりなる入力部６６、ディスプレイ、スピーカなどよりなる出力部６７が接続されている。CPU６１は、入力部６６から入力される指令に対応して各種の処理を実行する。そして、CPU６１は、処理の結果を出力部６７に出力する。
【０１１０】
入出力インタフェース６５に接続されている記憶部６８は、例えばハードディスクからなり、CPU６１が実行するプログラムや各種のデータを記憶する。通信部６９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１１１】
また、通信部６９を介してプログラムを取得し、記憶部６８に記憶してもよい。
【０１１２】
入出力インタフェース６５に接続されているドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部６８に転送され、記憶される。
【０１１３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図８に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１、または、プログラムが一時的もしくは永続的に記録されるROM６２や、記憶部６８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部６９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１１４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１５】
また、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１６】
１ 検出装置， ２１ コントローラ， ２２ LED制御部， ２３ 光源群， ２３−１，２３−２ 副光源群， ２４ 光源群， ２４−１，２４−２ 副光源群， ２５ 光学フィルタ， ２６ 撮像部， ２７ 撮像制御部， ２８ 画像処理部， ２９ 距離算出部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出できるようにした画像処理装置、画像処理方法、プログラム、及び電子装置に関する。
【背景技術】
【０００２】
被写体（例えば、人物）を撮像して得られる撮像画像上から、顔や手などのように肌が露出している領域（以下、肌領域という）を検出する肌検出技術が存在する（例えば、特許文献１乃至３を参照）。
【０００３】
この肌検出技術では、波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体を撮像した第１の画像と、波長λ１とは異なる波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度値の差分が所定の閾値よりも大きな領域を肌領域として検出する。
【０００４】
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は870nm、波長λ２は950nmとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４７０６７号公報
【特許文献２】特開平０６−１２３７００号公報
【特許文献３】特開平０５−３２９１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
肌検出技術では、例えば、被写体までの距離が0.05[m]である場合において、被写体が存在する範囲を照射する指向特性の各LEDを用いるときには、被写体までの距離が5[m]である場合において、被写体が存在する範囲の他、被写体が存在せず、照射が不要な範囲に対しても、光を照射することとなる。
【０００７】
このため、肌検出技術では、照射が不要な範囲に対しても、肌検出に必要な光出力で光を照射するため、照射光量が増大してしまい、各LEDの消費電力が大きくなってしまう。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、消費電力を抑えつつ、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段とを含む画像処理装置である。
【００１０】
前記照射制御手段では、前記被写体までの距離が所定の距離未満である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が小さくなるとともに、指向特性の低い照射部の光出力が大きくなるように制御し、前記被写体までの距離が前記所定の距離以上である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が大きくなるとともに、指向特性の低い照射部の光出力が小さくなるように制御するようにすることができる。
【００１１】
前記撮像生成手段により撮像される撮像領域内には、前記被写体までの距離に応じて、肌領域を検出するために必要な光出力で照射するための検出対象領域が予め決められており、前記被写体までの距離が、前記検出対象領域の水平方向の半幅、又は前記検出対象領域の垂直方向の半幅の少なくとも１つと、前記撮像生成手段の半画角とに基づいて決められる前記所定の距離以上であるか否かを判定する判定手段をさらに設けることができる。
【００１２】
前記被写体までの距離を算出する距離算出手段をさらに設けることができ、前記照射制御手段では、算出された前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御することができる。
【００１３】
前記第１及び第２の発光手段では、半値半角が前記撮像生成手段の半画角以上である照射部、又は半値半角が前記撮像生成手段の半画角以下である照射部の少なくとも１つを有するようにすることができる。
【００１４】
前記第１の波長λ１、前記第２の波長λ２は次式の関係を満たす
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
ようにすることができる。
【００１５】
本発明の第１の側面の画像処理方法は、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、照射制御手段と、撮像生成手段と、検出手段とを含み、前記第１の発光手段が、前記第１の波長の光を前記被写体に照射し、前記第２の発光手段が、前記第２の波長の光を前記被写体に照射し、前記照射制御手段が、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御し、前記撮像生成手段が、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成し、前記検出手段が、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出するステップを含む画像処理方法である。
【００１６】
本発明の第１の側面のプログラムは、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段とを含む画像処理装置のコンピュータを、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段として機能させるためのプログラムである。
【００１７】
本発明の第１の側面によれば、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力が制御され、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域が検出される。
【００１８】
本発明の第２の側面の電子装置は、画像上から人間の肌を表す肌領域を検出する電子装置であって、それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と、検出された前記肌領域に基づいて、所定の処理を実行する実行手段とを含む電子装置である。
【００１９】
本発明の第２の側面によれば、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力が制御され、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像が生成されるとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像が生成され、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域が検出され、検出された前記肌領域に基づいて、所定の処理が実行される。
【発明の効果】
【００２０】
本発明によれば、光源による消費電力を抑えつつ、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明を適用した検出装置の構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】撮像部の撮像範囲を説明するための図である。
【図４】指向特性の一例を示す図である。
【図５】近距離における照度分布の一例を示す図である。
【図６】遠距離における照度分布の一例を示す図である。
【図７】検出装置が行なう肌検出処理を説明するためのフローチャートである。
【図８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（被写体までの距離に応じて指向特性の異なるLEDを用いる場合の例）
２． 変形例
【００２３】
＜１．本実施の形態＞
［検出装置１の構成例］
図１は、本実施の形態である検出装置１の構成例を示している。この検出装置１は、例えば、それぞれ異なる指向特性を有する複数のLEDのうち、検出対象物４１までの距離（以下、被写体距離という）に応じたLEDを点灯させ、効率的に光を照射するようにして、撮像した画像から検出対象物４１としての人の肌領域（例えば、顔、手など）を精度良く検出できるようにしたものである。
【００２４】
検出装置１は、コントローラ２１、LED制御部２２、光源群２３、光源群２４、光学フィルタ２５、撮像部２６、撮像制御部２７、画像処理部２８、及び距離算出部２９により構成される。
【００２５】
コントローラ２１は、例えば、撮像部２６の撮像により得られる第１及び第２の画像（後述する）上の被写体の輝度値が、飽和レベルの1/5以上であるという条件（肌領域を検出可能な条件）を満たすように、検出装置１の各部の動作を統括して制御する。
【００２６】
すなわち、例えば、被写体までの距離が遠くなる程に、第１及び第２の画像の輝度値が減少する。第１及び第２の画像上の被写体の輝度値は、その値が小さくなりすぎるとノイズに埋もれてしまい、肌領域の検出ができなくなってしまう。また、第１及び第２の画像上の被写体の輝度値は、その値が大きくなりすぎて飽和（白とび）してしまっても、肌領域の検出ができなくなってしまう。
【００２７】
そこで、コントローラ２１は、肌領域を検出可能な条件として、第１及び第２の画像上の被写体の輝度値は、飽和レベルの1/5以上であるという条件を満たすように、被写体距離に応じて、検出装置１の各部の動作を制御するようにしている。なお、この条件は、本発明者が各撮像素子に対して実測した結果に基づく経験則から求められたものである。
【００２８】
LED制御部２２は、コントローラ２１からの制御に従い、光源群２３及び２４の点灯タイミング、消灯タイミング、光出力レベルを制御する。
【００２９】
光源群２３は、砲弾型の各LEDにより構成される副光源群２３−１、及び出射面が平坦な各LEDにより構成される副光源群２３−２により構成される。光源群２４は、砲弾型の各LEDにより構成される副光源群２４−１、及び出射面が平坦な各LEDにより構成される副光源群２４−２から構成される。なお、砲弾型のLEDは、出射面が平坦なLEDよりも指向特性が高くなっている。
【００３０】
光源群２３は、LED制御部２２からの制御に従い、発光スペクトルのピーク波長がλ１である光（以下、波長λ１の光という）を発光する。すなわち、例えば、光源群２３は、被写体距離が遠距離である程、指向特性が高い副光源群２３−１の光出力が大きくなるように発光し、被写体距離が近距離である程、指向特性が低い副光源群２３−２の光出力が大きくなるように発光する。
【００３１】
光源群２４は、LED制御部２２の制御に従い、発光スペクトルのピーク波長がλ２である光（以下、波長λ２の光という）を発光する。すなわち、例えば、光源群２４は、被写体距離が遠距離である程、指向特性が高い副光源群２４−１の光出力が大きくなるように発光し、被写体距離が近距離である程、指向特性が低い副光源群２４−２の光出力が大きくなるように発光する。
【００３２】
なお、波長λ１，λ２の具体的な値については、図２を参照して後述する。
【００３３】
光学フィルタ２５は、撮像部２６に入射する光を制限するよう撮像部２６の前面に設けられており、例えば、その分光特性として波長λ１よりも短波長側の光及び波長λ２よりも長波長側の光を吸収し、波長λ１以上であって波長λ２以下の光を透過するようになされている。
【００３４】
撮像部２６は、集光レンズと、CCD、CMOSなどの撮像素子とを内蔵しており、撮像制御部２７からの制御に従い、光学フィルタ２５を透過してきた光（被写体からの反射光）を受光して画像を生成する。光源群２３が発光しているときに生成される画像を第１の画像とし、光源群２４が発光しているときに生成される画像を第２の画像とする。
【００３５】
撮像部２６は、生成した第１及び第２の画像を、撮像制御部２７に供給する。
【００３６】
撮像制御部２７は、コントローラ２１からの制御に従い、撮像部２６の撮像タイミング、撮像時間（露光時間）、輝度値増幅のゲインなどを制御する。また、撮像制御部２７は、撮像部２６から供給される第１及び第２の画像を画像処理部２８に出力する。
【００３７】
画像処理部２８は、撮像制御部２７からの第１及び第２の画像の、対応する画素の輝度値Ｙ１，Ｙ２の差分である反射率差検出信号Ｓ＝Ｙ１−Ｙ２を算出し、反射率差検出信号Ｓを所定の閾値と比較することにより２値化する。
【００３８】
そして、画像処理部２８は、その２値化により得られる２値化肌画像上の全領域のうち、２値の一方の領域（対応する反射率差検出信号Ｓが所定の閾値以上となっている領域）を肌領域として検出する。また、画像処理部２８は、２値化肌画像を距離算出部２９に供給する。
【００３９】
なお、画像処理部２８は、算出した反射率差検出信号Ｓを、例えば、輝度値Ｙ１又はＹ２のいずれかで除算（正規化）した上で、２値化を行うようにしてもよい。
【００４０】
距離算出部２９は、被写体距離が近い程、被写体の肌領域の大きさ（例えば、肌領域の面積や幅等）が大きくなることを利用して、画像処理部２８からの２値化肌画像上の肌領域の大きさに基づいて、被写体距離を算出し、コントローラ２１に供給する。
【００４１】
これにより、コントローラ２１は、距離算出部２９からの被写体距離に基づき、例えば、LED制御部２２を制御して、光源群２３を構成する副光源群２３−１及び副光源群２３−２それぞれの光出力、並びに光源群２４を構成する副光源群２４−１及び副光源群２４−２それぞれの光出力を制御させる。
【００４２】
なお、距離算出部２９は、画像処理部２８からの２値化肌画像上の肌領域の大きさに基づいて、被写体距離を算出するようにしたが、被写体距離を算出できれば、どのような算出方法により算出するようにしてもよい。
【００４３】
具体的には、例えば、距離算出部２９は、画像処理部２８からの２値化肌画像に代えて、検出対象物４１にレーザを照射して被写体距離を測定するレーザレンジファインダや、異なる視差が設けられた２台のカメラを用いて被写体距離を測定するステレオカメラ等を用いて、被写体距離を測定するようにしてもよい。
【００４４】
[肌に対する分光反射特性]
次に、図２は、人間の肌に対する分光反射特性を示している。
【００４５】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００４６】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００４７】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、630乃至1100[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００４８】
なお、波長λ１及びλ２の組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００４９】
具体的には、例えば、上述した分光反射特性において、波長λ１及びλ２の組合せとして、波長λ１が630[nm]以上であって1000[nm]以下であり、波長λ２が900[nm]以上であって1100[nm]以下であり、且つ、波長λ１が波長λ２よりも短い波長（波長λ１＜波長λ２）（より好適には、波長λ１＋40[nm]＜波長λ２）となる組合せが採用される。
【００５０】
[撮像部２６の撮像範囲]
次に、図３を参照して、撮像部２６の撮像範囲について説明する。図３は、撮像部２６の上面図を示している。
【００５１】
図３において、撮像部２６の画角θを挟む２本の撮像範囲境界線L1及びL2により形成される三角形状の範囲は、撮像部２６の撮像範囲を示している。
【００５２】
図３において、撮像部２６の光軸と一致するZ軸は、撮像部２６（光源群２３及び２４）から被写体（検出対象物４１）までの被写体距離ｚを示している。なお、本実施の形態では、撮像部２６と、光源群２３及び２４とは、近接した状態で設置されているものとする。
【００５３】
光源群２３及び２４は、予め決められた検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射する必要がある。
【００５４】
具体的には、例えば、被写体距離ｚが0≦ｚ≦a[m]である近距離において、検出対象物４１は、被写体距離ｚにおける撮像領域（第１及び第２の画像に対応する領域）の多くを占めることとなる。したがって、被写体距離ｚが近距離である場合、被写体距離ｚにおける撮像領域を検出対象領域とし、その検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射する必要がある。
【００５５】
これに対して、被写体距離ｚがa＜ｚ≦b[m]である遠距離において、検出対象物４１は、主に、被写体距離ｚにおける撮像領域のうちの所定の領域（例えば、中央の領域）を占めることとなる。したがって、被写体距離ｚが遠距離である場合、被写体距離ｚにおける撮像領域のうちの所定の領域を含む領域を、検出対象領域とし、その検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射すればよい。
【００５６】
なお、検出対象領域は、検出対象物４１が移動すると想定される領域であって、予め実験等により決められているものとする。具体的には、例えば、検出対象領域は、横幅と縦幅とがそれぞれ、同一の幅（例えば、幅２×ｗ）である領域をいう。また、距離aは、検出対象領域の半幅ｗと、撮像部２６の画角θの半画角θ/2とにより決定される。具体的には、例えば、距離aは、撮像部２６から、距離ｗ/tan(θ/2)の１倍から２倍程度の距離とされる。
【００５７】
本実施の形態では、図３に示されるように、距離ｗ/tan(θ/2)の１倍を距離a（=ｗ/tan(θ/2)）としている。
【００５８】
なお、検出対象領域の横幅と縦幅とが、それぞれ異なる幅ｊとｋである場合、横幅ｊ又は縦幅ｋの一方についての半幅ｗと、撮像部２６についての半画角θ/2とに基づいて、距離ｗ/tan(θ/2)が算出されることになる。
【００５９】
また、検出対象領域の横幅と縦幅とが、それぞれ異なる幅ｊとｋである場合、横幅ｊと縦幅ｋとの平均を求め、その結果得られる平均幅の半幅と、撮像部２６についての半画角θ/2とに基づいて、距離ｗ/tan(θ/2)を算出するようにしてもよい。
【００６０】
[副光源群の指向特性について]
図４は、副光源群２３−１及び２４−１と、副光源群２３−２及び２４−２との指向特性を示している。
【００６１】
図４において、横軸は、半画角θ/2を示しており、縦軸は、光の強度（相対値）を示している。なお、横軸の半画角θ/2において、正の値で表される角度は、撮像部２６の光軸（図３のZ軸）と撮像範囲境界線L1との角度θ/2を示しており、負の値で表される角度は、撮像部２６の光軸と撮像範囲境界線L2との角度を示している。
【００６２】
副光源群２３−１及び２４−１それぞれを構成するLEDは、図４に示されるグラフ１のような高い指向特性を有している。具体的には、例えば、LEDの半値半角が、撮像部２６の半画角θ/2以下となるような指向特性を有する。
【００６３】
また、副光源群２３−２及び２４−２それぞれを構成するLEDは、図４に示されるグラフ２のような低い指向特性を有している。具体的には、例えば、LEDの半値半角が、撮像部２６の半画角θ/2以上となるような指向特性を有する。
【００６４】
なお、半値半角とは、LEDから照射される光の強度のうち、ピーク強度（を表す値）の半値で照射されている光の照射方向と、LEDの中心を通る方向との成す角度をいう。
【００６５】
図４に示されるように、副光源群２３−１及び２４−１は、副光源群２３−２及び２４−２よりも高い指向特性を有する。
【００６６】
このため、副光源群２３−１及び２４−１は、被写体距離ｚが遠距離である場合に、副光源群２３−２及び２４−２を用いるときと比較して、消費電力を抑制した状態で、検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射することが可能となる。
【００６７】
また、図４に示されるように、副光源群２３−２及び２４−２は、副光源群２３−１及び２４−１よりも低い指向特性を有する。
【００６８】
このため、副光源群２３−２及び２４−２は、被写体距離ｚが近距離である場合に、副光源群２３−１及び２４−１を用いるときと比較して、消費電力を抑制した状態で、検出対象領域に対して、肌領域を検出可能な強度の光出力で光を照射することが可能となる。
【００６９】
次に、図５及び図６を参照して、副光源群２３−１と、副光源群２３−２との照度分布について説明する。なお、副光源群２４−１と、副光源群２４−２との照度分布は、副光源群２３−１と、副光源群２３−２との照度分布と同様となるため、その説明は以下省略する。
【００７０】
[近距離における照度分布]
図５は、被写体距離ｚが近距離である場合、すなわち、例えば、被写体距離ｚ=0.3[m]である場合の照度分布の一例を示している。
【００７１】
図５において、横軸は、被写体距離ｚにおける撮像領域（検出対象領域）上の水平方向の位置を示しており、縦軸は、照度（相対値）を示している。なお、横軸において、撮像領域の中央の位置を0[m]としている。また、図５において、撮像部２６の画角θは９０度であるものとする。
【００７２】
さらに、図５において、グラフ１は、副光源２３−１における照度分布を示している。グラフ２は、副光源２３−２における照度分布を示している。なお、副光源２３−１と副光源２３−２とのそれぞれの光出力（照射光における強度の積算値）は等しいものとしている。これらのことは、後述する図６についても同様である。
【００７３】
なお、被写体距離ｚ=0.3[m]における撮像領域（検出対象領域）において、撮像範囲境界線L1の位置は0.3[m]であり、撮像範囲境界線L2の位置は-0.3[m]である。
【００７４】
図５のグラフ２において、±0.3[m]付近の位置における照度は、0[m]付近の位置における照度の約1/3程度であり、照射時間や露光時間等を調整することで、撮像部２６の撮像により得られる第１及び第２の画像における各輝度値すべてを、飽和レベルの1/5以上の範囲内に収めることができる。
【００７５】
これに対して、図５のグラフ１において、±0.3[m]付近の位置における照度は、0[m]付近の位置における照度と比較して非常に小さいものとなっており、撮像部２６の撮像により得られる第１及び第２の画像における各輝度値すべてを、飽和レベルの1/5以上の範囲内に収めることはできない。
【００７６】
したがって、被写体距離ｚ=0.3[m]である場合には、図５のグラフ２に示されるような指向特性が低い副光源群２３−２を用いることが望ましい。
【００７７】
なお、副光源群２３−１と副光源群２２−２とは、同一の消費電力を消費して、同一の光出力で光を照射するものとなっている。また、図５では、±0.3[m]付近の位置における照度において、グラフ２は、グラフ１よりも高い照度を得ることができるようになっている。
【００７８】
このため、消費電力の低減という観点からも、グラフ２に示されるような指向特性が低い副光源群２３−２を用いることが望ましい。
【００７９】
[遠距離における照度分布]
図６は、被写体距離ｚが遠距離である場合、すなわち、例えば、被写体距離ｚ=3[m]である場合の照度分布の一例を示している。
【００８０】
なお、被写体距離ｚ=3[m]における撮像領域において、撮像範囲境界線L1の位置は3[m]であり、撮像範囲境界線L2の位置は-3[m]である。また、検出対象領域境界線T1の位置は1[m]であり、撮像範囲境界線T2の位置は-1[m]である。
【００８１】
図６のグラフ１において、±1[m]付近の位置における照度は、0[m]付近の位置における照度と比較して約半分となっており、露光時間等を調整することで、輝度値を飽和レベルの1/5以上の範囲内に収めることができる。
【００８２】
これに対して、図６のグラフ２における照度は、全体的に小さなものとなっており、肌領域を精度良く検出することができない。
【００８３】
したがって、被写体距離ｚ=3[m]である場合には、図６のグラフ１に示されるような指向特性が高い副光源群２３−１を用いることが望ましい。
【００８４】
なお、上述したように、副光源群２３−１と副光源群２２−２とは、同一の消費電力を消費して、同一の光出力で光を照射するものとなっている。また、図６では、±1[m]付近の位置における照度において、グラフ１は、グラフ２よりも高い照度を得ることができるようになっている。
【００８５】
このため、消費電力の低減という観点からも、グラフ１に示されるような指向特性が低い副光源群２３−１を用いることが望ましい。
【００８６】
このため、例えば、検出装置１は、被写体距離ｚが近距離である程に、指向特性が低い副光源群２３−２及び２４−２の光出力を大きくするとともに、指向特性が高い副光源群２３−１及び２４−１の光出力を小さくするようにする。また、検出装置１は、被写体距離ｚが遠距離である程に、指向特性が低い副光源群２３−２及び２４−２の光出力を小さくするとともに、指向特性が高い副光源群２３−１及び２４−１の光出力を大きくするようにする。
【００８７】
なお、検出装置１は、近距離において、グラフ２に示されるような指向特性が低い副光源群２３−２及び２４−２のみを用いるようにし、遠距離において、グラフ１に示されるような指向特性が高い副光源群２３−１及び２４−１のみを用いるようにして、肌領域を検出するようにしてもよい。
【００８８】
[検出装置１の動作説明]
次に、図７のフローチャートを参照して、検出装置１が行う肌検出処理を説明する。
【００８９】
ステップＳ１において、距離算出部２９は、被写体距離ｚを算出し、コントローラ２１に供給する。コントローラ２１は、例えば、距離算出部２９からの被写体距離ｚに基づいて、被写体距離ｚが距離a以下の近距離であるのか、被写体距離ｚが距離aよりも長い遠距離であるのかを判定し、その判定結果に基づいて、肌検出に用いるLEDを決定する。
【００９０】
すなわち、例えば、コントローラ２１は、被写体距離ｚが近距離である場合、光源群２３を構成する副光源群２３−１及び２３−２のうち、指向特性の低い副光源群２３−２を、光源群２４を構成する副光源群２４−１及び２４−２のうち、指向特性の低い副光源群２４−２をそれぞれ決定する。
【００９１】
また、例えば、コントローラ２１は、被写体距離ｚが遠距離である場合、光源群２３を構成する副光源群２３−１及び２３−２のうち、指向特性の高い副光源群２３−１を、光源群２４を構成する副光源群２４−１及び２４−２のうち、指向特性の高い副光源群２４−１をそれぞれ決定する。
【００９２】
いまの場合、コントローラ２１は、副光源群２３−１及び２４−１を決定したものとして、ステップＳ２以降の処理を説明する。
【００９３】
なお、距離算出部２９は、例えば、前回の肌検出処理において算出された２値化肌画像に基づいて、被写体距離ｚを算出して、コントローラ２１に供給するものとする。
【００９４】
ステップＳ２において、副光源群２３−１は、LED制御部２２からの制御に従い、波長λ１の光を被写体に照射する。ステップＳ３において、撮像部２６は、撮像制御部２７からの制御に従い、入射される被写体からの反射光を光電変換することにより第１の画像を生成し、撮像制御部２７に供給する。
【００９５】
ステップＳ４において、副光源群２３−１は、LED制御部２２からの制御に従い、消灯する。また、副光源群２４−１は、LED制御部２２からの制御に従い、波長λ２の光を被写体に照射する。ステップＳ５において、撮像部２６は、撮像制御部２７からの制御に従い、入射される被写体からの反射光を光電変換することにより第２の画像を生成し、撮像制御部２７に供給する。
【００９６】
そして、副光源群２４−１は、LED制御部２２からの制御に従い消灯する。撮像制御部２７は、撮像部２６からの第１及び第２の画像を、画像処理部２８に供給する。
【００９７】
ステップＳ６において、画像処理部２８は、撮像制御部２７からの第１及び第２の画像の、対応する画素の輝度値Ｙ１，Ｙ２の差分である反射率差検出信号Ｓ＝Ｙ１−Ｙ２を算出する。なお、輝度値Ｙ１は、第１の画像を構成する画素の輝度値であり、輝度値Ｙ２は、第２の画像を構成する画素の輝度値であるとする。
【００９８】
ステップＳ７において、画像処理部２８は、反射率差検出信号Ｓを所定の閾値と比較することにより２値化し、その２値化により得られる２値化肌画像上の全領域のうち、２値の一方の領域を肌領域として検出する。また、画像処理部２８は、２値化肌画像を距離算出部２９に供給する。
【００９９】
ステップＳ８において、画像処理部２８は、生成した２値化肌画像を構成する各画素のうち、一方の領域を肌領域として検出する。以上で、肌検出処理は終了される。
【０１００】
以上説明した肌検出処理によれば、被写体距離ｚに応じて決定された副光源群２３−１及び２４−１（又は副光源群２３−２及び２４−２）により光を照射するようにして得られる第１及び第２の画像を用いて、肌領域を検出するようにしたので、被写体距離ｚに拘らず、単一の指向特性を有する複数のLEDを用いる場合と比較して、照射による消費電力を少なくすることが可能となる。
【０１０１】
なお、LEDの光出力には制限があるため、単一の指向特性を有するLEDを用いる場合には、LEDの光出力の制限に応じて、肌領域を検出可能な距離が制限されることとなる。
【０１０２】
この点について、肌検出処理では、被写体距離ｚに応じて、より少ない消費電力で光を照射する指向特性を有する適切な副光源群を用いるようにしているので、単一の指向特性を有する複数のLEDを用いる場合と比較して、より遠い距離に存在する検出対象物４１を検出することが可能となる。
【０１０３】
＜２．変形例＞
本実施の形態では、副光源群２３−１及び２４−１を、砲弾型のLEDにより構成し、副光源群２３−２及び２４−２を、出射面が平坦なLEDにより構成するようにして、それぞれ異なる指向特性を有するようにしたが、その他、例えば、レンズやミラー、偏光板等の光学部品を用いて、異なる指向特性を有するようにさせてもよい。
【０１０４】
また、本実施の形態では、光源群２３として、２つの副光源群２３−１及び２３−２を採用することとしたが、３つ以上の、それぞれ異なる指向特性（それぞれ異なる半値半角）を有する副光源群を採用するようにしてもよい。具体的には、例えば、光源群２３として、半値半角が半画角θ/2以上である副光源群、又は半値半角が半画角θ/2以下である副光源群の少なくとも１つを含む複数の副光源群を採用できる。このことは、光源群２４についても同様である。
【０１０５】
本実施の形態である検出装置１は、例えば、テレビジョン受像機などの任意の電子装置に内蔵させることができる。その電子装置においては、検出された肌領域（例えば被写体の手など）の動きに応じ、所定の処理を実行するようにすることができる。
【０１０６】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０７】
[コンピュータの構成例]
図８は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０１０８】
CPU（central processing unit）６１は、ROM（read only memory）６２、または記憶部６８に記憶されているプログラムに従って各種の処理を実行する。RAM（random access memory）６３には、CPU６１が実行するプログラムやデータなどが適宜記憶される。これらのCPU６１、ROM６２、およびRAM６３は、バス６４により相互に接続されている。
【０１０９】
CPU６１にはまた、バス６４を介して入出力インタフェース６５が接続されている。入出力インタフェース６５には、キーボード、マウス、マイクロホンなどよりなる入力部６６、ディスプレイ、スピーカなどよりなる出力部６７が接続されている。CPU６１は、入力部６６から入力される指令に対応して各種の処理を実行する。そして、CPU６１は、処理の結果を出力部６７に出力する。
【０１１０】
入出力インタフェース６５に接続されている記憶部６８は、例えばハードディスクからなり、CPU６１が実行するプログラムや各種のデータを記憶する。通信部６９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１１１】
また、通信部６９を介してプログラムを取得し、記憶部６８に記憶してもよい。
【０１１２】
入出力インタフェース６５に接続されているドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部６８に転送され、記憶される。
【０１１３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図８に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１、または、プログラムが一時的もしくは永続的に記録されるROM６２や、記憶部６８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部６９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１１４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１５】
また、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１６】
１ 検出装置， ２１ コントローラ， ２２ LED制御部， ２３ 光源群， ２３−１，２３−２ 副光源群， ２４ 光源群， ２４−１，２４−２ 副光源群， ２５ 光学フィルタ， ２６ 撮像部， ２７ 撮像制御部， ２８ 画像処理部， ２９ 距離算出部
【特許請求の範囲】
【請求項１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、
前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、
前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と
を含む画像処理装置。
【請求項２】
前記照射制御手段は、
前記被写体までの距離が所定の距離未満である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が小さくなるとともに、指向特性の低い照射部の光出力が大きくなるように制御し、
前記被写体までの距離が前記所定の距離以上である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が大きくなるとともに、指向特性の低い照射部の光出力が小さくなるように制御する
請求項１に記載の画像処理装置。
【請求項３】
前記撮像生成手段により撮像される撮像領域内には、前記被写体までの距離に応じて、肌領域を検出するために必要な光出力で照射するための検出対象領域が予め決められており、
前記被写体までの距離が、前記検出対象領域の水平方向の半幅、又は前記検出対象領域の垂直方向の半幅の少なくとも１つと、前記撮像生成手段の半画角とに基づいて決められる前記所定の距離以上であるか否かを判定する判定手段をさらに含む
請求項２に記載の画像処理装置。
【請求項４】
前記被写体までの距離を算出する距離算出手段をさらに含み、
前記照射制御手段は、算出された前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する
請求項１に記載の画像処理装置。
【請求項５】
前記第１及び第２の発光手段は、半値半角が前記撮像生成手段の半画角以上である照射部、又は半値半角が前記撮像生成手段の半画角以下である照射部の少なくとも１つを有する
請求項１に記載の画像処理装置。
【請求項６】
前記第１の波長λ１、前記第２の波長λ２は次式の関係を満たす
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
請求項１に記載の画像処理装置。
【請求項７】
画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記画像処理装置は、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
照射制御手段と、
撮像生成手段と、
検出手段と
を含み、
前記第１の発光手段が、前記第１の波長の光を前記被写体に照射し、
前記第２の発光手段が、前記第２の波長の光を前記被写体に照射し、
前記照射制御手段が、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御し、
前記撮像生成手段が、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成し、
前記検出手段が、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する
ステップを含む画像処理方法。
【請求項８】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と
を含む画像処理装置のコンピュータを、
前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、
前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と
して機能させるためのプログラム。
【請求項９】
画像上から人間の肌を表す肌領域を検出する電子装置において、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、
前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、
前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と、
検出された前記肌領域に基づいて、所定の処理を実行する実行手段と
を含む電子装置。
【請求項１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、
前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、
前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と
を含む画像処理装置。
【請求項２】
前記照射制御手段は、
前記被写体までの距離が所定の距離未満である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が小さくなるとともに、指向特性の低い照射部の光出力が大きくなるように制御し、
前記被写体までの距離が前記所定の距離以上である場合、前記第１及び第２の発光手段それぞれの照射部のうち、指向特性の高い照射部の光出力が大きくなるとともに、指向特性の低い照射部の光出力が小さくなるように制御する
請求項１に記載の画像処理装置。
【請求項３】
前記撮像生成手段により撮像される撮像領域内には、前記被写体までの距離に応じて、肌領域を検出するために必要な光出力で照射するための検出対象領域が予め決められており、
前記被写体までの距離が、前記検出対象領域の水平方向の半幅、又は前記検出対象領域の垂直方向の半幅の少なくとも１つと、前記撮像生成手段の半画角とに基づいて決められる前記所定の距離以上であるか否かを判定する判定手段をさらに含む
請求項２に記載の画像処理装置。
【請求項４】
前記被写体までの距離を算出する距離算出手段をさらに含み、
前記照射制御手段は、算出された前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する
請求項１に記載の画像処理装置。
【請求項５】
前記第１及び第２の発光手段は、半値半角が前記撮像生成手段の半画角以上である照射部、又は半値半角が前記撮像生成手段の半画角以下である照射部の少なくとも１つを有する
請求項１に記載の画像処理装置。
【請求項６】
前記第１の波長λ１、前記第２の波長λ２は次式の関係を満たす
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
請求項１に記載の画像処理装置。
【請求項７】
画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記画像処理装置は、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
照射制御手段と、
撮像生成手段と、
検出手段と
を含み、
前記第１の発光手段が、前記第１の波長の光を前記被写体に照射し、
前記第２の発光手段が、前記第２の波長の光を前記被写体に照射し、
前記照射制御手段が、前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御し、
前記撮像生成手段が、前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成し、
前記検出手段が、前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する
ステップを含む画像処理方法。
【請求項８】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と
を含む画像処理装置のコンピュータを、
前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、
前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と
して機能させるためのプログラム。
【請求項９】
画像上から人間の肌を表す肌領域を検出する電子装置において、
それぞれ異なる指向特性で第１の波長の光を被写体に照射する複数の照射部を有する第１の発光手段と、
それぞれ異なる指向特性で前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する複数の照射部を有する第２の発光手段と、
前記被写体までの距離に応じて、前記第１及び第２の発光手段それぞれの照射部の光出力を制御する照射制御手段と、
前記第１の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記被写体を撮像して得られる第２の画像を生成する撮像生成手段と、
前記第１の画像と前記第２の画像との差分と、前記差分と比較される閾値との比較結果に基づいて、前記肌領域を検出する検出手段と、
検出された前記肌領域に基づいて、所定の処理を実行する実行手段と
を含む電子装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１４７（Ｐ２０１２−１４７Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３５３０６（Ｐ２０１０−１３５３０６）
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]