画像処理装置、画像処理方法、プログラム、及び電子機器
【課題】肌領域を検出することが可能な範囲で、カメラのゲイン等を調整する。
【解決手段】LED２１aは、第１の波長の光を照射し、LED２１bは、第２の波長の光を照射し、カメラ２２は、被写体の撮像を行ない、制御部４１は、被写体に対して第１及び第２の波長の光を照射させない状態で、被写体に対するカメラ２２の撮像により得られる外光画像に基づいて、肌領域を検出するための肌検出可能条件を満たす範囲内でカメラ２２のパラメータを調整し、算出部４２及び２値化部４３は、調整後のカメラ２２により被写体に対して第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び調整後のカメラ２２により被写体に対して第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、肌領域を検出する。本発明は、例えば被写体を撮像した撮像画像から、被写体の形状を検出するコンピュータに適用できる。
【解決手段】LED２１aは、第１の波長の光を照射し、LED２１bは、第２の波長の光を照射し、カメラ２２は、被写体の撮像を行ない、制御部４１は、被写体に対して第１及び第２の波長の光を照射させない状態で、被写体に対するカメラ２２の撮像により得られる外光画像に基づいて、肌領域を検出するための肌検出可能条件を満たす範囲内でカメラ２２のパラメータを調整し、算出部４２及び２値化部４３は、調整後のカメラ２２により被写体に対して第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び調整後のカメラ２２により被写体に対して第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、肌領域を検出する。本発明は、例えば被写体を撮像した撮像画像から、被写体の形状を検出するコンピュータに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び電子機器に関し、特に、例えば、ユーザを撮像して得られる撮像画像から肌領域を抽出する場合に用いて好適な画像処理装置、画像処理方法、プログラム、及び電子機器に関する。
【背景技術】
【０００２】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。
【０００３】
この肌認識システムでは、波長λ１の光（例えば、870[nm]の近赤外線）を被写体に照射するLED(light emitting diode)、及び波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を被写体に照射するLEDが交互に発光される。
【０００４】
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。
【０００５】
そして、肌認識システムでは、波長λ１の光を照射するLEDにより、波長λ１の光が被写体に照射されているときに第１の撮像画像が撮像される。
【０００６】
また、波長λ２の光を照射するLEDにより、波長λ２の光が被写体に照射されているときに第２の撮像画像が撮像される。
【０００７】
そして、第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方から肌領域が検出される。
【０００８】
すなわち、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せが採用されている。
【０００９】
このため、第１の撮像画像上の肌領域を構成する画素の輝度値は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。
【００１０】
また、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せが採用されている。
【００１１】
このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。
【００１２】
よって、肌認識システムでは、例えば、差分絶対値が比較的大きな値となる場合に、対応する領域を肌領域として検出することができる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ところで、上述した肌認識システムでは、第１及び第２の撮像画像上に生じるノイズや、各LEDの照射光量のばらつき等に起因して、第１及び第２の撮像画像上の肌領域における差分絶対値と、非肌領域（肌領域以外の領域）における差分絶対値とが殆ど同じ値となってしまうことが生じ得る。
【００１５】
この場合、肌認識システムでは、差分絶対値の大小に応じて、その差分絶対値に対応する領域が肌領域であるのか、それとも非肌領域であるのかを検出（判定）するようにしているため、肌領域の検出精度が大幅に低下してしまう。
【００１６】
そこで、肌領域の検出精度が低下することを防止するために、肌領域における差分絶対値が、非肌領域における差分絶対値よりも十分に大きな値となるようにする必要がある。
【００１７】
ところが、肌認識システムから被写体までの距離によっては、肌領域における差分絶対値が、非肌領域における差分絶対値よりも十分に大きな値にできないことがあり、肌領域を精度良く検出可能な検出可能距離が、制限されてしまうことがあった。
【００１８】
そこで、被写体を撮像するカメラのゲインを大きくし、第１及び第２の撮像画像上の肌領域における差分絶対値が、非肌領域における差分絶対値よりも十分に大きな値となるようにして、検出可能距離を伸ばすことが考えられる。
【００１９】
また、各LEDの照射光量が、肌領域を精度良く検出可能な照射光量に満たない場合、カメラのゲインを大きくして、各LEDの照射光量の不足分を補い、被写体の肌領域を検出することが考えられる。
【００２０】
しかしながら、日光や照明（白熱灯や蛍光灯）等による外光を無視して、ゲインを大きくしまうと、カメラによる飽和（白とび等）が生じてしまい、肌領域を精度良く検出できなくなってしまう。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、日光や照明等による外光に応じて、カメラのゲイン等を調整するようにして、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の一側面の画像処理装置は、被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置であって、前記被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記被写体の撮像を行なう撮像手段と、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段とを含む画像処理装置である。
【００２３】
前記調整手段では、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整することができる。
【００２４】
前記調整手段では、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整することができる。
【００２５】
前記調整手段では、前記外光画像を構成する画素の輝度値の平均値に基づいて、前記撮像手段のパラメータを調整することができる。
【００２６】
前記調整手段では、前記外光画像を構成する画素の輝度値のうち、画素数が最大の輝度値に基づいて、前記撮像手段のパラメータを調整することができる。
【００２７】
前記調整手段では、前記外光画像を構成する画素の輝度値のうち、小さな輝度値の画素から積算して得られる輝度積算数が所定の値となるときの画素の輝度値に基づいて、前記撮像手段のパラメータを調整することができる。
【００２８】
前記調整手段では、前記撮像手段のパラメータとして、前記撮像手段のゲイン、受光感度、又は受光時間のうちの少なくとも１つを調整することができる。
【００２９】
前記第１及び第２の照射手段では、それぞれ異なる波長の赤外線を照射することができる。
【００３０】
前記第１及び第２の照射手段の一方で930[nm]以上の波長の光を照射し、他方で930[nm]未満の光を照射することができる。
【００３１】
本発明の一側面の画像処理方法は、被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射手段と、第２の照射手段と、撮像手段と、調整手段と、肌検出手段とを含み、前記第１の照射手段が、前記被写体に対して第１の波長の光を照射し、前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、前記撮像手段が、前記被写体の撮像を行ない、前記調整手段が、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整し、前記肌検出手段が、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出するステップを含む画像処理方法である。
【００３２】
本発明の一側面のプログラムは、コンピュータを、被写体に対して第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を照射させない状態で、前記被写体に対する撮像手段の撮像により得られる外光画像に基づいて、前記被写体の肌を表す肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段として機能させるためのプログラムである。
【００３３】
本発明の一側面の電子機器は、被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置を内蔵する電子機器であって、前記画像処理装置は、前記被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記被写体の撮像を行なう撮像手段と、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段とを含む電子機器である。
【００３４】
本発明の一側面によれば、被写体に対して第１の波長の光、及び第１の波長とは異なる第２の波長の光を照射させない状態で、被写体に対する撮像手段の撮像により得られる外光画像に基づいて、被写体の肌を表す肌領域を検出するための肌検出可能条件を満たす範囲内で撮像手段のパラメータが調整され、パラメータが調整された撮像手段により被写体に対して第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及びパラメータが調整された撮像手段により被写体に対して第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、肌領域が検出される。
【発明の効果】
【００３５】
本発明によれば、日光や照明等による外光に応じて、カメラのゲイン等を調整するようにしたので、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明を適用した情報処理システムの構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】画像処理装置の詳細な構成例を示すブロック図である。
【図４】外光画像を構成する画素の輝度値におけるヒストグラムの第１の例を示す図である。
【図５】算出部及び２値化部が行なう処理の一例を示す図である。
【図６】画像処理装置が行う調整処理を説明するためのフローチャートである。
【図７】外光画像を構成する画素の輝度値におけるヒストグラムの第２の例を示す図である。
【図８】外光画像を構成する画素の輝度値におけるヒストグラムの第３の例を示す図である。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３７】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（外光画像の平均輝度に基づいてカメラのゲインを調整する場合の一例）
２．変形例
【００３８】
＜１．本実施の形態＞
[情報処理システム１の構成例]
図１は、本実施の形態である情報処理システム１の構成例を示している。
【００３９】
この情報処理システム１は、ユーザの手を用いたジェスチャ（又はポスチャ）に応じて所定の処理を実行するものであり、発光装置２１、カメラ２２、及び画像処理装置２３により構成される。
【００４０】
情報処理システム１に対して所定の処理を実行させるため、ユーザは、カメラ２２のレンズ面の前で自身の手の形状を変化させる。
【００４１】
このとき、情報処理システム１では、ユーザの手の形状を認識し、その認識結果に対応して所定の処理を実行する。
【００４２】
なお、本実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ２２のレンズ面に近い位置に出してジェスチャ（又はポスチャ）を行うものとする。
【００４３】
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED２１a1及びLED２１a2、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及びLED２１b2により構成される。
【００４４】
なお、以下の説明において、 LED２１a1及びLED２１a2をそれぞれ区別する必要がない場合には、単にLED２１aというとともに、LED２１b1及びLED２１b2をそれぞれ区別する必要がない場合には、単にLED２１bという。
【００４５】
発光装置２１は、画像処理装置２３からの制御にしたがって、LED２１aとLED２１bとを、例えば交互に発光させる。
【００４６】
LED２１aとLED２１bは、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の対応する画素どうしの輝度値が同一となるように、例えば交互に発光する。
【００４７】
また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性に基づいて決定される。
【００４８】
次に、図２は、人間の肌に対する分光反射特性を示している。
【００４９】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００５０】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００５１】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００５２】
具体的には、例えば、図２に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
【００５３】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００５４】
本実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００５５】
図１に戻り、カメラ２２は、外光によって被写体に照射される光の反射光、及びLED２１aによって被写体に照射される波長λ１の光の反射光を受光し、その結果得られる第１の撮像画像を、画像処理装置２３に供給する。
【００５６】
また、カメラ２２は、外光によって被写体に照射される光の反射光、及びLED２１bによって被写体に照射される波長λ２の光の反射光を受光し、その結果得られる第２の撮像画像を、画像処理装置２３に供給する。
【００５７】
さらに、カメラ２２は、外光によって被写体に照射される光の反射光を受光し、その結果得られる外光画像を、画像処理装置２３に供給する。
【００５８】
画像処理装置２３は、発光装置２１及びカメラ２２を制御する。すなわち、例えば、画像処理装置２３は、カメラ２２からの外光画像等に基づいて、カメラ２２のゲイン、発光装置２１のLED２１aやLED２１bの照射光量を調整する調整処理を行なう。なお、調整処理の詳細は、図６のフローチャートを参照して後述する。
【００５９】
また、画像処理装置２３は、カメラ２２から供給される第１及び第２の撮像画像の、対応する画素の輝度値の差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。
【００６０】
そして、画像処理装置２３は、検出した肌領域に基づいて、ユーザの手の形状等を認識し、その認識結果に対応して所定の処理を実行する。
【００６１】
[画像処理装置２３の構成例]
次に、図３は、画像処理装置２３の構成例を示している。
【００６２】
この画像処理装置２３は、制御部４１、算出部４２、及び２値化部４３により構成される。
【００６３】
制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのいずれも消灯させた状態で、カメラ２２による被写体の撮像を行なわせ、その撮像により得られる外光画像を、制御部４１に供給させる。
【００６４】
制御部４１は、カメラ２２からの外光画像について、外光画像を構成する画素の輝度値のヒストグラムを生成し、生成したヒストグラムに基づいて、カメラ２２のゲインを調整する。
【００６５】
すなわち、例えば、制御部４１は、生成したヒストグラムに基づいて、カメラ２２が飽和（白とび等）せずに、第１及び第２の撮像画像に生じるノイズや、LED２１a及びLED２１bの照射光量のばらつき等によっても、肌領域を精度良く検出できる範囲内で、カメラ２２のゲインを調整する。
【００６６】
次に、図４は、制御部４１が生成するヒストグラムの一例を示している。
【００６７】
図４において、横軸は輝度値を表しており、縦軸は、外光画像において横軸の輝度値を有する画素の総数を表している。なお、カメラ２２は、撮像により、２8（=２５６）階調により表される画像を生成するものとする。したがって、横軸は輝度値として０から２５５までの値を表している。
【００６８】
制御部４１は、カメラ２２からの外光画像に基づいて、図４に示されたようなヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の平均値を表す輝度平均値を算出する。
【００６９】
そして、例えば、制御部４１は、算出した輝度平均値に基づいて、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となる範囲内で、カメラ２２のゲインを調整する。
【００７０】
好ましくは、制御部４１は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
【００７１】
すなわち、例えば、制御部４１は、図４に示されるように、輝度平均値１６５（図４において太い縦線で示す）を算出した場合、輝度平均値１６５を、カメラ２２の撮像により得ることが可能な最大の輝度値２５５の半分の輝度値１２７（図４において太い点線で示す）となるように、ゲインを調整する。
【００７２】
制御部４１は、ゲインを調整した後、発光装置２１のLED２１a及びLED２１bを制御して、LED２１a及びLED２１bを交互に発光させる。また、制御部４１は、カメラ２２を制御し、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第１及び第２の撮像画像を、算出部４２に供給させる。
【００７３】
さらに、制御部４１は、算出部４２及び２値化部４３を制御して、第１及び第２の撮像画像に基づく肌領域の検出を行わせる。
【００７４】
制御部４１は、２値化部４３からの肌領域の検出結果として、肌領域を検出できたことを表す検出結果を得た場合、LED２１a及びLED２１bの照射光量を減少させて、肌領域を精度良く検出可能な必要最低限の照射光量となるように調整する。
【００７５】
また、制御部４１は、LED２１a及びLED２１bの照射光量を過度に減少させたことに起因して、肌領域の検出ができなくなったために、２値化部４３からの肌領域の検出結果として、肌領域を検出できないことを表す検出結果を得た場合、肌領域を検出できるように、カメラ２２のゲインを、現在のゲインよりも大きく調整する。
【００７６】
制御部４１は、カメラ２２のゲイン、並びにLED２１a及びLED２１bの照射光量を調整し終わった後、肌領域の検出結果に基づく処理を行うために、算出部４２及び２値化部４３を制御して、第１及び第２の撮像画像に基づく肌領域の検出を行わせる。
【００７７】
そして、制御部４１は、２値化部４３からの肌領域の検出結果に基づく処理を行う。すなわち、例えば、制御部４１は、２値化部４３からの検出結果に基づいて、ユーザのジェスチャやポスチャを認識し、認識したジェスチャ等に対応する処理を行なう。
【００７８】
算出部４２は、カメラ２２からの第１及び第２の撮像画像に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、算出部４２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
【００７９】
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果を制御部４１に供給する。
【００８０】
次に、図５は、算出部４２及び２値化部４３が行なう処理の詳細を示している。
【００８１】
算出部４２には、カメラ２２から、肌領域６１a及び非肌領域６１b(肌領域６１a以外の領域)により構成される第１の撮像画像６１、並びに、肌領域６２a及び非肌領域６２b(肌領域６２a以外の領域)により構成される第２の撮像画像６２が供給される。
【００８２】
算出部４２は、カメラ２２から供給される第１の撮像画像６１、及び第２の撮像画像６２に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後の第１の撮像画像６１、平滑化後の第２の撮像画像６２の対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像６３を生成し、２値化部４３に供給する。
【００８３】
２値化部４３は、算出部４２からの差分画像６３に対して、差分画像６３を構成する画素の画素値のうち、２値化に用いる２値化閾値以上の画素値を１とし、２値化閾値未満の画素値を０とする２値化を行う。
【００８４】
ここで、第１及び第２の撮像画像上に生じるノイズや、LED２１a及び２１bの照射光量のばらつき等に起因して、差分画像６３上の肌領域６３aを構成する画素の画素値と、差分画像６３上の非肌領域６３bを構成する画素の画素値とが、同様の値となってしまい、正確に２値化ができなくなってしまうことを防止する必要がある。
【００８５】
このため、差分画像６３上の肌領域６３aを構成する画素の画素値は、精度良く肌領域を検出可能な肌検出可能値（差分画像６３上の非肌領域６３bを構成する画素の画素値よりも十分に大きな値）以上となるように、すなわち、肌領域を精度良く検出可能となるように、カメラ２２のゲインや、LED２１a及びLED２１bの照射光量等が調整される。
【００８６】
いま、差分画像６３における肌領域６３aは、肌領域６１aと肌領域６２aとの差分絶対値を画素値とする画素により構成されているため、肌領域６３aを構成する画素の画素値は比較的大きな値となっている。
【００８７】
また、差分画像６３における非肌領域６３bは、非肌領域６１bと非肌領域６２bとの差分絶対値を画素値とする画素により構成されているため、非肌領域６３bを構成する画素の画素値は比較的小さな値となっている。
【００８８】
したがって、差分画像６３は、２値化部４３により行われる２値化により、肌領域６３aを構成する画素の画素値が１とされた肌領域６４a、及び非肌領域６３bを構成する画素の画素値が０とされた非肌領域６４ｂにより構成される２値化肌画像６４に変換される。
【００８９】
そして、２値化部４３は、その２値化により得られる２値化肌画像６４上の肌領域６４aを、被写体の肌を検出できた旨を表す検出結果とともに、制御部４１に供給する。
【００９０】
なお、２値化部４３は、２値化により得られる２値化肌画像６４上に肌領域６４aが存在しない場合、すなわち、被写体の肌を検出できなかった場合、その旨を表す検出結果を、制御部４１に供給する。
【００９１】
[画像処理装置２３が行う調整処理の詳細]
次に、図６のフローチャートを参照して、画像処理装置２３が行なう調整処理について説明する。
【００９２】
ステップＳ１において、制御部４１は、発光装置２１及びカメラ２２を制御し、発光装置２１のLED２１a及びLED２１bを消灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる外光画像を、カメラ２２から取得する。
$
ステップＳ２において、例えば、制御部４１は、カメラ２２からの外光画像に基づいて、ヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の輝度平均値を算出する。
【００９３】
そして、制御部４１は、算出した輝度平均値に基づいて、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整する。
【００９４】
好ましくは、制御部４１は、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
【００９５】
ステップＳ３において、制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのうち、LED２１aを点灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第１の撮像画像を、算出部４２に供給させる。
【００９６】
また、制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのうち、LED２１bを点灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第２の撮像画像を、算出部４２に供給させる。
【００９７】
これにより、算出部４２は、カメラ２２から第１及び第２の撮像画像を取得する。
【００９８】
ステップＳ４において、算出部４２及び２値化部４３は、カメラ２２の撮像により得られた第１及び第２の撮像画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域の検出を試みる。
【００９９】
すなわち、例えば、算出部４２は、カメラ２２からの第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
【０１００】
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域の検出を試みる。
【０１０１】
そして、２値化部４３は、肌領域を検出できたか否かを表す検出結果を、制御部４１に供給する。
【０１０２】
ステップＳ５において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたか否かを判定し、肌領域を検出できなかったと判定した場合、処理をステップＳ６に進める。
【０１０３】
ステップＳ６において、制御部４１は、直前のステップＳ２で調整したゲインが、調整することが可能な最大のゲインであるか否かを判定し、最大のゲインではないと判定した場合、処理をステップＳ７に進める。
【０１０４】
ステップＳ７において、制御部４１は、カメラ２２を制御して、カメラ２２のゲインを、現在設定されているゲインよりも大きくなるように調整し、処理はステップＳ３に戻り、算出部４２は、ゲインが調整された後のカメラ２２による撮像により得られる新たな第１及び第２の撮像画像を取得し、それ以降同様の処理が行われる。
【０１０５】
また、ステップＳ６において、制御部４１は、直前のステップＳ２で調整したゲインが、調整することが可能な最大のゲインであると判定した場合、これ以上ゲインを大きく調整することができないため、処理をステップＳ８に進める。
【０１０６】
ステップＳ８において、制御部４１は、発光装置２１を制御して、LED２１a及びLED２１bの照射光量を所定の値に初期化し、処理をステップＳ１に戻し、再度、調整処理をやり直す。
【０１０７】
すなわち、処理がステップＳ８に進められた場合、後述するステップＳ１０において、LED２１a及びLED２１bの照射光量を減少させ過ぎたために、肌領域を検出できない事態が生じていると考えられるため、LED２１a及びLED２１bの照射光量を所定の値に初期化し、再度、調整処理をやり直すようにしている。
【０１０８】
一方、ステップＳ５において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたと判定した場合、処理をステップＳ９に進める。なお、この場合、２値化部４３は、肌領域を検出できた旨を表す検出結果とともに、生成した２値化肌画像、及び算出部４２からの差分画像を、制御部４１に供給している。
【０１０９】
ステップＳ９において、制御部４１は、２値化部４３からの２値化肌画像及び差分画像に基づいて、LED２１a及びLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であるか否かを判定する。
【０１１０】
すなわち、例えば、制御部４１は、２値化部４３からの２値化肌画像に基づいて、２値化部４３からの差分画像から、２値化肌画像上の肌領域（例えば、画素値が１である画素により構成される領域）に対応する肌領域を抽出する。
【０１１１】
そして、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値が、肌検出可能値（算出部４２からの差分画像上の非肌領域を構成する画素の画素値よりも十分に大きな値）と同程度である場合、LED２１a及びLED２１bの照射光量が必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
【０１１２】
具体的には、例えば、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度である場合、必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
【０１１３】
ステップＳ９において、制御部４１は、LED２１a及びLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量ではないと判定した場合、処理をステップＳ１０に進める。
【０１１４】
ステップＳ１０において、制御部４１は、発光装置２１を制御して、LED２１a及びLED２１bの照射光量を減少させ、肌領域を検出するために必要最小限の照射光量となるように調整する。
【０１１５】
すなわち、例えば、制御部４１は、カメラ２２の撮像により得られる第１及び第２の撮像画像上の肌領域を構成する画素の輝度値が、肌領域を精度良く検出可能な必要最低限の輝度値となるように、つまり、差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度となるように、LED２１a及びLED２１bの照射光量を調整する。
【０１１６】
制御部４１は、ステップＳ１０の処理の終了後、処理をステップＳ３に戻す。ステップＳ３では、算出部４２は、照射光量が調整されたLED２１a及びLED２１bの点灯に応じて、カメラ２２から得られる第１及び第２の撮像画像を取得し、それ以降同様の処理が行われる。
【０１１７】
なお、ステップＳ９において、制御部４１は、LED２１a及びLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であると判定した場合、調整処理を終了させる。
【０１１８】
以上説明したように調整処理では、例えば、制御部４１は、外光画像を構成する画素の輝度値の輝度平均値が、カメラ２２の撮像により得られる最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整するようにした。
【０１１９】
この場合、制御部４１では、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となる範囲内で、最もゲインが大きくなるように調整することとなるので、肌領域の検出精度を維持しつつ、肌領域を検出可能な検出可能距離を伸ばすことが可能となる。
【０１２０】
また、調整処理では、肌領域を検出するために必要最小限の照射光量となるように、LED２１a及びLED２１bの照射光量を減少させるようにしたので、肌領域の検出精度を維持しつつ、LED２１a及びLED２１bの照射に必要な電力を減らして省電力化を図ることが可能となる。
【０１２１】
＜２．変形例＞
本実施の形態において、調整処理では、制御部４１が、カメラ２２からの外光画像のヒストグラムに基づいて、外光画像の輝度平均値を生成し、生成した輝度平均値に基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲインの調整方法はこれに限定されない。
【０１２２】
すなわち、例えば、制御部４１は、図７に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、画素数が最大であるときの輝度値を表すピーク値（いまの場合、１７２）が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整するようにしてもよい。
【０１２３】
なお、制御部４１は、図７に示される場合において、輝度値２５５がピーク値となっている場合には、輝度値が２５５となっている（飽和している）部分を除外した上でピーク値を算出し、算出したピーク値に基づいて、カメラ２２のゲインを調整するようにしてもよい。
【０１２４】
また、例えば、制御部４１は、図８に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、値が小さな輝度値を有する画素から順次積算（加算）して得られる画素数を表す画素積算数に基づき特定される輝度値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
【０１２５】
すなわち、例えば、制御部４１は、画素積算数が、ヒストグラムにおける総画素数の８０パーセントに相当する画素数となるときに積算された画素の輝度値（いまの場合、２０２）が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
【０１２６】
本実施の形態では、制御部４１は、外光画像のヒストグラムに基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲイン、受光感度、又は露光（受光）時間等の少なくとも１つを調整するように構成することが可能である。
【０１２７】
また、本実施の形態では、２値化部４３は、算出部４２からの差分画像６３をそのまま２値化するようにしたが、差分画像６３を構成する画素の画素値を、それぞれ、第１の撮像画像６１を構成する画素のうち、対応する画素の輝度値で正規化（除算）した上で、２値化することが可能である。なお、２値化部４３は、第１の撮像画像６１に代えて、第２の撮像画像６２を用いて差分画像６３を正規化した上で２値化するようにしてもよい。
【０１２８】
本実施の形態では、LED２１aにより発光される第１の波長を870[nm]とし、LED２１bにより発光される第２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
【０１２９】
すなわち、波長の組合せとしては、第１の波長における反射率と、第２の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
【０１３０】
具体的には、図２から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の照射光を照射し、LED２１bが930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。
【０１３１】
また、本実施の形態において、発光装置２１は、LED２１a及びLED２１bを、それぞれ個別に発光させるようにしたが、LED２１a及びLED２１bを同時に発光させることにより、第１の撮像画像、及び第２の撮像画像を取得するように構成することが可能である。
【０１３２】
すなわち、例えば、カメラ２２に代えて、カメラ２２と同様の機能を有する２台のカメラを近接させた状態で設けるようにし、２台のカメラのうち、一方のカメラの前面には、第１の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第２の波長の光のみを通過させるフィルタを設けるように構成する。
【０１３３】
この場合、LED２１a及びLED２１bを同時に発光させたとしても、一方のカメラには、第１の波長の光のみが入射されることから、一方のカメラにおいて、第１の撮像画像を得ることが可能となる。また、他方のカメラには、第２の波長の光のみが入射されることから、他方のカメラにおいて、第２の撮像画像を得ることが可能となる。
【０１３４】
本実施の形態において、LED２１aの個数及びLED２１bの個数は、それぞれ、２個であるとして説明したが、それらの個数は、これに限定されない。
【０１３５】
本実施の形態では、情報処理システム１について説明したが、情報処理システム１を、例えばパーソナルコンピュータ等の電子機器に内蔵し、パーソナルコンピュータは、情報処理システム１により検出される肌領域に対応するジェスチャ等に基づく処理を行うことが可能である。
【０１３６】
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１３７】
[コンピュータの構成例]
次に、図９は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０１３８】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１３９】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１４０】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１４１】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１４２】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１４３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１４４】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４６】
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４７】
１ 情報処理システム， ２１ 発光装置， ２１a，２１b LED， ２２ カメラ， ２３ 画像処理装置， ４１ 制御部， ４２ 算出部， ４３ ２値化部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び電子機器に関し、特に、例えば、ユーザを撮像して得られる撮像画像から肌領域を抽出する場合に用いて好適な画像処理装置、画像処理方法、プログラム、及び電子機器に関する。
【背景技術】
【０００２】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。
【０００３】
この肌認識システムでは、波長λ１の光（例えば、870[nm]の近赤外線）を被写体に照射するLED(light emitting diode)、及び波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を被写体に照射するLEDが交互に発光される。
【０００４】
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。
【０００５】
そして、肌認識システムでは、波長λ１の光を照射するLEDにより、波長λ１の光が被写体に照射されているときに第１の撮像画像が撮像される。
【０００６】
また、波長λ２の光を照射するLEDにより、波長λ２の光が被写体に照射されているときに第２の撮像画像が撮像される。
【０００７】
そして、第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方から肌領域が検出される。
【０００８】
すなわち、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せが採用されている。
【０００９】
このため、第１の撮像画像上の肌領域を構成する画素の輝度値は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。
【００１０】
また、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せが採用されている。
【００１１】
このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。
【００１２】
よって、肌認識システムでは、例えば、差分絶対値が比較的大きな値となる場合に、対応する領域を肌領域として検出することができる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ところで、上述した肌認識システムでは、第１及び第２の撮像画像上に生じるノイズや、各LEDの照射光量のばらつき等に起因して、第１及び第２の撮像画像上の肌領域における差分絶対値と、非肌領域（肌領域以外の領域）における差分絶対値とが殆ど同じ値となってしまうことが生じ得る。
【００１５】
この場合、肌認識システムでは、差分絶対値の大小に応じて、その差分絶対値に対応する領域が肌領域であるのか、それとも非肌領域であるのかを検出（判定）するようにしているため、肌領域の検出精度が大幅に低下してしまう。
【００１６】
そこで、肌領域の検出精度が低下することを防止するために、肌領域における差分絶対値が、非肌領域における差分絶対値よりも十分に大きな値となるようにする必要がある。
【００１７】
ところが、肌認識システムから被写体までの距離によっては、肌領域における差分絶対値が、非肌領域における差分絶対値よりも十分に大きな値にできないことがあり、肌領域を精度良く検出可能な検出可能距離が、制限されてしまうことがあった。
【００１８】
そこで、被写体を撮像するカメラのゲインを大きくし、第１及び第２の撮像画像上の肌領域における差分絶対値が、非肌領域における差分絶対値よりも十分に大きな値となるようにして、検出可能距離を伸ばすことが考えられる。
【００１９】
また、各LEDの照射光量が、肌領域を精度良く検出可能な照射光量に満たない場合、カメラのゲインを大きくして、各LEDの照射光量の不足分を補い、被写体の肌領域を検出することが考えられる。
【００２０】
しかしながら、日光や照明（白熱灯や蛍光灯）等による外光を無視して、ゲインを大きくしまうと、カメラによる飽和（白とび等）が生じてしまい、肌領域を精度良く検出できなくなってしまう。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、日光や照明等による外光に応じて、カメラのゲイン等を調整するようにして、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の一側面の画像処理装置は、被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置であって、前記被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記被写体の撮像を行なう撮像手段と、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段とを含む画像処理装置である。
【００２３】
前記調整手段では、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整することができる。
【００２４】
前記調整手段では、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整することができる。
【００２５】
前記調整手段では、前記外光画像を構成する画素の輝度値の平均値に基づいて、前記撮像手段のパラメータを調整することができる。
【００２６】
前記調整手段では、前記外光画像を構成する画素の輝度値のうち、画素数が最大の輝度値に基づいて、前記撮像手段のパラメータを調整することができる。
【００２７】
前記調整手段では、前記外光画像を構成する画素の輝度値のうち、小さな輝度値の画素から積算して得られる輝度積算数が所定の値となるときの画素の輝度値に基づいて、前記撮像手段のパラメータを調整することができる。
【００２８】
前記調整手段では、前記撮像手段のパラメータとして、前記撮像手段のゲイン、受光感度、又は受光時間のうちの少なくとも１つを調整することができる。
【００２９】
前記第１及び第２の照射手段では、それぞれ異なる波長の赤外線を照射することができる。
【００３０】
前記第１及び第２の照射手段の一方で930[nm]以上の波長の光を照射し、他方で930[nm]未満の光を照射することができる。
【００３１】
本発明の一側面の画像処理方法は、被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射手段と、第２の照射手段と、撮像手段と、調整手段と、肌検出手段とを含み、前記第１の照射手段が、前記被写体に対して第１の波長の光を照射し、前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、前記撮像手段が、前記被写体の撮像を行ない、前記調整手段が、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整し、前記肌検出手段が、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出するステップを含む画像処理方法である。
【００３２】
本発明の一側面のプログラムは、コンピュータを、被写体に対して第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を照射させない状態で、前記被写体に対する撮像手段の撮像により得られる外光画像に基づいて、前記被写体の肌を表す肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段として機能させるためのプログラムである。
【００３３】
本発明の一側面の電子機器は、被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置を内蔵する電子機器であって、前記画像処理装置は、前記被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記被写体の撮像を行なう撮像手段と、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段とを含む電子機器である。
【００３４】
本発明の一側面によれば、被写体に対して第１の波長の光、及び第１の波長とは異なる第２の波長の光を照射させない状態で、被写体に対する撮像手段の撮像により得られる外光画像に基づいて、被写体の肌を表す肌領域を検出するための肌検出可能条件を満たす範囲内で撮像手段のパラメータが調整され、パラメータが調整された撮像手段により被写体に対して第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及びパラメータが調整された撮像手段により被写体に対して第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、肌領域が検出される。
【発明の効果】
【００３５】
本発明によれば、日光や照明等による外光に応じて、カメラのゲイン等を調整するようにしたので、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明を適用した情報処理システムの構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】画像処理装置の詳細な構成例を示すブロック図である。
【図４】外光画像を構成する画素の輝度値におけるヒストグラムの第１の例を示す図である。
【図５】算出部及び２値化部が行なう処理の一例を示す図である。
【図６】画像処理装置が行う調整処理を説明するためのフローチャートである。
【図７】外光画像を構成する画素の輝度値におけるヒストグラムの第２の例を示す図である。
【図８】外光画像を構成する画素の輝度値におけるヒストグラムの第３の例を示す図である。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３７】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（外光画像の平均輝度に基づいてカメラのゲインを調整する場合の一例）
２．変形例
【００３８】
＜１．本実施の形態＞
[情報処理システム１の構成例]
図１は、本実施の形態である情報処理システム１の構成例を示している。
【００３９】
この情報処理システム１は、ユーザの手を用いたジェスチャ（又はポスチャ）に応じて所定の処理を実行するものであり、発光装置２１、カメラ２２、及び画像処理装置２３により構成される。
【００４０】
情報処理システム１に対して所定の処理を実行させるため、ユーザは、カメラ２２のレンズ面の前で自身の手の形状を変化させる。
【００４１】
このとき、情報処理システム１では、ユーザの手の形状を認識し、その認識結果に対応して所定の処理を実行する。
【００４２】
なお、本実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ２２のレンズ面に近い位置に出してジェスチャ（又はポスチャ）を行うものとする。
【００４３】
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED２１a1及びLED２１a2、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及びLED２１b2により構成される。
【００４４】
なお、以下の説明において、 LED２１a1及びLED２１a2をそれぞれ区別する必要がない場合には、単にLED２１aというとともに、LED２１b1及びLED２１b2をそれぞれ区別する必要がない場合には、単にLED２１bという。
【００４５】
発光装置２１は、画像処理装置２３からの制御にしたがって、LED２１aとLED２１bとを、例えば交互に発光させる。
【００４６】
LED２１aとLED２１bは、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の対応する画素どうしの輝度値が同一となるように、例えば交互に発光する。
【００４７】
また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性に基づいて決定される。
【００４８】
次に、図２は、人間の肌に対する分光反射特性を示している。
【００４９】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００５０】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００５１】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００５２】
具体的には、例えば、図２に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
【００５３】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００５４】
本実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００５５】
図１に戻り、カメラ２２は、外光によって被写体に照射される光の反射光、及びLED２１aによって被写体に照射される波長λ１の光の反射光を受光し、その結果得られる第１の撮像画像を、画像処理装置２３に供給する。
【００５６】
また、カメラ２２は、外光によって被写体に照射される光の反射光、及びLED２１bによって被写体に照射される波長λ２の光の反射光を受光し、その結果得られる第２の撮像画像を、画像処理装置２３に供給する。
【００５７】
さらに、カメラ２２は、外光によって被写体に照射される光の反射光を受光し、その結果得られる外光画像を、画像処理装置２３に供給する。
【００５８】
画像処理装置２３は、発光装置２１及びカメラ２２を制御する。すなわち、例えば、画像処理装置２３は、カメラ２２からの外光画像等に基づいて、カメラ２２のゲイン、発光装置２１のLED２１aやLED２１bの照射光量を調整する調整処理を行なう。なお、調整処理の詳細は、図６のフローチャートを参照して後述する。
【００５９】
また、画像処理装置２３は、カメラ２２から供給される第１及び第２の撮像画像の、対応する画素の輝度値の差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。
【００６０】
そして、画像処理装置２３は、検出した肌領域に基づいて、ユーザの手の形状等を認識し、その認識結果に対応して所定の処理を実行する。
【００６１】
[画像処理装置２３の構成例]
次に、図３は、画像処理装置２３の構成例を示している。
【００６２】
この画像処理装置２３は、制御部４１、算出部４２、及び２値化部４３により構成される。
【００６３】
制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのいずれも消灯させた状態で、カメラ２２による被写体の撮像を行なわせ、その撮像により得られる外光画像を、制御部４１に供給させる。
【００６４】
制御部４１は、カメラ２２からの外光画像について、外光画像を構成する画素の輝度値のヒストグラムを生成し、生成したヒストグラムに基づいて、カメラ２２のゲインを調整する。
【００６５】
すなわち、例えば、制御部４１は、生成したヒストグラムに基づいて、カメラ２２が飽和（白とび等）せずに、第１及び第２の撮像画像に生じるノイズや、LED２１a及びLED２１bの照射光量のばらつき等によっても、肌領域を精度良く検出できる範囲内で、カメラ２２のゲインを調整する。
【００６６】
次に、図４は、制御部４１が生成するヒストグラムの一例を示している。
【００６７】
図４において、横軸は輝度値を表しており、縦軸は、外光画像において横軸の輝度値を有する画素の総数を表している。なお、カメラ２２は、撮像により、２8（=２５６）階調により表される画像を生成するものとする。したがって、横軸は輝度値として０から２５５までの値を表している。
【００６８】
制御部４１は、カメラ２２からの外光画像に基づいて、図４に示されたようなヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の平均値を表す輝度平均値を算出する。
【００６９】
そして、例えば、制御部４１は、算出した輝度平均値に基づいて、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となる範囲内で、カメラ２２のゲインを調整する。
【００７０】
好ましくは、制御部４１は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
【００７１】
すなわち、例えば、制御部４１は、図４に示されるように、輝度平均値１６５（図４において太い縦線で示す）を算出した場合、輝度平均値１６５を、カメラ２２の撮像により得ることが可能な最大の輝度値２５５の半分の輝度値１２７（図４において太い点線で示す）となるように、ゲインを調整する。
【００７２】
制御部４１は、ゲインを調整した後、発光装置２１のLED２１a及びLED２１bを制御して、LED２１a及びLED２１bを交互に発光させる。また、制御部４１は、カメラ２２を制御し、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第１及び第２の撮像画像を、算出部４２に供給させる。
【００７３】
さらに、制御部４１は、算出部４２及び２値化部４３を制御して、第１及び第２の撮像画像に基づく肌領域の検出を行わせる。
【００７４】
制御部４１は、２値化部４３からの肌領域の検出結果として、肌領域を検出できたことを表す検出結果を得た場合、LED２１a及びLED２１bの照射光量を減少させて、肌領域を精度良く検出可能な必要最低限の照射光量となるように調整する。
【００７５】
また、制御部４１は、LED２１a及びLED２１bの照射光量を過度に減少させたことに起因して、肌領域の検出ができなくなったために、２値化部４３からの肌領域の検出結果として、肌領域を検出できないことを表す検出結果を得た場合、肌領域を検出できるように、カメラ２２のゲインを、現在のゲインよりも大きく調整する。
【００７６】
制御部４１は、カメラ２２のゲイン、並びにLED２１a及びLED２１bの照射光量を調整し終わった後、肌領域の検出結果に基づく処理を行うために、算出部４２及び２値化部４３を制御して、第１及び第２の撮像画像に基づく肌領域の検出を行わせる。
【００７７】
そして、制御部４１は、２値化部４３からの肌領域の検出結果に基づく処理を行う。すなわち、例えば、制御部４１は、２値化部４３からの検出結果に基づいて、ユーザのジェスチャやポスチャを認識し、認識したジェスチャ等に対応する処理を行なう。
【００７８】
算出部４２は、カメラ２２からの第１及び第２の撮像画像に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、算出部４２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
【００７９】
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果を制御部４１に供給する。
【００８０】
次に、図５は、算出部４２及び２値化部４３が行なう処理の詳細を示している。
【００８１】
算出部４２には、カメラ２２から、肌領域６１a及び非肌領域６１b(肌領域６１a以外の領域)により構成される第１の撮像画像６１、並びに、肌領域６２a及び非肌領域６２b(肌領域６２a以外の領域)により構成される第２の撮像画像６２が供給される。
【００８２】
算出部４２は、カメラ２２から供給される第１の撮像画像６１、及び第２の撮像画像６２に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後の第１の撮像画像６１、平滑化後の第２の撮像画像６２の対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像６３を生成し、２値化部４３に供給する。
【００８３】
２値化部４３は、算出部４２からの差分画像６３に対して、差分画像６３を構成する画素の画素値のうち、２値化に用いる２値化閾値以上の画素値を１とし、２値化閾値未満の画素値を０とする２値化を行う。
【００８４】
ここで、第１及び第２の撮像画像上に生じるノイズや、LED２１a及び２１bの照射光量のばらつき等に起因して、差分画像６３上の肌領域６３aを構成する画素の画素値と、差分画像６３上の非肌領域６３bを構成する画素の画素値とが、同様の値となってしまい、正確に２値化ができなくなってしまうことを防止する必要がある。
【００８５】
このため、差分画像６３上の肌領域６３aを構成する画素の画素値は、精度良く肌領域を検出可能な肌検出可能値（差分画像６３上の非肌領域６３bを構成する画素の画素値よりも十分に大きな値）以上となるように、すなわち、肌領域を精度良く検出可能となるように、カメラ２２のゲインや、LED２１a及びLED２１bの照射光量等が調整される。
【００８６】
いま、差分画像６３における肌領域６３aは、肌領域６１aと肌領域６２aとの差分絶対値を画素値とする画素により構成されているため、肌領域６３aを構成する画素の画素値は比較的大きな値となっている。
【００８７】
また、差分画像６３における非肌領域６３bは、非肌領域６１bと非肌領域６２bとの差分絶対値を画素値とする画素により構成されているため、非肌領域６３bを構成する画素の画素値は比較的小さな値となっている。
【００８８】
したがって、差分画像６３は、２値化部４３により行われる２値化により、肌領域６３aを構成する画素の画素値が１とされた肌領域６４a、及び非肌領域６３bを構成する画素の画素値が０とされた非肌領域６４ｂにより構成される２値化肌画像６４に変換される。
【００８９】
そして、２値化部４３は、その２値化により得られる２値化肌画像６４上の肌領域６４aを、被写体の肌を検出できた旨を表す検出結果とともに、制御部４１に供給する。
【００９０】
なお、２値化部４３は、２値化により得られる２値化肌画像６４上に肌領域６４aが存在しない場合、すなわち、被写体の肌を検出できなかった場合、その旨を表す検出結果を、制御部４１に供給する。
【００９１】
[画像処理装置２３が行う調整処理の詳細]
次に、図６のフローチャートを参照して、画像処理装置２３が行なう調整処理について説明する。
【００９２】
ステップＳ１において、制御部４１は、発光装置２１及びカメラ２２を制御し、発光装置２１のLED２１a及びLED２１bを消灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる外光画像を、カメラ２２から取得する。
$
ステップＳ２において、例えば、制御部４１は、カメラ２２からの外光画像に基づいて、ヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の輝度平均値を算出する。
【００９３】
そして、制御部４１は、算出した輝度平均値に基づいて、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整する。
【００９４】
好ましくは、制御部４１は、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
【００９５】
ステップＳ３において、制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのうち、LED２１aを点灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第１の撮像画像を、算出部４２に供給させる。
【００９６】
また、制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのうち、LED２１bを点灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第２の撮像画像を、算出部４２に供給させる。
【００９７】
これにより、算出部４２は、カメラ２２から第１及び第２の撮像画像を取得する。
【００９８】
ステップＳ４において、算出部４２及び２値化部４３は、カメラ２２の撮像により得られた第１及び第２の撮像画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域の検出を試みる。
【００９９】
すなわち、例えば、算出部４２は、カメラ２２からの第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
【０１００】
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域の検出を試みる。
【０１０１】
そして、２値化部４３は、肌領域を検出できたか否かを表す検出結果を、制御部４１に供給する。
【０１０２】
ステップＳ５において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたか否かを判定し、肌領域を検出できなかったと判定した場合、処理をステップＳ６に進める。
【０１０３】
ステップＳ６において、制御部４１は、直前のステップＳ２で調整したゲインが、調整することが可能な最大のゲインであるか否かを判定し、最大のゲインではないと判定した場合、処理をステップＳ７に進める。
【０１０４】
ステップＳ７において、制御部４１は、カメラ２２を制御して、カメラ２２のゲインを、現在設定されているゲインよりも大きくなるように調整し、処理はステップＳ３に戻り、算出部４２は、ゲインが調整された後のカメラ２２による撮像により得られる新たな第１及び第２の撮像画像を取得し、それ以降同様の処理が行われる。
【０１０５】
また、ステップＳ６において、制御部４１は、直前のステップＳ２で調整したゲインが、調整することが可能な最大のゲインであると判定した場合、これ以上ゲインを大きく調整することができないため、処理をステップＳ８に進める。
【０１０６】
ステップＳ８において、制御部４１は、発光装置２１を制御して、LED２１a及びLED２１bの照射光量を所定の値に初期化し、処理をステップＳ１に戻し、再度、調整処理をやり直す。
【０１０７】
すなわち、処理がステップＳ８に進められた場合、後述するステップＳ１０において、LED２１a及びLED２１bの照射光量を減少させ過ぎたために、肌領域を検出できない事態が生じていると考えられるため、LED２１a及びLED２１bの照射光量を所定の値に初期化し、再度、調整処理をやり直すようにしている。
【０１０８】
一方、ステップＳ５において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたと判定した場合、処理をステップＳ９に進める。なお、この場合、２値化部４３は、肌領域を検出できた旨を表す検出結果とともに、生成した２値化肌画像、及び算出部４２からの差分画像を、制御部４１に供給している。
【０１０９】
ステップＳ９において、制御部４１は、２値化部４３からの２値化肌画像及び差分画像に基づいて、LED２１a及びLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であるか否かを判定する。
【０１１０】
すなわち、例えば、制御部４１は、２値化部４３からの２値化肌画像に基づいて、２値化部４３からの差分画像から、２値化肌画像上の肌領域（例えば、画素値が１である画素により構成される領域）に対応する肌領域を抽出する。
【０１１１】
そして、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値が、肌検出可能値（算出部４２からの差分画像上の非肌領域を構成する画素の画素値よりも十分に大きな値）と同程度である場合、LED２１a及びLED２１bの照射光量が必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
【０１１２】
具体的には、例えば、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度である場合、必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
【０１１３】
ステップＳ９において、制御部４１は、LED２１a及びLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量ではないと判定した場合、処理をステップＳ１０に進める。
【０１１４】
ステップＳ１０において、制御部４１は、発光装置２１を制御して、LED２１a及びLED２１bの照射光量を減少させ、肌領域を検出するために必要最小限の照射光量となるように調整する。
【０１１５】
すなわち、例えば、制御部４１は、カメラ２２の撮像により得られる第１及び第２の撮像画像上の肌領域を構成する画素の輝度値が、肌領域を精度良く検出可能な必要最低限の輝度値となるように、つまり、差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度となるように、LED２１a及びLED２１bの照射光量を調整する。
【０１１６】
制御部４１は、ステップＳ１０の処理の終了後、処理をステップＳ３に戻す。ステップＳ３では、算出部４２は、照射光量が調整されたLED２１a及びLED２１bの点灯に応じて、カメラ２２から得られる第１及び第２の撮像画像を取得し、それ以降同様の処理が行われる。
【０１１７】
なお、ステップＳ９において、制御部４１は、LED２１a及びLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であると判定した場合、調整処理を終了させる。
【０１１８】
以上説明したように調整処理では、例えば、制御部４１は、外光画像を構成する画素の輝度値の輝度平均値が、カメラ２２の撮像により得られる最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整するようにした。
【０１１９】
この場合、制御部４１では、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となる範囲内で、最もゲインが大きくなるように調整することとなるので、肌領域の検出精度を維持しつつ、肌領域を検出可能な検出可能距離を伸ばすことが可能となる。
【０１２０】
また、調整処理では、肌領域を検出するために必要最小限の照射光量となるように、LED２１a及びLED２１bの照射光量を減少させるようにしたので、肌領域の検出精度を維持しつつ、LED２１a及びLED２１bの照射に必要な電力を減らして省電力化を図ることが可能となる。
【０１２１】
＜２．変形例＞
本実施の形態において、調整処理では、制御部４１が、カメラ２２からの外光画像のヒストグラムに基づいて、外光画像の輝度平均値を生成し、生成した輝度平均値に基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲインの調整方法はこれに限定されない。
【０１２２】
すなわち、例えば、制御部４１は、図７に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、画素数が最大であるときの輝度値を表すピーク値（いまの場合、１７２）が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整するようにしてもよい。
【０１２３】
なお、制御部４１は、図７に示される場合において、輝度値２５５がピーク値となっている場合には、輝度値が２５５となっている（飽和している）部分を除外した上でピーク値を算出し、算出したピーク値に基づいて、カメラ２２のゲインを調整するようにしてもよい。
【０１２４】
また、例えば、制御部４１は、図８に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、値が小さな輝度値を有する画素から順次積算（加算）して得られる画素数を表す画素積算数に基づき特定される輝度値が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
【０１２５】
すなわち、例えば、制御部４１は、画素積算数が、ヒストグラムにおける総画素数の８０パーセントに相当する画素数となるときに積算された画素の輝度値（いまの場合、２０２）が、カメラ２２の撮像により得ることが可能な最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
【０１２６】
本実施の形態では、制御部４１は、外光画像のヒストグラムに基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲイン、受光感度、又は露光（受光）時間等の少なくとも１つを調整するように構成することが可能である。
【０１２７】
また、本実施の形態では、２値化部４３は、算出部４２からの差分画像６３をそのまま２値化するようにしたが、差分画像６３を構成する画素の画素値を、それぞれ、第１の撮像画像６１を構成する画素のうち、対応する画素の輝度値で正規化（除算）した上で、２値化することが可能である。なお、２値化部４３は、第１の撮像画像６１に代えて、第２の撮像画像６２を用いて差分画像６３を正規化した上で２値化するようにしてもよい。
【０１２８】
本実施の形態では、LED２１aにより発光される第１の波長を870[nm]とし、LED２１bにより発光される第２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
【０１２９】
すなわち、波長の組合せとしては、第１の波長における反射率と、第２の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
【０１３０】
具体的には、図２から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の照射光を照射し、LED２１bが930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。
【０１３１】
また、本実施の形態において、発光装置２１は、LED２１a及びLED２１bを、それぞれ個別に発光させるようにしたが、LED２１a及びLED２１bを同時に発光させることにより、第１の撮像画像、及び第２の撮像画像を取得するように構成することが可能である。
【０１３２】
すなわち、例えば、カメラ２２に代えて、カメラ２２と同様の機能を有する２台のカメラを近接させた状態で設けるようにし、２台のカメラのうち、一方のカメラの前面には、第１の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第２の波長の光のみを通過させるフィルタを設けるように構成する。
【０１３３】
この場合、LED２１a及びLED２１bを同時に発光させたとしても、一方のカメラには、第１の波長の光のみが入射されることから、一方のカメラにおいて、第１の撮像画像を得ることが可能となる。また、他方のカメラには、第２の波長の光のみが入射されることから、他方のカメラにおいて、第２の撮像画像を得ることが可能となる。
【０１３４】
本実施の形態において、LED２１aの個数及びLED２１bの個数は、それぞれ、２個であるとして説明したが、それらの個数は、これに限定されない。
【０１３５】
本実施の形態では、情報処理システム１について説明したが、情報処理システム１を、例えばパーソナルコンピュータ等の電子機器に内蔵し、パーソナルコンピュータは、情報処理システム１により検出される肌領域に対応するジェスチャ等に基づく処理を行うことが可能である。
【０１３６】
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１３７】
[コンピュータの構成例]
次に、図９は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０１３８】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１３９】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１４０】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１４１】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１４２】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１４３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１４４】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４６】
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４７】
１ 情報処理システム， ２１ 発光装置， ２１a，２１b LED， ２２ カメラ， ２３ 画像処理装置， ４１ 制御部， ４２ 算出部， ４３ ２値化部
【特許請求の範囲】
【請求項１】
被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置において、
前記被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記被写体の撮像を行なう撮像手段と、
前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、
前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段と
を含む画像処理装置。
【請求項２】
前記調整手段は、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する
請求項２に記載の画像処理装置。
【請求項４】
前記調整手段は、前記外光画像を構成する画素の輝度値の平均値に基づいて、前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項５】
前記調整手段は、前記外光画像を構成する画素の輝度値のうち、画素数が最大の輝度値に基づいて、前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項６】
前記調整手段は、前記外光画像を構成する画素の輝度値のうち、小さな輝度値の画素から積算して得られる輝度積算数が所定の値となるときの画素の輝度値に基づいて、前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項７】
前記調整手段は、前記撮像手段のパラメータとして、前記撮像手段のゲイン、受光感度、又は受光時間のうちの少なくとも１つを調整する
請求項１に記載の画像処理装置。
【請求項８】
前記第１及び第２の照射手段は、それぞれ異なる波長の赤外線を照射する
請求項１に記載の画像処理装置。
【請求項９】
前記第１及び第２の照射手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射する
請求項８に記載の画像処理装置。
【請求項１０】
被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記画像処理装置は、
第１の照射手段と、
第２の照射手段と、
撮像手段と、
調整手段と、
肌検出手段と
を含み、
前記第１の照射手段が、前記被写体に対して第１の波長の光を照射し、
前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、
前記撮像手段が、前記被写体の撮像を行ない、
前記調整手段が、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整し、
前記肌検出手段が、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する
ステップを含む画像処理方法。
【請求項１１】
コンピュータを、
被写体に対して第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を照射させない状態で、前記被写体に対する撮像手段の撮像により得られる外光画像に基づいて、前記被写体の肌を表す肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、
前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段と
して機能させるためのプログラム。
【請求項１２】
被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置を内蔵する電子機器において、
前記画像処理装置は、
前記被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記被写体の撮像を行なう撮像手段と、
前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、
前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段と
を含む
電子機器。
【請求項１】
被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置において、
前記被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記被写体の撮像を行なう撮像手段と、
前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、
前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段と
を含む画像処理装置。
【請求項２】
前記調整手段は、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記外光画像を構成する画素の輝度値が、前記撮像手段の撮像により得ることが可能な最大の輝度値の半分となる前記肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する
請求項２に記載の画像処理装置。
【請求項４】
前記調整手段は、前記外光画像を構成する画素の輝度値の平均値に基づいて、前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項５】
前記調整手段は、前記外光画像を構成する画素の輝度値のうち、画素数が最大の輝度値に基づいて、前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項６】
前記調整手段は、前記外光画像を構成する画素の輝度値のうち、小さな輝度値の画素から積算して得られる輝度積算数が所定の値となるときの画素の輝度値に基づいて、前記撮像手段のパラメータを調整する
請求項１に記載の画像処理装置。
【請求項７】
前記調整手段は、前記撮像手段のパラメータとして、前記撮像手段のゲイン、受光感度、又は受光時間のうちの少なくとも１つを調整する
請求項１に記載の画像処理装置。
【請求項８】
前記第１及び第２の照射手段は、それぞれ異なる波長の赤外線を照射する
請求項１に記載の画像処理装置。
【請求項９】
前記第１及び第２の照射手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射する
請求項８に記載の画像処理装置。
【請求項１０】
被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記画像処理装置は、
第１の照射手段と、
第２の照射手段と、
撮像手段と、
調整手段と、
肌検出手段と
を含み、
前記第１の照射手段が、前記被写体に対して第１の波長の光を照射し、
前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、
前記撮像手段が、前記被写体の撮像を行ない、
前記調整手段が、前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整し、
前記肌検出手段が、前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する
ステップを含む画像処理方法。
【請求項１１】
コンピュータを、
被写体に対して第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を照射させない状態で、前記被写体に対する撮像手段の撮像により得られる外光画像に基づいて、前記被写体の肌を表す肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、
前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段と
して機能させるためのプログラム。
【請求項１２】
被写体を撮像して得られる撮像画像から前記被写体の肌を表す肌領域を検出する画像処理装置を内蔵する電子機器において、
前記画像処理装置は、
前記被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記被写体の撮像を行なう撮像手段と、
前記被写体に対して前記第１及び第２の波長の光を照射させない状態で、前記被写体に対する前記撮像手段の撮像により得られる外光画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記撮像手段のパラメータを調整する調整手段と、
前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記調整手段によりパラメータが調整された前記撮像手段により前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記肌領域を検出する肌検出手段と
を含む
電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１６０３８０（Ｐ２０１１−１６０３８０Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２２８１４（Ｐ２０１０−２２８１４）
【出願日】平成２２年２月４日（２０１０．２．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月４日（２０１０．２．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]