画像処理装置及び電子装置
【課題】照度むらを抑制して、肌領域を精度良く検出する。
【解決手段】光源部１３−１及び１３−２は、それぞれ、第１の波長の光を発光する第１のLED、及び第１の波長よりも長波長である第２の波長の光を発光する第２のLEDを有し、撮像部１５は、第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、第２の波長の光が発光しているときに入射される被写体からの反射光に基づいて第２の画像を生成し、検出手段は、生成された第１及び第２の画像に基づいて、肌領域を検出する。なお、光源部１３−１及び１３−２は、第１のLEDどうし、及び第２のLEDどうしが点対称となるように配置されている。本発明は、例えば、撮像した画像から人間の肌を表す肌領域を検出する検出装置に適用できる。
【解決手段】光源部１３−１及び１３−２は、それぞれ、第１の波長の光を発光する第１のLED、及び第１の波長よりも長波長である第２の波長の光を発光する第２のLEDを有し、撮像部１５は、第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、第２の波長の光が発光しているときに入射される被写体からの反射光に基づいて第２の画像を生成し、検出手段は、生成された第１及び第２の画像に基づいて、肌領域を検出する。なお、光源部１３−１及び１３−２は、第１のLEDどうし、及び第２のLEDどうしが点対称となるように配置されている。本発明は、例えば、撮像した画像から人間の肌を表す肌領域を検出する検出装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出できるようにした画像処理装置及び電子装置に関する。
【背景技術】
【０００２】
人物を撮像して得られる撮像画像上から、顔や手などのように肌が露出している領域（以下、肌領域という）を検出する肌検出技術が存在する（例えば、特許文献１乃至４を参照）。
【０００３】
この肌検出技術では、波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１とは異なる波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度値の差分が所定の閾値よりも大きな領域を肌領域として検出する。
【０００４】
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、波長λ１，λ２は、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は850nm、波長λ２は970nmとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４７０６７号公報
【特許文献２】特開平０６−１２３７００号公報
【特許文献３】特開平０５−３２９１６３号公報
【特許文献４】特開２００８−２７２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
肌検出技術では、波長λ１の光が照射された状態の第１の画像と、波長λ２の光が照射された状態の第２の画像との差分が、所定の閾値よりも大きな領域を肌領域として検出する。
【０００７】
したがって、肌検出技術では、その差分が、被写体における反射率の差に対応するものとなるように、被写体に対する波長λ１の光の照度P1と、被写体に対する波長λ２の光の照度P2とが一定の関係を満たす必要がある。
【０００８】
具体的には、例えば、照度P1と照度P2との差分を所定の値で除算（正規化）して得られる照度差ΔEが一定値a以下であるという関係を満たさなければならない。なお、一定値aは、LEDの光学特性や被写体の撮像を行なう撮像部の受光特性等に応じて決定される。
【０００９】
この関係が満たされない場合、波長λ１の光が照射された状態の第１の画像と、波長λ２の光が照射された状態の第２の画像との差分が、被写体における反射率の差によるものなのか、それとも、波長λ１の光を照射するLEDと、波長λ２の光を照射するLEDとの照度の差によるものなのかを区別できなくなってしまい、肌領域を精度良く検出できなくなってしまう。
【００１０】
また、例えば、肌検出に用いる検出装置を、比較的、小型の電子装置（例えば、携帯電話機等）に内蔵するようにして肌検出を行なう場合、検出装置を小型化する必要がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、波長が異なる複数の光を用いた肌検出技術において、肌検出に用いる検出装置を小型化しつつ、波長が異なる複数の光による照度差のばらつきを抑制して、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段とを含み、前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される画像処理装置である。
【００１３】
前記照射手段が２個である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称となるように配置し、前記照射手段が４個以上である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも、点対称又は線対称の一方となるように配置するようにすることができる。
【００１４】
前記撮像生成手段は、所定の撮像範囲で前記被写体を撮像することにより、前記第１及び第２の画像を生成するものであり、前記第１及び第２の発光部から照射される光の指向特性を変化させて、前記所定の撮像範囲内に光を照射させる指向特性変化手段をさらに設けることができる。
【００１５】
前記指向特性変化手段は、アナモルフィックレンズとすることができる。
【００１６】
前記複数の照射手段は、前記撮像生成手段を基準として、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置することができる。
【００１７】
前記第１の波長λ１及び前記第２の波長λ２は、以下の関係式を満たす
640nm≦λ１≦1000nm
900nm≦λ２≦1100nm
ようにすることができる。
【００１８】
前記第１の波長の光を照射したときの照度P1と、前記第２の波長の光を照射したときの照度P2との差分絶対値を所定の値で除算して得られる照度差ΔE、及び前記第１及び第２の波長それぞれに対する反射率が同一である被写体に対して得られる前記第１及び第２の画像の輝度値が同一となるときの照度差aは、以下の関係式を満たす
|ΔE-a| ≦ 10
ようにすることができる。
【００１９】
本発明の第１の側面によれば、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像が生成されるとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像が生成され、生成された前記第１及び第２の画像に基づいて、前記肌領域が検出される。なお、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される。
【００２０】
本発明の第２の側面の電子装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置を内蔵する電子装置であって、前記画像処理装置は、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段とを含み、前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される電子装置である。
【００２１】
本発明の第２の側面によれば、電子装置に内蔵される画像処理装置により、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像が生成されるとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像が生成され、生成された前記第１及び第２の画像に基づいて、前記肌領域が検出される。なお、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される。
【発明の効果】
【００２２】
本発明によれば、肌領域の検出に用いる構成を小型化しつつ、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した検出装置の構成例を示すブロック図である。
【図２】光源部の構成例を示す図である。
【図３】人間の肌に対する反射特性の一例を示す図である。
【図４】アナモルフィックレンズの外観例を示す図である。
【図５】照度差による肌領域の検出精度の低下を説明するための図である。
【図６】拡大撮像範囲の照度分布の一例を示す第１の図である。
【図７】撮像範囲の照度分布の一例を示す第１の図である。
【図８】撮像範囲における対角線上の照度分布の一例を示す第１の図である。
【図９】光源部が２個である場合において点対称となるように配置することを示す図である。
【図１０】光源部が２個である場合に、実験により試した配置の一例を示す図である。
【図１１】２個の光源部を撮像部に対して線対称に配置した場合の一例を示す図である。
【図１２】拡大撮像範囲の照度分布の一例を示す第２の図である。
【図１３】撮像範囲の照度分布の一例を示す第２の図である。
【図１４】撮像範囲における対角線上の照度分布の一例を示す第２の図である。
【図１５】２個の光源部を撮像部に対して点対称に配置した場合の一例を示す図である。
【図１６】拡大撮像範囲の照度分布の一例を示す第３の図である。
【図１７】撮像範囲の照度分布の一例を示す第３の図である。
【図１８】撮像範囲における対角線上の照度分布の一例を示す第３の図である。
【図１９】光源部が４個である場合において点対称又は線対称のいずれかとなるように配置することを示す図である。
【図２０】光源部が４個である場合に、実験により試した配置の一例を示す図である。
【図２１】４個の光源部を撮像部に対して線対称に配置した場合の一例を示す図である。
【図２２】拡大撮像範囲の照度分布の一例を示す第４の図である。
【図２３】撮像範囲の照度分布の一例を示す第４の図である。
【図２４】撮像範囲における対角線上の照度分布の一例を示す第４の図である。
【図２５】４個の光源部を撮像部に対して点対称に配置した場合の一例を示す図である。
【図２６】拡大撮像範囲の照度分布の一例を示す第５の図である。
【図２７】撮像範囲の照度分布の一例を示す第５の図である。
【図２８】撮像範囲における対角線上の照度分布の一例を示す第５の図である
【図２９】点対称について説明するための図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２個の光源部を点対称に配置する場合の一例）
２．第２の実施の形態（４個の光源部を点対称又は線対称のいずれかに配置する場合の一例）
３．変形例
【００２５】
＜１．第１の実施の形態＞
［検出装置の構成例］
図１は、第１の実施の形態である検出装置の構成例を示している。この検出装置１は、撮像した画像から検出対象物２１となる人の肌領域（例えば、顔、手など）を検出するものである。また、２個の光源部１３−１及び１３−２の配置を工夫することにより、光源部１３−１及び１３−２からの照射光による照度むらを抑制するものである。
【００２６】
検出装置１は、制御部１１、LED制御部１２、光源部１３−１及び１３−２、光学フィルタ１４、撮像部１５、撮像制御部１６、並びに画像処理部１７から構成される。
【００２７】
制御部１１は、検出装置１の各部の動作を統括して制御する。LED制御部１２は、制御部１１からの制御に従い、光源部１３−１及び１３−２の点灯タイミング、消灯タイミング、出力レベルを制御する。
【００２８】
光源部１３−１は、LED制御部１２の制御に従い、発光スペクトルのピーク波長がλ１である光（以下、波長λ１の光という）を発光（照射）する。また、光源部１３−１は、LED制御部１２の制御に従い、発光スペクトルのピーク波長がλ２である光（以下、波長λ２の光という）を発光する。
【００２９】
光源部１３−２は、光源部１３−１と同様に構成されており、LED制御部１２の制御に従い、波長λ１の光、又は波長λ２の光を、光源部１３−１と同一のタイミングで発光する。
【００３０】
なお、詳細は図３を参照して後述するが、波長λ１の値は640nmから1000nm、波長λ１よりも長波長側の波長λ２の値は900nmから1100nmとされる。
【００３１】
また、以下の説明において、光源部１３−１及び１３−２を区別する必要がない場合、単に、光源部１３という。さらに、光源部１３の詳細な構成については、図２及び図４を参照して後述する。
【００３２】
光学フィルタ１４は、撮像部１５に入射する光を制限するよう撮像部１５の前面に設けられており、その分光特性として第１の波長から第２の波長までの光を透過し、それ以外の光を吸収（遮断）するようになされている。
【００３３】
なお、第１の波長及び第２の波長は、光学フィルタ１４が、波長λ１の光及びλ２の光を透過できるように、波長λ１及びλ２の値に応じて決定される。
【００３４】
撮像部１５は、集光レンズと、CCD、CMOSなどの撮像素子とを内蔵しており、撮像制御部１６からの制御に従い、光学フィルタ１４を透過してきた光（被写体からの反射光）を受光して画像を生成する。なお、光源部１３−１が波長λ１の光を発光しているときに生成される画像を第１の画像とし、光源部１３−２が波長λ２の光を発光しているときに生成される画像を第２の画像とする。
【００３５】
撮像制御部１６は、制御部１１からの制御に従い、撮像部１５の撮像タイミング、輝度増幅のゲインなどを制御する。また、撮像制御部１６は、撮像部１５により生成された第１及び第２の画像を画像処理部１７に出力する。
【００３６】
画像処理部１７は、第１の画像及び第２の画像に基づいて、被写体の肌領域を検出する。
【００３７】
[光源部１３の構成]
次に、図２乃至図４を参照して、光源部１３の構成例について説明する。
【００３８】
図２は、光源部１３の構成例を示している。
【００３９】
光源部１３は、波長λ１の光を照射するLED４１、波長λ２の光を照射するLED４２、並びにLED４１及び４２を覆うアナモルフィックレンズ４３により構成されている。
【００４０】
LED４１及び４２は、アナモルフィックレンズ４３の高さが最も高くなるレンズの位置を通る中心軸（図中、１点鎖線で示す）を中心として、隣接した状態で配置されている。なお、アナモルフィックレンズ４３の詳細については、図４を参照して後述する。
【００４１】
光源部１３は、LED制御部１２からの制御に従い、LED４１とLED４２とを交互に発光させる。すなわち、光源部１３は、図２Aに示されるように、LED４１のみを発光させる処理と、図２Bに示されるように、LED４２のみを発光させる処理とを交互に行う。
【００４２】
次に、図３を参照して、LED４１が照射する光の波長λ１、及びLED４２が照射する光の波長λ２について説明する。図３は、検出対象物２１となる人の肌領域に対して想定されている反射特性を示している。
【００４３】
図３に示されるように、人の肌領域は波長960nm付近に極小値が存在することが知られている。
【００４４】
波長λ１における反射率から、波長λ２における反射率を差し引いて得られる差分が、肌領域以外のものと比較して、比較的大きくなるように、波長λ１の値は640nmから1000nm、波長λ１よりも長波長側の波長λ２の値は900nmから1100nmとされる。
【００４５】
なお、以下において、λ１=850nm,λ２=970nmであるものとする。この場合、図３に示されるように、波長λ１のときの反射率は約４６%となり、波長λ２のときの反射率は約３５%となる。したがって、肌領域において、波長λ２の反射率は、波長λ１の反射率と比較して、約1.3倍(＝46／35)程異なるものとなる。
【００４６】
これに対して、肌領域以外の部分については、波長λ１及びλ２のいずれにおいても、反射率は殆ど変わらないものとなっている。
【００４７】
したがって、検出装置１では、撮像により得られた画像上の全領域のうち、波長λ１及びλ２における反射率が大きく異なる領域を、肌領域として検出するようにしている。
【００４８】
なお、第１及び第２の実施の形態では、光源部１３は、撮像部１５から0.6mmだけ離れた位置に配置されているものとする。また、光源部１３のLED４１及びLED４２において、FWHM(full width at half maximum,半値全幅)は60度であり、発光面チップサイズは0.4×0.4（横×縦）mmであり、発光面チップサイズ（=0.4×0.4mm）における出射光量は１Ｗであるものとする。さらに、例えば、LED４１及びLED４２の発光面は、それぞれ、アナモルフィックレンズ４３の中心軸から0.2mmだけ離れた位置に存在するものとする。なお、光源部１３は、上述の構成に限定されない。
【００４９】
次に、図４は、アナモルフィックレンズ４３の外観例を示している。
【００５０】
アナモルフィックレンズ４３は、LED４１及びLED４２からの照射光を屈折させる（LED４１及びLED４２の指向特性を変化させる）ことにより、効率的に、照射光を撮像部１５の撮像範囲内に照射させる。この場合、光源部１３がアナモルフィックレンズ４３を有さない場合と比較して、撮像部１５の撮像範囲内に照射される照射光の光量が倍以上に増加することとなるので、撮像範囲内に照射される照射光の照射効率を高めることが可能となる。
【００５１】
なお、第１及び第２の実施の形態では、アナモルフィックレンズ４３は、PMMA(ポリメタクリル酸メチル樹脂)からなり、軸上厚（中心軸が通るレンズ部分の厚さ）は1.16mmであるものとする。また、アナモルフィックレンズ４３において、Ｓ１面（LED４１及びLED４２が存在する内側の面）は、平坦な形状とされており、Ｓ２面（外側の面）はアナモルフィック非球面とされているものとする。なお、アナモルフィックレンズ４３は、上述の構成に限定されない。
【００５２】
アナモルフィックレンズ４３のＳ２面におけるサグ量Ｚは、例えば次式（１）により表される。ここで、サグ量Ｚとは、アナモルフィックレンズ４３の中心位置（中心軸が通り、高さが最高であるレンズ面の位置）から任意のアナモルフィックレンズ面までの深さを表す。
【００５３】
【数１】
・・・（１）
【００５４】
ここで、式（１）の左辺におけるサグ量Ｚは、アナモルフィックレンズ４３上の位置（ｘ，ｙ）におけるサグ量を表している。なお、位置（ｘ，ｙ）は、アナモルフィックレンズ４３の中心位置を原点（0,0）として、原点において互いに直交するＸ軸及びＹ軸により定義される。
【００５５】
式（１）の右辺において、変数Nは例えば６であり、定数cx,cy,α2,β2,α4,β4,α6,β6は、それぞれ、cx<0,cy<0,0≦α2,0≦β2,α4≦0,β4≦0,α6≦0,β6≦0という条件を満たす。また、α2は２次のべき条項ｘ2の非球面係数、α4は４次のべき条項ｘ4の非球面係数、α6は６次のべき条項ｘ6の非球面係数を表す。さらに、β2は２次のべき乗項ｙ2の非球面係数、β4は４次のべき乗項ｙ4の非球面係数、β6は６次のべき乗項ｙ6の非球面係数を表す。
【００５６】
また、アナモルフィックレンズ４３の光束出射面におけるＸ軸方向の曲率半径をRxとするとcx=1/Rxとなり、アナモルフィックレンズ４３の光束出射面におけるＹ軸方向の曲率半径をRyとするとcy=1/Ryとなる。
【００５７】
さらに、式（１）の右辺において、kxはＸ方向のコーニック定数を表し、kyはＹ方向のコーニック定数を表している。なお、第１及び第２の実施の形態では、例えば、Rx=-1.2,Ry=-1.6,α2=0.15,α4=-0.15625,α6=0,β2=0,β4=-0.3125,β6=0であるものとする。
【００５８】
［検出装置の動作］
初めに、光源部１３−１及び１３−２のLED４１により波長λ１の光を被写体に照射する。この照射光は外光とともに被写体により反射され、光学フィルタ１４を介して撮像部１５に入射される。撮像部１５は、入射された光を光電変換することにより第１の画像を生成し、撮像制御部１６に供給する。
【００５９】
次に、光源部１３−１及び１３−２のLED４２により波長λ２の光を被写体に照射する。この照射光は外光とともに被写体により反射され、光学フィルタ１４を介して撮像部１５に入射される。撮像部１５は、入射された光を光電変換することにより第２の画像を生成し、撮像制御部１６に供給する。
【００６０】
撮像制御部１６は、撮像部１５からの第１及び第２の画像を、画像処理部１７に供給する。
【００６１】
画像処理部１７は、撮像制御部１６からの第１の画像と第２の画像との対応する画素の輝度値Ｙ１，Ｙ２の差分である差分Ｓ＝Ｙ１−Ｙ２を算出し、差分Ｓを所定の閾値と比較することにより２値化し、２値の一方の領域（所定の閾値以上となる差分に対応する領域）を肌領域として検出する。
【００６２】
[照度分布のばらつき]
画像処理部１７が、差分Ｓに基づいて、肌領域を精度良く検出できるようにするためには、差分Ｓが、被写体における反射率の差に対応するものとなるようにする必要がある。
【００６３】
ここで、差分Ｓが、被写体における反射率の差に対応するものとなる（例えば、波長λ１及びλ２それぞれに対する反射率が同一の物体に光を照射したときに得られる輝度値Ｙ１及びＹ２が同一の値になる）ようにするには、次式（２）に示される照度差ΔEが一定値aであるという一定の関係を満たす必要がある。
【００６４】
【数２】
・・・（２）
【００６５】
なお、式（２）において、ABS(P1-P2)は、被写体に対する波長λ１の光の照度P1と、被写体に対する波長λ２の光の照度P2との差分絶対値を表し、ABS(P1)は、照度P1の絶対値を表す。
【００６６】
検出装置１では、照度差ΔEが一定値aとなるように、光源部１３を配置する必要がある。ところで、照度差ΔEが一定値aから大きく異なる値となった場合には、肌領域の検出精度が著しく低下することが、予め行なわれた実験によりわかっている。
【００６７】
次に、図５は、照度差ΔEが一定値aから大きく異なる値となった場合に、肌領域の検出精度が低下することを示している。
【００６８】
なお、図５において、横軸は、撮像部１５の撮像範囲における対角線上の位置を表し、縦軸は、横軸が示す位置における照度差ΔEを表している。
【００６９】
図５に示されるように、本発明者が行なった実験に基づく経験則によれば、照度差ΔEがa-Δaからa+Δaの範囲内に収まらなくなった場合には、急激に検出精度が低下することがわかっている。
【００７０】
なお、ΔE，a-Δa及びa+Δaの単位は、いずれもパーセンテージ（%）である。また、aは、光源部１３のLED４１及び４２の光学特性や、撮像部１５の受光特性に応じて決定される。
【００７１】
さらに、Δaは、光源部１３のLED４１及びLED４２として、比較的、発光スペクトル幅の広いLEDを想定するとともに、図３に示されるような、肌に対する反射率の分光反射率スペクトルが人によって異なることを想定して求められる。具体的には、例えば、Δaは約１０%程度とされる。
【００７２】
図５に示されるように、肌領域を精度良く検出するためには、照度差ΔEがa-Δaからa+Δaの範囲内に収まるようにしなければならない。すなわち、|ΔE-a|≦Δaを満たす必要がある。
【００７３】
ところで、第１の実施の形態によれば、図２に示されたように、LED４１及び４２を１つの光源部１３として構成するようにしたので、LED４１及び４２をそれぞれ別々に構成する場合と比較して、検出装置１を小型化することが可能となる。よって、比較的、小型の電子装置（例えば、携帯電話機、PDA(personal digital assistant)、及び小型ゲーム機等）に、検出装置１を内蔵することが可能となる。
【００７４】
また、第１の実施の形態によれば、図４に示されたように、撮像範囲内に照射される照射光の照射光率を向上させて、肌検出可能な検出距離（肌検出可能な被写体までの距離）を延ばすことができるように、LED４１及び４２に、アナモルフィックレンズ４３を設けて光源部１３を構成するようにしている。
【００７５】
しかしながら、この場合、撮像範囲内の照度分布が偏ってしまい（|ΔE-a|≦Δaを満たさなくなってしまい)、肌検出を行なうことができなくなってしまう。
【００７６】
そこで、第１の実施の形態では、|ΔE-a|≦Δaを満たすように、光源部１３の個数や配置を工夫して、肌検出を精度良く行なえるようにしている。
【００７７】
以下、|ΔE-a|≦Δaを満たすような、光源部１３の個数や配置について説明する。
【００７８】
以下では、説明を簡単にするために、例えば、a=0，Δa=10として|ΔE|≦10を満たす場合に、肌領域を精度良く検出できるものとして、光源部１３の個数や配置について考えるものとする。
【００７９】
[光源部１３が１個である場合]
次に、図６乃至図８を参照して、光源部１３が１個である場合について考える。
【００８０】
光源部１３が１個のみにより構成されている場合、アナモルフィックレンズ４３の中心軸からLED４１及び４２をオフセットして配置したことに起因して、LED４１から波長λ１の光を照射した場合と、LED４２から波長λ２の光を照射した場合とで、撮像部１５の撮像範囲内に大きな照度むらが生じ得る。
【００８１】
次に、図６乃至図８を参照して、１個の光源部１３により、波長λ１の光を照射した場合の照度分布、及び波長λ２の光を照射した場合の照度分布について説明する。
【００８２】
図６は、撮像部１５の画角θを1.5倍にした場合に得られる拡大撮像範囲の照度分布を示している。
【００８３】
なお、撮像部１５の画角θは、対角方向の画角、すなわち、撮像部１５から、図６において点線で示される対角線の両端にそれぞれ延ばした２本の線分が成す角度を表している。いまの場合、画角θは６５度とされている。また、図６に示される照度分布は、撮像部１５から10cmだけ離れた位置における照度の分布を表している。
【００８４】
図６Aは、１個の光源部１３におけるLED４１が、波長λ１の光を照射している場合に得られた照度分布の一例を示している。また、図６Bは、１個の光源部１３におけるLED４２が、波長λ２の光を照射している場合に得られた照度分布の一例を示している。
【００８５】
図６A及び図６Bに示される照度分布では、照度が高い程に濃い色（黒色）で示されている。このことは、後述する図７についても同様である。
【００８６】
また、図６A及び図６Bに示される矩形（黒色の太線で示す）は、撮像部１５の撮像範囲を示している。
【００８７】
図７は、撮像部１５の画角θにおける撮像範囲の照度分布を示している。
【００８８】
図７Aは、波長λ１の光が照射されている場合の、撮像部１５の撮像範囲における照度分布を示しており、図７Bは、波長λ２の光が照射されている場合の、撮像部１５の撮像範囲における照度分布を示している。
【００８９】
図８は、図７に示される撮像範囲の対角線上（図７A及び図７Bにおいて点線で示す）の位置における照度分布を示している。
【００９０】
なお、図８A及び図８Bにおいて、横軸は、対角線上の位置を示しており、縦軸は照度を示している。また、縦軸が示す照度は、光源部１３から照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。
【００９１】
光源部１３が波長λ１の光を照射している場合（いまの場合、照射される波長λ１の光の出射総和光量は１[W]である）、図８Aに示されるように、撮像範囲内の最大照度は11.5[W/m2]となり、最小照度は4.3[W/m2]となる。また、光源部１３が波長λ１の光を照射している場合、照射効率は約45%となる。
【００９２】
なお、照射効率とは、光源部１３から照射される照射光の光束（単位面積を単位時間内に通過する光のエネルギー）を100%とした場合に、撮像範囲内に到達する照射光の光束を表す。
【００９３】
光源部１３が波長λ２の光を照射している場合（いまの場合、照射される波長λ２の光の出射総和光量は１[W]である）、図８Bに示されるように、撮像範囲内の最大照度は11.7[W/m2]となり、最小照度は4.1[W/m2]となる。また、光源部１３が波長λ２の光を照射している場合、照射効率は約45%となる。
【００９４】
さらに、図８において、|ΔE|は最大50%となり、|ΔE| ≦ 10を満たさないため、肌領域の検出精度が著しく低下するものとなる。
【００９５】
[光源部１３が２個である場合]
次に、図９乃至図１８を参照して、光源部１３が２個である場合について考える。
【００９６】
光源部１３を２個により構成する場合、図９に示されるように、光源部１３のLED４１及び４２を、それぞれ、撮像部１５に対して点対称となるように配置した場合、最も照度むらを抑制することが、本発明者が予め行なった実験によりわかっている。
【００９７】
すなわち、例えば、本発明者は、図１０Aに示されるように、光源部１３−１と光源部１３−２について、LED４１及び４２を、撮像部１５に対してそれぞれ非対称に配置した場合、図１０Bに示されるように、LED４１及び４２をそれぞれ線対称に配置した場合、図１０Cに示されるように、LED４１及び４２をそれぞれ線対称且つ点対称に配置した場合、図１０Dに示されるように、LED４１及び４２をそれぞれ点対称に配置した場合等について、実験を行なった結果、図１０Dに示されるように、点対称に配置した場合に、最も照度むらを抑制できるとの実験結果を得ている。
【００９８】
なお、図１０において、黒色の矩形は、LED４１を示しており、灰色の矩形はLED４２を示している。このことは、後述する図面においても同様である。
【００９９】
[２個の光源部１３を線対称に配置した場合]
次に、図１１乃至図１４を参照して、線対称に配置した場合に得られた実験結果について説明する。
【０１００】
図１１は、光源部１３−１及び１３−２のLED４１及び４２を、撮像部１５（のレンズ面の中心）に対して線対称に配置した場合の一例を示している。
【０１０１】
図１１Aは、光源部１３−１及び１３−２、並びに撮像部１５の正面図を示している。また、図１１Bは、光源部１３−１及び１３−２、並びに撮像部１５の上面図を示している。
【０１０２】
光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図１２A乃至図１４Aに示されるような照度分布となる。
【０１０３】
また、光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図１２B乃至図１４Bに示されるような照度分布となる。
【０１０４】
なお、図１４A及び図１４Bにおいて、縦軸が示す照度は、光源部１３−１及び１３−２から照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図１２乃至図１４は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１０５】
光源部１３−１及び１３−２が波長λ１の光を照射している場合、図１４Aに示されるように、撮像範囲内の最大照度は21.5[W/m2]となり、最小照度は13.2[W/m2]となる。また、光源部１３−１及び１３−２が波長λ１の光を照射している場合、照射効率は約46%となる。
【０１０６】
光源部１３−１及び１３−２が波長λ２の光を照射している場合、図１４Bに示されるように、撮像範囲内の最大照度は22.2[W/m2]となり、最小照度は8.8[W/m2]となる。また、光源部１３−１及び１３−２が波長λ２の光を照射している場合、照射効率は約43%となる。
【０１０７】
さらに、図１４において、|ΔE|は最大38%となり、|ΔE| ≦ 10を満たさないため、肌領域の検出精度が著しく低下するものとなる。
【０１０８】
[２個の光源部１３を点対称に配置した場合]
次に、図１５乃至図１８を参照して、点対称に配置した場合に得られた実験結果について説明する。
【０１０９】
図１５は、光源部１３−１及び１３−２のLED４１及び４２を、撮像部１５に対して点対称に配置した場合の一例を示している。
【０１１０】
図１５Aは、光源部１３−１及び１３−２、並びに撮像部１５の正面図を示している。また、図１５Bは、光源部１３−１及び１３−２、並びに撮像部１５の上面図を示している。
【０１１１】
光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図１６A乃至図１８Aに示されるような照度分布となる。
【０１１２】
また、光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図１６B乃至図１８Bに示されるような照度分布となる。
【０１１３】
なお、図１８A及び図１８Bにおいて、縦軸が示す照度は、光源部１３−１及び１３−２から照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図１６乃至図１８は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１１４】
光源部１３−１及び１３−２が波長λ１の光を照射している場合、図１８Aに示されるように、撮像範囲内の最大照度は22.9[W/m2]となり、最小照度は10.4[W/m2]となる。また、光源部１３−１及び１３−２が波長λ１の光を照射している場合、照射効率は約45%となる。
【０１１５】
光源部１３−１及び１３−２が波長λ２の光を照射している場合、図１８Bに示されるように、撮像範囲内の最大照度は22.7[W/m2]となり、最小照度は10.6[W/m2]となる。また、光源部１３−１及び１３−２が波長λ２の光を照射している場合、照射効率は約44%となる。
【０１１６】
さらに、図１８において、|ΔE|は最大9%となり、|ΔE| ≦ 10を満たすため、肌領域を精度良く検出できる。
【０１１７】
したがって、検出装置１では、光源部１３を２個設ける場合、２個の光源部１３それぞれにおけるLED４１及びLED４２を、点対称に配置するものとする。これにより、照度むら、すなわち、照度差|ΔE|が大きくなることを抑制して、肌領域を精度良く検出することが可能となる。
【０１１８】
なお、２個の光源部１３は、撮像部１５におけるレンズ中心に対して、点対称となるように配置する他、任意の点（例えば、撮像部１５のレンズ中心から少しずれた位置等）に対して、点対称となるように配置するようにしてもよい。
【０１１９】
＜２．第２の実施の形態＞
[光源部１３が４個である場合]
次に、図１９乃至図２８を参照して、光源部１３が４個である場合について考える。
【０１２０】
光源部１３を４個により構成する場合、図１９に示されるように、光源部１３のLED４１及び４２を、それぞれ、撮像部１５に対して線対称又は点対称のいずれかとなるように配置した場合、最も照度むらを抑制することが、本発明者が予め行なった実験によりわかっている。
【０１２１】
すなわち、例えば、本発明者は、図２０Aに示されるように、４個の光源部１３−１a,１３−１b，１３−２a，１３−２bについて、それぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、図２０Bに示されるように、それぞれのLED４１及び４２を点対称に配置した場合、図２０Cに示されるように、それぞれのLED４１及び４２を線対称且つ点対称に配置した場合等について、実験を行なった結果、図２０A及び図２０Bに示されるように、線対称又は点対称のいずれかに配置した場合に、最も照度むらを抑制できるとの実験結果を得ている。
【０１２２】
なお、図２０では、撮像部１５に対して、LED４１及び４２を点対称又は線対称に配置するようにしているが、点対称又は線対称の基準は、撮像部１５に限定されない。このことは、図２９を参照して後述する。
【０１２３】
[４個の光源部１３を線対称に配置した場合]
次に、図２１乃至図２４を参照して、線対称に配置した場合に得られた実験結果について説明する。
【０１２４】
図２１は、４個の光源部１３−１a乃至１３−２bのLED４１及び４２を、撮像部１５に対して線対称に配置した場合の一例を示している。
【０１２５】
図２１Aは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の正面図を示している。また、図２１Bは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の上面図を示している。
【０１２６】
光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図２２A乃至図２４Aに示されるような照度分布となる。
【０１２７】
また、光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図２２B乃至図２４Bに示されるような照度分布となる。
【０１２８】
なお、図２４A及び図２４Bにおいて、縦軸が示す照度は、４個の光源部１３−１a乃至１３−２bから照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図２２乃至図２４は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１２９】
４個の光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、図２４Aに示されるように、撮像範囲内の最大照度は43.8[W/m2]となり、最小照度は22.0[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、照射効率は約45%となる。
【０１３０】
光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、図２４Bに示されるように、撮像範囲内の最大照度は43.1[W/m2]となり、最小照度は21.0[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、照射効率は約44%となる。
【０１３１】
さらに、図２４において、|ΔE|は最大7%となり、|ΔE| ≦ 10を満たすため、肌領域を精度良く検出できる。
【０１３２】
[４個の光源部１３を点対称に配置した場合]
次に、図２５乃至図２８を参照して、点対称に配置した場合に得られた実験結果について説明する。
【０１３３】
図２５は、４個の光源部１３−１a乃至１３−２bのLED４１及び４２を、撮像部１５に対して点対称に配置した場合の一例を示している。
【０１３４】
図２５Aは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の正面図を示している。また、図２５Bは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の上面図を示している。
【０１３５】
４個の光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図２６A乃至図２８Aに示されるような照度分布となる。
【０１３６】
また、４個の光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図２６B乃至図２８Bに示されるような照度分布となる。
【０１３７】
なお、図２８A及び図２８Bにおいて、縦軸が示す照度は、４個の光源部１３−１a乃至１３−２bから照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図２６乃至図２８は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１３８】
光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、図２８Aに示されるように、撮像範囲内の最大照度は43.4[W/m2]となり、最小照度は21.8[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、照射効率は約45%となる。
【０１３９】
光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、図２８Bに示されるように、撮像範囲内の最大照度は43.1[W/m2]となり、最小照度は21.1[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、照射効率は約45%となる。
【０１４０】
さらに、図２４において、|ΔE|は最大3%となり、|ΔE| ≦ 10を満たすため、肌領域を精度良く検出できる。
【０１４１】
したがって、検出装置１では、光源部１３を４個設ける場合、４個の光源部１３それぞれにおけるLED４１及びLED４２を、点対称又は線対称のいずれかに配置するものとする。これにより、照度むら、すなわち、照度差|ΔE|が大きくなることを抑制して、肌領域を精度良く検出することが可能となる。
【０１４２】
なお、撮像部１５を基準として、点対称及び線対称を決定するようにしたが、点対称及び線対称の基準は、撮像部１５に限定されず、任意の位置を基準として、点対称及び線対称を決定することができる。
【０１４３】
具体的には、例えば、図２９A及び図２９Bに示されるように、撮像部１５のレンズ中心（黒丸で示す）とは異なる位置に対して、点対称となるように配置するようにしてもよい。線対称についても同様である。
【０１４４】
＜３．変形例＞
第１及び第２の実施の形態では、光源部１３が２個又は４個の場合について説明したが、その他、例えば、検出装置１に、光源部１３を２×n個（nは３以上の自然数）だけ設けるようにして、点対称又は線対称のいずれかとなるように配置するようにしてもよい。この場合についても、光源部１３が４個である場合と同様にして、照度差|ΔE|が大きくなることを抑制して、肌領域を精度良く検出することが可能となる。
【０１４５】
また、第１及び第２の実施の形態では、光源部１３にアナモルフィックレンズ４３を設けることにより、LED４１及びLED４２からの光が、撮像部１５の撮像範囲内に収まるように、LED４１及びLED４２の指向特性を変化させて、照射効率を向上させるようにした。
【０１４６】
しかしながら、指向特性を変化させるために、光源部１３に設けるものとしては、アナモルフィックレンズ４３に限定されない。
【０１４７】
すなわち、例えば、光源部１３において、アナモルフィックレンズ４３に代えて、アナモルフィックレンズ４３とは異なる球面レンズや非球面レンズを用いるようにして、照射効率を向上させるようしてもよい。
【０１４８】
さらに、例えば、アナモルフィックレンズ４３に代えて、プリズムや偏光板を用いるようにしてもよい。すなわち、照射効率を向上させるためのものであれば、どのようなものを用いるようにしてもよいし、アナモルフィックレンズ４３やプリズム等を任意に組み合わせるようにしてもよい。
【０１４９】
上述した式（２）では、照度P1と照度P2との差分絶対値ABS(P1-P2)を、照度P1の絶対値ABS(P1)で正規化（除算）するようにしたが、その他、例えば、照度P2の絶対値ABS(P2)で正規化してもよい。すなわち、照度P1又は照度P2の少なくとも一方に基づく値であれば、どのような値で正規化するようにしてもよい。
【０１５０】
また、上述した検出装置１は、例えば、LED４１及び４２を１つの光源部１３として構成するようにしたので、LED４１及び４２を別々に構成する場合と比較して、検出装置１を小型化することができる。よって、検出装置１を、比較的、小型の電子装置（例えば、携帯電話機等）に内蔵するように構成することができる。この場合、小型の電子装置において、内蔵された検出装置１により肌領域が検出され、検出された肌領域の形状等に対応する処理が行われる。
【０１５１】
具体的には、例えば、ユーザが、検出装置１を内蔵した小型の携帯電話機に、いわゆるワンセグメント放送による放送信号を受信させて放送番組等を視聴している場合、ユーザが、チャンネルや音量の変更を指示するポスチャやジェスチャの動作を行なったときに、内蔵された検出装置１が、検出した肌領域に基づいて、ユーザのポスチャやジェスチャを検出し、その検出結果に対応して、チャンネルや音量の変更が制御される。
【０１５２】
なお、上述した照度分布における照度は、例えば、近赤外の波長域に感度を有するパワーメータを用いて、照射光を受光し、照射光を受光する受光部の面積と、受光部により受光された照射光の光とに基づいて算出することができる。
【０１５３】
また、受光した照射光を電気信号に変換する光電変換（O/E変換）を行なうディテクタ等とオシロスコープとを組み合わせることにより、電気的なレベルから、受光した照射光に対応する照度を算出することが可能である。
【０１５４】
ディレクタ等とオシロスコープとを組み合わせて照度を算出する場合には、ディテクタの受光感度から照射光の光量（照度）の絶対値を換算することにより、比較的正確な照度を算出できる。
【０１５５】
このような照度の算出方法を用いることにより、撮像部１５の撮像範囲内の照度分布を算出することができる。
【０１５６】
なお、本実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５７】
１ 検出装置， １１ 制御部， １２ LED制御部， １３−１，１３−２，１３−１a，１３−１b，１３−２a，１３−２b 光源部， １４ 光学フィルタ， １５ 撮像部， １６ 撮像制御部， １７ 画像処理部， ４１，４２ LED， ４３ アナモルフィックレンズ
【技術分野】
【０００１】
本発明は、画像処理装置及び電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出できるようにした画像処理装置及び電子装置に関する。
【背景技術】
【０００２】
人物を撮像して得られる撮像画像上から、顔や手などのように肌が露出している領域（以下、肌領域という）を検出する肌検出技術が存在する（例えば、特許文献１乃至４を参照）。
【０００３】
この肌検出技術では、波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１とは異なる波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度値の差分が所定の閾値よりも大きな領域を肌領域として検出する。
【０００４】
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、波長λ１，λ２は、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は850nm、波長λ２は970nmとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４７０６７号公報
【特許文献２】特開平０６−１２３７００号公報
【特許文献３】特開平０５−３２９１６３号公報
【特許文献４】特開２００８−２７２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
肌検出技術では、波長λ１の光が照射された状態の第１の画像と、波長λ２の光が照射された状態の第２の画像との差分が、所定の閾値よりも大きな領域を肌領域として検出する。
【０００７】
したがって、肌検出技術では、その差分が、被写体における反射率の差に対応するものとなるように、被写体に対する波長λ１の光の照度P1と、被写体に対する波長λ２の光の照度P2とが一定の関係を満たす必要がある。
【０００８】
具体的には、例えば、照度P1と照度P2との差分を所定の値で除算（正規化）して得られる照度差ΔEが一定値a以下であるという関係を満たさなければならない。なお、一定値aは、LEDの光学特性や被写体の撮像を行なう撮像部の受光特性等に応じて決定される。
【０００９】
この関係が満たされない場合、波長λ１の光が照射された状態の第１の画像と、波長λ２の光が照射された状態の第２の画像との差分が、被写体における反射率の差によるものなのか、それとも、波長λ１の光を照射するLEDと、波長λ２の光を照射するLEDとの照度の差によるものなのかを区別できなくなってしまい、肌領域を精度良く検出できなくなってしまう。
【００１０】
また、例えば、肌検出に用いる検出装置を、比較的、小型の電子装置（例えば、携帯電話機等）に内蔵するようにして肌検出を行なう場合、検出装置を小型化する必要がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、波長が異なる複数の光を用いた肌検出技術において、肌検出に用いる検出装置を小型化しつつ、波長が異なる複数の光による照度差のばらつきを抑制して、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段とを含み、前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される画像処理装置である。
【００１３】
前記照射手段が２個である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称となるように配置し、前記照射手段が４個以上である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも、点対称又は線対称の一方となるように配置するようにすることができる。
【００１４】
前記撮像生成手段は、所定の撮像範囲で前記被写体を撮像することにより、前記第１及び第２の画像を生成するものであり、前記第１及び第２の発光部から照射される光の指向特性を変化させて、前記所定の撮像範囲内に光を照射させる指向特性変化手段をさらに設けることができる。
【００１５】
前記指向特性変化手段は、アナモルフィックレンズとすることができる。
【００１６】
前記複数の照射手段は、前記撮像生成手段を基準として、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置することができる。
【００１７】
前記第１の波長λ１及び前記第２の波長λ２は、以下の関係式を満たす
640nm≦λ１≦1000nm
900nm≦λ２≦1100nm
ようにすることができる。
【００１８】
前記第１の波長の光を照射したときの照度P1と、前記第２の波長の光を照射したときの照度P2との差分絶対値を所定の値で除算して得られる照度差ΔE、及び前記第１及び第２の波長それぞれに対する反射率が同一である被写体に対して得られる前記第１及び第２の画像の輝度値が同一となるときの照度差aは、以下の関係式を満たす
|ΔE-a| ≦ 10
ようにすることができる。
【００１９】
本発明の第１の側面によれば、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像が生成されるとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像が生成され、生成された前記第１及び第２の画像に基づいて、前記肌領域が検出される。なお、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される。
【００２０】
本発明の第２の側面の電子装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置を内蔵する電子装置であって、前記画像処理装置は、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段とを含み、前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される電子装置である。
【００２１】
本発明の第２の側面によれば、電子装置に内蔵される画像処理装置により、前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像が生成されるとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像が生成され、生成された前記第１及び第２の画像に基づいて、前記肌領域が検出される。なお、第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される。
【発明の効果】
【００２２】
本発明によれば、肌領域の検出に用いる構成を小型化しつつ、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した検出装置の構成例を示すブロック図である。
【図２】光源部の構成例を示す図である。
【図３】人間の肌に対する反射特性の一例を示す図である。
【図４】アナモルフィックレンズの外観例を示す図である。
【図５】照度差による肌領域の検出精度の低下を説明するための図である。
【図６】拡大撮像範囲の照度分布の一例を示す第１の図である。
【図７】撮像範囲の照度分布の一例を示す第１の図である。
【図８】撮像範囲における対角線上の照度分布の一例を示す第１の図である。
【図９】光源部が２個である場合において点対称となるように配置することを示す図である。
【図１０】光源部が２個である場合に、実験により試した配置の一例を示す図である。
【図１１】２個の光源部を撮像部に対して線対称に配置した場合の一例を示す図である。
【図１２】拡大撮像範囲の照度分布の一例を示す第２の図である。
【図１３】撮像範囲の照度分布の一例を示す第２の図である。
【図１４】撮像範囲における対角線上の照度分布の一例を示す第２の図である。
【図１５】２個の光源部を撮像部に対して点対称に配置した場合の一例を示す図である。
【図１６】拡大撮像範囲の照度分布の一例を示す第３の図である。
【図１７】撮像範囲の照度分布の一例を示す第３の図である。
【図１８】撮像範囲における対角線上の照度分布の一例を示す第３の図である。
【図１９】光源部が４個である場合において点対称又は線対称のいずれかとなるように配置することを示す図である。
【図２０】光源部が４個である場合に、実験により試した配置の一例を示す図である。
【図２１】４個の光源部を撮像部に対して線対称に配置した場合の一例を示す図である。
【図２２】拡大撮像範囲の照度分布の一例を示す第４の図である。
【図２３】撮像範囲の照度分布の一例を示す第４の図である。
【図２４】撮像範囲における対角線上の照度分布の一例を示す第４の図である。
【図２５】４個の光源部を撮像部に対して点対称に配置した場合の一例を示す図である。
【図２６】拡大撮像範囲の照度分布の一例を示す第５の図である。
【図２７】撮像範囲の照度分布の一例を示す第５の図である。
【図２８】撮像範囲における対角線上の照度分布の一例を示す第５の図である
【図２９】点対称について説明するための図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２個の光源部を点対称に配置する場合の一例）
２．第２の実施の形態（４個の光源部を点対称又は線対称のいずれかに配置する場合の一例）
３．変形例
【００２５】
＜１．第１の実施の形態＞
［検出装置の構成例］
図１は、第１の実施の形態である検出装置の構成例を示している。この検出装置１は、撮像した画像から検出対象物２１となる人の肌領域（例えば、顔、手など）を検出するものである。また、２個の光源部１３−１及び１３−２の配置を工夫することにより、光源部１３−１及び１３−２からの照射光による照度むらを抑制するものである。
【００２６】
検出装置１は、制御部１１、LED制御部１２、光源部１３−１及び１３−２、光学フィルタ１４、撮像部１５、撮像制御部１６、並びに画像処理部１７から構成される。
【００２７】
制御部１１は、検出装置１の各部の動作を統括して制御する。LED制御部１２は、制御部１１からの制御に従い、光源部１３−１及び１３−２の点灯タイミング、消灯タイミング、出力レベルを制御する。
【００２８】
光源部１３−１は、LED制御部１２の制御に従い、発光スペクトルのピーク波長がλ１である光（以下、波長λ１の光という）を発光（照射）する。また、光源部１３−１は、LED制御部１２の制御に従い、発光スペクトルのピーク波長がλ２である光（以下、波長λ２の光という）を発光する。
【００２９】
光源部１３−２は、光源部１３−１と同様に構成されており、LED制御部１２の制御に従い、波長λ１の光、又は波長λ２の光を、光源部１３−１と同一のタイミングで発光する。
【００３０】
なお、詳細は図３を参照して後述するが、波長λ１の値は640nmから1000nm、波長λ１よりも長波長側の波長λ２の値は900nmから1100nmとされる。
【００３１】
また、以下の説明において、光源部１３−１及び１３−２を区別する必要がない場合、単に、光源部１３という。さらに、光源部１３の詳細な構成については、図２及び図４を参照して後述する。
【００３２】
光学フィルタ１４は、撮像部１５に入射する光を制限するよう撮像部１５の前面に設けられており、その分光特性として第１の波長から第２の波長までの光を透過し、それ以外の光を吸収（遮断）するようになされている。
【００３３】
なお、第１の波長及び第２の波長は、光学フィルタ１４が、波長λ１の光及びλ２の光を透過できるように、波長λ１及びλ２の値に応じて決定される。
【００３４】
撮像部１５は、集光レンズと、CCD、CMOSなどの撮像素子とを内蔵しており、撮像制御部１６からの制御に従い、光学フィルタ１４を透過してきた光（被写体からの反射光）を受光して画像を生成する。なお、光源部１３−１が波長λ１の光を発光しているときに生成される画像を第１の画像とし、光源部１３−２が波長λ２の光を発光しているときに生成される画像を第２の画像とする。
【００３５】
撮像制御部１６は、制御部１１からの制御に従い、撮像部１５の撮像タイミング、輝度増幅のゲインなどを制御する。また、撮像制御部１６は、撮像部１５により生成された第１及び第２の画像を画像処理部１７に出力する。
【００３６】
画像処理部１７は、第１の画像及び第２の画像に基づいて、被写体の肌領域を検出する。
【００３７】
[光源部１３の構成]
次に、図２乃至図４を参照して、光源部１３の構成例について説明する。
【００３８】
図２は、光源部１３の構成例を示している。
【００３９】
光源部１３は、波長λ１の光を照射するLED４１、波長λ２の光を照射するLED４２、並びにLED４１及び４２を覆うアナモルフィックレンズ４３により構成されている。
【００４０】
LED４１及び４２は、アナモルフィックレンズ４３の高さが最も高くなるレンズの位置を通る中心軸（図中、１点鎖線で示す）を中心として、隣接した状態で配置されている。なお、アナモルフィックレンズ４３の詳細については、図４を参照して後述する。
【００４１】
光源部１３は、LED制御部１２からの制御に従い、LED４１とLED４２とを交互に発光させる。すなわち、光源部１３は、図２Aに示されるように、LED４１のみを発光させる処理と、図２Bに示されるように、LED４２のみを発光させる処理とを交互に行う。
【００４２】
次に、図３を参照して、LED４１が照射する光の波長λ１、及びLED４２が照射する光の波長λ２について説明する。図３は、検出対象物２１となる人の肌領域に対して想定されている反射特性を示している。
【００４３】
図３に示されるように、人の肌領域は波長960nm付近に極小値が存在することが知られている。
【００４４】
波長λ１における反射率から、波長λ２における反射率を差し引いて得られる差分が、肌領域以外のものと比較して、比較的大きくなるように、波長λ１の値は640nmから1000nm、波長λ１よりも長波長側の波長λ２の値は900nmから1100nmとされる。
【００４５】
なお、以下において、λ１=850nm,λ２=970nmであるものとする。この場合、図３に示されるように、波長λ１のときの反射率は約４６%となり、波長λ２のときの反射率は約３５%となる。したがって、肌領域において、波長λ２の反射率は、波長λ１の反射率と比較して、約1.3倍(＝46／35)程異なるものとなる。
【００４６】
これに対して、肌領域以外の部分については、波長λ１及びλ２のいずれにおいても、反射率は殆ど変わらないものとなっている。
【００４７】
したがって、検出装置１では、撮像により得られた画像上の全領域のうち、波長λ１及びλ２における反射率が大きく異なる領域を、肌領域として検出するようにしている。
【００４８】
なお、第１及び第２の実施の形態では、光源部１３は、撮像部１５から0.6mmだけ離れた位置に配置されているものとする。また、光源部１３のLED４１及びLED４２において、FWHM(full width at half maximum,半値全幅)は60度であり、発光面チップサイズは0.4×0.4（横×縦）mmであり、発光面チップサイズ（=0.4×0.4mm）における出射光量は１Ｗであるものとする。さらに、例えば、LED４１及びLED４２の発光面は、それぞれ、アナモルフィックレンズ４３の中心軸から0.2mmだけ離れた位置に存在するものとする。なお、光源部１３は、上述の構成に限定されない。
【００４９】
次に、図４は、アナモルフィックレンズ４３の外観例を示している。
【００５０】
アナモルフィックレンズ４３は、LED４１及びLED４２からの照射光を屈折させる（LED４１及びLED４２の指向特性を変化させる）ことにより、効率的に、照射光を撮像部１５の撮像範囲内に照射させる。この場合、光源部１３がアナモルフィックレンズ４３を有さない場合と比較して、撮像部１５の撮像範囲内に照射される照射光の光量が倍以上に増加することとなるので、撮像範囲内に照射される照射光の照射効率を高めることが可能となる。
【００５１】
なお、第１及び第２の実施の形態では、アナモルフィックレンズ４３は、PMMA(ポリメタクリル酸メチル樹脂)からなり、軸上厚（中心軸が通るレンズ部分の厚さ）は1.16mmであるものとする。また、アナモルフィックレンズ４３において、Ｓ１面（LED４１及びLED４２が存在する内側の面）は、平坦な形状とされており、Ｓ２面（外側の面）はアナモルフィック非球面とされているものとする。なお、アナモルフィックレンズ４３は、上述の構成に限定されない。
【００５２】
アナモルフィックレンズ４３のＳ２面におけるサグ量Ｚは、例えば次式（１）により表される。ここで、サグ量Ｚとは、アナモルフィックレンズ４３の中心位置（中心軸が通り、高さが最高であるレンズ面の位置）から任意のアナモルフィックレンズ面までの深さを表す。
【００５３】
【数１】
・・・（１）
【００５４】
ここで、式（１）の左辺におけるサグ量Ｚは、アナモルフィックレンズ４３上の位置（ｘ，ｙ）におけるサグ量を表している。なお、位置（ｘ，ｙ）は、アナモルフィックレンズ４３の中心位置を原点（0,0）として、原点において互いに直交するＸ軸及びＹ軸により定義される。
【００５５】
式（１）の右辺において、変数Nは例えば６であり、定数cx,cy,α2,β2,α4,β4,α6,β6は、それぞれ、cx<0,cy<0,0≦α2,0≦β2,α4≦0,β4≦0,α6≦0,β6≦0という条件を満たす。また、α2は２次のべき条項ｘ2の非球面係数、α4は４次のべき条項ｘ4の非球面係数、α6は６次のべき条項ｘ6の非球面係数を表す。さらに、β2は２次のべき乗項ｙ2の非球面係数、β4は４次のべき乗項ｙ4の非球面係数、β6は６次のべき乗項ｙ6の非球面係数を表す。
【００５６】
また、アナモルフィックレンズ４３の光束出射面におけるＸ軸方向の曲率半径をRxとするとcx=1/Rxとなり、アナモルフィックレンズ４３の光束出射面におけるＹ軸方向の曲率半径をRyとするとcy=1/Ryとなる。
【００５７】
さらに、式（１）の右辺において、kxはＸ方向のコーニック定数を表し、kyはＹ方向のコーニック定数を表している。なお、第１及び第２の実施の形態では、例えば、Rx=-1.2,Ry=-1.6,α2=0.15,α4=-0.15625,α6=0,β2=0,β4=-0.3125,β6=0であるものとする。
【００５８】
［検出装置の動作］
初めに、光源部１３−１及び１３−２のLED４１により波長λ１の光を被写体に照射する。この照射光は外光とともに被写体により反射され、光学フィルタ１４を介して撮像部１５に入射される。撮像部１５は、入射された光を光電変換することにより第１の画像を生成し、撮像制御部１６に供給する。
【００５９】
次に、光源部１３−１及び１３−２のLED４２により波長λ２の光を被写体に照射する。この照射光は外光とともに被写体により反射され、光学フィルタ１４を介して撮像部１５に入射される。撮像部１５は、入射された光を光電変換することにより第２の画像を生成し、撮像制御部１６に供給する。
【００６０】
撮像制御部１６は、撮像部１５からの第１及び第２の画像を、画像処理部１７に供給する。
【００６１】
画像処理部１７は、撮像制御部１６からの第１の画像と第２の画像との対応する画素の輝度値Ｙ１，Ｙ２の差分である差分Ｓ＝Ｙ１−Ｙ２を算出し、差分Ｓを所定の閾値と比較することにより２値化し、２値の一方の領域（所定の閾値以上となる差分に対応する領域）を肌領域として検出する。
【００６２】
[照度分布のばらつき]
画像処理部１７が、差分Ｓに基づいて、肌領域を精度良く検出できるようにするためには、差分Ｓが、被写体における反射率の差に対応するものとなるようにする必要がある。
【００６３】
ここで、差分Ｓが、被写体における反射率の差に対応するものとなる（例えば、波長λ１及びλ２それぞれに対する反射率が同一の物体に光を照射したときに得られる輝度値Ｙ１及びＹ２が同一の値になる）ようにするには、次式（２）に示される照度差ΔEが一定値aであるという一定の関係を満たす必要がある。
【００６４】
【数２】
・・・（２）
【００６５】
なお、式（２）において、ABS(P1-P2)は、被写体に対する波長λ１の光の照度P1と、被写体に対する波長λ２の光の照度P2との差分絶対値を表し、ABS(P1)は、照度P1の絶対値を表す。
【００６６】
検出装置１では、照度差ΔEが一定値aとなるように、光源部１３を配置する必要がある。ところで、照度差ΔEが一定値aから大きく異なる値となった場合には、肌領域の検出精度が著しく低下することが、予め行なわれた実験によりわかっている。
【００６７】
次に、図５は、照度差ΔEが一定値aから大きく異なる値となった場合に、肌領域の検出精度が低下することを示している。
【００６８】
なお、図５において、横軸は、撮像部１５の撮像範囲における対角線上の位置を表し、縦軸は、横軸が示す位置における照度差ΔEを表している。
【００６９】
図５に示されるように、本発明者が行なった実験に基づく経験則によれば、照度差ΔEがa-Δaからa+Δaの範囲内に収まらなくなった場合には、急激に検出精度が低下することがわかっている。
【００７０】
なお、ΔE，a-Δa及びa+Δaの単位は、いずれもパーセンテージ（%）である。また、aは、光源部１３のLED４１及び４２の光学特性や、撮像部１５の受光特性に応じて決定される。
【００７１】
さらに、Δaは、光源部１３のLED４１及びLED４２として、比較的、発光スペクトル幅の広いLEDを想定するとともに、図３に示されるような、肌に対する反射率の分光反射率スペクトルが人によって異なることを想定して求められる。具体的には、例えば、Δaは約１０%程度とされる。
【００７２】
図５に示されるように、肌領域を精度良く検出するためには、照度差ΔEがa-Δaからa+Δaの範囲内に収まるようにしなければならない。すなわち、|ΔE-a|≦Δaを満たす必要がある。
【００７３】
ところで、第１の実施の形態によれば、図２に示されたように、LED４１及び４２を１つの光源部１３として構成するようにしたので、LED４１及び４２をそれぞれ別々に構成する場合と比較して、検出装置１を小型化することが可能となる。よって、比較的、小型の電子装置（例えば、携帯電話機、PDA(personal digital assistant)、及び小型ゲーム機等）に、検出装置１を内蔵することが可能となる。
【００７４】
また、第１の実施の形態によれば、図４に示されたように、撮像範囲内に照射される照射光の照射光率を向上させて、肌検出可能な検出距離（肌検出可能な被写体までの距離）を延ばすことができるように、LED４１及び４２に、アナモルフィックレンズ４３を設けて光源部１３を構成するようにしている。
【００７５】
しかしながら、この場合、撮像範囲内の照度分布が偏ってしまい（|ΔE-a|≦Δaを満たさなくなってしまい)、肌検出を行なうことができなくなってしまう。
【００７６】
そこで、第１の実施の形態では、|ΔE-a|≦Δaを満たすように、光源部１３の個数や配置を工夫して、肌検出を精度良く行なえるようにしている。
【００７７】
以下、|ΔE-a|≦Δaを満たすような、光源部１３の個数や配置について説明する。
【００７８】
以下では、説明を簡単にするために、例えば、a=0，Δa=10として|ΔE|≦10を満たす場合に、肌領域を精度良く検出できるものとして、光源部１３の個数や配置について考えるものとする。
【００７９】
[光源部１３が１個である場合]
次に、図６乃至図８を参照して、光源部１３が１個である場合について考える。
【００８０】
光源部１３が１個のみにより構成されている場合、アナモルフィックレンズ４３の中心軸からLED４１及び４２をオフセットして配置したことに起因して、LED４１から波長λ１の光を照射した場合と、LED４２から波長λ２の光を照射した場合とで、撮像部１５の撮像範囲内に大きな照度むらが生じ得る。
【００８１】
次に、図６乃至図８を参照して、１個の光源部１３により、波長λ１の光を照射した場合の照度分布、及び波長λ２の光を照射した場合の照度分布について説明する。
【００８２】
図６は、撮像部１５の画角θを1.5倍にした場合に得られる拡大撮像範囲の照度分布を示している。
【００８３】
なお、撮像部１５の画角θは、対角方向の画角、すなわち、撮像部１５から、図６において点線で示される対角線の両端にそれぞれ延ばした２本の線分が成す角度を表している。いまの場合、画角θは６５度とされている。また、図６に示される照度分布は、撮像部１５から10cmだけ離れた位置における照度の分布を表している。
【００８４】
図６Aは、１個の光源部１３におけるLED４１が、波長λ１の光を照射している場合に得られた照度分布の一例を示している。また、図６Bは、１個の光源部１３におけるLED４２が、波長λ２の光を照射している場合に得られた照度分布の一例を示している。
【００８５】
図６A及び図６Bに示される照度分布では、照度が高い程に濃い色（黒色）で示されている。このことは、後述する図７についても同様である。
【００８６】
また、図６A及び図６Bに示される矩形（黒色の太線で示す）は、撮像部１５の撮像範囲を示している。
【００８７】
図７は、撮像部１５の画角θにおける撮像範囲の照度分布を示している。
【００８８】
図７Aは、波長λ１の光が照射されている場合の、撮像部１５の撮像範囲における照度分布を示しており、図７Bは、波長λ２の光が照射されている場合の、撮像部１５の撮像範囲における照度分布を示している。
【００８９】
図８は、図７に示される撮像範囲の対角線上（図７A及び図７Bにおいて点線で示す）の位置における照度分布を示している。
【００９０】
なお、図８A及び図８Bにおいて、横軸は、対角線上の位置を示しており、縦軸は照度を示している。また、縦軸が示す照度は、光源部１３から照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。
【００９１】
光源部１３が波長λ１の光を照射している場合（いまの場合、照射される波長λ１の光の出射総和光量は１[W]である）、図８Aに示されるように、撮像範囲内の最大照度は11.5[W/m2]となり、最小照度は4.3[W/m2]となる。また、光源部１３が波長λ１の光を照射している場合、照射効率は約45%となる。
【００９２】
なお、照射効率とは、光源部１３から照射される照射光の光束（単位面積を単位時間内に通過する光のエネルギー）を100%とした場合に、撮像範囲内に到達する照射光の光束を表す。
【００９３】
光源部１３が波長λ２の光を照射している場合（いまの場合、照射される波長λ２の光の出射総和光量は１[W]である）、図８Bに示されるように、撮像範囲内の最大照度は11.7[W/m2]となり、最小照度は4.1[W/m2]となる。また、光源部１３が波長λ２の光を照射している場合、照射効率は約45%となる。
【００９４】
さらに、図８において、|ΔE|は最大50%となり、|ΔE| ≦ 10を満たさないため、肌領域の検出精度が著しく低下するものとなる。
【００９５】
[光源部１３が２個である場合]
次に、図９乃至図１８を参照して、光源部１３が２個である場合について考える。
【００９６】
光源部１３を２個により構成する場合、図９に示されるように、光源部１３のLED４１及び４２を、それぞれ、撮像部１５に対して点対称となるように配置した場合、最も照度むらを抑制することが、本発明者が予め行なった実験によりわかっている。
【００９７】
すなわち、例えば、本発明者は、図１０Aに示されるように、光源部１３−１と光源部１３−２について、LED４１及び４２を、撮像部１５に対してそれぞれ非対称に配置した場合、図１０Bに示されるように、LED４１及び４２をそれぞれ線対称に配置した場合、図１０Cに示されるように、LED４１及び４２をそれぞれ線対称且つ点対称に配置した場合、図１０Dに示されるように、LED４１及び４２をそれぞれ点対称に配置した場合等について、実験を行なった結果、図１０Dに示されるように、点対称に配置した場合に、最も照度むらを抑制できるとの実験結果を得ている。
【００９８】
なお、図１０において、黒色の矩形は、LED４１を示しており、灰色の矩形はLED４２を示している。このことは、後述する図面においても同様である。
【００９９】
[２個の光源部１３を線対称に配置した場合]
次に、図１１乃至図１４を参照して、線対称に配置した場合に得られた実験結果について説明する。
【０１００】
図１１は、光源部１３−１及び１３−２のLED４１及び４２を、撮像部１５（のレンズ面の中心）に対して線対称に配置した場合の一例を示している。
【０１０１】
図１１Aは、光源部１３−１及び１３−２、並びに撮像部１５の正面図を示している。また、図１１Bは、光源部１３−１及び１３−２、並びに撮像部１５の上面図を示している。
【０１０２】
光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図１２A乃至図１４Aに示されるような照度分布となる。
【０１０３】
また、光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図１２B乃至図１４Bに示されるような照度分布となる。
【０１０４】
なお、図１４A及び図１４Bにおいて、縦軸が示す照度は、光源部１３−１及び１３−２から照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図１２乃至図１４は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１０５】
光源部１３−１及び１３−２が波長λ１の光を照射している場合、図１４Aに示されるように、撮像範囲内の最大照度は21.5[W/m2]となり、最小照度は13.2[W/m2]となる。また、光源部１３−１及び１３−２が波長λ１の光を照射している場合、照射効率は約46%となる。
【０１０６】
光源部１３−１及び１３−２が波長λ２の光を照射している場合、図１４Bに示されるように、撮像範囲内の最大照度は22.2[W/m2]となり、最小照度は8.8[W/m2]となる。また、光源部１３−１及び１３−２が波長λ２の光を照射している場合、照射効率は約43%となる。
【０１０７】
さらに、図１４において、|ΔE|は最大38%となり、|ΔE| ≦ 10を満たさないため、肌領域の検出精度が著しく低下するものとなる。
【０１０８】
[２個の光源部１３を点対称に配置した場合]
次に、図１５乃至図１８を参照して、点対称に配置した場合に得られた実験結果について説明する。
【０１０９】
図１５は、光源部１３−１及び１３−２のLED４１及び４２を、撮像部１５に対して点対称に配置した場合の一例を示している。
【０１１０】
図１５Aは、光源部１３−１及び１３−２、並びに撮像部１５の正面図を示している。また、図１５Bは、光源部１３−１及び１３−２、並びに撮像部１５の上面図を示している。
【０１１１】
光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図１６A乃至図１８Aに示されるような照度分布となる。
【０１１２】
また、光源部１３−１及び１３−２それぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図１６B乃至図１８Bに示されるような照度分布となる。
【０１１３】
なお、図１８A及び図１８Bにおいて、縦軸が示す照度は、光源部１３−１及び１３−２から照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図１６乃至図１８は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１１４】
光源部１３−１及び１３−２が波長λ１の光を照射している場合、図１８Aに示されるように、撮像範囲内の最大照度は22.9[W/m2]となり、最小照度は10.4[W/m2]となる。また、光源部１３−１及び１３−２が波長λ１の光を照射している場合、照射効率は約45%となる。
【０１１５】
光源部１３−１及び１３−２が波長λ２の光を照射している場合、図１８Bに示されるように、撮像範囲内の最大照度は22.7[W/m2]となり、最小照度は10.6[W/m2]となる。また、光源部１３−１及び１３−２が波長λ２の光を照射している場合、照射効率は約44%となる。
【０１１６】
さらに、図１８において、|ΔE|は最大9%となり、|ΔE| ≦ 10を満たすため、肌領域を精度良く検出できる。
【０１１７】
したがって、検出装置１では、光源部１３を２個設ける場合、２個の光源部１３それぞれにおけるLED４１及びLED４２を、点対称に配置するものとする。これにより、照度むら、すなわち、照度差|ΔE|が大きくなることを抑制して、肌領域を精度良く検出することが可能となる。
【０１１８】
なお、２個の光源部１３は、撮像部１５におけるレンズ中心に対して、点対称となるように配置する他、任意の点（例えば、撮像部１５のレンズ中心から少しずれた位置等）に対して、点対称となるように配置するようにしてもよい。
【０１１９】
＜２．第２の実施の形態＞
[光源部１３が４個である場合]
次に、図１９乃至図２８を参照して、光源部１３が４個である場合について考える。
【０１２０】
光源部１３を４個により構成する場合、図１９に示されるように、光源部１３のLED４１及び４２を、それぞれ、撮像部１５に対して線対称又は点対称のいずれかとなるように配置した場合、最も照度むらを抑制することが、本発明者が予め行なった実験によりわかっている。
【０１２１】
すなわち、例えば、本発明者は、図２０Aに示されるように、４個の光源部１３−１a,１３−１b，１３−２a，１３−２bについて、それぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、図２０Bに示されるように、それぞれのLED４１及び４２を点対称に配置した場合、図２０Cに示されるように、それぞれのLED４１及び４２を線対称且つ点対称に配置した場合等について、実験を行なった結果、図２０A及び図２０Bに示されるように、線対称又は点対称のいずれかに配置した場合に、最も照度むらを抑制できるとの実験結果を得ている。
【０１２２】
なお、図２０では、撮像部１５に対して、LED４１及び４２を点対称又は線対称に配置するようにしているが、点対称又は線対称の基準は、撮像部１５に限定されない。このことは、図２９を参照して後述する。
【０１２３】
[４個の光源部１３を線対称に配置した場合]
次に、図２１乃至図２４を参照して、線対称に配置した場合に得られた実験結果について説明する。
【０１２４】
図２１は、４個の光源部１３−１a乃至１３−２bのLED４１及び４２を、撮像部１５に対して線対称に配置した場合の一例を示している。
【０１２５】
図２１Aは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の正面図を示している。また、図２１Bは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の上面図を示している。
【０１２６】
光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図２２A乃至図２４Aに示されるような照度分布となる。
【０１２７】
また、光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して線対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図２２B乃至図２４Bに示されるような照度分布となる。
【０１２８】
なお、図２４A及び図２４Bにおいて、縦軸が示す照度は、４個の光源部１３−１a乃至１３−２bから照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図２２乃至図２４は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１２９】
４個の光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、図２４Aに示されるように、撮像範囲内の最大照度は43.8[W/m2]となり、最小照度は22.0[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、照射効率は約45%となる。
【０１３０】
光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、図２４Bに示されるように、撮像範囲内の最大照度は43.1[W/m2]となり、最小照度は21.0[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、照射効率は約44%となる。
【０１３１】
さらに、図２４において、|ΔE|は最大7%となり、|ΔE| ≦ 10を満たすため、肌領域を精度良く検出できる。
【０１３２】
[４個の光源部１３を点対称に配置した場合]
次に、図２５乃至図２８を参照して、点対称に配置した場合に得られた実験結果について説明する。
【０１３３】
図２５は、４個の光源部１３−１a乃至１３−２bのLED４１及び４２を、撮像部１５に対して点対称に配置した場合の一例を示している。
【０１３４】
図２５Aは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の正面図を示している。また、図２５Bは、４個の光源部１３−１a乃至１３−２b、並びに撮像部１５の上面図を示している。
【０１３５】
４個の光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４１を発光させたときに得られる、波長λ１の光の照度分布は、図２６A乃至図２８Aに示されるような照度分布となる。
【０１３６】
また、４個の光源部１３−１a乃至１３−２bそれぞれのLED４１及び４２を、撮像部１５に対して点対称に配置した場合、LED４２を発光させたときに得られる、波長λ２の光の照度分布は、図２６B乃至図２８Bに示されるような照度分布となる。
【０１３７】
なお、図２８A及び図２８Bにおいて、縦軸が示す照度は、４個の光源部１３−１a乃至１３−２bから照射される波長λ１及びλ２それぞれの出射総和光量を１[W]とした場合に得られる照度を示している。それ以外については、図２６乃至図２８は、それぞれ、上述の図６乃至図８と同様に構成されているため、それらの説明は適宜省略している。
【０１３８】
光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、図２８Aに示されるように、撮像範囲内の最大照度は43.4[W/m2]となり、最小照度は21.8[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ１の光を照射している場合、照射効率は約45%となる。
【０１３９】
光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、図２８Bに示されるように、撮像範囲内の最大照度は43.1[W/m2]となり、最小照度は21.1[W/m2]となる。また、光源部１３−１a乃至１３−２bが波長λ２の光を照射している場合、照射効率は約45%となる。
【０１４０】
さらに、図２４において、|ΔE|は最大3%となり、|ΔE| ≦ 10を満たすため、肌領域を精度良く検出できる。
【０１４１】
したがって、検出装置１では、光源部１３を４個設ける場合、４個の光源部１３それぞれにおけるLED４１及びLED４２を、点対称又は線対称のいずれかに配置するものとする。これにより、照度むら、すなわち、照度差|ΔE|が大きくなることを抑制して、肌領域を精度良く検出することが可能となる。
【０１４２】
なお、撮像部１５を基準として、点対称及び線対称を決定するようにしたが、点対称及び線対称の基準は、撮像部１５に限定されず、任意の位置を基準として、点対称及び線対称を決定することができる。
【０１４３】
具体的には、例えば、図２９A及び図２９Bに示されるように、撮像部１５のレンズ中心（黒丸で示す）とは異なる位置に対して、点対称となるように配置するようにしてもよい。線対称についても同様である。
【０１４４】
＜３．変形例＞
第１及び第２の実施の形態では、光源部１３が２個又は４個の場合について説明したが、その他、例えば、検出装置１に、光源部１３を２×n個（nは３以上の自然数）だけ設けるようにして、点対称又は線対称のいずれかとなるように配置するようにしてもよい。この場合についても、光源部１３が４個である場合と同様にして、照度差|ΔE|が大きくなることを抑制して、肌領域を精度良く検出することが可能となる。
【０１４５】
また、第１及び第２の実施の形態では、光源部１３にアナモルフィックレンズ４３を設けることにより、LED４１及びLED４２からの光が、撮像部１５の撮像範囲内に収まるように、LED４１及びLED４２の指向特性を変化させて、照射効率を向上させるようにした。
【０１４６】
しかしながら、指向特性を変化させるために、光源部１３に設けるものとしては、アナモルフィックレンズ４３に限定されない。
【０１４７】
すなわち、例えば、光源部１３において、アナモルフィックレンズ４３に代えて、アナモルフィックレンズ４３とは異なる球面レンズや非球面レンズを用いるようにして、照射効率を向上させるようしてもよい。
【０１４８】
さらに、例えば、アナモルフィックレンズ４３に代えて、プリズムや偏光板を用いるようにしてもよい。すなわち、照射効率を向上させるためのものであれば、どのようなものを用いるようにしてもよいし、アナモルフィックレンズ４３やプリズム等を任意に組み合わせるようにしてもよい。
【０１４９】
上述した式（２）では、照度P1と照度P2との差分絶対値ABS(P1-P2)を、照度P1の絶対値ABS(P1)で正規化（除算）するようにしたが、その他、例えば、照度P2の絶対値ABS(P2)で正規化してもよい。すなわち、照度P1又は照度P2の少なくとも一方に基づく値であれば、どのような値で正規化するようにしてもよい。
【０１５０】
また、上述した検出装置１は、例えば、LED４１及び４２を１つの光源部１３として構成するようにしたので、LED４１及び４２を別々に構成する場合と比較して、検出装置１を小型化することができる。よって、検出装置１を、比較的、小型の電子装置（例えば、携帯電話機等）に内蔵するように構成することができる。この場合、小型の電子装置において、内蔵された検出装置１により肌領域が検出され、検出された肌領域の形状等に対応する処理が行われる。
【０１５１】
具体的には、例えば、ユーザが、検出装置１を内蔵した小型の携帯電話機に、いわゆるワンセグメント放送による放送信号を受信させて放送番組等を視聴している場合、ユーザが、チャンネルや音量の変更を指示するポスチャやジェスチャの動作を行なったときに、内蔵された検出装置１が、検出した肌領域に基づいて、ユーザのポスチャやジェスチャを検出し、その検出結果に対応して、チャンネルや音量の変更が制御される。
【０１５２】
なお、上述した照度分布における照度は、例えば、近赤外の波長域に感度を有するパワーメータを用いて、照射光を受光し、照射光を受光する受光部の面積と、受光部により受光された照射光の光とに基づいて算出することができる。
【０１５３】
また、受光した照射光を電気信号に変換する光電変換（O/E変換）を行なうディテクタ等とオシロスコープとを組み合わせることにより、電気的なレベルから、受光した照射光に対応する照度を算出することが可能である。
【０１５４】
ディレクタ等とオシロスコープとを組み合わせて照度を算出する場合には、ディテクタの受光感度から照射光の光量（照度）の絶対値を換算することにより、比較的正確な照度を算出できる。
【０１５５】
このような照度の算出方法を用いることにより、撮像部１５の撮像範囲内の照度分布を算出することができる。
【０１５６】
なお、本実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５７】
１ 検出装置， １１ 制御部， １２ LED制御部， １３−１，１３−２，１３−１a，１３−１b，１３−２a，１３−２b 光源部， １４ 光学フィルタ， １５ 撮像部， １６ 撮像制御部， １７ 画像処理部， ４１，４２ LED， ４３ アナモルフィックレンズ
【特許請求の範囲】
【請求項１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、
前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、
生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段と
を含み、
前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される
画像処理装置。
【請求項２】
前記照射手段が２個である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称となるように配置され、
前記照射手段が４個以上である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも、点対称又は線対称の一方となるように配置される
請求項１に記載の画像処理装置。
【請求項３】
前記撮像生成手段は、所定の撮像範囲で前記被写体を撮像することにより、前記第１及び第２の画像を生成するものであり、
前記第１及び第２の発光部から照射される光の指向特性を変化させて、前記所定の撮像範囲内に光を照射させる指向特性変化手段を
さらに含む請求項２に記載の画像処理装置。
【請求項４】
前記指向特性変化手段は、アナモルフィックレンズである
請求項３に記載の画像処理装置。
【請求項５】
前記複数の照射手段は、前記撮像生成手段を基準として、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される
請求項１に記載の画像処理装置。
【請求項６】
前記第１の波長λ１及び前記第２の波長λ２は、以下の関係式を満たす
640nm≦λ１≦1000nm
900nm≦λ２≦1100nm
請求項１に記載の画像処理装置。
【請求項７】
前記第１の波長の光を照射したときの照度P1と、前記第２の波長の光を照射したときの照度P2との差分絶対値を所定の値で除算して得られる照度差ΔE、及び前記第１及び第２の波長それぞれに対する反射率が同一である被写体に対して得られる前記第１及び第２の画像の輝度値が同一となるときの照度差aは、以下の関係式を満たす
|ΔE-a| ≦ 10
請求項１に記載の画像処理装置。
【請求項８】
画像上から人間の肌を表す肌領域を検出する画像処理装置を内蔵する電子装置において、
前記画像処理装置は、
第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、
前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、
生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段と
を含み、
前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される
電子装置。
【請求項１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、
前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、
生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段と
を含み、
前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される
画像処理装置。
【請求項２】
前記照射手段が２個である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称となるように配置され、
前記照射手段が４個以上である場合、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも、点対称又は線対称の一方となるように配置される
請求項１に記載の画像処理装置。
【請求項３】
前記撮像生成手段は、所定の撮像範囲で前記被写体を撮像することにより、前記第１及び第２の画像を生成するものであり、
前記第１及び第２の発光部から照射される光の指向特性を変化させて、前記所定の撮像範囲内に光を照射させる指向特性変化手段を
さらに含む請求項２に記載の画像処理装置。
【請求項４】
前記指向特性変化手段は、アナモルフィックレンズである
請求項３に記載の画像処理装置。
【請求項５】
前記複数の照射手段は、前記撮像生成手段を基準として、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される
請求項１に記載の画像処理装置。
【請求項６】
前記第１の波長λ１及び前記第２の波長λ２は、以下の関係式を満たす
640nm≦λ１≦1000nm
900nm≦λ２≦1100nm
請求項１に記載の画像処理装置。
【請求項７】
前記第１の波長の光を照射したときの照度P1と、前記第２の波長の光を照射したときの照度P2との差分絶対値を所定の値で除算して得られる照度差ΔE、及び前記第１及び第２の波長それぞれに対する反射率が同一である被写体に対して得られる前記第１及び第２の画像の輝度値が同一となるときの照度差aは、以下の関係式を満たす
|ΔE-a| ≦ 10
請求項１に記載の画像処理装置。
【請求項８】
画像上から人間の肌を表す肌領域を検出する画像処理装置を内蔵する電子装置において、
前記画像処理装置は、
第１の波長の光を発光する第１の発光部、及び前記第１の波長よりも長波長である第２の波長の光を発光する第２の発光部を有する複数の照射手段と、
前記第１の波長の光が発光しているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が発光しているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する撮像生成手段と、
生成された前記第１及び第２の画像に基づいて、前記肌領域を検出する検出手段と
を含み、
前記複数の照射手段は、前記照射手段それぞれにおける前記第１の発光部どうし、及び前記第２の発光部どうしがいずれも点対称又は線対称の一方となるように配置される
電子装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１２−５８０９４（Ｐ２０１２−５８０９４Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０２０４１（Ｐ２０１０−２０２０４１）
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]