撮像装置、撮像方法、及びプログラム
【課題】被写体までの距離とともに、被写体の肌領域を精度良く算出する。
【解決手段】第１のLEDは、被写体に対して、第１の波長の光を照射し、第２のLEDは、被写体に対して、第１の波長とは異なる第２の波長の光を照射し、距離画像センサは、被写体からの反射光を受光する。そして、肌検出部は、被写体からの反射光として第１の波長の光が受光されることにより得られる第１の画像と、被写体からの反射光として第２の波長の光が受光されることにより得られる第２の画像に基づいて、被写体の肌を表す肌領域を検出し、距離画像センサは、第１の波長の光が被写体に照射されたときから、被写体からの反射光として受光されるまでの第１の往復時間を算出し、算出した第１の往復時間に基づいて、被写体までの距離を算出する。本開示は、例えば、被写体の撮像により、距離画像を生成する撮像装置等に適用できる。
【解決手段】第１のLEDは、被写体に対して、第１の波長の光を照射し、第２のLEDは、被写体に対して、第１の波長とは異なる第２の波長の光を照射し、距離画像センサは、被写体からの反射光を受光する。そして、肌検出部は、被写体からの反射光として第１の波長の光が受光されることにより得られる第１の画像と、被写体からの反射光として第２の波長の光が受光されることにより得られる第２の画像に基づいて、被写体の肌を表す肌領域を検出し、距離画像センサは、第１の波長の光が被写体に照射されたときから、被写体からの反射光として受光されるまでの第１の往復時間を算出し、算出した第１の往復時間に基づいて、被写体までの距離を算出する。本開示は、例えば、被写体の撮像により、距離画像を生成する撮像装置等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、及びプログラムに関し、特に、例えば、撮像により、被写体までの距離とともに、被写体の撮像により得られる撮像画像上の肌領域を精度良く算出できるようにした撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
予め決められた撮像範囲を撮像することにより、その撮像範囲内の被写体までの距離を画素値として有する距離画像を生成する距離画像カメラが存在する。
【０００３】
また、例えば、距離画像カメラから出力される距離画像を用いて、撮像範囲内に被写体として存在するユーザのジェスチャ（動作）やポスチャ(姿勢)を検出する検出技術が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２７７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述の検出技術において、ジェスチャやポスチャをより正確に検出するためには、ユーザまでの距離の他、画像上のユーザの顔や手等を表す肌領域にも基づいて、ユーザのジェスチャやポスチャ等の検出を行なうことが望ましい。
【０００６】
しかしながら、上述の距離画像カメラでは、被写体までの距離を、距離画像として算出（生成）できるものの、被写体の肌領域を算出することはできない。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、被写体までの距離とともに、被写体の肌領域を精度良く算出できるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の撮像装置は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部と、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部とを含む撮像装置である。
【０００９】
前記受光部は、予め決められた受光期間毎に、前記被写体からの反射光を受光するものであり、前記第１の照射部による点灯と消灯が所定間隔毎に交互に繰り返される第１の前記受光期間において、前記第１の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光を受光する第１のセルと、前記第１の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光を受光する第２のセルとを有し、前記往復時間算出部では、前記第１のセルで前記第１の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第１の受光期間内に受光された前記反射光の受光光量に基づいて、前記第１の往復時間を算出することができる。
【００１０】
前記第１のセルでは、前記第１の照射部及び前記第２の照射部が消灯される第２の前記受光期間において、前記第２の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルでは、前記第２の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記往復時間算出部では、前記第１のセルで前記第２の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第２の受光期間内に受光された前記反射光の受光光量にも基づいて、前記第１の往復時間を算出することができる。
【００１１】
前記第１のセルでは、前記第２の照射部による点灯と消灯が所定間隔毎に交互に繰り返される前記第３の受光期間において、前記第３の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルでは、前記第３の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記肌検出部では、前記第１のセル及び前記第２のセルで前記第１の受光期間内に受光された前記反射光により生成される前記第１の画像と、前記第１のセル及び前記第２のセルで前記第３の受光期間内に受光された前記反射光により生成される前記第２の画像に基づいて、前記肌領域を検出することができる。
【００１２】
前記第１の波長の光及び前記第２の波長の光は、それぞれ、所定の周期で光の強度が変化する光であり、前記受光部では、予め決められたタイミングで前記被写体からの反射光を受光し、前記第１の波長の光の照射中に前記タイミングで受光された前記反射光の受光光量に基づいて、前記タイミングにおける前記反射光の受光強度を算出する強度算出部と、前記反射光の受光強度に基づいて、前記第１の波長の光と前記反射光との位相差を算出する位相差算出部とをさらに設けることができ、前記往復時間算出部では、前記位相差に基づいて、前記第１の往復時間を算出することができる。
【００１３】
前記肌検出部では、前記第１の波長の光の照射中に受光された前記反射光の振幅から生成される前記第１の画像と、前記第２の波長の光の照射中に受光された前記反射光の振幅から生成される前記第２の画像に基づいて、前記肌領域を検出することができる。
【００１４】
前記往復時間算出部では、前記第２の波長の光が前記被写体に照射されたときから前記被写体からの反射光として受光されるまでの第２の往復時間も算出し、前記距離算出部では、前記第１の往復時間及び前記第２の往復時間に基づいて、前記被写体までの距離を算出することができる。
【００１５】
前記距離算出部では、前記第１の往復時間及び前記第２の往復時間に基づいて、前記第１の往復時間に基づき算出される第１の距離と、前記第２の往復時間に基づき算出される第２の距離との平均を、前記被写体までの距離として算出することができる。
【００１６】
前記距離算出部では、複数の前記受光部毎に算出される前記第１の往復時間に基づいて、前記被写体までの距離を、前記複数の受光部にそれぞれ対応する各画素毎に算出することができる。
【００１７】
前記受光部では、少なくとも前記第１及び第２の波長について人間の肌と類似する分光反射特性を有する擬似肌装着具を装着した前記被写体からの反射光を受光することができる。
【００１８】
前記第１の波長又は前記第２の波長のうち、一方の波長λ１と他方の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たすようにすることができる。
【００１９】
前記第１の照射部では、前記第１の波長λ１の不可視光を照射し、前記第２の照射部では、前記第２の波長λ２の不可視光を照射することができる。
【００２０】
前記受光部に入射される可視光を遮断する可視光カットフィルタをさらに設けることができる。
【００２１】
本開示の一側面の撮像方法は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置の撮像方法であって、前記撮像装置による、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出ステップと、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出ステップと、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出ステップとを含む撮像方法である。
【００２２】
本開示の一側面のプログラムは、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置のコンピュータを、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部として機能させるためのプログラムである。
【００２３】
本開示によれば、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域が検出され、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間が算出され、前記第１の往復時間に基づいて、前記被写体までの距離が算出される。
【発明の効果】
【００２４】
本開示によれば、被写体までの距離とともに、被写体の肌領域を精度良く算出することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施の形態である撮像装置の構成例を示すブロック図である。
【図２】距離画像センサの詳細な構成例を示すブロック図である。
【図３】計測期間における処理の一例を示す図である。
【図４】距離画像センサ及び肌検出部による出力タイミングの一例を示す図である。
【図５】距離画像センサ及び肌検出部による出力タイミングの他の一例を示す図である。
【図６】人間の肌に対する分光反射特性を示す図である。
【図７】図１の撮像装置が行う第１のTOF計測処理を説明するためのフローチャートである。
【図８】図７のステップＳ１９における肌検出処理を説明するためのフローチャートである。
【図９】計測期間における処理の他の一例を示す図である。
【図１０】距離画像センサ及び肌検出部による出力タイミングのさらに他の一例を示す図である。
【図１１】第２の実施の形態である撮像装置の構成例を示すブロック図である。
【図１２】図１１の距離画像センサの詳細な構成例を示すブロック図である。
【図１３】位相差及び振幅を算出する算出方法の一例を示す図である。
【図１４】LEDの発光タイミング等の一例を示す図である。
【図１５】LEDの発光タイミング等の他の一例を示す図である。
【図１６】図１１の撮像装置が行う第２のTOF計測処理を説明するためのフローチャートである。
【図１７】被写体が、擬似肌装着具を装着する場合の一例を示す図である。
【図１８】２値化肌画像の一例を示す図である。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（時間差を用いて、往復飛行時間を算出するときの一例）
２．第２の実施の形態（位相差を用いて、往復飛行時間を算出するときの一例）
３．変形例
【００２７】
＜１．第１の実施の形態＞
[撮像装置１の構成例]
図１は、第１の実施の形態である撮像装置１の構成例を示している。
【００２８】
なお、この撮像装置１は、人間などの被写体２を対象として撮像を行い、その撮像により、距離画像Id、輝度画像Iλ1、及び輝度画像Iλ2を生成するものである。
【００２９】
そして、撮像装置１は、生成した輝度画像Iλ1及び輝度画像Iλ2から、２値化肌画像Isを生成し、距離画像Idとともに、例えばゲーム機器３に供給するものである。
【００３０】
ここで、距離画像Idとは、被写体２を撮像して得られる画像であり、距離画像Idを構成する各画素毎に、対応する被写体２（画素に表示される被写体２）までの距離を画素値として有する画像をいう。
【００３１】
また、２値化肌画像Isとは、被写体２の肌を表す肌領域と、肌領域とは異なる非肌領域からなる画像をいう。
【００３２】
ゲーム機器３は、２値化肌画像Isを用いて、被写体２の手等を検出し、距離画像Idを用いて、検出した被写体２の手までの距離を算出する。そして、ゲーム機器３は、算出した被写体２の手までの距離に応じた表示を、図示せぬモニタに表示させる。
【００３３】
撮像装置１は、LED(light-emitting diode)２１a、LED２１b、LEDドライバ２２、タイミング制御部２３、レンズ２４、距離画像センサ２５、及び肌検出部２６から構成される。
【００３４】
LED２１aは、LEDドライバ２２からの制御にしたがって、点灯又は消灯する。すなわち、LED２１aは、LEDドライバ２２からの制御にしたがって、波長λ１の光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の光の照射を停止する。
【００３５】
具体的には、例えば、LED２１aは、LEDドライバ２２からの制御にしたがって、所定間隔t0毎に、照射と照射の停止を交互に繰り返すパルス発光を行う。
【００３６】
LED２１bは、LEDドライバ２２からの制御にしたがって、点灯又は消灯する。すなわち、LED２１bは、LEDドライバ２２からの制御にしたがって、波長λ１よりも長波長である波長λ２の光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の光の照射を停止する。
【００３７】
具体的には、例えば、LED２１bは、LEDドライバ２２からの制御にしたがって、LED２１aと同様のパルス発光を行う。
【００３８】
なお、LED２１a及びLED２１bは、少なくとも、撮像装置１（距離画像センサ２５）の撮像範囲に対して、照射光を照射する。
【００３９】
また、LED２１aの個数、及びLED２１bの個数は、それぞれ、１個に限定されず、必要に応じて複数個とされる。すなわち、LED２１aの個数、及びLED２１bの個数は、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、距離画像センサ２５の撮像により得られる輝度画像の対応する画素どうしの輝度値が同一となる個数とされている。
【００４０】
波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。なお、分光反射特性については、図６を参照して詳述する。
【００４１】
LEDドライバ２２は、タイミング制御部２３からの照射パルス信号に基づいて、LED２１a及びLED２１bを制御し、LED２１aやLED２１bの消灯及び点灯を制御する。ここで、照射パルス信号とは、LED２１aやLED２１bの照射タイミングを表す。なお、点灯及び消灯のタイミングは、図３を参照して詳述する。
【００４２】
タイミング制御部２３は、照射パルス信号を生成し、LEDドライバ２２に供給する。また、タイミング制御部２３は、距離画像センサ２５において電荷を蓄積するタイミングを表す蓄積パルス信号を生成し、距離画像センサ２５に供給する。
【００４３】
レンズ２４は、被写体２からの反射光を集光し、集光した反射光を、距離画像センサ２５の受光面に入射させる。
【００４４】
距離画像センサ２５の前面には、レンズ２４が設けられている。距離画像センサ２５は、タイミング制御部２３からの蓄積パルス信号にしたがって、被写体２からの反射光を受光して電荷を蓄積する。
【００４５】
距離画像センサ２５は、レンズ２４を介して入射される反射光に基づいて、距離画像Idを生成し、例えば、ゲーム機器３等に供給する。
【００４６】
また、距離画像センサ２５は、レンズ２４を介して入射される反射光に基づいて、輝度画像Iλ1及び輝度画像Iλ2を生成し、肌検出部２６に供給する。
【００４７】
ここで、距離画像センサ２５の前面には、レンズ２４の他、可視光をカット（遮断）する可視光カットフィルタを設けるように構成することができる。これにより、可視光等の外光により、被写体２までの距離や肌検出の精度が低下する事態を防止できる。
【００４８】
なお、距離画像センサ２５は、後述する図２を参照して詳述する。
【００４９】
肌検出部２６は、距離画像センサ２５からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、２値化肌画像Isを生成し、生成した２値化肌画像Isから肌領域を検出する。そして、肌検出部２６は、検出した肌領域（を表す情報）を、例えばゲーム機器３に供給する。なお、肌検出部２６における２値化肌画像Isの生成方法は、図６を参照して詳述する。
【００５０】
[距離画像センサ２５の詳細]
次に、図２は、距離画像センサ２５の詳細な構成例を示している。
【００５１】
この距離画像センサ２５は、距離画像センサ２５の表面に設けられた受光素子４１1乃至４１N、及び算出部４２から構成される。
【００５２】
受光素子４１n(n=1,2,…,N)は、セル４１an及びセル４１bnにより構成されている。セル４１anは、LED２１a又はLED２１bのパルス発光が行われるパルス発光期間に、タイミング制御部２３からの蓄積パルス信号に基づいて、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V1を、算出部４２に供給する。
【００５３】
また、セル４１anは、LED２１a及びLED２１bが消灯される発光停止期間に、タイミング制御部２３からの蓄積パルス信号にしたがって、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V1'を、算出部４２に供給する。
【００５４】
セル４１bnは、パルス発光期間に、タイミング制御部２３からの蓄積パルス信号にしたがって、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V2を、算出部４２に供給する。
【００５５】
また、セル４１bnは、発光停止期間に、タイミング制御部２３からの蓄積パルス信号にしたがって、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V2'を、算出部４２に供給する。
【００５６】
なお、受光素子４１nは、距離画像Id、輝度画像Iλ1、輝度画像Iλ2それぞれの各画素の画素値を生成するためのものであり、従って、受光素子４１nの総数が、距離画像Id、輝度画像Iλ1、輝度画像Iλ2それぞれの画素の総数となる。
【００５７】
算出部４２は、受光素子４１nからの電圧V1,V2,V1'及びV2'に基づいて、受光素子４１nに対応する、距離画像Id上の画素の画素値を算出する。
【００５８】
すなわち、例えば、算出部４２は、受光素子４１nからの電圧V1及びV2を用いて、パルス発光期間においてセル４１an及びセル４１bｎから得られる電圧の合計（加算値）を表す電圧A(=V1+V2)を算出する。なお、電圧Aは、被写体２に照射される光のうち、LED２１a及びLED２１bからの照射光以外の外光の成分（以下、外光成分という）と暗電流成分とを含むものである。
【００５９】
また、算出部４２は、受光素子４１nからの電圧V1'及びV2'を用いて、発光停止期間においてセル４１an及びセル４１bｎから得られる電圧の合計を表す電圧B(=V1'+V2')を算出する。なお、電圧Bは、外光成分と暗電流成分に対応する電圧である。
【００６０】
さらに、算出部４２は、受光素子４１nからの電圧V1及びV1'を用いて、電圧C(=V1-V1')を算出する。なお、電圧Cは、外光成分及び暗電流成分を含む電圧V1から、外光成分及び暗電流成分に対応する電圧V1'を減算して得られる電圧である。したがって、電圧Cは、外光成分及び暗電流成分が除去された電圧といえる。
【００６１】
また、算出部４２は、受光素子４１nからの電圧V2及びV2'を用いて、電圧D(=V2-V2')を算出する。なお、電圧Dは、外光成分及び暗電流成分を含む電圧V2から、外光成分及び暗電流成分に対応する電圧V2'を減算して得られる電圧である。したがって、電圧Dは、外光成分及び暗電流成分が除去された電圧といえる。
【００６２】
さらに、算出部４２は、算出した電圧A及びBを用いて、電圧E(=A-B)を算出する。なお、電圧Eは、外光成分と暗電流成分とを含む電圧Aから、外光成分及び暗電流成分に対応する電圧Bを減算して得られる電圧である。したがって、電圧Eは、外光成分及び暗電流成分が除去された電圧といえる。
【００６３】
算出部４２は、算出した電圧C,D,E、及び所定時間t0から、次式（１）を用いて、LED２１a又はLED２１bから照射された照射光の往復飛行時間tdを算出する。
td = (t0/2) × [1+{(D-C)/E}] ・・・（１）
【００６４】
ここで、往復飛行時間tdとは、撮像装置１から照射光が照射されたときから、被写体１に反射して撮像装置１に戻ってくるまでの飛行時間をいう。より具体的には、往復飛行時間tdとは、照射光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【００６５】
算出部４２は、往復飛行時間tdの算出に悪影響を及ぼす外光成分及び暗電流成分が除去された電圧C,D,Eを用いるようにして、往復飛行時間tdを算出するようにしているので、比較的、正確な往復飛行時間tdを算出することが可能となる。
【００６６】
なお、算出部４２は、外光成分及び暗電流成分が無視できる程に小さい場合には、電圧C,D,Eに代えて、電圧C'(=V1),D'(=V2),E'(=V1+V2=A)を用いるようにして、往復飛行時間tdを算出してもよい。
【００６７】
この場合、電圧V1'及びV2'を得るために必要な発行停止期間Toffを省略できるようになるので、より迅速に往復飛行時間tdを算出できるようになる。
【００６８】
算出部４２は、往復飛行時間tdと光の速さvとを乗算して、撮像装置１と被写体２との間を往復した往復距離(td×v)を算出し、往復距離(td×v)を1/2にして得られる距離{(td×v)/2}を、被写体２までの距離Dとして算出する。
【００６９】
これにより、算出部４２は、距離Dを、受光素子４１nに対応する、距離画像Id上の画素の画素値として算出する。
【００７０】
また、算出部４２は、算出した電圧Eに応じた輝度値（外光成分及び暗電流成分が除去された輝度値）を、例えば０乃至２５５までの値とされる輝度値にスケーリング（階調化）し、スケーリング後の輝度値の輝度画像Iλ1（又はIλ2）を生成し、肌検出部２６に供給する。したがって、肌検出部２６は、外光成分及び暗電流成分が除去された輝度画像Iλ1及びIλ2に基づいて、肌領域を検出することとなるため、比較的正確に肌領域を検出することが可能となる。
【００７１】
なお、輝度画像Iλ1の輝度値は、パルス発光期間Tλ1（図３）で受光素子４１n（セル４１an及び４１bn）により受光された反射光の受光光量（電圧Aに対応）から、パルス発光期間Tλ1の次の発光停止期間Toff（図３）で受光素子４１nにより受光された反射光の受光光量（電圧Bに対応）を減算して得られる受光光量（電圧Eに対応）に対応するものとなる。このことは、輝度画像Iλ2の輝度値についても同様である。
【００７２】
また、電圧C',D',E'を用いるようにして、往復飛行時間tdを算出する場合、算出部４２は、電圧E'(=A)に応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ1又はIλ2を生成することとなる。
【００７３】
この場合、輝度画像Iλ1の輝度値は、パルス発光期間Tλ1で受光素子４１nにより受光された反射光の受光光量（電圧Aに対応）に対応するものとなる。このことは、輝度画像Iλ2の輝度値についても同様である。
【００７４】
[照射等のタイミングについて]
次に、図３は、距離画像Id等を計測（生成）する計測期間における処理の一例を示している。
【００７５】
計測期間T1は、図３に示されるように、パルス発光期間Tλ1及び発光停止期間Toffからなる。計測期間T1では、距離画像Id及び輝度画像Iλ1の計測（生成）が行われる。
【００７６】
すなわち、例えば、計測期間T1のパルス発光期間Tλ1では、LED２１aは、LEDドライバ２２からの制御にしたがって、パルス発光を行う。いまの場合、LEDドライバ２２は、図３A上側に示されるような、タイミング制御部２３からの照射パルス信号にしたがって、LED２１aにパルス発光を行わせる。
【００７７】
具体的には、例えば、LED２１aは、計測期間T1のパルス発光期間Tλ1において、時刻ts1から時刻ts1'までの受光期間内に、予め決められた所定間隔（パルス幅）t0で照射（照射パルス信号においてHとされる期間で点灯）、及び照射の停止（照射パルス信号においてLとされる期間で消灯）を交互に繰り返す。なお、受光期間とは、受光素子４１nにおいて、被写体２からの反射光を受光する期間をいう。また、受光期間は、図３Dに示されるように、リセット信号に立ち上がりエッジが生じたとき（例えば、時刻ts1）から、読み出し信号に立ち上がりエッジが生じるまで（例えば、時刻ts1'まで）の期間とされる。
【００７８】
ここで、照射パルス信号の周波数（１秒間に生じるパルスの個数）は、MHz以上とされる。しかしながら、図３では、図面が煩雑になるのを避けるために、例えば、パルス発光期間Tλ1における照射パルス信号のパルスの個数を４個として記載するようにしている。このことは、後述する図面についても同様である。
【００７９】
なお、計測期間T1のパルス発光期間Tλ1において、LED２１bは、LEDドライバ２２からの制御にしたがって消灯する。いまの場合、LEDドライバ２２は、図３A下側に示されるような、タイミング制御部２３からの照射パルス信号（パルス発光期間Tλ1においてLとされる信号）にしたがって、LED２１aを消灯させる。
【００８０】
パルス発光期間Tλ1において、受光素子４１n(セル４１an及び４１bn)は、図３Bに示されるように、時刻ts1から往復飛行時間tdが経過したときに、LED２１aから照射された波長λ１の光を、被写体２からの反射光として受光する。
【００８１】
パルス発光期間Tλ1では、LED２１aから波長λ1の光が照射される。したがって、パルス発光期間Tλ1において、往復飛行時間tdとは、LED２１aから、波長λ１の光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【００８２】
なお、受光素子４１nは、上述のように、セル４１an及び４１bnにより構成されている。
【００８３】
したがって、セル４１anは、図３C上側に示されるような、タイミング制御部２３からの蓄積パルス信号にしたがって、時刻ts1から時刻ts1'までの受光期間内に、所定間隔t0で露光（蓄積パルス信号がHとされる期間）及び非露光（蓄積パルス信号がLとされる期間）を交互に繰り返す。すなわち、例えば、セル４１anは、時刻ts1から時刻ts1'までの受光期間を構成する複数の所定間隔t0のうち、奇数番目の所定間隔t0において露光を行う。
【００８４】
ここで、露光とは、反射光を受光し、受光した反射光の受光光量に応じた電荷を蓄積することを表す。また、非露光とは、反射光の受光光量に拘らず、電荷の蓄積を行わないことを表す。
【００８５】
なお、パルス発光期間Tλ1において、セル４１anを制御するための蓄積パルス信号（図３C上側）と、LEDドライバ２２を介してLED２１aを制御するための照射パルス信号（図３A上側）とは、同相とされる。
【００８６】
また、セル４１bnは、図３C下側に示されるような、タイミング制御部２３からの蓄積パルス信号にしたがって、時刻ts1から時刻ts1'までの受光期間内に、所定間隔t0で非露光（蓄積パルス信号がLとされる期間）及び露光（蓄積パルス信号がHとされる期間）を交互に繰り返す。すなわち、例えば、セル４１bnは、時刻ts1から時刻ts1'までの受光期間を構成する複数の所定間隔t0のうち、偶数番目の所定間隔t0において露光を行う。
【００８７】
なお、パルス発光期間Tλ1において、セル４１bnを制御するための蓄積パルス信号（図３C下側）と、LEDドライバ２２を介してLED２１aを制御するための照射パルス信号（図３A上側）とは、逆相とされる。
【００８８】
そして、セル４１anは、パルス発光期間Tλ1において、図３D上側に示されるように、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミング（時刻ts1'）で、パルス発光期間Iλ1においてセル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1を、算出部４２に出力する。
【００８９】
また、セル４１bnは、パルス発光期間Tλ1において、図３D上側に示されるように、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミング（時刻ts1'）で、パルス発光期間Iλ1においてセル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2を、算出部４２に出力する。
【００９０】
セル４１an及びセル４１bnでは、パルス発光期間Tλ1の次の発光停止期間Toffにおいて、図３D下側に示されるように、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、パルス発光期間Iλ1においてセル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。なお、電荷量は、受光される反射光の受光光量に対応する量である。
【００９１】
次に、計測期間T1の発光停止期間Toffでは、LED２１a及びLED２１bは、LEDドライバ２２からの制御にしたがって消灯する。いまの場合、LEDドライバ２２は、図３A上側及び下側に示されるような、タイミング制御部２３からの照射パルス信号（発光停止期間ToffにおいてLとされる信号）にしたがって、LED２１a及びLED２１bを消灯させる。
【００９２】
計測期間T1の発光停止期間Toffにおいて、セル４１anは、図３C上側に示されるような蓄積パルス信号にしたがって、パルス発光期間Iλ1の場合と同様にして、時刻ts2から時刻ts2'までの受光期間内に、所定間隔t0で露光及び非露光を交互に繰り返す。すなわち、例えば、セル４１anは、時刻ts2から時刻ts2'までの受光期間を構成する複数の所定間隔t0のうち、奇数番目の所定間隔t0において露光を行う。
【００９３】
また、セル４１bnは、図３C下側に示されるような蓄積パルス信号にしたがって、パルス発光期間Iλ1の場合と同様にして、時刻ts2から時刻ts2'までの受光期間内に、所定間隔t0で非露光及び露光を交互に繰り返す。すなわち、例えば、セル４１bnは、時刻ts2から時刻ts2'までの受光期間を構成する複数の所定間隔t0のうち、偶数番目の所定間隔t0において露光を行う。
【００９４】
なお、発光停止期間Toffにおいて、LED２１a及びLED２１bは消灯しているため、セル４１an及びセル４１bnは、図３Bに示されるように、LED２１a及びLED２１bからの照射光を、被写体２からの反射光として受光することはない。つまり、発光停止期間Toffにおいて、セル４１an及びセル４１bnは、LED２１a及びLED２１bからの照射光以外の外光を、被写体２からの反射光として受光することとなる。
【００９５】
そして、セル４１anは、計測期間T1の発光停止期間Toffのうち、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、発光停止期間Toffにおいてセル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1'を、算出部４２に出力する。
【００９６】
また、セル４１bnは、計測期間T1の発光停止期間Toffのうち、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、発光停止期間Toffにおいてセル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2'を、算出部４２に出力する。
【００９７】
セル４１an及びセル４１bnでは、発光停止期間Toffの次のパルス発光期間Iλ2のうち、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、発光停止期間Toffにおいてセル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。
【００９８】
算出部４２は、セル４１an及びセル４１bnから供給される電圧V1,V2,V1',V2'に基づいて、上述したようにして電圧A,B,C,D,Eを算出する。
【００９９】
また、算出部４２は、算出した電圧C,D,E、及び所定時間t0から、式（１）を用いて、LED２１aから照射される波長λ１の光の往復飛行時間tdを算出する。そして、算出部４２は、往復飛行時間tdと光の速さvとを乗算して、往復距離(td×v)を算出し、往復距離(td×v)を1/2として得られる距離{(td×v)/2}を、被写体２までの距離Dとして算出する。
【０１００】
これにより、算出部４２は、計測期間T1において、距離Dを画素値とする距離画像Idを生成し、ゲーム機器３に出力する。
【０１０１】
また、算出部４２は、算出した電圧Eに応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ1を生成し、肌検出部２６に供給する。
【０１０２】
計測期間T2は、図３に示されるように、パルス発光期間Tλ2及び発光停止期間Toffからなる。計測期間T2では、計測期間T1で生成された距離画像Idとは異なる距離画像Id'、及び輝度画像Iλ2の計測が行われる。
【０１０３】
すなわち、計測期間T2は、パルス発光期間Tλ2において、LED２１bが、LEDドライバ２２からの制御にしたがって、パルス発光を行う。いまの場合、LEDドライバ２２は、図３A下側に示されるような、タイミング制御部２３からの照射パルス信号にしたがって、LED２１bにパルス発光を行わせる。
【０１０４】
また、計測期間T2は、パルス発光期間Tλ2において、LED２１aが、LEDドライバ２２からの制御にしたがって、消灯する。いまの場合、LEDドライバ２２は、図３A上側に示されるような、タイミング制御部２３からの照射パルス信号にしたがって、LED２１aを消灯させる。それ以外は、計測期間T1における場合と同様である。
【０１０５】
なお、計測期間T2では、LED２１bから波長λ２の照射光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間が、往復飛行時間tdとされる。
【０１０６】
算出部４２は、計測期間T1の場合と同様にして、距離画像Id'を生成し、ゲーム機器３に出力される。また、算出部４２は、計測期間T1において輝度画像Iλ1を生成した場合と同様にして、電圧Eから、各画素の輝度値を算出して得られる輝度画像Iλ2を生成し、肌検出部２６に供給する。
【０１０７】
肌検出部２６は、算出部４２からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、２値化肌画像Isを生成し、生成した２値化肌画像Isに基づいて、肌領域を検出する。そして、肌検出部２６は、検出した肌領域（を表す情報）を、ゲーム機器３に出力する。
【０１０８】
次に、図４は、距離画像センサ２５及び肌検出部２６における画像の生成タイミングの一例を示している。
【０１０９】
例えば、距離画像センサ２５は、各計測期間Tn(nは整数を表す)において、図４Aに示されるように、距離画像Id(n)を生成して、例えばゲーム機器３に出力する。
【０１１０】
また、例えば、距離画像センサ２５は、奇数番目の計測期間Tnodd(noddは奇数を表す)において、図４Bに示されるように、輝度画像Iλ1(nodd)を生成して、肌検出部２６に出力する。
【０１１１】
さらに、例えば、距離画像センサ２５は、偶数番目の計測期間Tneven(nevenは偶数を表す)において、図４Cに示されるように、輝度画像Iλ2(neven)を生成して、肌検出部２６に出力する。
【０１１２】
そして、肌検出部２６は、図４Dに示されるように、計測期間Tnoddにおいて生成された輝度画像Iλ1(nodd)、及び計測期間Tnoddの次の計測期間Tnevenにおいて生成された輝度画像Iλ2(neven)を用いて、２値化肌画像Is(nodd,neven)を生成して、例えばゲーム機器３に出力する。
【０１１３】
なお、肌検出部２６は、図４Dに示したように、例えば、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて２値化肌画像Is(1,2)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて、２値化肌画像Is(3,4)を生成するようにしている。
【０１１４】
しかしながら、その他、例えば、肌検出部２６は、図５Dに示されるように、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて２値化肌画像Is(1,2)を生成し、輝度画像Iλ2(2)及び輝度画像Iλ1(3)を用いて２値化肌画像Is(2,3)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて２値化肌画像Is(3,4)を生成するようにしてもよい。なお、図５A乃至図５Cは、図４A乃至図４Dと同様である。
【０１１５】
図５Dに示されるようにして２値化肌画像Isを生成するようにした場合には、図４Dに示されるような場合と比較して、２倍の速さで２値化肌画像Isを生成することが可能となる。
【０１１６】
[分光反射特性]
次に、図６は、人間の肌に対する分光反射特性を示している。
【０１１７】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態（日焼け等）に拘らず、一般性があるものである。
【０１１８】
図６において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【０１１９】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【０１２０】
具体的には、例えば、図６に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約６３パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約５０パーセントである。
【０１２１】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また波長の周波数が高くなるほど、少しずつ大きくなることが多い。
【０１２２】
第１の実施の形態では、例えば、組み合わせ（λ１，λ２）=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくなる組み合わせである。
【０１２３】
したがって、輝度画像Iλ1上の肌領域を構成する輝度値は比較的大きな値となり、輝度画像Iλ2上の肌領域を構成する輝度値は比較的小さな値となる。
【０１２４】
このため、差分画像Idiff(={(Iλ1 - Iλ2)/(Iλ1)}×100)上の肌領域の輝度値は、比較的大きな正の値αとなる。なお、差分画像Idiff={(Iλ1 - Iλ2)/(Iλ1)}×100における乗数100は、値100に限定されず、任意の値（例えば、255など）を採用することができるが、乗数は100であるものとして以下説明する。
【０１２５】
また、組み合わせ（λ１，λ２）=(870,950)は、人間の肌以外のものに対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくならない組み合わせである。
【０１２６】
このため、差分画像Idiff(={(Iλ1 - Iλ2)/(Iλ1)}×100)上の非肌領域の輝度値は、比較的小さな正または負の値βとなる。
【０１２７】
よって、肌検出部２６は、差分画像Idiffを、予め決められた２値化用の閾値（例えば、αよりも小であり、βよりも大である閾値）で２値化するようにして、２値化肌画像Isを生成し、生成した２値化肌画像Isに基づいて、肌領域を検出するようにしている。
【０１２８】
ここで、組み合わせ（λ１，λ２）は、（λ１，λ２）=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ（λ１，λ２）であれば、どのような組み合わせでもよい。
【０１２９】
なお、正確に肌検出を行うためには、概ね、波長λ１の値は640[nm]乃至1000[nm]の範囲内で、波長λ２の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。ただし波長λ１が可視光領域では、操作者に眩しさを感じさせることなどから、波長λ１の値は不可視光領域の800[nm]以上とすることが望ましい。
【０１３０】
すなわち、例えば、上述の範囲内で、波長λ１の値は800[nm]以上900[nm]未満とし、波長λ２の値は900[nm]以上とすることができる。
【０１３１】
[撮像装置１の動作説明]
次に、図７のフローチャートを参照して、撮像装置１が行う第１のTOF(time of flight(光の飛行時間))計測処理について説明する。
【０１３２】
なお、この第１のTOF計測処理は、例えば、撮像装置１の電源がオンされたときに開始される。
【０１３３】
ステップＳ１において、LED２１aは、LEDドライバ２２からの制御にしたがって、計測期間Tnoddのパルス発光期間Tλ1において、パルス発光を行う。なお、この場合、LED２１bは消灯している。
【０１３４】
ステップＳ２では、セル４１anは、計測期間Tnoddのパルス発光期間Tλ1において、タイミング制御部２３からの蓄積パルス信号にしたがって、所定時間t0で露光（Hとされる期間）及び非露光（Lとされる期間）を交互に繰り返す。
【０１３５】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1を、算出部４２に出力する。
【０１３６】
ステップＳ３では、セル４１bnは、計測期間Tnoddのパルス発光期間Tλ1において、所定間隔t0で非露光（Lとされる期間）及び露光（Hとされる期間）を交互に繰り返す。
【０１３７】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2を、算出部４２に出力する。
【０１３８】
ステップＳ４では、LED２１aは、計測期間Tnoddの発光停止期間Toffにおいて、LEDドライバ２２からの制御にしたがって、消灯する。これにより、LED２１a及びLED２１bは、計測期間Tnoddの発光停止期間Toffにおいて、いずれも消灯しているものとなる。
【０１３９】
ステップＳ５において、セル４１anは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で露光及び非露光を交互に繰り返す。
【０１４０】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1'を、算出部４２に出力する。
【０１４１】
ステップＳ６において、セル４１bnは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で非露光及び露光を交互に繰り返す。
【０１４２】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2'を、算出部４２に出力する。
【０１４３】
なお、セル４１an及びセル４１bnでは、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、セル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。
【０１４４】
ステップＳ７において、算出部４２は、セル４１anからの電圧V1及びV1'、並びにセル４１bnからの電圧V2及びV2'に基づいて、電圧C,D,Eを算出する。また、算出部４２は、算出した電圧C,D,E及び所定間隔t0に基づいて、式（１）により、波長λ１の光における往復飛行時間tdを算出する。
【０１４５】
ステップＳ８において、算出部４２は、算出した往復飛行時間tdに基づいて、距離D(=(td×v)/2)を算出する。そして、算出部４２は、距離Dを画素値として有する距離画像Idを生成し、ゲーム機器３に供給する。
【０１４６】
ステップＳ９において、算出部４２は、ステップＳ７の処理で算出した電圧Eに応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値を有する輝度画像Iλ1を生成し、肌検出部２６に供給する。
【０１４７】
ステップＳ１０において、LED２１bは、計測期間Tnoddの次の計測期間Tnevenにおけるパルス発光期間Tλ2において、LEDドライバ２２からの制御にしたがって、パルス発光を行う。なお、この場合、LED２１aは消灯している。
【０１４８】
ステップＳ１１では、セル４１anは、計測期間Tnevenのパルス発光期間Tλ2において、タイミング制御部２３からの蓄積パルス信号にしたがって、所定時間t0で露光（Hとされる期間）及び非露光（Lとされる期間）を交互に繰り返す。
【０１４９】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1を、算出部４２に出力する。
【０１５０】
なお、ステップＳ１１において、セル４１anから算出部４２に出力される電圧V1は、ステップＳ２において出力される電圧V1とは、一般的に異なるものであるが、説明の便宜上、同一の記号で表すようにしている。このことは、ステップＳ１２における電圧V2、ステップＳ１４における電圧V1'、及びステップＳ１５における電圧V2'についても同様である。
【０１５１】
ステップＳ１２では、セル４１bnは、計測期間Tnevenのパルス発光期間Tλ2において、所定間隔t0で非露光（Lとされる期間）及び露光（Hとされる期間）を交互に繰り返す。
【０１５２】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2を、算出部４２に出力する。
【０１５３】
ステップＳ１３において、LED２１bは、LEDドライバ２２からの制御にしたがって、消灯する。これにより、LED２１a及びLED２１bは、計測期間Tnoddの発光停止期間Toffにおいて、いずれも消灯しているものとなる。
【０１５４】
ステップＳ１４において、セル４１anは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で露光及び非露光を交互に繰り返す。
【０１５５】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1'を、算出部４２に出力する。
【０１５６】
ステップＳ１５において、セル４１bnは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で非露光及び露光を交互に繰り返す。
【０１５７】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2'を、算出部４２に出力する。
【０１５８】
なお、セル４１an及びセル４１bnでは、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、セル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。
【０１５９】
ステップＳ１６において、算出部４２は、セル４１anからの電圧V1及びV1'、並びにセル４１bnからの電圧V2及びV2'に基づいて、電圧C,D,Eを算出する。また、算出部４２は、算出した電圧C,D,E及び所定間隔t0に基づいて、式（１）により、波長λ２の光における往復飛行時間td'を算出する。
【０１６０】
ステップＳ１７において、算出部４２は、算出した往復飛行時間td'に基づいて、距離D'(=(td'×v)/2)を算出する。そして、算出部４２は、距離D'を画素値として有する距離画像Id'を生成し、ゲーム機器３に供給する。
【０１６１】
ステップＳ１８において、算出部４２は、ステップＳ１６の処理で算出した電圧Eに応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値を有する輝度画像Iλ2を生成し、肌検出部２６に供給する。
【０１６２】
ステップＳ１９において、肌検出部２６は、算出部４２からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、被写体２の肌を表す肌領域を検出する肌検出処理を行う。なお、肌検出処理の詳細は、図８のフローチャートを参照して詳述する。
【０１６３】
ステップＳ１９において、肌検出部２６は、肌検出処理により検出された肌領域（を表す情報）を、ゲーム機器３に供給して、処理はステップＳ１に戻り、それ以降、同様の処理が繰り返される。
【０１６４】
なお、この第１のTOF計測処理は、例えば、撮像装置１の電源がオフされたときに終了される。
【０１６５】
[肌検出処理の詳細]
次に、図８のフローチャートを参照して、図７のステップＳ１９における肌検出処理の詳細を説明する。
【０１６６】
ステップS３１において、肌検出部２６は、距離画像センサ２５の算出部４２から供給される輝度画像Iλ1及びIλ2に対して、LPF(low pass filter)を用いた平滑化を行う。また、肌検出部２６は、各画素ごとに、輝度画像Iλ1の輝度値Y(λ1)から、輝度画像Iλ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【０１６７】
さらに、肌検出部２６は、輝度画像Iλ1又は輝度画像Iλ2の少なくとも一方に基づく値として、例えば輝度値Y(λ1)で、差分(Y(λ1) - Y(λ2))を正規化（除算）する。
【０１６８】
そして、肌検出部２６は、正規化後の差分(Y(λ1) - Y(λ2))/Y(λ1)に所定の値（例えば、100）を乗算して得られる差分画像Idiff(=((Iλ1 - Iλ2)/Iλ1)×100)を算出する。なお、所定の値は、値100に限定されず、任意の値（例えば、255など）を採用することができる。
【０１６９】
ステップＳ３２において、肌検出部２６は、差分画像Idiffを、予め決められた２値化用の閾値で２値化して、２値化肌画像Isを算出する。
【０１７０】
なお、差分画像Idiffは、撮像画像Iλ1の輝度値が、撮像画像Iλ2の輝度値に対して、何パーセント高いものであるかを表す。また、２値化用の閾値としては、例えば、１０パーセントを用いることができる。
【０１７１】
肌検出部２６は、算出した２値化肌画像Isに基づいて、被写体２の肌を表す肌領域を検出して、処理は、図７のステップＳ１９にリターンされる。
【０１７２】
以上説明したように、第１のTOF計測処理によれば、人間の分光反射特性に基づいて、被写体２の肌領域を表す２値化肌画像Isを算出するようにした。このため、被写体２を照らす照明の明るさに拘らず、被写体２の肌領域を精度良く検出することが可能となる。
【０１７３】
また、第１のTOF計測処理によれば、往復飛行時間tdに基づいて、距離画像Idの各画素毎に、ユーザまでの距離Dを算出するようにした。このため、例えば、被写体２の肌領域の大きさ等から、被写体２までの距離を算出する場合と比較して、より正確な距離Dを算出することが可能となる。
【０１７４】
なお、第１の実施の形態では、図３乃至図５に示したように、計測期間Tnoddにおいて、距離画像Id(nodd)及び輝度画像Iλ1(nodd)を計測し、計測期間Tnevenにおいて、距離画像Id(neven)及び輝度画像Iλ2(neven)を計測するようにした。
【０１７５】
しかしながら、その他、例えば、図９に示されるように、パルス発光期間Tλ1、パルス発光期間Tλ2、及び発光停止期間Toffを、計測期間Tn'とし、計測期間Tn'において、距離画像Id、輝度画像Iλ1、及び輝度画像Iλ2を計測するようにしてもよい。
【０１７６】
この場合、計測期間Tn'のパルス発光期間Tλ1では、セル４１anにおいて電圧V1_λ1が得られ、セル４１bnにおいて電圧V2_λ1が得られ、それぞれ、算出部４２に供給される。
【０１７７】
また、計測期間Tn'のパルス発光期間Tλ2では、セル４１anにおいて電圧V1_λ2が得られ、セル４１bnにおいて電圧V2_λ2が得られ、それぞれ、算出部４２に供給される。
【０１７８】
さらに、計測期間Tn'の発光停止期間Toffでは、セル４１anにおいて電圧V1'が得られ、セル４１bnにおいて電圧V2'が得られ、それぞれ、算出部４２に供給される。
【０１７９】
よって、算出部４２は、セル４１anからの電圧V1_λ1,V1'、及びセル４１bnからの電圧V2_λ1,V2'に基づいて、電圧A_λ1(=V1_λ1+V2_λ1)、電圧B(=V1'+V2')、電圧C_λ1(=V1_λ1-V1')、電圧D_λ1(=V2_λ1-V2')を算出する。
【０１８０】
また、算出部４２は、算出した電圧A_λ1及び電圧Bに基づいて、電圧E_λ1(=A_λ1-B)を算出する。
【０１８１】
そして、算出部４２は、算出した電圧C_λ1，D_λ1，E_λ1、及び所定間隔t0に基づいて、往復飛行時間td1(=(t0/2) × [1+{(D_λ1-C_λ1)/E_λ1}])を算出する。ここで、往復飛行時間td1とは、波長λ１の光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【０１８２】
さらに、算出部４２は、セル４１anからの電圧V1_λ2,V1'、及びセル４１bnからの電圧V2_λ2,V2'に基づいて、電圧A_λ2(=V1_λ2+V2_λ2)、電圧C_λ2(=V1_λ2-V1')、電圧D_λ2(=V2_λ2-V2')を算出する。
【０１８３】
また、算出部４２は、算出した電圧A_λ2及び電圧Bに基づいて、電圧E_λ2(=A_λ2-B)を算出する。
【０１８４】
そして、算出部４２は、算出した電圧C_λ2，D_λ2，E_λ2、及び所定間隔t0に基づいて、往復飛行時間td2(=(t0/2) × [1+{(D_λ2-C_λ2)/E_λ2}])を算出する。ここで、往復飛行時間td2とは、波長λ２の光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【０１８５】
算出部４２は、算出した往復飛行時間td1及びtd2の平均を、最終的な往復飛行時間td(=(td1+td2)/2)として算出する。また、算出部４２は、往復飛行時間tdに基づいて、往復飛行時間td1に基づき算出される距離D1（=(td1×v)/2)と、往復飛行時間td2に基づき算出される距離D2(=(td2×v)/2)との平均を表す距離D(=(td×v)/2)を算出する。そして、算出部４２は、算出した距離Dを画素値として有する距離画像Idを、ゲーム機器３に出力する。
【０１８６】
なお、算出部４２は、往復飛行時間td1又はtd2の一方に基づいて、距離Dを算出し、距離Dを画素値として有する距離画像Idを、ゲーム機器３に出力するようにしてもよい。
【０１８７】
算出部４２は、算出した電圧E_λ1に応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ1を生成し、肌検出部２６に出力する。
【０１８８】
また、算出部４２は、算出した電圧E_λ2に応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ2を生成し、肌検出部２６に出力する。
【０１８９】
次に、図１０は、計測期間Tn'において、距離画像センサ２５及び肌検出部２６の画像の生成タイミングの一例を示している。
【０１９０】
例えば、距離画像センサ２５は、各計測期間Tn'(nは整数を表す)において、図１０Aに示されるように、距離画像Id(n)を生成して、例えばゲーム機器３に出力する。
【０１９１】
また、例えば、距離画像センサ２５は、各計測期間Tn'において、図１０Bに示されるように、輝度画像Iλ1(n)及び輝度画像Iλ2(n)を生成して、肌検出部２６に出力する。
【０１９２】
肌検出部２６は、図４Cに示されるように、計測期間Tn'において生成された輝度画像Iλ1(n)輝度画像Iλ2(n)を用いて、２値化肌画像Is(n)を生成する。
【０１９３】
ところで、第１の実施の形態では、LED２１a又はLED２１bから照射光を照射したときから受光されるまでの時間差に基づいて、往復飛行時間tdを算出するようにしたが、往復飛行時間tdの算出方法は、これに限定されない。
【０１９４】
すなわち、例えば、往復飛行時間tdは、照射光と反射光との位相差に基づいて、往復飛行時間tdを算出することができる。
【０１９５】
＜２．第２の実施の形態＞
[撮像装置６１の構成例]
次に、図１１は、第２の実施の形態である撮像装置６１の構成例を示している。
【０１９６】
この撮像装置６１は、照射光と反射光との位相差に基づいて、往復飛行時間tdを算出するものである。なお、図１１では、図１の撮像装置１と同様に構成される部分については、同一の符号を付すようにしているので、それらの説明は、以下、適宜、省略する。
【０１９７】
すなわち、この撮像装置６１は、図１のLED２１a、LED２１b、タイミング制御部２３、及び距離画像センサ２５に代えて、それぞれ、LED８１a、LED８１b、タイミング制御部８２、及び距離画像センサ８３が設けられている他は、図１の場合と同様に構成される。
【０１９８】
LED８１aは、LEDドライバ２２からの制御にしたがって、例えば、正弦波に変調された波長λ１の変調光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の変調光の照射を停止する。
【０１９９】
LED８１bは、LEDドライバ２２からの制御にしたがって、例えば、正弦波に変調された波長λ２の変調光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の変調光の照射を停止する。
【０２００】
なお、波長λ１の変調光、及び波長λ２の変調光の周波数は、それぞれ、MHz以上の周波数とされる。
【０２０１】
また、LED８１a及びLED８１bは、少なくとも、撮像装置６１（距離画像センサ８３）の撮像範囲に対して、照射光を照射する。
【０２０２】
さらに、波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性（図６）に基づいて予め決定される。
【０２０３】
タイミング制御部８２は、LEDドライバ２２を制御して、LED８１aやLED８１bの点灯又は消灯のタイミングを制御する。また、タイミング制御部８２は、距離画像センサ８３を制御して、反射光を受光して電荷を蓄積するタイミングを制御する。
【０２０４】
距離画像センサ８３は、その表面に、複数の受光素子を有し、距離画像Id、輝度画像Iλ1、及び輝度画像Iλ2を生成する。距離画像センサ８３は、生成した距離画像Idをゲーム機器３に出力し、生成した輝度画像Iλ1及び輝度画像Iλ2を、肌検出部２６に出力する。なお、距離画像センサ８３の前面には、レンズ２４の他、可視光をカット（遮断）する可視光カットフィルタを設けるように構成することができる。
【０２０５】
[距離画像センサ８３の詳細]
次に、図１２は、距離画像センサ８３の詳細な構成例を示している。
【０２０６】
この距離画像センサ８３は、距離画像センサ８３の表面に設けられた複数の受光素子１０１1乃至１０１N、及び算出部１０２から構成される。
【０２０７】
受光素子１０１n(n=1,2,…,N)は、LED８１aの点灯時に、タイミング制御部８２からの制御にしたがって、LED８１aからの波長λ１の変調光が、位相０（０度）,π/2（90度）,π（180度）,3π/2（270度）それぞれのタイミングで照射されるときに受光される反射光の受光光量に応じた電荷を蓄積する。
【０２０８】
受光素子１０１nは、波長λ１の変調光が位相０で照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va1を、算出部１０２に供給する。
【０２０９】
また、受光素子１０１nは、波長λ１の変調光が位相π/2で照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va2を、算出部１０２に供給する。
【０２１０】
さらに、受光素子１０１nは、波長λ１の変調光が位相πで照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va3を、算出部１０２に供給する。
【０２１１】
また、受光素子１０１nは、波長λ１の変調光が位相3π/2で照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va4を、算出部１０２に供給する。
【０２１２】
算出部１０２は、受光素子１０１nからの電圧Va1に基づいて、波長λ１の変調光が位相０で照射されるときに受光される反射光の受光強度A1を算出する。
【０２１３】
また、同様にして、算出部１０２は、受光素子１０１nからの電圧Va2に基づいて、波長λ１の変調光が位相π/2で照射されるときに受光される反射光の受光強度A2を算出する。さらに、算出部１０２は、受光素子１０１nからの電圧Va3に基づいて、波長λ１の変調光が位相πで照射されるときに受光される反射光の受光強度A3を算出する。また、算出部１０２は、受光素子１０１nからの電圧Va4に基づいて、波長λ１の変調光が位相3π/2で照射されるときに受光される反射光の受光強度A4を算出する。
【０２１４】
算出部１０２は、反射光の受光強度A1乃至A4に基づいて、波長λ１の変調光と反射光との位相差φ、及び反射光の振幅aを、それぞれ算出する。
【０２１５】
なお、受光素子１０１nは、LED８１bの点灯時に、タイミング制御部８２からの制御にしたがって、LED８１bからの波長λ２の変調光が、位相０,π/2,π,3π/2それぞれのタイミングで照射されるときに受光される反射光に応じた電荷を蓄積する。
【０２１６】
そして、受光素子１０１nは、LED８１aの点灯時における場合と同様にして、電荷を蓄積して得られる各電圧Va1',Va2',Va3',Va4'を、算出部１０２に供給する。
【０２１７】
また、算出部１０２は、上述した場合と同様に、受光素子１０１nからの各電圧Va1',Va2',Va3',Va4'に基づいて、波長λ２の光を照射したときの反射光の受光強度A1'乃至A4'を算出する。そして、算出部１０２は、反射光の受光強度A1'乃至A4'に基づいて、波長λ２の変調光と反射光との位相差φ'、及び反射光の振幅a'を、それぞれ算出する。
【０２１８】
このように、LED８１aの点灯時と、LED８１bの点灯時とで同様の処理が行われるため、以下では、主に、LED８１aの点灯時における処理を説明する。
【０２１９】
[位相差φ及び振幅aの算出方法]
次に、図１３を参照して、算出部１０２が、LED８１aから波長λ１の変調光が照射されたときの反射光の受光強度A1乃至A4に基づいて、位相差φ及び振幅aを算出する場合の一例を説明する。
【０２２０】
図１３は、LED８１aからの照射光（波長λ１の変調光）と、受光素子１０１nで受光される反射光との一例を示している。
【０２２１】
図１３において、照射光は、関数g(t)=A×sin(ωt) + Bにより表される。また、図１３において、反射光は、関数f(t)=a×sin(ωt-φ) + bにより表される。
【０２２２】
なお、Aはg(t)の振幅を表し、ωは角速度を表す。aはf(t)の振幅を表し、φは関数g(t)と関数f(t)との位相差を表す。
【０２２３】
また、関数f(t)は、関数g(t)よりも、位相差φに対応するΔtだけ遅れている。このΔtは、往復飛行時間tdとなる。
【０２２４】
算出部１０２は、図１３に示されるように、照射光を表す関数g(t)の位相ωtが、それぞれ、0,π/2,π,3π/2である場合の反射光の受光強度f(t)を、受光強度A1乃至A4として、受光素子１０１nからの電圧Va1乃至Va4それぞれから算出する。
【０２２５】
算出部１０２は、算出した受光強度A1乃至A4に基づいて、次式（２）により、位相差φを算出する。なお、式（２）において、arctanは、tanの逆関数を表す。
φ = ωΔt = arctan[(A2-A0)/(A1-A3)] ・・・（２）
【０２２６】
算出部１０２は、算出した位相差φから、往復飛行時間tdとしてのΔt=φ/ω（φとωは既知）を算出する。また、算出部１０２は、算出したΔt(往復飛行時間td)と光の速さvとを乗算して、撮像装置６１と被写体２との間を往復した往復距離(Δt×v)を算出する。さらに、算出部１０２は、往復距離(Δt×v)を1/2として得られる距離{(Δt×v)/2}を、被写体２までの距離Dとして算出する。
【０２２７】
そして、算出部１０２は、算出した距離Dを画素値として有する距離画像Idを生成し、ゲーム機器３に出力する。
【０２２８】
また、算出部１０２は、算出した位相差φに応じて、例えば、次式（３）により、距離Dを算出するようにしてもよい。式（３）において、fmodは、波長λ１の変調光の周波数を表し、cは定数を表す。
D = cφ/４πfmod ・・・（３）
【０２２９】
なお、式（３）を用いて、距離Dを算出する算出方法は、「Thorsten Ringbeckほか著,A 3D TIME OF FLIGHT CAMERA FOR OBJECT DETECTION(8th Conference on. Optical 3-D Measurement Techniques 予稿),July 2007」に記載されている。
【０２３０】
また、算出部１０２は、算出した受光強度A1乃至A4に基づいて、次式（４）により、振幅aを算出する。
a = {√((A2-A0)2+(A1-A3)2)}/2 ・・・（４）
【０２３１】
算出部１０２は、算出した振幅aに応じた輝度値を有する輝度画像Iλ1を生成し、肌検出部２６に供給する。なお、この輝度画像Iλ1の輝度値は、LED８１aから、波長λ１の変調光が照射されているときに、被写体２からの反射光として受光する受光光量に対応する。
【０２３２】
また、算出部１０２において、LED８１bから、波長λ２の変調光が照射される場合において、受光素子１０１nから電圧Va1'乃至Va4'が供給されるときには、同様にして、受光強度A1'乃至A4'を算出する。そして、算出部１０２は、算出した受光強度A1'乃至A4'に基づいて、同様にして位相差φ'及び振幅a'を算出する。
【０２３３】
算出部１０２は、算出した位相差φ'に基づいて、距離画像Id'を算出し、振幅a'に基づいて、輝度画像Iλ1に代えて、輝度画像Iλ2を生成することとなる。なお、この輝度画像Iλ2の輝度値は、LED８１bから、波長λ２の変調光が照射されているときに、被写体２からの反射光として受光する受光光量に対応する。
【０２３４】
[出力タイミングの一例]
次に、図１４は、LED８１a及びLED８１bの照射タイミング、受光素子１０１nの受光タイミング、算出部１０２の算出タイミング、並びに肌検出部２６の肌検出タイミング等の一例を示している。
【０２３５】
LED８１a及びLED８１bは、図１４Aに示されるように、LED８１aの点灯、LED８１aの消灯、LED８１bの点灯、LED８１bの消灯、LED８１aの点灯、LED８１aの消灯…を繰り返す。
【０２３６】
すなわち、例えば、LED８１aは、予め決められた時間だけ点灯し続け、波長λ１の変調光を被写体２に照射する。その後、LED８１aは消灯する。LED８１aの消灯から、所定の時間の経過後に、LED８１bは、予め決められた時間だけ点灯し続け、波長λ１の変調光を被写体２に照射する。その後、LED８１bは消灯する。
【０２３７】
そして、LED８１bの消灯から、所定の時間の経過後に、LED８１aは、予め決められた時間だけ点灯し続け、波長λ１の変調光を被写体２に照射し、消灯する。このようにして、LED８１a及びLED８１bの点灯及び消灯が繰り返される。
【０２３８】
受光素子１０１nは、図１４Bに示されるように、LED８１aの点灯中(「正弦波変調光連続照射（λ１）」に対応)に、タイミング制御部８２からの制御にしたがって、波長λ１の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。受光素子１０１nは、反射光を受光して得られる電圧Va1,Va2,Va3,Va4を、算出部１０２に供給する。
【０２３９】
そして、算出部１０２は、受光素子１０１nからの電圧Va1,Va2,Va3,Va4に基づいて、図１４Bに示されるように、位相差φ及び振幅aの計算（算出）を行う。さらに、算出部１０２は、位相差φに基づいて、図１４Cに示されるような距離画像Id(1)を算出して、ゲーム機器３に出力する。
【０２４０】
また、算出部１０２は、振幅aに基づいて、図１４Dに示されるような輝度画像Iλ1(1)を算出して、肌検出部２６に出力する。
【０２４１】
なお、算出部１０２による位相差φ及び振幅aの計算と、距離画像Id(1)及び輝度画像Iλ1(1)の出力は、LED８１aの消灯中（「発光停止」に対応）に行われる。
【０２４２】
しかしながら、距離画像センサ８３が、電荷の蓄積と、位相差φ及び振幅aの計算とを並行して行える場合には、LED８１a及びLED８１bのいずれも消灯する発光停止期間を省略することができる。
【０２４３】
また、受光素子１０１nは、図１４Bに示されるように、LED８１bの点灯中（「正弦波変調光連続照射（λ２）」に対応）に、タイミング制御部８２からの制御にしたがって、波長λ２の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。受光素子１０１nは、反射光を受光して得られる電圧Va1',Va2',Va3',Va4'を、算出部１０２に供給する。
【０２４４】
そして、算出部１０２は、受光素子１０１nからの電圧Va1',Va2',Va3',Va4'に基づいて、図１４Bに示されるように、位相差φ'及び振幅a'の計算（算出）を行う。さらに、算出部１０２は、位相差φ'に基づいて、図１４Cに示されるような距離画像Id(2)を算出して、ゲーム機器３に出力する。
【０２４５】
また、算出部１０２は、振幅a'に基づいて、図１４Dに示されるような輝度画像Iλ2(2)を算出して、肌検出部２６に出力する。
【０２４６】
なお、算出部１０２による位相差φ'及び振幅a'の計算と、距離画像Id(2)及び輝度画像Iλ1(2)の出力は、LED８１aの消灯中（「発光停止」に対応）に行われる。
【０２４７】
肌検出部２６は、図１４Eに示されるように、算出部１０２から輝度画像Iλ1(1)及び輝度画像Iλ2(2)が供給されたことに対応して、算出部１０２からの輝度画像Iλ1(1)及び輝度画像Iλ2(2)に基づいて、２値化肌画像Is(1,2)を生成する。
【０２４８】
そして、肌検出部２６は、算出した２値化肌画像Is(1,2)に基づいて、被写体２の肌領域を検出し、ゲーム機器３に出力する。
【０２４９】
それ以降、同様にして、図１４Cに示されるように、距離画像Id(3)及びId(4)等が生成される。また、図１４Dに示されるように、輝度画像Iλ1(3)及び輝度画像Iλ2(4)等が生成される。そして、図１４Eに示されるように、生成された輝度画像Iλ1(3)及び輝度画像Iλ2(4)に基づいて、２値化肌画像Is(3,4)が生成される。
【０２５０】
なお、第２の実施の形態において、肌検出部２６は、図１４Eに示したように、例えば、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて肌画像Is(1,2)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて、肌画像Is(3,4)を生成するようにした。
【０２５１】
しかしながら、その他、例えば、肌検出部２６は、図１５Dに示されるように、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて肌画像Is(1,2)を生成し、輝度画像Iλ2(2)及び輝度画像Iλ1(3)を用いて肌画像Is(2,3)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて肌画像Is(3,4)を生成するようにしてもよい。なお、図１５A乃至図１５Dは、図１４A乃至図１４Dと同様である。
【０２５２】
図１５Eに示されるようにして肌画像Isを生成するようにした場合には、図１４Eに示されるような場合と比較して、２倍の速さで２値化肌画像Isを生成することが可能となる。
【０２５３】
[撮像装置６１の動作説明]
次に、図１６のフローチャートを参照して、撮像装置６１が行う第２のTOF計測処理について説明する。
【０２５４】
なお、この第２のTOF計測処理は、例えば、撮像装置６１の電源がオンされたときに開始される。
【０２５５】
ステップＳ５１において、LED８１aは、LEDドライバ２２からの制御にしたがって点灯し、波長λ１の変調光を照射する。なお、LED８１bは消灯されている。
【０２５６】
ステップＳ５２では、受光素子１０１nは、LED８１aの点灯中に、タイミング制御部８２からの制御にしたがって、LED８１aから照射される波長λ１の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。
【０２５７】
そして、受光素子１０１nは、波長λ１の変調光の位相が0,π/2,π，3π/2となるタイミングで、それぞれ受光した反射光の受光光量に応じて得られる電圧Va1乃至Va4を、算出部１０２に供給する。
【０２５８】
算出部１０２は、受光素子１０１nからの電圧Va1乃至Va4に基づいて、それぞれ、受光強度A1乃至A4を算出する。
【０２５９】
ステップＳ５３では、算出部１０２は、受光強度A1乃至A4に基づいて、式（２）により位相差φを、式（４）により振幅aを、それぞれ算出する。なお、ステップＳ５４において、LED８１aは、ステップＳ５１の処理で点灯したときから、所定の時間の経過後に消灯する。
【０２６０】
ステップＳ５５では、算出部１０２は、算出した位相差φに基づいて、Δt（=φ/ω)を、往復飛行時間tdとして算出する。
【０２６１】
ステップＳ５６では、算出部１０２は、算出した往復飛行時間tdに基づいて、距離D(=(td×v)/2)を算出する。そして、算出部４２は、距離Dを画素値として有する距離画像Idを生成し、ゲーム機器３に供給する。
【０２６２】
ステップＳ５７では、算出部１０２は、算出した振幅aに応じた輝度値を有する輝度画像Iλ1を生成し、肌検出部２６に供給する。
【０２６３】
ステップＳ５８では、LED８１bは、LEDドライバ２２からの制御にしたがって点灯し、波長λ２の変調光を照射する。なお、LED８１aは消灯されている。
【０２６４】
ステップＳ５９では、受光素子１０１nは、LED８１bの点灯中に、タイミング制御部８２からの制御にしたがって、LED８１bから照射される波長λ２の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。
【０２６５】
そして、受光素子１０１nは、波長λ２の変調光の位相が0,π/2,π，3π/2となるタイミングで、それぞれ受光した反射光の受光光量に応じて得られる電圧Va1'乃至Va4'を、算出部１０２に供給する。
【０２６６】
算出部１０２は、受光素子１０１nからの電圧Va1'乃至Va4'に基づいて、それぞれ、受光強度A1'乃至A4'を算出する。
【０２６７】
ステップＳ６０では、算出部１０２は、受光強度A1'乃至A4'に基づいて、式（２）により位相差φ'を、式（４）により振幅a'を、それぞれ算出する。なお、ステップＳ６１において、LED８１bは、ステップＳ５８の処理で点灯したときから、所定の時間の経過後に消灯する。
【０２６８】
ステップＳ６２では、算出部１０２は、算出した位相差φ'に基づいて、Δt'（=φ'/ω)を、往復飛行時間td'として算出する。
【０２６９】
ステップＳ６３では、算出部１０２は、算出した往復飛行時間td'に基づいて、距離D'(=(td'×v)/2)を算出する。そして、算出部４２は、距離D'を画素値として有する距離画像Id'を生成し、ゲーム機器３に供給する。
【０２７０】
ステップＳ６４では、算出部１０２は、算出した振幅a'に応じた輝度値を有する輝度画像Iλ2を生成し、肌検出部２６に供給する。
【０２７１】
ステップＳ６５では、肌検出部２６は、算出部１０２からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、肌検出処理を行い、その結果得られる肌領域を、ゲーム機器３に出力して、処理は、ステップＳ５１に戻り、それ以降、同様の処理が繰り返される。
【０２７２】
なお、この第２のTOF計測処理は、例えば、撮像装置６１の電源がオフされたときに終了される。
【０２７３】
以上説明したように、第２のTOF計測処理によれば、人間の分光反射特性に基づいて、被写体２の肌領域を表す２値化肌画像Isを算出するようにした。このため、被写体２を照らす照明の明るさに拘らず、被写体２の肌領域を精度良く検出することが可能となる。
【０２７４】
また、第２のTOF計測処理によれば、往復飛行時間tdに基づいて、距離画像Idの各画素毎に、ユーザまでの距離Dを算出するようにした。このため、例えば、被写体２の肌領域の大きさ等から、被写体２までの距離を算出する場合と比較して、より正確な距離Dを算出することが可能となる。
【０２７５】
ところで、撮像装置１（６１)の肌検出部２６では、図１７に示されるように、被写体２において、露出された肌部分（例えば、顔部分２a、右手部分２b、及び左手部分２c）を肌領域として検出している。そして、検出した肌領域を、ゲーム機器３に対して入力するようにしている。
【０２７６】
ゲーム機器３では、被写体２の肌部分として、顔部分２a、右手部分２b、及び左手部分２cの他、被写体２の足部分も用いることができることが望ましい。
【０２７７】
しかしながら、被写体２が靴下などを履いている場合には、撮像装置１において、被写体２の足部分を肌領域として検出することができない。
【０２７８】
この場合、被写体２は、自身の足部分に、人間の肌と同様の分光反射特性を有する擬似肌装着具１２１a及び１２１bを装着するようにして、撮像装置１の前で、ジェスチャ等を行うようにする。
【０２７９】
これにより、撮像装置１の肌検出部２６は、図１８に示されるような２値化肌画像Isを生成することができるようになる。このため、撮像装置１の肌検出部２６は、顔部分（首を含む）２a、右手部分２b、及び左手部分２cの他、擬似肌装着具１２１a及び１２１bを、被写体２の肌領域（図１８の黒色で示される部分）として検出できるようになる。なお、図１８に示されるような２値化肌画像Isは、撮像装置１が、被写体２を正面から撮像したとき（例えば、図１７に示される被写体２を、図１７の図面の法線方向から撮像したとき）に生成される２値化肌画像である。
【０２８０】
なお、擬似肌装着具１２１a及び１２１bは、波長λ１及びλ２における分光反射特性が、少なくとも人間の肌と同様であればよく、それ以外の波長については、人間の肌と異なるものであってもよい。
【０２８１】
また、擬似装着具１２１a及び１２１bは、足部分の他、異なる部位に装着させることができる。擬似装着具を、被写体２の各部位のうち、検出したい部位に装着させるようにすれば、肌が露出していなくても、所望の部位を検出できるようになる。
【０２８２】
なお、擬似肌装着具１２１a及び１２１bは、装着を想定される部位に応じて様々な形状とされる。具体的には、例えば、足首等に装着させることを想定して、バンド（輪）のような形状とされたり、頭に装着させることを想定して、帽子のような形状とされる。また、擬似肌装着具は、シールとして、被写体２の部位に貼ることができるようにしてもよい。
【０２８３】
＜３．変形例＞
第１及び第２の実施の形態では、肌検出部２６は、検出した肌領域（を表す情報）を、ゲーム機器３に出力するようにしているが、その他、例えば、肌領域に代えて、２値化肌画像Isを出力するようにしてもよい。
【０２８４】
また、例えば、肌検出部２６は、ゲーム機器３を出力先として、肌領域等を出力するようにしているが、出力先の対象機器としては、ゲーム機器３に限定されず、その他、例えば、テレビジョン受像機などのAV機器を採用することができる。
【０２８５】
撮像装置１又は６１が接続されたAV機器において、被写体２が、メニュー画面から所定の項目をポインタ等で選択するジェスチャ操作等を行う場合には、肌領域等に代えて、２値化肌画像Isから計算された指先等の特徴点の座標情報を、出力するようにしてもよい。
【０２８６】
この場合、肌検出部２６は、生成した２値化肌画像Is上の肌領域に基づいて、被写体２の指先等の特徴点を検出する処理等を行うこととなる。さらに、肌検出部２６は、肌領域とともに、検出した特徴点の座標情報を出力するようにしてもよい。
【０２８７】
また、撮像装置１又は６１は、携帯電話機等の、比較的小型の電子機器等に内蔵させることができる。この場合、電子機器では、内蔵の撮像装置１又は６１から出力される情報に基づいて、各種の制御が行われることとなるので、電子機器を、ジェスチャやポスチャ等により操作できるようになる。
【０２８８】
ところで、第２の実施の形態では、LED８１a及びLED８１bは、それぞれ、LEDドライバ２２からの制御にしたがって、正弦波とされた変調光を照射するようにした。
【０２８９】
しかしながら、その他、例えば、撮像装置６１に、LEDから照射される光として、所定の波を発生させ、発生させた波を正弦波に変調（変換）する変調部を設けるようにすることができる。
【０２９０】
この場合、例えば、変調部は、所定の間隔毎にHighとLowを交互に繰り返す矩形波を発生させる。また、変調部は、発生させた矩形波をLPF(low pass filter)によりなまらせるようにして正弦波に変調（変換）する。そして、LED８１a及びLED８１bは、それぞれ、変調部により正弦波とされた光を、変調光として照射することとなる。
【０２９１】
なお、撮像装置６１には、LED８１a及びLED８１b用として１個の変調部を設ける他、LED８１a用とLED８１b用とで別々の変調部を設けるようにしてもよい。
【０２９２】
また、例えば、矩形波をLPFによりなまらせるようにして得られる波形は、実際には、完全な正弦波にならず、正弦波に近い波形（基本波に対して若干の高調波を含んだような波形）となることが多い。
【０２９３】
したがって、LED８１a及びLED８１bから照射される変調光の波形は、完全な正弦波に限定されず、正弦波に近い波形なども含むものとなる。すなわち、例えば、LED８１a及びLED８１bから照射される変調光の波形は、所定の周期で光の強度が変化するものであれば、どのような波形であってもよい。
【０２９４】
なお、本技術は以下のような構成もとることができる。
（１）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部と、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部とを含む撮像装置。
（２）前記受光部は、予め決められた受光期間毎に、前記被写体からの反射光を受光するものであり、前記第１の照射部による点灯と消灯が所定間隔毎に交互に繰り返される第１の前記受光期間において、前記第１の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光を受光する第１のセルと、前記第１の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光を受光する第２のセルとを有し、前記往復時間算出部は、前記第１のセルで前記第１の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第１の受光期間内に受光された前記反射光の受光光量に基づいて、前記第１の往復時間を算出する前記（１）に記載の撮像装置。
（３）前記第１のセルは、前記第１の照射部及び前記第２の照射部が消灯される第２の前記受光期間において、前記第２の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルは、前記第２の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記往復時間算出部は、前記第１のセルで前記第２の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第２の受光期間内に受光された前記反射光の受光光量にも基づいて、前記第１の往復時間を算出する前記（２）に記載の撮像装置。
（４）前記第１のセルは、前記第２の照射部による点灯と消灯が所定間隔毎に交互に繰り返される前記第３の受光期間において、前記第３の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルは、前記第３の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記肌検出部は、前記第１のセル及び前記第２のセルで前記第１の受光期間内に受光された前記反射光により生成される前記第１の画像と、前記第１のセル及び前記第２のセルで前記第３の受光期間内に受光された前記反射光により生成される前記第２の画像に基づいて、前記肌領域を検出する前記（２）に記載の撮像装置。
（５）前記第１の波長の光及び前記第２の波長の光は、それぞれ、所定の周期で光の強度が変化する光であり、前記受光部は、予め決められたタイミングで前記被写体からの反射光を受光し、前記第１の波長の光の照射中に前記タイミングで受光された前記反射光の受光光量に基づいて、前記タイミングにおける前記反射光の受光強度を算出する強度算出部と、前記反射光の受光強度に基づいて、前記第１の波長の光と前記反射光との位相差を算出する位相差算出部とをさらに含み、前記往復時間算出部は、前記位相差に基づいて、前記第１の往復時間を算出する前記（１）に記載の撮像装置。
（６）前記肌検出部は、前記第１の波長の光の照射中に受光された前記反射光の振幅から生成される前記第１の画像と、前記第２の波長の光の照射中に受光された前記反射光の振幅から生成される前記第２の画像に基づいて、前記肌領域を検出する前記（５）に記載の撮像装置。
（７）前記往復時間算出部は、前記第２の波長の光が前記被写体に照射されたときから前記被写体からの反射光として受光されるまでの第２の往復時間も算出し、
前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記被写体までの距離を算出する前記（１）に記載の撮像装置。
（８）前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記第１の往復時間に基づき算出される第１の距離と、前記第２の往復時間に基づき算出される第２の距離との平均を、前記被写体までの距離として算出する前記（７）に記載の撮像装置。
（９）前記距離算出部は、複数の前記受光部毎に算出される前記第１の往復時間に基づいて、前記被写体までの距離を、前記複数の受光部にそれぞれ対応する各画素毎に算出する前記（１）乃至（６）に記載の撮像装置。
（１０）前記受光部は、少なくとも前記第１及び第２の波長について人間の肌と類似する分光反射特性を有する擬似肌装着具を装着した前記被写体からの反射光を受光する前記（１）乃至（６）に記載の撮像装置。
（１１）前記第１の波長又は前記第２の波長のうち、一方の波長λ１と他方の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす前記（１）乃至（６）に記載の撮像装置。
（１２）前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、前記第２の照射部は、前記第２の波長λ２の不可視光を照射する前記（１１）に記載の撮像装置。
（１３）前記受光部に入射される可視光を遮断する可視光カットフィルタをさらに含む前記（１）乃至（６）に記載の撮像装置。
【０２９５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２９６】
[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【０２９７】
CPU（Central Processing Unit）１４１は、ROM（Read Only Memory）１４２、又は記憶部１４８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１４３には、CPU１４１が実行するプログラムやデータ等が適宜記憶される。これらのCPU１４１、ROM１４２、及びRAM１４３は、バス１４４により相互に接続されている。
【０２９８】
CPU１４１にはまた、バス１４４を介して入出力インタフェース１４５が接続されている。入出力インタフェース１４５には、キーボード、マウス、マイクロホン等よりなる入力部１４６、ディスプレイ、スピーカ等よりなる出力部１４７が接続されている。CPU１４１は、入力部１４６から入力される指令に対応して各種の処理を実行する。そして、CPU１４１は、処理の結果を出力部１４７に出力する。
【０２９９】
入出力インタフェース１４５に接続されている記憶部１４８は、例えばハードディスクからなり、CPU１４１が実行するプログラムや各種のデータを記憶する。通信部１４９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０３００】
また、通信部１４９を介してプログラムを取得し、記憶部１４８に記憶してもよい。
【０３０１】
入出力インタフェース１４５に接続されているドライブ１５０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア１５１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部１４８に転送され、記憶される。
【０３０２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア１５１、又は、プログラムが一時的もしくは永続的に格納されるROM１４２や、記憶部１４８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部１４９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０３０３】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０４】
また、本開示における実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３０５】
１ 撮像装置， ２１a,２１b LED， ２２ LEDドライバ， ２３ タイミング制御部， ２４ レンズ， ２５ 距離画像センサ， ２６ 肌検出部， ４１1乃至４１N 受光素子， ４１a1乃至４１aN,４１b1乃至４１bN セル， ４２ 算出部， ６１ 撮像装置， ８１a,８１b LED， ８２ タイミング制御部， ８３ 距離画像センサ， １０１1乃至１０１N 受光素子， １０２ 算出部， １２１a，１２１b 擬似肌装着具
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、及びプログラムに関し、特に、例えば、撮像により、被写体までの距離とともに、被写体の撮像により得られる撮像画像上の肌領域を精度良く算出できるようにした撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
予め決められた撮像範囲を撮像することにより、その撮像範囲内の被写体までの距離を画素値として有する距離画像を生成する距離画像カメラが存在する。
【０００３】
また、例えば、距離画像カメラから出力される距離画像を用いて、撮像範囲内に被写体として存在するユーザのジェスチャ（動作）やポスチャ(姿勢)を検出する検出技術が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２７７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述の検出技術において、ジェスチャやポスチャをより正確に検出するためには、ユーザまでの距離の他、画像上のユーザの顔や手等を表す肌領域にも基づいて、ユーザのジェスチャやポスチャ等の検出を行なうことが望ましい。
【０００６】
しかしながら、上述の距離画像カメラでは、被写体までの距離を、距離画像として算出（生成）できるものの、被写体の肌領域を算出することはできない。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、被写体までの距離とともに、被写体の肌領域を精度良く算出できるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の撮像装置は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部と、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部とを含む撮像装置である。
【０００９】
前記受光部は、予め決められた受光期間毎に、前記被写体からの反射光を受光するものであり、前記第１の照射部による点灯と消灯が所定間隔毎に交互に繰り返される第１の前記受光期間において、前記第１の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光を受光する第１のセルと、前記第１の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光を受光する第２のセルとを有し、前記往復時間算出部では、前記第１のセルで前記第１の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第１の受光期間内に受光された前記反射光の受光光量に基づいて、前記第１の往復時間を算出することができる。
【００１０】
前記第１のセルでは、前記第１の照射部及び前記第２の照射部が消灯される第２の前記受光期間において、前記第２の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルでは、前記第２の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記往復時間算出部では、前記第１のセルで前記第２の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第２の受光期間内に受光された前記反射光の受光光量にも基づいて、前記第１の往復時間を算出することができる。
【００１１】
前記第１のセルでは、前記第２の照射部による点灯と消灯が所定間隔毎に交互に繰り返される前記第３の受光期間において、前記第３の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルでは、前記第３の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記肌検出部では、前記第１のセル及び前記第２のセルで前記第１の受光期間内に受光された前記反射光により生成される前記第１の画像と、前記第１のセル及び前記第２のセルで前記第３の受光期間内に受光された前記反射光により生成される前記第２の画像に基づいて、前記肌領域を検出することができる。
【００１２】
前記第１の波長の光及び前記第２の波長の光は、それぞれ、所定の周期で光の強度が変化する光であり、前記受光部では、予め決められたタイミングで前記被写体からの反射光を受光し、前記第１の波長の光の照射中に前記タイミングで受光された前記反射光の受光光量に基づいて、前記タイミングにおける前記反射光の受光強度を算出する強度算出部と、前記反射光の受光強度に基づいて、前記第１の波長の光と前記反射光との位相差を算出する位相差算出部とをさらに設けることができ、前記往復時間算出部では、前記位相差に基づいて、前記第１の往復時間を算出することができる。
【００１３】
前記肌検出部では、前記第１の波長の光の照射中に受光された前記反射光の振幅から生成される前記第１の画像と、前記第２の波長の光の照射中に受光された前記反射光の振幅から生成される前記第２の画像に基づいて、前記肌領域を検出することができる。
【００１４】
前記往復時間算出部では、前記第２の波長の光が前記被写体に照射されたときから前記被写体からの反射光として受光されるまでの第２の往復時間も算出し、前記距離算出部では、前記第１の往復時間及び前記第２の往復時間に基づいて、前記被写体までの距離を算出することができる。
【００１５】
前記距離算出部では、前記第１の往復時間及び前記第２の往復時間に基づいて、前記第１の往復時間に基づき算出される第１の距離と、前記第２の往復時間に基づき算出される第２の距離との平均を、前記被写体までの距離として算出することができる。
【００１６】
前記距離算出部では、複数の前記受光部毎に算出される前記第１の往復時間に基づいて、前記被写体までの距離を、前記複数の受光部にそれぞれ対応する各画素毎に算出することができる。
【００１７】
前記受光部では、少なくとも前記第１及び第２の波長について人間の肌と類似する分光反射特性を有する擬似肌装着具を装着した前記被写体からの反射光を受光することができる。
【００１８】
前記第１の波長又は前記第２の波長のうち、一方の波長λ１と他方の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たすようにすることができる。
【００１９】
前記第１の照射部では、前記第１の波長λ１の不可視光を照射し、前記第２の照射部では、前記第２の波長λ２の不可視光を照射することができる。
【００２０】
前記受光部に入射される可視光を遮断する可視光カットフィルタをさらに設けることができる。
【００２１】
本開示の一側面の撮像方法は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置の撮像方法であって、前記撮像装置による、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出ステップと、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出ステップと、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出ステップとを含む撮像方法である。
【００２２】
本開示の一側面のプログラムは、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置のコンピュータを、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部として機能させるためのプログラムである。
【００２３】
本開示によれば、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域が検出され、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間が算出され、前記第１の往復時間に基づいて、前記被写体までの距離が算出される。
【発明の効果】
【００２４】
本開示によれば、被写体までの距離とともに、被写体の肌領域を精度良く算出することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施の形態である撮像装置の構成例を示すブロック図である。
【図２】距離画像センサの詳細な構成例を示すブロック図である。
【図３】計測期間における処理の一例を示す図である。
【図４】距離画像センサ及び肌検出部による出力タイミングの一例を示す図である。
【図５】距離画像センサ及び肌検出部による出力タイミングの他の一例を示す図である。
【図６】人間の肌に対する分光反射特性を示す図である。
【図７】図１の撮像装置が行う第１のTOF計測処理を説明するためのフローチャートである。
【図８】図７のステップＳ１９における肌検出処理を説明するためのフローチャートである。
【図９】計測期間における処理の他の一例を示す図である。
【図１０】距離画像センサ及び肌検出部による出力タイミングのさらに他の一例を示す図である。
【図１１】第２の実施の形態である撮像装置の構成例を示すブロック図である。
【図１２】図１１の距離画像センサの詳細な構成例を示すブロック図である。
【図１３】位相差及び振幅を算出する算出方法の一例を示す図である。
【図１４】LEDの発光タイミング等の一例を示す図である。
【図１５】LEDの発光タイミング等の他の一例を示す図である。
【図１６】図１１の撮像装置が行う第２のTOF計測処理を説明するためのフローチャートである。
【図１７】被写体が、擬似肌装着具を装着する場合の一例を示す図である。
【図１８】２値化肌画像の一例を示す図である。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（時間差を用いて、往復飛行時間を算出するときの一例）
２．第２の実施の形態（位相差を用いて、往復飛行時間を算出するときの一例）
３．変形例
【００２７】
＜１．第１の実施の形態＞
[撮像装置１の構成例]
図１は、第１の実施の形態である撮像装置１の構成例を示している。
【００２８】
なお、この撮像装置１は、人間などの被写体２を対象として撮像を行い、その撮像により、距離画像Id、輝度画像Iλ1、及び輝度画像Iλ2を生成するものである。
【００２９】
そして、撮像装置１は、生成した輝度画像Iλ1及び輝度画像Iλ2から、２値化肌画像Isを生成し、距離画像Idとともに、例えばゲーム機器３に供給するものである。
【００３０】
ここで、距離画像Idとは、被写体２を撮像して得られる画像であり、距離画像Idを構成する各画素毎に、対応する被写体２（画素に表示される被写体２）までの距離を画素値として有する画像をいう。
【００３１】
また、２値化肌画像Isとは、被写体２の肌を表す肌領域と、肌領域とは異なる非肌領域からなる画像をいう。
【００３２】
ゲーム機器３は、２値化肌画像Isを用いて、被写体２の手等を検出し、距離画像Idを用いて、検出した被写体２の手までの距離を算出する。そして、ゲーム機器３は、算出した被写体２の手までの距離に応じた表示を、図示せぬモニタに表示させる。
【００３３】
撮像装置１は、LED(light-emitting diode)２１a、LED２１b、LEDドライバ２２、タイミング制御部２３、レンズ２４、距離画像センサ２５、及び肌検出部２６から構成される。
【００３４】
LED２１aは、LEDドライバ２２からの制御にしたがって、点灯又は消灯する。すなわち、LED２１aは、LEDドライバ２２からの制御にしたがって、波長λ１の光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の光の照射を停止する。
【００３５】
具体的には、例えば、LED２１aは、LEDドライバ２２からの制御にしたがって、所定間隔t0毎に、照射と照射の停止を交互に繰り返すパルス発光を行う。
【００３６】
LED２１bは、LEDドライバ２２からの制御にしたがって、点灯又は消灯する。すなわち、LED２１bは、LEDドライバ２２からの制御にしたがって、波長λ１よりも長波長である波長λ２の光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の光の照射を停止する。
【００３７】
具体的には、例えば、LED２１bは、LEDドライバ２２からの制御にしたがって、LED２１aと同様のパルス発光を行う。
【００３８】
なお、LED２１a及びLED２１bは、少なくとも、撮像装置１（距離画像センサ２５）の撮像範囲に対して、照射光を照射する。
【００３９】
また、LED２１aの個数、及びLED２１bの個数は、それぞれ、１個に限定されず、必要に応じて複数個とされる。すなわち、LED２１aの個数、及びLED２１bの個数は、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、距離画像センサ２５の撮像により得られる輝度画像の対応する画素どうしの輝度値が同一となる個数とされている。
【００４０】
波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。なお、分光反射特性については、図６を参照して詳述する。
【００４１】
LEDドライバ２２は、タイミング制御部２３からの照射パルス信号に基づいて、LED２１a及びLED２１bを制御し、LED２１aやLED２１bの消灯及び点灯を制御する。ここで、照射パルス信号とは、LED２１aやLED２１bの照射タイミングを表す。なお、点灯及び消灯のタイミングは、図３を参照して詳述する。
【００４２】
タイミング制御部２３は、照射パルス信号を生成し、LEDドライバ２２に供給する。また、タイミング制御部２３は、距離画像センサ２５において電荷を蓄積するタイミングを表す蓄積パルス信号を生成し、距離画像センサ２５に供給する。
【００４３】
レンズ２４は、被写体２からの反射光を集光し、集光した反射光を、距離画像センサ２５の受光面に入射させる。
【００４４】
距離画像センサ２５の前面には、レンズ２４が設けられている。距離画像センサ２５は、タイミング制御部２３からの蓄積パルス信号にしたがって、被写体２からの反射光を受光して電荷を蓄積する。
【００４５】
距離画像センサ２５は、レンズ２４を介して入射される反射光に基づいて、距離画像Idを生成し、例えば、ゲーム機器３等に供給する。
【００４６】
また、距離画像センサ２５は、レンズ２４を介して入射される反射光に基づいて、輝度画像Iλ1及び輝度画像Iλ2を生成し、肌検出部２６に供給する。
【００４７】
ここで、距離画像センサ２５の前面には、レンズ２４の他、可視光をカット（遮断）する可視光カットフィルタを設けるように構成することができる。これにより、可視光等の外光により、被写体２までの距離や肌検出の精度が低下する事態を防止できる。
【００４８】
なお、距離画像センサ２５は、後述する図２を参照して詳述する。
【００４９】
肌検出部２６は、距離画像センサ２５からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、２値化肌画像Isを生成し、生成した２値化肌画像Isから肌領域を検出する。そして、肌検出部２６は、検出した肌領域（を表す情報）を、例えばゲーム機器３に供給する。なお、肌検出部２６における２値化肌画像Isの生成方法は、図６を参照して詳述する。
【００５０】
[距離画像センサ２５の詳細]
次に、図２は、距離画像センサ２５の詳細な構成例を示している。
【００５１】
この距離画像センサ２５は、距離画像センサ２５の表面に設けられた受光素子４１1乃至４１N、及び算出部４２から構成される。
【００５２】
受光素子４１n(n=1,2,…,N)は、セル４１an及びセル４１bnにより構成されている。セル４１anは、LED２１a又はLED２１bのパルス発光が行われるパルス発光期間に、タイミング制御部２３からの蓄積パルス信号に基づいて、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V1を、算出部４２に供給する。
【００５３】
また、セル４１anは、LED２１a及びLED２１bが消灯される発光停止期間に、タイミング制御部２３からの蓄積パルス信号にしたがって、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V1'を、算出部４２に供給する。
【００５４】
セル４１bnは、パルス発光期間に、タイミング制御部２３からの蓄積パルス信号にしたがって、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V2を、算出部４２に供給する。
【００５５】
また、セル４１bnは、発光停止期間に、タイミング制御部２３からの蓄積パルス信号にしたがって、レンズ２４を介して入射される反射光を受光して電荷を蓄積し、蓄積した電荷(反射光の受光光量)に応じた電圧V2'を、算出部４２に供給する。
【００５６】
なお、受光素子４１nは、距離画像Id、輝度画像Iλ1、輝度画像Iλ2それぞれの各画素の画素値を生成するためのものであり、従って、受光素子４１nの総数が、距離画像Id、輝度画像Iλ1、輝度画像Iλ2それぞれの画素の総数となる。
【００５７】
算出部４２は、受光素子４１nからの電圧V1,V2,V1'及びV2'に基づいて、受光素子４１nに対応する、距離画像Id上の画素の画素値を算出する。
【００５８】
すなわち、例えば、算出部４２は、受光素子４１nからの電圧V1及びV2を用いて、パルス発光期間においてセル４１an及びセル４１bｎから得られる電圧の合計（加算値）を表す電圧A(=V1+V2)を算出する。なお、電圧Aは、被写体２に照射される光のうち、LED２１a及びLED２１bからの照射光以外の外光の成分（以下、外光成分という）と暗電流成分とを含むものである。
【００５９】
また、算出部４２は、受光素子４１nからの電圧V1'及びV2'を用いて、発光停止期間においてセル４１an及びセル４１bｎから得られる電圧の合計を表す電圧B(=V1'+V2')を算出する。なお、電圧Bは、外光成分と暗電流成分に対応する電圧である。
【００６０】
さらに、算出部４２は、受光素子４１nからの電圧V1及びV1'を用いて、電圧C(=V1-V1')を算出する。なお、電圧Cは、外光成分及び暗電流成分を含む電圧V1から、外光成分及び暗電流成分に対応する電圧V1'を減算して得られる電圧である。したがって、電圧Cは、外光成分及び暗電流成分が除去された電圧といえる。
【００６１】
また、算出部４２は、受光素子４１nからの電圧V2及びV2'を用いて、電圧D(=V2-V2')を算出する。なお、電圧Dは、外光成分及び暗電流成分を含む電圧V2から、外光成分及び暗電流成分に対応する電圧V2'を減算して得られる電圧である。したがって、電圧Dは、外光成分及び暗電流成分が除去された電圧といえる。
【００６２】
さらに、算出部４２は、算出した電圧A及びBを用いて、電圧E(=A-B)を算出する。なお、電圧Eは、外光成分と暗電流成分とを含む電圧Aから、外光成分及び暗電流成分に対応する電圧Bを減算して得られる電圧である。したがって、電圧Eは、外光成分及び暗電流成分が除去された電圧といえる。
【００６３】
算出部４２は、算出した電圧C,D,E、及び所定時間t0から、次式（１）を用いて、LED２１a又はLED２１bから照射された照射光の往復飛行時間tdを算出する。
td = (t0/2) × [1+{(D-C)/E}] ・・・（１）
【００６４】
ここで、往復飛行時間tdとは、撮像装置１から照射光が照射されたときから、被写体１に反射して撮像装置１に戻ってくるまでの飛行時間をいう。より具体的には、往復飛行時間tdとは、照射光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【００６５】
算出部４２は、往復飛行時間tdの算出に悪影響を及ぼす外光成分及び暗電流成分が除去された電圧C,D,Eを用いるようにして、往復飛行時間tdを算出するようにしているので、比較的、正確な往復飛行時間tdを算出することが可能となる。
【００６６】
なお、算出部４２は、外光成分及び暗電流成分が無視できる程に小さい場合には、電圧C,D,Eに代えて、電圧C'(=V1),D'(=V2),E'(=V1+V2=A)を用いるようにして、往復飛行時間tdを算出してもよい。
【００６７】
この場合、電圧V1'及びV2'を得るために必要な発行停止期間Toffを省略できるようになるので、より迅速に往復飛行時間tdを算出できるようになる。
【００６８】
算出部４２は、往復飛行時間tdと光の速さvとを乗算して、撮像装置１と被写体２との間を往復した往復距離(td×v)を算出し、往復距離(td×v)を1/2にして得られる距離{(td×v)/2}を、被写体２までの距離Dとして算出する。
【００６９】
これにより、算出部４２は、距離Dを、受光素子４１nに対応する、距離画像Id上の画素の画素値として算出する。
【００７０】
また、算出部４２は、算出した電圧Eに応じた輝度値（外光成分及び暗電流成分が除去された輝度値）を、例えば０乃至２５５までの値とされる輝度値にスケーリング（階調化）し、スケーリング後の輝度値の輝度画像Iλ1（又はIλ2）を生成し、肌検出部２６に供給する。したがって、肌検出部２６は、外光成分及び暗電流成分が除去された輝度画像Iλ1及びIλ2に基づいて、肌領域を検出することとなるため、比較的正確に肌領域を検出することが可能となる。
【００７１】
なお、輝度画像Iλ1の輝度値は、パルス発光期間Tλ1（図３）で受光素子４１n（セル４１an及び４１bn）により受光された反射光の受光光量（電圧Aに対応）から、パルス発光期間Tλ1の次の発光停止期間Toff（図３）で受光素子４１nにより受光された反射光の受光光量（電圧Bに対応）を減算して得られる受光光量（電圧Eに対応）に対応するものとなる。このことは、輝度画像Iλ2の輝度値についても同様である。
【００７２】
また、電圧C',D',E'を用いるようにして、往復飛行時間tdを算出する場合、算出部４２は、電圧E'(=A)に応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ1又はIλ2を生成することとなる。
【００７３】
この場合、輝度画像Iλ1の輝度値は、パルス発光期間Tλ1で受光素子４１nにより受光された反射光の受光光量（電圧Aに対応）に対応するものとなる。このことは、輝度画像Iλ2の輝度値についても同様である。
【００７４】
[照射等のタイミングについて]
次に、図３は、距離画像Id等を計測（生成）する計測期間における処理の一例を示している。
【００７５】
計測期間T1は、図３に示されるように、パルス発光期間Tλ1及び発光停止期間Toffからなる。計測期間T1では、距離画像Id及び輝度画像Iλ1の計測（生成）が行われる。
【００７６】
すなわち、例えば、計測期間T1のパルス発光期間Tλ1では、LED２１aは、LEDドライバ２２からの制御にしたがって、パルス発光を行う。いまの場合、LEDドライバ２２は、図３A上側に示されるような、タイミング制御部２３からの照射パルス信号にしたがって、LED２１aにパルス発光を行わせる。
【００７７】
具体的には、例えば、LED２１aは、計測期間T1のパルス発光期間Tλ1において、時刻ts1から時刻ts1'までの受光期間内に、予め決められた所定間隔（パルス幅）t0で照射（照射パルス信号においてHとされる期間で点灯）、及び照射の停止（照射パルス信号においてLとされる期間で消灯）を交互に繰り返す。なお、受光期間とは、受光素子４１nにおいて、被写体２からの反射光を受光する期間をいう。また、受光期間は、図３Dに示されるように、リセット信号に立ち上がりエッジが生じたとき（例えば、時刻ts1）から、読み出し信号に立ち上がりエッジが生じるまで（例えば、時刻ts1'まで）の期間とされる。
【００７８】
ここで、照射パルス信号の周波数（１秒間に生じるパルスの個数）は、MHz以上とされる。しかしながら、図３では、図面が煩雑になるのを避けるために、例えば、パルス発光期間Tλ1における照射パルス信号のパルスの個数を４個として記載するようにしている。このことは、後述する図面についても同様である。
【００７９】
なお、計測期間T1のパルス発光期間Tλ1において、LED２１bは、LEDドライバ２２からの制御にしたがって消灯する。いまの場合、LEDドライバ２２は、図３A下側に示されるような、タイミング制御部２３からの照射パルス信号（パルス発光期間Tλ1においてLとされる信号）にしたがって、LED２１aを消灯させる。
【００８０】
パルス発光期間Tλ1において、受光素子４１n(セル４１an及び４１bn)は、図３Bに示されるように、時刻ts1から往復飛行時間tdが経過したときに、LED２１aから照射された波長λ１の光を、被写体２からの反射光として受光する。
【００８１】
パルス発光期間Tλ1では、LED２１aから波長λ1の光が照射される。したがって、パルス発光期間Tλ1において、往復飛行時間tdとは、LED２１aから、波長λ１の光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【００８２】
なお、受光素子４１nは、上述のように、セル４１an及び４１bnにより構成されている。
【００８３】
したがって、セル４１anは、図３C上側に示されるような、タイミング制御部２３からの蓄積パルス信号にしたがって、時刻ts1から時刻ts1'までの受光期間内に、所定間隔t0で露光（蓄積パルス信号がHとされる期間）及び非露光（蓄積パルス信号がLとされる期間）を交互に繰り返す。すなわち、例えば、セル４１anは、時刻ts1から時刻ts1'までの受光期間を構成する複数の所定間隔t0のうち、奇数番目の所定間隔t0において露光を行う。
【００８４】
ここで、露光とは、反射光を受光し、受光した反射光の受光光量に応じた電荷を蓄積することを表す。また、非露光とは、反射光の受光光量に拘らず、電荷の蓄積を行わないことを表す。
【００８５】
なお、パルス発光期間Tλ1において、セル４１anを制御するための蓄積パルス信号（図３C上側）と、LEDドライバ２２を介してLED２１aを制御するための照射パルス信号（図３A上側）とは、同相とされる。
【００８６】
また、セル４１bnは、図３C下側に示されるような、タイミング制御部２３からの蓄積パルス信号にしたがって、時刻ts1から時刻ts1'までの受光期間内に、所定間隔t0で非露光（蓄積パルス信号がLとされる期間）及び露光（蓄積パルス信号がHとされる期間）を交互に繰り返す。すなわち、例えば、セル４１bnは、時刻ts1から時刻ts1'までの受光期間を構成する複数の所定間隔t0のうち、偶数番目の所定間隔t0において露光を行う。
【００８７】
なお、パルス発光期間Tλ1において、セル４１bnを制御するための蓄積パルス信号（図３C下側）と、LEDドライバ２２を介してLED２１aを制御するための照射パルス信号（図３A上側）とは、逆相とされる。
【００８８】
そして、セル４１anは、パルス発光期間Tλ1において、図３D上側に示されるように、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミング（時刻ts1'）で、パルス発光期間Iλ1においてセル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1を、算出部４２に出力する。
【００８９】
また、セル４１bnは、パルス発光期間Tλ1において、図３D上側に示されるように、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミング（時刻ts1'）で、パルス発光期間Iλ1においてセル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2を、算出部４２に出力する。
【００９０】
セル４１an及びセル４１bnでは、パルス発光期間Tλ1の次の発光停止期間Toffにおいて、図３D下側に示されるように、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、パルス発光期間Iλ1においてセル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。なお、電荷量は、受光される反射光の受光光量に対応する量である。
【００９１】
次に、計測期間T1の発光停止期間Toffでは、LED２１a及びLED２１bは、LEDドライバ２２からの制御にしたがって消灯する。いまの場合、LEDドライバ２２は、図３A上側及び下側に示されるような、タイミング制御部２３からの照射パルス信号（発光停止期間ToffにおいてLとされる信号）にしたがって、LED２１a及びLED２１bを消灯させる。
【００９２】
計測期間T1の発光停止期間Toffにおいて、セル４１anは、図３C上側に示されるような蓄積パルス信号にしたがって、パルス発光期間Iλ1の場合と同様にして、時刻ts2から時刻ts2'までの受光期間内に、所定間隔t0で露光及び非露光を交互に繰り返す。すなわち、例えば、セル４１anは、時刻ts2から時刻ts2'までの受光期間を構成する複数の所定間隔t0のうち、奇数番目の所定間隔t0において露光を行う。
【００９３】
また、セル４１bnは、図３C下側に示されるような蓄積パルス信号にしたがって、パルス発光期間Iλ1の場合と同様にして、時刻ts2から時刻ts2'までの受光期間内に、所定間隔t0で非露光及び露光を交互に繰り返す。すなわち、例えば、セル４１bnは、時刻ts2から時刻ts2'までの受光期間を構成する複数の所定間隔t0のうち、偶数番目の所定間隔t0において露光を行う。
【００９４】
なお、発光停止期間Toffにおいて、LED２１a及びLED２１bは消灯しているため、セル４１an及びセル４１bnは、図３Bに示されるように、LED２１a及びLED２１bからの照射光を、被写体２からの反射光として受光することはない。つまり、発光停止期間Toffにおいて、セル４１an及びセル４１bnは、LED２１a及びLED２１bからの照射光以外の外光を、被写体２からの反射光として受光することとなる。
【００９５】
そして、セル４１anは、計測期間T1の発光停止期間Toffのうち、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、発光停止期間Toffにおいてセル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1'を、算出部４２に出力する。
【００９６】
また、セル４１bnは、計測期間T1の発光停止期間Toffのうち、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、発光停止期間Toffにおいてセル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2'を、算出部４２に出力する。
【００９７】
セル４１an及びセル４１bnでは、発光停止期間Toffの次のパルス発光期間Iλ2のうち、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、発光停止期間Toffにおいてセル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。
【００９８】
算出部４２は、セル４１an及びセル４１bnから供給される電圧V1,V2,V1',V2'に基づいて、上述したようにして電圧A,B,C,D,Eを算出する。
【００９９】
また、算出部４２は、算出した電圧C,D,E、及び所定時間t0から、式（１）を用いて、LED２１aから照射される波長λ１の光の往復飛行時間tdを算出する。そして、算出部４２は、往復飛行時間tdと光の速さvとを乗算して、往復距離(td×v)を算出し、往復距離(td×v)を1/2として得られる距離{(td×v)/2}を、被写体２までの距離Dとして算出する。
【０１００】
これにより、算出部４２は、計測期間T1において、距離Dを画素値とする距離画像Idを生成し、ゲーム機器３に出力する。
【０１０１】
また、算出部４２は、算出した電圧Eに応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ1を生成し、肌検出部２６に供給する。
【０１０２】
計測期間T2は、図３に示されるように、パルス発光期間Tλ2及び発光停止期間Toffからなる。計測期間T2では、計測期間T1で生成された距離画像Idとは異なる距離画像Id'、及び輝度画像Iλ2の計測が行われる。
【０１０３】
すなわち、計測期間T2は、パルス発光期間Tλ2において、LED２１bが、LEDドライバ２２からの制御にしたがって、パルス発光を行う。いまの場合、LEDドライバ２２は、図３A下側に示されるような、タイミング制御部２３からの照射パルス信号にしたがって、LED２１bにパルス発光を行わせる。
【０１０４】
また、計測期間T2は、パルス発光期間Tλ2において、LED２１aが、LEDドライバ２２からの制御にしたがって、消灯する。いまの場合、LEDドライバ２２は、図３A上側に示されるような、タイミング制御部２３からの照射パルス信号にしたがって、LED２１aを消灯させる。それ以外は、計測期間T1における場合と同様である。
【０１０５】
なお、計測期間T2では、LED２１bから波長λ２の照射光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間が、往復飛行時間tdとされる。
【０１０６】
算出部４２は、計測期間T1の場合と同様にして、距離画像Id'を生成し、ゲーム機器３に出力される。また、算出部４２は、計測期間T1において輝度画像Iλ1を生成した場合と同様にして、電圧Eから、各画素の輝度値を算出して得られる輝度画像Iλ2を生成し、肌検出部２６に供給する。
【０１０７】
肌検出部２６は、算出部４２からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、２値化肌画像Isを生成し、生成した２値化肌画像Isに基づいて、肌領域を検出する。そして、肌検出部２６は、検出した肌領域（を表す情報）を、ゲーム機器３に出力する。
【０１０８】
次に、図４は、距離画像センサ２５及び肌検出部２６における画像の生成タイミングの一例を示している。
【０１０９】
例えば、距離画像センサ２５は、各計測期間Tn(nは整数を表す)において、図４Aに示されるように、距離画像Id(n)を生成して、例えばゲーム機器３に出力する。
【０１１０】
また、例えば、距離画像センサ２５は、奇数番目の計測期間Tnodd(noddは奇数を表す)において、図４Bに示されるように、輝度画像Iλ1(nodd)を生成して、肌検出部２６に出力する。
【０１１１】
さらに、例えば、距離画像センサ２５は、偶数番目の計測期間Tneven(nevenは偶数を表す)において、図４Cに示されるように、輝度画像Iλ2(neven)を生成して、肌検出部２６に出力する。
【０１１２】
そして、肌検出部２６は、図４Dに示されるように、計測期間Tnoddにおいて生成された輝度画像Iλ1(nodd)、及び計測期間Tnoddの次の計測期間Tnevenにおいて生成された輝度画像Iλ2(neven)を用いて、２値化肌画像Is(nodd,neven)を生成して、例えばゲーム機器３に出力する。
【０１１３】
なお、肌検出部２６は、図４Dに示したように、例えば、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて２値化肌画像Is(1,2)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて、２値化肌画像Is(3,4)を生成するようにしている。
【０１１４】
しかしながら、その他、例えば、肌検出部２６は、図５Dに示されるように、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて２値化肌画像Is(1,2)を生成し、輝度画像Iλ2(2)及び輝度画像Iλ1(3)を用いて２値化肌画像Is(2,3)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて２値化肌画像Is(3,4)を生成するようにしてもよい。なお、図５A乃至図５Cは、図４A乃至図４Dと同様である。
【０１１５】
図５Dに示されるようにして２値化肌画像Isを生成するようにした場合には、図４Dに示されるような場合と比較して、２倍の速さで２値化肌画像Isを生成することが可能となる。
【０１１６】
[分光反射特性]
次に、図６は、人間の肌に対する分光反射特性を示している。
【０１１７】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態（日焼け等）に拘らず、一般性があるものである。
【０１１８】
図６において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【０１１９】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【０１２０】
具体的には、例えば、図６に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約６３パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約５０パーセントである。
【０１２１】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また波長の周波数が高くなるほど、少しずつ大きくなることが多い。
【０１２２】
第１の実施の形態では、例えば、組み合わせ（λ１，λ２）=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくなる組み合わせである。
【０１２３】
したがって、輝度画像Iλ1上の肌領域を構成する輝度値は比較的大きな値となり、輝度画像Iλ2上の肌領域を構成する輝度値は比較的小さな値となる。
【０１２４】
このため、差分画像Idiff(={(Iλ1 - Iλ2)/(Iλ1)}×100)上の肌領域の輝度値は、比較的大きな正の値αとなる。なお、差分画像Idiff={(Iλ1 - Iλ2)/(Iλ1)}×100における乗数100は、値100に限定されず、任意の値（例えば、255など）を採用することができるが、乗数は100であるものとして以下説明する。
【０１２５】
また、組み合わせ（λ１，λ２）=(870,950)は、人間の肌以外のものに対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくならない組み合わせである。
【０１２６】
このため、差分画像Idiff(={(Iλ1 - Iλ2)/(Iλ1)}×100)上の非肌領域の輝度値は、比較的小さな正または負の値βとなる。
【０１２７】
よって、肌検出部２６は、差分画像Idiffを、予め決められた２値化用の閾値（例えば、αよりも小であり、βよりも大である閾値）で２値化するようにして、２値化肌画像Isを生成し、生成した２値化肌画像Isに基づいて、肌領域を検出するようにしている。
【０１２８】
ここで、組み合わせ（λ１，λ２）は、（λ１，λ２）=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ（λ１，λ２）であれば、どのような組み合わせでもよい。
【０１２９】
なお、正確に肌検出を行うためには、概ね、波長λ１の値は640[nm]乃至1000[nm]の範囲内で、波長λ２の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。ただし波長λ１が可視光領域では、操作者に眩しさを感じさせることなどから、波長λ１の値は不可視光領域の800[nm]以上とすることが望ましい。
【０１３０】
すなわち、例えば、上述の範囲内で、波長λ１の値は800[nm]以上900[nm]未満とし、波長λ２の値は900[nm]以上とすることができる。
【０１３１】
[撮像装置１の動作説明]
次に、図７のフローチャートを参照して、撮像装置１が行う第１のTOF(time of flight(光の飛行時間))計測処理について説明する。
【０１３２】
なお、この第１のTOF計測処理は、例えば、撮像装置１の電源がオンされたときに開始される。
【０１３３】
ステップＳ１において、LED２１aは、LEDドライバ２２からの制御にしたがって、計測期間Tnoddのパルス発光期間Tλ1において、パルス発光を行う。なお、この場合、LED２１bは消灯している。
【０１３４】
ステップＳ２では、セル４１anは、計測期間Tnoddのパルス発光期間Tλ1において、タイミング制御部２３からの蓄積パルス信号にしたがって、所定時間t0で露光（Hとされる期間）及び非露光（Lとされる期間）を交互に繰り返す。
【０１３５】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1を、算出部４２に出力する。
【０１３６】
ステップＳ３では、セル４１bnは、計測期間Tnoddのパルス発光期間Tλ1において、所定間隔t0で非露光（Lとされる期間）及び露光（Hとされる期間）を交互に繰り返す。
【０１３７】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2を、算出部４２に出力する。
【０１３８】
ステップＳ４では、LED２１aは、計測期間Tnoddの発光停止期間Toffにおいて、LEDドライバ２２からの制御にしたがって、消灯する。これにより、LED２１a及びLED２１bは、計測期間Tnoddの発光停止期間Toffにおいて、いずれも消灯しているものとなる。
【０１３９】
ステップＳ５において、セル４１anは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で露光及び非露光を交互に繰り返す。
【０１４０】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1'を、算出部４２に出力する。
【０１４１】
ステップＳ６において、セル４１bnは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で非露光及び露光を交互に繰り返す。
【０１４２】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2'を、算出部４２に出力する。
【０１４３】
なお、セル４１an及びセル４１bnでは、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、セル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。
【０１４４】
ステップＳ７において、算出部４２は、セル４１anからの電圧V1及びV1'、並びにセル４１bnからの電圧V2及びV2'に基づいて、電圧C,D,Eを算出する。また、算出部４２は、算出した電圧C,D,E及び所定間隔t0に基づいて、式（１）により、波長λ１の光における往復飛行時間tdを算出する。
【０１４５】
ステップＳ８において、算出部４２は、算出した往復飛行時間tdに基づいて、距離D(=(td×v)/2)を算出する。そして、算出部４２は、距離Dを画素値として有する距離画像Idを生成し、ゲーム機器３に供給する。
【０１４６】
ステップＳ９において、算出部４２は、ステップＳ７の処理で算出した電圧Eに応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値を有する輝度画像Iλ1を生成し、肌検出部２６に供給する。
【０１４７】
ステップＳ１０において、LED２１bは、計測期間Tnoddの次の計測期間Tnevenにおけるパルス発光期間Tλ2において、LEDドライバ２２からの制御にしたがって、パルス発光を行う。なお、この場合、LED２１aは消灯している。
【０１４８】
ステップＳ１１では、セル４１anは、計測期間Tnevenのパルス発光期間Tλ2において、タイミング制御部２３からの蓄積パルス信号にしたがって、所定時間t0で露光（Hとされる期間）及び非露光（Lとされる期間）を交互に繰り返す。
【０１４９】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1を、算出部４２に出力する。
【０１５０】
なお、ステップＳ１１において、セル４１anから算出部４２に出力される電圧V1は、ステップＳ２において出力される電圧V1とは、一般的に異なるものであるが、説明の便宜上、同一の記号で表すようにしている。このことは、ステップＳ１２における電圧V2、ステップＳ１４における電圧V1'、及びステップＳ１５における電圧V2'についても同様である。
【０１５１】
ステップＳ１２では、セル４１bnは、計測期間Tnevenのパルス発光期間Tλ2において、所定間隔t0で非露光（Lとされる期間）及び露光（Hとされる期間）を交互に繰り返す。
【０１５２】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2を、算出部４２に出力する。
【０１５３】
ステップＳ１３において、LED２１bは、LEDドライバ２２からの制御にしたがって、消灯する。これにより、LED２１a及びLED２１bは、計測期間Tnoddの発光停止期間Toffにおいて、いずれも消灯しているものとなる。
【０１５４】
ステップＳ１４において、セル４１anは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で露光及び非露光を交互に繰り返す。
【０１５５】
そして、セル４１anは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１anに蓄積された電荷の蓄積電荷量に対応する電圧V1'を、算出部４２に出力する。
【０１５６】
ステップＳ１５において、セル４１bnは、計測期間Tnoddの発光停止期間Toffにおいて、所定間隔t0で非露光及び露光を交互に繰り返す。
【０１５７】
そして、セル４１bnは、タイミング制御部２３からの読み出し信号に立ち上がりエッジが生じるタイミングで、セル４１bnに蓄積された電荷の蓄積電荷量に対応する電圧V2'を、算出部４２に出力する。
【０１５８】
なお、セル４１an及びセル４１bnでは、タイミング制御部２３からのリセット信号に立ち上がりエッジが生じるタイミングで、セル４１an及びセル４１bnにそれぞれ蓄積された電荷の電荷量が０にリセットされる。
【０１５９】
ステップＳ１６において、算出部４２は、セル４１anからの電圧V1及びV1'、並びにセル４１bnからの電圧V2及びV2'に基づいて、電圧C,D,Eを算出する。また、算出部４２は、算出した電圧C,D,E及び所定間隔t0に基づいて、式（１）により、波長λ２の光における往復飛行時間td'を算出する。
【０１６０】
ステップＳ１７において、算出部４２は、算出した往復飛行時間td'に基づいて、距離D'(=(td'×v)/2)を算出する。そして、算出部４２は、距離D'を画素値として有する距離画像Id'を生成し、ゲーム機器３に供給する。
【０１６１】
ステップＳ１８において、算出部４２は、ステップＳ１６の処理で算出した電圧Eに応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値を有する輝度画像Iλ2を生成し、肌検出部２６に供給する。
【０１６２】
ステップＳ１９において、肌検出部２６は、算出部４２からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、被写体２の肌を表す肌領域を検出する肌検出処理を行う。なお、肌検出処理の詳細は、図８のフローチャートを参照して詳述する。
【０１６３】
ステップＳ１９において、肌検出部２６は、肌検出処理により検出された肌領域（を表す情報）を、ゲーム機器３に供給して、処理はステップＳ１に戻り、それ以降、同様の処理が繰り返される。
【０１６４】
なお、この第１のTOF計測処理は、例えば、撮像装置１の電源がオフされたときに終了される。
【０１６５】
[肌検出処理の詳細]
次に、図８のフローチャートを参照して、図７のステップＳ１９における肌検出処理の詳細を説明する。
【０１６６】
ステップS３１において、肌検出部２６は、距離画像センサ２５の算出部４２から供給される輝度画像Iλ1及びIλ2に対して、LPF(low pass filter)を用いた平滑化を行う。また、肌検出部２６は、各画素ごとに、輝度画像Iλ1の輝度値Y(λ1)から、輝度画像Iλ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【０１６７】
さらに、肌検出部２６は、輝度画像Iλ1又は輝度画像Iλ2の少なくとも一方に基づく値として、例えば輝度値Y(λ1)で、差分(Y(λ1) - Y(λ2))を正規化（除算）する。
【０１６８】
そして、肌検出部２６は、正規化後の差分(Y(λ1) - Y(λ2))/Y(λ1)に所定の値（例えば、100）を乗算して得られる差分画像Idiff(=((Iλ1 - Iλ2)/Iλ1)×100)を算出する。なお、所定の値は、値100に限定されず、任意の値（例えば、255など）を採用することができる。
【０１６９】
ステップＳ３２において、肌検出部２６は、差分画像Idiffを、予め決められた２値化用の閾値で２値化して、２値化肌画像Isを算出する。
【０１７０】
なお、差分画像Idiffは、撮像画像Iλ1の輝度値が、撮像画像Iλ2の輝度値に対して、何パーセント高いものであるかを表す。また、２値化用の閾値としては、例えば、１０パーセントを用いることができる。
【０１７１】
肌検出部２６は、算出した２値化肌画像Isに基づいて、被写体２の肌を表す肌領域を検出して、処理は、図７のステップＳ１９にリターンされる。
【０１７２】
以上説明したように、第１のTOF計測処理によれば、人間の分光反射特性に基づいて、被写体２の肌領域を表す２値化肌画像Isを算出するようにした。このため、被写体２を照らす照明の明るさに拘らず、被写体２の肌領域を精度良く検出することが可能となる。
【０１７３】
また、第１のTOF計測処理によれば、往復飛行時間tdに基づいて、距離画像Idの各画素毎に、ユーザまでの距離Dを算出するようにした。このため、例えば、被写体２の肌領域の大きさ等から、被写体２までの距離を算出する場合と比較して、より正確な距離Dを算出することが可能となる。
【０１７４】
なお、第１の実施の形態では、図３乃至図５に示したように、計測期間Tnoddにおいて、距離画像Id(nodd)及び輝度画像Iλ1(nodd)を計測し、計測期間Tnevenにおいて、距離画像Id(neven)及び輝度画像Iλ2(neven)を計測するようにした。
【０１７５】
しかしながら、その他、例えば、図９に示されるように、パルス発光期間Tλ1、パルス発光期間Tλ2、及び発光停止期間Toffを、計測期間Tn'とし、計測期間Tn'において、距離画像Id、輝度画像Iλ1、及び輝度画像Iλ2を計測するようにしてもよい。
【０１７６】
この場合、計測期間Tn'のパルス発光期間Tλ1では、セル４１anにおいて電圧V1_λ1が得られ、セル４１bnにおいて電圧V2_λ1が得られ、それぞれ、算出部４２に供給される。
【０１７７】
また、計測期間Tn'のパルス発光期間Tλ2では、セル４１anにおいて電圧V1_λ2が得られ、セル４１bnにおいて電圧V2_λ2が得られ、それぞれ、算出部４２に供給される。
【０１７８】
さらに、計測期間Tn'の発光停止期間Toffでは、セル４１anにおいて電圧V1'が得られ、セル４１bnにおいて電圧V2'が得られ、それぞれ、算出部４２に供給される。
【０１７９】
よって、算出部４２は、セル４１anからの電圧V1_λ1,V1'、及びセル４１bnからの電圧V2_λ1,V2'に基づいて、電圧A_λ1(=V1_λ1+V2_λ1)、電圧B(=V1'+V2')、電圧C_λ1(=V1_λ1-V1')、電圧D_λ1(=V2_λ1-V2')を算出する。
【０１８０】
また、算出部４２は、算出した電圧A_λ1及び電圧Bに基づいて、電圧E_λ1(=A_λ1-B)を算出する。
【０１８１】
そして、算出部４２は、算出した電圧C_λ1，D_λ1，E_λ1、及び所定間隔t0に基づいて、往復飛行時間td1(=(t0/2) × [1+{(D_λ1-C_λ1)/E_λ1}])を算出する。ここで、往復飛行時間td1とは、波長λ１の光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【０１８２】
さらに、算出部４２は、セル４１anからの電圧V1_λ2,V1'、及びセル４１bnからの電圧V2_λ2,V2'に基づいて、電圧A_λ2(=V1_λ2+V2_λ2)、電圧C_λ2(=V1_λ2-V1')、電圧D_λ2(=V2_λ2-V2')を算出する。
【０１８３】
また、算出部４２は、算出した電圧A_λ2及び電圧Bに基づいて、電圧E_λ2(=A_λ2-B)を算出する。
【０１８４】
そして、算出部４２は、算出した電圧C_λ2，D_λ2，E_λ2、及び所定間隔t0に基づいて、往復飛行時間td2(=(t0/2) × [1+{(D_λ2-C_λ2)/E_λ2}])を算出する。ここで、往復飛行時間td2とは、波長λ２の光が照射されたときから、被写体２からの反射光として、受光素子４１nにより受光されるまでの時間をいう。
【０１８５】
算出部４２は、算出した往復飛行時間td1及びtd2の平均を、最終的な往復飛行時間td(=(td1+td2)/2)として算出する。また、算出部４２は、往復飛行時間tdに基づいて、往復飛行時間td1に基づき算出される距離D1（=(td1×v)/2)と、往復飛行時間td2に基づき算出される距離D2(=(td2×v)/2)との平均を表す距離D(=(td×v)/2)を算出する。そして、算出部４２は、算出した距離Dを画素値として有する距離画像Idを、ゲーム機器３に出力する。
【０１８６】
なお、算出部４２は、往復飛行時間td1又はtd2の一方に基づいて、距離Dを算出し、距離Dを画素値として有する距離画像Idを、ゲーム機器３に出力するようにしてもよい。
【０１８７】
算出部４２は、算出した電圧E_λ1に応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ1を生成し、肌検出部２６に出力する。
【０１８８】
また、算出部４２は、算出した電圧E_λ2に応じた輝度値を、例えば０乃至２５５までの値とされる輝度値にスケーリングし、スケーリング後の輝度値の輝度画像Iλ2を生成し、肌検出部２６に出力する。
【０１８９】
次に、図１０は、計測期間Tn'において、距離画像センサ２５及び肌検出部２６の画像の生成タイミングの一例を示している。
【０１９０】
例えば、距離画像センサ２５は、各計測期間Tn'(nは整数を表す)において、図１０Aに示されるように、距離画像Id(n)を生成して、例えばゲーム機器３に出力する。
【０１９１】
また、例えば、距離画像センサ２５は、各計測期間Tn'において、図１０Bに示されるように、輝度画像Iλ1(n)及び輝度画像Iλ2(n)を生成して、肌検出部２６に出力する。
【０１９２】
肌検出部２６は、図４Cに示されるように、計測期間Tn'において生成された輝度画像Iλ1(n)輝度画像Iλ2(n)を用いて、２値化肌画像Is(n)を生成する。
【０１９３】
ところで、第１の実施の形態では、LED２１a又はLED２１bから照射光を照射したときから受光されるまでの時間差に基づいて、往復飛行時間tdを算出するようにしたが、往復飛行時間tdの算出方法は、これに限定されない。
【０１９４】
すなわち、例えば、往復飛行時間tdは、照射光と反射光との位相差に基づいて、往復飛行時間tdを算出することができる。
【０１９５】
＜２．第２の実施の形態＞
[撮像装置６１の構成例]
次に、図１１は、第２の実施の形態である撮像装置６１の構成例を示している。
【０１９６】
この撮像装置６１は、照射光と反射光との位相差に基づいて、往復飛行時間tdを算出するものである。なお、図１１では、図１の撮像装置１と同様に構成される部分については、同一の符号を付すようにしているので、それらの説明は、以下、適宜、省略する。
【０１９７】
すなわち、この撮像装置６１は、図１のLED２１a、LED２１b、タイミング制御部２３、及び距離画像センサ２５に代えて、それぞれ、LED８１a、LED８１b、タイミング制御部８２、及び距離画像センサ８３が設けられている他は、図１の場合と同様に構成される。
【０１９８】
LED８１aは、LEDドライバ２２からの制御にしたがって、例えば、正弦波に変調された波長λ１の変調光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の変調光の照射を停止する。
【０１９９】
LED８１bは、LEDドライバ２２からの制御にしたがって、例えば、正弦波に変調された波長λ２の変調光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の変調光の照射を停止する。
【０２００】
なお、波長λ１の変調光、及び波長λ２の変調光の周波数は、それぞれ、MHz以上の周波数とされる。
【０２０１】
また、LED８１a及びLED８１bは、少なくとも、撮像装置６１（距離画像センサ８３）の撮像範囲に対して、照射光を照射する。
【０２０２】
さらに、波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性（図６）に基づいて予め決定される。
【０２０３】
タイミング制御部８２は、LEDドライバ２２を制御して、LED８１aやLED８１bの点灯又は消灯のタイミングを制御する。また、タイミング制御部８２は、距離画像センサ８３を制御して、反射光を受光して電荷を蓄積するタイミングを制御する。
【０２０４】
距離画像センサ８３は、その表面に、複数の受光素子を有し、距離画像Id、輝度画像Iλ1、及び輝度画像Iλ2を生成する。距離画像センサ８３は、生成した距離画像Idをゲーム機器３に出力し、生成した輝度画像Iλ1及び輝度画像Iλ2を、肌検出部２６に出力する。なお、距離画像センサ８３の前面には、レンズ２４の他、可視光をカット（遮断）する可視光カットフィルタを設けるように構成することができる。
【０２０５】
[距離画像センサ８３の詳細]
次に、図１２は、距離画像センサ８３の詳細な構成例を示している。
【０２０６】
この距離画像センサ８３は、距離画像センサ８３の表面に設けられた複数の受光素子１０１1乃至１０１N、及び算出部１０２から構成される。
【０２０７】
受光素子１０１n(n=1,2,…,N)は、LED８１aの点灯時に、タイミング制御部８２からの制御にしたがって、LED８１aからの波長λ１の変調光が、位相０（０度）,π/2（90度）,π（180度）,3π/2（270度）それぞれのタイミングで照射されるときに受光される反射光の受光光量に応じた電荷を蓄積する。
【０２０８】
受光素子１０１nは、波長λ１の変調光が位相０で照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va1を、算出部１０２に供給する。
【０２０９】
また、受光素子１０１nは、波長λ１の変調光が位相π/2で照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va2を、算出部１０２に供給する。
【０２１０】
さらに、受光素子１０１nは、波長λ１の変調光が位相πで照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va3を、算出部１０２に供給する。
【０２１１】
また、受光素子１０１nは、波長λ１の変調光が位相3π/2で照射されるときに受光される反射光により、電荷を蓄積する。そして、受光素子１０１nは、電荷を蓄積して得られた電圧Va4を、算出部１０２に供給する。
【０２１２】
算出部１０２は、受光素子１０１nからの電圧Va1に基づいて、波長λ１の変調光が位相０で照射されるときに受光される反射光の受光強度A1を算出する。
【０２１３】
また、同様にして、算出部１０２は、受光素子１０１nからの電圧Va2に基づいて、波長λ１の変調光が位相π/2で照射されるときに受光される反射光の受光強度A2を算出する。さらに、算出部１０２は、受光素子１０１nからの電圧Va3に基づいて、波長λ１の変調光が位相πで照射されるときに受光される反射光の受光強度A3を算出する。また、算出部１０２は、受光素子１０１nからの電圧Va4に基づいて、波長λ１の変調光が位相3π/2で照射されるときに受光される反射光の受光強度A4を算出する。
【０２１４】
算出部１０２は、反射光の受光強度A1乃至A4に基づいて、波長λ１の変調光と反射光との位相差φ、及び反射光の振幅aを、それぞれ算出する。
【０２１５】
なお、受光素子１０１nは、LED８１bの点灯時に、タイミング制御部８２からの制御にしたがって、LED８１bからの波長λ２の変調光が、位相０,π/2,π,3π/2それぞれのタイミングで照射されるときに受光される反射光に応じた電荷を蓄積する。
【０２１６】
そして、受光素子１０１nは、LED８１aの点灯時における場合と同様にして、電荷を蓄積して得られる各電圧Va1',Va2',Va3',Va4'を、算出部１０２に供給する。
【０２１７】
また、算出部１０２は、上述した場合と同様に、受光素子１０１nからの各電圧Va1',Va2',Va3',Va4'に基づいて、波長λ２の光を照射したときの反射光の受光強度A1'乃至A4'を算出する。そして、算出部１０２は、反射光の受光強度A1'乃至A4'に基づいて、波長λ２の変調光と反射光との位相差φ'、及び反射光の振幅a'を、それぞれ算出する。
【０２１８】
このように、LED８１aの点灯時と、LED８１bの点灯時とで同様の処理が行われるため、以下では、主に、LED８１aの点灯時における処理を説明する。
【０２１９】
[位相差φ及び振幅aの算出方法]
次に、図１３を参照して、算出部１０２が、LED８１aから波長λ１の変調光が照射されたときの反射光の受光強度A1乃至A4に基づいて、位相差φ及び振幅aを算出する場合の一例を説明する。
【０２２０】
図１３は、LED８１aからの照射光（波長λ１の変調光）と、受光素子１０１nで受光される反射光との一例を示している。
【０２２１】
図１３において、照射光は、関数g(t)=A×sin(ωt) + Bにより表される。また、図１３において、反射光は、関数f(t)=a×sin(ωt-φ) + bにより表される。
【０２２２】
なお、Aはg(t)の振幅を表し、ωは角速度を表す。aはf(t)の振幅を表し、φは関数g(t)と関数f(t)との位相差を表す。
【０２２３】
また、関数f(t)は、関数g(t)よりも、位相差φに対応するΔtだけ遅れている。このΔtは、往復飛行時間tdとなる。
【０２２４】
算出部１０２は、図１３に示されるように、照射光を表す関数g(t)の位相ωtが、それぞれ、0,π/2,π,3π/2である場合の反射光の受光強度f(t)を、受光強度A1乃至A4として、受光素子１０１nからの電圧Va1乃至Va4それぞれから算出する。
【０２２５】
算出部１０２は、算出した受光強度A1乃至A4に基づいて、次式（２）により、位相差φを算出する。なお、式（２）において、arctanは、tanの逆関数を表す。
φ = ωΔt = arctan[(A2-A0)/(A1-A3)] ・・・（２）
【０２２６】
算出部１０２は、算出した位相差φから、往復飛行時間tdとしてのΔt=φ/ω（φとωは既知）を算出する。また、算出部１０２は、算出したΔt(往復飛行時間td)と光の速さvとを乗算して、撮像装置６１と被写体２との間を往復した往復距離(Δt×v)を算出する。さらに、算出部１０２は、往復距離(Δt×v)を1/2として得られる距離{(Δt×v)/2}を、被写体２までの距離Dとして算出する。
【０２２７】
そして、算出部１０２は、算出した距離Dを画素値として有する距離画像Idを生成し、ゲーム機器３に出力する。
【０２２８】
また、算出部１０２は、算出した位相差φに応じて、例えば、次式（３）により、距離Dを算出するようにしてもよい。式（３）において、fmodは、波長λ１の変調光の周波数を表し、cは定数を表す。
D = cφ/４πfmod ・・・（３）
【０２２９】
なお、式（３）を用いて、距離Dを算出する算出方法は、「Thorsten Ringbeckほか著,A 3D TIME OF FLIGHT CAMERA FOR OBJECT DETECTION(8th Conference on. Optical 3-D Measurement Techniques 予稿),July 2007」に記載されている。
【０２３０】
また、算出部１０２は、算出した受光強度A1乃至A4に基づいて、次式（４）により、振幅aを算出する。
a = {√((A2-A0)2+(A1-A3)2)}/2 ・・・（４）
【０２３１】
算出部１０２は、算出した振幅aに応じた輝度値を有する輝度画像Iλ1を生成し、肌検出部２６に供給する。なお、この輝度画像Iλ1の輝度値は、LED８１aから、波長λ１の変調光が照射されているときに、被写体２からの反射光として受光する受光光量に対応する。
【０２３２】
また、算出部１０２において、LED８１bから、波長λ２の変調光が照射される場合において、受光素子１０１nから電圧Va1'乃至Va4'が供給されるときには、同様にして、受光強度A1'乃至A4'を算出する。そして、算出部１０２は、算出した受光強度A1'乃至A4'に基づいて、同様にして位相差φ'及び振幅a'を算出する。
【０２３３】
算出部１０２は、算出した位相差φ'に基づいて、距離画像Id'を算出し、振幅a'に基づいて、輝度画像Iλ1に代えて、輝度画像Iλ2を生成することとなる。なお、この輝度画像Iλ2の輝度値は、LED８１bから、波長λ２の変調光が照射されているときに、被写体２からの反射光として受光する受光光量に対応する。
【０２３４】
[出力タイミングの一例]
次に、図１４は、LED８１a及びLED８１bの照射タイミング、受光素子１０１nの受光タイミング、算出部１０２の算出タイミング、並びに肌検出部２６の肌検出タイミング等の一例を示している。
【０２３５】
LED８１a及びLED８１bは、図１４Aに示されるように、LED８１aの点灯、LED８１aの消灯、LED８１bの点灯、LED８１bの消灯、LED８１aの点灯、LED８１aの消灯…を繰り返す。
【０２３６】
すなわち、例えば、LED８１aは、予め決められた時間だけ点灯し続け、波長λ１の変調光を被写体２に照射する。その後、LED８１aは消灯する。LED８１aの消灯から、所定の時間の経過後に、LED８１bは、予め決められた時間だけ点灯し続け、波長λ１の変調光を被写体２に照射する。その後、LED８１bは消灯する。
【０２３７】
そして、LED８１bの消灯から、所定の時間の経過後に、LED８１aは、予め決められた時間だけ点灯し続け、波長λ１の変調光を被写体２に照射し、消灯する。このようにして、LED８１a及びLED８１bの点灯及び消灯が繰り返される。
【０２３８】
受光素子１０１nは、図１４Bに示されるように、LED８１aの点灯中(「正弦波変調光連続照射（λ１）」に対応)に、タイミング制御部８２からの制御にしたがって、波長λ１の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。受光素子１０１nは、反射光を受光して得られる電圧Va1,Va2,Va3,Va4を、算出部１０２に供給する。
【０２３９】
そして、算出部１０２は、受光素子１０１nからの電圧Va1,Va2,Va3,Va4に基づいて、図１４Bに示されるように、位相差φ及び振幅aの計算（算出）を行う。さらに、算出部１０２は、位相差φに基づいて、図１４Cに示されるような距離画像Id(1)を算出して、ゲーム機器３に出力する。
【０２４０】
また、算出部１０２は、振幅aに基づいて、図１４Dに示されるような輝度画像Iλ1(1)を算出して、肌検出部２６に出力する。
【０２４１】
なお、算出部１０２による位相差φ及び振幅aの計算と、距離画像Id(1)及び輝度画像Iλ1(1)の出力は、LED８１aの消灯中（「発光停止」に対応）に行われる。
【０２４２】
しかしながら、距離画像センサ８３が、電荷の蓄積と、位相差φ及び振幅aの計算とを並行して行える場合には、LED８１a及びLED８１bのいずれも消灯する発光停止期間を省略することができる。
【０２４３】
また、受光素子１０１nは、図１４Bに示されるように、LED８１bの点灯中（「正弦波変調光連続照射（λ２）」に対応）に、タイミング制御部８２からの制御にしたがって、波長λ２の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。受光素子１０１nは、反射光を受光して得られる電圧Va1',Va2',Va3',Va4'を、算出部１０２に供給する。
【０２４４】
そして、算出部１０２は、受光素子１０１nからの電圧Va1',Va2',Va3',Va4'に基づいて、図１４Bに示されるように、位相差φ'及び振幅a'の計算（算出）を行う。さらに、算出部１０２は、位相差φ'に基づいて、図１４Cに示されるような距離画像Id(2)を算出して、ゲーム機器３に出力する。
【０２４５】
また、算出部１０２は、振幅a'に基づいて、図１４Dに示されるような輝度画像Iλ2(2)を算出して、肌検出部２６に出力する。
【０２４６】
なお、算出部１０２による位相差φ'及び振幅a'の計算と、距離画像Id(2)及び輝度画像Iλ1(2)の出力は、LED８１aの消灯中（「発光停止」に対応）に行われる。
【０２４７】
肌検出部２６は、図１４Eに示されるように、算出部１０２から輝度画像Iλ1(1)及び輝度画像Iλ2(2)が供給されたことに対応して、算出部１０２からの輝度画像Iλ1(1)及び輝度画像Iλ2(2)に基づいて、２値化肌画像Is(1,2)を生成する。
【０２４８】
そして、肌検出部２６は、算出した２値化肌画像Is(1,2)に基づいて、被写体２の肌領域を検出し、ゲーム機器３に出力する。
【０２４９】
それ以降、同様にして、図１４Cに示されるように、距離画像Id(3)及びId(4)等が生成される。また、図１４Dに示されるように、輝度画像Iλ1(3)及び輝度画像Iλ2(4)等が生成される。そして、図１４Eに示されるように、生成された輝度画像Iλ1(3)及び輝度画像Iλ2(4)に基づいて、２値化肌画像Is(3,4)が生成される。
【０２５０】
なお、第２の実施の形態において、肌検出部２６は、図１４Eに示したように、例えば、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて肌画像Is(1,2)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて、肌画像Is(3,4)を生成するようにした。
【０２５１】
しかしながら、その他、例えば、肌検出部２６は、図１５Dに示されるように、輝度画像Iλ1(1)及び輝度画像Iλ2(2)を用いて肌画像Is(1,2)を生成し、輝度画像Iλ2(2)及び輝度画像Iλ1(3)を用いて肌画像Is(2,3)を生成し、輝度画像Iλ1(3)及び輝度画像Iλ2(4)を用いて肌画像Is(3,4)を生成するようにしてもよい。なお、図１５A乃至図１５Dは、図１４A乃至図１４Dと同様である。
【０２５２】
図１５Eに示されるようにして肌画像Isを生成するようにした場合には、図１４Eに示されるような場合と比較して、２倍の速さで２値化肌画像Isを生成することが可能となる。
【０２５３】
[撮像装置６１の動作説明]
次に、図１６のフローチャートを参照して、撮像装置６１が行う第２のTOF計測処理について説明する。
【０２５４】
なお、この第２のTOF計測処理は、例えば、撮像装置６１の電源がオンされたときに開始される。
【０２５５】
ステップＳ５１において、LED８１aは、LEDドライバ２２からの制御にしたがって点灯し、波長λ１の変調光を照射する。なお、LED８１bは消灯されている。
【０２５６】
ステップＳ５２では、受光素子１０１nは、LED８１aの点灯中に、タイミング制御部８２からの制御にしたがって、LED８１aから照射される波長λ１の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。
【０２５７】
そして、受光素子１０１nは、波長λ１の変調光の位相が0,π/2,π，3π/2となるタイミングで、それぞれ受光した反射光の受光光量に応じて得られる電圧Va1乃至Va4を、算出部１０２に供給する。
【０２５８】
算出部１０２は、受光素子１０１nからの電圧Va1乃至Va4に基づいて、それぞれ、受光強度A1乃至A4を算出する。
【０２５９】
ステップＳ５３では、算出部１０２は、受光強度A1乃至A4に基づいて、式（２）により位相差φを、式（４）により振幅aを、それぞれ算出する。なお、ステップＳ５４において、LED８１aは、ステップＳ５１の処理で点灯したときから、所定の時間の経過後に消灯する。
【０２６０】
ステップＳ５５では、算出部１０２は、算出した位相差φに基づいて、Δt（=φ/ω)を、往復飛行時間tdとして算出する。
【０２６１】
ステップＳ５６では、算出部１０２は、算出した往復飛行時間tdに基づいて、距離D(=(td×v)/2)を算出する。そして、算出部４２は、距離Dを画素値として有する距離画像Idを生成し、ゲーム機器３に供給する。
【０２６２】
ステップＳ５７では、算出部１０２は、算出した振幅aに応じた輝度値を有する輝度画像Iλ1を生成し、肌検出部２６に供給する。
【０２６３】
ステップＳ５８では、LED８１bは、LEDドライバ２２からの制御にしたがって点灯し、波長λ２の変調光を照射する。なお、LED８１aは消灯されている。
【０２６４】
ステップＳ５９では、受光素子１０１nは、LED８１bの点灯中に、タイミング制御部８２からの制御にしたがって、LED８１bから照射される波長λ２の変調光の位相が0,π/2,π，3π/2となるタイミングで、反射光を受光する。
【０２６５】
そして、受光素子１０１nは、波長λ２の変調光の位相が0,π/2,π，3π/2となるタイミングで、それぞれ受光した反射光の受光光量に応じて得られる電圧Va1'乃至Va4'を、算出部１０２に供給する。
【０２６６】
算出部１０２は、受光素子１０１nからの電圧Va1'乃至Va4'に基づいて、それぞれ、受光強度A1'乃至A4'を算出する。
【０２６７】
ステップＳ６０では、算出部１０２は、受光強度A1'乃至A4'に基づいて、式（２）により位相差φ'を、式（４）により振幅a'を、それぞれ算出する。なお、ステップＳ６１において、LED８１bは、ステップＳ５８の処理で点灯したときから、所定の時間の経過後に消灯する。
【０２６８】
ステップＳ６２では、算出部１０２は、算出した位相差φ'に基づいて、Δt'（=φ'/ω)を、往復飛行時間td'として算出する。
【０２６９】
ステップＳ６３では、算出部１０２は、算出した往復飛行時間td'に基づいて、距離D'(=(td'×v)/2)を算出する。そして、算出部４２は、距離D'を画素値として有する距離画像Id'を生成し、ゲーム機器３に供給する。
【０２７０】
ステップＳ６４では、算出部１０２は、算出した振幅a'に応じた輝度値を有する輝度画像Iλ2を生成し、肌検出部２６に供給する。
【０２７１】
ステップＳ６５では、肌検出部２６は、算出部１０２からの輝度画像Iλ1及び輝度画像Iλ2に基づいて、肌検出処理を行い、その結果得られる肌領域を、ゲーム機器３に出力して、処理は、ステップＳ５１に戻り、それ以降、同様の処理が繰り返される。
【０２７２】
なお、この第２のTOF計測処理は、例えば、撮像装置６１の電源がオフされたときに終了される。
【０２７３】
以上説明したように、第２のTOF計測処理によれば、人間の分光反射特性に基づいて、被写体２の肌領域を表す２値化肌画像Isを算出するようにした。このため、被写体２を照らす照明の明るさに拘らず、被写体２の肌領域を精度良く検出することが可能となる。
【０２７４】
また、第２のTOF計測処理によれば、往復飛行時間tdに基づいて、距離画像Idの各画素毎に、ユーザまでの距離Dを算出するようにした。このため、例えば、被写体２の肌領域の大きさ等から、被写体２までの距離を算出する場合と比較して、より正確な距離Dを算出することが可能となる。
【０２７５】
ところで、撮像装置１（６１)の肌検出部２６では、図１７に示されるように、被写体２において、露出された肌部分（例えば、顔部分２a、右手部分２b、及び左手部分２c）を肌領域として検出している。そして、検出した肌領域を、ゲーム機器３に対して入力するようにしている。
【０２７６】
ゲーム機器３では、被写体２の肌部分として、顔部分２a、右手部分２b、及び左手部分２cの他、被写体２の足部分も用いることができることが望ましい。
【０２７７】
しかしながら、被写体２が靴下などを履いている場合には、撮像装置１において、被写体２の足部分を肌領域として検出することができない。
【０２７８】
この場合、被写体２は、自身の足部分に、人間の肌と同様の分光反射特性を有する擬似肌装着具１２１a及び１２１bを装着するようにして、撮像装置１の前で、ジェスチャ等を行うようにする。
【０２７９】
これにより、撮像装置１の肌検出部２６は、図１８に示されるような２値化肌画像Isを生成することができるようになる。このため、撮像装置１の肌検出部２６は、顔部分（首を含む）２a、右手部分２b、及び左手部分２cの他、擬似肌装着具１２１a及び１２１bを、被写体２の肌領域（図１８の黒色で示される部分）として検出できるようになる。なお、図１８に示されるような２値化肌画像Isは、撮像装置１が、被写体２を正面から撮像したとき（例えば、図１７に示される被写体２を、図１７の図面の法線方向から撮像したとき）に生成される２値化肌画像である。
【０２８０】
なお、擬似肌装着具１２１a及び１２１bは、波長λ１及びλ２における分光反射特性が、少なくとも人間の肌と同様であればよく、それ以外の波長については、人間の肌と異なるものであってもよい。
【０２８１】
また、擬似装着具１２１a及び１２１bは、足部分の他、異なる部位に装着させることができる。擬似装着具を、被写体２の各部位のうち、検出したい部位に装着させるようにすれば、肌が露出していなくても、所望の部位を検出できるようになる。
【０２８２】
なお、擬似肌装着具１２１a及び１２１bは、装着を想定される部位に応じて様々な形状とされる。具体的には、例えば、足首等に装着させることを想定して、バンド（輪）のような形状とされたり、頭に装着させることを想定して、帽子のような形状とされる。また、擬似肌装着具は、シールとして、被写体２の部位に貼ることができるようにしてもよい。
【０２８３】
＜３．変形例＞
第１及び第２の実施の形態では、肌検出部２６は、検出した肌領域（を表す情報）を、ゲーム機器３に出力するようにしているが、その他、例えば、肌領域に代えて、２値化肌画像Isを出力するようにしてもよい。
【０２８４】
また、例えば、肌検出部２６は、ゲーム機器３を出力先として、肌領域等を出力するようにしているが、出力先の対象機器としては、ゲーム機器３に限定されず、その他、例えば、テレビジョン受像機などのAV機器を採用することができる。
【０２８５】
撮像装置１又は６１が接続されたAV機器において、被写体２が、メニュー画面から所定の項目をポインタ等で選択するジェスチャ操作等を行う場合には、肌領域等に代えて、２値化肌画像Isから計算された指先等の特徴点の座標情報を、出力するようにしてもよい。
【０２８６】
この場合、肌検出部２６は、生成した２値化肌画像Is上の肌領域に基づいて、被写体２の指先等の特徴点を検出する処理等を行うこととなる。さらに、肌検出部２６は、肌領域とともに、検出した特徴点の座標情報を出力するようにしてもよい。
【０２８７】
また、撮像装置１又は６１は、携帯電話機等の、比較的小型の電子機器等に内蔵させることができる。この場合、電子機器では、内蔵の撮像装置１又は６１から出力される情報に基づいて、各種の制御が行われることとなるので、電子機器を、ジェスチャやポスチャ等により操作できるようになる。
【０２８８】
ところで、第２の実施の形態では、LED８１a及びLED８１bは、それぞれ、LEDドライバ２２からの制御にしたがって、正弦波とされた変調光を照射するようにした。
【０２８９】
しかしながら、その他、例えば、撮像装置６１に、LEDから照射される光として、所定の波を発生させ、発生させた波を正弦波に変調（変換）する変調部を設けるようにすることができる。
【０２９０】
この場合、例えば、変調部は、所定の間隔毎にHighとLowを交互に繰り返す矩形波を発生させる。また、変調部は、発生させた矩形波をLPF(low pass filter)によりなまらせるようにして正弦波に変調（変換）する。そして、LED８１a及びLED８１bは、それぞれ、変調部により正弦波とされた光を、変調光として照射することとなる。
【０２９１】
なお、撮像装置６１には、LED８１a及びLED８１b用として１個の変調部を設ける他、LED８１a用とLED８１b用とで別々の変調部を設けるようにしてもよい。
【０２９２】
また、例えば、矩形波をLPFによりなまらせるようにして得られる波形は、実際には、完全な正弦波にならず、正弦波に近い波形（基本波に対して若干の高調波を含んだような波形）となることが多い。
【０２９３】
したがって、LED８１a及びLED８１bから照射される変調光の波形は、完全な正弦波に限定されず、正弦波に近い波形なども含むものとなる。すなわち、例えば、LED８１a及びLED８１bから照射される変調光の波形は、所定の周期で光の強度が変化するものであれば、どのような波形であってもよい。
【０２９４】
なお、本技術は以下のような構成もとることができる。
（１）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部と、前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部とを含む撮像装置。
（２）前記受光部は、予め決められた受光期間毎に、前記被写体からの反射光を受光するものであり、前記第１の照射部による点灯と消灯が所定間隔毎に交互に繰り返される第１の前記受光期間において、前記第１の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光を受光する第１のセルと、前記第１の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光を受光する第２のセルとを有し、前記往復時間算出部は、前記第１のセルで前記第１の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第１の受光期間内に受光された前記反射光の受光光量に基づいて、前記第１の往復時間を算出する前記（１）に記載の撮像装置。
（３）前記第１のセルは、前記第１の照射部及び前記第２の照射部が消灯される第２の前記受光期間において、前記第２の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルは、前記第２の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記往復時間算出部は、前記第１のセルで前記第２の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第２の受光期間内に受光された前記反射光の受光光量にも基づいて、前記第１の往復時間を算出する前記（２）に記載の撮像装置。
（４）前記第１のセルは、前記第２の照射部による点灯と消灯が所定間隔毎に交互に繰り返される前記第３の受光期間において、前記第３の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記第２のセルは、前記第３の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、前記肌検出部は、前記第１のセル及び前記第２のセルで前記第１の受光期間内に受光された前記反射光により生成される前記第１の画像と、前記第１のセル及び前記第２のセルで前記第３の受光期間内に受光された前記反射光により生成される前記第２の画像に基づいて、前記肌領域を検出する前記（２）に記載の撮像装置。
（５）前記第１の波長の光及び前記第２の波長の光は、それぞれ、所定の周期で光の強度が変化する光であり、前記受光部は、予め決められたタイミングで前記被写体からの反射光を受光し、前記第１の波長の光の照射中に前記タイミングで受光された前記反射光の受光光量に基づいて、前記タイミングにおける前記反射光の受光強度を算出する強度算出部と、前記反射光の受光強度に基づいて、前記第１の波長の光と前記反射光との位相差を算出する位相差算出部とをさらに含み、前記往復時間算出部は、前記位相差に基づいて、前記第１の往復時間を算出する前記（１）に記載の撮像装置。
（６）前記肌検出部は、前記第１の波長の光の照射中に受光された前記反射光の振幅から生成される前記第１の画像と、前記第２の波長の光の照射中に受光された前記反射光の振幅から生成される前記第２の画像に基づいて、前記肌領域を検出する前記（５）に記載の撮像装置。
（７）前記往復時間算出部は、前記第２の波長の光が前記被写体に照射されたときから前記被写体からの反射光として受光されるまでの第２の往復時間も算出し、
前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記被写体までの距離を算出する前記（１）に記載の撮像装置。
（８）前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記第１の往復時間に基づき算出される第１の距離と、前記第２の往復時間に基づき算出される第２の距離との平均を、前記被写体までの距離として算出する前記（７）に記載の撮像装置。
（９）前記距離算出部は、複数の前記受光部毎に算出される前記第１の往復時間に基づいて、前記被写体までの距離を、前記複数の受光部にそれぞれ対応する各画素毎に算出する前記（１）乃至（６）に記載の撮像装置。
（１０）前記受光部は、少なくとも前記第１及び第２の波長について人間の肌と類似する分光反射特性を有する擬似肌装着具を装着した前記被写体からの反射光を受光する前記（１）乃至（６）に記載の撮像装置。
（１１）前記第１の波長又は前記第２の波長のうち、一方の波長λ１と他方の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす前記（１）乃至（６）に記載の撮像装置。
（１２）前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、前記第２の照射部は、前記第２の波長λ２の不可視光を照射する前記（１１）に記載の撮像装置。
（１３）前記受光部に入射される可視光を遮断する可視光カットフィルタをさらに含む前記（１）乃至（６）に記載の撮像装置。
【０２９５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２９６】
[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【０２９７】
CPU（Central Processing Unit）１４１は、ROM（Read Only Memory）１４２、又は記憶部１４８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１４３には、CPU１４１が実行するプログラムやデータ等が適宜記憶される。これらのCPU１４１、ROM１４２、及びRAM１４３は、バス１４４により相互に接続されている。
【０２９８】
CPU１４１にはまた、バス１４４を介して入出力インタフェース１４５が接続されている。入出力インタフェース１４５には、キーボード、マウス、マイクロホン等よりなる入力部１４６、ディスプレイ、スピーカ等よりなる出力部１４７が接続されている。CPU１４１は、入力部１４６から入力される指令に対応して各種の処理を実行する。そして、CPU１４１は、処理の結果を出力部１４７に出力する。
【０２９９】
入出力インタフェース１４５に接続されている記憶部１４８は、例えばハードディスクからなり、CPU１４１が実行するプログラムや各種のデータを記憶する。通信部１４９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０３００】
また、通信部１４９を介してプログラムを取得し、記憶部１４８に記憶してもよい。
【０３０１】
入出力インタフェース１４５に接続されているドライブ１５０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア１５１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部１４８に転送され、記憶される。
【０３０２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア１５１、又は、プログラムが一時的もしくは永続的に格納されるROM１４２や、記憶部１４８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部１４９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０３０３】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０４】
また、本開示における実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３０５】
１ 撮像装置， ２１a,２１b LED， ２２ LEDドライバ， ２３ タイミング制御部， ２４ レンズ， ２５ 距離画像センサ， ２６ 肌検出部， ４１1乃至４１N 受光素子， ４１a1乃至４１aN,４１b1乃至４１bN セル， ４２ 算出部， ６１ 撮像装置， ８１a,８１b LED， ８２ タイミング制御部， ８３ 距離画像センサ， １０１1乃至１０１N 受光素子， １０２ 算出部， １２１a，１２１b 擬似肌装着具
【特許請求の範囲】
【請求項１】
被写体に対して、第１の波長の光を照射する第１の照射部と、
前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、
前記被写体からの反射光を受光する受光部と、
前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、
前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、
前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部と
を含む撮像装置。
【請求項２】
前記受光部は、予め決められた受光期間毎に、前記被写体からの反射光を受光するものであり、
前記第１の照射部による点灯と消灯が所定間隔毎に交互に繰り返される第１の前記受光期間において、前記第１の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光を受光する第１のセルと、
前記第１の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光を受光する第２のセルと
を有し、
前記往復時間算出部は、前記第１のセルで前記第１の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第１の受光期間内に受光された前記反射光の受光光量に基づいて、前記第１の往復時間を算出する
請求項１に記載の撮像装置。
【請求項３】
前記第１のセルは、前記第１の照射部及び前記第２の照射部が消灯される第２の前記受光期間において、前記第２の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記第２のセルは、前記第２の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記往復時間算出部は、前記第１のセルで前記第２の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第２の受光期間内に受光された前記反射光の受光光量にも基づいて、前記第１の往復時間を算出する
請求項２に記載の撮像装置。
【請求項４】
前記第１のセルは、前記第２の照射部による点灯と消灯が所定間隔毎に交互に繰り返される前記第３の受光期間において、前記第３の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記第２のセルは、前記第３の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記肌検出部は、前記第１のセル及び前記第２のセルで前記第１の受光期間内に受光された前記反射光により生成される前記第１の画像と、前記第１のセル及び前記第２のセルで前記第３の受光期間内に受光された前記反射光により生成される前記第２の画像に基づいて、前記肌領域を検出する
請求項２に記載の撮像装置。
【請求項５】
前記第１の波長の光及び前記第２の波長の光は、それぞれ、所定の周期で光の強度が変化する光であり、
前記受光部は、予め決められたタイミングで前記被写体からの反射光を受光し、
前記第１の波長の光の照射中に前記タイミングで受光された前記反射光の受光光量に基づいて、前記タイミングにおける前記反射光の受光強度を算出する強度算出部と、
前記反射光の受光強度に基づいて、前記第１の波長の光と前記反射光との位相差を算出する位相差算出部と
をさらに含み、
前記往復時間算出部は、前記位相差に基づいて、前記第１の往復時間を算出する
請求項１に記載の撮像装置。
【請求項６】
前記肌検出部は、前記第１の波長の光の照射中に受光された前記反射光の振幅から生成される前記第１の画像と、前記第２の波長の光の照射中に受光された前記反射光の振幅から生成される前記第２の画像に基づいて、前記肌領域を検出する
請求項５に記載の撮像装置。
【請求項７】
前記往復時間算出部は、前記第２の波長の光が前記被写体に照射されたときから前記被写体からの反射光として受光されるまでの第２の往復時間も算出し、
前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記被写体までの距離を算出する
請求項１に記載の撮像装置。
【請求項８】
前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記第１の往復時間に基づき算出される第１の距離と、前記第２の往復時間に基づき算出される第２の距離との平均を、前記被写体までの距離として算出する
請求項７に記載の撮像装置。
【請求項９】
前記距離算出部は、複数の前記受光部毎に算出される前記第１の往復時間に基づいて、前記被写体までの距離を、前記複数の受光部にそれぞれ対応する各画素毎に算出する
請求項１に記載の撮像装置。
【請求項１０】
前記受光部は、少なくとも前記第１及び第２の波長について人間の肌と類似する分光反射特性を有する擬似肌装着具を装着した前記被写体からの反射光を受光する
請求項１に記載の撮像装置。
【請求項１１】
前記第１の波長又は前記第２の波長のうち、一方の波長λ１と他方の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす請求項１に記載の撮像装置。
【請求項１２】
前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、
前記第２の照射部は、前記第２の波長λ２の不可視光を照射する
請求項１１に記載の撮像装置。
【請求項１３】
前記受光部に入射される可視光を遮断する可視光カットフィルタをさらに含む
請求項１に記載の撮像装置。
【請求項１４】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置の撮像方法において、
前記撮像装置による、
前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出ステップと、
前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出ステップと、
前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出ステップと
を含む撮像方法。
【請求項１５】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置のコンピュータを、
前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、
前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、
前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部と
して機能させるためのプログラム。
【請求項１】
被写体に対して、第１の波長の光を照射する第１の照射部と、
前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、
前記被写体からの反射光を受光する受光部と、
前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、
前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、
前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部と
を含む撮像装置。
【請求項２】
前記受光部は、予め決められた受光期間毎に、前記被写体からの反射光を受光するものであり、
前記第１の照射部による点灯と消灯が所定間隔毎に交互に繰り返される第１の前記受光期間において、前記第１の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光を受光する第１のセルと、
前記第１の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光を受光する第２のセルと
を有し、
前記往復時間算出部は、前記第１のセルで前記第１の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第１の受光期間内に受光された前記反射光の受光光量に基づいて、前記第１の往復時間を算出する
請求項１に記載の撮像装置。
【請求項３】
前記第１のセルは、前記第１の照射部及び前記第２の照射部が消灯される第２の前記受光期間において、前記第２の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記第２のセルは、前記第２の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記往復時間算出部は、前記第１のセルで前記第２の受光期間内に受光された前記反射光の受光光量と、前記第２のセルで前記第２の受光期間内に受光された前記反射光の受光光量にも基づいて、前記第１の往復時間を算出する
請求項２に記載の撮像装置。
【請求項４】
前記第１のセルは、前記第２の照射部による点灯と消灯が所定間隔毎に交互に繰り返される前記第３の受光期間において、前記第３の受光期間を構成する複数の前記所定間隔のうち、奇数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記第２のセルは、前記第３の受光期間を構成する前記複数の所定間隔のうち、偶数番目の前記所定間隔内に前記被写体からの反射光も受光し、
前記肌検出部は、前記第１のセル及び前記第２のセルで前記第１の受光期間内に受光された前記反射光により生成される前記第１の画像と、前記第１のセル及び前記第２のセルで前記第３の受光期間内に受光された前記反射光により生成される前記第２の画像に基づいて、前記肌領域を検出する
請求項２に記載の撮像装置。
【請求項５】
前記第１の波長の光及び前記第２の波長の光は、それぞれ、所定の周期で光の強度が変化する光であり、
前記受光部は、予め決められたタイミングで前記被写体からの反射光を受光し、
前記第１の波長の光の照射中に前記タイミングで受光された前記反射光の受光光量に基づいて、前記タイミングにおける前記反射光の受光強度を算出する強度算出部と、
前記反射光の受光強度に基づいて、前記第１の波長の光と前記反射光との位相差を算出する位相差算出部と
をさらに含み、
前記往復時間算出部は、前記位相差に基づいて、前記第１の往復時間を算出する
請求項１に記載の撮像装置。
【請求項６】
前記肌検出部は、前記第１の波長の光の照射中に受光された前記反射光の振幅から生成される前記第１の画像と、前記第２の波長の光の照射中に受光された前記反射光の振幅から生成される前記第２の画像に基づいて、前記肌領域を検出する
請求項５に記載の撮像装置。
【請求項７】
前記往復時間算出部は、前記第２の波長の光が前記被写体に照射されたときから前記被写体からの反射光として受光されるまでの第２の往復時間も算出し、
前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記被写体までの距離を算出する
請求項１に記載の撮像装置。
【請求項８】
前記距離算出部は、前記第１の往復時間及び前記第２の往復時間に基づいて、前記第１の往復時間に基づき算出される第１の距離と、前記第２の往復時間に基づき算出される第２の距離との平均を、前記被写体までの距離として算出する
請求項７に記載の撮像装置。
【請求項９】
前記距離算出部は、複数の前記受光部毎に算出される前記第１の往復時間に基づいて、前記被写体までの距離を、前記複数の受光部にそれぞれ対応する各画素毎に算出する
請求項１に記載の撮像装置。
【請求項１０】
前記受光部は、少なくとも前記第１及び第２の波長について人間の肌と類似する分光反射特性を有する擬似肌装着具を装着した前記被写体からの反射光を受光する
請求項１に記載の撮像装置。
【請求項１１】
前記第１の波長又は前記第２の波長のうち、一方の波長λ１と他方の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす請求項１に記載の撮像装置。
【請求項１２】
前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、
前記第２の照射部は、前記第２の波長λ２の不可視光を照射する
請求項１１に記載の撮像装置。
【請求項１３】
前記受光部に入射される可視光を遮断する可視光カットフィルタをさらに含む
請求項１に記載の撮像装置。
【請求項１４】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置の撮像方法において、
前記撮像装置による、
前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出ステップと、
前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出ステップと、
前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出ステップと
を含む撮像方法。
【請求項１５】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長とは異なる第２の波長の光を照射する第２の照射部と、前記被写体からの反射光を受光する受光部とを有する撮像装置のコンピュータを、
前記被写体からの反射光として前記第１の波長の光が受光されることにより得られる第１の画像と、前記被写体からの反射光として前記第２の波長の光が受光されることにより得られる第２の画像に基づいて、前記被写体の肌を表す肌領域を検出する肌検出部と、
前記第１の波長の光が前記被写体に照射されたときから、前記被写体からの反射光として受光されるまでの第１の往復時間を算出する往復時間算出部と、
前記第１の往復時間に基づいて、前記被写体までの距離を算出する距離算出部と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−９６９４１（Ｐ２０１３−９６９４１Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４２１９７（Ｐ２０１１−２４２１９７）
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]