投影装置、投影方法、及びプログラム
【課題】投影装置を用いる環境下でも、投影装置に対して、使用者のポスチャ又はジェスチャ等を精度良く認識させる。
【解決手段】第１のLEDは、被写体に対して第１の波長の光を照射し、第２のLEDは、被写体に対して第１の波長よりも長波長である第２の波長の光を照射し、撮像素子は、被写体の撮像を行ない、画像処理部は、第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び被写体に対して第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、被写体の肌領域を検出し、投影部は、画像処理部の検出結果に応じて変更される投影画像を投影する。本開示は、例えば、プロジェクタ等に適用できる。
【解決手段】第１のLEDは、被写体に対して第１の波長の光を照射し、第２のLEDは、被写体に対して第１の波長よりも長波長である第２の波長の光を照射し、撮像素子は、被写体の撮像を行ない、画像処理部は、第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び被写体に対して第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、被写体の肌領域を検出し、投影部は、画像処理部の検出結果に応じて変更される投影画像を投影する。本開示は、例えば、プロジェクタ等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、投影装置、投影方法、及びプログラムに関し、特に、例えば、プロジェクタ等の投影装置が使用される環境下で、使用者のポスチャ又はジェスチャ等を認識できるようにした投影装置、投影方法、及びプログラムに関する。
【背景技術】
【０００２】
被写体を撮像して得られる撮像画像上から、人間のポスチャ（姿勢）又はジェスチャ（動作）を認識する認識技術が存在する。
【０００３】
この認識技術では、撮像画像上の人間の手等を、パターンマッチング等により検出し、その検出結果に基づいて、人間のポスチャ又はジェスチャを認識する（例えば、特許文献１参照）。
【０００４】
なお、パターンマッチングとは、例えば、人間の手の形状を表すパターン画像を、撮像画像上の各領域と比較し、パターン画像と最も類似するとの比較結果を得た領域に、人間の手が存在することを検出する技術をいう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３０２９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の認識技術では、例えば、被写体を照らす照明が十分ではない（暗い）場合には、周囲の暗闇にまみれて、被写体が撮像画像上に写らないことが生じ得る。
【０００７】
この場合、撮像画像上には人間の手等が写っていないことになるので、上述のパターンマッチング等により人間の手等を検出することができない。
【０００８】
したがって、例えば、プロジェクタ等の投影装置を、使用者のポスチャやジェスチャ等で制御するような場合、その用いる環境下では、投影装置から投影される投影範囲以外の空間が真っ暗となる場合も多く、上述の認識技術を用いて、人間のポスチャ又はジェスチャを認識することは困難である。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、投影装置を用いる環境下でも、投影装置に対して、使用者のポスチャ又はジェスチャ等を精度良く認識させるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の投影装置は、被写体に対して第１の波長の光を照射する第１の照射部と、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出部と、前記検出部の検出結果に応じて変更される投影画像を投影する投影部とを含む投影装置である。
【００１１】
前記撮像部では、前記投影画像が投影される投影範囲を含む撮像範囲で、前記被写体の撮像を行うことができる。
【００１２】
前記撮像部の撮像により得られる撮像画像上の前記投影範囲を算出する算出部をさらに設けることができる。
【００１３】
前記投影部では、前記投影範囲の輪郭を表す輪郭投影画像も投影し、前記算出部では、前記輪郭投影画像が投影されたときの撮像で得られる前記撮像画像上の前記投影範囲を算出することができる。
【００１４】
前記第１の照射部では、前記第１の波長の不可視光を照射し、前記第２の照射部では、前記第２の波長の不可視光を照射し、前記投影部では、前記輪郭投影画像を、少なくとも可視光を含む投影光、又は不可視光の一方として投影することができる。
【００１５】
前記投影部では、前記輪郭投影画像を、前記投影光として投影し、前記撮像部では、可視光を遮断する可視光遮断部が設けられた第１の受光素子と、前記可視光遮断部が設けられていない第２の受光素子とにより構成される撮像素子を有し、前記第１の受光素子により、前記第１及び第２の撮像画像を生成し、前記第２の受光素子により、前記パターン画像を生成することができる。
【００１６】
前記投影部では、前記輪郭投影画像を不可視光として投影し、前記撮像部では、可視光を遮断する可視光遮断部が設けられた撮像素子を有し、前記撮像素子により、前記第１及び第２の撮像画像の他、前記パターン画像も生成することができる。
【００１７】
可視光を遮断する可視光遮断部と、前記輪郭投影画像として、前記投影光が投影されるときに、前記撮像素子に可視光が入射されるように前記可視光遮断部を移動させ、前記第１の波長の光、又は前記第２の波長の光が照射されるときに、前記撮像素子に可視光が入射されないように前記可視光遮断部を移動させる移動制御部とをさらに設けることができる。
【００１８】
前記投影部では、予め決められた方向から入射される光を、前記投影範囲に反射させる反射部を有し、前記第１の照射部では、前記第１の波長の光を、前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部では、前記第２の波長の光を、前記反射部に反射させて前記投影範囲に照射することができる。
【００１９】
前記第１の照射部では、前記第１の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部では、前記第２の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射することができる。
【００２０】
前記第１の照射部から照射される前記第１の波長の光を、第１の偏光、又は前記第１の偏光とは異なる第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第１の偏光変換部と、前記第２の照射部から照射される前記第２の波長の光を、前記第１の偏光又は前記第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第２の偏光変換部とをさらに設けることができる。
【００２１】
前記投影装置の動きを検知する動き検知部をさらに設けることができ、前記算出部では、前記動き検知部により、前記投影装置の動きが検知された場合にも、前記撮像画像上の前記投影範囲を算出することができる。
【００２２】
前記投影部では、前記投影範囲のうち、前記肌領域の検出された部分を除く範囲に、前記投影画像を投影することができる。
【００２３】
前記撮像部では、撮像方向を変更可能であるようにすることができる。
【００２４】
前記肌領域が検出された前記撮像画像上の第１の位置を、前記撮像部の撮像方向に応じた第２の位置に変換する位置変換部をさらに設けることができ、前記投影部では、前記第２の位置に応じて変更された前記投影画像を投影することができる。
【００２５】
前記第１の照射部では、前記第１の波長の光を前記投影範囲に照射し、前記第２の照射部では、前記第２の波長の光を前記投影範囲に照射し、前記検出部では、前記第１の撮像画像及び前記第２の撮像画像に基づいて、前記投射範囲内の前記肌領域を検出することができる。
【００２６】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たすようにすることができる。
【００２７】
前記第１の照射部では、前記第１の波長λ１の不可視光を照射し、前記第２の照射部では、前記第２の波長λ２の不可視光を照射することができる。
前記投影範囲における前記検出結果を、前記投影範囲内の位置に応じた信号として出力する出力部をさらに設けることができる。
【００２８】
本開示の一側面の投影方法は、投影装置の投影方法であって、前記投影装置による、被写体に対して第１の波長の光を照射する第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なう第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なう第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップとを含む投影方法である。
【００２９】
本開示の一側面のプログラムは、コンピュータに、被写体に対して第１の波長の光を照射させる第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なわせる第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射させる第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なわせる第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影させる投影ステップとを含む処理を実行させるためのプログラムである。
【００３０】
本開示の一側面によれば、被写体に対して第１の波長の光が照射され、前記第１の波長の光を照射させたときの前記被写体の撮像が行なわれ、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光が照射され、前記第２の波長の光を照射させたときの前記被写体の撮像が行なわれ、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域が検出され、その検出結果に応じて変更される投影画像が投影される。
【発明の効果】
【００３１】
本開示によれば、投影装置を用いる環境下でも、投影装置に対して、使用者のポスチャ又はジェスチャ等を精度良く認識させることが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本開示におけるプロジェクタの構成例を示すブロック図である。
【図２】キャリブレーション処理を説明するための図である。
【図３】プロジェクタに含まれる肌検出部及び投影部の詳細な第１の構成例を示す図である。
【図４】人間の肌に対する分光反射特性を示す図である。
【図５】図３の肌検出部が行うジェスチャ認識処理を説明するためのフローチャートである。
【図６】図３の投影部が行う投影処理を説明するためのフローチャートである。
【図７】プロジェクタに含まれる肌検出部及び投影部の詳細な第２の構成例を示す図である。
【図８】プロジェクタに含まれる肌検出部及び投影部の詳細な第３の構成例を示す図である。
【図９】図８の肌検出部及び投影部が行なうジェスチャ認識投影処理を説明するためのフローチャートである。
【図１０】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（人間のジェスチャ等を検知可能なジェスチャ検知可能範囲内に、プロジェクタにより投影される投影範囲が含まれるときの一例）
２．第２の実施の形態（ジェスチャ検知可能範囲と投影範囲とが一致するときの一例）
３．第３の実施の形態（ジェスチャ検知可能範囲と投影範囲とが一致するときの他の一例）
４．変形例
【００３４】
＜１．第１の実施の形態＞
[プロジェクタ２１の構成例]
図１は、第１の実施の形態であるプロジェクタ２１の構成例を示している。
【００３５】
なお、このプロジェクタ２１は、例えば、パーソナルコンピュータ２２と接続可能とされており、接続されたパーソナルコンピュータ２２から供給される投影画像を投影する他、使用者のジャスチャやポスチャに応じた入力操作により操作可能なものである。
【００３６】
プロジェクタ２１は、肌検出部４１、投影部４２、制御部４３、及び操作部４４から構成される。なお、図１では、制御信号の流れを点線で表し、データ信号の流れを実線で表すようにしている。このことは、後述する図３、図７及び図８でも同様である。
【００３７】
肌検出部４１は、例えば、図１に示されるようなジェスチャ検知可能範囲で行われる使用者のジェスチャやポスチャ（以下、ジェスチャ等という）を検知し、その検知結果を、パーソナルコンピュータ２２に供給する。なお、後述するが、肌検出部４１は、ジェスチャ検知可能範囲を、撮像範囲として撮像を行い、その撮像により得られる撮像画像に基づいて、使用者のジェスチャ等を検知する。
【００３８】
また、肌検出部４１は、使用者のジェスチャ等を検知する前に、ジェスチャ検知可能範囲内のいずれの領域に、投影部４２により投影画像が投影される範囲を表す投影範囲が含まれるかを検出するキャリブレーション処理を行う。このキャリブレーション処理は、後述する図２を参照して詳述する。
【００３９】
肌検出部４１は、検知されたジェスチャ等が、投影範囲内で検知されたかものであるか否かを判定し、その判定結果も、検知結果とともに、パーソナルコンピュータ２２に供給する。
【００４０】
このため、例えば、パーソナルコンピュータ２２では、検知結果として、同一のジェスチャ等が供給された場合でも、投影範囲内で検知されたものであるか否かに応じて異なる処理を行うようにすることができる。
【００４１】
すなわち、例えば、パーソナルコンピュータ２２は、投影範囲内で、使用者の手が検知されたことを表す検知結果が供給された場合、投影部４２を制御して、その検知結果に基づく投影画像を投影させる。
【００４２】
具体的には、例えば、パーソナルコンピュータ２２は、使用者の手が検知された位置に対応する投影画像上の位置に、カーソル等が表示された投影画像を投影させる。
また例えば、パーソナルコンピュータ２２は、使用者の手が検出された位置に対応する、投影画像上のアイコンをハイライトさせることができる。
さらに、例えば、そのまま所定時間、使用者の手がアイコン上にとどまった場合、つまり、使用者の手が、検出された位置で所定時間とどまった場合、使用者の手が検出された位置に対応する、投影画像上のアイコンが選択されたものと判断して、対応する投影画像を投影させる。
この場合、検出され制御に用いられる手や指は１つであるとは限らない。例えば投影画面上に両手が検出され、両手の間の距離が拡大したときは、両手の間の距離に応じて拡大された投影画像を投影させるようにしてもよい。
【００４３】
また、例えば、パーソナルコンピュータ２２は、ジェスチャ検知可能範囲のうち、投影範囲とは異なる範囲内で、使用者の手が検知されたことを表す検知結果が供給された場合、投影部４２を制御して、その検知結果に基づく投影画像を投影させる。
【００４４】
具体的には、例えば、パーソナルコンピュータ２２は、カーソル等を表示しない投影画像を投影させる。
なお、肌検出部４１は、検知結果等を、パーソナルコンピュータ２２に出力するようにしている。そして、パーソナルコンピュータ２２は、肌検出部４１からの検知結果等に応じて、投影される投影画像を変更しているが、これに限定されない。
すなわち、例えば、肌検出部４１は、検知結果等に応じて、投影画像に表示させるカーソル等の座標（位置）を算出し、算出した座標をパーソナルコンピュータ２２に出力してもよい。
この場合、パーソナルコンピュータ２２は、肌検出部４１からの座標にカーソル等が表示される投影画像を投影させることとなる。
なお、肌検出部４１は、カーソル等の座標に代えて、前回のカーソル等の座標と、今回のカーソル等の座標との変化値を算出し、算出した変化値をパーソナルコンピュータ２２に出力してもよい。
この場合、パーソナルコンピュータ２２は、肌検出部４１からの変化値に基づき、カーソル等の座標を算出し、算出した座標にカーソル等が表示される投影画像を投影させることとなる。
また、例えば、プロジェクタ２１に内蔵のメモリ（図示せず）や、プロジェクタ２１に外部から接続されたメモリースティック等に記憶されている画像を、投影画像として投影させる場合、パーソナルコンピュータ２２を介さずに、投影させることができる。
すなわち、例えば、肌検出部４１は、検知結果等基づいて、上述したパーソナルコンピュータ２２と同様にして、投影画像を変更させるように投影部４２を制御して、投影部４２から変更後の投影画像を投影させる。
【００４５】
投影部４２は、例えば、接続されたパーソナルコンピュータ２２からの投影画像を、図１に示されるような投影範囲に投影する。図１では、投影範囲は、ジェスチャ検知可能範囲内とされているが、投影範囲は、これに限定されない。
【００４６】
すなわち、例えば、投影範囲は、ジェスチャ検知可能範囲内に全て含まれる範囲とされる他、ジェスチャ検知可能範囲内に一部だけ含まれる範囲、又はジャスチャ可能範囲内に全く含まれない範囲とされるようにしてもよい。なお、投影範囲とジェスチャ検知可能範囲とが同一とされる場合については、図７及び図８を参照して後述する。
【００４７】
制御部４３は、例えば、操作部４４からの操作信号に基づいて、肌検出部４１及び投影部４２を制御する。
【００４８】
操作部４４は、例えば、操作ボタン等からなり、使用者に操作されたことに対応して、使用者の操作に対応する操作信号を、制御部４３に供給する。
【００４９】
[キャリブレーション処理の詳細]
次に、図２を参照して、肌検出部４１が行なうキャリブレーション処理の一例を説明する。
【００５０】
図２は、４隅の部分のみ高輝度値とされた輪郭投影画像が投影されている状態で、ジェスチャ検知可能範囲を撮像範囲として撮像した場合に得られる撮像画像I_patternの一例を示している。なお、輪郭投影画像とは、例えば、高輝度値とされた４隅の部分により、投影範囲の輪郭を表す画像をいうが、これには限定されない。すなわち例えば高輝度値とされた4辺により投影画像の輪郭を表してもよいし、単純に画面全面を高輝度値とした四角形により投影画像の輪郭を表してもよい。
【００５１】
ここで、プロジェクタ２１は、一般的に、室内の照明を暗くした状態で使用される。したがって、図２に示される撮像画像I_patternは、暗闇の中、投影部４２により輪郭投影画像が投影された状態で、肌検出部４１の内蔵するカメラ（図３の撮像素子６３及びレンズ６４等）の撮像により取得される。
【００５２】
したがって、撮像画像I_patternでは、白丸で示す部分（輪郭投影画像の４隅の部分に対応）の輝度値は高いものとなっており、それ以外の部分の輝度値は低いものとなっている。
ここでレンズ６４の前面には可視光カットフィルタ６５が移動可能に配置されている。撮像素子６３は一般的に、可視光と、肌検出用にＬＥＤ６２ａ、６２ｂから照射される不可視光である近赤外光の両方に感度をもつため、可視光カットフィルタは可視光が撮像素子に入射するのを防止して、肌検出の精度を向上させるためのものである。しかし投影画像は可視光であり、輪郭投影画像もこの構成では可視光となるので、輪郭投影画像を取得する際には可視光カットフィルタ６５を移動させて、撮像素子が可視光からなる輪郭投影画像を取得できるようにする。
【００５３】
キャリブレーション処理では、撮像画像内の投影画像の位置や大きさを算出する。撮像画像内の投影画像は、プロジェクタ２１と投影画像を投影するスクリーンの相対位置や角度により変化するので、これらが変化した場合にはキャリブレーション処理を行なうとよい。
キャリブレーション処理は、例えば、使用者が、操作部４４を操作して、プロジェクタ２１の電源をオンする電源オン操作をしたときに開始される。このとき、操作部４４は、使用者の電源オン操作に対応する操作信号を、制御部４３に供給する。
【００５４】
制御部４３は、操作部４４からの操作信号に対応して、肌検出部４１及び投影部４２を制御して、キャリブレーション処理を行わせる。またプロジェクタ２１に
プロジェクタ２１の動きを検出するセンサを設けて、プロジェクタの移動や傾きの変化を検出したら自動的にキャリブレーション処理を行なうようにしてもよい。
【００５５】
すなわち、例えば、投影部４２は、制御部４３からの制御にしたがって、輪郭投影画像を、投影範囲に投影する。
【００５６】
また、肌検出部４１は、輪郭投影画像が投影範囲に投影された状態で、ジェスチャ検知可能範囲を、撮像範囲として撮像する。なお、肌検出部４１は、撮像を行なうカメラを有する。肌検出部４１の詳細は、例えば図３を参照して詳述する。
【００５７】
肌検出部４１は、その撮像により、例えば、図２に示されるような撮像画像I_patternを取得する。
【００５８】
肌検出部４１は、図２に示されるような撮像画像I_patternに基づいて、ジェスチャ検知可能範囲のうち、投影範囲とされる部分を検出する。
【００５９】
すなわち、例えば、肌検出部４１は、図２に示されるような撮像画像I_patternを構成する各画素の輝度値が、予め決められた閾値以上であるか否かに応じて、高輝度値の画素（図２において白色で示される部分）を検出する。
【００６０】
また、肌検出部４１は、検出される高輝度値の画素を角とする矩形を、投影範囲として検出し、その検出結果に基づいて、撮像画像上の投影範囲の位置や大きさを算出する。
なお、ここで投影部４２と投影画像が投影されるスクリーンが斜めに配置されている場合、すなわち、例えば、垂直に設置されたスクリーンの前面上部に投影部４２が設置された場合、投影画像は長方形にならず台形になってしまう。
この台形に歪んだ投影画像を画像処理により長方形にする補正はキーストーン補正とも呼ばれる。キーストーン補正を行なった場合には、補正後にキャリブレーション処理を行なって、撮像画像I_patternに基づいて、ジェスチャ検知可能範囲のうち、投影範囲とされる部分を検出するようにしてもよい。
なお、キーストーン補正では、例えば、アフィン変換等を用いて、投影画像の形状を、台形から長方形に補正する。
【００６１】
そして、肌検出部４１は、算出した撮像画像上の投影範囲の位置や大きさを表す投影範囲情報を、肌検出部４１の内蔵する図示せぬメモリ等に保持する。なお、この投影範囲情報は、使用者のジェスチャ等が、投影範囲内で検知されたか否かを判定するために用いられる。
【００６２】
ところで、投影部４２は、４隅の部分のみ高輝度値とされた輪郭投影画像を投影するようにしたが、その他、例えば、４隅のうち、投影範囲の対角線上の２隅のみ高輝度値とされた輪郭投影画像を投影するようにしてもよい。
【００６３】
すなわち、輪郭投影画像は、投影範囲の輪郭を表す投影画像であれば、どのような投影画像であってもよい。
また、撮像画像上の投影範囲情報を取得するために、操作者のジェスチャ操作を利用することもできる。例えば4隅の部分のみ高輝度化された輪郭投影画像を投影した状態で、操作者が4隅の高輝度化された部分に手や指を順に所定時間置くような指示をプロジェクタから投影画面に出すようにしてもよい。例えば操作者の指先を肌検出により検出し、操作者が指差した4隅を頂点とする四角形を輪郭投影画像として認識するようにしてもよい。
この方法では撮像素子６３の前面の可視光カットフィルタを移動する必要がないので、肌検出部の小型化や低コスト化が実現できる。
【００６４】
[肌検出部４１及び投影部４２の詳細]
次に、図３は、プロジェクタ２１に含まれる肌検出部４１及び投影部４２の詳細な第１の構成例を示している。
【００６５】
肌検出部４１は、DSP(digital signal processor)６１、LED(light-emitting diode)６２a、LED６２b、撮像素子６３、レンズ６４、及び可視光カットフィルタ６５から構成される。なお、LED６２aの個数、及びLED６２bの個数は、それぞれ、１個に限定されず、必要に応じて複数個とされる。
【００６６】
DSP６１は、例えば、図示せぬメモリ等に保持された制御用プログラムを実行することにより、LED制御部８１及び画像処理部８２として機能する。
【００６７】
LED制御部８１は、撮像素子６３からのフレーム同期信号に基づいて、LED６２a及びLED６２bを制御し、LED６２aやLED６２bの消灯及び点灯を制御する。ここで、フレーム同期信号とは、撮像素子６３の撮像が行われるタイミングを表す。
【００６８】
すなわち、例えば、LED制御部８１は、撮像素子６３からのフレーム同期信号に基づいて、撮像素子６３により１枚の画像の撮像が行われる毎に、LED６２aのみを点灯、LED６２bのみを点灯、LED６２a及びLED６２bのいずれも消灯を繰り返して行わせる。
【００６９】
画像処理部８２は、撮像素子６３からの撮像画像I_patternを取得する。そして、画像処理部８２は、撮像素子６３からの撮像画像I_patternに基づいて、図２を参照して説明したように、撮像素子６３からの撮像画像上の投影範囲の位置や大きさを検出するキャリブレーション処理を行う。
【００７０】
そして、画像処理部８２は、キャリブレーション処理により検出した撮像画像上の投影範囲の位置や大きさを表す投影範囲情報を、内蔵するメモリ（図示せず）に保持する。
【００７１】
さらに、画像処理部８２は、撮像素子６３からの撮像画像I_λ1,I_λ2,I_offを取得する。ここで、撮像画像I_λ1とは、波長λ１の光を発光するLED６２aのみが点灯した状態で、撮像素子６３の撮像により得られた画像を表す。
【００７２】
また、撮像画像I_λ2とは、波長λ２の光を発光するLED６２bのみが点灯した状態で、撮像素子６３の撮像により得られた画像を表す。さらに、撮像画像I_offとは、LED６２a及びLED６２bのいずれも消灯した状態で、撮像素子６３の撮像により得られた画像を表す。
【００７３】
画像処理部８２は、取得した各撮像画像I_λ1,I_λ2,I_offに対して、LPF(low pass filter)を用いた平滑化を行う。また、画像処理部８２は、各画素ごとに、撮像画像I_λ1の輝度値Y(λ1)から、撮像画像I_λ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【００７４】
さらに、画像処理部８２は、撮像画像I_λ1又は撮像画像I_λ2の少なくとも一方に基づく値として、例えば輝度値(Y(λ1) Y(off))で、差分(Y(λ1) - Y(λ2))を正規化（除算）する。なお、輝度値Y(off)は、撮像画像I_offの輝度値を表す。
【００７５】
そして、画像処理部８２は、正規化後の差分{(Y(λ1) - Y(λ2))/(Y(λ1) Y(off))}に所定の値（例えば、100）を乗算して得られる差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)を、予め決められた２値化用の閾値で２値化して、２値化肌画像I_skinを算出する。
【００７６】
なお、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)は、撮像画像I_λ1の輝度値が、撮像画像I_λ2の輝度値に対して、何パーセント高いものであるかを表す。また、２値化用の閾値としては、例えば、１０パーセントを用いることができる。
ここで撮像画像I_offの輝度値Y(off)は、ＬＥＤ６２ａ、６２ｂの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。しかし、プロジェクタ２１は、比較的暗い環境で使用されることが多いため、撮像画像I_offの取得は省略してもよい。
【００７７】
画像処理部８２は、算出した２値化肌画像I_skinに基づいて、使用者の肌部分を検出する。
【００７８】
すなわち、例えば、画像処理部８２は、算出した２値化肌画像I_skinを構成する全領域のうち、２値化用の閾値以上とされた領域を、使用者の肌部分を表す肌領域として検出する。
【００７９】
なお、このようにして使用者の肌領域を検出できる原理は、図４を参照して後述する。
【００８０】
第１の実施の形態では、例えば、使用者は、プロジェクタ２１に対して所定の処理を実行させるため、撮像素子６３及びレンズ６４からなるカメラの前で自身の手を移動させたり、手の形状を変化させるようにしているものとする。
【００８１】
したがって、例えば、画像処理部８２は、算出した２値化肌画像I_skinに基づいて、肌領域として、例えば、使用者の手部分を検出するものとする。なお、肌領域として検出される肌部分は、手部分に限定されず、その他、例えば、顔部分等を検出するようにしてもよい。
【００８２】
また、画像処理部８２は、２値化肌画像I_skinに基づいて、複数の肌領域を検出した場合、複数の肌領域のうち、例えば最も輝度の高い肌領域を、手の領域として検出する。これは、ＬＥＤ６２a、６２aまでの距離が、使用者の各部分のうち、手部分が最も近いと想定されるためである。
しかし、操作者と肌検出部４１の位置関係は操作方法によっても異なるため、手の領域の検出方法はこれには限定されず、適宜決定される。例えば、２値化肌画像I_skinなどを用いてパターンマッチングによって手の領域を検出するようにしてもよい。この方法によれば既に操作者の肌領域は特定されているので、肌領域部分のみのパターンマッチングを適用するため、通常のカメラで取得した可視光画像からパターンマッチングで手の領域を検出する場合に比べて、ＣＰＵの処理も軽くて済む。
すなわち、パターンマッチングを行う領域が肌領域に特定されるため、通常のカメラで取得した可視光画像からパターンマッチングで手の領域を検出する場合に比べて、投影画面内では投影画像と指や手が混在してパターンマッチングが難しいといった問題も発生し難い。
さらに、投影画面の外の暗い空間では、通常の可視光画像では手や指がはっきり写らないものとなるが、この場合は照射した不可視光が被写体で反射した反射光を撮像しているため、手や指がはっきり写らないといった問題も発生し難いものとなる。またパターンマッチングを行う領域が肌領域に特定できるため、通常のカメラで取得した可視光画像からパターンマッチングで手の領域を検出する場合に比べて、ＣＰＵの処理も軽くて済む。
【００８３】
画像処理部８２は、例えば、検出した手部分の重心を、使用者の手の位置として検出する。
【００８４】
また、画像処理部８２は、図示せぬ内蔵のメモリに保持済みの投影範囲情報に基づいて、検出した手の位置が、撮像素子６３により得られる撮像画像に表示された投影範囲内に含まれるか否かを判定し、その判定結果とともに、検出した手の位置を、パーソナルコンピュータ２２に供給する。
【００８５】
パーソナルコンピュータ２２に供給される判定結果が、検出した手の位置が、撮像画像上の投影範囲内に含まれる旨の判定結果である場合、パーソナルコンピュータ２２は、撮像範囲上の手の位置に対応する、投影画像上の位置に、カーソル等を表示させた投影画像を生成する。
【００８６】
そして、パーソナルコンピュータ２２は、生成した投影画像を、投影部４２に供給して投影させる。これにより、使用者の手の位置に対応した、投影画像上の位置に、カーソル等が表示される。
【００８７】
また、例えば、検出した手の位置が、撮像画像上の投影範囲内に含まれない旨の判定結果がパーソナルコンピュータ２２に供給された場合、パーソナルコンピュータ２２は、カーソル等が表示されない投影画像を生成し、投影部４２に供給して投影させる。
【００８８】
さらに、例えば、検出した手の位置が、撮像画像上の投影範囲内に含まれない旨の判定結果がパーソナルコンピュータ２２に供給された場合、パーソナルコンピュータ２２は、カーソル等が表示されない投影画像を生成し、投影部４２に供給して投影させる。
【００８９】
その他、例えば、検出した手の位置が、撮像画像上の投影範囲内に含まれない旨の判定結果がパーソナルコンピュータ２２に供給された場合、パーソナルコンピュータ２２は、使用者の手の位置（又は手の位置の軌跡が表すジェスチャ）や手の形状に対応するアプリケーション等を実行するようにしてもよい。
【００９０】
なお、画像処理部８２は、検出結果等を、制御部４３（図１）に出力するようにしてもよい。この場合、制御部４３は、例えば、画像処理部８２からの検出結果等に応じて、カメラ（撮像素子６３及びレンズ６４）の撮像方向や、投影部４２の投影方向を変更させるためのアクチュエータ等を駆動させる。
【００９１】
また、例えば、画像処理部８２は、検出結果等を、投影部４２の制御部１１１に出力してもよい。この場合、例えば、制御部１１１は、画像処理部８２からの検出結果等に応じて、レーザ光源部１０１乃至１０３、及びLCOS部１０８等を制御して、投影画像の明るさを調整してもよい。
【００９２】
LED６２aは、LED制御部８１からの制御にしたがって、点灯又は消灯する。すなわち、LED６２aは、LED制御部８１からの制御にしたがって、波長λ１の光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の光の照射を停止する。
【００９３】
LED６２bは、LED制御部８１からの制御にしたがって、点灯又は消灯する。すなわち、LED６２bは、LED制御部８１からの制御にしたがって、波長λ１よりも長波長である波長λ２の光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の光の照射を停止する。
【００９４】
なお、LED６２a及びLED６２bは、少なくともジェスチャ検知可能範囲（撮像素子６３の撮像範囲）に対して、照射光を照射する。
【００９５】
また、波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。
【００９６】
次に、図４は、人間の肌に対する分光反射特性を示している。
【００９７】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態（日焼け等）に拘らず、一般性があるものである。
【００９８】
図４において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００９９】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【０１００】
具体的には、例えば、図４に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約６３パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約５０パーセントである。
【０１０１】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、少しずつ大きくなることが多い。
【０１０２】
第１の実施の形態では、例えば、組み合わせ（λ１，λ２）=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくなる組み合わせである。
【０１０３】
したがって、撮像画像I_λ1上の肌領域を構成する輝度値は比較的大きな値となり、撮像画像I_λ2上の肌領域を構成する輝度値は比較的小さな値となる。
【０１０４】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的大きな正の値αとなる。
【０１０５】
また、組み合わせ（λ１，λ２）=(870,950)は、人間の肌以外のものに対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくならない組み合わせである。
【０１０６】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的小さな正または負の値βとなる。
【０１０７】
よって、差分画像I_diffを、予め決められた２値化用の閾値（例えば、αよりも小であり、βよりも大である閾値）で２値化するようにして、肌領域を検出するようにしている。
【０１０８】
ここで、組み合わせ（λ１，λ２）は、（λ１，λ２）=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ（λ１，λ２）であれば、どのような組み合わせでもよい。
【０１０９】
なお、正確に肌検出を行うためには、概ね、波長λ１の値は640[nm]乃至1000[nm]の範囲内で、波長λ２の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。ただし波長λ１が可視光領域では、操作者に眩しさを感じさせることや、プロジェクタ２１との組合せでは投影画像の色調に影響を与えることから、波長λ１の値は不可視光領域の800[nm]以上とすることが望ましい。
【０１１０】
すなわち、例えば、上述の範囲内で、波長λ１の値は800[nm]以上、900[nm]未満とし、波長λ２の値は900[nm]以上とすることができる。
【０１１１】
図３に戻り、前述のとおり撮像素子６３には、その前面にレンズ６４が設けられており、そのレンズ６４の前面は、可視光を遮断する可視光カットフィルタ６５により覆われている。
【０１１２】
撮像素子６３は、例えばCMOS(complementary metal oxide semiconductor)センサ等により構成されており、フレーム同期信号に応じて、被写体の撮像を行う。また、撮像素子６３は、フレーム同期信号を、LED制御部８１に供給する。
【０１１３】
具体的には、例えば、撮像素子６３は、レンズ６４を介して、LED６２aによって被写体に照射されている波長λ1の光の反射光を受光する。そして、撮像素子６３は、受光した反射光を光電変換して得られる撮像画像I_λ1を、画像処理部８２に供給する。
【０１１４】
また、例えば、撮像素子６３は、レンズ６４を介して、LED６２bによって被写体に照射された波長λ2の光の反射光を受光する。そして、撮像素子６３は、受光した反射光を光電変換して得られる撮像画像I_λ2を、画像処理部８２に供給する。
【０１１５】
さらに、例えば、撮像素子６３は、レンズ６４を介して、LED６２a及びLED６２bのいずれも光を照射していない状態で、被写体からの反射光を受光する。そして、撮像素子６３は、受光した反射光を光電変換して得られる撮像画像I_offを、画像処理部８２に供給する。
【０１１６】
可視光カットフィルタ６５は、そこに入射される光のうち、可視光を遮断し、不可視光を透過させる。また、可視光カットフィルタ６５は、レンズ６４の前面を覆うように設けられており、図中左右方向に駆動可能とされる。なお、可視光カットフィルタ６５は、例えば、LED制御部８１からの制御にしたがって、図中左右方向に駆動される。
【０１１７】
投影部４２は、レーザ光源部１０１乃至１０３、プリズム１０４及び１０５、レンズ１０６、偏光ビームスプリッタ１０７、LCOS(liquid crystal on silicon)部１０８、レンズ１０９及び１１０、並びに制御部１１１から構成される。
【０１１８】
レーザ光源部１０１は、制御部１１１からの制御にしたがって、B成分のレーザ光をプリズム１０４に照射する。レーザ光源部１０２は、制御部１１１からの制御にしたがって、G成分のレーザ光をプリズム１０４に照射する。レーザ光源部１０３は、制御部１１１からの制御にしたがって、R成分のレーザ光をプリズム１０５に照射する。
【０１１９】
プリズム１０４は、レーザ光源部１０１から照射されるB成分のレーザ光を透過し、レーザ光源部１０２から照射されるG成分のレーザ光を、プリズム１０５の方向に反射するように構成される。
【０１２０】
したがって、レーザ光源部１０１からのB成分のレーザ光は、プリズム１０４を透過して、プリズム１０５に照射される。また、レーザ光源部１０２からのG成分のレーザ光は、プリズム１０４により反射され、プリズム１０５に照射される。
【０１２１】
プリズム１０５は、プリズム１０４から照射されるB成分及びG成分それぞれのレーザ光を透過し、レーザ光源部１０３から照射されるR成分のレーザ光を、レンズ１０６の方向に反射するように構成される。
【０１２２】
したがって、プリズム１０４から入射されるB成分及びG成分それぞれのレーザ光は、プリズム１０５を透過して、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。また、レーザ光源部１０３からのR成分のレーザ光は、プリズム１０５により反射され、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１２３】
レンズ１０６は、プリズム１０５と偏光ビームスプリッタ１０７との間に設けられており、プリズム１０５からの光を屈折等させる。
【０１２４】
偏光ビームスプリッタ１０７は、プリズム１０５からレンズ１０６を介して照射されるＳ偏光を、LCOS部１０８の方向に反射させる。
【０１２５】
なお、各レーザ光は、Ｓ偏光として、各レーザ光源部１０１乃至１０３から出力されているものとする。偏光ビームスプリッタ１０７は、プリズム１０５からレンズ１０６を介して照射される各レーザ光を反射させて、LCOS部１０８に照射させる。
【０１２６】
また、偏光ビームスプリッタ１０７は、LCOS部１０８から照射されるP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲に、投影画像が投影される。
【０１２７】
LCOS部１０８は、反射型液晶パネルにより構成されており、偏光ビームスプリッタ１０７からの各レーザ光に基づいて、それぞれ、R成分の投影画像、G成分の投影画像、及びB成分の投影画像を生成する。
【０１２８】
また、LCOS部１０８は、R成分の投影画像、G成分の投影画像、及びB成分の投影画像に対応する光を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０１２９】
レンズ１０９は、偏光ビームスプリッタ１０７とレンズ１１０との間に設けられている。また、レンズ１１０は、レンズ１０９と、投影範囲とされる領域との間に設けられている。
【０１３０】
レンズ１０９及び１１０は、偏光ビームスプリッタ１０７からのP偏光を屈折等させて、投影範囲内に照射させる。これにより、投影範囲には、投影画像が投影される。
【０１３１】
制御部１１１は、例えば、パーソナルコンピュータ２２からの制御にしたがって、レーザ光源部１０１乃至１０３、及びLCOS部１０８を制御して、パーソナルコンピュータ２２の表示画面に表示された画像を、投影画像として、投影範囲に投影させる。
なお、ここでは投影部４２の光源としてレーザ光源を用いる例を示したが、これには限定されず、ＬＥＤ光源でもよいし、ランプを用いてもよい。また、例えばレーザとＬＥＤを組み合わせたりしてもよい。
【０１３２】
[図３の肌検出部４１の動作説明]
次に、図５のフローチャートを参照して、図３の肌検出部４１が行なうジェスチャ認識処理について説明する。
【０１３３】
このジェスチャ認識処理は、例えば、使用者により、操作部４４を用いて、プロジェクタ２１の電源をオンする電源オン操作が行われたときに開始される。このとき、操作部４４は、使用者の電源オン操作に対応する操作信号を、制御部４３に供給する。制御部４３は、操作部４４からの操作信号に応じて、肌検出部４１及び投影部４２を制御する。
【０１３４】
すなわち、ステップＳ２１において、LED制御部８１は、制御部４３からの制御にしたがって、可視光カットフィルタ６５を駆動させるためのアクチュエータ（図示せず）等を制御して、レンズ６４の前面を覆うようにして配置された可視光カットフィルタ６５を、所定の方向に移動させる。これにより、レンズ６４の前面は、可視光カットフィルタ６５により覆われなくなる。
【０１３５】
ステップＳ２２において、制御部１１１は、制御部４３からの制御にしたがって、レーザ光源部１０１乃至１０３及びLCOS部１０８を制御して、LCOS部１０８から、輪郭投影画像を、少なくとも可視光を含む投影光として、投影範囲に投影させる。なお、投影部４２により、投影画像を投影する方法は、図６を参照して詳述する。
【０１３６】
ステップＳ２３において、撮像素子６３は、ジェスチャ検知可能範囲を撮像し、その結果得られる撮像画像I_pattern（図２）を、画像処理部８２に供給する。
【０１３７】
ステップＳ２４では、画像処理部８２は、撮像素子６３からの撮像画像I_patternの各輝度値に基づいて、投影された４隅の部分を示す位置を検出する。そして、画像処理部８２は、撮像画像I_patternにおける４隅の位置で囲まれる矩形領域を、撮像画像上における投影範囲として検出する。画像処理部８２は、その検出結果に基づいて、撮像画像上の投影範囲の位置や大きさを算出し、投影範囲情報として、内蔵する図示せぬメモリに保持する。
【０１３８】
ステップＳ２５では、LED制御部８１は、制御部４３からの制御にしたがって、図示せぬアクチュエータ等を駆動させ、可視光カットフィルタ６５によりレンズ６４が覆われるように、可視光カットフィルタ６５を移動させる。
【０１３９】
なお、ステップＳ２１乃至ステップＳ２５の処理は、キャリブレーション処理であり、例えば、ジェスチャ認識処理の開始時に１回だけ実行される。
【０１４０】
その後、使用者のジェスチャ等を認識する処理として、後述するステップＳ２６乃至ステップＳ３５の処理が繰り返して実行される。
【０１４１】
ステップＳ２６では、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の撮像（ステップＳ２７の処理）が行われるタイミングでLED６２aを点灯させる。これにより、LED６２aは、撮像素子６３の撮像が行われる間、被写体に対して、波長λ１の光を照射する。なお、LED６２bは消灯されている。
【０１４２】
ステップＳ２７では、撮像素子６３は、LED６２aの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ1を、画像処理部８２に供給する。
【０１４３】
ステップＳ２８では、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、ステップＳ２７における撮像素子６３の撮像が終了するタイミングで、LED６２aを消灯させる。
【０１４４】
また、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の次の撮像（ステップＳ２９の処理）が開始するタイミングで、LED６２bを点灯させる。これにより、LED６２bは、撮像素子６３の次の撮像が行われる間、被写体に対して、波長λ２の光を照射する。なお、LED６２aは消灯されている。
【０１４５】
ステップＳ２９では、撮像素子６３は、LED６２bの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ2を、画像処理部８２に供給する。
【０１４６】
ステップＳ３０では、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、ステップＳ２９における撮像素子６３の撮像が終了するタイミングで、LED６２bを消灯させる。これにより、LED６２a及びLED６２bは、いずれも消灯された状態となる。
【０１４７】
ステップＳ３１では、撮像素子６３は、LED６２a及びLED６２bのいずれも消灯している状態で撮像を開始し、その結果得られる撮像画像I_offを、画像処理部８２に供給する。
【０１４８】
ステップＳ３２では、画像処理部８２は、撮像素子６３からの各撮像画像I_λ1,I_λ2,I_offに基づいて、差分画像I_diff(={（I_λ1 - I_λ2）/（I_λ1-I_off）}×100)を算出する。
【０１４９】
ステップＳ３３では、画像処理部８２は、算出した差分画像I_diffを、予め決められた２値化用の閾値を用いて、２値化して２値化肌画像I_skinを算出する。
【０１５０】
ステップＳ３４では、画像処理部８２は、算出した２値化肌画像I_skinに基づいて、撮像素子６３から得られる撮像画像上の使用者の肌部分を表す肌領域、すなわち、例えば、使用者の手の位置を検出（算出）する。
【０１５１】
また、画像処理部８２は、ステップＳ２４の処理で保持済みの投影範囲情報に基づいて、算出した手の位置が、投影範囲内の位置であるか否かを判定する。
【０１５２】
ステップＳ３５では、画像処理部８２は、算出した手の位置が、撮像範囲内であると判定した場合、投影部４２により投影される投影画像上の、使用者の手の位置に対応する位置に、カーソル等を表示させる。
【０１５３】
すなわち、例えば、画像処理部８２は、算出した手の位置が、撮像範囲内であると判定した場合、その判定結果とともに、使用者の手の位置を表す位置情報を、パーソナルコンピュータ２２に供給する。
なお、例えば、画像処理部８２は、使用者の手が投影範囲内で検出された場合、投影範囲を含む撮像範囲内における手の位置を、位置情報として算出してもよいし、
投影範囲内における手の位置を、位置情報として算出するようにしてもよい。
すなわち、例えば、撮像範囲の左下の端部分を原点とし、水平方向をX軸とし、垂直方向をY軸として定義される位置を、位置情報として算出してもよいし、投影範囲の左下の端部分を原点とし、水平方向をX軸とし、垂直方向をY軸として定義される位置を、位置情報として算出してもよい。
その他、例えば、画像処理部８２は、前回の位置情報と、今回の位置情報との変化を表す変化値を算出して、パーソンルコンピュータ２２に供給してもよい。
【０１５４】
パーソナルコンピュータ２２は、画像処理部８２からの判定結果及び位置情報に基づいて、投影画像上の、使用者の手の位置に対応する位置に、カーソル等が表示された投影画像を生成するための制御用情報を生成し、投影部４２の制御部１１１に供給する。
【０１５５】
制御部１１１は、パーソナルコンピュータ２２からの制御用情報に基づいて、レーザ光源部１０１乃至１０３及びLCOS部１０８を制御して、使用者の手の位置に対応する位置に、カーソル等が表示された投影画像を投影させる。
【０１５６】
また、ステップＳ３５において、画像処理部８２は、肌領域の位置として、使用者の顔の位置を算出した場合、算出した顔の位置が、投射範囲内であると判定したときには、制御部１１１を制御して、投射範囲内に存在する顔には、投影部４２からの投影光を投影させないようにさせる。これは、投影部４２からの投影光による眩しさを軽減するためである。
【０１５７】
ステップＳ３５の処理の終了後、処理は、ステップＳ２６に戻り、それ以降、同様の処理が繰り返される。
【０１５８】
なお、このジェスチャ認識処理は、例えば、操作部４４を用いて、使用者により、プロジェクタ２２の電源をオフする電源オフ操作が行われたときに終了される。
【０１５９】
以上説明したように、ジェスチャ認識処理によれば、図４に示されるような人間の分光反射特性を利用して、画像上の人間の手等を検出するようにした。
【０１６０】
したがって、ジェスチャ認識処理によれば、被写体を照らす照明の明るさに拘らず、画像上の人間の手等を精度良く検出することが可能となる。
【０１６１】
このため、プロジェクタ２１を用いる場合のように、被写体を照らす照明の明るさが不十分である（暗い）ときでも、撮像画像上の人間の手等を精度良く検出することが可能となる。
【０１６２】
したがって、プロジェクタ２１としては、比較的大きなものの他、例えば、携帯電話機と同程度のサイズとされるピコプロジェクタのように、投影画像として投影する光が弱い場合でも、撮像画像上の人間の手等を精度良く検出できる。
【０１６３】
このため、プロジェクタ２１を、人間の手等を検出する検出精度を維持したまま、小型化することが可能となる。
【０１６４】
また、ジェスチャ認識処理では、撮像により得られる撮像画像I_λ1,I_λ2,I_offに基づいて、肌領域と非肌領域とを表す２値化肌画像I_skinを算出するようにした。そして、算出した２値化肌画像I_skinから、人間の手の形状等を検出するという簡易な処理で、人間のポスチャ又はジェスチャを認識できるようにした。
【０１６５】
このため、例えば、人間の手等が写った画像上の各領域と、人間の手を表すパターン画像とをそれぞれ比較して人間の手等を検出するパターンマッチング等のような煩雑な処理を行う場合と比較して、ジェスチャ認識処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
【０１６６】
したがって、例えば、プロジェクタ２１では、処理能力を向上させるために、高価なDSPを実装する必要がない。このため、安価なDSPを用いることができるので、プロジェクタ２１の製造コストを低く抑えることができる。
【０１６７】
また、例えば、ジェスチャ認識処理を行うプロジェクタ２１では、LED６２a,LED６２b、及び撮像素子６３等の、比較的容易に調達可能な部品により構成されている。
【０１６８】
したがって、例えば、特殊で非常に高価なセンサ等を用いて、人間のジェスチャ等を認識する場合と比較して、安価にプロジェクタ２１を製造することができる。
【０１６９】
なお、特殊で非常に高価なセンサとしては、例えば、各対象の距離を計測し、計測した距離に応じて、人間の手等である対象を検出する距離センサや、各対象の温度を計測し、計測した温度に応じて、人間の手等である対象を検出する熱センサ等が考えられる。
【０１７０】
ところで、本発明者は、背景技術に記載の認識技術を検討した際、プロジェクタ等の投影装置から投影される投影範囲内で、使用者にジェスチャ等を行わせるようにし、投影範囲を撮像範囲として撮像することも考えた。
【０１７１】
しかしながら、この場合、使用者の手等に、投影装置からの投影画像が投影されることとなる。このため、撮像画像上に写る使用者の手等には、その手等に投影された投影画像自体がノイズとなってしまい、パターンマッチング等で、使用者の手等の検出が難しくなってしまう。
また、プロジェクタ２１等の投影装置の新たな使い方として、投影装置からの投影画像が投影されたスクリーン上における使用者の手や指の動きで、投影画像をあたかもタッチパネルとして操作するように制御することが考えられる。
投影画像の投影部分は投影範囲以外の空間に比べると明るい場合が多いが、投影画像そのものが暗い場合や部分的にでも暗い部分があれば、そこで手や指を動かしてもやはり照度不足で手や指ははっきりとは写らず、パターンマッチング等を使用することはできない。
一方、投影画像が明るい場合には前述のような照明が不十分という問題は発生しない。しかし、スクリーンを撮像した場合、投影画像と操作者の手や指が共に写り込んでしまう。極端な場合、投影画像上に操作者以外の手や指が存在することもあり、操作者の手や指との区別をパターンマッチング等で行うことはできない。そうでなくとも、手や指に投影画像が重なって写り込むため、パターンマッチングによる検出は困難である。
【０１７２】
そこで、本発明者は、パターンマッチング等ではなく、図４に示されるような分光反射特性を利用する本技術を、プロジェクタ２１に適用することを考えた。
【０１７３】
本開示においても、投影範囲内で、使用者の肌領域を検出する場合には、使用者の肌部分に投影された投影画像の反射光が、撮像素子６３に入射される事態が生じ得る。
【０１７４】
しかしながら、プロジェクタ２１では、このような事態を考慮し、図３に示されるように、撮像素子６３（及びレンズ６４）の前面を覆うように、可視光カットフィルタ６５を設けるようにしている。このため、本開示のプロジェクタ２１では、使用者の肌部分に投影された投影画像の反射光により、肌領域の検出精度が低下する事態を抑止するようにしている。
【０１７５】
また、本発明者は、１波長の光（例えば、波長λ１の光）を、ジェスチャ検知可能範囲に照射した状態で、ジェスチャ検知可能範囲を撮像して得られる撮像画像の各輝度値を、予め決められた閾値で２値化するようにして、使用者の手等を検出する方法も考えた。
【０１７６】
しかしながら、この方法では、１波長の光に対する人間の肌の反射率と、人間の背景部分の反射率とが近い場合には、２値化により、人間の肌部分の他、背景部分も、肌領域として検出されてしまう。
【０１７７】
したがって、本開示では、異なる２波長の反射率の差を利用するようにして、人間の肌部分の他、背景部分も、肌領域として検出される事態を防止するようにしている。
【０１７８】
さらに、本発明者は、投影範囲を撮像して得られる撮像画像において、暗い部分（投影範囲において、使用者の存在により影となる部分）を、使用者が存在する部分として検出することも考えた。
【０１７９】
しかしながら、プロジェクタ２１等を用いる環境下では、周囲の明るさが十分ではないため、撮像画像全体が、暗い画像となってしまい、使用者が存在する部分を精度良く検出することは難しい。このため、本発明者は、異なる２波長を用いる本技術を発明するに至った。
【０１８０】
ところで、ジェスチャ認識処理では、ステップＳ２１において、LED制御部８１は、図示せぬアクチュエータ等を制御して、可視光カットフィルタ６５を移動させるようにして、レンズ６４が、可視光カットフィルタ６５に覆われなくなるようにした。
【０１８１】
これは、ステップＳ２３において、撮像素子６３が、少なくとも可視光を含む投影光として投影範囲に投影された輪郭投影画像の反射光等を受光して、図２に示されるような撮像画像I_patternを生成できるようにするために行われるものである。
【０１８２】
したがって、ステップＳ２２において、LCOS部１０８から、輪郭投影画像を、不可視光として、投影範囲に投影させるようにすれば、投影範囲に投影された投影画像の反射光としての不可視光が、可視光カットフィルタ６５を通過して、撮像素子６３に入射される。この場合、ステップＳ２１の処理、及びステップＳ２５の処理を省くことができ、撮像素子６３は、撮像画像I_patternを生成することとなる。
【０１８３】
なお、可視光カットフィルタ６５を設けずに、撮像素子６３を、可視光を遮断する可視光カットフィルタが設けられた第１の受光素子と、可視光カットフィルタが設けられていない第２の受光素子とにより構成することもできる。
【０１８４】
この場合、撮像素子６３は、撮像画像I_patternと撮像画像I_λ1等を同時に生成することができるようになる。
【０１８５】
すなわち、例えば、LED６２aにより、波長λ１の光が照射され、LCOS部１０８により投影光が投影されている場合、撮像素子６３には、波長λ１の光の反射光と、投影範囲に投影された投影光の反射光等が入射される。
【０１８６】
そして、撮像素子６３は、第１の受光素子により、波長λ１の照射光の反射光を受光して撮像画像I_λ1を生成し、第２の受光素子により、投影範囲に投影された投影光の反射光等を受光して撮像画像I_patternを生成することができる。
【０１８７】
[図３の投影部４２の動作説明]
次に、図６のフローチャートを参照して、図３の投影部４２が行う投影処理について説明する。
【０１８８】
なお、この投影処理は、制御部４３からの制御に応じて、図５のステップＳ２２で輪郭投影画像を投影する際に行われる。
【０１８９】
また、この投影処理は、図５のステップＳ２６乃至ステップＳ３５の処理の実行中に、例えば、パーソナルコンピュータ２２からの制御に応じて行われる。
【０１９０】
ステップＳ５１において、レーザ光源部１０３は、制御部１１１からの制御にしたがって、R成分のレーザ光をプリズム１０５に照射する。これにより、R成分のレーザ光は、プリズム１０５で反射され、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１９１】
そして、照射されたR成分のレーザ光は、偏光ビームスプリッタ１０７で反射され、LCOS部１０８に照射される。なお、プリズム１０５からレンズ１０６を介して偏光ビームスプリッタ１０７に照射されたR成分のレーザ光は、S偏光とされているものとする。
【０１９２】
ステップＳ５２において、LCOS部１０８は、制御部１１１からの制御にしたがって、偏光ビームスプリッタ１０７から照射されるR成分のレーザ光に基づいて、R成分の投影画像を生成する。そして、LCOS部１０８は、生成したR成分の投影画像を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０１９３】
偏光ビームスプリッタ１０７は、LCOS部１０８からのP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲には、R成分の投影画像が投影される。
【０１９４】
ステップＳ５３において、レーザ光源部１０２は、制御部１１１からの制御にしたがって、G成分のレーザ光をプリズム１０４に照射する。これにより、G成分のレーザ光は、プリズム１０４で反射され、プリズム１０５を透過し、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１９５】
そして、照射されたG成分のレーザ光は、偏光ビームスプリッタ１０７で反射され、LCOS部１０８に照射される。なお、プリズム１０５からレンズ１０６を介して偏光ビームスプリッタ１０７に照射されたG成分のレーザ光は、S偏光とされているものとする。
【０１９６】
ステップＳ５４において、LCOS部１０８は、制御部１１１からの制御にしたがって、偏光ビームスプリッタ１０７から照射されるG成分のレーザ光に基づいて、G成分の投影画像を生成する。そして、LCOS部１０８は、生成したG成分の投影画像を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０１９７】
偏光ビームスプリッタ１０７は、LCOS部１０８からのP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲には、G成分の投影画像が投影される。
【０１９８】
ステップＳ５５において、レーザ光源部１０１は、制御部１１１からの制御にしたがって、B成分のレーザ光をプリズム１０４に照射する。これにより、B成分のレーザ光は、プリズム１０４及びプリズム１０５を透過し、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１９９】
そして、照射されたB成分のレーザ光は、偏光ビームスプリッタ１０７で反射され、LCOS部１０８に照射される。なお、プリズム１０５からレンズ１０６を介して偏光ビームスプリッタ１０７に照射されたB成分のレーザ光は、S偏光とされているものとする。
【０２００】
ステップＳ５６において、LCOS部１０８は、制御部１１１からの制御にしたがって、偏光ビームスプリッタ１０７から照射されるB成分のレーザ光に基づいて、B成分の投影画像を生成する。そして、LCOS部１０８は、生成したB成分の投影画像を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０２０１】
偏光ビームスプリッタ１０７は、LCOS部１０８からのP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲には、B成分の投影画像が投影される。
【０２０２】
ステップＳ５６の終了後、処理はステップＳ５１に戻り、それ以降同様の処理が繰り返される。
【０２０３】
＜２．第２の実施の形態＞
次に、図７は、プロジェクタ２１に含まれる肌検出部４１及び投影部４２の第２の詳細な構成例を示している。
【０２０４】
なお、図７では、図３と同様に構成される部分については、同一の符号を付すようにしているため、それらの部分の説明は、以下、適宜、省略する。
【０２０５】
すなわち、図７の肌検出部４１において、LED６２aの前面に偏光変換素子１３１aが、LED６２bの前面に偏光変換素子１３１bが、それぞれ設けられているとともに、偏光変換素子１３１aと偏光ビームスプリッタ１０７との間にプリズム１３２が新たに設けられている他は、図３の場合と同様に構成される。
【０２０６】
また、図７の肌検出部４１は、投影部４２の偏光ビームスプリッタ１０７並びにレンズ１０９及び１１０も含む点で、図３の場合と異なる。
【０２０７】
偏光変換素子１３１aは、LED６２aからの照射光をS偏光に変換するための変換素子である。なお、LED６２aからの照射光は、S偏光とP偏光とにより構成されており（例えば、S偏光とP偏光とがほぼ半分ずつ）、偏光変換素子１３１aを通過することにより、照射光の殆ど（例えば、７割から８割程度）がS偏光とされる。
【０２０８】
したがって、プリズム１３２には、LED６２aから偏光変換素子１３１aを介して、殆どがS偏光とされた波長λ１の照射光が入射される。
【０２０９】
偏光変換素子１３１bは、LED６２bからの照射光をS偏光に変換するための変換素子である。なお、LED６２bからの照射光は、S偏光とP偏光とにより構成されており（例えば、S偏光とP偏光とがほぼ半分ずつ）、偏光変換素子１３１bを通過することにより、照射光の殆ど（例えば、７割から８割程度）がS偏光とされる。
【０２１０】
したがって、プリズム１３２には、LED６２bから偏光変換素子１３１bを介して、殆どがS偏光とされた波長λ２の照射光が入射される。
【０２１１】
プリズム１３２は、LED６２aから偏光変換素子１３１aを介して入射される波長λ１の照射光を透過させ、LED６２bから偏光変換素子１３１bを介して入射される波長λ２の照射光を、偏光ビームスプリッタ１０７の方向に反射させる。
【０２１２】
これにより、波長λ１の照射光、及び波長λ２の照射光は、プリズム１３２を介して偏光ビームスプリッタ１０７に入射される。なお、波長λ１の照射光は、偏光変換素子１３１aにより、照射光の殆どがS偏光とされている。また、波長λ２の照射光は、偏光変換素子１３１bにより、照射光の殆どがS偏光とされている。
【０２１３】
したがって、偏光ビームスプリッタ１０７は、プリズム１３２を介して入射される波長λ１の照射光及び波長λ２の照射光を、レンズ１０９及びレンズ１１０の存在する方向に反射させる。
【０２１４】
なお、いまの場合、波長λ１の照射光及び波長λ２の照射光は、その殆どがS偏光とされているので、殆どの照射光が、偏光ビームスプリッタ１０７で反射されることとなる。よって、P偏光として偏光ビームスプリッタ１０７を通過する照射光は非常に少ないものとなっている。
【０２１５】
このため、波長λ１の照射光及び波長λ２の照射光それぞれの光量を、殆ど維持したまま、被写体に対して照射光を照射することができる。
【０２１６】
なお、図７に示されるように構成した場合、第１の実施の形態と同様に、肌検出部４１によるジェスチャ認識処理と、投影部４２による投影処理とは、それぞれ独立に行われる。また、図７に示される場合には、撮像範囲と投影範囲とが同一となっている。このため、LED６２a及びLED６２bは、少なくとも撮像範囲（投影範囲）を照射する。
【０２１７】
＜３．第３の実施の形態＞
次に、図８は、プロジェクタ２１に含まれる肌検出部４１及び投影部４２の第３の詳細な構成例を示している。
【０２１８】
なお、図８では、図３と同様に構成される部分については、同一の符号を付すようにしているため、それらの部分の説明は、以下、適宜、省略する。
【０２１９】
すなわち、図８では、投影部４２において、プリズム１０５とレンズ１０６との間に、新たにプリズム１５１a及びプリズム１５１bが設けられている他は、図３の投影部４２と同様に構成される。
【０２２０】
また、図８の肌検出部４１では、LED６２aの前面に偏光変換素子１３１aが、LED６２bの前面に偏光変換素子１３１bが、それぞれ設けられている。なお、偏光変換素子１３１a及び１３１bは、図７に示された偏光変換素子１３１a及び１３１bと同様であるため、同一の符号を付すようにしている。
【０２２１】
さらに、投影部４２のレンズ１０６、偏光ビームスプリッタ１０７、LCOS部１０８、レンズ１０９及び１１０、並びにプリズム１５１a及び１５１bが、肌検出部４１としても機能する他は、図３の肌検出部４１と同様に構成される。
【０２２２】
プリズム１５１aには、LED６２aから偏光変換素子１３１aを介して、波長λ１の照射光が入射される。また、プリズム１５１aには、プリズム１５１bを通して波長λ２の照射光、R成分,G成分,B成分それぞれのレーザ光が入射される。
【０２２３】
プリズム１５１aは、LED６２aから偏光変換素子１３１aを介して入射される波長λ１の照射光を、レンズ１０６の方向に反射させ、プリズム１５１bを通して入射される光を透過させる。
【０２２４】
したがって、偏光ビームスプリッタ１０７には、プリズム１５１aからレンズ１０６を通して、波長λ１の照射光、波長λ２の照射光、R成分のレーザ光、G成分のレーザ光、及びB成分のレーザ光が入射される。
【０２２５】
プリズム１５１bには、LED６２bから偏光変換素子１３１bを介して、波長λ２の照射光が入射される。また、プリズム１５１bには、プリズム１０５を通して、R成分,G成分,B成分それぞれのレーザ光が入射される。
【０２２６】
プリズム１５１bは、LED６２bから偏光変換素子１３１bを介して入射される波長λ２の照射光を、プリズム１５１aの方向に反射させ、プリズム１０５を通して入射されるレーザ光を透過させる。
【０２２７】
したがって、プリズム１５１aには、プリズム１５１bを通して、波長λ２の照射光、R成分のレーザ光、G成分のレーザ光、及びB成分のレーザ光が入射される。
【０２２８】
[図８のように構成した場合の動作説明]
次に、図９のフローチャートを参照して、図８のように構成した場合に、プロジェクタ２１が行うジェスチャ認識投影処理を説明する。
【０２２９】
このジェスチャ認識投影処理は、例えば、パーソナルコンピュータ２２からの制御に応じて開始される。なお、いまの場合、ジェスチャ可能検知範囲と投影範囲とは同一の範囲とされている。このため、ジェスチャ認識投影処理では、図５のステップＳ２１乃至ステップＳ２５で説明したキャリブレーション処理を行う必要がない。
【０２３０】
ステップＳ７１乃至ステップＳ７６において、それぞれ、図６のステップＳ５１乃至ステップＳ５６と同様の処理が行われ、図８の投影部４２により、投影画像が投影される。
【０２３１】
ステップＳ７７において、制御部１１１は、LCOS部１０８を制御して、全画素を均一に反射させるように設定する。
【０２３２】
ステップＳ７８において、LED制御部８１は、図５のステップＳ２６と同様にして、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の撮像（ステップＳ７９の処理）が行われるタイミングでLED６２aを点灯させる。
【０２３３】
これにより、波長λ１の照射光は、LED６２aから偏光変換素子１３１aを通過して、プリズム１５１aにより、偏光ビームスプリッタ１０７の方向に反射される。なお、波長λ１の照射光は、偏光変換素子１３１aを通過する際に、偏光変換素子１３１aにより、殆どの照射光がS偏光とされる。
【０２３４】
このため、偏光ビームスプリッタ１０７は、波長λ１の照射光のS偏光を、LCOS部１０８の方向に反射させる。LCOS部１０８は、偏光ビームスプリッタ１０７からの波長λ１の照射光を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０２３５】
偏光ビームスプリッタ１０７は、LCOS部１０８からの波長λ１の照射光を透過させて、レンズ１０９及びレンズ１１０を介して、投影範囲に照射させる。
【０２３６】
これにより、LED６２aは、撮像素子６３の撮像が行われる間、投影範囲内の被写体に対して、波長λ１の光を照射する。なお、LED６２bは消灯されている。
【０２３７】
ステップＳ７９では、図５のステップＳ２７と同様の処理が行われ、撮像素子６３から画像処理部８２に対して、撮像画像I_λ1が供給される。なお、いまの場合、投影範囲がジェスチャ検知可能範囲とされている。したがって、撮像素子６３は、投影範囲を撮像範囲として撮像を行うこととなる。このことは、ステップＳ８１及びステップＳ８３でも同様である。
【０２３８】
ステップＳ８０では、LED制御部８１は、図５のステップＳ２８と同様にして、撮像素子６３からのフレーム同期信号に応じて、ステップＳ７９における撮像素子６３の撮像が終了するタイミングで、LED６２aを消灯させる。
【０２３９】
また、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の次の撮像（ステップＳ８１の処理）が開始するタイミングで、LED６２bを点灯させる。
【０２４０】
これにより、波長λ２の照射光は、LED６２bから偏光変換素子１３１bを通過して、プリズム１５１bにより、プリズム１５１a（偏光ビームスプリッタ１０７）の方向に反射される。そして、波長λ２の照射光は、プリズム１５１a及びレンズ１０６を通過して、偏光ビームスプリッタ１０７に入射される。
【０２４１】
なお、波長λ２の照射光は、偏光変換素子１３１bを通過する際に、偏光変換素子１３１bにより、殆どの照射光がS偏光とされる。
【０２４２】
このため、偏光ビームスプリッタ１０７は、波長λ２の照射光のS偏光を、LCOS部１０８の方向に反射させる。LCOS部１０８は、偏光ビームスプリッタ１０７からの波長λ２の照射光を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０２４３】
偏光ビームスプリッタ１０７は、LCOS部１０８からの波長λ２の照射光を透過させて、レンズ１０９及びレンズ１１０を介して、投影範囲に照射させる。
【０２４４】
これにより、LED６２bは、撮像素子６３の次の撮像が行われる間、投射範囲内の被写体に対して、波長λ２の光を照射する。なお、LED６２aは消灯されている。
【０２４５】
ステップＳ８１では、図５のステップＳ２９と同様の処理が行われ、撮像素子６３から画像処理部８２に対して、撮像画像I_λ2が供給される。
【０２４６】
ステップＳ８２乃至ステップＳ８７において、それぞれ、図５のステップＳ３０乃至ステップＳ３５と同様の処理が行われる。
【０２４７】
なお、いまの場合、ジェスチャ検知可能範囲は、投影範囲であるため、投影範囲内で行われるジェスチャ等が、使用者の手の位置や形状等として検出され、その検出結果に応じて、投影画像上にカーソル等が表示させることとなる。
【０２４８】
ステップＳ８７の処理の終了後、制御部１１１は、LCOS部１０８を制御して、全画素を均一に反射させるようにされた設定を、投影画像を投影する際の設定に戻す。処理は、ステップＳ７１に戻り、それ以降、同様の処理が繰り返される。
【０２４９】
なお、このジェスチャ認識投影処理は、例えば、使用者が、操作部４４を操作して電源をオフしたときに終了される。
【０２５０】
以上説明したように、ジェスチャ認識投影処理によれば、被写体を照らす照明の明るさに拘らず、画像上の人間の手等を精度良く検出することが可能となる。
【０２５１】
また、ジェスチャ認識処理では、パターンマッチング等のような複雑な処理を行う場合と比較して、ジェスチャ認識処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
【０２５２】
さらに、例えば、ジェスチャ認識処理を行うプロジェクタ２１では、LED６２a,LED６２b、及び撮像素子６３等の、容易に調達可能な部品により構成されている。このため、例えば、特殊で非常に高価なセンサ等を用いて、人間のジェスチャ等を認識する場合と比較して、安価にプロジェクタ２１を製造することができる。
【０２５３】
また、波長λ１の光、及び波長λ２の光を照射する際に、ステップＳ７７において、制御部１１１は、LCOS部１０８を制御して、全画素を均一に反射させるように設定している。
【０２５４】
このため、波長λ１の光、及び波長λ２の光が、均一な光として、ジェスチャ検知可能範囲である投影範囲に照射されることとなるので、波長λ１の光、及び波長λ２の光が不均一なために、肌検出の検出精度が低下する事態を防止できる。
【０２５５】
＜４．変形例＞
プロジェクタ２１において、撮像素子６３による撮像方向は固定の他、可変とすることができる。すなわち、例えば、撮像素子６３を含む肌検出部４１を駆動可能にして、撮像素子６３による撮像方向を変化できるように構成することができる。
【０２５６】
さらに、例えば、画像処理部８２は、検出した使用者の手等の第１の位置を、撮像素子６３による撮像方向に応じた第２の位置に変換するようにしてもよい。
【０２５７】
すなわち、例えば、撮像方向が、図１に示されるように投影画像の投影方向とは同一である場合、撮像方向に存在する使用者は、投影方向に投影された投影画像を正面に見ながら、ジェスチャ等を行うと思われる。
【０２５８】
具体的には、例えば、投影画像上のカーソル等を、使用者から見て右方向に移動させたい場合、使用者は、投影画像を正面に見ながら、手等を右方向に移動させる。
【０２５９】
この場合、投影画像上のカーソル等を移動させたい方向と、使用者が、自身の手等を移動させる方向とは一致するため、画像処理部８２は、検出した使用者の手等の第１の位置を、移動する手の軌跡をジェスチャとして認識するものとして、そのまま用いて問題ない。
【０２６０】
しかしながら、例えば、撮像方向が、投影画像の投影方向と真逆である場合、撮像方向に存在する使用者は、投影範囲を正面にして、パーソナルコンピュータ２２に表示される投影画像（投影範囲に投影されたものと同一の投影画像）を見ながら、撮像範囲内でジェスチャ等を行うことが考えられる。
【０２６１】
すなわち、例えば、投影画像上のカーソル等を、図１の右方向に移動させたい場合、使用者は、プロジェクタ２１を正面に見ながら、使用者から見て右方向（図１の右方向）に、手等を移動させる。
【０２６２】
この場合、撮像素子６３から見ると使用者の手は、向かって左に動くことになる。従って撮像素子６３により得られる撮像画像を用いて、画像処理部８２が検出した使用者の手等の連続的な第１の位置に合わせて、投影画像上のカーソル等を移動させると、カーソルは左方向に移動してしまうことになる。
なお、画像処理部８２は、例えば、使用者の手等の連続的な第１の位置により、使用者の手等の動きを検出するようにしている。
【０２６３】
したがって、画像処理部８２は、検出した第１の位置を、例えば、撮像画像上の上下方向に延びる中心線に対して、左右対称な第２の位置に変換し、変換後の第２の位置を、その後の処理で用いるようにする。
この場合、画像処理部８２は、例えば、使用者の手等の連続的な第２の位置により、使用者の手等の動きを検出するものとなる。
【０２６４】
これにより、画像処理部８２は、使用者の手が、図１の左方向ではなく、図１の右方向に移動したものと認識できるようになり、投影画像上のカーソルを、移動させたい図１の右方向に移動させるようにすることができる。
【０２６５】
第２の実施の形態では、図７に示されるように、偏光ビームスプリッタ１０７を用いて、LED６２aからプリズム１３２を介して入射される波長λ１の照射光、及びLED６２bからプリズム１３２を介して入射される波長λ２の照射光を、投影範囲の方向に反射させるようにしている。
【０２６６】
しかしながら、例えば、ミラー等を用いるようにして、波長λ１の照射光、及び波長λ２の照射光を、投影範囲の方向に反射させるようにしてもよい。
【０２６７】
また、第１乃至第３の実施の形態において、プロジェクタ２１には、例えば、加速度センサ等を設けるようにして、プロジェクタ２１の動きを検知できるようにしてもよい。そして、プロジェクタ２１の動きが検知された場合には、再度、撮像画像上の投影範囲を算出するキャリブレーション処理を行うようにしてもよい。
【０２６８】
この場合、プロジェクタ２１の動きにより、投影範囲が変更された場合でも、変更後の投影範囲を、再度のキャリブレーション処理で算出できるようになる。
【０２６９】
なお、本技術は以下のような構成もとることができる。
（１）被写体に対して第１の波長の光を照射する第１の照射部と、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出部と、前記検出部の検出結果に応じて変更される投影画像を投影する投影部とを含む投影装置。
（２）前記撮像部は、前記投影画像が投影される投影範囲を含む撮像範囲で、前記被写体の撮像を行う前記（１）に記載の投影装置。
（３）前記撮像部の撮像により得られる撮像画像上の前記投影範囲を算出する算出部をさらに含む前記（２）に記載の投影装置。
（４）前記投影部は、前記投影範囲の輪郭を表す輪郭投影画像も投影し、前記算出部は、前記輪郭投影画像が投影されたときの撮像で得られる前記撮像画像上の前記投影範囲を算出する前記（３）に記載の投影装置。
（５）前記第１の照射部は、前記第１の波長の不可視光を照射し、前記第２の照射部は、前記第２の波長の不可視光を照射し、前記投影部は、前記輪郭投影画像を、少なくとも可視光を含む投影光、又は不可視光の一方として投影する前記（４）に記載の投影装置。
（６）前記投影部は、前記輪郭投影画像を、前記投影光として投影し、前記撮像部は、可視光を遮断する可視光遮断部が設けられた第１の受光素子と、前記可視光遮断部が設けられていない第２の受光素子とにより構成される撮像素子を有し、前記第１の受光素子により、前記第１及び第２の撮像画像を生成し、前記第２の受光素子により、前記パターン画像を生成する前記（５）に記載の投影装置。
（７）前記投影部は、前記輪郭投影画像を不可視光として投影し、前記撮像部は、可視光を遮断する可視光遮断部が設けられた撮像素子を有し、前記撮像素子により、前記第１及び第２の撮像画像の他、前記パターン画像も生成する
前記（５）に記載の投影装置。
（８）可視光を遮断する可視光遮断部と、前記輪郭投影画像として、前記投影光が投影されるときに、前記撮像素子に可視光が入射されるように前記可視光遮断部を移動させ、前記第１の波長の光、又は前記第２の波長の光が照射されるときに、前記撮像素子に可視光が入射されないように前記可視光遮断部を移動させる
移動制御部とをさらに含む前記（５）に記載の投影装置。
（９）前記投影部は、予め決められた方向から入射される光を、前記投影範囲に反射させる反射部を有し、前記第１の照射部は、前記第１の波長の光を、前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部は、前記第２の波長の光を、前記反射部に反射させて前記投影範囲に照射する前記（２）乃至（８）に記載の投影装置。
（１０）前記第１の照射部は、前記第１の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部は、前記第２の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射する前記（９）に記載の投影装置。
（１１）前記第１の照射部から照射される前記第１の波長の光を、第１の偏光、又は前記第１の偏光とは異なる第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第１の偏光変換部と、前記第２の照射部から照射される前記第２の波長の光を、前記第１の偏光又は前記第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第２の偏光変換部とをさらに含む前記（９）に記載の投影装置。
（１２）前記投影装置の動きを検知する動き検知部をさらに含み、前記算出部は、前記動き検知部により、前記投影装置の動きが検知された場合にも、前記撮像画像上の前記投影範囲を算出する前記（３）又は（４）に記載の投影装置。
（１３）前記投影部は、前記投影範囲のうち、前記肌領域の検出された部分を除く範囲に、前記投影画像を投影する前記（１）に記載の投影装置。
（１４）前記撮像部は、撮像方向を変更可能である前記（１）に記載の投影装置。
（１５）前記肌領域が検出された前記撮像画像上の第１の位置を、前記撮像部の撮像方向に応じた第２の位置に変換する位置変換部をさらに含み、前記投影部は、前記第２の位置に応じて変更された前記投影画像を投影する前記（１４）に記載の投影装置。
（１６）
前記第１の照射部は、前記第１の波長の光を前記投影範囲に照射し、前記第２の照射部は、前記第２の波長の光を前記投影範囲に照射し、前記検出部は、前記第１の撮像画像及び前記第２の撮像画像に基づいて、前記投射範囲内の前記肌領域を検出する前記（２）に記載の投影装置。
（１７）前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす前記（１）に記載の投影装置。
（１８）前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、前記第２の照射部は、前記第２の波長λ２の不可視光を照射する前記（１７）に記載の投影装置。
（１９）前記投影範囲における前記検出結果を、前記投影範囲内の位置に応じた信号として出力する出力部をさらに含む前記（３）に記載の投影装置。
（２０）投影装置の投影方法において、前記投影装置による、被写体に対して第１の波長の光を照射する第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なう第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なう第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップとを含む投影方法。
（２１）コンピュータに、被写体に対して第１の波長の光を照射させる第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なわせる第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射させる第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なわせる第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影させる投影ステップとを含む処理を実行させるためのプログラム。
【０２７０】
[コンピュータの構成例]
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７１】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０２７２】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０２７３】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２７４】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２７５】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２７６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２７７】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７８】
また、本開示における実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２７９】
２１ プロジェクタ, ２２ パーソナルコンピュータ, ４１ 肌検出部, ４２ 投影部, ４３ 制御部, ４４ 操作部, ６１ DSP, ６２a,６２b LED, ６３ 撮像素子, ６４ レンズ, ６５ 可視光カットフィルタ, ８１ LED制御部, ８２ 画像処理部, １０１,１０２,１０３ レーザ光源部, １０４,１０５ プリズム, １０６ レンズ, １０７ 偏光ビームスプリッタ, １０８ LCOS部, １０９,１１０ レンズ, １１１ 制御部, １３１a,１３１b 偏光変換素子, １３２,１５１a,１５１b プリズム
【技術分野】
【０００１】
本開示は、投影装置、投影方法、及びプログラムに関し、特に、例えば、プロジェクタ等の投影装置が使用される環境下で、使用者のポスチャ又はジェスチャ等を認識できるようにした投影装置、投影方法、及びプログラムに関する。
【背景技術】
【０００２】
被写体を撮像して得られる撮像画像上から、人間のポスチャ（姿勢）又はジェスチャ（動作）を認識する認識技術が存在する。
【０００３】
この認識技術では、撮像画像上の人間の手等を、パターンマッチング等により検出し、その検出結果に基づいて、人間のポスチャ又はジェスチャを認識する（例えば、特許文献１参照）。
【０００４】
なお、パターンマッチングとは、例えば、人間の手の形状を表すパターン画像を、撮像画像上の各領域と比較し、パターン画像と最も類似するとの比較結果を得た領域に、人間の手が存在することを検出する技術をいう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３０２９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の認識技術では、例えば、被写体を照らす照明が十分ではない（暗い）場合には、周囲の暗闇にまみれて、被写体が撮像画像上に写らないことが生じ得る。
【０００７】
この場合、撮像画像上には人間の手等が写っていないことになるので、上述のパターンマッチング等により人間の手等を検出することができない。
【０００８】
したがって、例えば、プロジェクタ等の投影装置を、使用者のポスチャやジェスチャ等で制御するような場合、その用いる環境下では、投影装置から投影される投影範囲以外の空間が真っ暗となる場合も多く、上述の認識技術を用いて、人間のポスチャ又はジェスチャを認識することは困難である。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、投影装置を用いる環境下でも、投影装置に対して、使用者のポスチャ又はジェスチャ等を精度良く認識させるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の投影装置は、被写体に対して第１の波長の光を照射する第１の照射部と、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出部と、前記検出部の検出結果に応じて変更される投影画像を投影する投影部とを含む投影装置である。
【００１１】
前記撮像部では、前記投影画像が投影される投影範囲を含む撮像範囲で、前記被写体の撮像を行うことができる。
【００１２】
前記撮像部の撮像により得られる撮像画像上の前記投影範囲を算出する算出部をさらに設けることができる。
【００１３】
前記投影部では、前記投影範囲の輪郭を表す輪郭投影画像も投影し、前記算出部では、前記輪郭投影画像が投影されたときの撮像で得られる前記撮像画像上の前記投影範囲を算出することができる。
【００１４】
前記第１の照射部では、前記第１の波長の不可視光を照射し、前記第２の照射部では、前記第２の波長の不可視光を照射し、前記投影部では、前記輪郭投影画像を、少なくとも可視光を含む投影光、又は不可視光の一方として投影することができる。
【００１５】
前記投影部では、前記輪郭投影画像を、前記投影光として投影し、前記撮像部では、可視光を遮断する可視光遮断部が設けられた第１の受光素子と、前記可視光遮断部が設けられていない第２の受光素子とにより構成される撮像素子を有し、前記第１の受光素子により、前記第１及び第２の撮像画像を生成し、前記第２の受光素子により、前記パターン画像を生成することができる。
【００１６】
前記投影部では、前記輪郭投影画像を不可視光として投影し、前記撮像部では、可視光を遮断する可視光遮断部が設けられた撮像素子を有し、前記撮像素子により、前記第１及び第２の撮像画像の他、前記パターン画像も生成することができる。
【００１７】
可視光を遮断する可視光遮断部と、前記輪郭投影画像として、前記投影光が投影されるときに、前記撮像素子に可視光が入射されるように前記可視光遮断部を移動させ、前記第１の波長の光、又は前記第２の波長の光が照射されるときに、前記撮像素子に可視光が入射されないように前記可視光遮断部を移動させる移動制御部とをさらに設けることができる。
【００１８】
前記投影部では、予め決められた方向から入射される光を、前記投影範囲に反射させる反射部を有し、前記第１の照射部では、前記第１の波長の光を、前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部では、前記第２の波長の光を、前記反射部に反射させて前記投影範囲に照射することができる。
【００１９】
前記第１の照射部では、前記第１の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部では、前記第２の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射することができる。
【００２０】
前記第１の照射部から照射される前記第１の波長の光を、第１の偏光、又は前記第１の偏光とは異なる第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第１の偏光変換部と、前記第２の照射部から照射される前記第２の波長の光を、前記第１の偏光又は前記第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第２の偏光変換部とをさらに設けることができる。
【００２１】
前記投影装置の動きを検知する動き検知部をさらに設けることができ、前記算出部では、前記動き検知部により、前記投影装置の動きが検知された場合にも、前記撮像画像上の前記投影範囲を算出することができる。
【００２２】
前記投影部では、前記投影範囲のうち、前記肌領域の検出された部分を除く範囲に、前記投影画像を投影することができる。
【００２３】
前記撮像部では、撮像方向を変更可能であるようにすることができる。
【００２４】
前記肌領域が検出された前記撮像画像上の第１の位置を、前記撮像部の撮像方向に応じた第２の位置に変換する位置変換部をさらに設けることができ、前記投影部では、前記第２の位置に応じて変更された前記投影画像を投影することができる。
【００２５】
前記第１の照射部では、前記第１の波長の光を前記投影範囲に照射し、前記第２の照射部では、前記第２の波長の光を前記投影範囲に照射し、前記検出部では、前記第１の撮像画像及び前記第２の撮像画像に基づいて、前記投射範囲内の前記肌領域を検出することができる。
【００２６】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たすようにすることができる。
【００２７】
前記第１の照射部では、前記第１の波長λ１の不可視光を照射し、前記第２の照射部では、前記第２の波長λ２の不可視光を照射することができる。
前記投影範囲における前記検出結果を、前記投影範囲内の位置に応じた信号として出力する出力部をさらに設けることができる。
【００２８】
本開示の一側面の投影方法は、投影装置の投影方法であって、前記投影装置による、被写体に対して第１の波長の光を照射する第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なう第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なう第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップとを含む投影方法である。
【００２９】
本開示の一側面のプログラムは、コンピュータに、被写体に対して第１の波長の光を照射させる第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なわせる第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射させる第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なわせる第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影させる投影ステップとを含む処理を実行させるためのプログラムである。
【００３０】
本開示の一側面によれば、被写体に対して第１の波長の光が照射され、前記第１の波長の光を照射させたときの前記被写体の撮像が行なわれ、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光が照射され、前記第２の波長の光を照射させたときの前記被写体の撮像が行なわれ、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域が検出され、その検出結果に応じて変更される投影画像が投影される。
【発明の効果】
【００３１】
本開示によれば、投影装置を用いる環境下でも、投影装置に対して、使用者のポスチャ又はジェスチャ等を精度良く認識させることが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本開示におけるプロジェクタの構成例を示すブロック図である。
【図２】キャリブレーション処理を説明するための図である。
【図３】プロジェクタに含まれる肌検出部及び投影部の詳細な第１の構成例を示す図である。
【図４】人間の肌に対する分光反射特性を示す図である。
【図５】図３の肌検出部が行うジェスチャ認識処理を説明するためのフローチャートである。
【図６】図３の投影部が行う投影処理を説明するためのフローチャートである。
【図７】プロジェクタに含まれる肌検出部及び投影部の詳細な第２の構成例を示す図である。
【図８】プロジェクタに含まれる肌検出部及び投影部の詳細な第３の構成例を示す図である。
【図９】図８の肌検出部及び投影部が行なうジェスチャ認識投影処理を説明するためのフローチャートである。
【図１０】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（人間のジェスチャ等を検知可能なジェスチャ検知可能範囲内に、プロジェクタにより投影される投影範囲が含まれるときの一例）
２．第２の実施の形態（ジェスチャ検知可能範囲と投影範囲とが一致するときの一例）
３．第３の実施の形態（ジェスチャ検知可能範囲と投影範囲とが一致するときの他の一例）
４．変形例
【００３４】
＜１．第１の実施の形態＞
[プロジェクタ２１の構成例]
図１は、第１の実施の形態であるプロジェクタ２１の構成例を示している。
【００３５】
なお、このプロジェクタ２１は、例えば、パーソナルコンピュータ２２と接続可能とされており、接続されたパーソナルコンピュータ２２から供給される投影画像を投影する他、使用者のジャスチャやポスチャに応じた入力操作により操作可能なものである。
【００３６】
プロジェクタ２１は、肌検出部４１、投影部４２、制御部４３、及び操作部４４から構成される。なお、図１では、制御信号の流れを点線で表し、データ信号の流れを実線で表すようにしている。このことは、後述する図３、図７及び図８でも同様である。
【００３７】
肌検出部４１は、例えば、図１に示されるようなジェスチャ検知可能範囲で行われる使用者のジェスチャやポスチャ（以下、ジェスチャ等という）を検知し、その検知結果を、パーソナルコンピュータ２２に供給する。なお、後述するが、肌検出部４１は、ジェスチャ検知可能範囲を、撮像範囲として撮像を行い、その撮像により得られる撮像画像に基づいて、使用者のジェスチャ等を検知する。
【００３８】
また、肌検出部４１は、使用者のジェスチャ等を検知する前に、ジェスチャ検知可能範囲内のいずれの領域に、投影部４２により投影画像が投影される範囲を表す投影範囲が含まれるかを検出するキャリブレーション処理を行う。このキャリブレーション処理は、後述する図２を参照して詳述する。
【００３９】
肌検出部４１は、検知されたジェスチャ等が、投影範囲内で検知されたかものであるか否かを判定し、その判定結果も、検知結果とともに、パーソナルコンピュータ２２に供給する。
【００４０】
このため、例えば、パーソナルコンピュータ２２では、検知結果として、同一のジェスチャ等が供給された場合でも、投影範囲内で検知されたものであるか否かに応じて異なる処理を行うようにすることができる。
【００４１】
すなわち、例えば、パーソナルコンピュータ２２は、投影範囲内で、使用者の手が検知されたことを表す検知結果が供給された場合、投影部４２を制御して、その検知結果に基づく投影画像を投影させる。
【００４２】
具体的には、例えば、パーソナルコンピュータ２２は、使用者の手が検知された位置に対応する投影画像上の位置に、カーソル等が表示された投影画像を投影させる。
また例えば、パーソナルコンピュータ２２は、使用者の手が検出された位置に対応する、投影画像上のアイコンをハイライトさせることができる。
さらに、例えば、そのまま所定時間、使用者の手がアイコン上にとどまった場合、つまり、使用者の手が、検出された位置で所定時間とどまった場合、使用者の手が検出された位置に対応する、投影画像上のアイコンが選択されたものと判断して、対応する投影画像を投影させる。
この場合、検出され制御に用いられる手や指は１つであるとは限らない。例えば投影画面上に両手が検出され、両手の間の距離が拡大したときは、両手の間の距離に応じて拡大された投影画像を投影させるようにしてもよい。
【００４３】
また、例えば、パーソナルコンピュータ２２は、ジェスチャ検知可能範囲のうち、投影範囲とは異なる範囲内で、使用者の手が検知されたことを表す検知結果が供給された場合、投影部４２を制御して、その検知結果に基づく投影画像を投影させる。
【００４４】
具体的には、例えば、パーソナルコンピュータ２２は、カーソル等を表示しない投影画像を投影させる。
なお、肌検出部４１は、検知結果等を、パーソナルコンピュータ２２に出力するようにしている。そして、パーソナルコンピュータ２２は、肌検出部４１からの検知結果等に応じて、投影される投影画像を変更しているが、これに限定されない。
すなわち、例えば、肌検出部４１は、検知結果等に応じて、投影画像に表示させるカーソル等の座標（位置）を算出し、算出した座標をパーソナルコンピュータ２２に出力してもよい。
この場合、パーソナルコンピュータ２２は、肌検出部４１からの座標にカーソル等が表示される投影画像を投影させることとなる。
なお、肌検出部４１は、カーソル等の座標に代えて、前回のカーソル等の座標と、今回のカーソル等の座標との変化値を算出し、算出した変化値をパーソナルコンピュータ２２に出力してもよい。
この場合、パーソナルコンピュータ２２は、肌検出部４１からの変化値に基づき、カーソル等の座標を算出し、算出した座標にカーソル等が表示される投影画像を投影させることとなる。
また、例えば、プロジェクタ２１に内蔵のメモリ（図示せず）や、プロジェクタ２１に外部から接続されたメモリースティック等に記憶されている画像を、投影画像として投影させる場合、パーソナルコンピュータ２２を介さずに、投影させることができる。
すなわち、例えば、肌検出部４１は、検知結果等基づいて、上述したパーソナルコンピュータ２２と同様にして、投影画像を変更させるように投影部４２を制御して、投影部４２から変更後の投影画像を投影させる。
【００４５】
投影部４２は、例えば、接続されたパーソナルコンピュータ２２からの投影画像を、図１に示されるような投影範囲に投影する。図１では、投影範囲は、ジェスチャ検知可能範囲内とされているが、投影範囲は、これに限定されない。
【００４６】
すなわち、例えば、投影範囲は、ジェスチャ検知可能範囲内に全て含まれる範囲とされる他、ジェスチャ検知可能範囲内に一部だけ含まれる範囲、又はジャスチャ可能範囲内に全く含まれない範囲とされるようにしてもよい。なお、投影範囲とジェスチャ検知可能範囲とが同一とされる場合については、図７及び図８を参照して後述する。
【００４７】
制御部４３は、例えば、操作部４４からの操作信号に基づいて、肌検出部４１及び投影部４２を制御する。
【００４８】
操作部４４は、例えば、操作ボタン等からなり、使用者に操作されたことに対応して、使用者の操作に対応する操作信号を、制御部４３に供給する。
【００４９】
[キャリブレーション処理の詳細]
次に、図２を参照して、肌検出部４１が行なうキャリブレーション処理の一例を説明する。
【００５０】
図２は、４隅の部分のみ高輝度値とされた輪郭投影画像が投影されている状態で、ジェスチャ検知可能範囲を撮像範囲として撮像した場合に得られる撮像画像I_patternの一例を示している。なお、輪郭投影画像とは、例えば、高輝度値とされた４隅の部分により、投影範囲の輪郭を表す画像をいうが、これには限定されない。すなわち例えば高輝度値とされた4辺により投影画像の輪郭を表してもよいし、単純に画面全面を高輝度値とした四角形により投影画像の輪郭を表してもよい。
【００５１】
ここで、プロジェクタ２１は、一般的に、室内の照明を暗くした状態で使用される。したがって、図２に示される撮像画像I_patternは、暗闇の中、投影部４２により輪郭投影画像が投影された状態で、肌検出部４１の内蔵するカメラ（図３の撮像素子６３及びレンズ６４等）の撮像により取得される。
【００５２】
したがって、撮像画像I_patternでは、白丸で示す部分（輪郭投影画像の４隅の部分に対応）の輝度値は高いものとなっており、それ以外の部分の輝度値は低いものとなっている。
ここでレンズ６４の前面には可視光カットフィルタ６５が移動可能に配置されている。撮像素子６３は一般的に、可視光と、肌検出用にＬＥＤ６２ａ、６２ｂから照射される不可視光である近赤外光の両方に感度をもつため、可視光カットフィルタは可視光が撮像素子に入射するのを防止して、肌検出の精度を向上させるためのものである。しかし投影画像は可視光であり、輪郭投影画像もこの構成では可視光となるので、輪郭投影画像を取得する際には可視光カットフィルタ６５を移動させて、撮像素子が可視光からなる輪郭投影画像を取得できるようにする。
【００５３】
キャリブレーション処理では、撮像画像内の投影画像の位置や大きさを算出する。撮像画像内の投影画像は、プロジェクタ２１と投影画像を投影するスクリーンの相対位置や角度により変化するので、これらが変化した場合にはキャリブレーション処理を行なうとよい。
キャリブレーション処理は、例えば、使用者が、操作部４４を操作して、プロジェクタ２１の電源をオンする電源オン操作をしたときに開始される。このとき、操作部４４は、使用者の電源オン操作に対応する操作信号を、制御部４３に供給する。
【００５４】
制御部４３は、操作部４４からの操作信号に対応して、肌検出部４１及び投影部４２を制御して、キャリブレーション処理を行わせる。またプロジェクタ２１に
プロジェクタ２１の動きを検出するセンサを設けて、プロジェクタの移動や傾きの変化を検出したら自動的にキャリブレーション処理を行なうようにしてもよい。
【００５５】
すなわち、例えば、投影部４２は、制御部４３からの制御にしたがって、輪郭投影画像を、投影範囲に投影する。
【００５６】
また、肌検出部４１は、輪郭投影画像が投影範囲に投影された状態で、ジェスチャ検知可能範囲を、撮像範囲として撮像する。なお、肌検出部４１は、撮像を行なうカメラを有する。肌検出部４１の詳細は、例えば図３を参照して詳述する。
【００５７】
肌検出部４１は、その撮像により、例えば、図２に示されるような撮像画像I_patternを取得する。
【００５８】
肌検出部４１は、図２に示されるような撮像画像I_patternに基づいて、ジェスチャ検知可能範囲のうち、投影範囲とされる部分を検出する。
【００５９】
すなわち、例えば、肌検出部４１は、図２に示されるような撮像画像I_patternを構成する各画素の輝度値が、予め決められた閾値以上であるか否かに応じて、高輝度値の画素（図２において白色で示される部分）を検出する。
【００６０】
また、肌検出部４１は、検出される高輝度値の画素を角とする矩形を、投影範囲として検出し、その検出結果に基づいて、撮像画像上の投影範囲の位置や大きさを算出する。
なお、ここで投影部４２と投影画像が投影されるスクリーンが斜めに配置されている場合、すなわち、例えば、垂直に設置されたスクリーンの前面上部に投影部４２が設置された場合、投影画像は長方形にならず台形になってしまう。
この台形に歪んだ投影画像を画像処理により長方形にする補正はキーストーン補正とも呼ばれる。キーストーン補正を行なった場合には、補正後にキャリブレーション処理を行なって、撮像画像I_patternに基づいて、ジェスチャ検知可能範囲のうち、投影範囲とされる部分を検出するようにしてもよい。
なお、キーストーン補正では、例えば、アフィン変換等を用いて、投影画像の形状を、台形から長方形に補正する。
【００６１】
そして、肌検出部４１は、算出した撮像画像上の投影範囲の位置や大きさを表す投影範囲情報を、肌検出部４１の内蔵する図示せぬメモリ等に保持する。なお、この投影範囲情報は、使用者のジェスチャ等が、投影範囲内で検知されたか否かを判定するために用いられる。
【００６２】
ところで、投影部４２は、４隅の部分のみ高輝度値とされた輪郭投影画像を投影するようにしたが、その他、例えば、４隅のうち、投影範囲の対角線上の２隅のみ高輝度値とされた輪郭投影画像を投影するようにしてもよい。
【００６３】
すなわち、輪郭投影画像は、投影範囲の輪郭を表す投影画像であれば、どのような投影画像であってもよい。
また、撮像画像上の投影範囲情報を取得するために、操作者のジェスチャ操作を利用することもできる。例えば4隅の部分のみ高輝度化された輪郭投影画像を投影した状態で、操作者が4隅の高輝度化された部分に手や指を順に所定時間置くような指示をプロジェクタから投影画面に出すようにしてもよい。例えば操作者の指先を肌検出により検出し、操作者が指差した4隅を頂点とする四角形を輪郭投影画像として認識するようにしてもよい。
この方法では撮像素子６３の前面の可視光カットフィルタを移動する必要がないので、肌検出部の小型化や低コスト化が実現できる。
【００６４】
[肌検出部４１及び投影部４２の詳細]
次に、図３は、プロジェクタ２１に含まれる肌検出部４１及び投影部４２の詳細な第１の構成例を示している。
【００６５】
肌検出部４１は、DSP(digital signal processor)６１、LED(light-emitting diode)６２a、LED６２b、撮像素子６３、レンズ６４、及び可視光カットフィルタ６５から構成される。なお、LED６２aの個数、及びLED６２bの個数は、それぞれ、１個に限定されず、必要に応じて複数個とされる。
【００６６】
DSP６１は、例えば、図示せぬメモリ等に保持された制御用プログラムを実行することにより、LED制御部８１及び画像処理部８２として機能する。
【００６７】
LED制御部８１は、撮像素子６３からのフレーム同期信号に基づいて、LED６２a及びLED６２bを制御し、LED６２aやLED６２bの消灯及び点灯を制御する。ここで、フレーム同期信号とは、撮像素子６３の撮像が行われるタイミングを表す。
【００６８】
すなわち、例えば、LED制御部８１は、撮像素子６３からのフレーム同期信号に基づいて、撮像素子６３により１枚の画像の撮像が行われる毎に、LED６２aのみを点灯、LED６２bのみを点灯、LED６２a及びLED６２bのいずれも消灯を繰り返して行わせる。
【００６９】
画像処理部８２は、撮像素子６３からの撮像画像I_patternを取得する。そして、画像処理部８２は、撮像素子６３からの撮像画像I_patternに基づいて、図２を参照して説明したように、撮像素子６３からの撮像画像上の投影範囲の位置や大きさを検出するキャリブレーション処理を行う。
【００７０】
そして、画像処理部８２は、キャリブレーション処理により検出した撮像画像上の投影範囲の位置や大きさを表す投影範囲情報を、内蔵するメモリ（図示せず）に保持する。
【００７１】
さらに、画像処理部８２は、撮像素子６３からの撮像画像I_λ1,I_λ2,I_offを取得する。ここで、撮像画像I_λ1とは、波長λ１の光を発光するLED６２aのみが点灯した状態で、撮像素子６３の撮像により得られた画像を表す。
【００７２】
また、撮像画像I_λ2とは、波長λ２の光を発光するLED６２bのみが点灯した状態で、撮像素子６３の撮像により得られた画像を表す。さらに、撮像画像I_offとは、LED６２a及びLED６２bのいずれも消灯した状態で、撮像素子６３の撮像により得られた画像を表す。
【００７３】
画像処理部８２は、取得した各撮像画像I_λ1,I_λ2,I_offに対して、LPF(low pass filter)を用いた平滑化を行う。また、画像処理部８２は、各画素ごとに、撮像画像I_λ1の輝度値Y(λ1)から、撮像画像I_λ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【００７４】
さらに、画像処理部８２は、撮像画像I_λ1又は撮像画像I_λ2の少なくとも一方に基づく値として、例えば輝度値(Y(λ1) Y(off))で、差分(Y(λ1) - Y(λ2))を正規化（除算）する。なお、輝度値Y(off)は、撮像画像I_offの輝度値を表す。
【００７５】
そして、画像処理部８２は、正規化後の差分{(Y(λ1) - Y(λ2))/(Y(λ1) Y(off))}に所定の値（例えば、100）を乗算して得られる差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)を、予め決められた２値化用の閾値で２値化して、２値化肌画像I_skinを算出する。
【００７６】
なお、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)は、撮像画像I_λ1の輝度値が、撮像画像I_λ2の輝度値に対して、何パーセント高いものであるかを表す。また、２値化用の閾値としては、例えば、１０パーセントを用いることができる。
ここで撮像画像I_offの輝度値Y(off)は、ＬＥＤ６２ａ、６２ｂの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。しかし、プロジェクタ２１は、比較的暗い環境で使用されることが多いため、撮像画像I_offの取得は省略してもよい。
【００７７】
画像処理部８２は、算出した２値化肌画像I_skinに基づいて、使用者の肌部分を検出する。
【００７８】
すなわち、例えば、画像処理部８２は、算出した２値化肌画像I_skinを構成する全領域のうち、２値化用の閾値以上とされた領域を、使用者の肌部分を表す肌領域として検出する。
【００７９】
なお、このようにして使用者の肌領域を検出できる原理は、図４を参照して後述する。
【００８０】
第１の実施の形態では、例えば、使用者は、プロジェクタ２１に対して所定の処理を実行させるため、撮像素子６３及びレンズ６４からなるカメラの前で自身の手を移動させたり、手の形状を変化させるようにしているものとする。
【００８１】
したがって、例えば、画像処理部８２は、算出した２値化肌画像I_skinに基づいて、肌領域として、例えば、使用者の手部分を検出するものとする。なお、肌領域として検出される肌部分は、手部分に限定されず、その他、例えば、顔部分等を検出するようにしてもよい。
【００８２】
また、画像処理部８２は、２値化肌画像I_skinに基づいて、複数の肌領域を検出した場合、複数の肌領域のうち、例えば最も輝度の高い肌領域を、手の領域として検出する。これは、ＬＥＤ６２a、６２aまでの距離が、使用者の各部分のうち、手部分が最も近いと想定されるためである。
しかし、操作者と肌検出部４１の位置関係は操作方法によっても異なるため、手の領域の検出方法はこれには限定されず、適宜決定される。例えば、２値化肌画像I_skinなどを用いてパターンマッチングによって手の領域を検出するようにしてもよい。この方法によれば既に操作者の肌領域は特定されているので、肌領域部分のみのパターンマッチングを適用するため、通常のカメラで取得した可視光画像からパターンマッチングで手の領域を検出する場合に比べて、ＣＰＵの処理も軽くて済む。
すなわち、パターンマッチングを行う領域が肌領域に特定されるため、通常のカメラで取得した可視光画像からパターンマッチングで手の領域を検出する場合に比べて、投影画面内では投影画像と指や手が混在してパターンマッチングが難しいといった問題も発生し難い。
さらに、投影画面の外の暗い空間では、通常の可視光画像では手や指がはっきり写らないものとなるが、この場合は照射した不可視光が被写体で反射した反射光を撮像しているため、手や指がはっきり写らないといった問題も発生し難いものとなる。またパターンマッチングを行う領域が肌領域に特定できるため、通常のカメラで取得した可視光画像からパターンマッチングで手の領域を検出する場合に比べて、ＣＰＵの処理も軽くて済む。
【００８３】
画像処理部８２は、例えば、検出した手部分の重心を、使用者の手の位置として検出する。
【００８４】
また、画像処理部８２は、図示せぬ内蔵のメモリに保持済みの投影範囲情報に基づいて、検出した手の位置が、撮像素子６３により得られる撮像画像に表示された投影範囲内に含まれるか否かを判定し、その判定結果とともに、検出した手の位置を、パーソナルコンピュータ２２に供給する。
【００８５】
パーソナルコンピュータ２２に供給される判定結果が、検出した手の位置が、撮像画像上の投影範囲内に含まれる旨の判定結果である場合、パーソナルコンピュータ２２は、撮像範囲上の手の位置に対応する、投影画像上の位置に、カーソル等を表示させた投影画像を生成する。
【００８６】
そして、パーソナルコンピュータ２２は、生成した投影画像を、投影部４２に供給して投影させる。これにより、使用者の手の位置に対応した、投影画像上の位置に、カーソル等が表示される。
【００８７】
また、例えば、検出した手の位置が、撮像画像上の投影範囲内に含まれない旨の判定結果がパーソナルコンピュータ２２に供給された場合、パーソナルコンピュータ２２は、カーソル等が表示されない投影画像を生成し、投影部４２に供給して投影させる。
【００８８】
さらに、例えば、検出した手の位置が、撮像画像上の投影範囲内に含まれない旨の判定結果がパーソナルコンピュータ２２に供給された場合、パーソナルコンピュータ２２は、カーソル等が表示されない投影画像を生成し、投影部４２に供給して投影させる。
【００８９】
その他、例えば、検出した手の位置が、撮像画像上の投影範囲内に含まれない旨の判定結果がパーソナルコンピュータ２２に供給された場合、パーソナルコンピュータ２２は、使用者の手の位置（又は手の位置の軌跡が表すジェスチャ）や手の形状に対応するアプリケーション等を実行するようにしてもよい。
【００９０】
なお、画像処理部８２は、検出結果等を、制御部４３（図１）に出力するようにしてもよい。この場合、制御部４３は、例えば、画像処理部８２からの検出結果等に応じて、カメラ（撮像素子６３及びレンズ６４）の撮像方向や、投影部４２の投影方向を変更させるためのアクチュエータ等を駆動させる。
【００９１】
また、例えば、画像処理部８２は、検出結果等を、投影部４２の制御部１１１に出力してもよい。この場合、例えば、制御部１１１は、画像処理部８２からの検出結果等に応じて、レーザ光源部１０１乃至１０３、及びLCOS部１０８等を制御して、投影画像の明るさを調整してもよい。
【００９２】
LED６２aは、LED制御部８１からの制御にしたがって、点灯又は消灯する。すなわち、LED６２aは、LED制御部８１からの制御にしたがって、波長λ１の光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の光の照射を停止する。
【００９３】
LED６２bは、LED制御部８１からの制御にしたがって、点灯又は消灯する。すなわち、LED６２bは、LED制御部８１からの制御にしたがって、波長λ１よりも長波長である波長λ２の光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の光の照射を停止する。
【００９４】
なお、LED６２a及びLED６２bは、少なくともジェスチャ検知可能範囲（撮像素子６３の撮像範囲）に対して、照射光を照射する。
【００９５】
また、波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。
【００９６】
次に、図４は、人間の肌に対する分光反射特性を示している。
【００９７】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態（日焼け等）に拘らず、一般性があるものである。
【００９８】
図４において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００９９】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【０１００】
具体的には、例えば、図４に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約６３パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約５０パーセントである。
【０１０１】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、少しずつ大きくなることが多い。
【０１０２】
第１の実施の形態では、例えば、組み合わせ（λ１，λ２）=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくなる組み合わせである。
【０１０３】
したがって、撮像画像I_λ1上の肌領域を構成する輝度値は比較的大きな値となり、撮像画像I_λ2上の肌領域を構成する輝度値は比較的小さな値となる。
【０１０４】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的大きな正の値αとなる。
【０１０５】
また、組み合わせ（λ１，λ２）=(870,950)は、人間の肌以外のものに対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくならない組み合わせである。
【０１０６】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的小さな正または負の値βとなる。
【０１０７】
よって、差分画像I_diffを、予め決められた２値化用の閾値（例えば、αよりも小であり、βよりも大である閾値）で２値化するようにして、肌領域を検出するようにしている。
【０１０８】
ここで、組み合わせ（λ１，λ２）は、（λ１，λ２）=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ（λ１，λ２）であれば、どのような組み合わせでもよい。
【０１０９】
なお、正確に肌検出を行うためには、概ね、波長λ１の値は640[nm]乃至1000[nm]の範囲内で、波長λ２の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。ただし波長λ１が可視光領域では、操作者に眩しさを感じさせることや、プロジェクタ２１との組合せでは投影画像の色調に影響を与えることから、波長λ１の値は不可視光領域の800[nm]以上とすることが望ましい。
【０１１０】
すなわち、例えば、上述の範囲内で、波長λ１の値は800[nm]以上、900[nm]未満とし、波長λ２の値は900[nm]以上とすることができる。
【０１１１】
図３に戻り、前述のとおり撮像素子６３には、その前面にレンズ６４が設けられており、そのレンズ６４の前面は、可視光を遮断する可視光カットフィルタ６５により覆われている。
【０１１２】
撮像素子６３は、例えばCMOS(complementary metal oxide semiconductor)センサ等により構成されており、フレーム同期信号に応じて、被写体の撮像を行う。また、撮像素子６３は、フレーム同期信号を、LED制御部８１に供給する。
【０１１３】
具体的には、例えば、撮像素子６３は、レンズ６４を介して、LED６２aによって被写体に照射されている波長λ1の光の反射光を受光する。そして、撮像素子６３は、受光した反射光を光電変換して得られる撮像画像I_λ1を、画像処理部８２に供給する。
【０１１４】
また、例えば、撮像素子６３は、レンズ６４を介して、LED６２bによって被写体に照射された波長λ2の光の反射光を受光する。そして、撮像素子６３は、受光した反射光を光電変換して得られる撮像画像I_λ2を、画像処理部８２に供給する。
【０１１５】
さらに、例えば、撮像素子６３は、レンズ６４を介して、LED６２a及びLED６２bのいずれも光を照射していない状態で、被写体からの反射光を受光する。そして、撮像素子６３は、受光した反射光を光電変換して得られる撮像画像I_offを、画像処理部８２に供給する。
【０１１６】
可視光カットフィルタ６５は、そこに入射される光のうち、可視光を遮断し、不可視光を透過させる。また、可視光カットフィルタ６５は、レンズ６４の前面を覆うように設けられており、図中左右方向に駆動可能とされる。なお、可視光カットフィルタ６５は、例えば、LED制御部８１からの制御にしたがって、図中左右方向に駆動される。
【０１１７】
投影部４２は、レーザ光源部１０１乃至１０３、プリズム１０４及び１０５、レンズ１０６、偏光ビームスプリッタ１０７、LCOS(liquid crystal on silicon)部１０８、レンズ１０９及び１１０、並びに制御部１１１から構成される。
【０１１８】
レーザ光源部１０１は、制御部１１１からの制御にしたがって、B成分のレーザ光をプリズム１０４に照射する。レーザ光源部１０２は、制御部１１１からの制御にしたがって、G成分のレーザ光をプリズム１０４に照射する。レーザ光源部１０３は、制御部１１１からの制御にしたがって、R成分のレーザ光をプリズム１０５に照射する。
【０１１９】
プリズム１０４は、レーザ光源部１０１から照射されるB成分のレーザ光を透過し、レーザ光源部１０２から照射されるG成分のレーザ光を、プリズム１０５の方向に反射するように構成される。
【０１２０】
したがって、レーザ光源部１０１からのB成分のレーザ光は、プリズム１０４を透過して、プリズム１０５に照射される。また、レーザ光源部１０２からのG成分のレーザ光は、プリズム１０４により反射され、プリズム１０５に照射される。
【０１２１】
プリズム１０５は、プリズム１０４から照射されるB成分及びG成分それぞれのレーザ光を透過し、レーザ光源部１０３から照射されるR成分のレーザ光を、レンズ１０６の方向に反射するように構成される。
【０１２２】
したがって、プリズム１０４から入射されるB成分及びG成分それぞれのレーザ光は、プリズム１０５を透過して、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。また、レーザ光源部１０３からのR成分のレーザ光は、プリズム１０５により反射され、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１２３】
レンズ１０６は、プリズム１０５と偏光ビームスプリッタ１０７との間に設けられており、プリズム１０５からの光を屈折等させる。
【０１２４】
偏光ビームスプリッタ１０７は、プリズム１０５からレンズ１０６を介して照射されるＳ偏光を、LCOS部１０８の方向に反射させる。
【０１２５】
なお、各レーザ光は、Ｓ偏光として、各レーザ光源部１０１乃至１０３から出力されているものとする。偏光ビームスプリッタ１０７は、プリズム１０５からレンズ１０６を介して照射される各レーザ光を反射させて、LCOS部１０８に照射させる。
【０１２６】
また、偏光ビームスプリッタ１０７は、LCOS部１０８から照射されるP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲に、投影画像が投影される。
【０１２７】
LCOS部１０８は、反射型液晶パネルにより構成されており、偏光ビームスプリッタ１０７からの各レーザ光に基づいて、それぞれ、R成分の投影画像、G成分の投影画像、及びB成分の投影画像を生成する。
【０１２８】
また、LCOS部１０８は、R成分の投影画像、G成分の投影画像、及びB成分の投影画像に対応する光を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０１２９】
レンズ１０９は、偏光ビームスプリッタ１０７とレンズ１１０との間に設けられている。また、レンズ１１０は、レンズ１０９と、投影範囲とされる領域との間に設けられている。
【０１３０】
レンズ１０９及び１１０は、偏光ビームスプリッタ１０７からのP偏光を屈折等させて、投影範囲内に照射させる。これにより、投影範囲には、投影画像が投影される。
【０１３１】
制御部１１１は、例えば、パーソナルコンピュータ２２からの制御にしたがって、レーザ光源部１０１乃至１０３、及びLCOS部１０８を制御して、パーソナルコンピュータ２２の表示画面に表示された画像を、投影画像として、投影範囲に投影させる。
なお、ここでは投影部４２の光源としてレーザ光源を用いる例を示したが、これには限定されず、ＬＥＤ光源でもよいし、ランプを用いてもよい。また、例えばレーザとＬＥＤを組み合わせたりしてもよい。
【０１３２】
[図３の肌検出部４１の動作説明]
次に、図５のフローチャートを参照して、図３の肌検出部４１が行なうジェスチャ認識処理について説明する。
【０１３３】
このジェスチャ認識処理は、例えば、使用者により、操作部４４を用いて、プロジェクタ２１の電源をオンする電源オン操作が行われたときに開始される。このとき、操作部４４は、使用者の電源オン操作に対応する操作信号を、制御部４３に供給する。制御部４３は、操作部４４からの操作信号に応じて、肌検出部４１及び投影部４２を制御する。
【０１３４】
すなわち、ステップＳ２１において、LED制御部８１は、制御部４３からの制御にしたがって、可視光カットフィルタ６５を駆動させるためのアクチュエータ（図示せず）等を制御して、レンズ６４の前面を覆うようにして配置された可視光カットフィルタ６５を、所定の方向に移動させる。これにより、レンズ６４の前面は、可視光カットフィルタ６５により覆われなくなる。
【０１３５】
ステップＳ２２において、制御部１１１は、制御部４３からの制御にしたがって、レーザ光源部１０１乃至１０３及びLCOS部１０８を制御して、LCOS部１０８から、輪郭投影画像を、少なくとも可視光を含む投影光として、投影範囲に投影させる。なお、投影部４２により、投影画像を投影する方法は、図６を参照して詳述する。
【０１３６】
ステップＳ２３において、撮像素子６３は、ジェスチャ検知可能範囲を撮像し、その結果得られる撮像画像I_pattern（図２）を、画像処理部８２に供給する。
【０１３７】
ステップＳ２４では、画像処理部８２は、撮像素子６３からの撮像画像I_patternの各輝度値に基づいて、投影された４隅の部分を示す位置を検出する。そして、画像処理部８２は、撮像画像I_patternにおける４隅の位置で囲まれる矩形領域を、撮像画像上における投影範囲として検出する。画像処理部８２は、その検出結果に基づいて、撮像画像上の投影範囲の位置や大きさを算出し、投影範囲情報として、内蔵する図示せぬメモリに保持する。
【０１３８】
ステップＳ２５では、LED制御部８１は、制御部４３からの制御にしたがって、図示せぬアクチュエータ等を駆動させ、可視光カットフィルタ６５によりレンズ６４が覆われるように、可視光カットフィルタ６５を移動させる。
【０１３９】
なお、ステップＳ２１乃至ステップＳ２５の処理は、キャリブレーション処理であり、例えば、ジェスチャ認識処理の開始時に１回だけ実行される。
【０１４０】
その後、使用者のジェスチャ等を認識する処理として、後述するステップＳ２６乃至ステップＳ３５の処理が繰り返して実行される。
【０１４１】
ステップＳ２６では、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の撮像（ステップＳ２７の処理）が行われるタイミングでLED６２aを点灯させる。これにより、LED６２aは、撮像素子６３の撮像が行われる間、被写体に対して、波長λ１の光を照射する。なお、LED６２bは消灯されている。
【０１４２】
ステップＳ２７では、撮像素子６３は、LED６２aの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ1を、画像処理部８２に供給する。
【０１４３】
ステップＳ２８では、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、ステップＳ２７における撮像素子６３の撮像が終了するタイミングで、LED６２aを消灯させる。
【０１４４】
また、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の次の撮像（ステップＳ２９の処理）が開始するタイミングで、LED６２bを点灯させる。これにより、LED６２bは、撮像素子６３の次の撮像が行われる間、被写体に対して、波長λ２の光を照射する。なお、LED６２aは消灯されている。
【０１４５】
ステップＳ２９では、撮像素子６３は、LED６２bの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ2を、画像処理部８２に供給する。
【０１４６】
ステップＳ３０では、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、ステップＳ２９における撮像素子６３の撮像が終了するタイミングで、LED６２bを消灯させる。これにより、LED６２a及びLED６２bは、いずれも消灯された状態となる。
【０１４７】
ステップＳ３１では、撮像素子６３は、LED６２a及びLED６２bのいずれも消灯している状態で撮像を開始し、その結果得られる撮像画像I_offを、画像処理部８２に供給する。
【０１４８】
ステップＳ３２では、画像処理部８２は、撮像素子６３からの各撮像画像I_λ1,I_λ2,I_offに基づいて、差分画像I_diff(={（I_λ1 - I_λ2）/（I_λ1-I_off）}×100)を算出する。
【０１４９】
ステップＳ３３では、画像処理部８２は、算出した差分画像I_diffを、予め決められた２値化用の閾値を用いて、２値化して２値化肌画像I_skinを算出する。
【０１５０】
ステップＳ３４では、画像処理部８２は、算出した２値化肌画像I_skinに基づいて、撮像素子６３から得られる撮像画像上の使用者の肌部分を表す肌領域、すなわち、例えば、使用者の手の位置を検出（算出）する。
【０１５１】
また、画像処理部８２は、ステップＳ２４の処理で保持済みの投影範囲情報に基づいて、算出した手の位置が、投影範囲内の位置であるか否かを判定する。
【０１５２】
ステップＳ３５では、画像処理部８２は、算出した手の位置が、撮像範囲内であると判定した場合、投影部４２により投影される投影画像上の、使用者の手の位置に対応する位置に、カーソル等を表示させる。
【０１５３】
すなわち、例えば、画像処理部８２は、算出した手の位置が、撮像範囲内であると判定した場合、その判定結果とともに、使用者の手の位置を表す位置情報を、パーソナルコンピュータ２２に供給する。
なお、例えば、画像処理部８２は、使用者の手が投影範囲内で検出された場合、投影範囲を含む撮像範囲内における手の位置を、位置情報として算出してもよいし、
投影範囲内における手の位置を、位置情報として算出するようにしてもよい。
すなわち、例えば、撮像範囲の左下の端部分を原点とし、水平方向をX軸とし、垂直方向をY軸として定義される位置を、位置情報として算出してもよいし、投影範囲の左下の端部分を原点とし、水平方向をX軸とし、垂直方向をY軸として定義される位置を、位置情報として算出してもよい。
その他、例えば、画像処理部８２は、前回の位置情報と、今回の位置情報との変化を表す変化値を算出して、パーソンルコンピュータ２２に供給してもよい。
【０１５４】
パーソナルコンピュータ２２は、画像処理部８２からの判定結果及び位置情報に基づいて、投影画像上の、使用者の手の位置に対応する位置に、カーソル等が表示された投影画像を生成するための制御用情報を生成し、投影部４２の制御部１１１に供給する。
【０１５５】
制御部１１１は、パーソナルコンピュータ２２からの制御用情報に基づいて、レーザ光源部１０１乃至１０３及びLCOS部１０８を制御して、使用者の手の位置に対応する位置に、カーソル等が表示された投影画像を投影させる。
【０１５６】
また、ステップＳ３５において、画像処理部８２は、肌領域の位置として、使用者の顔の位置を算出した場合、算出した顔の位置が、投射範囲内であると判定したときには、制御部１１１を制御して、投射範囲内に存在する顔には、投影部４２からの投影光を投影させないようにさせる。これは、投影部４２からの投影光による眩しさを軽減するためである。
【０１５７】
ステップＳ３５の処理の終了後、処理は、ステップＳ２６に戻り、それ以降、同様の処理が繰り返される。
【０１５８】
なお、このジェスチャ認識処理は、例えば、操作部４４を用いて、使用者により、プロジェクタ２２の電源をオフする電源オフ操作が行われたときに終了される。
【０１５９】
以上説明したように、ジェスチャ認識処理によれば、図４に示されるような人間の分光反射特性を利用して、画像上の人間の手等を検出するようにした。
【０１６０】
したがって、ジェスチャ認識処理によれば、被写体を照らす照明の明るさに拘らず、画像上の人間の手等を精度良く検出することが可能となる。
【０１６１】
このため、プロジェクタ２１を用いる場合のように、被写体を照らす照明の明るさが不十分である（暗い）ときでも、撮像画像上の人間の手等を精度良く検出することが可能となる。
【０１６２】
したがって、プロジェクタ２１としては、比較的大きなものの他、例えば、携帯電話機と同程度のサイズとされるピコプロジェクタのように、投影画像として投影する光が弱い場合でも、撮像画像上の人間の手等を精度良く検出できる。
【０１６３】
このため、プロジェクタ２１を、人間の手等を検出する検出精度を維持したまま、小型化することが可能となる。
【０１６４】
また、ジェスチャ認識処理では、撮像により得られる撮像画像I_λ1,I_λ2,I_offに基づいて、肌領域と非肌領域とを表す２値化肌画像I_skinを算出するようにした。そして、算出した２値化肌画像I_skinから、人間の手の形状等を検出するという簡易な処理で、人間のポスチャ又はジェスチャを認識できるようにした。
【０１６５】
このため、例えば、人間の手等が写った画像上の各領域と、人間の手を表すパターン画像とをそれぞれ比較して人間の手等を検出するパターンマッチング等のような煩雑な処理を行う場合と比較して、ジェスチャ認識処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
【０１６６】
したがって、例えば、プロジェクタ２１では、処理能力を向上させるために、高価なDSPを実装する必要がない。このため、安価なDSPを用いることができるので、プロジェクタ２１の製造コストを低く抑えることができる。
【０１６７】
また、例えば、ジェスチャ認識処理を行うプロジェクタ２１では、LED６２a,LED６２b、及び撮像素子６３等の、比較的容易に調達可能な部品により構成されている。
【０１６８】
したがって、例えば、特殊で非常に高価なセンサ等を用いて、人間のジェスチャ等を認識する場合と比較して、安価にプロジェクタ２１を製造することができる。
【０１６９】
なお、特殊で非常に高価なセンサとしては、例えば、各対象の距離を計測し、計測した距離に応じて、人間の手等である対象を検出する距離センサや、各対象の温度を計測し、計測した温度に応じて、人間の手等である対象を検出する熱センサ等が考えられる。
【０１７０】
ところで、本発明者は、背景技術に記載の認識技術を検討した際、プロジェクタ等の投影装置から投影される投影範囲内で、使用者にジェスチャ等を行わせるようにし、投影範囲を撮像範囲として撮像することも考えた。
【０１７１】
しかしながら、この場合、使用者の手等に、投影装置からの投影画像が投影されることとなる。このため、撮像画像上に写る使用者の手等には、その手等に投影された投影画像自体がノイズとなってしまい、パターンマッチング等で、使用者の手等の検出が難しくなってしまう。
また、プロジェクタ２１等の投影装置の新たな使い方として、投影装置からの投影画像が投影されたスクリーン上における使用者の手や指の動きで、投影画像をあたかもタッチパネルとして操作するように制御することが考えられる。
投影画像の投影部分は投影範囲以外の空間に比べると明るい場合が多いが、投影画像そのものが暗い場合や部分的にでも暗い部分があれば、そこで手や指を動かしてもやはり照度不足で手や指ははっきりとは写らず、パターンマッチング等を使用することはできない。
一方、投影画像が明るい場合には前述のような照明が不十分という問題は発生しない。しかし、スクリーンを撮像した場合、投影画像と操作者の手や指が共に写り込んでしまう。極端な場合、投影画像上に操作者以外の手や指が存在することもあり、操作者の手や指との区別をパターンマッチング等で行うことはできない。そうでなくとも、手や指に投影画像が重なって写り込むため、パターンマッチングによる検出は困難である。
【０１７２】
そこで、本発明者は、パターンマッチング等ではなく、図４に示されるような分光反射特性を利用する本技術を、プロジェクタ２１に適用することを考えた。
【０１７３】
本開示においても、投影範囲内で、使用者の肌領域を検出する場合には、使用者の肌部分に投影された投影画像の反射光が、撮像素子６３に入射される事態が生じ得る。
【０１７４】
しかしながら、プロジェクタ２１では、このような事態を考慮し、図３に示されるように、撮像素子６３（及びレンズ６４）の前面を覆うように、可視光カットフィルタ６５を設けるようにしている。このため、本開示のプロジェクタ２１では、使用者の肌部分に投影された投影画像の反射光により、肌領域の検出精度が低下する事態を抑止するようにしている。
【０１７５】
また、本発明者は、１波長の光（例えば、波長λ１の光）を、ジェスチャ検知可能範囲に照射した状態で、ジェスチャ検知可能範囲を撮像して得られる撮像画像の各輝度値を、予め決められた閾値で２値化するようにして、使用者の手等を検出する方法も考えた。
【０１７６】
しかしながら、この方法では、１波長の光に対する人間の肌の反射率と、人間の背景部分の反射率とが近い場合には、２値化により、人間の肌部分の他、背景部分も、肌領域として検出されてしまう。
【０１７７】
したがって、本開示では、異なる２波長の反射率の差を利用するようにして、人間の肌部分の他、背景部分も、肌領域として検出される事態を防止するようにしている。
【０１７８】
さらに、本発明者は、投影範囲を撮像して得られる撮像画像において、暗い部分（投影範囲において、使用者の存在により影となる部分）を、使用者が存在する部分として検出することも考えた。
【０１７９】
しかしながら、プロジェクタ２１等を用いる環境下では、周囲の明るさが十分ではないため、撮像画像全体が、暗い画像となってしまい、使用者が存在する部分を精度良く検出することは難しい。このため、本発明者は、異なる２波長を用いる本技術を発明するに至った。
【０１８０】
ところで、ジェスチャ認識処理では、ステップＳ２１において、LED制御部８１は、図示せぬアクチュエータ等を制御して、可視光カットフィルタ６５を移動させるようにして、レンズ６４が、可視光カットフィルタ６５に覆われなくなるようにした。
【０１８１】
これは、ステップＳ２３において、撮像素子６３が、少なくとも可視光を含む投影光として投影範囲に投影された輪郭投影画像の反射光等を受光して、図２に示されるような撮像画像I_patternを生成できるようにするために行われるものである。
【０１８２】
したがって、ステップＳ２２において、LCOS部１０８から、輪郭投影画像を、不可視光として、投影範囲に投影させるようにすれば、投影範囲に投影された投影画像の反射光としての不可視光が、可視光カットフィルタ６５を通過して、撮像素子６３に入射される。この場合、ステップＳ２１の処理、及びステップＳ２５の処理を省くことができ、撮像素子６３は、撮像画像I_patternを生成することとなる。
【０１８３】
なお、可視光カットフィルタ６５を設けずに、撮像素子６３を、可視光を遮断する可視光カットフィルタが設けられた第１の受光素子と、可視光カットフィルタが設けられていない第２の受光素子とにより構成することもできる。
【０１８４】
この場合、撮像素子６３は、撮像画像I_patternと撮像画像I_λ1等を同時に生成することができるようになる。
【０１８５】
すなわち、例えば、LED６２aにより、波長λ１の光が照射され、LCOS部１０８により投影光が投影されている場合、撮像素子６３には、波長λ１の光の反射光と、投影範囲に投影された投影光の反射光等が入射される。
【０１８６】
そして、撮像素子６３は、第１の受光素子により、波長λ１の照射光の反射光を受光して撮像画像I_λ1を生成し、第２の受光素子により、投影範囲に投影された投影光の反射光等を受光して撮像画像I_patternを生成することができる。
【０１８７】
[図３の投影部４２の動作説明]
次に、図６のフローチャートを参照して、図３の投影部４２が行う投影処理について説明する。
【０１８８】
なお、この投影処理は、制御部４３からの制御に応じて、図５のステップＳ２２で輪郭投影画像を投影する際に行われる。
【０１８９】
また、この投影処理は、図５のステップＳ２６乃至ステップＳ３５の処理の実行中に、例えば、パーソナルコンピュータ２２からの制御に応じて行われる。
【０１９０】
ステップＳ５１において、レーザ光源部１０３は、制御部１１１からの制御にしたがって、R成分のレーザ光をプリズム１０５に照射する。これにより、R成分のレーザ光は、プリズム１０５で反射され、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１９１】
そして、照射されたR成分のレーザ光は、偏光ビームスプリッタ１０７で反射され、LCOS部１０８に照射される。なお、プリズム１０５からレンズ１０６を介して偏光ビームスプリッタ１０７に照射されたR成分のレーザ光は、S偏光とされているものとする。
【０１９２】
ステップＳ５２において、LCOS部１０８は、制御部１１１からの制御にしたがって、偏光ビームスプリッタ１０７から照射されるR成分のレーザ光に基づいて、R成分の投影画像を生成する。そして、LCOS部１０８は、生成したR成分の投影画像を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０１９３】
偏光ビームスプリッタ１０７は、LCOS部１０８からのP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲には、R成分の投影画像が投影される。
【０１９４】
ステップＳ５３において、レーザ光源部１０２は、制御部１１１からの制御にしたがって、G成分のレーザ光をプリズム１０４に照射する。これにより、G成分のレーザ光は、プリズム１０４で反射され、プリズム１０５を透過し、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１９５】
そして、照射されたG成分のレーザ光は、偏光ビームスプリッタ１０７で反射され、LCOS部１０８に照射される。なお、プリズム１０５からレンズ１０６を介して偏光ビームスプリッタ１０７に照射されたG成分のレーザ光は、S偏光とされているものとする。
【０１９６】
ステップＳ５４において、LCOS部１０８は、制御部１１１からの制御にしたがって、偏光ビームスプリッタ１０７から照射されるG成分のレーザ光に基づいて、G成分の投影画像を生成する。そして、LCOS部１０８は、生成したG成分の投影画像を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０１９７】
偏光ビームスプリッタ１０７は、LCOS部１０８からのP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲には、G成分の投影画像が投影される。
【０１９８】
ステップＳ５５において、レーザ光源部１０１は、制御部１１１からの制御にしたがって、B成分のレーザ光をプリズム１０４に照射する。これにより、B成分のレーザ光は、プリズム１０４及びプリズム１０５を透過し、レンズ１０６を介して偏光ビームスプリッタ１０７に照射される。
【０１９９】
そして、照射されたB成分のレーザ光は、偏光ビームスプリッタ１０７で反射され、LCOS部１０８に照射される。なお、プリズム１０５からレンズ１０６を介して偏光ビームスプリッタ１０７に照射されたB成分のレーザ光は、S偏光とされているものとする。
【０２００】
ステップＳ５６において、LCOS部１０８は、制御部１１１からの制御にしたがって、偏光ビームスプリッタ１０７から照射されるB成分のレーザ光に基づいて、B成分の投影画像を生成する。そして、LCOS部１０８は、生成したB成分の投影画像を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０２０１】
偏光ビームスプリッタ１０７は、LCOS部１０８からのP偏光を透過させ、レンズ１０９及び１１０を介して、投影範囲に照射させる。これにより、投影範囲には、B成分の投影画像が投影される。
【０２０２】
ステップＳ５６の終了後、処理はステップＳ５１に戻り、それ以降同様の処理が繰り返される。
【０２０３】
＜２．第２の実施の形態＞
次に、図７は、プロジェクタ２１に含まれる肌検出部４１及び投影部４２の第２の詳細な構成例を示している。
【０２０４】
なお、図７では、図３と同様に構成される部分については、同一の符号を付すようにしているため、それらの部分の説明は、以下、適宜、省略する。
【０２０５】
すなわち、図７の肌検出部４１において、LED６２aの前面に偏光変換素子１３１aが、LED６２bの前面に偏光変換素子１３１bが、それぞれ設けられているとともに、偏光変換素子１３１aと偏光ビームスプリッタ１０７との間にプリズム１３２が新たに設けられている他は、図３の場合と同様に構成される。
【０２０６】
また、図７の肌検出部４１は、投影部４２の偏光ビームスプリッタ１０７並びにレンズ１０９及び１１０も含む点で、図３の場合と異なる。
【０２０７】
偏光変換素子１３１aは、LED６２aからの照射光をS偏光に変換するための変換素子である。なお、LED６２aからの照射光は、S偏光とP偏光とにより構成されており（例えば、S偏光とP偏光とがほぼ半分ずつ）、偏光変換素子１３１aを通過することにより、照射光の殆ど（例えば、７割から８割程度）がS偏光とされる。
【０２０８】
したがって、プリズム１３２には、LED６２aから偏光変換素子１３１aを介して、殆どがS偏光とされた波長λ１の照射光が入射される。
【０２０９】
偏光変換素子１３１bは、LED６２bからの照射光をS偏光に変換するための変換素子である。なお、LED６２bからの照射光は、S偏光とP偏光とにより構成されており（例えば、S偏光とP偏光とがほぼ半分ずつ）、偏光変換素子１３１bを通過することにより、照射光の殆ど（例えば、７割から８割程度）がS偏光とされる。
【０２１０】
したがって、プリズム１３２には、LED６２bから偏光変換素子１３１bを介して、殆どがS偏光とされた波長λ２の照射光が入射される。
【０２１１】
プリズム１３２は、LED６２aから偏光変換素子１３１aを介して入射される波長λ１の照射光を透過させ、LED６２bから偏光変換素子１３１bを介して入射される波長λ２の照射光を、偏光ビームスプリッタ１０７の方向に反射させる。
【０２１２】
これにより、波長λ１の照射光、及び波長λ２の照射光は、プリズム１３２を介して偏光ビームスプリッタ１０７に入射される。なお、波長λ１の照射光は、偏光変換素子１３１aにより、照射光の殆どがS偏光とされている。また、波長λ２の照射光は、偏光変換素子１３１bにより、照射光の殆どがS偏光とされている。
【０２１３】
したがって、偏光ビームスプリッタ１０７は、プリズム１３２を介して入射される波長λ１の照射光及び波長λ２の照射光を、レンズ１０９及びレンズ１１０の存在する方向に反射させる。
【０２１４】
なお、いまの場合、波長λ１の照射光及び波長λ２の照射光は、その殆どがS偏光とされているので、殆どの照射光が、偏光ビームスプリッタ１０７で反射されることとなる。よって、P偏光として偏光ビームスプリッタ１０７を通過する照射光は非常に少ないものとなっている。
【０２１５】
このため、波長λ１の照射光及び波長λ２の照射光それぞれの光量を、殆ど維持したまま、被写体に対して照射光を照射することができる。
【０２１６】
なお、図７に示されるように構成した場合、第１の実施の形態と同様に、肌検出部４１によるジェスチャ認識処理と、投影部４２による投影処理とは、それぞれ独立に行われる。また、図７に示される場合には、撮像範囲と投影範囲とが同一となっている。このため、LED６２a及びLED６２bは、少なくとも撮像範囲（投影範囲）を照射する。
【０２１７】
＜３．第３の実施の形態＞
次に、図８は、プロジェクタ２１に含まれる肌検出部４１及び投影部４２の第３の詳細な構成例を示している。
【０２１８】
なお、図８では、図３と同様に構成される部分については、同一の符号を付すようにしているため、それらの部分の説明は、以下、適宜、省略する。
【０２１９】
すなわち、図８では、投影部４２において、プリズム１０５とレンズ１０６との間に、新たにプリズム１５１a及びプリズム１５１bが設けられている他は、図３の投影部４２と同様に構成される。
【０２２０】
また、図８の肌検出部４１では、LED６２aの前面に偏光変換素子１３１aが、LED６２bの前面に偏光変換素子１３１bが、それぞれ設けられている。なお、偏光変換素子１３１a及び１３１bは、図７に示された偏光変換素子１３１a及び１３１bと同様であるため、同一の符号を付すようにしている。
【０２２１】
さらに、投影部４２のレンズ１０６、偏光ビームスプリッタ１０７、LCOS部１０８、レンズ１０９及び１１０、並びにプリズム１５１a及び１５１bが、肌検出部４１としても機能する他は、図３の肌検出部４１と同様に構成される。
【０２２２】
プリズム１５１aには、LED６２aから偏光変換素子１３１aを介して、波長λ１の照射光が入射される。また、プリズム１５１aには、プリズム１５１bを通して波長λ２の照射光、R成分,G成分,B成分それぞれのレーザ光が入射される。
【０２２３】
プリズム１５１aは、LED６２aから偏光変換素子１３１aを介して入射される波長λ１の照射光を、レンズ１０６の方向に反射させ、プリズム１５１bを通して入射される光を透過させる。
【０２２４】
したがって、偏光ビームスプリッタ１０７には、プリズム１５１aからレンズ１０６を通して、波長λ１の照射光、波長λ２の照射光、R成分のレーザ光、G成分のレーザ光、及びB成分のレーザ光が入射される。
【０２２５】
プリズム１５１bには、LED６２bから偏光変換素子１３１bを介して、波長λ２の照射光が入射される。また、プリズム１５１bには、プリズム１０５を通して、R成分,G成分,B成分それぞれのレーザ光が入射される。
【０２２６】
プリズム１５１bは、LED６２bから偏光変換素子１３１bを介して入射される波長λ２の照射光を、プリズム１５１aの方向に反射させ、プリズム１０５を通して入射されるレーザ光を透過させる。
【０２２７】
したがって、プリズム１５１aには、プリズム１５１bを通して、波長λ２の照射光、R成分のレーザ光、G成分のレーザ光、及びB成分のレーザ光が入射される。
【０２２８】
[図８のように構成した場合の動作説明]
次に、図９のフローチャートを参照して、図８のように構成した場合に、プロジェクタ２１が行うジェスチャ認識投影処理を説明する。
【０２２９】
このジェスチャ認識投影処理は、例えば、パーソナルコンピュータ２２からの制御に応じて開始される。なお、いまの場合、ジェスチャ可能検知範囲と投影範囲とは同一の範囲とされている。このため、ジェスチャ認識投影処理では、図５のステップＳ２１乃至ステップＳ２５で説明したキャリブレーション処理を行う必要がない。
【０２３０】
ステップＳ７１乃至ステップＳ７６において、それぞれ、図６のステップＳ５１乃至ステップＳ５６と同様の処理が行われ、図８の投影部４２により、投影画像が投影される。
【０２３１】
ステップＳ７７において、制御部１１１は、LCOS部１０８を制御して、全画素を均一に反射させるように設定する。
【０２３２】
ステップＳ７８において、LED制御部８１は、図５のステップＳ２６と同様にして、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の撮像（ステップＳ７９の処理）が行われるタイミングでLED６２aを点灯させる。
【０２３３】
これにより、波長λ１の照射光は、LED６２aから偏光変換素子１３１aを通過して、プリズム１５１aにより、偏光ビームスプリッタ１０７の方向に反射される。なお、波長λ１の照射光は、偏光変換素子１３１aを通過する際に、偏光変換素子１３１aにより、殆どの照射光がS偏光とされる。
【０２３４】
このため、偏光ビームスプリッタ１０７は、波長λ１の照射光のS偏光を、LCOS部１０８の方向に反射させる。LCOS部１０８は、偏光ビームスプリッタ１０７からの波長λ１の照射光を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０２３５】
偏光ビームスプリッタ１０７は、LCOS部１０８からの波長λ１の照射光を透過させて、レンズ１０９及びレンズ１１０を介して、投影範囲に照射させる。
【０２３６】
これにより、LED６２aは、撮像素子６３の撮像が行われる間、投影範囲内の被写体に対して、波長λ１の光を照射する。なお、LED６２bは消灯されている。
【０２３７】
ステップＳ７９では、図５のステップＳ２７と同様の処理が行われ、撮像素子６３から画像処理部８２に対して、撮像画像I_λ1が供給される。なお、いまの場合、投影範囲がジェスチャ検知可能範囲とされている。したがって、撮像素子６３は、投影範囲を撮像範囲として撮像を行うこととなる。このことは、ステップＳ８１及びステップＳ８３でも同様である。
【０２３８】
ステップＳ８０では、LED制御部８１は、図５のステップＳ２８と同様にして、撮像素子６３からのフレーム同期信号に応じて、ステップＳ７９における撮像素子６３の撮像が終了するタイミングで、LED６２aを消灯させる。
【０２３９】
また、LED制御部８１は、撮像素子６３からのフレーム同期信号に応じて、撮像素子６３の次の撮像（ステップＳ８１の処理）が開始するタイミングで、LED６２bを点灯させる。
【０２４０】
これにより、波長λ２の照射光は、LED６２bから偏光変換素子１３１bを通過して、プリズム１５１bにより、プリズム１５１a（偏光ビームスプリッタ１０７）の方向に反射される。そして、波長λ２の照射光は、プリズム１５１a及びレンズ１０６を通過して、偏光ビームスプリッタ１０７に入射される。
【０２４１】
なお、波長λ２の照射光は、偏光変換素子１３１bを通過する際に、偏光変換素子１３１bにより、殆どの照射光がS偏光とされる。
【０２４２】
このため、偏光ビームスプリッタ１０７は、波長λ２の照射光のS偏光を、LCOS部１０８の方向に反射させる。LCOS部１０８は、偏光ビームスプリッタ１０７からの波長λ２の照射光を、P偏光として、偏光ビームスプリッタ１０７に照射する。
【０２４３】
偏光ビームスプリッタ１０７は、LCOS部１０８からの波長λ２の照射光を透過させて、レンズ１０９及びレンズ１１０を介して、投影範囲に照射させる。
【０２４４】
これにより、LED６２bは、撮像素子６３の次の撮像が行われる間、投射範囲内の被写体に対して、波長λ２の光を照射する。なお、LED６２aは消灯されている。
【０２４５】
ステップＳ８１では、図５のステップＳ２９と同様の処理が行われ、撮像素子６３から画像処理部８２に対して、撮像画像I_λ2が供給される。
【０２４６】
ステップＳ８２乃至ステップＳ８７において、それぞれ、図５のステップＳ３０乃至ステップＳ３５と同様の処理が行われる。
【０２４７】
なお、いまの場合、ジェスチャ検知可能範囲は、投影範囲であるため、投影範囲内で行われるジェスチャ等が、使用者の手の位置や形状等として検出され、その検出結果に応じて、投影画像上にカーソル等が表示させることとなる。
【０２４８】
ステップＳ８７の処理の終了後、制御部１１１は、LCOS部１０８を制御して、全画素を均一に反射させるようにされた設定を、投影画像を投影する際の設定に戻す。処理は、ステップＳ７１に戻り、それ以降、同様の処理が繰り返される。
【０２４９】
なお、このジェスチャ認識投影処理は、例えば、使用者が、操作部４４を操作して電源をオフしたときに終了される。
【０２５０】
以上説明したように、ジェスチャ認識投影処理によれば、被写体を照らす照明の明るさに拘らず、画像上の人間の手等を精度良く検出することが可能となる。
【０２５１】
また、ジェスチャ認識処理では、パターンマッチング等のような複雑な処理を行う場合と比較して、ジェスチャ認識処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
【０２５２】
さらに、例えば、ジェスチャ認識処理を行うプロジェクタ２１では、LED６２a,LED６２b、及び撮像素子６３等の、容易に調達可能な部品により構成されている。このため、例えば、特殊で非常に高価なセンサ等を用いて、人間のジェスチャ等を認識する場合と比較して、安価にプロジェクタ２１を製造することができる。
【０２５３】
また、波長λ１の光、及び波長λ２の光を照射する際に、ステップＳ７７において、制御部１１１は、LCOS部１０８を制御して、全画素を均一に反射させるように設定している。
【０２５４】
このため、波長λ１の光、及び波長λ２の光が、均一な光として、ジェスチャ検知可能範囲である投影範囲に照射されることとなるので、波長λ１の光、及び波長λ２の光が不均一なために、肌検出の検出精度が低下する事態を防止できる。
【０２５５】
＜４．変形例＞
プロジェクタ２１において、撮像素子６３による撮像方向は固定の他、可変とすることができる。すなわち、例えば、撮像素子６３を含む肌検出部４１を駆動可能にして、撮像素子６３による撮像方向を変化できるように構成することができる。
【０２５６】
さらに、例えば、画像処理部８２は、検出した使用者の手等の第１の位置を、撮像素子６３による撮像方向に応じた第２の位置に変換するようにしてもよい。
【０２５７】
すなわち、例えば、撮像方向が、図１に示されるように投影画像の投影方向とは同一である場合、撮像方向に存在する使用者は、投影方向に投影された投影画像を正面に見ながら、ジェスチャ等を行うと思われる。
【０２５８】
具体的には、例えば、投影画像上のカーソル等を、使用者から見て右方向に移動させたい場合、使用者は、投影画像を正面に見ながら、手等を右方向に移動させる。
【０２５９】
この場合、投影画像上のカーソル等を移動させたい方向と、使用者が、自身の手等を移動させる方向とは一致するため、画像処理部８２は、検出した使用者の手等の第１の位置を、移動する手の軌跡をジェスチャとして認識するものとして、そのまま用いて問題ない。
【０２６０】
しかしながら、例えば、撮像方向が、投影画像の投影方向と真逆である場合、撮像方向に存在する使用者は、投影範囲を正面にして、パーソナルコンピュータ２２に表示される投影画像（投影範囲に投影されたものと同一の投影画像）を見ながら、撮像範囲内でジェスチャ等を行うことが考えられる。
【０２６１】
すなわち、例えば、投影画像上のカーソル等を、図１の右方向に移動させたい場合、使用者は、プロジェクタ２１を正面に見ながら、使用者から見て右方向（図１の右方向）に、手等を移動させる。
【０２６２】
この場合、撮像素子６３から見ると使用者の手は、向かって左に動くことになる。従って撮像素子６３により得られる撮像画像を用いて、画像処理部８２が検出した使用者の手等の連続的な第１の位置に合わせて、投影画像上のカーソル等を移動させると、カーソルは左方向に移動してしまうことになる。
なお、画像処理部８２は、例えば、使用者の手等の連続的な第１の位置により、使用者の手等の動きを検出するようにしている。
【０２６３】
したがって、画像処理部８２は、検出した第１の位置を、例えば、撮像画像上の上下方向に延びる中心線に対して、左右対称な第２の位置に変換し、変換後の第２の位置を、その後の処理で用いるようにする。
この場合、画像処理部８２は、例えば、使用者の手等の連続的な第２の位置により、使用者の手等の動きを検出するものとなる。
【０２６４】
これにより、画像処理部８２は、使用者の手が、図１の左方向ではなく、図１の右方向に移動したものと認識できるようになり、投影画像上のカーソルを、移動させたい図１の右方向に移動させるようにすることができる。
【０２６５】
第２の実施の形態では、図７に示されるように、偏光ビームスプリッタ１０７を用いて、LED６２aからプリズム１３２を介して入射される波長λ１の照射光、及びLED６２bからプリズム１３２を介して入射される波長λ２の照射光を、投影範囲の方向に反射させるようにしている。
【０２６６】
しかしながら、例えば、ミラー等を用いるようにして、波長λ１の照射光、及び波長λ２の照射光を、投影範囲の方向に反射させるようにしてもよい。
【０２６７】
また、第１乃至第３の実施の形態において、プロジェクタ２１には、例えば、加速度センサ等を設けるようにして、プロジェクタ２１の動きを検知できるようにしてもよい。そして、プロジェクタ２１の動きが検知された場合には、再度、撮像画像上の投影範囲を算出するキャリブレーション処理を行うようにしてもよい。
【０２６８】
この場合、プロジェクタ２１の動きにより、投影範囲が変更された場合でも、変更後の投影範囲を、再度のキャリブレーション処理で算出できるようになる。
【０２６９】
なお、本技術は以下のような構成もとることができる。
（１）被写体に対して第１の波長の光を照射する第１の照射部と、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出部と、前記検出部の検出結果に応じて変更される投影画像を投影する投影部とを含む投影装置。
（２）前記撮像部は、前記投影画像が投影される投影範囲を含む撮像範囲で、前記被写体の撮像を行う前記（１）に記載の投影装置。
（３）前記撮像部の撮像により得られる撮像画像上の前記投影範囲を算出する算出部をさらに含む前記（２）に記載の投影装置。
（４）前記投影部は、前記投影範囲の輪郭を表す輪郭投影画像も投影し、前記算出部は、前記輪郭投影画像が投影されたときの撮像で得られる前記撮像画像上の前記投影範囲を算出する前記（３）に記載の投影装置。
（５）前記第１の照射部は、前記第１の波長の不可視光を照射し、前記第２の照射部は、前記第２の波長の不可視光を照射し、前記投影部は、前記輪郭投影画像を、少なくとも可視光を含む投影光、又は不可視光の一方として投影する前記（４）に記載の投影装置。
（６）前記投影部は、前記輪郭投影画像を、前記投影光として投影し、前記撮像部は、可視光を遮断する可視光遮断部が設けられた第１の受光素子と、前記可視光遮断部が設けられていない第２の受光素子とにより構成される撮像素子を有し、前記第１の受光素子により、前記第１及び第２の撮像画像を生成し、前記第２の受光素子により、前記パターン画像を生成する前記（５）に記載の投影装置。
（７）前記投影部は、前記輪郭投影画像を不可視光として投影し、前記撮像部は、可視光を遮断する可視光遮断部が設けられた撮像素子を有し、前記撮像素子により、前記第１及び第２の撮像画像の他、前記パターン画像も生成する
前記（５）に記載の投影装置。
（８）可視光を遮断する可視光遮断部と、前記輪郭投影画像として、前記投影光が投影されるときに、前記撮像素子に可視光が入射されるように前記可視光遮断部を移動させ、前記第１の波長の光、又は前記第２の波長の光が照射されるときに、前記撮像素子に可視光が入射されないように前記可視光遮断部を移動させる
移動制御部とをさらに含む前記（５）に記載の投影装置。
（９）前記投影部は、予め決められた方向から入射される光を、前記投影範囲に反射させる反射部を有し、前記第１の照射部は、前記第１の波長の光を、前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部は、前記第２の波長の光を、前記反射部に反射させて前記投影範囲に照射する前記（２）乃至（８）に記載の投影装置。
（１０）前記第１の照射部は、前記第１の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射し、前記第２の照射部は、前記第２の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射する前記（９）に記載の投影装置。
（１１）前記第１の照射部から照射される前記第１の波長の光を、第１の偏光、又は前記第１の偏光とは異なる第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第１の偏光変換部と、前記第２の照射部から照射される前記第２の波長の光を、前記第１の偏光又は前記第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第２の偏光変換部とをさらに含む前記（９）に記載の投影装置。
（１２）前記投影装置の動きを検知する動き検知部をさらに含み、前記算出部は、前記動き検知部により、前記投影装置の動きが検知された場合にも、前記撮像画像上の前記投影範囲を算出する前記（３）又は（４）に記載の投影装置。
（１３）前記投影部は、前記投影範囲のうち、前記肌領域の検出された部分を除く範囲に、前記投影画像を投影する前記（１）に記載の投影装置。
（１４）前記撮像部は、撮像方向を変更可能である前記（１）に記載の投影装置。
（１５）前記肌領域が検出された前記撮像画像上の第１の位置を、前記撮像部の撮像方向に応じた第２の位置に変換する位置変換部をさらに含み、前記投影部は、前記第２の位置に応じて変更された前記投影画像を投影する前記（１４）に記載の投影装置。
（１６）
前記第１の照射部は、前記第１の波長の光を前記投影範囲に照射し、前記第２の照射部は、前記第２の波長の光を前記投影範囲に照射し、前記検出部は、前記第１の撮像画像及び前記第２の撮像画像に基づいて、前記投射範囲内の前記肌領域を検出する前記（２）に記載の投影装置。
（１７）前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす前記（１）に記載の投影装置。
（１８）前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、前記第２の照射部は、前記第２の波長λ２の不可視光を照射する前記（１７）に記載の投影装置。
（１９）前記投影範囲における前記検出結果を、前記投影範囲内の位置に応じた信号として出力する出力部をさらに含む前記（３）に記載の投影装置。
（２０）投影装置の投影方法において、前記投影装置による、被写体に対して第１の波長の光を照射する第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なう第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なう第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップとを含む投影方法。
（２１）コンピュータに、被写体に対して第１の波長の光を照射させる第１の照射ステップと、前記第１の波長の光を照射させたときの前記被写体の撮像を行なわせる第１の撮像ステップと、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射させる第２の照射ステップと、前記第２の波長の光を照射させたときの前記被写体の撮像を行なわせる第２の撮像ステップと、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、前記検出ステップの検出結果に応じて変更される投影画像を投影させる投影ステップとを含む処理を実行させるためのプログラム。
【０２７０】
[コンピュータの構成例]
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７１】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０２７２】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０２７３】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２７４】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２７５】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２７６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２７７】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７８】
また、本開示における実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２７９】
２１ プロジェクタ, ２２ パーソナルコンピュータ, ４１ 肌検出部, ４２ 投影部, ４３ 制御部, ４４ 操作部, ６１ DSP, ６２a,６２b LED, ６３ 撮像素子, ６４ レンズ, ６５ 可視光カットフィルタ, ８１ LED制御部, ８２ 画像処理部, １０１,１０２,１０３ レーザ光源部, １０４,１０５ プリズム, １０６ レンズ, １０７ 偏光ビームスプリッタ, １０８ LCOS部, １０９,１１０ レンズ, １１１ 制御部, １３１a,１３１b 偏光変換素子, １３２,１５１a,１５１b プリズム
【特許請求の範囲】
【請求項１】
被写体に対して第１の波長の光を照射する第１の照射部と、
前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、
前記被写体の撮像を行なう撮像部と、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出部と、
前記検出部の検出結果に応じて変更される投影画像を投影する投影部と
を含む投影装置。
【請求項２】
前記撮像部は、前記投影画像が投影される投影範囲を含む撮像範囲で、前記被写体の撮像を行う
請求項１に記載の投影装置。
【請求項３】
前記撮像部の撮像により得られる撮像画像上の前記投影範囲を算出する算出部をさらに含む請求項２に記載の投影装置。
【請求項４】
前記投影部は、前記投影範囲の輪郭を表す輪郭投影画像も投影し、
前記算出部は、前記輪郭投影画像が投影されたときの撮像で得られる前記撮像画像上の前記投影範囲を算出する
請求項３に記載の投影装置。
【請求項５】
前記第１の照射部は、前記第１の波長の不可視光を照射し、
前記第２の照射部は、前記第２の波長の不可視光を照射し、
前記投影部は、前記輪郭投影画像を、少なくとも可視光を含む投影光、又は不可視光の一方として投影する
請求項４に記載の投影装置。
【請求項６】
前記投影部は、前記輪郭投影画像を、前記投影光として投影し、
前記撮像部は、可視光を遮断する可視光遮断部が設けられた第１の受光素子と、前記可視光遮断部が設けられていない第２の受光素子とにより構成される撮像素子を有し、前記第１の受光素子により、前記第１及び第２の撮像画像を生成し、前記第２の受光素子により、前記パターン画像を生成する
請求項５に記載の投影装置。
【請求項７】
前記投影部は、前記輪郭投影画像を不可視光として投影し、
前記撮像部は、可視光を遮断する可視光遮断部が設けられた撮像素子を有し、前記撮像素子により、前記第１及び第２の撮像画像の他、前記パターン画像も生成する
請求項５に記載の投影装置。
【請求項８】
可視光を遮断する可視光遮断部と、
前記輪郭投影画像として、前記投影光が投影されるときに、前記撮像素子に可視光が入射されるように前記可視光遮断部を移動させ、
前記第１の波長の光、又は前記第２の波長の光が照射されるときに、前記撮像素子に可視光が入射されないように前記可視光遮断部を移動させる
移動制御部と
をさらに含む請求項５に記載の投影装置。
【請求項９】
前記投影部は、予め決められた方向から入射される光を、前記投影範囲に反射させる反射部を有し、
前記第１の照射部は、前記第１の波長の光を、前記反射部に反射させて前記投影範囲に照射し、
前記第２の照射部は、前記第２の波長の光を、前記反射部に反射させて前記投影範囲に照射する
請求項２に記載の投影装置。
【請求項１０】
前記第１の照射部は、前記第１の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射し、
前記第２の照射部は、前記第２の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射する
請求項９に記載の投影装置。
【請求項１１】
前記第１の照射部から照射される前記第１の波長の光を、第１の偏光、又は前記第１の偏光とは異なる第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第１の偏光変換部と、
前記第２の照射部から照射される前記第２の波長の光を、前記第１の偏光又は前記第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第２の偏光変換部と
をさらに含む請求項９に記載の投影装置。
【請求項１２】
前記投影装置の動きを検知する動き検知部をさらに含み、
前記算出部は、前記動き検知部により、前記投影装置の動きが検知された場合、前記撮像画像上の前記投影範囲を算出する
請求項３に記載の投影装置。
【請求項１３】
前記投影部は、前記投影範囲のうち、前記肌領域の検出された部分を除く範囲に、前記投影画像を投影する
請求項１に記載の投影装置。
【請求項１４】
前記撮像部は、撮像方向を変更可能である
請求項１に記載の投影装置。
【請求項１５】
前記肌領域が検出された前記撮像画像上の第１の位置を、前記撮像部の撮像方向に応じた第２の位置に変換する変換部をさらに含み、
前記投影部は、前記第２の位置に応じて変更された前記投影画像を投影する
請求項１４に記載の投影装置。
【請求項１６】
前記第１の照射部は、前記第１の波長の光を前記投影範囲に照射し、
前記第２の照射部は、前記第２の波長の光を前記投影範囲に照射し、
前記検出部は、前記第１の撮像画像及び前記第２の撮像画像に基づいて、前記投射範囲内の前記肌領域を検出する
請求項２に記載の投影装置。
【請求項１７】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす請求項１に記載の投影装置。
【請求項１８】
前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、
前記第２の照射部は、前記第２の波長λ２の不可視光を照射する
請求項１７に記載の投影装置。
【請求項１９】
前記投影範囲における前記検出結果を、前記投影範囲内の位置に応じた信号として出力する出力部
をさらに含む請求項３に記載の投影装置。
【請求項２０】
投影装置の投影方法において、
前記投影装置による、
被写体に対して第１の波長の光を照射する第１の照射ステップと、
前記第１の波長の光を照射させたときの前記被写体の撮像を行なう第１の撮像ステップと、
前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射ステップと、
前記第２の波長の光を照射させたときの前記被写体の撮像を行なう第２の撮像ステップと、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、
前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップと
を含む投影方法。
【請求項２１】
コンピュータに、
被写体に対して第１の波長の光を照射させる第１の照射ステップと、
前記第１の波長の光を照射させたときの前記被写体の撮像を行なわせる第１の撮像ステップと、
前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射させる第２の照射ステップと、
前記第２の波長の光を照射させたときの前記被写体の撮像を行なわせる第２の撮像ステップと、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、
前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップと
を含む処理を実行させるためのプログラム。
【請求項１】
被写体に対して第１の波長の光を照射する第１の照射部と、
前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、
前記被写体の撮像を行なう撮像部と、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出部と、
前記検出部の検出結果に応じて変更される投影画像を投影する投影部と
を含む投影装置。
【請求項２】
前記撮像部は、前記投影画像が投影される投影範囲を含む撮像範囲で、前記被写体の撮像を行う
請求項１に記載の投影装置。
【請求項３】
前記撮像部の撮像により得られる撮像画像上の前記投影範囲を算出する算出部をさらに含む請求項２に記載の投影装置。
【請求項４】
前記投影部は、前記投影範囲の輪郭を表す輪郭投影画像も投影し、
前記算出部は、前記輪郭投影画像が投影されたときの撮像で得られる前記撮像画像上の前記投影範囲を算出する
請求項３に記載の投影装置。
【請求項５】
前記第１の照射部は、前記第１の波長の不可視光を照射し、
前記第２の照射部は、前記第２の波長の不可視光を照射し、
前記投影部は、前記輪郭投影画像を、少なくとも可視光を含む投影光、又は不可視光の一方として投影する
請求項４に記載の投影装置。
【請求項６】
前記投影部は、前記輪郭投影画像を、前記投影光として投影し、
前記撮像部は、可視光を遮断する可視光遮断部が設けられた第１の受光素子と、前記可視光遮断部が設けられていない第２の受光素子とにより構成される撮像素子を有し、前記第１の受光素子により、前記第１及び第２の撮像画像を生成し、前記第２の受光素子により、前記パターン画像を生成する
請求項５に記載の投影装置。
【請求項７】
前記投影部は、前記輪郭投影画像を不可視光として投影し、
前記撮像部は、可視光を遮断する可視光遮断部が設けられた撮像素子を有し、前記撮像素子により、前記第１及び第２の撮像画像の他、前記パターン画像も生成する
請求項５に記載の投影装置。
【請求項８】
可視光を遮断する可視光遮断部と、
前記輪郭投影画像として、前記投影光が投影されるときに、前記撮像素子に可視光が入射されるように前記可視光遮断部を移動させ、
前記第１の波長の光、又は前記第２の波長の光が照射されるときに、前記撮像素子に可視光が入射されないように前記可視光遮断部を移動させる
移動制御部と
をさらに含む請求項５に記載の投影装置。
【請求項９】
前記投影部は、予め決められた方向から入射される光を、前記投影範囲に反射させる反射部を有し、
前記第１の照射部は、前記第１の波長の光を、前記反射部に反射させて前記投影範囲に照射し、
前記第２の照射部は、前記第２の波長の光を、前記反射部に反射させて前記投影範囲に照射する
請求項２に記載の投影装置。
【請求項１０】
前記第１の照射部は、前記第１の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射し、
前記第２の照射部は、前記第２の波長の光を、各画素値が均一な投影画像として反射させる前記反射部に反射させて前記投影範囲に照射する
請求項９に記載の投影装置。
【請求項１１】
前記第１の照射部から照射される前記第１の波長の光を、第１の偏光、又は前記第１の偏光とは異なる第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第１の偏光変換部と、
前記第２の照射部から照射される前記第２の波長の光を、前記第１の偏光又は前記第２の偏光のうち、前記反射部で反射される前記第１の偏光に変換する第２の偏光変換部と
をさらに含む請求項９に記載の投影装置。
【請求項１２】
前記投影装置の動きを検知する動き検知部をさらに含み、
前記算出部は、前記動き検知部により、前記投影装置の動きが検知された場合、前記撮像画像上の前記投影範囲を算出する
請求項３に記載の投影装置。
【請求項１３】
前記投影部は、前記投影範囲のうち、前記肌領域の検出された部分を除く範囲に、前記投影画像を投影する
請求項１に記載の投影装置。
【請求項１４】
前記撮像部は、撮像方向を変更可能である
請求項１に記載の投影装置。
【請求項１５】
前記肌領域が検出された前記撮像画像上の第１の位置を、前記撮像部の撮像方向に応じた第２の位置に変換する変換部をさらに含み、
前記投影部は、前記第２の位置に応じて変更された前記投影画像を投影する
請求項１４に記載の投影装置。
【請求項１６】
前記第１の照射部は、前記第１の波長の光を前記投影範囲に照射し、
前記第２の照射部は、前記第２の波長の光を前記投影範囲に照射し、
前記検出部は、前記第１の撮像画像及び前記第２の撮像画像に基づいて、前記投射範囲内の前記肌領域を検出する
請求項２に記載の投影装置。
【請求項１７】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす請求項１に記載の投影装置。
【請求項１８】
前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、
前記第２の照射部は、前記第２の波長λ２の不可視光を照射する
請求項１７に記載の投影装置。
【請求項１９】
前記投影範囲における前記検出結果を、前記投影範囲内の位置に応じた信号として出力する出力部
をさらに含む請求項３に記載の投影装置。
【請求項２０】
投影装置の投影方法において、
前記投影装置による、
被写体に対して第１の波長の光を照射する第１の照射ステップと、
前記第１の波長の光を照射させたときの前記被写体の撮像を行なう第１の撮像ステップと、
前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射ステップと、
前記第２の波長の光を照射させたときの前記被写体の撮像を行なう第２の撮像ステップと、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、
前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップと
を含む投影方法。
【請求項２１】
コンピュータに、
被写体に対して第１の波長の光を照射させる第１の照射ステップと、
前記第１の波長の光を照射させたときの前記被写体の撮像を行なわせる第１の撮像ステップと、
前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射させる第２の照射ステップと、
前記第２の波長の光を照射させたときの前記被写体の撮像を行なわせる第２の撮像ステップと、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記被写体に対して前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出ステップと、
前記検出ステップの検出結果に応じて変更される投影画像を投影する投影ステップと
を含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−３８５９（Ｐ２０１３−３８５９Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４６４１（Ｐ２０１１−１３４６４１）
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]