画像処理装置、画像処理方法、及びプログラム
【課題】ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認させる。
【解決手段】第１のLEDは、被写体に対して第１の波長の光を照射し、第２のLEDは、被写体に対して第２の波長の光を照射し、カメラは、被写体の撮像を行ない、算出部は、第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、被写体の肌又は眼の少なくとも一方を表す部位領域を検出し、検出した部位領域を少なくとも含む算出用領域から、被写体の視点に関する視点情報を算出し、表示制御部は、算出された視点情報に応じて、被写体に画像を立体的に視認させるための表示機構を制御する。本開示は、例えば、被写体を撮像して得られる撮像画像を画像処理する画像処理装置に適用できる。
【解決手段】第１のLEDは、被写体に対して第１の波長の光を照射し、第２のLEDは、被写体に対して第２の波長の光を照射し、カメラは、被写体の撮像を行ない、算出部は、第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、被写体の肌又は眼の少なくとも一方を表す部位領域を検出し、検出した部位領域を少なくとも含む算出用領域から、被写体の視点に関する視点情報を算出し、表示制御部は、算出された視点情報に応じて、被写体に画像を立体的に視認させるための表示機構を制御する。本開示は、例えば、被写体を撮像して得られる撮像画像を画像処理する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、ディスプレイを視認する位置に拘らず、ディスプレイ上の画像を立体的に視認できるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
パララックスバリア方式（視差バリア方式）や、レンチキュラーレンズ方式などにより、鑑賞者による３Ｄメガネの装着を必要とせずに、ディスプレイ上の画像を立体的に視認させる３Ｄ技術が存在する（例えば、特許文献１参照）。
【０００３】
ここで、ディスプレイ上の画像は、左眼用２次元画像、及び右眼用２次元画像により構成されている。また、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【０００４】
なお、視差とは、例えば、左眼用２次元画像上の物体と、右眼用２次元画像上の物体との位置ズレを表し、この位置ズレが大きい程に、物体は、鑑賞者から見て手前側で立体的に視認される。
【０００５】
上述の３Ｄ技術では、ディスプレイ上の画像を鑑賞者に提示する場合、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるようにし、右眼用２次元画像を鑑賞者の右眼のみで視認できるようにする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５０１６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述の３Ｄ技術では、ディスプレイにおいて、画像を表示する表示画面の中央付近を通る法線上の位置から、鑑賞者が表示画面を正面に見ることを想定している。
【０００８】
したがって、例えば、表示画面を正面に見たときにおける右方向や左方向に寄った位置から、鑑賞者が表示画面を斜めに見る場合、表示画面に表示された画像を立体的に視認できないばかりか、左眼用２次元画像が鑑賞者の右眼で視認され、右眼用２次元画像が鑑賞者の左眼で視認される逆視が発生し得る。逆視が発生した場合には、鑑賞者に不快感を与えてしまうことがある。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置である。
【００１１】
前記算出部では、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有することができる。
【００１２】
前記特徴量算出部では、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出することができる。
【００１３】
前記特徴量算出部では、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出することができる。
【００１４】
前記算出部では、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも１つを含む前記視点情報を算出することができる。
【００１５】
前記表示制御部では、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用２次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用２次元画像を表示させることができる。
【００１６】
前記表示制御部では、前記表示機構を制御し、右眼用２次元画像及び左眼用２次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用２次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用２次元画像とをそれぞれ分離させることができる。
【００１７】
前記表示機構は、パララックスバリア又はレンチキュラーレンズであるようにすることができる。
【００１８】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
であるようにすることができる。
【００１９】
前記第１の照射部では、前記第１の波長λ１の不可視光を照射し、前記第２の照射部では、前記第２の波長λ２の不可視光を照射することができる。
【００２０】
前記撮像部では、前記撮像部に入射される可視光を遮断する可視光カットフィルタを設けるようにすることができる。
【００２１】
本開示の一側面の画像処理方法は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法であって、前記画像処理装置による、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法である。
【００２２】
本開示の一側面のプログラムは、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラムである。
【００２３】
本開示によれば、前記被写体の肌又は眼の少なくとも一方を表す部位領域が検出され、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報が算出され、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構が制御される。
【発明の効果】
【００２４】
本開示によれば、ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態である画像処理装置の構成例を示すブロック図である。
【図２】撮像画像において、鑑賞者の肌領域を含む最小の矩形領域の一例を示す図である。
【図３】左眼用２次元画像及び右眼用２次元画像の表示位置を、それぞれ、眼球位置に応じて変更する場合の一例を示す図である。
【図４】左眼用２次元画像及び右眼用２次元画像の表示位置を、それぞれ、眼球位置に応じて変更する場合の他の一例を示す図である。
【図５】人間の肌に対する分光反射特性を示す図である。
【図６】画像処理装置が行う３Ｄ制御処理を説明するためのフローチャートである。
【図７】人間の眼に対する分光反射特性を示す図である。
【図８】逆視が生じる位置及び逆視が生じない位置の一例を示す図である。
【図９】LCDの表示例を示す図である。
【図１０】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（いずれの視点からでも、画像を立体的に視認できるようにするときの一例）
２．変形例
【００２７】
＜１．本実施の形態＞
[画像処理装置２１の構成例]
図１は、本実施の形態である画像処理装置２１の構成例を示している。
【００２８】
なお、この画像処理装置２１は、LCD（liquid crystal display）２２上の画像を鑑賞する鑑賞者の視点に拘らず、いずれの視点からでも、画像を立体的に視認できるようにするものである。
【００２９】
すなわち、例えば、画像処理装置２１は、鑑賞者の撮像を行い、その撮像により得られる撮像画像から、鑑賞者の視点情報を算出する。そして、画像処理装置２１は、算出した視点情報に応じて、LCD２２に表示させる表示内容を変更させるようにして、いずれの視点からでも、画像を立体的に視認できるようにする。
【００３０】
ここで、視点情報とは、鑑賞者の視点に関する情報を表し、例えば、鑑賞者の視線の方向を表す視線方向、鑑賞者の右眼の位置、鑑賞者の左眼の位置、又は鑑賞者の顔の位置等の少なくとも１つを含む情報をいう。すなわち、視点情報は、LCD２２と鑑賞者の視点との位置関係（後述する図３や図４に示される位置関係）を判別可能な情報であれば、どのような情報であってもよい。したがって、例えば、鑑賞者の左眼、右眼及び顔の位置としては、撮像画像内における位置を採用することもできるし、実空間（現実の空間）上における位置を採用することもできる。
【００３１】
本実施の形態では、画像処理装置２１は、撮像画像から、鑑賞者の右眼の位置、及び鑑賞者の左眼の位置を含む視点情報を算出し、算出した視点情報に応じて、LCD２２に表示させる表示内容を変更させるものとする。
【００３２】
また、LCD２２の前面には、LCD２２に表示される画像が立体的に視認されるように、パララックスバリア２２aが設けられている。このパララックスバリア２２aは、例えば、偏光板やスイッチ液晶等からなり、LCD２２に表示される画像の光の一部を遮光し、残りを透過させることで、右眼用２次元画像と左眼用２次元画像を光学的に分離させる。
【００３３】
なお、パララックスバリア２２aに代えて、LCD２２に表示される画像の光の出射方向を変更して、右眼用２次元画像と左眼用２次元画像を光学的に分離させるレンチキュラーレンズを用いることができる。
【００３４】
画像処理装置２１は、DSP(digital signal processor)４１、LED(light-emitting diode)４２a、LED４２b、及びカメラ４３から構成される。なお、LED４２aの個数、及びLED４２bの個数は、それぞれ、１個に限定されず、必要に応じて複数個とされる。
【００３５】
DSP４１は、例えば、図示せぬメモリ等に保持された制御用プログラムを実行することにより、発光制御部６１、算出部６２、及び表示制御部６３として機能する。
【００３６】
発光制御部６１は、カメラ４３からのフレーム同期信号に基づいて、LED４２a及びLED４２bを制御し、LED４２aやLED４２bの消灯及び点灯を制御する。ここで、フレーム同期信号とは、カメラ４３の撮像が行われるタイミングを表す。
【００３７】
すなわち、例えば、発光制御部６１は、カメラ４３からのフレーム同期信号に基づいて、カメラ４３により１枚の画像の撮像が行われる毎に、LED４２aのみを点灯、LED４２bのみを点灯、LED４２a及びLED４２bのいずれも消灯を繰り返して行わせる。
【００３８】
算出部６２は、カメラ４３からの撮像画像I_λ1,I_λ2,I_offを取得する。ここで、撮像画像I_λ1とは、波長λ１の光を発光するLED４２aのみが点灯した状態で、カメラ４３の撮像により得られた画像を表す。
【００３９】
また、撮像画像I_λ2とは、波長λ２の光を発光するLED４２bのみが点灯した状態で、カメラ４３の撮像により得られた画像を表す。さらに、撮像画像I_offとは、LED４２a及びLED４２bのいずれも消灯した状態で、カメラ４３の撮像により得られた画像を表す。
【００４０】
算出部６２は、取得した各撮像画像I_λ1,I_λ2,I_offに対して、LPF(low pass filter)を用いた平滑化を行う。また、算出部６２は、各画素ごとに、撮像画像I_λ1の輝度値Y(λ1)から、撮像画像I_λ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【００４１】
さらに、算出部６２は、撮像画像I_λ1又は撮像画像I_λ2の少なくとも一方に基づく値として、例えば輝度値(Y(λ1) Y(off))で、差分(Y(λ1) - Y(λ2))を正規化（除算）する。なお、輝度値Y(off)は、撮像画像I_offの輝度値を表す。
【００４２】
そして、算出部６２は、正規化後の差分{(Y(λ1) - Y(λ2))/(Y(λ1) Y(off))}に所定の値（例えば、100）を乗算して得られる差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)を、予め決められた２値化用の閾値で２値化して、２値化肌画像I_skinを算出する。
【００４３】
なお、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)は、撮像画像I_λ1の輝度値が、撮像画像I_λ2の輝度値に対して、何パーセント高いものであるかを表す。また、２値化用の閾値としては、例えば、１０パーセントを用いることができる。
【００４４】
算出部６２は、算出した２値化肌画像I_skinに基づいて、鑑賞者の肌を表す肌領域を検出する。
【００４５】
すなわち、例えば、算出部６２は、算出した２値化肌画像I_skinを構成する全領域のうち、２値化用の閾値以上とされた領域を、肌領域として検出する。
【００４６】
なお、このようにして鑑賞者の肌領域を検出できる原理は、図５を参照して後述する。
【００４７】
ここで、差分画像I_diffの算出時において、撮像画像I_offの輝度値Y(off)は、LED４２a及びLED４２bの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。
【００４８】
なお、外光の影響が軽微である場合には、撮像画像I_offの取得を省略して、差分画像I_diffを算出するようにしてもよい。
【００４９】
また、カメラ４３のレンズの前面に、可視光をカット（遮断）する可視光カットフィルタを設けるように構成すれば、外光としての可視光の影響を除去することができ、肌検出の精度をより向上させることができる。
【００５０】
算出部６２は、検出した肌領域を少なくとも含む算出用領域として、例えば、図２に示されるような、肌領域８１aを含む最小の矩形領域８１から、鑑賞者の視点情報を算出する。
【００５１】
すなわち、例えば、算出部６２は、矩形領域８１から、鑑賞者の顔の特徴を表す特徴量を算出する。そして、算出部６２は、算出した特徴量を用いて、図示せぬメモリ等を参照して、視点情報を算出し、表示制御部６３に供給する。ここで、顔の特徴を表す特徴量としては、具体的には、例えば、顔の形状や、顔の一部の形状の特徴を表す特徴量を用いることができる。
【００５２】
なお、図示せぬメモリ等には、異なる視点情報毎に、複数の特徴量が対応付けて予め保持されているものとする。このため、算出部６２は、例えば、図示せぬメモリ等に保持されている複数の特徴量と、算出した特徴量とを比較するパターンマッチングを行う。
【００５３】
そして、算出部６２は、パターンマッチングにより、矩形領域８１から算出した特徴量と最も類似する特徴量を判定し、判定された特徴量に対応付けられている視点情報を読み出して、表示制御部６３に供給する。
【００５４】
ここで、メモリに保持される特徴量は、例えば、異なる人間の顔毎に、顔の特徴にばらつきがあることを考慮した上で算出され、画像処理装置２１の出荷時に予め用意されたものを用いることができる。
【００５５】
すなわち、例えば、メモリに保持される特徴量は、異なる人間の顔をそれぞれ撮像して得られる複数の撮像画像から、異なる人間の顔毎に、顔の特徴にばらつきがあることを考慮した上で算出される。そして、算出された特徴量は、撮像時の人間の右眼の位置や左眼の位置等を含む視点情報に対応付けられて、図示せぬメモリに予め保持される。この場合、カメラ４３の位置や、画角、撮像方向等は、図示せぬメモリに予め保持される特徴量を算出する際に、異なる人間の顔をそれぞれ撮像したカメラと同様であることが望ましい。
【００５６】
その他、例えば、メモリに保持される特徴量は、画像処理装置２１の電源がオンになったときなどに算出したものを用いるようにしてもよい。すなわち、例えば、画像処理装置２１の電源がオンとなったときなどに、カメラ４３により鑑賞者を撮像し、その撮像により得られる撮像画像から算出するようにしてもよい。この場合も同様にして、算出された特徴量は、撮像時の人間の右眼の位置や左眼の位置等を含む視点情報に対応付けられて、図示せぬメモリに予め保持される。
【００５７】
ところで、上述の矩形領域８１は、例えば、撮像画像I_λ1上の領域とされるが、鑑賞者が写る撮像画像であれば、どのような撮像画像上の領域であってもよい。
【００５８】
また、算出部６２において、複数の肌領域が検出された場合、矩形領域８１としては、検出された複数の肌領域を含む最小の矩形領域を採用することができる。また、矩形領域８１としては、例えば複数の肌領域中で面積が最大の領域を少なくとも含む矩形領域や、複数の肌領域中で画像の中央部に最も近い領域を少なくとも含む矩形領域を採用してもよい。なお、視点情報の算出に用いる算出用領域の形状は、矩形に限定されない。
【００５９】
表示制御部６３は、算出部６２からの視点情報に基づいて、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させる。なお、表示制御部６３が表示位置を変更する処理は、図３及び図４を参照して詳述する。
【００６０】
[左眼用２次元画像及び右眼用２次元画像の表示位置を変更する場合の一例]
次に、図３は、表示制御部６３が、鑑賞者の視点情報に応じて、LCD２２に表示する左眼用２次元画像及び右眼用２次元画像の表示位置を変更する場合の一例を示している。
【００６１】
例えば、表示制御部６３は、算出部６２からの視点情報に基づいて、図３に示されるような、LCD２２に対する左眼の位置１０１L及び右眼の位置１０１Rを判別する。そして、表示制御部６３は、その判別結果に基づいて、左眼用２次元画像を構成する全領域を、４個の短冊状の領域（以下、左眼用短冊領域という）に分割してLCD２２に表示させる。
【００６２】
具体的には、例えば、表示制御部６３は、左眼用２次元画像を分割して得られる４個の左眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域４乃至７，領域１２乃至１５，領域２０乃至２３，領域２８乃至３１に表示させる。
【００６３】
なお、図３において、領域４乃至７，領域１２乃至１５，領域２０乃至２３，領域２８乃至３１には、左眼用２次元画像が表示されることを示す文字Lを付加している。
【００６４】
さらに、例えば、表示制御部６３は、右眼用２次元画像を構成する全領域を、４個の短冊状の領域（以下、右眼用短冊領域という）に分割してLCD２２に表示させる。
【００６５】
具体的には、例えば、表示制御部６３は、右眼用２次元画像を分割して得られる４個の右眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域０乃至３，領域８乃至１１，領域１６乃至１９，領域２４乃至２７に表示させる。
【００６６】
なお、図３において、領域０乃至３，８乃至１１，１６乃至１９，２４乃至２７には、右眼用２次元画像が表示されることを示す文字Rを付加している。
【００６７】
また、本実施の形態では、パララックスバリア２２aには、LCD２２の各領域０乃至３１のうち、領域０，１，６，７，１２，１３，１８，１９，２４，２５，３０，３１の前面に、光を透過させるスリットが設けられている。このことは、後述する図４についても同様である。
【００６８】
次に、図４は、鑑賞者の視点情報の変化に応じて、LCD２２に表示する左眼用２次元画像及び右眼用２次元画像の表示位置を変更する場合の他の一例を示している。
【００６９】
表示制御部６３は、例えば、算出部６２からの視点情報に含まれる左眼の位置及び右眼の位置が変化した場合、LCD２２を制御して、左眼用２次元画像及び右眼用２次元画像の表示位置を変更させる。
【００７０】
すなわち、例えば、図４に示されるように、左眼の位置１０１Lが位置１０２Lに変化し、右眼の位置１０１Rが位置１０２Rに変化した場合、表示制御部６３は、算出部６２からの視点情報に基づいて、図４に示されるような、LCD２２に対する左眼の位置１０２L及び右眼の位置１０２Rを判別する。そして、表示制御部６３は、その判別結果に基づいて、左眼用２次元画像及び右眼用２次元画像の表示位置を変更して、左眼用２次元画像及び右眼用２次元画像を、LCD２２に表示させる。
【００７１】
具体的には、例えば、表示制御部６３は、左眼用２次元画像を分割して得られる４個の左眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域２乃至５，領域１０乃至１３，領域１８乃至２１，領域２６乃至２９に表示させる。
【００７２】
なお、図４において、領域２乃至５，領域１０乃至１３，領域１８乃至２１，領域２６乃至２９には、左眼用２次元画像が表示されることを示す文字Lを付加している。
【００７３】
また、例えば、表示制御部６３は、右眼用２次元画像を分割して得られる４個の右眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域０乃至１，領域６乃至９，領域１４乃至１７，領域２２乃至２５，領域３０乃至３１に表示させる。
【００７４】
なお、図４において、領域０乃至１，領域６乃至９，領域１４乃至１７，領域２２乃至２５，領域３０乃至３１には、右眼用２次元画像が表示されることを示す文字Rを付加している。
【００７５】
表示制御部６３は、例えば、鑑賞者の右眼の位置と左眼の位置に基づいて、図４に示されるように、右眼用２次元画像及び左眼用２次元画像の表示位置を変更するようにした。
【００７６】
これにより、図４において、左眼用２次元画像が、位置１０２Lに存在する左眼のみで視認され、右眼用２次元画像が、位置１０２Rに存在する右眼のみで視認されるようになる。よって、鑑賞者は、LCD２２上の画像を立体的に視認できるようになる。なお、レンチキュラーレンズを用いる場合についても同様である。
【００７７】
その他、例えば、表示制御部６３は、パララックスバリア２２aを制御して、鑑賞者に、画像を立体的に視認させるようにしてもよい。
【００７８】
すなわち、例えば、表示制御部６３は、右眼用２次元画像及び左眼用２次元画像の表示位置を変更する代わりに、又はその変更ととともに、パララックスバリア２２aを制御して、光を透過させるスリットの位置を変更するようにしてもよい。
【００７９】
この場合、パララックスバリア２２aは、表示制御部６３からの制御にしたがって、スリットの位置を変更可能なスイッチ液晶等から構成されていてもよい。
【００８０】
図１に戻り、LED４２aは、発光制御部６１からの制御にしたがって、点灯又は消灯する。すなわち、LED４２aは、発光制御部６１からの制御にしたがって、波長λ１の光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の光の照射を停止する。
【００８１】
LED４２bは、発光制御部６１からの制御にしたがって、点灯又は消灯する。すなわち、LED４２bは、発光制御部６１からの制御にしたがって、波長λ１よりも長波長である波長λ２の光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の光の照射を停止する。
【００８２】
なお、LED４２a及びLED４２bは、LED４２a及びLED４２bからの照射光が、鑑賞者に照射される照射範囲で、照射光を照射する。
【００８３】
また、波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。
【００８４】
次に、図５は、人間の肌に対する分光反射特性を示している。
【００８５】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態（日焼け等）に拘らず、一般性があるものである。
【００８６】
図５において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００８７】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００８８】
具体的には、例えば、図５に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約６３パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約５０パーセントである。
【００８９】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、少しずつ大きくなることが多い。
【００９０】
本実施の形態では、例えば、組み合わせ（λ１，λ２）=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくなる組み合わせである。
【００９１】
したがって、撮像画像I_λ1上の肌領域を構成する輝度値は比較的大きな値となり、撮像画像I_λ2上の肌領域を構成する輝度値は比較的小さな値となる。
【００９２】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的大きな正の値α1となる。
【００９３】
また、組み合わせ（λ１，λ２）=(870,950)は、人間の肌以外のものに対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率と殆ど同一となる組み合わせである。
【００９４】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の非肌領域の輝度値は、比較的小さな正または負の値β1となる。
【００９５】
よって、差分画像I_diffを、予め決められた２値化用の閾値（例えば、α1よりも小であり、β1よりも大である閾値）で２値化するようにして、肌領域を検出するようにしている。
【００９６】
ここで、組み合わせ（λ１，λ２）は、（λ１，λ２）=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ（λ１，λ２）であれば、どのような組み合わせでもよい。
【００９７】
なお、正確に肌検出を行うためには、概ね、波長λ１の値は640[nm]乃至1000[nm]の範囲内で、波長λ２の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。
【００９８】
但し、波長λ１が可視光領域の波長である場合、鑑賞者に眩しさを感じさせることや、鑑賞者がディスプレイ上の画像を見る際に感じる色調にも影響すること等から、波長λ１の値は不可視光領域の800[nm]以上とすることが望ましい。
【００９９】
すなわち、例えば、上述の範囲内で、波長λ１の値は800[nm]以上900[nm]未満の不可視光領域の値とし、波長λ２の値は900[nm]以上の不可視光領域とすることが望ましい。
【０１００】
図１に戻り、カメラ４３は、例えば、レンズやCMOS(complementary metal oxide semiconductor)センサ等により構成されており、フレーム同期信号に応じて、被写体の撮像を行う。また、カメラ４３は、フレーム同期信号を、発光制御部６１に供給する。
【０１０１】
具体的には、例えば、カメラ４３は、例えば、CMOSセンサ等に設けられた受光素子で、LED４２aによって被写体に照射されている波長λ1の光の反射光を受光する。そして、カメラ４３は、受光した反射光を光電変換して得られる撮像画像I_λ1を、算出部６２に供給する。
【０１０２】
また、例えば、カメラ４３は、例えば、CMOSセンサ等に設けられた受光素子で、LED４２bによって被写体に照射された波長λ2の光の反射光を受光する。そして、カメラ４３は、受光した反射光を光電変換して得られる撮像画像I_λ2を、算出部６２に供給する。
【０１０３】
さらに、例えば、カメラ４３は、例えば、CMOSセンサ等に設けられた受光素子で、LED４２a及びLED４２bのいずれも光を照射していない状態で、被写体からの反射光を受光する。そして、カメラ４３は、受光した反射光を光電変換して得られる撮像画像I_offを、算出部６２に供給する。
【０１０４】
[画像処理装置２１の動作説明]
次に、図６のフローチャートを参照して、画像処理装置２１が行なう３Ｄ制御処理について説明する。
【０１０５】
この３Ｄ制御処理は、例えば、画像処理装置２１に設けられた図示せぬ操作ボタン等が操作されて、画像処理装置２１の電源がオンとされたときに開始される。
【０１０６】
ステップＳ２１では、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、カメラ４３の撮像（ステップＳ２２の処理）が行われるタイミングでLED４２aを点灯させる。これにより、LED４２aは、カメラ４３の撮像が行われる間、被写体に対して、波長λ１の光を照射する。なお、LED４２bは消灯されている。
【０１０７】
ステップＳ２２では、カメラ４３は、LED４２aの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ1を、算出部６２に供給する。
【０１０８】
ステップＳ２３では、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、ステップＳ２２におけるカメラ４３の撮像が終了するタイミングで、LED４２aを消灯させる。
【０１０９】
また、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、カメラ４３の次の撮像（ステップＳ２４の処理）が開始するタイミングで、LED４２bを点灯させる。これにより、LED４２bは、カメラ４３の次の撮像が行われる間、被写体に対して、波長λ２の光を照射する。なお、LED４２aは消灯されている。
【０１１０】
ステップＳ２４では、カメラ４３は、LED４２bの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ2を、算出部６２に供給する。
【０１１１】
ステップＳ２５では、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、ステップＳ２４におけるカメラ４３の撮像が終了するタイミングで、LED４２bを消灯させる。これにより、LED４２a及びLED４２bは、いずれも消灯された状態となる。
【０１１２】
ステップＳ２６では、カメラ４３は、LED４２a及びLED４２bのいずれも消灯している状態で撮像を開始し、その結果得られる撮像画像I_offを、算出部６２に供給する。
【０１１３】
ステップＳ２７では、算出部６２は、カメラ４３からの各撮像画像I_λ1,I_λ2,I_offに基づいて、差分画像I_diff(={（I_λ1 - I_λ2）/（I_λ1-I_off）}×100)を算出する。
【０１１４】
ステップＳ２８では、算出部６２は、算出した差分画像I_diffを、予め決められた２値化用の閾値を用いて、２値化して２値化肌画像I_skinを算出する。
【０１１５】
ステップＳ２９では、算出部６２は、算出した２値化肌画像I_skinに基づいて、例えば肌領域８１aを検出する。
【０１１６】
ステップＳ３０において、算出部６２は、例えば、撮像画像I_λ1から、肌領域８１aを含む最小の矩形領域８１を検出する。
【０１１７】
ステップＳ３１では、算出部６２は、検出した矩形領域８１から、肌領域８１aが表す鑑賞者の顔の特徴を表す特徴量を算出する。
【０１１８】
ステップＳ３２では、算出部６２は、算出した特徴量に基づいて、例えば、鑑賞者の右眼の位置と左眼の位置を含む視点情報を算出し、表示制御部６３に供給する。
【０１１９】
すなわち、例えば、算出部６２は、画像処理装置２１に設けられた図示せぬメモリを参照して、算出した特徴量を用いたパターンマッチングを行うことにより、視点情報を算出し、表示制御部６３に供給する。
【０１２０】
なお、視点情報の算出は、パターンマッチング以外の方法で行なってもよい。すなわち、例えば、算出部６２において、一般的に人間の両眼が、人間の顔において略左右対称の位置にあるとともに、顔の中心（顔を左右対称に分ける線分上の位置）から左右方向にそれぞれ約３０mm離れた位置にあるという事実に基づいて、視点情報を算出してもよい。
【０１２１】
具体的には、例えば、算出部６２は、矩形領域８１から、撮像画像内における鑑賞者の顔の位置として、顔の中心（例えば、顔の重心）を検出し、検出した顔の位置から、撮像画像内における鑑賞者の右眼及び左眼それぞれの位置を、視点情報として算出してもよい。
【０１２２】
ここで、撮像画像内において、顔の中心から右眼までの間隔、及び顔の中心から左眼までの間隔は、カメラ４３と鑑賞者の間の距離Dに応じて異なるものとなる。したがって、算出部６２は、検出した顔の位置から左右方向に、それぞれ、鑑賞者とカメラ４３の間の距離Dに応じた分だけ移動した位置を、視点情報として算出するものとなる。
【０１２３】
上述の事実を用いて視点情報を算出する場合には、例えば、撮像画像内の肌領域から顔の位置を検出し、検出した顔の位置に基づいて、撮像画像内の右眼や左眼の位置を推定する。そして、推定された、撮像画像内の右眼や左眼の位置が、視点情報として算出される。
【０１２４】
したがって、この場合、視点情報を例えばパターンマッチングで求める場合に比べて、処理が単純であるため、視点情報の算出に時間がかからない。このため、鑑賞者の移動等があっても追従性がよいものとなる。また、視点情報の算出に必要なDSPやCPUのパワーが低くてもよいため、製造時のコストが安くなる等のメリットもある。
【０１２５】
なお、算出部６２は、LED４２aと鑑賞者の距離が近い程、LED４２aの照射による肌領域８１a(外光の影響が除去された肌領域)の輝度が高くなることを利用することにより、カメラ４３と鑑賞者の距離を概算することができる。この場合、カメラ４３は、LED４２aの近傍に配置されているものとする。
【０１２６】
また、算出部６２は、LED４２aに代えて、LED４２bを用いるようにして、LED４２bと鑑賞者の距離が近い程、LED４２bの照射による肌領域８１a(外光の影響が除去された肌領域)の輝度が高くなることを利用することにより、カメラ４３と鑑賞者の距離を概算してもよい。この場合、カメラ４３は、LED４２bの近傍に配置されているものとする。
【０１２７】
したがって、算出部６２は、矩形領域８１上の肌領域８１aから鑑賞者の顔の位置を検出し、検出した顔の位置から、肌領域８１aの輝度から求めた距離Dに応じた分だけ移動した位置を、視点情報として算出できる。
【０１２８】
また、ポータブル機器のようにディスプレイの画面が小さい場合には、ディスプレイから鑑賞者の顔までの距離Dは所定の範囲に収まっているため、カメラ４３と鑑賞者までの距離の算出は省略してもよい。
【０１２９】
この場合、ディスプレイから鑑賞者の顔までの距離Dは、予め決められた距離（例えば、所定の範囲における中央値等）とされ、検出された顔の位置から、距離Dに応じた分だけ移動した位置が、視点情報として算出される。
【０１３０】
ステップＳ３３において、表示制御部６３は、算出部６２からの視点情報に基づいて、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させる。
【０１３１】
すなわち、例えば、表示制御部６３は、算出部６２からの視点情報に基づいて、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を算出する。そして、表示制御部６３は、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を、視点情報に基づいて算出した表示位置に変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させる。
【０１３２】
また、例えば、表示制御部６３は、図示せぬ内蔵のメモリを有し、LCD２２に表示させるべき左眼用２次元画像及び右眼用２次元画像の表示位置を、視点情報毎に対応付けて予め保持していてもよい。この場合、表示制御部６３は、算出部６２からの視点情報に基づいて、その視点情報に対応付けられている表示位置（を表すデータ）を、内蔵するメモリから読み出す。
【０１３３】
そして、表示制御部６３は、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を、内蔵するメモリから視点情報に応じて読み出した表示位置に変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させることとなる。
【０１３４】
その後、処理はステップＳ２１に戻され、それ以降、同様の処理が繰り返される。なお、この３Ｄ制御処理は、例えば画像処理装置２１の電源がオフされたときに終了される。
【０１３５】
以上説明したように、３Ｄ制御処理によれば、LCD２２上の各領域に表示させる左眼用２次元画像及び右眼用２次元画像を、鑑賞者の視点情報（例えば、鑑賞者の右眼の位置と左眼の位置）に応じて決定するようにした。
【０１３６】
このため、３Ｄ制御処理によれば、鑑賞者の視点に拘わらず、LCD２２上の画像を立体的に視認させることが可能となる。
【０１３７】
また、３Ｄ制御処理によれば、図５に示されるような人間の分光反射特性を利用して、波長λ１及びλ２の光を照射して鑑賞者の肌領域を検出するようにした。
【０１３８】
したがって、３Ｄ制御処理によれば、画像処理装置２１を使用する環境の明るさに拘らず、肌領域を精度良く検出することが可能となる。
【０１３９】
このため、例えば、画像処理装置２１を使用する場所が暗いときでも、撮像画像上の肌領域を精度良く検出することが可能となる。また波長λ１及びλ２の光を不可視光とすれば、LCD２２上の画像の視認にも影響を与えない。
【０１４０】
また、３Ｄ制御処理では、例えば、鑑賞者の肌領域を含む矩形領域８１を検出し、検出した矩形領域８１を対象として、視点情報を算出する処理を行うようにしている。
【０１４１】
このため、通常の可視光の撮像画像からは視点情報の算出が難しい暗い場所でも、視点情報の算出が可能である。また、例えば、撮像画像上の全領域を対象とし、視点情報を算出する処理を行う場合と比較して、３Ｄ制御処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
【０１４２】
具体的には、例えば、図２に示したような場合、矩形領域８１は、撮像画像上の全領域の1/10以下となっている。このため、矩形領域８１を対象とすれば、撮像画像上の全領域を対象とするときと比較して、視点情報を算出する際の計算量を1/10以下とすることができる。
【０１４３】
したがって、例えば、画像処理装置２１では、処理能力を向上させるために、高価なDSPを実装する必要がない。このため、安価なDSPを用いることができるので、画像処理装置２１の製造コストを低く抑えることができる。
【０１４４】
また、視点情報を算出する際の計算量を少なくできるので、小型化のために処理能力等が制限されたポータブル製品（例えば、持ち運び可能な携帯型のテレビジョン受像機や、携帯型ゲーム機、携帯型光ディスクプレーヤ、携帯電話機等）を、画像処理装置２１として採用することができる。
【０１４５】
なお、画像処理装置２１を、例えばテレビジョン受像機や、携帯型ゲーム機、携帯型光ディスクプレーヤ、携帯電話機として採用する場合、LCD２２及びパララックスバリア２２aも、画像処理装置２１の構成に含まれるものとしてもよい。
【０１４６】
また、画像処理装置２１としては、ポータブル製品の他、小型化されていない通常のテレビジョン受像機等を採用できる。その他、例えば、複数の画像により構成される動画や静止画等のコンテンツを再生する再生装置や、コンテンツの録画（記録）と再生を行う記録再生装置等にも適用できる。
【０１４７】
すなわち、本開示は、画像を立体的に表示する表示装置や、画像をディスプレイ等に立体的に表示させる表示制御装置であれば、どのようなものにも適用することができる。
【０１４８】
ところで、本実施の形態において、算出部６２は、例えば、図２に示したように、撮像画像上の肌領域８１aを全て含む最小の矩形領域８１から、鑑賞者の顔の形状や、顔の一部の形状を表す特徴量を算出するようにしている。
【０１４９】
しかしながら、算出部６２が、例えば、鑑賞者の眼の特徴を表す特徴量を算出し、算出した特徴量に基づいて、図示せぬメモリ等を参照することにより、鑑賞者の視点情報を算出するようにしてもよい。なお、眼の特徴を表す特徴量としては、具体的には、例えば、眼の形状を表す特徴量を用いることができる。
【０１５０】
この場合、肌領域８１aに代えて、鑑賞者の眼を表す眼領域を検出し、眼領域を少なくとも含む算出用領域として、例えば、撮像画像上の眼領域を全て含む最小の矩形領域から、鑑賞者の眼の特徴量を算出するものとなる。また、図示せぬメモリ等の予め保持される特徴量は、鑑賞者の眼の特徴を表す特徴量とされる。
【０１５１】
次に、図７を参照して、算出部６２が、鑑賞者の眼領域を検出する場合の一例を説明する。
【０１５２】
[人間の眼に対する分光反射特性]
図７は、人間の眼に対する分光反射特性を示している。
【０１５３】
図７において、横軸は、人間の眼に照射される照射光の波長を示しており、縦軸は、人間の眼に照射された照射光の反射率を示している。
【０１５４】
人間の眼に照射された照射光の反射率は、900[nm]付近から1000[nm]付近まで上昇することが知られている。
【０１５５】
したがって、撮像画像I_λ1上の眼領域を構成する輝度値は比較的小さな値となり、撮像画像I_λ2上の眼領域を構成する輝度値は比較的大きな値となる。
【０１５６】
このため、差分画像I_diff上の眼領域の輝度値は、比較的大きな負の値α2となる。
【０１５７】
これを利用して、差分画像I_diffから、眼領域を検出するために用いる閾値を用いて２値化肌画像I_eyeを算出し、算出した２値化肌画像I_eyeから眼領域を検出することができる。
【０１５８】
眼領域を検出できれば、その位置（例えば、眼領域の重心等）は撮像画像上の眼の位置と合致するため、パターンマッチングや顔の位置から視点情報を算出する場合に比べて、正確に視点情報を算出できる。また視点情報を算出する際の計算量も極端に小さくできるため、処理の高速化を実現しつつ、安価なDSPを採用できるので低コストも実現できる。
【０１５９】
なお、差分画像I_diff上の肌領域の輝度値は、比較的大きな正の値α1となる。したがって、差分画像I_diffから、眼領域を検出するために用いる閾値とともに、肌領域を検出するために用いる閾値を用いて、肌領域とともに眼領域を検出するようにしてもよい。
【０１６０】
この場合、算出部６２は、例えば、肌領域と眼領域との両方を含む最小の矩形領域から、鑑賞者の顔の特徴量、又は鑑賞者の眼の特徴量を算出することとなる。
【０１６１】
＜２．変形例＞
本実施の形態では、説明を簡単にするために、LCD２２上の画像を鑑賞する鑑賞者が１人であることを前提として説明した。しかしながら、本技術は、視点情報を算出する際の計算量が小さいため、鑑賞者が複数人である場合にも用いることができる。
【０１６２】
すなわち、例えば、算出部６２は、鑑賞者が複数人である場合、複数人の鑑賞者それぞれの肌領域を全て含む最小の矩形領域を対象として、鑑賞者毎の視点情報を算出する。なお、算出部６２は、鑑賞者が複数人である場合、複数人の鑑賞者それぞれの眼領域を全て含む最小の矩形領域を対象として、鑑賞者毎の視点情報を算出するようにしてもよい。
【０１６３】
そして、算出部６２は、算出した複数の視点情報に含まれる右眼の位置の中央値（メジアン）や平均値を、最終的な右眼の位置として、表示制御部６３に供給するようにしてもよい。また、算出部６２は、左眼の位置についても同様にして、最終的な左眼の位置を算出し、表示制御部６３に供給するようにしてもよい。
【０１６４】
これにより、表示制御部６３は、複数人の鑑賞者のいずれにおいても、ある程度、画像を立体的に視認できるようにLCD２２等を制御させることができる。
【０１６５】
また例えば、パララックスバリア２２aを用いるパララックスバリア方式では、図８に示すように、逆視を生じずに画像を立体的に認識できる鑑賞者の視点位置、つまり、画像を正視できる鑑賞者の視点位置が、所定の間隔で複数存在する。図８では、このような視点位置を３カ所だけ示したが、この左右外側にも更に複数存在する。また図８に示したように、逆視となってしまう視点位置も、正しく立体的に画像を認識できる視点位置の中間に複数存在する。
【０１６６】
すなわち、鑑賞者が複数人の場合、複数人の位置関係により画像を制御しても、複数人すべてが画像を正しく立体的に見えるように画像の表示を制御できるとは限らない。
【０１６７】
したがって、算出部６２は、算出した複数人の鑑賞者毎の視点情報から、複数の鑑賞者の位置がすべて、画像を立体的に認識できる視点位置の近傍になるように表示機構（例えば、LCD２２及びパララックスバリア２２a）を制御できると認識したときのみ、複数人の鑑賞者毎の視点情報に応じて、表示機構を制御するようにしてもよい。
【０１６８】
また、すべての鑑賞者が逆視を生じずに画像を立体的に認識できる視点位置に移動できるように、例えば、図９のように、複数の鑑賞者同士の相対距離の変更を促す旨の表示「お二人で３次元画像をご覧いただくため、お二人の距離をもう少しあけて下さい。」を、LCD２２の表示画面に表示してもよい。
【０１６９】
その他、例えば、LCD２２の表示画面には、複数人の鑑賞者のうち特定の鑑賞者に対して左もしくは右方向への移動を促すように表示を出してもよい。
【０１７０】
また、LCD２２による表示でなく、例えば、画像処理装置２１にスピーカ等を設けるようにし、そのスピーカを用いて、音声で移動を促すようにしてもよい。
【０１７１】
さらに、表示制御部６３は、複数の肌領域のうち、LCD２２の表示画面の中央に最も近い位置の肌領域に対応する鑑賞者が画像を立体的に視認できるように、表示機構を制御させてもよい。
【０１７２】
すなわち、LCD２２の表示画面の中央に最も近い位置の肌領域に対応する鑑賞者が、立体的な画像を鑑賞し続ける主たる鑑賞者であり、それ以外は短時間覗き込んだだけという場合が多いためである。このようにすれば、視点情報を算出する処理を簡略化できる。
【０１７３】
この場合、主たる鑑賞者以外の鑑賞者が、所定の時間以上、正視ではなく逆視となってしまう視点位置に居続けた場合、表示制御部６３は、立体的に見える画像の表示を中止し、２次元の画像を表示するようにしてもよい。
【０１７４】
また、例えば、表示制御部６３は、複数人の鑑賞者のうち、逆視による悪影響を最も受け易い鑑賞者の視点情報に合わせて、画像を表示させるようにしてもよい。
【０１７５】
すなわち、例えば、一般的に、逆視による悪影響を受け易い幼児ほど、LCD２２の近くでコンテンツ等の視聴を行う場合が多い。このため、表示制御部６３は、例えば、複数人の鑑賞者それぞれの視点情報のうち、LCD２２に対する右眼及び左眼の位置が最もLCD２２に近いものとされる視点情報を用いて、LCD２２等を制御する。なお、この場合、算出部６２は、複数人の鑑賞者それぞれの視点情報を算出し、表示制御部６３に供給する。
【０１７６】
その他、例えば、算出部６２において、LCD２２に近い位置で検出される肌領域に基づいて、LCD２２の近くで視聴を行う鑑賞者（例えば、幼児等）の視点情報を算出し、表示制御部６３に供給するようにしてもよい。この場合、表示制御部６３では、算出部６２からの視点情報を用いて、LCD２２等を制御することとなる。
【０１７７】
なお、LCD２２に近い位置で検出される肌領域（LCD２２の近くで視聴を行う幼児等の肌領域）は、例えば、LED４２a又は４２bの少なくとも一方からの照射光による輝度の大小に応じて、算出部６２により判別される。
【０１７８】
また、算出部６２は、幼児ほど顔の中において眼の位置が相対的に顎に近いという特徴を利用して、幼児かどうかを判断するようにしてもよい。具体的には、例えば、算出部６２は、顔領域を肌検出で、眼領域を眼検出で行い、顔領域と眼領域との相対位置（例えば、顔領域の重心と、眼領域の重心との相対位置）により、鑑賞者が幼児であるか否かを判断できる。この場合、算出部６２は、幼児であると判断した鑑賞者の肌領域に基づいて、視点情報を算出し、表示制御部６３に供給することとなる。
【０１７９】
本実施の形態では、例えば、LCD２２の前面にパララックスバリア２２aを設けるようにした。しかしながら、パララックスバリア２２aの配置はこれに限定されず、LCD２２とそのバックライトの間に設けてもよい。
【０１８０】
なお、本技術は以下のような構成もとることができる。
（１）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置。
（２）前記算出部は、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有する前記（１）に記載の画像処理装置。
（３）前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記（２）に記載の画像処理装置。
（４）前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記（２）に記載の画像処理装置。
（５）前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも１つを含む前記視点情報を算出する前記（１）乃至（４）に記載の画像処理装置。
（６）前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用２次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用２次元画像を表示させる前記（１）乃至（４）に記載の画像処理装置。
（７）前記表示制御部は、前記表示機構を制御し、右眼用２次元画像及び左眼用２次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用２次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用２次元画像とをそれぞれ分離させる前記（１）乃至（４）に記載の画像処理装置。
（８）前記表示機構は、パララックスバリア又はレンチキュラーレンズである前記（７）に記載の画像処理装置。
（９）前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす前記（１）乃至（４）に記載の画像処理装置。
（１０）前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、前記第２の照射部は、前記第２の波長λ２の不可視光を照射する前記（９）に記載の画像処理装置。
（１１）前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている前記（１）乃至（４）に記載の画像処理装置。
（１２）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、前記画像処理装置による、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法。
（１３）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラム。
【０１８１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８２】
[コンピュータの構成例]
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【０１８３】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１８４】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１８５】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１８６】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１８７】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１８８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１８９】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９０】
また、本開示における実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９１】
２１ 画像処理装置， ２２ LCD， ２２a パララックスバリア， ４１ DSP， ４２a，４２b LED， ４３ カメラ， ６１ 発光制御部， ６２ 算出部， ６３ 表示制御部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、ディスプレイを視認する位置に拘らず、ディスプレイ上の画像を立体的に視認できるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
パララックスバリア方式（視差バリア方式）や、レンチキュラーレンズ方式などにより、鑑賞者による３Ｄメガネの装着を必要とせずに、ディスプレイ上の画像を立体的に視認させる３Ｄ技術が存在する（例えば、特許文献１参照）。
【０００３】
ここで、ディスプレイ上の画像は、左眼用２次元画像、及び右眼用２次元画像により構成されている。また、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【０００４】
なお、視差とは、例えば、左眼用２次元画像上の物体と、右眼用２次元画像上の物体との位置ズレを表し、この位置ズレが大きい程に、物体は、鑑賞者から見て手前側で立体的に視認される。
【０００５】
上述の３Ｄ技術では、ディスプレイ上の画像を鑑賞者に提示する場合、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるようにし、右眼用２次元画像を鑑賞者の右眼のみで視認できるようにする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５０１６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述の３Ｄ技術では、ディスプレイにおいて、画像を表示する表示画面の中央付近を通る法線上の位置から、鑑賞者が表示画面を正面に見ることを想定している。
【０００８】
したがって、例えば、表示画面を正面に見たときにおける右方向や左方向に寄った位置から、鑑賞者が表示画面を斜めに見る場合、表示画面に表示された画像を立体的に視認できないばかりか、左眼用２次元画像が鑑賞者の右眼で視認され、右眼用２次元画像が鑑賞者の左眼で視認される逆視が発生し得る。逆視が発生した場合には、鑑賞者に不快感を与えてしまうことがある。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置である。
【００１１】
前記算出部では、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有することができる。
【００１２】
前記特徴量算出部では、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出することができる。
【００１３】
前記特徴量算出部では、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出することができる。
【００１４】
前記算出部では、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも１つを含む前記視点情報を算出することができる。
【００１５】
前記表示制御部では、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用２次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用２次元画像を表示させることができる。
【００１６】
前記表示制御部では、前記表示機構を制御し、右眼用２次元画像及び左眼用２次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用２次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用２次元画像とをそれぞれ分離させることができる。
【００１７】
前記表示機構は、パララックスバリア又はレンチキュラーレンズであるようにすることができる。
【００１８】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
であるようにすることができる。
【００１９】
前記第１の照射部では、前記第１の波長λ１の不可視光を照射し、前記第２の照射部では、前記第２の波長λ２の不可視光を照射することができる。
【００２０】
前記撮像部では、前記撮像部に入射される可視光を遮断する可視光カットフィルタを設けるようにすることができる。
【００２１】
本開示の一側面の画像処理方法は、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法であって、前記画像処理装置による、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法である。
【００２２】
本開示の一側面のプログラムは、被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラムである。
【００２３】
本開示によれば、前記被写体の肌又は眼の少なくとも一方を表す部位領域が検出され、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報が算出され、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構が制御される。
【発明の効果】
【００２４】
本開示によれば、ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態である画像処理装置の構成例を示すブロック図である。
【図２】撮像画像において、鑑賞者の肌領域を含む最小の矩形領域の一例を示す図である。
【図３】左眼用２次元画像及び右眼用２次元画像の表示位置を、それぞれ、眼球位置に応じて変更する場合の一例を示す図である。
【図４】左眼用２次元画像及び右眼用２次元画像の表示位置を、それぞれ、眼球位置に応じて変更する場合の他の一例を示す図である。
【図５】人間の肌に対する分光反射特性を示す図である。
【図６】画像処理装置が行う３Ｄ制御処理を説明するためのフローチャートである。
【図７】人間の眼に対する分光反射特性を示す図である。
【図８】逆視が生じる位置及び逆視が生じない位置の一例を示す図である。
【図９】LCDの表示例を示す図である。
【図１０】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（いずれの視点からでも、画像を立体的に視認できるようにするときの一例）
２．変形例
【００２７】
＜１．本実施の形態＞
[画像処理装置２１の構成例]
図１は、本実施の形態である画像処理装置２１の構成例を示している。
【００２８】
なお、この画像処理装置２１は、LCD（liquid crystal display）２２上の画像を鑑賞する鑑賞者の視点に拘らず、いずれの視点からでも、画像を立体的に視認できるようにするものである。
【００２９】
すなわち、例えば、画像処理装置２１は、鑑賞者の撮像を行い、その撮像により得られる撮像画像から、鑑賞者の視点情報を算出する。そして、画像処理装置２１は、算出した視点情報に応じて、LCD２２に表示させる表示内容を変更させるようにして、いずれの視点からでも、画像を立体的に視認できるようにする。
【００３０】
ここで、視点情報とは、鑑賞者の視点に関する情報を表し、例えば、鑑賞者の視線の方向を表す視線方向、鑑賞者の右眼の位置、鑑賞者の左眼の位置、又は鑑賞者の顔の位置等の少なくとも１つを含む情報をいう。すなわち、視点情報は、LCD２２と鑑賞者の視点との位置関係（後述する図３や図４に示される位置関係）を判別可能な情報であれば、どのような情報であってもよい。したがって、例えば、鑑賞者の左眼、右眼及び顔の位置としては、撮像画像内における位置を採用することもできるし、実空間（現実の空間）上における位置を採用することもできる。
【００３１】
本実施の形態では、画像処理装置２１は、撮像画像から、鑑賞者の右眼の位置、及び鑑賞者の左眼の位置を含む視点情報を算出し、算出した視点情報に応じて、LCD２２に表示させる表示内容を変更させるものとする。
【００３２】
また、LCD２２の前面には、LCD２２に表示される画像が立体的に視認されるように、パララックスバリア２２aが設けられている。このパララックスバリア２２aは、例えば、偏光板やスイッチ液晶等からなり、LCD２２に表示される画像の光の一部を遮光し、残りを透過させることで、右眼用２次元画像と左眼用２次元画像を光学的に分離させる。
【００３３】
なお、パララックスバリア２２aに代えて、LCD２２に表示される画像の光の出射方向を変更して、右眼用２次元画像と左眼用２次元画像を光学的に分離させるレンチキュラーレンズを用いることができる。
【００３４】
画像処理装置２１は、DSP(digital signal processor)４１、LED(light-emitting diode)４２a、LED４２b、及びカメラ４３から構成される。なお、LED４２aの個数、及びLED４２bの個数は、それぞれ、１個に限定されず、必要に応じて複数個とされる。
【００３５】
DSP４１は、例えば、図示せぬメモリ等に保持された制御用プログラムを実行することにより、発光制御部６１、算出部６２、及び表示制御部６３として機能する。
【００３６】
発光制御部６１は、カメラ４３からのフレーム同期信号に基づいて、LED４２a及びLED４２bを制御し、LED４２aやLED４２bの消灯及び点灯を制御する。ここで、フレーム同期信号とは、カメラ４３の撮像が行われるタイミングを表す。
【００３７】
すなわち、例えば、発光制御部６１は、カメラ４３からのフレーム同期信号に基づいて、カメラ４３により１枚の画像の撮像が行われる毎に、LED４２aのみを点灯、LED４２bのみを点灯、LED４２a及びLED４２bのいずれも消灯を繰り返して行わせる。
【００３８】
算出部６２は、カメラ４３からの撮像画像I_λ1,I_λ2,I_offを取得する。ここで、撮像画像I_λ1とは、波長λ１の光を発光するLED４２aのみが点灯した状態で、カメラ４３の撮像により得られた画像を表す。
【００３９】
また、撮像画像I_λ2とは、波長λ２の光を発光するLED４２bのみが点灯した状態で、カメラ４３の撮像により得られた画像を表す。さらに、撮像画像I_offとは、LED４２a及びLED４２bのいずれも消灯した状態で、カメラ４３の撮像により得られた画像を表す。
【００４０】
算出部６２は、取得した各撮像画像I_λ1,I_λ2,I_offに対して、LPF(low pass filter)を用いた平滑化を行う。また、算出部６２は、各画素ごとに、撮像画像I_λ1の輝度値Y(λ1)から、撮像画像I_λ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【００４１】
さらに、算出部６２は、撮像画像I_λ1又は撮像画像I_λ2の少なくとも一方に基づく値として、例えば輝度値(Y(λ1) Y(off))で、差分(Y(λ1) - Y(λ2))を正規化（除算）する。なお、輝度値Y(off)は、撮像画像I_offの輝度値を表す。
【００４２】
そして、算出部６２は、正規化後の差分{(Y(λ1) - Y(λ2))/(Y(λ1) Y(off))}に所定の値（例えば、100）を乗算して得られる差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)を、予め決められた２値化用の閾値で２値化して、２値化肌画像I_skinを算出する。
【００４３】
なお、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)は、撮像画像I_λ1の輝度値が、撮像画像I_λ2の輝度値に対して、何パーセント高いものであるかを表す。また、２値化用の閾値としては、例えば、１０パーセントを用いることができる。
【００４４】
算出部６２は、算出した２値化肌画像I_skinに基づいて、鑑賞者の肌を表す肌領域を検出する。
【００４５】
すなわち、例えば、算出部６２は、算出した２値化肌画像I_skinを構成する全領域のうち、２値化用の閾値以上とされた領域を、肌領域として検出する。
【００４６】
なお、このようにして鑑賞者の肌領域を検出できる原理は、図５を参照して後述する。
【００４７】
ここで、差分画像I_diffの算出時において、撮像画像I_offの輝度値Y(off)は、LED４２a及びLED４２bの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。
【００４８】
なお、外光の影響が軽微である場合には、撮像画像I_offの取得を省略して、差分画像I_diffを算出するようにしてもよい。
【００４９】
また、カメラ４３のレンズの前面に、可視光をカット（遮断）する可視光カットフィルタを設けるように構成すれば、外光としての可視光の影響を除去することができ、肌検出の精度をより向上させることができる。
【００５０】
算出部６２は、検出した肌領域を少なくとも含む算出用領域として、例えば、図２に示されるような、肌領域８１aを含む最小の矩形領域８１から、鑑賞者の視点情報を算出する。
【００５１】
すなわち、例えば、算出部６２は、矩形領域８１から、鑑賞者の顔の特徴を表す特徴量を算出する。そして、算出部６２は、算出した特徴量を用いて、図示せぬメモリ等を参照して、視点情報を算出し、表示制御部６３に供給する。ここで、顔の特徴を表す特徴量としては、具体的には、例えば、顔の形状や、顔の一部の形状の特徴を表す特徴量を用いることができる。
【００５２】
なお、図示せぬメモリ等には、異なる視点情報毎に、複数の特徴量が対応付けて予め保持されているものとする。このため、算出部６２は、例えば、図示せぬメモリ等に保持されている複数の特徴量と、算出した特徴量とを比較するパターンマッチングを行う。
【００５３】
そして、算出部６２は、パターンマッチングにより、矩形領域８１から算出した特徴量と最も類似する特徴量を判定し、判定された特徴量に対応付けられている視点情報を読み出して、表示制御部６３に供給する。
【００５４】
ここで、メモリに保持される特徴量は、例えば、異なる人間の顔毎に、顔の特徴にばらつきがあることを考慮した上で算出され、画像処理装置２１の出荷時に予め用意されたものを用いることができる。
【００５５】
すなわち、例えば、メモリに保持される特徴量は、異なる人間の顔をそれぞれ撮像して得られる複数の撮像画像から、異なる人間の顔毎に、顔の特徴にばらつきがあることを考慮した上で算出される。そして、算出された特徴量は、撮像時の人間の右眼の位置や左眼の位置等を含む視点情報に対応付けられて、図示せぬメモリに予め保持される。この場合、カメラ４３の位置や、画角、撮像方向等は、図示せぬメモリに予め保持される特徴量を算出する際に、異なる人間の顔をそれぞれ撮像したカメラと同様であることが望ましい。
【００５６】
その他、例えば、メモリに保持される特徴量は、画像処理装置２１の電源がオンになったときなどに算出したものを用いるようにしてもよい。すなわち、例えば、画像処理装置２１の電源がオンとなったときなどに、カメラ４３により鑑賞者を撮像し、その撮像により得られる撮像画像から算出するようにしてもよい。この場合も同様にして、算出された特徴量は、撮像時の人間の右眼の位置や左眼の位置等を含む視点情報に対応付けられて、図示せぬメモリに予め保持される。
【００５７】
ところで、上述の矩形領域８１は、例えば、撮像画像I_λ1上の領域とされるが、鑑賞者が写る撮像画像であれば、どのような撮像画像上の領域であってもよい。
【００５８】
また、算出部６２において、複数の肌領域が検出された場合、矩形領域８１としては、検出された複数の肌領域を含む最小の矩形領域を採用することができる。また、矩形領域８１としては、例えば複数の肌領域中で面積が最大の領域を少なくとも含む矩形領域や、複数の肌領域中で画像の中央部に最も近い領域を少なくとも含む矩形領域を採用してもよい。なお、視点情報の算出に用いる算出用領域の形状は、矩形に限定されない。
【００５９】
表示制御部６３は、算出部６２からの視点情報に基づいて、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させる。なお、表示制御部６３が表示位置を変更する処理は、図３及び図４を参照して詳述する。
【００６０】
[左眼用２次元画像及び右眼用２次元画像の表示位置を変更する場合の一例]
次に、図３は、表示制御部６３が、鑑賞者の視点情報に応じて、LCD２２に表示する左眼用２次元画像及び右眼用２次元画像の表示位置を変更する場合の一例を示している。
【００６１】
例えば、表示制御部６３は、算出部６２からの視点情報に基づいて、図３に示されるような、LCD２２に対する左眼の位置１０１L及び右眼の位置１０１Rを判別する。そして、表示制御部６３は、その判別結果に基づいて、左眼用２次元画像を構成する全領域を、４個の短冊状の領域（以下、左眼用短冊領域という）に分割してLCD２２に表示させる。
【００６２】
具体的には、例えば、表示制御部６３は、左眼用２次元画像を分割して得られる４個の左眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域４乃至７，領域１２乃至１５，領域２０乃至２３，領域２８乃至３１に表示させる。
【００６３】
なお、図３において、領域４乃至７，領域１２乃至１５，領域２０乃至２３，領域２８乃至３１には、左眼用２次元画像が表示されることを示す文字Lを付加している。
【００６４】
さらに、例えば、表示制御部６３は、右眼用２次元画像を構成する全領域を、４個の短冊状の領域（以下、右眼用短冊領域という）に分割してLCD２２に表示させる。
【００６５】
具体的には、例えば、表示制御部６３は、右眼用２次元画像を分割して得られる４個の右眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域０乃至３，領域８乃至１１，領域１６乃至１９，領域２４乃至２７に表示させる。
【００６６】
なお、図３において、領域０乃至３，８乃至１１，１６乃至１９，２４乃至２７には、右眼用２次元画像が表示されることを示す文字Rを付加している。
【００６７】
また、本実施の形態では、パララックスバリア２２aには、LCD２２の各領域０乃至３１のうち、領域０，１，６，７，１２，１３，１８，１９，２４，２５，３０，３１の前面に、光を透過させるスリットが設けられている。このことは、後述する図４についても同様である。
【００６８】
次に、図４は、鑑賞者の視点情報の変化に応じて、LCD２２に表示する左眼用２次元画像及び右眼用２次元画像の表示位置を変更する場合の他の一例を示している。
【００６９】
表示制御部６３は、例えば、算出部６２からの視点情報に含まれる左眼の位置及び右眼の位置が変化した場合、LCD２２を制御して、左眼用２次元画像及び右眼用２次元画像の表示位置を変更させる。
【００７０】
すなわち、例えば、図４に示されるように、左眼の位置１０１Lが位置１０２Lに変化し、右眼の位置１０１Rが位置１０２Rに変化した場合、表示制御部６３は、算出部６２からの視点情報に基づいて、図４に示されるような、LCD２２に対する左眼の位置１０２L及び右眼の位置１０２Rを判別する。そして、表示制御部６３は、その判別結果に基づいて、左眼用２次元画像及び右眼用２次元画像の表示位置を変更して、左眼用２次元画像及び右眼用２次元画像を、LCD２２に表示させる。
【００７１】
具体的には、例えば、表示制御部６３は、左眼用２次元画像を分割して得られる４個の左眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域２乃至５，領域１０乃至１３，領域１８乃至２１，領域２６乃至２９に表示させる。
【００７２】
なお、図４において、領域２乃至５，領域１０乃至１３，領域１８乃至２１，領域２６乃至２９には、左眼用２次元画像が表示されることを示す文字Lを付加している。
【００７３】
また、例えば、表示制御部６３は、右眼用２次元画像を分割して得られる４個の右眼用短冊領域を、それぞれ、LCD２２を構成する各領域０乃至３１のうち、領域０乃至１，領域６乃至９，領域１４乃至１７，領域２２乃至２５，領域３０乃至３１に表示させる。
【００７４】
なお、図４において、領域０乃至１，領域６乃至９，領域１４乃至１７，領域２２乃至２５，領域３０乃至３１には、右眼用２次元画像が表示されることを示す文字Rを付加している。
【００７５】
表示制御部６３は、例えば、鑑賞者の右眼の位置と左眼の位置に基づいて、図４に示されるように、右眼用２次元画像及び左眼用２次元画像の表示位置を変更するようにした。
【００７６】
これにより、図４において、左眼用２次元画像が、位置１０２Lに存在する左眼のみで視認され、右眼用２次元画像が、位置１０２Rに存在する右眼のみで視認されるようになる。よって、鑑賞者は、LCD２２上の画像を立体的に視認できるようになる。なお、レンチキュラーレンズを用いる場合についても同様である。
【００７７】
その他、例えば、表示制御部６３は、パララックスバリア２２aを制御して、鑑賞者に、画像を立体的に視認させるようにしてもよい。
【００７８】
すなわち、例えば、表示制御部６３は、右眼用２次元画像及び左眼用２次元画像の表示位置を変更する代わりに、又はその変更ととともに、パララックスバリア２２aを制御して、光を透過させるスリットの位置を変更するようにしてもよい。
【００７９】
この場合、パララックスバリア２２aは、表示制御部６３からの制御にしたがって、スリットの位置を変更可能なスイッチ液晶等から構成されていてもよい。
【００８０】
図１に戻り、LED４２aは、発光制御部６１からの制御にしたがって、点灯又は消灯する。すなわち、LED４２aは、発光制御部６１からの制御にしたがって、波長λ１の光（例えば、波長λ１の赤外線）を照射し、又は波長λ１の光の照射を停止する。
【００８１】
LED４２bは、発光制御部６１からの制御にしたがって、点灯又は消灯する。すなわち、LED４２bは、発光制御部６１からの制御にしたがって、波長λ１よりも長波長である波長λ２の光（例えば、波長λ２の赤外線）を照射し、又は波長λ２の光の照射を停止する。
【００８２】
なお、LED４２a及びLED４２bは、LED４２a及びLED４２bからの照射光が、鑑賞者に照射される照射範囲で、照射光を照射する。
【００８３】
また、波長λ１と波長λ２との組み合わせ（λ１，λ２）は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。
【００８４】
次に、図５は、人間の肌に対する分光反射特性を示している。
【００８５】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態（日焼け等）に拘らず、一般性があるものである。
【００８６】
図５において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００８７】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００８８】
具体的には、例えば、図５に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約６３パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約５０パーセントである。
【００８９】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、少しずつ大きくなることが多い。
【００９０】
本実施の形態では、例えば、組み合わせ（λ１，λ２）=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率よりも大きくなる組み合わせである。
【００９１】
したがって、撮像画像I_λ1上の肌領域を構成する輝度値は比較的大きな値となり、撮像画像I_λ2上の肌領域を構成する輝度値は比較的小さな値となる。
【００９２】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的大きな正の値α1となる。
【００９３】
また、組み合わせ（λ１，λ２）=(870,950)は、人間の肌以外のものに対して、波長λ１の光を照射したときの反射率が、波長λ２の光を照射したときの反射率と殆ど同一となる組み合わせである。
【００９４】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の非肌領域の輝度値は、比較的小さな正または負の値β1となる。
【００９５】
よって、差分画像I_diffを、予め決められた２値化用の閾値（例えば、α1よりも小であり、β1よりも大である閾値）で２値化するようにして、肌領域を検出するようにしている。
【００９６】
ここで、組み合わせ（λ１，λ２）は、（λ１，λ２）=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ（λ１，λ２）であれば、どのような組み合わせでもよい。
【００９７】
なお、正確に肌検出を行うためには、概ね、波長λ１の値は640[nm]乃至1000[nm]の範囲内で、波長λ２の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。
【００９８】
但し、波長λ１が可視光領域の波長である場合、鑑賞者に眩しさを感じさせることや、鑑賞者がディスプレイ上の画像を見る際に感じる色調にも影響すること等から、波長λ１の値は不可視光領域の800[nm]以上とすることが望ましい。
【００９９】
すなわち、例えば、上述の範囲内で、波長λ１の値は800[nm]以上900[nm]未満の不可視光領域の値とし、波長λ２の値は900[nm]以上の不可視光領域とすることが望ましい。
【０１００】
図１に戻り、カメラ４３は、例えば、レンズやCMOS(complementary metal oxide semiconductor)センサ等により構成されており、フレーム同期信号に応じて、被写体の撮像を行う。また、カメラ４３は、フレーム同期信号を、発光制御部６１に供給する。
【０１０１】
具体的には、例えば、カメラ４３は、例えば、CMOSセンサ等に設けられた受光素子で、LED４２aによって被写体に照射されている波長λ1の光の反射光を受光する。そして、カメラ４３は、受光した反射光を光電変換して得られる撮像画像I_λ1を、算出部６２に供給する。
【０１０２】
また、例えば、カメラ４３は、例えば、CMOSセンサ等に設けられた受光素子で、LED４２bによって被写体に照射された波長λ2の光の反射光を受光する。そして、カメラ４３は、受光した反射光を光電変換して得られる撮像画像I_λ2を、算出部６２に供給する。
【０１０３】
さらに、例えば、カメラ４３は、例えば、CMOSセンサ等に設けられた受光素子で、LED４２a及びLED４２bのいずれも光を照射していない状態で、被写体からの反射光を受光する。そして、カメラ４３は、受光した反射光を光電変換して得られる撮像画像I_offを、算出部６２に供給する。
【０１０４】
[画像処理装置２１の動作説明]
次に、図６のフローチャートを参照して、画像処理装置２１が行なう３Ｄ制御処理について説明する。
【０１０５】
この３Ｄ制御処理は、例えば、画像処理装置２１に設けられた図示せぬ操作ボタン等が操作されて、画像処理装置２１の電源がオンとされたときに開始される。
【０１０６】
ステップＳ２１では、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、カメラ４３の撮像（ステップＳ２２の処理）が行われるタイミングでLED４２aを点灯させる。これにより、LED４２aは、カメラ４３の撮像が行われる間、被写体に対して、波長λ１の光を照射する。なお、LED４２bは消灯されている。
【０１０７】
ステップＳ２２では、カメラ４３は、LED４２aの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ1を、算出部６２に供給する。
【０１０８】
ステップＳ２３では、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、ステップＳ２２におけるカメラ４３の撮像が終了するタイミングで、LED４２aを消灯させる。
【０１０９】
また、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、カメラ４３の次の撮像（ステップＳ２４の処理）が開始するタイミングで、LED４２bを点灯させる。これにより、LED４２bは、カメラ４３の次の撮像が行われる間、被写体に対して、波長λ２の光を照射する。なお、LED４２aは消灯されている。
【０１１０】
ステップＳ２４では、カメラ４３は、LED４２bの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ2を、算出部６２に供給する。
【０１１１】
ステップＳ２５では、発光制御部６１は、カメラ４３からのフレーム同期信号に応じて、ステップＳ２４におけるカメラ４３の撮像が終了するタイミングで、LED４２bを消灯させる。これにより、LED４２a及びLED４２bは、いずれも消灯された状態となる。
【０１１２】
ステップＳ２６では、カメラ４３は、LED４２a及びLED４２bのいずれも消灯している状態で撮像を開始し、その結果得られる撮像画像I_offを、算出部６２に供給する。
【０１１３】
ステップＳ２７では、算出部６２は、カメラ４３からの各撮像画像I_λ1,I_λ2,I_offに基づいて、差分画像I_diff(={（I_λ1 - I_λ2）/（I_λ1-I_off）}×100)を算出する。
【０１１４】
ステップＳ２８では、算出部６２は、算出した差分画像I_diffを、予め決められた２値化用の閾値を用いて、２値化して２値化肌画像I_skinを算出する。
【０１１５】
ステップＳ２９では、算出部６２は、算出した２値化肌画像I_skinに基づいて、例えば肌領域８１aを検出する。
【０１１６】
ステップＳ３０において、算出部６２は、例えば、撮像画像I_λ1から、肌領域８１aを含む最小の矩形領域８１を検出する。
【０１１７】
ステップＳ３１では、算出部６２は、検出した矩形領域８１から、肌領域８１aが表す鑑賞者の顔の特徴を表す特徴量を算出する。
【０１１８】
ステップＳ３２では、算出部６２は、算出した特徴量に基づいて、例えば、鑑賞者の右眼の位置と左眼の位置を含む視点情報を算出し、表示制御部６３に供給する。
【０１１９】
すなわち、例えば、算出部６２は、画像処理装置２１に設けられた図示せぬメモリを参照して、算出した特徴量を用いたパターンマッチングを行うことにより、視点情報を算出し、表示制御部６３に供給する。
【０１２０】
なお、視点情報の算出は、パターンマッチング以外の方法で行なってもよい。すなわち、例えば、算出部６２において、一般的に人間の両眼が、人間の顔において略左右対称の位置にあるとともに、顔の中心（顔を左右対称に分ける線分上の位置）から左右方向にそれぞれ約３０mm離れた位置にあるという事実に基づいて、視点情報を算出してもよい。
【０１２１】
具体的には、例えば、算出部６２は、矩形領域８１から、撮像画像内における鑑賞者の顔の位置として、顔の中心（例えば、顔の重心）を検出し、検出した顔の位置から、撮像画像内における鑑賞者の右眼及び左眼それぞれの位置を、視点情報として算出してもよい。
【０１２２】
ここで、撮像画像内において、顔の中心から右眼までの間隔、及び顔の中心から左眼までの間隔は、カメラ４３と鑑賞者の間の距離Dに応じて異なるものとなる。したがって、算出部６２は、検出した顔の位置から左右方向に、それぞれ、鑑賞者とカメラ４３の間の距離Dに応じた分だけ移動した位置を、視点情報として算出するものとなる。
【０１２３】
上述の事実を用いて視点情報を算出する場合には、例えば、撮像画像内の肌領域から顔の位置を検出し、検出した顔の位置に基づいて、撮像画像内の右眼や左眼の位置を推定する。そして、推定された、撮像画像内の右眼や左眼の位置が、視点情報として算出される。
【０１２４】
したがって、この場合、視点情報を例えばパターンマッチングで求める場合に比べて、処理が単純であるため、視点情報の算出に時間がかからない。このため、鑑賞者の移動等があっても追従性がよいものとなる。また、視点情報の算出に必要なDSPやCPUのパワーが低くてもよいため、製造時のコストが安くなる等のメリットもある。
【０１２５】
なお、算出部６２は、LED４２aと鑑賞者の距離が近い程、LED４２aの照射による肌領域８１a(外光の影響が除去された肌領域)の輝度が高くなることを利用することにより、カメラ４３と鑑賞者の距離を概算することができる。この場合、カメラ４３は、LED４２aの近傍に配置されているものとする。
【０１２６】
また、算出部６２は、LED４２aに代えて、LED４２bを用いるようにして、LED４２bと鑑賞者の距離が近い程、LED４２bの照射による肌領域８１a(外光の影響が除去された肌領域)の輝度が高くなることを利用することにより、カメラ４３と鑑賞者の距離を概算してもよい。この場合、カメラ４３は、LED４２bの近傍に配置されているものとする。
【０１２７】
したがって、算出部６２は、矩形領域８１上の肌領域８１aから鑑賞者の顔の位置を検出し、検出した顔の位置から、肌領域８１aの輝度から求めた距離Dに応じた分だけ移動した位置を、視点情報として算出できる。
【０１２８】
また、ポータブル機器のようにディスプレイの画面が小さい場合には、ディスプレイから鑑賞者の顔までの距離Dは所定の範囲に収まっているため、カメラ４３と鑑賞者までの距離の算出は省略してもよい。
【０１２９】
この場合、ディスプレイから鑑賞者の顔までの距離Dは、予め決められた距離（例えば、所定の範囲における中央値等）とされ、検出された顔の位置から、距離Dに応じた分だけ移動した位置が、視点情報として算出される。
【０１３０】
ステップＳ３３において、表示制御部６３は、算出部６２からの視点情報に基づいて、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させる。
【０１３１】
すなわち、例えば、表示制御部６３は、算出部６２からの視点情報に基づいて、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を算出する。そして、表示制御部６３は、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を、視点情報に基づいて算出した表示位置に変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させる。
【０１３２】
また、例えば、表示制御部６３は、図示せぬ内蔵のメモリを有し、LCD２２に表示させるべき左眼用２次元画像及び右眼用２次元画像の表示位置を、視点情報毎に対応付けて予め保持していてもよい。この場合、表示制御部６３は、算出部６２からの視点情報に基づいて、その視点情報に対応付けられている表示位置（を表すデータ）を、内蔵するメモリから読み出す。
【０１３３】
そして、表示制御部６３は、LCD２２に表示させる左眼用２次元画像及び右眼用２次元画像の表示位置を、内蔵するメモリから視点情報に応じて読み出した表示位置に変更し、変更後の表示位置で、左眼用２次元画像及び右眼用２次元画像をLCD２２に表示させることとなる。
【０１３４】
その後、処理はステップＳ２１に戻され、それ以降、同様の処理が繰り返される。なお、この３Ｄ制御処理は、例えば画像処理装置２１の電源がオフされたときに終了される。
【０１３５】
以上説明したように、３Ｄ制御処理によれば、LCD２２上の各領域に表示させる左眼用２次元画像及び右眼用２次元画像を、鑑賞者の視点情報（例えば、鑑賞者の右眼の位置と左眼の位置）に応じて決定するようにした。
【０１３６】
このため、３Ｄ制御処理によれば、鑑賞者の視点に拘わらず、LCD２２上の画像を立体的に視認させることが可能となる。
【０１３７】
また、３Ｄ制御処理によれば、図５に示されるような人間の分光反射特性を利用して、波長λ１及びλ２の光を照射して鑑賞者の肌領域を検出するようにした。
【０１３８】
したがって、３Ｄ制御処理によれば、画像処理装置２１を使用する環境の明るさに拘らず、肌領域を精度良く検出することが可能となる。
【０１３９】
このため、例えば、画像処理装置２１を使用する場所が暗いときでも、撮像画像上の肌領域を精度良く検出することが可能となる。また波長λ１及びλ２の光を不可視光とすれば、LCD２２上の画像の視認にも影響を与えない。
【０１４０】
また、３Ｄ制御処理では、例えば、鑑賞者の肌領域を含む矩形領域８１を検出し、検出した矩形領域８１を対象として、視点情報を算出する処理を行うようにしている。
【０１４１】
このため、通常の可視光の撮像画像からは視点情報の算出が難しい暗い場所でも、視点情報の算出が可能である。また、例えば、撮像画像上の全領域を対象とし、視点情報を算出する処理を行う場合と比較して、３Ｄ制御処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
【０１４２】
具体的には、例えば、図２に示したような場合、矩形領域８１は、撮像画像上の全領域の1/10以下となっている。このため、矩形領域８１を対象とすれば、撮像画像上の全領域を対象とするときと比較して、視点情報を算出する際の計算量を1/10以下とすることができる。
【０１４３】
したがって、例えば、画像処理装置２１では、処理能力を向上させるために、高価なDSPを実装する必要がない。このため、安価なDSPを用いることができるので、画像処理装置２１の製造コストを低く抑えることができる。
【０１４４】
また、視点情報を算出する際の計算量を少なくできるので、小型化のために処理能力等が制限されたポータブル製品（例えば、持ち運び可能な携帯型のテレビジョン受像機や、携帯型ゲーム機、携帯型光ディスクプレーヤ、携帯電話機等）を、画像処理装置２１として採用することができる。
【０１４５】
なお、画像処理装置２１を、例えばテレビジョン受像機や、携帯型ゲーム機、携帯型光ディスクプレーヤ、携帯電話機として採用する場合、LCD２２及びパララックスバリア２２aも、画像処理装置２１の構成に含まれるものとしてもよい。
【０１４６】
また、画像処理装置２１としては、ポータブル製品の他、小型化されていない通常のテレビジョン受像機等を採用できる。その他、例えば、複数の画像により構成される動画や静止画等のコンテンツを再生する再生装置や、コンテンツの録画（記録）と再生を行う記録再生装置等にも適用できる。
【０１４７】
すなわち、本開示は、画像を立体的に表示する表示装置や、画像をディスプレイ等に立体的に表示させる表示制御装置であれば、どのようなものにも適用することができる。
【０１４８】
ところで、本実施の形態において、算出部６２は、例えば、図２に示したように、撮像画像上の肌領域８１aを全て含む最小の矩形領域８１から、鑑賞者の顔の形状や、顔の一部の形状を表す特徴量を算出するようにしている。
【０１４９】
しかしながら、算出部６２が、例えば、鑑賞者の眼の特徴を表す特徴量を算出し、算出した特徴量に基づいて、図示せぬメモリ等を参照することにより、鑑賞者の視点情報を算出するようにしてもよい。なお、眼の特徴を表す特徴量としては、具体的には、例えば、眼の形状を表す特徴量を用いることができる。
【０１５０】
この場合、肌領域８１aに代えて、鑑賞者の眼を表す眼領域を検出し、眼領域を少なくとも含む算出用領域として、例えば、撮像画像上の眼領域を全て含む最小の矩形領域から、鑑賞者の眼の特徴量を算出するものとなる。また、図示せぬメモリ等の予め保持される特徴量は、鑑賞者の眼の特徴を表す特徴量とされる。
【０１５１】
次に、図７を参照して、算出部６２が、鑑賞者の眼領域を検出する場合の一例を説明する。
【０１５２】
[人間の眼に対する分光反射特性]
図７は、人間の眼に対する分光反射特性を示している。
【０１５３】
図７において、横軸は、人間の眼に照射される照射光の波長を示しており、縦軸は、人間の眼に照射された照射光の反射率を示している。
【０１５４】
人間の眼に照射された照射光の反射率は、900[nm]付近から1000[nm]付近まで上昇することが知られている。
【０１５５】
したがって、撮像画像I_λ1上の眼領域を構成する輝度値は比較的小さな値となり、撮像画像I_λ2上の眼領域を構成する輝度値は比較的大きな値となる。
【０１５６】
このため、差分画像I_diff上の眼領域の輝度値は、比較的大きな負の値α2となる。
【０１５７】
これを利用して、差分画像I_diffから、眼領域を検出するために用いる閾値を用いて２値化肌画像I_eyeを算出し、算出した２値化肌画像I_eyeから眼領域を検出することができる。
【０１５８】
眼領域を検出できれば、その位置（例えば、眼領域の重心等）は撮像画像上の眼の位置と合致するため、パターンマッチングや顔の位置から視点情報を算出する場合に比べて、正確に視点情報を算出できる。また視点情報を算出する際の計算量も極端に小さくできるため、処理の高速化を実現しつつ、安価なDSPを採用できるので低コストも実現できる。
【０１５９】
なお、差分画像I_diff上の肌領域の輝度値は、比較的大きな正の値α1となる。したがって、差分画像I_diffから、眼領域を検出するために用いる閾値とともに、肌領域を検出するために用いる閾値を用いて、肌領域とともに眼領域を検出するようにしてもよい。
【０１６０】
この場合、算出部６２は、例えば、肌領域と眼領域との両方を含む最小の矩形領域から、鑑賞者の顔の特徴量、又は鑑賞者の眼の特徴量を算出することとなる。
【０１６１】
＜２．変形例＞
本実施の形態では、説明を簡単にするために、LCD２２上の画像を鑑賞する鑑賞者が１人であることを前提として説明した。しかしながら、本技術は、視点情報を算出する際の計算量が小さいため、鑑賞者が複数人である場合にも用いることができる。
【０１６２】
すなわち、例えば、算出部６２は、鑑賞者が複数人である場合、複数人の鑑賞者それぞれの肌領域を全て含む最小の矩形領域を対象として、鑑賞者毎の視点情報を算出する。なお、算出部６２は、鑑賞者が複数人である場合、複数人の鑑賞者それぞれの眼領域を全て含む最小の矩形領域を対象として、鑑賞者毎の視点情報を算出するようにしてもよい。
【０１６３】
そして、算出部６２は、算出した複数の視点情報に含まれる右眼の位置の中央値（メジアン）や平均値を、最終的な右眼の位置として、表示制御部６３に供給するようにしてもよい。また、算出部６２は、左眼の位置についても同様にして、最終的な左眼の位置を算出し、表示制御部６３に供給するようにしてもよい。
【０１６４】
これにより、表示制御部６３は、複数人の鑑賞者のいずれにおいても、ある程度、画像を立体的に視認できるようにLCD２２等を制御させることができる。
【０１６５】
また例えば、パララックスバリア２２aを用いるパララックスバリア方式では、図８に示すように、逆視を生じずに画像を立体的に認識できる鑑賞者の視点位置、つまり、画像を正視できる鑑賞者の視点位置が、所定の間隔で複数存在する。図８では、このような視点位置を３カ所だけ示したが、この左右外側にも更に複数存在する。また図８に示したように、逆視となってしまう視点位置も、正しく立体的に画像を認識できる視点位置の中間に複数存在する。
【０１６６】
すなわち、鑑賞者が複数人の場合、複数人の位置関係により画像を制御しても、複数人すべてが画像を正しく立体的に見えるように画像の表示を制御できるとは限らない。
【０１６７】
したがって、算出部６２は、算出した複数人の鑑賞者毎の視点情報から、複数の鑑賞者の位置がすべて、画像を立体的に認識できる視点位置の近傍になるように表示機構（例えば、LCD２２及びパララックスバリア２２a）を制御できると認識したときのみ、複数人の鑑賞者毎の視点情報に応じて、表示機構を制御するようにしてもよい。
【０１６８】
また、すべての鑑賞者が逆視を生じずに画像を立体的に認識できる視点位置に移動できるように、例えば、図９のように、複数の鑑賞者同士の相対距離の変更を促す旨の表示「お二人で３次元画像をご覧いただくため、お二人の距離をもう少しあけて下さい。」を、LCD２２の表示画面に表示してもよい。
【０１６９】
その他、例えば、LCD２２の表示画面には、複数人の鑑賞者のうち特定の鑑賞者に対して左もしくは右方向への移動を促すように表示を出してもよい。
【０１７０】
また、LCD２２による表示でなく、例えば、画像処理装置２１にスピーカ等を設けるようにし、そのスピーカを用いて、音声で移動を促すようにしてもよい。
【０１７１】
さらに、表示制御部６３は、複数の肌領域のうち、LCD２２の表示画面の中央に最も近い位置の肌領域に対応する鑑賞者が画像を立体的に視認できるように、表示機構を制御させてもよい。
【０１７２】
すなわち、LCD２２の表示画面の中央に最も近い位置の肌領域に対応する鑑賞者が、立体的な画像を鑑賞し続ける主たる鑑賞者であり、それ以外は短時間覗き込んだだけという場合が多いためである。このようにすれば、視点情報を算出する処理を簡略化できる。
【０１７３】
この場合、主たる鑑賞者以外の鑑賞者が、所定の時間以上、正視ではなく逆視となってしまう視点位置に居続けた場合、表示制御部６３は、立体的に見える画像の表示を中止し、２次元の画像を表示するようにしてもよい。
【０１７４】
また、例えば、表示制御部６３は、複数人の鑑賞者のうち、逆視による悪影響を最も受け易い鑑賞者の視点情報に合わせて、画像を表示させるようにしてもよい。
【０１７５】
すなわち、例えば、一般的に、逆視による悪影響を受け易い幼児ほど、LCD２２の近くでコンテンツ等の視聴を行う場合が多い。このため、表示制御部６３は、例えば、複数人の鑑賞者それぞれの視点情報のうち、LCD２２に対する右眼及び左眼の位置が最もLCD２２に近いものとされる視点情報を用いて、LCD２２等を制御する。なお、この場合、算出部６２は、複数人の鑑賞者それぞれの視点情報を算出し、表示制御部６３に供給する。
【０１７６】
その他、例えば、算出部６２において、LCD２２に近い位置で検出される肌領域に基づいて、LCD２２の近くで視聴を行う鑑賞者（例えば、幼児等）の視点情報を算出し、表示制御部６３に供給するようにしてもよい。この場合、表示制御部６３では、算出部６２からの視点情報を用いて、LCD２２等を制御することとなる。
【０１７７】
なお、LCD２２に近い位置で検出される肌領域（LCD２２の近くで視聴を行う幼児等の肌領域）は、例えば、LED４２a又は４２bの少なくとも一方からの照射光による輝度の大小に応じて、算出部６２により判別される。
【０１７８】
また、算出部６２は、幼児ほど顔の中において眼の位置が相対的に顎に近いという特徴を利用して、幼児かどうかを判断するようにしてもよい。具体的には、例えば、算出部６２は、顔領域を肌検出で、眼領域を眼検出で行い、顔領域と眼領域との相対位置（例えば、顔領域の重心と、眼領域の重心との相対位置）により、鑑賞者が幼児であるか否かを判断できる。この場合、算出部６２は、幼児であると判断した鑑賞者の肌領域に基づいて、視点情報を算出し、表示制御部６３に供給することとなる。
【０１７９】
本実施の形態では、例えば、LCD２２の前面にパララックスバリア２２aを設けるようにした。しかしながら、パララックスバリア２２aの配置はこれに限定されず、LCD２２とそのバックライトの間に設けてもよい。
【０１８０】
なお、本技術は以下のような構成もとることができる。
（１）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部と、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置。
（２）前記算出部は、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有する前記（１）に記載の画像処理装置。
（３）前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記（２）に記載の画像処理装置。
（４）前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記（２）に記載の画像処理装置。
（５）前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも１つを含む前記視点情報を算出する前記（１）乃至（４）に記載の画像処理装置。
（６）前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用２次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用２次元画像を表示させる前記（１）乃至（４）に記載の画像処理装置。
（７）前記表示制御部は、前記表示機構を制御し、右眼用２次元画像及び左眼用２次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用２次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用２次元画像とをそれぞれ分離させる前記（１）乃至（４）に記載の画像処理装置。
（８）前記表示機構は、パララックスバリア又はレンチキュラーレンズである前記（７）に記載の画像処理装置。
（９）前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす前記（１）乃至（４）に記載の画像処理装置。
（１０）前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、前記第２の照射部は、前記第２の波長λ２の不可視光を照射する前記（９）に記載の画像処理装置。
（１１）前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている前記（１）乃至（４）に記載の画像処理装置。
（１２）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、前記画像処理装置による、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法。
（１３）被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラム。
【０１８１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８２】
[コンピュータの構成例]
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【０１８３】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１８４】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１８５】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１８６】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１８７】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１８８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１８９】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９０】
また、本開示における実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９１】
２１ 画像処理装置， ２２ LCD， ２２a パララックスバリア， ４１ DSP， ４２a，４２b LED， ４３ カメラ， ６１ 発光制御部， ６２ 算出部， ６３ 表示制御部
【特許請求の範囲】
【請求項１】
被写体に対して、第１の波長の光を照射する第１の照射部と、
前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、
前記被写体の撮像を行なう撮像部と、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部と
を含む画像処理装置。
【請求項２】
前記算出部は、
前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、
前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部と
を有する請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する
請求項２に記載の画像処理装置。
【請求項４】
前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する
請求項２に記載の画像処理装置。
【請求項５】
前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも１つを含む前記視点情報を算出する
請求項２に記載の画像処理装置。
【請求項６】
前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用２次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用２次元画像を表示させる
請求項１に記載の画像処理装置。
【請求項７】
前記表示制御部は、前記表示機構を制御し、右眼用２次元画像及び左眼用２次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用２次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用２次元画像とをそれぞれ分離させる
請求項１に記載の画像処理装置。
【請求項８】
前記表示機構は、パララックスバリア又はレンチキュラーレンズである
請求項７に記載の画像処理装置。
【請求項９】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす請求項１に記載の画像処理装置。
【請求項１０】
前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、
前記第２の照射部は、前記第２の波長λ２の不可視光を照射する
請求項９に記載の画像処理装置。
【請求項１１】
前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている
請求項１に記載の画像処理装置。
【請求項１２】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、
前記画像処理装置による、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップと
を含む画像処理方法。
【請求項１３】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部と
して機能させるためのプログラム。
【請求項１】
被写体に対して、第１の波長の光を照射する第１の照射部と、
前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、
前記被写体の撮像を行なう撮像部と、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部と
を含む画像処理装置。
【請求項２】
前記算出部は、
前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、
前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部と
を有する請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する
請求項２に記載の画像処理装置。
【請求項４】
前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する
請求項２に記載の画像処理装置。
【請求項５】
前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも１つを含む前記視点情報を算出する
請求項２に記載の画像処理装置。
【請求項６】
前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用２次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用２次元画像を表示させる
請求項１に記載の画像処理装置。
【請求項７】
前記表示制御部は、前記表示機構を制御し、右眼用２次元画像及び左眼用２次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用２次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用２次元画像とをそれぞれ分離させる
請求項１に記載の画像処理装置。
【請求項８】
前記表示機構は、パララックスバリア又はレンチキュラーレンズである
請求項７に記載の画像処理装置。
【請求項９】
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たす請求項１に記載の画像処理装置。
【請求項１０】
前記第１の照射部は、前記第１の波長λ１の不可視光を照射し、
前記第２の照射部は、前記第２の波長λ２の不可視光を照射する
請求項９に記載の画像処理装置。
【請求項１１】
前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている
請求項１に記載の画像処理装置。
【請求項１２】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、
前記画像処理装置による、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップと
を含む画像処理方法。
【請求項１３】
被写体に対して、第１の波長の光を照射する第１の照射部と、前記被写体に対して、前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、
前記第１の波長の光を照射させたときの撮像で得られる第１の撮像画像、及び前記第２の波長の光を照射させたときの撮像で得られる第２の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−６２５６０（Ｐ２０１３−６２５６０Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９７７９３（Ｐ２０１１−１９７７９３）
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]