撮像装置および画像処理情報生成プログラム
【課題】本発明は、光外乱の多い環境でも利用でき、構成が簡易な撮像装置を提供することを目的とする。
【解決手段】撮像装置１は、照明Ｌで照らされる被写体Ａを撮像して、被写体Ａの奥行き値を示す奥行き情報と、被写体Ａの反射特性を示す反射特性情報と、照明Ｌの条件を示す照明情報とを画像処理情報として生成するものであって、ステレオ画像として扱える撮像画像を撮像するカメラＣと、照明Ｌと、カメラＣが撮像した撮像画像を用いて、画像処理情報を生成する画像処理情報生成装置１００とを備え、カメラＣが、偏光方向が互いに直交する２つの偏光フィルタを有するレンズと、偏光ビームスプリッタと、偏光ビームスプリッタで分光された光を撮像する２つの撮像素子とを備える。
【解決手段】撮像装置１は、照明Ｌで照らされる被写体Ａを撮像して、被写体Ａの奥行き値を示す奥行き情報と、被写体Ａの反射特性を示す反射特性情報と、照明Ｌの条件を示す照明情報とを画像処理情報として生成するものであって、ステレオ画像として扱える撮像画像を撮像するカメラＣと、照明Ｌと、カメラＣが撮像した撮像画像を用いて、画像処理情報を生成する画像処理情報生成装置１００とを備え、カメラＣが、偏光方向が互いに直交する２つの偏光フィルタを有するレンズと、偏光ビームスプリッタと、偏光ビームスプリッタで分光された光を撮像する２つの撮像素子とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の奥行き値を示す奥行き情報、被写体表面の質感を示す反射特性情報、照明条件を示す光源情報などの画像処理情報を生成する技術に関する。
【背景技術】
【０００２】
従来から、画像認識、画像合成、映像制作、コンピュータグラフィックス（ＣＧ）、バーチャルリアリティ（ＶＲ）などの画像処理が、広く行われている。この画像処理を行う際、被写体の奥行き値を示す奥行き情報、被写体表面の質感を示す反射特性情報、照明条件（光源の条件）を示す光源情報などの画像処理情報は、重要なものである。そこで、これら画像処理情報を生成する手法が提案されている。
【０００３】
画像処理情報を生成する手法として、ステレオカメラを用いて、奥行き値を推定する手法が提案されている（非特許文献１）。この非特許文献１に記載の手法は、同一の被写体を異なる視点で撮影した画像（画像には同一被写体の表面部位が存在する）のずれ量から、奥行き値を推定するものである。
【０００４】
また、カメラコード化瞳を用いて、奥行き値を推定する手法が提案されている（非特許文献２）。この非特許文献２に記載の手法は、カメラコード化された特殊な瞳（フィルタ）をレンズ内に内蔵しており、カメラコードを奥行き値に応じて畳み込んだボケ画像を撮像する。そして、非特許文献２に記載の手法は、このボケ画像から、逆問題を解くことで奥行き値を推定するものである。
【０００５】
そして、三角測量の原理により、奥行き値を推定する手法が提案されている（非特許文献３）。この非特許文献３に記載の手法は、光切断などの能動的手法により、レンジセンサスリット光やカメラコード化されたパターン光を被写体に照射して、三角測量の原理で奥行きを推定するものである。
【０００６】
さらに、被写体表面の反射特性を計測する手法が提案されている（非特許文献４）。この非特許文献４に記載の手法は、拘束された照明条件を変えながら被写体に光を照射して、その反射光を測定するものである。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Heiko Hirschmuller (2008),Stereo Processing by Semi-Global Matching and Mutual Information,IEEE Transactions on Pattern Analysis and Machine Intelligence,Volume 30(2),February 2008,pp.328-341.
【非特許文献２】Image and Depth from a Conventional Camera with a Coded Aperture，http://groups.csail.mit.edu/graphics/CodedAperture/CodedAperture-LevinEtAl-SIGGRAPH07.pdf
【非特許文献３】実用化が進む高速レンジファインダ 4.1光切断法,日本ロボット学会誌Vol.23 No.3,pp.278〜281,2005,http://www.space-vision.jp/japanese/pdf/R15.pdf
【非特許文献４】ＯＧＭ：ＢＲＤＦ測定装置,http://www.dressingsim.com/new/product/LSC/OGM/index.html
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献１〜３に記載の手法は、被写体表面の反射特性情報（つまり、被写体の質感）および光源情報を生成することができない。また、非特許文献３に記載の手法は、能動的手法によりパターン光を被写体に照射して、その反射光を計測する必要があるため、屋外などの光外乱の多い環境での利用が困難である。さらに、非特許文献４に記載の手法は、被写体の奥行き情報を取得することができず、被写体の形状または面法線をレンジセンサなどで予め計測しておく必要がある。
【０００９】
以上のように、奥行き情報、反射特性情報および光源情報をまとめて生成できる従来技術は提案されていない。仮に、非特許文献１〜４に記載の手法を組み合わせれば、これら画像処理情報をまとめて生成する手法は、容易に実現できるとも思われる。しかし、以下で説明するように、非特許文献１〜４に記載の手法を組み合わせることは現実的でない。
【００１０】
前記したように、非特許文献１に記載の手法はステレオカメラを必要とし、非特許文献２に記載の手法は特殊な瞳を内蔵したカメラを必要とし、非特許文献４に記載の手法はレンジセンサを必要とするというように、各手法で固有の装置を必要とする。従って、非特許文献１〜４に記載の手法を組み合わせると、撮像装置の構成が非常に大規模化、複雑化するため、現実的でない。このため、ユーザから、これら画像処理情報をまとめて生成する手法を簡易な構成で実現して欲しいという要望があり、特に、カメラ本体の小型化について強い要望がある。
【００１１】
そこで、本発明は、前記した問題を解決し、光外乱の多い環境において、奥行き情報、反射特性情報および光源情報をまとめて生成できると共に、構成が簡易な撮像技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記した課題を解決するため、本願第１発明に係る撮像装置は、光源で照らされる被写体を撮像して、被写体の奥行き値を示す奥行き情報と、被写体の反射特性を示す反射特性情報と、光源の方向および光量を示す光源情報とを生成する撮像装置であって、撮像手段と、視差量算出部と、奥行き値換算部と、撮像手段位置算出部と、拡散反射光成分画像生成部と、鏡面反射光成分画像生成部と、光源方向算出部と、光源情報生成部と、反射係数算出部と、を備えることを特徴とする。
【００１３】
かかる構成によれば、撮像装置の撮像手段は、偏光方向が互いに直交する２つの偏光素子からなる光透過素子と、偏光素子の一方からの入射光を透過させ、かつ、偏光素子の他方からの入射光を反射させる分光素子と、分光素子を透過した入射光を撮像する第１撮像素子と、分光素子で反射された入射光を撮像する第２撮像素子とを備える。
【００１４】
ここで、撮像手段の光学的条件に起因して、第１撮像素子および第２撮像素子が撮像した２つの撮像画像では、合焦位置に対する被写体位置がずれるためにボケが生じ、このボケの程度に応じて視差が生じる。つまり、両撮像画像は、ステレオ画像として取り扱うことが可能となる。
【００１５】
また、撮像装置は、ステレオ画像を生成するステレオカメラと比べて、撮像手段の構成が簡素である。さらに、撮像装置は、撮像手段で撮像を行う際に、パターン光を被写体に照射する必要がない。
【００１６】
また、撮像装置は、視差量算出部によって、第１撮像素子および第２撮像素子で被写体を撮像した２つの撮像画像から、例えば、マッチングによって、２つの撮像画像で対応する対応画素ごとの視差量を算出する。そして、撮像装置は、奥行き値換算部によって、視差量算出部が算出した視差量を、予め設定された換算式で対応画素ごとの奥行き値に換算して奥行き情報を生成する。ここで、奥行き情報は、撮像手段から被写体表面までの距離を示すことになる。言い換えるなら、注目画素の奥行き値が示す位置と、近傍画素の奥行き値が示す位置とを接続すると、被写体表面を示すことになる。従って、撮像装置は、奥行き値換算部によって、奥行き情報を用いて、注目画素と注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する。
【００１７】
また撮像装置は、撮像手段位置算出部によって、奥行き値換算部が算出した奥行き値に最適化処理を行って、撮像手段の位置を算出する。そして、撮像装置は、拡散反射光成分画像生成部によって、２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成する。さらに、撮像装置は、鏡面反射光成分画像生成部によって、２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとの最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成する。
【００１８】
ここで、例えば、斜め４５度方向に偏光した鏡面反射光が入射した場合、第１撮像素子および第２撮像素子では、鏡面反射光が同じ光量となるために、最小輝度値を選択しても、鏡面反射光成分の抑制を行うことが困難である。すなわち、鏡面反射光成分の抑制は、４５度からずれた状態となることで、その効果が生じる。この影響を光学系で低減するには、撮像手段の構成が大規模、複雑化し、現実的でない。このため、拡散反射光成分画像生成部は、最小輝度値を選択して拡散反射光成分を算出する。その後、鏡面反射光成分画像生成部は、この拡散反射光成分を用いて、鏡面反射光成分を算出する。
【００１９】
なお、拡散反射光成分画像は、２つの撮像画像での対応画素のうち、輝度値が小さい方の画素で構成された画像であり、拡散反射光成分を示すものである。また、鏡面反射光成分画像は、最大輝度値と最小輝度値との差分が輝度値となる画素で構成された画像であり、鏡面反射光成分を示すものである。
【００２０】
また、撮像装置は、光源方向算出部によって、奥行き値換算部が算出した法線方向および撮像手段の位置から、被写体での反射光の入射角を算出し、算出した入射角が示す方向を光源の方向として算出する。ここで、例えば、光源方向算出部は、反射の法則により、被写体表面の法線方向および撮像手段の位置から、光源の方向を算出する。
によって、
【００２１】
また、撮像装置は、光源情報生成部によって、鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および光源の方向に基づいて光源の光量を算出し、算出した光源の光量および方向を光源情報として生成する。ここで、光源情報生成部は、例えば、所定半径の仮想球を格子状に分割し、その格子頂点ごとに各光線の光源強度を求める。そして、光源情報生成部は、各光線の光源強度の中で最大値を算出して、仮想球に含まれる各格子頂点全体でゼロから最大光量までの間で正規化することで、光源の光量を算出する。
【００２２】
また、撮像装置は、反射係数算出部によって、光源情報生成部が生成した光源情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を反射特性情報として算出する。
【００２３】
また、本願第２発明に係る撮像装置は、光源を点灯および消灯させる光源制御部をさらに備え、光源情報生成部が、光源点灯時および光源消灯時に光源の光量をそれぞれ算出し、光源点灯時および光源消灯時の光量から所定の算出式によって重みを算出し、算出した重みを光源消灯時の光量に乗算することで、絶対値で表された光源情報を算出することが好ましい。
【００２４】
また、本願第３発明に係る撮像装置は、２つの撮像画像の一方から、対応画素の奥行き値が予め設定された奥行き抽出範囲に含まれる領域を被写体領域として抽出する被写体領域抽出部をさらに備えることが好ましい。
【００２５】
また、本願第４発明に係る撮像装置は、２つの撮像画像の一方から顔領域検出処理により顔領域を検出し、検出した顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した平均値に所定の値を加減算して奥行き抽出範囲を設定する奥行き抽出範囲算出部をさらに備えることが好ましい。
【００２６】
なお、本願第１発明に係る撮像装置において、一般的なコンピュータを、視差量算出部、奥行き値換算部、撮像手段位置算出部、拡散反射光成分画像生成部、鏡面反射光成分画像生成部、光源方向算出部、光源情報生成部、および、反射係数算出部として機能させる画像処理情報生成プログラムによって実現することもできる。
【発明の効果】
【００２７】
本願第１発明によれば、撮像手段の構成が簡素であると共に、この撮像手段が撮像した撮像画像だけを用いて、奥行き情報、反射特性情報および光源情報をまとめて生成できる。従って、本願第１発明によれば、奥行き情報、反射特性情報および光源情報ごとに、各情報を生成するための固有の装置を必要とせず、簡易な構成を実現することができる。さらに、本願第１発明によれば、撮像手段で撮像を行う際に、パターン光を被写体に照射する必要がないため、光外乱の多い環境でも利用することができる。
【００２８】
本願第２発明によれば、光源情報が絶対値で表されているため、実際の光源の明るさを光源情報から知ることができる。さらに、本願第２発明によれば、この光源情報を用いて別の撮像環境で画像処理を行う際、この別の撮像環境用に光源情報を変換する必要がない。つまり、本願第２発明によれば、光源情報の整合性を容易に保つことができる。
【００２９】
本願第３発明によれば、奥行き情報、反射特性情報および光源情報に加えて、被写体領域を抽出することができるため、撮像装置の利便性を向上させることができる。
本願第４発明によれば、奥行き抽出範囲を算出できるため、これを手動で設定する必要がなく、撮像装置の利便性をより向上させると共に、被写体の顔領域を正確に抽出することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態に係る撮像装置の構成を示す概略図である。
【図２】（ａ）は図１のカメラの構成を示す図であり、（ｂ）は図１のカメラが備えるレンズを説明する図である。
【図３】撮像画像１，２をステレオ画像として扱える理由を説明する図であり、（ａ）は第１撮像素子に着目した図であり、（ｂ）は第２撮像素子に着目した図である。
【図４】図１の画像処理情報生成装置の構成を示すブロック図である。
【図５】（ａ）および（ｂ）は図４の奥行き値換算部による換算を説明する図である。
【図６】図４の奥行き値換算部による換算を説明する図である。
【図７】図４の奥行き値換算部による法線方向の算出を説明する図である。
【図８】図４の奥行き値換算部による法線方向の算出を説明する図である。
【図９】図４の拡散反射光成分画像生成部による拡散反射光成分画像の生成を説明する図である。
【図１０】図４の照明情報生成部による照明情報の生成を説明する図である。
【図１１】図４の画像処理情報生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００３２】
［撮像装置の構成］
図１を参照して、本発明の実施形態に係る撮像装置１の構成について説明する。
撮像装置１は、照明（光源）Ｌで照らされる被写体Ａを撮像して、奥行き情報と、反射特性情報と、照明情報（光源情報）とを画像処理情報として生成するものであって、カメラ（撮像手段）Ｃと、画像処理情報生成装置１００とを備える。
【００３３】
カメラ（撮像手段）Ｃは、被写体Ａを撮像するものである。このカメラＣは、信号ケーブル９Ｃを介して、画像処理情報生成装置１００に接続されており、撮像した画像（動画）を画像処理情報生成装置１００に出力する。
【００３４】
被写体Ａは、撮像装置１での撮像対象となるものである。図１では、被写体Ａとして、円筒状の物体を図示したが、例えば、人物、動物、風景などであってもよい。また、撮像装置１における被写体は、１つに限定されず、２つ以上であってもよい。
【００３５】
また、本実施形態では、光源の一例として照明Ｌをあげて説明する。
照明Ｌは、被写体Ａを照らす光源であり、カメラＣの周囲に配置されるものである。この照明Ｌは、例えば、高速（１フレーム秒単位）で点灯および消灯が可能な白色ＬＥＤ（Light Emitting Diode）である。また、照明Ｌは、信号ケーブル９Ｃを介して、画像処理情報生成装置１００に接続されている。
なお、本実施形態では、光源が照明Ｌであることから、後記する画像処理情報生成装置１００は、光源情報として照明情報を生成することとした。
【００３６】
［カメラの構成］
ここで、図２を参照して、カメラＣの構成について説明する。
カメラＣは、図２（ａ）に示すように、レンズ（光透過素子）１１と、偏光ＢＳ（分光素子）１２と、第１撮像素子１３と、第２撮像素子１４とを備える。
この図２（ａ）では、入射光における縦方向の偏光成分と、横方向の偏光成分とを矢印で図示した。
【００３７】
レンズ（光透過素子）１１は、偏光方向が互いに直交する２つの偏光フィルタ（偏光素子）１１ａ，１１ｂを有するものである。このレンズ１１は、例えば、図２（ｂ）に示すように、カメラＣの外側から見て、凸レンズのレンズ面の左側に偏光フィルタ１１ａを有し、レンズ面の右側に偏光フィルタ１１ｂを有する。この場合、レンズ１１は、例えば、一般的な凸レンズのレンズ面に、薄膜状の偏光フィルタを２枚接着して、形成することができる。
【００３８】
また、レンズ１１は、偏光フィルタ１１ａ，１１ｂの割合が１：１となっているが、これに限定されない。例えば、レンズ１１は、偏光フィルタ１１ａ，１１ｂの割合を、第１撮像素子１３や第２撮像素子１４の感度およびレンズ１１の性能を考慮して、後記する視差量算出部１０１でブロックマッチングの精度が保てる範囲内に変更可能である。
【００３９】
図２（ａ）に示すように、偏光フィルタ１１ａは、被写体Ａからの入射光のうち、縦方向の偏光成分のみ通過する。また、偏光フィルタ１１ｂは、被写体Ａからの入射光のうち、横方向の偏光成分のみ通過する。
【００４０】
偏光ＢＳ（分光素子）１２は、偏光フィルタ１１ａからの入射光（縦方向の偏光成分）を透過させ、かつ、偏光フィルタ１１ｂからの入射光（横方向の偏光成分）を反射させるビームスプリッタである。この偏光ＢＳ１２を透過した光は、第１撮像素子１３の撮像面に到達する。また、偏光ＢＳ１２で反射された光は、第２撮像素子１４の撮像面に到達する。
【００４１】
第１撮像素子１３は、偏光ＢＳ１２を透過した光（縦方向の偏光成分）を撮像するものであり、例えば、ＣＣＤやＣＭＯＳセンサである。そして、第１撮像素子１３は、被写体Ａが撮像された画像を画像処理情報生成装置１００に出力する。
【００４２】
第２撮像素子１４は、偏光ＢＳ１２で反射された光（横方向の偏光成分）を撮像するものであり、例えば、ＣＣＤやＣＭＯＳセンサである。そして、第２撮像素子１４は、被写体Ａが撮像された画像を画像処理情報生成装置１００に出力する。
【００４３】
以後、第１撮像素子１３が撮像した動画の各フレーム画像を「撮像画像１」と呼び、第２撮像素子１４が撮像した各フレーム画像を「撮像画像２」と呼ぶ。これら撮像画像１，２は、ステレオ画像として扱うことができるため、その理由を説明する。
【００４４】
＜ステレオ画像として扱える理由＞
被写体からの入射光のうち、少なくとも拡散反射光成分は、偏光方向が分散される。この結果、拡散反射光成分は、偏光フィルタ１１ａまたは偏光フィルタ１１ｂのみがレンズ１１の開口形状と同等の条件で撮像される。言い換えるなら、拡散反射光成分は、その偏光方向が偏らないため、偏光フィルタ１１ａおよび偏光フィルタ１１ｂで略均等に遮蔽される。
【００４５】
その一方、ある光源からの光線が被写体表面で反射された鏡面反射光成分については、入射角＝反射角の条件を満たしつつ、カメラＣに入射する（凹面鏡などの被写体条件が成立する場合を除く）。従って、鏡面反射光成分は、素材（被写体Ａの屈折率）毎に異なるブリュースター角を中心として、Ｐ偏光およびＳ偏光の強度比が１：１でなくなる。（カメラＣの位置＝光源でない場合を除く）。このため、被写体Ａの表面で鏡面反射を起こしているならば、第１撮像素子１３および第２撮像素子１４では、入射光の光量が異なることになる。
【００４６】
以上の光学系の条件から、第１撮像素子１３および第２撮像素子１４では、合焦位置に対する被写体Ａの位置ずれによって、撮像画像１，２にボケが生じる。そして、このボケに応じて視差が生じるため、撮像画像１，２は、ステレオ画像として扱うことができる。
【００４７】
図３を参照して、より具体的に説明する（適宜図２参照）。
以後、レンズ１１の焦点位置にある丸状の被写体を「○」とし、レンズ１１の焦点位置より奥側にある三角状の被写体を「△」とし、レンズ１１の焦点位置より手前側にある正方形状の被写体を「□」とする。
【００４８】
図３（ａ）では、第１撮像素子１３に着目しており、偏光フィルタ１１ｂが第１撮像素子１３に対するフィルタとなるため、偏光フィルタ１１ｂをドットで図示した。また、図３（ｂ）では、第２撮像素子１４に着目しており、偏光フィルタ１１ａが第２撮像素子１４に対するフィルタとなるため、偏光フィルタ１１ａをドットで図示した。
【００４９】
仮に、レンズ１１が一般的な凸レンズである場合を考える。被写体「○」は、レンズ１１の焦点位置にあるため、第１撮像素子１３の撮像面に結像する。また、被写体「△」は、レンズ１１の焦点位置より奥側のため、第１撮像素子１３の撮像面の手前側に結像する。さらに、被写体「□」は、レンズ１１の焦点位置より手前側のため、第１撮像素子１３の撮像面の奥側に結像する。
【００５０】
次に、レンズ１１が偏光フィルタ１１ａ，１１ｂを有し、偏光フィルタ１１ａが被写体「○」，「△」，「□」からの入射光を透過し、偏光フィルタ１１ｂが被写体「○」，「△」，「□」からの入射光を遮蔽する場合を考える。
【００５１】
この場合、図３（ａ）に示すように、被写体「△」では、偏光フィルタ１１ａを通過した入射光の光路が、第１撮像素子１３の撮像面の手前で一旦交差して、第１撮像素子１３の撮像面右側に到達する。また、被写体「□」では、偏光フィルタ１１ａを通過した入射光が、第１撮像素子１３の撮像面左側に到達する。従って、第１撮像素子１３は、被写体「□」，「○」，「△」が左側から順に並んだ撮像画像１を撮像する。
【００５２】
また、図３（ｂ）では、偏光フィルタ１１ｂが被写体「○」，「△」，「□」からの入射光を透過し、偏光フィルタ１１ａが被写体「○」，「△」，「□」からの入射光を遮蔽する。
【００５３】
このため、被写体「△」では、偏光フィルタ１１ｂを通過した入射光の光路が、第２撮像素子１４の撮像面の手前で一旦交差して、第２撮像素子１４の撮像面左側に到達する。また、被写体「□」では、偏光フィルタ１１ｂを通過した入射光が、第２撮像素子１４の撮像面右側に到達する。従って、第２撮像素子１４は、被写体「△」，「○」，「□」が左側から順に並んだ撮像画像２を撮像する。
【００５４】
このように、撮像画像１，２では、レンズ１１の焦点位置から手前側または奥側にずれる程、被写体「△」，「□」が画像中央から左右にずれて撮像される。このため、撮像画像１，２は、被写体「○」，「△」，「□」の位置に応じて視差が発生し、ステレオ画像として扱うことができる。
【００５５】
［画像処理情報生成装置の構成］
図４を参照して、画像処理情報生成装置１００の構成について説明する（適宜図１，図２参照）。
この図４では、図面を見やすくするため、カメラＣの一部構成を省略した。
【００５６】
図４に示すように、画像処理情報生成装置１００は、画像処理情報を生成するものであり、視差量算出部１０１と、奥行き値換算部１１０と、カメラパラメータ算出部（撮像手段位置算出部）１２０と、奥行き情報記憶部１３０と、反射特性推定部１４０と、パラメータ設定部１５０と、奥行き抽出範囲算出部１６０と、被写体領域抽出部１７０と、照明制御部１８０とを備える。
【００５７】
この画像処理情報生成装置１００は、例えば、撮像画像１，２の画像入力用ボード、照明制御用の汎用Ｉ／Ｏボードを内蔵したコンピュータに実装されている。
なお、照明制御部１８０は、照明情報を絶対値で表すときに必要な構成であり、後記する変形例で説明する。
【００５８】
視差量算出部１０１は、カメラＣから撮像画像１，２が入力され、この撮像画像１，２で対応する対応画素ごとの視差量を算出するものである。この視差量算出部１０１は、例えば、ブロックマッチングによって、撮像画像１，２における各部位の小片ごとのずれ量として視差量を算出する。そして、視差量算出部１０１は、算出した視差量を奥行き値換算部１１０に出力する。
【００５９】
ここで、視差量算出部１０１は、高域空間周波数成分を対象としたブロックマッチング、または、色情報を用いたブロックマッチングを行って、マッチングの精度を向上させることができる。
【００６０】
なお、本実施形態では、視差量算出部１０１がブロックマッチングを用いることとしたが、本発明は、これに限定されない。つまり、視差量算出部１０１は、勾配法など、ステレオ画像のずれ量から視差量を算出する種々のマッチング手法を適用できる。
この勾配法は、例えば、文献「一般化勾配法によるオプティカルフローの検出:不均一照明下での物体運動の計測,社団法人情報処理学会,情報処理学会論文誌,コンピュータビジョンとイメージメディア49(SIG_6(CVIM_20)),1-12,2008-03-15,http://ci.nii.ac.jp/naid/110006684635」に記載されている。
【００６１】
奥行き値換算部１１０は、視差量算出部１０１から視差量が入力され、この視差量を換算式で対応画素ごとの奥行き値に換算して奥行き情報を生成するものである。また、奥行き値換算部１１０は、注目画素と注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する。そして、奥行き値換算部１１０は、生成した奥行き情報および被写体表面の法線方向を奥行き情報記憶部１３０に出力する。さらに、奥行き値換算部１１０は、生成した奥行き情報をカメラパラメータ算出部１２０に出力する。
【００６２】
＜奥行き値換算部による換算の具体例＞
図５，図６を参照して、奥行き値換算部１１０による換算の具体例について説明する（適宜図４参照）。
被写体のボケ中心位置は、レンズ１１における開口（つまり、偏光フィルタ１１ａまたは偏光フィルタ１１ｂ）の重心位置となる。ここでは、レンズ１１における開口を半円として説明する。
【００６３】
この場合、図５（ａ）に示すように、重心位置Ｇ（ｘＧ，ｙＧ）は、対象軸（ｙ軸）上にあるから、ｘＧ＝０である。従って、ｘ軸からの距離ｙＧを求める。高さｙの位置にある細い帯（ハッチングで図示）において、そのｘ軸に関する面積モーメントは、（２ｘ）ｙΔｙである。そして、半円全体を細い帯に区切って考えると、半円のｘ軸に関する面積モーメントは、下記の式（１）で表すことができる。
【００６４】
【数１】
【００６５】
式（１）の積分の項に含まれるｘをｙの関数として表すと、下記の式（２）であるから、下記の式（３）が成立する。
【００６６】
【数２】
【００６７】
【数３】
【００６８】
ここで、式（３）を式（１）に代入すると、下記の式（４）が得られる。そして、半円の面積は、πａ２／２であるから、距離ｙＧは、下記の式（５）で表すことができる。
【００６９】
【数４】
【００７０】
【数５】
【００７１】
なお、図５（ａ）では、ａがレンズ１１における開口半径である。また、この重心計算は、例えば、文献「http://www.mech.kanagawau.ac.jp/lab/urata_lab/class/MathMachAna/2003/mach08txt.pdf」に記載されている。
【００７２】
次に、図５（ｂ）に示すように、カメラＣの光学系において、偏光フィルタ１１ａを開口とした場合を考える。この場合、レンズ１１の直径Φａ＝２ａとなり、偏光フィルタ１１ａの重心位置Ｇ１は、ボケの中心位置から４ａ／３πの位置となる。また、第１撮像素子１３の撮像面の直径Φｂ＝２ｂとなり（但しｂは第１撮像素子１３の半径であり、後記する式（３）で定義される）、第１撮像素子１３において、偏光フィルタ１１ａからの入射光が到達する領域の重心位置Ｇ２は、ボケの中心位置から４ｂ／３πの位置となる。従って、ボケの半径をｃとすると、４ｃ／３πの位置となる撮像画像１，２では、視差量は、２×４ｃ／３πと表すことができる。
【００７３】
図６に示すように、レンズ１１では、レンズの公式より、下記の式（６）が成立する。ここで、ｏがレンズ１１の主点であり、ｆがレンズ１１の焦点であり、ｐがレンズ１１の端点であり、ａ’がａの像であり、ｂ’がｂの像であり、Ｆが焦点距離（主点と焦点との距離）であり、Ａが物面（被写体表面）から主点までの距離（奥行き値）であり、Ｂが主点から像面までの距離であり、ｍが倍率である。
【００７４】
【数６】
【００７５】
ここで、第１撮像素子１３の撮像面が右側ｆに位置する。従って、図６から、ボケの中心位置と、視差量Ｄｐとの関係は、下記の式（７），式（８）で表すことができる。なお、式式（７），式（８）では、ｏｐ→がレンズ１１の開口径（つまり、偏光フィルタ１１ａの径）であり、Ｄｐが視差量である。
【００７６】
【数７】
【００７７】
【数８】
【００７８】
ここで、式（６）の倍率ｍがレンズ１１の仕様から既知であり、開口径ｏｐも既知であるので、視差量算出部１０１が視差量Ｄｐを算出する。従って、奥行き値換算部１１０は、式（６）〜式（８）を用いて、視差量Ｄｐを奥行き値Ａに換算することができる。
なお、換算式は、視差量と、カメラＣからの距離である絶対的な奥行き値との関係がカメラＣの設計および設定により異なるため、奥行き値換算部１１０に予め設定しておく。
【００７９】
なお、式（６）〜式（８）は、焦点位置が撮像面より後（撮像面の裏側）の場合であるが、焦点位置が撮像面より前の場合でも、同様に換算できる。このとき、撮像面の前後で換算式が異なるため、換算式を選択する必要がある。この場合、奥行き値換算部１１０は、例えば、視差０を境に視差の生じる方向が逆になるので、視差０を条件として換算式を選択すればよい。
【００８０】
＜奥行き値換算部による法線方向の算出＞
続いて、図７，図８を参照して、奥行き値換算部１１０による法線方向の算出について説明する（適宜図４参照）。
【００８１】
例えば、図７下段に示すように、注目画素ＰＣと、注目画素ＰＣの左側に隣接する近傍画素ＰＬと、注目画素ＰＣの右側に隣接する近傍画素ＰＲとの奥行き値を求めたとする。このとき、図７上段に示すように、注目画素ＰＣの奥行き値に対して、近傍画素ＰＲの奥行き値が手前側を示しており、近傍画素ＰＬの奥行き値が奥側を示しているとする。この場合、注目画素ＰＣと近傍画素ＰＲ，ＰＬとの奥行き値が表す被写体表面αは、右側がカメラＣに近く、左側がカメラＣから遠くというように、カメラＣに対して傾いている。このように、注目画素ＰＣと近傍画素ＰＲ，ＰＬとの奥行き値から被写体表面αの向きがわかるため、被写体表面αの法線方向βを求めることができる。この被写体表面αの法線方向βは、カメラＣの幾何学的位置を基準としている。
【００８２】
このように、奥行き値換算部１１０は、注目画素ＰＣを被写体の各部位に移動させながら、被写体の各部位ごとに表面の法線方向βを求めること繰り返す。この図７では、被写体の一部に注目しているが、被写体は、図８に示すように、３次元で撮像されることが多い。
【００８３】
このため、多面体を被写体として、この被写体表面の法線方向を算出する場合を考える。図８では、多面体の底面である面１を被写体表面する。また、この多面体は、各面に頂点Ｐ１〜Ｐ８を有しており、凸多角形とする。これら頂点Ｐ１〜Ｐ８は、多面体外部から見て右回りに与えられている。また、視点はカメラＣの位置を示す。また、視線ベクトルはカメラＣの視線（レンズ１１の光軸）を示すベクトルである。また、法線ベクトルは面１の法線を示すベクトルである。この場合、奥行き値換算部１１０は、面１の法線Ｎを、下記の式（９）に示すように２線分の外積で算出することができる。
【００８４】
【数９】
【００８５】
ここでは、Ｐ１＝（ｘ１，ｙ１，ｚ１）、Ｐ２＝（ｘ２，ｙ２，ｚ２）、Ｐ３＝（ｘ３，ｙ３，ｚ３）で定義されている。従って、この図８では、この法線Ｎの方向が、被写体表面の法線方向となる。
なお、この手法は、例えば、ホームページ「http://nis-lab.is.s.u-tokyo.ac.jp/nis/CG/cgtxt/furoku/fu1.htm#Appendix%EF%BC%91」に記載されている。
【００８６】
図４に戻り、画像処理情報生成装置１００の構成について説明を続ける。
カメラパラメータ算出部１２０は、奥行き値換算部１１０から奥行き情報が入力され、この奥行き情報が示す奥行き値に最適化処理を行って、カメラＣの位置および方向を算出するものである。このカメラパラメータ算出部１２０は、例えば、最小二乗法などの最適化処理を行ってカメラＣの位置および方向を、カメラパラメータとして算出する。そして、カメラパラメータ算出部１２０は、算出したカメラパラメータを、奥行き情報記憶部１３０および反射特性推定部１４０に出力する。
【００８７】
なお、カメラパラメータの算出手法は、例えば、文献「画像から復元された３次元特徴点マップ群の世界座標系への統合,社団法人 電子情報通信学会,2010年電子情報通信学会総合大会,http://www.kameda-lab.org/research/publication/2010/201003_IEICE/201003IEICE-d_12_077-HayashiM.pdf」に記載されている。
また、カメラパラメータ算出部１２０は、例えば、ニュートン法、Ｐｏｗｅｌｌ法、共役勾配法などの最適化手法を用いることも可能である。
【００８８】
奥行き情報記憶部１３０は、奥行き値換算部１１０から奥行き情報および被写体表面の法線方向が入力され、カメラパラメータ算出部１２０からカメラパラメータが入力され、この奥行き情報および法線方向を記憶するものである。このため、奥行き情報記憶部１３０は、記憶装置１３ａと、記憶装置制御部１３ｂとを備える。この記憶装置１３ａは、奥行き情報を記憶する、例えば、メモリである。また、記憶装置制御部１３ｂは、記憶装置１３ａへの書き込みおよび記憶装置１３ａからの読み出しを制御するものである。
【００８９】
ここで、カメラパラメータ（カメラＣの方向および位置）が入力されるため、記憶装置制御部１３ｂは、奥行き情報、被写体表面の法線方向および撮像画像１，２の輝度値を、世界座標を基準に仮想空間内で位置合わせを行って記憶装置１３ａに記憶する。
【００９０】
なお、本実施形態では、記憶装置１３ａに設けられたボクセル空間上で、奥行き情報、被写体表面の法線方向および撮像画像１，２の輝度値を記憶した。また、奥行き情報は、奥行き値が得られたボクセル座標に対して投票処理（＋１の投票処理）を行って、被写体表面の存在有無のラベルおよびポリゴン化の補助情報として記憶される。
【００９１】
反射特性推定部１４０は、カメラＣから撮像画像１，２が入力され、カメラパラメータ算出部１２０からカメラパラメータが入力され、奥行き情報記憶部１３０が記憶する奥行き情報および被写体表面の法線方向を参照して、反射特性情報と、照明情報とを生成するものである。このため、反射特性推定部１４０は、拡散反射光成分画像生成部１４１と、鏡面反射光成分画像生成部１４２と、照明方向算出部（光源方向算出部）１４３と、照明情報生成部（光源情報生成部）１４４と、反射係数算出部１４５とを備える。
【００９２】
拡散反射光成分画像生成部１４１は、撮像画像１，２での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成するものである。
【００９３】
ここで、撮像画像１には横方向の偏光成分が含まれておらず、撮像画像２には縦方向の偏光成分が含まれていない。また、前記したように、例えば、斜め４５度方向に偏光した鏡面反射光が入射した場合、第１撮像素子１３および第２撮像素子１４では、鏡面反射光が同じ光量となるために、最小輝度値を選択しても、鏡面反射光成分の抑制を行うことが困難である。すなわち、鏡面反射光成分の抑制は、４５度からずれた状態となることで、その効果が生じる。この影響を光学系で低減するには、構成が大規模、複雑化し、現実的でない。
【００９４】
さらに、一定時間、様々な偏光方向の鏡面反射光成分による輝度値を求めると、その中で、確率的に偏光フィルタ１１ａ，１１ｂと直交する、または、直交に近い状態となる可能性がある。この場合、鏡面反射光成分は、偏光フィルタ１１ａ，１１ｂの一方で遮蔽されることになる。このため、拡散反射光成分画像生成部１４１は、撮像画像１，２での対応画素のうち、各対応座標の最小輝度値を選択して集めることで、鏡面反射光成分を抑制した拡散反射光成分画像を生成する。これによって、拡散反射光成分画像生成部１４１は、拡散反射光成分と、鏡面反射光成分との分離精度が従来技術より向上させ、鏡面反射光成分が含まれにくく、精度の高い拡散反射光成分を抽出可能となる。
【００９５】
図９の例では、拡散反射光成分画像生成部１４１は、撮像画像１，２で左上に位置する画素を対応画素とする。また、拡散反射光成分画像生成部１４１は、２つの対応画素のうち、輝度値が小さい方を最小輝度値として選択する。そして、拡散反射光成分画像生成部１４１は、選択した最小輝度値を、対応画素と同一位置にある画素（例えば、左上の画素）の輝度値とする。このような処理を、拡散反射光成分画像生成部１４１は、撮像画像１，２内で対応画素を移動させながら、全ての対応画素に前記した処理を繰り返し行って、拡散反射光成分画像を生成する。つまり、拡散反射光成分画像は、撮像画像１，２での対応画素のうち、輝度値が小さい方の画素で構成された画像であり、拡散反射光成分を示す。
【００９６】
鏡面反射光成分画像生成部１４２は、撮像画像１，２での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとの最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成するものである。
【００９７】
この鏡面反射光成分画像生成部１４２は、拡散反射光成分画像生成部１４１と同様、撮像画像１，２で左上に位置する対応画素のうち、輝度値が大きい方を最大輝度値として選択する。また、拡散反射光成分画像生成部１４１は、拡散反射光成分画像生成部１４１が生成した拡散反射光成分画像を参照して、この対応画素の最小輝度値を取得する。そして、拡散反射光成分画像生成部１４１は、選択した最大輝度値と、拡散反射光成分画像から取得した最小輝度値との差分を、対応画素と同一位置にある画素（例えば、左上の画素）の輝度値とする。このような処理を、鏡面反射光成分画像生成部１４２は、撮像画像１，２内で対応画素を移動させながら、全ての対応画素に繰り返し行って、鏡面反射光成分画像を生成する。つまり、鏡面反射光成分画像は、最大輝度値と最小輝度値との差分が輝度値となる画素で構成された画像であり、鏡面反射光成分を示す。
【００９８】
照明方向算出部（光源方向算出部）１４３は、被写体表面の法線方向およびカメラＣの位置から、被写体Ａでの反射光の入射角を算出し、算出した入射角の方向を照明の方向として算出するものである。
【００９９】
ここで、カメラＣの位置と、被写体表面の法線方向とから、反射の法則により、被写体Ａで反射された反射光の出射角が算出できる。言い換えるなら、カメラＣの視線が反射光の出射角から外れるほど、鏡面反射光の強度が極端に小さくなる。このことから、照明方向算出部１４３は、鏡面反射であれば、入射角＝反射角となるので、反射光の入射角が示す方向を、この反射光の元となる光を照射した照明Ｌの方向として算出する。
【０１００】
照明情報生成部（光源情報生成部）１４４は、鏡面反射光成分画像生成部１４２が生成した鏡面反射光成分画像、および、照明方向算出部１４３が算出した照明Ｌの方向に基づいて照明Ｌの光量を算出し、算出した照明Ｌの光量および方向を照明情報として生成するものである。
【０１０１】
＜照明情報生成部による照明情報の生成＞
図１０を参照して、照明情報生成部１４４による照明情報の生成について説明する（適宜図４参照）。
ここで、照明情報生成部１４４は、最小輝度値と最大輝度値との差（＝鏡面反射光成分画像が示す鏡面反射光成分の強度）と、照明Ｌの方向との関係より、被写体表面と照明Ｌの方向のなす線上における照明Ｌの光量を取得できる。計算を簡略化するため、図１０に示すように、ある半径の仮想球Ｖｂを予め設定し、その仮想球面を格子状に予め分割した場合を考える。この場合、照明情報生成部１４４は、各格子頂点に、取得した照明Ｌの光量を対応付けて記憶する。
【０１０２】
このとき、各格子頂点には、被写体表面での反射により、複数の反射光が入射することがある。図１０の例では、格子頂点Ｓｐ１に２本の反射光が入射している。このように、ある格子頂点に複数の反射光が入射した場合、これら反射光のうち、強度が最大となる反射光の入射角が示す方向に照明Ｌが存在する可能性が高くなる。従って、照明情報生成部１４４は、各格子頂点に入射した複数の反射光の中で強度が最大値となるものを、その格子頂点における照明Ｌの光量として選択する。そして、照明情報生成部１４４は、各格子位置における照明Ｌの光量を、ゼロから最大光量までの間で正規化して、照明Ｌの方向と共に照明情報として記憶する。つまり、照明情報は、正規化されることから、相対値で表されることになる。
【０１０３】
この照明情報は、ハイクオリティなＣＧをレンダリングする際、一般的に利用されるＨＤＲ全方位画像と同等なものである。従って、照明情報は、別途ＣＧ部品をレンダリングして撮影中に合成する際、リアリティを向上させる有効な情報となる。
なお、照明情報は、例えば、ホームページ「http://ict.debevec.org/~debevec/Research/HDR/」に詳細に記載されている。
【０１０４】
図４に戻り、画像処理情報生成装置１００の構成について説明を続ける。
反射係数算出部１４５は、照明情報生成部１４４が生成した照明情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を反射特性情報として算出するものである。
【０１０５】
ここで、照明情報生成部１４４までの処理によって、カメラＣの位置（つまり、レンズ１１の主点位置）と、仮想空間における被写体Ａの位置と、被写体表面の法線と、被写体に対する入射光とが既知である。ここで、入射光については仮想球面上に格子状に配列された格子位置に対応している。また、照明Ｌは、指向性を持たず、その格子位置から、全方位に光線を出射していると仮定している。つまり、照明Ｌは、スポットライトなどのような配光特性に偏りがあるものではないと仮定している。
【０１０６】
以上の条件から、反射係数算出部１４５は、反射モデルを適用した最適化処理を行うことで反射特性情報を算出できる。ここで、反射係数算出部１４５は、例えば、Ｐｈｏｎｇモデルを適用したマーカート法によって、鏡面反射係数、拡散反射係数およびＣｏｓ関数の次数を反射特性情報として算出している。
【０１０７】
なお、反射係数算出部１４５は、反射モデルや最適化手法が制限されるものではない。例えば、反射係数算出部１４５は、ＢＲＤＦ（Bidirectional Reflectance Distribution Function）などの反射モデルや、ニュートン法、Ｐｏｗｅｌｌ法、共役勾配法などの最適化手法を用いることも可能である。
【０１０８】
パラメータ設定部１５０は、画像処理情報生成装置１００に必要な設定パラメータが入力され、入力された設定パラメータを画像処理情報生成装置１００の各手段に出力するものである。ここで、例えば、パラメータ設定部１５０は、後記する奥行き抽出範囲に加減算する所定の値が設定パラメータとして入力されるので、この所定の値を奥行き抽出範囲算出部１６０に出力する。
【０１０９】
奥行き抽出範囲算出部１６０は、カメラＣから撮像画像２が入力され、パラメータ設定部１５０から所定の値が入力され、この撮像画像２から顔領域検出処理により顔領域を検出するものである。そして、奥行き抽出範囲算出部１６０は、検出した顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した平均値に所定の値を加減算して奥行き抽出範囲を求める。より具体的には、奥行き抽出範囲算出部１６０は、算出した平均値に所定の値を加算した値を奥行き抽出範囲の上限とし、算出した平均値から所定の値を減算した値を奥行き抽出範囲の下限として算出する。その後、奥行き抽出範囲算出部１６０は、算出した奥行き抽出範囲を被写体領域抽出部１７０に出力する。
なお、奥行き抽出範囲算出部１６０は、例えば、顔領域検出処理として、肌色領域を抽出する手法を利用することができる。
【０１１０】
被写体領域抽出部１７０は、カメラＣから撮像画像２が入力され、奥行き抽出範囲算出部１６０から奥行き抽出範囲が入力され、奥行き情報記憶部１３０が記憶する奥行き情報を参照して、この撮像画像２から、奥行き値が奥行き抽出範囲に含まれる領域を被写体領域として抽出するものである。
【０１１１】
つまり、被写体領域抽出部１７０は、撮像画像２のある画素に対応する奥行き値が、奥行き抽出範囲に含まれるか否かを判定する。そして、被写体領域抽出部１７０は、奥行き値が奥行き抽出範囲に含まれる場合、その画素を被写体領域の画素として抽出する。この処理を、被写体領域抽出部１７０は、撮像画像２の全ての画素に繰り返し行って被写体領域を抽出して出力する。
【０１１２】
以上のように、被写体領域抽出部１７０は、奥行き値から撮像画像２の中で奥行き抽出範囲の奥行き値の領域を選択することで、撮像画像２の特定位置に配置された被写体を切り出すことが可能である。この被写体領域の抽出は、映像制作、特に、映像合成でニーズが高い処理である。
【０１１３】
なお、被写体領域抽出部１７０は、被写体領域の抽出方法が特に制限されない。例えば、画像処理情報生成装置１００は、奥行き値の上限、下限を入力する２つの可変抵抗つまみを備える（不図示）。そして、被写体領域抽出部１７０は、これら可変抵抗つまみが操作されることで、奥行き値の上限、下限を手動で設定してもよい。
【０１１４】
なお、奥行き抽出範囲算出部１６０および被写体領域抽出部１７０は、撮像画像２に対して処理を行ったが、撮像画像１に処理を行ってもよい。この場合、撮像画像１，２の何れを対象とするか、パラメータ設定部１５０にパラメータとして入力してもよい。
【０１１５】
なお、本実施形態では、光源として照明Ｌを説明したが、本発明は、これに限定されない。つまり、本発明では、照明Ｌ以外の自然光（例えば、太陽光）を光源として、その光源情報を求めてもよい。
【０１１６】
なお、本実施形態では、カメラＣが動画で撮像を行い、画像処理情報生成装置１００がこの動画の各フレーム画像を処理することとして説明したが、本発明は、これに限定されない。つまり、カメラＣが静止画で撮像を行い、画像処理情報生成装置１００がこの静止画を処理してもよい。
【０１１７】
［画像処理情報生成装置の動作］
図１１を参照して、図４の画像処理情報生成装置１００の動作について説明する（適宜図４参照）。
ここで、画像処理情報生成装置１００には、撮像画像１，２が入力されていることとする。
【０１１８】
画像処理情報生成装置１００は、視差量算出部１０１によって、対応画素ごとの視差量を算出する（ステップＳ１）。また、画像処理情報生成装置１００は、奥行き値換算部１１０によって、視差量を換算式で対応画素ごとの奥行き値に換算し、被写体表面の法線方向を算出する（ステップＳ２）。
【０１１９】
画像処理情報生成装置１００は、カメラパラメータ算出部１２０によって、最小二乗法などの最適化処理を行ってカメラＣの位置および方向を、カメラパラメータとして算出する（ステップＳ３）。
【０１２０】
画像処理情報生成装置１００は、拡散反射光成分画像生成部１４１によって、撮像画像１，２での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成する（ステップＳ４）。
【０１２１】
画像処理情報生成装置１００は、鏡面反射光成分画像生成部１４２によって、撮像画像１，２での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとの最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成する（ステップＳ５）。
【０１２２】
画像処理情報生成装置１００は、照明方向算出部１４３によって、被写体表面の法線方向およびカメラＣの位置から、被写体での反射光の入射角を算出し、算出した入射角の方向を照明の方向として算出する（ステップＳ６）。
【０１２３】
画像処理情報生成装置１００は、照明情報生成部１４４によって、鏡面反射光成分画像および照明Ｌの方向に基づいて照明Ｌの光量を算出し、算出した照明Ｌの光量および方向を照明情報として生成する（ステップＳ７）。
【０１２４】
画像処理情報生成装置１００は、反射係数算出部１４５によって、照明情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を算出する（ステップＳ８）。
【０１２５】
画像処理情報生成装置１００は、奥行き抽出範囲算出部１６０によって、撮像画像２から顔領域検出処理により顔領域を検出し、検出した顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した平均値に所定の値を加減算して奥行き抽出範囲を求める（ステップＳ９）。
【０１２６】
画像処理情報生成装置１００は、被写体領域抽出部１７０によって、奥行き情報記憶部１３０が記憶する奥行き情報を参照して、撮像画像２から、奥行き値が奥行き抽出範囲に含まれる領域を被写体領域として抽出する（ステップＳ１０）。
【０１２７】
以上のように、本発明の実施形態に係る撮像装置１は、カメラＣが簡素であると共に、このカメラＣが撮像した撮像画像１，２を用いて、奥行き情報、反射特性情報および照明情報をまとめて生成できる。従って、撮像装置１は、奥行き情報、反射特性情報および光源情報ごとに、各情報を生成するための固有の装置を必要とせず、カメラＣの構成を簡易にすることができる。さらに、撮像装置１は、カメラＣで撮像を行う際に、パターン光を被写体に照射する必要がないため、光外乱の多い環境でも利用することができる。
【０１２８】
従来技術では、奥行き情報や反射特性情報を取得するには、大型の計測装置を用いる必要があった。しかし、撮像装置１は、カメラＣを家庭用ハンディカメラ程度に小型化することができる。また、高精度で欠落のない奥行き情報の取得が困難な場合でも、撮像装置１は、画像処理情報生成装置１００によって、映像制作に求められる品質で、被写体領域の切り出すことができる。さらに、撮像装置１は、カメラＣ自体が簡易な構成で動画撮像が可能なため、テレビ番組や映画などの映像制作に適している。
【０１２９】
また、従来技術では、撮像後に、映像合成や照明条件の変更などの映像制作を行うには、多大な労力と、高いスキルとが要求される。これらは、撮像時に映像制作を想定して撮像を行っても、ある程度の労力の低減しか望めない。このため、利用者が映像制作を行うことは稀であり、映像制作のニーズはあるものの、また多大な労力や専門知識の必要性から、映像制作の動機付けが困難な状況である。しかし、撮像装置１は、通常のカメラ撮像と同程度の労力で画像処理情報の生成処理を格段に省力化して、かつ、映像制作の自由度を高めることができる。これによって、撮像装置１は、利用者が、映像制作の専門知識や多大な労力を要することなく、所望の映像制作を行うことができる。言い換えるなら、撮像装置１は、利用者のスキルやセンスに依存することなく、映像制作を可能とする。
【０１３０】
本発明の実施形態に係る撮像装置１について説明したが、本発明は、前記した実施形態に限定されず、種々の変更を加えることができる。以下、本発明の変形例に係る撮像装置１について、第１実施形態と異なる点について説明する。
【０１３１】
（変形例：絶対値で表された照明情報）
図１に示すように、撮像装置１は、撮像のタイミングに合わせて、照明Ｌの点灯および消灯を繰り返す制御を行い、照明点灯時および照明消灯時の照明情報を用いて、相対値で表された照明情報を絶対値に変換する。
【０１３２】
ここで、照明Ｌは、信号ケーブル９Ｌを介して、画像処理情報生成装置１００に接続されている。そして、照明Ｌは、後記する照明制御部１８０から入力される同期信号に応じて、カメラＣの撮像タイミングに同期させて、点灯と消灯とを繰り返す。
【０１３３】
図４の照明制御部（光源制御部）１８０は、照明Ｌを点灯および消灯させるものである。この照明制御部１８０は、照明Ｌの点灯および消灯と、カメラＣの撮像とを同期させる同期信号を一定間隔（例えば、１フレーム秒）で照明ＬおよびカメラＣに出力する。
【０１３４】
つまり、この同期信号が入力されたタイミングで、カメラＣは、撮像を行う。また、この同期信号が入力されたタイミングで、照明Ｌは、点灯していれば消灯し、消灯していれば点灯する。
【０１３５】
反射特性推定部１４０は、カメラパラメータの他、カメラＣから、照明点灯時の撮像画像１，２と、照明消灯時の撮像画像１，２とが入力される。そして、反射特性推定部１４０の各手段は、照明点灯時および照明消灯時の撮像画像１，２のそれぞれに対して、第１実施形態と同様の処理を施す。
【０１３６】
照明情報生成部１４４は、第１実施形態と同様、照明点灯時の照明情報（照明点灯時における照明Ｌの光量および方向）と、照明消灯時の照明情報（照明消灯時における照明Ｌの光量および方向）とを生成する。そして、照明情報生成部１４４は、照明点灯時および照明消灯時の光量から所定の算出式によってスケール（重み）を算出し、算出したスケールを照明消灯時の光量に乗算する。
【０１３７】
＜照明情報生成部による照明情報の変換＞
以下、照明情報生成部１４４による照明情報の変換について、具体的に説明する。
ここで、予め測定した照明Ｌの光量実測値をＩとし、照明Ｌから被写体Ａまでの距離をＬｇとし、被写体表面の法線に対する反射光の入射角をθとし、被写体表面で反射光を反射した反射部分の反射係数をＫｄとする。この入射角θは、照明方向算出部１４３が算出済みのため、既知である。
【０１３８】
また、カメラＣから被写体Ａまでの距離（奥行き情報）が既知である。従って、撮像装置１は、照明Ｌを被写体として撮像して、カメラＣから照明Ｌまでの距離（奥行き情報）を生成することで、カメラＣと被写体Ａと照明Ｌとの位置関係が明らかになり、距離Ｌｇを求めることができる。
【０１３９】
この場合、反射光量Ｉｒは、照明点灯時の輝度と、照明消灯時の輝度との差であり、下記の式（１０）で表すことができる。
【０１４０】
【数１０】
【０１４１】
ここで、照明消灯時の照明情報より、反射部分への照明消灯時の光量をＩｏｍｎｉとする。また、照明点灯時の照明情報より、反射部分への照明点灯時の光量をＩｔｏｔａｌとする。この場合、拡散反射光成分については、照明点灯時の輝度Ｉｏｎと、照明消灯時の輝度Ｉｏｆｆとを、下記の式（１１）で表すことができる。
【０１４２】
【数１１】
【０１４３】
式（１１）に式（１０）を代入して、各項を反射係数Ｋｄで除算すると、下記の式（１２）となる。
【０１４４】
【数１２】
【０１４５】
ここで、被写体表面に直交する法線のベクトルＶＡを（ａｘ，ａｙ，ａｚ）とし、レンズ１１の中心から反射部分への直線のベクトルＶＢを（ｂｘ，ｂｙ，ｂｚ）とすると、入射角θは、ベクトルＶＡ，ＶＢの内積である式（１３）より、下記の式（１４）で表すことができる。なお、ｓｑｒは、平方根を返す関数である。
【０１４６】
【数１３】
【０１４７】
【数１４】
【０１４８】
前記したように、照明情報生成部１４４は、相対値で表された照明情報を生成している。このため、式（１１）の光量Ｉｏｍｎｉ，Ｉｔｏｔａｌには、何らかのスケール（重み）ｓが掛けられていることになる。つまり、式（１２）は、下記の算出式（１５）で表される。
【０１４９】
【数１５】
【０１５０】
ここで、光量Ｉｏｍｎｉ，Ｉｔｏｔａｌと、光量実測値Ｉと、入射角θと、距離Ｌｇとは、既知である。従って、照明情報生成部１４４は、算出式（１５）を解いて、スケールｓの値を求めることができる。そして、照明情報生成部１４４は、このスケールｓを光量Ｉｏｍｎｉに乗算することで、相対値で表された照明情報を絶対値に変換できる。
【０１５１】
このとき、照明Ｌの点灯と消灯との間に時間差があるため、照明点灯時の撮像画像１，２と、照明消灯時の撮像画像１，２との間に位置ずれが生じることがある。従って、照明情報生成部１４４は、照明点灯時の撮像画像１，２と、照明消灯時の撮像画像１，２に対して、ブロックマッチングまたはオプティカルフローを行って、この位置ずれを修正することが好ましい。
なお、本変形例では、例えば、１フレーム秒（つまり、１／３０秒）程度と、その時間差が極めて小さいため、この位置ずれが無いと仮定している。
【０１５２】
また、相対値の照明情報を利用する場合、照明Ｌおよび照明制御部１８０が必要ないため、照明Ｌの着脱や、照明情報生成部１４４による処理の有無を選択可能な構成とすることが好ましい。
なお、照明情報生成部１４４および照明制御部１８０以外、第１実施形態と同様のため、詳細な説明を省略した。
【０１５３】
以上のように、本発明の変形例に係る撮像装置１は、照明情報を絶対値に変換できる。これによって、撮像装置１は、前記した実施形態と同様、光外乱の多い環境でも利用可能で、簡易な構成を実現できる。さらに、撮像装置１は、照明情報が絶対値で表されているため、実際の照明Ｌの明るさを照明情報から知ることができる。さらに、撮像装置１では、この照明情報を用いて別の撮像環境で画像処理を行う際、この別の撮像環境用に照明情報を変換する必要がない。つまり、撮像装置１は、異なる撮影環境間で照明情報を共用する場合でも、この照明情報の整合性を容易に保つことができる。
【０１５４】
なお、実施形態では、本発明に係る撮像装置の画像処理情報生成装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、画像処理情報生成装置の各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【符号の説明】
【０１５５】
１ 撮像装置
１１ レンズ（光透過素子）
１１ａ，１１ｂ 偏光フィルタ（偏光素子）
１２ 偏光ＢＳ（分光素子）
１３ 第１撮像素子
１４ 第２撮像素子
１００ 画像処理情報生成装置
１０１ 視差量算出部
１１０ 奥行き値換算部
１２０ カメラパラメータ算出部（撮像手段位置算出部）
１３０ 奥行き情報記憶部
１４０ 反射特性推定部
１４１ 拡散反射光成分画像生成部
１４２ 鏡面反射光成分画像生成部
１４３ 照明方向算出部（光源方向算出部）
１４４ 照明情報生成部（光源情報生成部）
１４５ 反射係数算出部
１５０ パラメータ設定部
１６０ 奥行き抽出範囲算出部
１７０ 被写体領域抽出部
１８０ 照明制御部
Ｃ カメラ（撮像手段）
Ｌ 照明（光源）
【技術分野】
【０００１】
本発明は、被写体の奥行き値を示す奥行き情報、被写体表面の質感を示す反射特性情報、照明条件を示す光源情報などの画像処理情報を生成する技術に関する。
【背景技術】
【０００２】
従来から、画像認識、画像合成、映像制作、コンピュータグラフィックス（ＣＧ）、バーチャルリアリティ（ＶＲ）などの画像処理が、広く行われている。この画像処理を行う際、被写体の奥行き値を示す奥行き情報、被写体表面の質感を示す反射特性情報、照明条件（光源の条件）を示す光源情報などの画像処理情報は、重要なものである。そこで、これら画像処理情報を生成する手法が提案されている。
【０００３】
画像処理情報を生成する手法として、ステレオカメラを用いて、奥行き値を推定する手法が提案されている（非特許文献１）。この非特許文献１に記載の手法は、同一の被写体を異なる視点で撮影した画像（画像には同一被写体の表面部位が存在する）のずれ量から、奥行き値を推定するものである。
【０００４】
また、カメラコード化瞳を用いて、奥行き値を推定する手法が提案されている（非特許文献２）。この非特許文献２に記載の手法は、カメラコード化された特殊な瞳（フィルタ）をレンズ内に内蔵しており、カメラコードを奥行き値に応じて畳み込んだボケ画像を撮像する。そして、非特許文献２に記載の手法は、このボケ画像から、逆問題を解くことで奥行き値を推定するものである。
【０００５】
そして、三角測量の原理により、奥行き値を推定する手法が提案されている（非特許文献３）。この非特許文献３に記載の手法は、光切断などの能動的手法により、レンジセンサスリット光やカメラコード化されたパターン光を被写体に照射して、三角測量の原理で奥行きを推定するものである。
【０００６】
さらに、被写体表面の反射特性を計測する手法が提案されている（非特許文献４）。この非特許文献４に記載の手法は、拘束された照明条件を変えながら被写体に光を照射して、その反射光を測定するものである。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Heiko Hirschmuller (2008),Stereo Processing by Semi-Global Matching and Mutual Information,IEEE Transactions on Pattern Analysis and Machine Intelligence,Volume 30(2),February 2008,pp.328-341.
【非特許文献２】Image and Depth from a Conventional Camera with a Coded Aperture，http://groups.csail.mit.edu/graphics/CodedAperture/CodedAperture-LevinEtAl-SIGGRAPH07.pdf
【非特許文献３】実用化が進む高速レンジファインダ 4.1光切断法,日本ロボット学会誌Vol.23 No.3,pp.278〜281,2005,http://www.space-vision.jp/japanese/pdf/R15.pdf
【非特許文献４】ＯＧＭ：ＢＲＤＦ測定装置,http://www.dressingsim.com/new/product/LSC/OGM/index.html
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献１〜３に記載の手法は、被写体表面の反射特性情報（つまり、被写体の質感）および光源情報を生成することができない。また、非特許文献３に記載の手法は、能動的手法によりパターン光を被写体に照射して、その反射光を計測する必要があるため、屋外などの光外乱の多い環境での利用が困難である。さらに、非特許文献４に記載の手法は、被写体の奥行き情報を取得することができず、被写体の形状または面法線をレンジセンサなどで予め計測しておく必要がある。
【０００９】
以上のように、奥行き情報、反射特性情報および光源情報をまとめて生成できる従来技術は提案されていない。仮に、非特許文献１〜４に記載の手法を組み合わせれば、これら画像処理情報をまとめて生成する手法は、容易に実現できるとも思われる。しかし、以下で説明するように、非特許文献１〜４に記載の手法を組み合わせることは現実的でない。
【００１０】
前記したように、非特許文献１に記載の手法はステレオカメラを必要とし、非特許文献２に記載の手法は特殊な瞳を内蔵したカメラを必要とし、非特許文献４に記載の手法はレンジセンサを必要とするというように、各手法で固有の装置を必要とする。従って、非特許文献１〜４に記載の手法を組み合わせると、撮像装置の構成が非常に大規模化、複雑化するため、現実的でない。このため、ユーザから、これら画像処理情報をまとめて生成する手法を簡易な構成で実現して欲しいという要望があり、特に、カメラ本体の小型化について強い要望がある。
【００１１】
そこで、本発明は、前記した問題を解決し、光外乱の多い環境において、奥行き情報、反射特性情報および光源情報をまとめて生成できると共に、構成が簡易な撮像技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記した課題を解決するため、本願第１発明に係る撮像装置は、光源で照らされる被写体を撮像して、被写体の奥行き値を示す奥行き情報と、被写体の反射特性を示す反射特性情報と、光源の方向および光量を示す光源情報とを生成する撮像装置であって、撮像手段と、視差量算出部と、奥行き値換算部と、撮像手段位置算出部と、拡散反射光成分画像生成部と、鏡面反射光成分画像生成部と、光源方向算出部と、光源情報生成部と、反射係数算出部と、を備えることを特徴とする。
【００１３】
かかる構成によれば、撮像装置の撮像手段は、偏光方向が互いに直交する２つの偏光素子からなる光透過素子と、偏光素子の一方からの入射光を透過させ、かつ、偏光素子の他方からの入射光を反射させる分光素子と、分光素子を透過した入射光を撮像する第１撮像素子と、分光素子で反射された入射光を撮像する第２撮像素子とを備える。
【００１４】
ここで、撮像手段の光学的条件に起因して、第１撮像素子および第２撮像素子が撮像した２つの撮像画像では、合焦位置に対する被写体位置がずれるためにボケが生じ、このボケの程度に応じて視差が生じる。つまり、両撮像画像は、ステレオ画像として取り扱うことが可能となる。
【００１５】
また、撮像装置は、ステレオ画像を生成するステレオカメラと比べて、撮像手段の構成が簡素である。さらに、撮像装置は、撮像手段で撮像を行う際に、パターン光を被写体に照射する必要がない。
【００１６】
また、撮像装置は、視差量算出部によって、第１撮像素子および第２撮像素子で被写体を撮像した２つの撮像画像から、例えば、マッチングによって、２つの撮像画像で対応する対応画素ごとの視差量を算出する。そして、撮像装置は、奥行き値換算部によって、視差量算出部が算出した視差量を、予め設定された換算式で対応画素ごとの奥行き値に換算して奥行き情報を生成する。ここで、奥行き情報は、撮像手段から被写体表面までの距離を示すことになる。言い換えるなら、注目画素の奥行き値が示す位置と、近傍画素の奥行き値が示す位置とを接続すると、被写体表面を示すことになる。従って、撮像装置は、奥行き値換算部によって、奥行き情報を用いて、注目画素と注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する。
【００１７】
また撮像装置は、撮像手段位置算出部によって、奥行き値換算部が算出した奥行き値に最適化処理を行って、撮像手段の位置を算出する。そして、撮像装置は、拡散反射光成分画像生成部によって、２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成する。さらに、撮像装置は、鏡面反射光成分画像生成部によって、２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとの最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成する。
【００１８】
ここで、例えば、斜め４５度方向に偏光した鏡面反射光が入射した場合、第１撮像素子および第２撮像素子では、鏡面反射光が同じ光量となるために、最小輝度値を選択しても、鏡面反射光成分の抑制を行うことが困難である。すなわち、鏡面反射光成分の抑制は、４５度からずれた状態となることで、その効果が生じる。この影響を光学系で低減するには、撮像手段の構成が大規模、複雑化し、現実的でない。このため、拡散反射光成分画像生成部は、最小輝度値を選択して拡散反射光成分を算出する。その後、鏡面反射光成分画像生成部は、この拡散反射光成分を用いて、鏡面反射光成分を算出する。
【００１９】
なお、拡散反射光成分画像は、２つの撮像画像での対応画素のうち、輝度値が小さい方の画素で構成された画像であり、拡散反射光成分を示すものである。また、鏡面反射光成分画像は、最大輝度値と最小輝度値との差分が輝度値となる画素で構成された画像であり、鏡面反射光成分を示すものである。
【００２０】
また、撮像装置は、光源方向算出部によって、奥行き値換算部が算出した法線方向および撮像手段の位置から、被写体での反射光の入射角を算出し、算出した入射角が示す方向を光源の方向として算出する。ここで、例えば、光源方向算出部は、反射の法則により、被写体表面の法線方向および撮像手段の位置から、光源の方向を算出する。
によって、
【００２１】
また、撮像装置は、光源情報生成部によって、鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および光源の方向に基づいて光源の光量を算出し、算出した光源の光量および方向を光源情報として生成する。ここで、光源情報生成部は、例えば、所定半径の仮想球を格子状に分割し、その格子頂点ごとに各光線の光源強度を求める。そして、光源情報生成部は、各光線の光源強度の中で最大値を算出して、仮想球に含まれる各格子頂点全体でゼロから最大光量までの間で正規化することで、光源の光量を算出する。
【００２２】
また、撮像装置は、反射係数算出部によって、光源情報生成部が生成した光源情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を反射特性情報として算出する。
【００２３】
また、本願第２発明に係る撮像装置は、光源を点灯および消灯させる光源制御部をさらに備え、光源情報生成部が、光源点灯時および光源消灯時に光源の光量をそれぞれ算出し、光源点灯時および光源消灯時の光量から所定の算出式によって重みを算出し、算出した重みを光源消灯時の光量に乗算することで、絶対値で表された光源情報を算出することが好ましい。
【００２４】
また、本願第３発明に係る撮像装置は、２つの撮像画像の一方から、対応画素の奥行き値が予め設定された奥行き抽出範囲に含まれる領域を被写体領域として抽出する被写体領域抽出部をさらに備えることが好ましい。
【００２５】
また、本願第４発明に係る撮像装置は、２つの撮像画像の一方から顔領域検出処理により顔領域を検出し、検出した顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した平均値に所定の値を加減算して奥行き抽出範囲を設定する奥行き抽出範囲算出部をさらに備えることが好ましい。
【００２６】
なお、本願第１発明に係る撮像装置において、一般的なコンピュータを、視差量算出部、奥行き値換算部、撮像手段位置算出部、拡散反射光成分画像生成部、鏡面反射光成分画像生成部、光源方向算出部、光源情報生成部、および、反射係数算出部として機能させる画像処理情報生成プログラムによって実現することもできる。
【発明の効果】
【００２７】
本願第１発明によれば、撮像手段の構成が簡素であると共に、この撮像手段が撮像した撮像画像だけを用いて、奥行き情報、反射特性情報および光源情報をまとめて生成できる。従って、本願第１発明によれば、奥行き情報、反射特性情報および光源情報ごとに、各情報を生成するための固有の装置を必要とせず、簡易な構成を実現することができる。さらに、本願第１発明によれば、撮像手段で撮像を行う際に、パターン光を被写体に照射する必要がないため、光外乱の多い環境でも利用することができる。
【００２８】
本願第２発明によれば、光源情報が絶対値で表されているため、実際の光源の明るさを光源情報から知ることができる。さらに、本願第２発明によれば、この光源情報を用いて別の撮像環境で画像処理を行う際、この別の撮像環境用に光源情報を変換する必要がない。つまり、本願第２発明によれば、光源情報の整合性を容易に保つことができる。
【００２９】
本願第３発明によれば、奥行き情報、反射特性情報および光源情報に加えて、被写体領域を抽出することができるため、撮像装置の利便性を向上させることができる。
本願第４発明によれば、奥行き抽出範囲を算出できるため、これを手動で設定する必要がなく、撮像装置の利便性をより向上させると共に、被写体の顔領域を正確に抽出することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態に係る撮像装置の構成を示す概略図である。
【図２】（ａ）は図１のカメラの構成を示す図であり、（ｂ）は図１のカメラが備えるレンズを説明する図である。
【図３】撮像画像１，２をステレオ画像として扱える理由を説明する図であり、（ａ）は第１撮像素子に着目した図であり、（ｂ）は第２撮像素子に着目した図である。
【図４】図１の画像処理情報生成装置の構成を示すブロック図である。
【図５】（ａ）および（ｂ）は図４の奥行き値換算部による換算を説明する図である。
【図６】図４の奥行き値換算部による換算を説明する図である。
【図７】図４の奥行き値換算部による法線方向の算出を説明する図である。
【図８】図４の奥行き値換算部による法線方向の算出を説明する図である。
【図９】図４の拡散反射光成分画像生成部による拡散反射光成分画像の生成を説明する図である。
【図１０】図４の照明情報生成部による照明情報の生成を説明する図である。
【図１１】図４の画像処理情報生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００３２】
［撮像装置の構成］
図１を参照して、本発明の実施形態に係る撮像装置１の構成について説明する。
撮像装置１は、照明（光源）Ｌで照らされる被写体Ａを撮像して、奥行き情報と、反射特性情報と、照明情報（光源情報）とを画像処理情報として生成するものであって、カメラ（撮像手段）Ｃと、画像処理情報生成装置１００とを備える。
【００３３】
カメラ（撮像手段）Ｃは、被写体Ａを撮像するものである。このカメラＣは、信号ケーブル９Ｃを介して、画像処理情報生成装置１００に接続されており、撮像した画像（動画）を画像処理情報生成装置１００に出力する。
【００３４】
被写体Ａは、撮像装置１での撮像対象となるものである。図１では、被写体Ａとして、円筒状の物体を図示したが、例えば、人物、動物、風景などであってもよい。また、撮像装置１における被写体は、１つに限定されず、２つ以上であってもよい。
【００３５】
また、本実施形態では、光源の一例として照明Ｌをあげて説明する。
照明Ｌは、被写体Ａを照らす光源であり、カメラＣの周囲に配置されるものである。この照明Ｌは、例えば、高速（１フレーム秒単位）で点灯および消灯が可能な白色ＬＥＤ（Light Emitting Diode）である。また、照明Ｌは、信号ケーブル９Ｃを介して、画像処理情報生成装置１００に接続されている。
なお、本実施形態では、光源が照明Ｌであることから、後記する画像処理情報生成装置１００は、光源情報として照明情報を生成することとした。
【００３６】
［カメラの構成］
ここで、図２を参照して、カメラＣの構成について説明する。
カメラＣは、図２（ａ）に示すように、レンズ（光透過素子）１１と、偏光ＢＳ（分光素子）１２と、第１撮像素子１３と、第２撮像素子１４とを備える。
この図２（ａ）では、入射光における縦方向の偏光成分と、横方向の偏光成分とを矢印で図示した。
【００３７】
レンズ（光透過素子）１１は、偏光方向が互いに直交する２つの偏光フィルタ（偏光素子）１１ａ，１１ｂを有するものである。このレンズ１１は、例えば、図２（ｂ）に示すように、カメラＣの外側から見て、凸レンズのレンズ面の左側に偏光フィルタ１１ａを有し、レンズ面の右側に偏光フィルタ１１ｂを有する。この場合、レンズ１１は、例えば、一般的な凸レンズのレンズ面に、薄膜状の偏光フィルタを２枚接着して、形成することができる。
【００３８】
また、レンズ１１は、偏光フィルタ１１ａ，１１ｂの割合が１：１となっているが、これに限定されない。例えば、レンズ１１は、偏光フィルタ１１ａ，１１ｂの割合を、第１撮像素子１３や第２撮像素子１４の感度およびレンズ１１の性能を考慮して、後記する視差量算出部１０１でブロックマッチングの精度が保てる範囲内に変更可能である。
【００３９】
図２（ａ）に示すように、偏光フィルタ１１ａは、被写体Ａからの入射光のうち、縦方向の偏光成分のみ通過する。また、偏光フィルタ１１ｂは、被写体Ａからの入射光のうち、横方向の偏光成分のみ通過する。
【００４０】
偏光ＢＳ（分光素子）１２は、偏光フィルタ１１ａからの入射光（縦方向の偏光成分）を透過させ、かつ、偏光フィルタ１１ｂからの入射光（横方向の偏光成分）を反射させるビームスプリッタである。この偏光ＢＳ１２を透過した光は、第１撮像素子１３の撮像面に到達する。また、偏光ＢＳ１２で反射された光は、第２撮像素子１４の撮像面に到達する。
【００４１】
第１撮像素子１３は、偏光ＢＳ１２を透過した光（縦方向の偏光成分）を撮像するものであり、例えば、ＣＣＤやＣＭＯＳセンサである。そして、第１撮像素子１３は、被写体Ａが撮像された画像を画像処理情報生成装置１００に出力する。
【００４２】
第２撮像素子１４は、偏光ＢＳ１２で反射された光（横方向の偏光成分）を撮像するものであり、例えば、ＣＣＤやＣＭＯＳセンサである。そして、第２撮像素子１４は、被写体Ａが撮像された画像を画像処理情報生成装置１００に出力する。
【００４３】
以後、第１撮像素子１３が撮像した動画の各フレーム画像を「撮像画像１」と呼び、第２撮像素子１４が撮像した各フレーム画像を「撮像画像２」と呼ぶ。これら撮像画像１，２は、ステレオ画像として扱うことができるため、その理由を説明する。
【００４４】
＜ステレオ画像として扱える理由＞
被写体からの入射光のうち、少なくとも拡散反射光成分は、偏光方向が分散される。この結果、拡散反射光成分は、偏光フィルタ１１ａまたは偏光フィルタ１１ｂのみがレンズ１１の開口形状と同等の条件で撮像される。言い換えるなら、拡散反射光成分は、その偏光方向が偏らないため、偏光フィルタ１１ａおよび偏光フィルタ１１ｂで略均等に遮蔽される。
【００４５】
その一方、ある光源からの光線が被写体表面で反射された鏡面反射光成分については、入射角＝反射角の条件を満たしつつ、カメラＣに入射する（凹面鏡などの被写体条件が成立する場合を除く）。従って、鏡面反射光成分は、素材（被写体Ａの屈折率）毎に異なるブリュースター角を中心として、Ｐ偏光およびＳ偏光の強度比が１：１でなくなる。（カメラＣの位置＝光源でない場合を除く）。このため、被写体Ａの表面で鏡面反射を起こしているならば、第１撮像素子１３および第２撮像素子１４では、入射光の光量が異なることになる。
【００４６】
以上の光学系の条件から、第１撮像素子１３および第２撮像素子１４では、合焦位置に対する被写体Ａの位置ずれによって、撮像画像１，２にボケが生じる。そして、このボケに応じて視差が生じるため、撮像画像１，２は、ステレオ画像として扱うことができる。
【００４７】
図３を参照して、より具体的に説明する（適宜図２参照）。
以後、レンズ１１の焦点位置にある丸状の被写体を「○」とし、レンズ１１の焦点位置より奥側にある三角状の被写体を「△」とし、レンズ１１の焦点位置より手前側にある正方形状の被写体を「□」とする。
【００４８】
図３（ａ）では、第１撮像素子１３に着目しており、偏光フィルタ１１ｂが第１撮像素子１３に対するフィルタとなるため、偏光フィルタ１１ｂをドットで図示した。また、図３（ｂ）では、第２撮像素子１４に着目しており、偏光フィルタ１１ａが第２撮像素子１４に対するフィルタとなるため、偏光フィルタ１１ａをドットで図示した。
【００４９】
仮に、レンズ１１が一般的な凸レンズである場合を考える。被写体「○」は、レンズ１１の焦点位置にあるため、第１撮像素子１３の撮像面に結像する。また、被写体「△」は、レンズ１１の焦点位置より奥側のため、第１撮像素子１３の撮像面の手前側に結像する。さらに、被写体「□」は、レンズ１１の焦点位置より手前側のため、第１撮像素子１３の撮像面の奥側に結像する。
【００５０】
次に、レンズ１１が偏光フィルタ１１ａ，１１ｂを有し、偏光フィルタ１１ａが被写体「○」，「△」，「□」からの入射光を透過し、偏光フィルタ１１ｂが被写体「○」，「△」，「□」からの入射光を遮蔽する場合を考える。
【００５１】
この場合、図３（ａ）に示すように、被写体「△」では、偏光フィルタ１１ａを通過した入射光の光路が、第１撮像素子１３の撮像面の手前で一旦交差して、第１撮像素子１３の撮像面右側に到達する。また、被写体「□」では、偏光フィルタ１１ａを通過した入射光が、第１撮像素子１３の撮像面左側に到達する。従って、第１撮像素子１３は、被写体「□」，「○」，「△」が左側から順に並んだ撮像画像１を撮像する。
【００５２】
また、図３（ｂ）では、偏光フィルタ１１ｂが被写体「○」，「△」，「□」からの入射光を透過し、偏光フィルタ１１ａが被写体「○」，「△」，「□」からの入射光を遮蔽する。
【００５３】
このため、被写体「△」では、偏光フィルタ１１ｂを通過した入射光の光路が、第２撮像素子１４の撮像面の手前で一旦交差して、第２撮像素子１４の撮像面左側に到達する。また、被写体「□」では、偏光フィルタ１１ｂを通過した入射光が、第２撮像素子１４の撮像面右側に到達する。従って、第２撮像素子１４は、被写体「△」，「○」，「□」が左側から順に並んだ撮像画像２を撮像する。
【００５４】
このように、撮像画像１，２では、レンズ１１の焦点位置から手前側または奥側にずれる程、被写体「△」，「□」が画像中央から左右にずれて撮像される。このため、撮像画像１，２は、被写体「○」，「△」，「□」の位置に応じて視差が発生し、ステレオ画像として扱うことができる。
【００５５】
［画像処理情報生成装置の構成］
図４を参照して、画像処理情報生成装置１００の構成について説明する（適宜図１，図２参照）。
この図４では、図面を見やすくするため、カメラＣの一部構成を省略した。
【００５６】
図４に示すように、画像処理情報生成装置１００は、画像処理情報を生成するものであり、視差量算出部１０１と、奥行き値換算部１１０と、カメラパラメータ算出部（撮像手段位置算出部）１２０と、奥行き情報記憶部１３０と、反射特性推定部１４０と、パラメータ設定部１５０と、奥行き抽出範囲算出部１６０と、被写体領域抽出部１７０と、照明制御部１８０とを備える。
【００５７】
この画像処理情報生成装置１００は、例えば、撮像画像１，２の画像入力用ボード、照明制御用の汎用Ｉ／Ｏボードを内蔵したコンピュータに実装されている。
なお、照明制御部１８０は、照明情報を絶対値で表すときに必要な構成であり、後記する変形例で説明する。
【００５８】
視差量算出部１０１は、カメラＣから撮像画像１，２が入力され、この撮像画像１，２で対応する対応画素ごとの視差量を算出するものである。この視差量算出部１０１は、例えば、ブロックマッチングによって、撮像画像１，２における各部位の小片ごとのずれ量として視差量を算出する。そして、視差量算出部１０１は、算出した視差量を奥行き値換算部１１０に出力する。
【００５９】
ここで、視差量算出部１０１は、高域空間周波数成分を対象としたブロックマッチング、または、色情報を用いたブロックマッチングを行って、マッチングの精度を向上させることができる。
【００６０】
なお、本実施形態では、視差量算出部１０１がブロックマッチングを用いることとしたが、本発明は、これに限定されない。つまり、視差量算出部１０１は、勾配法など、ステレオ画像のずれ量から視差量を算出する種々のマッチング手法を適用できる。
この勾配法は、例えば、文献「一般化勾配法によるオプティカルフローの検出:不均一照明下での物体運動の計測,社団法人情報処理学会,情報処理学会論文誌,コンピュータビジョンとイメージメディア49(SIG_6(CVIM_20)),1-12,2008-03-15,http://ci.nii.ac.jp/naid/110006684635」に記載されている。
【００６１】
奥行き値換算部１１０は、視差量算出部１０１から視差量が入力され、この視差量を換算式で対応画素ごとの奥行き値に換算して奥行き情報を生成するものである。また、奥行き値換算部１１０は、注目画素と注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する。そして、奥行き値換算部１１０は、生成した奥行き情報および被写体表面の法線方向を奥行き情報記憶部１３０に出力する。さらに、奥行き値換算部１１０は、生成した奥行き情報をカメラパラメータ算出部１２０に出力する。
【００６２】
＜奥行き値換算部による換算の具体例＞
図５，図６を参照して、奥行き値換算部１１０による換算の具体例について説明する（適宜図４参照）。
被写体のボケ中心位置は、レンズ１１における開口（つまり、偏光フィルタ１１ａまたは偏光フィルタ１１ｂ）の重心位置となる。ここでは、レンズ１１における開口を半円として説明する。
【００６３】
この場合、図５（ａ）に示すように、重心位置Ｇ（ｘＧ，ｙＧ）は、対象軸（ｙ軸）上にあるから、ｘＧ＝０である。従って、ｘ軸からの距離ｙＧを求める。高さｙの位置にある細い帯（ハッチングで図示）において、そのｘ軸に関する面積モーメントは、（２ｘ）ｙΔｙである。そして、半円全体を細い帯に区切って考えると、半円のｘ軸に関する面積モーメントは、下記の式（１）で表すことができる。
【００６４】
【数１】
【００６５】
式（１）の積分の項に含まれるｘをｙの関数として表すと、下記の式（２）であるから、下記の式（３）が成立する。
【００６６】
【数２】
【００６７】
【数３】
【００６８】
ここで、式（３）を式（１）に代入すると、下記の式（４）が得られる。そして、半円の面積は、πａ２／２であるから、距離ｙＧは、下記の式（５）で表すことができる。
【００６９】
【数４】
【００７０】
【数５】
【００７１】
なお、図５（ａ）では、ａがレンズ１１における開口半径である。また、この重心計算は、例えば、文献「http://www.mech.kanagawau.ac.jp/lab/urata_lab/class/MathMachAna/2003/mach08txt.pdf」に記載されている。
【００７２】
次に、図５（ｂ）に示すように、カメラＣの光学系において、偏光フィルタ１１ａを開口とした場合を考える。この場合、レンズ１１の直径Φａ＝２ａとなり、偏光フィルタ１１ａの重心位置Ｇ１は、ボケの中心位置から４ａ／３πの位置となる。また、第１撮像素子１３の撮像面の直径Φｂ＝２ｂとなり（但しｂは第１撮像素子１３の半径であり、後記する式（３）で定義される）、第１撮像素子１３において、偏光フィルタ１１ａからの入射光が到達する領域の重心位置Ｇ２は、ボケの中心位置から４ｂ／３πの位置となる。従って、ボケの半径をｃとすると、４ｃ／３πの位置となる撮像画像１，２では、視差量は、２×４ｃ／３πと表すことができる。
【００７３】
図６に示すように、レンズ１１では、レンズの公式より、下記の式（６）が成立する。ここで、ｏがレンズ１１の主点であり、ｆがレンズ１１の焦点であり、ｐがレンズ１１の端点であり、ａ’がａの像であり、ｂ’がｂの像であり、Ｆが焦点距離（主点と焦点との距離）であり、Ａが物面（被写体表面）から主点までの距離（奥行き値）であり、Ｂが主点から像面までの距離であり、ｍが倍率である。
【００７４】
【数６】
【００７５】
ここで、第１撮像素子１３の撮像面が右側ｆに位置する。従って、図６から、ボケの中心位置と、視差量Ｄｐとの関係は、下記の式（７），式（８）で表すことができる。なお、式式（７），式（８）では、ｏｐ→がレンズ１１の開口径（つまり、偏光フィルタ１１ａの径）であり、Ｄｐが視差量である。
【００７６】
【数７】
【００７７】
【数８】
【００７８】
ここで、式（６）の倍率ｍがレンズ１１の仕様から既知であり、開口径ｏｐも既知であるので、視差量算出部１０１が視差量Ｄｐを算出する。従って、奥行き値換算部１１０は、式（６）〜式（８）を用いて、視差量Ｄｐを奥行き値Ａに換算することができる。
なお、換算式は、視差量と、カメラＣからの距離である絶対的な奥行き値との関係がカメラＣの設計および設定により異なるため、奥行き値換算部１１０に予め設定しておく。
【００７９】
なお、式（６）〜式（８）は、焦点位置が撮像面より後（撮像面の裏側）の場合であるが、焦点位置が撮像面より前の場合でも、同様に換算できる。このとき、撮像面の前後で換算式が異なるため、換算式を選択する必要がある。この場合、奥行き値換算部１１０は、例えば、視差０を境に視差の生じる方向が逆になるので、視差０を条件として換算式を選択すればよい。
【００８０】
＜奥行き値換算部による法線方向の算出＞
続いて、図７，図８を参照して、奥行き値換算部１１０による法線方向の算出について説明する（適宜図４参照）。
【００８１】
例えば、図７下段に示すように、注目画素ＰＣと、注目画素ＰＣの左側に隣接する近傍画素ＰＬと、注目画素ＰＣの右側に隣接する近傍画素ＰＲとの奥行き値を求めたとする。このとき、図７上段に示すように、注目画素ＰＣの奥行き値に対して、近傍画素ＰＲの奥行き値が手前側を示しており、近傍画素ＰＬの奥行き値が奥側を示しているとする。この場合、注目画素ＰＣと近傍画素ＰＲ，ＰＬとの奥行き値が表す被写体表面αは、右側がカメラＣに近く、左側がカメラＣから遠くというように、カメラＣに対して傾いている。このように、注目画素ＰＣと近傍画素ＰＲ，ＰＬとの奥行き値から被写体表面αの向きがわかるため、被写体表面αの法線方向βを求めることができる。この被写体表面αの法線方向βは、カメラＣの幾何学的位置を基準としている。
【００８２】
このように、奥行き値換算部１１０は、注目画素ＰＣを被写体の各部位に移動させながら、被写体の各部位ごとに表面の法線方向βを求めること繰り返す。この図７では、被写体の一部に注目しているが、被写体は、図８に示すように、３次元で撮像されることが多い。
【００８３】
このため、多面体を被写体として、この被写体表面の法線方向を算出する場合を考える。図８では、多面体の底面である面１を被写体表面する。また、この多面体は、各面に頂点Ｐ１〜Ｐ８を有しており、凸多角形とする。これら頂点Ｐ１〜Ｐ８は、多面体外部から見て右回りに与えられている。また、視点はカメラＣの位置を示す。また、視線ベクトルはカメラＣの視線（レンズ１１の光軸）を示すベクトルである。また、法線ベクトルは面１の法線を示すベクトルである。この場合、奥行き値換算部１１０は、面１の法線Ｎを、下記の式（９）に示すように２線分の外積で算出することができる。
【００８４】
【数９】
【００８５】
ここでは、Ｐ１＝（ｘ１，ｙ１，ｚ１）、Ｐ２＝（ｘ２，ｙ２，ｚ２）、Ｐ３＝（ｘ３，ｙ３，ｚ３）で定義されている。従って、この図８では、この法線Ｎの方向が、被写体表面の法線方向となる。
なお、この手法は、例えば、ホームページ「http://nis-lab.is.s.u-tokyo.ac.jp/nis/CG/cgtxt/furoku/fu1.htm#Appendix%EF%BC%91」に記載されている。
【００８６】
図４に戻り、画像処理情報生成装置１００の構成について説明を続ける。
カメラパラメータ算出部１２０は、奥行き値換算部１１０から奥行き情報が入力され、この奥行き情報が示す奥行き値に最適化処理を行って、カメラＣの位置および方向を算出するものである。このカメラパラメータ算出部１２０は、例えば、最小二乗法などの最適化処理を行ってカメラＣの位置および方向を、カメラパラメータとして算出する。そして、カメラパラメータ算出部１２０は、算出したカメラパラメータを、奥行き情報記憶部１３０および反射特性推定部１４０に出力する。
【００８７】
なお、カメラパラメータの算出手法は、例えば、文献「画像から復元された３次元特徴点マップ群の世界座標系への統合,社団法人 電子情報通信学会,2010年電子情報通信学会総合大会,http://www.kameda-lab.org/research/publication/2010/201003_IEICE/201003IEICE-d_12_077-HayashiM.pdf」に記載されている。
また、カメラパラメータ算出部１２０は、例えば、ニュートン法、Ｐｏｗｅｌｌ法、共役勾配法などの最適化手法を用いることも可能である。
【００８８】
奥行き情報記憶部１３０は、奥行き値換算部１１０から奥行き情報および被写体表面の法線方向が入力され、カメラパラメータ算出部１２０からカメラパラメータが入力され、この奥行き情報および法線方向を記憶するものである。このため、奥行き情報記憶部１３０は、記憶装置１３ａと、記憶装置制御部１３ｂとを備える。この記憶装置１３ａは、奥行き情報を記憶する、例えば、メモリである。また、記憶装置制御部１３ｂは、記憶装置１３ａへの書き込みおよび記憶装置１３ａからの読み出しを制御するものである。
【００８９】
ここで、カメラパラメータ（カメラＣの方向および位置）が入力されるため、記憶装置制御部１３ｂは、奥行き情報、被写体表面の法線方向および撮像画像１，２の輝度値を、世界座標を基準に仮想空間内で位置合わせを行って記憶装置１３ａに記憶する。
【００９０】
なお、本実施形態では、記憶装置１３ａに設けられたボクセル空間上で、奥行き情報、被写体表面の法線方向および撮像画像１，２の輝度値を記憶した。また、奥行き情報は、奥行き値が得られたボクセル座標に対して投票処理（＋１の投票処理）を行って、被写体表面の存在有無のラベルおよびポリゴン化の補助情報として記憶される。
【００９１】
反射特性推定部１４０は、カメラＣから撮像画像１，２が入力され、カメラパラメータ算出部１２０からカメラパラメータが入力され、奥行き情報記憶部１３０が記憶する奥行き情報および被写体表面の法線方向を参照して、反射特性情報と、照明情報とを生成するものである。このため、反射特性推定部１４０は、拡散反射光成分画像生成部１４１と、鏡面反射光成分画像生成部１４２と、照明方向算出部（光源方向算出部）１４３と、照明情報生成部（光源情報生成部）１４４と、反射係数算出部１４５とを備える。
【００９２】
拡散反射光成分画像生成部１４１は、撮像画像１，２での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成するものである。
【００９３】
ここで、撮像画像１には横方向の偏光成分が含まれておらず、撮像画像２には縦方向の偏光成分が含まれていない。また、前記したように、例えば、斜め４５度方向に偏光した鏡面反射光が入射した場合、第１撮像素子１３および第２撮像素子１４では、鏡面反射光が同じ光量となるために、最小輝度値を選択しても、鏡面反射光成分の抑制を行うことが困難である。すなわち、鏡面反射光成分の抑制は、４５度からずれた状態となることで、その効果が生じる。この影響を光学系で低減するには、構成が大規模、複雑化し、現実的でない。
【００９４】
さらに、一定時間、様々な偏光方向の鏡面反射光成分による輝度値を求めると、その中で、確率的に偏光フィルタ１１ａ，１１ｂと直交する、または、直交に近い状態となる可能性がある。この場合、鏡面反射光成分は、偏光フィルタ１１ａ，１１ｂの一方で遮蔽されることになる。このため、拡散反射光成分画像生成部１４１は、撮像画像１，２での対応画素のうち、各対応座標の最小輝度値を選択して集めることで、鏡面反射光成分を抑制した拡散反射光成分画像を生成する。これによって、拡散反射光成分画像生成部１４１は、拡散反射光成分と、鏡面反射光成分との分離精度が従来技術より向上させ、鏡面反射光成分が含まれにくく、精度の高い拡散反射光成分を抽出可能となる。
【００９５】
図９の例では、拡散反射光成分画像生成部１４１は、撮像画像１，２で左上に位置する画素を対応画素とする。また、拡散反射光成分画像生成部１４１は、２つの対応画素のうち、輝度値が小さい方を最小輝度値として選択する。そして、拡散反射光成分画像生成部１４１は、選択した最小輝度値を、対応画素と同一位置にある画素（例えば、左上の画素）の輝度値とする。このような処理を、拡散反射光成分画像生成部１４１は、撮像画像１，２内で対応画素を移動させながら、全ての対応画素に前記した処理を繰り返し行って、拡散反射光成分画像を生成する。つまり、拡散反射光成分画像は、撮像画像１，２での対応画素のうち、輝度値が小さい方の画素で構成された画像であり、拡散反射光成分を示す。
【００９６】
鏡面反射光成分画像生成部１４２は、撮像画像１，２での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとの最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成するものである。
【００９７】
この鏡面反射光成分画像生成部１４２は、拡散反射光成分画像生成部１４１と同様、撮像画像１，２で左上に位置する対応画素のうち、輝度値が大きい方を最大輝度値として選択する。また、拡散反射光成分画像生成部１４１は、拡散反射光成分画像生成部１４１が生成した拡散反射光成分画像を参照して、この対応画素の最小輝度値を取得する。そして、拡散反射光成分画像生成部１４１は、選択した最大輝度値と、拡散反射光成分画像から取得した最小輝度値との差分を、対応画素と同一位置にある画素（例えば、左上の画素）の輝度値とする。このような処理を、鏡面反射光成分画像生成部１４２は、撮像画像１，２内で対応画素を移動させながら、全ての対応画素に繰り返し行って、鏡面反射光成分画像を生成する。つまり、鏡面反射光成分画像は、最大輝度値と最小輝度値との差分が輝度値となる画素で構成された画像であり、鏡面反射光成分を示す。
【００９８】
照明方向算出部（光源方向算出部）１４３は、被写体表面の法線方向およびカメラＣの位置から、被写体Ａでの反射光の入射角を算出し、算出した入射角の方向を照明の方向として算出するものである。
【００９９】
ここで、カメラＣの位置と、被写体表面の法線方向とから、反射の法則により、被写体Ａで反射された反射光の出射角が算出できる。言い換えるなら、カメラＣの視線が反射光の出射角から外れるほど、鏡面反射光の強度が極端に小さくなる。このことから、照明方向算出部１４３は、鏡面反射であれば、入射角＝反射角となるので、反射光の入射角が示す方向を、この反射光の元となる光を照射した照明Ｌの方向として算出する。
【０１００】
照明情報生成部（光源情報生成部）１４４は、鏡面反射光成分画像生成部１４２が生成した鏡面反射光成分画像、および、照明方向算出部１４３が算出した照明Ｌの方向に基づいて照明Ｌの光量を算出し、算出した照明Ｌの光量および方向を照明情報として生成するものである。
【０１０１】
＜照明情報生成部による照明情報の生成＞
図１０を参照して、照明情報生成部１４４による照明情報の生成について説明する（適宜図４参照）。
ここで、照明情報生成部１４４は、最小輝度値と最大輝度値との差（＝鏡面反射光成分画像が示す鏡面反射光成分の強度）と、照明Ｌの方向との関係より、被写体表面と照明Ｌの方向のなす線上における照明Ｌの光量を取得できる。計算を簡略化するため、図１０に示すように、ある半径の仮想球Ｖｂを予め設定し、その仮想球面を格子状に予め分割した場合を考える。この場合、照明情報生成部１４４は、各格子頂点に、取得した照明Ｌの光量を対応付けて記憶する。
【０１０２】
このとき、各格子頂点には、被写体表面での反射により、複数の反射光が入射することがある。図１０の例では、格子頂点Ｓｐ１に２本の反射光が入射している。このように、ある格子頂点に複数の反射光が入射した場合、これら反射光のうち、強度が最大となる反射光の入射角が示す方向に照明Ｌが存在する可能性が高くなる。従って、照明情報生成部１４４は、各格子頂点に入射した複数の反射光の中で強度が最大値となるものを、その格子頂点における照明Ｌの光量として選択する。そして、照明情報生成部１４４は、各格子位置における照明Ｌの光量を、ゼロから最大光量までの間で正規化して、照明Ｌの方向と共に照明情報として記憶する。つまり、照明情報は、正規化されることから、相対値で表されることになる。
【０１０３】
この照明情報は、ハイクオリティなＣＧをレンダリングする際、一般的に利用されるＨＤＲ全方位画像と同等なものである。従って、照明情報は、別途ＣＧ部品をレンダリングして撮影中に合成する際、リアリティを向上させる有効な情報となる。
なお、照明情報は、例えば、ホームページ「http://ict.debevec.org/~debevec/Research/HDR/」に詳細に記載されている。
【０１０４】
図４に戻り、画像処理情報生成装置１００の構成について説明を続ける。
反射係数算出部１４５は、照明情報生成部１４４が生成した照明情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を反射特性情報として算出するものである。
【０１０５】
ここで、照明情報生成部１４４までの処理によって、カメラＣの位置（つまり、レンズ１１の主点位置）と、仮想空間における被写体Ａの位置と、被写体表面の法線と、被写体に対する入射光とが既知である。ここで、入射光については仮想球面上に格子状に配列された格子位置に対応している。また、照明Ｌは、指向性を持たず、その格子位置から、全方位に光線を出射していると仮定している。つまり、照明Ｌは、スポットライトなどのような配光特性に偏りがあるものではないと仮定している。
【０１０６】
以上の条件から、反射係数算出部１４５は、反射モデルを適用した最適化処理を行うことで反射特性情報を算出できる。ここで、反射係数算出部１４５は、例えば、Ｐｈｏｎｇモデルを適用したマーカート法によって、鏡面反射係数、拡散反射係数およびＣｏｓ関数の次数を反射特性情報として算出している。
【０１０７】
なお、反射係数算出部１４５は、反射モデルや最適化手法が制限されるものではない。例えば、反射係数算出部１４５は、ＢＲＤＦ（Bidirectional Reflectance Distribution Function）などの反射モデルや、ニュートン法、Ｐｏｗｅｌｌ法、共役勾配法などの最適化手法を用いることも可能である。
【０１０８】
パラメータ設定部１５０は、画像処理情報生成装置１００に必要な設定パラメータが入力され、入力された設定パラメータを画像処理情報生成装置１００の各手段に出力するものである。ここで、例えば、パラメータ設定部１５０は、後記する奥行き抽出範囲に加減算する所定の値が設定パラメータとして入力されるので、この所定の値を奥行き抽出範囲算出部１６０に出力する。
【０１０９】
奥行き抽出範囲算出部１６０は、カメラＣから撮像画像２が入力され、パラメータ設定部１５０から所定の値が入力され、この撮像画像２から顔領域検出処理により顔領域を検出するものである。そして、奥行き抽出範囲算出部１６０は、検出した顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した平均値に所定の値を加減算して奥行き抽出範囲を求める。より具体的には、奥行き抽出範囲算出部１６０は、算出した平均値に所定の値を加算した値を奥行き抽出範囲の上限とし、算出した平均値から所定の値を減算した値を奥行き抽出範囲の下限として算出する。その後、奥行き抽出範囲算出部１６０は、算出した奥行き抽出範囲を被写体領域抽出部１７０に出力する。
なお、奥行き抽出範囲算出部１６０は、例えば、顔領域検出処理として、肌色領域を抽出する手法を利用することができる。
【０１１０】
被写体領域抽出部１７０は、カメラＣから撮像画像２が入力され、奥行き抽出範囲算出部１６０から奥行き抽出範囲が入力され、奥行き情報記憶部１３０が記憶する奥行き情報を参照して、この撮像画像２から、奥行き値が奥行き抽出範囲に含まれる領域を被写体領域として抽出するものである。
【０１１１】
つまり、被写体領域抽出部１７０は、撮像画像２のある画素に対応する奥行き値が、奥行き抽出範囲に含まれるか否かを判定する。そして、被写体領域抽出部１７０は、奥行き値が奥行き抽出範囲に含まれる場合、その画素を被写体領域の画素として抽出する。この処理を、被写体領域抽出部１７０は、撮像画像２の全ての画素に繰り返し行って被写体領域を抽出して出力する。
【０１１２】
以上のように、被写体領域抽出部１７０は、奥行き値から撮像画像２の中で奥行き抽出範囲の奥行き値の領域を選択することで、撮像画像２の特定位置に配置された被写体を切り出すことが可能である。この被写体領域の抽出は、映像制作、特に、映像合成でニーズが高い処理である。
【０１１３】
なお、被写体領域抽出部１７０は、被写体領域の抽出方法が特に制限されない。例えば、画像処理情報生成装置１００は、奥行き値の上限、下限を入力する２つの可変抵抗つまみを備える（不図示）。そして、被写体領域抽出部１７０は、これら可変抵抗つまみが操作されることで、奥行き値の上限、下限を手動で設定してもよい。
【０１１４】
なお、奥行き抽出範囲算出部１６０および被写体領域抽出部１７０は、撮像画像２に対して処理を行ったが、撮像画像１に処理を行ってもよい。この場合、撮像画像１，２の何れを対象とするか、パラメータ設定部１５０にパラメータとして入力してもよい。
【０１１５】
なお、本実施形態では、光源として照明Ｌを説明したが、本発明は、これに限定されない。つまり、本発明では、照明Ｌ以外の自然光（例えば、太陽光）を光源として、その光源情報を求めてもよい。
【０１１６】
なお、本実施形態では、カメラＣが動画で撮像を行い、画像処理情報生成装置１００がこの動画の各フレーム画像を処理することとして説明したが、本発明は、これに限定されない。つまり、カメラＣが静止画で撮像を行い、画像処理情報生成装置１００がこの静止画を処理してもよい。
【０１１７】
［画像処理情報生成装置の動作］
図１１を参照して、図４の画像処理情報生成装置１００の動作について説明する（適宜図４参照）。
ここで、画像処理情報生成装置１００には、撮像画像１，２が入力されていることとする。
【０１１８】
画像処理情報生成装置１００は、視差量算出部１０１によって、対応画素ごとの視差量を算出する（ステップＳ１）。また、画像処理情報生成装置１００は、奥行き値換算部１１０によって、視差量を換算式で対応画素ごとの奥行き値に換算し、被写体表面の法線方向を算出する（ステップＳ２）。
【０１１９】
画像処理情報生成装置１００は、カメラパラメータ算出部１２０によって、最小二乗法などの最適化処理を行ってカメラＣの位置および方向を、カメラパラメータとして算出する（ステップＳ３）。
【０１２０】
画像処理情報生成装置１００は、拡散反射光成分画像生成部１４１によって、撮像画像１，２での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成する（ステップＳ４）。
【０１２１】
画像処理情報生成装置１００は、鏡面反射光成分画像生成部１４２によって、撮像画像１，２での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとの最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成する（ステップＳ５）。
【０１２２】
画像処理情報生成装置１００は、照明方向算出部１４３によって、被写体表面の法線方向およびカメラＣの位置から、被写体での反射光の入射角を算出し、算出した入射角の方向を照明の方向として算出する（ステップＳ６）。
【０１２３】
画像処理情報生成装置１００は、照明情報生成部１４４によって、鏡面反射光成分画像および照明Ｌの方向に基づいて照明Ｌの光量を算出し、算出した照明Ｌの光量および方向を照明情報として生成する（ステップＳ７）。
【０１２４】
画像処理情報生成装置１００は、反射係数算出部１４５によって、照明情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を算出する（ステップＳ８）。
【０１２５】
画像処理情報生成装置１００は、奥行き抽出範囲算出部１６０によって、撮像画像２から顔領域検出処理により顔領域を検出し、検出した顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した平均値に所定の値を加減算して奥行き抽出範囲を求める（ステップＳ９）。
【０１２６】
画像処理情報生成装置１００は、被写体領域抽出部１７０によって、奥行き情報記憶部１３０が記憶する奥行き情報を参照して、撮像画像２から、奥行き値が奥行き抽出範囲に含まれる領域を被写体領域として抽出する（ステップＳ１０）。
【０１２７】
以上のように、本発明の実施形態に係る撮像装置１は、カメラＣが簡素であると共に、このカメラＣが撮像した撮像画像１，２を用いて、奥行き情報、反射特性情報および照明情報をまとめて生成できる。従って、撮像装置１は、奥行き情報、反射特性情報および光源情報ごとに、各情報を生成するための固有の装置を必要とせず、カメラＣの構成を簡易にすることができる。さらに、撮像装置１は、カメラＣで撮像を行う際に、パターン光を被写体に照射する必要がないため、光外乱の多い環境でも利用することができる。
【０１２８】
従来技術では、奥行き情報や反射特性情報を取得するには、大型の計測装置を用いる必要があった。しかし、撮像装置１は、カメラＣを家庭用ハンディカメラ程度に小型化することができる。また、高精度で欠落のない奥行き情報の取得が困難な場合でも、撮像装置１は、画像処理情報生成装置１００によって、映像制作に求められる品質で、被写体領域の切り出すことができる。さらに、撮像装置１は、カメラＣ自体が簡易な構成で動画撮像が可能なため、テレビ番組や映画などの映像制作に適している。
【０１２９】
また、従来技術では、撮像後に、映像合成や照明条件の変更などの映像制作を行うには、多大な労力と、高いスキルとが要求される。これらは、撮像時に映像制作を想定して撮像を行っても、ある程度の労力の低減しか望めない。このため、利用者が映像制作を行うことは稀であり、映像制作のニーズはあるものの、また多大な労力や専門知識の必要性から、映像制作の動機付けが困難な状況である。しかし、撮像装置１は、通常のカメラ撮像と同程度の労力で画像処理情報の生成処理を格段に省力化して、かつ、映像制作の自由度を高めることができる。これによって、撮像装置１は、利用者が、映像制作の専門知識や多大な労力を要することなく、所望の映像制作を行うことができる。言い換えるなら、撮像装置１は、利用者のスキルやセンスに依存することなく、映像制作を可能とする。
【０１３０】
本発明の実施形態に係る撮像装置１について説明したが、本発明は、前記した実施形態に限定されず、種々の変更を加えることができる。以下、本発明の変形例に係る撮像装置１について、第１実施形態と異なる点について説明する。
【０１３１】
（変形例：絶対値で表された照明情報）
図１に示すように、撮像装置１は、撮像のタイミングに合わせて、照明Ｌの点灯および消灯を繰り返す制御を行い、照明点灯時および照明消灯時の照明情報を用いて、相対値で表された照明情報を絶対値に変換する。
【０１３２】
ここで、照明Ｌは、信号ケーブル９Ｌを介して、画像処理情報生成装置１００に接続されている。そして、照明Ｌは、後記する照明制御部１８０から入力される同期信号に応じて、カメラＣの撮像タイミングに同期させて、点灯と消灯とを繰り返す。
【０１３３】
図４の照明制御部（光源制御部）１８０は、照明Ｌを点灯および消灯させるものである。この照明制御部１８０は、照明Ｌの点灯および消灯と、カメラＣの撮像とを同期させる同期信号を一定間隔（例えば、１フレーム秒）で照明ＬおよびカメラＣに出力する。
【０１３４】
つまり、この同期信号が入力されたタイミングで、カメラＣは、撮像を行う。また、この同期信号が入力されたタイミングで、照明Ｌは、点灯していれば消灯し、消灯していれば点灯する。
【０１３５】
反射特性推定部１４０は、カメラパラメータの他、カメラＣから、照明点灯時の撮像画像１，２と、照明消灯時の撮像画像１，２とが入力される。そして、反射特性推定部１４０の各手段は、照明点灯時および照明消灯時の撮像画像１，２のそれぞれに対して、第１実施形態と同様の処理を施す。
【０１３６】
照明情報生成部１４４は、第１実施形態と同様、照明点灯時の照明情報（照明点灯時における照明Ｌの光量および方向）と、照明消灯時の照明情報（照明消灯時における照明Ｌの光量および方向）とを生成する。そして、照明情報生成部１４４は、照明点灯時および照明消灯時の光量から所定の算出式によってスケール（重み）を算出し、算出したスケールを照明消灯時の光量に乗算する。
【０１３７】
＜照明情報生成部による照明情報の変換＞
以下、照明情報生成部１４４による照明情報の変換について、具体的に説明する。
ここで、予め測定した照明Ｌの光量実測値をＩとし、照明Ｌから被写体Ａまでの距離をＬｇとし、被写体表面の法線に対する反射光の入射角をθとし、被写体表面で反射光を反射した反射部分の反射係数をＫｄとする。この入射角θは、照明方向算出部１４３が算出済みのため、既知である。
【０１３８】
また、カメラＣから被写体Ａまでの距離（奥行き情報）が既知である。従って、撮像装置１は、照明Ｌを被写体として撮像して、カメラＣから照明Ｌまでの距離（奥行き情報）を生成することで、カメラＣと被写体Ａと照明Ｌとの位置関係が明らかになり、距離Ｌｇを求めることができる。
【０１３９】
この場合、反射光量Ｉｒは、照明点灯時の輝度と、照明消灯時の輝度との差であり、下記の式（１０）で表すことができる。
【０１４０】
【数１０】
【０１４１】
ここで、照明消灯時の照明情報より、反射部分への照明消灯時の光量をＩｏｍｎｉとする。また、照明点灯時の照明情報より、反射部分への照明点灯時の光量をＩｔｏｔａｌとする。この場合、拡散反射光成分については、照明点灯時の輝度Ｉｏｎと、照明消灯時の輝度Ｉｏｆｆとを、下記の式（１１）で表すことができる。
【０１４２】
【数１１】
【０１４３】
式（１１）に式（１０）を代入して、各項を反射係数Ｋｄで除算すると、下記の式（１２）となる。
【０１４４】
【数１２】
【０１４５】
ここで、被写体表面に直交する法線のベクトルＶＡを（ａｘ，ａｙ，ａｚ）とし、レンズ１１の中心から反射部分への直線のベクトルＶＢを（ｂｘ，ｂｙ，ｂｚ）とすると、入射角θは、ベクトルＶＡ，ＶＢの内積である式（１３）より、下記の式（１４）で表すことができる。なお、ｓｑｒは、平方根を返す関数である。
【０１４６】
【数１３】
【０１４７】
【数１４】
【０１４８】
前記したように、照明情報生成部１４４は、相対値で表された照明情報を生成している。このため、式（１１）の光量Ｉｏｍｎｉ，Ｉｔｏｔａｌには、何らかのスケール（重み）ｓが掛けられていることになる。つまり、式（１２）は、下記の算出式（１５）で表される。
【０１４９】
【数１５】
【０１５０】
ここで、光量Ｉｏｍｎｉ，Ｉｔｏｔａｌと、光量実測値Ｉと、入射角θと、距離Ｌｇとは、既知である。従って、照明情報生成部１４４は、算出式（１５）を解いて、スケールｓの値を求めることができる。そして、照明情報生成部１４４は、このスケールｓを光量Ｉｏｍｎｉに乗算することで、相対値で表された照明情報を絶対値に変換できる。
【０１５１】
このとき、照明Ｌの点灯と消灯との間に時間差があるため、照明点灯時の撮像画像１，２と、照明消灯時の撮像画像１，２との間に位置ずれが生じることがある。従って、照明情報生成部１４４は、照明点灯時の撮像画像１，２と、照明消灯時の撮像画像１，２に対して、ブロックマッチングまたはオプティカルフローを行って、この位置ずれを修正することが好ましい。
なお、本変形例では、例えば、１フレーム秒（つまり、１／３０秒）程度と、その時間差が極めて小さいため、この位置ずれが無いと仮定している。
【０１５２】
また、相対値の照明情報を利用する場合、照明Ｌおよび照明制御部１８０が必要ないため、照明Ｌの着脱や、照明情報生成部１４４による処理の有無を選択可能な構成とすることが好ましい。
なお、照明情報生成部１４４および照明制御部１８０以外、第１実施形態と同様のため、詳細な説明を省略した。
【０１５３】
以上のように、本発明の変形例に係る撮像装置１は、照明情報を絶対値に変換できる。これによって、撮像装置１は、前記した実施形態と同様、光外乱の多い環境でも利用可能で、簡易な構成を実現できる。さらに、撮像装置１は、照明情報が絶対値で表されているため、実際の照明Ｌの明るさを照明情報から知ることができる。さらに、撮像装置１では、この照明情報を用いて別の撮像環境で画像処理を行う際、この別の撮像環境用に照明情報を変換する必要がない。つまり、撮像装置１は、異なる撮影環境間で照明情報を共用する場合でも、この照明情報の整合性を容易に保つことができる。
【０１５４】
なお、実施形態では、本発明に係る撮像装置の画像処理情報生成装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、画像処理情報生成装置の各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【符号の説明】
【０１５５】
１ 撮像装置
１１ レンズ（光透過素子）
１１ａ，１１ｂ 偏光フィルタ（偏光素子）
１２ 偏光ＢＳ（分光素子）
１３ 第１撮像素子
１４ 第２撮像素子
１００ 画像処理情報生成装置
１０１ 視差量算出部
１１０ 奥行き値換算部
１２０ カメラパラメータ算出部（撮像手段位置算出部）
１３０ 奥行き情報記憶部
１４０ 反射特性推定部
１４１ 拡散反射光成分画像生成部
１４２ 鏡面反射光成分画像生成部
１４３ 照明方向算出部（光源方向算出部）
１４４ 照明情報生成部（光源情報生成部）
１４５ 反射係数算出部
１５０ パラメータ設定部
１６０ 奥行き抽出範囲算出部
１７０ 被写体領域抽出部
１８０ 照明制御部
Ｃ カメラ（撮像手段）
Ｌ 照明（光源）
【特許請求の範囲】
【請求項１】
光源で照らされる被写体を撮像して、前記被写体の奥行き値を示す奥行き情報と、前記被写体の反射特性を示す反射特性情報と、前記光源の方向および光量を示す光源情報とを生成する撮像装置であって、
偏光方向が互いに直交する２つの偏光素子からなる光透過素子と、前記偏光素子の一方からの入射光を透過させ、かつ、前記偏光素子の他方からの入射光を反射させる分光素子と、前記分光素子を透過した入射光を撮像する第１撮像素子と、前記分光素子で反射された入射光を撮像する第２撮像素子とを備える撮像手段と、
前記第１撮像素子および前記第２撮像素子で前記被写体を撮像した２つの撮像画像から、前記２つの撮像画像で対応する対応画素ごとの視差量を算出する視差量算出部と、
前記視差量算出部が算出した視差量を、予め設定された換算式で前記対応画素ごとの奥行き値に換算して前記奥行き情報を生成し、注目画素と当該注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する奥行き値換算部と、
前記奥行き値換算部が算出した奥行き値に最適化処理を行って、前記撮像手段の位置を算出する撮像手段位置算出部と、
前記２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、前記対応画素ごとの前記最小輝度値を示す拡散反射光成分画像を生成する拡散反射光成分画像生成部と、
前記２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、前記対応画素ごとの前記最大輝度値と前記最小輝度値との差分を示す鏡面反射光成分画像を生成する鏡面反射光成分画像生成部と、
前記奥行き値換算部が算出した法線方向および前記撮像手段の位置から、前記被写体での反射光の入射角を算出し、算出した当該入射角が示す方向を前記光源の方向として算出する光源方向算出部と、
前記鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および前記光源の方向に基づいて前記光源の光量を算出し、算出した前記光源の光量および方向を前記光源情報として生成する光源情報生成部と、
前記光源情報生成部が生成した光源情報と、前記鏡面反射光成分画像と、前記拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を前記反射特性情報として算出する反射係数算出部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記光源を点灯および消灯させる光源制御部をさらに備え、
前記光源情報生成部は、
光源点灯時および光源消灯時に前記光源の光量をそれぞれ算出し、当該光源点灯時および光源消灯時の光量から所定の算出式によって重みを算出し、算出した当該重みを前記光源消灯時の光量に乗算することで、絶対値で表された前記光源情報を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記２つの撮像画像の一方から、前記対応画素の奥行き値が予め設定された奥行き抽出範囲に含まれる領域を被写体領域として抽出する被写体領域抽出部をさらに備えることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記２つの撮像画像の一方から顔領域検出処理により顔領域を検出し、検出した当該顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した当該平均値に所定の値を加減算して前記奥行き抽出範囲を設定する奥行き抽出範囲算出部をさらに備えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
偏光方向が互いに直交する２つの偏光素子からなる光透過素子と、前記偏光素子の一方からの入射光を透過させ、かつ、前記偏光素子の他方からの入射光を反射させる分光素子と、前記分光素子を透過した入射光を撮像する第１撮像素子と、前記分光素子で反射された入射光を撮像する第２撮像素子とを備える撮像手段により、光源で照らされる被写体を撮像して、前記被写体の奥行き値を示す奥行き情報と、前記被写体の反射特性を示す反射特性情報と、前記光源の方向および光量を示す光源情報とを生成するために、コンピュータを、
前記第１撮像素子および前記第２撮像素子で前記被写体を撮像した２つの撮像画像から、前記２つの撮像画像で対応する対応画素ごとの視差量を算出する視差量算出部、
前記視差量算出部が算出した視差量を、予め設定された換算式で前記対応画素ごとの奥行き値に換算して前記奥行き情報を生成し、注目画素と当該注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する奥行き値換算部、
前記奥行き値換算部が算出した奥行き値に最適化処理を行って、前記撮像手段の位置を算出する撮像手段位置算出部、
前記２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、前記対応画素ごとの前記最小輝度値を示す拡散反射光成分画像を生成する拡散反射光成分画像生成部、
前記２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、前記対応画素ごとの前記最大輝度値と前記最小輝度値との差分を示す鏡面反射光成分画像を生成する鏡面反射光成分画像生成部、
前記奥行き値換算部が算出した法線方向および前記撮像手段の位置から、前記被写体での反射光の入射角を算出し、算出した当該入射角が示す方向を前記光源の方向として算出する光源方向算出部、
前記鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および前記光源の方向に基づいて前記光源の光量を算出し、算出した前記光源の光量および方向を前記光源情報として生成する光源情報生成部、
前記光源情報生成部が生成した光源情報と、前記鏡面反射光成分画像と、前記拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を前記反射特性情報として算出する反射係数算出部、
として機能させるための画像処理情報生成プログラム。
【請求項１】
光源で照らされる被写体を撮像して、前記被写体の奥行き値を示す奥行き情報と、前記被写体の反射特性を示す反射特性情報と、前記光源の方向および光量を示す光源情報とを生成する撮像装置であって、
偏光方向が互いに直交する２つの偏光素子からなる光透過素子と、前記偏光素子の一方からの入射光を透過させ、かつ、前記偏光素子の他方からの入射光を反射させる分光素子と、前記分光素子を透過した入射光を撮像する第１撮像素子と、前記分光素子で反射された入射光を撮像する第２撮像素子とを備える撮像手段と、
前記第１撮像素子および前記第２撮像素子で前記被写体を撮像した２つの撮像画像から、前記２つの撮像画像で対応する対応画素ごとの視差量を算出する視差量算出部と、
前記視差量算出部が算出した視差量を、予め設定された換算式で前記対応画素ごとの奥行き値に換算して前記奥行き情報を生成し、注目画素と当該注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する奥行き値換算部と、
前記奥行き値換算部が算出した奥行き値に最適化処理を行って、前記撮像手段の位置を算出する撮像手段位置算出部と、
前記２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、前記対応画素ごとの前記最小輝度値を示す拡散反射光成分画像を生成する拡散反射光成分画像生成部と、
前記２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、前記対応画素ごとの前記最大輝度値と前記最小輝度値との差分を示す鏡面反射光成分画像を生成する鏡面反射光成分画像生成部と、
前記奥行き値換算部が算出した法線方向および前記撮像手段の位置から、前記被写体での反射光の入射角を算出し、算出した当該入射角が示す方向を前記光源の方向として算出する光源方向算出部と、
前記鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および前記光源の方向に基づいて前記光源の光量を算出し、算出した前記光源の光量および方向を前記光源情報として生成する光源情報生成部と、
前記光源情報生成部が生成した光源情報と、前記鏡面反射光成分画像と、前記拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を前記反射特性情報として算出する反射係数算出部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記光源を点灯および消灯させる光源制御部をさらに備え、
前記光源情報生成部は、
光源点灯時および光源消灯時に前記光源の光量をそれぞれ算出し、当該光源点灯時および光源消灯時の光量から所定の算出式によって重みを算出し、算出した当該重みを前記光源消灯時の光量に乗算することで、絶対値で表された前記光源情報を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記２つの撮像画像の一方から、前記対応画素の奥行き値が予め設定された奥行き抽出範囲に含まれる領域を被写体領域として抽出する被写体領域抽出部をさらに備えることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記２つの撮像画像の一方から顔領域検出処理により顔領域を検出し、検出した当該顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した当該平均値に所定の値を加減算して前記奥行き抽出範囲を設定する奥行き抽出範囲算出部をさらに備えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
偏光方向が互いに直交する２つの偏光素子からなる光透過素子と、前記偏光素子の一方からの入射光を透過させ、かつ、前記偏光素子の他方からの入射光を反射させる分光素子と、前記分光素子を透過した入射光を撮像する第１撮像素子と、前記分光素子で反射された入射光を撮像する第２撮像素子とを備える撮像手段により、光源で照らされる被写体を撮像して、前記被写体の奥行き値を示す奥行き情報と、前記被写体の反射特性を示す反射特性情報と、前記光源の方向および光量を示す光源情報とを生成するために、コンピュータを、
前記第１撮像素子および前記第２撮像素子で前記被写体を撮像した２つの撮像画像から、前記２つの撮像画像で対応する対応画素ごとの視差量を算出する視差量算出部、
前記視差量算出部が算出した視差量を、予め設定された換算式で前記対応画素ごとの奥行き値に換算して前記奥行き情報を生成し、注目画素と当該注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する奥行き値換算部、
前記奥行き値換算部が算出した奥行き値に最適化処理を行って、前記撮像手段の位置を算出する撮像手段位置算出部、
前記２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、前記対応画素ごとの前記最小輝度値を示す拡散反射光成分画像を生成する拡散反射光成分画像生成部、
前記２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、前記対応画素ごとの前記最大輝度値と前記最小輝度値との差分を示す鏡面反射光成分画像を生成する鏡面反射光成分画像生成部、
前記奥行き値換算部が算出した法線方向および前記撮像手段の位置から、前記被写体での反射光の入射角を算出し、算出した当該入射角が示す方向を前記光源の方向として算出する光源方向算出部、
前記鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および前記光源の方向に基づいて前記光源の光量を算出し、算出した前記光源の光量および方向を前記光源情報として生成する光源情報生成部、
前記光源情報生成部が生成した光源情報と、前記鏡面反射光成分画像と、前記拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を前記反射特性情報として算出する反射係数算出部、
として機能させるための画像処理情報生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１７３９１６（Ｐ２０１２−１７３９１６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３４３０９（Ｐ２０１１−３４３０９）
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]