撮像装置及びその制御方法
【課題】撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現する。
【解決手段】撮像対象との距離を計測するための画像を撮像する第１の撮像手段１１０と、第１の撮像手段１１０で撮像された画像に基づくデータを用いて撮像対象までの距離を算出する距離算出手段１３０と、偏光成分を計測するための画像を撮像する第２の撮像手段１２２と、第２の撮像手段１２２で撮像された画像に基づくデータを用いて偏光状態の解析処理を行う偏光解析手段１４０と、距離算出手段１３０で算出された距離に係る距離情報１０３及び偏光解析手段１４０で解析処理された偏光状態に係る偏光解析情報１０５に基づいて、撮像対象の距離画像１０６を生成する距離画像生成手段１５０を備える。
【解決手段】撮像対象との距離を計測するための画像を撮像する第１の撮像手段１１０と、第１の撮像手段１１０で撮像された画像に基づくデータを用いて撮像対象までの距離を算出する距離算出手段１３０と、偏光成分を計測するための画像を撮像する第２の撮像手段１２２と、第２の撮像手段１２２で撮像された画像に基づくデータを用いて偏光状態の解析処理を行う偏光解析手段１４０と、距離算出手段１３０で算出された距離に係る距離情報１０３及び偏光解析手段１４０で解析処理された偏光状態に係る偏光解析情報１０５に基づいて、撮像対象の距離画像１０６を生成する距離画像生成手段１５０を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像対象の距離画像を生成する撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
以下の説明においては、撮像対象までの距離を画素の値として構成される画像のことを「距離画像」と呼ぶ。従来、この距離画像を計測する撮像装置の方式として、複数の方式が知られているが、ここでは計測の際に走査動作を必要とせず、１回の撮影で距離画像を取得する撮像装置とその方式について説明する。
【０００３】
距離画像を取得するための撮像装置として様々な方式が提案されており、例えば、照射した光線が撮像対象で反射して戻るまでの飛行時間（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ：ＴＯＦ）を用いる方式や、複数枚の画像からステレオ法で奥行きを求める方式がある。更には、変調波などのパターン光を投影して奥行きを求める方式や、主光学系によって集光された光を副光学系によって分離して２つの像を結像させ、それぞれの視差から合焦状態を検出する測距センサと呼ばれる方式などがある。この測距センサの方式では、焦点面を基準として相対的な奥行きの情報が取得される。
【０００４】
また、偏光とは、光の振動方向が特定の方向に偏った状態を指す。そして、特定の振動方向の光のみを透過させる偏光光学系を用いることで、光の偏光成分を測定することができる。また、偏光の情報を元に物体（撮像対象）までの距離情報を直接推定することはできないが、偏光状態を解析して偏光方位角を求めることにより物体表面の法線の方位を知ることができる。また、偏光度を求めれば、法線の傾きを推定することができる。また、偏光成分と無偏光成分とを区別して反射光成分を取り除き、距離画像の測定精度を向上させることも可能である。
【０００５】
このような偏光解析によって観測対象の形状を推定する手法は、「Ｓｈａｐｅ ｆｒｏｍ ｐｏｌａｒｉｚａｔｉｏｎ」と呼ばれ、その関連手法が複数提案されている。例えば、下記の非特許文献１では、光沢の多い金属表面に対して偏光解析を行って形状を推定する技術を開示している。また、偏光解析を行うためには、従来は、非特許文献１に示す方法のように、結像光学系の前に線偏光フィルタを配置し、偏光の方向を機械的に回転させて特定の偏光成分のみを透過させ、画像を複数枚撮影する必要があった。また、別の先行技術では液晶偏光フィルタも使われており、この場合は、電気的に偏光の方向を変化させている。これらの方式は、いずれにしても、複数の撮像動作が必要であり、リアルタイム性の点で他の光学測定方式と複合的に利用することが難しい。
【０００６】
これらに対して、下記の特許文献１には、１回の撮影画像のみから偏光解析を行うことができる装置が開示されている。特許文献１に記載の撮像装置は、例えば後述する図３に示すように、受光素子１２３と、受光素子１２３の画素数と同数のアレイ状の偏光子３０１からなる偏光光学系１２２が備わっている。この偏光光学系１２２には、偏光方向が相異なる偏光子（３０１ａ〜３０１ｄ）が規則的に配置されている（図３では、偏光子のうちの一部のみを図示している）。また、偏光子３０１ａ〜３０１ｄに対応する受光素子１２３の画素３０２ａ〜３０２ｄにおいては、それぞれ異なった偏光成分の光が記録されることになる（図３では、受光素子のうちの一部のみを図示している）。このような撮像装置で撮像を行い、所定の画素のみから情報を読み出して画像を再構成すれば、４方向のうちの任意の偏光成分の画像を得ることができる。そして、このような構成を用いることにより、偏光解析に必要な複数方向の偏光成分のデータを１回の撮像で取得することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−８６７２０号公報
【特許文献２】特開２００６−４６９６０号公報
【特許文献３】特開昭５５−１５５３３１号公報
【非特許文献】
【０００８】
【非特許文献１】O. Morel, F. Meriaudeau, C. Stolz and P. Gorria, Polarization imaging applied to 3D inspection of specular metallic surfaces, Machine Vision Applications in Industrial Inspection XIII, Proceedings of SPIE, vol. 5679, pp. 178-186, 2005.
【非特許文献２】M. Bass edit., Handbook of optics Vol.II, Optical Society of America, McGraw-Hill, New York, 1995.
【非特許文献３】B. K. P. Horn and M. J. Brooks, edit., Shape from Shading, The MIT Press, Cambridge, Massachusetts, 1989.
【非特許文献４】S. Geman and D. Geman, Stochastic relaxation, Gibbs distribution, and the Bayesian restoration of images, IEEE Trans. on PAMI, Vol.6, No.6, pp.721-741, 1985.
【非特許文献５】Y. Boykov and G. Funka-Lea. Graph Cuts and Efficient N-D Image Segmentation. International Journal of Computer Vision, vol. 70, no. 2, pp. 109-131, 2006.
【非特許文献６】C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, 1998.
【非特許文献７】P. J. Rousseeuw and A. M. Leroy. Robust Regression and Outlier Detection. John Wiley & Sons, New York, 1987.
【非特許文献８】R.J. Rousseeuw, Least median of squares regression, J. American Stat. Assoc., Vol.79, pp.871-880, 1984.
【非特許文献９】de Bruijn, N. G. "A Combinatorial Problem." Koninklijke Nederlandse Akademie v. Wetenschappen vol. 49, pp. 758-764, 1946.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のいくつかの距離画像の撮影方式においては、計測原理に起因する理由により、特定の条件下で計測精度が低下することがある。
【００１０】
例えば、ＴＯＦを用いる方式では、照射光に近赤外光などが多く用いられるが、拡散反射や多重反射のために、空間解像度が低下することがある。特に、測定対象と床面などとの多重反射によって精度が低下することがあり、この現象は、測定対象に近接して測定したときに顕著に生じる。また、環境中の外光の混入や映り込みも外乱要因となる。
【００１１】
また、ステレオ法は、画像間の相関の高い領域や対応点を求めて三角測量の原理で距離を求める方式である。このため、対応の手掛かりとなる点や線が存在する領域についてしか距離を計測することができず、輝度分布の変化がないか、もしくは緩やかに変化しているような領域では距離を計測できない。また、物体の凹凸面に視差によって遮蔽が生じる場合があるが、このように遮蔽された領域の距離も計測できない。ステレオ法では、このような原因で測定値が欠落することがあり、欠落の生じた領域は何らかの方法で補完する必要がある。
【００１２】
また、パターン光を用いる方式では、ステレオ法と同様に三角測量を原理とするため、パターン光の陰となる領域では距離を計測できない。また、パターン光として空間的に強度を変化させた変調波を使う方式があるが、パターン光に対する反射率が異なる模様などが物体表面に存在する場合、この方式では計測精度が下がる恐れがある。
【００１３】
また、測距センサを用いる方式においては、その特性はステレオ法の方式に準じ、コントラストの低い領域での測定精度が低い。
【００１４】
また、上記の４つのいずれの方式にも共通する特性として、金属面や光沢面などの０次反射光成分のある面の計測は困難であることが挙げられる。
【００１５】
上述したような精度の低下を補うために、複数の距離計測方式で撮影を行い、測定結果を補完して相補的に精度を向上させることが可能である。しかしながら、０次反射光成分に対して精度が低下する点などは各方式間で共通しているため、各方式の組み合わせによる装置の大型化や煩雑さといった短所が増す割に、効果的に外乱を除去できない可能性がある。
【００１６】
本発明は、このような問題点に鑑みてなされたものであり、撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現する撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の撮像装置は、撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出手段と、偏光成分を計測するための画像を撮像する第２の撮像手段と、前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析手段と、前記距離算出手段で算出された距離に係る距離情報と、前記偏光解析手段で解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成手段とを有する。
【００１８】
本発明の撮像装置の制御方法は、撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、偏光成分を計測するための画像を撮像する第２の撮像手段を備える撮像装置の制御方法であって、前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出ステップと、前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析ステップと、前記距離算出ステップで算出された距離に係る距離情報と、前記偏光解析ステップで解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成ステップとを有する。
【発明の効果】
【００１９】
本発明によれば、撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の概要を示し、三次元画像撮像装置の概略構成の一例を示す模式図である。
【図２】本発明の第１の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図３】図２に示す第２の撮像手段の内部の偏光光学系及び第２の受光素子の詳細な構成の一例を示す模式図である。
【図４】本発明の第１の実施形態に係る三次元画像撮像装置の概略構成の他の例を示す模式図である。
【図５】図４に示す第１の撮像手段及び第２の撮像手段の内部の偏光光学系及び受光素子の詳細な構成の一例を示す模式図である。
【図６】撮像対象の物体表面の法線の方位角及び傾きの一例を示す模式図である。
【図７】三次元物体について偏光方位角と偏光度の観測例を示す模式図である。
【図８】計測された距離情報と偏光解析情報とに基づいて、距離画像を生成した結果の一例を示す模式図である。
【図９】撮像対象の物体表面の法線の傾きの一例を示す模式図である。
【図１０】（５）式において、ｎ＝１．６、ｋ=５としたときの偏光度ρと物体表面の法線の傾きφとの関係の一例を示す模式図である。
【図１１】本発明の第１の実施形態を示し、偏光解析手段による偏光解析処理の処理手順の一例を示すフローチャートである。
【図１２】本発明の第１の実施形態を示し、領域分割処理の処理手順の一例を示すフローチャートである。
【図１３】本発明の第１の実施形態を示し、距離画像生成手段による距離情報と表面形状情報との統合処理の処理手順の一例を示すフローチャートである。
【図１４】本発明の第１の実施形態を示し、距離画像生成手段による距離情報と表面形状情報との統合処理の処理手順の他の例を示すフローチャートである。
【図１５】本発明の第２の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図１６】本発明の第２の実施形態を示し、距離算出手段において、パターン光による三角測量の距離算出の原理を説明する模式図である。
【図１７】本発明の第２の実施形態を示し、距離算出手段において、パターン光による距離算出の際の欠落領域の一例を示す模式図である。
【図１８】本発明の第２の実施形態を示し、距離画像生成手段による距離情報と表面形状情報との統合処理の処理手順の一例を示すフローチャートである。
【図１９】本発明の第３の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図２０】本発明の第３の実施形態を示し、測距センサの原理の一例を示す模式図である。
【図２１】本発明の第４の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図２２】本発明の第４の実施形態に係る三次元画像撮像装置の概略構成の他の例を示す模式図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照しながら、本発明を実施するための最良の形態（実施形態）について説明する。なお、以下の説明では、本発明に係る撮像装置として、例えば、三次元の距離計測を行うための距離画像を生成する三次元画像撮像装置を適用した例を説明する。
【００２２】
−本発明の概要−
まず、本発明の具体的な各実施形態を説明する前に、本発明の概要について説明する。
【００２３】
図１は、本発明の概要を示し、三次元画像撮像装置１００の概略構成の一例を示す模式図である。
図１に示す三次元画像撮像装置１００は、第１の撮像手段１１０と、第２の撮像手段１２０と、距離算出手段１３０と、偏光解析手段１４０と、距離画像生成手段１５０を有して構成されている。
【００２４】
第１の撮像手段１１０は、撮像対象からの入力光１０１ａを結像させる第１の結像光学系１１１と、測距用光学系１１２と、第１の受光素子１１３を有して構成され、距離計測のための画像を撮像するものである。
【００２５】
第２の撮像手段１２０は、撮像対象からの入力光１０１ｂを結像させる第２の結像光学系１２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。
【００２６】
距離算出手段１３０は、第１の撮像手段１１０で撮像された画像から得られる計測データ１０２から撮像対象との距離に係る距離情報１０３を算出する。
【００２７】
偏光解析手段１４０は、第２の撮像手段１２０で撮像された画像から得られる偏光成分データ１０４を解析し、解析結果を偏光解析情報１０５として出力する。ここで、偏光成分データ１０４とは、偏光子（例えば、後述する図３の３０１）を通過させて得られる特定の方向に偏光された画像データを指す。また、偏光解析情報１０５とは、偏光成分データ１０４を解析して得られる偏光度や偏光方位角といった偏光に係る二次的な情報を指す。
【００２８】
距離画像生成手段１５０は、距離算出手段１３０で算出された距離情報１０３と、偏光解析手段１４０から出力された偏光解析情報１０５に基づいて、撮像対象との距離を表す距離画像１０６を生成する。
【００２９】
また、本明細書では、便宜的に、従来の距離計測手段によって得られる情報を距離情報と呼び、距離情報と偏光解析情報を統合し、推定して得られる情報のことを距離画像と呼んで区別する。
【００３０】
このように、本発明に係る三次元画像撮像装置１００では、第１の撮像手段１１０で撮像された距離計測のための画像から得られた距離情報１０３と、第２の撮像手段１２０で撮像された偏光成分計測のための画像から得られた偏光解析情報１０５を用いる。即ち、本発明では、距離情報１０３と偏光解析情報１０５という、光学的な特性の異なる２つの情報を統合することにより、測定値の欠落した欠落領域や外乱による誤差が生じている領域を他方の情報で補完するようにするものである。これにより、本発明に係る三次元画像撮像装置１００では、撮像対象の光沢面の測定精度が向上するなど、従来の距離測定方式の測定誤差を低減した距離画像を生成することができる。
【００３１】
即ち、本発明に係る三次元画像撮像装置１００によれば、撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現することができる。
【００３２】
また、第１の撮像手段１１０としては、例えば、光線の飛行時間（ＴＯＦ）を利用した画像を撮像するもの、或いは、パターン光を用いる方式やステレオ方式による距離情報に係る画像を撮像するもの等を適用することができる。なお、第１の撮像手段１１０としては、この様態に限定されるものではなく、距離計測のための画像を撮像するものであればどのような方式のものでも適用可能である。また、第１の撮像手段１１０は、受動的な計測方式でもよく、能動的な計測方式でもよい。
【００３３】
また、第１の受光素子１１３と第２の受光素子１２３を、１つの受光素子のパネルの上に混在させて形成することも可能である。また、一種類の受光素子を用いて距離計測と偏光成分計測とを交互に行うことも可能である。さらに、一種類の受光素子を用いて距離計測と偏光成分計測を同時に行うことも可能である。
【００３４】
また、偏光解析情報１０５としては、例えば、直線偏光の偏光方位角と偏光度の情報を用いることができる。なお、偏光解析情報１０５としては、この直線偏光の情報に限るものではなく、例えば、円偏光成分の情報を用いる態様でもよい。また、本発明に係る三次元画像撮像装置１００では、偏光方位角が撮像対象の物体表面の法線の方位と一致し、偏光度が撮像対象の物体表面の法線の傾きに依存することを利用し、２つの属性から撮像対象の表面形状を復元するようにする。そして、撮像対象の表面形状の復元の際に、例えば距離情報を用いることによって、偏光方位角の曖昧性を排して偏光方位角を一意に決定することを可能とする。
【００３５】
また、偏光解析情報１０５として、偏光成分と無偏光成分の情報を利用し、２つの成分を分離することによって撮像対象の表面の映り込みや反射光成分を取り除く。また、例えば距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）とを比較する。そして、例えば距離画像生成手段１５０は、距離情報１０３と偏光解析情報１０５のどちらか一方に分布の不連続性を生じさせ、他方には影響を及ぼさないような成分を外乱成分として除去する。
【００３６】
また、例えば距離画像生成手段１５０は、距離情報１０３の欠落部分（例えば、図１７に示す欠落領域１７０１）を、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）を用いて補完する。
【００３７】
また、例えば距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）を用いて、距離画像１０６を生成する。この際、例えば、距離情報１０３及び偏光解析情報１０５（例えば撮像対象の表面形状情報）の連続性を正則項として、エネルギー関数を最小化することにより、距離画像１０６を生成する。
【００３８】
また、例えば距離画像生成手段１５０は、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）が、距離情報１０３に適合するように、撮像対象の相対的な高さの推定を行う。また、この際、例えば、偏光解析情報１０５（例えば撮像対象の表面形状情報）を用いて、画像を複数の領域に分割して、領域ごとに距離情報１０３に当該表面形状情報が適合するように撮像対象の相対的な高さの推定を行う。
【００３９】
また、距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）とについて、信頼度の重み付けを行って統合することにより距離画像１０６を生成する。さらに、距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）に基づいて、撮像対象の屈折率を推定する処理も行う。
【００４０】
さらに、本発明に係る三次元画像撮像装置１００では、図１には不図示であるが、距離画像生成手段１５０による計測結果である距離画像１０６を動画として記録する記録手段を有して構成されている。
【００４１】
−本発明の概要を踏まえた具体的な各実施形態−
次に、上述した本発明の概要を踏まえた具体的な各実施形態について説明を行う。
【００４２】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図２は、本発明の第１の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図１に示す構成と同様の構成については同じ符号を付し、また、以下の説明では、図２に示す三次元画像撮像装置１００を三次元画像撮像装置１００−１Ａとして記載する。
【００４３】
図２に示す三次元画像撮像装置１００−１Ａは、第１の撮像手段２１０と、第２の撮像手段２２０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【００４４】
第１の撮像手段２１０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２１３と、第１の受光素子１１３と、投光部２１４と、飛行時間計測部２１５を有して構成され、距離計測のための画像を撮像するものである。
【００４５】
また、第２の撮像手段２２０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。
【００４６】
このように、図２に示す第１の撮像手段２１０及び第２の撮像手段２２０では、結像光学系２１１とビームスプリッタ２１２とが両方に共通して構成されている。即ち、図２に示す三次元画像撮像装置１００−１Ａは、図１に示す第１の結像光学系１１１と第２の結像光学系１２１を１つの結像光学系２１１によって兼ねて構成し、光軸を同一とするものとなっている。
【００４７】
距離計測のための第１の撮像手段２１０としては、例えば、特許文献２などで一般的に用いられているＴＯＦ方式と同様のものを用いるものとする。
【００４８】
図２に示す三次元画像撮像装置１００−１Ａにおいて、距離画像１０６を生成するまでの流れは、以下のようになる。
【００４９】
まず、第１の撮像手段２１０の投光部２１４から撮像対象に対して、変調した照射光２０１を投光する。そして、撮像対象から反射して戻ってきた入力光ａ及びｂ（１０１ａ及び１０１ｂ）を結像光学系２１１で集光し、ビームスプリッタ２１２で分割してその一部の光を距離測定のための第１の撮像手段２１０の内部に導く。
【００５０】
第１の撮像手段２１０の内部に導かれた光は、照射光２０１の帯域のみ通過させるフィルタ２１３に通された後に、第１の受光素子１１３に結像する。飛行時間計測部２１５は、投光部２１４からの参照波形２０２と、第１の受光素子１１３で受光した光の変調波形２０３とを第１の受光素子１１３の画素ごとに比較し、照射光２０１が撮像対象に到達して当該撮像装置に戻るまでの飛行時間情報２０４を算出する。その後、距離算出手段１３０は、飛行時間情報２０４から撮像対象との距離に係る距離情報１０３を算出する。
【００５１】
なお、照射光２０１の波長は、一般的に用いられる撮像素子（受光素子）に感受性があって人間には感受性のない近赤外光が望ましいが、他の波長やレーザー光でもよいし、複数の波長を組み合わせたものでもよい。また、変調の方法としては、強度を変調した光を用いてもよいし、周波数変調した光を用いてもよいし、パルス変調した光を用いてもよい。
【００５２】
ビームスプリッタ２１２は、一定の割合の光を偏光成分計測のための第２の撮像手段２２０の内部に導く。ここで、ビームスプリッタ２１２として、無偏光ビームスプリッタを用い、透過前と透過後で偏光状態が変わらないことが望ましい。
【００５３】
第２の撮像手段２２０の内部に導かれた光は、フィルタ２２１によって照射光２０１に由来する入力光ａ（１０１ａ）の帯域が遮断され、主に環境光に由来する入力光ｂ（１０１ｂ）がフィルタ２２１を通過する。
【００５４】
図３は、図２に示す第２の撮像手段２２０の内部の偏光光学系１２２及び第２の受光素子１２３の詳細な構成の一例を示す模式図である。
【００５５】
図３に示すように、偏光光学系１２２には、偏光の方位の異なる微小領域である複数の直線偏光の偏光子３０１がアレイ状に配接されている。図３に示す例では、受光素子１２３の４画素（３０２ａ〜３０３ｄ）を１ブロック単位とし、この１ブロック単位に、それぞれ、０度、４５度、９０度、１３５度の偏光方位の異なる４種の直線偏光子３０１ａ〜３０１ｄが設けられている。このように、特定の方向の偏光子３０１に対応する画素３０２のみから信号を読み出すことで、４種類のうちの任意の一種類の偏光成分の画像を得ることができる。なお、偏光光学系１２２における偏光子アレイの配列の規則は、図３に示すものに限定されるものではなく、他の配列であっても、また規則性のないものでもよく、その場合には偏光成分の画像（偏光画像）に干渉縞が生じるのを防ぐ効果がある。また、後述する偏光解析を行うためには、一般に３方向以上の異なる種類の偏光子３０１があればよい。
【００５６】
続いて、偏光解析手段１４０は、第２の撮像手段２２０でこのようにして得られた偏光成分データ１０４に基づいて、偏光状態の解析処理を行って、解析結果を偏光解析情報１０５として出力する。形状復元手段２３０は、偏光解析手段１４０から出力された偏光解析情報１０５に基づいて、撮像対象の表面形状の復元処理を行って、復元処理結果を表面形状情報２０５として出力する。そして、距離画像生成手段１５０は、距離算出手段１３０で算出された距離情報１０３と、形状復元手段２３０から出力された表面形状情報２０５に基づいて、これらを統合して、撮像対象との距離を表す距離画像１０６を生成する。
【００５７】
図４は、本発明の第１の実施形態に係る三次元画像撮像装置１００の概略構成の他の例を示す模式図である。なお、図１及び図２に示す構成と同様の構成については同じ符号を付し、また、以下の説明では、図４に示す三次元画像撮像装置１００を三次元画像撮像装置１００−１Ｂとして記載する。
【００５８】
図４に示す三次元画像撮像装置１００−１Ｂでは、図２に示すビームスプリッタ２１２（更にはフィルタ）を設けずに、距離計測用の第１の撮像手段４１０と偏光成分計測の第２の撮像手段４２０との光路を完全に同一とする構成である。
【００５９】
即ち、第１の撮像手段４１０は、結像光学系２１１、偏光光学系４２１、受光素子４２２、投光部２１４及び飛行時間計測部２１５を有して構成され、第２の撮像手段４２０は、結像光学系２１１、偏光光学系４２１及び受光素子４２２を有して構成されている。その他の構成は、図２に示す三次元画像撮像装置１００−１Ａと同様である。
【００６０】
図５は、図４に示す第１の撮像手段４１０及び第２の撮像手段４２０の内部の偏光光学系４２１及び受光素子４２２の詳細な構成の一例を示す模式図である。
図４に示す三次元画像撮像装置１００−１Ｂの場合には、例えば、図５（ａ）に示すような偏光光学系４２１及び受光素子４２２の態様を採る。図５（ａ）に示す態様では、偏光成分の画素５０２（５０２ａ〜５０２ｄ）と、飛行時間を計測する測距用の画素５０３とが、受光素子４２２の同一面上に、一定の規則で配列されて混在している。ここで、偏光成分の画素５０２（５０２ａ〜５０２ｄ）と測距用の画素５０３とは、複数存在するうちの一組のみを図５（ａ）中に指し示している。偏光成分の画素５０２ａ〜５０２ｄは、それぞれ、偏光光学系４２１の偏光子５０１ａ〜５０１ｄを通過した入力光を受光する。また、測距用の画素５０３は、偏光成分の画素５０２ａ〜５０２ｄの中心の位置に配置され、偏光子５０１ａ〜５０１ｄを通過した入力光を均等に受光する。図５（ａ）に示す態様では、各画素当たりの受光量は低下するが、１つの受光素子４２２を設けるだけでよく、装置を小型化できる効果がある。
【００６１】
また、図４に示す三次元画像撮像装置１００−１Ｂの場合には、例えば、図５（ｂ）に示すような偏光光学系４２１及び受光素子４２２の別の態様を採ることもできる。
図５（ｂ）に示す態様では、偏光光学系４２１が偏光子５１１ａ〜５１１ｃ及び測距用の光学素子５１２からなり、それに対応して、受光素子４２２が偏光成分の画素５１３ａ〜５１３ｃ及び測距用の画素５１４が構成されている。ここで、偏光成分の画素５１３（５１３ａ〜５１３ｄ）と測距用の画素５１４とは、複数存在するうちの一組のみを図５（ｂ）中に指し示している。
【００６２】
図５（ｂ）に示す態様では、偏光子５１１ａ〜５１１ｃを通る入力光は、偏光子で偏光されて、それぞれ、偏光成分の画素５１３ａ〜５１３ｄで受光される。また、残りの入力光は、測距用の光学素子５１２を通過して偏光されずに、測距用の画素５１４で受光される。測距用の光学素子５１２は、測距用の照射光の帯域のみを通すフィルタであってもよいし、単なる空隙でもよい。なお、図５（ｂ）に示す様態における偏光子５１１は、３方向のみであるが、偏光解析は３方向の偏光成分があれば行うことが可能である。
【００６３】
また、図４に示す三次元画像撮像装置１００−１Ｂにおいては、飛行時間の計測と偏光成分の計測の両方を一種類の受光素子４２２で行うものである。例えば、両者の計測を異なるタイミングで交互に行うことができる。この場合、例えば、最初の１フレームの撮影では、強度や周波数を変調した照射光２０１を撮像対象に投光して受光素子４２２で受光する。飛行時間計測部２１５は、受光素子の画素ごとに、受光素子４２２で計測された変調波形４０１と参照波形２０２との位相差を比較して、飛行時間情報２０４を算出する。そして、距離算出手段１３０は、飛行時間情報２０４から、受光素子の画素ごとに撮像対象までの距離に係る距離情報１０３を算出する。この最初の１フレームでは、偏光光学系４２１のどの偏光子を通過した変調光も区別なく扱う。そして、次の１フレームでは、投光部２１４による照射光２０１の照明は行わず、環境光を用いて偏光光学系４２１を通過した偏光成分を受光素子４２２で受光し、偏光解析手段１４０によって偏光の解析を行う。以上のようにして、計測動作を交互に繰り返して行うことで、一種類の受光素子４２２で飛行時間の計測と偏光成分の計測が可能である。
【００６４】
また、飛行時間の計測と偏光成分の計測の両方を一種類の受光素子４２２で同時に行うこともできる。この場合、変調した照射光２０１を撮像対象に投光して、その入力光を受光素子４２２で受光する。受光素子４２２で計測した信号は偏光方向の区別をせずに変調波形４０１として飛行時間計測部２１５に送られ、飛行時間計測部２１５において、この変調波形４０１と参照波形２０２とを比較して、飛行時間情報２０４を算出する。そして、距離算出手段１３０は、飛行時間情報２０４から撮像対象までの距離に係る距離情報１０３を算出する。また、同時に、受光素子４２２から変調波形４０１を偏光成分データとして偏光解析手段１４０に送る。この際、偏光解析手段１４０の内部に、波形積分器（図４では不図示）を設けておき、偏光解析手段１４０では、受光素子４２２の画素ごとに、変調波形４０１の単位時間の平均値を算出し、算出した値を元に、後述する偏光解析を行う。このように、飛行時間の計測と偏光成分の計測を同時に行うことで、撮像対象及び三次元画像撮像装置１００−１Ｂの動きやずれによる誤差を低減する効果が得られる。
【００６５】
次に、距離情報１０３と偏光成分データ１０４とを統合して、距離画像１０６を生成するまでの手順について詳細に説明する。
【００６６】
＜距離情報の取得＞
ＴＯＦ方式における距離算出手段１３０によって得られた距離情報１０３の分布をＤ（ｘ，ｙ）とする。Ｄには、散乱や多重反射による誤差が含まれている。なお、計算の便宜上、観測中の最大距離Ｄmaxを用いてＤ´を以下の（１）式と定義する。
【００６７】
【数１】
【００６８】
以降、このＤの符号の反転したＤ´を距離情報Ｄとして用いる。
【００６９】
＜偏光解析＞
ここでは、偏光解析を行って撮像対象の表面形状を推定する手順について述べる。
まず、偏光解析手段１４０は、偏光成分データ１０４の偏光解析により、偏光方位角と偏光度を求める。この偏光方位角と偏光度を求める方法としては、いくつか知られているが、本実施形態では、４方向の偏光成分データを用いた一般的な方法について説明する。
【００７０】
まず、偏光解析手段１４０は、計測された偏光成分データ１０４を受光素子の種類ごとにまとめることにより、４枚の偏光成分画像を生成する。この偏光成分画像は、それぞれ直線偏光の方位が０度、４５度、９０度、１３５度の偏光成分の強度の分布画像であり、この分布をＰ0（ｘ，ｙ）、Ｐ45（ｘ，ｙ）、Ｐ90（ｘ，ｙ）、Ｐ135（ｘ，ｙ）とする。ここで、距離情報１０３のＤ（ｘ，ｙ）と、Ｐi（ｘ，ｙ）とを比べたときに、どちらかのデータ点列が他方に対して疎であるときは、線形補完を行ってデータ点列が同数となるようにしておく。
【００７１】
＜偏光方位角の算出＞
次に、下記の（２）式によって偏光方位角θを求める。ここで、詳細は、例えば、非特許文献１及び非特許文献２による方法を用いることができる。
【００７２】
【数２】
【００７３】
計測誤差が無ければ、偏光方位角θは、計測面の法線の方位と一致する。
図６は、撮像対象の物体表面の法線の方位角及び傾きの一例を示す模式図である。
ここで、計測面の法線の方位というのは、図６（ａ）に示すように、撮像対象６０２ａの表面の法線ｎを三次元画像撮像装置１００の結像面６０１ａに透視投影したときの結像面上のｎ´の方位角θである。
【００７４】
図７は、三次元物体について偏光方位角と偏光度の観測例を示す模式図である。また、図８は、計測された距離情報１０３と偏光解析情報１０５とに基づいて、距離画像１０６を生成した結果の一例を示す模式図である。
【００７５】
ここで、三次元物体について偏光方位角を観測した観測例を図７（ａ）に示す。ここでは、偏光方位角を画像の輝度で表示している。なお、図７（ａ）は、図８（ａ）で示される形状の物体を直上から観測した例である。
【００７６】
なお、一般に光源などの映り込みや光沢反射は、距離画像１０６の計測において誤差を起こす要因の１つであるが、偏光方位角の情報には、ほとんど影響を与えない特性がある。そのため、偏光方位角を用いれば、映り込みや反射に影響されずに表面の法線の方位を計測することが可能である。
【００７７】
＜偏光度の算出＞
次に、下記の（３）式によって偏光度ρ（直線偏光度）を求める。ここで、詳細は、例えば、非特許文献２による方法を用いることができる。
【００７８】
【数３】
【００７９】
ここで、偏光度の観測例を図７（ｂ）に示す。ここでは、偏光度の大きさを画像の輝度で表示している。
【００８０】
＜傾斜角の推定＞
図９は、撮像対象の物体表面の法線の傾きの一例を示す模式図である。
図６（ｂ）と図９に図示するように、観測面の法線の傾きをφと定める。このとき、観測面の法線の傾きφと偏光度ρの間には、以下の（４）式に示す関係があることが知られている。
【００８１】
【数４】
【００８２】
ただし、（４）式のｎは、撮像対象の表面の素材の屈折率である。撮像対象が非透明物体の場合、屈折率ｎではなく複素屈折率ｎ＾＝ｎ−ｉｋを用いる必要がある。ここでｋは、減衰係数である。もし複素屈折率が充分に大きく、｜ｎ＾｜2＝ｎ2＋ｋ2＞＞１と見なせるときは、以下の（５）式に示す、性質のよい近似式が存在することが、例えば非特許文献１で示されている。
【００８３】
【数５】
【００８４】
図１０は、（５）式において、ｎ＝１．６、ｋ=５としたときの偏光度ρと物体表面の法線の傾きφとの関係の一例を示す模式図である。
撮像手段に対して物体の表面が正対しているとき（撮像手段の撮像面と観測面が並行に位置し、観測面の法線と撮像手段の光軸とが一致しているとき）の偏光度は、ρ（０）＝０である。そして、観測面の傾斜角φの増加と共に偏光度ρは増加する。偏光度ρは、ある角度で最大値に達した後に減少して９０度でρ（９０）＝０に至る。上記最大値の角度φ0のことをブリュースター角と呼ぶ。一般に、偏光度ρに対する傾斜角φは、図１０に示すように二価の関数であり、一意に決まらずに、１つのρに対してφ+とφ-の２つの値が対応する。
【００８５】
＜表面形状の復元＞
次に、以下に、偏光解析結果から撮像対象の表面形状を推定する方法を述べる。
一般に、事前に撮像対象の観測表面の複素屈折率を知ることはできないため、適当な値を推定して複素屈折率の値として代表する。ここでは、例えば、ｎ＝１．６、ｋ=５とおく。このときのブリュースター角φ0は、７９．３９である。なお、後述するように、距離情報Ｄと偏光度ρから、屈折率の光学パラメーターｎ、ｋを推定する方法も考えられる。また、二価関数の多価性を回避するために、偏光度を下記の（６）式のように近似して一価の関数とする。
【００８６】
【数６】
【００８７】
ここで（６）式において、αは適当な正の係数である。次に、逆関数ρ-1を数値的に解いて参照テーブルを用意する。これによって任意の偏光度ρに対する物体表面の法線の傾きφを算出可能にする。
【００８８】
続いて、物体表面のｘ方向とｙ方向の傾きを（ｖ，ｗ）とすると、法線の傾きφと法線の方位θから、下記の（７）式を計算することができる。
【００８９】
【数７】
【００９０】
正負の符合があるのは、方位θにおいて法線がとりうる方向には１方向あり、一意には決まらないからである。ただし、これは、距離情報の勾配Ｄx（ｘ，ｙ），Ｄy（ｘ，ｙ）の符合から容易にどちらかに決定できる。もしくは、（Ｄx,Ｄy）と（ｖ，ｗ）の内積を計算し、その符号から決定してもよい。このように法線の方位θの推定の曖昧性をなくすことができるのは、距離情報１０３と偏光解析情報１０５の両方を扱う本実施形態に係る三次元画像撮像装置１００の利点の１つである。
【００９１】
続いて、受光素子の画素ごとに得られている（ｖ，ｗ）の値から撮像対象の全体としての表面の形状を推定する。
【００９２】
（ｖ，ｗ）を画像の全領域で積分することで、撮像対象の相対的な高さの分布Ｈ（ｘ，ｙ）を復元することができるが、この方法ではノイズに対して弱いので、以下の（８）式に示すエネルギー関数を最小化するような分布を求めてＨ（ｘ，ｙ）とする。
【００９３】
【数８】
【００９４】
（８）式に示すエネルギー関数を最小化する方法として、以下の（９）式を用いた緩和法による解法が知られている（詳細は、例えば、非特許文献３を参照）。
【００９５】
【数９】
【００９６】
これを一定回数もしくは値が収束するまで計算してＨ（ｘ，ｙ）を得る。以上が、偏光解析による表面形状の推定になる。
【００９７】
図１１は、本発明の第１の実施形態を示し、偏光解析手段１４０による偏光解析処理の処理手順の一例を示すフローチャートである。
【００９８】
偏光解析手段１４０は、上述したように、以下のステップＳ１０１〜Ｓ１０４を行う。
まず、ステップＳ１０１において、偏光成分データ１０４から、偏光度ρ（ｘ，ｙ）と偏光方位角θ（ｘ，ｙ）を求める。続いて、ステップＳ１０２において、関数ρ（φ）を利用して偏光度ρから観測面の法線の傾きφを求める。続いて、ステップＳ１０３において、求めた観測面の法線の傾きφと偏光方位角θから、物体表面のｘ方向とｙ方向の傾きである（ｖ，ｗ）を求める。続いて、ステップＳ１０４において、（ｖ，ｗ）から緩和法により観測対象の相対的な高さの分布Ｈ（ｘ，ｙ）を求める。
【００９９】
なお、法線の傾きφと偏光度ρについては、前述したように、一価関数で近似することなく、例えば、二価の関数を用いて形状を復元する方法も考えられる。例えば、上述した（８）式の緩和法の計算中に、下記の（１０）式のような関数の最小化も行ってＨの値を逐次更新するようにしてもよい。
【０１００】
【数１０】
【０１０１】
ただし、（１０）式におけるφ-、φ+は、偏光度ρに対応する二価の観測表面の法線の傾きである。Ｈ（φ-），Ｈ（φ+）は、それぞれ法線の角度をφ+として求めたときの高さＨと、法線の角度をφ-として求めたときの高さＨを示す。
【０１０２】
＜距離情報と偏光解析情報の統合＞
次に、偏光解析によって得られた相対的な高さの分布、即ち、物体の表面形状情報であるＨ（ｘ，ｙ）と、距離情報Ｄ（ｘ，ｙ）とを統合する方法について述べる。
【０１０３】
＜外乱成分の除去＞
例えば距離画像生成手段１５０は、光沢面などを測定する際に、距離情報１０３に０次反射成分などに由来する外れ値が混入することがあるため、まず、これを除去する。この場合、偏光方位角θの情報については、反射成分の影響が小さいので、距離情報１０３にのみ不連続性が現れ、偏光方位角θは連続的である。この性質を利用し、ここでは、例えば、非特許文献４に記載のＧｅｒｍａｎらの線過程を利用した方法により外乱成分を除く方法を述べる。
【０１０４】
一例として、エネルギー関数を下記の（１１）式のように置く。
【０１０５】
【数１１】
【０１０６】
ここで、式（１１）のＤ^は、Ｄから外乱成分を除いた距離の推定値である。また、ｌ＝｛０，１｝で、これは画素が外乱成分のときは１を、外乱成分でないときは０をとるような不連続性を表す状態変数である。また、λ1，λ2，λ3は各正則項の正の係数である。正則項は、それぞれ左から、推定値Ｄ^がＤと同一になるようにする項、表面形状が滑らかなときに外乱と判別しやすくする項、外乱と判別する頻度を抑える項である。なお、∇2は、ラプラシアン作用素であり、二階微分値を用いて、下記の（１２）式と定義する。
【０１０７】
【数１２】
【０１０８】
また、この（１２）式を最小化するには、状態変数１を連続関数として、下記の（１３）式のように近似する。
【０１０９】
【数１３】
【０１１０】
そして、下記の（１４）式及び（１５）式のようにｕとＤ^の動作式を定め、繰り返し計算を行ってエネルギー最小値を与えるｕおよび距離Ｄ^を求める。
【０１１１】
【数１４】
【０１１２】
ただし、ηは動作式の速度を決める係数、τはシグモイド連続関数の係数であり、それぞれ適当な値を決める。また、より簡易で計算コストの低い他の方法の一例として、以下のような方法も挙げられる。Ｄ（ｘ，ｙ）とＨ（ｘ，ｙ）の二階微分値を用いて、下記の（１６）式のように画素ごとのエネルギー関数を定義する。
【０１１３】
【数１５】
【０１１４】
そして、このエネルギー関数の値を、下記の（１７）式に示す閾値δと比較して外乱か否かを判定する。
【０１１５】
【数１６】
【０１１６】
そして、外乱と判別された領域を除去し、周囲の画素情報の中央値で充填（補完）する。もしくは、周囲の画素情報を用いて線形補完を行ってもよい。なお、表面形状情報Ｈが外乱により誤差を含み、距離情報Ｄは、外乱による影響を受けないような状況にも対応できるように、判別関数を下記の（１８）式のようにしてもよい。
【０１１７】
【数１７】
【０１１８】
（１８）式は、ＤもしくはＨのどちらか一方に不連続値があり、他方が滑らかであった場合に大きな値を取る関数である。
【０１１９】
＜領域分割＞
一般に、三次元画像撮像装置１００から見えない鉛直及び鉛直以上の傾きの面については、偏光解析を行うことができない。このため、偏光解析によって復元される表面形状情報Ｈは、図８（ｃ）のように、物体間の高低差の無い表面形状のみを表すような情報となっている。そこで、距離画像生成手段１５０では、画像中の領域を分割し、領域ごとに表面形状情報２０５と距離情報１０３の統合を行うことで表面形状Ｈの高さの補正を行う。
【０１２０】
この際、領域分割は、ＨおよびＤの不連続点で分割するのが望ましい。領域分割の方法には多数の方法があるが、１つの例として、例えば、非特許文献５に示すようなグラフカット法を用いることが挙げられる。
【０１２１】
グラフカット法は、最大流量最小カット問題を解くことによって、領域を分割する方法である。グラフカット法では、画素ｉと画素ｊをグラフのノードとしてノード間の辺の重みを定義する必要がある。例えば、ノードｉとノードｊとの間の辺の重みを画素間の高低差及び画素間の空間距離を用いて、下記の（１９）式のように定義する。
【０１２２】
【数１８】
【０１２３】
なお、（１９）式に示すλ1とλ2は、適当な係数である。また、ｄｉｓｔ（ｉ，ｊ）は、画素ｉと画素ｊの空間的な距離であり、例えば、画素間のユークリッド距離とする。これに基づいて、グラフカット法で解けば全体として高低差の大きな境界で領域が切断されるようなセグメンテーションが実行される。
【０１２４】
図１２は、本発明の第１の実施形態を示し、領域分割処理の処理手順の一例を示すフローチャートである。例えば、距離画像生成手段１５０は、以下のステップＳ２０１〜Ｓ２０５に係る領域分割処理を行う。
【０１２５】
まず、ステップＳ２０１において、最も距離の遠い画素とその周辺領域（近傍領域）を背景領域のシードとする。続いて、ステップＳ２０２において、未分割の画素領域のうち、最も距離の近い画素とその近傍を前景領域のシードとしてセグメンテーションを行う。続いて、ステップＳ２０３において、グラフカットアルゴリズムによって、背景領域と前景領域とを分割する。続いて、ステップＳ２０４において、前景領域として分割された領域をｉ番目の領域として記憶して、画像からその領域を除外する。続いて、ステップＳ２０５において、全ての画素の領域が分割されたか否かを判断し、全ての画素の領域については分割されていない場合には、ｉ←ｉ＋１として、ステップＳ２０２に戻り、ステップＳ２０２以降の処理を再度行う。一方、ステップＳ２０５の判断の結果、全ての画素の領域が分割された場合には、図１２に示すフローチャートの処理を終了する。
【０１２６】
また、他の領域分割手法の例としては、外乱成分の除去で上述した線過程を用いる方法でもよい。またグラフカットの代わりに、例えば、非特許文献６に示すバイラテラルフィルタを複数回適応して距離情報Ｄを量子化する方法でもよい。
【０１２７】
＜表面形状情報に対する高さの補正＞
本実施形態に係る三次元画像撮像装置１００−１Ａ及び１００−１Ｂの場合、上述したような方法で分割された領域Ｄ＝｛Ｄ1，Ｄ2，…，Ｄn｝ごとに領域の平均的な高さを求める。一例として領域の中央値を用いる。Ｈについても同様に、各領域Ｈ＝｛Ｈ1，Ｈ2，…，Ｈn｝について領域ごとに中央値を計算する。これらを用いて高さを補正した領域ｉの表面形状Ｈ〜i（ｘ，ｙ）を下記の（２０）式を用いて求める。
【０１２８】
【数１９】
【０１２９】
これを全ての領域Ｈについて行う。ただし、ｍｅｄは中央値をとることを意味する。以上の計算により、絶対的な高さ情報を含んでいないＨ（ｘ，ｙ）から高さの情報が付与されたＨ〜i（ｘ，ｙ）が得られる。
【０１３０】
なお、ここでは領域の中央値を用いて高さの補正を行ったが、例えば、非特許文献７に示すロバスト推定のＭ−ｅｓｔｉｍａｔｏｒの手法を用いて、下記の（２１）式のエネルギー関数を最小化するようなフィッティングを行ってもよい。
【０１３１】
【数２０】
【０１３２】
ここで、（２１）式のｑ（ｅ）は、ｅ＝０で唯一の最小値を持つ正定値偶関数である。もし、ｑ（ｅ）＝ｅ2ならば、（２１）式は、最小二乗法と等しくなる。関数ｑとして、例えば、下記の（２２）式を用いれば、フィッティングにおいて外れ値の影響を低減させることができる。
【０１３３】
【数２１】
【０１３４】
ここで、（２２）式のｋは定数である。また、関数ｑについて、エネルギー関数を最小とするｈiが解析的に求められる場合は求める。一方、エネルギー関数を最小とするｈiが解析的に求められない場合は、下記の（２３）式を用いて、微分動作式の繰り返し計算によってエネルギー関数の最小化を行ってｈiを求める。ここで、ηは適当な係数である。
【０１３５】
【数２２】
【０１３６】
＜距離情報と表面形状情報の統合＞
次に、距離画像生成手段１５０は、距離情報Ｄ（１０３）と高さ補正後の表面形状情報Ｈ〜（２０５）の統合を行う。この際、例えば、非特許文献７に示すロバスト推定のＭ−ｅｓｔｉｍａｔｏｒの方法を用いて、画像上の各点ごとに、下記の（２４）式に示すエネルギー関数の最小値を与えるような推定値Ｄ^を求める。
【０１３７】
【数２３】
【０１３８】
ただし、（２４）式のｑは上述の正定値偶関数である。また、エネルギー関数の最小化の方法は、上述した方法と同じである。また、関数ｇは、Ｄ^の不連続性を抑制する正則項である。関数ｇの例としては、下記の（２５）式が考えられる。
【０１３９】
【数２４】
【０１４０】
また、例えば、関数ｇの例としては、下記の（２６）式も考えられる。
【０１４１】
【数２５】
【０１４２】
なお、ここで用いたロバスト推定の方法以外の態様の例としては、最小二乗誤差を用いて求めてもよい。また、別の態様の例としては、単純に距離情報Ｄと表面形状情報Ｈ〜の幾何平均もしくは算術平均の結果を距離の推定値Ｄ^としてもよい。また、別の態様の例としては、表面形状情報Ｈ〜の値をそのまま距離の推定値Ｄ^としてもよい。また、別の態様の例としては、距離情報Ｄと表面形状情報Ｈ〜を信頼度で重みづけした平均値を距離の推定値Ｄ^としてもよい。ここで、信頼度としては、例えば、距離情報の連続性を用いて、連続性の高い側の値に高い信頼度の重みを与えてもよい。一例として、下記の（２７）式のようになる。
【０１４３】
【数２６】
【０１４４】
以上のような方法によって、距離画像生成手段１５０は、推定したＤ^を距離画像１０６として出力する。上述したように、生成された距離画像１０６の一例は、図８に示されている。図８（ａ）は、撮像対象の元の三次元形状であり、図８（ｂ）は、ＴＯＦによって計測された距離情報Ｄ（１０３）、図８（ｃ）は、偏光解析によって得られた表面形状情報Ｈ（２０５）である。また、図８（ｄ）は、外乱の除去と領域分割を行い、領域ごとに表面形状情報Ｈの高さを推定してＨ〜を求めた後に、距離情報Ｄと表面形状情報Ｈを統合して復元された距離画像である。この図８（ｄ）では、図８（ｂ）に示す距離情報Ｄにあるような誤差や外乱が除去され、表面形状が復元されていることがわかる。
【０１４５】
図１３は、本発明の第１の実施形態を示し、距離画像生成手段１５０による距離情報Ｄ（１０３）と表面形状情報Ｈ（２０５）との統合処理の処理手順の一例を示すフローチャートである。
【０１４６】
距離画像生成手段１５０は、上述したように、以下のステップＳ３０１〜Ｓ３０４を行う。
まず、ステップＳ３０１において、線過程を用いて、距離情報Ｄの外乱を除く。続いて、ステップＳ３０２において、距離情報Ｄと表面形状情報Ｈの不連続点で領域を分割する。続いて、ステップＳ３０３において、領域ごとに、表面形状情報Ｈを距離情報Ｄにフィッティングさせる。続いて、ステップＳ３０４において、例えば、ロバスト推定により、表面形状情報Ｈと距離情報Ｄの両方にフィットする値を求めて、これを統合結果（即ち、距離画像１０６）とする。
【０１４７】
＜領域分割を行わない形状の統合＞
距離情報Ｄ（１０３）を推定する方法において、より計算コストの少ない派生的な別の一態様として、領域分割を行わない方法について以下に説明する。ここでは、外乱成分の除去の方法として、（１１）式〜（１５）式にかけて示した線過程と同じ枠組みを用いる。
【０１４８】
まず、距離情報Ｄ（ｘ，ｙ）と表面形状情報Ｈ（ｘ，ｙ）をフィッティングし、高さの差ｈ（ｘ，ｙ）を求める。ここで、画素が不連続な境界に位置するか否かを示す状態変数をｌ（ｘ，ｙ）とする。ｈ（ｘ，ｙ）が滑らかな値を採るときには、低いエネルギーの値を与え、不連続な境界を跨ぐ時は滑らかさの制約をキャンセルする。さらに、不連続点と見なされる画素は、なるべく少なくするような制約を置く。一例として、エネルギー関数を下記の（２８）式のように定義する。
【０１４９】
【数２７】
【０１５０】
なお、（２８）式のλ1、λ2、λ3は、各正則項の正の係数である。これを最小化するパラメーターｈ（ｘ，ｙ）とｌ（ｘ，ｙ）を求めるためには、ｌ（ｘ，ｙ）を（１３）式で述べたように連続値で近似し、エネルギー関数をそれぞれのパラメーターで偏微分して動作式を立て、繰り返し法で求めればよい。なお、（２８）式に境界同士の相互作用の項を加えて、境界の孤立点や不要な枝分かれが生成されるのを防ぐようにしてもよい。
【０１５１】
図１４は、本発明の第１の実施形態を示し、距離画像生成手段１５０による距離情報Ｄ（１０３）と表面形状情報Ｈ（２０５）との統合処理の処理手順の他の例を示すフローチャートである。
【０１５２】
本例では、距離画像生成手段１５０は、上述したように、以下のステップＳ４０１〜Ｓ４０２を行う。
まず、ステップＳ４０１において、線過程を用いて、連続性が保存され、不連続点では高さのギャップを許すように、表面形状情報Ｈを距離情報Ｄにフィッティングさせる。続いて、ステップＳ４０２において、距離情報Ｄにフィッティングした表面形状情報Ｈをもって、距離情報Ｄと表面形状情報Ｈとの統合結果（即ち、距離画像１０６）とする。
【０１５３】
＜表面形状の推定を行わない距離情報の推定＞
また、本実施形態において、距離情報と偏光解析結果から距離画像１０６を推定する際に、より計算コストの少ない派生的な別の一態様として、領域分割及び偏光解析による表面形状の推定を行わない方法も考えられる。具体的な手順としては、距離情報Ｄ（１０３）が不連続で偏光解析情報が連続的であるような領域を検知し、外乱として除去して補完する。この方法は、計算コストが低く、主に反射成分による外乱を除去する効果がある。一例として、下記の（２９）式のように、距離情報Ｄの連続性の評価値を設ける。
【０１５４】
【数２８】
【０１５５】
そして、この（２９）式に示す評価値が所定の閾値を超える領域については、外乱と判定して除去し、周囲の距離情報の中央値で補填する。そして、最終的に、得られた距離情報Ｄを距離画像１０６として出力する。
【０１５６】
＜偏光度と距離情報からの屈折率の推定＞
上述した例では、撮像対象の物体表面の複素屈折率は、適当な値を所与のものとして採用するとしたが、一方で偏光度ρと距離情報Ｄから複素屈折率を推定する態様も考えられる。その場合、まず、グラフカット等の方法で領域分割を行い、領域中の複素屈折率は、一様であると仮定する。ここで、（４）式から（５）式にかけて説明したように、光学パラメーターはｎとｋの二つの値であるため、領域中の２点の偏光度ρと距離情報Ｄの値を代入して解けば複素屈折率が解析的に求まる。しかしながら、この方法では、測定誤差の影響を強く受けるために、領域中の複数点についての計測値の複数の組（ρi，Ｄi）を用いて、以下の（３０）式により最小化を行う。
【０１５７】
【数２９】
【０１５８】
ただし、φ^iは、距離情報Ｄから求められる画素ｉにおける物体表面の法線の傾き、φiは、偏光度がρiであるときの物体表面の法線の傾きである。（３０）式の最小化を行う方法の一例としては、例えば（φ^i−φi）2＝０と置き、所定の数Ｆだけρiとφ^iの値を観測中の領域からランダムサンプリングし、Ｆ組のｎとｋの関係式を立てる。そして、得られた２つの変数の解を用いて二次元空間に投票（反映）する。これによって、最多投票を得た値のｎとｋを推定値とする。
【０１５９】
また、この際、非特許文献８に示すＬＭｅｄＳ推定の手法を用いてもよい。この場合は、上述した推定値の算出をＮ回繰り返し、Ｎ個の推定値のうち、下記の（３１）式のＬＭｅｄＳ基準によって光学パラメーター値ｎ、ｋを評価し、最良のパラメーター値（最も低い基準値を与える値）をｎ、ｋとして選択すればよい。
【０１６０】
【数３０】
【０１６１】
ただし、（３１）式において、ｍｅｄは中央値をとる操作を表す。これによりノイズに対して頑健に光学パラメーターの推定を行うことができる。
【０１６２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図１５は、本発明の第２の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図１５において、第１の実施形態における三次元画像撮像装置１００と同様の構成については同じ符号を付し、また、以下の説明では、図１５に示す三次元画像撮像装置１００を三次元画像撮像装置１００−２として記載する。
【０１６３】
第２の実施形態の三次元画像撮像装置１００−２は、パターン光方式で測定した撮像対象の距離情報１０３と、偏光光学系によって測定した偏光成分データ１０４とを統合して、距離画像１０６を得るものである。
【０１６４】
図１５に示す三次元画像撮像装置１００−２は、第１の撮像手段１５１０と、第２の撮像手段２２０と、距離算出手段１３０と、欠落領域記憶手段１５２０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０１６５】
第１の撮像手段１５１０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２１３と、第１の受光素子１１３と、パターン生成部１５１１と、投光部１５１２と、変調解析部１５１３を有して構成され、距離計測のための画像を撮像するものである。
【０１６６】
また、第２の撮像手段２２０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。このように、図１５に示す第１の撮像手段１５１０及び第２の撮像手段２２０では、結像光学系２１１とビームスプリッタ２１２とが両方に共通して構成されている。
【０１６７】
本実施形態において、パターン光方式の距離測定の方法は、一般的なパターン光方式と同様の方法を用いることができる。第１の撮像手段１５１０のパターン生成部１５１１では、所定の変調パターン１５０１を生成する。ここで、変調の方法としては、三角関数を複数重ね合わせて強度変調を行ったものや、パルス変調したもの、或いは、例えば、非特許文献９に示すｄｅ＿Ｂｒｕｉｊｎ系列でコード化したものなど様々な態様が考えられる。
【０１６８】
ここで、本例では、２値のｄｅ＿Ｂｒｕｉｊｎ系列に従うビット列［ｃ1，ｃ2，…，ｃn］（ｃ∈｛０，１｝）をコード列として用いる。パターン光の投光部１５１２で各ビットを光の強度に対応させた縦縞状のパターン光１５０２を生成して撮像対象に投光する。例えば、その照射光の強度の範囲を［０〜１］とした場合、ビットの０と１を光の強度の０．５と１に対応させる。投光部１５１２は、結像光学系２１１に対して視差を設けている。
【０１６９】
結像光学系２１１を通って集光した入力光ａ及びｂ（１０１ａ及び１０１ｂ）を無偏光のビームスプリッタ２１２で２つに分け、第１の撮像手段１５１０のフィルタ２１３を通して照射光の波長のみを通過させて第１の受光素子１１３に結像させる。
【０１７０】
そして、変調解析部１５１３において、参照波形１５０３を参照しながら、第１の受光素子１１３で撮像した画像の変調波形２０３に相同なパターン（ビット列）があるかどうかを調べて、１行ずつ復号する。この際、変調解析部１５１３は、各行の各画素［ｘ1，ｘ2，…，ｘm］の１つ１つにその位置で検出されたコード｛ｃ1，ｃ2，…，ｃn｝のいずれかの番号を記録して、これを検出パターン位置情報１５０４として、距離算出手段１３０に出力する。
【０１７１】
このとき、撮像対象の形状によっては、照射光の当たらない陰の部分ができる。前述のように、パターン光のビットの０と１を光の強度の０．５と１に対応させていれば、陰の部分を輝度値がある所定の閾値以下の領域として検出することができる。そして、変調解析部１５１３は、この部分を欠落領域情報１５０５として欠落領域記憶手段１５２０に記憶する。そして、画像の全範囲でこのような復号を行う。
【０１７２】
次に、距離算出手段１３０は、撮像対象上で観測されたパターン光の分布から、撮像対象までの距離を算出する。具体的に、距離算出手段１３０は、コードが検出された位置を元に三角測量の原理により撮像対象までの距離を算出する。
【０１７３】
図１６は、本発明の第２の実施形態を示し、距離算出手段１３０において、パターン光による三角測量の距離算出の原理を説明する模式図である。
図１６では、適当な面を基準面１６０１とする。また、図１６において、画像上の位置１６０２を示す。投光部１５１２から、あるパターン光１５０２のコード（図１６ではｃ3）を角度θで投光するとする。ここで、撮像対象が存在しないときに、基準面１６０１に投光して観測されるコードの位置と、撮像対象の表面上で観測されるコードの位置のｘ方向のズレをΔｘとする。この際、基準面１６０１からの撮像対象の高さΔｚは、以下の（３２）式で求まる。
【０１７４】
【数３１】
【０１７５】
図１７は、本発明の第２の実施形態を示し、距離算出手段１３０において、パターン光による距離算出の際の欠落領域の一例を示す模式図である。図１７に示すように、パターン光１５０２の投光部１５１２と第１の撮像手段１５１０との視差により、パターン光１５０２の欠落領域１７０１が生じている。
【０１７６】
ここで、偏光光学系１２２の構成、及び、偏光成分を解析して撮像対象の表面形状を復元する方法については、第１実施形態で説明した構成と同一である。
【０１７７】
次に、距離画像生成手段１５０は、距離情報１０３と表面形状情報２０５を統合して、距離画像１０６を生成する。この距離情報１０３と表面形状情報２０５との統合については、第１実施形態で説明したものと同様の処理で行われる。ただし、第２の実施形態の場合には、図１７で示したような視差による欠落領域１７０１が生じることがあるため、欠落領域記憶手段１５２０に欠落領域情報１５０５が記憶されている場合には、この欠落領域情報１５０５を用いて、欠落領域１７０１の補完を行う。
【０１７８】
この際、偏光成分の計測には視差がないために、視差による欠落領域１７０１は、表面形状情報２０５を用いて補完することが可能である。本実施形態では、補完の方法の一例として、以下のような方法を用いる。
【０１７９】
本実施形態では、まず、距離情報Ｄ（ｘ，ｙ）の欠落領域１７０１の近傍の画素ｎのみを対象にしてＨ（ｘ，ｙ）をｚ方向に動かして、距離情報Ｄ（ｘ，ｙ）にフィットさせる。そして、フィットした結果より、距離情報Ｄと高さＨの差ｈを求める。続いて、欠落領域１７０１をＨ（ｘ，ｙ）＋ｈによって補完する。具体的には、下記の（３３）式に示す処理を行う。
【０１８０】
【数３２】
【０１８１】
ここで、（３３）式において、ｍｅｄは中央値をとることを意味し、ｎは欠落領域１７０１の所定の距離内の画素である。ただし、ｎは欠落領域１７０１を含まない。また、ｎｕｌｌは、欠落領域１７０１の画素である。
【０１８２】
図１８は、本発明の第２の実施形態を示し、距離画像生成手段１５０による距離情報Ｄ（１０３）と表面形状情報Ｈ（２０５）との統合処理の処理手順の一例を示すフローチャートである。
【０１８３】
距離画像生成手段１５０は、上述したように、以下のステップＳ５０１〜Ｓ５０５を行う。ここで、ステップＳ５０１〜Ｓ５０３は、基本的に、図１３に示すステップＳ３０１〜Ｓ３０３と同様の処理であり、また、ステップＳ５０５は、基本的に、図１３に示すステップＳ３０４と同様の処理である。
まず、ステップＳ５０１において、線過程を用いて、距離情報Ｄの外乱を除く。続いて、ステップＳ５０２において、距離情報Ｄと表面形状情報Ｈの不連続点で領域を分割する。続いて、ステップＳ５０３において、領域ごとに、表面形状情報Ｈを距離情報Ｄにフィッティングさせる。続いて、ステップＳ５０４において、距離情報Ｄに欠落領域１７０１があるときには、表面形状情報Ｈを用いて、欠落領域１７０１の補完を行う。続いて、ステップＳ５０５において、例えば、ロバスト推定により、表面形状情報Ｈと距離情報Ｄの両方にフィットする値を求めて、これを統合結果（即ち、距離画像１０６）とする。
【０１８４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１９は、本発明の第３の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図１９において、第１の実施形態における三次元画像撮像装置１００と同様の構成については同じ符号を付し、また、以下の説明では、図１９に示す三次元画像撮像装置１００を三次元画像撮像装置１００−３として記載する。
【０１８５】
第３の実施形態の三次元画像撮像装置１００−３は、測距センサ方式で測定した撮像対象の距離情報１０３と、偏光光学系１２２によって測定した偏光成分データ１０４とを統合して、距離画像１０６を得るものである。ここで、本実施形態における測距センサは、例えば、特許文献３で示されているような一般的な測距センサの構成からなるものである。
【０１８６】
図１９に示す三次元画像撮像装置１００−３は、第１の撮像手段１９１０と、第２の撮像手段１９２０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０１８７】
第１の撮像手段１９１０は、結像光学系１９１１と、ビームスプリッタ１９１２と、セパレータレンズ１９１３と、第１の受光素子１９１４ａ及び１９１４ｂと、視差検出部１９１５を有して構成され、距離計測のための画像を撮像するものである。ここで、セパレータレンズ１９１３は、例えば、測距用光学系を構成する。図１９に示す例では、セパレータレンズ１９１３は、２つの像を結ぶ光学系（１９１３ａ及び１９１３ｂ）で構成されているが、本発明においてはこれに限定されるものではなく、２つ以上の像の光学系で構成されていればよい。また、視差検出部１９１５は、例えば、当該２つ以上の像の結像位置から視差情報１９０４を検出する。
【０１８８】
また、第２の撮像手段１９２０は、結像光学系１９１１と、ビームスプリッタ１９１２と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。このように、図１９に示す第１の撮像手段１９１０及び第２の撮像手段１９２０では、結像光学系１９１１と、ビームスプリッタ１９１２とが両方に共通して構成されている。
【０１８９】
＜測距センサの原理＞
ここで、測距センサの原理について図１９及び図２０を用いて説明する。
図２０は、本発明の第３の実施形態を示し、測距センサの原理の一例を示す模式図である。
【０１９０】
撮像対象を観測すると、結像光学系１９１１で集光された入力光１９０１は、ビームスプリッタ１９１２で分割されて第１の撮像手段１９１０の測距センサへと導かれる。続いて、第１の撮像手段１９１０に導かれた光は、セパレータレンズ１９１３の各セパレータレンズ１９１３及び１９１３ｂによってレンズの右側及び左側を通った光に分けられる。そして、セパレータレンズ１９１３によって２つに分けられた光は、それぞれ、第１の受光素子１９１４ａ及び１９１４ｂ上に像として結像する。
【０１９１】
そして、第１の受光素子１９１４ａ及び１９１４ｂで検出された２つの受光信号１９０３ａ及び１９０３ｂのうち、本例では、受光信号１９０３ａを基準信号とし、受光信号１９０３ｂを参照信号とする。今、基準信号１９０３ａが第１の受光素子１９１４ａのＣの位置で計測されているとする。この際、撮像対象が焦点面に位置するならば、参照信号１９０３ｂも第１の受光素子１９１４ｂ上のＣの位置で検出される。
【０１９２】
また、撮像対象が焦点面の後方にある場合、参照信号１９０３ｂは、第１の受光素子１９１４ｂ上のＡ側（図２０）にずれた位置で検出される。また、撮像対象が焦点面の前方にある場合、参照信号１９０３ｂは、第１の受光素子１９１４ｂ上のＥ側（図２０）にずれた位置で検出される。視差検出部１９１５では、この視差量を受光素子１９１４上の各画素個々について求めれば、第２の受光素子１２３で撮像された画像中のＡ〜Ｅに対応する個々の位置において焦点面からの相対的な奥行きを得ることができる。ただし、測距センサは、基線長がレンズの直径以下に制限されること、焦点面から大きく外れると受光信号がボケて視差量の計測が難しくなることなどから、一般に検出の精度は限定される。
【０１９３】
ここで、図２０について説明する。
まず、結像光学系１９１１の焦点を撮像対象に合わせる。ここでは、一般に広く用いられているような自動焦点機構を用いて自動的に焦点を合わせてもよいし、手動で合わせてもよい。続いて、ビームスプリッタ１９１２により、第１の撮像手段１９１０と第２の撮像手段１９２０とに、それぞれ光を分割して導く。
【０１９４】
図２０において、各セパレータレンズ１９１３ａ及び１９１３ｂによって、各受光素子１９１４ａ及び１９１５ｂ上に複数の像が結像される。そして、各受光素子１９１４ａ及び１９１５ｂで受光した受光信号１９０３ａ及び１９０３ｂは、視差検出部１９１５に送られ、そこで視差が検出される。視差検出部１９１５では、２つの受光信号（１９０３ａ及び１９０３ｂ）から適当な波長の交流成分を抽出した後、波形を比較して視差として位相差を検出する。なお、この際、視差検出部１９１５において、交流成分の抽出をせずに、相互相関を計算して位相差を求めてもよい。
【０１９５】
そして、距離算出手段１３０では、視差検出部１９１５で検出された視差（位相差）に係る視差情報１９０４に基づいて、焦点面からの相対距離を算出する。ここで、距離算出手段１３０は、結像光学系１９１１のレンズ繰り出し量１９０２と、焦点面までの距離情報との対応表を予め記憶しておく。距離算出手段１３０は、この対応表を用いて、レンズ繰り出し量１９０２から現在の焦点位置までの距離情報を算出する。そして、距離算出手段１３０は、算出した距離情報と、視差情報１９０４から求めた相対距離情報とを足すことによって、撮像対象における画素ごとの絶対距離である距離情報１０３を算出する。
【０１９６】
また、第２の撮像手段１９２０による偏光成分の計測と、偏光解析手段１４０による偏光解析に関しては、第１の実施形態で示したものと同一の方法を行う。また、反射成分による外乱を取り除く方法についても、第１の実施形態で示したものと同一のものを行う。
【０１９７】
そして、距離画像生成手段１５０は、偏光解析情報１０５に基づく表面形状情報２０５と、距離算出手段１３０で求められた距離情報１０３とを統合して距離画像１０６を生成する。この距離画像１０６の具体的な生成方法についても、第１の実施形態で説明した方法と同一の方法を用いる。
【０１９８】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図２１は、本発明の第４の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図２１において、第１の実施形態等における三次元画像撮像装置１００と同様の構成については同じ符号を付し、また、以下の説明では、図２１に示す三次元画像撮像装置１００を三次元画像撮像装置１００−４Ａとして記載する。
【０１９９】
図２１に示す三次元画像撮像装置１００−４Ａは、ステレオ方式で測定した撮像対象の距離情報１０３と、偏光光学系１２２によって測定した偏光成分データ１０４とを統合して、距離画像１０６を得るものである。
【０２００】
図２１に示す三次元画像撮像装置１００−４Ａは、第１の撮像手段２１１０と、第２の撮像手段２１２０（１２０）と、視差検出手段２１３０と、欠落領域記憶手段２１４０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０２０１】
第１の撮像手段２１１０は、第１の結像光学系１１１と、第１の受光素子１１３を有して構成される。また、第２の撮像手段２１２０は、第２の結像光学系１２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成される。
【０２０２】
第１の結像光学系１１１によって集光された入力光ａ（１０１ａ）は、第１の受光素子１１３で受光される。そして、第１の受光素子１１３で検出した輝度情報２１０１ａは、ステレオ法による距離計測のための基準画像となる。偏光成分の計測、更には距離計測
を兼ねる第２の結像光学系１２１によって集光された入力光ｂ（１０１ｂ）は、偏光光学系１２２を通過した後、第２の受光素子１２３に結像する。第２の受光素子１２３で計測した信号のうち、偏光成分データ１０４は、偏光解析手段１４０に送られる。同時に、第２の受光素子１２３において、偏光成分を平均化した画像を輝度情報２１０１ｂとして、視差検出手段２１３０に送られる。この偏光成分を平均化した画像（輝度情報２１０１ｂ）は、ステレオ法による距離計測のための参照画像となる。
【０２０３】
続いて、視差検出手段２１３０は、第１の撮像手段２１１０から出力された輝度情報２１０１ａと、第２の撮像手段２１２０から出力された輝度情報２１０１ｂとを比較して対応する点を求め、画素ごとに視差を算出（検出）する。ここで、対応点の探索の方法は、一般的なステレオ法の手法を用いることができる。視差検出手段２１３０は、輝度コントラストが存在しない或いは変化が緩やかで対応点が検出されなかった領域やステレオ法に特有な視差による遮蔽が存在する領域に関しては、欠落領域１７０１として欠落領域記憶手段２１４０に欠落領域情報２１０３を記憶する。
【０２０４】
続いて、距離算出手段１３０は、視差検出手段２１３０からの視差情報２１０２に基づいて、撮像対象との距離に係る距離情報１０３を算出する。なお、偏光解析手段１４０による偏光解析情報１０５及び形状復元手段２３０による表面形状情報２０５の生成や、距離情報１０３と表面形状情報２０５を統合するための方法については、第１の実施形態と同様の方法を用いることができる。また、欠落領域情報２１０３に基づく欠落領域１７０１の補完の方法については、第２の実施形態と同様の方法を用いることができる。
【０２０５】
図２２は、本発明の第４の実施形態に係る三次元画像撮像装置１００の概略構成の他の例を示す模式図である。なお、図２１に示す構成と同様の構成については同じ符号を付し、また、以下の説明では、図２２に示す三次元画像撮像装置１００を三次元画像撮像装置１００−４Ｂとして記載する。
図２１に示す三次元画像撮像装置１００−４Ａは、第１の撮像手段２２１０と第２の撮像手段２２２０の双方に偏光光学系を備えるものである。
【０２０６】
図２２に示す三次元画像撮像装置１００−４Ｂは、第１の撮像手段２２１０と、第２の撮像手段２２２０と、偏光解析手段１４０ａ及び１４０ｂと、視差検出手段２２３０と、欠落領域記憶手段２１４０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０２０７】
図２２に示す三次元画像撮像装置１００−４Ｂでは、２つの撮像手段（２２１０及び２２２０）で計測された偏光成分データ１０４ａ及び１０４ｂのそれぞれについて、偏光解析手段１４０ａ及び１４０ｂで偏光解析を行う。そして、偏光解析手段１４０ａ及び１４０ｂでは、それぞれ、偏光度ρ（ｘ，ｙ）及び偏光方位角φ（ｘ，ｙ）を求めて偏光解析情報１０５ａ及び１０５ｂを生成し、これを視差検出手段２２３０に送る。
【０２０８】
視差検出手段２２３０では、偏光度と偏光方位角の偏光解析情報１０５ａ及び１０５ｂを用いて、２つの画像の対応点を探し、視差を検出する。そして、視差検出手段２２３０は、検出した視差に係る視差情報２１０２を距離算出手段１３０に送信する。なお、距離算出手段１３０において、視差情報２１０２から距離情報１０３を算出する方法、並びに、距離画像生成手段１５０において、距離情報１０３と偏光解析による表面形状情報２０５との統合の方法は、図２１で説明した方法と同一である。
【０２０９】
図２２に示す三次元画像撮像装置１００−４Ｂでは、輝度の変化に乏しいが偏光成分には大きな変化があるような表面特性を持つ撮像対象や、反射率が高くて映りこみが存在するような撮像対象に対して、距離計測の精度を向上させる効果がある。具体的には、このような撮像対象に対して、視差検出のための正しい対応点の手がかりを増やすことで、距離計測の精度を向上させる効果がある。なお、本実施形態では、偏光度と偏光方位角のみで対応点を探索して視差を検出したが、偏光成分を平均化して得られる輝度情報も手掛かりとして加えて視差を検出してもよい。
【０２１０】
（本発明の他の実施形態）
前述した本発明の各実施形態に係る三次元画像撮像装置１００の制御方法を示す図１１〜図１４及び図１８の各ステップは、例えば、コンピュータのＣＰＵがＲＡＭやＲＯＭなどに記憶されたプログラムを実行することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【０２１１】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０２１２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１１〜図１４及び図１８に示すフローチャートに対応したプログラム）を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０２１３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２１４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０２１５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０２１６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０２１７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２１８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２１９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２２０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２２１】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【０２２２】
本発明に係る三次元画像撮像装置１００は、例えば、製造工程の自動化において必要となる部品の三次元計測装置としての利用可能性がある。また、距離画像を動画として記録するような構成が可能なため、セキュリティカメラとしての利用可能性もある。
【符号の説明】
【０２２３】
１００：三次元画像撮像装置、１０１ａ，１０１ｂ：入力光、１０２：計測データ、１０３：距離情報、１０４：偏光成分データ、１０５：偏光解析情報、１０６：距離画像、１１０：第１の撮像手段、１１１：第１の結像光学系、１１２：測距用光学系、１１３：第１の受光素子、１２０：第２の撮像手段、１２１：第２の結像光学系、１２２：偏光光学系、１２３：第２の受光素子、１３０：距離算出手段、１４０：偏光解析手段、１５０：距離画像生成手段
【技術分野】
【０００１】
本発明は、撮像対象の距離画像を生成する撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
以下の説明においては、撮像対象までの距離を画素の値として構成される画像のことを「距離画像」と呼ぶ。従来、この距離画像を計測する撮像装置の方式として、複数の方式が知られているが、ここでは計測の際に走査動作を必要とせず、１回の撮影で距離画像を取得する撮像装置とその方式について説明する。
【０００３】
距離画像を取得するための撮像装置として様々な方式が提案されており、例えば、照射した光線が撮像対象で反射して戻るまでの飛行時間（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ：ＴＯＦ）を用いる方式や、複数枚の画像からステレオ法で奥行きを求める方式がある。更には、変調波などのパターン光を投影して奥行きを求める方式や、主光学系によって集光された光を副光学系によって分離して２つの像を結像させ、それぞれの視差から合焦状態を検出する測距センサと呼ばれる方式などがある。この測距センサの方式では、焦点面を基準として相対的な奥行きの情報が取得される。
【０００４】
また、偏光とは、光の振動方向が特定の方向に偏った状態を指す。そして、特定の振動方向の光のみを透過させる偏光光学系を用いることで、光の偏光成分を測定することができる。また、偏光の情報を元に物体（撮像対象）までの距離情報を直接推定することはできないが、偏光状態を解析して偏光方位角を求めることにより物体表面の法線の方位を知ることができる。また、偏光度を求めれば、法線の傾きを推定することができる。また、偏光成分と無偏光成分とを区別して反射光成分を取り除き、距離画像の測定精度を向上させることも可能である。
【０００５】
このような偏光解析によって観測対象の形状を推定する手法は、「Ｓｈａｐｅ ｆｒｏｍ ｐｏｌａｒｉｚａｔｉｏｎ」と呼ばれ、その関連手法が複数提案されている。例えば、下記の非特許文献１では、光沢の多い金属表面に対して偏光解析を行って形状を推定する技術を開示している。また、偏光解析を行うためには、従来は、非特許文献１に示す方法のように、結像光学系の前に線偏光フィルタを配置し、偏光の方向を機械的に回転させて特定の偏光成分のみを透過させ、画像を複数枚撮影する必要があった。また、別の先行技術では液晶偏光フィルタも使われており、この場合は、電気的に偏光の方向を変化させている。これらの方式は、いずれにしても、複数の撮像動作が必要であり、リアルタイム性の点で他の光学測定方式と複合的に利用することが難しい。
【０００６】
これらに対して、下記の特許文献１には、１回の撮影画像のみから偏光解析を行うことができる装置が開示されている。特許文献１に記載の撮像装置は、例えば後述する図３に示すように、受光素子１２３と、受光素子１２３の画素数と同数のアレイ状の偏光子３０１からなる偏光光学系１２２が備わっている。この偏光光学系１２２には、偏光方向が相異なる偏光子（３０１ａ〜３０１ｄ）が規則的に配置されている（図３では、偏光子のうちの一部のみを図示している）。また、偏光子３０１ａ〜３０１ｄに対応する受光素子１２３の画素３０２ａ〜３０２ｄにおいては、それぞれ異なった偏光成分の光が記録されることになる（図３では、受光素子のうちの一部のみを図示している）。このような撮像装置で撮像を行い、所定の画素のみから情報を読み出して画像を再構成すれば、４方向のうちの任意の偏光成分の画像を得ることができる。そして、このような構成を用いることにより、偏光解析に必要な複数方向の偏光成分のデータを１回の撮像で取得することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−８６７２０号公報
【特許文献２】特開２００６−４６９６０号公報
【特許文献３】特開昭５５−１５５３３１号公報
【非特許文献】
【０００８】
【非特許文献１】O. Morel, F. Meriaudeau, C. Stolz and P. Gorria, Polarization imaging applied to 3D inspection of specular metallic surfaces, Machine Vision Applications in Industrial Inspection XIII, Proceedings of SPIE, vol. 5679, pp. 178-186, 2005.
【非特許文献２】M. Bass edit., Handbook of optics Vol.II, Optical Society of America, McGraw-Hill, New York, 1995.
【非特許文献３】B. K. P. Horn and M. J. Brooks, edit., Shape from Shading, The MIT Press, Cambridge, Massachusetts, 1989.
【非特許文献４】S. Geman and D. Geman, Stochastic relaxation, Gibbs distribution, and the Bayesian restoration of images, IEEE Trans. on PAMI, Vol.6, No.6, pp.721-741, 1985.
【非特許文献５】Y. Boykov and G. Funka-Lea. Graph Cuts and Efficient N-D Image Segmentation. International Journal of Computer Vision, vol. 70, no. 2, pp. 109-131, 2006.
【非特許文献６】C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, 1998.
【非特許文献７】P. J. Rousseeuw and A. M. Leroy. Robust Regression and Outlier Detection. John Wiley & Sons, New York, 1987.
【非特許文献８】R.J. Rousseeuw, Least median of squares regression, J. American Stat. Assoc., Vol.79, pp.871-880, 1984.
【非特許文献９】de Bruijn, N. G. "A Combinatorial Problem." Koninklijke Nederlandse Akademie v. Wetenschappen vol. 49, pp. 758-764, 1946.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のいくつかの距離画像の撮影方式においては、計測原理に起因する理由により、特定の条件下で計測精度が低下することがある。
【００１０】
例えば、ＴＯＦを用いる方式では、照射光に近赤外光などが多く用いられるが、拡散反射や多重反射のために、空間解像度が低下することがある。特に、測定対象と床面などとの多重反射によって精度が低下することがあり、この現象は、測定対象に近接して測定したときに顕著に生じる。また、環境中の外光の混入や映り込みも外乱要因となる。
【００１１】
また、ステレオ法は、画像間の相関の高い領域や対応点を求めて三角測量の原理で距離を求める方式である。このため、対応の手掛かりとなる点や線が存在する領域についてしか距離を計測することができず、輝度分布の変化がないか、もしくは緩やかに変化しているような領域では距離を計測できない。また、物体の凹凸面に視差によって遮蔽が生じる場合があるが、このように遮蔽された領域の距離も計測できない。ステレオ法では、このような原因で測定値が欠落することがあり、欠落の生じた領域は何らかの方法で補完する必要がある。
【００１２】
また、パターン光を用いる方式では、ステレオ法と同様に三角測量を原理とするため、パターン光の陰となる領域では距離を計測できない。また、パターン光として空間的に強度を変化させた変調波を使う方式があるが、パターン光に対する反射率が異なる模様などが物体表面に存在する場合、この方式では計測精度が下がる恐れがある。
【００１３】
また、測距センサを用いる方式においては、その特性はステレオ法の方式に準じ、コントラストの低い領域での測定精度が低い。
【００１４】
また、上記の４つのいずれの方式にも共通する特性として、金属面や光沢面などの０次反射光成分のある面の計測は困難であることが挙げられる。
【００１５】
上述したような精度の低下を補うために、複数の距離計測方式で撮影を行い、測定結果を補完して相補的に精度を向上させることが可能である。しかしながら、０次反射光成分に対して精度が低下する点などは各方式間で共通しているため、各方式の組み合わせによる装置の大型化や煩雑さといった短所が増す割に、効果的に外乱を除去できない可能性がある。
【００１６】
本発明は、このような問題点に鑑みてなされたものであり、撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現する撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の撮像装置は、撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出手段と、偏光成分を計測するための画像を撮像する第２の撮像手段と、前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析手段と、前記距離算出手段で算出された距離に係る距離情報と、前記偏光解析手段で解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成手段とを有する。
【００１８】
本発明の撮像装置の制御方法は、撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、偏光成分を計測するための画像を撮像する第２の撮像手段を備える撮像装置の制御方法であって、前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出ステップと、前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析ステップと、前記距離算出ステップで算出された距離に係る距離情報と、前記偏光解析ステップで解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成ステップとを有する。
【発明の効果】
【００１９】
本発明によれば、撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の概要を示し、三次元画像撮像装置の概略構成の一例を示す模式図である。
【図２】本発明の第１の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図３】図２に示す第２の撮像手段の内部の偏光光学系及び第２の受光素子の詳細な構成の一例を示す模式図である。
【図４】本発明の第１の実施形態に係る三次元画像撮像装置の概略構成の他の例を示す模式図である。
【図５】図４に示す第１の撮像手段及び第２の撮像手段の内部の偏光光学系及び受光素子の詳細な構成の一例を示す模式図である。
【図６】撮像対象の物体表面の法線の方位角及び傾きの一例を示す模式図である。
【図７】三次元物体について偏光方位角と偏光度の観測例を示す模式図である。
【図８】計測された距離情報と偏光解析情報とに基づいて、距離画像を生成した結果の一例を示す模式図である。
【図９】撮像対象の物体表面の法線の傾きの一例を示す模式図である。
【図１０】（５）式において、ｎ＝１．６、ｋ=５としたときの偏光度ρと物体表面の法線の傾きφとの関係の一例を示す模式図である。
【図１１】本発明の第１の実施形態を示し、偏光解析手段による偏光解析処理の処理手順の一例を示すフローチャートである。
【図１２】本発明の第１の実施形態を示し、領域分割処理の処理手順の一例を示すフローチャートである。
【図１３】本発明の第１の実施形態を示し、距離画像生成手段による距離情報と表面形状情報との統合処理の処理手順の一例を示すフローチャートである。
【図１４】本発明の第１の実施形態を示し、距離画像生成手段による距離情報と表面形状情報との統合処理の処理手順の他の例を示すフローチャートである。
【図１５】本発明の第２の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図１６】本発明の第２の実施形態を示し、距離算出手段において、パターン光による三角測量の距離算出の原理を説明する模式図である。
【図１７】本発明の第２の実施形態を示し、距離算出手段において、パターン光による距離算出の際の欠落領域の一例を示す模式図である。
【図１８】本発明の第２の実施形態を示し、距離画像生成手段による距離情報と表面形状情報との統合処理の処理手順の一例を示すフローチャートである。
【図１９】本発明の第３の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図２０】本発明の第３の実施形態を示し、測距センサの原理の一例を示す模式図である。
【図２１】本発明の第４の実施形態に係る三次元画像撮像装置の概略構成の一例を示す模式図である。
【図２２】本発明の第４の実施形態に係る三次元画像撮像装置の概略構成の他の例を示す模式図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照しながら、本発明を実施するための最良の形態（実施形態）について説明する。なお、以下の説明では、本発明に係る撮像装置として、例えば、三次元の距離計測を行うための距離画像を生成する三次元画像撮像装置を適用した例を説明する。
【００２２】
−本発明の概要−
まず、本発明の具体的な各実施形態を説明する前に、本発明の概要について説明する。
【００２３】
図１は、本発明の概要を示し、三次元画像撮像装置１００の概略構成の一例を示す模式図である。
図１に示す三次元画像撮像装置１００は、第１の撮像手段１１０と、第２の撮像手段１２０と、距離算出手段１３０と、偏光解析手段１４０と、距離画像生成手段１５０を有して構成されている。
【００２４】
第１の撮像手段１１０は、撮像対象からの入力光１０１ａを結像させる第１の結像光学系１１１と、測距用光学系１１２と、第１の受光素子１１３を有して構成され、距離計測のための画像を撮像するものである。
【００２５】
第２の撮像手段１２０は、撮像対象からの入力光１０１ｂを結像させる第２の結像光学系１２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。
【００２６】
距離算出手段１３０は、第１の撮像手段１１０で撮像された画像から得られる計測データ１０２から撮像対象との距離に係る距離情報１０３を算出する。
【００２７】
偏光解析手段１４０は、第２の撮像手段１２０で撮像された画像から得られる偏光成分データ１０４を解析し、解析結果を偏光解析情報１０５として出力する。ここで、偏光成分データ１０４とは、偏光子（例えば、後述する図３の３０１）を通過させて得られる特定の方向に偏光された画像データを指す。また、偏光解析情報１０５とは、偏光成分データ１０４を解析して得られる偏光度や偏光方位角といった偏光に係る二次的な情報を指す。
【００２８】
距離画像生成手段１５０は、距離算出手段１３０で算出された距離情報１０３と、偏光解析手段１４０から出力された偏光解析情報１０５に基づいて、撮像対象との距離を表す距離画像１０６を生成する。
【００２９】
また、本明細書では、便宜的に、従来の距離計測手段によって得られる情報を距離情報と呼び、距離情報と偏光解析情報を統合し、推定して得られる情報のことを距離画像と呼んで区別する。
【００３０】
このように、本発明に係る三次元画像撮像装置１００では、第１の撮像手段１１０で撮像された距離計測のための画像から得られた距離情報１０３と、第２の撮像手段１２０で撮像された偏光成分計測のための画像から得られた偏光解析情報１０５を用いる。即ち、本発明では、距離情報１０３と偏光解析情報１０５という、光学的な特性の異なる２つの情報を統合することにより、測定値の欠落した欠落領域や外乱による誤差が生じている領域を他方の情報で補完するようにするものである。これにより、本発明に係る三次元画像撮像装置１００では、撮像対象の光沢面の測定精度が向上するなど、従来の距離測定方式の測定誤差を低減した距離画像を生成することができる。
【００３１】
即ち、本発明に係る三次元画像撮像装置１００によれば、撮像対象との距離を表す距離画像を生成する際に、撮像対象の光反射やその光沢などの外乱、測定原理等に起因する距離の誤差の低減を実現することができる。
【００３２】
また、第１の撮像手段１１０としては、例えば、光線の飛行時間（ＴＯＦ）を利用した画像を撮像するもの、或いは、パターン光を用いる方式やステレオ方式による距離情報に係る画像を撮像するもの等を適用することができる。なお、第１の撮像手段１１０としては、この様態に限定されるものではなく、距離計測のための画像を撮像するものであればどのような方式のものでも適用可能である。また、第１の撮像手段１１０は、受動的な計測方式でもよく、能動的な計測方式でもよい。
【００３３】
また、第１の受光素子１１３と第２の受光素子１２３を、１つの受光素子のパネルの上に混在させて形成することも可能である。また、一種類の受光素子を用いて距離計測と偏光成分計測とを交互に行うことも可能である。さらに、一種類の受光素子を用いて距離計測と偏光成分計測を同時に行うことも可能である。
【００３４】
また、偏光解析情報１０５としては、例えば、直線偏光の偏光方位角と偏光度の情報を用いることができる。なお、偏光解析情報１０５としては、この直線偏光の情報に限るものではなく、例えば、円偏光成分の情報を用いる態様でもよい。また、本発明に係る三次元画像撮像装置１００では、偏光方位角が撮像対象の物体表面の法線の方位と一致し、偏光度が撮像対象の物体表面の法線の傾きに依存することを利用し、２つの属性から撮像対象の表面形状を復元するようにする。そして、撮像対象の表面形状の復元の際に、例えば距離情報を用いることによって、偏光方位角の曖昧性を排して偏光方位角を一意に決定することを可能とする。
【００３５】
また、偏光解析情報１０５として、偏光成分と無偏光成分の情報を利用し、２つの成分を分離することによって撮像対象の表面の映り込みや反射光成分を取り除く。また、例えば距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）とを比較する。そして、例えば距離画像生成手段１５０は、距離情報１０３と偏光解析情報１０５のどちらか一方に分布の不連続性を生じさせ、他方には影響を及ぼさないような成分を外乱成分として除去する。
【００３６】
また、例えば距離画像生成手段１５０は、距離情報１０３の欠落部分（例えば、図１７に示す欠落領域１７０１）を、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）を用いて補完する。
【００３７】
また、例えば距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）を用いて、距離画像１０６を生成する。この際、例えば、距離情報１０３及び偏光解析情報１０５（例えば撮像対象の表面形状情報）の連続性を正則項として、エネルギー関数を最小化することにより、距離画像１０６を生成する。
【００３８】
また、例えば距離画像生成手段１５０は、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）が、距離情報１０３に適合するように、撮像対象の相対的な高さの推定を行う。また、この際、例えば、偏光解析情報１０５（例えば撮像対象の表面形状情報）を用いて、画像を複数の領域に分割して、領域ごとに距離情報１０３に当該表面形状情報が適合するように撮像対象の相対的な高さの推定を行う。
【００３９】
また、距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）とについて、信頼度の重み付けを行って統合することにより距離画像１０６を生成する。さらに、距離画像生成手段１５０は、距離情報１０３と、偏光成分データ１０４を解析して得られる偏光解析情報１０５（例えば撮像対象の表面形状情報）に基づいて、撮像対象の屈折率を推定する処理も行う。
【００４０】
さらに、本発明に係る三次元画像撮像装置１００では、図１には不図示であるが、距離画像生成手段１５０による計測結果である距離画像１０６を動画として記録する記録手段を有して構成されている。
【００４１】
−本発明の概要を踏まえた具体的な各実施形態−
次に、上述した本発明の概要を踏まえた具体的な各実施形態について説明を行う。
【００４２】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図２は、本発明の第１の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図１に示す構成と同様の構成については同じ符号を付し、また、以下の説明では、図２に示す三次元画像撮像装置１００を三次元画像撮像装置１００−１Ａとして記載する。
【００４３】
図２に示す三次元画像撮像装置１００−１Ａは、第１の撮像手段２１０と、第２の撮像手段２２０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【００４４】
第１の撮像手段２１０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２１３と、第１の受光素子１１３と、投光部２１４と、飛行時間計測部２１５を有して構成され、距離計測のための画像を撮像するものである。
【００４５】
また、第２の撮像手段２２０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。
【００４６】
このように、図２に示す第１の撮像手段２１０及び第２の撮像手段２２０では、結像光学系２１１とビームスプリッタ２１２とが両方に共通して構成されている。即ち、図２に示す三次元画像撮像装置１００−１Ａは、図１に示す第１の結像光学系１１１と第２の結像光学系１２１を１つの結像光学系２１１によって兼ねて構成し、光軸を同一とするものとなっている。
【００４７】
距離計測のための第１の撮像手段２１０としては、例えば、特許文献２などで一般的に用いられているＴＯＦ方式と同様のものを用いるものとする。
【００４８】
図２に示す三次元画像撮像装置１００−１Ａにおいて、距離画像１０６を生成するまでの流れは、以下のようになる。
【００４９】
まず、第１の撮像手段２１０の投光部２１４から撮像対象に対して、変調した照射光２０１を投光する。そして、撮像対象から反射して戻ってきた入力光ａ及びｂ（１０１ａ及び１０１ｂ）を結像光学系２１１で集光し、ビームスプリッタ２１２で分割してその一部の光を距離測定のための第１の撮像手段２１０の内部に導く。
【００５０】
第１の撮像手段２１０の内部に導かれた光は、照射光２０１の帯域のみ通過させるフィルタ２１３に通された後に、第１の受光素子１１３に結像する。飛行時間計測部２１５は、投光部２１４からの参照波形２０２と、第１の受光素子１１３で受光した光の変調波形２０３とを第１の受光素子１１３の画素ごとに比較し、照射光２０１が撮像対象に到達して当該撮像装置に戻るまでの飛行時間情報２０４を算出する。その後、距離算出手段１３０は、飛行時間情報２０４から撮像対象との距離に係る距離情報１０３を算出する。
【００５１】
なお、照射光２０１の波長は、一般的に用いられる撮像素子（受光素子）に感受性があって人間には感受性のない近赤外光が望ましいが、他の波長やレーザー光でもよいし、複数の波長を組み合わせたものでもよい。また、変調の方法としては、強度を変調した光を用いてもよいし、周波数変調した光を用いてもよいし、パルス変調した光を用いてもよい。
【００５２】
ビームスプリッタ２１２は、一定の割合の光を偏光成分計測のための第２の撮像手段２２０の内部に導く。ここで、ビームスプリッタ２１２として、無偏光ビームスプリッタを用い、透過前と透過後で偏光状態が変わらないことが望ましい。
【００５３】
第２の撮像手段２２０の内部に導かれた光は、フィルタ２２１によって照射光２０１に由来する入力光ａ（１０１ａ）の帯域が遮断され、主に環境光に由来する入力光ｂ（１０１ｂ）がフィルタ２２１を通過する。
【００５４】
図３は、図２に示す第２の撮像手段２２０の内部の偏光光学系１２２及び第２の受光素子１２３の詳細な構成の一例を示す模式図である。
【００５５】
図３に示すように、偏光光学系１２２には、偏光の方位の異なる微小領域である複数の直線偏光の偏光子３０１がアレイ状に配接されている。図３に示す例では、受光素子１２３の４画素（３０２ａ〜３０３ｄ）を１ブロック単位とし、この１ブロック単位に、それぞれ、０度、４５度、９０度、１３５度の偏光方位の異なる４種の直線偏光子３０１ａ〜３０１ｄが設けられている。このように、特定の方向の偏光子３０１に対応する画素３０２のみから信号を読み出すことで、４種類のうちの任意の一種類の偏光成分の画像を得ることができる。なお、偏光光学系１２２における偏光子アレイの配列の規則は、図３に示すものに限定されるものではなく、他の配列であっても、また規則性のないものでもよく、その場合には偏光成分の画像（偏光画像）に干渉縞が生じるのを防ぐ効果がある。また、後述する偏光解析を行うためには、一般に３方向以上の異なる種類の偏光子３０１があればよい。
【００５６】
続いて、偏光解析手段１４０は、第２の撮像手段２２０でこのようにして得られた偏光成分データ１０４に基づいて、偏光状態の解析処理を行って、解析結果を偏光解析情報１０５として出力する。形状復元手段２３０は、偏光解析手段１４０から出力された偏光解析情報１０５に基づいて、撮像対象の表面形状の復元処理を行って、復元処理結果を表面形状情報２０５として出力する。そして、距離画像生成手段１５０は、距離算出手段１３０で算出された距離情報１０３と、形状復元手段２３０から出力された表面形状情報２０５に基づいて、これらを統合して、撮像対象との距離を表す距離画像１０６を生成する。
【００５７】
図４は、本発明の第１の実施形態に係る三次元画像撮像装置１００の概略構成の他の例を示す模式図である。なお、図１及び図２に示す構成と同様の構成については同じ符号を付し、また、以下の説明では、図４に示す三次元画像撮像装置１００を三次元画像撮像装置１００−１Ｂとして記載する。
【００５８】
図４に示す三次元画像撮像装置１００−１Ｂでは、図２に示すビームスプリッタ２１２（更にはフィルタ）を設けずに、距離計測用の第１の撮像手段４１０と偏光成分計測の第２の撮像手段４２０との光路を完全に同一とする構成である。
【００５９】
即ち、第１の撮像手段４１０は、結像光学系２１１、偏光光学系４２１、受光素子４２２、投光部２１４及び飛行時間計測部２１５を有して構成され、第２の撮像手段４２０は、結像光学系２１１、偏光光学系４２１及び受光素子４２２を有して構成されている。その他の構成は、図２に示す三次元画像撮像装置１００−１Ａと同様である。
【００６０】
図５は、図４に示す第１の撮像手段４１０及び第２の撮像手段４２０の内部の偏光光学系４２１及び受光素子４２２の詳細な構成の一例を示す模式図である。
図４に示す三次元画像撮像装置１００−１Ｂの場合には、例えば、図５（ａ）に示すような偏光光学系４２１及び受光素子４２２の態様を採る。図５（ａ）に示す態様では、偏光成分の画素５０２（５０２ａ〜５０２ｄ）と、飛行時間を計測する測距用の画素５０３とが、受光素子４２２の同一面上に、一定の規則で配列されて混在している。ここで、偏光成分の画素５０２（５０２ａ〜５０２ｄ）と測距用の画素５０３とは、複数存在するうちの一組のみを図５（ａ）中に指し示している。偏光成分の画素５０２ａ〜５０２ｄは、それぞれ、偏光光学系４２１の偏光子５０１ａ〜５０１ｄを通過した入力光を受光する。また、測距用の画素５０３は、偏光成分の画素５０２ａ〜５０２ｄの中心の位置に配置され、偏光子５０１ａ〜５０１ｄを通過した入力光を均等に受光する。図５（ａ）に示す態様では、各画素当たりの受光量は低下するが、１つの受光素子４２２を設けるだけでよく、装置を小型化できる効果がある。
【００６１】
また、図４に示す三次元画像撮像装置１００−１Ｂの場合には、例えば、図５（ｂ）に示すような偏光光学系４２１及び受光素子４２２の別の態様を採ることもできる。
図５（ｂ）に示す態様では、偏光光学系４２１が偏光子５１１ａ〜５１１ｃ及び測距用の光学素子５１２からなり、それに対応して、受光素子４２２が偏光成分の画素５１３ａ〜５１３ｃ及び測距用の画素５１４が構成されている。ここで、偏光成分の画素５１３（５１３ａ〜５１３ｄ）と測距用の画素５１４とは、複数存在するうちの一組のみを図５（ｂ）中に指し示している。
【００６２】
図５（ｂ）に示す態様では、偏光子５１１ａ〜５１１ｃを通る入力光は、偏光子で偏光されて、それぞれ、偏光成分の画素５１３ａ〜５１３ｄで受光される。また、残りの入力光は、測距用の光学素子５１２を通過して偏光されずに、測距用の画素５１４で受光される。測距用の光学素子５１２は、測距用の照射光の帯域のみを通すフィルタであってもよいし、単なる空隙でもよい。なお、図５（ｂ）に示す様態における偏光子５１１は、３方向のみであるが、偏光解析は３方向の偏光成分があれば行うことが可能である。
【００６３】
また、図４に示す三次元画像撮像装置１００−１Ｂにおいては、飛行時間の計測と偏光成分の計測の両方を一種類の受光素子４２２で行うものである。例えば、両者の計測を異なるタイミングで交互に行うことができる。この場合、例えば、最初の１フレームの撮影では、強度や周波数を変調した照射光２０１を撮像対象に投光して受光素子４２２で受光する。飛行時間計測部２１５は、受光素子の画素ごとに、受光素子４２２で計測された変調波形４０１と参照波形２０２との位相差を比較して、飛行時間情報２０４を算出する。そして、距離算出手段１３０は、飛行時間情報２０４から、受光素子の画素ごとに撮像対象までの距離に係る距離情報１０３を算出する。この最初の１フレームでは、偏光光学系４２１のどの偏光子を通過した変調光も区別なく扱う。そして、次の１フレームでは、投光部２１４による照射光２０１の照明は行わず、環境光を用いて偏光光学系４２１を通過した偏光成分を受光素子４２２で受光し、偏光解析手段１４０によって偏光の解析を行う。以上のようにして、計測動作を交互に繰り返して行うことで、一種類の受光素子４２２で飛行時間の計測と偏光成分の計測が可能である。
【００６４】
また、飛行時間の計測と偏光成分の計測の両方を一種類の受光素子４２２で同時に行うこともできる。この場合、変調した照射光２０１を撮像対象に投光して、その入力光を受光素子４２２で受光する。受光素子４２２で計測した信号は偏光方向の区別をせずに変調波形４０１として飛行時間計測部２１５に送られ、飛行時間計測部２１５において、この変調波形４０１と参照波形２０２とを比較して、飛行時間情報２０４を算出する。そして、距離算出手段１３０は、飛行時間情報２０４から撮像対象までの距離に係る距離情報１０３を算出する。また、同時に、受光素子４２２から変調波形４０１を偏光成分データとして偏光解析手段１４０に送る。この際、偏光解析手段１４０の内部に、波形積分器（図４では不図示）を設けておき、偏光解析手段１４０では、受光素子４２２の画素ごとに、変調波形４０１の単位時間の平均値を算出し、算出した値を元に、後述する偏光解析を行う。このように、飛行時間の計測と偏光成分の計測を同時に行うことで、撮像対象及び三次元画像撮像装置１００−１Ｂの動きやずれによる誤差を低減する効果が得られる。
【００６５】
次に、距離情報１０３と偏光成分データ１０４とを統合して、距離画像１０６を生成するまでの手順について詳細に説明する。
【００６６】
＜距離情報の取得＞
ＴＯＦ方式における距離算出手段１３０によって得られた距離情報１０３の分布をＤ（ｘ，ｙ）とする。Ｄには、散乱や多重反射による誤差が含まれている。なお、計算の便宜上、観測中の最大距離Ｄmaxを用いてＤ´を以下の（１）式と定義する。
【００６７】
【数１】
【００６８】
以降、このＤの符号の反転したＤ´を距離情報Ｄとして用いる。
【００６９】
＜偏光解析＞
ここでは、偏光解析を行って撮像対象の表面形状を推定する手順について述べる。
まず、偏光解析手段１４０は、偏光成分データ１０４の偏光解析により、偏光方位角と偏光度を求める。この偏光方位角と偏光度を求める方法としては、いくつか知られているが、本実施形態では、４方向の偏光成分データを用いた一般的な方法について説明する。
【００７０】
まず、偏光解析手段１４０は、計測された偏光成分データ１０４を受光素子の種類ごとにまとめることにより、４枚の偏光成分画像を生成する。この偏光成分画像は、それぞれ直線偏光の方位が０度、４５度、９０度、１３５度の偏光成分の強度の分布画像であり、この分布をＰ0（ｘ，ｙ）、Ｐ45（ｘ，ｙ）、Ｐ90（ｘ，ｙ）、Ｐ135（ｘ，ｙ）とする。ここで、距離情報１０３のＤ（ｘ，ｙ）と、Ｐi（ｘ，ｙ）とを比べたときに、どちらかのデータ点列が他方に対して疎であるときは、線形補完を行ってデータ点列が同数となるようにしておく。
【００７１】
＜偏光方位角の算出＞
次に、下記の（２）式によって偏光方位角θを求める。ここで、詳細は、例えば、非特許文献１及び非特許文献２による方法を用いることができる。
【００７２】
【数２】
【００７３】
計測誤差が無ければ、偏光方位角θは、計測面の法線の方位と一致する。
図６は、撮像対象の物体表面の法線の方位角及び傾きの一例を示す模式図である。
ここで、計測面の法線の方位というのは、図６（ａ）に示すように、撮像対象６０２ａの表面の法線ｎを三次元画像撮像装置１００の結像面６０１ａに透視投影したときの結像面上のｎ´の方位角θである。
【００７４】
図７は、三次元物体について偏光方位角と偏光度の観測例を示す模式図である。また、図８は、計測された距離情報１０３と偏光解析情報１０５とに基づいて、距離画像１０６を生成した結果の一例を示す模式図である。
【００７５】
ここで、三次元物体について偏光方位角を観測した観測例を図７（ａ）に示す。ここでは、偏光方位角を画像の輝度で表示している。なお、図７（ａ）は、図８（ａ）で示される形状の物体を直上から観測した例である。
【００７６】
なお、一般に光源などの映り込みや光沢反射は、距離画像１０６の計測において誤差を起こす要因の１つであるが、偏光方位角の情報には、ほとんど影響を与えない特性がある。そのため、偏光方位角を用いれば、映り込みや反射に影響されずに表面の法線の方位を計測することが可能である。
【００７７】
＜偏光度の算出＞
次に、下記の（３）式によって偏光度ρ（直線偏光度）を求める。ここで、詳細は、例えば、非特許文献２による方法を用いることができる。
【００７８】
【数３】
【００７９】
ここで、偏光度の観測例を図７（ｂ）に示す。ここでは、偏光度の大きさを画像の輝度で表示している。
【００８０】
＜傾斜角の推定＞
図９は、撮像対象の物体表面の法線の傾きの一例を示す模式図である。
図６（ｂ）と図９に図示するように、観測面の法線の傾きをφと定める。このとき、観測面の法線の傾きφと偏光度ρの間には、以下の（４）式に示す関係があることが知られている。
【００８１】
【数４】
【００８２】
ただし、（４）式のｎは、撮像対象の表面の素材の屈折率である。撮像対象が非透明物体の場合、屈折率ｎではなく複素屈折率ｎ＾＝ｎ−ｉｋを用いる必要がある。ここでｋは、減衰係数である。もし複素屈折率が充分に大きく、｜ｎ＾｜2＝ｎ2＋ｋ2＞＞１と見なせるときは、以下の（５）式に示す、性質のよい近似式が存在することが、例えば非特許文献１で示されている。
【００８３】
【数５】
【００８４】
図１０は、（５）式において、ｎ＝１．６、ｋ=５としたときの偏光度ρと物体表面の法線の傾きφとの関係の一例を示す模式図である。
撮像手段に対して物体の表面が正対しているとき（撮像手段の撮像面と観測面が並行に位置し、観測面の法線と撮像手段の光軸とが一致しているとき）の偏光度は、ρ（０）＝０である。そして、観測面の傾斜角φの増加と共に偏光度ρは増加する。偏光度ρは、ある角度で最大値に達した後に減少して９０度でρ（９０）＝０に至る。上記最大値の角度φ0のことをブリュースター角と呼ぶ。一般に、偏光度ρに対する傾斜角φは、図１０に示すように二価の関数であり、一意に決まらずに、１つのρに対してφ+とφ-の２つの値が対応する。
【００８５】
＜表面形状の復元＞
次に、以下に、偏光解析結果から撮像対象の表面形状を推定する方法を述べる。
一般に、事前に撮像対象の観測表面の複素屈折率を知ることはできないため、適当な値を推定して複素屈折率の値として代表する。ここでは、例えば、ｎ＝１．６、ｋ=５とおく。このときのブリュースター角φ0は、７９．３９である。なお、後述するように、距離情報Ｄと偏光度ρから、屈折率の光学パラメーターｎ、ｋを推定する方法も考えられる。また、二価関数の多価性を回避するために、偏光度を下記の（６）式のように近似して一価の関数とする。
【００８６】
【数６】
【００８７】
ここで（６）式において、αは適当な正の係数である。次に、逆関数ρ-1を数値的に解いて参照テーブルを用意する。これによって任意の偏光度ρに対する物体表面の法線の傾きφを算出可能にする。
【００８８】
続いて、物体表面のｘ方向とｙ方向の傾きを（ｖ，ｗ）とすると、法線の傾きφと法線の方位θから、下記の（７）式を計算することができる。
【００８９】
【数７】
【００９０】
正負の符合があるのは、方位θにおいて法線がとりうる方向には１方向あり、一意には決まらないからである。ただし、これは、距離情報の勾配Ｄx（ｘ，ｙ），Ｄy（ｘ，ｙ）の符合から容易にどちらかに決定できる。もしくは、（Ｄx,Ｄy）と（ｖ，ｗ）の内積を計算し、その符号から決定してもよい。このように法線の方位θの推定の曖昧性をなくすことができるのは、距離情報１０３と偏光解析情報１０５の両方を扱う本実施形態に係る三次元画像撮像装置１００の利点の１つである。
【００９１】
続いて、受光素子の画素ごとに得られている（ｖ，ｗ）の値から撮像対象の全体としての表面の形状を推定する。
【００９２】
（ｖ，ｗ）を画像の全領域で積分することで、撮像対象の相対的な高さの分布Ｈ（ｘ，ｙ）を復元することができるが、この方法ではノイズに対して弱いので、以下の（８）式に示すエネルギー関数を最小化するような分布を求めてＨ（ｘ，ｙ）とする。
【００９３】
【数８】
【００９４】
（８）式に示すエネルギー関数を最小化する方法として、以下の（９）式を用いた緩和法による解法が知られている（詳細は、例えば、非特許文献３を参照）。
【００９５】
【数９】
【００９６】
これを一定回数もしくは値が収束するまで計算してＨ（ｘ，ｙ）を得る。以上が、偏光解析による表面形状の推定になる。
【００９７】
図１１は、本発明の第１の実施形態を示し、偏光解析手段１４０による偏光解析処理の処理手順の一例を示すフローチャートである。
【００９８】
偏光解析手段１４０は、上述したように、以下のステップＳ１０１〜Ｓ１０４を行う。
まず、ステップＳ１０１において、偏光成分データ１０４から、偏光度ρ（ｘ，ｙ）と偏光方位角θ（ｘ，ｙ）を求める。続いて、ステップＳ１０２において、関数ρ（φ）を利用して偏光度ρから観測面の法線の傾きφを求める。続いて、ステップＳ１０３において、求めた観測面の法線の傾きφと偏光方位角θから、物体表面のｘ方向とｙ方向の傾きである（ｖ，ｗ）を求める。続いて、ステップＳ１０４において、（ｖ，ｗ）から緩和法により観測対象の相対的な高さの分布Ｈ（ｘ，ｙ）を求める。
【００９９】
なお、法線の傾きφと偏光度ρについては、前述したように、一価関数で近似することなく、例えば、二価の関数を用いて形状を復元する方法も考えられる。例えば、上述した（８）式の緩和法の計算中に、下記の（１０）式のような関数の最小化も行ってＨの値を逐次更新するようにしてもよい。
【０１００】
【数１０】
【０１０１】
ただし、（１０）式におけるφ-、φ+は、偏光度ρに対応する二価の観測表面の法線の傾きである。Ｈ（φ-），Ｈ（φ+）は、それぞれ法線の角度をφ+として求めたときの高さＨと、法線の角度をφ-として求めたときの高さＨを示す。
【０１０２】
＜距離情報と偏光解析情報の統合＞
次に、偏光解析によって得られた相対的な高さの分布、即ち、物体の表面形状情報であるＨ（ｘ，ｙ）と、距離情報Ｄ（ｘ，ｙ）とを統合する方法について述べる。
【０１０３】
＜外乱成分の除去＞
例えば距離画像生成手段１５０は、光沢面などを測定する際に、距離情報１０３に０次反射成分などに由来する外れ値が混入することがあるため、まず、これを除去する。この場合、偏光方位角θの情報については、反射成分の影響が小さいので、距離情報１０３にのみ不連続性が現れ、偏光方位角θは連続的である。この性質を利用し、ここでは、例えば、非特許文献４に記載のＧｅｒｍａｎらの線過程を利用した方法により外乱成分を除く方法を述べる。
【０１０４】
一例として、エネルギー関数を下記の（１１）式のように置く。
【０１０５】
【数１１】
【０１０６】
ここで、式（１１）のＤ^は、Ｄから外乱成分を除いた距離の推定値である。また、ｌ＝｛０，１｝で、これは画素が外乱成分のときは１を、外乱成分でないときは０をとるような不連続性を表す状態変数である。また、λ1，λ2，λ3は各正則項の正の係数である。正則項は、それぞれ左から、推定値Ｄ^がＤと同一になるようにする項、表面形状が滑らかなときに外乱と判別しやすくする項、外乱と判別する頻度を抑える項である。なお、∇2は、ラプラシアン作用素であり、二階微分値を用いて、下記の（１２）式と定義する。
【０１０７】
【数１２】
【０１０８】
また、この（１２）式を最小化するには、状態変数１を連続関数として、下記の（１３）式のように近似する。
【０１０９】
【数１３】
【０１１０】
そして、下記の（１４）式及び（１５）式のようにｕとＤ^の動作式を定め、繰り返し計算を行ってエネルギー最小値を与えるｕおよび距離Ｄ^を求める。
【０１１１】
【数１４】
【０１１２】
ただし、ηは動作式の速度を決める係数、τはシグモイド連続関数の係数であり、それぞれ適当な値を決める。また、より簡易で計算コストの低い他の方法の一例として、以下のような方法も挙げられる。Ｄ（ｘ，ｙ）とＨ（ｘ，ｙ）の二階微分値を用いて、下記の（１６）式のように画素ごとのエネルギー関数を定義する。
【０１１３】
【数１５】
【０１１４】
そして、このエネルギー関数の値を、下記の（１７）式に示す閾値δと比較して外乱か否かを判定する。
【０１１５】
【数１６】
【０１１６】
そして、外乱と判別された領域を除去し、周囲の画素情報の中央値で充填（補完）する。もしくは、周囲の画素情報を用いて線形補完を行ってもよい。なお、表面形状情報Ｈが外乱により誤差を含み、距離情報Ｄは、外乱による影響を受けないような状況にも対応できるように、判別関数を下記の（１８）式のようにしてもよい。
【０１１７】
【数１７】
【０１１８】
（１８）式は、ＤもしくはＨのどちらか一方に不連続値があり、他方が滑らかであった場合に大きな値を取る関数である。
【０１１９】
＜領域分割＞
一般に、三次元画像撮像装置１００から見えない鉛直及び鉛直以上の傾きの面については、偏光解析を行うことができない。このため、偏光解析によって復元される表面形状情報Ｈは、図８（ｃ）のように、物体間の高低差の無い表面形状のみを表すような情報となっている。そこで、距離画像生成手段１５０では、画像中の領域を分割し、領域ごとに表面形状情報２０５と距離情報１０３の統合を行うことで表面形状Ｈの高さの補正を行う。
【０１２０】
この際、領域分割は、ＨおよびＤの不連続点で分割するのが望ましい。領域分割の方法には多数の方法があるが、１つの例として、例えば、非特許文献５に示すようなグラフカット法を用いることが挙げられる。
【０１２１】
グラフカット法は、最大流量最小カット問題を解くことによって、領域を分割する方法である。グラフカット法では、画素ｉと画素ｊをグラフのノードとしてノード間の辺の重みを定義する必要がある。例えば、ノードｉとノードｊとの間の辺の重みを画素間の高低差及び画素間の空間距離を用いて、下記の（１９）式のように定義する。
【０１２２】
【数１８】
【０１２３】
なお、（１９）式に示すλ1とλ2は、適当な係数である。また、ｄｉｓｔ（ｉ，ｊ）は、画素ｉと画素ｊの空間的な距離であり、例えば、画素間のユークリッド距離とする。これに基づいて、グラフカット法で解けば全体として高低差の大きな境界で領域が切断されるようなセグメンテーションが実行される。
【０１２４】
図１２は、本発明の第１の実施形態を示し、領域分割処理の処理手順の一例を示すフローチャートである。例えば、距離画像生成手段１５０は、以下のステップＳ２０１〜Ｓ２０５に係る領域分割処理を行う。
【０１２５】
まず、ステップＳ２０１において、最も距離の遠い画素とその周辺領域（近傍領域）を背景領域のシードとする。続いて、ステップＳ２０２において、未分割の画素領域のうち、最も距離の近い画素とその近傍を前景領域のシードとしてセグメンテーションを行う。続いて、ステップＳ２０３において、グラフカットアルゴリズムによって、背景領域と前景領域とを分割する。続いて、ステップＳ２０４において、前景領域として分割された領域をｉ番目の領域として記憶して、画像からその領域を除外する。続いて、ステップＳ２０５において、全ての画素の領域が分割されたか否かを判断し、全ての画素の領域については分割されていない場合には、ｉ←ｉ＋１として、ステップＳ２０２に戻り、ステップＳ２０２以降の処理を再度行う。一方、ステップＳ２０５の判断の結果、全ての画素の領域が分割された場合には、図１２に示すフローチャートの処理を終了する。
【０１２６】
また、他の領域分割手法の例としては、外乱成分の除去で上述した線過程を用いる方法でもよい。またグラフカットの代わりに、例えば、非特許文献６に示すバイラテラルフィルタを複数回適応して距離情報Ｄを量子化する方法でもよい。
【０１２７】
＜表面形状情報に対する高さの補正＞
本実施形態に係る三次元画像撮像装置１００−１Ａ及び１００−１Ｂの場合、上述したような方法で分割された領域Ｄ＝｛Ｄ1，Ｄ2，…，Ｄn｝ごとに領域の平均的な高さを求める。一例として領域の中央値を用いる。Ｈについても同様に、各領域Ｈ＝｛Ｈ1，Ｈ2，…，Ｈn｝について領域ごとに中央値を計算する。これらを用いて高さを補正した領域ｉの表面形状Ｈ〜i（ｘ，ｙ）を下記の（２０）式を用いて求める。
【０１２８】
【数１９】
【０１２９】
これを全ての領域Ｈについて行う。ただし、ｍｅｄは中央値をとることを意味する。以上の計算により、絶対的な高さ情報を含んでいないＨ（ｘ，ｙ）から高さの情報が付与されたＨ〜i（ｘ，ｙ）が得られる。
【０１３０】
なお、ここでは領域の中央値を用いて高さの補正を行ったが、例えば、非特許文献７に示すロバスト推定のＭ−ｅｓｔｉｍａｔｏｒの手法を用いて、下記の（２１）式のエネルギー関数を最小化するようなフィッティングを行ってもよい。
【０１３１】
【数２０】
【０１３２】
ここで、（２１）式のｑ（ｅ）は、ｅ＝０で唯一の最小値を持つ正定値偶関数である。もし、ｑ（ｅ）＝ｅ2ならば、（２１）式は、最小二乗法と等しくなる。関数ｑとして、例えば、下記の（２２）式を用いれば、フィッティングにおいて外れ値の影響を低減させることができる。
【０１３３】
【数２１】
【０１３４】
ここで、（２２）式のｋは定数である。また、関数ｑについて、エネルギー関数を最小とするｈiが解析的に求められる場合は求める。一方、エネルギー関数を最小とするｈiが解析的に求められない場合は、下記の（２３）式を用いて、微分動作式の繰り返し計算によってエネルギー関数の最小化を行ってｈiを求める。ここで、ηは適当な係数である。
【０１３５】
【数２２】
【０１３６】
＜距離情報と表面形状情報の統合＞
次に、距離画像生成手段１５０は、距離情報Ｄ（１０３）と高さ補正後の表面形状情報Ｈ〜（２０５）の統合を行う。この際、例えば、非特許文献７に示すロバスト推定のＭ−ｅｓｔｉｍａｔｏｒの方法を用いて、画像上の各点ごとに、下記の（２４）式に示すエネルギー関数の最小値を与えるような推定値Ｄ^を求める。
【０１３７】
【数２３】
【０１３８】
ただし、（２４）式のｑは上述の正定値偶関数である。また、エネルギー関数の最小化の方法は、上述した方法と同じである。また、関数ｇは、Ｄ^の不連続性を抑制する正則項である。関数ｇの例としては、下記の（２５）式が考えられる。
【０１３９】
【数２４】
【０１４０】
また、例えば、関数ｇの例としては、下記の（２６）式も考えられる。
【０１４１】
【数２５】
【０１４２】
なお、ここで用いたロバスト推定の方法以外の態様の例としては、最小二乗誤差を用いて求めてもよい。また、別の態様の例としては、単純に距離情報Ｄと表面形状情報Ｈ〜の幾何平均もしくは算術平均の結果を距離の推定値Ｄ^としてもよい。また、別の態様の例としては、表面形状情報Ｈ〜の値をそのまま距離の推定値Ｄ^としてもよい。また、別の態様の例としては、距離情報Ｄと表面形状情報Ｈ〜を信頼度で重みづけした平均値を距離の推定値Ｄ^としてもよい。ここで、信頼度としては、例えば、距離情報の連続性を用いて、連続性の高い側の値に高い信頼度の重みを与えてもよい。一例として、下記の（２７）式のようになる。
【０１４３】
【数２６】
【０１４４】
以上のような方法によって、距離画像生成手段１５０は、推定したＤ^を距離画像１０６として出力する。上述したように、生成された距離画像１０６の一例は、図８に示されている。図８（ａ）は、撮像対象の元の三次元形状であり、図８（ｂ）は、ＴＯＦによって計測された距離情報Ｄ（１０３）、図８（ｃ）は、偏光解析によって得られた表面形状情報Ｈ（２０５）である。また、図８（ｄ）は、外乱の除去と領域分割を行い、領域ごとに表面形状情報Ｈの高さを推定してＨ〜を求めた後に、距離情報Ｄと表面形状情報Ｈを統合して復元された距離画像である。この図８（ｄ）では、図８（ｂ）に示す距離情報Ｄにあるような誤差や外乱が除去され、表面形状が復元されていることがわかる。
【０１４５】
図１３は、本発明の第１の実施形態を示し、距離画像生成手段１５０による距離情報Ｄ（１０３）と表面形状情報Ｈ（２０５）との統合処理の処理手順の一例を示すフローチャートである。
【０１４６】
距離画像生成手段１５０は、上述したように、以下のステップＳ３０１〜Ｓ３０４を行う。
まず、ステップＳ３０１において、線過程を用いて、距離情報Ｄの外乱を除く。続いて、ステップＳ３０２において、距離情報Ｄと表面形状情報Ｈの不連続点で領域を分割する。続いて、ステップＳ３０３において、領域ごとに、表面形状情報Ｈを距離情報Ｄにフィッティングさせる。続いて、ステップＳ３０４において、例えば、ロバスト推定により、表面形状情報Ｈと距離情報Ｄの両方にフィットする値を求めて、これを統合結果（即ち、距離画像１０６）とする。
【０１４７】
＜領域分割を行わない形状の統合＞
距離情報Ｄ（１０３）を推定する方法において、より計算コストの少ない派生的な別の一態様として、領域分割を行わない方法について以下に説明する。ここでは、外乱成分の除去の方法として、（１１）式〜（１５）式にかけて示した線過程と同じ枠組みを用いる。
【０１４８】
まず、距離情報Ｄ（ｘ，ｙ）と表面形状情報Ｈ（ｘ，ｙ）をフィッティングし、高さの差ｈ（ｘ，ｙ）を求める。ここで、画素が不連続な境界に位置するか否かを示す状態変数をｌ（ｘ，ｙ）とする。ｈ（ｘ，ｙ）が滑らかな値を採るときには、低いエネルギーの値を与え、不連続な境界を跨ぐ時は滑らかさの制約をキャンセルする。さらに、不連続点と見なされる画素は、なるべく少なくするような制約を置く。一例として、エネルギー関数を下記の（２８）式のように定義する。
【０１４９】
【数２７】
【０１５０】
なお、（２８）式のλ1、λ2、λ3は、各正則項の正の係数である。これを最小化するパラメーターｈ（ｘ，ｙ）とｌ（ｘ，ｙ）を求めるためには、ｌ（ｘ，ｙ）を（１３）式で述べたように連続値で近似し、エネルギー関数をそれぞれのパラメーターで偏微分して動作式を立て、繰り返し法で求めればよい。なお、（２８）式に境界同士の相互作用の項を加えて、境界の孤立点や不要な枝分かれが生成されるのを防ぐようにしてもよい。
【０１５１】
図１４は、本発明の第１の実施形態を示し、距離画像生成手段１５０による距離情報Ｄ（１０３）と表面形状情報Ｈ（２０５）との統合処理の処理手順の他の例を示すフローチャートである。
【０１５２】
本例では、距離画像生成手段１５０は、上述したように、以下のステップＳ４０１〜Ｓ４０２を行う。
まず、ステップＳ４０１において、線過程を用いて、連続性が保存され、不連続点では高さのギャップを許すように、表面形状情報Ｈを距離情報Ｄにフィッティングさせる。続いて、ステップＳ４０２において、距離情報Ｄにフィッティングした表面形状情報Ｈをもって、距離情報Ｄと表面形状情報Ｈとの統合結果（即ち、距離画像１０６）とする。
【０１５３】
＜表面形状の推定を行わない距離情報の推定＞
また、本実施形態において、距離情報と偏光解析結果から距離画像１０６を推定する際に、より計算コストの少ない派生的な別の一態様として、領域分割及び偏光解析による表面形状の推定を行わない方法も考えられる。具体的な手順としては、距離情報Ｄ（１０３）が不連続で偏光解析情報が連続的であるような領域を検知し、外乱として除去して補完する。この方法は、計算コストが低く、主に反射成分による外乱を除去する効果がある。一例として、下記の（２９）式のように、距離情報Ｄの連続性の評価値を設ける。
【０１５４】
【数２８】
【０１５５】
そして、この（２９）式に示す評価値が所定の閾値を超える領域については、外乱と判定して除去し、周囲の距離情報の中央値で補填する。そして、最終的に、得られた距離情報Ｄを距離画像１０６として出力する。
【０１５６】
＜偏光度と距離情報からの屈折率の推定＞
上述した例では、撮像対象の物体表面の複素屈折率は、適当な値を所与のものとして採用するとしたが、一方で偏光度ρと距離情報Ｄから複素屈折率を推定する態様も考えられる。その場合、まず、グラフカット等の方法で領域分割を行い、領域中の複素屈折率は、一様であると仮定する。ここで、（４）式から（５）式にかけて説明したように、光学パラメーターはｎとｋの二つの値であるため、領域中の２点の偏光度ρと距離情報Ｄの値を代入して解けば複素屈折率が解析的に求まる。しかしながら、この方法では、測定誤差の影響を強く受けるために、領域中の複数点についての計測値の複数の組（ρi，Ｄi）を用いて、以下の（３０）式により最小化を行う。
【０１５７】
【数２９】
【０１５８】
ただし、φ^iは、距離情報Ｄから求められる画素ｉにおける物体表面の法線の傾き、φiは、偏光度がρiであるときの物体表面の法線の傾きである。（３０）式の最小化を行う方法の一例としては、例えば（φ^i−φi）2＝０と置き、所定の数Ｆだけρiとφ^iの値を観測中の領域からランダムサンプリングし、Ｆ組のｎとｋの関係式を立てる。そして、得られた２つの変数の解を用いて二次元空間に投票（反映）する。これによって、最多投票を得た値のｎとｋを推定値とする。
【０１５９】
また、この際、非特許文献８に示すＬＭｅｄＳ推定の手法を用いてもよい。この場合は、上述した推定値の算出をＮ回繰り返し、Ｎ個の推定値のうち、下記の（３１）式のＬＭｅｄＳ基準によって光学パラメーター値ｎ、ｋを評価し、最良のパラメーター値（最も低い基準値を与える値）をｎ、ｋとして選択すればよい。
【０１６０】
【数３０】
【０１６１】
ただし、（３１）式において、ｍｅｄは中央値をとる操作を表す。これによりノイズに対して頑健に光学パラメーターの推定を行うことができる。
【０１６２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図１５は、本発明の第２の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図１５において、第１の実施形態における三次元画像撮像装置１００と同様の構成については同じ符号を付し、また、以下の説明では、図１５に示す三次元画像撮像装置１００を三次元画像撮像装置１００−２として記載する。
【０１６３】
第２の実施形態の三次元画像撮像装置１００−２は、パターン光方式で測定した撮像対象の距離情報１０３と、偏光光学系によって測定した偏光成分データ１０４とを統合して、距離画像１０６を得るものである。
【０１６４】
図１５に示す三次元画像撮像装置１００−２は、第１の撮像手段１５１０と、第２の撮像手段２２０と、距離算出手段１３０と、欠落領域記憶手段１５２０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０１６５】
第１の撮像手段１５１０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２１３と、第１の受光素子１１３と、パターン生成部１５１１と、投光部１５１２と、変調解析部１５１３を有して構成され、距離計測のための画像を撮像するものである。
【０１６６】
また、第２の撮像手段２２０は、結像光学系２１１と、ビームスプリッタ２１２と、フィルタ２２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。このように、図１５に示す第１の撮像手段１５１０及び第２の撮像手段２２０では、結像光学系２１１とビームスプリッタ２１２とが両方に共通して構成されている。
【０１６７】
本実施形態において、パターン光方式の距離測定の方法は、一般的なパターン光方式と同様の方法を用いることができる。第１の撮像手段１５１０のパターン生成部１５１１では、所定の変調パターン１５０１を生成する。ここで、変調の方法としては、三角関数を複数重ね合わせて強度変調を行ったものや、パルス変調したもの、或いは、例えば、非特許文献９に示すｄｅ＿Ｂｒｕｉｊｎ系列でコード化したものなど様々な態様が考えられる。
【０１６８】
ここで、本例では、２値のｄｅ＿Ｂｒｕｉｊｎ系列に従うビット列［ｃ1，ｃ2，…，ｃn］（ｃ∈｛０，１｝）をコード列として用いる。パターン光の投光部１５１２で各ビットを光の強度に対応させた縦縞状のパターン光１５０２を生成して撮像対象に投光する。例えば、その照射光の強度の範囲を［０〜１］とした場合、ビットの０と１を光の強度の０．５と１に対応させる。投光部１５１２は、結像光学系２１１に対して視差を設けている。
【０１６９】
結像光学系２１１を通って集光した入力光ａ及びｂ（１０１ａ及び１０１ｂ）を無偏光のビームスプリッタ２１２で２つに分け、第１の撮像手段１５１０のフィルタ２１３を通して照射光の波長のみを通過させて第１の受光素子１１３に結像させる。
【０１７０】
そして、変調解析部１５１３において、参照波形１５０３を参照しながら、第１の受光素子１１３で撮像した画像の変調波形２０３に相同なパターン（ビット列）があるかどうかを調べて、１行ずつ復号する。この際、変調解析部１５１３は、各行の各画素［ｘ1，ｘ2，…，ｘm］の１つ１つにその位置で検出されたコード｛ｃ1，ｃ2，…，ｃn｝のいずれかの番号を記録して、これを検出パターン位置情報１５０４として、距離算出手段１３０に出力する。
【０１７１】
このとき、撮像対象の形状によっては、照射光の当たらない陰の部分ができる。前述のように、パターン光のビットの０と１を光の強度の０．５と１に対応させていれば、陰の部分を輝度値がある所定の閾値以下の領域として検出することができる。そして、変調解析部１５１３は、この部分を欠落領域情報１５０５として欠落領域記憶手段１５２０に記憶する。そして、画像の全範囲でこのような復号を行う。
【０１７２】
次に、距離算出手段１３０は、撮像対象上で観測されたパターン光の分布から、撮像対象までの距離を算出する。具体的に、距離算出手段１３０は、コードが検出された位置を元に三角測量の原理により撮像対象までの距離を算出する。
【０１７３】
図１６は、本発明の第２の実施形態を示し、距離算出手段１３０において、パターン光による三角測量の距離算出の原理を説明する模式図である。
図１６では、適当な面を基準面１６０１とする。また、図１６において、画像上の位置１６０２を示す。投光部１５１２から、あるパターン光１５０２のコード（図１６ではｃ3）を角度θで投光するとする。ここで、撮像対象が存在しないときに、基準面１６０１に投光して観測されるコードの位置と、撮像対象の表面上で観測されるコードの位置のｘ方向のズレをΔｘとする。この際、基準面１６０１からの撮像対象の高さΔｚは、以下の（３２）式で求まる。
【０１７４】
【数３１】
【０１７５】
図１７は、本発明の第２の実施形態を示し、距離算出手段１３０において、パターン光による距離算出の際の欠落領域の一例を示す模式図である。図１７に示すように、パターン光１５０２の投光部１５１２と第１の撮像手段１５１０との視差により、パターン光１５０２の欠落領域１７０１が生じている。
【０１７６】
ここで、偏光光学系１２２の構成、及び、偏光成分を解析して撮像対象の表面形状を復元する方法については、第１実施形態で説明した構成と同一である。
【０１７７】
次に、距離画像生成手段１５０は、距離情報１０３と表面形状情報２０５を統合して、距離画像１０６を生成する。この距離情報１０３と表面形状情報２０５との統合については、第１実施形態で説明したものと同様の処理で行われる。ただし、第２の実施形態の場合には、図１７で示したような視差による欠落領域１７０１が生じることがあるため、欠落領域記憶手段１５２０に欠落領域情報１５０５が記憶されている場合には、この欠落領域情報１５０５を用いて、欠落領域１７０１の補完を行う。
【０１７８】
この際、偏光成分の計測には視差がないために、視差による欠落領域１７０１は、表面形状情報２０５を用いて補完することが可能である。本実施形態では、補完の方法の一例として、以下のような方法を用いる。
【０１７９】
本実施形態では、まず、距離情報Ｄ（ｘ，ｙ）の欠落領域１７０１の近傍の画素ｎのみを対象にしてＨ（ｘ，ｙ）をｚ方向に動かして、距離情報Ｄ（ｘ，ｙ）にフィットさせる。そして、フィットした結果より、距離情報Ｄと高さＨの差ｈを求める。続いて、欠落領域１７０１をＨ（ｘ，ｙ）＋ｈによって補完する。具体的には、下記の（３３）式に示す処理を行う。
【０１８０】
【数３２】
【０１８１】
ここで、（３３）式において、ｍｅｄは中央値をとることを意味し、ｎは欠落領域１７０１の所定の距離内の画素である。ただし、ｎは欠落領域１７０１を含まない。また、ｎｕｌｌは、欠落領域１７０１の画素である。
【０１８２】
図１８は、本発明の第２の実施形態を示し、距離画像生成手段１５０による距離情報Ｄ（１０３）と表面形状情報Ｈ（２０５）との統合処理の処理手順の一例を示すフローチャートである。
【０１８３】
距離画像生成手段１５０は、上述したように、以下のステップＳ５０１〜Ｓ５０５を行う。ここで、ステップＳ５０１〜Ｓ５０３は、基本的に、図１３に示すステップＳ３０１〜Ｓ３０３と同様の処理であり、また、ステップＳ５０５は、基本的に、図１３に示すステップＳ３０４と同様の処理である。
まず、ステップＳ５０１において、線過程を用いて、距離情報Ｄの外乱を除く。続いて、ステップＳ５０２において、距離情報Ｄと表面形状情報Ｈの不連続点で領域を分割する。続いて、ステップＳ５０３において、領域ごとに、表面形状情報Ｈを距離情報Ｄにフィッティングさせる。続いて、ステップＳ５０４において、距離情報Ｄに欠落領域１７０１があるときには、表面形状情報Ｈを用いて、欠落領域１７０１の補完を行う。続いて、ステップＳ５０５において、例えば、ロバスト推定により、表面形状情報Ｈと距離情報Ｄの両方にフィットする値を求めて、これを統合結果（即ち、距離画像１０６）とする。
【０１８４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１９は、本発明の第３の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図１９において、第１の実施形態における三次元画像撮像装置１００と同様の構成については同じ符号を付し、また、以下の説明では、図１９に示す三次元画像撮像装置１００を三次元画像撮像装置１００−３として記載する。
【０１８５】
第３の実施形態の三次元画像撮像装置１００−３は、測距センサ方式で測定した撮像対象の距離情報１０３と、偏光光学系１２２によって測定した偏光成分データ１０４とを統合して、距離画像１０６を得るものである。ここで、本実施形態における測距センサは、例えば、特許文献３で示されているような一般的な測距センサの構成からなるものである。
【０１８６】
図１９に示す三次元画像撮像装置１００−３は、第１の撮像手段１９１０と、第２の撮像手段１９２０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０１８７】
第１の撮像手段１９１０は、結像光学系１９１１と、ビームスプリッタ１９１２と、セパレータレンズ１９１３と、第１の受光素子１９１４ａ及び１９１４ｂと、視差検出部１９１５を有して構成され、距離計測のための画像を撮像するものである。ここで、セパレータレンズ１９１３は、例えば、測距用光学系を構成する。図１９に示す例では、セパレータレンズ１９１３は、２つの像を結ぶ光学系（１９１３ａ及び１９１３ｂ）で構成されているが、本発明においてはこれに限定されるものではなく、２つ以上の像の光学系で構成されていればよい。また、視差検出部１９１５は、例えば、当該２つ以上の像の結像位置から視差情報１９０４を検出する。
【０１８８】
また、第２の撮像手段１９２０は、結像光学系１９１１と、ビームスプリッタ１９１２と、偏光光学系１２２と、第２の受光素子１２３を有して構成され、偏光成分計測のための画像を撮像するものである。このように、図１９に示す第１の撮像手段１９１０及び第２の撮像手段１９２０では、結像光学系１９１１と、ビームスプリッタ１９１２とが両方に共通して構成されている。
【０１８９】
＜測距センサの原理＞
ここで、測距センサの原理について図１９及び図２０を用いて説明する。
図２０は、本発明の第３の実施形態を示し、測距センサの原理の一例を示す模式図である。
【０１９０】
撮像対象を観測すると、結像光学系１９１１で集光された入力光１９０１は、ビームスプリッタ１９１２で分割されて第１の撮像手段１９１０の測距センサへと導かれる。続いて、第１の撮像手段１９１０に導かれた光は、セパレータレンズ１９１３の各セパレータレンズ１９１３及び１９１３ｂによってレンズの右側及び左側を通った光に分けられる。そして、セパレータレンズ１９１３によって２つに分けられた光は、それぞれ、第１の受光素子１９１４ａ及び１９１４ｂ上に像として結像する。
【０１９１】
そして、第１の受光素子１９１４ａ及び１９１４ｂで検出された２つの受光信号１９０３ａ及び１９０３ｂのうち、本例では、受光信号１９０３ａを基準信号とし、受光信号１９０３ｂを参照信号とする。今、基準信号１９０３ａが第１の受光素子１９１４ａのＣの位置で計測されているとする。この際、撮像対象が焦点面に位置するならば、参照信号１９０３ｂも第１の受光素子１９１４ｂ上のＣの位置で検出される。
【０１９２】
また、撮像対象が焦点面の後方にある場合、参照信号１９０３ｂは、第１の受光素子１９１４ｂ上のＡ側（図２０）にずれた位置で検出される。また、撮像対象が焦点面の前方にある場合、参照信号１９０３ｂは、第１の受光素子１９１４ｂ上のＥ側（図２０）にずれた位置で検出される。視差検出部１９１５では、この視差量を受光素子１９１４上の各画素個々について求めれば、第２の受光素子１２３で撮像された画像中のＡ〜Ｅに対応する個々の位置において焦点面からの相対的な奥行きを得ることができる。ただし、測距センサは、基線長がレンズの直径以下に制限されること、焦点面から大きく外れると受光信号がボケて視差量の計測が難しくなることなどから、一般に検出の精度は限定される。
【０１９３】
ここで、図２０について説明する。
まず、結像光学系１９１１の焦点を撮像対象に合わせる。ここでは、一般に広く用いられているような自動焦点機構を用いて自動的に焦点を合わせてもよいし、手動で合わせてもよい。続いて、ビームスプリッタ１９１２により、第１の撮像手段１９１０と第２の撮像手段１９２０とに、それぞれ光を分割して導く。
【０１９４】
図２０において、各セパレータレンズ１９１３ａ及び１９１３ｂによって、各受光素子１９１４ａ及び１９１５ｂ上に複数の像が結像される。そして、各受光素子１９１４ａ及び１９１５ｂで受光した受光信号１９０３ａ及び１９０３ｂは、視差検出部１９１５に送られ、そこで視差が検出される。視差検出部１９１５では、２つの受光信号（１９０３ａ及び１９０３ｂ）から適当な波長の交流成分を抽出した後、波形を比較して視差として位相差を検出する。なお、この際、視差検出部１９１５において、交流成分の抽出をせずに、相互相関を計算して位相差を求めてもよい。
【０１９５】
そして、距離算出手段１３０では、視差検出部１９１５で検出された視差（位相差）に係る視差情報１９０４に基づいて、焦点面からの相対距離を算出する。ここで、距離算出手段１３０は、結像光学系１９１１のレンズ繰り出し量１９０２と、焦点面までの距離情報との対応表を予め記憶しておく。距離算出手段１３０は、この対応表を用いて、レンズ繰り出し量１９０２から現在の焦点位置までの距離情報を算出する。そして、距離算出手段１３０は、算出した距離情報と、視差情報１９０４から求めた相対距離情報とを足すことによって、撮像対象における画素ごとの絶対距離である距離情報１０３を算出する。
【０１９６】
また、第２の撮像手段１９２０による偏光成分の計測と、偏光解析手段１４０による偏光解析に関しては、第１の実施形態で示したものと同一の方法を行う。また、反射成分による外乱を取り除く方法についても、第１の実施形態で示したものと同一のものを行う。
【０１９７】
そして、距離画像生成手段１５０は、偏光解析情報１０５に基づく表面形状情報２０５と、距離算出手段１３０で求められた距離情報１０３とを統合して距離画像１０６を生成する。この距離画像１０６の具体的な生成方法についても、第１の実施形態で説明した方法と同一の方法を用いる。
【０１９８】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図２１は、本発明の第４の実施形態に係る三次元画像撮像装置１００の概略構成の一例を示す模式図である。なお、図２１において、第１の実施形態等における三次元画像撮像装置１００と同様の構成については同じ符号を付し、また、以下の説明では、図２１に示す三次元画像撮像装置１００を三次元画像撮像装置１００−４Ａとして記載する。
【０１９９】
図２１に示す三次元画像撮像装置１００−４Ａは、ステレオ方式で測定した撮像対象の距離情報１０３と、偏光光学系１２２によって測定した偏光成分データ１０４とを統合して、距離画像１０６を得るものである。
【０２００】
図２１に示す三次元画像撮像装置１００−４Ａは、第１の撮像手段２１１０と、第２の撮像手段２１２０（１２０）と、視差検出手段２１３０と、欠落領域記憶手段２１４０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０２０１】
第１の撮像手段２１１０は、第１の結像光学系１１１と、第１の受光素子１１３を有して構成される。また、第２の撮像手段２１２０は、第２の結像光学系１２１と、偏光光学系１２２と、第２の受光素子１２３を有して構成される。
【０２０２】
第１の結像光学系１１１によって集光された入力光ａ（１０１ａ）は、第１の受光素子１１３で受光される。そして、第１の受光素子１１３で検出した輝度情報２１０１ａは、ステレオ法による距離計測のための基準画像となる。偏光成分の計測、更には距離計測
を兼ねる第２の結像光学系１２１によって集光された入力光ｂ（１０１ｂ）は、偏光光学系１２２を通過した後、第２の受光素子１２３に結像する。第２の受光素子１２３で計測した信号のうち、偏光成分データ１０４は、偏光解析手段１４０に送られる。同時に、第２の受光素子１２３において、偏光成分を平均化した画像を輝度情報２１０１ｂとして、視差検出手段２１３０に送られる。この偏光成分を平均化した画像（輝度情報２１０１ｂ）は、ステレオ法による距離計測のための参照画像となる。
【０２０３】
続いて、視差検出手段２１３０は、第１の撮像手段２１１０から出力された輝度情報２１０１ａと、第２の撮像手段２１２０から出力された輝度情報２１０１ｂとを比較して対応する点を求め、画素ごとに視差を算出（検出）する。ここで、対応点の探索の方法は、一般的なステレオ法の手法を用いることができる。視差検出手段２１３０は、輝度コントラストが存在しない或いは変化が緩やかで対応点が検出されなかった領域やステレオ法に特有な視差による遮蔽が存在する領域に関しては、欠落領域１７０１として欠落領域記憶手段２１４０に欠落領域情報２１０３を記憶する。
【０２０４】
続いて、距離算出手段１３０は、視差検出手段２１３０からの視差情報２１０２に基づいて、撮像対象との距離に係る距離情報１０３を算出する。なお、偏光解析手段１４０による偏光解析情報１０５及び形状復元手段２３０による表面形状情報２０５の生成や、距離情報１０３と表面形状情報２０５を統合するための方法については、第１の実施形態と同様の方法を用いることができる。また、欠落領域情報２１０３に基づく欠落領域１７０１の補完の方法については、第２の実施形態と同様の方法を用いることができる。
【０２０５】
図２２は、本発明の第４の実施形態に係る三次元画像撮像装置１００の概略構成の他の例を示す模式図である。なお、図２１に示す構成と同様の構成については同じ符号を付し、また、以下の説明では、図２２に示す三次元画像撮像装置１００を三次元画像撮像装置１００−４Ｂとして記載する。
図２１に示す三次元画像撮像装置１００−４Ａは、第１の撮像手段２２１０と第２の撮像手段２２２０の双方に偏光光学系を備えるものである。
【０２０６】
図２２に示す三次元画像撮像装置１００−４Ｂは、第１の撮像手段２２１０と、第２の撮像手段２２２０と、偏光解析手段１４０ａ及び１４０ｂと、視差検出手段２２３０と、欠落領域記憶手段２１４０と、距離算出手段１３０と、偏光解析手段１４０と、形状復元手段２３０と、距離画像生成手段１５０を有して構成されている。
【０２０７】
図２２に示す三次元画像撮像装置１００−４Ｂでは、２つの撮像手段（２２１０及び２２２０）で計測された偏光成分データ１０４ａ及び１０４ｂのそれぞれについて、偏光解析手段１４０ａ及び１４０ｂで偏光解析を行う。そして、偏光解析手段１４０ａ及び１４０ｂでは、それぞれ、偏光度ρ（ｘ，ｙ）及び偏光方位角φ（ｘ，ｙ）を求めて偏光解析情報１０５ａ及び１０５ｂを生成し、これを視差検出手段２２３０に送る。
【０２０８】
視差検出手段２２３０では、偏光度と偏光方位角の偏光解析情報１０５ａ及び１０５ｂを用いて、２つの画像の対応点を探し、視差を検出する。そして、視差検出手段２２３０は、検出した視差に係る視差情報２１０２を距離算出手段１３０に送信する。なお、距離算出手段１３０において、視差情報２１０２から距離情報１０３を算出する方法、並びに、距離画像生成手段１５０において、距離情報１０３と偏光解析による表面形状情報２０５との統合の方法は、図２１で説明した方法と同一である。
【０２０９】
図２２に示す三次元画像撮像装置１００−４Ｂでは、輝度の変化に乏しいが偏光成分には大きな変化があるような表面特性を持つ撮像対象や、反射率が高くて映りこみが存在するような撮像対象に対して、距離計測の精度を向上させる効果がある。具体的には、このような撮像対象に対して、視差検出のための正しい対応点の手がかりを増やすことで、距離計測の精度を向上させる効果がある。なお、本実施形態では、偏光度と偏光方位角のみで対応点を探索して視差を検出したが、偏光成分を平均化して得られる輝度情報も手掛かりとして加えて視差を検出してもよい。
【０２１０】
（本発明の他の実施形態）
前述した本発明の各実施形態に係る三次元画像撮像装置１００の制御方法を示す図１１〜図１４及び図１８の各ステップは、例えば、コンピュータのＣＰＵがＲＡＭやＲＯＭなどに記憶されたプログラムを実行することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【０２１１】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０２１２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１１〜図１４及び図１８に示すフローチャートに対応したプログラム）を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０２１３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２１４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０２１５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０２１６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０２１７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２１８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２１９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２２０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２２１】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【０２２２】
本発明に係る三次元画像撮像装置１００は、例えば、製造工程の自動化において必要となる部品の三次元計測装置としての利用可能性がある。また、距離画像を動画として記録するような構成が可能なため、セキュリティカメラとしての利用可能性もある。
【符号の説明】
【０２２３】
１００：三次元画像撮像装置、１０１ａ，１０１ｂ：入力光、１０２：計測データ、１０３：距離情報、１０４：偏光成分データ、１０５：偏光解析情報、１０６：距離画像、１１０：第１の撮像手段、１１１：第１の結像光学系、１１２：測距用光学系、１１３：第１の受光素子、１２０：第２の撮像手段、１２１：第２の結像光学系、１２２：偏光光学系、１２３：第２の受光素子、１３０：距離算出手段、１４０：偏光解析手段、１５０：距離画像生成手段
【特許請求の範囲】
【請求項１】
撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、
前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出手段と、
偏光成分を計測するための画像を撮像する第２の撮像手段と、
前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析手段と、
前記距離算出手段で算出された距離に係る距離情報と、前記偏光解析手段で解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成手段と
を有することを特徴とする撮像装置。
【請求項２】
前記第１の撮像手段は、第１の結像光学系と、第１の受光素子を含み構成されており、
前記第２の撮像手段は、第２の結像光学系と、偏光光学系と、第２の受光素子を含み構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の撮像手段は、測距用光学系を更に含み構成されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記偏光光学系は、偏光方向の異なる微小領域である複数の偏光子を有して構成され、かつ、前記第２の結像光学系と前記第２の受光素子との間に配置されており、
前記複数の偏光子は、前記第２の結像光学系からの光をそれぞれ異なった偏光方向に偏光して、前記第２の受光素子に導くことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第１の結像光学系と前記第２の結像光学系は、１つの光学系によって兼ねられ、光軸を同一とすることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の受光素子と前記第２の受光素子とが同一の面上に配置されていることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の受光素子と前記第２の受光素子が一種類の受光素子によって兼ねられることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記偏光光学系は、偏光方向の異なる微小領域である複数の偏光子を有して構成され、前記偏光子と、前記測距用光学系における測距用の光学素子とが同一の面上に配置されていることを特徴とする請求項３に記載の撮像装置。
【請求項９】
前記第１の撮像手段は、前記撮像対象に照射光を投光する投光部と、前記投光部から投光された照射光が前記撮像対象に反射して前記第１の受光素子に至るまでの飛行時間を計測する飛行時間計測部を更に含み構成されており、
前記距離算出手段は、前記飛行時間に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１０】
前記第１の撮像手段は、前記撮像対象にパターン光を投光する投光部を更に含み構成されており、
前記距離算出手段は、前記撮像対象で観測された前記パターン光の分布から前記撮像対象までの距離を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記第１の撮像手段は、前記測距用光学系として２つ以上の像を結ぶ光学系を有し、かつ、前記２つ以上の像の結像位置から視差情報を検出する視差検出部を更に含み構成されており、
前記距離算出手段は、前記視差情報および前記第１の結像光学系の焦点面までの距離情報に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項３に記載の撮像装置。
【請求項１２】
前記第１の撮像手段で撮像された画像の輝度情報と、前記第２の撮像手段で撮像された画像の輝度情報とから視差情報を得る視差検出手段を更に有し、
前記距離算出手段は、前記視差情報に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記第１の撮像手段は、前記偏光光学系を更に含み構成されており、
前記第１の撮像手段および前記第２の撮像手段で撮像された画像に基づく偏光成分データに基づいて、視差情報を検出する視差検出手段を更に有し、
前記距離算出手段は、前記視差情報に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１４】
前記偏光解析情報を用いて前記撮像対象の表面形状を復元する形状復元手段を更に有し、
前記距離画像生成手段は、前記形状復元手段で復元された表面形状に係る表面形状情報と、前記距離情報と統合することにより、前記距離画像を生成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記距離画像生成手段は、前記距離情報の不連続性を表す状態変数を有し、前記状態変数を推定した結果に基づいて、前記距離情報と前記偏光解析情報とを統合することにより、前記距離画像を生成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１６】
前記距離画像生成手段は、前記距離画像を生成する際に、前記距離情報と、前記第２の撮像手段で撮像された画像に基づく偏光成分データとの２つの情報を比較することにより外乱成分を除去することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記距離情報に欠落領域が生じたときにその欠落領域情報を記憶する欠落領域記憶手段を更に有し、
前記距離画像生成手段は、前記距離画像を生成する際に、前記欠落領域を前記偏光成分データで補完することを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記距離画像生成手段は、画像を複数の領域に分割し、領域ごとに前記距離情報と前記偏光解析情報を統合することにより、前記距離画像を生成することを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記距離画像生成手段は、前記距離情報と前記偏光解析情報とについて、信頼度に基づく重み付けを行って、前記距離画像を生成することを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
【請求項２０】
前記距離画像生成手段は、前記距離情報と前記偏光解析情報に基づいて、前記撮像対象の屈折率を推定し、当該推定した屈折率を用いて前記偏光解析情報から前記撮像対象の表面形状を復元して、前記距離画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項２１】
前記距離画像を動画として連続して記録する記録手段を更に有することを特徴とする請求項１乃至２０のいずれか１項に記載の撮像装置。
【請求項２２】
撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、偏光成分を計測するための画像を撮像する第２の撮像手段を備える撮像装置の制御方法であって、
前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出ステップと、
前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析ステップと、
前記距離算出ステップで算出された距離に係る距離情報と、前記偏光解析ステップで解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成ステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１】
撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、
前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出手段と、
偏光成分を計測するための画像を撮像する第２の撮像手段と、
前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析手段と、
前記距離算出手段で算出された距離に係る距離情報と、前記偏光解析手段で解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成手段と
を有することを特徴とする撮像装置。
【請求項２】
前記第１の撮像手段は、第１の結像光学系と、第１の受光素子を含み構成されており、
前記第２の撮像手段は、第２の結像光学系と、偏光光学系と、第２の受光素子を含み構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の撮像手段は、測距用光学系を更に含み構成されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記偏光光学系は、偏光方向の異なる微小領域である複数の偏光子を有して構成され、かつ、前記第２の結像光学系と前記第２の受光素子との間に配置されており、
前記複数の偏光子は、前記第２の結像光学系からの光をそれぞれ異なった偏光方向に偏光して、前記第２の受光素子に導くことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第１の結像光学系と前記第２の結像光学系は、１つの光学系によって兼ねられ、光軸を同一とすることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の受光素子と前記第２の受光素子とが同一の面上に配置されていることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の受光素子と前記第２の受光素子が一種類の受光素子によって兼ねられることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記偏光光学系は、偏光方向の異なる微小領域である複数の偏光子を有して構成され、前記偏光子と、前記測距用光学系における測距用の光学素子とが同一の面上に配置されていることを特徴とする請求項３に記載の撮像装置。
【請求項９】
前記第１の撮像手段は、前記撮像対象に照射光を投光する投光部と、前記投光部から投光された照射光が前記撮像対象に反射して前記第１の受光素子に至るまでの飛行時間を計測する飛行時間計測部を更に含み構成されており、
前記距離算出手段は、前記飛行時間に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１０】
前記第１の撮像手段は、前記撮像対象にパターン光を投光する投光部を更に含み構成されており、
前記距離算出手段は、前記撮像対象で観測された前記パターン光の分布から前記撮像対象までの距離を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記第１の撮像手段は、前記測距用光学系として２つ以上の像を結ぶ光学系を有し、かつ、前記２つ以上の像の結像位置から視差情報を検出する視差検出部を更に含み構成されており、
前記距離算出手段は、前記視差情報および前記第１の結像光学系の焦点面までの距離情報に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項３に記載の撮像装置。
【請求項１２】
前記第１の撮像手段で撮像された画像の輝度情報と、前記第２の撮像手段で撮像された画像の輝度情報とから視差情報を得る視差検出手段を更に有し、
前記距離算出手段は、前記視差情報に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記第１の撮像手段は、前記偏光光学系を更に含み構成されており、
前記第１の撮像手段および前記第２の撮像手段で撮像された画像に基づく偏光成分データに基づいて、視差情報を検出する視差検出手段を更に有し、
前記距離算出手段は、前記視差情報に基づいて、前記撮像対象までの距離を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１４】
前記偏光解析情報を用いて前記撮像対象の表面形状を復元する形状復元手段を更に有し、
前記距離画像生成手段は、前記形状復元手段で復元された表面形状に係る表面形状情報と、前記距離情報と統合することにより、前記距離画像を生成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記距離画像生成手段は、前記距離情報の不連続性を表す状態変数を有し、前記状態変数を推定した結果に基づいて、前記距離情報と前記偏光解析情報とを統合することにより、前記距離画像を生成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１６】
前記距離画像生成手段は、前記距離画像を生成する際に、前記距離情報と、前記第２の撮像手段で撮像された画像に基づく偏光成分データとの２つの情報を比較することにより外乱成分を除去することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記距離情報に欠落領域が生じたときにその欠落領域情報を記憶する欠落領域記憶手段を更に有し、
前記距離画像生成手段は、前記距離画像を生成する際に、前記欠落領域を前記偏光成分データで補完することを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記距離画像生成手段は、画像を複数の領域に分割し、領域ごとに前記距離情報と前記偏光解析情報を統合することにより、前記距離画像を生成することを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記距離画像生成手段は、前記距離情報と前記偏光解析情報とについて、信頼度に基づく重み付けを行って、前記距離画像を生成することを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
【請求項２０】
前記距離画像生成手段は、前記距離情報と前記偏光解析情報に基づいて、前記撮像対象の屈折率を推定し、当該推定した屈折率を用いて前記偏光解析情報から前記撮像対象の表面形状を復元して、前記距離画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項２１】
前記距離画像を動画として連続して記録する記録手段を更に有することを特徴とする請求項１乃至２０のいずれか１項に記載の撮像装置。
【請求項２２】
撮像対象との距離を計測するための画像を撮像する第１の撮像手段と、偏光成分を計測するための画像を撮像する第２の撮像手段を備える撮像装置の制御方法であって、
前記第１の撮像手段で撮像された画像に基づくデータを用いて、前記撮像対象までの距離を算出する距離算出ステップと、
前記第２の撮像手段で撮像された画像に基づくデータを用いて、偏光状態の解析処理を行う偏光解析ステップと、
前記距離算出ステップで算出された距離に係る距離情報と、前記偏光解析ステップで解析処理された偏光状態に係る偏光解析情報とに基づいて、前記撮像対象の距離画像を生成する距離画像生成ステップと
を有することを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−２５６１３８（Ｐ２０１０−２５６１３８Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０５６０２（Ｐ２００９−１０５６０２）
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]