三次元撮像装置および物体の三次元画像の生成方法
【課題】三次元の物体の画像を生成する三次元撮像装置を提供する。
【解決手段】３Ｄ撮像装置１０１は、２組１０３ａ，１０３ｂの反射素子１０５と、撮像素子１０７と、プロセッサとを有する。撮像素子１０７は、物体１１１から発せられ、かつ２組１０３ａ，１０３ｂの反射素子１０５のそれぞれから反射された光線を用いて、２つの画像を取得する。プロセッサは、取得した画像のそれぞれにおける複数組のマッチングポイントを特定するように構成される。マッチングポイントの各組は、物体１１１の対応する単一の要素により発せられた個々の光線により生じたものである。また、プロセッサは、取得した画像のそれぞれにおける複数組のマッチングポイントの各組ごとに、物体１１１の対応する要素の位置を決定するように構成される。したがって、プロセッサは、物体１１１の複数の要素の決定された位置を用いて、物体１１１の３次元画像を生成することができる。
【解決手段】３Ｄ撮像装置１０１は、２組１０３ａ，１０３ｂの反射素子１０５と、撮像素子１０７と、プロセッサとを有する。撮像素子１０７は、物体１１１から発せられ、かつ２組１０３ａ，１０３ｂの反射素子１０５のそれぞれから反射された光線を用いて、２つの画像を取得する。プロセッサは、取得した画像のそれぞれにおける複数組のマッチングポイントを特定するように構成される。マッチングポイントの各組は、物体１１１の対応する単一の要素により発せられた個々の光線により生じたものである。また、プロセッサは、取得した画像のそれぞれにおける複数組のマッチングポイントの各組ごとに、物体１１１の対応する要素の位置を決定するように構成される。したがって、プロセッサは、物体１１１の複数の要素の決定された位置を用いて、物体１１１の３次元画像を生成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元（３Ｄ）撮像装置および物体の３Ｄ画像の生成方法に関する。
【背景技術】
【０００２】
多視点撮像は、物体の３Ｄモデルを再構成するために用いられている。多視点撮像を実現するための方法としては、例えば、以下のものが挙げられる。
（ｉ）多視点画像の所要数と同数のカメラを設置する方法。
（ｉｉ）２つのカメラを用いて、異なる視点から一対の二次元（２Ｄ）画像を取得し、補間を行うことにより中間視点を、ソフトウェアアルゴリズムに依存して決定する。これにより、３Ｄモデルの各ポイントが、２つのカメラにより取得されたそれぞれの画像における対応するエピポーラ線に基づいて決定される。すなわち、各画像の像面を操作する方法である。
（ｉｉｉ）３Ｄモデルを再構成すべく、取得した複数の画像の各画素における深度情報を提供する深度キー（depth keys）を内蔵した、複数のカメラに依存する方法。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
方法（ｉ）および（ｉｉｉ）は、高度なハードウェアに依存するものである。方法（ｉ）は、取得した大量のデータにより、ユーザが所望とする任意の視点画像を得ることができるという利点がある。しかしながら、方法（ｉ）の場合、多数のカメラが必要であり、そのようなシステムを構築し維持することは、技術的にも経済的にも実用的ではない。さらに、そのようなシステムは、取得したデータの多くが余剰であるため、非効率的でもある。直交座標空間（Cartesian space）における複数のカメラの零面（zero-plane）近傍に位置する物体の部位について、隣接する複数対のカメラがほとんど同一の画像を取得してしまうからである。
【０００４】
これに対し、方法（ｉｉ）は、ハードウェアの代わりに、高度なソフトウェアに依存するものである。方法（ｉｉ）の場合、一対のカメラのみで十分であるので、技術面およびコスト面において、方法（ｉ）よりも実行可能性のある選択肢である。ただし、中間視点の精度は、ディスオーダー（物体が一方のカメラからは見え、他方からは見えないという物体の特性に起因するもの）、誤ったマッチング、および、オクルージョン（いずれのカメラにも視認できない物体の部位が存在するもの）に起因した情報の欠如、などの要因によって一般的に損なわれることになる。この方法は、上記の３つの方法の中では、完全な画像を最も保証できないものであり、完全な補間は、いかなる場合においても実質的に不可能である。方法（ｉｉｉ）の場合、深度カメラを用いて取得した複数の画像の、各画素に与えられた深度情報の分解能および精度は、一貫性に欠ける上、オクルージョン等の不都合にも影響を受けやすい。
【０００５】
本発明はかかる問題点に鑑みてなされたもので、その目的は、少なくとも上述した不都合を改善する３Ｄ撮像装置および物体の３Ｄ画像の生成方法を提供し、かつ、代替的な３Ｄ撮像装置および代替的な物体の３Ｄ画像の生成方法の双方を一般公衆に提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも２組の反射素子を有する、３Ｄ撮像装置を提案する。少なくとも２組の反射素子は、それぞれ、物体の個々の部分からの光線を、撮像素子に向かって反射させるように配置されている。複数組の反射素子は、撮像対象としての物体に対向して設けられている。複数の反射素子は、撮像装置が、３Ｄ撮像装置の動作中に、少なくとも２組の反射素子のそれぞれから画像を取得するように選択および配置され、あるいは選択または配置されている。取得した画像における複数組のマッチングポイント（または、２組の反射素子が設けられている場合、複数対のマッチングポイント）を特定する、すなわち、物体の同じ要素から発せられる光を用いたのならば生じたはずの複数のポイント、を特定することにより、その要素の位置を割り出すことができる。複数のそのような要素から、３Ｄ空間における物体の外形を決定することができる。
【０００７】
詳細には、本発明の第１の側面は、３Ｄ物体の画像を生成する３Ｄ撮像装置を提案する。３Ｄ撮像装置は、（ｉ）少なくとも２組の反射素子と、（ｉｉ）撮像素子と、（ｉｉｉ）上記の演算を行うプロセッサとを備えている。
【０００８】
複数の反射素子をそれぞれ有する少なくとも２組の反射素子を設けることにより、この少なくとも２組の対応する反射素子は、物体の様々な視点画像を反射させる。反射された様々な視点画像は、そののち、撮像素子により取得される。ここで、本発明の方法の好適な実施の形態は、上述の方法（ｉ）のような高度な装置を用いずに行われる。さらに、上記の方法（ｉｉｉ）とは異なり、各視点における深度情報を取得する必要がないので、帯域が節約されるとともに、データ保存に関する必要性やのちのデータ処理時間が減少する。
【０００９】
さらに、複数組の反射素子が、方法（ｉｉ）において用いられる２つのカメラのレンズがカバーする範囲よりも広い領域を一括してカバーするように（すなわち、物体の周囲のより広い角度範囲をまとめて定めるように）、これらの複数組の反射素子を配置することができるので、ディスオーダーやオクルージョンの恐れが低い。
【００１０】
３Ｄ撮像装置は、例えば、光線が物体と撮像素子との間を進む際の距離が光線によって異なることに起因して、複数の画像においてディストーションが生じる可能性を考慮するため、取得した複数の画像を正規化するように構成してもよい。この正規化は、例えば、取得した画像のうちの１つの画像における複数の列の高さが、他のそれぞれの画像における対応する複数の列の高さと同じになるように、取得した画像のうちの１つの画像における複数の列をリサイズすることにより行われる。これは、三次元物体の形状に近似する既知の形状である、基準基線を用いることにより行うことができる。この基線上において、複数のサンプリングポイントが、定義されている。各サンプリングポイントは、そのサンプリングポイントから光線が全方位に発せられたと仮定した場合に、そのような光線のうちの２つの光線が、第１の素子組のうちの１つの素子および第２の素子組のうちの１つの素子によりそれぞれ反射され、第１の画像および第２の画像の対応するポイントを形成するような、サンプリングポイントである。したがって、これらの（仮想的な）光線は、物体により発せられ、かつ複数の画像を生成させたであろう実際の光線に近似している。複数のサンプリングポイントの位置と、複数の反射素子の反射特性とを用いることにより、実際の光線がその複数のサンプリングポイントにおいて発せられたと仮定した場合に生じたであろうディストーションの量を算出することができる。そして、このディストーションを補正するために、正規化を行う。
【００１１】
取得した複数の画像の正規化は、取得した複数の画像のそれぞれにおける複数のマッチングポイントを特定する上で、例えば、エピポーラマッチングを行う際に必要となる。エピポーラマッチングは、例えば、取得した複数の画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応するエピポーラ線と比較するものである。その結果、取得した画像のそれぞれの各行に沿う対応画素は、例えば、共通のエピポーラ線を有することになる。
【００１２】
あるいは、３Ｄ撮像装置は、例えば、取得した複数の画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における複数のエピポーラ線と比較するようにしてもよい。その結果、例えば、取得した複数の画像のうちの１つの画像の各行に沿う画素は、他の取得した複数の画像のそれぞれにおける複数の行に沿う画素とマッチングされる。この場合、例えば、マッチングした画素の特性の多少の違いが許容されることにより、エピポーラマッチングのロバスト性が有利に向上する。そのような違いは、例えば、基準基線が、物体の外形から過剰に逸脱していることにより生じる。
【００１３】
さらに、２組の反射素子は、例えば、共通面などの共通表面の上に配置されている。共通表面は、例えば、基準基線と平行にしてもよい。この場合、物体の外形が、基準基線に対してほぼ法線方向の角度で、光線を反射素子のそれぞれに放つため、３Ｄ撮像装置は、例えば、オクルージョンなどの懸念を減少させることができる。
【００１４】
いくつかの実施の形態では、グループ化された第１組の反射素子は、同じくグループ化された第２組の反射素子から離間して設けられている。
【００１５】
あるいは、例えば、上記少なくとも２組の反射素子は、交互配置されている。この場合、対応する複数の素子が十分に離間している場合と比較して、一方の画像では視認され他方の画像では遮蔽されるポイントの数が減少するため、マッチングポイントの数を増加させ得るという利点がある。さらに、そのような実施の形態の場合、より広い物体の視野角を可能としつつ、上記少なくとも２組の反射素子が同じ物理的空間を占めることが可能とされる。
【００１６】
例えば、反射素子のそれぞれを、適宜ホログラフィック光学素子としてもよい。ホログラフィック光学素子は軽量であるので、それらを容易に設置することができる。さらに、ホログラフィック光学素子を、異なる反射角を有するように構成することができるので、３Ｄ撮像装置の製造について設計柔軟性がある。
【００１７】
本発明の第２の側面は、物体の３Ｄ画像の生成方法を提供する。この方法は、以下の工程を含んでいる。
（ｉ）物体に対して、少なくとも２組の反射素子を配置する工程。
（ｉｉ）少なくとも２組の反射素子に対して、撮像素子を配置する工程。
（ｉｉｉ）撮像素子を用いて、少なくとも２組の反射素子のそれぞれから反射された画像を取得する工程。
（ｉｖ）各々の組が、物体の対応する単一の要素により発せられた個々の光線により生じたものである、取得した画像のそれぞれにおける複数組のマッチングポイントを特定する工程。
（ｖ）取得した画像のそれぞれにおける複数組のマッチングポイントの各組を用いて、物体の対応する要素の位置を決定する工程。
（ｖｉ）物体の複数の要素の決定された位置を用いて、物体の画像を生成する工程。
【発明の効果】
【００１８】
本発明の三次元撮像装置および三次元画像の生成方法によれば、２組の反射素子から反射された光線を用いて２つの画像を取得し、その取得画像のそれぞれにおける複数組のマッチングポイントを特定し、そのマッチングポイントの各組ごとに、物体の要素の位置を決定し、それに基づいて物体の画像を生成するようにしたので、少なくとも上述した不都合を改善することができる。
【図面の簡単な説明】
【００１９】
【図１ａ】３Ｄ空間における物体の外形に基づき導出された基準基線に対して配置された２組のホログラフィック光学素子と、同様に配置された撮像素子とを有する３Ｄ撮像装置の実施の形態を示す図である。
【図１ｂ】図１に示す実施の形態を横方向から見た図である。
【図２ａ】図１に示す複数のホログラフィック光学素子のうちの１つにより発揮される光学的機能を示す図である。
【図２ｂ】図２ａに示すホログラフィック光学素子を構築する方法を示す図である。
【図３】図１に示す３Ｄ撮像装置のホログラフィック光学素子の代わりに用いられる複数のミラーの配置構成を示す図である。
【図４】図１に示す実施の形態の一部を拡大して示すとともに、図１に示す３Ｄ撮像装置の、対応するホログラフィック光学素子により反射された各データセット間におけるサイズの違いを示す図である。
【図５】図１に示す３Ｄ撮像装置により取得された、正規化を行う前後の各データセットを示す図である。
【図６ａ】図５に示す正規化されたデータセットの各行における対応する画素をマッチングさせる場合を示す図である。
【図６ｂ】図５に示す正規化されたデータセットの各行における対応する画素をマッチングさせる場合を示す他の図である。
【図７】物体の外形のポイントを決定する方法を示す図である。
【図８】物体の外形を再構成する方法を示す図である。
【図９】物体の全方位視点からの画像を取得するように配置された、図１に示す４つの３Ｄ撮像装置を示す図である。
【図１０】物体の３Ｄ画像を生成するための各工程を示すフローチャートである。
【図１１ａ】３Ｄ撮像装置の他の実施の形態を示す上面図である。
【図１１ｂ】３Ｄ撮像装置の他の実施の形態を示す側面図である。
【図１２】３Ｄ撮像装置のさらに他の実施の形態を示す図である。
【図１３ａ】３Ｄ撮像装置のさらに他の実施の形態を示す上面図である。
【図１３ｂ】３Ｄ撮像装置のさらに他の実施の形態を示す側面図である。
【図１４ａ】ホログラフィック光学素子の代わりに用いられる機械加工ブロックの斜視図である。
【図１４ｂ】図１４ａに示す機械加工ブロックのＢ−Ｂ線に沿った断面図である。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１ａは、一実施の形態に係る３Ｄ撮像装置１０１を示す図である。この３Ｄ撮像装置１０１は、三次元形状（すなわち、その表面上の複数のポイントのすべてが二次元の共通面上に沿って位置していない）を有する物体１１１（図示せず）を撮像するように構成されている。３Ｄ撮像装置１０１は、（ｉ）複数の反射素子１０５を有する２つの二次元（「２Ｄ」）アレイ１０３ａ，１０３ｂと、（ｉｉ）撮像素子（図１ａでは電荷結合素子１０７として示す）と、（ｉｉｉ）プロセッサ（図示せず）とを備えている。プロセッサは、例えば、デル社のワークステーション「Dell Dimension T7400」である。
【００２１】
アレイ１０３ａ，１０３ｂは、撮像対象としての物体１１１に対向するように配置されている。物体１１１の形状は、当初は不既知である。ただし、以下では、「ｒ」として示す半径を有するとともに、図１ａでは紙面垂直方向である長さ方向を有する、円筒の表面の部分に近似した形状であると仮定して説明する。この円筒形状は、「基線」１０９と称する。基線１０９は、図１ａでは円筒形状の断面である円形の形状を呈している。例えば、物体１１１が人物の身体であると仮定した場合、基線１０９は、その人物の身長方向に平行な軸を有する円筒形状となり得る。なお、本実施の形態の変形例では、基線１０９は異なる選択された形状を有してもよい。例えば、人体の頭の部分を撮影する場合、基線１０９は、円形の円筒形状よりも楕円形の円筒形状を有する方がよいこともある。
【００２２】
ユーザは、はじめに物体１１１の長さ方向を見積もり、基線１０９を導出し、アレイ１０３ａ，１０３ｂが基線１０９から距離ｄだけ離れた共通面に位置するようにこれらのアレイ１０３ａ，１０３ｂを配置する。この共通面は、（ｉ）物体１１１の長さ方向（すなわち、紙面垂直方向）と、（ｉｉ）物体１１１の長さ方向に対して法線方向である第２の方向（すなわち、図１ａの左右方向）とを含んでいる。アレイ１０３ａ，１０３ｂは、第２の方向に互いに離間している。共通面の、基線１０９の中心線からの距離は、ｄ＋ｒである。
【００２３】
アレイ１０３ａ，１０３ｂは、それぞれ、図１ａにおいて左右方向である方向に有限に広がっているとともに、図１ａにおいて紙面垂直方向の縦軸に平行な方向にも広がっている。すなわち、図１ａは、アレイ１０３ａ，１０３ｂのそれぞれを「真横向き」に見た場合を示している。図１ｂは、図１ａにおいて左右方向の方向に見た場合の同じ３Ｄ撮像装置１０１を示している。図１ｂは、同様にアレイ１０３ａ，１０３ｂを「真横向き」に見た場合である。
【００２４】
図１ａおよび図１ｂに示すように、反射素子１０５は、物体１１１から得られた光を反射させ、その光を電荷結合素子１０７に向けて導くという主たる機能を有する。反射素子１０５がこの機能を如何にして行うかについては以下に詳細に説明する。アレイ１０３ａ，１０３ｂは、それぞれ、例えば、反射素子１０５を有する矩形状の二次元アレイである。すなわち、各アレイ１０３ａ，１０３ｂは、例えば、物体１１１の長さ方向にそれぞれ延在する反射素子１０５の列の組か、あるいは、図１において左右方向にそれぞれ延在する反射素子１０５の行の組として考えることができる。図１ａおよび図１ｂは、アレイ１０３ａ，１０３ｂのそれぞれにおいて、物体１１１の長さ方向に延在するとともに、図１ａの左右方向に延在する、１９×１９個の反射素子１０５が設けられている場合を示している。ただし、他の実施の形態として、他の個数の反射素子１０５を設けるようにしてもよい。いずれの場合であっても、各アレイにおける反射素子１０５の列の数は、「ｎ」（例えば、ｎ＝１９）として表され、以下では、指数ｉ＝１，２，…，ｎ−１，を用いて、ｎ列の反射素子１０５を示すようにしている。
【００２５】
電荷結合素子１０７は、反射素子１０５を有する２組のアレイ１０３ａ，１０３ｂに対して配置され、反射素子１０５により反射された物体１１１の虚像を取得するように構成されている。反射素子１０５により電荷結合素子１０７に向かって反射された光線は、図１ａに示すように、反射素子１０５の共通面からの垂直距離「ｅ」の位置であって、最も右側の反射素子１０５からのオフセット距離の位置において収束される。電荷結合素子１０７は、すべての光線を取得するのに十分な分解能を有している。
【００２６】
反射素子１０５と、電荷結合素子１０７と、円筒状基線１０９との相対配置は、図示しないレベルゲージにより測定される。ただし、レーザ測定器などの他の計測ツールを用いてもよい。
【００２７】
第１の実施の形態において、反射素子１０５は、ホログラフィック光学素子である。図２ａは、複数のホログラフィック光学素子１０５のうちの１つのホログラフィック光学素子１０５により果たされる機能を示している。このホログラフィック光学素子１０５は、破線で示す概念的な法線方向を有している。ホログラフィック光学素子１０５は、一回反射のみ可能となっている。具体的には、所定の一方向に（法線方向から「ｐ」により示す角度で）ホログラフィック光学素子１０５に入射した入射光線を反射させ、これにより別の所定方向（法線方向から「ｑ」により示す角度で）の出射光線を発生させる。これらの２つの方向は、図１ａの紙面上に位置している。
【００２８】
ここで、図１ａに示すように、２つのアレイ１０３ａ，１０３ｂにおいて同じ指数ｉを有する、対応する複数対の光学素子１０５を考えてみる。例えば、そのような一対としては、いずれもｉ＝１である、各組１０３ａ，１０３ｂにおいて最も左側のホログラフィック光学素子１０５が挙げられる。光学素子１０５の各対には、対応するｉ番目のサンプリングポイント１１３が円筒状基線１０９上に存在している。この対応するサンプリングポイント１１３は、光学素子１０５の各対について、その光学素子１０５に対応する方向（図１ａにおいてｂiにより示す）に存在している。なお、この角度は、光学素子１０５の各対ごとに異なっている。具体的には、ｉ番目のサンプリングポイント１１３は、各ｉ番目のホログラフィック光学素子１０５について、角度ｂiが、図２ａにおいてこれに対応する「ｐ」により示す角度とほぼ等しくなるような基線１０９上のポイントとなっている。したがって、各ホログラフィック光学素子１０５は、各組１０３ａ，１０３ｂから、電荷結合素子１０７に向かって異なる光線を反射させるようになっている。
【００２９】
すなわち、仮に２つの光線が、ｉ番目のサンプリングポイント１１３からそれぞれｉ番目の一対の光学素子１０５に向かって発せられたとすると、これらの光線は、各光学素子１０５により反射され、図２ａにおいて「ｑ」により示す個々の方向に向かって、電荷結合素子１０７へと伝達される。そのため、各組１０３ａ，１０３ｂにおける最も左側のホログラフィック光学素子１０５は、最も左側のサンプリングポイント１１３から発せられる光線を電荷結合素子１０７に向かって反射させ、各組１０３ａ，１０３ｂにおける左側から２番目のホログラフィック光学素子１０５は、左側から２番目のサンプリングポイント１１３から発せられる光線を電荷結合素子１０７に向かって反射させる（以下同様に続く）。なお、角度「ｐ」および角度「ｑ」は、ｉ番目の対の光学素子ごとに異なり、さらに、異なる指標ｉごとに異なっている。具体的には、ｐi,set1／ｑi,set1およびｐi,set2／ｑi,set2が、アレイ１０３ａおよびアレイ１０３ｂのホログラフィック光学素子１０５の入射角および反射角をそれぞれ表していると仮定すると、ｐi,set1は、ｐi,set2とは異なっており、同様にｑi,set1は、ｑi,set2とは異なっている。また、ｐi,set1の値は、異なる指標ｉごとにそれぞれ異なっており、同様にｑi,set1の値は、異なる指標ｉごとにそれぞれ異なっている。
【００３０】
基線１０９上のｉ番目のサンプリングポイント１１３の角度位置は、ａiにより示される。ｉ番目の一対のホログラフィック光学素子１０５のそれぞれにより反射された光線は、ｋiにより示される角度で電荷結合素子１０７へと伝達される。角度ｋiは、ホログラフィック光学素子１０５の各対ごとに異なっており、かつ、それらのホログラフィック光学素子１０５のそれぞれについて、９０°−ｂi（ｂiは、図２ａに示されている「ｐ」と同様である）の対応する値とほぼ等しい値の角度である。
【００３１】
以上のことから、ホログラフィック光学素子１０５の各列は、物体１１１における対応するストリップ（基線１０９の軸に平行に延在したほぼ直線のもの）の画像を受け取る電荷結合素子１０７に関与している。また、電荷結合素子１０７は、物体１１１のそのようなストリップのそれぞれについて、アレイ１０３ａ，１０３ｂのそれぞれの各列から、２つの異なる画像を受け取ることとなる（必ずしも、同じｉの値を有する複数の光学素子１０５からではない）。
【００３２】
したがって、３Ｄ撮像装置１０１により再構成される物体１１１の分解能は、（ｉ）ある基準基線に対する、各組１０３ａ，１０３ｂにおける反射素子１０５の個数、および、（ｉｉ）各組１０３ａ，１０３ｂにおける反射素子１０５のある個数についての、３Ｄ空間における物体１１１をカバーする範囲、などといった要因に左右されることとなる。例えば、３Ｄ撮像装置１０１は、基準基線１０９から発せられる光線が、特定の角度領域における物体１１１から発せられる対応する光線を表すように、その特定の角度領域における物体の外形を再構成するように構成し得る。これにより、例えば、限られた数の反射素子によって物体の分解能が損なわれることがないようにすることができる。
【００３３】
図２ｂは、感光性樹脂材料から構成される複数のホログラフィック光学素子１０５のうちの１つのホログラフィック光学素子１０５を、所望入射角ｐおよび所望反射角ｑを予め決定した後に、レーザ光源２０１または任意のコヒーレント光源を用いて構成する方法を示す図である。ビームスプリッタ２０３は、レーザ光源２０１からのレーザ光を、第１の副レーザ光２０５ａと、第２の副レーザ光２０５ｂとに分離する。第１の副レーザ光２０５ａは、所望入射角ｐでホログラフィック光学素子１０５と交差し、第２の副レーザ光２０５ｂは、ミラー２０９により反射されるとともに、所望反射角ｑでホログラフィック光学素子１０５と交差する。ホログラフィック光学素子１０５の反射特性は、感光性樹脂材料に関連してレーザ光２０５の角度を変えることにより、構築中に変えることができる。
【００３４】
ホログラフィック光学素子１０５は、所望入射角ｐおよび所望反射角ｑを得るべく、角度を有して傾斜した平坦ミラーと本質的に同じ反射特性を有している。そのため、ホログラフィック光学素子１０５の代わりに、任意の種類のミラー状の反射素子を用いることができる。例えば、図３は、反射素子としての平面ミラー３０１の配置構成を示している。この場合、平面ミラー３０１のそれぞれは、正確な反射を得るべく、それ自体の個々の傾斜角を用いて独立して配置させることが必要となる。したがって、平面ミラー３０１の固有の傾斜角は、目に見えて明らかである。これに対して、図１ａに示す配置構成の場合、ホログラフィック光学素子１０５は傾斜させる必要がない。
【００３５】
各組１０３ａ，１０３ｂの、対応するホログラフィック光学素子１０５間における入射角ｂiおよび反射角ｋiは異なっているが、このことは、図１の実施の形態の一部を示す図４に示すように、電荷結合素子１０７により取得された複数の虚像（または複数のデータセット）が、異なるサイズを有することになることを意味している。したがって、エピポーラ幾何学に基づいて取得した複数のデータセットのマッチングを行う前に、取得した画像を正規化する必要がある。さもなければ、取得したデータセット間のエピポーラ線がマッチングしなくなる。
【００３６】
具体的には、複数のホログラフィック光学素子が配置された直線面に関連して、電荷結合素子１０７と複数のデータセットの対応する画素との間の垂直距離の比に基づき、複数のデータセットのうちの１つのデータセットにおける複数の画素列を、「正規化因子（normalization factor）」を用いてリサイズすることにより、取得した複数のデータセットを正規化する。ホログラフィック光学素子１０５と、円筒状基線１１３と、電荷結合素子１０７との相対配置は既知であるので、図４に示すように、一般的な三角法による計算を用いることにより、正規化因子を導き出すことができる。
【００３７】
図５における上段の行は、ホログラフィック光学素子１０５の各組１０３ａ，１０３ｂのそれぞれから撮像素子１０７により取得したデータセットを示している。この上段の行は、２つの取得画像を示しており、左側の画像（「データセット２」）は、図１から見た場合に、ホログラフィック光学素子１０５の右側の組１０３ｂから取得した画像、右側の画像（「データセット１」）は、同様に図１から見た場合に、ホログラフィック光学素子１０５の左側の組１０３ａから取得した画像である。図５から見られるように、各組１０３ａ，１０３ｂの、対応するホログラフィック光学素子１０５間における入射角ｂiおよび反射角ｋiの違いに起因して、「データセット１」の複数の列は、「データセット２」において対応する複数の列よりも高くなっている。そのため、エピポーラ幾何学に基づいて各データセットのマッチングを行う前に、「データセット１」を正規化する必要がある。詳細には、データセットの正規化は、上述した正規化因子を用いて、「データセット１」の各列をリサイズすることにより行われる。図５における下段の行の右側の画像は、正規化された「データセット１」を示している。この場合、正規化されたデータセットの各列は、結果として「データセット２」の対応する列と同じ高さを有している。
【００３８】
プロセッサは、データセットを正規化したのち、これらのデータセットにおけるマッチングする複数の列を特定することが可能となる。これは、例えば、複数のデータセットのうちの１つのデータセットにおけるエピポーラ線を、他のデータセットにおける対応するエピポーラ線と比較することにより行われる。具体的には、プロセッサは、物体１１１上の同一のポイントに対応する、図５の下部の左右の画像のそれぞれにおける複数の画素対を導出する。なお、物体１１１上の所定のポイントに対応する２つの画素は、多くの場合、図５の下部の２つの画像における同じ行に位置している。これは、図６ａおよび図６ｂに示されている。図６ａおよび図６ｂは、左側の画像（データセット１に対応する画像）の７番目の行における各画素を、右側の画像（データセット２に対応する画像）の７番目の行における対応する画素とマッチングさせる場合を示している。画素のマッチングは、ダイナミックプログラミング、ウィンドウベース、およびグラフカット等の、任意の周知のマッチング法を用いて行うことができる。
【００３９】
あるいは、プロセッサを用いて、複数のデータセットのうちの１つのデータセットにおけるエピポーラ線を、他のデータセットにおける複数のエピポーラ線と比較することにより、データセットのマッチングを行うこともできる。すなわち、複数の画像のうちの１つの画像におけるある特定の行の各画素を、取得された他のそれぞれの画像における任意の複数の行からの個々の画素とマッチングさせる。これにより、画素マッチングの際に用いられるエピポーラ拘束における誤差が調整されるため、例えば、エピポーラマッチングのロバスト性が向上する。
【００４０】
２つのマッチングする画素が決定されると、これらに対応する光線が特定されたのち、これらの２つの光線のインターセプションポイントが探し出される。これは、物体１１１の表面上に位置しているはずである。図７は、データセット１の光線ｉ＝７と、データセット２の光線ｉ＝１との交点に位置する、「ＤＰマッチング」として示すインターセプションポイントの発見方法を示す図である。基線１０９を用いたバックワード計算を行うことにより、図７に示すように、インターセプションポイント「ＤＰマッチング」の三次元位置を発見することができる。この処理を、個々の画像における一連のマッチング画素に対して繰り返すことにより、３Ｄ空間における物体１１１の外形における様々なポイントを、プロセッサにより幾何学的に決定することができる。
【００４１】
図８は、複数のデータセットの５番目の行と５番目の行との間でマッチングした１０対の画素を示している。したがって、プロセッサは、複数対の光線の１０個の交点を特定し、円筒状基線１０９に対する、３Ｄ空間における物体１１１の外形の１０個のポイントを決定する。物体１１１の外形のこれらの１０個のポイントを結ぶことにより、物体１１１の部分的な３Ｄ画像を、３Ｄ撮像装置１０１を用いて再構成することができる。物体１１１の異なる複数の外形を、複数のデータセットにおける対応する複数の行に関連して再構成することにより、物体１１１の３Ｄ画像を、３Ｄ撮像装置１０１を用いて再構成することができる。
【００４２】
図９は、物体の全方位の複数視点画像を取得するように配置された、４つの３Ｄ撮像装置１０１のインスタンスを示す図である。隣接する３Ｄ撮像装置１０１のインスタンスは、物体１１１の全方位の複数視点画像を取得すべく、９０°のオフセットで基線１０９の中心の周囲に配置されている。物体の全方位の３Ｄ画像を再構成する場合も、既に上述した同様のコンセプトが適用される。
【００４３】
＜物体の３Ｄ画像の生成方法＞
図１０は、物体の３Ｄ画像の生成方法を示すフローチャートである。この方法は、以下の工程を含むものである。
（ｉ）物体の外形に基づく、３Ｄ空間における基準基線を導出する工程１００１と、
（ｉｉ）基準基線上の複数のサンプリングポイントを決定する工程１００３と、
（ｉｉｉ）複数のサンプリングポイントに対して、少なくとも２組の反射素子を配置する工程１００５と、
（ｉｖ）少なくとも２組の反射素子に対して、撮像素子を配置する工程１００７と、
（ｖ）撮像素子を用いて、反射素子の各組により反射された物体の複数の虚像（または複数のデータセット）を取得する工程１００９と、
（ｖｉ）取得した虚像のそれぞれにおける、物体の対応する要素の位置を決定するために用いられる、複数対のマッチングポイントを特定する工程１０１１と、
（ｖｉｉ）物体の決定された位置を用いて、物体の３Ｄ画像を生成する工程１０１２。
【００４４】
特に、取得した虚像のそれぞれにおける、複数対のマッチングポイントを特定する工程１０１１は、以下の工程を含んでいる。
（ａ）取得した複数のデータセットを正規化する工程１０１１ａと、
（ｂ）取得した複数のデータセットのエピポーラマッチングを行う工程１０１１ｂ。
【００４５】
また、物体の決定された位置を用いて、物体の３Ｄ画像を生成する工程１０１２は、以下の工程を含んでいる。
（ｃ）物体の外形上の様々なポイントを決定する工程１０１２ａと、
（ｄ）決定された様々なポイントに基づき、３Ｄ空間における物体の外形を再構成する工程１０１２ｂ。
【００４６】
この方法は、例えば、上記工程により決定された物体の複数の異なる外形に基づき、その物体の３Ｄモデルを再構成する工程をさらに含む。
【００４７】
＜３Ｄ撮像装置の各種変形例＞
請求の範囲に記載の発明の範囲および精神に逸脱することなく、上述した３Ｄ撮像装置の種々の変形が可能である。
【００４８】
例えば、図１１ａおよび図１１ｂは、他の実施の形態に係る３Ｄ撮像装置１１０１の上面および側面をそれぞれ示している。この実施の形態では、２つの異なる組１１０５ａ，１１０５ｂのホログラフィック光学素子１１０３が交互配置されている。また、電荷結合素子１１０７が、図１に示す場合のように最も右側のホログラフィック光学素子からオフセット距離だけ離間した位置に配置される代わりに、ホログラフィック光学素子１１０３の上方に配置されている。この配置構成により、例えば、コンパクトな構造を有する３Ｄ撮像装置１１０１が得られる。
【００４９】
また、図１２は、さらに他の実施の形態に係る３Ｄ撮像装置１２０１を示している。図１１に示した３Ｄ撮像装置１１０１と同様、２つの異なる組１２０５ａ，１２０５ｂのホログラフィック光学素子１２０３は、交互配置されている。ただし、これらの組１２０５ａ，１２０５ｂのホログラフィック光学素子１２０３は、共通面の上に配置されているのではなく、円筒状基線１２０７と同軸である円筒共通面の上に配置されている点で、図１１に示した３Ｄ撮像装置１１０１と異なっている。複数のホログラフィック光学素子１２０３は、円筒状基線１２０７に対して平行に配置されているため、光線は、複数のサンプリングポイント１２０９から、その円筒状基線１２０７に対して法線方向の角度でホログラフィック光学素子１２０３に向かって発せられる。これにより、例えば、オクルージョンの問題が有利に軽減される。なお、本実施の形態では、電荷結合素子（図１２では図示せず）の円筒状基線１２０７の中心部が撮像対象の物体により占められていない場合、その電荷結合素子をその円筒状基線１２０７の中心部に設けることができる。この場合、複数のデータセットは、左右対称配置となる。この左右対称配置の実施の形態の場合、撮像対象としての物体の各ポイントから発せられた光線対は、電荷結合素子に向かって同じ方向に進むため、正規化工程は不要である。
【００５０】
図１３ａおよび図１３ｂは、さらに他の実施の形態に係る３Ｄ撮像装置１３０１の上面および側面をそれぞれ示している。この実施の形態では、上述した３Ｄ撮像装置１１０１および１２０１の実施の形態と同様に、２つの異なる組１３０５ａ，１３０５ｂのホログラフィック光学素子１３０３が、やはり交互配置されている。ただし、組１３０５ｂの各ホログラフィック光学素子１３０３は、組１３０５ａにおけるその対応するホログラフィック光学素子１３０３よりも、右側に向かって横方向に距離を置いて離間している点で、上述した３Ｄ撮像装置１１０１および１２０１の実施の形態と異なっている。この距離は、組１３０５ａ，１３０５ｂのいずれかの隣接する光学素子１３０３間の間隔よりも大きい。
【００５１】
３Ｄ撮像装置の他の変形例も可能である。例えば、異なる形状の複数の基準基線が３Ｄ空間において物体の複数の外形におおよそ類似する限り、そのような異なる形状の複数の基準基線を用いてもよい。
【００５２】
また、再構成された物体の外形の精度および／または３Ｄモデルの精度は、各組における反射素子の個数に左右される。そのため、例えば、各組に数十の反射素子を設けてもよく、または、各組に数百または数千もの範囲の反射素子を設けてもよい。
【００５３】
電荷結合素子１０７は、例えば、ピンホールカメラとしてもよい。あるいは、電荷結合素子１０７を、例えば、デジタル一眼レフ（ＤＳＬＲ：Digital Single-Lens Reflect）カメラとしてもよい。
【００５４】
さらに、例えば、一体ブロックに対し精密機械加工を施すことにより、複数の反射素子を形成するようにしてもよい。図１４ａは、精密機械加工が施された一体ブロック１４０１を示す斜視図である。なお、図示を簡略化するため、機械加工表面１４０３の数を減らして示している。一体ブロック１４０１の各機械加工表面１４０３は、固有の傾斜角と、物体の異なる視点画像を反射させるためのミラーとを有している。図１４ｂは、図１４ａに示した一体ブロック１４０１のＢ−Ｂ´線に沿う断面図である。図１４ｂから見られるように、２組の反射素子は、交互配置されている。この場合、最も左側の機械加工表面１４０３は、アレイ１０３ａの第１の反射素子１０５（すなわち、ｉ＝１）に対応し、左側から２番目の機械加工表面１４０３は、アレイ１０３ｂの第１の反射素子１０５（すなわち、ｉ＝１）に対応し、左側から３番目の機械加工表面１４０３は、アレイ１０３ａの第２の反射素子１０５（すなわち、ｉ＝２）に対応している（以下同様に続く）。アレイ１０３ａ，１０３ｂの対応する反射素子１０５間の素子間隔（すなわち、分離距離）は、０．５ｍｍである一方、アレイ１０３ａ，１０３ｂのそれぞれの連続する反射素子１０５間の素子間隔は、１ｍｍである。
【００５５】
各反射素子１０５の角度精度は重要であることから、精密加工装置の精度（すなわち、公差仕様）を評価し、精密加工装置が上記要件を確実に満たすようにする必要がある。
【００５６】
このような要件を満たすいくつかの選択肢として、例えば、コンピュータ機械制御（ＣＮＣ：Computer-Mechanical-Control）装置、および研削盤などが挙げられる。ＣＮＣ加工の場合、機械加工表面が物体の様々な視点画像を反射するようにするために、ミラーコーティングが必要となり得る。一方、研削盤の場合、研削された表面は物体の様々な視点画像を反射させるのに十分に平滑であるので、ミラーコーティングを追加して行うことは通常不要である。
【００５７】
ホログラフィック光学素子を用いることにより、設計および実装の観点から、一体ブロックを精密機械加工する場合からは得られない多くの柔軟性が得られる。しかしながら、ホログラフィック光学素子の代わりに機械加工ブロックを用いた場合、ホログラフィック光学素子を用いた場合と比較してより実用的な実装が得られる。つまり、精密機械加工の精度が精密加工装置によって保証されている限り、一体ブロックの各機械加工表面の傾斜角の精度を確保することができるからである。一方、ホログラフィック光学素子を用いた場合であっても、ポリマーの回折効率が１未満であることや、３色（すなわち、赤色、緑色、および青色）が共通点で収束しないなどの懸念事項に取り組むことが必要である。こうした懸念事項が十分に対応されていることを前提とした場合、ホログラフィック光学素子を用いることは、一体ブロックを精密機械加工する場合よりも好ましい。
【符号の説明】
【００５８】
１０１，１１０１，１２０１，１３０１…３Ｄ撮像装置、１０３ａ，１０３ｂ，１１０５ａ，１１０５ｂ，１２０５ａ，１２０５ｂ，１３０５ａ，１３０５ｂ…アレイ（組）、１０５，１１０３，１２０３，１３０３…反射素子（ホログラフィック光学素子）、１０７，１１０７…電荷結合素子（撮像素子）、１０９，１２０７…基線（円筒状基線）、１１１…物体、１１３，１２０９…サンプリングポイント、２０１…レーザ光源、２０３…ビームスプリッタ、２０５ａ…第１の副レーザ光、２０５ｂ…第２の副レーザ光、２０９…ミラー、３０１…平面ミラー、１００１…導出工程、１００３…測定工程、１００５…配置工程、１００７…配置工程、１００９…取得工程、１０１１…特定工程、１０１１ａ…正規化工程、１０１１ｂ…エピポーラマッチング工程、１０１２…生成工程、１０１２ａ…決定工程、１０１２ｂ…再構成工程、１４０１…一体ブロック、１４０３…機械加工表面。
【技術分野】
【０００１】
本発明は、三次元（３Ｄ）撮像装置および物体の３Ｄ画像の生成方法に関する。
【背景技術】
【０００２】
多視点撮像は、物体の３Ｄモデルを再構成するために用いられている。多視点撮像を実現するための方法としては、例えば、以下のものが挙げられる。
（ｉ）多視点画像の所要数と同数のカメラを設置する方法。
（ｉｉ）２つのカメラを用いて、異なる視点から一対の二次元（２Ｄ）画像を取得し、補間を行うことにより中間視点を、ソフトウェアアルゴリズムに依存して決定する。これにより、３Ｄモデルの各ポイントが、２つのカメラにより取得されたそれぞれの画像における対応するエピポーラ線に基づいて決定される。すなわち、各画像の像面を操作する方法である。
（ｉｉｉ）３Ｄモデルを再構成すべく、取得した複数の画像の各画素における深度情報を提供する深度キー（depth keys）を内蔵した、複数のカメラに依存する方法。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
方法（ｉ）および（ｉｉｉ）は、高度なハードウェアに依存するものである。方法（ｉ）は、取得した大量のデータにより、ユーザが所望とする任意の視点画像を得ることができるという利点がある。しかしながら、方法（ｉ）の場合、多数のカメラが必要であり、そのようなシステムを構築し維持することは、技術的にも経済的にも実用的ではない。さらに、そのようなシステムは、取得したデータの多くが余剰であるため、非効率的でもある。直交座標空間（Cartesian space）における複数のカメラの零面（zero-plane）近傍に位置する物体の部位について、隣接する複数対のカメラがほとんど同一の画像を取得してしまうからである。
【０００４】
これに対し、方法（ｉｉ）は、ハードウェアの代わりに、高度なソフトウェアに依存するものである。方法（ｉｉ）の場合、一対のカメラのみで十分であるので、技術面およびコスト面において、方法（ｉ）よりも実行可能性のある選択肢である。ただし、中間視点の精度は、ディスオーダー（物体が一方のカメラからは見え、他方からは見えないという物体の特性に起因するもの）、誤ったマッチング、および、オクルージョン（いずれのカメラにも視認できない物体の部位が存在するもの）に起因した情報の欠如、などの要因によって一般的に損なわれることになる。この方法は、上記の３つの方法の中では、完全な画像を最も保証できないものであり、完全な補間は、いかなる場合においても実質的に不可能である。方法（ｉｉｉ）の場合、深度カメラを用いて取得した複数の画像の、各画素に与えられた深度情報の分解能および精度は、一貫性に欠ける上、オクルージョン等の不都合にも影響を受けやすい。
【０００５】
本発明はかかる問題点に鑑みてなされたもので、その目的は、少なくとも上述した不都合を改善する３Ｄ撮像装置および物体の３Ｄ画像の生成方法を提供し、かつ、代替的な３Ｄ撮像装置および代替的な物体の３Ｄ画像の生成方法の双方を一般公衆に提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも２組の反射素子を有する、３Ｄ撮像装置を提案する。少なくとも２組の反射素子は、それぞれ、物体の個々の部分からの光線を、撮像素子に向かって反射させるように配置されている。複数組の反射素子は、撮像対象としての物体に対向して設けられている。複数の反射素子は、撮像装置が、３Ｄ撮像装置の動作中に、少なくとも２組の反射素子のそれぞれから画像を取得するように選択および配置され、あるいは選択または配置されている。取得した画像における複数組のマッチングポイント（または、２組の反射素子が設けられている場合、複数対のマッチングポイント）を特定する、すなわち、物体の同じ要素から発せられる光を用いたのならば生じたはずの複数のポイント、を特定することにより、その要素の位置を割り出すことができる。複数のそのような要素から、３Ｄ空間における物体の外形を決定することができる。
【０００７】
詳細には、本発明の第１の側面は、３Ｄ物体の画像を生成する３Ｄ撮像装置を提案する。３Ｄ撮像装置は、（ｉ）少なくとも２組の反射素子と、（ｉｉ）撮像素子と、（ｉｉｉ）上記の演算を行うプロセッサとを備えている。
【０００８】
複数の反射素子をそれぞれ有する少なくとも２組の反射素子を設けることにより、この少なくとも２組の対応する反射素子は、物体の様々な視点画像を反射させる。反射された様々な視点画像は、そののち、撮像素子により取得される。ここで、本発明の方法の好適な実施の形態は、上述の方法（ｉ）のような高度な装置を用いずに行われる。さらに、上記の方法（ｉｉｉ）とは異なり、各視点における深度情報を取得する必要がないので、帯域が節約されるとともに、データ保存に関する必要性やのちのデータ処理時間が減少する。
【０００９】
さらに、複数組の反射素子が、方法（ｉｉ）において用いられる２つのカメラのレンズがカバーする範囲よりも広い領域を一括してカバーするように（すなわち、物体の周囲のより広い角度範囲をまとめて定めるように）、これらの複数組の反射素子を配置することができるので、ディスオーダーやオクルージョンの恐れが低い。
【００１０】
３Ｄ撮像装置は、例えば、光線が物体と撮像素子との間を進む際の距離が光線によって異なることに起因して、複数の画像においてディストーションが生じる可能性を考慮するため、取得した複数の画像を正規化するように構成してもよい。この正規化は、例えば、取得した画像のうちの１つの画像における複数の列の高さが、他のそれぞれの画像における対応する複数の列の高さと同じになるように、取得した画像のうちの１つの画像における複数の列をリサイズすることにより行われる。これは、三次元物体の形状に近似する既知の形状である、基準基線を用いることにより行うことができる。この基線上において、複数のサンプリングポイントが、定義されている。各サンプリングポイントは、そのサンプリングポイントから光線が全方位に発せられたと仮定した場合に、そのような光線のうちの２つの光線が、第１の素子組のうちの１つの素子および第２の素子組のうちの１つの素子によりそれぞれ反射され、第１の画像および第２の画像の対応するポイントを形成するような、サンプリングポイントである。したがって、これらの（仮想的な）光線は、物体により発せられ、かつ複数の画像を生成させたであろう実際の光線に近似している。複数のサンプリングポイントの位置と、複数の反射素子の反射特性とを用いることにより、実際の光線がその複数のサンプリングポイントにおいて発せられたと仮定した場合に生じたであろうディストーションの量を算出することができる。そして、このディストーションを補正するために、正規化を行う。
【００１１】
取得した複数の画像の正規化は、取得した複数の画像のそれぞれにおける複数のマッチングポイントを特定する上で、例えば、エピポーラマッチングを行う際に必要となる。エピポーラマッチングは、例えば、取得した複数の画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応するエピポーラ線と比較するものである。その結果、取得した画像のそれぞれの各行に沿う対応画素は、例えば、共通のエピポーラ線を有することになる。
【００１２】
あるいは、３Ｄ撮像装置は、例えば、取得した複数の画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における複数のエピポーラ線と比較するようにしてもよい。その結果、例えば、取得した複数の画像のうちの１つの画像の各行に沿う画素は、他の取得した複数の画像のそれぞれにおける複数の行に沿う画素とマッチングされる。この場合、例えば、マッチングした画素の特性の多少の違いが許容されることにより、エピポーラマッチングのロバスト性が有利に向上する。そのような違いは、例えば、基準基線が、物体の外形から過剰に逸脱していることにより生じる。
【００１３】
さらに、２組の反射素子は、例えば、共通面などの共通表面の上に配置されている。共通表面は、例えば、基準基線と平行にしてもよい。この場合、物体の外形が、基準基線に対してほぼ法線方向の角度で、光線を反射素子のそれぞれに放つため、３Ｄ撮像装置は、例えば、オクルージョンなどの懸念を減少させることができる。
【００１４】
いくつかの実施の形態では、グループ化された第１組の反射素子は、同じくグループ化された第２組の反射素子から離間して設けられている。
【００１５】
あるいは、例えば、上記少なくとも２組の反射素子は、交互配置されている。この場合、対応する複数の素子が十分に離間している場合と比較して、一方の画像では視認され他方の画像では遮蔽されるポイントの数が減少するため、マッチングポイントの数を増加させ得るという利点がある。さらに、そのような実施の形態の場合、より広い物体の視野角を可能としつつ、上記少なくとも２組の反射素子が同じ物理的空間を占めることが可能とされる。
【００１６】
例えば、反射素子のそれぞれを、適宜ホログラフィック光学素子としてもよい。ホログラフィック光学素子は軽量であるので、それらを容易に設置することができる。さらに、ホログラフィック光学素子を、異なる反射角を有するように構成することができるので、３Ｄ撮像装置の製造について設計柔軟性がある。
【００１７】
本発明の第２の側面は、物体の３Ｄ画像の生成方法を提供する。この方法は、以下の工程を含んでいる。
（ｉ）物体に対して、少なくとも２組の反射素子を配置する工程。
（ｉｉ）少なくとも２組の反射素子に対して、撮像素子を配置する工程。
（ｉｉｉ）撮像素子を用いて、少なくとも２組の反射素子のそれぞれから反射された画像を取得する工程。
（ｉｖ）各々の組が、物体の対応する単一の要素により発せられた個々の光線により生じたものである、取得した画像のそれぞれにおける複数組のマッチングポイントを特定する工程。
（ｖ）取得した画像のそれぞれにおける複数組のマッチングポイントの各組を用いて、物体の対応する要素の位置を決定する工程。
（ｖｉ）物体の複数の要素の決定された位置を用いて、物体の画像を生成する工程。
【発明の効果】
【００１８】
本発明の三次元撮像装置および三次元画像の生成方法によれば、２組の反射素子から反射された光線を用いて２つの画像を取得し、その取得画像のそれぞれにおける複数組のマッチングポイントを特定し、そのマッチングポイントの各組ごとに、物体の要素の位置を決定し、それに基づいて物体の画像を生成するようにしたので、少なくとも上述した不都合を改善することができる。
【図面の簡単な説明】
【００１９】
【図１ａ】３Ｄ空間における物体の外形に基づき導出された基準基線に対して配置された２組のホログラフィック光学素子と、同様に配置された撮像素子とを有する３Ｄ撮像装置の実施の形態を示す図である。
【図１ｂ】図１に示す実施の形態を横方向から見た図である。
【図２ａ】図１に示す複数のホログラフィック光学素子のうちの１つにより発揮される光学的機能を示す図である。
【図２ｂ】図２ａに示すホログラフィック光学素子を構築する方法を示す図である。
【図３】図１に示す３Ｄ撮像装置のホログラフィック光学素子の代わりに用いられる複数のミラーの配置構成を示す図である。
【図４】図１に示す実施の形態の一部を拡大して示すとともに、図１に示す３Ｄ撮像装置の、対応するホログラフィック光学素子により反射された各データセット間におけるサイズの違いを示す図である。
【図５】図１に示す３Ｄ撮像装置により取得された、正規化を行う前後の各データセットを示す図である。
【図６ａ】図５に示す正規化されたデータセットの各行における対応する画素をマッチングさせる場合を示す図である。
【図６ｂ】図５に示す正規化されたデータセットの各行における対応する画素をマッチングさせる場合を示す他の図である。
【図７】物体の外形のポイントを決定する方法を示す図である。
【図８】物体の外形を再構成する方法を示す図である。
【図９】物体の全方位視点からの画像を取得するように配置された、図１に示す４つの３Ｄ撮像装置を示す図である。
【図１０】物体の３Ｄ画像を生成するための各工程を示すフローチャートである。
【図１１ａ】３Ｄ撮像装置の他の実施の形態を示す上面図である。
【図１１ｂ】３Ｄ撮像装置の他の実施の形態を示す側面図である。
【図１２】３Ｄ撮像装置のさらに他の実施の形態を示す図である。
【図１３ａ】３Ｄ撮像装置のさらに他の実施の形態を示す上面図である。
【図１３ｂ】３Ｄ撮像装置のさらに他の実施の形態を示す側面図である。
【図１４ａ】ホログラフィック光学素子の代わりに用いられる機械加工ブロックの斜視図である。
【図１４ｂ】図１４ａに示す機械加工ブロックのＢ−Ｂ線に沿った断面図である。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１ａは、一実施の形態に係る３Ｄ撮像装置１０１を示す図である。この３Ｄ撮像装置１０１は、三次元形状（すなわち、その表面上の複数のポイントのすべてが二次元の共通面上に沿って位置していない）を有する物体１１１（図示せず）を撮像するように構成されている。３Ｄ撮像装置１０１は、（ｉ）複数の反射素子１０５を有する２つの二次元（「２Ｄ」）アレイ１０３ａ，１０３ｂと、（ｉｉ）撮像素子（図１ａでは電荷結合素子１０７として示す）と、（ｉｉｉ）プロセッサ（図示せず）とを備えている。プロセッサは、例えば、デル社のワークステーション「Dell Dimension T7400」である。
【００２１】
アレイ１０３ａ，１０３ｂは、撮像対象としての物体１１１に対向するように配置されている。物体１１１の形状は、当初は不既知である。ただし、以下では、「ｒ」として示す半径を有するとともに、図１ａでは紙面垂直方向である長さ方向を有する、円筒の表面の部分に近似した形状であると仮定して説明する。この円筒形状は、「基線」１０９と称する。基線１０９は、図１ａでは円筒形状の断面である円形の形状を呈している。例えば、物体１１１が人物の身体であると仮定した場合、基線１０９は、その人物の身長方向に平行な軸を有する円筒形状となり得る。なお、本実施の形態の変形例では、基線１０９は異なる選択された形状を有してもよい。例えば、人体の頭の部分を撮影する場合、基線１０９は、円形の円筒形状よりも楕円形の円筒形状を有する方がよいこともある。
【００２２】
ユーザは、はじめに物体１１１の長さ方向を見積もり、基線１０９を導出し、アレイ１０３ａ，１０３ｂが基線１０９から距離ｄだけ離れた共通面に位置するようにこれらのアレイ１０３ａ，１０３ｂを配置する。この共通面は、（ｉ）物体１１１の長さ方向（すなわち、紙面垂直方向）と、（ｉｉ）物体１１１の長さ方向に対して法線方向である第２の方向（すなわち、図１ａの左右方向）とを含んでいる。アレイ１０３ａ，１０３ｂは、第２の方向に互いに離間している。共通面の、基線１０９の中心線からの距離は、ｄ＋ｒである。
【００２３】
アレイ１０３ａ，１０３ｂは、それぞれ、図１ａにおいて左右方向である方向に有限に広がっているとともに、図１ａにおいて紙面垂直方向の縦軸に平行な方向にも広がっている。すなわち、図１ａは、アレイ１０３ａ，１０３ｂのそれぞれを「真横向き」に見た場合を示している。図１ｂは、図１ａにおいて左右方向の方向に見た場合の同じ３Ｄ撮像装置１０１を示している。図１ｂは、同様にアレイ１０３ａ，１０３ｂを「真横向き」に見た場合である。
【００２４】
図１ａおよび図１ｂに示すように、反射素子１０５は、物体１１１から得られた光を反射させ、その光を電荷結合素子１０７に向けて導くという主たる機能を有する。反射素子１０５がこの機能を如何にして行うかについては以下に詳細に説明する。アレイ１０３ａ，１０３ｂは、それぞれ、例えば、反射素子１０５を有する矩形状の二次元アレイである。すなわち、各アレイ１０３ａ，１０３ｂは、例えば、物体１１１の長さ方向にそれぞれ延在する反射素子１０５の列の組か、あるいは、図１において左右方向にそれぞれ延在する反射素子１０５の行の組として考えることができる。図１ａおよび図１ｂは、アレイ１０３ａ，１０３ｂのそれぞれにおいて、物体１１１の長さ方向に延在するとともに、図１ａの左右方向に延在する、１９×１９個の反射素子１０５が設けられている場合を示している。ただし、他の実施の形態として、他の個数の反射素子１０５を設けるようにしてもよい。いずれの場合であっても、各アレイにおける反射素子１０５の列の数は、「ｎ」（例えば、ｎ＝１９）として表され、以下では、指数ｉ＝１，２，…，ｎ−１，を用いて、ｎ列の反射素子１０５を示すようにしている。
【００２５】
電荷結合素子１０７は、反射素子１０５を有する２組のアレイ１０３ａ，１０３ｂに対して配置され、反射素子１０５により反射された物体１１１の虚像を取得するように構成されている。反射素子１０５により電荷結合素子１０７に向かって反射された光線は、図１ａに示すように、反射素子１０５の共通面からの垂直距離「ｅ」の位置であって、最も右側の反射素子１０５からのオフセット距離の位置において収束される。電荷結合素子１０７は、すべての光線を取得するのに十分な分解能を有している。
【００２６】
反射素子１０５と、電荷結合素子１０７と、円筒状基線１０９との相対配置は、図示しないレベルゲージにより測定される。ただし、レーザ測定器などの他の計測ツールを用いてもよい。
【００２７】
第１の実施の形態において、反射素子１０５は、ホログラフィック光学素子である。図２ａは、複数のホログラフィック光学素子１０５のうちの１つのホログラフィック光学素子１０５により果たされる機能を示している。このホログラフィック光学素子１０５は、破線で示す概念的な法線方向を有している。ホログラフィック光学素子１０５は、一回反射のみ可能となっている。具体的には、所定の一方向に（法線方向から「ｐ」により示す角度で）ホログラフィック光学素子１０５に入射した入射光線を反射させ、これにより別の所定方向（法線方向から「ｑ」により示す角度で）の出射光線を発生させる。これらの２つの方向は、図１ａの紙面上に位置している。
【００２８】
ここで、図１ａに示すように、２つのアレイ１０３ａ，１０３ｂにおいて同じ指数ｉを有する、対応する複数対の光学素子１０５を考えてみる。例えば、そのような一対としては、いずれもｉ＝１である、各組１０３ａ，１０３ｂにおいて最も左側のホログラフィック光学素子１０５が挙げられる。光学素子１０５の各対には、対応するｉ番目のサンプリングポイント１１３が円筒状基線１０９上に存在している。この対応するサンプリングポイント１１３は、光学素子１０５の各対について、その光学素子１０５に対応する方向（図１ａにおいてｂiにより示す）に存在している。なお、この角度は、光学素子１０５の各対ごとに異なっている。具体的には、ｉ番目のサンプリングポイント１１３は、各ｉ番目のホログラフィック光学素子１０５について、角度ｂiが、図２ａにおいてこれに対応する「ｐ」により示す角度とほぼ等しくなるような基線１０９上のポイントとなっている。したがって、各ホログラフィック光学素子１０５は、各組１０３ａ，１０３ｂから、電荷結合素子１０７に向かって異なる光線を反射させるようになっている。
【００２９】
すなわち、仮に２つの光線が、ｉ番目のサンプリングポイント１１３からそれぞれｉ番目の一対の光学素子１０５に向かって発せられたとすると、これらの光線は、各光学素子１０５により反射され、図２ａにおいて「ｑ」により示す個々の方向に向かって、電荷結合素子１０７へと伝達される。そのため、各組１０３ａ，１０３ｂにおける最も左側のホログラフィック光学素子１０５は、最も左側のサンプリングポイント１１３から発せられる光線を電荷結合素子１０７に向かって反射させ、各組１０３ａ，１０３ｂにおける左側から２番目のホログラフィック光学素子１０５は、左側から２番目のサンプリングポイント１１３から発せられる光線を電荷結合素子１０７に向かって反射させる（以下同様に続く）。なお、角度「ｐ」および角度「ｑ」は、ｉ番目の対の光学素子ごとに異なり、さらに、異なる指標ｉごとに異なっている。具体的には、ｐi,set1／ｑi,set1およびｐi,set2／ｑi,set2が、アレイ１０３ａおよびアレイ１０３ｂのホログラフィック光学素子１０５の入射角および反射角をそれぞれ表していると仮定すると、ｐi,set1は、ｐi,set2とは異なっており、同様にｑi,set1は、ｑi,set2とは異なっている。また、ｐi,set1の値は、異なる指標ｉごとにそれぞれ異なっており、同様にｑi,set1の値は、異なる指標ｉごとにそれぞれ異なっている。
【００３０】
基線１０９上のｉ番目のサンプリングポイント１１３の角度位置は、ａiにより示される。ｉ番目の一対のホログラフィック光学素子１０５のそれぞれにより反射された光線は、ｋiにより示される角度で電荷結合素子１０７へと伝達される。角度ｋiは、ホログラフィック光学素子１０５の各対ごとに異なっており、かつ、それらのホログラフィック光学素子１０５のそれぞれについて、９０°−ｂi（ｂiは、図２ａに示されている「ｐ」と同様である）の対応する値とほぼ等しい値の角度である。
【００３１】
以上のことから、ホログラフィック光学素子１０５の各列は、物体１１１における対応するストリップ（基線１０９の軸に平行に延在したほぼ直線のもの）の画像を受け取る電荷結合素子１０７に関与している。また、電荷結合素子１０７は、物体１１１のそのようなストリップのそれぞれについて、アレイ１０３ａ，１０３ｂのそれぞれの各列から、２つの異なる画像を受け取ることとなる（必ずしも、同じｉの値を有する複数の光学素子１０５からではない）。
【００３２】
したがって、３Ｄ撮像装置１０１により再構成される物体１１１の分解能は、（ｉ）ある基準基線に対する、各組１０３ａ，１０３ｂにおける反射素子１０５の個数、および、（ｉｉ）各組１０３ａ，１０３ｂにおける反射素子１０５のある個数についての、３Ｄ空間における物体１１１をカバーする範囲、などといった要因に左右されることとなる。例えば、３Ｄ撮像装置１０１は、基準基線１０９から発せられる光線が、特定の角度領域における物体１１１から発せられる対応する光線を表すように、その特定の角度領域における物体の外形を再構成するように構成し得る。これにより、例えば、限られた数の反射素子によって物体の分解能が損なわれることがないようにすることができる。
【００３３】
図２ｂは、感光性樹脂材料から構成される複数のホログラフィック光学素子１０５のうちの１つのホログラフィック光学素子１０５を、所望入射角ｐおよび所望反射角ｑを予め決定した後に、レーザ光源２０１または任意のコヒーレント光源を用いて構成する方法を示す図である。ビームスプリッタ２０３は、レーザ光源２０１からのレーザ光を、第１の副レーザ光２０５ａと、第２の副レーザ光２０５ｂとに分離する。第１の副レーザ光２０５ａは、所望入射角ｐでホログラフィック光学素子１０５と交差し、第２の副レーザ光２０５ｂは、ミラー２０９により反射されるとともに、所望反射角ｑでホログラフィック光学素子１０５と交差する。ホログラフィック光学素子１０５の反射特性は、感光性樹脂材料に関連してレーザ光２０５の角度を変えることにより、構築中に変えることができる。
【００３４】
ホログラフィック光学素子１０５は、所望入射角ｐおよび所望反射角ｑを得るべく、角度を有して傾斜した平坦ミラーと本質的に同じ反射特性を有している。そのため、ホログラフィック光学素子１０５の代わりに、任意の種類のミラー状の反射素子を用いることができる。例えば、図３は、反射素子としての平面ミラー３０１の配置構成を示している。この場合、平面ミラー３０１のそれぞれは、正確な反射を得るべく、それ自体の個々の傾斜角を用いて独立して配置させることが必要となる。したがって、平面ミラー３０１の固有の傾斜角は、目に見えて明らかである。これに対して、図１ａに示す配置構成の場合、ホログラフィック光学素子１０５は傾斜させる必要がない。
【００３５】
各組１０３ａ，１０３ｂの、対応するホログラフィック光学素子１０５間における入射角ｂiおよび反射角ｋiは異なっているが、このことは、図１の実施の形態の一部を示す図４に示すように、電荷結合素子１０７により取得された複数の虚像（または複数のデータセット）が、異なるサイズを有することになることを意味している。したがって、エピポーラ幾何学に基づいて取得した複数のデータセットのマッチングを行う前に、取得した画像を正規化する必要がある。さもなければ、取得したデータセット間のエピポーラ線がマッチングしなくなる。
【００３６】
具体的には、複数のホログラフィック光学素子が配置された直線面に関連して、電荷結合素子１０７と複数のデータセットの対応する画素との間の垂直距離の比に基づき、複数のデータセットのうちの１つのデータセットにおける複数の画素列を、「正規化因子（normalization factor）」を用いてリサイズすることにより、取得した複数のデータセットを正規化する。ホログラフィック光学素子１０５と、円筒状基線１１３と、電荷結合素子１０７との相対配置は既知であるので、図４に示すように、一般的な三角法による計算を用いることにより、正規化因子を導き出すことができる。
【００３７】
図５における上段の行は、ホログラフィック光学素子１０５の各組１０３ａ，１０３ｂのそれぞれから撮像素子１０７により取得したデータセットを示している。この上段の行は、２つの取得画像を示しており、左側の画像（「データセット２」）は、図１から見た場合に、ホログラフィック光学素子１０５の右側の組１０３ｂから取得した画像、右側の画像（「データセット１」）は、同様に図１から見た場合に、ホログラフィック光学素子１０５の左側の組１０３ａから取得した画像である。図５から見られるように、各組１０３ａ，１０３ｂの、対応するホログラフィック光学素子１０５間における入射角ｂiおよび反射角ｋiの違いに起因して、「データセット１」の複数の列は、「データセット２」において対応する複数の列よりも高くなっている。そのため、エピポーラ幾何学に基づいて各データセットのマッチングを行う前に、「データセット１」を正規化する必要がある。詳細には、データセットの正規化は、上述した正規化因子を用いて、「データセット１」の各列をリサイズすることにより行われる。図５における下段の行の右側の画像は、正規化された「データセット１」を示している。この場合、正規化されたデータセットの各列は、結果として「データセット２」の対応する列と同じ高さを有している。
【００３８】
プロセッサは、データセットを正規化したのち、これらのデータセットにおけるマッチングする複数の列を特定することが可能となる。これは、例えば、複数のデータセットのうちの１つのデータセットにおけるエピポーラ線を、他のデータセットにおける対応するエピポーラ線と比較することにより行われる。具体的には、プロセッサは、物体１１１上の同一のポイントに対応する、図５の下部の左右の画像のそれぞれにおける複数の画素対を導出する。なお、物体１１１上の所定のポイントに対応する２つの画素は、多くの場合、図５の下部の２つの画像における同じ行に位置している。これは、図６ａおよび図６ｂに示されている。図６ａおよび図６ｂは、左側の画像（データセット１に対応する画像）の７番目の行における各画素を、右側の画像（データセット２に対応する画像）の７番目の行における対応する画素とマッチングさせる場合を示している。画素のマッチングは、ダイナミックプログラミング、ウィンドウベース、およびグラフカット等の、任意の周知のマッチング法を用いて行うことができる。
【００３９】
あるいは、プロセッサを用いて、複数のデータセットのうちの１つのデータセットにおけるエピポーラ線を、他のデータセットにおける複数のエピポーラ線と比較することにより、データセットのマッチングを行うこともできる。すなわち、複数の画像のうちの１つの画像におけるある特定の行の各画素を、取得された他のそれぞれの画像における任意の複数の行からの個々の画素とマッチングさせる。これにより、画素マッチングの際に用いられるエピポーラ拘束における誤差が調整されるため、例えば、エピポーラマッチングのロバスト性が向上する。
【００４０】
２つのマッチングする画素が決定されると、これらに対応する光線が特定されたのち、これらの２つの光線のインターセプションポイントが探し出される。これは、物体１１１の表面上に位置しているはずである。図７は、データセット１の光線ｉ＝７と、データセット２の光線ｉ＝１との交点に位置する、「ＤＰマッチング」として示すインターセプションポイントの発見方法を示す図である。基線１０９を用いたバックワード計算を行うことにより、図７に示すように、インターセプションポイント「ＤＰマッチング」の三次元位置を発見することができる。この処理を、個々の画像における一連のマッチング画素に対して繰り返すことにより、３Ｄ空間における物体１１１の外形における様々なポイントを、プロセッサにより幾何学的に決定することができる。
【００４１】
図８は、複数のデータセットの５番目の行と５番目の行との間でマッチングした１０対の画素を示している。したがって、プロセッサは、複数対の光線の１０個の交点を特定し、円筒状基線１０９に対する、３Ｄ空間における物体１１１の外形の１０個のポイントを決定する。物体１１１の外形のこれらの１０個のポイントを結ぶことにより、物体１１１の部分的な３Ｄ画像を、３Ｄ撮像装置１０１を用いて再構成することができる。物体１１１の異なる複数の外形を、複数のデータセットにおける対応する複数の行に関連して再構成することにより、物体１１１の３Ｄ画像を、３Ｄ撮像装置１０１を用いて再構成することができる。
【００４２】
図９は、物体の全方位の複数視点画像を取得するように配置された、４つの３Ｄ撮像装置１０１のインスタンスを示す図である。隣接する３Ｄ撮像装置１０１のインスタンスは、物体１１１の全方位の複数視点画像を取得すべく、９０°のオフセットで基線１０９の中心の周囲に配置されている。物体の全方位の３Ｄ画像を再構成する場合も、既に上述した同様のコンセプトが適用される。
【００４３】
＜物体の３Ｄ画像の生成方法＞
図１０は、物体の３Ｄ画像の生成方法を示すフローチャートである。この方法は、以下の工程を含むものである。
（ｉ）物体の外形に基づく、３Ｄ空間における基準基線を導出する工程１００１と、
（ｉｉ）基準基線上の複数のサンプリングポイントを決定する工程１００３と、
（ｉｉｉ）複数のサンプリングポイントに対して、少なくとも２組の反射素子を配置する工程１００５と、
（ｉｖ）少なくとも２組の反射素子に対して、撮像素子を配置する工程１００７と、
（ｖ）撮像素子を用いて、反射素子の各組により反射された物体の複数の虚像（または複数のデータセット）を取得する工程１００９と、
（ｖｉ）取得した虚像のそれぞれにおける、物体の対応する要素の位置を決定するために用いられる、複数対のマッチングポイントを特定する工程１０１１と、
（ｖｉｉ）物体の決定された位置を用いて、物体の３Ｄ画像を生成する工程１０１２。
【００４４】
特に、取得した虚像のそれぞれにおける、複数対のマッチングポイントを特定する工程１０１１は、以下の工程を含んでいる。
（ａ）取得した複数のデータセットを正規化する工程１０１１ａと、
（ｂ）取得した複数のデータセットのエピポーラマッチングを行う工程１０１１ｂ。
【００４５】
また、物体の決定された位置を用いて、物体の３Ｄ画像を生成する工程１０１２は、以下の工程を含んでいる。
（ｃ）物体の外形上の様々なポイントを決定する工程１０１２ａと、
（ｄ）決定された様々なポイントに基づき、３Ｄ空間における物体の外形を再構成する工程１０１２ｂ。
【００４６】
この方法は、例えば、上記工程により決定された物体の複数の異なる外形に基づき、その物体の３Ｄモデルを再構成する工程をさらに含む。
【００４７】
＜３Ｄ撮像装置の各種変形例＞
請求の範囲に記載の発明の範囲および精神に逸脱することなく、上述した３Ｄ撮像装置の種々の変形が可能である。
【００４８】
例えば、図１１ａおよび図１１ｂは、他の実施の形態に係る３Ｄ撮像装置１１０１の上面および側面をそれぞれ示している。この実施の形態では、２つの異なる組１１０５ａ，１１０５ｂのホログラフィック光学素子１１０３が交互配置されている。また、電荷結合素子１１０７が、図１に示す場合のように最も右側のホログラフィック光学素子からオフセット距離だけ離間した位置に配置される代わりに、ホログラフィック光学素子１１０３の上方に配置されている。この配置構成により、例えば、コンパクトな構造を有する３Ｄ撮像装置１１０１が得られる。
【００４９】
また、図１２は、さらに他の実施の形態に係る３Ｄ撮像装置１２０１を示している。図１１に示した３Ｄ撮像装置１１０１と同様、２つの異なる組１２０５ａ，１２０５ｂのホログラフィック光学素子１２０３は、交互配置されている。ただし、これらの組１２０５ａ，１２０５ｂのホログラフィック光学素子１２０３は、共通面の上に配置されているのではなく、円筒状基線１２０７と同軸である円筒共通面の上に配置されている点で、図１１に示した３Ｄ撮像装置１１０１と異なっている。複数のホログラフィック光学素子１２０３は、円筒状基線１２０７に対して平行に配置されているため、光線は、複数のサンプリングポイント１２０９から、その円筒状基線１２０７に対して法線方向の角度でホログラフィック光学素子１２０３に向かって発せられる。これにより、例えば、オクルージョンの問題が有利に軽減される。なお、本実施の形態では、電荷結合素子（図１２では図示せず）の円筒状基線１２０７の中心部が撮像対象の物体により占められていない場合、その電荷結合素子をその円筒状基線１２０７の中心部に設けることができる。この場合、複数のデータセットは、左右対称配置となる。この左右対称配置の実施の形態の場合、撮像対象としての物体の各ポイントから発せられた光線対は、電荷結合素子に向かって同じ方向に進むため、正規化工程は不要である。
【００５０】
図１３ａおよび図１３ｂは、さらに他の実施の形態に係る３Ｄ撮像装置１３０１の上面および側面をそれぞれ示している。この実施の形態では、上述した３Ｄ撮像装置１１０１および１２０１の実施の形態と同様に、２つの異なる組１３０５ａ，１３０５ｂのホログラフィック光学素子１３０３が、やはり交互配置されている。ただし、組１３０５ｂの各ホログラフィック光学素子１３０３は、組１３０５ａにおけるその対応するホログラフィック光学素子１３０３よりも、右側に向かって横方向に距離を置いて離間している点で、上述した３Ｄ撮像装置１１０１および１２０１の実施の形態と異なっている。この距離は、組１３０５ａ，１３０５ｂのいずれかの隣接する光学素子１３０３間の間隔よりも大きい。
【００５１】
３Ｄ撮像装置の他の変形例も可能である。例えば、異なる形状の複数の基準基線が３Ｄ空間において物体の複数の外形におおよそ類似する限り、そのような異なる形状の複数の基準基線を用いてもよい。
【００５２】
また、再構成された物体の外形の精度および／または３Ｄモデルの精度は、各組における反射素子の個数に左右される。そのため、例えば、各組に数十の反射素子を設けてもよく、または、各組に数百または数千もの範囲の反射素子を設けてもよい。
【００５３】
電荷結合素子１０７は、例えば、ピンホールカメラとしてもよい。あるいは、電荷結合素子１０７を、例えば、デジタル一眼レフ（ＤＳＬＲ：Digital Single-Lens Reflect）カメラとしてもよい。
【００５４】
さらに、例えば、一体ブロックに対し精密機械加工を施すことにより、複数の反射素子を形成するようにしてもよい。図１４ａは、精密機械加工が施された一体ブロック１４０１を示す斜視図である。なお、図示を簡略化するため、機械加工表面１４０３の数を減らして示している。一体ブロック１４０１の各機械加工表面１４０３は、固有の傾斜角と、物体の異なる視点画像を反射させるためのミラーとを有している。図１４ｂは、図１４ａに示した一体ブロック１４０１のＢ−Ｂ´線に沿う断面図である。図１４ｂから見られるように、２組の反射素子は、交互配置されている。この場合、最も左側の機械加工表面１４０３は、アレイ１０３ａの第１の反射素子１０５（すなわち、ｉ＝１）に対応し、左側から２番目の機械加工表面１４０３は、アレイ１０３ｂの第１の反射素子１０５（すなわち、ｉ＝１）に対応し、左側から３番目の機械加工表面１４０３は、アレイ１０３ａの第２の反射素子１０５（すなわち、ｉ＝２）に対応している（以下同様に続く）。アレイ１０３ａ，１０３ｂの対応する反射素子１０５間の素子間隔（すなわち、分離距離）は、０．５ｍｍである一方、アレイ１０３ａ，１０３ｂのそれぞれの連続する反射素子１０５間の素子間隔は、１ｍｍである。
【００５５】
各反射素子１０５の角度精度は重要であることから、精密加工装置の精度（すなわち、公差仕様）を評価し、精密加工装置が上記要件を確実に満たすようにする必要がある。
【００５６】
このような要件を満たすいくつかの選択肢として、例えば、コンピュータ機械制御（ＣＮＣ：Computer-Mechanical-Control）装置、および研削盤などが挙げられる。ＣＮＣ加工の場合、機械加工表面が物体の様々な視点画像を反射するようにするために、ミラーコーティングが必要となり得る。一方、研削盤の場合、研削された表面は物体の様々な視点画像を反射させるのに十分に平滑であるので、ミラーコーティングを追加して行うことは通常不要である。
【００５７】
ホログラフィック光学素子を用いることにより、設計および実装の観点から、一体ブロックを精密機械加工する場合からは得られない多くの柔軟性が得られる。しかしながら、ホログラフィック光学素子の代わりに機械加工ブロックを用いた場合、ホログラフィック光学素子を用いた場合と比較してより実用的な実装が得られる。つまり、精密機械加工の精度が精密加工装置によって保証されている限り、一体ブロックの各機械加工表面の傾斜角の精度を確保することができるからである。一方、ホログラフィック光学素子を用いた場合であっても、ポリマーの回折効率が１未満であることや、３色（すなわち、赤色、緑色、および青色）が共通点で収束しないなどの懸念事項に取り組むことが必要である。こうした懸念事項が十分に対応されていることを前提とした場合、ホログラフィック光学素子を用いることは、一体ブロックを精密機械加工する場合よりも好ましい。
【符号の説明】
【００５８】
１０１，１１０１，１２０１，１３０１…３Ｄ撮像装置、１０３ａ，１０３ｂ，１１０５ａ，１１０５ｂ，１２０５ａ，１２０５ｂ，１３０５ａ，１３０５ｂ…アレイ（組）、１０５，１１０３，１２０３，１３０３…反射素子（ホログラフィック光学素子）、１０７，１１０７…電荷結合素子（撮像素子）、１０９，１２０７…基線（円筒状基線）、１１１…物体、１１３，１２０９…サンプリングポイント、２０１…レーザ光源、２０３…ビームスプリッタ、２０５ａ…第１の副レーザ光、２０５ｂ…第２の副レーザ光、２０９…ミラー、３０１…平面ミラー、１００１…導出工程、１００３…測定工程、１００５…配置工程、１００７…配置工程、１００９…取得工程、１０１１…特定工程、１０１１ａ…正規化工程、１０１１ｂ…エピポーラマッチング工程、１０１２…生成工程、１０１２ａ…決定工程、１０１２ｂ…再構成工程、１４０１…一体ブロック、１４０３…機械加工表面。
【特許請求の範囲】
【請求項１】
三次元の物体の画像を生成する三次元撮像装置であって、
少なくとも２組の反射素子と、
前記物体から発せられ、かつ前記少なくとも２組の反射素子のそれぞれから反射された光線を用いて、２つの画像を取得する撮像素子と、
各々の組が、前記物体の対応する単一の要素により発せられた個々の前記光線により生じたものである、前記取得した画像のそれぞれにおける複数組のマッチングポイントを特定する第１の工程と、前記取得した画像のそれぞれにおける前記複数組のマッチングポイントの各組ごとに、前記物体の前記対応する要素の位置を決定する第２の工程とを行うように構成されたプロセッサと、
を備え、
前記プロセッサは、前記物体の複数の前記要素の前記決定された位置を用いて、前記物体の画像を生成するように構成されている
三次元撮像装置。
【請求項２】
前記プロセッサが、前記第１の工程の前に、前記画像を正規化することにより、前記反射素子の前記撮像装置からの距離の違いを補正するように構成されている
請求項１に記載の三次元撮像装置。
【請求項３】
前記プロセッサが、前記三次元の物体の形状に近似する基準基線に関連する前記画像の、サイズ間および形状間の所定のマッピングを用いて、前記正規化を行うように構成されている
請求項２に記載の三次元撮像装置。
【請求項４】
前記プロセッサが、前記取得した画像のうちの１つの画像における列をリサイズすることにより、前記取得した画像を正規化するように構成されている
請求項３に記載の三次元撮像装置。
【請求項５】
前記プロセッサが、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応するエピポーラ線と比較することにより、前記取得した画像の前記マッチングポイントの組を特定するように構成されている
請求項１から請求項４のいずれか１項に記載の三次元撮像装置。
【請求項６】
前記プロセッサが、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における複数のエピポーラ線と比較することにより、前記取得した画像の前記マッチングポイントの組を特定するように構成されている
請求項１から請求項４のいずれか１項に記載の三次元撮像装置。
【請求項７】
前記２組の反射素子が、共通面の上に配置されている
請求項１から請求項６のいずれか１項に記載の三次元撮像装置。
【請求項８】
前記２組の反射素子が、前記基準基線に平行な共通表面の上に配置されている
請求項３に記載の三次元撮像装置。
【請求項９】
前記２組の反射素子が、交互配置されている
請求項１から請求項８のいずれか１項に記載の三次元撮像装置。
【請求項１０】
前記２組の反射素子が、それぞれ、複数のホログラフィック光学素子を含んでいる
請求項１から請求項９のいずれか１項に記載の三次元撮像装置。
【請求項１１】
物体の三次元画像の生成方法であって、
前記物体に対して、２組の反射素子を配置する工程と、
前記２組の反射素子に対して、撮像素子を配置する工程と、
前記撮像素子を用いて、前記２組の反射素子のそれぞれから反射された画像を取得する工程と、
各々の組が、前記物体の対応する単一の要素により発せられた個々の前記光線により生じたものである、前記取得した画像のそれぞれにおける複数組のマッチングポイントを特定する工程と、
前記取得した画像のそれぞれにおける前記複数組のマッチングポイントの各組を用いて、前記物体の前記対応する要素の位置を決定する工程と、
前記物体の複数の前記要素の前記決定された位置を用いて、前記物体の画像を生成する工程と
を含む三次元画像の生成方法。
【請求項１２】
さらに、
前記物体の形状に近似する基準基線を導出する工程と、
前記複数のマッチングポイントを特定する前に、前記基準基線を用いて、前記取得した画像の正規化を行う工程と
を含む請求項１１に記載の三次元画像の生成方法。
【請求項１３】
前記取得した画像の正規化を行う工程が、前記取得した画像のうちの１つの画像の列をリサイズすることを含む
請求項１２に記載の三次元画像の生成方法。
【請求項１４】
前記複数のマッチングポイントを特定する工程が、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応するエピポーラ線と比較することを含む
請求項１１から請求項１３のいずれか１項に記載の三次元画像の生成方法。
【請求項１５】
前記複数のマッチングポイントを特定する工程が、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応する複数のエピポーラ線と比較することを含む
請求項１１から請求項１３のいずれか１項に記載の三次元画像の生成方法。
【請求項１６】
前記２組の反射素子が、共通面の上に配置されている
請求項１１から請求項１５のいずれか１項に記載の三次元画像の生成方法。
【請求項１７】
前記２組の反射素子が、前記基準基線に平行な共通表面の上に配置されている
請求項１２に記載の三次元画像の生成方法。
【請求項１８】
前記２組の反射素子が、交互配置されている
請求項１３から請求項１７のいずれか１項に記載の三次元画像の生成方法。
【請求項１】
三次元の物体の画像を生成する三次元撮像装置であって、
少なくとも２組の反射素子と、
前記物体から発せられ、かつ前記少なくとも２組の反射素子のそれぞれから反射された光線を用いて、２つの画像を取得する撮像素子と、
各々の組が、前記物体の対応する単一の要素により発せられた個々の前記光線により生じたものである、前記取得した画像のそれぞれにおける複数組のマッチングポイントを特定する第１の工程と、前記取得した画像のそれぞれにおける前記複数組のマッチングポイントの各組ごとに、前記物体の前記対応する要素の位置を決定する第２の工程とを行うように構成されたプロセッサと、
を備え、
前記プロセッサは、前記物体の複数の前記要素の前記決定された位置を用いて、前記物体の画像を生成するように構成されている
三次元撮像装置。
【請求項２】
前記プロセッサが、前記第１の工程の前に、前記画像を正規化することにより、前記反射素子の前記撮像装置からの距離の違いを補正するように構成されている
請求項１に記載の三次元撮像装置。
【請求項３】
前記プロセッサが、前記三次元の物体の形状に近似する基準基線に関連する前記画像の、サイズ間および形状間の所定のマッピングを用いて、前記正規化を行うように構成されている
請求項２に記載の三次元撮像装置。
【請求項４】
前記プロセッサが、前記取得した画像のうちの１つの画像における列をリサイズすることにより、前記取得した画像を正規化するように構成されている
請求項３に記載の三次元撮像装置。
【請求項５】
前記プロセッサが、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応するエピポーラ線と比較することにより、前記取得した画像の前記マッチングポイントの組を特定するように構成されている
請求項１から請求項４のいずれか１項に記載の三次元撮像装置。
【請求項６】
前記プロセッサが、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における複数のエピポーラ線と比較することにより、前記取得した画像の前記マッチングポイントの組を特定するように構成されている
請求項１から請求項４のいずれか１項に記載の三次元撮像装置。
【請求項７】
前記２組の反射素子が、共通面の上に配置されている
請求項１から請求項６のいずれか１項に記載の三次元撮像装置。
【請求項８】
前記２組の反射素子が、前記基準基線に平行な共通表面の上に配置されている
請求項３に記載の三次元撮像装置。
【請求項９】
前記２組の反射素子が、交互配置されている
請求項１から請求項８のいずれか１項に記載の三次元撮像装置。
【請求項１０】
前記２組の反射素子が、それぞれ、複数のホログラフィック光学素子を含んでいる
請求項１から請求項９のいずれか１項に記載の三次元撮像装置。
【請求項１１】
物体の三次元画像の生成方法であって、
前記物体に対して、２組の反射素子を配置する工程と、
前記２組の反射素子に対して、撮像素子を配置する工程と、
前記撮像素子を用いて、前記２組の反射素子のそれぞれから反射された画像を取得する工程と、
各々の組が、前記物体の対応する単一の要素により発せられた個々の前記光線により生じたものである、前記取得した画像のそれぞれにおける複数組のマッチングポイントを特定する工程と、
前記取得した画像のそれぞれにおける前記複数組のマッチングポイントの各組を用いて、前記物体の前記対応する要素の位置を決定する工程と、
前記物体の複数の前記要素の前記決定された位置を用いて、前記物体の画像を生成する工程と
を含む三次元画像の生成方法。
【請求項１２】
さらに、
前記物体の形状に近似する基準基線を導出する工程と、
前記複数のマッチングポイントを特定する前に、前記基準基線を用いて、前記取得した画像の正規化を行う工程と
を含む請求項１１に記載の三次元画像の生成方法。
【請求項１３】
前記取得した画像の正規化を行う工程が、前記取得した画像のうちの１つの画像の列をリサイズすることを含む
請求項１２に記載の三次元画像の生成方法。
【請求項１４】
前記複数のマッチングポイントを特定する工程が、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応するエピポーラ線と比較することを含む
請求項１１から請求項１３のいずれか１項に記載の三次元画像の生成方法。
【請求項１５】
前記複数のマッチングポイントを特定する工程が、前記取得した画像のうちの１つの画像におけるエピポーラ線を、他のそれぞれの画像における対応する複数のエピポーラ線と比較することを含む
請求項１１から請求項１３のいずれか１項に記載の三次元画像の生成方法。
【請求項１６】
前記２組の反射素子が、共通面の上に配置されている
請求項１１から請求項１５のいずれか１項に記載の三次元画像の生成方法。
【請求項１７】
前記２組の反射素子が、前記基準基線に平行な共通表面の上に配置されている
請求項１２に記載の三次元画像の生成方法。
【請求項１８】
前記２組の反射素子が、交互配置されている
請求項１３から請求項１７のいずれか１項に記載の三次元画像の生成方法。
【図１ａ】
【図１ｂ】
【図２ａ】
【図２ｂ】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１ａ】
【図１１ｂ】
【図１２】
【図１３ａ】
【図１３ｂ】
【図１４ａ】
【図１４ｂ】
【図１ｂ】
【図２ａ】
【図２ｂ】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１ａ】
【図１１ｂ】
【図１２】
【図１３ａ】
【図１３ｂ】
【図１４ａ】
【図１４ｂ】
【公開番号】特開２０１１−１２０２３５（Ｐ２０１１−１２０２３５Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２０１０−２６２５９２（Ｐ２０１０−２６２５９２）
【出願日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]