３次元シーンの要素の奥行きを評価する装置
【課題】３次元シーンに分布した被写体要素（ｏｂｊｅｃｔ ｅｌｅｍｅｎｔ）の奥行きを評価するための有利な装置を提案すること。
【解決手段】装置は、光学系であって、それ自体が、複数の画素２１、２２、２３を有する光センサ２、および光センサの画素の１つの上にシーンの要素Ｅ１、Ｅ２、Ｅ３を結像できるレンズ１を備える光学系と、この要素からきてビットマップ方式の光センサの画素のうちの１つによって取り込まれた光のストリームの最大値に着目することによって焦点を調整できるシーンの要素のいずれか１つに光学系の焦点を調整する手段と、この焦点の調節からこの要素の奥行きを推定するのに適した手段とを備える。
【解決手段】装置は、光学系であって、それ自体が、複数の画素２１、２２、２３を有する光センサ２、および光センサの画素の１つの上にシーンの要素Ｅ１、Ｅ２、Ｅ３を結像できるレンズ１を備える光学系と、この要素からきてビットマップ方式の光センサの画素のうちの１つによって取り込まれた光のストリームの最大値に着目することによって焦点を調整できるシーンの要素のいずれか１つに光学系の焦点を調整する手段と、この焦点の調節からこの要素の奥行きを推定するのに適した手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あるシーン（ｓｃｅｎｅ）の被写体（ｏｂｊｅｃｔ）を結像する光学系の焦点を用いてこのシーンの被写体の奥行き（ｄｅｐｔｈ）を評価する方法および装置に関する。
【背景技術】
【０００２】
非特許文献１は、奥行きマップを確定する光学的方法を要約する。この論文は、光学的な焦点合わせに基づく方法が、奥行きを評価するプロセスの間に像を評価する手段のパラメータを動的に変化させることを行うことを示す。
【０００３】
非特許文献２は、一シーンの異なる点の距離計算が、カメラの焦点のパラメータが、浅い被写界深度の条件でそのカメラによってイメージ上に取り込まれたという効果のモデリングによって実行されることを示す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Paolo Favaro、「Depth from focus/defocus」、2002年6月25日、インターネット〈URL:http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FAVARO1/dfdtutorial.html〉
【非特許文献２】John Ens et al. 「An investigation of methods for determining depth from focus」、IEEE transactions on pattern analysis and machine intelligence、Vol.15、No2、1993年2月2日、インターネット〈URL:http://www.sc.ehu.es/ccwgrrom/transparencias/articulos-alumnos-doct-2002/josu-larra%2596aga/00192482.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一目的は、３次元シーンに分布した被写体要素（ｏｂｊｅｃｔ ｅｌｅｍｅｎｔ）の奥行きを評価するための有利な装置を提案することである。
【課題を解決するための手段】
【０００６】
したがって、本発明の対象物は、３次元シーンの被写体要素の奥行きを評価するための装置であって、
−光学系であって、それ自体が、複数の画素を有する光センサ、およびこの光センサの画素上にシーンの被写体要素を結像できるレンズを備える光学系と、
−シーンの被写体要素のいずれか１つに光学系の焦点を調整する手段と、
−シーンの被写体要素に対する焦点の調整から被写体要素の奥行きを推定するのに適した手段と
を備える装置において、
被写体要素に焦点を調整する手段は、この要素からきて画素に分解された光センサの画素のうちの１つによって取り込まれた最大の光の流れに着目することによって焦点を調整できる装置である。
【０００７】
被写体要素は、光センサの画素のうちの１つに被写体要素が結像できるようにシーンの大きさおよび位置が定義されているシーンの被写体領域に対応する。
【０００８】
実際には、シーンの要素に対する焦点合わせが実行されるとき、この要素からの光の流れは、この要素がレンズを介して結像される領域に位置する光センサのただ１つの画素に到達する。本発明によれば、焦点は、この画素上で最大の流れを得るように調整される。この焦点から顕著な逸脱があるときは、光の流れは、センサの他の画素を照らし出す可能性があり、これは焦点合わせを調整するプロセスに干渉し得る。
【０００９】
好ましくは、この光学系は、１）レンズの像のほぼ面内に配置され、要素の像を、マイクロレンズの系を介して画素に分解された光センサの上へ中継できるテレセントリックリレーイメージングシステム（ｔｅｌｅｃｅｎｔｒｉｃ ｒｅｌａｙ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）、および２）このリレーイメージングシステムの入力に取り付けられた、やはり画素に分解された光空間変調器（ｌｉｇｈｔ ｓｐａｔｉａｌ ｍｏｄｕｌａｔｏｒ）もまた備え、
各マイクロレンズの光軸は、ビットマップ方式の光センサの異なる画素の中心を通過し、光空間変調器の異なる画素の中心を通過し、
各マイクロレンズは、リレーイメージングシステムおよびレンズと組み合わせて、シーンの被写体要素を、マイクロレンズの光軸上に位置する光空間変調器の画素を通じて、マイクロレンズの光軸上に位置する画素に分解された光センサの画素上へ結像することができる。
【００１０】
好ましくは、この奥行き評価装置は、画素のそれぞれが、通過状態に連続的に移行する一方、変調器の全ての他の画素が、遮断状態にあるように、光空間変調器の画素を制御する手段も備える。
【００１１】
好ましくは、光空間変調器の画素が、複数の隣り合った画素のグループに分布されている場合、この奥行き評価装置は、グループごとに各画素が通過状態に連続的に移行するように、グループごとに一画素が常に通過状態にある一方、同じグループの全ての他の画素が遮断状態にあるように、光空間変調器の画素を制御する手段も備える。
【００１２】
好ましくは、グループのそれぞれは、同じ個数の画素を含む。
【００１３】
好ましくは、グループごとに、画素は、同じように幾何学的に並べられ、光空間変調器の画素を制御する手段は、グループごとに、各画素が、同じ幾何学的秩序で通過状態に連続的に移行するように構成される。
【００１４】
好ましくは、各グループは、３×３個の画素を含む。
【００１５】
有利には、奥行きを評価するための装置は、シーンの像を取り込むために使用することもできる。そのような状況では、奥行きを評価するために使用される光センサの画素は、取り込むべき像の必要な定義に従って多数のサブ画素にさらに分割されてもよい。
【発明の効果】
【００１６】
本発明により、３次元シーンに分布した被写体要素（ｏｂｊｅｃｔ ｅｌｅｍｅｎｔ）の奥行きを評価するための有利な装置を提案することができる。
【００１７】
本発明は、限定ではない例として与えられる後述の説明を読み、添付図面を参照するとより良く理解されよう。
【図面の簡単な説明】
【００１８】
【図１】本発明による奥行き評価装置に使用される焦点合わせの方法を示す概略図である。
【図２】図１に示す焦点合わせ法を用いて、対応するシーンの被写体要素に対する焦点合わせ中に本発明による装置のセンサの画素によって取り込まれた光強度の変化を示す図である。
【図３】別の被写体要素からくる光によって、シーンの被写体要素に対する焦点合わせに使用される装置のセンサの画素の照明の干渉に関する問題を示す図である。
【図４】本発明による３次元シーンの被写体要素の奥行きを評価するための装置の好ましい実施形態を示す概略図である。
【図５】被写体要素に対応するシーンの被写体要素に対する焦点合わせ中に、図４の装置のセンサの異なる画素によって取り込まれた光強度の変化を、図２に類似したやり方で示す図である。
【図６】本発明による、グループごとにただ１つの画素が「通過」状態にある、図４の装置の光空間変調器の画素のグループ分けの一実施形態を示す図である。
【図７】グループごとに、別の画素が「通過」状態に移行しており、他の画素が「遮断」状態にあるという点でわずかに異なった図６と同一の図である。
【発明を実施するための形態】
【００１９】
図１を参照して、本説明では、簡素化した奥行き評価装置を用いて本発明による奥行きを測定する方法が基づく一般的原理の１つの説明を始める。
【００２０】
この図では、３次元シーンの同じ被写体が、２つの異なる奥行き、すなわち位置Ａおよび位置Ｂに配置される。
【００２１】
簡素化した奥行き評価装置は、
−レンズ１、およびレンズの光軸上に位置する瞬間のシーンの任意の被写体要素をこのセンサ２上に結像できるレンズの光軸上に配置されたビットマップ方式の光センサ２を含む光学系と、
−この被写体要素に対するこの光学系の焦点合わせを調整する手段（図示せず）と、
−この要素に対する焦点合わせの調整に係る上記被写体要素の奥行きを推定できる手段（図示せず）と
を備える。
【００２２】
ビットマップ方式の光センサ２は、本明細書では、被写体要素に対する光学系の焦点合わせを実行したときにレンズの光軸上に位置するシーンの被写体要素の像の大きさにほぼ対応する大きさの単一の画素を備える。
【００２３】
次に、本発明が基づく焦点合わせの方法を説明する。
【００２４】
シーンの被写体が位置Ｂに位置する場合（図１中に破線で描かれている被写体）、光軸の上に位置する被写体要素からくる光のストリームは、センサの画素の領域を超えて幅広く広がる光の領域にわたってセンサ２の固有の画素（ｕｎｉｑｕｅ ｐｉｘｅｌ）を照明する（図１参照）。
【００２５】
被写体が、光軸に沿って位置Ｂから位置Ａへ向かって動かされるとき、センサの固有の画素のこの照明領域は縮小し、それによって画素によって取り込まれた光強度は、図２の曲線に従って増大する。
【００２６】
位置Ａに到着すると（図１中の実線で描かれている被写体）、光強度は最大である。被写体をレンズ１へ向かう同じ方向に移動させた後、この画素上の光強度は、図２の曲線に従って小さくなり始める。
【００２７】
センサ２の単一の画素によって取り込まれた光のストリームの最大値に対応する被写体要素の位置Ａは、センサ上のこの要素の焦点位置とみなされる。
【００２８】
この特徴は、本発明の基礎のうちの１つである。
【００２９】
したがって、本発明によれば、奥行き評価装置は、奥行きを評価する被写体要素に対する焦点を調整する手段であって、この要素からきてセンサ２によって取り込まれる光のストリームの最大値に着目することによって焦点を調整できる手段を備える。基本原理を説明する必要から、焦点は、被写体の位置を変化させることによって上述のように実行されたが、同じ効果は、通常撮影される対物レンズ（ｕｓｕａｌ ｓｈｏｔ ｏｂｊｅｃｔｉｖｅｓ）についてなされるように、対物レンズの１つまたは複数のレンズの位置を変化させることによって得られる。
【００３０】
本発明によれば、奥行き評価装置は、ちょうど説明した焦点の調整に係る被写体要素の奥行きを推定できる手段も備える。これらの手段は、奥行き較正（ｄｅｐｔｈ ｃａｌｉｂｒａｔｉｏｎ）、または光学系の構成要素の特性および位置に基づいた標準的な光学計算に基づくことができる。したがって、それら自体知られているこれらの手段は、詳細に説明しない。
【００３１】
図３を参照して、次に、より完全な実施形態、それによってもたらされる問題、および本発明が与える解決法を説明する。奥行き評価装置は、光センサが、好ましくは均一に分布した複数の画素２１、２２を前述の装置のセンサの単一の画素と同じ対物レンズ１の像面内に備えるというわずかな差異を有する前述の装置と同一である。
【００３２】
ここで、この構成は、シーンにおいて、前述の通り光軸上に位置する被写体要素（この要素Ｅ１は、先に述べた通り中央の画素２１上で結像される）の奥行きだけでなく、Ｅ２などの光軸から外れて位置する被写体要素の奥行きも評価することを可能にし、これらの要素は、画素２２などの同じセンサの別の画素上で結像される。しかし、図３に見ることができるように、合焦がセンサ２の画素２１上の要素Ｅ１について実行されるとき、この合焦は、要素Ｅ２に対応する画素２２上の要素Ｅ２の焦点合わせの調整からはかなり程遠く、その結果、要素Ｅ２からくる光のストリームが画素２１を幾分照明し、それによってこの画素上の最大値の光のストリームの決定、および要素Ｅ１の奥行きの評価に干渉する。
【００３３】
この問題を克服するために、以下のやり方で奥行き評価装置を改良することが提案される。
【００３４】
この改良によれば、図４を参照すると、前述の光学系は、
−対物レンズ１のほぼ像面内に位置し、マイクロレンズの系４を介してビットマップ方式の光センサ２上でシーンの像の被写体要素を中継できるリレーイメージングシステム３と、
−センサ側でリレーイメージングシステム３の入力に取り付けられるやはりビットマップ方式の光空間変調器５と
も備える。
【００３５】
より詳細には、この光学系は、各マイクロレンズ４１（中心位置）４２、４３の光軸が、ビットマップ方式の光センサ２の別の画素２１（中心位置）、２２、２３の中心を通過し、光空間変調器５の別の画素５１（中心位置）、５２、５３の中心を通過するようなものである。より詳細には、この光学系は、各マイクロレンズ４１、４２、４３が、リレーイメージングシステム３および対物レンズ１を組み合わせて、このマイクロレンズの光軸上にやはり位置する光空間変調器５の画素５１、５２、５３を介して、このマイクロレンズの光軸上に位置するビットマップ方式の光センサ２の画素２１、２２、２３上にシーンの別の被写体要素Ｅ１、Ｅ２、Ｅ３を結像できるようになっている。
【００３６】
好ましくは、センサの各画素は、この要素に対する光学系の焦点合わせを実行するときに、シーンの被写体要素の像の大きさにほぼ対応する大きさを有する。
【００３７】
光空間変調器５の各画素は、例えば、液晶のセル、好ましくは双安定、すなわち、光の通過状態および光の遮断状態を有する液晶のセルである。
【００３８】
改良した本実施形態の第１の実施形態によれば、奥行き評価装置は、後により詳細に明らかになるように、各画素が通過状態に連続的に移行する一方、全ての他の画素が遮断状態にあるように光空間変調器５の画素５１、５２、５３を制御する手段も備える。
【００３９】
次に、要素Ｅ１が光軸上にあり、要素Ｅ３がこの軸の上方にあり、要素Ｅ２がこの軸の下方にあり、これらの３つの要素が同じ被写体または異なる被写体に属することができる、３つの被写体要素Ｅ１、Ｅ２およびＥ３に適用されるより完全な本装置を用いる焦点合わせおよび奥行きの評価の方法を説明する。
【００４０】
光空間変調器の制御手段を用いて、変調器の画素５１、５２、５３は、連続的に通過状態にされ、他の２つの画素は、遮断状態のままである。
【００４１】
画素５１が通過状態にある（および他の２つの画素が遮断状態にある）とき、変調器５の画素５２および５３は遮断状態にあるので、センサ２が被写体の他の要素、特にＥ２およびＥ３からくる光によって干渉されなければ、光学系は、画素２１を用いて先に述べた通り要素Ｅ１に対して焦点合わせできる。したがって、図３を参照して前述した不利を避けられる。次いで、要素Ｅ１に対する焦点合わせの調整から、被写体空間内のこの要素の奥行きが推定される。
【００４２】
同様に、画素５２（または５３）が通過状態にあるとき、変調器５の他の画素は遮断状態にあるので、他の被写体要素からの光によって干渉されることなく、要素Ｅ２（またはＥ３）に対する光学系の焦点合わせは、センサ２の画素２２（または２３）を用いて同じように実行することができる。したがって、図３を参照して前述した不利をやはり避けられる。次いで、要素Ｅ２に対する焦点合わせの調整から、被写体空間内のこの要素の奥行きが推定される。
【００４３】
このようにして、変調器の各画素を通過状態に連続的に移行する一方、他の画素を遮断状態に保つことによって、被写体空間は、この空間内で対物レンズに最も近い各被写体要素の奥行きを推定するように光学系の光軸の周りに走査されることが分かる。
【００４４】
図５は、焦点合わせの変化の前述の３つの連続的なサイクル中のセンサ２の各画素２１、２２、２３によって感知される光強度の変化を示す。図の下部では、被写体要素の焦点合わせに使用される画素ごとに、他の被写体要素からの「パラサイト」照明（”ｐａｒａｓｉｔｅ” ｌｉｇｈｔｉｎｇ）の入射を見ることができる。この「パラサイト」照明は、焦点に正確に対応する最大値の照明の検出を妨げないことが分かる。これは、本発明の改良の利点を示す。奥行き評価装置のセンサ２の画素および変調器５の個数が多くなるほど、被写体空間内の要素のメッシュ分割（ｍｅｓｈｉｎｇ）の密度、すなわち、被写体空間の奥行きマップのメッシュ分割の密度は、より増加する。系４内のマイクロレンズの個数が、同じ割合で増加することが明らかである。
【００４５】
実際には、奥行きマップを得るために必要な画素の個数が、３次元シーンのために十分密であるとすれば、被写体空間を完全に走査するために必要な継続時間は、画素の個数に焦点合わせの変化のサイクルの継続時間を乗じたものに対応する。特にシーンの被写体が、奥行きを評価する動作の間に移動することが可能である場合、この走査の総継続時間は、法外になり得る。
【００４６】
次に、加えて走査の継続時間に関するこの問題を解決できる本発明のこの改良に係る第２の実施形態を示す。
【００４７】
本実施形態によれば、図６を参照すると、光空間変調器の画素は、隣り合った画素からなるいくつかのグループＧ１，...，Ｇｉ，Ｇｎに分布される。好ましくは、各グループは、同じ個数の画素、ここでは３×３の画素、すなわち、第１のグループＧ１についてＰ１Ｇ１，...，Ｐ３Ｇ１，...，Ｐ７Ｇ１，...，Ｐ９Ｇ１，...，グループＧｉについてＰ１Ｇｉ，...，Ｐ９Ｇｉ，...，最後のグループＧＮについてＰ１ＧＮ，...，Ｐ３ＧＮ，...，Ｐ７ＧＮ，...，Ｐ９ＧＮまでを有する。
【００４８】
光空間変調器５の画素を制御する手段は、グループごとに一画素が常に通過状態である一方、同じグループの他の画素が遮断状態のままであるように構成されると共に、グループごとに各画素が通過状態に連続的に移行するようになされている。好ましくは、グループごとに画素は、同じ所定の幾何学的秩序に従って並べられ、グループごとに各画素は、同じ秩序に従って通過状態に連続的に移行する。例えば、まず、グループごとに、各画素は、図６にあるような通過状態にある第１の画素であり、次いで、グループごとに、図７にあるような第２の画素であり、以下同様である。
【００４９】
この第２の実施形態による装置を実現するために、手順は、第１の実施形態について説明した通りであるものの、以下の差異を有する。焦点合わせの変化のサイクル中に、光空間変調器の画素が、図６に示す状態（黒い正方形＝遮断状態、白い正方形＝通過状態）にあるときに、変調器の通過状態における画素に対応するセンサの各画素によって取り込まれた光強度の変化が、同時に記録される。このようにして、それぞれの焦点の変化のサイクルで、図２に示すタイプの９つの曲線が得られる。一画素によって記録された各曲線から、取り込まれた光強度の最大値に対応する焦点の調整が推定され、そこからこの画素上に焦点合わせされた像を有する被写体要素の奥行きが、前述の通り評価される。それは、光空間変調器の画素が図７に示す状態（黒い正方形＝遮断状態、白い正方形＝通過状態）などに移行するときに、各グループの各画素が通過状態に一度移行されてしまうまで、同じように続く。したがって、被写体空間の完全な走査に必要な焦点の変化のサイクルの個数は、センサの画素の総数ではなく、グループごとに画素の個数（ここでは９個）に対応し、このことは、有利なことに３次元シーンの被写体要素の奥行きの値の取得に必要な継続時間をかなり減少させることを可能にする。
【００５０】
より多数のグループの画素が、本発明から逸脱することなく使用されてもよいが、垂直および水平の両方向に均一に分布したグループごとに個数が９個の画素が、被写体空間の走査速度を改善することを最も良く可能にし、一方、前述の通り、センサの異なる画素同士の間の照射のパラサイトのリスク（ｌｉｇｈｔｉｎｇ ｐａｒａｓｉｔｅ ｒｉｓｋ）を制限することが認められている。
【００５１】
好ましくは、リレーイメージングシステム３は、対物レンズ１を介してテレセントリックである。限定ではない例に基づいて上述した本発明は、添付の特許請求の範囲によって包含される全ての実施形態まで及ぶ。
【技術分野】
【０００１】
本発明は、あるシーン（ｓｃｅｎｅ）の被写体（ｏｂｊｅｃｔ）を結像する光学系の焦点を用いてこのシーンの被写体の奥行き（ｄｅｐｔｈ）を評価する方法および装置に関する。
【背景技術】
【０００２】
非特許文献１は、奥行きマップを確定する光学的方法を要約する。この論文は、光学的な焦点合わせに基づく方法が、奥行きを評価するプロセスの間に像を評価する手段のパラメータを動的に変化させることを行うことを示す。
【０００３】
非特許文献２は、一シーンの異なる点の距離計算が、カメラの焦点のパラメータが、浅い被写界深度の条件でそのカメラによってイメージ上に取り込まれたという効果のモデリングによって実行されることを示す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Paolo Favaro、「Depth from focus/defocus」、2002年6月25日、インターネット〈URL:http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FAVARO1/dfdtutorial.html〉
【非特許文献２】John Ens et al. 「An investigation of methods for determining depth from focus」、IEEE transactions on pattern analysis and machine intelligence、Vol.15、No2、1993年2月2日、インターネット〈URL:http://www.sc.ehu.es/ccwgrrom/transparencias/articulos-alumnos-doct-2002/josu-larra%2596aga/00192482.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一目的は、３次元シーンに分布した被写体要素（ｏｂｊｅｃｔ ｅｌｅｍｅｎｔ）の奥行きを評価するための有利な装置を提案することである。
【課題を解決するための手段】
【０００６】
したがって、本発明の対象物は、３次元シーンの被写体要素の奥行きを評価するための装置であって、
−光学系であって、それ自体が、複数の画素を有する光センサ、およびこの光センサの画素上にシーンの被写体要素を結像できるレンズを備える光学系と、
−シーンの被写体要素のいずれか１つに光学系の焦点を調整する手段と、
−シーンの被写体要素に対する焦点の調整から被写体要素の奥行きを推定するのに適した手段と
を備える装置において、
被写体要素に焦点を調整する手段は、この要素からきて画素に分解された光センサの画素のうちの１つによって取り込まれた最大の光の流れに着目することによって焦点を調整できる装置である。
【０００７】
被写体要素は、光センサの画素のうちの１つに被写体要素が結像できるようにシーンの大きさおよび位置が定義されているシーンの被写体領域に対応する。
【０００８】
実際には、シーンの要素に対する焦点合わせが実行されるとき、この要素からの光の流れは、この要素がレンズを介して結像される領域に位置する光センサのただ１つの画素に到達する。本発明によれば、焦点は、この画素上で最大の流れを得るように調整される。この焦点から顕著な逸脱があるときは、光の流れは、センサの他の画素を照らし出す可能性があり、これは焦点合わせを調整するプロセスに干渉し得る。
【０００９】
好ましくは、この光学系は、１）レンズの像のほぼ面内に配置され、要素の像を、マイクロレンズの系を介して画素に分解された光センサの上へ中継できるテレセントリックリレーイメージングシステム（ｔｅｌｅｃｅｎｔｒｉｃ ｒｅｌａｙ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）、および２）このリレーイメージングシステムの入力に取り付けられた、やはり画素に分解された光空間変調器（ｌｉｇｈｔ ｓｐａｔｉａｌ ｍｏｄｕｌａｔｏｒ）もまた備え、
各マイクロレンズの光軸は、ビットマップ方式の光センサの異なる画素の中心を通過し、光空間変調器の異なる画素の中心を通過し、
各マイクロレンズは、リレーイメージングシステムおよびレンズと組み合わせて、シーンの被写体要素を、マイクロレンズの光軸上に位置する光空間変調器の画素を通じて、マイクロレンズの光軸上に位置する画素に分解された光センサの画素上へ結像することができる。
【００１０】
好ましくは、この奥行き評価装置は、画素のそれぞれが、通過状態に連続的に移行する一方、変調器の全ての他の画素が、遮断状態にあるように、光空間変調器の画素を制御する手段も備える。
【００１１】
好ましくは、光空間変調器の画素が、複数の隣り合った画素のグループに分布されている場合、この奥行き評価装置は、グループごとに各画素が通過状態に連続的に移行するように、グループごとに一画素が常に通過状態にある一方、同じグループの全ての他の画素が遮断状態にあるように、光空間変調器の画素を制御する手段も備える。
【００１２】
好ましくは、グループのそれぞれは、同じ個数の画素を含む。
【００１３】
好ましくは、グループごとに、画素は、同じように幾何学的に並べられ、光空間変調器の画素を制御する手段は、グループごとに、各画素が、同じ幾何学的秩序で通過状態に連続的に移行するように構成される。
【００１４】
好ましくは、各グループは、３×３個の画素を含む。
【００１５】
有利には、奥行きを評価するための装置は、シーンの像を取り込むために使用することもできる。そのような状況では、奥行きを評価するために使用される光センサの画素は、取り込むべき像の必要な定義に従って多数のサブ画素にさらに分割されてもよい。
【発明の効果】
【００１６】
本発明により、３次元シーンに分布した被写体要素（ｏｂｊｅｃｔ ｅｌｅｍｅｎｔ）の奥行きを評価するための有利な装置を提案することができる。
【００１７】
本発明は、限定ではない例として与えられる後述の説明を読み、添付図面を参照するとより良く理解されよう。
【図面の簡単な説明】
【００１８】
【図１】本発明による奥行き評価装置に使用される焦点合わせの方法を示す概略図である。
【図２】図１に示す焦点合わせ法を用いて、対応するシーンの被写体要素に対する焦点合わせ中に本発明による装置のセンサの画素によって取り込まれた光強度の変化を示す図である。
【図３】別の被写体要素からくる光によって、シーンの被写体要素に対する焦点合わせに使用される装置のセンサの画素の照明の干渉に関する問題を示す図である。
【図４】本発明による３次元シーンの被写体要素の奥行きを評価するための装置の好ましい実施形態を示す概略図である。
【図５】被写体要素に対応するシーンの被写体要素に対する焦点合わせ中に、図４の装置のセンサの異なる画素によって取り込まれた光強度の変化を、図２に類似したやり方で示す図である。
【図６】本発明による、グループごとにただ１つの画素が「通過」状態にある、図４の装置の光空間変調器の画素のグループ分けの一実施形態を示す図である。
【図７】グループごとに、別の画素が「通過」状態に移行しており、他の画素が「遮断」状態にあるという点でわずかに異なった図６と同一の図である。
【発明を実施するための形態】
【００１９】
図１を参照して、本説明では、簡素化した奥行き評価装置を用いて本発明による奥行きを測定する方法が基づく一般的原理の１つの説明を始める。
【００２０】
この図では、３次元シーンの同じ被写体が、２つの異なる奥行き、すなわち位置Ａおよび位置Ｂに配置される。
【００２１】
簡素化した奥行き評価装置は、
−レンズ１、およびレンズの光軸上に位置する瞬間のシーンの任意の被写体要素をこのセンサ２上に結像できるレンズの光軸上に配置されたビットマップ方式の光センサ２を含む光学系と、
−この被写体要素に対するこの光学系の焦点合わせを調整する手段（図示せず）と、
−この要素に対する焦点合わせの調整に係る上記被写体要素の奥行きを推定できる手段（図示せず）と
を備える。
【００２２】
ビットマップ方式の光センサ２は、本明細書では、被写体要素に対する光学系の焦点合わせを実行したときにレンズの光軸上に位置するシーンの被写体要素の像の大きさにほぼ対応する大きさの単一の画素を備える。
【００２３】
次に、本発明が基づく焦点合わせの方法を説明する。
【００２４】
シーンの被写体が位置Ｂに位置する場合（図１中に破線で描かれている被写体）、光軸の上に位置する被写体要素からくる光のストリームは、センサの画素の領域を超えて幅広く広がる光の領域にわたってセンサ２の固有の画素（ｕｎｉｑｕｅ ｐｉｘｅｌ）を照明する（図１参照）。
【００２５】
被写体が、光軸に沿って位置Ｂから位置Ａへ向かって動かされるとき、センサの固有の画素のこの照明領域は縮小し、それによって画素によって取り込まれた光強度は、図２の曲線に従って増大する。
【００２６】
位置Ａに到着すると（図１中の実線で描かれている被写体）、光強度は最大である。被写体をレンズ１へ向かう同じ方向に移動させた後、この画素上の光強度は、図２の曲線に従って小さくなり始める。
【００２７】
センサ２の単一の画素によって取り込まれた光のストリームの最大値に対応する被写体要素の位置Ａは、センサ上のこの要素の焦点位置とみなされる。
【００２８】
この特徴は、本発明の基礎のうちの１つである。
【００２９】
したがって、本発明によれば、奥行き評価装置は、奥行きを評価する被写体要素に対する焦点を調整する手段であって、この要素からきてセンサ２によって取り込まれる光のストリームの最大値に着目することによって焦点を調整できる手段を備える。基本原理を説明する必要から、焦点は、被写体の位置を変化させることによって上述のように実行されたが、同じ効果は、通常撮影される対物レンズ（ｕｓｕａｌ ｓｈｏｔ ｏｂｊｅｃｔｉｖｅｓ）についてなされるように、対物レンズの１つまたは複数のレンズの位置を変化させることによって得られる。
【００３０】
本発明によれば、奥行き評価装置は、ちょうど説明した焦点の調整に係る被写体要素の奥行きを推定できる手段も備える。これらの手段は、奥行き較正（ｄｅｐｔｈ ｃａｌｉｂｒａｔｉｏｎ）、または光学系の構成要素の特性および位置に基づいた標準的な光学計算に基づくことができる。したがって、それら自体知られているこれらの手段は、詳細に説明しない。
【００３１】
図３を参照して、次に、より完全な実施形態、それによってもたらされる問題、および本発明が与える解決法を説明する。奥行き評価装置は、光センサが、好ましくは均一に分布した複数の画素２１、２２を前述の装置のセンサの単一の画素と同じ対物レンズ１の像面内に備えるというわずかな差異を有する前述の装置と同一である。
【００３２】
ここで、この構成は、シーンにおいて、前述の通り光軸上に位置する被写体要素（この要素Ｅ１は、先に述べた通り中央の画素２１上で結像される）の奥行きだけでなく、Ｅ２などの光軸から外れて位置する被写体要素の奥行きも評価することを可能にし、これらの要素は、画素２２などの同じセンサの別の画素上で結像される。しかし、図３に見ることができるように、合焦がセンサ２の画素２１上の要素Ｅ１について実行されるとき、この合焦は、要素Ｅ２に対応する画素２２上の要素Ｅ２の焦点合わせの調整からはかなり程遠く、その結果、要素Ｅ２からくる光のストリームが画素２１を幾分照明し、それによってこの画素上の最大値の光のストリームの決定、および要素Ｅ１の奥行きの評価に干渉する。
【００３３】
この問題を克服するために、以下のやり方で奥行き評価装置を改良することが提案される。
【００３４】
この改良によれば、図４を参照すると、前述の光学系は、
−対物レンズ１のほぼ像面内に位置し、マイクロレンズの系４を介してビットマップ方式の光センサ２上でシーンの像の被写体要素を中継できるリレーイメージングシステム３と、
−センサ側でリレーイメージングシステム３の入力に取り付けられるやはりビットマップ方式の光空間変調器５と
も備える。
【００３５】
より詳細には、この光学系は、各マイクロレンズ４１（中心位置）４２、４３の光軸が、ビットマップ方式の光センサ２の別の画素２１（中心位置）、２２、２３の中心を通過し、光空間変調器５の別の画素５１（中心位置）、５２、５３の中心を通過するようなものである。より詳細には、この光学系は、各マイクロレンズ４１、４２、４３が、リレーイメージングシステム３および対物レンズ１を組み合わせて、このマイクロレンズの光軸上にやはり位置する光空間変調器５の画素５１、５２、５３を介して、このマイクロレンズの光軸上に位置するビットマップ方式の光センサ２の画素２１、２２、２３上にシーンの別の被写体要素Ｅ１、Ｅ２、Ｅ３を結像できるようになっている。
【００３６】
好ましくは、センサの各画素は、この要素に対する光学系の焦点合わせを実行するときに、シーンの被写体要素の像の大きさにほぼ対応する大きさを有する。
【００３７】
光空間変調器５の各画素は、例えば、液晶のセル、好ましくは双安定、すなわち、光の通過状態および光の遮断状態を有する液晶のセルである。
【００３８】
改良した本実施形態の第１の実施形態によれば、奥行き評価装置は、後により詳細に明らかになるように、各画素が通過状態に連続的に移行する一方、全ての他の画素が遮断状態にあるように光空間変調器５の画素５１、５２、５３を制御する手段も備える。
【００３９】
次に、要素Ｅ１が光軸上にあり、要素Ｅ３がこの軸の上方にあり、要素Ｅ２がこの軸の下方にあり、これらの３つの要素が同じ被写体または異なる被写体に属することができる、３つの被写体要素Ｅ１、Ｅ２およびＥ３に適用されるより完全な本装置を用いる焦点合わせおよび奥行きの評価の方法を説明する。
【００４０】
光空間変調器の制御手段を用いて、変調器の画素５１、５２、５３は、連続的に通過状態にされ、他の２つの画素は、遮断状態のままである。
【００４１】
画素５１が通過状態にある（および他の２つの画素が遮断状態にある）とき、変調器５の画素５２および５３は遮断状態にあるので、センサ２が被写体の他の要素、特にＥ２およびＥ３からくる光によって干渉されなければ、光学系は、画素２１を用いて先に述べた通り要素Ｅ１に対して焦点合わせできる。したがって、図３を参照して前述した不利を避けられる。次いで、要素Ｅ１に対する焦点合わせの調整から、被写体空間内のこの要素の奥行きが推定される。
【００４２】
同様に、画素５２（または５３）が通過状態にあるとき、変調器５の他の画素は遮断状態にあるので、他の被写体要素からの光によって干渉されることなく、要素Ｅ２（またはＥ３）に対する光学系の焦点合わせは、センサ２の画素２２（または２３）を用いて同じように実行することができる。したがって、図３を参照して前述した不利をやはり避けられる。次いで、要素Ｅ２に対する焦点合わせの調整から、被写体空間内のこの要素の奥行きが推定される。
【００４３】
このようにして、変調器の各画素を通過状態に連続的に移行する一方、他の画素を遮断状態に保つことによって、被写体空間は、この空間内で対物レンズに最も近い各被写体要素の奥行きを推定するように光学系の光軸の周りに走査されることが分かる。
【００４４】
図５は、焦点合わせの変化の前述の３つの連続的なサイクル中のセンサ２の各画素２１、２２、２３によって感知される光強度の変化を示す。図の下部では、被写体要素の焦点合わせに使用される画素ごとに、他の被写体要素からの「パラサイト」照明（”ｐａｒａｓｉｔｅ” ｌｉｇｈｔｉｎｇ）の入射を見ることができる。この「パラサイト」照明は、焦点に正確に対応する最大値の照明の検出を妨げないことが分かる。これは、本発明の改良の利点を示す。奥行き評価装置のセンサ２の画素および変調器５の個数が多くなるほど、被写体空間内の要素のメッシュ分割（ｍｅｓｈｉｎｇ）の密度、すなわち、被写体空間の奥行きマップのメッシュ分割の密度は、より増加する。系４内のマイクロレンズの個数が、同じ割合で増加することが明らかである。
【００４５】
実際には、奥行きマップを得るために必要な画素の個数が、３次元シーンのために十分密であるとすれば、被写体空間を完全に走査するために必要な継続時間は、画素の個数に焦点合わせの変化のサイクルの継続時間を乗じたものに対応する。特にシーンの被写体が、奥行きを評価する動作の間に移動することが可能である場合、この走査の総継続時間は、法外になり得る。
【００４６】
次に、加えて走査の継続時間に関するこの問題を解決できる本発明のこの改良に係る第２の実施形態を示す。
【００４７】
本実施形態によれば、図６を参照すると、光空間変調器の画素は、隣り合った画素からなるいくつかのグループＧ１，...，Ｇｉ，Ｇｎに分布される。好ましくは、各グループは、同じ個数の画素、ここでは３×３の画素、すなわち、第１のグループＧ１についてＰ１Ｇ１，...，Ｐ３Ｇ１，...，Ｐ７Ｇ１，...，Ｐ９Ｇ１，...，グループＧｉについてＰ１Ｇｉ，...，Ｐ９Ｇｉ，...，最後のグループＧＮについてＰ１ＧＮ，...，Ｐ３ＧＮ，...，Ｐ７ＧＮ，...，Ｐ９ＧＮまでを有する。
【００４８】
光空間変調器５の画素を制御する手段は、グループごとに一画素が常に通過状態である一方、同じグループの他の画素が遮断状態のままであるように構成されると共に、グループごとに各画素が通過状態に連続的に移行するようになされている。好ましくは、グループごとに画素は、同じ所定の幾何学的秩序に従って並べられ、グループごとに各画素は、同じ秩序に従って通過状態に連続的に移行する。例えば、まず、グループごとに、各画素は、図６にあるような通過状態にある第１の画素であり、次いで、グループごとに、図７にあるような第２の画素であり、以下同様である。
【００４９】
この第２の実施形態による装置を実現するために、手順は、第１の実施形態について説明した通りであるものの、以下の差異を有する。焦点合わせの変化のサイクル中に、光空間変調器の画素が、図６に示す状態（黒い正方形＝遮断状態、白い正方形＝通過状態）にあるときに、変調器の通過状態における画素に対応するセンサの各画素によって取り込まれた光強度の変化が、同時に記録される。このようにして、それぞれの焦点の変化のサイクルで、図２に示すタイプの９つの曲線が得られる。一画素によって記録された各曲線から、取り込まれた光強度の最大値に対応する焦点の調整が推定され、そこからこの画素上に焦点合わせされた像を有する被写体要素の奥行きが、前述の通り評価される。それは、光空間変調器の画素が図７に示す状態（黒い正方形＝遮断状態、白い正方形＝通過状態）などに移行するときに、各グループの各画素が通過状態に一度移行されてしまうまで、同じように続く。したがって、被写体空間の完全な走査に必要な焦点の変化のサイクルの個数は、センサの画素の総数ではなく、グループごとに画素の個数（ここでは９個）に対応し、このことは、有利なことに３次元シーンの被写体要素の奥行きの値の取得に必要な継続時間をかなり減少させることを可能にする。
【００５０】
より多数のグループの画素が、本発明から逸脱することなく使用されてもよいが、垂直および水平の両方向に均一に分布したグループごとに個数が９個の画素が、被写体空間の走査速度を改善することを最も良く可能にし、一方、前述の通り、センサの異なる画素同士の間の照射のパラサイトのリスク（ｌｉｇｈｔｉｎｇ ｐａｒａｓｉｔｅ ｒｉｓｋ）を制限することが認められている。
【００５１】
好ましくは、リレーイメージングシステム３は、対物レンズ１を介してテレセントリックである。限定ではない例に基づいて上述した本発明は、添付の特許請求の範囲によって包含される全ての実施形態まで及ぶ。
【特許請求の範囲】
【請求項１】
３次元シーンの被写体要素の奥行きを評価する装置であって、
−光学系であって、それ自体が、複数の画素を有する光センサおよび前記光センサの前記画素上に前記シーンの被写体要素を結像できるレンズを備える光学系と、
−前記被写体要素からきて前記画素に分解された光センサの前記画素のうちの１つによって取り込まれた光の流れの最大値に着目することによって焦点を調整できる前記シーンの前記被写体要素のいずれか１つに前記光学系の前記焦点を調整する手段と、
−前記シーンの前記被写体要素に対する前記焦点の前記調整から前記被写体要素の前記奥行きを推定するのに適した手段と、
を備えた装置において、
−前記光学系は、１）前記レンズの像のほぼ面内に配置され、前記被写体要素の像を、マイクロレンズの系を介して前記画素に分解された光センサの上へ中継できるテレセントリックリレーイメージングシステム、および２）前記リレーイメージングシステムの入力に取り付けられた、やはり画素に分解された光空間変調器をさらに備え、
各マイクロレンズの光軸は、ビットマップ方式の前記光センサの異なる画素の中心を通過し、前記光空間変調器の異なる画素の中心を通過し、
各マイクロレンズは、前記リレーイメージングシステムおよび前記レンズと組み合わせて、前記シーンの被写体要素を、前記マイクロレンズの前記光軸上に位置する前記光空間変調器の前記画素を通じて、前記マイクロレンズの前記光軸上に位置するビットマップ方式の前記光センサの前記画素上へ結像することができる、前記装置。
【請求項２】
前記画素のそれぞれが、通過状態に連続的に移行する一方、前記変調器の全ての他の画素が、遮断状態にあるように、前記光空間変調器の画素を制御する手段をさらに備えた、請求項１に記載の奥行き評価装置。
【請求項３】
前記光空間変調器の前記画素が、複数の隣り合った画素のグループに分布されている場合、奥行き評価装置は、グループごとに各画素が通過状態に連続的に移行するように、グループごとに一画素が常に通過状態にある一方、同じグループの全ての他の画素が遮断状態にあるように、前記光空間変調器の前記画素を制御する手段をさらに備えた、請求項１に記載の奥行き評価装置。
【請求項４】
前記グループのそれぞれは、同じ個数の画素を含む、請求項３に記載の奥行き評価装置。
【請求項５】
グループごとに、前記画素は、同じように幾何学的に並べられ、前記光空間変調器の前記画素を制御する手段は、グループごとに、各画素が、同じ幾何学的秩序で前記通過状態に連続的に移行するように構成される、請求項４に記載の奥行き評価装置。
【請求項６】
各グループは、３×３個の画素を含む、請求項４または５に記載の奥行き評価装置。
【請求項１】
３次元シーンの被写体要素の奥行きを評価する装置であって、
−光学系であって、それ自体が、複数の画素を有する光センサおよび前記光センサの前記画素上に前記シーンの被写体要素を結像できるレンズを備える光学系と、
−前記被写体要素からきて前記画素に分解された光センサの前記画素のうちの１つによって取り込まれた光の流れの最大値に着目することによって焦点を調整できる前記シーンの前記被写体要素のいずれか１つに前記光学系の前記焦点を調整する手段と、
−前記シーンの前記被写体要素に対する前記焦点の前記調整から前記被写体要素の前記奥行きを推定するのに適した手段と、
を備えた装置において、
−前記光学系は、１）前記レンズの像のほぼ面内に配置され、前記被写体要素の像を、マイクロレンズの系を介して前記画素に分解された光センサの上へ中継できるテレセントリックリレーイメージングシステム、および２）前記リレーイメージングシステムの入力に取り付けられた、やはり画素に分解された光空間変調器をさらに備え、
各マイクロレンズの光軸は、ビットマップ方式の前記光センサの異なる画素の中心を通過し、前記光空間変調器の異なる画素の中心を通過し、
各マイクロレンズは、前記リレーイメージングシステムおよび前記レンズと組み合わせて、前記シーンの被写体要素を、前記マイクロレンズの前記光軸上に位置する前記光空間変調器の前記画素を通じて、前記マイクロレンズの前記光軸上に位置するビットマップ方式の前記光センサの前記画素上へ結像することができる、前記装置。
【請求項２】
前記画素のそれぞれが、通過状態に連続的に移行する一方、前記変調器の全ての他の画素が、遮断状態にあるように、前記光空間変調器の画素を制御する手段をさらに備えた、請求項１に記載の奥行き評価装置。
【請求項３】
前記光空間変調器の前記画素が、複数の隣り合った画素のグループに分布されている場合、奥行き評価装置は、グループごとに各画素が通過状態に連続的に移行するように、グループごとに一画素が常に通過状態にある一方、同じグループの全ての他の画素が遮断状態にあるように、前記光空間変調器の前記画素を制御する手段をさらに備えた、請求項１に記載の奥行き評価装置。
【請求項４】
前記グループのそれぞれは、同じ個数の画素を含む、請求項３に記載の奥行き評価装置。
【請求項５】
グループごとに、前記画素は、同じように幾何学的に並べられ、前記光空間変調器の前記画素を制御する手段は、グループごとに、各画素が、同じ幾何学的秩序で前記通過状態に連続的に移行するように構成される、請求項４に記載の奥行き評価装置。
【請求項６】
各グループは、３×３個の画素を含む、請求項４または５に記載の奥行き評価装置。
【図２】
【図５】
【図６】
【図７】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図３】
【図４】
【公開番号】特開２０１３−２９４９６（Ｐ２０１３−２９４９６Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１３４２２６（Ｐ２０１２−１３４２２６）
【出願日】平成２４年６月１３日（２０１２．６．１３）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１２−１３４２２６（Ｐ２０１２−１３４２２６）
【出願日】平成２４年６月１３日（２０１２．６．１３）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]