カラー画像及び奥行き画像を構築する撮像装置
デュアルモード撮像装置は、可視光をフィルタリングすることができる構造化された照明を投影するように構成された光源を含む。デュアルモード撮像装置はまた、シーンからの構造化された照明及び可視光の両方をとらえるように構成された検出器を含む。時間フィルター又は空間フィルターが、構造化された照明を検出器の１つ又は複数の部分へ通過させつつ検出器の１つ又は複数の部分からの可視光を選択的にブロックするために使用される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像及び奥行き画像を構築する撮像装置に関する。
【背景技術】
【０００２】
[0001]カメラはシーンの静止画像をとらえるために使用することができる。間断なく撮られたいくつかの静止画像は、各々のフレームが異なる静止画像に対応する複数のフレームを含む映画を生成するために使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
そのような画像は様々な異なる用途において非常に有用であるが、そのような画像はいくつかの目的にはあまり適していない。特に、従来の静止画像及び映画は、シーンにおいてとらえられた様々な表面の相対的な奥行きを正確に評価するのに十分な情報を提供しない。
【課題を解決するための手段】
【０００４】
[0002]可視光によって照らされたシーンを撮像するデュアルモード撮像装置（dual-mode imager）が開示される。デュアルモード撮像装置は、可視光をフィルタリングすることができる構造化された照明を投影するように構成された光源を含む。デュアルモード撮像装置はまた、シーンから構造化された照明及び可視光の両方をとらえるように構成された検出器を含む。時間フィルター又は空間フィルターが、構造化された照明を検出器の１つ又は複数の部分へ渡す間に検出器の１つ又は複数の部分からの可視光を選択的にブロックするために使用される。
【０００５】
[0003]この概要は、詳細な説明においてさらに以下に記載される概念のうちの選択されたものを単純化された形式で紹介するために提供される。この概要は、特許請求された主題の重要な特徴又は不可欠な特徴を識別するようには意図されず、特許請求された主題の範囲を限定するために使用するようにも意図されない。さらに、特許請求された主題は、本開示のいかなる部分に注記されたいかなる又はすべての不利益を解決する実施例にも限定されない。
【図面の簡単な説明】
【０００６】
【図１】[0004]カラー画像及び奥行き画像を構築するために処理することができる例示的なシーンを示す。
【図２】[0005]本開示の実施例による例示的なデュアルモード撮像装置を概略的に示す。
【図３】[0006]本開示の実施例による例示的な回転ホイール（rotating wheel）フィルターを概略的に示す。
【図４】[0007]カラー画像及び奥行き画像を構築するために図３の回転ホイールフィルターが検出器と連携している時間系列を概略的に示す。
【図５】[0008]カラー画像及び奥行き画像を構築するために検出器と連携する例示的な空間フィルターを概略的に示す。
【図６】[0009]共有画像センサーを使用してカラー画像及び奥行き画像を構築する例示的な方法を示す。
【図７】[0010]共有画像センサーを使用してカラー画像及び奥行き画像を構築することができる例示的なコンピューティングシステムを概略的に示す。
【発明を実施するための形態】
【０００７】
[0011]共有画像センサーを使用して奥行き情報とカラー情報を処理することができるデュアルモード撮像装置が開示される。デジタルデュアルモード撮像装置は、時間の部分集合（サブセット）における画素の部分集合が第１のパラメーター（例えば、波長の帯域）によって特徴付けられる光にさらされ、時間の同じ又は異なる部分集合における画素の同じ又は異なる部分集合が第１のパラメーターとは異なる第２のパラメーター（例えば、波長の異なる帯域）により特徴づけられる光にさらされるように、画像センサー（すなわち、検出器）に伝えられる光を時間的に及び／又は空間的にフィルタリングする。このように、第１のパラメーターにより特徴づけられる光はカラー画像を構築するために使用することができ、第２のパラメーターにより特徴づけられる光は奥行き画像を構築するために使用することができる。両画像は、同じ画像センサーを使用して−例えば、カラー情報の読み取りと奥行き情報の読み取りを時間的に交互に行うようにすべての画素を使用することによって、又は、他の画素が奥行き情報を読んでいる間にカラー情報を読み取るように、選択された画素を使用することによって、構築される。
【０００８】
[0012]共有画像センサーを使用したカラー画像及び奥行き画像の構築は、例として、特定の図示された実施例に関して以下に述べられる。本開示に含まれる図面が概略的であることに留意されたい。図示された実施例の表示は、一般に、縮尺どおりに描かれない。アスペクト比、特徴のサイズ及び特徴の数は、選択された特徴又は関係をより容易に理解できるようにするために故意に歪められてもよい。
【０００９】
[0013]図１は、カラー画像及び奥行き画像を構築するために処理することができる例示的なシーン１０の単純化された斜視図を示す。シーンは、異なる奥行き、すなわち、シーンの前に位置した観察者の視点からの距離に配置された様々な物体及び表面を含む。表面１２は、シーンにおいてもっとも奥行きがある（観察者の視点から見て最も遠い）。表面１４は、表面１２の前方に配置され（観察者の視点により近く）、表面１６、１８及び２０は表面１４の前方に配置される。したがって、現在考慮されている表面は、シーンの次元として同じオーダーの大きさの次元を有するマクロ表面である。しかしながら、本明細書に開示されたシステム及び方法がそのような表面に限定されず、構造化されたマクロ表面のずっと小さな領域の検査、例えば、荒い又は不規則なトポロジーについての調査を可能にすることに留意されたい。さらに、図１は静的なシーンを示すが、本明細書に記載された概念は、１人以上の動いている人々又は物体を含むシーンなどの動的なシーンを撮像するために使用することができる。
【００１０】
[0014]シーン内の異なる奥行きに配置されることに加えて、図１に示される様々な表面は、互いに及び観察者に関して違ったように方向付けられる。表面１６が観察者の視線に対して傾斜している一方、表面１２及び１４は観察者の視線に対して垂直に方向づけられる。さらに、湾曲面１８及び２０は、観察者の視線に対して連続的な範囲の方向を示す。
【００１１】
[0015]図１に示される表面はまた、異なる質感を示してもよい。例えば、表面２０は、下部の表面１８と比較して、比較的滑らかであってもよい。光学的に、シーンの異なる質感は異なる光反射特性を示してもよい。例えば、表面１８が主として分散的である一方、表面２０は主として鏡面反射性であってもよい。
【００１２】
[0016]最後に、シーンにおける様々な物体は異なる色であってもよい。概略的にシーン１０を描くために黒及び白の線による描画が使用されているが、当業者であれば、様々な表面の光吸収特性及び光反射特性が互いに異なってもよく、したがって様々な表面の色が互いに異なってもよいことを理解するであろう。
【００１３】
[0017]いくつかの応用では、シーンからのカラー情報のみがシーンのカラー画像（例えば、デジタル写真又はデジタル映画）を形成するために処理される。他の応用では、シーンからの奥行き情報のみが奥行き画像を形成するために処理される。本明細書に記載されるように、カラー画像及び奥行き画像の両方を形成することができるように、カラー情報と奥行き情報の両方が処理される。２つの別個のカメラ−カラー画像を生成するためのカメラ及び奥行き画像を生成するため別のカメラ−を使用する代わりに、本開示は、両画像を生成する単一のデュアルモード撮像装置を対象とする。
【００１４】
[0018]図２は、シーン１０の断面平面図を示す。図はまた、１つの例示的な実施例におけるデュアルモード撮像装置２２を示す。デュアルモード撮像装置はシーンを撮像するための光学系である；それはコントローラー２３、光源２４、検出器２６及びフィルター２８を含む。
【００１５】
[0019]コントローラー２３は、光源２４、検出器２６及び／又はフィルター２８を制御する−例えば、これらのコンポーネントの機能をトリガーし、調整し、及び／又は同期させる−ように構成された任意の制御装置であってもよい。コントローラーは、以下に述べられるような論理サブシステム及び／又はデータ保持サブシステムを含んでもよい。いくつかの実施例において、コントローラーは奥行き分析器を含んでもよい。他の実施例において、奥行き分析器は、コントローラーと動作可能に通信してもよいが、それ自体が別個のシステムであってもよい。
【００１６】
[0020]フィルターが検出器からの可視光をブロックしている間に、検出器によってとらえられた画像が奥行き画像を構築するためにソートされるように、コントローラーは、フィルターと検出器のタイミングを調整することができる。フィルターが検出器へ可視光を通している間に、検出器によってとらえられた画像がカラー画像を構築するためにソートされるように、コントローラーはまた、フィルターと検出器のタイミングを調整することができる。その後、奥行き分析器は、検出器によってとらえられた構造化された照明の１つ又は複数の画像（すなわち、フィルターが検出器からの可視光をブロックしている間に検出器によってとらえられた１つ又は複数の画像）に基づいて、奥行き画像を構築してもよい。これはより詳細に以下に記載される。
【００１７】
[0021]光源２４は、シーン１０の様々な表面にフィルタリング可能な照明を投影するように構成された任意の適切な光源であってもよい。特に、光源２４は、可視光の対応する特徴と異なる１つ又は複数の特徴を有する光を投影するように構成され、したがって、可視光が投影された光に対してフィルタリングされることを可能にする（例えば、波長及び／又は偏光状態によってフィルタリング可能にする）。
【００１８】
[0022]図２に示される実施例において、光源はレーザー３０及び分散器（disperser）３２を含む。レーザーは、既知の偏光状態の、強く、平行にされた、コヒーレントな、実質的に単色の光のビームを提供してもよい。
【００１９】
[0023]本明細書において使用されるとき、「偏光状態」という用語は、光が伝播するときの、光の振幅の方向もしくは感覚又はこの方向の回転についての任意の些細でない指示を包含する；当該指示は正確かもしれないし又はおおよそのものであるかもしれず、完全であるかもしれないし不完全かもしれない。完全な偏光状態の１つの例は、
Ｓ０＝｜Ｅｘ｜２＋｜Ｅｙ｜２
Ｓ１＝｜Ｅｘ｜２−｜Ｅｙ｜２
Ｓ２＝｜Ｅａ｜２−｜Ｅｂ｜２
Ｓ３＝｜Ｅｌ｜２−｜Ｅｒ｜２
として定義されるコンポーネントＳ０、Ｓ１、Ｓ２及びＳ３を含むフル・ストークスベクトル表現であり、ここで、Ｅ１及びＥ２は、基底
【００２０】
【数１】
における電界の複素振幅コンポーネントであり、
【００２１】
【数２】
は標準デカルト基底であり、
【００２２】
【数３】
は４５°回転したデカルト基底であり、
【００２３】
【数４】
は
【００２４】
【数５】
であるように定義された円基底（circular basis）である。不完全な偏光状態の例は、
【００２５】
【数６】
によって定義された偏光度ｐ、及び
【００２６】
【数７】
によって定義された直線偏光方向Ψである。
【００２７】
[0024]図２に続いて、いくつかの実施例において、レーザー３０は連続波（ＣＷ）レーザーであってもよい；他の実施例において、レーザーはパルス化され、モードロックされ、Ｑスイッチされるなどしてもよい。光源２４に含まれるレーザーのパワーは画像化されるべきシーンに基づいて選択されてもよく、より離れた広範囲のシーンにはより強力なレーザーが使用され、より近いコンパクトなシーンにはそれほど強力でないレーザーが使用される。パワーに加えて、レーザーのレーザー波長は画像化されるべきシーンに基づいて選択されてもよい。特に、レーザー波長は可視光と最小限に重なるように選択されてもよい。１つの実施例において、レーザー波長は近赤外波長であってもよい。
【００２８】
[0025]分散器３２は、投影角の範囲中のレーザー３０からの平行ビームを分散させ、それによって互いに間隔を空けて配置された複数の光機構でシーンを照らすように構成された任意の装置であってもよい。図２に示される実施例において、光機構は、レーザー３０のパターン化された又はその他の方法で構造化された照明３３を形成する。図２は、水平面に限定された偏向角の範囲にわたって分散されたレーザービームを示す。図示された実施例において、偏向角は、一定のインクリメントによって分離された離散値、例えば、−２０°、−１５°、・・・＋２０°、を仮定する。他の実施例において、離散値はランダムなインクリメントによって分離される。他の実施例において、レーザービームは、偏向角の連続的な範囲にわたって水平に分散されてもよい。本明細書に注記された数値範囲が例にすぎず、他の範囲が完全に本開示の範囲内にあることが理解されよう。
【００２９】
[0026]分散器３２は、垂直面に限定された偏向角の範囲にわたってレーザービームをさらに分散させてもよい。上述の水平分散のように、垂直分散は離散的であってもよいし又は連続的であってもよい。水平分散及び垂直分散が両方とも離散的ならば、シーンは様々なドットによって照らされる。垂直分散が離散的であるが水平分散が連続的ならば、シーンは一連の水平ストライプによって照らされる。また、水平分散が離散的であるが垂直分散が連続的ならば、以下にさらに参照されるように、シーンは一連の垂直のストライプによって照らされる。これら又は他の構造化された光パターンは本開示の範囲から逸脱することなく使用することができる。
【００３０】
[0027]レーザービームを分散させるために、分散器３２は、様々な光学コンポーネント−レンズ、回折光学素子、拡散器、ミラー、導光路、マスクなど−を含んでもよい。いくつかの実施例において、分散器は、様々なアクティブなコンポーネント−例えば、電気機械式アクチュエーター、チョッパー、圧電物質及び液晶光弁−をさらに含んでもよい。
【００３１】
[0028]続けて図２を参照すると、検出器２６は、シーンからの光を検出することによってシーンの画像をとらえるように構成された任意の装置であってもよい。さらに、図２に示されるように、取得された画像が光源２４及び／又は可視光によって照らされたシーンの少なくとも一部を含むように、検出器が方向づけられてもよい。このように、シーンの様々な表面から反射された照明の一部が検出器によって検出されてもよい。検出器２６はシーンからの構造化された照明及び可視光の両方をとらえるように構成される。
【００３２】
[0029]検出器２６は、光を集め及び／又は画像センサー４０上に集中させる光コンポーネントの実質的に任意の組み合わせを含んでもよい。
[0030]画像センサー４０は、可視光の相対的な強度及び構造化された照明３３の相対的な強度を検出するように構成された任意のセンサーであってもよい。光源２４が例えば近赤外発光レーザー含む実施例において、画像センサーは、およそ３８０ナノメーターからおよそ１０００ナノメーターの波長を有する光を検出するように構成された相補型金属酸化膜半導体（ＣＭＯＳ）を含んでもよい。さらに、画像センサーは画素のアレイとして取得された画像を表すように構成されてもよい。そのため、取得された画像の各画素は、１つ又は複数のカラーチャネルについて、シーンの異なる領域から反射された光の強度を符号化してもよい。当業者であれば、可視光、構造化された照明３３の光及び／又は変調された照明を検出することができる様々な異なる画像センサーが本開示の範囲から逸脱することなく使用されてもよいことを理解するであろう。さらに、異なる光学構成を有する様々な装置に画像センサーを組み入れることができることが認識されるべきである。
【００３３】
[0031]フィルター２８は時間フィルター又は空間フィルターであってもよい。時間フィルターの限定的でない例は回転ホイールフィルターを含む。例示的な回転ホイールフィルター５０は図３に概略的に示される。回転ホイールフィルター５０は、可視光をブロックし近赤外光を通過させるように構成された第１の部分５２を含む。第１の部分は、垂直な線によって概略的に識別される。回転するフィルターはまた、可視光を通過させオプションとして近赤外線をブロックするように構成された第２の部分５４を含む。第２の部分は、水平な線によって概略的に識別される。
【００３４】
[0032]図４は、検出器２６ａの４つの連続した露光に対応する４つの異なる時間ｔ０、ｔ１、ｔ２及びｔ３（すなわち、検出器が画像をとらえる４つの連続した時間）における回転ホイールフィルター５０を概略的に示す。本来概要的なものであるが、この図面は左から右へ移動する光を示す。シーンからの光はフィルターの下部を通って検出器へ移動する。この例において示されるように、回転ホイールフィルター５０の第１の部分は、検出器が画像をとらえるとき（例えば、時間ｔ０及びｔ２）以外はいつもシーン及び検出器２６ａの間で光学的に中間にある。同様に、回転ホイールフィルター５０の第２の部分は、検出器が画像をとらえるとき（例えば、時間ｔ１及びｔ３）以外はいつもシーン及び検出器２６ａの間で光学的に中間である。上述のように、コントローラーは、時間フィルターの周期を検出器の周期の２倍に設定してもよい。言いかえれば、検出器２６ａは回転ホイールフィルターの各回転中に２つの画像−可視光画像及び近赤外画像−をとらえる。すなわち、回転ごとに、回転ホイールフィルター５０は、回転のおよそ半分の間可視光をブロックし、回転のおよそ半分の間可視光を通過させるように構成される。
【００３５】
[0033]図４に概略的に示されるように、検出器へと通過する赤外光は（すなわち、時間ｔ０及びｔ２において）奥行き画像を生成するために使用することができる。本明細書にて使用されるとき、奥行き画像は、位置の奥行き値（例えば、ｚ座標）が各画素について記録される任意の画像を含む。同様に、検出器へと通過する可視光は（すなわち、時間ｔ１及びｔ３において）カラー画像を生成するために使用することができる。本明細書にて使用されるとき、カラー画像は、各画素について１つ又は複数の強度値（例えば、白黒もしくはグレースケールの画像についての単一の強度値又は多色画像についての異なる色チャネルもしくは輝度チャネルに対応する２つ以上の強度値）が記録される任意の画像を含む。
【００３６】
[0034]上記の記載された構成は時間フィルターの限定的でない例である。異なる数の可視光ブロック部及び可視光通過部を有する他の回転ホイールフィルターが使用されてもよい。例えば、回転ホイールフィルターは、可視光を通過させるように構成された２つの４分の１の部分と交互になる可視光をブロックするように構成された２つ４分の１の部分を含んでもよい。可視光ブロック部及び可視光通過部は任意の適切なサイズにし任意の適切な形状にすることができる。さらに、回転ホイールフィルター以外の時間フィルターが使用されてもよいことが理解されるべきである。一般に、検出器からの可視光をブロックすることと可視光を検出器へ通過させることとを時間的に交互に行うように構成された任意のフィルターを使用することができる。
【００３７】
[0035]上述の回転ホイールは、奥行き画像についての光からカラー画像についての光をフィルタリングするという概念を示す限定的でない例として提供されたが、他の構成が本開示の範囲内にあることが理解されるべきである。例えば、波長感知偏光回転子（wavelength sensitive polarization rotator）と組み合わせて偏光を変調する他のアクティブな装置（例えば、光弾性変調器）が、画像センサーに対する信号を時間的に変化させるために使用されてもよい。
【００３８】
[0036]図５は、（部分的に示された）空間フィルター６０の例を概略的に示す。空間フィルター６０は、検出器６２（部分的に示される）のいくつかの部分からの可視光をブロックする一方、可視光が検出器の他の部分へと通過することを可能にするように構成される。例えば、空間フィルターは、検出器の空間的に交互になっている複数の画素群（例えば、空間的に交互になっている画素の行、空間的に交互になっている画素の列、画素の格子状パターンなど）のうちの１つおきの画素群からの可視光をブロックするように構成されてもよい。図示された実施例において、空間フィルター６０及び検出器６２は、偶数の画素行が近赤外光に露光され、奇数の画素行が可視光に露光されるように、協調的に構成され、整列される。
【００３９】
[0037]図５に概略的に示されるように、検出器へと通過する赤外光は（すなわち、偶数の画素行によって）奥行き画像を生成するために使用することができる。同様に、検出器へと通過する可視光は（すなわち、奇数の画素行によって）カラー画像を生成するために使用することができる。
【００４０】
[0038]可視光及びＩＲ光を分離する別の方法はカラー回転子を使用することである。この場合、シーンからの光は直線偏光子を介して通過し、次いで特定の波長について偏光状態を回転させるが他の波長に対しては偏光状態を同じに保つフィルターを介して通過する。現れる光は、１つの偏光状態のＩＲ光及び異なる状態の可視光を有する。そのような光は、偏光方向が空間的に異なる、パターン化された偏光子を使用することにより、空間的に分離することができる。
【００４１】
[0039]図６は、共有画像センサーを使用してカラー画像及び奥行き画像を構築する例示的な方法７０を示す。７２において、方法７０は、構造化された照明をシーン上に投影することを含む。構造化された照明は、構造化された照明を実質的にフィルタリングされないままにしつつ可視光がフィルタリングされることを可能にする、近赤外波長又は任意の他の特性によって特徴づけられてもよい。構造化された照明は、近赤外レーザーを含む光源などの任意の適切な光源から投影されてもよい。
【００４２】
[0040]７４において、方法７０は、シーンから検出器への可視光をブロックすることとシーンから検出器への可視光を通過させることとを時間的に交互に行うことを含む。いくつかの実施例において、これは回転ホイールフィルターなどの時間フィルターを使用して遂行されてもよい。
【００４３】
[0041]７６において、方法７０は論理分岐を含む。可視光がブロックされる場合、方法は７８に移る。可視光がブロックされない場合、方法は８０に移る。７８において、方法７０は、構造化された照明を検出器によってとらえることを含む。検出器は、構造化された照明及び可視光をとらえることができる任意の適切な検出器であってもよい。
【００４４】
[0042]８２において、方法７０は、検出器によってとらえられた構造化された照明に基づいて奥行き画像を生成することを含む。奥行き画像は、構造化された照明を構成する間隔を空けられた光機構の相対的な位置に基づいて画素についての位置の奥行き値を評価するように構成された奥行き分析器によって、少なくとも部分的に構築されてもよい。この種の画像処理を容易にするために、白黒の光及びＲＧＢ光の両方を検出することができるように、画像センサーは画素アレイ構造を含んでもよい。
【００４５】
[0043]８０において、方法７０は論理分岐を含む。可視光が通過する場合、方法は８４に移る。可視光が通過しない場合（例えば、シーンからの光が、フィルターの可視光フィルタリング部又は近赤外フィルタリング部のいずれを介しても通過していない）、方法は７６に戻る。
【００４６】
[0044]８４において、方法７０は検出器によって可視光をとらえることを含む。７８において構造化された照明をとらえるために使用されるのと同じ検出器が、８４において可視光をとらえるために使用される。
【００４７】
[0045]８６において、方法７０は検出器によってとらえられた可視光に基づいてカラー画像を生成することを含む。カラー画像は、多色画像、白黒画像、又はグレースケール画像であってもよい。
【００４８】
[0046]奥行き画像を形成するのに使用される赤外の構造化された照明とカラー画像を形成するのに使用される可視光との間でのフィルタリングのコンテキストにおいて上述されたが、本明細書に記載されたフィルタリング機構は、１つ又は複数の異なる特性（例えば、波長、偏光など）を有する光からの他の種類の奥行き画像化照明をフィルタリングするために使用されてもよく、その逆もまた可能であることが理解されるべきである。一般に、第１の特性を有する１つ又は複数の種類の光は、本明細書に記載されるような異なる特性を有する異なる種類の光からフィルタリングされてもよい。互いに対してフィルタリング可能である限定的でない光の種類の例は、可視光、赤外光、近赤外光、紫外線、構造化された光及び／又は変調された光を含む。
【００４９】
[0047]図７に関して以下に述べられるように、様々な異なるコンピューティングシステムが本開示の趣旨から逸脱することなく使用されてもよい。図２に関して記載された動作環境は例として提供されるが、いかなるようにも限定的であるようには意図されない。反対に、図示された動作環境は、本開示の範囲から逸脱することなく様々な異なる動作環境に適用され得る一般的な概念を示すように意図される。
【００５０】
[0048]本明細書に記載された方法及び処理は、様々な異なる種類のコンピューティングシステムに関係してもよい。図７は、本明細書に記載されたカラー画像構築方法及び奥行き画像構築方法のうちの１つ又は複数を実行することができるコンピューティングシステム９０を概略的に示す。コンピューティングシステム９０は、特に、ゲーム機、パーソナルコンピューティングシステム、軍事追跡及び／もしくはターゲッティングシステム、グリーンスクリーン（green-screen）又はモーションキャプチャー機能を提供するキャラクター獲得システムを含むがこれらに限定されない、様々な異なる形式をとることができる。
【００５１】
[0049]コンピューティングシステム９０は、論理サブシステム９２、論理サブシステムに動作可能に接続されたデータ保持サブシステム９４、表示サブシステム９６及び／又はデュアルモード撮像装置９８を含んでもよい。コンピューティングシステムは、オプションとして、図７に示されないコンポーネントを含んでもよく、及び／又は、図７に示されるいくつかのコンポーネントは、コンピューティングシステムへ統合されない周辺コンポーネントであってもよい。
【００５２】
[0050]論理サブシステム９２は、１つ又は複数の命令を実行するように構成された１つ又は複数の物理デバイスを含んでもよい。例えば、論理サブシステムは、１つ又は複数のプログラム、ルーチン、オブジェクト、コンポーネント、データ構造又は他の論理構成の一部である１つ又は複数の命令を実行するように構成されてもよい。そのような命令は、タスクを実行し、データタイプを実施し、１つ又は複数のデバイスの状態を変換し、又はその他の方法で所望の結果に達するために実施されてもよい。論理サブシステムは、ソフトウェア命令を実行するように構成される１つ又は複数のプロセッサーを含んでもよい。さらに又は代替的に、論理サブシステムは、ハードウェア命令又はファームウェア命令を実行するように構成された１つ又は複数のハードウェア論理マシン又はファームウェア論理マシンを含んでもよい。論理サブシステムは、オプションとして、いくつかの実施例においては遠隔に配置され得る、２つ以上の装置の全体にわたって分散される個々のコンポーネントを含んでもよい。
【００５３】
[0051]データ保持サブシステム９４は、本明細書に記載された方法及び処理を実施するために論理サブシステムによって実行可能なデータ及び／又は命令を保持するように構成された１つ又は複数の物理デバイスを含んでもよい。そのような方法及び処理が実施される場合、データ保持サブシステム９４の状態は（例えば、異なるデータを保持するように）変換されてもよい。データ保持サブシステム９４は取り外し可能な媒体及び／又は内蔵式の装置を含んでもよい。データ保持サブシステム９４は、特に、光メモリー装置、半導体記憶装置（例えば、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュなど）及び／又は磁気メモリー素子を含んでもよい。データ保持サブシステム９４は、次の特性のうちの１つ又は複数を備えた装置を含んでもよい：揮発性、不揮発性、動的、静的、読み出し／書き込み、読み出しのみ、ランダムアクセス、シーケンシャルアクセス、位置アドレス可能、ファイルアドレス可能、及びコンテンツアドレス可能。いくつかの実施例において、論理サブシステム９２及びデータ保持サブシステム９４は、チップ上の特定用途向け集積回路又はシステムなどの１つ又は複数の共通の装置へ統合されてもよい。
【００５４】
[0052]図７はまた、データ保持サブシステムの態様をコンピューター読み取り可能な取り外し可能な媒体１００の形式で示し、これは、本明細書に記載された方法及び処理を実施するために実行可能なデータ及び／又は命令を格納及び／又は転送するために使用することができる。
【００５５】
[0053]表示サブシステム９６は、データ保持サブシステム９４によって保持されたデータの視覚的な表現を提示するために使用されてもよい。本明細書に記載された方法及び処理はデータ保持サブシステムによって保持されたデータを変更し、したがってデータ保持サブシステムの状態を変換するので、表示サブシステム９６の状態は、基本的なデータの変化を視覚的に表現するために同様に変形されてもよい（例えば、表示サブシステムは、構築されたカラー画像、構築された奥行き画像の視覚的な表現、及び／又は構築された奥行き画像に基づく仮想モデルを表示してもよい）。表示サブシステム９６は、実質的に任意の種類の技術を利用する１つ又は複数の表示装置を含んでもよい。そのような表示装置は、共有の筐体において論理サブシステム９２及び／又はデータ保持サブシステム９４と組み合わされてもよいし、又は、そのような表示装置は周辺の表示装置であってもよい。
【００５６】
[0054]コンピューティングシステム９０は、１つ又は複数の目標及び／又はシーンの奥行き画像及びカラー画像の両方を得るように構成されたデュアルモード撮像装置９８をさらに含む。奥行き画像は構造化された光分析を使用して構築されてもよい。そのような分析において、パターン化された光（すなわち、グリッドパターン又はストライプパターンなどの既知のパターンとして表示される光）がシーン上に投影されてもよい。シーンの表面において、パターンは変形されてもよく、パターンのこの変形はデュアルモード撮像装置からシーンにおける特定の位置までの物理的な距離を決定するために検討されてもよい。デュアルモード撮像装置は、可視光を選択的にブロックして、それにより同じデュアルモード撮像装置によって奥行き画像及びカラー画像の両方をとらえることを容易にするために、時間フィルター又は空間フィルターを含んでもよい。
【００５７】
[0055]１つ又は複数のデュアルモード撮像装置の論理マシンによって少なくともいくつかの奥行き分析演算が実行されてもよいことが理解されるべきである。デュアルモード撮像装置は、１つ又は複数の奥行き分析機能を実行するように構成された、１つ又は複数の搭載された演算処理装置を含んでもよい。デュアルモード撮像装置は、そのような搭載された処理ロジックを更新することを容易にするファームウェアを含んでもよい。
【００５８】
[0056]本明細書に記載された構成及び／又は手法が本来例示的なものであり、多数の変更が可能であるので、これらの特定の実施例又は例が限定的な意味で考慮されるべきでないことが理解されるべきである。本明細書に記載された特定のルーチン又は方法は、任意の数の処理戦略のうちの１つ又は複数を表してもよい。そのため、示された様々な動作は、示されたシーケンスで、他のシーケンスで、並列に、実行されてもよく、又は、いくつかの場合には省略されてもよい。同様に、上述の処理の順序は変更されてもよい。
【００５９】
[0057]本開示の主題は、本明細書に開示された様々な処理、システム及び構成、並びに他の特徴、機能、動作及び／又は特性のすべての新規且つ自明でない組み合わせ及びサブコンビネーションのほか、それらのうちの任意の又はすべての均等物を含む。
【技術分野】
【０００１】
本発明は、カラー画像及び奥行き画像を構築する撮像装置に関する。
【背景技術】
【０００２】
[0001]カメラはシーンの静止画像をとらえるために使用することができる。間断なく撮られたいくつかの静止画像は、各々のフレームが異なる静止画像に対応する複数のフレームを含む映画を生成するために使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
そのような画像は様々な異なる用途において非常に有用であるが、そのような画像はいくつかの目的にはあまり適していない。特に、従来の静止画像及び映画は、シーンにおいてとらえられた様々な表面の相対的な奥行きを正確に評価するのに十分な情報を提供しない。
【課題を解決するための手段】
【０００４】
[0002]可視光によって照らされたシーンを撮像するデュアルモード撮像装置（dual-mode imager）が開示される。デュアルモード撮像装置は、可視光をフィルタリングすることができる構造化された照明を投影するように構成された光源を含む。デュアルモード撮像装置はまた、シーンから構造化された照明及び可視光の両方をとらえるように構成された検出器を含む。時間フィルター又は空間フィルターが、構造化された照明を検出器の１つ又は複数の部分へ渡す間に検出器の１つ又は複数の部分からの可視光を選択的にブロックするために使用される。
【０００５】
[0003]この概要は、詳細な説明においてさらに以下に記載される概念のうちの選択されたものを単純化された形式で紹介するために提供される。この概要は、特許請求された主題の重要な特徴又は不可欠な特徴を識別するようには意図されず、特許請求された主題の範囲を限定するために使用するようにも意図されない。さらに、特許請求された主題は、本開示のいかなる部分に注記されたいかなる又はすべての不利益を解決する実施例にも限定されない。
【図面の簡単な説明】
【０００６】
【図１】[0004]カラー画像及び奥行き画像を構築するために処理することができる例示的なシーンを示す。
【図２】[0005]本開示の実施例による例示的なデュアルモード撮像装置を概略的に示す。
【図３】[0006]本開示の実施例による例示的な回転ホイール（rotating wheel）フィルターを概略的に示す。
【図４】[0007]カラー画像及び奥行き画像を構築するために図３の回転ホイールフィルターが検出器と連携している時間系列を概略的に示す。
【図５】[0008]カラー画像及び奥行き画像を構築するために検出器と連携する例示的な空間フィルターを概略的に示す。
【図６】[0009]共有画像センサーを使用してカラー画像及び奥行き画像を構築する例示的な方法を示す。
【図７】[0010]共有画像センサーを使用してカラー画像及び奥行き画像を構築することができる例示的なコンピューティングシステムを概略的に示す。
【発明を実施するための形態】
【０００７】
[0011]共有画像センサーを使用して奥行き情報とカラー情報を処理することができるデュアルモード撮像装置が開示される。デジタルデュアルモード撮像装置は、時間の部分集合（サブセット）における画素の部分集合が第１のパラメーター（例えば、波長の帯域）によって特徴付けられる光にさらされ、時間の同じ又は異なる部分集合における画素の同じ又は異なる部分集合が第１のパラメーターとは異なる第２のパラメーター（例えば、波長の異なる帯域）により特徴づけられる光にさらされるように、画像センサー（すなわち、検出器）に伝えられる光を時間的に及び／又は空間的にフィルタリングする。このように、第１のパラメーターにより特徴づけられる光はカラー画像を構築するために使用することができ、第２のパラメーターにより特徴づけられる光は奥行き画像を構築するために使用することができる。両画像は、同じ画像センサーを使用して−例えば、カラー情報の読み取りと奥行き情報の読み取りを時間的に交互に行うようにすべての画素を使用することによって、又は、他の画素が奥行き情報を読んでいる間にカラー情報を読み取るように、選択された画素を使用することによって、構築される。
【０００８】
[0012]共有画像センサーを使用したカラー画像及び奥行き画像の構築は、例として、特定の図示された実施例に関して以下に述べられる。本開示に含まれる図面が概略的であることに留意されたい。図示された実施例の表示は、一般に、縮尺どおりに描かれない。アスペクト比、特徴のサイズ及び特徴の数は、選択された特徴又は関係をより容易に理解できるようにするために故意に歪められてもよい。
【０００９】
[0013]図１は、カラー画像及び奥行き画像を構築するために処理することができる例示的なシーン１０の単純化された斜視図を示す。シーンは、異なる奥行き、すなわち、シーンの前に位置した観察者の視点からの距離に配置された様々な物体及び表面を含む。表面１２は、シーンにおいてもっとも奥行きがある（観察者の視点から見て最も遠い）。表面１４は、表面１２の前方に配置され（観察者の視点により近く）、表面１６、１８及び２０は表面１４の前方に配置される。したがって、現在考慮されている表面は、シーンの次元として同じオーダーの大きさの次元を有するマクロ表面である。しかしながら、本明細書に開示されたシステム及び方法がそのような表面に限定されず、構造化されたマクロ表面のずっと小さな領域の検査、例えば、荒い又は不規則なトポロジーについての調査を可能にすることに留意されたい。さらに、図１は静的なシーンを示すが、本明細書に記載された概念は、１人以上の動いている人々又は物体を含むシーンなどの動的なシーンを撮像するために使用することができる。
【００１０】
[0014]シーン内の異なる奥行きに配置されることに加えて、図１に示される様々な表面は、互いに及び観察者に関して違ったように方向付けられる。表面１６が観察者の視線に対して傾斜している一方、表面１２及び１４は観察者の視線に対して垂直に方向づけられる。さらに、湾曲面１８及び２０は、観察者の視線に対して連続的な範囲の方向を示す。
【００１１】
[0015]図１に示される表面はまた、異なる質感を示してもよい。例えば、表面２０は、下部の表面１８と比較して、比較的滑らかであってもよい。光学的に、シーンの異なる質感は異なる光反射特性を示してもよい。例えば、表面１８が主として分散的である一方、表面２０は主として鏡面反射性であってもよい。
【００１２】
[0016]最後に、シーンにおける様々な物体は異なる色であってもよい。概略的にシーン１０を描くために黒及び白の線による描画が使用されているが、当業者であれば、様々な表面の光吸収特性及び光反射特性が互いに異なってもよく、したがって様々な表面の色が互いに異なってもよいことを理解するであろう。
【００１３】
[0017]いくつかの応用では、シーンからのカラー情報のみがシーンのカラー画像（例えば、デジタル写真又はデジタル映画）を形成するために処理される。他の応用では、シーンからの奥行き情報のみが奥行き画像を形成するために処理される。本明細書に記載されるように、カラー画像及び奥行き画像の両方を形成することができるように、カラー情報と奥行き情報の両方が処理される。２つの別個のカメラ−カラー画像を生成するためのカメラ及び奥行き画像を生成するため別のカメラ−を使用する代わりに、本開示は、両画像を生成する単一のデュアルモード撮像装置を対象とする。
【００１４】
[0018]図２は、シーン１０の断面平面図を示す。図はまた、１つの例示的な実施例におけるデュアルモード撮像装置２２を示す。デュアルモード撮像装置はシーンを撮像するための光学系である；それはコントローラー２３、光源２４、検出器２６及びフィルター２８を含む。
【００１５】
[0019]コントローラー２３は、光源２４、検出器２６及び／又はフィルター２８を制御する−例えば、これらのコンポーネントの機能をトリガーし、調整し、及び／又は同期させる−ように構成された任意の制御装置であってもよい。コントローラーは、以下に述べられるような論理サブシステム及び／又はデータ保持サブシステムを含んでもよい。いくつかの実施例において、コントローラーは奥行き分析器を含んでもよい。他の実施例において、奥行き分析器は、コントローラーと動作可能に通信してもよいが、それ自体が別個のシステムであってもよい。
【００１６】
[0020]フィルターが検出器からの可視光をブロックしている間に、検出器によってとらえられた画像が奥行き画像を構築するためにソートされるように、コントローラーは、フィルターと検出器のタイミングを調整することができる。フィルターが検出器へ可視光を通している間に、検出器によってとらえられた画像がカラー画像を構築するためにソートされるように、コントローラーはまた、フィルターと検出器のタイミングを調整することができる。その後、奥行き分析器は、検出器によってとらえられた構造化された照明の１つ又は複数の画像（すなわち、フィルターが検出器からの可視光をブロックしている間に検出器によってとらえられた１つ又は複数の画像）に基づいて、奥行き画像を構築してもよい。これはより詳細に以下に記載される。
【００１７】
[0021]光源２４は、シーン１０の様々な表面にフィルタリング可能な照明を投影するように構成された任意の適切な光源であってもよい。特に、光源２４は、可視光の対応する特徴と異なる１つ又は複数の特徴を有する光を投影するように構成され、したがって、可視光が投影された光に対してフィルタリングされることを可能にする（例えば、波長及び／又は偏光状態によってフィルタリング可能にする）。
【００１８】
[0022]図２に示される実施例において、光源はレーザー３０及び分散器（disperser）３２を含む。レーザーは、既知の偏光状態の、強く、平行にされた、コヒーレントな、実質的に単色の光のビームを提供してもよい。
【００１９】
[0023]本明細書において使用されるとき、「偏光状態」という用語は、光が伝播するときの、光の振幅の方向もしくは感覚又はこの方向の回転についての任意の些細でない指示を包含する；当該指示は正確かもしれないし又はおおよそのものであるかもしれず、完全であるかもしれないし不完全かもしれない。完全な偏光状態の１つの例は、
Ｓ０＝｜Ｅｘ｜２＋｜Ｅｙ｜２
Ｓ１＝｜Ｅｘ｜２−｜Ｅｙ｜２
Ｓ２＝｜Ｅａ｜２−｜Ｅｂ｜２
Ｓ３＝｜Ｅｌ｜２−｜Ｅｒ｜２
として定義されるコンポーネントＳ０、Ｓ１、Ｓ２及びＳ３を含むフル・ストークスベクトル表現であり、ここで、Ｅ１及びＥ２は、基底
【００２０】
【数１】
における電界の複素振幅コンポーネントであり、
【００２１】
【数２】
は標準デカルト基底であり、
【００２２】
【数３】
は４５°回転したデカルト基底であり、
【００２３】
【数４】
は
【００２４】
【数５】
であるように定義された円基底（circular basis）である。不完全な偏光状態の例は、
【００２５】
【数６】
によって定義された偏光度ｐ、及び
【００２６】
【数７】
によって定義された直線偏光方向Ψである。
【００２７】
[0024]図２に続いて、いくつかの実施例において、レーザー３０は連続波（ＣＷ）レーザーであってもよい；他の実施例において、レーザーはパルス化され、モードロックされ、Ｑスイッチされるなどしてもよい。光源２４に含まれるレーザーのパワーは画像化されるべきシーンに基づいて選択されてもよく、より離れた広範囲のシーンにはより強力なレーザーが使用され、より近いコンパクトなシーンにはそれほど強力でないレーザーが使用される。パワーに加えて、レーザーのレーザー波長は画像化されるべきシーンに基づいて選択されてもよい。特に、レーザー波長は可視光と最小限に重なるように選択されてもよい。１つの実施例において、レーザー波長は近赤外波長であってもよい。
【００２８】
[0025]分散器３２は、投影角の範囲中のレーザー３０からの平行ビームを分散させ、それによって互いに間隔を空けて配置された複数の光機構でシーンを照らすように構成された任意の装置であってもよい。図２に示される実施例において、光機構は、レーザー３０のパターン化された又はその他の方法で構造化された照明３３を形成する。図２は、水平面に限定された偏向角の範囲にわたって分散されたレーザービームを示す。図示された実施例において、偏向角は、一定のインクリメントによって分離された離散値、例えば、−２０°、−１５°、・・・＋２０°、を仮定する。他の実施例において、離散値はランダムなインクリメントによって分離される。他の実施例において、レーザービームは、偏向角の連続的な範囲にわたって水平に分散されてもよい。本明細書に注記された数値範囲が例にすぎず、他の範囲が完全に本開示の範囲内にあることが理解されよう。
【００２９】
[0026]分散器３２は、垂直面に限定された偏向角の範囲にわたってレーザービームをさらに分散させてもよい。上述の水平分散のように、垂直分散は離散的であってもよいし又は連続的であってもよい。水平分散及び垂直分散が両方とも離散的ならば、シーンは様々なドットによって照らされる。垂直分散が離散的であるが水平分散が連続的ならば、シーンは一連の水平ストライプによって照らされる。また、水平分散が離散的であるが垂直分散が連続的ならば、以下にさらに参照されるように、シーンは一連の垂直のストライプによって照らされる。これら又は他の構造化された光パターンは本開示の範囲から逸脱することなく使用することができる。
【００３０】
[0027]レーザービームを分散させるために、分散器３２は、様々な光学コンポーネント−レンズ、回折光学素子、拡散器、ミラー、導光路、マスクなど−を含んでもよい。いくつかの実施例において、分散器は、様々なアクティブなコンポーネント−例えば、電気機械式アクチュエーター、チョッパー、圧電物質及び液晶光弁−をさらに含んでもよい。
【００３１】
[0028]続けて図２を参照すると、検出器２６は、シーンからの光を検出することによってシーンの画像をとらえるように構成された任意の装置であってもよい。さらに、図２に示されるように、取得された画像が光源２４及び／又は可視光によって照らされたシーンの少なくとも一部を含むように、検出器が方向づけられてもよい。このように、シーンの様々な表面から反射された照明の一部が検出器によって検出されてもよい。検出器２６はシーンからの構造化された照明及び可視光の両方をとらえるように構成される。
【００３２】
[0029]検出器２６は、光を集め及び／又は画像センサー４０上に集中させる光コンポーネントの実質的に任意の組み合わせを含んでもよい。
[0030]画像センサー４０は、可視光の相対的な強度及び構造化された照明３３の相対的な強度を検出するように構成された任意のセンサーであってもよい。光源２４が例えば近赤外発光レーザー含む実施例において、画像センサーは、およそ３８０ナノメーターからおよそ１０００ナノメーターの波長を有する光を検出するように構成された相補型金属酸化膜半導体（ＣＭＯＳ）を含んでもよい。さらに、画像センサーは画素のアレイとして取得された画像を表すように構成されてもよい。そのため、取得された画像の各画素は、１つ又は複数のカラーチャネルについて、シーンの異なる領域から反射された光の強度を符号化してもよい。当業者であれば、可視光、構造化された照明３３の光及び／又は変調された照明を検出することができる様々な異なる画像センサーが本開示の範囲から逸脱することなく使用されてもよいことを理解するであろう。さらに、異なる光学構成を有する様々な装置に画像センサーを組み入れることができることが認識されるべきである。
【００３３】
[0031]フィルター２８は時間フィルター又は空間フィルターであってもよい。時間フィルターの限定的でない例は回転ホイールフィルターを含む。例示的な回転ホイールフィルター５０は図３に概略的に示される。回転ホイールフィルター５０は、可視光をブロックし近赤外光を通過させるように構成された第１の部分５２を含む。第１の部分は、垂直な線によって概略的に識別される。回転するフィルターはまた、可視光を通過させオプションとして近赤外線をブロックするように構成された第２の部分５４を含む。第２の部分は、水平な線によって概略的に識別される。
【００３４】
[0032]図４は、検出器２６ａの４つの連続した露光に対応する４つの異なる時間ｔ０、ｔ１、ｔ２及びｔ３（すなわち、検出器が画像をとらえる４つの連続した時間）における回転ホイールフィルター５０を概略的に示す。本来概要的なものであるが、この図面は左から右へ移動する光を示す。シーンからの光はフィルターの下部を通って検出器へ移動する。この例において示されるように、回転ホイールフィルター５０の第１の部分は、検出器が画像をとらえるとき（例えば、時間ｔ０及びｔ２）以外はいつもシーン及び検出器２６ａの間で光学的に中間にある。同様に、回転ホイールフィルター５０の第２の部分は、検出器が画像をとらえるとき（例えば、時間ｔ１及びｔ３）以外はいつもシーン及び検出器２６ａの間で光学的に中間である。上述のように、コントローラーは、時間フィルターの周期を検出器の周期の２倍に設定してもよい。言いかえれば、検出器２６ａは回転ホイールフィルターの各回転中に２つの画像−可視光画像及び近赤外画像−をとらえる。すなわち、回転ごとに、回転ホイールフィルター５０は、回転のおよそ半分の間可視光をブロックし、回転のおよそ半分の間可視光を通過させるように構成される。
【００３５】
[0033]図４に概略的に示されるように、検出器へと通過する赤外光は（すなわち、時間ｔ０及びｔ２において）奥行き画像を生成するために使用することができる。本明細書にて使用されるとき、奥行き画像は、位置の奥行き値（例えば、ｚ座標）が各画素について記録される任意の画像を含む。同様に、検出器へと通過する可視光は（すなわち、時間ｔ１及びｔ３において）カラー画像を生成するために使用することができる。本明細書にて使用されるとき、カラー画像は、各画素について１つ又は複数の強度値（例えば、白黒もしくはグレースケールの画像についての単一の強度値又は多色画像についての異なる色チャネルもしくは輝度チャネルに対応する２つ以上の強度値）が記録される任意の画像を含む。
【００３６】
[0034]上記の記載された構成は時間フィルターの限定的でない例である。異なる数の可視光ブロック部及び可視光通過部を有する他の回転ホイールフィルターが使用されてもよい。例えば、回転ホイールフィルターは、可視光を通過させるように構成された２つの４分の１の部分と交互になる可視光をブロックするように構成された２つ４分の１の部分を含んでもよい。可視光ブロック部及び可視光通過部は任意の適切なサイズにし任意の適切な形状にすることができる。さらに、回転ホイールフィルター以外の時間フィルターが使用されてもよいことが理解されるべきである。一般に、検出器からの可視光をブロックすることと可視光を検出器へ通過させることとを時間的に交互に行うように構成された任意のフィルターを使用することができる。
【００３７】
[0035]上述の回転ホイールは、奥行き画像についての光からカラー画像についての光をフィルタリングするという概念を示す限定的でない例として提供されたが、他の構成が本開示の範囲内にあることが理解されるべきである。例えば、波長感知偏光回転子（wavelength sensitive polarization rotator）と組み合わせて偏光を変調する他のアクティブな装置（例えば、光弾性変調器）が、画像センサーに対する信号を時間的に変化させるために使用されてもよい。
【００３８】
[0036]図５は、（部分的に示された）空間フィルター６０の例を概略的に示す。空間フィルター６０は、検出器６２（部分的に示される）のいくつかの部分からの可視光をブロックする一方、可視光が検出器の他の部分へと通過することを可能にするように構成される。例えば、空間フィルターは、検出器の空間的に交互になっている複数の画素群（例えば、空間的に交互になっている画素の行、空間的に交互になっている画素の列、画素の格子状パターンなど）のうちの１つおきの画素群からの可視光をブロックするように構成されてもよい。図示された実施例において、空間フィルター６０及び検出器６２は、偶数の画素行が近赤外光に露光され、奇数の画素行が可視光に露光されるように、協調的に構成され、整列される。
【００３９】
[0037]図５に概略的に示されるように、検出器へと通過する赤外光は（すなわち、偶数の画素行によって）奥行き画像を生成するために使用することができる。同様に、検出器へと通過する可視光は（すなわち、奇数の画素行によって）カラー画像を生成するために使用することができる。
【００４０】
[0038]可視光及びＩＲ光を分離する別の方法はカラー回転子を使用することである。この場合、シーンからの光は直線偏光子を介して通過し、次いで特定の波長について偏光状態を回転させるが他の波長に対しては偏光状態を同じに保つフィルターを介して通過する。現れる光は、１つの偏光状態のＩＲ光及び異なる状態の可視光を有する。そのような光は、偏光方向が空間的に異なる、パターン化された偏光子を使用することにより、空間的に分離することができる。
【００４１】
[0039]図６は、共有画像センサーを使用してカラー画像及び奥行き画像を構築する例示的な方法７０を示す。７２において、方法７０は、構造化された照明をシーン上に投影することを含む。構造化された照明は、構造化された照明を実質的にフィルタリングされないままにしつつ可視光がフィルタリングされることを可能にする、近赤外波長又は任意の他の特性によって特徴づけられてもよい。構造化された照明は、近赤外レーザーを含む光源などの任意の適切な光源から投影されてもよい。
【００４２】
[0040]７４において、方法７０は、シーンから検出器への可視光をブロックすることとシーンから検出器への可視光を通過させることとを時間的に交互に行うことを含む。いくつかの実施例において、これは回転ホイールフィルターなどの時間フィルターを使用して遂行されてもよい。
【００４３】
[0041]７６において、方法７０は論理分岐を含む。可視光がブロックされる場合、方法は７８に移る。可視光がブロックされない場合、方法は８０に移る。７８において、方法７０は、構造化された照明を検出器によってとらえることを含む。検出器は、構造化された照明及び可視光をとらえることができる任意の適切な検出器であってもよい。
【００４４】
[0042]８２において、方法７０は、検出器によってとらえられた構造化された照明に基づいて奥行き画像を生成することを含む。奥行き画像は、構造化された照明を構成する間隔を空けられた光機構の相対的な位置に基づいて画素についての位置の奥行き値を評価するように構成された奥行き分析器によって、少なくとも部分的に構築されてもよい。この種の画像処理を容易にするために、白黒の光及びＲＧＢ光の両方を検出することができるように、画像センサーは画素アレイ構造を含んでもよい。
【００４５】
[0043]８０において、方法７０は論理分岐を含む。可視光が通過する場合、方法は８４に移る。可視光が通過しない場合（例えば、シーンからの光が、フィルターの可視光フィルタリング部又は近赤外フィルタリング部のいずれを介しても通過していない）、方法は７６に戻る。
【００４６】
[0044]８４において、方法７０は検出器によって可視光をとらえることを含む。７８において構造化された照明をとらえるために使用されるのと同じ検出器が、８４において可視光をとらえるために使用される。
【００４７】
[0045]８６において、方法７０は検出器によってとらえられた可視光に基づいてカラー画像を生成することを含む。カラー画像は、多色画像、白黒画像、又はグレースケール画像であってもよい。
【００４８】
[0046]奥行き画像を形成するのに使用される赤外の構造化された照明とカラー画像を形成するのに使用される可視光との間でのフィルタリングのコンテキストにおいて上述されたが、本明細書に記載されたフィルタリング機構は、１つ又は複数の異なる特性（例えば、波長、偏光など）を有する光からの他の種類の奥行き画像化照明をフィルタリングするために使用されてもよく、その逆もまた可能であることが理解されるべきである。一般に、第１の特性を有する１つ又は複数の種類の光は、本明細書に記載されるような異なる特性を有する異なる種類の光からフィルタリングされてもよい。互いに対してフィルタリング可能である限定的でない光の種類の例は、可視光、赤外光、近赤外光、紫外線、構造化された光及び／又は変調された光を含む。
【００４９】
[0047]図７に関して以下に述べられるように、様々な異なるコンピューティングシステムが本開示の趣旨から逸脱することなく使用されてもよい。図２に関して記載された動作環境は例として提供されるが、いかなるようにも限定的であるようには意図されない。反対に、図示された動作環境は、本開示の範囲から逸脱することなく様々な異なる動作環境に適用され得る一般的な概念を示すように意図される。
【００５０】
[0048]本明細書に記載された方法及び処理は、様々な異なる種類のコンピューティングシステムに関係してもよい。図７は、本明細書に記載されたカラー画像構築方法及び奥行き画像構築方法のうちの１つ又は複数を実行することができるコンピューティングシステム９０を概略的に示す。コンピューティングシステム９０は、特に、ゲーム機、パーソナルコンピューティングシステム、軍事追跡及び／もしくはターゲッティングシステム、グリーンスクリーン（green-screen）又はモーションキャプチャー機能を提供するキャラクター獲得システムを含むがこれらに限定されない、様々な異なる形式をとることができる。
【００５１】
[0049]コンピューティングシステム９０は、論理サブシステム９２、論理サブシステムに動作可能に接続されたデータ保持サブシステム９４、表示サブシステム９６及び／又はデュアルモード撮像装置９８を含んでもよい。コンピューティングシステムは、オプションとして、図７に示されないコンポーネントを含んでもよく、及び／又は、図７に示されるいくつかのコンポーネントは、コンピューティングシステムへ統合されない周辺コンポーネントであってもよい。
【００５２】
[0050]論理サブシステム９２は、１つ又は複数の命令を実行するように構成された１つ又は複数の物理デバイスを含んでもよい。例えば、論理サブシステムは、１つ又は複数のプログラム、ルーチン、オブジェクト、コンポーネント、データ構造又は他の論理構成の一部である１つ又は複数の命令を実行するように構成されてもよい。そのような命令は、タスクを実行し、データタイプを実施し、１つ又は複数のデバイスの状態を変換し、又はその他の方法で所望の結果に達するために実施されてもよい。論理サブシステムは、ソフトウェア命令を実行するように構成される１つ又は複数のプロセッサーを含んでもよい。さらに又は代替的に、論理サブシステムは、ハードウェア命令又はファームウェア命令を実行するように構成された１つ又は複数のハードウェア論理マシン又はファームウェア論理マシンを含んでもよい。論理サブシステムは、オプションとして、いくつかの実施例においては遠隔に配置され得る、２つ以上の装置の全体にわたって分散される個々のコンポーネントを含んでもよい。
【００５３】
[0051]データ保持サブシステム９４は、本明細書に記載された方法及び処理を実施するために論理サブシステムによって実行可能なデータ及び／又は命令を保持するように構成された１つ又は複数の物理デバイスを含んでもよい。そのような方法及び処理が実施される場合、データ保持サブシステム９４の状態は（例えば、異なるデータを保持するように）変換されてもよい。データ保持サブシステム９４は取り外し可能な媒体及び／又は内蔵式の装置を含んでもよい。データ保持サブシステム９４は、特に、光メモリー装置、半導体記憶装置（例えば、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュなど）及び／又は磁気メモリー素子を含んでもよい。データ保持サブシステム９４は、次の特性のうちの１つ又は複数を備えた装置を含んでもよい：揮発性、不揮発性、動的、静的、読み出し／書き込み、読み出しのみ、ランダムアクセス、シーケンシャルアクセス、位置アドレス可能、ファイルアドレス可能、及びコンテンツアドレス可能。いくつかの実施例において、論理サブシステム９２及びデータ保持サブシステム９４は、チップ上の特定用途向け集積回路又はシステムなどの１つ又は複数の共通の装置へ統合されてもよい。
【００５４】
[0052]図７はまた、データ保持サブシステムの態様をコンピューター読み取り可能な取り外し可能な媒体１００の形式で示し、これは、本明細書に記載された方法及び処理を実施するために実行可能なデータ及び／又は命令を格納及び／又は転送するために使用することができる。
【００５５】
[0053]表示サブシステム９６は、データ保持サブシステム９４によって保持されたデータの視覚的な表現を提示するために使用されてもよい。本明細書に記載された方法及び処理はデータ保持サブシステムによって保持されたデータを変更し、したがってデータ保持サブシステムの状態を変換するので、表示サブシステム９６の状態は、基本的なデータの変化を視覚的に表現するために同様に変形されてもよい（例えば、表示サブシステムは、構築されたカラー画像、構築された奥行き画像の視覚的な表現、及び／又は構築された奥行き画像に基づく仮想モデルを表示してもよい）。表示サブシステム９６は、実質的に任意の種類の技術を利用する１つ又は複数の表示装置を含んでもよい。そのような表示装置は、共有の筐体において論理サブシステム９２及び／又はデータ保持サブシステム９４と組み合わされてもよいし、又は、そのような表示装置は周辺の表示装置であってもよい。
【００５６】
[0054]コンピューティングシステム９０は、１つ又は複数の目標及び／又はシーンの奥行き画像及びカラー画像の両方を得るように構成されたデュアルモード撮像装置９８をさらに含む。奥行き画像は構造化された光分析を使用して構築されてもよい。そのような分析において、パターン化された光（すなわち、グリッドパターン又はストライプパターンなどの既知のパターンとして表示される光）がシーン上に投影されてもよい。シーンの表面において、パターンは変形されてもよく、パターンのこの変形はデュアルモード撮像装置からシーンにおける特定の位置までの物理的な距離を決定するために検討されてもよい。デュアルモード撮像装置は、可視光を選択的にブロックして、それにより同じデュアルモード撮像装置によって奥行き画像及びカラー画像の両方をとらえることを容易にするために、時間フィルター又は空間フィルターを含んでもよい。
【００５７】
[0055]１つ又は複数のデュアルモード撮像装置の論理マシンによって少なくともいくつかの奥行き分析演算が実行されてもよいことが理解されるべきである。デュアルモード撮像装置は、１つ又は複数の奥行き分析機能を実行するように構成された、１つ又は複数の搭載された演算処理装置を含んでもよい。デュアルモード撮像装置は、そのような搭載された処理ロジックを更新することを容易にするファームウェアを含んでもよい。
【００５８】
[0056]本明細書に記載された構成及び／又は手法が本来例示的なものであり、多数の変更が可能であるので、これらの特定の実施例又は例が限定的な意味で考慮されるべきでないことが理解されるべきである。本明細書に記載された特定のルーチン又は方法は、任意の数の処理戦略のうちの１つ又は複数を表してもよい。そのため、示された様々な動作は、示されたシーケンスで、他のシーケンスで、並列に、実行されてもよく、又は、いくつかの場合には省略されてもよい。同様に、上述の処理の順序は変更されてもよい。
【００５９】
[0057]本開示の主題は、本明細書に開示された様々な処理、システム及び構成、並びに他の特徴、機能、動作及び／又は特性のすべての新規且つ自明でない組み合わせ及びサブコンビネーションのほか、それらのうちの任意の又はすべての均等物を含む。
【特許請求の範囲】
【請求項１】
可視光によって照らされたシーンを撮像するデュアルモード撮像装置であって、
可視光がフィルタリング可能である構造化された照明をシーン上に投影するように構成された光源と、
前記シーンからの前記構造化された照明及び可視光の両方をとらえるように構成された検出器と、
前記構造化された照明を前記検出器の１つ又は複数の部分へ通過させつつ、前記検出器の１つ又は複数の部分からの可視光を選択的にブロックするフィルターと
を備えるデュアルモード撮像装置。
【請求項２】
前記フィルターが、前記検出器からの可視光をブロックすることと可視光を前記検出器へ通過させることとを時間的に交互に行うように構成された時間フィルターを含む請求項１に記載のデュアルモード撮像装置。
【請求項３】
前記フィルターが、可視光をブロックするように構成された１つ又は複数の部分及び可視光を通過させるように構成された１つ又は複数の部分を含む回転ホイールフィルターを含む請求項２に記載のデュアルモード撮像装置。
【請求項４】
前記回転ホイールフィルターが、回転のおよそ半分の間可視光をブロックし、回転のおよそ半分の間可視光を通過させるように構成される請求項３に記載のデュアルモード撮像装置。
【請求項５】
前記時間フィルターが前記検出器からの可視光をブロックしている間に前記検出器によってとらえられた画像が奥行き画像を構築するためにソートされ、前記時間フィルターが前記検出器へ可視光を通している間に前記検出器によってとらえられた画像がカラー画像を構築するためにソートされるように、前記時間フィルター及び前記検出器を調整するコントローラーをさらに備える請求項２に記載のデュアルモード撮像装置。
【請求項６】
前記時間フィルターが、部分を動かすことなく、前記検出器からの可視光をブロックすることと前記検出器へ可視光を通過させることとを時間的に交互に行うために、偏光子及び光弾性変調器を含む請求項５に記載のデュアルモード撮像装置。
【請求項７】
前記フィルターが、前記検出器のいくつかの部分からの可視光をブロックする一方で可視光が前記検出器の他の部分へと通過することを可能にするように構成された空間フィルターを含む請求項１に記載のデュアルモード撮像装置。
【請求項８】
前記検出器が複数の空間的に交互になっている画素群を含み、前記空間フィルターが、前記複数の空間的に交互になっている画素群のうちの１つおきの画素群からの可視光をブロックするように構成される請求項７に記載のデュアルモード撮像装置。
【請求項９】
前記複数の空間的に交互になっている画素群が空間的に交互になっている画素の行である請求項８に記載のデュアルモード撮像装置。
【請求項１０】
前記空間フィルターが、偏光子、波長感知カラー回転子、及び空間的に異なる偏光方向を有するパターン化された偏光子を含む請求項７に記載のデュアルモード撮像装置。
【請求項１１】
前記検出器が相補型金属酸化膜半導体を含む請求項１に記載のデュアルモード撮像装置。
【請求項１２】
前記光源が近赤外レーザー波長を有するレーザーを含む請求項１に記載のデュアルモード撮像装置。
【請求項１３】
前記光源が、近赤外波長を有する複数の間隔を空けられた光機構によって前記シーンを照らすために、投影角の範囲内の前記レーザーからの平行ビームを分散させるように構成された分散器を含む請求項１２に記載のデュアルモード撮像装置。
【請求項１４】
前記検出器によってとらえられた前記構造化された照明の１つ又は複数の画像に基づいて奥行き画像を構築するように構成された奥行き分析器をさらに備える請求項１に記載のデュアルモード撮像装置。
【請求項１５】
カラー画像及び奥行き画像を構築する方法であって、
近赤外波長を有する構造化された照明をシーン上に投影するステップと、
前記シーンから検出器への可視光をブロックすることと前記シーンから前記検出器へ可視光を通過させることとを時間的に交互に行うステップと、
前記シーンからの可視光をブロックしている間に前記検出器によって前記構造化された照明をとらえるステップと、
前記シーンからの可視光を通過させている間に前記検出器によって可視光をとらえるステップと、
前記検出器によってとらえられた前記構造化された照明に基づいて前記奥行き画像を生成するステップと、
前記検出器によってとらえられた可視光に基づいて前記カラー画像を生成するステップと
を含む方法。
【請求項１】
可視光によって照らされたシーンを撮像するデュアルモード撮像装置であって、
可視光がフィルタリング可能である構造化された照明をシーン上に投影するように構成された光源と、
前記シーンからの前記構造化された照明及び可視光の両方をとらえるように構成された検出器と、
前記構造化された照明を前記検出器の１つ又は複数の部分へ通過させつつ、前記検出器の１つ又は複数の部分からの可視光を選択的にブロックするフィルターと
を備えるデュアルモード撮像装置。
【請求項２】
前記フィルターが、前記検出器からの可視光をブロックすることと可視光を前記検出器へ通過させることとを時間的に交互に行うように構成された時間フィルターを含む請求項１に記載のデュアルモード撮像装置。
【請求項３】
前記フィルターが、可視光をブロックするように構成された１つ又は複数の部分及び可視光を通過させるように構成された１つ又は複数の部分を含む回転ホイールフィルターを含む請求項２に記載のデュアルモード撮像装置。
【請求項４】
前記回転ホイールフィルターが、回転のおよそ半分の間可視光をブロックし、回転のおよそ半分の間可視光を通過させるように構成される請求項３に記載のデュアルモード撮像装置。
【請求項５】
前記時間フィルターが前記検出器からの可視光をブロックしている間に前記検出器によってとらえられた画像が奥行き画像を構築するためにソートされ、前記時間フィルターが前記検出器へ可視光を通している間に前記検出器によってとらえられた画像がカラー画像を構築するためにソートされるように、前記時間フィルター及び前記検出器を調整するコントローラーをさらに備える請求項２に記載のデュアルモード撮像装置。
【請求項６】
前記時間フィルターが、部分を動かすことなく、前記検出器からの可視光をブロックすることと前記検出器へ可視光を通過させることとを時間的に交互に行うために、偏光子及び光弾性変調器を含む請求項５に記載のデュアルモード撮像装置。
【請求項７】
前記フィルターが、前記検出器のいくつかの部分からの可視光をブロックする一方で可視光が前記検出器の他の部分へと通過することを可能にするように構成された空間フィルターを含む請求項１に記載のデュアルモード撮像装置。
【請求項８】
前記検出器が複数の空間的に交互になっている画素群を含み、前記空間フィルターが、前記複数の空間的に交互になっている画素群のうちの１つおきの画素群からの可視光をブロックするように構成される請求項７に記載のデュアルモード撮像装置。
【請求項９】
前記複数の空間的に交互になっている画素群が空間的に交互になっている画素の行である請求項８に記載のデュアルモード撮像装置。
【請求項１０】
前記空間フィルターが、偏光子、波長感知カラー回転子、及び空間的に異なる偏光方向を有するパターン化された偏光子を含む請求項７に記載のデュアルモード撮像装置。
【請求項１１】
前記検出器が相補型金属酸化膜半導体を含む請求項１に記載のデュアルモード撮像装置。
【請求項１２】
前記光源が近赤外レーザー波長を有するレーザーを含む請求項１に記載のデュアルモード撮像装置。
【請求項１３】
前記光源が、近赤外波長を有する複数の間隔を空けられた光機構によって前記シーンを照らすために、投影角の範囲内の前記レーザーからの平行ビームを分散させるように構成された分散器を含む請求項１２に記載のデュアルモード撮像装置。
【請求項１４】
前記検出器によってとらえられた前記構造化された照明の１つ又は複数の画像に基づいて奥行き画像を構築するように構成された奥行き分析器をさらに備える請求項１に記載のデュアルモード撮像装置。
【請求項１５】
カラー画像及び奥行き画像を構築する方法であって、
近赤外波長を有する構造化された照明をシーン上に投影するステップと、
前記シーンから検出器への可視光をブロックすることと前記シーンから前記検出器へ可視光を通過させることとを時間的に交互に行うステップと、
前記シーンからの可視光をブロックしている間に前記検出器によって前記構造化された照明をとらえるステップと、
前記シーンからの可視光を通過させている間に前記検出器によって可視光をとらえるステップと、
前記検出器によってとらえられた前記構造化された照明に基づいて前記奥行き画像を生成するステップと、
前記検出器によってとらえられた可視光に基づいて前記カラー画像を生成するステップと
を含む方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１３−５０６８６８（Ｐ２０１３−５０６８６８Ａ）
【公表日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１２−５３２０９８（Ｐ２０１２−５３２０９８）
【出願日】平成２２年９月１日（２０１０．９．１）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０４７５６４
【国際公開番号】ＷＯ２０１１／０４１０６６
【国際公開日】平成２３年４月７日（２０１１．４．７）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
【公表日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２２年９月１日（２０１０．９．１）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０４７５６４
【国際公開番号】ＷＯ２０１１／０４１０６６
【国際公開日】平成２３年４月７日（２０１１．４．７）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
[ Back to top ]