移動制御システム
本発明は、車両またはロボットアームなど移動プラットフォームの制御に使用できる移動制御システムに関する。本発明は特に車両用の運転支援、車両用のセルフパーキング支援システムに利用できる。３次元カメラ（１２）がプラットフォーム、例えば車（１０２）上に置かれ、プラットフォームまわりの環境を撮像する（１１４）ように配置される。プロセッサ（７）が３次元情報を用いて環境モデルを生成し、このモデルを利用して移動制御信号を生成する。好ましくは、プラットフォームは環境に対して移動し、様々な位置からの環境の複数の画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両またはロボットシステム用の移動制御支援装置、特に車両用の自動駐車システム、ドッキング制御および物体操作システムなどの自動制御システムに関する。
【背景技術】
【０００２】
車両用近接センサの改良から車両用自動制御システムまたはロボットシステムの制御まで、幅広い用途で移動制御システムを提供および改良する継続的な要求が存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、本発明によれば、環境を撮像する少なくとも１つの３次元撮像システムと、画像を分析するためのプロセッサとを備えることにより、環境のモデルを生成し、生成されたモデルに基づいて移動制御信号を生成する、移動制御システムを提供するものであり、このシステムには、３次元撮像システムが、光スポットの投射２次元アレイでシーンを照射する照射手段と、シーン内のスポット位置を検出する検出器と、シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサとを備える。
【課題を解決するための手段】
【０００４】
したがって、本発明は、環境を撮像する少なくとも１つの３次元撮像システムと、画像を分析するプロセッサとを備えることにより、環境のモデルを生成し、生成されたモデルに基づいて移動制御信号を生成する、移動制御システムに関する。
【０００５】
３次元撮像装置は、シーン上に投射された複数のスポットに対する距離情報、実際には距離値の２次元アレイを取得するものである。この３次元画像は、シーン、すなわちカメラシステムによって撮影できる通常画像からの輝度情報を伴うか、またはそれを伴わずに取得することができる。３次元撮像システムは、環境の１つ以上の３次元画像を取得し、これらの画像を用いて、移動制御信号を生成できる環境モデルを形成する。３次元撮像システムはスポットアレイを投射するため、概ね特徴のない表面であっても、そこまでの距離を決定するのに適する。
【０００６】
好都合には、少なくとも１つの３次元撮像装置が、複数の種々な位置において環境の３次元画像を取得し、プロセッサは環境モデルを生成するために種々の位置からの画像を処理するように、構成される。
【０００７】
複数の位置における環境の３次元画像を記録するには、環境を効果的に効率よく走査して、より多くの情報を提供する。これにより、前景の一部が特定の視点からの背景を不明瞭にするシャドーイング効果を除去することができる。また、該当する環境が比較的大きい場合は、単一の視点では正確な情報を十分に提供できない可能性がある。
【０００８】
好ましくは、プロセッサはさらに、環境モデルを生成する際に、種々な位置からの画像にステレオ画像処理技術を適用する。ステレオ画像処理技術は当技術分野において周知であり、同一シーンの２つの異なる視点に依存する。シーン内で識別された物体間の視差によって、シーン内の物体の関係についての情報が与えられる。ステレオ処理技術は、端部が画像間の視差から識別できる明瞭な特徴物となるため、シーン内の物体の端部を識別するのに極めて有用である。しかし、ステレオ画像は、通常、連続表面の距離のいずれの変動に関しても情報をほとんど提供しない。対照的に、３次元撮像システムに基づいたスポット投射は、各検出スポットに対する距離を決定し、これにより表面に関する多数の情報を提供するが、２つの検出スポット間にあるがその正確な位置にはない距離の切れ目、すなわち端部の存在を識別することしかできない。正確な端部の位置は、物体の操作を意図する場合に必要となる。このように、ステレオ画像はシーンの物体の端部およびコーナーを識別するために使用でき、３次元撮像システムからの距離情報は任意の物体の表面の外形を完全なものにするために用いることができる。したがって、ステレオ画像技術と共に３次元画像を用いると、環境内の物体の位置に関する多くの情報を提供でき、この情報を利用して環境モデルを形成できる。
【０００９】
上述のように、ステレオ画像処理技術は極めて有用であり、フレームを用いてステレオ画像に枠をはめる単一画像によって、例えば移動制御システムが搭載されるプラットフォームの動きによって、または３次元画像システムの意図的な走査によって与えられる、視点間の分離を達成できる。道路車両については、移動の方向は水平で、例えば縁石等を解明するために、垂直方向にもステレオ画像を有することが有利である。
【００１０】
ただし、少なくとも２つの視点の利点は、システムが好ましくは、それぞれの視点から環境の同一部分を見るよう配置された少なくとも２つの撮像装置を備えている点にある。したがって、例えば、車両が最初に始動し、利用可能な動きの履歴がない場合のような、シーンに対して３次画像の動きがない場合であっても、それぞれの撮像装置がそれぞれの視点を有し、ステレオデータを得ることができる。無論、シーンに対する撮像システムの動きが他のフレームを生成し、シーンのモデルを生成するのに用いられるステレオ視点に枠をはめることもできる。同一軸上にない異なった視点から環境の同一部分を見るよう配置された３つの撮像装置が存在してもよい。好都合には、撮像装置のうち少なくとも２つの分離の軸は異なっていてもよく、すなわち、装置が搭載される車両の動きの通常方向に対して略直角であってもよい。
【００１１】
生成された移動制御信号は、本発明が利用される用途に依存し、オペレータにとって単に情報または警告信号になり得るか、または可動物体を直接制御することを可能にする。
【００１２】
例えば、移動制御システムを車両に実装し、安全または警告情報を提供できる。例えば、３次元撮像システムが車両または車両の先端近くに位置し、車両が他の物体にどのくらい接近しているかについての情報を提供できる。車などの道路車両は、他の車両および静止物体の距離を常時決定する３次元画像センサを備え、他の車両が接近しすぎている場合は警告を与えるか、またはブレーキをかけるもしくは車両をハンドル操作するなど何らかの安全作用を提供する。好ましくは、車両には複数の３次元撮像システムが設けられ、各撮像システムは車両の先端付近および／または車両のいずれかの死角近くに環境を撮像するように配置される。例えば、車は、照明クラスタに埋め込まれた各コーナーの近傍に設けられた撮像システムを有することもできる。各撮像システムはそれ自体のプロセッサを有してもよく、また共通のプロセッサを共有してもよい。代替的または追加的に、移動制御システムは、パーキングなどの特定の状況で作動できる。駐車スペースまたはガレージなどの環境モデルからの情報を用いて、車両が他の物体にどのくらい近いかを指示できる。指示は音声によるものもしくは視認によるもの、または両方であってもよい。システムを航空機に実装して、例えば固定翼機の翼端など航空機の先端部を監視することもできる。地上で航空機を操作するには、空港での諸物体と衝突しないように注意しなければならない。さらに、制御信号は、フライトクルーおよび／または地上クルーへの警告信号に利用でき、または、制御システムは衝突を避ける予防措置を取り得る。システムは、航空機の乗客通路、空中給油、宇宙ステーションなど、またはアームが環境内の物体をどのように操作するか、例えば物体を掴むまたは積み上げるように制御するロボットアーム制御システムなどの、ドッキング手順を最適化するためにも同様に利用できる。
【００１３】
移動制御システムは、車両をある程度自動制御することもできる。車両には、自己運行システム、例えば自己運行装置を備えるロボットシステムを装備できる。車両には、自己位置決めシステムを装備できる−３次元イメージャ（複数可）からの画像を用いて、車両の一連の制御された動きを指示する制御信号を有する環境モデルを生成し、これにより車両を位置決めする。例えば、車には、車の駐車を可能にするパーキングシステムを備えることができ、またはフォークリフトトラックもしくは同様の車両を自動化でき、移動制御システムによって、フォークリフトトラックを持ち上げる物体に対してまたは搭載品を配置するスペースに対して正確に位置決めできる。
【００１４】
移動制御システムは、ロボットアームなどの車両ではない移動体に実装することもできる。ロボットアームは、多くの場合、物体がアームに対して所定位置に存在する製造ラインで用いられる。しかし、物体の位置の変動を考慮するため、またはアームと物体との間を極めて正確に整合させるために、それぞれの場合においてアーム位置を調節する必要があり得る。実際、アーム制御器が自動フローにて工程を通して環境モデルを生成できることにより、現在は自動化に適していないタスク、例えばおそらくはリサイクル目的で廃棄物を分類することを自動化できる。可動アームは、例えば、不発弾の撤去または遠隔または危険な環境での作業など、物体の遠隔操作のための他のプラットフォームにも設けられる。多数の視点を設けて環境についての完全なデータを生成するために、ロボットアームまたは少なくともその一部を移動して、環境に対する３次元撮像システムを走査することができる。
【００１５】
好ましくは、システムはさらに、距離画像が取得され、プロセッサがモデルを生成する際に相対位置に関する情報を用いる場合、３次元撮像装置の相対位置を決定する手段を含む。種々の画像からモデルを生成するために、プロセッサは、全画像がどのように環境に関連するかを知る必要がある。一般に、これは、他の画像に関連した特定の取得した画像について、撮像システムがどこに存在していたかを知ることに関する。移動制御システムは、ある特定の相対位置でのみ画像を取得するように構成することができ、例えば、ロボットアームは本発明による移動制御システムを備え、アームがある所定位置に移動して画像を取得するように構成できる。したがって、撮像システムの相対位置は予め決められている。しかし、他の用途では、画像が取得される相対位置は予め決定されておらず、したがって相対位置を監視するか、または、シーンの共通参照特徴物を識別することによって画像の相対位置に関する情報を取得する必要がある。
【００１６】
相対位置は、移動制御システムに位置モニターを設けることによって達成できる。例えば、ＧＰＳ受信器、または、マーカービーコン等の固定点に対する位置を決定する位置センサを含むこともできる。位置センサはコンパス、磁界センサ、加速計等を含んでもよい。当業者であれば、それぞれの画像について撮像システムの位置を決定する種々の方法を認識するであろう。
【００１７】
あるいは、相対位置は、移動制御システムが取り付けられるプラットフォームの移動を監視することによって決定することもできる。車などの車両では、車輪の運動が、速度／距離情報のためにすでに監視されている。これは単純な慣性センサ内に結合されて、相対的な位置情報を提供できる。実際、移動制御装置が、車両が直線走行する状況でのみ用いられる場合には、相対運動を決定するには走行距離のみで十分である。用途によってはこれで十分であり−例えばシステムは駐車システムとして用いることができる。ドライバーは移動制御システムを起動し、駐車スペースを通り越して運転することができる。３次元撮像装置は、車両が通りすぎると多数のスペース画像を捕捉し、スペースのモデルを生成することができる。次に、移動制御信号はスペース内で最適に操縦する方法に関する一連の命令を含むこともできる。これらの命令は、例えば視覚的または聴覚的補助器など何らかの手段によってドライバーに中継されるか、または駐車を自動化でき、自動運転ユニットが移動制御信号を利用して、車両を位置決めできる。このようなシステムは広い距離の車両への適用を見出すことができ、例えば、航空機を配置するのに、またはフォークリフトトラックなどの吊り上げ車両を位置決めするのに利用できる。
【００１８】
したがって、本発明の別の態様においては、車両が目標領域に対して移動するとき、目標領域の複数の３次元画像を取得するよう配置された３次元撮像装置と、環境モデルを生成し、目標領域に対して車両をどのように位置決めするかを決定するために、異なった位置からの画像を処理するプロセッサとを備える、車両位置決めシステムが提供される。
【００１９】
目標領域は駐車スペースであってもよく、車両は画像を取得するよう駐車領域を通り過ぎてもよく、その場合、プロセッサは駐車領域に車両をどのように駐車するかを決定する。したがって、車両を駐車したいドライバーは駐車システムを起動して、駐車が望まれるスペースを通り越して運転することもできる。３次元撮像装置は駐車スペースの一連の画像を撮影し、プロセッサはスペースのモデルと車両の位置を構築して、車両を駐車する最適の方法を決定する。システムは、駐車の命令を中継するのに用いられるユーザインタフェースを含んでもよい。例えば、インタフェースは、いつ後進し、いつどのようにハンドル操作し、いつ前進するか等に関する命令を与えるコンピュータ発生音声ユニットであってもよい。追加的にまたは代替として、画像表示器を用いて、スペースと物体に対する車両の位置を表示し、駐車命令を与えることもできる。
【００２０】
システムは、車両を自動的に移動するための駆動ユニットを備えることもでき、プロセッサは駆動部を制御して車両をスペース内に移動させることができる。移動する前に、インタフェースが、提示された移動またはいくつかの駐車方法の選択肢を表示し、これによりドライバーは車両が正確に駐車されることを確信できる。
【００２１】
ドライバーがインタフェースを介してプロセッサに案内されるか、車両が自動的に駐車するかのいずれの場合においても、環境モデルは常に更新される。これは、歩行者が駐車領域に足を踏み入れるかまたは駐車していた車両が動き始める場合に必要であるが、さらに、常に監視することによってモデルの精度を上げ、必要ならば駐車命令を更新することもできる。ドライバーが駐車する際に車両を実際に制御し、駐車支援装置から命令を受け取る場合には、モデルは、提示されたことが正しいことはまれであるため、ドライバーが実際に実行することを考慮して更新される必要がある。
【００２２】
あるいは、車両は、フォークリフトトラックなどの物体可動装置であってもよく、目標領域は、物体を持ち上げる場所または、物体を積み上げるか置くことが望まれる領域であってもよい。どの場合であれ、車両は領域を通り過ぎて、品物を持ち上げるかまたは置くのに最良な方法を決定し、その後、再びオペレータへの命令によるかまたは自動的に、それに従って作動することができる。
【００２３】
どのようなタイプの車両であっても、本発明による制御システムを装備できることに留意されたい。例えば、空港の周りを移動する航空機は、着陸すると正確なゲート位置で駐機しなければならないし、保管またはメンテナンスのために格納庫に移動しなければならない。積載ベイに正確に位置合わせすることを可能にするために、駐機制御システムには貨物自動車（ｌｏｒｒｙ）が有利である。
【００２４】
本発明はまた、車両を位置決めする命令を生成する方法に関し、この方法は、目標領域を越えて車両を移動するステップと、複数の異なった位置から目標領域の３次元画像を記録するステップと、車両に対する目標領域のモデルを生成するよう３次元画像を処理するステップと、モデルに基づいて、目標領域に対して要求通りに車両を位置決めする方法を算出するステップとを含む。上記方法は、好ましくは、モデルを生成する際に、種々の視点から取得した３次元画像にステレオ画像技術を用いることを含む。上記方法は、インタフェースを介して車両のオペレータに命令を中継する追加ステップを含むことができ、または車両を自動的に位置決めするよう駆動部を操作するステップを含むこともできる。車両は車であってもよく、上記方法は一連の駐車指示を生成する方法であってもよい。
【００２５】
上述のように、本発明は駐車に利用されるだけでなく、通常の運転を支援することもできる。次に、別の態様においては、上述のような移動制御システムを備える車両運転支援装置が提供され、この場合には、少なくとも１つの３Ｄイメージャが車両の死角を撮像し、移動制御信号は物体が車両の死角に入ったという警告である。車両の隠れたスポットとは、ドライバーが視認できないかまたは容易に視認できない車両の周りの環境の一部のことであって、例えばサイドミラー内で見ても現われない領域または、車両の一部で見えない領域である。
【００２６】
一般に、本発明は、物体または空隙に対して正確または安全に位置決めする必要がある任意の移動物体に利用可能である。上述のように、何らかの変化を示す製造ラインでのロボットアームは、ライン上で物体と正確に整合する必要がある。危険な環境での車両またはその遠隔操作する場合はさらに、例えば水中船または宇宙船または爆発物条例処理で使用されるようなロボット車両など、物体と整合する必要がある。
【００２７】
したがって、別の態様においては、複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、異なった位置からの画像を処理して可動プラットフォームに関して環境モデルを生成し、可動プラットフォームの駆動手段に制御信号を供給して可動プラットフォームを環境とドッキングするプロセッサとを備える、可動プラットフォーム用のドッキング制御システムが提供される。
【００２８】
本明細書で使用されるとき、ドッキングという用語は、広義には、可動プラットフォームを環境の所望の部分と正確な位置で位置決めすること、例えば、ロボットアームで物体を掴むこと、パレットと係合するようフォークリフトを配置すること、ガレージ内に車両を位置決めすること等を意味すると理解されるべきである。可動プラットフォームは車両または可動アームなど任意の可動物体であってもよい。したがって、本発明はまた、複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、異なった位置からの画像を処理して可動プラットフォームに対して環境のモデルを生成し、ロボットアームの駆動手段へ制御信号を供給して物体と係合するかまたは物体を正確に配置するプロセッサとを備える、ロボットアーム制御部に関する。したがって、本発明のこの態様によれば、基板内に物体を位置決めするといった、例えば安全な方法で持ち上げて物体を正確に置くなど物体との係合を可能にする「ピックアンドプレース」ロボットアームの制御が提供される。本発明によって、組み立てライン上で１つの部分から別の部分への物体の位置または基板での変化に対応でき、アームが確実に正しい方法で物体を持ち上げて、基板に対して物体を正確に位置づけることを確実にし、それによって事故による破損を避け、正確な整合を可能とする。
【００２９】
環境の完全な３次元モデルを開発することが、常に、または全ての操作に要求されないこともある。例えば、各位置の間で物体を移動させる自動車両、すなわち自動フォークリフトトラックを考えてみる。各位置の間、すなわち倉庫の特定の位置と積載ベイを移動する場合、車両は予め決められた命令によって移動でき、例えばレーザ案内や車載ＧＰＳなどの位置監視手段によって制御される。車両が各位置の間を移動する場合、環境の完全なモデルは要求されないこともある。それにもかかわらず、何らかの種類の近接センサが、車両の経路内の人や残がいを検出する衝突回避システムとして必要とされることもある。物体を持ち上げまたは積み上げ／配置するのに必要とされる倉庫内の位置に車両が達すると、目標領域に関する完全な情報が要求され、これにより物体が正確に持ち上げられまたは積み上げられる。したがって、本発明の別の態様によれば、２つのモードで動作可能な車両に対する移動制御手段が提供される。移動モードでは、近接センサが車両の経路内の物体を検出するよう作動し、相互作用モードでは、３次元測距手段が目標領域のモデルを生成するよう目標領域に関する距離情報を決定する。
【００３０】
したがって、移動モードでは、移動制御手段は車両が移動する経路の前方の短い距離を効率的に監視し、車両がその経路上で人または障害物と衝突しないことを保証する。簡単な近接センサ手段を用いると、その処理は極めて高速かつ簡単であり、センサはいくぶん邪魔になるかならないかである。障害物を検出する距離は、車速と衝突を防ぐ必要性とである程度決定されるが、自動フォークリフトトラックなどに対しては数十センチメートルになる。
【００３１】
車両がその目的場所、目標領域に到着すると、相互作用モードに切り替わる。このとき、３次元測距手段が目標領域のモデルを生成するために目標領域に関する距離情報を取得する。好ましくは、測距手段は、本発明の別の態様に関して上に述べた３次元撮像手段である。領域のモデルが取得されると、移動制御手段が車両を制御して、スタックの一番上のボックスを取り上げるか物体をスタック上に置くなど、所定のタスクを実行できる。目標領域の正確なモデルを生成するために、相互作用モードにおける３次元撮像手段は目標領域の複数の視点を取ることもできる。本発明の全ての実施形態および別の態様の利点は、相互作用モードにあるときの本発明のこの態様に適用できる。
【００３２】
移動モードにあるとき、障害物が検出された場合、障害物を通過する種々の方法が利用可能である。例えば、障害物が移動するかどうか（例えば、人または他の車両が邪魔にならないところに移動する）を見るために車両が停止して待機でき、あるいは、静止した障害物を通り過ぎる操縦可能な経路であるかどうかを決定するために、脇にそれるなど一連の移動パターンを有することもできる。利用可能であれば、目的地までの別のルートを利用することもできる。あるいは、移動制御システムが相互作用モードに切り替わり、障害物を通過することもできる。
【００３３】
近接センサは、予測される車速に対して十分速く、十分な距離と適用領域を含む任意のタイプの近接センサであってもよく、複数の近接センサを車両の別の部分に使用することもできる。
【００３４】
しかし、一実施形態においては、３次元撮像手段は近接センサとしても用いられる。ただし、すべての全距離情報を処理して完全な距離形状を決定する代わりに、３次元測距システムを近接センサモードで作動させて処理を簡略化し、速度を上げることができる。
【００３５】
ＰＣＴ国際公開第２００４／０４４６１９号では、先に記載したような３次元スポット投射システムに基づいた近接センサが記載されている。このような近接センサでは、投射アレイがスポットアレイを投射し、検出器がシーンの任意のスポットを検出する。検出器とシーンとの間には、検出器がシーンの一部のみを見ることができるように少なくとも１つの開口を備えるマスクがある。スポットがマスクを通して見ることが可能なシーンの一部のみに現われ、これがある距離帯に対応するように配置されている場合には、スポットは検出器のみに視認される。したがって、スポットの検出は、物体がある距離帯内にあることを意味し、スポットがない場合は、その距離帯内に何もないことを意味している。したがって、スポットの検出または別の方法により、ある距離帯内の物体の存在またはその他を極めて簡単に表示することができる。例えば、３次元撮像システムは車両の先端に取り付けられ、車両の前方領域を見るように向けられ、視認距離帯は車両の前方で予測した床面高さに対応することができる。このような配置では、車両前方の床が水平で邪魔されないため、検出器は開口を通してスポットを見る。しかし、床に穴があるか、床に物体がある場合は（実際にはスポット投射器の投射ライン内のどの場所でも）、反射スポットの距離は変わり、これによりスポットはマスクされたシーンの部分に移動する。スポットの消滅は障害物を示す。追加の３次元撮像システムを移動方向に沿って見る床面の高さで配置することもでき、または障害物がない経路ではスポットは何ら検出されないが、検出器アレイのマスクされていない部分に現われるスポットが、前方のある距離内の物体を表示するように配置することができる。
【００３６】
スポットの出現または消滅の簡単な検出は、最小の処理能力を用いて高速に決定することができる。
【００３７】
したがって、本発明は、光学経路内のマスクを検出器に着脱可能に組み込みできる３次元撮像システムを使用できる。例えば、ＬＣＤなどの空間光変調器は、全てのスポットを完全に処理することが求められる相互作用モードの透過状態と、マスクパターンが移動モードで表示される状態とを切り替えることができる。あるいは、物理的なマスクがなくてもよく、および検出器の出力を処理することによってマスクを効果的に利用してもよい。例えば、マスクに対応するビットマップパターンを検出器の出力に加えて、検出器アレイの概念上マスクされた部分からの任意の出力を除去できる。これは簡単な処理ステップであって、輝度等の機会だけに再度監視できる表示装置の概念上マスクされていない部分のみに対応する出力となる。
【００３８】
好ましくは、本発明の上述の態様のいずれかにおいても使用される３次元撮像システムは、実時間で、正確な距離情報を、シーン内に高分解能で提供する必要がある。理想的には、３次元撮像システムは小型で比較的低コストである。
【００３９】
上述のとおり、照射手段がシーンをスポットアレイで照射する。その後、検出器がシーンを見て、環境モデルを生成するプロセッサと同一であってもなくてもよいスポットプロセッサが、検出されたシーンのスポット位置を決定する。アレイ内のいずれのスポットの出現位置も視差によってある程度変化する。照射手段に対する検出器の関係は既知であるため、アレイ内の任意の既知のスポットのシーン内の位置によってその点に対する距離を得ることができる。
【００４０】
当然、スポットまでのの距離を算出できるように、アレイ内のどのスポットが考慮されているかを知る必要がある。構造化照射を使用する従来の測距システムは先に使用された単一スポットシステム（シーン内に１つのスポットのみ存在するため、容易に使用できる）を有する。システムによっては直線ビームを使用しているが、直線ビームを用いる場合であっても、ビームは一方向、すなわちｙ方向と平行になるように投射されている。その後、ｙ方向の各値に対して、シーン内の実際のｘ位置を用いて距離を決定できる。
【００４１】
しかし、２次元のスポットアレイが使用されるならば、スポットはｘおよびｙ方向の両方に分布する。したがって、当業者であれば、２次元のスポットアレイならば測距システムがどのスポットがどれかを決定することができない、したがって測距を行うことができないか、または誤ったスポットが考慮された場合に誤差に悩まされる結果が生じることを意味すると考えるため、２次元のスポットアレイを用いない傾向になるであろう。従来技術のシステムによっては、２次元のスポットアレイを投射するが、不明瞭性が起こりにくい狭い操作距離を用いるか、または既知のタイプの連続した物体を用いる例においてのみである。本発明で使用される撮像システムは、広い操作距離にわたって未知の物体の２次元シーンを同時に測距するために２次元のスポットアレイを用いることができ、スポットを決定する際に不明瞭性を避けるように種々の方法を用いる。好ましくは、用いられる３次元撮像システムは、ＰＣＴ国際公開第２００４／０４４５２５号に記載されているものである。
【００４２】
本明細書で用いられるとき、スポットアレイという用語は、シーンに投射され、明確な輝度領域を有する任意のアレイを意味するのに用いられている。一般に、スポットは高強度放射の任意の個別の領域であり、後述するように、特定の形状を有してもよい。しかし、高強度領域は、個別のスポットが識別されると、結合できる。例えば、照射手段はシーン上で交差するラインのアレイを投射してもよい。ラインの交点は、識別可能な個別の点であり、本明細書の目的のスポットであると解釈される。
【００４３】
好都合には、照射手段と検出器とは、照射アレイの各スポットが、軸に沿って、ある距離から別の距離に検出されたシーン内を移動するように現われ、投射アレイの各隣接スポットの明確な動きの軸が異なるように、配置されている。後に説明するように、アレイの各スポットは、目標に対する距離に応じてシーンの異なった点で現われる。検出器から離れてゆっくり移動する平坦な目標物を考えると、各スポットはシーンを横切って移動するよう現われる。ある特定の用途で用いられる正しく調節されたシステムにおいては、この移動は、ミラーなどが検出器または照射手段の光学経路内に配置されていないと想定すると、検出器と照射手段とを接合する軸と平行な方向にある。しかし、各スポットはこの軸と直交する方向におけるシーンの同一位置を維持する。照射手段および検出器を異なって配置すると、全体に集束ラインに沿って移動が生じる。
【００４４】
したがって、各投射スポットは、システムの操作距離内の種々の距離でシーン内の可能な位置に対応する軌跡を有していると言える。すなわち、明白な移動の軌跡は、装置の設置によって決められるように、スポットが生じる明白な移動の軸の一部である。検出されたシーン内のスポットの実際の位置が距離情報を提供する。種々の距離でのスポットの移動の明白な方向が別のスポットと同一である場合、投射アレイの異なるスポットに対応する軌跡が重なる。その場合、プロセッサは投射アレイのどのスポットが考慮されているかを決定できない。投射アレイ内で隣接するスポットの軌跡が重なる場合、特定のスポットのシーン内の位置の測定値は、可能な距離間の距離が小さい多数の様々な距離のいずれかに一致する。例えば、スポットアレイがｘ−ｙ正方格子構造におけるスポットの２次元アレイで、検出器および照射手段がｘ軸のみに沿って離れていると考える。直交座標を用いて、（０，０）を有する投射アレイ内のスポットが中心スポットであり、（１，０）がｘ軸に沿った１つのスポットであると識別すると、１つの距離における投射アレイの内の位置（０，０）にあるスポットのシーンの位置は、わずかに異なった別の距離における投射スポット（１，０）の位置、または、同じくわずかに異なった距離における投射スポット（２，０）の位置とも同一であり得る。このように、シーンの不明瞭性によって距離の決定が難しくなる。
【００４５】
しかし、検出器と照射手段とが、これらの間の軸が投射アレイのｘ軸またはｙ軸のいずれかと平行でないように配置される場合、隣接するスポットは重ならない。理想的には、投射アレイの各スポットの軌跡は任意の他のスポットの軌跡とは重ならないが、実際には、相対的に大きなスポットおよび大きなアレイではこれは起こりえない。ただし、配置が、各スポットの軌跡がアレイ内で相対的に遠く離れたスポットの軌跡としか重ならないように配置される場合、不明瞭性が依然として存在するものの、不明瞭性の程度は低減される。さらに、可能な解決策間の距離の違いがかなり大きくなると考えられる。例えば、決定された距離が、シーン内の１つの位置で検出される特定の投射スポット、すなわち（０，４）であるならば、スポットがシーン内の同一位置に現れるアレイ（５，０）内で除去されるかどうかを決定した距離と著しく異なることがある。いくつかの用途では、操作距離は、操作ウィンドウ内のスポットのシーンにおける種々の可能な位置に対応する軌跡が重ならず、不明瞭性がない距離である。操作距離によってスポットの軌跡が重なる場合であっても、距離の著しい違いによっておよその距離を予測することができ、どのスポットがどれかを、シーン内の各スポットの位置を使用して一元的に決定し、精細な距離情報を与えることができる。
【００４６】
粗い距離情報を決定する１つの便利な方法は、スポットの投射アレイが第１距離において急激に集束し、第２距離において集束せずに現れるように構成された、照射手段と検出器とを含み、第１および第２距離は装置の操作距離内にある。スポットプロセッサは、粗い距離情報を決定するために、スポットが集束するか否かを決定する。例えば、検出スポットが近距離で目標物を照射する投射スポット（０，４）または長距離で目標物を照射する投射スポット（５，０）に一致する場合、スポットプロセッサはスポットの画像を見て、スポットが集束されるか否かを決定する。照射手段と検出器とが共にスポットが長距離で集束されるように構成される場合、該当するスポットが集束したという決定は、検出スポットが長距離で目標物を照射する投射スポット（５，０）でなければならないことを意味する。集束していないスポットが検出された場合、これは、短距離の目標物から反射されたスポット（０，４）に一致する。好ましくは、スポットが集束されているかいないかを簡単に識別するために、照射手段は、集束された際に非円形の形状、例えば方形のスポットアレイを投射する。このとき、集束スポットが方形であるのに対し、非集束スポットは円形となる。当然、他の粗い測距方法を用いることもでき、スポットの大きさは粗い距離の表示として用いることもできる。
【００４７】
可能な不明瞭性を解決する追加または別の方法として、照射手段は、投射スポットの２次元アレイを周期的に変更でき、すなわちあるスポットを種々の時間でオンまたはオフできる。装置は種々のスポットアレイで周期的にシーンを照射してもよい。実際には、１つのフレームが一連のサブフレームに分割されて、サブアレイが各サブフレーム内で投射される。各サブアレイは、距離の不明瞭性がそのサブフレーム内でほとんどまたは全く存在しないようにされている。全フレームにわたって、全シーンを不明瞭性なく詳細に撮像できる。
【００４８】
別の方法は、スポットのアレイ全体でシーンを照射し、不明瞭な領域を識別することである。特定の検出されたスポットが、種々の距離において２つ以上の投射スポットに一致する場合は、１つ以上の可能な投射されたスポットの使用を止めて、不明瞭性を解決することができる。この方法はより多くの処理を要するが、迅速な測距を可能にし、測距を実行するのに最小の追加サブフレームを取得するだけでよい。
【００４９】
追加的にまたは代わりに、照射手段がスポットアレイを生成するようにでき、この場合には、少なくともいくつかの投射されたスポットがそれらの隣接するスポットに対して異なる特性を有している。異なる特性とは、色もしくは形状または両方であってもよい。スポットが異なる色または形状を有すると、同じく、検出スポットの不明瞭性が低減される。
【００５０】
種々のスポットの軌跡が重なり、シーン内のスポット位置のみに基づいてある程度の不明瞭性が存在するとしても、それらの軌跡を引き起こす投射スポットが色および／または形状の点で異なる場合には、スポットプロセッサは、どのスポットがどれかを決定することができて、不明瞭性がなくなる。したがって、検出器と照射手段とは、１つの投射スポットの軌跡が１つ以上の他の投射スポットの軌跡と重なる場合は、共通の軌跡を有する少なくとも最も近い投射スポットが異なる特性を有するように配置されていることが好ましい。
【００５１】
上述のように、本発明の好ましい実施形態は、２つ以上の視点からシーンを撮像し、距離を決定する際に多数の視点からデータを利用できる。例えば、第１の視点からのシーンで検出されたスポットに対する実際の距離には不明瞭性があってもよい。特定のスポットは第１距離で目標物から反射されたアレイ内の第１の投射スポットまたは、第２の（異なった）距離で目標物から反射されたアレイ内の第２の（異なった）投射スポットに対応してもよい。これらの可能性は、その後、他の視点からデータを見ることによって検査できる。他の視点から検出された特定のスポットは、第２の距離で目標物から反射した第２の投射スポットに対応しているが、第１の距離での目標物から反射されたアレイの第１の投射スポットに対応する第２の視点から検出されたスポットがない場合には、不明瞭性が除去され、特定のスポットが、その距離と共に識別される。追加的にまたは代わりに、ステレオ処理技術からの距離情報をスポットの識別に用いることができる。
【００５２】
上述のように、スポットは、連続したライン間の交点を含んでもよい。次に、検出器は、上述のように、ラインが交差するスポットまたは領域を位置決定することができる。好ましくは、照射手段は２組の規則的に間隔の空いたラインを投射し、２組のラインはほぼ直交している。
【００５３】
この方法で交差するラインを用いると、検出器は、上述と同じ方法で交点の位置を位置決定することができる。交点が見つけられ識別されると、接続ラインはまた、距離測定のために用いることもできる。実際には、交点を用いて投射アレイ内の種々のラインを識別し、そのように識別されると、そのライン上の全ての点を用いて距離情報を提供することができる。したがって、距離検出装置の分解能は、分離スポットのみを用いた装置よりも改善することができる。
【００５４】
好都合には、検出器は２次元ＣＣＤアレイ、すなわちＣＣＤカメラである。ＣＣＤカメラは比較的安価で、信頼性の高い部品であり、スポット決定に対して良好な解像度を有する。しかし、当業者には他の適切な検出器が明らかであり、これらにはＣＭＯＳカメラを含む。
【００５５】
好都合には、照射手段は、スポットの２次元アレイが赤外線スポットであるように構成される。赤外線放射を用いることは、スポットが可視域でシーンに影響しないことを意味する。検出器は、シーンの赤外線スポットの位置と同様にシーンの可視像を取得することができる。さらに、照射手段の波長を調整して、任意の特定の用途に適合させることができる。例えば、水中で使用される場合は、水に強く吸収されない波長、例えば青色光が用いられる。
【００５６】
検出器と照射手段との間のベースラインの長さは、システムの精度を決定する。ベースラインという用語は、当業者には理解されるとおり、検出器の視野と照射手段の視野の境界線を意味する。当業者には理解されるとおり、２つの異なった距離間のシーンの任意の特定スポットの明白な移動の度合いは、検出器と照射手段との間の境界線またはベースラインが拡大すると、高くなる。種々の距離間のシーンでのさらなる明白な移動は、距離の違いをより正確に決定できることを明らかに意味している。しかし、同様に、拡大したベースラインはまた、不明瞭性がない操作距離が低減されていることを意味する。
【００５７】
したがって、検出器と照射手段との間のベースラインは、特定の用途に応じて選択される。０．５ｍから２．０ｍの操作距離全体にわたり作動するように意図された測距装置に対しては、検出器と照射手段のベースラインは、典型的には、およそ６０ｍｍである。
【００５８】
なお、装置のベースラインは多くの場合、検出器と照射手段との間の実際の物理的な境界線であるが、これは必ずしもそうなるとは限らない。実施形態によっては、照射手段とシーンのうちの一方または両方の光学経路にミラーやビームスプリッタ等を有することができる。その場合、実際の物理的な境界線は大きいが、適切な光学部品を用いることによって、当業者に理解されるとおり、明白な境界線またはベースラインは小さいままである。例えば、照射手段はシーンを直接照射できるが、照射手段近くに配置されたミラーは、受け取った放射を検出器に向けることができる。その場合、実際の物理的な境界線は大きいが、明白な境界線、すなわちベースラインはミラーと検出器の位置、すなわち、ミラーがなくそれが同一放射を受ける場合に検出器がある位置によって決定される。当業者であれば、用語のベースラインは、検出器と照射手段との間の明白な境界線を意味する際に用いられることが理解できよう。
【００５９】
上述のように、撮像システムは２つ以上の視点から投射スポットアレイを撮像することが好ましい。したがって、検出手段は２つ以上の方向からシーンを撮像するように構成される。検出器を１つの位置から別の位置に移動して、異なった視点からのシーンを撮像するか、または、走査光学系を検出器への光学経路内に配置して、見る方向を周期的に向けなおすこともできる。しかし、これらの方法は両方とも可動部を必要とし、シーンがサブフレーム全体にわたって撮像されなければならないことを意味する。代わりに、検出器は２つの検出アレイを備えることもでき、この場合、各検出アレイは異なった方向からシーンを撮像するように配置される。実際には、２つの検出器（２台のカメラ）を用いてもよく、それぞれが異なった方向からシーンを撮像して、距離情報の量および／または質を向上させる。
【００６０】
上述のように、２つ以上の方向からシーンを撮像することによって、いくつかの利点を有することができる。明らかに、シーンの前景の物体は、ある視点からのシーンの背景にある物体を見えなくすることがある。検出器の視点を変えることによって、シーン全体の距離情報を確実に取得することができる。さらに、２つの画像間の違いを利用して、シーンに関する距離情報を提供することができる。前景の物体は、背景の物体よりも、２つの画像間に移動するように現われる。これは追加の距離情報を提供するために用いられてもよい。また、上述のように、ある視点において前景にある１つの物体は背景にある物体を見えなくするかもしれない。これを利用して相対的な距離離情報を提供できる。シーンにおける物体の相対的な移動もまた距離情報を提供できる。例えば、前景にある物体は１つの視点から他の視点に移動するシーンにおいて一方向に移動するように現われるが、背景にある物体は別の方向に移動するように現われる。したがって、プロセッサは、各視点からのシーンに画像処理アルゴリズムを適用して、そこから距離情報を決定することが好ましい。必要な画像処理アルゴリズムの種類は当業者には理解されるであろう。このようにして明らかになった距離情報を用いて、どのスポットがシーンのどれであるかの不明瞭性を除去して詳細な測距を可能にできる。したがって、本発明は、２つの画像間の違いを見て、既知のステレオ画像技術を用いてシーンに関する情報を決定し、投射スポットの位置を分析することによって収集された距離情報を増大する、処理技術を利用する。
【００６１】
ステレオ情報はさらに端部またはコーナーの検出にも用いることができる。端部が２つのスポット間にある場合、３次元測距システムは、隣接するスポットが距離の著しい違いを有することを識別し、したがってシーン内に何らかの種類の端部が存在するが、端部を正確に位置決定できない。ステレオ処理技術は２つ以上の画像内の端部によって形成された画像のコントラストの違いを見て、端部またはコーナーの位置を正確に識別することができる。
【００６２】
実際、シーン内のコーナーなどの特徴物の位置を異なる視点から画像の参照点として用いて、環境の整合性のあるモデルを構築できる。例えば、３次元撮像システムが、任意の１つのシーン内でスポット投射器に対して固定した関係で２つの検出器を備える場合には、２つの検出器とスポット投射器の位置は互いに固定され、距離情報を決定できる。しかし、全体として撮像システムが移動すると、環境モデルを生成可能にするために、最後の視点に対する新しい視点の相対的な位置が必要とされる。これは、撮像システム上の位置および方向センサによってなされるか、またはシーン自体から抽出される情報を用いてなされる。シーンのコーナーの位置が両方の視点から決定される場合、そのコーナーに対する距離情報によって視点の相対的な位置が得られる。
【００６３】
２つ以上の視点が用いられる場合には、視点は異なったベースラインを有するように適合される。上述のように、検出器と照射手段との間のベースラインは、装置の距離と不明瞭性の度合いに影響を与える。したがって、１つの視点を低いベースラインと共に用いることにより、要求された距離全体にわたるシーンに対し、相対的に低い精度であるが不明瞭でない距離を得ることができる。次に、この粗い距離情報を用いて、より大きなベースラインで、したがってより優れた精度で、視点から見たシーンから不明瞭性を除去できる。
【００６４】
追加的にまたは代わりに、２つの視点間のベースラインを選択することにより、１つの視点からのシーンで検出されたスポットが第１のセットの可能な距離のセットに対応できる場合には、別の視点から検出された同じスポットがその第１のセット内の１つの距離とのみ対応するようにできる。言い換えると、スポットが第１の視点から見たシーンで検出され、第１の距離Ｒ１において第１のスポット（１，０）と対応し、第２の距離Ｒ２において第２のスポット（２，０）と対応し、第３の距離Ｒ３において第３のスポット（３，０）と対応する等と仮定する。同じスポットは、第２の視点から見ると、可能な距離のセットを与えることもできる。すなわち、距離ｒ１ではスポット（１，０）、距離ｒ２ではスポット（２，０）等になる。２つの視点と照射手段が適切に設置され、２つののセット距離が比較されると、両方のセットに共通の１つの可能な距離のみが存在し、したがってこれは実際の距離とならなければならない。
【００６５】
３つ以上の視点が用いられる場合、少なくとも２つの視点のベースラインが種々の軸に沿って存在してもよい。例えば、１つの視点が照射手段に対して水平方向に離れ、他の視点が照射手段に対して垂直方向に離れていてもよい。２つの視点が種々の角度からシーンを集合的に撮像し、したがってシーンの前景の一部が背景の一部を覆い隠すという問題が低減される。２つの視点はまた、上述のように、任意のスポットを明白に決定することができるが、異なった軸上の視点の間隔を空けることによって、画像の後続の画像処理を補助することができる。例えば、シーンの水平方向の端部の検出が、２つの視点を確実に垂直方向に分離することによって補助できるとき、端部の検出は異なった視点で補助されてもよい。
【００６６】
一実施形態においては、撮像システムは、２つの検出器が第１軸に沿って分離された視点を有し、少なくとも第３検出器が第１軸上にはない視点で位置決めされるように配置された少なくとも３つの検出器を備えることもできる。言い換えると、検出器のうち２つの視点がｘ方向に分離され、第３のカメラの視点が最初の２つの検出器から離れている。好都合には、システムは、略直角三角形の配置で配置された３つの検出器を備えることもできる。照射手段は、好都合には、３つの検出器で矩形または方形の配置を形成してもよい。このような配置によって、シーンの良好な適用範囲を得て、異なった画像を相互に関連付けることによって投射スポットを明白に決定することができ、直交軸に沿って分離された２つの画像ペアを保証する。ステレオ画像技術を２セットの画像ペアに用いて、画像の全端部を分析することができる。
【００６７】
装置はさらに、異なった方向からシーンを照射するよう配置された複数の照射手段を備えることもできる。システムは、シーンを照射するのに用いられる照射手段を周期的に変更することもでき、１つの照射手段のみが任意の時間で用いられるか、または２つ以上の照射手段が同時に用いられてもよく、形状または色といった種々の特性を有するスポットを投射して、プロセッサがどのスポットがどの照射手段によって投射されたかを解明することができる。２つの照射手段を有することによって、２つの検出器を有する上述と同じ利益のうちのいくつかが得られる。１つの照射手段を用いると、背景の物体は前景の物体の影となり、したがって照射手段によって照射されない。したがって、距離情報を提供できないことになる。２つの照射手段を有する場合、この問題は避けられる。さらに、検出器または検出器群が種々の照射手段とは異なったベースラインで存在する場合には、同じく、異なったベースラインを用いて距離の不明瞭性を解決するのを補助できる。
【００６８】
照射手段は、理想的には、相対的に低電力源を用いて、大きな被写界深度を有する大きな規則的スポットアレイを生成する。大きな被写界深度は、広角投射であるとき、可能な距離の大きな操作ウィンドウで作用する際に必要である。すなわち、スポットは広角シーン全体にわたって均一に投射されるべきであり、シーンの小さな部分を照射するものではない。好ましくは、照射手段は、６０°から１００°の間の照射角でスポットアレイを投射する。好ましくは、被写界深度は１５０ｍｍから無限大であってもよい。
【００６９】
したがって、好ましい実施形態においては、照射手段は、光ガイドの入力面の一部を照射するよう配置された光源を備え、光ガイドは実質的に反射面を有するチューブを備え、光源の個別画像のアレイをシーンに投射するように投射光学系と共に配置されている。光ガイドは、実際には、カレイドスコープとして作動する。好ましい照射手段がＰＣＴ国際公開第２００４／０４４５２３号に記載されている。光源からの光はチューブの側面から反射され、チューブ内の多数の反射経路を通る。その結果、光源の多数の画像が生成されシーンに投射される。これにより、シーンが光源の画像アレイで照射される。したがって、光源が簡単な発光ダイオードである場合、シーンは光のスポットアレイで照射される。光ガイドであるカレイドスコープは、極めて良好な画像複写特性を与え、広角で光ガイドの入力面の画像を投射する。すなわち、多数のスポットが全方向で投射される。さらにカレイドスコープは大きな被写界深度を生成して、大きな操作ウィンドウを実現する。
【００７０】
光ガイドは実質的に反射性の壁を有するチューブを備える。好ましくは、チューブは好都合には等辺等角多角形である一定横断面積を有する。一定断面積を有することは、光源の画像アレイもまた規則的であることを意味し、これは、シーン全体をカバーし、処理を容易にすることを保証するのに有利である。正方形断面チューブが最も好ましい。一般に、光ガイドは数平方ミリメートルから数十平方ミリメートルの横断面積を有し、例えば横断面積は１ｍｍ２から５０ｍｍ２または２ｍｍ２から２５ｍｍ２にできる。上述のとおり、好ましくは、光ガイドは最長寸法数ミリメートル、すなわち１ｍｍから５ｍｍを有する一定形状横断面を有する。上記の一実施形態は一辺２ｍｍから３ｍｍの正方形断面チューブである。光ガイドは数十ミリメートルの長さを有し、光ガイドは長さ１０ｍｍから７０ｍｍであってもよい。このような光ガイドは角度５０°から１００°（通常、光ガイド内の全体内角の約２倍）全体にわたりスポットのグリッドを生成できる。被写界深度は一般に十分大きいと見られ、１５０ｍｍから無限大で作動できる。ただし、特定の用途については、光ガイドの別の配置が適する場合もある。
【００７１】
チューブは反射性内面、すなわち鏡面内壁を有する中空チューブで構成してもよい。あるいは、チューブは固体材料で製造し、チューブ材料と周囲の材料との境界面に入射する多量の光が全体内部反射されるように配置される。チューブ材料は適正な屈折率を有する被膜でコーティングされるか、または空気中で作動するように設計されてもよく、その場合には、光ガイド材料の屈折率は全体内部反射が材料と空気の境界面で生じる値でなければならない。
【００７２】
光ガイドとしてこのようなチューブを使用すれば、光源の複数画像が生成され、シーンに投射されてスポットアレイを形成することができる。光ガイドは容易に製造および組立でき、光源からの光の大部分をシーンに結合できる。したがって、発光ダイオードなどの低電力光源を使用できる。出口開口が小さいため、開口は大きい被写界深度を有し、これは広範囲の距離に分散する投射スポットを必要とする測距用途に有効である。
【００７３】
個々の光源を光ガイドの入力面近くで使用して入力面だけを照射するか、または１つ以上の光源を使用してマスクを通して光ガイドの入力面を照射するかのいずれかである。光ガイドの一部に光を通すために透過部分を有するマスクを使用することは、個別の光源を使用するより容易である。マスクの正確な位置合わせが光ガイドの入力面において必要とされるが、これはＬＥＤまたはＬＥＤアレイを正確に整列させるより容易である。
【００７４】
好ましくは、マスクを使用する場合、照射手段は光源とマスクとの間に配置されるホモジナイザを備えることにより、マスクが均等に照射されることを保証する。したがって、光源は許容レベルの輝度を提供する任意の光源であってもよく、正確な位置合わせの必要もない。あるいは大型寸法のＬＥＤを使用して、製造／調整における許容誤差を緩和できる。
【００７５】
投射光学系は投射レンズを備えることもできる。投射レンズは光ガイドの出力面に近接して配置される。光源が固体であるいくつかの実施形態においては、レンズは光ガイドに組み込むこともでき、すなわちチューブの出力面の形状を加工してレンズを形成することも可能である。
【００７６】
本発明による装置によって投射される光の全ビームは光ガイドの端部を通過し、光ガイドの端面の中心においてその点から発生すると考えることができる。次に、投射光学系は半球面レンズを備えることができ、半球面の中心が光ガイド出力面の中心に一致する場合、ビームの見掛けの起点は同一点に留まり、すなわち各投射画像が共通の投射起点を有する。この配置では、投射器は、投射器が広角度にわたり放射するビーム発生源と考えることができるため、軸を持たない。したがって、本発明の好ましい照射手段は既知の構造の光発生器と全く異なる。このように、測距装置に関して重要なことは、ビームの起点と検出器の撮像レンズの主点との間の幾何的関係である。
【００７７】
好ましくは、投射光学系は投射アレイを比較的遠い距離で集束するように構成される。これにより、遠い距離に鮮明な画像を生成し、近い距離に不鮮明な画像を生成する。上述のとおり、不鮮明さの量は、不明瞭性を解決するのに用いられるかなり粗い距離情報を与えることができる。識別精度は、光源が光ガイドの入力面を例えば正方形のような非円形形状で照射する場合には向上する。正方形の光源が使用されるか、または光源が正方形透過部分を有するマスクと共に使用されるかのいずれかである。
【００７８】
さらに不明瞭性を除去するために、光源は光ガイドの入力面を、光ガイドの反射軸まわりに非対称な形状で照射してよい。光源、あるいは光源の画像の反射軸まわりに非対称であるマスクの透過部分は、それの鏡像と異なる。投射アレイ内の隣接スポットは鏡像であり、したがって、光源またはマスクの透過部分をこのように形成することにより、隣接スポット間の識別を可能にする。
【００７９】
装置は２つ以上の光源を備えることができ、各光源は光ガイドの入力面の一部を照射するように配置される。２つ以上の光源を使用することにより、シーン内のスポット分解能を改善できる。好ましくは、２つ以上の光源が規則正しく配置される。光源は様々な配置の光源を使用して様々なスポット密度を得ることができるように配置される。例えば、単一光源を光ガイドの入力面の中心に配置して、特定のスポット密度を得ることができる。別個の２ｘ２の光源アレイをさらに入力面上に配置でき、この光源を中心光源の代わりに使用して、増加したスポット密度を得ることもできる。
【００８０】
あるいは、それぞれが光ガイドの入力面の一部を照射する複数の透過部分を有するマスクとすることもできる。複数光源を使用するのと同様の方法においては、これによりシーン内のスポット密度を増加できる。マスクは電気−光変調器を備え、これにより任意の透過部分の透過特性を変更できる。すなわち、マスクの窓を透過性から非透過性に切り替えて、投射アレイ内の特定のスポットを効果的にオン／オフに切り替えできる。
【００８１】
２つ以上の光源が使用される場合、少なくとも１つの光源は別の光源と異なる波長で光を放射するように構成される。あるいは複数の透過部分を有するマスクを使用すると、異なる透過部分が異なる波長を透過できる。異なる波長を有する光源または異なる波長で作用する透過窓を使用することは、シーンに投射されたスポットアレイが異なる波長を有し、実際には、スポットは異なる色である−当業者には、色という用語は可視スペクトル内での作用を意味するものではないことは理解されるであろう。様々な色を有することは、どのスポットが投射アレイ内のどれであるかの不明瞭性を除去するのに役立つ。
【００８２】
あるいは、少なくとも１つの光源を別の光源と異なる形状にすることもでき、好ましくは、少なくとも１つの光源は光ガイドの反射軸まわりに非対称な形状を有する。光源を成形することはアレイ内のスポット間の識別に役立ち、形状を非対称にすることは鏡像が異なることを意味し、上述の識別をさらに改善する。透過部分を適正に成形することにより、マスクを用いて同一効果を達成できる。
【００８３】
少なくとも１つの光源は光ガイド内で別の光源と異なる深さに配置される。投射アレイとカレイドスコープとの角度分離は、後に述べるように、その長さと幅の比により決定される。カレイドスコープ内に少なくとも１つの光源を配置することにより、光源に対する光ガイドの実効長さが効果的に短くなる。したがって、シーンに投射される結果としてのパターンは、様々な周期を有する２つ以上のスポットアレイを含む。この結果、スポットの重なり度合いは、各スポットを一意に識別するのに使用できるアレイの中心からの距離によって変化する。
【００８４】
ただし、当業者であれば、本発明においては、個々のスポットのアレイを投射するあらゆる照射手段を利用できることを理解されるであろう。
【００８５】
次に、以下の図面を参照して、単に例示の目的で本発明を詳しく説明する。
【発明を実施するための最良の形態】
【００８６】
本発明の移動制御センサの一実施形態は、道路車両などの車両用の駐車支援装置である。図１ａを参照すると、全体に１０４で表される駐車スペースに駐車しようとしている車１０２が示されている。この例では、スペースは駐車した車両１０６および１０８と縁石１１０とによって画定され、駐車操作は後向きで入る並列駐車操作である。しかし、本発明は、ガレージ内の駐車などの他の駐車配置にも同様に適合できる。
【００８７】
ドライバーは、車が駐車スペースを通り越して駆動できる状態に車を位置合わせし、駐車支援装置を起動する。これは車両のどちら側に該当するスペースがあるかを指示することになる。配置によっては、データ取得ステップを起動する必要がないが、これは環境の全般的な監視の一部として連続して自動的に実行できる。
【００８８】
いずれにせよ、駐車支援装置のデータ取得準備ができると、ドライバーは図１ｂに示すとおり、スペースを通り越して車を駆動する。少なくとも１つの側面を見る３次元撮像カメラユニット１１２が、車がスペースを通り越して移動するとき、車の側面からの視点の複数の画像を撮影する。イメージャの視野は１１４で示され、連続画像が駐車した車１０６、縁石１１０および駐車した車１０８の距離に関するデータを与えることが分かる。
【００８９】
駐車支援プロセッサが３次元カメラユニット１１２で取得された全データを取り込み、各データが取得されると、データ取得が開始された以後の移動量を決定することにより車の相対位置を記録する。プロセッサはＧＰＳシステムなどの位置センサを組み込むことにより移動量を測定できるが、好都合には、車輪回転を測定することによって作動する既存の車両走行距離計システムに接続するだけでよい。駐車支援装置については、駐車スペースを通過するときには車両が一般に直線的に移動するのが通常であるが、ハンドルのどのような動きも測定できる。既存の車システムはこれらの事をすでに実施する傾向にあり、したがって、駐車センサを車両に組み込むのは比較的容易である。
【００９０】
３Ｄカメラユニット１１２のプロセッサは、３Ｄカメラがスペースを横切るときに取得する距離データについて作動するだけでなく、ステレオ撮像技術を利用して様々なフレームからのデータを処理する。車が移動するとき、カメラの視点が変化し、これによりシーン内の物体が取得画像内で移動する。当業者には明らかなとおり、シーン内の物体に関する距離情報および位置情報は、ステレオ撮像技術を用いて見ることができる。物体の縁部は画像内で最大のコントラストを示し、２つの画像の間を移動することが多いため、ステレオ処理技術は物体の縁部の位置を特定するのに適する。３Ｄカメラで収集された距離情報をシーン内の物体の位置と組み合わせることで、モデルを形成できる。
【００９１】
車の移動がフレームを生成して、ステレオ処理技術を用いる水平分離により処理できる画像に枠をはめることができる。さらに垂直方向に分離された画像を見ることによりステレオ情報を提供することは有利であり、例えばこれは縁石の位置特定に役立つ。したがって、３Ｄカメラユニット１１２は２つの別個の３Ｄカメラ、または２つの検出器を有する３Ｄカメラ機構を備えることができ、両方のカメラは全体として同一方向を見るが、垂直軸方向に特定の事前定義された離間距離を有する。
【００９２】
したがって、３Ｄカメラユニットのプロセッサはシーンからの全データを取得し、ステレオ処理技術を利用してシーン内の物体の縁部を識別する。距離データはさらに、物体の識別を容易にし、物体の表面外形を完全にするために用いられる。この方法では、プロセッサは駐車スペースおよびそれに関連する車のモデルを高速で生成できる。
【００９３】
図１ｃに示されるように、車が駐車スペースを通り過ぎると、駐車支援装置は十分な情報を取得したことを表示するか、またはドライバーはデータ取得ステップが終わったことを表示できる。その後、全収集データを使用してモデルが完成される。完全なモデルが利用可能になると、プロセッサが１つ以上の駐車方法を計算する。これら駐車方法は車両のダッシュボード上の表示器により、例えば、提示される駐車方法を示す動画シーケンスでドライバーに提示され、ドライバーは必要に応じて所望のオプションを選択でき、または駐車ステップが進行すべきことを確認できる。
【００９４】
簡単な支援システムでは、次に、プロセッサがインタフェースを介して命令をドライバーに中継できる。例えば、プロセッサは一連の命令を生成でき、この命令はコンピュータ生成音声モジュールを介してドライバーに中継され、いつ後進するか、いつどのようにハンドル操作するか等をドライバーに知らせる。これは、車が右側進路にあるかどうかを示す表示器によって支援できる。
【００９５】
図１ｄの駐車ステップの間においては、プロセッサが車の移動を監視し、さらに３Ｄカメラもまた環境を観察して駐車モデルを常に高精度化する。車の後部の追加の３Ｄカメラ１１６もまた車両の後部を監視して、駐車している車両に対する車の位置２に関する詳細な情報を提供する。
【００９６】
これらセンサはさらに、環境に対する何らかの変化、例えば歩行者または動物が駐車スペースに侵入するかまたは駐車していた車の１台が動くなどの変化を監視する。この場合、適切な警告を起動することおよび／または車のすべての動きを停止することができる。
【００９７】
自動駐車システムにおいては、実際にはプロセッサが車を図１ｃに示される位置から移動させる駆動ユニットを制御し、適正な動力および必要なハンドル操作を与えることにより車両を駐車させる。ドライバーは常に解除する能力を維持するが、その必要がない場合は、車はそれ自体で駐車する−図１ｅ。再度、３Ｄカメラ１１２および１１６からのフィードバックを用いて、環境モデルおよびそれに対する車の関係を常に更新、必要に応じて駐車方法を更新する。
【００９８】
このように、本発明は駐車を支援するかまたは自動駐車を実現するのに使用できる移動制御システムを提供する。本発明はさらに、全運転状態に対する安全監視装置としても使用される。詳細には、ここでは貨物自動車および車のための死角検出が該当する。例えば、３Ｄカメラを車両の４つのコーナーすべてに配置して、車両まわりの環境の適正な全周囲有効距離を実現できる。車両の照明クラスタ内に３Ｄカメラを置くことにより、総合運転支援システムについての適正な有効範囲を得ることができる。このような運転支援システムを用いて、該当する車の前方または後方の車両に対する距離を監視し、該当する速度の適正な安全限界を超えると警告を発することができる。緊急事態においては、車両は防止手段（例えばブレーキをかける）を取り、衝突を防止するか、または車両をハンドル操作して衝突を避け、障害物が存在しないと判明した領域に移る。
【００９９】
車に関して上に説明したが、本発明は操縦を必要とし、衝突の危険があるあらゆる車両、例えば飛行場での飛行機の操縦または倉庫におけるリフト車両等における使用に利用できる。本発明によりさらに、リフト車両が物体を最適に操作する方法、例えば倉庫において積荷を搭載するパレットを持ち上げる方法および／またはそれを適切に置く方法を決定できる。本発明の同原理はロボットアーム等を案内するのに利用できる。
【０１００】
使用される３Ｄカメラは高解像度、優れた距離精度および距離のリアルタイム処理を備える小型カメラである。使用されるカメラは国際公開第２００４／０４４５２４号として公開された同時係属特許出願ＰＣＴ／ＧＢ２００３／００４８９８号に記載されたものであり、この特許出願は全内容が参照により本明細書に組み込まれる。
【０１０１】
図２は適切な３Ｄ撮像カメラを示す。２次元スポット投射器２２がシーンに向かってスポットアレイ１２を投射する。検出器６がシーン方向を見て、シーン内でスポットが存在する位置を検出する。シーン内のスポットの位置は、スポットが検出器に対して形成する角度に依存し、検出器は目標物までの距離に依存する。このように、シーン内のスポットの位置を特定することにより、距離はプロセッサ７により決定できる。
【０１０２】
本発明は２次元のスポットアレイを使用して、シーン全体から距離情報を同時に得る。２次元のスポットアレイを使用することは、図２ａに関して説明した不明瞭性問題を引き起こす可能性がある。スポット投射器２２は複数の角度分離ビーム２４ａ、２４ｂ（明瞭にするために２つだけを示す）を投射する。シーンが平坦な目標物である場合、検出器が見る画像１０はスポット１２の正方形アレイである。図２ａで明らかなとおり、シーン内の特定位置に現れるスポット、すなわち角度θ１で受け取るスポットは第１投射スポットに対応するが、ビーム２４ｂからのスポットは第１距離または第２距離における目標物８から反射または散乱され、異なる投射スポットであるビーム２４ａからのスポットは、さらに遠い距離にある目標物１４から反射または散乱される。アレイ内の各スポットは様々な距離のシーン内に軌跡を有すると考えることができる。１つのスポットの軌跡、矢印２６は他のスポットの位置と重なり、距離の不明瞭性を引き起こすことが分かる。
【０１０３】
３Ｄカメラの一実施形態は、検出器に対するスポット投射器の位置を、スポットアレイが、隣接スポットの様々な距離において検出されたシーン内の可能な位置に軌跡が重ならないように投射されるように配置することによって、この問題を回避する。したがって、図２ｂは本発明の装置の側面図を示す。検出器６およびスポット投射器２２はｙ方向ならびにｘ方向に分離していることが分かる。したがって、シーン内のスポットのｙ位置も距離により変化し、明白なスポット移動の軌跡に影響を与える。この配置は、隣接スポットの軌跡が重ならないように選択される。スポット移動の実際の軌跡は矢印２８で示される。同一効果は、投射器をそれの軸まわりに回転することにより達成できる。
【０１０４】
これを考える別の方法は、ｘ軸をそれに沿って検出器およびスポット投射器が分離する軸として、または、ミラーまたは他の方向変更光学素子を使用した場合は、少なくとも効果的な入口／出口開口として、再定義することである。ｚ軸はシーンまでの測定される距離であり、ｙ軸に直交している。したがって、検出器はシーンの２次元ｘ−ｙ画像を生成する。この座標系では検出器と投射器のｙ方向の分離はなく、したがって、投射器によりｚ−ｙ平面に特定の角度で投射されるスポットは、距離に関係なく、検出器によってその角度にあると常に受け取られ、すなわち、スポットはｘ方向に平行な方向で検出されたシーン内での移動に対してのみ現れる。したがって、アレイがｘ軸に関して、隣接スポットがｙ方向に異なる分離を有するように配置される場合、隣接スポット間に不明瞭性がない。アレイが正方形のスポットアレイである場合、これは実際には、アレイを傾斜させてアレイの軸が定義されたｘ軸、すなわち検出器およびスポット投射器を分離している軸に沿って位置しないようにすることを意味する。
【０１０５】
どのスポットがどのスポットサイズであるかの全体としての明瞭な決定のために、スポット間ギャップおよび検出器の配置は、各スポットの軌跡が他のいずれのスポットの軌跡とも重ならないようにする。しかし、識別の実際的な理由に対して、好ましくは、多数のスポットが、比較的大きなスポットサイズを有し、装置が大きい被写界深度で使用される（したがって、シーン内のスポットの大きな明白な移動）。実際にはこのとき、異なるスポットの軌跡が時には重なる場合がある。図２ｂに見られるように、投射スポット３０の軌跡は投射スポット３２と重なるため、矢印２８の線に沿ってシーン内で検出されたスポットは１つの距離で投射スポット３０に一致し、または投射スポット３２は異なる距離で一致する。しかし、２つの距離の差は大きい。用途によっては、測距システムは可能な距離の狭い範囲帯上だけに使用でき、したがって、操作ウィンドウ内では不明瞭性がない。しかし、大部分の用途については、不明瞭性を解明する必要がある。可能な距離内の差が比較的大きいため、粗い測距技法を使用して、スポットが測距システムについて考慮される不明瞭性を、一意に識別されたスポットの位置に基づいて正確な距離情報を提供する測距システムを用いて解明できる。
【０１０６】
場合によっては、連続的な平滑表面を仮定することもでき、この場合には可能な不明瞭性の一部は距離の過大なずれの理由で除去できる。
【０１０７】
一実施形態においては、スポット投射器２２は比較的長い距離で集束する正方形スポットのアレイを投射する。プロセッサが検出シーン内に正方形スポットを見る場合、これはスポットが実質的に集束し、したがって検出されたスポットが比較的長い距離にある１つでなければならないことを意味する。しかし、検出されたスポットが近い距離にある場合、スポットは実質的に集束されず、円形になる。典型的には、８００ｍｍの焦点距離である。このようにスポットの外観を利用して、粗い距離情報を提供し、スポットが高精度の距離情報を提供するのに用いられるスポット位置によって、スポットがその上で検出された不明瞭性を除去できる。
【０１０８】
検出器６は標準的な２次元ＣＣＤアレイ、例えば標準ＣＣＤカメラであるが、代わりにＣＭＯＳカメラを使用してもよい。検出器６は、シーン内のスポットおよびその位置を識別できるだけの十分な分解能を有する必要がある。検出器６は可視画像を取得し、シーン内のスポットを検出するように構成される。
【０１０９】
スポット投射器は、可視帯域で作動するカメラによって検出できる可視波長帯域でスポットを投射する。しかし、スポット投射器はスポットを他の波長、例えば赤外線または紫外線で投射してもよい。波長は特定用途のために調整することもできる。スポット投射器がシーン上に赤外線スポットを投射する場合、使用される検出器は各ピクセルグループに対し４素子を有するＣＣＤカメラである。１つの素子が赤色光を検出し、別の素子が青色光および第３素子が緑色光を検出する。システム内の第４素子が適正な波長の赤外光を検出する。このようにＲＧＢ素子からの出力を用いて、いずれのスポットからも自由に可視画像を生成し、赤外線スポットのみを実際に含む赤外素子の出力をプロセッサに供給して距離を決定する。しかし、後に述べるように、スポットが様々な波長で投射される場合は、検出器は様々な赤外波長の間で異なる必要があり、その場合、異なるカメラが望ましい。検出器は可視帯でも作用することに限定されない。例えば、熱カメラを使用することもできる。検出器が投射スポットを検出できるとすると、検出器が様々な波長を受け入れる素子を有するかどうかは問題にならない。
【０１１０】
スポット検出を容易にし、周囲光による問題を避けるために、スポット投射器は変調信号を投射するように構成される。プロセッサは変調周波数で検出された信号をフィルタに通し、信号対雑音比を改善する。この原理の最も簡単な具体化は、ストロボまたはフラッシュ照射として公知の、パルス照射を用いることである。カメラは、パルスが高い場合、１つのフレームを取得する。参照フレームは投射されたスポットなしで取り込まれる。次に、これらの輝度パターンの差は、バックグラウンド光オフセットに関して補正される。さらに、輝度パターンの正規化を可能にする、均一に照射されるＬＥＤフラッシュランプに同期するとき、第３の反射性参照フレームが収集される。
【０１１１】
適切なスポット投射器２２が図３に示される。光源３４はカレイドスコープ３６の入力面に近接して配置される。他端には簡単な投射レンズ３８が置かれる。投射レンズは図では明瞭化の目的でカレイドスコープから間隔を空けて置かれているが、通常はカレイドスコープの出力面に近接して置かれる。
【０１１２】
光源３４は赤外線放射ダイオード（ＬＥＤ）である。上述のとおり、赤外光は、投射スポットのアレイが取得される可視像と干渉する必要がなく、赤外線ＬＥＤおよび検出器が高価でないため、測距用途に有効である。しかし、当業者には明らかなように、他の用途に対しては、本発明の精神から逸脱することなく、他の波長および他の光源を使用することもできる。
【０１１３】
カレイドスコープは内面に反射性壁を有する中空チューブである。カレイドスコープは適正な剛性を備える任意の材料で作製でき、内面壁は適正な誘電体被膜でコーティングされる。しかし、当業者には明らかなように、カレイドスコープは代わりに、固い材料の棒で構成することもできる。ＬＥＤの動作波長において透過性である任意の材料、例えば透明な光学ガラスで十分である。材料は、カレイドスコープと周囲空気との境界面において、全体としてカレイドスコープ内に内部反射されるように配置される必要がある。これは、特に潜在的に屈折率の一致する接着剤／エポキシ等で接着される領域内に、追加の（銀）コーティングを用いることで達成される。大きい光投射角度が要求される場合、これは、カレイドスコープ材料を反射性材料で被覆する必要がある。理想的なカレイドスコープは１００％の反射率の完全な直線壁を有する。なお、中空カレイドスコープはそれ自体が入力および出力面を備えなくてもよいが、中空カレイドスコープへの入口および出口はこの仕様の目的のための面と考える必要がある。
【０１１４】
カレイドスコープチューブの効果は、ＬＥＤの複数画像がカレイドスコープの出力端で見えることである。
【０１１５】
装置の寸法は意図する用途に応じて調整される。ＬＥＤが光を全角９０°の円錐内に放射すると考える。非反射性の中心の片側で見られるスポットの数は、スポットがカレイドスコープ長さをその幅で割ったものに等しい。スポットサイズに対するスポット分離の比は、ＬＥＤサイズに対するカレイドスコープの幅の比で決定される。したがって、２００μｍ幅のＬＥＤおよび３０ｍｍ長さ×１ｍｍ２のカレイドスコープは、それらの幅（集束されたとき）の５倍離れた側面に６１スポットの正方形グリッドを生成する。スポット投射器は一般に数十ｍｍ長さであり、２ｍｍから５ｍｍ長さの側面を有する正方形断面、すなわち３ｍｍ２から４ｍｍ２を有する。典型的な用途においては、スポット投射器は４０×３０またはそれ以上のスポットのアレイを生成し、シーン上に投射するように設計される。４０×３０アレイはシーン内に最大１２００の距離点を生成するが、交差線の使用により最大１０，０００距離点まで可能にする２５００距離点が好ましい。
【０１１６】
投射レンズ３８はカレイドスコープの端部に配置される簡単な単一レンズであり、ＬＥＤ３４の画像アレイをシーン上に投射するように選択される。再度、投射の幾何的配置は用途および要求される被写界深度に応じて選択できるが、簡単な幾何的配置では、レンズの焦点面またはその近くにスポットアレイを置く。投射システムの被写界深度は、好ましくは大きい被写界深度を備えることにより、測距装置が大きい操作ウィンドウ内の目的物を正確に測距可能になるために、重要である。１５０ｍｍから無限大の被写界深度は達成可能であり、有効な距離の操作ウィンドウを決定可能にする。
【０１１７】
上述のとおり、ＬＥＤ３４は正方形の形状であり、投射レンズ３８は上方の予測される距離の方向のある離れた位置にスポットアレイを集束し、これによりあらゆる特定のスポットの集束度合いが粗い距離情報を生成できるようにする。
【０１１８】
上述のとおり、スポット投射器はいくつかの利点を有する。カレイドスコープは製造が容易で、安価である。ＬＥＤは安価な部品であり、カレイドスコープはＬＥＤからの光を効果的にシーンに結合するため、比較的低い電力源を使用できる。上述のとおり、スポット投射器は安価であり、適度に強固な部品であり、また測距用途に極めて有効な大きい被写界深度を与える。このように、本発明についてはカレイドスコープベースのスポット投射器が好ましい。さらに、本発明のスポット投射器は、実質的に特定の軸を持たないように配置できる。スポット投射器により放射される全光ビームはカレイドスコープの端部まで通過し、出力面の中心を通過すると考えることができる。投射レンズ３８が出力面の中心に一致するそれの回転軸を有する半球面レンズである場合、全光ビームはカレイドスコープの出力面から発生するように現れ、投射器は広角度投射器として作用する。
【０１１９】
ただし、当業者には明らかなとおり、他のスポット投射器を使用して２次元アレイを生成できる。例えば、レーザを回折素子と共に使用して、スポットアレイである回折パターンを生成できる。あるいは、光源を投射光学系および開口アレイを有するマスクと共に使用することもできる。光の個別のスポットアレイをシーンに投射できるいずれの光源も十分であるが、他の手段、例えばＬＥＤアレイ、マイクロレンズアレイ、投射マスク等により生成される被写界深度は一般に、性能が極めて限定されることが判明している。
【０１２０】
図２に示される装置は、図３のスポット投射器を使用して構成した。スポット投射器は４０×３０スポットのアレイでシーンを照射した。操作ウィンドウは６０°全角であった。スポットは１ｍの距離に集束され、測距装置は０．５ｍから２ｍの範囲で良好に作動した。検出器は３０８キロピクセル（ＶＧＡ）ＣＣＤカメラであった。シーン内の様々な物体までの距離は、範囲の中央で０．５ｍｍの精度で測定された。
【０１２１】
上述のとおり、装置を使用して距離データを生成する前に、最初に装置を校正する必要がある。原理的には、校正はシステムの幾何的配置から開始できる。実際には、手動校正を実行するのがより好都合である。これは構造の不完全性を許容し、良好な結果を容易に生成できる。
【０１２２】
校正後、システムは距離を決定する準備が整う。距離の算出アルゴリズムは基本的な４つの段階からなる。
１ 画像を正規化する
２ 画像内のスポットの位置を特定する
３ スポットを識別する
４ 距離データを計算する
【０１２３】
正規化
カメラはフィルタを通してカレイドスコープからの光だけを選択するため、画像内には極めて小さいレベルのバックグラウンド光しか存在しない。したがって、局所的バックグラウンドに比較して明るいあらゆる領域は、スポットであると合理的に予測される。しかし、さまざまなスポットの相対的明るさは、距離、位置および目標物の反射率に応じて変化する。したがって、第１ステップとしては、好都合には、画像を正規化して不要なバックグラウンドを除去し、スポットを強調することである。
【０１２４】
正規化手順は、各ピクセルの近傍における「平均」輝度を計算し、ピクセルにおける信号をそれの局所平均で割り、その後１を減算することからなる。この校正結果がゼロより小さくなる場合、その結果はゼロに設定される。
【０１２５】
スポット位置の特定
スポット位置の特定は２つの部分からなる。第１はスポットを検出することである。第２はその中心を決定することである。スポット検出ルーチンは正規化された画像の２つのコピーを維持する。１つのコピー（画像Ａ）は多数のスポットが検出されると変更される。他方のコピー（画像Ｂ）は固定され、各スポットの中心の位置特定に使用される。
【０１２６】
正規化された画像内のすべての明るい特徴物がスポットであると仮定すると、スポットは画像内のすべての明るい領域の位置を特定することにより容易に検出できる。第１のスポットが画像Ａ内の最も明るい点の近くにあると仮定される。この点の座標を用いて、スポットの中心とスポットサイズの推定値を決定する（以下を参照）。次に、スポット中心まわりの領域の輝度（推定されたスポットサイズに基づく）は画像Ａ内でゼロに設定される。次に、画像Ａ内の最も明るい残りの点を用いて、次のスポットを検出し、これを同様に繰り返す。
【０１２７】
上述のスポット検出アルゴリズムは特別な条件が課されるまで、無条件にスポットを検出する。３つの条件が特定されており、これらを用いてルーチンを終了する。ルーチンは、これら条件のいずれかに一致すると終了する。第１の条件は検出されたスポット数がある一定値を超えてはならないことである。第２条件は、ルーチンが同一スポットを繰り返し検出してはならないことである。これはいくつかの照射条件の下で発生することがある。第３条件は、画像Ａ内に残っている最も明るい点の輝度が所定のしきい値より小さくなることである。この条件は、ルーチンが画像雑音内で誤ったスポットを検出することを防止する。通常、輝度のしきい値は、画像Ｂ内の最も明るいスポットの輝度の数分の１（一般に２０％）に設定される。
【０１２８】
各スポットの中心は、スポット検出ルーチンによって開始点と決定された位置を用いて、画像Ｂから検出される。部分画像が、その点に中心を有する画像Ｂから取られる。部分画像のサイズはスポットのサイズよりわずかに大きいサイズが選択される。部分画像は、各列内の輝度値を加えることによって１次元アレイに低減される。次に、アレイ（またはそれの導関数）とガウス関数（またはそれの導関数）との相関を求め、相関のピーク（ピクセルの一部に補間される）が水平方向におけるスポットの中心として定義される。直交方向におけるスポットの中心は、同様な方法で、列の代わりに部分画像内の行を加算することにより見出すことができる。
【０１２９】
上記手順により決定されたスポットの中心が開始点から離れた３つ以上のピクセルである場合、この手順は、計算された中心を新しい開始点として用いて繰り返す必要がある。計算は、計算された位置が変化せずに留まるまで、あるいは繰返しの最大数に達するまで続行される。これは最も明るい点がスポットの中心にない可能性を許容する。繰返しの最大数（一般に５）を用いて、ルーチンが小さい領域をハンチングすることを防止する。スポットが連続フレーム間を大きく離れて移動しない場合は、この繰返し方法によりさらに、物体に対する距離が変化するとき、スポットを追跡できる。この特徴は校正において有益である。
【０１３０】
スポットの中心を検出すると、しきい値（一般に、部分画像内の最も明るいピクセルの１０％）より大きい輝度を有する部分画像内のピクセル数が数えられる。スポットサイズはこの数の平方根として定義され、追加の粗い距離情報に使用されてよい。
【０１３１】
スポット位置特定手順の結果は（ａ，ｂ）座標のリストであり、各々それぞれのスポットを表す。
【０１３２】
スポットの識別
スポットの識別が決定されると、各スポットに対する距離を計算できる。スポット識別の最も簡単な方法は、スポットから各スポット軌跡までの距離を順に決定し、所定の距離（一般に、正確に校正されたシステムにおいては１ピクセルより小さい）の外側にあるこれらの軌跡を削除することである。この方法は、スポットおよび軌跡が多数ある場合は時間を要する。より効率的な方法はスポットの識別子を計算し、それを様々な軌跡の識別子と比較することである。軌跡の識別子は事前分類できるため、探索はより高速で実行できる。識別子は校正ルーチンと同じ方法で計算される。
【０１３３】
候補となる軌跡が識別されると、その軌跡に沿ったスポットの位置を考慮する必要がある。可能な距離の範囲が限定される場合、（例えば、１５０ｍｍより近いか、または２５００ｍｍより遠い）、計算された距離が可能な境界の外側にあるため、多数の候補のトラックが削除される。正しく調整されたシステムでは、多くても２つの軌跡が残るであろう。１つの軌跡は短い距離に対応し、他方は長い距離に対応する。
【０１３４】
最終テストは該当するスポットの形状を検査することである。上述のとおり、投射器２２は長い距離において集束し、短い距離においては不明瞭になるスポットを生成する。投射器内のＬＥＤが認知できる形状（例えば正方形）を有する場合、スポットは短い距離において円形であり、長い距離では本来の形状になる。これはあらゆる距離不明瞭性を除去する。
【０１３５】
識別されずに残るスポットはいずれも、シーン内の光の不要な点を除き、スポットではないと予測される。
【０１３６】
距離計算
スポットが識別されると、その距離を計算できる。シーンの確実な３次元表示を生成するために、ｘおよびｙ座標を計算することも必要である。これらはカメラ特性から簡単に導き出すことができる。例えば、ピクセル間隔ｐを有する焦点距離ｆのカメラレンズについては、ｘおよびｙ座標は以下の簡単な式で与えられる。
ｘ＝ｚａｐ／ｆ、ｙ＝ｚｂｐ／ｆ
ここでａおよびｂはピクセル座標で測定される。
【０１３７】
上述の実施形態では、可能なスポット間で最小の不明瞭性を有し、集束を利用して不明瞭性を解明するように調整した。ただし、別の手段を使用して不明瞭性を解明することもできる。本発明の一実施形態においては、装置は図３に関して全体を述べたスポット投射器を含むが、この場合の光源は隣接スポット間の識別を可能にする形状とされる。光源が適切な反射軸まわりに対称である場合、システムにより生成されたスポットは実質的に同一である。ただし、非対称な形状の光源が使用される場合、隣接するスポットは相互に識別可能な鏡像となる。この原理は図４に示されている。
【０１３８】
構成された光発生器２２は正方形断面を有する透明な光学ガラスの固いチューブ５６を含む。成形されたＬＥＤ５４は１つの面に置かれる。チューブ５６の他端は半球面投射レンズ５８の形状とされる。したがって、カレイドスコープ５６およびレンズ５８は一体とされ、光学効率を向上し、単一モールドステップを採用できるため製造を容易にする。あるいは平坦な出力面を有する中実なカレイドスコープの端部に、個別レンズを光学的に接着することもできる。
【０１３９】
説明の目的のため、ＬＥＤ５４はカレイドスコープの１つのコーナー、この説明では右上を指す矢印で示されている。スクリーン６０上に形成された画像が示されている。ＬＥＤの中心画像６２は、反射されないスポットに対応して形成され、右上を指す矢印を有する。なお、実際には、簡単な投射レンズが反転画像を投射し、したがって、形成される画像は実際には反転している。ただし、画像は説明目的のために反転せずに示されている。中心スポットの上下の画像６４は一度反射されたものであり、したがってｘ軸まわりの鏡像であり、すなわち矢印が右下を指す。ただし、上下の次の画像６６はｘ軸まわりに２度反射されたものであり、したがって、中心画像と同一である。同様に、中心画像の左右の画像６８はｙ軸まわりに一度反射されたものであり、したがって、矢印は左上を指して示されている。中心スポットに対角で隣接する画像７０は、ｘ軸まわりに一度反射され、およびｙ軸まわりに一度反射されたものであり、したがって、矢印は左下を指して示されている。このように、検出された画像の矢印の方向はどのスポットが検出されたかを示す。この方法により、隣接スポット間の識別が可能になるが、後続のスポットは識別できない。
【０１４０】
別の実施形態においては、２つ以上の光源が使用される。光源を使用して、シーン内のスポット密度に関する可変分解能を与えるか、またはスポット間の識別を支援するか、あるいはその両方が可能になる。
【０１４１】
例えば、２つ以上のＬＥＤが使用され、各ＬＥＤが異なる色であった場合、シーンに向かって投射されるパターンは異なる色のスポットを有する。当業者には明らかなことであるが、ここで用いる色という用語は可視スペクトル内での異なる波長を必ずしも意味するものではなく、単に、ＬＥＤが識別できる波長を有することを意味する。
【０１４２】
カレイドスコープに入力面上のＬＥＤの配置は、投射されるスポットアレイに影響を与え、規則的配置が好ましい。規則的なアレイを形成するために、ＬＥＤは相互に一定の間隔を空け、ＬＥＤからカレイドスコープの縁部までの距離はＬＥＤ間の分離距離の半分でなければならない。
【０１４３】
別の実施形態においては、ＬＥＤの配置を利用して様々なスポット密度を得ることができる。例えば、１３個のＬＥＤを正方形断面のカレイドスコープに入力面に配置してよい。ＬＥＤのうちの９個は、入力面の中央に中心を有する中央のＬＥＤを含む規則的な３×３正方形グリッドパターンに配置される。残りの４個のＬＥＤは、規則的な２×２グリッドを得るように配置される。このように構成された光発生器は３つのモードで作動できる。中心ＬＥＤはそれ自体で作動でき、上述のとおり規則的なスポットアレイを投射するか、または複数ＬＥＤが作動できる。例えば、２×２配列に配置された４個のＬＥＤを照射して、中心ＬＥＤ単体で生成されるスポットの４倍のアレイを得ることができる。
【０１４４】
様々なＬＥＤ配置が様々な距離において使用できる。シーンを照射するために使用されるとき、目標物が近い距離にある場合は、ＬＥＤ単体は十分な数のスポットを生成して識別を可能にする。しかし、中間または長い距離では、スポット密度は許容レベルより小さくなり、その場合、２×２または３×３アレイを使用してスポット密度を大きくできる。上述のとおり、ＬＥＤを様々な色にして、異なるスポット間の識別を向上させることができる。
【０１４５】
複数の光源を使用する場合、光源の形状および色を適切に選択することにより、識別をさらに向上させることができる。
【０１４６】
複数の光源を使用する場合、光源を独立にオンおよびオフに切り替えるように構成して、識別をさらに容易にすることができる。例えば、上述のように配置された複数のＬＥＤは、各ＬＥＤを順に起動するように使用できる。あるいは、アレイを全体に全ＬＥＤが照射される状態で作動できる、プロセッサからの制御信号に応答して、ある程度の不明瞭性を利用していくつかのＬＥＤをオンまたはオフにできる。
【０１４７】
成形されたＬＥＤまたは複数のＬＥＤあるいは様々な色を使用する上述の実施形態のすべては、検出器およびスポット投射器の適正な配置と組み合わせて、スポット軌跡が別のスポットと重なり、その軌跡上の隣接スポットが異なる特性を有するようにできる。例えば、図２ｂを再度参照すると、配置は、スポット３０の軌跡がスポット３２と重なる、すなわち図のスポット３２の位置で検出されたスポットは、第１の距離にある目標物から反射された投射スポット３２、または異なる距離にある目標物から反射された投射スポット３０に一致することが分かる。さらに、図５のスポット投射器を使用した場合を考える。投射スポット３０が右上を指す矢印であった場合、投射スポット３２は、アレイ内のそれの位置の正しさ以外、左上を指す矢印であることが分かる。このように、どのスポットがどれで矢印の方向として、どのスポットが監視されたかを示すかが明確である。
【０１４８】
スポット投射器の別の実施形態では、光源はマスクを通してカレイドスコープを照射する。カレイドスコープと投射レンズは上述のものと同一であってもよいが、光源はホモジナイザを通してマスクを照射するように配置された高輝度ＬＥＤ光源である。ホモジナイザは単に、マスクの均一な照射を保証するように作用するだけであり、したがって、簡単で比較的安価なプラスチックのライトパイプであってもよい。あるいは、少し正確さを欠いて配置される、より大きいＬＥＤは、効果的でコストを抑える解決策になり得る。
【０１４９】
マスクは複数の透過部分、すなわち窓を有するように構成され、これによりＬＥＤからの光の一部だけがカレイドスコープに入力面に入射する。マスクの各開口は、上述と同様に、個別の光源として作用し、したがって、カレイドスコープはマスクの開口の画像を複製し、シーン上にスポットアレイを投射する。
【０１５０】
マスクは、小型ＬＥＤを必要とするＬＥＤアレイに比べて容易に、カレイドスコープに対して正確に位置合わせして作製できる。したがって、スポット投射器の製造はマスクを使用することにより簡単化される。マスクの透過部分の形状は、上述の成形された光源として作用する形状とされる。したがって、マスクにより様々な形状のスポットアレイを投射でき、マスクの透過部分の形状は成形光源を提供するより容易である。
【０１５１】
さらに、マスクの様々な透過部分は様々な波長を透過できる。すなわち窓は様々な色フィルタを有することができる。
【０１５２】
透過窓のいくつかは変調可能な透過特性を有することができ、例えば、マスクは電気−光変調器を備えることができる。次に、マスクの特定の窓を透過性から非透過性に切り替えて、投射アレイ内の特定のスポットをオフにできる。これを上述の種々のアレイと同様に使用して、様々なスポット密度を得るか、あるいはアレイ内の特定のスポットをオフにして起こりうる不明瞭性を解決できる。
【０１５３】
別の実施形態においては、光源はカレイドスコープ内の様々な深さに配置される。カレイドスコープからの隣接ビームの角度分離は、上述のとおり、カレイドスコープの長さと幅の比に依存する。例えば、カレイドスコープチューブは２つの材料から形成される。第１のＬＥＤは、上述のとおり、カレイドスコープの入力面に置かれる。第２のＬＥＤはカレイドスコープ内の異なる深さの、カレイドスコープの２つの部分の間に置かれる。カレイドスコープの２つの部分を接合して最大効率を得る方法、および第２のＬＥＤを２つの部分の間に位置する方法は、当業者には明らかである。
【０１５４】
結果としてのパターンは異なる間隔を有する２つのグリッドを含み、グリッドは第１のＬＥＤに対応するグリッドを部分的に覆う第２のＬＥＤに対応する。２つのスポット間の分離度合いは中心スポットからの距離によって変化する。次に、２つのグリッドの分離度合いまたはずれを利用して、スポットを一意に識別できる。上述のように、識別を改善するため、ＬＥＤは異なる色であってよい。
【０１５５】
なお、スポットという用語は識別可能な光の点を意味すると理解されるべきである。スポットは光の完全な分離領域に限定するものではない。例えば、十字型ＬＥＤをカレイドスコープの入力面上に使用できる。ＬＥＤはカレイドスコープの側壁まで延び、したがって、投射パターンは連続ラインのグリッドとなる。ラインの交点は識別可能な領域またはスポットを提供し、このスポットにより位置特定でき、上述と同様に距離を決定できる。
【０１５６】
交点までの距離が決定されると、その交点を通るライン上の任意の点までの距離は、交点から得られた情報を用いて決定できる。したがって、システムの分解能は極めて大きい。図１０に示されるＬＥＤ配置以外は上述と同一の４０×３０投射システムを使用すると、遠方距離点を有するシステムに対して識別できる１２００の交点が生じる。このように、装置をプロセッサと共に使用して、各交点を識別し、交点までの距離を決定し、接続ライン上の各点までの距離を算出できる。あるいは、十字型ＬＥＤは個別に照射される個別の中心部分を備えることができる。中心ＬＥＤ部分を照射することにより、先に述べたのと同様に、スポットアレイが投射される。各スポットまでの距離が決定されると、十字型ＬＥＤの残りのＬＥＤをオンにでき、接続ライン上の種々の点までの距離が決定される。最初に中心部分だけを照射することにより、投射スポットの形状に基づいて不明瞭性をより容易に解決できる。マスクを備えるスポット投射器を使用してラインの交差アレイを生成できる。
【０１５７】
上述のとおり、２つの異なる視点からシーンを見ることは有益である。図５は２つのＣＣＤカメラ６、１０６を使用してシーンを見るシステムを示す。スポット投射器２２は上述のスポット投射器のいずれでもよく、規則的なスポットアレイまたは十字型を投射する。ＣＣＤカメラ６は図２に関して先の延べたカメラと同一である。カメラ６と同一の第２カメラ１０６も備える。ビームスプリッタ１０４が、シーンからの光の一部をカメラ６に通過させ、一部の光をカメラ１０６に反射するように配置される。ビームスプリッタ１０４に対するカメラ１０６の配置は、２つのカメラの実際位置に小さな差１０８ができるように配置される。したがって、各カメラはわずかに異なるシーンを見る。カメラの位置が十分に離れている場合、ビームスプリッタ１０４は省略することができ、両カメラはシーンを直接見るような向きとなるが、部品サイズおよび所望の間隔はこのような配置を可能としない。
【０１５８】
次に、カメラ６からの出力を用いて、上述のとおり、シーンまでの距離を計算できる。また、カメラ１０６を使用してシーンまでの距離を計算できる。各カメラの出力は、上述のように、検出スポットが様々な距離における多数の可能な投射スポットのうちいずれか１つに一致する点で不明瞭である。しかし、２つのカメラが異なる間隔位置にあるため、各検出スポットについて計算された可能な距離のセットは変化する。したがって、あらゆる検出スポットに対して、単一の可能な距離、実際の距離は各カメラについて計算されたセットに共通である。
【０１５９】
カメラ６が、スポット投射器からの極めて小さいベースライン、すなわち視野の境界線で配置されると、様々な距離におけるシーン内のスポットの可能な位置の対応する軌跡は小さい。再度図２ａを参照すると、検出器６からスポット投射器２２までの分離が小さい場合、様々な距離におけるスポットのシーン内の明白な移動は大きくないことが分かる。したがって、軌跡は小さく、操作ウィンドウ内の異なるスポットの軌跡間の重なりは存在しない、すなわち不明瞭性がない。しかし、可能な位置の限定された軌跡は、システムが移動の度合いの大きいシステムと同等の精度を持たないことを意味する。妥当な精度および距離を有するシステムについては、約６０ｍｍのベースラインが一般的である。次に図９を参照すると、カメラ６がスポット投射器のサイトのライン近くに配置されている場合、カメラ６の出力は不明瞭ではないが、測定精度が低い。しかし、カメラ１０６をスポット投射器２２から適切なベースラインに配置して、高精度の結果を得ることができる。カメラ６の出力からの精度の低い読みを用いて、カメラ１０６からの読みのあらゆる不明瞭性を解明できる。
【０１６０】
あるいは、２つのカメラからの出力を用いて、粗い距離値を得ることができる。配置がカメラ間のベースラインが小さい、すなわち約２ｍｍとなるようになされる場合、２つのカメラのスポットの検出位置の差を用いて、距離の粗い推定値を得ることができる。しかし、いずれかのカメラと投射器との間のベースラインは大きくてもよい。この構成の利点は、２つのカメラが極めて小さい差で画像を見ることである。投射器に対するカメラの配置は、再生したスポットと格納されたガウス強度分布との相関を求めてスポット位置を決定し、スポット位置の測定値を最適化する必要がある。これは妥当であるが、スポットサイズが距離と共に変化し、反射率がスポット全体にわたり変化する可能性があるため、完全に一致することはない。目標物の表面傾斜も識別できる形状に影響を与える。カメラトゥカメラ（ｃａｍｅｒａ ｔｏ ｃａｍｅｒａ）システムでは、２つの視点から同一の、おそらく歪んだスポットを見ることとなり、これは相関が常に完全一致に近いことを意味する。不明瞭性を完全に除去するためまたは情報を追加するために追加カメラチャネルを備えるこの原理により、カメラを用いて略直交のベースラインを生成し、および／または３つのセットとして、２つの直交ステレオシステムを生成できる利点を実現できる。特徴検出ステレオ／３眼カメラを有するスポット投射３Ｄカメラの組み合わせは、強力な組み合わせを実現できる。
【０１６１】
いくつかの用途のため、あるいはいくつかの作動モードにおいて、シーンに関する完全な距離情報は必要でなく、必要とされることのすべては近接警告である。この場合には、上述の３Ｄカメラを、あらゆる強調処理を必要とせずに使用して、環境モデルを形成できる。特定の距離限界内にある物体に関して単に警告を与えるだけで十分である。例えば、衝突を防止するための、例えば航空機の翼先端のための簡単なセンサとして、本発明の３Ｄカメラを使用し、最近傍物体までの距離を単に示すか、または物体が翼先端に近付く場合に表示、例えば距離に応じた周波数で可聴ブリープ警告を与えるだけで十分である。この場合、プロセッサは単に距離を決定し、最も近い距離の表示を与えるか、または特定のしきい値距離に基づいて警告信号を発生するように構成される。あるいは、３Ｄカメラは２つのモードで作動可能なシステムの一部として使用できる。２つのモードのうちの単純移動モードでは、必要とされることのすべては衝突回避タイプ情報であり、対話モードでは、環境との対話、例えば物体の操作を可能にするために、完全な３Ｄ情報が必要とされる。
【０１６２】
簡単な近接センサが必要とされる場合、上述の３Ｄカメラ技術の変形形態を利用できる。この変形形態は、図２に示されるのと同様の小型スポット投射器と検出器とを有するが、マスクが検出器の前面に置かれている。マスクは開口を有し、検出器が特定距離にあるスポットだけを見ることができることを保証する。図２ａに示されるとおり、シーン内のスポットは、様々な距離としてシーン内の様々な位置に現れる。マスクの開口の位置は、スポットが開口内に現れるように配置され、これにより、特定の距離にある目標物から反射されるとき、検出器に対して現れるようにすることができる。したがって、単なるスポットの存在は距離ブラケットの表示を与え、したがって、距離しきい値情報が処理の必要なく得られる。図２のこのようなプロセッサ７は簡単なしきい値検出器と置き換えできる。このタイプの近接センサは国際公開第２００４／０４４６１９号として公開された同時係属特許出願ＰＣＴ／ＧＢ２００３／００４８６１号に記載されている。より汎用性の高い方法は、実際には物理的マスクの存在を必要としない。バイナリマスクをプログラムして、検出器出力によるビットマップ画像出力を乗算して同一効果を生成できる。乗算は極めて簡単なステップであり、最小処理を必要とし、その結果にはさらに極めて簡単な処理を加えることができる。この仕様の目的のために、マスクは検出器出力に加えられる物理的光学バリヤまたは架空マスクを意味すると取られる。
【０１６３】
距離の複数グループ間の識別を可能にするマスクが図６に示されている。マスクは開口アレイを有する不透明材料のシート４４である。明瞭化のために４つの開口５６ａから５６ｄが示されているが、実際には、マスクはこれら開口グループの繰返しにより形成されてよい。開口のサイズおよび形状は、各開口が所定の距離において目標物から反射されるスポットを示すようにされる。しかし、開口は様々なサイズであり、変化する距離に伴いシーン内のスポットの視覚的な移動の方向にそれぞれの量で広がっている。図６ａから図６ｅは、順次近い距離において目標物から反射された投射アレイ内の４つのスポット５８ａから５８ｄの位置を示す。
【０１６４】
図６ａでは、目標物が離れた位置にあり、スポット５８ａから５８ｄは開口を通して見えない。しかし、目標物が近付くと、スポット５８ａは開口５６ａを通して見えるようになる。しかし、他のスポット５８ｂから５８ｄは他の開口を通して見えない。図５ｃにおいて、目標物がさらに近付くと、スポット５８ａおよび５８ｂはそれぞれの開口５６ａおよび５６ｂを通して見えるようになるが、他の２つのスポットはなおも見えない。図６ｄおよび図６ｅは目標物がさらに近付くとき、スポット５８ｃがスポット５８ｄに続いて見えるようになる。
【０１６５】
したがって、目標物が近付くとき、検出器は、スポットが見えないか、または１、２、３または４つのスポットが見える状態に対応する、５つの個別の輝度レベルを見ることが分かる。したがって、様々な輝度レベルを用いて、目標物が特定の距離境界線内にあることを表示できる。なお、識別しきい値レベルを使用して距離を決定するこの実施形態は、一般に、目標物が標準反射率であることが既知で、全距離において視野全体を満たす場合にのみ適する。目標物が様々なサイズである場合、小さい目標物は大きい目標物と異なる輝度を生成し、さらに反射性の目標物は小さい反射性の目標物より大きい輝度を生成する。
【０１６６】
目標物の一貫性が既知でない場合、複数の検出器を使用でき、各検出器はマスクを有し、マスクは、様々な距離でスポットから反射または散乱される光を通すように配置された。すなわち、各検出器は単一比較を有して、物体が特定距離内にあるが、各検出器に対する距離が異なるかどうかを決定する。
【０１６７】
あるいは、図６に関して述べた実施形態は、どのスポットが検出器の全体輝度に寄与しているかを決定する手段において使用できた。これは、シーン内に存在するスポットを変調することにより達成できる。例えば、図６ａから図６ｅの４つのスポットのそれぞれは異なる変調周波数で伝播したと考える。次に、検出器からの信号は最大４つの異なる周波数成分を有する。次に、検出信号を各周波数成分について順に処理し、対応する開口グループを通過する信号があるかどうか決定した。言い換えると、スポット５８ａを周波数ｆ１で変調した場合、ｆ１における検出信号中の信号成分の識別は、目標物が十分近く、スポットが開口５６ａ内に現れることを示す。スポット５８ｂに対応する周波数成分ｆ２が存在しないことは、図６ｂに示される状態が適合することを意味する。このように、これが距離を表す該当する周波数成分の検出であるため、物体の大小、反射性の有無に無関係に検出できた。
【０１６８】
図３に示されるスポット投射器を使用してこのような変調出力を生成することは、単一ＬＥＤ３４を各々が異なる周波数で変調される４つのＬＥＤ列に置き換えることを含む。このように周波数を変調することにより、距離識別精度が向上するが、各スポットが可能な距離の１つに使用できるだけであるため、シーンに対する有効範囲の密度を低減させる。あるいは、カレイドスコープへの入力のために入力マスクを使用する場合、マスクは複数の窓を備えることができ、各窓は異なる周波数で作動する変調器を備える。
【０１６９】
図７は、２つの３Ｄカメラを搭載したフォークリフトトラック７０を示す。第１カメラ７２はトラックの上部に取り付けられ、トラックの前方を見るように方向付けされている。第２カメラ７４は前方を見るトラックのベースに向けて取り付けられている。フォークリフトトラックは自動化され、トラックを２つのモードで操作できるコントローラ７６により制御される。
【０１７０】
第１モードは移動モードであり、トラックを１つの指定された位置から別の位置に移動するために使用され、例えば、倉庫からの特定の品物が必要とされる場合、信号をトラックに送り、品物を取って、それを積載ベイに置く。次に、コントローラはトラックを現在位置から必要とされる品物が保管されている倉庫の領域に誘導する。移動モードでは、トラックは障害物がないと予測される通路に沿って倉庫内に移動する。トラックは倉庫の内部地図および位置探査装置を備えてよく、これにより、コントローラがトラックを指定された位置に移動するのを制御できる。したがって、環境の詳細な３次元モデルは必要とされない。しかし、トラック経路内の人を検知するため、または落下したクレートなどの障害物を検知するために、上述のとおり、３次元カメラが近接センサモードで作動して、予想される障害物をすばやく識別できる。移動モードでは、上部に装着されたカメラ７２がたマスク（出力に適用されたバイナリマスク）を適用し、これによりトラックの前方の床レベルから反射されたスポットがマスクの開口内に現れる。床レベルの重大なずれまたは投射スポットの経路内の障害物は、反射スポットをシーンのマスクされた部分に移動させ、輝度変化が検出できる。下方のカメラ７４はマスクされ、障害物のない経路では、スポットは見えないが、物体がトラックの０．５ｍ以内にあると、スポットがマスクされない領域に現れる。これは輝度の単純な変化により検出できる。
【０１７１】
トラックがその位置に到達すると、コントローラは対話モードに切り替わり、マスクはこれ以上２つのカメラの出力に適用されず、シーンの完全な処理が適用される。各カメラ７２、７４はスポット投射器と水平軸に沿って間隔を空けた２つの検出器とを備えることにより、３次元距離測定およびステレオ処理技術を適用可能にする。２つのカメラの垂直分離により、垂直方向のステレオ処理を可能にする。目標物体の縁部およびパレットの穴などの特徴物を識別できる。必要な場合は、コントローラはトラックを、目標領域を通り過ぎて移動させ、別の視点を与えてモデルを完成させることができる。モデルが完成すると、コントローラはトラックのフォークを右上に設定し、トラックを操縦して物体に差し入れ、それを持ち上げる。物体が安全に上方のプラットフォーム上にあると、コントローラは移動モードに切り替わり、トラックを積載領域に移動させる。
【０１７２】
積載領域では、コントローラは再度対話モードに切り替わり、領域のモデルを取得して、最初の命令に従って物体を置く。
【０１７３】
移動モードにおいて、進行中に障害物に出会うと、コントローラは種々の手法を利用する。トラックを停止させ、可聴警告を発し、短時間待機して障害物が移動したかどうかを見る−すなわち、人が経路から外に移動する−この場合、トラックは走行を続行できる。障害物が移動しない場合、それは障害物であると仮定する。この場合、トラックは通告信号を制御室に送り、行き先までの別のルートを決定するか、または対話モードに切り替えて障害物をモデル化することにより、障害物を通り過ぎるルートが存在するかどうかを決定する。
【図面の簡単な説明】
【０１７４】
【図１ａ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｂ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｃ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｄ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｅ】本発明を駐車支援装置に利用する方法の図を示す。
【図２ａ】本発明で使用される３Ｄカメラを示す。
【図２ｂ】本発明で使用される３Ｄカメラを示す。
【図３】図２に示す３Ｄカメラで使用される照射手段を示す。
【図４】別の照射手段を示す。
【図５】２つの検出器視点を有する３Ｄカメラを示す。
【図６ａ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｂ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｃ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｄ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｅ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図７】本発明の制御システムを備えるフォークリフトトラックを示す。
【技術分野】
【０００１】
本発明は、車両またはロボットシステム用の移動制御支援装置、特に車両用の自動駐車システム、ドッキング制御および物体操作システムなどの自動制御システムに関する。
【背景技術】
【０００２】
車両用近接センサの改良から車両用自動制御システムまたはロボットシステムの制御まで、幅広い用途で移動制御システムを提供および改良する継続的な要求が存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、本発明によれば、環境を撮像する少なくとも１つの３次元撮像システムと、画像を分析するためのプロセッサとを備えることにより、環境のモデルを生成し、生成されたモデルに基づいて移動制御信号を生成する、移動制御システムを提供するものであり、このシステムには、３次元撮像システムが、光スポットの投射２次元アレイでシーンを照射する照射手段と、シーン内のスポット位置を検出する検出器と、シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサとを備える。
【課題を解決するための手段】
【０００４】
したがって、本発明は、環境を撮像する少なくとも１つの３次元撮像システムと、画像を分析するプロセッサとを備えることにより、環境のモデルを生成し、生成されたモデルに基づいて移動制御信号を生成する、移動制御システムに関する。
【０００５】
３次元撮像装置は、シーン上に投射された複数のスポットに対する距離情報、実際には距離値の２次元アレイを取得するものである。この３次元画像は、シーン、すなわちカメラシステムによって撮影できる通常画像からの輝度情報を伴うか、またはそれを伴わずに取得することができる。３次元撮像システムは、環境の１つ以上の３次元画像を取得し、これらの画像を用いて、移動制御信号を生成できる環境モデルを形成する。３次元撮像システムはスポットアレイを投射するため、概ね特徴のない表面であっても、そこまでの距離を決定するのに適する。
【０００６】
好都合には、少なくとも１つの３次元撮像装置が、複数の種々な位置において環境の３次元画像を取得し、プロセッサは環境モデルを生成するために種々の位置からの画像を処理するように、構成される。
【０００７】
複数の位置における環境の３次元画像を記録するには、環境を効果的に効率よく走査して、より多くの情報を提供する。これにより、前景の一部が特定の視点からの背景を不明瞭にするシャドーイング効果を除去することができる。また、該当する環境が比較的大きい場合は、単一の視点では正確な情報を十分に提供できない可能性がある。
【０００８】
好ましくは、プロセッサはさらに、環境モデルを生成する際に、種々な位置からの画像にステレオ画像処理技術を適用する。ステレオ画像処理技術は当技術分野において周知であり、同一シーンの２つの異なる視点に依存する。シーン内で識別された物体間の視差によって、シーン内の物体の関係についての情報が与えられる。ステレオ処理技術は、端部が画像間の視差から識別できる明瞭な特徴物となるため、シーン内の物体の端部を識別するのに極めて有用である。しかし、ステレオ画像は、通常、連続表面の距離のいずれの変動に関しても情報をほとんど提供しない。対照的に、３次元撮像システムに基づいたスポット投射は、各検出スポットに対する距離を決定し、これにより表面に関する多数の情報を提供するが、２つの検出スポット間にあるがその正確な位置にはない距離の切れ目、すなわち端部の存在を識別することしかできない。正確な端部の位置は、物体の操作を意図する場合に必要となる。このように、ステレオ画像はシーンの物体の端部およびコーナーを識別するために使用でき、３次元撮像システムからの距離情報は任意の物体の表面の外形を完全なものにするために用いることができる。したがって、ステレオ画像技術と共に３次元画像を用いると、環境内の物体の位置に関する多くの情報を提供でき、この情報を利用して環境モデルを形成できる。
【０００９】
上述のように、ステレオ画像処理技術は極めて有用であり、フレームを用いてステレオ画像に枠をはめる単一画像によって、例えば移動制御システムが搭載されるプラットフォームの動きによって、または３次元画像システムの意図的な走査によって与えられる、視点間の分離を達成できる。道路車両については、移動の方向は水平で、例えば縁石等を解明するために、垂直方向にもステレオ画像を有することが有利である。
【００１０】
ただし、少なくとも２つの視点の利点は、システムが好ましくは、それぞれの視点から環境の同一部分を見るよう配置された少なくとも２つの撮像装置を備えている点にある。したがって、例えば、車両が最初に始動し、利用可能な動きの履歴がない場合のような、シーンに対して３次画像の動きがない場合であっても、それぞれの撮像装置がそれぞれの視点を有し、ステレオデータを得ることができる。無論、シーンに対する撮像システムの動きが他のフレームを生成し、シーンのモデルを生成するのに用いられるステレオ視点に枠をはめることもできる。同一軸上にない異なった視点から環境の同一部分を見るよう配置された３つの撮像装置が存在してもよい。好都合には、撮像装置のうち少なくとも２つの分離の軸は異なっていてもよく、すなわち、装置が搭載される車両の動きの通常方向に対して略直角であってもよい。
【００１１】
生成された移動制御信号は、本発明が利用される用途に依存し、オペレータにとって単に情報または警告信号になり得るか、または可動物体を直接制御することを可能にする。
【００１２】
例えば、移動制御システムを車両に実装し、安全または警告情報を提供できる。例えば、３次元撮像システムが車両または車両の先端近くに位置し、車両が他の物体にどのくらい接近しているかについての情報を提供できる。車などの道路車両は、他の車両および静止物体の距離を常時決定する３次元画像センサを備え、他の車両が接近しすぎている場合は警告を与えるか、またはブレーキをかけるもしくは車両をハンドル操作するなど何らかの安全作用を提供する。好ましくは、車両には複数の３次元撮像システムが設けられ、各撮像システムは車両の先端付近および／または車両のいずれかの死角近くに環境を撮像するように配置される。例えば、車は、照明クラスタに埋め込まれた各コーナーの近傍に設けられた撮像システムを有することもできる。各撮像システムはそれ自体のプロセッサを有してもよく、また共通のプロセッサを共有してもよい。代替的または追加的に、移動制御システムは、パーキングなどの特定の状況で作動できる。駐車スペースまたはガレージなどの環境モデルからの情報を用いて、車両が他の物体にどのくらい近いかを指示できる。指示は音声によるものもしくは視認によるもの、または両方であってもよい。システムを航空機に実装して、例えば固定翼機の翼端など航空機の先端部を監視することもできる。地上で航空機を操作するには、空港での諸物体と衝突しないように注意しなければならない。さらに、制御信号は、フライトクルーおよび／または地上クルーへの警告信号に利用でき、または、制御システムは衝突を避ける予防措置を取り得る。システムは、航空機の乗客通路、空中給油、宇宙ステーションなど、またはアームが環境内の物体をどのように操作するか、例えば物体を掴むまたは積み上げるように制御するロボットアーム制御システムなどの、ドッキング手順を最適化するためにも同様に利用できる。
【００１３】
移動制御システムは、車両をある程度自動制御することもできる。車両には、自己運行システム、例えば自己運行装置を備えるロボットシステムを装備できる。車両には、自己位置決めシステムを装備できる−３次元イメージャ（複数可）からの画像を用いて、車両の一連の制御された動きを指示する制御信号を有する環境モデルを生成し、これにより車両を位置決めする。例えば、車には、車の駐車を可能にするパーキングシステムを備えることができ、またはフォークリフトトラックもしくは同様の車両を自動化でき、移動制御システムによって、フォークリフトトラックを持ち上げる物体に対してまたは搭載品を配置するスペースに対して正確に位置決めできる。
【００１４】
移動制御システムは、ロボットアームなどの車両ではない移動体に実装することもできる。ロボットアームは、多くの場合、物体がアームに対して所定位置に存在する製造ラインで用いられる。しかし、物体の位置の変動を考慮するため、またはアームと物体との間を極めて正確に整合させるために、それぞれの場合においてアーム位置を調節する必要があり得る。実際、アーム制御器が自動フローにて工程を通して環境モデルを生成できることにより、現在は自動化に適していないタスク、例えばおそらくはリサイクル目的で廃棄物を分類することを自動化できる。可動アームは、例えば、不発弾の撤去または遠隔または危険な環境での作業など、物体の遠隔操作のための他のプラットフォームにも設けられる。多数の視点を設けて環境についての完全なデータを生成するために、ロボットアームまたは少なくともその一部を移動して、環境に対する３次元撮像システムを走査することができる。
【００１５】
好ましくは、システムはさらに、距離画像が取得され、プロセッサがモデルを生成する際に相対位置に関する情報を用いる場合、３次元撮像装置の相対位置を決定する手段を含む。種々の画像からモデルを生成するために、プロセッサは、全画像がどのように環境に関連するかを知る必要がある。一般に、これは、他の画像に関連した特定の取得した画像について、撮像システムがどこに存在していたかを知ることに関する。移動制御システムは、ある特定の相対位置でのみ画像を取得するように構成することができ、例えば、ロボットアームは本発明による移動制御システムを備え、アームがある所定位置に移動して画像を取得するように構成できる。したがって、撮像システムの相対位置は予め決められている。しかし、他の用途では、画像が取得される相対位置は予め決定されておらず、したがって相対位置を監視するか、または、シーンの共通参照特徴物を識別することによって画像の相対位置に関する情報を取得する必要がある。
【００１６】
相対位置は、移動制御システムに位置モニターを設けることによって達成できる。例えば、ＧＰＳ受信器、または、マーカービーコン等の固定点に対する位置を決定する位置センサを含むこともできる。位置センサはコンパス、磁界センサ、加速計等を含んでもよい。当業者であれば、それぞれの画像について撮像システムの位置を決定する種々の方法を認識するであろう。
【００１７】
あるいは、相対位置は、移動制御システムが取り付けられるプラットフォームの移動を監視することによって決定することもできる。車などの車両では、車輪の運動が、速度／距離情報のためにすでに監視されている。これは単純な慣性センサ内に結合されて、相対的な位置情報を提供できる。実際、移動制御装置が、車両が直線走行する状況でのみ用いられる場合には、相対運動を決定するには走行距離のみで十分である。用途によってはこれで十分であり−例えばシステムは駐車システムとして用いることができる。ドライバーは移動制御システムを起動し、駐車スペースを通り越して運転することができる。３次元撮像装置は、車両が通りすぎると多数のスペース画像を捕捉し、スペースのモデルを生成することができる。次に、移動制御信号はスペース内で最適に操縦する方法に関する一連の命令を含むこともできる。これらの命令は、例えば視覚的または聴覚的補助器など何らかの手段によってドライバーに中継されるか、または駐車を自動化でき、自動運転ユニットが移動制御信号を利用して、車両を位置決めできる。このようなシステムは広い距離の車両への適用を見出すことができ、例えば、航空機を配置するのに、またはフォークリフトトラックなどの吊り上げ車両を位置決めするのに利用できる。
【００１８】
したがって、本発明の別の態様においては、車両が目標領域に対して移動するとき、目標領域の複数の３次元画像を取得するよう配置された３次元撮像装置と、環境モデルを生成し、目標領域に対して車両をどのように位置決めするかを決定するために、異なった位置からの画像を処理するプロセッサとを備える、車両位置決めシステムが提供される。
【００１９】
目標領域は駐車スペースであってもよく、車両は画像を取得するよう駐車領域を通り過ぎてもよく、その場合、プロセッサは駐車領域に車両をどのように駐車するかを決定する。したがって、車両を駐車したいドライバーは駐車システムを起動して、駐車が望まれるスペースを通り越して運転することもできる。３次元撮像装置は駐車スペースの一連の画像を撮影し、プロセッサはスペースのモデルと車両の位置を構築して、車両を駐車する最適の方法を決定する。システムは、駐車の命令を中継するのに用いられるユーザインタフェースを含んでもよい。例えば、インタフェースは、いつ後進し、いつどのようにハンドル操作し、いつ前進するか等に関する命令を与えるコンピュータ発生音声ユニットであってもよい。追加的にまたは代替として、画像表示器を用いて、スペースと物体に対する車両の位置を表示し、駐車命令を与えることもできる。
【００２０】
システムは、車両を自動的に移動するための駆動ユニットを備えることもでき、プロセッサは駆動部を制御して車両をスペース内に移動させることができる。移動する前に、インタフェースが、提示された移動またはいくつかの駐車方法の選択肢を表示し、これによりドライバーは車両が正確に駐車されることを確信できる。
【００２１】
ドライバーがインタフェースを介してプロセッサに案内されるか、車両が自動的に駐車するかのいずれの場合においても、環境モデルは常に更新される。これは、歩行者が駐車領域に足を踏み入れるかまたは駐車していた車両が動き始める場合に必要であるが、さらに、常に監視することによってモデルの精度を上げ、必要ならば駐車命令を更新することもできる。ドライバーが駐車する際に車両を実際に制御し、駐車支援装置から命令を受け取る場合には、モデルは、提示されたことが正しいことはまれであるため、ドライバーが実際に実行することを考慮して更新される必要がある。
【００２２】
あるいは、車両は、フォークリフトトラックなどの物体可動装置であってもよく、目標領域は、物体を持ち上げる場所または、物体を積み上げるか置くことが望まれる領域であってもよい。どの場合であれ、車両は領域を通り過ぎて、品物を持ち上げるかまたは置くのに最良な方法を決定し、その後、再びオペレータへの命令によるかまたは自動的に、それに従って作動することができる。
【００２３】
どのようなタイプの車両であっても、本発明による制御システムを装備できることに留意されたい。例えば、空港の周りを移動する航空機は、着陸すると正確なゲート位置で駐機しなければならないし、保管またはメンテナンスのために格納庫に移動しなければならない。積載ベイに正確に位置合わせすることを可能にするために、駐機制御システムには貨物自動車（ｌｏｒｒｙ）が有利である。
【００２４】
本発明はまた、車両を位置決めする命令を生成する方法に関し、この方法は、目標領域を越えて車両を移動するステップと、複数の異なった位置から目標領域の３次元画像を記録するステップと、車両に対する目標領域のモデルを生成するよう３次元画像を処理するステップと、モデルに基づいて、目標領域に対して要求通りに車両を位置決めする方法を算出するステップとを含む。上記方法は、好ましくは、モデルを生成する際に、種々の視点から取得した３次元画像にステレオ画像技術を用いることを含む。上記方法は、インタフェースを介して車両のオペレータに命令を中継する追加ステップを含むことができ、または車両を自動的に位置決めするよう駆動部を操作するステップを含むこともできる。車両は車であってもよく、上記方法は一連の駐車指示を生成する方法であってもよい。
【００２５】
上述のように、本発明は駐車に利用されるだけでなく、通常の運転を支援することもできる。次に、別の態様においては、上述のような移動制御システムを備える車両運転支援装置が提供され、この場合には、少なくとも１つの３Ｄイメージャが車両の死角を撮像し、移動制御信号は物体が車両の死角に入ったという警告である。車両の隠れたスポットとは、ドライバーが視認できないかまたは容易に視認できない車両の周りの環境の一部のことであって、例えばサイドミラー内で見ても現われない領域または、車両の一部で見えない領域である。
【００２６】
一般に、本発明は、物体または空隙に対して正確または安全に位置決めする必要がある任意の移動物体に利用可能である。上述のように、何らかの変化を示す製造ラインでのロボットアームは、ライン上で物体と正確に整合する必要がある。危険な環境での車両またはその遠隔操作する場合はさらに、例えば水中船または宇宙船または爆発物条例処理で使用されるようなロボット車両など、物体と整合する必要がある。
【００２７】
したがって、別の態様においては、複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、異なった位置からの画像を処理して可動プラットフォームに関して環境モデルを生成し、可動プラットフォームの駆動手段に制御信号を供給して可動プラットフォームを環境とドッキングするプロセッサとを備える、可動プラットフォーム用のドッキング制御システムが提供される。
【００２８】
本明細書で使用されるとき、ドッキングという用語は、広義には、可動プラットフォームを環境の所望の部分と正確な位置で位置決めすること、例えば、ロボットアームで物体を掴むこと、パレットと係合するようフォークリフトを配置すること、ガレージ内に車両を位置決めすること等を意味すると理解されるべきである。可動プラットフォームは車両または可動アームなど任意の可動物体であってもよい。したがって、本発明はまた、複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、異なった位置からの画像を処理して可動プラットフォームに対して環境のモデルを生成し、ロボットアームの駆動手段へ制御信号を供給して物体と係合するかまたは物体を正確に配置するプロセッサとを備える、ロボットアーム制御部に関する。したがって、本発明のこの態様によれば、基板内に物体を位置決めするといった、例えば安全な方法で持ち上げて物体を正確に置くなど物体との係合を可能にする「ピックアンドプレース」ロボットアームの制御が提供される。本発明によって、組み立てライン上で１つの部分から別の部分への物体の位置または基板での変化に対応でき、アームが確実に正しい方法で物体を持ち上げて、基板に対して物体を正確に位置づけることを確実にし、それによって事故による破損を避け、正確な整合を可能とする。
【００２９】
環境の完全な３次元モデルを開発することが、常に、または全ての操作に要求されないこともある。例えば、各位置の間で物体を移動させる自動車両、すなわち自動フォークリフトトラックを考えてみる。各位置の間、すなわち倉庫の特定の位置と積載ベイを移動する場合、車両は予め決められた命令によって移動でき、例えばレーザ案内や車載ＧＰＳなどの位置監視手段によって制御される。車両が各位置の間を移動する場合、環境の完全なモデルは要求されないこともある。それにもかかわらず、何らかの種類の近接センサが、車両の経路内の人や残がいを検出する衝突回避システムとして必要とされることもある。物体を持ち上げまたは積み上げ／配置するのに必要とされる倉庫内の位置に車両が達すると、目標領域に関する完全な情報が要求され、これにより物体が正確に持ち上げられまたは積み上げられる。したがって、本発明の別の態様によれば、２つのモードで動作可能な車両に対する移動制御手段が提供される。移動モードでは、近接センサが車両の経路内の物体を検出するよう作動し、相互作用モードでは、３次元測距手段が目標領域のモデルを生成するよう目標領域に関する距離情報を決定する。
【００３０】
したがって、移動モードでは、移動制御手段は車両が移動する経路の前方の短い距離を効率的に監視し、車両がその経路上で人または障害物と衝突しないことを保証する。簡単な近接センサ手段を用いると、その処理は極めて高速かつ簡単であり、センサはいくぶん邪魔になるかならないかである。障害物を検出する距離は、車速と衝突を防ぐ必要性とである程度決定されるが、自動フォークリフトトラックなどに対しては数十センチメートルになる。
【００３１】
車両がその目的場所、目標領域に到着すると、相互作用モードに切り替わる。このとき、３次元測距手段が目標領域のモデルを生成するために目標領域に関する距離情報を取得する。好ましくは、測距手段は、本発明の別の態様に関して上に述べた３次元撮像手段である。領域のモデルが取得されると、移動制御手段が車両を制御して、スタックの一番上のボックスを取り上げるか物体をスタック上に置くなど、所定のタスクを実行できる。目標領域の正確なモデルを生成するために、相互作用モードにおける３次元撮像手段は目標領域の複数の視点を取ることもできる。本発明の全ての実施形態および別の態様の利点は、相互作用モードにあるときの本発明のこの態様に適用できる。
【００３２】
移動モードにあるとき、障害物が検出された場合、障害物を通過する種々の方法が利用可能である。例えば、障害物が移動するかどうか（例えば、人または他の車両が邪魔にならないところに移動する）を見るために車両が停止して待機でき、あるいは、静止した障害物を通り過ぎる操縦可能な経路であるかどうかを決定するために、脇にそれるなど一連の移動パターンを有することもできる。利用可能であれば、目的地までの別のルートを利用することもできる。あるいは、移動制御システムが相互作用モードに切り替わり、障害物を通過することもできる。
【００３３】
近接センサは、予測される車速に対して十分速く、十分な距離と適用領域を含む任意のタイプの近接センサであってもよく、複数の近接センサを車両の別の部分に使用することもできる。
【００３４】
しかし、一実施形態においては、３次元撮像手段は近接センサとしても用いられる。ただし、すべての全距離情報を処理して完全な距離形状を決定する代わりに、３次元測距システムを近接センサモードで作動させて処理を簡略化し、速度を上げることができる。
【００３５】
ＰＣＴ国際公開第２００４／０４４６１９号では、先に記載したような３次元スポット投射システムに基づいた近接センサが記載されている。このような近接センサでは、投射アレイがスポットアレイを投射し、検出器がシーンの任意のスポットを検出する。検出器とシーンとの間には、検出器がシーンの一部のみを見ることができるように少なくとも１つの開口を備えるマスクがある。スポットがマスクを通して見ることが可能なシーンの一部のみに現われ、これがある距離帯に対応するように配置されている場合には、スポットは検出器のみに視認される。したがって、スポットの検出は、物体がある距離帯内にあることを意味し、スポットがない場合は、その距離帯内に何もないことを意味している。したがって、スポットの検出または別の方法により、ある距離帯内の物体の存在またはその他を極めて簡単に表示することができる。例えば、３次元撮像システムは車両の先端に取り付けられ、車両の前方領域を見るように向けられ、視認距離帯は車両の前方で予測した床面高さに対応することができる。このような配置では、車両前方の床が水平で邪魔されないため、検出器は開口を通してスポットを見る。しかし、床に穴があるか、床に物体がある場合は（実際にはスポット投射器の投射ライン内のどの場所でも）、反射スポットの距離は変わり、これによりスポットはマスクされたシーンの部分に移動する。スポットの消滅は障害物を示す。追加の３次元撮像システムを移動方向に沿って見る床面の高さで配置することもでき、または障害物がない経路ではスポットは何ら検出されないが、検出器アレイのマスクされていない部分に現われるスポットが、前方のある距離内の物体を表示するように配置することができる。
【００３６】
スポットの出現または消滅の簡単な検出は、最小の処理能力を用いて高速に決定することができる。
【００３７】
したがって、本発明は、光学経路内のマスクを検出器に着脱可能に組み込みできる３次元撮像システムを使用できる。例えば、ＬＣＤなどの空間光変調器は、全てのスポットを完全に処理することが求められる相互作用モードの透過状態と、マスクパターンが移動モードで表示される状態とを切り替えることができる。あるいは、物理的なマスクがなくてもよく、および検出器の出力を処理することによってマスクを効果的に利用してもよい。例えば、マスクに対応するビットマップパターンを検出器の出力に加えて、検出器アレイの概念上マスクされた部分からの任意の出力を除去できる。これは簡単な処理ステップであって、輝度等の機会だけに再度監視できる表示装置の概念上マスクされていない部分のみに対応する出力となる。
【００３８】
好ましくは、本発明の上述の態様のいずれかにおいても使用される３次元撮像システムは、実時間で、正確な距離情報を、シーン内に高分解能で提供する必要がある。理想的には、３次元撮像システムは小型で比較的低コストである。
【００３９】
上述のとおり、照射手段がシーンをスポットアレイで照射する。その後、検出器がシーンを見て、環境モデルを生成するプロセッサと同一であってもなくてもよいスポットプロセッサが、検出されたシーンのスポット位置を決定する。アレイ内のいずれのスポットの出現位置も視差によってある程度変化する。照射手段に対する検出器の関係は既知であるため、アレイ内の任意の既知のスポットのシーン内の位置によってその点に対する距離を得ることができる。
【００４０】
当然、スポットまでのの距離を算出できるように、アレイ内のどのスポットが考慮されているかを知る必要がある。構造化照射を使用する従来の測距システムは先に使用された単一スポットシステム（シーン内に１つのスポットのみ存在するため、容易に使用できる）を有する。システムによっては直線ビームを使用しているが、直線ビームを用いる場合であっても、ビームは一方向、すなわちｙ方向と平行になるように投射されている。その後、ｙ方向の各値に対して、シーン内の実際のｘ位置を用いて距離を決定できる。
【００４１】
しかし、２次元のスポットアレイが使用されるならば、スポットはｘおよびｙ方向の両方に分布する。したがって、当業者であれば、２次元のスポットアレイならば測距システムがどのスポットがどれかを決定することができない、したがって測距を行うことができないか、または誤ったスポットが考慮された場合に誤差に悩まされる結果が生じることを意味すると考えるため、２次元のスポットアレイを用いない傾向になるであろう。従来技術のシステムによっては、２次元のスポットアレイを投射するが、不明瞭性が起こりにくい狭い操作距離を用いるか、または既知のタイプの連続した物体を用いる例においてのみである。本発明で使用される撮像システムは、広い操作距離にわたって未知の物体の２次元シーンを同時に測距するために２次元のスポットアレイを用いることができ、スポットを決定する際に不明瞭性を避けるように種々の方法を用いる。好ましくは、用いられる３次元撮像システムは、ＰＣＴ国際公開第２００４／０４４５２５号に記載されているものである。
【００４２】
本明細書で用いられるとき、スポットアレイという用語は、シーンに投射され、明確な輝度領域を有する任意のアレイを意味するのに用いられている。一般に、スポットは高強度放射の任意の個別の領域であり、後述するように、特定の形状を有してもよい。しかし、高強度領域は、個別のスポットが識別されると、結合できる。例えば、照射手段はシーン上で交差するラインのアレイを投射してもよい。ラインの交点は、識別可能な個別の点であり、本明細書の目的のスポットであると解釈される。
【００４３】
好都合には、照射手段と検出器とは、照射アレイの各スポットが、軸に沿って、ある距離から別の距離に検出されたシーン内を移動するように現われ、投射アレイの各隣接スポットの明確な動きの軸が異なるように、配置されている。後に説明するように、アレイの各スポットは、目標に対する距離に応じてシーンの異なった点で現われる。検出器から離れてゆっくり移動する平坦な目標物を考えると、各スポットはシーンを横切って移動するよう現われる。ある特定の用途で用いられる正しく調節されたシステムにおいては、この移動は、ミラーなどが検出器または照射手段の光学経路内に配置されていないと想定すると、検出器と照射手段とを接合する軸と平行な方向にある。しかし、各スポットはこの軸と直交する方向におけるシーンの同一位置を維持する。照射手段および検出器を異なって配置すると、全体に集束ラインに沿って移動が生じる。
【００４４】
したがって、各投射スポットは、システムの操作距離内の種々の距離でシーン内の可能な位置に対応する軌跡を有していると言える。すなわち、明白な移動の軌跡は、装置の設置によって決められるように、スポットが生じる明白な移動の軸の一部である。検出されたシーン内のスポットの実際の位置が距離情報を提供する。種々の距離でのスポットの移動の明白な方向が別のスポットと同一である場合、投射アレイの異なるスポットに対応する軌跡が重なる。その場合、プロセッサは投射アレイのどのスポットが考慮されているかを決定できない。投射アレイ内で隣接するスポットの軌跡が重なる場合、特定のスポットのシーン内の位置の測定値は、可能な距離間の距離が小さい多数の様々な距離のいずれかに一致する。例えば、スポットアレイがｘ−ｙ正方格子構造におけるスポットの２次元アレイで、検出器および照射手段がｘ軸のみに沿って離れていると考える。直交座標を用いて、（０，０）を有する投射アレイ内のスポットが中心スポットであり、（１，０）がｘ軸に沿った１つのスポットであると識別すると、１つの距離における投射アレイの内の位置（０，０）にあるスポットのシーンの位置は、わずかに異なった別の距離における投射スポット（１，０）の位置、または、同じくわずかに異なった距離における投射スポット（２，０）の位置とも同一であり得る。このように、シーンの不明瞭性によって距離の決定が難しくなる。
【００４５】
しかし、検出器と照射手段とが、これらの間の軸が投射アレイのｘ軸またはｙ軸のいずれかと平行でないように配置される場合、隣接するスポットは重ならない。理想的には、投射アレイの各スポットの軌跡は任意の他のスポットの軌跡とは重ならないが、実際には、相対的に大きなスポットおよび大きなアレイではこれは起こりえない。ただし、配置が、各スポットの軌跡がアレイ内で相対的に遠く離れたスポットの軌跡としか重ならないように配置される場合、不明瞭性が依然として存在するものの、不明瞭性の程度は低減される。さらに、可能な解決策間の距離の違いがかなり大きくなると考えられる。例えば、決定された距離が、シーン内の１つの位置で検出される特定の投射スポット、すなわち（０，４）であるならば、スポットがシーン内の同一位置に現れるアレイ（５，０）内で除去されるかどうかを決定した距離と著しく異なることがある。いくつかの用途では、操作距離は、操作ウィンドウ内のスポットのシーンにおける種々の可能な位置に対応する軌跡が重ならず、不明瞭性がない距離である。操作距離によってスポットの軌跡が重なる場合であっても、距離の著しい違いによっておよその距離を予測することができ、どのスポットがどれかを、シーン内の各スポットの位置を使用して一元的に決定し、精細な距離情報を与えることができる。
【００４６】
粗い距離情報を決定する１つの便利な方法は、スポットの投射アレイが第１距離において急激に集束し、第２距離において集束せずに現れるように構成された、照射手段と検出器とを含み、第１および第２距離は装置の操作距離内にある。スポットプロセッサは、粗い距離情報を決定するために、スポットが集束するか否かを決定する。例えば、検出スポットが近距離で目標物を照射する投射スポット（０，４）または長距離で目標物を照射する投射スポット（５，０）に一致する場合、スポットプロセッサはスポットの画像を見て、スポットが集束されるか否かを決定する。照射手段と検出器とが共にスポットが長距離で集束されるように構成される場合、該当するスポットが集束したという決定は、検出スポットが長距離で目標物を照射する投射スポット（５，０）でなければならないことを意味する。集束していないスポットが検出された場合、これは、短距離の目標物から反射されたスポット（０，４）に一致する。好ましくは、スポットが集束されているかいないかを簡単に識別するために、照射手段は、集束された際に非円形の形状、例えば方形のスポットアレイを投射する。このとき、集束スポットが方形であるのに対し、非集束スポットは円形となる。当然、他の粗い測距方法を用いることもでき、スポットの大きさは粗い距離の表示として用いることもできる。
【００４７】
可能な不明瞭性を解決する追加または別の方法として、照射手段は、投射スポットの２次元アレイを周期的に変更でき、すなわちあるスポットを種々の時間でオンまたはオフできる。装置は種々のスポットアレイで周期的にシーンを照射してもよい。実際には、１つのフレームが一連のサブフレームに分割されて、サブアレイが各サブフレーム内で投射される。各サブアレイは、距離の不明瞭性がそのサブフレーム内でほとんどまたは全く存在しないようにされている。全フレームにわたって、全シーンを不明瞭性なく詳細に撮像できる。
【００４８】
別の方法は、スポットのアレイ全体でシーンを照射し、不明瞭な領域を識別することである。特定の検出されたスポットが、種々の距離において２つ以上の投射スポットに一致する場合は、１つ以上の可能な投射されたスポットの使用を止めて、不明瞭性を解決することができる。この方法はより多くの処理を要するが、迅速な測距を可能にし、測距を実行するのに最小の追加サブフレームを取得するだけでよい。
【００４９】
追加的にまたは代わりに、照射手段がスポットアレイを生成するようにでき、この場合には、少なくともいくつかの投射されたスポットがそれらの隣接するスポットに対して異なる特性を有している。異なる特性とは、色もしくは形状または両方であってもよい。スポットが異なる色または形状を有すると、同じく、検出スポットの不明瞭性が低減される。
【００５０】
種々のスポットの軌跡が重なり、シーン内のスポット位置のみに基づいてある程度の不明瞭性が存在するとしても、それらの軌跡を引き起こす投射スポットが色および／または形状の点で異なる場合には、スポットプロセッサは、どのスポットがどれかを決定することができて、不明瞭性がなくなる。したがって、検出器と照射手段とは、１つの投射スポットの軌跡が１つ以上の他の投射スポットの軌跡と重なる場合は、共通の軌跡を有する少なくとも最も近い投射スポットが異なる特性を有するように配置されていることが好ましい。
【００５１】
上述のように、本発明の好ましい実施形態は、２つ以上の視点からシーンを撮像し、距離を決定する際に多数の視点からデータを利用できる。例えば、第１の視点からのシーンで検出されたスポットに対する実際の距離には不明瞭性があってもよい。特定のスポットは第１距離で目標物から反射されたアレイ内の第１の投射スポットまたは、第２の（異なった）距離で目標物から反射されたアレイ内の第２の（異なった）投射スポットに対応してもよい。これらの可能性は、その後、他の視点からデータを見ることによって検査できる。他の視点から検出された特定のスポットは、第２の距離で目標物から反射した第２の投射スポットに対応しているが、第１の距離での目標物から反射されたアレイの第１の投射スポットに対応する第２の視点から検出されたスポットがない場合には、不明瞭性が除去され、特定のスポットが、その距離と共に識別される。追加的にまたは代わりに、ステレオ処理技術からの距離情報をスポットの識別に用いることができる。
【００５２】
上述のように、スポットは、連続したライン間の交点を含んでもよい。次に、検出器は、上述のように、ラインが交差するスポットまたは領域を位置決定することができる。好ましくは、照射手段は２組の規則的に間隔の空いたラインを投射し、２組のラインはほぼ直交している。
【００５３】
この方法で交差するラインを用いると、検出器は、上述と同じ方法で交点の位置を位置決定することができる。交点が見つけられ識別されると、接続ラインはまた、距離測定のために用いることもできる。実際には、交点を用いて投射アレイ内の種々のラインを識別し、そのように識別されると、そのライン上の全ての点を用いて距離情報を提供することができる。したがって、距離検出装置の分解能は、分離スポットのみを用いた装置よりも改善することができる。
【００５４】
好都合には、検出器は２次元ＣＣＤアレイ、すなわちＣＣＤカメラである。ＣＣＤカメラは比較的安価で、信頼性の高い部品であり、スポット決定に対して良好な解像度を有する。しかし、当業者には他の適切な検出器が明らかであり、これらにはＣＭＯＳカメラを含む。
【００５５】
好都合には、照射手段は、スポットの２次元アレイが赤外線スポットであるように構成される。赤外線放射を用いることは、スポットが可視域でシーンに影響しないことを意味する。検出器は、シーンの赤外線スポットの位置と同様にシーンの可視像を取得することができる。さらに、照射手段の波長を調整して、任意の特定の用途に適合させることができる。例えば、水中で使用される場合は、水に強く吸収されない波長、例えば青色光が用いられる。
【００５６】
検出器と照射手段との間のベースラインの長さは、システムの精度を決定する。ベースラインという用語は、当業者には理解されるとおり、検出器の視野と照射手段の視野の境界線を意味する。当業者には理解されるとおり、２つの異なった距離間のシーンの任意の特定スポットの明白な移動の度合いは、検出器と照射手段との間の境界線またはベースラインが拡大すると、高くなる。種々の距離間のシーンでのさらなる明白な移動は、距離の違いをより正確に決定できることを明らかに意味している。しかし、同様に、拡大したベースラインはまた、不明瞭性がない操作距離が低減されていることを意味する。
【００５７】
したがって、検出器と照射手段との間のベースラインは、特定の用途に応じて選択される。０．５ｍから２．０ｍの操作距離全体にわたり作動するように意図された測距装置に対しては、検出器と照射手段のベースラインは、典型的には、およそ６０ｍｍである。
【００５８】
なお、装置のベースラインは多くの場合、検出器と照射手段との間の実際の物理的な境界線であるが、これは必ずしもそうなるとは限らない。実施形態によっては、照射手段とシーンのうちの一方または両方の光学経路にミラーやビームスプリッタ等を有することができる。その場合、実際の物理的な境界線は大きいが、適切な光学部品を用いることによって、当業者に理解されるとおり、明白な境界線またはベースラインは小さいままである。例えば、照射手段はシーンを直接照射できるが、照射手段近くに配置されたミラーは、受け取った放射を検出器に向けることができる。その場合、実際の物理的な境界線は大きいが、明白な境界線、すなわちベースラインはミラーと検出器の位置、すなわち、ミラーがなくそれが同一放射を受ける場合に検出器がある位置によって決定される。当業者であれば、用語のベースラインは、検出器と照射手段との間の明白な境界線を意味する際に用いられることが理解できよう。
【００５９】
上述のように、撮像システムは２つ以上の視点から投射スポットアレイを撮像することが好ましい。したがって、検出手段は２つ以上の方向からシーンを撮像するように構成される。検出器を１つの位置から別の位置に移動して、異なった視点からのシーンを撮像するか、または、走査光学系を検出器への光学経路内に配置して、見る方向を周期的に向けなおすこともできる。しかし、これらの方法は両方とも可動部を必要とし、シーンがサブフレーム全体にわたって撮像されなければならないことを意味する。代わりに、検出器は２つの検出アレイを備えることもでき、この場合、各検出アレイは異なった方向からシーンを撮像するように配置される。実際には、２つの検出器（２台のカメラ）を用いてもよく、それぞれが異なった方向からシーンを撮像して、距離情報の量および／または質を向上させる。
【００６０】
上述のように、２つ以上の方向からシーンを撮像することによって、いくつかの利点を有することができる。明らかに、シーンの前景の物体は、ある視点からのシーンの背景にある物体を見えなくすることがある。検出器の視点を変えることによって、シーン全体の距離情報を確実に取得することができる。さらに、２つの画像間の違いを利用して、シーンに関する距離情報を提供することができる。前景の物体は、背景の物体よりも、２つの画像間に移動するように現われる。これは追加の距離情報を提供するために用いられてもよい。また、上述のように、ある視点において前景にある１つの物体は背景にある物体を見えなくするかもしれない。これを利用して相対的な距離離情報を提供できる。シーンにおける物体の相対的な移動もまた距離情報を提供できる。例えば、前景にある物体は１つの視点から他の視点に移動するシーンにおいて一方向に移動するように現われるが、背景にある物体は別の方向に移動するように現われる。したがって、プロセッサは、各視点からのシーンに画像処理アルゴリズムを適用して、そこから距離情報を決定することが好ましい。必要な画像処理アルゴリズムの種類は当業者には理解されるであろう。このようにして明らかになった距離情報を用いて、どのスポットがシーンのどれであるかの不明瞭性を除去して詳細な測距を可能にできる。したがって、本発明は、２つの画像間の違いを見て、既知のステレオ画像技術を用いてシーンに関する情報を決定し、投射スポットの位置を分析することによって収集された距離情報を増大する、処理技術を利用する。
【００６１】
ステレオ情報はさらに端部またはコーナーの検出にも用いることができる。端部が２つのスポット間にある場合、３次元測距システムは、隣接するスポットが距離の著しい違いを有することを識別し、したがってシーン内に何らかの種類の端部が存在するが、端部を正確に位置決定できない。ステレオ処理技術は２つ以上の画像内の端部によって形成された画像のコントラストの違いを見て、端部またはコーナーの位置を正確に識別することができる。
【００６２】
実際、シーン内のコーナーなどの特徴物の位置を異なる視点から画像の参照点として用いて、環境の整合性のあるモデルを構築できる。例えば、３次元撮像システムが、任意の１つのシーン内でスポット投射器に対して固定した関係で２つの検出器を備える場合には、２つの検出器とスポット投射器の位置は互いに固定され、距離情報を決定できる。しかし、全体として撮像システムが移動すると、環境モデルを生成可能にするために、最後の視点に対する新しい視点の相対的な位置が必要とされる。これは、撮像システム上の位置および方向センサによってなされるか、またはシーン自体から抽出される情報を用いてなされる。シーンのコーナーの位置が両方の視点から決定される場合、そのコーナーに対する距離情報によって視点の相対的な位置が得られる。
【００６３】
２つ以上の視点が用いられる場合には、視点は異なったベースラインを有するように適合される。上述のように、検出器と照射手段との間のベースラインは、装置の距離と不明瞭性の度合いに影響を与える。したがって、１つの視点を低いベースラインと共に用いることにより、要求された距離全体にわたるシーンに対し、相対的に低い精度であるが不明瞭でない距離を得ることができる。次に、この粗い距離情報を用いて、より大きなベースラインで、したがってより優れた精度で、視点から見たシーンから不明瞭性を除去できる。
【００６４】
追加的にまたは代わりに、２つの視点間のベースラインを選択することにより、１つの視点からのシーンで検出されたスポットが第１のセットの可能な距離のセットに対応できる場合には、別の視点から検出された同じスポットがその第１のセット内の１つの距離とのみ対応するようにできる。言い換えると、スポットが第１の視点から見たシーンで検出され、第１の距離Ｒ１において第１のスポット（１，０）と対応し、第２の距離Ｒ２において第２のスポット（２，０）と対応し、第３の距離Ｒ３において第３のスポット（３，０）と対応する等と仮定する。同じスポットは、第２の視点から見ると、可能な距離のセットを与えることもできる。すなわち、距離ｒ１ではスポット（１，０）、距離ｒ２ではスポット（２，０）等になる。２つの視点と照射手段が適切に設置され、２つののセット距離が比較されると、両方のセットに共通の１つの可能な距離のみが存在し、したがってこれは実際の距離とならなければならない。
【００６５】
３つ以上の視点が用いられる場合、少なくとも２つの視点のベースラインが種々の軸に沿って存在してもよい。例えば、１つの視点が照射手段に対して水平方向に離れ、他の視点が照射手段に対して垂直方向に離れていてもよい。２つの視点が種々の角度からシーンを集合的に撮像し、したがってシーンの前景の一部が背景の一部を覆い隠すという問題が低減される。２つの視点はまた、上述のように、任意のスポットを明白に決定することができるが、異なった軸上の視点の間隔を空けることによって、画像の後続の画像処理を補助することができる。例えば、シーンの水平方向の端部の検出が、２つの視点を確実に垂直方向に分離することによって補助できるとき、端部の検出は異なった視点で補助されてもよい。
【００６６】
一実施形態においては、撮像システムは、２つの検出器が第１軸に沿って分離された視点を有し、少なくとも第３検出器が第１軸上にはない視点で位置決めされるように配置された少なくとも３つの検出器を備えることもできる。言い換えると、検出器のうち２つの視点がｘ方向に分離され、第３のカメラの視点が最初の２つの検出器から離れている。好都合には、システムは、略直角三角形の配置で配置された３つの検出器を備えることもできる。照射手段は、好都合には、３つの検出器で矩形または方形の配置を形成してもよい。このような配置によって、シーンの良好な適用範囲を得て、異なった画像を相互に関連付けることによって投射スポットを明白に決定することができ、直交軸に沿って分離された２つの画像ペアを保証する。ステレオ画像技術を２セットの画像ペアに用いて、画像の全端部を分析することができる。
【００６７】
装置はさらに、異なった方向からシーンを照射するよう配置された複数の照射手段を備えることもできる。システムは、シーンを照射するのに用いられる照射手段を周期的に変更することもでき、１つの照射手段のみが任意の時間で用いられるか、または２つ以上の照射手段が同時に用いられてもよく、形状または色といった種々の特性を有するスポットを投射して、プロセッサがどのスポットがどの照射手段によって投射されたかを解明することができる。２つの照射手段を有することによって、２つの検出器を有する上述と同じ利益のうちのいくつかが得られる。１つの照射手段を用いると、背景の物体は前景の物体の影となり、したがって照射手段によって照射されない。したがって、距離情報を提供できないことになる。２つの照射手段を有する場合、この問題は避けられる。さらに、検出器または検出器群が種々の照射手段とは異なったベースラインで存在する場合には、同じく、異なったベースラインを用いて距離の不明瞭性を解決するのを補助できる。
【００６８】
照射手段は、理想的には、相対的に低電力源を用いて、大きな被写界深度を有する大きな規則的スポットアレイを生成する。大きな被写界深度は、広角投射であるとき、可能な距離の大きな操作ウィンドウで作用する際に必要である。すなわち、スポットは広角シーン全体にわたって均一に投射されるべきであり、シーンの小さな部分を照射するものではない。好ましくは、照射手段は、６０°から１００°の間の照射角でスポットアレイを投射する。好ましくは、被写界深度は１５０ｍｍから無限大であってもよい。
【００６９】
したがって、好ましい実施形態においては、照射手段は、光ガイドの入力面の一部を照射するよう配置された光源を備え、光ガイドは実質的に反射面を有するチューブを備え、光源の個別画像のアレイをシーンに投射するように投射光学系と共に配置されている。光ガイドは、実際には、カレイドスコープとして作動する。好ましい照射手段がＰＣＴ国際公開第２００４／０４４５２３号に記載されている。光源からの光はチューブの側面から反射され、チューブ内の多数の反射経路を通る。その結果、光源の多数の画像が生成されシーンに投射される。これにより、シーンが光源の画像アレイで照射される。したがって、光源が簡単な発光ダイオードである場合、シーンは光のスポットアレイで照射される。光ガイドであるカレイドスコープは、極めて良好な画像複写特性を与え、広角で光ガイドの入力面の画像を投射する。すなわち、多数のスポットが全方向で投射される。さらにカレイドスコープは大きな被写界深度を生成して、大きな操作ウィンドウを実現する。
【００７０】
光ガイドは実質的に反射性の壁を有するチューブを備える。好ましくは、チューブは好都合には等辺等角多角形である一定横断面積を有する。一定断面積を有することは、光源の画像アレイもまた規則的であることを意味し、これは、シーン全体をカバーし、処理を容易にすることを保証するのに有利である。正方形断面チューブが最も好ましい。一般に、光ガイドは数平方ミリメートルから数十平方ミリメートルの横断面積を有し、例えば横断面積は１ｍｍ２から５０ｍｍ２または２ｍｍ２から２５ｍｍ２にできる。上述のとおり、好ましくは、光ガイドは最長寸法数ミリメートル、すなわち１ｍｍから５ｍｍを有する一定形状横断面を有する。上記の一実施形態は一辺２ｍｍから３ｍｍの正方形断面チューブである。光ガイドは数十ミリメートルの長さを有し、光ガイドは長さ１０ｍｍから７０ｍｍであってもよい。このような光ガイドは角度５０°から１００°（通常、光ガイド内の全体内角の約２倍）全体にわたりスポットのグリッドを生成できる。被写界深度は一般に十分大きいと見られ、１５０ｍｍから無限大で作動できる。ただし、特定の用途については、光ガイドの別の配置が適する場合もある。
【００７１】
チューブは反射性内面、すなわち鏡面内壁を有する中空チューブで構成してもよい。あるいは、チューブは固体材料で製造し、チューブ材料と周囲の材料との境界面に入射する多量の光が全体内部反射されるように配置される。チューブ材料は適正な屈折率を有する被膜でコーティングされるか、または空気中で作動するように設計されてもよく、その場合には、光ガイド材料の屈折率は全体内部反射が材料と空気の境界面で生じる値でなければならない。
【００７２】
光ガイドとしてこのようなチューブを使用すれば、光源の複数画像が生成され、シーンに投射されてスポットアレイを形成することができる。光ガイドは容易に製造および組立でき、光源からの光の大部分をシーンに結合できる。したがって、発光ダイオードなどの低電力光源を使用できる。出口開口が小さいため、開口は大きい被写界深度を有し、これは広範囲の距離に分散する投射スポットを必要とする測距用途に有効である。
【００７３】
個々の光源を光ガイドの入力面近くで使用して入力面だけを照射するか、または１つ以上の光源を使用してマスクを通して光ガイドの入力面を照射するかのいずれかである。光ガイドの一部に光を通すために透過部分を有するマスクを使用することは、個別の光源を使用するより容易である。マスクの正確な位置合わせが光ガイドの入力面において必要とされるが、これはＬＥＤまたはＬＥＤアレイを正確に整列させるより容易である。
【００７４】
好ましくは、マスクを使用する場合、照射手段は光源とマスクとの間に配置されるホモジナイザを備えることにより、マスクが均等に照射されることを保証する。したがって、光源は許容レベルの輝度を提供する任意の光源であってもよく、正確な位置合わせの必要もない。あるいは大型寸法のＬＥＤを使用して、製造／調整における許容誤差を緩和できる。
【００７５】
投射光学系は投射レンズを備えることもできる。投射レンズは光ガイドの出力面に近接して配置される。光源が固体であるいくつかの実施形態においては、レンズは光ガイドに組み込むこともでき、すなわちチューブの出力面の形状を加工してレンズを形成することも可能である。
【００７６】
本発明による装置によって投射される光の全ビームは光ガイドの端部を通過し、光ガイドの端面の中心においてその点から発生すると考えることができる。次に、投射光学系は半球面レンズを備えることができ、半球面の中心が光ガイド出力面の中心に一致する場合、ビームの見掛けの起点は同一点に留まり、すなわち各投射画像が共通の投射起点を有する。この配置では、投射器は、投射器が広角度にわたり放射するビーム発生源と考えることができるため、軸を持たない。したがって、本発明の好ましい照射手段は既知の構造の光発生器と全く異なる。このように、測距装置に関して重要なことは、ビームの起点と検出器の撮像レンズの主点との間の幾何的関係である。
【００７７】
好ましくは、投射光学系は投射アレイを比較的遠い距離で集束するように構成される。これにより、遠い距離に鮮明な画像を生成し、近い距離に不鮮明な画像を生成する。上述のとおり、不鮮明さの量は、不明瞭性を解決するのに用いられるかなり粗い距離情報を与えることができる。識別精度は、光源が光ガイドの入力面を例えば正方形のような非円形形状で照射する場合には向上する。正方形の光源が使用されるか、または光源が正方形透過部分を有するマスクと共に使用されるかのいずれかである。
【００７８】
さらに不明瞭性を除去するために、光源は光ガイドの入力面を、光ガイドの反射軸まわりに非対称な形状で照射してよい。光源、あるいは光源の画像の反射軸まわりに非対称であるマスクの透過部分は、それの鏡像と異なる。投射アレイ内の隣接スポットは鏡像であり、したがって、光源またはマスクの透過部分をこのように形成することにより、隣接スポット間の識別を可能にする。
【００７９】
装置は２つ以上の光源を備えることができ、各光源は光ガイドの入力面の一部を照射するように配置される。２つ以上の光源を使用することにより、シーン内のスポット分解能を改善できる。好ましくは、２つ以上の光源が規則正しく配置される。光源は様々な配置の光源を使用して様々なスポット密度を得ることができるように配置される。例えば、単一光源を光ガイドの入力面の中心に配置して、特定のスポット密度を得ることができる。別個の２ｘ２の光源アレイをさらに入力面上に配置でき、この光源を中心光源の代わりに使用して、増加したスポット密度を得ることもできる。
【００８０】
あるいは、それぞれが光ガイドの入力面の一部を照射する複数の透過部分を有するマスクとすることもできる。複数光源を使用するのと同様の方法においては、これによりシーン内のスポット密度を増加できる。マスクは電気−光変調器を備え、これにより任意の透過部分の透過特性を変更できる。すなわち、マスクの窓を透過性から非透過性に切り替えて、投射アレイ内の特定のスポットを効果的にオン／オフに切り替えできる。
【００８１】
２つ以上の光源が使用される場合、少なくとも１つの光源は別の光源と異なる波長で光を放射するように構成される。あるいは複数の透過部分を有するマスクを使用すると、異なる透過部分が異なる波長を透過できる。異なる波長を有する光源または異なる波長で作用する透過窓を使用することは、シーンに投射されたスポットアレイが異なる波長を有し、実際には、スポットは異なる色である−当業者には、色という用語は可視スペクトル内での作用を意味するものではないことは理解されるであろう。様々な色を有することは、どのスポットが投射アレイ内のどれであるかの不明瞭性を除去するのに役立つ。
【００８２】
あるいは、少なくとも１つの光源を別の光源と異なる形状にすることもでき、好ましくは、少なくとも１つの光源は光ガイドの反射軸まわりに非対称な形状を有する。光源を成形することはアレイ内のスポット間の識別に役立ち、形状を非対称にすることは鏡像が異なることを意味し、上述の識別をさらに改善する。透過部分を適正に成形することにより、マスクを用いて同一効果を達成できる。
【００８３】
少なくとも１つの光源は光ガイド内で別の光源と異なる深さに配置される。投射アレイとカレイドスコープとの角度分離は、後に述べるように、その長さと幅の比により決定される。カレイドスコープ内に少なくとも１つの光源を配置することにより、光源に対する光ガイドの実効長さが効果的に短くなる。したがって、シーンに投射される結果としてのパターンは、様々な周期を有する２つ以上のスポットアレイを含む。この結果、スポットの重なり度合いは、各スポットを一意に識別するのに使用できるアレイの中心からの距離によって変化する。
【００８４】
ただし、当業者であれば、本発明においては、個々のスポットのアレイを投射するあらゆる照射手段を利用できることを理解されるであろう。
【００８５】
次に、以下の図面を参照して、単に例示の目的で本発明を詳しく説明する。
【発明を実施するための最良の形態】
【００８６】
本発明の移動制御センサの一実施形態は、道路車両などの車両用の駐車支援装置である。図１ａを参照すると、全体に１０４で表される駐車スペースに駐車しようとしている車１０２が示されている。この例では、スペースは駐車した車両１０６および１０８と縁石１１０とによって画定され、駐車操作は後向きで入る並列駐車操作である。しかし、本発明は、ガレージ内の駐車などの他の駐車配置にも同様に適合できる。
【００８７】
ドライバーは、車が駐車スペースを通り越して駆動できる状態に車を位置合わせし、駐車支援装置を起動する。これは車両のどちら側に該当するスペースがあるかを指示することになる。配置によっては、データ取得ステップを起動する必要がないが、これは環境の全般的な監視の一部として連続して自動的に実行できる。
【００８８】
いずれにせよ、駐車支援装置のデータ取得準備ができると、ドライバーは図１ｂに示すとおり、スペースを通り越して車を駆動する。少なくとも１つの側面を見る３次元撮像カメラユニット１１２が、車がスペースを通り越して移動するとき、車の側面からの視点の複数の画像を撮影する。イメージャの視野は１１４で示され、連続画像が駐車した車１０６、縁石１１０および駐車した車１０８の距離に関するデータを与えることが分かる。
【００８９】
駐車支援プロセッサが３次元カメラユニット１１２で取得された全データを取り込み、各データが取得されると、データ取得が開始された以後の移動量を決定することにより車の相対位置を記録する。プロセッサはＧＰＳシステムなどの位置センサを組み込むことにより移動量を測定できるが、好都合には、車輪回転を測定することによって作動する既存の車両走行距離計システムに接続するだけでよい。駐車支援装置については、駐車スペースを通過するときには車両が一般に直線的に移動するのが通常であるが、ハンドルのどのような動きも測定できる。既存の車システムはこれらの事をすでに実施する傾向にあり、したがって、駐車センサを車両に組み込むのは比較的容易である。
【００９０】
３Ｄカメラユニット１１２のプロセッサは、３Ｄカメラがスペースを横切るときに取得する距離データについて作動するだけでなく、ステレオ撮像技術を利用して様々なフレームからのデータを処理する。車が移動するとき、カメラの視点が変化し、これによりシーン内の物体が取得画像内で移動する。当業者には明らかなとおり、シーン内の物体に関する距離情報および位置情報は、ステレオ撮像技術を用いて見ることができる。物体の縁部は画像内で最大のコントラストを示し、２つの画像の間を移動することが多いため、ステレオ処理技術は物体の縁部の位置を特定するのに適する。３Ｄカメラで収集された距離情報をシーン内の物体の位置と組み合わせることで、モデルを形成できる。
【００９１】
車の移動がフレームを生成して、ステレオ処理技術を用いる水平分離により処理できる画像に枠をはめることができる。さらに垂直方向に分離された画像を見ることによりステレオ情報を提供することは有利であり、例えばこれは縁石の位置特定に役立つ。したがって、３Ｄカメラユニット１１２は２つの別個の３Ｄカメラ、または２つの検出器を有する３Ｄカメラ機構を備えることができ、両方のカメラは全体として同一方向を見るが、垂直軸方向に特定の事前定義された離間距離を有する。
【００９２】
したがって、３Ｄカメラユニットのプロセッサはシーンからの全データを取得し、ステレオ処理技術を利用してシーン内の物体の縁部を識別する。距離データはさらに、物体の識別を容易にし、物体の表面外形を完全にするために用いられる。この方法では、プロセッサは駐車スペースおよびそれに関連する車のモデルを高速で生成できる。
【００９３】
図１ｃに示されるように、車が駐車スペースを通り過ぎると、駐車支援装置は十分な情報を取得したことを表示するか、またはドライバーはデータ取得ステップが終わったことを表示できる。その後、全収集データを使用してモデルが完成される。完全なモデルが利用可能になると、プロセッサが１つ以上の駐車方法を計算する。これら駐車方法は車両のダッシュボード上の表示器により、例えば、提示される駐車方法を示す動画シーケンスでドライバーに提示され、ドライバーは必要に応じて所望のオプションを選択でき、または駐車ステップが進行すべきことを確認できる。
【００９４】
簡単な支援システムでは、次に、プロセッサがインタフェースを介して命令をドライバーに中継できる。例えば、プロセッサは一連の命令を生成でき、この命令はコンピュータ生成音声モジュールを介してドライバーに中継され、いつ後進するか、いつどのようにハンドル操作するか等をドライバーに知らせる。これは、車が右側進路にあるかどうかを示す表示器によって支援できる。
【００９５】
図１ｄの駐車ステップの間においては、プロセッサが車の移動を監視し、さらに３Ｄカメラもまた環境を観察して駐車モデルを常に高精度化する。車の後部の追加の３Ｄカメラ１１６もまた車両の後部を監視して、駐車している車両に対する車の位置２に関する詳細な情報を提供する。
【００９６】
これらセンサはさらに、環境に対する何らかの変化、例えば歩行者または動物が駐車スペースに侵入するかまたは駐車していた車の１台が動くなどの変化を監視する。この場合、適切な警告を起動することおよび／または車のすべての動きを停止することができる。
【００９７】
自動駐車システムにおいては、実際にはプロセッサが車を図１ｃに示される位置から移動させる駆動ユニットを制御し、適正な動力および必要なハンドル操作を与えることにより車両を駐車させる。ドライバーは常に解除する能力を維持するが、その必要がない場合は、車はそれ自体で駐車する−図１ｅ。再度、３Ｄカメラ１１２および１１６からのフィードバックを用いて、環境モデルおよびそれに対する車の関係を常に更新、必要に応じて駐車方法を更新する。
【００９８】
このように、本発明は駐車を支援するかまたは自動駐車を実現するのに使用できる移動制御システムを提供する。本発明はさらに、全運転状態に対する安全監視装置としても使用される。詳細には、ここでは貨物自動車および車のための死角検出が該当する。例えば、３Ｄカメラを車両の４つのコーナーすべてに配置して、車両まわりの環境の適正な全周囲有効距離を実現できる。車両の照明クラスタ内に３Ｄカメラを置くことにより、総合運転支援システムについての適正な有効範囲を得ることができる。このような運転支援システムを用いて、該当する車の前方または後方の車両に対する距離を監視し、該当する速度の適正な安全限界を超えると警告を発することができる。緊急事態においては、車両は防止手段（例えばブレーキをかける）を取り、衝突を防止するか、または車両をハンドル操作して衝突を避け、障害物が存在しないと判明した領域に移る。
【００９９】
車に関して上に説明したが、本発明は操縦を必要とし、衝突の危険があるあらゆる車両、例えば飛行場での飛行機の操縦または倉庫におけるリフト車両等における使用に利用できる。本発明によりさらに、リフト車両が物体を最適に操作する方法、例えば倉庫において積荷を搭載するパレットを持ち上げる方法および／またはそれを適切に置く方法を決定できる。本発明の同原理はロボットアーム等を案内するのに利用できる。
【０１００】
使用される３Ｄカメラは高解像度、優れた距離精度および距離のリアルタイム処理を備える小型カメラである。使用されるカメラは国際公開第２００４／０４４５２４号として公開された同時係属特許出願ＰＣＴ／ＧＢ２００３／００４８９８号に記載されたものであり、この特許出願は全内容が参照により本明細書に組み込まれる。
【０１０１】
図２は適切な３Ｄ撮像カメラを示す。２次元スポット投射器２２がシーンに向かってスポットアレイ１２を投射する。検出器６がシーン方向を見て、シーン内でスポットが存在する位置を検出する。シーン内のスポットの位置は、スポットが検出器に対して形成する角度に依存し、検出器は目標物までの距離に依存する。このように、シーン内のスポットの位置を特定することにより、距離はプロセッサ７により決定できる。
【０１０２】
本発明は２次元のスポットアレイを使用して、シーン全体から距離情報を同時に得る。２次元のスポットアレイを使用することは、図２ａに関して説明した不明瞭性問題を引き起こす可能性がある。スポット投射器２２は複数の角度分離ビーム２４ａ、２４ｂ（明瞭にするために２つだけを示す）を投射する。シーンが平坦な目標物である場合、検出器が見る画像１０はスポット１２の正方形アレイである。図２ａで明らかなとおり、シーン内の特定位置に現れるスポット、すなわち角度θ１で受け取るスポットは第１投射スポットに対応するが、ビーム２４ｂからのスポットは第１距離または第２距離における目標物８から反射または散乱され、異なる投射スポットであるビーム２４ａからのスポットは、さらに遠い距離にある目標物１４から反射または散乱される。アレイ内の各スポットは様々な距離のシーン内に軌跡を有すると考えることができる。１つのスポットの軌跡、矢印２６は他のスポットの位置と重なり、距離の不明瞭性を引き起こすことが分かる。
【０１０３】
３Ｄカメラの一実施形態は、検出器に対するスポット投射器の位置を、スポットアレイが、隣接スポットの様々な距離において検出されたシーン内の可能な位置に軌跡が重ならないように投射されるように配置することによって、この問題を回避する。したがって、図２ｂは本発明の装置の側面図を示す。検出器６およびスポット投射器２２はｙ方向ならびにｘ方向に分離していることが分かる。したがって、シーン内のスポットのｙ位置も距離により変化し、明白なスポット移動の軌跡に影響を与える。この配置は、隣接スポットの軌跡が重ならないように選択される。スポット移動の実際の軌跡は矢印２８で示される。同一効果は、投射器をそれの軸まわりに回転することにより達成できる。
【０１０４】
これを考える別の方法は、ｘ軸をそれに沿って検出器およびスポット投射器が分離する軸として、または、ミラーまたは他の方向変更光学素子を使用した場合は、少なくとも効果的な入口／出口開口として、再定義することである。ｚ軸はシーンまでの測定される距離であり、ｙ軸に直交している。したがって、検出器はシーンの２次元ｘ−ｙ画像を生成する。この座標系では検出器と投射器のｙ方向の分離はなく、したがって、投射器によりｚ−ｙ平面に特定の角度で投射されるスポットは、距離に関係なく、検出器によってその角度にあると常に受け取られ、すなわち、スポットはｘ方向に平行な方向で検出されたシーン内での移動に対してのみ現れる。したがって、アレイがｘ軸に関して、隣接スポットがｙ方向に異なる分離を有するように配置される場合、隣接スポット間に不明瞭性がない。アレイが正方形のスポットアレイである場合、これは実際には、アレイを傾斜させてアレイの軸が定義されたｘ軸、すなわち検出器およびスポット投射器を分離している軸に沿って位置しないようにすることを意味する。
【０１０５】
どのスポットがどのスポットサイズであるかの全体としての明瞭な決定のために、スポット間ギャップおよび検出器の配置は、各スポットの軌跡が他のいずれのスポットの軌跡とも重ならないようにする。しかし、識別の実際的な理由に対して、好ましくは、多数のスポットが、比較的大きなスポットサイズを有し、装置が大きい被写界深度で使用される（したがって、シーン内のスポットの大きな明白な移動）。実際にはこのとき、異なるスポットの軌跡が時には重なる場合がある。図２ｂに見られるように、投射スポット３０の軌跡は投射スポット３２と重なるため、矢印２８の線に沿ってシーン内で検出されたスポットは１つの距離で投射スポット３０に一致し、または投射スポット３２は異なる距離で一致する。しかし、２つの距離の差は大きい。用途によっては、測距システムは可能な距離の狭い範囲帯上だけに使用でき、したがって、操作ウィンドウ内では不明瞭性がない。しかし、大部分の用途については、不明瞭性を解明する必要がある。可能な距離内の差が比較的大きいため、粗い測距技法を使用して、スポットが測距システムについて考慮される不明瞭性を、一意に識別されたスポットの位置に基づいて正確な距離情報を提供する測距システムを用いて解明できる。
【０１０６】
場合によっては、連続的な平滑表面を仮定することもでき、この場合には可能な不明瞭性の一部は距離の過大なずれの理由で除去できる。
【０１０７】
一実施形態においては、スポット投射器２２は比較的長い距離で集束する正方形スポットのアレイを投射する。プロセッサが検出シーン内に正方形スポットを見る場合、これはスポットが実質的に集束し、したがって検出されたスポットが比較的長い距離にある１つでなければならないことを意味する。しかし、検出されたスポットが近い距離にある場合、スポットは実質的に集束されず、円形になる。典型的には、８００ｍｍの焦点距離である。このようにスポットの外観を利用して、粗い距離情報を提供し、スポットが高精度の距離情報を提供するのに用いられるスポット位置によって、スポットがその上で検出された不明瞭性を除去できる。
【０１０８】
検出器６は標準的な２次元ＣＣＤアレイ、例えば標準ＣＣＤカメラであるが、代わりにＣＭＯＳカメラを使用してもよい。検出器６は、シーン内のスポットおよびその位置を識別できるだけの十分な分解能を有する必要がある。検出器６は可視画像を取得し、シーン内のスポットを検出するように構成される。
【０１０９】
スポット投射器は、可視帯域で作動するカメラによって検出できる可視波長帯域でスポットを投射する。しかし、スポット投射器はスポットを他の波長、例えば赤外線または紫外線で投射してもよい。波長は特定用途のために調整することもできる。スポット投射器がシーン上に赤外線スポットを投射する場合、使用される検出器は各ピクセルグループに対し４素子を有するＣＣＤカメラである。１つの素子が赤色光を検出し、別の素子が青色光および第３素子が緑色光を検出する。システム内の第４素子が適正な波長の赤外光を検出する。このようにＲＧＢ素子からの出力を用いて、いずれのスポットからも自由に可視画像を生成し、赤外線スポットのみを実際に含む赤外素子の出力をプロセッサに供給して距離を決定する。しかし、後に述べるように、スポットが様々な波長で投射される場合は、検出器は様々な赤外波長の間で異なる必要があり、その場合、異なるカメラが望ましい。検出器は可視帯でも作用することに限定されない。例えば、熱カメラを使用することもできる。検出器が投射スポットを検出できるとすると、検出器が様々な波長を受け入れる素子を有するかどうかは問題にならない。
【０１１０】
スポット検出を容易にし、周囲光による問題を避けるために、スポット投射器は変調信号を投射するように構成される。プロセッサは変調周波数で検出された信号をフィルタに通し、信号対雑音比を改善する。この原理の最も簡単な具体化は、ストロボまたはフラッシュ照射として公知の、パルス照射を用いることである。カメラは、パルスが高い場合、１つのフレームを取得する。参照フレームは投射されたスポットなしで取り込まれる。次に、これらの輝度パターンの差は、バックグラウンド光オフセットに関して補正される。さらに、輝度パターンの正規化を可能にする、均一に照射されるＬＥＤフラッシュランプに同期するとき、第３の反射性参照フレームが収集される。
【０１１１】
適切なスポット投射器２２が図３に示される。光源３４はカレイドスコープ３６の入力面に近接して配置される。他端には簡単な投射レンズ３８が置かれる。投射レンズは図では明瞭化の目的でカレイドスコープから間隔を空けて置かれているが、通常はカレイドスコープの出力面に近接して置かれる。
【０１１２】
光源３４は赤外線放射ダイオード（ＬＥＤ）である。上述のとおり、赤外光は、投射スポットのアレイが取得される可視像と干渉する必要がなく、赤外線ＬＥＤおよび検出器が高価でないため、測距用途に有効である。しかし、当業者には明らかなように、他の用途に対しては、本発明の精神から逸脱することなく、他の波長および他の光源を使用することもできる。
【０１１３】
カレイドスコープは内面に反射性壁を有する中空チューブである。カレイドスコープは適正な剛性を備える任意の材料で作製でき、内面壁は適正な誘電体被膜でコーティングされる。しかし、当業者には明らかなように、カレイドスコープは代わりに、固い材料の棒で構成することもできる。ＬＥＤの動作波長において透過性である任意の材料、例えば透明な光学ガラスで十分である。材料は、カレイドスコープと周囲空気との境界面において、全体としてカレイドスコープ内に内部反射されるように配置される必要がある。これは、特に潜在的に屈折率の一致する接着剤／エポキシ等で接着される領域内に、追加の（銀）コーティングを用いることで達成される。大きい光投射角度が要求される場合、これは、カレイドスコープ材料を反射性材料で被覆する必要がある。理想的なカレイドスコープは１００％の反射率の完全な直線壁を有する。なお、中空カレイドスコープはそれ自体が入力および出力面を備えなくてもよいが、中空カレイドスコープへの入口および出口はこの仕様の目的のための面と考える必要がある。
【０１１４】
カレイドスコープチューブの効果は、ＬＥＤの複数画像がカレイドスコープの出力端で見えることである。
【０１１５】
装置の寸法は意図する用途に応じて調整される。ＬＥＤが光を全角９０°の円錐内に放射すると考える。非反射性の中心の片側で見られるスポットの数は、スポットがカレイドスコープ長さをその幅で割ったものに等しい。スポットサイズに対するスポット分離の比は、ＬＥＤサイズに対するカレイドスコープの幅の比で決定される。したがって、２００μｍ幅のＬＥＤおよび３０ｍｍ長さ×１ｍｍ２のカレイドスコープは、それらの幅（集束されたとき）の５倍離れた側面に６１スポットの正方形グリッドを生成する。スポット投射器は一般に数十ｍｍ長さであり、２ｍｍから５ｍｍ長さの側面を有する正方形断面、すなわち３ｍｍ２から４ｍｍ２を有する。典型的な用途においては、スポット投射器は４０×３０またはそれ以上のスポットのアレイを生成し、シーン上に投射するように設計される。４０×３０アレイはシーン内に最大１２００の距離点を生成するが、交差線の使用により最大１０，０００距離点まで可能にする２５００距離点が好ましい。
【０１１６】
投射レンズ３８はカレイドスコープの端部に配置される簡単な単一レンズであり、ＬＥＤ３４の画像アレイをシーン上に投射するように選択される。再度、投射の幾何的配置は用途および要求される被写界深度に応じて選択できるが、簡単な幾何的配置では、レンズの焦点面またはその近くにスポットアレイを置く。投射システムの被写界深度は、好ましくは大きい被写界深度を備えることにより、測距装置が大きい操作ウィンドウ内の目的物を正確に測距可能になるために、重要である。１５０ｍｍから無限大の被写界深度は達成可能であり、有効な距離の操作ウィンドウを決定可能にする。
【０１１７】
上述のとおり、ＬＥＤ３４は正方形の形状であり、投射レンズ３８は上方の予測される距離の方向のある離れた位置にスポットアレイを集束し、これによりあらゆる特定のスポットの集束度合いが粗い距離情報を生成できるようにする。
【０１１８】
上述のとおり、スポット投射器はいくつかの利点を有する。カレイドスコープは製造が容易で、安価である。ＬＥＤは安価な部品であり、カレイドスコープはＬＥＤからの光を効果的にシーンに結合するため、比較的低い電力源を使用できる。上述のとおり、スポット投射器は安価であり、適度に強固な部品であり、また測距用途に極めて有効な大きい被写界深度を与える。このように、本発明についてはカレイドスコープベースのスポット投射器が好ましい。さらに、本発明のスポット投射器は、実質的に特定の軸を持たないように配置できる。スポット投射器により放射される全光ビームはカレイドスコープの端部まで通過し、出力面の中心を通過すると考えることができる。投射レンズ３８が出力面の中心に一致するそれの回転軸を有する半球面レンズである場合、全光ビームはカレイドスコープの出力面から発生するように現れ、投射器は広角度投射器として作用する。
【０１１９】
ただし、当業者には明らかなとおり、他のスポット投射器を使用して２次元アレイを生成できる。例えば、レーザを回折素子と共に使用して、スポットアレイである回折パターンを生成できる。あるいは、光源を投射光学系および開口アレイを有するマスクと共に使用することもできる。光の個別のスポットアレイをシーンに投射できるいずれの光源も十分であるが、他の手段、例えばＬＥＤアレイ、マイクロレンズアレイ、投射マスク等により生成される被写界深度は一般に、性能が極めて限定されることが判明している。
【０１２０】
図２に示される装置は、図３のスポット投射器を使用して構成した。スポット投射器は４０×３０スポットのアレイでシーンを照射した。操作ウィンドウは６０°全角であった。スポットは１ｍの距離に集束され、測距装置は０．５ｍから２ｍの範囲で良好に作動した。検出器は３０８キロピクセル（ＶＧＡ）ＣＣＤカメラであった。シーン内の様々な物体までの距離は、範囲の中央で０．５ｍｍの精度で測定された。
【０１２１】
上述のとおり、装置を使用して距離データを生成する前に、最初に装置を校正する必要がある。原理的には、校正はシステムの幾何的配置から開始できる。実際には、手動校正を実行するのがより好都合である。これは構造の不完全性を許容し、良好な結果を容易に生成できる。
【０１２２】
校正後、システムは距離を決定する準備が整う。距離の算出アルゴリズムは基本的な４つの段階からなる。
１ 画像を正規化する
２ 画像内のスポットの位置を特定する
３ スポットを識別する
４ 距離データを計算する
【０１２３】
正規化
カメラはフィルタを通してカレイドスコープからの光だけを選択するため、画像内には極めて小さいレベルのバックグラウンド光しか存在しない。したがって、局所的バックグラウンドに比較して明るいあらゆる領域は、スポットであると合理的に予測される。しかし、さまざまなスポットの相対的明るさは、距離、位置および目標物の反射率に応じて変化する。したがって、第１ステップとしては、好都合には、画像を正規化して不要なバックグラウンドを除去し、スポットを強調することである。
【０１２４】
正規化手順は、各ピクセルの近傍における「平均」輝度を計算し、ピクセルにおける信号をそれの局所平均で割り、その後１を減算することからなる。この校正結果がゼロより小さくなる場合、その結果はゼロに設定される。
【０１２５】
スポット位置の特定
スポット位置の特定は２つの部分からなる。第１はスポットを検出することである。第２はその中心を決定することである。スポット検出ルーチンは正規化された画像の２つのコピーを維持する。１つのコピー（画像Ａ）は多数のスポットが検出されると変更される。他方のコピー（画像Ｂ）は固定され、各スポットの中心の位置特定に使用される。
【０１２６】
正規化された画像内のすべての明るい特徴物がスポットであると仮定すると、スポットは画像内のすべての明るい領域の位置を特定することにより容易に検出できる。第１のスポットが画像Ａ内の最も明るい点の近くにあると仮定される。この点の座標を用いて、スポットの中心とスポットサイズの推定値を決定する（以下を参照）。次に、スポット中心まわりの領域の輝度（推定されたスポットサイズに基づく）は画像Ａ内でゼロに設定される。次に、画像Ａ内の最も明るい残りの点を用いて、次のスポットを検出し、これを同様に繰り返す。
【０１２７】
上述のスポット検出アルゴリズムは特別な条件が課されるまで、無条件にスポットを検出する。３つの条件が特定されており、これらを用いてルーチンを終了する。ルーチンは、これら条件のいずれかに一致すると終了する。第１の条件は検出されたスポット数がある一定値を超えてはならないことである。第２条件は、ルーチンが同一スポットを繰り返し検出してはならないことである。これはいくつかの照射条件の下で発生することがある。第３条件は、画像Ａ内に残っている最も明るい点の輝度が所定のしきい値より小さくなることである。この条件は、ルーチンが画像雑音内で誤ったスポットを検出することを防止する。通常、輝度のしきい値は、画像Ｂ内の最も明るいスポットの輝度の数分の１（一般に２０％）に設定される。
【０１２８】
各スポットの中心は、スポット検出ルーチンによって開始点と決定された位置を用いて、画像Ｂから検出される。部分画像が、その点に中心を有する画像Ｂから取られる。部分画像のサイズはスポットのサイズよりわずかに大きいサイズが選択される。部分画像は、各列内の輝度値を加えることによって１次元アレイに低減される。次に、アレイ（またはそれの導関数）とガウス関数（またはそれの導関数）との相関を求め、相関のピーク（ピクセルの一部に補間される）が水平方向におけるスポットの中心として定義される。直交方向におけるスポットの中心は、同様な方法で、列の代わりに部分画像内の行を加算することにより見出すことができる。
【０１２９】
上記手順により決定されたスポットの中心が開始点から離れた３つ以上のピクセルである場合、この手順は、計算された中心を新しい開始点として用いて繰り返す必要がある。計算は、計算された位置が変化せずに留まるまで、あるいは繰返しの最大数に達するまで続行される。これは最も明るい点がスポットの中心にない可能性を許容する。繰返しの最大数（一般に５）を用いて、ルーチンが小さい領域をハンチングすることを防止する。スポットが連続フレーム間を大きく離れて移動しない場合は、この繰返し方法によりさらに、物体に対する距離が変化するとき、スポットを追跡できる。この特徴は校正において有益である。
【０１３０】
スポットの中心を検出すると、しきい値（一般に、部分画像内の最も明るいピクセルの１０％）より大きい輝度を有する部分画像内のピクセル数が数えられる。スポットサイズはこの数の平方根として定義され、追加の粗い距離情報に使用されてよい。
【０１３１】
スポット位置特定手順の結果は（ａ，ｂ）座標のリストであり、各々それぞれのスポットを表す。
【０１３２】
スポットの識別
スポットの識別が決定されると、各スポットに対する距離を計算できる。スポット識別の最も簡単な方法は、スポットから各スポット軌跡までの距離を順に決定し、所定の距離（一般に、正確に校正されたシステムにおいては１ピクセルより小さい）の外側にあるこれらの軌跡を削除することである。この方法は、スポットおよび軌跡が多数ある場合は時間を要する。より効率的な方法はスポットの識別子を計算し、それを様々な軌跡の識別子と比較することである。軌跡の識別子は事前分類できるため、探索はより高速で実行できる。識別子は校正ルーチンと同じ方法で計算される。
【０１３３】
候補となる軌跡が識別されると、その軌跡に沿ったスポットの位置を考慮する必要がある。可能な距離の範囲が限定される場合、（例えば、１５０ｍｍより近いか、または２５００ｍｍより遠い）、計算された距離が可能な境界の外側にあるため、多数の候補のトラックが削除される。正しく調整されたシステムでは、多くても２つの軌跡が残るであろう。１つの軌跡は短い距離に対応し、他方は長い距離に対応する。
【０１３４】
最終テストは該当するスポットの形状を検査することである。上述のとおり、投射器２２は長い距離において集束し、短い距離においては不明瞭になるスポットを生成する。投射器内のＬＥＤが認知できる形状（例えば正方形）を有する場合、スポットは短い距離において円形であり、長い距離では本来の形状になる。これはあらゆる距離不明瞭性を除去する。
【０１３５】
識別されずに残るスポットはいずれも、シーン内の光の不要な点を除き、スポットではないと予測される。
【０１３６】
距離計算
スポットが識別されると、その距離を計算できる。シーンの確実な３次元表示を生成するために、ｘおよびｙ座標を計算することも必要である。これらはカメラ特性から簡単に導き出すことができる。例えば、ピクセル間隔ｐを有する焦点距離ｆのカメラレンズについては、ｘおよびｙ座標は以下の簡単な式で与えられる。
ｘ＝ｚａｐ／ｆ、ｙ＝ｚｂｐ／ｆ
ここでａおよびｂはピクセル座標で測定される。
【０１３７】
上述の実施形態では、可能なスポット間で最小の不明瞭性を有し、集束を利用して不明瞭性を解明するように調整した。ただし、別の手段を使用して不明瞭性を解明することもできる。本発明の一実施形態においては、装置は図３に関して全体を述べたスポット投射器を含むが、この場合の光源は隣接スポット間の識別を可能にする形状とされる。光源が適切な反射軸まわりに対称である場合、システムにより生成されたスポットは実質的に同一である。ただし、非対称な形状の光源が使用される場合、隣接するスポットは相互に識別可能な鏡像となる。この原理は図４に示されている。
【０１３８】
構成された光発生器２２は正方形断面を有する透明な光学ガラスの固いチューブ５６を含む。成形されたＬＥＤ５４は１つの面に置かれる。チューブ５６の他端は半球面投射レンズ５８の形状とされる。したがって、カレイドスコープ５６およびレンズ５８は一体とされ、光学効率を向上し、単一モールドステップを採用できるため製造を容易にする。あるいは平坦な出力面を有する中実なカレイドスコープの端部に、個別レンズを光学的に接着することもできる。
【０１３９】
説明の目的のため、ＬＥＤ５４はカレイドスコープの１つのコーナー、この説明では右上を指す矢印で示されている。スクリーン６０上に形成された画像が示されている。ＬＥＤの中心画像６２は、反射されないスポットに対応して形成され、右上を指す矢印を有する。なお、実際には、簡単な投射レンズが反転画像を投射し、したがって、形成される画像は実際には反転している。ただし、画像は説明目的のために反転せずに示されている。中心スポットの上下の画像６４は一度反射されたものであり、したがってｘ軸まわりの鏡像であり、すなわち矢印が右下を指す。ただし、上下の次の画像６６はｘ軸まわりに２度反射されたものであり、したがって、中心画像と同一である。同様に、中心画像の左右の画像６８はｙ軸まわりに一度反射されたものであり、したがって、矢印は左上を指して示されている。中心スポットに対角で隣接する画像７０は、ｘ軸まわりに一度反射され、およびｙ軸まわりに一度反射されたものであり、したがって、矢印は左下を指して示されている。このように、検出された画像の矢印の方向はどのスポットが検出されたかを示す。この方法により、隣接スポット間の識別が可能になるが、後続のスポットは識別できない。
【０１４０】
別の実施形態においては、２つ以上の光源が使用される。光源を使用して、シーン内のスポット密度に関する可変分解能を与えるか、またはスポット間の識別を支援するか、あるいはその両方が可能になる。
【０１４１】
例えば、２つ以上のＬＥＤが使用され、各ＬＥＤが異なる色であった場合、シーンに向かって投射されるパターンは異なる色のスポットを有する。当業者には明らかなことであるが、ここで用いる色という用語は可視スペクトル内での異なる波長を必ずしも意味するものではなく、単に、ＬＥＤが識別できる波長を有することを意味する。
【０１４２】
カレイドスコープに入力面上のＬＥＤの配置は、投射されるスポットアレイに影響を与え、規則的配置が好ましい。規則的なアレイを形成するために、ＬＥＤは相互に一定の間隔を空け、ＬＥＤからカレイドスコープの縁部までの距離はＬＥＤ間の分離距離の半分でなければならない。
【０１４３】
別の実施形態においては、ＬＥＤの配置を利用して様々なスポット密度を得ることができる。例えば、１３個のＬＥＤを正方形断面のカレイドスコープに入力面に配置してよい。ＬＥＤのうちの９個は、入力面の中央に中心を有する中央のＬＥＤを含む規則的な３×３正方形グリッドパターンに配置される。残りの４個のＬＥＤは、規則的な２×２グリッドを得るように配置される。このように構成された光発生器は３つのモードで作動できる。中心ＬＥＤはそれ自体で作動でき、上述のとおり規則的なスポットアレイを投射するか、または複数ＬＥＤが作動できる。例えば、２×２配列に配置された４個のＬＥＤを照射して、中心ＬＥＤ単体で生成されるスポットの４倍のアレイを得ることができる。
【０１４４】
様々なＬＥＤ配置が様々な距離において使用できる。シーンを照射するために使用されるとき、目標物が近い距離にある場合は、ＬＥＤ単体は十分な数のスポットを生成して識別を可能にする。しかし、中間または長い距離では、スポット密度は許容レベルより小さくなり、その場合、２×２または３×３アレイを使用してスポット密度を大きくできる。上述のとおり、ＬＥＤを様々な色にして、異なるスポット間の識別を向上させることができる。
【０１４５】
複数の光源を使用する場合、光源の形状および色を適切に選択することにより、識別をさらに向上させることができる。
【０１４６】
複数の光源を使用する場合、光源を独立にオンおよびオフに切り替えるように構成して、識別をさらに容易にすることができる。例えば、上述のように配置された複数のＬＥＤは、各ＬＥＤを順に起動するように使用できる。あるいは、アレイを全体に全ＬＥＤが照射される状態で作動できる、プロセッサからの制御信号に応答して、ある程度の不明瞭性を利用していくつかのＬＥＤをオンまたはオフにできる。
【０１４７】
成形されたＬＥＤまたは複数のＬＥＤあるいは様々な色を使用する上述の実施形態のすべては、検出器およびスポット投射器の適正な配置と組み合わせて、スポット軌跡が別のスポットと重なり、その軌跡上の隣接スポットが異なる特性を有するようにできる。例えば、図２ｂを再度参照すると、配置は、スポット３０の軌跡がスポット３２と重なる、すなわち図のスポット３２の位置で検出されたスポットは、第１の距離にある目標物から反射された投射スポット３２、または異なる距離にある目標物から反射された投射スポット３０に一致することが分かる。さらに、図５のスポット投射器を使用した場合を考える。投射スポット３０が右上を指す矢印であった場合、投射スポット３２は、アレイ内のそれの位置の正しさ以外、左上を指す矢印であることが分かる。このように、どのスポットがどれで矢印の方向として、どのスポットが監視されたかを示すかが明確である。
【０１４８】
スポット投射器の別の実施形態では、光源はマスクを通してカレイドスコープを照射する。カレイドスコープと投射レンズは上述のものと同一であってもよいが、光源はホモジナイザを通してマスクを照射するように配置された高輝度ＬＥＤ光源である。ホモジナイザは単に、マスクの均一な照射を保証するように作用するだけであり、したがって、簡単で比較的安価なプラスチックのライトパイプであってもよい。あるいは、少し正確さを欠いて配置される、より大きいＬＥＤは、効果的でコストを抑える解決策になり得る。
【０１４９】
マスクは複数の透過部分、すなわち窓を有するように構成され、これによりＬＥＤからの光の一部だけがカレイドスコープに入力面に入射する。マスクの各開口は、上述と同様に、個別の光源として作用し、したがって、カレイドスコープはマスクの開口の画像を複製し、シーン上にスポットアレイを投射する。
【０１５０】
マスクは、小型ＬＥＤを必要とするＬＥＤアレイに比べて容易に、カレイドスコープに対して正確に位置合わせして作製できる。したがって、スポット投射器の製造はマスクを使用することにより簡単化される。マスクの透過部分の形状は、上述の成形された光源として作用する形状とされる。したがって、マスクにより様々な形状のスポットアレイを投射でき、マスクの透過部分の形状は成形光源を提供するより容易である。
【０１５１】
さらに、マスクの様々な透過部分は様々な波長を透過できる。すなわち窓は様々な色フィルタを有することができる。
【０１５２】
透過窓のいくつかは変調可能な透過特性を有することができ、例えば、マスクは電気−光変調器を備えることができる。次に、マスクの特定の窓を透過性から非透過性に切り替えて、投射アレイ内の特定のスポットをオフにできる。これを上述の種々のアレイと同様に使用して、様々なスポット密度を得るか、あるいはアレイ内の特定のスポットをオフにして起こりうる不明瞭性を解決できる。
【０１５３】
別の実施形態においては、光源はカレイドスコープ内の様々な深さに配置される。カレイドスコープからの隣接ビームの角度分離は、上述のとおり、カレイドスコープの長さと幅の比に依存する。例えば、カレイドスコープチューブは２つの材料から形成される。第１のＬＥＤは、上述のとおり、カレイドスコープの入力面に置かれる。第２のＬＥＤはカレイドスコープ内の異なる深さの、カレイドスコープの２つの部分の間に置かれる。カレイドスコープの２つの部分を接合して最大効率を得る方法、および第２のＬＥＤを２つの部分の間に位置する方法は、当業者には明らかである。
【０１５４】
結果としてのパターンは異なる間隔を有する２つのグリッドを含み、グリッドは第１のＬＥＤに対応するグリッドを部分的に覆う第２のＬＥＤに対応する。２つのスポット間の分離度合いは中心スポットからの距離によって変化する。次に、２つのグリッドの分離度合いまたはずれを利用して、スポットを一意に識別できる。上述のように、識別を改善するため、ＬＥＤは異なる色であってよい。
【０１５５】
なお、スポットという用語は識別可能な光の点を意味すると理解されるべきである。スポットは光の完全な分離領域に限定するものではない。例えば、十字型ＬＥＤをカレイドスコープの入力面上に使用できる。ＬＥＤはカレイドスコープの側壁まで延び、したがって、投射パターンは連続ラインのグリッドとなる。ラインの交点は識別可能な領域またはスポットを提供し、このスポットにより位置特定でき、上述と同様に距離を決定できる。
【０１５６】
交点までの距離が決定されると、その交点を通るライン上の任意の点までの距離は、交点から得られた情報を用いて決定できる。したがって、システムの分解能は極めて大きい。図１０に示されるＬＥＤ配置以外は上述と同一の４０×３０投射システムを使用すると、遠方距離点を有するシステムに対して識別できる１２００の交点が生じる。このように、装置をプロセッサと共に使用して、各交点を識別し、交点までの距離を決定し、接続ライン上の各点までの距離を算出できる。あるいは、十字型ＬＥＤは個別に照射される個別の中心部分を備えることができる。中心ＬＥＤ部分を照射することにより、先に述べたのと同様に、スポットアレイが投射される。各スポットまでの距離が決定されると、十字型ＬＥＤの残りのＬＥＤをオンにでき、接続ライン上の種々の点までの距離が決定される。最初に中心部分だけを照射することにより、投射スポットの形状に基づいて不明瞭性をより容易に解決できる。マスクを備えるスポット投射器を使用してラインの交差アレイを生成できる。
【０１５７】
上述のとおり、２つの異なる視点からシーンを見ることは有益である。図５は２つのＣＣＤカメラ６、１０６を使用してシーンを見るシステムを示す。スポット投射器２２は上述のスポット投射器のいずれでもよく、規則的なスポットアレイまたは十字型を投射する。ＣＣＤカメラ６は図２に関して先の延べたカメラと同一である。カメラ６と同一の第２カメラ１０６も備える。ビームスプリッタ１０４が、シーンからの光の一部をカメラ６に通過させ、一部の光をカメラ１０６に反射するように配置される。ビームスプリッタ１０４に対するカメラ１０６の配置は、２つのカメラの実際位置に小さな差１０８ができるように配置される。したがって、各カメラはわずかに異なるシーンを見る。カメラの位置が十分に離れている場合、ビームスプリッタ１０４は省略することができ、両カメラはシーンを直接見るような向きとなるが、部品サイズおよび所望の間隔はこのような配置を可能としない。
【０１５８】
次に、カメラ６からの出力を用いて、上述のとおり、シーンまでの距離を計算できる。また、カメラ１０６を使用してシーンまでの距離を計算できる。各カメラの出力は、上述のように、検出スポットが様々な距離における多数の可能な投射スポットのうちいずれか１つに一致する点で不明瞭である。しかし、２つのカメラが異なる間隔位置にあるため、各検出スポットについて計算された可能な距離のセットは変化する。したがって、あらゆる検出スポットに対して、単一の可能な距離、実際の距離は各カメラについて計算されたセットに共通である。
【０１５９】
カメラ６が、スポット投射器からの極めて小さいベースライン、すなわち視野の境界線で配置されると、様々な距離におけるシーン内のスポットの可能な位置の対応する軌跡は小さい。再度図２ａを参照すると、検出器６からスポット投射器２２までの分離が小さい場合、様々な距離におけるスポットのシーン内の明白な移動は大きくないことが分かる。したがって、軌跡は小さく、操作ウィンドウ内の異なるスポットの軌跡間の重なりは存在しない、すなわち不明瞭性がない。しかし、可能な位置の限定された軌跡は、システムが移動の度合いの大きいシステムと同等の精度を持たないことを意味する。妥当な精度および距離を有するシステムについては、約６０ｍｍのベースラインが一般的である。次に図９を参照すると、カメラ６がスポット投射器のサイトのライン近くに配置されている場合、カメラ６の出力は不明瞭ではないが、測定精度が低い。しかし、カメラ１０６をスポット投射器２２から適切なベースラインに配置して、高精度の結果を得ることができる。カメラ６の出力からの精度の低い読みを用いて、カメラ１０６からの読みのあらゆる不明瞭性を解明できる。
【０１６０】
あるいは、２つのカメラからの出力を用いて、粗い距離値を得ることができる。配置がカメラ間のベースラインが小さい、すなわち約２ｍｍとなるようになされる場合、２つのカメラのスポットの検出位置の差を用いて、距離の粗い推定値を得ることができる。しかし、いずれかのカメラと投射器との間のベースラインは大きくてもよい。この構成の利点は、２つのカメラが極めて小さい差で画像を見ることである。投射器に対するカメラの配置は、再生したスポットと格納されたガウス強度分布との相関を求めてスポット位置を決定し、スポット位置の測定値を最適化する必要がある。これは妥当であるが、スポットサイズが距離と共に変化し、反射率がスポット全体にわたり変化する可能性があるため、完全に一致することはない。目標物の表面傾斜も識別できる形状に影響を与える。カメラトゥカメラ（ｃａｍｅｒａ ｔｏ ｃａｍｅｒａ）システムでは、２つの視点から同一の、おそらく歪んだスポットを見ることとなり、これは相関が常に完全一致に近いことを意味する。不明瞭性を完全に除去するためまたは情報を追加するために追加カメラチャネルを備えるこの原理により、カメラを用いて略直交のベースラインを生成し、および／または３つのセットとして、２つの直交ステレオシステムを生成できる利点を実現できる。特徴検出ステレオ／３眼カメラを有するスポット投射３Ｄカメラの組み合わせは、強力な組み合わせを実現できる。
【０１６１】
いくつかの用途のため、あるいはいくつかの作動モードにおいて、シーンに関する完全な距離情報は必要でなく、必要とされることのすべては近接警告である。この場合には、上述の３Ｄカメラを、あらゆる強調処理を必要とせずに使用して、環境モデルを形成できる。特定の距離限界内にある物体に関して単に警告を与えるだけで十分である。例えば、衝突を防止するための、例えば航空機の翼先端のための簡単なセンサとして、本発明の３Ｄカメラを使用し、最近傍物体までの距離を単に示すか、または物体が翼先端に近付く場合に表示、例えば距離に応じた周波数で可聴ブリープ警告を与えるだけで十分である。この場合、プロセッサは単に距離を決定し、最も近い距離の表示を与えるか、または特定のしきい値距離に基づいて警告信号を発生するように構成される。あるいは、３Ｄカメラは２つのモードで作動可能なシステムの一部として使用できる。２つのモードのうちの単純移動モードでは、必要とされることのすべては衝突回避タイプ情報であり、対話モードでは、環境との対話、例えば物体の操作を可能にするために、完全な３Ｄ情報が必要とされる。
【０１６２】
簡単な近接センサが必要とされる場合、上述の３Ｄカメラ技術の変形形態を利用できる。この変形形態は、図２に示されるのと同様の小型スポット投射器と検出器とを有するが、マスクが検出器の前面に置かれている。マスクは開口を有し、検出器が特定距離にあるスポットだけを見ることができることを保証する。図２ａに示されるとおり、シーン内のスポットは、様々な距離としてシーン内の様々な位置に現れる。マスクの開口の位置は、スポットが開口内に現れるように配置され、これにより、特定の距離にある目標物から反射されるとき、検出器に対して現れるようにすることができる。したがって、単なるスポットの存在は距離ブラケットの表示を与え、したがって、距離しきい値情報が処理の必要なく得られる。図２のこのようなプロセッサ７は簡単なしきい値検出器と置き換えできる。このタイプの近接センサは国際公開第２００４／０４４６１９号として公開された同時係属特許出願ＰＣＴ／ＧＢ２００３／００４８６１号に記載されている。より汎用性の高い方法は、実際には物理的マスクの存在を必要としない。バイナリマスクをプログラムして、検出器出力によるビットマップ画像出力を乗算して同一効果を生成できる。乗算は極めて簡単なステップであり、最小処理を必要とし、その結果にはさらに極めて簡単な処理を加えることができる。この仕様の目的のために、マスクは検出器出力に加えられる物理的光学バリヤまたは架空マスクを意味すると取られる。
【０１６３】
距離の複数グループ間の識別を可能にするマスクが図６に示されている。マスクは開口アレイを有する不透明材料のシート４４である。明瞭化のために４つの開口５６ａから５６ｄが示されているが、実際には、マスクはこれら開口グループの繰返しにより形成されてよい。開口のサイズおよび形状は、各開口が所定の距離において目標物から反射されるスポットを示すようにされる。しかし、開口は様々なサイズであり、変化する距離に伴いシーン内のスポットの視覚的な移動の方向にそれぞれの量で広がっている。図６ａから図６ｅは、順次近い距離において目標物から反射された投射アレイ内の４つのスポット５８ａから５８ｄの位置を示す。
【０１６４】
図６ａでは、目標物が離れた位置にあり、スポット５８ａから５８ｄは開口を通して見えない。しかし、目標物が近付くと、スポット５８ａは開口５６ａを通して見えるようになる。しかし、他のスポット５８ｂから５８ｄは他の開口を通して見えない。図５ｃにおいて、目標物がさらに近付くと、スポット５８ａおよび５８ｂはそれぞれの開口５６ａおよび５６ｂを通して見えるようになるが、他の２つのスポットはなおも見えない。図６ｄおよび図６ｅは目標物がさらに近付くとき、スポット５８ｃがスポット５８ｄに続いて見えるようになる。
【０１６５】
したがって、目標物が近付くとき、検出器は、スポットが見えないか、または１、２、３または４つのスポットが見える状態に対応する、５つの個別の輝度レベルを見ることが分かる。したがって、様々な輝度レベルを用いて、目標物が特定の距離境界線内にあることを表示できる。なお、識別しきい値レベルを使用して距離を決定するこの実施形態は、一般に、目標物が標準反射率であることが既知で、全距離において視野全体を満たす場合にのみ適する。目標物が様々なサイズである場合、小さい目標物は大きい目標物と異なる輝度を生成し、さらに反射性の目標物は小さい反射性の目標物より大きい輝度を生成する。
【０１６６】
目標物の一貫性が既知でない場合、複数の検出器を使用でき、各検出器はマスクを有し、マスクは、様々な距離でスポットから反射または散乱される光を通すように配置された。すなわち、各検出器は単一比較を有して、物体が特定距離内にあるが、各検出器に対する距離が異なるかどうかを決定する。
【０１６７】
あるいは、図６に関して述べた実施形態は、どのスポットが検出器の全体輝度に寄与しているかを決定する手段において使用できた。これは、シーン内に存在するスポットを変調することにより達成できる。例えば、図６ａから図６ｅの４つのスポットのそれぞれは異なる変調周波数で伝播したと考える。次に、検出器からの信号は最大４つの異なる周波数成分を有する。次に、検出信号を各周波数成分について順に処理し、対応する開口グループを通過する信号があるかどうか決定した。言い換えると、スポット５８ａを周波数ｆ１で変調した場合、ｆ１における検出信号中の信号成分の識別は、目標物が十分近く、スポットが開口５６ａ内に現れることを示す。スポット５８ｂに対応する周波数成分ｆ２が存在しないことは、図６ｂに示される状態が適合することを意味する。このように、これが距離を表す該当する周波数成分の検出であるため、物体の大小、反射性の有無に無関係に検出できた。
【０１６８】
図３に示されるスポット投射器を使用してこのような変調出力を生成することは、単一ＬＥＤ３４を各々が異なる周波数で変調される４つのＬＥＤ列に置き換えることを含む。このように周波数を変調することにより、距離識別精度が向上するが、各スポットが可能な距離の１つに使用できるだけであるため、シーンに対する有効範囲の密度を低減させる。あるいは、カレイドスコープへの入力のために入力マスクを使用する場合、マスクは複数の窓を備えることができ、各窓は異なる周波数で作動する変調器を備える。
【０１６９】
図７は、２つの３Ｄカメラを搭載したフォークリフトトラック７０を示す。第１カメラ７２はトラックの上部に取り付けられ、トラックの前方を見るように方向付けされている。第２カメラ７４は前方を見るトラックのベースに向けて取り付けられている。フォークリフトトラックは自動化され、トラックを２つのモードで操作できるコントローラ７６により制御される。
【０１７０】
第１モードは移動モードであり、トラックを１つの指定された位置から別の位置に移動するために使用され、例えば、倉庫からの特定の品物が必要とされる場合、信号をトラックに送り、品物を取って、それを積載ベイに置く。次に、コントローラはトラックを現在位置から必要とされる品物が保管されている倉庫の領域に誘導する。移動モードでは、トラックは障害物がないと予測される通路に沿って倉庫内に移動する。トラックは倉庫の内部地図および位置探査装置を備えてよく、これにより、コントローラがトラックを指定された位置に移動するのを制御できる。したがって、環境の詳細な３次元モデルは必要とされない。しかし、トラック経路内の人を検知するため、または落下したクレートなどの障害物を検知するために、上述のとおり、３次元カメラが近接センサモードで作動して、予想される障害物をすばやく識別できる。移動モードでは、上部に装着されたカメラ７２がたマスク（出力に適用されたバイナリマスク）を適用し、これによりトラックの前方の床レベルから反射されたスポットがマスクの開口内に現れる。床レベルの重大なずれまたは投射スポットの経路内の障害物は、反射スポットをシーンのマスクされた部分に移動させ、輝度変化が検出できる。下方のカメラ７４はマスクされ、障害物のない経路では、スポットは見えないが、物体がトラックの０．５ｍ以内にあると、スポットがマスクされない領域に現れる。これは輝度の単純な変化により検出できる。
【０１７１】
トラックがその位置に到達すると、コントローラは対話モードに切り替わり、マスクはこれ以上２つのカメラの出力に適用されず、シーンの完全な処理が適用される。各カメラ７２、７４はスポット投射器と水平軸に沿って間隔を空けた２つの検出器とを備えることにより、３次元距離測定およびステレオ処理技術を適用可能にする。２つのカメラの垂直分離により、垂直方向のステレオ処理を可能にする。目標物体の縁部およびパレットの穴などの特徴物を識別できる。必要な場合は、コントローラはトラックを、目標領域を通り過ぎて移動させ、別の視点を与えてモデルを完成させることができる。モデルが完成すると、コントローラはトラックのフォークを右上に設定し、トラックを操縦して物体に差し入れ、それを持ち上げる。物体が安全に上方のプラットフォーム上にあると、コントローラは移動モードに切り替わり、トラックを積載領域に移動させる。
【０１７２】
積載領域では、コントローラは再度対話モードに切り替わり、領域のモデルを取得して、最初の命令に従って物体を置く。
【０１７３】
移動モードにおいて、進行中に障害物に出会うと、コントローラは種々の手法を利用する。トラックを停止させ、可聴警告を発し、短時間待機して障害物が移動したかどうかを見る−すなわち、人が経路から外に移動する−この場合、トラックは走行を続行できる。障害物が移動しない場合、それは障害物であると仮定する。この場合、トラックは通告信号を制御室に送り、行き先までの別のルートを決定するか、または対話モードに切り替えて障害物をモデル化することにより、障害物を通り過ぎるルートが存在するかどうかを決定する。
【図面の簡単な説明】
【０１７４】
【図１ａ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｂ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｃ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｄ】本発明を駐車支援装置に利用する方法の図を示す。
【図１ｅ】本発明を駐車支援装置に利用する方法の図を示す。
【図２ａ】本発明で使用される３Ｄカメラを示す。
【図２ｂ】本発明で使用される３Ｄカメラを示す。
【図３】図２に示す３Ｄカメラで使用される照射手段を示す。
【図４】別の照射手段を示す。
【図５】２つの検出器視点を有する３Ｄカメラを示す。
【図６ａ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｂ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｃ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｄ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図６ｅ】簡単な近接センサまたは光バンパーを形成するために３Ｄカメラ技術の別の形態において使用できるマスクを示す。
【図７】本発明の制御システムを備えるフォークリフトトラックを示す。
【特許請求の範囲】
【請求項１】
環境を撮像する少なくとも１つの３次元撮像装置と、画像を分析するためのプロセッサとを備えることにより、環境のモデルを生成し、生成されたモデルに基づいて移動制御信号を生成する、移動制御システムであって、
３次元撮像装置が、光スポットの投射２次元アレイでシーンを照射する照射手段と、シーン内のスポット位置を検出する検出器と、シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサとを備える、移動制御システム。
【請求項２】
車両に適用されるように構成される、請求項１に記載の移動制御システム。
【請求項３】
少なくとも１つの３次元撮像装置が複数の種々な位置において環境の３次元画像を取得し、プロセッサが環境モデルを生成するために様々な位置からの画像を処理するように構成される、請求項１または２に記載の移動制御システム。
【請求項４】
３次元撮像装置が少なくとも２つの検出器を有し、各検出器が異なる位置からシーンの画像を取得する、請求項１から３のいずれか一項に記載の移動制御システム。
【請求項５】
様々な位置において取得される画像を提供するために、車両上の様々な位置に配置された複数の３次元撮像装置を備える、請求項１から４のいずれか一項に記載の移動制御システム。
【請求項６】
プロセッサが様々な位置において取得される画像からのデータを組み合わせるように構成される、請求項４または５に記載の移動制御システム。
【請求項７】
プロセッサがさらに、環境モデルを生成する際に、様々な位置からの画像にステレオ画像処理技術を適用するように構成される、請求項４から６のいずれか一項に記載の移動制御システム。
【請求項８】
プロセッサが、ステレオ処理技術を利用して縁部／コーナーの検出を実行するように構成される、請求項７に記載の移動制御システム。
【請求項９】
システムがさらに、各画像が取得されるときの３次元撮像装置の相対位置を決定する手段を備え、
プロセッサがモデルを生成する際に相対位置に関する情報を使用するように構成される、請求項４から８のいずれか一項に記載の移動制御システム。
【請求項１０】
３次元撮像装置の相対位置を決定する手段が少なくとも１つの位置センサを備える、請求項９に記載の移動制御システム。
【請求項１１】
３次元撮像装置の相対位置を決定する手段が、各視点からの画像内の参照物体を識別するように構成されたプロセッサである、請求項９に記載の移動制御システム。
【請求項１２】
車両が目標領域を通過するとき、目標領域の複数の３次元画像を取得するよう配置された３次元撮像装置と、
様々な位置からの画像を処理して、車両に関連する環境モデルを生成し、目標領域に対して車両をどのように位置付けるかを決定するように構成されたプロセッサと、
を備える、車両位置決めシステム。
【請求項１３】
システムが駐車システムであり、
目標領域が駐車領域であり、
位置決めシステムが駐車領域に車両をどのように駐車するかを決定する、請求項１２に記載の車両位置決めシステム。
【請求項１４】
ユーザインタフェースをさらに備える車両位置決めシステムであって、
プロセッサが、インタフェースを介して車両制御命令を与える制御信号を生成する、請求項１２または１３に記載の車両位置決めシステム。
【請求項１５】
車両の移動を制御する駆動ユニットをさらに備え、
プロセッサが駆動ユニットを制御して車両を位置決めする、請求項１２から１４のいずれか一項に記載の車両位置決めシステム。
【請求項１６】
車両が位置決めされるとき、プロセッサが３次元撮像装置からの情報を処理し、環境モデルを更新する、請求項１２から１５のいずれか一項に記載の車両位置決めシステム。
【請求項１７】
請求項１２から１６のいずれか一項に記載の駐車システムを有する、車両。
【請求項１８】
複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、
異なった位置からの画像を処理して可動プラットフォームに関して環境モデルを生成し、可動プラットフォームの駆動手段に制御信号を供給して可動プラットフォームを環境とドッキングするように構成されたプロセッサと、を備える、可動プラットフォーム用のドッキング制御システム。
【請求項１９】
請求項１から６のいずれか一項に記載の移動制御システムを備える、車両運転支援装置であって、
少なくとも１つの３Ｄイメージャが車両の死角を撮像し、移動制御信号が物体が車両の死角に入ったという警告である、車両運転支援装置。
【請求項２０】
複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、
異なった位置からの画像を処理してロボットアームに関して環境モデルを生成し、ロボットアームの駆動手段に制御信号を供給して物体を掴むかまたは物体を正確に置くように構成されたプロセッサと、を備える、ロボットアーム制御ユニット。
【請求項２１】
プロセッサがアームの少なくとも一部を動かして、環境に対して３次元撮像装置を走査し、複数の異なる位置からの画像を取得する、請求項２０に記載のロボットアーム制御ユニット。
【請求項２２】
３次元撮像装置が、
光スポットの投射２次元アレイでシーンを照射する照射手段と、
シーン内のスポット位置を検出する検出器と、
シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサと、
を備える、請求項２０または２１に記載のロボットアーム制御ユニット。
【請求項２３】
３次元撮像装置が、少なくとも２つの検出器を備え、各検出器が異なる位置からのシーンの画像を取得する、請求項２２に記載のロボットアーム制御ユニット。
【請求項２４】
プロセッサが異なる位置から取得された画像にステレオ画像処理技術を適用する、請求項２０から２３のいずれか一項に記載のロボットアーム制御ユニット。
【請求項２５】
近接センサが車両の経路内の任意の物体を検出するよう作動する移動モードと、
３次元測距装置が目標領域に関する距離情報を決定して、目標領域のモデルを生成する相互作用モードと、２つのモードで作動できる、車両用移動制御システム。
【請求項２６】
移動モードでは、３次元測距装置が近接センサとして作用する、請求項２５に記載の移動制御システム。
【請求項２７】
３次元撮像装置が、
光スポットの投射２次元アレイでシーンを照射する照射手段と、
シーン内のスポット位置を検出する検出器と、
シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサと、
を備える、請求項２５または２６に記載の移動制御システム。
【請求項２８】
３次元撮像装置が、少なくとも２つの検出器を備え、各検出器が異なる視点を有する、請求項２７に記載の移動制御システム。
【請求項２９】
少なくとも２つの３次元撮像装置を備え、各装置が異なる視点を有する、請求項１から２８のいずれか一項に記載の移動制御システム。
【請求項３０】
プロセッサが様々な視点から取得された画像にステレオ撮像技術を適用する、請求項２８または３９に記載の移動制御システム。
【請求項１】
環境を撮像する少なくとも１つの３次元撮像装置と、画像を分析するためのプロセッサとを備えることにより、環境のモデルを生成し、生成されたモデルに基づいて移動制御信号を生成する、移動制御システムであって、
３次元撮像装置が、光スポットの投射２次元アレイでシーンを照射する照射手段と、シーン内のスポット位置を検出する検出器と、シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサとを備える、移動制御システム。
【請求項２】
車両に適用されるように構成される、請求項１に記載の移動制御システム。
【請求項３】
少なくとも１つの３次元撮像装置が複数の種々な位置において環境の３次元画像を取得し、プロセッサが環境モデルを生成するために様々な位置からの画像を処理するように構成される、請求項１または２に記載の移動制御システム。
【請求項４】
３次元撮像装置が少なくとも２つの検出器を有し、各検出器が異なる位置からシーンの画像を取得する、請求項１から３のいずれか一項に記載の移動制御システム。
【請求項５】
様々な位置において取得される画像を提供するために、車両上の様々な位置に配置された複数の３次元撮像装置を備える、請求項１から４のいずれか一項に記載の移動制御システム。
【請求項６】
プロセッサが様々な位置において取得される画像からのデータを組み合わせるように構成される、請求項４または５に記載の移動制御システム。
【請求項７】
プロセッサがさらに、環境モデルを生成する際に、様々な位置からの画像にステレオ画像処理技術を適用するように構成される、請求項４から６のいずれか一項に記載の移動制御システム。
【請求項８】
プロセッサが、ステレオ処理技術を利用して縁部／コーナーの検出を実行するように構成される、請求項７に記載の移動制御システム。
【請求項９】
システムがさらに、各画像が取得されるときの３次元撮像装置の相対位置を決定する手段を備え、
プロセッサがモデルを生成する際に相対位置に関する情報を使用するように構成される、請求項４から８のいずれか一項に記載の移動制御システム。
【請求項１０】
３次元撮像装置の相対位置を決定する手段が少なくとも１つの位置センサを備える、請求項９に記載の移動制御システム。
【請求項１１】
３次元撮像装置の相対位置を決定する手段が、各視点からの画像内の参照物体を識別するように構成されたプロセッサである、請求項９に記載の移動制御システム。
【請求項１２】
車両が目標領域を通過するとき、目標領域の複数の３次元画像を取得するよう配置された３次元撮像装置と、
様々な位置からの画像を処理して、車両に関連する環境モデルを生成し、目標領域に対して車両をどのように位置付けるかを決定するように構成されたプロセッサと、
を備える、車両位置決めシステム。
【請求項１３】
システムが駐車システムであり、
目標領域が駐車領域であり、
位置決めシステムが駐車領域に車両をどのように駐車するかを決定する、請求項１２に記載の車両位置決めシステム。
【請求項１４】
ユーザインタフェースをさらに備える車両位置決めシステムであって、
プロセッサが、インタフェースを介して車両制御命令を与える制御信号を生成する、請求項１２または１３に記載の車両位置決めシステム。
【請求項１５】
車両の移動を制御する駆動ユニットをさらに備え、
プロセッサが駆動ユニットを制御して車両を位置決めする、請求項１２から１４のいずれか一項に記載の車両位置決めシステム。
【請求項１６】
車両が位置決めされるとき、プロセッサが３次元撮像装置からの情報を処理し、環境モデルを更新する、請求項１２から１５のいずれか一項に記載の車両位置決めシステム。
【請求項１７】
請求項１２から１６のいずれか一項に記載の駐車システムを有する、車両。
【請求項１８】
複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、
異なった位置からの画像を処理して可動プラットフォームに関して環境モデルを生成し、可動プラットフォームの駆動手段に制御信号を供給して可動プラットフォームを環境とドッキングするように構成されたプロセッサと、を備える、可動プラットフォーム用のドッキング制御システム。
【請求項１９】
請求項１から６のいずれか一項に記載の移動制御システムを備える、車両運転支援装置であって、
少なくとも１つの３Ｄイメージャが車両の死角を撮像し、移動制御信号が物体が車両の死角に入ったという警告である、車両運転支援装置。
【請求項２０】
複数の異なった位置から環境の３次元画像を取得するよう配置された３次元撮像装置と、
異なった位置からの画像を処理してロボットアームに関して環境モデルを生成し、ロボットアームの駆動手段に制御信号を供給して物体を掴むかまたは物体を正確に置くように構成されたプロセッサと、を備える、ロボットアーム制御ユニット。
【請求項２１】
プロセッサがアームの少なくとも一部を動かして、環境に対して３次元撮像装置を走査し、複数の異なる位置からの画像を取得する、請求項２０に記載のロボットアーム制御ユニット。
【請求項２２】
３次元撮像装置が、
光スポットの投射２次元アレイでシーンを照射する照射手段と、
シーン内のスポット位置を検出する検出器と、
シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサと、
を備える、請求項２０または２１に記載のロボットアーム制御ユニット。
【請求項２３】
３次元撮像装置が、少なくとも２つの検出器を備え、各検出器が異なる位置からのシーンの画像を取得する、請求項２２に記載のロボットアーム制御ユニット。
【請求項２４】
プロセッサが異なる位置から取得された画像にステレオ画像処理技術を適用する、請求項２０から２３のいずれか一項に記載のロボットアーム制御ユニット。
【請求項２５】
近接センサが車両の経路内の任意の物体を検出するよう作動する移動モードと、
３次元測距装置が目標領域に関する距離情報を決定して、目標領域のモデルを生成する相互作用モードと、２つのモードで作動できる、車両用移動制御システム。
【請求項２６】
移動モードでは、３次元測距装置が近接センサとして作用する、請求項２５に記載の移動制御システム。
【請求項２７】
３次元撮像装置が、
光スポットの投射２次元アレイでシーンを照射する照射手段と、
シーン内のスポット位置を検出する検出器と、
シーン内の検出されたスポット位置からそのスポットまでの距離を決定するスポットプロセッサと、
を備える、請求項２５または２６に記載の移動制御システム。
【請求項２８】
３次元撮像装置が、少なくとも２つの検出器を備え、各検出器が異なる視点を有する、請求項２７に記載の移動制御システム。
【請求項２９】
少なくとも２つの３次元撮像装置を備え、各装置が異なる視点を有する、請求項１から２８のいずれか一項に記載の移動制御システム。
【請求項３０】
プロセッサが様々な視点から取得された画像にステレオ撮像技術を適用する、請求項２８または３９に記載の移動制御システム。
【図１ａ】
【図１ｂ】
【図１ｃ】
【図１ｄ】
【図１ｅ】
【図２ａ】
【図２ｂ】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図６ｃ】
【図６ｄ】
【図６ｅ】
【図７】
【図１ｂ】
【図１ｃ】
【図１ｄ】
【図１ｅ】
【図２ａ】
【図２ｂ】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図６ｃ】
【図６ｄ】
【図６ｅ】
【図７】
【公表番号】特表２００７−５２７００７（Ｐ２００７−５２７００７Ａ）
【公表日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００７−５０１３５５（Ｐ２００７−５０１３５５）
【出願日】平成１７年３月４日（２００５．３．４）
【国際出願番号】ＰＣＴ／ＧＢ２００５／０００８４３
【国際公開番号】ＷＯ２００５／０８５９０４
【国際公開日】平成１７年９月１５日（２００５．９．１５）
【出願人】（５０１３５２８８２）キネテイツク・リミテツド (93)
【Ｆターム（参考）】
【公表日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１７年３月４日（２００５．３．４）
【国際出願番号】ＰＣＴ／ＧＢ２００５／０００８４３
【国際公開番号】ＷＯ２００５／０８５９０４
【国際公開日】平成１７年９月１５日（２００５．９．１５）
【出願人】（５０１３５２８８２）キネテイツク・リミテツド (93)
【Ｆターム（参考）】
[ Back to top ]