複眼画像入力装置及びそれを用いた距離測定装置
【課題】複眼による視差を利用して、物体との距離を測定するための複眼画像入力装置において、距離の測定分解能の確保と装置の小型化を両立させる。
【解決手段】複眼画像入力装置を、光軸と略垂直な面内に設置された２個以上のレンズブロック３ａ，４ａと、前記各レンズブロックによる像を複眼画像として撮像するための単一の撮像手段６と、前記各レンズブロックによる前記撮像手段に導くミラープリズム３ａ，３ｂやミラープリズム４ａ，４ｂからなる導光手段３，４とで構成する。
【解決手段】複眼画像入力装置を、光軸と略垂直な面内に設置された２個以上のレンズブロック３ａ，４ａと、前記各レンズブロックによる像を複眼画像として撮像するための単一の撮像手段６と、前記各レンズブロックによる前記撮像手段に導くミラープリズム３ａ，３ｂやミラープリズム４ａ，４ｂからなる導光手段３，４とで構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複眼による視差を領して、物体との距離を測定するための複眼画像入力装置、及び、それを用いた距離測定装置に関する。
【背景技術】
【０００２】
従来、視差を利用して、物体との距離を測定するための装置としては、特許文献１や特許文献２に開示されるような装置が知られている。それらの装置では、光学系と撮像素子の組からなるカメラを２台以上備え、光軸と略垂直な平面内にそれらを設置して装置が構成され、自動車に搭載して前方自動車との車間距離を測定する装置として使用したり、セキュリティ分野やマンマシンインターフェース分野において被写体の三次元位置、姿勢を測定するためのカメラとして使用したりしている。
【０００３】
また、特許文献３には、複眼の視差を利用して距離を測定装置として、被写体が近い距離にあっても遠い距離にあっても高分解能な距離測定を可能とする装置が開示されている。
【０００４】
【特許文献１】特許第３８２７３６８号公報
【特許文献２】特許第３２０９８２８号公報
【特許文献３】特開平９−２６３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１や特許文献２に開示されているようなカメラを２台以上備える装置では被写体からカメラまでの距離が長い場合、例えば自動車に装置を搭載し、前方にある自動車、歩行者、あるいは障害物といった被写体までの距離を測定する場合、十分な距離の測定分解能を得るためには２つのカメラの距離を十分長く確保する必要があり、装置が大型化してしまう傾向にあった。自動車のインテリジェント化が進む中、車間距離だけでなく、ドライバー監視、自動車周辺モニターなど、さまざまなセンサやカメラを自動車の内外に設置したいという要請があり、当該装置の大型化は、他のセンサ等の設置スペースをなくしてしまうため、十分な距離分解能を確保しつつ、できるだけ装置を小型化することが望まれている。また自動車分野のみならず、セキュリティやインターフェース分野においても、当該装置を搭載する機器の小型化，設置のための省スペース化のために，重要な要素である。
【０００６】
従来装置の別の問題として、複数のカメラを使用すること伴う各カメラの特性及び条件の相違の距離測定への影響がある。中でも撮像手段の感度の個体差と撮像タイミングの同期は、視差検出精度に大きく影響し、いかにして複数カメラ間でそれらの特性及び条件を一致させるかは重要な課題である。
【０００７】
また、距離測定分解能を確保するためには、レンズブロックの焦点距離を長くすればよいが、それに伴い光学倍率が高くなり、それにより近距離にある物体の像が大きくなる。被写体の像が撮像手段の撮像面サイズより大きくなった場合、被写体像が特定できずに、視差検出が困難になる場合がある。逆に近距離にある物体までの距離を測定できるようにすると遠距離にある物体に対する距離測定分解能が低下する。特許文献３に記載の装置によれば、被写体の距離によらず高分解能な処理測定が可能であるが、この装置では、光学的手法と超音波を用いる手法と異なる手法を併用するため、装置が複雑化するという問題がある。
【０００８】
本発明の目的は、距離の測定分解能の確保と装置の小型化を両立させると共に、複眼画像の特性及び条件をより一致させた高精度な距離測定を可能にする複眼画像入力装置、及び、それを用いた距離測定装置を実現することにある。
【０００９】
また、本発明の目的は、装置が複雑化することなく、距離測定の分解能を確保しつつ距離測定のレンジを広げることを可能にする複眼画像入力装置、及び、それを用いた距離測定装置を提供することにある。
【００１０】
本発明は、これ以外にも種々の目的を可能にする複眼画像入力装置、及び、それを用いた距離測定装置を提供する。
【課題を解決するための手段】
【００１１】
請求項１の発明は、複眼による視差を利用して、物体との距離を測定するための複眼画像入力装置において、光軸と略垂直な面内に設置された２個以上のレンズブロック（撮像光学系）と、前記各レンズブロックによる像を複眼画像として撮像するための単一の撮像手段と、前記各レンズブロックによる像を前記撮像手段に導く導光手段とから複眼画像入力装置を構成する。
【００１２】
距離分解能は、主に、２つのレンズブロックの間隔と、それぞれのレンズブロックの焦点距離により決定されるが，前記間隔を長くするかわりに、焦点距離を長くして分解能を確保する。焦点距離を長くするとレンズブロックから撮像素子までの撮像距離を長くとる必要が生じるが、導光手段により装置の大型化を図ることなく前記撮像距離を確保する。また、単一の撮像手段により、装置小型化のみならず、撮像手段の感度の個体差及び撮像タイミングずれを排除する。これらにより、距離の測定分解能の確保と装置の小型化を両立させるとともに、複眼画像の特性及び条件をより一致させた高精度な距離測定が可能になる複眼画像入力装置を実現する。
【００１３】
距離測定分解能を確保するために、レンズブロックの焦点距離を長くすることに伴い光学倍率が高くなり、それにより近距離にある物体の像が大きくなる。被写体の像が撮像手段の撮像面サイズより大きくなった場合、被写体像が特定できずに、視差検出が困難になる場合がある。逆に近距離にある物体までの距離を測定できるようにすると遠距離にある物体に対する距離測定分解能が低下する。被写体が近い距離にあっても遠い距離にあっても高分解能な距離測定を可能とする装置としては、先の特許文献３の装置があるが、装置が複雑化する。
【００１４】
請求項２の発明では、被写体の距離測定のためのレンズブロック群を、遠距離測定用と近距離測定用に分け、遠距離測定用レンズブロック群は焦点距離を長くし、近距離測定用レンズブロック群は焦点距離を短くして、それらを一体にして装置を構成する。それにより、遠距離測定用レンズブロック群による距離測定では、遠距離にある被写体の距離分解能を確保でき、近距離測定用レンズブロック群では、光学倍率を低くできるため、近距離にある被写体であっても、被写体像が撮像手段の撮像面サイズをオーバーすることなく距離測定を可能とすることができる。すなわち、距離測定の分解能を確保しつつ距離測定のレンジを広げることができる。
【００１５】
２つのレンズブロックによる各々の像を１つの撮像手段で撮像する場合、１つの像を撮像手段のすべての画素で構成することはできない。例えば２つのレンズブロックによる像を同じ画素数で構成しようとしたら、１つの像を構成する画素数は，撮像手段の画素数の半分になる。そして、撮像手段の撮像面上における２つのレンズブロックの配列方向と略平行な方向に、２つのレンズブロックによる像を結像させると、１つの像における水平方向（レンズブロックの配列方向と略平行な方向）の画素数は半減する。自動車に搭載するカメラでは、レンズブロックによる像の一方を用いて、標識や白線の認識を行うことがあり、その場合、水平方向における画素数が重要となる場合がある。したがって水平方向の画素数の減少が認識性能に影響を及ぼす場合がある。
【００１６】
請求項３の発明では、撮像手段の撮像面内において、導光手段を構成する光学系の光軸に対して略垂直な方向に、２つの像が配列するように、前記レンズブロック及び導光手段を配置し、水平方向における画素数の減少を防止する。それにより、水平方向における画素数の低減を防止し、認識性能の低下を防止することができる。
【００１７】
請求項３の装置においては、水平及び垂直方向ともに所定の画素数を確保する必要がある場合がある。請求項４の発明では、撮像面の長手方向を、前記２つの像の配列方向に略一致させることにより、水平及び垂直方向ともに所定の画素数を確保する。それにより、所望の認識性能を確保することができる。
【００１８】
導光手段の構成によっては、２個以上のレンズブロッからの光が撮像素子面上でクロストークを起こす。それにより撮像素子による複眼画像の一部が重なり、重なった部分の画像データが使用できなくなってデータ量の減少を招いたり、あるいは結像に寄与しないフレア光が像に重畳して像の品質を低下させたりする。
【００１９】
請求項５の発明では、各レンズブロックによる像のクロストークを防止する手段を構成に付加し，各レンズブロックからの光の撮像素子面上でのクロストークを防止する。これにより、取得される像の品質を確保することができる。
【００２０】
本発明に係る複眼画像入力装置は、複眼画像の各画像における被写体の視差を検出し、当該視差から被写体までの距離を算出するのに用いられる。その際、各レンズブロックの間隔（光軸と垂直な平面内における光軸間の距離）が経時的に変化すると、当該変化によって各画像における被写体の視差が変化するため、本来の距離とは異なる測定値を算出する可能性がある。カメラを外装する筐体の剛性を上げて、上記レンズブロック間隔の経時変化を抑制してもよいが、剛性の高い材料はコストがかかるため、装置コストが増大してしまう。
【００２１】
請求項６の発明では、各レンズブロックを一体として保持するためのレンズブロック保持部材を構成に付加し、カメラの筐体ではなく、当該保持部材により各レンズブロックを一体として保持する。それによりレンズブロックの間隔の経時変化を抑制することができ、またカメラ筐体の全体の剛性を上げる必要がないため、装置を安価に構成できる。装置コストを上げることなく、各レンズブロック間隔の経時変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００２２】
本発明に係る複眼画像入力装置では、複眼画像の各画像における被写体の視差を検出し、当該視差から被写体までの距離を算出するのに用いられる。その際、各レンズブロックに対応した導光光学系の構成部品の位置や姿勢が経時的に変化すると、当該変化によって各画像における被写体の視差が変化するため、本来の距離とは異なる測定値を算出する可能性がある。
【００２３】
請求項７の発明では、各レンズブロックについての導光手段の一部、例えば一枚のミラー、を共通の部品で構成する。それにより少なくとも共通化した部品の位置や姿勢が経時的に変化しても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができる。
【００２４】
請求項８の発明では、各レンズブロックについての導光手段を一体の屈曲光学系により構成する。導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができる。
【００２５】
請求項９の発明では、共通化手段を屈曲光学系の一面に設けたミラー面で構成する。これにより、導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができる。
【００２６】
請求項１０の発明では、共通化手段を、レンズブロック保持部材の撮像手段側の面に設けたミラー面で構成する。これにより、導光手段の位置や姿勢の経時変化による距離測定誤差を排除するとともに、レンズブロック間隔の経時変化による距離測定誤差も抑制し、正確な距離測定値を得ることができる。
【００２７】
請求項１１の発明は、請求項１記載の複眼画像入力装置と、該複眼画像入力装置で撮像された複眼画像における被写体像の視差から被写体までの距離を算出して、距離画像を生成する演算器とで距離測定装置を構成する。これにより、距離の測定分解能の確保と装置の小型化を両立させるとともに、複眼画像の特性及び条件より一致させた高精度な距離測定が可能になる。
【００２８】
請求項１２の発明は、請求項２記載の複眼画像入力装置と、該複眼画像入力装置で撮像された第１レンズブロック群による複眼画像及び第２レンズブロック群による複眼画像における被写体像の視差から被写体までの距離を算出して、これら２つの距離算出結果を合成して１つの距離画像を生成する演算器とで距離測定装置を構成する。これにより、距離測定の分解能を確保しつつ、距離測定のレンジを広げることができる。近距離測定による距離画像と遠距離測定による距離画像を１つの画像に合成して出力することにより、ユーザーが認識しやすい距離画像を出力することを可能とする。
【００２９】
請求項１３の発明では、複眼画像入力装置を請求項２乃至１０のいずれ１項に記載の構成とする。
【００３０】
請求項１４の発明は、前記演算器では、複眼画像をレンズブロックに対応する数の画像に分割し、該分割した画像間での視差を検出し、該検出した視差をもとに距離を算出する。
【００３１】
請求項１５の発明は、請求項１１、１２あるいは１４記載の距離測定装置において、前記複眼画像入力装置は、各レンズブロックが有限（ゼロでない）であって低いＭＴＦで、かつ光線入射角に伴うＭＴＦの差異が小さい特性を有し、前記演算器は、ＭＴＦが低い画像を用いて距離算出演算を行い、当該画像に逆フィルタ演算を施すことによりＭＴＦを改善した画像を取得する。
【００３２】
低い空間周波数帯から高い空間周波数帯にわたって意図的に有限（ゼロでない）であって、かつＭＴＦを低くした画像を用いて距離算出演算を行うことにより、画像微分による視差検出演算の精度が向上する。それにより、高速、低負荷な演算で測定精度の高い距離測定を実現する。
【発明の効果】
【００３３】
請求項１の発明では、２つのレンズブロックの間隔を長くするかわりに、各レンズブロックの焦点距離を長くして分解能を確保し、また焦点距離に伴い長くなる光路を、導光手段により装置の大型化を招くことなく確保する。また、単一の撮像手段により、装置小型化のみならず、撮像手段の感度の個体差及び撮像タイミングずれを排除する。それらにより、距離の測定分解能の確保と装置の小型化を両立させるとともに、複眼画像の特性及び条件をより一致させた高精度な距離測定りための複眼画像入力装置を実現することができる。
【００３４】
請求項２の発明では、被写体の距離測定のためのレンズブロック群を、遠距離測定用と近距離測定用に分け、遠距離測定用レンズブロック群は焦点距離を長くし、近距離測定用レンズブロック群は焦点距離を短くして、それらを一体にして装置を構成する。それにより、遠距離測定用レンズブロック群による距離測定では、遠距離にある被写体の距離分解能を確保でき、近距離測定用レンズブロック群では、光学倍率を低くできるため、近距離にある被写体であっても、被写体像が撮像手段の撮像面サイズをオーバーすることなく距離測定を可能とすることができる。それにより距離測定の分解能を確保しつつ距離測定のレンジを広げることができる。
【００３５】
請求項３の発明では、撮像手段の撮像面内において、導光手段を構成する光学系の光軸に対して略垂直な方向に、像が配列するように、レンズブロック及び導光手段を配置する。それにより、水平方向における画素数の減少を防止することができ、距離測定に用いられる画像入力装置において、認識性能の低下を防止することができる。
【００３６】
請求項４の発明では、撮像面の長手方向を、像の配列方向に略一致させることにより、水平及び垂直方向ともに所定の画素数を確保でき、距離測定に用いられる画像入力装置において、所望の認識性能を確保することができる。
【００３７】
請求項５の発明では、各レンズブロックによる像のクロストークを防止する手段を構成に付加することにより、各レンズブロックからの光の撮像素子面上でのクロストークを防止することができ、それにより取得される像の品質を確保することができる。
【００３８】
請求項６の発明では、カメラの筐体ではなく、別途設けた保持部材により各レンズブロックを一体として保持する。それにより、レンズブロックの間隔の経時変化を抑制することができ、またカメラ筐体の全体の剛性を上げる必要がないため、装置を安価に構成できる。この結果、装置コストを上げることなく、各レンズブロック間隔の経時変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００３９】
請求項７の発明では、各レンズブロックについての導光手段の一部、例えば一枚のミラーを共通の部品で構成する。それにより少なくとも共通化した部品の位置や姿勢が経時的に変化しても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができ、導光手段の経時的な変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００４０】
請求項８の発明では、各レンズブロックについての導光手段を一体の屈曲光学系により構成する。それにより、導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができ、導光手段の経時的な変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００４１】
請求項９の発明では、共通化手段を屈曲光学系の一面に設けたミラー面で構成することにより、導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができ、導光手段の経時的な変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００４２】
請求項１０の発明では、共通化手段を、レンズブロック保持部材の撮像手段側の面に設けたミラー面で構成することにより、導光手段の位置や姿勢の経時変化による距離測定誤差を排除するとともに、レンズブロック間隔の経時変化による距離測定誤差も抑制し、正確な距離測定値を得ることができる。
【００４３】
請求項１１の発明では、請求項１の発明の複眼画像入力装置を用いて距離測定装置を構成するため、請求項１の発明と同様の作用効果が可能となる。
【００４４】
請求項１２の発明では、請求項２の発明の複眼画像入力装置を用いて距離測定装置を構成するため、請求項２の発明と同様の作用効果が可能となる。また、近距離測定による距離画像と遠距離画像による距離画像を１つの画像に合成して出力することにより、ユーザーが認識しやすい距離画像を出力することができる。
【００４５】
請求項１３の発明では、複眼画像入力装置を請求項３乃至１０の構成とすることにより、請求項３乃至１０と同様の作用効果が可能となる。
【００４６】
請求項１４の発明では、請求項１１あるいは１２記載の距離測定装置における演算器の具体構成を提供することができる。
【００４７】
請求項１５の発明では、低い空間周波数帯から高い空間周波数帯にわたって意図的に有限（ゼロでない）であって、かつＭＴＦを低くした画像を用いて距離算出演算を行うことにより、画像微分による視差検出演算の精度を向上させることができ、それにより、高速、低負荷な演算で測定精度の高い距離測定を実現することができる。
【発明を実施するための最良の形態】
【００４８】
以下、本発明の実施レーの形態について図面により詳述する。
【実施例１】
【００４９】
図１に、本発明による複眼画像入力装置の実施例１（基本構成例）の装置構成を示す。１は被写体を左側から観察し、被写体の像を像面上で形成するための第１のレンズブロックで、複数のレンズ面がその光軸方向に積み重ねられて構成されている。同様に、２は被写体を右側から観察し、複写体の像を像面上で形成するための第２のレンズブロックで、同じく複数のレンズ面がその光軸方向に積み重ねられて構成されている。レンズブロックの光軸と略垂直な平面内における１と２の間隔に基づき、視差のみ異なる被写体像を取得するために、レンズブロック１と２はほぼ同じレンズ構成、光学特性を有している。
【００５０】
レンズブロック１を通過した光線は、ミラープリズム３ａで折り返され、更にミラープリズム３ｂで折り返されて、単一の撮像手段としてのイメージセンサ６におけるセンサ面のほぼ左半分の領域に到達する。同様に、レンズブロック２を通過した光線は、ミラープリズム４ａ，４ｂで折り返され、イメージセンサ６におけるセンサ面のほぼ右半分の領域に到達する。それぞれのミラープリズム３ａ，３ｂ，４ａ，４ｂは、その稜線にミラー面が蒸着され、図１のように光線を反射して、レンズブロック１，２を通過した光線をイメージセンサ６まで導く導光手段３，４として作用する。イメージセンサ６は、ＣＣＤやＣＭＯＳ等の固体撮像素子であり、基板５の上に実装されている。７はレンズブロック、ミラープリズム、イメージセンサ、基板を保持する筐体である。ミラープリズムは紙面と垂直な方向にある面のいずれかを筐体に接触させ、接着されている。
【００５１】
図示していないが、イメージセンサ６には、センサ面を保護するためのカバーガラスが設けられており、また必要に応じてエイリアジング防止のためのローパスフィルタとして作用する光学薄膜や近赤外光を排除するＩＲフィルタとして作用する光学薄膜を設けてもよい。
【００５２】
イメージセンサ６により撮像された画像は、画像データのインターフェース部を介して、演算器１００に転送される。演算器１００では、レンズブロック１、２による像における被写体の視差を検出する演算処理を行い、カメラから被写体までの距離を算出して、距離画像として出力する。演算器１００は基本的にコンピュータと同様の構成である。図１に演算器１００で距離画像を出力する処理フローを一緒に示す。この演算器１００まで含めた装置構成を距離測定装置と称する。これは、実施例２以降の構成でも同様である。
【００５３】
図２は、本実施例の複眼画像入力装置を自動車に搭載し、前方を観察したときに取得される画像の一例である。イメージセンサ６の左半分の領域８ａにレンズブロック１による像が観察され、右半分の領域８ｂにレンズブロック２による像がそれぞれ上下左右反転して観察される。なお、分かりやすいように、図２では上下正転した像を示している。画像８ａと８ｂは、レンズブロック１と２の間隔に応じて自動車の前方風景を異なる位置から観察しており、それにより観察画像に視差が生じている。レンズブロック１と２の垂直位置及び姿勢を厳密に調整しておけば、該レンズブロック１，２の間隔に起因して水平方向にのみ視差を有する画像が得られる。画像の中央付近にある黒い部分９はミラープリズム３ｂと４ｂが隣接する部分で影になっている領域である。
【００５４】
図２の画像は、メモリに一旦格納される。演算器１００が格納された画像データにアクセスして、まず、取得画像における有効領域８ａ、８ｂを切り出す。そして図２に示したように、８ａにおける微小領域１０ａと、それに対応する８ｂにおける微小領域１０ｂに注目して、これら微小領域内での被写体の視差δ（０、０）を算出する。これには、例えば特許第３７７３５６３号の特許公報に記載の標本化位置のずれの推定演算の手法を用いる。この手法によると、画像の水平方向ｘ、垂直方向ｙそれぞれにつき視差を算出できるが、前述のように視差は水平方向にのみ生じるため、ここでは水平方向の視差を算出すればよい。なおδは、イメージセンサの画素単位（ピクセル）で求められる。
【００５５】
装置から被写体までの距離Ａと視差δとの間には次の（１）式の、
【００５６】
【数１】
の関係が成り立つ。ここで、Ｂはレンズブロック間の間隔、ｆはレンズブロックの焦点距離、ｐはイメージセンサの画素サイズである。この（１）式に視差δを代入することで、被写体距離Ａを求めることができる。
【００５７】
その後、注目する微小領域を、図２の１１ａの位置にずらし、同様に１１ｂを参照しながら視差δ（１、０）を算出する。このような動作を図２のｘ、ｙ方向に微小領域を走査しながら画像全体について行い、すべての微小領域について視差δ（ｘ、ｙ）を算出し、（１）式に基づき被写体距離Ａ（ｘ、ｙ）を求めることができる。微小領域を合成すると距離画像が取得され、例えば図２における前方自動車１２までの距離、別の自動車１３までの距離を分離してほぼ同時に知ることができる。
【００５８】
なお、図１では距離測定結果として距離画像を出力する演算処理フローが示されているが、当該距離画像には視差画像も含まれるものとする。
【実施例２】
【００５９】
図３乃至図５に、本発明による複眼画像入力装置の実施例２の装置構成を示す。本実施例は、遠距離測定と近距離測定の併用を可能にする装置構成例である。図３は装置をレンズブロックの光軸方向から観察した図である。図４は装置を上方から観察した図、図５は装置を下方から観察した図である。基本的に、本実施例の複眼画像入力装置は図４と図５のユニットを組み合わせて構成される。
【００６０】
図３乃至図５において、１〜６までの部品は、図１と共通し、第１レンズブロック群であるレンズブロック１，２による複眼画像が導光手段３、４を介して、イメージセンサ６により取得される。１４，１５は第２レンズブロック群である一対のレンズブロックであり、１，２のレンズブロックと比較して焦点距離が短いレンズ構成となっている。レンズブロック１４、１５を通過した光は、導光手段を介さず、イメージセンサ６に直接導かれる。イメージセンサ６は４つの領域に分割されており、図３における紙面の上半分でレンズブロック１４，１５の像が撮像され、下半分でレンズブロック１，２による像が撮像される。１６，１７は、レンズブロック間での光線のクロストークやフレア光を防止するための遮光部材である。
【００６１】
演算器１００では、図３に処理フローを示すように、レンズブロック１，２によるイメージセンサ６により撮像された画像１と２を基に被写体の視差を検出し、先の式（１）に基づき被写体までの距離を算出して遠距離測定結果とする。一方、レンズブロック１４，１５によるイメージセンサ６により撮像された画像３と４をもとに同じく被写体の視差を検出し、被写体までの距離を算出して近距離測定結果とする。そして、得られた遠距離測定結果と近距離測定結果を合成して一つの距離画像として出力する。
【００６２】
図６（ａ）に、レンズブロック１，２による遠距離測定のために取得される画像、図６（ｂ）に、レンズブロック１４，１５による近距離測定のために取得される画像の例を示す。ここでも分かりやすいように、画像は正転させて示している。レンズブロック１、２による像は、焦点距離が長いため、被写体の像が大きく見えている。一方、レンズブロック１４，１５による像は、焦点距離が短いため、光学倍率が低く、被写体が小さくみえると同時に広い視野で観察されている。図７は、距離画像の一例をあらわしたものであり、距離が色の濃淡で表示されたもので、近距離測定結果と遠距離測定結果が合成されて出力されている。遠距離測定の結果は、距離画像の一部１８に相当し、１８の部分は視野が狭い分、他の領域に比べて遠距離の物体に対する距離分解能があがっている。
【実施例３】
【００６３】
図８に、本発明による複眼画像入力装置の実施例３の装置構成を示す。図８において、図１と同じ番号の部品は、図１と同じものを表わしており、全体の動作は図１と同じである。９は遮光部材であり、一方のレンズブロックを通過した光やフレア光が、他方のレンズブロックによる像を撮像するための撮像領域に到達するのを防ぐ作用をしている。この遮光部９は、金属部材を黒染めし、光の通過を防ぐとともに遮光部材表面での反射しないように構成されている。
【００６４】
なお、図３における１６、１７も、上記と同様に光のクロストークを防止するように作用する。
【実施例４】
【００６５】
図９に、本発明による複眼画像入力装置の実施例４の装置構成を示す。図７において、図１と同じ番号の部品は、図１と同じものを表わしている。１９は、筐体７に接着されたミラーを表している。レンズブロック１を通過し、ミラープリズム３ａで反射された光は、ミラー１９で反射してイメージセンサ６の左半分に導かれる。同様に、レンズブロック２を通過し、ミラープリズム４で反射された光は、ミラー１９で反射して、イメージセンサ６の右半分に導かれる。
【００６６】
図１の構成の場合、ミラープリズム３ｂ、４ｂの位置や傾きがそれぞれ独立で変化すると、各レンズブロックによる像のイメージセンサ６上での位置は、それぞれ独立で変化する。像の変化は視差として検出されてしまうため、距離に応じた視差を検出にあたり、ノイズとなり、距離の測定性能を低下させる。これに対し、図９の構成においては、ミラー１９はレンズブロック１による像及びレンズブロック２による像の両者のイメージセンサ６上での位置に寄与するため、仮にミラー１９の傾きが経時的に変化したとしても、両レンズブロックによる像も等しく移動するため、ミラー１９の傾きの距離測定への影響を排除することができる。
【実施例５】
【００６７】
図１０に、本発明による複眼画像入力装置の実施例５の装置構成を示す。図１０において、２０はミラーブロックであり、レンズブロック１及び２のそれぞれを通過し、ミラープリズム３ａ及び４ａで反射した光をそれぞれ反射してイメージセンサ６に導く。図９におけるミラー１９と同様に、ミラーブロック２０は、両レンズブロックの通過光の結像位置に寄与するため、仮にミラーブロック２０の位置や傾きが経時的に変化しても視差検出及び距離測定への影響を排除することができる。
【実施例６】
【００６８】
図１１に、本発明による複眼画像入力装置の実施例６の装置構成を示す。図１１において、２１はミラー面２１ａ、２１ｂ、２１ｃ、２１ｄを有する光学ブロックで、図１の導光手段３，４を構成している。レンズブロック１を通過した光は２１ａ、２１ｂで反射され、イメージセンサ６の右半分に導かれて像を形成する。また、レンズブロック２を通過した光は２１ｃ、２１ｄで反射され、イメージセンサ６の左半分に導かれて像を形成する。各ミラー面は、ブロックに一体化して形成されており、それぞれ独立に傾いたり、位置ずれを起こしたりしない。仮にブロック２１が傾いたり位置ずれを起こしたりしても、レンズブロック１を通過した光線もレンズブロック２を通過した光線も同様に光路を変化させるため、検出される視差には影響を及ぼさない。したがって、図１に示した導光手段３，４を構成する部品の経時的な傾き、位置ずれの距離測定への影響を、抑制、排除することができる。
【００６９】
図１２に、光学ブロック２１のみ取り出した図とその断面図を示す。光学ブロック２１は図の黒く塗り潰した部分をつなぎ目として、２１ａ、２１ｂからなるブロックと、２１ｃ、２１ｄからなるブロックがつながった構成となっている。材質は樹脂が好ましく、成形により効率よく加工できる。
【００７０】
なお、本実施例における光学ブロック２１の他の態様として、図１３に示したように、２２、２３のプリズムが、プリズム２４を介して接着された構成としてもよい。ガラスなど樹脂と比べて成形しづらい材料で製作する場合には、このような構成とすればよい。
【実施例７】
【００７１】
図１４に本発明による複眼画像入力装置の実施例７の装置構成を示す。図１４において、２５はミラー面２５ａ、２５ｂを有する光学ブロックである。２６はレンズブロックを保持するための板である。セラミックなど熱変形の小さい材料や剛性の高い材料で構成されている。レンズブロック１及び２は、保持部材２６に接着で固定されており、保持部材２６は筐体７に接着で固定されており、２７はミラーで、保持部材２６に接着固定されている。レンズブロック１を通過し、ミラー面２５ａで反射された光は、ミラー２７で反射してイメージ船さ６の左半分に導かれる。同様に、レンズブロック２を通過し、２５ｂで反射された光は、ミラー２７で反射してイメージセンサ６の右半分に導かれる。
【００７２】
レンズブロック１、２の独立した経時的な位置、姿勢変動は、視差画像における視差を変動させるため、検出した視差に基づく距離の測定値に影響する。レンズブロック１、２を保持する筐体全体を熱変形に強い材料や剛性の高い材料で製作してもよいが、複雑な形状である筐体を加工するためにコストが上がったり、サイズも大きいため、材料コストが上がったりする。本実施例では、保持部材２６として、熱変形に強い材料や剛性の高い材料を用いて、比較的単純な形状である板状の部材を製作し、それによりレンズブロック１、２を保持する。そのため加工コスト、材料コストを最小限に抑えつつ、レンズブロック１、２の独立した位置や姿勢の経時変動を抑制することができ、距離測定性能を確保することができる。
【００７３】
図１５は、図１０の実施例において保持部２６によりレンズブロック１及び２を保持するようにしたもので、レンズブロックの経時変動と導光手段の経時変動の距離測定への影響を排除することができる。なお、他の実施例においても同様に保持部材２６によりレンズブロックを保持することができる。
【実施例８】
【００７４】
図１６に、本発明による複眼画像入力装置の実施例８の装置構成を示す。２７は光学ブロックで、２７ａ，２７ｂ，２７ｃの面にミラーが蒸着されており、レンズブロック１および２を通過した光を反射して、それぞれイメージセンサ６に導く構成となっている。図１１の実施例と同様に導光手段の一体化により、導光手段を構成する部品の位置ずれの距離測定への影響を排除することができる。レンズブロック１および２は、図１５と同様に保持部材２６に保持することで、レンズブロックの独立した位置や姿勢の経時変動を抑止することができる。
【実施例９】
【００７５】
図１７に本発明による複眼画像入力装置の実施例９の装置構成を示す。図１７は、装置構成を側方から観察したものであるが、図１８に上方から観察した場合を示す。図１７および図１８において、図１と同じ部品には図１と同じ番号が付与されている。図１の構成と異なる点は、レンズブロック１からミラープリズム３ａ、３ｂを介してイメージセンサ６に導かれる像と、レンズブロック２からミラープリズム４ａ、４ｂを介してイメージセンサ６に導かれる像とが、それらの光学系光軸に対して略垂直な方向に配列される点と、イメージセンサの長手方向を像の配列方向と一致させた点である。
【００７６】
例えば、イメージセンサ１６の画素数が１２８０×１０２４の場合、図１の構成では２つの像それぞれのサイズは６４０×１０２４となり、各像の水平方向の画素数が半減する。自動車に搭載した画像入力装置では、図１の装置構成による画像を距離測定用に用いると同時に標識や白線などの認識用の画像として用いたいとする要請があり、水平方向に画素数、すなわち解像度が要求され、上記６４０の画素数では不足することがある。図１７のような構成にすると、図１８に示すように、レンズブロック１からの像はイメージセンサ６の上半分に導かれ、レンズブロック２からの像はイメージセンサ６の下半分に導かれる。この結果、２つの像それぞれの画像サイズは１０２４×６４０となり、水平方向の画素数を確保することができ、水平方向に解像度が要求される場合にも対応することができる。
【００７７】
図１９に、各レンズブロックによる像が導光手段を構成する光学系の光軸に対して略垂直な方向（垂直方向）に配列された複眼画像の例を示す。８ａがレンズブロック１による画像、８ｂがレンズブロック２による画像であり、ここでも分かりやすいように、画像は正転させて示している。図１７に処理フローを示したように、演算器１００では、これら画像を用いて視差を検出し、距離画像を得ると共に、認識処理により標識等を認識する。
【００７８】
なお、図１７、図１８では、イメージセンサの長手方向と像の配列方向とを一致させたが、イメージセンサの短手方向と像の配列方向とを一致させてもよい。その場合、上述の例では、２つの像それぞれの画像サイズは、１２８０×５１２となり、水平方向の解像度をより上げることができる。イメージセンサにより撮像される画像の水平、垂直の向き（センサの長手方向を水平方向とするか垂直方向とするか）は、レジスタで容易に設定可能である。
【００７９】
また、図２０のように、ミラー面３ａ、３ｂ及び４ａ、４ｂをそれぞれ一体化する構成とすると、導光手段３，４を構成する部品の位置や姿勢の経時変動の距離測定への影響を排除でき、また導光手段３と４を樹脂成形で一体化したり、接着して一体化したりしても、さらに経時変動の影響を排除できる。
【００８０】
なお、実施例１や実施例９では、各レンズブロックにより得られる画像のサイズが等しくなる場合を想定したが、一方の画像サイズを他方に対し大きくなるようにしてもよい。例えばイメージセンサの画素数が１２８０×１０２４画素の場合に、実施例１の装置構成では、一方が８００×１０２４画素で他方が４８０×１０２４画素としたり、実施例９の装置構成では、一方が１０２４×７２０画素で、他方が１０２４×５６０画素としたりしてもよい。それらでは小さいほうの画像サイズ相当でしか距離画像が得られないが、大きいほうの画像で必要に応じた比較的高い解像度で認識処理を実行できる点が有利である。
【実施例１０】
【００８１】
図２１に、レンズブロックのＭＴＦ特性の一例を示す。図２１（ａ）は光軸に対するレンズブロックへの光線の入射角度がＡ、Ｂ、Ｃと異なる様子を示しており、図２１（ｂ）はＡ、Ｂ、Ｃに対応したタンジェンシャル、サジタル方向のＭＴＦを示している。レンズブロックを構成する各レンズの面曲率や面間隔を調整することにより、低い空間周波から高い空間周波数にわたってＭＴＦ特性を低く設定し、それによりレンズブロックへの光線入射角に伴うＭＴＦ特性の差異を抑制することができる。
【００８２】
図２１のようなＭＴＦ特性を有するレンズブロックにより取得される画像をシミュレーションで推定すると、図２３（ａ）のようになり、コントラストが低く、かつその低さが画像全体にわたって均一な画像となる。
【００８３】
先の特許第３７７３５０３号の特許後方に示されている手法では、視差を有する画像の微分演算を実行することにより、高速、低負荷で視差検出を行うことができるが、高い空間周波数特性、すなわち比較的急激な輝度変化を有する画像から視差検出演算を行うと、検出値にノイズが含まれてしまう特性がある。
【００８４】
図２２に、空間周波数と視差検出誤差との関係を示すための視差検出シミュレーションの一例を示す。図の横軸は画像のボケ（ガウス関数の標準偏差）、縦軸は検出した視差（平均と標準偏差）を表す。図から、ボケが大きくなるほど検出視差の平均値が真値（この場合は０.６画素）に近づき、またばらつきも小さくなることが分かる。
【００８５】
本実施例では、図２３（ａ）のような低い空間周波数帯から高い空間周波数帯にわたって意図的にＭＴＦを有限（ゼロでない）であって、かつ低くした画像を用いて距離算出演算を行うことにより、上述の視差検出誤差を抑制する。レンズブロックのＭＴＦはゼロでないため、標識や白線の認識のためにコントラストが要求される場合には、レンズブロックの設計データから推定されるＰＳＦに基づき、図２３（ａ）の画像を空間フィルタリングすることにより、図２３（ｂ）のようにコントラストを向上させた画像を復元する。
【図面の簡単な説明】
【００８６】
【図１】本発明による複眼画像入力装置の実施例１（基本構成例）の構成図。
【図２】実施例１の装置を用いて取得される複眼画像の様子を示す図。
【図３】本発明による複眼画像入力装置の実施例２の装置構成で、レンズブロックの光軸方向から観察した図。
【図４】実施例２の装置の観察方向を上方からとした図。
【図５】実施例２の装置の観察方向を下方からとした図。
【図６】実施例２の装置を用いて取得される複眼画像の様子を示す図。
【図７】実施例２の装置で得られる遠距離測定結果と近距離測定結果を合成した距離画像の例を示す図。
【図８】本発明による複眼画像入力装置の実施例３の構成図。
【図９】本発明による複眼画像入力装置の実施例４の構成図。
【図１０】本発明による複眼画像入力装置の実施例５の構成図。
【図１１】本発明による複眼画像入力装置の実施例６の構成図。
【図１２】図１１の装置の光学ブロックを取り出して示した図。
【図１３】光学ブロックのほかの構成例を示す図。
【図１４】本発明による複眼画像入力装置の実施例７の構成図。
【図１５】図１０の装置に実施例７を適用した図。
【図１６】本発明による複眼画像入力装置の実施例８の構成図。
【図１７】本発明による複眼画像入力装置の実施例９の構成図。
【図１８】図１７の装置構成を上方から観察した図。
【図１９】実施例９の装置を用いて取得された複眼画像の様子を示す図。
【図２０】本発明による複眼画像入力装置の実施例９の他の構成図。
【図２１】光線の入射角によらず，有限であってかつ低いＭＴＦ特性の例を説明する図。
【図２２】画像のボケ具合と視差検出性能との関係を説明する図。
【図２３】光線の入射角によらず，有限であってかつ低いＭＴＦ特性を有する光学系により得られる画像と、空間フィルタによりコントラストを復元した画像の例を示す図。
【符号の説明】
【００８７】
１，２ レンズブロック
３，４ 導光手段
５ 基板
６ イメージセンサ
７ 筐体
１００ 演算器
【技術分野】
【０００１】
本発明は、複眼による視差を領して、物体との距離を測定するための複眼画像入力装置、及び、それを用いた距離測定装置に関する。
【背景技術】
【０００２】
従来、視差を利用して、物体との距離を測定するための装置としては、特許文献１や特許文献２に開示されるような装置が知られている。それらの装置では、光学系と撮像素子の組からなるカメラを２台以上備え、光軸と略垂直な平面内にそれらを設置して装置が構成され、自動車に搭載して前方自動車との車間距離を測定する装置として使用したり、セキュリティ分野やマンマシンインターフェース分野において被写体の三次元位置、姿勢を測定するためのカメラとして使用したりしている。
【０００３】
また、特許文献３には、複眼の視差を利用して距離を測定装置として、被写体が近い距離にあっても遠い距離にあっても高分解能な距離測定を可能とする装置が開示されている。
【０００４】
【特許文献１】特許第３８２７３６８号公報
【特許文献２】特許第３２０９８２８号公報
【特許文献３】特開平９−２６３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１や特許文献２に開示されているようなカメラを２台以上備える装置では被写体からカメラまでの距離が長い場合、例えば自動車に装置を搭載し、前方にある自動車、歩行者、あるいは障害物といった被写体までの距離を測定する場合、十分な距離の測定分解能を得るためには２つのカメラの距離を十分長く確保する必要があり、装置が大型化してしまう傾向にあった。自動車のインテリジェント化が進む中、車間距離だけでなく、ドライバー監視、自動車周辺モニターなど、さまざまなセンサやカメラを自動車の内外に設置したいという要請があり、当該装置の大型化は、他のセンサ等の設置スペースをなくしてしまうため、十分な距離分解能を確保しつつ、できるだけ装置を小型化することが望まれている。また自動車分野のみならず、セキュリティやインターフェース分野においても、当該装置を搭載する機器の小型化，設置のための省スペース化のために，重要な要素である。
【０００６】
従来装置の別の問題として、複数のカメラを使用すること伴う各カメラの特性及び条件の相違の距離測定への影響がある。中でも撮像手段の感度の個体差と撮像タイミングの同期は、視差検出精度に大きく影響し、いかにして複数カメラ間でそれらの特性及び条件を一致させるかは重要な課題である。
【０００７】
また、距離測定分解能を確保するためには、レンズブロックの焦点距離を長くすればよいが、それに伴い光学倍率が高くなり、それにより近距離にある物体の像が大きくなる。被写体の像が撮像手段の撮像面サイズより大きくなった場合、被写体像が特定できずに、視差検出が困難になる場合がある。逆に近距離にある物体までの距離を測定できるようにすると遠距離にある物体に対する距離測定分解能が低下する。特許文献３に記載の装置によれば、被写体の距離によらず高分解能な処理測定が可能であるが、この装置では、光学的手法と超音波を用いる手法と異なる手法を併用するため、装置が複雑化するという問題がある。
【０００８】
本発明の目的は、距離の測定分解能の確保と装置の小型化を両立させると共に、複眼画像の特性及び条件をより一致させた高精度な距離測定を可能にする複眼画像入力装置、及び、それを用いた距離測定装置を実現することにある。
【０００９】
また、本発明の目的は、装置が複雑化することなく、距離測定の分解能を確保しつつ距離測定のレンジを広げることを可能にする複眼画像入力装置、及び、それを用いた距離測定装置を提供することにある。
【００１０】
本発明は、これ以外にも種々の目的を可能にする複眼画像入力装置、及び、それを用いた距離測定装置を提供する。
【課題を解決するための手段】
【００１１】
請求項１の発明は、複眼による視差を利用して、物体との距離を測定するための複眼画像入力装置において、光軸と略垂直な面内に設置された２個以上のレンズブロック（撮像光学系）と、前記各レンズブロックによる像を複眼画像として撮像するための単一の撮像手段と、前記各レンズブロックによる像を前記撮像手段に導く導光手段とから複眼画像入力装置を構成する。
【００１２】
距離分解能は、主に、２つのレンズブロックの間隔と、それぞれのレンズブロックの焦点距離により決定されるが，前記間隔を長くするかわりに、焦点距離を長くして分解能を確保する。焦点距離を長くするとレンズブロックから撮像素子までの撮像距離を長くとる必要が生じるが、導光手段により装置の大型化を図ることなく前記撮像距離を確保する。また、単一の撮像手段により、装置小型化のみならず、撮像手段の感度の個体差及び撮像タイミングずれを排除する。これらにより、距離の測定分解能の確保と装置の小型化を両立させるとともに、複眼画像の特性及び条件をより一致させた高精度な距離測定が可能になる複眼画像入力装置を実現する。
【００１３】
距離測定分解能を確保するために、レンズブロックの焦点距離を長くすることに伴い光学倍率が高くなり、それにより近距離にある物体の像が大きくなる。被写体の像が撮像手段の撮像面サイズより大きくなった場合、被写体像が特定できずに、視差検出が困難になる場合がある。逆に近距離にある物体までの距離を測定できるようにすると遠距離にある物体に対する距離測定分解能が低下する。被写体が近い距離にあっても遠い距離にあっても高分解能な距離測定を可能とする装置としては、先の特許文献３の装置があるが、装置が複雑化する。
【００１４】
請求項２の発明では、被写体の距離測定のためのレンズブロック群を、遠距離測定用と近距離測定用に分け、遠距離測定用レンズブロック群は焦点距離を長くし、近距離測定用レンズブロック群は焦点距離を短くして、それらを一体にして装置を構成する。それにより、遠距離測定用レンズブロック群による距離測定では、遠距離にある被写体の距離分解能を確保でき、近距離測定用レンズブロック群では、光学倍率を低くできるため、近距離にある被写体であっても、被写体像が撮像手段の撮像面サイズをオーバーすることなく距離測定を可能とすることができる。すなわち、距離測定の分解能を確保しつつ距離測定のレンジを広げることができる。
【００１５】
２つのレンズブロックによる各々の像を１つの撮像手段で撮像する場合、１つの像を撮像手段のすべての画素で構成することはできない。例えば２つのレンズブロックによる像を同じ画素数で構成しようとしたら、１つの像を構成する画素数は，撮像手段の画素数の半分になる。そして、撮像手段の撮像面上における２つのレンズブロックの配列方向と略平行な方向に、２つのレンズブロックによる像を結像させると、１つの像における水平方向（レンズブロックの配列方向と略平行な方向）の画素数は半減する。自動車に搭載するカメラでは、レンズブロックによる像の一方を用いて、標識や白線の認識を行うことがあり、その場合、水平方向における画素数が重要となる場合がある。したがって水平方向の画素数の減少が認識性能に影響を及ぼす場合がある。
【００１６】
請求項３の発明では、撮像手段の撮像面内において、導光手段を構成する光学系の光軸に対して略垂直な方向に、２つの像が配列するように、前記レンズブロック及び導光手段を配置し、水平方向における画素数の減少を防止する。それにより、水平方向における画素数の低減を防止し、認識性能の低下を防止することができる。
【００１７】
請求項３の装置においては、水平及び垂直方向ともに所定の画素数を確保する必要がある場合がある。請求項４の発明では、撮像面の長手方向を、前記２つの像の配列方向に略一致させることにより、水平及び垂直方向ともに所定の画素数を確保する。それにより、所望の認識性能を確保することができる。
【００１８】
導光手段の構成によっては、２個以上のレンズブロッからの光が撮像素子面上でクロストークを起こす。それにより撮像素子による複眼画像の一部が重なり、重なった部分の画像データが使用できなくなってデータ量の減少を招いたり、あるいは結像に寄与しないフレア光が像に重畳して像の品質を低下させたりする。
【００１９】
請求項５の発明では、各レンズブロックによる像のクロストークを防止する手段を構成に付加し，各レンズブロックからの光の撮像素子面上でのクロストークを防止する。これにより、取得される像の品質を確保することができる。
【００２０】
本発明に係る複眼画像入力装置は、複眼画像の各画像における被写体の視差を検出し、当該視差から被写体までの距離を算出するのに用いられる。その際、各レンズブロックの間隔（光軸と垂直な平面内における光軸間の距離）が経時的に変化すると、当該変化によって各画像における被写体の視差が変化するため、本来の距離とは異なる測定値を算出する可能性がある。カメラを外装する筐体の剛性を上げて、上記レンズブロック間隔の経時変化を抑制してもよいが、剛性の高い材料はコストがかかるため、装置コストが増大してしまう。
【００２１】
請求項６の発明では、各レンズブロックを一体として保持するためのレンズブロック保持部材を構成に付加し、カメラの筐体ではなく、当該保持部材により各レンズブロックを一体として保持する。それによりレンズブロックの間隔の経時変化を抑制することができ、またカメラ筐体の全体の剛性を上げる必要がないため、装置を安価に構成できる。装置コストを上げることなく、各レンズブロック間隔の経時変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００２２】
本発明に係る複眼画像入力装置では、複眼画像の各画像における被写体の視差を検出し、当該視差から被写体までの距離を算出するのに用いられる。その際、各レンズブロックに対応した導光光学系の構成部品の位置や姿勢が経時的に変化すると、当該変化によって各画像における被写体の視差が変化するため、本来の距離とは異なる測定値を算出する可能性がある。
【００２３】
請求項７の発明では、各レンズブロックについての導光手段の一部、例えば一枚のミラー、を共通の部品で構成する。それにより少なくとも共通化した部品の位置や姿勢が経時的に変化しても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができる。
【００２４】
請求項８の発明では、各レンズブロックについての導光手段を一体の屈曲光学系により構成する。導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができる。
【００２５】
請求項９の発明では、共通化手段を屈曲光学系の一面に設けたミラー面で構成する。これにより、導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができる。
【００２６】
請求項１０の発明では、共通化手段を、レンズブロック保持部材の撮像手段側の面に設けたミラー面で構成する。これにより、導光手段の位置や姿勢の経時変化による距離測定誤差を排除するとともに、レンズブロック間隔の経時変化による距離測定誤差も抑制し、正確な距離測定値を得ることができる。
【００２７】
請求項１１の発明は、請求項１記載の複眼画像入力装置と、該複眼画像入力装置で撮像された複眼画像における被写体像の視差から被写体までの距離を算出して、距離画像を生成する演算器とで距離測定装置を構成する。これにより、距離の測定分解能の確保と装置の小型化を両立させるとともに、複眼画像の特性及び条件より一致させた高精度な距離測定が可能になる。
【００２８】
請求項１２の発明は、請求項２記載の複眼画像入力装置と、該複眼画像入力装置で撮像された第１レンズブロック群による複眼画像及び第２レンズブロック群による複眼画像における被写体像の視差から被写体までの距離を算出して、これら２つの距離算出結果を合成して１つの距離画像を生成する演算器とで距離測定装置を構成する。これにより、距離測定の分解能を確保しつつ、距離測定のレンジを広げることができる。近距離測定による距離画像と遠距離測定による距離画像を１つの画像に合成して出力することにより、ユーザーが認識しやすい距離画像を出力することを可能とする。
【００２９】
請求項１３の発明では、複眼画像入力装置を請求項２乃至１０のいずれ１項に記載の構成とする。
【００３０】
請求項１４の発明は、前記演算器では、複眼画像をレンズブロックに対応する数の画像に分割し、該分割した画像間での視差を検出し、該検出した視差をもとに距離を算出する。
【００３１】
請求項１５の発明は、請求項１１、１２あるいは１４記載の距離測定装置において、前記複眼画像入力装置は、各レンズブロックが有限（ゼロでない）であって低いＭＴＦで、かつ光線入射角に伴うＭＴＦの差異が小さい特性を有し、前記演算器は、ＭＴＦが低い画像を用いて距離算出演算を行い、当該画像に逆フィルタ演算を施すことによりＭＴＦを改善した画像を取得する。
【００３２】
低い空間周波数帯から高い空間周波数帯にわたって意図的に有限（ゼロでない）であって、かつＭＴＦを低くした画像を用いて距離算出演算を行うことにより、画像微分による視差検出演算の精度が向上する。それにより、高速、低負荷な演算で測定精度の高い距離測定を実現する。
【発明の効果】
【００３３】
請求項１の発明では、２つのレンズブロックの間隔を長くするかわりに、各レンズブロックの焦点距離を長くして分解能を確保し、また焦点距離に伴い長くなる光路を、導光手段により装置の大型化を招くことなく確保する。また、単一の撮像手段により、装置小型化のみならず、撮像手段の感度の個体差及び撮像タイミングずれを排除する。それらにより、距離の測定分解能の確保と装置の小型化を両立させるとともに、複眼画像の特性及び条件をより一致させた高精度な距離測定りための複眼画像入力装置を実現することができる。
【００３４】
請求項２の発明では、被写体の距離測定のためのレンズブロック群を、遠距離測定用と近距離測定用に分け、遠距離測定用レンズブロック群は焦点距離を長くし、近距離測定用レンズブロック群は焦点距離を短くして、それらを一体にして装置を構成する。それにより、遠距離測定用レンズブロック群による距離測定では、遠距離にある被写体の距離分解能を確保でき、近距離測定用レンズブロック群では、光学倍率を低くできるため、近距離にある被写体であっても、被写体像が撮像手段の撮像面サイズをオーバーすることなく距離測定を可能とすることができる。それにより距離測定の分解能を確保しつつ距離測定のレンジを広げることができる。
【００３５】
請求項３の発明では、撮像手段の撮像面内において、導光手段を構成する光学系の光軸に対して略垂直な方向に、像が配列するように、レンズブロック及び導光手段を配置する。それにより、水平方向における画素数の減少を防止することができ、距離測定に用いられる画像入力装置において、認識性能の低下を防止することができる。
【００３６】
請求項４の発明では、撮像面の長手方向を、像の配列方向に略一致させることにより、水平及び垂直方向ともに所定の画素数を確保でき、距離測定に用いられる画像入力装置において、所望の認識性能を確保することができる。
【００３７】
請求項５の発明では、各レンズブロックによる像のクロストークを防止する手段を構成に付加することにより、各レンズブロックからの光の撮像素子面上でのクロストークを防止することができ、それにより取得される像の品質を確保することができる。
【００３８】
請求項６の発明では、カメラの筐体ではなく、別途設けた保持部材により各レンズブロックを一体として保持する。それにより、レンズブロックの間隔の経時変化を抑制することができ、またカメラ筐体の全体の剛性を上げる必要がないため、装置を安価に構成できる。この結果、装置コストを上げることなく、各レンズブロック間隔の経時変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００３９】
請求項７の発明では、各レンズブロックについての導光手段の一部、例えば一枚のミラーを共通の部品で構成する。それにより少なくとも共通化した部品の位置や姿勢が経時的に変化しても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができ、導光手段の経時的な変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００４０】
請求項８の発明では、各レンズブロックについての導光手段を一体の屈曲光学系により構成する。それにより、導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができ、導光手段の経時的な変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００４１】
請求項９の発明では、共通化手段を屈曲光学系の一面に設けたミラー面で構成することにより、導光手段に経時的な変化があっても、各画像における被写体の位置は同様にずれ、視差は変化しないため、本来の被写体までの距離を正確に算出することができ、導光手段の経時的な変化の測定誤差への影響を排除し、正確な距離測定値を得ることができる。
【００４２】
請求項１０の発明では、共通化手段を、レンズブロック保持部材の撮像手段側の面に設けたミラー面で構成することにより、導光手段の位置や姿勢の経時変化による距離測定誤差を排除するとともに、レンズブロック間隔の経時変化による距離測定誤差も抑制し、正確な距離測定値を得ることができる。
【００４３】
請求項１１の発明では、請求項１の発明の複眼画像入力装置を用いて距離測定装置を構成するため、請求項１の発明と同様の作用効果が可能となる。
【００４４】
請求項１２の発明では、請求項２の発明の複眼画像入力装置を用いて距離測定装置を構成するため、請求項２の発明と同様の作用効果が可能となる。また、近距離測定による距離画像と遠距離画像による距離画像を１つの画像に合成して出力することにより、ユーザーが認識しやすい距離画像を出力することができる。
【００４５】
請求項１３の発明では、複眼画像入力装置を請求項３乃至１０の構成とすることにより、請求項３乃至１０と同様の作用効果が可能となる。
【００４６】
請求項１４の発明では、請求項１１あるいは１２記載の距離測定装置における演算器の具体構成を提供することができる。
【００４７】
請求項１５の発明では、低い空間周波数帯から高い空間周波数帯にわたって意図的に有限（ゼロでない）であって、かつＭＴＦを低くした画像を用いて距離算出演算を行うことにより、画像微分による視差検出演算の精度を向上させることができ、それにより、高速、低負荷な演算で測定精度の高い距離測定を実現することができる。
【発明を実施するための最良の形態】
【００４８】
以下、本発明の実施レーの形態について図面により詳述する。
【実施例１】
【００４９】
図１に、本発明による複眼画像入力装置の実施例１（基本構成例）の装置構成を示す。１は被写体を左側から観察し、被写体の像を像面上で形成するための第１のレンズブロックで、複数のレンズ面がその光軸方向に積み重ねられて構成されている。同様に、２は被写体を右側から観察し、複写体の像を像面上で形成するための第２のレンズブロックで、同じく複数のレンズ面がその光軸方向に積み重ねられて構成されている。レンズブロックの光軸と略垂直な平面内における１と２の間隔に基づき、視差のみ異なる被写体像を取得するために、レンズブロック１と２はほぼ同じレンズ構成、光学特性を有している。
【００５０】
レンズブロック１を通過した光線は、ミラープリズム３ａで折り返され、更にミラープリズム３ｂで折り返されて、単一の撮像手段としてのイメージセンサ６におけるセンサ面のほぼ左半分の領域に到達する。同様に、レンズブロック２を通過した光線は、ミラープリズム４ａ，４ｂで折り返され、イメージセンサ６におけるセンサ面のほぼ右半分の領域に到達する。それぞれのミラープリズム３ａ，３ｂ，４ａ，４ｂは、その稜線にミラー面が蒸着され、図１のように光線を反射して、レンズブロック１，２を通過した光線をイメージセンサ６まで導く導光手段３，４として作用する。イメージセンサ６は、ＣＣＤやＣＭＯＳ等の固体撮像素子であり、基板５の上に実装されている。７はレンズブロック、ミラープリズム、イメージセンサ、基板を保持する筐体である。ミラープリズムは紙面と垂直な方向にある面のいずれかを筐体に接触させ、接着されている。
【００５１】
図示していないが、イメージセンサ６には、センサ面を保護するためのカバーガラスが設けられており、また必要に応じてエイリアジング防止のためのローパスフィルタとして作用する光学薄膜や近赤外光を排除するＩＲフィルタとして作用する光学薄膜を設けてもよい。
【００５２】
イメージセンサ６により撮像された画像は、画像データのインターフェース部を介して、演算器１００に転送される。演算器１００では、レンズブロック１、２による像における被写体の視差を検出する演算処理を行い、カメラから被写体までの距離を算出して、距離画像として出力する。演算器１００は基本的にコンピュータと同様の構成である。図１に演算器１００で距離画像を出力する処理フローを一緒に示す。この演算器１００まで含めた装置構成を距離測定装置と称する。これは、実施例２以降の構成でも同様である。
【００５３】
図２は、本実施例の複眼画像入力装置を自動車に搭載し、前方を観察したときに取得される画像の一例である。イメージセンサ６の左半分の領域８ａにレンズブロック１による像が観察され、右半分の領域８ｂにレンズブロック２による像がそれぞれ上下左右反転して観察される。なお、分かりやすいように、図２では上下正転した像を示している。画像８ａと８ｂは、レンズブロック１と２の間隔に応じて自動車の前方風景を異なる位置から観察しており、それにより観察画像に視差が生じている。レンズブロック１と２の垂直位置及び姿勢を厳密に調整しておけば、該レンズブロック１，２の間隔に起因して水平方向にのみ視差を有する画像が得られる。画像の中央付近にある黒い部分９はミラープリズム３ｂと４ｂが隣接する部分で影になっている領域である。
【００５４】
図２の画像は、メモリに一旦格納される。演算器１００が格納された画像データにアクセスして、まず、取得画像における有効領域８ａ、８ｂを切り出す。そして図２に示したように、８ａにおける微小領域１０ａと、それに対応する８ｂにおける微小領域１０ｂに注目して、これら微小領域内での被写体の視差δ（０、０）を算出する。これには、例えば特許第３７７３５６３号の特許公報に記載の標本化位置のずれの推定演算の手法を用いる。この手法によると、画像の水平方向ｘ、垂直方向ｙそれぞれにつき視差を算出できるが、前述のように視差は水平方向にのみ生じるため、ここでは水平方向の視差を算出すればよい。なおδは、イメージセンサの画素単位（ピクセル）で求められる。
【００５５】
装置から被写体までの距離Ａと視差δとの間には次の（１）式の、
【００５６】
【数１】
の関係が成り立つ。ここで、Ｂはレンズブロック間の間隔、ｆはレンズブロックの焦点距離、ｐはイメージセンサの画素サイズである。この（１）式に視差δを代入することで、被写体距離Ａを求めることができる。
【００５７】
その後、注目する微小領域を、図２の１１ａの位置にずらし、同様に１１ｂを参照しながら視差δ（１、０）を算出する。このような動作を図２のｘ、ｙ方向に微小領域を走査しながら画像全体について行い、すべての微小領域について視差δ（ｘ、ｙ）を算出し、（１）式に基づき被写体距離Ａ（ｘ、ｙ）を求めることができる。微小領域を合成すると距離画像が取得され、例えば図２における前方自動車１２までの距離、別の自動車１３までの距離を分離してほぼ同時に知ることができる。
【００５８】
なお、図１では距離測定結果として距離画像を出力する演算処理フローが示されているが、当該距離画像には視差画像も含まれるものとする。
【実施例２】
【００５９】
図３乃至図５に、本発明による複眼画像入力装置の実施例２の装置構成を示す。本実施例は、遠距離測定と近距離測定の併用を可能にする装置構成例である。図３は装置をレンズブロックの光軸方向から観察した図である。図４は装置を上方から観察した図、図５は装置を下方から観察した図である。基本的に、本実施例の複眼画像入力装置は図４と図５のユニットを組み合わせて構成される。
【００６０】
図３乃至図５において、１〜６までの部品は、図１と共通し、第１レンズブロック群であるレンズブロック１，２による複眼画像が導光手段３、４を介して、イメージセンサ６により取得される。１４，１５は第２レンズブロック群である一対のレンズブロックであり、１，２のレンズブロックと比較して焦点距離が短いレンズ構成となっている。レンズブロック１４、１５を通過した光は、導光手段を介さず、イメージセンサ６に直接導かれる。イメージセンサ６は４つの領域に分割されており、図３における紙面の上半分でレンズブロック１４，１５の像が撮像され、下半分でレンズブロック１，２による像が撮像される。１６，１７は、レンズブロック間での光線のクロストークやフレア光を防止するための遮光部材である。
【００６１】
演算器１００では、図３に処理フローを示すように、レンズブロック１，２によるイメージセンサ６により撮像された画像１と２を基に被写体の視差を検出し、先の式（１）に基づき被写体までの距離を算出して遠距離測定結果とする。一方、レンズブロック１４，１５によるイメージセンサ６により撮像された画像３と４をもとに同じく被写体の視差を検出し、被写体までの距離を算出して近距離測定結果とする。そして、得られた遠距離測定結果と近距離測定結果を合成して一つの距離画像として出力する。
【００６２】
図６（ａ）に、レンズブロック１，２による遠距離測定のために取得される画像、図６（ｂ）に、レンズブロック１４，１５による近距離測定のために取得される画像の例を示す。ここでも分かりやすいように、画像は正転させて示している。レンズブロック１、２による像は、焦点距離が長いため、被写体の像が大きく見えている。一方、レンズブロック１４，１５による像は、焦点距離が短いため、光学倍率が低く、被写体が小さくみえると同時に広い視野で観察されている。図７は、距離画像の一例をあらわしたものであり、距離が色の濃淡で表示されたもので、近距離測定結果と遠距離測定結果が合成されて出力されている。遠距離測定の結果は、距離画像の一部１８に相当し、１８の部分は視野が狭い分、他の領域に比べて遠距離の物体に対する距離分解能があがっている。
【実施例３】
【００６３】
図８に、本発明による複眼画像入力装置の実施例３の装置構成を示す。図８において、図１と同じ番号の部品は、図１と同じものを表わしており、全体の動作は図１と同じである。９は遮光部材であり、一方のレンズブロックを通過した光やフレア光が、他方のレンズブロックによる像を撮像するための撮像領域に到達するのを防ぐ作用をしている。この遮光部９は、金属部材を黒染めし、光の通過を防ぐとともに遮光部材表面での反射しないように構成されている。
【００６４】
なお、図３における１６、１７も、上記と同様に光のクロストークを防止するように作用する。
【実施例４】
【００６５】
図９に、本発明による複眼画像入力装置の実施例４の装置構成を示す。図７において、図１と同じ番号の部品は、図１と同じものを表わしている。１９は、筐体７に接着されたミラーを表している。レンズブロック１を通過し、ミラープリズム３ａで反射された光は、ミラー１９で反射してイメージセンサ６の左半分に導かれる。同様に、レンズブロック２を通過し、ミラープリズム４で反射された光は、ミラー１９で反射して、イメージセンサ６の右半分に導かれる。
【００６６】
図１の構成の場合、ミラープリズム３ｂ、４ｂの位置や傾きがそれぞれ独立で変化すると、各レンズブロックによる像のイメージセンサ６上での位置は、それぞれ独立で変化する。像の変化は視差として検出されてしまうため、距離に応じた視差を検出にあたり、ノイズとなり、距離の測定性能を低下させる。これに対し、図９の構成においては、ミラー１９はレンズブロック１による像及びレンズブロック２による像の両者のイメージセンサ６上での位置に寄与するため、仮にミラー１９の傾きが経時的に変化したとしても、両レンズブロックによる像も等しく移動するため、ミラー１９の傾きの距離測定への影響を排除することができる。
【実施例５】
【００６７】
図１０に、本発明による複眼画像入力装置の実施例５の装置構成を示す。図１０において、２０はミラーブロックであり、レンズブロック１及び２のそれぞれを通過し、ミラープリズム３ａ及び４ａで反射した光をそれぞれ反射してイメージセンサ６に導く。図９におけるミラー１９と同様に、ミラーブロック２０は、両レンズブロックの通過光の結像位置に寄与するため、仮にミラーブロック２０の位置や傾きが経時的に変化しても視差検出及び距離測定への影響を排除することができる。
【実施例６】
【００６８】
図１１に、本発明による複眼画像入力装置の実施例６の装置構成を示す。図１１において、２１はミラー面２１ａ、２１ｂ、２１ｃ、２１ｄを有する光学ブロックで、図１の導光手段３，４を構成している。レンズブロック１を通過した光は２１ａ、２１ｂで反射され、イメージセンサ６の右半分に導かれて像を形成する。また、レンズブロック２を通過した光は２１ｃ、２１ｄで反射され、イメージセンサ６の左半分に導かれて像を形成する。各ミラー面は、ブロックに一体化して形成されており、それぞれ独立に傾いたり、位置ずれを起こしたりしない。仮にブロック２１が傾いたり位置ずれを起こしたりしても、レンズブロック１を通過した光線もレンズブロック２を通過した光線も同様に光路を変化させるため、検出される視差には影響を及ぼさない。したがって、図１に示した導光手段３，４を構成する部品の経時的な傾き、位置ずれの距離測定への影響を、抑制、排除することができる。
【００６９】
図１２に、光学ブロック２１のみ取り出した図とその断面図を示す。光学ブロック２１は図の黒く塗り潰した部分をつなぎ目として、２１ａ、２１ｂからなるブロックと、２１ｃ、２１ｄからなるブロックがつながった構成となっている。材質は樹脂が好ましく、成形により効率よく加工できる。
【００７０】
なお、本実施例における光学ブロック２１の他の態様として、図１３に示したように、２２、２３のプリズムが、プリズム２４を介して接着された構成としてもよい。ガラスなど樹脂と比べて成形しづらい材料で製作する場合には、このような構成とすればよい。
【実施例７】
【００７１】
図１４に本発明による複眼画像入力装置の実施例７の装置構成を示す。図１４において、２５はミラー面２５ａ、２５ｂを有する光学ブロックである。２６はレンズブロックを保持するための板である。セラミックなど熱変形の小さい材料や剛性の高い材料で構成されている。レンズブロック１及び２は、保持部材２６に接着で固定されており、保持部材２６は筐体７に接着で固定されており、２７はミラーで、保持部材２６に接着固定されている。レンズブロック１を通過し、ミラー面２５ａで反射された光は、ミラー２７で反射してイメージ船さ６の左半分に導かれる。同様に、レンズブロック２を通過し、２５ｂで反射された光は、ミラー２７で反射してイメージセンサ６の右半分に導かれる。
【００７２】
レンズブロック１、２の独立した経時的な位置、姿勢変動は、視差画像における視差を変動させるため、検出した視差に基づく距離の測定値に影響する。レンズブロック１、２を保持する筐体全体を熱変形に強い材料や剛性の高い材料で製作してもよいが、複雑な形状である筐体を加工するためにコストが上がったり、サイズも大きいため、材料コストが上がったりする。本実施例では、保持部材２６として、熱変形に強い材料や剛性の高い材料を用いて、比較的単純な形状である板状の部材を製作し、それによりレンズブロック１、２を保持する。そのため加工コスト、材料コストを最小限に抑えつつ、レンズブロック１、２の独立した位置や姿勢の経時変動を抑制することができ、距離測定性能を確保することができる。
【００７３】
図１５は、図１０の実施例において保持部２６によりレンズブロック１及び２を保持するようにしたもので、レンズブロックの経時変動と導光手段の経時変動の距離測定への影響を排除することができる。なお、他の実施例においても同様に保持部材２６によりレンズブロックを保持することができる。
【実施例８】
【００７４】
図１６に、本発明による複眼画像入力装置の実施例８の装置構成を示す。２７は光学ブロックで、２７ａ，２７ｂ，２７ｃの面にミラーが蒸着されており、レンズブロック１および２を通過した光を反射して、それぞれイメージセンサ６に導く構成となっている。図１１の実施例と同様に導光手段の一体化により、導光手段を構成する部品の位置ずれの距離測定への影響を排除することができる。レンズブロック１および２は、図１５と同様に保持部材２６に保持することで、レンズブロックの独立した位置や姿勢の経時変動を抑止することができる。
【実施例９】
【００７５】
図１７に本発明による複眼画像入力装置の実施例９の装置構成を示す。図１７は、装置構成を側方から観察したものであるが、図１８に上方から観察した場合を示す。図１７および図１８において、図１と同じ部品には図１と同じ番号が付与されている。図１の構成と異なる点は、レンズブロック１からミラープリズム３ａ、３ｂを介してイメージセンサ６に導かれる像と、レンズブロック２からミラープリズム４ａ、４ｂを介してイメージセンサ６に導かれる像とが、それらの光学系光軸に対して略垂直な方向に配列される点と、イメージセンサの長手方向を像の配列方向と一致させた点である。
【００７６】
例えば、イメージセンサ１６の画素数が１２８０×１０２４の場合、図１の構成では２つの像それぞれのサイズは６４０×１０２４となり、各像の水平方向の画素数が半減する。自動車に搭載した画像入力装置では、図１の装置構成による画像を距離測定用に用いると同時に標識や白線などの認識用の画像として用いたいとする要請があり、水平方向に画素数、すなわち解像度が要求され、上記６４０の画素数では不足することがある。図１７のような構成にすると、図１８に示すように、レンズブロック１からの像はイメージセンサ６の上半分に導かれ、レンズブロック２からの像はイメージセンサ６の下半分に導かれる。この結果、２つの像それぞれの画像サイズは１０２４×６４０となり、水平方向の画素数を確保することができ、水平方向に解像度が要求される場合にも対応することができる。
【００７７】
図１９に、各レンズブロックによる像が導光手段を構成する光学系の光軸に対して略垂直な方向（垂直方向）に配列された複眼画像の例を示す。８ａがレンズブロック１による画像、８ｂがレンズブロック２による画像であり、ここでも分かりやすいように、画像は正転させて示している。図１７に処理フローを示したように、演算器１００では、これら画像を用いて視差を検出し、距離画像を得ると共に、認識処理により標識等を認識する。
【００７８】
なお、図１７、図１８では、イメージセンサの長手方向と像の配列方向とを一致させたが、イメージセンサの短手方向と像の配列方向とを一致させてもよい。その場合、上述の例では、２つの像それぞれの画像サイズは、１２８０×５１２となり、水平方向の解像度をより上げることができる。イメージセンサにより撮像される画像の水平、垂直の向き（センサの長手方向を水平方向とするか垂直方向とするか）は、レジスタで容易に設定可能である。
【００７９】
また、図２０のように、ミラー面３ａ、３ｂ及び４ａ、４ｂをそれぞれ一体化する構成とすると、導光手段３，４を構成する部品の位置や姿勢の経時変動の距離測定への影響を排除でき、また導光手段３と４を樹脂成形で一体化したり、接着して一体化したりしても、さらに経時変動の影響を排除できる。
【００８０】
なお、実施例１や実施例９では、各レンズブロックにより得られる画像のサイズが等しくなる場合を想定したが、一方の画像サイズを他方に対し大きくなるようにしてもよい。例えばイメージセンサの画素数が１２８０×１０２４画素の場合に、実施例１の装置構成では、一方が８００×１０２４画素で他方が４８０×１０２４画素としたり、実施例９の装置構成では、一方が１０２４×７２０画素で、他方が１０２４×５６０画素としたりしてもよい。それらでは小さいほうの画像サイズ相当でしか距離画像が得られないが、大きいほうの画像で必要に応じた比較的高い解像度で認識処理を実行できる点が有利である。
【実施例１０】
【００８１】
図２１に、レンズブロックのＭＴＦ特性の一例を示す。図２１（ａ）は光軸に対するレンズブロックへの光線の入射角度がＡ、Ｂ、Ｃと異なる様子を示しており、図２１（ｂ）はＡ、Ｂ、Ｃに対応したタンジェンシャル、サジタル方向のＭＴＦを示している。レンズブロックを構成する各レンズの面曲率や面間隔を調整することにより、低い空間周波から高い空間周波数にわたってＭＴＦ特性を低く設定し、それによりレンズブロックへの光線入射角に伴うＭＴＦ特性の差異を抑制することができる。
【００８２】
図２１のようなＭＴＦ特性を有するレンズブロックにより取得される画像をシミュレーションで推定すると、図２３（ａ）のようになり、コントラストが低く、かつその低さが画像全体にわたって均一な画像となる。
【００８３】
先の特許第３７７３５０３号の特許後方に示されている手法では、視差を有する画像の微分演算を実行することにより、高速、低負荷で視差検出を行うことができるが、高い空間周波数特性、すなわち比較的急激な輝度変化を有する画像から視差検出演算を行うと、検出値にノイズが含まれてしまう特性がある。
【００８４】
図２２に、空間周波数と視差検出誤差との関係を示すための視差検出シミュレーションの一例を示す。図の横軸は画像のボケ（ガウス関数の標準偏差）、縦軸は検出した視差（平均と標準偏差）を表す。図から、ボケが大きくなるほど検出視差の平均値が真値（この場合は０.６画素）に近づき、またばらつきも小さくなることが分かる。
【００８５】
本実施例では、図２３（ａ）のような低い空間周波数帯から高い空間周波数帯にわたって意図的にＭＴＦを有限（ゼロでない）であって、かつ低くした画像を用いて距離算出演算を行うことにより、上述の視差検出誤差を抑制する。レンズブロックのＭＴＦはゼロでないため、標識や白線の認識のためにコントラストが要求される場合には、レンズブロックの設計データから推定されるＰＳＦに基づき、図２３（ａ）の画像を空間フィルタリングすることにより、図２３（ｂ）のようにコントラストを向上させた画像を復元する。
【図面の簡単な説明】
【００８６】
【図１】本発明による複眼画像入力装置の実施例１（基本構成例）の構成図。
【図２】実施例１の装置を用いて取得される複眼画像の様子を示す図。
【図３】本発明による複眼画像入力装置の実施例２の装置構成で、レンズブロックの光軸方向から観察した図。
【図４】実施例２の装置の観察方向を上方からとした図。
【図５】実施例２の装置の観察方向を下方からとした図。
【図６】実施例２の装置を用いて取得される複眼画像の様子を示す図。
【図７】実施例２の装置で得られる遠距離測定結果と近距離測定結果を合成した距離画像の例を示す図。
【図８】本発明による複眼画像入力装置の実施例３の構成図。
【図９】本発明による複眼画像入力装置の実施例４の構成図。
【図１０】本発明による複眼画像入力装置の実施例５の構成図。
【図１１】本発明による複眼画像入力装置の実施例６の構成図。
【図１２】図１１の装置の光学ブロックを取り出して示した図。
【図１３】光学ブロックのほかの構成例を示す図。
【図１４】本発明による複眼画像入力装置の実施例７の構成図。
【図１５】図１０の装置に実施例７を適用した図。
【図１６】本発明による複眼画像入力装置の実施例８の構成図。
【図１７】本発明による複眼画像入力装置の実施例９の構成図。
【図１８】図１７の装置構成を上方から観察した図。
【図１９】実施例９の装置を用いて取得された複眼画像の様子を示す図。
【図２０】本発明による複眼画像入力装置の実施例９の他の構成図。
【図２１】光線の入射角によらず，有限であってかつ低いＭＴＦ特性の例を説明する図。
【図２２】画像のボケ具合と視差検出性能との関係を説明する図。
【図２３】光線の入射角によらず，有限であってかつ低いＭＴＦ特性を有する光学系により得られる画像と、空間フィルタによりコントラストを復元した画像の例を示す図。
【符号の説明】
【００８７】
１，２ レンズブロック
３，４ 導光手段
５ 基板
６ イメージセンサ
７ 筐体
１００ 演算器
【特許請求の範囲】
【請求項１】
複眼による視差を利用して、物体との距離を測定するための複眼画像入力装置であって、光軸と略垂直な面内に設置された２個以上のレンズブロックと、前記各レンズブロックによる像を複眼画像として撮像するための単一の撮像手段と、前記各レンズブロックによる像を前記撮像手段に導く導光手段とを有することを特徴とする複眼画像入力装置。
【請求項２】
複眼による視差を利用して，物体との距離を測定するための複眼画像入力装置であって、所定の焦点距離を有し，光軸と略垂直な面内に設置された２個以上のレンズブロックから構成された第１レンズブロック群と、前記第１レンズブロック群におけるレンズブロックとは異なる焦点距離を有し、光軸と略垂直な面内に設置された２個以上のレンズブロックから構成された第２レンズブロック群と、前記各レンズブロック群による像を複眼画像として撮像するための撮像手段と、少なくとも一方のレンズブロック群による像を撮像手段に導く導光手段とを有することを特徴とする複眼画像入力装置。
【請求項３】
前記撮像手段の撮像面内において、導光手段を構成する光学系の光軸に対して略垂直な方向に、像が配列するように、前記レンズブロック及び導光手段を配置したことを特徴とする請求項１あるいは２記載の複眼画像入力装置。
【請求項４】
撮像面の長手方向を、前記２つの像の配列方向に略一致させたことを特徴とする請求項３記載の複眼画像入力装置。
【請求項５】
前記各レンズブロックを通過する光線のクロストークを防止する部材を有することを特徴とする請求項１、２あるいは３記載の複眼画像入力装置。
【請求項６】
前記各レンズブロックを一体として保持するためのレンズブロック保持部材を有することを特徴とする請求項１、２あるいは３記載の複眼画像入力装置。
【請求項７】
前記導光手段の一部を各レンズブロックについて共通化するための手段（以下、共通化手段）を有することを特徴とする請求項１、２、３あるいは６記載の複眼画像入力装置。
【請求項８】
前記各レンズブロックについての導光手段を一体の屈曲光学系により構成したことを特徴とする請求項１、２、３あるいは６記載の複眼画像入力装置。
【請求項９】
前記共通化手段が前記屈曲光学系の撮像手段と対向する一面に設けたミラー面であることを特徴とする請求項７記載の複眼画像入力装置。
【請求項１０】
前記共通化手段が、前記レンズブロック保持部材の撮像手段側の面に設けたミラー面であることを特徴とする請求項７記載の複眼画像入力装置。
【請求項１１】
請求項１記載の複眼画像入力装置と、該複眼画像入力装置で撮像された複眼画像における被写体像の視差から被写体までの距離を算出して、距離画像を生成する演算器とを有することを特徴とする距離測定装置。
【請求項１２】
請求項２記載の複眼画像入力装置と、該複眼画像入力装置で撮像された第１レンズブロック群による複眼画像及び第２レンズブロック群による複眼画像における被写体像の視差から被写体までの距離を算出して、これら２つの距離算出結果を合成して１つの距離画像を生成する演算器とを有することを特徴とする距離測定装置。
【請求項１３】
複眼画像入力装置は、請求項２乃至１０のいずれ１項に記載の構成とすることを特徴とする請求項１１あるいは１２記載の距離測定装置。
【請求項１４】
前記演算器は、複眼画像をレンズブロックに対応する数の画像に分割し、該分割した画像間での視差を検出し、該検出した視差をもとに距離を算出することを特徴とする請求項１１あるいは１２記載の距離測定装置。
【請求項１５】
請求項１１、１２あるいは１４記載の距離測定装置において、
前記複眼画像入力装置は、各レンズブロックが有限（ゼロでない）であって低いＭＴＦで、かつ光線入射角に伴うＭＴＦの差異が小さい特性を有し、
前記演算器は、ＭＴＦが低い画像を用いて距離算出演算を行い、当該画像に逆フィルタ演算を施すことによりＭＴＦを改善した画像を取得する、
ことを特徴とする距離測定装置。
【請求項１】
複眼による視差を利用して、物体との距離を測定するための複眼画像入力装置であって、光軸と略垂直な面内に設置された２個以上のレンズブロックと、前記各レンズブロックによる像を複眼画像として撮像するための単一の撮像手段と、前記各レンズブロックによる像を前記撮像手段に導く導光手段とを有することを特徴とする複眼画像入力装置。
【請求項２】
複眼による視差を利用して，物体との距離を測定するための複眼画像入力装置であって、所定の焦点距離を有し，光軸と略垂直な面内に設置された２個以上のレンズブロックから構成された第１レンズブロック群と、前記第１レンズブロック群におけるレンズブロックとは異なる焦点距離を有し、光軸と略垂直な面内に設置された２個以上のレンズブロックから構成された第２レンズブロック群と、前記各レンズブロック群による像を複眼画像として撮像するための撮像手段と、少なくとも一方のレンズブロック群による像を撮像手段に導く導光手段とを有することを特徴とする複眼画像入力装置。
【請求項３】
前記撮像手段の撮像面内において、導光手段を構成する光学系の光軸に対して略垂直な方向に、像が配列するように、前記レンズブロック及び導光手段を配置したことを特徴とする請求項１あるいは２記載の複眼画像入力装置。
【請求項４】
撮像面の長手方向を、前記２つの像の配列方向に略一致させたことを特徴とする請求項３記載の複眼画像入力装置。
【請求項５】
前記各レンズブロックを通過する光線のクロストークを防止する部材を有することを特徴とする請求項１、２あるいは３記載の複眼画像入力装置。
【請求項６】
前記各レンズブロックを一体として保持するためのレンズブロック保持部材を有することを特徴とする請求項１、２あるいは３記載の複眼画像入力装置。
【請求項７】
前記導光手段の一部を各レンズブロックについて共通化するための手段（以下、共通化手段）を有することを特徴とする請求項１、２、３あるいは６記載の複眼画像入力装置。
【請求項８】
前記各レンズブロックについての導光手段を一体の屈曲光学系により構成したことを特徴とする請求項１、２、３あるいは６記載の複眼画像入力装置。
【請求項９】
前記共通化手段が前記屈曲光学系の撮像手段と対向する一面に設けたミラー面であることを特徴とする請求項７記載の複眼画像入力装置。
【請求項１０】
前記共通化手段が、前記レンズブロック保持部材の撮像手段側の面に設けたミラー面であることを特徴とする請求項７記載の複眼画像入力装置。
【請求項１１】
請求項１記載の複眼画像入力装置と、該複眼画像入力装置で撮像された複眼画像における被写体像の視差から被写体までの距離を算出して、距離画像を生成する演算器とを有することを特徴とする距離測定装置。
【請求項１２】
請求項２記載の複眼画像入力装置と、該複眼画像入力装置で撮像された第１レンズブロック群による複眼画像及び第２レンズブロック群による複眼画像における被写体像の視差から被写体までの距離を算出して、これら２つの距離算出結果を合成して１つの距離画像を生成する演算器とを有することを特徴とする距離測定装置。
【請求項１３】
複眼画像入力装置は、請求項２乃至１０のいずれ１項に記載の構成とすることを特徴とする請求項１１あるいは１２記載の距離測定装置。
【請求項１４】
前記演算器は、複眼画像をレンズブロックに対応する数の画像に分割し、該分割した画像間での視差を検出し、該検出した視差をもとに距離を算出することを特徴とする請求項１１あるいは１２記載の距離測定装置。
【請求項１５】
請求項１１、１２あるいは１４記載の距離測定装置において、
前記複眼画像入力装置は、各レンズブロックが有限（ゼロでない）であって低いＭＴＦで、かつ光線入射角に伴うＭＴＦの差異が小さい特性を有し、
前記演算器は、ＭＴＦが低い画像を用いて距離算出演算を行い、当該画像に逆フィルタ演算を施すことによりＭＴＦを改善した画像を取得する、
ことを特徴とする距離測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−２２３３（Ｐ２０１０−２２３３Ａ）
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願番号】特願２００８−１５９５６８（Ｐ２００８−１５９５６８）
【出願日】平成２０年６月１８日（２００８．６．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願日】平成２０年６月１８日（２００８．６．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]