距離計測装置、距離計測方法および距離計測プログラム
【課題】検出範囲内の全ての検出点における距離情報を取得すること。
【解決手段】本発明にかかる距離計測装置１は、検出範囲内に位置する物体までの距離を検出するレーダ６０と、所定の撮像視野に対応する画像信号群を生成する撮像部１０と、撮像部１０から出力された画像信号群をもとに撮像視野内の距離を演算する距離演算部２０と、レーダ６０からの検出結果から非検出点を検出し、この非検出点に対応する領域の距離演算を距離演算部２０に対して指示するとともに、距離演算部２０における演算値を非検出点に補充した検出結果を距離データ５３として出力する補完部３１とを備える。
【解決手段】本発明にかかる距離計測装置１は、検出範囲内に位置する物体までの距離を検出するレーダ６０と、所定の撮像視野に対応する画像信号群を生成する撮像部１０と、撮像部１０から出力された画像信号群をもとに撮像視野内の距離を演算する距離演算部２０と、レーダ６０からの検出結果から非検出点を検出し、この非検出点に対応する領域の距離演算を距離演算部２０に対して指示するとともに、距離演算部２０における演算値を非検出点に補充した検出結果を距離データ５３として出力する補完部３１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検出範囲内に位置する物体までの距離を検出する距離計測装置、距離計測方法および距離計測プログラムに関する。
【背景技術】
【０００２】
近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づいて、警報出力などの各種処理を行なう距離計測装置がある。
【０００３】
従来から、このような距離計測装置として、レーダを備えた距離計測装置が提案されている（特許文献１参照）。このレーダ距離計測装置は、たとえば前方向に対してレーザ光等の発信波を発し、先行車両等の障害物からの反射波を検知することによって障害物の有無および障害物までの距離を検出している。
【０００４】
【特許文献１】実公昭６３−４３１７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のレーダ距離計測装置では、距離が検出されない箇所が多く、検出範囲内の全ての検出点における距離情報を取得することができないという問題があった。たとえば、何も存在しない領域に発信波が発せられた場合には、レーダは反射波を受信することができない。また、物体の構成材料によっては発信波が吸収されてしまい、レーダは反射波を受信することができない。このため、従来のレーダ距離計測装置では、物体が存在しない領域や発信波を吸収する材料を備えた物体が位置する箇所などにおける距離情報を取得することができず、検出範囲内の全ての検出点における距離情報を出力することができなかった。
【０００６】
この発明は、上記した従来技術の欠点に鑑みてなされたものであり、レーダを備えた距離計測装置において、検出範囲内の全ての検出点に対して正確な距離情報を取得することができる距離計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、この発明にかかる距離計測装置は、検出範囲内に位置する物体までの距離を検出するレーダを備えた距離計測装置において、少なくとも前記検出範囲を含む撮像視野を有し、前記撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、前記レーダからの検出結果から非検出点を検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出力する補完手段と、を備えたことを特徴とする。
【０００８】
また、この発明にかかる距離計測装置は、前記補完手段は、前記演算手段に対して前記非検出点に対応する領域の距離演算を指示し、前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行なうことを特徴とする。
【０００９】
また、この発明にかかる距離計測装置は、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。
【００１０】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
【００１１】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。
【００１２】
また、この発明にかかる距離計測装置は、当該距離計測装置は、車両に搭載されることを特徴とする。
【００１３】
また、この発明にかかる距離計測方法は、検出範囲内に位置する物体までの距離を検出する検出方法において、前記検出範囲内に位置する物体までの距離を検出する検出ステップと、少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記検出ステップにおける検出結果から非検出点を検出し、該非検出点に前記演算ステップにおける演算値を補充する補完ステップと、を含むことを特徴とする。
【００１４】
また、この発明にかかる距離計測プログラムは、検出範囲内に位置する物体までの距離を検出する検出プログラムにおいて、前記検出範囲内に位置する物体までの距離を検出する検出手順と、少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、前記検出手順における検出結果から非検出点を検出し、該非検出点に前記演算手順における演算値を補充する補完手順と、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明にかかる距離計測装置によれば、検出手段の検出結果から非検出点を検出し該非検出点に演算手段における演算値を補充した検出結果を距離情報として出力する補完手段を備えることによって、検出手段の検出範囲内の全ての検出点に対して正確な距離情報を出力することができる。このため、本発明にかかる距離計測装置が出力する距離情報を用いることによって、各種安全運転支援処理を正確に行なうことができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、この発明の実施の形態である距離計測装置について説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００１７】
まず、実施の形態にかかる距離計測装置について、車両に搭載され、検出範囲内の距離情報を出力する距離計測装置を例として説明する。この距離計測装置が出力する距離情報に基づいて、他の装置などによる各種安全運転支援処理が行なわれる。本実施の形態にかかる距離計測装置は、レーダの検出結果から非検出点を検出し、この非検出点に距離演算部が演算した演算値を補充して距離情報として出力する補完部を備える。図１は、本実施の形態にかかる距離計測装置の概略構成を示すブロック図である。
【００１８】
図１に示すように、本実施の形態にかかる距離計測装置１は、少なくともレーダ６０の検出範囲を含む撮像視野を有し、この撮像視野に対応する画像信号群を作成する撮像部１０と、撮像部１０が生成した画像信号群をもとに撮像視野内に位置する物体までの距離を演算する距離演算部２０と、距離計測装置１を構成する各構成部の各処理および各動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、所定の検出範囲内に位置する物体までの距離を検出するレーダ６０とを備える。撮像部１０と、距離演算部２０と、出力部４０と、記憶部５０と、レーダ６０とは、制御部３０に電気的に接続される。
【００１９】
撮像部１０は、右カメラ１１ａと、右カメラ１１ａと左カメラ１１ｂとを備える。右カメラ１１ａおよび左カメラ１１ｂは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ１１ａおよび左カメラ１１ｂは、それぞれ、レンズ１２ａ，１２ｂと、撮像素子１３ａ，１３ｂと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａ，１４ｂと、フレームメモリ１５ａ，１５ｂとを備える。レンズ１２ａ，１２ｂは、所定の視野角から入射する光を集光する。レンズ１２ａ，１２ｂにそれぞれ対応して配置される撮像素子１３ａ，１３ｂは、ＣＣＤまたはＣＭＯＳなどによって実現され、レンズ１２ａ，１２ｂを透過した光を検知してアナログ画像信号に変換する。Ａ／Ｄ変換部１４ａ，１４ｂは、撮像素子１３ａ，１３ｂから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ１５ａ，１５ｂは、Ａ／Ｄ変換部１４ａ，１４ｂから出力されたデジタル画像信号を記憶し、１枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。
【００２０】
距離演算部２０は、撮像部１０から出力された画像信号群を処理し撮像視野内に位置する物体までの距離を演算する演算部２１と、撮像部１０から出力された画像信号群を記憶するメモリ２２とを備える。距離演算部２０は、補完部３１の演算指示にしたがって、レーダ６０における非検出点に対応する領域の距離演算を行なう。
【００２１】
演算部２１は、ステレオ法を用いて、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部２１は、右カメラ１１ａから出力された右画像信号群の中から、左カメラ１１ｂから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Ｉをもとに、三角測量の原理によって距離を演算する。演算部２１は、以下の（１）式を用いて、撮像部１０から対象物体である車両Ｃまでの距離Ｒを求める。（１）式において、ｆはレンズ１２ａ，１２ｂの焦点距離であり、Ｌはレンズ１２ａ，１２ｂの光軸間の幅である。また、移動量Ｉは、移動した画素の数と画素ピッチとをもとに求めてもよい。
Ｒ＝ｆ・Ｌ／Ｉ・・・（１）
演算部２１は、非検出点に対応する領域に含まれる各画像信号に対応した距離Ｒを演算し、演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ５２を制御部３０に出力する。
【００２２】
制御部３０は、記憶部５０に記憶された処理プログラムを実行するＣＰＵなどによって実現され、撮像部１０と距離演算部２０と出力部４０と記憶部５０とレーダ６０との各処理または動作を制御する。制御部３０は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。
【００２３】
制御部３０は、補完部３１を備える。補完部３１は、レーダ６０からの検出結果から非検出点を検出し、この非検出点に距離演算部２０における演算値を補充した検出結果を距離情報として出力する。また、補完部３１は、距離演算部３０に対して、検出結果における非検出点に対応する領域の距離演算を指示する。
【００２４】
出力部４０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部１０が撮像した画像などの各種表示情報を表示出力する。また、出力部４０は、スピーカをさらに備え、距離情報のほか、先行する車両Ｃと接近した旨を報知する警告音声などの各種音声情報を出力する。
【００２５】
記憶部５０は、処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するＲＡＭとを備える。記憶部５０は、レーダ６０から出力された検出データ５１、距離演算部２０から出力された演算データ５２および補完部３１から出力された距離データ５３を記憶する。
【００２６】
レーダ６０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ６０から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ６０は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、距離計測装置１から発信波を反射した物体までの距離を検出する。レーダ６０は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ５１を制御部３０に出力する。レーダ６０は、発信波として、レーザ光、赤外線またはミリ波を送信する。レーダ６０は、発信波を反射する物体が存在しない領域や発信波を吸収する部材を備えた物体が存在する領域に対して発信波を発信した場合、反射波を受信することがない。このため、このような領域は、検出データ５１において、距離を検出することができない非検出点となる。
【００２７】
つぎに、距離計測装置１の動作のうち、制御部３０が距離データ５３を出力するまでの処理動作について説明する。図２は、距離計測装置１において、制御部３０が距離データ５３の出力を完了するまでの処理手順を示すフローチャートである。
【００２８】
図２に示すように、まず、制御部３０は、レーダ６０に対して、検出範囲内に位置する物体までの距離を検出する検出処理の指示を行なう（ステップＳ１０２）。レーダ６０は、制御部３０の検出処理の指示にしたがい、検出範囲内に位置する物体までの距離を検出し、検出データ５１を制御部３０に出力する。制御部３０は、レーダ６０からの検出データ５１を受信し（ステップＳ１０４）、補完部３１は、受信した検出データ５１の中に、レーダ６０の検出範囲内における非検出点を検出する（ステップＳ１０６）。つぎに、補完部３１は、受信した検出結果に非検出点があるか否かを判断する（ステップＳ１０８）。補完部３１は、非検出点があると判断した場合には（ステップＳ１０８：Ｙｅｓ）、非検出点に距離演算部２０の演算値を補充する補完処理を行ない（ステップＳ１１０）、非検出点に距離演算部２０の演算値を補充した検出結果を距離情報として出力する（ステップＳ１１２）。一方、補完部３１は、非検出点がないと判断した場合には（ステップＳ１０８：Ｎｏ）、受信した検出データ５１を距離データ５３として出力する（ステップＳ１１２）。
【００２９】
つぎに、図２に示す補完処理について説明する。図３は、図２に示す補完処理の処理手順を示すフローチャートである。図３に示すように、制御部３０は、撮像部１０に対して撮像処理を指示する（ステップＳ１２２）。次いで、補完部３１は、距離演算部２０に対して、検出した非検出点に対応する領域の距離演算を指示する（ステップＳ１２４）。距離演算部２０は、補完部３１の演算指示にしたがって、非検出点に対応する領域の距離を演算する距離演算処理を行ない（ステップＳ１２６）、各演算値を演算データ５２として制御部３０に出力する。補完部３１は、距離演算部２０から出力された演算データ５２を用いて、距離演算部２０が演算した演算値を検出データ５１における非検出点に補充し（ステップＳ１２８）、補完処理を終了する。
【００３０】
つぎに、図２および図３に示す各処理手順について具体的に説明する。図４は、図１に示す検出データ５１の一例を示す図である。図４に示す検出データ５１ａでは、レーダ６０が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「●」として示し、検出しなかった箇所をレーダ非検出点「×」として示す。
【００３１】
補完部３１は、検出情報５１ａから、レーダ非検出点を検出した場合（ステップＳ１０８：Ｙｅｓ）、撮像部１０に撮像処理を指示した（ステップＳ１２２）後、レーダ非検出点に対応する領域、たとえば図４の領域Ｓ１の距離演算を距離演算部２０に対して指示する（ステップＳ１２４）。
【００３２】
距離演算部２０は、補完部３１の指示にしたがって、図５に示すように、右カメラ１１ａから出力された右画像信号群１６ａと左カメラ１１ｂから出力された左画像信号群１６ｂとをもとに、領域Ｓ１における距離演算を行なう（ステップＳ１２６）。左画像信号群１６ｂにおいて領域Ｓ１に対応する画像信号が１６１ｂである場合には、演算部２１は、まず、右画像信号群１６ａにおいて画像信号１６１ｂと対応する箇所に位置する画像信号１６１ａと、画像信号群１６１ｂとを比較し、画像信号１６１ａと画像信号１６１ｂとが整合するか否かを検討する。演算部２１は、画像信号１６１ａと画像信号１６１ｂとが整合しないと判断した場合には、図５の右方向に順次移動しながら、画像信号１６１ｂと整合する画像信号を探索する。演算部２１が、右画像信号群１６ａにおいて、画像信号１６１ｂと整合する画像信号１６５ａを検出した場合には、画像信号１６１ａから画像信号１６５ａまでの移動量Ｉ１を求め、（１）式を用いて領域Ｓ１における距離を演算する。このように、距離演算部２０は、レーダ６０の検出データ５１における非検出点に対応する領域に対してのみ距離演算を行い、この領域に対応して演算したそれぞれの演算値を演算データ５２として制御部３０に出力する。
【００３３】
つぎに、補完部３１が、距離演算部２１が演算した演算値を検出データ５１における非検出点に補充する処理（ステップＳ１２８）について、図６を用いて説明する。ここで、図６では、図４と同様に、レーダ６０が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「●」として示し、検出しなかった箇所をレーダ非検出点「×」として示すとともに、距離演算部２０が距離を演算した領域を演算点「○」として示す。
【００３４】
図６に示すように、まず、距離演算部２０から、検出データ５１ａの非検出点に対応した領域における距離を演算した演算データ５２ａが出力される。つぎに、補完部３１は、レーダ６０から出力された検出データ５１ａにおける非検出点に、距離演算部２０から出力された演算データ５２ａにおける演算値を補充することによって、距離データ５３ａを作成する。この結果、距離計測装置１では、検出範囲内の全ての検出点に対応した距離情報を出力することができる。
【００３５】
従来の距離計測装置では、発信波を発信した全ての箇所に対する距離を検出することができなかった。たとえば、従来の距離計測装置では、図７に示すように、先行する車両Ｃのガラス部分にレーダから発信波が送信された場合、この発信波がガラスに吸収されてしまい、レーダは反射波を受信できなかった。このため、従来の距離計測装置では、この領域に対応する距離情報は非検出点６３とされ、自車両と車両Ｃとの間の距離を出力できなかった。したがって、従来の距離計測装置では、車両Ｃが自車両と近接していた場合であっても警告音声を出力することができず、先行する車両Ｃが近接している旨を自車両の運転者に対して報知することができなかった。この結果、従来の距離計測装置では、安全運転支援を正確に行なうことができないという弊害があった。
【００３６】
これに対し、本実施の形態にかかる距離計測装置１では、補完部３１が、検出データ５１における非検出を検出し、距離演算部２０が演算した演算値を非検出点に補充した距離データ５３を出力する。すなわち、距離計測装置１は、発信波を発信した全ての箇所に対する距離情報を出力することが可能となる。たとえば、図８に示すように、先行する車両Ｃのガラス部分に対応する領域の距離がレーダ６０によって検出されず、非検出点とされた場合であっても、補完部３１は、この非検出点に距離演算部２０による演算値２３を補充している。このため、距離計測装置１では、レーダ６０による距離検出が不可能である位置に車両Ｃが位置しており、この車両Ｃが自車両に近接していた場合であっても、演算値２３をもとに出力部４０から警告音声を出力して、運転者に対して先行する車両Ｃが近接している旨を報知することができる。したがって、本実施の形態にかかる距離計測装置１によれば、安全運転支援を正確に行なうことができる。
【００３７】
また、本実施の形態では、距離演算部２０は、補完部３１が指示した領域に対してのみ距離演算処理を行なう。すなわち、距離演算部２０は、撮像部１０から出力された画像信号群の全ての画像信号に対して、距離演算処理を行なう必要がない。このため、本実施の形態では、全画像信号に対して距離演算処理を行なった場合と比較して、距離演算部２０における距離演算処理に要する時間を短縮することができる。この結果、距離計測装置１によれば、レーダ６０に距離検出の指示を行なってから補完部３１が距離情報を出力するまでに要する処理時間の短縮化を図ることができ、正確な距離情報を迅速に取得することが可能となる。
【００３８】
なお、本実施の形態では、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、距離計測装置１は、形状が既知の物体に対して、撮像部１０における撮像処理およびレーダ６０における検出処理を行い、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置を求める。その後、距離計測装置１では、最小２乗法などを用いて、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置の関係を求め、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係とを整合する。
【００３９】
また、距離計測装置１では、撮像部１０の撮像原点とレーダ６０の検出原点とがずれている場合があっても、撮像点および検出点から距離計測装置１までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
【００４０】
また、実施の形態にかかる距離計測装置１の説明において参照した図４乃至図６は、レーダ６０における検出範囲と撮像部１０における撮像範囲とを重ね合わせた図であり、各レーダ検出点およびレーダ非検出点のいずれかに画像信号が対応する場合について説明したが、必ずしも、撮像部１０から出力された各画像信号の位置がレーダ検出点およびレーダに適合するとは限らない。この場合には、演算部２１は、演算対象となる領域近傍に位置する複数の画像信号をもとに、一次補間法などを用いて演算対象となる領域をそれぞれ補間し、この補間値を用いて演算すればよい。
【００４１】
また、本実施の形態では、レーダ６０を備えた距離計測装置１について説明したが、レーダ６０に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた距離計測装置であってもよいし、光波、マイクロ波、ミリ波、超音波等を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離計測装置であってもよい。
【００４２】
また、本実施の形態における撮像部として、一対のレンズ１２ａ，１２ｂのそれぞれに対応する一対の撮像素子１３ａ，１３ｂを備えた撮像部１０について説明したが、これに限らず、図９に示すように、一対の導光学系と、各導光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部１１０としてもよい（たとえば、本出願人による特開平８−１７１１５１参照）。図９に示すように、撮像部１１０は、一対のミラー１１１ａ，１１１ｂと、ミラー１１１ａ，１１１ｂのそれぞれに対応するミラー１１２ａ，１１２ｂと、レンズ１１２ｃと、レンズ１１２ｃによって集光された光をアナログ画像信号に変換する撮像素子１１３と、撮像素子１１３から出力されたアナログ画像信号をデジタル画像信号に変更するＡ／Ｄ変換部１１４と、デジタル信号を記憶するフレームメモリ１１５とを備える。ミラー１１１ａ，１１１ｂは、車両Ｃなどの被写体からの光を受光し、ミラー１１２ａ，１１２ｂは、ミラー１１１ａ，１１１ｂが受光した光をレンズ１１２ｃに反射する。このため、撮像素子１１３上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部１１０は、図１０に示すように、画像１１６ａと画像１１６ｂとを含む画像１１６を出力する。このような画像１１６ａ，１１６ｂをもとに、距離演算部２０において、各画像信号に対応する距離値を演算することが可能である。
【００４３】
また、本実施の形態として、撮像部１０として右カメラ１１ａと左カメラ１１ｂとの複数のカメラを備えた距離計測装置１について説明したが、必ずしも複数のカメラを備える必要はなく、単数のカメラを撮像部１０として備えた距離計測装置に適用してもよい。この場合、距離演算部２０は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。ここで、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
【００４４】
また、本実施の形態として、車両に搭載される距離計測装置について説明したが、これに限らず、他の移動体に搭載される距離計測装置に対して適用してもよい。また、移動体に搭載される距離計測装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう距離計測装置に適用してもよい。
【図面の簡単な説明】
【００４５】
【図１】実施の形態にかかる距離計測装置の概略構成を示すブロック図である。
【図２】図１に示す距離計測装置において距離データの出力を完了するまでの処理手順を示すフローチャートである。
【図３】図２に示す補完処理の処理手順を示すフローチャートである。
【図４】図１に示す検出データの一例を示す図である。
【図５】図１に示す距離演算部が行なう距離演算処理を説明する図である。
【図６】図１に示す補完部が行なう補完処理を説明する図である。
【図７】図１に示す撮像部が撮像した画像の一例を示す図である。
【図８】図１に示す撮像部が撮像した画像の一例を示す図である。
【図９】図１に示す撮像部の概略構成の他の例を示すブロック図である。
【図１０】図９に示す撮像部から出力される画像の一例を示す図である。
【符号の説明】
【００４６】
１ 距離計測装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ｃ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
１６ａ 右画像信号群
１６ｂ 左画像信号群
１７ 画像
２０ 距離演算部
２１ 演算部
２２ メモリ
２３ 演算点
３０ 制御部
３１ 補完部
４０ 出力部
５０ 記憶部
５１、５１ａ 検出データ
５２、５２ａ 演算データ
５３、５３ａ 距離データ
６０ レーダ
６３ 非検出点
１６１ａ、１６５ａ、１６１ｂ 画像信号
１１１ａ、１１１ｂ、１１２ａ、１１２ｂ ミラー
１１６、１１６ａ、１１６ｂ 画像
Ｃ 車両
【技術分野】
【０００１】
この発明は、検出範囲内に位置する物体までの距離を検出する距離計測装置、距離計測方法および距離計測プログラムに関する。
【背景技術】
【０００２】
近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づいて、警報出力などの各種処理を行なう距離計測装置がある。
【０００３】
従来から、このような距離計測装置として、レーダを備えた距離計測装置が提案されている（特許文献１参照）。このレーダ距離計測装置は、たとえば前方向に対してレーザ光等の発信波を発し、先行車両等の障害物からの反射波を検知することによって障害物の有無および障害物までの距離を検出している。
【０００４】
【特許文献１】実公昭６３−４３１７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のレーダ距離計測装置では、距離が検出されない箇所が多く、検出範囲内の全ての検出点における距離情報を取得することができないという問題があった。たとえば、何も存在しない領域に発信波が発せられた場合には、レーダは反射波を受信することができない。また、物体の構成材料によっては発信波が吸収されてしまい、レーダは反射波を受信することができない。このため、従来のレーダ距離計測装置では、物体が存在しない領域や発信波を吸収する材料を備えた物体が位置する箇所などにおける距離情報を取得することができず、検出範囲内の全ての検出点における距離情報を出力することができなかった。
【０００６】
この発明は、上記した従来技術の欠点に鑑みてなされたものであり、レーダを備えた距離計測装置において、検出範囲内の全ての検出点に対して正確な距離情報を取得することができる距離計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、この発明にかかる距離計測装置は、検出範囲内に位置する物体までの距離を検出するレーダを備えた距離計測装置において、少なくとも前記検出範囲を含む撮像視野を有し、前記撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、前記レーダからの検出結果から非検出点を検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出力する補完手段と、を備えたことを特徴とする。
【０００８】
また、この発明にかかる距離計測装置は、前記補完手段は、前記演算手段に対して前記非検出点に対応する領域の距離演算を指示し、前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行なうことを特徴とする。
【０００９】
また、この発明にかかる距離計測装置は、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。
【００１０】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
【００１１】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。
【００１２】
また、この発明にかかる距離計測装置は、当該距離計測装置は、車両に搭載されることを特徴とする。
【００１３】
また、この発明にかかる距離計測方法は、検出範囲内に位置する物体までの距離を検出する検出方法において、前記検出範囲内に位置する物体までの距離を検出する検出ステップと、少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記検出ステップにおける検出結果から非検出点を検出し、該非検出点に前記演算ステップにおける演算値を補充する補完ステップと、を含むことを特徴とする。
【００１４】
また、この発明にかかる距離計測プログラムは、検出範囲内に位置する物体までの距離を検出する検出プログラムにおいて、前記検出範囲内に位置する物体までの距離を検出する検出手順と、少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、前記検出手順における検出結果から非検出点を検出し、該非検出点に前記演算手順における演算値を補充する補完手順と、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明にかかる距離計測装置によれば、検出手段の検出結果から非検出点を検出し該非検出点に演算手段における演算値を補充した検出結果を距離情報として出力する補完手段を備えることによって、検出手段の検出範囲内の全ての検出点に対して正確な距離情報を出力することができる。このため、本発明にかかる距離計測装置が出力する距離情報を用いることによって、各種安全運転支援処理を正確に行なうことができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、この発明の実施の形態である距離計測装置について説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００１７】
まず、実施の形態にかかる距離計測装置について、車両に搭載され、検出範囲内の距離情報を出力する距離計測装置を例として説明する。この距離計測装置が出力する距離情報に基づいて、他の装置などによる各種安全運転支援処理が行なわれる。本実施の形態にかかる距離計測装置は、レーダの検出結果から非検出点を検出し、この非検出点に距離演算部が演算した演算値を補充して距離情報として出力する補完部を備える。図１は、本実施の形態にかかる距離計測装置の概略構成を示すブロック図である。
【００１８】
図１に示すように、本実施の形態にかかる距離計測装置１は、少なくともレーダ６０の検出範囲を含む撮像視野を有し、この撮像視野に対応する画像信号群を作成する撮像部１０と、撮像部１０が生成した画像信号群をもとに撮像視野内に位置する物体までの距離を演算する距離演算部２０と、距離計測装置１を構成する各構成部の各処理および各動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、所定の検出範囲内に位置する物体までの距離を検出するレーダ６０とを備える。撮像部１０と、距離演算部２０と、出力部４０と、記憶部５０と、レーダ６０とは、制御部３０に電気的に接続される。
【００１９】
撮像部１０は、右カメラ１１ａと、右カメラ１１ａと左カメラ１１ｂとを備える。右カメラ１１ａおよび左カメラ１１ｂは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ１１ａおよび左カメラ１１ｂは、それぞれ、レンズ１２ａ，１２ｂと、撮像素子１３ａ，１３ｂと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａ，１４ｂと、フレームメモリ１５ａ，１５ｂとを備える。レンズ１２ａ，１２ｂは、所定の視野角から入射する光を集光する。レンズ１２ａ，１２ｂにそれぞれ対応して配置される撮像素子１３ａ，１３ｂは、ＣＣＤまたはＣＭＯＳなどによって実現され、レンズ１２ａ，１２ｂを透過した光を検知してアナログ画像信号に変換する。Ａ／Ｄ変換部１４ａ，１４ｂは、撮像素子１３ａ，１３ｂから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ１５ａ，１５ｂは、Ａ／Ｄ変換部１４ａ，１４ｂから出力されたデジタル画像信号を記憶し、１枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。
【００２０】
距離演算部２０は、撮像部１０から出力された画像信号群を処理し撮像視野内に位置する物体までの距離を演算する演算部２１と、撮像部１０から出力された画像信号群を記憶するメモリ２２とを備える。距離演算部２０は、補完部３１の演算指示にしたがって、レーダ６０における非検出点に対応する領域の距離演算を行なう。
【００２１】
演算部２１は、ステレオ法を用いて、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部２１は、右カメラ１１ａから出力された右画像信号群の中から、左カメラ１１ｂから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Ｉをもとに、三角測量の原理によって距離を演算する。演算部２１は、以下の（１）式を用いて、撮像部１０から対象物体である車両Ｃまでの距離Ｒを求める。（１）式において、ｆはレンズ１２ａ，１２ｂの焦点距離であり、Ｌはレンズ１２ａ，１２ｂの光軸間の幅である。また、移動量Ｉは、移動した画素の数と画素ピッチとをもとに求めてもよい。
Ｒ＝ｆ・Ｌ／Ｉ・・・（１）
演算部２１は、非検出点に対応する領域に含まれる各画像信号に対応した距離Ｒを演算し、演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ５２を制御部３０に出力する。
【００２２】
制御部３０は、記憶部５０に記憶された処理プログラムを実行するＣＰＵなどによって実現され、撮像部１０と距離演算部２０と出力部４０と記憶部５０とレーダ６０との各処理または動作を制御する。制御部３０は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。
【００２３】
制御部３０は、補完部３１を備える。補完部３１は、レーダ６０からの検出結果から非検出点を検出し、この非検出点に距離演算部２０における演算値を補充した検出結果を距離情報として出力する。また、補完部３１は、距離演算部３０に対して、検出結果における非検出点に対応する領域の距離演算を指示する。
【００２４】
出力部４０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部１０が撮像した画像などの各種表示情報を表示出力する。また、出力部４０は、スピーカをさらに備え、距離情報のほか、先行する車両Ｃと接近した旨を報知する警告音声などの各種音声情報を出力する。
【００２５】
記憶部５０は、処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するＲＡＭとを備える。記憶部５０は、レーダ６０から出力された検出データ５１、距離演算部２０から出力された演算データ５２および補完部３１から出力された距離データ５３を記憶する。
【００２６】
レーダ６０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ６０から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ６０は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、距離計測装置１から発信波を反射した物体までの距離を検出する。レーダ６０は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ５１を制御部３０に出力する。レーダ６０は、発信波として、レーザ光、赤外線またはミリ波を送信する。レーダ６０は、発信波を反射する物体が存在しない領域や発信波を吸収する部材を備えた物体が存在する領域に対して発信波を発信した場合、反射波を受信することがない。このため、このような領域は、検出データ５１において、距離を検出することができない非検出点となる。
【００２７】
つぎに、距離計測装置１の動作のうち、制御部３０が距離データ５３を出力するまでの処理動作について説明する。図２は、距離計測装置１において、制御部３０が距離データ５３の出力を完了するまでの処理手順を示すフローチャートである。
【００２８】
図２に示すように、まず、制御部３０は、レーダ６０に対して、検出範囲内に位置する物体までの距離を検出する検出処理の指示を行なう（ステップＳ１０２）。レーダ６０は、制御部３０の検出処理の指示にしたがい、検出範囲内に位置する物体までの距離を検出し、検出データ５１を制御部３０に出力する。制御部３０は、レーダ６０からの検出データ５１を受信し（ステップＳ１０４）、補完部３１は、受信した検出データ５１の中に、レーダ６０の検出範囲内における非検出点を検出する（ステップＳ１０６）。つぎに、補完部３１は、受信した検出結果に非検出点があるか否かを判断する（ステップＳ１０８）。補完部３１は、非検出点があると判断した場合には（ステップＳ１０８：Ｙｅｓ）、非検出点に距離演算部２０の演算値を補充する補完処理を行ない（ステップＳ１１０）、非検出点に距離演算部２０の演算値を補充した検出結果を距離情報として出力する（ステップＳ１１２）。一方、補完部３１は、非検出点がないと判断した場合には（ステップＳ１０８：Ｎｏ）、受信した検出データ５１を距離データ５３として出力する（ステップＳ１１２）。
【００２９】
つぎに、図２に示す補完処理について説明する。図３は、図２に示す補完処理の処理手順を示すフローチャートである。図３に示すように、制御部３０は、撮像部１０に対して撮像処理を指示する（ステップＳ１２２）。次いで、補完部３１は、距離演算部２０に対して、検出した非検出点に対応する領域の距離演算を指示する（ステップＳ１２４）。距離演算部２０は、補完部３１の演算指示にしたがって、非検出点に対応する領域の距離を演算する距離演算処理を行ない（ステップＳ１２６）、各演算値を演算データ５２として制御部３０に出力する。補完部３１は、距離演算部２０から出力された演算データ５２を用いて、距離演算部２０が演算した演算値を検出データ５１における非検出点に補充し（ステップＳ１２８）、補完処理を終了する。
【００３０】
つぎに、図２および図３に示す各処理手順について具体的に説明する。図４は、図１に示す検出データ５１の一例を示す図である。図４に示す検出データ５１ａでは、レーダ６０が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「●」として示し、検出しなかった箇所をレーダ非検出点「×」として示す。
【００３１】
補完部３１は、検出情報５１ａから、レーダ非検出点を検出した場合（ステップＳ１０８：Ｙｅｓ）、撮像部１０に撮像処理を指示した（ステップＳ１２２）後、レーダ非検出点に対応する領域、たとえば図４の領域Ｓ１の距離演算を距離演算部２０に対して指示する（ステップＳ１２４）。
【００３２】
距離演算部２０は、補完部３１の指示にしたがって、図５に示すように、右カメラ１１ａから出力された右画像信号群１６ａと左カメラ１１ｂから出力された左画像信号群１６ｂとをもとに、領域Ｓ１における距離演算を行なう（ステップＳ１２６）。左画像信号群１６ｂにおいて領域Ｓ１に対応する画像信号が１６１ｂである場合には、演算部２１は、まず、右画像信号群１６ａにおいて画像信号１６１ｂと対応する箇所に位置する画像信号１６１ａと、画像信号群１６１ｂとを比較し、画像信号１６１ａと画像信号１６１ｂとが整合するか否かを検討する。演算部２１は、画像信号１６１ａと画像信号１６１ｂとが整合しないと判断した場合には、図５の右方向に順次移動しながら、画像信号１６１ｂと整合する画像信号を探索する。演算部２１が、右画像信号群１６ａにおいて、画像信号１６１ｂと整合する画像信号１６５ａを検出した場合には、画像信号１６１ａから画像信号１６５ａまでの移動量Ｉ１を求め、（１）式を用いて領域Ｓ１における距離を演算する。このように、距離演算部２０は、レーダ６０の検出データ５１における非検出点に対応する領域に対してのみ距離演算を行い、この領域に対応して演算したそれぞれの演算値を演算データ５２として制御部３０に出力する。
【００３３】
つぎに、補完部３１が、距離演算部２１が演算した演算値を検出データ５１における非検出点に補充する処理（ステップＳ１２８）について、図６を用いて説明する。ここで、図６では、図４と同様に、レーダ６０が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「●」として示し、検出しなかった箇所をレーダ非検出点「×」として示すとともに、距離演算部２０が距離を演算した領域を演算点「○」として示す。
【００３４】
図６に示すように、まず、距離演算部２０から、検出データ５１ａの非検出点に対応した領域における距離を演算した演算データ５２ａが出力される。つぎに、補完部３１は、レーダ６０から出力された検出データ５１ａにおける非検出点に、距離演算部２０から出力された演算データ５２ａにおける演算値を補充することによって、距離データ５３ａを作成する。この結果、距離計測装置１では、検出範囲内の全ての検出点に対応した距離情報を出力することができる。
【００３５】
従来の距離計測装置では、発信波を発信した全ての箇所に対する距離を検出することができなかった。たとえば、従来の距離計測装置では、図７に示すように、先行する車両Ｃのガラス部分にレーダから発信波が送信された場合、この発信波がガラスに吸収されてしまい、レーダは反射波を受信できなかった。このため、従来の距離計測装置では、この領域に対応する距離情報は非検出点６３とされ、自車両と車両Ｃとの間の距離を出力できなかった。したがって、従来の距離計測装置では、車両Ｃが自車両と近接していた場合であっても警告音声を出力することができず、先行する車両Ｃが近接している旨を自車両の運転者に対して報知することができなかった。この結果、従来の距離計測装置では、安全運転支援を正確に行なうことができないという弊害があった。
【００３６】
これに対し、本実施の形態にかかる距離計測装置１では、補完部３１が、検出データ５１における非検出を検出し、距離演算部２０が演算した演算値を非検出点に補充した距離データ５３を出力する。すなわち、距離計測装置１は、発信波を発信した全ての箇所に対する距離情報を出力することが可能となる。たとえば、図８に示すように、先行する車両Ｃのガラス部分に対応する領域の距離がレーダ６０によって検出されず、非検出点とされた場合であっても、補完部３１は、この非検出点に距離演算部２０による演算値２３を補充している。このため、距離計測装置１では、レーダ６０による距離検出が不可能である位置に車両Ｃが位置しており、この車両Ｃが自車両に近接していた場合であっても、演算値２３をもとに出力部４０から警告音声を出力して、運転者に対して先行する車両Ｃが近接している旨を報知することができる。したがって、本実施の形態にかかる距離計測装置１によれば、安全運転支援を正確に行なうことができる。
【００３７】
また、本実施の形態では、距離演算部２０は、補完部３１が指示した領域に対してのみ距離演算処理を行なう。すなわち、距離演算部２０は、撮像部１０から出力された画像信号群の全ての画像信号に対して、距離演算処理を行なう必要がない。このため、本実施の形態では、全画像信号に対して距離演算処理を行なった場合と比較して、距離演算部２０における距離演算処理に要する時間を短縮することができる。この結果、距離計測装置１によれば、レーダ６０に距離検出の指示を行なってから補完部３１が距離情報を出力するまでに要する処理時間の短縮化を図ることができ、正確な距離情報を迅速に取得することが可能となる。
【００３８】
なお、本実施の形態では、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、距離計測装置１は、形状が既知の物体に対して、撮像部１０における撮像処理およびレーダ６０における検出処理を行い、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置を求める。その後、距離計測装置１では、最小２乗法などを用いて、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置の関係を求め、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係とを整合する。
【００３９】
また、距離計測装置１では、撮像部１０の撮像原点とレーダ６０の検出原点とがずれている場合があっても、撮像点および検出点から距離計測装置１までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
【００４０】
また、実施の形態にかかる距離計測装置１の説明において参照した図４乃至図６は、レーダ６０における検出範囲と撮像部１０における撮像範囲とを重ね合わせた図であり、各レーダ検出点およびレーダ非検出点のいずれかに画像信号が対応する場合について説明したが、必ずしも、撮像部１０から出力された各画像信号の位置がレーダ検出点およびレーダに適合するとは限らない。この場合には、演算部２１は、演算対象となる領域近傍に位置する複数の画像信号をもとに、一次補間法などを用いて演算対象となる領域をそれぞれ補間し、この補間値を用いて演算すればよい。
【００４１】
また、本実施の形態では、レーダ６０を備えた距離計測装置１について説明したが、レーダ６０に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた距離計測装置であってもよいし、光波、マイクロ波、ミリ波、超音波等を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離計測装置であってもよい。
【００４２】
また、本実施の形態における撮像部として、一対のレンズ１２ａ，１２ｂのそれぞれに対応する一対の撮像素子１３ａ，１３ｂを備えた撮像部１０について説明したが、これに限らず、図９に示すように、一対の導光学系と、各導光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部１１０としてもよい（たとえば、本出願人による特開平８−１７１１５１参照）。図９に示すように、撮像部１１０は、一対のミラー１１１ａ，１１１ｂと、ミラー１１１ａ，１１１ｂのそれぞれに対応するミラー１１２ａ，１１２ｂと、レンズ１１２ｃと、レンズ１１２ｃによって集光された光をアナログ画像信号に変換する撮像素子１１３と、撮像素子１１３から出力されたアナログ画像信号をデジタル画像信号に変更するＡ／Ｄ変換部１１４と、デジタル信号を記憶するフレームメモリ１１５とを備える。ミラー１１１ａ，１１１ｂは、車両Ｃなどの被写体からの光を受光し、ミラー１１２ａ，１１２ｂは、ミラー１１１ａ，１１１ｂが受光した光をレンズ１１２ｃに反射する。このため、撮像素子１１３上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部１１０は、図１０に示すように、画像１１６ａと画像１１６ｂとを含む画像１１６を出力する。このような画像１１６ａ，１１６ｂをもとに、距離演算部２０において、各画像信号に対応する距離値を演算することが可能である。
【００４３】
また、本実施の形態として、撮像部１０として右カメラ１１ａと左カメラ１１ｂとの複数のカメラを備えた距離計測装置１について説明したが、必ずしも複数のカメラを備える必要はなく、単数のカメラを撮像部１０として備えた距離計測装置に適用してもよい。この場合、距離演算部２０は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。ここで、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
【００４４】
また、本実施の形態として、車両に搭載される距離計測装置について説明したが、これに限らず、他の移動体に搭載される距離計測装置に対して適用してもよい。また、移動体に搭載される距離計測装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう距離計測装置に適用してもよい。
【図面の簡単な説明】
【００４５】
【図１】実施の形態にかかる距離計測装置の概略構成を示すブロック図である。
【図２】図１に示す距離計測装置において距離データの出力を完了するまでの処理手順を示すフローチャートである。
【図３】図２に示す補完処理の処理手順を示すフローチャートである。
【図４】図１に示す検出データの一例を示す図である。
【図５】図１に示す距離演算部が行なう距離演算処理を説明する図である。
【図６】図１に示す補完部が行なう補完処理を説明する図である。
【図７】図１に示す撮像部が撮像した画像の一例を示す図である。
【図８】図１に示す撮像部が撮像した画像の一例を示す図である。
【図９】図１に示す撮像部の概略構成の他の例を示すブロック図である。
【図１０】図９に示す撮像部から出力される画像の一例を示す図である。
【符号の説明】
【００４６】
１ 距離計測装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ｃ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
１６ａ 右画像信号群
１６ｂ 左画像信号群
１７ 画像
２０ 距離演算部
２１ 演算部
２２ メモリ
２３ 演算点
３０ 制御部
３１ 補完部
４０ 出力部
５０ 記憶部
５１、５１ａ 検出データ
５２、５２ａ 演算データ
５３、５３ａ 距離データ
６０ レーダ
６３ 非検出点
１６１ａ、１６５ａ、１６１ｂ 画像信号
１１１ａ、１１１ｂ、１１２ａ、１１２ｂ ミラー
１１６、１１６ａ、１１６ｂ 画像
Ｃ 車両
【特許請求の範囲】
【請求項１】
検出範囲内に位置する物体までの距離を検出する検出手段と、
少なくとも前記検出範囲を含む撮像視野を有し前記撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
前記検出手段からの検出結果から非検出点を検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出力する補完手段と、
を備えたことを特徴とする距離計測装置。
【請求項２】
前記補完手段は、前記演算手段に対して前記非検出点に対応する領域の距離演算を指示し、
前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行なうことを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項１または２に記載の距離計測装置。
【請求項４】
前記撮像手段は、
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項１〜３のいずれか一つに記載の距離計測装置。
【請求項５】
前記撮像手段は、
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項１〜３のいずれか一つに記載の距離計測装置。
【請求項６】
当該距離計測装置は、車両に搭載されることを特徴とする請求項１〜５のいずれか一つに記載の距離計測装置。
【請求項７】
検出範囲内に位置する物体までの距離を検出する距離計測方法において、
前記検出範囲内に位置する物体までの距離を検出する検出ステップと、
少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記検出ステップにおける検出結果から非検出点を検出し、該非検出点に前記演算ステップにおける演算値を補充する補完ステップと、
を含むことを特徴とする距離計測方法。
【請求項８】
検出範囲内に位置する物体までの距離を検出する距離計測プログラムにおいて、
前記検出範囲内に位置する物体までの距離を検出する検出手順と、
少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像手順と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
前記検出手順における検出結果から非検出点を検出し、該非検出点に前記演算手順における演算値を補充する補完手順と、
を含むことを特徴とする距離計測プログラム。
【請求項１】
検出範囲内に位置する物体までの距離を検出する検出手段と、
少なくとも前記検出範囲を含む撮像視野を有し前記撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
前記検出手段からの検出結果から非検出点を検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出力する補完手段と、
を備えたことを特徴とする距離計測装置。
【請求項２】
前記補完手段は、前記演算手段に対して前記非検出点に対応する領域の距離演算を指示し、
前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行なうことを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項１または２に記載の距離計測装置。
【請求項４】
前記撮像手段は、
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項１〜３のいずれか一つに記載の距離計測装置。
【請求項５】
前記撮像手段は、
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項１〜３のいずれか一つに記載の距離計測装置。
【請求項６】
当該距離計測装置は、車両に搭載されることを特徴とする請求項１〜５のいずれか一つに記載の距離計測装置。
【請求項７】
検出範囲内に位置する物体までの距離を検出する距離計測方法において、
前記検出範囲内に位置する物体までの距離を検出する検出ステップと、
少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記検出ステップにおける検出結果から非検出点を検出し、該非検出点に前記演算ステップにおける演算値を補充する補完ステップと、
を含むことを特徴とする距離計測方法。
【請求項８】
検出範囲内に位置する物体までの距離を検出する距離計測プログラムにおいて、
前記検出範囲内に位置する物体までの距離を検出する検出手順と、
少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像手順と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
前記検出手順における検出結果から非検出点を検出し、該非検出点に前記演算手順における演算値を補充する補完手順と、
を含むことを特徴とする距離計測プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−２４７３１（Ｐ２００７−２４７３１Ａ）
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願番号】特願２００５−２０９０８７（Ｐ２００５−２０９０８７）
【出願日】平成１７年７月１９日（２００５．７．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願日】平成１７年７月１９日（２００５．７．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]