立体物検出装置およびその方法

【目的】単眼カメラによる撮影画像に影が存在する場合においても、影を立体物と誤認識せず、立体物を正確に検出できるようにし、接触事故や人身事故を防止する「立体物検出装置およびその方法」を提供することにある。
【構成】単眼カメラにより任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２におけるそれぞれの撮影画像を視線変換した俯瞰画像を取得し、一方の俯瞰画像を自車の移動量に基づいてシフトしたシフト画像とシフトしていない俯瞰画像との第１差分画像を算出し、該時刻ｔ１およびｔ２の自車影画像を算出し、一方の自車影画像を自車の移動量に基づいてシフトしたシフト影画像とシフトしていないシフト影画像との第２差分画像を算出し、該第１差分画像と該第２差分画像との差分である第３差分画像を算出し、該第３差分画像に残存差分が存在する場合には立体物が存在すると判断する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体物検出装置およびその方法に係り、特に自動車に取り付けた単眼カメラによる立体物検出装置およびその方法に関する。
【背景技術】
【０００２】
車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には不注意により周囲の物体、特に後方の物体や子供と接触して車両を破損したり、人身事故を発生することがある。
【０００３】
そこで、車両に広角カメラ等を搭載して車両進行方向の立体物を検出するために、任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２において進行方向の風景を撮影する。そして、該撮影された二つの画像の一方を該時刻ｔ１とｔ２の間に自車が移動した移動量に基づいてシフト補正を行い、補正していない画像と該補正した画像との差分を算出し、差分画像内に残存差分が存在する場合には立体物が存在し、残存差分が存在しない場合には立体物が存在しないと判断する技術（特許文献１）がある。
【０００４】
すなわち、図１８に示すように、自車１８１の後方に設置されているカメラ１８２により任意の時刻ｔ１における撮影画像を車両の車高よりも高い所定の高さの地点（例えば車両中央の真上）から撮影した俯瞰画像に変換した図１８（Ｂ）の（ａ）に示すような俯瞰画像Ｇ１と該時刻ｔ１より所定時間経過した時刻ｔ２における撮影画像を同様に俯瞰画像に変換した図８（Ｂ）の（ｂ）に示すような俯瞰画像Ｇ２をそれぞれ取得する。尚、撮影領域１８３上には立体物１８４と、例えば路面に描かれた標示といった平面図形１８５が存在しているとする。ついで、撮影画像Ｇ２を、該時刻ｔ１からｔ２の間に移動した移動量に基づいてシフトした（ｃ）に示すようなシフト画像Ｇ２’を取得する。しかる後、シフト画像Ｇ２’とシフトしていない撮影画像Ｇ１との差分画像Ｇｓを取得し、差分画像Ｇｓ内に残存差分１８７が存在する場合には立体物が存在し、残存差分１８７が存在しない場合には立体物が存在しないと判断する。これにより、単眼カメラにより立体物が存在することを認識でき、運転者へ警告することができ、接触事故や人身事故を防止することができる。
【特許文献１】特開平１０−２２２６７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術は、図１８（Ａ）に示すように自車の影が発生しない場合には有効であるが、図１９（Ａ）に示すように太陽１８７により自車影１８８が発生する場合には問題がある。すなわち、かかる場合には任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２においてカメラ１８２が撮影し、俯瞰変換した俯瞰画像Ｇ１、Ｇ２には図１９（Ｂ）の（ａ）、（ｂ）に示すようにほぼ同一形状の自車影１８８が存在する。このため該時刻ｔ１とｔ２の間に移動した移動量に応じた分撮影画像Ｇ２をシフトして、シフト画像Ｇ２’を算出すると、自車影１８８もシフトされる。この結果、平面図形を消去するためにＧ１とＧ２’の差分画像Ｇｓを算出すると立体物１８４による残存差分１８６と本来存在しない自車影１８８の残存差分１８９が発生する。これにより、影が存在する位置に立体物があると誤認識してしまうという問題点がある。
【０００６】
以上より、本発明の目的は単眼カメラによる撮影画像に影が存在する場合においても、影を立体物と誤認識せず、立体物を正確に検出できるようにし、接触事故や人身事故を防止することである。
【課題を解決するための手段】
【０００７】
本発明は、自動車に取り付けた単眼カメラによる立体物検出装置およびその方法である。
【０００８】
・立体物検出方法
本発明の立体物検出方法は、任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換した第１の視線変換画像を発生し、前記時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換した第２の視線変換画像を発生し、前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記時刻ｔ１から時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生し、前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、該シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生し、前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。
【０００９】
本発明の別の立体物検出方法は、車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、任意の時刻ｔ１に前記カメラに撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生し、任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生し、前記第１の合成画像と第２の合成画像のいずれか一方を、前記時刻ｔ１から前記時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生し、前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生し、前期第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。
【００１０】
本発明の別の立体物検出方法は、任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、該時刻ｔ１より所定時間Δｔ経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生し、前記時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、該時刻ｔ２より前記所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生し、前記第１の差分画像と前記第２の差分画像のいずれか一方を、前記時刻ｔ１から前記時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、該シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生し、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。
【００１１】
・立体物検出装置
本発明の立体物検出装置は、任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻ｔ１と前記時刻ｔ２に前記カメラによりそれぞれ撮影した第１の撮影画像と第２の撮影画像とをそれぞれ視線変換して第１の視線変換画像と第２の視線変換画像とを発生する視線変換部と、前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成する影画像作成部と、前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、前記シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。
【００１２】
本発明の別の立体物検出装置は、車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、任意の時刻ｔ１に前記カメラに撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生する第１合成画像発生部と、任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生する第２合成画像発生部と、前記第１の合成画像と前記第２の合成画像のいずれか一方を、該時刻ｔ１から該時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。
【００１３】
本発明の別の立体物検出装置は、任意の時刻ｔ１と該時刻ｔ１より所定時間Ｔ経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、前記時刻ｔ１より所定時間Δｔ（Ｔ＞Δｔ）経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、前記時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、前記時刻ｔ２より所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、前記第１の差分画像と前記第２の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、前記シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。
【発明の効果】
【００１４】
本発明によれば、時刻ｔ１、ｔ２に撮影した２つの撮影画像の差分画像より自車影像を除去するように構成したので、自車の影に影響されずに正確に立体物を検出することができる。
【００１５】
本発明によれば、前記カメラにより前記時刻ｔ１とｔ２に撮影した第１の撮影画像と第２の撮影画像を視線変換して第１の視線変換画像と第２の視線変換画像とを発生し、該第１の視線変換画像と該第２の視線変換画像との差である第１の差分画像から、前記時刻ｔ１とｔ２における影画像の差である第２の差分画像を差し引いて作成した第３の差分画像内に残存差分が存在するか調べ、該残存差分より立体物が存在するか判断するようにしたので、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。
【００１６】
本発明によれば、更に、前記カメラにより前記時刻ｔ１前後の複数枚の撮影画像と前記時刻ｔ２前後の複数枚の撮影画像をそれぞれ平均化し、それぞれ前記第１の撮影画像、第２の撮影画像とするようにしたので、正確な撮影画像を取得し正確に立体物を検出することができる。
【００１７】
本発明によれば、更に、自車形状を記憶すると共に、自車方向を取得し、かつ光源位置を算出し、該光源位置と前記自車形状と前記自車方向を用いて前記影画像を作成するようにしたので、前記光源位置が変化しても正確に影画像を作成し、正確に立体物を検出することができる。
【００１８】
本発明によれば、更に、太陽軌道を記憶すると共に、自車位置を取得し、前記光源位置を前記太陽軌道と前記自車位置を用いて算出するようにしたので、前記光源位置すなわち太陽位置が変化す場合でも正確に影画像を作成し、正確に立体物を検出することができる。
【００１９】
本発明によれば、更に、任意の場所に設置されたカメラにより光源を撮影し、前記光源位置を撮影画像より算出するようにしたので、光源が存在する全ての場所で影画像を作成し正確に立体物を検出することができる。
【００２０】
本発明によれば、自車の車高と前記時刻ｔ１とｔ２における太陽の位置より算出されるそれぞれの自車影の先端位置より車体側領域を車影領域とする影画像を作成するようにしたので、簡単に影画像を生成することができる。
【００２１】
本発明によれば、時刻ｔ１、ｔ２において撮影した撮影画像より自車影像を除去するようにし、２つの撮影画像の差分画像より自車影を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができる。
【００２２】
本発明によれば、前記カメラにより近接した２つの時刻に撮影した第１の撮影画像と第２の撮影画像の差分を算出することにより影を除去するようにしたので、簡単な処理で時刻ｔ１、ｔ２の撮影画像の差分画像より自車影を除去でき、該差分画像内に残存差分が存在するか調べ、該残存差分より立体物が存在するか判断するようにしたので、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。
【００２３】
本発明によれば、更に、視線変換してから差分画像を発生するようにしたので、自車方向に自車影が存在している場合でも正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。
【００２４】
本発明によれば、更に、画像の幅に関し閾値判断して、該差分画像を作成するようにしたので、正確な前記第１、第２の差分画像を作成して、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。
【発明を実施するための最良の形態】
【００２５】
（Ａ）本発明の概要
図１、図２、図３は本発明の第１〜第３実施例の概略説明図である。１は自車影、２は立体物、３は平面図形、４は自車影の残存差分、５は立体物の残存差分、６は計算で算出した自車影、７は自車影６の残存差分、８（図２）は計算で算出した自車影、９は自車影８より算出した矩形領域、１０は矩形領域９を影とした影画像、１１は自車影領域の残存差分、１２は立体物の残存差分、１３は影画像の残存差分、ＴＰは影の先端の位置、１４（図３）は移動前の立体物の残存差分、１５は移動後の立体物の残存差分、１６は立体物の残存差分である。
【００２６】
（Ａ１）第１実施例の概要
図示しないカメラにより、任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２において自車の後方を撮影し、得られた第１、第２の撮影画像を俯瞰変換し、図１（Ａ）の（ａ）、（ｂ）に示すように自車影１、立体物２、平面図形３が存在する俯瞰画像Ｇ１、Ｇ２をそれぞれ取得する。ついで、自車の移動量に基づいて、図１（Ａ）の（ｃ）に示すような俯瞰画像Ｇ２を移動方向と逆方向にシフトした俯瞰画像Ｇ２’を算出する。しかる後、俯瞰画像Ｇ１より俯瞰画像Ｇ２’を差し引いて、図１（Ａ）の（ｄ）に示すように自車影の残存差分４と立体物の残存差分５を含む差分画像Ｇｓを算出する。一方、自車の３次元形状と、時刻ｔ１と時刻ｔ２におけるそれぞれの光源（太陽）の位置と、自車方向とにより各時刻において、算出した図１（Ｂ）の（ａ）、（ｂ）に示すように自車影６を含む影画像Ｋ１、Ｋ２を作成する。その後、自車の移動量に基づいて、図１（Ｂ）の（ｃ）に示す影画像Ｋ２を移動方向と逆方向にシフトした自車影画像Ｋ２’を算出し、影画像Ｋ１から影画像Ｋ２’を差し引き、図１（Ｂ）の（ｄ）に示すように影の残存差分７を含む影差分画像Ｋｓを生成する。最後に、差分画像Ｇｓから影差分画像Ｋｓを差し引いて、図１（Ｃ）に示すように立体物の残存差分５だけを含む差分画像Ｇｓ’を算出する。以後、差分画像Ｇｓ’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
【００２７】
（Ａ２）第２実施例の概要
任意の時刻ｔ１に図示しないカメラにより撮影した撮影画像を俯瞰変換し、図２（Ａ）の（ａ）に示すように自車影１、立体物２、平面図形３が存在する俯瞰画像Ｇ１を取得する。また、図２（Ｂ）の（ａ）、（ｂ）に示すように、該時刻ｔ１における光源の位置、自車方向より算出した自車影８の影が存在する矩形領域９を算出し、領域９全体を影領域１０とする影画像Ｋを作成する。ついで、図２（Ａ）の（ｂ）に示すように、図２（Ａ）の（ａ）と図２（Ｂ）の（ｂ）を合成した俯瞰画像Ｇ１’を取得する。同様にして、該時刻ｔ１より所定時間経過した時刻ｔ２において図示しないカメラにより撮影した撮影画像を俯瞰変換し、図２（Ａ）の（ｃ）に示すように俯瞰画像Ｇ２を取得し、ついで、図２（Ａ）の（ｄ）に示すように俯瞰画像Ｇ２と影画像Ｋを合成した俯瞰画像Ｇ２’を取得する。しかる後、図２（Ａ）の（ｅ）と図２（Ｂ）の（ｃ）に示すように、自車の移動量に基づいて俯瞰画像Ｇ２’と影画像Ｋを移動方向と逆方向にシフトした俯瞰画像Ｇ２”と影画像Ｋ’を算出する。シフト後、俯瞰画像Ｇ１’より俯瞰画像Ｇ２”を差し引いて図２（Ａ）の（ｆ）に示すような影の残存差分１１と立体物の残存差分１２を含む差分画像Ｇｓを算出し、かつ影画像Ｋより影画像Ｋ’を差し引いて図２（Ｂ）の（ｄ）に示すような影の残存差分１３を含む差分画像Ｋｓを算出する。最後に、差分画像Ｇｓより差分画像Ｋｓを差し引いて、図２（Ｃ）に示すような立体物の残存差分１２を含む差分画像Ｇｓ’を算出する。以後、差分画像Ｇｓ’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
【００２８】
（Ａ３）第３実施例の概要
図３（Ａ）の（ａ）に示すように、任意の時刻ｔ１に図示しないカメラにより撮影した撮影画像Ｐ１より、図３（Ａ）の（ｂ）に示すように、該時刻ｔ１より所定時間Δｔ経過した時刻（ｔ１＋Δｔ）に該カメラにより撮影した撮影画像Ｐ１’を差し引いて、図３（Ａ）の（ｃ）に示すように自車影のない立体物の残存差分１４を含む差分画像Ｐ１”を算出し、該差分画像Ｐ１”を俯瞰画像に変換し、図示しない俯瞰画像Ｇｔ１を算出する。同様にして、図３（Ｂ）の（ａ）に示すように、該時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２に撮影した撮影画像Ｐ２より、図３（Ｂ）の（ｂ）に示すように、該時刻ｔ２より所定時間Δｔ経過した時刻（ｔ２＋Δｔ）に撮影した撮影画像Ｐ２’を差し引いて、図３（Ｂ）の（ｃ）に示すように自車影のない立体物の残存差分１５を含む差分画像Ｐ２”を算出し、該差分画像Ｐ２”を俯瞰変換し、図示しない俯瞰画像Ｇｔ２を算出する。しかる後、自車の移動量に基づいて、図３（Ｂ）の（ｄ）に示すような俯瞰画像Ｇｔ２を移動方向と逆方向にシフトした俯瞰画像Ｇｔ２’を算出し、俯瞰画像Ｇｔ１より俯瞰画像Ｇｔ２’を差し引いて、図３（Ｃ）に示すような立体物の残存差分１６を含む差分画像Ｇｔｓを算出する。以後、差分画像Ｇｔｓ内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
【００２９】
従来技術では、自車影が存在する場合には影を立体物と誤認識していたが、本発明によれば、自車影に影響されず、立体物を正確に検出することが可能であり、これにより接触事故や人身事故を防止することが可能である。
【００３０】
（Ｂ）第１実施例
図４は本発明の立体物検出装置を搭載した車載器の構成図である。
【００３１】
ナビゲーションユニット１９と立体物検出装置２０が車内ネットワークＣＮＷを介して接続されている。
ナビゲーションユニット１９において、ＧＰＳ受信部２１はＧＰＳ衛星から送られてくる位置情報を受信して車両の絶対現在位置を測定する。車速検出部２２は一定走行距離毎にパルスを発生する距離センサを備えている。ナビゲーション部２３はＧＰＳ受信部２１と車速検出部２２と車両回転角度を検出するジャイロセンサ（図示せず）から出力される信号を用いて、現在の車両位置を推定できるようになっている。
【００３２】
立体物検出装置２０において、カメラ２４は自車の後方を撮影できるように所定の位置（例えば、リアのナンバープレートの上方）に取り付けられており、画像トリミング部２５は時刻ｔ１と該時刻より所定時間経過後の時刻ｔ２における撮影画像から俯瞰変換を行うための画像を切り出す。地面への投影処理部２６はカメラ２４により撮影した各画像を車両の車高よりも高い所定の高さの地点（例えば、車両中央の真上）から撮影した俯瞰画像に変換する。画像バッファ２７は、投影処理部２６が作成した時刻ｔ１の画像の俯瞰画像を記憶する。
【００３３】
ステアリング検出部２８は自車のステアリング情報を検出する。車両移動量計算部２９は車速検出部２２とステアリング検出部２８がそれぞれ検出した車速情報とステアリング情報を取得し、該車速情報とステアリング情報を基に自車の経度方向および緯度方向の移動量を算出する。
【００３４】
画像シフト部３０は投影処理部２６が作成した時刻ｔ２の画像の俯瞰画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトする。差分演算部３１は画像バッファ２７が記憶している時刻ｔ１の俯瞰画像より前記シフトした時刻ｔ２の俯瞰画像を差し引いて、差分画像を作成する。
【００３５】
太陽運動軌道記憶部３２は光源である太陽の運動軌道情報を記憶している。太陽位置算出部３３はＧＰＳ受信部２１が受信したＧＰＳ情報（位置および時刻情報）と、太陽運動軌道記憶部３２が記憶している太陽の運動軌道情報を基に車両位置を基準とした現在の太陽の位置を算出する。自車３次元形状記憶部３４は自車形状を３次元のデータとして記憶している。自車影計算部３５は、図示しないジャイロセンサから取得した自車方向情報と、太陽位置計算部３３から取得した光源である太陽の位置情報と、自車３次元形状記憶部３４から取得した自車形状の３次元データとを用いて時刻ｔ１と該時刻より所定時間後の時刻ｔ２における自車影を計算し、影画像として発生する。影画像バッファ３６は自車影計算部３５が発生した時刻ｔ１の影画像を記憶する。影画像オフセット部３７は自車影計算部３５が発生した時刻ｔ２の影画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトする。自車影差分演算部３８は、影画像バッファ３６が記憶している時刻ｔ１の影画像より前記シフトした時刻ｔ２の影画像を差し引き、差分マスク作成部３９は自車影差分演算部３８により発生した差分影画像より差分マスクを作成する。
【００３６】
差分マスク部４０は、差分演算部３１が発生した差分画像より差分マスク作成部３９が作成した差分マスクを差し引いて影が除去された差分画像を作成し、警告発生部４１は、該差分画像内に残存差分が存在するかを調べ、残存差分が存在する場合には立体物が存在すると判断し、残存差分が存在しない場合には立体物が存在しないと判断する。尚、差分マスク部４０が立体物が存在すると判断した場合、警告発生部４１は警告を発生し、表示部４２とスピーカ４３は該警告を運転者に明示する。
【００３７】
図５は第１実施例の立体物検出の処理フローであり、図６は第１実施例のマスク画像発生の処理フローである。以下、図５、図６の処理フローに沿って説明を行う。
【００３８】
ギアポジション検出部（図示せず）はギアがバックに入ったかの監視を行い（ステップＳ５０１）、ギアがバックに入ったと判断した場合には、Ｓ５０２に進む。
ステップＳ５０１において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ２４は時刻ｔ１において車両進行方向の撮影画像Ｐ１を撮影し（ステップＳ５０２）、画像トリミング部２５は撮影画像Ｐ１から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ａ）に示すような自車影１、立体物２、平面図形３を含む俯瞰画像Ｇ１を取得し（ステップＳ５０３）、画像バッファ２７は該俯瞰画像Ｇ１を記憶する。
【００３９】
ついで、立体検出装置２０の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ５０４）、所定時間経過した場合Ｓ５０５に進む。
ステップＳ５０４において、所定時間経過した場合には、カメラ２４は時刻ｔ２における車両進行方向の撮影画像Ｐ２を撮影し（ステップＳ５０５）、画像トリミング部２５は撮影画像Ｐ２から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ｂ）に示すような俯瞰画像Ｇ２を取得する（ステップＳ５０６）。
【００４０】
しかる後、車両移動量計算部２９は車速検出部２２より車速情報を取得し、かつステアリング検出部２８よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し（ステップＳ５０７）、画像オシフト部３０は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇ２をシフトし、図１（Ａ）の（ｃ）に示すように俯瞰画像Ｇ２全体を移動量分だけ補正した俯瞰画像Ｇ２’を算出する（ステップＳ５０８）。
次に、差分演算部３１は画像バッファ２７が記憶している俯瞰画像Ｇ１より画像シフト部３０が補正した俯瞰画像Ｇ２’を差し引いて、図１（Ａ）の（ｄ）に示すように影の残存差分４と立体物の残存差分５が存在する差分画像Ｇｓを算出する（ステップＳ５０９）。
【００４１】
ついで、後述するマスク画像Ｋｓ発生処理を行い、図１（Ｂ）の（ｄ）に示すように自車影の残存差分７を含むマスク画像Ｋｓを発生し（ステップＳ５１０）、差分マスク部４０は差分画像Ｇｓよりマスク画像Ｋｓを差し引いて図１（Ｃ）に示すような差分画像Ｇｓ’算出し（ステップＳ５１１）、警告発生部４１は差分画像Ｇｓ’内に残存差分が存在するか判断し（ステップＳ５１２）、残存差分５が存在する場合にはＳ５１３に進み、残存差分が存在しない場合にはＳ５１４に進む。
【００４２】
ステップＳ５１２において、残存差分５が存在する場合には警告発生部４１は進行方向に立体物が存在すると判断して警告発生し（ステップＳ５１３）、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ５１４）。
【００４３】
次にマスク画像Ｋｓの発生処理について説明する。図６はマスク画像発生の処理フローである。
【００４４】
太陽位置算出部３３は、ＧＰＳ受信部２１より撮影画像Ｐ１撮影時（時刻ｔ１）のＧＰＳ情報（位置および時刻情報）を取得し、かつ太陽運動軌道記憶部３２が記憶している太陽運動軌道情報を取得し、該ＧＰＳ情報と該太陽運動軌道情報より自車位置を基準にした撮影画像Ｐ１撮影時の太陽の位置を算出する（ステップＳ６１１）。
ついで、自車影計算部３５は、自車３次元形状記憶部３４が記憶している自車形状と、算出した太陽の位置とジャイロセンサから取得した自車方向情報とを用いて、図１（Ｂ）の（ａ）に示すような計算で算出した影画像６を含む撮影画像Ｐ１撮影時の自車影画像Ｋ１を算出する（ステップＳ６１３）。
【００４５】
しかる後、同様に太陽位置算出部３３は、ＧＰＳ受信部２１より撮影画像Ｐ２撮影時（時刻ｔ２）のＧＰＳ情報を取得し、該ＧＰＳ情報と該太陽軌道運動情報より撮影画像Ｐ２撮影時の太陽の位置を算出し（ステップＳ６１４）、自車影計算部３５は自車方向情報と該太陽の位置情報と該自車形状とを用いて、図１（Ｂ）の（ｂ）に示すように計算で算出した影画像６を含む撮影画像Ｐ２撮影時の自車影画像Ｋ２を算出する（ステップＳ６１５）。尚、時刻ｔ１と時刻ｔ２の時間差は、例えば１秒であるため、これらの時刻における太陽位置はほぼ同じであるので、時刻ｔ２の自車影画像Ｋ２を時刻ｔ１の自車影画像Ｋ１とみなすこともできる。
【００４６】
次に、影画像シフト部３７は車両移動計算部２９が算出した移動量を取得し（ステップＳ６１６）、影画像Ｋ２を該移動量に基づいて移動した方向と逆方向にシフトし、図１（Ｂ）の（ｃ）に示すように移動量補正した影画像Ｋ２’を算出する（ステップＳ６１７）。
最後に自車影差分演算部３８は影画像Ｋ１より移動量補正した影画像Ｋ２’を差し引き、差分マスク作成部３９は図１（Ｂ）の（ｄ）に示すような差分画像Ｋｓを算出する（ステップＳ６１８）。この差分画像Ｋｓを前述したＳ５１１以降において使用する。
【００４７】
以上、本実施例によれば、時刻ｔ１、ｔ２に撮影した２つの撮影画像の差分画像（図１（Ｃ））より自車方向、太陽の位置情報、自車形状を用いて作成した自車影画像を用いて、自車影像を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。
【００４８】
（Ｃ）第１実施例の第１変形例
図７は本発明の第１実施例の第１変形例の構成図である。図４と同一の部分には同一の符号を付している。異なる点は、平均撮影画像発生部７１を設置した点である。
画像トリミング部２５は、任意の時刻ｔ１前後にカメラ２４が撮影した所定枚数（少なくとも２枚）の撮影画像から俯瞰変換を行うために画像を切り出し、投影処理部２６は該切り出した撮影画像をそれぞれ俯瞰画像に変換し、平均撮影画像発生部７１は該所定枚数の俯瞰画像を平均化して１枚の俯瞰画像を算出する。しかる後、該俯瞰画像を画像バッファ２７は記憶する。該時刻ｔ１より所定時間経過した時刻ｔ２においても同様の処理を行って１枚の俯瞰画像を算出し、平均撮影画像発生部７１は該俯瞰画像を画像シフト部３０に入力する。
【００４９】
以上、本変形例によれば、第１実施例と同様の効果を得ることができ、かつ所定枚数（少なくとも２枚）の撮影画像より俯瞰画像を算出するので、雑音の影響による立体物検出の精度の低下を防ぐことができる。
【００５０】
（Ｄ）第１実施例の第２変形例
図８は本発明の第１実施例の第２変形例の構成図、図９はカメラによる光源位置検出の概要図である。図９において、８１はカメラ、９１は光源である太陽、９２は自車両、θはカメラ８１の視野角である。
図８の第２変形例の構成図において、図４の第１実施例の構成図と同一の部分には同一の符号を付している。異なる点は、太陽の位置を求めるための太陽運動軌道記憶部３２と太陽位置算出部３３とを除去し、代わりにカメラ８１と太陽位置検出部８２とを設けた点である。
【００５１】
カメラ８１は広角カメラ等で構成されており、例えば図９に示すように視野角θを持っており自車両９２の屋根の中央に配置されて任意の時刻に太陽９１を撮影する。太陽位置算出部８２は、該周囲撮影画像より太陽の位置および太陽に対する自車方向を算出する。
【００５２】
次に、処理フローについて説明を行う。図１０は第２変形例の処理フローであり、以下図１０に沿って処理の説明を行う。
【００５３】
ギアポジション検出部（図示せず）はギアがバックに入ったかの監視を行い（ステップＳ１００１）、ギアがバックに入ったと判断した場合には、Ｓ１００２に進む。
ステップＳ１００１において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ２４は時刻ｔ１において車両進行方向の撮影画像Ｐ１を撮影すると共に、カメラ８１は周囲を撮影し、太陽位置検出部８２は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する（ステップＳ１００２）。
【００５４】
次に、画像トリミング部２５は撮影画像Ｐ１から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ａ）に示すような自車影１、立体物２、平面図形３を含む俯瞰画像Ｇ１を取得し（ステップＳ１００３）、画像バッファ２７は該俯瞰画像Ｇ１を記憶する。
【００５５】
ついで、立体検出装置２０の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ１００４）、所定時間経過した場合Ｓ１００５に進む。
ステップＳ１００４において、所定時間経過した場合には、カメラ２４は時刻ｔ２における車両進行方向の撮影画像Ｐ２を撮影すると共に、カメラ８１は周囲を撮影し、太陽位置検出部８２は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する（ステップＳ１００５）。
【００５６】
しかる後、画像トリミング部２５は撮影画像Ｐ２から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ｂ）に示すような俯瞰画像Ｇ２を取得する（ステップＳ１００６）。
【００５７】
その後、車両移動量計算部２９は車速検出部２２より車速情報を取得し、かつステアリング検出部２８よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し（ステップＳ１００７）、画像シフト部３０は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇ２をシフトし、図１（Ａ）の（ｃ）に示すように俯瞰画像Ｇ２全体を移動量分だけ補正した俯瞰画像Ｇ２’を算出する（ステップＳ１００８）。
【００５８】
次に、差分演算部３１は画像バッファ２７が記憶している俯瞰画像Ｇ１より画像シフト部３０が補正した俯瞰画像Ｇ２’を差し引いて、図１（Ａ）の（ｄ）に示すように影の残存差分４と立体物の残存差分５が存在する差分画像Ｇｓを算出する（ステップＳ１００９）。
【００５９】
ついで、後述するマスク画像Ｋｓの発生処理により、図１（Ｂ）の（ｄ）に示すように自車影の残存差分７を含むマスク画像Ｋｓを発生し（ステップＳ１０１０）、差分マスク部４０は差分画像Ｇｓよりマスク画像Ｋｓを差し引いて図１（Ｃ）に示すような差分画像Ｇｓ’を算出し（ステップＳ１０１１）、警告発生部４１は差分画像Ｇｓ’内に残存差分が存在するか判断し（ステップＳ１０１２）、残存差分５が存在する場合にはＳ１０１３に進み、残存差分が存在しない場合にはＳ１０１４に進む。
【００６０】
ステップＳ１０１２において、残存差分５が存在する場合には警告発生部４１は進行方向に立体物が存在すると判断して警告発生し（ステップＳ１０１３）、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ１０１４）。
【００６１】
次にマスク画像Ｋｓの発生処理について説明する。図１１はマスク画像発生の処理フローである。
【００６２】
自車影計算部３５は、自車３次元形状記憶部３４が記憶している自車形状と、時刻ｔ１において算出した太陽の位置と自車方向情報とを取得し（ステップＳ１１１１）、該自車形状と該太陽の位置と該自車方向情報を用いて、図１（Ｂ）の（ａ）に示すような時刻ｔ１（撮影画像Ｐ１撮影時）の自車影画像Ｋ１を算出する（ステップＳ１１１２）。
【００６３】
しかる後、同様に自車影計算部３５は、時刻ｔ２において算出した太陽の位置と自車方向情報とを取得し（ステップＳ１１１３）、該自車形状と該太陽の位置情報と該自車方向情報とを用いて、図１（Ｂ）の（ｂ）に示すように（撮影画像Ｐ２撮影時）の自車影画像Ｋ２を算出する（ステップＳ１１１４）。尚、時刻ｔ１と時刻ｔ２の時間差は、例えば１秒であるため、これらの時刻における太陽位置はほぼ同じであるので、時刻ｔ２の自車影画像Ｋ２を時刻ｔ１の自車影画像Ｋ１とみなすこともできる。
【００６４】
次に、影画像シフト部３７は車両移動計算部２９が算出した移動量を取得し（ステップＳ１１１５）、影画像Ｋ２を該移動量に基づいて移動した方向と逆方向にシフトし、図１（Ｂ）の（ｃ）に示すように移動量補正した影画像Ｋ２’を算出する（ステップＳ１１１６）。
【００６５】
最後に自車影差分演算部３８は影画像Ｋ１より移動量補正した影画像Ｋ２’を差し引き、差分マスク作成部３９は図１（Ｂ）の（ｄ）に示すような差分画像Ｋｓを算出する（ステップＳ１１１７）。この差分画像Ｋｓを前述したＳ１０１１以降において使用する。尚、第１変形例と第２変形例とを組み合わせることも可能である。
【００６６】
以上、本変形例によれば、第１実施例と同様の効果を得ることができ、かつ太陽に限らず光源が存在する全ての場所で影画像を作成し正確に立体物を検出することができる。
【００６７】
（Ｅ）第２実施例
図１２は本発明の第２実施例の構成図であり、図４の第１実施例の構成図と同一の部分には同一符号を付しており、図４と異なる点は画像合成部１２１を設けた点である。
画像合成部１２１は自車影計算部３５が算出した影画像Ｋ（自車影領域）と投影処理部２６が作成した俯瞰画像との合成を行う。
【００６８】
図１３は本発明の第２実施例の処理フローである。以下、処理フローにしたがって、説明を行う。
ギアポジション検出部（図示せず）はギアがバックに入ったかの監視を行い（ステップＳ１３０１）、ギアがバックに入ったと判断した場合には、Ｓ１３０２に進む。
ステップＳ１３０１でギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ２４は時刻ｔ１において車両進行方向の撮影画像Ｐ１を撮影し（ステップＳ１３０２）、画像トリミング部２５は撮影画像Ｐ１から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図２（Ａ）の（ａ）に示すような自車影１、立体物２、平面図形３を含む俯瞰画像Ｇ１を取得し（ステップＳ１３０３）、内蔵のメモリに該俯瞰画像Ｇ１を記憶する。
【００６９】
ついで、後述する影領域算出処理を行い、自車影計算画像Ｋ（図２（Ｂ）の（ｂ））を算出し（ステップＳ１３０４）、画像合成部１２１は俯瞰画像Ｇ１と影画像Ｋとを合成し、図２（Ａ）の（ｂ）に示すような立体物２、平面図形３、影画像１０を含む俯瞰画像Ｇ１’を生成して画像バッファ２７に保存する（ステップＳ１３０５）。立体検出装置２０の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ１３０６）、所定時間経過した場合Ｓ１３０７に進む。
ステップＳ１３０６において、所定時間経過した場合には、カメラ２４は時刻ｔ２における車両進行方向の撮影画像Ｐ２を撮影し（ステップＳ１３０７）、画像トリミング部２５は撮影画像Ｐ２から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図２（Ａ）の（ｃ）に示すような俯瞰画像Ｇ２を取得する（ステップＳ１３０８）。
【００７０】
次に、画像合成部１２１は俯瞰画像Ｇ２と影画像Ｋとを合成し、図２（Ａ）の（ｄ）に示すような俯瞰画像Ｇ２’を発生し（ステップＳ１３０９）、車両移動量計算部２９は車速検出部２２より車速情報を取得し、かつステアリング検出部２８よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し（ステップＳ１３１０）、画像シフト部３０は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇ２’をシフトし、図２（Ａ）の（ｅ）に示すように俯瞰画像Ｇ２’全体を移動量分だけ補正した俯瞰画像Ｇ２”を算出する（ステップＳ１３１１）。
【００７１】
しかる後、差分演算部３１は画像バッファ２７が記憶している俯瞰画像Ｇ１’より画像シフト部３０が補正した俯瞰画像Ｇ２”を差し引いて、図２（Ａ）の（ｆ）に示すように影の残存差分１１と立体物の残存差分１２が存在する差分画像Ｇｓを算出する（ステップＳ１３１２）。
ついで、後述するマスク画像Ｋｓ発生処理を行い、図２（Ｂ）の（ｄ）に示すように自車影の残存差分１３を含むマスク画像Ｋｓを発生し（ステップＳ１３１３）、差分マスク部４０は差分画像Ｇｓよりマスク画像Ｋｓを差し引いて図２（Ｃ）に示すような差分画像Ｇｓ’を算出し（ステップＳ１３１４）、警告発生部４１は差分画像Ｇｓ’内に残存差分が存在するか判断し（ステップＳ１３１５）、残存差分５が存在する場合にはＳ１３１６に進み、残存差分が存在しない場合にはＳ１３１７に進む。
【００７２】
ステップＳ１３１５において、残存差分１２が存在する場合には警告発生部４１は進行方向に立体物が存在すると判断して警告発生し（ステップＳ１３１６）、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ１３１７）。
【００７３】
次に影画像Ｋの算出処理について説明する。図１４は影画像算出の処理フローである。
【００７４】
太陽位置算出部３３は、ＧＰＳ受信部２１より撮影画像Ｐ１撮影時（時刻ｔ１）のＧＰＳ情報（位置および時刻情報）を取得し、かつ太陽運動軌道記憶部３２が記憶している太陽運動軌道情報を取得し、該ＧＰＳ情報と該太陽運動軌道情報より自車位置を基準にした撮影画像Ｐ１撮影時の太陽の位置を算出する（ステップＳ１４０５）。
ついで、自車影計算部３５は、自車３次元形状記憶部３４が記憶している自車形状（車高）と、算出した太陽の位置とジャイロセンサから取得した自車方向情報を取得する（ステップＳ１４０６）。
【００７５】
しかる後、該取得した情報を用いて図２（Ｂ）の（ａ）に示すような自車影８の先端ＴＰの位置を算出し、該先端ＴＰを通る点線で特定される矩形領域９により自車影を近似し（ステップＳ１４０７）、図２（Ｂ）の（ｂ）に示すように自車影１０の画像Ｋを発生し（ステップＳ１４０８）、該影画像Ｋを画像合成部１２１と影画像バッファ３６と影画像オフセット部３７とにそれぞれ入力する。
【００７６】
次にマスク画像Ｋｓの発生処理について説明する。図１５はマスク画像発生の処理フローである。
【００７７】
影画像シフト部３７は、自車影計算部３５が算出した影画像Ｋを取得し（ステップ１５１４）、該影画像シフト部３７は車両移動計算部２９が算出した移動量を取得し（ステップＳ１５１５）、影画像Ｋを該移動量に基づいて移動した方向と逆方向にシフトし、図２（Ｂ）の（ｃ）に示すように移動量補正した影画像Ｋ’を算出する（ステップＳ１５１６）。
【００７８】
最後に、自車影差分演算部３８は影画像Ｋより移動量補正した影画像Ｋ’を差し引き、差分マスク作成部３９は図２（Ｂ）の（ｄ）に示すような差分画像Ｋｓを発生する（ステップＳ１５１７）。この差分画像Ｋｓが前述したＳ１３１４以降において使用される。
【００７９】
以上、本実施例によれば、自車方向、太陽の位置情報、車高を用いて近似的に自車影を算出し、該自車影領域を影画像とする自車影画像を用いて、撮影画像より自車影像を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。また、自車影画像を簡単に生成して削除することができる。
【００８０】
（Ｆ）第３実施例
図１６は本発明の第３実施例の構成図である。
カメラ１６１は、自車の後方を撮影できるように所定の位置（例えば、車両のナンバープレートの上方）に取り付けられており、時刻ｔ１と所定時間Δｔ経過した時刻（ｔ１＋Δｔ）、および該時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２と所定時間Δｔ経過した時刻（ｔ２＋Δｔ）にそれぞれの自車後方を撮影する。
【００８１】
カメラＤＳＰ（Digital Signal Processor）１６２は時刻ｔ１、時刻（ｔ１＋Δｔ）、時刻ｔ２および時刻（ｔ２＋Δｔ）における各撮影画像から俯瞰変換を行うための画像の切り出しを行う。フレーム遅延制御部１６３は自車速度に応じてΔｔを変化させる。すなわち、カメラ１６１が、例えば１／６０秒で１フレームを撮影するように設定されているとすると、車速が遅い（例えば時速１ｋｍ）ときにはΔｔを１０フレーム分の時間に設定し、車速が早い（例えば時速２ｋｍ）ときにはΔｔを５フレーム分の時間に設定する。
【００８２】
差分演算部１６４は、時刻ｔ１における撮影画像より時刻（ｔ１＋Δｔ）における撮影画像を差し引いて自車影を除去した差分画像を作成し、および時刻ｔ２の撮影画像より時刻（ｔ２＋Δｔ）における撮影画像を差し引いて同様に自車影を除去した差分画像を作成する。閾値判定部１６５は、該差分画像内に自車影の残存差分が存在する場合に閾値幅を設けて除去するものである。すなわち、残存差分の幅が閾値幅以下であれば、自車影とみなし該残存差分を除去した差分画像を発生する。例えば、自車の移動距離が５ｃｍ、撮影画像内に存在する残存差分の移動方向の幅ｄ（単位はｃｍ）とすると、ｄ＜２ｃｍの残存差分は自車影であると判断し、該残存差分を除去する。尚、閾値判定部１６５を設ける理由は、例えば１／６０秒で１フレームを撮影するように設定されているとすると、１０フレームの時間をΔｔとした場合、該Δｔは１／６秒となり、自車影の細い差分画像が発生する可能性があるためである。
【００８３】
画像メモリ１６６は、任意の時刻ｔ１、ｔ２の各撮影画像と該任意の時間より所定時間Δｔそれぞれ経過した撮影画像との差分画像を記憶する。視線変換部１６７は、各差分画像を俯瞰画像に変換する。車両移動測定部１６８は、図示しない車速検出部とステアリング検出部から取得した車速情報とステアリング情報より自車の経度方向および緯度方向の移動量を算出する。移動補正処理部１６９は、視線変換部１６７が作成した該時刻ｔ２の画像の俯瞰画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトし、シフト画像を発生する。
【００８４】
差分画像演算部１７０は、該時刻ｔ１における差分画像の俯瞰画像より前記シフト画像を差し引いて差分画像を発生する。立体物判断部１７１は、該差分画像内に残存差分が存在するか判断し、残存差分が存在する場合には立体物が存在すると判断して図示しないスピーカおよび表示部により立体物の存在を運転者に明示して、残存差分が存在しない場合には立体物が存在しないと判断する。
【００８５】
図１７は本発明の第３実施例の処理フローである。以下、処理フローにしたがって、説明を行う。
図示しないギアポジション検出部はギアがバックに入ったかの監視を行い（ステップＳ１７０１）、ギアがバックに入ったと判断した場合には、Ｓ１７０２に進む。
【００８６】
ステップＳ１７０１において、該ギアポジション検出がギアがバックに入ったと判断した場合には、カメラ１６１は時刻ｔ１において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り、図３（Ａ）の（ａ）に示すような自車影１、立体物２を含む撮影画像Ｐ１を取得する（ステップＳ１７０２）。
ついで、Δｔ経過すると、カメラ１６１は時刻（ｔ１＋Δｔ）において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り図３（Ａ）の（ｂ）に示すような撮影画像Ｐ１’を取得し（ステップＳ１７０３）、差分演算部１６４は撮影画像Ｐ１より撮影画像Ｐ１’を差し引いて、図３（Ａ）の（ｃ）に示すような立体物の残存差分１４を含む差分画像Ｐ１”を算出する（ステップＳ１７０４）。
【００８７】
その後、閾値判定部１６５は差分画像Ｐ１”内に存在する残存差分の移動方向の幅が閾値以下かの判断を行い（ステップＳ１７０５）、該幅が該閾値以下の場合にはＳ１７０６に進み、該幅が閾値以上の場合にはＳ１７０７に進む。
ステップＳ１７０５において、閾値判定部１６５が該幅が該閾値内であると判断した場合には閾値判定部１６５は該残存差分を自車影の残存差分とみなして消去し（ステップＳ１７０６）、画像メモリ１６６は該差分画像を記憶する。
【００８８】
ステップ１７０５において、閾値判定部１６５が該幅が該閾値以上である判断した場合、もしくはステップＳ１７０６の処理を行った後、立体検出装置の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ１７０７）、所定時間経過した場合にはＳ１７０８に進む。
ステップＳ１７０７において、所定時間経過した場合には、カメラ１６１は時刻ｔ２において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り、図３（Ｂ）の（ａ）に示すような自車影１、立体物２を含む撮影画像Ｐ２を取得する（ステップＳ１７０８）。
【００８９】
しかる後、Δｔ経過すると、カメラ１６１は時刻（ｔ２＋Δｔ）において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り図３（Ｂ）の（ｂ）に示すような撮影画像Ｐ２’を取得し（ステップＳ１７０９）、差分演算部１６４は撮影画像Ｐ２より撮影画像Ｐ２’を差し引いて、図３（Ｂ）の（ｃ）に示すような立体物の残存差分１５とを含む差分画像Ｐ２”を算出し（ステップＳ１７１０）、閾値判定部１６５は差分画像Ｐ２”内に存在する残存差分の移動方向の幅が閾値以下かの判断を行い（ステップＳ１７１１）、該幅が該閾値以下の場合にはＳ１７１２に進み、該幅が閾値以下ではない場合にはＳ１７１３に進む。
【００９０】
ステップＳ１７１１において、閾値判定部１６５が該幅が該閾値以下であると判断した場合には閾値判定部１６５は該残存差分を消去し（ステップＳ１７１２）、画像メモリ１６６は該差分画像を記憶する。
ステップ１７１１において、閾値判定部１６５が該幅が該閾値以上であると判断した場合、もしくはステップＳ１７１２の処理を行った後、視線変換部１６７は差分画像Ｐ１”および差分画像Ｐ２”を俯瞰変換し、図示しない俯瞰画像Ｇｔ１（差分画像Ｐ１”の俯瞰画像）と俯瞰画像Ｇｔ２（差分画像Ｐ２”の俯瞰画像）を算出する（ステップＳ１７１３）。
【００９１】
次に、車両移動測定部１６８は図示しない車速検出部とステアリング検出部からそれぞれ取得した車速情報とステアリング情報より自車の経度方向および緯度方向の移動量を算出し（ステップＳ１７１４）、移動補正処理部１６９は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇｔ２をシフトし、図３（Ｂ）の（ｄ）に示すように俯瞰画像Ｇｔ２全体を移動量分だけ補正した俯瞰画像Ｇｔ２”を算出する（ステップＳ１７１５）。
【００９２】
ついで、差分演算部１７０は差分画像Ｇｔ１より差分画像Ｇｔ２’を差し引いて、図３（Ｃ）に示すような差分画像Ｇｔｓを算出し（ステップＳ１７１６）、立体物判断部１７１は差分画像Ｇｔｓ内に残存差分が存在するか判断し（ステップＳ１７１７）、残存差分１６が存在する場合にはＳ１７１８に進み、残存差分が存在しない場合にはＳ１７１９に進む。
【００９３】
ステップＳ１７１７において、残存差分１６が存在する場合には立体物検出部１７１は進行方向に立体物が存在すると判断し（ステップＳ１７１８）、図示しない警告発生部により運転者に警告を行い、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ１７１９）。
【００９４】
以上、本実施例によれば、単眼カメラにより近接した２つの時刻に撮影した第１の撮影画像と第２の撮影画像の差分を算出することにより自車影を除去するようにしたので、簡単な処理で時刻ｔ１、ｔ２の撮影画像の差分画像より自車影を除去でき、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１実施例の概略説明図である。
【図２】本発明の第２実施例の概略説明図である。
【図３】本発明の第３実施例の概略説明図である。
【図４】本発明の第１実施例の構成図である。
【図５】本発明の第１実施例の処理フローである。
【図６】本発明の第１実施例のマスク画像発生の処理フローである。
【図７】本発明の第１実施例の第１変形例の構成図である。
【図８】本発明の第１実施例の第２変形例の構成図である。
【図９】カメラによる光源位置検出の概要図である。
【図１０】本発明の第１実施例の第２変形例の処理フローである。
【図１１】本発明の第１実施例の第２変形例のマスク画像発生の処理フローである。
【図１２】本発明の第２実施例の構成図である。
【図１３】本発明の第２実施例の処理フローである。
【図１４】本発明の第２実施例の影画像算出の処理フローである。
【図１５】本発明の第２実施例のマスク画像発生の処理フローである。
【図１６】本発明の第３実施例の構成図である。
【図１７】本発明の第３実施例の処理フローである。
【図１８】従来技術の概略図である。
【図１９】従来技術において影が存在する場合の概略図である。
【符号の説明】
【００９６】
１自車影
２立体物
３平面図形
４自車影の残存差分
６計算で算出した自車影
７自車影６の残存差分
８計算で算出した残存差分
９自車影８より算出した自車影領域
１０自車影領域９を影とした影画像
１１自車影領域の残存差分
１３影画像の残存差分
１４移動前の立体物の残存差分
１５移動後の立体物の残存差分
１６立体物の残存差分
３２太陽運動軌道記憶部
３３太陽位置算出部
３４自車３次元形状記憶部
３５自車影計算部
３６影画像バッファ
３７影画像オフセット部
３８自車影差分演算部
３９差分マスク作成部
４０差分マスク部
７１背景画像作成部
８１カメラ
８２太陽位置検出部
１２１画像合成部
１６３フレーム遅延制御部
１６５閾値判定部
ＣＮＷ車内ネットワーク
ＴＰ影の先端の位置

【特許請求の範囲】
【請求項１】
自動車に取り付けた単眼カメラによる立体物検出方法において、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換した第１の視線変換画像を発生し、
前記時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換した第２の視線変換画像を発生し、
前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記時刻ｔ１から時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生し、
前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、
該シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生し、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。
【請求項２】
更に、前記時刻ｔ１前後の複数枚の撮影画像を取得し平均化し、前記第１の撮影画像とし、
前記時刻ｔ２前後の複数枚撮影画像を取得し平均化し、前記第２の撮影画像とする、
ことを特徴とする請求項１記載の立体物検出方法。
【請求項３】
更に、自車移動方向と車速を検出し、
前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項１記載の立体物検出方法。
【請求項４】
更に、自車形状を記憶すると共に、自車方向を取得し、かつ光源位置を算出し、
該光源位置と前記自車形状と前記自車方向を用いて、前記影画像を作成する、
ことを特徴とする請求項１記載の立体物検出方法。
【請求項５】
更に、太陽軌道を記憶すると共に、自車位置を取得し、
前記光源位置を、前記太陽軌道と前記自車位置を用いて算出する、
ことを特徴とする請求項４記載の立体物検出方法。
【請求項６】
更に、任意の場所に設置されたカメラにより光源を撮影し、前記光源位置を、撮影画像により算出する、
ことを特徴とする請求項４記載の立体物検出方法。
【請求項７】
自動車に取り付けた単眼カメラによる立体物検出方法において、
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生し、
任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生し、
前記第１の合成画像と前記第２の合成画像のいずれか一方を、該時刻ｔ１から該時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生し、
前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、
該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生し、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。
【請求項８】
自動車に取り付けた単眼カメラによる立体物検出方法において、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、該時刻ｔ１より所定時間Δｔ経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生し、
前記時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、該時刻ｔ２より前記所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生し、
前記第１の差分画像と前記第２の差分画像のいずれか一方を、前記時刻ｔ１から前記時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生し、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。
【請求項９】
前記第１の差分画像と前記第２の差分画像を視線変換して、第１の視線変換差分画像と第２の視線変換差分画像を発生し、
該第１の視線変換差分画像と該第２の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第３の差分画像を発生する、
ことを特徴とする請求項８記載の立体物検出方法。
【請求項１０】
更に、自車の移動方向と車速を検出し、
前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項８記載の立体物検出方法。
【請求項１１】
更に、前記第１の差分画像もしくは前記第２の差分画像を作成する際に、画像の幅に関して閾値判断して該第１、第２の差分画像を作成する、
ことを特徴とする請求項８記載の立体物検出方法。
【請求項１２】
自動車に取り付けた単眼カメラによる立体物検出装置において、
任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻ｔ１と前記時刻ｔ２に前記カメラによりそれぞれ撮影した第１の撮影画像と第２の撮影画像とをそれぞれ視線変換して第１の視線変換画像と第２の視線変換画像とを発生する視線変換部と、
前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、
前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成する影画像作成部と、
前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、
前記シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、
前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。
【請求項１３】
更に、複数の撮影画像を取得し平均化した撮影画像を発生する平均撮影画像発生部を備え、
該平均撮影画像発生部が発生した撮影画像を前記第１の撮影画像および前記第２の撮影画像とする、
ことを特徴とする請求項１２記載の立体物検出装置。
【請求項１４】
更に、前記自車の移動方向を検出する移動方向検出部と、
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向検出部が検出した移動方向と前記車速検出部が検出した車速を用いて、前記移動量を算出する、
ことを特徴とする請求項１２記載の立体物検出装置。
【請求項１５】
更に、自車形状を記憶する自車形状記憶部と、
自車方向を検出する自車方向検出部と、
光源の位置を算出する光源位置算出部と、
を備え、
前記影画像作成部は、前記自車形状と前記自車方向と前記光源位置を用いて、前記影画像を作成する、
ことを特徴とする請求項１２記載の立体物検出装置。
【請求項１６】
更に、太陽軌道を記憶する太陽軌道記憶部と、
自車位置を検出する自車位置検出部と、
を備え、
前記光源位置算出部は、前記太陽軌道と前記自車位置を用いて太陽位置を光源位置として算出する、
ことを特徴とする請求項１５記載の立体物検出装置。
【請求項１７】
更に、前記自車の任意の場所に、太陽光源を撮影するカメラを備え、
前記光源位置検出部は、該カメラが撮影した画像を用いて太陽位置を前記光源位置として算出する、
ことを特徴とする請求項１５記載の立体物検出装置。
【請求項１８】
自動車に取り付けた単眼カメラによる立体物検出装置において、
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生する第１合成画像発生部と、
任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生する第２合成画像発生部と、
前記第１の合成画像と前記第２の合成画像のいずれか一方を、該時刻ｔ１から該時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、
該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、
前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、
該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。
【請求項１９】
自動車に取り付けた単眼カメラによる立体物検出装置において、
任意の時刻ｔ１と該時刻ｔ１より所定時間Ｔ経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、前記時刻ｔ１より所定時間Δｔ（Ｔ＞Δｔ）経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、
前記時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、前記時刻ｔ２より所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、
前記第１の差分画像と前記第２の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、
前記シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、
前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。
【請求項２０】
更に、前記第１の差分画像と前記第２の差分画像を視線変換して、第１の視線変換差分画像と第２の視線変換差分画像を発生する視線変換発生部を備え、
前記シフト差分画像発生部は、前記第１の視線変換差分画像と前記第２の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
前記第３差分画像発生部は、該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第３の差分画像を発生する、
ことを特徴とする請求項１９記載の立体物検出装置。
【請求項２１】
更に、前記自車の移動方向を検出する移動方向検出部と、
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
を特徴とする請求項１９記載の立体物検出装置。
【請求項２２】
更に、前記第１の差分画像および前記第２の差分画像を画像幅に関して閾値判断する閾値判断部、
を備えたことを特徴とする請求項１９記載の立体物検出装置。

【図１】