画像処理装置及び運転支援装置
【課題】視野角を確保しつつ、鮮明な画像を生成する。
【解決手段】運転支援ＥＣＵ１は、車両ＶＣ１の周辺の画像情報を生成する第１画像生成部１０１と、生成された画像毎に消失点ＶＰの位置を求める消失点抽出部１０２と、車両の動きを検出する移動状態検出部１０６と、補正対象画像Ｐ０を選定する補正対象選定部１０４と、第１画像Ｐ１を選定する第１画像選定部１０５と、所定個数Ｎの第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく、所定個数Ｎの第１画像Ｐ１を、それぞれ、消失点ＶＰの位置及び車両ＶＣ１の動きに基づいて補正して、補正後の画像である第２画像Ｐ２を生成する第２画像生成部１１１と、所定個数Ｎの第２画像Ｐ２を補正対象画像Ｐ０と合成することによって、補正対象画像Ｐ０を補正する画像補正実行部１１２と、を備える。
【解決手段】運転支援ＥＣＵ１は、車両ＶＣ１の周辺の画像情報を生成する第１画像生成部１０１と、生成された画像毎に消失点ＶＰの位置を求める消失点抽出部１０２と、車両の動きを検出する移動状態検出部１０６と、補正対象画像Ｐ０を選定する補正対象選定部１０４と、第１画像Ｐ１を選定する第１画像選定部１０５と、所定個数Ｎの第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく、所定個数Ｎの第１画像Ｐ１を、それぞれ、消失点ＶＰの位置及び車両ＶＣ１の動きに基づいて補正して、補正後の画像である第２画像Ｐ２を生成する第２画像生成部１１１と、所定個数Ｎの第２画像Ｐ２を補正対象画像Ｐ０と合成することによって、補正対象画像Ｐ０を補正する画像補正実行部１１２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車両等の移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置、及び、車両に搭載され、運転者に対して運転支援情報を出力する運転支援装置に関する。
【背景技術】
【０００２】
従来、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラ等を介して、該車両の周辺の路側物等の物体を検出し、検出された物体に基づいて、該車両の運転者の運転操作を支援する情報である運転支援情報を運転者に報知する技術が知られている。しかしながら、車両に搭載されたカメラは、露光時間中に車両が移動することに起因して、被写体像にブレの有る不鮮明な画像しか撮像することができない場合があった。また、このような不鮮明な画像を利用して車両の周囲に存在する物体の検出を行った場合には、適正な運転支援情報を出力できない虞があった。
【０００３】
この課題を解消するために、種々の装置、方法等が提案されている（例えば、特許文献１参照）。例えば、特許文献１に記載の撮像装置は、カメラが搭載される移動体の速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部とを備える。
【０００４】
上記特許文献１に記載の撮像装置によれば、車両等の移動体が移動している場合であっても、ブレの無い鮮明な画像を撮像することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１８５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の撮像装置では、カメラが搭載される移動体の速度に基づいて、撮像倍率が変化されるため、予め設定された視野角を確保することができない虞がある。すなわち、例えば、カメラが車両に搭載される場合には、該カメラの視野角は、該カメラによって検出するべき物体の存在する範囲を含むように予め設定されている。そこで、撮像倍率が変化されることによって視野角が狭くなると、検出するべき物体が視野外となって検出できない場合があるのである。
【０００７】
また、薄暮の時、霧、雨等により撮影条件が悪い場合には、カメラの露光時間が短いと充分なコントラストが得られず、逆にカメラの露光時間が長いと画像のブレが大きくなるという問題がある。
【０００８】
本発明は、上記事情に鑑みてなされたものであって、その目的とするところは、視野角を確保しつつ、鮮明な画像を生成することの可能な画像処理装置、及び、該画像処理装置を備えた運転支援装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、以下の特徴を有している。本発明の第１の局面は、移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置であって、前記カメラを介して、予め設定された所定時間毎に、該移動体の周辺の画像情報を生成する第１画像生成手段と、前記第１画像生成手段によって生成された画像毎に、該画像の消失点の位置を求める消失点抽出手段と、前記第１画像生成手段によって画像情報が生成される時点における該移動体の移動速度を含む移動体の動きを検出する移動状態検出手段と、前記第１画像生成手段によって生成された画像の中から、補正する対象の１つの画像である補正対象画像を選定する補正対象選定手段と、前記補正対象選定手段によって選定された補正対象画像が前記第１画像生成手段によって生成される直前に、前記第１画像生成手段によって生成された１つ以上の予め設定された所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定する第１画像選定手段と、前記第１画像選定手段によって選定された前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と一致させるべく、前記所定個数の第１画像を、それぞれ、前記消失点抽出手段によって求められた消失点の位置、及び、前記移動状態検出手段によって検出された前記移動体の動きに基づいて補正して、補正後の画像である第２画像を生成する第２画像生成手段と、前記第２画像生成手段によって生成された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する画像補正手段と、を備える。
【００１０】
本発明の第２の局面は、上記第１の局面において、前記第１画像生成手段によって生成された画像情報を格納する画像記憶手段を備え、前記第１画像生成手段が、生成された画像情報を画像記憶手段に記録し、前記消失点抽出手段が、求められた消失点の位置情報を、前記画像情報に対応付けて、前記画像記憶手段に記録し、前記移動状態検出手段が、検出された移動体の動き情報を前記画像情報に対応付けて、前記画像記憶手段に記録し、前記第２画像生成手段が、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報を読み出して、前記所定個数の第１画像をそれぞれ補正し、補正によって生成された前記所定個数の第２画像情報を、前記補正対象選定手段によって選定された補正対象画像情報に対応付けて、前記画像記憶手段に記録し、前記画像補正手段が、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報を読み出して、該補正対象画像を補正する。
【００１１】
本発明の第３の局面は、上記第１の局面において、前記第１画像生成手段が、予め設定された閾値以下の露光時間で撮像された画像情報を生成する。
【００１２】
本発明の第４の局面は、上記第３の局面において、前記移動状態検出手段によって検出された該移動体の移動速度に基づいて、前記露光時間を設定する露光時間設定手段を備え、前記第１画像生成手段が、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する。
【００１３】
本発明の第５の局面は、上記第４の局面において、前記露光時間設定手段が、前記移動状態検出手段によって検出された該移動体の移動速度が速い程、前記露光時間を短く設定する。
【００１４】
本発明の第６の局面は、上記第３の局面において、前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、前記撮像条件判定手段によって判定された良否の程度に基づいて、前記露光時間を設定する露光時間設定手段と、を備え、前記第１画像生成手段が、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する。
【００１５】
本発明の第７の局面は、上記第６の局面において、前記露光時間設定手段が、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記露光時間を長く設定する。
【００１６】
本発明の第８の局面は、上記第１の局面において、前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、前記撮像条件判定手段によって判定された良否の程度に基づいて、前記所定個数を設定する個数設定手段と、を備え、前記第１画像選定手段が、前記個数設定手段によって設定された前記所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定し、前記第２画像生成手段が、前記個数設定手段によって設定された前記所定個数の第１画像を補正して、補正後の画像である第２画像を生成し、前記画像補正手段が、前記個数設定手段によって設定された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する。
【００１７】
本発明の第９の局面は、上記第８の局面において、前記個数設定手段が、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記所定個数を大きく設定する。
【００１８】
本発明の第１０の局面は、上記第１の局面において、該移動体の周囲に存在する他の移動体の、該移動体との間の距離、及び、相対速度を検出する移動体検出手段を備え、前記第２画像生成手段が、前記補正対象画像及び前記所定個数の第１画像に含まれる他の移動体に関して、前記所定個数の第１画像に含まれる他の移動体の位置を、前記移動体検出手段によって検出された該移動体との間の距離、及び、相対速度に基づいて補正して、補正後の画像である第２画像を生成する。
【００１９】
本発明の第１１の局面は、上記第１の局面において、前記移動体が、車両である。
【００２０】
本発明の第１２の局面は、上記第１１の局面において、前記移動状態検出手段が、更に、該車両のピッチ角、ロール角、及び、ヨー角の少なくとも１つを検出する。
【００２１】
本発明の第１３の局面は、車両に搭載され、運転者に対して運転操作を支援する情報である運転支援情報を出力する運転支援装置であって、上記第１１の局面に係る画像処理装置と、前記画像処理装置によって補正された補正対象画像に基づいて、前記運転支援情報を出力する情報出力手段と、を備える。
【発明の効果】
【００２２】
上記第１の局面によれば、移動体に搭載されたカメラを介して、予め設定された所定時間毎に、該移動体の周辺の画像情報が生成される。そして、生成された画像毎に、該画像の消失点の位置が求められる。また、画像情報が生成される時点における該移動体の移動速度を含む移動体の動きが検出される。更に、生成された画像の中から、補正する対象の１つの画像である補正対象画像が選定される。加えて、選定された補正対象画像が生成される直前に、生成された１つ以上の予め設定された所定個数の画像が、前記補正対象画像の補正に用いる画像情報である第１画像として選定される。また、選定された前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と一致させるべく、前記所定個数の第１画像が、それぞれ、求められた消失点の位置、及び、検出された前記移動体の動きに基づいて補正されて、補正後の画像である第２画像が生成される。生成された前記所定個数の第２画像が、前記補正対象画像と合成されることによって、該補正対象画像が補正される。従って、視野角を確保しつつ、鮮明な画像を生成することができる。
【００２３】
すなわち、画像を生成する際に、撮像倍率等を変更することがないため、視野角を確保することができるのである。また、前記補正対象画像に含まれる静止物の位置と一致させるべく、補正対象画像が生成される直前に生成された前記所定個数の第１画像が、それぞれ、求められた消失点の位置、及び、検出された前記移動体の動きに基づいて補正されて、補正後の画像である第２画像が生成される。そして、生成された前記所定個数の第２画像が、前記補正対象画像と合成されることによって、該補正対象画像が補正されるため、前記補正対象画像に含まれる静止物のＳ／Ｎ比を向上することができるので、鮮明な画像を生成することができるのである。
【００２４】
上記第２の局面によれば、生成された画像情報を格納する画像記憶手段を備えている。そして、生成した画像情報が画像記憶手段に記録され、求められた消失点の位置情報が、前記画像情報に対応付けて、前記画像記憶手段に記録される。また、検出された移動体の動き情報が前記画像情報に対応付けて、前記画像記憶手段に記録される。更に、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報が読み出されて、前記所定個数の第１画像がそれぞれ補正され、補正によって生成された前記所定個数の第２画像情報が、選定された補正対象画像情報に対応付けて、前記画像記憶手段に記録される。また、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報が読み出されて、該補正対象画像が補正される。従って、簡素な処理で、鮮明な画像を生成することができる。
【００２５】
すなわち、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報が読み出されて、前記所定個数の第１画像がそれぞれ補正され、前記所定個数の第２画像情報が生成される。また、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報が読み出されて、該補正対象画像が補正される。従って、簡素な処理で、鮮明な画像を生成することができるのである。
【００２６】
上記第３の局面によれば、予め設定された閾値以下の露光時間で撮像された画像情報が生成される。従って、更に鮮明な画像を生成することができる。
【００２７】
すなわち、露光時間が長いと、画像のブレが大きくなる。これに対して、露光時間が短いと、撮像されて生成された各画像は、充分なコントラストが得られない場合があるが、前記補正対象画像情報に、前記所定個数の第２画像情報が合成されて補正されるので、充分なコントラストを得ることができるのである。
【００２８】
上記第４の局面によれば、検出された該移動体の移動速度に基づいて、前記露光時間が設定される。そして、設定された露光時間で撮像された画像情報が生成される。従って、更に鮮明な画像を生成することができる。
【００２９】
すなわち、検出された該移動体の移動速度に基づいて、前記露光時間が設定されるため、適正な露光時間を設定することができるため、適正な露光時間で撮像された画像情報が生成されるので、更に鮮明な画像を生成することができるのである。
【００３０】
上記第５の局面によれば、検出された該移動体の移動速度が速い程、前記露光時間を短く設定される。従って、更に鮮明な画像を生成することができる。
【００３１】
すなわち、移動速度が速い程、画像のブレが大きくなるため、移動速度が速い程、露光時間を短く設定することによって、更に鮮明な画像を生成することができるのである。
【００３２】
上記第６の局面によれば、前記カメラが撮像する条件の良否の程度が判定される。そして、判定された良否の程度に基づいて、前記露光時間が設定される。また、設定された露光時間で撮像された画像情報が生成される。従って、更に鮮明な画像を生成することができる。
【００３３】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラの露光時間が短いと充分なコントラストが得られない。そこで、撮影条件の良否の程度に基づいて、前記露光時間が設定され、設定された露光時間で撮像された画像情報が生成されるため、更に鮮明な画像を生成することができるのである。
【００３４】
上記第７の局面によれば、前記カメラが撮像する条件が悪いと判定される程、前記露光時間が長く設定される。従って、更に鮮明な画像を生成することができる。
【００３５】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラの露光時間が短いと充分なコントラストが得られない。そこで、前記カメラが撮像する条件が悪いと判定される程、前記露光時間が長く設定されるため、更に鮮明な画像を生成することができるのである。
【００３６】
上記第８の局面によれば、前記カメラが撮像する条件の良否の程度が判定される。そして、判定された良否の程度に基づいて、前記所定個数が設定される。また、設定された前記所定個数の画像が、前記補正対象画像の補正に用いる画像情報である第１画像として選定される。更に、設定された前記所定個数の第１画像が補正されて、補正後の画像である第２画像が生成される。加えて、設定された前記所定個数の第２画像が、前記補正対象画像と合成されることによって、該補正対象画像が補正される。従って、更に鮮明な画像を生成することができる。
【００３７】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラを介して生成された画像において充分なコントラストが得られない虞がある。そこで、前記カメラが撮像条件の良否の程度に基づいて、前記所定個数が設定されるため、前記所定個数として適正な個数が設定される。そして、適正な個数に設定された前記所定個数の第１画像情報に基づいて、前記補正対象画像が補正されるため、更に鮮明な画像を生成することができるのである。
【００３８】
上記第９の局面によれば、前記カメラが撮像する条件が悪いと判定される程、前記所定個数が大きく設定される。従って、更に鮮明な画像を生成することができる。
【００３９】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラの露光時間が短いと充分なコントラストが得られない。そこで、前記カメラが撮像する条件が悪いと判定される程、前記所定個数が大きく設定されるため、更に鮮明な画像を生成することができるのである。
【００４０】
上記第１０の局面によれば、該移動体の周囲に存在する他の移動体の、該移動体との間の距離、及び、相対速度が検出される。そして、前記補正対象画像及び前記所定個数の第１画像に含まれる他の移動体に関して、前記所定個数の第１画像に含まれる他の移動体の位置が、検出された他の移動体の該移動体との間の距離、及び、相対速度に基づいて補正されて、補正後の画像である第２画像が生成される。従って、前記補正対象画像に、他の移動体が含まれる場合にも、該他の移動体の鮮明な画像を生成することができる。
【００４１】
上記第１１の局面によれば、前記移動体が車両である。従って、車両に搭載されたカメラを介して生成された該車両の周辺の画像を補正して、視野角を確保しつつ、鮮明な画像を生成することができる。
【００４２】
上記第１２の局面によれば、更に、該車両のピッチ角、ロール角、及び、ヨー角の少なくとも１つが検出される。従って、更に鮮明な画像を生成することができる。
【００４３】
すなわち、車両の移動速度に加えて、ピッチ角、ロール角、及び、ヨー角を検出することによって、前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と更に正確に一致させるべく、前記所定個数の第１画像を補正して、補正後の画像である第２画像を生成することができるので、更に鮮明な画像を生成することができるのである。
上記第１３の局面によれば、上記第１１の局面に係る画像処理装置を備えるため、視野角を確保しつつ、鮮明な画像を生成することができる。そして、該画像処理装置によって補正された補正対象画像に基づいて、前記運転支援情報が出力されるため、適正な運転支援情報を出力することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る運転支援装置の構成の一例を示すブロック図
【図２】運転支援ＥＣＵの機能構成の一例を示すブロック図
【図３】運転支援ＥＣＵによって行われる画像処理の一例を示すブロック図
【図４】運転支援ＥＣＵによって該車両の前方の画像が生成される状況の一例を示す平面図
【図５】カメラを介して生成された該車両の前方の画像（＝第１画像）の一例を示す画面図、及び、対応する消失点の一例を示す説明図
【図６】カメラを介して生成された該車両の前方の画像（＝第１画像及び補正対象画像）の一例を示す画面図
【図７】カメラを介して生成された第１画像と、対応する第２画像の一例を示す画面図
【図８】カメラを介して生成された第１画像と、対応する第２画像の他の一例を示す画面図
【図９】第２画像と補正対象画像との一例を示す画面図
【図１０】運転支援ＥＣＵの動作の一例を示すフローチャート（前半部）
【図１１】運転支援ＥＣＵの動作の一例を示すフローチャート（後半部）
【発明を実施するための形態】
【００４５】
以下、図面を参照して本発明に係る画像処理装置及び運転支援装置の実施形態について説明する。本発明に係る運転支援装置は、車両に搭載され、運転者に対して運転支援情報を出力する装置である。ここでは、本発明に係る画像処理装置及び運転支援装置が搭載される移動体が、車両である場合について説明する。まず、図１を用いて、車両に搭載された運転支援装置の構成の一例について説明する。
【００４６】
本実施形態では、本発明に係る画像処理装置及び運転支援装置が搭載される移動体が車両である場合について説明するが、本発明に係る画像処理装置及び運転支援装置が搭載される移動体が、その他の種類の移動体である形態でも良い。例えば、本発明に係る画像処理装置が搭載される移動体が、船舶、飛行機等である形態でも良い。
【００４７】
図１は、本発明に係る運転支援装置の構成の一例を示すブロック図である。図１に示すように、本発明に係る運転支援ＥＣＵ（Electronic Control Unit）１（＝画像処理装置、運転支援装置に相当する）は、周辺機器としての入力機器２及び出力機器３と通信可能に接続されている。
【００４８】
まず、図１を参照して、運転支援ＥＣＵ１の入力機器２について説明する。入力機器２は、カメラ２１、レーダ装置２２、車速センサ２３、操舵角センサ２４、ピッチ角センサ２５、ロール角センサ２６、及び、ヨー角センサ２７を備えている。
【００４９】
カメラ２１は、ＣＣＤ（Charge Coupled Device）等を備え、車両ＶＣ１の前方の画像情報を生成するカメラである。また、カメラ２１は、生成された画像情報を、運転支援ＥＣＵ１（ここでは、図２に示す第１画像生成部１０１）へ出力する。また、カメラ２１は、運転支援ＥＣＵ１（ここでは、図２に示す露光時間設定部１０９）から露光時間が指示され、指示された露光時間を設定する。
【００５０】
本実施形態においては、カメラ２１が、車両ＶＣ１の前方の画像情報を生成する場合について説明するが、カメラ２１が、車両ＶＣ１の周囲の画像情報を生成する形態であれば良い。例えば、カメラ２１が、車両ＶＣ１の側方又は後方の画像情報を生成する形態でも良い。
【００５１】
レーダ装置２２は、例えば、ミリ波等を介して、車両ＶＣ１の周囲に存在する他の車両ＶＣ２等の移動体との距離、及び、相対速度を検出する装置である。また、レーダ装置２２は、運転支援ＥＣＵ１（ここでは、図２に示す移動体検出部１１０）に対して、車両ＶＣ１の周囲に存在する移動体との距離及び相対速度を示す信号を出力する。
【００５２】
車速センサ２３は、車両の走行速度を検出するセンサであって、検出された車両の走行速度を示す車速信号を運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して出力する。
【００５３】
操舵角センサ２４は、ステアリングセンサ等からなり、操舵角を検出するセンサであって、検出された操舵角信号を運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して出力する。
【００５４】
ピッチ角センサ２５は、ジャイロセンサ等からなり、ピッチ角の変化する速さ（＝車両ＶＣ１の左右軸廻りの回転角速度）を示すピッチレートを検出するセンサであって、運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して、ヨー角を示す信号を出力する。
【００５５】
ロール角センサ２６は、ジャイロセンサ等からなり、ロール角の変化する速さ（＝車両ＶＣ１の前後軸廻りの回転角速度）を検出するセンサであって、運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して、ロール角を示す信号を出力する。
【００５６】
ヨー角センサ２７は、ジャイロセンサ等からなり、ヨー角の変化する速さ（＝車両の重心点を通る鉛直軸廻りの回転角速度）を検出するセンサであって運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して、ヨー角を示す信号を出力する。
【００５７】
次に、図１を参照して、運転支援ＥＣＵ１の出力機器３について説明する。出力機器３は、ディスプレイ３１、及び、スピーカ３２を備えている。ディスプレイ３１は、運転席の前方に配設されたＬＣＤ（Liquid Crystal Display）等からなり、運転支援ＥＣＵ１（ここでは、図２に示す情報出力部１１３）からの指示に従って、運転者から視認可能に画像、文字等を表示するものである。例えば、運転支援ＥＣＵ１によって、走行している車線を右側に逸脱する可能性が高いと判定された場合には、運転支援ＥＣＵ１からの指示に基づいて、ディスプレイ３１に、走行している車線を右側に逸脱する旨の警報画面が表示される。
【００５８】
スピーカ３２は、運転席の側方等に配設され、運転支援ＥＣＵ１（ここでは、図２に示す情報出力部１１３）からの指示に従って、運転者に対して、ガイダンス等の音声を出力するものである。例えば、運転支援ＥＣＵ１によって、走行している車線を右側に逸脱する可能性が高いと判定された場合には、運転支援ＥＣＵ１からの指示に基づいて、スピーカ３２から、走行している車線を右側に逸脱する旨の警報情報が出力される。
【００５９】
図２は、運転支援ＥＣＵ１の機能構成の一例を示すブロック図である。図２に示すように、運転支援ＥＣＵ１は、機能的に、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、及び、情報出力部１１３を備えている。
【００６０】
なお、運転支援ＥＣＵ１は、運転支援ＥＣＵ１の適所に配設されたマイクロコンピュータに、運転支援ＥＣＵ１の適所に配設されたＲＯＭ（Read Only Memory）等に予め格納された制御プログラムを実行させることにより、当該マイクロコンピュータを、機能的に、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、情報出力部１１３等の機能部として機能させる。以下に、図２を参照しつつ、運転支援ＥＣＵ１の各機能部について説明する。
【００６１】
第１画像生成部１０１は、カメラ２１を介して、予め設定された所定時間ΔＴ（例えば、０．１ｓｅｃ）毎に、車両ＶＣ１の前方の画像情報を生成する機能部である。ここで、第１画像生成部１０１は、第１画像生成手段に相当する。また、第１画像生成部１０１は、生成された画像情報を画像記憶部１０３に記録する。
【００６２】
消失点抽出部１０２は、第１画像生成部１０１によって生成された画像毎に、該画像の消失点ＶＰの位置を求める機能部である。ここで、消失点抽出部１０２は、消失点抽出手段に相当する。また、消失点抽出部１０２は、求められた消失点ＶＰの位置情報を、第１画像生成部１０１によって生成された画像情報に対応付けて、画像記憶部１０３に記録する。
【００６３】
ここで、消失点ＶＰとは、もともと平行であるはずの複数の線分が、撮影した画像の中で透視ひずみによって非平行となった場合に、それらを延長して得られる交点のことである。すなわち、消失点は、車両ＶＣ１が直線状の道路を走行している場合に、該道路に平行な平行線群の画像上での収束点として定義される。また、消失点の画像上での位置は、カメラに対する平行線群の方向すなわち道路の方向を与えるものである。例えば、消失点ＶＰは、特開２００８−２２５７８４号公報に記載された消失点抽出装置等によって求めることができる。
【００６４】
画像記憶部１０３は、第１画像生成部１０１によって生成された画像情報を格納する機能部である。ここで、画像記憶部１０３は、画像記憶手段に相当する。また、画像記憶部１０３は、第１画像生成部１０１によって生成された画像情報に対応付けて、消失点抽出部１０２によって求められた消失点ＶＰの位置情報、移動状態検出部１０６によって検出された車両の車速情報、操舵角情報、ピッチ角情報、ロール角情報、ヨー角情報、及び、第２画像生成部１１１によって生成された第２画像情報等を格納する。
【００６５】
補正対象選定部１０４は、第１画像生成部１０１によって生成された画像の中から、補正する対象の１つの画像である補正対象画像Ｐ０を選定する機能部である。ここで、補正対象選定部１０４は、補正対象選定手段に相当する。
【００６６】
第１画像選定部１０５は、補正対象選定部１０４によって選定された補正対象画像が第１画像生成部１０１によって生成される直前に、第１画像生成部１０１によって生成された１つ以上の予め設定された所定個数Ｎ（ここでは、２個）の画像を、補正対象画像Ｐ０の補正に用いる画像情報である第１画像Ｐ１として選定する機能部である。ここで、第１画像選定部１０５は、第１画像選定手段に相当する。また、所定個数Ｎは、個数設定部１０８によって設定される。
【００６７】
具体的には、第１画像生成部１０１は、所定時間ΔＴ（例えば、０．１ｓｅｃ）毎に、車両ＶＣ１の前方の画像情報を生成するため、所定個数Ｎが２個である場合には、第１画像選定部１０５は、第１画像Ｐ１として、補正対象画像が生成された時点Ｔ３の所定時間ΔＴ前の時点Ｔ２に生成された画像Ｐ１１、及び、補正対象画像が生成された時点Ｔ３の所定時間ΔＴの２倍だけ前の時点Ｔ１に生成された画像Ｐ１２を選定する（図３参照）。
【００６８】
本実施形態では、所定個数Ｎが２個である場合について説明するが、所定個数Ｎは、個数設定部１０８によって撮影条件等に基づいて設定されるため、１個である形態でも良いし、３個以上である形態でも良い。
【００６９】
移動状態検出部１０６は、第１画像生成部１０１によって画像情報が生成される時点における車両ＶＣ１の車速を含む車両ＶＣ１の動きを検出する機能部である。ここで、移動状態検出部１０６は、移動状態検出手段に相当する。また、移動状態検出部１０６は、具体的には、車両ＶＣ１の動きとして、車速センサ２３、操舵角センサ２４、ピッチ角センサ２５、ロール角センサ２６、及び、ヨー角センサ２７を介して、それぞれ、車速、操舵角、ピッチ角、ロール角及びヨー角を検出する。更に、移動状態検出部１０６は、検出された移動体の動き情報を、第１画像生成部１０１によって生成された画像情報に対応付けて、画像記憶部１０３に記録する。
【００７０】
本実施形態では、移動状態検出部１０６が、車速、操舵角、ピッチ角、ロール角及びヨー角を検出する場合について説明するが、移動状態検出部１０６が、少なくとも、車速、操舵角を検出する形態であれば良い。また、移動状態検出部１０６が、車速、操舵角に加えて、ピッチ角、ロール角及びヨー角の少なくともいずれかを検出する形態であることが好ましい。
【００７１】
撮影条件判定部１０７は、カメラ２１が撮像する条件の良否の程度を判定する機能部である。ここで、撮影条件判定部１０７は、撮影条件判定手段に相当する。また、撮影条件判定部１０７は、具体的には、第１画像生成部１０１によって生成された画像情報のコントラスト、Ｓ／Ｎ比等に基づいて、カメラ２１が撮像する条件の良否の程度を判定する。
【００７２】
本実施形態では、撮影条件判定部１０７が、第１画像生成部１０１によって生成された画像情報のコントラスト、Ｓ／Ｎ比等に基づいて、カメラ２１が撮像する条件の良否の程度を判定する場合について説明するが、撮影条件判定部１０７が、その他の情報に基づいて、カメラ２１が撮像する条件の良否の程度を判定する形態でも良い。例えば、撮影条件判定部１０７が、インターネット等を介して気象情報を取得し、取得した気象情報に基づいて、カメラ２１が撮像する条件の良否の程度を判定する形態でも良い。
【００７３】
個数設定部１０８は、撮像条件判定部１０７によって判定された撮影条件の良否の程度に基づいて、補正対象画像Ｐ０の補正に用いる画像情報の個数である所定個数Ｎを設定する機能部である。ここで、個数設定部１０８は、個数設定手段に相当する。また、個数設定部１０８は、具体的には、撮像条件判定部１０７によってカメラ２１が撮像する条件が悪いと判定される程、所定個数Ｎを大きく設定する。
【００７４】
薄暮の時、霧、雨等により撮影条件が悪い場合には、カメラ２１の露光時間ＥＴが短いと充分なコントラストが得られない。そこで、上記のように、カメラ２１が撮像する条件が悪いと判定される程、所定個数Ｎが大きく設定されるため、更に鮮明な画像を生成することができるのである。
【００７５】
本実施形態では、個数設定部１０８が、撮影条件の良否の程度に基づいて、所定個数Ｎを設定する場合について説明するが、個数設定部１０８が、その他の条件に基づいて、所定個数Ｎを設定する形態でも良い。例えば、個数設定部１０８が、車速が速い程、所定個数Ｎを小さく設定する形態でも良い。車速が速い場合には、短い間隔で運転支援情報の出力要否を判定する必要がある。そこで、車速が速い程、所定個数Ｎを小さく設定することによって、短い間隔で運転支援情報の出力要否を判定することを可能とすることができるのである。
【００７６】
露光時間設定部１０９は、移動状態検出部１０６によって検出された車両ＶＣの車速に基づいて、露光時間ＥＴを設定する機能部である。ここで、露光時間設定部１０９は、露光時間設定手段に相当する。また、露光時間設定部１０９は、具体的には、移動状態検出部１０６によって検出された車両ＶＣ１の車速が速い程、露光時間ＥＴを短く設定する。更に、露光時間設定部１０９は、撮像条件判定部１０７によって判定された撮影条件の良否の程度に基づいて、露光時間ＥＴを設定する。具体的には、露光時間設定部１０９は、撮像条件判定部１０７によってカメラ２１が撮像する条件が悪いと判定される程、露光時間ＥＴを長く設定する。
【００７７】
このようにして、車両ＶＣ１の車速が速い程、画像のブレが大きくなるため、車速が速い程、露光時間ＥＴを短く設定することによって、第１画像生成部１０１は、鮮明な画像を生成することができる。
【００７８】
一方、薄暮の時、霧、雨等により撮影条件が悪い場合には、カメラ２１の露光時間ＥＴが短いと充分なコントラストが得られない。そこで、カメラ２１が撮像する条件が悪いと判定される程、露光時間ＥＴが長く設定され、設定された露光時間ＥＴで撮像された画像情報が生成されるため、第１画像生成部１０１は、更に鮮明な画像を生成することができる。
【００７９】
本実施形態では、露光時間設定部１０９が、車両ＶＣ１の車速及びカメラ２１が撮像する条件の良否に基づいて、露光時間ＥＴを設定する場合について説明するが、露光時間設定部１０９が、車両ＶＣ１の車速及びカメラ２１が撮像する条件の良否の少なくとも一方に基づいて、露光時間ＥＴを設定する形態であれば良い。
【００８０】
移動体検出部１１０は、レーダ装置２２を介して、車両ＶＣ１の周囲に存在する他の移動体（例えば、対向車両ＶＣ２）の、車両ＶＣ１との間の距離、及び、相対速度を検出する機能部である。ここで、移動体検出部１１０は、移動体検出手段に相当する。
【００８１】
第２画像生成部１１１は、第１画像選定部１０５によって選定された所定個数Ｎ（ここでは、２個）の第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく、所定個数Ｎの第１画像Ｐ１を、それぞれ、消失点抽出部１０２によって求められた消失点ＶＰの位置、及び、移動状態検出部１０６によって検出された車両ＶＣ１の動きに基づいて補正して、補正後の画像である第２画像Ｐ２を生成する機能部である。ここで、第２画像生成部１１１は、第２画像生成手段に相当する。また、第２画像生成部１１１は、生成した第２画像Ｐ２を、補正対象画像Ｐ０に対応付けて、画像記憶部１０３に記録する。更に、ここでは、移動状態検出部１０６によって検出された車両ＶＣ１の動きは、具体的には、車速、操舵角、ピッチ角、ロール角及びヨー角である。なお、第２画像生成部１１１の具体的な処理方法については、図５を用いて後述する。
【００８２】
また、第２画像生成部１１１は、画像記憶部１０３から、所定個数Ｎ（ここでは、２個）の第１画像Ｐ１情報、所定個数Ｎの消失点ＶＰの位置情報、及び、所定個数Ｎの車両ＶＣ１の動き情報を読み出して、所定個数Ｎの第１画像Ｐ１をそれぞれ補正して、所定個数Ｎの第２画像Ｐ２を生成する。
【００８３】
このようにして、画像記憶部１０３から、所定個数Ｎ（ここでは、２個）の第１画像Ｐ１情報、所定個数Ｎの消失点ＶＰの位置情報、及び、所定個数Ｎの車両ＶＣ１の動き情報を読み出されて、所定個数Ｎの第１画像Ｐ１をそれぞれ補正されて、所定個数Ｎの第２画像Ｐ２を生成されるため、簡素な処理で第２画像Ｐ２を生成することができる。
【００８４】
更に、第２画像生成部１１１は、補正対象画像Ｐ０及び所定個数Ｎ（ここでは、２個）の第１画像Ｐ１に含まれる移動体（対向車両ＶＣ２等）に関して、所定個数Ｎの第１画像Ｐ１に含まれる他の移動体の位置（対向車両ＶＣ２等）を、移動体検出部１１０によって検出された車両ＶＣ１との間の距離、及び、相対速度に基づいて補正して、補正後の画像である第２画像Ｐ２を生成する。
【００８５】
このようにして、補正対象画像Ｐ０及び所定個数Ｎの第１画像Ｐ１に含まれる他の移動体（対向車両ＶＣ２等）に関して、所定個数Ｎの第１画像Ｐ１に含まれる他の移動体（対向車両ＶＣ２等）の位置が、検出された他の移動体の車両ＶＣ１との間の距離、及び、相対速度に基づいて補正されて、補正後の画像である第２画像Ｐ２が生成されるため、補正対象画像Ｐ０に、他の移動体が含まれる場合にも、該他の移動体の鮮明な画像を生成することができる。
【００８６】
画像補正実行部１１２は、第２画像生成部１１１によって生成された所定個数Ｎ（ここでは、２個）の第２画像Ｐ２を、補正対象画像Ｐ０と合成することによって、補正対象画像Ｐ０を補正して、補正後の画像Ｐ３を生成する機能部である。ここで、画像補正実行部１１２は、画像補正手段に相当する。また、画像補正実行部１１２は、画像記憶部１０３から、補正対象画像Ｐ０情報、及び、所定個数Ｎの第２画像Ｐ２情報が読み出して、補正対象画像Ｐ０を補正する。
【００８７】
このようにして、画像記憶部１０３から、補正対象画像Ｐ０情報、及び、所定個数Ｎの第２画像Ｐ２情報が読み出されて、補正対象画像Ｐ０が補正されるため、簡素な処理で補正対象画像Ｐ０を補正することができる。
【００８８】
情報出力部１１３は、画像補正実行部１１２によって補正対象画像Ｐ０が補正されて生成された画像Ｐ３に基づいて、運転者に対して運転操作を支援する情報である運転支援情報を出力する機能部である。ここで、情報出力部１１３は、情報出力手段に相当する。情報出力部１１３は、具体的には、運転支援情報として、ディスプレイ３１及びスピーカ３２を介して、運転者から視認可能に画像、文字等を表示すると共に、ガイダンス等の音声を出力する。
【００８９】
図３は、運転支援ＥＣＵ１によって行われる画像処理の一例を示すブロック図である。図の横軸は時間Ｔである。所定時間ΔＴ間隔の時点Ｔ１〜Ｔ５において、第１画像生成部１０１によって画像が生成される。上側の図は、時点Ｔ３の画像が補正対象画像Ｐ０として選定される場合であって、下側の図は、時点Ｔ４の画像が補正対象画像Ｐ０として選定される場合である。
【００９０】
図３の上側の図に示すように、時点Ｔ３の画像が補正対象画像Ｐ０として選定される場合には、第１画像選定部１０５によって、時点Ｔ１及び時点Ｔ２で生成された画像が第１画像Ｐ１として選定される。そして、第２画像生成部１１１によって、時点Ｔ１及び時点Ｔ２で生成された２個の第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されて２個の第２画像Ｐ２が生成される。また、画像補正実行部１１２によって、２個の第２画像Ｐ２が、補正対象画像Ｐ０と合成されて補正され、補正後の画像（ここでは、「補正画像」と表記する）Ｐ３が生成される。このようにして、時点Ｔ３で生成された補正対象画像Ｐ０が補正されて、補正画像Ｐ３が生成される。
【００９１】
同様にして、図３の下側の図に示すように、時点Ｔ４の画像が補正対象画像Ｐ０として選定される場合には、第１画像選定部１０５によって、時点Ｔ２及び時点Ｔ３で生成された画像が第１画像Ｐ１として選定される。そして、第２画像生成部１１１によって、時点Ｔ２及び時点Ｔ３で生成された２個の第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されて２個の第２画像Ｐ２が生成される。また、画像補正実行部１１２によって、２個の第２画像Ｐ２が、補正対象画像Ｐ０と合成されて補正され、補正後の画像（ここでは、「補正画像」と表記する）Ｐ３が生成される。このようにして、時点Ｔ４で生成された補正対象画像Ｐ０が補正されて、補正画像Ｐ３が生成される。
【００９２】
図３に示すように、各時点で生成された画像は、補正対象選定部１０４によって、順次、補正対象画像Ｐ０として選定され、画像補正実行部１１２によって、補正されて補正画像Ｐ３が生成されるのである。そこで、第１画像生成部１０１によって画像が生成される度に、生成された画像が補正されるため、補正画像Ｐ３を、生成された時点から短期間で生成することができる。
【００９３】
図４は、運転支援ＥＣＵ１によって車両ＶＣ１の前方の画像が生成される状況の一例を示す平面図である。図４に示すように、車両ＶＣ１は、車両区画線ＷＬ、ＷＲで区画され、センターラインＣＬが敷設された車線を上側に向けて走行している。ここで、車両ＶＣ１の前面部には、カメラ２１が配設されており、カメラ２１は、予め設定された所定の視野角の範囲ＤＡ内を撮像している。
【００９４】
車両ＶＣ１の前方左側には、車両区画線ＷＬに沿って、道路標識ＳＰ、信号機ＳＧが敷設されており、車両ＶＣ１の前方の道路上には、マークＲＭが描かれている。更に、対向車線には、対向車両ＶＣ２が、下側に向けて走行している。また、図４には、図３に示す時点Ｔ１、Ｔ２、Ｔ３における車両ＶＣ１の位置を表記している。
【００９５】
図５は、図４に示す状況において、カメラ２１を介して生成された車両ＶＣ１の前方の画像（＝第１画像Ｐ１）の一例を示す画面図４１０、及び、対応する消失点ＶＰの一例を示す説明図４１０Ａである。なお、以下の説明においては、図３の上側の図に示す場合について、第２画像生成部１１１によって行われる処理を説明する。すなわち、時点Ｔ１及び時点Ｔ２で生成された第１画像Ｐ１を用いて、時点Ｔ３で生成された補正対象画像Ｐ０を補正する場合について、第２画像生成部１１１によって、第１画像Ｐ１から第２画像Ｐ２を生成する方法を具体的に説明する。
【００９６】
画面図４１０は、図３、図４に示す時点Ｔ１において生成された画像に対応するものであって、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４１１、４１２、センターライン画像４１３、マーク画像４１４、信号機画像４１５、道路標識画像４１６、及び、対向車両画像４１７が表示されている。
【００９７】
説明図４１０Ａには、画面図４１０における消失点ＶＰの位置が黒丸●で表示されている。また、説明図４１０Ａには、消失点ＶＰを中心として放射状にベクトルＰＶが表記されている。このベクトルＰＶは、第２画像Ｐ２を生成するために、画面図４１０に示す第１画像Ｐ１の各画素を移動する方向及び移動量を示すベクトルである。
【００９８】
すなわち、画面図４１０に示す画像を構成し、ベクトルＰＶの起点に位置する各画素は、第２画像生成部１１１によって、ベクトルＰＶの先端の位置に移動されるのである。このベクトルＰＶは、第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０（ここでは、時点Ｐ３において生成された画像：図６に示す画面図４３０参照）に含まれる静止物の位置と一致させるべく、移動状態検出部１０６によって求められた車速、操舵角等に基づいて求められるものである。
【００９９】
図６は、カメラ２１を介して生成された車両ＶＣ１の前方の画像（＝第１画像Ｐ１及び補正対象画像Ｐ０）の一例を示す画面図である。図６の上側に示す画面図４２０は、図３、図４に示す時点Ｔ２において生成された画像に対応する画面図である。画面図４２０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４２１、４２２、センターライン画像４２３、マーク画像４２４、信号機画像４２５、道路標識画像４２６、及び、対向車両画像４２７が表示されている。
【０１００】
図４に示すように、時点Ｔ１から時点Ｔ２に時間が経過ことによって、車両ＶＣ１が図４に示すマークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２に接近する。そこで、図６の上側に示す画面図４２０において、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応するマーク画像４２４、信号機画像４２５、道路標識画像４２６、及び、対向車両画像４２７は、図５に示す画面図４１０のマーク画像４１４、信号機画像４１５、道路標識画像４１６、及び、対向車両画像４１７と比較して大きく表記されている。
【０１０１】
図６の下側に示す画面図４３０は、図３、図４に示す時点Ｔ３において生成された画像に対応する画面図である。画面図４３０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４３１、４３２、センターライン画像４３３、マーク画像４３４、信号機画像４３５、道路標識画像４３６、及び、対向車両画像４３７が表示されている。
【０１０２】
図４に示すように、時点Ｔ２から時点Ｔ３に時間が経過ことによって、車両ＶＣ１が図４に示すマークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２に更に接近する。そこで、図６の下側に示す画面図４３０において、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応するマーク画像４３４、信号機画像４３５、道路標識画像４３６、及び、対向車両画像４３７は、図６の上側に示す画面図４２０のマーク画像４２４、信号機画像４２５、道路標識画像４２６、及び、対向車両画像４２７と比較して更に大きく表記されている。
【０１０３】
図７は、カメラ２１を介して生成された第１画像Ｐ１と、対応する第２画像Ｐ２の一例を示す画面図である。時点Ｔ１で生成された第１画像Ｐ１は、図５の上側に示す画面図４１０に対応している。ここでは、便宜上、図５の上側に示す画面図４１０を図７の上側に再掲する。図７の下側の図は、第２画像生成部１１１によって、時点Ｔ１で生成された第１画像Ｐ１に対して、図５の下側に示す消失点ＶＰ及びベクトルＰＶに基づいて、補正が施されて、生成された第２画像Ｐ２を示す画面図４４０である。なお、ここでは、便宜上、第２画像生成部１１１が、他の移動体に相当する車両ＶＣ２の移動に伴う位置及び大きさの補正は行っていない。
【０１０４】
画面図４４０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４４１、４４２、センターライン画像４４３、マーク画像４４４、信号機画像４４５、道路標識画像４４６、及び、対向車両画像４４７が表示されている。
【０１０５】
画面図４４０に示すように、図４に示す静止物である車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰにそれぞれ対応する車両区画線画像４４１、４４２、センターライン画像４４３、マーク画像４４４、信号機画像４４５、及び、道路標識画像４４６は、図６の下側に示す時点Ｔ３の画像（＝補正対象画像Ｐ０）に対応する画面図４３０の車両区画線画像４２１、４３２、センターライン画像４３３、マーク画像４３４、信号機画像４３５、及び、道路標識画像４３６と一致する位置、大きさで表示されている。すなわち、画面図４１０に示す時点Ｔ１で生成された第１画像Ｐ１に含まれる静止物の位置が、それぞれ、図６の画面図４３０に示す時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されている。
【０１０６】
図８は、カメラ２１を介して生成された第１画像Ｐ１と、対応する第２画像Ｐ２の他の一例を示す画面図である。時点Ｔ２で生成された第１画像Ｐ１は、図６の上側に示す画面図４２０に対応している。ここでは、便宜上、図６の上側に示す画面図４２０を図８の上側に再掲する。図８の下側の図は、第２画像生成部１１１によって、時点Ｔ２で生成された第１画像Ｐ１に対して、図５の下側に示すものと同様に、消失点ＶＰ及びベクトルＰＶに基づいて補正が施されて、生成された第２画像Ｐ２を示す画面図４５０である。なお、ここでは、便宜上、第２画像生成部１１１が、他の移動体に相当する車両ＶＣ２の移動に伴う位置及び大きさの補正は行っていない。
【０１０７】
画面図４５０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４５１、４５２、センターライン画像４５３、マーク画像４５４、信号機画像４５５、道路標識画像４５６、及び、対向車両画像４５７が表示されている。
【０１０８】
画面図４５０に示すように、図４に示す静止物である車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰにそれぞれ対応する車両区画線画像４５１、４５２、センターライン画像４５３、マーク画像４５４、信号機画像４５５、及び、道路標識画像４５６は、図６の下側に示す時点Ｔ３の画像（＝補正対象画像Ｐ０）に対応する画面図４３０の車両区画線画像４２１、４３２、センターライン画像４３３、マーク画像４３４、信号機画像４３５、及び、道路標識画像４３６と一致する位置、大きさで表示されている。すなわち、画面図４２０に示す時点Ｔ２で生成された第１画像Ｐ１に含まれる静止物の位置が、それぞれ、図６の画面図４３０に示す時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されている。
【０１０９】
図９は、第２画像Ｐ２と補正対象画像Ｐ０との一例を示す画面図である。図９には、上から順に、時点Ｔ１で生成された第１画像Ｐ１に対応する第２画像Ｐ２を示す画面図４４０（図７の下側の図を再掲）、時点Ｔ２で生成された第１画像Ｐ１に対応する第２画像Ｐ２を示す画面図４５０（図８の下側の図を再掲）、及び、時点Ｔ３で生成された補正対象画像Ｐ０を示す画面図４３０（図６の下側の図を再掲）である。図９に示すように、時点Ｔ１及び時点Ｔ２でそれぞれ生成された第１画像Ｐ１に対応する第２画像Ｐ２に含まれる静止物の位置、大きさが、時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致している。
【０１１０】
このように、時点Ｔ１及び時点Ｔ２でそれぞれ生成された第２画像Ｐ２に含まれる静止物の位置、大きさが、時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致しているため、第２画像Ｐ２と補正対象画像Ｐ０とを合成することによって、静止物の画像のＳ／Ｎ比を向上することができるのである。
【０１１１】
図１０、図１１は、運転支援ＥＣＵ１の動作の一例を示すフローチャートである。なお、ここでは、便宜上、第２画像生成部１１１が、他の移動体（ここでは、車両ＶＣ２）の移動に伴う位置及び大きさの補正は行わない場合について説明する。まず、図１０に示すように、第１画像生成部１０１によって、車両ＶＣ１の前方の画像情報が生成され、生成された画像情報が画像記憶部１０３に記録される（Ｓ１０１）。そして、消失点抽出部１０２によって、ステップＳ１０１において生成された画像毎に、消失点ＶＰの位置が求められる（Ｓ１０３）。次いで、消失点抽出部１０２によって、ステップＳ１０３において求められた消失点ＶＰの位置情報が、ステップＳ１０１において生成された画像情報と対応付けて画像記憶部１０３に記録される（Ｓ１０５）。
【０１１２】
次に、移動状態検出部１０６によって、車両ＶＣ１の車速、操舵角が検出され、検出された車速情報、操舵角情報等がステップＳ１０１において生成された画像情報と対応付けて画像記憶部１０３に記録される（Ｓ１０７）。そして、移動状態検出部１０６によって、車両ＶＣ１のピッチ角、ロール角、ヨー角が検出され、検出されたピッチ角情報、ロール角情報、ヨー角情報等がステップＳ１０１において生成された画像情報と対応付けて画像記憶部１０３に記録される（Ｓ１０９）。
【０１１３】
次いで、撮影条件判定部１０７によって、カメラ２１が撮像する条件の良否の程度が判定される（Ｓ１１１）。次に、個数設定部１０８によって、ステップＳ１１１において判定された撮像条件の良否の程度に基づいて、補正対象画像Ｐ０の補正に用いる画像情報の個数である所定個数Ｎが設定される（Ｓ１１３）。そして、露光時間設定部１０９によって、ステップＳ１０７において検出された車速、及び、ステップＳ１１１において判定された撮像条件の良否の程度に基づいて、露光時間ＥＴが設定される（Ｓ１１５）。
【０１１４】
そして、図１１に示すように、補正対象選定部１０４によって、図１０に示すステップＳ１０１において生成された画像の中から、１個の補正対象画像Ｐ０が選定され、選定された補正対象画像Ｐ０情報が画像記憶部１０３から読み出される（Ｓ１１７）。次いで、第１画像選定部１０５によって、図１０に示すステップＳ１０１において生成された画像の中から、所定個数Ｎ（ここでは、２個）の第１画像Ｐ１が選定される（Ｓ１１９）。次に、第２画像生成部１１１によって、ステップＳ１１９において選定された第１画像Ｐ１情報、及び、ステップＳ１１７において選定された補正対象画像Ｐ０に対応する消失点ＶＰの位置情報（ここでは、消失点情報と略記している）が画像記憶部１０３から読み出される（Ｓ１２１）。
【０１１５】
そして、第２画像生成部１１１によって、ステップＳ１１７において選定された補正対象画像Ｐ０に対応する車速情報、操舵角情報が、画像記憶部１０３から読み出される（Ｓ１２３）。次いで、第２画像生成部１１１によって、ステップＳ１１７において選定された補正対象画像Ｐ０に対応するピッチ角情報、ロール角情報、ヨー角情報が、画像記憶部１０３から読み出される（Ｓ１２５）。次に、第２画像生成部１１１によって、ステップＳ１２１において読み出された第１画像Ｐ１が、ステップＳ１２１において読み出された消失点ＶＰの位置情報、ステップＳ１２３において読み出された車速情報、操舵角情報、及び、ステップＳ１２５において読み出されたピッチ角情報、ロール角情報、ヨー角情報に基づいて補正されて、第２画像Ｐ２が生成される（Ｓ１２７）。
【０１１６】
そして、画像補正実行部１１２によって、ステップＳ１２７において生成された所定個数Ｎ（ここでは、２個）の第２画像Ｐ２が、ステップＳ１１７において読み出された補正対象画像Ｐ０と合成されて、補正画像Ｐ３が生成される（Ｓ１２９）。次いで、情報出力部１１３によって、ステップＳ１２９において生成された補正画像Ｐ３に基づいて、運転支援情報が生成される（Ｓ１３１）。次に、情報出力部１１３によって、ステップＳ１３１において生成された運転支援情報が出力され（Ｓ１３３）、処理が終了される。
【０１１７】
このようにして、画像を生成する際に、撮像倍率等を変更することがないため、視野角を確保することができるのである。また、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく、補正対象画像Ｐ０が生成される直前に生成された所定個数Ｎの第１画像Ｐ１が、それぞれ、求められた消失点ＶＰの位置、及び、検出された車両ＶＣ１の動きに基づいて補正されて、補正後の画像である第２画像Ｐ２が生成される。そして、生成された所定個数Ｎの第２画像Ｐ２が、補正対象画像Ｐ０と合成されることによって、該補正対象画像Ｐ０が補正されるため、補正対象画像Ｐ０に含まれる静止物のＳ／Ｎ比を向上することができるので、鮮明な画像を生成することができる。
【０１１８】
なお、本発明に係る画像処理装置、運転支援装置は、上記実施形態に限定されず、下記の形態でも良い。
（Ａ）本実施形態においては、運転支援ＥＣＵ１が、機能的に、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、情報出力部１１３等を備える場合について説明したが、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、及び、情報出力部１１３の内、少なくとも１つの機能部が電気回路等のハードウェアによって実現されている形態でも良い。
【０１１９】
（Ｂ）本実施形態においては、露光時間設定部１０９が、車両ＶＣの車速及び撮影条件の良否の程度に基づいて、露光時間ＥＴを設定する場合について説明したが、露光時間ＥＴが予め設定された閾値以下の露光時間ＥＶに設定されている形態でも良い。この場合には、処理が簡略化される。また、露光時間ＥＶが長いと、画像のブレが大きくなる。これに対して、露光時間ＥＶが短いと、撮像されて生成された各画像は、充分なコントラストが得られない場合があるが、補正対象画像Ｐ０情報に、所定個数Ｎ（ここでは、２個）の第２画像Ｐ２情報が合成されて補正されるので、充分なコントラストを得ることができる。
【産業上の利用可能性】
【０１２０】
本発明は、例えば、車両等の移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置に適用することができる。また、本発明は、例えば、車両に搭載され、運転者に対して運転支援情報を出力する運転支援装置に適用することができる。
【符号の説明】
【０１２１】
１ 運転支援ＥＣＵ（画像処理装置、運転支援装置）
１０１ 第１画像生成部（第１画像生成手段）
１０２ 消失点抽出部（消失点抽出手段）
１０３ 画像記憶部（画像記憶手段）
１０４ 補正対象選定部（補正対象選定手段）
１０５ 第１画像選定部（第１画像選定手段）
１０６ 移動状態検出部（移動状態検出手段）
１０７ 撮影条件判定部（撮影条件判定手段）
１０８ 個数設定部（個数設定手段）
１０９ 露光時間設定部（露光時間設定手段）
１１０ 移動体検出部（移動体検出手段）
１１１ 第２画像生成部（第２画像生成手段）
１１２ 画像補正実行部（画像補正手段）
１１３ 情報出力部（情報出力手段）
２ 入力機器
２１ カメラ
２２ レーダ装置
２３ 車速センサ
２４ 操舵角センサ
２５ ピッチ角センサ
２６ ロール角センサ
２７ ヨー角センサ
３ 出力機器
３１ ディスプレイ
３２ スピーカ
【技術分野】
【０００１】
本発明は、例えば、車両等の移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置、及び、車両に搭載され、運転者に対して運転支援情報を出力する運転支援装置に関する。
【背景技術】
【０００２】
従来、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラ等を介して、該車両の周辺の路側物等の物体を検出し、検出された物体に基づいて、該車両の運転者の運転操作を支援する情報である運転支援情報を運転者に報知する技術が知られている。しかしながら、車両に搭載されたカメラは、露光時間中に車両が移動することに起因して、被写体像にブレの有る不鮮明な画像しか撮像することができない場合があった。また、このような不鮮明な画像を利用して車両の周囲に存在する物体の検出を行った場合には、適正な運転支援情報を出力できない虞があった。
【０００３】
この課題を解消するために、種々の装置、方法等が提案されている（例えば、特許文献１参照）。例えば、特許文献１に記載の撮像装置は、カメラが搭載される移動体の速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部とを備える。
【０００４】
上記特許文献１に記載の撮像装置によれば、車両等の移動体が移動している場合であっても、ブレの無い鮮明な画像を撮像することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１８５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の撮像装置では、カメラが搭載される移動体の速度に基づいて、撮像倍率が変化されるため、予め設定された視野角を確保することができない虞がある。すなわち、例えば、カメラが車両に搭載される場合には、該カメラの視野角は、該カメラによって検出するべき物体の存在する範囲を含むように予め設定されている。そこで、撮像倍率が変化されることによって視野角が狭くなると、検出するべき物体が視野外となって検出できない場合があるのである。
【０００７】
また、薄暮の時、霧、雨等により撮影条件が悪い場合には、カメラの露光時間が短いと充分なコントラストが得られず、逆にカメラの露光時間が長いと画像のブレが大きくなるという問題がある。
【０００８】
本発明は、上記事情に鑑みてなされたものであって、その目的とするところは、視野角を確保しつつ、鮮明な画像を生成することの可能な画像処理装置、及び、該画像処理装置を備えた運転支援装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、以下の特徴を有している。本発明の第１の局面は、移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置であって、前記カメラを介して、予め設定された所定時間毎に、該移動体の周辺の画像情報を生成する第１画像生成手段と、前記第１画像生成手段によって生成された画像毎に、該画像の消失点の位置を求める消失点抽出手段と、前記第１画像生成手段によって画像情報が生成される時点における該移動体の移動速度を含む移動体の動きを検出する移動状態検出手段と、前記第１画像生成手段によって生成された画像の中から、補正する対象の１つの画像である補正対象画像を選定する補正対象選定手段と、前記補正対象選定手段によって選定された補正対象画像が前記第１画像生成手段によって生成される直前に、前記第１画像生成手段によって生成された１つ以上の予め設定された所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定する第１画像選定手段と、前記第１画像選定手段によって選定された前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と一致させるべく、前記所定個数の第１画像を、それぞれ、前記消失点抽出手段によって求められた消失点の位置、及び、前記移動状態検出手段によって検出された前記移動体の動きに基づいて補正して、補正後の画像である第２画像を生成する第２画像生成手段と、前記第２画像生成手段によって生成された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する画像補正手段と、を備える。
【００１０】
本発明の第２の局面は、上記第１の局面において、前記第１画像生成手段によって生成された画像情報を格納する画像記憶手段を備え、前記第１画像生成手段が、生成された画像情報を画像記憶手段に記録し、前記消失点抽出手段が、求められた消失点の位置情報を、前記画像情報に対応付けて、前記画像記憶手段に記録し、前記移動状態検出手段が、検出された移動体の動き情報を前記画像情報に対応付けて、前記画像記憶手段に記録し、前記第２画像生成手段が、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報を読み出して、前記所定個数の第１画像をそれぞれ補正し、補正によって生成された前記所定個数の第２画像情報を、前記補正対象選定手段によって選定された補正対象画像情報に対応付けて、前記画像記憶手段に記録し、前記画像補正手段が、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報を読み出して、該補正対象画像を補正する。
【００１１】
本発明の第３の局面は、上記第１の局面において、前記第１画像生成手段が、予め設定された閾値以下の露光時間で撮像された画像情報を生成する。
【００１２】
本発明の第４の局面は、上記第３の局面において、前記移動状態検出手段によって検出された該移動体の移動速度に基づいて、前記露光時間を設定する露光時間設定手段を備え、前記第１画像生成手段が、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する。
【００１３】
本発明の第５の局面は、上記第４の局面において、前記露光時間設定手段が、前記移動状態検出手段によって検出された該移動体の移動速度が速い程、前記露光時間を短く設定する。
【００１４】
本発明の第６の局面は、上記第３の局面において、前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、前記撮像条件判定手段によって判定された良否の程度に基づいて、前記露光時間を設定する露光時間設定手段と、を備え、前記第１画像生成手段が、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する。
【００１５】
本発明の第７の局面は、上記第６の局面において、前記露光時間設定手段が、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記露光時間を長く設定する。
【００１６】
本発明の第８の局面は、上記第１の局面において、前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、前記撮像条件判定手段によって判定された良否の程度に基づいて、前記所定個数を設定する個数設定手段と、を備え、前記第１画像選定手段が、前記個数設定手段によって設定された前記所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定し、前記第２画像生成手段が、前記個数設定手段によって設定された前記所定個数の第１画像を補正して、補正後の画像である第２画像を生成し、前記画像補正手段が、前記個数設定手段によって設定された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する。
【００１７】
本発明の第９の局面は、上記第８の局面において、前記個数設定手段が、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記所定個数を大きく設定する。
【００１８】
本発明の第１０の局面は、上記第１の局面において、該移動体の周囲に存在する他の移動体の、該移動体との間の距離、及び、相対速度を検出する移動体検出手段を備え、前記第２画像生成手段が、前記補正対象画像及び前記所定個数の第１画像に含まれる他の移動体に関して、前記所定個数の第１画像に含まれる他の移動体の位置を、前記移動体検出手段によって検出された該移動体との間の距離、及び、相対速度に基づいて補正して、補正後の画像である第２画像を生成する。
【００１９】
本発明の第１１の局面は、上記第１の局面において、前記移動体が、車両である。
【００２０】
本発明の第１２の局面は、上記第１１の局面において、前記移動状態検出手段が、更に、該車両のピッチ角、ロール角、及び、ヨー角の少なくとも１つを検出する。
【００２１】
本発明の第１３の局面は、車両に搭載され、運転者に対して運転操作を支援する情報である運転支援情報を出力する運転支援装置であって、上記第１１の局面に係る画像処理装置と、前記画像処理装置によって補正された補正対象画像に基づいて、前記運転支援情報を出力する情報出力手段と、を備える。
【発明の効果】
【００２２】
上記第１の局面によれば、移動体に搭載されたカメラを介して、予め設定された所定時間毎に、該移動体の周辺の画像情報が生成される。そして、生成された画像毎に、該画像の消失点の位置が求められる。また、画像情報が生成される時点における該移動体の移動速度を含む移動体の動きが検出される。更に、生成された画像の中から、補正する対象の１つの画像である補正対象画像が選定される。加えて、選定された補正対象画像が生成される直前に、生成された１つ以上の予め設定された所定個数の画像が、前記補正対象画像の補正に用いる画像情報である第１画像として選定される。また、選定された前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と一致させるべく、前記所定個数の第１画像が、それぞれ、求められた消失点の位置、及び、検出された前記移動体の動きに基づいて補正されて、補正後の画像である第２画像が生成される。生成された前記所定個数の第２画像が、前記補正対象画像と合成されることによって、該補正対象画像が補正される。従って、視野角を確保しつつ、鮮明な画像を生成することができる。
【００２３】
すなわち、画像を生成する際に、撮像倍率等を変更することがないため、視野角を確保することができるのである。また、前記補正対象画像に含まれる静止物の位置と一致させるべく、補正対象画像が生成される直前に生成された前記所定個数の第１画像が、それぞれ、求められた消失点の位置、及び、検出された前記移動体の動きに基づいて補正されて、補正後の画像である第２画像が生成される。そして、生成された前記所定個数の第２画像が、前記補正対象画像と合成されることによって、該補正対象画像が補正されるため、前記補正対象画像に含まれる静止物のＳ／Ｎ比を向上することができるので、鮮明な画像を生成することができるのである。
【００２４】
上記第２の局面によれば、生成された画像情報を格納する画像記憶手段を備えている。そして、生成した画像情報が画像記憶手段に記録され、求められた消失点の位置情報が、前記画像情報に対応付けて、前記画像記憶手段に記録される。また、検出された移動体の動き情報が前記画像情報に対応付けて、前記画像記憶手段に記録される。更に、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報が読み出されて、前記所定個数の第１画像がそれぞれ補正され、補正によって生成された前記所定個数の第２画像情報が、選定された補正対象画像情報に対応付けて、前記画像記憶手段に記録される。また、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報が読み出されて、該補正対象画像が補正される。従って、簡素な処理で、鮮明な画像を生成することができる。
【００２５】
すなわち、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報が読み出されて、前記所定個数の第１画像がそれぞれ補正され、前記所定個数の第２画像情報が生成される。また、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報が読み出されて、該補正対象画像が補正される。従って、簡素な処理で、鮮明な画像を生成することができるのである。
【００２６】
上記第３の局面によれば、予め設定された閾値以下の露光時間で撮像された画像情報が生成される。従って、更に鮮明な画像を生成することができる。
【００２７】
すなわち、露光時間が長いと、画像のブレが大きくなる。これに対して、露光時間が短いと、撮像されて生成された各画像は、充分なコントラストが得られない場合があるが、前記補正対象画像情報に、前記所定個数の第２画像情報が合成されて補正されるので、充分なコントラストを得ることができるのである。
【００２８】
上記第４の局面によれば、検出された該移動体の移動速度に基づいて、前記露光時間が設定される。そして、設定された露光時間で撮像された画像情報が生成される。従って、更に鮮明な画像を生成することができる。
【００２９】
すなわち、検出された該移動体の移動速度に基づいて、前記露光時間が設定されるため、適正な露光時間を設定することができるため、適正な露光時間で撮像された画像情報が生成されるので、更に鮮明な画像を生成することができるのである。
【００３０】
上記第５の局面によれば、検出された該移動体の移動速度が速い程、前記露光時間を短く設定される。従って、更に鮮明な画像を生成することができる。
【００３１】
すなわち、移動速度が速い程、画像のブレが大きくなるため、移動速度が速い程、露光時間を短く設定することによって、更に鮮明な画像を生成することができるのである。
【００３２】
上記第６の局面によれば、前記カメラが撮像する条件の良否の程度が判定される。そして、判定された良否の程度に基づいて、前記露光時間が設定される。また、設定された露光時間で撮像された画像情報が生成される。従って、更に鮮明な画像を生成することができる。
【００３３】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラの露光時間が短いと充分なコントラストが得られない。そこで、撮影条件の良否の程度に基づいて、前記露光時間が設定され、設定された露光時間で撮像された画像情報が生成されるため、更に鮮明な画像を生成することができるのである。
【００３４】
上記第７の局面によれば、前記カメラが撮像する条件が悪いと判定される程、前記露光時間が長く設定される。従って、更に鮮明な画像を生成することができる。
【００３５】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラの露光時間が短いと充分なコントラストが得られない。そこで、前記カメラが撮像する条件が悪いと判定される程、前記露光時間が長く設定されるため、更に鮮明な画像を生成することができるのである。
【００３６】
上記第８の局面によれば、前記カメラが撮像する条件の良否の程度が判定される。そして、判定された良否の程度に基づいて、前記所定個数が設定される。また、設定された前記所定個数の画像が、前記補正対象画像の補正に用いる画像情報である第１画像として選定される。更に、設定された前記所定個数の第１画像が補正されて、補正後の画像である第２画像が生成される。加えて、設定された前記所定個数の第２画像が、前記補正対象画像と合成されることによって、該補正対象画像が補正される。従って、更に鮮明な画像を生成することができる。
【００３７】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラを介して生成された画像において充分なコントラストが得られない虞がある。そこで、前記カメラが撮像条件の良否の程度に基づいて、前記所定個数が設定されるため、前記所定個数として適正な個数が設定される。そして、適正な個数に設定された前記所定個数の第１画像情報に基づいて、前記補正対象画像が補正されるため、更に鮮明な画像を生成することができるのである。
【００３８】
上記第９の局面によれば、前記カメラが撮像する条件が悪いと判定される程、前記所定個数が大きく設定される。従って、更に鮮明な画像を生成することができる。
【００３９】
すなわち、薄暮の時、霧、雨等により撮影条件が悪い場合には、前記カメラの露光時間が短いと充分なコントラストが得られない。そこで、前記カメラが撮像する条件が悪いと判定される程、前記所定個数が大きく設定されるため、更に鮮明な画像を生成することができるのである。
【００４０】
上記第１０の局面によれば、該移動体の周囲に存在する他の移動体の、該移動体との間の距離、及び、相対速度が検出される。そして、前記補正対象画像及び前記所定個数の第１画像に含まれる他の移動体に関して、前記所定個数の第１画像に含まれる他の移動体の位置が、検出された他の移動体の該移動体との間の距離、及び、相対速度に基づいて補正されて、補正後の画像である第２画像が生成される。従って、前記補正対象画像に、他の移動体が含まれる場合にも、該他の移動体の鮮明な画像を生成することができる。
【００４１】
上記第１１の局面によれば、前記移動体が車両である。従って、車両に搭載されたカメラを介して生成された該車両の周辺の画像を補正して、視野角を確保しつつ、鮮明な画像を生成することができる。
【００４２】
上記第１２の局面によれば、更に、該車両のピッチ角、ロール角、及び、ヨー角の少なくとも１つが検出される。従って、更に鮮明な画像を生成することができる。
【００４３】
すなわち、車両の移動速度に加えて、ピッチ角、ロール角、及び、ヨー角を検出することによって、前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と更に正確に一致させるべく、前記所定個数の第１画像を補正して、補正後の画像である第２画像を生成することができるので、更に鮮明な画像を生成することができるのである。
上記第１３の局面によれば、上記第１１の局面に係る画像処理装置を備えるため、視野角を確保しつつ、鮮明な画像を生成することができる。そして、該画像処理装置によって補正された補正対象画像に基づいて、前記運転支援情報が出力されるため、適正な運転支援情報を出力することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る運転支援装置の構成の一例を示すブロック図
【図２】運転支援ＥＣＵの機能構成の一例を示すブロック図
【図３】運転支援ＥＣＵによって行われる画像処理の一例を示すブロック図
【図４】運転支援ＥＣＵによって該車両の前方の画像が生成される状況の一例を示す平面図
【図５】カメラを介して生成された該車両の前方の画像（＝第１画像）の一例を示す画面図、及び、対応する消失点の一例を示す説明図
【図６】カメラを介して生成された該車両の前方の画像（＝第１画像及び補正対象画像）の一例を示す画面図
【図７】カメラを介して生成された第１画像と、対応する第２画像の一例を示す画面図
【図８】カメラを介して生成された第１画像と、対応する第２画像の他の一例を示す画面図
【図９】第２画像と補正対象画像との一例を示す画面図
【図１０】運転支援ＥＣＵの動作の一例を示すフローチャート（前半部）
【図１１】運転支援ＥＣＵの動作の一例を示すフローチャート（後半部）
【発明を実施するための形態】
【００４５】
以下、図面を参照して本発明に係る画像処理装置及び運転支援装置の実施形態について説明する。本発明に係る運転支援装置は、車両に搭載され、運転者に対して運転支援情報を出力する装置である。ここでは、本発明に係る画像処理装置及び運転支援装置が搭載される移動体が、車両である場合について説明する。まず、図１を用いて、車両に搭載された運転支援装置の構成の一例について説明する。
【００４６】
本実施形態では、本発明に係る画像処理装置及び運転支援装置が搭載される移動体が車両である場合について説明するが、本発明に係る画像処理装置及び運転支援装置が搭載される移動体が、その他の種類の移動体である形態でも良い。例えば、本発明に係る画像処理装置が搭載される移動体が、船舶、飛行機等である形態でも良い。
【００４７】
図１は、本発明に係る運転支援装置の構成の一例を示すブロック図である。図１に示すように、本発明に係る運転支援ＥＣＵ（Electronic Control Unit）１（＝画像処理装置、運転支援装置に相当する）は、周辺機器としての入力機器２及び出力機器３と通信可能に接続されている。
【００４８】
まず、図１を参照して、運転支援ＥＣＵ１の入力機器２について説明する。入力機器２は、カメラ２１、レーダ装置２２、車速センサ２３、操舵角センサ２４、ピッチ角センサ２５、ロール角センサ２６、及び、ヨー角センサ２７を備えている。
【００４９】
カメラ２１は、ＣＣＤ（Charge Coupled Device）等を備え、車両ＶＣ１の前方の画像情報を生成するカメラである。また、カメラ２１は、生成された画像情報を、運転支援ＥＣＵ１（ここでは、図２に示す第１画像生成部１０１）へ出力する。また、カメラ２１は、運転支援ＥＣＵ１（ここでは、図２に示す露光時間設定部１０９）から露光時間が指示され、指示された露光時間を設定する。
【００５０】
本実施形態においては、カメラ２１が、車両ＶＣ１の前方の画像情報を生成する場合について説明するが、カメラ２１が、車両ＶＣ１の周囲の画像情報を生成する形態であれば良い。例えば、カメラ２１が、車両ＶＣ１の側方又は後方の画像情報を生成する形態でも良い。
【００５１】
レーダ装置２２は、例えば、ミリ波等を介して、車両ＶＣ１の周囲に存在する他の車両ＶＣ２等の移動体との距離、及び、相対速度を検出する装置である。また、レーダ装置２２は、運転支援ＥＣＵ１（ここでは、図２に示す移動体検出部１１０）に対して、車両ＶＣ１の周囲に存在する移動体との距離及び相対速度を示す信号を出力する。
【００５２】
車速センサ２３は、車両の走行速度を検出するセンサであって、検出された車両の走行速度を示す車速信号を運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して出力する。
【００５３】
操舵角センサ２４は、ステアリングセンサ等からなり、操舵角を検出するセンサであって、検出された操舵角信号を運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して出力する。
【００５４】
ピッチ角センサ２５は、ジャイロセンサ等からなり、ピッチ角の変化する速さ（＝車両ＶＣ１の左右軸廻りの回転角速度）を示すピッチレートを検出するセンサであって、運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して、ヨー角を示す信号を出力する。
【００５５】
ロール角センサ２６は、ジャイロセンサ等からなり、ロール角の変化する速さ（＝車両ＶＣ１の前後軸廻りの回転角速度）を検出するセンサであって、運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して、ロール角を示す信号を出力する。
【００５６】
ヨー角センサ２７は、ジャイロセンサ等からなり、ヨー角の変化する速さ（＝車両の重心点を通る鉛直軸廻りの回転角速度）を検出するセンサであって運転支援ＥＣＵ１（ここでは、図２に示す移動状態検出部１０６）に対して、ヨー角を示す信号を出力する。
【００５７】
次に、図１を参照して、運転支援ＥＣＵ１の出力機器３について説明する。出力機器３は、ディスプレイ３１、及び、スピーカ３２を備えている。ディスプレイ３１は、運転席の前方に配設されたＬＣＤ（Liquid Crystal Display）等からなり、運転支援ＥＣＵ１（ここでは、図２に示す情報出力部１１３）からの指示に従って、運転者から視認可能に画像、文字等を表示するものである。例えば、運転支援ＥＣＵ１によって、走行している車線を右側に逸脱する可能性が高いと判定された場合には、運転支援ＥＣＵ１からの指示に基づいて、ディスプレイ３１に、走行している車線を右側に逸脱する旨の警報画面が表示される。
【００５８】
スピーカ３２は、運転席の側方等に配設され、運転支援ＥＣＵ１（ここでは、図２に示す情報出力部１１３）からの指示に従って、運転者に対して、ガイダンス等の音声を出力するものである。例えば、運転支援ＥＣＵ１によって、走行している車線を右側に逸脱する可能性が高いと判定された場合には、運転支援ＥＣＵ１からの指示に基づいて、スピーカ３２から、走行している車線を右側に逸脱する旨の警報情報が出力される。
【００５９】
図２は、運転支援ＥＣＵ１の機能構成の一例を示すブロック図である。図２に示すように、運転支援ＥＣＵ１は、機能的に、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、及び、情報出力部１１３を備えている。
【００６０】
なお、運転支援ＥＣＵ１は、運転支援ＥＣＵ１の適所に配設されたマイクロコンピュータに、運転支援ＥＣＵ１の適所に配設されたＲＯＭ（Read Only Memory）等に予め格納された制御プログラムを実行させることにより、当該マイクロコンピュータを、機能的に、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、情報出力部１１３等の機能部として機能させる。以下に、図２を参照しつつ、運転支援ＥＣＵ１の各機能部について説明する。
【００６１】
第１画像生成部１０１は、カメラ２１を介して、予め設定された所定時間ΔＴ（例えば、０．１ｓｅｃ）毎に、車両ＶＣ１の前方の画像情報を生成する機能部である。ここで、第１画像生成部１０１は、第１画像生成手段に相当する。また、第１画像生成部１０１は、生成された画像情報を画像記憶部１０３に記録する。
【００６２】
消失点抽出部１０２は、第１画像生成部１０１によって生成された画像毎に、該画像の消失点ＶＰの位置を求める機能部である。ここで、消失点抽出部１０２は、消失点抽出手段に相当する。また、消失点抽出部１０２は、求められた消失点ＶＰの位置情報を、第１画像生成部１０１によって生成された画像情報に対応付けて、画像記憶部１０３に記録する。
【００６３】
ここで、消失点ＶＰとは、もともと平行であるはずの複数の線分が、撮影した画像の中で透視ひずみによって非平行となった場合に、それらを延長して得られる交点のことである。すなわち、消失点は、車両ＶＣ１が直線状の道路を走行している場合に、該道路に平行な平行線群の画像上での収束点として定義される。また、消失点の画像上での位置は、カメラに対する平行線群の方向すなわち道路の方向を与えるものである。例えば、消失点ＶＰは、特開２００８−２２５７８４号公報に記載された消失点抽出装置等によって求めることができる。
【００６４】
画像記憶部１０３は、第１画像生成部１０１によって生成された画像情報を格納する機能部である。ここで、画像記憶部１０３は、画像記憶手段に相当する。また、画像記憶部１０３は、第１画像生成部１０１によって生成された画像情報に対応付けて、消失点抽出部１０２によって求められた消失点ＶＰの位置情報、移動状態検出部１０６によって検出された車両の車速情報、操舵角情報、ピッチ角情報、ロール角情報、ヨー角情報、及び、第２画像生成部１１１によって生成された第２画像情報等を格納する。
【００６５】
補正対象選定部１０４は、第１画像生成部１０１によって生成された画像の中から、補正する対象の１つの画像である補正対象画像Ｐ０を選定する機能部である。ここで、補正対象選定部１０４は、補正対象選定手段に相当する。
【００６６】
第１画像選定部１０５は、補正対象選定部１０４によって選定された補正対象画像が第１画像生成部１０１によって生成される直前に、第１画像生成部１０１によって生成された１つ以上の予め設定された所定個数Ｎ（ここでは、２個）の画像を、補正対象画像Ｐ０の補正に用いる画像情報である第１画像Ｐ１として選定する機能部である。ここで、第１画像選定部１０５は、第１画像選定手段に相当する。また、所定個数Ｎは、個数設定部１０８によって設定される。
【００６７】
具体的には、第１画像生成部１０１は、所定時間ΔＴ（例えば、０．１ｓｅｃ）毎に、車両ＶＣ１の前方の画像情報を生成するため、所定個数Ｎが２個である場合には、第１画像選定部１０５は、第１画像Ｐ１として、補正対象画像が生成された時点Ｔ３の所定時間ΔＴ前の時点Ｔ２に生成された画像Ｐ１１、及び、補正対象画像が生成された時点Ｔ３の所定時間ΔＴの２倍だけ前の時点Ｔ１に生成された画像Ｐ１２を選定する（図３参照）。
【００６８】
本実施形態では、所定個数Ｎが２個である場合について説明するが、所定個数Ｎは、個数設定部１０８によって撮影条件等に基づいて設定されるため、１個である形態でも良いし、３個以上である形態でも良い。
【００６９】
移動状態検出部１０６は、第１画像生成部１０１によって画像情報が生成される時点における車両ＶＣ１の車速を含む車両ＶＣ１の動きを検出する機能部である。ここで、移動状態検出部１０６は、移動状態検出手段に相当する。また、移動状態検出部１０６は、具体的には、車両ＶＣ１の動きとして、車速センサ２３、操舵角センサ２４、ピッチ角センサ２５、ロール角センサ２６、及び、ヨー角センサ２７を介して、それぞれ、車速、操舵角、ピッチ角、ロール角及びヨー角を検出する。更に、移動状態検出部１０６は、検出された移動体の動き情報を、第１画像生成部１０１によって生成された画像情報に対応付けて、画像記憶部１０３に記録する。
【００７０】
本実施形態では、移動状態検出部１０６が、車速、操舵角、ピッチ角、ロール角及びヨー角を検出する場合について説明するが、移動状態検出部１０６が、少なくとも、車速、操舵角を検出する形態であれば良い。また、移動状態検出部１０６が、車速、操舵角に加えて、ピッチ角、ロール角及びヨー角の少なくともいずれかを検出する形態であることが好ましい。
【００７１】
撮影条件判定部１０７は、カメラ２１が撮像する条件の良否の程度を判定する機能部である。ここで、撮影条件判定部１０７は、撮影条件判定手段に相当する。また、撮影条件判定部１０７は、具体的には、第１画像生成部１０１によって生成された画像情報のコントラスト、Ｓ／Ｎ比等に基づいて、カメラ２１が撮像する条件の良否の程度を判定する。
【００７２】
本実施形態では、撮影条件判定部１０７が、第１画像生成部１０１によって生成された画像情報のコントラスト、Ｓ／Ｎ比等に基づいて、カメラ２１が撮像する条件の良否の程度を判定する場合について説明するが、撮影条件判定部１０７が、その他の情報に基づいて、カメラ２１が撮像する条件の良否の程度を判定する形態でも良い。例えば、撮影条件判定部１０７が、インターネット等を介して気象情報を取得し、取得した気象情報に基づいて、カメラ２１が撮像する条件の良否の程度を判定する形態でも良い。
【００７３】
個数設定部１０８は、撮像条件判定部１０７によって判定された撮影条件の良否の程度に基づいて、補正対象画像Ｐ０の補正に用いる画像情報の個数である所定個数Ｎを設定する機能部である。ここで、個数設定部１０８は、個数設定手段に相当する。また、個数設定部１０８は、具体的には、撮像条件判定部１０７によってカメラ２１が撮像する条件が悪いと判定される程、所定個数Ｎを大きく設定する。
【００７４】
薄暮の時、霧、雨等により撮影条件が悪い場合には、カメラ２１の露光時間ＥＴが短いと充分なコントラストが得られない。そこで、上記のように、カメラ２１が撮像する条件が悪いと判定される程、所定個数Ｎが大きく設定されるため、更に鮮明な画像を生成することができるのである。
【００７５】
本実施形態では、個数設定部１０８が、撮影条件の良否の程度に基づいて、所定個数Ｎを設定する場合について説明するが、個数設定部１０８が、その他の条件に基づいて、所定個数Ｎを設定する形態でも良い。例えば、個数設定部１０８が、車速が速い程、所定個数Ｎを小さく設定する形態でも良い。車速が速い場合には、短い間隔で運転支援情報の出力要否を判定する必要がある。そこで、車速が速い程、所定個数Ｎを小さく設定することによって、短い間隔で運転支援情報の出力要否を判定することを可能とすることができるのである。
【００７６】
露光時間設定部１０９は、移動状態検出部１０６によって検出された車両ＶＣの車速に基づいて、露光時間ＥＴを設定する機能部である。ここで、露光時間設定部１０９は、露光時間設定手段に相当する。また、露光時間設定部１０９は、具体的には、移動状態検出部１０６によって検出された車両ＶＣ１の車速が速い程、露光時間ＥＴを短く設定する。更に、露光時間設定部１０９は、撮像条件判定部１０７によって判定された撮影条件の良否の程度に基づいて、露光時間ＥＴを設定する。具体的には、露光時間設定部１０９は、撮像条件判定部１０７によってカメラ２１が撮像する条件が悪いと判定される程、露光時間ＥＴを長く設定する。
【００７７】
このようにして、車両ＶＣ１の車速が速い程、画像のブレが大きくなるため、車速が速い程、露光時間ＥＴを短く設定することによって、第１画像生成部１０１は、鮮明な画像を生成することができる。
【００７８】
一方、薄暮の時、霧、雨等により撮影条件が悪い場合には、カメラ２１の露光時間ＥＴが短いと充分なコントラストが得られない。そこで、カメラ２１が撮像する条件が悪いと判定される程、露光時間ＥＴが長く設定され、設定された露光時間ＥＴで撮像された画像情報が生成されるため、第１画像生成部１０１は、更に鮮明な画像を生成することができる。
【００７９】
本実施形態では、露光時間設定部１０９が、車両ＶＣ１の車速及びカメラ２１が撮像する条件の良否に基づいて、露光時間ＥＴを設定する場合について説明するが、露光時間設定部１０９が、車両ＶＣ１の車速及びカメラ２１が撮像する条件の良否の少なくとも一方に基づいて、露光時間ＥＴを設定する形態であれば良い。
【００８０】
移動体検出部１１０は、レーダ装置２２を介して、車両ＶＣ１の周囲に存在する他の移動体（例えば、対向車両ＶＣ２）の、車両ＶＣ１との間の距離、及び、相対速度を検出する機能部である。ここで、移動体検出部１１０は、移動体検出手段に相当する。
【００８１】
第２画像生成部１１１は、第１画像選定部１０５によって選定された所定個数Ｎ（ここでは、２個）の第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく、所定個数Ｎの第１画像Ｐ１を、それぞれ、消失点抽出部１０２によって求められた消失点ＶＰの位置、及び、移動状態検出部１０６によって検出された車両ＶＣ１の動きに基づいて補正して、補正後の画像である第２画像Ｐ２を生成する機能部である。ここで、第２画像生成部１１１は、第２画像生成手段に相当する。また、第２画像生成部１１１は、生成した第２画像Ｐ２を、補正対象画像Ｐ０に対応付けて、画像記憶部１０３に記録する。更に、ここでは、移動状態検出部１０６によって検出された車両ＶＣ１の動きは、具体的には、車速、操舵角、ピッチ角、ロール角及びヨー角である。なお、第２画像生成部１１１の具体的な処理方法については、図５を用いて後述する。
【００８２】
また、第２画像生成部１１１は、画像記憶部１０３から、所定個数Ｎ（ここでは、２個）の第１画像Ｐ１情報、所定個数Ｎの消失点ＶＰの位置情報、及び、所定個数Ｎの車両ＶＣ１の動き情報を読み出して、所定個数Ｎの第１画像Ｐ１をそれぞれ補正して、所定個数Ｎの第２画像Ｐ２を生成する。
【００８３】
このようにして、画像記憶部１０３から、所定個数Ｎ（ここでは、２個）の第１画像Ｐ１情報、所定個数Ｎの消失点ＶＰの位置情報、及び、所定個数Ｎの車両ＶＣ１の動き情報を読み出されて、所定個数Ｎの第１画像Ｐ１をそれぞれ補正されて、所定個数Ｎの第２画像Ｐ２を生成されるため、簡素な処理で第２画像Ｐ２を生成することができる。
【００８４】
更に、第２画像生成部１１１は、補正対象画像Ｐ０及び所定個数Ｎ（ここでは、２個）の第１画像Ｐ１に含まれる移動体（対向車両ＶＣ２等）に関して、所定個数Ｎの第１画像Ｐ１に含まれる他の移動体の位置（対向車両ＶＣ２等）を、移動体検出部１１０によって検出された車両ＶＣ１との間の距離、及び、相対速度に基づいて補正して、補正後の画像である第２画像Ｐ２を生成する。
【００８５】
このようにして、補正対象画像Ｐ０及び所定個数Ｎの第１画像Ｐ１に含まれる他の移動体（対向車両ＶＣ２等）に関して、所定個数Ｎの第１画像Ｐ１に含まれる他の移動体（対向車両ＶＣ２等）の位置が、検出された他の移動体の車両ＶＣ１との間の距離、及び、相対速度に基づいて補正されて、補正後の画像である第２画像Ｐ２が生成されるため、補正対象画像Ｐ０に、他の移動体が含まれる場合にも、該他の移動体の鮮明な画像を生成することができる。
【００８６】
画像補正実行部１１２は、第２画像生成部１１１によって生成された所定個数Ｎ（ここでは、２個）の第２画像Ｐ２を、補正対象画像Ｐ０と合成することによって、補正対象画像Ｐ０を補正して、補正後の画像Ｐ３を生成する機能部である。ここで、画像補正実行部１１２は、画像補正手段に相当する。また、画像補正実行部１１２は、画像記憶部１０３から、補正対象画像Ｐ０情報、及び、所定個数Ｎの第２画像Ｐ２情報が読み出して、補正対象画像Ｐ０を補正する。
【００８７】
このようにして、画像記憶部１０３から、補正対象画像Ｐ０情報、及び、所定個数Ｎの第２画像Ｐ２情報が読み出されて、補正対象画像Ｐ０が補正されるため、簡素な処理で補正対象画像Ｐ０を補正することができる。
【００８８】
情報出力部１１３は、画像補正実行部１１２によって補正対象画像Ｐ０が補正されて生成された画像Ｐ３に基づいて、運転者に対して運転操作を支援する情報である運転支援情報を出力する機能部である。ここで、情報出力部１１３は、情報出力手段に相当する。情報出力部１１３は、具体的には、運転支援情報として、ディスプレイ３１及びスピーカ３２を介して、運転者から視認可能に画像、文字等を表示すると共に、ガイダンス等の音声を出力する。
【００８９】
図３は、運転支援ＥＣＵ１によって行われる画像処理の一例を示すブロック図である。図の横軸は時間Ｔである。所定時間ΔＴ間隔の時点Ｔ１〜Ｔ５において、第１画像生成部１０１によって画像が生成される。上側の図は、時点Ｔ３の画像が補正対象画像Ｐ０として選定される場合であって、下側の図は、時点Ｔ４の画像が補正対象画像Ｐ０として選定される場合である。
【００９０】
図３の上側の図に示すように、時点Ｔ３の画像が補正対象画像Ｐ０として選定される場合には、第１画像選定部１０５によって、時点Ｔ１及び時点Ｔ２で生成された画像が第１画像Ｐ１として選定される。そして、第２画像生成部１１１によって、時点Ｔ１及び時点Ｔ２で生成された２個の第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されて２個の第２画像Ｐ２が生成される。また、画像補正実行部１１２によって、２個の第２画像Ｐ２が、補正対象画像Ｐ０と合成されて補正され、補正後の画像（ここでは、「補正画像」と表記する）Ｐ３が生成される。このようにして、時点Ｔ３で生成された補正対象画像Ｐ０が補正されて、補正画像Ｐ３が生成される。
【００９１】
同様にして、図３の下側の図に示すように、時点Ｔ４の画像が補正対象画像Ｐ０として選定される場合には、第１画像選定部１０５によって、時点Ｔ２及び時点Ｔ３で生成された画像が第１画像Ｐ１として選定される。そして、第２画像生成部１１１によって、時点Ｔ２及び時点Ｔ３で生成された２個の第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されて２個の第２画像Ｐ２が生成される。また、画像補正実行部１１２によって、２個の第２画像Ｐ２が、補正対象画像Ｐ０と合成されて補正され、補正後の画像（ここでは、「補正画像」と表記する）Ｐ３が生成される。このようにして、時点Ｔ４で生成された補正対象画像Ｐ０が補正されて、補正画像Ｐ３が生成される。
【００９２】
図３に示すように、各時点で生成された画像は、補正対象選定部１０４によって、順次、補正対象画像Ｐ０として選定され、画像補正実行部１１２によって、補正されて補正画像Ｐ３が生成されるのである。そこで、第１画像生成部１０１によって画像が生成される度に、生成された画像が補正されるため、補正画像Ｐ３を、生成された時点から短期間で生成することができる。
【００９３】
図４は、運転支援ＥＣＵ１によって車両ＶＣ１の前方の画像が生成される状況の一例を示す平面図である。図４に示すように、車両ＶＣ１は、車両区画線ＷＬ、ＷＲで区画され、センターラインＣＬが敷設された車線を上側に向けて走行している。ここで、車両ＶＣ１の前面部には、カメラ２１が配設されており、カメラ２１は、予め設定された所定の視野角の範囲ＤＡ内を撮像している。
【００９４】
車両ＶＣ１の前方左側には、車両区画線ＷＬに沿って、道路標識ＳＰ、信号機ＳＧが敷設されており、車両ＶＣ１の前方の道路上には、マークＲＭが描かれている。更に、対向車線には、対向車両ＶＣ２が、下側に向けて走行している。また、図４には、図３に示す時点Ｔ１、Ｔ２、Ｔ３における車両ＶＣ１の位置を表記している。
【００９５】
図５は、図４に示す状況において、カメラ２１を介して生成された車両ＶＣ１の前方の画像（＝第１画像Ｐ１）の一例を示す画面図４１０、及び、対応する消失点ＶＰの一例を示す説明図４１０Ａである。なお、以下の説明においては、図３の上側の図に示す場合について、第２画像生成部１１１によって行われる処理を説明する。すなわち、時点Ｔ１及び時点Ｔ２で生成された第１画像Ｐ１を用いて、時点Ｔ３で生成された補正対象画像Ｐ０を補正する場合について、第２画像生成部１１１によって、第１画像Ｐ１から第２画像Ｐ２を生成する方法を具体的に説明する。
【００９６】
画面図４１０は、図３、図４に示す時点Ｔ１において生成された画像に対応するものであって、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４１１、４１２、センターライン画像４１３、マーク画像４１４、信号機画像４１５、道路標識画像４１６、及び、対向車両画像４１７が表示されている。
【００９７】
説明図４１０Ａには、画面図４１０における消失点ＶＰの位置が黒丸●で表示されている。また、説明図４１０Ａには、消失点ＶＰを中心として放射状にベクトルＰＶが表記されている。このベクトルＰＶは、第２画像Ｐ２を生成するために、画面図４１０に示す第１画像Ｐ１の各画素を移動する方向及び移動量を示すベクトルである。
【００９８】
すなわち、画面図４１０に示す画像を構成し、ベクトルＰＶの起点に位置する各画素は、第２画像生成部１１１によって、ベクトルＰＶの先端の位置に移動されるのである。このベクトルＰＶは、第１画像Ｐ１に含まれる静止物の位置を、それぞれ、補正対象画像Ｐ０（ここでは、時点Ｐ３において生成された画像：図６に示す画面図４３０参照）に含まれる静止物の位置と一致させるべく、移動状態検出部１０６によって求められた車速、操舵角等に基づいて求められるものである。
【００９９】
図６は、カメラ２１を介して生成された車両ＶＣ１の前方の画像（＝第１画像Ｐ１及び補正対象画像Ｐ０）の一例を示す画面図である。図６の上側に示す画面図４２０は、図３、図４に示す時点Ｔ２において生成された画像に対応する画面図である。画面図４２０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４２１、４２２、センターライン画像４２３、マーク画像４２４、信号機画像４２５、道路標識画像４２６、及び、対向車両画像４２７が表示されている。
【０１００】
図４に示すように、時点Ｔ１から時点Ｔ２に時間が経過ことによって、車両ＶＣ１が図４に示すマークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２に接近する。そこで、図６の上側に示す画面図４２０において、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応するマーク画像４２４、信号機画像４２５、道路標識画像４２６、及び、対向車両画像４２７は、図５に示す画面図４１０のマーク画像４１４、信号機画像４１５、道路標識画像４１６、及び、対向車両画像４１７と比較して大きく表記されている。
【０１０１】
図６の下側に示す画面図４３０は、図３、図４に示す時点Ｔ３において生成された画像に対応する画面図である。画面図４３０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４３１、４３２、センターライン画像４３３、マーク画像４３４、信号機画像４３５、道路標識画像４３６、及び、対向車両画像４３７が表示されている。
【０１０２】
図４に示すように、時点Ｔ２から時点Ｔ３に時間が経過ことによって、車両ＶＣ１が図４に示すマークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２に更に接近する。そこで、図６の下側に示す画面図４３０において、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応するマーク画像４３４、信号機画像４３５、道路標識画像４３６、及び、対向車両画像４３７は、図６の上側に示す画面図４２０のマーク画像４２４、信号機画像４２５、道路標識画像４２６、及び、対向車両画像４２７と比較して更に大きく表記されている。
【０１０３】
図７は、カメラ２１を介して生成された第１画像Ｐ１と、対応する第２画像Ｐ２の一例を示す画面図である。時点Ｔ１で生成された第１画像Ｐ１は、図５の上側に示す画面図４１０に対応している。ここでは、便宜上、図５の上側に示す画面図４１０を図７の上側に再掲する。図７の下側の図は、第２画像生成部１１１によって、時点Ｔ１で生成された第１画像Ｐ１に対して、図５の下側に示す消失点ＶＰ及びベクトルＰＶに基づいて、補正が施されて、生成された第２画像Ｐ２を示す画面図４４０である。なお、ここでは、便宜上、第２画像生成部１１１が、他の移動体に相当する車両ＶＣ２の移動に伴う位置及び大きさの補正は行っていない。
【０１０４】
画面図４４０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４４１、４４２、センターライン画像４４３、マーク画像４４４、信号機画像４４５、道路標識画像４４６、及び、対向車両画像４４７が表示されている。
【０１０５】
画面図４４０に示すように、図４に示す静止物である車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰにそれぞれ対応する車両区画線画像４４１、４４２、センターライン画像４４３、マーク画像４４４、信号機画像４４５、及び、道路標識画像４４６は、図６の下側に示す時点Ｔ３の画像（＝補正対象画像Ｐ０）に対応する画面図４３０の車両区画線画像４２１、４３２、センターライン画像４３３、マーク画像４３４、信号機画像４３５、及び、道路標識画像４３６と一致する位置、大きさで表示されている。すなわち、画面図４１０に示す時点Ｔ１で生成された第１画像Ｐ１に含まれる静止物の位置が、それぞれ、図６の画面図４３０に示す時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されている。
【０１０６】
図８は、カメラ２１を介して生成された第１画像Ｐ１と、対応する第２画像Ｐ２の他の一例を示す画面図である。時点Ｔ２で生成された第１画像Ｐ１は、図６の上側に示す画面図４２０に対応している。ここでは、便宜上、図６の上側に示す画面図４２０を図８の上側に再掲する。図８の下側の図は、第２画像生成部１１１によって、時点Ｔ２で生成された第１画像Ｐ１に対して、図５の下側に示すものと同様に、消失点ＶＰ及びベクトルＰＶに基づいて補正が施されて、生成された第２画像Ｐ２を示す画面図４５０である。なお、ここでは、便宜上、第２画像生成部１１１が、他の移動体に相当する車両ＶＣ２の移動に伴う位置及び大きさの補正は行っていない。
【０１０７】
画面図４５０には、図４に示す車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰ、及び、対向車両ＶＣ２にそれぞれ対応する車両区画線画像４５１、４５２、センターライン画像４５３、マーク画像４５４、信号機画像４５５、道路標識画像４５６、及び、対向車両画像４５７が表示されている。
【０１０８】
画面図４５０に示すように、図４に示す静止物である車両区画線ＷＬ、車両区画線ＷＲ、センターラインＣＬ、マークＲＭ、信号機ＳＧ、道路標識ＳＰにそれぞれ対応する車両区画線画像４５１、４５２、センターライン画像４５３、マーク画像４５４、信号機画像４５５、及び、道路標識画像４５６は、図６の下側に示す時点Ｔ３の画像（＝補正対象画像Ｐ０）に対応する画面図４３０の車両区画線画像４２１、４３２、センターライン画像４３３、マーク画像４３４、信号機画像４３５、及び、道路標識画像４３６と一致する位置、大きさで表示されている。すなわち、画面図４２０に示す時点Ｔ２で生成された第１画像Ｐ１に含まれる静止物の位置が、それぞれ、図６の画面図４３０に示す時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく補正されている。
【０１０９】
図９は、第２画像Ｐ２と補正対象画像Ｐ０との一例を示す画面図である。図９には、上から順に、時点Ｔ１で生成された第１画像Ｐ１に対応する第２画像Ｐ２を示す画面図４４０（図７の下側の図を再掲）、時点Ｔ２で生成された第１画像Ｐ１に対応する第２画像Ｐ２を示す画面図４５０（図８の下側の図を再掲）、及び、時点Ｔ３で生成された補正対象画像Ｐ０を示す画面図４３０（図６の下側の図を再掲）である。図９に示すように、時点Ｔ１及び時点Ｔ２でそれぞれ生成された第１画像Ｐ１に対応する第２画像Ｐ２に含まれる静止物の位置、大きさが、時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致している。
【０１１０】
このように、時点Ｔ１及び時点Ｔ２でそれぞれ生成された第２画像Ｐ２に含まれる静止物の位置、大きさが、時点Ｔ３で生成された補正対象画像Ｐ０に含まれる静止物の位置と一致しているため、第２画像Ｐ２と補正対象画像Ｐ０とを合成することによって、静止物の画像のＳ／Ｎ比を向上することができるのである。
【０１１１】
図１０、図１１は、運転支援ＥＣＵ１の動作の一例を示すフローチャートである。なお、ここでは、便宜上、第２画像生成部１１１が、他の移動体（ここでは、車両ＶＣ２）の移動に伴う位置及び大きさの補正は行わない場合について説明する。まず、図１０に示すように、第１画像生成部１０１によって、車両ＶＣ１の前方の画像情報が生成され、生成された画像情報が画像記憶部１０３に記録される（Ｓ１０１）。そして、消失点抽出部１０２によって、ステップＳ１０１において生成された画像毎に、消失点ＶＰの位置が求められる（Ｓ１０３）。次いで、消失点抽出部１０２によって、ステップＳ１０３において求められた消失点ＶＰの位置情報が、ステップＳ１０１において生成された画像情報と対応付けて画像記憶部１０３に記録される（Ｓ１０５）。
【０１１２】
次に、移動状態検出部１０６によって、車両ＶＣ１の車速、操舵角が検出され、検出された車速情報、操舵角情報等がステップＳ１０１において生成された画像情報と対応付けて画像記憶部１０３に記録される（Ｓ１０７）。そして、移動状態検出部１０６によって、車両ＶＣ１のピッチ角、ロール角、ヨー角が検出され、検出されたピッチ角情報、ロール角情報、ヨー角情報等がステップＳ１０１において生成された画像情報と対応付けて画像記憶部１０３に記録される（Ｓ１０９）。
【０１１３】
次いで、撮影条件判定部１０７によって、カメラ２１が撮像する条件の良否の程度が判定される（Ｓ１１１）。次に、個数設定部１０８によって、ステップＳ１１１において判定された撮像条件の良否の程度に基づいて、補正対象画像Ｐ０の補正に用いる画像情報の個数である所定個数Ｎが設定される（Ｓ１１３）。そして、露光時間設定部１０９によって、ステップＳ１０７において検出された車速、及び、ステップＳ１１１において判定された撮像条件の良否の程度に基づいて、露光時間ＥＴが設定される（Ｓ１１５）。
【０１１４】
そして、図１１に示すように、補正対象選定部１０４によって、図１０に示すステップＳ１０１において生成された画像の中から、１個の補正対象画像Ｐ０が選定され、選定された補正対象画像Ｐ０情報が画像記憶部１０３から読み出される（Ｓ１１７）。次いで、第１画像選定部１０５によって、図１０に示すステップＳ１０１において生成された画像の中から、所定個数Ｎ（ここでは、２個）の第１画像Ｐ１が選定される（Ｓ１１９）。次に、第２画像生成部１１１によって、ステップＳ１１９において選定された第１画像Ｐ１情報、及び、ステップＳ１１７において選定された補正対象画像Ｐ０に対応する消失点ＶＰの位置情報（ここでは、消失点情報と略記している）が画像記憶部１０３から読み出される（Ｓ１２１）。
【０１１５】
そして、第２画像生成部１１１によって、ステップＳ１１７において選定された補正対象画像Ｐ０に対応する車速情報、操舵角情報が、画像記憶部１０３から読み出される（Ｓ１２３）。次いで、第２画像生成部１１１によって、ステップＳ１１７において選定された補正対象画像Ｐ０に対応するピッチ角情報、ロール角情報、ヨー角情報が、画像記憶部１０３から読み出される（Ｓ１２５）。次に、第２画像生成部１１１によって、ステップＳ１２１において読み出された第１画像Ｐ１が、ステップＳ１２１において読み出された消失点ＶＰの位置情報、ステップＳ１２３において読み出された車速情報、操舵角情報、及び、ステップＳ１２５において読み出されたピッチ角情報、ロール角情報、ヨー角情報に基づいて補正されて、第２画像Ｐ２が生成される（Ｓ１２７）。
【０１１６】
そして、画像補正実行部１１２によって、ステップＳ１２７において生成された所定個数Ｎ（ここでは、２個）の第２画像Ｐ２が、ステップＳ１１７において読み出された補正対象画像Ｐ０と合成されて、補正画像Ｐ３が生成される（Ｓ１２９）。次いで、情報出力部１１３によって、ステップＳ１２９において生成された補正画像Ｐ３に基づいて、運転支援情報が生成される（Ｓ１３１）。次に、情報出力部１１３によって、ステップＳ１３１において生成された運転支援情報が出力され（Ｓ１３３）、処理が終了される。
【０１１７】
このようにして、画像を生成する際に、撮像倍率等を変更することがないため、視野角を確保することができるのである。また、補正対象画像Ｐ０に含まれる静止物の位置と一致させるべく、補正対象画像Ｐ０が生成される直前に生成された所定個数Ｎの第１画像Ｐ１が、それぞれ、求められた消失点ＶＰの位置、及び、検出された車両ＶＣ１の動きに基づいて補正されて、補正後の画像である第２画像Ｐ２が生成される。そして、生成された所定個数Ｎの第２画像Ｐ２が、補正対象画像Ｐ０と合成されることによって、該補正対象画像Ｐ０が補正されるため、補正対象画像Ｐ０に含まれる静止物のＳ／Ｎ比を向上することができるので、鮮明な画像を生成することができる。
【０１１８】
なお、本発明に係る画像処理装置、運転支援装置は、上記実施形態に限定されず、下記の形態でも良い。
（Ａ）本実施形態においては、運転支援ＥＣＵ１が、機能的に、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、情報出力部１１３等を備える場合について説明したが、第１画像生成部１０１、消失点抽出部１０２、画像記憶部１０３、補正対象選定部１０４、第１画像選定部１０５、移動状態検出部１０６、撮影条件判定部１０７、個数設定部１０８、露光時間設定部１０９、移動体検出部１１０、第２画像生成部１１１、画像補正実行部１１２、及び、情報出力部１１３の内、少なくとも１つの機能部が電気回路等のハードウェアによって実現されている形態でも良い。
【０１１９】
（Ｂ）本実施形態においては、露光時間設定部１０９が、車両ＶＣの車速及び撮影条件の良否の程度に基づいて、露光時間ＥＴを設定する場合について説明したが、露光時間ＥＴが予め設定された閾値以下の露光時間ＥＶに設定されている形態でも良い。この場合には、処理が簡略化される。また、露光時間ＥＶが長いと、画像のブレが大きくなる。これに対して、露光時間ＥＶが短いと、撮像されて生成された各画像は、充分なコントラストが得られない場合があるが、補正対象画像Ｐ０情報に、所定個数Ｎ（ここでは、２個）の第２画像Ｐ２情報が合成されて補正されるので、充分なコントラストを得ることができる。
【産業上の利用可能性】
【０１２０】
本発明は、例えば、車両等の移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置に適用することができる。また、本発明は、例えば、車両に搭載され、運転者に対して運転支援情報を出力する運転支援装置に適用することができる。
【符号の説明】
【０１２１】
１ 運転支援ＥＣＵ（画像処理装置、運転支援装置）
１０１ 第１画像生成部（第１画像生成手段）
１０２ 消失点抽出部（消失点抽出手段）
１０３ 画像記憶部（画像記憶手段）
１０４ 補正対象選定部（補正対象選定手段）
１０５ 第１画像選定部（第１画像選定手段）
１０６ 移動状態検出部（移動状態検出手段）
１０７ 撮影条件判定部（撮影条件判定手段）
１０８ 個数設定部（個数設定手段）
１０９ 露光時間設定部（露光時間設定手段）
１１０ 移動体検出部（移動体検出手段）
１１１ 第２画像生成部（第２画像生成手段）
１１２ 画像補正実行部（画像補正手段）
１１３ 情報出力部（情報出力手段）
２ 入力機器
２１ カメラ
２２ レーダ装置
２３ 車速センサ
２４ 操舵角センサ
２５ ピッチ角センサ
２６ ロール角センサ
２７ ヨー角センサ
３ 出力機器
３１ ディスプレイ
３２ スピーカ
【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置であって、
前記カメラを介して、予め設定された所定時間毎に、該移動体の周辺の画像情報を生成する第１画像生成手段と、
前記第１画像生成手段によって生成された画像毎に、該画像の消失点の位置を求める消失点抽出手段と、
前記第１画像生成手段によって画像情報が生成される時点における該移動体の移動速度を含む移動体の動きを検出する移動状態検出手段と、
前記第１画像生成手段によって生成された画像の中から、補正する対象の１つの画像である補正対象画像を選定する補正対象選定手段と、
前記補正対象選定手段によって選定された補正対象画像が前記第１画像生成手段によって生成される直前に、前記第１画像生成手段によって生成された１つ以上の予め設定された所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定する第１画像選定手段と、
前記第１画像選定手段によって選定された前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と一致させるべく、前記所定個数の第１画像を、それぞれ、前記消失点抽出手段によって求められた消失点の位置、及び、前記移動状態検出手段によって検出された前記移動体の動きに基づいて補正して、補正後の画像である第２画像を生成する第２画像生成手段と、
前記第２画像生成手段によって生成された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する画像補正手段と、を備える、画像処理装置。
【請求項２】
前記第１画像生成手段によって生成された画像情報を格納する画像記憶手段を備え、
前記第１画像生成手段は、生成された画像情報を画像記憶手段に記録し、
前記消失点抽出手段は、求められた消失点の位置情報を、前記画像情報に対応付けて、前記画像記憶手段に記録し、
前記移動状態検出手段は、検出された移動体の動き情報を前記画像情報に対応付けて、前記画像記憶手段に記録し、
前記第２画像生成手段は、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報を読み出して、前記所定個数の第１画像をそれぞれ補正し、補正によって生成された前記所定個数の第２画像情報を、前記補正対象選定手段によって選定された補正対象画像情報に対応付けて、前記画像記憶手段に記録し、
前記画像補正手段は、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報を読み出して、該補正対象画像を補正する、請求項１に記載の画像処理装置。
【請求項３】
前記第１画像生成手段は、予め設定された閾値以下の露光時間で撮像された画像情報を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記移動状態検出手段によって検出された該移動体の移動速度に基づいて、前記露光時間を設定する露光時間設定手段を備え、
前記第１画像生成手段は、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記露光時間設定手段は、前記移動状態検出手段によって検出された該移動体の移動速度が速い程、前記露光時間を短く設定する、請求項４に記載の画像処理装置。
【請求項６】
前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、
前記撮像条件判定手段によって判定された良否の程度に基づいて、前記露光時間を設定する露光時間設定手段と、を備え、
前記第１画像生成手段は、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する、請求項３に記載の画像処理装置。
【請求項７】
前記露光時間設定手段は、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記露光時間を長く設定する、請求項６に記載の画像処理装置。
【請求項８】
前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、
前記撮像条件判定手段によって判定された良否の程度に基づいて、前記所定個数を設定する個数設定手段と、を備え、
前記第１画像選定手段は、前記個数設定手段によって設定された前記所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定し、
前記第２画像生成手段は、前記個数設定手段によって設定された前記所定個数の第１画像を補正して、補正後の画像である第２画像を生成し、
前記画像補正手段は、前記個数設定手段によって設定された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する、請求項１に記載の画像処理装置。
【請求項９】
前記個数設定手段は、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記所定個数を大きく設定する、請求項８に記載の画像処理装置。
【請求項１０】
該移動体の周囲に存在する他の移動体の、該移動体との間の距離、及び、相対速度を検出する移動体検出手段を備え、
前記第２画像生成手段は、前記補正対象画像及び前記所定個数の第１画像に含まれる他の移動体に関して、前記所定個数の第１画像に含まれる他の移動体の位置を、前記移動体検出手段によって検出された該移動体との間の距離、及び、相対速度に基づいて補正して、補正後の画像である第２画像を生成する、請求項１に記載の画像処理装置。
【請求項１１】
前記移動体は、車両である、請求項１に記載の画像処理装置。
【請求項１２】
前記移動状態検出手段は、更に、該車両のピッチ角、ロール角、及び、ヨー角の少なくとも１つを検出する、請求項１１に記載の画像処理装置。
【請求項１３】
車両に搭載され、運転者に対して運転操作を支援する情報である運転支援情報を出力する運転支援装置であって、
請求項１１に記載の画像処理装置と、
前記画像処理装置によって補正された補正対象画像に基づいて、前記運転支援情報を出力する情報出力手段と、を備える、運転支援装置。
【請求項１】
移動体に搭載されたカメラを介して生成された該移動体の周辺の画像を補正する画像処理装置であって、
前記カメラを介して、予め設定された所定時間毎に、該移動体の周辺の画像情報を生成する第１画像生成手段と、
前記第１画像生成手段によって生成された画像毎に、該画像の消失点の位置を求める消失点抽出手段と、
前記第１画像生成手段によって画像情報が生成される時点における該移動体の移動速度を含む移動体の動きを検出する移動状態検出手段と、
前記第１画像生成手段によって生成された画像の中から、補正する対象の１つの画像である補正対象画像を選定する補正対象選定手段と、
前記補正対象選定手段によって選定された補正対象画像が前記第１画像生成手段によって生成される直前に、前記第１画像生成手段によって生成された１つ以上の予め設定された所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定する第１画像選定手段と、
前記第１画像選定手段によって選定された前記所定個数の第１画像に含まれる静止物の位置を、それぞれ、前記補正対象画像に含まれる静止物の位置と一致させるべく、前記所定個数の第１画像を、それぞれ、前記消失点抽出手段によって求められた消失点の位置、及び、前記移動状態検出手段によって検出された前記移動体の動きに基づいて補正して、補正後の画像である第２画像を生成する第２画像生成手段と、
前記第２画像生成手段によって生成された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する画像補正手段と、を備える、画像処理装置。
【請求項２】
前記第１画像生成手段によって生成された画像情報を格納する画像記憶手段を備え、
前記第１画像生成手段は、生成された画像情報を画像記憶手段に記録し、
前記消失点抽出手段は、求められた消失点の位置情報を、前記画像情報に対応付けて、前記画像記憶手段に記録し、
前記移動状態検出手段は、検出された移動体の動き情報を前記画像情報に対応付けて、前記画像記憶手段に記録し、
前記第２画像生成手段は、前記画像記憶手段から、前記所定個数の第１画像情報、前記所定個数の前記消失点の位置情報、及び、前記所定個数の前記移動体の動き情報を読み出して、前記所定個数の第１画像をそれぞれ補正し、補正によって生成された前記所定個数の第２画像情報を、前記補正対象選定手段によって選定された補正対象画像情報に対応付けて、前記画像記憶手段に記録し、
前記画像補正手段は、前記画像記憶手段から、前記補正対象画像情報、及び、前記所定個数の第２画像情報を読み出して、該補正対象画像を補正する、請求項１に記載の画像処理装置。
【請求項３】
前記第１画像生成手段は、予め設定された閾値以下の露光時間で撮像された画像情報を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記移動状態検出手段によって検出された該移動体の移動速度に基づいて、前記露光時間を設定する露光時間設定手段を備え、
前記第１画像生成手段は、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記露光時間設定手段は、前記移動状態検出手段によって検出された該移動体の移動速度が速い程、前記露光時間を短く設定する、請求項４に記載の画像処理装置。
【請求項６】
前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、
前記撮像条件判定手段によって判定された良否の程度に基づいて、前記露光時間を設定する露光時間設定手段と、を備え、
前記第１画像生成手段は、前記露光時間設定手段によって設定された露光時間で撮像された画像情報を生成する、請求項３に記載の画像処理装置。
【請求項７】
前記露光時間設定手段は、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記露光時間を長く設定する、請求項６に記載の画像処理装置。
【請求項８】
前記カメラが撮像する条件の良否の程度を判定する撮像条件判定手段と、
前記撮像条件判定手段によって判定された良否の程度に基づいて、前記所定個数を設定する個数設定手段と、を備え、
前記第１画像選定手段は、前記個数設定手段によって設定された前記所定個数の画像を、前記補正対象画像の補正に用いる画像情報である第１画像として選定し、
前記第２画像生成手段は、前記個数設定手段によって設定された前記所定個数の第１画像を補正して、補正後の画像である第２画像を生成し、
前記画像補正手段は、前記個数設定手段によって設定された前記所定個数の第２画像を、前記補正対象画像と合成することによって、該補正対象画像を補正する、請求項１に記載の画像処理装置。
【請求項９】
前記個数設定手段は、前記撮像条件判定手段によって前記カメラが撮像する条件が悪いと判定される程、前記所定個数を大きく設定する、請求項８に記載の画像処理装置。
【請求項１０】
該移動体の周囲に存在する他の移動体の、該移動体との間の距離、及び、相対速度を検出する移動体検出手段を備え、
前記第２画像生成手段は、前記補正対象画像及び前記所定個数の第１画像に含まれる他の移動体に関して、前記所定個数の第１画像に含まれる他の移動体の位置を、前記移動体検出手段によって検出された該移動体との間の距離、及び、相対速度に基づいて補正して、補正後の画像である第２画像を生成する、請求項１に記載の画像処理装置。
【請求項１１】
前記移動体は、車両である、請求項１に記載の画像処理装置。
【請求項１２】
前記移動状態検出手段は、更に、該車両のピッチ角、ロール角、及び、ヨー角の少なくとも１つを検出する、請求項１１に記載の画像処理装置。
【請求項１３】
車両に搭載され、運転者に対して運転操作を支援する情報である運転支援情報を出力する運転支援装置であって、
請求項１１に記載の画像処理装置と、
前記画像処理装置によって補正された補正対象画像に基づいて、前記運転支援情報を出力する情報出力手段と、を備える、運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３９６２（Ｐ２０１１−２３９６２Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６７０２１（Ｐ２００９−１６７０２１）
【出願日】平成２１年７月１５日（２００９．７．１５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１５日（２００９．７．１５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]