車両用撮像装置
【課題】演算負荷が増大することを防止しつつ消失点の検出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なう。
【解決手段】車両用撮像装置１０は、車載カメラ１１から出力された撮像画像においてオプティカルフローを演算するオプティカルフロー演算部２１と、オプティカルフローに基づき車載カメラ１１の光軸を補正する光軸補正部２６と、オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出部２２と、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域を抽出する画像領域抽出部２３と、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づきオプティカルフローの消失点を算出する消失点算出部２５とを備え、光軸補正部２６は、消失点に基づき車載カメラ１１の光軸を補正する。
【解決手段】車両用撮像装置１０は、車載カメラ１１から出力された撮像画像においてオプティカルフローを演算するオプティカルフロー演算部２１と、オプティカルフローに基づき車載カメラ１１の光軸を補正する光軸補正部２６と、オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出部２２と、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域を抽出する画像領域抽出部２３と、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づきオプティカルフローの消失点を算出する消失点算出部２５とを備え、光軸補正部２６は、消失点に基づき車載カメラ１１の光軸を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両用撮像装置に関する。
【背景技術】
【０００２】
従来、例えば車両の走行路の曲率と、車両に搭載されて車外を撮像する撮像手段により得られた撮像画像に基づき検出した走行路の走行区分線に対する車両の位置とに基づき、撮像画像上の消失点を算出し、この消失点に基づき撮像手段の姿勢（例えば、光軸など）に係る変数を補正する位置検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２５９９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る位置検出装置によれば、撮像画像から検出される走行路上の左右の各走行区分線による走行区分線モデルの交点を消失点としており、例えば撮像手段の分解能が低い場合などにおいては、消失点付近での検出結果の誤差が増大し、消失点の検出精度を向上させることが困難であるというという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、演算負荷が増大することを防止しつつ消失点の検出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことが可能な車両用撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両用撮像装置は、車両の外界を撮像して得た撮像画像を出力する車載撮像手段（例えば、実施の形態での車載カメラ１１）と、前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段（例えば、実施の形態でのオプティカルフロー演算部２１）と、前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段（例えば、実施の形態での光軸補正部２６）とを備える車両用撮像装置であって、前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段（例えば、実施の形態でのＸＹ成分算出部２２）と、前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出する領域抽出手段（例えば、実施の形態での画像領域抽出部２３）と、前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段（例えば、実施の形態での消失点算出部２５）とを備え、前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正する。
【０００７】
さらに、本発明の第２態様に係る車両用撮像装置では、前記消失点算出手段は、前記画像領域以外の領域のＸ方向の中心位置またはＹ方向の中心位置を前記消失点とする。
【０００８】
さらに、本発明の第３態様に係る車両用撮像装置は、車両の速度を検出する速度検出手段（例えば、実施の形態での速度検出部２４）を備え、前記領域抽出手段は、前記速度検出手段により検出される前記速度が低下することに伴い、前記所定閾値が増大傾向に変化するように設定する。
【発明の効果】
【０００９】
本発明の第１態様に係る車両用撮像装置によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば撮像手段の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。
【００１０】
さらに、本発明の第２態様に係る車両用撮像装置によれば、消失点の算出に要する演算負荷が増大することを防止しつつ消失点の算出精度を向上させることができる。
【００１１】
さらに、本発明の第３態様に係る車両用撮像装置によれば、オプティカルフローの大きさおよび演算結果の信頼性は車両の速度に応じて変化し、速度が低下することに伴い、オプティカルフローの大きさおよび演算結果の信頼性は低下する。このため、速度が低下することに伴い、消失点の算出に用いられる画像領域を抽出するときに参照される所定閾値を増大傾向（つまり、抽出が厳しくなるよう）に変化させることで、消失点の算出精度が低下してしまうことを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る車両用撮像装置の構成図である。
【図２】本発明の実施の形態に係る車両用撮像装置の画像データでのオプティカルフローのＹ成分の例を示す図である。
【図３】本発明の実施の形態に係る車両用撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る車両用撮像装置について添付図面を参照しながら説明する。
本実施の形態による車両用撮像装置１０は、例えば図１に示すように、車載カメラ１１と、車両状態センサ１２と、処理装置１３とを備えて構成されている。
さらに、処理装置１３は、例えばオプティカルフロー演算部２１と、ＸＹ成分算出部２２と、画像領域抽出部２３と、速度検出部２４と、消失点算出部２５と、光軸補正部２６とを備えて構成されている。
【００１４】
車載カメラ１１は、例えば車両の進行方向前方の所定撮像領域を撮像可能であって、撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像のデータを生成して処理装置１３へ出力する。
【００１５】
車両状態センサ１２は、例えば、車両の駆動輪の回転速度（車輪速）を検出する車輪速センサと、車体に作用する加速度を検知する加速度センサと、車体の姿勢や進行方向を検知するジャイロセンサと、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検知するヨーレートセンサとなどを備えて構成され、各種の車両状態の検知結果の信号を出力する。
【００１６】
オプティカルフロー演算部２１は、車載カメラ１１から出力される時系列での画像データに基づき、所定の特徴点を抽出し、特徴点の移動の時間変化から、例えば車両の外界の物体の速度と車載カメラ１１の速度とに応じた速度場のベクトル集合からなるオプティカルフローを演算する。
【００１７】
ＸＹ成分算出部２２は、画像データ上で直交するＸ方向（例えば、上下方向）およびＹ方向（例えば、左右方向）に対して、オプティカルフロー演算部２１により演算されたオプティカルフローのＸ成分およびＹ成分を算出する。
【００１８】
画像領域抽出部２３は、ＸＹ成分算出部２２により算出されたオプティカルフローの少なくともＸ成分またはＹ成分の大きさが所定閾値以上である画像領域を画像データから抽出する。
この所定閾値は、例えばオプティカルフローのＸ成分またはＹ成分の大きさが、所定値未満の誤差で演算された値となることを判定するための閾値であって、車両の速度（車速）に応じて変化し、例えば車速が低下することに伴い、増大傾向に変化するように設定されている。なお、車速の信号は、例えば車両状態センサ１２から出力される信号に基づき車両の速度（車速）を検出する速度検出部２４から出力される。
例えば図２に示す画像データＰにおいては、オプティカルフローのＹ成分Ｆｙの大きさが所定閾値以上である画像領域αが抽出され、これに伴い、画像領域α以外の領域βが画像データＰ上に規定される。
【００１９】
消失点算出部２５は、画像領域抽出部２３により抽出された画像領域に基づき、この画像領域以外の領域の少なくともＸ方向の中心位置またはＹ方向の中心位置（例えば、Ｘ方向およびＹ方向の中心位置）を消失点とする。
例えば図２に示す画像データＰにおいては、オプティカルフローのＹ成分Ｆｙの大きさが所定閾値以上である画像領域α以外の領域βのＸ方向およびＹ方向の中心位置Ｏが消失点とされる。
【００２０】
光軸補正部２６は、消失点算出部２５により算出された消失点に基づき、車載カメラ１１の光軸のずれを補正するための補正量（光軸補正量）を算出し、この光軸補正量に応じた光軸補正の実行を指示する指令信号を出力する。
なお、光軸補正部２６は、例えば順次繰り返す算出処理による光軸補正量の今回値および前回値が連続して所定値よりも大きい場合には、車載カメラ１１の光軸のずれを精度よく補正することが困難であると判断して、光軸補正量に応じた光軸補正の実行を指示する指令信号の出力を停止する。
【００２１】
本実施の形態による車両用撮像装置１０は上記構成を備えており、次に、この車両用撮像装置１０の動作について説明する。
【００２２】
先ず、図３に示すステップＳ０１においては、車載カメラ１１から出力される画像データを取得し、車両状態センサ１２から出力される信号に基づき車両の速度（車速）を検出する。
次に、ステップＳ０２においては、時系列での画像データに基づきオプティカルフローを演算する。
【００２３】
次に、ステップＳ０３においては、画像データ上で直交するＸ方向（例えば、上下方向）およびＹ方向（例えば、左右方向）に対するオプティカルフローのＸ成分およびＹ成分の少なくとも何れかの大きさが所定閾値以上である画像領域を画像データから抽出する。
次に、ステップＳ０４においては、抽出された画像領域に基づき、この画像領域以外の領域の少なくともＸ方向の中心位置またはＹ方向の中心位置（例えば、Ｘ方向およびＹ方向の中心位置）を消失点とする。
【００２４】
次に、ステップＳ０５においては、消失点に基づき、車載カメラ１１の光軸のずれを補正するための補正量（光軸補正量）を算出する。
次に、ステップＳ０６においては、光軸補正量の今回値および前回値が連続して所定値よりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０７に進む。
そして、ステップＳ０７においては、光軸補正量に応じた光軸補正を実行し、エンドに進む。
【００２５】
上述したように、本実施の形態による車両用撮像装置１０によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば車載カメラ１１の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。
【００２６】
さらに、消失点の算出に要する演算負荷が増大することを防止しつつ消失点の算出精度を向上させることができる。
さらに、オプティカルフローの大きさおよび演算結果の信頼性は車両の速度に応じて変化し、速度が低下することに伴い、オプティカルフローの大きさおよび演算結果の信頼性は低下する。このため、速度が低下することに伴い、消失点の算出に用いられる画像領域を抽出するときに参照される所定閾値を増大傾向（つまり、抽出が厳しくなるよう）に変化させることで、消失点の算出精度が低下してしまうことを防止することができる。
【００２７】
なお、例えば車輪速などから算出される自車両の速度の変化が所定変化以下、かつ自車両のヨーレートが所定値以下である場合のように、自車両の走行挙動が安定した状態において、一部のオプティカルフローのみの方向や大きさが、他のオプティカルフローの方向や大きさと異なる場合には、この一部のオプティカルフローが移動体によるものである可能性が高いと判断して、この一部のオプティカルフローを画像領域抽出部２３による画像領域の抽出処理の対象外としてもよい。
【００２８】
なお、オプティカルフローの大きさは、画像データの画面中心部で最小となり、この画面中心部から左右方向に離間することに伴い２次関数的に増大する。このため、予め自車両の速度に応じたオプティカルフローの大きさの変化を示すマップなどを作成して記憶しておき、このマップに対する自車両の速度に基づくマップ検索によりオプティカルフローの大きさの予測値を算出し、この予測値から所定範囲を超えて逸脱する大きさのオプティカルフローを画像領域抽出部２３による画像領域の抽出処理の対象外としてもよい。
【符号の説明】
【００２９】
１０ 車両用撮像装置
１１ 車載カメラ（車載撮像手段）
２１ オプティカルフロー演算部（演算手段）
２２ ＸＹ成分算出部（ＸＹ成分算出手段）
２３ 画像領域抽出部（領域抽出手段）
２４ 速度検出部（速度検出手段）
２５ 消失点算出部（消失点算出手段）
２６ 光軸補正部（補正手段）
【技術分野】
【０００１】
この発明は、車両用撮像装置に関する。
【背景技術】
【０００２】
従来、例えば車両の走行路の曲率と、車両に搭載されて車外を撮像する撮像手段により得られた撮像画像に基づき検出した走行路の走行区分線に対する車両の位置とに基づき、撮像画像上の消失点を算出し、この消失点に基づき撮像手段の姿勢（例えば、光軸など）に係る変数を補正する位置検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２５９９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る位置検出装置によれば、撮像画像から検出される走行路上の左右の各走行区分線による走行区分線モデルの交点を消失点としており、例えば撮像手段の分解能が低い場合などにおいては、消失点付近での検出結果の誤差が増大し、消失点の検出精度を向上させることが困難であるというという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、演算負荷が増大することを防止しつつ消失点の検出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことが可能な車両用撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両用撮像装置は、車両の外界を撮像して得た撮像画像を出力する車載撮像手段（例えば、実施の形態での車載カメラ１１）と、前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段（例えば、実施の形態でのオプティカルフロー演算部２１）と、前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段（例えば、実施の形態での光軸補正部２６）とを備える車両用撮像装置であって、前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段（例えば、実施の形態でのＸＹ成分算出部２２）と、前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出する領域抽出手段（例えば、実施の形態での画像領域抽出部２３）と、前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段（例えば、実施の形態での消失点算出部２５）とを備え、前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正する。
【０００７】
さらに、本発明の第２態様に係る車両用撮像装置では、前記消失点算出手段は、前記画像領域以外の領域のＸ方向の中心位置またはＹ方向の中心位置を前記消失点とする。
【０００８】
さらに、本発明の第３態様に係る車両用撮像装置は、車両の速度を検出する速度検出手段（例えば、実施の形態での速度検出部２４）を備え、前記領域抽出手段は、前記速度検出手段により検出される前記速度が低下することに伴い、前記所定閾値が増大傾向に変化するように設定する。
【発明の効果】
【０００９】
本発明の第１態様に係る車両用撮像装置によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば撮像手段の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。
【００１０】
さらに、本発明の第２態様に係る車両用撮像装置によれば、消失点の算出に要する演算負荷が増大することを防止しつつ消失点の算出精度を向上させることができる。
【００１１】
さらに、本発明の第３態様に係る車両用撮像装置によれば、オプティカルフローの大きさおよび演算結果の信頼性は車両の速度に応じて変化し、速度が低下することに伴い、オプティカルフローの大きさおよび演算結果の信頼性は低下する。このため、速度が低下することに伴い、消失点の算出に用いられる画像領域を抽出するときに参照される所定閾値を増大傾向（つまり、抽出が厳しくなるよう）に変化させることで、消失点の算出精度が低下してしまうことを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る車両用撮像装置の構成図である。
【図２】本発明の実施の形態に係る車両用撮像装置の画像データでのオプティカルフローのＹ成分の例を示す図である。
【図３】本発明の実施の形態に係る車両用撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る車両用撮像装置について添付図面を参照しながら説明する。
本実施の形態による車両用撮像装置１０は、例えば図１に示すように、車載カメラ１１と、車両状態センサ１２と、処理装置１３とを備えて構成されている。
さらに、処理装置１３は、例えばオプティカルフロー演算部２１と、ＸＹ成分算出部２２と、画像領域抽出部２３と、速度検出部２４と、消失点算出部２５と、光軸補正部２６とを備えて構成されている。
【００１４】
車載カメラ１１は、例えば車両の進行方向前方の所定撮像領域を撮像可能であって、撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像のデータを生成して処理装置１３へ出力する。
【００１５】
車両状態センサ１２は、例えば、車両の駆動輪の回転速度（車輪速）を検出する車輪速センサと、車体に作用する加速度を検知する加速度センサと、車体の姿勢や進行方向を検知するジャイロセンサと、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検知するヨーレートセンサとなどを備えて構成され、各種の車両状態の検知結果の信号を出力する。
【００１６】
オプティカルフロー演算部２１は、車載カメラ１１から出力される時系列での画像データに基づき、所定の特徴点を抽出し、特徴点の移動の時間変化から、例えば車両の外界の物体の速度と車載カメラ１１の速度とに応じた速度場のベクトル集合からなるオプティカルフローを演算する。
【００１７】
ＸＹ成分算出部２２は、画像データ上で直交するＸ方向（例えば、上下方向）およびＹ方向（例えば、左右方向）に対して、オプティカルフロー演算部２１により演算されたオプティカルフローのＸ成分およびＹ成分を算出する。
【００１８】
画像領域抽出部２３は、ＸＹ成分算出部２２により算出されたオプティカルフローの少なくともＸ成分またはＹ成分の大きさが所定閾値以上である画像領域を画像データから抽出する。
この所定閾値は、例えばオプティカルフローのＸ成分またはＹ成分の大きさが、所定値未満の誤差で演算された値となることを判定するための閾値であって、車両の速度（車速）に応じて変化し、例えば車速が低下することに伴い、増大傾向に変化するように設定されている。なお、車速の信号は、例えば車両状態センサ１２から出力される信号に基づき車両の速度（車速）を検出する速度検出部２４から出力される。
例えば図２に示す画像データＰにおいては、オプティカルフローのＹ成分Ｆｙの大きさが所定閾値以上である画像領域αが抽出され、これに伴い、画像領域α以外の領域βが画像データＰ上に規定される。
【００１９】
消失点算出部２５は、画像領域抽出部２３により抽出された画像領域に基づき、この画像領域以外の領域の少なくともＸ方向の中心位置またはＹ方向の中心位置（例えば、Ｘ方向およびＹ方向の中心位置）を消失点とする。
例えば図２に示す画像データＰにおいては、オプティカルフローのＹ成分Ｆｙの大きさが所定閾値以上である画像領域α以外の領域βのＸ方向およびＹ方向の中心位置Ｏが消失点とされる。
【００２０】
光軸補正部２６は、消失点算出部２５により算出された消失点に基づき、車載カメラ１１の光軸のずれを補正するための補正量（光軸補正量）を算出し、この光軸補正量に応じた光軸補正の実行を指示する指令信号を出力する。
なお、光軸補正部２６は、例えば順次繰り返す算出処理による光軸補正量の今回値および前回値が連続して所定値よりも大きい場合には、車載カメラ１１の光軸のずれを精度よく補正することが困難であると判断して、光軸補正量に応じた光軸補正の実行を指示する指令信号の出力を停止する。
【００２１】
本実施の形態による車両用撮像装置１０は上記構成を備えており、次に、この車両用撮像装置１０の動作について説明する。
【００２２】
先ず、図３に示すステップＳ０１においては、車載カメラ１１から出力される画像データを取得し、車両状態センサ１２から出力される信号に基づき車両の速度（車速）を検出する。
次に、ステップＳ０２においては、時系列での画像データに基づきオプティカルフローを演算する。
【００２３】
次に、ステップＳ０３においては、画像データ上で直交するＸ方向（例えば、上下方向）およびＹ方向（例えば、左右方向）に対するオプティカルフローのＸ成分およびＹ成分の少なくとも何れかの大きさが所定閾値以上である画像領域を画像データから抽出する。
次に、ステップＳ０４においては、抽出された画像領域に基づき、この画像領域以外の領域の少なくともＸ方向の中心位置またはＹ方向の中心位置（例えば、Ｘ方向およびＹ方向の中心位置）を消失点とする。
【００２４】
次に、ステップＳ０５においては、消失点に基づき、車載カメラ１１の光軸のずれを補正するための補正量（光軸補正量）を算出する。
次に、ステップＳ０６においては、光軸補正量の今回値および前回値が連続して所定値よりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０７に進む。
そして、ステップＳ０７においては、光軸補正量に応じた光軸補正を実行し、エンドに進む。
【００２５】
上述したように、本実施の形態による車両用撮像装置１０によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば車載カメラ１１の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。
【００２６】
さらに、消失点の算出に要する演算負荷が増大することを防止しつつ消失点の算出精度を向上させることができる。
さらに、オプティカルフローの大きさおよび演算結果の信頼性は車両の速度に応じて変化し、速度が低下することに伴い、オプティカルフローの大きさおよび演算結果の信頼性は低下する。このため、速度が低下することに伴い、消失点の算出に用いられる画像領域を抽出するときに参照される所定閾値を増大傾向（つまり、抽出が厳しくなるよう）に変化させることで、消失点の算出精度が低下してしまうことを防止することができる。
【００２７】
なお、例えば車輪速などから算出される自車両の速度の変化が所定変化以下、かつ自車両のヨーレートが所定値以下である場合のように、自車両の走行挙動が安定した状態において、一部のオプティカルフローのみの方向や大きさが、他のオプティカルフローの方向や大きさと異なる場合には、この一部のオプティカルフローが移動体によるものである可能性が高いと判断して、この一部のオプティカルフローを画像領域抽出部２３による画像領域の抽出処理の対象外としてもよい。
【００２８】
なお、オプティカルフローの大きさは、画像データの画面中心部で最小となり、この画面中心部から左右方向に離間することに伴い２次関数的に増大する。このため、予め自車両の速度に応じたオプティカルフローの大きさの変化を示すマップなどを作成して記憶しておき、このマップに対する自車両の速度に基づくマップ検索によりオプティカルフローの大きさの予測値を算出し、この予測値から所定範囲を超えて逸脱する大きさのオプティカルフローを画像領域抽出部２３による画像領域の抽出処理の対象外としてもよい。
【符号の説明】
【００２９】
１０ 車両用撮像装置
１１ 車載カメラ（車載撮像手段）
２１ オプティカルフロー演算部（演算手段）
２２ ＸＹ成分算出部（ＸＹ成分算出手段）
２３ 画像領域抽出部（領域抽出手段）
２４ 速度検出部（速度検出手段）
２５ 消失点算出部（消失点算出手段）
２６ 光軸補正部（補正手段）
【特許請求の範囲】
【請求項１】
車両の外界を撮像して得た撮像画像を出力する車載撮像手段と、
前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段と、
前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段とを備える車両用撮像装置であって、
前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段と、
前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段とを備え、
前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正することを特徴とする車両用撮像装置。
【請求項２】
前記消失点算出手段は、前記画像領域以外の領域のＸ方向の中心位置またはＹ方向の中心位置を前記消失点とすることを特徴とする請求項１に記載の車両用撮像装置。
【請求項３】
車両の速度を検出する速度検出手段を備え、
前記領域抽出手段は、前記速度検出手段により検出される前記速度が低下することに伴い、前記所定閾値が増大傾向に変化するように設定することを特徴とする請求項１に記載の車両用撮像装置。
【請求項１】
車両の外界を撮像して得た撮像画像を出力する車載撮像手段と、
前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段と、
前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段とを備える車両用撮像装置であって、
前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段と、
前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段とを備え、
前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正することを特徴とする車両用撮像装置。
【請求項２】
前記消失点算出手段は、前記画像領域以外の領域のＸ方向の中心位置またはＹ方向の中心位置を前記消失点とすることを特徴とする請求項１に記載の車両用撮像装置。
【請求項３】
車両の速度を検出する速度検出手段を備え、
前記領域抽出手段は、前記速度検出手段により検出される前記速度が低下することに伴い、前記所定閾値が増大傾向に変化するように設定することを特徴とする請求項１に記載の車両用撮像装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−５５３４２（Ｐ２０１１−５５３４２Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０３６８７（Ｐ２００９−２０３６８７）
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]