操縦支援装置
【構成】カメラＣ＿３は、車両に設けられて斜め上方向から地面を捉える。ＣＰＵ１６は、カメラＣ＿３から出力された被写界像Ｐ＿３を地面に対する鳥瞰画像に変換し、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を鳥瞰画像から探索する。発見された線画像に現われた複数の線の平行性がエラー条件に合致する場合、ＣＰＵ１６は、バックギアの選択に応答して表示装置２２に表示されるキャラクタ画像を点滅させる。
【効果】鳥瞰変換特性の異常に起因する事故を抑制することできる。
【効果】鳥瞰変換特性の異常に起因する事故を抑制することできる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、車両に設けられたカメラから出力された被写界像に基づいて車両の操縦を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、ＬＫＡ用ＥＣＵは、前方カメラの撮像画像から道路区画線を認識して目標軌跡を生成し、ステアリング装置に目標操舵角を送信する。ステアリング装置のコントローラは、操舵角が目標操舵角に近づくようにアシストモータを制御する。こうして、認識された道路区画線に基づく自動操舵制御が実現される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−４９９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、カメラの撮像画像が鳥瞰画像に変換されることはなく、車両の操舵が鳥瞰画像に基づいて支援されることもない。
【０００５】
それゆえに、この発明の主たる目的は、鳥瞰画像に基づく操縦支援性能を向上させることができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、車両(100)に設けられて斜め上方向から地面を捉えるカメラ(C_3)、カメラから出力された被写界像を地面に対する鳥瞰画像に変換する変換手段(S3~S5)、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を変換手段によって変換された鳥瞰画像から探索する第１探索手段(S51~S57)、および第１探索手段によって発見された線画像に現われた複数の線の平行性がエラー条件に合致する場合にドライバに向けて報知を発生する報知手段(S19, S23)を備える。
【０００７】
好ましくは、第１探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する第１検出手段(S59, S81~S87)、第１検出手段によって注目された複数の線の平行性を表す係数を第１検出手段によって検出された座標に基づいて算出する算出手段(S89~S91, S61~S63)、および算出手段によって算出された係数がエラー条件に合致するか否かを判別する判別手段(S69)がさらに備えられる。
【０００８】
好ましくは、変換手段によって変換された鳥瞰画像を運転席に設けられたモニタ(24)に表示する画像表示手段(S13)がさらに備えられ、報知手段は車両の後進に対応して報知をモニタに表示する報知表示手段(S23)を含む。
【０００９】
好ましくは、第１探索手段によって探索される線画像は車両の幅よりも大きい間隔で地面に描かれた直線を表す画像に相当する。
【００１０】
好ましくは、車両が第１閾値を上回る距離を有する直線道路を第２閾値を上回る速度で移動するときに第１探索手段を起動する制御手段(S35~S47)がさらに備えられる。
【００１１】
好ましくは、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を変換手段によって変換された鳥瞰画像から探索する第２探索手段(S105~S111)、変換特性調整指示を受け付けたとき変換手段の変換特性を繰り返し変更する変更手段(S125, S145)、第２探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する検出処理を変更手段の変更処理と並列して実行する第２検出手段(S119, S139, S81~S87)、および第２検出手段によって検出された座標に基づいて変換手段の変換特性を調整する調整手段(S133, S151)がさらに備えられる。
【発明の効果】
【００１２】
線画像は、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す画像に相当し、斜め上方向から地面を捉えるカメラの出力に基づく鳥瞰画像から探索される。したがって、車幅方向における線画像の歪みは、鳥瞰変換特性の異常に起因するものと考えられる。このような歪みが生じた場合にドライバに向けて報知を発生することで、鳥瞰変換特性の異常に起因する事故を抑制することできる。こうして、鳥瞰画像に基づく操縦支援性能が向上する。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例が搭載された車両の一例を示す斜視図である。
【図４】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図５】カメラの出力に基づく鳥瞰画像の作成動作の一部を示す図解図である。
【図６】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図７】駐車枠へ駐車するときに表示される運転支援画像の一例を示す図解図である。
【図８】車両に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】車両が路面を走行する状態の一例を示す図解図である。
【図１１】鳥瞰画像に現われた白線の歪みの一例を示す図解図である。
【図１２】（Ａ）は白線検知エリアＤＴ１における白線画像の分布の一例を示すグラフであり、（Ｂ）は白線検知エリアＤＴ２における白線画像の分布の一例を示すグラフである。
【図１３】鳥瞰画像に現われた白線の歪みの他の一例を示す図解図である。
【図１４】（Ａ）は白線検知エリアＤＴ１における白線画像の分布の他の一例を示すグラフであり、（Ｂ）は白線検知エリアＤＴ２における白線画像の分布の他の一例を示すグラフである。
【図１５】駐車枠へ駐車するときに表示される運転支援画像の他の一例を示す図解図である。
【図１６】駐車枠へ駐車するときに表示される運転支援画像のその他の一例を示す図解図である。
【図１７】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２５】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２６】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１６】
図１を参照して、この発明の操縦支援装置は、基本的に次のように構成される。カメラ１は、車両に設けられて斜め上方向から地面を捉える。変換手段２は、カメラ１から出力された被写界像を地面に対する鳥瞰画像に変換する。第１探索手段３は、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を変換手段２によって変換された鳥瞰画像から探索する。報知手段４は、第１探索手段３によって発見された線画像の平行性がエラー条件に合致する場合にドライバに向けて報知を発生する。
【００１７】
線画像は、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す画像に相当し、斜め上方向から地面を捉えるカメラ１の出力に基づく鳥瞰画像から探索される。したがって、車幅方向における線画像の歪みは、鳥瞰変換特性の異常に起因するものと考えられる。このような歪みが生じた場合にドライバに向けて報知を発生することで、鳥瞰変換特性の異常に起因する事故を抑制することできる。こうして、鳥瞰画像に基づく操縦支援性能が向上する。
［実施例］
【００１８】
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通の垂直同期信号Ｖｓｙｎｃに応答して、被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２に与えられる。なお、この実施例では、説明を簡単にするため、垂直同期信号ＶｓｙｎｃはカメラＣ＿１〜Ｃ＿４および画像処理回路１２の画像出力で同一としている。
【００１９】
図３を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前上側部に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右上側部に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後上側部に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左上側部に設置される。車両１００の周辺の被写界は、このようなカメラＣ＿１〜Ｃ＿４によって、地面に斜めに交差する方向から捉えられる。
【００２０】
図４に示すように、カメラＣ＿１は車両１００の前方向を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方向を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。なお、視野ＶＷ＿１およびＶＷ＿２は共通視野ＣＶＷ＿１を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＣＶＷ＿２を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＣＶＷ＿３を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＣＶＷ＿４を有する。
【００２１】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１６は、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図５に示す鳥瞰画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１６はまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて鳥瞰画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿４を生成する。
【００２２】
図５から分かるように、鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２３】
また、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。生成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１４のワークエリア１４ｗに保持される。
【００２４】
ＣＰＵ１６は続いて、切り出し線ＣＴ＿１〜ＣＴ＿４を鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４上で定義し、定義された切り出し線ＣＴ＿１〜ＣＴ＿４よりも内側に存在する一部の画像を合成して全周鳥瞰画像を作成し、そして車両１００の上部を模した車両画像ＧＬ１を全周鳥瞰画像の中央に貼り付ける。こうして、図６に示す運転支援画像ＡＲＶがワークエリア１４ｗ上で完成する。
【００２５】
車両１００の移動速度は、センサ２６によって検出される。検出された移動速度が閾値ＴＨ１を下回るとき、ＣＰＵ１６は、垂直同期信号Ｖｓｙｎｃが発生する毎に表示装置２２に対して表示命令を発行する。表示装置２２は、運転支援画像ＡＲＶをワークエリア１４ｗから読み出し、読み出された運転支援画像ＡＲＶをモニタ画面に表示する。表示装置２２は運転席に設定され、ドライバは目視で周囲をチェックするとともに表示装置２２の表示を参照しつつハンドルを操作する。
【００２６】
ＣＰＵ１６はまた、バックギアの選択に備えて、既定の形状を有する駐車支援のためのキャラクタ画像ＫＧ１をワークエリア１４ｗに展開する。ギアの状態およびハンドル角は、センサ２６によって検出される。バックギアが選択されると、ＣＰＵ１６は、ワークエリア１４ｗに展開されたキャラクタ画像ＫＧ１の形状を現時点のハンドル角に適合するように調整する。
【００２７】
ＣＰＵ１６は、このようなキャラクタ画像ＫＧ１を表示するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に表示装置２２に対して表示命令を発行する。表示装置２２は、調整された形状を有するキャラクタ画像ＫＧ１をワークエリア１４ｗから読み出し、読み出されたキャラクタ画像ＫＧ１を運転支援画像ＡＲＶに多重する。したがって、車両１００を駐車場の地面に描かれた駐車枠ＰＫ１に駐車するとき、キャラクタ画像ＫＧ１は図７に示す要領で運転支援画像ＡＲＶに多重表示される。
【００２８】
次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ＿３の作成要領を説明する。
【００２９】
図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３０】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３１】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ＿３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３２】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３３】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
【００３５】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
【００３６】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元路面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
【００３７】
また、図５に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００３８】
地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
【００３９】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
【数６】
【数７】
【００４０】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ＿３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
【００４１】
上述のように、鳥瞰変換処理においては、カメラＣ＿３の俯角θｄが参照される。したがって、振動などに起因してカメラＣ＿３の向きがずれると、鳥瞰画像ＢＥＶ＿３に歪みが生じる。たとえば、図１０に示す要領で路面に描かれたレーンマーカＬＭ１およびＬＭ２の間を車両１００が走行することを想定したとき、カメラＣ＿３の俯角が上述の演算で参照される“θｄ”と相違すると、レーンマーカＬＭ１およびＬＭ２を表す直線が図１１に示す要領で歪む。
【００４２】
また、カメラＣ＿３の俯角が“θｄ”の値と一致していても、カメラＣ＿３の水平角θｈが適正値からずれると、鳥瞰画像ＢＥＶ＿３ひいてはレーンマーカＬＭ１およびＬＭ２を表す直線が図１３に示す要領で歪む。
【００４３】
このような歪みを有したまま駐車枠ＰＫ１への駐車を試みると、駐車枠ＰＫ１を表す直線は、俯角θｄのずれに起因して図１５に示す要領で歪み、水平角θｈのずれに起因して図１６に示す要領で歪む。そこで、この実施例では、車両１００の前後方向に延びる直線を表す線画像を以下の要領で検出し、検出された線画像の平行性がエラー条件に合致する場合にバックギアの選択に応答して報知を発生するようにしている。
【００４４】
具体的にはまず、ＧＰＳ装置１８の出力に基づいて現在位置が検出され、検出された現在位置の周辺の地図情報がデータベース２０から読み出される。現在位置が直線道路上であれば、現在位置から直線道路の終端までの距離が“ＤＬ”として測定され、現在の移動速度がセンサ２６を通して検出される。
【００４５】
距離ＤＬが閾値ＴＨ２を上回り、かつ移動速度が閾値ＴＨ３を上回れば、車両１００の前後方向に延びる白線（＝レーンマーカ）がワークエリア１４ｗに保持された鳥瞰画像ＢＥＶ＿３から探索される。白線の探索にあたっては、図１１または図１３に示す白線検知エリアＤＴ１およびＤＴ２に属する部分画像が注目される。
【００４６】
白線を探索する方法は、ハフ変換を用いた方法など各種あるが、最も簡単な実現方法の概略は以下のとおりである。白線検知エリアＤＴ１またはＤＴ２の長さ方向（車幅方向）において異なる複数の位置の各々で白線検知エリアＤＴ１またはＤＴ２の幅方向（車長方向）に並ぶ複数の画素の輝度値を積算すると、白線画像の輝度の高さに起因して、白線の位置にピークが出現する。
【００４７】
白線画像が図１１に示す要領で再現された場合、ピークは図１２（Ａ）または図１２（Ｂ）に示す要領で出現する。また、白線画像が図１３に示す要領で再現された場合、ピークは図１４（Ａ）または図１４（Ｂ）に示す要領で出現する。したがって、輝度積算値に対して適切な閾値を設定することで、白線の位置を検出することができる。
【００４８】
２本の白線が発見されると、左側の白線の歪みを“ΔＤＬ”として算出し、かつ右側の白線の歪みを“ΔＤＲ”として算出するべく、図１１または図１３に示す白線検知エリアＤＴ１およびＤＴ２に注目した白線解析処理が実行される。
【００４９】
白線解析処理では、白線検知エリアＤＴ１に現れた左側白線（左側ピーク）のＸ座標が“ＸＬ１”として検出され、白線検知エリアＤＴ１に現れた右側白線（右側ピーク）のＸ座標が“ＸＲ１”として検出される。また、白線検知エリアＤＴ２に現れた左側白線（左側ピーク）のＸ座標が“ＸＬ２”として検出され、白線検知エリアＤＴ２に現れた右側白線（右側ピーク）のＸ座標が“ＸＲ２”として検出される。
【００５０】
鳥瞰画像ＢＥＶ＿３が図１１に示す要領で作成された場合、Ｘ座標ＸＬ１およびＸＲ１は図１２（Ａ）に示す要領で検出され、Ｘ座標ＸＬ２およびＸＲ２は図１２（Ｂ）に示す要領で検出される。また、鳥瞰画像ＢＥＶ＿３が図１２に示す要領で作成された場合、Ｘ座標ＸＬ１およびＸＲ１は図１３（Ａ）に示す要領で検出され、Ｘ座標ＸＬ２およびＸＲ２は図１３（Ｂ）に示す要領で検出される。
【００５１】
歪みΔＬは、Ｘ座標ＸＬ１からＸ座標ＸＬ２を減算することで算出される。また、歪みΔＲは、Ｘ座標ＸＲ１からＸ座標ＸＲ２を減算することで検出される。
【００５２】
白線解析処理が完了すると、歪みΔＤＬの絶対値と歪みΔＤＲの絶対値との加算値が“ＤＰ”として算出される。加算値ＤＰの算出処理はＮｍａｘ回繰り返され、Ｎｍａｘ個の加算値ＤＰの積算値が“ＴＤＰ”として算出される。積算値ＴＤＰの絶対値は、閾値ＴＨ４と比較される。絶対値｜ＴＤＰ｜が閾値ＴＨ４を上回ると、エラー条件が満足されたことを表明するべく、初期状態において“０”を示すフラグＦＬＧａｌｍが“１”に変更される。
【００５３】
バックギアが選択されると、このフラグＦＬＧａｌｍの状態が判別される。フラグＦＬＧａｌｍが“０”であれば、駐車を支援するためのキャラクタ画像ＫＧ１が連続的に表示される。これに対して、フラグＦＬＧａｌｍが“１”であれば、キャラクタ画像ＫＧ１は点滅表示される。ドライバは、キャラクタ画像ＫＧ１の点滅によって鳥瞰変換特性に異常があることを認識する。
【００５４】
図１５または図１６に示す要領で車両１００を駐車枠ＰＫ１に駐車させた状態でドライバによって校正操作が行われると、鳥瞰変換特性の校正処理が以下の要領で実行される。
【００５５】
まず、ワークエリア１４ｗに保持された鳥瞰画像ＢＥＶ＿３から上述の要領で白線（＝駐車枠）が探索される。２本の白線が発見されると、上述と同様の白線解析処理が行われる。これによって、左側の白線の歪みが“ΔＤＬ”として算出され、右側の白線の歪みが“ΔＤＲ”として算出される。白線解析処理が完了すると、歪みΔＤＬおよびΔＤＲの間の差分絶対値が“ＤＭ”として算出される。
【００５６】
俯角θｄは初期値〜既定値の範囲で角度Δθずつ更新され、差分絶対値ＤＭは互いに異なる複数の角度の各々に対応して算出される。こうして算出された複数の差分絶対値ＤＭ，ＤＭ，…の中から、最小差分絶対値が“ＤＭｍｉｎ”として特定される。特定された最小差分絶対値ＤＭｍｉｎが閾値ＴＨ５を下回れば、最小差分絶対値ＤＭｍｉｎに対応する俯角θｄが保存される。上述の数１，数３，数６および数７の演算にあたっては、保存された俯角θｄが参照される。
【００５７】
俯角θｄの保存が完了すると、白線解析処理が再度実行され、これによって算出された歪みΔＤＬおよびΔＤＲの各々の絶対値の加算値が“ＤＰ”として算出される。カメラＣ＿３の水平角θｈは初期値〜既定値の範囲で角度Δθずつ更新され、加算値ＤＰは互いに異なる複数の角度の各々に対応して算出される。こうして算出された複数の加算値ＤＰ，ＤＰ，…の中から、最小加算値が“ＤＰｍｉｎ”として特定される。特定された最小加算値ＤＰｍｉｎが閾値ＴＨ６を下回れば、最小加算値ＤＰｍｉｎに対応する水平角θｈがカメラＣ＿３に設定される。設定が完了すると、俯角θｄおよび／または水平角θｈの変更が報知され、フラグＦＬＧａｌｍが“０”に戻される。
【００５８】
ＣＰＵ１６は、図１７に示す表示制御タスク，図１８に示す駐車支援タスク，図１９〜図２１に示すエラー検知タスク（図２２に示す白線解析処理を含む），図２３〜図２６に示す校正支援タスク（図２２に示す白線解析処理を含む）を含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ２４に記憶される。
【００５９】
図１７を参照して、ステップＳ１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ３に進み、カメラＣ＿１〜Ｃ＿４から出力された被写界像Ｐ＿１〜Ｐ＿４を取り込む。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４を鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換し、さらに変換された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に基づいて運転支援画像ＡＲＶを作成する。鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４および運転支援画像ＡＲＶのいずれもワークエリア１４ｗに保持される。
【００６０】
ステップＳ７では、車両１００の移動速度をセンサ２６を通して検出し、かつ検出された移動速度が閾値ＴＨ１を下回るか否かを判別する。判別結果がＮＯであればそのままステップＳ１に戻る一方、判別結果がＹＥＳであればステップＳ９を経てステップＳ１に戻る。ステップＳ９では、ステップＳ５で作成された運転支援画像ＡＲＶの表示を表示装置２２に要求する。表示装置２２は、ワークエリア１４ｗに格納された運転支援画像ＡＲＶを読み出し、読み出された運転支援画像ＡＲＶをモニタ画面に表示する。
【００６１】
図１８を参照して、ステップＳ１１では、既定の形状を有する駐車支援のためのキャラクタ画像をワークエリア１４ｗに展開する。ステップＳ１３では、ギアの状態をセンサ２６を通して検出し、かつバックギアが選択されているか否かを判別する。判別結果がＮＯであればステップＳ１３に戻り、判別結果がＹＥＳであればステップＳ１５に進む。ステップＳ１５では、ハンドル角をセンサ２６を通して検出し、ワークエリア１４ｗに展開されたキャラクタ画像の形状を検出されたハンドル角に適合するように調整する。
【００６２】
ステップＳ１７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとフラグＦＬＧａｌｍの状態をステップＳ１９で判別する。フラグＦＬＧａｌｍは、当初“０”に設定され、既定のエラー条件が満足されたときにエラー検知タスクの下で“１”に更新される。
【００６３】
フラグＦＬＧａｌｍが“０”であればステップＳ２１に進み、キャラクタ画像の連続表示を表示装置２２に要求する。ステップＳ１３で調整された形状を有するキャラクタ画像は、表示装置２２によって読み出され、運転支援画像ＡＲＶ上に連続的に多重表示される。ステップＳ２１の処理が完了すると、ステップＳ１３に戻る。
【００６４】
フラグＦＬＧａｌｍが“１”であればステップＳ２３に進み、キャラクタ画像の点滅表示を表示装置２２に要求する。ステップＳ１３で調整された形状を有するキャラクタ画像は、表示装置２２によって読み出され、運転支援画像ＡＲＶ上に点滅態様で多重表示される。ステップＳ２３の処理が完了すると、ステップＳ１３に戻る。
【００６５】
図１９を参照して、ステップＳ３１では積算値ＴＤＰを“０”に設定し、ステップＳ３３では変数Ｎを“１”に設定する。ステップＳ３５ではＧＰＳ装置１８の出力に基づいて現在位置を検出する。ステップＳ３７では検出された現在位置の周辺の地図情報をデータベース２０から読み出し、ステップＳ３９では読み出された地図情報に基づいて現在位置が直線道路上であるか否かを判別する。
【００６６】
判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであればステップＳ４１に進む。ステップＳ４１では現在位置から直線道路の終端までの距離を“ＤＬ”として測定し、ステップＳ４３では測定された距離ＤＬが閾値ＴＨ２を上回るか否かを判別する。判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであればステップＳ４５に進む。
【００６７】
ステップＳ４５ではセンサ２６を通して現在の移動速度を検出し、ステップＳ４７では検出された移動速度が閾値ＴＨ３を上回るか否かを判別する。判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであれば、垂直同期信号Ｖｓｙｎｃの発生を待ってステップＳ４９からステップＳ５１に進む。
【００６８】
ステップＳ５１では、ワークエリア１４ｗに保持された鳥瞰画像ＢＥＶ＿３のうち白線検知エリアＤＴ１に属する部分画像の輝度を積算する。ステップＳ５３では、同じ鳥瞰画像ＢＥＶ＿３のうち白線検知エリアＤＴ２に属する部分画像の輝度を積算する。いずれの積算処理も、車幅方向において異なる複数の位置の各々において車長方向に並ぶ複数の画素の輝度を積算する。
【００６９】
ステップＳ５５では、車幅方向における輝度積算値の分布曲線に少なくとも１つのピークが出現したか否かを判別する。判別結果がＹＥＳであれば、２つのピークが白線検知エリアＤＴ１およびＤＴ２の各々に出現したか否かをステップＳ５７で判別する。ステップＳ５５の判別結果またはステップＳ５７の判別結果がＮＯであればステップＳ３５に戻り、ステップＳ５５の判別結果およびステップＳ５７の判別結果のいずれもがＹＥＳであればステップＳ５９に進む。
【００７０】
ステップＳ５９では、左側の白線の歪みを“ΔＤＬ”として算出し、かつ右側の白線の歪みを“ΔＤＲ”として算出するべく、白線解析処理を実行する。白線解析処理が完了するとステップＳ６１に進み、歪みΔＤＬの絶対値と歪みΔＤＲの絶対値との加算値を“ＤＰ”として算出する。ステップＳ６３では算出された加算値ＤＰを積算値ＴＤＰに積算し、ステップＳ６５では変数Ｎをインクリメントする。
【００７１】
ステップＳ６７では変数Ｎが定数Ｎｍａｘに達したか否かを判別し、判別結果がＮＯであればステップＳ３５に戻る一方、判別結果がＹＥＳであればステップＳ６９に進む。ステップＳ６９では、積算値ＴＤＰの絶対値が閾値ＴＨ４を上回るか否かを判別し、判別結果がＮＯであればステップＳ７３でフラグＦＬＧａｌｍを“０”に設定してから処理を終了する一方、判別結果がＹＥＳであればステップＳ７１でフラグＦＬＧａｌｍを“１”に更新してから処理を終了する。
【００７２】
上述したステップＳ５９ならびに図２４および図２５にそれぞれ示すステップＳ１１９およびＳ１３９の白線解析処理は、図２２に示すサブルーチンに従って実行される。ステップＳ８１では、白線検知エリアＤＴ１に現れた左側白線（左側ピーク）のＸ座標を“ＸＬ１”として検出する。ステップＳ８３では、白線検知エリアＤＴ１に現れた右側白線（右側ピーク）のＸ座標を“ＸＲ１”として検出する。ステップＳ８５では、白線検知エリアＤＴ２に現れた左側白線（左側ピーク）のＸ座標を“ＸＬ２”として検出する。ステップＳ８７では、白線検知エリアＤＴ２に現れた右側白線（右側ピーク）のＸ座標を“ＸＲ２”として検出する。
【００７３】
ステップＳ８９では、Ｘ座標ＸＬ１からＸ座標ＸＬ２を減算して得られる減算値を歪みΔＤＬとして算出する。ステップＳ９１では、Ｘ座標ＸＲ１からＸ座標ＸＲ２を減算して得られる減算値を歪みΔＤＲとして算出する。ステップＳ９１の処理が完了すると、上階層のルーチンに復帰する。
【００７４】
図２３を参照して、ステップＳ１０１では校正操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、垂直同期信号Ｖｓｙｎｃの発生に応答してステップＳ１０３でＹＥＳと判断し、ステップＳ１０５〜Ｓ１１１で上述のステップＳ５１〜Ｓ５７と同様の処理を実行する。ステップＳ１０９の判別結果またはステップＳ１１１の判別結果がＮＯであれば、ステップＳ１１３でエラーを報知し、その後にステップＳ１０３に戻る。ステップＳ１０９の判別結果およびステップＳ１１１の判別結果のいずれもＹＥＳであればステップＳ１１５に進み、上述の数１，数３，数６および数７に影響を与える俯角θｄを初期化する。
【００７５】
ステップＳ１１７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１１９で白線解析処理を実行する。これによって、左側の白線の歪みが“ΔＤＬ”として算出され、右側の白線の歪みが“ΔＤＲ”として算出される。ステップＳ１２１では、歪みΔＤＬおよびΔＤＲの間の差分絶対値を“ＤＭ”として算出する。
【００７６】
ステップＳ１２３では俯角θｄが既定値に達したか否かを判別し、判別結果がＮＯであればステップＳ１２５で俯角θｄを“Δθ”だけ増大させてからステップＳ１１９に戻る。この結果、差分絶対値ＤＭは、初期値〜既定値の範囲において角度Δθを隔てた複数の角度の各々に対応して算出される。ステップＳ１２７では、こうして算出された複数の差分絶対値ＤＭ，ＤＭ，…の中から最小差分絶対値を“ＤＭｍｉｎ”として特定する。
【００７７】
ステップＳ１２９では、特定された最小差分絶対値ＤＭｍｉｎが閾値ＴＨ５を下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１３１でエラーを報知してから処理を終了する。これに対して、判別結果がＹＥＳであればステップＳ１３３に進み、最小差分絶対値ＤＭｍｉｎに対応する俯角θｄを保存する。上述の数１，数３，数６および数７の演算にあたっては、保存された俯角θｄが参照される。
【００７８】
ステップＳ１３５では、水平角θｈを初期化する。ステップＳ１３７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３９で白線解析処理を実行する。これによって、左側の白線の歪みが“ΔＤＬ”として算出され、右側の白線の歪みが“ΔＤＲ”として算出される。ステップＳ１４１では、歪みΔＤＬの絶対値と歪みΔＤＲの絶対値との加算値を“ＤＰ”として算出する。
【００７９】
ステップＳ１４３では水平角θｈが既定値に達したか否かを判別し、判別結果がＮＯであればステップＳ１４５で水平角θｈを“Δθ”だけ増大させてからステップＳ１３９に戻る。この結果、加算値ＤＰは、初期値〜既定値の範囲において角度Δθを隔てた複数の角度の各々に対応して算出される。ステップＳ１４７では、こうして算出された複数の加算値ＤＰ，ＤＰ，…の中から最小加算値を“ＤＰｍｉｎ”として特定する。
【００８０】
ステップＳ１４９では、特定された最小加算値ＤＰｍｉｎが閾値ＴＨ６を下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１５７でエラーを報知してから処理を終了する。これに対して、判別結果がＹＥＳであればステップＳ１５１に進み、最小加算値ＤＰｍｉｎに対応する水平角θｈをカメラＣ＿３に設定する。
【００８１】
ステップＳ１５１の処理が完了すると、ステップＳ１５３で俯角θｄおよび／または水平角θｈの変更を報知し、ステップＳ１５５でフラグＦＬＧａｌｍを“０”に戻し、その後に処理を終了する。
【００８２】
以上の説明から分かるように、カメラＣ＿３は、車両１００に設けられて斜め上方向から地面を捉える。ＣＰＵ１６は、カメラＣ＿３から出力された被写界像Ｐ＿３を地面に対する鳥瞰画像ＢＥＶ＿３に変換し(S3~S5)、車両１００の前後方向の姿勢を定義するべく地面に描かれた複数の直線(LM1, LM2)を表す線画像を鳥瞰画像ＢＥＶ＿３から探索する(S51~S57)。発見された線画像に現われた複数の線の平行性がエラー条件に合致する場合、ＣＰＵ１６は、バックギアの選択に応答して表示装置２２に表示されるキャラクタ画像ＫＧ１を点滅させる(S19, S23)。
【００８３】
線画像は、車両１００の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す画像に相当し、斜め上方向から地面を捉えるカメラＣ＿３の出力に基づく鳥瞰画像ＢＥＶ＿３から探索される。したがって、車幅方向における線画像の歪みは、鳥瞰変換特性の異常に起因するものと考えられる。このような歪みが生じた場合にドライバに向けて報知を発生することで、鳥瞰変換特性の異常に起因する事故を抑制することできる。こうして、鳥瞰画像に基づく操縦支援性能が向上する。
【００８４】
なお、この実施例では、俯角θｄと水平角θｈの両方を校正しているが、多くのシステムでは、固定治具の関係で、カメラがずれる方向は一方向であり、俯角θｄおよび水平角θｈのいずれか一方しかずれないように設定することが多い。その場合は、以下のように実施例を変更することで簡潔なシステムを構成できる。
【００８５】
俯角方向にカメラがずれる場合は、俯角θｄのみを制御する。この場合、ステップＳ１３３からステップＳ１５５へ処理が移行する。また、水平角方向にカメラがずれる場合は、水平角θｈのみを制御する。この場合は、ステップＳ１１１からステップＳ１３５へ処理が移行する。
【００８６】
また、この実施例では、全周鳥瞰画像を生成しかつ表示する装置のバックカメラに注目して説明したが、フロントカメラに対する同様な処理によってもエラー報知と校正とを実現することができる。また、サイドカメラに対しては、直線道路において車両が直進する場合にレーンマーカが車体に対して平行になることを利用することで、同様のエラー報知と校正とを実現することができる。さらに、車両の全周を捉えるカメラシステムではなく、バックカメラやフロントカメラ単独で動作するカメラシステムでもエラー報知と校正とを実現することができる。
【符号の説明】
【００８７】
１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
１２ …画像処理回路
１４ …メモリ
１６ …ＣＰＵ
１８ …ＧＰＳ装置
２２ …表示装置
２４ …フラッシュメモリ
１００ …車両
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、車両に設けられたカメラから出力された被写界像に基づいて車両の操縦を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、ＬＫＡ用ＥＣＵは、前方カメラの撮像画像から道路区画線を認識して目標軌跡を生成し、ステアリング装置に目標操舵角を送信する。ステアリング装置のコントローラは、操舵角が目標操舵角に近づくようにアシストモータを制御する。こうして、認識された道路区画線に基づく自動操舵制御が実現される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−４９９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、カメラの撮像画像が鳥瞰画像に変換されることはなく、車両の操舵が鳥瞰画像に基づいて支援されることもない。
【０００５】
それゆえに、この発明の主たる目的は、鳥瞰画像に基づく操縦支援性能を向上させることができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、車両(100)に設けられて斜め上方向から地面を捉えるカメラ(C_3)、カメラから出力された被写界像を地面に対する鳥瞰画像に変換する変換手段(S3~S5)、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を変換手段によって変換された鳥瞰画像から探索する第１探索手段(S51~S57)、および第１探索手段によって発見された線画像に現われた複数の線の平行性がエラー条件に合致する場合にドライバに向けて報知を発生する報知手段(S19, S23)を備える。
【０００７】
好ましくは、第１探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する第１検出手段(S59, S81~S87)、第１検出手段によって注目された複数の線の平行性を表す係数を第１検出手段によって検出された座標に基づいて算出する算出手段(S89~S91, S61~S63)、および算出手段によって算出された係数がエラー条件に合致するか否かを判別する判別手段(S69)がさらに備えられる。
【０００８】
好ましくは、変換手段によって変換された鳥瞰画像を運転席に設けられたモニタ(24)に表示する画像表示手段(S13)がさらに備えられ、報知手段は車両の後進に対応して報知をモニタに表示する報知表示手段(S23)を含む。
【０００９】
好ましくは、第１探索手段によって探索される線画像は車両の幅よりも大きい間隔で地面に描かれた直線を表す画像に相当する。
【００１０】
好ましくは、車両が第１閾値を上回る距離を有する直線道路を第２閾値を上回る速度で移動するときに第１探索手段を起動する制御手段(S35~S47)がさらに備えられる。
【００１１】
好ましくは、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を変換手段によって変換された鳥瞰画像から探索する第２探索手段(S105~S111)、変換特性調整指示を受け付けたとき変換手段の変換特性を繰り返し変更する変更手段(S125, S145)、第２探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する検出処理を変更手段の変更処理と並列して実行する第２検出手段(S119, S139, S81~S87)、および第２検出手段によって検出された座標に基づいて変換手段の変換特性を調整する調整手段(S133, S151)がさらに備えられる。
【発明の効果】
【００１２】
線画像は、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す画像に相当し、斜め上方向から地面を捉えるカメラの出力に基づく鳥瞰画像から探索される。したがって、車幅方向における線画像の歪みは、鳥瞰変換特性の異常に起因するものと考えられる。このような歪みが生じた場合にドライバに向けて報知を発生することで、鳥瞰変換特性の異常に起因する事故を抑制することできる。こうして、鳥瞰画像に基づく操縦支援性能が向上する。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例が搭載された車両の一例を示す斜視図である。
【図４】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図５】カメラの出力に基づく鳥瞰画像の作成動作の一部を示す図解図である。
【図６】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図７】駐車枠へ駐車するときに表示される運転支援画像の一例を示す図解図である。
【図８】車両に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】車両が路面を走行する状態の一例を示す図解図である。
【図１１】鳥瞰画像に現われた白線の歪みの一例を示す図解図である。
【図１２】（Ａ）は白線検知エリアＤＴ１における白線画像の分布の一例を示すグラフであり、（Ｂ）は白線検知エリアＤＴ２における白線画像の分布の一例を示すグラフである。
【図１３】鳥瞰画像に現われた白線の歪みの他の一例を示す図解図である。
【図１４】（Ａ）は白線検知エリアＤＴ１における白線画像の分布の他の一例を示すグラフであり、（Ｂ）は白線検知エリアＤＴ２における白線画像の分布の他の一例を示すグラフである。
【図１５】駐車枠へ駐車するときに表示される運転支援画像の他の一例を示す図解図である。
【図１６】駐車枠へ駐車するときに表示される運転支援画像のその他の一例を示す図解図である。
【図１７】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２５】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２６】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１６】
図１を参照して、この発明の操縦支援装置は、基本的に次のように構成される。カメラ１は、車両に設けられて斜め上方向から地面を捉える。変換手段２は、カメラ１から出力された被写界像を地面に対する鳥瞰画像に変換する。第１探索手段３は、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す線画像を変換手段２によって変換された鳥瞰画像から探索する。報知手段４は、第１探索手段３によって発見された線画像の平行性がエラー条件に合致する場合にドライバに向けて報知を発生する。
【００１７】
線画像は、車両の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す画像に相当し、斜め上方向から地面を捉えるカメラ１の出力に基づく鳥瞰画像から探索される。したがって、車幅方向における線画像の歪みは、鳥瞰変換特性の異常に起因するものと考えられる。このような歪みが生じた場合にドライバに向けて報知を発生することで、鳥瞰変換特性の異常に起因する事故を抑制することできる。こうして、鳥瞰画像に基づく操縦支援性能が向上する。
［実施例］
【００１８】
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通の垂直同期信号Ｖｓｙｎｃに応答して、被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２に与えられる。なお、この実施例では、説明を簡単にするため、垂直同期信号ＶｓｙｎｃはカメラＣ＿１〜Ｃ＿４および画像処理回路１２の画像出力で同一としている。
【００１９】
図３を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前上側部に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右上側部に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後上側部に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左上側部に設置される。車両１００の周辺の被写界は、このようなカメラＣ＿１〜Ｃ＿４によって、地面に斜めに交差する方向から捉えられる。
【００２０】
図４に示すように、カメラＣ＿１は車両１００の前方向を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方向を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。なお、視野ＶＷ＿１およびＶＷ＿２は共通視野ＣＶＷ＿１を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＣＶＷ＿２を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＣＶＷ＿３を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＣＶＷ＿４を有する。
【００２１】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１６は、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図５に示す鳥瞰画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１６はまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて鳥瞰画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿４を生成する。
【００２２】
図５から分かるように、鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２３】
また、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。生成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１４のワークエリア１４ｗに保持される。
【００２４】
ＣＰＵ１６は続いて、切り出し線ＣＴ＿１〜ＣＴ＿４を鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４上で定義し、定義された切り出し線ＣＴ＿１〜ＣＴ＿４よりも内側に存在する一部の画像を合成して全周鳥瞰画像を作成し、そして車両１００の上部を模した車両画像ＧＬ１を全周鳥瞰画像の中央に貼り付ける。こうして、図６に示す運転支援画像ＡＲＶがワークエリア１４ｗ上で完成する。
【００２５】
車両１００の移動速度は、センサ２６によって検出される。検出された移動速度が閾値ＴＨ１を下回るとき、ＣＰＵ１６は、垂直同期信号Ｖｓｙｎｃが発生する毎に表示装置２２に対して表示命令を発行する。表示装置２２は、運転支援画像ＡＲＶをワークエリア１４ｗから読み出し、読み出された運転支援画像ＡＲＶをモニタ画面に表示する。表示装置２２は運転席に設定され、ドライバは目視で周囲をチェックするとともに表示装置２２の表示を参照しつつハンドルを操作する。
【００２６】
ＣＰＵ１６はまた、バックギアの選択に備えて、既定の形状を有する駐車支援のためのキャラクタ画像ＫＧ１をワークエリア１４ｗに展開する。ギアの状態およびハンドル角は、センサ２６によって検出される。バックギアが選択されると、ＣＰＵ１６は、ワークエリア１４ｗに展開されたキャラクタ画像ＫＧ１の形状を現時点のハンドル角に適合するように調整する。
【００２７】
ＣＰＵ１６は、このようなキャラクタ画像ＫＧ１を表示するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に表示装置２２に対して表示命令を発行する。表示装置２２は、調整された形状を有するキャラクタ画像ＫＧ１をワークエリア１４ｗから読み出し、読み出されたキャラクタ画像ＫＧ１を運転支援画像ＡＲＶに多重する。したがって、車両１００を駐車場の地面に描かれた駐車枠ＰＫ１に駐車するとき、キャラクタ画像ＫＧ１は図７に示す要領で運転支援画像ＡＲＶに多重表示される。
【００２８】
次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ＿３の作成要領を説明する。
【００２９】
図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３０】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３１】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ＿３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３２】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３３】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
【００３５】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
【００３６】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元路面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
【００３７】
また、図５に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００３８】
地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
【００３９】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
【数６】
【数７】
【００４０】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ＿３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
【００４１】
上述のように、鳥瞰変換処理においては、カメラＣ＿３の俯角θｄが参照される。したがって、振動などに起因してカメラＣ＿３の向きがずれると、鳥瞰画像ＢＥＶ＿３に歪みが生じる。たとえば、図１０に示す要領で路面に描かれたレーンマーカＬＭ１およびＬＭ２の間を車両１００が走行することを想定したとき、カメラＣ＿３の俯角が上述の演算で参照される“θｄ”と相違すると、レーンマーカＬＭ１およびＬＭ２を表す直線が図１１に示す要領で歪む。
【００４２】
また、カメラＣ＿３の俯角が“θｄ”の値と一致していても、カメラＣ＿３の水平角θｈが適正値からずれると、鳥瞰画像ＢＥＶ＿３ひいてはレーンマーカＬＭ１およびＬＭ２を表す直線が図１３に示す要領で歪む。
【００４３】
このような歪みを有したまま駐車枠ＰＫ１への駐車を試みると、駐車枠ＰＫ１を表す直線は、俯角θｄのずれに起因して図１５に示す要領で歪み、水平角θｈのずれに起因して図１６に示す要領で歪む。そこで、この実施例では、車両１００の前後方向に延びる直線を表す線画像を以下の要領で検出し、検出された線画像の平行性がエラー条件に合致する場合にバックギアの選択に応答して報知を発生するようにしている。
【００４４】
具体的にはまず、ＧＰＳ装置１８の出力に基づいて現在位置が検出され、検出された現在位置の周辺の地図情報がデータベース２０から読み出される。現在位置が直線道路上であれば、現在位置から直線道路の終端までの距離が“ＤＬ”として測定され、現在の移動速度がセンサ２６を通して検出される。
【００４５】
距離ＤＬが閾値ＴＨ２を上回り、かつ移動速度が閾値ＴＨ３を上回れば、車両１００の前後方向に延びる白線（＝レーンマーカ）がワークエリア１４ｗに保持された鳥瞰画像ＢＥＶ＿３から探索される。白線の探索にあたっては、図１１または図１３に示す白線検知エリアＤＴ１およびＤＴ２に属する部分画像が注目される。
【００４６】
白線を探索する方法は、ハフ変換を用いた方法など各種あるが、最も簡単な実現方法の概略は以下のとおりである。白線検知エリアＤＴ１またはＤＴ２の長さ方向（車幅方向）において異なる複数の位置の各々で白線検知エリアＤＴ１またはＤＴ２の幅方向（車長方向）に並ぶ複数の画素の輝度値を積算すると、白線画像の輝度の高さに起因して、白線の位置にピークが出現する。
【００４７】
白線画像が図１１に示す要領で再現された場合、ピークは図１２（Ａ）または図１２（Ｂ）に示す要領で出現する。また、白線画像が図１３に示す要領で再現された場合、ピークは図１４（Ａ）または図１４（Ｂ）に示す要領で出現する。したがって、輝度積算値に対して適切な閾値を設定することで、白線の位置を検出することができる。
【００４８】
２本の白線が発見されると、左側の白線の歪みを“ΔＤＬ”として算出し、かつ右側の白線の歪みを“ΔＤＲ”として算出するべく、図１１または図１３に示す白線検知エリアＤＴ１およびＤＴ２に注目した白線解析処理が実行される。
【００４９】
白線解析処理では、白線検知エリアＤＴ１に現れた左側白線（左側ピーク）のＸ座標が“ＸＬ１”として検出され、白線検知エリアＤＴ１に現れた右側白線（右側ピーク）のＸ座標が“ＸＲ１”として検出される。また、白線検知エリアＤＴ２に現れた左側白線（左側ピーク）のＸ座標が“ＸＬ２”として検出され、白線検知エリアＤＴ２に現れた右側白線（右側ピーク）のＸ座標が“ＸＲ２”として検出される。
【００５０】
鳥瞰画像ＢＥＶ＿３が図１１に示す要領で作成された場合、Ｘ座標ＸＬ１およびＸＲ１は図１２（Ａ）に示す要領で検出され、Ｘ座標ＸＬ２およびＸＲ２は図１２（Ｂ）に示す要領で検出される。また、鳥瞰画像ＢＥＶ＿３が図１２に示す要領で作成された場合、Ｘ座標ＸＬ１およびＸＲ１は図１３（Ａ）に示す要領で検出され、Ｘ座標ＸＬ２およびＸＲ２は図１３（Ｂ）に示す要領で検出される。
【００５１】
歪みΔＬは、Ｘ座標ＸＬ１からＸ座標ＸＬ２を減算することで算出される。また、歪みΔＲは、Ｘ座標ＸＲ１からＸ座標ＸＲ２を減算することで検出される。
【００５２】
白線解析処理が完了すると、歪みΔＤＬの絶対値と歪みΔＤＲの絶対値との加算値が“ＤＰ”として算出される。加算値ＤＰの算出処理はＮｍａｘ回繰り返され、Ｎｍａｘ個の加算値ＤＰの積算値が“ＴＤＰ”として算出される。積算値ＴＤＰの絶対値は、閾値ＴＨ４と比較される。絶対値｜ＴＤＰ｜が閾値ＴＨ４を上回ると、エラー条件が満足されたことを表明するべく、初期状態において“０”を示すフラグＦＬＧａｌｍが“１”に変更される。
【００５３】
バックギアが選択されると、このフラグＦＬＧａｌｍの状態が判別される。フラグＦＬＧａｌｍが“０”であれば、駐車を支援するためのキャラクタ画像ＫＧ１が連続的に表示される。これに対して、フラグＦＬＧａｌｍが“１”であれば、キャラクタ画像ＫＧ１は点滅表示される。ドライバは、キャラクタ画像ＫＧ１の点滅によって鳥瞰変換特性に異常があることを認識する。
【００５４】
図１５または図１６に示す要領で車両１００を駐車枠ＰＫ１に駐車させた状態でドライバによって校正操作が行われると、鳥瞰変換特性の校正処理が以下の要領で実行される。
【００５５】
まず、ワークエリア１４ｗに保持された鳥瞰画像ＢＥＶ＿３から上述の要領で白線（＝駐車枠）が探索される。２本の白線が発見されると、上述と同様の白線解析処理が行われる。これによって、左側の白線の歪みが“ΔＤＬ”として算出され、右側の白線の歪みが“ΔＤＲ”として算出される。白線解析処理が完了すると、歪みΔＤＬおよびΔＤＲの間の差分絶対値が“ＤＭ”として算出される。
【００５６】
俯角θｄは初期値〜既定値の範囲で角度Δθずつ更新され、差分絶対値ＤＭは互いに異なる複数の角度の各々に対応して算出される。こうして算出された複数の差分絶対値ＤＭ，ＤＭ，…の中から、最小差分絶対値が“ＤＭｍｉｎ”として特定される。特定された最小差分絶対値ＤＭｍｉｎが閾値ＴＨ５を下回れば、最小差分絶対値ＤＭｍｉｎに対応する俯角θｄが保存される。上述の数１，数３，数６および数７の演算にあたっては、保存された俯角θｄが参照される。
【００５７】
俯角θｄの保存が完了すると、白線解析処理が再度実行され、これによって算出された歪みΔＤＬおよびΔＤＲの各々の絶対値の加算値が“ＤＰ”として算出される。カメラＣ＿３の水平角θｈは初期値〜既定値の範囲で角度Δθずつ更新され、加算値ＤＰは互いに異なる複数の角度の各々に対応して算出される。こうして算出された複数の加算値ＤＰ，ＤＰ，…の中から、最小加算値が“ＤＰｍｉｎ”として特定される。特定された最小加算値ＤＰｍｉｎが閾値ＴＨ６を下回れば、最小加算値ＤＰｍｉｎに対応する水平角θｈがカメラＣ＿３に設定される。設定が完了すると、俯角θｄおよび／または水平角θｈの変更が報知され、フラグＦＬＧａｌｍが“０”に戻される。
【００５８】
ＣＰＵ１６は、図１７に示す表示制御タスク，図１８に示す駐車支援タスク，図１９〜図２１に示すエラー検知タスク（図２２に示す白線解析処理を含む），図２３〜図２６に示す校正支援タスク（図２２に示す白線解析処理を含む）を含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ２４に記憶される。
【００５９】
図１７を参照して、ステップＳ１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ３に進み、カメラＣ＿１〜Ｃ＿４から出力された被写界像Ｐ＿１〜Ｐ＿４を取り込む。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４を鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換し、さらに変換された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に基づいて運転支援画像ＡＲＶを作成する。鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４および運転支援画像ＡＲＶのいずれもワークエリア１４ｗに保持される。
【００６０】
ステップＳ７では、車両１００の移動速度をセンサ２６を通して検出し、かつ検出された移動速度が閾値ＴＨ１を下回るか否かを判別する。判別結果がＮＯであればそのままステップＳ１に戻る一方、判別結果がＹＥＳであればステップＳ９を経てステップＳ１に戻る。ステップＳ９では、ステップＳ５で作成された運転支援画像ＡＲＶの表示を表示装置２２に要求する。表示装置２２は、ワークエリア１４ｗに格納された運転支援画像ＡＲＶを読み出し、読み出された運転支援画像ＡＲＶをモニタ画面に表示する。
【００６１】
図１８を参照して、ステップＳ１１では、既定の形状を有する駐車支援のためのキャラクタ画像をワークエリア１４ｗに展開する。ステップＳ１３では、ギアの状態をセンサ２６を通して検出し、かつバックギアが選択されているか否かを判別する。判別結果がＮＯであればステップＳ１３に戻り、判別結果がＹＥＳであればステップＳ１５に進む。ステップＳ１５では、ハンドル角をセンサ２６を通して検出し、ワークエリア１４ｗに展開されたキャラクタ画像の形状を検出されたハンドル角に適合するように調整する。
【００６２】
ステップＳ１７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとフラグＦＬＧａｌｍの状態をステップＳ１９で判別する。フラグＦＬＧａｌｍは、当初“０”に設定され、既定のエラー条件が満足されたときにエラー検知タスクの下で“１”に更新される。
【００６３】
フラグＦＬＧａｌｍが“０”であればステップＳ２１に進み、キャラクタ画像の連続表示を表示装置２２に要求する。ステップＳ１３で調整された形状を有するキャラクタ画像は、表示装置２２によって読み出され、運転支援画像ＡＲＶ上に連続的に多重表示される。ステップＳ２１の処理が完了すると、ステップＳ１３に戻る。
【００６４】
フラグＦＬＧａｌｍが“１”であればステップＳ２３に進み、キャラクタ画像の点滅表示を表示装置２２に要求する。ステップＳ１３で調整された形状を有するキャラクタ画像は、表示装置２２によって読み出され、運転支援画像ＡＲＶ上に点滅態様で多重表示される。ステップＳ２３の処理が完了すると、ステップＳ１３に戻る。
【００６５】
図１９を参照して、ステップＳ３１では積算値ＴＤＰを“０”に設定し、ステップＳ３３では変数Ｎを“１”に設定する。ステップＳ３５ではＧＰＳ装置１８の出力に基づいて現在位置を検出する。ステップＳ３７では検出された現在位置の周辺の地図情報をデータベース２０から読み出し、ステップＳ３９では読み出された地図情報に基づいて現在位置が直線道路上であるか否かを判別する。
【００６６】
判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであればステップＳ４１に進む。ステップＳ４１では現在位置から直線道路の終端までの距離を“ＤＬ”として測定し、ステップＳ４３では測定された距離ＤＬが閾値ＴＨ２を上回るか否かを判別する。判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであればステップＳ４５に進む。
【００６７】
ステップＳ４５ではセンサ２６を通して現在の移動速度を検出し、ステップＳ４７では検出された移動速度が閾値ＴＨ３を上回るか否かを判別する。判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであれば、垂直同期信号Ｖｓｙｎｃの発生を待ってステップＳ４９からステップＳ５１に進む。
【００６８】
ステップＳ５１では、ワークエリア１４ｗに保持された鳥瞰画像ＢＥＶ＿３のうち白線検知エリアＤＴ１に属する部分画像の輝度を積算する。ステップＳ５３では、同じ鳥瞰画像ＢＥＶ＿３のうち白線検知エリアＤＴ２に属する部分画像の輝度を積算する。いずれの積算処理も、車幅方向において異なる複数の位置の各々において車長方向に並ぶ複数の画素の輝度を積算する。
【００６９】
ステップＳ５５では、車幅方向における輝度積算値の分布曲線に少なくとも１つのピークが出現したか否かを判別する。判別結果がＹＥＳであれば、２つのピークが白線検知エリアＤＴ１およびＤＴ２の各々に出現したか否かをステップＳ５７で判別する。ステップＳ５５の判別結果またはステップＳ５７の判別結果がＮＯであればステップＳ３５に戻り、ステップＳ５５の判別結果およびステップＳ５７の判別結果のいずれもがＹＥＳであればステップＳ５９に進む。
【００７０】
ステップＳ５９では、左側の白線の歪みを“ΔＤＬ”として算出し、かつ右側の白線の歪みを“ΔＤＲ”として算出するべく、白線解析処理を実行する。白線解析処理が完了するとステップＳ６１に進み、歪みΔＤＬの絶対値と歪みΔＤＲの絶対値との加算値を“ＤＰ”として算出する。ステップＳ６３では算出された加算値ＤＰを積算値ＴＤＰに積算し、ステップＳ６５では変数Ｎをインクリメントする。
【００７１】
ステップＳ６７では変数Ｎが定数Ｎｍａｘに達したか否かを判別し、判別結果がＮＯであればステップＳ３５に戻る一方、判別結果がＹＥＳであればステップＳ６９に進む。ステップＳ６９では、積算値ＴＤＰの絶対値が閾値ＴＨ４を上回るか否かを判別し、判別結果がＮＯであればステップＳ７３でフラグＦＬＧａｌｍを“０”に設定してから処理を終了する一方、判別結果がＹＥＳであればステップＳ７１でフラグＦＬＧａｌｍを“１”に更新してから処理を終了する。
【００７２】
上述したステップＳ５９ならびに図２４および図２５にそれぞれ示すステップＳ１１９およびＳ１３９の白線解析処理は、図２２に示すサブルーチンに従って実行される。ステップＳ８１では、白線検知エリアＤＴ１に現れた左側白線（左側ピーク）のＸ座標を“ＸＬ１”として検出する。ステップＳ８３では、白線検知エリアＤＴ１に現れた右側白線（右側ピーク）のＸ座標を“ＸＲ１”として検出する。ステップＳ８５では、白線検知エリアＤＴ２に現れた左側白線（左側ピーク）のＸ座標を“ＸＬ２”として検出する。ステップＳ８７では、白線検知エリアＤＴ２に現れた右側白線（右側ピーク）のＸ座標を“ＸＲ２”として検出する。
【００７３】
ステップＳ８９では、Ｘ座標ＸＬ１からＸ座標ＸＬ２を減算して得られる減算値を歪みΔＤＬとして算出する。ステップＳ９１では、Ｘ座標ＸＲ１からＸ座標ＸＲ２を減算して得られる減算値を歪みΔＤＲとして算出する。ステップＳ９１の処理が完了すると、上階層のルーチンに復帰する。
【００７４】
図２３を参照して、ステップＳ１０１では校正操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、垂直同期信号Ｖｓｙｎｃの発生に応答してステップＳ１０３でＹＥＳと判断し、ステップＳ１０５〜Ｓ１１１で上述のステップＳ５１〜Ｓ５７と同様の処理を実行する。ステップＳ１０９の判別結果またはステップＳ１１１の判別結果がＮＯであれば、ステップＳ１１３でエラーを報知し、その後にステップＳ１０３に戻る。ステップＳ１０９の判別結果およびステップＳ１１１の判別結果のいずれもＹＥＳであればステップＳ１１５に進み、上述の数１，数３，数６および数７に影響を与える俯角θｄを初期化する。
【００７５】
ステップＳ１１７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１１９で白線解析処理を実行する。これによって、左側の白線の歪みが“ΔＤＬ”として算出され、右側の白線の歪みが“ΔＤＲ”として算出される。ステップＳ１２１では、歪みΔＤＬおよびΔＤＲの間の差分絶対値を“ＤＭ”として算出する。
【００７６】
ステップＳ１２３では俯角θｄが既定値に達したか否かを判別し、判別結果がＮＯであればステップＳ１２５で俯角θｄを“Δθ”だけ増大させてからステップＳ１１９に戻る。この結果、差分絶対値ＤＭは、初期値〜既定値の範囲において角度Δθを隔てた複数の角度の各々に対応して算出される。ステップＳ１２７では、こうして算出された複数の差分絶対値ＤＭ，ＤＭ，…の中から最小差分絶対値を“ＤＭｍｉｎ”として特定する。
【００７７】
ステップＳ１２９では、特定された最小差分絶対値ＤＭｍｉｎが閾値ＴＨ５を下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１３１でエラーを報知してから処理を終了する。これに対して、判別結果がＹＥＳであればステップＳ１３３に進み、最小差分絶対値ＤＭｍｉｎに対応する俯角θｄを保存する。上述の数１，数３，数６および数７の演算にあたっては、保存された俯角θｄが参照される。
【００７８】
ステップＳ１３５では、水平角θｈを初期化する。ステップＳ１３７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３９で白線解析処理を実行する。これによって、左側の白線の歪みが“ΔＤＬ”として算出され、右側の白線の歪みが“ΔＤＲ”として算出される。ステップＳ１４１では、歪みΔＤＬの絶対値と歪みΔＤＲの絶対値との加算値を“ＤＰ”として算出する。
【００７９】
ステップＳ１４３では水平角θｈが既定値に達したか否かを判別し、判別結果がＮＯであればステップＳ１４５で水平角θｈを“Δθ”だけ増大させてからステップＳ１３９に戻る。この結果、加算値ＤＰは、初期値〜既定値の範囲において角度Δθを隔てた複数の角度の各々に対応して算出される。ステップＳ１４７では、こうして算出された複数の加算値ＤＰ，ＤＰ，…の中から最小加算値を“ＤＰｍｉｎ”として特定する。
【００８０】
ステップＳ１４９では、特定された最小加算値ＤＰｍｉｎが閾値ＴＨ６を下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１５７でエラーを報知してから処理を終了する。これに対して、判別結果がＹＥＳであればステップＳ１５１に進み、最小加算値ＤＰｍｉｎに対応する水平角θｈをカメラＣ＿３に設定する。
【００８１】
ステップＳ１５１の処理が完了すると、ステップＳ１５３で俯角θｄおよび／または水平角θｈの変更を報知し、ステップＳ１５５でフラグＦＬＧａｌｍを“０”に戻し、その後に処理を終了する。
【００８２】
以上の説明から分かるように、カメラＣ＿３は、車両１００に設けられて斜め上方向から地面を捉える。ＣＰＵ１６は、カメラＣ＿３から出力された被写界像Ｐ＿３を地面に対する鳥瞰画像ＢＥＶ＿３に変換し(S3~S5)、車両１００の前後方向の姿勢を定義するべく地面に描かれた複数の直線(LM1, LM2)を表す線画像を鳥瞰画像ＢＥＶ＿３から探索する(S51~S57)。発見された線画像に現われた複数の線の平行性がエラー条件に合致する場合、ＣＰＵ１６は、バックギアの選択に応答して表示装置２２に表示されるキャラクタ画像ＫＧ１を点滅させる(S19, S23)。
【００８３】
線画像は、車両１００の前後方向の姿勢を定義するべく地面に描かれた複数の直線を表す画像に相当し、斜め上方向から地面を捉えるカメラＣ＿３の出力に基づく鳥瞰画像ＢＥＶ＿３から探索される。したがって、車幅方向における線画像の歪みは、鳥瞰変換特性の異常に起因するものと考えられる。このような歪みが生じた場合にドライバに向けて報知を発生することで、鳥瞰変換特性の異常に起因する事故を抑制することできる。こうして、鳥瞰画像に基づく操縦支援性能が向上する。
【００８４】
なお、この実施例では、俯角θｄと水平角θｈの両方を校正しているが、多くのシステムでは、固定治具の関係で、カメラがずれる方向は一方向であり、俯角θｄおよび水平角θｈのいずれか一方しかずれないように設定することが多い。その場合は、以下のように実施例を変更することで簡潔なシステムを構成できる。
【００８５】
俯角方向にカメラがずれる場合は、俯角θｄのみを制御する。この場合、ステップＳ１３３からステップＳ１５５へ処理が移行する。また、水平角方向にカメラがずれる場合は、水平角θｈのみを制御する。この場合は、ステップＳ１１１からステップＳ１３５へ処理が移行する。
【００８６】
また、この実施例では、全周鳥瞰画像を生成しかつ表示する装置のバックカメラに注目して説明したが、フロントカメラに対する同様な処理によってもエラー報知と校正とを実現することができる。また、サイドカメラに対しては、直線道路において車両が直進する場合にレーンマーカが車体に対して平行になることを利用することで、同様のエラー報知と校正とを実現することができる。さらに、車両の全周を捉えるカメラシステムではなく、バックカメラやフロントカメラ単独で動作するカメラシステムでもエラー報知と校正とを実現することができる。
【符号の説明】
【００８７】
１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
１２ …画像処理回路
１４ …メモリ
１６ …ＣＰＵ
１８ …ＧＰＳ装置
２２ …表示装置
２４ …フラッシュメモリ
１００ …車両
【特許請求の範囲】
【請求項１】
車両に設けられて斜め上方向から地面を捉えるカメラ、
前記カメラから出力された被写界像を前記地面に対する鳥瞰画像に変換する変換手段、
前記車両の前後方向の姿勢を定義するべく前記地面に描かれた複数の直線を表す線画像を前記変換手段によって変換された鳥瞰画像から探索する第１探索手段、および
前記第１探索手段によって発見された線画像に現われた線の平行性がエラー条件に合致する場合にドライバに向けて報知を発生する報知手段を備える、操縦支援装置。
【請求項２】
前記第１探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する第１検出手段、
前記第１検出手段によって注目された複数の線の平行性を表す係数を前記第１検出手段によって検出された座標に基づいて算出する算出手段、および
前記算出手段によって算出された係数が前記エラー条件に合致するか否かを判別する判別手段をさらに備える、請求項１記載の操縦支援装置。
【請求項３】
前記変換手段によって変換された鳥瞰画像を運転席に設けられたモニタに表示する画像表示手段をさらに備え、
前記報知手段は前記車両の後進に対応して前記報知を前記モニタに表示する報知表示手段を含む、請求項１または２記載の操縦支援装置。
【請求項４】
前記第１探索手段によって探索される線画像は前記車両の幅よりも大きい間隔で前記地面に描かれた直線を表す画像に相当する、請求項１ないし３のいずれかに記載の操縦支援装置。
【請求項５】
前記車両が第１閾値を上回る距離を有する直線道路を第２閾値を上回る速度で移動するときに前記第１探索手段を起動する制御手段をさらに備える、請求項１ないし４のいずれかに記載の操縦支援装置。
【請求項６】
前記車両の前後方向の姿勢を定義するべく前記地面に描かれた複数の直線を表す線画像を前記変換手段によって変換された鳥瞰画像から探索する第２探索手段、
変換特性調整指示を受け付けたとき前記変換手段の変換特性を繰り返し変更する変更手段、
前記第２探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する検出処理を前記変更手段の変更処理と並列して実行する第２検出手段、および
前記第２検出手段によって検出された座標に基づいて前記変換手段の変換特性を調整する調整手段をさらに備える、請求項１ないし５のいずれかに記載の操縦支援装置。
【請求項１】
車両に設けられて斜め上方向から地面を捉えるカメラ、
前記カメラから出力された被写界像を前記地面に対する鳥瞰画像に変換する変換手段、
前記車両の前後方向の姿勢を定義するべく前記地面に描かれた複数の直線を表す線画像を前記変換手段によって変換された鳥瞰画像から探索する第１探索手段、および
前記第１探索手段によって発見された線画像に現われた線の平行性がエラー条件に合致する場合にドライバに向けて報知を発生する報知手段を備える、操縦支援装置。
【請求項２】
前記第１探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する第１検出手段、
前記第１検出手段によって注目された複数の線の平行性を表す係数を前記第１検出手段によって検出された座標に基づいて算出する算出手段、および
前記算出手段によって算出された係数が前記エラー条件に合致するか否かを判別する判別手段をさらに備える、請求項１記載の操縦支援装置。
【請求項３】
前記変換手段によって変換された鳥瞰画像を運転席に設けられたモニタに表示する画像表示手段をさらに備え、
前記報知手段は前記車両の後進に対応して前記報知を前記モニタに表示する報知表示手段を含む、請求項１または２記載の操縦支援装置。
【請求項４】
前記第１探索手段によって探索される線画像は前記車両の幅よりも大きい間隔で前記地面に描かれた直線を表す画像に相当する、請求項１ないし３のいずれかに記載の操縦支援装置。
【請求項５】
前記車両が第１閾値を上回る距離を有する直線道路を第２閾値を上回る速度で移動するときに前記第１探索手段を起動する制御手段をさらに備える、請求項１ないし４のいずれかに記載の操縦支援装置。
【請求項６】
前記車両の前後方向の姿勢を定義するべく前記地面に描かれた複数の直線を表す線画像を前記変換手段によって変換された鳥瞰画像から探索する第２探索手段、
変換特性調整指示を受け付けたとき前記変換手段の変換特性を繰り返し変更する変更手段、
前記第２探索手段によって発見された線画像に現われた複数の線の車幅方向における座標を車長方向における複数の位置の各々で検出する検出処理を前記変更手段の変更処理と並列して実行する第２検出手段、および
前記第２検出手段によって検出された座標に基づいて前記変換手段の変換特性を調整する調整手段をさらに備える、請求項１ないし５のいずれかに記載の操縦支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−１１６２０６（Ｐ２０１１−１１６２０６Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７４２４９（Ｐ２００９−２７４２４９）
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]