運転支援装置、運転支援方法およびプログラム
【課題】 初期状態からの画像のずれを自動的に補正する機能を提供する。
【解決手段】 運転支援装置１００は、車両に取り付けられたカメラ１０と、カメラ１０の設置条件のデータを記憶した設置条件記憶部３９と、設置条件記憶部３９に記憶された設置条件のデータを用いて、画像中に映る路上の所定点までの距離を画像内での所定点の位置座標から算出する理論距離算出部３５と、所定点までの距離を求めるステレオ測距部３４と、ステレオ測距部３４にて求めた距離と理論距離算出部３５にて求めた距離との差分を求める差分算出部３６と、差分算出部３６で求めた差分に基づいてカメラ画像を補正する射影変換部３８と、射影変換部３８にて補正したカメラ画像に対し、運転を支援するためのガイド線を重畳するガイド線重畳部４０とを備えた構成を有する。
【解決手段】 運転支援装置１００は、車両に取り付けられたカメラ１０と、カメラ１０の設置条件のデータを記憶した設置条件記憶部３９と、設置条件記憶部３９に記憶された設置条件のデータを用いて、画像中に映る路上の所定点までの距離を画像内での所定点の位置座標から算出する理論距離算出部３５と、所定点までの距離を求めるステレオ測距部３４と、ステレオ測距部３４にて求めた距離と理論距離算出部３５にて求めた距離との差分を求める差分算出部３６と、差分算出部３６で求めた差分に基づいてカメラ画像を補正する射影変換部３８と、射影変換部３８にて補正したカメラ画像に対し、運転を支援するためのガイド線を重畳するガイド線重畳部４０とを備えた構成を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された車載カメラで撮影した画像に運転を支援する情報を重畳して表示する運転支援装置に関する。
【背景技術】
【０００２】
近年、車載カメラで撮影した画像を利用して、自動車の安全運転を支援する運転支援装置が知られている。運転支援装置として、車載カメラにより車両周辺の状況を撮影し、運転手から死角となる場所を映像として提示するとともに、車両の進行方向などを示すガイド線を映像に重畳することで駐車動作を支援するものが知られている。
【０００３】
車載カメラの取り付け及び取り付け微調整は自動車メーカにおける車体組立工場において実施され、ユーザに自動車が納品された後は通常使用においてアフターケアされない。したがって、数年から数十年におよぶ自動車の走行による経年変化、あるいは軽微な接触等によってカメラの取り付け位置が僅かにずれてしまう問題を生じる。カメラが位置ずれを生じた場合、特にガイド線を重畳する場合において、自動車の実際の進行方向と映像上におけるガイド線の重畳位置とにずれが生じ運転手の判断を誤らせる要因となる。
【０００４】
このようなカメラの取り付けずれに対して、例えば、特許文献１では、リアカメラならばバンパー、サイドカメラならば前方ウインカーの位置を映像中から検出し、あらかじめ正解位置として保持しているテンプレート画像と比較を行う。その結果、現在の映像とテンプレート画像とに相違があるならばカメラの取り付け位置にずれが生じていると判別する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０４５８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像とガイド線の位置のずれが発生する要因は、カメラの取り付けずれだけではない。映像とガイド線の位置のずれが発生するもう一つの大きな要因として、乗員や積荷などの重量によって生じる車体自体の傾きが挙げられる。この場合、カメラの取り付け位置に関しては問題を生じていないため、特許文献１のように自車体の一部を使って校正を行うだけでは車体の傾きを検知することができず、映像とガイド線の位置のずれが充分に補正できないという課題があった。
【０００７】
本発明は、従来の問題を解決するためになされたもので、初期状態からの画像のずれを自動的に補正する機能を有する運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の運転支援装置は、車両に取り付けられたカメラと、前記カメラの設置条件のデータを記憶した記憶部と、前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、前記所定点までの距離を求める測距部と、前記測距部にて求めた距離と前記理論距離算出部にて求めた距離との差分を求める差分算出部と、前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部と、前記補正部にて補正した画像に対し、運転を支援するための情報を重畳する重畳部とを備えた構成を有する。ここで、前記補正部は、前記カメラで撮影された画像を幾何学変換により補正してもよい。
【０００９】
このように測距によって求めた距離と設置条件（例えば、路面からの高さ、撮影角度等）のデータから求めた距離との差分に基づいて、初期の設置状態で撮影した場合に得られるであろうカメラの画像とのずれを補正することができる。これにより、カメラ画像に適切に運転支援情報を重畳することができる。なお、路面上の所定点としては、例えば白線やマンホールを用いることができる。
【００１０】
本発明の運転支援装置において、前記カメラはステレオカメラであり、前記測距部はステレオ測距により距離を求める構成を有する。
【００１１】
このようにステレオ測距を行うことにより、カメラの画像だけを用いて画像のずれを補正することができる。
【００１２】
本発明の運転支援装置において、前記理論距離算出部および前記測距部は、前記車両の一部分を前記所定点として距離を求める構成を有する。この構成により、車両の傾きに影響を受けずカメラの取り付けずれを検出することができる。ここで、前記車両の一部は、バンパーであってもよい。バンパーは標準的に撮影されているので、本発明のためにカメラの取り付け位置を変更する必要がない。
【００１３】
本発明の運転支援装置は、前記測距部にて求めた距離と前記理論距離算出部にて算出した距離が一致しない場合、前記カメラの設置条件を前記記憶部に記憶された設置条件から変えながら、前記理論距離算出部にて前記所定点までの距離を求める処理および前記差分算出部にて差分を求める処理を繰り返し行って複数の異なる設置条件において前記差分を求め、前記差分が最小となる設置条件と前記記憶部に記憶された設置条件との撮影角度のずれを傾き量として求め、前記補正部は、傾き量を用いて、前記カメラで撮影された画像を補正する構成を有する。
【００１４】
この構成により、カメラの取り付けずれや車両の傾きによって生じた撮影角度の傾き量を求め、この傾き量によって適切にカメラ画像を補正できる。
【００１５】
本発明の車載カメラは、車両に取り付けられた複数のカメラからなる車載カメラであって、前記複数のカメラの設置条件のデータを記憶した記憶部と、前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、前記複数のカメラにて撮影した画像を用いて前記所定点までの距離をステレオ測距する測距部と、前記測距部で求めた距離と前記理論距離算出部で求めた距離との差分を求める差分算出部と、前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部とを備えた構成を有する。
【００１６】
このようにステレオ測距によって求めた距離と設置条件のデータから求めた距離との差分に基づいて、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを補正することができる。
【００１７】
本発明の運転支援方法は、車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示する方法であって、運転支援装置が、カメラにて画像を撮影するステップと、前記運転支援装置が、記憶部から前記カメラの設置条件のデータを読み出すステップと、前記運転支援装置が、前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、前記運転支援装置が、前記所定点までの距離を測距するステップと、前記運転支援装置が、測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、前記運転支援装置が、前記差分に基づいて前記カメラで撮影された画像を補正するステップと、前記運転支援装置が、補正された画像に対し、運転を支援するための情報を重畳するステップとを備えた構成を有する。
【００１８】
また、本発明のプログラムは、車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示するためのプログラムであって、コンピュータに、前記カメラにて撮影した画像を取得するステップと、記憶部から前記カメラの設置条件のデータを読み出すステップと、前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、前記所定点までの距離を測距するステップと、測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、前記差分に基づいて前記カメラで撮影された画像を補正するステップと、補正された画像に対し、運転を支援するための情報を重畳するステップとを実行させる構成を有する。
【００１９】
これらの構成により、本発明の運転支援方法およびプログラムは、上記した運転支援装置と同様に、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを適切に補正し、カメラ画像に適切に運転支援情報を重畳することができる。なお、本発明の運転支援方法およびプログラムに、上記した運転支援装置の各種の構成を適用することも可能である。
【発明の効果】
【００２０】
本発明は、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを適切に補正し、カメラ画像に適切に運転支援情報を重畳することができるという効果を有する。
【図面の簡単な説明】
【００２１】
【図１】実施の形態における運転支援装置の概略構成を示すブロック図
【図２】（ａ）バンパーエリアの抽出例を示す図（ｂ）路面エリアの抽出例を示す図
【図３】（ａ）時刻Ｔで測距した測距点を示す図（ｂ）時刻Ｔ＋ｔで測距した測距点を示す図（ｃ）２つの時刻における測距点の統合を示す図
【図４】測距点の座標値と測定距離を示す図
【図５】車両を真横からみたときのカメラ取りつけ位置と路面の関係を示す図
【図６】光軸中心の理論距離を示す図
【図７】垂直光軸上の任意の点の理論距離を示す図
【図８】路面エリアにおける測距点と測定距離と理論距離を示す図
【図９】現実の座標系と映像座標系の関係を示す図
【図１０】カメラの撮影角度のずれによって生じる映像ずれを示す図
【図１１】カメラ取り付け修正と理論距離の測定を行うフローチャート
【図１２】（ａ）補正前の映像例を示す図（ｂ）補正後の映像例を示す図
【発明を実施するための最良の形態】
【００２２】
以下に、本発明の実施の形態の運転支援装置について、図面を参照しながら説明する。
図１は、実施の形態の運転支援装置の構成を示す図である。運転支援装置１００は、２台のカメラ１０と、元画像メモリ２０と、画像補正部３０と、ガイド線重畳部４０とを備えている。画像補正部３０およびガイド線重畳部４０の機能は、プログラムを実行することにより実現することとしてもよい。このようなプログラムも本発明の範囲に含まれる。
【００２３】
２台のカメラ１０は、車両の後方ナンバープレート周辺の所定位置に所定の角度で取り付けられている。２台のカメラ１０は、ステレオカメラによる測距を行うために、所定の距離だけ離して取り付けられる。また、２台のカメラ１０の関係は完全に固定されているものとし、２台のカメラ１０の位置関係や撮影方向の相対的な関係がずれることはないとする。
【００２４】
カメラ１０は、レンズ１１と、撮像素子１２と、Ａ／Ｄ変換器１３と、カメラ信号処理回路１４とを備えており、車両後方の被写体を撮影して映像信号を生成する。レンズ１１は、被写体からの光を撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。カメラ信号処理回路１４は、Ａ／Ｄ変換されたデジタル信号に対して映像を生成するためのカメラ信号処理を行う。カメラ信号処理は、主に輝度信号生成、色信号生成、アパーチャ信号生成であるが、その他にもＯＢ減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
【００２５】
元画像メモリ２０は、カメラ１０のカメラ信号処理回路１４から出力される映像信号を２台のカメラ１０からそれぞれ入力し、各カメラの映像１フレーム分を記憶し、後述する画像補正部３０のバンパーエリア抽出部３１、路面エリア抽出部３２、射影変換部３８に映像信号を出力する。
【００２６】
画像補正部３０は、バンパーエリア抽出部３１と、路面エリア抽出部３２と、セレクタ３３と、ステレオ測距部３４と、理論距離算出部３５と、差分算出部３６と、傾き量記憶部３７と、射影変換部３８とを備えている。画像補正部３０は、元画像メモリ２０に記憶されている２台のカメラ１０の映像を元に、カメラ１０の撮影角度の傾き量を検出し、元画像メモリ２０に記憶されている映像信号を射影変換にて補正したうえで、後述するガイド線重畳部４０に補正後の映像信号を出力する。
【００２７】
ガイド線重畳部４０は、画像補正部３０で補正された映像信号に対して車両の進行方向や車両からの距離をガイドするガイド線を重畳し、ガイド線を重畳した映像信号を出力する。
【００２８】
次に、上記した構成を有する画像補正部３０について詳述する。まず、バンパーエリア抽出部３１が、元画像メモリ２０から出力される２台のカメラ１０で撮影された映像から、映像の中でバンパーが写っている領域であるバンパーエリアを抽出し、路面エリア抽出部３２が路面が写っている領域である路面エリアを抽出する。
【００２９】
図２（ａ）はバンパーエリアの抽出例を示す図、図２（ｂ）は路面エリアの抽出例を示す図であり、斜線部分が抽出領域にあたる。なお、バンパーエリアおよび路面エリアはカメラ１０が取り付けられている自動車の車種、カメラ１０の取り付け位置、取り付け角度、レンズ特性等によって一意に定まるので、映像中から画像処理にてエリアを判別する必要はない。また、ここで抽出されたバンパーエリアはカメラ１０の取り付けずれを検出するために利用し、路面エリアはカメラ１０の取り付けずれおよび車体の傾きに起因するカメラ画像のずれを検出するために利用する。
【００３０】
次に、セレクタ３３が、バンパーエリア抽出部３１及び路面エリア抽出部３２で抽出された２つのエリアをどちらかを選択し、後段のステレオ測距部３４に送る。どちらを選択するかは、例えば、時間によって切り替えることができる。なお、セレクタ３３は、必須の構成ではない。仮にセレクタ３３が存在しない場合は、後段のステレオ測距部３４、理論距離算出部３５、差分算出部３６を、それぞれバンパーエリア用と路面エリア用で２つずつ用意すればよい。しかし、ステレオ測距部３４から、差分算出部３６は比較的演算が複雑であることを考慮し、本実施の形態では、ステレオ測距部３４、理論距離算出部３５、差分算出部３６等の演算器を共用化する構成を採用した。
【００３１】
次に、ステレオ測距部３４が、セレクタ３３で選択されたバンパーエリアまたは路面エリアのいずれかのエリアを対象に距離を測定する。後段で行う補正のために、エリア中の複数点において、距離の測定を行う。測距を実施できた点がエリア中で広く分布し、かつ点数が多いほど補正の精度は向上する。また、一度に必要な測距点が取れなかった場合には、異なる時刻で測距を行って測距結果を統合して利用するのも有効である。
【００３２】
図３（ａ）〜図３（ｃ）は、路面エリアの測距点を統合する例を示す図である。時刻Ｔで測距した測距点４点（図３（ａ））と、時刻Ｔから時刻ｔ進んだ時刻Ｔ＋ｔで測距した測距点４点（図３（ｂ））を統合すると、図３（ｃ）のように計８点の測距点が得られる。なお、本発明では時刻Ｔと時刻Ｔ＋ｔで同じ被写体を測距点としなくてもよいという特長を有するため、一度測距した測距点をトラッキングするなどの処理は必要ない。
【００３３】
ステレオカメラからの映像を元に、映像中のある被写体に対する距離を測定する方法は既に数多く存在する。本実施の形態では、公知の方法を用いて距離の測定を行う。なお、ステレオ測距部３４は、本発明の「測距部」に相当する。
【００３４】
ステレオ測距を実施することにより、ステレオ測距部３４では映像中で距離を求めた点と、その点の映像上の座標値が分かる。図４は、処理結果の例を示す図である。ここでは路面エリアにおけるステレオ測距を例に説明しているが、バンパーエリアについても同様である。バンパーエリアは、路面エリアに比べて色やテクスチャが一様であるため、測距点を定めるのが難しい面もあるが、車体の影などの影響によりバンパーにも変化があるため、時間をかけて測距点を統合すれば十分な測距点の確保が可能である。ステレオ測距部３４は、求めた座標値を理論距離算出部３５と差分算出部３６に送り、距離値（この距離を「測定距離」という）を差分算出部３６に送る。
【００３５】
理論距離算出部３５は、ステレオ測距部３４で測距した測距点の映像上の座標値を受け取ると、カメラ１０にずれが生じていないとしたときの座標点までの距離を算出する（この距離を「理論距離」という）。理論距離算出部３５には、カメラ１０の設置条件のデータを記憶した記憶部３９が接続されている。ここで、設置条件とは、例えば、カメラ１０の取り付け位置の路面からの高さ、取り付け角度、レンズ特性等である。車両と水平な路面上の点は、カメラ１０の取り付け位置の高さ、取り付け角度、レンズ特性が既知であるとき、映像上の座標値と対応して１対１で理論的に求めることができる。レンズ特性とはレンズに対する画角と実像高の関係である。
【００３６】
ここでは説明のため車両を真横から見たときの２次元空間上で説明する。図５は、車両を真横から見たときのカメラ１０の取り付け位置の高さと角度、そして路面の関係を図示したものである。図６は、映像上での光軸中心に撮影されている点の距離を説明する図である。カメラの取り付け位置の高さをＨ、取り付け角度を路面からθとしたとき、映像の中心点までの距離はＨ／ｃｏｓ（θ）で表すことができる。
【００３７】
図７は、垂直光軸上の任意の点Ｐについての説明図であり、映像上での光軸中心から垂直方向にＹピクセル離れた点が路面上の点であるとき、レンズ特性からカメラ光軸中心から角度α離れた点であることが分かるので、任意の点Ｐまでの距離はＨ／ｃｏｓ（θ＋α）となる。同様にして映像上の任意の点について、その任意の点が車体と平行な路面上の点であるならば、映像上の座標値を元に、その座標点までの理論距離を求めることができる。
【００３８】
一方、バンパー上の点は、カメラ１０とバンパーの相対位置関係が既知であるとき、映像中の座標値と対応して１対１で理論的に求めることができる。理論距離の求め方は路面上の点と同様である。理論距離算出部３５は、以上のようにして求めた各測距点の理論距離を、差分算出部３６に送る。
【００３９】
差分算出部３６には、ステレオ測距部３４と理論距離測定部３５から、バンパーエリアまたは路面エリア上における測距点の座標値と測定距離のデータ、理論距離のデータが入力される。差分算出部３６は、入力された測定距離と理論距離の差分を算出し、差分データを理論距離算出部３５にフィードバックする。
【００４０】
図８は、差分算出部３６に入力された路面エリアにおける測距点の座標値及び測定距離データと理論距離データの一例を示す図である。カメラ１０の取り付け位置が設置したときの状態、すなわち設置条件と同じ状態に調整されているならば、ここでの測定距離と理論距離は一致する筈である。図８に示す例では、各座標点において差を生じており、初期の設置状態からずれが生じていることが分かる。この測定距離と理論距離の差をもとにカメラ画像を補正する。
【００４１】
次に、カメラの傾きの補正方法について説明する。本実施の形態では、測定距離と理論距離の差が最も小さくなる射影変換の係数を求める。ここではカメラの傾きを、現実の座標系でのＸ軸に対する回転、Ｙ軸に対する回転、Ｚ軸に対する回転によって生ずると定義する。
【００４２】
図９は、現実の座標系と映像座標系の関係を表す図である。現実の座標系上の点Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）を映像座標（ｘ，ｙ）上へ投影する式は、次式（１）となる。
【数１】
ここで、ｆはカメラの焦点距離である。
【００４３】
現実の座標系上の点ＰをＸ軸周りにθｘ回転させた回転後の点Ｐ（Ｘｗ’，Ｙｗ’，Ｚｗ’）は回転行列を使って次式（２）で表すことができる。
【数２】
上式の回転後の点Ｐ（Ｘｗ’，Ｙｗ’，Ｚｗ’）に対応する映像座標上の点（ｘｘ，ｙｘ）は、映像座標（ｘ，ｙ）を使って次式（３）で表される。
【数３】
【００４４】
同様に、現実の座標系上の点ＰをＹ軸周りにθｙ回転させた回転後の点に対応する映像座標上の点（ｘｙ，ｙｙ）は、映像座標（ｘ，ｙ）を使って次式（４）で表される。
【数４】
同様に、現実の座標系上の点ＰをＺ軸周りにθｚ回転させた回転後の点に対応する映像座標上の点（ｘｚ，ｙｚ）は、映像座標（ｘ，ｙ）を使って次式（５）で表される。
【数５】
【００４５】
上に示した式（３）、式（４）、式（５）を用いることにより、現実の座標系上の点ＰをＸ軸、Ｙ軸、Ｚ軸周りに回転させた回転後の点に対応する映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、映像座標（ｘ，ｙ）を使って次式（６）で表される。
【数６】
【００４６】
以上のように求めた映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、カメラの取り付け位置が本来の取り付け位置に対してＸ軸周りにθｘ、Ｙ軸周りにθｙ、Ｚ軸回りにθｚずれたときの座標値であり、図１０に示すように撮影角度のずれによって本来撮像される画素に対してもずれが生じる。したがって、理論距離を求める座標値は（ｘｘｙｚ，ｙｘｙｚ）に修正される。理論距離算出部３５は、この修正された座標値（ｘｘｙｚ，ｙｘｙｚ）を用いて、カメラ取り付け位置を修正したと仮定したときの理論距離を算出する。
【００４７】
図１１は、カメラ取り付け位置を修正しながら理論距離を測定するときのフローチャートを示す図である。まず、カメラの取り付け位置を修正する。具体的には、カメラをＸ軸、Ｙ軸、Ｚ軸方向に回転する（Ｓ１０）。カメラ取付位置の修正量を見つけるための試行は、例えば、カメラ取り付けずれ量の変化に応じて、Ｘ軸周りのずれθｘ、Ｙ軸周りのずれθｙ、Ｚ軸回りのずれθｚを変えて行ってもよいし、所定の角度範囲においてＸ軸周りのずれθｘ、Ｙ軸周りのずれθｙ、Ｚ軸回りのずれθｚの組み合わせを総当たりで行ってもよい。
【００４８】
次に、カメラの取り付け位置を修正した状態で、測距点までの理論距離を求め（Ｓ１２）、求めた理論距離と測定距離との差分を求める（Ｓ１４）。この差分を求める処理を複数の測距点について行い、求めた差分の総和を計算する。差分の総和が、カメラの取り付け位置を修正して行ったこれまでの試行の中で最小であるか否かを判定する（Ｓ１６）。この結果、差分が最小である場合には（Ｓ１６でＹＥＳ）、その回転量（θｘ、θｙ、θｚ）を記録する（Ｓ１８）。
【００４９】
次に、試行回数が終了条件の試行回数に到達したか否かを判定する（Ｓ２０）。終了条件は、あらかじめ定めた回数の試行とし、最終的に全ての測距点における測定測距と修正後の理論距離の差分の総和が最も小さいときの回転角（θｘ、θｙ、θｚ）の組み合わせがカメラ位置の取り付けずれ量となる。試行回数が終了条件に到達した場合には（Ｓ２０でＹＥＳ）、最終的に記録された回転量を、撮影角度の傾き量、すなわち、カメラの撮影角度を修正すべき修正量として出力する。なお、終了条件は試行回数に限らず、あらかじめ定めた差分総和以下の組み合わせが見つかった時点で終了するようにしてもよい。
【００５０】
ここまで路面エリア上における測距点を例にとって車体の傾きの測定方法について説明してきたが、バンパーエリア上の測距点を使ったカメラの傾き量の測定についても同様の方法で求めることができる。差分算出部３６は、差分が最小となる傾き量を傾き量記憶部３７に記憶する。傾き量記憶部３７には、バンパーエリア上の測距点を用いて求めた傾き量のデータと、路上エリア上の測距点を用いて求めた傾き量のデータとを記憶する。バンパー上の測距点を用いて求めた傾き量は、カメラの取り付けずれの傾き量を示すので、以下「取付傾き量」という。ここで、取付傾き量を表す回転角を（θｔｘ、θｔｙ、θｔｚ）、撮影傾き量を表す回転角を（θｓｘ、θｓｙ、θｓｚ）とする。路上エリアの測距点を用いて求めた傾き量は、カメラの取り付けずれと車両の傾きを含むカメラの撮影角度の傾きを示すので、以下「撮影傾き量」という。
【００５１】
次に、射影変換部３８は傾き量記憶部３７に記憶された撮影傾き量のデータを用いて、カメラからの入力映像に対して射影変換を行う。射影変換部３８は、撮影傾き量を表す回転角（θｓｘ、θｓｙ、θｓｚ）を使うことにより、現実の座標系上の点ＰをＸ軸、Ｙ軸、Ｚ軸周りにそれぞれ（θｓｘ、θｓｙ、θｓｚ）だけ回転させた回転後の点に対応する映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）を求める。映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、変換前の点（ｘ，ｙ）を使って、次式（７）で表される。
【数７】
【００５２】
以上のように射影変換した映像は、カメラ取り付けずれと車体傾きによって生じる映像のずれを補正したものとなる。なお、射影変換部３８は本発明の「補正部」に相当する。次に射影変換部３８で補正された映像はガイド線重畳部４０に入力され、車両の進行方向を示すガイド線などが重畳される。重畳されるガイド線はあらかじめ与えられるものとする。
【００５３】
図１２（ａ）は補正前の映像、図１２（ｂ）は補正後の映像例である。画像補正部３０において映像のずれが補正されているので、映像とガイド線の重畳位置のずれがなくなり、運転手に正しい映像を提示することができる。
【００５４】
このような実施の形態の運転支援装置によれば、経年変化等によって生じるカメラ取り付けずれと、乗員や積荷等の重量によって発生する車体傾きという２つの要因によって生じるカメラ映像のずれに対して、自動車の走行中に自動的に補正を行い、運転手に対して常に正常な映像を提示することができる。
【００５５】
また、上記した実施の形態の運転支援装置によれば、カメラ画像を画像信号上で電気的に補正するため、カメラの取り付け位置を物理的に調整する必要がなくユーザの負担を著しく軽減することができる。
【００５６】
なお、上記した実施の形態では、映像のずれを生じる要因としてＸ軸、Ｙ軸、Ｚ軸に対する回転のみを対象として説明したが、補正の対象はこれに限るものではない。例えば、回転だけでなく、Ｘ軸、Ｙ軸、Ｚ軸に対する平行移動もずれの要因となる。この場合、式（２）におけるＸｗ、Ｙｗ、Ｚｗについてそれぞれの軸に対する平行移動量分を差し引いた値に置き換えればよい。
【００５７】
また、上記した実施の形態では、映像とガイド線のずれを補正する方法として、映像を補正したうえでガイド線を重畳していたが、映像のずれはそのままにガイド線を映像のずれに合わせて補正することで映像とガイド線のずれを一致させてもよい。
【００５８】
上記した実施の形態において、取付傾き量が所定の閾値を超える場合には、ユーザに対し、カメラの取付角度が傾いていることを通知してもよい。これにより、運転手は、カメラの取付角度を調整するきっかけを得ることができる。
【産業上の利用可能性】
【００５９】
以上のように、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを適切に補正できるという効果を有し、カメラ画像に運転支援情報を重畳して表示する運転支援装置として有用である。
【符号の説明】
【００６０】
１０ カメラ
１１ レンズ
１２ 撮像素子
１３ Ａ／Ｄ変換器
１４ カメラ信号処理回路
２０ 元画像メモリ
３０ 画像補正部
３１ バンパーエリア抽出部
３２ 路面エリア抽出部
３３ セレクタ
３４ ステレオ測距部
３５ 理論距離算出部
３６ 差分算出部
３７ 傾き量記憶部
３８ 射影変換部
３９ 設置条件記憶部
４０ ガイド線重畳部
１００ 運転支援装置
【技術分野】
【０００１】
本発明は、車両に搭載された車載カメラで撮影した画像に運転を支援する情報を重畳して表示する運転支援装置に関する。
【背景技術】
【０００２】
近年、車載カメラで撮影した画像を利用して、自動車の安全運転を支援する運転支援装置が知られている。運転支援装置として、車載カメラにより車両周辺の状況を撮影し、運転手から死角となる場所を映像として提示するとともに、車両の進行方向などを示すガイド線を映像に重畳することで駐車動作を支援するものが知られている。
【０００３】
車載カメラの取り付け及び取り付け微調整は自動車メーカにおける車体組立工場において実施され、ユーザに自動車が納品された後は通常使用においてアフターケアされない。したがって、数年から数十年におよぶ自動車の走行による経年変化、あるいは軽微な接触等によってカメラの取り付け位置が僅かにずれてしまう問題を生じる。カメラが位置ずれを生じた場合、特にガイド線を重畳する場合において、自動車の実際の進行方向と映像上におけるガイド線の重畳位置とにずれが生じ運転手の判断を誤らせる要因となる。
【０００４】
このようなカメラの取り付けずれに対して、例えば、特許文献１では、リアカメラならばバンパー、サイドカメラならば前方ウインカーの位置を映像中から検出し、あらかじめ正解位置として保持しているテンプレート画像と比較を行う。その結果、現在の映像とテンプレート画像とに相違があるならばカメラの取り付け位置にずれが生じていると判別する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０４５８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像とガイド線の位置のずれが発生する要因は、カメラの取り付けずれだけではない。映像とガイド線の位置のずれが発生するもう一つの大きな要因として、乗員や積荷などの重量によって生じる車体自体の傾きが挙げられる。この場合、カメラの取り付け位置に関しては問題を生じていないため、特許文献１のように自車体の一部を使って校正を行うだけでは車体の傾きを検知することができず、映像とガイド線の位置のずれが充分に補正できないという課題があった。
【０００７】
本発明は、従来の問題を解決するためになされたもので、初期状態からの画像のずれを自動的に補正する機能を有する運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の運転支援装置は、車両に取り付けられたカメラと、前記カメラの設置条件のデータを記憶した記憶部と、前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、前記所定点までの距離を求める測距部と、前記測距部にて求めた距離と前記理論距離算出部にて求めた距離との差分を求める差分算出部と、前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部と、前記補正部にて補正した画像に対し、運転を支援するための情報を重畳する重畳部とを備えた構成を有する。ここで、前記補正部は、前記カメラで撮影された画像を幾何学変換により補正してもよい。
【０００９】
このように測距によって求めた距離と設置条件（例えば、路面からの高さ、撮影角度等）のデータから求めた距離との差分に基づいて、初期の設置状態で撮影した場合に得られるであろうカメラの画像とのずれを補正することができる。これにより、カメラ画像に適切に運転支援情報を重畳することができる。なお、路面上の所定点としては、例えば白線やマンホールを用いることができる。
【００１０】
本発明の運転支援装置において、前記カメラはステレオカメラであり、前記測距部はステレオ測距により距離を求める構成を有する。
【００１１】
このようにステレオ測距を行うことにより、カメラの画像だけを用いて画像のずれを補正することができる。
【００１２】
本発明の運転支援装置において、前記理論距離算出部および前記測距部は、前記車両の一部分を前記所定点として距離を求める構成を有する。この構成により、車両の傾きに影響を受けずカメラの取り付けずれを検出することができる。ここで、前記車両の一部は、バンパーであってもよい。バンパーは標準的に撮影されているので、本発明のためにカメラの取り付け位置を変更する必要がない。
【００１３】
本発明の運転支援装置は、前記測距部にて求めた距離と前記理論距離算出部にて算出した距離が一致しない場合、前記カメラの設置条件を前記記憶部に記憶された設置条件から変えながら、前記理論距離算出部にて前記所定点までの距離を求める処理および前記差分算出部にて差分を求める処理を繰り返し行って複数の異なる設置条件において前記差分を求め、前記差分が最小となる設置条件と前記記憶部に記憶された設置条件との撮影角度のずれを傾き量として求め、前記補正部は、傾き量を用いて、前記カメラで撮影された画像を補正する構成を有する。
【００１４】
この構成により、カメラの取り付けずれや車両の傾きによって生じた撮影角度の傾き量を求め、この傾き量によって適切にカメラ画像を補正できる。
【００１５】
本発明の車載カメラは、車両に取り付けられた複数のカメラからなる車載カメラであって、前記複数のカメラの設置条件のデータを記憶した記憶部と、前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、前記複数のカメラにて撮影した画像を用いて前記所定点までの距離をステレオ測距する測距部と、前記測距部で求めた距離と前記理論距離算出部で求めた距離との差分を求める差分算出部と、前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部とを備えた構成を有する。
【００１６】
このようにステレオ測距によって求めた距離と設置条件のデータから求めた距離との差分に基づいて、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを補正することができる。
【００１７】
本発明の運転支援方法は、車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示する方法であって、運転支援装置が、カメラにて画像を撮影するステップと、前記運転支援装置が、記憶部から前記カメラの設置条件のデータを読み出すステップと、前記運転支援装置が、前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、前記運転支援装置が、前記所定点までの距離を測距するステップと、前記運転支援装置が、測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、前記運転支援装置が、前記差分に基づいて前記カメラで撮影された画像を補正するステップと、前記運転支援装置が、補正された画像に対し、運転を支援するための情報を重畳するステップとを備えた構成を有する。
【００１８】
また、本発明のプログラムは、車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示するためのプログラムであって、コンピュータに、前記カメラにて撮影した画像を取得するステップと、記憶部から前記カメラの設置条件のデータを読み出すステップと、前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、前記所定点までの距離を測距するステップと、測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、前記差分に基づいて前記カメラで撮影された画像を補正するステップと、補正された画像に対し、運転を支援するための情報を重畳するステップとを実行させる構成を有する。
【００１９】
これらの構成により、本発明の運転支援方法およびプログラムは、上記した運転支援装置と同様に、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを適切に補正し、カメラ画像に適切に運転支援情報を重畳することができる。なお、本発明の運転支援方法およびプログラムに、上記した運転支援装置の各種の構成を適用することも可能である。
【発明の効果】
【００２０】
本発明は、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを適切に補正し、カメラ画像に適切に運転支援情報を重畳することができるという効果を有する。
【図面の簡単な説明】
【００２１】
【図１】実施の形態における運転支援装置の概略構成を示すブロック図
【図２】（ａ）バンパーエリアの抽出例を示す図（ｂ）路面エリアの抽出例を示す図
【図３】（ａ）時刻Ｔで測距した測距点を示す図（ｂ）時刻Ｔ＋ｔで測距した測距点を示す図（ｃ）２つの時刻における測距点の統合を示す図
【図４】測距点の座標値と測定距離を示す図
【図５】車両を真横からみたときのカメラ取りつけ位置と路面の関係を示す図
【図６】光軸中心の理論距離を示す図
【図７】垂直光軸上の任意の点の理論距離を示す図
【図８】路面エリアにおける測距点と測定距離と理論距離を示す図
【図９】現実の座標系と映像座標系の関係を示す図
【図１０】カメラの撮影角度のずれによって生じる映像ずれを示す図
【図１１】カメラ取り付け修正と理論距離の測定を行うフローチャート
【図１２】（ａ）補正前の映像例を示す図（ｂ）補正後の映像例を示す図
【発明を実施するための最良の形態】
【００２２】
以下に、本発明の実施の形態の運転支援装置について、図面を参照しながら説明する。
図１は、実施の形態の運転支援装置の構成を示す図である。運転支援装置１００は、２台のカメラ１０と、元画像メモリ２０と、画像補正部３０と、ガイド線重畳部４０とを備えている。画像補正部３０およびガイド線重畳部４０の機能は、プログラムを実行することにより実現することとしてもよい。このようなプログラムも本発明の範囲に含まれる。
【００２３】
２台のカメラ１０は、車両の後方ナンバープレート周辺の所定位置に所定の角度で取り付けられている。２台のカメラ１０は、ステレオカメラによる測距を行うために、所定の距離だけ離して取り付けられる。また、２台のカメラ１０の関係は完全に固定されているものとし、２台のカメラ１０の位置関係や撮影方向の相対的な関係がずれることはないとする。
【００２４】
カメラ１０は、レンズ１１と、撮像素子１２と、Ａ／Ｄ変換器１３と、カメラ信号処理回路１４とを備えており、車両後方の被写体を撮影して映像信号を生成する。レンズ１１は、被写体からの光を撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。カメラ信号処理回路１４は、Ａ／Ｄ変換されたデジタル信号に対して映像を生成するためのカメラ信号処理を行う。カメラ信号処理は、主に輝度信号生成、色信号生成、アパーチャ信号生成であるが、その他にもＯＢ減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
【００２５】
元画像メモリ２０は、カメラ１０のカメラ信号処理回路１４から出力される映像信号を２台のカメラ１０からそれぞれ入力し、各カメラの映像１フレーム分を記憶し、後述する画像補正部３０のバンパーエリア抽出部３１、路面エリア抽出部３２、射影変換部３８に映像信号を出力する。
【００２６】
画像補正部３０は、バンパーエリア抽出部３１と、路面エリア抽出部３２と、セレクタ３３と、ステレオ測距部３４と、理論距離算出部３５と、差分算出部３６と、傾き量記憶部３７と、射影変換部３８とを備えている。画像補正部３０は、元画像メモリ２０に記憶されている２台のカメラ１０の映像を元に、カメラ１０の撮影角度の傾き量を検出し、元画像メモリ２０に記憶されている映像信号を射影変換にて補正したうえで、後述するガイド線重畳部４０に補正後の映像信号を出力する。
【００２７】
ガイド線重畳部４０は、画像補正部３０で補正された映像信号に対して車両の進行方向や車両からの距離をガイドするガイド線を重畳し、ガイド線を重畳した映像信号を出力する。
【００２８】
次に、上記した構成を有する画像補正部３０について詳述する。まず、バンパーエリア抽出部３１が、元画像メモリ２０から出力される２台のカメラ１０で撮影された映像から、映像の中でバンパーが写っている領域であるバンパーエリアを抽出し、路面エリア抽出部３２が路面が写っている領域である路面エリアを抽出する。
【００２９】
図２（ａ）はバンパーエリアの抽出例を示す図、図２（ｂ）は路面エリアの抽出例を示す図であり、斜線部分が抽出領域にあたる。なお、バンパーエリアおよび路面エリアはカメラ１０が取り付けられている自動車の車種、カメラ１０の取り付け位置、取り付け角度、レンズ特性等によって一意に定まるので、映像中から画像処理にてエリアを判別する必要はない。また、ここで抽出されたバンパーエリアはカメラ１０の取り付けずれを検出するために利用し、路面エリアはカメラ１０の取り付けずれおよび車体の傾きに起因するカメラ画像のずれを検出するために利用する。
【００３０】
次に、セレクタ３３が、バンパーエリア抽出部３１及び路面エリア抽出部３２で抽出された２つのエリアをどちらかを選択し、後段のステレオ測距部３４に送る。どちらを選択するかは、例えば、時間によって切り替えることができる。なお、セレクタ３３は、必須の構成ではない。仮にセレクタ３３が存在しない場合は、後段のステレオ測距部３４、理論距離算出部３５、差分算出部３６を、それぞれバンパーエリア用と路面エリア用で２つずつ用意すればよい。しかし、ステレオ測距部３４から、差分算出部３６は比較的演算が複雑であることを考慮し、本実施の形態では、ステレオ測距部３４、理論距離算出部３５、差分算出部３６等の演算器を共用化する構成を採用した。
【００３１】
次に、ステレオ測距部３４が、セレクタ３３で選択されたバンパーエリアまたは路面エリアのいずれかのエリアを対象に距離を測定する。後段で行う補正のために、エリア中の複数点において、距離の測定を行う。測距を実施できた点がエリア中で広く分布し、かつ点数が多いほど補正の精度は向上する。また、一度に必要な測距点が取れなかった場合には、異なる時刻で測距を行って測距結果を統合して利用するのも有効である。
【００３２】
図３（ａ）〜図３（ｃ）は、路面エリアの測距点を統合する例を示す図である。時刻Ｔで測距した測距点４点（図３（ａ））と、時刻Ｔから時刻ｔ進んだ時刻Ｔ＋ｔで測距した測距点４点（図３（ｂ））を統合すると、図３（ｃ）のように計８点の測距点が得られる。なお、本発明では時刻Ｔと時刻Ｔ＋ｔで同じ被写体を測距点としなくてもよいという特長を有するため、一度測距した測距点をトラッキングするなどの処理は必要ない。
【００３３】
ステレオカメラからの映像を元に、映像中のある被写体に対する距離を測定する方法は既に数多く存在する。本実施の形態では、公知の方法を用いて距離の測定を行う。なお、ステレオ測距部３４は、本発明の「測距部」に相当する。
【００３４】
ステレオ測距を実施することにより、ステレオ測距部３４では映像中で距離を求めた点と、その点の映像上の座標値が分かる。図４は、処理結果の例を示す図である。ここでは路面エリアにおけるステレオ測距を例に説明しているが、バンパーエリアについても同様である。バンパーエリアは、路面エリアに比べて色やテクスチャが一様であるため、測距点を定めるのが難しい面もあるが、車体の影などの影響によりバンパーにも変化があるため、時間をかけて測距点を統合すれば十分な測距点の確保が可能である。ステレオ測距部３４は、求めた座標値を理論距離算出部３５と差分算出部３６に送り、距離値（この距離を「測定距離」という）を差分算出部３６に送る。
【００３５】
理論距離算出部３５は、ステレオ測距部３４で測距した測距点の映像上の座標値を受け取ると、カメラ１０にずれが生じていないとしたときの座標点までの距離を算出する（この距離を「理論距離」という）。理論距離算出部３５には、カメラ１０の設置条件のデータを記憶した記憶部３９が接続されている。ここで、設置条件とは、例えば、カメラ１０の取り付け位置の路面からの高さ、取り付け角度、レンズ特性等である。車両と水平な路面上の点は、カメラ１０の取り付け位置の高さ、取り付け角度、レンズ特性が既知であるとき、映像上の座標値と対応して１対１で理論的に求めることができる。レンズ特性とはレンズに対する画角と実像高の関係である。
【００３６】
ここでは説明のため車両を真横から見たときの２次元空間上で説明する。図５は、車両を真横から見たときのカメラ１０の取り付け位置の高さと角度、そして路面の関係を図示したものである。図６は、映像上での光軸中心に撮影されている点の距離を説明する図である。カメラの取り付け位置の高さをＨ、取り付け角度を路面からθとしたとき、映像の中心点までの距離はＨ／ｃｏｓ（θ）で表すことができる。
【００３７】
図７は、垂直光軸上の任意の点Ｐについての説明図であり、映像上での光軸中心から垂直方向にＹピクセル離れた点が路面上の点であるとき、レンズ特性からカメラ光軸中心から角度α離れた点であることが分かるので、任意の点Ｐまでの距離はＨ／ｃｏｓ（θ＋α）となる。同様にして映像上の任意の点について、その任意の点が車体と平行な路面上の点であるならば、映像上の座標値を元に、その座標点までの理論距離を求めることができる。
【００３８】
一方、バンパー上の点は、カメラ１０とバンパーの相対位置関係が既知であるとき、映像中の座標値と対応して１対１で理論的に求めることができる。理論距離の求め方は路面上の点と同様である。理論距離算出部３５は、以上のようにして求めた各測距点の理論距離を、差分算出部３６に送る。
【００３９】
差分算出部３６には、ステレオ測距部３４と理論距離測定部３５から、バンパーエリアまたは路面エリア上における測距点の座標値と測定距離のデータ、理論距離のデータが入力される。差分算出部３６は、入力された測定距離と理論距離の差分を算出し、差分データを理論距離算出部３５にフィードバックする。
【００４０】
図８は、差分算出部３６に入力された路面エリアにおける測距点の座標値及び測定距離データと理論距離データの一例を示す図である。カメラ１０の取り付け位置が設置したときの状態、すなわち設置条件と同じ状態に調整されているならば、ここでの測定距離と理論距離は一致する筈である。図８に示す例では、各座標点において差を生じており、初期の設置状態からずれが生じていることが分かる。この測定距離と理論距離の差をもとにカメラ画像を補正する。
【００４１】
次に、カメラの傾きの補正方法について説明する。本実施の形態では、測定距離と理論距離の差が最も小さくなる射影変換の係数を求める。ここではカメラの傾きを、現実の座標系でのＸ軸に対する回転、Ｙ軸に対する回転、Ｚ軸に対する回転によって生ずると定義する。
【００４２】
図９は、現実の座標系と映像座標系の関係を表す図である。現実の座標系上の点Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）を映像座標（ｘ，ｙ）上へ投影する式は、次式（１）となる。
【数１】
ここで、ｆはカメラの焦点距離である。
【００４３】
現実の座標系上の点ＰをＸ軸周りにθｘ回転させた回転後の点Ｐ（Ｘｗ’，Ｙｗ’，Ｚｗ’）は回転行列を使って次式（２）で表すことができる。
【数２】
上式の回転後の点Ｐ（Ｘｗ’，Ｙｗ’，Ｚｗ’）に対応する映像座標上の点（ｘｘ，ｙｘ）は、映像座標（ｘ，ｙ）を使って次式（３）で表される。
【数３】
【００４４】
同様に、現実の座標系上の点ＰをＹ軸周りにθｙ回転させた回転後の点に対応する映像座標上の点（ｘｙ，ｙｙ）は、映像座標（ｘ，ｙ）を使って次式（４）で表される。
【数４】
同様に、現実の座標系上の点ＰをＺ軸周りにθｚ回転させた回転後の点に対応する映像座標上の点（ｘｚ，ｙｚ）は、映像座標（ｘ，ｙ）を使って次式（５）で表される。
【数５】
【００４５】
上に示した式（３）、式（４）、式（５）を用いることにより、現実の座標系上の点ＰをＸ軸、Ｙ軸、Ｚ軸周りに回転させた回転後の点に対応する映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、映像座標（ｘ，ｙ）を使って次式（６）で表される。
【数６】
【００４６】
以上のように求めた映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、カメラの取り付け位置が本来の取り付け位置に対してＸ軸周りにθｘ、Ｙ軸周りにθｙ、Ｚ軸回りにθｚずれたときの座標値であり、図１０に示すように撮影角度のずれによって本来撮像される画素に対してもずれが生じる。したがって、理論距離を求める座標値は（ｘｘｙｚ，ｙｘｙｚ）に修正される。理論距離算出部３５は、この修正された座標値（ｘｘｙｚ，ｙｘｙｚ）を用いて、カメラ取り付け位置を修正したと仮定したときの理論距離を算出する。
【００４７】
図１１は、カメラ取り付け位置を修正しながら理論距離を測定するときのフローチャートを示す図である。まず、カメラの取り付け位置を修正する。具体的には、カメラをＸ軸、Ｙ軸、Ｚ軸方向に回転する（Ｓ１０）。カメラ取付位置の修正量を見つけるための試行は、例えば、カメラ取り付けずれ量の変化に応じて、Ｘ軸周りのずれθｘ、Ｙ軸周りのずれθｙ、Ｚ軸回りのずれθｚを変えて行ってもよいし、所定の角度範囲においてＸ軸周りのずれθｘ、Ｙ軸周りのずれθｙ、Ｚ軸回りのずれθｚの組み合わせを総当たりで行ってもよい。
【００４８】
次に、カメラの取り付け位置を修正した状態で、測距点までの理論距離を求め（Ｓ１２）、求めた理論距離と測定距離との差分を求める（Ｓ１４）。この差分を求める処理を複数の測距点について行い、求めた差分の総和を計算する。差分の総和が、カメラの取り付け位置を修正して行ったこれまでの試行の中で最小であるか否かを判定する（Ｓ１６）。この結果、差分が最小である場合には（Ｓ１６でＹＥＳ）、その回転量（θｘ、θｙ、θｚ）を記録する（Ｓ１８）。
【００４９】
次に、試行回数が終了条件の試行回数に到達したか否かを判定する（Ｓ２０）。終了条件は、あらかじめ定めた回数の試行とし、最終的に全ての測距点における測定測距と修正後の理論距離の差分の総和が最も小さいときの回転角（θｘ、θｙ、θｚ）の組み合わせがカメラ位置の取り付けずれ量となる。試行回数が終了条件に到達した場合には（Ｓ２０でＹＥＳ）、最終的に記録された回転量を、撮影角度の傾き量、すなわち、カメラの撮影角度を修正すべき修正量として出力する。なお、終了条件は試行回数に限らず、あらかじめ定めた差分総和以下の組み合わせが見つかった時点で終了するようにしてもよい。
【００５０】
ここまで路面エリア上における測距点を例にとって車体の傾きの測定方法について説明してきたが、バンパーエリア上の測距点を使ったカメラの傾き量の測定についても同様の方法で求めることができる。差分算出部３６は、差分が最小となる傾き量を傾き量記憶部３７に記憶する。傾き量記憶部３７には、バンパーエリア上の測距点を用いて求めた傾き量のデータと、路上エリア上の測距点を用いて求めた傾き量のデータとを記憶する。バンパー上の測距点を用いて求めた傾き量は、カメラの取り付けずれの傾き量を示すので、以下「取付傾き量」という。ここで、取付傾き量を表す回転角を（θｔｘ、θｔｙ、θｔｚ）、撮影傾き量を表す回転角を（θｓｘ、θｓｙ、θｓｚ）とする。路上エリアの測距点を用いて求めた傾き量は、カメラの取り付けずれと車両の傾きを含むカメラの撮影角度の傾きを示すので、以下「撮影傾き量」という。
【００５１】
次に、射影変換部３８は傾き量記憶部３７に記憶された撮影傾き量のデータを用いて、カメラからの入力映像に対して射影変換を行う。射影変換部３８は、撮影傾き量を表す回転角（θｓｘ、θｓｙ、θｓｚ）を使うことにより、現実の座標系上の点ＰをＸ軸、Ｙ軸、Ｚ軸周りにそれぞれ（θｓｘ、θｓｙ、θｓｚ）だけ回転させた回転後の点に対応する映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）を求める。映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、変換前の点（ｘ，ｙ）を使って、次式（７）で表される。
【数７】
【００５２】
以上のように射影変換した映像は、カメラ取り付けずれと車体傾きによって生じる映像のずれを補正したものとなる。なお、射影変換部３８は本発明の「補正部」に相当する。次に射影変換部３８で補正された映像はガイド線重畳部４０に入力され、車両の進行方向を示すガイド線などが重畳される。重畳されるガイド線はあらかじめ与えられるものとする。
【００５３】
図１２（ａ）は補正前の映像、図１２（ｂ）は補正後の映像例である。画像補正部３０において映像のずれが補正されているので、映像とガイド線の重畳位置のずれがなくなり、運転手に正しい映像を提示することができる。
【００５４】
このような実施の形態の運転支援装置によれば、経年変化等によって生じるカメラ取り付けずれと、乗員や積荷等の重量によって発生する車体傾きという２つの要因によって生じるカメラ映像のずれに対して、自動車の走行中に自動的に補正を行い、運転手に対して常に正常な映像を提示することができる。
【００５５】
また、上記した実施の形態の運転支援装置によれば、カメラ画像を画像信号上で電気的に補正するため、カメラの取り付け位置を物理的に調整する必要がなくユーザの負担を著しく軽減することができる。
【００５６】
なお、上記した実施の形態では、映像のずれを生じる要因としてＸ軸、Ｙ軸、Ｚ軸に対する回転のみを対象として説明したが、補正の対象はこれに限るものではない。例えば、回転だけでなく、Ｘ軸、Ｙ軸、Ｚ軸に対する平行移動もずれの要因となる。この場合、式（２）におけるＸｗ、Ｙｗ、Ｚｗについてそれぞれの軸に対する平行移動量分を差し引いた値に置き換えればよい。
【００５７】
また、上記した実施の形態では、映像とガイド線のずれを補正する方法として、映像を補正したうえでガイド線を重畳していたが、映像のずれはそのままにガイド線を映像のずれに合わせて補正することで映像とガイド線のずれを一致させてもよい。
【００５８】
上記した実施の形態において、取付傾き量が所定の閾値を超える場合には、ユーザに対し、カメラの取付角度が傾いていることを通知してもよい。これにより、運転手は、カメラの取付角度を調整するきっかけを得ることができる。
【産業上の利用可能性】
【００５９】
以上のように、初期の設置状態で撮影した場合に得られるであろうカメラ画像とのずれを適切に補正できるという効果を有し、カメラ画像に運転支援情報を重畳して表示する運転支援装置として有用である。
【符号の説明】
【００６０】
１０ カメラ
１１ レンズ
１２ 撮像素子
１３ Ａ／Ｄ変換器
１４ カメラ信号処理回路
２０ 元画像メモリ
３０ 画像補正部
３１ バンパーエリア抽出部
３２ 路面エリア抽出部
３３ セレクタ
３４ ステレオ測距部
３５ 理論距離算出部
３６ 差分算出部
３７ 傾き量記憶部
３８ 射影変換部
３９ 設置条件記憶部
４０ ガイド線重畳部
１００ 運転支援装置
【特許請求の範囲】
【請求項１】
車両に取り付けられたカメラと、
前記カメラの設置条件のデータを記憶した記憶部と、
前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、
前記所定点までの距離を求める測距部と、
前記測距部にて求めた距離と前記理論距離算出部にて求めた距離との差分を求める差分算出部と、
前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部と、
前記補正部にて補正した画像に対し、運転を支援するための情報を重畳する重畳部と、
を備えたことを特徴とする運転支援装置。
【請求項２】
前記カメラはステレオカメラであり、前記測距部はステレオ測距により距離を求めることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記理論距離算出部および前記測距部は、前記車両の一部分を前記所定点として距離を求めることを特徴とする請求項１または請求項２に記載の運転支援装置。
【請求項４】
前記車両の一部は、バンパーであることを特徴とする請求項３に記載の運転支援装置。
【請求項５】
前記補正部は、前記カメラで撮影された画像を幾何学変換により補正することを特徴とする請求項１〜４のいずれかに記載の運転支援装置。
【請求項６】
前記測距部にて求めた距離と前記理論距離算出部にて算出した距離が一致しない場合、前記カメラの設置条件を前記記憶部に記憶された設置条件から変えながら、前記理論距離算出部にて前記所定点までの距離を求める処理および前記差分算出部にて差分を求める処理を繰り返し行って複数の異なる設置条件において前記差分を求め、前記差分が最小となる設置条件と前記記憶部に記憶された設置条件との撮影角度のずれを傾き量として求め、
前記補正部は、前記傾き量を用いて、前記カメラで撮影された画像を補正する請求項１〜５のいずれかに記載の運転支援装置。
【請求項７】
車両に取り付けられた複数のカメラからなる車載カメラであって、
前記複数のカメラの設置条件のデータを記憶した記憶部と、
前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、
前記複数のカメラにて撮影した画像を用いて前記所定点までの距離をステレオ測距する測距部と、
前記測距部で求めた距離と前記理論距離算出部で求めた距離との差分を求める差分算出部と、
前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部と、
を備えたことを特徴とする車載カメラ。
【請求項８】
車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示する運転支援方法であって、
運転支援装置が、カメラにて画像を撮影するステップと、
前記運転支援装置が、記憶部から前記カメラの設置条件のデータを読み出すステップと、
前記運転支援装置が、前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、
前記運転支援装置が、前記所定点までの距離を測距するステップと、
前記運転支援装置が、測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、
前記運転支援装置が、前記差分に基づいて前記カメラで撮影された画像を補正するステップと、
前記運転支援装置が、補正された画像に対し、運転を支援するための情報を重畳するステップと、
を備えたことを特徴とする運転支援方法。
【請求項９】
車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示するためのプログラムであって、コンピュータに、
前記カメラにて撮影した画像を取得するステップと、
記憶部から前記カメラの設置条件のデータを読み出すステップと、
前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、
前記所定点までの距離を測距するステップと、
測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、
前記差分に基づいて前記カメラで撮影された画像を補正するステップと、
補正された画像に対し、運転を支援するための情報を重畳するステップと、
を実行させることを特徴とするプログラム。
【請求項１】
車両に取り付けられたカメラと、
前記カメラの設置条件のデータを記憶した記憶部と、
前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、
前記所定点までの距離を求める測距部と、
前記測距部にて求めた距離と前記理論距離算出部にて求めた距離との差分を求める差分算出部と、
前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部と、
前記補正部にて補正した画像に対し、運転を支援するための情報を重畳する重畳部と、
を備えたことを特徴とする運転支援装置。
【請求項２】
前記カメラはステレオカメラであり、前記測距部はステレオ測距により距離を求めることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記理論距離算出部および前記測距部は、前記車両の一部分を前記所定点として距離を求めることを特徴とする請求項１または請求項２に記載の運転支援装置。
【請求項４】
前記車両の一部は、バンパーであることを特徴とする請求項３に記載の運転支援装置。
【請求項５】
前記補正部は、前記カメラで撮影された画像を幾何学変換により補正することを特徴とする請求項１〜４のいずれかに記載の運転支援装置。
【請求項６】
前記測距部にて求めた距離と前記理論距離算出部にて算出した距離が一致しない場合、前記カメラの設置条件を前記記憶部に記憶された設置条件から変えながら、前記理論距離算出部にて前記所定点までの距離を求める処理および前記差分算出部にて差分を求める処理を繰り返し行って複数の異なる設置条件において前記差分を求め、前記差分が最小となる設置条件と前記記憶部に記憶された設置条件との撮影角度のずれを傾き量として求め、
前記補正部は、前記傾き量を用いて、前記カメラで撮影された画像を補正する請求項１〜５のいずれかに記載の運転支援装置。
【請求項７】
車両に取り付けられた複数のカメラからなる車載カメラであって、
前記複数のカメラの設置条件のデータを記憶した記憶部と、
前記記憶部に記憶された設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出する理論距離算出部と、
前記複数のカメラにて撮影した画像を用いて前記所定点までの距離をステレオ測距する測距部と、
前記測距部で求めた距離と前記理論距離算出部で求めた距離との差分を求める差分算出部と、
前記差分算出部で求めた差分に基づいて前記カメラで撮影された画像を補正する補正部と、
を備えたことを特徴とする車載カメラ。
【請求項８】
車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示する運転支援方法であって、
運転支援装置が、カメラにて画像を撮影するステップと、
前記運転支援装置が、記憶部から前記カメラの設置条件のデータを読み出すステップと、
前記運転支援装置が、前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、
前記運転支援装置が、前記所定点までの距離を測距するステップと、
前記運転支援装置が、測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、
前記運転支援装置が、前記差分に基づいて前記カメラで撮影された画像を補正するステップと、
前記運転支援装置が、補正された画像に対し、運転を支援するための情報を重畳するステップと、
を備えたことを特徴とする運転支援方法。
【請求項９】
車両に取り付けられたカメラにて撮影した画像に、運転を支援するための情報を重畳して表示するためのプログラムであって、コンピュータに、
前記カメラにて撮影した画像を取得するステップと、
記憶部から前記カメラの設置条件のデータを読み出すステップと、
前記設置条件のデータを用いて、前記画像中に映る路上の所定点までの距離を前記画像内での前記所定点の位置座標から算出するステップと、
前記所定点までの距離を測距するステップと、
測距によって求めた距離と位置座標から求めた距離との差分を求めるステップと、
前記差分に基づいて前記カメラで撮影された画像を補正するステップと、
補正された画像に対し、運転を支援するための情報を重畳するステップと、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１８０９６２（Ｐ２０１１−１８０９６２Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４６４３９（Ｐ２０１０−４６４３９）
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]