車載カメラ用画像補正方法および車載カメラ用画像補正プログラム
【課題】形状や寸法が既知の図形を用いることなく車載カメラの現在の取り付け角度を求めることができる車載カメラ用画像補正方法および車載カメラ用画像補正プログラムを提供する。
【解決手段】車載カメラ用画像補正方法は、車両に取り付けられたカメラが車両の周囲を撮像するステップＳ１と、カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップＳ５と、検出された動きベクトルを、真上視点の動きベクトルとなるように車両の進行方向軸、路面法線方向軸ならびに進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である真上視点の動きベクトルへの変換式を作成するステップＳ６と、真上視点の動きベクトルへの変換式からカメラの車両に対する取り付け角度を求めるステップＳ７と、を有する。
【解決手段】車載カメラ用画像補正方法は、車両に取り付けられたカメラが車両の周囲を撮像するステップＳ１と、カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップＳ５と、検出された動きベクトルを、真上視点の動きベクトルとなるように車両の進行方向軸、路面法線方向軸ならびに進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である真上視点の動きベクトルへの変換式を作成するステップＳ６と、真上視点の動きベクトルへの変換式からカメラの車両に対する取り付け角度を求めるステップＳ７と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車載カメラ用画像補正方法および車載カメラ用画像補正プログラムに関する。
【背景技術】
【０００２】
自動車などの車両の運転を支援するための技術には、車載カメラにより取得された画像を利用するものがある。この画像を利用する際には、画像を生成する車載カメラの光軸方向の情報が非常に重要である。しかし、車載カメラの光軸方向は、最初の取り付け方向が不明の場合や、取り付け部材の劣化等により経年変化する場合があるほか、荷物の重量による車両の傾きによっても変化する。
【０００３】
このため、車載カメラの現在の光軸方向の情報を取得し、取得した光軸方向の情報に応じて画像の補正を行うための種々の技術が開発されている。この種の技術としては、たとえば路面標示（横断歩道または自転車横断帯があることを示す標示など）を画像から検出することにより光軸補正を行うものがある。路面標示の種類と形式は道路交通法に定められているため、寸法が全国統一またはエリア別に規定されている路面標示を検出対象として用いれば、誤検出を低減し正確に光軸方向の情報を取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、路面標示のように形状や寸法が既知の図形を用いる場合、あらかじめこれらの形状や寸法の情報を取得しておかなければならず煩雑である。また、路面標示などの図形に対する車載カメラの光軸方向に応じて車載カメラ画像に含まれる図形画像の向きが異なるため、このあらかじめ取得した情報を利用するためには、車両を所定の向きから路面表示などの図形に対峙させなければならないとともに、路面表示などの図形の形状のばらつきに対応することが難しい。また、車載カメラ画像における路面画像が斜め視点の画像である場合、真上視点の画像を用いる場合に比べて動きベクトルの検出精度が悪くなってしまう。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る車載カメラ用画像補正方法は、上述した課題を解決するために、車両に取り付けられたカメラが車両の周囲を撮像するステップと、カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、検出された動きベクトルを、真上視点の動きベクトルとなるように車両の進行方向軸、路面法線方向軸ならびに進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である真上視点の動きベクトルへの変換式を作成するステップと、真上視点の動きベクトルへの変換式からカメラの車両に対する取り付け角度を求めるステップとを有する方法である。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置の一例を示すブロック図。
【図２】座標系と回転方向の関係の一例を示す説明図。
【図３】図１に示す車載カメラ用画像補正装置により、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラの現在の取り付け角度を求める際の手順を示すフローチャート。
【図４】（ａ）は理想的な真上視点の平面画像から検出される動きベクトルの一例を示す説明図、（ｂ）は理想的な真上視点からｘ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図、４（ｃ）は理想的な真上視点からｙ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図、（ｄ）は理想的な真上視点からｚ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図。
【図５】（ａ）はｘ軸回転角度ずれとｙ軸回転角度ずれが同時に生じている場合の動きベクトルの一例を示す説明図、（ｂ）は（ａ）の場合における動きベクトルのｕ／ｗのｘ方向分布の一例を示す説明図。
【図６】（ａ）はｚ軸回転角度ずれが生じている場合の動きベクトルの一例を示す説明図、（ｂ）は（ａ）の場合における動きベクトルのｚ方向成分ｗの大きさのｘ方向分布の一例を示す説明図。
【図７】図３のステップＳ６でカメラ角度算出部により実行される、第１の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャート。
【図８】図３のステップＳ６でカメラ角度算出部により実行される、第２の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャート。
【図９】本発明の第２実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置の一例を示すブロック図。
【発明を実施するための形態】
【０００８】
本発明に係る車載カメラ用画像補正方法および車載カメラ用画像補正プログラムの実施の形態について、添付図面を参照して説明する。
【０００９】
本発明の一実施形態に係る車載カメラ用画像補正方法は、車載カメラの取得画像から動きベクトルを検出し、この動きベクトルを真上視点の動きベクトルに変換する変換式を求めることによって車載カメラの現在の取り付け角度（光軸方向の情報）を取得する方法である。
【００１０】
（１．第１の実施形態）
（１−１．構成）
図１は、本発明の第１実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置１０の一例を示すブロック図である。
【００１１】
車載カメラ用画像補正装置１０は、車載カメラ１１、制御部１２、特徴路面検出部１３、画像メモリ１４、平面画像生成部１５、ルックアップテーブル１６、動きベクトル検出部１７およびカメラ角度算出部１８を有する。
【００１２】
車載カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して画像メモリ１３および特徴路面検出部１４に与える。
【００１３】
たとえば後方を監視する場合、車載カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。車載カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。また、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。
【００１４】
制御部１２は、たとえばＣＰＵ、ＲＡＭ、ＲＯＭを備えたマイクロコントローラにより構成され、各部１３−１８の動作を統括して管理する。
【００１５】
特徴路面検出部１３は、車載カメラ１１により撮像された画像のうち、路面画像が特徴点を含む路面画像（以下、特徴路面画像という）である画像を検出し、検出した旨の情報を制御部１２に与える。
【００１６】
特徴路面検出部１３は、路面画像が動きベクトルを検出する足がかりとなる特徴点を含む路面画像（特徴路面画像）を検出すればよく、形状や寸法が既知の図形を検出する必要はない。換言すれば、特徴路面検出部１３は、特徴点を含まない平坦な路面画像であると特徴路面画像ではないと判定する。特徴路面検出部１３が特徴路面画像を検出する場合としては、たとえば路面上に描かれた路面標示や模様が検出された場合や、路面画像のうち車両の進行方向に対して横方向の部分に所定数以上の明暗エッジが検出された場合などが挙げられる。
【００１７】
また、特徴路面検出部１３は、車両を前進または後進させつつ車載カメラ１１から複数の画像を取得し、ルックアップテーブル１６を用いてこれらの画像を平面画像とし、動きベクトル検出部１７が所定の大きさ以上の動きベクトルを所定の数以上検出したことをもって特徴路面画像を検出してもよい。
【００１８】
画像メモリ１４は、車載カメラ１１により撮像された画像を複数フレーム分記憶する。この記憶するフレームの数は、あらかじめユーザにより設定されてもよいし、初期設定されてもよい。また、画像メモリ１４は、特徴路面画像が検出されると、制御部１２によって、特徴路面画像の検出時点から過去に所定数のフレーム分さかのぼって画像を読み出されてもよい。また、画像メモリ１４は、特徴路面画像が検出されると、制御部１２によって、この検出された時点から車載カメラ１１により撮像された画像の記憶を開始するよう制御されてもよい。
【００１９】
平面画像生成部１５は、特徴路面画像が検出されると、画像メモリ１４から画像を複数読み出し、ルックアップテーブル１６を用いてそれぞれの画像について平面画像を生成する。
【００２０】
ルックアップテーブル１６は、車載カメラ１１により撮像された画像を、車両に対する車載カメラ１１の初期の取り付け角度にもとづいて仮の真上視点の平面画像（理想的な真上視点の平面画像を目指した平面画像）を生成するために平面画像生成部１５により用いられるテーブルである。また、たとえば車載カメラ１１に広角レンズが取り付けられている場合は、ルックアップテーブル１６は、車載カメラ１１により撮像された広角画像を通常の２次元画像に正規化するとともに、この正規化画像を、車両に対する車載カメラ１１の初期の取り付け角度にもとづいて仮の真上視点の平面画像を生成するために用いられる。
【００２１】
動きベクトル検出部１７は、ブロックマッチング法や勾配法などを用いて、平面画像生成部１５により生成された複数の平面画像から画素ごとに動きベクトルを算出する。
【００２２】
車両に対する車載カメラ１１の最初の取り付け角度が初期設定値に対してずれていない場合や、現在の取り付け角度が初期の角度から変化していない場合は、このルックアップテーブル１６を用いて生成された仮の真上視点の平面画像は正確な（理想的な）真上視点の平面画像となり、この理想的な平面画像から検出される動きベクトル（以下、真上視点の動きベクトルという）は全てｚ成分のみを有し大きさが同一のベクトルとなる。
【００２３】
しかし、車載カメラ１１の取り付け角度（光軸方向）は、最初の取り付け方向が不明の場合や、取り付け部材の劣化等により経年変化する場合があるほか、荷物の重量による車両の傾きによっても変化する。
【００２４】
図２は、座標系と回転方向の関係の一例を示す説明図である。以下の説明では、図２に示すように、進行方向をｚ軸、路面法線方向をｙ軸、進行方向および路面法線方向に互いに直交する方向をｘ軸とする座標系を用いる場合の例について示す。また、動きベクトルのｘ、ｙ、ｚ成分をそれぞれｕ、ｖ、ｗとあらわすものとする。また、図２においては、ｘ軸、ｙ軸、ｚ軸周りの回転をそれぞれＲｘ、Ｒｙ、Ｒｚとして示した。
【００２５】
車載カメラ１１により撮像された画像は、平面画像生成部１５により、理想的にはｙ＝ｆで表されるカメラ投影面２１に展開されることになる。ここで、ｆは車載カメラ１１の焦点距離であるものとする。しかし、最初の取り付け角度が初期設定値に対してずれていない場合や、車両に対する車載カメラ１１の現在の取り付け角度が初期の角度から変化している場合は、カメラ投影面２１はｙ＝ｆの面からｘ軸、ｙ軸、ｚ軸周りに回転している。回転した平面画像から検出される動きベクトルは、理想的な真上視点の平面画像から検出される真上視点の動きベクトルを、ｘ軸、ｙ軸、ｚ軸周りに回転したものとなってしまう。
【００２６】
そこで、カメラ角度算出部１８は、動きベクトル検出部１７により検出された動きベクトルを、変換式を用いて回転補正することにより、真上視点の動きベクトルへのを得た変換式から、車両に対する車載カメラ１１の現在の取り付け角度を算出する。
【００２７】
（１−２．動作）
次に、本実施形態に係る車載カメラ用画像補正装置１０の動作の一例について説明する。
【００２８】
（１−２−１．概要）
図３は、図１に示す車載カメラ用画像補正装置１０により、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求める際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００２９】
なお、加速度がある状態では、加速度や舵角により車両全体が傾くなどして検出する動きベクトルがずれるおそれがある。このため、この手順は加速度なしかつ舵角なしに等速で車両が直進している状態でスタートすることが好ましい。
【００３０】
まず、ステップＳ１において、車載カメラ１１は、少なくとも路面を含む車両周囲の画像を取り込んで画像信号を生成して画像メモリ１３および特徴路面検出部１４に与える。
【００３１】
次に、ステップＳ２において、特徴路面検出部１３は、車載カメラ１１により撮像された画像に含まれる路面画像が特徴的な路面の画像か否か、すなわち、車載カメラ１１により撮像された画像が特徴路面画像を含む画像であるか否かを判定する。特徴路面画像を含む画像である場合は、特徴路面画像を含む画像を検出した旨の情報を制御部１２に与えてステップＳ３に進む。一方、特徴路面画像を含む画像でない場合は、引き続き特徴路面画像を含む画像を検出すべく車載カメラ１１により撮像された画像を監視する。
【００３２】
次に、ステップＳ３において、平面画像生成部１５は、画像メモリ１４から複数フレームの画像（たとえば連続する２フレームの画像）を読み出す。
【００３３】
次に、ステップＳ４において、平面画像生成部１５は、画像メモリ１４から読み出した複数フレームの画像のそれぞれについて、ルックアップテーブル１６を用いて平面画像を生成する。
【００３４】
次に、ステップＳ５において、動きベクトル検出部１７は、ブロックマッチング法や勾配法などを用いて、平面画像生成部１５により生成された複数の平面画像から画素ごとに動きベクトル（ｕ、ｖ、ｗ）を検出する。
【００３５】
次に、ステップＳ６において、カメラ角度算出部１８は、動きベクトル検出部１７により検出された動きベクトルを、真上視点の動きベクトルになるように回転補正をする変換式を作成する。
【００３６】
次に、ステップＳ７において、カメラ角度算出部１８は、真上視点の動きベクトルへの変換式から、車両に対する車載カメラ１１の現在の取り付け角度を算出する。なお、ステップＳ６においてすでに取り付け角度が算出されている場合は、ステップＳ７を省略してもよい。
【００３７】
以上の手順によって、形状や寸法が既知の図形を用いることなく、真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求めることができる。
【００３８】
なお、動きベクトルにもとづいて舵角が無いと判断する場合は、補正後に真上視点のベクトルを検出し、ｚ軸方向に離れるほどｕ（ｘ方向成分）の大きさが大きくならなかった場合とするとよい。
【００３９】
また、動きベクトルにもとづいて加速度がないと判断するためには、補正後に真上視点のベクトルを検出し、複数フレーム間でｗ（ｚ方向成分）の大きさが変わらなかった場合とするとよい。
【００４０】
続いて、真上視点の動きベクトルへの変換式生成処理についてより詳細に説明する。
【００４１】
図４（ａ）は理想的な真上視点の平面画像から検出される動きベクトルの一例を示す説明図であり、（ｂ）は理想的な真上視点からｘ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図である。また、図４（ｃ）は理想的な真上視点からｙ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図であり、（ｄ）は理想的な真上視点からｚ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図である。
【００４２】
図４（ａ）に示すように、理想的な真上視点の平面画像から検出される動きベクトルは、どのベクトルもｘ成分およびｙ成分を持たず、ｚ成分のみを持つとともに、大きさが同一となる。
【００４３】
図４（ｂ）に示すように、ｘ軸回転角度のみがずれている場合は、各動きベクトルはｚ軸上の収束点を向き、収束点に近づくほど大きさが小さくなる。
【００４４】
図４（ｃ）に示すように、ｙ軸回転角度のみがずれている場合は、各動きベクトルはｚ軸に対して所定の角度の同じ向きを有するとともに、大きさが同一となる。
【００４５】
図４（ｄ）に示すように、ｚ軸回転角度のみがずれている場合は、各動きベクトルは理想的な場合と同様にｚ成分のみを持つが、その大きさはｘ座標に応じて単調に変化する。
【００４６】
一般に、動きベクトルの検出精度は、真横や真縦のベクトル（図４（ａ）参照）であると高精度となり、拡大方向（図４（ｂ）および（ｄ）参照）や斜め方向（図４（ｃ）参照）のベクトルでは精度が落ちることが知られている。このため、真上視点の動きベクトルを生成することが好ましい。
【００４７】
真上視点の動きベクトル生成方法としては、次の２通りの方法が適用できる。
【００４８】
第１の方法は、ルックアップテーブル１６を更新しつつ動きベクトルを真上視点に近づけていく方法である。第１の方法では、ルックアップテーブル１６が真上視点の平面画像の生成に適した内容となるように調整していく。
【００４９】
第２の方法は、動きベクトルを射影変換することにより真上視点に近づけていく方法である。第２の方法では、図３のステップＳ４で用いられるルックアップテーブル１６をそのまま変更することなく、図３のステップＳ５で得られた動きベクトルを射影変換することにより真上視点に近づける。
【００５０】
いずれの方法を用いる場合であっても、ｘ軸回転角度ずれによる動きベクトルの大きさや向きの変化によるｙ軸回転角度やｚ軸回転角度への影響を無視した場合、ｘ軸回転、ｙ軸回転およびｚ軸回転は、次のように、大まかには独立とみなしてあつかうことができる。
【００５１】
ｘ軸回転角度ずれ量は、動きベクトルの収束点の位置により決定することができる。
【００５２】
ｙ軸回転角度ずれ量は、ｘ＝０付近での動きベクトルの向きにより決定することができる。なお、ｘ＝０からｘ軸方向に遠ざかると、ｘ軸回転角度ずれの影響を受けやすい。
【００５３】
ｚ軸回転角度ずれ量は、ｚ方向の動きベクトルの大きさｗのｘ方向の分布より決定することができる。
【００５４】
ｘ軸回転角度ずれによる動きベクトルの大きさや向きの変化によるｙ軸回転角度やｚ軸回転角度への影響を無視することができる場合としては、そもそもｘ軸回転角度ずれがほとんど無い場合や、ｚ方向の動きベクトルの取得位置制限を入れる場合が挙げられる。
【００５５】
第１の方法および第２の方法のいずれの方法であっても、真上視点の動きベクトルに近づけるように回転角度補正を繰り返すことで、ｘ軸回転角度ずれは小さくなっていく。このため、回転角度補正の初期段階ではｘ軸回転角度ずれによるｙ軸回転角度やｚ軸回転角度への影響があってもかまわない。また、図４（ｂ）−（ｄ）から明らかなように、動きベクトルのｚ方向依存性はｘ軸回転角度ずれによってのみ生じる。このため、回転角度補正の最終段階でｘ軸回転角度ずれが小さくなれば、ｚ方向の動きベクトルの取得位置制限を入れる必要もない。
【００５６】
したがって、ｘ軸回転角度ずれとｙ軸回転角度ずれは、動きベクトル（ｕ、ｖ、ｗ）のｕ／ｗのｘ方向の分布から求めることができ、ｚ軸回転角度ずれは、ｚ方向の動きベクトルの大きさｗのｘ方向の分布から求めることができる。
【００５７】
（１−２−２．変換式の作成）
そこで、それぞれの角度補正を独立して行うために、焦点方向ベクトルと画面の上方向ベクトルを指定することによる一般的な変換行列（変換式）の作成方法を使用する。
【００５８】
行列Ａから行列Ｂへの変換行列Ｒが次のように定義されているとする。
【数１】
【００５９】
焦点方向ベクトルＦ(Ｆｘ、Ｆｙ、Ｆｚ)と、上方向ベクトルＵ(Ｕｘ、Ｕｙ、Ｕｚ)が用意されていた場合、変換行列Ｒの各成分は次のように表せる。
R[2][0] = -Fx
R[2][1] = -Fy
R[2][2] = Fz
d2 = √(R[2][0]・R[2][0] + R[2][1]・R[2][1] + R[2][2]・R[2][2])
R[2][0] = R[2][0] / d2
R[2][1] = R[2][1] / d2
R[2][2] = R[2][2] / d2
R[0][0] = -Uy・R[2][2] - Uz・R[2][1]
R[0][1] = -Uz・R[2][0] - Ux・R[2][2]
R[0][2] = Ux・R[2][1] + Uy・R[2][0]
d0 = √(R[0][0]・R[0][0] + R[0][1]・R[0][1] + R[0][2]・R[0][2])
R[0][0] = R[0][0] / d0
R[0][1] = R[0][1] / d0
R[0][2] = R[0][2] / d0
R[1][0] = R[2][1]・R[0][2] - R[2][2]・R[0][1]
R[1][1] = R[2][2]・R[0][0] - R[2][0]・R[0][2]
R[1][2] = R[2][0]・R[0][1] - R[2][1]・R[0][0]
d1 = √(R[1][0]・R[1][0] + R[1][1]・R[1][1] + R[1][2]・R[1][2])
R[1][0] = R[1][0] / d1
R[1][1] = R[1][1] / d1
R[1][2] = R[1][2] / d1
【００６０】
上記により得られた回転行列Ｒは、焦点方向を（０、０、１）、上方向を(０、−１、０)とした場合、単位行列となり、変換が行われない。つまり焦点方向（０、０、１）および上方向(０、−１、０)に対しての進行方向に対するそれぞれの軸の補正したい回転角度（φｘ、φｙ、φｚ）をそれぞれ独立で指定した場合、焦点方向は(−ｔａｎ(φｙ)、ｔａｎ(φｘ)、１)で、上方向は(−ｔａｎ(φｚ)、−１、０)と指定して回転行列を作成すればよい。
【００６１】
そこで、進行方向に対して真下方向とする回転行列Ｒｇｎｄを、焦点方向を(０、１、０)、上方向を(０、０、１)として作成し、進行方向に対する補正したい回転行列をＲｇｏとして作成した場合、ルックアップテーブル１６を作成する際に使用する回転行列はＲｇｏ Ｒｇｎｄの行列計算での結果となる。また、Ｒｇｏに対して、Ｒｓ分だけずれていた場合、進行方向の回転行列はＲｓ Ｒｇｏの行列計算での結果となる。
【００６２】
補正したい回転行列Ｒｇｏから補正したい各軸の回転角度（φｘ、φｙ、φｚ）を導き出したい場合は下記のようにすれば良い。
φx = arctan(-R[2][1] / R[2][2]) （２）
φy = arctan(R[2][0] / R[2][2]) （３）
φz = arctan(R[0][1] / R[0][0]) （４）
したがって、変換行列を用いれば、それぞれの軸の回転角度を独立してまとめて補正することができる。
【００６３】
（１−２−３．ｘ軸回転補正とｙ軸回転補正）
上述の通り、ｘ軸回転角度ずれとｙ軸回転角度ずれは、動きベクトル（ｕ、ｖ、ｗ）のｕ／ｗのｘ方向の分布から求めることができる。以下、より詳細に説明する。
【００６４】
図５（ａ）はｘ軸回転角度ずれとｙ軸回転角度ずれが同時に生じている場合の動きベクトルの一例を示す説明図であり、（ｂ）は（ａ）の場合における動きベクトルのｕ／ｗのｘ方向分布の一例を示す説明図である。
【００６５】
図５（ａ）に示すように、ｘ軸回転角度ずれとｙ軸回転角度ずれが同時に生じているために動きベクトルがばらついている場合を考える。この場合、ｕ／ｗのｘ方向の分布はほぼ線形となる。このため、動きベクトルの検出精度が悪いことを考慮し、図５（ｂ）に示すように、ｕ／ｗのｘ方向の分布を最小２乗法により次のように直線近似する。
u/w = a・x + b （５）
このときｘ＝０での傾きｂをｙ軸回転補正量として使用する場合、
φy = arctan(b) （６）
となる。
【００６６】
また、仮にｘ軸回転角度ずれが生じているとし、収束点（ＦＯＥｘ、ｆ、ＦＯＥｚ）が存在するとした場合、収束点への傾きと式（５）で得られるｕ／ｗは同じになるので、
(FOEx - x) / FOEz = u / w = a・x + b
FOEx = (a・x + b)・FOEz + x
が得られる。この式にｘに２点ｘ１およびｘ２を代入してＦＯＥｚを求めると、
(a・x1 + b)・FOEz + x1 = (a・x2 + b)・FOEz + x2
FOEz = -1/a
となる。したがって、補正したいｘ軸回転角度φｘは次のように書ける。
φx = -arctan(f / FOEz) = arctan(f・a) （７）
【００６７】
（１−２−４．ｚ軸回転補正）
上述の通り、ｚ軸回転角度ずれは、ｚ方向の動きベクトルの大きさｗのｘ方向の分布から求めることができる。以下、より詳細に説明する。
【００６８】
図６（ａ）はｚ軸回転角度ずれが生じている場合の動きベクトルの一例を示す説明図であり、（ｂ）は（ａ）の場合における動きベクトルのｚ方向成分ｗの大きさのｘ方向分布の一例を示す説明図である。
【００６９】
図６（ａ）に示すように、ｚ軸回転角度ずれが生じているために動きベクトルがばらついている場合を考える。この場合、ｗの大きさのｘ方向の分布はほぼ線形となる。このため、動きベクトルの検出精度が悪いことを考慮し、図６（ｂ）に示すように、ｗの大きさのｘ方向の分布を最小２乗法により次のように直線近似する。
【００７０】
|w| = a・x + b （８）
ｘに対し、ｘ＝０で線対称な２点であるｘ＝ｆとｘ＝−ｆを代入し、ｚ軸回転したときの｜ｗ｜が同じ長さに見えればよい。まず２点をそれぞれ計算すると下記のような座標になる。
(f, f, a・f + b)
(-f, f, -a・f + b)
この各点を次のようにz軸周りに回転させる。
【００７１】
x2 = x1・cos(φz) - y1・sin(φz)
y2 = y1・cos(φz) + x1・sin(φz)
z2 = z1
【００７２】
得られた座標が同じ長さに見えるためには、ｚ２／ｙ２が同じになればよいので、次の式（９）が得られる。
(a・f + b)/(f・cos(φz) + f・sin(φz))=(-a・f + b)/(f・cos(φz) - f・sin(φz))
(a・f + b)・(cos(φz) - sin(φz)) = (-a・f + b)・(cos(φz) + sin(φz))
-2・b・ sin(φz) = -2・a・f・cos(φz)
φz = arctan(a・f / b) （９）
【００７３】
（１−２−５．ｘ軸回転補正の他の方法）
動きベクトルの分布がｘ方向ではなくｚ方向に散らばっているとする場合、ｘ軸回転補正は、ｚ軸回転補正と同様に、長さを考慮した計算方法を用いてｚ方向のベクトルｗの大きさのｚ方向の分布から求めることができる。この場合、ｘ軸回転補正は式（９）に準じた計算処理で行い、ｙ軸回転補正は上述した式（６）にもとづいて行ってもよい。
【００７４】
（１−２−６．ばらつきの軽減）
式（１）−（９）を用いることにより各軸の回転補正結果を得ることができるが、動きベクトルのばらつきを軽減するためには、次の条件の１つまたは複数を満たすように補正処理を行うことが好ましい。
【００７５】
条件１：式（５）および（８）の近似１次式より正確なものとなるように、特徴路面画像の検出において、広くｘ方向に動きベクトルが分布する画像、すなわち路面画像上の特徴点がｘ方向に分散している画像を検出するとよい。
【００７６】
条件２：動きベクトルのｚ方向成分の大きさが所定の大きさ以上となるように、動きベクトルを検出するための２枚の画像の取得時間を所定の時間以上ずらすとよい。また、このとき、大きさが所定の大きさ以上の動きベクトルのみを用いて補正処理を行うとするとよい。大きさが所定の大きさ以上の動きベクトルのみを用いる場合、自車両による影を分離することができる。また、広角レンズを用いると自車両が画像に映りこんでしまう場合があるが、大きさが所定の大きさ以上の動きベクトルのみを用いることで、画像に映りこんだ自車両を分離することができる。
【００７７】
条件３：検出した動きベクトルのｚ方向成分ｗの平均値を算出し、ｚ方向成分ｗが平均値から所定の範囲外に属する動きベクトルについては動きベクトル検出部１７の検出対象外とするか、カメラ角度算出部１８の補正処理には用いないようにするとよい。
【００７８】
条件４：検出した動きベクトルのｕ／ｗが所定の値より大きい場合は、検出エラーである可能性があるため、動きベクトル検出部１７の検出対象外とするか、カメラ角度算出部１８の補正処理には用いないようにするとよい。
【００７９】
以上の条件１−４を適用することにより、補正処理に用いられる動きベクトルのばらつきを軽減することができる。
【００８０】
また補正量が所定の補正量以下になるまで補正処理を繰り返すにあたり、条件１−４をより厳しくしていくことで、より精度の高い真上視点の動きベクトルへの変換式を得ることができる。真上視点に近づくほど、取得できる動きベクトルの精度は上がるため、検出条件をより厳しいものにしても十分な数の動きベクトルを検出可能である。
【００８１】
また、補正処理を繰り返すことにより各軸の回転補正量が所定の補正量以下となった場合、さらに所定の回数補正処理を繰り返し、直近の所定回数の補正処理結果の動きベクトルの平均値を最終的な動きベクトルとして一連の処理を終了とすることで、さらに精度の高い真上視点の動きベクトルへの変換式を得ることができる。
【００８２】
（１−２−７．第１の方法）
次に、第１の方法（ルックアップテーブル１６を更新しつつ動きベクトルを真上視点に近づけていく方法）について説明する。
【００８３】
図７は、図３のステップＳ６でカメラ角度算出部１８により実行される、第１の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャートである。図７において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００８４】
まず、ステップＳ６１１において、カメラ角度算出部１８は、各軸の回転補正量が所定の補正量以下となったか否か、すなわち動きベクトルが収束したか否かを判定する。収束した場合は、図３のステップＳ７に進む。一方、収束していない場合はステップＳ６１２に進む。
【００８５】
次に、ステップＳ６１２において、カメラ角度算出部１８は、初めてこのステップを実行する場合には図３のステップＳ５で検出された動きベクトルを用いてルックアップテーブル１６を更新する。また、２度目以降にこのステップを実行する場合には、ステップＳ６１５で計算された変換式を用いてルックアップテーブル１６を更新する。
【００８６】
次に、ステップＳ６１３において、平面画像生成部１５は、更新されたルックアップテーブル１６を用いて平面画像を生成する。
【００８７】
次に、ステップＳ６１４において、動きベクトル検出部１７は、ブロックマッチング法や勾配法などを用いて、平面画像生成部１５により更新されたルックアップテーブル１６を用いて生成された複数の平面画像から画素ごとに動きベクトル（ｕ、ｖ、ｗ）をあらためて検出する。
【００８８】
次に、ステップＳ６１５において、カメラ角度算出部１８は、ステップＳ６１４で得た動きベクトルが真上視点の動きベクトルとなるような、ｘｙｚ軸を独立に回転補正する変換式から、車両に対する車載カメラ１１の取り付け角度を算出して、ステップＳ６１１に戻る。
【００８９】
なお、収束直前に算出された取り付け角度は、現在の取り付け角度とみなしてもよいため、図３のステップＳ７を省略してもよい。また、ステップＳ６１５でカメラ角度算出部１８により行われる回転補正は、上述した条件１−４の１つまたは複数を用いつつ行ってもよい。また、ステップＳ６１１で収束したと判定された後、ステップＳ６１２−６１５を所定の回数繰り返し、直近の所定回数の回転補正結果の動きベクトルの平均値を最終的な動きベクトルとして現在の取り付け角度を求めてもよい。この場合も、図３のステップＳ７を省略してもよい。
【００９０】
（１−２−８．第２の方法）
次に、第２の方法（動きベクトルを射影変換することにより真上視点に近づけていく方法）について説明する。
【００９１】
図８は、図３のステップＳ６でカメラ角度算出部１８により実行される、第２の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャートである。図８において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００９２】
第２の方法は、図３のステップＳ４で用いられるルックアップテーブル１６をそのまま変更することなく図３のステップＳ５で得られた動きベクトルを射影変換することにより真上視点に近づける点で第１の方法と異なる。
【００９３】
なお、第２の方法では、ルックアップテーブル１６を用いて平面画像生成部１５により生成される平面は真上視点を目指したものでなくてもよく、車載カメラ１１により撮像された画像を所定の視点の平面画像に変換するものであればよい。この場合、車載カメラ１１が初期の取り付け角度にある場合にルックアップテーブル１６を用いて得られる平面の方程式は既知であるから、この平面上の動きベクトルから真上視点の動きベクトルを目指して仮に射影変換した後、どのベクトルもｘ成分およびｙ成分を持たずｚ成分のみを持つとともに大きさが同一となるように射影変換を繰り返せばよい。
【００９４】
まず、ステップＳ６２１において、カメラ角度算出部１８は、各軸の回転補正量が所定の補正量以下となったか否か、すなわち動きベクトルが収束したか否かを判定する。収束した場合は、図３のステップＳ７に進む。一方、収束していない場合はステップＳ６２２に進む。
【００９５】
次に、ステップＳ６２２において、カメラ角度算出部１８は、動きベクトルが真上視点の動きベクトルとなるように射影変換する。また、２度目以降にこのステップを実行する場合には、ステップＳ６２３で計算された変換式を用いて射影変換式を更新する。
【００９６】
次に、ステップＳ６２３において、カメラ角度算出部１８は、ステップＳ６２２で得た射影変換された動きベクトルが真上視点の動きベクトルとなるような、ｘｙｚ軸を独立に回転補正する変換式と射影変換で得た変換式から、車両に対する車載カメラ１１の取り付け角度を算出して、ステップＳ６２１に戻る。
【００９７】
第２の方法を用いる場合、ルックアップテーブル１６を一度しか用いず更新も行わないため、第１の方法に比べて計算量が少なくてすみ、処理を高速化することができる。一方、第１の方法は、第２の方法に比べ、ルックアップテーブル１６を毎回更新するため、より正確な真上視点の平面画像を生成することができる。
【００９８】
第２の方法においても、収束直前に算出された取り付け角度は現在の取り付け角度とみなしてもよいため、図３のステップＳ７を省略してもよい。また、ステップＳ６２２でカメラ角度算出部１８により行われる射影変換は、上述した条件１−４の１つまたは複数を用いつつ行ってもよい。また、ステップＳ６２１で収束したと判定された後、ステップＳ６２２−６２３を所定の回数繰り返し、直近の所定回数の射影変換結果の動きベクトルの平均値を最終的な動きベクトルとして現在の取り付け角度を求めてもよい。この場合も、図３のステップＳ７を省略してもよい。
【００９９】
なお、制御部１２、特徴路面検出部１３、平面画像生成部１５、動きベクトル検出部１７およびカメラ角度算出部１８は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えたワンチップマイクロコントローラにより構成してもよい。この場合、ＣＰＵは、ＲＯＭに記憶された車載カメラ用画像補正プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求める処理を実行する（図３参照）。このとき、ＣＰＵは、車載カメラ用画像補正プログラムによって、少なくとも制御部１２、特徴路面検出部１３、平面画像生成部１５、動きベクトル検出部１７およびカメラ角度算出部１８として機能する。また、ＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
【０１００】
本実施形態に係る車載カメラ用画像補正方法によれば、形状や寸法が既知の図形を用いずとも、特徴路面画像から動きベクトルを検出し、この検出した動きベクトルから真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求めることができる。このため、形状や寸法が既知の図形を用いる場合に比べ、非常に容易かつ正確に車載カメラ１１の現在の取り付け角度を求めることができる。車載カメラ１１の現在の取り付け角度の情報は、車載カメラ１１により撮像された画像を真上視点に変換する際に用いられるほか、他の視点に変換する際などの各種画像補正に利用することができる。
【０１０１】
また、本実施形態に係る車載カメラ用画像補正方法によれば、動きベクトルを回転補正した状態で真上からの視点になるようにルックアップテーブル１６を更新することを繰り返して、または、射影変換により動きベクトルを真上視点に変換して、回転補正を再計算させることを繰り返して、最終結果を得る。最終結果として得られる真上視点の動きベクトルは、真縦（ｚ成分のみ）であるため、非常に正確に検出することが可能である。このため、最初にカメラ画像から検出された動きベクトルの精度が悪い場合であっても、安定して回転補正結果を得ることができる。
【０１０２】
（２．第２の実施形態）
図９は、本発明の第２実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置１０Ａの一例を示すブロック図である。
【０１０３】
この第２実施形態に示すカメラ用画像補正装置１０Ａは、少なくとも自車の加速度の情報を出力する車両情報取得部３１を備えた点で第１実施形態に示すカメラ用画像補正装置１０と異なる。他の構成および作用については図１に示すカメラ用画像補正装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１０４】
車両情報取得部３１は、少なくとも自車の加速度の情報を取得し、制御部１２に出力する。車両情報取得部３１は、たとえば加速度センサにより構成してもよいし、ＣＡＮ（Controller Area Network）において一般的に用いられる車両情報取得機能を有するものであってもよい。
【０１０５】
制御部１２は、車両情報取得部３１から車両の加速度の情報を取得し、加速度なしかつ舵角なしに等速で車両が直進している状態にあると判定すると、各部１３−１８に対し図３に示した手順の実行を開始するよう制御する。
【０１０６】
加速度がある状態では、加速度や舵角により車両全体が傾くなどして検出する動きベクトルがずれるおそれがある。このため、動きベクトルの検出等の図３に示す手順は、加速度および舵角がない状態で行うことが好ましい。この点、第２実施形態に係る車載カメラ用画像補正方法によれば、車両の加速度情報を容易かつ正確に取得することができるため、車載カメラ１１の画像に対する加速度および舵角の影響を容易に取り除くことができる。
【０１０７】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０８】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１０９】
１０、１０Ａ 車載カメラ用画像補正装置
１１ 車載カメラ
１２ 制御部
１３ 特徴路面検出部
１４ 画像メモリ
１５ 平面画像生成部
１６ ルックアップテーブル
１７ 動きベクトル検出部
１８ カメラ角度算出部
２１ カメラ投影面
３１ 車両情報取得部
【技術分野】
【０００１】
本発明の実施形態は、車載カメラ用画像補正方法および車載カメラ用画像補正プログラムに関する。
【背景技術】
【０００２】
自動車などの車両の運転を支援するための技術には、車載カメラにより取得された画像を利用するものがある。この画像を利用する際には、画像を生成する車載カメラの光軸方向の情報が非常に重要である。しかし、車載カメラの光軸方向は、最初の取り付け方向が不明の場合や、取り付け部材の劣化等により経年変化する場合があるほか、荷物の重量による車両の傾きによっても変化する。
【０００３】
このため、車載カメラの現在の光軸方向の情報を取得し、取得した光軸方向の情報に応じて画像の補正を行うための種々の技術が開発されている。この種の技術としては、たとえば路面標示（横断歩道または自転車横断帯があることを示す標示など）を画像から検出することにより光軸補正を行うものがある。路面標示の種類と形式は道路交通法に定められているため、寸法が全国統一またはエリア別に規定されている路面標示を検出対象として用いれば、誤検出を低減し正確に光軸方向の情報を取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、路面標示のように形状や寸法が既知の図形を用いる場合、あらかじめこれらの形状や寸法の情報を取得しておかなければならず煩雑である。また、路面標示などの図形に対する車載カメラの光軸方向に応じて車載カメラ画像に含まれる図形画像の向きが異なるため、このあらかじめ取得した情報を利用するためには、車両を所定の向きから路面表示などの図形に対峙させなければならないとともに、路面表示などの図形の形状のばらつきに対応することが難しい。また、車載カメラ画像における路面画像が斜め視点の画像である場合、真上視点の画像を用いる場合に比べて動きベクトルの検出精度が悪くなってしまう。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る車載カメラ用画像補正方法は、上述した課題を解決するために、車両に取り付けられたカメラが車両の周囲を撮像するステップと、カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、検出された動きベクトルを、真上視点の動きベクトルとなるように車両の進行方向軸、路面法線方向軸ならびに進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である真上視点の動きベクトルへの変換式を作成するステップと、真上視点の動きベクトルへの変換式からカメラの車両に対する取り付け角度を求めるステップとを有する方法である。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置の一例を示すブロック図。
【図２】座標系と回転方向の関係の一例を示す説明図。
【図３】図１に示す車載カメラ用画像補正装置により、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラの現在の取り付け角度を求める際の手順を示すフローチャート。
【図４】（ａ）は理想的な真上視点の平面画像から検出される動きベクトルの一例を示す説明図、（ｂ）は理想的な真上視点からｘ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図、４（ｃ）は理想的な真上視点からｙ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図、（ｄ）は理想的な真上視点からｚ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図。
【図５】（ａ）はｘ軸回転角度ずれとｙ軸回転角度ずれが同時に生じている場合の動きベクトルの一例を示す説明図、（ｂ）は（ａ）の場合における動きベクトルのｕ／ｗのｘ方向分布の一例を示す説明図。
【図６】（ａ）はｚ軸回転角度ずれが生じている場合の動きベクトルの一例を示す説明図、（ｂ）は（ａ）の場合における動きベクトルのｚ方向成分ｗの大きさのｘ方向分布の一例を示す説明図。
【図７】図３のステップＳ６でカメラ角度算出部により実行される、第１の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャート。
【図８】図３のステップＳ６でカメラ角度算出部により実行される、第２の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャート。
【図９】本発明の第２実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置の一例を示すブロック図。
【発明を実施するための形態】
【０００８】
本発明に係る車載カメラ用画像補正方法および車載カメラ用画像補正プログラムの実施の形態について、添付図面を参照して説明する。
【０００９】
本発明の一実施形態に係る車載カメラ用画像補正方法は、車載カメラの取得画像から動きベクトルを検出し、この動きベクトルを真上視点の動きベクトルに変換する変換式を求めることによって車載カメラの現在の取り付け角度（光軸方向の情報）を取得する方法である。
【００１０】
（１．第１の実施形態）
（１−１．構成）
図１は、本発明の第１実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置１０の一例を示すブロック図である。
【００１１】
車載カメラ用画像補正装置１０は、車載カメラ１１、制御部１２、特徴路面検出部１３、画像メモリ１４、平面画像生成部１５、ルックアップテーブル１６、動きベクトル検出部１７およびカメラ角度算出部１８を有する。
【００１２】
車載カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して画像メモリ１３および特徴路面検出部１４に与える。
【００１３】
たとえば後方を監視する場合、車載カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。車載カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。また、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。
【００１４】
制御部１２は、たとえばＣＰＵ、ＲＡＭ、ＲＯＭを備えたマイクロコントローラにより構成され、各部１３−１８の動作を統括して管理する。
【００１５】
特徴路面検出部１３は、車載カメラ１１により撮像された画像のうち、路面画像が特徴点を含む路面画像（以下、特徴路面画像という）である画像を検出し、検出した旨の情報を制御部１２に与える。
【００１６】
特徴路面検出部１３は、路面画像が動きベクトルを検出する足がかりとなる特徴点を含む路面画像（特徴路面画像）を検出すればよく、形状や寸法が既知の図形を検出する必要はない。換言すれば、特徴路面検出部１３は、特徴点を含まない平坦な路面画像であると特徴路面画像ではないと判定する。特徴路面検出部１３が特徴路面画像を検出する場合としては、たとえば路面上に描かれた路面標示や模様が検出された場合や、路面画像のうち車両の進行方向に対して横方向の部分に所定数以上の明暗エッジが検出された場合などが挙げられる。
【００１７】
また、特徴路面検出部１３は、車両を前進または後進させつつ車載カメラ１１から複数の画像を取得し、ルックアップテーブル１６を用いてこれらの画像を平面画像とし、動きベクトル検出部１７が所定の大きさ以上の動きベクトルを所定の数以上検出したことをもって特徴路面画像を検出してもよい。
【００１８】
画像メモリ１４は、車載カメラ１１により撮像された画像を複数フレーム分記憶する。この記憶するフレームの数は、あらかじめユーザにより設定されてもよいし、初期設定されてもよい。また、画像メモリ１４は、特徴路面画像が検出されると、制御部１２によって、特徴路面画像の検出時点から過去に所定数のフレーム分さかのぼって画像を読み出されてもよい。また、画像メモリ１４は、特徴路面画像が検出されると、制御部１２によって、この検出された時点から車載カメラ１１により撮像された画像の記憶を開始するよう制御されてもよい。
【００１９】
平面画像生成部１５は、特徴路面画像が検出されると、画像メモリ１４から画像を複数読み出し、ルックアップテーブル１６を用いてそれぞれの画像について平面画像を生成する。
【００２０】
ルックアップテーブル１６は、車載カメラ１１により撮像された画像を、車両に対する車載カメラ１１の初期の取り付け角度にもとづいて仮の真上視点の平面画像（理想的な真上視点の平面画像を目指した平面画像）を生成するために平面画像生成部１５により用いられるテーブルである。また、たとえば車載カメラ１１に広角レンズが取り付けられている場合は、ルックアップテーブル１６は、車載カメラ１１により撮像された広角画像を通常の２次元画像に正規化するとともに、この正規化画像を、車両に対する車載カメラ１１の初期の取り付け角度にもとづいて仮の真上視点の平面画像を生成するために用いられる。
【００２１】
動きベクトル検出部１７は、ブロックマッチング法や勾配法などを用いて、平面画像生成部１５により生成された複数の平面画像から画素ごとに動きベクトルを算出する。
【００２２】
車両に対する車載カメラ１１の最初の取り付け角度が初期設定値に対してずれていない場合や、現在の取り付け角度が初期の角度から変化していない場合は、このルックアップテーブル１６を用いて生成された仮の真上視点の平面画像は正確な（理想的な）真上視点の平面画像となり、この理想的な平面画像から検出される動きベクトル（以下、真上視点の動きベクトルという）は全てｚ成分のみを有し大きさが同一のベクトルとなる。
【００２３】
しかし、車載カメラ１１の取り付け角度（光軸方向）は、最初の取り付け方向が不明の場合や、取り付け部材の劣化等により経年変化する場合があるほか、荷物の重量による車両の傾きによっても変化する。
【００２４】
図２は、座標系と回転方向の関係の一例を示す説明図である。以下の説明では、図２に示すように、進行方向をｚ軸、路面法線方向をｙ軸、進行方向および路面法線方向に互いに直交する方向をｘ軸とする座標系を用いる場合の例について示す。また、動きベクトルのｘ、ｙ、ｚ成分をそれぞれｕ、ｖ、ｗとあらわすものとする。また、図２においては、ｘ軸、ｙ軸、ｚ軸周りの回転をそれぞれＲｘ、Ｒｙ、Ｒｚとして示した。
【００２５】
車載カメラ１１により撮像された画像は、平面画像生成部１５により、理想的にはｙ＝ｆで表されるカメラ投影面２１に展開されることになる。ここで、ｆは車載カメラ１１の焦点距離であるものとする。しかし、最初の取り付け角度が初期設定値に対してずれていない場合や、車両に対する車載カメラ１１の現在の取り付け角度が初期の角度から変化している場合は、カメラ投影面２１はｙ＝ｆの面からｘ軸、ｙ軸、ｚ軸周りに回転している。回転した平面画像から検出される動きベクトルは、理想的な真上視点の平面画像から検出される真上視点の動きベクトルを、ｘ軸、ｙ軸、ｚ軸周りに回転したものとなってしまう。
【００２６】
そこで、カメラ角度算出部１８は、動きベクトル検出部１７により検出された動きベクトルを、変換式を用いて回転補正することにより、真上視点の動きベクトルへのを得た変換式から、車両に対する車載カメラ１１の現在の取り付け角度を算出する。
【００２７】
（１−２．動作）
次に、本実施形態に係る車載カメラ用画像補正装置１０の動作の一例について説明する。
【００２８】
（１−２−１．概要）
図３は、図１に示す車載カメラ用画像補正装置１０により、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求める際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００２９】
なお、加速度がある状態では、加速度や舵角により車両全体が傾くなどして検出する動きベクトルがずれるおそれがある。このため、この手順は加速度なしかつ舵角なしに等速で車両が直進している状態でスタートすることが好ましい。
【００３０】
まず、ステップＳ１において、車載カメラ１１は、少なくとも路面を含む車両周囲の画像を取り込んで画像信号を生成して画像メモリ１３および特徴路面検出部１４に与える。
【００３１】
次に、ステップＳ２において、特徴路面検出部１３は、車載カメラ１１により撮像された画像に含まれる路面画像が特徴的な路面の画像か否か、すなわち、車載カメラ１１により撮像された画像が特徴路面画像を含む画像であるか否かを判定する。特徴路面画像を含む画像である場合は、特徴路面画像を含む画像を検出した旨の情報を制御部１２に与えてステップＳ３に進む。一方、特徴路面画像を含む画像でない場合は、引き続き特徴路面画像を含む画像を検出すべく車載カメラ１１により撮像された画像を監視する。
【００３２】
次に、ステップＳ３において、平面画像生成部１５は、画像メモリ１４から複数フレームの画像（たとえば連続する２フレームの画像）を読み出す。
【００３３】
次に、ステップＳ４において、平面画像生成部１５は、画像メモリ１４から読み出した複数フレームの画像のそれぞれについて、ルックアップテーブル１６を用いて平面画像を生成する。
【００３４】
次に、ステップＳ５において、動きベクトル検出部１７は、ブロックマッチング法や勾配法などを用いて、平面画像生成部１５により生成された複数の平面画像から画素ごとに動きベクトル（ｕ、ｖ、ｗ）を検出する。
【００３５】
次に、ステップＳ６において、カメラ角度算出部１８は、動きベクトル検出部１７により検出された動きベクトルを、真上視点の動きベクトルになるように回転補正をする変換式を作成する。
【００３６】
次に、ステップＳ７において、カメラ角度算出部１８は、真上視点の動きベクトルへの変換式から、車両に対する車載カメラ１１の現在の取り付け角度を算出する。なお、ステップＳ６においてすでに取り付け角度が算出されている場合は、ステップＳ７を省略してもよい。
【００３７】
以上の手順によって、形状や寸法が既知の図形を用いることなく、真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求めることができる。
【００３８】
なお、動きベクトルにもとづいて舵角が無いと判断する場合は、補正後に真上視点のベクトルを検出し、ｚ軸方向に離れるほどｕ（ｘ方向成分）の大きさが大きくならなかった場合とするとよい。
【００３９】
また、動きベクトルにもとづいて加速度がないと判断するためには、補正後に真上視点のベクトルを検出し、複数フレーム間でｗ（ｚ方向成分）の大きさが変わらなかった場合とするとよい。
【００４０】
続いて、真上視点の動きベクトルへの変換式生成処理についてより詳細に説明する。
【００４１】
図４（ａ）は理想的な真上視点の平面画像から検出される動きベクトルの一例を示す説明図であり、（ｂ）は理想的な真上視点からｘ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図である。また、図４（ｃ）は理想的な真上視点からｙ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図であり、（ｄ）は理想的な真上視点からｚ軸周りにのみ回転した平面画像から検出される動きベクトルの一例を示す説明図である。
【００４２】
図４（ａ）に示すように、理想的な真上視点の平面画像から検出される動きベクトルは、どのベクトルもｘ成分およびｙ成分を持たず、ｚ成分のみを持つとともに、大きさが同一となる。
【００４３】
図４（ｂ）に示すように、ｘ軸回転角度のみがずれている場合は、各動きベクトルはｚ軸上の収束点を向き、収束点に近づくほど大きさが小さくなる。
【００４４】
図４（ｃ）に示すように、ｙ軸回転角度のみがずれている場合は、各動きベクトルはｚ軸に対して所定の角度の同じ向きを有するとともに、大きさが同一となる。
【００４５】
図４（ｄ）に示すように、ｚ軸回転角度のみがずれている場合は、各動きベクトルは理想的な場合と同様にｚ成分のみを持つが、その大きさはｘ座標に応じて単調に変化する。
【００４６】
一般に、動きベクトルの検出精度は、真横や真縦のベクトル（図４（ａ）参照）であると高精度となり、拡大方向（図４（ｂ）および（ｄ）参照）や斜め方向（図４（ｃ）参照）のベクトルでは精度が落ちることが知られている。このため、真上視点の動きベクトルを生成することが好ましい。
【００４７】
真上視点の動きベクトル生成方法としては、次の２通りの方法が適用できる。
【００４８】
第１の方法は、ルックアップテーブル１６を更新しつつ動きベクトルを真上視点に近づけていく方法である。第１の方法では、ルックアップテーブル１６が真上視点の平面画像の生成に適した内容となるように調整していく。
【００４９】
第２の方法は、動きベクトルを射影変換することにより真上視点に近づけていく方法である。第２の方法では、図３のステップＳ４で用いられるルックアップテーブル１６をそのまま変更することなく、図３のステップＳ５で得られた動きベクトルを射影変換することにより真上視点に近づける。
【００５０】
いずれの方法を用いる場合であっても、ｘ軸回転角度ずれによる動きベクトルの大きさや向きの変化によるｙ軸回転角度やｚ軸回転角度への影響を無視した場合、ｘ軸回転、ｙ軸回転およびｚ軸回転は、次のように、大まかには独立とみなしてあつかうことができる。
【００５１】
ｘ軸回転角度ずれ量は、動きベクトルの収束点の位置により決定することができる。
【００５２】
ｙ軸回転角度ずれ量は、ｘ＝０付近での動きベクトルの向きにより決定することができる。なお、ｘ＝０からｘ軸方向に遠ざかると、ｘ軸回転角度ずれの影響を受けやすい。
【００５３】
ｚ軸回転角度ずれ量は、ｚ方向の動きベクトルの大きさｗのｘ方向の分布より決定することができる。
【００５４】
ｘ軸回転角度ずれによる動きベクトルの大きさや向きの変化によるｙ軸回転角度やｚ軸回転角度への影響を無視することができる場合としては、そもそもｘ軸回転角度ずれがほとんど無い場合や、ｚ方向の動きベクトルの取得位置制限を入れる場合が挙げられる。
【００５５】
第１の方法および第２の方法のいずれの方法であっても、真上視点の動きベクトルに近づけるように回転角度補正を繰り返すことで、ｘ軸回転角度ずれは小さくなっていく。このため、回転角度補正の初期段階ではｘ軸回転角度ずれによるｙ軸回転角度やｚ軸回転角度への影響があってもかまわない。また、図４（ｂ）−（ｄ）から明らかなように、動きベクトルのｚ方向依存性はｘ軸回転角度ずれによってのみ生じる。このため、回転角度補正の最終段階でｘ軸回転角度ずれが小さくなれば、ｚ方向の動きベクトルの取得位置制限を入れる必要もない。
【００５６】
したがって、ｘ軸回転角度ずれとｙ軸回転角度ずれは、動きベクトル（ｕ、ｖ、ｗ）のｕ／ｗのｘ方向の分布から求めることができ、ｚ軸回転角度ずれは、ｚ方向の動きベクトルの大きさｗのｘ方向の分布から求めることができる。
【００５７】
（１−２−２．変換式の作成）
そこで、それぞれの角度補正を独立して行うために、焦点方向ベクトルと画面の上方向ベクトルを指定することによる一般的な変換行列（変換式）の作成方法を使用する。
【００５８】
行列Ａから行列Ｂへの変換行列Ｒが次のように定義されているとする。
【数１】
【００５９】
焦点方向ベクトルＦ(Ｆｘ、Ｆｙ、Ｆｚ)と、上方向ベクトルＵ(Ｕｘ、Ｕｙ、Ｕｚ)が用意されていた場合、変換行列Ｒの各成分は次のように表せる。
R[2][0] = -Fx
R[2][1] = -Fy
R[2][2] = Fz
d2 = √(R[2][0]・R[2][0] + R[2][1]・R[2][1] + R[2][2]・R[2][2])
R[2][0] = R[2][0] / d2
R[2][1] = R[2][1] / d2
R[2][2] = R[2][2] / d2
R[0][0] = -Uy・R[2][2] - Uz・R[2][1]
R[0][1] = -Uz・R[2][0] - Ux・R[2][2]
R[0][2] = Ux・R[2][1] + Uy・R[2][0]
d0 = √(R[0][0]・R[0][0] + R[0][1]・R[0][1] + R[0][2]・R[0][2])
R[0][0] = R[0][0] / d0
R[0][1] = R[0][1] / d0
R[0][2] = R[0][2] / d0
R[1][0] = R[2][1]・R[0][2] - R[2][2]・R[0][1]
R[1][1] = R[2][2]・R[0][0] - R[2][0]・R[0][2]
R[1][2] = R[2][0]・R[0][1] - R[2][1]・R[0][0]
d1 = √(R[1][0]・R[1][0] + R[1][1]・R[1][1] + R[1][2]・R[1][2])
R[1][0] = R[1][0] / d1
R[1][1] = R[1][1] / d1
R[1][2] = R[1][2] / d1
【００６０】
上記により得られた回転行列Ｒは、焦点方向を（０、０、１）、上方向を(０、−１、０)とした場合、単位行列となり、変換が行われない。つまり焦点方向（０、０、１）および上方向(０、−１、０)に対しての進行方向に対するそれぞれの軸の補正したい回転角度（φｘ、φｙ、φｚ）をそれぞれ独立で指定した場合、焦点方向は(−ｔａｎ(φｙ)、ｔａｎ(φｘ)、１)で、上方向は(−ｔａｎ(φｚ)、−１、０)と指定して回転行列を作成すればよい。
【００６１】
そこで、進行方向に対して真下方向とする回転行列Ｒｇｎｄを、焦点方向を(０、１、０)、上方向を(０、０、１)として作成し、進行方向に対する補正したい回転行列をＲｇｏとして作成した場合、ルックアップテーブル１６を作成する際に使用する回転行列はＲｇｏ Ｒｇｎｄの行列計算での結果となる。また、Ｒｇｏに対して、Ｒｓ分だけずれていた場合、進行方向の回転行列はＲｓ Ｒｇｏの行列計算での結果となる。
【００６２】
補正したい回転行列Ｒｇｏから補正したい各軸の回転角度（φｘ、φｙ、φｚ）を導き出したい場合は下記のようにすれば良い。
φx = arctan(-R[2][1] / R[2][2]) （２）
φy = arctan(R[2][0] / R[2][2]) （３）
φz = arctan(R[0][1] / R[0][0]) （４）
したがって、変換行列を用いれば、それぞれの軸の回転角度を独立してまとめて補正することができる。
【００６３】
（１−２−３．ｘ軸回転補正とｙ軸回転補正）
上述の通り、ｘ軸回転角度ずれとｙ軸回転角度ずれは、動きベクトル（ｕ、ｖ、ｗ）のｕ／ｗのｘ方向の分布から求めることができる。以下、より詳細に説明する。
【００６４】
図５（ａ）はｘ軸回転角度ずれとｙ軸回転角度ずれが同時に生じている場合の動きベクトルの一例を示す説明図であり、（ｂ）は（ａ）の場合における動きベクトルのｕ／ｗのｘ方向分布の一例を示す説明図である。
【００６５】
図５（ａ）に示すように、ｘ軸回転角度ずれとｙ軸回転角度ずれが同時に生じているために動きベクトルがばらついている場合を考える。この場合、ｕ／ｗのｘ方向の分布はほぼ線形となる。このため、動きベクトルの検出精度が悪いことを考慮し、図５（ｂ）に示すように、ｕ／ｗのｘ方向の分布を最小２乗法により次のように直線近似する。
u/w = a・x + b （５）
このときｘ＝０での傾きｂをｙ軸回転補正量として使用する場合、
φy = arctan(b) （６）
となる。
【００６６】
また、仮にｘ軸回転角度ずれが生じているとし、収束点（ＦＯＥｘ、ｆ、ＦＯＥｚ）が存在するとした場合、収束点への傾きと式（５）で得られるｕ／ｗは同じになるので、
(FOEx - x) / FOEz = u / w = a・x + b
FOEx = (a・x + b)・FOEz + x
が得られる。この式にｘに２点ｘ１およびｘ２を代入してＦＯＥｚを求めると、
(a・x1 + b)・FOEz + x1 = (a・x2 + b)・FOEz + x2
FOEz = -1/a
となる。したがって、補正したいｘ軸回転角度φｘは次のように書ける。
φx = -arctan(f / FOEz) = arctan(f・a) （７）
【００６７】
（１−２−４．ｚ軸回転補正）
上述の通り、ｚ軸回転角度ずれは、ｚ方向の動きベクトルの大きさｗのｘ方向の分布から求めることができる。以下、より詳細に説明する。
【００６８】
図６（ａ）はｚ軸回転角度ずれが生じている場合の動きベクトルの一例を示す説明図であり、（ｂ）は（ａ）の場合における動きベクトルのｚ方向成分ｗの大きさのｘ方向分布の一例を示す説明図である。
【００６９】
図６（ａ）に示すように、ｚ軸回転角度ずれが生じているために動きベクトルがばらついている場合を考える。この場合、ｗの大きさのｘ方向の分布はほぼ線形となる。このため、動きベクトルの検出精度が悪いことを考慮し、図６（ｂ）に示すように、ｗの大きさのｘ方向の分布を最小２乗法により次のように直線近似する。
【００７０】
|w| = a・x + b （８）
ｘに対し、ｘ＝０で線対称な２点であるｘ＝ｆとｘ＝−ｆを代入し、ｚ軸回転したときの｜ｗ｜が同じ長さに見えればよい。まず２点をそれぞれ計算すると下記のような座標になる。
(f, f, a・f + b)
(-f, f, -a・f + b)
この各点を次のようにz軸周りに回転させる。
【００７１】
x2 = x1・cos(φz) - y1・sin(φz)
y2 = y1・cos(φz) + x1・sin(φz)
z2 = z1
【００７２】
得られた座標が同じ長さに見えるためには、ｚ２／ｙ２が同じになればよいので、次の式（９）が得られる。
(a・f + b)/(f・cos(φz) + f・sin(φz))=(-a・f + b)/(f・cos(φz) - f・sin(φz))
(a・f + b)・(cos(φz) - sin(φz)) = (-a・f + b)・(cos(φz) + sin(φz))
-2・b・ sin(φz) = -2・a・f・cos(φz)
φz = arctan(a・f / b) （９）
【００７３】
（１−２−５．ｘ軸回転補正の他の方法）
動きベクトルの分布がｘ方向ではなくｚ方向に散らばっているとする場合、ｘ軸回転補正は、ｚ軸回転補正と同様に、長さを考慮した計算方法を用いてｚ方向のベクトルｗの大きさのｚ方向の分布から求めることができる。この場合、ｘ軸回転補正は式（９）に準じた計算処理で行い、ｙ軸回転補正は上述した式（６）にもとづいて行ってもよい。
【００７４】
（１−２−６．ばらつきの軽減）
式（１）−（９）を用いることにより各軸の回転補正結果を得ることができるが、動きベクトルのばらつきを軽減するためには、次の条件の１つまたは複数を満たすように補正処理を行うことが好ましい。
【００７５】
条件１：式（５）および（８）の近似１次式より正確なものとなるように、特徴路面画像の検出において、広くｘ方向に動きベクトルが分布する画像、すなわち路面画像上の特徴点がｘ方向に分散している画像を検出するとよい。
【００７６】
条件２：動きベクトルのｚ方向成分の大きさが所定の大きさ以上となるように、動きベクトルを検出するための２枚の画像の取得時間を所定の時間以上ずらすとよい。また、このとき、大きさが所定の大きさ以上の動きベクトルのみを用いて補正処理を行うとするとよい。大きさが所定の大きさ以上の動きベクトルのみを用いる場合、自車両による影を分離することができる。また、広角レンズを用いると自車両が画像に映りこんでしまう場合があるが、大きさが所定の大きさ以上の動きベクトルのみを用いることで、画像に映りこんだ自車両を分離することができる。
【００７７】
条件３：検出した動きベクトルのｚ方向成分ｗの平均値を算出し、ｚ方向成分ｗが平均値から所定の範囲外に属する動きベクトルについては動きベクトル検出部１７の検出対象外とするか、カメラ角度算出部１８の補正処理には用いないようにするとよい。
【００７８】
条件４：検出した動きベクトルのｕ／ｗが所定の値より大きい場合は、検出エラーである可能性があるため、動きベクトル検出部１７の検出対象外とするか、カメラ角度算出部１８の補正処理には用いないようにするとよい。
【００７９】
以上の条件１−４を適用することにより、補正処理に用いられる動きベクトルのばらつきを軽減することができる。
【００８０】
また補正量が所定の補正量以下になるまで補正処理を繰り返すにあたり、条件１−４をより厳しくしていくことで、より精度の高い真上視点の動きベクトルへの変換式を得ることができる。真上視点に近づくほど、取得できる動きベクトルの精度は上がるため、検出条件をより厳しいものにしても十分な数の動きベクトルを検出可能である。
【００８１】
また、補正処理を繰り返すことにより各軸の回転補正量が所定の補正量以下となった場合、さらに所定の回数補正処理を繰り返し、直近の所定回数の補正処理結果の動きベクトルの平均値を最終的な動きベクトルとして一連の処理を終了とすることで、さらに精度の高い真上視点の動きベクトルへの変換式を得ることができる。
【００８２】
（１−２−７．第１の方法）
次に、第１の方法（ルックアップテーブル１６を更新しつつ動きベクトルを真上視点に近づけていく方法）について説明する。
【００８３】
図７は、図３のステップＳ６でカメラ角度算出部１８により実行される、第１の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャートである。図７において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００８４】
まず、ステップＳ６１１において、カメラ角度算出部１８は、各軸の回転補正量が所定の補正量以下となったか否か、すなわち動きベクトルが収束したか否かを判定する。収束した場合は、図３のステップＳ７に進む。一方、収束していない場合はステップＳ６１２に進む。
【００８５】
次に、ステップＳ６１２において、カメラ角度算出部１８は、初めてこのステップを実行する場合には図３のステップＳ５で検出された動きベクトルを用いてルックアップテーブル１６を更新する。また、２度目以降にこのステップを実行する場合には、ステップＳ６１５で計算された変換式を用いてルックアップテーブル１６を更新する。
【００８６】
次に、ステップＳ６１３において、平面画像生成部１５は、更新されたルックアップテーブル１６を用いて平面画像を生成する。
【００８７】
次に、ステップＳ６１４において、動きベクトル検出部１７は、ブロックマッチング法や勾配法などを用いて、平面画像生成部１５により更新されたルックアップテーブル１６を用いて生成された複数の平面画像から画素ごとに動きベクトル（ｕ、ｖ、ｗ）をあらためて検出する。
【００８８】
次に、ステップＳ６１５において、カメラ角度算出部１８は、ステップＳ６１４で得た動きベクトルが真上視点の動きベクトルとなるような、ｘｙｚ軸を独立に回転補正する変換式から、車両に対する車載カメラ１１の取り付け角度を算出して、ステップＳ６１１に戻る。
【００８９】
なお、収束直前に算出された取り付け角度は、現在の取り付け角度とみなしてもよいため、図３のステップＳ７を省略してもよい。また、ステップＳ６１５でカメラ角度算出部１８により行われる回転補正は、上述した条件１−４の１つまたは複数を用いつつ行ってもよい。また、ステップＳ６１１で収束したと判定された後、ステップＳ６１２−６１５を所定の回数繰り返し、直近の所定回数の回転補正結果の動きベクトルの平均値を最終的な動きベクトルとして現在の取り付け角度を求めてもよい。この場合も、図３のステップＳ７を省略してもよい。
【００９０】
（１−２−８．第２の方法）
次に、第２の方法（動きベクトルを射影変換することにより真上視点に近づけていく方法）について説明する。
【００９１】
図８は、図３のステップＳ６でカメラ角度算出部１８により実行される、第２の方法による真上視点の動きベクトルへの変換式生成処理の手順を示すサブルーチンフローチャートである。図８において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００９２】
第２の方法は、図３のステップＳ４で用いられるルックアップテーブル１６をそのまま変更することなく図３のステップＳ５で得られた動きベクトルを射影変換することにより真上視点に近づける点で第１の方法と異なる。
【００９３】
なお、第２の方法では、ルックアップテーブル１６を用いて平面画像生成部１５により生成される平面は真上視点を目指したものでなくてもよく、車載カメラ１１により撮像された画像を所定の視点の平面画像に変換するものであればよい。この場合、車載カメラ１１が初期の取り付け角度にある場合にルックアップテーブル１６を用いて得られる平面の方程式は既知であるから、この平面上の動きベクトルから真上視点の動きベクトルを目指して仮に射影変換した後、どのベクトルもｘ成分およびｙ成分を持たずｚ成分のみを持つとともに大きさが同一となるように射影変換を繰り返せばよい。
【００９４】
まず、ステップＳ６２１において、カメラ角度算出部１８は、各軸の回転補正量が所定の補正量以下となったか否か、すなわち動きベクトルが収束したか否かを判定する。収束した場合は、図３のステップＳ７に進む。一方、収束していない場合はステップＳ６２２に進む。
【００９５】
次に、ステップＳ６２２において、カメラ角度算出部１８は、動きベクトルが真上視点の動きベクトルとなるように射影変換する。また、２度目以降にこのステップを実行する場合には、ステップＳ６２３で計算された変換式を用いて射影変換式を更新する。
【００９６】
次に、ステップＳ６２３において、カメラ角度算出部１８は、ステップＳ６２２で得た射影変換された動きベクトルが真上視点の動きベクトルとなるような、ｘｙｚ軸を独立に回転補正する変換式と射影変換で得た変換式から、車両に対する車載カメラ１１の取り付け角度を算出して、ステップＳ６２１に戻る。
【００９７】
第２の方法を用いる場合、ルックアップテーブル１６を一度しか用いず更新も行わないため、第１の方法に比べて計算量が少なくてすみ、処理を高速化することができる。一方、第１の方法は、第２の方法に比べ、ルックアップテーブル１６を毎回更新するため、より正確な真上視点の平面画像を生成することができる。
【００９８】
第２の方法においても、収束直前に算出された取り付け角度は現在の取り付け角度とみなしてもよいため、図３のステップＳ７を省略してもよい。また、ステップＳ６２２でカメラ角度算出部１８により行われる射影変換は、上述した条件１−４の１つまたは複数を用いつつ行ってもよい。また、ステップＳ６２１で収束したと判定された後、ステップＳ６２２−６２３を所定の回数繰り返し、直近の所定回数の射影変換結果の動きベクトルの平均値を最終的な動きベクトルとして現在の取り付け角度を求めてもよい。この場合も、図３のステップＳ７を省略してもよい。
【００９９】
なお、制御部１２、特徴路面検出部１３、平面画像生成部１５、動きベクトル検出部１７およびカメラ角度算出部１８は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えたワンチップマイクロコントローラにより構成してもよい。この場合、ＣＰＵは、ＲＯＭに記憶された車載カメラ用画像補正プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求める処理を実行する（図３参照）。このとき、ＣＰＵは、車載カメラ用画像補正プログラムによって、少なくとも制御部１２、特徴路面検出部１３、平面画像生成部１５、動きベクトル検出部１７およびカメラ角度算出部１８として機能する。また、ＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
【０１００】
本実施形態に係る車載カメラ用画像補正方法によれば、形状や寸法が既知の図形を用いずとも、特徴路面画像から動きベクトルを検出し、この検出した動きベクトルから真上視点の動きベクトルへの変換式を求めることにより車載カメラ１１の現在の取り付け角度を求めることができる。このため、形状や寸法が既知の図形を用いる場合に比べ、非常に容易かつ正確に車載カメラ１１の現在の取り付け角度を求めることができる。車載カメラ１１の現在の取り付け角度の情報は、車載カメラ１１により撮像された画像を真上視点に変換する際に用いられるほか、他の視点に変換する際などの各種画像補正に利用することができる。
【０１０１】
また、本実施形態に係る車載カメラ用画像補正方法によれば、動きベクトルを回転補正した状態で真上からの視点になるようにルックアップテーブル１６を更新することを繰り返して、または、射影変換により動きベクトルを真上視点に変換して、回転補正を再計算させることを繰り返して、最終結果を得る。最終結果として得られる真上視点の動きベクトルは、真縦（ｚ成分のみ）であるため、非常に正確に検出することが可能である。このため、最初にカメラ画像から検出された動きベクトルの精度が悪い場合であっても、安定して回転補正結果を得ることができる。
【０１０２】
（２．第２の実施形態）
図９は、本発明の第２実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置１０Ａの一例を示すブロック図である。
【０１０３】
この第２実施形態に示すカメラ用画像補正装置１０Ａは、少なくとも自車の加速度の情報を出力する車両情報取得部３１を備えた点で第１実施形態に示すカメラ用画像補正装置１０と異なる。他の構成および作用については図１に示すカメラ用画像補正装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１０４】
車両情報取得部３１は、少なくとも自車の加速度の情報を取得し、制御部１２に出力する。車両情報取得部３１は、たとえば加速度センサにより構成してもよいし、ＣＡＮ（Controller Area Network）において一般的に用いられる車両情報取得機能を有するものであってもよい。
【０１０５】
制御部１２は、車両情報取得部３１から車両の加速度の情報を取得し、加速度なしかつ舵角なしに等速で車両が直進している状態にあると判定すると、各部１３−１８に対し図３に示した手順の実行を開始するよう制御する。
【０１０６】
加速度がある状態では、加速度や舵角により車両全体が傾くなどして検出する動きベクトルがずれるおそれがある。このため、動きベクトルの検出等の図３に示す手順は、加速度および舵角がない状態で行うことが好ましい。この点、第２実施形態に係る車載カメラ用画像補正方法によれば、車両の加速度情報を容易かつ正確に取得することができるため、車載カメラ１１の画像に対する加速度および舵角の影響を容易に取り除くことができる。
【０１０７】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０８】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１０９】
１０、１０Ａ 車載カメラ用画像補正装置
１１ 車載カメラ
１２ 制御部
１３ 特徴路面検出部
１４ 画像メモリ
１５ 平面画像生成部
１６ ルックアップテーブル
１７ 動きベクトル検出部
１８ カメラ角度算出部
２１ カメラ投影面
３１ 車両情報取得部
【特許請求の範囲】
【請求項１】
車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有する車載カメラ用画像補正方法。
【請求項２】
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップであり、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記３軸の各軸周りに独立に回転補正するための変換式を用いて前記検出された動きベクトルを変換し、変換後の動きベクトルにもとづいて前記ルックアップテーブルを更新し、更新後のルックアップテーブルを用いて平面画像を生成し、動きベクトルを検出することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記変換後の回転補正量が所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
請求項１記載の車載カメラ用画像補正方法。
【請求項３】
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップであり、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記検出された動きベクトルが真上視点の動きベクトルに近づくように変換式を用いて射影変換することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、射影変換された動きベクトルの回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記射影変換された動きベクトルの回転補正量が前記所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
請求項１記載の車載カメラ用画像補正方法。
【請求項４】
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像内の路面画像が特徴点を含む路面画像であるか否かを判定するステップと、
前記路面画像が前記特徴点を含む路面画像であると判定されると、この特徴点を含む路面画像にもとづいて動きベクトルを検出するステップと、
を有する、
請求項１ないし３のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項５】
前記カメラにより撮像された画像を記憶部に複数フレーム格納するステップ、
をさらに有し、
前記特徴点を含む路面画像にもとづいて動きベクトルを検出するステップは、
前記路面画像が前記特徴点を含む路面画像であると判定されると、この判定から複数フレーム過去の画像を前記記憶部から取り出して、これらの過去の画像を用いて前記特徴点を含む路面画像にもとづいて動きベクトルを検出するステップである、
請求項４記載の車載カメラ用画像補正方法。
【請求項６】
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向の分布を無視した動きベクトルの分布から、路面法線方向軸周りの回転角度と、前記進行方向および前記路面法線方向に垂直な方向軸周りの回転角度と、を求めるステップを有する、
請求項１ないし５のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項７】
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向の分布を無視した動きベクトルの前記進行方向成分の大きさの分布から、進行方向軸周りの回転角度を求めるステップを有する、
請求項１ないし６のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項８】
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向および路面法線方向に互いに直交する方向の分布を無視した動きベクトルの前記進行方向成分の大きさの分布から、路面法線方向軸周りの回転角度と、進行方向および前記路面法線方向に垂直な方向軸周りの回転角度を求めるステップを有する、
請求項１ないし７のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項９】
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記繰り返すステップの繰り返しごとに、前記検出された動きベクトルのうち前記車両の進行方向成分の大きさが平均値から所定の範囲外に属するものを除いて変換を行うとともに、繰り返しごとに前記所定の範囲を狭める、
請求項２ないし８のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項１０】
前記検出された動きベクトルにもとづいて前記車両の加速度が所定の加速度以下であるか否かを判定するステップと、
前記検出された動きベクトルにもとづいて前記車両の舵角が所定の舵角以下であるか否かを判定するステップと、
の少なくとも一方のステップをさらに有し、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記所定の加速度以下であると判定された後または前記所定の舵角以下であると判定された後に前記カメラにより撮像された画像内の路面画像にもとづいて検出された動きベクトルに対して、前記変換式を用いて真上視点の動きベクトルに変換するステップである、
請求項１ないし９のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項１１】
コンピュータに、
車両に取り付けられたカメラが撮像した前記車両の周囲の画像を取得するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを真上視点の動きベクトルに変換するための変換式を求めるステップと、
前記真上視点の動きベクトルの変換に用いられた前記変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を実行させるための車載カメラ用画像補正プログラム。
【請求項１】
車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の３軸の各軸周りに独立に回転補正させるための式である前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有する車載カメラ用画像補正方法。
【請求項２】
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップであり、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記３軸の各軸周りに独立に回転補正するための変換式を用いて前記検出された動きベクトルを変換し、変換後の動きベクトルにもとづいて前記ルックアップテーブルを更新し、更新後のルックアップテーブルを用いて平面画像を生成し、動きベクトルを検出することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記変換後の回転補正量が所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
請求項１記載の車載カメラ用画像補正方法。
【請求項３】
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップであり、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記検出された動きベクトルが真上視点の動きベクトルに近づくように変換式を用いて射影変換することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、射影変換された動きベクトルの回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記射影変換された動きベクトルの回転補正量が前記所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
請求項１記載の車載カメラ用画像補正方法。
【請求項４】
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像内の路面画像が特徴点を含む路面画像であるか否かを判定するステップと、
前記路面画像が前記特徴点を含む路面画像であると判定されると、この特徴点を含む路面画像にもとづいて動きベクトルを検出するステップと、
を有する、
請求項１ないし３のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項５】
前記カメラにより撮像された画像を記憶部に複数フレーム格納するステップ、
をさらに有し、
前記特徴点を含む路面画像にもとづいて動きベクトルを検出するステップは、
前記路面画像が前記特徴点を含む路面画像であると判定されると、この判定から複数フレーム過去の画像を前記記憶部から取り出して、これらの過去の画像を用いて前記特徴点を含む路面画像にもとづいて動きベクトルを検出するステップである、
請求項４記載の車載カメラ用画像補正方法。
【請求項６】
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向の分布を無視した動きベクトルの分布から、路面法線方向軸周りの回転角度と、前記進行方向および前記路面法線方向に垂直な方向軸周りの回転角度と、を求めるステップを有する、
請求項１ないし５のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項７】
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向の分布を無視した動きベクトルの前記進行方向成分の大きさの分布から、進行方向軸周りの回転角度を求めるステップを有する、
請求項１ないし６のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項８】
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向および路面法線方向に互いに直交する方向の分布を無視した動きベクトルの前記進行方向成分の大きさの分布から、路面法線方向軸周りの回転角度と、進行方向および前記路面法線方向に垂直な方向軸周りの回転角度を求めるステップを有する、
請求項１ないし７のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項９】
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記繰り返すステップの繰り返しごとに、前記検出された動きベクトルのうち前記車両の進行方向成分の大きさが平均値から所定の範囲外に属するものを除いて変換を行うとともに、繰り返しごとに前記所定の範囲を狭める、
請求項２ないし８のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項１０】
前記検出された動きベクトルにもとづいて前記車両の加速度が所定の加速度以下であるか否かを判定するステップと、
前記検出された動きベクトルにもとづいて前記車両の舵角が所定の舵角以下であるか否かを判定するステップと、
の少なくとも一方のステップをさらに有し、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記所定の加速度以下であると判定された後または前記所定の舵角以下であると判定された後に前記カメラにより撮像された画像内の路面画像にもとづいて検出された動きベクトルに対して、前記変換式を用いて真上視点の動きベクトルに変換するステップである、
請求項１ないし９のいずれか１項に記載の車載カメラ用画像補正方法。
【請求項１１】
コンピュータに、
車両に取り付けられたカメラが撮像した前記車両の周囲の画像を取得するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを真上視点の動きベクトルに変換するための変換式を求めるステップと、
前記真上視点の動きベクトルの変換に用いられた前記変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を実行させるための車載カメラ用画像補正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７４３２５（Ｐ２０１３−７４３２５Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２０９６９５（Ｐ２０１１−２０９６９５）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]