カメラ校正装置
【課題】どのような状況であっても安定してカメラの設置角度を算出することのできるカメラ校正装置を得る。
【解決手段】平行線群抽出手段４は、画像蓄積部２で蓄積した画像から平行線群を抽出する。撮影対象判定手段５は、平行線群から撮影対象が地面であるかどうかを判定する。カメラ角度算出手段７は、撮影対象判定手段５で判定した撮影対象に応じて平行線群抽出手段４で抽出した平行線群およびフロー算出手段６で算出したオプティカルフローからカメラ１の設置角度を算出する。
【解決手段】平行線群抽出手段４は、画像蓄積部２で蓄積した画像から平行線群を抽出する。撮影対象判定手段５は、平行線群から撮影対象が地面であるかどうかを判定する。カメラ角度算出手段７は、撮影対象判定手段５で判定した撮影対象に応じて平行線群抽出手段４で抽出した平行線群およびフロー算出手段６で算出したオプティカルフローからカメラ１の設置角度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車周辺を撮影するカメラの設置角度を算出して校正を行うカメラ校正装置に関するものである。
【背景技術】
【０００２】
近年、車両周辺画像を撮影するためのカメラを設置した車両が増えている。撮影したカメラ画像の利用方法として、経路案内や視界補助などがある。経路案内の方法としては、車両前方を撮影した画像の上に、進路変更や右左折をするべき位置・方向に矢印を重畳表示してナビゲーション画面に表示する方法がある。視界補助の方法としては、車両左側面や車両後方などの運転者から見えない部分を撮影した画像をナビゲーション画面に表示する方法がある。さらに、複数のカメラを設置する例も増えている。この例としては、複数カメラを上方視点からの画像に変換して合成し、ナビゲーション画面に表示するなどがある。
【０００３】
こういった機能の実現には、車両に対してカメラが設置された位置、角度の情報を正確に知る必要があるため、このような設置情報を自動的に推定することは有用である。特に、設置角度は測定が難しく、画像の利用への影響も大きいことから、自動推定への要求が高い。
従来、このようなカメラ画像からカメラの設置情報を推定する方法として、例えば、道路標示など、車両周辺に既に存在するパターンを撮影した画像を利用する方法があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２００３−３２９４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の校正方法では、道路が十分に画像内に含まれている必要があり、適用可能な状況が制限されるという問題があった。
この発明は、上記のような問題点を解決するためになされたものであり、どのような状況であっても安定してカメラの設置角度を算出することのできるカメラ校正装置を得ることを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係るカメラ校正装置は、車両に設置したカメラによる走行時の撮影画像を取得時刻と共に蓄積する画像蓄積部と、自車の位置姿勢を時刻と共に蓄積する自車情報蓄積部と、画像蓄積部で蓄積した画像から平行線群を抽出する平行線群抽出手段と、平行線群抽出手段で抽出した平行線群から撮影対象が地面であるかどうかを判定する撮影対象判定手段と、画像蓄積部で蓄積した複数時刻での画像と、自車情報蓄積部で蓄積した複数時点での自車情報を用いて画像のオプティカルフローを算出するフロー算出手段と、撮影対象判定手段で判定した撮影対象に応じて平行線群抽出手段で抽出した平行線群およびフロー算出手段で算出したオプティカルフローからカメラの設置角度を算出するカメラ角度算出手段を備えたものである。
【発明の効果】
【０００７】
この発明のカメラ校正装置は、撮影対象判定手段で判定した撮影対象に応じて平行線群抽出手段で抽出した平行線群およびフロー算出手段で算出したオプティカルフローからカメラの設置角度を算出するようにしたので、どのような状況であっても安定してカメラの設置角度を算出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１によるカメラ校正装置を示す構成図である。
【図２】本発明のカメラ校正装置を実現するためのハードウェアの一例を示す構成図である。
【図３】本発明の実施の形態１において、撮影対象が地面でない場合のカメラ設置角度を算出するための処理を示すフローチャートである。
【図４】本発明の実施の形態１において、鉛直線角度を用いてカメラのＹａｗ角およびＰｉｔｃｈ角を算出する処理のイメージを示した概念図である。
【図５】本発明の実施の形態１において、撮影対象が地面である場合のカメラ設置角度を算出するための処理を示すフローチャートである。
【図６】本発明の実施の形態１において、鉛直線角度をαとした場合の鉛直フロー消失点を生成する処理のイメージを示した概念図である。
【図７】本発明の実施の形態１において、オプティカルフローの大きさを用いてカメラのＹａｗ角およびＰｉｔｃｈ角を算出する処理のイメージを示した概念図である。
【図８】本発明の実施の形態２によるカメラ校正装置を示す構成図である。
【図９】本発明の実施の形態３によるカメラ校正装置を示す構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１によるカメラ校正装置を示す構成図である。
図１に示すカメラ校正装置は、カメラ１、画像蓄積部２、自車情報蓄積部３、平行線群抽出手段４、撮影対象判定手段５、フロー算出手段６、カメラ角度算出手段７を備えている。
【００１０】
カメラ１は、車両に設置され、周辺画像を取得する撮像部である。ここで、周辺画像は走行時における自車周辺の実写画像であり、例えば自車前方などの画像である。
画像蓄積部２は、カメラ１で取得した画像を、画像を取得した時刻と紐付けて蓄積する。
自車情報蓄積部３は、走行中の各時点で測定した自車情報を、測定した時刻と紐付けて蓄積する。ここで自車情報は、自車の位置姿勢である。位置姿勢の測定は、例えば従来のカーナビゲーションシステムで行われているように、ＧＰＳ、車速センサといったセンサ群の測定値とマップマッチングなどを用いて計算する。
平行線群抽出手段４は、画像蓄積部２で蓄積した各画像から平行線群を抽出する。ここで平行線群は現実世界において互いに平行な直線の集合であり、画像の上では互いに平行である直線の集合か、一つの点で交わる直線の集合である。画像上で互いに平行な直線の集合あるいは一つの点である直線の集合は、例えば、「無限平面内での消失点抽出、情報処理学会研究報告Ｖｏｌ．９９、Ｎｏ．７０、２５〜３０頁」に記載された方法等を用いて抽出する。ある閾値を上回る数の直線がこの基準を満たす時、その集合を平行線群とする。この閾値は、例えばカメラ１の画素数、視野角を用いて決定する。また、自車が走行している道路周辺の情報に応じてこの閾値を調整してもよい。ここで抽出したそれぞれの平行線群について、重要度を計算する。平行線群の重要度は例えば、その平行線群に属する線の数、あるいは長さの合計として計算する。また、画像上で平行である平行線群は、その画像平面上での角度を計算しておき、画像上で平行でない平行線群はその画像平面上での交点の座標を計算しておく。ここで、画像上で平行でない平行線群が交わる点を、その平行線群の消失点と呼ぶ。
【００１１】
撮影対象判定手段５は、例えば平行線群抽出手段４により抽出した平行線群から、撮影対象が地面であるかどうかを判定する。ここでは、画像に地面しか撮影されていない場合は撮影対象が地面であると判定し、周囲の建造物などが画像に含まれている場合は撮影対象が地面でないと判定する。画像上に平行でない２つ以上の平面が含まれている場合と１つしか平面が含まれていない場合では、カメラ角度の適切な算出方法が異なる。そのため、ここで判定した結果を用いてカメラ角度の算出方法を切り替える。
撮影対象の具体的な判定方法として、例えば以下の方法がある。即ち、通常の道路、特に市街地では、周囲の建造物が平行なエッジを多く持つため、建造物が画像に含まれる場合は、画像から平行線群が抽出される。そこで、平行線群が１つも抽出されなければ撮影対象が地面であると判定し、平行線群が１つでも抽出されれば撮影対象が地面でないと判定する。
ここで、道路の白線、横断歩道やタイルなどが画像に含まれている時、地面しか撮影されていないのに平行線群が抽出される場合があるため、平行線群が１つだけ抽出された場合は別の判定基準を設けるようにしてもよい。別の判定基準として、例えば地図情報および自車情報を参照して車両周辺に建造物が少ない場合は、道路面以外の平行線が画像に含まれる可能性が低いため、撮影対象が地面であると判定するなどがある。また、走行中の各時点で判定した撮影対象を記録しておき、ノイズと判断される判定結果は利用しないようにしてもよい。
【００１２】
フロー算出手段６は、画像蓄積部２で蓄積した複数時刻での画像と、自車情報蓄積部３で蓄積した複数時点での自車情報を用いて、画像のオプティカルフローを算出する。オプティカルフローの算出方法としては、例えば「ロボットビジョンの基礎、ＩＳＢＮ４−３３９０−２３７７−９（７６〜７８頁）」に記載された方法を用いる。
ここで、車両が直進している時、車両周辺の静止した点から算出したオプティカルフローは、全て平行であるか同じ点で交わる。本発明では、建造物など静止した物体とカメラ１との位置関係の変化を利用する必要があるため、不要なオプティカルフローは除く。オプティカルフローの多くが平行である場合には、別の角度であるオプティカルフローを除く。また、オプティカルフローの多くが同じ点で交わる場合には、その点に交わらないオプティカルフローを除く。また、テンプレートマッチングにより車両や動物などの一部であると判断された点のオプティカルフローを除いてもよい。
算出したオプティカルフローが平行である場合、そのオプティカルフローの画像平面上での角度を画像のフロー角度として決定する。算出したオプティカルフローが画像平面上の同じ点で交わる場合、そのオプティカルフローの画像平面上での交点を、画像のフロー消失点として決定する。
【００１３】
カメラ角度算出手段７は、撮影対象判定手段５で判定した撮影対象に応じて、平行線群抽出手段４で抽出した平行線群およびフロー算出手段６で算出したオプティカルフローからカメラ１の設置角度を算出する。
ここで、カメラ１の設置角度は＜Ｙａｗ角、Ｐｉｃｔｈ角、Ｒｏｌｌ角＞の組で表す。ｘ軸を車両の左右方向（右が正）、ｙ軸を車両の上下方向（上が正）、ｚ軸を車両の前後方向（前が正）とし、設置角度をそれぞれ以下のように定義する。Ｙａｗ角はｙ軸を中心として０度から３６０度まである回転角で、ｚ軸正方向が０度、ｘ軸正方向が９０度とする。Ｐｉｔｃｈ角はｘ軸を中心として０度から３６０度まである回転角で、ｚ軸正方向が０度、ｙ軸負方向が９０度とする。Ｒｏｌｌ角はｚ軸を中心として０度から１８０度まである回転角で、ｙ軸正方向が０度、ｘ軸負方向が９０度とする。また、回転の順序はＹａｗ角、Ｐｉｃｔｈ角、Ｒｏｌｌ角の順とする。
【００１４】
図２は、実施の形態１のカメラ校正装置を実現するためのハードウェア構成図である。
図示のように、カメラ校正装置を実現するためのハードウェア構成は、ＣＰＵ１０１、記憶装置１０２、マイコンインタフェース１０３、外部機器インタフェース１０４、車両インタフェース１０５、ＧＰＳレシーバ１０６、ジャイロセンサ１０７、映像出力装置１０８、カメラ本体１０９からなる。ＣＰＵ１０１は、カメラ校正装置としての各種演算や制御を司るプロセッサである。記憶装置１０２は、カメラ本体１０９の撮影画像等、各種データを記憶するための半導体メモリやハードディスク装置からなるものである。マイコンインタフェース１０３は、ＣＰＵ１０１や記憶装置１０２と、外部機器インタフェース１０４〜映像出力装置１０８とを接続するためのインタフェースである。外部機器インタフェース１０４は、カメラ本体１０９等の外部機器とのインタフェースであり、車両インタフェース１０５は、車両側とのインタフェースである。ＧＰＳレシーバ１０６は推定自車位置を出力する装置である。ジャイロセンサ１０７は、車両の角速度を算出する装置である。映像出力装置１０８は、各種の映像を表示する表示装置である。カメラ本体１０９は、車両に設置された撮像部である。
【００１５】
図１に示すそれぞれの機能部と図２のハードウェアとの対応関係は次の通りである。
カメラ１は、カメラ本体１０９が外部機器インタフェース１０４に接続されることで実現する。画像蓄積部２は、カメラ本体１０９で撮影した画像を外部機器インタフェース１０４およびマイコンインタフェース１０３が仲介して記憶装置１０２に格納することで実現する。自車情報蓄積部３は、車両インタフェース１０５が車両から受け取った速度、ＧＰＳレシーバ１０６がＧＰＳ衛星から電波を受け取って計算した推定自車位置、ジャイロセンサ１０７が検出した車両の角速度を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納し、記憶装置１０２に格納されている地図データと前記した速度、推定自車位置、角速度を用いて、ＣＰＵ１０１が自車の位置および姿勢を特定し記憶装置１０２に格納することで実現する。
【００１６】
平行線群抽出手段４は、画像蓄積部２において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０１が、平行線群抽出処理に対応したプログラムを実行して平行線群を抽出し、これを記憶装置１０２に格納することで実現する。撮影対象判定手段５は、平行線群抽出手段４において記憶装置１０２に格納された平行線群を用いて、ＣＰＵ１０１が撮影対象判定処理に対応したプログラムを実行して撮影対象を判定し、これを記憶装置１０２に格納することで実現する。フロー算出手段６は、画像蓄積部２において記憶装置１０２に格納された画像および自車情報蓄積部３において記憶装置１０２に格納された自車情報を用いて、ＣＰＵ１０１がフロー算出に対応したプログラムを実行してオプティカルフローを算出し、これを記憶装置１０２に格納することで実現する。カメラ角度算出手段７は、平行線群抽出手段４において記憶装置１０２に格納された平行線群および撮影対象判定手段５において記憶装置１０２に格納された撮影対象判定結果を用いて、ＣＰＵ１０１がカメラ角度算出処理に対応したプログラムを実行してカメラ角度を算出し、これを記憶装置１０２に格納することで実現する。
【００１７】
次に、このように構成されたカメラ校正装置の動作について説明する。
先ず、撮影対象が地面でない場合について説明する。
直進する車両に設置したカメラ１で撮影した画像から算出したオプティカルフローは、直進方向に平行な直線（即ち、地面にも平行な直線）を撮影したものと一致する。このことから、鉛直線の判定基準として、オプティカルフローの角度と直交しているものを用いる。
【００１８】
図３は、撮影対象が地面でない場合の具体的な設置角度算出方法の一例を示すフローチャートである。
ステップＳＴ１０１では、鉛直線角度を決定する。ここで鉛直線角度とは、鉛直線の画像上の角度である。鉛直線の画像上の角度がカメラ１との位置関係によって変化する場合、フロー消失点上での鉛直線を想定したときの画像上の角度とする。
鉛直線の候補となる直線は、画像上で平行な平行線群あるいは画像上で平行でない複数の平行線群で構成される。複数の平行線群で構成される場合、複数のフロー消失点を通る直線が鉛直線の候補となる。車両が道路上を走行する際に鉛直線以外の平行線群が画像上で平行に見えることは少ないため、画像上で平行な平行線群で構成される直線は鉛直線である可能性が高い。また、複数の平行線群の消失点を通る直線の中では、この直線を構成する平行線群の重要度が高い方が鉛直線である可能性が高い。さらに、オプティカルフローは車両の進行方向に沿って発生するため、オプティカルフローに沿った平行線群で構成される直線は、鉛直線である可能性が低い。以上のことを踏まえ、鉛直線の候補である各直線を構成する平行線群について、画像上で平行であるかどうか、オプティカルフローに沿っているかどうか、重要度から評価値を算出し、その値が高い直線を鉛直線として決定する。ここで、カメラが建造物を正面から撮影している場合に画像上で平行な平行線群が複数抽出される場合があるなど、カメラと自車周辺の環境との関係によっては鉛直線の決定が難しい。このため、地図および自車情報に応じて、鉛直線の評価基準を変更するなどしてもよい。
【００１９】
ステップＳＴ１０２では、鉛直線角度からカメラのＲｏｌｌ角を算出する。鉛直線角度がそのままＲｏｌｌ角となる。
ステップＳＴ１０３では、オプティカルフローの種類を判定する。オプティカルフローが平行である場合はステップＳＴ１０６に進み、そうでない場合はステップＳＴ１０４に進む。
ステップＳＴ１０４では、フロー消失点およびカメラのＲｏｌｌ角から鉛直フロー消失点を算出する。ここで鉛直フロー消失点は、フロー消失点を、画面中心を中心にＲｏｌｌ角だけ回転した点である。
ステップＳＴ１０５では、鉛直フロー消失点からカメラのＹａｗ角およびＰｉｔｃｈ角を算出する。ここでは、カメラのＹａｗ角およびＰｉｔｃｈ角をそれぞれθおよびφと表記する。図４において、上側に記載した図はカメラ上側から見た図であり、下側に記載した図はＲｏｌｌ角を０度とした時のカメラ右側から見た図（すなわち、Ｙａｗ＋９０度の角度からカメラを見た図）である。また、Ｖ’ｕおよびＶ’ｖはそれぞれ鉛直フロー消失点の画像上のｕ軸成分およびｖ軸成分である。ｆはカメラ１の焦点距離であり、Lはカメラ１の光軸である。また、Ｃはカメラ１の位置である。図４に示すように、カメラのＹａｗ角およびＰｉｔｃｈ角は以下の式で求められる。
【数１】
【００２０】
ステップＳＴ１０６では、フロー角度およびカメラのＲｏｌｌ角から鉛直フロー角度を算出する。ここで鉛直フロー角度は、フロー角度を、画面中心を中心にＲｏｌｌ角だけ回転した点である。
ステップＳＴ１０７では、鉛直フロー角度からカメラのＹａｗ角を算出する。鉛直フロー角度がそのままカメラのＹａｗ角となる。このとき、Ｙａｗ角は約９０度あるいは約２７０度となり、Ｐｉｃｔｈ角を求めることはできない。
【００２１】
次に、撮影対象が地面である場合について説明する。
撮影対象が地面である場合は、オプティカルフローの大きさがカメラ１からの距離に応じて変化すること、撮影対象が平面（地面）であることを利用する。そして、画像上の各点におけるオプティカルフローの大きさの違いから地面とカメラ１との位置関係（特に角度）を求める。また、撮影対象が地面ではない場合の考え方も利用して算出する。
【００２２】
図５は、撮影対象が地面である場合の具体的な設置角度算出方法を示すフローチャートである。
ステップＳＴ２０１では、オプティカルフローの種類を判定する。オプティカルフローが平行である場合はステップＳＴ２０５に進み、そうでない場合はステップＳＴ２０２に進む。
ステップＳＴ２０２では、鉛直線角度を決定する。鉛直線角度の求め方の一例を以下に示す。
鉛直線角度をαとした場合の、鉛直フロー消失点を図６に示す。図６において、左側に記載した実線の四角は元の画像、右側に記載した破線の四角は鉛直線角度だけ回転させた画像であり、Ｖはフロー消失点、Ｖ’は鉛直フロー消失点、Ｏは画像中心である。回転させた画像上で、ＯとＶ’を通る直線上にない点Ｐを考える。
【００２３】
図７は、Ｒｏｌｌ角を０度とした時のカメラ右側から見た図（即ち、Ｙａｗ＋９０度の角度からカメラを見た図）である。Ｖ’ｕおよびＰｕは、それぞれＶ’およびＰのｕ軸成分である。また、ＰｒｏａｄおよびＯｒｏａｄは、画像上の点ＰおよびＯに対応する道路上の点である。ｆはカメラ１の焦点距離である。Ｃはカメラ１の位置である。Ｌはカメラ１の光軸であり、ＰｆｌａｔはＰｒｏａｄを通りＬに垂直な平面とＬとの交点である。カメラが平行移動する際、ＰｒｏａｄおよびＰｆｌａｔ上にある物体のオプティカルフローは一致する。また、ＰｆｌａｔおよびＯｒｏａｄ上にある物体のオプティカルフローの大きさは、Ｃからの距離に反比例する。以上の点と図７に示す内容とにより、点Ｐおよび点Ｏでのオプティカルフローの大きさをそれぞれＰｏｗｅｒ（Ｐ）およびＰｏｗｅｒ（Ｏ）とすると、以下の式が成り立つ。
【００２４】
【数２】
この式が成り立つようなαが鉛直線角度となる。また、鉛直線角度がそのままＲｏｌｌ角となる。
ステップＳＴ２０３では、フロー消失点およびカメラのＲｏｌｌ角から鉛直フロー消失点を算出する。ここで鉛直フロー消失点は、フロー消失点を、画面中心を中心にＲｏｌｌ角だけ回転した点である。
ステップＳＴ２０４では、鉛直フロー消失点からカメラのＹａｗ角およびＰｉｔｃｈ角を算出する。Ｙａｗ角およびＰｉｔｃｈ角は上記のステップＳＴ１０５と同じ方法で求められる。
【００２５】
ステップＳＴ２０５では、鉛直線角度を決定する。オプティカルフローが平行である時、カメラのＹａｗ角は９０度あるいは２７０度であり、鉛直線角度はフロー角度に垂直となる。フロー角度に垂直で、かつ０度以上１８０度未満であるような角度を、鉛直線角度とする。また、ここで求めた鉛直線角度がそのままＲｏｌｌ角となる。尚、このとき、Ｙａｗ角は約９０度あるいは約２７０度であるため、Ｐｉｃｔｈ角を求めることはできない。
【００２６】
以上のように、実施の形態１では、平行線群抽出手段４、フロー算出手段６およびカメラ角度算出手段７を備えたことにより、車両走行時に自動的にカメラの設置角度を算出することができる。そのため、ユーザが設置角度を測定することなくカメラを車両に簡便に取り付け、利用することができる。さらに、撮影対象判定手段５を備えたことにより、カメラの撮影対象に応じてカメラ角度を算出する方法を切り替えることができる。そのため、より多くの状況でカメラ角度を算出できる。
【００２７】
また、基準マーカーといったカメラを校正するための特別な手段も不要であると共に、特許文献１に記載の校正装置のように、道路上の２本の平行な白線が画像内に含まれている必要がある、といったこともなく、どのような状況であっても確実にカメラ設置角度の検出を行うことができる。
【００２８】
以上のように、実施の形態１のカメラ校正装置によれば、車両に設置したカメラ１による走行時の撮影画像を取得時刻と共に蓄積する画像蓄積部２と、自車の位置姿勢を時刻と共に蓄積する自車情報蓄積部３と、画像蓄積部２で蓄積した画像から平行線群を抽出する平行線群抽出手段４と、平行線群抽出手段４で抽出した平行線群から撮影対象が地面であるかどうかを判定する撮影対象判定手段５と、画像蓄積部２で蓄積した複数時刻での画像と、自車情報蓄積部３で蓄積した複数時点での自車情報を用いて画像のオプティカルフローを算出するフロー算出手段６と、撮影対象判定手段５で判定した撮影対象に応じて平行線群抽出手段４で抽出した平行線群およびフロー算出手段６で算出したオプティカルフローからカメラの設置角度を算出するカメラ角度算出手段７を備えたので、カメラ画像が道路面を十分に含んでいない場合等、どのような状況でも、安定してカメラの設置角度を算出することができる。
【００２９】
実施の形態２．
図８は、本発明の実施の形態２によるカメラ校正装置を示す構成図である。
実施の形態２のカメラ校正装置は、カメラ１、画像蓄積部２、自車情報蓄積部３、平行線群抽出手段４、撮影対象判定手段５、フロー算出手段６、カメラ角度算出手段７、道路面抽出手段８、カメラ位置算出手段９を備えている。ここで、カメラ１〜カメラ角度算出手段７は、実施の形態１と同様の構成であるため、ここでの説明は省略する。
道路面抽出手段８は、平行線群抽出手段４で抽出した平行線群およびカメラ角度算出手段７で算出したカメラの設置角度から、画像に含まれる道路面の領域を抽出する。カメラ位置算出手段９は、道路面抽出手段８で抽出した道路面における、フロー算出手段６で算出したオプティカルフローを用いて、カメラの設置位置を算出する。ここでは、カメラの設置位置として高さのみを算出する。
【００３０】
尚、図８に示した構成と図２に示したハードウェアとの関係は次の通りである。
カメラ１〜カメラ角度算出手段７は、上述した実施の形態１と同様のハードウェア構成で実現する。また、道路面抽出手段８は、平行線群抽出手段４において記憶装置１０２に格納された平行線群、およびカメラ角度算出手段７において記憶装置１０２に格納されたカメラ角度を用いて、ＣＰＵ１０１が道路面を抽出して記憶装置１０２に格納することで実現する。カメラ位置算出手段９は、フロー算出手段６において記憶装置１０２に格納されたオプティカルフロー、および道路面抽出手段８において記憶装置１０２に格納された道路面を用いて、ＣＰＵ１０１がカメラ位置を算出して記憶装置１０２に格納することで実現する。
【００３１】
このように構成された実施の形態２のカメラ校正装置において道路面抽出手段８による道路面の抽出は例えば次のように行う。
カメラ角度算出手段７において、道路面のオプティカルフローからカメラ角度を算出している。これと逆の考えで、カメラ画像が全て道路面を撮影していると仮定した時、カメラ角度から画像上の各点のオプティカルフローを算出できる（但し、この時点ではカメラの高さを未知数とした値になる）。道路面抽出手段８では、このように算出したオプティカルフローと、実際に画像から抽出したオプティカルフローを比較し、条件に合う点を道路面であると判定する。そして、カメラ位置算出手段９は、道路面抽出手段８で抽出した道路面に基づき、フロー算出手段６で算出したオプティカルフローを用いて、カメラ１の設置高さを算出する。
【００３２】
尚、高さ以外の設置情報（ここでは前後位置Ｚ、左右位置Ｘと記述する）については画像からの推定は難しいため、カメラ１の角度からおおよその位置を推定する。
例えば、カメラ１が右を向いている場合は車両の右側に設置されていると推定する（車両の幅をＷとし、４５度＜Ｙａｗ角＜１３５度ならＺ＝Ｗ／２、２２５度＜Ｙａｗ角＜３１５度ならＺ＝−Ｗ／２とする）、などが考えられる。
【００３３】
以上のように、実施の形態２のカメラ校正装置によれば、カメラ角度算出手段の算出結果に基づいて画像から道路面を抽出する道路面抽出手段８と、道路面抽出手段８の抽出結果とフロー算出手段６で算出したオプティカルフローとを用いてカメラの設置位置を算出するカメラ位置算出手段９とを備えたので、カメラの設置角度に加えて設置位置を車両走行時に自動的に算出することができる。そのため、ユーザが設置位置および設置角度を測定することなくカメラを簡便に車両に取り付け、利用することができる。
【００３４】
実施の形態３．
図９は本発明の実施の形態３による車載装置を示すシステム構成図である。
図９における、カメラ１、画像蓄積部２、自車情報蓄積部３、平行線群抽出手段４、撮影対象判定手段５、フロー算出手段６、カメラ角度算出手段７、変換画像表示手段１０からなる。ここで、カメラ１〜カメラ角度算出手段７は、実施の形態１と同様の構成であるため、ここでの説明は省略する。変換画像表示手段１０は、カメラ角度算出手段７で算出したカメラの設置角度を用いて、画像蓄積部２で蓄積した画像を変換し、カーナビゲーションなどのディスプレイに表示する手段である。ここで、画像変換形式として、拡大縮小、上方視点、鏡像などに変換することが考えられる。画像変換形式はユーザが指定してもよいし、カメラ角度や運転状況に応じて決定してもよい。
【００３５】
また、図９に示した構成と図２に示したハードウェアとの関係は次の通りである。
カメラ１〜カメラ角度算出手段７は、上述した実施の形態１と同様のハードウェア構成で実現する。また、変換画像表示手段１０は、画像蓄積部２において記憶装置１０２に格納された画像およびカメラ角度算出手段７において記憶装置１０２に格納されたカメラ角度を用いて、ＣＰＵ１０１が画像を変換して映像出力装置１０８に表示することで実現する。
【００３６】
また、カメラ角度に応じて画像変換形式を決定する例として、カメラが車両後方を向くように設置されている場合は、鏡像に変換して表示するなどが考えられる。さらに、運転状況に応じて画像変換形式を決定する例として、車両が後方へ走行している時には上方視点の画像（上空から見た車両周辺の画像）に変換して表示するなどが考えられる。
【００３７】
尚、上記実施の形態３では、カメラ角度算出手段７の算出結果に基づいて変換画像表示手段１０で画像を変換するようにしたが、実施の形態２におけるカメラ位置算出手段９の算出結果であるカメラの設置位置に基づいて画像を変換するようにしてもよい。
【００３８】
以上のように、実施の形態３のカメラ校正装置によれば、所定の変換方法で画像蓄積部２に蓄積された撮影画像を変換して表示する変換画像表示手段１０を備えたので、ユーザの指定、カメラの設置情報や運転状況などに合わせて画像をユーザに有用な形で表示することができる。そのため、カメラで取得した画像を効果的に利用することができる。
【符号の説明】
【００３９】
１ カメラ、２ 画像蓄積部、３ 自車情報蓄積部、４ 平行線群抽出手段、５ 撮影対象判定手段、６ フロー算出手段、７ カメラ角度算出手段、８ 道路面抽出手段、９ カメラ位置算出手段、１０ 変換画像表示手段、１０１ ＣＰＵ、１０２ 記憶装置、１０３ マイコンインタフェース、１０４ 外部機器インタフェース、１０５ 車両インタフェース、１０６ ＧＰＳレシーバ、１０７ ジャイロセンサ、１０８ 映像出力装置、１０９ カメラ本体。
【技術分野】
【０００１】
本発明は、自車周辺を撮影するカメラの設置角度を算出して校正を行うカメラ校正装置に関するものである。
【背景技術】
【０００２】
近年、車両周辺画像を撮影するためのカメラを設置した車両が増えている。撮影したカメラ画像の利用方法として、経路案内や視界補助などがある。経路案内の方法としては、車両前方を撮影した画像の上に、進路変更や右左折をするべき位置・方向に矢印を重畳表示してナビゲーション画面に表示する方法がある。視界補助の方法としては、車両左側面や車両後方などの運転者から見えない部分を撮影した画像をナビゲーション画面に表示する方法がある。さらに、複数のカメラを設置する例も増えている。この例としては、複数カメラを上方視点からの画像に変換して合成し、ナビゲーション画面に表示するなどがある。
【０００３】
こういった機能の実現には、車両に対してカメラが設置された位置、角度の情報を正確に知る必要があるため、このような設置情報を自動的に推定することは有用である。特に、設置角度は測定が難しく、画像の利用への影響も大きいことから、自動推定への要求が高い。
従来、このようなカメラ画像からカメラの設置情報を推定する方法として、例えば、道路標示など、車両周辺に既に存在するパターンを撮影した画像を利用する方法があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２００３−３２９４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の校正方法では、道路が十分に画像内に含まれている必要があり、適用可能な状況が制限されるという問題があった。
この発明は、上記のような問題点を解決するためになされたものであり、どのような状況であっても安定してカメラの設置角度を算出することのできるカメラ校正装置を得ることを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係るカメラ校正装置は、車両に設置したカメラによる走行時の撮影画像を取得時刻と共に蓄積する画像蓄積部と、自車の位置姿勢を時刻と共に蓄積する自車情報蓄積部と、画像蓄積部で蓄積した画像から平行線群を抽出する平行線群抽出手段と、平行線群抽出手段で抽出した平行線群から撮影対象が地面であるかどうかを判定する撮影対象判定手段と、画像蓄積部で蓄積した複数時刻での画像と、自車情報蓄積部で蓄積した複数時点での自車情報を用いて画像のオプティカルフローを算出するフロー算出手段と、撮影対象判定手段で判定した撮影対象に応じて平行線群抽出手段で抽出した平行線群およびフロー算出手段で算出したオプティカルフローからカメラの設置角度を算出するカメラ角度算出手段を備えたものである。
【発明の効果】
【０００７】
この発明のカメラ校正装置は、撮影対象判定手段で判定した撮影対象に応じて平行線群抽出手段で抽出した平行線群およびフロー算出手段で算出したオプティカルフローからカメラの設置角度を算出するようにしたので、どのような状況であっても安定してカメラの設置角度を算出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１によるカメラ校正装置を示す構成図である。
【図２】本発明のカメラ校正装置を実現するためのハードウェアの一例を示す構成図である。
【図３】本発明の実施の形態１において、撮影対象が地面でない場合のカメラ設置角度を算出するための処理を示すフローチャートである。
【図４】本発明の実施の形態１において、鉛直線角度を用いてカメラのＹａｗ角およびＰｉｔｃｈ角を算出する処理のイメージを示した概念図である。
【図５】本発明の実施の形態１において、撮影対象が地面である場合のカメラ設置角度を算出するための処理を示すフローチャートである。
【図６】本発明の実施の形態１において、鉛直線角度をαとした場合の鉛直フロー消失点を生成する処理のイメージを示した概念図である。
【図７】本発明の実施の形態１において、オプティカルフローの大きさを用いてカメラのＹａｗ角およびＰｉｔｃｈ角を算出する処理のイメージを示した概念図である。
【図８】本発明の実施の形態２によるカメラ校正装置を示す構成図である。
【図９】本発明の実施の形態３によるカメラ校正装置を示す構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１によるカメラ校正装置を示す構成図である。
図１に示すカメラ校正装置は、カメラ１、画像蓄積部２、自車情報蓄積部３、平行線群抽出手段４、撮影対象判定手段５、フロー算出手段６、カメラ角度算出手段７を備えている。
【００１０】
カメラ１は、車両に設置され、周辺画像を取得する撮像部である。ここで、周辺画像は走行時における自車周辺の実写画像であり、例えば自車前方などの画像である。
画像蓄積部２は、カメラ１で取得した画像を、画像を取得した時刻と紐付けて蓄積する。
自車情報蓄積部３は、走行中の各時点で測定した自車情報を、測定した時刻と紐付けて蓄積する。ここで自車情報は、自車の位置姿勢である。位置姿勢の測定は、例えば従来のカーナビゲーションシステムで行われているように、ＧＰＳ、車速センサといったセンサ群の測定値とマップマッチングなどを用いて計算する。
平行線群抽出手段４は、画像蓄積部２で蓄積した各画像から平行線群を抽出する。ここで平行線群は現実世界において互いに平行な直線の集合であり、画像の上では互いに平行である直線の集合か、一つの点で交わる直線の集合である。画像上で互いに平行な直線の集合あるいは一つの点である直線の集合は、例えば、「無限平面内での消失点抽出、情報処理学会研究報告Ｖｏｌ．９９、Ｎｏ．７０、２５〜３０頁」に記載された方法等を用いて抽出する。ある閾値を上回る数の直線がこの基準を満たす時、その集合を平行線群とする。この閾値は、例えばカメラ１の画素数、視野角を用いて決定する。また、自車が走行している道路周辺の情報に応じてこの閾値を調整してもよい。ここで抽出したそれぞれの平行線群について、重要度を計算する。平行線群の重要度は例えば、その平行線群に属する線の数、あるいは長さの合計として計算する。また、画像上で平行である平行線群は、その画像平面上での角度を計算しておき、画像上で平行でない平行線群はその画像平面上での交点の座標を計算しておく。ここで、画像上で平行でない平行線群が交わる点を、その平行線群の消失点と呼ぶ。
【００１１】
撮影対象判定手段５は、例えば平行線群抽出手段４により抽出した平行線群から、撮影対象が地面であるかどうかを判定する。ここでは、画像に地面しか撮影されていない場合は撮影対象が地面であると判定し、周囲の建造物などが画像に含まれている場合は撮影対象が地面でないと判定する。画像上に平行でない２つ以上の平面が含まれている場合と１つしか平面が含まれていない場合では、カメラ角度の適切な算出方法が異なる。そのため、ここで判定した結果を用いてカメラ角度の算出方法を切り替える。
撮影対象の具体的な判定方法として、例えば以下の方法がある。即ち、通常の道路、特に市街地では、周囲の建造物が平行なエッジを多く持つため、建造物が画像に含まれる場合は、画像から平行線群が抽出される。そこで、平行線群が１つも抽出されなければ撮影対象が地面であると判定し、平行線群が１つでも抽出されれば撮影対象が地面でないと判定する。
ここで、道路の白線、横断歩道やタイルなどが画像に含まれている時、地面しか撮影されていないのに平行線群が抽出される場合があるため、平行線群が１つだけ抽出された場合は別の判定基準を設けるようにしてもよい。別の判定基準として、例えば地図情報および自車情報を参照して車両周辺に建造物が少ない場合は、道路面以外の平行線が画像に含まれる可能性が低いため、撮影対象が地面であると判定するなどがある。また、走行中の各時点で判定した撮影対象を記録しておき、ノイズと判断される判定結果は利用しないようにしてもよい。
【００１２】
フロー算出手段６は、画像蓄積部２で蓄積した複数時刻での画像と、自車情報蓄積部３で蓄積した複数時点での自車情報を用いて、画像のオプティカルフローを算出する。オプティカルフローの算出方法としては、例えば「ロボットビジョンの基礎、ＩＳＢＮ４−３３９０−２３７７−９（７６〜７８頁）」に記載された方法を用いる。
ここで、車両が直進している時、車両周辺の静止した点から算出したオプティカルフローは、全て平行であるか同じ点で交わる。本発明では、建造物など静止した物体とカメラ１との位置関係の変化を利用する必要があるため、不要なオプティカルフローは除く。オプティカルフローの多くが平行である場合には、別の角度であるオプティカルフローを除く。また、オプティカルフローの多くが同じ点で交わる場合には、その点に交わらないオプティカルフローを除く。また、テンプレートマッチングにより車両や動物などの一部であると判断された点のオプティカルフローを除いてもよい。
算出したオプティカルフローが平行である場合、そのオプティカルフローの画像平面上での角度を画像のフロー角度として決定する。算出したオプティカルフローが画像平面上の同じ点で交わる場合、そのオプティカルフローの画像平面上での交点を、画像のフロー消失点として決定する。
【００１３】
カメラ角度算出手段７は、撮影対象判定手段５で判定した撮影対象に応じて、平行線群抽出手段４で抽出した平行線群およびフロー算出手段６で算出したオプティカルフローからカメラ１の設置角度を算出する。
ここで、カメラ１の設置角度は＜Ｙａｗ角、Ｐｉｃｔｈ角、Ｒｏｌｌ角＞の組で表す。ｘ軸を車両の左右方向（右が正）、ｙ軸を車両の上下方向（上が正）、ｚ軸を車両の前後方向（前が正）とし、設置角度をそれぞれ以下のように定義する。Ｙａｗ角はｙ軸を中心として０度から３６０度まである回転角で、ｚ軸正方向が０度、ｘ軸正方向が９０度とする。Ｐｉｔｃｈ角はｘ軸を中心として０度から３６０度まである回転角で、ｚ軸正方向が０度、ｙ軸負方向が９０度とする。Ｒｏｌｌ角はｚ軸を中心として０度から１８０度まである回転角で、ｙ軸正方向が０度、ｘ軸負方向が９０度とする。また、回転の順序はＹａｗ角、Ｐｉｃｔｈ角、Ｒｏｌｌ角の順とする。
【００１４】
図２は、実施の形態１のカメラ校正装置を実現するためのハードウェア構成図である。
図示のように、カメラ校正装置を実現するためのハードウェア構成は、ＣＰＵ１０１、記憶装置１０２、マイコンインタフェース１０３、外部機器インタフェース１０４、車両インタフェース１０５、ＧＰＳレシーバ１０６、ジャイロセンサ１０７、映像出力装置１０８、カメラ本体１０９からなる。ＣＰＵ１０１は、カメラ校正装置としての各種演算や制御を司るプロセッサである。記憶装置１０２は、カメラ本体１０９の撮影画像等、各種データを記憶するための半導体メモリやハードディスク装置からなるものである。マイコンインタフェース１０３は、ＣＰＵ１０１や記憶装置１０２と、外部機器インタフェース１０４〜映像出力装置１０８とを接続するためのインタフェースである。外部機器インタフェース１０４は、カメラ本体１０９等の外部機器とのインタフェースであり、車両インタフェース１０５は、車両側とのインタフェースである。ＧＰＳレシーバ１０６は推定自車位置を出力する装置である。ジャイロセンサ１０７は、車両の角速度を算出する装置である。映像出力装置１０８は、各種の映像を表示する表示装置である。カメラ本体１０９は、車両に設置された撮像部である。
【００１５】
図１に示すそれぞれの機能部と図２のハードウェアとの対応関係は次の通りである。
カメラ１は、カメラ本体１０９が外部機器インタフェース１０４に接続されることで実現する。画像蓄積部２は、カメラ本体１０９で撮影した画像を外部機器インタフェース１０４およびマイコンインタフェース１０３が仲介して記憶装置１０２に格納することで実現する。自車情報蓄積部３は、車両インタフェース１０５が車両から受け取った速度、ＧＰＳレシーバ１０６がＧＰＳ衛星から電波を受け取って計算した推定自車位置、ジャイロセンサ１０７が検出した車両の角速度を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納し、記憶装置１０２に格納されている地図データと前記した速度、推定自車位置、角速度を用いて、ＣＰＵ１０１が自車の位置および姿勢を特定し記憶装置１０２に格納することで実現する。
【００１６】
平行線群抽出手段４は、画像蓄積部２において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０１が、平行線群抽出処理に対応したプログラムを実行して平行線群を抽出し、これを記憶装置１０２に格納することで実現する。撮影対象判定手段５は、平行線群抽出手段４において記憶装置１０２に格納された平行線群を用いて、ＣＰＵ１０１が撮影対象判定処理に対応したプログラムを実行して撮影対象を判定し、これを記憶装置１０２に格納することで実現する。フロー算出手段６は、画像蓄積部２において記憶装置１０２に格納された画像および自車情報蓄積部３において記憶装置１０２に格納された自車情報を用いて、ＣＰＵ１０１がフロー算出に対応したプログラムを実行してオプティカルフローを算出し、これを記憶装置１０２に格納することで実現する。カメラ角度算出手段７は、平行線群抽出手段４において記憶装置１０２に格納された平行線群および撮影対象判定手段５において記憶装置１０２に格納された撮影対象判定結果を用いて、ＣＰＵ１０１がカメラ角度算出処理に対応したプログラムを実行してカメラ角度を算出し、これを記憶装置１０２に格納することで実現する。
【００１７】
次に、このように構成されたカメラ校正装置の動作について説明する。
先ず、撮影対象が地面でない場合について説明する。
直進する車両に設置したカメラ１で撮影した画像から算出したオプティカルフローは、直進方向に平行な直線（即ち、地面にも平行な直線）を撮影したものと一致する。このことから、鉛直線の判定基準として、オプティカルフローの角度と直交しているものを用いる。
【００１８】
図３は、撮影対象が地面でない場合の具体的な設置角度算出方法の一例を示すフローチャートである。
ステップＳＴ１０１では、鉛直線角度を決定する。ここで鉛直線角度とは、鉛直線の画像上の角度である。鉛直線の画像上の角度がカメラ１との位置関係によって変化する場合、フロー消失点上での鉛直線を想定したときの画像上の角度とする。
鉛直線の候補となる直線は、画像上で平行な平行線群あるいは画像上で平行でない複数の平行線群で構成される。複数の平行線群で構成される場合、複数のフロー消失点を通る直線が鉛直線の候補となる。車両が道路上を走行する際に鉛直線以外の平行線群が画像上で平行に見えることは少ないため、画像上で平行な平行線群で構成される直線は鉛直線である可能性が高い。また、複数の平行線群の消失点を通る直線の中では、この直線を構成する平行線群の重要度が高い方が鉛直線である可能性が高い。さらに、オプティカルフローは車両の進行方向に沿って発生するため、オプティカルフローに沿った平行線群で構成される直線は、鉛直線である可能性が低い。以上のことを踏まえ、鉛直線の候補である各直線を構成する平行線群について、画像上で平行であるかどうか、オプティカルフローに沿っているかどうか、重要度から評価値を算出し、その値が高い直線を鉛直線として決定する。ここで、カメラが建造物を正面から撮影している場合に画像上で平行な平行線群が複数抽出される場合があるなど、カメラと自車周辺の環境との関係によっては鉛直線の決定が難しい。このため、地図および自車情報に応じて、鉛直線の評価基準を変更するなどしてもよい。
【００１９】
ステップＳＴ１０２では、鉛直線角度からカメラのＲｏｌｌ角を算出する。鉛直線角度がそのままＲｏｌｌ角となる。
ステップＳＴ１０３では、オプティカルフローの種類を判定する。オプティカルフローが平行である場合はステップＳＴ１０６に進み、そうでない場合はステップＳＴ１０４に進む。
ステップＳＴ１０４では、フロー消失点およびカメラのＲｏｌｌ角から鉛直フロー消失点を算出する。ここで鉛直フロー消失点は、フロー消失点を、画面中心を中心にＲｏｌｌ角だけ回転した点である。
ステップＳＴ１０５では、鉛直フロー消失点からカメラのＹａｗ角およびＰｉｔｃｈ角を算出する。ここでは、カメラのＹａｗ角およびＰｉｔｃｈ角をそれぞれθおよびφと表記する。図４において、上側に記載した図はカメラ上側から見た図であり、下側に記載した図はＲｏｌｌ角を０度とした時のカメラ右側から見た図（すなわち、Ｙａｗ＋９０度の角度からカメラを見た図）である。また、Ｖ’ｕおよびＶ’ｖはそれぞれ鉛直フロー消失点の画像上のｕ軸成分およびｖ軸成分である。ｆはカメラ１の焦点距離であり、Lはカメラ１の光軸である。また、Ｃはカメラ１の位置である。図４に示すように、カメラのＹａｗ角およびＰｉｔｃｈ角は以下の式で求められる。
【数１】
【００２０】
ステップＳＴ１０６では、フロー角度およびカメラのＲｏｌｌ角から鉛直フロー角度を算出する。ここで鉛直フロー角度は、フロー角度を、画面中心を中心にＲｏｌｌ角だけ回転した点である。
ステップＳＴ１０７では、鉛直フロー角度からカメラのＹａｗ角を算出する。鉛直フロー角度がそのままカメラのＹａｗ角となる。このとき、Ｙａｗ角は約９０度あるいは約２７０度となり、Ｐｉｃｔｈ角を求めることはできない。
【００２１】
次に、撮影対象が地面である場合について説明する。
撮影対象が地面である場合は、オプティカルフローの大きさがカメラ１からの距離に応じて変化すること、撮影対象が平面（地面）であることを利用する。そして、画像上の各点におけるオプティカルフローの大きさの違いから地面とカメラ１との位置関係（特に角度）を求める。また、撮影対象が地面ではない場合の考え方も利用して算出する。
【００２２】
図５は、撮影対象が地面である場合の具体的な設置角度算出方法を示すフローチャートである。
ステップＳＴ２０１では、オプティカルフローの種類を判定する。オプティカルフローが平行である場合はステップＳＴ２０５に進み、そうでない場合はステップＳＴ２０２に進む。
ステップＳＴ２０２では、鉛直線角度を決定する。鉛直線角度の求め方の一例を以下に示す。
鉛直線角度をαとした場合の、鉛直フロー消失点を図６に示す。図６において、左側に記載した実線の四角は元の画像、右側に記載した破線の四角は鉛直線角度だけ回転させた画像であり、Ｖはフロー消失点、Ｖ’は鉛直フロー消失点、Ｏは画像中心である。回転させた画像上で、ＯとＶ’を通る直線上にない点Ｐを考える。
【００２３】
図７は、Ｒｏｌｌ角を０度とした時のカメラ右側から見た図（即ち、Ｙａｗ＋９０度の角度からカメラを見た図）である。Ｖ’ｕおよびＰｕは、それぞれＶ’およびＰのｕ軸成分である。また、ＰｒｏａｄおよびＯｒｏａｄは、画像上の点ＰおよびＯに対応する道路上の点である。ｆはカメラ１の焦点距離である。Ｃはカメラ１の位置である。Ｌはカメラ１の光軸であり、ＰｆｌａｔはＰｒｏａｄを通りＬに垂直な平面とＬとの交点である。カメラが平行移動する際、ＰｒｏａｄおよびＰｆｌａｔ上にある物体のオプティカルフローは一致する。また、ＰｆｌａｔおよびＯｒｏａｄ上にある物体のオプティカルフローの大きさは、Ｃからの距離に反比例する。以上の点と図７に示す内容とにより、点Ｐおよび点Ｏでのオプティカルフローの大きさをそれぞれＰｏｗｅｒ（Ｐ）およびＰｏｗｅｒ（Ｏ）とすると、以下の式が成り立つ。
【００２４】
【数２】
この式が成り立つようなαが鉛直線角度となる。また、鉛直線角度がそのままＲｏｌｌ角となる。
ステップＳＴ２０３では、フロー消失点およびカメラのＲｏｌｌ角から鉛直フロー消失点を算出する。ここで鉛直フロー消失点は、フロー消失点を、画面中心を中心にＲｏｌｌ角だけ回転した点である。
ステップＳＴ２０４では、鉛直フロー消失点からカメラのＹａｗ角およびＰｉｔｃｈ角を算出する。Ｙａｗ角およびＰｉｔｃｈ角は上記のステップＳＴ１０５と同じ方法で求められる。
【００２５】
ステップＳＴ２０５では、鉛直線角度を決定する。オプティカルフローが平行である時、カメラのＹａｗ角は９０度あるいは２７０度であり、鉛直線角度はフロー角度に垂直となる。フロー角度に垂直で、かつ０度以上１８０度未満であるような角度を、鉛直線角度とする。また、ここで求めた鉛直線角度がそのままＲｏｌｌ角となる。尚、このとき、Ｙａｗ角は約９０度あるいは約２７０度であるため、Ｐｉｃｔｈ角を求めることはできない。
【００２６】
以上のように、実施の形態１では、平行線群抽出手段４、フロー算出手段６およびカメラ角度算出手段７を備えたことにより、車両走行時に自動的にカメラの設置角度を算出することができる。そのため、ユーザが設置角度を測定することなくカメラを車両に簡便に取り付け、利用することができる。さらに、撮影対象判定手段５を備えたことにより、カメラの撮影対象に応じてカメラ角度を算出する方法を切り替えることができる。そのため、より多くの状況でカメラ角度を算出できる。
【００２７】
また、基準マーカーといったカメラを校正するための特別な手段も不要であると共に、特許文献１に記載の校正装置のように、道路上の２本の平行な白線が画像内に含まれている必要がある、といったこともなく、どのような状況であっても確実にカメラ設置角度の検出を行うことができる。
【００２８】
以上のように、実施の形態１のカメラ校正装置によれば、車両に設置したカメラ１による走行時の撮影画像を取得時刻と共に蓄積する画像蓄積部２と、自車の位置姿勢を時刻と共に蓄積する自車情報蓄積部３と、画像蓄積部２で蓄積した画像から平行線群を抽出する平行線群抽出手段４と、平行線群抽出手段４で抽出した平行線群から撮影対象が地面であるかどうかを判定する撮影対象判定手段５と、画像蓄積部２で蓄積した複数時刻での画像と、自車情報蓄積部３で蓄積した複数時点での自車情報を用いて画像のオプティカルフローを算出するフロー算出手段６と、撮影対象判定手段５で判定した撮影対象に応じて平行線群抽出手段４で抽出した平行線群およびフロー算出手段６で算出したオプティカルフローからカメラの設置角度を算出するカメラ角度算出手段７を備えたので、カメラ画像が道路面を十分に含んでいない場合等、どのような状況でも、安定してカメラの設置角度を算出することができる。
【００２９】
実施の形態２．
図８は、本発明の実施の形態２によるカメラ校正装置を示す構成図である。
実施の形態２のカメラ校正装置は、カメラ１、画像蓄積部２、自車情報蓄積部３、平行線群抽出手段４、撮影対象判定手段５、フロー算出手段６、カメラ角度算出手段７、道路面抽出手段８、カメラ位置算出手段９を備えている。ここで、カメラ１〜カメラ角度算出手段７は、実施の形態１と同様の構成であるため、ここでの説明は省略する。
道路面抽出手段８は、平行線群抽出手段４で抽出した平行線群およびカメラ角度算出手段７で算出したカメラの設置角度から、画像に含まれる道路面の領域を抽出する。カメラ位置算出手段９は、道路面抽出手段８で抽出した道路面における、フロー算出手段６で算出したオプティカルフローを用いて、カメラの設置位置を算出する。ここでは、カメラの設置位置として高さのみを算出する。
【００３０】
尚、図８に示した構成と図２に示したハードウェアとの関係は次の通りである。
カメラ１〜カメラ角度算出手段７は、上述した実施の形態１と同様のハードウェア構成で実現する。また、道路面抽出手段８は、平行線群抽出手段４において記憶装置１０２に格納された平行線群、およびカメラ角度算出手段７において記憶装置１０２に格納されたカメラ角度を用いて、ＣＰＵ１０１が道路面を抽出して記憶装置１０２に格納することで実現する。カメラ位置算出手段９は、フロー算出手段６において記憶装置１０２に格納されたオプティカルフロー、および道路面抽出手段８において記憶装置１０２に格納された道路面を用いて、ＣＰＵ１０１がカメラ位置を算出して記憶装置１０２に格納することで実現する。
【００３１】
このように構成された実施の形態２のカメラ校正装置において道路面抽出手段８による道路面の抽出は例えば次のように行う。
カメラ角度算出手段７において、道路面のオプティカルフローからカメラ角度を算出している。これと逆の考えで、カメラ画像が全て道路面を撮影していると仮定した時、カメラ角度から画像上の各点のオプティカルフローを算出できる（但し、この時点ではカメラの高さを未知数とした値になる）。道路面抽出手段８では、このように算出したオプティカルフローと、実際に画像から抽出したオプティカルフローを比較し、条件に合う点を道路面であると判定する。そして、カメラ位置算出手段９は、道路面抽出手段８で抽出した道路面に基づき、フロー算出手段６で算出したオプティカルフローを用いて、カメラ１の設置高さを算出する。
【００３２】
尚、高さ以外の設置情報（ここでは前後位置Ｚ、左右位置Ｘと記述する）については画像からの推定は難しいため、カメラ１の角度からおおよその位置を推定する。
例えば、カメラ１が右を向いている場合は車両の右側に設置されていると推定する（車両の幅をＷとし、４５度＜Ｙａｗ角＜１３５度ならＺ＝Ｗ／２、２２５度＜Ｙａｗ角＜３１５度ならＺ＝−Ｗ／２とする）、などが考えられる。
【００３３】
以上のように、実施の形態２のカメラ校正装置によれば、カメラ角度算出手段の算出結果に基づいて画像から道路面を抽出する道路面抽出手段８と、道路面抽出手段８の抽出結果とフロー算出手段６で算出したオプティカルフローとを用いてカメラの設置位置を算出するカメラ位置算出手段９とを備えたので、カメラの設置角度に加えて設置位置を車両走行時に自動的に算出することができる。そのため、ユーザが設置位置および設置角度を測定することなくカメラを簡便に車両に取り付け、利用することができる。
【００３４】
実施の形態３．
図９は本発明の実施の形態３による車載装置を示すシステム構成図である。
図９における、カメラ１、画像蓄積部２、自車情報蓄積部３、平行線群抽出手段４、撮影対象判定手段５、フロー算出手段６、カメラ角度算出手段７、変換画像表示手段１０からなる。ここで、カメラ１〜カメラ角度算出手段７は、実施の形態１と同様の構成であるため、ここでの説明は省略する。変換画像表示手段１０は、カメラ角度算出手段７で算出したカメラの設置角度を用いて、画像蓄積部２で蓄積した画像を変換し、カーナビゲーションなどのディスプレイに表示する手段である。ここで、画像変換形式として、拡大縮小、上方視点、鏡像などに変換することが考えられる。画像変換形式はユーザが指定してもよいし、カメラ角度や運転状況に応じて決定してもよい。
【００３５】
また、図９に示した構成と図２に示したハードウェアとの関係は次の通りである。
カメラ１〜カメラ角度算出手段７は、上述した実施の形態１と同様のハードウェア構成で実現する。また、変換画像表示手段１０は、画像蓄積部２において記憶装置１０２に格納された画像およびカメラ角度算出手段７において記憶装置１０２に格納されたカメラ角度を用いて、ＣＰＵ１０１が画像を変換して映像出力装置１０８に表示することで実現する。
【００３６】
また、カメラ角度に応じて画像変換形式を決定する例として、カメラが車両後方を向くように設置されている場合は、鏡像に変換して表示するなどが考えられる。さらに、運転状況に応じて画像変換形式を決定する例として、車両が後方へ走行している時には上方視点の画像（上空から見た車両周辺の画像）に変換して表示するなどが考えられる。
【００３７】
尚、上記実施の形態３では、カメラ角度算出手段７の算出結果に基づいて変換画像表示手段１０で画像を変換するようにしたが、実施の形態２におけるカメラ位置算出手段９の算出結果であるカメラの設置位置に基づいて画像を変換するようにしてもよい。
【００３８】
以上のように、実施の形態３のカメラ校正装置によれば、所定の変換方法で画像蓄積部２に蓄積された撮影画像を変換して表示する変換画像表示手段１０を備えたので、ユーザの指定、カメラの設置情報や運転状況などに合わせて画像をユーザに有用な形で表示することができる。そのため、カメラで取得した画像を効果的に利用することができる。
【符号の説明】
【００３９】
１ カメラ、２ 画像蓄積部、３ 自車情報蓄積部、４ 平行線群抽出手段、５ 撮影対象判定手段、６ フロー算出手段、７ カメラ角度算出手段、８ 道路面抽出手段、９ カメラ位置算出手段、１０ 変換画像表示手段、１０１ ＣＰＵ、１０２ 記憶装置、１０３ マイコンインタフェース、１０４ 外部機器インタフェース、１０５ 車両インタフェース、１０６ ＧＰＳレシーバ、１０７ ジャイロセンサ、１０８ 映像出力装置、１０９ カメラ本体。
【特許請求の範囲】
【請求項１】
車両に設置したカメラによる走行時の撮影画像を取得時刻と共に蓄積する画像蓄積部と、
自車の位置姿勢を時刻と共に蓄積する自車情報蓄積部と、
前記画像蓄積部で蓄積した画像から平行線群を抽出する平行線群抽出手段と、
前記平行線群抽出手段で抽出した平行線群から撮影対象が地面であるかどうかを判定する撮影対象判定手段と、
前記画像蓄積部で蓄積した複数時刻での画像と、前記自車情報蓄積部で蓄積した複数時点での自車情報を用いて画像のオプティカルフローを算出するフロー算出手段と、
前記撮影対象判定手段で判定した撮影対象に応じて前記平行線群抽出手段で抽出した平行線群および前記フロー算出手段で算出したオプティカルフローから前記カメラの設置角度を算出するカメラ角度算出手段を備えたカメラ校正装置。
【請求項２】
カメラ角度算出手段の算出結果に基づいて画像から道路面を抽出する道路面抽出手段と、
前記道路面抽出手段の抽出結果とフロー算出手段で算出したオプティカルフローとを用いてカメラの設置位置を算出するカメラ位置算出手段とを備えたことを特徴とする請求項１記載のカメラ校正装置。
【請求項３】
所定の変換方法で画像蓄積部に蓄積された撮影画像を変換して表示する変換画像表示手段を備えたことを特徴とする請求項１または請求項２記載のカメラ校正装置。
【請求項１】
車両に設置したカメラによる走行時の撮影画像を取得時刻と共に蓄積する画像蓄積部と、
自車の位置姿勢を時刻と共に蓄積する自車情報蓄積部と、
前記画像蓄積部で蓄積した画像から平行線群を抽出する平行線群抽出手段と、
前記平行線群抽出手段で抽出した平行線群から撮影対象が地面であるかどうかを判定する撮影対象判定手段と、
前記画像蓄積部で蓄積した複数時刻での画像と、前記自車情報蓄積部で蓄積した複数時点での自車情報を用いて画像のオプティカルフローを算出するフロー算出手段と、
前記撮影対象判定手段で判定した撮影対象に応じて前記平行線群抽出手段で抽出した平行線群および前記フロー算出手段で算出したオプティカルフローから前記カメラの設置角度を算出するカメラ角度算出手段を備えたカメラ校正装置。
【請求項２】
カメラ角度算出手段の算出結果に基づいて画像から道路面を抽出する道路面抽出手段と、
前記道路面抽出手段の抽出結果とフロー算出手段で算出したオプティカルフローとを用いてカメラの設置位置を算出するカメラ位置算出手段とを備えたことを特徴とする請求項１記載のカメラ校正装置。
【請求項３】
所定の変換方法で画像蓄積部に蓄積された撮影画像を変換して表示する変換画像表示手段を備えたことを特徴とする請求項１または請求項２記載のカメラ校正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２４５６２８（Ｐ２０１０−２４５６２８Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−８９３２９（Ｐ２００９−８９３２９）
【出願日】平成２１年４月１日（２００９．４．１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月１日（２００９．４．１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]