車載カメラのカメラキャリブレーション装置
【課題】車載カメラの内部パラメータと外部パラメータの情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求める。
【解決手段】コントローラ１０は、車載カメラ１から、白線を含む道路の入力画像を取得し、複数の異なるレンズ歪みパラメータに基づいて入力画像を補正して第１の補正画像をそれぞれ生成し、各第１の補正画像において、各白線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、最良の評価値に対応するレンズ歪みパラメータを決定し、決定されたレンズ歪みパラメータに基づいて入力画像から補正された第２の補正画像を生成し、第２の補正画像において、各白線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定する。
【解決手段】コントローラ１０は、車載カメラ１から、白線を含む道路の入力画像を取得し、複数の異なるレンズ歪みパラメータに基づいて入力画像を補正して第１の補正画像をそれぞれ生成し、各第１の補正画像において、各白線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、最良の評価値に対応するレンズ歪みパラメータを決定し、決定されたレンズ歪みパラメータに基づいて入力画像から補正された第２の補正画像を生成し、第２の補正画像において、各白線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
車載カメラの画像を入力として画像認識を行い、レーン逸脱警報システムを構築しようとしたとき、カメラの内部パラメータ（レンズ歪み、他）と、外部パラメータ（消失点位置、他）と、車両の左右端を基準とするカメラ位置の情報が必要となる。本発明は、簡便に上記のパラメータ群を求めるためのカメラキャリブレーション装置に関する。
【背景技術】
【０００２】
車載カメラのカメラキャリブレーション装置としては、例えば、特許文献１〜３に記載のものが存在する。
【０００３】
特許文献１に記載の技術は、車載カメラを搭載した車両で走行中にカメラ映像に写りこんだ路面標示や車線を用いて、カメラの外部パラメータを求めるための技術である。本技術では、走行中に撮影された映像中で、既知の形状及びサイズを有する路面標示の検知結果を用いて外部パラメータを求める方法と、２本の車線を延長して交差した点（消失点）を用いて外部パラメータを求める方法が示されている。
【０００４】
特許文献２に記載の技術は、車載カメラを搭載した車両を２本の平行線（駐車場の枠線など）が写る場所に停車し、そのカメラ映像を様々に平面変換し、変換された画像上で２本の線が平行になる変換パラメータを見つけることによりカメラの外部パラメータを求めるための技術である。
【０００５】
特許文献３に記載の技術は、専用のカメラキャリブレーション用パターンを車両に合わせて設置して、それをカメラで撮影し、その映像中のカメラキャリブレーション用パターンの姿勢から、カメラの外部パラメータと、車両の左右端を基準とするカメラ位置とを求めるための技術である。
【０００６】
また、非特許文献１に記載の技術は、専用のカメラキャリブレーション用パターンをカメラで撮影し、その映像中のカメラキャリブレーション用パターンの写り方を認識して、そのカメラの内部パラメータ及び外部パラメータを求める技術である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−０１１１７４号公報。
【特許文献２】特開２００８−１８２６５２号公報。
【特許文献３】特開２００５−０１６９７９号公報。
【非特許文献】
【０００８】
【非特許文献１】Z.Zhang, "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, IEEE, pp. 1330-1334, November 2000。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１及び２は、一般の道路や駐車場の標示パターンを用いたカメラキャリブレーション方法であり、簡便ではあるが、レンズ歪みを求めることができない。特許文献３及び非特許文献１は、カメラキャリブレーションを行うために専用のカメラキャリブレーション用パターンを用いる必要があり、簡便性に欠ける。
【００１０】
本発明の目的は、以上の問題点を解決し、レーン逸脱警報システムを構築しようとしたときに必要となるカメラの内部パラメータ（レンズ歪み）と外部パラメータ（消失点位置）の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができるカメラキャリブレーション装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の態様に係る車載カメラのカメラキャリブレーション装置は、上記カメラキャリブレーション装置は、画像認識処理を実行するコントローラを備え、
上記コントローラは、
上記車載カメラから、車両の進行方向にそれぞれ実質的に平行な直線状の２本の区間線が設けられた道路の入力画像を取得し、
複数の異なるレンズ歪みパラメータに基づいて上記入力画像を補正して第１の補正画像をそれぞれ生成し、
上記各第１の補正画像において、上記各区間線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、
最良の評価値に対応するレンズ歪みパラメータを決定し、
上記決定されたレンズ歪みパラメータに基づいて上記入力画像を補正して第２の補正画像を生成し、
上記第２の補正画像において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定することを特徴とする。
【発明の効果】
【００１２】
本発明のカメラキャリブレーション装置によれば、カメラのレンズ歪みパラメータと消失点位置の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができる。レンズ歪みやカメラの設置角度が未知のカメラであっても、本発明のカメラキャリブレーション装置を備えた車両をしばらく走行させるだけで、レンズ歪みパラメータと消失点位置を求めることが可能になる。これにより、未知のカメラの画像を入力として画像認識を行い、レーン逸脱警報システムを実現することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係るカメラキャリブレーション装置の構成を示すブロック図である。
【図２】図１のカメラキャリブレーション装置を備えた車両３を示す概略図である。
【図３】図２の車載カメラ１により道路１００上の直線状の白線１０１，１０２を撮影したカメラ画像２００を示す概略図である。
【図４】図１のコントローラ１０によって実行される画像認識処理を示すフローチャートである。
【図５】図４の評価値計算処理Ｓ４の一実施例を示すサブルーチンである。
【図６】ハフ変換の投票値に基づく評価値の計算を説明するための概略図である。
【図７】図４の評価値計算処理Ｓ４のもう１つの実施例を示すサブルーチンである。
【図８】消失点の間の距離に基づく評価値の計算を説明するための概略図である。
【図９】図４の画像認識処理において、図１の評価値メモリ１２内の評価値テーブルを示す図である。
【図１０】本発明の実施の形態２に係る画像認識処理を示すフローチャートである。
【図１１】図１０の画像認識処理において、図１の評価値メモリ１２内の評価値テーブルを示す図である。
【図１２】本発明の実施の形態３に係るカメラキャリブレーション装置の構成を示すブロック図１である。
【図１３】図１２のカメラキャリブレーション装置を備えた車両３を示す概略図である。
【図１４】図１２の入力装置４及びディスプレイ５の一実施例を示す図である。
【図１５】図１２の入力装置４及びディスプレイ５のもう１つの実施例を示す図である。
【図１６】本発明の実施の形態４に係るカメラキャリブレーション装置の構成を示すブロック図である。
【図１７】車両３の左右端に合わせて配置されたマーカー３１，３２を示す概略図である。
【図１８】図１６の入力装置４Ａ及びディスプレイ５の一実施例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施の形態について図面を参照して説明する。なお、以下の各実施の形態において、同様の構成要素については同一の符号を付している。
【００１５】
実施の形態１．
図１は、本発明の実施の形態１に係るカメラキャリブレーション装置の構成を示すブロック図であり、図２は、図１の画像認識装置２を備えた車両３を示す概略図である。実施の形態１のカメラキャリブレーション装置では、画像認識装置２が、車載カメラ１で撮影された画像を入力として画像認識を行い、車載カメラ１のレンズ歪みパラメータを決定するとともに、消失点位置を決定する。
【００１６】
車載カメラ１は、カラー可視カメラ、グレースケールの可視カメラ、近赤外線カメラ、赤外線カメラのいずれであってもよい。また、車載カメラ１から出力される画像信号は、アナログ信号であってもデジタル信号であってもよい。図２では、車載カメラ１を車両３の後方向きに設置するように図示したが、前方向きなど他の方向に設置したカメラであってもよい。
【００１７】
画像認識装置２は、車載カメラ１から入力された画像に対して後述の画像認識処理（図４を参照）を実行し、レンズ歪みパラメータ及び消失点位置を決定するコントローラ１０を備え、画像認識装置２はさらに、入力された画像及び補正画像を格納する画像メモリ１１と、各補正画像の評価値を格納する評価値メモリ１２と、決定されたレンズ歪みパラメータ及び消失点位置を格納する不揮発性メモリ１３とを備える。画像認識装置２は、演算処理を行うことが可能な処理プロセッサやメモリを搭載した処理ボードである。画像認識装置２は、カーナビゲーションシステムであってもよい。
【００１８】
図３は、図２の車載カメラ１により道路１００上の直線状の白線１０１，１０２を撮影したカメラ画像２００を示す概略図である。図３は、道路走行時に取得されるカメラ画像の例を示す。実施の形態１では、レンズ歪みパラメータ及び消失点位置を決定するために、道路上の直線状の白線を用いる。図３のカメラ画像２００では、一般にリアカメラとして使用されている広角カメラの画像を図示したが、狭い角度のカメラや、より広い魚眼カメラであってもよい。
【００１９】
図４は、図１のコントローラ１０によって実行される画像認識処理を示すフローチャートである。ステップＳ１において、車載カメラ１から画像（元画像）を取得して、画像メモリ１１に格納する。次いで、所定量のレンズ歪みが存在していると仮定して、仮定したレンズ歪みを除去するように画像の補正を行う。レンズ歪みをモデル化するさまざまな近似式が提案されているが、例えば、一般の広角カメラであれば、レンズ歪みは次式で表される。
【００２０】
［数１］
Ｘ＝（ｘ−ｘ０）×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）＋ｘ０
［数２］
Ｙ＝（ｙ−ｙ０）×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）＋ｙ０
［数３］
ｒ２＝（ｘ−ｘ０）２＋（ｙ−ｙ０）２
【００２１】
ここで、（ｘ，ｙ）はレンズ通過前の画像座標（すなわち歪み補正後の画像座標）であり、（Ｘ，Ｙ）は、レンズ通過後の画像座標（すなわち歪み補正前の画像座標）であり、（ｘ０，ｙ０）は画像中心であり、ｋ１，ｋ２はレンズ歪み係数である。パラメータｋ１、ｋ２、（ｘ０，ｙ０）を適当な範囲で組み合わせた所定量のレンズ歪みを仮定し、上記近似式に従って、レンズ歪みを除去した補正画像を生成する。対象となるカメラが、一般的にリアカメラに使用される画角１４０度前後の広角カメラであり、カメラキャリブレーションの目的がレーン逸脱警報システムの構築であれば、厳密なレンズ歪みの除去は必要ないので、（ｘ０，ｙ０）を画像の中央に設定し、レンズ歪み係数ｋ２＝０とし、レンズ歪み係数ｋ１のみを、例えば−０．４〜−０．１程度まで０．０１ずつ変化させれば十分である。以下では、レンズ歪み係数ｋ１のみを変化させる処理について説明するが、レンズ歪み係数ｋ１，ｋ２の両方を用いた処理や、数１〜数３とは異なる近似式に基づく処理についても本発明の原理が適用可能であることは理解されるであろう。
【００２２】
ステップＳ２において、レンズ歪み係数ｋ１を例えば最小値に初期化する。ステップＳ３において、レンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ４において、補正画像中の直線状の白線を認識し、白線認識結果に基づいて、補正の妥当性を評価するための評価値を決定する評価値計算処理を実行する。白線認識処理には様々な手法が提案されているが、例えば、入力画像の各画素について、水平方向に隣り合う画素との差が大きい画素を、白線のエッジである可能性が高い特徴点として抽出し、抽出された特徴点に対してハフ変換を適用して直線検出を行うという手法を用いることができる。ハフ変換は、画像処理の分野で広く用いられている直線検出手法であり、画像中の特徴点が与えられたとき、その特徴点を含む図形についての仮説を生成し、多くの特徴点から支持される仮説を正しいものと考えて図形の検出を行う手法である。仮説の生成は、仮説集合を表すパラメータ空間へ投票することによって実現され、各仮説に対して蓄積された投票度数（投票値）を調べることによって図形の検出が行われる。このとき、補正画像を生成する際に用いたレンズ歪み計数ｋ１が真の値に近ければ、補正画像上で白線は真っ直ぐに近くなっているはずであり、従って、白線認識においてはっきりした直線が求まることになる。また、直線検出に用いる特徴点は、水平方向に数画素離れた２点に対して、所定のしきい値以上輝度が高い点を用いてもよい。
【００２３】
図５は、図４の評価値計算処理Ｓ４の一実施例を示すサブルーチンであり、ここでは、ハフ変換の投票値に基づいて評価値を計算している。図６は、ハフ変換の投票値に基づく評価値の計算を説明するための概略図である。評価値、すなわち補正の妥当性を表す指標としては、補正画像内の右側エリアの白線と左側エリアの白線に対してハフ変換による直線検出をそれぞれ実行し、ハフ変換の投票値の最高値（すなわち、直線候補として検出された直線の投票値）の合計を用いることができる。ステップＳ２１において、補正画像内の右側の白線に対してハフ変換を実行して右側の白線に対する直線候補の投票値を取得し、ステップＳ２２において、右側の白線に対する直線候補の投票値のうちで最高の投票値を決定する。また、ステップＳ２３において、補正画像内の左側の白線に対してハフ変換を実行して左側の白線に対する直線候補の投票値を取得し、ステップＳ２４において、左側の白線に対する直線候補の投票値のうちで最高の投票値を決定する。ステップＳ２５において、決定された２つの投票値の合計を評価値とする。妥当なレンズ歪み係数ｋ１を設定したときに白線が直線状に補正されるので、補正画像内の白線と白線認識結果２０１，２０２（すなわち、検出された直線）との一致度が高くなり、評価値も高くなる。従って、評価値が高いレンズ歪み係数ｋ１を決定することにより、正しいレンズ歪み係数ｋ１を求めることができる。
【００２４】
図７は、図４の評価値計算処理Ｓ４のもう１つの実施例を示すサブルーチンであり、ここでは、消失点の間の距離に基づいて評価値を計算している。図８は、消失点の間の距離に基づく評価値の計算を説明するための概略図である。評価値として、ハフ変換の投票値に基づくものに代えて、補正画像内の所定の基準線２１０に対して上側エリアと下側エリアとで別々に白線認識を実行し、２つの白線認識結果からそれぞれ決まる２つの消失点位置の間の距離を用いることもできる。ステップＳ３１において、補正画像の上側に対して白線認識を実行する。ここでは、例えば、図５の処理と同様にハフ変換を実行し、補正画像内の上右側エリアの白線と下左側エリアの白線に対してハフ変換による直線検出をそれぞれ実行し、最高の投票値を有する直線を白線認識結果２１１，２１２とする。ステップＳ３２において、補正画像の上側の白線認識結果２１１，２１２に基づいて第１の消失点位置２１３を決定する。ステップＳ３３において、補正画像の下側に対して白線認識を実行する。ステップＳ３４において、補正画像の下側の白線認識結果２２１，２２２に基づいて第２の消失点位置２２３を決定する。ステップＳ３５において、第１の消失点位置２１３及び第２の消失点位置２２３の間の距離を評価値とする。妥当なレンズ歪み係数ｋ１を設定したときに白線が直線状に補正されるので、補正画像の上側の白線認識結果２１１，２１２と下側の白線認識結果２２１，２２２との一致度が高くなる（すなわち、評価値が小さくなる）とともに、補正画像内の白線とこれらの白線認識結果との一致度も高くなる。従って、評価値が小さいレンズ歪み係数ｋ１を決定することにより、正しいレンズ歪み係数ｋ１を求めることができる。
【００２５】
ステップＳ５において、計算された評価値を評価値メモリ１２に格納する。ステップＳ６において、レンズ歪み係数ｋ１が最大値に達したか否か（又は、レンズ歪み係数ｋ１を範囲内のすべての値に変化させてステップＳ３〜Ｓ６を実行したか否か）を判断し、達していないうちは、ステップＳ７において、レンズ歪み係数ｋ１を予め決められた量（例えば０．０１）だけインクリメントし、次いでステップＳ３〜Ｓ６を繰り返す。これらのステップを繰り返すことにより、異なるレンズ歪み係数ｋ１ごとに補正画像を生成し、補正画像ごと（すなわちレンズ歪み係数ｋ１ごと）にそれぞれ、補正の妥当性を評価するための評価値を決定することができる。図９に、決定された評価値を含む、評価値メモリ１２内の評価値テーブルを示す。ステップＳ６においてレンズ歪み係数ｋ１が最大値に達したときには、ステップＳ８において、評価値メモリ１２に格納された評価値を比較し、最良の評価値に対応するレンズ歪み係数ｋ１を決定する。
【００２６】
ステップＳ９において、ステップＳ８で決定されたレンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ１０において、ステップＳ９の補正画像に対して白線認識を実行し、白線認識により得られた２つの白線の交点を消失点位置として決定する。ステップＳ１１において、ステップＳ８で決定されたレンズ歪み係数ｋ１と、ステップＳ１０で決定された消失点位置とを、不揮発性メモリ１３に格納する。以上の手順で、車載カメラ１のレンズ歪みパラメータと消失点位置を求めることができる。
【００２７】
実施の形態１によれば、カメラのレンズ歪みパラメータと消失点位置の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができる。さらに、実施の形態１によれば、未知のカメラについて、白線認識を行う上で十分な精度でレンズ歪みパラメータと消失点位置の情報を決定することができる。これらの情報を用いることにより白線認識時の探索領域を大幅に限定できるので、高速かつ高精度に白線認識を実行することができる。
【００２８】
実施の形態２．
図１０は、本発明の実施の形態２に係る画像認識処理を示すフローチャートである。実施の形態１では１つの元画像に基づいてレンズ歪みパラメータと消失点位置を決定したが、実施の形態２では、所定時間間隔で連続した複数個の画像（時系列画像）を入力として使用する。実施の形態２では、連続する複数個の画像を同じレンズ歪みパラメータによりそれぞれ補正したときの補正の安定度を評価してレンズ歪みパラメータを決定し、これにより、実施の形態１よりも高精度にレンズ歪みパラメータ及び消失点位置を求めることが可能になる。評価する安定度の指標としては、複数の画像を同じレンズ歪みパラメータによりそれぞれ補正したときの評価値の和を用いることができる。
【００２９】
ステップＳ４１において、車載カメラ１から画像を取得して、画像メモリ１１に格納する。ステップＳ４２において、時系列画像の番号を示すパラメータｎを１に初期化する。ステップＳ４３において、レンズ歪み係数ｋ１を例えば最小値に初期化する。ステップＳ４４において、レンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ４５において、図４のステップＳ４と同様の評価値計算処理を実行する。評価値計算処理としては、例えば、図５又は図７を参照して説明した処理を行うことができる。ステップＳ４６において、計算された評価値を評価値メモリ１２に格納する。図１１は、決定された評価値を含む、評価値メモリ１２内の評価値テーブルを示す。パラメータｎ及びｋ１に応じて、評価値テーブル上の対応する箇所に評価値を格納する。ステップＳ４７において、レンズ歪み係数ｋ１は最大値に達したか否か（又は、レンズ歪み係数ｋ１を範囲内のすべての値に変化させてステップＳ４４〜Ｓ４７を実行したか否か）を判断し、達していないうちは、ステップＳ４８において、レンズ歪み係数ｋ１を予め決められた量だけインクリメントし、次いでステップＳ４４〜Ｓ４７を繰り返す。ステップＳ４７においてレンズ歪み係数ｋ１が最大値に達したときには、ステップＳ４９において、時系列画像の番号を示すパラメータｎが予め決められた最大値Ｎに達したか否かを判断する。ステップＳ４７においてパラメータｎが最大値Ｎに達していないうちは、ステップＳ５０においてパラメータｎを１だけインクリメントし、次いでステップＳ４１において、車載カメラ１から新たな画像を取得して、画像メモリ１１に上書きし、ステップＳ４２〜Ｓ４９を繰り返す。ステップＳ４７においてパラメータｎが最大値Ｎに達したときには、ステップＳ５１において、レンズ歪み係数ｋ１の異なる値毎に、評価値メモリ１２に格納されたＮ個の評価値の総和を計算する。車載カメラ１に映り込む事物によっては一定割合で白線認識の誤りが発生する可能性があるので、ステップＳ５１で総和を計算するときに、レンズ歪み係数ｋ１の異なる値毎に、下位の所定割合の順位を有する評価値を除去してもよい。ステップＳ５２において、評価値の総和を比較し、最良の評価値に対応するレンズ歪み係数ｋ１を決定する。ステップＳ５３において、ステップＳ５２で決定されたレンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ５４において、ステップＳ５３の補正画像に対して白線認識を実行し、白線認識により得られた２つの白線の交点を消失点位置として決定する。ステップＳ５５において、ステップＳ５２で決定されたレンズ歪み係数ｋ１と、ステップＳ５４で決定された消失点位置とを、不揮発性メモリ１３に格納する。以上の手順で、車載カメラ１のレンズ歪みパラメータと消失点位置を求めることができる。
【００３０】
実施の形態２によれば、時系列画像を入力として用いたことにより、実施の形態１よりも高精度にレンズ歪みパラメータ及び消失点位置を求めることが可能になる。
【００３１】
実施の形態３．
図１２は、本発明の実施の形態３に係るカメラキャリブレーション装置の構成を示すブロック図１であり、図１３は、図１２のカメラキャリブレーション装置を備えた車両３を示す概略図である。実施の形態３のカメラキャリブレーション装置は、決定されたレンズ歪みパラメータ及び消失点位置をディスプレイ５に表示し、ユーザが入力装置４を介してレンズ歪みパラメータ及び消失点位置を確認してさらに調整できることを特徴とする。
【００３２】
図１２を参照すると、画像認識装置２Ａは、図１の画像認識装置２のコントローラ１０に代えて、ユーザ入力情報を受け取るための入力装置４にさらに接続されたコントローラ１０Ａを備える。入力装置４は、レンズ歪みの大小と、消失点の左右位置及び上下位置とを調整するために使用される。画像認識装置２Ａは、コントローラ１０Ａで生成された補正画像（すなわち、図４のステップＳ９又は図１０のステップＳ５３で生成された補正画像）に所定の情報を重畳してディスプレイ５に出力する画像合成回路１４をさらに備える。画像合成回路１４は、消失点を補正画像に重畳する消失点重畳回路１５と、ガイド線を補正画像に重畳するガイド線重畳回路１６とを備える。画像認識装置２Ａ内の画像メモリ１１、評価値メモリ１２、及び不揮発性メモリ１３は、図１の画像認識装置２の場合と同様に構成される。
【００３３】
入力装置４は、物理的なボタンとして設けてもよいし、カーナビゲーションシステムのタッチパネルを用いてもよい。ディスプレイ５は、カーナビゲーションシステムの表示パネルを用いてもよいし、ディスプレイ付きオーディオ機器の表示パネルなどを用いてもよい。図１４は、図１２の入力装置４及びディスプレイ５の一実施例を示す図である。図１４の入力装置４は、タッチパネル上のボタン２１，２２，２３として構成されている。ガイド線重畳回路１６は、図１４に示すように、消失点から放射状にガイド線２３０を表示することにより、レンズ歪みが正しく補正されているか否かを判定し易くする。図１５は、図１２の入力装置４及びディスプレイ５のもう１つの実施例を示す図である。図１４の入力装置４は、スライドバー２１Ａ，２２Ａ，２３Ａとして構成されている。消失点位置を調整するために、ディスプレイ５に表示された画像内のポイントをタッチして直接指示するように構成してもよい。また、入力装置４は、ディスプレイ５の表示内容の確認を容易にするために、また、ユーザ入力情報の精度を高めるために、画像を拡大又は縮小してディスプレイ５に表示させる機能をさらに備えてもよい。
【００３４】
コントローラ１０Ａは、図４又は図１０の画像認識処理によりレンズ歪みパラメータ及び消失点位置の情報を決定した後、これらの情報を不揮発性メモリ１３に格納する前又は後に、決定されたレンズ歪みパラメータに基づき補正画像を生成して画像合成回路１４に送る。画像合成回路１４は、決定された消失点位置と、この消失点位置に基づくガイド線とを補正画像に合成し、合成後の画像をディスプレイ５に表示する。ユーザは、表示された画像を見てレンズ歪みパラメータ及び消失点位置を調整し、コントローラ１０Ａは、調整されたレンズ歪みパラメータに基づき補正画像を生成して画像合成回路１４に送り、画像合成回路１４は、調整された消失点位置と、この消失点位置に基づくガイド線とを補正画像に合成し、合成後の画像をディスプレイ５に表示する。以下、調整と表示を繰り返し、コントローラ１０Ａは、最終的に決定されたレンズ歪みパラメータ及び消失点位置を不揮発性メモリ１３に格納する。
【００３５】
実施の形態３によれば、画像認識処理（図４又は図１０）により決定されたレンズ歪みパラメータ及び消失点位置が誤っていた場合でも、ディスプレイ５を見ながら簡単な操作で誤りを訂正することが可能になる。
【００３６】
実施の形態４．
図１６は、本発明の実施の形態４に係るカメラキャリブレーション装置の構成を示すブロック図である。実施の形態４のカメラキャリブレーション装置では、画像内における車両３の左右端位置を画像認識装置２Ｂに入力することができる。
【００３７】
画像合成回路１４Ａは、図１２の画像合成回路１４の構成に加えて、車両３の左右端の延長線を示す左右端ガイド線を補正画像に重畳する左右端ガイド線重畳回路１７をさらに備える。入力装置４Ａは、図１４又は図１５等の構成に加えて、画像内における車両３の左右端位置を入力して調整するためのキーを備える。コントローラ１０Ｂは、図１２のコントローラ１０Ａの動作に加えて、入力された左右端の位置の情報を処理する。
【００３８】
図１７は、車両３の右端及び左端に合わせて配置されたマーカー３１，３２を示す概略図である。例えば、図１７に示すように、車両３の右端及び左端の延長線上に、車載カメラ１により撮影された画像上で確認可能な何らかのマーカー３１，３２を置いておく。このマーカー３１，３２は、車載カメラ１で確認できれば何でもよい。例えば、紙で作成してもよく、風で飛ばないようにシールで作成してもよく、周辺に転がっている石であってもよい。
【００３９】
図１８は、図１６の入力装置４Ａ及びディスプレイ５の一実施例を示す図である。入力装置４Ａは、タッチパネル上のボタン２１，２２，２３，２４，２５として構成されてもよく、又は、スライドバーとして構成されてもよく、又は、ディスプレイ５に表示された画像内のポイントをタッチして直接指示するように構成してもよい。ディスプレイ５上には、車両３の右端及び左端の延長線を示すガイド線２３１，２３２が表示される。
【００４０】
コントローラ１０Ｂは、車両３の左右端位置を所定位置に設定し、この位置の情報を画像合成回路１４Ａに送る。画像合成回路１４Ａの左右端ガイド線重畳回路１７は、コントローラ１０Ｂから送られた左右端位置の情報に基づいて補正画像内の所定位置にガイド線２３１，２３２を重畳し、重畳後の画像はディスプレイ５上に表示される。ユーザは、表示された画像を見て、ガイド線２３１，２３２がマーカー３１，３２に一致するように左右端位置を調整し、コントローラ１０Ａは、調整された左右端位置の情報を画像合成回路１４Ａに送り、画像合成回路１４Ａは、調整された左右端位置の情報に基づいて重畳されるガイド線２３１，２３２の位置を調整し、調整後の画像がディスプレイ５上に表示される。以下、調整と表示を繰り返し、コントローラ１０Ｂは、最終的に決定された左右端位置を不揮発性メモリ１３に格納する。
【００４１】
実施の形態４によれば、画像内における車両３の左右端位置を画像認識装置２Ｂに予め入力しておくことにより、レーン逸脱の判定精度を改善することができる。
【００４２】
なお、本明細書では、画像認識の対象を「白線」として説明したが、これに限定せず、道路上に設けられた区間線又は道路標示であって、車両３の進行方向に実質的に平行な直線であれば、任意の線（例えば白以外の色の線）を利用可能である。
【産業上の利用可能性】
【００４３】
本発明によれば、レーン逸脱警報システムを構築しようとしたときに必要となるカメラの内部パラメータ（レンズ歪み）と外部パラメータ（消失点位置）の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができるカメラキャリブレーション装置を提供することができる。
【符号の説明】
【００４４】
１ 車載カメラ、２，２Ａ，２Ｂ 画像認識装置、３ 車両、４，４Ａ 入力装置、５ ディスプレイ、１０，１０Ａ，１０Ｂ コントローラ、１１ 画像メモリ、１２ 評価値メモリ、１３ 不揮発性メモリ、１４，１４Ａ 画像合成回路、１５ 消失点重畳回路、１６ ガイド線重畳回路、１７ 左右端ガイド線重畳回路、２１，２２，２３，２４，２５ ボタン、２１Ａ，２２Ａ，２３Ａ スライドバー、３１，３２ マーカー、１００ 道路、１０１，１０２ 白線、２００ カメラ画像、２０１，２０２，２１１，２１２，２２１，２２２ 白線認識結果、２１０ 基準線、２１３，２２３ 消失点、２３０ ガイド線、２３１，２３２ 左右端ガイド線。
【技術分野】
【０００１】
車載カメラの画像を入力として画像認識を行い、レーン逸脱警報システムを構築しようとしたとき、カメラの内部パラメータ（レンズ歪み、他）と、外部パラメータ（消失点位置、他）と、車両の左右端を基準とするカメラ位置の情報が必要となる。本発明は、簡便に上記のパラメータ群を求めるためのカメラキャリブレーション装置に関する。
【背景技術】
【０００２】
車載カメラのカメラキャリブレーション装置としては、例えば、特許文献１〜３に記載のものが存在する。
【０００３】
特許文献１に記載の技術は、車載カメラを搭載した車両で走行中にカメラ映像に写りこんだ路面標示や車線を用いて、カメラの外部パラメータを求めるための技術である。本技術では、走行中に撮影された映像中で、既知の形状及びサイズを有する路面標示の検知結果を用いて外部パラメータを求める方法と、２本の車線を延長して交差した点（消失点）を用いて外部パラメータを求める方法が示されている。
【０００４】
特許文献２に記載の技術は、車載カメラを搭載した車両を２本の平行線（駐車場の枠線など）が写る場所に停車し、そのカメラ映像を様々に平面変換し、変換された画像上で２本の線が平行になる変換パラメータを見つけることによりカメラの外部パラメータを求めるための技術である。
【０００５】
特許文献３に記載の技術は、専用のカメラキャリブレーション用パターンを車両に合わせて設置して、それをカメラで撮影し、その映像中のカメラキャリブレーション用パターンの姿勢から、カメラの外部パラメータと、車両の左右端を基準とするカメラ位置とを求めるための技術である。
【０００６】
また、非特許文献１に記載の技術は、専用のカメラキャリブレーション用パターンをカメラで撮影し、その映像中のカメラキャリブレーション用パターンの写り方を認識して、そのカメラの内部パラメータ及び外部パラメータを求める技術である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−０１１１７４号公報。
【特許文献２】特開２００８−１８２６５２号公報。
【特許文献３】特開２００５−０１６９７９号公報。
【非特許文献】
【０００８】
【非特許文献１】Z.Zhang, "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, IEEE, pp. 1330-1334, November 2000。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１及び２は、一般の道路や駐車場の標示パターンを用いたカメラキャリブレーション方法であり、簡便ではあるが、レンズ歪みを求めることができない。特許文献３及び非特許文献１は、カメラキャリブレーションを行うために専用のカメラキャリブレーション用パターンを用いる必要があり、簡便性に欠ける。
【００１０】
本発明の目的は、以上の問題点を解決し、レーン逸脱警報システムを構築しようとしたときに必要となるカメラの内部パラメータ（レンズ歪み）と外部パラメータ（消失点位置）の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができるカメラキャリブレーション装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の態様に係る車載カメラのカメラキャリブレーション装置は、上記カメラキャリブレーション装置は、画像認識処理を実行するコントローラを備え、
上記コントローラは、
上記車載カメラから、車両の進行方向にそれぞれ実質的に平行な直線状の２本の区間線が設けられた道路の入力画像を取得し、
複数の異なるレンズ歪みパラメータに基づいて上記入力画像を補正して第１の補正画像をそれぞれ生成し、
上記各第１の補正画像において、上記各区間線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、
最良の評価値に対応するレンズ歪みパラメータを決定し、
上記決定されたレンズ歪みパラメータに基づいて上記入力画像を補正して第２の補正画像を生成し、
上記第２の補正画像において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定することを特徴とする。
【発明の効果】
【００１２】
本発明のカメラキャリブレーション装置によれば、カメラのレンズ歪みパラメータと消失点位置の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができる。レンズ歪みやカメラの設置角度が未知のカメラであっても、本発明のカメラキャリブレーション装置を備えた車両をしばらく走行させるだけで、レンズ歪みパラメータと消失点位置を求めることが可能になる。これにより、未知のカメラの画像を入力として画像認識を行い、レーン逸脱警報システムを実現することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係るカメラキャリブレーション装置の構成を示すブロック図である。
【図２】図１のカメラキャリブレーション装置を備えた車両３を示す概略図である。
【図３】図２の車載カメラ１により道路１００上の直線状の白線１０１，１０２を撮影したカメラ画像２００を示す概略図である。
【図４】図１のコントローラ１０によって実行される画像認識処理を示すフローチャートである。
【図５】図４の評価値計算処理Ｓ４の一実施例を示すサブルーチンである。
【図６】ハフ変換の投票値に基づく評価値の計算を説明するための概略図である。
【図７】図４の評価値計算処理Ｓ４のもう１つの実施例を示すサブルーチンである。
【図８】消失点の間の距離に基づく評価値の計算を説明するための概略図である。
【図９】図４の画像認識処理において、図１の評価値メモリ１２内の評価値テーブルを示す図である。
【図１０】本発明の実施の形態２に係る画像認識処理を示すフローチャートである。
【図１１】図１０の画像認識処理において、図１の評価値メモリ１２内の評価値テーブルを示す図である。
【図１２】本発明の実施の形態３に係るカメラキャリブレーション装置の構成を示すブロック図１である。
【図１３】図１２のカメラキャリブレーション装置を備えた車両３を示す概略図である。
【図１４】図１２の入力装置４及びディスプレイ５の一実施例を示す図である。
【図１５】図１２の入力装置４及びディスプレイ５のもう１つの実施例を示す図である。
【図１６】本発明の実施の形態４に係るカメラキャリブレーション装置の構成を示すブロック図である。
【図１７】車両３の左右端に合わせて配置されたマーカー３１，３２を示す概略図である。
【図１８】図１６の入力装置４Ａ及びディスプレイ５の一実施例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施の形態について図面を参照して説明する。なお、以下の各実施の形態において、同様の構成要素については同一の符号を付している。
【００１５】
実施の形態１．
図１は、本発明の実施の形態１に係るカメラキャリブレーション装置の構成を示すブロック図であり、図２は、図１の画像認識装置２を備えた車両３を示す概略図である。実施の形態１のカメラキャリブレーション装置では、画像認識装置２が、車載カメラ１で撮影された画像を入力として画像認識を行い、車載カメラ１のレンズ歪みパラメータを決定するとともに、消失点位置を決定する。
【００１６】
車載カメラ１は、カラー可視カメラ、グレースケールの可視カメラ、近赤外線カメラ、赤外線カメラのいずれであってもよい。また、車載カメラ１から出力される画像信号は、アナログ信号であってもデジタル信号であってもよい。図２では、車載カメラ１を車両３の後方向きに設置するように図示したが、前方向きなど他の方向に設置したカメラであってもよい。
【００１７】
画像認識装置２は、車載カメラ１から入力された画像に対して後述の画像認識処理（図４を参照）を実行し、レンズ歪みパラメータ及び消失点位置を決定するコントローラ１０を備え、画像認識装置２はさらに、入力された画像及び補正画像を格納する画像メモリ１１と、各補正画像の評価値を格納する評価値メモリ１２と、決定されたレンズ歪みパラメータ及び消失点位置を格納する不揮発性メモリ１３とを備える。画像認識装置２は、演算処理を行うことが可能な処理プロセッサやメモリを搭載した処理ボードである。画像認識装置２は、カーナビゲーションシステムであってもよい。
【００１８】
図３は、図２の車載カメラ１により道路１００上の直線状の白線１０１，１０２を撮影したカメラ画像２００を示す概略図である。図３は、道路走行時に取得されるカメラ画像の例を示す。実施の形態１では、レンズ歪みパラメータ及び消失点位置を決定するために、道路上の直線状の白線を用いる。図３のカメラ画像２００では、一般にリアカメラとして使用されている広角カメラの画像を図示したが、狭い角度のカメラや、より広い魚眼カメラであってもよい。
【００１９】
図４は、図１のコントローラ１０によって実行される画像認識処理を示すフローチャートである。ステップＳ１において、車載カメラ１から画像（元画像）を取得して、画像メモリ１１に格納する。次いで、所定量のレンズ歪みが存在していると仮定して、仮定したレンズ歪みを除去するように画像の補正を行う。レンズ歪みをモデル化するさまざまな近似式が提案されているが、例えば、一般の広角カメラであれば、レンズ歪みは次式で表される。
【００２０】
［数１］
Ｘ＝（ｘ−ｘ０）×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）＋ｘ０
［数２］
Ｙ＝（ｙ−ｙ０）×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）＋ｙ０
［数３］
ｒ２＝（ｘ−ｘ０）２＋（ｙ−ｙ０）２
【００２１】
ここで、（ｘ，ｙ）はレンズ通過前の画像座標（すなわち歪み補正後の画像座標）であり、（Ｘ，Ｙ）は、レンズ通過後の画像座標（すなわち歪み補正前の画像座標）であり、（ｘ０，ｙ０）は画像中心であり、ｋ１，ｋ２はレンズ歪み係数である。パラメータｋ１、ｋ２、（ｘ０，ｙ０）を適当な範囲で組み合わせた所定量のレンズ歪みを仮定し、上記近似式に従って、レンズ歪みを除去した補正画像を生成する。対象となるカメラが、一般的にリアカメラに使用される画角１４０度前後の広角カメラであり、カメラキャリブレーションの目的がレーン逸脱警報システムの構築であれば、厳密なレンズ歪みの除去は必要ないので、（ｘ０，ｙ０）を画像の中央に設定し、レンズ歪み係数ｋ２＝０とし、レンズ歪み係数ｋ１のみを、例えば−０．４〜−０．１程度まで０．０１ずつ変化させれば十分である。以下では、レンズ歪み係数ｋ１のみを変化させる処理について説明するが、レンズ歪み係数ｋ１，ｋ２の両方を用いた処理や、数１〜数３とは異なる近似式に基づく処理についても本発明の原理が適用可能であることは理解されるであろう。
【００２２】
ステップＳ２において、レンズ歪み係数ｋ１を例えば最小値に初期化する。ステップＳ３において、レンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ４において、補正画像中の直線状の白線を認識し、白線認識結果に基づいて、補正の妥当性を評価するための評価値を決定する評価値計算処理を実行する。白線認識処理には様々な手法が提案されているが、例えば、入力画像の各画素について、水平方向に隣り合う画素との差が大きい画素を、白線のエッジである可能性が高い特徴点として抽出し、抽出された特徴点に対してハフ変換を適用して直線検出を行うという手法を用いることができる。ハフ変換は、画像処理の分野で広く用いられている直線検出手法であり、画像中の特徴点が与えられたとき、その特徴点を含む図形についての仮説を生成し、多くの特徴点から支持される仮説を正しいものと考えて図形の検出を行う手法である。仮説の生成は、仮説集合を表すパラメータ空間へ投票することによって実現され、各仮説に対して蓄積された投票度数（投票値）を調べることによって図形の検出が行われる。このとき、補正画像を生成する際に用いたレンズ歪み計数ｋ１が真の値に近ければ、補正画像上で白線は真っ直ぐに近くなっているはずであり、従って、白線認識においてはっきりした直線が求まることになる。また、直線検出に用いる特徴点は、水平方向に数画素離れた２点に対して、所定のしきい値以上輝度が高い点を用いてもよい。
【００２３】
図５は、図４の評価値計算処理Ｓ４の一実施例を示すサブルーチンであり、ここでは、ハフ変換の投票値に基づいて評価値を計算している。図６は、ハフ変換の投票値に基づく評価値の計算を説明するための概略図である。評価値、すなわち補正の妥当性を表す指標としては、補正画像内の右側エリアの白線と左側エリアの白線に対してハフ変換による直線検出をそれぞれ実行し、ハフ変換の投票値の最高値（すなわち、直線候補として検出された直線の投票値）の合計を用いることができる。ステップＳ２１において、補正画像内の右側の白線に対してハフ変換を実行して右側の白線に対する直線候補の投票値を取得し、ステップＳ２２において、右側の白線に対する直線候補の投票値のうちで最高の投票値を決定する。また、ステップＳ２３において、補正画像内の左側の白線に対してハフ変換を実行して左側の白線に対する直線候補の投票値を取得し、ステップＳ２４において、左側の白線に対する直線候補の投票値のうちで最高の投票値を決定する。ステップＳ２５において、決定された２つの投票値の合計を評価値とする。妥当なレンズ歪み係数ｋ１を設定したときに白線が直線状に補正されるので、補正画像内の白線と白線認識結果２０１，２０２（すなわち、検出された直線）との一致度が高くなり、評価値も高くなる。従って、評価値が高いレンズ歪み係数ｋ１を決定することにより、正しいレンズ歪み係数ｋ１を求めることができる。
【００２４】
図７は、図４の評価値計算処理Ｓ４のもう１つの実施例を示すサブルーチンであり、ここでは、消失点の間の距離に基づいて評価値を計算している。図８は、消失点の間の距離に基づく評価値の計算を説明するための概略図である。評価値として、ハフ変換の投票値に基づくものに代えて、補正画像内の所定の基準線２１０に対して上側エリアと下側エリアとで別々に白線認識を実行し、２つの白線認識結果からそれぞれ決まる２つの消失点位置の間の距離を用いることもできる。ステップＳ３１において、補正画像の上側に対して白線認識を実行する。ここでは、例えば、図５の処理と同様にハフ変換を実行し、補正画像内の上右側エリアの白線と下左側エリアの白線に対してハフ変換による直線検出をそれぞれ実行し、最高の投票値を有する直線を白線認識結果２１１，２１２とする。ステップＳ３２において、補正画像の上側の白線認識結果２１１，２１２に基づいて第１の消失点位置２１３を決定する。ステップＳ３３において、補正画像の下側に対して白線認識を実行する。ステップＳ３４において、補正画像の下側の白線認識結果２２１，２２２に基づいて第２の消失点位置２２３を決定する。ステップＳ３５において、第１の消失点位置２１３及び第２の消失点位置２２３の間の距離を評価値とする。妥当なレンズ歪み係数ｋ１を設定したときに白線が直線状に補正されるので、補正画像の上側の白線認識結果２１１，２１２と下側の白線認識結果２２１，２２２との一致度が高くなる（すなわち、評価値が小さくなる）とともに、補正画像内の白線とこれらの白線認識結果との一致度も高くなる。従って、評価値が小さいレンズ歪み係数ｋ１を決定することにより、正しいレンズ歪み係数ｋ１を求めることができる。
【００２５】
ステップＳ５において、計算された評価値を評価値メモリ１２に格納する。ステップＳ６において、レンズ歪み係数ｋ１が最大値に達したか否か（又は、レンズ歪み係数ｋ１を範囲内のすべての値に変化させてステップＳ３〜Ｓ６を実行したか否か）を判断し、達していないうちは、ステップＳ７において、レンズ歪み係数ｋ１を予め決められた量（例えば０．０１）だけインクリメントし、次いでステップＳ３〜Ｓ６を繰り返す。これらのステップを繰り返すことにより、異なるレンズ歪み係数ｋ１ごとに補正画像を生成し、補正画像ごと（すなわちレンズ歪み係数ｋ１ごと）にそれぞれ、補正の妥当性を評価するための評価値を決定することができる。図９に、決定された評価値を含む、評価値メモリ１２内の評価値テーブルを示す。ステップＳ６においてレンズ歪み係数ｋ１が最大値に達したときには、ステップＳ８において、評価値メモリ１２に格納された評価値を比較し、最良の評価値に対応するレンズ歪み係数ｋ１を決定する。
【００２６】
ステップＳ９において、ステップＳ８で決定されたレンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ１０において、ステップＳ９の補正画像に対して白線認識を実行し、白線認識により得られた２つの白線の交点を消失点位置として決定する。ステップＳ１１において、ステップＳ８で決定されたレンズ歪み係数ｋ１と、ステップＳ１０で決定された消失点位置とを、不揮発性メモリ１３に格納する。以上の手順で、車載カメラ１のレンズ歪みパラメータと消失点位置を求めることができる。
【００２７】
実施の形態１によれば、カメラのレンズ歪みパラメータと消失点位置の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができる。さらに、実施の形態１によれば、未知のカメラについて、白線認識を行う上で十分な精度でレンズ歪みパラメータと消失点位置の情報を決定することができる。これらの情報を用いることにより白線認識時の探索領域を大幅に限定できるので、高速かつ高精度に白線認識を実行することができる。
【００２８】
実施の形態２．
図１０は、本発明の実施の形態２に係る画像認識処理を示すフローチャートである。実施の形態１では１つの元画像に基づいてレンズ歪みパラメータと消失点位置を決定したが、実施の形態２では、所定時間間隔で連続した複数個の画像（時系列画像）を入力として使用する。実施の形態２では、連続する複数個の画像を同じレンズ歪みパラメータによりそれぞれ補正したときの補正の安定度を評価してレンズ歪みパラメータを決定し、これにより、実施の形態１よりも高精度にレンズ歪みパラメータ及び消失点位置を求めることが可能になる。評価する安定度の指標としては、複数の画像を同じレンズ歪みパラメータによりそれぞれ補正したときの評価値の和を用いることができる。
【００２９】
ステップＳ４１において、車載カメラ１から画像を取得して、画像メモリ１１に格納する。ステップＳ４２において、時系列画像の番号を示すパラメータｎを１に初期化する。ステップＳ４３において、レンズ歪み係数ｋ１を例えば最小値に初期化する。ステップＳ４４において、レンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ４５において、図４のステップＳ４と同様の評価値計算処理を実行する。評価値計算処理としては、例えば、図５又は図７を参照して説明した処理を行うことができる。ステップＳ４６において、計算された評価値を評価値メモリ１２に格納する。図１１は、決定された評価値を含む、評価値メモリ１２内の評価値テーブルを示す。パラメータｎ及びｋ１に応じて、評価値テーブル上の対応する箇所に評価値を格納する。ステップＳ４７において、レンズ歪み係数ｋ１は最大値に達したか否か（又は、レンズ歪み係数ｋ１を範囲内のすべての値に変化させてステップＳ４４〜Ｓ４７を実行したか否か）を判断し、達していないうちは、ステップＳ４８において、レンズ歪み係数ｋ１を予め決められた量だけインクリメントし、次いでステップＳ４４〜Ｓ４７を繰り返す。ステップＳ４７においてレンズ歪み係数ｋ１が最大値に達したときには、ステップＳ４９において、時系列画像の番号を示すパラメータｎが予め決められた最大値Ｎに達したか否かを判断する。ステップＳ４７においてパラメータｎが最大値Ｎに達していないうちは、ステップＳ５０においてパラメータｎを１だけインクリメントし、次いでステップＳ４１において、車載カメラ１から新たな画像を取得して、画像メモリ１１に上書きし、ステップＳ４２〜Ｓ４９を繰り返す。ステップＳ４７においてパラメータｎが最大値Ｎに達したときには、ステップＳ５１において、レンズ歪み係数ｋ１の異なる値毎に、評価値メモリ１２に格納されたＮ個の評価値の総和を計算する。車載カメラ１に映り込む事物によっては一定割合で白線認識の誤りが発生する可能性があるので、ステップＳ５１で総和を計算するときに、レンズ歪み係数ｋ１の異なる値毎に、下位の所定割合の順位を有する評価値を除去してもよい。ステップＳ５２において、評価値の総和を比較し、最良の評価値に対応するレンズ歪み係数ｋ１を決定する。ステップＳ５３において、ステップＳ５２で決定されたレンズ歪み係数ｋ１に基づき補正画像を生成する。ステップＳ５４において、ステップＳ５３の補正画像に対して白線認識を実行し、白線認識により得られた２つの白線の交点を消失点位置として決定する。ステップＳ５５において、ステップＳ５２で決定されたレンズ歪み係数ｋ１と、ステップＳ５４で決定された消失点位置とを、不揮発性メモリ１３に格納する。以上の手順で、車載カメラ１のレンズ歪みパラメータと消失点位置を求めることができる。
【００３０】
実施の形態２によれば、時系列画像を入力として用いたことにより、実施の形態１よりも高精度にレンズ歪みパラメータ及び消失点位置を求めることが可能になる。
【００３１】
実施の形態３．
図１２は、本発明の実施の形態３に係るカメラキャリブレーション装置の構成を示すブロック図１であり、図１３は、図１２のカメラキャリブレーション装置を備えた車両３を示す概略図である。実施の形態３のカメラキャリブレーション装置は、決定されたレンズ歪みパラメータ及び消失点位置をディスプレイ５に表示し、ユーザが入力装置４を介してレンズ歪みパラメータ及び消失点位置を確認してさらに調整できることを特徴とする。
【００３２】
図１２を参照すると、画像認識装置２Ａは、図１の画像認識装置２のコントローラ１０に代えて、ユーザ入力情報を受け取るための入力装置４にさらに接続されたコントローラ１０Ａを備える。入力装置４は、レンズ歪みの大小と、消失点の左右位置及び上下位置とを調整するために使用される。画像認識装置２Ａは、コントローラ１０Ａで生成された補正画像（すなわち、図４のステップＳ９又は図１０のステップＳ５３で生成された補正画像）に所定の情報を重畳してディスプレイ５に出力する画像合成回路１４をさらに備える。画像合成回路１４は、消失点を補正画像に重畳する消失点重畳回路１５と、ガイド線を補正画像に重畳するガイド線重畳回路１６とを備える。画像認識装置２Ａ内の画像メモリ１１、評価値メモリ１２、及び不揮発性メモリ１３は、図１の画像認識装置２の場合と同様に構成される。
【００３３】
入力装置４は、物理的なボタンとして設けてもよいし、カーナビゲーションシステムのタッチパネルを用いてもよい。ディスプレイ５は、カーナビゲーションシステムの表示パネルを用いてもよいし、ディスプレイ付きオーディオ機器の表示パネルなどを用いてもよい。図１４は、図１２の入力装置４及びディスプレイ５の一実施例を示す図である。図１４の入力装置４は、タッチパネル上のボタン２１，２２，２３として構成されている。ガイド線重畳回路１６は、図１４に示すように、消失点から放射状にガイド線２３０を表示することにより、レンズ歪みが正しく補正されているか否かを判定し易くする。図１５は、図１２の入力装置４及びディスプレイ５のもう１つの実施例を示す図である。図１４の入力装置４は、スライドバー２１Ａ，２２Ａ，２３Ａとして構成されている。消失点位置を調整するために、ディスプレイ５に表示された画像内のポイントをタッチして直接指示するように構成してもよい。また、入力装置４は、ディスプレイ５の表示内容の確認を容易にするために、また、ユーザ入力情報の精度を高めるために、画像を拡大又は縮小してディスプレイ５に表示させる機能をさらに備えてもよい。
【００３４】
コントローラ１０Ａは、図４又は図１０の画像認識処理によりレンズ歪みパラメータ及び消失点位置の情報を決定した後、これらの情報を不揮発性メモリ１３に格納する前又は後に、決定されたレンズ歪みパラメータに基づき補正画像を生成して画像合成回路１４に送る。画像合成回路１４は、決定された消失点位置と、この消失点位置に基づくガイド線とを補正画像に合成し、合成後の画像をディスプレイ５に表示する。ユーザは、表示された画像を見てレンズ歪みパラメータ及び消失点位置を調整し、コントローラ１０Ａは、調整されたレンズ歪みパラメータに基づき補正画像を生成して画像合成回路１４に送り、画像合成回路１４は、調整された消失点位置と、この消失点位置に基づくガイド線とを補正画像に合成し、合成後の画像をディスプレイ５に表示する。以下、調整と表示を繰り返し、コントローラ１０Ａは、最終的に決定されたレンズ歪みパラメータ及び消失点位置を不揮発性メモリ１３に格納する。
【００３５】
実施の形態３によれば、画像認識処理（図４又は図１０）により決定されたレンズ歪みパラメータ及び消失点位置が誤っていた場合でも、ディスプレイ５を見ながら簡単な操作で誤りを訂正することが可能になる。
【００３６】
実施の形態４．
図１６は、本発明の実施の形態４に係るカメラキャリブレーション装置の構成を示すブロック図である。実施の形態４のカメラキャリブレーション装置では、画像内における車両３の左右端位置を画像認識装置２Ｂに入力することができる。
【００３７】
画像合成回路１４Ａは、図１２の画像合成回路１４の構成に加えて、車両３の左右端の延長線を示す左右端ガイド線を補正画像に重畳する左右端ガイド線重畳回路１７をさらに備える。入力装置４Ａは、図１４又は図１５等の構成に加えて、画像内における車両３の左右端位置を入力して調整するためのキーを備える。コントローラ１０Ｂは、図１２のコントローラ１０Ａの動作に加えて、入力された左右端の位置の情報を処理する。
【００３８】
図１７は、車両３の右端及び左端に合わせて配置されたマーカー３１，３２を示す概略図である。例えば、図１７に示すように、車両３の右端及び左端の延長線上に、車載カメラ１により撮影された画像上で確認可能な何らかのマーカー３１，３２を置いておく。このマーカー３１，３２は、車載カメラ１で確認できれば何でもよい。例えば、紙で作成してもよく、風で飛ばないようにシールで作成してもよく、周辺に転がっている石であってもよい。
【００３９】
図１８は、図１６の入力装置４Ａ及びディスプレイ５の一実施例を示す図である。入力装置４Ａは、タッチパネル上のボタン２１，２２，２３，２４，２５として構成されてもよく、又は、スライドバーとして構成されてもよく、又は、ディスプレイ５に表示された画像内のポイントをタッチして直接指示するように構成してもよい。ディスプレイ５上には、車両３の右端及び左端の延長線を示すガイド線２３１，２３２が表示される。
【００４０】
コントローラ１０Ｂは、車両３の左右端位置を所定位置に設定し、この位置の情報を画像合成回路１４Ａに送る。画像合成回路１４Ａの左右端ガイド線重畳回路１７は、コントローラ１０Ｂから送られた左右端位置の情報に基づいて補正画像内の所定位置にガイド線２３１，２３２を重畳し、重畳後の画像はディスプレイ５上に表示される。ユーザは、表示された画像を見て、ガイド線２３１，２３２がマーカー３１，３２に一致するように左右端位置を調整し、コントローラ１０Ａは、調整された左右端位置の情報を画像合成回路１４Ａに送り、画像合成回路１４Ａは、調整された左右端位置の情報に基づいて重畳されるガイド線２３１，２３２の位置を調整し、調整後の画像がディスプレイ５上に表示される。以下、調整と表示を繰り返し、コントローラ１０Ｂは、最終的に決定された左右端位置を不揮発性メモリ１３に格納する。
【００４１】
実施の形態４によれば、画像内における車両３の左右端位置を画像認識装置２Ｂに予め入力しておくことにより、レーン逸脱の判定精度を改善することができる。
【００４２】
なお、本明細書では、画像認識の対象を「白線」として説明したが、これに限定せず、道路上に設けられた区間線又は道路標示であって、車両３の進行方向に実質的に平行な直線であれば、任意の線（例えば白以外の色の線）を利用可能である。
【産業上の利用可能性】
【００４３】
本発明によれば、レーン逸脱警報システムを構築しようとしたときに必要となるカメラの内部パラメータ（レンズ歪み）と外部パラメータ（消失点位置）の情報を、専用のカメラキャリブレーション用パターンなどを用いずに簡便に求めることができるカメラキャリブレーション装置を提供することができる。
【符号の説明】
【００４４】
１ 車載カメラ、２，２Ａ，２Ｂ 画像認識装置、３ 車両、４，４Ａ 入力装置、５ ディスプレイ、１０，１０Ａ，１０Ｂ コントローラ、１１ 画像メモリ、１２ 評価値メモリ、１３ 不揮発性メモリ、１４，１４Ａ 画像合成回路、１５ 消失点重畳回路、１６ ガイド線重畳回路、１７ 左右端ガイド線重畳回路、２１，２２，２３，２４，２５ ボタン、２１Ａ，２２Ａ，２３Ａ スライドバー、３１，３２ マーカー、１００ 道路、１０１，１０２ 白線、２００ カメラ画像、２０１，２０２，２１１，２１２，２２１，２２２ 白線認識結果、２１０ 基準線、２１３，２２３ 消失点、２３０ ガイド線、２３１，２３２ 左右端ガイド線。
【特許請求の範囲】
【請求項１】
画像認識処理を実行するコントローラを備えた、車載カメラのカメラキャリブレーション装置であって、
上記コントローラは、
上記車載カメラから、車両の進行方向にそれぞれ実質的に平行な直線状の２本の区間線が設けられた道路の入力画像を取得し、
複数の異なるレンズ歪みパラメータに基づいて上記入力画像をそれぞれ補正して複数の第１の補正画像を生成し、
上記各第１の補正画像において、上記各区間線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、
最良の評価値に対応するレンズ歪みパラメータを決定し、
上記決定されたレンズ歪みパラメータに基づいて上記入力画像を補正して第２の補正画像を生成し、
上記第２の補正画像において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定することを特徴とする車載カメラのカメラキャリブレーション装置。
【請求項２】
上記コントローラは、
上記車載カメラから複数の入力画像を取得し、
上記各入力画像に対して上記第１の補正画像の生成及び上記評価値の計算を実行し、
上記レンズ歪みパラメータの決定において、異なるレンズ歪みパラメータ毎に、上記各入力画像に対応する評価値の総和を計算し、最良の評価値の総和に対応するレンズ歪みパラメータを決定することを特徴とする請求項１記載の車載カメラのカメラキャリブレーション装置。
【請求項３】
上記評価値の計算は、
上記第１の補正画像内の右側の区画線に対してハフ変換を実行して、上記右側の区画線に対する直線候補の投票値を取得することと、
上記右側の区画線に対する直線候補の投票値のうちで最高の投票値を決定することと、
上記第１の補正画像内の左側の区画線に対してハフ変換を実行して、上記左側の区画線に対する直線候補の投票値を取得することと、
上記左側の区画線に対する直線候補の投票値のうちで最高の投票値を決定することと、
上記決定された２つの最高の投票値の合計を評価値とすることとを含むことを特徴とする請求項１又は２記載の車載カメラのカメラキャリブレーション装置。
【請求項４】
上記評価値の計算は、
上記第１の補正画像の上側において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を第１の消失点位置として決定することと、
上記第１の補正画像の下側において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を第２の消失点位置として決定することと、
上記第１及び第２の消失点位置の間の距離を評価値とすることとを含むことを特徴とする請求項１又は２記載の車載カメラのカメラキャリブレーション装置。
【請求項５】
上記車載カメラのカメラキャリブレーション装置は、
ユーザ入力情報を取得する入力手段と、
上記第２の補正画像及び上記消失点位置を表示する表示手段とをさらに備え、
上記コントローラは、上記ユーザ入力情報に応じて上記決定されたレンズ歪みパラメータ及び消失点位置を調整することを特徴とする請求項１〜４のいずれか１つに記載の車載カメラのカメラキャリブレーション装置。
【請求項６】
上記コントローラは、車両の左右端位置の情報を上記入力手段から取得し、
上記表示手段は、車両の左右端の延長線を示す左右端ガイド線をさらに表示することを特徴とする請求項５記載の車載カメラのカメラキャリブレーション装置。
【請求項１】
画像認識処理を実行するコントローラを備えた、車載カメラのカメラキャリブレーション装置であって、
上記コントローラは、
上記車載カメラから、車両の進行方向にそれぞれ実質的に平行な直線状の２本の区間線が設けられた道路の入力画像を取得し、
複数の異なるレンズ歪みパラメータに基づいて上記入力画像をそれぞれ補正して複数の第１の補正画像を生成し、
上記各第１の補正画像において、上記各区間線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、
最良の評価値に対応するレンズ歪みパラメータを決定し、
上記決定されたレンズ歪みパラメータに基づいて上記入力画像を補正して第２の補正画像を生成し、
上記第２の補正画像において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定することを特徴とする車載カメラのカメラキャリブレーション装置。
【請求項２】
上記コントローラは、
上記車載カメラから複数の入力画像を取得し、
上記各入力画像に対して上記第１の補正画像の生成及び上記評価値の計算を実行し、
上記レンズ歪みパラメータの決定において、異なるレンズ歪みパラメータ毎に、上記各入力画像に対応する評価値の総和を計算し、最良の評価値の総和に対応するレンズ歪みパラメータを決定することを特徴とする請求項１記載の車載カメラのカメラキャリブレーション装置。
【請求項３】
上記評価値の計算は、
上記第１の補正画像内の右側の区画線に対してハフ変換を実行して、上記右側の区画線に対する直線候補の投票値を取得することと、
上記右側の区画線に対する直線候補の投票値のうちで最高の投票値を決定することと、
上記第１の補正画像内の左側の区画線に対してハフ変換を実行して、上記左側の区画線に対する直線候補の投票値を取得することと、
上記左側の区画線に対する直線候補の投票値のうちで最高の投票値を決定することと、
上記決定された２つの最高の投票値の合計を評価値とすることとを含むことを特徴とする請求項１又は２記載の車載カメラのカメラキャリブレーション装置。
【請求項４】
上記評価値の計算は、
上記第１の補正画像の上側において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を第１の消失点位置として決定することと、
上記第１の補正画像の下側において、上記各区間線に対応する２本の直線を検出し、検出された２本の直線の交点を第２の消失点位置として決定することと、
上記第１及び第２の消失点位置の間の距離を評価値とすることとを含むことを特徴とする請求項１又は２記載の車載カメラのカメラキャリブレーション装置。
【請求項５】
上記車載カメラのカメラキャリブレーション装置は、
ユーザ入力情報を取得する入力手段と、
上記第２の補正画像及び上記消失点位置を表示する表示手段とをさらに備え、
上記コントローラは、上記ユーザ入力情報に応じて上記決定されたレンズ歪みパラメータ及び消失点位置を調整することを特徴とする請求項１〜４のいずれか１つに記載の車載カメラのカメラキャリブレーション装置。
【請求項６】
上記コントローラは、車両の左右端位置の情報を上記入力手段から取得し、
上記表示手段は、車両の左右端の延長線を示す左右端ガイド線をさらに表示することを特徴とする請求項５記載の車載カメラのカメラキャリブレーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１８５７５３（Ｐ２０１１−１８５７５３Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５１４９２（Ｐ２０１０−５１４９２）
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]