キャリブレーション装置およびキャリブレーション方法
【課題】車両に搭載されている撮像装置の交換場所等に関する制限を軽減または解消しながら、撮像装置のキャリブレーションを実行しうる装置等を提供する。
【解決手段】第１状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。第２状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢とが認識される。そして、当該認識結果に基づき、第２状態における前方カメラ１１（または後方カメラ１２）の光軸姿勢の変化態様が認識される。
【解決手段】第１状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。第２状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢とが認識される。そして、当該認識結果に基づき、第２状態における前方カメラ１１（または後方カメラ１２）の光軸姿勢の変化態様が認識される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置のキャリブレーションを実行する装置に関する。
【背景技術】
【０００２】
従来から車両に搭載されたカメラのキャリブレーションを実行するいくつかの手法が提案されている（特許文献１および２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１１６５１５号公報
【特許文献２】特開２００７−２０９３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、車両に搭載されている撮像装置が交換された場合、交換後の新たな撮像装置のキャリブレーションのためには、キャリブレーション用の特殊なパターンまたはターゲットが置かれている工場等の指定箇所に当該車両が立ち寄る必要がある。これは、車両に搭載されている撮像装置が車両から一時的に取り外された上で再び車両に取り付けられた場合等、キャリブレーションが必要になる状況についても同じである。このため、撮像装置の交換場所等から当該指定箇所までの間は、車両座標系における撮像装置の光軸の姿勢が不明であるため、撮像装置を通じた画像の使用が制限または禁止された状態で車両が走行するまたは輸送される必要があった。
【０００５】
そこで、本発明は、車両に搭載されている撮像装置の交換場所等に関する制限を軽減または解消しながら、撮像装置のキャリブレーションを実行しうる装置および方法を提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するための発明のキャリブレーション装置は、車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する装置であって、前記前方撮像装置を通じて撮像された前記車両の前方道路を含む前方画像に基づき、前方道路に存在する前方レーンマークを抽出し、かつ、前記後方撮像装置を通じて撮像された前記車両の後方道路を含む後方画像に基づき、後方道路に存在する後方レーンマークを抽出した上で、前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢を認識する第１演算処理要素と、前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識する第２演算処理要素とを備えていることを特徴とする。
【０００７】
本発明のキャリブレーション装置によれば、車両に搭載されている前方撮像装置を通じて得られた前方画像に基づいて前方レーンマークが抽出され、その位置および姿勢が認識される。また、車両に搭載されている後方撮像装置を通じて得られた後方画像に基づいて後方レーンマークが抽出され、その位置および姿勢が認識される。さらに、第１状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。「第１状態」とは前方撮像装置および後方撮像装置のそれぞれの光軸姿勢が判明している状態を意味する。
【０００８】
また、第２状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。「第２状態」とは第１状態と比較して前方撮像装置または後方撮像装置の光軸姿勢が変化している可能性がある状態を意味する。そして、これらの認識結果に基づき、第２状態における前方撮像装置または後方撮像装置の光軸姿勢が認識される。
【０００９】
この結果、レーンマークが存在する道路を車両が走行している過程で、キャリブレーション用の特殊なパターン等が置かれている指定箇所に行く必要なく、当該車両に搭載されている前方撮像装置および後方撮像装置のうち一方のキャリブレーションが実行されうる。
【００１０】
なお、本発明の構成要素がある情報を「認識する」とは、当該構成要素が情報またはこれを表わすデータをメモリから読み出すこと、データベースから検索すること、受信すること、受信等された基礎データに基づいて演算処理することにより情報を測定、算定、推定、予測等すること、算定等された情報をメモリに保存すること等、当該情報を必要とするさらなる演算処理のために当該情報を準備するためのあらゆる情報演算処理を実行することを意味する。
「前方」という記載は、車両の前方にあることを意味し、「後方」という記載は車両の後方にあることを意味する。
【００１１】
前記第１演算処理要素が前記車両の走行状態と、第１時点における前記前方画像に基づいて認識した前記前方レーンマークの位置および姿勢とに基づき、前記第１時点より後の第２時点において前記前方レーンマークが前記後方レーンマークとして認識された場合における当該後方レーンマークの位置および姿勢を推定し、前記第２演算処理要素が、前記第１状態において前記後方レーンマークの前記第２時点における推定位置および推定姿勢のそれぞれと、前記第２時点における前記後方画像に基づいて前記第１演算処理要素により認識された前記後方レーンマークの位置および姿勢のそれぞれとの偏差と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記偏差に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識してもよい。
【００１２】
前記第２演算処理要素が、前記第１状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識してもよい。
【００１３】
前記第２演算処理要素が、前記前方撮像装置の光軸および前記後方撮像装置の光軸の相対的な姿勢関係の変化態様が指定条件を満たしているか否かを判定し、前記第１演算処理手段が、前記第２演算処理手段により前記変化態様が前記指定条件を満たしていると判定されたことを要件として、前記前方レーンマークおよび前記後方レーンマークの一方または両方を抽出してもよい。
【００１４】
前記第１演算処理要素が、前記第２演算処理手段により認識された前記前方撮像装置または前記後方撮像装置の光軸姿勢の変化態様に基づき、前記前方レーンマークまたは前記後方レーンマークの位置および姿勢を補正してもよい。
【００１５】
前記第２演算処理要素が、前記前方撮像装置および前記後方撮像装置のうち一方が交換されたこと、または、前記車両に対する取り付け箇所から取り外された上で再び前記取り付け箇所に取り付けられたことを表わす信号を検知したことを要件として、前記車両が前記第１状態から前記第２状態に変化したことを認識してもよい。
【００１６】
前記課題を解決するための本発明のキャリブレーション方法は、車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する方法であって、前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とする。
【００１７】
本発明のキャリブレーション方法によれば、レーンマークが存在する道路を車両が走行している過程で、キャリブレーション用の特殊なパターン等が置かれている指定箇所に行く必要なく、当該車両に搭載されている前方撮像装置および後方撮像装置のうち一方のキャリブレーションが実行されうる。
【図面の簡単な説明】
【００１８】
【図１】本発明のキャリブレーション装置が搭載されている車両の構成説明図。
【図２】本発明の一実施形態としてのキャリブレーション装置の構成説明図。
【図３】キャリブレーション方法の手順に関する説明図。
【図４】前方レーンマークおよび後方レーンマークの認識方法に関する説明図。
【図５】後方レーンマークの位置の推定方法に関する説明図。
【発明を実施するための形態】
【００１９】
本発明のキャリブレーション装置等の実施形態について図面を用いて説明する。
【００２０】
図１に示されている車両（四輪自動車）１には、車両走行支援装置（キャリブレーション装置）１０と、前方カメラ（前方撮像装置）１１と、後方カメラ（後方撮像装置）１２とが搭載されている。前方カメラ１１および後方カメラ１２のそれぞれはＣＣＤカメラ、ＣＭＯＳイメージセンサまたは近赤外線カメラである。前方カメラ１１は車両１の前方道路を含む範囲をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。後方カメラ１２は車両１の後方にある範囲を撮像するように車両１の後端部に配置されている。なお、前方カメラ１１および後方カメラ１２の配置箇所は適宜変更されてもよい。
【００２１】
車両１には図２に示されているように、車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。
【００２２】
車両走行支援装置１０はＥＣＵ（電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。））により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより車両走行支援プログラムがメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのメモリに保存されてもよい。
【００２３】
車両走行支援装置１０は第１演算処理要素１１０と、第２演算処理要素１２０と、車両制御装置１００とを備えている。なお、第１演算処理要素１１および第２演算処理要素１２のそれぞれを構成する演算回路等のハードウェア資源は、物理的に一部または全部が共通であってもよく、物理的に完全に別個であってもよい。第１演算処理要素１１０および第２演算処理要素１２０を備えている車両環境認識ＥＣＵと、車両制御装置１００を構成するＥＣＵとが別個に設けられていてもよい。
【００２４】
第１演算処理要素１１０は前方カメラ１１を通じて撮像された車両１の前方道路を含む前方画像に基づき、前方道路に存在する前方レーンマークを抽出する。第１演算処理要素１１０は後方カメラ１２を通じて撮像された車両１の後方道路を含む後方画像に基づき、後方道路に存在する後方レーンマークを抽出する。第１演算処理要素１１０は前方レーンマークの位置および姿勢、ならびに、後方レーンマークの位置および姿勢を認識する。
【００２５】
第２演算処理要素１２０は第１状態および第２状態のそれぞれにおける前方画像および後方画像に基づいて認識された前方レーンマークの位置および姿勢、ならびに、後方レーンマークの位置および姿勢に基づき、第２状態における前方カメラ１１の光軸姿勢を認識する
【００２６】
車両制御装置１００は、左右のレーンマークにより左右が画定される走行帯から車両１が逸脱しないまたは外れないように操舵装置１４および制動装置１６の一方または両方の動作を制御する。
【００２７】
前記構成の車両走行支援装置１０の機能（キャリブレーション方法）について説明する。
【００２８】
まず、前方カメラ１１を通じて車両１の前方道路を含む前方画像（ディジタル画像）が取得される。第１演算処理要素１１０により前方画像に基づき、車両１の前方走行帯の左右を画定する前方レーンマークが抽出される（図３／ＳＴＥＰ００２）。具体的には前方画像に対してエッジ抽出処理が施されることによりエッジ画像が生成される。続いてエッジ画像に対してハフ変換処理が実行され、ハフ空間（ρ−θ空間）において標準的なレーンマークを画定する直線（線分）の存在領域に存在する線または線分が前方レーンマークとして抽出される。
【００２９】
画像の走査方向（たとえば右方向）について、前の画素と比較して輝度が閾値を超えて低下するような画素が負エッジ点として抽出される。前の画素と比較してその輝度が閾値を超えて上昇するような画素が正エッジ点として抽出される。左側レーンマークの右側の輪郭線に相当する負エッジ点を含む線分が、当該左側レーンマークとして抽出される。右側レーンマークの左側の輪郭線に相当する正エッジ点を含む線分が、当該右側レーンマークとして抽出される。これにより、たとえば図４に「×」で示されている複数のエッジ点を含む線分が左右それぞれの前方レーンマークとして認識される。異なる時刻に取得された複数の前方画像のそれぞれについてレーンマークが逐次抽出され、タイムスタンプ（基礎となった前方画像の撮像時刻）が付された上でメモリに逐次保存される。
【００３０】
同様に後方カメラ１２を通じて車両１の後方道路を含む後方画像（ディジタル画像）が取得される。また、第１演算処理要素１１０により後方画像に基づき、車両１の前方走行帯の左右を画定する後方レーンマークが抽出される（図３／ＳＴＥＰ００４）。異なる時刻に取得された複数の後方画像のそれぞれについてレーンマークが逐次抽出され、タイムスタンプ（基礎となった後方画像の撮像時刻）が付された上でメモリに逐次保存される。
さらに、第１演算処理要素１１０により前方レーンマークの位置および姿勢が認識される（図３／ＳＴＥＰ００６）。
【００３１】
具体的には、まず前方レーンマークを表わす線分が画像座標系から車両座標系に座標変換される。これにより、図４に示されている画像座標系（ｕ，ｖ）における前方レーンマークが、図５に示されているように車両１に対して固定された車両座標系（Ｘ，Ｙ，Ｚ）における線分として認識される。車両座標系は車両１の幅方向または左右方向をＸ方向とし、車両１の前後方向をＹ方向とし、かつ、車両１の上下方向をＺ方向として定義されている。車両１の中心または重心とＸ座標値およびＹ座標値を共通にし、かつ、路面とＺ座標値を共通にする点が車両座標系の原点Ｏとして定義されている。
【００３２】
前方カメラ１１の車両座標系におけるピッチ角度θ、パン角度φおよびロール角度ρならびに焦点距離ｆに基づき、関係式（１）にしたがって座標変換が実行される。
Ｘ＝(ｗ／ｆ){(ｕαｃｏｓρ＋ｖαｓｉｎρ)ｓｉｎφ＋ｃｏｓφ}，
Ｙ＝(ｗ／ｆ){−(ｕαｃｏｓρ＋ｖαｓｉｎρ)ｃｏｓφ＋ｓｉｎφ}，
Ｚ＝(ｗ／ｆ)(−ｕαｓｉｎρ＋ｖαｃｏｓρ)ｃｏｓθ＋ｗｓｉｎφ＝０‥（１）
ここで、αは画像座標系における各画素の大きさであり、ｗは(ｕ2＋ｖ2)1/2で表わされる。
【００３３】
そして、車両座標系における左側および右側のそれぞれの前方レーンマークの近似直線または近似曲線を表わす方程式Ｙ＝ＦＬ(Ｘ)およびＹ＝ＦＲ(Ｘ)が決定され、当該方程式が各前方レーンマークの位置および姿勢として認識される。
【００３４】
同様に、第１演算処理要素１１０により車両座標系における左側および右側のそれぞれの後方レーンマークの近似直線または近似曲線を表わす方程式Ｙ＝ＲＬ(Ｘ)およびＹ＝ＲＲ(Ｘ)が決定され、当該方程式が各後方レーンマークの位置および姿勢として認識される（図３／ＳＴＥＰ００８）。
【００３５】
続いて、第１演算処理要素１１０により、車両１の挙動状態、ならびに、第１時点ｔ１において撮像された前方画像に基づいて認識された前方レーンマークの位置および姿勢に基づき、第１時点ｔ１から時間δｔだけ後の第２時点ｔ２（＝ｔ１＋δｔ）において認識されると予測される後方レーンマークの位置および姿勢が推定される（図３／ＳＴＥＰ０１０）。
【００３６】
第１時点ｔ１において図５に実線で示されているような車両１の位置および姿勢は、第１時点ｔ１における車両１の挙動状態に応じて、第２時点ｔ２において図５には線で示されているような位置および姿勢に変化する。このような車両１の位置および姿勢の変化に鑑みて、車両座標系における同一のレーンマークの位置および姿勢の変化態様が予測される。具体的には、第１時点ｔ１における車速センサ１２２の出力信号に応じた車速Ｖ(ｔ)およびヨーレートセンサ１２６の出力信号に応じたヨーレートω(ｔ)が車両１の挙動状態として測定される。また、第１時点ｔ１から指定時間δｔだけ後の第２時点ｔ２までの車両１のＸ方向およびＹ方向のそれぞれの変位量δＸおよびδＹ、ならびに、方位角ξの変化量δξのそれぞれは、関係式（２）にしたがって算定される。車両１の変位量δＸおよびδＹの算定に際して、車速Ｖに加えて、加速度センサ１２４の出力信号に応じた車両１の加速度αが用いられてもよい。指定時間δｔは、車両１が前方レーンマークを後方に臨む程度に変位するために要する時間以上に設定され、車速Ｖまたは車速Ｖおよび加速度αに基づいて流動的に設定されうる。
δＸ＝∫ｄｔ・Ｖ(ｔ)ｃｏｓω(ｔ)，
δＸ＝∫ｄｔ・Ｖ(ｔ)ｓｉｎω(ｔ)，
δξ＝∫ｄｔ・ω(ｔ) ‥（２）
【００３７】
そして、当該変位量δＸおよびδＹならびに方位角変化量δξに基づき、第１時点ｔ１における車両座標系から第２時点ｔ２における車両座標系への座標変換式が決定される。さらに、第１時点ｔ１における各前方レーンマークの位置および姿勢を表わす方程式Ｙ＝ＦＬ(Ｘ，ｔ１)およびＹ＝ＦＲ(Ｘ，ｔ１)のそれぞれが、当該座標変換式にしたがって座標変換された結果の方程式Ｙ＝ＥＲＬ(Ｘ，ｔ２)およびＹ＝ＥＲＲ(Ｘ，ｔ２)が、第２時点ｔ２における各後方レーンマークの推定位置および推定姿勢として認識される。
【００３８】
次に、第２演算処理要素１２０により、第２時点ｔ２における後方レーンマークの推定位置および実際位置の位置偏差と、推定姿勢および実際姿勢の姿勢偏差とが認識される（図３／ＳＴＥＰ０１２）。
【００３９】
たとえば、左側の後方レーンマークの推定位置および推定姿勢を表わす式Ｙ＝ＥＲＬ(Ｘ，ｔ２)と、後方画像から抽出された左側の後方レーンマークの位置および姿勢を表わす式Ｙ＝ＲＲ(Ｘ，ｔ２)とのそれぞれが直線方程式である場合、Ｘ軸またはＹ軸の切片の偏差が位置偏差として算定され、傾きの偏差が姿勢偏差として認識される。
【００４０】
また、第２演算処理要素１２０により、第１状態における前方カメラ１の車両座標系における光軸姿勢と、後方レーンマークの位置偏差および姿勢偏差との関係、具体的には当該関係を表わす式が認識される（図３／ＳＴＥＰ０１４）。「第１状態」とは、車両１の出荷または検査直後等の状態であって、車両座標系における前方カメラ１１の光軸姿勢、すなわち、前方カメラ１１のピッチ角度θ、パン角度φおよびロール角度ρが判明している状態を意味する。
【００４１】
そして、第２状態における後方レーンマークの位置偏差および姿勢偏差に基づき、前記関係にしたがって、第２状態における前方カメラ１１の光軸姿勢が認識される（図３／ＳＴＥＰ０１６）。「第２状態」とは、前方カメラ１１が交換された状態または前方カメラ１１が取り外された上で再び同じ箇所に取り付けられた状態等、前方カメラ１１の光軸姿勢が第１状態から変化した可能性がある状態を意味する。
【００４２】
第２演算処理手段１２０により、前方カメラ１１が交換されたこと、または、車両１から取り外された上で再び車両１に取り付けられたことを表わす信号が検知されたことを要件として、車両１が第１状態から第２状態に変化したことが認識されてもよい。当該信号は前方カメラ１１の交換時に用いられるテスター等の器具から出力され、あるいは、車両１に設けられている所定のボタン（図示略）が操作されたことに応じて出力されてもよい。
【００４３】
第２状態における後方レーンマークの位置偏差および姿勢偏差は、前方カメラ１１の光軸姿勢が第１状態から変化していないという仮定にしたがって認識される。そして、第１状態と比較して、第２状態における後方レーンマークの位置偏差および姿勢偏差が相違する場合、当該相違を解消するように前記関係を表わす式が補正される。そして、第２状態における後方レーンマークの位置偏差および姿勢偏差に基づき、当該補正後の関係式にしたがって、第２状態における前方カメラ１１の光軸姿勢が認識される。
【００４４】
さらに、第２状態における前方カメラ１１の光軸姿勢に基づき、前方レーンマークの位置および姿勢が高精度で認識されうる（関係式（１）および図５参照）。そして、左右両側の前方レーンマークにより左右が画定される走行帯から車両１が逸脱しないように、操舵装置１４および制動装置１６の一方または両方の動作が制御される。前方カメラ１１の光軸姿勢を表わす各角度が指定範囲に収まっていることを要件として、当該制御が実行されてもよい。
【００４５】
なお、前方カメラ１１に代えて後方カメラ１２の第２状態における光軸姿勢が認識されてもよい。この場合、第２状態とは、後方カメラ１２が交換等されたことにより、車両座標系における後方カメラ１２の光軸姿勢が変化した可能性がある状態を意味する。
【００４６】
前記機能を発揮する車両走行支援装置１０によれば、前方カメラ１１を通じて得られた前方画像に基づいて前方レーンマークが抽出され、その位置および姿勢が認識される（図３／ＳＴＥＰ００２、ＳＴＥＰ００６、図５参照）。また、後方カメラ１２を通じて得られた後方画像に基づいて後方レーンマークが抽出され、その位置および姿勢が認識される（図３／ＳＴＥＰ００４、ＳＴＥＰ００８、図５参照）。さらに、第１状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。また、第２状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。そして、これらの認識結果に基づき、第２状態における前方カメラ１１の光軸姿勢が認識される（図３／ＳＴＥＰ０１６参照）。
【００４７】
この結果、レーンマークが存在する道路を車両１が走行している過程で、キャリブレーション用の特殊なパターン等が置かれている指定箇所に行く必要なく、前方カメラ１１のキャリブレーションが実行されうる。
【００４８】
なお、第１状態における後方レーンマークに対する前方レーンマークの相対位置および相対姿勢と、前方カメラ１１または後方カメラ１２の光軸姿勢との関係が認識された上で、第２状態における後方レーンマークに対する前方レーンマークの相対位置および相対姿勢と、当該関係とに基づき、第２状態における前方カメラ１１または後方カメラ１２の光軸姿勢が認識されてもよい。
【符号の説明】
【００４９】
１‥車両、１０‥車両走行支援装置（キャリブレーション装置）、１１‥前方カメラ、１２‥後方カメラ、１４‥操舵装置、１６‥制動装置
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置のキャリブレーションを実行する装置に関する。
【背景技術】
【０００２】
従来から車両に搭載されたカメラのキャリブレーションを実行するいくつかの手法が提案されている（特許文献１および２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１１６５１５号公報
【特許文献２】特開２００７−２０９３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、車両に搭載されている撮像装置が交換された場合、交換後の新たな撮像装置のキャリブレーションのためには、キャリブレーション用の特殊なパターンまたはターゲットが置かれている工場等の指定箇所に当該車両が立ち寄る必要がある。これは、車両に搭載されている撮像装置が車両から一時的に取り外された上で再び車両に取り付けられた場合等、キャリブレーションが必要になる状況についても同じである。このため、撮像装置の交換場所等から当該指定箇所までの間は、車両座標系における撮像装置の光軸の姿勢が不明であるため、撮像装置を通じた画像の使用が制限または禁止された状態で車両が走行するまたは輸送される必要があった。
【０００５】
そこで、本発明は、車両に搭載されている撮像装置の交換場所等に関する制限を軽減または解消しながら、撮像装置のキャリブレーションを実行しうる装置および方法を提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するための発明のキャリブレーション装置は、車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する装置であって、前記前方撮像装置を通じて撮像された前記車両の前方道路を含む前方画像に基づき、前方道路に存在する前方レーンマークを抽出し、かつ、前記後方撮像装置を通じて撮像された前記車両の後方道路を含む後方画像に基づき、後方道路に存在する後方レーンマークを抽出した上で、前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢を認識する第１演算処理要素と、前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識する第２演算処理要素とを備えていることを特徴とする。
【０００７】
本発明のキャリブレーション装置によれば、車両に搭載されている前方撮像装置を通じて得られた前方画像に基づいて前方レーンマークが抽出され、その位置および姿勢が認識される。また、車両に搭載されている後方撮像装置を通じて得られた後方画像に基づいて後方レーンマークが抽出され、その位置および姿勢が認識される。さらに、第１状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。「第１状態」とは前方撮像装置および後方撮像装置のそれぞれの光軸姿勢が判明している状態を意味する。
【０００８】
また、第２状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。「第２状態」とは第１状態と比較して前方撮像装置または後方撮像装置の光軸姿勢が変化している可能性がある状態を意味する。そして、これらの認識結果に基づき、第２状態における前方撮像装置または後方撮像装置の光軸姿勢が認識される。
【０００９】
この結果、レーンマークが存在する道路を車両が走行している過程で、キャリブレーション用の特殊なパターン等が置かれている指定箇所に行く必要なく、当該車両に搭載されている前方撮像装置および後方撮像装置のうち一方のキャリブレーションが実行されうる。
【００１０】
なお、本発明の構成要素がある情報を「認識する」とは、当該構成要素が情報またはこれを表わすデータをメモリから読み出すこと、データベースから検索すること、受信すること、受信等された基礎データに基づいて演算処理することにより情報を測定、算定、推定、予測等すること、算定等された情報をメモリに保存すること等、当該情報を必要とするさらなる演算処理のために当該情報を準備するためのあらゆる情報演算処理を実行することを意味する。
「前方」という記載は、車両の前方にあることを意味し、「後方」という記載は車両の後方にあることを意味する。
【００１１】
前記第１演算処理要素が前記車両の走行状態と、第１時点における前記前方画像に基づいて認識した前記前方レーンマークの位置および姿勢とに基づき、前記第１時点より後の第２時点において前記前方レーンマークが前記後方レーンマークとして認識された場合における当該後方レーンマークの位置および姿勢を推定し、前記第２演算処理要素が、前記第１状態において前記後方レーンマークの前記第２時点における推定位置および推定姿勢のそれぞれと、前記第２時点における前記後方画像に基づいて前記第１演算処理要素により認識された前記後方レーンマークの位置および姿勢のそれぞれとの偏差と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記偏差に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識してもよい。
【００１２】
前記第２演算処理要素が、前記第１状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識してもよい。
【００１３】
前記第２演算処理要素が、前記前方撮像装置の光軸および前記後方撮像装置の光軸の相対的な姿勢関係の変化態様が指定条件を満たしているか否かを判定し、前記第１演算処理手段が、前記第２演算処理手段により前記変化態様が前記指定条件を満たしていると判定されたことを要件として、前記前方レーンマークおよび前記後方レーンマークの一方または両方を抽出してもよい。
【００１４】
前記第１演算処理要素が、前記第２演算処理手段により認識された前記前方撮像装置または前記後方撮像装置の光軸姿勢の変化態様に基づき、前記前方レーンマークまたは前記後方レーンマークの位置および姿勢を補正してもよい。
【００１５】
前記第２演算処理要素が、前記前方撮像装置および前記後方撮像装置のうち一方が交換されたこと、または、前記車両に対する取り付け箇所から取り外された上で再び前記取り付け箇所に取り付けられたことを表わす信号を検知したことを要件として、前記車両が前記第１状態から前記第２状態に変化したことを認識してもよい。
【００１６】
前記課題を解決するための本発明のキャリブレーション方法は、車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する方法であって、前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とする。
【００１７】
本発明のキャリブレーション方法によれば、レーンマークが存在する道路を車両が走行している過程で、キャリブレーション用の特殊なパターン等が置かれている指定箇所に行く必要なく、当該車両に搭載されている前方撮像装置および後方撮像装置のうち一方のキャリブレーションが実行されうる。
【図面の簡単な説明】
【００１８】
【図１】本発明のキャリブレーション装置が搭載されている車両の構成説明図。
【図２】本発明の一実施形態としてのキャリブレーション装置の構成説明図。
【図３】キャリブレーション方法の手順に関する説明図。
【図４】前方レーンマークおよび後方レーンマークの認識方法に関する説明図。
【図５】後方レーンマークの位置の推定方法に関する説明図。
【発明を実施するための形態】
【００１９】
本発明のキャリブレーション装置等の実施形態について図面を用いて説明する。
【００２０】
図１に示されている車両（四輪自動車）１には、車両走行支援装置（キャリブレーション装置）１０と、前方カメラ（前方撮像装置）１１と、後方カメラ（後方撮像装置）１２とが搭載されている。前方カメラ１１および後方カメラ１２のそれぞれはＣＣＤカメラ、ＣＭＯＳイメージセンサまたは近赤外線カメラである。前方カメラ１１は車両１の前方道路を含む範囲をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。後方カメラ１２は車両１の後方にある範囲を撮像するように車両１の後端部に配置されている。なお、前方カメラ１１および後方カメラ１２の配置箇所は適宜変更されてもよい。
【００２１】
車両１には図２に示されているように、車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。
【００２２】
車両走行支援装置１０はＥＣＵ（電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。））により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより車両走行支援プログラムがメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのメモリに保存されてもよい。
【００２３】
車両走行支援装置１０は第１演算処理要素１１０と、第２演算処理要素１２０と、車両制御装置１００とを備えている。なお、第１演算処理要素１１および第２演算処理要素１２のそれぞれを構成する演算回路等のハードウェア資源は、物理的に一部または全部が共通であってもよく、物理的に完全に別個であってもよい。第１演算処理要素１１０および第２演算処理要素１２０を備えている車両環境認識ＥＣＵと、車両制御装置１００を構成するＥＣＵとが別個に設けられていてもよい。
【００２４】
第１演算処理要素１１０は前方カメラ１１を通じて撮像された車両１の前方道路を含む前方画像に基づき、前方道路に存在する前方レーンマークを抽出する。第１演算処理要素１１０は後方カメラ１２を通じて撮像された車両１の後方道路を含む後方画像に基づき、後方道路に存在する後方レーンマークを抽出する。第１演算処理要素１１０は前方レーンマークの位置および姿勢、ならびに、後方レーンマークの位置および姿勢を認識する。
【００２５】
第２演算処理要素１２０は第１状態および第２状態のそれぞれにおける前方画像および後方画像に基づいて認識された前方レーンマークの位置および姿勢、ならびに、後方レーンマークの位置および姿勢に基づき、第２状態における前方カメラ１１の光軸姿勢を認識する
【００２６】
車両制御装置１００は、左右のレーンマークにより左右が画定される走行帯から車両１が逸脱しないまたは外れないように操舵装置１４および制動装置１６の一方または両方の動作を制御する。
【００２７】
前記構成の車両走行支援装置１０の機能（キャリブレーション方法）について説明する。
【００２８】
まず、前方カメラ１１を通じて車両１の前方道路を含む前方画像（ディジタル画像）が取得される。第１演算処理要素１１０により前方画像に基づき、車両１の前方走行帯の左右を画定する前方レーンマークが抽出される（図３／ＳＴＥＰ００２）。具体的には前方画像に対してエッジ抽出処理が施されることによりエッジ画像が生成される。続いてエッジ画像に対してハフ変換処理が実行され、ハフ空間（ρ−θ空間）において標準的なレーンマークを画定する直線（線分）の存在領域に存在する線または線分が前方レーンマークとして抽出される。
【００２９】
画像の走査方向（たとえば右方向）について、前の画素と比較して輝度が閾値を超えて低下するような画素が負エッジ点として抽出される。前の画素と比較してその輝度が閾値を超えて上昇するような画素が正エッジ点として抽出される。左側レーンマークの右側の輪郭線に相当する負エッジ点を含む線分が、当該左側レーンマークとして抽出される。右側レーンマークの左側の輪郭線に相当する正エッジ点を含む線分が、当該右側レーンマークとして抽出される。これにより、たとえば図４に「×」で示されている複数のエッジ点を含む線分が左右それぞれの前方レーンマークとして認識される。異なる時刻に取得された複数の前方画像のそれぞれについてレーンマークが逐次抽出され、タイムスタンプ（基礎となった前方画像の撮像時刻）が付された上でメモリに逐次保存される。
【００３０】
同様に後方カメラ１２を通じて車両１の後方道路を含む後方画像（ディジタル画像）が取得される。また、第１演算処理要素１１０により後方画像に基づき、車両１の前方走行帯の左右を画定する後方レーンマークが抽出される（図３／ＳＴＥＰ００４）。異なる時刻に取得された複数の後方画像のそれぞれについてレーンマークが逐次抽出され、タイムスタンプ（基礎となった後方画像の撮像時刻）が付された上でメモリに逐次保存される。
さらに、第１演算処理要素１１０により前方レーンマークの位置および姿勢が認識される（図３／ＳＴＥＰ００６）。
【００３１】
具体的には、まず前方レーンマークを表わす線分が画像座標系から車両座標系に座標変換される。これにより、図４に示されている画像座標系（ｕ，ｖ）における前方レーンマークが、図５に示されているように車両１に対して固定された車両座標系（Ｘ，Ｙ，Ｚ）における線分として認識される。車両座標系は車両１の幅方向または左右方向をＸ方向とし、車両１の前後方向をＹ方向とし、かつ、車両１の上下方向をＺ方向として定義されている。車両１の中心または重心とＸ座標値およびＹ座標値を共通にし、かつ、路面とＺ座標値を共通にする点が車両座標系の原点Ｏとして定義されている。
【００３２】
前方カメラ１１の車両座標系におけるピッチ角度θ、パン角度φおよびロール角度ρならびに焦点距離ｆに基づき、関係式（１）にしたがって座標変換が実行される。
Ｘ＝(ｗ／ｆ){(ｕαｃｏｓρ＋ｖαｓｉｎρ)ｓｉｎφ＋ｃｏｓφ}，
Ｙ＝(ｗ／ｆ){−(ｕαｃｏｓρ＋ｖαｓｉｎρ)ｃｏｓφ＋ｓｉｎφ}，
Ｚ＝(ｗ／ｆ)(−ｕαｓｉｎρ＋ｖαｃｏｓρ)ｃｏｓθ＋ｗｓｉｎφ＝０‥（１）
ここで、αは画像座標系における各画素の大きさであり、ｗは(ｕ2＋ｖ2)1/2で表わされる。
【００３３】
そして、車両座標系における左側および右側のそれぞれの前方レーンマークの近似直線または近似曲線を表わす方程式Ｙ＝ＦＬ(Ｘ)およびＹ＝ＦＲ(Ｘ)が決定され、当該方程式が各前方レーンマークの位置および姿勢として認識される。
【００３４】
同様に、第１演算処理要素１１０により車両座標系における左側および右側のそれぞれの後方レーンマークの近似直線または近似曲線を表わす方程式Ｙ＝ＲＬ(Ｘ)およびＹ＝ＲＲ(Ｘ)が決定され、当該方程式が各後方レーンマークの位置および姿勢として認識される（図３／ＳＴＥＰ００８）。
【００３５】
続いて、第１演算処理要素１１０により、車両１の挙動状態、ならびに、第１時点ｔ１において撮像された前方画像に基づいて認識された前方レーンマークの位置および姿勢に基づき、第１時点ｔ１から時間δｔだけ後の第２時点ｔ２（＝ｔ１＋δｔ）において認識されると予測される後方レーンマークの位置および姿勢が推定される（図３／ＳＴＥＰ０１０）。
【００３６】
第１時点ｔ１において図５に実線で示されているような車両１の位置および姿勢は、第１時点ｔ１における車両１の挙動状態に応じて、第２時点ｔ２において図５には線で示されているような位置および姿勢に変化する。このような車両１の位置および姿勢の変化に鑑みて、車両座標系における同一のレーンマークの位置および姿勢の変化態様が予測される。具体的には、第１時点ｔ１における車速センサ１２２の出力信号に応じた車速Ｖ(ｔ)およびヨーレートセンサ１２６の出力信号に応じたヨーレートω(ｔ)が車両１の挙動状態として測定される。また、第１時点ｔ１から指定時間δｔだけ後の第２時点ｔ２までの車両１のＸ方向およびＹ方向のそれぞれの変位量δＸおよびδＹ、ならびに、方位角ξの変化量δξのそれぞれは、関係式（２）にしたがって算定される。車両１の変位量δＸおよびδＹの算定に際して、車速Ｖに加えて、加速度センサ１２４の出力信号に応じた車両１の加速度αが用いられてもよい。指定時間δｔは、車両１が前方レーンマークを後方に臨む程度に変位するために要する時間以上に設定され、車速Ｖまたは車速Ｖおよび加速度αに基づいて流動的に設定されうる。
δＸ＝∫ｄｔ・Ｖ(ｔ)ｃｏｓω(ｔ)，
δＸ＝∫ｄｔ・Ｖ(ｔ)ｓｉｎω(ｔ)，
δξ＝∫ｄｔ・ω(ｔ) ‥（２）
【００３７】
そして、当該変位量δＸおよびδＹならびに方位角変化量δξに基づき、第１時点ｔ１における車両座標系から第２時点ｔ２における車両座標系への座標変換式が決定される。さらに、第１時点ｔ１における各前方レーンマークの位置および姿勢を表わす方程式Ｙ＝ＦＬ(Ｘ，ｔ１)およびＹ＝ＦＲ(Ｘ，ｔ１)のそれぞれが、当該座標変換式にしたがって座標変換された結果の方程式Ｙ＝ＥＲＬ(Ｘ，ｔ２)およびＹ＝ＥＲＲ(Ｘ，ｔ２)が、第２時点ｔ２における各後方レーンマークの推定位置および推定姿勢として認識される。
【００３８】
次に、第２演算処理要素１２０により、第２時点ｔ２における後方レーンマークの推定位置および実際位置の位置偏差と、推定姿勢および実際姿勢の姿勢偏差とが認識される（図３／ＳＴＥＰ０１２）。
【００３９】
たとえば、左側の後方レーンマークの推定位置および推定姿勢を表わす式Ｙ＝ＥＲＬ(Ｘ，ｔ２)と、後方画像から抽出された左側の後方レーンマークの位置および姿勢を表わす式Ｙ＝ＲＲ(Ｘ，ｔ２)とのそれぞれが直線方程式である場合、Ｘ軸またはＹ軸の切片の偏差が位置偏差として算定され、傾きの偏差が姿勢偏差として認識される。
【００４０】
また、第２演算処理要素１２０により、第１状態における前方カメラ１の車両座標系における光軸姿勢と、後方レーンマークの位置偏差および姿勢偏差との関係、具体的には当該関係を表わす式が認識される（図３／ＳＴＥＰ０１４）。「第１状態」とは、車両１の出荷または検査直後等の状態であって、車両座標系における前方カメラ１１の光軸姿勢、すなわち、前方カメラ１１のピッチ角度θ、パン角度φおよびロール角度ρが判明している状態を意味する。
【００４１】
そして、第２状態における後方レーンマークの位置偏差および姿勢偏差に基づき、前記関係にしたがって、第２状態における前方カメラ１１の光軸姿勢が認識される（図３／ＳＴＥＰ０１６）。「第２状態」とは、前方カメラ１１が交換された状態または前方カメラ１１が取り外された上で再び同じ箇所に取り付けられた状態等、前方カメラ１１の光軸姿勢が第１状態から変化した可能性がある状態を意味する。
【００４２】
第２演算処理手段１２０により、前方カメラ１１が交換されたこと、または、車両１から取り外された上で再び車両１に取り付けられたことを表わす信号が検知されたことを要件として、車両１が第１状態から第２状態に変化したことが認識されてもよい。当該信号は前方カメラ１１の交換時に用いられるテスター等の器具から出力され、あるいは、車両１に設けられている所定のボタン（図示略）が操作されたことに応じて出力されてもよい。
【００４３】
第２状態における後方レーンマークの位置偏差および姿勢偏差は、前方カメラ１１の光軸姿勢が第１状態から変化していないという仮定にしたがって認識される。そして、第１状態と比較して、第２状態における後方レーンマークの位置偏差および姿勢偏差が相違する場合、当該相違を解消するように前記関係を表わす式が補正される。そして、第２状態における後方レーンマークの位置偏差および姿勢偏差に基づき、当該補正後の関係式にしたがって、第２状態における前方カメラ１１の光軸姿勢が認識される。
【００４４】
さらに、第２状態における前方カメラ１１の光軸姿勢に基づき、前方レーンマークの位置および姿勢が高精度で認識されうる（関係式（１）および図５参照）。そして、左右両側の前方レーンマークにより左右が画定される走行帯から車両１が逸脱しないように、操舵装置１４および制動装置１６の一方または両方の動作が制御される。前方カメラ１１の光軸姿勢を表わす各角度が指定範囲に収まっていることを要件として、当該制御が実行されてもよい。
【００４５】
なお、前方カメラ１１に代えて後方カメラ１２の第２状態における光軸姿勢が認識されてもよい。この場合、第２状態とは、後方カメラ１２が交換等されたことにより、車両座標系における後方カメラ１２の光軸姿勢が変化した可能性がある状態を意味する。
【００４６】
前記機能を発揮する車両走行支援装置１０によれば、前方カメラ１１を通じて得られた前方画像に基づいて前方レーンマークが抽出され、その位置および姿勢が認識される（図３／ＳＴＥＰ００２、ＳＴＥＰ００６、図５参照）。また、後方カメラ１２を通じて得られた後方画像に基づいて後方レーンマークが抽出され、その位置および姿勢が認識される（図３／ＳＴＥＰ００４、ＳＴＥＰ００８、図５参照）。さらに、第１状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。また、第２状態において撮像された前方画像および後方画像に基づいて認識された前方および後方レーンマークのそれぞれの位置および姿勢が認識される。そして、これらの認識結果に基づき、第２状態における前方カメラ１１の光軸姿勢が認識される（図３／ＳＴＥＰ０１６参照）。
【００４７】
この結果、レーンマークが存在する道路を車両１が走行している過程で、キャリブレーション用の特殊なパターン等が置かれている指定箇所に行く必要なく、前方カメラ１１のキャリブレーションが実行されうる。
【００４８】
なお、第１状態における後方レーンマークに対する前方レーンマークの相対位置および相対姿勢と、前方カメラ１１または後方カメラ１２の光軸姿勢との関係が認識された上で、第２状態における後方レーンマークに対する前方レーンマークの相対位置および相対姿勢と、当該関係とに基づき、第２状態における前方カメラ１１または後方カメラ１２の光軸姿勢が認識されてもよい。
【符号の説明】
【００４９】
１‥車両、１０‥車両走行支援装置（キャリブレーション装置）、１１‥前方カメラ、１２‥後方カメラ、１４‥操舵装置、１６‥制動装置
【特許請求の範囲】
【請求項１】
車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する装置であって、
前記前方撮像装置を通じて撮像された前記車両の前方道路を含む前方画像に基づき、前方道路に存在する前方レーンマークを抽出し、かつ、前記後方撮像装置を通じて撮像された前記車両の後方道路を含む後方画像に基づき、後方道路に存在する後方レーンマークを抽出した上で、前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢を認識する第１演算処理要素と、
前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識する第２演算処理要素と
を備えていることを特徴とするキャリブレーション装置。
【請求項２】
請求項１記載のキャリブレーション装置において、
前記第１演算処理要素が前記車両の走行状態と、第１時点における前記前方画像に基づいて認識した前記前方レーンマークの位置および姿勢とに基づき、前記第１時点より後の第２時点において前記前方レーンマークが前記後方レーンマークとして認識された場合における当該後方レーンマークの位置および姿勢を推定し、
前記第２演算処理要素が、前記第１状態において前記後方レーンマークの前記第２時点における推定位置および推定姿勢のそれぞれと、前記第２時点における前記後方画像に基づいて前記第１演算処理要素により認識された前記後方レーンマークの位置および姿勢のそれぞれとの偏差と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記偏差に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とするキャリブレーション装置。
【請求項３】
請求項１記載のキャリブレーション装置において、
前記第２演算処理要素が、前記第１状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とするキャリブレーション装置。
【請求項４】
請求項１〜３のうちいずれか１つに記載のキャリブレーション装置において、
前記第２演算処理要素が、前記前方撮像装置の光軸および前記後方撮像装置の光軸の相対的な姿勢関係の変化態様が指定条件を満たしているか否かを判定し、
前記第１演算処理要素が、前記第２演算処理手段により前記変化態様が前記指定条件を満たしていると判定されたことを要件として、前記前方レーンマークおよび前記後方レーンマークの一方または両方を抽出することを特徴とするキャリブレーション装置。
【請求項５】
請求項１〜４のうちいずれか１つに記載のキャリブレーション装置において、
前記第１演算処理要素が、前記第２演算処理要素により認識された前記前方撮像装置または前記後方撮像装置の光軸姿勢の変化態様に基づき、前記前方レーンマークまたは前記後方レーンマークの位置および姿勢を補正することを特徴とするキャリブレーション装置。
【請求項６】
請求項１〜５のうちいずれか１つに記載のキャリブレーション装置において、
前記第２演算処理手段が、前記前方撮像装置および前記後方撮像装置のうち一方が交換されたこと、または、前記車両に対する取り付け箇所から取り外された上で再び前記取り付け箇所に取り付けられたことを表わす信号を検知したことを要件として、前記車両が前記第１状態から前記第２状態に変化したことを認識することを特徴とするキャリブレーション装置。
【請求項７】
車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する方法であって、
前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とするキャリブレーション方法。
【請求項１】
車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する装置であって、
前記前方撮像装置を通じて撮像された前記車両の前方道路を含む前方画像に基づき、前方道路に存在する前方レーンマークを抽出し、かつ、前記後方撮像装置を通じて撮像された前記車両の後方道路を含む後方画像に基づき、後方道路に存在する後方レーンマークを抽出した上で、前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢を認識する第１演算処理要素と、
前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて前記第１演算処理要素により認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識する第２演算処理要素と
を備えていることを特徴とするキャリブレーション装置。
【請求項２】
請求項１記載のキャリブレーション装置において、
前記第１演算処理要素が前記車両の走行状態と、第１時点における前記前方画像に基づいて認識した前記前方レーンマークの位置および姿勢とに基づき、前記第１時点より後の第２時点において前記前方レーンマークが前記後方レーンマークとして認識された場合における当該後方レーンマークの位置および姿勢を推定し、
前記第２演算処理要素が、前記第１状態において前記後方レーンマークの前記第２時点における推定位置および推定姿勢のそれぞれと、前記第２時点における前記後方画像に基づいて前記第１演算処理要素により認識された前記後方レーンマークの位置および姿勢のそれぞれとの偏差と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記偏差に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とするキャリブレーション装置。
【請求項３】
請求項１記載のキャリブレーション装置において、
前記第２演算処理要素が、前記第１状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢と、前記前方撮像装置または前記後方撮像装置の光軸姿勢との関係を決定し、前記第２状態における前記前方レーンマークおよび前記後方レーンマークの相対位置および相対姿勢に基づき、前記関係にしたがって、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とするキャリブレーション装置。
【請求項４】
請求項１〜３のうちいずれか１つに記載のキャリブレーション装置において、
前記第２演算処理要素が、前記前方撮像装置の光軸および前記後方撮像装置の光軸の相対的な姿勢関係の変化態様が指定条件を満たしているか否かを判定し、
前記第１演算処理要素が、前記第２演算処理手段により前記変化態様が前記指定条件を満たしていると判定されたことを要件として、前記前方レーンマークおよび前記後方レーンマークの一方または両方を抽出することを特徴とするキャリブレーション装置。
【請求項５】
請求項１〜４のうちいずれか１つに記載のキャリブレーション装置において、
前記第１演算処理要素が、前記第２演算処理要素により認識された前記前方撮像装置または前記後方撮像装置の光軸姿勢の変化態様に基づき、前記前方レーンマークまたは前記後方レーンマークの位置および姿勢を補正することを特徴とするキャリブレーション装置。
【請求項６】
請求項１〜５のうちいずれか１つに記載のキャリブレーション装置において、
前記第２演算処理手段が、前記前方撮像装置および前記後方撮像装置のうち一方が交換されたこと、または、前記車両に対する取り付け箇所から取り外された上で再び前記取り付け箇所に取り付けられたことを表わす信号を検知したことを要件として、前記車両が前記第１状態から前記第２状態に変化したことを認識することを特徴とするキャリブレーション装置。
【請求項７】
車両に搭載されている、前記車両の前方範囲および後方範囲のそれぞれを撮像範囲とする前方撮像装置および後方撮像装置のうち一方のキャリブレーションを実行する方法であって、
前記前方撮像装置および前記後方撮像装置のそれぞれの光軸姿勢が判明している第１状態における、前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢と、前記第１状態と比較して前記前方撮像装置または前記後方撮像装置の光軸姿勢が変化している可能性がある第２状態における前記前方画像および前記後方画像に基づいて認識された前記前方レーンマークの位置および姿勢、ならびに、前記後方レーンマークの位置および姿勢とに基づき、前記第２状態における前記前方撮像装置または前記後方撮像装置の光軸姿勢を認識することを特徴とするキャリブレーション方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２２３６１９（Ｐ２０１０−２２３６１９Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−６８５８５（Ｐ２００９−６８５８５）
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]