車載カメラ姿勢検出装置
【課題】カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置を提供すること。
【解決手段】カメラ１０で撮影したキャリブレーションシート２００の移動前画像を格納する移動前画像格納部２０と、移動前画像に基づいてカメラ１０の姿勢を推定する移動前カメラ姿勢推定部２４と、車両を直線状に所定距離移動させた後に撮影した移動後画像を格納する移動後画像格納部２２と、移動後画像に基づいてカメラ１０の姿勢を推定する移動後カメラ姿勢推定部２６と、２つの推定結果に基づいてキャリブレーションシートのずれ量を算出するずれ量算出部３２と、カメラ１０の姿勢推定値とキャリブレーションシートのずれ量に基づいてカメラ１０の姿勢を決定するカメラ姿勢決定部３４と、車両の移動が直線状か否かを判定する直線移動判定部４６とを備えている。
【解決手段】カメラ１０で撮影したキャリブレーションシート２００の移動前画像を格納する移動前画像格納部２０と、移動前画像に基づいてカメラ１０の姿勢を推定する移動前カメラ姿勢推定部２４と、車両を直線状に所定距離移動させた後に撮影した移動後画像を格納する移動後画像格納部２２と、移動後画像に基づいてカメラ１０の姿勢を推定する移動後カメラ姿勢推定部２６と、２つの推定結果に基づいてキャリブレーションシートのずれ量を算出するずれ量算出部３２と、カメラ１０の姿勢推定値とキャリブレーションシートのずれ量に基づいてカメラ１０の姿勢を決定するカメラ姿勢決定部３４と、車両の移動が直線状か否かを判定する直線移動判定部４６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。
【０００３】
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３２６５号公報（第２−１１頁、図１−２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法では、キャリブレーションシートが所定位置に正確に配置されることが前提となっており、キャリブレーションシートの設置位置にずれがあると、カメラの姿勢（位置および角度）を正確に検出することができないという問題があった。例えば、車両後方であって、設置位置がリアバンパーの端部に接するようにキャリブレーションシートを配置し、これを車両後方に設置されたカメラで撮影するものとする。このようにキャリブレーションシートの位置が指定された場合であっても、リアバンパーは地面から離れた位置にあるため、その端部にキャリブレーションシートの位置を合わせることは難しい。キャリブレーションの左右位置についても同様であり、車両の中心とキャリブレーションシートの中心を正確に合わせることも容易ではない。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、移動前画像格納手段に格納された移動前画像に基づいてカメラの姿勢を推定する第１の姿勢推定手段と、車両を直線状に所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、移動後画像格納手段に格納された移動後画像に基づいてカメラの姿勢を推定する第２の姿勢推定手段と、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第１および第２のカメラ姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段と、移動前画像を取得してから移動後画像を取得するまでの車両の移動が直線状になされたか否かを判定する直線移動判定手段とを備えている。
【０００８】
車両を移動させる前後の画像に基づいてキャリブレーションシートの所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシートのずれによる影響を取り除くことができ、カメラの姿勢を正確に検出することが可能となる。また、車両の移動を直線状とすることにより、移動の前後でキャリブレーションシートを撮影した際に、キャリブレーションシートの回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。さらに、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。
【０００９】
また、上述したカメラによるレンズを通した撮影によって、中央に対して周辺が歪んだ画像が得られ、車両の移動の前後および中間位置に対応する複数箇所においてカメラの撮影によって得られた複数の画像に対して歪み補正を行う歪み補正手段をさらに備え、直線移動判定手段は、歪み補正手段によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定することが望ましい。具体的には、上述した直線移動判定手段は、歪み除去後の複数の画像について、キャリブレーションシートの同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定することが望ましい。歪み補正を行って歪みを除去した画像を用いることにより、車両の移動に連動する画像内の被写体（特徴点）の移動が直線状になるため、車両の移動が直線状になされたか否かの判定が容易となる。
【００１０】
また、上述した歪み補正手段によって歪み補正が行われた画像を、複数の特徴点とともに表示装置に表示する表示処理手段をさらに備えることが望ましい。特に、上述した表示処理手段によって表示装置に表示される画像には、複数の特徴点の中の両端を通る直線状の補助線が含まれていることが望ましい。これにより、車両を移動する運転者自身が画像を見ながら車両の移動が直線状か否かを簡単に確認することができる。
【００１１】
また、上述した直線移動判定手段は、車両の移動が直線状になされなかった旨の判定を行ったときに、車両の運転者に対して通知を行うことが望ましい。これにより、車両の移動が直線状でないことを確実に車両の運転者にわからせることができ、カメラ姿勢の決定に関する一連の動作のやり直しを促すことができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態の車載カメラ姿勢検出装置の構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションシートの具体例を示す図である。
【図４】カメラの姿勢を決定する概略的な動作手順を示す流れ図である。
【図５】３つのずれ量の関係を示す図である。
【図６】移動前カメラ姿勢推定部の詳細構成を示す図である。
【図７】座標変換の説明図である。
【図８】車両の移動と並行して行われる直線判定の動作手順を示す流れ図である。
【図９】歪み補正前後の画像の表示例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。
【００１４】
図１は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図１に示すように、本実施形態の車載カメラ姿勢検出装置１００は、カメラ１０、画像取込部１２、画像メモリ１４、移動前画像格納部２０、中間画像格納部２１、移動後画像格納部２２、移動前カメラ姿勢推定部２４、移動後カメラ姿勢推定部２６、移動距離算出部３０、ずれ量算出部３２、カメラ姿勢決定部３４、表示装置４０、表示処理部４２、歪み補正部４４、直線移動判定部４６、操作部５０を含んで構成されている。なお、この車載カメラ姿勢検出装置１００によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置１００の構成を他の装置に含ませるようにしてもよい。
【００１５】
カメラ１０は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。魚眼レンズ等を等して被写体を撮影することにより、中央に対して周辺が歪んだ画像が得られる。図２は、カメラ１０の具体的な設置例を示す図である。図２に示す例では、カメラ１０は、リアバンパーの中央に、水平から下向きに３０°の角度で取り付けられている。本実施形態では、このカメラ１０の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート２００が配置されている。
【００１６】
図３は、キャリブレーションシート２００の具体例を示す図である。図３に示すキャリブレーションシート２００は、校正指標（キャリブレーションマーク）としての１２個の小黒丸２１０、６個の大白丸２２０を含んでいる。大白丸２２０は、車両側から見て２列に、各列に３個が含まれるように配置されている。また、車両から遠い側の列を構成する３個の大白丸２２０のそれぞれには、２行２列に配置された４個の小黒丸２１０が含まれている。これらの小黒丸２１０や大白丸２２０は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心（円心）座標が求められて各種の演算に用いられる。
【００１７】
画像取込部１２は、カメラ１０によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ１４に一旦格納される。本実施形態では、キャリブレーションシート２００を車両後方の所定位置に配置した状態でカメラ１０で車両移動前の１回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ１０で車両移動後の２回目の撮影を行う。
【００１８】
移動前画像格納部２０は、車両の移動前に取り込んで画像メモリ１４に格納された画像を読み出して移動前画像として格納する。中間画像格納部２１は、車両の移動途中に取り込んで画像メモリ１４に格納された画像を読み出して中間画像として格納する。また、移動後画像格納部２２は、車両の移動後に取り込んで画像メモリ１４に格納された画像を読み出して移動後画像として格納する。
【００１９】
移動前カメラ姿勢推定部２４は、移動前画像格納部２０に格納された移動前画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。ここで、ｘ１はＸ座標値、ｙ１はＹ座標値、ｚ１はＺ座標値、ｒｖ１はピッチ角、ｒｈ１はヨー角、ｒｒ１はロール角である。また、キャリブレーションシート２００が配置された地面と平行な面に沿って、互いに直交するＸ方向とＹ方向が設定され、地面と垂直な向きにＺ方向が設定されている。
【００２０】
移動後カメラ姿勢推定部２６は、移動後画像格納部２２に格納された移動後画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。ｘ２等の意味は、ｘ１等の意味と同じである。
【００２１】
移動距離算出部３０は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離ｄを算出する。
【００２２】
ずれ量算出部３２は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、キャリブレーションシート２００の正規位置（製品設計時に想定した理想的な設計位置）からのずれ量を算出する。
【００２３】
カメラ姿勢決定部３４は、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６の少なくとも一方によって得られた推定値と、ずれ量算出部３２によって算出されたずれ量とに基づいて、カメラ１０の姿勢を決定する。
【００２４】
表示処理部４２は、車両を移動させる際に、カメラ１０で撮影された画像を表示装置４０に表示する。歪み補正部４４は、車両の移動の前後および中間位置に対応する複数箇所においてカメラ１０の撮影によって得られた複数の画像（移動前画像格納部２０、中間画像格納部２１、移動後画像格納部２２に格納されている移動前画像、中間画像、移動後画像）に対して歪み補正を行う。歪み補正後の画像上では、直線状に移動した車両の軌跡は直線となる。直線移動判定部４６は、歪み補正部４４によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定する。具体的には、直線移動判定部４６は、歪み除去後の複数の画像について、キャリブレーションシート２００の同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定する。
【００２５】
操作部５０は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部１２による移動前後および中間位置における画像の取り込みは、利用者が操作部５０を操作して行った取込指示に対応して行われる。
【００２６】
上述した移動前画像格納部２０が移動前画像格納手段に、移動後画像格納部２２が移動後画像格納手段に、移動前カメラ姿勢推定部２４が第１の姿勢推定手段に、移動後カメラ姿勢推定部２６が第２の姿勢推定手段に、ずれ量算出部３２がシートずれ量算出手段に、カメラ姿勢決定部３４がカメラ姿勢決定手段に、表示処理部４２が表示処理手段に、歪み補正部４４が歪み補正手段に、直線移動判定部４６が直線移動判定手段にそれぞれ対応する。
【００２７】
本実施形態の車載カメラ姿勢検出装置１００はこのような構成を有しており、次に、カメラ１０によってキャリブレーションシート２００を撮影して最終的にカメラ１０の姿勢を決定するまでの動作について説明する。
【００２８】
図４は、カメラ１０の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート２００を配置した状態で、カメラ１０による１回目の撮影が行われる（ステップ１００）。例えば、利用者が操作部５０を操作して１回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動前画像格納部２０は、画像メモリ１４から画像を読み出して移動前画像として格納する。
【００２９】
また、移動前カメラ姿勢推定部２４は、移動前画像格納部２０から移動前画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０２）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。
【００３０】
次に、車両を所定距離だけ移動させる（ステップ１０４）。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値（例えば２０ｃｍ）があるが、その近傍であれば理想値から多少ずれていても特に問題はない。なお、本実施形態では、車両の移動が直線状になされたか否かを判定（直線判定）し、直線状になされなかった場合には所定の通知が行われるが、これらの動作については後述する。
【００３１】
次に、カメラ１０による２回目の撮影が行われる（ステップ１０６）。例えば、利用者が操作部５０を操作して２回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動後画像格納部２２は、画像メモリ１４から画像を読み出して移動後画像として格納する。
【００３２】
また、移動後カメラ姿勢推定部２６は、移動後画像格納部２２から移動後画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０８）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。
【００３３】
次に、移動距離算出部３０は、ステップ１０２、１０８の推定動作によって得られた２つのカメラ位置に基づいて車両の移動距離ｄを算出する（ステップ１１０）。具体的には、移動距離算出部３０は、１回目の推定結果であるカメラ位置ｘ１，ｙ１と２回目の推定結果であるカメラ位置ｘ２，ｙ２を用いて、距離ｄを以下の式により算出する。
【００３４】
ｄ＝√（（ｘ１−ｘ２）2＋（ｙ１−ｙ２）2） …（１）
次に、ずれ量算出部３２は、キャリブレーションシート２００の設計位置からのずれ量Ｘ，Ｙ，Ｒを算出する（ステップ１１２）。ここで、ＸはＸ方向のずれ量、ＹはＹ方向のずれ量、Ｒは回転方向のずれ量である。図５は、３つのずれ量Ｘ，Ｙ，Ｒの関係を示す図である。図５において、Ａは設計位置に配置されたキャリブレーションシート２００内の一点を示しており、Ｂは実際に配置されたキャリブレーションシート２００内の対応点を示している。
【００３５】
車両を移動させる前にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動前の設計位置」と称する）をｘ，ｙとする。なお、ｚ方向の位置はキャリブレーションシート２００のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ１０の位置ｘ１，ｙ１と移動前の設計位置ｘ，ｙとの間には、
【００３６】
【数１】
【００３７】
の関係がある。
【００３８】
同様に、車両を移動させた後にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動後の設計位置」と称する）をｘ’，ｙ’とする。車両移動後に推定されたカメラ１０の位置ｘ２，ｙ２と移動後の設計位置ｘ’，ｙ’との間には、
【００３９】
【数２】
【００４０】
の関係がある。（２）式と（３）式を展開すると、
【００４１】
【数３】
【００４２】
となる。（４）式をキャリブレーションシート２００のずれ量（Ｘ，Ｙ，Ｒ）に着目して行列式で表すと、
【００４３】
【数４】
【００４４】
となる。この（５）式を変形すると以下の（６）式を得る。
【００４５】
【数５】
【００４６】
ところで、車両の移動をＹ方向に沿って行うものとすると、カメラ１０の移動前の設計位置ｘ，ｙと移動後の設計位置ｘ’，ｙ’との間には以下の関係がある。
【００４７】
ｘ’＝ｘ
ｙ’＝ｙ＋ｄ …（７）
すなわち、（６）式の右辺は全て既知の値であり、ずれ量算出部３２は（６）式を用いることでずれ量Ｘ，Ｙ，Ｒを算出することができる。
【００４８】
次に、カメラ姿勢決定部３４は、未知の値であるカメラ１０の角度ｒｖ（ピッチ角）、ｒｈ（ヨー角）、ｒｒ（ロール角）を算出する（ステップ１１４）。カメラ１０の実際の角度ｒｖ，ｒｈ，ｒｒと、推定値ｒｖ１，ｒｈ１，ｒｒ１と、キャリブレーションシート２００のずれ量Ｒとの関係は以下のように表すことができる。
【００４９】
Ｒｙ(Ｒ)・Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｘ(ｒｖ１)・Ｒｙ(ｒｒ１)・Ｒｚ(ｒｈ１) …（８）
ここで、Ｒｘ(ｒｖ)、Ｒｙ(ｒｈ)、Ｒｚ(ｒｒ)は、以下に示す回転行列である。
【００５０】
【数６】
【００５１】
（８）式を変形すると、以下のようになる。
【００５２】
Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｙ(−Ｒ)・Ｒｘ(ｒｖ１)・Ｒｙ(ｒｈ１)・Ｒｚ(ｒｒ１) …（１２）
（１２）式の右辺は全て既知の値なので、展開して以下のように置く。
【００５３】
【数７】
【００５４】
また、（１２）式の左辺を展開して（１３）式とともに解くと、以下のようになる。
【００５５】
【数８】
【００５６】
カメラ姿勢決定部３４は、このようにしてカメラ１０の角度ｒｖ，ｒｈ，ｒｒを算出する。
【００５７】
次に、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６は同じ構成を有しており、以下では移動前カメラ姿勢推定部２４の詳細について説明を行うものとする。
【００５８】
図６は、移動前カメラ姿勢推定部２４の詳細構成を示す図である。図６に示すように、移動前カメラ姿勢推定部２４は、校正指標中心位置検出部６０、校正指標座標記憶部６１、６３、座標変換部６２、構成指標間距離調整部６４、構成指標位置調整部６５、カメラ姿勢調整部６６とを含んで構成されている。
【００５９】
校正指標中心位置検出部６０は、移動前画像格納部２０に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート２００内の校正指標の中心位置を検出する。例えば、校正指標中心位置検出部６０は、キャリブレーションシート２００に含まれる校正指標としての１２個の小黒丸２１０を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部６１に保存する。なお、この中心位置の座標値は、カメラ１０の光軸Ｓに垂直に画像平面（Ｕ−Ｖ座標系）が設定された魚眼座標系によって表されたものである。
【００６０】
座標変換部６２は、各校正指標の中心座標値を、魚眼座標系から、地面をＸ−Ｙ平面、地面に垂直な向きをＺ方向とする基準座標系に変換し、校正指標座標記憶部６３に保存する。
【００６１】
図７は、座標変換の説明図である。図７において、Ｘ−Ｙ−Ｚは基準座標系を、Ｕ−Ｖ−Ｓは魚眼座標系をそれぞれ示している。また、図７において、ｘ１，ｙ１，ｚ１を魚眼座標系Ｕ−Ｖ−Ｓと基準座標系Ｘ−Ｙ−Ｚの原点間の距離、ｒｘ，ｒｙ，ｒｚを基準座標系Ｘ−Ｙ−Ｚに対するカメラ１０の各軸周りの回転量とすると、以下の式が成立する。但し、ｕ，ｖ，ｓは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からｍｍに変換するための係数である。
【００６２】
【数９】
【００６３】
図７（Ｂ）より、カメラ１０の光軸がＸ−Ｙ平面上のＰ点に向いているときのＸ軸周りの回転量はｒｖ（＝ｒｘ）、Ｙ軸周りの回転量はｒｈ（＝ｒｙ）、Ｚ軸周りの回転量はｒｒ（＝ｒｚ）である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
【００６４】
以後、校正指標間距離調整部６４、校正指標位置調整部６５、カメラ姿勢調整部６６は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにｒｖ，ｒｈ，ｒｒ，ｘ１，ｙ１，ｚ１を決定する。すなわち、最初に、校正指標間距離調整部６４およびカメラ姿勢調整部６６は、ｘ１，ｙ１，ｚ１を固定した状態でｒｖ，ｒｈ，ｒｒを変更しながら各校正指標間の中心座標値を（１５）式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるｒｖ，ｒｈ，ｒｒを求め、これらｒｖ，ｒｈ，ｒｒをカメラ角度として出力する。また、校正指標位置調整部６５およびカメラ姿勢調整部６６は、（１５）式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置（既知）と等しくなるｘ１，ｙ１，ｚ１を求め、カメラ位置として出力する。
【００６５】
具体的には、ｒｒを変更することにより校正指標の傾斜を調整することができ、ｒｈを変更することにより校正指標間の垂直方向の距離を調整することができ、ｒｖを変更することにより校正指標間の水平方向の距離を調整することができる。
【００６６】
したがって、最初、校正指標傾斜調整量決定部６４ａはｘ１，ｙ１，ｚ１を一定値（例えば０）としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角＝０となるようにｒｒを調整し、調整量Δｒｒをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｒ＝ｒｒ＋Δｒｒにより、新ｒｒを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部６４ａは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が０となるまで以上の処理を継続してｒｒの調整が行われる。
【００６７】
校正指標傾斜角度が０となるようにｒｒの調整が終了すれば、校正指標間距離算出部６４ｂは、各校正指標間のＸ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＸ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｈを調整し、調整量Δｒｈをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｈ＝ｒｈ＋Δｒｈより、新ｒｈを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＸ軸方向距離を計算し、各校正指標間のＸ軸方向距離が等しくなるまでｒｈの調整を行う。
【００６８】
ｒｈの調整が終了すれば、校正指標間距離算出部６４ｂは各校正指標間のＹ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＹ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｖを調整し、調整量Δｒｖをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６はｒｖ＝ｒｖ＋Δｒｖにより、新ｒｖを計算して座標変換部６２に入力する。これにより、座標変換部６２は（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＹ軸方向距離を計算し、各校正指標間のＹ軸方向の距離が等しくなるまでｒｖの調整を行う。
【００６９】
以上により、ｒｖ（＝ｒｖ１），ｒｈ（＝ｒｈ１），ｒｒ（＝ｒｒ１）の調整が完了すれば、校正指標間距離調整完了決定部６４ｄは取り付け角度調整完了信号ＤＡＪＥＤを出力する。
【００７０】
校正指標位置調整部６５は、取り付け角度調整完了信号ＤＡＪＥＤが発生すると、実際の校正指標中心位置（Ｘｓ，Ｙｓ）と等しくなるｘ１，ｙ１を（１５）式より求め、また、校正指標のサイズ（あるいは校正指標間距離）が実際の校正指標サイズ（あるいは校正指標間距離）と等しくなるようにｚ１を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部６６は、算出したカメラ角度ｒｖ１，ｒｈ１，ｒｒ１とカメラ位置ｘ１，ｙ１，ｚ１を、移動前カメラ姿勢推定部２４から出力する。
【００７１】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。また、車両の移動を直線状とすることにより、移動の前後でキャリブレーションシート２００を撮影した際に、キャリブレーションシート２００の回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。
【００７２】
また、車両を移動させる所定距離ｄは、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６によって得られた推定値に基づいて算出しているため車両の移動距離ｄを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００７３】
次に、車両を移動させる際に行われる直線判定とその結果の通知について説明する。図８は、車両の移動と並行して行われる直線判定の動作手順を示す流れ図である。１回目の撮影が終了して移動前画像が移動前画像格納部２０に格納（図４のステップ１００）された後、歪み補正部４４は、この移動前画像に対して歪み補正を行う（ステップ２００）。例えば、この歪み補正は、カメラ１０の光軸に垂直な平面に移動前画像を投影変換することにより行われる。歪み補正後の画像は、図示しない画像格納部に格納される（後述する中間画像および移動後画像に対応する歪み補正後の画像についても同様である）。
【００７４】
次に、中間画像の撮影および中間画像格納部２１への格納が行われる（ステップ２０２）。これらの動作は、移動前画像の撮影等と同じ手順で行われる。すなわち、車両を一旦停止させた後に利用者が操作部５０を操作して中間画像の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、中間画像格納部２１は、画像メモリ１４から画像を読み出して中間画像として格納する。また、歪み補正部４４は、この中間画像に対して歪み補正を行う（ステップ２０４）。
【００７５】
また、２回目の撮影が終了して移動後画像が移動後画像格納部２２に格納（図４のステップ１０６）された後、歪み補正部４４は、この移動後画像に対して歪み補正を行う（ステップ２０６）。
【００７６】
次に、直線移動判定部４６は、移動前画像、中間画像、移動後画像のそれぞれに対応する複数の歪み補正後の画像に含まれるキャリブレーションシート２００の対応箇所を特徴点として抽出する（ステップ２０８）。例えば、直線移動判定部４６は、図３に示したキャリブレーションシート２００に含まれる１２個の校正指標としての小黒丸２１０の中の３つの中央（円心）を特徴点として抽出する。また、表示処理部４２は、抽出した特徴点が含まれる歪み補正後の画像を表示装置４０の画面に表示する（ステップ２１０）。
【００７７】
図９は、歪み補正前後の画像の表示例を示す図である。図９（Ａ）には、移動前画像とその歪み補正後の画像が示されている。図９（Ｂ）には、中間画像とその歪み補正後の画像が示されている。図９（Ｃ）には、移動後画像とその歪み補正後の画像が示されている。ステップ２１０において表示される歪み補正後の画像は、移動前画像、中間画像、移動後画像のいずれに対応するものでもよいが、抽出した特徴点の表示を妨げないように考慮すると、移動後画像に対応するものが最も望ましい。車両の移動に伴って車両とキャリブレーションシート２００の間に路面のスペースが生じるからである。例えば、本実施形態では、図９（Ｃ）に示す歪み補正後の画像が表示されるものとする。この表示画像には、移動前画像に含まれるキャリブレーションシート２００の３つの校正指標の中心を示すマーカＭ１と、中間画像に含まれるキャリブレーションシート２００の３つの校正指標の中心を示すマーカＭ２と、移動後画像に含まれるキャリブレーションシート２００の３つの校正指標の中心を示すマーカＭ３と、同一位置に対応するマーカＭ１、Ｍ３を結ぶ補助線Ｈとが含まれている。各マーカＭ１、Ｍ２、Ｍ３は特徴点の位置を示すものであり、車両の移動が直線状である場合にはこれら３つのマーカＭ１、Ｍ２、Ｍ３は直線状に配置される。一方、車両の移動が直線状でない場合には、これら３つのマーカＭ１、Ｍ２、Ｍ３は直線状には配置されず、中央のマーカＭ２の位置が補助線Ｈからずれることになる。したがって、利用者（車両の運転者）は、この表示画像を見ることで、車両の移動が直線状か否かを自分で知ることができる。但し、補助線ＨからマーカＭ２がどの程度外れた場合に、車両が直線状に移動しなかったとするかは明確でない場合もあるため、本実施形態では、その判定を直線移動判定部４６によって行っている。
【００７８】
直線移動判定部４６は、車両の移動が直線状になされたか否かを判定する（ステップ２１２）。判定の手法自体は利用者自身が行うものと基本的に同じであり、補助線ＨとマーカＭ２との距離が所定値以下の場合に車両の移動が直線状であると判定され、基準値を超える場合には直線状ではないと判定される。直線状でない場合にはステップ２１２の判定で否定判断が行われ、次に、直線移動判定部４６は、車両の移動が直線状でない旨の通知を行う（ステップ２１４）。例えば、直線移動判定部４６は、表示処理部４２を介して表示装置４０に車両の移動のやり直しを促すメッセージを表示する。あるいは、ブザーやスピーカからブザー音やメッセージ音声を出力するようにしてもよい。この通知を受け取った車両の運転者は、車両の移動を再度実施する。なお、この場合は、移動前画像を撮影した位置に正確に車両を戻すことはできないため、図４に示す動作手順を最初から実施することになる。
【００７９】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。また、その判定に、歪み補正を行って歪みを除去した画像を用いることにより、車両の移動に連動する画像内の被写体（特徴点）の移動が直線状になるため、車両の移動が直線状になされたか否かの判定が容易となる。
【００８０】
また、車両の移動の前後と中間位置に対応する特徴点としてのマーカＭ１〜Ｍ３とその両端を通る直線状の補助線Ｈが含まれる歪み補正後の画像を表示することにより、車両を移動する運転者自身が画像を見ながら車両の移動が直線状か否かを簡単に確認することができる。また、車両の移動が直線状になされなかった旨の判定がなされたときに車両の運転者に対して通知を行うことにより、カメラ姿勢の決定に関する一連の動作のやり直しを促すことができる。
【００８１】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部２０および移動前カメラ姿勢推定部２４と、移動後画像格納部２２および移動後カメラ姿勢推定部２６とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
【００８２】
また、上述した実施形態では、車両後方を撮影するカメラ１０について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
【産業上の利用可能性】
【００８３】
上述したように、本発明によれば、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。また、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。
【符号の説明】
【００８４】
１０ カメラ
１２ 画像取込部
１４ 画像メモリ
２０ 移動前画像格納部
２１ 中間画像格納部
２２ 移動後画像格納部
２４ 移動前カメラ姿勢推定部
２６ 移動後カメラ姿勢推定部
３０ 移動距離算出部
３２ ずれ量算出部
３４ カメラ姿勢決定部
４０ 表示装置
４２ 表示処理部
４４ 歪み補正部
４６ 直線移動判定部
５０ 操作部
１００ 車載カメラ姿勢検出装置
２００ キャリブレーションシート
【技術分野】
【０００１】
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。
【０００３】
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３２６５号公報（第２−１１頁、図１−２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法では、キャリブレーションシートが所定位置に正確に配置されることが前提となっており、キャリブレーションシートの設置位置にずれがあると、カメラの姿勢（位置および角度）を正確に検出することができないという問題があった。例えば、車両後方であって、設置位置がリアバンパーの端部に接するようにキャリブレーションシートを配置し、これを車両後方に設置されたカメラで撮影するものとする。このようにキャリブレーションシートの位置が指定された場合であっても、リアバンパーは地面から離れた位置にあるため、その端部にキャリブレーションシートの位置を合わせることは難しい。キャリブレーションの左右位置についても同様であり、車両の中心とキャリブレーションシートの中心を正確に合わせることも容易ではない。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、移動前画像格納手段に格納された移動前画像に基づいてカメラの姿勢を推定する第１の姿勢推定手段と、車両を直線状に所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、移動後画像格納手段に格納された移動後画像に基づいてカメラの姿勢を推定する第２の姿勢推定手段と、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第１および第２のカメラ姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段と、移動前画像を取得してから移動後画像を取得するまでの車両の移動が直線状になされたか否かを判定する直線移動判定手段とを備えている。
【０００８】
車両を移動させる前後の画像に基づいてキャリブレーションシートの所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシートのずれによる影響を取り除くことができ、カメラの姿勢を正確に検出することが可能となる。また、車両の移動を直線状とすることにより、移動の前後でキャリブレーションシートを撮影した際に、キャリブレーションシートの回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。さらに、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。
【０００９】
また、上述したカメラによるレンズを通した撮影によって、中央に対して周辺が歪んだ画像が得られ、車両の移動の前後および中間位置に対応する複数箇所においてカメラの撮影によって得られた複数の画像に対して歪み補正を行う歪み補正手段をさらに備え、直線移動判定手段は、歪み補正手段によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定することが望ましい。具体的には、上述した直線移動判定手段は、歪み除去後の複数の画像について、キャリブレーションシートの同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定することが望ましい。歪み補正を行って歪みを除去した画像を用いることにより、車両の移動に連動する画像内の被写体（特徴点）の移動が直線状になるため、車両の移動が直線状になされたか否かの判定が容易となる。
【００１０】
また、上述した歪み補正手段によって歪み補正が行われた画像を、複数の特徴点とともに表示装置に表示する表示処理手段をさらに備えることが望ましい。特に、上述した表示処理手段によって表示装置に表示される画像には、複数の特徴点の中の両端を通る直線状の補助線が含まれていることが望ましい。これにより、車両を移動する運転者自身が画像を見ながら車両の移動が直線状か否かを簡単に確認することができる。
【００１１】
また、上述した直線移動判定手段は、車両の移動が直線状になされなかった旨の判定を行ったときに、車両の運転者に対して通知を行うことが望ましい。これにより、車両の移動が直線状でないことを確実に車両の運転者にわからせることができ、カメラ姿勢の決定に関する一連の動作のやり直しを促すことができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態の車載カメラ姿勢検出装置の構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションシートの具体例を示す図である。
【図４】カメラの姿勢を決定する概略的な動作手順を示す流れ図である。
【図５】３つのずれ量の関係を示す図である。
【図６】移動前カメラ姿勢推定部の詳細構成を示す図である。
【図７】座標変換の説明図である。
【図８】車両の移動と並行して行われる直線判定の動作手順を示す流れ図である。
【図９】歪み補正前後の画像の表示例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。
【００１４】
図１は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図１に示すように、本実施形態の車載カメラ姿勢検出装置１００は、カメラ１０、画像取込部１２、画像メモリ１４、移動前画像格納部２０、中間画像格納部２１、移動後画像格納部２２、移動前カメラ姿勢推定部２４、移動後カメラ姿勢推定部２６、移動距離算出部３０、ずれ量算出部３２、カメラ姿勢決定部３４、表示装置４０、表示処理部４２、歪み補正部４４、直線移動判定部４６、操作部５０を含んで構成されている。なお、この車載カメラ姿勢検出装置１００によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置１００の構成を他の装置に含ませるようにしてもよい。
【００１５】
カメラ１０は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。魚眼レンズ等を等して被写体を撮影することにより、中央に対して周辺が歪んだ画像が得られる。図２は、カメラ１０の具体的な設置例を示す図である。図２に示す例では、カメラ１０は、リアバンパーの中央に、水平から下向きに３０°の角度で取り付けられている。本実施形態では、このカメラ１０の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート２００が配置されている。
【００１６】
図３は、キャリブレーションシート２００の具体例を示す図である。図３に示すキャリブレーションシート２００は、校正指標（キャリブレーションマーク）としての１２個の小黒丸２１０、６個の大白丸２２０を含んでいる。大白丸２２０は、車両側から見て２列に、各列に３個が含まれるように配置されている。また、車両から遠い側の列を構成する３個の大白丸２２０のそれぞれには、２行２列に配置された４個の小黒丸２１０が含まれている。これらの小黒丸２１０や大白丸２２０は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心（円心）座標が求められて各種の演算に用いられる。
【００１７】
画像取込部１２は、カメラ１０によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ１４に一旦格納される。本実施形態では、キャリブレーションシート２００を車両後方の所定位置に配置した状態でカメラ１０で車両移動前の１回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ１０で車両移動後の２回目の撮影を行う。
【００１８】
移動前画像格納部２０は、車両の移動前に取り込んで画像メモリ１４に格納された画像を読み出して移動前画像として格納する。中間画像格納部２１は、車両の移動途中に取り込んで画像メモリ１４に格納された画像を読み出して中間画像として格納する。また、移動後画像格納部２２は、車両の移動後に取り込んで画像メモリ１４に格納された画像を読み出して移動後画像として格納する。
【００１９】
移動前カメラ姿勢推定部２４は、移動前画像格納部２０に格納された移動前画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。ここで、ｘ１はＸ座標値、ｙ１はＹ座標値、ｚ１はＺ座標値、ｒｖ１はピッチ角、ｒｈ１はヨー角、ｒｒ１はロール角である。また、キャリブレーションシート２００が配置された地面と平行な面に沿って、互いに直交するＸ方向とＹ方向が設定され、地面と垂直な向きにＺ方向が設定されている。
【００２０】
移動後カメラ姿勢推定部２６は、移動後画像格納部２２に格納された移動後画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。ｘ２等の意味は、ｘ１等の意味と同じである。
【００２１】
移動距離算出部３０は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離ｄを算出する。
【００２２】
ずれ量算出部３２は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、キャリブレーションシート２００の正規位置（製品設計時に想定した理想的な設計位置）からのずれ量を算出する。
【００２３】
カメラ姿勢決定部３４は、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６の少なくとも一方によって得られた推定値と、ずれ量算出部３２によって算出されたずれ量とに基づいて、カメラ１０の姿勢を決定する。
【００２４】
表示処理部４２は、車両を移動させる際に、カメラ１０で撮影された画像を表示装置４０に表示する。歪み補正部４４は、車両の移動の前後および中間位置に対応する複数箇所においてカメラ１０の撮影によって得られた複数の画像（移動前画像格納部２０、中間画像格納部２１、移動後画像格納部２２に格納されている移動前画像、中間画像、移動後画像）に対して歪み補正を行う。歪み補正後の画像上では、直線状に移動した車両の軌跡は直線となる。直線移動判定部４６は、歪み補正部４４によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定する。具体的には、直線移動判定部４６は、歪み除去後の複数の画像について、キャリブレーションシート２００の同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定する。
【００２５】
操作部５０は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部１２による移動前後および中間位置における画像の取り込みは、利用者が操作部５０を操作して行った取込指示に対応して行われる。
【００２６】
上述した移動前画像格納部２０が移動前画像格納手段に、移動後画像格納部２２が移動後画像格納手段に、移動前カメラ姿勢推定部２４が第１の姿勢推定手段に、移動後カメラ姿勢推定部２６が第２の姿勢推定手段に、ずれ量算出部３２がシートずれ量算出手段に、カメラ姿勢決定部３４がカメラ姿勢決定手段に、表示処理部４２が表示処理手段に、歪み補正部４４が歪み補正手段に、直線移動判定部４６が直線移動判定手段にそれぞれ対応する。
【００２７】
本実施形態の車載カメラ姿勢検出装置１００はこのような構成を有しており、次に、カメラ１０によってキャリブレーションシート２００を撮影して最終的にカメラ１０の姿勢を決定するまでの動作について説明する。
【００２８】
図４は、カメラ１０の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート２００を配置した状態で、カメラ１０による１回目の撮影が行われる（ステップ１００）。例えば、利用者が操作部５０を操作して１回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動前画像格納部２０は、画像メモリ１４から画像を読み出して移動前画像として格納する。
【００２９】
また、移動前カメラ姿勢推定部２４は、移動前画像格納部２０から移動前画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０２）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。
【００３０】
次に、車両を所定距離だけ移動させる（ステップ１０４）。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値（例えば２０ｃｍ）があるが、その近傍であれば理想値から多少ずれていても特に問題はない。なお、本実施形態では、車両の移動が直線状になされたか否かを判定（直線判定）し、直線状になされなかった場合には所定の通知が行われるが、これらの動作については後述する。
【００３１】
次に、カメラ１０による２回目の撮影が行われる（ステップ１０６）。例えば、利用者が操作部５０を操作して２回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動後画像格納部２２は、画像メモリ１４から画像を読み出して移動後画像として格納する。
【００３２】
また、移動後カメラ姿勢推定部２６は、移動後画像格納部２２から移動後画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０８）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。
【００３３】
次に、移動距離算出部３０は、ステップ１０２、１０８の推定動作によって得られた２つのカメラ位置に基づいて車両の移動距離ｄを算出する（ステップ１１０）。具体的には、移動距離算出部３０は、１回目の推定結果であるカメラ位置ｘ１，ｙ１と２回目の推定結果であるカメラ位置ｘ２，ｙ２を用いて、距離ｄを以下の式により算出する。
【００３４】
ｄ＝√（（ｘ１−ｘ２）2＋（ｙ１−ｙ２）2） …（１）
次に、ずれ量算出部３２は、キャリブレーションシート２００の設計位置からのずれ量Ｘ，Ｙ，Ｒを算出する（ステップ１１２）。ここで、ＸはＸ方向のずれ量、ＹはＹ方向のずれ量、Ｒは回転方向のずれ量である。図５は、３つのずれ量Ｘ，Ｙ，Ｒの関係を示す図である。図５において、Ａは設計位置に配置されたキャリブレーションシート２００内の一点を示しており、Ｂは実際に配置されたキャリブレーションシート２００内の対応点を示している。
【００３５】
車両を移動させる前にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動前の設計位置」と称する）をｘ，ｙとする。なお、ｚ方向の位置はキャリブレーションシート２００のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ１０の位置ｘ１，ｙ１と移動前の設計位置ｘ，ｙとの間には、
【００３６】
【数１】
【００３７】
の関係がある。
【００３８】
同様に、車両を移動させた後にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動後の設計位置」と称する）をｘ’，ｙ’とする。車両移動後に推定されたカメラ１０の位置ｘ２，ｙ２と移動後の設計位置ｘ’，ｙ’との間には、
【００３９】
【数２】
【００４０】
の関係がある。（２）式と（３）式を展開すると、
【００４１】
【数３】
【００４２】
となる。（４）式をキャリブレーションシート２００のずれ量（Ｘ，Ｙ，Ｒ）に着目して行列式で表すと、
【００４３】
【数４】
【００４４】
となる。この（５）式を変形すると以下の（６）式を得る。
【００４５】
【数５】
【００４６】
ところで、車両の移動をＹ方向に沿って行うものとすると、カメラ１０の移動前の設計位置ｘ，ｙと移動後の設計位置ｘ’，ｙ’との間には以下の関係がある。
【００４７】
ｘ’＝ｘ
ｙ’＝ｙ＋ｄ …（７）
すなわち、（６）式の右辺は全て既知の値であり、ずれ量算出部３２は（６）式を用いることでずれ量Ｘ，Ｙ，Ｒを算出することができる。
【００４８】
次に、カメラ姿勢決定部３４は、未知の値であるカメラ１０の角度ｒｖ（ピッチ角）、ｒｈ（ヨー角）、ｒｒ（ロール角）を算出する（ステップ１１４）。カメラ１０の実際の角度ｒｖ，ｒｈ，ｒｒと、推定値ｒｖ１，ｒｈ１，ｒｒ１と、キャリブレーションシート２００のずれ量Ｒとの関係は以下のように表すことができる。
【００４９】
Ｒｙ(Ｒ)・Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｘ(ｒｖ１)・Ｒｙ(ｒｒ１)・Ｒｚ(ｒｈ１) …（８）
ここで、Ｒｘ(ｒｖ)、Ｒｙ(ｒｈ)、Ｒｚ(ｒｒ)は、以下に示す回転行列である。
【００５０】
【数６】
【００５１】
（８）式を変形すると、以下のようになる。
【００５２】
Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｙ(−Ｒ)・Ｒｘ(ｒｖ１)・Ｒｙ(ｒｈ１)・Ｒｚ(ｒｒ１) …（１２）
（１２）式の右辺は全て既知の値なので、展開して以下のように置く。
【００５３】
【数７】
【００５４】
また、（１２）式の左辺を展開して（１３）式とともに解くと、以下のようになる。
【００５５】
【数８】
【００５６】
カメラ姿勢決定部３４は、このようにしてカメラ１０の角度ｒｖ，ｒｈ，ｒｒを算出する。
【００５７】
次に、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６は同じ構成を有しており、以下では移動前カメラ姿勢推定部２４の詳細について説明を行うものとする。
【００５８】
図６は、移動前カメラ姿勢推定部２４の詳細構成を示す図である。図６に示すように、移動前カメラ姿勢推定部２４は、校正指標中心位置検出部６０、校正指標座標記憶部６１、６３、座標変換部６２、構成指標間距離調整部６４、構成指標位置調整部６５、カメラ姿勢調整部６６とを含んで構成されている。
【００５９】
校正指標中心位置検出部６０は、移動前画像格納部２０に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート２００内の校正指標の中心位置を検出する。例えば、校正指標中心位置検出部６０は、キャリブレーションシート２００に含まれる校正指標としての１２個の小黒丸２１０を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部６１に保存する。なお、この中心位置の座標値は、カメラ１０の光軸Ｓに垂直に画像平面（Ｕ−Ｖ座標系）が設定された魚眼座標系によって表されたものである。
【００６０】
座標変換部６２は、各校正指標の中心座標値を、魚眼座標系から、地面をＸ−Ｙ平面、地面に垂直な向きをＺ方向とする基準座標系に変換し、校正指標座標記憶部６３に保存する。
【００６１】
図７は、座標変換の説明図である。図７において、Ｘ−Ｙ−Ｚは基準座標系を、Ｕ−Ｖ−Ｓは魚眼座標系をそれぞれ示している。また、図７において、ｘ１，ｙ１，ｚ１を魚眼座標系Ｕ−Ｖ−Ｓと基準座標系Ｘ−Ｙ−Ｚの原点間の距離、ｒｘ，ｒｙ，ｒｚを基準座標系Ｘ−Ｙ−Ｚに対するカメラ１０の各軸周りの回転量とすると、以下の式が成立する。但し、ｕ，ｖ，ｓは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からｍｍに変換するための係数である。
【００６２】
【数９】
【００６３】
図７（Ｂ）より、カメラ１０の光軸がＸ−Ｙ平面上のＰ点に向いているときのＸ軸周りの回転量はｒｖ（＝ｒｘ）、Ｙ軸周りの回転量はｒｈ（＝ｒｙ）、Ｚ軸周りの回転量はｒｒ（＝ｒｚ）である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
【００６４】
以後、校正指標間距離調整部６４、校正指標位置調整部６５、カメラ姿勢調整部６６は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにｒｖ，ｒｈ，ｒｒ，ｘ１，ｙ１，ｚ１を決定する。すなわち、最初に、校正指標間距離調整部６４およびカメラ姿勢調整部６６は、ｘ１，ｙ１，ｚ１を固定した状態でｒｖ，ｒｈ，ｒｒを変更しながら各校正指標間の中心座標値を（１５）式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるｒｖ，ｒｈ，ｒｒを求め、これらｒｖ，ｒｈ，ｒｒをカメラ角度として出力する。また、校正指標位置調整部６５およびカメラ姿勢調整部６６は、（１５）式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置（既知）と等しくなるｘ１，ｙ１，ｚ１を求め、カメラ位置として出力する。
【００６５】
具体的には、ｒｒを変更することにより校正指標の傾斜を調整することができ、ｒｈを変更することにより校正指標間の垂直方向の距離を調整することができ、ｒｖを変更することにより校正指標間の水平方向の距離を調整することができる。
【００６６】
したがって、最初、校正指標傾斜調整量決定部６４ａはｘ１，ｙ１，ｚ１を一定値（例えば０）としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角＝０となるようにｒｒを調整し、調整量Δｒｒをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｒ＝ｒｒ＋Δｒｒにより、新ｒｒを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部６４ａは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が０となるまで以上の処理を継続してｒｒの調整が行われる。
【００６７】
校正指標傾斜角度が０となるようにｒｒの調整が終了すれば、校正指標間距離算出部６４ｂは、各校正指標間のＸ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＸ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｈを調整し、調整量Δｒｈをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｈ＝ｒｈ＋Δｒｈより、新ｒｈを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＸ軸方向距離を計算し、各校正指標間のＸ軸方向距離が等しくなるまでｒｈの調整を行う。
【００６８】
ｒｈの調整が終了すれば、校正指標間距離算出部６４ｂは各校正指標間のＹ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＹ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｖを調整し、調整量Δｒｖをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６はｒｖ＝ｒｖ＋Δｒｖにより、新ｒｖを計算して座標変換部６２に入力する。これにより、座標変換部６２は（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＹ軸方向距離を計算し、各校正指標間のＹ軸方向の距離が等しくなるまでｒｖの調整を行う。
【００６９】
以上により、ｒｖ（＝ｒｖ１），ｒｈ（＝ｒｈ１），ｒｒ（＝ｒｒ１）の調整が完了すれば、校正指標間距離調整完了決定部６４ｄは取り付け角度調整完了信号ＤＡＪＥＤを出力する。
【００７０】
校正指標位置調整部６５は、取り付け角度調整完了信号ＤＡＪＥＤが発生すると、実際の校正指標中心位置（Ｘｓ，Ｙｓ）と等しくなるｘ１，ｙ１を（１５）式より求め、また、校正指標のサイズ（あるいは校正指標間距離）が実際の校正指標サイズ（あるいは校正指標間距離）と等しくなるようにｚ１を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部６６は、算出したカメラ角度ｒｖ１，ｒｈ１，ｒｒ１とカメラ位置ｘ１，ｙ１，ｚ１を、移動前カメラ姿勢推定部２４から出力する。
【００７１】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。また、車両の移動を直線状とすることにより、移動の前後でキャリブレーションシート２００を撮影した際に、キャリブレーションシート２００の回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。
【００７２】
また、車両を移動させる所定距離ｄは、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６によって得られた推定値に基づいて算出しているため車両の移動距離ｄを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００７３】
次に、車両を移動させる際に行われる直線判定とその結果の通知について説明する。図８は、車両の移動と並行して行われる直線判定の動作手順を示す流れ図である。１回目の撮影が終了して移動前画像が移動前画像格納部２０に格納（図４のステップ１００）された後、歪み補正部４４は、この移動前画像に対して歪み補正を行う（ステップ２００）。例えば、この歪み補正は、カメラ１０の光軸に垂直な平面に移動前画像を投影変換することにより行われる。歪み補正後の画像は、図示しない画像格納部に格納される（後述する中間画像および移動後画像に対応する歪み補正後の画像についても同様である）。
【００７４】
次に、中間画像の撮影および中間画像格納部２１への格納が行われる（ステップ２０２）。これらの動作は、移動前画像の撮影等と同じ手順で行われる。すなわち、車両を一旦停止させた後に利用者が操作部５０を操作して中間画像の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、中間画像格納部２１は、画像メモリ１４から画像を読み出して中間画像として格納する。また、歪み補正部４４は、この中間画像に対して歪み補正を行う（ステップ２０４）。
【００７５】
また、２回目の撮影が終了して移動後画像が移動後画像格納部２２に格納（図４のステップ１０６）された後、歪み補正部４４は、この移動後画像に対して歪み補正を行う（ステップ２０６）。
【００７６】
次に、直線移動判定部４６は、移動前画像、中間画像、移動後画像のそれぞれに対応する複数の歪み補正後の画像に含まれるキャリブレーションシート２００の対応箇所を特徴点として抽出する（ステップ２０８）。例えば、直線移動判定部４６は、図３に示したキャリブレーションシート２００に含まれる１２個の校正指標としての小黒丸２１０の中の３つの中央（円心）を特徴点として抽出する。また、表示処理部４２は、抽出した特徴点が含まれる歪み補正後の画像を表示装置４０の画面に表示する（ステップ２１０）。
【００７７】
図９は、歪み補正前後の画像の表示例を示す図である。図９（Ａ）には、移動前画像とその歪み補正後の画像が示されている。図９（Ｂ）には、中間画像とその歪み補正後の画像が示されている。図９（Ｃ）には、移動後画像とその歪み補正後の画像が示されている。ステップ２１０において表示される歪み補正後の画像は、移動前画像、中間画像、移動後画像のいずれに対応するものでもよいが、抽出した特徴点の表示を妨げないように考慮すると、移動後画像に対応するものが最も望ましい。車両の移動に伴って車両とキャリブレーションシート２００の間に路面のスペースが生じるからである。例えば、本実施形態では、図９（Ｃ）に示す歪み補正後の画像が表示されるものとする。この表示画像には、移動前画像に含まれるキャリブレーションシート２００の３つの校正指標の中心を示すマーカＭ１と、中間画像に含まれるキャリブレーションシート２００の３つの校正指標の中心を示すマーカＭ２と、移動後画像に含まれるキャリブレーションシート２００の３つの校正指標の中心を示すマーカＭ３と、同一位置に対応するマーカＭ１、Ｍ３を結ぶ補助線Ｈとが含まれている。各マーカＭ１、Ｍ２、Ｍ３は特徴点の位置を示すものであり、車両の移動が直線状である場合にはこれら３つのマーカＭ１、Ｍ２、Ｍ３は直線状に配置される。一方、車両の移動が直線状でない場合には、これら３つのマーカＭ１、Ｍ２、Ｍ３は直線状には配置されず、中央のマーカＭ２の位置が補助線Ｈからずれることになる。したがって、利用者（車両の運転者）は、この表示画像を見ることで、車両の移動が直線状か否かを自分で知ることができる。但し、補助線ＨからマーカＭ２がどの程度外れた場合に、車両が直線状に移動しなかったとするかは明確でない場合もあるため、本実施形態では、その判定を直線移動判定部４６によって行っている。
【００７８】
直線移動判定部４６は、車両の移動が直線状になされたか否かを判定する（ステップ２１２）。判定の手法自体は利用者自身が行うものと基本的に同じであり、補助線ＨとマーカＭ２との距離が所定値以下の場合に車両の移動が直線状であると判定され、基準値を超える場合には直線状ではないと判定される。直線状でない場合にはステップ２１２の判定で否定判断が行われ、次に、直線移動判定部４６は、車両の移動が直線状でない旨の通知を行う（ステップ２１４）。例えば、直線移動判定部４６は、表示処理部４２を介して表示装置４０に車両の移動のやり直しを促すメッセージを表示する。あるいは、ブザーやスピーカからブザー音やメッセージ音声を出力するようにしてもよい。この通知を受け取った車両の運転者は、車両の移動を再度実施する。なお、この場合は、移動前画像を撮影した位置に正確に車両を戻すことはできないため、図４に示す動作手順を最初から実施することになる。
【００７９】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。また、その判定に、歪み補正を行って歪みを除去した画像を用いることにより、車両の移動に連動する画像内の被写体（特徴点）の移動が直線状になるため、車両の移動が直線状になされたか否かの判定が容易となる。
【００８０】
また、車両の移動の前後と中間位置に対応する特徴点としてのマーカＭ１〜Ｍ３とその両端を通る直線状の補助線Ｈが含まれる歪み補正後の画像を表示することにより、車両を移動する運転者自身が画像を見ながら車両の移動が直線状か否かを簡単に確認することができる。また、車両の移動が直線状になされなかった旨の判定がなされたときに車両の運転者に対して通知を行うことにより、カメラ姿勢の決定に関する一連の動作のやり直しを促すことができる。
【００８１】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部２０および移動前カメラ姿勢推定部２４と、移動後画像格納部２２および移動後カメラ姿勢推定部２６とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
【００８２】
また、上述した実施形態では、車両後方を撮影するカメラ１０について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
【産業上の利用可能性】
【００８３】
上述したように、本発明によれば、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。また、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。
【符号の説明】
【００８４】
１０ カメラ
１２ 画像取込部
１４ 画像メモリ
２０ 移動前画像格納部
２１ 中間画像格納部
２２ 移動後画像格納部
２４ 移動前カメラ姿勢推定部
２６ 移動後カメラ姿勢推定部
３０ 移動距離算出部
３２ ずれ量算出部
３４ カメラ姿勢決定部
４０ 表示装置
４２ 表示処理部
４４ 歪み補正部
４６ 直線移動判定部
５０ 操作部
１００ 車載カメラ姿勢検出装置
２００ キャリブレーションシート
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、
前記移動前画像格納手段に格納された移動前画像に基づいて前記カメラの姿勢を推定する第１の姿勢推定手段と、
車両を直線状に所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、
前記移動後画像格納手段に格納された移動後画像に基づいて前記カメラの姿勢を推定する第２の姿勢推定手段と、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第１および第２のカメラ姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
前記移動前画像を取得してから前記移動後画像を取得するまでの車両の移動が直線状になされたか否かを判定する直線移動判定手段と、
を備えることを特徴とする車載カメラ姿勢検出装置。
【請求項２】
請求項１において、
前記カメラによるレンズを通した撮影によって、中央に対して周辺が歪んだ画像が得られ、
車両の移動の前後および中間位置に対応する複数箇所において前記カメラの撮影によって得られた複数の画像に対して歪み補正を行う歪み補正手段をさらに備え、
前記直線移動判定手段は、前記歪み補正手段によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定することを特徴とする車載カメラ姿勢検出装置。
【請求項３】
請求項２において、
前記直線移動判定手段は、歪み除去後の前記複数の画像について、前記キャリブレーションシートの同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定することを特徴とする車載カメラ姿勢検出装置。
【請求項４】
請求項３において、
前記歪み補正手段によって歪み補正が行われた画像を、前記複数の特徴点とともに表示装置に表示する表示処理手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項５】
請求項４において、
前記表示処理手段によって前記表示装置に表示される画像には、前記複数の特徴点の中の両端を通る直線状の補助線が含まれていることを特徴とする車載カメラ姿勢検出装置。
【請求項６】
請求項１〜５のいずれかにおいて、
前記直線移動判定手段は、車両の移動が直線状になされなかった旨の判定を行ったときに、車両の運転者に対して通知を行うことを特徴とする車載カメラ姿勢検出装置。
【請求項１】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、
前記移動前画像格納手段に格納された移動前画像に基づいて前記カメラの姿勢を推定する第１の姿勢推定手段と、
車両を直線状に所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、
前記移動後画像格納手段に格納された移動後画像に基づいて前記カメラの姿勢を推定する第２の姿勢推定手段と、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第１および第２のカメラ姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
前記移動前画像を取得してから前記移動後画像を取得するまでの車両の移動が直線状になされたか否かを判定する直線移動判定手段と、
を備えることを特徴とする車載カメラ姿勢検出装置。
【請求項２】
請求項１において、
前記カメラによるレンズを通した撮影によって、中央に対して周辺が歪んだ画像が得られ、
車両の移動の前後および中間位置に対応する複数箇所において前記カメラの撮影によって得られた複数の画像に対して歪み補正を行う歪み補正手段をさらに備え、
前記直線移動判定手段は、前記歪み補正手段によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定することを特徴とする車載カメラ姿勢検出装置。
【請求項３】
請求項２において、
前記直線移動判定手段は、歪み除去後の前記複数の画像について、前記キャリブレーションシートの同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定することを特徴とする車載カメラ姿勢検出装置。
【請求項４】
請求項３において、
前記歪み補正手段によって歪み補正が行われた画像を、前記複数の特徴点とともに表示装置に表示する表示処理手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項５】
請求項４において、
前記表示処理手段によって前記表示装置に表示される画像には、前記複数の特徴点の中の両端を通る直線状の補助線が含まれていることを特徴とする車載カメラ姿勢検出装置。
【請求項６】
請求項１〜５のいずれかにおいて、
前記直線移動判定手段は、車両の移動が直線状になされなかった旨の判定を行ったときに、車両の運転者に対して通知を行うことを特徴とする車載カメラ姿勢検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５０３２（Ｐ２０１３−５０３２Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１３３７（Ｐ２０１１−１３１３３７）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]