車載カメラ姿勢検出装置および方法
【課題】カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置および方法を提供すること。
【解決手段】カメラ１０で撮影されたキャリブレーションシート２００の画像を移動前画像として格納する移動前画像格納部２０と、移動前画像に基づいてカメラ１０の姿勢を推定する移動前カメラ姿勢推定部２４と、車両を所定距離移動させた後に撮影したキャリブレーションシートの画像を移動後画像として格納する移動後画像格納部２２と、移動後画像に基づいてカメラ１０の姿勢を推定する移動後カメラ姿勢推定部２６と、２つの推定結果に基づいてキャリブレーションシートのずれ量を算出するずれ量算出部３２と、カメラ１０の姿勢推定値とキャリブレーションシートのずれ量に基づいてカメラ１０の姿勢を決定するカメラ姿勢決定部３４とを備えている。
【解決手段】カメラ１０で撮影されたキャリブレーションシート２００の画像を移動前画像として格納する移動前画像格納部２０と、移動前画像に基づいてカメラ１０の姿勢を推定する移動前カメラ姿勢推定部２４と、車両を所定距離移動させた後に撮影したキャリブレーションシートの画像を移動後画像として格納する移動後画像格納部２２と、移動後画像に基づいてカメラ１０の姿勢を推定する移動後カメラ姿勢推定部２６と、２つの推定結果に基づいてキャリブレーションシートのずれ量を算出するずれ量算出部３２と、カメラ１０の姿勢推定値とキャリブレーションシートのずれ量に基づいてカメラ１０の姿勢を決定するカメラ姿勢決定部３４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置および方法に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。
【０００３】
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３２６５号公報（第２−１１頁、図１−２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法では、キャリブレーションシートが所定位置に正確に配置されることが前提となっており、キャリブレーションシートの設置位置にずれがあると、カメラの姿勢（位置および角度）を正確に検出することができないという問題があった。例えば、車両後方であって、設置位置がリアバンパーの端部に接するようにキャリブレーションシートを配置し、これを車両後方に設置されたカメラで撮影するものとする。このようにキャリブレーションシートの位置が指定された場合であっても、リアバンパーは地面から離れた位置にあるため、その端部にキャリブレーションシートの位置を合わせることは難しい。キャリブレーションの左右位置についても同様であり、車両の中心とキャリブレーションシートの中心を正確に合わせることも容易ではない。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置および方法を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、移動前画像格納手段に格納された移動前画像に基づいてカメラの姿勢を推定する第１の姿勢推定手段と、車両を所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、移動後画像格納手段に格納された移動後画像に基づいてカメラの姿勢を推定する第２の姿勢推定手段と、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段とを備えている。
【０００８】
また、本発明の車載カメラ姿勢検出方法は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出方法であって、カメラで撮影されたキャリブレーションシートの画像に基づいてカメラの姿勢を第１の姿勢推定手段によって推定し、車両を所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像に基づいてカメラの姿勢を第２の姿勢推定手段によって推定し、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量をシートずれ量算出手段によって算出し、第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢をカメラ姿勢決定手段によって決定する。
【０００９】
車両を移動させる前後の画像に基づいてキャリブレーションシートの所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシートのずれによる影響を取り除くことができ、カメラの姿勢を正確に検出することが可能となる。
【００１０】
また、上述した車両を移動させる所定距離は、第１および第２の姿勢推定手段によって得られた姿勢推定値に基づいて算出することが望ましい。これにより、車両の移動距離を正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００１１】
また、上述したシートずれ量算出手段は、カメラが設計位置に設置されている場合を想定し、カメラの設計位置と、第１および第２の姿勢推定手段による推定結果と、キャリブレーションシートの所定位置からのずれ量との関係に基づいて、ずれ量の算出を行うことが望ましい。この関係において、カメラの設計位置と姿勢推定値が既知の値となるため、残りのずれ量を計算で求めることが可能となる。
【００１２】
また、上述したカメラ姿勢決定手段は、第１および第２の姿勢推定手段によって推定されたカメラ角度と、実際のカメラ角度と、シートずれ量算出手段によって算出されたキャリブレーションシートの回転方向のずれ量との関係に基づいて、実際のカメラ角度を決定することが望ましい。この関係において、推定されたカメラ角度とキャリブレーションシートの回転方向のずれ量とが既知の値となるため、残りの実際のカメラ角度を計算で求めることが可能となる。
【００１３】
また、上述したカメラ姿勢決定手段は、第１の姿勢推定手段によって推定された姿勢推定値を用いてカメラの姿勢を決定することが望ましい。車両に近い位置に配置されたキャリブレーションシートを用いて推定された値を用いることにより、カメラの姿勢を決定する際の誤差を少なくすることができる。
【００１４】
また、上述した車両の移動は直線状に行われることが望ましい。これにより、移動の前後でキャリブレーションシートを撮影した際に、キャリブレーションシートの回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。
【００１５】
また、上述した車両の所定距離の移動の有無を確認可能な確認用画像を表示装置に表示する表示処理手段をさらに備えることが望ましい。これにより、車両の運転者は確認用画像を見ながら車両を移動させることができるため、車両を所定距離だけ移動させることが容易となる。
【００１６】
また、上述した確認用画像には、車両の移動とともに確認用画像内で移動する目印マークと確認用画像内で表示位置が固定された補助線とが含まれており、車両の所定距離の移動が終了するタイミングで、目印マークが補助線を超えるように表示が行われることが望ましい。あるいは、上述したカメラによって撮影された画像に基づいて、車両の所定距離の移動が終了したか否かを判定し、移動が終了したときに所定の通知を行う移動終了判定手段をさらに備えることが望ましい。これにより、車両を所定距離移動させたことを確実に車両の運転者に知らせることができ、車両の移動距離が必要以上に長くなることを防止することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の車載カメラ姿勢検出装置の構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションシートの具体例を示す図である。
【図４】カメラの姿勢を決定する概略的な動作手順を示す流れ図である。
【図５】３つのずれ量の関係を示す図である。
【図６】移動前カメラ姿勢推定部の詳細構成を示す図である。
【図７】座標変換の説明図である。
【図８】車両を所定距離移動させた際に通知を行う変形例の動作手順を示す流れ図である。
【図９】車両移動の前後で表示される確認用画像の具体例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。
【００１９】
図１は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図１に示すように、本実施形態の車載カメラ姿勢検出装置１００は、カメラ１０、画像取込部１２、画像メモリ１４、移動前画像格納部２０、移動後画像格納部２２、移動前カメラ姿勢推定部２４、移動後カメラ姿勢推定部２６、移動距離算出部３０、ずれ量算出部３２、カメラ姿勢決定部３４、表示装置４０、表示処理部４２、補助線作成部４４、移動終了判定部４６、操作部５０を含んで構成されている。なお、この車載カメラ姿勢検出装置１００によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置１００の構成を他の装置に含ませるようにしてもよい。
【００２０】
カメラ１０は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。図２は、カメラ１０の具体的な設置例を示す図である。図２に示す例では、カメラ１０は、リアバンパーの中央に、水平から下向きに３０°の角度で取り付けられている。本実施形態では、このカメラ１０の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート２００が配置されている。
【００２１】
図３は、キャリブレーションシート２００の具体例を示す図である。図３に示すキャリブレーションシート２００は、校正指標（キャリブレーションマーク）としての１２個の小黒丸２１０、６個の大白丸２２０を含んでいる。大白丸２２０は、車両側から見て２列に、各列に３個が含まれるように配置されている。また、車両から遠い側の列を構成する３個の大白丸２２０のそれぞれには、２行２列に配置された４個の小黒丸２１０が含まれている。これらの小黒丸２１０や大白丸２２０は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心（円心）座標が求められて各種の演算に用いられる。
【００２２】
画像取込部１２は、カメラ１０によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ１４に一旦格納される。本実施形態では、キャリブレーションシート２００を車両後方の所定位置に配置した状態でカメラ１０で車両移動前の１回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ１０で車両移動後の２回目の撮影を行う。
【００２３】
移動前画像格納部２０は、車両の移動前に取り込んで画像メモリ１４に格納された画像を読み出して移動前画像として格納する。また、移動後画像格納部２２は、車両の移動後に取り込んで画像メモリ１４に格納された画像を読み出して移動後画像として格納する。
【００２４】
移動前カメラ姿勢推定部２４は、移動前画像格納部２０に格納された移動前画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。ここで、ｘ１はＸ座標値、ｙ１はＹ座標値、ｚ１はＺ座標値、ｒｖ１はピッチ角、ｒｈ１はヨー角、ｒｒ１はロール角である。また、キャリブレーションシート２００が配置された地面と平行な面に沿って、互いに直交するＸ方向とＹ方向が設定され、地面と垂直な向きにＺ方向が設定されている。
【００２５】
移動後カメラ姿勢推定部２６は、移動後画像格納部２２に格納された移動後画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。ｘ２等の意味は、ｘ１等の意味と同じである。
【００２６】
移動距離算出部３０は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離ｄを算出する。
【００２７】
ずれ量算出部３２は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、キャリブレーションシート２００の正規位置（製品設計時に想定した理想的な設計位置）からのずれ量を算出する。
【００２８】
カメラ姿勢決定部３４は、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６の少なくとも一方によって得られた推定値と、ずれ量算出部３２によって算出されたずれ量とに基づいて、カメラ１０の姿勢を決定する。
【００２９】
表示処理部４２は、車両を移動させる際に、カメラ１０で撮影された画像を表示装置４０に表示する。補助線作成部４４は、車両を移動させる際の距離の目安となる補助線を作成する。この補助線は、表示処理部４２によって撮影画像に重ねられて表示される。移動終了判定部４６は、車両を所定距離移動させる際に移動の終了判定を行う。
【００３０】
操作部５０は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部１２による２回の画像の取り込みは、利用者が操作部５０を操作して行った取込指示に対応して行われる。
【００３１】
上述した移動前画像格納部２０が移動前画像格納手段に、移動後画像格納部２２が移動後画像格納手段に、移動前カメラ姿勢推定部２４が第１の姿勢推定手段に、移動後カメラ姿勢推定部２６が第２の姿勢推定手段に、ずれ量算出部３２がシートずれ量算出手段に、カメラ姿勢決定部３４がカメラ姿勢決定手段に、表示処理部４２が表示処理手段に、移動終了判定部４６が移動終了判定手段にそれぞれ対応する。
【００３２】
本実施形態の車載カメラ姿勢検出装置１００はこのような構成を有しており、次に、カメラ１０によってキャリブレーションシート２００を撮影して最終的にカメラ１０の姿勢を決定するまでの動作について説明する。
【００３３】
図４は、カメラ１０の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート２００を配置した状態で、カメラ１０による１回目の撮影が行われる（ステップ１００）。例えば、利用者が操作部５０を操作して１回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動前画像格納部２０は、画像メモリ１４から画像を読み出して移動前画像として格納する。
【００３４】
また、移動前カメラ姿勢推定部２４は、移動前画像格納部２０から移動前画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０２）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。
【００３５】
次に、車両を所定距離だけ移動させる（ステップ１０４）。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値（例えば２０ｃｍ）があるが、その近傍であれば理想値から多少ずれていても特に問題はない。
【００３６】
次に、カメラ１０による２回目の撮影が行われる（ステップ１０６）。例えば、利用者が操作部５０を操作して２回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動後画像格納部２２は、画像メモリ１４から画像を読み出して移動後画像として格納する。
【００３７】
また、移動後カメラ姿勢推定部２６は、移動後画像格納部２２から移動後画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０８）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。
【００３８】
次に、移動距離算出部３０は、ステップ１０２、１０８の推定動作によって得られた２つのカメラ位置に基づいて車両の移動距離ｄを算出する（ステップ１１０）。具体的には、移動距離算出部３０は、１回目の推定結果であるカメラ位置ｘ１，ｙ１と２回目の推定結果であるカメラ位置ｘ２，ｙ２を用いて、距離ｄを以下の式により算出する。
【００３９】
ｄ＝√（（ｘ１−ｘ２）2＋（ｙ１−ｙ２）2） …（１）
次に、ずれ量算出部３２は、キャリブレーションシート２００の設計位置からのずれ量Ｘ，Ｙ，Ｒを算出する（ステップ１１２）。ここで、ＸはＸ方向のずれ量、ＹはＹ方向のずれ量、Ｒは回転方向のずれ量である。図５は、３つのずれ量Ｘ，Ｙ，Ｒの関係を示す図である。図５において、Ａは設計位置に配置されたキャリブレーションシート２００内の一点を示しており、Ｂは実際に配置されたキャリブレーションシート２００内の対応点を示している。
【００４０】
車両を移動させる前にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動前の設計位置」と称する）をｘ，ｙとする。なお、ｚ方向の位置はキャリブレーションシート２００のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ１０の位置ｘ１，ｙ１と移動前の設計位置ｘ，ｙとの間には、
【００４１】
【数１】
【００４２】
の関係がある。
【００４３】
同様に、車両を移動させた後にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動後の設計位置」と称する）をｘ’，ｙ’とする。車両移動後に推定されたカメラ１０の位置ｘ２，ｙ２と移動後の設計位置ｘ’，ｙ’との間には、
【００４４】
【数２】
【００４５】
の関係がある。（２）式と（３）式を展開すると、
【００４６】
【数３】
【００４７】
となる。（４）式をキャリブレーションシート２００のずれ量（Ｘ，Ｙ，Ｒ）に着目して行列式で表すと、
【００４８】
【数４】
【００４９】
となる。この（５）式を変形すると以下の（６）式を得る。
【００５０】
【数５】
【００５１】
ところで、車両の移動をＹ方向に沿って行うものとすると、カメラ１０の移動前の設計位置ｘ，ｙと移動後の設計位置ｘ’，ｙ’との間には以下の関係がある。
【００５２】
ｘ’＝ｘ
ｙ’＝ｙ＋ｄ …（７）
すなわち、（６）式の右辺は全て既知の値であり、ずれ量算出部３２は（６）式を用いることでずれ量Ｘ，Ｙ，Ｒを算出することができる。
【００５３】
次に、カメラ姿勢決定部３４は、未知の値であるカメラ１０の角度ｒｖ（ピッチ角）、ｒｈ（ヨー角）、ｒｒ（ロール角）を算出する（ステップ１１４）。カメラ１０の実際の角度ｒｖ，ｒｈ，ｒｒと、推定値ｒｖ１，ｒｈ１，ｒｒ１と、キャリブレーションシート２００のずれ量Ｒとの関係は以下のように表すことができる。
【００５４】
Ｒｙ(Ｒ)・Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｘ(ｒｖ１)・Ｒｙ(ｒｒ１)・Ｒｚ(ｒｈ１) …（８）
ここで、Ｒｘ(ｒｖ)、Ｒｙ(ｒｈ)、Ｒｚ(ｒｒ)は、以下に示す回転行列である。
【００５５】
【数６】
【００５６】
（８）式を変形すると、以下のようになる。
【００５７】
Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｙ(−Ｒ)・Ｒｘ(ｒｖ１)・Ｒｙ(ｒｈ１)・Ｒｚ(ｒｒ１) …（１２）
（１２）式の右辺は全て既知の値なので、展開して以下のように置く。
【００５８】
【数７】
【００５９】
また、（１２）式の左辺を展開して（１３）式とともに解くと、以下のようになる。
【００６０】
【数８】
【００６１】
カメラ姿勢決定部３４は、このようにしてカメラ１０の角度ｒｖ，ｒｈ，ｒｒを算出する。
【００６２】
次に、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６は同じ構成を有しており、以下では移動前カメラ姿勢推定部２４の詳細について説明を行うものとする。
【００６３】
図６は、移動前カメラ姿勢推定部２４の詳細構成を示す図である。図６に示すように、移動前カメラ姿勢推定部２４は、校正指標中心位置検出部６０、校正指標座標記憶部６１、６３、座標変換部６２、構成指標間距離調整部６４、構成指標位置調整部６５、カメラ姿勢調整部６６とを含んで構成されている。
【００６４】
校正指標中心位置検出部６０は、移動前画像格納部２０に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート２００内の校正指標の中心位置を検出する。例えば、校正指標中心位置検出部６０は、キャリブレーションシート２００に含まれる校正指標としての１２個の小黒丸２１０を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部６１に保存する。なお、この中心位置の座標値は、カメラ１０の光軸Ｓに垂直に画像平面（Ｕ−Ｖ座標系）が設定された魚眼座標系によって表されたものである。
【００６５】
座標変換部６２は、各校正指標の中心座標値を、魚眼座標系から、地面をＸ−Ｙ平面、地面に垂直な向きをＺ方向とする基準座標系に変換し、校正指標座標記憶部６３に保存する。
【００６６】
図７は、座標変換の説明図である。図７において、Ｘ−Ｙ−Ｚは基準座標系を、Ｕ−Ｖ−Ｓは魚眼座標系をそれぞれ示している。また、図７において、ｘ１，ｙ１，ｚ１を魚眼座標系Ｕ−Ｖ−Ｓと基準座標系Ｘ−Ｙ−Ｚの原点間の距離、ｒｘ，ｒｙ，ｒｚを基準座標系Ｘ−Ｙ−Ｚに対するカメラ１０の各軸周りの回転量とすると、以下の式が成立する。但し、ｕ，ｖ，ｓは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からｍｍに変換するための係数である。
【００６７】
【数９】
【００６８】
図７（Ｂ）より、カメラ１０の光軸がＸ−Ｙ平面上のＰ点に向いているときのＸ軸周りの回転量はｒｖ（＝ｒｘ）、Ｙ軸周りの回転量はｒｈ（＝ｒｙ）、Ｚ軸周りの回転量はｒｒ（＝ｒｚ）である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
【００６９】
以後、校正指標間距離調整部６４、校正指標位置調整部６５、カメラ姿勢調整部６６は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにｒｖ，ｒｈ，ｒｒ，ｘ１，ｙ１，ｚ１を決定する。すなわち、最初に、校正指標間距離調整部６４およびカメラ姿勢調整部６６は、ｘ１，ｙ１，ｚ１を固定した状態でｒｖ，ｒｈ，ｒｒを変更しながら各校正指標間の中心座標値を（１５）式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるｒｖ，ｒｈ，ｒｒを求め、これらｒｖ，ｒｈ，ｒｒをカメラ角度として出力する。また、校正指標位置調整部６５およびカメラ姿勢調整部６６は、（１５）式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置（既知）と等しくなるｘ１，ｙ１，ｚ１を求め、カメラ位置として出力する。
【００７０】
具体的には、ｒｒを変更することにより校正指標の傾斜を調整することができ、ｒｈを変更することにより校正指標間の垂直方向の距離を調整することができ、ｒｖを変更することにより校正指標間の水平方向の距離を調整することができる。
【００７１】
したがって、最初、校正指標傾斜調整量決定部６４ａはｘ１，ｙ１，ｚ１を一定値（例えば０）としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角＝０となるようにｒｒを調整し、調整量Δｒｒをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｒ＝ｒｒ＋Δｒｒにより、新ｒｒを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部６４ａは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が０となるまで以上の処理を継続してｒｒの調整が行われる。
【００７２】
校正指標傾斜角度が０となるようにｒｒの調整が終了すれば、校正指標間距離算出部６４ｂは、各校正指標間のＸ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＸ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｈを調整し、調整量Δｒｈをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｈ＝ｒｈ＋Δｒｈより、新ｒｈを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＸ軸方向距離を計算し、各校正指標間のＸ軸方向距離が等しくなるまでｒｈの調整を行う。
【００７３】
ｒｈの調整が終了すれば、校正指標間距離算出部６４ｂは各校正指標間のＹ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＹ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｖを調整し、調整量Δｒｖをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６はｒｖ＝ｒｖ＋Δｒｖにより、新ｒｖを計算して座標変換部６２に入力する。これにより、座標変換部６２は（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＹ軸方向距離を計算し、各校正指標間のＹ軸方向の距離が等しくなるまでｒｖの調整を行う。
【００７４】
以上により、ｒｖ（＝ｒｖ１），ｒｈ（＝ｒｈ１），ｒｒ（＝ｒｒ１）の調整が完了すれば、校正指標間距離調整完了決定部６４ｄは取り付け角度調整完了信号ＤＡＪＥＤを出力する。
【００７５】
校正指標位置調整部６５は、取り付け角度調整完了信号ＤＡＪＥＤが発生すると、実際の校正指標中心位置（Ｘｓ，Ｙｓ）と等しくなるｘ１，ｙ１を（１５）式より求め、また、校正指標のサイズ（あるいは校正指標間距離）が実際の校正指標サイズ（あるいは校正指標間距離）と等しくなるようにｚ１を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部６６は、算出したカメラ角度ｒｖ１，ｒｈ１，ｒｒ１とカメラ位置ｘ１，ｙ１，ｚ１を、移動前カメラ姿勢推定部２４から出力する。
【００７６】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。
【００７７】
また、車両を移動させる所定距離ｄは、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６によって得られた推定値に基づいて算出しているため車両の移動距離ｄを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００７８】
ところで、図４のステップ１０４では車両を所定距離移動させるものとしたが、移動距離を理想値（設計値）に近づけるためには、所定距離車両の移動が完了した際に運転者に対して何らかの案内を行うことが望ましいと考えられる。
【００７９】
図８は、車両を所定距離移動させた際に通知を行う変形例の動作手順を示す流れ図である。表示処理部４２は、車両の移動（図４のステップ１０４）に先だって、カメラ１０で撮影された画像（確認用画像）を表示装置４０の画面に表示する（ステップ２００）。また、補助線作成部４４は、ステップ２００において表示された画像に重ねる補助線を作成する（ステップ２０２）。この補助線は、表示処理部４２によって確認用画像に重ねて表示される。
【００８０】
図９は、車両移動の前後で表示される確認用画像の具体例を示す図であり、図９（Ａ）には移動前の画像が、図９（Ｂ）には移動後の画像が示されている。図９に示す例では、キャリブレーションシート２００の車両側角部に目印マークＳが含まれている。この目印マークＳは、実際にキャリブレーションシート２００の一部に特定の色および形状の目印マークを追加してもよいが、補助線作成部４４が、キャリブレーションシート２００の角部を認識して、合成画像としての目印マークＳを作成するようにしてもよい。また、補助線作成部４４は、図９（Ａ）に示すように、目印マークＳから後方に所定距離の位置に補助線Ｈを作成する。なお、この所定距離は、地面に沿った距離であって車両を移動させる距離に等しい長さを設定する必要があるが、目印マークＳの位置が決まればその位置から後方に所定距離隔たった位置を算出することができる。また、この算出を、移動前カメラ姿勢推定部２４による推定結果（カメラ角度）を用いて行うようにしてもよい。
【００８１】
このような画像表示が行われた後、車両の移動が行われる（ステップ２０４）。車両の移動とともに、表示画像に含まれるキャリブレーションシート２００の位置は後方に移動するが、図９（Ａ）に示した補助線Ｈの位置は画面内で固定されている。
【００８２】
車両の移動と並行して、移動終了判定部４６は、画面内で後方に移動するキャリブレーションシート２００内の目印マークＳの位置が補助線Ｈを超えたか否かを判定する（ステップ２０６）。超えない場合には否定判断が行われ、この判定が繰り返される。
【００８３】
また、目印マークＳの位置が補助線Ｈを超えた場合、すなわち、車両が所定距離移動した場合にはステップ２０６の判定において肯定判断が行われる。図９（Ｂ）には、目印マークＳが補助線Ｈと重なった状態が示されている。次に、移動終了判定部４６は、車両の移動が終了した旨の通知を行う（ステップ２０８）。例えば、移動終了判定部４６は、表示処理部４２を介して表示装置４０に移動終了を知らせるメッセージを表示する。あるいは、ブザーやスピーカから移動終了を知らせるブザー音やメッセージ音声を出力するようにしてもよい。この通知を受け取った車両の運転者は、車両の移動を停止する（ステップ２１０）。
【００８４】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両の運転者は、表示装置４０に表示されている確認用画像を見ることで、目印マークＳと補助線Ｈとの位置関係を確認することができるため、この後どの程度車両を移動させればよいかを容易に確認することができる。特に、確認用画像に目印マークと補助線を含ませたり、所定距離の移動が終了したときに通知を行うことにより、車両を所定距離移動させたことを確実に車両の運転者に知らせることができ、車両の移動距離が必要以上に長くなることを防止することができる。
【００８５】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部２０および移動前カメラ姿勢推定部２４と、移動後画像格納部２２および移動後カメラ姿勢推定部２６とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
【００８６】
また、上述した実施形態では、車両後方を撮影するカメラ１０について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
【産業上の利用可能性】
【００８７】
上述したように、本発明によれば、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。
【符号の説明】
【００８８】
１０ カメラ
１２ 画像取込部
１４ 画像メモリ
２０ 移動前画像格納部
２２ 移動後画像格納部
２４ 移動前カメラ姿勢推定部
２６ 移動後カメラ姿勢推定部
３０ 移動距離算出部
３２ ずれ量算出部
３４ カメラ姿勢決定部
４０ 表示装置
４２ 表示処理部
４４ 補助線作成部
４６ 移動終了判定部
５０ 操作部
１００ 車載カメラ姿勢検出装置
２００ キャリブレーションシート
【技術分野】
【０００１】
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置および方法に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。
【０００３】
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３２６５号公報（第２−１１頁、図１−２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法では、キャリブレーションシートが所定位置に正確に配置されることが前提となっており、キャリブレーションシートの設置位置にずれがあると、カメラの姿勢（位置および角度）を正確に検出することができないという問題があった。例えば、車両後方であって、設置位置がリアバンパーの端部に接するようにキャリブレーションシートを配置し、これを車両後方に設置されたカメラで撮影するものとする。このようにキャリブレーションシートの位置が指定された場合であっても、リアバンパーは地面から離れた位置にあるため、その端部にキャリブレーションシートの位置を合わせることは難しい。キャリブレーションの左右位置についても同様であり、車両の中心とキャリブレーションシートの中心を正確に合わせることも容易ではない。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置および方法を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、移動前画像格納手段に格納された移動前画像に基づいてカメラの姿勢を推定する第１の姿勢推定手段と、車両を所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、移動後画像格納手段に格納された移動後画像に基づいてカメラの姿勢を推定する第２の姿勢推定手段と、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段とを備えている。
【０００８】
また、本発明の車載カメラ姿勢検出方法は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出方法であって、カメラで撮影されたキャリブレーションシートの画像に基づいてカメラの姿勢を第１の姿勢推定手段によって推定し、車両を所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像に基づいてカメラの姿勢を第２の姿勢推定手段によって推定し、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量をシートずれ量算出手段によって算出し、第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢をカメラ姿勢決定手段によって決定する。
【０００９】
車両を移動させる前後の画像に基づいてキャリブレーションシートの所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシートのずれによる影響を取り除くことができ、カメラの姿勢を正確に検出することが可能となる。
【００１０】
また、上述した車両を移動させる所定距離は、第１および第２の姿勢推定手段によって得られた姿勢推定値に基づいて算出することが望ましい。これにより、車両の移動距離を正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００１１】
また、上述したシートずれ量算出手段は、カメラが設計位置に設置されている場合を想定し、カメラの設計位置と、第１および第２の姿勢推定手段による推定結果と、キャリブレーションシートの所定位置からのずれ量との関係に基づいて、ずれ量の算出を行うことが望ましい。この関係において、カメラの設計位置と姿勢推定値が既知の値となるため、残りのずれ量を計算で求めることが可能となる。
【００１２】
また、上述したカメラ姿勢決定手段は、第１および第２の姿勢推定手段によって推定されたカメラ角度と、実際のカメラ角度と、シートずれ量算出手段によって算出されたキャリブレーションシートの回転方向のずれ量との関係に基づいて、実際のカメラ角度を決定することが望ましい。この関係において、推定されたカメラ角度とキャリブレーションシートの回転方向のずれ量とが既知の値となるため、残りの実際のカメラ角度を計算で求めることが可能となる。
【００１３】
また、上述したカメラ姿勢決定手段は、第１の姿勢推定手段によって推定された姿勢推定値を用いてカメラの姿勢を決定することが望ましい。車両に近い位置に配置されたキャリブレーションシートを用いて推定された値を用いることにより、カメラの姿勢を決定する際の誤差を少なくすることができる。
【００１４】
また、上述した車両の移動は直線状に行われることが望ましい。これにより、移動の前後でキャリブレーションシートを撮影した際に、キャリブレーションシートの回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。
【００１５】
また、上述した車両の所定距離の移動の有無を確認可能な確認用画像を表示装置に表示する表示処理手段をさらに備えることが望ましい。これにより、車両の運転者は確認用画像を見ながら車両を移動させることができるため、車両を所定距離だけ移動させることが容易となる。
【００１６】
また、上述した確認用画像には、車両の移動とともに確認用画像内で移動する目印マークと確認用画像内で表示位置が固定された補助線とが含まれており、車両の所定距離の移動が終了するタイミングで、目印マークが補助線を超えるように表示が行われることが望ましい。あるいは、上述したカメラによって撮影された画像に基づいて、車両の所定距離の移動が終了したか否かを判定し、移動が終了したときに所定の通知を行う移動終了判定手段をさらに備えることが望ましい。これにより、車両を所定距離移動させたことを確実に車両の運転者に知らせることができ、車両の移動距離が必要以上に長くなることを防止することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の車載カメラ姿勢検出装置の構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションシートの具体例を示す図である。
【図４】カメラの姿勢を決定する概略的な動作手順を示す流れ図である。
【図５】３つのずれ量の関係を示す図である。
【図６】移動前カメラ姿勢推定部の詳細構成を示す図である。
【図７】座標変換の説明図である。
【図８】車両を所定距離移動させた際に通知を行う変形例の動作手順を示す流れ図である。
【図９】車両移動の前後で表示される確認用画像の具体例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。
【００１９】
図１は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図１に示すように、本実施形態の車載カメラ姿勢検出装置１００は、カメラ１０、画像取込部１２、画像メモリ１４、移動前画像格納部２０、移動後画像格納部２２、移動前カメラ姿勢推定部２４、移動後カメラ姿勢推定部２６、移動距離算出部３０、ずれ量算出部３２、カメラ姿勢決定部３４、表示装置４０、表示処理部４２、補助線作成部４４、移動終了判定部４６、操作部５０を含んで構成されている。なお、この車載カメラ姿勢検出装置１００によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置１００の構成を他の装置に含ませるようにしてもよい。
【００２０】
カメラ１０は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。図２は、カメラ１０の具体的な設置例を示す図である。図２に示す例では、カメラ１０は、リアバンパーの中央に、水平から下向きに３０°の角度で取り付けられている。本実施形態では、このカメラ１０の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート２００が配置されている。
【００２１】
図３は、キャリブレーションシート２００の具体例を示す図である。図３に示すキャリブレーションシート２００は、校正指標（キャリブレーションマーク）としての１２個の小黒丸２１０、６個の大白丸２２０を含んでいる。大白丸２２０は、車両側から見て２列に、各列に３個が含まれるように配置されている。また、車両から遠い側の列を構成する３個の大白丸２２０のそれぞれには、２行２列に配置された４個の小黒丸２１０が含まれている。これらの小黒丸２１０や大白丸２２０は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心（円心）座標が求められて各種の演算に用いられる。
【００２２】
画像取込部１２は、カメラ１０によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ１４に一旦格納される。本実施形態では、キャリブレーションシート２００を車両後方の所定位置に配置した状態でカメラ１０で車両移動前の１回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ１０で車両移動後の２回目の撮影を行う。
【００２３】
移動前画像格納部２０は、車両の移動前に取り込んで画像メモリ１４に格納された画像を読み出して移動前画像として格納する。また、移動後画像格納部２２は、車両の移動後に取り込んで画像メモリ１４に格納された画像を読み出して移動後画像として格納する。
【００２４】
移動前カメラ姿勢推定部２４は、移動前画像格納部２０に格納された移動前画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。ここで、ｘ１はＸ座標値、ｙ１はＹ座標値、ｚ１はＺ座標値、ｒｖ１はピッチ角、ｒｈ１はヨー角、ｒｒ１はロール角である。また、キャリブレーションシート２００が配置された地面と平行な面に沿って、互いに直交するＸ方向とＹ方向が設定され、地面と垂直な向きにＺ方向が設定されている。
【００２５】
移動後カメラ姿勢推定部２６は、移動後画像格納部２２に格納された移動後画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。ｘ２等の意味は、ｘ１等の意味と同じである。
【００２６】
移動距離算出部３０は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離ｄを算出する。
【００２７】
ずれ量算出部３２は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、キャリブレーションシート２００の正規位置（製品設計時に想定した理想的な設計位置）からのずれ量を算出する。
【００２８】
カメラ姿勢決定部３４は、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６の少なくとも一方によって得られた推定値と、ずれ量算出部３２によって算出されたずれ量とに基づいて、カメラ１０の姿勢を決定する。
【００２９】
表示処理部４２は、車両を移動させる際に、カメラ１０で撮影された画像を表示装置４０に表示する。補助線作成部４４は、車両を移動させる際の距離の目安となる補助線を作成する。この補助線は、表示処理部４２によって撮影画像に重ねられて表示される。移動終了判定部４６は、車両を所定距離移動させる際に移動の終了判定を行う。
【００３０】
操作部５０は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部１２による２回の画像の取り込みは、利用者が操作部５０を操作して行った取込指示に対応して行われる。
【００３１】
上述した移動前画像格納部２０が移動前画像格納手段に、移動後画像格納部２２が移動後画像格納手段に、移動前カメラ姿勢推定部２４が第１の姿勢推定手段に、移動後カメラ姿勢推定部２６が第２の姿勢推定手段に、ずれ量算出部３２がシートずれ量算出手段に、カメラ姿勢決定部３４がカメラ姿勢決定手段に、表示処理部４２が表示処理手段に、移動終了判定部４６が移動終了判定手段にそれぞれ対応する。
【００３２】
本実施形態の車載カメラ姿勢検出装置１００はこのような構成を有しており、次に、カメラ１０によってキャリブレーションシート２００を撮影して最終的にカメラ１０の姿勢を決定するまでの動作について説明する。
【００３３】
図４は、カメラ１０の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート２００を配置した状態で、カメラ１０による１回目の撮影が行われる（ステップ１００）。例えば、利用者が操作部５０を操作して１回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動前画像格納部２０は、画像メモリ１４から画像を読み出して移動前画像として格納する。
【００３４】
また、移動前カメラ姿勢推定部２４は、移動前画像格納部２０から移動前画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０２）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。
【００３５】
次に、車両を所定距離だけ移動させる（ステップ１０４）。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値（例えば２０ｃｍ）があるが、その近傍であれば理想値から多少ずれていても特に問題はない。
【００３６】
次に、カメラ１０による２回目の撮影が行われる（ステップ１０６）。例えば、利用者が操作部５０を操作して２回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動後画像格納部２２は、画像メモリ１４から画像を読み出して移動後画像として格納する。
【００３７】
また、移動後カメラ姿勢推定部２６は、移動後画像格納部２２から移動後画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０８）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。
【００３８】
次に、移動距離算出部３０は、ステップ１０２、１０８の推定動作によって得られた２つのカメラ位置に基づいて車両の移動距離ｄを算出する（ステップ１１０）。具体的には、移動距離算出部３０は、１回目の推定結果であるカメラ位置ｘ１，ｙ１と２回目の推定結果であるカメラ位置ｘ２，ｙ２を用いて、距離ｄを以下の式により算出する。
【００３９】
ｄ＝√（（ｘ１−ｘ２）2＋（ｙ１−ｙ２）2） …（１）
次に、ずれ量算出部３２は、キャリブレーションシート２００の設計位置からのずれ量Ｘ，Ｙ，Ｒを算出する（ステップ１１２）。ここで、ＸはＸ方向のずれ量、ＹはＹ方向のずれ量、Ｒは回転方向のずれ量である。図５は、３つのずれ量Ｘ，Ｙ，Ｒの関係を示す図である。図５において、Ａは設計位置に配置されたキャリブレーションシート２００内の一点を示しており、Ｂは実際に配置されたキャリブレーションシート２００内の対応点を示している。
【００４０】
車両を移動させる前にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動前の設計位置」と称する）をｘ，ｙとする。なお、ｚ方向の位置はキャリブレーションシート２００のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ１０の位置ｘ１，ｙ１と移動前の設計位置ｘ，ｙとの間には、
【００４１】
【数１】
【００４２】
の関係がある。
【００４３】
同様に、車両を移動させた後にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動後の設計位置」と称する）をｘ’，ｙ’とする。車両移動後に推定されたカメラ１０の位置ｘ２，ｙ２と移動後の設計位置ｘ’，ｙ’との間には、
【００４４】
【数２】
【００４５】
の関係がある。（２）式と（３）式を展開すると、
【００４６】
【数３】
【００４７】
となる。（４）式をキャリブレーションシート２００のずれ量（Ｘ，Ｙ，Ｒ）に着目して行列式で表すと、
【００４８】
【数４】
【００４９】
となる。この（５）式を変形すると以下の（６）式を得る。
【００５０】
【数５】
【００５１】
ところで、車両の移動をＹ方向に沿って行うものとすると、カメラ１０の移動前の設計位置ｘ，ｙと移動後の設計位置ｘ’，ｙ’との間には以下の関係がある。
【００５２】
ｘ’＝ｘ
ｙ’＝ｙ＋ｄ …（７）
すなわち、（６）式の右辺は全て既知の値であり、ずれ量算出部３２は（６）式を用いることでずれ量Ｘ，Ｙ，Ｒを算出することができる。
【００５３】
次に、カメラ姿勢決定部３４は、未知の値であるカメラ１０の角度ｒｖ（ピッチ角）、ｒｈ（ヨー角）、ｒｒ（ロール角）を算出する（ステップ１１４）。カメラ１０の実際の角度ｒｖ，ｒｈ，ｒｒと、推定値ｒｖ１，ｒｈ１，ｒｒ１と、キャリブレーションシート２００のずれ量Ｒとの関係は以下のように表すことができる。
【００５４】
Ｒｙ(Ｒ)・Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｘ(ｒｖ１)・Ｒｙ(ｒｒ１)・Ｒｚ(ｒｈ１) …（８）
ここで、Ｒｘ(ｒｖ)、Ｒｙ(ｒｈ)、Ｒｚ(ｒｒ)は、以下に示す回転行列である。
【００５５】
【数６】
【００５６】
（８）式を変形すると、以下のようになる。
【００５７】
Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｙ(−Ｒ)・Ｒｘ(ｒｖ１)・Ｒｙ(ｒｈ１)・Ｒｚ(ｒｒ１) …（１２）
（１２）式の右辺は全て既知の値なので、展開して以下のように置く。
【００５８】
【数７】
【００５９】
また、（１２）式の左辺を展開して（１３）式とともに解くと、以下のようになる。
【００６０】
【数８】
【００６１】
カメラ姿勢決定部３４は、このようにしてカメラ１０の角度ｒｖ，ｒｈ，ｒｒを算出する。
【００６２】
次に、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６は同じ構成を有しており、以下では移動前カメラ姿勢推定部２４の詳細について説明を行うものとする。
【００６３】
図６は、移動前カメラ姿勢推定部２４の詳細構成を示す図である。図６に示すように、移動前カメラ姿勢推定部２４は、校正指標中心位置検出部６０、校正指標座標記憶部６１、６３、座標変換部６２、構成指標間距離調整部６４、構成指標位置調整部６５、カメラ姿勢調整部６６とを含んで構成されている。
【００６４】
校正指標中心位置検出部６０は、移動前画像格納部２０に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート２００内の校正指標の中心位置を検出する。例えば、校正指標中心位置検出部６０は、キャリブレーションシート２００に含まれる校正指標としての１２個の小黒丸２１０を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部６１に保存する。なお、この中心位置の座標値は、カメラ１０の光軸Ｓに垂直に画像平面（Ｕ−Ｖ座標系）が設定された魚眼座標系によって表されたものである。
【００６５】
座標変換部６２は、各校正指標の中心座標値を、魚眼座標系から、地面をＸ−Ｙ平面、地面に垂直な向きをＺ方向とする基準座標系に変換し、校正指標座標記憶部６３に保存する。
【００６６】
図７は、座標変換の説明図である。図７において、Ｘ−Ｙ−Ｚは基準座標系を、Ｕ−Ｖ−Ｓは魚眼座標系をそれぞれ示している。また、図７において、ｘ１，ｙ１，ｚ１を魚眼座標系Ｕ−Ｖ−Ｓと基準座標系Ｘ−Ｙ−Ｚの原点間の距離、ｒｘ，ｒｙ，ｒｚを基準座標系Ｘ−Ｙ−Ｚに対するカメラ１０の各軸周りの回転量とすると、以下の式が成立する。但し、ｕ，ｖ，ｓは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からｍｍに変換するための係数である。
【００６７】
【数９】
【００６８】
図７（Ｂ）より、カメラ１０の光軸がＸ−Ｙ平面上のＰ点に向いているときのＸ軸周りの回転量はｒｖ（＝ｒｘ）、Ｙ軸周りの回転量はｒｈ（＝ｒｙ）、Ｚ軸周りの回転量はｒｒ（＝ｒｚ）である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
【００６９】
以後、校正指標間距離調整部６４、校正指標位置調整部６５、カメラ姿勢調整部６６は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにｒｖ，ｒｈ，ｒｒ，ｘ１，ｙ１，ｚ１を決定する。すなわち、最初に、校正指標間距離調整部６４およびカメラ姿勢調整部６６は、ｘ１，ｙ１，ｚ１を固定した状態でｒｖ，ｒｈ，ｒｒを変更しながら各校正指標間の中心座標値を（１５）式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるｒｖ，ｒｈ，ｒｒを求め、これらｒｖ，ｒｈ，ｒｒをカメラ角度として出力する。また、校正指標位置調整部６５およびカメラ姿勢調整部６６は、（１５）式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置（既知）と等しくなるｘ１，ｙ１，ｚ１を求め、カメラ位置として出力する。
【００７０】
具体的には、ｒｒを変更することにより校正指標の傾斜を調整することができ、ｒｈを変更することにより校正指標間の垂直方向の距離を調整することができ、ｒｖを変更することにより校正指標間の水平方向の距離を調整することができる。
【００７１】
したがって、最初、校正指標傾斜調整量決定部６４ａはｘ１，ｙ１，ｚ１を一定値（例えば０）としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角＝０となるようにｒｒを調整し、調整量Δｒｒをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｒ＝ｒｒ＋Δｒｒにより、新ｒｒを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部６４ａは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が０となるまで以上の処理を継続してｒｒの調整が行われる。
【００７２】
校正指標傾斜角度が０となるようにｒｒの調整が終了すれば、校正指標間距離算出部６４ｂは、各校正指標間のＸ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＸ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｈを調整し、調整量Δｒｈをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｈ＝ｒｈ＋Δｒｈより、新ｒｈを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＸ軸方向距離を計算し、各校正指標間のＸ軸方向距離が等しくなるまでｒｈの調整を行う。
【００７３】
ｒｈの調整が終了すれば、校正指標間距離算出部６４ｂは各校正指標間のＹ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＹ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｖを調整し、調整量Δｒｖをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６はｒｖ＝ｒｖ＋Δｒｖにより、新ｒｖを計算して座標変換部６２に入力する。これにより、座標変換部６２は（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＹ軸方向距離を計算し、各校正指標間のＹ軸方向の距離が等しくなるまでｒｖの調整を行う。
【００７４】
以上により、ｒｖ（＝ｒｖ１），ｒｈ（＝ｒｈ１），ｒｒ（＝ｒｒ１）の調整が完了すれば、校正指標間距離調整完了決定部６４ｄは取り付け角度調整完了信号ＤＡＪＥＤを出力する。
【００７５】
校正指標位置調整部６５は、取り付け角度調整完了信号ＤＡＪＥＤが発生すると、実際の校正指標中心位置（Ｘｓ，Ｙｓ）と等しくなるｘ１，ｙ１を（１５）式より求め、また、校正指標のサイズ（あるいは校正指標間距離）が実際の校正指標サイズ（あるいは校正指標間距離）と等しくなるようにｚ１を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部６６は、算出したカメラ角度ｒｖ１，ｒｈ１，ｒｒ１とカメラ位置ｘ１，ｙ１，ｚ１を、移動前カメラ姿勢推定部２４から出力する。
【００７６】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。
【００７７】
また、車両を移動させる所定距離ｄは、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６によって得られた推定値に基づいて算出しているため車両の移動距離ｄを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００７８】
ところで、図４のステップ１０４では車両を所定距離移動させるものとしたが、移動距離を理想値（設計値）に近づけるためには、所定距離車両の移動が完了した際に運転者に対して何らかの案内を行うことが望ましいと考えられる。
【００７９】
図８は、車両を所定距離移動させた際に通知を行う変形例の動作手順を示す流れ図である。表示処理部４２は、車両の移動（図４のステップ１０４）に先だって、カメラ１０で撮影された画像（確認用画像）を表示装置４０の画面に表示する（ステップ２００）。また、補助線作成部４４は、ステップ２００において表示された画像に重ねる補助線を作成する（ステップ２０２）。この補助線は、表示処理部４２によって確認用画像に重ねて表示される。
【００８０】
図９は、車両移動の前後で表示される確認用画像の具体例を示す図であり、図９（Ａ）には移動前の画像が、図９（Ｂ）には移動後の画像が示されている。図９に示す例では、キャリブレーションシート２００の車両側角部に目印マークＳが含まれている。この目印マークＳは、実際にキャリブレーションシート２００の一部に特定の色および形状の目印マークを追加してもよいが、補助線作成部４４が、キャリブレーションシート２００の角部を認識して、合成画像としての目印マークＳを作成するようにしてもよい。また、補助線作成部４４は、図９（Ａ）に示すように、目印マークＳから後方に所定距離の位置に補助線Ｈを作成する。なお、この所定距離は、地面に沿った距離であって車両を移動させる距離に等しい長さを設定する必要があるが、目印マークＳの位置が決まればその位置から後方に所定距離隔たった位置を算出することができる。また、この算出を、移動前カメラ姿勢推定部２４による推定結果（カメラ角度）を用いて行うようにしてもよい。
【００８１】
このような画像表示が行われた後、車両の移動が行われる（ステップ２０４）。車両の移動とともに、表示画像に含まれるキャリブレーションシート２００の位置は後方に移動するが、図９（Ａ）に示した補助線Ｈの位置は画面内で固定されている。
【００８２】
車両の移動と並行して、移動終了判定部４６は、画面内で後方に移動するキャリブレーションシート２００内の目印マークＳの位置が補助線Ｈを超えたか否かを判定する（ステップ２０６）。超えない場合には否定判断が行われ、この判定が繰り返される。
【００８３】
また、目印マークＳの位置が補助線Ｈを超えた場合、すなわち、車両が所定距離移動した場合にはステップ２０６の判定において肯定判断が行われる。図９（Ｂ）には、目印マークＳが補助線Ｈと重なった状態が示されている。次に、移動終了判定部４６は、車両の移動が終了した旨の通知を行う（ステップ２０８）。例えば、移動終了判定部４６は、表示処理部４２を介して表示装置４０に移動終了を知らせるメッセージを表示する。あるいは、ブザーやスピーカから移動終了を知らせるブザー音やメッセージ音声を出力するようにしてもよい。この通知を受け取った車両の運転者は、車両の移動を停止する（ステップ２１０）。
【００８４】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両の運転者は、表示装置４０に表示されている確認用画像を見ることで、目印マークＳと補助線Ｈとの位置関係を確認することができるため、この後どの程度車両を移動させればよいかを容易に確認することができる。特に、確認用画像に目印マークと補助線を含ませたり、所定距離の移動が終了したときに通知を行うことにより、車両を所定距離移動させたことを確実に車両の運転者に知らせることができ、車両の移動距離が必要以上に長くなることを防止することができる。
【００８５】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部２０および移動前カメラ姿勢推定部２４と、移動後画像格納部２２および移動後カメラ姿勢推定部２６とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
【００８６】
また、上述した実施形態では、車両後方を撮影するカメラ１０について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
【産業上の利用可能性】
【００８７】
上述したように、本発明によれば、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。
【符号の説明】
【００８８】
１０ カメラ
１２ 画像取込部
１４ 画像メモリ
２０ 移動前画像格納部
２２ 移動後画像格納部
２４ 移動前カメラ姿勢推定部
２６ 移動後カメラ姿勢推定部
３０ 移動距離算出部
３２ ずれ量算出部
３４ カメラ姿勢決定部
４０ 表示装置
４２ 表示処理部
４４ 補助線作成部
４６ 移動終了判定部
５０ 操作部
１００ 車載カメラ姿勢検出装置
２００ キャリブレーションシート
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、
前記移動前画像格納手段に格納された移動前画像に基づいて前記カメラの姿勢を推定する第１の姿勢推定手段と、
車両を所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、
前記移動後画像格納手段に格納された移動後画像に基づいて前記カメラの姿勢を推定する第２の姿勢推定手段と、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
を備えることを特徴とする車載カメラ姿勢検出装置。
【請求項２】
請求項１において、
車両を移動させる前記所定距離は、前記第１および第２の姿勢推定手段によって得られた姿勢推定値に基づいて算出することを特徴とする車載カメラ姿勢検出装置。
【請求項３】
請求項１または２において、
前記シートずれ量算出手段は、前記カメラが設計位置に設置されている場合を想定し、前記カメラの設計位置と、前記第１および第２の姿勢推定手段による推定結果と、前記キャリブレーションシートの所定位置からのずれ量との関係に基づいて、前記ずれ量の算出を行うことを特徴とする車載カメラ姿勢検出装置。
【請求項４】
請求項１〜３のいずれかにおいて、
前記カメラ姿勢決定手段は、前記第１および第２の姿勢推定手段によって推定されたカメラ角度と、実際のカメラ角度と、前記シートずれ量算出手段によって算出された前記キャリブレーションシートの回転方向のずれ量との関係に基づいて、前記実際のカメラ角度を決定することを特徴とする車載カメラ姿勢検出装置。
【請求項５】
請求項１〜４のいずれかにおいて、
前記カメラ姿勢決定手段は、前記第１の姿勢推定手段によって推定された姿勢推定値を用いて前記カメラの姿勢を決定することを特徴とする車載カメラ姿勢検出装置。
【請求項６】
請求項１〜５のいずれかにおいて、
前記車両の移動は直線状に行われることを特徴とする車載カメラ姿勢検出装置。
【請求項７】
請求項１〜６のいずれかにおいて、
車両の所定距離の移動の有無を確認可能な確認用画像を表示装置に表示する表示処理手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項８】
請求項７において、
前記確認用画像には、車両の移動とともに確認用画像内で移動する目印マークと確認用画像内で表示位置が固定された補助線とが含まれており、車両の所定距離の移動が終了するタイミングで、前記目印マークが前記補助線を超えるように表示が行われることを特徴とする車載カメラ姿勢検出装置。
【請求項９】
請求項１〜８のいずれかにおいて、
前記カメラによって撮影された画像に基づいて、車両の所定距離の移動が終了したか否かを判定し、移動が終了したときに所定の通知を行う移動終了判定手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項１０】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出方法であって、
前記カメラで撮影された前記キャリブレーションシートの画像に基づいて前記カメラの姿勢を第１の姿勢推定手段によって推定し、
車両を所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像に基づいて前記カメラの姿勢を第２の姿勢推定手段によって推定し、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量をシートずれ量算出手段によって算出し、
前記第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢をカメラ姿勢決定手段によって決定することを特徴とする車載カメラ姿勢検出方法。
【請求項１】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、
前記移動前画像格納手段に格納された移動前画像に基づいて前記カメラの姿勢を推定する第１の姿勢推定手段と、
車両を所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、
前記移動後画像格納手段に格納された移動後画像に基づいて前記カメラの姿勢を推定する第２の姿勢推定手段と、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
を備えることを特徴とする車載カメラ姿勢検出装置。
【請求項２】
請求項１において、
車両を移動させる前記所定距離は、前記第１および第２の姿勢推定手段によって得られた姿勢推定値に基づいて算出することを特徴とする車載カメラ姿勢検出装置。
【請求項３】
請求項１または２において、
前記シートずれ量算出手段は、前記カメラが設計位置に設置されている場合を想定し、前記カメラの設計位置と、前記第１および第２の姿勢推定手段による推定結果と、前記キャリブレーションシートの所定位置からのずれ量との関係に基づいて、前記ずれ量の算出を行うことを特徴とする車載カメラ姿勢検出装置。
【請求項４】
請求項１〜３のいずれかにおいて、
前記カメラ姿勢決定手段は、前記第１および第２の姿勢推定手段によって推定されたカメラ角度と、実際のカメラ角度と、前記シートずれ量算出手段によって算出された前記キャリブレーションシートの回転方向のずれ量との関係に基づいて、前記実際のカメラ角度を決定することを特徴とする車載カメラ姿勢検出装置。
【請求項５】
請求項１〜４のいずれかにおいて、
前記カメラ姿勢決定手段は、前記第１の姿勢推定手段によって推定された姿勢推定値を用いて前記カメラの姿勢を決定することを特徴とする車載カメラ姿勢検出装置。
【請求項６】
請求項１〜５のいずれかにおいて、
前記車両の移動は直線状に行われることを特徴とする車載カメラ姿勢検出装置。
【請求項７】
請求項１〜６のいずれかにおいて、
車両の所定距離の移動の有無を確認可能な確認用画像を表示装置に表示する表示処理手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項８】
請求項７において、
前記確認用画像には、車両の移動とともに確認用画像内で移動する目印マークと確認用画像内で表示位置が固定された補助線とが含まれており、車両の所定距離の移動が終了するタイミングで、前記目印マークが前記補助線を超えるように表示が行われることを特徴とする車載カメラ姿勢検出装置。
【請求項９】
請求項１〜８のいずれかにおいて、
前記カメラによって撮影された画像に基づいて、車両の所定距離の移動が終了したか否かを判定し、移動が終了したときに所定の通知を行う移動終了判定手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項１０】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出方法であって、
前記カメラで撮影された前記キャリブレーションシートの画像に基づいて前記カメラの姿勢を第１の姿勢推定手段によって推定し、
車両を所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像に基づいて前記カメラの姿勢を第２の姿勢推定手段によって推定し、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量をシートずれ量算出手段によって算出し、
前記第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢をカメラ姿勢決定手段によって決定することを特徴とする車載カメラ姿勢検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１１５５（Ｐ２０１３−１１５５Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１３２３（Ｐ２０１１−１３１３２３）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
[ Back to top ]