車載カメラ姿勢検出装置
【課題】キャリブレーションシートに含まれる校正指標の位置を正確に検出することができる車載カメラ姿勢検出装置を提供すること。
【解決手段】車載カメラ姿勢検出装置１００は、カメラ１０で撮影されたキャリブレーションシート２００の画像を格納する移動前画像格納部２０等と、これらの画像に基づいてカメラ１０の姿勢を推定する移動前カメラ姿勢推定部２４等と備える。キャリブレーションシートは、大きい第１の校正指標２２０と小さい第２の校正指標２１０が含まれている。移動前カメラ姿勢推定部２４等は、第１および第２の校正指標２１０、２２０の位置を検出する校正指標中心位置検出部６０を有する。校正指標中心位置検出部６０は、第２の校正指標２１０の位置検出を行い、少なくとも一部について正常な位置検出ができなかったときに第１の校正指標２２０の位置検出を行う。
【解決手段】車載カメラ姿勢検出装置１００は、カメラ１０で撮影されたキャリブレーションシート２００の画像を格納する移動前画像格納部２０等と、これらの画像に基づいてカメラ１０の姿勢を推定する移動前カメラ姿勢推定部２４等と備える。キャリブレーションシートは、大きい第１の校正指標２２０と小さい第２の校正指標２１０が含まれている。移動前カメラ姿勢推定部２４等は、第１および第２の校正指標２１０、２２０の位置を検出する校正指標中心位置検出部６０を有する。校正指標中心位置検出部６０は、第２の校正指標２１０の位置検出を行い、少なくとも一部について正常な位置検出ができなかったときに第１の校正指標２２０の位置検出を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。
【０００３】
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３２６５号公報（第２−１１頁、図１−２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法では、キャリブレーションシートに含まれる複数の校正指標の中心位置を検出する必要があるが、カメラの取り付け高さ、角度やキャリブレーションシートの設置状態などによっては、キャリブレーションシートに含まれる複数の校正指標を良好に抽出できず、その位置検出ができないおそれがあるという問題があった。特に、魚眼レンズを用いたカメラでキャリブレーションシートを撮影する場合を考えると、撮影された画像の歪みが大きいため、車両から離れた位置にある校正指標については形がつぶれやすく、形がつぶれた場合にはその中心を算出することが困難となる。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、キャリブレーションシートに含まれる校正指標の位置を正確に検出することができる車載カメラ姿勢検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を格納する画像格納手段と、画像格納手段に格納された画像に基づいてカメラの姿勢を推定する姿勢推定手段と備え、キャリブレーションシートは、複数の第１の校正指標が複数列に配置されているとともに、撮影位置に配置されたときに少なくとも車両から遠い側の列を構成する第１の校正指標のそれぞれの内部には、第１の校正指標よりも小さい複数の第２の校正指標が含まれており、姿勢推定手段は、キャリブレーションシートに含まれる第１および第２の校正指標の位置を検出する校正指標位置検出手段を有し、校正指標位置検出手段は、第２の校正指標の位置検出を行い、少なくとも一部について正常な位置検出ができなかったときに第１の校正指標の位置検出を行っている。
【０００８】
これにより、撮影された画像において第２の校正指標の位置検出ができなかったときに、代わりにこの第２の校正指標よりも大きく、形がつぶれにくい第１の校正指標を用いて位置検出を行うことができるため、キャリブレーションシートに含まれる校正指標の位置を正確に検出することが可能となる。
【０００９】
また、上述した第１および第２の校正指標のそれぞれは円形状を有し、校正指標位置検出手段は、第１および第２の校正指標の中心位置を検出することが望ましい。円形状とすることにより、その中心位置の検出を正確に行うことが可能となる。
【００１０】
また、上述した画像格納手段は、車両の移動前および移動後の画像を格納する移動前画像格納手段および移動後画像格納手段を有し、姿勢推定手段は、車両の移動前の画像に基づいてカメラの姿勢を推定する第１の姿勢推定手段と車両の移動後の画像に基づいてカメラの姿勢を推定する第２の姿勢推定手段とを有し、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段とをさらに備えることが望ましい。特に、上述した車両の移動は、直線状であってキャリブレーションシートから遠ざかる向きに行われることが望ましい。車両の移動の前後でキャリブレーションシートを撮影する場合には、特に移動後に撮影した画像においてキャリブレーションシートが小さくなるが、このような場合であっても第２の校正指標に代えて大きい第１の校正指標を用いることにより、この第１の校正指標の位置検出を確実に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態の車載カメラ姿勢検出装置の構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションシートの具体例を示す図である。
【図４】カメラの姿勢を決定する概略的な動作手順を示す流れ図である。
【図５】３つのずれ量の関係を示す図である。
【図６】移動前カメラ姿勢推定部の詳細構成を示す図である。
【図７】座標変換の説明図である。
【図８】校正指標中心位置検出部によって校正指標の抽出を行う動作手順を示す流れ図である。
【図９】校正指標抽出の説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。
【００１３】
図１は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図１に示すように、本実施形態の車載カメラ姿勢検出装置１００は、カメラ１０、画像取込部１２、画像メモリ１４、移動前画像格納部２０、移動後画像格納部２２、移動前カメラ姿勢推定部２４、移動後カメラ姿勢推定部２６、移動距離算出部３０、ずれ量算出部３２、カメラ姿勢決定部３４、表示装置４０、表示処理部４２、補助線作成部４４、移動終了判定部４６、操作部５０を含んで構成されている。なお、この車載カメラ姿勢検出装置１００によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置１００の構成を他の装置に含ませるようにしてもよい。
【００１４】
カメラ１０は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。図２は、カメラ１０の具体的な設置例を示す図である。図２に示す例では、カメラ１０は、リアバンパーの中央に、水平から下向きに３０°の角度で取り付けられている。本実施形態では、このカメラ１０の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート２００が配置されている。
【００１５】
図３は、キャリブレーションシート２００の具体例を示す図である。図３に示すキャリブレーションシート２００は、校正指標（キャリブレーションマーク）としての１２個の小黒丸２１０、６個の大白丸２２０を含んでいる。大白丸２２０は、車両側から見て２列に、各列に３個が含まれるように配置されている。また、車両から遠い側の列を構成する３個の大白丸２２０のそれぞれには、２行２列に配置された４個の小黒丸２１０が含まれている。これらの小黒丸２１０や大白丸２２０は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心（円心）座標が求められて各種の演算に用いられる。６個の大白丸２２０が第１の校正指標に、１２個の小黒丸２１０が第２の校正指標にそれぞれ対応する。
【００１６】
画像取込部１２は、カメラ１０によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ１４に一旦格納される。本実施形態では、キャリブレーションシート２００を車両後方の所定位置に配置した状態でカメラ１０で車両移動前の１回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ１０で車両移動後の２回目の撮影を行う。
【００１７】
移動前画像格納部２０は、車両の移動前に取り込んで画像メモリ１４に格納された画像を読み出して移動前画像として格納する。また、移動後画像格納部２２は、車両の移動後に取り込んで画像メモリ１４に格納された画像を読み出して移動後画像として格納する。
【００１８】
移動前カメラ姿勢推定部２４は、移動前画像格納部２０に格納された移動前画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。ここで、ｘ１はＸ座標値、ｙ１はＹ座標値、ｚ１はＺ座標値、ｒｖ１はピッチ角、ｒｈ１はヨー角、ｒｒ１はロール角である。また、キャリブレーションシート２００が配置された地面と平行な面に沿って、互いに直交するＸ方向とＹ方向が設定され、地面と垂直な向きにＺ方向が設定されている。
【００１９】
移動後カメラ姿勢推定部２６は、移動後画像格納部２２に格納された移動後画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。ｘ２等の意味は、ｘ１等の意味と同じである。
【００２０】
移動距離算出部３０は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離ｄを算出する。
【００２１】
ずれ量算出部３２は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、キャリブレーションシート２００の正規位置（製品設計時に想定した理想的な設計位置）からのずれ量を算出する。
【００２２】
カメラ姿勢決定部３４は、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６の少なくとも一方によって得られた推定値と、ずれ量算出部３２によって算出されたずれ量とに基づいて、カメラ１０の姿勢を決定する。
【００２３】
表示処理部４２は、車両を移動させる際に、カメラ１０で撮影された画像を表示装置４０に表示する。補助線作成部４４は、車両を移動させる際の距離の目安となる補助線を作成する。この補助線は、表示処理部４２によって撮影画像に重ねられて表示される。移動終了判定部４６は、車両を所定距離移動させる際に移動の終了判定を行う。
【００２４】
操作部５０は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部１２による２回の画像の取り込みは、利用者が操作部５０を操作して行った取込指示に対応して行われる。
【００２５】
上述した移動前画像格納部２０が移動前画像格納手段に、移動後画像格納部２２が移動後画像格納手段に、移動前カメラ姿勢推定部２４が第１の姿勢推定手段に、移動後カメラ姿勢推定部２６が第２の姿勢推定手段に、ずれ量算出部３２がシートずれ量算出手段に、カメラ姿勢決定部３４がカメラ姿勢決定手段にそれぞれ対応する。
【００２６】
本実施形態の車載カメラ姿勢検出装置１００はこのような構成を有しており、次に、カメラ１０によってキャリブレーションシート２００を撮影して最終的にカメラ１０の姿勢を決定するまでの動作について説明する。
【００２７】
図４は、カメラ１０の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート２００を配置した状態で、カメラ１０による１回目の撮影が行われる（ステップ１００）。例えば、利用者が操作部５０を操作して１回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動前画像格納部２０は、画像メモリ１４から画像を読み出して移動前画像として格納する。
【００２８】
また、移動前カメラ姿勢推定部２４は、移動前画像格納部２０から移動前画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０２）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。
【００２９】
次に、車両を所定距離だけ移動させる（ステップ１０４）。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値（例えば２０ｃｍ）があるが、その近傍であれば理想値から多少ずれていても特に問題はない。
【００３０】
次に、カメラ１０による２回目の撮影が行われる（ステップ１０６）。例えば、利用者が操作部５０を操作して２回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動後画像格納部２２は、画像メモリ１４から画像を読み出して移動後画像として格納する。
【００３１】
また、移動後カメラ姿勢推定部２６は、移動後画像格納部２２から移動後画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０８）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。
【００３２】
次に、移動距離算出部３０は、ステップ１０２、１０８の推定動作によって得られた２つのカメラ位置に基づいて車両の移動距離ｄを算出する（ステップ１１０）。具体的には、移動距離算出部３０は、１回目の推定結果であるカメラ位置ｘ１，ｙ１と２回目の推定結果であるカメラ位置ｘ２，ｙ２を用いて、距離ｄを以下の式により算出する。
【００３３】
ｄ＝√（（ｘ１−ｘ２）2＋（ｙ１−ｙ２）2） …（１）
次に、ずれ量算出部３２は、キャリブレーションシート２００の設計位置からのずれ量Ｘ，Ｙ，Ｒを算出する（ステップ１１２）。ここで、ＸはＸ方向のずれ量、ＹはＹ方向のずれ量、Ｒは回転方向のずれ量である。図５は、３つのずれ量Ｘ，Ｙ，Ｒの関係を示す図である。図５において、Ａは設計位置に配置されたキャリブレーションシート２００内の一点を示しており、Ｂは実際に配置されたキャリブレーションシート２００内の対応点を示している。
【００３４】
車両を移動させる前にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動前の設計位置」と称する）をｘ，ｙとする。なお、ｚ方向の位置はキャリブレーションシート２００のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ１０の位置ｘ１，ｙ１と移動前の設計位置ｘ，ｙとの間には、
【００３５】
【数１】
【００３６】
の関係がある。
【００３７】
同様に、車両を移動させた後にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動後の設計位置」と称する）をｘ’，ｙ’とする。車両移動後に推定されたカメラ１０の位置ｘ２，ｙ２と移動後の設計位置ｘ’，ｙ’との間には、
【００３８】
【数２】
【００３９】
の関係がある。（２）式と（３）式を展開すると、
【００４０】
【数３】
【００４１】
となる。（４）式をキャリブレーションシート２００のずれ量（Ｘ，Ｙ，Ｒ）に着目して行列式で表すと、
【００４２】
【数４】
【００４３】
となる。この（５）式を変形すると以下の（６）式を得る。
【００４４】
【数５】
【００４５】
ところで、車両の移動をＹ方向に沿って行うものとすると、カメラ１０の移動前の設計位置ｘ，ｙと移動後の設計位置ｘ’，ｙ’との間には以下の関係がある。
【００４６】
ｘ’＝ｘ
ｙ’＝ｙ＋ｄ …（７）
すなわち、（６）式の右辺は全て既知の値であり、ずれ量算出部３２は（６）式を用いることでずれ量Ｘ，Ｙ，Ｒを算出することができる。
【００４７】
次に、カメラ姿勢決定部３４は、未知の値であるカメラ１０の角度ｒｖ（ピッチ角）、ｒｈ（ヨー角）、ｒｒ（ロール角）を算出する（ステップ１１４）。カメラ１０の実際の角度ｒｖ，ｒｈ，ｒｒと、推定値ｒｖ１，ｒｈ１，ｒｒ１と、キャリブレーションシート２００のずれ量Ｒとの関係は以下のように表すことができる。
【００４８】
Ｒｙ(Ｒ)・Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｘ(ｒｖ１)・Ｒｙ(ｒｒ１)・Ｒｚ(ｒｈ１) …（８）
ここで、Ｒｘ(ｒｖ)、Ｒｙ(ｒｈ)、Ｒｚ(ｒｒ)は、以下に示す回転行列である。
【００４９】
【数６】
【００５０】
（８）式を変形すると、以下のようになる。
【００５１】
Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｙ(−Ｒ)・Ｒｘ(ｒｖ１)・Ｒｙ(ｒｈ１)・Ｒｚ(ｒｈ１) …（１２）
（１２）式の右辺は全て既知の値なので、展開して以下のように置く。
【００５２】
【数７】
【００５３】
また、（１２）式の左辺を展開して（１３）式とともに解くと、以下のようになる。
【００５４】
【数８】
【００５５】
カメラ姿勢決定部３４は、このようにしてカメラ１０の角度ｒｖ，ｒｈ，ｒｒを算出する。
【００５６】
次に、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６は同じ構成を有しており、以下では移動前カメラ姿勢推定部２４の詳細について説明を行うものとする。
【００５７】
図６は、移動前カメラ姿勢推定部２４の詳細構成を示す図である。図６に示すように、移動前カメラ姿勢推定部２４は、校正指標中心位置検出部６０、校正指標座標記憶部６１、６３、座標変換部６２、構成指標間距離調整部６４、構成指標位置調整部６５、カメラ姿勢調整部６６とを含んで構成されている。校正指標中心位置検出部６０が校正指標位置検出手段に対応する。
【００５８】
校正指標中心位置検出部６０は、移動前画像格納部２０に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート２００内の校正指標を抽出し、その中心位置を検出する。例えば、校正指標中心位置検出部６０は、キャリブレーションシート２００に含まれる校正指標としての１２個の小黒丸２１０を画像認識により抽出し、小黒丸２１０の抽出ができなかった場合には、６個の大白丸２２０を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部６１に保存する。なお、この中心位置の座標値は、カメラ１０の光軸Ｓに垂直に画像平面（Ｕ−Ｖ座標系）が設定された魚眼座標系によって表されたものである。また、校正指標中心位置検出部６０による小黒丸２１０と大白丸２２０の選択的な抽出動作については後述する。
【００５９】
座標変換部６２は、各校正指標の中心座標値を、魚眼座標系から、地面をＸ−Ｙ平面、地面に垂直な向きをＺ方向とする基準座標系に変換し、校正指標座標記憶部６３に保存する。
【００６０】
図７は、座標変換の説明図である。図７において、Ｘ−Ｙ−Ｚは基準座標系を、Ｕ−Ｖ−Ｓは魚眼座標系をそれぞれ示している。また、図７において、ｘ１，ｙ１，ｚ１を魚眼座標系Ｕ−Ｖ−Ｓと基準座標系Ｘ−Ｙ−Ｚの原点間の距離、ｒｘ，ｒｙ，ｒｚを基準座標系Ｘ−Ｙ−Ｚに対するカメラ１０の各軸周りの回転量とすると、以下の式が成立する。但し、ｕ，ｖ，ｓは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からｍｍに変換するための係数である。
【００６１】
【数９】
【００６２】
図７（Ｂ）より、カメラ１０の光軸がＸ−Ｙ平面上のＰ点に向いているときのＸ軸周りの回転量はｒｖ（＝ｒｘ）、Ｙ軸周りの回転量はｒｈ（＝ｒｙ）、Ｚ軸周りの回転量はｒｒ（＝ｒｚ）である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
【００６３】
以後、校正指標間距離調整部６４、校正指標位置調整部６５、カメラ姿勢調整部６６は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにｒｖ，ｒｈ，ｒｒ，ｘ１，ｙ１，ｚ１を決定する。すなわち、最初に、校正指標間距離調整部６４およびカメラ姿勢調整部６６は、ｘ１，ｙ１，ｚ１を固定した状態でｒｖ，ｒｈ，ｒｒを変更しながら各校正指標間の中心座標値を（１５）式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるｒｖ，ｒｈ，ｒｒを求め、これらｒｖ，ｒｈ，ｒｒをカメラ角度として出力する。また、校正指標位置調整部６５およびカメラ姿勢調整部６６は、（１５）式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置（既知）と等しくなるｘ１，ｙ１，ｚ１を求め、カメラ位置として出力する。
【００６４】
具体的には、ｒｒを変更することにより校正指標の傾斜を調整することができ、ｒｈを変更することにより校正指標間の垂直方向の距離を調整することができ、ｒｖを変更することにより校正指標間の水平方向の距離を調整することができる。
【００６５】
したがって、最初、校正指標傾斜調整量決定部６４ａはｘ１，ｙ１，ｚ１を一定値（例えば０）としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角＝０となるようにｒｒを調整し、調整量Δｒｒをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｒ＝ｒｒ＋Δｒｒにより、新ｒｒを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部６４ａは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が０となるまで以上の処理を継続してｒｒの調整が行われる。
【００６６】
校正指標傾斜角度が０となるようにｒｒの調整が終了すれば、校正指標間距離算出部６４ｂは、各校正指標間のＸ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＸ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｈを調整し、調整量Δｒｈをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｈ＝ｒｈ＋Δｒｈより、新ｒｈを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＸ軸方向距離を計算し、各校正指標間のＸ軸方向距離が等しくなるまでｒｈの調整を行う。
【００６７】
ｒｈの調整が終了すれば、校正指標間距離算出部６４ｂは各校正指標間のＹ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＹ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｖを調整し、調整量Δｒｖをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６はｒｖ＝ｒｖ＋Δｒｖにより、新ｒｖを計算して座標変換部６２に入力する。これにより、座標変換部６２は（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＹ軸方向距離を計算し、各校正指標間のＹ軸方向の距離が等しくなるまでｒｖの調整を行う。
【００６８】
以上により、ｒｖ（＝ｒｖ１），ｒｈ（＝ｒｈ１），ｒｒ（＝ｒｒ１）の調整が完了すれば、校正指標間距離調整完了決定部６４ｄは取り付け角度調整完了信号ＤＡＪＥＤを出力する。
【００６９】
校正指標位置調整部６５は、取り付け角度調整完了信号ＤＡＪＥＤが発生すると、実際の校正指標中心位置（Ｘｓ，Ｙｓ）と等しくなるｘ１，ｙ１を（１５）式より求め、また、校正指標のサイズ（あるいは校正指標間距離）が実際の校正指標サイズ（あるいは校正指標間距離）と等しくなるようにｚ１を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部６６は、算出したカメラ角度ｒｖ１，ｒｈ１，ｒｒ１とカメラ位置ｘ１，ｙ１，ｚ１を、移動前カメラ姿勢推定部２４から出力する。
【００７０】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。
【００７１】
また、車両を移動させる所定距離ｄは、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６によって得られた推定値に基づいて算出しているため車両の移動距離ｄを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００７２】
次に、校正指標中心位置検出部６０によって行われる小黒丸２１０と大白丸２２０の選択的な抽出動作について説明する。図８は、校正指標中心位置検出部６０によって校正指標の抽出を行う動作手順を示す流れ図である。なお、以下では移動前カメラ姿勢推定部２４に含まれる校正指標中心位置検出部６０について説明するが、移動後カメラ姿勢推定部２６に含まれる校正指標中心位置検出部６０についても同じである。
【００７３】
まず、校正指標中心位置検出部６０は、移動前画像格納部２０に格納されている移動前画像を読み出し（ステップ２００）、この画像に含まれるキャリブレーションシート２００内の１２個の小黒丸２１０を抽出する（ステップ２０２）。次に、校正指標中心位置検出部６０は、１２個の小黒丸２１０が正常に抽出できたか否かを判定する（ステップ２０４）。ここで、「正常に抽出できたか」とは、小黒丸２１０の中心（円心）を正確に算出することができる程度に円形状の輪郭を抽出できたか、の意味である。
【００７４】
全部あるいは一部の小黒丸２１０について正常な抽出ができない場合にはステップ２０４の判定において否定判断が行われる。この場合には、次に、校正指標中心位置検出部６０は、小黒丸２１０に代えて、画像に含まれるキャリブレーションシート２００内の６個の大白丸２２０を抽出する（ステップ２０６）。その後、校正指標中心位置検出部６０は、抽出した小黒丸２１０あるいは大白丸２２０についてその中心位置を検出（算出）する（ステップ２０８）。
【００７５】
図９は、校正指標抽出の説明図である。図９（Ａ）には移動前画像が、図９（Ｂ）には移動後画像がそれぞれ示されている。図９（Ａ）に示すように、移動前画像は車両に近い位置にキャリブレーションシート２００が配置されて撮影されたものであるため、車両から遠い側に配置された１２個の小黒丸２１０を比較的容易に抽出することができる。このような場合には、図８のステップ２０４の判定において肯定判断が行われる。
【００７６】
一方、図９（Ｂ）に示すように、移動後画像は車両から遠い位置にキャリブレーションシート２００が配置された撮影されたものであるため、車両から遠い側に配置された１２個の小黒丸２１０の一部（小黒丸２１０Ａ）の形状がその周囲の輪郭（大白丸２２０）と重なりやすく、形状がつぶれてしまう。このような場合には、図８のステップ２０４の判定において否定判断が行われる。この場合には、小黒丸２１０の代わりに６個の大白丸２２０が抽出される。大白丸２２０は、小黒丸２１０に比べて大きいため、多少車両から遠い位置にキャリブレーションシート２００が配置された場合であっても、良好に識別可能であり、抽出が容易となる。
【００７７】
このように、本実施形態の車載カメラ姿勢検出装置１００では、撮影された画像においてキャリブレーションシート２００内の小黒丸２１０の位置検出ができなかったときに、代わりにこの小黒丸２１０よりも大きく、形がつぶれにくい大白丸２２０を用いて位置検出を行うことができるため、キャリブレーションシート２００に含まれる校正指標の位置を正確に検出することが可能となる。また、小黒丸２１０と大白丸２２０のそれぞれを円形状としてその中心位置を検出することにより、位置検出を正確に行うことが可能となる。
【００７８】
また、車両の移動の前後でキャリブレーションシート２００を撮影する場合には、特に移動後に撮影した画像においてキャリブレーションシート２００が小さくなるが、このような場合であっても小黒丸２１０に代えて大きい大白丸２２０を用いることにより、校正指標の位置検出を確実に行うことができる。
【００７９】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部２０および移動前カメラ姿勢推定部２４と、移動後画像格納部２２および移動後カメラ姿勢推定部２６とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
【００８０】
また、上述した実施形態では、車両後方を撮影するカメラ１０について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
【００８１】
また、上述した実施形態では、車両を移動させてその前後でキャリブレーションシート２００を撮影したが、固定位置に設置したキャリブレーションシート２００を１回だけ撮影する場合にも本発明を適用することができる。この場合には、最初に車両から遠い側に配置された小黒丸２１０の抽出を行い、抽出に失敗したときに２列合計６個の大白丸２２０の抽出を行えばよい。
【００８２】
また、上述した実施形態では、図８に示すステップ２０４の判定において、１２個の小黒丸２１０の一部が抽出できない場合でも否定判断が行われるようにしたが、抽出できない小黒丸２１０の数が所定値を越えたときに否定判断を行うようにしてもよい。また、小黒丸２１０の一部が抽出できない場合に、代わりに大白丸２２０のみを用いるようにしたが、これらの両方を用いるようにしてもよい。
【００８３】
また、上述した実施形態では、大白丸２２０を車両から見て前後２列に配置したが、３列以上に配置するようにしてもよい。この場合に、車両から最も遠い列の大白丸２２０のみに小黒丸２１０を含ませたり、遠い側の２列以上について大白丸２２０に小黒丸２１０を含ませる場合などが考えられる。
【産業上の利用可能性】
【００８４】
上述したように、本発明によれば、撮影された画像において第２の校正指標としての小黒丸２１０の位置検出ができなかったときに、代わりにこの第２の校正指標よりも大きく、形がつぶれにくい第１の校正指標としての大白丸２２０を用いて位置検出を行うことができるため、キャリブレーションシート２００に含まれる校正指標の位置を正確に検出することが可能となる。
【符号の説明】
【００８５】
１０ カメラ
１２ 画像取込部
１４ 画像メモリ
２０ 移動前画像格納部
２２ 移動後画像格納部
２４ 移動前カメラ姿勢推定部
２６ 移動後カメラ姿勢推定部
３０ 移動距離算出部
３２ ずれ量算出部
３４ カメラ姿勢決定部
４０ 表示装置
４２ 表示処理部
４４ 補助線作成部
４６ 移動終了判定部
５０ 操作部
１００ 車載カメラ姿勢検出装置
２００ キャリブレーションシート
【技術分野】
【０００１】
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。
【０００３】
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３２６５号公報（第２−１１頁、図１−２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法では、キャリブレーションシートに含まれる複数の校正指標の中心位置を検出する必要があるが、カメラの取り付け高さ、角度やキャリブレーションシートの設置状態などによっては、キャリブレーションシートに含まれる複数の校正指標を良好に抽出できず、その位置検出ができないおそれがあるという問題があった。特に、魚眼レンズを用いたカメラでキャリブレーションシートを撮影する場合を考えると、撮影された画像の歪みが大きいため、車両から離れた位置にある校正指標については形がつぶれやすく、形がつぶれた場合にはその中心を算出することが困難となる。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、キャリブレーションシートに含まれる校正指標の位置を正確に検出することができる車載カメラ姿勢検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を格納する画像格納手段と、画像格納手段に格納された画像に基づいてカメラの姿勢を推定する姿勢推定手段と備え、キャリブレーションシートは、複数の第１の校正指標が複数列に配置されているとともに、撮影位置に配置されたときに少なくとも車両から遠い側の列を構成する第１の校正指標のそれぞれの内部には、第１の校正指標よりも小さい複数の第２の校正指標が含まれており、姿勢推定手段は、キャリブレーションシートに含まれる第１および第２の校正指標の位置を検出する校正指標位置検出手段を有し、校正指標位置検出手段は、第２の校正指標の位置検出を行い、少なくとも一部について正常な位置検出ができなかったときに第１の校正指標の位置検出を行っている。
【０００８】
これにより、撮影された画像において第２の校正指標の位置検出ができなかったときに、代わりにこの第２の校正指標よりも大きく、形がつぶれにくい第１の校正指標を用いて位置検出を行うことができるため、キャリブレーションシートに含まれる校正指標の位置を正確に検出することが可能となる。
【０００９】
また、上述した第１および第２の校正指標のそれぞれは円形状を有し、校正指標位置検出手段は、第１および第２の校正指標の中心位置を検出することが望ましい。円形状とすることにより、その中心位置の検出を正確に行うことが可能となる。
【００１０】
また、上述した画像格納手段は、車両の移動前および移動後の画像を格納する移動前画像格納手段および移動後画像格納手段を有し、姿勢推定手段は、車両の移動前の画像に基づいてカメラの姿勢を推定する第１の姿勢推定手段と車両の移動後の画像に基づいてカメラの姿勢を推定する第２の姿勢推定手段とを有し、第１および第２の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段とをさらに備えることが望ましい。特に、上述した車両の移動は、直線状であってキャリブレーションシートから遠ざかる向きに行われることが望ましい。車両の移動の前後でキャリブレーションシートを撮影する場合には、特に移動後に撮影した画像においてキャリブレーションシートが小さくなるが、このような場合であっても第２の校正指標に代えて大きい第１の校正指標を用いることにより、この第１の校正指標の位置検出を確実に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態の車載カメラ姿勢検出装置の構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションシートの具体例を示す図である。
【図４】カメラの姿勢を決定する概略的な動作手順を示す流れ図である。
【図５】３つのずれ量の関係を示す図である。
【図６】移動前カメラ姿勢推定部の詳細構成を示す図である。
【図７】座標変換の説明図である。
【図８】校正指標中心位置検出部によって校正指標の抽出を行う動作手順を示す流れ図である。
【図９】校正指標抽出の説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。
【００１３】
図１は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図１に示すように、本実施形態の車載カメラ姿勢検出装置１００は、カメラ１０、画像取込部１２、画像メモリ１４、移動前画像格納部２０、移動後画像格納部２２、移動前カメラ姿勢推定部２４、移動後カメラ姿勢推定部２６、移動距離算出部３０、ずれ量算出部３２、カメラ姿勢決定部３４、表示装置４０、表示処理部４２、補助線作成部４４、移動終了判定部４６、操作部５０を含んで構成されている。なお、この車載カメラ姿勢検出装置１００によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置１００の構成を他の装置に含ませるようにしてもよい。
【００１４】
カメラ１０は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。図２は、カメラ１０の具体的な設置例を示す図である。図２に示す例では、カメラ１０は、リアバンパーの中央に、水平から下向きに３０°の角度で取り付けられている。本実施形態では、このカメラ１０の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート２００が配置されている。
【００１５】
図３は、キャリブレーションシート２００の具体例を示す図である。図３に示すキャリブレーションシート２００は、校正指標（キャリブレーションマーク）としての１２個の小黒丸２１０、６個の大白丸２２０を含んでいる。大白丸２２０は、車両側から見て２列に、各列に３個が含まれるように配置されている。また、車両から遠い側の列を構成する３個の大白丸２２０のそれぞれには、２行２列に配置された４個の小黒丸２１０が含まれている。これらの小黒丸２１０や大白丸２２０は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心（円心）座標が求められて各種の演算に用いられる。６個の大白丸２２０が第１の校正指標に、１２個の小黒丸２１０が第２の校正指標にそれぞれ対応する。
【００１６】
画像取込部１２は、カメラ１０によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ１４に一旦格納される。本実施形態では、キャリブレーションシート２００を車両後方の所定位置に配置した状態でカメラ１０で車両移動前の１回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ１０で車両移動後の２回目の撮影を行う。
【００１７】
移動前画像格納部２０は、車両の移動前に取り込んで画像メモリ１４に格納された画像を読み出して移動前画像として格納する。また、移動後画像格納部２２は、車両の移動後に取り込んで画像メモリ１４に格納された画像を読み出して移動後画像として格納する。
【００１８】
移動前カメラ姿勢推定部２４は、移動前画像格納部２０に格納された移動前画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。ここで、ｘ１はＸ座標値、ｙ１はＹ座標値、ｚ１はＺ座標値、ｒｖ１はピッチ角、ｒｈ１はヨー角、ｒｒ１はロール角である。また、キャリブレーションシート２００が配置された地面と平行な面に沿って、互いに直交するＸ方向とＹ方向が設定され、地面と垂直な向きにＺ方向が設定されている。
【００１９】
移動後カメラ姿勢推定部２６は、移動後画像格納部２２に格納された移動後画像に基づいて、キャリブレーションシート２００内の校正指標の位置を基準にしてカメラ１０の姿勢を推定する。姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。ｘ２等の意味は、ｘ１等の意味と同じである。
【００２０】
移動距離算出部３０は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離ｄを算出する。
【００２１】
ずれ量算出部３２は、移動前カメラ姿勢推定部２４によって得られた姿勢の推定値と移動後カメラ姿勢推定部２６によって得られた姿勢の推定値とに基づいて、キャリブレーションシート２００の正規位置（製品設計時に想定した理想的な設計位置）からのずれ量を算出する。
【００２２】
カメラ姿勢決定部３４は、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６の少なくとも一方によって得られた推定値と、ずれ量算出部３２によって算出されたずれ量とに基づいて、カメラ１０の姿勢を決定する。
【００２３】
表示処理部４２は、車両を移動させる際に、カメラ１０で撮影された画像を表示装置４０に表示する。補助線作成部４４は、車両を移動させる際の距離の目安となる補助線を作成する。この補助線は、表示処理部４２によって撮影画像に重ねられて表示される。移動終了判定部４６は、車両を所定距離移動させる際に移動の終了判定を行う。
【００２４】
操作部５０は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部１２による２回の画像の取り込みは、利用者が操作部５０を操作して行った取込指示に対応して行われる。
【００２５】
上述した移動前画像格納部２０が移動前画像格納手段に、移動後画像格納部２２が移動後画像格納手段に、移動前カメラ姿勢推定部２４が第１の姿勢推定手段に、移動後カメラ姿勢推定部２６が第２の姿勢推定手段に、ずれ量算出部３２がシートずれ量算出手段に、カメラ姿勢決定部３４がカメラ姿勢決定手段にそれぞれ対応する。
【００２６】
本実施形態の車載カメラ姿勢検出装置１００はこのような構成を有しており、次に、カメラ１０によってキャリブレーションシート２００を撮影して最終的にカメラ１０の姿勢を決定するまでの動作について説明する。
【００２７】
図４は、カメラ１０の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート２００を配置した状態で、カメラ１０による１回目の撮影が行われる（ステップ１００）。例えば、利用者が操作部５０を操作して１回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動前画像格納部２０は、画像メモリ１４から画像を読み出して移動前画像として格納する。
【００２８】
また、移動前カメラ姿勢推定部２４は、移動前画像格納部２０から移動前画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０２）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ１，ｙ１，ｚ１とカメラ角度ｒｖ１，ｒｈ１，ｒｒ１が得られる。
【００２９】
次に、車両を所定距離だけ移動させる（ステップ１０４）。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値（例えば２０ｃｍ）があるが、その近傍であれば理想値から多少ずれていても特に問題はない。
【００３０】
次に、カメラ１０による２回目の撮影が行われる（ステップ１０６）。例えば、利用者が操作部５０を操作して２回目の取込指示を行う。画像取込部１２は、この取込指示に応じてカメラ１０で撮影された画像を取り込み、画像メモリ１４に格納する。また、移動後画像格納部２２は、画像メモリ１４から画像を読み出して移動後画像として格納する。
【００３１】
また、移動後カメラ姿勢推定部２６は、移動後画像格納部２２から移動後画像を読み出し、カメラ１０の姿勢を推定する（ステップ１０８）。これにより、カメラ１０の姿勢の推定値として、カメラ位置ｘ２，ｙ２，ｚ２とカメラ角度ｒｖ２，ｒｈ２，ｒｒ２が得られる。
【００３２】
次に、移動距離算出部３０は、ステップ１０２、１０８の推定動作によって得られた２つのカメラ位置に基づいて車両の移動距離ｄを算出する（ステップ１１０）。具体的には、移動距離算出部３０は、１回目の推定結果であるカメラ位置ｘ１，ｙ１と２回目の推定結果であるカメラ位置ｘ２，ｙ２を用いて、距離ｄを以下の式により算出する。
【００３３】
ｄ＝√（（ｘ１−ｘ２）2＋（ｙ１−ｙ２）2） …（１）
次に、ずれ量算出部３２は、キャリブレーションシート２００の設計位置からのずれ量Ｘ，Ｙ，Ｒを算出する（ステップ１１２）。ここで、ＸはＸ方向のずれ量、ＹはＹ方向のずれ量、Ｒは回転方向のずれ量である。図５は、３つのずれ量Ｘ，Ｙ，Ｒの関係を示す図である。図５において、Ａは設計位置に配置されたキャリブレーションシート２００内の一点を示しており、Ｂは実際に配置されたキャリブレーションシート２００内の対応点を示している。
【００３４】
車両を移動させる前にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動前の設計位置」と称する）をｘ，ｙとする。なお、ｚ方向の位置はキャリブレーションシート２００のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ１０の位置ｘ１，ｙ１と移動前の設計位置ｘ，ｙとの間には、
【００３５】
【数１】
【００３６】
の関係がある。
【００３７】
同様に、車両を移動させた後にキャリブレーションシート２００を設計位置に配置したと仮定したときに得られるカメラ１０の位置（この位置を「移動後の設計位置」と称する）をｘ’，ｙ’とする。車両移動後に推定されたカメラ１０の位置ｘ２，ｙ２と移動後の設計位置ｘ’，ｙ’との間には、
【００３８】
【数２】
【００３９】
の関係がある。（２）式と（３）式を展開すると、
【００４０】
【数３】
【００４１】
となる。（４）式をキャリブレーションシート２００のずれ量（Ｘ，Ｙ，Ｒ）に着目して行列式で表すと、
【００４２】
【数４】
【００４３】
となる。この（５）式を変形すると以下の（６）式を得る。
【００４４】
【数５】
【００４５】
ところで、車両の移動をＹ方向に沿って行うものとすると、カメラ１０の移動前の設計位置ｘ，ｙと移動後の設計位置ｘ’，ｙ’との間には以下の関係がある。
【００４６】
ｘ’＝ｘ
ｙ’＝ｙ＋ｄ …（７）
すなわち、（６）式の右辺は全て既知の値であり、ずれ量算出部３２は（６）式を用いることでずれ量Ｘ，Ｙ，Ｒを算出することができる。
【００４７】
次に、カメラ姿勢決定部３４は、未知の値であるカメラ１０の角度ｒｖ（ピッチ角）、ｒｈ（ヨー角）、ｒｒ（ロール角）を算出する（ステップ１１４）。カメラ１０の実際の角度ｒｖ，ｒｈ，ｒｒと、推定値ｒｖ１，ｒｈ１，ｒｒ１と、キャリブレーションシート２００のずれ量Ｒとの関係は以下のように表すことができる。
【００４８】
Ｒｙ(Ｒ)・Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｘ(ｒｖ１)・Ｒｙ(ｒｒ１)・Ｒｚ(ｒｈ１) …（８）
ここで、Ｒｘ(ｒｖ)、Ｒｙ(ｒｈ)、Ｒｚ(ｒｒ)は、以下に示す回転行列である。
【００４９】
【数６】
【００５０】
（８）式を変形すると、以下のようになる。
【００５１】
Ｒｘ(ｒｖ)・Ｒｙ(ｒｈ)・Ｒｚ(ｒｒ)
＝Ｒｙ(−Ｒ)・Ｒｘ(ｒｖ１)・Ｒｙ(ｒｈ１)・Ｒｚ(ｒｈ１) …（１２）
（１２）式の右辺は全て既知の値なので、展開して以下のように置く。
【００５２】
【数７】
【００５３】
また、（１２）式の左辺を展開して（１３）式とともに解くと、以下のようになる。
【００５４】
【数８】
【００５５】
カメラ姿勢決定部３４は、このようにしてカメラ１０の角度ｒｖ，ｒｈ，ｒｒを算出する。
【００５６】
次に、移動前カメラ姿勢推定部２４および移動後カメラ姿勢推定部２６によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６は同じ構成を有しており、以下では移動前カメラ姿勢推定部２４の詳細について説明を行うものとする。
【００５７】
図６は、移動前カメラ姿勢推定部２４の詳細構成を示す図である。図６に示すように、移動前カメラ姿勢推定部２４は、校正指標中心位置検出部６０、校正指標座標記憶部６１、６３、座標変換部６２、構成指標間距離調整部６４、構成指標位置調整部６５、カメラ姿勢調整部６６とを含んで構成されている。校正指標中心位置検出部６０が校正指標位置検出手段に対応する。
【００５８】
校正指標中心位置検出部６０は、移動前画像格納部２０に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート２００内の校正指標を抽出し、その中心位置を検出する。例えば、校正指標中心位置検出部６０は、キャリブレーションシート２００に含まれる校正指標としての１２個の小黒丸２１０を画像認識により抽出し、小黒丸２１０の抽出ができなかった場合には、６個の大白丸２２０を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部６１に保存する。なお、この中心位置の座標値は、カメラ１０の光軸Ｓに垂直に画像平面（Ｕ−Ｖ座標系）が設定された魚眼座標系によって表されたものである。また、校正指標中心位置検出部６０による小黒丸２１０と大白丸２２０の選択的な抽出動作については後述する。
【００５９】
座標変換部６２は、各校正指標の中心座標値を、魚眼座標系から、地面をＸ−Ｙ平面、地面に垂直な向きをＺ方向とする基準座標系に変換し、校正指標座標記憶部６３に保存する。
【００６０】
図７は、座標変換の説明図である。図７において、Ｘ−Ｙ−Ｚは基準座標系を、Ｕ−Ｖ−Ｓは魚眼座標系をそれぞれ示している。また、図７において、ｘ１，ｙ１，ｚ１を魚眼座標系Ｕ−Ｖ−Ｓと基準座標系Ｘ−Ｙ−Ｚの原点間の距離、ｒｘ，ｒｙ，ｒｚを基準座標系Ｘ−Ｙ−Ｚに対するカメラ１０の各軸周りの回転量とすると、以下の式が成立する。但し、ｕ，ｖ，ｓは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からｍｍに変換するための係数である。
【００６１】
【数９】
【００６２】
図７（Ｂ）より、カメラ１０の光軸がＸ−Ｙ平面上のＰ点に向いているときのＸ軸周りの回転量はｒｖ（＝ｒｘ）、Ｙ軸周りの回転量はｒｈ（＝ｒｙ）、Ｚ軸周りの回転量はｒｒ（＝ｒｚ）である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
【００６３】
以後、校正指標間距離調整部６４、校正指標位置調整部６５、カメラ姿勢調整部６６は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにｒｖ，ｒｈ，ｒｒ，ｘ１，ｙ１，ｚ１を決定する。すなわち、最初に、校正指標間距離調整部６４およびカメラ姿勢調整部６６は、ｘ１，ｙ１，ｚ１を固定した状態でｒｖ，ｒｈ，ｒｒを変更しながら各校正指標間の中心座標値を（１５）式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるｒｖ，ｒｈ，ｒｒを求め、これらｒｖ，ｒｈ，ｒｒをカメラ角度として出力する。また、校正指標位置調整部６５およびカメラ姿勢調整部６６は、（１５）式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置（既知）と等しくなるｘ１，ｙ１，ｚ１を求め、カメラ位置として出力する。
【００６４】
具体的には、ｒｒを変更することにより校正指標の傾斜を調整することができ、ｒｈを変更することにより校正指標間の垂直方向の距離を調整することができ、ｒｖを変更することにより校正指標間の水平方向の距離を調整することができる。
【００６５】
したがって、最初、校正指標傾斜調整量決定部６４ａはｘ１，ｙ１，ｚ１を一定値（例えば０）としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角＝０となるようにｒｒを調整し、調整量Δｒｒをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｒ＝ｒｒ＋Δｒｒにより、新ｒｒを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部６４ａは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が０となるまで以上の処理を継続してｒｒの調整が行われる。
【００６６】
校正指標傾斜角度が０となるようにｒｒの調整が終了すれば、校正指標間距離算出部６４ｂは、各校正指標間のＸ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＸ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｈを調整し、調整量Δｒｈをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６は、ｒｈ＝ｒｈ＋Δｒｈより、新ｒｈを計算して座標変換部６２に入力する。これにより、座標変換部６２は、（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＸ軸方向距離を計算し、各校正指標間のＸ軸方向距離が等しくなるまでｒｈの調整を行う。
【００６７】
ｒｈの調整が終了すれば、校正指標間距離算出部６４ｂは各校正指標間のＹ軸方向の距離を計算し、校正指標間距離調整完了決定部６４ｄは各校正指標間のＹ軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部６４ｃに調整指示信号を入力する。これにより、校正指標間距離調整量決定部６４ｃはｒｖを調整し、調整量Δｒｖをカメラ姿勢調整部６６に入力する。カメラ姿勢調整部６６はｒｖ＝ｒｖ＋Δｒｖにより、新ｒｖを計算して座標変換部６２に入力する。これにより、座標変換部６２は（１５）式により各校正指標の中心座標値を計算し、校正指標間距離算出部６４ｂは各校正指標の中心座標値を用いて各校正指標間のＹ軸方向距離を計算し、各校正指標間のＹ軸方向の距離が等しくなるまでｒｖの調整を行う。
【００６８】
以上により、ｒｖ（＝ｒｖ１），ｒｈ（＝ｒｈ１），ｒｒ（＝ｒｒ１）の調整が完了すれば、校正指標間距離調整完了決定部６４ｄは取り付け角度調整完了信号ＤＡＪＥＤを出力する。
【００６９】
校正指標位置調整部６５は、取り付け角度調整完了信号ＤＡＪＥＤが発生すると、実際の校正指標中心位置（Ｘｓ，Ｙｓ）と等しくなるｘ１，ｙ１を（１５）式より求め、また、校正指標のサイズ（あるいは校正指標間距離）が実際の校正指標サイズ（あるいは校正指標間距離）と等しくなるようにｚ１を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部６６は、算出したカメラ角度ｒｖ１，ｒｈ１，ｒｒ１とカメラ位置ｘ１，ｙ１，ｚ１を、移動前カメラ姿勢推定部２４から出力する。
【００７０】
このように、本実施形態の車載カメラ姿勢検出装置１００では、車両を移動させる前後の画像に基づいてキャリブレーションシート２００の所定位置（設計位置）からのずれ量を算出しているため、このキャリブレーションシート２００のずれによる影響を取り除くことができ、カメラ１０の姿勢を正確に検出することが可能となる。
【００７１】
また、車両を移動させる所定距離ｄは、移動前カメラ姿勢推定部２４と移動後カメラ姿勢推定部２６によって得られた推定値に基づいて算出しているため車両の移動距離ｄを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
【００７２】
次に、校正指標中心位置検出部６０によって行われる小黒丸２１０と大白丸２２０の選択的な抽出動作について説明する。図８は、校正指標中心位置検出部６０によって校正指標の抽出を行う動作手順を示す流れ図である。なお、以下では移動前カメラ姿勢推定部２４に含まれる校正指標中心位置検出部６０について説明するが、移動後カメラ姿勢推定部２６に含まれる校正指標中心位置検出部６０についても同じである。
【００７３】
まず、校正指標中心位置検出部６０は、移動前画像格納部２０に格納されている移動前画像を読み出し（ステップ２００）、この画像に含まれるキャリブレーションシート２００内の１２個の小黒丸２１０を抽出する（ステップ２０２）。次に、校正指標中心位置検出部６０は、１２個の小黒丸２１０が正常に抽出できたか否かを判定する（ステップ２０４）。ここで、「正常に抽出できたか」とは、小黒丸２１０の中心（円心）を正確に算出することができる程度に円形状の輪郭を抽出できたか、の意味である。
【００７４】
全部あるいは一部の小黒丸２１０について正常な抽出ができない場合にはステップ２０４の判定において否定判断が行われる。この場合には、次に、校正指標中心位置検出部６０は、小黒丸２１０に代えて、画像に含まれるキャリブレーションシート２００内の６個の大白丸２２０を抽出する（ステップ２０６）。その後、校正指標中心位置検出部６０は、抽出した小黒丸２１０あるいは大白丸２２０についてその中心位置を検出（算出）する（ステップ２０８）。
【００７５】
図９は、校正指標抽出の説明図である。図９（Ａ）には移動前画像が、図９（Ｂ）には移動後画像がそれぞれ示されている。図９（Ａ）に示すように、移動前画像は車両に近い位置にキャリブレーションシート２００が配置されて撮影されたものであるため、車両から遠い側に配置された１２個の小黒丸２１０を比較的容易に抽出することができる。このような場合には、図８のステップ２０４の判定において肯定判断が行われる。
【００７６】
一方、図９（Ｂ）に示すように、移動後画像は車両から遠い位置にキャリブレーションシート２００が配置された撮影されたものであるため、車両から遠い側に配置された１２個の小黒丸２１０の一部（小黒丸２１０Ａ）の形状がその周囲の輪郭（大白丸２２０）と重なりやすく、形状がつぶれてしまう。このような場合には、図８のステップ２０４の判定において否定判断が行われる。この場合には、小黒丸２１０の代わりに６個の大白丸２２０が抽出される。大白丸２２０は、小黒丸２１０に比べて大きいため、多少車両から遠い位置にキャリブレーションシート２００が配置された場合であっても、良好に識別可能であり、抽出が容易となる。
【００７７】
このように、本実施形態の車載カメラ姿勢検出装置１００では、撮影された画像においてキャリブレーションシート２００内の小黒丸２１０の位置検出ができなかったときに、代わりにこの小黒丸２１０よりも大きく、形がつぶれにくい大白丸２２０を用いて位置検出を行うことができるため、キャリブレーションシート２００に含まれる校正指標の位置を正確に検出することが可能となる。また、小黒丸２１０と大白丸２２０のそれぞれを円形状としてその中心位置を検出することにより、位置検出を正確に行うことが可能となる。
【００７８】
また、車両の移動の前後でキャリブレーションシート２００を撮影する場合には、特に移動後に撮影した画像においてキャリブレーションシート２００が小さくなるが、このような場合であっても小黒丸２１０に代えて大きい大白丸２２０を用いることにより、校正指標の位置検出を確実に行うことができる。
【００７９】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部２０および移動前カメラ姿勢推定部２４と、移動後画像格納部２２および移動後カメラ姿勢推定部２６とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
【００８０】
また、上述した実施形態では、車両後方を撮影するカメラ１０について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
【００８１】
また、上述した実施形態では、車両を移動させてその前後でキャリブレーションシート２００を撮影したが、固定位置に設置したキャリブレーションシート２００を１回だけ撮影する場合にも本発明を適用することができる。この場合には、最初に車両から遠い側に配置された小黒丸２１０の抽出を行い、抽出に失敗したときに２列合計６個の大白丸２２０の抽出を行えばよい。
【００８２】
また、上述した実施形態では、図８に示すステップ２０４の判定において、１２個の小黒丸２１０の一部が抽出できない場合でも否定判断が行われるようにしたが、抽出できない小黒丸２１０の数が所定値を越えたときに否定判断を行うようにしてもよい。また、小黒丸２１０の一部が抽出できない場合に、代わりに大白丸２２０のみを用いるようにしたが、これらの両方を用いるようにしてもよい。
【００８３】
また、上述した実施形態では、大白丸２２０を車両から見て前後２列に配置したが、３列以上に配置するようにしてもよい。この場合に、車両から最も遠い列の大白丸２２０のみに小黒丸２１０を含ませたり、遠い側の２列以上について大白丸２２０に小黒丸２１０を含ませる場合などが考えられる。
【産業上の利用可能性】
【００８４】
上述したように、本発明によれば、撮影された画像において第２の校正指標としての小黒丸２１０の位置検出ができなかったときに、代わりにこの第２の校正指標よりも大きく、形がつぶれにくい第１の校正指標としての大白丸２２０を用いて位置検出を行うことができるため、キャリブレーションシート２００に含まれる校正指標の位置を正確に検出することが可能となる。
【符号の説明】
【００８５】
１０ カメラ
１２ 画像取込部
１４ 画像メモリ
２０ 移動前画像格納部
２２ 移動後画像格納部
２４ 移動前カメラ姿勢推定部
２６ 移動後カメラ姿勢推定部
３０ 移動距離算出部
３２ ずれ量算出部
３４ カメラ姿勢決定部
４０ 表示装置
４２ 表示処理部
４４ 補助線作成部
４６ 移動終了判定部
５０ 操作部
１００ 車載カメラ姿勢検出装置
２００ キャリブレーションシート
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を格納する画像格納手段と、前記画像格納手段に格納された画像に基づいて前記カメラの姿勢を推定する姿勢推定手段と備え、
前記キャリブレーションシートは、複数の第１の校正指標が複数列に配置されているとともに、撮影位置に配置されたときに少なくとも車両から遠い側の列を構成する前記第１の校正指標のそれぞれの内部には、前記第１の校正指標よりも小さい複数の第２の校正指標が含まれており、
前記姿勢推定手段は、前記キャリブレーションシートに含まれる前記第１および第２の校正指標の位置を検出する校正指標位置検出手段を有し、
前記校正指標位置検出手段は、前記第２の校正指標の位置検出を行い、少なくとも一部について正常な位置検出ができなかったときに前記第１の校正指標の位置検出を行うことを特徴とする車載カメラ姿勢検出装置。
【請求項２】
請求項１において、
前記第１および第２の校正指標のそれぞれは円形状を有し、
前記校正指標位置検出手段は、前記第１および第２の校正指標の中心位置を検出することを特徴とする車載カメラ姿勢検出装置。
【請求項３】
請求項１または２において、
前記画像格納手段は、車両の移動前および移動後の画像を格納する移動前画像格納手段および移動後画像格納手段を有し、
前記姿勢推定手段は、車両の移動前の画像に基づいて前記カメラの姿勢を推定する第１の姿勢推定手段と車両の移動後の画像に基づいて前記カメラの姿勢を推定する第２の姿勢推定手段とを有し、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項４】
請求項３において、
前記車両の移動は、直線状であって前記キャリブレーションシートから遠ざかる向きに行われることを特徴とする車載カメラ姿勢検出装置。
【請求項１】
車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を格納する画像格納手段と、前記画像格納手段に格納された画像に基づいて前記カメラの姿勢を推定する姿勢推定手段と備え、
前記キャリブレーションシートは、複数の第１の校正指標が複数列に配置されているとともに、撮影位置に配置されたときに少なくとも車両から遠い側の列を構成する前記第１の校正指標のそれぞれの内部には、前記第１の校正指標よりも小さい複数の第２の校正指標が含まれており、
前記姿勢推定手段は、前記キャリブレーションシートに含まれる前記第１および第２の校正指標の位置を検出する校正指標位置検出手段を有し、
前記校正指標位置検出手段は、前記第２の校正指標の位置検出を行い、少なくとも一部について正常な位置検出ができなかったときに前記第１の校正指標の位置検出を行うことを特徴とする車載カメラ姿勢検出装置。
【請求項２】
請求項１において、
前記第１および第２の校正指標のそれぞれは円形状を有し、
前記校正指標位置検出手段は、前記第１および第２の校正指標の中心位置を検出することを特徴とする車載カメラ姿勢検出装置。
【請求項３】
請求項１または２において、
前記画像格納手段は、車両の移動前および移動後の画像を格納する移動前画像格納手段および移動後画像格納手段を有し、
前記姿勢推定手段は、車両の移動前の画像に基づいて前記カメラの姿勢を推定する第１の姿勢推定手段と車両の移動後の画像に基づいて前記カメラの姿勢を推定する第２の姿勢推定手段とを有し、
前記第１および第２の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第１および第２の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
をさらに備えることを特徴とする車載カメラ姿勢検出装置。
【請求項４】
請求項３において、
前記車両の移動は、直線状であって前記キャリブレーションシートから遠ざかる向きに行われることを特徴とする車載カメラ姿勢検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５０３５（Ｐ２０１３−５０３５Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１３６３（Ｐ２０１１−１３１３６３）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]