ステレオカメラ較正装置およびステレオカメラ較正方法
【課題】マーカを設置するための較正用ポールの本数を少なくする。
【解決手段】回転可能であり、回転角の調整によって電子カメラによる第1、第2マーカの撮影を可能とする可動ミラーと、可動ミラーの回転角を取得する回転角取得装置12と、電子カメラの撮像面に対する第1、第2マーカの投影点の位置を検出する投影点検出装置13と、電子カメラのカメラ要素の相対的な位置関係、可動ミラーの回転中心軸の位置および第1、第2マーカの位置を記憶する記憶部15と、カメラ要素の相対的な位置関係、回転中心軸の位置、第1、第2マーカの位置、可動ミラーの回転角および第1、第2マーカの投影点の位置から電子カメラの位置および向きを算出するカメラ位置算出部18とを設ける。
【解決手段】回転可能であり、回転角の調整によって電子カメラによる第1、第2マーカの撮影を可能とする可動ミラーと、可動ミラーの回転角を取得する回転角取得装置12と、電子カメラの撮像面に対する第1、第2マーカの投影点の位置を検出する投影点検出装置13と、電子カメラのカメラ要素の相対的な位置関係、可動ミラーの回転中心軸の位置および第1、第2マーカの位置を記憶する記憶部15と、カメラ要素の相対的な位置関係、回転中心軸の位置、第1、第2マーカの位置、可動ミラーの回転角および第1、第2マーカの投影点の位置から電子カメラの位置および向きを算出するカメラ位置算出部18とを設ける。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はステレオカメラを構成する各カメラの位置および向きを測定するステレオカメラ較正装置およびステレオカメラ較正方法に関するものである。
【背景技術】
【0002】
実走行中の二輪車、全地形対応車(All Terrain Vehicle ; ATV)などの車両をステレオカメラによって高速撮影し、車両の車体挙動について三次元計測することが行なわれている。
【0003】
このステレオカメラによる三次元計測においては、2台のカメラによって撮影したときの被計測部の撮像面上の投影点の位置並びに2台のカメラ位置および向きに基づいて、上記被計測部の実際の位置を算出する。このため、ステレオカメラによって三次元計測をする場合には、あらかじめステレオカメラを構成する各カメラの位置および向きを測定する必要がある。そして、ステレオカメラを構成する各カメラの位置および向きを測定することをステレオカメラの較正という。
【0004】
このステレオカメラの較正を行なう場合には、形の分かっている三次元物体(較正立体)を各カメラで撮影することにより、各カメラの位置および向きを逆算して求めることが行なわれている。そして、室内のように狭い場所でステレオカメラによって三次元計測をする場合には、較正立体を用いてステレオカメラの較正を行なうことは容易である。しかし、車両の車体挙動について三次元計測を行なう場合のように、屋外の広い場所でステレオカメラによる撮影を行なう場合には、屋外に巨大な較正立体を用意する必要があるので、較正立体を用いてステレオカメラの較正を行なうことは困難である。
【0005】
そこで、従来においては、屋外でステレオカメラによる車両の車体挙動についての三次元計測を行なう場合には、車両が走行するコース上に複数本たとえば4本の較正用ポールを立てている。この較正用ポールの長さは約4mであり、それぞれの較正用ポールには高さ方向の同様な位置に複数のマーカが設けられている。そして、ステレオカメラを構成する各カメラで較正用ポールのマーカを撮影することにより、各カメラの較正を行なっている。すなわち、あらかじめ各較正用ポールのマーカの実際の位置を測定し、各カメラによって撮影した各較正用ポールのマーカの撮像面上の投影点の位置および各較正用ポールのマーカの実際の位置に基づいて、各カメラの位置および向きを測定している。
【0006】
そして、このようなステレオカメラの較正方法としては、DLT法(Direct Linear Transformation Method)等があり、DLT法は周知である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2004−132870号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、このようなステレオカメラの較正においては、多くの較正用ポールの設置、各較正用ポールのマーカの位置の測定に非常に手間がかかるから、容易にステレオカメラの較正を行なうことができない。
【0009】
本発明は上述の課題を解決するためになされたもので、較正用ポールの本数を少なくすることができるステレオカメラ較正装置およびステレオカメラ較正方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
この目的を達成するため、発明の実施態様は、ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正装置において、回転可能であり、回転角の調整によって上記電子カメラによる第1、第2マーカの撮影を可能とする可動ミラーと、上記可動ミラーの上記回転角を取得する回転角取得装置と、上記電子カメラの撮像面に対する上記第1、第2マーカの投影点の位置を検出する投影点検出装置と、上記電子カメラのカメラ要素の相対的な位置関係、上記可動ミラーの回転中心軸の位置および上記第1、第2マーカの位置を記憶する記憶部と、上記カメラ要素の相対的な位置関係、上記回転中心軸の位置、上記第1、第2マーカの位置、上記回転角および上記投影点の位置から上記電子カメラの位置および向きを算出するカメラ位置算出部とを有することを特徴とするものである。
【0011】
また、上記記憶部が、上記電子カメラのカメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記第1、第2マーカの実際位置、上記回転角および上記投影点の位置を記憶し、上記カメラ位置算出部が、マーカ位置算出部とカメラ位置逆算部とを有し、上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出し、上記カメラ位置逆算部が、上記第1、第2マーカの計算位置、上記電子カメラの暫定位置、上記電子カメラの暫定向きおよび上記第1、第2マーカの実際位置から、上記電子カメラの実際位置および上記電子カメラの実際向きを逆算することを特徴としてもよい。
【0012】
また、上記回転角取得装置が、上記可動ミラーが上記第1回転角のときの上記投影点の位置および上記可動ミラーが上記第2回転角のときの上記投影点の位置を検出することを特徴としてもよい。
【0013】
また、上記第1回転角が、上記第1、第2マーカの上記電子カメラの撮像面上の投影点が一致するように調整したときの上記可動ミラーの回転角である
ことを特徴としてもよい。
【0014】
また、上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する相対回転角を取得し、上記カメラ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラに対する上記回転中心軸の相対位置、上記第1、第2マーカの位置、上記相対回転角および上記投影点の位置から上記電子カメラの位置および向きを算出することを特徴としてもよい。
【0015】
また、上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する上記相対回転角を取得し、上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記電子カメラに対する回転中心軸の相対位置、上記相対回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出することを特徴としてもよい。
【0016】
また、発明の他の実施態様は、ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正方法において、
回転可能な可動ミラーの回転角を調整し、上記電子カメラで上記可動ミラーを介して第1、第2マーカを撮影する第1撮影工程と、
上記第1撮影工程の撮影時の上記可動ミラーの第1回転角を取得し、上記第1撮影工程の撮影時の上記電子カメラの撮像面に対する第1、第2マーカの投影点の位置を検出する第1取得検出工程と、上記可動ミラーの回転角を変更し、上記電子カメラで上記可動ミラーを介して上記第1、第2マーカを撮影する第2撮影工程と、上記第2撮影工程の撮影時の上記可動ミラーの第2回転角を取得し、上記第2撮影工程の撮影時の上記撮像面に対する第1、第2マーカの投影点の位置を検出する第2取得検出工程と、少なくとも上記第1、第2マーカの位置、上記第1、第2回転角および上記投影点の位置から上記電子カメラの位置および向きを算出する算出工程とを有することを特徴とするものである。
【発明の効果】
【0017】
本発明に係るステレオカメラ較正装置、ステレオカメラ較正方法においては、マーカを設置するための較正用ポールの本数を少なくすることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施の形態に係るステレオカメラ較正装置、較正方法の原理説明図である。
【図2】本発明の実施の形態に係るステレオカメラ較正装置、較正方法の原理説明図である。
【図3】本発明の実施の形態に係るステレオカメラ較正装置を示す図である。
【図4】マーカの計算位置を求める方法についての説明図である。
【図5】マーカの計算位置を求める方法についての説明図である。
【図6】本発明の他の実施の形態に係るステレオカメラ較正装置、較正方法の原理説明図である。
【図7】本発明の実施の形態に係るステレオカメラ較正装置を示す図である。
【図8】図7に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を説明するためのフローチャートである。
【図9】本発明の他の実施の形態に係るステレオカメラ較正装置を示す図である。
【図10】図9に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0019】
(原理説明)
図1により本発明の実施の形態に係るステレオカメラ較正装置、較正方法の原理を説明する。図1は平面図であって、カメラの姿勢は、カメラの撮像面1に直角でかつカメラのレンズ主点2を通るカメラのレンズ軸3が水平方向を向いている。また、可動ミラー4は地面に対して垂直に立っていて、かつ鉛直な回転中心軸5を中心として回転可能である。すなわち、可動ミラー4は鉛直軸周りに回転可能である。そして、カメラのレンズ軸3上に可動ミラー4の回転中心軸5が位置している。地面に垂直に較正用ポール(図示せず)が立てられており、較正用ポールに第1、第2マーカ6、7が設けられている。そして、カメラは可動ミラー4を介して第1、第2マーカ6、7を撮影することができる。すなわち、可動ミラー4は、その回転角の調整によってカメラによる第1、第2マーカ6、7の撮影を可能とする。
【0020】
そして、可動ミラー4の回転角が0°の場合、すなわち可動ミラー4が撮像面1と平行な場合には、第1、第2マーカ6、7の撮像面1上の投影点はAとなる。また、可動ミラー4の回転角が45°の場合、すなわち可動ミラー4が撮像面1に対して45°をなす場合には、第1マーカ6の撮像面1上の投影点はBとなり、また第2マーカ7の撮像面1上の投影点はCとなる。
【0021】
この場合、投影点Aおよびレンズ主点2を通りかつ回転角が0°の可動ミラー4で反射する光線を示す線aを描き、投影点Bおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線bを描き、さらに投影点Cおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線cを描くと、線aと線bとの交点に第1マーカ6が位置しており、線aと線cとの交点に第2マーカ7が位置している。
【0022】
そして、カメラの位置および向きが既知であれば、撮像面1の位置、レンズ主点2の位置、レンズ軸3の向きは既知である。したがって、カメラの位置、カメラの向き、回転中心軸5の位置、可動ミラー4の回転角および投影点A〜Cの位置が既知であれば、第1、第2マーカ6、7の位置を算出することができる。
【0023】
なお、図2に示すように、レンズ軸3上に回転中心軸5が位置していない場合にも、カメラの位置、カメラの向き、回転中心軸5の位置、第1、第2マーカ6、7の撮像面1上の投影点がAであるときの可動ミラー4の回転角(第1回転角)、第1、第2マーカ6、7の撮像面1上の投影点がB、Cであるときの可動ミラー4の回転角(第1回転角とは異なる第2回転角)および投影点A〜Cの位置が既知であれば、第1、第2マーカ6、7の位置を算出することができる。さらに、図3に示すように、第1、第2マーカ6、7の位置が変化したとしても、可動ミラー4の回転角を調整して、線a上に第1、第2マーカ6、7を位置させることができるから、第1、第2マーカ6、7の位置にかかわらず、第1、第2マーカ6、7の位置を算出することができる。
【0024】
しかし、第1、第2マーカ6、7を結ぶ線の延長線が回転中心軸5を通るときには、可動ミラー4の回転角を調整しても、第1マーカ6によって第2マーカ7が常に隠された状態となるから、カメラによって第2マーカ7を撮影することができないので、第1、第2マーカ6、7の計算位置を算出することができない。したがって、回転中心軸5が第1、第2マーカ6、7を結ぶ線上に存在しないように、可動ミラー4を設置する必要がある。
【0025】
以上のことから、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、仮に定めたカメラの暫定位置およびカメラの暫定向きすなわち撮像面1の位置、レンズ主点2の位置およびレンズ軸3の向き並びに回転中心軸5の位置、可動ミラー4の第1、第2回転角および投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出することができる。このため、撮像面1、レンズ主点2、レンズ軸3等のカメラ要素の相対的な位置関係、カメラの暫定位置、カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出することができる。そして、カメラの暫定位置、カメラの暫定向き、第1、第2マーカ6、7の計算位置、第1、第2マーカ6、7の実際位置からカメラの実際位置および実際向きを逆算することができる。
【0026】
つぎに、図4、図5によりマーカの水平面内における計算位置を求める方法について説明する。図4(a)において、Oはレンズ主点2の位置、Mは回転中心軸5の位置、θは可動ミラー4の回転角、ARはマーカの実際位置、Rは可動ミラー4上のマーカの反射位置、AVはマーカの虚像位置、Cはカメラの撮像面1上のマーカの投影点の位置である。また、図4(b)において、Pはマーカを撮影した画像上のマーカの像の位置である。そして、位置O、位置Mは既知であって、位置Oと位置Mとの距離も既知であり、回転角θ、位置Pは実測により求めることができる。
【0027】
この場合、カメラのレンズ特性、レンズと撮像素子との位置関係等の内部パラメータは既知であるから、位置Pから位置Cを求めることができる。また、位置Oと位置Cとを結ぶ直線の延長線上に位置R、位置AVが存在する。したがって、位置Oと位置Cとを結ぶ直線、位置Oと位置Mとの距離、回転角θから位置Rを求めることができる。このため、位置Rおよび位置ARを通る直線Lを求めることができる。
【0028】
このように、回転角θ、位置Pを実測により求めれば、位置Rおよび位置ARを通る直線Lを求めることができる。したがって、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影すれば、図5に示すように、可動ミラー4上の第1、第2マーカ6、7の反射位置および第1、第2マーカ6、7を通る直線L1を求めることができる。また、可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、このときの可動ミラー4上の第1マーカ6の反射位置および第1マーカ6を通る直線L2を求めることができ、さらに可動ミラー4上の第2マーカ7の反射位置および第2マーカ7を通る直線L3を求めることができる。そして、直線L1と直線L2との交点が第1マーカ6の位置であり、直線L1と直線L3との交点が第2マーカ7の位置である。したがって、第1、第2マーカ6、7の計算位置を算出することができる。
【0029】
また、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置が既知であれば、カメラの位置および向きを直接算出することができる。したがって、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置からカメラの位置および向きを算出することができる。
【0030】
さらに、図6により本発明の実施の形態に係るステレオカメラ較正装置、較正方法の他の原理を説明する。可動ミラー4の回転角が0°の場合、第1マーカ6の撮像面1上の投影点はDとなり、第2マーカ7の撮像面1上の投影点はEとなる。また、可動ミラー4の回転角が45°の場合には、第1マーカ6の撮像面1上の投影点はFとなり、また第2マーカ7の撮像面1上の投影点はGとなる。
【0031】
この場合、投影点Dおよびレンズ主点2を通りかつ回転角が0°の可動ミラー4で反射する光線を示す線dを描き、投影点Eおよびレンズ主点2を通りかつ回転角が0°の可動ミラー4で反射する光線を示す線eを描き、投影点Fおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線fを描き、さらに投影点Gおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線gを描くと、線dと線fとの交点に第1マーカ6が位置しており、線eと線gとの交点に第2マーカ7が位置している。
【0032】
したがって、カメラの位置、カメラの向き、回転中心軸5の位置、可動ミラー4の回転角および投影点D〜Gの位置が既知であれば、第1、第2マーカ6、7の位置を算出することができる。
【0033】
以上のことから、可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、カメラ要素の相対的な位置関係、カメラの暫定位置、カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置から、第1、第2マーカ6、7の計算位置を算出することができる。そして、カメラの暫定位置、カメラの暫定向き、第1、第2マーカ6、7の計算位置、第1、第2マーカ6、7の実際位置からカメラの実際位置および実際向きを逆算することができる。
【0034】
また、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置が既知であれば、カメラの位置および向きを算出することができる。したがって、可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置からカメラの位置および向きを算出することができる。
【0035】
なお、カメラに可動ミラー4が取り付けられている場合には、カメラに対する回転中心軸5の位置、カメラに対する可動ミラー4の回転角は定まっている。したがって、カメラに可動ミラー4が取り付けられている場合には、回転中心軸5の位置の代わりにカメラに対する回転中心軸5の相対位置を用い、可動ミラー4の第1、第2回転角の代わりにカメラに対する可動ミラー4の第1、第2相対回転角を用いれば、カメラの位置および向きを算出することができる。
【0036】
(第1の実施の形態)
つぎに、本発明の実施の形態に係るステレオカメラ較正装置について説明する。図7に示すように、このステレオカメラ較正装置は、情報入力装置11、回転角取得装置12、投影点検出装置13、演算装置14を有している。
【0037】
情報入力装置11により、操作者はステレオカメラを構成する電子カメラの撮像面1、レンズ主点2、レンズ軸3等のカメラ要素の相対的な位置関係、仮に定められた電子カメラの暫定位置、電子カメラの暫定向きを入力し、また回転中心軸5の位置、第1、第2マーカ6、7の実際位置などを入力する。回転角取得装置12は可動ミラー4の回転角を取得する。投影点検出装置13は上記電子カメラからの画像情報を処理する画像処理装置によって構成されており、撮像面1に対する投影点A〜Cの位置を検出する。
【0038】
演算装置14はコンピュータおよびソフトウエアによって構成されており、記憶部15、マーカ位置算出部16、カメラ位置逆算部17を有している。記憶部15は情報入力装置11により入力されたカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置および第1、第2マーカ6、7の実際位置、回転角取得装置12によって取得された可動ミラー4の第1、第2回転角並びに投影点検出装置13によって検出された撮像面1に対する投影点A〜Cの位置を記憶する。マーカ位置算出部16は記憶部15に記憶されたカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出する。カメラ位置逆算部17は、マーカ位置算出部16によって算出された第1、第2マーカ6、7の計算位置並びに記憶部15に記憶された電子カメラの暫定位置、電子カメラの暫定向きおよび第1、第2マーカ6、7の実際位置から、電子カメラの実際位置および電子カメラの実際向きを逆算する。そして、第1、第2マーカ位置算出部16およびカメラ位置逆算部17により、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の回転角および撮像面1に対する投影点の位置から電子カメラの位置および向きを算出するカメラ位置算出部18が構成されている。
【0039】
つぎに、本発明の実施の形態に係るステレオカメラ較正方法、すなわち図7に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を図8により説明する。まず、操作者が予め情報入力装置11により電子カメラのカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置および第1、第2マーカ6、7の実際位置を入力しておく。つぎに、操作者が第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第1回転角が取得され、取得された可動ミラー4の第1回転角が記憶部15に記憶される(ステップS11)。また、投影点検出装置13によって撮像面1に対する投影点Aの位置が検出され、検出された撮像面1に対する投影点Aの位置が記憶部15に記憶される(ステップS12)。つぎに、操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第2回転角が取得され、取得された可動ミラー4の第2回転角が記憶部15に記憶される(ステップS13)。また、投影点検出装置13によって撮像面1に対する投影点B、Cの位置が検出され、検出された投影点B、Cの位置が記憶部15に記憶される(ステップS14)。つぎに、マーカ位置算出部16が、カメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出する(ステップS15)。つぎに、カメラ位置逆算部17が、第1、第2マーカ6、7の計算位置、電子カメラの暫定位置、電子カメラの暫定向き、第1、第2マーカ6、7の実際位置から、電子カメラの実際位置および電子カメラの実際向きを逆算する(ステップS16)。
【0040】
このように、本発明の実施の形態に係るステレオカメラ較正方法においては、可動ミラー4の回転角を調整し、電子カメラで可動ミラー4を介して第1、第2マーカ6,7を撮影する第1撮影工程と、第1撮影工程の撮影時の可動ミラー4の第1回転角を取得し、第1撮影工程の撮影時の撮像面1に対する第1、第2マーカ6、7の投影点の位置を検出する第1取得検出工程と、可動ミラー4の回転角を変更し、電子カメラで可動ミラー4を介して第1、第2マーカ6、7を撮影する第2撮影工程と、第2撮影工程の撮影時の可動ミラー4の第2回転角を取得し、第2撮影工程の撮影時の撮像面1に対する第1、第2マーカ6、7の投影点の位置を検出する第2取得検出工程と、少なくとも第1、第2マーカ6、7の位置、第1、第2回転角および投影点の位置から電子カメラの位置および向きを算出する算出工程とを有する。
【0041】
また、図7に示したステレオカメラ較正装置を使用してステレオカメラの較正を行なうステレオカメラ較正方法においては、操作者は、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整する工程と、電子カメラで第1、第2マーカ6、7を撮影する工程と、可動ミラー4の回転角を変更する工程と、電子カメラで第1、第2マーカ6、7を再度撮影する工程とを行なう。
【0042】
なお、操作者が可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点D、Eの位置を検出し、つぎに操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点F、Gの位置を検出し、マーカ位置算出部16により、電子カメラのカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置から、第1、第2マーカ6、7の計算位置を算出してもよい。
【0043】
また、以上の説明においては、水平面内における電子カメラの位置および向きを算出する場合について説明したが、垂直面内における電子カメラの位置および向きについても、上述と同様に算出することができることは明らかである。すなわち、本発明の実施の形態に係るステレオカメラ較正装置、ステレオカメラ較正方法により、三次元における電子カメラの位置および向きを算出することができる。
【0044】
このようなステレオカメラ較正装置、ステレオカメラ較正方法においては、第1、第2マーカ6、7を設置するための較正用ポールの本数を少なくすることができる。このため、較正用ポールの設置、各較正用ポールのマーカの位置の測定の手間が従来よりも軽微で済み、容易にステレオカメラの較正を行なうことができる。また、実走行中の二輪車、全地形対応車などの車両をステレオカメラによって高速撮影し、車両の車体挙動について三次元計測する場合に、計測後にステレオカメラの較正の再確認をするために、較正用ポールを設置したまま、車両を走行させる必要があるから、従来においては測定中に較正用ポールが邪魔になって測定できなくなる場合があった。これに対して、本発明の実施の形態においては、第1、第2マーカ6、7を可動ミラー4を介して撮影するから、電子カメラを車両が走行する場所に向けて設置したとしても、較正用ポールを車両が走行する場所以外の場所に設置することができるので、測定中に較正用ポールが測定の邪魔にならないようにすることができる。なお、ステレオカメラによる三次元計測時に、可動ミラー4を回転しながら撮影すれば、電子カメラとして低解像度のものを使用しても、計測範囲を広げることができる。
【0045】
(第2の実施の形態)
つぎに、本発明の実施の形態に係る他のステレオカメラ較正装置について説明する。図9に示すように、このステレオカメラ較正装置は、情報入力装置11、回転角取得装置12、投影点検出装置13および演算装置21を有している。演算装置21はコンピュータおよびソフトウエアによって構成されており、記憶部22およびカメラ位置算出部23を有している。そして、記憶部22は情報入力装置11により入力された電子カメラのカメラ要素の相対的な位置関係、回転中心軸5の位置および第1、第2マーカ6、7の位置、回転角取得装置12によって取得された可動ミラー4の第1、第2回転角並びに投影点検出装置13によって検出された撮像面1に対する投影点A〜Cの位置を記憶する。カメラ位置算出部23は、記憶部22に記憶されたカメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、電子カメラの位置および向きを算出する。
【0046】
つぎに、図9に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を図10により説明する。まず、操作者が予め情報入力装置11により電子カメラのカメラ要素の相対的な位置関係、回転中心軸5の位置および第1、第2マーカ6、7の位置を入力しておく。つぎに、操作者が第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第1回転角が取得され、取得された可動ミラー4の第1回転角が記憶部22に記憶される(ステップS21)。また、投影点検出装置13によって投影点Aの位置が検出され、検出された撮像面1に対する投影点Aの位置が記憶部22に記憶される(ステップS22)。つぎに、操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第2回転角が取得され、取得された可動ミラー4の第2回転角が記憶部22に記憶される(ステップS23)。また、投影点検出装置13によって撮像面1に対する投影点B、Cの位置が検出され、検出された投影点B、Cの位置が記憶部22に記憶される(ステップS24)。つぎに、カメラ位置算出部23がカメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、電子カメラの位置および電子カメラの向きを算出する(ステップS25)。
【0047】
なお、操作者が可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点D、Eの位置を検出し、つぎに操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点F、Gの位置を検出し、カメラ位置算出部23により、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置から電子カメラの位置および向きを算出してもよい。
【0048】
(その他の実施の形態)
なお、電子カメラに可動ミラー4を取り付け、回転中心軸5の位置の代わりに電子カメラに対する回転中心軸5の相対位置を用い、可動ミラー4の第1、第2回転角の代わりに電子カメラに対する可動ミラー4の第1、第2相対回転角を用いて、第1、第2マーカ6、7の計算位置、電子カメラの位置および向きを算出してもよい。
【0049】
また、上述実施の形態においては、操作者が可動ミラー4を回転する場合について説明したが、ミラー回転装置により可動ミラー4を回転してもよい。この場合には、回転制御装置によりミラー回転装置を制御する。回転制御装置は電子カメラからの画像情報を処理する画像処理装置によって構成されており、可動ミラー4を第1、第2回転角で停止させる。
【0050】
さらに、本発明の範囲は、図示され記載された例示的な実施の形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施の形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【0051】
1…撮像面、2…レンズ主点、4…可動ミラー、5…回転中心軸、6…第1マーカ、7…第2マーカ、12…回転角取得装置、13…投影点検出装置、14…演算装置、15…記憶部、16…マーカ位置算出部、17…カメラ位置逆算部、21…演算装置、22…記憶部、23…カメラ位置算出部
【技術分野】
【0001】
本発明はステレオカメラを構成する各カメラの位置および向きを測定するステレオカメラ較正装置およびステレオカメラ較正方法に関するものである。
【背景技術】
【0002】
実走行中の二輪車、全地形対応車(All Terrain Vehicle ; ATV)などの車両をステレオカメラによって高速撮影し、車両の車体挙動について三次元計測することが行なわれている。
【0003】
このステレオカメラによる三次元計測においては、2台のカメラによって撮影したときの被計測部の撮像面上の投影点の位置並びに2台のカメラ位置および向きに基づいて、上記被計測部の実際の位置を算出する。このため、ステレオカメラによって三次元計測をする場合には、あらかじめステレオカメラを構成する各カメラの位置および向きを測定する必要がある。そして、ステレオカメラを構成する各カメラの位置および向きを測定することをステレオカメラの較正という。
【0004】
このステレオカメラの較正を行なう場合には、形の分かっている三次元物体(較正立体)を各カメラで撮影することにより、各カメラの位置および向きを逆算して求めることが行なわれている。そして、室内のように狭い場所でステレオカメラによって三次元計測をする場合には、較正立体を用いてステレオカメラの較正を行なうことは容易である。しかし、車両の車体挙動について三次元計測を行なう場合のように、屋外の広い場所でステレオカメラによる撮影を行なう場合には、屋外に巨大な較正立体を用意する必要があるので、較正立体を用いてステレオカメラの較正を行なうことは困難である。
【0005】
そこで、従来においては、屋外でステレオカメラによる車両の車体挙動についての三次元計測を行なう場合には、車両が走行するコース上に複数本たとえば4本の較正用ポールを立てている。この較正用ポールの長さは約4mであり、それぞれの較正用ポールには高さ方向の同様な位置に複数のマーカが設けられている。そして、ステレオカメラを構成する各カメラで較正用ポールのマーカを撮影することにより、各カメラの較正を行なっている。すなわち、あらかじめ各較正用ポールのマーカの実際の位置を測定し、各カメラによって撮影した各較正用ポールのマーカの撮像面上の投影点の位置および各較正用ポールのマーカの実際の位置に基づいて、各カメラの位置および向きを測定している。
【0006】
そして、このようなステレオカメラの較正方法としては、DLT法(Direct Linear Transformation Method)等があり、DLT法は周知である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2004−132870号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、このようなステレオカメラの較正においては、多くの較正用ポールの設置、各較正用ポールのマーカの位置の測定に非常に手間がかかるから、容易にステレオカメラの較正を行なうことができない。
【0009】
本発明は上述の課題を解決するためになされたもので、較正用ポールの本数を少なくすることができるステレオカメラ較正装置およびステレオカメラ較正方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
この目的を達成するため、発明の実施態様は、ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正装置において、回転可能であり、回転角の調整によって上記電子カメラによる第1、第2マーカの撮影を可能とする可動ミラーと、上記可動ミラーの上記回転角を取得する回転角取得装置と、上記電子カメラの撮像面に対する上記第1、第2マーカの投影点の位置を検出する投影点検出装置と、上記電子カメラのカメラ要素の相対的な位置関係、上記可動ミラーの回転中心軸の位置および上記第1、第2マーカの位置を記憶する記憶部と、上記カメラ要素の相対的な位置関係、上記回転中心軸の位置、上記第1、第2マーカの位置、上記回転角および上記投影点の位置から上記電子カメラの位置および向きを算出するカメラ位置算出部とを有することを特徴とするものである。
【0011】
また、上記記憶部が、上記電子カメラのカメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記第1、第2マーカの実際位置、上記回転角および上記投影点の位置を記憶し、上記カメラ位置算出部が、マーカ位置算出部とカメラ位置逆算部とを有し、上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出し、上記カメラ位置逆算部が、上記第1、第2マーカの計算位置、上記電子カメラの暫定位置、上記電子カメラの暫定向きおよび上記第1、第2マーカの実際位置から、上記電子カメラの実際位置および上記電子カメラの実際向きを逆算することを特徴としてもよい。
【0012】
また、上記回転角取得装置が、上記可動ミラーが上記第1回転角のときの上記投影点の位置および上記可動ミラーが上記第2回転角のときの上記投影点の位置を検出することを特徴としてもよい。
【0013】
また、上記第1回転角が、上記第1、第2マーカの上記電子カメラの撮像面上の投影点が一致するように調整したときの上記可動ミラーの回転角である
ことを特徴としてもよい。
【0014】
また、上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する相対回転角を取得し、上記カメラ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラに対する上記回転中心軸の相対位置、上記第1、第2マーカの位置、上記相対回転角および上記投影点の位置から上記電子カメラの位置および向きを算出することを特徴としてもよい。
【0015】
また、上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する上記相対回転角を取得し、上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記電子カメラに対する回転中心軸の相対位置、上記相対回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出することを特徴としてもよい。
【0016】
また、発明の他の実施態様は、ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正方法において、
回転可能な可動ミラーの回転角を調整し、上記電子カメラで上記可動ミラーを介して第1、第2マーカを撮影する第1撮影工程と、
上記第1撮影工程の撮影時の上記可動ミラーの第1回転角を取得し、上記第1撮影工程の撮影時の上記電子カメラの撮像面に対する第1、第2マーカの投影点の位置を検出する第1取得検出工程と、上記可動ミラーの回転角を変更し、上記電子カメラで上記可動ミラーを介して上記第1、第2マーカを撮影する第2撮影工程と、上記第2撮影工程の撮影時の上記可動ミラーの第2回転角を取得し、上記第2撮影工程の撮影時の上記撮像面に対する第1、第2マーカの投影点の位置を検出する第2取得検出工程と、少なくとも上記第1、第2マーカの位置、上記第1、第2回転角および上記投影点の位置から上記電子カメラの位置および向きを算出する算出工程とを有することを特徴とするものである。
【発明の効果】
【0017】
本発明に係るステレオカメラ較正装置、ステレオカメラ較正方法においては、マーカを設置するための較正用ポールの本数を少なくすることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施の形態に係るステレオカメラ較正装置、較正方法の原理説明図である。
【図2】本発明の実施の形態に係るステレオカメラ較正装置、較正方法の原理説明図である。
【図3】本発明の実施の形態に係るステレオカメラ較正装置を示す図である。
【図4】マーカの計算位置を求める方法についての説明図である。
【図5】マーカの計算位置を求める方法についての説明図である。
【図6】本発明の他の実施の形態に係るステレオカメラ較正装置、較正方法の原理説明図である。
【図7】本発明の実施の形態に係るステレオカメラ較正装置を示す図である。
【図8】図7に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を説明するためのフローチャートである。
【図9】本発明の他の実施の形態に係るステレオカメラ較正装置を示す図である。
【図10】図9に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0019】
(原理説明)
図1により本発明の実施の形態に係るステレオカメラ較正装置、較正方法の原理を説明する。図1は平面図であって、カメラの姿勢は、カメラの撮像面1に直角でかつカメラのレンズ主点2を通るカメラのレンズ軸3が水平方向を向いている。また、可動ミラー4は地面に対して垂直に立っていて、かつ鉛直な回転中心軸5を中心として回転可能である。すなわち、可動ミラー4は鉛直軸周りに回転可能である。そして、カメラのレンズ軸3上に可動ミラー4の回転中心軸5が位置している。地面に垂直に較正用ポール(図示せず)が立てられており、較正用ポールに第1、第2マーカ6、7が設けられている。そして、カメラは可動ミラー4を介して第1、第2マーカ6、7を撮影することができる。すなわち、可動ミラー4は、その回転角の調整によってカメラによる第1、第2マーカ6、7の撮影を可能とする。
【0020】
そして、可動ミラー4の回転角が0°の場合、すなわち可動ミラー4が撮像面1と平行な場合には、第1、第2マーカ6、7の撮像面1上の投影点はAとなる。また、可動ミラー4の回転角が45°の場合、すなわち可動ミラー4が撮像面1に対して45°をなす場合には、第1マーカ6の撮像面1上の投影点はBとなり、また第2マーカ7の撮像面1上の投影点はCとなる。
【0021】
この場合、投影点Aおよびレンズ主点2を通りかつ回転角が0°の可動ミラー4で反射する光線を示す線aを描き、投影点Bおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線bを描き、さらに投影点Cおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線cを描くと、線aと線bとの交点に第1マーカ6が位置しており、線aと線cとの交点に第2マーカ7が位置している。
【0022】
そして、カメラの位置および向きが既知であれば、撮像面1の位置、レンズ主点2の位置、レンズ軸3の向きは既知である。したがって、カメラの位置、カメラの向き、回転中心軸5の位置、可動ミラー4の回転角および投影点A〜Cの位置が既知であれば、第1、第2マーカ6、7の位置を算出することができる。
【0023】
なお、図2に示すように、レンズ軸3上に回転中心軸5が位置していない場合にも、カメラの位置、カメラの向き、回転中心軸5の位置、第1、第2マーカ6、7の撮像面1上の投影点がAであるときの可動ミラー4の回転角(第1回転角)、第1、第2マーカ6、7の撮像面1上の投影点がB、Cであるときの可動ミラー4の回転角(第1回転角とは異なる第2回転角)および投影点A〜Cの位置が既知であれば、第1、第2マーカ6、7の位置を算出することができる。さらに、図3に示すように、第1、第2マーカ6、7の位置が変化したとしても、可動ミラー4の回転角を調整して、線a上に第1、第2マーカ6、7を位置させることができるから、第1、第2マーカ6、7の位置にかかわらず、第1、第2マーカ6、7の位置を算出することができる。
【0024】
しかし、第1、第2マーカ6、7を結ぶ線の延長線が回転中心軸5を通るときには、可動ミラー4の回転角を調整しても、第1マーカ6によって第2マーカ7が常に隠された状態となるから、カメラによって第2マーカ7を撮影することができないので、第1、第2マーカ6、7の計算位置を算出することができない。したがって、回転中心軸5が第1、第2マーカ6、7を結ぶ線上に存在しないように、可動ミラー4を設置する必要がある。
【0025】
以上のことから、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、仮に定めたカメラの暫定位置およびカメラの暫定向きすなわち撮像面1の位置、レンズ主点2の位置およびレンズ軸3の向き並びに回転中心軸5の位置、可動ミラー4の第1、第2回転角および投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出することができる。このため、撮像面1、レンズ主点2、レンズ軸3等のカメラ要素の相対的な位置関係、カメラの暫定位置、カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出することができる。そして、カメラの暫定位置、カメラの暫定向き、第1、第2マーカ6、7の計算位置、第1、第2マーカ6、7の実際位置からカメラの実際位置および実際向きを逆算することができる。
【0026】
つぎに、図4、図5によりマーカの水平面内における計算位置を求める方法について説明する。図4(a)において、Oはレンズ主点2の位置、Mは回転中心軸5の位置、θは可動ミラー4の回転角、ARはマーカの実際位置、Rは可動ミラー4上のマーカの反射位置、AVはマーカの虚像位置、Cはカメラの撮像面1上のマーカの投影点の位置である。また、図4(b)において、Pはマーカを撮影した画像上のマーカの像の位置である。そして、位置O、位置Mは既知であって、位置Oと位置Mとの距離も既知であり、回転角θ、位置Pは実測により求めることができる。
【0027】
この場合、カメラのレンズ特性、レンズと撮像素子との位置関係等の内部パラメータは既知であるから、位置Pから位置Cを求めることができる。また、位置Oと位置Cとを結ぶ直線の延長線上に位置R、位置AVが存在する。したがって、位置Oと位置Cとを結ぶ直線、位置Oと位置Mとの距離、回転角θから位置Rを求めることができる。このため、位置Rおよび位置ARを通る直線Lを求めることができる。
【0028】
このように、回転角θ、位置Pを実測により求めれば、位置Rおよび位置ARを通る直線Lを求めることができる。したがって、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影すれば、図5に示すように、可動ミラー4上の第1、第2マーカ6、7の反射位置および第1、第2マーカ6、7を通る直線L1を求めることができる。また、可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、このときの可動ミラー4上の第1マーカ6の反射位置および第1マーカ6を通る直線L2を求めることができ、さらに可動ミラー4上の第2マーカ7の反射位置および第2マーカ7を通る直線L3を求めることができる。そして、直線L1と直線L2との交点が第1マーカ6の位置であり、直線L1と直線L3との交点が第2マーカ7の位置である。したがって、第1、第2マーカ6、7の計算位置を算出することができる。
【0029】
また、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置が既知であれば、カメラの位置および向きを直接算出することができる。したがって、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置からカメラの位置および向きを算出することができる。
【0030】
さらに、図6により本発明の実施の形態に係るステレオカメラ較正装置、較正方法の他の原理を説明する。可動ミラー4の回転角が0°の場合、第1マーカ6の撮像面1上の投影点はDとなり、第2マーカ7の撮像面1上の投影点はEとなる。また、可動ミラー4の回転角が45°の場合には、第1マーカ6の撮像面1上の投影点はFとなり、また第2マーカ7の撮像面1上の投影点はGとなる。
【0031】
この場合、投影点Dおよびレンズ主点2を通りかつ回転角が0°の可動ミラー4で反射する光線を示す線dを描き、投影点Eおよびレンズ主点2を通りかつ回転角が0°の可動ミラー4で反射する光線を示す線eを描き、投影点Fおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線fを描き、さらに投影点Gおよびレンズ主点2を通りかつ回転角が45°の可動ミラー4で反射する光線を示す線gを描くと、線dと線fとの交点に第1マーカ6が位置しており、線eと線gとの交点に第2マーカ7が位置している。
【0032】
したがって、カメラの位置、カメラの向き、回転中心軸5の位置、可動ミラー4の回転角および投影点D〜Gの位置が既知であれば、第1、第2マーカ6、7の位置を算出することができる。
【0033】
以上のことから、可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、カメラ要素の相対的な位置関係、カメラの暫定位置、カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置から、第1、第2マーカ6、7の計算位置を算出することができる。そして、カメラの暫定位置、カメラの暫定向き、第1、第2マーカ6、7の計算位置、第1、第2マーカ6、7の実際位置からカメラの実際位置および実際向きを逆算することができる。
【0034】
また、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置が既知であれば、カメラの位置および向きを算出することができる。したがって、可動ミラー4の回転角を調整し、カメラで第1、第2マーカ6、7を撮影し、つぎに可動ミラー4の回転角を変更し、カメラで第1、第2マーカ6、7を撮影すれば、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置からカメラの位置および向きを算出することができる。
【0035】
なお、カメラに可動ミラー4が取り付けられている場合には、カメラに対する回転中心軸5の位置、カメラに対する可動ミラー4の回転角は定まっている。したがって、カメラに可動ミラー4が取り付けられている場合には、回転中心軸5の位置の代わりにカメラに対する回転中心軸5の相対位置を用い、可動ミラー4の第1、第2回転角の代わりにカメラに対する可動ミラー4の第1、第2相対回転角を用いれば、カメラの位置および向きを算出することができる。
【0036】
(第1の実施の形態)
つぎに、本発明の実施の形態に係るステレオカメラ較正装置について説明する。図7に示すように、このステレオカメラ較正装置は、情報入力装置11、回転角取得装置12、投影点検出装置13、演算装置14を有している。
【0037】
情報入力装置11により、操作者はステレオカメラを構成する電子カメラの撮像面1、レンズ主点2、レンズ軸3等のカメラ要素の相対的な位置関係、仮に定められた電子カメラの暫定位置、電子カメラの暫定向きを入力し、また回転中心軸5の位置、第1、第2マーカ6、7の実際位置などを入力する。回転角取得装置12は可動ミラー4の回転角を取得する。投影点検出装置13は上記電子カメラからの画像情報を処理する画像処理装置によって構成されており、撮像面1に対する投影点A〜Cの位置を検出する。
【0038】
演算装置14はコンピュータおよびソフトウエアによって構成されており、記憶部15、マーカ位置算出部16、カメラ位置逆算部17を有している。記憶部15は情報入力装置11により入力されたカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置および第1、第2マーカ6、7の実際位置、回転角取得装置12によって取得された可動ミラー4の第1、第2回転角並びに投影点検出装置13によって検出された撮像面1に対する投影点A〜Cの位置を記憶する。マーカ位置算出部16は記憶部15に記憶されたカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出する。カメラ位置逆算部17は、マーカ位置算出部16によって算出された第1、第2マーカ6、7の計算位置並びに記憶部15に記憶された電子カメラの暫定位置、電子カメラの暫定向きおよび第1、第2マーカ6、7の実際位置から、電子カメラの実際位置および電子カメラの実際向きを逆算する。そして、第1、第2マーカ位置算出部16およびカメラ位置逆算部17により、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の回転角および撮像面1に対する投影点の位置から電子カメラの位置および向きを算出するカメラ位置算出部18が構成されている。
【0039】
つぎに、本発明の実施の形態に係るステレオカメラ較正方法、すなわち図7に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を図8により説明する。まず、操作者が予め情報入力装置11により電子カメラのカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置および第1、第2マーカ6、7の実際位置を入力しておく。つぎに、操作者が第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第1回転角が取得され、取得された可動ミラー4の第1回転角が記憶部15に記憶される(ステップS11)。また、投影点検出装置13によって撮像面1に対する投影点Aの位置が検出され、検出された撮像面1に対する投影点Aの位置が記憶部15に記憶される(ステップS12)。つぎに、操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第2回転角が取得され、取得された可動ミラー4の第2回転角が記憶部15に記憶される(ステップS13)。また、投影点検出装置13によって撮像面1に対する投影点B、Cの位置が検出され、検出された投影点B、Cの位置が記憶部15に記憶される(ステップS14)。つぎに、マーカ位置算出部16が、カメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、第1、第2マーカ6、7の計算位置を算出する(ステップS15)。つぎに、カメラ位置逆算部17が、第1、第2マーカ6、7の計算位置、電子カメラの暫定位置、電子カメラの暫定向き、第1、第2マーカ6、7の実際位置から、電子カメラの実際位置および電子カメラの実際向きを逆算する(ステップS16)。
【0040】
このように、本発明の実施の形態に係るステレオカメラ較正方法においては、可動ミラー4の回転角を調整し、電子カメラで可動ミラー4を介して第1、第2マーカ6,7を撮影する第1撮影工程と、第1撮影工程の撮影時の可動ミラー4の第1回転角を取得し、第1撮影工程の撮影時の撮像面1に対する第1、第2マーカ6、7の投影点の位置を検出する第1取得検出工程と、可動ミラー4の回転角を変更し、電子カメラで可動ミラー4を介して第1、第2マーカ6、7を撮影する第2撮影工程と、第2撮影工程の撮影時の可動ミラー4の第2回転角を取得し、第2撮影工程の撮影時の撮像面1に対する第1、第2マーカ6、7の投影点の位置を検出する第2取得検出工程と、少なくとも第1、第2マーカ6、7の位置、第1、第2回転角および投影点の位置から電子カメラの位置および向きを算出する算出工程とを有する。
【0041】
また、図7に示したステレオカメラ較正装置を使用してステレオカメラの較正を行なうステレオカメラ較正方法においては、操作者は、第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整する工程と、電子カメラで第1、第2マーカ6、7を撮影する工程と、可動ミラー4の回転角を変更する工程と、電子カメラで第1、第2マーカ6、7を再度撮影する工程とを行なう。
【0042】
なお、操作者が可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点D、Eの位置を検出し、つぎに操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点F、Gの位置を検出し、マーカ位置算出部16により、電子カメラのカメラ要素の相対的な位置関係、電子カメラの暫定位置、電子カメラの暫定向き、回転中心軸5の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置から、第1、第2マーカ6、7の計算位置を算出してもよい。
【0043】
また、以上の説明においては、水平面内における電子カメラの位置および向きを算出する場合について説明したが、垂直面内における電子カメラの位置および向きについても、上述と同様に算出することができることは明らかである。すなわち、本発明の実施の形態に係るステレオカメラ較正装置、ステレオカメラ較正方法により、三次元における電子カメラの位置および向きを算出することができる。
【0044】
このようなステレオカメラ較正装置、ステレオカメラ較正方法においては、第1、第2マーカ6、7を設置するための較正用ポールの本数を少なくすることができる。このため、較正用ポールの設置、各較正用ポールのマーカの位置の測定の手間が従来よりも軽微で済み、容易にステレオカメラの較正を行なうことができる。また、実走行中の二輪車、全地形対応車などの車両をステレオカメラによって高速撮影し、車両の車体挙動について三次元計測する場合に、計測後にステレオカメラの較正の再確認をするために、較正用ポールを設置したまま、車両を走行させる必要があるから、従来においては測定中に較正用ポールが邪魔になって測定できなくなる場合があった。これに対して、本発明の実施の形態においては、第1、第2マーカ6、7を可動ミラー4を介して撮影するから、電子カメラを車両が走行する場所に向けて設置したとしても、較正用ポールを車両が走行する場所以外の場所に設置することができるので、測定中に較正用ポールが測定の邪魔にならないようにすることができる。なお、ステレオカメラによる三次元計測時に、可動ミラー4を回転しながら撮影すれば、電子カメラとして低解像度のものを使用しても、計測範囲を広げることができる。
【0045】
(第2の実施の形態)
つぎに、本発明の実施の形態に係る他のステレオカメラ較正装置について説明する。図9に示すように、このステレオカメラ較正装置は、情報入力装置11、回転角取得装置12、投影点検出装置13および演算装置21を有している。演算装置21はコンピュータおよびソフトウエアによって構成されており、記憶部22およびカメラ位置算出部23を有している。そして、記憶部22は情報入力装置11により入力された電子カメラのカメラ要素の相対的な位置関係、回転中心軸5の位置および第1、第2マーカ6、7の位置、回転角取得装置12によって取得された可動ミラー4の第1、第2回転角並びに投影点検出装置13によって検出された撮像面1に対する投影点A〜Cの位置を記憶する。カメラ位置算出部23は、記憶部22に記憶されたカメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、電子カメラの位置および向きを算出する。
【0046】
つぎに、図9に示したステレオカメラ較正装置を使用したステレオカメラ較正方法を図10により説明する。まず、操作者が予め情報入力装置11により電子カメラのカメラ要素の相対的な位置関係、回転中心軸5の位置および第1、第2マーカ6、7の位置を入力しておく。つぎに、操作者が第1、第2マーカ6、7の撮像面1上の投影点が一致するように可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第1回転角が取得され、取得された可動ミラー4の第1回転角が記憶部22に記憶される(ステップS21)。また、投影点検出装置13によって投影点Aの位置が検出され、検出された撮像面1に対する投影点Aの位置が記憶部22に記憶される(ステップS22)。つぎに、操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影する。すると、回転角取得装置12によって可動ミラー4の第2回転角が取得され、取得された可動ミラー4の第2回転角が記憶部22に記憶される(ステップS23)。また、投影点検出装置13によって撮像面1に対する投影点B、Cの位置が検出され、検出された投影点B、Cの位置が記憶部22に記憶される(ステップS24)。つぎに、カメラ位置算出部23がカメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点A〜Cの位置から、電子カメラの位置および電子カメラの向きを算出する(ステップS25)。
【0047】
なお、操作者が可動ミラー4の回転角を調整し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点D、Eの位置を検出し、つぎに操作者が可動ミラー4の回転角を変更し、電子カメラで第1、第2マーカ6、7を撮影して、投影点検出装置13によって撮像面1に対する投影点F、Gの位置を検出し、カメラ位置算出部23により、カメラ要素の相対的な位置関係、回転中心軸5の位置、第1、第2マーカ6、7の位置、可動ミラー4の第1、第2回転角および撮像面1に対する投影点D〜Gの位置から電子カメラの位置および向きを算出してもよい。
【0048】
(その他の実施の形態)
なお、電子カメラに可動ミラー4を取り付け、回転中心軸5の位置の代わりに電子カメラに対する回転中心軸5の相対位置を用い、可動ミラー4の第1、第2回転角の代わりに電子カメラに対する可動ミラー4の第1、第2相対回転角を用いて、第1、第2マーカ6、7の計算位置、電子カメラの位置および向きを算出してもよい。
【0049】
また、上述実施の形態においては、操作者が可動ミラー4を回転する場合について説明したが、ミラー回転装置により可動ミラー4を回転してもよい。この場合には、回転制御装置によりミラー回転装置を制御する。回転制御装置は電子カメラからの画像情報を処理する画像処理装置によって構成されており、可動ミラー4を第1、第2回転角で停止させる。
【0050】
さらに、本発明の範囲は、図示され記載された例示的な実施の形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施の形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【0051】
1…撮像面、2…レンズ主点、4…可動ミラー、5…回転中心軸、6…第1マーカ、7…第2マーカ、12…回転角取得装置、13…投影点検出装置、14…演算装置、15…記憶部、16…マーカ位置算出部、17…カメラ位置逆算部、21…演算装置、22…記憶部、23…カメラ位置算出部
【特許請求の範囲】
【請求項1】
ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正装置において、
回転可能であり、回転角の調整によって上記電子カメラによる第1、第2マーカの撮影を可能とする可動ミラーと、
上記可動ミラーの上記回転角を取得する回転角取得装置と、
上記電子カメラの撮像面に対する上記第1、第2マーカの投影点の位置を検出する投影点検出装置と、
上記電子カメラのカメラ要素の相対的な位置関係、上記可動ミラーの回転中心軸の位置および上記第1、第2マーカの位置を記憶する記憶部と、
上記カメラ要素の相対的な位置関係、上記回転中心軸の位置、上記第1、第2マーカの位置、上記回転角および上記投影点の位置から上記電子カメラの位置および向きを算出するカメラ位置算出部と
を有することを特徴とするステレオカメラ較正装置。
【請求項2】
上記記憶部が、上記電子カメラのカメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記第1、第2マーカの実際位置、上記回転角および上記投影点の位置を記憶し、
上記カメラ位置算出部が、マーカ位置算出部とカメラ位置逆算部とを有し、
上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出し、
上記カメラ位置逆算部が、上記第1、第2マーカの計算位置、上記電子カメラの暫定位置、上記電子カメラの暫定向きおよび上記第1、第2マーカの実際位置から、上記電子カメラの実際位置および上記電子カメラの実際向きを逆算する
ことを特徴とする請求項1に記載のステレオカメラ較正装置。
【請求項3】
上記回転角取得装置が、第1回転角および上記第1回転角とは異なる第2回転角を取得し、
上記投影点検出装置が、上記可動ミラーが上記第1回転角のときの上記投影点の位置および上記可動ミラーが上記第2回転角のときの上記投影点の位置を検出する
ことを特徴とする請求項1または2に記載のステレオカメラ較正装置。
【請求項4】
上記第1回転角が、上記第1、第2マーカの上記電子カメラの撮像面上の投影点が一致するように調整したときの上記可動ミラーの回転角である
ことを特徴とする請求項3に記載のステレオカメラ較正装置。
【請求項5】
上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する相対回転角を取得し、
上記カメラ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラに対する上記回転中心軸の相対位置、上記第1、第2マーカの位置、上記相対回転角および上記投影点の位置から上記電子カメラの位置および向きを算出する
ことを特徴とする請求項1に記載のステレオカメラ較正装置。
【請求項6】
上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する相対回転角を取得し、
上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記電子カメラに対する上記回転中心軸の相対位置、上記相対回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出する
ことを特徴とする請求項2に記載のステレオカメラ較正装置。
【請求項7】
ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正方法において、
回転可能な可動ミラーの回転角を調整し、上記電子カメラで上記可動ミラーを介して第1、第2マーカを撮影する第1撮影工程と、
上記第1撮影工程の撮影時の上記可動ミラーの第1回転角を取得し、上記第1撮影工程の撮影時の上記電子カメラの撮像面に対する第1、第2マーカの投影点の位置を検出する第1取得検出工程と、
上記可動ミラーの回転角を変更し、上記電子カメラで上記可動ミラーを介して上記第1、第2マーカを撮影する第2撮影工程と、
上記第2撮影工程の撮影時の上記可動ミラーの第2回転角を取得し、上記第2撮影工程の撮影時の上記撮像面に対する第1、第2マーカの投影点の位置を検出する第2取得検出工程と、
少なくとも上記第1、第2マーカの位置、上記第1、第2回転角および上記投影点の位置から上記電子カメラの位置および向きを算出する算出工程
とを有することを特徴とするステレオカメラ較正方法。
【請求項1】
ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正装置において、
回転可能であり、回転角の調整によって上記電子カメラによる第1、第2マーカの撮影を可能とする可動ミラーと、
上記可動ミラーの上記回転角を取得する回転角取得装置と、
上記電子カメラの撮像面に対する上記第1、第2マーカの投影点の位置を検出する投影点検出装置と、
上記電子カメラのカメラ要素の相対的な位置関係、上記可動ミラーの回転中心軸の位置および上記第1、第2マーカの位置を記憶する記憶部と、
上記カメラ要素の相対的な位置関係、上記回転中心軸の位置、上記第1、第2マーカの位置、上記回転角および上記投影点の位置から上記電子カメラの位置および向きを算出するカメラ位置算出部と
を有することを特徴とするステレオカメラ較正装置。
【請求項2】
上記記憶部が、上記電子カメラのカメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記第1、第2マーカの実際位置、上記回転角および上記投影点の位置を記憶し、
上記カメラ位置算出部が、マーカ位置算出部とカメラ位置逆算部とを有し、
上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記回転中心軸の位置、上記回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出し、
上記カメラ位置逆算部が、上記第1、第2マーカの計算位置、上記電子カメラの暫定位置、上記電子カメラの暫定向きおよび上記第1、第2マーカの実際位置から、上記電子カメラの実際位置および上記電子カメラの実際向きを逆算する
ことを特徴とする請求項1に記載のステレオカメラ較正装置。
【請求項3】
上記回転角取得装置が、第1回転角および上記第1回転角とは異なる第2回転角を取得し、
上記投影点検出装置が、上記可動ミラーが上記第1回転角のときの上記投影点の位置および上記可動ミラーが上記第2回転角のときの上記投影点の位置を検出する
ことを特徴とする請求項1または2に記載のステレオカメラ較正装置。
【請求項4】
上記第1回転角が、上記第1、第2マーカの上記電子カメラの撮像面上の投影点が一致するように調整したときの上記可動ミラーの回転角である
ことを特徴とする請求項3に記載のステレオカメラ較正装置。
【請求項5】
上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する相対回転角を取得し、
上記カメラ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラに対する上記回転中心軸の相対位置、上記第1、第2マーカの位置、上記相対回転角および上記投影点の位置から上記電子カメラの位置および向きを算出する
ことを特徴とする請求項1に記載のステレオカメラ較正装置。
【請求項6】
上記回転角取得装置が、上記電子カメラに取り付けられた上記可動ミラーの上記電子カメラに対する相対回転角を取得し、
上記マーカ位置算出部が、上記カメラ要素の相対的な位置関係、上記電子カメラの暫定位置、上記電子カメラの暫定向き、上記電子カメラに対する上記回転中心軸の相対位置、上記相対回転角および上記投影点の位置から、上記第1、第2マーカの計算位置を算出する
ことを特徴とする請求項2に記載のステレオカメラ較正装置。
【請求項7】
ステレオカメラを構成する電子カメラの位置および向きを測定するステレオカメラ較正方法において、
回転可能な可動ミラーの回転角を調整し、上記電子カメラで上記可動ミラーを介して第1、第2マーカを撮影する第1撮影工程と、
上記第1撮影工程の撮影時の上記可動ミラーの第1回転角を取得し、上記第1撮影工程の撮影時の上記電子カメラの撮像面に対する第1、第2マーカの投影点の位置を検出する第1取得検出工程と、
上記可動ミラーの回転角を変更し、上記電子カメラで上記可動ミラーを介して上記第1、第2マーカを撮影する第2撮影工程と、
上記第2撮影工程の撮影時の上記可動ミラーの第2回転角を取得し、上記第2撮影工程の撮影時の上記撮像面に対する第1、第2マーカの投影点の位置を検出する第2取得検出工程と、
少なくとも上記第1、第2マーカの位置、上記第1、第2回転角および上記投影点の位置から上記電子カメラの位置および向きを算出する算出工程
とを有することを特徴とするステレオカメラ較正方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−220356(P2012−220356A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−87136(P2011−87136)
【出願日】平成23年4月11日(2011.4.11)
【出願人】(000002082)スズキ株式会社 (3,196)
【Fターム(参考)】
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成23年4月11日(2011.4.11)
【出願人】(000002082)スズキ株式会社 (3,196)
【Fターム(参考)】
[ Back to top ]