カメラ姿勢取得装置、カメラ姿勢取得方法、及びカメラ姿勢取得プログラム
【課題】 都市部などにおいて撮影された全方位画像から撮影したカメラの姿勢を、一枚の全方位画像から容易かつ確実に取得する。
【解決手段】 全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出部２２、物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割部２３、分割した各領域内の物体輪郭に対して直線検出を行い、検出した直線の交点を算出する直線検出部２４、並びに検出した直線の交点と画像中心との位置の差からカメラ姿勢を算出するＦＯＥ算出部２５、及びＦＯＥ変換部２６を有するカメラ姿勢取得装置。
【解決手段】 全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出部２２、物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割部２３、分割した各領域内の物体輪郭に対して直線検出を行い、検出した直線の交点を算出する直線検出部２４、並びに検出した直線の交点と画像中心との位置の差からカメラ姿勢を算出するＦＯＥ算出部２５、及びＦＯＥ変換部２６を有するカメラ姿勢取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン分野、画像計測、及び測量分野において、全方位カメラの画像入力装置等により取得した画像データ（いわゆる全方位画像）から、画像データ取得時の画像入力装置の姿勢情報を取得する技術に関するものである。
【背景技術】
【０００２】
光軸が真上を向くように車両にカメラを固定して撮影を行ったときに、車両の左右前後の揺れにより実際にはカメラが真上を向かず傾いて撮影を行っていることがある。このようなカメラの傾きをカメラの姿勢情報と呼ぶ。従来、このカメラの姿勢情報取得には、ジャイロセンサなどを用いるセンサベースの手法、複数画像の解析による手法等があった。
【０００３】
ジャイロセンサを用いる手法では、出力される角度情報を姿勢情報として直接取得できるという利点があるが、画像処理などに用いる場合には、カメラの取り付け位置とジャイロセンサの取り付け位置との違いから、位置合わせなどの処理が必要となるだけでなく、画像と姿勢情報の同期がとれないという問題や、ジャイロのドリフトなどの問題がある。
【０００４】
一方、複数画像の解析による手法では、上記のような位置合わせや同期などの問題がなく、また画像毎の姿勢情報を獲得することが可能であるが、複数の画像を解析しないと姿勢情報を取得することはできないという問題がある（例えば、非特許文献１参照。）。
【０００５】
そこで、全方位画像中のＦＯＥ（Ｆｏｃｕｓ ｏｆ ｅｘｐａｎｓｉｏｎ、画像中の消失点、又は出現点を指す）の位置から、カメラの姿勢情報を算出する技術が開示されている(例えば、特許文献１参照。)。この技術では、画像中に投影された建物の輪郭情報を用いて全方位画像中のＦＯＥ位置を推定し、それからカメラ姿勢を求めることにより、カメラ姿勢を取得している。
【特許文献１】特開２００４−１５７８９４号公報
【非特許文献１】農宗 千典、小沢 慎治著、「道路形状情報と連続道路画像からの車両位置とカメラ姿勢の同時推定」、電気情報通信学会論文誌 Ｖｏｌ．Ｊ７７−Ｄ−II Ｎｏ．４ ｐｐ．７６４−７７３ １９９４年４月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし上記特許文献１に開示された技術では、撮影時において周囲の建物の状況に偏りがある場合、具体的には進行方向の右側にのみ建物がありそれ以外の方向には建物が無かった場合などには、ＦＯＥを求めるための建物の輪郭情報を十分に抽出することができないという問題があった。また、建物の輪郭情報から直線を検出する際に輪郭が強く出る建物ばかりに直線が集中してしまい、正確にＦＯＥを求めることができないという問題があった。
【０００７】
図１４に直線が集中してＦＯＥが正しく検出できない例を示す。図１４では、全方位画像の左側に写っている建物が大きな領域を占めていることにより建物の輪郭が強く検出され、このため直線検出を行うと左の建物からしか検出が行われない。したがって、直線の交点の位置が大きく偏り、求めようとするＦＯＥの位置と大きく異なってしまうことが生じていた。
【０００８】
かかる事情に鑑みて本発明はなされたもので、その目的は、都市部などにおいて撮影された全方位画像から撮影したカメラの姿勢を、一枚の全方位画像から容易かつ確実に取得することにある。
【課題を解決するための手段】
【０００９】
そこで上記課題を解決するために、請求項１に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とする。
【００１０】
また、請求項２に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とする。
【００１１】
また、請求項３に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とする。
【００１２】
また、請求項４に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、検出領域分割手段が、前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とする。
【００１３】
また、請求項５に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、直線検出手段が、前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とする。
【００１４】
また、請求項６に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、検出領域分割手段が、前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とする。
【００１５】
また、請求項７に記載の発明は、前記請求項１〜６に記載の発明のいずれかに記載の処理を行わせるプログラムであることを特徴とする。
【００１６】
請求項１及び４に記載の発明では、画像分割処理手段で直線検出を行う領域を分割しておくことで、検出した直線が一部のエッジが強い部分にのみ集中するということがなくなる。これにより直線を各領域から均等に検出することが可能となり、カメラ姿勢推定の精度が向上する。
【００１７】
請求項２及び５に記載の発明では、輪郭フィルタ手段で輪郭フィルタリング処理を行うことで、画像中心を向かう建物輪郭のみを抽出することができる。これにより、ＦＯＥ位置を算出するための直線検出をより高精度に行うことが可能となり、カメラ姿勢推定の精度が向上する。
【００１８】
請求項３及び６に記載の発明では、輪郭フィルタ手段で輪郭のフィルタリング処理を行い、その後に画像分割処理手段で領域を分割してそれぞれの領域から直線検出を行う。これにより、検出した直線が一部のエッジが強い部分にのみ集中することがなく、空間中で垂直な建物輪郭のみを抽出することができ、カメラ姿勢推定の精度が向上する。
【発明の効果】
【００１９】
請求項１〜７に記載の発明によれば、撮影時の周囲の建物の状況に偏りがある場合であっても、安定して正確なＦＯＥ位置を検出することが可能となる。これにより、カメラの姿勢推定の精度を向上させることができ、全方位画像を利用した三次元計測を行う際に、ロバストで高精度な計測を実現することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施形態を説明する。説明上、全方位カメラは、魚眼レンズをマウントしたものとし、このカメラを車両に対して光軸が垂直上向きになるように搭載して、移動しながら全方位映像を取得するものとする。また、Ｘ−Ｙ平面を地面、Ｚ軸を高さ方向、Ｘ軸方向をカメラの進行方向とすると、算出するカメラ姿勢は、Ｘ軸まわりの回転角φ（ロール角）、及びＹ軸まわりの回転角ρ（ピッチ角）となる。なお、魚眼レンズは等距離投影
【００２１】
【数１】
【００２２】
を用いるものとする。
【００２３】
本実施形態では魚眼レンズをマウントした全方位カメラを用いた場合について説明するが、他の全方位カメラを用いた場合についても、その全方位カメラの有する投影式をあてはめることで本発明が成立する。
【００２４】
ここで、図１に全方位画像の座標系を示す。図１に示すように、全方位画像上の画素の座標系をＩ−Ｊ、空間中の座標系をＸ−Ｙ−Ｚとする。全方位画像上の点の座標はＩ−Ｊ座標系で（ｉ，ｊ）と示す。ここでは、Ｘ−Ｙ平面は空間中での地面を、Ｚ軸方向は高さを、Ｘ軸方向は進行方向を、ぞれぞれ表している。
【００２５】
また、Ｉ軸、Ｊ軸はそれぞれＸ軸、Ｙ軸と並行であるものとする。なお、Ｉ−Ｊ座標系とＸ−Ｙ−Ｚ座標系とのスケールを変換するための係数として結像面における受光素子１画素の物理的な大きさをＤとする。
【００２６】
(実施形態１)
以下に、図２〜図７を用いて実施形態１を説明する。
【００２７】
図２に実施形態１のカメラ姿勢取得装置の構成図を示す。図２に示すように実施形態１のカメラ姿勢取得装置は、全方位画像をデータとして入力する全方位画像入力部２１、全方位画像上に投影された建物の輪郭を抽出する建物輪郭抽出部２２、抽出した建物輪郭の中から空間中で垂直な直線を検出する領域を分割する検出領域分割部２３、分割した各領域内の建物輪郭に対して直線検出を行う直線検出部２４、検出した各直線の交点をＦＯＥとして算出するＦＯＥ算出部２５、算出したＦＯＥの位置をロール角とピッチ角に変換するＦＯＥ変換部２６、及び算出したロール角とピッチ角をカメラ姿勢情報として出力するカメラ姿勢出力部２７から構成されている。
【００２８】
図３にカメラ姿勢取得装置の処理フローを示す。図３に示すように、処理が開始すると、全方位画像を全方位画像入力部２１に対して入力する(Ｓ３０１)。
【００２９】
Ｓ３０１で受信した全方位画像が建物輪郭抽出部２２に送信され、建物輪郭抽出部２２は全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る(Ｓ３０２)。
【００３０】
ここで図４に全方位画像に対する輪郭抽出例を示す。図４に示すように、全方位画像から、画素の輝度の勾配値を利用した公知の方法等により建物輪郭を求め、輪郭に当たる画素の値を１、輪郭にあたらない画素の値を０とする。図４では黒い画素の値を１、白い画素の値を０としている。
【００３１】
次にＳ３０２で取得した輪郭抽出画像が検出領域分割部２３に送信され、検出領域分割部２３は分割後の領域の画像中心を基準にした角度が各領域で等しくなるように、輪郭抽出画像をｎ領域に分割する(Ｓ３０３)。
【００３２】
ここで図５にｎ＝４、すなわち輪郭抽出画像を４領域に画像を分割した場合の例を示す。初期設定ではｎ分割した領域毎に処理を行う領域番号ｍの初期値として１を代入する。
【００３３】
なお、算出するロール角、及びピッチ角が第一次近似（ｃｏｓ（θ）≒１、ｓｉｎ（θ）≒θ）が成立する範囲内での微少な傾きである場合、空間中で垂直な建物の輪郭は、ＦＯＥを中心として放射状の直線と重なるという性質がある。このため、抽出した輪郭に対して直線検出を行うことで、空間中で垂直な建物の輪郭を抽出することができる。
【００３４】
次にＳ３０３で分割した画像が直線検出部２４に送信され、直線検出部２４は分割された領域番号ｍに対する領域に対して直線検出を行う (Ｓ３０４)。
【００３５】
ここで図６に直線検出の例を示す。ここでは、輪郭抽出画像に対して、Ｈｏｕｇｈ変換を用いた直線検出処理を行った例を示す。ここでは、Ｓ３０２で輪郭抽出を行った輪郭抽出画像をＳ３０３によって分割した各領域に対して直線検出処理を実現している。前述の図１４と比較すると、図６に示すように直線検出に偏りがなく、安定して直線が求められていることがわかる。
【００３６】
続いて直線検出部２４は、各領域についてＳ３０４が行われたかどうかを判定し(Ｓ３０５)、ｍとｎとが等しくなければＳ３０６に処理を進め、ｍとｎとが等しければ全ての領域についてＳ３０４が行われたものとしてＳ３０７へ処理を進める。
【００３７】
続いて直線検出部２４は、領域番号ｍを１加算して、領域番号ｍに対する直線検出(Ｓ３０４)へ繰り返し処理を進める(Ｓ３０６)。このようにしてＳ３０４で検出した複数の直線から交点を算出する(Ｓ３０７)。直線の交点は、検出したすべての直線からの距離が最小となるような点の位置を最小自乗法などによって算出し、交点として決定する。
【００３８】
次にＦＯＥ算出部２５が、Ｓ３０７で算出した直線の交点をＦＯＥ位置として決定する(Ｓ３０８)。
【００３９】
ここで図７にＦＯＥ位置決定例を示す。図７に示すように、直線の交点を決定したＦＯＥ位置（ｉfoe，ｊfoe）としている。
【００４０】
なお一般的に、空間中で垂直な線分の高さを無限遠まで延長した直線は、画像上でＦＯＥを中心として放射状に投影されるという性質がある。すなわち、Ｓ３０７において算出した直線の交点はＦＯＥと一致することとなる。ここでは、上記の性質を利用してＳ３０７で算出した交点をＳ３０８においてＦＯＥ位置（ｉfoe，ｊfoe）として決定することを実現している。前述の図１４と比較すると、図７に示すようにＦＯＥ位置が誤差なく、安定して求められていることがわかる。
【００４１】
このようにしてＳ３０８で決定したＦＯＥ位置を、ＦＯＥ変換部２６が下記の魚眼レンズの投影式、結像面における受光素子１画素の物理的な大きさＤから導出した式により処理してロール角φ、及びピッチ角ρを算出する。
【００４２】
【数２】
【００４３】
【数３】
【００４４】
以上により、カメラ姿勢の取得処理を終了する。
【００４５】
以上、実施形態１で説明したように、Ｓ３０３の画像分割処理で予めＳ３０４の直線検出を行う領域をｎ個に分割しておくことで、前述の図１４のように検出した直線が一部のエッジが強い部分にのみ集中するということがなくなる。従来技術のように直線が一部のエッジに集中するという状況は、全方位画像を撮影したときの周囲の建物の状況にばらつきがある場合には直線の交点を求める際の交点の精度が低下することにつながり、カメラ姿勢推定の精度が低下することを意味する。これに対して実施形態１では、直線を各領域から均等に検出することにより、カメラ姿勢推定の精度を向上することを実現している。
【００４６】
(実施形態２)
実施形態２では、輪郭抽出を行った後に輪郭抽出時のエッジ方向によるフィルタリング処理を行うことで、空間中において地面(又はＸ−Ｙ平面)に対して垂直な直線以外の輪郭を削除し、より高精度に空間中で地面(又はＸ−Ｙ平面)に対して垂直な直線の検出について述べる。
【００４７】
以下に、図８〜図１１を用いて実施形態２について説明する。
【００４８】
図８に実施形態２のカメラ姿勢取得装置の構成図を示す。図８に示すように実施形態２のカメラ姿勢取得装置は、全方位画像をデータとして入力する全方位画像入力部８１、全方位画像上に投影された建物の輪郭を抽出する建物輪郭抽出部８２、抽出した建物輪郭の輪郭方向を基準にして輪郭のフィルタリング処理を行う輪郭フィルタ部８３、フィルタリング処理を行った建物輪郭に対して直線検出を行う直線検出部８４、検出した直線の交点をＦＯＥとして算出するＦＯＥ算出部８５、算出したＦＯＥの位置をロール角、ピッチ角に変換するＦＯＥ変換部８６、及び算出したロール角、ピッチ角をカメラ姿勢情報として出力するカメラ姿勢情報出力部８７から構成されている。
【００４９】
図９にカメラ姿勢取得装置の処理フローを示す。図９に示すように、処理が開始すると全方位画像を全方位画像入力部８１に対して入力する(Ｓ９０１)。
【００５０】
Ｓ９０１で入力した全方位画像が建物輪郭抽出部８２に送信され、建物輪郭抽出部８２は全方位画像に対して建物輪郭Ｅｉの抽出を行い、輪郭抽出画像を得る。ここでＥｉ（ｉ＝１〜ｎ）はエッジ抽出画像中で輪郭となる画素の集合を示す。
【００５１】
次に、輪郭フィルタ部８３がフィルタリング処理を行うための閾値として角度θを指定する(Ｓ９０３)。このθは、輪郭抽出画像における任意の輪郭におけるエッジの角度（エッジの接線に垂直な直線の角度）μとその輪郭の位置と画像中心とを結んだ直線の法線の角度νの差がθ以下であるときに、その輪郭が画像中心方向を向かっていると判定するための角度である。また、処理対象となる輪郭の番号であるｍに１を代入する。
【００５２】
続いて輪郭フィルタ部８３はフィルタリング処理を行うために閾値と比較するための値として角度νを算出する(Ｓ９０４)。角度νは処理対象の輪郭Ｅｍの位置と画像中心とを通る直線の法線の角度とする。
【００５３】
ここで図１０に角度νの例を示す。図１０に示すように、処理対象の輪郭Ｅｍの位置と画像中心とを通る直線１０１の法線１０２とＩ軸とがなす角度がνとなっている。
【００５４】
続いて輪郭フィルタ部８３はＳ９０２で輪郭Ｅｍの抽出処理を行った際のエッジの角度を、エッジ角度μとして代入する(Ｓ９０５)。
【００５５】
続いて輪郭フィルタ部８３は角度μと角度νの差の絶対値を求め角度θと比較し(Ｓ９０６)、角度θより小さい場合にはＳ９０８に処理を進め、角度θ以上の場合にはＳ９０７に処理を進める。
【００５６】
Ｓ９０７では、処理対象となる輪郭Ｅｍから求めた角度μと角度νの差の絶対値が閾値θよりも大きいため、画像中心に向かっていないエッジとして判定され、輪郭Ｅｍを削除し、処理をＳ９０８に進める。
【００５７】
Ｓ９０８では、処理対象の輪郭番号ｍがＳ９０２で抽出した輪郭数ｎに一致するかを判定し、ｍがｎに到達していない場合にはＳ９０９でｍに１を加算して処理を繰り返す。つまり、Ｓ９０２において抽出したすべての輪郭に関してＳ９０４〜Ｓ９０７の輪郭フィルタリング処理を繰り返す。ｍがｎに等しい場合には、Ｓ９０２において抽出したすべての輪郭に関してＳ９０４〜Ｓ９０７の輪郭フィルタリング処理が終了したと判定し、Ｓ９１０へ処理を進める。
【００５８】
ここで、図１１にフィルタリング処理を行った輪郭の例を示す。図１１(ａ)がフィルタリング処理によって削除された輪郭を示し、図１１(ｂ)がフィルタリング処理によって残った輪郭を示す。
【００５９】
このようにして取得したフィルタリング処理によって残った輪郭に対して直線検出部８４が、Ｈｏｕｇｈ変換などの直線検出処理を行い、直線の検出を行う(Ｓ９１０)。
【００６０】
続いて直線検出部８４は、Ｓ９１０で検出したすべての直線からの距離が最小となるような点の位置を最小自乗法などによって算出し、交点として決定する(Ｓ９１１)。
【００６１】
次にＦＯＥ算出部８５が、Ｓ９１１で算出した交点をＦＯＥ位置（ｉfoe，ｊfoe）として決定する(Ｓ９１２)。
【００６２】
次にＦＯＥ変換部が、Ｓ９１２で決定したＦＯＥ位置から上記数式２、３に基づいてロール角φ、ピッチ角ρを算出する(Ｓ９１３)。
【００６３】
以上により、カメラ姿勢取得処理を終了する。
【００６４】
以上、実施形態２に説明した通り、Ｓ９０４〜Ｓ９０７の輪郭フィルタリング処理を行うことで画像中心に向かう建物輪郭のみを抽出し、ＦＯＥ位置を算出するための直線検出をより高精度に行うことが可能となる。これにより、カメラ姿勢推定の精度向上を実現することができる。
【００６５】
(実施形態３)
実施形態３では、実施形態１及び実施形態２を組み合わせることで、周囲の建物状況に影響されにくく、さらに建物の垂直な輪郭だけを高精度に抽出することでカメラ姿勢推定の精度を向上させる。
【００６６】
図１２に実施形態３のカメラ姿勢取得装置の構成図を示す。図１２に示すように実施形態３のカメラ姿勢取得装置は、全方位画像をデータとして入力する全方位画像入力部１２１、全方位画像上に投影された建物の輪郭を抽出する建物輪郭抽出部１２２、抽出した建物輪郭の輪郭方向を基準にして輪郭のフィルタリングを行う輪郭フィルタ部１２３、抽出した建物輪郭の中から空間中で垂直な直線を検出する領域を分割する検出領域分割部１２４、分割した各領域内でフィルタリングを行った建物輪郭に対して直線検出を行う直線検出部１２５、検出した直線の交点をＦＯＥとして算出するＦＯＥ算出部１２６、算出したＦＯＥの位置をロール角、ピッチ角に変換するＦＯＥ変換部１２７、及び算出したロール角、ピッチ角をカメラ姿勢情報として出力するカメラ姿勢情報出力部１２８から構成されている。
【００６７】
実施形態３の処理フローとしては図３のＳ３０２の処理に代替して、図９のＳ９０２〜Ｓ９１０の処理を行う。
【００６８】
以上、実施形態３では、実施形態２に示した輪郭のフィルタリング処理を行った後に実施形態１に示した領域分割処理を行ってから、直線検出及びＦＯＥ位置の決定を行う。
【００６９】
ここで図１３に実施形態３の処理結果の例を示す。図１３に示すように輪郭のフィルタリング処理をあらかじめ行い、その後に領域を分割してそれぞれの領域から直線検出を行う処理が実現できていることがわかる。これにより、検出した直線が一部のエッジが強い部分にのみ集中することがなく、空間中で垂直な建物輪郭のみからＦＯＥ位置を求めることが可能となり、全方位画像を撮影した周囲の状況によらず安定かつ高精度にカメラ姿勢推定を行うことが可能となる。
【００７０】
なお、カメラ姿勢取得装置は、例えば、コンピュータ装置が有するＣＰＵによって実現され、必要とする建物輪郭抽出、検出領域分割、輪郭フィルタ、直線検出、ＦＯＥ算出、ＦＯＥ変換などをアプリケーションプログラムとして搭載することができる。
【００７１】
また、コンピュータ装置には上記説明した建物輪郭抽出、検出領域分割、輪郭フィルタ、直線検出、ＦＯＥ算出、ＦＯＥ変換など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００７２】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等の記録媒体に記録することができる。
【図面の簡単な説明】
【００７３】
【図１】全方位画像の座標系図。
【図２】実施形態１のカメラ姿勢取得装置の構成図。
【図３】実施形態１のカメラ姿勢取得装置の処理フローチャート。
【図４】全方位画像に対する輪郭抽出例を示す図。
【図５】輪郭抽出画像を４領域に画像を分割した場合の例を示す図。
【図６】直線検出の例を示す図。
【図７】ＦＯＥ位置決定例を示す図。
【図８】実施形態２のカメラ姿勢取得装置の構成図。
【図９】実施形態２のカメラ姿勢取得装置の処理フローチャート。
【図１０】全方位画像の座標系における角度νの例を示す図。
【図１１】フィルタリング処理を行った輪郭の例を示す図。
【図１２】実施形態３のカメラ姿勢取得装置の構成図。
【図１３】実施形態３のカメラ姿勢取得装置の処理フローチャート。
【図１４】直線が集中してＦＯＥが正しく検出できない例を示す図。
【符号の説明】
【００７４】
２１…全方位画像入力部
２２…建物輪郭抽出部
２３…検出領域分割部
２４…直線検出部
２５…ＦＯＥ算出部
２６…ＦＯＥ変換部
２７…カメラ姿勢出力部
８１…全方位画像入力部
８２…建物輪郭抽出部
８３…輪郭フィルタ部
８４…直線検出部
８５…ＦＯＥ算出部
８６…ＦＯＥ変換部
８７…カメラ姿勢出力部
１０１…処理対象画像の輪郭Ｅｍの位置と画像中心とを通る直線
１０２…処理対象の輪郭Ｅｍの位置と画像中心とを通る直線の法線
１２１…全方位画像入力部
１２２…建物輪郭抽出部
１２３…輪郭フィルタ部
１２４…検出領域分割部
１２５…直線検出部
１２６…ＦＯＥ算出部
１２７…ＦＯＥ変換部
１２８…カメラ姿勢出力部
【技術分野】
【０００１】
本発明は、コンピュータビジョン分野、画像計測、及び測量分野において、全方位カメラの画像入力装置等により取得した画像データ（いわゆる全方位画像）から、画像データ取得時の画像入力装置の姿勢情報を取得する技術に関するものである。
【背景技術】
【０００２】
光軸が真上を向くように車両にカメラを固定して撮影を行ったときに、車両の左右前後の揺れにより実際にはカメラが真上を向かず傾いて撮影を行っていることがある。このようなカメラの傾きをカメラの姿勢情報と呼ぶ。従来、このカメラの姿勢情報取得には、ジャイロセンサなどを用いるセンサベースの手法、複数画像の解析による手法等があった。
【０００３】
ジャイロセンサを用いる手法では、出力される角度情報を姿勢情報として直接取得できるという利点があるが、画像処理などに用いる場合には、カメラの取り付け位置とジャイロセンサの取り付け位置との違いから、位置合わせなどの処理が必要となるだけでなく、画像と姿勢情報の同期がとれないという問題や、ジャイロのドリフトなどの問題がある。
【０００４】
一方、複数画像の解析による手法では、上記のような位置合わせや同期などの問題がなく、また画像毎の姿勢情報を獲得することが可能であるが、複数の画像を解析しないと姿勢情報を取得することはできないという問題がある（例えば、非特許文献１参照。）。
【０００５】
そこで、全方位画像中のＦＯＥ（Ｆｏｃｕｓ ｏｆ ｅｘｐａｎｓｉｏｎ、画像中の消失点、又は出現点を指す）の位置から、カメラの姿勢情報を算出する技術が開示されている(例えば、特許文献１参照。)。この技術では、画像中に投影された建物の輪郭情報を用いて全方位画像中のＦＯＥ位置を推定し、それからカメラ姿勢を求めることにより、カメラ姿勢を取得している。
【特許文献１】特開２００４−１５７８９４号公報
【非特許文献１】農宗 千典、小沢 慎治著、「道路形状情報と連続道路画像からの車両位置とカメラ姿勢の同時推定」、電気情報通信学会論文誌 Ｖｏｌ．Ｊ７７−Ｄ−II Ｎｏ．４ ｐｐ．７６４−７７３ １９９４年４月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし上記特許文献１に開示された技術では、撮影時において周囲の建物の状況に偏りがある場合、具体的には進行方向の右側にのみ建物がありそれ以外の方向には建物が無かった場合などには、ＦＯＥを求めるための建物の輪郭情報を十分に抽出することができないという問題があった。また、建物の輪郭情報から直線を検出する際に輪郭が強く出る建物ばかりに直線が集中してしまい、正確にＦＯＥを求めることができないという問題があった。
【０００７】
図１４に直線が集中してＦＯＥが正しく検出できない例を示す。図１４では、全方位画像の左側に写っている建物が大きな領域を占めていることにより建物の輪郭が強く検出され、このため直線検出を行うと左の建物からしか検出が行われない。したがって、直線の交点の位置が大きく偏り、求めようとするＦＯＥの位置と大きく異なってしまうことが生じていた。
【０００８】
かかる事情に鑑みて本発明はなされたもので、その目的は、都市部などにおいて撮影された全方位画像から撮影したカメラの姿勢を、一枚の全方位画像から容易かつ確実に取得することにある。
【課題を解決するための手段】
【０００９】
そこで上記課題を解決するために、請求項１に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とする。
【００１０】
また、請求項２に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とする。
【００１１】
また、請求項３に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とする。
【００１２】
また、請求項４に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、検出領域分割手段が、前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とする。
【００１３】
また、請求項５に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、直線検出手段が、前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とする。
【００１４】
また、請求項６に記載の発明は、全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、検出領域分割手段が、前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とする。
【００１５】
また、請求項７に記載の発明は、前記請求項１〜６に記載の発明のいずれかに記載の処理を行わせるプログラムであることを特徴とする。
【００１６】
請求項１及び４に記載の発明では、画像分割処理手段で直線検出を行う領域を分割しておくことで、検出した直線が一部のエッジが強い部分にのみ集中するということがなくなる。これにより直線を各領域から均等に検出することが可能となり、カメラ姿勢推定の精度が向上する。
【００１７】
請求項２及び５に記載の発明では、輪郭フィルタ手段で輪郭フィルタリング処理を行うことで、画像中心を向かう建物輪郭のみを抽出することができる。これにより、ＦＯＥ位置を算出するための直線検出をより高精度に行うことが可能となり、カメラ姿勢推定の精度が向上する。
【００１８】
請求項３及び６に記載の発明では、輪郭フィルタ手段で輪郭のフィルタリング処理を行い、その後に画像分割処理手段で領域を分割してそれぞれの領域から直線検出を行う。これにより、検出した直線が一部のエッジが強い部分にのみ集中することがなく、空間中で垂直な建物輪郭のみを抽出することができ、カメラ姿勢推定の精度が向上する。
【発明の効果】
【００１９】
請求項１〜７に記載の発明によれば、撮影時の周囲の建物の状況に偏りがある場合であっても、安定して正確なＦＯＥ位置を検出することが可能となる。これにより、カメラの姿勢推定の精度を向上させることができ、全方位画像を利用した三次元計測を行う際に、ロバストで高精度な計測を実現することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施形態を説明する。説明上、全方位カメラは、魚眼レンズをマウントしたものとし、このカメラを車両に対して光軸が垂直上向きになるように搭載して、移動しながら全方位映像を取得するものとする。また、Ｘ−Ｙ平面を地面、Ｚ軸を高さ方向、Ｘ軸方向をカメラの進行方向とすると、算出するカメラ姿勢は、Ｘ軸まわりの回転角φ（ロール角）、及びＹ軸まわりの回転角ρ（ピッチ角）となる。なお、魚眼レンズは等距離投影
【００２１】
【数１】
【００２２】
を用いるものとする。
【００２３】
本実施形態では魚眼レンズをマウントした全方位カメラを用いた場合について説明するが、他の全方位カメラを用いた場合についても、その全方位カメラの有する投影式をあてはめることで本発明が成立する。
【００２４】
ここで、図１に全方位画像の座標系を示す。図１に示すように、全方位画像上の画素の座標系をＩ−Ｊ、空間中の座標系をＸ−Ｙ−Ｚとする。全方位画像上の点の座標はＩ−Ｊ座標系で（ｉ，ｊ）と示す。ここでは、Ｘ−Ｙ平面は空間中での地面を、Ｚ軸方向は高さを、Ｘ軸方向は進行方向を、ぞれぞれ表している。
【００２５】
また、Ｉ軸、Ｊ軸はそれぞれＸ軸、Ｙ軸と並行であるものとする。なお、Ｉ−Ｊ座標系とＸ−Ｙ−Ｚ座標系とのスケールを変換するための係数として結像面における受光素子１画素の物理的な大きさをＤとする。
【００２６】
(実施形態１)
以下に、図２〜図７を用いて実施形態１を説明する。
【００２７】
図２に実施形態１のカメラ姿勢取得装置の構成図を示す。図２に示すように実施形態１のカメラ姿勢取得装置は、全方位画像をデータとして入力する全方位画像入力部２１、全方位画像上に投影された建物の輪郭を抽出する建物輪郭抽出部２２、抽出した建物輪郭の中から空間中で垂直な直線を検出する領域を分割する検出領域分割部２３、分割した各領域内の建物輪郭に対して直線検出を行う直線検出部２４、検出した各直線の交点をＦＯＥとして算出するＦＯＥ算出部２５、算出したＦＯＥの位置をロール角とピッチ角に変換するＦＯＥ変換部２６、及び算出したロール角とピッチ角をカメラ姿勢情報として出力するカメラ姿勢出力部２７から構成されている。
【００２８】
図３にカメラ姿勢取得装置の処理フローを示す。図３に示すように、処理が開始すると、全方位画像を全方位画像入力部２１に対して入力する(Ｓ３０１)。
【００２９】
Ｓ３０１で受信した全方位画像が建物輪郭抽出部２２に送信され、建物輪郭抽出部２２は全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る(Ｓ３０２)。
【００３０】
ここで図４に全方位画像に対する輪郭抽出例を示す。図４に示すように、全方位画像から、画素の輝度の勾配値を利用した公知の方法等により建物輪郭を求め、輪郭に当たる画素の値を１、輪郭にあたらない画素の値を０とする。図４では黒い画素の値を１、白い画素の値を０としている。
【００３１】
次にＳ３０２で取得した輪郭抽出画像が検出領域分割部２３に送信され、検出領域分割部２３は分割後の領域の画像中心を基準にした角度が各領域で等しくなるように、輪郭抽出画像をｎ領域に分割する(Ｓ３０３)。
【００３２】
ここで図５にｎ＝４、すなわち輪郭抽出画像を４領域に画像を分割した場合の例を示す。初期設定ではｎ分割した領域毎に処理を行う領域番号ｍの初期値として１を代入する。
【００３３】
なお、算出するロール角、及びピッチ角が第一次近似（ｃｏｓ（θ）≒１、ｓｉｎ（θ）≒θ）が成立する範囲内での微少な傾きである場合、空間中で垂直な建物の輪郭は、ＦＯＥを中心として放射状の直線と重なるという性質がある。このため、抽出した輪郭に対して直線検出を行うことで、空間中で垂直な建物の輪郭を抽出することができる。
【００３４】
次にＳ３０３で分割した画像が直線検出部２４に送信され、直線検出部２４は分割された領域番号ｍに対する領域に対して直線検出を行う (Ｓ３０４)。
【００３５】
ここで図６に直線検出の例を示す。ここでは、輪郭抽出画像に対して、Ｈｏｕｇｈ変換を用いた直線検出処理を行った例を示す。ここでは、Ｓ３０２で輪郭抽出を行った輪郭抽出画像をＳ３０３によって分割した各領域に対して直線検出処理を実現している。前述の図１４と比較すると、図６に示すように直線検出に偏りがなく、安定して直線が求められていることがわかる。
【００３６】
続いて直線検出部２４は、各領域についてＳ３０４が行われたかどうかを判定し(Ｓ３０５)、ｍとｎとが等しくなければＳ３０６に処理を進め、ｍとｎとが等しければ全ての領域についてＳ３０４が行われたものとしてＳ３０７へ処理を進める。
【００３７】
続いて直線検出部２４は、領域番号ｍを１加算して、領域番号ｍに対する直線検出(Ｓ３０４)へ繰り返し処理を進める(Ｓ３０６)。このようにしてＳ３０４で検出した複数の直線から交点を算出する(Ｓ３０７)。直線の交点は、検出したすべての直線からの距離が最小となるような点の位置を最小自乗法などによって算出し、交点として決定する。
【００３８】
次にＦＯＥ算出部２５が、Ｓ３０７で算出した直線の交点をＦＯＥ位置として決定する(Ｓ３０８)。
【００３９】
ここで図７にＦＯＥ位置決定例を示す。図７に示すように、直線の交点を決定したＦＯＥ位置（ｉfoe，ｊfoe）としている。
【００４０】
なお一般的に、空間中で垂直な線分の高さを無限遠まで延長した直線は、画像上でＦＯＥを中心として放射状に投影されるという性質がある。すなわち、Ｓ３０７において算出した直線の交点はＦＯＥと一致することとなる。ここでは、上記の性質を利用してＳ３０７で算出した交点をＳ３０８においてＦＯＥ位置（ｉfoe，ｊfoe）として決定することを実現している。前述の図１４と比較すると、図７に示すようにＦＯＥ位置が誤差なく、安定して求められていることがわかる。
【００４１】
このようにしてＳ３０８で決定したＦＯＥ位置を、ＦＯＥ変換部２６が下記の魚眼レンズの投影式、結像面における受光素子１画素の物理的な大きさＤから導出した式により処理してロール角φ、及びピッチ角ρを算出する。
【００４２】
【数２】
【００４３】
【数３】
【００４４】
以上により、カメラ姿勢の取得処理を終了する。
【００４５】
以上、実施形態１で説明したように、Ｓ３０３の画像分割処理で予めＳ３０４の直線検出を行う領域をｎ個に分割しておくことで、前述の図１４のように検出した直線が一部のエッジが強い部分にのみ集中するということがなくなる。従来技術のように直線が一部のエッジに集中するという状況は、全方位画像を撮影したときの周囲の建物の状況にばらつきがある場合には直線の交点を求める際の交点の精度が低下することにつながり、カメラ姿勢推定の精度が低下することを意味する。これに対して実施形態１では、直線を各領域から均等に検出することにより、カメラ姿勢推定の精度を向上することを実現している。
【００４６】
(実施形態２)
実施形態２では、輪郭抽出を行った後に輪郭抽出時のエッジ方向によるフィルタリング処理を行うことで、空間中において地面(又はＸ−Ｙ平面)に対して垂直な直線以外の輪郭を削除し、より高精度に空間中で地面(又はＸ−Ｙ平面)に対して垂直な直線の検出について述べる。
【００４７】
以下に、図８〜図１１を用いて実施形態２について説明する。
【００４８】
図８に実施形態２のカメラ姿勢取得装置の構成図を示す。図８に示すように実施形態２のカメラ姿勢取得装置は、全方位画像をデータとして入力する全方位画像入力部８１、全方位画像上に投影された建物の輪郭を抽出する建物輪郭抽出部８２、抽出した建物輪郭の輪郭方向を基準にして輪郭のフィルタリング処理を行う輪郭フィルタ部８３、フィルタリング処理を行った建物輪郭に対して直線検出を行う直線検出部８４、検出した直線の交点をＦＯＥとして算出するＦＯＥ算出部８５、算出したＦＯＥの位置をロール角、ピッチ角に変換するＦＯＥ変換部８６、及び算出したロール角、ピッチ角をカメラ姿勢情報として出力するカメラ姿勢情報出力部８７から構成されている。
【００４９】
図９にカメラ姿勢取得装置の処理フローを示す。図９に示すように、処理が開始すると全方位画像を全方位画像入力部８１に対して入力する(Ｓ９０１)。
【００５０】
Ｓ９０１で入力した全方位画像が建物輪郭抽出部８２に送信され、建物輪郭抽出部８２は全方位画像に対して建物輪郭Ｅｉの抽出を行い、輪郭抽出画像を得る。ここでＥｉ（ｉ＝１〜ｎ）はエッジ抽出画像中で輪郭となる画素の集合を示す。
【００５１】
次に、輪郭フィルタ部８３がフィルタリング処理を行うための閾値として角度θを指定する(Ｓ９０３)。このθは、輪郭抽出画像における任意の輪郭におけるエッジの角度（エッジの接線に垂直な直線の角度）μとその輪郭の位置と画像中心とを結んだ直線の法線の角度νの差がθ以下であるときに、その輪郭が画像中心方向を向かっていると判定するための角度である。また、処理対象となる輪郭の番号であるｍに１を代入する。
【００５２】
続いて輪郭フィルタ部８３はフィルタリング処理を行うために閾値と比較するための値として角度νを算出する(Ｓ９０４)。角度νは処理対象の輪郭Ｅｍの位置と画像中心とを通る直線の法線の角度とする。
【００５３】
ここで図１０に角度νの例を示す。図１０に示すように、処理対象の輪郭Ｅｍの位置と画像中心とを通る直線１０１の法線１０２とＩ軸とがなす角度がνとなっている。
【００５４】
続いて輪郭フィルタ部８３はＳ９０２で輪郭Ｅｍの抽出処理を行った際のエッジの角度を、エッジ角度μとして代入する(Ｓ９０５)。
【００５５】
続いて輪郭フィルタ部８３は角度μと角度νの差の絶対値を求め角度θと比較し(Ｓ９０６)、角度θより小さい場合にはＳ９０８に処理を進め、角度θ以上の場合にはＳ９０７に処理を進める。
【００５６】
Ｓ９０７では、処理対象となる輪郭Ｅｍから求めた角度μと角度νの差の絶対値が閾値θよりも大きいため、画像中心に向かっていないエッジとして判定され、輪郭Ｅｍを削除し、処理をＳ９０８に進める。
【００５７】
Ｓ９０８では、処理対象の輪郭番号ｍがＳ９０２で抽出した輪郭数ｎに一致するかを判定し、ｍがｎに到達していない場合にはＳ９０９でｍに１を加算して処理を繰り返す。つまり、Ｓ９０２において抽出したすべての輪郭に関してＳ９０４〜Ｓ９０７の輪郭フィルタリング処理を繰り返す。ｍがｎに等しい場合には、Ｓ９０２において抽出したすべての輪郭に関してＳ９０４〜Ｓ９０７の輪郭フィルタリング処理が終了したと判定し、Ｓ９１０へ処理を進める。
【００５８】
ここで、図１１にフィルタリング処理を行った輪郭の例を示す。図１１(ａ)がフィルタリング処理によって削除された輪郭を示し、図１１(ｂ)がフィルタリング処理によって残った輪郭を示す。
【００５９】
このようにして取得したフィルタリング処理によって残った輪郭に対して直線検出部８４が、Ｈｏｕｇｈ変換などの直線検出処理を行い、直線の検出を行う(Ｓ９１０)。
【００６０】
続いて直線検出部８４は、Ｓ９１０で検出したすべての直線からの距離が最小となるような点の位置を最小自乗法などによって算出し、交点として決定する(Ｓ９１１)。
【００６１】
次にＦＯＥ算出部８５が、Ｓ９１１で算出した交点をＦＯＥ位置（ｉfoe，ｊfoe）として決定する(Ｓ９１２)。
【００６２】
次にＦＯＥ変換部が、Ｓ９１２で決定したＦＯＥ位置から上記数式２、３に基づいてロール角φ、ピッチ角ρを算出する(Ｓ９１３)。
【００６３】
以上により、カメラ姿勢取得処理を終了する。
【００６４】
以上、実施形態２に説明した通り、Ｓ９０４〜Ｓ９０７の輪郭フィルタリング処理を行うことで画像中心に向かう建物輪郭のみを抽出し、ＦＯＥ位置を算出するための直線検出をより高精度に行うことが可能となる。これにより、カメラ姿勢推定の精度向上を実現することができる。
【００６５】
(実施形態３)
実施形態３では、実施形態１及び実施形態２を組み合わせることで、周囲の建物状況に影響されにくく、さらに建物の垂直な輪郭だけを高精度に抽出することでカメラ姿勢推定の精度を向上させる。
【００６６】
図１２に実施形態３のカメラ姿勢取得装置の構成図を示す。図１２に示すように実施形態３のカメラ姿勢取得装置は、全方位画像をデータとして入力する全方位画像入力部１２１、全方位画像上に投影された建物の輪郭を抽出する建物輪郭抽出部１２２、抽出した建物輪郭の輪郭方向を基準にして輪郭のフィルタリングを行う輪郭フィルタ部１２３、抽出した建物輪郭の中から空間中で垂直な直線を検出する領域を分割する検出領域分割部１２４、分割した各領域内でフィルタリングを行った建物輪郭に対して直線検出を行う直線検出部１２５、検出した直線の交点をＦＯＥとして算出するＦＯＥ算出部１２６、算出したＦＯＥの位置をロール角、ピッチ角に変換するＦＯＥ変換部１２７、及び算出したロール角、ピッチ角をカメラ姿勢情報として出力するカメラ姿勢情報出力部１２８から構成されている。
【００６７】
実施形態３の処理フローとしては図３のＳ３０２の処理に代替して、図９のＳ９０２〜Ｓ９１０の処理を行う。
【００６８】
以上、実施形態３では、実施形態２に示した輪郭のフィルタリング処理を行った後に実施形態１に示した領域分割処理を行ってから、直線検出及びＦＯＥ位置の決定を行う。
【００６９】
ここで図１３に実施形態３の処理結果の例を示す。図１３に示すように輪郭のフィルタリング処理をあらかじめ行い、その後に領域を分割してそれぞれの領域から直線検出を行う処理が実現できていることがわかる。これにより、検出した直線が一部のエッジが強い部分にのみ集中することがなく、空間中で垂直な建物輪郭のみからＦＯＥ位置を求めることが可能となり、全方位画像を撮影した周囲の状況によらず安定かつ高精度にカメラ姿勢推定を行うことが可能となる。
【００７０】
なお、カメラ姿勢取得装置は、例えば、コンピュータ装置が有するＣＰＵによって実現され、必要とする建物輪郭抽出、検出領域分割、輪郭フィルタ、直線検出、ＦＯＥ算出、ＦＯＥ変換などをアプリケーションプログラムとして搭載することができる。
【００７１】
また、コンピュータ装置には上記説明した建物輪郭抽出、検出領域分割、輪郭フィルタ、直線検出、ＦＯＥ算出、ＦＯＥ変換など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００７２】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等の記録媒体に記録することができる。
【図面の簡単な説明】
【００７３】
【図１】全方位画像の座標系図。
【図２】実施形態１のカメラ姿勢取得装置の構成図。
【図３】実施形態１のカメラ姿勢取得装置の処理フローチャート。
【図４】全方位画像に対する輪郭抽出例を示す図。
【図５】輪郭抽出画像を４領域に画像を分割した場合の例を示す図。
【図６】直線検出の例を示す図。
【図７】ＦＯＥ位置決定例を示す図。
【図８】実施形態２のカメラ姿勢取得装置の構成図。
【図９】実施形態２のカメラ姿勢取得装置の処理フローチャート。
【図１０】全方位画像の座標系における角度νの例を示す図。
【図１１】フィルタリング処理を行った輪郭の例を示す図。
【図１２】実施形態３のカメラ姿勢取得装置の構成図。
【図１３】実施形態３のカメラ姿勢取得装置の処理フローチャート。
【図１４】直線が集中してＦＯＥが正しく検出できない例を示す図。
【符号の説明】
【００７４】
２１…全方位画像入力部
２２…建物輪郭抽出部
２３…検出領域分割部
２４…直線検出部
２５…ＦＯＥ算出部
２６…ＦＯＥ変換部
２７…カメラ姿勢出力部
８１…全方位画像入力部
８２…建物輪郭抽出部
８３…輪郭フィルタ部
８４…直線検出部
８５…ＦＯＥ算出部
８６…ＦＯＥ変換部
８７…カメラ姿勢出力部
１０１…処理対象画像の輪郭Ｅｍの位置と画像中心とを通る直線
１０２…処理対象の輪郭Ｅｍの位置と画像中心とを通る直線の法線
１２１…全方位画像入力部
１２２…建物輪郭抽出部
１２３…輪郭フィルタ部
１２４…検出領域分割部
１２５…直線検出部
１２６…ＦＯＥ算出部
１２７…ＦＯＥ変換部
１２８…カメラ姿勢出力部
【特許請求の範囲】
【請求項１】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、
前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、
前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、
前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、
前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とするカメラ姿勢取得装置。
【請求項２】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、
前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、
前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、
前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、
前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とするカメラ姿勢取得装置。
【請求項３】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、
前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、
前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、
前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、
前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、
前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とするカメラ姿勢取得装置。
【請求項４】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、
物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、
検出領域分割手段が、前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、
直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、
カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とするカメラ姿勢取得方法。
【請求項５】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、
物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、
輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、
直線検出手段が、前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、
カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とするカメラ姿勢取得方法。
【請求項６】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、
物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、
輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、
検出領域分割手段が、前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、
直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、
カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とするカメラ姿勢取得方法。
【請求項７】
前記請求項１〜６のいずれか１項に記載の処理を行わせることを特徴とするカメラ姿勢取得プログラム。
【請求項１】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、
前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、
前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、
前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、
前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とするカメラ姿勢取得装置。
【請求項２】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、
前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、
前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、
前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、
前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とするカメラ姿勢取得装置。
【請求項３】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置であって、
前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出手段と、
前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタ手段と、
前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割手段と、
前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出手段と、
前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出手段と、を有することを特徴とするカメラ姿勢取得装置。
【請求項４】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、
物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、
検出領域分割手段が、前記物体輪郭抽出後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、
直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、
カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とするカメラ姿勢取得方法。
【請求項５】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、
物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、
輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、
直線検出手段が、前記フィルタリング後の全方位画像に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、
カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とするカメラ姿勢取得方法。
【請求項６】
全方位画像から当該全方位画像撮影時のカメラ姿勢を取得するカメラ姿勢取得装置におけるカメラ姿勢取得方法であって、
物体輪郭抽出手段が、前記全方位画像に投影された物体の輪郭を抽出する物体輪郭抽出ステップと、
輪郭フィルタ手段が、前記物体輪郭抽出後の全方位画像に対して、前記物体の輪郭のエッジ角度に基づいてフィルタリングを行う輪郭フィルタステップと、
検出領域分割手段が、前記フィルタリング後の全方位画像に対して画像中心から任意の角度で領域分割を行う検出領域分割ステップと、
直線検出手段が、前記分割した各領域内の物体輪郭に対して直線検出を行い、当該検出した直線の交点を算出する直線検出ステップと、
カメラ姿勢算出手段が、前記検出した直線の交点と前記画像中心との位置の差からカメラ姿勢を算出するカメラ姿勢算出ステップと、を有することを特徴とするカメラ姿勢取得方法。
【請求項７】
前記請求項１〜６のいずれか１項に記載の処理を行わせることを特徴とするカメラ姿勢取得プログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【公開番号】特開２００６−１７２２４５（Ｐ２００６−１７２２４５Ａ）
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願番号】特願２００４−３６５３８６（Ｐ２００４−３６５３８６）
【出願日】平成１６年１２月１７日（２００４．１２．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願日】平成１６年１２月１７日（２００４．１２．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]