回転推定装置、回転推定方法およびプログラム
【課題】３次元画像において画像が低品質で基準となる面に目印となるものが無くても撮像系の回転やその時間変動の推定を可能とする。
【解決手段】回転推定装置は、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手段と、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手段と、を含む。
【解決手段】回転推定装置は、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手段と、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回転推定装置、回転推定方法およびプログラムに関し、特には、撮像装置から入力された３次元画像を用いて撮像装置の回転を推定する回転推定装置、回転推定方法およびプログラムに関する。
【背景技術】
【０００２】
移動体（例えば、空中または宇宙を飛行する飛翔体、または、水中を航行する航走体）に固定された撮像装置（例えば、ステレオカメラ、または、レーダー）の姿勢を推定する姿勢推定方法が知られている（特許文献１参照）。
【０００３】
この姿勢推定方法では、まず、予め決められた基準対象物（例えば、地面、海底面、海面、または、その面上の植生や建築物などの構造物）が、移動体に固定された撮像装置にて撮影され、その基準対象物を含む撮像画像が生成される。
【０００４】
続いて、撮像画像と、基準画像（予め入手されている基準対象物を表す地形図または基準対象物の形状を表す形状図等）と、を照らし合わせ、撮像画像内での基準対象物の位置、および、撮像画像内での基準対象物の歪みに基づいて、撮像装置の姿勢が推定される。
【０００５】
この姿勢推定方法にて推定された撮像装置の姿勢に基づいて、移動体内のジャイロスコープなどの姿勢センサに蓄積された誤差を補正することが可能になる。
【０００６】
また、この姿勢推定方法にて撮像装置の姿勢を精度良く求めることができるならば、ジャイロスコープなどの姿勢センサが不要となり、飛翔体または航走体をより小型化できる。
【０００７】
さらには、一旦姿勢を推定できれば、複数時刻の姿勢に基づいて、撮像装置が回転しているかどうかを判別することは容易であり、回転している場合は、その回転速度や回転軸の向きを算出することも可能である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１２７０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
予め決められた基準対象物が撮影された撮像画像と、基準画像と、を用いて、撮像装置の姿勢および回転状態を算出する技術では、以下のような課題があった。
【００１０】
撮影環境または撮像装置の性能のために、撮像画像が、不鮮明であったり、ノイズ過多であったりする場合、撮像画像内の基準対象物を判別することができない。よって、撮像装置の姿勢の推定、および、撮像装置の回転状態の推定を行うことができない。
【００１１】
本発明の目的は、上述した課題を解決可能な回転推定装置、回転推定方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１２】
本発明の回転推定装置は、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手段と、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手段と、を含む。
【００１３】
本発明の回転推定方法は、回転推定装置が行う回転推定方法であって、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定ステップと、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定ステップと、を含む。
【００１４】
本発明のプログラムは、コンピュータに、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手順と、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手順と、を実行させる。
【発明の効果】
【００１５】
本発明によれば、予め決められた基準対象物を用いずに、撮像装置の回転状態を推定することが可能になる。このため、予め決められた基準対象物を撮像された画像内で認識できない場合、および、撮像された画像内に基準対象物が存在しない場合でも、撮像装置の回転状態を推定することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態を含む回転推定システム１０を示したブロック図である。
【図２】基準面３Ａに対する撮像装置５の姿勢および位置の例を示した模式図である。
【図３】基準面３Ａに対する撮像装置５の姿勢および位置の例を示した模式図である。
【図４】ｙ軸に対してヨー（γ）がある場合の基準面３Ａに対する撮像装置５の姿勢および位置関係の例を示した模式図である。
【図５】撮像装置５の回転運動に基づいた基準面３Ａに対する撮像装置５の姿勢および位置関係の例を示した模式図である。
【図６】本発明の第２の実施の形態を含む回転推定システム１０Ａを示したブロック図である。
【図７】本発明の第３の実施の形態を含む回転推定システム１０Ｂを示したブロック図である。
【図８】本発明の第４の実施の形態を含む回転推定システム１０Ｃを示したブロック図である。
【図９】本発明の第５の実施の形態を含む回転推定システム１０Ｄを示したブロック図である。
【発明を実施するための形態】
【００１７】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１８】
（第１の実施の形態）
図１は、本発明の第１の実施の形態を含む回転推定システム１０を示したブロック図である。
【００１９】
図１を参照すると、回転推定システム１０は、入力装置１と、記憶装置２と、データ処理装置３と、通信装置４と、を含む。
【００２０】
入力装置１は、画像入力部１ａと、文字入力部１ｂと、を含む。
【００２１】
画像入力部１ａは、撮像装置５が複数のタイミングで撮像した複数の３次元の画像（以下「３次元画像」と称する）５Ａを受け付ける。
【００２２】
撮像装置５は、例えば、ステレオカメラ、レーザーレンジファインダー、レーダー、ソーナー、または、ライダー（lidar）であり、撮影に伴って、３次元画像５Ａを生成する。
【００２３】
なお、撮像装置５が、飛翔体または航走体等の移動体に固定される場合、撮像装置５の姿勢は、撮像装置５が固定されている移動体の姿勢も意味する。
【００２４】
３次元画像５Ａは、３次元画像５Ａ内の種々の物体と、撮像装置５と、の距離を表す情報を含むものであれば、特に限定されない。
【００２５】
３次元画像５Ａは、例えば、複数の時刻のそれぞれにおける３次元の静止画像でもよいし、３次元の動画像であってもよい。３次元の動画像は、当然のことながら、撮像装置５が複数のタイミングで撮像した複数の３次元の静止画像を含む。
【００２６】
また、３次元画像５Ａは、速度場または磁場などの様々な空間的な大きさまたは時間的な大きさを示す物理量、または、特定関数による畳み込みなどの各種演算により得られた画像特徴量を表した３次元画像でもよいし、または、画像特徴量の時間的変化を高次元で表した３次元画像でもよい。
【００２７】
本実施形態では、３次元画像５Ａには、撮像装置５による撮影日時を示す撮影日時情報が付与されているとする。よって、３次元画像５Ａが撮像されたタイミング（時刻）は、３次元画像５Ａに付与された撮影日時情報によって認識可能である。
【００２８】
文字入力部１ｂは、例えば、キーボード、マウス、または、タッチパネルであり、文字情報を入力する。
【００２９】
記憶装置２は、しきい値記憶部２ａと、パラメータ記憶部２ｂと、画像記憶部２ｃと、を含む。
【００３０】
しきい値記憶部２ａは、文字入力部１ｂから入力された各種しきい値を記憶する。
【００３１】
パラメータ記憶部２ｂは、例えば、検出対象である基準面（平面や曲面）３Ａの検出の際に使うパラメータ空間と、検出候補の面のリストと、を記憶する。
【００３２】
なお、基準面３Ａは、３次元画像５Ａに共通に存在する面領域、さらに言えば、その面領域を含む面である。
【００３３】
画像記憶部２ｃは、画像入力部１ａから入力された複数の３次元画像５Ａと、データ処理装置３内の各構成要素によって処理されている途中または処理結果の画像と、を記憶する。
【００３４】
データ処理装置３は、一般的に回転推定装置と呼ぶことができる。
【００３５】
データ処理装置３は、２値化部３ａと、姿勢推定部３ｂと、回転パラメータ算出部３ｃと、を含む。２値化部３ａと姿勢推定部３ｂとは、姿勢判定部３ｄに含まれる。
【００３６】
姿勢判定部３ｄは、一般的に姿勢判定手段と呼ぶことができる。
【００３７】
姿勢判定部３ｄは、撮像装置５が複数のタイミングで撮像した複数の３次元画像５Ａを受け付ける。姿勢判定部３ｄは、複数の３次元画像５Ａに共通に存在する基準面３Ａ（面領域）を検出する。
【００３８】
基準面３Ａは、例えば、地面、海面、または、壁面などである。
【００３９】
姿勢判定部３ｄは、３次元画像５Ａごとに、３次元画像５Ａに基づいて、その３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【００４０】
２値化部３ａは、一般的に検出手段と呼ぶことができる。
【００４１】
２値化部３ａは、複数の３次元画像５Ａを受け付け、３次元画像５Ａごとに、その３次元画像５Ａから基準面３Ａの候補となる候補領域ＣＲを検出する。
【００４２】
本実施形態では、２値化部３ａは、画像入力部１ａから入力された３次元画像５Ａごとに、３次元画像５Ａの画素値に基づいて、その３次元画像５Ａを、候補領域ＣＲと、候補領域ＣＲ以外の領域（以下「背景領域」と称する）ＢＲと、に分割する。
【００４３】
例えば、２値化部３ａは、複数の３次元画像５Ａの各画素に対して、共通の２値化を行って、各３次元画像５Ａを、候補領域ＣＲと、背景領域ＢＲと、に分割する。
【００４４】
このため、各３次元画像５Ａでは、各３次元画像５Ａに共通に撮像されている物体が有する面が、候補領域ＣＲとして設定される可能性が高くなる。
【００４５】
姿勢推定部３ｂは、一般的に姿勢推定手段と呼ぶことができる。
【００４６】
姿勢推定部３ｂは、３次元画像５Ａごとに、３次元画像５Ａ内の候補領域ＣＲに基づいて、基準面３Ａを検出し、３次元画像５Ａごとに、３次元画像５Ａに基づいて、３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【００４７】
本実施形態では、姿勢推定部３ｂは、３次元画像５Ａごとに、３次元画像５Ａ内での候補領域ＣＲの位置に基づいて、基準面３Ａの位置を特定し、同時に、３次元画像５Ａに基づいて、基準面３Ａに対する撮像装置５の姿勢および距離を求める。
【００４８】
回転パラメータ算出部３ｃは、一般的に回転状態推定手段と呼ぶことができる。
【００４９】
回転パラメータ算出部３ｃは、３次元画像５Ａごとに求められた、基準面３Ａに対する撮像装置５の相対的な姿勢に基づいて、撮像装置５の回転状態、つまり、撮像装置５の回転パラメータを求める。
【００５０】
回転パラメータ算出部３ｃは、３次元画像５Ａごとに求められた、基準面３Ａに対する撮像装置５の相対的な姿勢に基づいて、撮像装置５の回転状態（撮像装置５の回転パラメータ）として、予め定められた基準方向に対する撮像装置５の回転角と、撮像装置５の回転角の時間変動と、を求める。
【００５１】
本実施形態では、回転パラメータ算出部３ｃは、姿勢推定部３ｂによって３次元画像５Ａごとに求められた、換言すると、姿勢推定部３ｂによって複数の時刻において得られた、基準面３Ａに対する撮像装置５の相対的な姿勢および距離を受け付ける。
【００５２】
回転パラメータ算出部３ｃは、複数の時刻における基準面３Ａに対する撮像装置５の相対的な姿勢および距離に基づいて、予め定められた基準方向に対する撮像装置５の回転角と、回転速度および回転加速度などの回転角の時間変動と、を撮像装置５の回転状態（撮像装置５の回転パラメータ）として求める。
【００５３】
回転パラメータ算出部３ｃは、撮像装置５の回転状態（撮像装置５の回転パラメータ）を、通信装置４を介して、外部の制御システム６などへ渡す。
【００５４】
通信装置４は、有線または無線のネットワークを介して、撮像装置５の回転状態（撮像装置５の回転パラメータ）を、外部の制御システム６等へ送付するデータ送信部４ａを含む。
【００５５】
次に、図１を参照して、回転推定システム１０の動作を説明する。
【００５６】
画像入力部１ａは、撮像装置５から３次元画像５Ａを受け付けるごとに、３次元画像５Ａを画像記憶部２ｃに記憶する。
【００５７】
２値化部３ａは、画像記憶部２ｃを参照し、画像記憶部２ｃから３次元画像５Ａを１つずつ受け付け、各３次元画像５Ａを、３次元画像５Ａの画素値に基づいて、候補領域ＣＲと、背景領域ＢＲと、に分割する。
【００５８】
２値化部３ａが、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する方法としては、２次元画像を２つの領域に分割する一般的な方法が用いられる。
【００５９】
例えば、２値化部３ａは、公知のＰタイル法を用いて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６０】
この場合、３次元画像５Ａが有する全画素数に対する候補領域ＣＲの画素数の割合が、予めしきい値として定められ、そのしきい値が、しきい値記憶部２ａに記憶される。２値化部３ａは、しきい値記憶部２ａ内のしきい値に従って、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する。
【００６１】
また、２値化部３ａは、公知のモード法を用いて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６２】
この場合、２値化部３ａは、３次元画像５Ａについて、横軸を画素値、縦軸を頻度としたヒストグラムを作成し、ヒストグラムが双峰形と仮定して、その谷をしきい値として用いて、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する。
【００６３】
また、２値化部３ａは、候補領域ＣＲと背景領域ＢＲの各々の内部で画素値の分散が最小になり、かつ、候補領域ＣＲと背景領域ＢＲとの間で分散が大きくなるようにしきい値を決め、そのしきい値を用いて、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６４】
また、２値化部３ａは、公知の固定しきい値法を用いて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６５】
この場合、予め画素値のしきい値が定められ、そのしきい値がしきい値記憶部２ａに記憶される。２値化部３ａは、３次元画像５Ａが有する各画素について、画素値が、しきい値記憶部２ａ内のしきい値よりも大きいかどうかを判定し、その判定結果に基づいて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６６】
また、２値化部３ａは、公知の動的しきい値法を用いて、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６７】
この場合、２値化部３ａは、３次元画像５Ａを一定サイズの小領域に分割し、小領域ごとに、Ｐタイル法、モード法または判別分析法を使って、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する。
【００６８】
２値化部３ａは、候補領域ＣＲと背景領域ＢＲとに分けられた３次元画像５Ａを、３次元画像５Ａごとに、画像記憶部２ｃに記憶する。
【００６９】
続いて、姿勢推定部３ｂは、３次元画像５Ａごとに、３次元画像５Ａ内での基準面３Ａの位置を特定し、３次元画像５Ａ内の基準面３Ａの位置に基づいて、基準面３Ａに対する撮像装置５の相対的な姿勢を推定する。
【００７０】
例えば、基準面３Ａと撮像装置５との位置関係が、図２に示したような状況である場合を考える。
【００７１】
図２では、基準面３Ａと撮像装置５との位置関係等は、以下のようになっている。
【００７２】
基準面３Ａは、平面である。撮影時の撮像装置５の視線方向は、一般的なカメラで例えると、撮像装置５の撮影レンズの光軸方向である。撮影時の撮像装置５の視線方向を軸とした、基準位置からの撮像装置５の回転角、すなわち「ロール」（ｒｏｌｌ）は、右向きでαである。基準面３Ａが、撮影時の撮像装置５の視線方向となす角度、すなわち「ピッチ」（ｐｉｔｃｈ）は、βである。基準面３Ａが撮像装置５の上方に位置しており、基準面３Ａと撮像装置５との距離が、ｄである。
【００７３】
図２において、ｘ軸、ｙ軸およびｚ軸のそれぞれの向き（ｘｙｚ座標系）は、基準面３Ａに基づいて設定される。具体的には、ｘ軸とｙ軸は、ｘ軸とｙ軸とを含む平面が基準面３Ａと平行になるように、設定されている。ｘ軸、ｙ軸およびｚ軸の原点は、撮像装置５の中心位置となるように設定されている。
【００７４】
なお、図２に示した状況において撮像装置５の姿勢を推定することは、例えば、深度ｄの海中を航行する航走体（撮像装置５が固定された移動体）の姿勢を、海面（基準面３Ａ）を元に推定することに相当する。
【００７５】
計算を容易にするため、ここでは、撮像装置５の視線方向をｘｙ平面へ投影した線は、ｙ軸に一致するものとする。
【００７６】
また、撮像装置５の中心位置を原点とし、撮像装置５の視線方向にｙ’軸、撮像装置５の横方向にｘ’軸、撮像装置５の縦方向にｚ’軸をとった、撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）を想定する。
【００７７】
撮像装置５から出力された３次元画像５Ａにて表されるものは、撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）を用いて、３次元画像５Ａ上での位置を特定することが可能である。
【００７８】
撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）と、基準面３Ａに応じた座標系（ｘｙｚ座標系）と、の関係は、座標変換行列を用いた式（１）に示した関係になる。
【００７９】
【数１】
【００８０】
このため、基準面３Ａは
【００８１】
【数２】
【００８２】
と表される。
【００８３】
基準面３Ａが３次元画像５Ａ内で鮮明で精度よく映っているならば、姿勢推定部３ｂは、撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）にて特定される基準面３Ａの３点の位置と式（２）とを用いて、α、βおよびｄを求めることができる。
【００８４】
３次元画像５Ａが不鮮明であったり、３次元画像５Ａ内にノイズが多かったりする場合は、姿勢推定部３ｂは、例えば、基準面３Ａを最小２乗法でフィッティングすることにより、α、βおよびｄを求めることができる。
【００８５】
あるいは、姿勢推定部３ｂは、本出願人の提案による特願２００８−０２２７１０号明細書に記述してあるように、ハフ変換に基づいた方法で、α、βおよびｄを求めてもよい。
【００８６】
特願２００８−０２２７１０号明細書に記述してあるように、基準面３Ａが、図３のような球面であっても、姿勢推定部３ｂは、基準面３Ａに対する撮像装置５の相対的な姿勢を求めることができる。
【００８７】
また、基準面３Ａの候補が、平面または球面で無くても、その候補の一部が、平面または球面とみなせるならば、姿勢推定部３ｂは、上記と同じ手法で、基準面３Ａに対する撮像装置５の相対的な姿勢を求めることができる。
【００８８】
また、姿勢推定部３ｂは、特願２００８−０２２７１０号明細書に記述してあるように一般化ハフ変換を適用すれば、基準面３Ａが任意形状でも、基準面３Ａに対する撮像装置５の相対的な姿勢を求めることができる。
【００８９】
続いて、回転パラメータ算出部３ｃは、複数の３次元画像５Ａのそれぞれについて得られた、換言すると、複数の時刻について得られた、基準面３Ａに対する撮像装置５の相対的な姿勢を保持し、その複数の姿勢から、時刻間の撮像装置５の回転角の変位を求め、さらに、時刻間隔から、撮像装置５の回転速度および回転加速度など、撮像装置５の回転についての時間変動を、撮像装置５の回転パラメータとして算出する。
【００９０】
なお、回転パラメータ算出部３ｃは、各３次元画像５Ａに付与されている撮影日時情報を用いて、複数の時刻すなわち複数の撮影時刻を認識する。
【００９１】
本実施形態では、回転パラメータ算出部３ｃは、複数の時刻間の撮像装置５の姿勢の変動に基づく第１の座標変換行列として、「ロール」、「ピッチ」および「ヨー」（ｙａｗ）をパラメータとして用いて姿勢変動行列１を求める。
【００９２】
なお、「ロール」と「ピッチ」は、「α」と「β」として、姿勢推定部３ｂによって、それぞれ求められている。このため、この段階では、「ロール」、「ピッチ」および「ヨー」のうち、「ヨー」だけが求められていない。
【００９３】
次に、回転パラメータ算出部３ｃは、姿勢変動行列１を求めるときに用いた時刻間の撮像装置５の姿勢の変動に応じた第２の座標変換行列として、姿勢変動行列２を求める。
【００９４】
なお、姿勢変動行列２で用いられる後述するパラメータは、この段階では、求められていない。
【００９５】
姿勢変動行列１と姿勢変動行列２は等しいことを利用して、回転パラメータ算出部３ｃは、姿勢変動行列２で用いられるパラメータやヨーを、既知の「ロール」および「ピッチ」で記述する式を生成する。
【００９６】
以下、姿勢変動行列１と姿勢変動行列２について説明する。
【００９７】
まず、図４を参照して、姿勢変動行列１について説明する。
【００９８】
図４に示すように、「ロール」が右向きでαであり、「ピッチ」がβであり、さらにｚ軸の周りを反時計回りにｙ軸正の方向に対してγ「ヨー」がある場合、回転パラメータ算出部３ｃは、姿勢変動行列１として、座標変換行列Ｕを算出する。
【００９９】
座標変換行列Ｕの各成分
【０１００】
【数３】
【０１０１】
は、次のようになる。
【０１０２】
【数４】
【０１０３】
次に、図５を参照して、撮像装置５の回転運動に基づいた姿勢変動行列２について説明する。
【０１０４】
図５には、撮像装置５の回転運動に関して以下のように示してある。
【０１０５】
撮像装置５の回転の基準となる平面として、撮像装置５の回転軸５Ｂを法線とする回転面５Ｃが定められている。撮像装置５の視線方向と回転面５Ｃのなす角度は、Ａである。回転面５Ｃは、ある任意の方向から反時計回りにＢだけ回転している。回転軸５Ｂと基準面３Ａとのなす角度は、Ｃである。さらに、回転軸５Ｂは、ある任意の方向を基準として反時計回りにＤだけ回転している。Ａ、Ｂ、ＣおよびＤが、姿勢変動行列２のパラメータとして用いられる。
【０１０６】
この場合、回転パラメータ算出部３ｃは、姿勢変動行列２として、座標変換行列Ｖを算出する。
【０１０７】
なお、座標変換行列Ｖの各成分
【０１０８】
【数５】
【０１０９】
は、次のようになる。
【０１１０】
【数６】
【０１１１】
さて、式（３）と式（４）で示された２つの座標変換行列は、同一の座標変換を各々異なる回転を組み合わせて構成したものであり、変換の結果は一致する。すなわち
Ｕ＝Ｖ 式（５）
の関係が成り立つ。
【０１１２】
姿勢推定部３ｂの算出結果では、γ（ヨー）が不定であるが、回転パラメータ算出部３ｃは、式（５）で示された各行列の第３列の関係から得ることができる式（６）を用いて、Ａ、Ｂ、Ｃをα、βを用いて記述することができる。
【０１１３】
【数７】
【０１１４】
例えばＡとＣが一定で既知の場合、時刻１で求まった姿勢がα1およびβ1であると、回転パラメータ算出部３ｃは、時刻１のときの回転角Ｂ1を式（６）から容易に求めることができる。すなわち、回転パラメータ算出部３ｃは、式（７）を用いて、時刻１のときの回転角Ｂ1を求めることができる。
【０１１５】
【数８】
【０１１６】
さらに、時刻２で求まった姿勢がα1およびβ1であり、時刻２のときの回転角をＢ2である場合、回転パラメータ算出部３ｃは、時刻１と時刻２の時間間隔と、Ｂ1およびＢ2とから、回転速度を求めることができる。
【０１１７】
式（７）は、また、Ａが分からなくてもＣがわかれば、回転パラメータ算出部３ｃは、式（７）を用いることで、回転角を求めることができ、回転速度を求めることができることを示している。
【０１１８】
また、ＡとＣが一定ならば、ＡとＣが未知であっても、回転パラメータ算出部３ｃは、式（６）の下段の２つの式を利用して
【０１１９】
【数９】
【０１２０】
を得て、Ａを求めることができる。
【０１２１】
そしてＡが求まれば、回転パラメータ算出部３ｃは、式（６）の下段の２つの式を利用して得られた
【０１２２】
【数１０】
【０１２３】
を用いて、Ｃを求めることができる。
【０１２４】
Ｃが求まれば、回転パラメータ算出部３ｃは、式（７）を用いて回転角を求めることができ、複数の時刻の回転角から回転の時間変動を求めることができる。
【０１２５】
ＡとＣが一定でなくても、時間変動が小さく、時刻１と時刻２の間だけでもＡとＣが一定とみなせるならば、回転パラメータ算出部３ｃは、ＡとＣが一定の場合と同様にして、回転角と回転の時間変動を求めることができる。
【０１２６】
回転パラメータ算出部３ｃは、このようにして得られた姿勢、回転角、および、回転角の時間変動を、パラメータ記憶部２ｂに記憶する。
【０１２７】
パラメータ記憶部２ｂ内の、姿勢、回転角、および、回転角の時間変動は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１２８】
なお、姿勢、回転角、および、回転角の時間変動は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１２９】
本実施形態によれば、姿勢判定部３ｄは、複数の３次元画像５Ａに共通に存在する基準面３Ａ（面領域）を検出し、３次元画像５Ａごとに、３次元画像５Ａに基づいて、その３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【０１３０】
回転パラメータ算出部３ｃは、３次元画像５Ａごとに求められた、基準面３Ａに対する撮像装置５の相対的な姿勢に基づいて、撮像装置５の回転状態を求める。
【０１３１】
このため、画像にノイズが多かったり不鮮明であったりして、基準となる面の表面上の凹凸形状や模様などのパターンや表面上の構造物を識別できない３次元画像においても、高い精度で、基準面３Ａを検出して、撮像装置５の姿勢を推定でき、さらに、撮像装置５の回転角およびその時間変動を算出することが可能になる。
【０１３２】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図を参照して詳細に説明する。
【０１３３】
図６は、本発明の第２の実施の形態を含む回転推定システム１０Ａを示したブロック図である。図６において、図１に示したものと同一構成のものには同一符号を付してある。
【０１３４】
回転推定システム１０Ａは、姿勢推定部３ｂの代わりに重み姿勢推定部３ｂＡを含む点で、図１に示した回転推定システム１０と異なっている。
【０１３５】
以下、回転推定システム１０と異なる点を中心に、回転推定システム１０Ａについて、説明する。
【０１３６】
重み姿勢推定部３ｂＡは、一般的に姿勢推定手段と呼ぶことができる。
【０１３７】
重み姿勢推定部３ｂＡは、３次元画像５Ａごとに、３次元画像５Ａ内の候補領域ＣＲ内の画素値に基づいて、基準面３Ａを検出し、３次元画像５Ａごとに、３次元画像５Ａに基づいて、３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【０１３８】
重み姿勢推定部３ｂＡは、例えば、特願２００８−０２２７１０号明細書に記載されたように、候補領域ＣＲにおける画素値か、もしくは、その画素値を予め与えた関数で変換した結果を用いて、その候補領域ＣＲに基準面３Ａがくる確率を算出し、最もらしさを示す重みとして基準面３Ａを検出する。
【０１３９】
本実施形態によれば、重み姿勢判定部３ｂＡは、候補領域内の画素値に基づいて、基準面３Ａを検出する。このため、基準面３Ａを高い精度で検出することが可能になる。
【０１４０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図を参照して詳細に説明する。
【０１４１】
図７は、本発明の第３の実施の形態を含む回転推定システム１０Ｂを示したブロック図である。図７において、図１に示したものと同一構成のものには同一符号を付してある。
【０１４２】
回転推定システム１０Ｂは、データ処理装置内に、回転軸パラメータ算出部３ｅＢをさらに含む点で、図１に示した回転推定システム１０と異なっている。
【０１４３】
以下、回転推定システム１０と異なる点を中心に、回転推定システム１０Ｂについて、説明する。
【０１４４】
回転軸パラメータ算出部３ｅＢは、一般的に回転軸状態推定手段と呼ぶことができる。
【０１４５】
回転軸パラメータ算出部３ｅＢは、回転パラメータ算出部３ｃにて算出された撮像装置５の回転状態に基づいて、撮像装置５の回転軸（撮像装置５の「ヨー」の回転軸）の回転状態を求める。
【０１４６】
回転軸パラメータ算出部３ｅＢは、撮像装置５の回転状態に基づいて、撮像装置５の回転軸の回転状態として、予め定めた特定方向に対する撮像装置５の回転軸の回転角と、撮像装置５の回転軸の回転角の時間変動と、を求める。
【０１４７】
本実施形態では、回転軸パラメータ算出部３ｅＢは、回転パラメータ算出部３ｃが算出したＡ、ＢおよびＣを用いてＤを求めるために、式（３）、式（４）および式（５）を用いて
【０１４８】
【数１１】
【０１４９】
を得て、式（５）の各行列要素から、γを消去する。
【０１５０】
回転軸パラメータ算出部３ｅＢは、続いて、ＤをＡ、Ｂ、Ｃ、αおよびβで記述することによりＤを求める。
【０１５１】
回転軸パラメータ算出部３ｅＢは、複数の時刻でＤを求めることにより、Ｄの時間変動を求めることができる。
【０１５２】
さらには、回転軸パラメータ算出部３ｅＢは、式（１０）を用いて、γを求めることができる。
【０１５３】
回転軸パラメータ算出部３ｅＢは、こうして得られた回転軸５Ｂの向き（α、βおよびγ）およびその時間変動（Ｄの時間変動）を、姿勢、回転角、および、回転角の時間変動とともに、パラメータ記憶部２ｂに記憶する。
【０１５４】
パラメータ記憶部２ｂ内の回転軸５Ｂの向き、および、その時間変動は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１５５】
また、回転軸５Ｂの向き、および、その時間変動は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１５６】
本実施形態によれば、回転パラメータ算出部３ｃにて算出された撮像装置５の回転状態に基づいて、撮像装置５の回転軸の回転状態を求める。
【０１５７】
このため、画像にノイズが多かったり不鮮明であったりして、基準となる面の表面上の凹凸形状や模様などのパターンや表面上の構造物を識別できない３次元画像においても、撮像装置５の回転軸の回転状態、例えば、予め定めた特定方向に対する撮像装置５の回転軸の回転角と、撮像装置５の回転軸の回転角の時間変動と、を算出することが可能になる。
【０１５８】
なお、本実施形態において、姿勢推定部３ｂの代わりに、重み姿勢推定部３ｂＡが用いられてもよい。
【０１５９】
（第４の実施の形態）
次に、本発明の第４の実施の形態について図を参照して詳細に説明する。
【０１６０】
図８は、本発明の第４の実施の形態を含む回転推定システム１０Ｃを示したブロック図である。図８において、図１に示したものと同一構成のものには同一符号を付してある。
【０１６１】
回転推定システム１０Ｃは、データ処理装置内に、回転パラメータ平滑化部３ｆＣをさらに含む点で、図１に示した回転推定システム１０と異なっている。
【０１６２】
以下、回転推定システム１０と異なる点を中心に、回転推定システム１０Ｃについて、説明する。
【０１６３】
回転パラメータ平滑化部３ｆＣは、一般的に回転状態平滑化手段と呼ぶことができる。
【０１６４】
回転パラメータ平滑化部３ｆＣは、回転パラメータ算出部３ｃが複数回求めた撮像装置５の回転状態を平滑化する。
【０１６５】
さらに言えば、回転パラメータ平滑化部３ｆＣは、回転パラメータ算出部３ｃにて複数の時刻で得られた撮像装置５の回転状態を時間について平滑化する。
【０１６６】
回転パラメータ平滑化部３ｆＣは、平滑化方法として、例えば、ある時刻の前後について重みをつけて畳み込む移動平均を用いてもよい。
【０１６７】
また、平滑化方法として、ローパスフィルタにより高周波成分を取り除く方法が用いられてもよい、
また、平滑化方法として、ある時間間隔について時間に関する多項式を最小２乗フィッティングする方法が用いられてもよい。
【０１６８】
また、平滑化方法として、カルマンフィルタのような最適状態推定フィルタを使用する方法が用いられてもよい。
【０１６９】
回転パラメータ平滑化部３ｆＣは、こうして得られた平滑化した撮像装置５の回転状態を、パラメータ記憶部２ｂに記憶する。
【０１７０】
パラメータ記憶部２ｂ内の平滑化した撮像装置５の回転状態は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１７１】
平滑化した撮像装置５の回転状態は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１７２】
また、平滑化した撮像装置５の回転状態と平滑化する前の撮像装置５の回転状態の両方が、パラメータ記憶部２ｂに記憶され、両方が、外部の制御システム６に渡されたり、表示されたりしてもよい。
【０１７３】
本実施形態によれば、回転パラメータ平滑化部３ｆＣは、回転パラメータ算出部３ｃが複数回求めた撮像装置５の回転状態を平滑化する。
【０１７４】
このため、画像がノイズ過多で求まる姿勢の精度が高くなくても、精度よく、撮像装置５の回転状態を求めることが可能になる。
【０１７５】
なお、本実施形態において、姿勢推定部３ｂの代わりに、重み姿勢推定部３ｂＡが用いられてもよい。
【０１７６】
また、本実施形態において、さらに、回転軸パラメータ算出部３ｅＢが追加されてもよい。
【０１７７】
（第５の実施の形態）
次に、本発明の第５の実施の形態について図を参照して詳細に説明する。
【０１７８】
図９は、本発明の第５の実施の形態を含む回転推定システム１０Ｄを示したブロック図である。図９において、図７または８に示したものと同一構成のものには同一符号を付してある。
【０１７９】
回転推定システム１０Ｄは、データ処理装置内に、回転軸パラメータ算出部３ｅＢと、回転軸パラメータ平滑化部３ｇＤと、をさらに含む点で、図８に示した回転推定システム１０Ｃと異なっている。
【０１８０】
以下、回転推定システム１０Ｃと異なる点を中心に、回転推定システム１０Ｄについて、説明する。
【０１８１】
回転軸パラメータ平滑部化３ｇＤは、一般的に回転軸状態平滑化手段と呼ぶことができる。
【０１８２】
回転軸パラメータ平滑化部３ｇＤは、回転軸パラメータ算出部３ｅＢが複数回求めた撮像装置５の回転軸の回転状態を平滑化する。
【０１８３】
さらに言えば、回転軸パラメータ平滑化部３ｇＤは、回転軸パラメータ算出部３ｅＢにて複数の時刻で得られた撮像装置５の回転軸の回転状態を時間について平滑化する。
【０１８４】
回転軸パラメータ平滑化部３ｇＤは、平滑化方法として、例えば、ある時刻の前後について重みをつけて畳み込む移動平均を用いてもよい。
【０１８５】
また、平滑化方法として、ローパスフィルタにより高周波成分を取り除く方法が用いられてもよい、
また、平滑化方法として、ある時間間隔について時間に関する多項式を最小２乗フィッティングする方法が用いられてもよい。
【０１８６】
また、平滑化方法として、カルマンフィルタのような最適状態推定フィルタを使用する方法が用いられてもよい。
【０１８７】
回転軸パラメータ平滑化部３ｇＤが用いる平滑化方法は、回転パラメータ平滑化部３ｆＣが用いる平滑化方法と同一であってもよいし、異なっていてもよい。
【０１８８】
回転軸パラメータ平滑化部３ｇＤは、こうして得られた平滑化した撮像装置５の回転軸の回転状態を、パラメータ記憶部２ｂに記憶する。
【０１８９】
パラメータ記憶部２ｂ内の平滑化した撮像装置５の回転軸の回転状態は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１９０】
平滑化した撮像装置５の回転軸の回転状態は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１９１】
また、平滑化した撮像装置５の回転軸の回転状態と平滑化する前の撮像装置５の回転軸の回転状態の両方が、パラメータ記憶部２ｂに記憶され、両方が、外部の制御システム６に渡されたり、表示されたりしてもよい。
【０１９２】
本実施形態によれば、回転軸パラメータ平滑化部３ｇＤは、回転軸パラメータ算出部３ｅＢが複数回求めた撮像装置５の回転軸の回転状態を平滑化する。
【０１９３】
このため、画像がノイズ過多で求まる姿勢の精度が高くなくても、精度よく、撮像装置５の回転軸の回転状態を求めることが可能になる。
【０１９４】
なお、上記各実施形態のデータ処理装置は、専用のハードウェアにより実現されるもの以外に、データ処理装置内の各部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。
【０１９５】
コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。
【０１９６】
さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【０１９７】
以上説明した実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【符号の説明】
【０１９８】
１０、１０Ａ〜１０Ｄ 回転推定システム
１ 入力装置
１ａ 画像入力部
１ｂ 文字入力部
２ 記憶装置
２ａ しきい値記憶部
２ｂ パラメータ記憶部
２ｃ 画像記憶部
３、３Ａ〜３Ｄ データ処理装置
３ａ ２値化部
３ｂ 姿勢推定部
３ｂＡ 重み姿勢推定部
３ｃ 回転パラメータ算出部
３ｄ 姿勢判定部
３ｅＢ 回転軸パラメータ算出部
３ｆＣ 回転パラメータ平滑化部
３ｇＤ 回転軸パラメータ平滑化部
４ 通信装置
４ａ データ送信部
５ 撮像装置
６ 制御システム
【技術分野】
【０００１】
本発明は、回転推定装置、回転推定方法およびプログラムに関し、特には、撮像装置から入力された３次元画像を用いて撮像装置の回転を推定する回転推定装置、回転推定方法およびプログラムに関する。
【背景技術】
【０００２】
移動体（例えば、空中または宇宙を飛行する飛翔体、または、水中を航行する航走体）に固定された撮像装置（例えば、ステレオカメラ、または、レーダー）の姿勢を推定する姿勢推定方法が知られている（特許文献１参照）。
【０００３】
この姿勢推定方法では、まず、予め決められた基準対象物（例えば、地面、海底面、海面、または、その面上の植生や建築物などの構造物）が、移動体に固定された撮像装置にて撮影され、その基準対象物を含む撮像画像が生成される。
【０００４】
続いて、撮像画像と、基準画像（予め入手されている基準対象物を表す地形図または基準対象物の形状を表す形状図等）と、を照らし合わせ、撮像画像内での基準対象物の位置、および、撮像画像内での基準対象物の歪みに基づいて、撮像装置の姿勢が推定される。
【０００５】
この姿勢推定方法にて推定された撮像装置の姿勢に基づいて、移動体内のジャイロスコープなどの姿勢センサに蓄積された誤差を補正することが可能になる。
【０００６】
また、この姿勢推定方法にて撮像装置の姿勢を精度良く求めることができるならば、ジャイロスコープなどの姿勢センサが不要となり、飛翔体または航走体をより小型化できる。
【０００７】
さらには、一旦姿勢を推定できれば、複数時刻の姿勢に基づいて、撮像装置が回転しているかどうかを判別することは容易であり、回転している場合は、その回転速度や回転軸の向きを算出することも可能である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１２７０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
予め決められた基準対象物が撮影された撮像画像と、基準画像と、を用いて、撮像装置の姿勢および回転状態を算出する技術では、以下のような課題があった。
【００１０】
撮影環境または撮像装置の性能のために、撮像画像が、不鮮明であったり、ノイズ過多であったりする場合、撮像画像内の基準対象物を判別することができない。よって、撮像装置の姿勢の推定、および、撮像装置の回転状態の推定を行うことができない。
【００１１】
本発明の目的は、上述した課題を解決可能な回転推定装置、回転推定方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１２】
本発明の回転推定装置は、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手段と、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手段と、を含む。
【００１３】
本発明の回転推定方法は、回転推定装置が行う回転推定方法であって、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定ステップと、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定ステップと、を含む。
【００１４】
本発明のプログラムは、コンピュータに、撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手順と、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手順と、を実行させる。
【発明の効果】
【００１５】
本発明によれば、予め決められた基準対象物を用いずに、撮像装置の回転状態を推定することが可能になる。このため、予め決められた基準対象物を撮像された画像内で認識できない場合、および、撮像された画像内に基準対象物が存在しない場合でも、撮像装置の回転状態を推定することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態を含む回転推定システム１０を示したブロック図である。
【図２】基準面３Ａに対する撮像装置５の姿勢および位置の例を示した模式図である。
【図３】基準面３Ａに対する撮像装置５の姿勢および位置の例を示した模式図である。
【図４】ｙ軸に対してヨー（γ）がある場合の基準面３Ａに対する撮像装置５の姿勢および位置関係の例を示した模式図である。
【図５】撮像装置５の回転運動に基づいた基準面３Ａに対する撮像装置５の姿勢および位置関係の例を示した模式図である。
【図６】本発明の第２の実施の形態を含む回転推定システム１０Ａを示したブロック図である。
【図７】本発明の第３の実施の形態を含む回転推定システム１０Ｂを示したブロック図である。
【図８】本発明の第４の実施の形態を含む回転推定システム１０Ｃを示したブロック図である。
【図９】本発明の第５の実施の形態を含む回転推定システム１０Ｄを示したブロック図である。
【発明を実施するための形態】
【００１７】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１８】
（第１の実施の形態）
図１は、本発明の第１の実施の形態を含む回転推定システム１０を示したブロック図である。
【００１９】
図１を参照すると、回転推定システム１０は、入力装置１と、記憶装置２と、データ処理装置３と、通信装置４と、を含む。
【００２０】
入力装置１は、画像入力部１ａと、文字入力部１ｂと、を含む。
【００２１】
画像入力部１ａは、撮像装置５が複数のタイミングで撮像した複数の３次元の画像（以下「３次元画像」と称する）５Ａを受け付ける。
【００２２】
撮像装置５は、例えば、ステレオカメラ、レーザーレンジファインダー、レーダー、ソーナー、または、ライダー（lidar）であり、撮影に伴って、３次元画像５Ａを生成する。
【００２３】
なお、撮像装置５が、飛翔体または航走体等の移動体に固定される場合、撮像装置５の姿勢は、撮像装置５が固定されている移動体の姿勢も意味する。
【００２４】
３次元画像５Ａは、３次元画像５Ａ内の種々の物体と、撮像装置５と、の距離を表す情報を含むものであれば、特に限定されない。
【００２５】
３次元画像５Ａは、例えば、複数の時刻のそれぞれにおける３次元の静止画像でもよいし、３次元の動画像であってもよい。３次元の動画像は、当然のことながら、撮像装置５が複数のタイミングで撮像した複数の３次元の静止画像を含む。
【００２６】
また、３次元画像５Ａは、速度場または磁場などの様々な空間的な大きさまたは時間的な大きさを示す物理量、または、特定関数による畳み込みなどの各種演算により得られた画像特徴量を表した３次元画像でもよいし、または、画像特徴量の時間的変化を高次元で表した３次元画像でもよい。
【００２７】
本実施形態では、３次元画像５Ａには、撮像装置５による撮影日時を示す撮影日時情報が付与されているとする。よって、３次元画像５Ａが撮像されたタイミング（時刻）は、３次元画像５Ａに付与された撮影日時情報によって認識可能である。
【００２８】
文字入力部１ｂは、例えば、キーボード、マウス、または、タッチパネルであり、文字情報を入力する。
【００２９】
記憶装置２は、しきい値記憶部２ａと、パラメータ記憶部２ｂと、画像記憶部２ｃと、を含む。
【００３０】
しきい値記憶部２ａは、文字入力部１ｂから入力された各種しきい値を記憶する。
【００３１】
パラメータ記憶部２ｂは、例えば、検出対象である基準面（平面や曲面）３Ａの検出の際に使うパラメータ空間と、検出候補の面のリストと、を記憶する。
【００３２】
なお、基準面３Ａは、３次元画像５Ａに共通に存在する面領域、さらに言えば、その面領域を含む面である。
【００３３】
画像記憶部２ｃは、画像入力部１ａから入力された複数の３次元画像５Ａと、データ処理装置３内の各構成要素によって処理されている途中または処理結果の画像と、を記憶する。
【００３４】
データ処理装置３は、一般的に回転推定装置と呼ぶことができる。
【００３５】
データ処理装置３は、２値化部３ａと、姿勢推定部３ｂと、回転パラメータ算出部３ｃと、を含む。２値化部３ａと姿勢推定部３ｂとは、姿勢判定部３ｄに含まれる。
【００３６】
姿勢判定部３ｄは、一般的に姿勢判定手段と呼ぶことができる。
【００３７】
姿勢判定部３ｄは、撮像装置５が複数のタイミングで撮像した複数の３次元画像５Ａを受け付ける。姿勢判定部３ｄは、複数の３次元画像５Ａに共通に存在する基準面３Ａ（面領域）を検出する。
【００３８】
基準面３Ａは、例えば、地面、海面、または、壁面などである。
【００３９】
姿勢判定部３ｄは、３次元画像５Ａごとに、３次元画像５Ａに基づいて、その３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【００４０】
２値化部３ａは、一般的に検出手段と呼ぶことができる。
【００４１】
２値化部３ａは、複数の３次元画像５Ａを受け付け、３次元画像５Ａごとに、その３次元画像５Ａから基準面３Ａの候補となる候補領域ＣＲを検出する。
【００４２】
本実施形態では、２値化部３ａは、画像入力部１ａから入力された３次元画像５Ａごとに、３次元画像５Ａの画素値に基づいて、その３次元画像５Ａを、候補領域ＣＲと、候補領域ＣＲ以外の領域（以下「背景領域」と称する）ＢＲと、に分割する。
【００４３】
例えば、２値化部３ａは、複数の３次元画像５Ａの各画素に対して、共通の２値化を行って、各３次元画像５Ａを、候補領域ＣＲと、背景領域ＢＲと、に分割する。
【００４４】
このため、各３次元画像５Ａでは、各３次元画像５Ａに共通に撮像されている物体が有する面が、候補領域ＣＲとして設定される可能性が高くなる。
【００４５】
姿勢推定部３ｂは、一般的に姿勢推定手段と呼ぶことができる。
【００４６】
姿勢推定部３ｂは、３次元画像５Ａごとに、３次元画像５Ａ内の候補領域ＣＲに基づいて、基準面３Ａを検出し、３次元画像５Ａごとに、３次元画像５Ａに基づいて、３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【００４７】
本実施形態では、姿勢推定部３ｂは、３次元画像５Ａごとに、３次元画像５Ａ内での候補領域ＣＲの位置に基づいて、基準面３Ａの位置を特定し、同時に、３次元画像５Ａに基づいて、基準面３Ａに対する撮像装置５の姿勢および距離を求める。
【００４８】
回転パラメータ算出部３ｃは、一般的に回転状態推定手段と呼ぶことができる。
【００４９】
回転パラメータ算出部３ｃは、３次元画像５Ａごとに求められた、基準面３Ａに対する撮像装置５の相対的な姿勢に基づいて、撮像装置５の回転状態、つまり、撮像装置５の回転パラメータを求める。
【００５０】
回転パラメータ算出部３ｃは、３次元画像５Ａごとに求められた、基準面３Ａに対する撮像装置５の相対的な姿勢に基づいて、撮像装置５の回転状態（撮像装置５の回転パラメータ）として、予め定められた基準方向に対する撮像装置５の回転角と、撮像装置５の回転角の時間変動と、を求める。
【００５１】
本実施形態では、回転パラメータ算出部３ｃは、姿勢推定部３ｂによって３次元画像５Ａごとに求められた、換言すると、姿勢推定部３ｂによって複数の時刻において得られた、基準面３Ａに対する撮像装置５の相対的な姿勢および距離を受け付ける。
【００５２】
回転パラメータ算出部３ｃは、複数の時刻における基準面３Ａに対する撮像装置５の相対的な姿勢および距離に基づいて、予め定められた基準方向に対する撮像装置５の回転角と、回転速度および回転加速度などの回転角の時間変動と、を撮像装置５の回転状態（撮像装置５の回転パラメータ）として求める。
【００５３】
回転パラメータ算出部３ｃは、撮像装置５の回転状態（撮像装置５の回転パラメータ）を、通信装置４を介して、外部の制御システム６などへ渡す。
【００５４】
通信装置４は、有線または無線のネットワークを介して、撮像装置５の回転状態（撮像装置５の回転パラメータ）を、外部の制御システム６等へ送付するデータ送信部４ａを含む。
【００５５】
次に、図１を参照して、回転推定システム１０の動作を説明する。
【００５６】
画像入力部１ａは、撮像装置５から３次元画像５Ａを受け付けるごとに、３次元画像５Ａを画像記憶部２ｃに記憶する。
【００５７】
２値化部３ａは、画像記憶部２ｃを参照し、画像記憶部２ｃから３次元画像５Ａを１つずつ受け付け、各３次元画像５Ａを、３次元画像５Ａの画素値に基づいて、候補領域ＣＲと、背景領域ＢＲと、に分割する。
【００５８】
２値化部３ａが、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する方法としては、２次元画像を２つの領域に分割する一般的な方法が用いられる。
【００５９】
例えば、２値化部３ａは、公知のＰタイル法を用いて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６０】
この場合、３次元画像５Ａが有する全画素数に対する候補領域ＣＲの画素数の割合が、予めしきい値として定められ、そのしきい値が、しきい値記憶部２ａに記憶される。２値化部３ａは、しきい値記憶部２ａ内のしきい値に従って、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する。
【００６１】
また、２値化部３ａは、公知のモード法を用いて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６２】
この場合、２値化部３ａは、３次元画像５Ａについて、横軸を画素値、縦軸を頻度としたヒストグラムを作成し、ヒストグラムが双峰形と仮定して、その谷をしきい値として用いて、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する。
【００６３】
また、２値化部３ａは、候補領域ＣＲと背景領域ＢＲの各々の内部で画素値の分散が最小になり、かつ、候補領域ＣＲと背景領域ＢＲとの間で分散が大きくなるようにしきい値を決め、そのしきい値を用いて、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６４】
また、２値化部３ａは、公知の固定しきい値法を用いて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６５】
この場合、予め画素値のしきい値が定められ、そのしきい値がしきい値記憶部２ａに記憶される。２値化部３ａは、３次元画像５Ａが有する各画素について、画素値が、しきい値記憶部２ａ内のしきい値よりも大きいかどうかを判定し、その判定結果に基づいて、各３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６６】
また、２値化部３ａは、公知の動的しきい値法を用いて、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割してもよい。
【００６７】
この場合、２値化部３ａは、３次元画像５Ａを一定サイズの小領域に分割し、小領域ごとに、Ｐタイル法、モード法または判別分析法を使って、３次元画像５Ａを、候補領域ＣＲと背景領域ＢＲとの２つの領域に分割する。
【００６８】
２値化部３ａは、候補領域ＣＲと背景領域ＢＲとに分けられた３次元画像５Ａを、３次元画像５Ａごとに、画像記憶部２ｃに記憶する。
【００６９】
続いて、姿勢推定部３ｂは、３次元画像５Ａごとに、３次元画像５Ａ内での基準面３Ａの位置を特定し、３次元画像５Ａ内の基準面３Ａの位置に基づいて、基準面３Ａに対する撮像装置５の相対的な姿勢を推定する。
【００７０】
例えば、基準面３Ａと撮像装置５との位置関係が、図２に示したような状況である場合を考える。
【００７１】
図２では、基準面３Ａと撮像装置５との位置関係等は、以下のようになっている。
【００７２】
基準面３Ａは、平面である。撮影時の撮像装置５の視線方向は、一般的なカメラで例えると、撮像装置５の撮影レンズの光軸方向である。撮影時の撮像装置５の視線方向を軸とした、基準位置からの撮像装置５の回転角、すなわち「ロール」（ｒｏｌｌ）は、右向きでαである。基準面３Ａが、撮影時の撮像装置５の視線方向となす角度、すなわち「ピッチ」（ｐｉｔｃｈ）は、βである。基準面３Ａが撮像装置５の上方に位置しており、基準面３Ａと撮像装置５との距離が、ｄである。
【００７３】
図２において、ｘ軸、ｙ軸およびｚ軸のそれぞれの向き（ｘｙｚ座標系）は、基準面３Ａに基づいて設定される。具体的には、ｘ軸とｙ軸は、ｘ軸とｙ軸とを含む平面が基準面３Ａと平行になるように、設定されている。ｘ軸、ｙ軸およびｚ軸の原点は、撮像装置５の中心位置となるように設定されている。
【００７４】
なお、図２に示した状況において撮像装置５の姿勢を推定することは、例えば、深度ｄの海中を航行する航走体（撮像装置５が固定された移動体）の姿勢を、海面（基準面３Ａ）を元に推定することに相当する。
【００７５】
計算を容易にするため、ここでは、撮像装置５の視線方向をｘｙ平面へ投影した線は、ｙ軸に一致するものとする。
【００７６】
また、撮像装置５の中心位置を原点とし、撮像装置５の視線方向にｙ’軸、撮像装置５の横方向にｘ’軸、撮像装置５の縦方向にｚ’軸をとった、撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）を想定する。
【００７７】
撮像装置５から出力された３次元画像５Ａにて表されるものは、撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）を用いて、３次元画像５Ａ上での位置を特定することが可能である。
【００７８】
撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）と、基準面３Ａに応じた座標系（ｘｙｚ座標系）と、の関係は、座標変換行列を用いた式（１）に示した関係になる。
【００７９】
【数１】
【００８０】
このため、基準面３Ａは
【００８１】
【数２】
【００８２】
と表される。
【００８３】
基準面３Ａが３次元画像５Ａ内で鮮明で精度よく映っているならば、姿勢推定部３ｂは、撮像装置５に固定された座標系（ｘ’ｙ’ｚ’座標系）にて特定される基準面３Ａの３点の位置と式（２）とを用いて、α、βおよびｄを求めることができる。
【００８４】
３次元画像５Ａが不鮮明であったり、３次元画像５Ａ内にノイズが多かったりする場合は、姿勢推定部３ｂは、例えば、基準面３Ａを最小２乗法でフィッティングすることにより、α、βおよびｄを求めることができる。
【００８５】
あるいは、姿勢推定部３ｂは、本出願人の提案による特願２００８−０２２７１０号明細書に記述してあるように、ハフ変換に基づいた方法で、α、βおよびｄを求めてもよい。
【００８６】
特願２００８−０２２７１０号明細書に記述してあるように、基準面３Ａが、図３のような球面であっても、姿勢推定部３ｂは、基準面３Ａに対する撮像装置５の相対的な姿勢を求めることができる。
【００８７】
また、基準面３Ａの候補が、平面または球面で無くても、その候補の一部が、平面または球面とみなせるならば、姿勢推定部３ｂは、上記と同じ手法で、基準面３Ａに対する撮像装置５の相対的な姿勢を求めることができる。
【００８８】
また、姿勢推定部３ｂは、特願２００８−０２２７１０号明細書に記述してあるように一般化ハフ変換を適用すれば、基準面３Ａが任意形状でも、基準面３Ａに対する撮像装置５の相対的な姿勢を求めることができる。
【００８９】
続いて、回転パラメータ算出部３ｃは、複数の３次元画像５Ａのそれぞれについて得られた、換言すると、複数の時刻について得られた、基準面３Ａに対する撮像装置５の相対的な姿勢を保持し、その複数の姿勢から、時刻間の撮像装置５の回転角の変位を求め、さらに、時刻間隔から、撮像装置５の回転速度および回転加速度など、撮像装置５の回転についての時間変動を、撮像装置５の回転パラメータとして算出する。
【００９０】
なお、回転パラメータ算出部３ｃは、各３次元画像５Ａに付与されている撮影日時情報を用いて、複数の時刻すなわち複数の撮影時刻を認識する。
【００９１】
本実施形態では、回転パラメータ算出部３ｃは、複数の時刻間の撮像装置５の姿勢の変動に基づく第１の座標変換行列として、「ロール」、「ピッチ」および「ヨー」（ｙａｗ）をパラメータとして用いて姿勢変動行列１を求める。
【００９２】
なお、「ロール」と「ピッチ」は、「α」と「β」として、姿勢推定部３ｂによって、それぞれ求められている。このため、この段階では、「ロール」、「ピッチ」および「ヨー」のうち、「ヨー」だけが求められていない。
【００９３】
次に、回転パラメータ算出部３ｃは、姿勢変動行列１を求めるときに用いた時刻間の撮像装置５の姿勢の変動に応じた第２の座標変換行列として、姿勢変動行列２を求める。
【００９４】
なお、姿勢変動行列２で用いられる後述するパラメータは、この段階では、求められていない。
【００９５】
姿勢変動行列１と姿勢変動行列２は等しいことを利用して、回転パラメータ算出部３ｃは、姿勢変動行列２で用いられるパラメータやヨーを、既知の「ロール」および「ピッチ」で記述する式を生成する。
【００９６】
以下、姿勢変動行列１と姿勢変動行列２について説明する。
【００９７】
まず、図４を参照して、姿勢変動行列１について説明する。
【００９８】
図４に示すように、「ロール」が右向きでαであり、「ピッチ」がβであり、さらにｚ軸の周りを反時計回りにｙ軸正の方向に対してγ「ヨー」がある場合、回転パラメータ算出部３ｃは、姿勢変動行列１として、座標変換行列Ｕを算出する。
【００９９】
座標変換行列Ｕの各成分
【０１００】
【数３】
【０１０１】
は、次のようになる。
【０１０２】
【数４】
【０１０３】
次に、図５を参照して、撮像装置５の回転運動に基づいた姿勢変動行列２について説明する。
【０１０４】
図５には、撮像装置５の回転運動に関して以下のように示してある。
【０１０５】
撮像装置５の回転の基準となる平面として、撮像装置５の回転軸５Ｂを法線とする回転面５Ｃが定められている。撮像装置５の視線方向と回転面５Ｃのなす角度は、Ａである。回転面５Ｃは、ある任意の方向から反時計回りにＢだけ回転している。回転軸５Ｂと基準面３Ａとのなす角度は、Ｃである。さらに、回転軸５Ｂは、ある任意の方向を基準として反時計回りにＤだけ回転している。Ａ、Ｂ、ＣおよびＤが、姿勢変動行列２のパラメータとして用いられる。
【０１０６】
この場合、回転パラメータ算出部３ｃは、姿勢変動行列２として、座標変換行列Ｖを算出する。
【０１０７】
なお、座標変換行列Ｖの各成分
【０１０８】
【数５】
【０１０９】
は、次のようになる。
【０１１０】
【数６】
【０１１１】
さて、式（３）と式（４）で示された２つの座標変換行列は、同一の座標変換を各々異なる回転を組み合わせて構成したものであり、変換の結果は一致する。すなわち
Ｕ＝Ｖ 式（５）
の関係が成り立つ。
【０１１２】
姿勢推定部３ｂの算出結果では、γ（ヨー）が不定であるが、回転パラメータ算出部３ｃは、式（５）で示された各行列の第３列の関係から得ることができる式（６）を用いて、Ａ、Ｂ、Ｃをα、βを用いて記述することができる。
【０１１３】
【数７】
【０１１４】
例えばＡとＣが一定で既知の場合、時刻１で求まった姿勢がα1およびβ1であると、回転パラメータ算出部３ｃは、時刻１のときの回転角Ｂ1を式（６）から容易に求めることができる。すなわち、回転パラメータ算出部３ｃは、式（７）を用いて、時刻１のときの回転角Ｂ1を求めることができる。
【０１１５】
【数８】
【０１１６】
さらに、時刻２で求まった姿勢がα1およびβ1であり、時刻２のときの回転角をＢ2である場合、回転パラメータ算出部３ｃは、時刻１と時刻２の時間間隔と、Ｂ1およびＢ2とから、回転速度を求めることができる。
【０１１７】
式（７）は、また、Ａが分からなくてもＣがわかれば、回転パラメータ算出部３ｃは、式（７）を用いることで、回転角を求めることができ、回転速度を求めることができることを示している。
【０１１８】
また、ＡとＣが一定ならば、ＡとＣが未知であっても、回転パラメータ算出部３ｃは、式（６）の下段の２つの式を利用して
【０１１９】
【数９】
【０１２０】
を得て、Ａを求めることができる。
【０１２１】
そしてＡが求まれば、回転パラメータ算出部３ｃは、式（６）の下段の２つの式を利用して得られた
【０１２２】
【数１０】
【０１２３】
を用いて、Ｃを求めることができる。
【０１２４】
Ｃが求まれば、回転パラメータ算出部３ｃは、式（７）を用いて回転角を求めることができ、複数の時刻の回転角から回転の時間変動を求めることができる。
【０１２５】
ＡとＣが一定でなくても、時間変動が小さく、時刻１と時刻２の間だけでもＡとＣが一定とみなせるならば、回転パラメータ算出部３ｃは、ＡとＣが一定の場合と同様にして、回転角と回転の時間変動を求めることができる。
【０１２６】
回転パラメータ算出部３ｃは、このようにして得られた姿勢、回転角、および、回転角の時間変動を、パラメータ記憶部２ｂに記憶する。
【０１２７】
パラメータ記憶部２ｂ内の、姿勢、回転角、および、回転角の時間変動は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１２８】
なお、姿勢、回転角、および、回転角の時間変動は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１２９】
本実施形態によれば、姿勢判定部３ｄは、複数の３次元画像５Ａに共通に存在する基準面３Ａ（面領域）を検出し、３次元画像５Ａごとに、３次元画像５Ａに基づいて、その３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【０１３０】
回転パラメータ算出部３ｃは、３次元画像５Ａごとに求められた、基準面３Ａに対する撮像装置５の相対的な姿勢に基づいて、撮像装置５の回転状態を求める。
【０１３１】
このため、画像にノイズが多かったり不鮮明であったりして、基準となる面の表面上の凹凸形状や模様などのパターンや表面上の構造物を識別できない３次元画像においても、高い精度で、基準面３Ａを検出して、撮像装置５の姿勢を推定でき、さらに、撮像装置５の回転角およびその時間変動を算出することが可能になる。
【０１３２】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図を参照して詳細に説明する。
【０１３３】
図６は、本発明の第２の実施の形態を含む回転推定システム１０Ａを示したブロック図である。図６において、図１に示したものと同一構成のものには同一符号を付してある。
【０１３４】
回転推定システム１０Ａは、姿勢推定部３ｂの代わりに重み姿勢推定部３ｂＡを含む点で、図１に示した回転推定システム１０と異なっている。
【０１３５】
以下、回転推定システム１０と異なる点を中心に、回転推定システム１０Ａについて、説明する。
【０１３６】
重み姿勢推定部３ｂＡは、一般的に姿勢推定手段と呼ぶことができる。
【０１３７】
重み姿勢推定部３ｂＡは、３次元画像５Ａごとに、３次元画像５Ａ内の候補領域ＣＲ内の画素値に基づいて、基準面３Ａを検出し、３次元画像５Ａごとに、３次元画像５Ａに基づいて、３次元画像５Ａ内の基準面３Ａに対する撮像装置５の相対的な姿勢を求める。
【０１３８】
重み姿勢推定部３ｂＡは、例えば、特願２００８−０２２７１０号明細書に記載されたように、候補領域ＣＲにおける画素値か、もしくは、その画素値を予め与えた関数で変換した結果を用いて、その候補領域ＣＲに基準面３Ａがくる確率を算出し、最もらしさを示す重みとして基準面３Ａを検出する。
【０１３９】
本実施形態によれば、重み姿勢判定部３ｂＡは、候補領域内の画素値に基づいて、基準面３Ａを検出する。このため、基準面３Ａを高い精度で検出することが可能になる。
【０１４０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図を参照して詳細に説明する。
【０１４１】
図７は、本発明の第３の実施の形態を含む回転推定システム１０Ｂを示したブロック図である。図７において、図１に示したものと同一構成のものには同一符号を付してある。
【０１４２】
回転推定システム１０Ｂは、データ処理装置内に、回転軸パラメータ算出部３ｅＢをさらに含む点で、図１に示した回転推定システム１０と異なっている。
【０１４３】
以下、回転推定システム１０と異なる点を中心に、回転推定システム１０Ｂについて、説明する。
【０１４４】
回転軸パラメータ算出部３ｅＢは、一般的に回転軸状態推定手段と呼ぶことができる。
【０１４５】
回転軸パラメータ算出部３ｅＢは、回転パラメータ算出部３ｃにて算出された撮像装置５の回転状態に基づいて、撮像装置５の回転軸（撮像装置５の「ヨー」の回転軸）の回転状態を求める。
【０１４６】
回転軸パラメータ算出部３ｅＢは、撮像装置５の回転状態に基づいて、撮像装置５の回転軸の回転状態として、予め定めた特定方向に対する撮像装置５の回転軸の回転角と、撮像装置５の回転軸の回転角の時間変動と、を求める。
【０１４７】
本実施形態では、回転軸パラメータ算出部３ｅＢは、回転パラメータ算出部３ｃが算出したＡ、ＢおよびＣを用いてＤを求めるために、式（３）、式（４）および式（５）を用いて
【０１４８】
【数１１】
【０１４９】
を得て、式（５）の各行列要素から、γを消去する。
【０１５０】
回転軸パラメータ算出部３ｅＢは、続いて、ＤをＡ、Ｂ、Ｃ、αおよびβで記述することによりＤを求める。
【０１５１】
回転軸パラメータ算出部３ｅＢは、複数の時刻でＤを求めることにより、Ｄの時間変動を求めることができる。
【０１５２】
さらには、回転軸パラメータ算出部３ｅＢは、式（１０）を用いて、γを求めることができる。
【０１５３】
回転軸パラメータ算出部３ｅＢは、こうして得られた回転軸５Ｂの向き（α、βおよびγ）およびその時間変動（Ｄの時間変動）を、姿勢、回転角、および、回転角の時間変動とともに、パラメータ記憶部２ｂに記憶する。
【０１５４】
パラメータ記憶部２ｂ内の回転軸５Ｂの向き、および、その時間変動は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１５５】
また、回転軸５Ｂの向き、および、その時間変動は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１５６】
本実施形態によれば、回転パラメータ算出部３ｃにて算出された撮像装置５の回転状態に基づいて、撮像装置５の回転軸の回転状態を求める。
【０１５７】
このため、画像にノイズが多かったり不鮮明であったりして、基準となる面の表面上の凹凸形状や模様などのパターンや表面上の構造物を識別できない３次元画像においても、撮像装置５の回転軸の回転状態、例えば、予め定めた特定方向に対する撮像装置５の回転軸の回転角と、撮像装置５の回転軸の回転角の時間変動と、を算出することが可能になる。
【０１５８】
なお、本実施形態において、姿勢推定部３ｂの代わりに、重み姿勢推定部３ｂＡが用いられてもよい。
【０１５９】
（第４の実施の形態）
次に、本発明の第４の実施の形態について図を参照して詳細に説明する。
【０１６０】
図８は、本発明の第４の実施の形態を含む回転推定システム１０Ｃを示したブロック図である。図８において、図１に示したものと同一構成のものには同一符号を付してある。
【０１６１】
回転推定システム１０Ｃは、データ処理装置内に、回転パラメータ平滑化部３ｆＣをさらに含む点で、図１に示した回転推定システム１０と異なっている。
【０１６２】
以下、回転推定システム１０と異なる点を中心に、回転推定システム１０Ｃについて、説明する。
【０１６３】
回転パラメータ平滑化部３ｆＣは、一般的に回転状態平滑化手段と呼ぶことができる。
【０１６４】
回転パラメータ平滑化部３ｆＣは、回転パラメータ算出部３ｃが複数回求めた撮像装置５の回転状態を平滑化する。
【０１６５】
さらに言えば、回転パラメータ平滑化部３ｆＣは、回転パラメータ算出部３ｃにて複数の時刻で得られた撮像装置５の回転状態を時間について平滑化する。
【０１６６】
回転パラメータ平滑化部３ｆＣは、平滑化方法として、例えば、ある時刻の前後について重みをつけて畳み込む移動平均を用いてもよい。
【０１６７】
また、平滑化方法として、ローパスフィルタにより高周波成分を取り除く方法が用いられてもよい、
また、平滑化方法として、ある時間間隔について時間に関する多項式を最小２乗フィッティングする方法が用いられてもよい。
【０１６８】
また、平滑化方法として、カルマンフィルタのような最適状態推定フィルタを使用する方法が用いられてもよい。
【０１６９】
回転パラメータ平滑化部３ｆＣは、こうして得られた平滑化した撮像装置５の回転状態を、パラメータ記憶部２ｂに記憶する。
【０１７０】
パラメータ記憶部２ｂ内の平滑化した撮像装置５の回転状態は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１７１】
平滑化した撮像装置５の回転状態は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１７２】
また、平滑化した撮像装置５の回転状態と平滑化する前の撮像装置５の回転状態の両方が、パラメータ記憶部２ｂに記憶され、両方が、外部の制御システム６に渡されたり、表示されたりしてもよい。
【０１７３】
本実施形態によれば、回転パラメータ平滑化部３ｆＣは、回転パラメータ算出部３ｃが複数回求めた撮像装置５の回転状態を平滑化する。
【０１７４】
このため、画像がノイズ過多で求まる姿勢の精度が高くなくても、精度よく、撮像装置５の回転状態を求めることが可能になる。
【０１７５】
なお、本実施形態において、姿勢推定部３ｂの代わりに、重み姿勢推定部３ｂＡが用いられてもよい。
【０１７６】
また、本実施形態において、さらに、回転軸パラメータ算出部３ｅＢが追加されてもよい。
【０１７７】
（第５の実施の形態）
次に、本発明の第５の実施の形態について図を参照して詳細に説明する。
【０１７８】
図９は、本発明の第５の実施の形態を含む回転推定システム１０Ｄを示したブロック図である。図９において、図７または８に示したものと同一構成のものには同一符号を付してある。
【０１７９】
回転推定システム１０Ｄは、データ処理装置内に、回転軸パラメータ算出部３ｅＢと、回転軸パラメータ平滑化部３ｇＤと、をさらに含む点で、図８に示した回転推定システム１０Ｃと異なっている。
【０１８０】
以下、回転推定システム１０Ｃと異なる点を中心に、回転推定システム１０Ｄについて、説明する。
【０１８１】
回転軸パラメータ平滑部化３ｇＤは、一般的に回転軸状態平滑化手段と呼ぶことができる。
【０１８２】
回転軸パラメータ平滑化部３ｇＤは、回転軸パラメータ算出部３ｅＢが複数回求めた撮像装置５の回転軸の回転状態を平滑化する。
【０１８３】
さらに言えば、回転軸パラメータ平滑化部３ｇＤは、回転軸パラメータ算出部３ｅＢにて複数の時刻で得られた撮像装置５の回転軸の回転状態を時間について平滑化する。
【０１８４】
回転軸パラメータ平滑化部３ｇＤは、平滑化方法として、例えば、ある時刻の前後について重みをつけて畳み込む移動平均を用いてもよい。
【０１８５】
また、平滑化方法として、ローパスフィルタにより高周波成分を取り除く方法が用いられてもよい、
また、平滑化方法として、ある時間間隔について時間に関する多項式を最小２乗フィッティングする方法が用いられてもよい。
【０１８６】
また、平滑化方法として、カルマンフィルタのような最適状態推定フィルタを使用する方法が用いられてもよい。
【０１８７】
回転軸パラメータ平滑化部３ｇＤが用いる平滑化方法は、回転パラメータ平滑化部３ｆＣが用いる平滑化方法と同一であってもよいし、異なっていてもよい。
【０１８８】
回転軸パラメータ平滑化部３ｇＤは、こうして得られた平滑化した撮像装置５の回転軸の回転状態を、パラメータ記憶部２ｂに記憶する。
【０１８９】
パラメータ記憶部２ｂ内の平滑化した撮像装置５の回転軸の回転状態は、データ送信部４ａからの指示、または、文字入力部１ｂを介したユーザからの指示により、有線や無線のネットワークを介して、外部の制御システム６に渡される。
【０１９０】
平滑化した撮像装置５の回転軸の回転状態は、ユーザ指定時に、ディスプレイやプロジェクタ、プリンタなどで表示されてもよい。
【０１９１】
また、平滑化した撮像装置５の回転軸の回転状態と平滑化する前の撮像装置５の回転軸の回転状態の両方が、パラメータ記憶部２ｂに記憶され、両方が、外部の制御システム６に渡されたり、表示されたりしてもよい。
【０１９２】
本実施形態によれば、回転軸パラメータ平滑化部３ｇＤは、回転軸パラメータ算出部３ｅＢが複数回求めた撮像装置５の回転軸の回転状態を平滑化する。
【０１９３】
このため、画像がノイズ過多で求まる姿勢の精度が高くなくても、精度よく、撮像装置５の回転軸の回転状態を求めることが可能になる。
【０１９４】
なお、上記各実施形態のデータ処理装置は、専用のハードウェアにより実現されるもの以外に、データ処理装置内の各部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。
【０１９５】
コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。
【０１９６】
さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【０１９７】
以上説明した実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【符号の説明】
【０１９８】
１０、１０Ａ〜１０Ｄ 回転推定システム
１ 入力装置
１ａ 画像入力部
１ｂ 文字入力部
２ 記憶装置
２ａ しきい値記憶部
２ｂ パラメータ記憶部
２ｃ 画像記憶部
３、３Ａ〜３Ｄ データ処理装置
３ａ ２値化部
３ｂ 姿勢推定部
３ｂＡ 重み姿勢推定部
３ｃ 回転パラメータ算出部
３ｄ 姿勢判定部
３ｅＢ 回転軸パラメータ算出部
３ｆＣ 回転パラメータ平滑化部
３ｇＤ 回転軸パラメータ平滑化部
４ 通信装置
４ａ データ送信部
５ 撮像装置
６ 制御システム
【特許請求の範囲】
【請求項１】
撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手段と、
前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手段と、を含む回転推定装置。
【請求項２】
請求項１に記載の回転推定装置において、
前記回転状態推定手段は、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態として、予め定められた基準方向に対する前記撮像装置の回転角と、当該撮像装置の回転角の時間変動と、を求める、回転推定装置。
【請求項３】
請求項１または２に記載の回転推定装置において、
前記姿勢判定手段は、
前記複数の３次元の画像を受け付け、前記画像ごとに、当該画像から前記面領域の候補となる候補領域を検出する検出手段と、
前記画像ごとに、当該画像内の前記候補領域内の画素値に基づいて、前記面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢推定手段と、を含む、回転推定装置。
【請求項４】
請求項１から３のいずれか１項に記載の回転推定装置において、
前記撮像装置の回転状態に基づいて、前記撮像装置の回転軸の回転状態を求める回転軸状態推定手段を、さらに含む、回転推定装置。
【請求項５】
請求項４に記載の回転推定装置において、
前記回転軸状態推定手段は、前記撮像装置の回転状態に基づいて、前記回転軸の回転状態として、予め定めた特定方向に対する前記撮像装置の回転軸の回転角と、当該回転軸の回転角の時間変動と、を求める、回転推定装置。
【請求項６】
請求項４または５に記載の回転推定装置において、
前記回転軸状態推定手段は、前記回転軸の回転状態を複数回求め、
前記複数回求められた前記回転軸の回転状態を、時間について平滑化する回転軸状態平滑化手段をさらに含む、回転推定装置。
【請求項７】
請求項１から６のいずれか１項に記載の回転推定装置において、
前記回転推定手段は、前記撮像装置の回転状態を複数回求め、
前記複数回求められた前記撮像装置の回転状態を、時間について平滑化する回転状態平滑化手段をさらに含む、回転推定装置。
【請求項８】
回転推定装置が行う回転推定方法であって、
撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定ステップと、
前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定ステップと、を含む回転推定方法。
【請求項９】
請求項８に記載の回転推定方法において、
前記回転状態推定ステップでは、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態として、予め定められた基準方向に対する前記撮像装置の回転角と、当該撮像装置の回転角の時間変動と、を求める、回転推定方法。
【請求項１０】
請求項８または９に記載の回転推定方法において、
前記姿勢判定ステップは、
前記複数の３次元の画像を受け付け、前記画像ごとに、当該画像から前記面領域の候補となる候補領域を検出する検出ステップと、
前記画像ごとに、当該画像内の前記候補領域内の画素値に基づいて、前記面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢推定ステップと、を含む、回転推定方法。
【請求項１１】
請求項７から１０のいずれか１項に記載の回転推定方法において、
前記撮像装置の回転状態に基づいて、前記撮像装置の回転軸の回転状態を求める回転軸状態推定ステップを、さらに含む、回転推定方法。
【請求項１２】
請求項１１に記載の回転推定方法において、
前記回転軸状態推定ステップでは、前記撮像装置の回転状態に基づいて、前記回転軸の回転状態として、予め定めた特定方向に対する前記撮像装置の回転軸の回転角と、当該回転軸の回転角の時間変動と、を求める、回転推定方法。
【請求項１３】
請求項１１または１２に記載の回転推定方法において、
前記回転軸状態推定ステップでは、前記回転軸の回転状態を複数回求め、
前記複数回求められた前記回転軸の回転状態を、時間について平滑化する回転軸状態平滑化ステップをさらに含む、回転推定方法。
【請求項１４】
請求項８から１３のいずれか１項に記載の回転推定方法において、
前記回転推定ステップでは、前記撮像装置の回転状態を複数回求め、
前記複数回求められた前記撮像装置の回転状態を、時間について平滑化する回転状態平滑化ステップをさらに含む、回転推定方法。
【請求項１５】
コンピュータに、
撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手順と、
前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手順と、を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムにおいて、
前記回転状態推定手順では、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態として、予め定められた基準方向に対する前記撮像装置の回転角と、当該撮像装置の回転角の時間変動と、を求める、プログラム。
【請求項１】
撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手段と、
前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手段と、を含む回転推定装置。
【請求項２】
請求項１に記載の回転推定装置において、
前記回転状態推定手段は、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態として、予め定められた基準方向に対する前記撮像装置の回転角と、当該撮像装置の回転角の時間変動と、を求める、回転推定装置。
【請求項３】
請求項１または２に記載の回転推定装置において、
前記姿勢判定手段は、
前記複数の３次元の画像を受け付け、前記画像ごとに、当該画像から前記面領域の候補となる候補領域を検出する検出手段と、
前記画像ごとに、当該画像内の前記候補領域内の画素値に基づいて、前記面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢推定手段と、を含む、回転推定装置。
【請求項４】
請求項１から３のいずれか１項に記載の回転推定装置において、
前記撮像装置の回転状態に基づいて、前記撮像装置の回転軸の回転状態を求める回転軸状態推定手段を、さらに含む、回転推定装置。
【請求項５】
請求項４に記載の回転推定装置において、
前記回転軸状態推定手段は、前記撮像装置の回転状態に基づいて、前記回転軸の回転状態として、予め定めた特定方向に対する前記撮像装置の回転軸の回転角と、当該回転軸の回転角の時間変動と、を求める、回転推定装置。
【請求項６】
請求項４または５に記載の回転推定装置において、
前記回転軸状態推定手段は、前記回転軸の回転状態を複数回求め、
前記複数回求められた前記回転軸の回転状態を、時間について平滑化する回転軸状態平滑化手段をさらに含む、回転推定装置。
【請求項７】
請求項１から６のいずれか１項に記載の回転推定装置において、
前記回転推定手段は、前記撮像装置の回転状態を複数回求め、
前記複数回求められた前記撮像装置の回転状態を、時間について平滑化する回転状態平滑化手段をさらに含む、回転推定装置。
【請求項８】
回転推定装置が行う回転推定方法であって、
撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定ステップと、
前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定ステップと、を含む回転推定方法。
【請求項９】
請求項８に記載の回転推定方法において、
前記回転状態推定ステップでは、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態として、予め定められた基準方向に対する前記撮像装置の回転角と、当該撮像装置の回転角の時間変動と、を求める、回転推定方法。
【請求項１０】
請求項８または９に記載の回転推定方法において、
前記姿勢判定ステップは、
前記複数の３次元の画像を受け付け、前記画像ごとに、当該画像から前記面領域の候補となる候補領域を検出する検出ステップと、
前記画像ごとに、当該画像内の前記候補領域内の画素値に基づいて、前記面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢推定ステップと、を含む、回転推定方法。
【請求項１１】
請求項７から１０のいずれか１項に記載の回転推定方法において、
前記撮像装置の回転状態に基づいて、前記撮像装置の回転軸の回転状態を求める回転軸状態推定ステップを、さらに含む、回転推定方法。
【請求項１２】
請求項１１に記載の回転推定方法において、
前記回転軸状態推定ステップでは、前記撮像装置の回転状態に基づいて、前記回転軸の回転状態として、予め定めた特定方向に対する前記撮像装置の回転軸の回転角と、当該回転軸の回転角の時間変動と、を求める、回転推定方法。
【請求項１３】
請求項１１または１２に記載の回転推定方法において、
前記回転軸状態推定ステップでは、前記回転軸の回転状態を複数回求め、
前記複数回求められた前記回転軸の回転状態を、時間について平滑化する回転軸状態平滑化ステップをさらに含む、回転推定方法。
【請求項１４】
請求項８から１３のいずれか１項に記載の回転推定方法において、
前記回転推定ステップでは、前記撮像装置の回転状態を複数回求め、
前記複数回求められた前記撮像装置の回転状態を、時間について平滑化する回転状態平滑化ステップをさらに含む、回転推定方法。
【請求項１５】
コンピュータに、
撮像装置が複数のタイミングで撮像した複数の３次元の画像を受け付け、前記複数の画像に共通に存在する面領域を検出し、前記画像ごとに、当該画像に基づいて、当該画像内の前記面領域に対する前記撮像装置の相対的な姿勢を求める姿勢判定手順と、
前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態を求める回転状態推定手順と、を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムにおいて、
前記回転状態推定手順では、前記画像ごとに求められた前記撮像装置の相対的な姿勢に基づいて、前記撮像装置の回転状態として、予め定められた基準方向に対する前記撮像装置の回転角と、当該撮像装置の回転角の時間変動と、を求める、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１８１３６６（Ｐ２０１０−１８１３６６Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２７２０７（Ｐ２００９−２７２０７）
【出願日】平成２１年２月９日（２００９．２．９）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月９日（２００９．２．９）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]