説明

画像校正システム、画像校正方法及び撮像システム

【課題】外部の計測装置を用いずに、複数の撮像装置のずれ角を検出しそれぞれの画像のずれを校正する。
【解決手段】複数の撮像装置Ciが搭載された移動体Mを回転させ、第1の角速度計測装置1により移動体Mの角速度を計測し、第2の角速度計測装置2により撮像装置Ciの角速度を計測し、角速度比較部3iにより移動体Mの角速度と撮像装置Ciの角速度とを比較して各撮像装置Ciのずれ角を算出し、算出したずれ角を画像の校正角として校正角記憶部4iに記憶し、撮像部Giで取得した画像を校正角記憶部4に記憶された校正角で回転させて、画像変換部5iで複数の撮像装置Ciそれぞれで取得した画像のずれを校正する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、移動体搭載の複数の撮像装置で得られる画像のずれを校正する画像校正システム、画像校正方法及び撮像システムに関する。
【背景技術】
【0002】
一般に、移動体の周囲の広い範囲を監視するために、複数の撮像装置の画像を合成し表示する方法が広く知られている。例えば、90°以上の視野を持つ撮像装置4台を用いて、周囲一周分を合成する装置がある。これら複数の撮像装置の画像を合成する方法として、隣り合う撮像装置の重複する視野内に含まれる特徴のある像を使用する方法、各撮像装置を決められた軸に対して精度よく取り付ける方法、取り付けた後の角度を計測し補正する方法がある。
【0003】
しかしながら、上記に挙げた方法のうち、撮像装置を決められた軸に対して精度よく取り付ける方法と取り付けた後の角度を計測し補正する方法では、外部計測装置によって、撮像装置の取り付け角度を高精度に計測する必要がある。しかしながら、これらの外部計測装置は一般的に高価であり、外部計測装置を操作するには一定の技術レベルが必要である。さらに、撮像装置が取り付けられている物体の寸法が大きくなれば、外部計測装置の設置のために広い敷地が必要となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−232867号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
以上のように、従来の複数の撮像装置の画像を合成する方法、特に撮像装置を決められた軸に対し精度よく取り付ける方法と取り付けた後の角度を計測し補正する方法では、外部計測装置によって、撮像装置の取り付け角度を計測する必要がある。これらの外部計測装置は、一般的に高価である。また、外部計測装置を操作するには一定の技術レベルが必要である。さらに、撮像装置が取り付けられている物体の寸法が大きくなれば、外部計測装置の設置のために広い敷地が必要となる。
【0006】
そこで、本実施形態は、上記の事情を鑑みてなされたもので、外部の計測装置を用いずに、複数の撮像装置のずれ角を検出しそれぞれの画像のずれを校正することのできる画像校正システム、画像校正方法及び撮像システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本実施形態に係る画像校正システムは、移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムに用いられ、前記移動体の角速度を計測する第1の計測手段と、前記複数の撮像装置それぞれの角速度を計測する第2の計測手段と、前記第1の計測手段で得られる前記移動体の角速度と前記第2の計測手段で得られる前記複数の撮像装置それぞれの角速度を比較して、それぞれのずれ角を算出する算出手段と、前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段を具備し、前記第1の計測手段は、角速度センサであり、前記第1の計測手段として、角度のみを計測する角度センサを設置し、前記算出手段で角度の変化率を算出して、算出された数値を移動体の角速度とし、前記第1の計測手段として、移動体に設置された慣性航法装置の慣性センサを使用して移動体の角速度を計測し、前記第2の計測手段は、角速度センサであり、前記校正手段は、前記移動体の移動中にリアルタイムで前記画像のずれを校正し、前記第2の計測手段のいずれかを前記第1の計測手段として共用する態様とする。
【0008】
また、本実施形態に係る画像校正方法は、複数の撮像装置が搭載された移動体を回転し、第1の計測手段により前記移動体の角速度を計測し、第2の計測手段により前記複数の撮像装置それぞれの角速度を計測し、算出手段により前記移動体の角速度と前記複数の撮像装置それぞれの角速度を比較して、ずれ角を算出し、前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正し、前記校正手段は、前記移動体の移動中にリアルタイムで前記画像のずれを校正し、前記第2の計測手段のいずれかを前記第1の計測手段として共用する態様とする。
【0009】
また、本実施形態に係る撮像システムは、移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムにおいて、前記移動体の角速度を計測する第1の計測手段と、前記複数の撮像装置それぞれの角速度を計測する第2の計測手段と、前記第1の計測手段で得られる前記移動体の角速度と前記第2の計測手段で得られる前記複数の撮像装置それぞれの角速度を比較して、それぞれのずれ角を算出する算出手段と、前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段を具備する態様とする。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る画像校正システムが適用される撮像システムの構成を示す概念図である。
【図2】図1に示す撮像システムの撮像装置の構成を示すブロック図である。
【図3】図1に示す撮像システムの画像校正処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、実施の形態について、図面を参照して説明する。
【0012】
図1は本実施形態に係る画像校正システムが適用される撮像システムの構成を示す概念図であり、図2は図1に示す撮像システムの撮像装置Cの構成を示すブロック図である。
【0013】
図1に示す撮像システムは、移動体Mに複数(図では4個)の撮像装置Ci(iは1〜4)を搭載し、移動体Mの周囲を4個の撮像装置Ciで分担して撮像し、各撮像装置Ciの撮像部Giで得られた画像を画像合成部Iにより合成することで移動体Mの周囲全体の画像を得る。
【0014】
この撮像システムに対して、本実施形態の画像校正システムでは、図1に示すような移動体Mの角速度が計測できる第1の角速度計測装置1を取り付ける。この第1の角速度計測装置1には角速度センサが用いられる。
【0015】
また、上記撮像装置Ciには、図2に示すように、角速度を計測するための第2の角速度計測装置2i、第1の角速度計測装置1により計測された移動体Mの角速度と第2の角速度計測装置2iにより計測された自身の角速度を比較して、移動体Mの変形によるずれ角を算出する角速度比較部3i、角速度比較部3iにより算出されたずれ角を画像の校正角として記憶する校正角記憶部4i、撮像部Giで取得した画像を校正角記憶部4iに記憶された校正角で回転して、取得した画像を校正する画像変換部5iを備える。第2の角速度計測装置2iには角速度センサが用いられる。
【0016】
次に、本実施形態の処理の流れについて、図面を参照して説明する。
【0017】
図3は、本実施形態に係る画像校正システムの処理の流れを示すフローチャートである。まず、撮像装置Ciが搭載された移動体Mを回転させ(ステップS1)、移動体Mに取り付けた第1の角速度計測装置1により移動体Mの直交三軸方向の角速度を計測する(ステップS2)。同様に、撮像装置Ciに取り付けた第2の角速度計測装置2iにより撮像装置Ciそれぞれの直交三軸方向の角速度を計測する(ステップS3)。続いて、移動体Mの直交三軸方向の角速度と撮像装置Ciの直交三軸方向の角速度とを角速度比較部3iで比較して、それぞれのずれ角を算出する(ステップS4)。
【0018】
例えば、移動体Mに取り付けられている第1の角速度計測装置1で得られた角速度をω、撮像装置Ciに取り付けられている第2の角速度計測装置2iで得られた角速度をω’、移動体Mの直交三軸と撮像装置Ciの直交三軸のずれ角をΔθとすると、移動体Mの角速度ωと撮像装置Ciの角速度ω’の関係式は、
【数1】

【0019】
となり、ずれ角Δθは、
【数2】

【0020】
で算出される。これを直交三軸で算出し、算出したずれ角を画像の校正角として校正角記憶部4iに記憶する(ステップS5)。
【0021】
その後、画像変換部5iで撮像装置Ciの撮像部Giで取得した画像を校正角記憶部4iに記憶された校正角で回転させて(ステップS6)、取得した画像を校正する(ステップS7)。
【0022】
以上のように、上記実施形態では、従来のように外部に計測装置を設置して、撮像装置Ciの取り付け角度を計測する必要がなく、複数の撮像装置Ciを搭載している移動体Mのみで、各撮像装置Ciのずれ角を検出し画像を校正することが可能となる。
【0023】
なお、上記実施形態では、第1の角速度計測装置1に角速度センサを用いたが、角度センサを用いてもよい。この場合、撮像装置Ciの角速度比較部3iにて、角度センサにより計測された角度から角度変化率を算出して、算出された数値を移動体Mの角速度とし、撮像装置Ciの角速度と比較する。また、移動体Mに慣性航法装置の慣性センサがすでに取り付けられている場合には、その慣性センサで得られる角速度を利用してもよい。
【0024】
なお、校正角記憶部4iは、移動体Mの移動中にリアルタイムで画像のずれを校正することが可能である。これは、移動体Mが移動中に生じる移動体M自身のひずみによって移動体Mの角速度と撮像装置Ciの角速度に違いが生じる。この角速度の違いからずれ角を算出できるためである。
【0025】
また、上記実施形態では、第1の角速度計測装置1により計測した移動体Mの角速度と第2の角速度計測装置2iにより計測した撮像装置Ciの角速度とを比較してずれ角を算出するようにしたが、ほかにも第2の角速度計測装置2iのいずれかを第1の角速度計測装置1として共用し、角速度を比較することにより、上記実施形態と同様にずれ角を算出することができる。これにより、移動体M本体に第1の角速度計測装置1を取り付けなくてもずれ角を算出することができ、算出されたずれ角を画像の校正角として校正角記憶部4iに記憶し、校正角記憶部4iに記憶された校正角で回転して、撮像部Giで取得された画像を校正することが可能となる。
【0026】
上記実施形態の撮像システムは、移動体Mの周囲警戒・監視等に利用されるものであり、移動体Mに複数の撮像装置Ciを設置する可能性のある航空機、船舶、車両等へ実施することができ、移動体Mの寸法が大きいほど、実施の効果が大きい。特に、航空機と船舶は移動体Mの寸法が大きいので、実施の効果が大きい。
【0027】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0028】
1…第1の角速度計測装置、2i…第2の角速度計測装置、3i…角速度比較部、4i…校正角記憶部、5i…画像変換部、Gi…撮像部、M…移動体、Ci…撮像装置、I…画像合成部。

【特許請求の範囲】
【請求項1】
移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムに用いられ、
前記移動体の角速度を計測する第1の計測手段と、
前記複数の撮像装置それぞれの角速度を計測する第2の計測手段と、
前記第1の計測手段で得られる前記移動体の角速度と前記第2の計測手段で得られる前記複数の撮像装置それぞれの角速度を比較して、それぞれのずれ角を算出する算出手段と、
前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段と
を具備することを特徴とする画像校正システム。
【請求項2】
前記第1の計測手段は、角速度センサであることを特徴とする請求項1記載の画像校正システム。
【請求項3】
前記第1の計測手段として、角度のみを計測する角度センサを設置し、前記算出手段で角度の変化率を算出して、算出された数値を移動体の角速度とすることを特徴とする請求項1記載の画像校正システム。
【請求項4】
前記第1の計測手段として、移動体に設置された慣性航法装置の慣性センサを使用して移動体の角速度を計測することを特徴とする請求項1記載の画像校正システム。
【請求項5】
前記第2の計測手段は、角速度センサであることを特徴とする請求項1記載の画像校正システム。
【請求項6】
前記校正手段は、前記移動体の移動中にリアルタイムで前記画像のずれを校正することを特徴とする請求項1記載の画像校正システム。
【請求項7】
前記第2の計測手段のいずれかを前記第1の計測手段として共用することを特徴とする請求項1記載の画像校正システム。
【請求項8】
複数の撮像装置が搭載された移動体を回転し、
前記移動体の角速度を計測し、
前記複数の撮像装置それぞれの角速度を計測し、
前記移動体の角速度と前記複数の撮像装置それぞれの角速度とを比較して前記複数の撮像装置のずれ角を算出し、
前記前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正することを特徴とする画像校正方法。
【請求項9】
前記移動体の移動中にリアルタイムで前記移動体の角速度、複数の撮像装置それぞれの角速度を計測し、互いに比較してずれ角を算出し、その算出結果に基づいて画像のずれを校正することを特徴とする請求項8記載の画像校正方法。
【請求項10】
移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムにおいて、
前記移動体の角速度を計測する第1の計測手段と、
前記複数の撮像装置それぞれの角速度を計測する第2の計測手段と、
前記第1の計測手段で得られる前記移動体の角速度と前記第2の計測手段で得られる前記複数の撮像装置それぞれの角速度とを比較して、それぞれのずれ角を算出する算出手段と、
前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段と
を具備することを特徴とする撮像システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2013−55462(P2013−55462A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−191575(P2011−191575)
【出願日】平成23年9月2日(2011.9.2)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】