カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
【課題】 ２画像間のカメラアングルの違いを簡単かつ高精度に検出する。
【解決手段】 標準画像および入力画像についてそれぞれパワースペクトルを計算し（Ｓ１）、標準画像および入力画像のそれぞれのパワースペクトルについてログポーラ変換を行い（Ｓ２）、ログポーラ変換後のパワースペクトルについて標準画像および入力画像の特定方向の扇形領域に対応する矩形領域を、扇形領域の特定方向を順次変化させて抽出し（Ｓ３）、抽出された標準画像の矩形領域と入力画像の矩形領域の位相限定相関を計算して方向別の半径方向ずれ量と円弧方向ずれ量を求め（Ｓ４）、円弧方向ずれ量に基づいて回転角αを求め（Ｓ５）、方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求めて、拡大縮小率の最大値と最小値の比から平面傾き角βを求め（Ｓ６）、拡大縮小率が最小となる方向を平面傾き方向γとして定める（Ｓ７）。
【解決手段】 標準画像および入力画像についてそれぞれパワースペクトルを計算し（Ｓ１）、標準画像および入力画像のそれぞれのパワースペクトルについてログポーラ変換を行い（Ｓ２）、ログポーラ変換後のパワースペクトルについて標準画像および入力画像の特定方向の扇形領域に対応する矩形領域を、扇形領域の特定方向を順次変化させて抽出し（Ｓ３）、抽出された標準画像の矩形領域と入力画像の矩形領域の位相限定相関を計算して方向別の半径方向ずれ量と円弧方向ずれ量を求め（Ｓ４）、円弧方向ずれ量に基づいて回転角αを求め（Ｓ５）、方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求めて、拡大縮小率の最大値と最小値の比から平面傾き角βを求め（Ｓ６）、拡大縮小率が最小となる方向を平面傾き方向γとして定める（Ｓ７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラアングル変化の検出方法および装置およびプログラムに関する。さらに詳述すると、本発明は、画像処理技術を用いて２画像間の相対的なカメラアングルの違いを検出する方法および装置およびプログラム、さらにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法に関する。
【背景技術】
【０００２】
カメラの傾きなどを画像処理により検出する方法として、マーカなどを用いた方法がある。例えば特許文献１には、ステレオカメラのキャリブレーション方法として、人工的なマーカを有するキャリブレーション用チャートを使用する点が開示されている。
【０００３】
また、非特許文献１には、スペクトルモーメントを用いて、比較する２画像間のテクスチャ平面の回転と傾き角を求める手法が提案されている。
【０００４】
【特許文献１】特開２００３−２４２４８５号
【非特許文献１】辻 敏雄，吉田 靖夫：スペクトルモーメントを用いたテクスチャ平面の回転と傾き角の検出：電子情報通信学会論文誌，Vol. J85-D-II，No. 3，pp.406--415（2002）.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
巡視員による監視対象設備の点検業務等において、巡視員が現場で監視対象設備のヒビやサビの微小な進行状況を目視により確認することは非常に難しい。一方、デジタルデバイスの低価格化と情報処理技術の進展により、現場での業務において、現場の状況をデジタル記録・保存する環境が整いつつある。そこで、巡視員がデジタルカメラで監視対象設備を撮影し、かつ撮影した画像を記録・保存し、新たに撮影した設備表面の画像と過去の設備表面の画像とを比較することより、設備のヒビやサビの微小な進行状況を正確に把握するようにすることが考えられる。例えば、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。
【０００６】
ただし、このためには、比較する画像間の正確な位置合わせが必要であり、監視対象物とカメラを常に同一の位置関係に固定する必要がある。過去の撮影時と今回の撮影時との間で、監視対象物とカメラの位置関係、即ちカメラアングルが変化してしまうと、光軸などがずれた画像として記録されてしまう。カメラアングルが一致していない画像どうしを比較すると、本来ならば変化していない画像情報まで変形したかのように処理されてしまい、ヒビやサビの微小な進行状況の検出精度が大きく低下してしまう。例えば図１５の符号１０１は過去に撮影した監視対象設備のヒビの様子を示す画像であり、符号１０２は今回撮影した監視対象設備のヒビの様子を示す画像である。過去の撮影画像１０１と今回の撮影画像１０２とでは、カメラアングルが変化している。符号１０３は、過去の撮影画像１０１と今回の撮影画像１０２の差分画像である。このようにカメラアングルが一致していない画像１０１，１０２の差分画像１０３を作成しても、本来ならば変化していない画像情報までが差分として現れてしまい、ヒビやサビの微小な進行状況を正確に検出することはできない。
【０００７】
その一方で、撮影対象とカメラの位置関係を固定し続けることは物理的やコスト的に難しいため、過去と完全に同じカメラ位置からの撮影の実現は非常に難しい。そこで、画像処理技術により２画像間のカメラアングルの違いを検出し、カメラアングルを一致させるように補正を行うことが考えられる。
【０００８】
ところが、特許文献１の技術では、人為的にマーカを用意したり設定したりする必要があり面倒である。また、非特許文献１のスペクトルモーメントを用いる手法は、平面の傾き角度が微小（例えば５°以下）であると誤差が大きくなるという問題がある。
【０００９】
また、カメラアングルの変化は換言すれば光軸の変化であり、２画像間の光軸のずれ量を正確に検出することで、例えば高精度な三角測量、ステレオカメラの設定、カメラレンズ等の歪みの検出および補正などへと応用することができる。しかし、上述したように従来の画像処理技術では、マーカを用いる煩雑さや、微小な光軸のずれ量を正確に検出できない問題点がある。このため、従来の画像処理による画像間の対応点探索では、カメラの方向の微小な変化の補正が不十分であり、画像間の対応付けが曖昧となって、十分な計測精度が得られない。
【００１０】
そこで本発明は、２画像間におけるカメラアングルの違いを簡単かつ高精度に検出することができるカメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
かかる目的を達成するため、請求項１記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する方法であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるステップと、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるステップとを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとするようにしている。
【００１２】
また、請求項１２記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する装置であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段とを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとするようにしている。
【００１３】
また、請求項１３記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段としてコンピュータを機能させるプログラムであり、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとする手段として、コンピュータを機能させるようにしている。
【００１４】
テクスチャ平面をγ方向に角度βだけ傾けると、当該平面はγ方向にcos βだけ縮小する。したがって、一定点を中心とした全方位について方向別に２画像間のずれ量に求め、これにより方向別の画像の拡大縮小率を求め、画像の拡大縮小率の最大値と最小値の比から平面傾き角βを求め、画像の拡大縮小率が最小となる方向を平面傾き方向γとすることにより、正確なγとβを求めることができる。
【００１５】
また、請求項２記載の発明は、請求項１記載のカメラアングル変化の検出方法において、前記標準画像および前記入力画像についてそれぞれパワースペクトルを計算し、それぞれの前記パワースペクトルについて、該パワースペクトルの直流成分を中心とした方向別の前記半径方向ずれ量を求めるようにしている。
【００１６】
したがって、標準画像および入力画像についてそれぞれ計算されたパワースペクトルを用いることにより、標準画像と入力画像との間の縦横方向の位置ずれをキャンセルすることができる。また、パワースペクトルの直流成分を空間周波数上の原点とし、当該直流成分（空間周波数上の原点）を中心として扇形領域の方向を選択することにより、標準画像および入力画像について扇形領域の方向を選択するための中心点を設定する手間が省ける。
【００１７】
また、請求項３記載の発明は、請求項２記載のカメラアングル変化の検出方法において、前記標準画像および前記入力画像のそれぞれの前記パワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後の前記パワースペクトルについて、前記扇形領域と等価な矩形領域を抽出し、これら抽出した２つの前記矩形領域の位相限定相関を計算することで、前記半径方向ずれ量を求めるようにしている。したがって、ログポーラ変換を用いることで、対数の特性を利用して拡大縮小率を簡単に求めることができる。
【００１８】
また、請求項４記載の発明は、請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法において、前記標準画像および前記入力画像からそれぞれ抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の円弧方向ずれ量を求め、前記円弧方向ずれ量に基づいて前記回転角αを求めるようにしている。この場合、平面傾き角βと平面傾き方向γを求める計算と並行して、回転角αを求める計算を行うことができる。
【００１９】
また、請求項５記載の発明は、請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法において、前記入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と前記標準画像との相関を求めることで、前記標準画像に対する前記１次補正画像の回転ずれ量を求め、求めた前記回転ずれ量を前記回転角αとするようにしている。この場合は、平面傾き角βと平面傾き方向γを求めた後に、回転角αを求めることとなる。
【００２０】
また、請求項６記載の画像処理方法は、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて、前記入力画像を、上記求めた平面傾き方向γの方向に、１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、前記入力画像と前記標準画像のカメラアングルを一致させるようにしている。したがって、入力画像と標準画像の比較を正確に行える。
【００２１】
また、請求項７記載の設備監視方法は、監視対象設備を撮影対象として、請求項６記載の画像処理方法によりカメラアングルを一致させた前記入力画像と前記標準画像の差分画像を作成して、前記監視対象設備のサビやヒビの進展を検出するようにしている。したがって、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。
【００２２】
また、請求項８記載の測量方法は、２台の撮像手段により同一平面と見なせる計測領域をそれぞれ撮影し、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、上記撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段および前記計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしている。この場合、求めたα，β，γを、計測領域に対する撮像手段の物理的位置の補正するためのパラメータ、または撮像手段で撮影した画像を修正する情報処理を実行するためのパラメータ、または計測領域の位置を測定するためのパラメータとして利用して、三角測量を高精度に行うことができる。
【００２３】
また、請求項９記載の画像処理方法は、予め用意された標準画像と、前記標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、前記標準画像と前記入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、前記撮像手段に起因する画像の歪みを検出するようにしている。この場合、求めたα，β，γが０でない場合は、撮像手段に起因して、例えばカメラレンズの歪みに起因して、入力画像に歪みが生じていると判断できる。画像の歪みが検出された場合、例えば撮像手段の部品交換等を促すべく、ユーザに対して警告やエラーを通知することができる。
【００２４】
また、請求項１０記載の発明は、請求項９記載の画像処理方法において、前記検出された画像の歪みを、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正するようにしている。この場合、例えばレンズ収差の大きい廉価なレンズを備えた汎用の撮像手段であっても高性能な画像を得ることができる。
【００２５】
また、請求項１１記載のステレオカメラの設定方法は、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、２台の撮像手段により撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしている。この場合、例えば安価な汎用のデジタルカメラを２台用意すれば、これら２台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。
【発明の効果】
【００２６】
しかして請求項１〜５記載のカメラアングル変化の検出方法および請求項１２記載の装置および請求項１３記載のプログラムによれば、方向別の画像の拡大縮小率を求めることにより、人工的なマーカ等を用いることなく簡単に、しかも画像の傾き角が微小であっても高精度に、２画像間の相対的なカメラアングルの違いを検出することができる。
【００２７】
さらに、請求項６記載の画像処理方法によれば、入力画像と標準画像のカメラアングルを一致させる補正をすることにより、入力画像と標準画像の比較を正確に行うことができる。
【００２８】
さらに、請求項７記載の画像処理方法によれば、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。
【００２９】
さらに、請求項８記載の測量方法によれば、求めたα，β，γを三角測量を行うためのパラメータとして利用することで、正確な測量を行うことができる。
【００３０】
さらに、請求項９記載の画像処理方法によれば、カメラレンズの歪み等を検出でき、部品交換等を促すべく、ユーザに対して警告やエラーを通知することができる。
【００３１】
さらに、請求項１０記載の画像処理方法によれば、検出された画像の歪みを補正するので、レンズ収差の大きい廉価なレンズを備えた汎用の撮像手段であっても高性能な画像を得ることができる。
【００３２】
さらに、請求項１１記載のステレオカメラの設定方法によれば、例えば安価な汎用のデジタルカメラを２台用意すれば、これら２台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００３４】
図１から図１４に本発明のカメラアングル変化の検出方法および装置並びにプログラムおよびこれを利用した設備監視方法の実施の一形態を示す。このカメラアングル変化の検出方法は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、標準画像と入力画像の相対的なカメラアングルの違いを検出するものであり、標準画像内の撮影対象の平面領域を標準平面とし、入力画像内の撮影対象の平面領域を入力平面として、標準平面に対する入力平面の平面傾き方向γと、平面傾き方向γと標準画像の面上で直交する軸回りでの標準平面に対する入力平面の平面傾き角βとを求めるステップと、標準平面に対する入力平面の標準画像の面と直交する軸回りの回転角αを求めるステップとを有している。
【００３５】
そして、平面傾き方向γおよび平面傾き角βを求めるステップでは、標準画像および入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの扇形領域の相関を求めることで、標準画像から抽出した扇形領域に対する入力画像から抽出した扇形領域の半径方向ずれ量を求め、扇形領域の特定方向を順次変化させて全方位について半径方向ずれ量を求め、当該方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求め、拡大縮小率の最大値と最小値の比から平面傾き角βを求め、拡大縮小率が最小となる方向を平面傾き方向γとするようにしている。
【００３６】
標準画像と入力画像は、例えば同一撮影対象を同時刻に異なるカメラアングルから撮影した画像や、または同一撮影対象を異なる時刻で撮影した画像が該当する。同じ撮影対象であっても、異なる時刻で撮影した場合には撮影対象が若干変化する場合があり、標準画像および入力画像における撮影対象の領域が厳密に同一であるとは言えない場合も生じるが、ほぼ同一領域と見なすことができれば良いものとする。例えば撮影対象がコンクリート壁面である場合、時間経過によりヒビなどが生じる可能性があり、厳密な同一領域を撮影することが困難となる場合も考えられるが、標準画像と入力画像は、厳密な同一領域を撮影したものである必要は必ずしもなく、ほぼ同一と見なせる領域が撮影されていれば良いものとする。また、場合によっては、型式が同じ（外形や模様等の外観が同じ）別の対象物を同一撮影対象と見なしても良い。また、撮影対象は必ずしも完全な平面である必要はなく、ほぼ平面と見なせる場合も含む。例えば、非常に遠距離にある対象物が撮影対象となる場合、逆に、撮影対象を非常に拡大した場合、または標準画像と入力画像の相対的なカメラアングルの変化が極微小である場合などには、撮影対象の表面が曲面であったり凹凸がある場合であっても、撮影対象をほぼ平面であると見なすことができる。
【００３７】
例えば本実施形態における撮影対象は、監視対象設備である平面状のコンクリート壁面としている。コンクリート壁面の監視画像は、例えば、デジタルカメラなどの撮像手段を用いて巡視員により定期点検毎に撮影される。例えば過去の点検で撮影された画像が標準画像とされ、今回点検で新たに撮影された画像が入力画像とされる。なお、標準画像および入力画像は、例えば本実施形態ではグレースケール画像（濃淡画像）とする。標準画像あるいは入力画像がカラー画像である場合には、当該カラー画像を濃淡画像（グレースケール画像）に変換する。ここで、カラー画像を濃淡画像に変換する方法としては、例えば、ＲＧＢ値の各値をそれぞれＲ，Ｇ，Ｂとし、グレースケールの輝度値をＹとして、Ｙ＝（０．２９８９１２＊Ｒ＋０．５８６６１１＊Ｇ＋０．１１４４７８＊Ｂ）として求める方法が一般的である。また、処理の高速化を図るためにＹ＝（２＊Ｒ＋４＊Ｇ＋Ｂ）／７とする方法もある。さらに、ＲＧＢ値のＧ値のみの情報を使い、計算を簡単にする方法もある。以上のような既存または新規の濃淡画像生成方法により濃淡画像を生成するが、採用する濃淡画像生成方法は、画像の濃淡差ができるだけ大きくなるようなものであることが望ましい。また、紫外線画像あるいは赤外線画像などについても、濃淡画像に変換することにより標準画像あるいは入力画像として利用することができる。
【００３８】
ここで、例えば本実施形態では、標準画像および入力画像についてそれぞれパワースペクトルを計算し、それぞれのパワースペクトルについて、該パワースペクトルの直流成分を中心として、上述した方向別の半径方向ずれ量を求めるようにしている。パワースペクトルは、もとの画像の平行移動に対して不変な性質をもっている。したがって、標準画像および入力画像についてそれぞれ計算されたパワースペクトルを用いることにより、標準画像と入力画像との間の縦横方向の位置ずれをキャンセルすることができる。また、パワースペクトルの直流成分を空間周波数上の原点とし、当該直流成分（空間周波数上の原点）を中心として扇形領域の方向を選択することにより、標準画像および入力画像について扇形領域の方向を選択するための中心点を設定する手間が省ける。
【００３９】
さらに、例えば本実施形態では、標準画像および入力画像のそれぞれのパワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後のパワースペクトルについて、扇形領域と等価な矩形領域を抽出し、これら抽出した２つの矩形領域の位相限定相関を計算することで、上述した半径方向ずれ量を求めるようにしている。ログポーラ変換（log-polar 変換）は、人間の網膜における中心付近の解像度は高く中心から離れるに従い解像度は低くなるという性質をモデル化する変換である。このログポーラ変換を用いることで、拡大縮小率を簡単に求めることができる。即ち、元となる半径Ｒに対して、拡大または縮小した半径をｓＲとすると、ｓが拡大縮小率となる。半径Ｒの対数はｌｏｇ（Ｒ）であり、半径ｓＲの対数はｌｏｇ（ｓＲ）＝ｌｏｇ（ｓ）＋ｌｏｇ（Ｒ）である。ログポーラ変換後の半径方向ずれ量はｌｏｇ（ｓ）で求められ、ｌｏｇ（ｓ）に基づいて拡大縮小率ｓを容易に求めることができる。なお、対数は自然対数を用いることが一般的であるが、対数の底を変えても良い。
【００４０】
また、例えば本実施形態では、標準画像および入力画像からそれぞれ抽出した２つの扇形領域（ログポーラ変換後は矩形領域）の相関を求めることで、標準画像から抽出した扇形領域に対する入力画像から抽出した扇形領域の円弧方向ずれ量を求め、この円弧方向ずれ量に基づいて回転角αを求めるようにしている。
【００４１】
以下、平面傾き方向γ、平面傾き角β、回転角αを算出する原理について詳細に説明する。３次元空間における被写体である撮影対象の平面は、撮像手段であるカメラを通して２次元画像投影面に射影される。標準画像と入力画像の相対的なカメラアングルの変化、即ち被写体である撮影対象とカメラとの位置関係の変化を、簡単に説明するため、ここでは、カメラを固定し、撮影対象（平面）が動いたものとして説明をする。
【００４２】
入力画像として、標準画像と同じテクスチャ平面を、γ方向に角度βだけ傾けた後、角度α回転させた状態を撮影した画像とする。このような画像のパワースペクトルを考えると、パワースペクトルの性質からテクスチャ平面がα回転するとパワースペクトルも同じ方向にαだけ回転する。また、テクスチャ平面がγ方向に角度βだけ傾くと、画像はγ方向にcos βだけ縮小し、パワースペクトルは反対に１／cos βだけ拡大する。よってこれらのパワースペクトルの性質を利用することで、テクスチャ平面のカメラ光軸方向の回転角α、平面の傾き角β、平面の傾き方向γの検出が可能となる。このとき平面の傾きの軸方向はγ＋π／２となる。
【００４３】
さらに詳細に説明する。３次元空間における平面はカメラを通して２次元画像投影面に射影される。ここで、画像生成モデルとして焦点距離ｆのピンホールカメラを考える。図２に示すように、標準画像はテクスチャ平面をピンホールから距離ｄだけ離れた光軸上に配置し、画像平面と平行な状態で捕らえた画像とする。ここで、テクスチャ平面の座標系を（ｘｓ，ｙｓ，ｚｓ）、画像投影面の座標系を（ｘｉ，ｙｉ，ｚｉ）、光軸をｚｓおよびｚｉとすると、テクスチャ平面の濃度値Ｔ（ｘｓ，ｙｓ）および標準画像の濃度値Ｆｓ（ｘｉ，ｙｉ）の間には、数式１の関係式が成立する。
【００４４】
【数１】
ここで、
【数２】
【００４５】
ここで、入力画像として、標準画像と同じテクスチャ平面をｘｓ−ｙｓ平面内でｘｓ軸に対し角度γ方向に角度βだけ傾けた後、光軸周りに角度α回転させた状態を撮影した画像とする。さらにピンホールから距離が微小に変化しｄ’になったものとする。この回転を行った後のテクスチャ平面の座標系を（ｘｔ，ｙｔ，ｚｔ）とすると、図３に示すように、垂直軸ｚｔは光軸（ｚｓ）に対してβの角度をとる。また、この軸ｚｔを画像平面に投影すると、その投影線とｘｉ軸のなす角度はα＋γである。このときテクスチャ平面の濃度値Ｔ（ｘｔ，ｙｔ）および入力画像の濃度値Ｆｉ（ｘ'ｉ，ｙ'ｉ）の間には、数式３の関係式が成立する。
【００４６】
【数３】
ここで、
【数４】
または、
【数５】
ただし、
【数６】
【数７】
【数８】
【数９】
【数１０】
【００４７】
数式９と数式１０は平面が傾くことにより生じる遠近感を示す式である。中心射影ではこれらの式で表される項を含むが、弱中心射影の場合これらの式で表される項は含まない。ここで、中心射影はピンホールカメラを想定した時の射影であり、非線形関数であるため、一般に計算が複雑化する。このため線形近似することが望ましい。対象物体のサイズがカメラから物体までの距離と比較して十分に小さい場合など特定の条件を満たしたとき線形近似できる。中心射影の零次近似が弱中心射影である。具体的には、撮影範囲に比べて焦点距離ｆの長い望遠レンズで撮影した場合や画像を小領域に分割した場合など、物体までの距離に比べて撮影範囲が狭い画像や、平面の傾き角の変化が微小である画像が弱中心射影の場合に相当する。弱中心射影では、正射影の方向は光軸と並行であり、その結果、画像は光軸からの距離によって変化しない。
【００４８】
実際の画像処理ではカメラで撮影した画像を用いるため、連続空間の座標系（ｘｉ，ｙｉ）を標本化空間Ｔで標本化し、デジタル画像の座標系（ｎ，ｍ）とする。ここで、デジタル画像の座標系（ｎ，ｍ）と連続空間の座標系（ｘｉ，ｙｉ）の間には、数式１１，１２の関係式が成立する。
＜数１１＞
ｎ＝ｘｉ／Ｔ
＜数１２＞
ｍ＝ｙｉ／Ｔ
【００４９】
さらに、数式１と数式３より次の関係式が成立する。
【数１３】
【数１４】
【数１５】
【００５０】
ここで、数式１５のＨ’を省略する仮定を導入し、弱中心射影の場合について考えることにする。標準画像のパワースペクトルをＳｓ（ｕ，ｖ）とし、入力画像のパワースペクトルをＳｉ（ｕ，ｖ）として、ｕ，ｖ（−π≦ｕ，ｖ≦π）をそれぞれｎ，ｍ方向の空間周波数とすると、以下の関係式が成立する。
【数１６】
【数１７】
ここで、
【数１８】
【００５１】
パワースペクトルの性質からテクスチャ平面がα回転するとパワースペクトルも同じ方向にαだけ回転する。また、テクスチャ平面がγ方向にβ傾くと、画像はγ方向に（ｄ cos β）／ｄ’だけ縮小し、パワースペクトルは反対にｄ’／（ｄ cos β） だけ拡大する。よって、これらのパワースペクトルの性質を利用することで、テクスチャ平面のカメラ光軸方向の回転角α、平面の傾き角β、平面の傾き方向γの検出が可能となる。即ち、周波数空間でのパワースペクトルの拡大方向とその拡大率を求めれば平面の傾き角βと傾き方向γを検出できる。このとき平面の傾きの軸方向はγ＋π／２となる。さらに周波数空間でのパワースペクトルの回転角度を求めると平面の回転角αを検出できる。
【００５２】
平面傾き方向γ、平面傾き角β、回転角αを算出する手順の一例を示すフローチャートを図１に示す。まず、標準画像と入力画像のそれぞれについてパワースペクトルを求める（Ｓ１）。次に、それぞれのパワースペクトルについて原点を中心とするlog-polar変換を行う（Ｓ２）。ここでの原点とは、パワースペクトルの直流成分、即ち空間周波数上の原点を示す。次に、log-polar変換後のそれぞれのパワースペクトルについて、特定の方向角における適切な領域サイズの扇形領域を選択する（Ｓ３）。なお、log-polar変換後であるので、扇形領域は半径（ｒ）方向と角度（θ）方向を直交する二辺とする矩形領域となる。ここで、扇形領域の半径は、例えば本実施形態では量子化数の半分を半径とする。これにより、空間周波数に最大の円を作成できる。但し、扇形領域の半径として必ずしも上記値をとる必要はない。次に、上記選択したそれぞれの矩形領域について位相限定相関を計算し、扇形半径方向のずれ量ｄｒと扇形円弧方向（角度方向）のずれ量ｄａを計算する（Ｓ４）。さらに、扇形領域の方向角を変え、扇形領域（log-polar変換後であるので矩形領域）の選択（Ｓ３）と、位相限定相関の計算（Ｓ４）を繰り返す。具体的には、扇形領域の中心角を一定に固定して、扇形領域の方向角を０°から一定角度ずつ増加させていき、当該方向角が３６０°となるまで、Ｓ３とＳ４を繰り返す。扇形円弧方向（角度方向）のずれ量ｄａは、回転角αに対応する。従って、ずれ量ｄａを求めることで回転角αを求めることができる（Ｓ５）。一方、扇形半径方向のずれｄｒは画像の拡大縮小率ｓに対応する。この拡大縮小率ｓの最大値ｓmaxと最小値ｓminから平面の傾き角βを求めることができる（Ｓ６）。また、画像の拡大縮小率ｓが最小値となる扇形領域の方向角がγに対応する。従って、拡大縮小率ｓが最小値となる扇形領域の方向角を求めることで平面の傾き方向γを求めることができる（Ｓ７）。なお、テクスチャ平面がγ方向にβ傾くと、画像はγ方向に（ｄ cos β）／ｄ’だけ縮小し、パワースペクトルは反対にｄ’／（ｄ cos β） だけ拡大する。したがって、「画像の拡大縮小率」ではなく「パワースペクトルの拡大縮小率」を求める場合には、「パワースペクトルの拡大縮小率」が最大値となる扇形領域の方向角がγに対応することとなる。
【００５３】
図１の処理の内容について更に詳細に説明する。パワースペクトルについてのlog-polar変換（Ｓ２）は、以下の数式１９，２０に従って行われる。
【数１９】
【数２０】
【００５４】
パワースペクトルに扇形領域のマスクをかけ方向成分の選択をした後（Ｓ３）、位相限定相関計算により、ｋｒ方向のずれ量ｄｒとｋａ方向のずれ量ｄａを求める（Ｓ４）。さらに、マスクとなる扇形領域を少しずつ変化させ、パワースペクトル中心からの方向別のｋｒ方向のずれ量ｄｒとｋａ方向のずれ量ｄａを求める。
【００５５】
回転角αは、ｋａ方向のずれ量ｄａから以下の数式２１により求めることができる。ただし、Ｎａはlog-polar変換時の角度方向の量子化数である。
【数２１】
【００５６】
画像の拡大縮小率ｓは、ｋｒ方向のずれ量ｄｒから以下の数式２２により求めることができる。ただし、Ｎｒはlog-polar変換時の半径方向の量子化数である。
【数２２】
【００５７】
このようにして求めた画像の拡大縮小率ｓを縦軸に、周波数領域での方向角度を横軸に示したものが、図４のグラフである。図４に示すように、拡大縮小率ｓは周期Ｎａ／２の周期関数となる。このグラフにおいて、拡大縮小率ｓが最小となる扇形領域の方向角がγである。また、最も拡大されたときの倍率ｓmaxと最も縮小したときの倍率ｓminの比がcos βに相当する。したがって、平面傾き角度β求める計算式は以下の数式２３となる。
【数２３】
【００５８】
さらに、最も拡大されたときの座標ｄｒmaxと最も縮小したときの座標ｄｒminを用いると、数式２３は数式２４となる。
【数２４】
【００５９】
ここで、ｋａ方向のずれ量ｄａは選択された各方向ごとに算出されるので、回転角αも各方向ごとに算出することができる。この場合、回転角αは次のように決定される。例えば、各方向ごとに算出された回転角αの平均値を求め、この平均値を最終的な回転角αとする。または、拡大縮小率が最大となる方向の回転角αを採用する。または、拡大縮小率が１に一番近い方向の回転角αを採用する。または、各方向別の相関計算時の相関値が最大となる方向における回転角αを採用する。
【００６０】
なお、上記の例では、扇形領域の円弧方向ずれ量ｄａから回転角αを求めるようにしたが、必ずしもこの例に限定されず、例えば先ず平面傾き方向γおよび平面傾き角βを求め、当該求めたγおよびβを用いて入力画像を補正した後に、当該補正後の入力画像と標準画像を用いて回転角αを求めるようにしても良い。具体的には、入力画像を、当該画像内の任意の点、例えば画像の中心点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と標準画像のパワースペクトルを計算し、極座標変換を行い、位相限定相関により回転ずれを求め、求めた回転ずれ量からαを計算する。
【００６１】
１次補正画像と標準画像との相関計算により回転角αを求める手順を図５のフローチャートに示す。先ず、標準画像および１次補正画像をそれぞれ２次元フーリエ変換する（Ｓ１０１Ａ，Ｓ１０１Ｂ）。そして、フーリエ変換後の２次元信号の振幅成分（パワースペクトル）について、周波数成分の原点（直流成分）を中心に極座標変換を行う（Ｓ１０２Ａ，Ｓ１０３Ａ，Ｓ１０２Ｂ，Ｓ１０３Ｂ）。この処理は標準画像（信号）及び１次補正画像（信号）のそれぞれに関して行う。そして、それぞれの極座標に変換された２次元信号（振幅成分のみ）について、再度フーリエ変換を行う（Ｓ１０４Ａ，Ｓ１０４Ｂ）。その後、フーリエ変換後の各周波数成分について、標準画像より作成した信号の共役複素数成分と１次補正画像から作成した信号の複素数成分をそれぞれ掛け合わせ合成を行う（Ｓ１０５）。合成を行う際にそれぞれの信号の振幅で除算を行う（位相成分のみで位相の差を計算する）。この合成計算、具体的には除算を行うときに、振幅成分があまりにも微小となる場合が存在する。このような場合では合成信号の実数成分＝０，複素数成分＝０としてもよい。また、振幅成分があまりにも微小となる場合の合成信号成分に対して、乱数を割り当ててもよい。合成計算後、信号成分の逆フーリエ変換を計算する（Ｓ１０６）。変換後の信号のなかで、相関値が最大となる座標（ｒ１，θ１）を探索する（Ｓ１０７）。θ１に対応する角度だけ標準画像と１次補正画像の回転角度に差があるので、探索されたθ１が回転角αとなる。なお、標準画像及び１次補正画像をフーリエ変換する際に、角度のずれが精度良く計測できるように標準画像及び１次補正画像に対して適切な窓関数などの画像処理を加えることもできる。
【００６２】
さらに、傾き検出角度の精度向上のために、以下に説明する高精度の位置ずれ検出を行っても良い。即ち、実際に計算された位相限定相関式に、以下の数式２５を数値的にフィッティングすることにより、ｒ（ｎ１，ｎ２）のピーク座標を高精度に求めることが可能になる。
【数２５】
【００６３】
上記高精度な位置ずれ検出手法の原理を以下に説明する。まず、連続空間で定義された画像（２次元信号）ｆｃ（ｘ１，ｙ１），ｘ１，ｙ１ ∈ Ｒを考える。δｘおよびδｙをそれぞれｘ１およびｙ１方向に関する微小移動量を表す実数とする。連続空間で、ｆｃ（ｘ１，ｙ１）を（δｘ，δｙ）だけ微小移動した画像はｆｃ（ｘ１−δｘ，ｙ１−δｙ）である。これらの画像ｆｃ（ｘ１，ｙ１），ｆｃ（ｘ１−δｘ，ｙ１−δｙ）を標本化空間Ｔ１とＴ２で標本化した離散空間画像（２次元信号）をそれぞれｆ（ｎ１，ｎ２）とｇ（ｎ１，ｎ２）とし、以下の数式２６と数式２７で定義する。
【数２６】
【数２７】
【００６４】
この離散空間で定義される画像ｆ（ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）に関する位相限定相関について、連続空間での微小移動量δｘ，δｙを推定する。このとき、一般的にはδｘ，δｙは、離散空間において、一画素以下の移動量に対応すると考えることが出来る。
【００６５】
まず、画像ｆ（ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）の２次元ＤＦＴ（離散フーリエ変換）を、それぞれＦ（ｋ１，ｋ２）およびＧ（ｋ１，ｋ２）とすると、以下の数式２８のような近似が成立する。但し、数式２８中のＮ１は「画像中のｎ１方向の量子化数」であり、Ｎ２は「画像中のｎ２方向の量子化数」である。
【数２８】
【００６６】
上記数式２８が近似であるのは連続空間と離散空間の違いによるものである。具体的には２次元ＤＦＴは離散空間に対して周期性を仮定しているためである。Ｆ（ｋ１，ｋ２），Ｇ（ｋ１，ｋ２）の位相限定合成Ｒ（ｋ１，ｋ２）は、以下の数式２９で与えられ、その２次元ＩＤＦＴ（逆離散フーリエ変換）は数式２５のように示すことができる。
【数２９】
【００６７】
数式２５は、微小移動量δｘ，δｙがあるときの同一の画像に関する位相限定相関関数の一般形を示している。したがって、実際に計算された位相限定相関式に数式２５を数値的にフィッティングすることにより、ｒ（ｎ１，ｎ２）のピーク座標を高精度に求めることが可能になる。
【００６８】
例えば本実施形態では、入力画像を、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、入力画像と標準画像のカメラアングルを一致させるようにしている。さらに、本実施形態の設備監視方法では、上記カメラアングルを一致させた入力画像と標準画像の差分画像を作成して、監視対象設備のサビやヒビの進展（特に本実施形態では監視撮影対象はコンクリート壁面であるのでヒビの進展）を検出するようにしている。
【００６９】
なお、実際には、カメラのズームやカメラ位置が撮影物体に近づいたり、遠ざかったりすることにより生じる画像の拡大縮小効果もあるため、画像全体を最も拡大されたときの倍率ｓmaxを使って、１／ｓmaxの縮小（場合によっては拡大）を行い、その後、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、１／cos β倍拡大するようにしても良い。また、画像を拡大する際に追加する画素の輝度値を決定する補間方法としては、最近隣法（ニアレストネイバー法）、線形補間法（バイリニア法）、３次畳み込み法（バイキュービック法）などの既存の方法または新規の方法を適宜利用して良い。
【００７０】
また、入力画像に対して上記α，β，γを用いてカメラアングルを一致させる補正をした後の画像を２次補正画像として、さらにこの２次補正画像と標準画像の間の縦横方向の位置ずれを補正するようにしても良い。この場合の処理の手順を図６のフローチャートに示す。先ず、標準画像と２次補正画像について、２次元フーリエ変換を行う（Ｓ２０１Ａ，Ｓ２０１Ｂ）。そして、フーリエ変換後の各周波数成分について、標準画像より作成した信号の共役複素成分と２次補正画像から作成した信号の複素成分をそれぞれ掛け合わせ、合成を行う（Ｓ２０２）。合成を行う際に、それぞれの信号の振幅で除算を行う。そして、合成信号に逆フーリエ変換を行う（Ｓ２０３）。変換後の信号波の中で相関値が最大となる座標（ｘ１，ｙ１）を探索する（Ｓ２０４）。２次補正画像は標準画像と比べてｘ軸方向にｘ１画素，ｙ軸方向にｙ１画素だけずれていると考えられる。したがって、探索されたｘ１，ｙ１を用いて２次補正画像と標準画像との間の縦横方向の位置ずれを補正することができる。
【００７１】
上記のように補正された入力画像と、標準画像との差分画像は、例えば差分が大きいほど白く、差分が小さいほど黒く表示されるグレースケール画像（濃淡画像）である。上記差分画像において、白く表示された部分（差分が大きい部分）が、監視撮影対象であるコンクリート壁面においてヒビが進行した部分であると考えられる。
【００７２】
以上に説明したカメラアングル変化の検出方法および設備監視方法は、例えば図７に示す画像処理装置として装置化される。この画像処理装置１は、例えば図７に示すように、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を取り込む画像取込手段２と、平面傾き方向γおよび平面傾き角βを求めるγ・β算出手段３，４と、回転角αを求めるα算出手段５とを有している。
【００７３】
さらに詳述すると、例えば本実施形態の画像処理装置１は、標準画像および入力画像についてそれぞれパワースペクトルを計算するパワースペクトル算出手段６と、標準画像および入力画像のそれぞれのパワースペクトルについてログポーラ変換を行うログポーラ変換手段７と、ログポーラ変換後のパワースペクトルについて標準画像および入力画像の特定方向の扇形領域に対応する矩形領域を、扇形領域の特定方向を順次変化させて抽出する相関計算領域抽出手段８と、抽出された標準画像の矩形領域と入力画像の矩形領域の位相限定相関を計算して、方向別の半径方向ずれ量と円弧方向ずれ量を求める位相限定相関計算手段９と、方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求める拡大縮小率算出手段１０と、拡大縮小率の最大値と最小値の比から平面傾き角βを求めるβ算出手段３と、拡大縮小率が最小となる方向を平面傾き方向γとして定めるγ決定手段４と、円弧方向ずれ量に基づいて回転角αを求めるα算出手段５とを有している。なお、α算出手段５は、先に説明したように、入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と標準画像との相関を求めることで、標準画像に対する１次補正画像の回転ずれ量を求め、当該求めた回転ずれ量を回転角αとするものであっても良い。
【００７４】
さらに例えば本実施形態の画像処理装置は、入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、入力画像と標準画像のカメラアングルを一致させるカメラアングル補正手段１１と、カメラアングルを一致させた入力画像と標準画像の差分画像を出力する差分画像出力手段１２を備えている。
【００７５】
以上に説明した画像処理装置１は、例えば既存または新規のコンピュータ（計算機）を用いて実現される。このコンピュータ２０は、例えば図８に示すように、中央処理演算装置（ＣＰＵ）２１、ＲＡＭやＲＯＭおよびハードディスクなどの記憶装置２２、ディスプレイなどの出力装置２３、デジタルカメラ２５と通信を行うためのインターフェース２４などのハードウェア資源がバス２６により接続されて構成されている。上記コンピュータ２０上で本発明に係る画像処理プログラムが実行されることにより、コンピュータ２０が上述した画像処理装置１として機能する。コンピュータ２０のインターフェース２４は、画像取込手段２として機能し、インターフェース２４を介してデジタルカメラ２５に記録されている画像がコンピュータ２０の記憶装置２２に取り込まれる。記憶装置２２には、標準画像および入力画像と、画像処理を実行するために必要な作業データやプログラムなどが記録される。ＣＰＵ２１が備える演算機能およびハードウェア資源に対する制御機能により、上述したパワースペクトル算出手段６、ログポーラ変換手段７、相関計算領域抽出手段８、位相限定相関計算手段９、拡大縮小率算出手段１０、β算出手段３、γ決定手段４、α算出手段５、カメラアングル補正手段１１、差分画像出力手段１２が実現される。コンピュータ２０により自動作成された差分画像は、例えば出力装置２３としてのディスプレイに表示される。なお、上記作成した差分画像に基づいて監視撮影対象のヒビやサビの進展の検出をコンピュータ２０が自動で行うようにし、例えば差分値が閾値以上となる画素が一定数以上ある場合には、監視撮影対象のヒビやサビの進展が著しいと判断して、エラーメッセージや警告音を発して、管理者等に注意を促すようにしても良い。
【００７６】
例えば図１４の符号３０は標準画像の一例を示し、符号３１は入力画像の一例を示し、符号３２は標準画像とカメラアングルが一致するように補正された入力画像を示し、符号３３は補正された入力画像３２と標準画像３０の差分画像を示す。この差分画像３３によれば、図１５のようにカメラアングルが一致する補正をせずに作成した入力画像と標準画像の差分画像とは異なり、監視撮影対象のヒビの進展を正確に抽出することができる。
【００７７】
以上のように構成される本発明によれば、３次元のカメラアングルの変化により撮影画像の周波数スペクトルに微小な回転および伸縮が生じることを利用して、この周波数スペクトルの変化を検出するので、高精度にカメラアングルの変化を検出でき、かつ検出しカメラアングル変化に基づいて、新たに撮影した画像（入力画像）と過去に撮影した画像（標準画像）のカメラアングルを一致させるように補正することができる。また、本発明では、画像全体の周波数スペクトルを利用するため、画像特徴を抽出し補正する手法に比べ、例えばダムのコンクリート面など、その表面の特徴が乏しい対象にも適用できる。
【実施例】
【００７８】
＜電子顕微鏡画像への適用＞
電子顕微鏡で対象となる平面の傾きを変えた画像を撮影した。平面の傾き角度は０°，２．５°，５°，７．５°，１０°とした。これらの画像はほぼ同じ領域を撮影するようにステージの移動を行い、同時にピントあわせを手動で行った。このようにしてほぼ同じ領域を撮影した電子顕微鏡画像を準備して、これらの画像について本発明を適用した。撮影した画像からほぼ同じ領域を含む５１２×５１２画素の部分画像を切り出し利用した。検証では０°の傾きを持つ画像を標準画像とし、残りの画像を入力画像として、本発明を適用し、平面の傾き角度を求めた。その結果、誤差は０．６°以内であり、平均誤差は０．４０°、最大誤差は０．５５°であった。
【００７９】
＜コルクボード画像への適用＞
回転台の上に立てたコルクボードを三脚で固定したカメラで撮影し、その傾きを検出した。この場合、回転台の回転角度が求める平面の傾き角度となる。デジタルカメラは三脚で固定し、コルクボードの中心とカメラのレンズが同じ高さになるようにした。このような環境において、コルクボードの中心が画像の中心付近に写るようカメラの向きを目視により手動で調整した。回転台を＋１５．５°から−１５．５°まで、０．５°ずつ動かし、全部で６３枚の画像を撮影した。この画像からほぼ同じ領域を含む部分画像を切り出した。正面から撮影した画像を標準画像とし、残りの画像を入力画像として、本発明を適用した。その結果、平均誤差は１．４４°、最大誤差は３．３６°であった。
【００８０】
＜コンクリート壁面画像への適用＞
デジタルカメラで建物のコンクリート壁面を撮影した。一般的な巡視時を想定して、三脚は使用せず手でカメラを固定し、時間を変えて（より正確には５分程度の時間をおいて）、２枚の画像を撮影した。撮影した画像からほぼ同じ領域を含む２５６×２５６画素の部分画像を切り出した。このようにして作成した標準画像（１枚目の画像）を図９に示し、入力画像（２枚目の画像）を図１０に示す。これらの画像に対して、本発明を適用し、その計算結果である拡大縮小率を縦軸に、周波数領域での方向角度を横軸に示したものが、図１１のグラフである。
【００８１】
図１１のグラフより、入力画像は標準画像に対して、画像全体が０.９６６倍になっており画像のｘ軸方向を軸として９．２２°傾いていることがわかった。入力画像に対して、標準画像と同じカメラアングルになるように補正を行い、標準画像との差分を計算した。当該カメラアングルの補正を行った入力画像と標準画像との差分画像を図１２に示す。なお、図１２は、重ね合わせ時の差が明確になるように、２枚の画像間について輝度差の絶対値を表示した画像としている。
【００８２】
一方、比較のため、カメラアングルの補正を行わず、画像の平行移動補正のみを適用した入力画像と標準画像との差分画像を図１３に示す。図１２および図１３の差分画像では、両画像の対応画素の差が大きい部分はより白く描画される。図１３ではカメラアングルの差が画素値の差分として白く描画されているが、図１２ではそのような差分を示す描画は見られず、カメラアングルを一致する補正が正確に行われたことが分かる。明らかに本発明による画像補正が有効であることが分かる。
【００８３】
上記本実施例では、入力画像と標準画像の撮影時間の差は５分程度であり、コンクリートにヒビの進展が見られなかったため、差分画像に差が現れなかったが、仮にヒビが進展した場合、本発明によれば、例えば図１４に示すように、ヒビが進展した部分が明確に表示されることになる。
【００８４】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば上述の実施形態では、本発明のカメラアングル変化の検出方法・装置・プログラムを、コンクリート壁なのど監視対象設備の監視に利用したが、本発明は、三角測量、ステレオカメラの設定、カメラレンズ等の歪みの検出および補正などへも応用することが可能である。
【００８５】
例えば２台の撮像手段（例えばデジタルカメラ）により同一平面と見なせる計測領域をそれぞれ撮影し、上述したカメラアングル変化の検出方法により、上記撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、上記２台の撮像手段および計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしても良い。求めたα，β，γは、計測領域に対する撮像手段の物理的位置の補正するためのパラメータ、または撮像手段で撮影した画像を修正する情報処理を実行するためのパラメータ、または計測領域の位置を測定するためのパラメータとして利用できる。即ち、求めたα，β，γを用いて、計測領域に対する撮像手段の向きや位置を補正したり、２台の撮像手段によりそれぞれ撮影した２枚の画像の間の対応を正確に取ることによって、三角測量を高精度に行うことができる。異なるカメラアングルで撮影した画像を用いて、三角測量の原理により物体までの距離を高精度に推定する場合、画像間の対応付けを高精度に行うことで、高精度な計測が可能である。本発明を利用して、カメラアングルの違いを計算し、カメラアングルの違いによる影響を考慮した画像間の対応点探索を行うことにより、より高精度な処理が期待できる。また、基準平面となる計測領域を真正面から見た状態の画像を、例えば当該計測領域の表面をスキャナ等で読み込むことにより入手し、この画像を標準画像とする。そして、この標準画像を用いて、撮像手段により得られる画像を入力画像として、α＝β＝γ＝０となるように撮像手段の位置を調整すれば、撮像手段を計測領域の真正面に設置することができる。さらに、１台の撮像手段を計測領域の真正面に設置し、この撮像手段と計測領域とを結ぶ光軸と直交する方向にもう一台の撮像手段を設置すれば、一方の撮像手段と計測領域とを結ぶ光軸と、他方の撮像手段と計測領域とを結ぶ光軸とが成す角（換言すれば計測領域に対する２台の撮像手段の光軸のずれ量）と、２台の撮像手段の間隔とから、計測領域の位置（計測領域の真正面に設置した撮像手段と計測領域との距離）を正確に求めることができる。
【００８６】
また、予め用意された標準画像と、標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、上述したカメラアングル変化の検出方法により、標準画像と入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、撮像手段に起因する画像の歪みを検出するようにしても良い。例えば、基準平面を真正面から見た状態の画像を、例えば当該基準平面をスキャナ等で読み込むことにより入手し、この画像を標準画像とする。一方、撮像手段を治具などを用いて上記基準平面の真正面に配置して、基準平面を真正面から撮影した画像を入力画像とする。標準画像と入力画像との間で計算されたα，β，γが０でない場合、撮像手段に起因して、例えばカメラレンズの歪みに起因して、入力画像に歪みが生じていると判断できる。画像の歪みが検出された場合、例えば撮像手段の部品交換等を促すべく、警告やエラーを出力するようにしても良い。なお、上記では、基準平面を用いたが、適当なデジタルデータを作成可能であれば、平面である必要は特に無い。
【００８７】
さらに、上記のように検出された画像の歪みを、求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正するようにしても良い。例えば、正常なレンズに対して、上記撮像手段に組み込まれたレンズはα，β，γで表される歪みが生じていると認識し、当該撮像手段で撮影された画像に対して、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させる補正を行うようにしても良い。この場合、廉価なレンズを備えた撮像手段であっても高性能な画像を得ることができる。
【００８８】
また、上述したカメラアングル変化の検出方法により、２台の撮像手段により撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、上記２台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしても良い。ステレオ計測では、２つのカメラは離れており、そのカメラの方向を正確に設定することは非常に難しい。そこで、計測をはじめる前に、なにか基準となる平面（凹凸があっても、局所的に見ると平面とみなせるものであれば共通に写る物体でも良い）を使い、２つのカメラ間のα，β，γを求め、ステレオカメラの設定に役立てる。また、計測する物体の撮影時に必要であれば補正するようにしても良い。さらに、基準となる平面をスキャナ等で読み込む、または予めあるデジタルデータを印刷する等により、平面を真正面（あるいは既知の角度）から撮影したとみなせるデジタルデータが存在するときは、当該平面とそれぞれのカメラ画像とのα，β，γを求めることにより、平面の真正面にカメラを設置することが可能となる。本発明によれば、例えば安価な汎用のデジタルカメラを２台用意すれば、これら２台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。
【図面の簡単な説明】
【００８９】
【図１】本発明のカメラアングル変化の検出方法および装置およびプログラムの処理の一例を示すフローチャートである。
【図２】本発明のカメラアングル変化の検出方法の原理を説明するための概念図である。
【図３】本発明のカメラアングル変化の検出方法の原理を説明するための概念図である。
【図４】方向別の画像の拡大縮小率を示すグラフであり、縦軸が画像の拡大縮小率を示し、横軸が方向角を示す。
【図５】平面傾き方向γと平面傾き角βを求めた後に回転角αを求める処理の一例を示すフローチャートである。
【図６】標準画像とカメラアングルを補正した入力画像の縦横方向の位置ずれを検出する処理の一例を示すフローチャートである。
【図７】本発明のカメラアングル変化の検出装置の構成例を示すブロック図である。
【図８】本発明のカメラアングル変化の検出プログラムが実装されるコンピュータの構成例を示すブロック図である。
【図９】標準画像の一例を示す図である。
【図１０】入力画像の一例を示す図である。
【図１１】図９の標準画像と図１０の入力画像から求められた方向別の画像の拡大縮小率を示すグラフであり、縦軸が画像の拡大縮小率を示し、横軸が方向角を示す。
【図１２】本発明によりカメラアングルを一致させる補正をした図１０の入力画像と、図９の標準画像との差分画像を示す。
【図１３】図１０の入力画像と図９の標準画像との差分画像を示す（カメラアングルを一致させる補正はしていない）。
【図１４】カメラアングルを一致させる補正をすることにより、設備のヒビの進展が差分画像として正確に検出できる様子を示す概念図である。
【図１５】カメラアングルを一致させる補正をしない場合、変化していない画像情報までが差分として現れてしまい、設備のヒビの進展を正確に検出することができない様子を示す概念図である。
【符号の説明】
【００９０】
１ 画像処理装置（カメラアングル変化の検出装置）
２ 画像取込手段
３ β算出手段
４ γ決定手段
５ α算出手段
６ パワースペクトル算出手段
７ ログポーラ変換手段
８ 相関計算領域抽出手段
９ 位相限定相関計算手段
１０ 拡大縮小率算出手段
１１ カメラアングル補正手段
１２ 差分画像出力手段
２０ コンピュータ
【技術分野】
【０００１】
本発明は、カメラアングル変化の検出方法および装置およびプログラムに関する。さらに詳述すると、本発明は、画像処理技術を用いて２画像間の相対的なカメラアングルの違いを検出する方法および装置およびプログラム、さらにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法に関する。
【背景技術】
【０００２】
カメラの傾きなどを画像処理により検出する方法として、マーカなどを用いた方法がある。例えば特許文献１には、ステレオカメラのキャリブレーション方法として、人工的なマーカを有するキャリブレーション用チャートを使用する点が開示されている。
【０００３】
また、非特許文献１には、スペクトルモーメントを用いて、比較する２画像間のテクスチャ平面の回転と傾き角を求める手法が提案されている。
【０００４】
【特許文献１】特開２００３−２４２４８５号
【非特許文献１】辻 敏雄，吉田 靖夫：スペクトルモーメントを用いたテクスチャ平面の回転と傾き角の検出：電子情報通信学会論文誌，Vol. J85-D-II，No. 3，pp.406--415（2002）.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
巡視員による監視対象設備の点検業務等において、巡視員が現場で監視対象設備のヒビやサビの微小な進行状況を目視により確認することは非常に難しい。一方、デジタルデバイスの低価格化と情報処理技術の進展により、現場での業務において、現場の状況をデジタル記録・保存する環境が整いつつある。そこで、巡視員がデジタルカメラで監視対象設備を撮影し、かつ撮影した画像を記録・保存し、新たに撮影した設備表面の画像と過去の設備表面の画像とを比較することより、設備のヒビやサビの微小な進行状況を正確に把握するようにすることが考えられる。例えば、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。
【０００６】
ただし、このためには、比較する画像間の正確な位置合わせが必要であり、監視対象物とカメラを常に同一の位置関係に固定する必要がある。過去の撮影時と今回の撮影時との間で、監視対象物とカメラの位置関係、即ちカメラアングルが変化してしまうと、光軸などがずれた画像として記録されてしまう。カメラアングルが一致していない画像どうしを比較すると、本来ならば変化していない画像情報まで変形したかのように処理されてしまい、ヒビやサビの微小な進行状況の検出精度が大きく低下してしまう。例えば図１５の符号１０１は過去に撮影した監視対象設備のヒビの様子を示す画像であり、符号１０２は今回撮影した監視対象設備のヒビの様子を示す画像である。過去の撮影画像１０１と今回の撮影画像１０２とでは、カメラアングルが変化している。符号１０３は、過去の撮影画像１０１と今回の撮影画像１０２の差分画像である。このようにカメラアングルが一致していない画像１０１，１０２の差分画像１０３を作成しても、本来ならば変化していない画像情報までが差分として現れてしまい、ヒビやサビの微小な進行状況を正確に検出することはできない。
【０００７】
その一方で、撮影対象とカメラの位置関係を固定し続けることは物理的やコスト的に難しいため、過去と完全に同じカメラ位置からの撮影の実現は非常に難しい。そこで、画像処理技術により２画像間のカメラアングルの違いを検出し、カメラアングルを一致させるように補正を行うことが考えられる。
【０００８】
ところが、特許文献１の技術では、人為的にマーカを用意したり設定したりする必要があり面倒である。また、非特許文献１のスペクトルモーメントを用いる手法は、平面の傾き角度が微小（例えば５°以下）であると誤差が大きくなるという問題がある。
【０００９】
また、カメラアングルの変化は換言すれば光軸の変化であり、２画像間の光軸のずれ量を正確に検出することで、例えば高精度な三角測量、ステレオカメラの設定、カメラレンズ等の歪みの検出および補正などへと応用することができる。しかし、上述したように従来の画像処理技術では、マーカを用いる煩雑さや、微小な光軸のずれ量を正確に検出できない問題点がある。このため、従来の画像処理による画像間の対応点探索では、カメラの方向の微小な変化の補正が不十分であり、画像間の対応付けが曖昧となって、十分な計測精度が得られない。
【００１０】
そこで本発明は、２画像間におけるカメラアングルの違いを簡単かつ高精度に検出することができるカメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
かかる目的を達成するため、請求項１記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する方法であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるステップと、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるステップとを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとするようにしている。
【００１２】
また、請求項１２記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する装置であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段とを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとするようにしている。
【００１３】
また、請求項１３記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段としてコンピュータを機能させるプログラムであり、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとする手段として、コンピュータを機能させるようにしている。
【００１４】
テクスチャ平面をγ方向に角度βだけ傾けると、当該平面はγ方向にcos βだけ縮小する。したがって、一定点を中心とした全方位について方向別に２画像間のずれ量に求め、これにより方向別の画像の拡大縮小率を求め、画像の拡大縮小率の最大値と最小値の比から平面傾き角βを求め、画像の拡大縮小率が最小となる方向を平面傾き方向γとすることにより、正確なγとβを求めることができる。
【００１５】
また、請求項２記載の発明は、請求項１記載のカメラアングル変化の検出方法において、前記標準画像および前記入力画像についてそれぞれパワースペクトルを計算し、それぞれの前記パワースペクトルについて、該パワースペクトルの直流成分を中心とした方向別の前記半径方向ずれ量を求めるようにしている。
【００１６】
したがって、標準画像および入力画像についてそれぞれ計算されたパワースペクトルを用いることにより、標準画像と入力画像との間の縦横方向の位置ずれをキャンセルすることができる。また、パワースペクトルの直流成分を空間周波数上の原点とし、当該直流成分（空間周波数上の原点）を中心として扇形領域の方向を選択することにより、標準画像および入力画像について扇形領域の方向を選択するための中心点を設定する手間が省ける。
【００１７】
また、請求項３記載の発明は、請求項２記載のカメラアングル変化の検出方法において、前記標準画像および前記入力画像のそれぞれの前記パワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後の前記パワースペクトルについて、前記扇形領域と等価な矩形領域を抽出し、これら抽出した２つの前記矩形領域の位相限定相関を計算することで、前記半径方向ずれ量を求めるようにしている。したがって、ログポーラ変換を用いることで、対数の特性を利用して拡大縮小率を簡単に求めることができる。
【００１８】
また、請求項４記載の発明は、請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法において、前記標準画像および前記入力画像からそれぞれ抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の円弧方向ずれ量を求め、前記円弧方向ずれ量に基づいて前記回転角αを求めるようにしている。この場合、平面傾き角βと平面傾き方向γを求める計算と並行して、回転角αを求める計算を行うことができる。
【００１９】
また、請求項５記載の発明は、請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法において、前記入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と前記標準画像との相関を求めることで、前記標準画像に対する前記１次補正画像の回転ずれ量を求め、求めた前記回転ずれ量を前記回転角αとするようにしている。この場合は、平面傾き角βと平面傾き方向γを求めた後に、回転角αを求めることとなる。
【００２０】
また、請求項６記載の画像処理方法は、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて、前記入力画像を、上記求めた平面傾き方向γの方向に、１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、前記入力画像と前記標準画像のカメラアングルを一致させるようにしている。したがって、入力画像と標準画像の比較を正確に行える。
【００２１】
また、請求項７記載の設備監視方法は、監視対象設備を撮影対象として、請求項６記載の画像処理方法によりカメラアングルを一致させた前記入力画像と前記標準画像の差分画像を作成して、前記監視対象設備のサビやヒビの進展を検出するようにしている。したがって、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。
【００２２】
また、請求項８記載の測量方法は、２台の撮像手段により同一平面と見なせる計測領域をそれぞれ撮影し、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、上記撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段および前記計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしている。この場合、求めたα，β，γを、計測領域に対する撮像手段の物理的位置の補正するためのパラメータ、または撮像手段で撮影した画像を修正する情報処理を実行するためのパラメータ、または計測領域の位置を測定するためのパラメータとして利用して、三角測量を高精度に行うことができる。
【００２３】
また、請求項９記載の画像処理方法は、予め用意された標準画像と、前記標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、前記標準画像と前記入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、前記撮像手段に起因する画像の歪みを検出するようにしている。この場合、求めたα，β，γが０でない場合は、撮像手段に起因して、例えばカメラレンズの歪みに起因して、入力画像に歪みが生じていると判断できる。画像の歪みが検出された場合、例えば撮像手段の部品交換等を促すべく、ユーザに対して警告やエラーを通知することができる。
【００２４】
また、請求項１０記載の発明は、請求項９記載の画像処理方法において、前記検出された画像の歪みを、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正するようにしている。この場合、例えばレンズ収差の大きい廉価なレンズを備えた汎用の撮像手段であっても高性能な画像を得ることができる。
【００２５】
また、請求項１１記載のステレオカメラの設定方法は、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、２台の撮像手段により撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしている。この場合、例えば安価な汎用のデジタルカメラを２台用意すれば、これら２台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。
【発明の効果】
【００２６】
しかして請求項１〜５記載のカメラアングル変化の検出方法および請求項１２記載の装置および請求項１３記載のプログラムによれば、方向別の画像の拡大縮小率を求めることにより、人工的なマーカ等を用いることなく簡単に、しかも画像の傾き角が微小であっても高精度に、２画像間の相対的なカメラアングルの違いを検出することができる。
【００２７】
さらに、請求項６記載の画像処理方法によれば、入力画像と標準画像のカメラアングルを一致させる補正をすることにより、入力画像と標準画像の比較を正確に行うことができる。
【００２８】
さらに、請求項７記載の画像処理方法によれば、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。
【００２９】
さらに、請求項８記載の測量方法によれば、求めたα，β，γを三角測量を行うためのパラメータとして利用することで、正確な測量を行うことができる。
【００３０】
さらに、請求項９記載の画像処理方法によれば、カメラレンズの歪み等を検出でき、部品交換等を促すべく、ユーザに対して警告やエラーを通知することができる。
【００３１】
さらに、請求項１０記載の画像処理方法によれば、検出された画像の歪みを補正するので、レンズ収差の大きい廉価なレンズを備えた汎用の撮像手段であっても高性能な画像を得ることができる。
【００３２】
さらに、請求項１１記載のステレオカメラの設定方法によれば、例えば安価な汎用のデジタルカメラを２台用意すれば、これら２台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００３４】
図１から図１４に本発明のカメラアングル変化の検出方法および装置並びにプログラムおよびこれを利用した設備監視方法の実施の一形態を示す。このカメラアングル変化の検出方法は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、標準画像と入力画像の相対的なカメラアングルの違いを検出するものであり、標準画像内の撮影対象の平面領域を標準平面とし、入力画像内の撮影対象の平面領域を入力平面として、標準平面に対する入力平面の平面傾き方向γと、平面傾き方向γと標準画像の面上で直交する軸回りでの標準平面に対する入力平面の平面傾き角βとを求めるステップと、標準平面に対する入力平面の標準画像の面と直交する軸回りの回転角αを求めるステップとを有している。
【００３５】
そして、平面傾き方向γおよび平面傾き角βを求めるステップでは、標準画像および入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの扇形領域の相関を求めることで、標準画像から抽出した扇形領域に対する入力画像から抽出した扇形領域の半径方向ずれ量を求め、扇形領域の特定方向を順次変化させて全方位について半径方向ずれ量を求め、当該方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求め、拡大縮小率の最大値と最小値の比から平面傾き角βを求め、拡大縮小率が最小となる方向を平面傾き方向γとするようにしている。
【００３６】
標準画像と入力画像は、例えば同一撮影対象を同時刻に異なるカメラアングルから撮影した画像や、または同一撮影対象を異なる時刻で撮影した画像が該当する。同じ撮影対象であっても、異なる時刻で撮影した場合には撮影対象が若干変化する場合があり、標準画像および入力画像における撮影対象の領域が厳密に同一であるとは言えない場合も生じるが、ほぼ同一領域と見なすことができれば良いものとする。例えば撮影対象がコンクリート壁面である場合、時間経過によりヒビなどが生じる可能性があり、厳密な同一領域を撮影することが困難となる場合も考えられるが、標準画像と入力画像は、厳密な同一領域を撮影したものである必要は必ずしもなく、ほぼ同一と見なせる領域が撮影されていれば良いものとする。また、場合によっては、型式が同じ（外形や模様等の外観が同じ）別の対象物を同一撮影対象と見なしても良い。また、撮影対象は必ずしも完全な平面である必要はなく、ほぼ平面と見なせる場合も含む。例えば、非常に遠距離にある対象物が撮影対象となる場合、逆に、撮影対象を非常に拡大した場合、または標準画像と入力画像の相対的なカメラアングルの変化が極微小である場合などには、撮影対象の表面が曲面であったり凹凸がある場合であっても、撮影対象をほぼ平面であると見なすことができる。
【００３７】
例えば本実施形態における撮影対象は、監視対象設備である平面状のコンクリート壁面としている。コンクリート壁面の監視画像は、例えば、デジタルカメラなどの撮像手段を用いて巡視員により定期点検毎に撮影される。例えば過去の点検で撮影された画像が標準画像とされ、今回点検で新たに撮影された画像が入力画像とされる。なお、標準画像および入力画像は、例えば本実施形態ではグレースケール画像（濃淡画像）とする。標準画像あるいは入力画像がカラー画像である場合には、当該カラー画像を濃淡画像（グレースケール画像）に変換する。ここで、カラー画像を濃淡画像に変換する方法としては、例えば、ＲＧＢ値の各値をそれぞれＲ，Ｇ，Ｂとし、グレースケールの輝度値をＹとして、Ｙ＝（０．２９８９１２＊Ｒ＋０．５８６６１１＊Ｇ＋０．１１４４７８＊Ｂ）として求める方法が一般的である。また、処理の高速化を図るためにＹ＝（２＊Ｒ＋４＊Ｇ＋Ｂ）／７とする方法もある。さらに、ＲＧＢ値のＧ値のみの情報を使い、計算を簡単にする方法もある。以上のような既存または新規の濃淡画像生成方法により濃淡画像を生成するが、採用する濃淡画像生成方法は、画像の濃淡差ができるだけ大きくなるようなものであることが望ましい。また、紫外線画像あるいは赤外線画像などについても、濃淡画像に変換することにより標準画像あるいは入力画像として利用することができる。
【００３８】
ここで、例えば本実施形態では、標準画像および入力画像についてそれぞれパワースペクトルを計算し、それぞれのパワースペクトルについて、該パワースペクトルの直流成分を中心として、上述した方向別の半径方向ずれ量を求めるようにしている。パワースペクトルは、もとの画像の平行移動に対して不変な性質をもっている。したがって、標準画像および入力画像についてそれぞれ計算されたパワースペクトルを用いることにより、標準画像と入力画像との間の縦横方向の位置ずれをキャンセルすることができる。また、パワースペクトルの直流成分を空間周波数上の原点とし、当該直流成分（空間周波数上の原点）を中心として扇形領域の方向を選択することにより、標準画像および入力画像について扇形領域の方向を選択するための中心点を設定する手間が省ける。
【００３９】
さらに、例えば本実施形態では、標準画像および入力画像のそれぞれのパワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後のパワースペクトルについて、扇形領域と等価な矩形領域を抽出し、これら抽出した２つの矩形領域の位相限定相関を計算することで、上述した半径方向ずれ量を求めるようにしている。ログポーラ変換（log-polar 変換）は、人間の網膜における中心付近の解像度は高く中心から離れるに従い解像度は低くなるという性質をモデル化する変換である。このログポーラ変換を用いることで、拡大縮小率を簡単に求めることができる。即ち、元となる半径Ｒに対して、拡大または縮小した半径をｓＲとすると、ｓが拡大縮小率となる。半径Ｒの対数はｌｏｇ（Ｒ）であり、半径ｓＲの対数はｌｏｇ（ｓＲ）＝ｌｏｇ（ｓ）＋ｌｏｇ（Ｒ）である。ログポーラ変換後の半径方向ずれ量はｌｏｇ（ｓ）で求められ、ｌｏｇ（ｓ）に基づいて拡大縮小率ｓを容易に求めることができる。なお、対数は自然対数を用いることが一般的であるが、対数の底を変えても良い。
【００４０】
また、例えば本実施形態では、標準画像および入力画像からそれぞれ抽出した２つの扇形領域（ログポーラ変換後は矩形領域）の相関を求めることで、標準画像から抽出した扇形領域に対する入力画像から抽出した扇形領域の円弧方向ずれ量を求め、この円弧方向ずれ量に基づいて回転角αを求めるようにしている。
【００４１】
以下、平面傾き方向γ、平面傾き角β、回転角αを算出する原理について詳細に説明する。３次元空間における被写体である撮影対象の平面は、撮像手段であるカメラを通して２次元画像投影面に射影される。標準画像と入力画像の相対的なカメラアングルの変化、即ち被写体である撮影対象とカメラとの位置関係の変化を、簡単に説明するため、ここでは、カメラを固定し、撮影対象（平面）が動いたものとして説明をする。
【００４２】
入力画像として、標準画像と同じテクスチャ平面を、γ方向に角度βだけ傾けた後、角度α回転させた状態を撮影した画像とする。このような画像のパワースペクトルを考えると、パワースペクトルの性質からテクスチャ平面がα回転するとパワースペクトルも同じ方向にαだけ回転する。また、テクスチャ平面がγ方向に角度βだけ傾くと、画像はγ方向にcos βだけ縮小し、パワースペクトルは反対に１／cos βだけ拡大する。よってこれらのパワースペクトルの性質を利用することで、テクスチャ平面のカメラ光軸方向の回転角α、平面の傾き角β、平面の傾き方向γの検出が可能となる。このとき平面の傾きの軸方向はγ＋π／２となる。
【００４３】
さらに詳細に説明する。３次元空間における平面はカメラを通して２次元画像投影面に射影される。ここで、画像生成モデルとして焦点距離ｆのピンホールカメラを考える。図２に示すように、標準画像はテクスチャ平面をピンホールから距離ｄだけ離れた光軸上に配置し、画像平面と平行な状態で捕らえた画像とする。ここで、テクスチャ平面の座標系を（ｘｓ，ｙｓ，ｚｓ）、画像投影面の座標系を（ｘｉ，ｙｉ，ｚｉ）、光軸をｚｓおよびｚｉとすると、テクスチャ平面の濃度値Ｔ（ｘｓ，ｙｓ）および標準画像の濃度値Ｆｓ（ｘｉ，ｙｉ）の間には、数式１の関係式が成立する。
【００４４】
【数１】
ここで、
【数２】
【００４５】
ここで、入力画像として、標準画像と同じテクスチャ平面をｘｓ−ｙｓ平面内でｘｓ軸に対し角度γ方向に角度βだけ傾けた後、光軸周りに角度α回転させた状態を撮影した画像とする。さらにピンホールから距離が微小に変化しｄ’になったものとする。この回転を行った後のテクスチャ平面の座標系を（ｘｔ，ｙｔ，ｚｔ）とすると、図３に示すように、垂直軸ｚｔは光軸（ｚｓ）に対してβの角度をとる。また、この軸ｚｔを画像平面に投影すると、その投影線とｘｉ軸のなす角度はα＋γである。このときテクスチャ平面の濃度値Ｔ（ｘｔ，ｙｔ）および入力画像の濃度値Ｆｉ（ｘ'ｉ，ｙ'ｉ）の間には、数式３の関係式が成立する。
【００４６】
【数３】
ここで、
【数４】
または、
【数５】
ただし、
【数６】
【数７】
【数８】
【数９】
【数１０】
【００４７】
数式９と数式１０は平面が傾くことにより生じる遠近感を示す式である。中心射影ではこれらの式で表される項を含むが、弱中心射影の場合これらの式で表される項は含まない。ここで、中心射影はピンホールカメラを想定した時の射影であり、非線形関数であるため、一般に計算が複雑化する。このため線形近似することが望ましい。対象物体のサイズがカメラから物体までの距離と比較して十分に小さい場合など特定の条件を満たしたとき線形近似できる。中心射影の零次近似が弱中心射影である。具体的には、撮影範囲に比べて焦点距離ｆの長い望遠レンズで撮影した場合や画像を小領域に分割した場合など、物体までの距離に比べて撮影範囲が狭い画像や、平面の傾き角の変化が微小である画像が弱中心射影の場合に相当する。弱中心射影では、正射影の方向は光軸と並行であり、その結果、画像は光軸からの距離によって変化しない。
【００４８】
実際の画像処理ではカメラで撮影した画像を用いるため、連続空間の座標系（ｘｉ，ｙｉ）を標本化空間Ｔで標本化し、デジタル画像の座標系（ｎ，ｍ）とする。ここで、デジタル画像の座標系（ｎ，ｍ）と連続空間の座標系（ｘｉ，ｙｉ）の間には、数式１１，１２の関係式が成立する。
＜数１１＞
ｎ＝ｘｉ／Ｔ
＜数１２＞
ｍ＝ｙｉ／Ｔ
【００４９】
さらに、数式１と数式３より次の関係式が成立する。
【数１３】
【数１４】
【数１５】
【００５０】
ここで、数式１５のＨ’を省略する仮定を導入し、弱中心射影の場合について考えることにする。標準画像のパワースペクトルをＳｓ（ｕ，ｖ）とし、入力画像のパワースペクトルをＳｉ（ｕ，ｖ）として、ｕ，ｖ（−π≦ｕ，ｖ≦π）をそれぞれｎ，ｍ方向の空間周波数とすると、以下の関係式が成立する。
【数１６】
【数１７】
ここで、
【数１８】
【００５１】
パワースペクトルの性質からテクスチャ平面がα回転するとパワースペクトルも同じ方向にαだけ回転する。また、テクスチャ平面がγ方向にβ傾くと、画像はγ方向に（ｄ cos β）／ｄ’だけ縮小し、パワースペクトルは反対にｄ’／（ｄ cos β） だけ拡大する。よって、これらのパワースペクトルの性質を利用することで、テクスチャ平面のカメラ光軸方向の回転角α、平面の傾き角β、平面の傾き方向γの検出が可能となる。即ち、周波数空間でのパワースペクトルの拡大方向とその拡大率を求めれば平面の傾き角βと傾き方向γを検出できる。このとき平面の傾きの軸方向はγ＋π／２となる。さらに周波数空間でのパワースペクトルの回転角度を求めると平面の回転角αを検出できる。
【００５２】
平面傾き方向γ、平面傾き角β、回転角αを算出する手順の一例を示すフローチャートを図１に示す。まず、標準画像と入力画像のそれぞれについてパワースペクトルを求める（Ｓ１）。次に、それぞれのパワースペクトルについて原点を中心とするlog-polar変換を行う（Ｓ２）。ここでの原点とは、パワースペクトルの直流成分、即ち空間周波数上の原点を示す。次に、log-polar変換後のそれぞれのパワースペクトルについて、特定の方向角における適切な領域サイズの扇形領域を選択する（Ｓ３）。なお、log-polar変換後であるので、扇形領域は半径（ｒ）方向と角度（θ）方向を直交する二辺とする矩形領域となる。ここで、扇形領域の半径は、例えば本実施形態では量子化数の半分を半径とする。これにより、空間周波数に最大の円を作成できる。但し、扇形領域の半径として必ずしも上記値をとる必要はない。次に、上記選択したそれぞれの矩形領域について位相限定相関を計算し、扇形半径方向のずれ量ｄｒと扇形円弧方向（角度方向）のずれ量ｄａを計算する（Ｓ４）。さらに、扇形領域の方向角を変え、扇形領域（log-polar変換後であるので矩形領域）の選択（Ｓ３）と、位相限定相関の計算（Ｓ４）を繰り返す。具体的には、扇形領域の中心角を一定に固定して、扇形領域の方向角を０°から一定角度ずつ増加させていき、当該方向角が３６０°となるまで、Ｓ３とＳ４を繰り返す。扇形円弧方向（角度方向）のずれ量ｄａは、回転角αに対応する。従って、ずれ量ｄａを求めることで回転角αを求めることができる（Ｓ５）。一方、扇形半径方向のずれｄｒは画像の拡大縮小率ｓに対応する。この拡大縮小率ｓの最大値ｓmaxと最小値ｓminから平面の傾き角βを求めることができる（Ｓ６）。また、画像の拡大縮小率ｓが最小値となる扇形領域の方向角がγに対応する。従って、拡大縮小率ｓが最小値となる扇形領域の方向角を求めることで平面の傾き方向γを求めることができる（Ｓ７）。なお、テクスチャ平面がγ方向にβ傾くと、画像はγ方向に（ｄ cos β）／ｄ’だけ縮小し、パワースペクトルは反対にｄ’／（ｄ cos β） だけ拡大する。したがって、「画像の拡大縮小率」ではなく「パワースペクトルの拡大縮小率」を求める場合には、「パワースペクトルの拡大縮小率」が最大値となる扇形領域の方向角がγに対応することとなる。
【００５３】
図１の処理の内容について更に詳細に説明する。パワースペクトルについてのlog-polar変換（Ｓ２）は、以下の数式１９，２０に従って行われる。
【数１９】
【数２０】
【００５４】
パワースペクトルに扇形領域のマスクをかけ方向成分の選択をした後（Ｓ３）、位相限定相関計算により、ｋｒ方向のずれ量ｄｒとｋａ方向のずれ量ｄａを求める（Ｓ４）。さらに、マスクとなる扇形領域を少しずつ変化させ、パワースペクトル中心からの方向別のｋｒ方向のずれ量ｄｒとｋａ方向のずれ量ｄａを求める。
【００５５】
回転角αは、ｋａ方向のずれ量ｄａから以下の数式２１により求めることができる。ただし、Ｎａはlog-polar変換時の角度方向の量子化数である。
【数２１】
【００５６】
画像の拡大縮小率ｓは、ｋｒ方向のずれ量ｄｒから以下の数式２２により求めることができる。ただし、Ｎｒはlog-polar変換時の半径方向の量子化数である。
【数２２】
【００５７】
このようにして求めた画像の拡大縮小率ｓを縦軸に、周波数領域での方向角度を横軸に示したものが、図４のグラフである。図４に示すように、拡大縮小率ｓは周期Ｎａ／２の周期関数となる。このグラフにおいて、拡大縮小率ｓが最小となる扇形領域の方向角がγである。また、最も拡大されたときの倍率ｓmaxと最も縮小したときの倍率ｓminの比がcos βに相当する。したがって、平面傾き角度β求める計算式は以下の数式２３となる。
【数２３】
【００５８】
さらに、最も拡大されたときの座標ｄｒmaxと最も縮小したときの座標ｄｒminを用いると、数式２３は数式２４となる。
【数２４】
【００５９】
ここで、ｋａ方向のずれ量ｄａは選択された各方向ごとに算出されるので、回転角αも各方向ごとに算出することができる。この場合、回転角αは次のように決定される。例えば、各方向ごとに算出された回転角αの平均値を求め、この平均値を最終的な回転角αとする。または、拡大縮小率が最大となる方向の回転角αを採用する。または、拡大縮小率が１に一番近い方向の回転角αを採用する。または、各方向別の相関計算時の相関値が最大となる方向における回転角αを採用する。
【００６０】
なお、上記の例では、扇形領域の円弧方向ずれ量ｄａから回転角αを求めるようにしたが、必ずしもこの例に限定されず、例えば先ず平面傾き方向γおよび平面傾き角βを求め、当該求めたγおよびβを用いて入力画像を補正した後に、当該補正後の入力画像と標準画像を用いて回転角αを求めるようにしても良い。具体的には、入力画像を、当該画像内の任意の点、例えば画像の中心点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と標準画像のパワースペクトルを計算し、極座標変換を行い、位相限定相関により回転ずれを求め、求めた回転ずれ量からαを計算する。
【００６１】
１次補正画像と標準画像との相関計算により回転角αを求める手順を図５のフローチャートに示す。先ず、標準画像および１次補正画像をそれぞれ２次元フーリエ変換する（Ｓ１０１Ａ，Ｓ１０１Ｂ）。そして、フーリエ変換後の２次元信号の振幅成分（パワースペクトル）について、周波数成分の原点（直流成分）を中心に極座標変換を行う（Ｓ１０２Ａ，Ｓ１０３Ａ，Ｓ１０２Ｂ，Ｓ１０３Ｂ）。この処理は標準画像（信号）及び１次補正画像（信号）のそれぞれに関して行う。そして、それぞれの極座標に変換された２次元信号（振幅成分のみ）について、再度フーリエ変換を行う（Ｓ１０４Ａ，Ｓ１０４Ｂ）。その後、フーリエ変換後の各周波数成分について、標準画像より作成した信号の共役複素数成分と１次補正画像から作成した信号の複素数成分をそれぞれ掛け合わせ合成を行う（Ｓ１０５）。合成を行う際にそれぞれの信号の振幅で除算を行う（位相成分のみで位相の差を計算する）。この合成計算、具体的には除算を行うときに、振幅成分があまりにも微小となる場合が存在する。このような場合では合成信号の実数成分＝０，複素数成分＝０としてもよい。また、振幅成分があまりにも微小となる場合の合成信号成分に対して、乱数を割り当ててもよい。合成計算後、信号成分の逆フーリエ変換を計算する（Ｓ１０６）。変換後の信号のなかで、相関値が最大となる座標（ｒ１，θ１）を探索する（Ｓ１０７）。θ１に対応する角度だけ標準画像と１次補正画像の回転角度に差があるので、探索されたθ１が回転角αとなる。なお、標準画像及び１次補正画像をフーリエ変換する際に、角度のずれが精度良く計測できるように標準画像及び１次補正画像に対して適切な窓関数などの画像処理を加えることもできる。
【００６２】
さらに、傾き検出角度の精度向上のために、以下に説明する高精度の位置ずれ検出を行っても良い。即ち、実際に計算された位相限定相関式に、以下の数式２５を数値的にフィッティングすることにより、ｒ（ｎ１，ｎ２）のピーク座標を高精度に求めることが可能になる。
【数２５】
【００６３】
上記高精度な位置ずれ検出手法の原理を以下に説明する。まず、連続空間で定義された画像（２次元信号）ｆｃ（ｘ１，ｙ１），ｘ１，ｙ１ ∈ Ｒを考える。δｘおよびδｙをそれぞれｘ１およびｙ１方向に関する微小移動量を表す実数とする。連続空間で、ｆｃ（ｘ１，ｙ１）を（δｘ，δｙ）だけ微小移動した画像はｆｃ（ｘ１−δｘ，ｙ１−δｙ）である。これらの画像ｆｃ（ｘ１，ｙ１），ｆｃ（ｘ１−δｘ，ｙ１−δｙ）を標本化空間Ｔ１とＴ２で標本化した離散空間画像（２次元信号）をそれぞれｆ（ｎ１，ｎ２）とｇ（ｎ１，ｎ２）とし、以下の数式２６と数式２７で定義する。
【数２６】
【数２７】
【００６４】
この離散空間で定義される画像ｆ（ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）に関する位相限定相関について、連続空間での微小移動量δｘ，δｙを推定する。このとき、一般的にはδｘ，δｙは、離散空間において、一画素以下の移動量に対応すると考えることが出来る。
【００６５】
まず、画像ｆ（ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）の２次元ＤＦＴ（離散フーリエ変換）を、それぞれＦ（ｋ１，ｋ２）およびＧ（ｋ１，ｋ２）とすると、以下の数式２８のような近似が成立する。但し、数式２８中のＮ１は「画像中のｎ１方向の量子化数」であり、Ｎ２は「画像中のｎ２方向の量子化数」である。
【数２８】
【００６６】
上記数式２８が近似であるのは連続空間と離散空間の違いによるものである。具体的には２次元ＤＦＴは離散空間に対して周期性を仮定しているためである。Ｆ（ｋ１，ｋ２），Ｇ（ｋ１，ｋ２）の位相限定合成Ｒ（ｋ１，ｋ２）は、以下の数式２９で与えられ、その２次元ＩＤＦＴ（逆離散フーリエ変換）は数式２５のように示すことができる。
【数２９】
【００６７】
数式２５は、微小移動量δｘ，δｙがあるときの同一の画像に関する位相限定相関関数の一般形を示している。したがって、実際に計算された位相限定相関式に数式２５を数値的にフィッティングすることにより、ｒ（ｎ１，ｎ２）のピーク座標を高精度に求めることが可能になる。
【００６８】
例えば本実施形態では、入力画像を、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、入力画像と標準画像のカメラアングルを一致させるようにしている。さらに、本実施形態の設備監視方法では、上記カメラアングルを一致させた入力画像と標準画像の差分画像を作成して、監視対象設備のサビやヒビの進展（特に本実施形態では監視撮影対象はコンクリート壁面であるのでヒビの進展）を検出するようにしている。
【００６９】
なお、実際には、カメラのズームやカメラ位置が撮影物体に近づいたり、遠ざかったりすることにより生じる画像の拡大縮小効果もあるため、画像全体を最も拡大されたときの倍率ｓmaxを使って、１／ｓmaxの縮小（場合によっては拡大）を行い、その後、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、１／cos β倍拡大するようにしても良い。また、画像を拡大する際に追加する画素の輝度値を決定する補間方法としては、最近隣法（ニアレストネイバー法）、線形補間法（バイリニア法）、３次畳み込み法（バイキュービック法）などの既存の方法または新規の方法を適宜利用して良い。
【００７０】
また、入力画像に対して上記α，β，γを用いてカメラアングルを一致させる補正をした後の画像を２次補正画像として、さらにこの２次補正画像と標準画像の間の縦横方向の位置ずれを補正するようにしても良い。この場合の処理の手順を図６のフローチャートに示す。先ず、標準画像と２次補正画像について、２次元フーリエ変換を行う（Ｓ２０１Ａ，Ｓ２０１Ｂ）。そして、フーリエ変換後の各周波数成分について、標準画像より作成した信号の共役複素成分と２次補正画像から作成した信号の複素成分をそれぞれ掛け合わせ、合成を行う（Ｓ２０２）。合成を行う際に、それぞれの信号の振幅で除算を行う。そして、合成信号に逆フーリエ変換を行う（Ｓ２０３）。変換後の信号波の中で相関値が最大となる座標（ｘ１，ｙ１）を探索する（Ｓ２０４）。２次補正画像は標準画像と比べてｘ軸方向にｘ１画素，ｙ軸方向にｙ１画素だけずれていると考えられる。したがって、探索されたｘ１，ｙ１を用いて２次補正画像と標準画像との間の縦横方向の位置ずれを補正することができる。
【００７１】
上記のように補正された入力画像と、標準画像との差分画像は、例えば差分が大きいほど白く、差分が小さいほど黒く表示されるグレースケール画像（濃淡画像）である。上記差分画像において、白く表示された部分（差分が大きい部分）が、監視撮影対象であるコンクリート壁面においてヒビが進行した部分であると考えられる。
【００７２】
以上に説明したカメラアングル変化の検出方法および設備監視方法は、例えば図７に示す画像処理装置として装置化される。この画像処理装置１は、例えば図７に示すように、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を取り込む画像取込手段２と、平面傾き方向γおよび平面傾き角βを求めるγ・β算出手段３，４と、回転角αを求めるα算出手段５とを有している。
【００７３】
さらに詳述すると、例えば本実施形態の画像処理装置１は、標準画像および入力画像についてそれぞれパワースペクトルを計算するパワースペクトル算出手段６と、標準画像および入力画像のそれぞれのパワースペクトルについてログポーラ変換を行うログポーラ変換手段７と、ログポーラ変換後のパワースペクトルについて標準画像および入力画像の特定方向の扇形領域に対応する矩形領域を、扇形領域の特定方向を順次変化させて抽出する相関計算領域抽出手段８と、抽出された標準画像の矩形領域と入力画像の矩形領域の位相限定相関を計算して、方向別の半径方向ずれ量と円弧方向ずれ量を求める位相限定相関計算手段９と、方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求める拡大縮小率算出手段１０と、拡大縮小率の最大値と最小値の比から平面傾き角βを求めるβ算出手段３と、拡大縮小率が最小となる方向を平面傾き方向γとして定めるγ決定手段４と、円弧方向ずれ量に基づいて回転角αを求めるα算出手段５とを有している。なお、α算出手段５は、先に説明したように、入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と標準画像との相関を求めることで、標準画像に対する１次補正画像の回転ずれ量を求め、当該求めた回転ずれ量を回転角αとするものであっても良い。
【００７４】
さらに例えば本実施形態の画像処理装置は、入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、入力画像と標準画像のカメラアングルを一致させるカメラアングル補正手段１１と、カメラアングルを一致させた入力画像と標準画像の差分画像を出力する差分画像出力手段１２を備えている。
【００７５】
以上に説明した画像処理装置１は、例えば既存または新規のコンピュータ（計算機）を用いて実現される。このコンピュータ２０は、例えば図８に示すように、中央処理演算装置（ＣＰＵ）２１、ＲＡＭやＲＯＭおよびハードディスクなどの記憶装置２２、ディスプレイなどの出力装置２３、デジタルカメラ２５と通信を行うためのインターフェース２４などのハードウェア資源がバス２６により接続されて構成されている。上記コンピュータ２０上で本発明に係る画像処理プログラムが実行されることにより、コンピュータ２０が上述した画像処理装置１として機能する。コンピュータ２０のインターフェース２４は、画像取込手段２として機能し、インターフェース２４を介してデジタルカメラ２５に記録されている画像がコンピュータ２０の記憶装置２２に取り込まれる。記憶装置２２には、標準画像および入力画像と、画像処理を実行するために必要な作業データやプログラムなどが記録される。ＣＰＵ２１が備える演算機能およびハードウェア資源に対する制御機能により、上述したパワースペクトル算出手段６、ログポーラ変換手段７、相関計算領域抽出手段８、位相限定相関計算手段９、拡大縮小率算出手段１０、β算出手段３、γ決定手段４、α算出手段５、カメラアングル補正手段１１、差分画像出力手段１２が実現される。コンピュータ２０により自動作成された差分画像は、例えば出力装置２３としてのディスプレイに表示される。なお、上記作成した差分画像に基づいて監視撮影対象のヒビやサビの進展の検出をコンピュータ２０が自動で行うようにし、例えば差分値が閾値以上となる画素が一定数以上ある場合には、監視撮影対象のヒビやサビの進展が著しいと判断して、エラーメッセージや警告音を発して、管理者等に注意を促すようにしても良い。
【００７６】
例えば図１４の符号３０は標準画像の一例を示し、符号３１は入力画像の一例を示し、符号３２は標準画像とカメラアングルが一致するように補正された入力画像を示し、符号３３は補正された入力画像３２と標準画像３０の差分画像を示す。この差分画像３３によれば、図１５のようにカメラアングルが一致する補正をせずに作成した入力画像と標準画像の差分画像とは異なり、監視撮影対象のヒビの進展を正確に抽出することができる。
【００７７】
以上のように構成される本発明によれば、３次元のカメラアングルの変化により撮影画像の周波数スペクトルに微小な回転および伸縮が生じることを利用して、この周波数スペクトルの変化を検出するので、高精度にカメラアングルの変化を検出でき、かつ検出しカメラアングル変化に基づいて、新たに撮影した画像（入力画像）と過去に撮影した画像（標準画像）のカメラアングルを一致させるように補正することができる。また、本発明では、画像全体の周波数スペクトルを利用するため、画像特徴を抽出し補正する手法に比べ、例えばダムのコンクリート面など、その表面の特徴が乏しい対象にも適用できる。
【実施例】
【００７８】
＜電子顕微鏡画像への適用＞
電子顕微鏡で対象となる平面の傾きを変えた画像を撮影した。平面の傾き角度は０°，２．５°，５°，７．５°，１０°とした。これらの画像はほぼ同じ領域を撮影するようにステージの移動を行い、同時にピントあわせを手動で行った。このようにしてほぼ同じ領域を撮影した電子顕微鏡画像を準備して、これらの画像について本発明を適用した。撮影した画像からほぼ同じ領域を含む５１２×５１２画素の部分画像を切り出し利用した。検証では０°の傾きを持つ画像を標準画像とし、残りの画像を入力画像として、本発明を適用し、平面の傾き角度を求めた。その結果、誤差は０．６°以内であり、平均誤差は０．４０°、最大誤差は０．５５°であった。
【００７９】
＜コルクボード画像への適用＞
回転台の上に立てたコルクボードを三脚で固定したカメラで撮影し、その傾きを検出した。この場合、回転台の回転角度が求める平面の傾き角度となる。デジタルカメラは三脚で固定し、コルクボードの中心とカメラのレンズが同じ高さになるようにした。このような環境において、コルクボードの中心が画像の中心付近に写るようカメラの向きを目視により手動で調整した。回転台を＋１５．５°から−１５．５°まで、０．５°ずつ動かし、全部で６３枚の画像を撮影した。この画像からほぼ同じ領域を含む部分画像を切り出した。正面から撮影した画像を標準画像とし、残りの画像を入力画像として、本発明を適用した。その結果、平均誤差は１．４４°、最大誤差は３．３６°であった。
【００８０】
＜コンクリート壁面画像への適用＞
デジタルカメラで建物のコンクリート壁面を撮影した。一般的な巡視時を想定して、三脚は使用せず手でカメラを固定し、時間を変えて（より正確には５分程度の時間をおいて）、２枚の画像を撮影した。撮影した画像からほぼ同じ領域を含む２５６×２５６画素の部分画像を切り出した。このようにして作成した標準画像（１枚目の画像）を図９に示し、入力画像（２枚目の画像）を図１０に示す。これらの画像に対して、本発明を適用し、その計算結果である拡大縮小率を縦軸に、周波数領域での方向角度を横軸に示したものが、図１１のグラフである。
【００８１】
図１１のグラフより、入力画像は標準画像に対して、画像全体が０.９６６倍になっており画像のｘ軸方向を軸として９．２２°傾いていることがわかった。入力画像に対して、標準画像と同じカメラアングルになるように補正を行い、標準画像との差分を計算した。当該カメラアングルの補正を行った入力画像と標準画像との差分画像を図１２に示す。なお、図１２は、重ね合わせ時の差が明確になるように、２枚の画像間について輝度差の絶対値を表示した画像としている。
【００８２】
一方、比較のため、カメラアングルの補正を行わず、画像の平行移動補正のみを適用した入力画像と標準画像との差分画像を図１３に示す。図１２および図１３の差分画像では、両画像の対応画素の差が大きい部分はより白く描画される。図１３ではカメラアングルの差が画素値の差分として白く描画されているが、図１２ではそのような差分を示す描画は見られず、カメラアングルを一致する補正が正確に行われたことが分かる。明らかに本発明による画像補正が有効であることが分かる。
【００８３】
上記本実施例では、入力画像と標準画像の撮影時間の差は５分程度であり、コンクリートにヒビの進展が見られなかったため、差分画像に差が現れなかったが、仮にヒビが進展した場合、本発明によれば、例えば図１４に示すように、ヒビが進展した部分が明確に表示されることになる。
【００８４】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば上述の実施形態では、本発明のカメラアングル変化の検出方法・装置・プログラムを、コンクリート壁なのど監視対象設備の監視に利用したが、本発明は、三角測量、ステレオカメラの設定、カメラレンズ等の歪みの検出および補正などへも応用することが可能である。
【００８５】
例えば２台の撮像手段（例えばデジタルカメラ）により同一平面と見なせる計測領域をそれぞれ撮影し、上述したカメラアングル変化の検出方法により、上記撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、上記２台の撮像手段および計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしても良い。求めたα，β，γは、計測領域に対する撮像手段の物理的位置の補正するためのパラメータ、または撮像手段で撮影した画像を修正する情報処理を実行するためのパラメータ、または計測領域の位置を測定するためのパラメータとして利用できる。即ち、求めたα，β，γを用いて、計測領域に対する撮像手段の向きや位置を補正したり、２台の撮像手段によりそれぞれ撮影した２枚の画像の間の対応を正確に取ることによって、三角測量を高精度に行うことができる。異なるカメラアングルで撮影した画像を用いて、三角測量の原理により物体までの距離を高精度に推定する場合、画像間の対応付けを高精度に行うことで、高精度な計測が可能である。本発明を利用して、カメラアングルの違いを計算し、カメラアングルの違いによる影響を考慮した画像間の対応点探索を行うことにより、より高精度な処理が期待できる。また、基準平面となる計測領域を真正面から見た状態の画像を、例えば当該計測領域の表面をスキャナ等で読み込むことにより入手し、この画像を標準画像とする。そして、この標準画像を用いて、撮像手段により得られる画像を入力画像として、α＝β＝γ＝０となるように撮像手段の位置を調整すれば、撮像手段を計測領域の真正面に設置することができる。さらに、１台の撮像手段を計測領域の真正面に設置し、この撮像手段と計測領域とを結ぶ光軸と直交する方向にもう一台の撮像手段を設置すれば、一方の撮像手段と計測領域とを結ぶ光軸と、他方の撮像手段と計測領域とを結ぶ光軸とが成す角（換言すれば計測領域に対する２台の撮像手段の光軸のずれ量）と、２台の撮像手段の間隔とから、計測領域の位置（計測領域の真正面に設置した撮像手段と計測領域との距離）を正確に求めることができる。
【００８６】
また、予め用意された標準画像と、標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、上述したカメラアングル変化の検出方法により、標準画像と入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、撮像手段に起因する画像の歪みを検出するようにしても良い。例えば、基準平面を真正面から見た状態の画像を、例えば当該基準平面をスキャナ等で読み込むことにより入手し、この画像を標準画像とする。一方、撮像手段を治具などを用いて上記基準平面の真正面に配置して、基準平面を真正面から撮影した画像を入力画像とする。標準画像と入力画像との間で計算されたα，β，γが０でない場合、撮像手段に起因して、例えばカメラレンズの歪みに起因して、入力画像に歪みが生じていると判断できる。画像の歪みが検出された場合、例えば撮像手段の部品交換等を促すべく、警告やエラーを出力するようにしても良い。なお、上記では、基準平面を用いたが、適当なデジタルデータを作成可能であれば、平面である必要は特に無い。
【００８７】
さらに、上記のように検出された画像の歪みを、求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正するようにしても良い。例えば、正常なレンズに対して、上記撮像手段に組み込まれたレンズはα，β，γで表される歪みが生じていると認識し、当該撮像手段で撮影された画像に対して、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させる補正を行うようにしても良い。この場合、廉価なレンズを備えた撮像手段であっても高性能な画像を得ることができる。
【００８８】
また、上述したカメラアングル変化の検出方法により、２台の撮像手段により撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、上記２台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしても良い。ステレオ計測では、２つのカメラは離れており、そのカメラの方向を正確に設定することは非常に難しい。そこで、計測をはじめる前に、なにか基準となる平面（凹凸があっても、局所的に見ると平面とみなせるものであれば共通に写る物体でも良い）を使い、２つのカメラ間のα，β，γを求め、ステレオカメラの設定に役立てる。また、計測する物体の撮影時に必要であれば補正するようにしても良い。さらに、基準となる平面をスキャナ等で読み込む、または予めあるデジタルデータを印刷する等により、平面を真正面（あるいは既知の角度）から撮影したとみなせるデジタルデータが存在するときは、当該平面とそれぞれのカメラ画像とのα，β，γを求めることにより、平面の真正面にカメラを設置することが可能となる。本発明によれば、例えば安価な汎用のデジタルカメラを２台用意すれば、これら２台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。
【図面の簡単な説明】
【００８９】
【図１】本発明のカメラアングル変化の検出方法および装置およびプログラムの処理の一例を示すフローチャートである。
【図２】本発明のカメラアングル変化の検出方法の原理を説明するための概念図である。
【図３】本発明のカメラアングル変化の検出方法の原理を説明するための概念図である。
【図４】方向別の画像の拡大縮小率を示すグラフであり、縦軸が画像の拡大縮小率を示し、横軸が方向角を示す。
【図５】平面傾き方向γと平面傾き角βを求めた後に回転角αを求める処理の一例を示すフローチャートである。
【図６】標準画像とカメラアングルを補正した入力画像の縦横方向の位置ずれを検出する処理の一例を示すフローチャートである。
【図７】本発明のカメラアングル変化の検出装置の構成例を示すブロック図である。
【図８】本発明のカメラアングル変化の検出プログラムが実装されるコンピュータの構成例を示すブロック図である。
【図９】標準画像の一例を示す図である。
【図１０】入力画像の一例を示す図である。
【図１１】図９の標準画像と図１０の入力画像から求められた方向別の画像の拡大縮小率を示すグラフであり、縦軸が画像の拡大縮小率を示し、横軸が方向角を示す。
【図１２】本発明によりカメラアングルを一致させる補正をした図１０の入力画像と、図９の標準画像との差分画像を示す。
【図１３】図１０の入力画像と図９の標準画像との差分画像を示す（カメラアングルを一致させる補正はしていない）。
【図１４】カメラアングルを一致させる補正をすることにより、設備のヒビの進展が差分画像として正確に検出できる様子を示す概念図である。
【図１５】カメラアングルを一致させる補正をしない場合、変化していない画像情報までが差分として現れてしまい、設備のヒビの進展を正確に検出することができない様子を示す概念図である。
【符号の説明】
【００９０】
１ 画像処理装置（カメラアングル変化の検出装置）
２ 画像取込手段
３ β算出手段
４ γ決定手段
５ α算出手段
６ パワースペクトル算出手段
７ ログポーラ変換手段
８ 相関計算領域抽出手段
９ 位相限定相関計算手段
１０ 拡大縮小率算出手段
１１ カメラアングル補正手段
１２ 差分画像出力手段
２０ コンピュータ
【特許請求の範囲】
【請求項１】
撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する方法であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるステップと、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるステップとを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとすることを特徴とするカメラアングル変化の検出方法。
【請求項２】
前記標準画像および前記入力画像についてそれぞれパワースペクトルを計算し、それぞれの前記パワースペクトルについて、該パワースペクトルの直流成分を中心とした方向別の前記半径方向ずれ量を求めることを特徴とする請求項１記載のカメラアングル変化の検出方法。
【請求項３】
前記標準画像および前記入力画像のそれぞれの前記パワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後の前記パワースペクトルについて、前記扇形領域と等価な矩形領域を抽出し、これら抽出した２つの前記矩形領域の位相限定相関を計算することで、前記半径方向ずれ量を求めることを特徴とする請求項２記載のカメラアングル変化の検出方法。
【請求項４】
前記標準画像および前記入力画像からそれぞれ抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の円弧方向ずれ量を求め、前記円弧方向ずれ量に基づいて前記回転角αを求めることを特徴とする請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法。
【請求項５】
前記入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と前記標準画像との相関を求めることで、前記標準画像に対する前記１次補正画像の回転ずれ量を求め、求めた前記回転ずれ量を前記回転角αとすることを特徴とする請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法。
【請求項６】
請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて、前記入力画像を、上記求めた平面傾き方向γの方向に、１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、前記入力画像と前記標準画像のカメラアングルを一致させることを特徴とする画像処理方法。
【請求項７】
監視対象設備を撮影対象として、請求項６記載の画像処理方法によりカメラアングルを一致させた前記入力画像と前記標準画像の差分画像を作成して、前記監視対象設備のサビやヒビの進展を検出することを特徴とする設備監視方法。
【請求項８】
２台の撮像手段により同一平面と見なせる計測領域をそれぞれ撮影し、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、上記撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段および前記計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いることを特徴とする測量方法。
【請求項９】
予め用意された標準画像と、前記標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、前記標準画像と前記入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、前記撮像手段に起因する画像の歪みを検出することを特徴とする画像処理方法。
【請求項１０】
前記検出された画像の歪みを、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正することを特徴とする請求項９記載の画像処理方法。
【請求項１１】
請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、２台の撮像手段により撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いることを特徴とするステレオカメラの設定方法。
【請求項１２】
撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する装置であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段とを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとすることを特徴とするカメラアングル変化の検出装置。
【請求項１３】
撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段としてコンピュータを機能させるプログラムであり、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとする手段として、コンピュータを機能させることを特徴とするカメラアングル変化の検出プログラム。
【請求項１】
撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する方法であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるステップと、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるステップとを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとすることを特徴とするカメラアングル変化の検出方法。
【請求項２】
前記標準画像および前記入力画像についてそれぞれパワースペクトルを計算し、それぞれの前記パワースペクトルについて、該パワースペクトルの直流成分を中心とした方向別の前記半径方向ずれ量を求めることを特徴とする請求項１記載のカメラアングル変化の検出方法。
【請求項３】
前記標準画像および前記入力画像のそれぞれの前記パワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後の前記パワースペクトルについて、前記扇形領域と等価な矩形領域を抽出し、これら抽出した２つの前記矩形領域の位相限定相関を計算することで、前記半径方向ずれ量を求めることを特徴とする請求項２記載のカメラアングル変化の検出方法。
【請求項４】
前記標準画像および前記入力画像からそれぞれ抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の円弧方向ずれ量を求め、前記円弧方向ずれ量に基づいて前記回転角αを求めることを特徴とする請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法。
【請求項５】
前記入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて１／cos β倍拡大して１次補正画像とし、この１次補正画像と前記標準画像との相関を求めることで、前記標準画像に対する前記１次補正画像の回転ずれ量を求め、求めた前記回転ずれ量を前記回転角αとすることを特徴とする請求項１から３のいずれか１つに記載のカメラアングル変化の検出方法。
【請求項６】
請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて、前記入力画像を、上記求めた平面傾き方向γの方向に、１／cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、前記入力画像と前記標準画像のカメラアングルを一致させることを特徴とする画像処理方法。
【請求項７】
監視対象設備を撮影対象として、請求項６記載の画像処理方法によりカメラアングルを一致させた前記入力画像と前記標準画像の差分画像を作成して、前記監視対象設備のサビやヒビの進展を検出することを特徴とする設備監視方法。
【請求項８】
２台の撮像手段により同一平面と見なせる計測領域をそれぞれ撮影し、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、上記撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段および前記計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いることを特徴とする測量方法。
【請求項９】
予め用意された標準画像と、前記標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、前記標準画像と前記入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、前記撮像手段に起因する画像の歪みを検出することを特徴とする画像処理方法。
【請求項１０】
前記検出された画像の歪みを、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正することを特徴とする請求項９記載の画像処理方法。
【請求項１１】
請求項１から５のいずれか１つに記載のカメラアングル変化の検出方法により、２台の撮像手段により撮影した２画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、前記２台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いることを特徴とするステレオカメラの設定方法。
【請求項１２】
撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像と前記入力画像の相対的なカメラアングルの違いを検出する装置であり、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段とを有し、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとすることを特徴とするカメラアングル変化の検出装置。
【請求項１３】
撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、前記標準画像内の前記撮影対象の平面領域を標準平面とし、前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準平面に対する前記入力平面の平面傾き方向γと、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求める手段と、前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求める手段としてコンピュータを機能させるプログラムであり、前記標準画像および前記入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した２つの前記扇形領域の相関を求めることで、前記標準画像から抽出した前記扇形領域に対する前記入力画像から抽出した前記扇形領域の半径方向ずれ量を求め、前記扇形領域の特定方向を順次変化させて全方位について前記半径方向ずれ量を求め、当該方向別の前記半径方向ずれ量から方向別の前記標準画像に対する前記入力画像の拡大縮小率を求め、前記拡大縮小率の最大値と最小値の比から前記平面傾き角βを求め、前記拡大縮小率が最小となる方向を前記平面傾き方向γとする手段として、コンピュータを機能させることを特徴とするカメラアングル変化の検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１４】
【図１５】
【図９】
【図１０】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１４】
【図１５】
【図９】
【図１０】
【図１２】
【図１３】
【公開番号】特開２００６−１３８７３５（Ｐ２００６−１３８７３５Ａ）
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願番号】特願２００４−３２８５３２（Ｐ２００４−３２８５３２）
【出願日】平成１６年１１月１２日（２００４．１１．１２）
【出願人】（０００１７３８０９）財団法人電力中央研究所 (1,040)
【Ｆターム（参考）】
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願日】平成１６年１１月１２日（２００４．１１．１２）
【出願人】（０００１７３８０９）財団法人電力中央研究所 (1,040)
【Ｆターム（参考）】
[ Back to top ]