モザイク画像生成装置及びモザイク画像生成方法
【課題】モザイクストリップの画像の曲がりを効果的に緩和する。
【解決手段】領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成するシステムであって、前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する行列計算手段と、前記計算された画像変換行列の調整要素を、回転変換成分と透視変換成分とに分解して計算する調整要素計算手段と、前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する画像投影手段と、を備える。
【解決手段】領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成するシステムであって、前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する行列計算手段と、前記計算された画像変換行列の調整要素を、回転変換成分と透視変換成分とに分解して計算する調整要素計算手段と、前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する画像投影手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の連続した画像を所定の面上に並べて投影する技術に関する。
【背景技術】
【０００２】
モザイク画像の生成（イメージモザイキング）は、モザイク面と呼ばれる所定の面に、画像を並べて広い視野を得る方法として一般的である。このモザイク画像の生成は、航空写真から画像地図を生成する方法や、通常のカメラによって撮影されたパノラマ画像を得る方法として一般的である。
【０００３】
モザイク画像は、所定のモザイク面上に複数の画像を並べることによって広い視野を得る。モザイク画像の生成において、各画像の回転と位置の完全な情報が提供されれば、各画像をモザイク面上に並ぶように直接的に投影することができる。しかし、プラットフォームの位置を正確に記録するためには、非常に高価な装置が必要となる。また、画像の回転パラメータを再構成するためには複雑なセンサモデルが必要となる。そのため、このような従来の方法は、通常は総コストが高い。一般的なモザイク画像の生成方法は、パノラマ画像を生成する方法と似ている。さらに、一般的なモザイク画像の生成方法は、連続する画像間の対応する特徴の位置合わせをし、モザイク画像化の誤差を調整するための制御情報を加え、モザイク面上にモザイクストリップを投影し、その結果を出力する。
【０００４】
画像は、モザイク面に画像変換行列（ホモグラフィ）によって変換される。画像変換行列を計算するためには、一般的に、二つの方法がある。一つの方法は、センサ（カメラ等）の位置から逆演算された角度で画像を回転させる方法である。もう一つの方法は、記録された画像の特徴に基づく方法である。前者の方法では、センサの六つのパラメータ （ｙ軸回りの上下振り角（ｙａｗ）、ｚ軸回りの左右振り角（ｐｉｔｃｈ）、ｘ軸回りの回転角（ｒｏｌｌ）、Ｘ座標、Ｙ座標、Ｚ座標）のうち使用可能なものを用いて、画像が修正される。一方、後者の方法では、最初に連続する画像間の特徴が抽出され、連続する画像間の偏差を最小化するように画像変換行列が計算される。よりよい結果を得るために、通常、両者は共に使用される。
【０００５】
従来の方法は、その適用においても、二つのカテゴリーに分類できる。一つは、写真測量法で十分に開発されているバンドル調整法である。バンドル調整法は、包括的な最適化によって、全ての画像と地表面における正確な位置とを共に処理し、画像の投影誤差を最小にする方法である。バンドル調整法は、高い精度を達成できるが、相当数の地上基準点（Ground Control Point）が必要であり、地上基準点の収集は多大な作業が必要である。しかし、この方法は、リモートセンシングの分野において、正確な地図の作成及び監視のための主な方法である。一方、カメラのパラメータと画像の特徴とを用いた作業は、地上基準点に対する要求を軽減するように思われる。その上、自動化と精度の適度な兼ね合いは、これらの方法を視覚化（visualization）、シミュレーション、監視（surveillance）等の無測定指向のアプリケーションにおいて一般的に考慮されている。
【特許文献１】特開２００６−１８９９４０号公報
【非特許文献１】Marc Alexa他著，「Linear combination of transformations」，Proceedings of the 29th annual conference on Computer graphics and interactive techniques，San Antonio, Texas, ２００２年
【非特許文献２】Shmuel Peleg他著，「Alex Rav-Acha and Assaf Zomet, Mosaicing on Adaptive Manifolds」，IEEE Transcations on Pattern Analysis and Machine Intelligence, Col.22, No.10，２０００年１０月
【非特許文献３】Amy Hawkins他著，「Animation: keyframing using linear interpolation of matrices」，ACM SIGGRAPH 2005 Posters SIGGRAPH '05，２００５年７月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、モザイク画像の生成においては、実際のところ、どの画像も、本質的に、位置ズレ、歪み、運動視差及び動いている被写体を含むので、画像を完全に正確に並べることは困難である。この困難性は、画像のモザイク化における誤差の原因となり、さらに、誤差は隣の画像に伝搬して累積し、モザイクストリップ（複数の連続した画像からなる集合）が曲がる原因となる。このため、本来、直線的に並べられるモザイクストリップは異なる方向に向かってしまう。モザイクストリップの曲がりを軽減するために、画像変換に適切なパラメータを選択する必要がある。これは、他の付加的な制御情報を用いた画像変換行列を用いるということである。
【０００７】
曲がったモザイクストリップと地表面における正しい位置との差は、必要とされる修正の合計量を示す。現行の方法は、誤差の線形な最小化に直接適用され、連続した各画像の累積誤差を補間する。そして、修正された変換の結果は、バンドル調整法や特許文献１に記載されている方法のように、曲げられたモザイクストリップを現実の位置のモザイクストリップに変換する最もよい方法である。この方法は、回転変換がない場合又は少しだけ回転変換がある場合によく作用する。しかし、現行の方法では、モザイクストリップが大きな角で曲がっている場合、あるケースでは、累積誤差の平均が計算できず、中間の画像は裏返ってしまい、建物は線上さらには点上に倒れてしまう。
【０００８】
モザイクストリップの曲がりを軽減するためには、累積誤差が、連続した画像に適切に補間される必要がある。その補間において、画像変換を調整して、各画像の形状を極端に変化させないようにすべきである。従来の方法の累積誤差の直接的な補間によると、中間の画像はひっくり返ってしまう。また、モザイクストリップが大きな角で曲がっているような特別な場合には、中間の画像は線や点に投影されてしまう。
【０００９】
本発明は、画像を投影してモザイク画像を作成する際に生じる累積誤差をモザイクストリップ全体に分散し、モザイクストリップの画像の曲がりを効果的に緩和することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の代表的な一例を示せば以下の通りである。すなわち、領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成するシステムであって、前記複数の連続した画像を記憶する記憶部と、前記記憶部に記憶された画像の制御情報を取得する入力部と、計算結果を視覚化し、モザイク画像として表示する表示部と、必要な演算を行う演算部と、前記演算のための情報を記憶するメモリと、生成されたモザイク画像を出力する出力部と、を備える。前記演算部は、前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する行列計算手段と、前記計算された画像変換行列の調整要素を計算する調整要素計算手段と、前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する画像投影手段と、を備える。前記行列計算手段は、前記複数の連続した画像から隣接する二つの画像を取得し、前記取得した二つの画像から対応する特徴点を抽出し、前記対応する特徴点間の偏差の合計を最小化するように、隣接する各画像間の画像変換行列を計算する。前記調整要素計算手段は、前記計算された画像変換行列の調整要素を生成し、モザイクストリップに含まれる最初の画像を所定のモザイク面上に投影するための第１の制御情報と、前記モザイクストリップに含まれる最後の画像を前記モザイク面上に投影するための第２の制御情報とを取得し、前記取得した制御情報を用いて、前記最初の画像を前記モザイク面に変換する最初の画像変換行列と、前記最後の画像を前記モザイク面に変換する最後の画像変換行列とを計算し、前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用いて、前記最後の画像を前記モザイク面上の画像に変換する第２の画像変換行列とを計算し、前記計算された最後の画像変換行列と、前記計算された第２の画像変換行列との差を回転変換成分と透視変換成分とに分解し、前記分解された回転変換成分の調整要素と透視変換成分の調整要素とを計算する。前記画像投影手段は、前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用い、さらに前記計算された調整要素を適用して、前記モザイクストリップに含まれる各画像を前記モザイク面上の画像に変換する画像変換行列を計算し、前記計算された各画像に対する画像変換行列を用いて、前記各画像を前記モザイク面に投影する。
【発明の効果】
【００１１】
本発明の一実施形態によると、モザイクストリップの画像の曲がりを緩和することができる。
【発明を実施するための最良の形態】
【００１２】
まず、本発明の実施の形態の概要について説明する。
【００１３】
本発明の実施形態は、カメラによって撮影された領域の一部が重複する複数の連続した画像を用いてモザイク画像を生成する方法である。本発明の実施の形態では、累積誤差の取り扱いが従来技術とは違って、累積誤差を回転成分と透視変換成分とに分解し、その後、各成分に適切な線形補間を適用する。そのため、各画像は、モザイクストリップが大きな角で曲がっていても、比較的スムーズに、ひっくり返ることなく位置合わせをすることができる。その結果、累積誤差は軽減され、モザイクストリップ全体に均等に分散される。本実施の形態によると、見やすい画像を得ることができ、画像の正しい座標を得ることができる。
【００１４】
次に、本発明の実施の形態について、図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態の画像合成システムの構成を示すブロック図である。
【００１６】
本実施の形態の画像合成システムは、画像記録部１１、データ入力部１２、画像表示部１３、演算部１４、記憶部１５及び出力部１６を備える。
【００１７】
画像記録部１１は、本画像合成システムによって処理される画像（モザイクストリップ）が格納される記憶装置である。データ入力部１２は、操作者からの入力指示を受け付けるユーザインターフェースであり、キーボード及びポインティング装置によって構成される。画像表示部１３は、本画像合成システムで処理された画像を表示する表示装置である。
【００１８】
演算部１４は、ＣＰＵ等の演算装置を備え、本画像合成システムによる処理を実行する演算装置である。記憶部１５は、演算部１４によって実行されるプログラム、及びプログラムの実行の際に使用されるデータを格納する記憶装置である。出力部１６は、本画像合成システムで処理された画像を他の装置に出力するインターフェースである。
【００１９】
図２Ａ及び図２Ｂは、本発明の実施の形態の画像を合成してモザイク画像を生成する処理のフローチャートである。
【００２０】
まず、航空機等から連続して撮影された写真（画像）が順に入力される。入力された画像にはｉ＝１から順に番号が付される。そして、ｉの初期値を”１”に設定して、画像制御パラメータｉに１を加える（Ｓ１０）。その後、入力された画像から二つの画像（画像ｉ及び画像ｉ−１）を取得する（Ｓ１１）。
【００２１】
次に、画像制御パラメータｉが１より大きいかによって、二つの画像（画像２及び画像１）を取得できるかを判定する（Ｓ１２）。パラメータｉが１以下であれば、さらに次の画像を取得するために、処理Ｓ１０に戻る。一方、パラメータｉが１より大きければ、処理Ｓ１３に進む。
【００２２】
次に、画像の特徴点を抽出する（Ｓ１３）。特徴点の抽出には、キャニーエッジ検出（Canny edge detection）、ハリス角検出（Harris corner detection）等の一般的な画像処理方法を用いることができる。
【００２３】
次に、特徴点間の対応関係をテンプレートマッチングを用いることによって導き出す。そして、最小二乗法を用いることによって、画像ｉから画像ｉ−１への画像変換行列（homography）Ｍｉを導き出す（Ｓ１４）。すなわち、処理Ｓ１４では、画像ｉ−１がマスター画像となり、画像ｉがスレーブ画像となる。
【００２４】
画像の特徴点の抽出及びマッチングのための方法は、画像の特徴を光学的に探索する、ルーカス・カナデ法（pyramidal implementation of Lucas-Kanade）が、一般的かつ効果的な方法である。また、通常は、画像間の対応していない部分を除去するために、ＲＡＮＳＡＣ法（RANdom SAmple Consensus）が用いられる。
【００２５】
そして、画像制御パラメータｉがＮより大きいかを判定する（Ｓ１５）。ここで、Ｎは画像数（画像制御パラメータの最大数）である。パラメータｉがＮ以下であれば、未処理の画像が残っているので、さらに次の画像を取得するために処理Ｓ１０に戻る。一方、パラメータｉがＮより大きければ、全ての画像に対する画像変換行列Ｍｉの導出が完了しているので、処理Ｓ２１に進む。このように、最後の画像が処理されて、一連の画像変換行列が導出されるまで、処理が繰り返される。
【００２６】
次に、モザイクストリップの曲がりを軽減するために、制御情報によって画像変換行列を調整する。バンドル調整法等の従来技術は、極めて多数の地上基準点を必要とする。そこで、本発明では、最初及び最後の画像の制御情報があるか否かを判定する（Ｓ２１）。
【００２７】
その結果、最初及び最後の画像の制御情報があれば、その制御情報を取り込んで、記憶部１５に書き込む（Ｓ２２）。一方、最初又は最後の少なくとも一つの画像の制御情報がなければ、処理Ｓ３１に進む。
【００２８】
ここで、制御情報とは、図３に示すように、画像中の特徴点とモザイク面（参照面）上の点とを対応させる情報である。操作者は、マウスのようなポインティング装置を用いることによって、モザイク面上の点（例えば、地図上の点）と画像中の点との対応を指定して、制御情報を入力する。なお、透視変換の画像変換行列を求めるためには少なくとも４点が必要とされるので、最初の画像中と最後の画像中とで、各々、四つの特徴点が必要となる。
【００２９】
制御情報を取得した後、処理Ｓ２３では、最初の画像と最後の画像とを、各々モザイク面上の画像に変換する二つの画像変換行列（Ｍ１、Ｍ_last'）を求める。このように、モザイクストリップの両端の画像の画像変換行列を用いることによって、モザイクストリップをあるべき位置に定めることができる。処理Ｓ２３では、モザイク面上の画像がマスター画像となり、モザイクストリップ上の画像がスレーブ画像となる。
【００３０】
モザイク画像の生成における誤差は、モザイクストリップ中の画像の位置合わせ中に生じ、最初の画像から最後の画像へ伝搬する。従って、画像のモザイク化における全ての誤差は累積され、モザイクストリップの最初の画像から最後の画像へ伝搬する。図４に示すように、最後の画像は、行列Ｍ_last（Ｍ_last＝Ｍ１×Ｍ２×…×Ｍｉ×…×Ｍｎ）を用いることによって、モザイクストリップ上に変換される。ここで、Ｍｉ（ｉ＝２〜ｎ）は、画像ｉから隣接する画像ｉ−１へ変換する画像変換行列である。
【００３１】
一方、取得した制御情報から求められた画像変換行列Ｍ_last'を用いることによって、最後の画像の地表面における正しい位置を定めることができる。行列Ｍ_last'と行列Ｍ_lastとの偏差は、累積誤差の合計を示す。累積誤差が連続する画像に適切に補間されるなら、曲がったモザイクストリップは正確な向きに表すことができる。モザイクストリップの曲がりを緩和するためには、行列Ｍ_last’と行列Ｍ_lastと間のスムーズな計算方法を実行する必要がある。
【００３２】
そこで、本発明の実施形態では、画像変換行列を回転変換成分と単純な透視変換成分とに分けて、適切な線形行列補間を可能にする（Ｓ２４）。
【００３３】
透視変換は線形性を保つので、画像枠の２本の対角線の交点は、常に、透視投影の主点（Principle Point）に対応する。主点の位置は、回転変換をしても、透視変換をしても変わらない。図５に示すように、本発明の実施形態は、画像の空間的な方向の定量的な表現形式を導き出す。画像の回転は、基準対角線とＸ軸との間の角度によって表される。画像の回転を、基準対角線とＸ軸との間の角度によらず、任意の対角線と任意の軸との間の角によって定義してもよい。
【００３４】
図６は、本発明の実施の形態の回転変換と透視変換との演算処理（Ｓ２４）の詳細を示すフローチャートである。
【００３５】
まず、行列Ｍ_last（行列Ｍ_last＝Ｍ１×Ｍ２×…×Ｍｉ×…×Ｍｎ）を計算する（Ｓ２４１）。ここで、行列Ｍ_lastは、最後の画像をモザイク面上の画像に変換する画像変換行列である。また、行列Ｍｉは、画像ｉから隣接する画像ｉ−１へ変換する画像変換行列である。そして、最後の画像のモザイクストリップへの方位角Ａ１が計算される（Ｓ２４２）。
【００３６】
次に、最後の画像の画像変換行列Ｍ_last'を求めるために、最後の画像の制御情報を記憶部１５から読み出し（Ｓ２４３）、読み出した制御情報に基づいて画像変換行列Ｍ_last'を求める（Ｓ２４４）。そして、画像変換行列Ｍ_last'を用いて最後の画像を変換し、画像変換行列Ｍ_last'を用いて変換された画像のモザイクストリップ上（正確な位置）での方位角Ａ２を求める（Ｓ２４５）。
【００３７】
その後、二つの方位角の差Ａを求める（Ｓ２４６）。この角度差（Ａ＝Ａ２−Ａ１）は、画像投影において累積された誤差の回転成分を表し、また、累積誤差を含んだモザイク面上への投影画像を、地表面（モザイク面）上の正しい位置へ補正するための回転角である。
【００３８】
次に、変換行列Ｍ_lastをＭ_rotationと、Ｍ_last_tempとの積に分解する。すなわち、最後の画像の画像変換行列は、Ｍ_rotationと、Ｍ_last_tempとに分解される（Ｓ２４７）。ここで、Ｍ_rotationは、回転角Ａの回転行列である。Ｍ_last_tempは、単純な透視変換行列であり、極めて小さい回転成分しか含まず、安定かつ安全な範囲の線形補間行列である。本実施形態の方法は、このようにして、モザイク面上への画像変換の線形補間を制限し、回転成分が大きい画像変換の補間において画像が１点に集約される欠陥を避けることができる。
【００３９】
次に、各画像の回転補正要素Ｍ_rotation_iと透視変換補正要素Ｍ_perspective_iを求める（Ｓ２４８）。回転補正要素Ｍ_rotation_iは、方位角Ａｉの回転行列であり、Ａｉ＝Ａ／（Ｎ−１）×（ｉ−１）で定義される。なお、Ｎは、モザイクストリップ中の画像の数である。透視変換補正要素Ｍ_perspective_iは、アレクサ行列（Alexa's matrix ）用いて、以下の式１を用いて求められる。
【００４０】
【数１】
【００４１】
ここで、数式（１）中の演算子は、下記数式（２）及び（３）によって表される。また、、数式（１）中の行列Ａは、前記求められた回転角Ａだけ回転させる回転変換行列であり、数式（１）中の行列Ｂは、Ｍ_last'である。
【００４２】
なお、この透視変換補正要素の導出は、前述した非特許文献２に詳細に記載されている。
【００４３】
【数２】
【００４４】
【数３】
【００４５】
ここで図２Ｂに戻る。図６に示す処理によって、回転成分と透視変換成分との変換の補正量が導出された後、補正変換行列を用いて各画像を補正する（Ｓ２５）。各画像の補正処理の詳細を図７に示す。
【００４６】
まず、取得した制御情報を使用して求められた画像変換行列Ｍ１をＭ_1と定義する（Ｓ２５１）。ここで、行列Ｍ１（Ｍ_1）は、最初の画像をモザイク面上の画像に変換する画像変換行列である。
【００４７】
次に、画像ｉについて、回転変換の補正要素Ｍ_rotation_iと、透視変換の補正要素Ｍ_perspective_iとを求める（Ｓ２５２）。そして、補正要素を変換行列Ｍｉに適用し、補正された変換行列Ｍ_iを求める（Ｓ２５３）。具体的には、Ｍ_i＝Ｍ_perspective_i×Ｍ_rotation_i×Ｍｉとなる。ここで、Ｍｉは、画像ｉから画像ｉ−１への変換行列である。また、Ｍ_iは、画像ｉから曲がりを緩和したモザイク面への変換行列である。
【００４８】
次に、画像制御パラメータｉが１より大きくＮ以下であるかを判定する（Ｓ２５４）。そして、画像制御パラメータｉが１より大きくＮ以下であれば、まだ変換行列を求めるべき画像があるので、処理Ｓ２５２に戻り、処理を繰り返す。一方、画像制御パラメータｉが所定の範囲を超えていれば、全ての画像の変換行列が求まっているので、この処理を終了し、処理Ｓ３１に進む。
【００４９】
補正された変換行列Ｍ_iを適用することによって、全ての画像に誤差を補正した回転変換成分の正確な合計と透視変換成分の正確な合計とが適用されて、それらが変換される。それによって、モザイクストリップの曲がりは緩和され、見やすい画像を得ることができ、画像の正しい座標を得ることができる。
【００５０】
図４、図５は、本発明の実施の形態による実施の形態による画像変換を示す。
【００５１】
モザイク画像の生成における誤差は、不正確な処理によって、画像の位置合わせ中に生じ、モザイクストリップの最初の画像から最後の画像へ伝搬する。従って、画像のモザイク化における全ての誤差は累積され、モザイクストリップの最後の画像に伝搬する。図４に示すように、最後の画像は、行列Ｍ_last＝Ｍ１×Ｍ２×…Ｍｉ×…Ｍｎを用いることによって、モザイクストリップに変換される。ここで、Ｍｉは、画像ｉから画像ｉ−１へ変換する画像変換行列である。一方、利用可能な制御情報、例えば、与えられた四つの地上基準点から求めることができる画像変換行列Ｍ_last'を用いることによって、最後の画像の地表面における正しい位置を定めることができる。
【００５２】
また、本発明は、地上基準点の要件を、最初の画像及び最後の画像において所与の制御情報のみを用いる最小レベルまで低減する。すなわち、従来の方法では数百の地上基準点が必要であったのに対し、最初の画像及び最後の画像のそれぞれのために四つの基準点、全部で八つの地上基準点が最低限必要である。これら八つの与えられた基準点を用いることによって、モザイクストリップの両端を、正しい位置を定めることができ、曲がったモザイクストリップの最後の画像とその正しい位置とのズレを計算することができる。
【００５３】
行列Ｍ_last'と行列Ｍ_lastとの偏差は、累積誤差の合計を示す。累積誤差が連続する個々の画像に適切に補間されるなら、曲がったモザイクストリップは正確な向きに表す。従って、モザイクの曲がりをどのように緩和するかという問題は、行列Ｍ_last'と行列Ｍ_lastとの間のスムーズな計算方法をどのように実行するかという問題である。本発明は、ステップＳ２４において、画像変換行列を回転変換成分と単純な透視変換成分とに分けて、適切な線形行列補間を可能にする。
【００５４】
次に、ここまで説明した処理によって画像がどのように変化する過程について、図４を参照して説明する。
【００５５】
最初の画像（画像１）の制御情報を用いて、モザイク面上への射影行列（画像変換行列）Ｍ１が計算される。同様に、最後の画像（画像ｎ）の制御情報を用いて、モザイク面上への射影行列Ｍ_last'が計算される。連続した画像間は、各画像間の特徴点を用いて、各画像間の変換行列Ｍ２〜Ｍｎが計算される。Ｍｉは、図４に示すように、画像ｉから画像ｉ−１への変換行列である。
【００５６】
これらの画像変換行列から、モザイクストリップを画像１から順に辿って、各画像をモザイク面上に投影する射影行列Ｍ_iを求めることができる（Ｍ_i＝Ｍ１×Ｍ２×…×Ｍｉ）。同様に、モザイクストリップを画像１から順に辿って、画像ｎをモザイク面上に投影する射影行列Ｍ_lastを求める（Ｍ_last＝Ｍ１×Ｍ２×…×Ｍｎ）。
【００５７】
画像ｎについて求められた二つの射影行列Ｍ_last'とＭ_lastとの間の差を求め、この差を線形補間することによって、各画像のモザイク面への射影行列Ｍ_iを補正する。このとき、射影行列Ｍ_last'とＭ_lastとの差は回転変換成分と透視変換成分とに分解される。そして、図５に示すように、分解された回転変換成分Ｍ_rotationと透視変換成分Ｍ_perspectiveとの各々が線形補間される。
【００５８】
回転成分は、射影行列Ｍ_lastを用いてモザイク面上に投影された画像ｎの方位Ａ１と、射影行列Ｍ_last'を用いてモザイク面上に投影された画像ｎの方位Ａ２との角度差Ａを、画像の間隔で等分して、回転変換成分の線形補正量を求める。
【００５９】
求められた射影行列Ｍ１、Ｍ_i（ｉ＝２〜ｎ−１）、Ｍ_last'を用いて各画像（画像１〜画像ｎ）をモザイク面上に投影する。その後、モザイク面上に投影された各画像の所定の軸からの方位角を求める。そして、求められた回転変換成分の補正量を、各画像の方位角に加えることによって、モザイク面上に投影された各画像の回転変換成分が補正される。
【００６０】
その後、前述した数式（１）を用いて、各画像の透視変換成分の補正量が計算される。
【００６１】
通常の線形補間モデルは、以下の数式（４）によって与えられる。
【００６２】
【数４】
【００６３】
二つの状態Ａ、Ｂ間の直接的な補間によって、モザイクストリップの一端からもう一端へ最短経路に沿って徐々に画像変換がなされる。それは、３次元透視画像変換について大きな回転が存在する場合、中間画像を裏返してしまう。さらに、数式（４）を行列に直接適用することはできない。アレクサ行列は、行列の任意の線形結合を生成する方法を提供する。アレクサ法において展開される数式（２）及び（３）によって示される二つの演算子は、行列の対数及び指数関数を用いて演算される。数式（２）によって示される演算子は画像変換行列のスカラー乗算を実施し、数式（３）によって示される演算子は、この演算子が可換であることを除いては行列乗算に類似している。
【００６４】
行列の線形補間のために、数式（２）及び（３）に示す演算子に基づいて、数式（４）を数式（５）のように書き直すことができ、曲がったストリップの補正モデルが得られる。
【００６５】
【数５】
【００６６】
あるケースでは、数式（５）を直接適用することによって調整行列を生成することができる。しかし、不都合なことに、あるケースではアレクサ法は不安定である。一様でない縮尺と組み合わされる回転変換成分が９０度以上の多くの画像変換において、行列の平方根は収束できない。従って、まず画像変換を、回転変換成分と透視変換成分とに分けて、回転変換成分に数式（４）を適用し、アレクサ法を前記の透視変換成分のみに適用する。そして、これが常に安定かつ安全な範囲で確実に機能するようにする。
【００６７】
図５に示すように、最後の画像（状態Ａ）は、行列Ｍ_lastを用いることによってモザイクストリップ中の画像（状態Ｂ）に変換され、一方、与えられた基準点から導出される画像変換行列Ｍ_last'を用いることによって、その地表面における正確な位置（状態Ｄ）が定められる。状態Ｂと状態Ｄとの位置及び形状における差は、累積誤差を示す。前述したように、画像変換のスキームを状態Ｂから状態Ｄへスムーズに進行することによって、累積誤差が緩和されるように、各画像に適切に分散する必要がある。まず、状態Ｂの画像をある角度だけ回転させ、状態Ｄの画像と概ね同じ向きを有する状態Ｃの画像を得る。そして、アレクサ法を適用して状態Ｃを状態Ｄに線形補間する。このように、回転変換成分は状態Ｃから状態Ｄでは常に非常に小さく、アレクサ法が安全かつ確実に機能するようにする。
【００６８】
撮影対象が平坦であればカメラの光軸は撮影対象に対して垂直であり、透視投影の主点（ＰＰ）は画像フレームの中心に対応していると仮定される。このため、二つの対角線の交点はほぼ主点となる。また、透視投影は、透視投影後の画像においても線の直線性を保つ。このため、画像フレームの二つの対角線の交点は常に主点に対応する。
【００６９】
図５において、対角線ａ−ｃ、ａ'−ｃ'及びａ"−ｃ"を主要な対角線とし、ｂ−ｄ、ｂ'−ｄ'及びｂ"−ｄ"を補助的な対角線とす。画像の向きは、本明細書においては主要な対角線とｘ軸との間の角として定義されるが、任意の対角線と任意の軸との間の角であってもよい。なお、両者の間の一貫性を維持するために変換が必要とされる。画像の向きが定められると、回転角は単純にそれらの向きの差によって計算することができる。本発明では、図５に示すように、定量的な表現形式を導出し、画像の空間的な向きを説明する。
【００７０】
次に、本発明の実施の形態の効果について説明する。
【００７１】
本発明の実施の形態では、最初の画像の制御情報と最後の画像の制御情報とのみを用いて、画像を投影してモザイク画像を作成する際の画像（モザイクストリップ）の曲がりを効果的に緩和することができる。
【００７２】
図８は、本発明の実施の形態の変換行列でモザイク画像を合成する様子を示す説明図である。本発明のコンセプトについて、図８を用いて説明する。
【００７３】
モザイクストリップの両端は最初の画像と最後の画像である。本発明の実施の形態では、累積誤差のによるモザイクストリップの曲がりを緩和するために、最初の画像の制御情報と最後の画像の制御情報とを用いる。すなわち、最後の画像の制御情報を用いることによって、画像を投影してモザイク画像を作るときの累積誤差は、曲がったモザイクストリップの最後の画像の地表面における正確な位置とのズレから求められる。本発明の変換行列の補間方法によると、累積誤差はモザイクストリップ全体に均等に分散され、モザイクストリップの曲がりは効果的に緩和される。
【００７４】
図９は、本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比して示す。
【００７５】
本発明の方法では、変換を回転変換成分と透視変換成分とに分解する。これに対し、
従来の直接的な補間方法（例えば、バンドル調整法）では、大きく曲がったモザイクストリップを扱うことができない。すなわち、従来の方法では、累積誤差の平均を求めることはできず、中間の画像は裏返ってしまい、建物は線上さらには点上に倒れてしまう。
【００７６】
これに対し、本発明の方法では、変換を回転変換成分と透視変換成分とに分解する。これによって、モザイク面上への画像変換の線形補間を制限し、累積誤差を均等に分散することができる。
【００７７】
図１０は、回転角が大きい場合の、本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比して示す。
【００７８】
図１０によると、回転角が大きい場合には、従来の方法による画像変換では中間の画像が裏返ってしまうが、本発明の方法によると中間の画像が裏返ることない。
【００７９】
近年、多数の広範囲な画像を容易に得ることできる。様々な一般的なデジタルカメラやポータブルビデオカメラ（個人ユーザが使用するレベルのもの）を用いることによって、調査、工学技術及び娯楽の分野で、このような画像処理が適用されている。本発明は、従来技術と異なる方法によって、一つの画像（又は、フレーム）から広い視野の画像を作るために、高速に画像を投影してモザイク画像を得るものである。本発明は、画像変換のための適切な線形補間を得るために、画像変換を回転成分と単純な透視変換成分とに分解する。
【００８０】
モザイク画像を作成する過程で生じる累積誤差によってモザイク画像は曲げられるが、本発明によると、累積誤差はモザイクストリップ全体に均等に分散される。そのため、モザイクストリップの曲がりは効果的に緩和され、見やすい画像を得ることができる。また、画像の正しい座標を得ることができる。
【００８１】
本発明は、おおまかな結果しか提供されない撮影システム（例えば、無人飛行機（ＵＡＶ：Unmanned Aerial Vehicle）、小型無人飛行機（ＭＡＶ：Micro Aerial Vehicle）等）によって撮影された画像からのモザイク画像の作成において有効な方法である。そして、本発明は、センサ（カメラ）の姿勢についての情報が十分に提供されない、一般的なデジタルカメラやポータブルビデオカメラ等の撮影システムにも好適である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態の画像合成システムの構成を示すブロック図である。
【図２Ａ】本発明の実施の形態のモザイク画像生成処理のフローチャートである
【図２Ｂ】本発明の実施の形態のモザイク画像生成処理のフローチャートである
【図３】本発明の実施の形態の入出力される情報を示す説明図である。
【図４】本発明の実施の形態による画像変換を示す説明図である。
【図５】本発明の実施の形態による画像変換を示す説明図である。
【図６】本発明の実施の形態の回転変換と透視変換との計算処理の詳細を示すフローチャートである。
【図７】本発明の実施の形態の補正後の画像変換行列の計算処理の詳細を示すフローチャートである。
【図８】本発明の実施の形態の変換行列でモザイク画像を合成する様子を示す説明図である。
【図９】本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比した説明図である。
【図１０】回転角度が大きい場合の、本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比した説明図である。
【符号の説明】
【００８３】
１１ 画像記録部
１２ データ入力部
１３ 画像表示部
１４ 演算部
１５ 記憶部
１６ 出力部
【技術分野】
【０００１】
本発明は、複数の連続した画像を所定の面上に並べて投影する技術に関する。
【背景技術】
【０００２】
モザイク画像の生成（イメージモザイキング）は、モザイク面と呼ばれる所定の面に、画像を並べて広い視野を得る方法として一般的である。このモザイク画像の生成は、航空写真から画像地図を生成する方法や、通常のカメラによって撮影されたパノラマ画像を得る方法として一般的である。
【０００３】
モザイク画像は、所定のモザイク面上に複数の画像を並べることによって広い視野を得る。モザイク画像の生成において、各画像の回転と位置の完全な情報が提供されれば、各画像をモザイク面上に並ぶように直接的に投影することができる。しかし、プラットフォームの位置を正確に記録するためには、非常に高価な装置が必要となる。また、画像の回転パラメータを再構成するためには複雑なセンサモデルが必要となる。そのため、このような従来の方法は、通常は総コストが高い。一般的なモザイク画像の生成方法は、パノラマ画像を生成する方法と似ている。さらに、一般的なモザイク画像の生成方法は、連続する画像間の対応する特徴の位置合わせをし、モザイク画像化の誤差を調整するための制御情報を加え、モザイク面上にモザイクストリップを投影し、その結果を出力する。
【０００４】
画像は、モザイク面に画像変換行列（ホモグラフィ）によって変換される。画像変換行列を計算するためには、一般的に、二つの方法がある。一つの方法は、センサ（カメラ等）の位置から逆演算された角度で画像を回転させる方法である。もう一つの方法は、記録された画像の特徴に基づく方法である。前者の方法では、センサの六つのパラメータ （ｙ軸回りの上下振り角（ｙａｗ）、ｚ軸回りの左右振り角（ｐｉｔｃｈ）、ｘ軸回りの回転角（ｒｏｌｌ）、Ｘ座標、Ｙ座標、Ｚ座標）のうち使用可能なものを用いて、画像が修正される。一方、後者の方法では、最初に連続する画像間の特徴が抽出され、連続する画像間の偏差を最小化するように画像変換行列が計算される。よりよい結果を得るために、通常、両者は共に使用される。
【０００５】
従来の方法は、その適用においても、二つのカテゴリーに分類できる。一つは、写真測量法で十分に開発されているバンドル調整法である。バンドル調整法は、包括的な最適化によって、全ての画像と地表面における正確な位置とを共に処理し、画像の投影誤差を最小にする方法である。バンドル調整法は、高い精度を達成できるが、相当数の地上基準点（Ground Control Point）が必要であり、地上基準点の収集は多大な作業が必要である。しかし、この方法は、リモートセンシングの分野において、正確な地図の作成及び監視のための主な方法である。一方、カメラのパラメータと画像の特徴とを用いた作業は、地上基準点に対する要求を軽減するように思われる。その上、自動化と精度の適度な兼ね合いは、これらの方法を視覚化（visualization）、シミュレーション、監視（surveillance）等の無測定指向のアプリケーションにおいて一般的に考慮されている。
【特許文献１】特開２００６−１８９９４０号公報
【非特許文献１】Marc Alexa他著，「Linear combination of transformations」，Proceedings of the 29th annual conference on Computer graphics and interactive techniques，San Antonio, Texas, ２００２年
【非特許文献２】Shmuel Peleg他著，「Alex Rav-Acha and Assaf Zomet, Mosaicing on Adaptive Manifolds」，IEEE Transcations on Pattern Analysis and Machine Intelligence, Col.22, No.10，２０００年１０月
【非特許文献３】Amy Hawkins他著，「Animation: keyframing using linear interpolation of matrices」，ACM SIGGRAPH 2005 Posters SIGGRAPH '05，２００５年７月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、モザイク画像の生成においては、実際のところ、どの画像も、本質的に、位置ズレ、歪み、運動視差及び動いている被写体を含むので、画像を完全に正確に並べることは困難である。この困難性は、画像のモザイク化における誤差の原因となり、さらに、誤差は隣の画像に伝搬して累積し、モザイクストリップ（複数の連続した画像からなる集合）が曲がる原因となる。このため、本来、直線的に並べられるモザイクストリップは異なる方向に向かってしまう。モザイクストリップの曲がりを軽減するために、画像変換に適切なパラメータを選択する必要がある。これは、他の付加的な制御情報を用いた画像変換行列を用いるということである。
【０００７】
曲がったモザイクストリップと地表面における正しい位置との差は、必要とされる修正の合計量を示す。現行の方法は、誤差の線形な最小化に直接適用され、連続した各画像の累積誤差を補間する。そして、修正された変換の結果は、バンドル調整法や特許文献１に記載されている方法のように、曲げられたモザイクストリップを現実の位置のモザイクストリップに変換する最もよい方法である。この方法は、回転変換がない場合又は少しだけ回転変換がある場合によく作用する。しかし、現行の方法では、モザイクストリップが大きな角で曲がっている場合、あるケースでは、累積誤差の平均が計算できず、中間の画像は裏返ってしまい、建物は線上さらには点上に倒れてしまう。
【０００８】
モザイクストリップの曲がりを軽減するためには、累積誤差が、連続した画像に適切に補間される必要がある。その補間において、画像変換を調整して、各画像の形状を極端に変化させないようにすべきである。従来の方法の累積誤差の直接的な補間によると、中間の画像はひっくり返ってしまう。また、モザイクストリップが大きな角で曲がっているような特別な場合には、中間の画像は線や点に投影されてしまう。
【０００９】
本発明は、画像を投影してモザイク画像を作成する際に生じる累積誤差をモザイクストリップ全体に分散し、モザイクストリップの画像の曲がりを効果的に緩和することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の代表的な一例を示せば以下の通りである。すなわち、領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成するシステムであって、前記複数の連続した画像を記憶する記憶部と、前記記憶部に記憶された画像の制御情報を取得する入力部と、計算結果を視覚化し、モザイク画像として表示する表示部と、必要な演算を行う演算部と、前記演算のための情報を記憶するメモリと、生成されたモザイク画像を出力する出力部と、を備える。前記演算部は、前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する行列計算手段と、前記計算された画像変換行列の調整要素を計算する調整要素計算手段と、前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する画像投影手段と、を備える。前記行列計算手段は、前記複数の連続した画像から隣接する二つの画像を取得し、前記取得した二つの画像から対応する特徴点を抽出し、前記対応する特徴点間の偏差の合計を最小化するように、隣接する各画像間の画像変換行列を計算する。前記調整要素計算手段は、前記計算された画像変換行列の調整要素を生成し、モザイクストリップに含まれる最初の画像を所定のモザイク面上に投影するための第１の制御情報と、前記モザイクストリップに含まれる最後の画像を前記モザイク面上に投影するための第２の制御情報とを取得し、前記取得した制御情報を用いて、前記最初の画像を前記モザイク面に変換する最初の画像変換行列と、前記最後の画像を前記モザイク面に変換する最後の画像変換行列とを計算し、前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用いて、前記最後の画像を前記モザイク面上の画像に変換する第２の画像変換行列とを計算し、前記計算された最後の画像変換行列と、前記計算された第２の画像変換行列との差を回転変換成分と透視変換成分とに分解し、前記分解された回転変換成分の調整要素と透視変換成分の調整要素とを計算する。前記画像投影手段は、前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用い、さらに前記計算された調整要素を適用して、前記モザイクストリップに含まれる各画像を前記モザイク面上の画像に変換する画像変換行列を計算し、前記計算された各画像に対する画像変換行列を用いて、前記各画像を前記モザイク面に投影する。
【発明の効果】
【００１１】
本発明の一実施形態によると、モザイクストリップの画像の曲がりを緩和することができる。
【発明を実施するための最良の形態】
【００１２】
まず、本発明の実施の形態の概要について説明する。
【００１３】
本発明の実施形態は、カメラによって撮影された領域の一部が重複する複数の連続した画像を用いてモザイク画像を生成する方法である。本発明の実施の形態では、累積誤差の取り扱いが従来技術とは違って、累積誤差を回転成分と透視変換成分とに分解し、その後、各成分に適切な線形補間を適用する。そのため、各画像は、モザイクストリップが大きな角で曲がっていても、比較的スムーズに、ひっくり返ることなく位置合わせをすることができる。その結果、累積誤差は軽減され、モザイクストリップ全体に均等に分散される。本実施の形態によると、見やすい画像を得ることができ、画像の正しい座標を得ることができる。
【００１４】
次に、本発明の実施の形態について、図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態の画像合成システムの構成を示すブロック図である。
【００１６】
本実施の形態の画像合成システムは、画像記録部１１、データ入力部１２、画像表示部１３、演算部１４、記憶部１５及び出力部１６を備える。
【００１７】
画像記録部１１は、本画像合成システムによって処理される画像（モザイクストリップ）が格納される記憶装置である。データ入力部１２は、操作者からの入力指示を受け付けるユーザインターフェースであり、キーボード及びポインティング装置によって構成される。画像表示部１３は、本画像合成システムで処理された画像を表示する表示装置である。
【００１８】
演算部１４は、ＣＰＵ等の演算装置を備え、本画像合成システムによる処理を実行する演算装置である。記憶部１５は、演算部１４によって実行されるプログラム、及びプログラムの実行の際に使用されるデータを格納する記憶装置である。出力部１６は、本画像合成システムで処理された画像を他の装置に出力するインターフェースである。
【００１９】
図２Ａ及び図２Ｂは、本発明の実施の形態の画像を合成してモザイク画像を生成する処理のフローチャートである。
【００２０】
まず、航空機等から連続して撮影された写真（画像）が順に入力される。入力された画像にはｉ＝１から順に番号が付される。そして、ｉの初期値を”１”に設定して、画像制御パラメータｉに１を加える（Ｓ１０）。その後、入力された画像から二つの画像（画像ｉ及び画像ｉ−１）を取得する（Ｓ１１）。
【００２１】
次に、画像制御パラメータｉが１より大きいかによって、二つの画像（画像２及び画像１）を取得できるかを判定する（Ｓ１２）。パラメータｉが１以下であれば、さらに次の画像を取得するために、処理Ｓ１０に戻る。一方、パラメータｉが１より大きければ、処理Ｓ１３に進む。
【００２２】
次に、画像の特徴点を抽出する（Ｓ１３）。特徴点の抽出には、キャニーエッジ検出（Canny edge detection）、ハリス角検出（Harris corner detection）等の一般的な画像処理方法を用いることができる。
【００２３】
次に、特徴点間の対応関係をテンプレートマッチングを用いることによって導き出す。そして、最小二乗法を用いることによって、画像ｉから画像ｉ−１への画像変換行列（homography）Ｍｉを導き出す（Ｓ１４）。すなわち、処理Ｓ１４では、画像ｉ−１がマスター画像となり、画像ｉがスレーブ画像となる。
【００２４】
画像の特徴点の抽出及びマッチングのための方法は、画像の特徴を光学的に探索する、ルーカス・カナデ法（pyramidal implementation of Lucas-Kanade）が、一般的かつ効果的な方法である。また、通常は、画像間の対応していない部分を除去するために、ＲＡＮＳＡＣ法（RANdom SAmple Consensus）が用いられる。
【００２５】
そして、画像制御パラメータｉがＮより大きいかを判定する（Ｓ１５）。ここで、Ｎは画像数（画像制御パラメータの最大数）である。パラメータｉがＮ以下であれば、未処理の画像が残っているので、さらに次の画像を取得するために処理Ｓ１０に戻る。一方、パラメータｉがＮより大きければ、全ての画像に対する画像変換行列Ｍｉの導出が完了しているので、処理Ｓ２１に進む。このように、最後の画像が処理されて、一連の画像変換行列が導出されるまで、処理が繰り返される。
【００２６】
次に、モザイクストリップの曲がりを軽減するために、制御情報によって画像変換行列を調整する。バンドル調整法等の従来技術は、極めて多数の地上基準点を必要とする。そこで、本発明では、最初及び最後の画像の制御情報があるか否かを判定する（Ｓ２１）。
【００２７】
その結果、最初及び最後の画像の制御情報があれば、その制御情報を取り込んで、記憶部１５に書き込む（Ｓ２２）。一方、最初又は最後の少なくとも一つの画像の制御情報がなければ、処理Ｓ３１に進む。
【００２８】
ここで、制御情報とは、図３に示すように、画像中の特徴点とモザイク面（参照面）上の点とを対応させる情報である。操作者は、マウスのようなポインティング装置を用いることによって、モザイク面上の点（例えば、地図上の点）と画像中の点との対応を指定して、制御情報を入力する。なお、透視変換の画像変換行列を求めるためには少なくとも４点が必要とされるので、最初の画像中と最後の画像中とで、各々、四つの特徴点が必要となる。
【００２９】
制御情報を取得した後、処理Ｓ２３では、最初の画像と最後の画像とを、各々モザイク面上の画像に変換する二つの画像変換行列（Ｍ１、Ｍ_last'）を求める。このように、モザイクストリップの両端の画像の画像変換行列を用いることによって、モザイクストリップをあるべき位置に定めることができる。処理Ｓ２３では、モザイク面上の画像がマスター画像となり、モザイクストリップ上の画像がスレーブ画像となる。
【００３０】
モザイク画像の生成における誤差は、モザイクストリップ中の画像の位置合わせ中に生じ、最初の画像から最後の画像へ伝搬する。従って、画像のモザイク化における全ての誤差は累積され、モザイクストリップの最初の画像から最後の画像へ伝搬する。図４に示すように、最後の画像は、行列Ｍ_last（Ｍ_last＝Ｍ１×Ｍ２×…×Ｍｉ×…×Ｍｎ）を用いることによって、モザイクストリップ上に変換される。ここで、Ｍｉ（ｉ＝２〜ｎ）は、画像ｉから隣接する画像ｉ−１へ変換する画像変換行列である。
【００３１】
一方、取得した制御情報から求められた画像変換行列Ｍ_last'を用いることによって、最後の画像の地表面における正しい位置を定めることができる。行列Ｍ_last'と行列Ｍ_lastとの偏差は、累積誤差の合計を示す。累積誤差が連続する画像に適切に補間されるなら、曲がったモザイクストリップは正確な向きに表すことができる。モザイクストリップの曲がりを緩和するためには、行列Ｍ_last’と行列Ｍ_lastと間のスムーズな計算方法を実行する必要がある。
【００３２】
そこで、本発明の実施形態では、画像変換行列を回転変換成分と単純な透視変換成分とに分けて、適切な線形行列補間を可能にする（Ｓ２４）。
【００３３】
透視変換は線形性を保つので、画像枠の２本の対角線の交点は、常に、透視投影の主点（Principle Point）に対応する。主点の位置は、回転変換をしても、透視変換をしても変わらない。図５に示すように、本発明の実施形態は、画像の空間的な方向の定量的な表現形式を導き出す。画像の回転は、基準対角線とＸ軸との間の角度によって表される。画像の回転を、基準対角線とＸ軸との間の角度によらず、任意の対角線と任意の軸との間の角によって定義してもよい。
【００３４】
図６は、本発明の実施の形態の回転変換と透視変換との演算処理（Ｓ２４）の詳細を示すフローチャートである。
【００３５】
まず、行列Ｍ_last（行列Ｍ_last＝Ｍ１×Ｍ２×…×Ｍｉ×…×Ｍｎ）を計算する（Ｓ２４１）。ここで、行列Ｍ_lastは、最後の画像をモザイク面上の画像に変換する画像変換行列である。また、行列Ｍｉは、画像ｉから隣接する画像ｉ−１へ変換する画像変換行列である。そして、最後の画像のモザイクストリップへの方位角Ａ１が計算される（Ｓ２４２）。
【００３６】
次に、最後の画像の画像変換行列Ｍ_last'を求めるために、最後の画像の制御情報を記憶部１５から読み出し（Ｓ２４３）、読み出した制御情報に基づいて画像変換行列Ｍ_last'を求める（Ｓ２４４）。そして、画像変換行列Ｍ_last'を用いて最後の画像を変換し、画像変換行列Ｍ_last'を用いて変換された画像のモザイクストリップ上（正確な位置）での方位角Ａ２を求める（Ｓ２４５）。
【００３７】
その後、二つの方位角の差Ａを求める（Ｓ２４６）。この角度差（Ａ＝Ａ２−Ａ１）は、画像投影において累積された誤差の回転成分を表し、また、累積誤差を含んだモザイク面上への投影画像を、地表面（モザイク面）上の正しい位置へ補正するための回転角である。
【００３８】
次に、変換行列Ｍ_lastをＭ_rotationと、Ｍ_last_tempとの積に分解する。すなわち、最後の画像の画像変換行列は、Ｍ_rotationと、Ｍ_last_tempとに分解される（Ｓ２４７）。ここで、Ｍ_rotationは、回転角Ａの回転行列である。Ｍ_last_tempは、単純な透視変換行列であり、極めて小さい回転成分しか含まず、安定かつ安全な範囲の線形補間行列である。本実施形態の方法は、このようにして、モザイク面上への画像変換の線形補間を制限し、回転成分が大きい画像変換の補間において画像が１点に集約される欠陥を避けることができる。
【００３９】
次に、各画像の回転補正要素Ｍ_rotation_iと透視変換補正要素Ｍ_perspective_iを求める（Ｓ２４８）。回転補正要素Ｍ_rotation_iは、方位角Ａｉの回転行列であり、Ａｉ＝Ａ／（Ｎ−１）×（ｉ−１）で定義される。なお、Ｎは、モザイクストリップ中の画像の数である。透視変換補正要素Ｍ_perspective_iは、アレクサ行列（Alexa's matrix ）用いて、以下の式１を用いて求められる。
【００４０】
【数１】
【００４１】
ここで、数式（１）中の演算子は、下記数式（２）及び（３）によって表される。また、、数式（１）中の行列Ａは、前記求められた回転角Ａだけ回転させる回転変換行列であり、数式（１）中の行列Ｂは、Ｍ_last'である。
【００４２】
なお、この透視変換補正要素の導出は、前述した非特許文献２に詳細に記載されている。
【００４３】
【数２】
【００４４】
【数３】
【００４５】
ここで図２Ｂに戻る。図６に示す処理によって、回転成分と透視変換成分との変換の補正量が導出された後、補正変換行列を用いて各画像を補正する（Ｓ２５）。各画像の補正処理の詳細を図７に示す。
【００４６】
まず、取得した制御情報を使用して求められた画像変換行列Ｍ１をＭ_1と定義する（Ｓ２５１）。ここで、行列Ｍ１（Ｍ_1）は、最初の画像をモザイク面上の画像に変換する画像変換行列である。
【００４７】
次に、画像ｉについて、回転変換の補正要素Ｍ_rotation_iと、透視変換の補正要素Ｍ_perspective_iとを求める（Ｓ２５２）。そして、補正要素を変換行列Ｍｉに適用し、補正された変換行列Ｍ_iを求める（Ｓ２５３）。具体的には、Ｍ_i＝Ｍ_perspective_i×Ｍ_rotation_i×Ｍｉとなる。ここで、Ｍｉは、画像ｉから画像ｉ−１への変換行列である。また、Ｍ_iは、画像ｉから曲がりを緩和したモザイク面への変換行列である。
【００４８】
次に、画像制御パラメータｉが１より大きくＮ以下であるかを判定する（Ｓ２５４）。そして、画像制御パラメータｉが１より大きくＮ以下であれば、まだ変換行列を求めるべき画像があるので、処理Ｓ２５２に戻り、処理を繰り返す。一方、画像制御パラメータｉが所定の範囲を超えていれば、全ての画像の変換行列が求まっているので、この処理を終了し、処理Ｓ３１に進む。
【００４９】
補正された変換行列Ｍ_iを適用することによって、全ての画像に誤差を補正した回転変換成分の正確な合計と透視変換成分の正確な合計とが適用されて、それらが変換される。それによって、モザイクストリップの曲がりは緩和され、見やすい画像を得ることができ、画像の正しい座標を得ることができる。
【００５０】
図４、図５は、本発明の実施の形態による実施の形態による画像変換を示す。
【００５１】
モザイク画像の生成における誤差は、不正確な処理によって、画像の位置合わせ中に生じ、モザイクストリップの最初の画像から最後の画像へ伝搬する。従って、画像のモザイク化における全ての誤差は累積され、モザイクストリップの最後の画像に伝搬する。図４に示すように、最後の画像は、行列Ｍ_last＝Ｍ１×Ｍ２×…Ｍｉ×…Ｍｎを用いることによって、モザイクストリップに変換される。ここで、Ｍｉは、画像ｉから画像ｉ−１へ変換する画像変換行列である。一方、利用可能な制御情報、例えば、与えられた四つの地上基準点から求めることができる画像変換行列Ｍ_last'を用いることによって、最後の画像の地表面における正しい位置を定めることができる。
【００５２】
また、本発明は、地上基準点の要件を、最初の画像及び最後の画像において所与の制御情報のみを用いる最小レベルまで低減する。すなわち、従来の方法では数百の地上基準点が必要であったのに対し、最初の画像及び最後の画像のそれぞれのために四つの基準点、全部で八つの地上基準点が最低限必要である。これら八つの与えられた基準点を用いることによって、モザイクストリップの両端を、正しい位置を定めることができ、曲がったモザイクストリップの最後の画像とその正しい位置とのズレを計算することができる。
【００５３】
行列Ｍ_last'と行列Ｍ_lastとの偏差は、累積誤差の合計を示す。累積誤差が連続する個々の画像に適切に補間されるなら、曲がったモザイクストリップは正確な向きに表す。従って、モザイクの曲がりをどのように緩和するかという問題は、行列Ｍ_last'と行列Ｍ_lastとの間のスムーズな計算方法をどのように実行するかという問題である。本発明は、ステップＳ２４において、画像変換行列を回転変換成分と単純な透視変換成分とに分けて、適切な線形行列補間を可能にする。
【００５４】
次に、ここまで説明した処理によって画像がどのように変化する過程について、図４を参照して説明する。
【００５５】
最初の画像（画像１）の制御情報を用いて、モザイク面上への射影行列（画像変換行列）Ｍ１が計算される。同様に、最後の画像（画像ｎ）の制御情報を用いて、モザイク面上への射影行列Ｍ_last'が計算される。連続した画像間は、各画像間の特徴点を用いて、各画像間の変換行列Ｍ２〜Ｍｎが計算される。Ｍｉは、図４に示すように、画像ｉから画像ｉ−１への変換行列である。
【００５６】
これらの画像変換行列から、モザイクストリップを画像１から順に辿って、各画像をモザイク面上に投影する射影行列Ｍ_iを求めることができる（Ｍ_i＝Ｍ１×Ｍ２×…×Ｍｉ）。同様に、モザイクストリップを画像１から順に辿って、画像ｎをモザイク面上に投影する射影行列Ｍ_lastを求める（Ｍ_last＝Ｍ１×Ｍ２×…×Ｍｎ）。
【００５７】
画像ｎについて求められた二つの射影行列Ｍ_last'とＭ_lastとの間の差を求め、この差を線形補間することによって、各画像のモザイク面への射影行列Ｍ_iを補正する。このとき、射影行列Ｍ_last'とＭ_lastとの差は回転変換成分と透視変換成分とに分解される。そして、図５に示すように、分解された回転変換成分Ｍ_rotationと透視変換成分Ｍ_perspectiveとの各々が線形補間される。
【００５８】
回転成分は、射影行列Ｍ_lastを用いてモザイク面上に投影された画像ｎの方位Ａ１と、射影行列Ｍ_last'を用いてモザイク面上に投影された画像ｎの方位Ａ２との角度差Ａを、画像の間隔で等分して、回転変換成分の線形補正量を求める。
【００５９】
求められた射影行列Ｍ１、Ｍ_i（ｉ＝２〜ｎ−１）、Ｍ_last'を用いて各画像（画像１〜画像ｎ）をモザイク面上に投影する。その後、モザイク面上に投影された各画像の所定の軸からの方位角を求める。そして、求められた回転変換成分の補正量を、各画像の方位角に加えることによって、モザイク面上に投影された各画像の回転変換成分が補正される。
【００６０】
その後、前述した数式（１）を用いて、各画像の透視変換成分の補正量が計算される。
【００６１】
通常の線形補間モデルは、以下の数式（４）によって与えられる。
【００６２】
【数４】
【００６３】
二つの状態Ａ、Ｂ間の直接的な補間によって、モザイクストリップの一端からもう一端へ最短経路に沿って徐々に画像変換がなされる。それは、３次元透視画像変換について大きな回転が存在する場合、中間画像を裏返してしまう。さらに、数式（４）を行列に直接適用することはできない。アレクサ行列は、行列の任意の線形結合を生成する方法を提供する。アレクサ法において展開される数式（２）及び（３）によって示される二つの演算子は、行列の対数及び指数関数を用いて演算される。数式（２）によって示される演算子は画像変換行列のスカラー乗算を実施し、数式（３）によって示される演算子は、この演算子が可換であることを除いては行列乗算に類似している。
【００６４】
行列の線形補間のために、数式（２）及び（３）に示す演算子に基づいて、数式（４）を数式（５）のように書き直すことができ、曲がったストリップの補正モデルが得られる。
【００６５】
【数５】
【００６６】
あるケースでは、数式（５）を直接適用することによって調整行列を生成することができる。しかし、不都合なことに、あるケースではアレクサ法は不安定である。一様でない縮尺と組み合わされる回転変換成分が９０度以上の多くの画像変換において、行列の平方根は収束できない。従って、まず画像変換を、回転変換成分と透視変換成分とに分けて、回転変換成分に数式（４）を適用し、アレクサ法を前記の透視変換成分のみに適用する。そして、これが常に安定かつ安全な範囲で確実に機能するようにする。
【００６７】
図５に示すように、最後の画像（状態Ａ）は、行列Ｍ_lastを用いることによってモザイクストリップ中の画像（状態Ｂ）に変換され、一方、与えられた基準点から導出される画像変換行列Ｍ_last'を用いることによって、その地表面における正確な位置（状態Ｄ）が定められる。状態Ｂと状態Ｄとの位置及び形状における差は、累積誤差を示す。前述したように、画像変換のスキームを状態Ｂから状態Ｄへスムーズに進行することによって、累積誤差が緩和されるように、各画像に適切に分散する必要がある。まず、状態Ｂの画像をある角度だけ回転させ、状態Ｄの画像と概ね同じ向きを有する状態Ｃの画像を得る。そして、アレクサ法を適用して状態Ｃを状態Ｄに線形補間する。このように、回転変換成分は状態Ｃから状態Ｄでは常に非常に小さく、アレクサ法が安全かつ確実に機能するようにする。
【００６８】
撮影対象が平坦であればカメラの光軸は撮影対象に対して垂直であり、透視投影の主点（ＰＰ）は画像フレームの中心に対応していると仮定される。このため、二つの対角線の交点はほぼ主点となる。また、透視投影は、透視投影後の画像においても線の直線性を保つ。このため、画像フレームの二つの対角線の交点は常に主点に対応する。
【００６９】
図５において、対角線ａ−ｃ、ａ'−ｃ'及びａ"−ｃ"を主要な対角線とし、ｂ−ｄ、ｂ'−ｄ'及びｂ"−ｄ"を補助的な対角線とす。画像の向きは、本明細書においては主要な対角線とｘ軸との間の角として定義されるが、任意の対角線と任意の軸との間の角であってもよい。なお、両者の間の一貫性を維持するために変換が必要とされる。画像の向きが定められると、回転角は単純にそれらの向きの差によって計算することができる。本発明では、図５に示すように、定量的な表現形式を導出し、画像の空間的な向きを説明する。
【００７０】
次に、本発明の実施の形態の効果について説明する。
【００７１】
本発明の実施の形態では、最初の画像の制御情報と最後の画像の制御情報とのみを用いて、画像を投影してモザイク画像を作成する際の画像（モザイクストリップ）の曲がりを効果的に緩和することができる。
【００７２】
図８は、本発明の実施の形態の変換行列でモザイク画像を合成する様子を示す説明図である。本発明のコンセプトについて、図８を用いて説明する。
【００７３】
モザイクストリップの両端は最初の画像と最後の画像である。本発明の実施の形態では、累積誤差のによるモザイクストリップの曲がりを緩和するために、最初の画像の制御情報と最後の画像の制御情報とを用いる。すなわち、最後の画像の制御情報を用いることによって、画像を投影してモザイク画像を作るときの累積誤差は、曲がったモザイクストリップの最後の画像の地表面における正確な位置とのズレから求められる。本発明の変換行列の補間方法によると、累積誤差はモザイクストリップ全体に均等に分散され、モザイクストリップの曲がりは効果的に緩和される。
【００７４】
図９は、本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比して示す。
【００７５】
本発明の方法では、変換を回転変換成分と透視変換成分とに分解する。これに対し、
従来の直接的な補間方法（例えば、バンドル調整法）では、大きく曲がったモザイクストリップを扱うことができない。すなわち、従来の方法では、累積誤差の平均を求めることはできず、中間の画像は裏返ってしまい、建物は線上さらには点上に倒れてしまう。
【００７６】
これに対し、本発明の方法では、変換を回転変換成分と透視変換成分とに分解する。これによって、モザイク面上への画像変換の線形補間を制限し、累積誤差を均等に分散することができる。
【００７７】
図１０は、回転角が大きい場合の、本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比して示す。
【００７８】
図１０によると、回転角が大きい場合には、従来の方法による画像変換では中間の画像が裏返ってしまうが、本発明の方法によると中間の画像が裏返ることない。
【００７９】
近年、多数の広範囲な画像を容易に得ることできる。様々な一般的なデジタルカメラやポータブルビデオカメラ（個人ユーザが使用するレベルのもの）を用いることによって、調査、工学技術及び娯楽の分野で、このような画像処理が適用されている。本発明は、従来技術と異なる方法によって、一つの画像（又は、フレーム）から広い視野の画像を作るために、高速に画像を投影してモザイク画像を得るものである。本発明は、画像変換のための適切な線形補間を得るために、画像変換を回転成分と単純な透視変換成分とに分解する。
【００８０】
モザイク画像を作成する過程で生じる累積誤差によってモザイク画像は曲げられるが、本発明によると、累積誤差はモザイクストリップ全体に均等に分散される。そのため、モザイクストリップの曲がりは効果的に緩和され、見やすい画像を得ることができる。また、画像の正しい座標を得ることができる。
【００８１】
本発明は、おおまかな結果しか提供されない撮影システム（例えば、無人飛行機（ＵＡＶ：Unmanned Aerial Vehicle）、小型無人飛行機（ＭＡＶ：Micro Aerial Vehicle）等）によって撮影された画像からのモザイク画像の作成において有効な方法である。そして、本発明は、センサ（カメラ）の姿勢についての情報が十分に提供されない、一般的なデジタルカメラやポータブルビデオカメラ等の撮影システムにも好適である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態の画像合成システムの構成を示すブロック図である。
【図２Ａ】本発明の実施の形態のモザイク画像生成処理のフローチャートである
【図２Ｂ】本発明の実施の形態のモザイク画像生成処理のフローチャートである
【図３】本発明の実施の形態の入出力される情報を示す説明図である。
【図４】本発明の実施の形態による画像変換を示す説明図である。
【図５】本発明の実施の形態による画像変換を示す説明図である。
【図６】本発明の実施の形態の回転変換と透視変換との計算処理の詳細を示すフローチャートである。
【図７】本発明の実施の形態の補正後の画像変換行列の計算処理の詳細を示すフローチャートである。
【図８】本発明の実施の形態の変換行列でモザイク画像を合成する様子を示す説明図である。
【図９】本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比した説明図である。
【図１０】回転角度が大きい場合の、本発明の実施の形態の補間された行列による変換と、従来の画像変換とを対比した説明図である。
【符号の説明】
【００８３】
１１ 画像記録部
１２ データ入力部
１３ 画像表示部
１４ 演算部
１５ 記憶部
１６ 出力部
【特許請求の範囲】
【請求項１】
領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成するシステムであって、
前記複数の連続した画像を記憶する記憶部と、
前記記憶部に記憶された画像の制御情報を取得する入力部と、
計算結果をモザイク画像として表示する表示部と、
必要な演算を行う演算部と、
前記演算のための情報を記憶するメモリと、
生成されたモザイク画像を出力する出力部と、を備え、
前記演算部は、
前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する行列計算手段と、
前記計算された画像変換行列の調整要素を計算する調整要素計算手段と、
前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する画像投影手段と、を備え、
前記行列計算手段は、
前記複数の連続した画像から隣接する二つの画像を取得し、
前記取得した二つの画像から対応する特徴点を抽出し、
前記対応する特徴点間の偏差の合計を最小化するように、隣接する各画像間の画像変換行列を計算し、
前記調整要素計算手段は、
前記計算された画像変換行列の調整要素を生成し、
モザイクストリップに含まれる最初の画像を所定のモザイク面上に投影するための第１の制御情報と、前記モザイクストリップに含まれる最後の画像を前記モザイク面上に投影するための第２の制御情報とを取得し、
前記取得した制御情報を用いて、前記最初の画像を前記モザイク面に変換する最初の画像変換行列と、前記最後の画像を前記モザイク面に変換する最後の画像変換行列とを計算し、
前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用いて、前記最後の画像を前記モザイク面上の画像に変換する第２の画像変換行列とを計算し、
前記計算された最後の画像変換行列と、前記計算された第２の画像変換行列との差を回転変換成分と透視変換成分とに分解し、
前記分解された回転変換成分の調整要素と透視変換成分の調整要素とを計算し、
前記画像投影手段は、
前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用い、さらに前記計算された調整要素を適用して、前記モザイクストリップに含まれる各画像を前記モザイク面上の画像に変換する画像変換行列を計算し、
前記計算された各画像に対する画像変換行列を用いて、前記各画像を前記モザイク面に投影することを特徴とするモザイク画像生成システム。
【請求項２】
請求項１に記載のモザイク画像生成システムであって、
前記第１の制御情報は、前記最初の画像を前記モザイク面上の正しい位置へ投影するための情報であって、
前記第２の制御情報は、前記最後の画像を前記モザイク面上の正しい位置へ投影するための情報であって、前記モザイク面上に画像を投影する際に生じる累積誤差を全モザイクストリップ上の画像に分散するために用いられることを特徴とする。
【請求項３】
請求項１に記載のモザイク画像生成システムであって、
前記調整要素計算手段は、
前記最後の画像変換行列による前記最後の画像の方位角（Ａ１）を計算し、
前記第２の画像変換行列による前記最後の画像の方位角（Ａ２）を計算し、
前記計算された方位角の差によって回転角（Ａ＝Ａ２−Ａ１）を計算し、
前記計算された回転角（Ａ）を、前記モザイクストリップ上の各画像の間の数（Ｎ−１）で除した回転角の変化量（Ａ’＝Ａ／（Ｎ−１））を計算し、
その後、前記計算された回転角の変化量を回転変換成分の調整要素として使用し、透視変換行列を計算することを特徴とする。
【請求項４】
請求項３に記載のモザイク画像生成システムであって、
前記調整要素計算手段は、
前記画像の四つの頂点の座標を求め、
前記画像の二つの対角線の交点を原点と定め、
前記原点を通る任意の軸を定め、
前記定められた原点に対し、前記定められた一つの対角線と前記定められた軸との間の角を計算し、前記画像の方位角とすることを特徴とする。
【請求項５】
請求項１に記載のモザイク画像生成システムであって、
前記調整要素計算手段は、
下記数式（１）によって透視変換成分を計算することを特徴とする。
【数１】
なお、数式（１）中の演算子は、下記数式（２）及び（３）によって表される。また、、数式（１）中の行列Ａは、前記計算された回転角Ａを回転させる回転変換行列であり、数式（１）中の行列Ｂは、前記第２の画像変換行列である。
【数２】
【数３】
【請求項６】
計算機を用いて、領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成する方法であって、
前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する第１のステップと、
前記計算された画像変換行列の調整要素を計算する第２のステップと、
前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する第３のステップと、を含み、
前記第１のステップは、
前記複数の連続した画像から隣接する二つの画像を取得するステップと、
前記取得した二つの画像から対応する特徴点を抽出するステップと、
前記対応する特徴点間の偏差の合計を最小化するように、隣接する各画像間の画像変換行列を計算するステップと、を含み、
前記第２のステップは、
前記計算された画像変換行列の調整要素を生成するステップと、
モザイクストリップに含まれる最初の画像を所定のモザイク面上に投影するための第１の制御情報と、前記モザイクストリップに含まれる最後の画像を前記モザイク面上に投影するための第２の制御情報とを取得するステップと、
前記取得した制御情報を用いて、前記最初の画像を前記モザイク面に変換する最初の画像変換行列と、前記最後の画像を前記モザイク面に変換する最後の画像変換行列とを計算するステップと、
前記第２のステップで計算された最初の画像変換行列と、前記第１のステップで計算された各画像間の画像変換行列とを用いて、前記最後の画像を前記モザイク面上の画像に変換する第２の画像変換行列とを計算するステップと、
前記計算された最後の画像変換行列と、前記計算された第２の画像変換行列との差を回転変換成分と透視変換成分とに分解するステップと、
前記分解された回転変換成分の調整要素と透視変換成分の調整要素とを計算するステップと、を含み
前記第３のステップは、
前記第２のステップで計算された最初の画像変換行列と、前記第１のステップで計算された各画像間の画像変換行列とを用い、さらに前記計算された調整要素を適用して、前記モザイクストリップに含まれる各画像を前記モザイク面上の画像に変換する画像変換行列を計算するステップと、
前記計算された各画像に対する画像変換行列を用いて、前記各画像を前記モザイク面に投影するステップと、を含むことを特徴とするモザイク画像生成方法。
【請求項７】
請求項６に記載のモザイク画像生成方法であって、
前記第１の制御情報は、前記最初の画像を前記モザイク面上の正しい位置へ投影するための情報であって、
前記第２の制御情報は、前記最後の画像を前記モザイク面上の正しい位置へ投影するための情報であって、前記モザイク面上に画像を投影する際に生じる累積誤差を全モザイクストリップ上の画像に分散するために用いられることを特徴とする。
【請求項８】
請求項６に記載のモザイク画像生成方法であって、
回転変換成分と透視変換成分毎に調整要素を計算するステップでは、
前記最後の(last)画像変換行列による前記最後の画像の方位角（Ａ１）を計算し、
前記第２の画像変換行列による前記最後の画像の方位角（Ａ２）を計算し、
前記計算された方位角の差（Ａ＝Ａ２−Ａ１）を計算し、
前記計算された回転角（Ａ）を、前記モザイクストリップ上の各画像の間の数（Ｎ−１）で除した回転角の変化量（Ａ’＝Ａ／（Ｎ−１））を計算し、
その後、前記計算された回転角の変化量を回転変換成分の調整要素として使用し、透視変換行列の増分を計算することを特徴とする。
【請求項９】
請求項８に記載のモザイク画像生成方法であって、
最後の画像の方位角を計算するステップでは、
変換されたイメージの四つの頂点の座標を求め、
二つの対角線の交点を原点と定め、
前記原点を通る任意の軸を定め、
前記定められた一つの対角線と前記定められた軸との間の角を計算し、
前記画像の方位角は、前記定められた原点に対し、前記定められた一つの対角線と前記定められた軸との間の角とであることを特徴とする。
【請求項１０】
請求項６に記載のモザイク画像生成方法であって、
回転変換成分と透視変換成分毎に調整要素を計算するステップでは、
下記数式（１）によって透視変換成分を計算することを特徴とする。
【数４】
なお、数式（１）中の演算子は、下記数式（２）及び（３）によって表される。また、、数式（１）中の行列Ａは、前記計算された回転角Ａを回転させる回転変換行列であり、数式（１）中の行列Ｂは、前記第２の画像変換行列である。
【数５】
【数６】
【請求項１】
領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成するシステムであって、
前記複数の連続した画像を記憶する記憶部と、
前記記憶部に記憶された画像の制御情報を取得する入力部と、
計算結果をモザイク画像として表示する表示部と、
必要な演算を行う演算部と、
前記演算のための情報を記憶するメモリと、
生成されたモザイク画像を出力する出力部と、を備え、
前記演算部は、
前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する行列計算手段と、
前記計算された画像変換行列の調整要素を計算する調整要素計算手段と、
前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する画像投影手段と、を備え、
前記行列計算手段は、
前記複数の連続した画像から隣接する二つの画像を取得し、
前記取得した二つの画像から対応する特徴点を抽出し、
前記対応する特徴点間の偏差の合計を最小化するように、隣接する各画像間の画像変換行列を計算し、
前記調整要素計算手段は、
前記計算された画像変換行列の調整要素を生成し、
モザイクストリップに含まれる最初の画像を所定のモザイク面上に投影するための第１の制御情報と、前記モザイクストリップに含まれる最後の画像を前記モザイク面上に投影するための第２の制御情報とを取得し、
前記取得した制御情報を用いて、前記最初の画像を前記モザイク面に変換する最初の画像変換行列と、前記最後の画像を前記モザイク面に変換する最後の画像変換行列とを計算し、
前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用いて、前記最後の画像を前記モザイク面上の画像に変換する第２の画像変換行列とを計算し、
前記計算された最後の画像変換行列と、前記計算された第２の画像変換行列との差を回転変換成分と透視変換成分とに分解し、
前記分解された回転変換成分の調整要素と透視変換成分の調整要素とを計算し、
前記画像投影手段は、
前記調整要素計算手段によって計算された最初の画像変換行列と、前記行列計算手段によって計算された各画像間の画像変換行列とを用い、さらに前記計算された調整要素を適用して、前記モザイクストリップに含まれる各画像を前記モザイク面上の画像に変換する画像変換行列を計算し、
前記計算された各画像に対する画像変換行列を用いて、前記各画像を前記モザイク面に投影することを特徴とするモザイク画像生成システム。
【請求項２】
請求項１に記載のモザイク画像生成システムであって、
前記第１の制御情報は、前記最初の画像を前記モザイク面上の正しい位置へ投影するための情報であって、
前記第２の制御情報は、前記最後の画像を前記モザイク面上の正しい位置へ投影するための情報であって、前記モザイク面上に画像を投影する際に生じる累積誤差を全モザイクストリップ上の画像に分散するために用いられることを特徴とする。
【請求項３】
請求項１に記載のモザイク画像生成システムであって、
前記調整要素計算手段は、
前記最後の画像変換行列による前記最後の画像の方位角（Ａ１）を計算し、
前記第２の画像変換行列による前記最後の画像の方位角（Ａ２）を計算し、
前記計算された方位角の差によって回転角（Ａ＝Ａ２−Ａ１）を計算し、
前記計算された回転角（Ａ）を、前記モザイクストリップ上の各画像の間の数（Ｎ−１）で除した回転角の変化量（Ａ’＝Ａ／（Ｎ−１））を計算し、
その後、前記計算された回転角の変化量を回転変換成分の調整要素として使用し、透視変換行列を計算することを特徴とする。
【請求項４】
請求項３に記載のモザイク画像生成システムであって、
前記調整要素計算手段は、
前記画像の四つの頂点の座標を求め、
前記画像の二つの対角線の交点を原点と定め、
前記原点を通る任意の軸を定め、
前記定められた原点に対し、前記定められた一つの対角線と前記定められた軸との間の角を計算し、前記画像の方位角とすることを特徴とする。
【請求項５】
請求項１に記載のモザイク画像生成システムであって、
前記調整要素計算手段は、
下記数式（１）によって透視変換成分を計算することを特徴とする。
【数１】
なお、数式（１）中の演算子は、下記数式（２）及び（３）によって表される。また、、数式（１）中の行列Ａは、前記計算された回転角Ａを回転させる回転変換行列であり、数式（１）中の行列Ｂは、前記第２の画像変換行列である。
【数２】
【数３】
【請求項６】
計算機を用いて、領域の一部が重複する複数の連続した画像を合成してモザイク画像を生成する方法であって、
前記複数の連続した二つの隣接する各画像間の画像変換行列を計算する第１のステップと、
前記計算された画像変換行列の調整要素を計算する第２のステップと、
前記計算された調整要素が適用された画像変換行列を用いて、各画像をモザイク面に投影する第３のステップと、を含み、
前記第１のステップは、
前記複数の連続した画像から隣接する二つの画像を取得するステップと、
前記取得した二つの画像から対応する特徴点を抽出するステップと、
前記対応する特徴点間の偏差の合計を最小化するように、隣接する各画像間の画像変換行列を計算するステップと、を含み、
前記第２のステップは、
前記計算された画像変換行列の調整要素を生成するステップと、
モザイクストリップに含まれる最初の画像を所定のモザイク面上に投影するための第１の制御情報と、前記モザイクストリップに含まれる最後の画像を前記モザイク面上に投影するための第２の制御情報とを取得するステップと、
前記取得した制御情報を用いて、前記最初の画像を前記モザイク面に変換する最初の画像変換行列と、前記最後の画像を前記モザイク面に変換する最後の画像変換行列とを計算するステップと、
前記第２のステップで計算された最初の画像変換行列と、前記第１のステップで計算された各画像間の画像変換行列とを用いて、前記最後の画像を前記モザイク面上の画像に変換する第２の画像変換行列とを計算するステップと、
前記計算された最後の画像変換行列と、前記計算された第２の画像変換行列との差を回転変換成分と透視変換成分とに分解するステップと、
前記分解された回転変換成分の調整要素と透視変換成分の調整要素とを計算するステップと、を含み
前記第３のステップは、
前記第２のステップで計算された最初の画像変換行列と、前記第１のステップで計算された各画像間の画像変換行列とを用い、さらに前記計算された調整要素を適用して、前記モザイクストリップに含まれる各画像を前記モザイク面上の画像に変換する画像変換行列を計算するステップと、
前記計算された各画像に対する画像変換行列を用いて、前記各画像を前記モザイク面に投影するステップと、を含むことを特徴とするモザイク画像生成方法。
【請求項７】
請求項６に記載のモザイク画像生成方法であって、
前記第１の制御情報は、前記最初の画像を前記モザイク面上の正しい位置へ投影するための情報であって、
前記第２の制御情報は、前記最後の画像を前記モザイク面上の正しい位置へ投影するための情報であって、前記モザイク面上に画像を投影する際に生じる累積誤差を全モザイクストリップ上の画像に分散するために用いられることを特徴とする。
【請求項８】
請求項６に記載のモザイク画像生成方法であって、
回転変換成分と透視変換成分毎に調整要素を計算するステップでは、
前記最後の(last)画像変換行列による前記最後の画像の方位角（Ａ１）を計算し、
前記第２の画像変換行列による前記最後の画像の方位角（Ａ２）を計算し、
前記計算された方位角の差（Ａ＝Ａ２−Ａ１）を計算し、
前記計算された回転角（Ａ）を、前記モザイクストリップ上の各画像の間の数（Ｎ−１）で除した回転角の変化量（Ａ’＝Ａ／（Ｎ−１））を計算し、
その後、前記計算された回転角の変化量を回転変換成分の調整要素として使用し、透視変換行列の増分を計算することを特徴とする。
【請求項９】
請求項８に記載のモザイク画像生成方法であって、
最後の画像の方位角を計算するステップでは、
変換されたイメージの四つの頂点の座標を求め、
二つの対角線の交点を原点と定め、
前記原点を通る任意の軸を定め、
前記定められた一つの対角線と前記定められた軸との間の角を計算し、
前記画像の方位角は、前記定められた原点に対し、前記定められた一つの対角線と前記定められた軸との間の角とであることを特徴とする。
【請求項１０】
請求項６に記載のモザイク画像生成方法であって、
回転変換成分と透視変換成分毎に調整要素を計算するステップでは、
下記数式（１）によって透視変換成分を計算することを特徴とする。
【数４】
なお、数式（１）中の演算子は、下記数式（２）及び（３）によって表される。また、、数式（１）中の行列Ａは、前記計算された回転角Ａを回転させる回転変換行列であり、数式（１）中の行列Ｂは、前記第２の画像変換行列である。
【数５】
【数６】
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図４】
【図１０】
【図２Ａ】
【図２Ｂ】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図４】
【図１０】
【公開番号】特開２００９−１３４５０９（Ｐ２００９−１３４５０９Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３１００６３（Ｐ２００７−３１００６３）
【出願日】平成１９年１１月３０日（２００７．１１．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月３０日（２００７．１１．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]