モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
【課題】誤差の累積を緩和可能なモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムを提供する。
【解決手段】本発明のモザイク画像合成方法は、第１の画像を撮影した時の位置・姿勢情報を取得し、第２の画像から第Ｎの画像までの各画像とその画像の一つ前の画像との対応関係を求め、当該対応関係に基づき第２の画像から第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定し、第Ｎの画像を撮影した時の位置・姿勢情報を取得し、推定された第Ｎの画像を撮影した時の位置・姿勢情報と、取得された第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する。
【解決手段】本発明のモザイク画像合成方法は、第１の画像を撮影した時の位置・姿勢情報を取得し、第２の画像から第Ｎの画像までの各画像とその画像の一つ前の画像との対応関係を求め、当該対応関係に基づき第２の画像から第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定し、第Ｎの画像を撮影した時の位置・姿勢情報を取得し、推定された第Ｎの画像を撮影した時の位置・姿勢情報と、取得された第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視野の狭い複数の画像から視野の広い１つの画像（モザイク画像）を合成する技術に関する。
【背景技術】
【０００２】
従来から、空中から地上を撮影したビデオ映像から広域写真地図を作成するために、視野の狭い複数の画像から視野の広い１つの画像（モザイク画像）を合成する技術が開発されてきた。
【０００３】
例えば、カメラの位置・姿勢情報をセンサにより取得し、当該位置・姿勢情報に基づいて、補正をして、補正後の画像を貼り合わせる方法がある（例えば、特許文献１参照）。
また、画像間の対応関係を画像解析によって求め、位置・姿勢情報を推定して補正を実施し、補正後の画像を貼り合わせる方法がある（例えば、特許文献２参照）。
【０００４】
しかしながら、特許文献１に示された方法では、合成されたモザイク画像の絶対精度はある程度の範囲に収まるが、相対精度が比較的悪くいため貼り合わされた画像の繋がりが滑らかでない。また、合成されたモザイク画像の精度がセンサの精度に依存するため、高精度のセンサが必要とされる。
一方、特許文献２に示された方法では、相対精度がよいため、貼り合わされた画像の繋がりは滑らかになる。しかし、画像解析の結果に基づく補正と画像の貼り合わせを繰り返すと誤差が累積されため絶対精度が悪く、結果的に合成されたモザイク画像の精度が悪くなる（例えば、地図の場合、合成された地図が実際の地形と相似にならない）という欠点があった。
【０００５】
上記のような欠点を緩和するため、センサによる方法と画像解析による方法とを組み合わせた方法が提案されている（例えば、特許文献３参照）。
特許文献３に示された方法は、画像解析に用いる画像内の複数の対応点のうち、誤差が大きいと推定されるものを画像解析のデータから除外することにより、精度を改善する。
【特許文献１】特許第２９４７１７１号公報
【特許文献２】特開平１１−０４５３２６号公報
【特許文献３】特開２００２−１５０２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、この方法によっても、画像解析に基づく補正の繰り返す点に変わりはなく、誤差の累積により絶対精度が悪化するという欠点は解消されない。
【０００７】
本発明は、上記実情に鑑みてなされたもので、誤差の累積を緩和可能なモザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係るモザイク画像合成装置は、複数枚の画像からモザイク画像を合成するモザイク画像合成装置であって、第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、前記第１の画像及び前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する取得手段と、第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定手段と、前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正手段と、前記補正手段により補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成される、ことを特徴とする。
【０００９】
前記補正手段は、前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に各画像撮影時の誤差をそれぞれ補償する、ことにより補正を実施してもよい。
【００１０】
本発明に係るモザイク画像合成装置は、前記補正手段による補正が実施された後、前記第Ｎの画像を新たな第１の画像とみなして、前記取得手段による位置・姿勢情報の取得と、前記推定手段による位置・姿勢情報の推定と、前記補正手段による位置・姿勢情報の補正と、前記合成手段によるモザイク画像平面の画像へと変換した画像の貼り合わせと、を繰り返し実行してもよい。
【００１１】
本発明の第２の観点に係るモザイク画像合成プログラムは、コンピュータに、第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させる、ことを特徴とする。
【００１２】
前記補正ステップにおける補正は、前記推定ステップにおいて推定された前記第Ｎの画像を撮影したときの位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影したときの位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定ステップにおいて推定された前記第２の画像から前記代Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、前記推定ステップにおいて推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に対して、各画像撮影時の誤差をそれぞれ補償することにより補正を実施してもよい。
【００１３】
本発明に係るモザイク画像合成プログラムは、コンピュータに、前記第１の取得ステップから前記合成ステップまでを実行させた後、前記第Ｎの画像を新たな第１の画像とみなして前記第１の取得ステップから前記合成ステップまでを繰り返し実行させさせてもよい。
【００１４】
本発明の第３の観点に係るモザイク画像合成方法は、複数枚の画像からモザイク画像を合成するモザイク画像合成方法であって、第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成される、ことを特徴とする。
【発明の効果】
【００１５】
画像解析により推定された位置・姿勢情報が有する誤差を補償し、補償後の位置・姿勢情報に基づいてモザイク画像を合成するので、本発明のモザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法は、誤差の累積を緩和することが可能である。
【発明を実施するための最良の形態】
【００１６】
本発明を、航空撮影した映像から、写真地図を作成する用途に適用した場合を例に説明する。航空撮影から合成された写真地図の出力までの手順の概略は、以下の３段階に分けることができる。
第１の段階では、航空撮影により映像を得ると同時に、映像と対応付けて位置・姿勢情報を記録する。
第２の段階では、取得した映像から、フレーム画像を切り出し、切り出したフレーム画像を貼り合わせてモザイク画像を合成する。
第３の段階では、位置・姿勢情報や画像解析の結果に基づいて画像を補正し、最終的なモザイク画像を出力する。
【００１７】
上記第１の段階で映像及び位置・姿勢情報を記録するために、航空撮影用のカメラには、位置及び姿勢の検出装置と、映像及び映像に同期して検出された位置・姿勢情報を記録する記録装置とが設けられている。記録装置は、例えば、ハードディスク、磁気テープ等により構成される。
【００１８】
図１に示すように、位置・姿勢情報はカメラの位置を定義する３つのパラメータ（Ｘ、Ｙ、Ｚ）の情報と、カメラの傾きを定義する３つのパラメータ（φ、θ、ψ）の情報の計６つのパラメータから構成される。
位置を定義するパラメータ（Ｘ、Ｙ、Ｚ）は、ＧＰＳ（Global Positioning System）レシーバにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
また、傾きを定義するパラメータ（φ、θ、ψ）は、カメラに搭載されたジャイロスコープにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
【００１９】
例えば、位置・姿勢情報Φ１が（Ｘ１、Ｙ１、Ｚ１、φ１、θ１、ψ１）であるカメラの位置及び姿勢は、図１に示すように、以下のように定義される。図１（ａ）及び（ｂ）に示すように、位置は、Ｘ、Ｙ、Ｚの各座標軸をそれぞれＸ１、Ｙ１、Ｚ１だけ平行移動した座標系（ｘ１、ｙ１、ｚ１軸とする）の原点の位置にカメラが存在すると定義される。また、図１（ｃ）乃至（ｅ）に示すように、傾きは、ｚ１軸の負方向を向き、カメラの上方にｙ１軸が伸び、カメラの右手にｘ１軸が伸びるように設置されたカメラを基準として、ｚ１軸、ｙ１軸、ｘ１軸の正方向に対して左回りに、順にφ１、θ１、ψ１だけ回転させた方向を向いているものと定義される。
【００２０】
航空撮影の際は、上述のような映像及び位置・姿勢情報を記録する記録装置を備えたカメラをほぼ鉛直下向きになるようにヘリコプター等の航空機に搭載し、地表を撮影しながら、写真地図を作成する地域の上空を飛行する。
【００２１】
航空撮影により得られた映像は、上述の第２及び第３の段階において、モザイク画像合成装置によってモザイク画像へと合成される。モザイク画像合成装置１は、図３に示すように、再生部１１と、ＣＰＵ１２と、メモリ１３と、記憶部１４と、出力部１５とから構成される。
【００２２】
再生部１１は、再生ヘッド、デコーダ等から構成される。再生部１１は、航空撮影により記録した映像と当該映像に対応付けて記録された位置・姿勢情報とをカメラの有する記録装置から取得する。そして、取得した映像を再生して出力部１５に表示させる。また、再生部１１は、再生した映像のうち、利用者により選択されたフレームの画像をメモリ１３に供給する。選択されたフレームの画像は、例えばビットマップ形式の画像データとして、メモリ１３に供給される。また、再生部１１は、ＣＰＵ１２からの求めに応じ、特定の画像が撮影された時の位置・姿勢情報を取得してＣＰＵ１２に供給する。
なお、図示せぬ入力装置（例えば、操作ボタン、マウス、キーボード等）を操作することより、利用者は、映像の再生、一時停止、コマ送り、画像の選択等を指示できるものとする。また、位置・姿勢情報の取得手段は、再生部によって取得される手法に限られず、例えば、利用者が入力装置を操作することによる手動入力によって取得されてもよい。
【００２３】
ＣＰＵ１２は、記憶部１４に格納されたプログラムに基づいて、モザイク画像を合成する。
メモリ１３は、ＲＡＭ（Random Access Memory）等から構成される。メモリ１３は、ＣＰＵ１２による各種処理のためのワークエリアとなる。例えば、メモリ１３は、再生部から取得したＮフレームの画像を一時的に保存する。また、メモリ１３は、合成処理中のモザイク画像を一時的に保存する。
【００２４】
記憶部１４は、磁気記憶装置等から構成される。記憶部１４は、ＣＰＵ１２による各種処理の手順を定義するプログラムを格納する。例えば、記憶部１４は、後述する合成処理のプログラムを格納する。
出力部１５は、表示制御回路、表示装置、プリンタ等から構成される。出力部１５は、再生映像、処理過程の画像、処理後のモザイク画像等を表示又は印刷する。
【００２５】
このような構成のモザイク画像合成装置１により、モザイク画像を合成する合成処理が実施される手順を、図４に示すフローチャートを参照して説明する。
合成処理に先立ち、メモリ１３に合成に用いるＮ枚の画像（第１の画像から第Ｎの画像）を選択して格納する。第１の画像から第Ｎの画像は、時系列でこの順番に撮影されたものとする。また、第２の画像は、第１の画像と撮影範囲が一部重複するように選択される。第３の画像以降第Ｎの画像までについても同様に、１つ前の画像と撮影範囲に重複するように選ばれる。
【００２６】
Ｎ枚の画像を選択してメモリ１３に格納した後、合成処理が実施される。
初めに、ＣＰＵ１２は、メモリ１３から第１の画像を取得する（ステップＳ１００）。次に、ＣＰＵ１２は、再生部１１から第１の画像が撮影された時点の位置・姿勢情報を取得する（ステップＳ１１０）。続いて、ＣＰＵ１２は、第１の画像を位置・姿勢情報に基づき、第１の画像をモザイク画像平面上に投影されたモザイク画像へと変換する（ステップＳ１２０）。
【００２７】
位置・姿勢情報に基づいて、撮影された画像をモザイク画像平面上に投影された画像へと変換する方法は、例えば以下のように実現される。
ここでは、カメラのピンホールモデルを仮定した中心投影により、画像をモザイク画像平面上に投影された画像に変換する方法を示す。図２に示すように、カメラの位置・姿勢情報を（Ｘ１、Ｙ１、Ｚ１、φ１、θ１、ψ１）、焦点距離をｆ１で表し、画像上の点（ｕ１、ｖ１）が、モザイク画像平面上の点（Ｘ、Ｙ）に投影されるとする。この時、（Ｘ、Ｙ）は（ｕ１、ｖ１）を用いて（１）式及び（２）式で求められる（「解析写真測量改訂版」日本写真測量学会参照）。なお、モザイク画像はＺ＝ＺＭの平面上に存在するものとする。
【００２８】
【数１】
【００２９】
上記の各式では、モザイク画像平面の標高ＺＭ及び焦点距離ｆ１が未知数となっている。これらについて、ＺＭは、ＺＭ＝０とし、対地高度Ｚ１−ＺＭが、位置検出装置で得られる標高Ｚ１に等しいと仮定して計算を行えばよい。なお、地表面の平均的な高さが既知である場合には、その高さをＺＭに採用してもよい。また、焦点距離ｆ１はカメラのカタログ値や予め解析的に求めた値を使用すればよい。
【００３０】
上記の変換により、異なる位置・姿勢で撮影された複数の画像が、共通のモザイク画像平面上に投影される。そして、投影された画像を貼り合わせることによりモザイク画像が合成される。
【００３１】
図４に戻って、モザイク画像平面上に投影され合成された画像を表示装置に表示する（ステップＳ１３０）。第１の画像に関しては、第１の画像をモザイク画像平面上に投影した画像がそのまま表示される。第２の画像以降に関しては、順次、貼り合わされたモザイク画像が上書きされ、図５（ｂ）に示したように、大きな画像となっていく。
【００３２】
次に、ＣＰＵ１２は、補正をするかを判定する（ステップＳ１４０）。なお、ステップＳ１４０の判定は、利用者による指示を受け付けてから行ってもよいし、合成した画像の数をカウントしてその数が所定の数に達した場合に補正を行うようにしてもよい。
【００３３】
補正をしないと判定した場合（ステップＳ１４０；Ｎｏ）、ＣＰＵ１２は、次の画像があるかを判定する。次の画像がない場合（ステップＳ１５０；Ｎｏ）、合成処理は終了となる。一方、次の画像がある場合（ステップＳ１５０；Ｙｅｓ）、ＣＰＵ１２は、次の画像（第２の画像）を取得する（ステップＳ１６０）。そして、第１の画像と第２の画像とに共通して存在する複数の特徴点の対応付けをする（ステップＳ１７０）。次に、各特徴点の移動量に基づいて第２の画像を撮影した時点の位置・姿勢情報を推定する（ステップＳ１８０）。
【００３４】
ステップＳ１７０及びステップＳ１８０において実施される、位置・姿勢情報の推定方法について説明する。
被写体（地表）を平面とみなした場合、２枚の画像は射影変換の関係にある。一方の画像内のある点の他方の画像内における位置は、位置・姿勢情報の変化量により一意に求めることができる。このため、逆に、２枚の画像に共通して存在する特徴点を複数抽出し、各特徴点の両画像間での変位量を統計的に処理することで位置・姿勢情報の変化量を推定することが可能である。
【００３５】
以下に、第ｊの画像（ただし、ｊ＜Ｎ−１）についての位置・姿勢情報が既知、第ｊ＋１の画像についての位置・姿勢情報が未知である場合を想定し、位置・姿勢情報の変化量を推定する手順の一例を説明する。
【００３６】
はじめに、第ｊの画像と第ｊ＋１の画像とに共通して存在する特徴点の対応付けをする。特徴点の対応付けの一つの手法として、文献「Detection and Tracking of Point Features」（Carnegie Mellon University Technical Report CMU-CS-91-132、1991）」において述べられているＦｅａｔｕｒｅＴｒａｃｋｅｒを用いる。
【００３７】
簡単に説明すると、ＦｅａｔｕｒｅＴｒａｃｋｅｒでは、画像対のうち、一方の画像において輝度勾配がｘ軸方向、ｙ軸方向ともに大きな点を特徴点として抽出し、時空間微分方程式と呼ばれる拘束条件を用いてその対応点を他の画像から求める。ＦｅａｔｕｒｅＴｒａｃｋｅｒでは、第ｊの画像上の特徴点の座標（ｕ１，ｖ１）と、第ｊ＋１の画像上のその対応点の座標（ｕ２，ｖ２）を対として出力する。ＦｅａｔｕｒｅＴｒａｃｋｅｒを用いて適当な数（例えば１００対）の対応する特徴点の対を求める。
【００３８】
次に、対応付けられた第ｊの画像中の特徴点（ｕ１，ｖ１）と第ｊ＋１の画像中の（ｕ２，ｖ２）について、（１）式及び（２）式と最小二乗法により、次に示す（５）式における、Ｍを最小とするようなＸ２、Ｙ２、Ｚ２、φ２、θ２、ψ２を求める。
【００３９】
【数２】
【００４０】
なお、（５）式において、Σは残りの対応する特徴点の対に関する和である。そして、（５）式における、（８）式及び（９）式に示す部分をそれぞれ、初期値Ｘ１、Ｙ１、Ｚ１、φ１、θ１、ψ１の周りに一次の項までテーラー展開する。
【００４１】
【数３】
【００４２】
そして、次に示す（１０）式により、Ｍが最小となるような変化分ΔＸ、ΔＹ、ΔＺ、Δφ、Δθ、Δψ、を求める。
【００４３】
【数４】
【００４４】
以下、Ｘ２＝Ｘ２＋ΔＸ、Ｙ２＝Ｙ２＋ΔＹ、Ｚ２＝Ｚ２＋ΔＺ、φ２＝φ２＋Δφ、θ２＋Δθ、ψ２＋Δψとし、収束値に達するまで繰り返して漸化的に求める。最終的に、収束値と初期値の差をもって位置・姿勢情報の変化量とする。
【００４５】
図４に戻って、位置・姿勢情報の推定が完了すると、ステップＳ１２０に進み、上述の過程を繰り返す。
【００４６】
一方、ステップＳ１４０で、補正をすると判定した場合（ステップＳ１４０；Ｙｅｓ）の処理を以下に説明する。なお、以下では補正をすると判定されるまでに、Ｎ枚の画像（第１の画像から第Ｎの画像）が合成されている場合を想定して説明する。
ＣＰＵ１２は、再生部１１から第Ｎの画像撮影時の位置・姿勢情報を取得する（ステップＳ１９０）。そして、ステップＳ１８０における位置・姿勢情報の推定を繰り返して得られた第Ｎの画像撮影時の位置・姿勢情報（ΦＮ）と、ステップＳ１９０で取得した第Ｎの画像撮影時の位置・姿勢情報（ΦＮ’）とに基づき、以下に示す（１１）式の演算を実施する。これにより、第ｉの画像（ただし、１＜ｉ＜Ｎ）を撮影した時点の位置・姿勢情報（Φｉ）が補正され、補正後の位置・姿勢情報（Φｉ’）が算出される（ステップＳ２００）。
【００４７】
【数５】
【００４８】
上記（１１）式は、位置・姿勢情報の推定を繰り返すことで生じた誤差をΔΦＮとし、一回の推定につき等量の誤差が生じた、すなわち、推定一回当たりΔΦＮ／（Ｎ−１）の誤差が生じたとして、その誤差量を補償するものである。換言すると、推定された各画像撮影時の位置・姿勢情報が有するべき誤差量を線形補間によって求め、その誤差量を補償するものである。
【００４９】
図４に戻って、ステップＳ１２０に進み、モザイク画像を合成する。このとき、第１の画像及び第Ｎの画像については、それぞれステップＳ１１０及びステップＳ１９０で取得した位置・姿勢情報に基づいて、モザイク画像の合成を実施する。また、第２の画像から第Ｎ−１の画像については、ステップＳ２００で算出された補正後の位置・姿勢情報に基づいて、モザイク画像の合成を実施する。
【００５０】
上記のような手順で合成処理を実施することにより、累積された誤差の影響が緩和されたモザイク画像を合成することができる。図５は、合成処理によってモザイク画像が合成される過程を示す模式図である。
初めに、図５（ａ）に示すように、第１の画像の撮影時の位置・姿勢情報に基づいて、第１の画像がモザイク画像平面上に投影された画像へと変換される（図４におけるステップＳ１００乃至Ｓ１３０）。なお、このときに用いた第１の画像撮影時の位置・姿勢情報は、第２の画像以降の各画像の撮影時の位置・姿勢情報を推定するための基準となる。
【００５１】
次に、図５（ｂ）に示すように、第２の画像から第Ｎの画像について、順次、各画像の撮影時の位置・姿勢情報を推定し、推定された位置・姿勢情報に基づいて各画像をモザイク画像平面上に投影された画像へと変換して合成する。すなわち、図４におけるステップＳ１４０乃至Ｓ１８０とステップＳ１２０及び１３０を繰り返す。図５（ｂ）に示した例では、位置・姿勢情報の誤差が累積することにより、後の画像ほどモザイク画像平面上の画像に変換された際に小さな画像となった場合を想定している。
【００５２】
第Ｎの画像まで、推定した位置・姿勢情報に基づいたモザイク画像の合成が終了すると、第Ｎの画像の撮影時の位置・姿勢情報を取得する（図４におけるステップＳ１９０）。図５に示した例では、取得した位置・姿勢情報に基づいて第Ｎの画像をモザイク画像平面上の画像に変換した場合に、図５（ｃ）中の破線で示したように、推定による位置・姿勢情報よりも大きな画像となったとする。
【００５３】
次に、取得した第Ｎの画像の位置・姿勢情報に基づいて、第２の画像から第Ｎ−１の画像について推定された位置・姿勢情報を補正する（図４におけるステップＳ２００）。そして、補正された位置・姿勢情報に基づいて、モザイク画像を再び合成する（図５（ｄ））。これにより、累積されていた誤差が緩和される。図５の例では、後の画像ほど（ほぼ線形に）小さくなるような誤差が累積されていたが、第１の画像から第Ｎの画像までがほぼ等しい大きさのモザイク画像平面上の画像に変換される。
【００５４】
このように、第１及び第Ｎの画像を撮影した時の位置・姿勢情報に基づいて、画像解析によって推定された位置・姿勢情報を補正する。そして、補正後の位置・姿勢情報に基づいてモザイク画像を合成するので、本発明のモザイク画像合成方法及びモザイク画像合成装置は、誤差の累積を緩和することが可能である。
【００５５】
本実施の形態では、専用のシステムによるモザイク画像合成装置を例に説明したが、本発明のモザイク画像合成装置は、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに、本願に係るモザイク画像合成プログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ等）から、当該プログラムをインストールすることにより、当該コンピュータは、上述の合成処理をするモザイク画像合成装置として機能する。
【００５６】
本実施の形態では、第１の画像から第Ｎの画像までを合成してモザイク画像の合成処理を終了する場合を例に説明したが、本発明のモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムには、第Ｎの画像以降に更に多数の画像を合成して、より大きなモザイク画像を生成する場合も含まれる。
例えば、第Ｎの画像から第Ｍの画像まで（ただしＮ＜Ｍとする）は第Ｎの画像を新たな第１の画像とみなして本実施の形態の合成処理を適用することで、位置・姿勢情報の補正を適宜実施することができる。
【００５７】
また、本実施の形態では、予め定められたＮ枚の画像を、推定した位置・姿勢情報に基づき合成し、その後に位置・姿勢情報を補正する場合を例に説明したが、推定した位置・姿勢情報に基づき合成されたモザイク画像を逐次表示させ、作業者が補正を実施するか否かを適宜判断して必要な部分だけ補正を実施するようにしてもよい。
【００５８】
また、本実施の形態では、位置・姿勢情報を線形補間により補正する場合を例に説明したが、本発明に係るモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムが実施する補正の手法は、線形補間による補正に限定されない。例えば、本発明に係るモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムは、高次の多項式で表現される補正をするようにしてもよい。誤差が高次の多項式で近似できるように累積する場合、有効である。
【図面の簡単な説明】
【００５９】
【図１】位置・姿勢情報の定義を説明する図である。
【図２】ピンホールカメラを用いた場合の位置・姿勢情報に基づいた中心投影を説明する図である。
【図３】モザイク画像合成装置の構成を示すブロック図である。
【図４】合成処理の手順を示すフローチャートである。
【図５】合成処理によりモザイク画像が合成される過程を示す模式図である。
【符号の説明】
【００６０】
１ モザイク画像合成装置
１１ 再生部
１２ ＣＰＵ
１３ メモリ
１４ 記憶部
１５ 出力部
【技術分野】
【０００１】
本発明は、視野の狭い複数の画像から視野の広い１つの画像（モザイク画像）を合成する技術に関する。
【背景技術】
【０００２】
従来から、空中から地上を撮影したビデオ映像から広域写真地図を作成するために、視野の狭い複数の画像から視野の広い１つの画像（モザイク画像）を合成する技術が開発されてきた。
【０００３】
例えば、カメラの位置・姿勢情報をセンサにより取得し、当該位置・姿勢情報に基づいて、補正をして、補正後の画像を貼り合わせる方法がある（例えば、特許文献１参照）。
また、画像間の対応関係を画像解析によって求め、位置・姿勢情報を推定して補正を実施し、補正後の画像を貼り合わせる方法がある（例えば、特許文献２参照）。
【０００４】
しかしながら、特許文献１に示された方法では、合成されたモザイク画像の絶対精度はある程度の範囲に収まるが、相対精度が比較的悪くいため貼り合わされた画像の繋がりが滑らかでない。また、合成されたモザイク画像の精度がセンサの精度に依存するため、高精度のセンサが必要とされる。
一方、特許文献２に示された方法では、相対精度がよいため、貼り合わされた画像の繋がりは滑らかになる。しかし、画像解析の結果に基づく補正と画像の貼り合わせを繰り返すと誤差が累積されため絶対精度が悪く、結果的に合成されたモザイク画像の精度が悪くなる（例えば、地図の場合、合成された地図が実際の地形と相似にならない）という欠点があった。
【０００５】
上記のような欠点を緩和するため、センサによる方法と画像解析による方法とを組み合わせた方法が提案されている（例えば、特許文献３参照）。
特許文献３に示された方法は、画像解析に用いる画像内の複数の対応点のうち、誤差が大きいと推定されるものを画像解析のデータから除外することにより、精度を改善する。
【特許文献１】特許第２９４７１７１号公報
【特許文献２】特開平１１−０４５３２６号公報
【特許文献３】特開２００２−１５０２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、この方法によっても、画像解析に基づく補正の繰り返す点に変わりはなく、誤差の累積により絶対精度が悪化するという欠点は解消されない。
【０００７】
本発明は、上記実情に鑑みてなされたもので、誤差の累積を緩和可能なモザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係るモザイク画像合成装置は、複数枚の画像からモザイク画像を合成するモザイク画像合成装置であって、第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、前記第１の画像及び前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する取得手段と、第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定手段と、前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正手段と、前記補正手段により補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成される、ことを特徴とする。
【０００９】
前記補正手段は、前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に各画像撮影時の誤差をそれぞれ補償する、ことにより補正を実施してもよい。
【００１０】
本発明に係るモザイク画像合成装置は、前記補正手段による補正が実施された後、前記第Ｎの画像を新たな第１の画像とみなして、前記取得手段による位置・姿勢情報の取得と、前記推定手段による位置・姿勢情報の推定と、前記補正手段による位置・姿勢情報の補正と、前記合成手段によるモザイク画像平面の画像へと変換した画像の貼り合わせと、を繰り返し実行してもよい。
【００１１】
本発明の第２の観点に係るモザイク画像合成プログラムは、コンピュータに、第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させる、ことを特徴とする。
【００１２】
前記補正ステップにおける補正は、前記推定ステップにおいて推定された前記第Ｎの画像を撮影したときの位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影したときの位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定ステップにおいて推定された前記第２の画像から前記代Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、前記推定ステップにおいて推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に対して、各画像撮影時の誤差をそれぞれ補償することにより補正を実施してもよい。
【００１３】
本発明に係るモザイク画像合成プログラムは、コンピュータに、前記第１の取得ステップから前記合成ステップまでを実行させた後、前記第Ｎの画像を新たな第１の画像とみなして前記第１の取得ステップから前記合成ステップまでを繰り返し実行させさせてもよい。
【００１４】
本発明の第３の観点に係るモザイク画像合成方法は、複数枚の画像からモザイク画像を合成するモザイク画像合成方法であって、第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成される、ことを特徴とする。
【発明の効果】
【００１５】
画像解析により推定された位置・姿勢情報が有する誤差を補償し、補償後の位置・姿勢情報に基づいてモザイク画像を合成するので、本発明のモザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法は、誤差の累積を緩和することが可能である。
【発明を実施するための最良の形態】
【００１６】
本発明を、航空撮影した映像から、写真地図を作成する用途に適用した場合を例に説明する。航空撮影から合成された写真地図の出力までの手順の概略は、以下の３段階に分けることができる。
第１の段階では、航空撮影により映像を得ると同時に、映像と対応付けて位置・姿勢情報を記録する。
第２の段階では、取得した映像から、フレーム画像を切り出し、切り出したフレーム画像を貼り合わせてモザイク画像を合成する。
第３の段階では、位置・姿勢情報や画像解析の結果に基づいて画像を補正し、最終的なモザイク画像を出力する。
【００１７】
上記第１の段階で映像及び位置・姿勢情報を記録するために、航空撮影用のカメラには、位置及び姿勢の検出装置と、映像及び映像に同期して検出された位置・姿勢情報を記録する記録装置とが設けられている。記録装置は、例えば、ハードディスク、磁気テープ等により構成される。
【００１８】
図１に示すように、位置・姿勢情報はカメラの位置を定義する３つのパラメータ（Ｘ、Ｙ、Ｚ）の情報と、カメラの傾きを定義する３つのパラメータ（φ、θ、ψ）の情報の計６つのパラメータから構成される。
位置を定義するパラメータ（Ｘ、Ｙ、Ｚ）は、ＧＰＳ（Global Positioning System）レシーバにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
また、傾きを定義するパラメータ（φ、θ、ψ）は、カメラに搭載されたジャイロスコープにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
【００１９】
例えば、位置・姿勢情報Φ１が（Ｘ１、Ｙ１、Ｚ１、φ１、θ１、ψ１）であるカメラの位置及び姿勢は、図１に示すように、以下のように定義される。図１（ａ）及び（ｂ）に示すように、位置は、Ｘ、Ｙ、Ｚの各座標軸をそれぞれＸ１、Ｙ１、Ｚ１だけ平行移動した座標系（ｘ１、ｙ１、ｚ１軸とする）の原点の位置にカメラが存在すると定義される。また、図１（ｃ）乃至（ｅ）に示すように、傾きは、ｚ１軸の負方向を向き、カメラの上方にｙ１軸が伸び、カメラの右手にｘ１軸が伸びるように設置されたカメラを基準として、ｚ１軸、ｙ１軸、ｘ１軸の正方向に対して左回りに、順にφ１、θ１、ψ１だけ回転させた方向を向いているものと定義される。
【００２０】
航空撮影の際は、上述のような映像及び位置・姿勢情報を記録する記録装置を備えたカメラをほぼ鉛直下向きになるようにヘリコプター等の航空機に搭載し、地表を撮影しながら、写真地図を作成する地域の上空を飛行する。
【００２１】
航空撮影により得られた映像は、上述の第２及び第３の段階において、モザイク画像合成装置によってモザイク画像へと合成される。モザイク画像合成装置１は、図３に示すように、再生部１１と、ＣＰＵ１２と、メモリ１３と、記憶部１４と、出力部１５とから構成される。
【００２２】
再生部１１は、再生ヘッド、デコーダ等から構成される。再生部１１は、航空撮影により記録した映像と当該映像に対応付けて記録された位置・姿勢情報とをカメラの有する記録装置から取得する。そして、取得した映像を再生して出力部１５に表示させる。また、再生部１１は、再生した映像のうち、利用者により選択されたフレームの画像をメモリ１３に供給する。選択されたフレームの画像は、例えばビットマップ形式の画像データとして、メモリ１３に供給される。また、再生部１１は、ＣＰＵ１２からの求めに応じ、特定の画像が撮影された時の位置・姿勢情報を取得してＣＰＵ１２に供給する。
なお、図示せぬ入力装置（例えば、操作ボタン、マウス、キーボード等）を操作することより、利用者は、映像の再生、一時停止、コマ送り、画像の選択等を指示できるものとする。また、位置・姿勢情報の取得手段は、再生部によって取得される手法に限られず、例えば、利用者が入力装置を操作することによる手動入力によって取得されてもよい。
【００２３】
ＣＰＵ１２は、記憶部１４に格納されたプログラムに基づいて、モザイク画像を合成する。
メモリ１３は、ＲＡＭ（Random Access Memory）等から構成される。メモリ１３は、ＣＰＵ１２による各種処理のためのワークエリアとなる。例えば、メモリ１３は、再生部から取得したＮフレームの画像を一時的に保存する。また、メモリ１３は、合成処理中のモザイク画像を一時的に保存する。
【００２４】
記憶部１４は、磁気記憶装置等から構成される。記憶部１４は、ＣＰＵ１２による各種処理の手順を定義するプログラムを格納する。例えば、記憶部１４は、後述する合成処理のプログラムを格納する。
出力部１５は、表示制御回路、表示装置、プリンタ等から構成される。出力部１５は、再生映像、処理過程の画像、処理後のモザイク画像等を表示又は印刷する。
【００２５】
このような構成のモザイク画像合成装置１により、モザイク画像を合成する合成処理が実施される手順を、図４に示すフローチャートを参照して説明する。
合成処理に先立ち、メモリ１３に合成に用いるＮ枚の画像（第１の画像から第Ｎの画像）を選択して格納する。第１の画像から第Ｎの画像は、時系列でこの順番に撮影されたものとする。また、第２の画像は、第１の画像と撮影範囲が一部重複するように選択される。第３の画像以降第Ｎの画像までについても同様に、１つ前の画像と撮影範囲に重複するように選ばれる。
【００２６】
Ｎ枚の画像を選択してメモリ１３に格納した後、合成処理が実施される。
初めに、ＣＰＵ１２は、メモリ１３から第１の画像を取得する（ステップＳ１００）。次に、ＣＰＵ１２は、再生部１１から第１の画像が撮影された時点の位置・姿勢情報を取得する（ステップＳ１１０）。続いて、ＣＰＵ１２は、第１の画像を位置・姿勢情報に基づき、第１の画像をモザイク画像平面上に投影されたモザイク画像へと変換する（ステップＳ１２０）。
【００２７】
位置・姿勢情報に基づいて、撮影された画像をモザイク画像平面上に投影された画像へと変換する方法は、例えば以下のように実現される。
ここでは、カメラのピンホールモデルを仮定した中心投影により、画像をモザイク画像平面上に投影された画像に変換する方法を示す。図２に示すように、カメラの位置・姿勢情報を（Ｘ１、Ｙ１、Ｚ１、φ１、θ１、ψ１）、焦点距離をｆ１で表し、画像上の点（ｕ１、ｖ１）が、モザイク画像平面上の点（Ｘ、Ｙ）に投影されるとする。この時、（Ｘ、Ｙ）は（ｕ１、ｖ１）を用いて（１）式及び（２）式で求められる（「解析写真測量改訂版」日本写真測量学会参照）。なお、モザイク画像はＺ＝ＺＭの平面上に存在するものとする。
【００２８】
【数１】
【００２９】
上記の各式では、モザイク画像平面の標高ＺＭ及び焦点距離ｆ１が未知数となっている。これらについて、ＺＭは、ＺＭ＝０とし、対地高度Ｚ１−ＺＭが、位置検出装置で得られる標高Ｚ１に等しいと仮定して計算を行えばよい。なお、地表面の平均的な高さが既知である場合には、その高さをＺＭに採用してもよい。また、焦点距離ｆ１はカメラのカタログ値や予め解析的に求めた値を使用すればよい。
【００３０】
上記の変換により、異なる位置・姿勢で撮影された複数の画像が、共通のモザイク画像平面上に投影される。そして、投影された画像を貼り合わせることによりモザイク画像が合成される。
【００３１】
図４に戻って、モザイク画像平面上に投影され合成された画像を表示装置に表示する（ステップＳ１３０）。第１の画像に関しては、第１の画像をモザイク画像平面上に投影した画像がそのまま表示される。第２の画像以降に関しては、順次、貼り合わされたモザイク画像が上書きされ、図５（ｂ）に示したように、大きな画像となっていく。
【００３２】
次に、ＣＰＵ１２は、補正をするかを判定する（ステップＳ１４０）。なお、ステップＳ１４０の判定は、利用者による指示を受け付けてから行ってもよいし、合成した画像の数をカウントしてその数が所定の数に達した場合に補正を行うようにしてもよい。
【００３３】
補正をしないと判定した場合（ステップＳ１４０；Ｎｏ）、ＣＰＵ１２は、次の画像があるかを判定する。次の画像がない場合（ステップＳ１５０；Ｎｏ）、合成処理は終了となる。一方、次の画像がある場合（ステップＳ１５０；Ｙｅｓ）、ＣＰＵ１２は、次の画像（第２の画像）を取得する（ステップＳ１６０）。そして、第１の画像と第２の画像とに共通して存在する複数の特徴点の対応付けをする（ステップＳ１７０）。次に、各特徴点の移動量に基づいて第２の画像を撮影した時点の位置・姿勢情報を推定する（ステップＳ１８０）。
【００３４】
ステップＳ１７０及びステップＳ１８０において実施される、位置・姿勢情報の推定方法について説明する。
被写体（地表）を平面とみなした場合、２枚の画像は射影変換の関係にある。一方の画像内のある点の他方の画像内における位置は、位置・姿勢情報の変化量により一意に求めることができる。このため、逆に、２枚の画像に共通して存在する特徴点を複数抽出し、各特徴点の両画像間での変位量を統計的に処理することで位置・姿勢情報の変化量を推定することが可能である。
【００３５】
以下に、第ｊの画像（ただし、ｊ＜Ｎ−１）についての位置・姿勢情報が既知、第ｊ＋１の画像についての位置・姿勢情報が未知である場合を想定し、位置・姿勢情報の変化量を推定する手順の一例を説明する。
【００３６】
はじめに、第ｊの画像と第ｊ＋１の画像とに共通して存在する特徴点の対応付けをする。特徴点の対応付けの一つの手法として、文献「Detection and Tracking of Point Features」（Carnegie Mellon University Technical Report CMU-CS-91-132、1991）」において述べられているＦｅａｔｕｒｅＴｒａｃｋｅｒを用いる。
【００３７】
簡単に説明すると、ＦｅａｔｕｒｅＴｒａｃｋｅｒでは、画像対のうち、一方の画像において輝度勾配がｘ軸方向、ｙ軸方向ともに大きな点を特徴点として抽出し、時空間微分方程式と呼ばれる拘束条件を用いてその対応点を他の画像から求める。ＦｅａｔｕｒｅＴｒａｃｋｅｒでは、第ｊの画像上の特徴点の座標（ｕ１，ｖ１）と、第ｊ＋１の画像上のその対応点の座標（ｕ２，ｖ２）を対として出力する。ＦｅａｔｕｒｅＴｒａｃｋｅｒを用いて適当な数（例えば１００対）の対応する特徴点の対を求める。
【００３８】
次に、対応付けられた第ｊの画像中の特徴点（ｕ１，ｖ１）と第ｊ＋１の画像中の（ｕ２，ｖ２）について、（１）式及び（２）式と最小二乗法により、次に示す（５）式における、Ｍを最小とするようなＸ２、Ｙ２、Ｚ２、φ２、θ２、ψ２を求める。
【００３９】
【数２】
【００４０】
なお、（５）式において、Σは残りの対応する特徴点の対に関する和である。そして、（５）式における、（８）式及び（９）式に示す部分をそれぞれ、初期値Ｘ１、Ｙ１、Ｚ１、φ１、θ１、ψ１の周りに一次の項までテーラー展開する。
【００４１】
【数３】
【００４２】
そして、次に示す（１０）式により、Ｍが最小となるような変化分ΔＸ、ΔＹ、ΔＺ、Δφ、Δθ、Δψ、を求める。
【００４３】
【数４】
【００４４】
以下、Ｘ２＝Ｘ２＋ΔＸ、Ｙ２＝Ｙ２＋ΔＹ、Ｚ２＝Ｚ２＋ΔＺ、φ２＝φ２＋Δφ、θ２＋Δθ、ψ２＋Δψとし、収束値に達するまで繰り返して漸化的に求める。最終的に、収束値と初期値の差をもって位置・姿勢情報の変化量とする。
【００４５】
図４に戻って、位置・姿勢情報の推定が完了すると、ステップＳ１２０に進み、上述の過程を繰り返す。
【００４６】
一方、ステップＳ１４０で、補正をすると判定した場合（ステップＳ１４０；Ｙｅｓ）の処理を以下に説明する。なお、以下では補正をすると判定されるまでに、Ｎ枚の画像（第１の画像から第Ｎの画像）が合成されている場合を想定して説明する。
ＣＰＵ１２は、再生部１１から第Ｎの画像撮影時の位置・姿勢情報を取得する（ステップＳ１９０）。そして、ステップＳ１８０における位置・姿勢情報の推定を繰り返して得られた第Ｎの画像撮影時の位置・姿勢情報（ΦＮ）と、ステップＳ１９０で取得した第Ｎの画像撮影時の位置・姿勢情報（ΦＮ’）とに基づき、以下に示す（１１）式の演算を実施する。これにより、第ｉの画像（ただし、１＜ｉ＜Ｎ）を撮影した時点の位置・姿勢情報（Φｉ）が補正され、補正後の位置・姿勢情報（Φｉ’）が算出される（ステップＳ２００）。
【００４７】
【数５】
【００４８】
上記（１１）式は、位置・姿勢情報の推定を繰り返すことで生じた誤差をΔΦＮとし、一回の推定につき等量の誤差が生じた、すなわち、推定一回当たりΔΦＮ／（Ｎ−１）の誤差が生じたとして、その誤差量を補償するものである。換言すると、推定された各画像撮影時の位置・姿勢情報が有するべき誤差量を線形補間によって求め、その誤差量を補償するものである。
【００４９】
図４に戻って、ステップＳ１２０に進み、モザイク画像を合成する。このとき、第１の画像及び第Ｎの画像については、それぞれステップＳ１１０及びステップＳ１９０で取得した位置・姿勢情報に基づいて、モザイク画像の合成を実施する。また、第２の画像から第Ｎ−１の画像については、ステップＳ２００で算出された補正後の位置・姿勢情報に基づいて、モザイク画像の合成を実施する。
【００５０】
上記のような手順で合成処理を実施することにより、累積された誤差の影響が緩和されたモザイク画像を合成することができる。図５は、合成処理によってモザイク画像が合成される過程を示す模式図である。
初めに、図５（ａ）に示すように、第１の画像の撮影時の位置・姿勢情報に基づいて、第１の画像がモザイク画像平面上に投影された画像へと変換される（図４におけるステップＳ１００乃至Ｓ１３０）。なお、このときに用いた第１の画像撮影時の位置・姿勢情報は、第２の画像以降の各画像の撮影時の位置・姿勢情報を推定するための基準となる。
【００５１】
次に、図５（ｂ）に示すように、第２の画像から第Ｎの画像について、順次、各画像の撮影時の位置・姿勢情報を推定し、推定された位置・姿勢情報に基づいて各画像をモザイク画像平面上に投影された画像へと変換して合成する。すなわち、図４におけるステップＳ１４０乃至Ｓ１８０とステップＳ１２０及び１３０を繰り返す。図５（ｂ）に示した例では、位置・姿勢情報の誤差が累積することにより、後の画像ほどモザイク画像平面上の画像に変換された際に小さな画像となった場合を想定している。
【００５２】
第Ｎの画像まで、推定した位置・姿勢情報に基づいたモザイク画像の合成が終了すると、第Ｎの画像の撮影時の位置・姿勢情報を取得する（図４におけるステップＳ１９０）。図５に示した例では、取得した位置・姿勢情報に基づいて第Ｎの画像をモザイク画像平面上の画像に変換した場合に、図５（ｃ）中の破線で示したように、推定による位置・姿勢情報よりも大きな画像となったとする。
【００５３】
次に、取得した第Ｎの画像の位置・姿勢情報に基づいて、第２の画像から第Ｎ−１の画像について推定された位置・姿勢情報を補正する（図４におけるステップＳ２００）。そして、補正された位置・姿勢情報に基づいて、モザイク画像を再び合成する（図５（ｄ））。これにより、累積されていた誤差が緩和される。図５の例では、後の画像ほど（ほぼ線形に）小さくなるような誤差が累積されていたが、第１の画像から第Ｎの画像までがほぼ等しい大きさのモザイク画像平面上の画像に変換される。
【００５４】
このように、第１及び第Ｎの画像を撮影した時の位置・姿勢情報に基づいて、画像解析によって推定された位置・姿勢情報を補正する。そして、補正後の位置・姿勢情報に基づいてモザイク画像を合成するので、本発明のモザイク画像合成方法及びモザイク画像合成装置は、誤差の累積を緩和することが可能である。
【００５５】
本実施の形態では、専用のシステムによるモザイク画像合成装置を例に説明したが、本発明のモザイク画像合成装置は、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに、本願に係るモザイク画像合成プログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ等）から、当該プログラムをインストールすることにより、当該コンピュータは、上述の合成処理をするモザイク画像合成装置として機能する。
【００５６】
本実施の形態では、第１の画像から第Ｎの画像までを合成してモザイク画像の合成処理を終了する場合を例に説明したが、本発明のモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムには、第Ｎの画像以降に更に多数の画像を合成して、より大きなモザイク画像を生成する場合も含まれる。
例えば、第Ｎの画像から第Ｍの画像まで（ただしＮ＜Ｍとする）は第Ｎの画像を新たな第１の画像とみなして本実施の形態の合成処理を適用することで、位置・姿勢情報の補正を適宜実施することができる。
【００５７】
また、本実施の形態では、予め定められたＮ枚の画像を、推定した位置・姿勢情報に基づき合成し、その後に位置・姿勢情報を補正する場合を例に説明したが、推定した位置・姿勢情報に基づき合成されたモザイク画像を逐次表示させ、作業者が補正を実施するか否かを適宜判断して必要な部分だけ補正を実施するようにしてもよい。
【００５８】
また、本実施の形態では、位置・姿勢情報を線形補間により補正する場合を例に説明したが、本発明に係るモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムが実施する補正の手法は、線形補間による補正に限定されない。例えば、本発明に係るモザイク画像合成方法、モザイク画像合成装置及びモザイク画像合成プログラムは、高次の多項式で表現される補正をするようにしてもよい。誤差が高次の多項式で近似できるように累積する場合、有効である。
【図面の簡単な説明】
【００５９】
【図１】位置・姿勢情報の定義を説明する図である。
【図２】ピンホールカメラを用いた場合の位置・姿勢情報に基づいた中心投影を説明する図である。
【図３】モザイク画像合成装置の構成を示すブロック図である。
【図４】合成処理の手順を示すフローチャートである。
【図５】合成処理によりモザイク画像が合成される過程を示す模式図である。
【符号の説明】
【００６０】
１ モザイク画像合成装置
１１ 再生部
１２ ＣＰＵ
１３ メモリ
１４ 記憶部
１５ 出力部
【特許請求の範囲】
【請求項１】
複数枚の画像からモザイク画像を合成するモザイク画像合成装置であって、
第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、
前記第１の画像及び前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する取得手段と、
第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定手段と、
前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正手段と、
前記補正手段により補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成される、
ことを特徴とするモザイク画像合成装置。
【請求項２】
前記補正手段は、
前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、
前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、
前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に各画像撮影時の誤差をそれぞれ補償する、ことにより補正を実施する、
ことを特徴とする請求項１に記載のモザイク画像合成装置。
【請求項３】
前記補正手段による補正が実施された後、前記第Ｎの画像を新たな第１の画像とみなして、前記取得手段による位置・姿勢情報の取得と、前記推定手段による位置・姿勢情報の推定と、前記補正手段による位置・姿勢情報の補正と、前記合成手段によるモザイク画像平面の画像へと変換した画像の貼り合わせと、を繰り返し実行する、
ことを特徴とする請求項１又は２に記載のモザイク画像合成装置。
【請求項４】
コンピュータに、
第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、
前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、
第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、
前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、
前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、
補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させる、
ことを特徴とするモザイク画像合成プログラム。
【請求項５】
前記補正ステップにおける補正は、
前記推定ステップにおいて推定された前記第Ｎの画像を撮影したときの位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影したときの位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、
前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定ステップにおいて推定された前記第２の画像から前記代Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、
前記推定ステップにおいて推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に対して、各画像撮影時の誤差をそれぞれ補償することにより補正を実施する、
ことを特徴とする請求項４に記載のモザイク画像合成プログラム。
【請求項６】
コンピュータに、
前記第１の取得ステップから前記合成ステップまでを実行させた後、前記第Ｎの画像を新たな第１の画像とみなして前記第１の取得ステップから前記合成ステップまでを繰り返し実行させる、
ことを特徴とする請求項４又は５に記載のモザイク画像合成プログラム。
【請求項７】
複数枚の画像からモザイク画像を合成するモザイク画像合成方法であって、
第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、
前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、
第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、
前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、
前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、
補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成される、
ことを特徴とするモザイク画像合成方法。
【請求項１】
複数枚の画像からモザイク画像を合成するモザイク画像合成装置であって、
第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、
前記第１の画像及び前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する取得手段と、
第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定手段と、
前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正手段と、
前記補正手段により補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成される、
ことを特徴とするモザイク画像合成装置。
【請求項２】
前記補正手段は、
前記推定手段により推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と前記取得手段により取得された前記第Ｎの画像を撮影した時の位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、
前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、
前記推定手段により推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に各画像撮影時の誤差をそれぞれ補償する、ことにより補正を実施する、
ことを特徴とする請求項１に記載のモザイク画像合成装置。
【請求項３】
前記補正手段による補正が実施された後、前記第Ｎの画像を新たな第１の画像とみなして、前記取得手段による位置・姿勢情報の取得と、前記推定手段による位置・姿勢情報の推定と、前記補正手段による位置・姿勢情報の補正と、前記合成手段によるモザイク画像平面の画像へと変換した画像の貼り合わせと、を繰り返し実行する、
ことを特徴とする請求項１又は２に記載のモザイク画像合成装置。
【請求項４】
コンピュータに、
第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から前記第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、
前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、
第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、
前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、
前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、
補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させる、
ことを特徴とするモザイク画像合成プログラム。
【請求項５】
前記補正ステップにおける補正は、
前記推定ステップにおいて推定された前記第Ｎの画像を撮影したときの位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影したときの位置・姿勢情報との差で表される前記第Ｎの画像の撮影時の誤差を算出し、
前記第１の画像の撮影時の誤差をゼロとして前記第Ｎの画像の撮影時の誤差までの間を補間することにより、前記推定ステップにおいて推定された前記第２の画像から前記代Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、
前記推定ステップにおいて推定された前記第２の画像から前記第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報に対して、各画像撮影時の誤差をそれぞれ補償することにより補正を実施する、
ことを特徴とする請求項４に記載のモザイク画像合成プログラム。
【請求項６】
コンピュータに、
前記第１の取得ステップから前記合成ステップまでを実行させた後、前記第Ｎの画像を新たな第１の画像とみなして前記第１の取得ステップから前記合成ステップまでを繰り返し実行させる、
ことを特徴とする請求項４又は５に記載のモザイク画像合成プログラム。
【請求項７】
複数枚の画像からモザイク画像を合成するモザイク画像合成方法であって、
第１の画像から第Ｎの画像の順に並んだＮ枚の画像であって、第２の画像から第Ｎの画像の一部が一つ前の画像の一部と共通するように選択されたＮ枚の画像に対し、
前記第１の画像を撮影した時の位置・姿勢情報を取得する第１の取得ステップと、
第２の画像から前記第Ｎの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第２の画像から前記第Ｎの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、
前記第Ｎの画像を撮影した時の位置・姿勢情報を取得する第２の取得ステップと、
前記推定ステップにおいて推定された前記第Ｎの画像を撮影した時の位置・姿勢情報と、前記第２の取得ステップにおいて取得された前記第Ｎの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第２の画像から第Ｎ−１の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、
補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第１の画像から前記第Ｎの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成される、
ことを特徴とするモザイク画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−１８９９４０（Ｐ２００６−１８９９４０Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００４−３８１７９７（Ｐ２００４−３８１７９７）
【出願日】平成１６年１２月２８日（２００４．１２．２８）
【出願人】（０００１０２７２８）株式会社エヌ・ティ・ティ・データ (438)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１６年１２月２８日（２００４．１２．２８）
【出願人】（０００１０２７２８）株式会社エヌ・ティ・ティ・データ (438)
【Ｆターム（参考）】
[ Back to top ]