画像合成処理装置及び方法
【課題】広範囲にわたる被写体全体を精細に写すとともに高精度な画像を得ることができる画像合成処理装置及び方法を提供する。
【解決手段】焦点距離が短い状態で撮影された広角画像１１０と、広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像１１０との写真画像データを入力する画像入力手段２と、画像入力手段により入力された広角画像と第１望遠画像とに共通して写っている被写体の同一位置を示す合成基準点１１ａ〜１１ｄ，１２ａ〜１２ｄを４組以上指定する基準点指定手段３ａと、基準点指定手段により指定された合成基準点の座標値に基づいて射影変換式を算出する演算装置３ｂと、射影変換式により第１望遠画像を射影変換して第２望遠画像１３０を作成する座標点変換手段３ｅと、第２望遠画像を広角画像中に合成表示して合成画像を作成する画像合成手段３ｆとを有する。
【解決手段】焦点距離が短い状態で撮影された広角画像１１０と、広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像１１０との写真画像データを入力する画像入力手段２と、画像入力手段により入力された広角画像と第１望遠画像とに共通して写っている被写体の同一位置を示す合成基準点１１ａ〜１１ｄ，１２ａ〜１２ｄを４組以上指定する基準点指定手段３ａと、基準点指定手段により指定された合成基準点の座標値に基づいて射影変換式を算出する演算装置３ｂと、射影変換式により第１望遠画像を射影変換して第２望遠画像１３０を作成する座標点変換手段３ｅと、第２望遠画像を広角画像中に合成表示して合成画像を作成する画像合成手段３ｆとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点距離の短い状態で撮影された広角画像と、その広角画像と同じ撮影位置から撮影領域の一部を、焦点距離の長い状態で撮影された望遠画像とを合成する画像合成処理装置及び方法に関する。
【背景技術】
【０００２】
従来からデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術が、画像計測の分野などで用いられている。この画像計測の対象となる被写体は様々であるが、例えば崖の地滑りの状況や、橋梁や橋脚などのコンクリート構造物のクラック（ひび割れ）など、かなり広範囲にわたって分布するとともに当該被写体に近づいて撮影することが困難なものが多い。
【０００３】
このような撮影位置から遠い距離にある被写体を広い領域で撮影するためには、焦点距離の短いカメラで広角に撮影するのが一般的である。しかしながら、そのようにして撮影された広角画像においては、被写体の単位面積あたりに相当する写真の画素数が少なくなるため、写真画像の一画素あたりに相当する被写体の領域が大きくなり、その結果、画像に写っている特徴がぼやけてしまうという問題点がある。この問題点は、特に写真画像を拡大表示した時に顕著となる。
【０００４】
このような問題点を解決する方法としては、焦点距離の長いカメラで撮影した望遠画像を用いて、同じ撮影位置から撮影範囲の一部がオーバーラップするように複数枚の写真を撮影し、これを複数枚つなぎ合わせて一枚の大きな連結画像とする方法が考えられる。この方法によれば、被写体の単位面積あたりに写っている写真の画素数が多くなり、一画素あたりに投影されている被写体の領域が狭いため、写真に写っている特徴は明確になる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記方法においては、個々の写真の光軸が異なる場合、隣り合う望遠画像をつなぎ合わせていくときに、２枚の写真の間にわずかに誤差が生じてしまうという問題点がある。特に写真画像においては、画像の端部領域においてレンズの収差に基づく被写体像のゆがみが大きいため、複数枚の写真を互いの端部に被写体が共通するように撮影して、当該複数枚の写真をつなぎ合わせた場合、その誤差（ずれ）が大きくなりやすい。すなわち、被写体全体が撮影されている連結画像ができるまで望遠画像を繰り返しつなぎ合わせていくと、最後に連結される画像の本来の画像の位置からのずれは、累積的に大きくなってしまう。したがって、広範囲にわたる被写体の全体を精細に写すとともに高精度な連結（合成）画像を得ることは困難であった。
【０００６】
したがって、本発明が解決しようとする技術的課題は、広範囲にわたる被写体全体を精細に写すとともに高精度な画像を得ることができる画像合成処理装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記技術的課題を解決するために、以下の画像合成処理装置及び方法を提供する。
【０００８】
本発明の第１態様によれば、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像との写真画像データを入力する画像入力手段と、
前記画像入力手段により入力された前記広角画像と前記第１望遠画像とに共通して写っている被写体の同一位置を示す合成基準点を、４組以上指定する基準点指定手段と、
前記基準点指定手段により指定された前記合成基準点の座標値に基づいて、対応する射影変換式を算出する演算装置と、
前記演算装置により算出された前記射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成する座標点変換手段と、
前記第２望遠画像を、前記広角画像中の対応位置に合成表示する画像合成手段と、
を有することを特徴とする画像合成処理装置を提供する。
【０００９】
本発明の第２態様によれば、前記演算装置は、さらに、前記第２望遠画像に外接する矩形の外接枠を演算するとともに、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記座標点変換手段は、さらに、前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記画像合成手段は、前記第２望遠画像に代えて、前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする請求項１に記載の画像合成処理装置を提供する。
【００１０】
本発明の第３態様によれば、前記座標点変換手段は、前記第１望遠画像の各点を下記式により射影変換することによって前記第３望遠画像を作成することを特徴とする請求項２に記載の画像合成処理装置を提供する。
【数１】
上記式において、ｘは第１望遠画像中の任意の点のＸ座標、ｙは第１望遠画像中の任意の点のＹ座標、ｘ１６は第３望遠画像のＸ座標、ｙ１６は第３望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ射影変換式の定数を示す。
【００１１】
本発明の第４態様によれば、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像とを用いて、合成表示する方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記望遠画像を前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法を提供する。
【００１２】
本発明の第５態様によれば、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像とを用いて、合成画像を合成する画像合成処理方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成し、
前記第２望遠画像に外接する矩形の外接枠を演算して、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法を提供する。
【発明の効果】
【００１３】
本発明の第１及び第４態様によれば、望遠画像と広角画像とを用い、望遠画像中の被写体像を広角画像中の被写体像に一致させるように、望遠画像と広角画像とを見かけ上合成する。すなわち、合成画像は、当該合成写真画像の表示において当該一致する被写体像については、望遠画像を表示する。すなわち、合成写真画像は、その被写体像全体については、望遠画像の精細な情報が用いられているので、当該領域については精細な画像情報を得ることができる。
【００１４】
また、広角画像と望遠画像との光軸中心にずれが生じているような場合であっても、当該望遠画像を射影変換することにより、望遠画像を広角画像の光軸から撮影したように変形して両写真画像の被写体像を一致させることができる。したがって、合成写真画像の作成時において、当該被写体像のずれの誤差を少なくし、被写体にきわめて近い被写体像を有する高精度な合成写真画像を作成することができる。
【００１５】
また、本発明の第２及び第５態様によれば、射影変換により縮小される望遠画像の変換領域に外接する外接枠を用いて変換前後の望遠画像の倍率としてのＸ軸スケール及びＹ軸スケールを求めることにより、射影変換時に望遠画像を縮小することなく射影変換することができる。したがって、射影変換時の縮小による望遠画像の画素数の減少をなくすことができ、高精細な画像を広角画像上に重ね合わせて表示することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態に係る画像合成処理装置について、図面を参照しながら説明する。
【００１７】
本実施形態にかかる画像合成処理装置は、写真画像を入力し、画像合成するためのコンピュータで構成される。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、当該コンピュータには、後述するような画像合成処理を行わせるためのプログラムをインストールしておけばよい。
【００１８】
本装置において用いられる写真画像は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等を撮像素子とするデジタルスチルカメラやデジタルビデオカメラを用いて撮影等により得られるデジタル情報であることが最も望ましいが、例えばアナログスチルカメラやアナログビデオカメラを用いた撮影等により得られるアナログ情報をスキャナなどの装置を用いてデジタル情報に変換したものを用いることもできる。デジタル情報として得た写真画像は、コンピュータで直接取り扱うことができる。また、紙やプラスチックフィルム等に形成した写真画像のハードコピーを直接用いることもでき、そのようなハードコピーを画像スキャナ等によりデジタル情報化して用いることもできる。
【００１９】
図１は、本発明の実施形態に係る画像合成処理装置１のブロック図である。本画像合成処理装置１は、カメラ７及びキーボードやマウスなどの入力装置８と接続するための画像入力手段の一例であるインターフェース部２、装置全体の制御を司る制御演算部３、写真画像などを表示する表示部４、合成される写真画像やデータなどの蓄積領域として機能する記憶部５、及び上記プログラムがインストールされることによってシステムプログラムとして機能するシステムプログラム記憶部６を備えている。
【００２０】
制御演算部３には、後述するように、上記システムプログラムにより駆動され画像合成を実行するためのブロック３ａ〜３ｆが設けられている。これらの各ブロックは、それぞれ単独で、または装置内の他のブロックと協働して、以下に示す処理を行う機能ブロックとして機能する。
【００２１】
次に、図２を用いて、画像合成処理装置１を用いて画像合成を行う処理の流れについて説明する。図２は、図１の画像合成処理装置１の画像合成処理のフロー図である。本画像合成処理装置１を用いて画像合成処理を行う場合には、以下に示す各ステップの処理は、主に装置の制御演算部３の各ブロック３ａ〜３ｆが処理を司る。つまり、基準点指定部３ａと、演算手段の一例である射影変換式算出部３ｂ、外接枠演算部３ｃ、及びスケール算出部３ｄと、座標点変換部３ｅと、画像合成部３ｆとが処理を司る。
【００２２】
まず、同一撮影位置において、カメラ７によって広角画像と望遠画像とを撮影し、当該画像を画像合成処理装置１のインターフェース部２に入力する（ステップＳ１）。インターフェース部２に入力された広角画像と望遠画像は、画像記憶部５に記憶され、操作時に表示部４に表示される。
【００２３】
なお、望遠画像は、広角画像中の一部分を撮影したものであり、２枚以上であってもよい。さらに、望遠画像は、広角画像と同一場所からの撮影であれば、カメラの光軸の方向を変えて撮影した画像であってもよい。本実施形態において望遠画像及び広角画像は、理解の便宜のため、１枚ずつ撮影したものとして説明を進める。また、本実施形態において用いる広角画像や望遠画像は、それぞれ予めレンズの収差による歪みを補正しておくことが望ましいが、絶対条件ではない。
【００２４】
また、本実施形態において、画像合成処理に用いられる写真画像は、例えば、図３，図４に示すようなものである。図３はカメラ７により焦点距離の短い状態で撮影された広角画像１１０を示し、図４は図３の広角画像１１０と同じ位置から焦点距離の長い状態でカメラ７により撮影された（第１）望遠画像１２０を示している。これらの写真画像は、撮影位置は同じであるが、撮影の光軸中心の位置がずれていてもよい。すなわち、広角画像１１０の被写体の一部が望遠画像１２０に撮影されている状態となっている。当該写真画像単位でＸＹ座標系を用いて画像中の任意の点を２次元的に表すことができる。本実施形態においては、写真画像の長手方向をＸ軸、短手方向をＹ軸とし、原点は、図３，図４に示す各写真画像の左上コーナー部とする。
【００２５】
次に、入力装置８を操作して表示部に表示された広角画像と望遠画像において、被写体の同じ点を示す合成基準点をそれぞれ４点以上指定する（ステップＳ２）。本実施形態においては、図５に示すように、広角画像１１０中に合成基準点１１ａ〜１１ｄ、望遠画像１２０中に合成基準点１２ａ〜１２ｄの４点ずつ、合計８点を指定する。すなわち、４組の合成基準点を指定する。
【００２６】
当該合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄの指定は、表示部４に表示されている広角画像１１０と望遠画像１２０とを参照しながらマウスなどの入力装置８を操作して入力する。当該入力された点は基準点指定部３ａにより合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄとして認識される。このとき、画像中に写っている被写体中の物体の端部分など被写体の特徴部分を合成基準点として指定すると、広角画像１１０と望遠画像１２０について同じ点を指定しやすい。この合成基準点の広角画像１１０上の座標をそれぞれ１１ａ（ｘ１１ａ，ｙ１１ａ）、１１ｂ（ｘ１１ｂ，ｙ１１ｂ）、１１ｃ（ｘ１１ｃ，ｙ１１ｃ）、１１ｄ（ｘ１１ｄ，ｙ１１ｄ）とし、望遠画像１２０上の座標をそれぞれ、１２ａ（ｘ１２ａ，ｙ１２ａ）、１２ｂ（ｘ１２ｂ，ｙ１２ｂ）、１２ｃ（ｘ１２ｃ，ｙ１２ｃ）、１２ｄ（ｘ１２ｄ，ｙ１２ｄ）とする。なお、この時、指定される合成基準点の各組の座標を取得するには、特許第３３１６６８２号公報に記載されているパターンマッチングなどの相関処理を利用して、自動化を図ることもできる。
【００２７】
次に、射影変換式算出部３ｂが、４点以上の対応付けをして得られた４組の合成基準点の座標を下記式（１）で示される射影変換式に代入することにより、下記式（１）の９個の定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）を算出する（ステップＳ３）。
【００２８】
【数２】
式（１）において、ｘ１２、ｙ１２は望遠画像１２０側の合成基準点の座標１２ａ〜１２ｄを示し、ｘ１１、ｙ１１は広角画像１１０側の合成基準点の座標１１ａ〜１１ｄを示す。
【００２９】
この４組以上の合成基準点の入力により、望遠画像を広角画像に重ねるための９個の定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）を求めることができる。この式（１）により望遠画像１２０を（第２）望遠画像１３０に射影変換し、広角画像１１０中に望遠画像１３０を合成表示することで、被写体の全体を精細に写すとともに高精度な合成画像を作成することが可能となる。
【００３０】
しかしながら、この定数をそのまま適用して、望遠画像１３０を広角画像１１０中に合成した場合、望遠画像１３０の縮小に伴って画素数が減ることになるため、その分、画像の精細さが失われてしまう。また、それを解決する方法として、合成画像を表示する際に望遠画像１２０を元画像として、上記各定数が求められた式（１）より変形しながら表示する方法が考えられるが、この方法では当該合成画像を表示する装置に過度の演算を課すことになり、合成画像の表示スピードが遅くなる。このため、以下の処理を行う。
【００３１】
具体的には、座標点変換部３ｅが、図６に示すように、望遠画像１２０の外枠の座標を上記各定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）の値を入力した式（１）を用いて変換する。具体的には、望遠画像１２０の４つのコーナー部１３ａ〜１３ｄの座標を、式（１）により射影変換する。当該望遠画像１２０の４つのコーナー部１３ａ〜１３ｄが式（１）により変換された点を外枠変換点１４ａ〜１４ｄとし、その座標をそれぞれ、１４ａ（Ｘ１４ａ，Ｙ１４ａ）、１４ｂ（Ｘ１４ｂ，Ｙ１４ｂ）、１４ｃ（Ｘ１４ｃ，Ｙ１４ｃ）、１４ｄ（Ｘ１４ｄ，Ｙ１４ｄ）とする（ステップＳ４）。
【００３２】
次に、図７に示すように、外接枠演算部３ｃが、外枠変換点１４ａ〜１４ｄの各座標より、当該外枠変換点１４ａ〜１４ｄを結ぶ領域に外接し、かつ横方向がＸ軸に沿いかつ横方向がＹ軸に沿う矩形の外接枠１５を演算する（ステップＳ５）。具体的には、外枠変換点１４ａ〜１４ｄの各座標のうち、Ｘ座標の最大値と最小値、Ｙ座標の最大値と最小値とを検索し、それぞれ１５ａ（Ｘ最大、Ｙ最小）、１５ｂ（Ｘ最大、Ｙ最大）、１５ｃ（Ｘ最小、Ｙ最大）、１５ｄ（Ｘ最小、Ｙ最小）の組み合わせにより４点の座標を決定し、当該座標が示す点で囲まれた範囲を外接枠１５とする。
【００３３】
次に、スケール算出部３ｄが、外接枠１５のＸ軸方向の大きさＸｏ（１５ａと１５ｄとの差）及び外接枠１５のＹ軸方向の大きさＹｏ（１５ｃと１５ｄとの差）を求め（ステップＳ６）、望遠画像１２０全体のＸ軸方向の大きさＸａ（１３ａと１３ｄとの差）および望遠画像１２０全体のＹ軸方向の大きさＹａ（１３ｃと１３ｄとの差）の情報と比較し、下記式（２）に基づいて、Ｘ軸スケールＳｘ、及びＹ軸スケールＳｙを求める（ステップＳ７）。ここで、Ｘ軸スケールＳｘ、及びＹ軸スケールＳｙは望遠画像の精細さを失わないようにするためのスケールである。
【００３４】
【数３】
式（２）において、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ｘａは望遠画像１２０全体のＸ軸方向の大きさ、Ｘｏは外接枠１５のＸ軸方向の大きさ、Ｙａは望遠画像１２０全体のＹ軸方向の大きさ、Ｙｏは外接枠１５のＹ軸方向の大きさを示す。
【００３５】
次に、上記において求められたＸ軸スケールＳｘ、及びＹ軸スケールＳｙに基づいて、式（３）に外枠変換点１４ａ〜１４ｄの座標を入力することで、変換望遠画像枠１６を算出する。具体的には、図８に示すように、外枠変換点の座標１４ａ〜１４ｄを式（３）に入力すれば、それぞれ対応する変換望遠画像枠１６のコーナー部１６ａ〜１６ｄの座標１６ａ（ｘ１６ａ，ｙ１６ａ），１６ｂ（ｘ１６ｂ，ｙ１６ｂ），１６ｃ（ｘ１６ｃ，ｙ１６ｃ），１６ｄ（ｘ１６ｄ，ｙ１６ｄ）を算出する。
【００３６】
【数４】
【００３７】
上述のように、望遠画像１２０の各座標と外枠変換点の座標１４ａ〜１４ｄとは、式（１）に示す関係があるから、Ｘ軸スケールＳｘ及びＹ軸スケールＳｙにより、望遠画像１２０の精細さを損なうことなく、（第３）望遠画像１４０に変換することができる。すなわち、望遠画像１２０中の任意の点の座標と望遠画像１４０中の各点の座標との間には式（１）と式（３）から導かれる式（４）に示す関係が成り立つ。
【００３８】
【数５】
式（４）において、ｘは望遠画像１２０中の任意の点のＸ座標、ｙは望遠画像１２０中の任意の点のＹ座標、ｘ１６は望遠画像１４０のＸ座標、ｙ１６は望遠画像１４０のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケールを示す。
【００３９】
したがって、座標点変換部３ｅが、望遠画像１２０を、図９に示すように、式（４）に基づいて、射影変換して望遠画像１４０を作成する（ステップＳ８）。この処理によって、望遠画像１２０を広角画像１１０中に貼り合わせる場合に用いられる画像の射影変換を、画像の精細さを損なうことなく行うことができる。
【００４０】
次に、画像合成部３ｆが、図１０に示すように、広角画像１１０中の対応位置に望遠画像１４０を適宜縮小して合成表示し、合成画像を作成する（ステップＳ９）。この場合、望遠画像１４０のデータ（画素数）は、縮小前と同じままで減少せず、望遠画像１２０と同じ精細さで表示される。これにより、画像合成処理が完了する。
【００４１】
以上説明したように、本実施形態にかかる画像合成処理装置によれば、広角画像と望遠画像との画像合成処理については、射影変換を用いて行うようにしているため、例えば、望遠画像が広角画像の端部の領域に対応する場合など、両者の光軸が大きくずれている場合であっても、望遠画像を広角画像と同じ光軸から撮影したように変換して、両写真画像の被写体像を一致させることができる。したがって、被写体像のずれが生じることなく合成写真画像を作成することができる。また、Ｘ軸スケール及びＹ軸スケールを用いて、射影変換時に生じる望遠画像の縮小をなくし、広角画像中に表示される望遠画像の画素数の減少をなくして、精細な合成写真画像を得ることができる。
【００４２】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。例えば、望遠画像は広角画像ごとに１枚とする必要はなく、広角画像の複数の領域を撮影した複数枚の画像で構成してもよい。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態に係る画像合成処理装置のブロック図である。
【図２】図１の画像合成処理装置を用いて画像合成処理を行う場合の全体的な流れを示すフロー図である。
【図３】カメラにより撮影された広角画像の例である。
【図４】カメラにより撮影された望遠画像の例である。
【図５】合成される２枚の画像の合成基準点の選択における処理の説明図である。
【図６】望遠画像の外枠を射影変換し外枠変換点を作成する処理の説明図である。
【図７】外枠変換点に外接する外接枠に基づいてＸ軸スケール及びＹ軸スケールを算出する処理の説明図である。
【図８】変換望遠画像についての概念図である。
【図９】望遠画像から変換望遠画像を作成する処理についての説明図である。
【図１０】広角画像中に変換望遠画像を合成処理する説明図である。
【符号の説明】
【００４４】
１ 画像合成処理装置
２ インターフェース部
３ 制御演算部
４ 表示部
５ 画像記憶部
６ システムプログラム
７ カメラ
８ 入力装置
１１ａ〜１１ｄ 広角側合成基準点
１２ａ〜１２ｄ 望遠側合成基準点
１３ 望遠画像のコーナー部
１４ 外枠
１４ａ〜１４ｄ 外枠変換点
１５ 外接枠
１５ａ〜１５ｄ 外接枠のコーナー部
１６ 変換望遠画像枠
１１０ 広角画像
１２０ 第１望遠画像
１３０ 第２望遠画像
１４０ 第３望遠画像
【技術分野】
【０００１】
本発明は、焦点距離の短い状態で撮影された広角画像と、その広角画像と同じ撮影位置から撮影領域の一部を、焦点距離の長い状態で撮影された望遠画像とを合成する画像合成処理装置及び方法に関する。
【背景技術】
【０００２】
従来からデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術が、画像計測の分野などで用いられている。この画像計測の対象となる被写体は様々であるが、例えば崖の地滑りの状況や、橋梁や橋脚などのコンクリート構造物のクラック（ひび割れ）など、かなり広範囲にわたって分布するとともに当該被写体に近づいて撮影することが困難なものが多い。
【０００３】
このような撮影位置から遠い距離にある被写体を広い領域で撮影するためには、焦点距離の短いカメラで広角に撮影するのが一般的である。しかしながら、そのようにして撮影された広角画像においては、被写体の単位面積あたりに相当する写真の画素数が少なくなるため、写真画像の一画素あたりに相当する被写体の領域が大きくなり、その結果、画像に写っている特徴がぼやけてしまうという問題点がある。この問題点は、特に写真画像を拡大表示した時に顕著となる。
【０００４】
このような問題点を解決する方法としては、焦点距離の長いカメラで撮影した望遠画像を用いて、同じ撮影位置から撮影範囲の一部がオーバーラップするように複数枚の写真を撮影し、これを複数枚つなぎ合わせて一枚の大きな連結画像とする方法が考えられる。この方法によれば、被写体の単位面積あたりに写っている写真の画素数が多くなり、一画素あたりに投影されている被写体の領域が狭いため、写真に写っている特徴は明確になる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記方法においては、個々の写真の光軸が異なる場合、隣り合う望遠画像をつなぎ合わせていくときに、２枚の写真の間にわずかに誤差が生じてしまうという問題点がある。特に写真画像においては、画像の端部領域においてレンズの収差に基づく被写体像のゆがみが大きいため、複数枚の写真を互いの端部に被写体が共通するように撮影して、当該複数枚の写真をつなぎ合わせた場合、その誤差（ずれ）が大きくなりやすい。すなわち、被写体全体が撮影されている連結画像ができるまで望遠画像を繰り返しつなぎ合わせていくと、最後に連結される画像の本来の画像の位置からのずれは、累積的に大きくなってしまう。したがって、広範囲にわたる被写体の全体を精細に写すとともに高精度な連結（合成）画像を得ることは困難であった。
【０００６】
したがって、本発明が解決しようとする技術的課題は、広範囲にわたる被写体全体を精細に写すとともに高精度な画像を得ることができる画像合成処理装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記技術的課題を解決するために、以下の画像合成処理装置及び方法を提供する。
【０００８】
本発明の第１態様によれば、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像との写真画像データを入力する画像入力手段と、
前記画像入力手段により入力された前記広角画像と前記第１望遠画像とに共通して写っている被写体の同一位置を示す合成基準点を、４組以上指定する基準点指定手段と、
前記基準点指定手段により指定された前記合成基準点の座標値に基づいて、対応する射影変換式を算出する演算装置と、
前記演算装置により算出された前記射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成する座標点変換手段と、
前記第２望遠画像を、前記広角画像中の対応位置に合成表示する画像合成手段と、
を有することを特徴とする画像合成処理装置を提供する。
【０００９】
本発明の第２態様によれば、前記演算装置は、さらに、前記第２望遠画像に外接する矩形の外接枠を演算するとともに、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記座標点変換手段は、さらに、前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記画像合成手段は、前記第２望遠画像に代えて、前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする請求項１に記載の画像合成処理装置を提供する。
【００１０】
本発明の第３態様によれば、前記座標点変換手段は、前記第１望遠画像の各点を下記式により射影変換することによって前記第３望遠画像を作成することを特徴とする請求項２に記載の画像合成処理装置を提供する。
【数１】
上記式において、ｘは第１望遠画像中の任意の点のＸ座標、ｙは第１望遠画像中の任意の点のＹ座標、ｘ１６は第３望遠画像のＸ座標、ｙ１６は第３望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ射影変換式の定数を示す。
【００１１】
本発明の第４態様によれば、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像とを用いて、合成表示する方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記望遠画像を前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法を提供する。
【００１２】
本発明の第５態様によれば、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像とを用いて、合成画像を合成する画像合成処理方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成し、
前記第２望遠画像に外接する矩形の外接枠を演算して、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法を提供する。
【発明の効果】
【００１３】
本発明の第１及び第４態様によれば、望遠画像と広角画像とを用い、望遠画像中の被写体像を広角画像中の被写体像に一致させるように、望遠画像と広角画像とを見かけ上合成する。すなわち、合成画像は、当該合成写真画像の表示において当該一致する被写体像については、望遠画像を表示する。すなわち、合成写真画像は、その被写体像全体については、望遠画像の精細な情報が用いられているので、当該領域については精細な画像情報を得ることができる。
【００１４】
また、広角画像と望遠画像との光軸中心にずれが生じているような場合であっても、当該望遠画像を射影変換することにより、望遠画像を広角画像の光軸から撮影したように変形して両写真画像の被写体像を一致させることができる。したがって、合成写真画像の作成時において、当該被写体像のずれの誤差を少なくし、被写体にきわめて近い被写体像を有する高精度な合成写真画像を作成することができる。
【００１５】
また、本発明の第２及び第５態様によれば、射影変換により縮小される望遠画像の変換領域に外接する外接枠を用いて変換前後の望遠画像の倍率としてのＸ軸スケール及びＹ軸スケールを求めることにより、射影変換時に望遠画像を縮小することなく射影変換することができる。したがって、射影変換時の縮小による望遠画像の画素数の減少をなくすことができ、高精細な画像を広角画像上に重ね合わせて表示することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態に係る画像合成処理装置について、図面を参照しながら説明する。
【００１７】
本実施形態にかかる画像合成処理装置は、写真画像を入力し、画像合成するためのコンピュータで構成される。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、当該コンピュータには、後述するような画像合成処理を行わせるためのプログラムをインストールしておけばよい。
【００１８】
本装置において用いられる写真画像は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等を撮像素子とするデジタルスチルカメラやデジタルビデオカメラを用いて撮影等により得られるデジタル情報であることが最も望ましいが、例えばアナログスチルカメラやアナログビデオカメラを用いた撮影等により得られるアナログ情報をスキャナなどの装置を用いてデジタル情報に変換したものを用いることもできる。デジタル情報として得た写真画像は、コンピュータで直接取り扱うことができる。また、紙やプラスチックフィルム等に形成した写真画像のハードコピーを直接用いることもでき、そのようなハードコピーを画像スキャナ等によりデジタル情報化して用いることもできる。
【００１９】
図１は、本発明の実施形態に係る画像合成処理装置１のブロック図である。本画像合成処理装置１は、カメラ７及びキーボードやマウスなどの入力装置８と接続するための画像入力手段の一例であるインターフェース部２、装置全体の制御を司る制御演算部３、写真画像などを表示する表示部４、合成される写真画像やデータなどの蓄積領域として機能する記憶部５、及び上記プログラムがインストールされることによってシステムプログラムとして機能するシステムプログラム記憶部６を備えている。
【００２０】
制御演算部３には、後述するように、上記システムプログラムにより駆動され画像合成を実行するためのブロック３ａ〜３ｆが設けられている。これらの各ブロックは、それぞれ単独で、または装置内の他のブロックと協働して、以下に示す処理を行う機能ブロックとして機能する。
【００２１】
次に、図２を用いて、画像合成処理装置１を用いて画像合成を行う処理の流れについて説明する。図２は、図１の画像合成処理装置１の画像合成処理のフロー図である。本画像合成処理装置１を用いて画像合成処理を行う場合には、以下に示す各ステップの処理は、主に装置の制御演算部３の各ブロック３ａ〜３ｆが処理を司る。つまり、基準点指定部３ａと、演算手段の一例である射影変換式算出部３ｂ、外接枠演算部３ｃ、及びスケール算出部３ｄと、座標点変換部３ｅと、画像合成部３ｆとが処理を司る。
【００２２】
まず、同一撮影位置において、カメラ７によって広角画像と望遠画像とを撮影し、当該画像を画像合成処理装置１のインターフェース部２に入力する（ステップＳ１）。インターフェース部２に入力された広角画像と望遠画像は、画像記憶部５に記憶され、操作時に表示部４に表示される。
【００２３】
なお、望遠画像は、広角画像中の一部分を撮影したものであり、２枚以上であってもよい。さらに、望遠画像は、広角画像と同一場所からの撮影であれば、カメラの光軸の方向を変えて撮影した画像であってもよい。本実施形態において望遠画像及び広角画像は、理解の便宜のため、１枚ずつ撮影したものとして説明を進める。また、本実施形態において用いる広角画像や望遠画像は、それぞれ予めレンズの収差による歪みを補正しておくことが望ましいが、絶対条件ではない。
【００２４】
また、本実施形態において、画像合成処理に用いられる写真画像は、例えば、図３，図４に示すようなものである。図３はカメラ７により焦点距離の短い状態で撮影された広角画像１１０を示し、図４は図３の広角画像１１０と同じ位置から焦点距離の長い状態でカメラ７により撮影された（第１）望遠画像１２０を示している。これらの写真画像は、撮影位置は同じであるが、撮影の光軸中心の位置がずれていてもよい。すなわち、広角画像１１０の被写体の一部が望遠画像１２０に撮影されている状態となっている。当該写真画像単位でＸＹ座標系を用いて画像中の任意の点を２次元的に表すことができる。本実施形態においては、写真画像の長手方向をＸ軸、短手方向をＹ軸とし、原点は、図３，図４に示す各写真画像の左上コーナー部とする。
【００２５】
次に、入力装置８を操作して表示部に表示された広角画像と望遠画像において、被写体の同じ点を示す合成基準点をそれぞれ４点以上指定する（ステップＳ２）。本実施形態においては、図５に示すように、広角画像１１０中に合成基準点１１ａ〜１１ｄ、望遠画像１２０中に合成基準点１２ａ〜１２ｄの４点ずつ、合計８点を指定する。すなわち、４組の合成基準点を指定する。
【００２６】
当該合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄの指定は、表示部４に表示されている広角画像１１０と望遠画像１２０とを参照しながらマウスなどの入力装置８を操作して入力する。当該入力された点は基準点指定部３ａにより合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄとして認識される。このとき、画像中に写っている被写体中の物体の端部分など被写体の特徴部分を合成基準点として指定すると、広角画像１１０と望遠画像１２０について同じ点を指定しやすい。この合成基準点の広角画像１１０上の座標をそれぞれ１１ａ（ｘ１１ａ，ｙ１１ａ）、１１ｂ（ｘ１１ｂ，ｙ１１ｂ）、１１ｃ（ｘ１１ｃ，ｙ１１ｃ）、１１ｄ（ｘ１１ｄ，ｙ１１ｄ）とし、望遠画像１２０上の座標をそれぞれ、１２ａ（ｘ１２ａ，ｙ１２ａ）、１２ｂ（ｘ１２ｂ，ｙ１２ｂ）、１２ｃ（ｘ１２ｃ，ｙ１２ｃ）、１２ｄ（ｘ１２ｄ，ｙ１２ｄ）とする。なお、この時、指定される合成基準点の各組の座標を取得するには、特許第３３１６６８２号公報に記載されているパターンマッチングなどの相関処理を利用して、自動化を図ることもできる。
【００２７】
次に、射影変換式算出部３ｂが、４点以上の対応付けをして得られた４組の合成基準点の座標を下記式（１）で示される射影変換式に代入することにより、下記式（１）の９個の定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）を算出する（ステップＳ３）。
【００２８】
【数２】
式（１）において、ｘ１２、ｙ１２は望遠画像１２０側の合成基準点の座標１２ａ〜１２ｄを示し、ｘ１１、ｙ１１は広角画像１１０側の合成基準点の座標１１ａ〜１１ｄを示す。
【００２９】
この４組以上の合成基準点の入力により、望遠画像を広角画像に重ねるための９個の定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）を求めることができる。この式（１）により望遠画像１２０を（第２）望遠画像１３０に射影変換し、広角画像１１０中に望遠画像１３０を合成表示することで、被写体の全体を精細に写すとともに高精度な合成画像を作成することが可能となる。
【００３０】
しかしながら、この定数をそのまま適用して、望遠画像１３０を広角画像１１０中に合成した場合、望遠画像１３０の縮小に伴って画素数が減ることになるため、その分、画像の精細さが失われてしまう。また、それを解決する方法として、合成画像を表示する際に望遠画像１２０を元画像として、上記各定数が求められた式（１）より変形しながら表示する方法が考えられるが、この方法では当該合成画像を表示する装置に過度の演算を課すことになり、合成画像の表示スピードが遅くなる。このため、以下の処理を行う。
【００３１】
具体的には、座標点変換部３ｅが、図６に示すように、望遠画像１２０の外枠の座標を上記各定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）の値を入力した式（１）を用いて変換する。具体的には、望遠画像１２０の４つのコーナー部１３ａ〜１３ｄの座標を、式（１）により射影変換する。当該望遠画像１２０の４つのコーナー部１３ａ〜１３ｄが式（１）により変換された点を外枠変換点１４ａ〜１４ｄとし、その座標をそれぞれ、１４ａ（Ｘ１４ａ，Ｙ１４ａ）、１４ｂ（Ｘ１４ｂ，Ｙ１４ｂ）、１４ｃ（Ｘ１４ｃ，Ｙ１４ｃ）、１４ｄ（Ｘ１４ｄ，Ｙ１４ｄ）とする（ステップＳ４）。
【００３２】
次に、図７に示すように、外接枠演算部３ｃが、外枠変換点１４ａ〜１４ｄの各座標より、当該外枠変換点１４ａ〜１４ｄを結ぶ領域に外接し、かつ横方向がＸ軸に沿いかつ横方向がＹ軸に沿う矩形の外接枠１５を演算する（ステップＳ５）。具体的には、外枠変換点１４ａ〜１４ｄの各座標のうち、Ｘ座標の最大値と最小値、Ｙ座標の最大値と最小値とを検索し、それぞれ１５ａ（Ｘ最大、Ｙ最小）、１５ｂ（Ｘ最大、Ｙ最大）、１５ｃ（Ｘ最小、Ｙ最大）、１５ｄ（Ｘ最小、Ｙ最小）の組み合わせにより４点の座標を決定し、当該座標が示す点で囲まれた範囲を外接枠１５とする。
【００３３】
次に、スケール算出部３ｄが、外接枠１５のＸ軸方向の大きさＸｏ（１５ａと１５ｄとの差）及び外接枠１５のＹ軸方向の大きさＹｏ（１５ｃと１５ｄとの差）を求め（ステップＳ６）、望遠画像１２０全体のＸ軸方向の大きさＸａ（１３ａと１３ｄとの差）および望遠画像１２０全体のＹ軸方向の大きさＹａ（１３ｃと１３ｄとの差）の情報と比較し、下記式（２）に基づいて、Ｘ軸スケールＳｘ、及びＹ軸スケールＳｙを求める（ステップＳ７）。ここで、Ｘ軸スケールＳｘ、及びＹ軸スケールＳｙは望遠画像の精細さを失わないようにするためのスケールである。
【００３４】
【数３】
式（２）において、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ｘａは望遠画像１２０全体のＸ軸方向の大きさ、Ｘｏは外接枠１５のＸ軸方向の大きさ、Ｙａは望遠画像１２０全体のＹ軸方向の大きさ、Ｙｏは外接枠１５のＹ軸方向の大きさを示す。
【００３５】
次に、上記において求められたＸ軸スケールＳｘ、及びＹ軸スケールＳｙに基づいて、式（３）に外枠変換点１４ａ〜１４ｄの座標を入力することで、変換望遠画像枠１６を算出する。具体的には、図８に示すように、外枠変換点の座標１４ａ〜１４ｄを式（３）に入力すれば、それぞれ対応する変換望遠画像枠１６のコーナー部１６ａ〜１６ｄの座標１６ａ（ｘ１６ａ，ｙ１６ａ），１６ｂ（ｘ１６ｂ，ｙ１６ｂ），１６ｃ（ｘ１６ｃ，ｙ１６ｃ），１６ｄ（ｘ１６ｄ，ｙ１６ｄ）を算出する。
【００３６】
【数４】
【００３７】
上述のように、望遠画像１２０の各座標と外枠変換点の座標１４ａ〜１４ｄとは、式（１）に示す関係があるから、Ｘ軸スケールＳｘ及びＹ軸スケールＳｙにより、望遠画像１２０の精細さを損なうことなく、（第３）望遠画像１４０に変換することができる。すなわち、望遠画像１２０中の任意の点の座標と望遠画像１４０中の各点の座標との間には式（１）と式（３）から導かれる式（４）に示す関係が成り立つ。
【００３８】
【数５】
式（４）において、ｘは望遠画像１２０中の任意の点のＸ座標、ｙは望遠画像１２０中の任意の点のＹ座標、ｘ１６は望遠画像１４０のＸ座標、ｙ１６は望遠画像１４０のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケールを示す。
【００３９】
したがって、座標点変換部３ｅが、望遠画像１２０を、図９に示すように、式（４）に基づいて、射影変換して望遠画像１４０を作成する（ステップＳ８）。この処理によって、望遠画像１２０を広角画像１１０中に貼り合わせる場合に用いられる画像の射影変換を、画像の精細さを損なうことなく行うことができる。
【００４０】
次に、画像合成部３ｆが、図１０に示すように、広角画像１１０中の対応位置に望遠画像１４０を適宜縮小して合成表示し、合成画像を作成する（ステップＳ９）。この場合、望遠画像１４０のデータ（画素数）は、縮小前と同じままで減少せず、望遠画像１２０と同じ精細さで表示される。これにより、画像合成処理が完了する。
【００４１】
以上説明したように、本実施形態にかかる画像合成処理装置によれば、広角画像と望遠画像との画像合成処理については、射影変換を用いて行うようにしているため、例えば、望遠画像が広角画像の端部の領域に対応する場合など、両者の光軸が大きくずれている場合であっても、望遠画像を広角画像と同じ光軸から撮影したように変換して、両写真画像の被写体像を一致させることができる。したがって、被写体像のずれが生じることなく合成写真画像を作成することができる。また、Ｘ軸スケール及びＹ軸スケールを用いて、射影変換時に生じる望遠画像の縮小をなくし、広角画像中に表示される望遠画像の画素数の減少をなくして、精細な合成写真画像を得ることができる。
【００４２】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。例えば、望遠画像は広角画像ごとに１枚とする必要はなく、広角画像の複数の領域を撮影した複数枚の画像で構成してもよい。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態に係る画像合成処理装置のブロック図である。
【図２】図１の画像合成処理装置を用いて画像合成処理を行う場合の全体的な流れを示すフロー図である。
【図３】カメラにより撮影された広角画像の例である。
【図４】カメラにより撮影された望遠画像の例である。
【図５】合成される２枚の画像の合成基準点の選択における処理の説明図である。
【図６】望遠画像の外枠を射影変換し外枠変換点を作成する処理の説明図である。
【図７】外枠変換点に外接する外接枠に基づいてＸ軸スケール及びＹ軸スケールを算出する処理の説明図である。
【図８】変換望遠画像についての概念図である。
【図９】望遠画像から変換望遠画像を作成する処理についての説明図である。
【図１０】広角画像中に変換望遠画像を合成処理する説明図である。
【符号の説明】
【００４４】
１ 画像合成処理装置
２ インターフェース部
３ 制御演算部
４ 表示部
５ 画像記憶部
６ システムプログラム
７ カメラ
８ 入力装置
１１ａ〜１１ｄ 広角側合成基準点
１２ａ〜１２ｄ 望遠側合成基準点
１３ 望遠画像のコーナー部
１４ 外枠
１４ａ〜１４ｄ 外枠変換点
１５ 外接枠
１５ａ〜１５ｄ 外接枠のコーナー部
１６ 変換望遠画像枠
１１０ 広角画像
１２０ 第１望遠画像
１３０ 第２望遠画像
１４０ 第３望遠画像
【特許請求の範囲】
【請求項１】
焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像との写真画像データを入力する画像入力手段と、
前記画像入力手段により入力された前記広角画像と前記第１望遠画像とに共通して写っている被写体の同一位置を示す合成基準点を、４組以上指定する基準点指定手段と、
前記基準点指定手段により指定された前記合成基準点の座標値に基づいて、対応する射影変換式を算出する演算装置と、
前記演算装置により算出された前記射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成する座標点変換手段と、
前記第２望遠画像を、前記広角画像中の対応位置に合成表示する画像合成手段と、
を有することを特徴とする画像合成処理装置。
【請求項２】
前記演算装置は、さらに、前記第２望遠画像に外接する矩形の外接枠を演算するとともに、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記座標点変換手段は、さらに、前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記画像合成手段は、前記第２望遠画像に代えて、前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする請求項１に記載の画像合成処理装置。
【請求項３】
前記座標点変換手段は、前記第１望遠画像の各点を下記式により射影変換することによって前記第３望遠画像を作成することを特徴とする請求項２に記載の画像合成処理装置。
【数１】
上記式において、ｘは第１望遠画像中の任意の点のＸ座標、ｙは第１望遠画像中の任意の点のＹ座標、ｘ１６は第３望遠画像のＸ座標、ｙ１６は第３望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ射影変換式の定数を示す。
【請求項４】
焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像とを用いて、合成表示する方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記望遠画像を前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法。
【請求項５】
焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像とを用いて、合成画像を合成する画像合成処理方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成し、
前記第２望遠画像に外接する矩形の外接枠を演算して、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法。
【請求項１】
焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像との写真画像データを入力する画像入力手段と、
前記画像入力手段により入力された前記広角画像と前記第１望遠画像とに共通して写っている被写体の同一位置を示す合成基準点を、４組以上指定する基準点指定手段と、
前記基準点指定手段により指定された前記合成基準点の座標値に基づいて、対応する射影変換式を算出する演算装置と、
前記演算装置により算出された前記射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成する座標点変換手段と、
前記第２望遠画像を、前記広角画像中の対応位置に合成表示する画像合成手段と、
を有することを特徴とする画像合成処理装置。
【請求項２】
前記演算装置は、さらに、前記第２望遠画像に外接する矩形の外接枠を演算するとともに、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記座標点変換手段は、さらに、前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記画像合成手段は、前記第２望遠画像に代えて、前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする請求項１に記載の画像合成処理装置。
【請求項３】
前記座標点変換手段は、前記第１望遠画像の各点を下記式により射影変換することによって前記第３望遠画像を作成することを特徴とする請求項２に記載の画像合成処理装置。
【数１】
上記式において、ｘは第１望遠画像中の任意の点のＸ座標、ｙは第１望遠画像中の任意の点のＹ座標、ｘ１６は第３望遠画像のＸ座標、ｙ１６は第３望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ射影変換式の定数を示す。
【請求項４】
焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像とを用いて、合成表示する方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記望遠画像を前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法。
【請求項５】
焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を、焦点距離がより長い状態で撮影された少なくとも１枚の第１望遠画像とを用いて、合成画像を合成する画像合成処理方法であって、
前記広角画像と前記望遠画像とに共通して写っている被写体の同一位置を示す４組以上の合成基準点を選択し、
前記広角画像及び前記望遠画像中における前記合成基準点の座標値に基づいて算出した射影変換式により、前記第１望遠画像を射影変換して第２望遠画像を作成し、
前記第２望遠画像に外接する矩形の外接枠を演算して、前記第１望遠画像のＸ軸方向寸法及びＹ軸方向寸法と前記外接枠のＸ軸方向寸法及びＹ軸方向寸法の割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケールを算出し、
前記第１望遠画像を、前記Ｘ軸スケール及び前記Ｙ軸スケールと前記射影変換式とに基づいて射影変換して第３望遠画像を作成し、
前記第３望遠画像を縮小して前記広角画像中の対応位置に合成表示することを特徴とする画像合成処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−１６４２５８（Ｐ２００７−１６４２５８Ａ）
【公開日】平成１９年６月２８日（２００７．６．２８）
【国際特許分類】
【出願番号】特願２００５−３５６１３７（Ｐ２００５−３５６１３７）
【出願日】平成１７年１２月９日（２００５．１２．９）
【出願人】（０００００１０９６）倉敷紡績株式会社 (296)
【Ｆターム（参考）】
【公開日】平成１９年６月２８日（２００７．６．２８）
【国際特許分類】
【出願日】平成１７年１２月９日（２００５．１２．９）
【出願人】（０００００１０９６）倉敷紡績株式会社 (296)
【Ｆターム（参考）】
[ Back to top ]