画像のつなぎ合わせ
【課題】 複数の画像をつなぎ合わせることによって得られる連続画像の接合部の画質の劣化を防止する。
【解決手段】 第１の画像データＤｐ１と第２の画像データＤｐ２とを重ね合わせる場合に、重複部分についての高周波成分の分布状況を検出して、高周波成分量Ｈが少ない部分には、第１の長さの重ね合わせ領域の幅長ＷＬを設定し、高周波成分量Ｈが多い部分には、第１の長さよりも短い第２の長さの重ね合わせ領域の幅長ＷＬを設定する。そして、その幅長Ｌの重ね合わせ領域でもって、第１の画像データＤｐ１と第２の画像データＤｐ２とを合成する。
【解決手段】 第１の画像データＤｐ１と第２の画像データＤｐ２とを重ね合わせる場合に、重複部分についての高周波成分の分布状況を検出して、高周波成分量Ｈが少ない部分には、第１の長さの重ね合わせ領域の幅長ＷＬを設定し、高周波成分量Ｈが多い部分には、第１の長さよりも短い第２の長さの重ね合わせ領域の幅長ＷＬを設定する。そして、その幅長Ｌの重ね合わせ領域でもって、第１の画像データＤｐ１と第２の画像データＤｐ２とを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ（デジタルスチールカメラ）とパーソナルコンピュータの普及に伴い、デジタルカメラで撮影した画像データをパーソナルコンピュータを用いて様々に処理することが可能となっている。様々な処理の一つとして、デジタルカメラで撮影した複数の画像データをつなぎ合わせてパノラマ画像を生成するパノラマ画像生成処理がある。
【０００３】
このパノラマ画像生成処理では、デジタルカメラにより、画像の一部が重複するように被写体像を複数に分割して撮影し、得られた複数の画像において、隣接する画像間のつなぎを合わせることにより連続したパノラマ画像を作成する。このようなパノラマ画像生成処理については、例えば特許文献１に開示されている。
【０００４】
【特許文献１】特開２０００−９０２３２号公報
【０００５】
２つの画像をつなぎ合わせる方法として、両画像の境界線部分に所定の幅の合成領域（以下、「重ね合わせ領域」とも呼ぶ）を設けて、この重ね合わせ領域において両画像の合成割合を徐々に変化させる構成が知られている。
【０００６】
図１６は、重ね合わせ領域を設定して両画像の合成割合を変化させる合成方法を示す説明図である。図示するように、第１の画像は、重ね合わせ領域の幅方向において第２の画像に向かうに従って、合成割合が１００％から０％に漸次減少し、一方、第２の画像は、重ね合わせ領域の幅方向において第１の画像に向かうに従って、合成割合が１００％から０％に漸次減少しており、両画像の合成割合の和は１００％となっている。この構成によれば、重ね合わせ領域の幅の中で両画像を滑らかに混ぜ込んで行くことができる。この結果、両画像の境界線部分は、色の変化が滑らかなものとなる。なお、上述した「重ね合わせ領域の幅」というは、重ね合わせ領域（合成領域）における、つなぎ合わせる２つの画像の並びの方向の長さのことである。この明細書でいう「合成領域の幅（あるいは、合成領域の幅長）」についても、同様である。
【０００７】
しかしながら、前記後者の技術では、第１の画像と第２の画像との間で絵柄の位置あわせが十分にできていない場合には、絵柄によっては画質が却って劣悪なものとなる問題があった。例えば、空と森林を写した風景写真に上記後者の技術を用いた場合、空の部分は、例え上記位置合わせが不十分であっても画質の劣化は少ないが、森林のような絵柄の複雑な部分は、上記位置合わせが不十分であると、複雑な絵柄が位置ずれされた状態で平滑化されてしまい、ぼやけた画像となってしまった。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の解決しようとする課題は、複数の画像をつなぎ合わせることによって得られる連続画像の接合部の画質の劣化を防止することにある。
【課題を解決するための手段】
【０００９】
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
【００１０】
本発明の画像つなぎ合わせ装置は、
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ装置であって、
前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する分析手段と、
前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める幅長制御手段と、
前記両画像データの前記重複部分に対して、前記幅長制御手段により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する合成手段と
を備えることを要旨としている。
【００１１】
上記構成の画像つなぎ合わせ装置によれば、第１の画像データと第２の画像データとの重複部分についての場所に応じた絵柄の複雑さが分析されて、その分析結果に基づいて、第１の画像データと第２の画像データとの合成領域の幅長が場所毎に定められる。この定められた幅長の合成領域でもって、両画像データが合成される。
【００１２】
このために、重複部分の場所毎の絵柄の複雑さに基づいて、合成領域の幅長が決定されることになる。一般に、２つの画像データの間の位置あわせは容易ではなく、位置あわせが不十分になることも多い。しかしながら、上記構成によれば、位置あわせが例え不十分であったとしても、絵柄の複雑さが大きい場所に、画像データの合成領域を狭くすること等を行なうことができることから、複雑な絵柄を平滑化させすぎることがない。この結果、森林など複雑な絵柄の部分については、ボケが少なく合成できることから、両画像データの接合部の画質の劣化を防止することができる。
【００１３】
上記構成の画像つなぎ合わせ装置において、前記幅長制御手段は、操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該幅長制御手段により定め得る中の最短の長さに固定する幅長固定手段を備える構成としてもよい。
【００１４】
この構成によれば、操作者が画像データの合成結果を確認して、画像の多重写り（２重写り）が気になる場合に、操作者によって、合成領域の幅長が分析結果と無関係に最短の長さに固定される。このために、位置あわせが不十分であることによって合成領域に生じた上記多重写りを容易に回避することができる。
【００１５】
前記幅長固定手段は、表示装置に表示され、前記入力装置としてのポインティングデバイスによりオンオフされるスイッチを備える構成としてもよい。
【００１６】
この構成によれば、操作者は、マウス等のポインティングデバイスを操作するだけでよいから、操作性に優れている。
【００１７】
前記分析手段は、前記重複部分についての空間周波数を分析して、前記絵柄の複雑さを示すパラメータとして高周波成分の分布状況を検出する高周波成分分布状況検出手段を備える構成としてもよい。
【００１８】
この構成によれば、重複部分についての場所に応じた絵柄の複雑さを、高周波成分の分布状況から容易に分析することができる。
【００１９】
前記高周波成分分布状況検出手段は、
前記重複部分から、前記合成領域の幅方向に沿った各１ライン分を順に抽出するライン抽出手段と、
前記抽出した１ライン毎に、前記高周波成分の量を検出する高周波成分量検出手段と、
前記高周波成分量検出手段により検出された各ラインの高周波成分の量が、所定の閾値以下であるか否かを判定する高周波成分量判定手段と
を備え、
前記幅長制御手段は、
前記高周波成分量判定手段により、前記高周波成分の量が前記閾値以下であると判定されたラインには、第１の長さを、前記高周波成分の量が前記閾値以下でないと判定されたラインには、前記第１の長さよりも短い第２の長さを前記幅長として設定する設定手段
を備える構成としてもよい。
【００２０】
この構成によれば、合成領域の幅方向に沿った各１ライン分のデータから、高周波成分量を検出して、この高周波成分量が所定の閾値以下であるか否かから、合成領域の幅長を、１ライン毎に、第１の長さか第１の長さよりも短い第２の長さかに決めている。この結果、簡単な構成でもって、合成領域の幅長を、画像全般にわたって、高周波成分の分布状況に応じて定めることができる。
【００２１】
前記合成手段は、前記両画像データを、前記合成領域の幅方向において他方側の画像に向かうに従って、合成割合が漸次減少するように合成を行なう構成としてもよい。
【００２２】
この構成によれば、合成領域の幅の中で第１の画像データと第２の画像データとを滑らかに混ぜ込んで行くことができる。
【００２３】
本発明の画像つなぎ合わせ方法は、
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ方法であって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する行程と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める行程と、
（ｃ）前記両画像データの前記重複部分に対して、前記行程（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像を合成する行程と
を備えることを要旨としている。
【００２４】
本発明のコンピュータプログラムは、
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成するためのコンピュータプログラムであって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する機能と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める機能と、
（ｃ）前記両画像データの前記重複部分に対して、前記機能（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する機能と
をコンピュータに実現させるためのコンピュータプログラムである。
【００２５】
本発明の画像つなぎ合わせ方法およびコンピュータプログラムによっても、本発明の画像つなぎ合わせ装置と同様に、二つの画像データをつなぎ合わせることによって得られる連続画像の接合部の画質の劣化を防止するという効果を奏する。
【００２６】
本発明の記録媒体は、本発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。
【００２７】
本発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。
【発明を実施するための最良の形態】
【００２８】
本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
１．装置の構成：
２．コンピュータ処理：
２−Ａ．処理の全体：
２−Ｂ．パノラマ画像生成処理：
３．作用・効果：
４．他の実施形態：
【００２９】
１．装置の構成：
図１は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の画像つなぎ合わせ装置を構成するパーソナルコンピュータ１０を中心に備え、その周辺装置として、ディスプレイ２０とキーボード２２とマウス２４を備える。さらに、パーソナルコンピュータ１０には、デジタルカメラ２６とＣＤドライブ２８とプリンタ２９が接続されている。マウス２４は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。
【００３０】
パーソナルコンピュータ１０は、中央演算処理装置としてのＣＰＵ１１を中心にバス１２により相互に接続されたメモリ１３、表示画像メモリ１４、ハードディスクドライブ１５、入力制御ユニット１６、表示制御ユニット１７、出力制御ユニット１８等を備える。メモリ１３は、各種データ等を記憶するもので、ＣＰＵ１１の作業領域となる。表示画像メモリ１４は、ディスプレイ２０に表示する画像の画像データを一旦記憶するメモリである。
【００３１】
ハードディスクドライブ１５は、パノラマ画像合成装置のソフトウェアとしてのコンピュータプログラムＰｒを記憶する。また、ハードディスクドライブ１５には、パノラマ画像合成に用いる複数の画像データＤｐｉ（ｉ＝１〜ｎで、ｎは正の整数）が記憶されている。画像データＤｐｉは、デジタルカメラ２６によって撮影した撮影画像の画像データであり、ハードディスクドライブ１５の所定の領域（例えば、ホルダ）に格納されている。撮影画像は、カラー画像である。
【００３２】
図２は、デジタルカメラ２６によって撮影された複数の撮影画像の一例を示す説明図である。図示するように、複数の撮影画像は、撮影した画像の一部が重複するように、被写体としての風景を横方向の合計２枚に分割して撮影したものである。すなわち、複数の撮影画像である第１の画像Ｐ１と第２の画像Ｐ２は、撮影した画像の一部が重複するように（以下、この重複する部分を「重複部分」と呼ぶ）、撮影範囲を右方向に移動させながらそれぞれ撮影したものである。第１および第２の画像Ｐ１、Ｐ２は、第１および第２の画像データＤｐ１、Ｄｐ２として、ハードディスクドライブ１５に格納される（図１参照）。なお、上記被写体は、森林（山林）を撮影したもので、森林の背景には空が映っている。
【００３３】
図１に戻り、入力制御ユニット１６は、キーボード２２やマウス２４から入力操作を取り込み、デジタルカメラ２６から画像データを取り込み、ＣＤドライブ２８からデータを取り込む制御ユニットである。表示制御ユニット１７は、ディスプレイ２０への信号出力を制御する制御ユニットである。出力制御ユニット１８は、プリンタ２９への印刷を制御する制御ユニットである。
【００３４】
コンピュータプログラムＰｒは、もともとは、記録媒体としてのＣＤ−ＲＯＭ（図示せず）に記憶されている。そのＣＤ−ＲＯＭをＣＤドライブ２８にセットして、所定のインストールプログラムを起動することで、コンピュータプログラムＰｒをＣＤ−ＲＯＭから読み出してハードディスクドライブ１５にインストールすることができる。このコンピュータプログラムＰｒをＣＰＵ１１が実行することにより、本発明の画像つなぎ合わせ装置の各種構成要件は実現される。
【００３５】
図１では、各種構成要件が、ＣＰＵ１１の内部で実現される機能のブロックによって示されている。すなわち、ＣＰＵ１１は、分析部３１、幅長制御部３２および合成部３３を機能として備える。
【００３６】
なお、コンピュータプログラムＰｒは、ＣＤ−ＲＯＭに替えて、フレキシブルディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムＰｒは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。
【００３７】
２．コンピュータ処理：
２−Ａ．処理の全体：
パーソナルコンピュータ１０のＣＰＵ１１でコンピュータプログラムＰｒを実行することで、上述した分析部３１、幅長制御部３２および合成部３３を実現している。このコンピュータプログラムＰｒに従う制御処理について、以下詳細に説明する。
【００３８】
図３は、この制御処理の全体的な流れを示すフローチャートである。このルーチンは、コンピュータプログラムＰｒを起動させる旨の指示がなされたときに、実行開始される。図示するように、処理が開始されると、ＣＰＵ１１は、まず、アプリケーションウィンドウＷＤをＣＲＴディスプレイ１２に表示する処理を行なう（ステップＳ１００）。
【００３９】
図４は、このアプリケーションウィンドウＷＤを示す説明図である。図示するように、アプリケーションウィンドウＷＤの左側の処理メニュー欄ＭＮには、「入力」、「パノラマ」、「印刷」、「出力」の４種類のボタンＢＴ１、ＢＴ２、ＢＴ３、ＢＴ４が、下方に向かって順に並んでおり、操作者は、これらボタンＢＴ１〜ＢＴ４を順にマウス２４によりクリックしていくことで、ＣＲＴディスプレイ１２の画面上で、デジタルカメラ２６で撮影した画像を１枚のパノラマ画像に合成して出力する作業を進めていくことができる。すなわち、図３に示すように、ＣＰＵ１１は、ステップ１００の実行後、ボタンＢＴ１〜ＢＴ４がマウス２４によりクリックされる操作指令を取り込んで、その操作指令に対応した入力処理、パノラマ画像生成処理、印刷処理、出力処理を順に実行する（ステップＳ２００、Ｓ３００、Ｓ４００、Ｓ５００）。
【００４０】
ステップＳ２００で実行される入力処理は、パノラマ画像合成に用いる複数の画像データを取り込むもので、ここでは、デジタルカメラ２６によって撮影されてハードディスクドライブ１５に格納された前述した画像データＤｐｉ（画像データＤｐ１，Ｄｐ２）を取り込む。この画像データＤｐｉの取り込み作業は、図４に示されるアプリケーションウィンドウＷＤのメニューバーＢＲ１に設けられた「ファイル」のボタンＢＴ１１が、マウス２４によりクリックされる操作指令を受けて、ファイル名を指定されることで１画像データ毎に行なわれる。なお、フォルダ等を指定することで複数の画像データを一括して取り込む構成としてもよい。また、ハードディスクドライブ１５を一旦経由することなしに、デジタルカメラ２６から直接取り込む構成とすることもできる。
【００４１】
上記のようにして取り込まれた複数の画像データＤｐ１，Ｄｐ２は、メモリ１３の所定のエリアに格納されるが、それとともに、図４に示すように、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示される。
【００４２】
ステップＳ３００で実行されるパノラマ画像生成処理は、ステップＳ２００で入力した複数の画像データＤｐ１，Ｄｐ２をつなぎ合わせて１枚のパノラマ画像を生成するものであり、詳細については後述する。
【００４３】
ステップＳ４００で実行される印刷処理は、ステップＳ３００で作成されたパノラマ画像データを、印刷コマンドとしてプリンタドライバに出力するものである。この印刷の処理は、周知の構成であり、ここでは詳しく説明はしないが、これによって画像データＤｐ１，Ｄｐ２をつなぎ合わせたパノラマ画像を表わすパノラマ画像データがプリンタ２９から印刷されることになる。
【００４４】
ステップＳ５００で実行される出力処理は、ステップＳ３００で作成されたパノラマ画像データを、ＨＤＤ１５等の出力先にファイルとして出力（保存）するものである。これによって上記パノラマ画像データが所望の記憶媒体に保存されることになる。
【００４５】
２−Ｂ．パノラマ画像生成処理：
ステップＳ３００で実行されるパノラマ画像生成処理について、以下詳細に説明する。図５は、このパノラマ画像生成処理を示すフローチャートである。このルーチンに処理が移行すると、図示するように、ＣＰＵ１１は、まず、ステップＳ２００の入力処理で取り込んだ画像データＤｐｉの数ｎをカウントする処理を行なう（ステップＳ３１０）。例えば、図２に示した例では、数ｎは２となる。なお、図示はしないが、ここで数ｎが１である場合には、画像合成は不要であるとして、このパノラマ画像生成処理を終了する。
【００４６】
次いで、ＣＰＵ１１は、つなぎ合わせ処理用のダイアログボックスＤＢをＣＲＴディスプレイ１２に表示する処理を行なう（ステップＳ３２０）。
【００４７】
図６は、つなぎ合わせ処理用のダイアログボックスＤＢを示す説明図である。図示するように、このダイアログボックスＤＢには、処理指示欄ＦＤ１と作業欄ＦＤ２が設けられている。作業欄ＦＤ２の上段には、ステップＳ２００の入力処理で取り込んだ画像データＤｐｉが一覧表示されている。ここでは、図示するように、第１の画像データＤｐ１と第２の画像データＤｐ２とが表示されている。なお、作業欄ＦＤ２の下段には、矩形の領域Ｒが横一列に複数並べて表示されている。また、処理指示欄ＦＤ１には、［重なり部分をなめらかにする］チェックボックスＣＢ１と、［作成］ボタンＢＴ１０とが設けられている。
【００４８】
図５に戻り、ステップＳ３２０の実行後、ＣＰＵ１１は、ステップＳ２００の入力処理で取り込んだ複数の画像データＤｐｉを、どのような配列でつなぎ合わせたいかを指定する処理を行なう（ステップＳ３３０）。ここでいう配列とは、パノラマ画像を作成する際の複数の画像データＤｐｉの並びであり、この実施例では、横一列の範囲内において複数の画像データＤｐｉをどのように並べるかが指定可能となっている。
【００４９】
具体的には、図６に示したつなぎ合わせ処理用のダイアログボックスＤＢにおける操作者のマウス２４を用いた操作によって上記指定がなされる。操作者は、作業欄ＦＤ２の上段に表示された各画像データＤｐｉ（Ｄｐ１、Ｄｐ２）をドラッグして、作業欄ＦＤ２の下段に表示された矩形の領域Ｒにドロップすることにより、第１の画像データＤｐ１と第２の画像データＤｐ２とをどのように並べるかを指定することができる。図示の例では、第１の画像データＤｐ１は、被写体の左側部分であり、第２の画像データＤｐ２は、被写体の右側部分であることから、両画像データＤｐ１，Ｄｐ２は、そのままの並びでよいから、図中破線に示すように下段に降ろしてくればよい。
【００５０】
例えば、被写体の撮影者が、図２で示した例と逆順に写真撮影を行なったとすると、第１の画像データＤｐ１は、被写体の右側部分であり、第２の画像データＤｐ２は、被写体の左側部分であることから、操作者は、第２の画像データＤｐ２を左から１番目の矩形の領域Ｒに、第１の画像データＤｐ１を左から２番目の矩形の領域Ｒにそれぞれドラッグ＆ドロップすることになる。
【００５１】
図５に戻り、ステップＳ３３０で配列の指定を終えると、次いで、ＣＰＵ１１は、つなぎ合わせ処理用のダイアログボックスＤＢに備えられた［作成］ボタンＢＴ１０が、操作者によるマウス２４の操作によりクリックされたか否かを判別する（ステップＳ３４０）。ここで、クリックされていないと判別されると、ステップＳ３４０の処理を繰り返して、操作者によるクリックがなされるのを待つ。ステップＳ３４０で、クリックされたと判別されると、ＣＰＵ１１は、ステップＳ３５０に処理を進める。
【００５２】
ステップＳ３５０では、ＣＰＵ１１は、つなぎ合わせ処理用のダイアログボックスＤＢの作業欄ＦＤ２の下段に表示された画像データＤｐｉの配列の中から、左から第１番目の画像データＤｐｉを読み出す処理を行なう。図６の例では、第１の画像データＤｐ１が読み出される。次いで、ＣＰＵ１１は、変数ｉに値２を代入する処理を行なう（ステップＳ３６０）。
【００５３】
その後、ＣＰＵ１１は、上記作業欄ＦＤ２の下段に表示された画像データＤｐｉの配列の中から、左から上記変数ｉで定まるｉ番目の画像データＤｐｉを読み出す処理を行なう（ステップＳ３７０）。図６の例では、第２の画像データＤｐ２が読み出される。次いで、ステップＳ３７０で読み出した画像データＤｐｉと、その前に読み出した隣接する画像データＤｐｉとをつなぎ合わせるつなぎ合わせ処理を行なう（ステップＳ３８０）。このつなぎ合わせ処理についての詳細は後述する。
【００５４】
ステップＳ３８０の実行後、ＣＰＵ１１は、変数ｉを値１だけインクリメントして（ステップＳ３９０）、その変数ｉが、画像データＤｐｉの数ｎより大きいか否かを判定する（ステップＳ３９２）。
【００５５】
ステップＳ３９２で、変数ｉが数ｎ以下であると判定された場合には、ステップＳ２００で入力した全ての画像データＤｐ１〜Ｄｐｎについてのつなぎ合わせが未だ終わっていないとして、ステップＳ３７０に処理を戻して、ステップＳ３７０ないしＳ３９２の処理を繰り返し実行する。一方、ステップＳ３９２で、変数ｉが数ｎを上回ると判定された場合には、全ての画像データＤｐ１〜Ｄｐｎについてのつなぎ合わせが終了したとして、画像データＤｐ１〜Ｄｐｎのつなぎ合わせ結果をパノラマ画像としてディスプレイ２０に表示する（ステップＳ３９４）。この表示は、例えば、結果表示用のダイアログボックス（図示せず）に表示するようにすればよい。あるいは、つなぎ合わせ処理用のダイアログボックスＤＢにパノラマ画像表示欄（図示せず）を予め用意しておいて、このパノラマ画像表示欄に上記つなぎ合わせ結果を表示するようにしてもよい。ステップＳ３９４の実行後、「リターン」に抜けて、このパノラマ画像生成処理を一旦終了する。
【００５６】
なお、図５のフローチャートでは、省略してあるが、操作者が上記ステップＳ３９４によるディスプレイ２０のつなぎ合わせ結果の表示を見て、つなぎ合わせ結果が好ましくないと判断して、［重なり部分をなめらかにする］チェックボックスＣＢ１のオン／オフが切り換えられた場合には、ステップＳ３４０から再度処理が実行開始されるようになされている。
【００５７】
図７は、ステップＳ３８０で実行されるつなぎ合わせ処理の詳細を示すフローチャートである。図示するように、このつなぎ合わせ処理に処理が移行すると、ＣＰＵ１１は、まず、つなぎ合わせ処理を行なう２つの画像データＤｐｉについての位置関係を求める処理を行なう（ステップＳ６０１）。この処理は、パノラマ画像生成のソフトウェアに予め内蔵されている画像位置関係演算プログラムを用いて行なわれる。
【００５８】
画像位置関係演算プログラムは、基本的には次の手順で構成されているものである。
（１）入力された２つの画像をグレイスケールにそれぞれ変換する。
（２）上記グレイスケールの画像上でコーナーとなっているポイントを複数（例えば、１００〜２００）取得する。
（３）一方の画像のポイントについて、他方の画像で対応する可能性のあるポイントを調べる。具体的には、一方の画像の各ポイントと、他方の画像の各ポイントとの全ての組み合わせについて、局所相互相関度を計算して、その計算値が、所定の閾値よりも大きい局所相互相関度となったポイントの組み合わせをマッチングする可能性の組み合わせとする。
【００５９】
（４）上記ポイントの組み合わせが１対１になるように処理する。あるポイント同士が正しい組み合わせであるとすれば、その近くにある回りのポイントも正しい組み合わせとなる可能性が高い。この特徴を利用して、あるポイントの組み合わせのマッチング度を周囲のポイントがどれだけ指示しているかから、正しいポイントの組み合わせを求める。
【００６０】
ステップＳ６０１では、実際には、２つの画像データＤｐｉの接続の方向を左から右への横方向として指定した上で、上記演算を行なう。接続の方向を左から右への横方向としたのは、このつなぎ合わせ処理でつなぎ合わせる２つの画像データＤｐｉが、ステップＳ３７０で配列の左から順に読み出した画像データであるからである。この結果、（４）で１対１のポイントの組み合わせが求められるので、この情報を使って、２つの画像データＤｐｉの位置関係を求めている。
【００６１】
ステップＳ６０１の実行後、ＣＰＵ１１は、つなぎ合わせを行なう２つの画像データＤｐｉのうちの一方についての重複部分を抽出する処理を行なう。この実施例では、配列の左側に位置する画像データＤｐｉから重複部分を抽出している。図６の例では、配列の左側に位置する画像データＤｐｉは、第１の画像データＤｐ１である。重複部分は、ステップＳ６０１で求めた両画像データＤｐｉの位置関係から求めている。
【００６２】
図８は、第１の画像データＤｐ１を示す説明図である。図中、ハッチング部分が、第２の画像データＤｐ２との重複部分ＯＬ１である。ステップＳ６０１では、この重複部分ＯＬ１に含まれる画像データを抽出する。
【００６３】
図９は、第２の画像データＤｐ２を示す説明図である。図中、ハッチング部分が、第１の画像データＤｐ１との重複部分ＯＬ２である。ステップＳ６０１では、この重複部分ＯＬ２に含まれる画像データを抽出する構成とすることもできる。ステップＳ６０１では、要は、つなぎ合わせる両画像データのうちのいずれか一方の重複部分を抽出すればよい。
【００６４】
図７に戻り、ステップＳ６０２の実行後、ＣＰＵ１１は、変数ｊに値１を代入する（ステップＳ６０３）。次いで、ステップＳ６０２で抽出した重複部分から、横方向に延びる１ライン分のデータを抽出する処理を行なう（ステップＳ６０２）。
【００６５】
図１０は、つなぎ合わせ処理により合成領域（以下、「重ね合わせ領域」とも呼ぶ）の幅長ＷＬがどのように決定されるかを示す説明図である。図示するように、第１の画像データＤｐ１の重複部分ＯＬ１は、横方向にＮｘ個、縦方向にＮｙ個の画素によって構成されるが、ステップＳ６０２では、横方向の１ライン分（縦幅が１画素）のデータＬＤを、縦方向に上から下へ順に読み出している。詳細には、変数ｊで決まる上からｊ番目のラインのデータＬＤｊを抽出する。
【００６６】
図７に戻り、ステップＳ６０４の実行後、ＣＰＵ１１は、ステップＳ６０４で抽出したｊ番目のラインのデータＬＤｊについての空間周波数を分析して、高周波成分量Ｈを検出する処理を行なう（ステップＳ６０５）。「空間周波数」は画像の周期構造の細かさを表わす数値であることから、ラインのデータＬＤｊについての空間周波数を分析して、高周波成分量Ｈを検出することで、画像の絵柄の複雑さを知ることができる。ステップＳ６０５では、具体的には、離散コサイン変換（フーリエ変換の一種）にて、高周波成分と低周波成分を分離することでラインデータＬＤｊの中に、どの程度の高周波成分が含まれているかを求め、この割合を高周波成分量Ｈと定めている。
【００６７】
その後、ＣＰＵ１１は、フラグＦが値１であるか否かを判定する（ステップＳ６０６）。このフラグＦの値は、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っているか否かによって定められている。チェックが入っている場合には、Ｆ＝"１"であり、チェックが入っていない場合には、Ｆ＝"０"となっている。すなわち、ステップＳ６０６では、［重なり部分をなめらかにする］チェックボックスＣＢ１がチェックされているか否かを判定している。
【００６８】
ステップＳ６０６で、［重なり部分をなめらかにする］チェックボックスＣＢ１がチェックされていると判定された場合には、ステップＳ６０７に処理を進めて、ステップＳ６０５で検出された高周波成分量Ｈが、所定値Ｈ０以下であるか否かを判定する。ここで、高周波成分量Ｈが所定値Ｈ０以下であると判定された場合には、２つの画像データをつなぎ合わせる際に重ね合わせる重ね合わせ領域（換言すれば、合成する合成領域）の幅長ＷＬを、次式（１）に従って求める（ステップＳ６０８）。
【００６９】
ＷＬ＝Ｎｘ・Ｗ１ ...（１）
ここで、Ｎｘは、重ね合わせる対象である両画像データＤｐｉの横方向の長さであり、前述した図６の例では、第１の画像データＤｐ１の重複部分ＯＬ１の横方向の画素数に相当する。Ｗ１は、予め定めた第１の割合であり、例えば１００％である。
【００７０】
一方、ステップＳ６０７で、高周波成分量Ｈが所定値Ｈ０を上回ると判定された場合には、重ね合わせ領域の幅長ＷＬを、次式（２）に従って求める（ステップＳ６０９）。
【００７１】
ＷＬ＝Ｎｘ・Ｗ２ ...（２）
ここで、Ｗ２は、上記第１の割合Ｗ１よりも小さい第２の割合であり、例えば５％である。
【００７２】
図１０に戻って、重複部分ＯＬ１についての横方向の１ライン分のデータＬＤが抽出された後について説明する。その後、各１ライン分のデータ毎に、ステップＳ６０７により、高周波成分量Ｈが多いか少ないかが判定され、その判定結果に基づいて、Ｓ６０８，Ｓ６０９により、重ね合わせ領域の幅長ＷＬが、Ｎｘ・Ｗ１もしくはＮｘ・Ｗ２に決定されることになる。
【００７３】
図７に戻り、一方、ステップＳ６０６で、［重なり部分をなめらかにする］チェックボックスＣＢ１がチェックされていないと判定された場合には、ステップＳ６０９に処理を進めて、上記式（２）に従って、重ね合わせ領域の幅長ＷＬを定める。
【００７４】
ステップＳ６０８またはＳ６０９の実行後、ＣＰＵ１１は、ステップＳ６１０に処理を進める。ステップＳ６１０では、ＣＰＵ１１は、変数ｊで定まるｊ番目のラインについて、ステップＳ６０８またはＳ６０９で求められた幅長ＷＬの重ね合わせ領域でもって、つなぎ合わせる対象としての両画像データＤｐｉを合成する処理を行なう。
【００７５】
図１１は、ステップＳ６１０で実行される合成処理を示す説明図である。図中の２つのグラフは、画像の位置と両画像データの合成割合との関係を示すものであり、（Ａ）は、重ね合わせ領域の幅長ＷＬ＝Ｎｘ・Ｗ１に設定された場合のものであり、（Ｂ）は、幅長ＷＬ＝Ｎｘ・Ｗ２に設定された場合のものである。
【００７６】
図中（Ａ）、（Ｂ）における２本の破線の間の領域が、２つの画像データをつなぎ合わせる際の重ね合わせ領域であり、（Ａ）の場合の重ね合わせ領域の幅長ＷＬは、第１の割合Ｗ１が１００％であるとすると、重複部分ＯＬ１の横方向の長さＮｘいっぱいとなる。この重ね合わせ領域の範囲内で、第１の画像データＤｐ１と第２の画像データＤｐ２との合成割合が変化している。図示するように、重ね合わせ領域において、第１の画像データＤｐ１は、第２の画像データＤｐ２に向かうに従って、合成割合が１００％から０％に漸次減少し、第２の画像データＤｐ２は、第１の画像データＤｐ１に向かうに従って、合成割合が１００％から０％に漸次減少しており、両画像データＤｐ１，Ｄｐ２の合成割合の和は１００％となっている。
【００７７】
一方、（Ｂ）の場合の重ね合わせ領域の幅長ＷＬは、第２の割合Ｗ２が５％であることから、上記（Ａ）の場合の１／２０の大きさとなる。なお、図中では、見やすさの便宜を図って１／２０よりも大きく描いている。そして、上記（Ａ）の場合と同様に、この重ね合わせ領域の範囲内で、第１の画像データＤｐ１と第２の画像データＤｐ２との合成割合が変化している。図示するように、重ね合わせ領域において、第１の画像データＤｐ１は、第２の画像データＤｐ２に向かうに従って、合成割合が１００％から０％に漸次減少し、第２の画像データＤｐ２は、第１の画像データＤｐ１に向かうに従って、合成割合が１００％から０％に漸次減少しており、両画像データＤｐ１，Ｄｐ２の合成割合の和は１００％となっている。
【００７８】
ステップＳ６１０では、重ね合わせ領域の幅長ＷＬに基づいて、上記（Ａ）、（Ｂ）のいずれかのグラフを選択的に決定して、変数ｊで定まるｊ番目のラインについて、そのグラフで示される画像の位置から定まる合成割合でもって第１の画像データＤｐ１と第２の画像データＤｐ２との合成を図っている。なお、上述した合成割合は、各画像データＤｐ１、Ｄｐ２を構成するＲ、Ｇ、Ｂの各色データに乗算されることで用いられる。
【００７９】
図７に戻って、ステップＳ６１０の実行後、ＣＰＵ１１は、変数ｊを値１だけインクリメントして（ステップＳ６１１）、その変数ｊが、重複部分の縦方向の画素数Ｎｙより大きいか否かを判定する（ステップＳ６１２）。
【００８０】
ステップＳ６１２で、変数ｊが数Ｎｙ以下であると判定された場合には、重複部分ＯＬ１についての合成が未だ終わっていないとして、ステップＳ６０４に処理を戻して、ステップＳ６０４ないしＳ６１２の処理を繰り返し実行する。一方、ステップＳ６１２で、変数ｊが数Ｎｙを上回ると判定された場合には、重複部分ＯＬ１についてのつなぎ合わせが終了したとして、「リターン」に抜けて、このつなぎ合わせ処理を一旦終了する。
【００８１】
以上のように構成されたパノラマ画像生成処理によれば、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合に次のように作用する。
【００８２】
例えば、図１０に示すように、第１の画像データＤｐ１の重複部分ＯＬ１が、上方が「空」で、下方が「森林」であるとすると、「空」の部分は高周波成分量Ｈが少なく、「森林」の部分は高周波成分量Ｈが多い。このために、図示するように、重ね合わせ領域の幅長ＷＬは、上から下に向かって、Ｎｘ・Ｗ１（Ｗ１は１００％）といった大きな値が続き、ある点（「森林」の部分となったところ）で、Ｎｘ・Ｗ２（Ｗ２は５％）といった小さな値に変わって、その小さな値が続く。
【００８３】
図１２は、第１の画像データＤｐ１と第２の画像データＤｐ２の重複部分ＯＬに対して設定される重ね合わせ領域（合成領域）ＤＡを示す説明図である。図中、ハッチングの部分が重ね合わせ領域ＤＡである。重ね合わせ領域ＤＡは、重複部分ＯＬの上から下に向かって当初は、重複部分ＯＬの横方向の長さＮｘいっぱいの広い幅（第１の長さ）となる。その後、ある点（「森林」の部分となったところ）で、Ｎｘの１／２０の狭い幅（第２の長さ）となる。換言するなら、重ね合わせ領域の幅長ＷＬは、縦方向の場所毎に定められている。
【００８４】
一方、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合には、重ね合わせ領域は次のようになる。
【００８５】
図１３は、［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合の重ね合わせ領域ＤＡを示す説明図である。図中、ハッチングの部分が重ね合わせ領域ＤＡである。重ね合わせ領域ＤＡは、重複部分ＯＬの横方向の長さＮｘの１／２０といった狭い幅（第２の長さ）に固定される。
【００８６】
上記構成のパノラマ画像生成処理のステップＳ６０４，Ｓ６０５，Ｓ６０７が分析部３１（図１）に、ステップＳ６０８，Ｓ６０９が幅長制御部３２（図１）に、ステップＳ６１０が合成部３３（図１）にそれぞれ対応する。分析部３１は、重複部分についての場所に応じた絵柄の複雑さを、横方向の１ライン毎の高周波成分量Ｈが所定値Ｈ０以下であるか否かからを判定しており、幅長制御部３２は、上記の判定結果から、前述したように重ね合わせ領域の幅長ＷＬを縦方向の場所毎に定めている。合成部３３は、その幅長Ｌの重ね合わせ領域（合成領域）でもって第１の画像データＤｐ１と第２の画像データＤｐ２とを合成する。
【００８７】
Ｃ．作用・効果：
以上のように構成されたこの実施例のコンピュータシステムによれば、図１０ないし図１２を用いて説明してきたように、第１の画像データＤｐ１の重複部分ＯＬ１についての高周波成分の分布状況を検出して、高周波成分量Ｈが少ない部分には、第１の長さの重ね合わせ領域の幅長ＷＬが設定され、高周波成分量Ｈが多い部分には、第１の長さよりも短い第２の長さの重ね合わせ領域の幅長ＷＬが設定される。そして、その幅長Ｌの重ね合わせ領域でもって、第１の画像データＤｐ１と第２の画像データＤｐ２とが合成される。
【００８８】
このために、合成しようとする画像データＤｐｉにおいて、「空」などのように高周波成分量が少ない部分は、滑らかに色が変わるように合成される。一方、「森林」などのように高周波成分量が多い部分については、両画像データの位置あわせが例え不十分であったとしても、重ね合わせ領域の幅長ＷＬが狭いことから、複雑な絵柄を平滑化させすぎることがなくなり、この結果、ボケを少なく合成することができ、違和感の少ない画像となる。したがって、両画像データＤｐｉの接合部の画質の劣化を防止することができる。
【００８９】
また、この実施例では、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合には、高周波成分量と無関係に、重ね合わせ領域の幅長ＷＬが第２の長さに固定される。
【００９０】
図１４は、２つの画像データの位置合わせが不十分である場合に、高周波成分量が少ない部分に２重写りが生じている合成画像の一例を示す説明図である。［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合のものである。図示するように、合成画像において、白いライン状に写った物体が２重写りとなっている。この部分は高周波成分量が少ない部分であるが、［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合、幅長ＷＬの広い重ね合わせ領域での合成によって、上記のように、２重写り等の多重写りが発生する。
【００９１】
これに対して、この実施例では、操作者が、合成画像をステップＳ３９４による表示で確認して、２重写りが気になる場合に、［重なり部分をなめらかにする］チェックボックスＣＢ１のチェックを外せばよい。図１５は、［重なり部分をなめらかにする］チェックボックスＣＢ１をオン状態からオフ状態に切り換えた場合の効果を示す説明図である。図１５の（ａ）に示すように、チェックボックスＣＢ１がオン状態のときには、白いライン状に写った物体ＬＮが２重写りとなっている。これに対して、図１５の（ｂ）に示すように、チェックボックスＣＢ１がオフ状態のときには、重ね合わせ領域の幅長ＷＬが狭くなることから、白いライン状に写った物体ＬＮが切れた状態となる。２重写りとなるよりも、物体ＬＮが画像の位置ずれで若干ずれている方が画質的には優れていることから、操作者は、［重なり部分をなめらかにする］チェックボックスＣＢ１のチェックを外すことで、上述したような多重写りの発生を回避することができる。
【００９２】
３．他の実施形態：
なお、この発明は上記の実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。
【００９３】
（１）前記実施例では、第１の画像データＤｐ１の重複部分から、横方向の各１ライン分を順に抽出する構成としていたが、これは、重ね合わせ領域の幅方向に沿った方向が横方向であるからである。換言するなら、つなぎ合わせる画像の並びが横方向であるためでもある。これに対して、つなぎ合わせる画像の並びが縦方向である場合には、重ね合わせ領域の幅方向は縦方向となるために、画像データＤｐｉの重複部分から、縦方向の各１ライン分を順に抽出する構成とすればよい。
【００９４】
（２）前記実施例では、前記重複部分から抽出する１ライン分は、縦幅が１画素であったが、必ずしも１画素である必要はなく、例えば、２画素、３画素、５画素といった複数の画素を縦幅とするものであってもよい。
【００９５】
（３）前記実施例では、つなぎ合わせる画像の配列は、横一列の並びであったが、これに換えて、縦一例の並びとしてもよいし、あるいは、縦横複数のタイル状の並びとしてもよい。縦一列の並びである場合には、縦方向で２画像をつなぎ合わせればよく、上記タイル状の並びであれば、横方向と縦方向の双方で隣接する画像とのつなぎを合わせればよい。
【００９６】
（４）前期実施例では、つなぎ合わせる画像データのうちのいずれか一方の重複部分についての場所に応じた絵柄の複雑さを分析するように構成していたが、これに換えて、両画像データの重複部分についての分析を行なう構成としてもよい。こうすることが有効なのは、つなぎ合わせ部分に動く物体が存在する場合である。理想的なパノラマ写真（風景のみで人物はいない）では、重複部分については、同じ高周波成分を持っているはずであるが、写真をとった瞬間に重なりの部分に人間が入ってしまうと、もう一方の写真をとるまでにその人物が動いてしまうので、高周波成分の状況が変わってくる。したがって、両画像データの重複部分についての平均をとって分析する等、両画像データを用いる構成とすることができる。あるいは、両画像データの重複部分についての分析をそれぞれ行なって、高周波成分の状況に大きな違いがあった場合には、合成領域の幅長を短い方に設定するようにしてもよい。
【００９７】
（５）前記実施例では、パノラマ画像を作成するために用いる画像データＤｐｉは、デジタルカメラ２６により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置（例えば、静止画の撮影機能を持ったビデオカメラ）で撮影して得られた撮影画像を獲得する構成であれば、どのような構成であってもよい。例えば、ＨＤＤ１５等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。
【図面の簡単な説明】
【００９８】
【図１】本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。
【図２】デジタルカメラ２６によって撮影された複数の撮影画像の一例を示す説明図である。
【図３】コンピュータプログラムに従う制御処理の全体的な流れを示すフローチャートである。
【図４】アプリケーションウィンドウＷＤを示す説明図である。
【図５】パノラマ画像生成処理を示すフローチャートである。
【図６】つなぎ合わせ処理用のダイアログボックスＤＢを示す説明図である。
【図７】パノラマ画像生成処理のステップＳ３８０で実行されるつなぎ合わせ処理の詳細を示すフローチャートである。
【図８】第１の画像データＤｐ１を示す説明図である。
【図９】第２の画像データＤｐ２を示す説明図である。
【図１０】つなぎ合わせ処理により重ね合わせ領域の幅長ＷＬがどのように決定されるかを示す説明図である。
【図１１】第１の画像データＤｐ１と第２の画像データＤｐ２との合成処理を示す説明図である。
【図１２】［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合の重ね合わせ領域ＤＡを示す説明図である。
【図１３】［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合の重ね合わせ領域ＤＡを示す説明図である。
【図１４】２つの画像データの位置合わせが不十分である場合に、高周波成分量が少ない部分に２重写りが生じている合成画像の一例を示す説明図である。
【図１５】上記２重写りを解消することができることを示す説明図である。
【図１６】従来例としての合成方法を示す説明図である。
【符号の説明】
【００９９】
１０...パーソナルコンピュータ
１１...ＣＰＵ
１２...バス
１３...メモリ
１４...表示画像メモリ
１５...ハードディスクドライブ
１６...入力制御ユニット
１７...表示制御ユニット
１８...出力制御ユニット
２０...ディスプレイ
２２...キーボード
２４...マウス
２６...デジタルカメラ
２８...ＣＤドライブ
２９...プリンタ
３１...分析部
３２...幅長制御部
３３...合成部
ＢＲ１...メニューバー
ＢＴ１〜ＢＴ４...ボタン
Ｄｐｉ...画像データ
Ｄｐ１...第１の画像データ
Ｄｐ２...第２の画像データ
ＦＤＷ...作業フィールド
ＭＮ...処理メニュー欄
Ｐｒ...コンピュータプログラム
ＷＤ...アプリケーションウィンドウ
ＤＢ...ダイアログボックス
ＦＤ１...処理指示欄
ＦＤ２...作業欄
Ｒ...領域
ＦＤ１...処理表示欄
ＣＢ１...［重なり部分をなめらかにする］チェックボックス
ＢＴ１０...［作成］ボタン
ＯＬ１...重複部分
ＯＬ２...重複部分
Ｈ...高周波成分量
Ｗ１...第１の割合
Ｗ２...第２の割合
Ｎｘ...重複部分ＯＬ１の横方向の画素数
Ｎｙ...重複部分ＯＬ１の縦方向の画素数
ＤＡ...重ね合わせ領域（合成領域）
ＷＬ...重ね合わせ領域の幅長
【技術分野】
【０００１】
本発明は、画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ（デジタルスチールカメラ）とパーソナルコンピュータの普及に伴い、デジタルカメラで撮影した画像データをパーソナルコンピュータを用いて様々に処理することが可能となっている。様々な処理の一つとして、デジタルカメラで撮影した複数の画像データをつなぎ合わせてパノラマ画像を生成するパノラマ画像生成処理がある。
【０００３】
このパノラマ画像生成処理では、デジタルカメラにより、画像の一部が重複するように被写体像を複数に分割して撮影し、得られた複数の画像において、隣接する画像間のつなぎを合わせることにより連続したパノラマ画像を作成する。このようなパノラマ画像生成処理については、例えば特許文献１に開示されている。
【０００４】
【特許文献１】特開２０００−９０２３２号公報
【０００５】
２つの画像をつなぎ合わせる方法として、両画像の境界線部分に所定の幅の合成領域（以下、「重ね合わせ領域」とも呼ぶ）を設けて、この重ね合わせ領域において両画像の合成割合を徐々に変化させる構成が知られている。
【０００６】
図１６は、重ね合わせ領域を設定して両画像の合成割合を変化させる合成方法を示す説明図である。図示するように、第１の画像は、重ね合わせ領域の幅方向において第２の画像に向かうに従って、合成割合が１００％から０％に漸次減少し、一方、第２の画像は、重ね合わせ領域の幅方向において第１の画像に向かうに従って、合成割合が１００％から０％に漸次減少しており、両画像の合成割合の和は１００％となっている。この構成によれば、重ね合わせ領域の幅の中で両画像を滑らかに混ぜ込んで行くことができる。この結果、両画像の境界線部分は、色の変化が滑らかなものとなる。なお、上述した「重ね合わせ領域の幅」というは、重ね合わせ領域（合成領域）における、つなぎ合わせる２つの画像の並びの方向の長さのことである。この明細書でいう「合成領域の幅（あるいは、合成領域の幅長）」についても、同様である。
【０００７】
しかしながら、前記後者の技術では、第１の画像と第２の画像との間で絵柄の位置あわせが十分にできていない場合には、絵柄によっては画質が却って劣悪なものとなる問題があった。例えば、空と森林を写した風景写真に上記後者の技術を用いた場合、空の部分は、例え上記位置合わせが不十分であっても画質の劣化は少ないが、森林のような絵柄の複雑な部分は、上記位置合わせが不十分であると、複雑な絵柄が位置ずれされた状態で平滑化されてしまい、ぼやけた画像となってしまった。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の解決しようとする課題は、複数の画像をつなぎ合わせることによって得られる連続画像の接合部の画質の劣化を防止することにある。
【課題を解決するための手段】
【０００９】
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
【００１０】
本発明の画像つなぎ合わせ装置は、
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ装置であって、
前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する分析手段と、
前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める幅長制御手段と、
前記両画像データの前記重複部分に対して、前記幅長制御手段により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する合成手段と
を備えることを要旨としている。
【００１１】
上記構成の画像つなぎ合わせ装置によれば、第１の画像データと第２の画像データとの重複部分についての場所に応じた絵柄の複雑さが分析されて、その分析結果に基づいて、第１の画像データと第２の画像データとの合成領域の幅長が場所毎に定められる。この定められた幅長の合成領域でもって、両画像データが合成される。
【００１２】
このために、重複部分の場所毎の絵柄の複雑さに基づいて、合成領域の幅長が決定されることになる。一般に、２つの画像データの間の位置あわせは容易ではなく、位置あわせが不十分になることも多い。しかしながら、上記構成によれば、位置あわせが例え不十分であったとしても、絵柄の複雑さが大きい場所に、画像データの合成領域を狭くすること等を行なうことができることから、複雑な絵柄を平滑化させすぎることがない。この結果、森林など複雑な絵柄の部分については、ボケが少なく合成できることから、両画像データの接合部の画質の劣化を防止することができる。
【００１３】
上記構成の画像つなぎ合わせ装置において、前記幅長制御手段は、操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該幅長制御手段により定め得る中の最短の長さに固定する幅長固定手段を備える構成としてもよい。
【００１４】
この構成によれば、操作者が画像データの合成結果を確認して、画像の多重写り（２重写り）が気になる場合に、操作者によって、合成領域の幅長が分析結果と無関係に最短の長さに固定される。このために、位置あわせが不十分であることによって合成領域に生じた上記多重写りを容易に回避することができる。
【００１５】
前記幅長固定手段は、表示装置に表示され、前記入力装置としてのポインティングデバイスによりオンオフされるスイッチを備える構成としてもよい。
【００１６】
この構成によれば、操作者は、マウス等のポインティングデバイスを操作するだけでよいから、操作性に優れている。
【００１７】
前記分析手段は、前記重複部分についての空間周波数を分析して、前記絵柄の複雑さを示すパラメータとして高周波成分の分布状況を検出する高周波成分分布状況検出手段を備える構成としてもよい。
【００１８】
この構成によれば、重複部分についての場所に応じた絵柄の複雑さを、高周波成分の分布状況から容易に分析することができる。
【００１９】
前記高周波成分分布状況検出手段は、
前記重複部分から、前記合成領域の幅方向に沿った各１ライン分を順に抽出するライン抽出手段と、
前記抽出した１ライン毎に、前記高周波成分の量を検出する高周波成分量検出手段と、
前記高周波成分量検出手段により検出された各ラインの高周波成分の量が、所定の閾値以下であるか否かを判定する高周波成分量判定手段と
を備え、
前記幅長制御手段は、
前記高周波成分量判定手段により、前記高周波成分の量が前記閾値以下であると判定されたラインには、第１の長さを、前記高周波成分の量が前記閾値以下でないと判定されたラインには、前記第１の長さよりも短い第２の長さを前記幅長として設定する設定手段
を備える構成としてもよい。
【００２０】
この構成によれば、合成領域の幅方向に沿った各１ライン分のデータから、高周波成分量を検出して、この高周波成分量が所定の閾値以下であるか否かから、合成領域の幅長を、１ライン毎に、第１の長さか第１の長さよりも短い第２の長さかに決めている。この結果、簡単な構成でもって、合成領域の幅長を、画像全般にわたって、高周波成分の分布状況に応じて定めることができる。
【００２１】
前記合成手段は、前記両画像データを、前記合成領域の幅方向において他方側の画像に向かうに従って、合成割合が漸次減少するように合成を行なう構成としてもよい。
【００２２】
この構成によれば、合成領域の幅の中で第１の画像データと第２の画像データとを滑らかに混ぜ込んで行くことができる。
【００２３】
本発明の画像つなぎ合わせ方法は、
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ方法であって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する行程と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める行程と、
（ｃ）前記両画像データの前記重複部分に対して、前記行程（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像を合成する行程と
を備えることを要旨としている。
【００２４】
本発明のコンピュータプログラムは、
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成するためのコンピュータプログラムであって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する機能と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める機能と、
（ｃ）前記両画像データの前記重複部分に対して、前記機能（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する機能と
をコンピュータに実現させるためのコンピュータプログラムである。
【００２５】
本発明の画像つなぎ合わせ方法およびコンピュータプログラムによっても、本発明の画像つなぎ合わせ装置と同様に、二つの画像データをつなぎ合わせることによって得られる連続画像の接合部の画質の劣化を防止するという効果を奏する。
【００２６】
本発明の記録媒体は、本発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。
【００２７】
本発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。
【発明を実施するための最良の形態】
【００２８】
本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
１．装置の構成：
２．コンピュータ処理：
２−Ａ．処理の全体：
２−Ｂ．パノラマ画像生成処理：
３．作用・効果：
４．他の実施形態：
【００２９】
１．装置の構成：
図１は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の画像つなぎ合わせ装置を構成するパーソナルコンピュータ１０を中心に備え、その周辺装置として、ディスプレイ２０とキーボード２２とマウス２４を備える。さらに、パーソナルコンピュータ１０には、デジタルカメラ２６とＣＤドライブ２８とプリンタ２９が接続されている。マウス２４は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。
【００３０】
パーソナルコンピュータ１０は、中央演算処理装置としてのＣＰＵ１１を中心にバス１２により相互に接続されたメモリ１３、表示画像メモリ１４、ハードディスクドライブ１５、入力制御ユニット１６、表示制御ユニット１７、出力制御ユニット１８等を備える。メモリ１３は、各種データ等を記憶するもので、ＣＰＵ１１の作業領域となる。表示画像メモリ１４は、ディスプレイ２０に表示する画像の画像データを一旦記憶するメモリである。
【００３１】
ハードディスクドライブ１５は、パノラマ画像合成装置のソフトウェアとしてのコンピュータプログラムＰｒを記憶する。また、ハードディスクドライブ１５には、パノラマ画像合成に用いる複数の画像データＤｐｉ（ｉ＝１〜ｎで、ｎは正の整数）が記憶されている。画像データＤｐｉは、デジタルカメラ２６によって撮影した撮影画像の画像データであり、ハードディスクドライブ１５の所定の領域（例えば、ホルダ）に格納されている。撮影画像は、カラー画像である。
【００３２】
図２は、デジタルカメラ２６によって撮影された複数の撮影画像の一例を示す説明図である。図示するように、複数の撮影画像は、撮影した画像の一部が重複するように、被写体としての風景を横方向の合計２枚に分割して撮影したものである。すなわち、複数の撮影画像である第１の画像Ｐ１と第２の画像Ｐ２は、撮影した画像の一部が重複するように（以下、この重複する部分を「重複部分」と呼ぶ）、撮影範囲を右方向に移動させながらそれぞれ撮影したものである。第１および第２の画像Ｐ１、Ｐ２は、第１および第２の画像データＤｐ１、Ｄｐ２として、ハードディスクドライブ１５に格納される（図１参照）。なお、上記被写体は、森林（山林）を撮影したもので、森林の背景には空が映っている。
【００３３】
図１に戻り、入力制御ユニット１６は、キーボード２２やマウス２４から入力操作を取り込み、デジタルカメラ２６から画像データを取り込み、ＣＤドライブ２８からデータを取り込む制御ユニットである。表示制御ユニット１７は、ディスプレイ２０への信号出力を制御する制御ユニットである。出力制御ユニット１８は、プリンタ２９への印刷を制御する制御ユニットである。
【００３４】
コンピュータプログラムＰｒは、もともとは、記録媒体としてのＣＤ−ＲＯＭ（図示せず）に記憶されている。そのＣＤ−ＲＯＭをＣＤドライブ２８にセットして、所定のインストールプログラムを起動することで、コンピュータプログラムＰｒをＣＤ−ＲＯＭから読み出してハードディスクドライブ１５にインストールすることができる。このコンピュータプログラムＰｒをＣＰＵ１１が実行することにより、本発明の画像つなぎ合わせ装置の各種構成要件は実現される。
【００３５】
図１では、各種構成要件が、ＣＰＵ１１の内部で実現される機能のブロックによって示されている。すなわち、ＣＰＵ１１は、分析部３１、幅長制御部３２および合成部３３を機能として備える。
【００３６】
なお、コンピュータプログラムＰｒは、ＣＤ−ＲＯＭに替えて、フレキシブルディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムＰｒは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。
【００３７】
２．コンピュータ処理：
２−Ａ．処理の全体：
パーソナルコンピュータ１０のＣＰＵ１１でコンピュータプログラムＰｒを実行することで、上述した分析部３１、幅長制御部３２および合成部３３を実現している。このコンピュータプログラムＰｒに従う制御処理について、以下詳細に説明する。
【００３８】
図３は、この制御処理の全体的な流れを示すフローチャートである。このルーチンは、コンピュータプログラムＰｒを起動させる旨の指示がなされたときに、実行開始される。図示するように、処理が開始されると、ＣＰＵ１１は、まず、アプリケーションウィンドウＷＤをＣＲＴディスプレイ１２に表示する処理を行なう（ステップＳ１００）。
【００３９】
図４は、このアプリケーションウィンドウＷＤを示す説明図である。図示するように、アプリケーションウィンドウＷＤの左側の処理メニュー欄ＭＮには、「入力」、「パノラマ」、「印刷」、「出力」の４種類のボタンＢＴ１、ＢＴ２、ＢＴ３、ＢＴ４が、下方に向かって順に並んでおり、操作者は、これらボタンＢＴ１〜ＢＴ４を順にマウス２４によりクリックしていくことで、ＣＲＴディスプレイ１２の画面上で、デジタルカメラ２６で撮影した画像を１枚のパノラマ画像に合成して出力する作業を進めていくことができる。すなわち、図３に示すように、ＣＰＵ１１は、ステップ１００の実行後、ボタンＢＴ１〜ＢＴ４がマウス２４によりクリックされる操作指令を取り込んで、その操作指令に対応した入力処理、パノラマ画像生成処理、印刷処理、出力処理を順に実行する（ステップＳ２００、Ｓ３００、Ｓ４００、Ｓ５００）。
【００４０】
ステップＳ２００で実行される入力処理は、パノラマ画像合成に用いる複数の画像データを取り込むもので、ここでは、デジタルカメラ２６によって撮影されてハードディスクドライブ１５に格納された前述した画像データＤｐｉ（画像データＤｐ１，Ｄｐ２）を取り込む。この画像データＤｐｉの取り込み作業は、図４に示されるアプリケーションウィンドウＷＤのメニューバーＢＲ１に設けられた「ファイル」のボタンＢＴ１１が、マウス２４によりクリックされる操作指令を受けて、ファイル名を指定されることで１画像データ毎に行なわれる。なお、フォルダ等を指定することで複数の画像データを一括して取り込む構成としてもよい。また、ハードディスクドライブ１５を一旦経由することなしに、デジタルカメラ２６から直接取り込む構成とすることもできる。
【００４１】
上記のようにして取り込まれた複数の画像データＤｐ１，Ｄｐ２は、メモリ１３の所定のエリアに格納されるが、それとともに、図４に示すように、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示される。
【００４２】
ステップＳ３００で実行されるパノラマ画像生成処理は、ステップＳ２００で入力した複数の画像データＤｐ１，Ｄｐ２をつなぎ合わせて１枚のパノラマ画像を生成するものであり、詳細については後述する。
【００４３】
ステップＳ４００で実行される印刷処理は、ステップＳ３００で作成されたパノラマ画像データを、印刷コマンドとしてプリンタドライバに出力するものである。この印刷の処理は、周知の構成であり、ここでは詳しく説明はしないが、これによって画像データＤｐ１，Ｄｐ２をつなぎ合わせたパノラマ画像を表わすパノラマ画像データがプリンタ２９から印刷されることになる。
【００４４】
ステップＳ５００で実行される出力処理は、ステップＳ３００で作成されたパノラマ画像データを、ＨＤＤ１５等の出力先にファイルとして出力（保存）するものである。これによって上記パノラマ画像データが所望の記憶媒体に保存されることになる。
【００４５】
２−Ｂ．パノラマ画像生成処理：
ステップＳ３００で実行されるパノラマ画像生成処理について、以下詳細に説明する。図５は、このパノラマ画像生成処理を示すフローチャートである。このルーチンに処理が移行すると、図示するように、ＣＰＵ１１は、まず、ステップＳ２００の入力処理で取り込んだ画像データＤｐｉの数ｎをカウントする処理を行なう（ステップＳ３１０）。例えば、図２に示した例では、数ｎは２となる。なお、図示はしないが、ここで数ｎが１である場合には、画像合成は不要であるとして、このパノラマ画像生成処理を終了する。
【００４６】
次いで、ＣＰＵ１１は、つなぎ合わせ処理用のダイアログボックスＤＢをＣＲＴディスプレイ１２に表示する処理を行なう（ステップＳ３２０）。
【００４７】
図６は、つなぎ合わせ処理用のダイアログボックスＤＢを示す説明図である。図示するように、このダイアログボックスＤＢには、処理指示欄ＦＤ１と作業欄ＦＤ２が設けられている。作業欄ＦＤ２の上段には、ステップＳ２００の入力処理で取り込んだ画像データＤｐｉが一覧表示されている。ここでは、図示するように、第１の画像データＤｐ１と第２の画像データＤｐ２とが表示されている。なお、作業欄ＦＤ２の下段には、矩形の領域Ｒが横一列に複数並べて表示されている。また、処理指示欄ＦＤ１には、［重なり部分をなめらかにする］チェックボックスＣＢ１と、［作成］ボタンＢＴ１０とが設けられている。
【００４８】
図５に戻り、ステップＳ３２０の実行後、ＣＰＵ１１は、ステップＳ２００の入力処理で取り込んだ複数の画像データＤｐｉを、どのような配列でつなぎ合わせたいかを指定する処理を行なう（ステップＳ３３０）。ここでいう配列とは、パノラマ画像を作成する際の複数の画像データＤｐｉの並びであり、この実施例では、横一列の範囲内において複数の画像データＤｐｉをどのように並べるかが指定可能となっている。
【００４９】
具体的には、図６に示したつなぎ合わせ処理用のダイアログボックスＤＢにおける操作者のマウス２４を用いた操作によって上記指定がなされる。操作者は、作業欄ＦＤ２の上段に表示された各画像データＤｐｉ（Ｄｐ１、Ｄｐ２）をドラッグして、作業欄ＦＤ２の下段に表示された矩形の領域Ｒにドロップすることにより、第１の画像データＤｐ１と第２の画像データＤｐ２とをどのように並べるかを指定することができる。図示の例では、第１の画像データＤｐ１は、被写体の左側部分であり、第２の画像データＤｐ２は、被写体の右側部分であることから、両画像データＤｐ１，Ｄｐ２は、そのままの並びでよいから、図中破線に示すように下段に降ろしてくればよい。
【００５０】
例えば、被写体の撮影者が、図２で示した例と逆順に写真撮影を行なったとすると、第１の画像データＤｐ１は、被写体の右側部分であり、第２の画像データＤｐ２は、被写体の左側部分であることから、操作者は、第２の画像データＤｐ２を左から１番目の矩形の領域Ｒに、第１の画像データＤｐ１を左から２番目の矩形の領域Ｒにそれぞれドラッグ＆ドロップすることになる。
【００５１】
図５に戻り、ステップＳ３３０で配列の指定を終えると、次いで、ＣＰＵ１１は、つなぎ合わせ処理用のダイアログボックスＤＢに備えられた［作成］ボタンＢＴ１０が、操作者によるマウス２４の操作によりクリックされたか否かを判別する（ステップＳ３４０）。ここで、クリックされていないと判別されると、ステップＳ３４０の処理を繰り返して、操作者によるクリックがなされるのを待つ。ステップＳ３４０で、クリックされたと判別されると、ＣＰＵ１１は、ステップＳ３５０に処理を進める。
【００５２】
ステップＳ３５０では、ＣＰＵ１１は、つなぎ合わせ処理用のダイアログボックスＤＢの作業欄ＦＤ２の下段に表示された画像データＤｐｉの配列の中から、左から第１番目の画像データＤｐｉを読み出す処理を行なう。図６の例では、第１の画像データＤｐ１が読み出される。次いで、ＣＰＵ１１は、変数ｉに値２を代入する処理を行なう（ステップＳ３６０）。
【００５３】
その後、ＣＰＵ１１は、上記作業欄ＦＤ２の下段に表示された画像データＤｐｉの配列の中から、左から上記変数ｉで定まるｉ番目の画像データＤｐｉを読み出す処理を行なう（ステップＳ３７０）。図６の例では、第２の画像データＤｐ２が読み出される。次いで、ステップＳ３７０で読み出した画像データＤｐｉと、その前に読み出した隣接する画像データＤｐｉとをつなぎ合わせるつなぎ合わせ処理を行なう（ステップＳ３８０）。このつなぎ合わせ処理についての詳細は後述する。
【００５４】
ステップＳ３８０の実行後、ＣＰＵ１１は、変数ｉを値１だけインクリメントして（ステップＳ３９０）、その変数ｉが、画像データＤｐｉの数ｎより大きいか否かを判定する（ステップＳ３９２）。
【００５５】
ステップＳ３９２で、変数ｉが数ｎ以下であると判定された場合には、ステップＳ２００で入力した全ての画像データＤｐ１〜Ｄｐｎについてのつなぎ合わせが未だ終わっていないとして、ステップＳ３７０に処理を戻して、ステップＳ３７０ないしＳ３９２の処理を繰り返し実行する。一方、ステップＳ３９２で、変数ｉが数ｎを上回ると判定された場合には、全ての画像データＤｐ１〜Ｄｐｎについてのつなぎ合わせが終了したとして、画像データＤｐ１〜Ｄｐｎのつなぎ合わせ結果をパノラマ画像としてディスプレイ２０に表示する（ステップＳ３９４）。この表示は、例えば、結果表示用のダイアログボックス（図示せず）に表示するようにすればよい。あるいは、つなぎ合わせ処理用のダイアログボックスＤＢにパノラマ画像表示欄（図示せず）を予め用意しておいて、このパノラマ画像表示欄に上記つなぎ合わせ結果を表示するようにしてもよい。ステップＳ３９４の実行後、「リターン」に抜けて、このパノラマ画像生成処理を一旦終了する。
【００５６】
なお、図５のフローチャートでは、省略してあるが、操作者が上記ステップＳ３９４によるディスプレイ２０のつなぎ合わせ結果の表示を見て、つなぎ合わせ結果が好ましくないと判断して、［重なり部分をなめらかにする］チェックボックスＣＢ１のオン／オフが切り換えられた場合には、ステップＳ３４０から再度処理が実行開始されるようになされている。
【００５７】
図７は、ステップＳ３８０で実行されるつなぎ合わせ処理の詳細を示すフローチャートである。図示するように、このつなぎ合わせ処理に処理が移行すると、ＣＰＵ１１は、まず、つなぎ合わせ処理を行なう２つの画像データＤｐｉについての位置関係を求める処理を行なう（ステップＳ６０１）。この処理は、パノラマ画像生成のソフトウェアに予め内蔵されている画像位置関係演算プログラムを用いて行なわれる。
【００５８】
画像位置関係演算プログラムは、基本的には次の手順で構成されているものである。
（１）入力された２つの画像をグレイスケールにそれぞれ変換する。
（２）上記グレイスケールの画像上でコーナーとなっているポイントを複数（例えば、１００〜２００）取得する。
（３）一方の画像のポイントについて、他方の画像で対応する可能性のあるポイントを調べる。具体的には、一方の画像の各ポイントと、他方の画像の各ポイントとの全ての組み合わせについて、局所相互相関度を計算して、その計算値が、所定の閾値よりも大きい局所相互相関度となったポイントの組み合わせをマッチングする可能性の組み合わせとする。
【００５９】
（４）上記ポイントの組み合わせが１対１になるように処理する。あるポイント同士が正しい組み合わせであるとすれば、その近くにある回りのポイントも正しい組み合わせとなる可能性が高い。この特徴を利用して、あるポイントの組み合わせのマッチング度を周囲のポイントがどれだけ指示しているかから、正しいポイントの組み合わせを求める。
【００６０】
ステップＳ６０１では、実際には、２つの画像データＤｐｉの接続の方向を左から右への横方向として指定した上で、上記演算を行なう。接続の方向を左から右への横方向としたのは、このつなぎ合わせ処理でつなぎ合わせる２つの画像データＤｐｉが、ステップＳ３７０で配列の左から順に読み出した画像データであるからである。この結果、（４）で１対１のポイントの組み合わせが求められるので、この情報を使って、２つの画像データＤｐｉの位置関係を求めている。
【００６１】
ステップＳ６０１の実行後、ＣＰＵ１１は、つなぎ合わせを行なう２つの画像データＤｐｉのうちの一方についての重複部分を抽出する処理を行なう。この実施例では、配列の左側に位置する画像データＤｐｉから重複部分を抽出している。図６の例では、配列の左側に位置する画像データＤｐｉは、第１の画像データＤｐ１である。重複部分は、ステップＳ６０１で求めた両画像データＤｐｉの位置関係から求めている。
【００６２】
図８は、第１の画像データＤｐ１を示す説明図である。図中、ハッチング部分が、第２の画像データＤｐ２との重複部分ＯＬ１である。ステップＳ６０１では、この重複部分ＯＬ１に含まれる画像データを抽出する。
【００６３】
図９は、第２の画像データＤｐ２を示す説明図である。図中、ハッチング部分が、第１の画像データＤｐ１との重複部分ＯＬ２である。ステップＳ６０１では、この重複部分ＯＬ２に含まれる画像データを抽出する構成とすることもできる。ステップＳ６０１では、要は、つなぎ合わせる両画像データのうちのいずれか一方の重複部分を抽出すればよい。
【００６４】
図７に戻り、ステップＳ６０２の実行後、ＣＰＵ１１は、変数ｊに値１を代入する（ステップＳ６０３）。次いで、ステップＳ６０２で抽出した重複部分から、横方向に延びる１ライン分のデータを抽出する処理を行なう（ステップＳ６０２）。
【００６５】
図１０は、つなぎ合わせ処理により合成領域（以下、「重ね合わせ領域」とも呼ぶ）の幅長ＷＬがどのように決定されるかを示す説明図である。図示するように、第１の画像データＤｐ１の重複部分ＯＬ１は、横方向にＮｘ個、縦方向にＮｙ個の画素によって構成されるが、ステップＳ６０２では、横方向の１ライン分（縦幅が１画素）のデータＬＤを、縦方向に上から下へ順に読み出している。詳細には、変数ｊで決まる上からｊ番目のラインのデータＬＤｊを抽出する。
【００６６】
図７に戻り、ステップＳ６０４の実行後、ＣＰＵ１１は、ステップＳ６０４で抽出したｊ番目のラインのデータＬＤｊについての空間周波数を分析して、高周波成分量Ｈを検出する処理を行なう（ステップＳ６０５）。「空間周波数」は画像の周期構造の細かさを表わす数値であることから、ラインのデータＬＤｊについての空間周波数を分析して、高周波成分量Ｈを検出することで、画像の絵柄の複雑さを知ることができる。ステップＳ６０５では、具体的には、離散コサイン変換（フーリエ変換の一種）にて、高周波成分と低周波成分を分離することでラインデータＬＤｊの中に、どの程度の高周波成分が含まれているかを求め、この割合を高周波成分量Ｈと定めている。
【００６７】
その後、ＣＰＵ１１は、フラグＦが値１であるか否かを判定する（ステップＳ６０６）。このフラグＦの値は、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っているか否かによって定められている。チェックが入っている場合には、Ｆ＝"１"であり、チェックが入っていない場合には、Ｆ＝"０"となっている。すなわち、ステップＳ６０６では、［重なり部分をなめらかにする］チェックボックスＣＢ１がチェックされているか否かを判定している。
【００６８】
ステップＳ６０６で、［重なり部分をなめらかにする］チェックボックスＣＢ１がチェックされていると判定された場合には、ステップＳ６０７に処理を進めて、ステップＳ６０５で検出された高周波成分量Ｈが、所定値Ｈ０以下であるか否かを判定する。ここで、高周波成分量Ｈが所定値Ｈ０以下であると判定された場合には、２つの画像データをつなぎ合わせる際に重ね合わせる重ね合わせ領域（換言すれば、合成する合成領域）の幅長ＷＬを、次式（１）に従って求める（ステップＳ６０８）。
【００６９】
ＷＬ＝Ｎｘ・Ｗ１ ...（１）
ここで、Ｎｘは、重ね合わせる対象である両画像データＤｐｉの横方向の長さであり、前述した図６の例では、第１の画像データＤｐ１の重複部分ＯＬ１の横方向の画素数に相当する。Ｗ１は、予め定めた第１の割合であり、例えば１００％である。
【００７０】
一方、ステップＳ６０７で、高周波成分量Ｈが所定値Ｈ０を上回ると判定された場合には、重ね合わせ領域の幅長ＷＬを、次式（２）に従って求める（ステップＳ６０９）。
【００７１】
ＷＬ＝Ｎｘ・Ｗ２ ...（２）
ここで、Ｗ２は、上記第１の割合Ｗ１よりも小さい第２の割合であり、例えば５％である。
【００７２】
図１０に戻って、重複部分ＯＬ１についての横方向の１ライン分のデータＬＤが抽出された後について説明する。その後、各１ライン分のデータ毎に、ステップＳ６０７により、高周波成分量Ｈが多いか少ないかが判定され、その判定結果に基づいて、Ｓ６０８，Ｓ６０９により、重ね合わせ領域の幅長ＷＬが、Ｎｘ・Ｗ１もしくはＮｘ・Ｗ２に決定されることになる。
【００７３】
図７に戻り、一方、ステップＳ６０６で、［重なり部分をなめらかにする］チェックボックスＣＢ１がチェックされていないと判定された場合には、ステップＳ６０９に処理を進めて、上記式（２）に従って、重ね合わせ領域の幅長ＷＬを定める。
【００７４】
ステップＳ６０８またはＳ６０９の実行後、ＣＰＵ１１は、ステップＳ６１０に処理を進める。ステップＳ６１０では、ＣＰＵ１１は、変数ｊで定まるｊ番目のラインについて、ステップＳ６０８またはＳ６０９で求められた幅長ＷＬの重ね合わせ領域でもって、つなぎ合わせる対象としての両画像データＤｐｉを合成する処理を行なう。
【００７５】
図１１は、ステップＳ６１０で実行される合成処理を示す説明図である。図中の２つのグラフは、画像の位置と両画像データの合成割合との関係を示すものであり、（Ａ）は、重ね合わせ領域の幅長ＷＬ＝Ｎｘ・Ｗ１に設定された場合のものであり、（Ｂ）は、幅長ＷＬ＝Ｎｘ・Ｗ２に設定された場合のものである。
【００７６】
図中（Ａ）、（Ｂ）における２本の破線の間の領域が、２つの画像データをつなぎ合わせる際の重ね合わせ領域であり、（Ａ）の場合の重ね合わせ領域の幅長ＷＬは、第１の割合Ｗ１が１００％であるとすると、重複部分ＯＬ１の横方向の長さＮｘいっぱいとなる。この重ね合わせ領域の範囲内で、第１の画像データＤｐ１と第２の画像データＤｐ２との合成割合が変化している。図示するように、重ね合わせ領域において、第１の画像データＤｐ１は、第２の画像データＤｐ２に向かうに従って、合成割合が１００％から０％に漸次減少し、第２の画像データＤｐ２は、第１の画像データＤｐ１に向かうに従って、合成割合が１００％から０％に漸次減少しており、両画像データＤｐ１，Ｄｐ２の合成割合の和は１００％となっている。
【００７７】
一方、（Ｂ）の場合の重ね合わせ領域の幅長ＷＬは、第２の割合Ｗ２が５％であることから、上記（Ａ）の場合の１／２０の大きさとなる。なお、図中では、見やすさの便宜を図って１／２０よりも大きく描いている。そして、上記（Ａ）の場合と同様に、この重ね合わせ領域の範囲内で、第１の画像データＤｐ１と第２の画像データＤｐ２との合成割合が変化している。図示するように、重ね合わせ領域において、第１の画像データＤｐ１は、第２の画像データＤｐ２に向かうに従って、合成割合が１００％から０％に漸次減少し、第２の画像データＤｐ２は、第１の画像データＤｐ１に向かうに従って、合成割合が１００％から０％に漸次減少しており、両画像データＤｐ１，Ｄｐ２の合成割合の和は１００％となっている。
【００７８】
ステップＳ６１０では、重ね合わせ領域の幅長ＷＬに基づいて、上記（Ａ）、（Ｂ）のいずれかのグラフを選択的に決定して、変数ｊで定まるｊ番目のラインについて、そのグラフで示される画像の位置から定まる合成割合でもって第１の画像データＤｐ１と第２の画像データＤｐ２との合成を図っている。なお、上述した合成割合は、各画像データＤｐ１、Ｄｐ２を構成するＲ、Ｇ、Ｂの各色データに乗算されることで用いられる。
【００７９】
図７に戻って、ステップＳ６１０の実行後、ＣＰＵ１１は、変数ｊを値１だけインクリメントして（ステップＳ６１１）、その変数ｊが、重複部分の縦方向の画素数Ｎｙより大きいか否かを判定する（ステップＳ６１２）。
【００８０】
ステップＳ６１２で、変数ｊが数Ｎｙ以下であると判定された場合には、重複部分ＯＬ１についての合成が未だ終わっていないとして、ステップＳ６０４に処理を戻して、ステップＳ６０４ないしＳ６１２の処理を繰り返し実行する。一方、ステップＳ６１２で、変数ｊが数Ｎｙを上回ると判定された場合には、重複部分ＯＬ１についてのつなぎ合わせが終了したとして、「リターン」に抜けて、このつなぎ合わせ処理を一旦終了する。
【００８１】
以上のように構成されたパノラマ画像生成処理によれば、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合に次のように作用する。
【００８２】
例えば、図１０に示すように、第１の画像データＤｐ１の重複部分ＯＬ１が、上方が「空」で、下方が「森林」であるとすると、「空」の部分は高周波成分量Ｈが少なく、「森林」の部分は高周波成分量Ｈが多い。このために、図示するように、重ね合わせ領域の幅長ＷＬは、上から下に向かって、Ｎｘ・Ｗ１（Ｗ１は１００％）といった大きな値が続き、ある点（「森林」の部分となったところ）で、Ｎｘ・Ｗ２（Ｗ２は５％）といった小さな値に変わって、その小さな値が続く。
【００８３】
図１２は、第１の画像データＤｐ１と第２の画像データＤｐ２の重複部分ＯＬに対して設定される重ね合わせ領域（合成領域）ＤＡを示す説明図である。図中、ハッチングの部分が重ね合わせ領域ＤＡである。重ね合わせ領域ＤＡは、重複部分ＯＬの上から下に向かって当初は、重複部分ＯＬの横方向の長さＮｘいっぱいの広い幅（第１の長さ）となる。その後、ある点（「森林」の部分となったところ）で、Ｎｘの１／２０の狭い幅（第２の長さ）となる。換言するなら、重ね合わせ領域の幅長ＷＬは、縦方向の場所毎に定められている。
【００８４】
一方、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合には、重ね合わせ領域は次のようになる。
【００８５】
図１３は、［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合の重ね合わせ領域ＤＡを示す説明図である。図中、ハッチングの部分が重ね合わせ領域ＤＡである。重ね合わせ領域ＤＡは、重複部分ＯＬの横方向の長さＮｘの１／２０といった狭い幅（第２の長さ）に固定される。
【００８６】
上記構成のパノラマ画像生成処理のステップＳ６０４，Ｓ６０５，Ｓ６０７が分析部３１（図１）に、ステップＳ６０８，Ｓ６０９が幅長制御部３２（図１）に、ステップＳ６１０が合成部３３（図１）にそれぞれ対応する。分析部３１は、重複部分についての場所に応じた絵柄の複雑さを、横方向の１ライン毎の高周波成分量Ｈが所定値Ｈ０以下であるか否かからを判定しており、幅長制御部３２は、上記の判定結果から、前述したように重ね合わせ領域の幅長ＷＬを縦方向の場所毎に定めている。合成部３３は、その幅長Ｌの重ね合わせ領域（合成領域）でもって第１の画像データＤｐ１と第２の画像データＤｐ２とを合成する。
【００８７】
Ｃ．作用・効果：
以上のように構成されたこの実施例のコンピュータシステムによれば、図１０ないし図１２を用いて説明してきたように、第１の画像データＤｐ１の重複部分ＯＬ１についての高周波成分の分布状況を検出して、高周波成分量Ｈが少ない部分には、第１の長さの重ね合わせ領域の幅長ＷＬが設定され、高周波成分量Ｈが多い部分には、第１の長さよりも短い第２の長さの重ね合わせ領域の幅長ＷＬが設定される。そして、その幅長Ｌの重ね合わせ領域でもって、第１の画像データＤｐ１と第２の画像データＤｐ２とが合成される。
【００８８】
このために、合成しようとする画像データＤｐｉにおいて、「空」などのように高周波成分量が少ない部分は、滑らかに色が変わるように合成される。一方、「森林」などのように高周波成分量が多い部分については、両画像データの位置あわせが例え不十分であったとしても、重ね合わせ領域の幅長ＷＬが狭いことから、複雑な絵柄を平滑化させすぎることがなくなり、この結果、ボケを少なく合成することができ、違和感の少ない画像となる。したがって、両画像データＤｐｉの接合部の画質の劣化を防止することができる。
【００８９】
また、この実施例では、つなぎ合わせ処理用のダイアログボックスＤＢに設けられた［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合には、高周波成分量と無関係に、重ね合わせ領域の幅長ＷＬが第２の長さに固定される。
【００９０】
図１４は、２つの画像データの位置合わせが不十分である場合に、高周波成分量が少ない部分に２重写りが生じている合成画像の一例を示す説明図である。［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合のものである。図示するように、合成画像において、白いライン状に写った物体が２重写りとなっている。この部分は高周波成分量が少ない部分であるが、［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合、幅長ＷＬの広い重ね合わせ領域での合成によって、上記のように、２重写り等の多重写りが発生する。
【００９１】
これに対して、この実施例では、操作者が、合成画像をステップＳ３９４による表示で確認して、２重写りが気になる場合に、［重なり部分をなめらかにする］チェックボックスＣＢ１のチェックを外せばよい。図１５は、［重なり部分をなめらかにする］チェックボックスＣＢ１をオン状態からオフ状態に切り換えた場合の効果を示す説明図である。図１５の（ａ）に示すように、チェックボックスＣＢ１がオン状態のときには、白いライン状に写った物体ＬＮが２重写りとなっている。これに対して、図１５の（ｂ）に示すように、チェックボックスＣＢ１がオフ状態のときには、重ね合わせ領域の幅長ＷＬが狭くなることから、白いライン状に写った物体ＬＮが切れた状態となる。２重写りとなるよりも、物体ＬＮが画像の位置ずれで若干ずれている方が画質的には優れていることから、操作者は、［重なり部分をなめらかにする］チェックボックスＣＢ１のチェックを外すことで、上述したような多重写りの発生を回避することができる。
【００９２】
３．他の実施形態：
なお、この発明は上記の実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。
【００９３】
（１）前記実施例では、第１の画像データＤｐ１の重複部分から、横方向の各１ライン分を順に抽出する構成としていたが、これは、重ね合わせ領域の幅方向に沿った方向が横方向であるからである。換言するなら、つなぎ合わせる画像の並びが横方向であるためでもある。これに対して、つなぎ合わせる画像の並びが縦方向である場合には、重ね合わせ領域の幅方向は縦方向となるために、画像データＤｐｉの重複部分から、縦方向の各１ライン分を順に抽出する構成とすればよい。
【００９４】
（２）前記実施例では、前記重複部分から抽出する１ライン分は、縦幅が１画素であったが、必ずしも１画素である必要はなく、例えば、２画素、３画素、５画素といった複数の画素を縦幅とするものであってもよい。
【００９５】
（３）前記実施例では、つなぎ合わせる画像の配列は、横一列の並びであったが、これに換えて、縦一例の並びとしてもよいし、あるいは、縦横複数のタイル状の並びとしてもよい。縦一列の並びである場合には、縦方向で２画像をつなぎ合わせればよく、上記タイル状の並びであれば、横方向と縦方向の双方で隣接する画像とのつなぎを合わせればよい。
【００９６】
（４）前期実施例では、つなぎ合わせる画像データのうちのいずれか一方の重複部分についての場所に応じた絵柄の複雑さを分析するように構成していたが、これに換えて、両画像データの重複部分についての分析を行なう構成としてもよい。こうすることが有効なのは、つなぎ合わせ部分に動く物体が存在する場合である。理想的なパノラマ写真（風景のみで人物はいない）では、重複部分については、同じ高周波成分を持っているはずであるが、写真をとった瞬間に重なりの部分に人間が入ってしまうと、もう一方の写真をとるまでにその人物が動いてしまうので、高周波成分の状況が変わってくる。したがって、両画像データの重複部分についての平均をとって分析する等、両画像データを用いる構成とすることができる。あるいは、両画像データの重複部分についての分析をそれぞれ行なって、高周波成分の状況に大きな違いがあった場合には、合成領域の幅長を短い方に設定するようにしてもよい。
【００９７】
（５）前記実施例では、パノラマ画像を作成するために用いる画像データＤｐｉは、デジタルカメラ２６により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置（例えば、静止画の撮影機能を持ったビデオカメラ）で撮影して得られた撮影画像を獲得する構成であれば、どのような構成であってもよい。例えば、ＨＤＤ１５等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。
【図面の簡単な説明】
【００９８】
【図１】本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。
【図２】デジタルカメラ２６によって撮影された複数の撮影画像の一例を示す説明図である。
【図３】コンピュータプログラムに従う制御処理の全体的な流れを示すフローチャートである。
【図４】アプリケーションウィンドウＷＤを示す説明図である。
【図５】パノラマ画像生成処理を示すフローチャートである。
【図６】つなぎ合わせ処理用のダイアログボックスＤＢを示す説明図である。
【図７】パノラマ画像生成処理のステップＳ３８０で実行されるつなぎ合わせ処理の詳細を示すフローチャートである。
【図８】第１の画像データＤｐ１を示す説明図である。
【図９】第２の画像データＤｐ２を示す説明図である。
【図１０】つなぎ合わせ処理により重ね合わせ領域の幅長ＷＬがどのように決定されるかを示す説明図である。
【図１１】第１の画像データＤｐ１と第２の画像データＤｐ２との合成処理を示す説明図である。
【図１２】［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っている場合の重ね合わせ領域ＤＡを示す説明図である。
【図１３】［重なり部分をなめらかにする］チェックボックスＣＢ１にチェックが入っていない場合の重ね合わせ領域ＤＡを示す説明図である。
【図１４】２つの画像データの位置合わせが不十分である場合に、高周波成分量が少ない部分に２重写りが生じている合成画像の一例を示す説明図である。
【図１５】上記２重写りを解消することができることを示す説明図である。
【図１６】従来例としての合成方法を示す説明図である。
【符号の説明】
【００９９】
１０...パーソナルコンピュータ
１１...ＣＰＵ
１２...バス
１３...メモリ
１４...表示画像メモリ
１５...ハードディスクドライブ
１６...入力制御ユニット
１７...表示制御ユニット
１８...出力制御ユニット
２０...ディスプレイ
２２...キーボード
２４...マウス
２６...デジタルカメラ
２８...ＣＤドライブ
２９...プリンタ
３１...分析部
３２...幅長制御部
３３...合成部
ＢＲ１...メニューバー
ＢＴ１〜ＢＴ４...ボタン
Ｄｐｉ...画像データ
Ｄｐ１...第１の画像データ
Ｄｐ２...第２の画像データ
ＦＤＷ...作業フィールド
ＭＮ...処理メニュー欄
Ｐｒ...コンピュータプログラム
ＷＤ...アプリケーションウィンドウ
ＤＢ...ダイアログボックス
ＦＤ１...処理指示欄
ＦＤ２...作業欄
Ｒ...領域
ＦＤ１...処理表示欄
ＣＢ１...［重なり部分をなめらかにする］チェックボックス
ＢＴ１０...［作成］ボタン
ＯＬ１...重複部分
ＯＬ２...重複部分
Ｈ...高周波成分量
Ｗ１...第１の割合
Ｗ２...第２の割合
Ｎｘ...重複部分ＯＬ１の横方向の画素数
Ｎｙ...重複部分ＯＬ１の縦方向の画素数
ＤＡ...重ね合わせ領域（合成領域）
ＷＬ...重ね合わせ領域の幅長
【特許請求の範囲】
【請求項１】
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ装置であって、
前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する分析手段と、
前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める幅長制御手段と、
前記両画像データの前記重複部分に対して、前記幅長制御手段により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する合成手段と
を備える画像つなぎ合わせ装置。
【請求項２】
請求項１に記載の画像つなぎ合わせ装置であって、
前記幅長制御手段は、
操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該幅長制御手段により定め得る中の最短の長さに固定する幅長固定手段
を備える画像つなぎ合わせ装置。
【請求項３】
請求項２に記載の画像つなぎ合わせ装置であって、
前記幅長固定手段は、
表示装置に表示され、前記入力装置としてのポインティングデバイスによりオンオフされるスイッチを備える、
画像つなぎ合わせ装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像つなぎ合わせ装置であって、
前記分析手段は、
前記重複部分についての空間周波数を分析して、前記絵柄の複雑さを示すパラメータとして高周波成分の分布状況を検出する高周波成分分布状況検出手段
を備える画像つなぎ合わせ装置。
【請求項５】
請求項４に記載の画像つなぎ合わせ装置であって、
前記高周波成分分布状況検出手段は、
前記重複部分から、前記合成領域の幅方向に沿った各１ライン分を順に抽出するライン抽出手段と、
前記抽出した１ライン毎に、前記高周波成分の量を検出する高周波成分量検出手段と、
前記高周波成分量検出手段により検出された各ラインの高周波成分の量が、所定の閾値以下であるか否かを判定する高周波成分量判定手段と
を備え、
前記幅長制御手段は、
前記高周波成分量判定手段により、前記高周波成分の量が前記閾値以下であると判定されたラインには、第１の長さを、前記高周波成分の量が前記閾値以下でないと判定されたラインには、前記第１の長さよりも短い第２の長さを前記幅長として設定する設定手段
を備える画像つなぎ合わせ装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像つなぎ合わせ装置であって、
前記合成手段は、
前記両画像データを、前記合成領域の幅方向において他方側の画像に向かうに従って、合成割合が漸次減少するように合成を行なう構成である、
画像つなぎ合わせ装置。
【請求項７】
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ方法であって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する行程と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める行程と、
（ｃ）前記両画像データの前記重複部分に対して、前記行程（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像を合成する行程と
を備える画像つなぎ合わせ方法。
【請求項８】
請求項７に記載の画像つなぎ合わせ方法であって、
前記行程（ｂ）は、
（ｂ１）操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該行程（ｂ）により定め得る中の最短の長さに固定する行程
を備える画像つなぎ合わせ方法。
【請求項９】
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成するためのコンピュータプログラムであって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する機能と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める機能と、
（ｃ）前記両画像データの前記重複部分に対して、前記機能（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する機能と
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムであって、
前記機能（ｂ）は、
（ｂ１）操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該機能（ｂ）により定め得る中の最短の長さに固定する機能
をさらにコンピュータに実現させるためのコンピュータプログラム。
【請求項１１】
請求項９または１０に記載のコンピュータプログラムであって、
前記機能（ａ）は、
（ａ１）前記重複部分についての空間周波数を分析して、前記絵柄の複雑さを示すパラメータとして高周波成分の分布状況を検出する機能
を備えるコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムであって、
前記機能（ａ１）は、
（ａ１１）前記重複部分から、前記合成領域の幅方向に沿った各１ライン分を順に抽出する機能と、
（ａ１２）前記抽出した１ライン毎に、前記高周波成分の量を検出する機能と、
（ａ１３）前記機能（ａ１２）により検出された各ラインの高周波成分の量が、所定の閾値以下であるか否かを判定する機能と
を備え、
前記機能（ｂ）は、
（ｂ２）前記機能（ａ１３）により、前記高周波成分の量が前記閾値以下であると判定されたラインには、第１の長さを、前記高周波成分の量が前記閾値以下でないと判定されたラインには、前記第１の長さよりも短い第２の長さを前記幅長として設定する機能
を備えるコンピュータプログラム。
【請求項１３】
請求項９ないし１２のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ装置であって、
前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する分析手段と、
前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める幅長制御手段と、
前記両画像データの前記重複部分に対して、前記幅長制御手段により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する合成手段と
を備える画像つなぎ合わせ装置。
【請求項２】
請求項１に記載の画像つなぎ合わせ装置であって、
前記幅長制御手段は、
操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該幅長制御手段により定め得る中の最短の長さに固定する幅長固定手段
を備える画像つなぎ合わせ装置。
【請求項３】
請求項２に記載の画像つなぎ合わせ装置であって、
前記幅長固定手段は、
表示装置に表示され、前記入力装置としてのポインティングデバイスによりオンオフされるスイッチを備える、
画像つなぎ合わせ装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像つなぎ合わせ装置であって、
前記分析手段は、
前記重複部分についての空間周波数を分析して、前記絵柄の複雑さを示すパラメータとして高周波成分の分布状況を検出する高周波成分分布状況検出手段
を備える画像つなぎ合わせ装置。
【請求項５】
請求項４に記載の画像つなぎ合わせ装置であって、
前記高周波成分分布状況検出手段は、
前記重複部分から、前記合成領域の幅方向に沿った各１ライン分を順に抽出するライン抽出手段と、
前記抽出した１ライン毎に、前記高周波成分の量を検出する高周波成分量検出手段と、
前記高周波成分量検出手段により検出された各ラインの高周波成分の量が、所定の閾値以下であるか否かを判定する高周波成分量判定手段と
を備え、
前記幅長制御手段は、
前記高周波成分量判定手段により、前記高周波成分の量が前記閾値以下であると判定されたラインには、第１の長さを、前記高周波成分の量が前記閾値以下でないと判定されたラインには、前記第１の長さよりも短い第２の長さを前記幅長として設定する設定手段
を備える画像つなぎ合わせ装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像つなぎ合わせ装置であって、
前記合成手段は、
前記両画像データを、前記合成領域の幅方向において他方側の画像に向かうに従って、合成割合が漸次減少するように合成を行なう構成である、
画像つなぎ合わせ装置。
【請求項７】
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成する画像つなぎ合わせ方法であって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する行程と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める行程と、
（ｃ）前記両画像データの前記重複部分に対して、前記行程（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像を合成する行程と
を備える画像つなぎ合わせ方法。
【請求項８】
請求項７に記載の画像つなぎ合わせ方法であって、
前記行程（ｂ）は、
（ｂ１）操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該行程（ｂ）により定め得る中の最短の長さに固定する行程
を備える画像つなぎ合わせ方法。
【請求項９】
画像の一部が重複するように撮影した第１の画像データと第２の画像データとをつなぎ合わせることにより、連続した画像の画像データを生成するためのコンピュータプログラムであって、
（ａ）前記両画像データのうちの少なくとも一方の前記重複部分についての場所に応じた絵柄の複雑さを分析する機能と、
（ｂ）前記両画像データを前記重複部分でつなぎ合わせる際に両画像データを合成する合成領域の幅長を、前記分析手段による分析結果に基づいて場所毎に定める機能と、
（ｃ）前記両画像データの前記重複部分に対して、前記機能（ｂ）により定められた幅長の合成領域を設定して、該合成領域でもって前記両画像データを合成する機能と
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムであって、
前記機能（ｂ）は、
（ｂ１）操作者により操作される入力装置から特定の指令を受けて、前記合成領域の幅長を、前記分析結果と無関係に、当該機能（ｂ）により定め得る中の最短の長さに固定する機能
をさらにコンピュータに実現させるためのコンピュータプログラム。
【請求項１１】
請求項９または１０に記載のコンピュータプログラムであって、
前記機能（ａ）は、
（ａ１）前記重複部分についての空間周波数を分析して、前記絵柄の複雑さを示すパラメータとして高周波成分の分布状況を検出する機能
を備えるコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムであって、
前記機能（ａ１）は、
（ａ１１）前記重複部分から、前記合成領域の幅方向に沿った各１ライン分を順に抽出する機能と、
（ａ１２）前記抽出した１ライン毎に、前記高周波成分の量を検出する機能と、
（ａ１３）前記機能（ａ１２）により検出された各ラインの高周波成分の量が、所定の閾値以下であるか否かを判定する機能と
を備え、
前記機能（ｂ）は、
（ｂ２）前記機能（ａ１３）により、前記高周波成分の量が前記閾値以下であると判定されたラインには、第１の長さを、前記高周波成分の量が前記閾値以下でないと判定されたラインには、前記第１の長さよりも短い第２の長さを前記幅長として設定する機能
を備えるコンピュータプログラム。
【請求項１３】
請求項９ないし１２のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−１１９７３０（Ｐ２００６−１１９７３０Ａ）
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願番号】特願２００４−３０４４３６（Ｐ２００４−３０４４３６）
【出願日】平成１６年１０月１９日（２００４．１０．１９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願日】平成１６年１０月１９日（２００４．１０．１９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]