説明

合成画像の表示

【課題】 複数の合成画像を容易に比較可能とすることで、合成画像の選別の作業性の向上を図る。
【解決手段】 合成パラメータの値を切り換えることで、同じ画像データDp1〜Dp3から合成結果の相違する複数の合成画像データDpm1〜Dpm3を合成することが可能である。これら複数の合成画像データDpm1〜Dpm3を、画像比較用ウィンドウWD3に形成した各表示エリアA1〜A3にそれぞれ表示する。各表示エリアA1〜A3には、コントロールボックスCBが設けられており、このコントロールボックスCBに表示された操作枠CFを拡大/縮小、あるいは位置移動を行なうことにより、表示エリアに表示される合成画像データDpm1〜Dpm3の表示倍率あるいは表示範囲を調整することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の元画像を合成して得られた合成画像を画面に表示する技術に関する。
【背景技術】
【0002】
近年、デジタルカメラ(デジタルスチールカメラ)とパーソナルコンピュータの普及に伴い、デジタルカメラで撮影した画像データをパーソナルコンピュータを用いて様々に処理することが可能となっている。様々な処理の一つとして、デジタルカメラで撮影した複数の画像データを基にパノラマ画像を合成するパノラマ画像合成処理がある。
【0003】
このパノラマ画像合成処理では、デジタルカメラにより画像の一部が重複するように被写体像を複数に分割して撮影し、得られた複数の画像に対し、隣接する画像データ間のつなぎを合わせて(共通する部分を重ね合わせて)パノラマ画像を生成する。このようなパノラマ画像合成処理の内容は、例えば特許文献1に開示されている。
【0004】
【特許文献1】特開2000−90232号公報
【0005】
ところで、上記パノラマ画像合成を始めとする画像合成は、比較的難しい技術であり、必ずしも良好な合成結果を得ることができなかった。上記パノラマ画像合成では、つなぎ合わせ部分に不整合が生じやすい。このため、画像合成の条件を様々に変えて、多数の試作品を作成する必要があった。それら試作品の中から最適なものを選別するには、試作品を比較する必要があるが、その比較を容易に行なうことが難しかった。画像合成の作業を何度も行なって、合成結果としての試作品をハードディスク等の記憶装置に一旦格納した後、各試作品のデータを個々にドラッグして個別のウィンドウに順に表示していくしか、試作品の比較を行なうことはできなかった。
【0006】
なお、画像を補正する分野においては、画像を比較するユーザーインタフェースとしては、一つのウィンドウに、元画像と補正後画像とを同時に表示する構成が知られているが、この構成では、元画像と補正後画像との比較ができるだけであった。
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の解決しようとする課題は、複数の合成画像を容易に比較可能とすることで、合成画像の選別の作業性の向上を図ることにある。
【課題を解決するための手段】
【0008】
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
【0009】
本発明の合成画像表示装置は、
複数の元画像を合成して得られた合成画像を画面に表示する合成画像表示装置であって、
前記元画像が同じでありながら合成結果の相違する複数の合成画像を記憶する合成画像記憶手段と、
前記複数の合成画像を、前記画面に形成した画像比較用のウィンドウに一覧表示する一覧表示手段と
を備えることを要旨としている。
【0010】
上記構成の合成画像表示装置によれば、元画像が同じでありながら合成結果の相違する複数の合成画像が、画像比較用のウィンドウに一覧表示される。このために、複数の合成画像を容易に比較することができる。したがって、合成画像の選別を作業性よく行なうことができる。
【0011】
前記一覧表示手段は、前記画像比較用のウィンドウに複数の表示エリアを形成する表示エリア形成手段と、該形成された各表示エリアに前記各合成画像を表示する画像表示手段とを備える構成としてもよい。
【0012】
この構成によれば、複数の表示エリアを予め形成しておくことで、合成画像を整然と配列することが可能となる。
【0013】
上記表示エリアを形成した画像表示装置において、前記画像表示手段は、各合成画像の表示を、同一の表示倍率に定める表示倍率設定手段を備える構成としてもよい。
【0014】
複数の合成画像を比較するには、合成画像を拡大可能とすることが必須であるが、上記構成によれば、同じ表示倍率で複数の合成画像の表示がなされることから、合成画像の比較が容易である。
【0015】
前記表示倍率設定手段は、操作者により操作される入力装置からの指令に基づいて、前記表示倍率を変更する表示倍率変更手段を備える構成とすることができる。
【0016】
この構成によれば、操作者による操作により、複数の合成画像を同一の表示倍率を保持しながら、拡大したり縮小したりすることができる。このために、各合成画像の比較が容易である。
【0017】
上記表示エリアを形成した画像表示装置において、前記画像表示手段は、各合成画像の表示を、合成画像全体に対する表示範囲が同一となるように定める表示範囲設定手段を備える構成としてもよい。
【0018】
複数の合成画像を比較するには、合成画像を拡大可能とすることが必須であるが、このためには、表示エリアに合成画像の一部を表示することになる。上記構成によれば、その際に、各合成画像は、合成画像全体に対して同じ表示範囲が表示されることから、合成画像の比較が容易である。
【0019】
前記表示範囲設定手段は、前記複数の表示エリアのうちのいずれか一つにおいて、操作者により操作される入力装置からの指令に基づいて、前記合成画像の表示範囲を変更する表示範囲手動変更手段と、前記表示範囲変更手段により前記表示範囲が変更されたとき、当該表示範囲が変更された表示エリア以外の表示エリアにおける前記表示範囲を、前記表示範囲手動変更手段により変更された表示範囲と同一の位置に変更する表示範囲自動変更手段とを備える構成とすることができる。
【0020】
この構成によれば、操作者は、一つの合成画像の表示範囲を変更するだけで、他の合成画像も同一の表示範囲に変更することができる。このために、各合成画像は連動して表示範囲が変更されることから、合成画像の比較が容易である。
【0021】
前述してきた合成画像表示装置において、前記一覧表示手段は、前記複数の合成画像に加えて、前記複数の元画像を、画像比較用のウィンドウに一覧表示する構成とすることができる。
【0022】
この構成によれば、複数の合成画像はもとより、元画像との比較も行なうことができることから、より高精度の合成画像の選別ができる。
【0023】
前述してきた合成画像表示装置において、
前記複数の元画像を合成するために必要となる合成パラメータの値を、操作者により操作される入力装置からの指令に基づいて入力する合成パラメータ入力手段と、
前記合成パラメータ入力手段により入力された合成パラメータの値に基づいて、前記複数の元画像の合成を行なう画像合成手段と、
操作者により操作される入力装置からの指令に基づいて、前記合成パラメータ入力手段による合成パラメータの値を切り換えることで前記画像合成手段により得られる複数の合成結果を、前記合成画像記憶手段に記憶する合成画像と定める手段と
を備える構成とすることができる。
【0024】
この構成によれば、元画像が同じでありながら合成結果の相違する複数の合成画像を簡単に用意することができる。
【0025】
本発明の合成画像表示方法は、
複数の元画像を合成して得られた合成画像を画面に表示する合成画像表示方法であって、
(a)前記元画像が同じでありながら合成結果の相違する複数の合成画像をメモリに記憶させる行程と、
(b)前記複数の合成画像を、前記画面に形成した画像比較用のウィンドウに一覧表示する行程と
を備えることを要旨としている。
【0026】
本発明のコンピュータプログラムは、
複数の元画像を合成して得られた合成画像を画面に表示するためのコンピュータプログラムであって、
(a)前記元画像が同じでありながら合成結果の相違する複数の合成画像をメモリに記憶させる機能と、
(b)前記複数の合成画像を、前記画面に形成した画像比較用のウィンドウに一覧表示する機能と
をコンピュータに実現させるためのコンピュータプログラムである。
【0027】
本発明の合成画像表示方法およびコンピュータプログラムによっても、本発明の合成画像表示装置と同様に、複数の合成画像を容易に比較することができ、合成画像の選別を作業性よく行なうことができるという効果を奏する。
【0028】
本発明の記録媒体は、本発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。
【0029】
本発明は、以下のような他の態様も含んでいる。その第1の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第1の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。
【発明を実施するための最良の形態】
【0030】
本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
1.装置の構成:
2.コンピュータ処理:
2−A.処理の全体:
2−B.パノラマ画像合成処理:
3.作用・効果:
4.他の実施形態:
【0031】
1.装置の構成:
図1は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の合成画像表示装置を構成するパーソナルコンピュータ10を中心に備え、その周辺装置として、ディスプレイ20とキーボード22とマウス24を備える。さらに、パーソナルコンピュータ10には、デジタルカメラ26とCDドライブ28とプリンタ29が接続されている。マウス24は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。
【0032】
パーソナルコンピュータ10は、中央演算処理装置としてのCPU11を中心にバス12により相互に接続されたメモリ13、表示画像メモリ14、ハードディスクドライブ15、入力制御ユニット16、表示制御ユニット17、出力制御ユニット18等を備える。メモリ13は、各種データ等を記憶するもので、CPU11の作業領域となる。表示画像メモリ14は、ディスプレイ20に表示する画像の画像データを一旦記憶するメモリである。
【0033】
ハードディスクドライブ15は、パノラマ画像を合成するアプリケーションソフトウェアとしての画像合成プログラムPrを記憶する。また、ハードディスクドライブ15には、パノラマ画像合成に用いる複数の画像データDpi(i=1〜nで、nは正の整数)が記憶されている。画像データDpiは、デジタルカメラ26によって撮影した撮影画像の画像データであり、ハードディスクドライブ15の所定の領域(例えば、「フィルム」と呼ばれるホルダ)に格納されている。撮影画像は、カラー画像である。
【0034】
図2は、デジタルカメラ26によって撮影された複数の撮影画像の一例を示す説明図である。図示するように、複数の撮影画像は、撮影した画像の一部が重複するように、被写体としての風景を横方向の合計3枚に分割して撮影したものである。すなわち、複数の撮影画像である第1の画像P1と第2の画像P2と第3の画像P3は、撮影した画像の一部が重複するように(以下、この重複する部分を「重複部分」と呼ぶ)、撮影範囲を右方向に移動させながらそれぞれ撮影したものである。第1ないし第3の画像P1〜P3は、第1ないし第3の画像データDp1〜Dp3として、ハードディスクドライブ15に格納される(図1参照)。なお、ここでは、複数の撮影画像は、上記のように、横一列に左から右に向かって撮影されたものに限定されるものとした。
【0035】
図1に戻り、入力制御ユニット16は、キーボード22やマウス24から入力操作を取り込み、デジタルカメラ26から画像データを取り込み、CDドライブ28からデータを取り込む制御ユニットである。表示制御ユニット17は、ディスプレイ20への信号出力を制御する制御ユニットである。出力制御ユニット18は、プリンタ29への印刷を制御する制御ユニットである。
【0036】
画像合成プログラムPrは、もともとは、記録媒体としてのCD−ROM(図示せず)に記憶されている。そのCD−ROMをCDドライブ28にセットして、所定のインストールプログラムを起動することで、画像合成プログラムPrをCD−ROMから読み出してハードディスクドライブ15にインストールすることができる。この画像合成プログラムPrをCPU11が実行することにより、本発明の合成画像表示装置の各種構成要件の一部が実現される。
【0037】
図1では、上記一部の構成要件が、CPU11の内部で実現される機能のブロックによって示されている。すなわち、CPU11は、一覧表示部31を機能として備える。
【0038】
CPU11は、画像合成プログラムPrに従って処理を実行することにより、上記第1ないし第3の画像データDp1〜Dp3をつなぎ合わせてパノラマ画像を合成するが、このパノラマ画像は、合成画像データDpmとして、メモリ13に一旦記憶される。なお、この画像合成プログラムPrは、合成の条件を切り換えることで、同じ第1ないし第3の画像データDp1〜Dp3から合成結果の相違する複数の合成画像データDpmを作成することも可能である。これら複数の合成画像データDpmを記憶する合成画像記憶部32として、メモリ13は機能している。
【0039】
なお、画像合成プログラムPrは、CD−ROMに替えて、フレキシブルディスク、光磁気ディスク、ICカード等の他の携帯型記録媒体(可搬型記録媒体)に格納された構成として、これらから提供されたものとすることができる。また、この画像合成プログラムPrは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。
【0040】
2.コンピュータ処理:
2−A.処理の全体:
パーソナルコンピュータ10のCPU11で画像合成プログラムPrを実行することで、上述した一覧表示部31を実現している。また、CPU11で画像合成プログラムPrを実行することで、第1ないし第3の画像データDp1〜Dp3から合成画像データDpmを合成する機能等も実現している。この画像合成プログラムPrに従う制御処理について、以下詳細に説明する。
【0041】
図3は、この制御処理の全体的な流れを示すフローチャートである。このルーチンは、画像合成プログラムPrを起動させる旨の指示がなされたときに、実行開始される。図示するように、処理が開始されると、CPU11は、まず、初期ウィンドウWD1をCRTディスプレイ12に表示する処理を行なう(ステップS100)。
【0042】
図4は、この初期ウィンドウWD1を示す説明図である。図示するように、初期ウィンドウWD1の左側の処理メニュー欄MN1には、「入力」、「合成」、「保存」の3種類のボタンBT1、BT2、BT3が、下方に向かって順に並んでおり、操作者は、これらボタンBT1〜BT3を順にマウス24によりクリックしていくことで、CRTディスプレイ12の画面上で、デジタルカメラ26で撮影した画像を1枚のパノラマ画像に合成して出力する作業を進めていくことができる。すなわち、図3に示すように、CPU11は、ステップ100の実行後、ボタンBT1〜BT3がマウス24によりクリックされる操作指令を取り込んで、その操作指令に対応した入力処理、パノラマ画像合成処理、保存処理を順に実行する(ステップS200、S300、S400)。
【0043】
ステップS200で実行される入力処理は、パノラマ画像合成に用いる複数の画像データを取り込むもので、ここでは、デジタルカメラ26によって撮影されてハードディスクドライブ15に格納された前述した画像データDpi(画像データDp1〜Dp3)を取り込む。この画像データDpiの取り込み作業は、図4に示される初期ウィンドウWD1の上側の処理メニュー欄MN2に設けられた「ファイルから開く」のボタンBT11が、マウス24によりクリックされる操作指令を受けて、ファイル名が指定されることで1画像データ毎に行なわれる。また、処理メニュー欄MN2に設けられた「フィルムから開く」のボタンBT12が、マウス24によりクリックされる操作指令を受けて、フィルム名が指定されることで複数の画像データを一括して取り込むこともできる。さらには、ハードディスクドライブ15を一旦経由することなしに、デジタルカメラ26から直接取り込む構成とすることもできる。
【0044】
上記のようにして取り込まれた複数の画像データDp1〜Dp3は、メモリ13の所定のエリアに格納されるが、それとともに、図4に示すように、初期ウィンドウWD1の作業フィールドFDWに、各画像データDp1〜Dp3のサムネール画像が表示される。画像データDp1〜Dp3の下方に表示されている「CIM0366」、「CIM0367」、「CIM0368」は、ファイル名である。なお、作業フィールドFDWでの画像データDp1〜Dp3の表示は、このファイル名に従う順に並べられている。
【0045】
図3に戻って、ステップS300で実行されるパノラマ画像合成処理は、ステップS200で入力した複数の画像データDp1〜Dp3をつなぎ合わせて1枚のパノラマ画像データを合成するものであり、詳細については後述する。
【0046】
ステップS400で実行される保存処理は、ステップS300で作成されたパノラマ画像データを、HDD15等の出力先にファイルとして保存するものである。これによって上記パノラマ画像データが所望の記憶媒体に保存されることになる。
【0047】
2−B.パノラマ画像合成処理:
ステップS300で実行されるパノラマ画像合成処理について、以下詳細に説明する。複数の画像データDp1〜Dp3から1枚のパノラマ画像を合成しようとしたとき、まず、複数の画像データをどういった配列で並べたらよいかを調べる必要がある。この実施例では、前述したように、複数の撮影画像は、横一列に左から右に向かって撮影されたものであることから、3枚の画像データDp1〜Dpを上述したファイル名の順につなぎ合わせばよいことがわかる。
【0048】
このパノラマ画像合成処理では、次いで、つなぎ合わせる画像間の位置関係を求める必要がある。ここでは、パノラマ画像合成のソフトウェアに予め内蔵されている画像位置関係演算プログラムを用いて行なわれる。
【0049】
画像位置関係演算プログラムは、基本的には次の手順で構成されているものである。
(1)入力された2つの画像をグレイスケールにそれぞれ変換する。
(2)上記グレイスケールの画像上でコーナーとなっているポイントを複数(例えば、100〜200)取得する。
(3)一方の画像のポイントについて、他方の画像で対応する可能性のあるポイントを調べる。具体的には、一方の画像の各ポイントと、他方の画像の各ポイントとの全ての組み合わせについて、局所相互相関度を計算して、その計算値が、所定の閾値よりも大きい局所相互相関度となったポイントの組み合わせをマッチングする可能性の組み合わせとする。
【0050】
(4)上記ポイントの組み合わせが1対1になるように処理する。あるポイント同士が正しい組み合わせであるとすれば、その近くにある回りのポイントも正しい組み合わせとなる可能性が高い。この特徴を利用して、あるポイントの組み合わせのマッチング度を周囲のポイントがどれだけ指示しているかから、正しいポイントの組み合わせを求める。
【0051】
実際には、2つの画像データDpiの接続の方向を左から右への横方向として指定した上で、上記演算を行なう。この結果、(4)で1対1のポイントの組み合わせが求められるので、この情報を使って、つなぎ合わせる2つの画像データDpiの位置関係、すなわち、第1の画像データDp1と第2の画像データDp2との間の位置関係と、第2の画像データDp2と第3の画像データDp3との間の位置関係を求めることができる。
【0052】
その後、このパノラマ画像合成処理では、画像位置関係演算プログラムを用いて求めた2つの画像の位置関係から重複部分を重ね合わせることで、2つの画像が自然なつながりで接続されるように合成する。すなわち、第1の画像データDp1と第2の画像データDp2とが自然なつながりで接続されるように合成し、また、第2の画像データDp2と第3の画像データDp3とが自然なつながりで接続されるように合成する。
【0053】
ステップS300で実行されるパノラマ画像合成処理における操作者とのインターフェース(いわゆる「ユーザーインタフェース」と呼ばれるもの)について、次に説明する。図5は、「パノラマ画像合成」用のウィンドウWD2を示す説明図である。このウィンドウWD2は、パノラマ画像合成処理に先だってディスプレイ20に表示される。図示するように、このウィンドウWD2の左側の処理指定フィールドFD1には、操作者によるマウス操作によって操作される2つのチェックボックスCB1,CB2と[作成]ボタンBT21が設けられている。[重ね合わせを広めに行なう]チェックボックスCB1は、2つの画像データを重複部分でつなぎ合わせる際に重ね合わせる重ね合わせ領域の幅を広めにとりたい場合に指定するためのものである。[画像間の明るさを合わせる]チェックボックスCB2は、つなぎ合わせる画像間の明るさを合わせたい場合に指定するためのものである。[作成]ボタンBT21は、画像データDpiの合成処理の実行開始を指示するためのものである。
【0054】
「パノラマ画像合成」用のウィンドウWD2の中央には、複数の画像データDp1〜Dp3をつなぎ合わせる際の配列を表示するための配列表示フィールドFD2が設けられており、右側には、つなぎ合わせによる合成結果を表示する合成結果表示フィールドFD3が設けられている。配列表示フィールドFD2の画像データDp1〜Dp3の並びの順は、操作者によるドラッグ&ドロップの操作により変更可能である。ウィンドウWD2の下方には、合成結果のサムネールを表示する合成結果サムネール表示フィールドFD4が設けられている。
【0055】
ステップS300で実行されるパノラマ画像合成処理では、操作者により[作成]ボタンBT21がクリックされたときに、配列表示フィールドFD2に表示された配列でもって前述したような画像データDp1〜Dp3のつなぎ合わせが実行される。そうして、そのつなぎ合わせによる合成結果としての合成画像データDpmは、合成結果表示フィールドFD3に表示されるとともに、合成結果サムネール表示フィールドFD4にサムネールとして表示される。
【0056】
この画像合成プログラムPrでは、「パノラマ画像合成」用のウィンドウWD2に設けられたチェックボックスCB1,CB2にチェックを入れたり入れなかったりすることで、同じ画像データDp1〜Dp3であっても異なる合成結果を生成することができる。パノラマ画像合成処理においては、重ね合わせを行なう重ね合わせ領域の幅長を示すパラメータや、重ね合わせ領域の画像の明るさを示すパラメータ等の様々な合成パラメータを用意しており、この合成パラメータを、チェックボックスCB1,CB2のチェックの有無から異なる値に設定して、該合成パラメータに基づいて画像合成を行なっているために、上述したように同じ画像データDp1〜Dp3であっても異なる合成結果を生成することができる。操作者は、マウス操作により、チェックボックスCB1,CB2のチェックを切り換えて、その後、[作成]ボタンBT21をクリックすることにより、合成パラメータの値が相違する合成結果を順に作成することができる。
【0057】
図5の例では、合成結果サムネール表示フィールドFD4には、3つの合成結果のサムネールTH1〜TH3が表示されているが、第1番目のサムネールTH1は、2つのチェックボックスCB1,CB2ともにチェックが入っていない普通のものであり、第2番目のサムネールTH2は、[重ね合わせを広めに行なう]チェックボックスCB1だけにチェックが入っている場合のものであり、第3番目のサムネールTH3は、[画像間の明るさを合わせる]チェックボックスCB2だけにチェックが入っている場合のものである。
【0058】
なお、パノラマ画像合成処理による合成結果は、合成結果表示フィールドFD3と合成結果サムネール表示フィールドFD4に表示されるが、さらに、初期ウィンドウWD1にも表示される。
【0059】
図6は、図5に対応する合成結果が表示された初期ウィンドウWD1を示す説明図である。図示するように、作業フィールドFDWには、図4の場合と同様に、画像合成の元画像としての第1ないし第3の画像データDp1〜Dp3が表示されており、さらに、第1ないし第3番目のサムネールTH1〜TH3にそれぞれ対応する合成画像データDpm1〜Dpm3が表示されている。
【0060】
操作者は、合成画像データDpm1〜Dpm3をそれぞれ、マウス24によりクリックしていくことで、各合成画像データDpm1〜Dpm3を選択状態とすることができる(以下、この選択状態にある合成画像データを「選択合成画像データ」と呼ぶ)。この状態で、処理メニュー欄MN2の下方に設けられた[ビューア]ボタンBTvが操作者によりクリックされた場合、画像比較用のウィンドウが表示される。
【0061】
図7は、画像比較用ウィンドウ表示処理を示すフローチャートである。この画像比較用ウィンドウ表示処理は、[ビューア]ボタンBTvがマウス24によりクリックされる操作指令を受けたときに実行開始される。処理が開始されると、まず、CPU11は、画像比較用ウィンドウWD3の基本部分をディスプレイ20に表示する処理を行なう(ステップS510)。
【0062】
図8は、画像比較用ウィンドウWD3の基本部分を示す説明図である。図示するように、画像比較用ウィンドウWD3の上側には、処理メニュー欄VMNが設けられている。処理メニュー欄VMNには、[拡大]と[縮小]のボタンBT31,BT32が設けられている。両ボタンBT31,BT32の働きについては後述する。処理メニュー欄VMNの下側には、作業フィールドVFDWが設けられている。
【0063】
図7に戻って、ステップS510の実行後、CPU11は、作業フィールドVFDWに、罫線により所定数の表示エリアA1〜A4を形成する処理を行なう(ステップS520)。上記「所定数」は、選択合成画像データの数によって定まり、選択合成画像データの数が、本例のように3つの場合では、4つの表示エリアA1〜A4が形成される。すなわち、選択合成画像データの数を少なくとも上回る数の表示エリアがタイル状に形成される。
【0064】
続いて、CPU11は、表示エリアA1〜A3に、選択合成画像データDpm1〜Dpm3を順に表示する(ステップS530)。その後、CPU11は、表示エリアにコントロールボックスをそれぞれ形成するとともに、各コントロールボックスに、対応する表示エリアに表示されている選択合成画像データのサムネールを表示する(ステップS540,S550)。
【0065】
図9は、この画像比較用ウィンドウ表示処理の実行後の画像比較用ウィンドウWD3を示す説明図である。図示するように、表示エリアA1〜A3に選択合成画像データDpm1〜Dpm3がそれぞれ表示されており、その表示済の表示エリアA1〜A3の左上には、コントロールボックスCBが設けられている。コントロールボックスCBは、選択合成画像データの表示されない表示エリアA4には形成されない。各コントロールボックスCBには、対応する表示エリアA1〜A3に表示されている選択合成画像データDpm1〜Dpm3のサムネールが表示されている。
【0066】
図7に戻り、CPU11は、ステップS550で表示されたサムネールに操作枠CFを付加する(ステップS560)。この操作枠CFは、矩形であり、対応する表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲を示す。図9に示すように、選択合成画像データDpm1〜Dpm3の全体が表示される場合には、操作枠CFは、サムネールの全周に付加される。ステップS560の実行後、CPU11は、この画像比較用ウィンドウ表示処理を終了する。なお、この画像比較用ウィンドウ表示処理に従ってCPU11により実行される処理が、一覧表示部31(図1参照)に相当する。
【0067】
操作枠CFは、図10、図11に示すように、サイズを変えたり、その位置を変えることができる。操作枠CFは、[拡大]と[縮小]のボタンBT31,BT32により、サイズが変更される。
【0068】
図10は、図9の状態から[拡大]ボタンBT31がクリックされた場合の画像比較用ウィンドウWD3を示す説明図である。[拡大]ボタンBT31が1回クリックされると、操作枠CFは、所定の割合で縮小されるとともに、表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲が、所定の割合で拡大される。操作枠CFで囲まれたサムネールの範囲が、前述したように、表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲と一致するように、操作枠CFの縮小割合と、選択合成画像データDpm1〜Dpm3の拡大割合とが定められている。上記の操作枠CFの縮小と選択合成画像データDpm1〜Dpm3の拡大は、選択合成画像データDpm1〜Dpm3の表示のある全ての表示エリアA1〜A3に対して同時に行なわれる。
【0069】
したがって、操作者は、[拡大]ボタンBT31を1回ずつ順にクリックしていくことで、画像比較用ウィンドウWD3に表示された全ての選択合成画像データDpm1〜Dpm3を所望の倍率に拡大表示することができる。
【0070】
[縮小]ボタンBT32は、上記[拡大]ボタンBT31と逆の動作をする。すなわち、[縮小]ボタンBT32が1回クリックされると、操作枠CFは、所定の割合で拡大されるとともに、表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲が、所定の割合で縮小される。したがって、操作者は、[縮小]ボタンBT31を1回ずつ順にクリックしていくことで、画像比較用ウィンドウWD3に表示された全ての選択合成画像データDpm1〜Dpm3を所望の倍率に縮小表示することができる。
【0071】
図11は、図10の状態から操作枠CFが左下に移動された場合の画像比較用ウィンドウWD3を示す説明図である。操作者は、3つの表示エリアA1〜A3から所望の一つを選んで、その選んだ表示エリアA1(図示の例では、A1を選択した)に形成されたコントロールボックスCBの中の操作枠CFを、マウス24を用いてドラッグする。このドラッグにより、操作枠CFは、サムネールの範囲内で操作者の意図する通りに移動することができる。表示エリアA1の操作枠CFが移動された場合には、操作枠CFで囲まれるサムネールの部分画像が変化するが、これに伴い、表示エリアA1に表示された選択合成画像データDpm1の表示範囲が、上記部分画像と一致するように変化する。例えば、図示するように、操作枠CFがサムネールの左下に移動され、操作枠CFで囲まれるサムネールの部分画像が、全体の左下1/4の範囲である場合には、表示エリアA1に表示された選択合成画像データDpm1の表示範囲も、全体に対する左下の1/4の範囲となる。
【0072】
なお、上記のように表示エリアA1の操作枠CFに対して操作者による操作がなされると、他の表示エリアA2、A3に形成されたコントロールボックスCBに付加された操作枠CFも連動して移動する。この結果、表示エリアA2、A3に表示された選択合成画像データDpm2,Dpm3の表示範囲も、その操作枠CFの位置に応じて変化する。したがって、操作者は、マウス24を用いて、表示エリアA1〜A3のうちのいずれか一つに設けられた操作枠CFの位置を移動することで、画像比較用ウィンドウWD3に表示された全ての選択合成画像データDpm1〜Dpm3の表示範囲を連動して移動することができる。
【0073】
図12は、画像比較用ウィンドウWD3の表示時に所定時間毎に繰り返し実行される第1の割込み処理を示すフローチャートである。この第1の割込み処理は、前述した[拡大]と[縮小]のボタンBT31,BT32がクリックされたときの動作を実現するものである。処理が開始されると、CPU11は、まず、[拡大]ボタンBT31がクリックされたか否かを判別する(ステップS610)。ここで、クリックされたと判別された場合には、CPU11は、合成画像の表示がなされている全ての表示エリアA1〜A3に設けられた操作枠CFを、所定の割合(例えば、10%)だけ縮小するとともに、表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲を、所定の割合(例えば、10%)だけ拡大する(ステップS620,S630)。操作枠CFで囲まれたサムネールの範囲が表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲と一致するように、操作枠CFの縮小割合と、選択合成画像データDpm1〜Dpm3の拡大割合とは同一である。
【0074】
一方、ステップS610で、[拡大]ボタンBT31がクリックされていないと判別された場合には、CPU11は、ステップS640に処理を進めて、[縮小]ボタンBT32がクリックされたか否かを判別する。ここで、クリックされたと判別された場合には、CPU11は、合成画像の表示がなされている全ての表示エリアA1〜A3に設けられた操作枠CFを、所定の割合(例えば、10%)だけ拡大するとともに、表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲を、所定の割合(例えば、10%)だけ縮小する(ステップS650,S660)。操作枠CFで囲まれたサムネールの範囲が表示エリアA1〜A3に表示された選択合成画像データDpm1〜Dpm3の表示範囲と一致するように、操作枠CFの拡大割合と、選択合成画像データDpm1〜Dpm3の縮小割合とは同一である。
【0075】
ステップS630またはS660の実行後、「リターン」に抜けてこの第1の割込み処理を一旦終了する。
【0076】
図13は、画像比較用ウィンドウWD3の表示時に所定時間毎に繰り返し実行される第2の割込み処理を示すフローチャートである。この第2の割込み処理は、操作枠CFがマウス24によりドラッグされたときの動作を実現するものである。処理が開始されると、CPU11は、まず、操作枠CFのドラッグがあるか否かを判別する(ステップS710)。ここで、操作枠CFがドラッグされたと判別された場合には、以下の処理を実行する。
【0077】
CPU11は、まず、上記ドラッグにより、操作枠CFがサムネールのどの位置に移動したかを判定する処理を行なう(ステップS720)。詳細には、ドラッグ後の操作枠CFで囲まれる部分画像のサムネール全体に対する位置(以下、「移動位置」と呼ぶ)を判定する。次いで、CPU11は、その移動した操作枠CFを含む表示エリア(以下、「選択表示エリア」と呼ぶ。図11の例ではA1)に表示された選択合成画像データの表示範囲を、操作枠CFの移動位置に含まれる部分画像と一致するように変更する(ステップS730)。
【0078】
次いで、CPU11は、合成画像の表示がなされている表示エリアA1〜A3の内で上記選択表示エリアを除く表示エリア(以下、「非選択表示エリア」と呼ぶ。図11の例ではA2,A3)を選択して、それら表示エリアに設けられた操作枠CFを、ステップS720で求めた移動位置と一致する位置に移動する(ステップS740)。その後、CPU11は、各非選択表示エリアにおいて、表示されている選択合成画像データの表示範囲を、ステップS740での移動位置に含まれる部分画像と一致するように変更する(ステップS750)。
【0079】
ステップS750の実行後、「リターン」に抜けてこの第2の割込み処理を一旦終了する。一方、ステップS710で、操作枠CFがドラッグされていないと判別された場合には、ステップS720ないしS750を実行することなく、そのまま「リターン」に抜けてこの第2の割込み処理を一旦終了する。
【0080】
操作者は、上記のように動作する画像比較用ウィンドウWD3を操作しながら、合成画像データDpm1〜Dpm3の比較を目視で行ない、最も合成結果の優れている、具体的には、つなぎ合わせ部分の画質が優れている合成画像データを選び出す。操作者は、その選び出した合成画像データの画像名を記憶しておき、その後、初期ウィンドウWD1をアクティブ状態に切り換える。次いで、操作者は、初期ウィンドウWD1に設けられた[保存]ボタンBT3をクリックして、保存処理を行なう。この保存処理時には、操作者は、初期ウィンドウWD1の作業フィールドFDWに表示された合成画像データDpm1〜Dpm3の中から、その記憶した画像名のものをクリックすることで選択状態として、その選択状態の合成画像データの保存を行なう。
【0081】
なお、上記のように画像名を記憶しおいて保存処理に移行する構成に換えて、画像比較用ウィンドウWD3から選別した合成画像データを保存する構成としてもよい。
【0082】
3.作用・効果:
以上のように構成されたこの実施例のコンピュータシステムによれば、合成パラメータの値を切り換えることで、同じ画像データDp1〜Dp3から合成結果の相違する複数の合成画像データDpm1〜Dpm3を合成することができ、さらに、これら合成画像データDpm1〜Dpm3を、画像比較用ウィンドウWD3で一覧表示することができる。このために、複数の合成画像データDpm1〜Dpm3を容易に比較することができる。したがって、合成画像データの選別を作業性よく行なうことができる。
【0083】
また、この実施例では、[拡大]と[縮小]のボタンBT31,BT32を操作するだけで、比較すべき全ての合成画像データDpm1〜Dpm3を同一の表示倍率で拡大、縮小することができる。したがって、同じ表示倍率で複数の合成画像データを常に表示させることができることから、合成画像の比較がより一層容易である。
【0084】
さらに、この実施例では、比較すべき合成画像データDpm1〜Dpm3の内の一つの表示範囲を、ドラッグ操作により移動すると、他の合成画像データの表示範囲も連動して移動することができる。したがって、同じ表示範囲で複数の合成画像データを常に表示させることができることから、合成画像の比較がさらに一層容易である。
【0085】
4.他の実施形態:
なお、この発明は上記の一実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。
【0086】
(1)前記実施例では、重ね合わせ領域の幅、画像間の明るさに係わる各合成パラメータの値を、操作者の操作により切り換え可能とすることで、元画像が同じでありながら合成結果の相違する複数の合成画像を形成することができるようにしていたが、こうした合成パラメータは上記の2種類のものに換えて、種々のものを適用することができる。例えば、歪曲補正を糸巻き型、樽型のいずれにするかの合成パラメータであってもよい。あるいは、2つの画像のつなぎ合わせを操作者の指示に従う手動で行なう際の2つの画像の特徴点(共通点)の座標を合成パラメータとすることもできる。要は、複数の元画像を合成するために必要となる合成パラメータであり、操作者により操作される入力装置からの指令に基づいてその合成パラメータの値を変更可能なものであれば、どのような合成パラメータであってもよい。
【0087】
(2)前記実施例では、合成画像記憶部32に記憶される複数の合成画像データDp1〜Dp3は、複数の画像データDp1〜Dp3をつなぎ合わせてパノラマ画像を生成する合成処理により合成されたものであるが、これに換えて、ダイナミックレンジ拡大処理により合成されたものとすることもできる。デジタルカメラには、ラチュード(表現できる明るさ、暗さの幅)が狭いという短所があるが、ダイナミックレンジ拡大処理によれば、デジタルカメラで露出を変更して撮影した複数枚の写真を合成することにより、暗部から明部まで階調が滑らかな画像を生成することができる。このダイナミックレンジ拡大処理により生成された複数の合成結果を、画面に形成した画像比較用のウィンドウに一覧表示する構成とすればよい。さらに、ダイナミックレンジ拡大処理に限る必要もなく、要は複数の元画像を合成する合成処理であればどのような処理であってもよく、本発明は、こうした合成処理の合成結果を画像比較用ウィンドウに一覧表示する構成としている。
【0088】
(3)前記実施例では、一覧表示部31として、複数の合成画像データDpm1〜Dpm3を一覧表示する構成としていたが、これに換えて、合成画像データDpm1〜Dpm3に加えて、前記複数の元画像データDp1〜Dp3を、画像比較用ウィンドウWD3に一覧表示する構成としてもよい。すなわち、[ビューア]ボタンBTvをクリックする前に、操作者は、作業フィールドFDWに表示された合成画像データDpm1〜Dpm3に加えて、第1ないし第3の画像データDp1〜Dp3のいずれかをクリックして選択状態とすることで、元画像データも画像比較用ウィンドウWD3に一覧表示することができる。この構成によれば、元画像を参照しながら、合成画像の比較を行なうことができることから、より高精度の合成画像の選別ができる。
【0089】
なお、前記(3)の構成は、前記(2)で説明したダイナミックレンジ拡大処理でより有効である。図14は、ダイナミックレンジ拡大処理により生成した合成画像データの比較を行なうための画像比較用ウィンドウWD3Xを示す説明図である。図示するように、画像比較用ウィンドウWD3Xは、4つの表示エリアを有し、各表示エリアには、元画像である2枚の画像データDp11、Dp12と、両画像データDp11、Dp12の合成結果である2枚の合成画像データDpm11、Dpm12とが表示されている。この構成によれば、元画像を合成画像と共に表示することの有効性が高く、操作者は、元画像に対して合成画像のラチュードがどれだけ拡がっているかを目視にて容易に確認することができる。
【0090】
(4)前記実施例では、[拡大]と[縮小]のボタンBT31,BT32を操作することで、比較すべき全ての合成画像データDpm1〜Dpm3を同一の表示倍率で拡大/縮小することができる構成としていたが、これに換えて、複数の合成画像データDpm1〜Dpm3の中から選んだ一つに対して、操作者による入力装置からの操作指令により表示倍率を拡大/縮小できるようにして、その他の合成画像データを、その拡大/縮小された合成画像データと連動して拡大/縮小される構成とすることもできる。この構成によっても、同じ表示倍率で複数の合成画像データを常に表示させることができることから、合成画像の比較が容易である。
【0091】
(5)前期実施例では、各表示エリアにコントロールボックスCBを設けて、このコントロールボックスCBに設けた操作枠CFにより、表示画像(選択合成画像データ)の表示倍率と表示範囲を調整することができるように構成したが、これに換えて、コントロールボックスCBを設けることなく、表示画像に対して操作者による指令を直接伝える構成とすることができる。例えば、表示画像をクリックして、マウスホイールを回すことで表示倍率を調整する構成とし、表示エリアに右側と下側にスクロールバーを設けて、このスクロールバーにより表示範囲を移動する構成としてもよい。
【0092】
(6)前記実施例では、パノラマ画像を作成するために用いる画像データDpiは、デジタルカメラ26により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置(例えば、静止画の撮影機能を持ったビデオカメラ)で撮影して得られた撮影画像を獲得する構成であれば、どのような構成であってもよい。例えば、HDD15等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。
【図面の簡単な説明】
【0093】
【図1】本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。
【図2】デジタルカメラ26によって撮影された複数の撮影画像の一例を示す説明図である。
【図3】制御処理の全体的な流れを示すフローチャートである。
【図4】初期ウィンドウWD1を示す説明図である。
【図5】パノラマ画像合成用ウィンドウWD2を示す説明図である。
【図6】図5に対応する合成結果が表示された初期ウィンドウWD1を示す説明図である。
【図7】画像比較用ウィンドウ表示処理を示すフローチャートである。
【図8】画像比較用ウィンドウWD3の基本部分を示す説明図である。
【図9】画像比較用ウィンドウ表示処理の実行後の画像比較用ウィンドウWD3を示す説明図である。
【図10】図9の状態から[拡大]ボタンBT31がクリックされた場合の画像比較用ウィンドウWD3を示す説明図である。
【図11】図10の状態から操作枠CFが左下に移動された場合の画像比較用ウィンドウWD3を示す説明図である。
【図12】画像比較用ウィンドウWD3の表示時に所定時間毎に繰り返し実行される第1の割込み処理を示すフローチャートである。
【図13】画像比較用ウィンドウWD3の表示時に所定時間毎に繰り返し実行される第2の割込み処理を示すフローチャートである。
【図14】ダイナミックレンジ拡大処理により生成した合成画像データの比較を行なうための画像比較用ウィンドウWD3Xを示す説明図である。
【符号の説明】
【0094】
10...パーソナルコンピュータ
11...CPU
12...バス
13...メモリ
14...表示画像メモリ
15...ハードディスクドライブ
16...入力制御ユニット
17...表示制御ユニット
18...出力制御ユニット
20...ディスプレイ
22...キーボード
24...マウス
26...デジタルカメラ
28...CDドライブ
29...プリンタ
31...一覧表示部
32...合成画像記憶部
Dp1〜Dp3...画像データ
Dpm1〜Dpm3...合成画像データ
Pr...画像合成プログラム
WD1...初期ウィンドウ
BT31...[拡大]ボタン
BT32...[縮小]ボタン
WD2...パノラマ画像合成用ウィンドウ
BT21...[作成]ボタン
CB1,CB2...チェックボックス
BTv...[ビューア]ボタン
WD3...画像比較用ウィンドウ
A1〜A4...表示エリア
CB...コントロールボックス
CF...操作枠
WD3X...画像比較用ウィンドウ

【特許請求の範囲】
【請求項1】
複数の元画像を合成して得られた合成画像を画面に表示する合成画像表示装置であって、
前記元画像が同じでありながら合成結果の相違する複数の合成画像を記憶する合成画像記憶手段と、
前記複数の合成画像を、前記画面に形成した画像比較用のウィンドウに一覧表示する一覧表示手段と
を備える合成画像表示装置。
【請求項2】
請求項1に記載の合成画像表示装置であって、
前記一覧表示手段は、
前記画像比較用のウィンドウに複数の表示エリアを形成する表示エリア形成手段と、
該形成された各表示エリアに前記各合成画像を表示する画像表示手段と
を備える合成画像表示装置。
【請求項3】
請求項2に記載の合成画像表示装置であって、
前記画像表示手段は、
各合成画像の表示を、同一の表示倍率に定める表示倍率設定手段
を備える合成画像表示装置。
【請求項4】
請求項3に記載の合成画像表示装置であって、
前記表示倍率設定手段は、
操作者により操作される入力装置からの指令に基づいて、前記表示倍率を変更する表示倍率変更手段
を備える合成画像表示装置。
【請求項5】
請求項2に記載の合成画像表示装置であって、
前記画像表示手段は、
各合成画像の表示を、合成画像全体に対する表示範囲が同一となるように定める表示範囲設定手段
を備える合成画像表示装置。
【請求項6】
請求項5に記載の合成画像表示装置であって、
前記表示範囲設定手段は、
前記複数の表示エリアのうちのいずれか一つにおいて、操作者により操作される入力装置からの指令に基づいて、前記合成画像の表示範囲を変更する表示範囲手動変更手段と、
前記表示範囲変更手段により前記表示範囲が変更されたとき、当該表示範囲が変更された表示エリア以外の表示エリアにおける前記表示範囲を、前記表示範囲手動変更手段により変更された表示範囲と同一の位置に変更する表示範囲自動変更手段と
を備える合成画像表示装置。
【請求項7】
請求項1ないし6に記載の合成画像表示装置であって、
前記一覧表示手段は、
前記複数の合成画像に加えて、前記複数の元画像を、画像比較用のウィンドウに一覧表示する構成である
合成画像表示装置。
【請求項8】
請求項1ないし7に記載の合成画像表示装置であって、
前記複数の元画像を合成するために必要となる合成パラメータの値を、操作者により操作される入力装置からの指令に基づいて入力する合成パラメータ入力手段と、
前記合成パラメータ入力手段により入力された合成パラメータの値に基づいて、前記複数の元画像の合成を行なう画像合成手段と、
操作者により操作される入力装置からの指令に基づいて、前記合成パラメータ入力手段による合成パラメータの値を切り換えることで前記画像合成手段により得られる複数の合成結果を、前記合成画像記憶手段に記憶する合成画像と定める手段と
を備える合成画像表示装置。
【請求項9】
複数の元画像を合成して得られた合成画像を画面に表示する合成画像表示方法であって、
(a)前記元画像が同じでありながら合成結果の相違する複数の合成画像をメモリに記憶させる行程と、
(b)前記複数の合成画像を、前記画面に形成した画像比較用のウィンドウに一覧表示する行程と
を備える合成画像表示方法。
【請求項10】
複数の元画像を合成して得られた合成画像を画面に表示するためのコンピュータプログラムであって、
(a)前記元画像が同じでありながら合成結果の相違する複数の合成画像をメモリに記憶させる機能と、
(b)前記複数の合成画像を、前記画面に形成した画像比較用のウィンドウに一覧表示する機能と
をコンピュータに実現させるためのコンピュータプログラム。
【請求項11】
請求項10に記載のコンピュータプログラムであって、
前記機能(b)は、
(b−1)前記画像比較用のウィンドウに複数の表示エリアを形成する機能と、
(b−2)該形成された各表示エリアに前記各合成画像を表示する機能と
を備えるコンピュータプログラム。
【請求項12】
請求項11に記載のコンピュータプログラムであって、
前記機能(b−2)は、
各合成画像の表示を、同一の表示倍率に定める機能
を備えるコンピュータプログラム。
【請求項13】
請求項11に記載のコンピュータプログラムであって、
前記機能(b−2)は、
各合成画像の表示を、合成画像全体に対する表示範囲が同一となるように定める機能
を備えるコンピュータプログラム。
【請求項14】
請求項10ないし13のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2006−119728(P2006−119728A)
【公開日】平成18年5月11日(2006.5.11)
【国際特許分類】
【出願番号】特願2004−304427(P2004−304427)
【出願日】平成16年10月19日(2004.10.19)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】