画像合成装置、画像合成プログラム及び画像合成方法
【課題】ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成する。
【解決手段】Ｓ２０１〜Ｓ２０７の処理により、複数のフレーム画像各々部分画像を抽出し、抽出した部分画像を結合合成してパノラマ合成画像を生成する。しかる後に、予めパノラマ撮影中にシャッターキーが操作されて、ユーザが意図した主要被写体が撮影されたフレーム画像が選択されているか否かを判断し（Ｓ２０９）、選択されている場合には、その選択フレーム画像の特徴量を抽出する（Ｓ２１０）。この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、合成画像内にて探索する（Ｓ２１１）。このＳ２１１で探索した合成画像内の共通の特徴量を有するブロックと、前記Ｓ２１０で各々特徴量を算出したブロックとが合致するように、選択フレーム画像をパノラマ合成画像に上書きする（Ｓ２１２）。
【解決手段】Ｓ２０１〜Ｓ２０７の処理により、複数のフレーム画像各々部分画像を抽出し、抽出した部分画像を結合合成してパノラマ合成画像を生成する。しかる後に、予めパノラマ撮影中にシャッターキーが操作されて、ユーザが意図した主要被写体が撮影されたフレーム画像が選択されているか否かを判断し（Ｓ２０９）、選択されている場合には、その選択フレーム画像の特徴量を抽出する（Ｓ２１０）。この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、合成画像内にて探索する（Ｓ２１１）。このＳ２１１で探索した合成画像内の共通の特徴量を有するブロックと、前記Ｓ２１０で各々特徴量を算出したブロックとが合致するように、選択フレーム画像をパノラマ合成画像に上書きする（Ｓ２１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により順次得られる複数のフレーム画像を結合して合成したパノラマ画像を生成する画像合成装置、画像合成プログラム及び画像合成方法に関する。
【背景技術】
【０００２】
従来、１つの撮影フレームで撮影可能な画角以上の画角を得るために複数の撮影フレームの各画像を合成してパノラマ画像を合成する撮像装置が提案されている。このパノラマ画像を合成するに際しては、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出する。そして、これら検出した特徴点が一致するように、隣接する画像を結合合成してパノラマ画像を得るようにしている（特許文献１参照）。
【特許文献１】特開平１１−２８２１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように従来の撮像装置においては、画像の特徴点を抽出し、この特徴点を隣接する画像で一致させて結合合成することによりパノラマ画像を得るようにしている。したがって、パノラマ画像中には画像を結合させた際の継ぎ目が、ユーザの意図とは無関係に生じてしまうこととなる。このため、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されてしまう場合が生じ、ユーザが意図した部分に継ぎ目が生ずることのないパノラマ画像を得ることが困難となるものであった。
【０００４】
本発明は、かかる従来の課題に鑑みなされたものであり、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成することのできる画像合成装置、画像合成プログラム及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために請求項１記載の発明に係る画像合成装置にあっては、撮像して複数のフレーム画像を順次取得する取得手段と、この撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段とを備えることを特徴とする。
【０００６】
また、請求項２記載の発明に係る画像合成装置にあっては、前記選択手段は、前記取得手段がフレーム画像を順次取得する際に、所定の操作に応答して操作タイミングに対応するフレーム画像を選択することを特徴とする。
【０００７】
また、請求項３記載の発明に係る画像合成装置にあっては、前記所定の操作は、前記取得手段にフレーム画像の取得を開始させるための操作と同一の操作であることを特徴とする。
【０００８】
また、請求項４記載の発明に係る画像合成装置にあっては、前記取得手段により取得された複数のフレーム画像を記憶する記憶手段を備え、前記選択手段は、前記第１の画像合成手段により合成された合成画像において任意の画像部分を指定する指定手段を備え、この指定手段により指定された画像部分を含むフレーム画像を前記記憶手段から選択することを特徴とする。
【０００９】
また、請求項５記載の発明に係る画像合成装置にあっては、前記第１の画像合成手段は、前記取得手段により順次取得された各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００１０】
また、請求項６記載の発明に係る画像合成装置にあっては、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００１１】
また、請求項７記載の発明に係る画像合成装置にあっては、前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする。
【００１２】
また、請求項６記載の発明に係る画像合成プログラムにあっては、撮像して複数のフレーム画像を順次取得する取得手段を有する画像合成装置が備えるコンピュータを、前記撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段として機能させることを特徴とする。
【００１３】
また、請求項７記載の発明に係る画像合成方法にあっては、撮像して複数のフレーム画像を順次取得する取得ステップと、この撮像ステップにより取得されたフレーム画像のいずれかを選択する選択ステップと、前記取得ステップにより取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成ステップと、この第１の画像合成ステップにより生成された合成画像の対応する画像部分に、前記選択ステップより選択されたフレーム画像を上書き合成する第２の画像合成ステップとを含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通する電子カメラ１の概略構成を示すブロック図である。この電子カメラ１は、所定の画角からなるフレーム画像を撮影する機能を有するのみならず、複数のフレーム画像の各画像部分を合成してパノラマ画像を合成するパノラマ撮影機能を備えたものであって、図示しない光学系の光軸上に配置されたＣＣＤ２と、ＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、ＪＰＥＧ方式による画像のデータの圧縮・伸張を含む各種デジタル信号処理機能を有するとともに電子カメラ１の各部を制御するワンチップマイコンである。ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Timing Generator）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。
【００１６】
また、ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７、時計部８が接続されるとともに、アドレス・データバス９を介してＤＲＡＭ１０、内蔵フラッシュメモリ１１、カード・インターフェイス１２が接続されている。カード・インターフェイス１２には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。
【００１７】
ＤＲＡＭ１０は、撮影待機モードの設定時にＣＣＤ２によって撮像され、デジタル化された被写体の画像データを一時保存するバッファであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。ＤＲＡＭ１０に一時保存された画像データは圧縮され、最終的にはメモリ・カード１３に記録される。内蔵フラッシュメモリ１１には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより本発明の選択手段、第１の画像合成手段、第２の画像合成手段等として機能する。
【００１８】
表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード１３から読み出され伸張された記録画像を表示する。キー入力部７は、シャッターキー、パノラマ撮影開始キーと終了キー、電源キー、モード選択キー、十字キー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。時計部８は日付及び時刻をカウントするカレンダー機能と時計機能とを有しており、撮影動作時等に必要に応じて日付データ及び時刻データをＤＳＰ／ＣＰＵ３へ送る。
【００１９】
以上の構成からなる電子カメラ１において、ＤＳＰ／ＣＰＵ３は、前記プログラムに従って、図２に示すフローチャートに示すように処理を実行する。すなわち、ユーザによるキー入力部７における前記モード選択キーの操作により、パノラマ撮影モードが選択されると、撮影処理を実行した後（ステップＳ１）、画像合成処理を実行する（ステップＳ１）。
【００２０】
図３は、前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１０１）、このステップＳ１０１での処理により、表示装置６にはスルー画像が表示される。次に、パノラマ撮影開始キーが操作されたか否かを判断する（ステップＳ１０２）。パノラマ撮影開始キーが操作されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１０３）。
【００２１】
次に、シャッターキーが操作されたか否かを判断する（ステップＳ１０４）。操作されない場合には、ステップＳ１０５の処理を実行することなくステップＳ１０６に進み、パノラマ撮影終了キーが操作されたか否かを判断する（ステップＳ１０４）。パノラマ撮影終了キーが操作されない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１０７）、所定時間が経過した時点で、ステップＳ１０３からの処理を繰り返す。したがって、パノラマ撮影終了キーが操作されるまで、所定時間（１／１６秒）間隔でステップＳ１０５からの処理が繰り返されることとなる。
【００２２】
このパノラマ撮影中においては、ユーザは電子カメラ１を所望の方向に回動させながら撮影を行うが、このとき中心人物等のユーザが意図した主要被写体がファインダー内に到来した時点（好ましくは、ファインダーの中央に到来した時点）でシャッターキーを操作する。すると、ステップＳ１０４の判断がＹＥＳとなる。したがって、ステップＳ１０４からステップＳ１０５に進み、ユーザがシャッターキーを操作した時点でＤＲＡＭ１０に記憶されたフレーム画像に、他のフレーム画像と識別するための選択識別子を付加する。
【００２３】
そして、ユーザがパノラマ撮影終了キーを操作するとステップＳ１０６の判断がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがパノラマ撮影開始キーを操作してからパノラマ撮影開始キーを操作するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００２４】
また、パノラマ撮影中にシャッターキーを操作した場合には、当該操作時点で撮影されたフレーム画像には、前記選択識別子が付加されることとなる。
【００２５】
図４は、前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、前述のように電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００２６】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２０１）。つまり、フレーム画像を撮影された順に従って選択する。
【００２７】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２０２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２０１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。
【００２８】
次に、この抽出したブロック毎に、当該ブロックに対応する特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２０３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２０４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００２９】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２０５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００３０】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００３１】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２０６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃ（中心軸Ｃ）を基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００３２】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２０７）。
【００３３】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２０８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２０１からの処理を繰り返す。
【００３４】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００３５】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００３６】
なお、ステップＳ２０７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。
【００３７】
また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。若しくは、少なくとも識別子が付加されたフレーム画像に関しては、コピーして保存しておく。
【００３８】
そして、最後−１のフレーム画像までステップＳ２０１〜Ｓ２０７が実行されることによりステップＳ２０８の判断がＹＥＳとなると、ＤＲＡＭ１０に保存されたフレーム画像において前記選択識別子が付加された画像があるか否かを判断する（ステップＳ２０９）。選択識別子が付加されたフレーム画像がない場合には、ステップＳ２１０〜Ｓ２１２の処理を実行することなく、ステップＳ２１３に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２０７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２１２の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。
【００３９】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。
【００４０】
他方、ステップＳ２０９の判断がＹＥＳであった場合、つまり前述したパノラマ撮影中にシャッターキーが操作されて、ユーザが意図した主要被写体が撮影されたフレーム画像が選択されている場合には、選択識別子が付加されている選択フレーム画像の特徴量を抽出する（ステップＳ２１０）。この特徴量の算出に際しては、前述したステップＳ２０２の処理と同様、図５（Ａ）に示すように、選択フレーム画像ＸＦの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。
【００４１】
次に、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、ステップＳ２０８がＹＥＳとなるまで合成された合成画像内にて探索する（ステップＳ２１１）。そして、このステップＳ２１１で探索した合成画像内の共通の特徴量を有するブロックと、前記ステップＳ２１０で各々特徴量を算出したブロックとが合致するように、選択フレーム画像を合成済み画像に上書きする（ステップＳ２１２）。これにより、図７（Ｂ）に示すように、選択フレーム画像ＸＦがパノラマ合成画像ＸＳ上に上書きされる。
【００４２】
そして、前述したステップＳ２１３での処理より、図７（Ｂ）に示すように、ステップＳ２１２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録されることとなる。
【００４３】
この最終的なパノラマ合成画像ＸＳ２にあっては、ユーザが意図したフレーム画像である選択フレーム画像ＸＦが分断されることなく含まれていることから、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【００４４】
また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。
【００４５】
よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。
【００４６】
しかも、本実施の形態においてはシャッターキーが操作された際に撮影されたフレーム画像を選択フレーム画像とすることから、ユーザがシャッターチャンスとしてシャッターキーを操作した時点のフレーム画像に継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【００４７】
（第２の実施の形態）
図８は、本発明の第２の実施の形態における前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１２１）、このステップＳ１２１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキー（１回目）が操作されたか否かを判断する（ステップＳ１２２）。シャッターキーが操作されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１２３）。
【００４８】
次に、シャッターキー（２回目以降）が操作されたか否かを判断する（ステップＳ１２４）。操作されない場合には、ステップＳ１２５の処理を実行することなくステップＳ１２６に進み、所定枚数撮影したか否かを判断する（ステップＳ１２４）。所定枚数撮影していない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１２７）、所定時間が経過した時点で、ステップＳ１２３からの処理を繰り返す。したがって、所定枚数撮影されるまで、所定時間（１／１６秒）間隔でステップＳ１２５からの処理が繰り返されることとなる。
【００４９】
このパノラマ撮影中においては、ユーザは電子カメラ１を所望の方向に回動させながら撮影を行うが、このとき中心人物等のユーザが意図した主要被写体がファインダー内に到来した時点（好ましくは、ファインダーの中央に到来した時点）でシャッターキーを操作する（２回目以降の操作）。すると、ステップＳ１２４の判断がＹＥＳとなる。したがって、ステップＳ１２４からステップＳ１２５に進み、ユーザが２回目以降のシャッターキーを操作した時点でＤＲＡＭ１０に記憶されたフレーム画像に、他のフレーム画像と識別するための選択識別子を付加する。
【００５０】
そして、所定枚数のフレーム画像が撮影、記録されるとステップＳ１２６の判断がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザが１回目のシャッターキーを操作後において所定時間（１／１６秒）間隔で撮影された所定枚数のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００５１】
また、パノラマ撮影中にさらにシャッターキー操作を行った場合には、当該操作時点で撮影されたフレーム画像には、前記選択識別子が付加されることとなる。
【００５２】
したがって、この実施の形態においては、別途パノラマ撮影開始キーや終了キーを設けることなく、シャッターキーのみでパノラマ撮影の開始及び終了と、所望のフレーム画像の選択とを行うことができる。
【００５３】
なお、この第２の実施の形態における画像合成処理（ステップＳ２）は、図４のフローチャートに示した第１の実施の形態と同様の手順で行えばよい。
【００５４】
（第３の実施の形態）
図９は、本発明の第３の実施の形態における前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１３１）、このステップＳ１３１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキーが押下されたか否かを判断する（ステップＳ１３２）。シャッターキーが押下されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１３３）。
【００５５】
次に、前記シャッターキーの押下が解除されたか否かを判断する（ステップＳ１３４）。シャッターキーの押下が解除されない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１３５）、所定時間が経過した時点で、ステップＳ１３３からの処理を繰り返す。したがって、前記シャッターキーの押下が解除されない状態においては、所定時間（１／１６秒）間隔でステップＳ１３５からの処理が繰り返されることとなる。
【００５６】
よって、ユーザが繰り返しシャッターキーを操作することなく、シャッターキーの押下を継続すれば、ＤＲＡＭ１０に所定時間をフレームレートとする複数枚分のフレーム画像が記憶させることができる。
【００５７】
そして、ユーザが押下しているシャッターキーを解除するとステップＳ１３４がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがシャッターキーを押下してから解除するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００５８】
図１０は、本実施形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００５９】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２３１）。つまり、フレーム画像を撮影された順に従って選択する。
【００６０】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２３２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２３１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。
【００６１】
次に、この抽出したブロック毎に、当該ブロックに対応する特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２３３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２３４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００６２】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２３５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００６３】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００６４】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２３６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００６５】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２３７）。
【００６６】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２３８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２３１からの処理を繰り返す。
【００６７】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００６８】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００６９】
なお、ステップＳ２３７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。
【００７０】
また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。
【００７１】
そして、最後−１のフレーム画像までステップＳ２３１〜Ｓ２３７が実行されることによりステップＳ２３８の判断がＹＥＳとなると、以上の処理により合成されたパノラマ撮合成画像ＸＳを表示装置６に表示させる（ステップＳ２３９）。ユーザは、この表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていないか否かを確認する。主要被写体上に継ぎ目が形成されていない場合には、後述する指定操作を行わなくてもよい。
【００７２】
この指定操作を行わない場合には、ステップＳ２４０の判断がＮＯとなり、ステップＳ２４１〜Ｓ２４４の処理を実行することなくステップＳ２４５に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２３７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２４４の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。
【００７３】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。
【００７４】
他方、前記ステップＳ２３８で表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていた場合や、主要被写体が撮影されたフレーム画像全体をパノラマ撮影画像に含めたい場合には、ユーザはキー入力部７に設けられている十字キー等を操作して、表示装置６に表示されているカーソル等により、（継ぎ目を避けて）主要被写体を指定する。すると、ステップＳ２４０の判断がＹＥＳとなる。
【００７５】
したがって、ステップＳ２４０からステップＳ２４１に進み、パノラマ画像中の指定された画像部分を含む部分画像ＸＰに対応するフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する（ステップＳ４１）。このとき、図６（Ａ）（Ｂ）において説明したように、パノラマ合成画像ＸＳを構成する部分画像ＸＰは、中心線Ｃから抽出された部分であることから、中心線Ｃ付近、つまりフレーム画像のほぼ中央部に指定された主要被写体が存在するフレーム画像を選択することができる。
【００７６】
次に、このステップＳ２４１で選択された選択フレーム画像の特徴量を抽出する（ステップＳ２４２）。この特徴量の算出に際しては、前述したステップＳ２３２の処理と同様、図５（Ａ）に示すように、選択フレーム画像ＸＦの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。
【００７７】
引き続き、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、ステップＳ２３８がＹＥＳとなるまで合成された合成画像内にて探索する（ステップＳ２４３）。そして、このステップＳ２４３で探索した合成画像内の共通の特徴量を有するブロックと、前記ステップＳ２４２で各々特徴量を算出したブロックとが合致するように、選択フレーム画像を合成済み画像に上書きする（ステップＳ２４４）。これにより、図７（Ｂ）に示すように、選択フレーム画像ＸＦがパノラマ合成画像ＸＳ上に上書きされる。そして、前述したステップＳ２４５での処理より、図７（Ｂ）に示すように、ステップＳ２４２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録されることとなる。
【００７８】
したがって、本実施の形態によれば、パノラマ撮影を終了した後に時間的余裕を持ってフレーム画像を選択することができることから、より確実に、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【００７９】
また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。
【００８０】
よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。
【００８１】
（第４の実施の形態）
図１１は、本発明の第４の実施形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、例えば本発明の第３の実施形態で図９に基づいて説明したような、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して、画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００８２】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２５１）。つまり、フレーム画像を撮影された順に従って選択する。
【００８３】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２５２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２５１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。
【００８４】
次に、この抽出したブロック毎に、当該ブロックに対応した特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２５３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２５４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００８５】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２５５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００８６】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００８７】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２５６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００８８】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２５７）。
【００８９】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２５８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２５１からの処理を繰り返す。
【００９０】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００９１】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００９２】
なお、ステップＳ２５７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。
【００９３】
また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。
【００９４】
そして、最後−１のフレーム画像までステップＳ２５１〜Ｓ２５７が実行されることによりステップＳ２５８の判断がＹＥＳとなると、以上の処理により合成されたパノラマ撮合成画像ＸＳを表示装置６に表示させる（ステップＳ２５９）。ユーザは、この表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていないか否かを確認する。主要被写体上に継ぎ目が形成されていない場合には、後述する指定操作を行わなくてもよい。
【００９５】
この指定操作を行わない場合には、ステップＳ２６０の判断がＮＯとなり、ステップＳ２６１及びＳ２６２の処理を実行することなくステップＳ２６３に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２５７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２６２の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。
【００９６】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。
【００９７】
他方、前記ステップＳ２５８で表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていた場合や、主要被写体が撮影されたフレーム画像全体をパノラマ撮影画像に含めたい場合には、ユーザはキー入力部７に設けられている十字キー等を操作して、表示装置６に表示されているカーソル等により、（継ぎ目を避けて）主要被写体を指定する。すると、ステップＳ２６０の判断がＹＥＳとなる。
【００９８】
したがって、ステップＳ２６０からステップＳ２６１に進み、指定された画像部分を含む部分画像を抽出したフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する（ステップＳ２６１）。つまりパノラマ合成画像ＸＳは、各フレーム画像から抽出した部分画像の結合画像であるから、指定された画像部分を含む部分画像はいずれかのフレーム画像から抽出したものである。したがって、指定された画像部分を含む部分画像を抽出した抽出した元となったフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する。よって、図７（Ａ）に示す部分画像ＸＰが指定された画像部分を含む部分画像であるとすると、図７（Ｂ）に示す部分画像ＸＰを抽出した元のフレーム画像ＸＦが選択フレーム画像として選択されることとなる。
【００９９】
次に、このステップＳ２６１で選択された選択フレーム画像をパノラマ合成画像ＸＳの前記指定された画像部分を含む部分画像に合致させて上書きする。つまり、図７（Ａ）に示すパノラマ合成画像ＸＳ中の部分画像ＸＰと、図７（Ｂ）に示す選択フレーム画像ＸＰが有する当該部分画像ＸＰとを合致させて、選択フレーム画像ＸＰをパノラマ合成画像ＸＳに上書きする。
【０１００】
そして、前述したステップＳ２６３での処理より、図７（Ｂ）に示すように、ステップＳ２６２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録する。
【０１０１】
したがって、本実施の形態によれば、前述した第３の実施の形態のように、特徴量を算出したり、共通の特徴量を有するブロックを合成画像内にて探索する処理を実行することなく簡単な処理により、選択フレーム画像ＸＰを精度よく合致させてパノラマ合成画像ＸＳ上に上書きすることができる。
【０１０２】
無論、第３の実施の形態と同様に、パノラマ撮影を終了した後に時間的余裕を持ってフレーム画像を選択することができることから、より確実に、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【０１０３】
また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。
【０１０４】
よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。
【０１０５】
なお、各実施の形態においては、フレームの中心点を通る直線である中心線Ｃを基準に合成する部分画像の抽出を行うようにしたが、基準線は中心線Ｃに限ることなく、中心部付近であれば、側部に若干ずれた位置であってもよい。特に、ユーザに電子カメラを回動させる方向を予め定めていて、更に、上述したように、今フレーム画像における特徴量を用いて次フレーム内を探索した移動ベクトルに基づいて今フレーム画像内から部分画像を抽出するような場合には、基準線は、電子カメラの回動方向とは逆方向にずれた位置に予め設定しておくことが好ましい。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向とは逆方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。
なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。
【０１０６】
また、本実施の形態においては、今フレーム画像Ｘから合成する部分画像の抽出を行うようにしたが、次フレーム画像Ｘ＋１から前記抽出幅で抽出してもよい。なお、次フレーム画像Ｘ＋１から前記抽出幅で抽出する場合には、次フレーム画像Ｘ＋１の所定の中心線を基準として、次フレーム画像Ｘ＋１から前記抽出幅で画像を抽出するが、このとき、次フレーム画像Ｘ＋１において前記中心線Ｃから、移動ベクトルの方向、即ち、電子カメラ１の回動方向とは逆方向（ここでは左方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。そして、特に、ユーザに電子カメラを回動させる方向を予め定めている場合には、基準線は、電子カメラの回動方向にずれた位置に予め設定しておくことが好ましい。つまり、次フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルの方向（電子カメラ１の回動方向とは逆方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。
【０１０７】
また、上述の各実施の形態においては、左右方向のパノラマ合成画像を生成するものとして説明したが、上下方向のパノラマ合成画像を生成する場合にも適用できる。
【０１０８】
また、各実施の形態においては、図４及び図１０のフローチャートに示したように、ＤＲＡＭ１０に記憶された最初のフレーム画像から合成対象として画像合成処理を開始するようにした。しかし、画像合成処理の冒頭において特徴量の算出及び移動ベクトルの算出を実行し、所定以上の移動ベクトルが最初に算出されたことを条件として、ステップＳ２０１以降の処理、あるいはステップＳ２５１以降の処理を実行するようにしてもよい。
【０１０９】
これにより、ユーザが電子カメラ１を回動させたか否か、つまりユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始めたか検出することができる。よって、ユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始める前の不要な画像を用いてパノラマ画像合成処理等が実行される不都合を未然に防止することができる。
【０１１０】
なお、このとき、検出された所定以上の移動ベクトルの方向に基づいて、電子カメラの回動方向が、上下左右方向の何れであるかを検出し、この検出された電子カメラの回動方向に応じたパノラマ合成画像の生成処理を行う構成としてもよい。つまり、例えば、電子カメラの回動方向が左方向または右方向であったときには、左右方向のパノラマ合成画像を生成し、上方向または下方向であったときには、上下方向のパノラマ合成画像を生成する構成としてもよい。
【０１１１】
また、各実施の形態においては、図４及び図１０のフローチャートに示したように、最後−１のフレーム画像を選択した時点で画像合成処理を終了するようした。しかし、前記最初に算出された移動ベクトルを記憶しておき、この移動ベクトルとは異なる方向（例えば、反対方向）の移動ベクトルが検出された時点で、画像合成処理を終了するようにしてもよい。
【０１１２】
これにより、前記ステップＳ１０６で説明したパノラマ撮影終了キーの操作や、前記ステップＳ１３４で説明したシャッターキーの操作を解除せずとも、パノラマ撮影を行うべく回動させた電子カメラ１を当該回動方向とは異なる方向に回動させる簡単な操作により、実質的にパノラマ撮影を終了させることができる。
【０１１３】
さらに、各実施の形態においては、撮影処理を実行してＤＲＡＭに複数のフレーム画像を記憶させた後、画像合成処理を実行するようにしたが、撮影処理によりフレーム画像が取得される都度、順次画像合成処理を実行し、しかる後に選択フレーム画像の上書きを行うようにしてもよい。
【図面の簡単な説明】
【０１１４】
【図１】本発明の一実施の形態に係る電子カメラのブロック図である。
【図２】本発明の第１〜第４の実施の形態に共通するゼネラルフローチャートである。
【図３】第１の実施の形態における撮影処理の処理手順を示すフローチャートである。
【図４】第１の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【図５】移動ベクトルの算出手順を示す説明図である。
【図６】今フレーム画像から合成する部分画像を抽出する処理と、合成処理の手順を示す説明図である。
【図７】（Ａ）はパノラマ合成画像のトリミング領域を示す説明図、（Ｂ）はパノラマ合成画像のトリミング領域とフレーム画像の合成状態を示す説明図である。
【図８】第２の実施の形態における撮影処理の処理手順を示すフローチャートである。
【図９】第３の実施の形態における撮影処理の処理手順を示すフローチャートである。
【図１０】第３の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【図１１】第４の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【符号の説明】
【０１１５】
１ 電子カメラ
２ ＣＣＤ
３ ＤＳＰ／ＣＰＵ
４ ＴＧ
５ ユニット回路
６ 表示装置
７ キー入力部
９ データバス
１０ ＤＲＡＭ
１１ 内蔵フラッシュメモリ
【技術分野】
【０００１】
本発明は、撮像により順次得られる複数のフレーム画像を結合して合成したパノラマ画像を生成する画像合成装置、画像合成プログラム及び画像合成方法に関する。
【背景技術】
【０００２】
従来、１つの撮影フレームで撮影可能な画角以上の画角を得るために複数の撮影フレームの各画像を合成してパノラマ画像を合成する撮像装置が提案されている。このパノラマ画像を合成するに際しては、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出する。そして、これら検出した特徴点が一致するように、隣接する画像を結合合成してパノラマ画像を得るようにしている（特許文献１参照）。
【特許文献１】特開平１１−２８２１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように従来の撮像装置においては、画像の特徴点を抽出し、この特徴点を隣接する画像で一致させて結合合成することによりパノラマ画像を得るようにしている。したがって、パノラマ画像中には画像を結合させた際の継ぎ目が、ユーザの意図とは無関係に生じてしまうこととなる。このため、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されてしまう場合が生じ、ユーザが意図した部分に継ぎ目が生ずることのないパノラマ画像を得ることが困難となるものであった。
【０００４】
本発明は、かかる従来の課題に鑑みなされたものであり、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成することのできる画像合成装置、画像合成プログラム及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために請求項１記載の発明に係る画像合成装置にあっては、撮像して複数のフレーム画像を順次取得する取得手段と、この撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段とを備えることを特徴とする。
【０００６】
また、請求項２記載の発明に係る画像合成装置にあっては、前記選択手段は、前記取得手段がフレーム画像を順次取得する際に、所定の操作に応答して操作タイミングに対応するフレーム画像を選択することを特徴とする。
【０００７】
また、請求項３記載の発明に係る画像合成装置にあっては、前記所定の操作は、前記取得手段にフレーム画像の取得を開始させるための操作と同一の操作であることを特徴とする。
【０００８】
また、請求項４記載の発明に係る画像合成装置にあっては、前記取得手段により取得された複数のフレーム画像を記憶する記憶手段を備え、前記選択手段は、前記第１の画像合成手段により合成された合成画像において任意の画像部分を指定する指定手段を備え、この指定手段により指定された画像部分を含むフレーム画像を前記記憶手段から選択することを特徴とする。
【０００９】
また、請求項５記載の発明に係る画像合成装置にあっては、前記第１の画像合成手段は、前記取得手段により順次取得された各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００１０】
また、請求項６記載の発明に係る画像合成装置にあっては、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００１１】
また、請求項７記載の発明に係る画像合成装置にあっては、前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする。
【００１２】
また、請求項６記載の発明に係る画像合成プログラムにあっては、撮像して複数のフレーム画像を順次取得する取得手段を有する画像合成装置が備えるコンピュータを、前記撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段として機能させることを特徴とする。
【００１３】
また、請求項７記載の発明に係る画像合成方法にあっては、撮像して複数のフレーム画像を順次取得する取得ステップと、この撮像ステップにより取得されたフレーム画像のいずれかを選択する選択ステップと、前記取得ステップにより取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成ステップと、この第１の画像合成ステップにより生成された合成画像の対応する画像部分に、前記選択ステップより選択されたフレーム画像を上書き合成する第２の画像合成ステップとを含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通する電子カメラ１の概略構成を示すブロック図である。この電子カメラ１は、所定の画角からなるフレーム画像を撮影する機能を有するのみならず、複数のフレーム画像の各画像部分を合成してパノラマ画像を合成するパノラマ撮影機能を備えたものであって、図示しない光学系の光軸上に配置されたＣＣＤ２と、ＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、ＪＰＥＧ方式による画像のデータの圧縮・伸張を含む各種デジタル信号処理機能を有するとともに電子カメラ１の各部を制御するワンチップマイコンである。ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Timing Generator）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。
【００１６】
また、ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７、時計部８が接続されるとともに、アドレス・データバス９を介してＤＲＡＭ１０、内蔵フラッシュメモリ１１、カード・インターフェイス１２が接続されている。カード・インターフェイス１２には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。
【００１７】
ＤＲＡＭ１０は、撮影待機モードの設定時にＣＣＤ２によって撮像され、デジタル化された被写体の画像データを一時保存するバッファであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。ＤＲＡＭ１０に一時保存された画像データは圧縮され、最終的にはメモリ・カード１３に記録される。内蔵フラッシュメモリ１１には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより本発明の選択手段、第１の画像合成手段、第２の画像合成手段等として機能する。
【００１８】
表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード１３から読み出され伸張された記録画像を表示する。キー入力部７は、シャッターキー、パノラマ撮影開始キーと終了キー、電源キー、モード選択キー、十字キー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。時計部８は日付及び時刻をカウントするカレンダー機能と時計機能とを有しており、撮影動作時等に必要に応じて日付データ及び時刻データをＤＳＰ／ＣＰＵ３へ送る。
【００１９】
以上の構成からなる電子カメラ１において、ＤＳＰ／ＣＰＵ３は、前記プログラムに従って、図２に示すフローチャートに示すように処理を実行する。すなわち、ユーザによるキー入力部７における前記モード選択キーの操作により、パノラマ撮影モードが選択されると、撮影処理を実行した後（ステップＳ１）、画像合成処理を実行する（ステップＳ１）。
【００２０】
図３は、前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１０１）、このステップＳ１０１での処理により、表示装置６にはスルー画像が表示される。次に、パノラマ撮影開始キーが操作されたか否かを判断する（ステップＳ１０２）。パノラマ撮影開始キーが操作されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１０３）。
【００２１】
次に、シャッターキーが操作されたか否かを判断する（ステップＳ１０４）。操作されない場合には、ステップＳ１０５の処理を実行することなくステップＳ１０６に進み、パノラマ撮影終了キーが操作されたか否かを判断する（ステップＳ１０４）。パノラマ撮影終了キーが操作されない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１０７）、所定時間が経過した時点で、ステップＳ１０３からの処理を繰り返す。したがって、パノラマ撮影終了キーが操作されるまで、所定時間（１／１６秒）間隔でステップＳ１０５からの処理が繰り返されることとなる。
【００２２】
このパノラマ撮影中においては、ユーザは電子カメラ１を所望の方向に回動させながら撮影を行うが、このとき中心人物等のユーザが意図した主要被写体がファインダー内に到来した時点（好ましくは、ファインダーの中央に到来した時点）でシャッターキーを操作する。すると、ステップＳ１０４の判断がＹＥＳとなる。したがって、ステップＳ１０４からステップＳ１０５に進み、ユーザがシャッターキーを操作した時点でＤＲＡＭ１０に記憶されたフレーム画像に、他のフレーム画像と識別するための選択識別子を付加する。
【００２３】
そして、ユーザがパノラマ撮影終了キーを操作するとステップＳ１０６の判断がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがパノラマ撮影開始キーを操作してからパノラマ撮影開始キーを操作するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００２４】
また、パノラマ撮影中にシャッターキーを操作した場合には、当該操作時点で撮影されたフレーム画像には、前記選択識別子が付加されることとなる。
【００２５】
図４は、前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、前述のように電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００２６】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２０１）。つまり、フレーム画像を撮影された順に従って選択する。
【００２７】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２０２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２０１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。
【００２８】
次に、この抽出したブロック毎に、当該ブロックに対応する特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２０３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２０４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００２９】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２０５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００３０】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００３１】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２０６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃ（中心軸Ｃ）を基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００３２】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２０７）。
【００３３】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２０８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２０１からの処理を繰り返す。
【００３４】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００３５】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００３６】
なお、ステップＳ２０７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。
【００３７】
また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。若しくは、少なくとも識別子が付加されたフレーム画像に関しては、コピーして保存しておく。
【００３８】
そして、最後−１のフレーム画像までステップＳ２０１〜Ｓ２０７が実行されることによりステップＳ２０８の判断がＹＥＳとなると、ＤＲＡＭ１０に保存されたフレーム画像において前記選択識別子が付加された画像があるか否かを判断する（ステップＳ２０９）。選択識別子が付加されたフレーム画像がない場合には、ステップＳ２１０〜Ｓ２１２の処理を実行することなく、ステップＳ２１３に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２０７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２１２の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。
【００３９】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。
【００４０】
他方、ステップＳ２０９の判断がＹＥＳであった場合、つまり前述したパノラマ撮影中にシャッターキーが操作されて、ユーザが意図した主要被写体が撮影されたフレーム画像が選択されている場合には、選択識別子が付加されている選択フレーム画像の特徴量を抽出する（ステップＳ２１０）。この特徴量の算出に際しては、前述したステップＳ２０２の処理と同様、図５（Ａ）に示すように、選択フレーム画像ＸＦの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。
【００４１】
次に、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、ステップＳ２０８がＹＥＳとなるまで合成された合成画像内にて探索する（ステップＳ２１１）。そして、このステップＳ２１１で探索した合成画像内の共通の特徴量を有するブロックと、前記ステップＳ２１０で各々特徴量を算出したブロックとが合致するように、選択フレーム画像を合成済み画像に上書きする（ステップＳ２１２）。これにより、図７（Ｂ）に示すように、選択フレーム画像ＸＦがパノラマ合成画像ＸＳ上に上書きされる。
【００４２】
そして、前述したステップＳ２１３での処理より、図７（Ｂ）に示すように、ステップＳ２１２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録されることとなる。
【００４３】
この最終的なパノラマ合成画像ＸＳ２にあっては、ユーザが意図したフレーム画像である選択フレーム画像ＸＦが分断されることなく含まれていることから、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【００４４】
また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。
【００４５】
よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。
【００４６】
しかも、本実施の形態においてはシャッターキーが操作された際に撮影されたフレーム画像を選択フレーム画像とすることから、ユーザがシャッターチャンスとしてシャッターキーを操作した時点のフレーム画像に継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【００４７】
（第２の実施の形態）
図８は、本発明の第２の実施の形態における前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１２１）、このステップＳ１２１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキー（１回目）が操作されたか否かを判断する（ステップＳ１２２）。シャッターキーが操作されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１２３）。
【００４８】
次に、シャッターキー（２回目以降）が操作されたか否かを判断する（ステップＳ１２４）。操作されない場合には、ステップＳ１２５の処理を実行することなくステップＳ１２６に進み、所定枚数撮影したか否かを判断する（ステップＳ１２４）。所定枚数撮影していない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１２７）、所定時間が経過した時点で、ステップＳ１２３からの処理を繰り返す。したがって、所定枚数撮影されるまで、所定時間（１／１６秒）間隔でステップＳ１２５からの処理が繰り返されることとなる。
【００４９】
このパノラマ撮影中においては、ユーザは電子カメラ１を所望の方向に回動させながら撮影を行うが、このとき中心人物等のユーザが意図した主要被写体がファインダー内に到来した時点（好ましくは、ファインダーの中央に到来した時点）でシャッターキーを操作する（２回目以降の操作）。すると、ステップＳ１２４の判断がＹＥＳとなる。したがって、ステップＳ１２４からステップＳ１２５に進み、ユーザが２回目以降のシャッターキーを操作した時点でＤＲＡＭ１０に記憶されたフレーム画像に、他のフレーム画像と識別するための選択識別子を付加する。
【００５０】
そして、所定枚数のフレーム画像が撮影、記録されるとステップＳ１２６の判断がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザが１回目のシャッターキーを操作後において所定時間（１／１６秒）間隔で撮影された所定枚数のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００５１】
また、パノラマ撮影中にさらにシャッターキー操作を行った場合には、当該操作時点で撮影されたフレーム画像には、前記選択識別子が付加されることとなる。
【００５２】
したがって、この実施の形態においては、別途パノラマ撮影開始キーや終了キーを設けることなく、シャッターキーのみでパノラマ撮影の開始及び終了と、所望のフレーム画像の選択とを行うことができる。
【００５３】
なお、この第２の実施の形態における画像合成処理（ステップＳ２）は、図４のフローチャートに示した第１の実施の形態と同様の手順で行えばよい。
【００５４】
（第３の実施の形態）
図９は、本発明の第３の実施の形態における前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１３１）、このステップＳ１３１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキーが押下されたか否かを判断する（ステップＳ１３２）。シャッターキーが押下されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１３３）。
【００５５】
次に、前記シャッターキーの押下が解除されたか否かを判断する（ステップＳ１３４）。シャッターキーの押下が解除されない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１３５）、所定時間が経過した時点で、ステップＳ１３３からの処理を繰り返す。したがって、前記シャッターキーの押下が解除されない状態においては、所定時間（１／１６秒）間隔でステップＳ１３５からの処理が繰り返されることとなる。
【００５６】
よって、ユーザが繰り返しシャッターキーを操作することなく、シャッターキーの押下を継続すれば、ＤＲＡＭ１０に所定時間をフレームレートとする複数枚分のフレーム画像が記憶させることができる。
【００５７】
そして、ユーザが押下しているシャッターキーを解除するとステップＳ１３４がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがシャッターキーを押下してから解除するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００５８】
図１０は、本実施形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００５９】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２３１）。つまり、フレーム画像を撮影された順に従って選択する。
【００６０】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２３２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２３１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。
【００６１】
次に、この抽出したブロック毎に、当該ブロックに対応する特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２３３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２３４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００６２】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２３５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００６３】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００６４】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２３６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００６５】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２３７）。
【００６６】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２３８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２３１からの処理を繰り返す。
【００６７】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００６８】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００６９】
なお、ステップＳ２３７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。
【００７０】
また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。
【００７１】
そして、最後−１のフレーム画像までステップＳ２３１〜Ｓ２３７が実行されることによりステップＳ２３８の判断がＹＥＳとなると、以上の処理により合成されたパノラマ撮合成画像ＸＳを表示装置６に表示させる（ステップＳ２３９）。ユーザは、この表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていないか否かを確認する。主要被写体上に継ぎ目が形成されていない場合には、後述する指定操作を行わなくてもよい。
【００７２】
この指定操作を行わない場合には、ステップＳ２４０の判断がＮＯとなり、ステップＳ２４１〜Ｓ２４４の処理を実行することなくステップＳ２４５に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２３７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２４４の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。
【００７３】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。
【００７４】
他方、前記ステップＳ２３８で表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていた場合や、主要被写体が撮影されたフレーム画像全体をパノラマ撮影画像に含めたい場合には、ユーザはキー入力部７に設けられている十字キー等を操作して、表示装置６に表示されているカーソル等により、（継ぎ目を避けて）主要被写体を指定する。すると、ステップＳ２４０の判断がＹＥＳとなる。
【００７５】
したがって、ステップＳ２４０からステップＳ２４１に進み、パノラマ画像中の指定された画像部分を含む部分画像ＸＰに対応するフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する（ステップＳ４１）。このとき、図６（Ａ）（Ｂ）において説明したように、パノラマ合成画像ＸＳを構成する部分画像ＸＰは、中心線Ｃから抽出された部分であることから、中心線Ｃ付近、つまりフレーム画像のほぼ中央部に指定された主要被写体が存在するフレーム画像を選択することができる。
【００７６】
次に、このステップＳ２４１で選択された選択フレーム画像の特徴量を抽出する（ステップＳ２４２）。この特徴量の算出に際しては、前述したステップＳ２３２の処理と同様、図５（Ａ）に示すように、選択フレーム画像ＸＦの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。
【００７７】
引き続き、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、ステップＳ２３８がＹＥＳとなるまで合成された合成画像内にて探索する（ステップＳ２４３）。そして、このステップＳ２４３で探索した合成画像内の共通の特徴量を有するブロックと、前記ステップＳ２４２で各々特徴量を算出したブロックとが合致するように、選択フレーム画像を合成済み画像に上書きする（ステップＳ２４４）。これにより、図７（Ｂ）に示すように、選択フレーム画像ＸＦがパノラマ合成画像ＸＳ上に上書きされる。そして、前述したステップＳ２４５での処理より、図７（Ｂ）に示すように、ステップＳ２４２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録されることとなる。
【００７８】
したがって、本実施の形態によれば、パノラマ撮影を終了した後に時間的余裕を持ってフレーム画像を選択することができることから、より確実に、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【００７９】
また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。
【００８０】
よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。
【００８１】
（第４の実施の形態）
図１１は、本発明の第４の実施形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、例えば本発明の第３の実施形態で図９に基づいて説明したような、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して、画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００８２】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２５１）。つまり、フレーム画像を撮影された順に従って選択する。
【００８３】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２５２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２５１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。
【００８４】
次に、この抽出したブロック毎に、当該ブロックに対応した特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２５３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２５４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００８５】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２５５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００８６】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００８７】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２５６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００８８】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２５７）。
【００８９】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２５８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２５１からの処理を繰り返す。
【００９０】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００９１】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００９２】
なお、ステップＳ２５７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。
【００９３】
また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。
【００９４】
そして、最後−１のフレーム画像までステップＳ２５１〜Ｓ２５７が実行されることによりステップＳ２５８の判断がＹＥＳとなると、以上の処理により合成されたパノラマ撮合成画像ＸＳを表示装置６に表示させる（ステップＳ２５９）。ユーザは、この表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていないか否かを確認する。主要被写体上に継ぎ目が形成されていない場合には、後述する指定操作を行わなくてもよい。
【００９５】
この指定操作を行わない場合には、ステップＳ２６０の判断がＮＯとなり、ステップＳ２６１及びＳ２６２の処理を実行することなくステップＳ２６３に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２５７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２６２の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。
【００９６】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。
【００９７】
他方、前記ステップＳ２５８で表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていた場合や、主要被写体が撮影されたフレーム画像全体をパノラマ撮影画像に含めたい場合には、ユーザはキー入力部７に設けられている十字キー等を操作して、表示装置６に表示されているカーソル等により、（継ぎ目を避けて）主要被写体を指定する。すると、ステップＳ２６０の判断がＹＥＳとなる。
【００９８】
したがって、ステップＳ２６０からステップＳ２６１に進み、指定された画像部分を含む部分画像を抽出したフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する（ステップＳ２６１）。つまりパノラマ合成画像ＸＳは、各フレーム画像から抽出した部分画像の結合画像であるから、指定された画像部分を含む部分画像はいずれかのフレーム画像から抽出したものである。したがって、指定された画像部分を含む部分画像を抽出した抽出した元となったフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する。よって、図７（Ａ）に示す部分画像ＸＰが指定された画像部分を含む部分画像であるとすると、図７（Ｂ）に示す部分画像ＸＰを抽出した元のフレーム画像ＸＦが選択フレーム画像として選択されることとなる。
【００９９】
次に、このステップＳ２６１で選択された選択フレーム画像をパノラマ合成画像ＸＳの前記指定された画像部分を含む部分画像に合致させて上書きする。つまり、図７（Ａ）に示すパノラマ合成画像ＸＳ中の部分画像ＸＰと、図７（Ｂ）に示す選択フレーム画像ＸＰが有する当該部分画像ＸＰとを合致させて、選択フレーム画像ＸＰをパノラマ合成画像ＸＳに上書きする。
【０１００】
そして、前述したステップＳ２６３での処理より、図７（Ｂ）に示すように、ステップＳ２６２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録する。
【０１０１】
したがって、本実施の形態によれば、前述した第３の実施の形態のように、特徴量を算出したり、共通の特徴量を有するブロックを合成画像内にて探索する処理を実行することなく簡単な処理により、選択フレーム画像ＸＰを精度よく合致させてパノラマ合成画像ＸＳ上に上書きすることができる。
【０１０２】
無論、第３の実施の形態と同様に、パノラマ撮影を終了した後に時間的余裕を持ってフレーム画像を選択することができることから、より確実に、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。
【０１０３】
また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。
【０１０４】
よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。
【０１０５】
なお、各実施の形態においては、フレームの中心点を通る直線である中心線Ｃを基準に合成する部分画像の抽出を行うようにしたが、基準線は中心線Ｃに限ることなく、中心部付近であれば、側部に若干ずれた位置であってもよい。特に、ユーザに電子カメラを回動させる方向を予め定めていて、更に、上述したように、今フレーム画像における特徴量を用いて次フレーム内を探索した移動ベクトルに基づいて今フレーム画像内から部分画像を抽出するような場合には、基準線は、電子カメラの回動方向とは逆方向にずれた位置に予め設定しておくことが好ましい。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向とは逆方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。
なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。
【０１０６】
また、本実施の形態においては、今フレーム画像Ｘから合成する部分画像の抽出を行うようにしたが、次フレーム画像Ｘ＋１から前記抽出幅で抽出してもよい。なお、次フレーム画像Ｘ＋１から前記抽出幅で抽出する場合には、次フレーム画像Ｘ＋１の所定の中心線を基準として、次フレーム画像Ｘ＋１から前記抽出幅で画像を抽出するが、このとき、次フレーム画像Ｘ＋１において前記中心線Ｃから、移動ベクトルの方向、即ち、電子カメラ１の回動方向とは逆方向（ここでは左方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。そして、特に、ユーザに電子カメラを回動させる方向を予め定めている場合には、基準線は、電子カメラの回動方向にずれた位置に予め設定しておくことが好ましい。つまり、次フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルの方向（電子カメラ１の回動方向とは逆方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。
【０１０７】
また、上述の各実施の形態においては、左右方向のパノラマ合成画像を生成するものとして説明したが、上下方向のパノラマ合成画像を生成する場合にも適用できる。
【０１０８】
また、各実施の形態においては、図４及び図１０のフローチャートに示したように、ＤＲＡＭ１０に記憶された最初のフレーム画像から合成対象として画像合成処理を開始するようにした。しかし、画像合成処理の冒頭において特徴量の算出及び移動ベクトルの算出を実行し、所定以上の移動ベクトルが最初に算出されたことを条件として、ステップＳ２０１以降の処理、あるいはステップＳ２５１以降の処理を実行するようにしてもよい。
【０１０９】
これにより、ユーザが電子カメラ１を回動させたか否か、つまりユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始めたか検出することができる。よって、ユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始める前の不要な画像を用いてパノラマ画像合成処理等が実行される不都合を未然に防止することができる。
【０１１０】
なお、このとき、検出された所定以上の移動ベクトルの方向に基づいて、電子カメラの回動方向が、上下左右方向の何れであるかを検出し、この検出された電子カメラの回動方向に応じたパノラマ合成画像の生成処理を行う構成としてもよい。つまり、例えば、電子カメラの回動方向が左方向または右方向であったときには、左右方向のパノラマ合成画像を生成し、上方向または下方向であったときには、上下方向のパノラマ合成画像を生成する構成としてもよい。
【０１１１】
また、各実施の形態においては、図４及び図１０のフローチャートに示したように、最後−１のフレーム画像を選択した時点で画像合成処理を終了するようした。しかし、前記最初に算出された移動ベクトルを記憶しておき、この移動ベクトルとは異なる方向（例えば、反対方向）の移動ベクトルが検出された時点で、画像合成処理を終了するようにしてもよい。
【０１１２】
これにより、前記ステップＳ１０６で説明したパノラマ撮影終了キーの操作や、前記ステップＳ１３４で説明したシャッターキーの操作を解除せずとも、パノラマ撮影を行うべく回動させた電子カメラ１を当該回動方向とは異なる方向に回動させる簡単な操作により、実質的にパノラマ撮影を終了させることができる。
【０１１３】
さらに、各実施の形態においては、撮影処理を実行してＤＲＡＭに複数のフレーム画像を記憶させた後、画像合成処理を実行するようにしたが、撮影処理によりフレーム画像が取得される都度、順次画像合成処理を実行し、しかる後に選択フレーム画像の上書きを行うようにしてもよい。
【図面の簡単な説明】
【０１１４】
【図１】本発明の一実施の形態に係る電子カメラのブロック図である。
【図２】本発明の第１〜第４の実施の形態に共通するゼネラルフローチャートである。
【図３】第１の実施の形態における撮影処理の処理手順を示すフローチャートである。
【図４】第１の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【図５】移動ベクトルの算出手順を示す説明図である。
【図６】今フレーム画像から合成する部分画像を抽出する処理と、合成処理の手順を示す説明図である。
【図７】（Ａ）はパノラマ合成画像のトリミング領域を示す説明図、（Ｂ）はパノラマ合成画像のトリミング領域とフレーム画像の合成状態を示す説明図である。
【図８】第２の実施の形態における撮影処理の処理手順を示すフローチャートである。
【図９】第３の実施の形態における撮影処理の処理手順を示すフローチャートである。
【図１０】第３の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【図１１】第４の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【符号の説明】
【０１１５】
１ 電子カメラ
２ ＣＣＤ
３ ＤＳＰ／ＣＰＵ
４ ＴＧ
５ ユニット回路
６ 表示装置
７ キー入力部
９ データバス
１０ ＤＲＡＭ
１１ 内蔵フラッシュメモリ
【特許請求の範囲】
【請求項１】
撮像して複数のフレーム画像を順次取得する取得手段と、
この撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、
前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、
この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記選択手段は、前記取得手段がフレーム画像を順次取得する際に、所定の操作に応答して操作タイミングに対応するフレーム画像を選択することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記所定の操作は、前記取得手段にフレーム画像の取得を開始させるための操作と同一の操作であることを特徴とする請求項２記載の画像合成装置。
【請求項４】
前記取得手段により取得された複数のフレーム画像を記憶する記憶手段を備え、
前記選択手段は、前記第１の画像合成手段により合成された合成画像において任意の画像部分を指定する指定手段を備え、この指定手段により指定された画像部分を含むフレーム画像を前記記憶手段から選択することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記第１の画像合成手段は、
前記取得手段により順次取得された各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項１から４にいずれか記載の画像合成装置。
【請求項６】
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項５記載の画像合成装置。
【請求項７】
前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする請求項５記載の画像合成装置。
【請求項８】
撮像して複数のフレーム画像を順次取得する取得手段を有する画像合成装置が備えるコンピュータを、
前記撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、
前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、
この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段と
して機能させることを特徴とする画像合成プログラム。
【請求項９】
撮像して複数のフレーム画像を順次取得する取得ステップと、
この撮像ステップにより取得されたフレーム画像のいずれかを選択する選択ステップと、
前記取得ステップにより取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成ステップと、
この第１の画像合成ステップにより生成された合成画像の対応する画像部分に、前記選択ステップより選択されたフレーム画像を上書き合成する第２の画像合成ステップと
を含むことを特徴とする画像合成方法。
【請求項１】
撮像して複数のフレーム画像を順次取得する取得手段と、
この撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、
前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、
この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記選択手段は、前記取得手段がフレーム画像を順次取得する際に、所定の操作に応答して操作タイミングに対応するフレーム画像を選択することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記所定の操作は、前記取得手段にフレーム画像の取得を開始させるための操作と同一の操作であることを特徴とする請求項２記載の画像合成装置。
【請求項４】
前記取得手段により取得された複数のフレーム画像を記憶する記憶手段を備え、
前記選択手段は、前記第１の画像合成手段により合成された合成画像において任意の画像部分を指定する指定手段を備え、この指定手段により指定された画像部分を含むフレーム画像を前記記憶手段から選択することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記第１の画像合成手段は、
前記取得手段により順次取得された各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項１から４にいずれか記載の画像合成装置。
【請求項６】
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項５記載の画像合成装置。
【請求項７】
前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする請求項５記載の画像合成装置。
【請求項８】
撮像して複数のフレーム画像を順次取得する取得手段を有する画像合成装置が備えるコンピュータを、
前記撮像手段により取得されたフレーム画像のいずれかを選択する選択手段と、
前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、
この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段と
して機能させることを特徴とする画像合成プログラム。
【請求項９】
撮像して複数のフレーム画像を順次取得する取得ステップと、
この撮像ステップにより取得されたフレーム画像のいずれかを選択する選択ステップと、
前記取得ステップにより取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成ステップと、
この第１の画像合成ステップにより生成された合成画像の対応する画像部分に、前記選択ステップより選択されたフレーム画像を上書き合成する第２の画像合成ステップと
を含むことを特徴とする画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−１７６４３０（Ｐ２００８−１７６４３０Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−７５４３（Ｐ２００７−７５４３）
【出願日】平成１９年１月１７日（２００７．１．１７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１月１７日（２００７．１．１７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]