撮像装置
【課題】 ユーザーの趣向に合致する好ましい状態のパノラマ画像を生成できる手段を提供する。
【解決手段】 撮像部と、第１操作部と、制御部と、画像処理部とを備える。撮像部は、各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する。第１操作部は、ユーザーからの操作を受け付ける。制御部は、第１画像および第２画像での被写体像の重複範囲について、パノラマ合成処理での優先順位を操作に応じて決定する。画像処理部は、第１画像の重複範囲および第２画像の重複範囲のうちから、優先順位の低い方を削除する。
【解決手段】 撮像部と、第１操作部と、制御部と、画像処理部とを備える。撮像部は、各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する。第１操作部は、ユーザーからの操作を受け付ける。制御部は、第１画像および第２画像での被写体像の重複範囲について、パノラマ合成処理での優先順位を操作に応じて決定する。画像処理部は、第１画像の重複範囲および第２画像の重複範囲のうちから、優先順位の低い方を削除する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ画像の撮像補助機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来から、複数の画像で被写体を分割して撮像するとともに、これらの画像を合成してつなぎ合わせることで１つの連続したパノラマ画像を作成する手法が公知である。例えば、特許文献１には、上記のパノラマ画像の作成を容易にするカメラの一例が開示されている。
【特許文献１】特開２００５−２２３９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記のパノラマ画像を生成するときには、２つの画像をつなぎ合わせるために重複範囲を設けて各々の画像が撮像される。このとき、２つの画像の重複範囲で被写体の状態に差があるときには、より好ましい状態の画像を選択してパノラマ画像に反映させることがユーザーから要望されている。
【０００４】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、ユーザーの趣向に合致する好ましい状態のパノラマ画像を生成できる手段を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明の撮像装置は、撮像部と、第１操作部と、制御部と、画像処理部とを備える。撮像部は、各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する。第１操作部は、ユーザーからの操作を受け付ける。制御部は、第１画像および第２画像での被写体像の重複範囲について、パノラマ合成処理での優先順位を操作に応じて決定する。画像処理部は、第１画像の重複範囲および第２画像の重複範囲のうちから、優先順位の低い方を削除する。
【０００６】
第２の発明の撮像装置は、撮像部と、第１操作部と、制御部と、メタデータ生成部とを備える。撮像部は、各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する。第１操作部は、ユーザーからの操作を受け付ける。制御部は、第１画像および第２画像での被写体像の重複範囲について、パノラマ合成処理での優先順位を操作に応じて決定する。メタデータ生成部は、第１画像および第２画像の少なくとも一方のデータに、重複範囲の位置を示す第１メタデータと、優先順位に関する第２メタデータとを関連付けて記録する。
【０００７】
第３の発明は、第１または第２の発明において、撮像部によって撮像されたスルー画像を動画表示するモニタを撮像装置がさらに備える。また、制御部は、第１画像の重複範囲に基づいてガイド画像を生成するとともに、第２画像の構図決定動作時に、モニタ上のスルー画像にガイド画像を重畳させる。
【０００８】
第４の発明は、第３の発明において、第１画像に対するガイド画像の割合を変更するためのユーザーの第１変更操作を受け付ける第２操作部を撮像装置がさらに備える。また、制御部は、第１変更操作に基づいて重複範囲を変更する。
【０００９】
第５の発明は、第１または第２の発明において、重複範囲の変更に関する第２変更操作をユーザーから受け付ける第３操作部を撮像装置がさらに備える。また、制御部は、第２変更操作に基づいて重複範囲の輪郭を変更する。
【００１０】
第６の発明は、第１または第２の発明において、制御部は、第１画像の撮像後でかつ第２画像の構図決定動作時に、優先順位を決定する処理を実行する。
【００１１】
第７の発明は、第１または第２の発明において、制御部は、第１画像および第２画像の撮像後に、優先順位を決定する処理を実行する。
【発明の効果】
【００１２】
本発明では、ユーザーの操作で決定された優先順位に基づいて、第１画像または第２画像からの重複範囲の削除や、画像の重複範囲および優先順位を示すメタデータの記録が行われる。これにより、第１画像および第２画像から生成したパノラマ画像では、優先順位の高い重複画像が使用されて被写体が好ましい状態で表現される。
【発明を実施するための最良の形態】
【００１３】
（第１実施形態の説明）
図１は、第１実施形態の電子カメラの構成を示すブロック図である。本実施形態の電子カメラは、撮影モードの１機能として、パノラマ画像の生成を補助するためのパノラマアシストモードを有している。ここで、パノラマ画像は、所定方向に被写体を分割撮像した複数の画像をつなぎ合わせて、１つの連続した画像としたものをいう。
【００１４】
本実施形態の電子カメラは、撮像光学系１１と、撮像素子１２と、ＡＦＥ１３と、画像処理部１４と、バッファメモリ１５と、記録Ｉ／Ｆ１６と、モニタ１７と、操作部材１８と、レリーズ釦１９と、タッチパネル２０と、ＣＰＵ２１およびバス２２とを有している。ここで、画像処理部１４、バッファメモリ１５、記録Ｉ／Ｆ１６、モニタ１７およびＣＰＵ２１は、バス２２を介してそれぞれ接続されている。また、操作部材１８、レリーズ釦１９およびタッチパネル２０は、それぞれＣＰＵ２１に接続されている。
【００１５】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００１６】
撮像素子１２は、撮像光学系１１の像空間側に配置されている。撮像素子１２の受光面には受光素子が２次元配列されている。撮像素子１２は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１２の出力はＡＦＥ１３に接続されている。
【００１７】
ここで、電子カメラの撮影モードにおいて、撮像素子１２はレリーズ釦１９の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定間隔毎にスルー画像を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１７での画像表示や、ＣＰＵ２１による各種の演算処理などに使用される。
【００１８】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１３の出力は画像処理部１４に接続されている。
【００１９】
画像処理部１４は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１４は、上記のパノラマアシストモードにおいて、（１）構図決定用のガイド画像の生成処理、（２）本画像のトリミング処理、（３）パノラマ画像を生成するための画像合成処理（パノラマ合成処理）などを実行する。
【００２０】
バッファメモリ１５は、画像処理部１４による画像処理の前工程や後工程で画像のデータを一時的に記憶する。
【００２１】
記録Ｉ／Ｆ１６には、記憶媒体２３を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１６は、コネクタに接続された記憶媒体２３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２３の一例としてメモリカードを図示する。
【００２２】
モニタ１７は、ＣＰＵ２１の指示に応じて各種画像を表示する。なお、本実施形態の例では、液晶パネルで構成されたモニタ１７が筐体背面に配置される。
【００２３】
撮影モードでの撮影待機時において、モニタ１７にはＣＰＵ２１の制御によりスルー画像が動画表示される。このとき、ＣＰＵ２１は、撮影に必要となる各種情報をモニタ１７上のスルー画像に重畳表示させることもできる。また、ＣＰＵ２１は、各種の設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式のボタンをモニタ１７上に表示させることもできる。なお、パノラマアシストモードでは、１フレーム目の本画像の撮像後において、ＣＰＵ２１がモニタ１７のスルー画像にガイド画像を重畳表示させる（ガイド画像の表示については後述する）。
【００２４】
操作部材１８は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材１８は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材１８は、電子カメラの動作モードの切替操作や、後述の設定画面での入力操作などに用いられる。
【００２５】
レリーズ釦１９は、半押し操作による撮像前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。
【００２６】
タッチパネル２０は、パネル表面に接触したスタイラス（または指先など）の位置を検出する。そして、タッチパネル２０は、検出した位置情報をＣＰＵ２１に出力することでユーザーからの入力を受け付ける。なお、タッチパネル２０の構成は、静電容量式または感圧式のいずれでもよい。
【００２７】
ここで、本実施形態のタッチパネル２０は、モニタ１７と同形状の透明のパネルで構成されている。そして、タッチパネル２０は、モニタ１７の表面全体に積層配置されている。したがって、ユーザーはモニタ１７の表示画像を視認しつつ、上記の表示画像の座標をタッチパネル２０を介してＣＰＵ２１に指定入力できる。
【００２８】
ＣＰＵ２１は、電子カメラの動作を統括的に制御するプロセッサである。このＣＰＵ２１は、スルー画像のデータに基づいて、コントラスト検出方式による公知のＡＦ制御や、自動露出（ＡＥ）演算、オートホワイトバランス演算などを実行する。さらに、ＣＰＵ２１は、パノラマアシストモードでの各種の演算処理を実行する。
【００２９】
また、本実施形態でのＣＰＵ２１は、不図示のＲＯＭに格納されたプログラムの実行により、顔検出部２４およびメタデータ生成部２５として機能する。
【００３０】
顔検出部２４は、スルー画像のデータに顔検出処理を施して、スルー画像に含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部２４は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔検出部２４は、予め用意された参照データ（顔画像など）と判定対象のスルー画像との相関係数を求め、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。
【００３１】
メタデータ生成部２５は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠して、画像ファイルのヘッダ領域に記憶されるメタデータを生成する。また、メタデータ生成部２５は、パノラマアシストモードにおいて、２つの画像における被写体像の重複部分を示すメタデータを生成する。なお、メタデータ生成部２５は、Ｅｘｉｆ規格のＭａｋｅｒＮｏｔｅタグを利用して、上記のパノラマアシストモードでのメタデータを記録する。
【００３２】
次に、図２の流れ図を参照しつつ、第１実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する。ここで、第１実施形態では、２フレーム分の本画像からパノラマ画像を生成する例を説明する。
【００３３】
ステップ１０１：ＣＰＵ２１は、ユーザーの操作に応じて、パノラマアシストモードの設定画面を立ち上げる。なお、設定画面での表示処理などはいずれもＣＰＵ２１が実行する。
【００３４】
この設定画面では、パノラマアシストモードでの撮像後の処理をユーザーがＣＰＵ２１に指示できる。より具体的には、ユーザーは、（１）本画像のトリミング処理、（２）重複範囲を示すメタデータの生成、のいずれかの項目を選択してＣＰＵ２１に入力できる。また、上記の設定画面では、電子カメラ上でのパノラマ合成処理のオン／オフをＣＰＵ２１に対して指示することもできる（なお、個々の設定項目における処理内容は後述する）。
【００３５】
なお、ユーザーが設定画面での設定変更を必要としない場合、ＣＰＵ２１は設定画面を立ち上げを省略してＳ１０２に移行してもよい。
【００３６】
ステップ１０２：ＣＰＵ２１は、撮像素子１２を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２１は、スルー画像をモニタ１７に動画表示する。したがって、ユーザーはモニタ１７のスルー画像によって撮影構図を決定するためのフレーミングを行うことができる。
【００３７】
ここで、パノラマアシストモードでのＣＰＵ２１は、１フレーム目の本画像（第１画像）の撮像前に、２フレーム目の本画像（第２画像）をつなげる方向（パノラマ方向）を示すマークをスルー画像に重畳表示する（図３参照）。そして、ＣＰＵ２１は、操作部材１８またはタッチパネル２０からのユーザーの入力に応じて、上記のパノラマ方向を変更することができる。このとき、ユーザーは上下左右の４方向から任意にパノラマ方向を選択できる。また、パノラマ方向の変更画面の例を図４に示す。なお、本実施形態では、パノラマ方向が右方向に設定された状態を前提として以下の説明を行う。
【００３８】
ステップ１０３：ＣＰＵ２１は、スルー画像に対して顔検出処理を実行し、撮影画面内に含まれる人物の顔領域を検出する。ここで、Ｓ１０３で顔領域を検出した場合には、ＣＰＵ２１は、顔領域の検出を示すフラグ（顔検出フラグ）をオンに設定するとともに、顔領域の検出位置を示す顔位置データをワークメモリ（不図示）などに一時的に記録する。そして、ＣＰＵ２１は、検出できた顔領域の位置をモニタ１７に表示する。一例として、ＣＰＵ２１は、スルー画像内で検出できた顔領域の位置にそれぞれ矩形の枠を重畳表示する（図３参照）。なお、ＣＰＵ２１は、所定間隔ごとに上記の顔検出処理を実行する。そのため、顔検出フラグおよび顔位置データは、ＣＰＵ２１によって逐次更新されることとなる。
【００３９】
ステップ１０４：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０５に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００４０】
ステップ１０５：ＣＰＵ２１は、撮像素子１２を駆動させて第１画像を撮像する。その後、画像処理部１４によって第１画像のデータが生成される。
【００４１】
ステップ１０６：ＣＰＵ２１は、第１画像のデータを記憶媒体２３に記録する。
【００４２】
ステップ１０７：ＣＰＵ２１は、第１画像の撮像直前に顔検出フラグ（Ｓ１０３）がオンであったか否かを判定する。顔検出フラグがオンの場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０８に移行する。一方、顔検出フラグがオフの場合（ＮＯ側）には、ＣＰＵ２１はＳ１１０に移行する。
【００４３】
ステップ１０８：ＣＰＵ２１は、第１画像における顔領域の位置が第２画像との接続側（パノラマ方向）からみて所定範囲内にあるか否かを判定する。一例として、Ｓ１０８でのＣＰＵ２１は、第１画像の撮像直前の顔位置データ（Ｓ１０３）に基づいて、検出した顔領域の位置が、画面右端から画面中央までの範囲（すなわち、第１画像の右半分）にあるか否かを判定する。
【００４４】
上記の要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０９に移行する。一方、上記の要件を満たさない場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１０に移行する。
【００４５】
ステップ１０９：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。具体的には、以下の（１）および（２）の手順で、上記のガイド画像が生成される。なお、ＣＰＵ２１はＳ１０９での処理後にＳ１１１に移行する。
【００４６】
（１）第１に、ＣＰＵ２１は、顔領域の位置に基づいて、画像間で被写体像を重複させる範囲（重複範囲）を決定する。このとき、ＣＰＵ２１は、第１画像のパノラマ方向の端部を基準として、第１画像の顔領域がすべて収まるように上記の重複範囲の大きさを設定する。なお、図５は、図３に対応するシーンでの第１画像の重複範囲を示す図である。
【００４７】
（２）次に、画像処理部１４は、第１画像のデータから上記（１）の重複範囲の対応部分を切り出す。そして、画像処理部１４は、切り出した重複範囲の画像をモニタ１７の解像度に合わせて解像度変換し、ガイド画像を生成する。
【００４８】
ステップ１１０：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。
【００４９】
このＳ１１０の場合には、ＣＰＵ２１は、第１画像のパノラマ方向の端部からデフォルトの領域（例えば、画面の約１／３までの範囲）を上記の重複範囲とする。そして、画像処理部１４は、Ｓ１０９の（２）と同様の工程でガイド画像を生成する。
【００５０】
ステップ１１１：ＣＰＵ２１は、半透過状態のガイド画像をスルー画像上に重畳表示させる（図６参照）。また、このＳ１１１の段階では、ガイド画像で示された上記の重複範囲をユーザーは所定の操作で変更することができる。一方、上記の重複範囲を変更しない場合には、ユーザーは操作部材１８の決定釦を押圧する。
【００５１】
ステップ１１２：ＣＰＵ２１は、操作部材１８の決定釦が押圧されたか否かを判定する。決定釦が押圧された場合（ＹＥＳ側）には、ＣＰＵ２１は重複範囲を確定するとともに、モニタ１７上のガイド画像をロックする。その後、ＣＰＵ２１はＳ１１５に移行する。この状態において、スルー画像の被写体がガイド画像に重なるようにフレーミングを行うことで、ユーザーは第２画像の適正な構図を容易に決定できるようになる。一方、決定釦の押圧がない場合（ＮＯ側）には、ＣＰＵ２１はＳ１１３に移行する。
【００５２】
ステップ１１３：ＣＰＵ２１は、ガイド画像の変更操作を受け付けたか否かを判定する。上記の変更操作を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１４に移行する。一方、上記の変更操作がない場合（ＮＯ側）には、ＣＰＵ２１はＳ１１２に戻って上記動作を繰り返す。
【００５３】
ステップ１１４：ＣＰＵ２１は、ユーザーの変更操作に応じて、ガイド画像および重複範囲を再設定する。その後、ＣＰＵ２１は、Ｓ１１１に戻って上記動作を繰り返す。
【００５４】
一例として、Ｓ１１４でのＣＰＵ２１は、第１画像の再生画像をモニタ１７に表示するとともに、再生画像に対するガイド画像の割合を変更する操作をユーザーから受け付ける。そして、ＣＰＵ２１は、操作部材１８またはタッチパネル２０で範囲指定がなされると、その指定範囲を新たな重複範囲に設定する。そして、画像処理部１４は、新たな重複範囲に基づいて、第１画像のデータからガイド画像を再び生成する。
【００５５】
また、Ｓ１１４でのＣＰＵ２１は、ユーザーのタッチパネル２０の操作に応じて、ガイド画像のおよび重複範囲の輪郭形状を変更することもできる。例えば、ＣＰＵ２１は、ガイド画像および重複範囲の輪郭を、第１画像または第２画像に向けて突出した凹凸形状にすることができる。
【００５６】
ここで、重複範囲の輪郭形状を変更した場合の一例を図７に示す。この図７の例は、第１画像に含まれていない被写体（鳥）をパノラマ画像に収めるために、第１画像の重複範囲を一部切り欠くように重複範囲の輪郭形状を変更したケースである。このように、重複範囲の輪郭形状の変更により、ユーザーは重複範囲において第２画像の被写体を優先的にパノラマ画像に含めることが可能となる。なお、この場合においても、画像処理部１４は、変更後の重複範囲に基づいて、第１画像のデータからガイド画像を再び生成することとなる。
【００５７】
ステップ１１５：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１６に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００５８】
ステップ１１６：ＣＰＵ２１は、撮像素子１２を駆動させて、第１画像と同じホワイトバランスおよび露出条件で第２画像を撮像する。その後、画像処理部１４によって第２画像のデータが生成される。
【００５９】
ステップ１１７：ＣＰＵ２１は、Ｓ１０１の設定画面で本画像のトリミング処理が指定されているか否かを判定する。本画像のトリミング処理が指定されている場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１８に移行する。一方、重複範囲を示すメタデータの生成が指定されている場合（ＮＯ側）には、ＣＰＵ２１はＳ１２２に移行する。
【００６０】
ステップ１１８：ＣＰＵ２１は、画像処理部１４に対して、第２画像のデータから不要部分の削除を指示する。そして、画像処理部１４は、第２画像に含まれる重複範囲のうちで、スティッチング部分を除いた領域を削除する。なお、スティッチング部分とは、パノラマ合成処理のときに２つの画像を合成するつなぎ目部分のことである。
【００６１】
ステップ１１９：ＣＰＵ２１は、不要部分を削除した後の第２画像のデータ（Ｓ１１８）を記憶媒体２３に記録する。
【００６２】
ステップ１２０：ＣＰＵ２１は、Ｓ１０１の設定画面でパノラマ合成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２１は一連の処理を終了する。なお、この場合には、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。
【００６３】
ステップ１２１：ＣＰＵ２１は、第１画像のデータ（Ｓ１０６）と、不要部分削除後の第２画像のデータ（Ｓ１１８）とを記憶媒体２３から読み出す。そして、ＣＰＵ２１は、画像処理部１４に公知のパノラマ合成処理を実行させる。これにより、第１画像および第２画像からパノラマ画像が生成される。なお、第１実施形態で生成されるパノラマ画像の一例を図８に示す。その後、ＣＰＵ２１はパノラマ画像を記憶媒体２３に記録して一連の処理を終了する。
【００６４】
ステップ１２２：ＣＰＵ２１は、被写体像の重複範囲と、第２画像のスティッチング部分の位置とを示すメタデータを生成する。そして、ＣＰＵ２１は、上記のメタデータを、第２画像のデータと対応付けた状態で記憶媒体２３に記録し、一連の処理を終了する。
【００６５】
なお、Ｓ１２２の場合においても、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。このとき、パノラマ合成処理を実行するコンピュータは、第２画像で削除すべき領域や、スティッチング部分を、上記のメタデータに基づいて特定することができる。
【００６６】
以下、第１実施形態の電子カメラの作用効果を述べる。
【００６７】
第１実施形態の電子カメラでは、パノラマ撮影において第１画像と第２画像との接続部分近傍に人物が位置する場合には、顔領域を含めるように重複範囲の設定を行う。そして、電子カメラは、第２画像のデータから重複範囲をほとんど削除してパノラマ合成処理用の画像を生成する。すなわち、パノラマ合成時に第１画像と第２画像とで人物の顔が重なり合わないので、パノラマ画像において多重露光のような顔のズレが生じることはない。したがって、第１画像と第２画像との撮像時に人物の表情や顔の位置が変化した場合にも人物が好ましい状態で撮影されたパノラマ画像を生成でき、パノラマ撮影の実用性が大きく向上する。なお、被写体像の重複範囲とスティッチング部分の位置とを示すメタデータを生成した場合にも、電子カメラは上記とほぼ同様の効果を得ることができる。
【００６８】
また、第１実施形態の電子カメラでは、重複範囲に対応するガイド画像がスルー画像に重畳表示されるので、第２画像の構図決定が非常に容易となる。さらに、ユーザーはガイド画像および重複範囲の変更を自由に行うことができるので、ユーザーの意図に則したパノラマ画像を得ることが容易となる。
【００６９】
（第２実施形態の説明）
図９は、第２実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図である。ここで、図９のＳ２０１，Ｓ２０２は、図２のＳ１０１，Ｓ１０２にそれぞれ対応するので、これらのステップに関する重複説明は省略する。また、第２実施形態の電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。
【００７０】
ステップ２０３：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２０４に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００７１】
ステップ２０４：ＣＰＵ２１は、撮像素子１２を駆動させて第１画像を撮像する。その後、画像処理部１４によって第１画像のデータが生成される。
【００７２】
ステップ２０５：ＣＰＵ２１は、第１画像のデータを記憶媒体２３に記録する。
【００７３】
ステップ２０６：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。
【００７４】
このＳ２０６の場合には、ＣＰＵ２１は、第１画像のパノラマ方向の端部からデフォルトの領域（例えば、画面の約１／３の範囲）を上記の重複範囲とする。そして、画像処理部１４は、第１実施形態におけるＳ１０９の（２）と同様の工程でガイド画像を生成する。
【００７５】
ステップ２０７：ＣＰＵ２１は、半透過状態のガイド画像をスルー画像上に重畳表示させる。なお、Ｓ２０７は上記のＳ１１１に対応するので重複説明を省略する。
【００７６】
ステップ２０８：ＣＰＵ２１は、操作部材１８の決定釦が押圧されたか否かを判定する。決定釦が押圧された場合（ＹＥＳ側）には、ＣＰＵ２１は重複範囲を確定するとともに、モニタ１７上のガイド画像をロックする。その後、ＣＰＵ２１はＳ２１１に移行する。一方、決定釦の押圧がない場合（ＮＯ側）には、ＣＰＵ２１はＳ２０９に移行する。
【００７７】
ステップ２０９：ＣＰＵ２１は、ガイド画像の変更操作を受け付けたか否かを判定する。上記の変更操作を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１０に移行する。一方、上記の変更操作がない場合（ＮＯ側）には、ＣＰＵ２１はＳ２０８に戻って上記動作を繰り返す。
【００７８】
ステップ２１０：ＣＰＵ２１は、ユーザーの変更操作に応じて、ガイド画像とともに重複範囲を再設定する。その後、ＣＰＵ２１は、Ｓ２０７に戻って上記動作を繰り返す。なお、Ｓ２１０は上記のＳ１１４に対応するので重複説明を省略する。
【００７９】
ステップ２１１：ＣＰＵ２１は、第１画像および第２画像の重複範囲につき、パノラマ合成処理でいずれを優先するのかをユーザーの操作に応じて決定する。
【００８０】
具体的には、Ｓ２１１でのＣＰＵ２１は、第１画像または第２画像の重複範囲を択一的に選択させる選択入力部をＧＵＩ形式でモニタ１７に重畳表示する（図１０参照）。ユーザーは、操作部材１８またはタッチパネル２０の操作で上記の選択入力部の項目を選択してＣＰＵ２１に入力を行う。そして、ＣＰＵ２１は、選択入力部で選択された画像の優先順位を高く設定する。なお、ＣＰＵ２１は、初期状態において第１画像の重複範囲の優先順位を高く設定している。
【００８１】
このとき、ユーザーの画像選択を容易にするために、ＣＰＵ２１は、第１画像の重複範囲と第２画像の重複範囲となる箇所とを対比可能にモニタ１７に表示してもよい。例えば、ＣＰＵ２１は、ユーザーの操作に応じて、ガイド画像が重畳されていない状態のスルー画像と、第１画像の再生画像とを交互に切替表示するようにしてもよい。このとき、ＣＰＵ２１は、重複範囲をより比較しやすくするために重複範囲の箇所を枠表示してもよい（なお、この表示状態の図示は省略する）。
【００８２】
ステップ２１２：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１３に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００８３】
ステップ２１３：ＣＰＵ２１は、撮像素子１２を駆動させて、第１画像と同じホワイトバランスおよび露出条件で第２画像を撮像する。その後、画像処理部１４によって第２画像のデータが生成される。
【００８４】
ステップ２１４：ＣＰＵ２１は、第２画像のデータを記憶媒体２３に記録する。
【００８５】
ステップ２１５：ＣＰＵ２１は、Ｓ２０１の設定画面で本画像のトリミング処理が指定されているか否かを判定する。本画像のトリミング処理が指定されている場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１６に移行する。一方、重複範囲を示すメタデータの生成が指定されている場合（ＮＯ側）には、ＣＰＵ２１はＳ２１９に移行する。
【００８６】
ステップ２１６：ＣＰＵ２１は、Ｓ２１１での優先順位の低い方の画像のデータを、不要部分の削除対象に指定する。そして、画像処理部１４は、処理対象となった画像のデータから不要部分を削除する。
【００８７】
例えば、Ｓ２１１で第１画像の優先順位が高く設定された場合、Ｓ２１６でのＣＰＵ２１は、第２画像のデータを処理対象に選択する。そして、画像処理部１４は、第２画像に含まれる重複範囲のうちで、スティッチング部分を除いた部分を削除する。同様に、Ｓ２１１で第２画像の優先順位が高く設定された場合、Ｓ２１６でのＣＰＵ２１は、第１画像のデータを処理対象に選択する。そして、画像処理部１４は、第１画像に含まれる重複範囲のうちで、スティッチング部分を除いた部分を削除する。なお、不要部分を削除した後の画像のデータは、ＣＰＵ２１の制御によって記憶媒体２３に記録される。
【００８８】
なお、本実施形態では、第２画像の構図決定時に優先順位が決定されている（Ｓ２１１）。そのため、ＣＰＵ２１は、第２画像の優先順位が低い場合には、Ｓ２１３またはＳ２１４の段階で第２画像の重複部分を予め削除して記憶媒体２３に記録しておくこともできる。
【００８９】
ステップ２１７：ＣＰＵ２１は、Ｓ２０１の設定画面でパノラマ合成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１８に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２１は一連の処理を終了する。なお、この場合には、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。
【００９０】
ステップ２１８：ＣＰＵ２１は、第１画像のデータと、第２画像のデータとを記憶媒体２３から読み出す。なお、上記の画像のデータのうちで、Ｓ２１１での優先順位が低い方の画像のデータは不要部分が削除された状態にある。そして、ＣＰＵ２１は、画像処理部１４に公知のパノラマ合成処理を実行させる。これにより、第１画像および第２画像からパノラマ画像が生成される。その後、ＣＰＵ２１はパノラマ画像を記憶媒体２３に記録して一連の処理を終了する。
【００９１】
ステップ２１９：ＣＰＵ２１は、被写体像の重複範囲と優先順位の低い画像のスティッチング部分の位置とを示す第１メタデータと、Ｓ２１１で設定された優先順位を示す第２メタデータとを生成する。そして、ＣＰＵ２１は、上記の第１メタデータおよび第２メタデータを、第１画像のデータまたは第２画像のデータのいずれかに対応付けた状態で記憶媒体２３に記録し、一連の処理を終了する。
【００９２】
なお、Ｓ２１９の場合においても、コンピュータ等による後処理工程でパノラマ合成処理を実行すれば、ユーザーはパノラマ画像を容易に取得できる。このとき、パノラマ合成処理を実行するコンピュータは、第１メタデータおよび第２メタデータに基づいて、第１画像または第２画像の削除箇所やスティッチング部分を特定することができる。
【００９３】
以下、第２実施形態の電子カメラの作用効果を述べる。
【００９４】
第２実施形態の電子カメラでは、パノラマ撮影において第１画像と第２画像との重複範囲について、ユーザーにいずれの画像を優先するか選択させる。そして、電子カメラは、優先順位が低く設定された画像のデータから重複範囲をほとんど削除してパノラマ合成処理用の画像を生成する。したがって、ユーザーは、画像の重複範囲について好ましい状態の画像を選択してパノラマ画像を生成できるので、パノラマ撮影の実用性が大きく向上する。なお、第１メタデータおよび第２メタデータを生成した場合にも、電子カメラは上記とほぼ同様の効果を得ることができる。
【００９５】
また、第２実施形態の電子カメラにおいても、重複範囲に対応するガイド画像がスルー画像に重畳表示されるので、第２画像の構図決定が非常に容易となる。さらに、ユーザーはガイド画像および重複範囲の変更を自由に行うことができるので、ユーザーの意図に則したパノラマ画像を得ることが容易となる。
【００９６】
（実施形態の補足事項）
（１）上記の各実施形態では、パノラマアシストモードで２フレーム分の画像を撮像する場合を前提に説明したが、本発明はかかる場合に限定されることはない。例えば、パノラマアシストモードで３フレーム分の画像を連続して撮像する状況において、第２フレームおよび第３フレームの場合にも当然に本発明を応用できる。
【００９７】
（２）第２実施形態では、第１画像の撮像後でかつ第２画像の構図決定動作時において、第１画像と第２画像との重複範囲の優先順位をＣＰＵ２１が決定する例を説明した。しかし、本発明では、第１画像および第２画像の撮像後の段階で、ユーザーからの優先順位の入力操作に基づいて、ＣＰＵ２１が上記の優先順位を決定するように変更してもよい。この場合において、ＣＰＵ２１は、第１画像の重複範囲および第２画像の重複範囲にそれぞれ対応する画像をモニタ１７に並べて表示し、ユーザーの画像選択を容易にしてもよい。例えば、図１１に上記の場合のモニタ１７の表示状態の一例を図示する。かかる構成の場合にも、上記の第２実施形態とほぼ同様の効果を得ることができる。
【００９８】
（３）第１実施形態の電子カメラにおいて、人物の顔以外を注目被写体として上記の重複範囲を決定するようにしてもよい。例えば、ＣＰＵ２１は、任意の注目被写体（動物、建築物、乗物など）の特徴を記憶した参照データに基づいてパターンマッチング処理を実行し、この注目被写体の位置に基づいて重複範囲を設定することも可能である。
【００９９】
（４）第２実施形態の電子カメラでもスルー画像で顔検出処理を実行し、検出した顔領域の位置に基づいて上記の重複範囲を決定するようにしてもよい。
【０１００】
（５）第１実施形態では、第２画像のデータから不要部分を削除する例と、第２画像のデータにメタデータを対応付けた例とを説明した。しかし、第１実施形態の変形例として、画像処理部１４は第１画像のデータから不要部分を削除するようにしてもよい。同様に第１実施形態の変形例として、ＣＰＵ２１は、第１画像のデータにメタデータを対応付けて記録してもよい。
【０１０１】
（６）図２のステップ１０９において、ＣＰＵ２１は第１画像の顔領域が全て収まるように重複範囲の大きさを設定したが、その人物の体が全て収まるように重複範囲の大きさを設定してもよい。
【０１０２】
例えば、人物の体は顔の幅の約３倍であることに基づいて、人物の体が全て収まるように重複範囲の大きさが設定されてもよい。
【０１０３】
その具体例を図１２を用いて説明する。ＣＰＵ２１は、第１画像の顔領域の情報から顔の幅を判定する。次にＣＰＵ２１は、第１画像のパノラマ方向の端部と反対側の顔領域の端部（図１２の例では人物の顔の図中の左側端部）を特定する。そしてＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部と離れた位置を含むように重複範囲を設定する。
【０１０４】
（７）図２のステップ１０９において、ＣＰＵ２１は重複範囲の大きさを顔領域が全て収まるように設定したが、逆に顔領域が全く収まらないように設定してもよい。
【０１０５】
例えば、ＣＰＵ２１は次の処理を行えばよい。ＣＰＵ２１は、第１画像の顔領域の情報から顔の幅を判定する。次にＣＰＵ２１は、第１画像のパノラマ方向の端部と同じ側の顔領域の端部（図１３の例では人物の顔の図中の右側端部）を特定する。
【０１０６】
そしてＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部側に離れた位置が、パノラマ方向の端部を越えていなければ、その位置からパノラマ方向端部側を重複領域に設定する。また、ＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部側に離れた位置が、パノラマ方向の端部を越えていれば、第１実施形態のステップ１０９または上述の（６）の処理を実行することにすればよい。
【０１０７】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【０１０８】
【図１】第１実施形態の電子カメラの構成を示すブロック図
【図２】第１実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図
【図３】第１画像撮像前のスルー画像の表示例を示す図
【図４】パノラマ方向の変更画面の例を示す図
【図５】図３に対応するシーンでの第１画像の重複範囲を示す図
【図６】ガイド画像をスルー画像上に重畳表示させた状態を示す図
【図７】重複範囲の輪郭形状を変更した場合の一例を示す図
【図８】第１実施形態でのパノラマ画像の一例を示す図
【図９】第２実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図
【図１０】第２実施形態のＳ２１１におけるモニタの表示例を示す図
【図１１】第１画像と第２画像の撮像後に重複範囲の優先順位を決める場合のモニタの表示例を示す図
【図１２】重複領域の設定に関する変形例を説明する図
【図１３】重複領域の設定に関する変形例を説明する図
【符号の説明】
【０１０９】
１２…撮像素子、１４…画像処理部、１７…モニタ、１８…操作部材、２０…タッチパネル、２１…ＣＰＵ、２４…顔検出部、２５…メタデータ生成部
【技術分野】
【０００１】
本発明は、パノラマ画像の撮像補助機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来から、複数の画像で被写体を分割して撮像するとともに、これらの画像を合成してつなぎ合わせることで１つの連続したパノラマ画像を作成する手法が公知である。例えば、特許文献１には、上記のパノラマ画像の作成を容易にするカメラの一例が開示されている。
【特許文献１】特開２００５−２２３９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記のパノラマ画像を生成するときには、２つの画像をつなぎ合わせるために重複範囲を設けて各々の画像が撮像される。このとき、２つの画像の重複範囲で被写体の状態に差があるときには、より好ましい状態の画像を選択してパノラマ画像に反映させることがユーザーから要望されている。
【０００４】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、ユーザーの趣向に合致する好ましい状態のパノラマ画像を生成できる手段を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明の撮像装置は、撮像部と、第１操作部と、制御部と、画像処理部とを備える。撮像部は、各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する。第１操作部は、ユーザーからの操作を受け付ける。制御部は、第１画像および第２画像での被写体像の重複範囲について、パノラマ合成処理での優先順位を操作に応じて決定する。画像処理部は、第１画像の重複範囲および第２画像の重複範囲のうちから、優先順位の低い方を削除する。
【０００６】
第２の発明の撮像装置は、撮像部と、第１操作部と、制御部と、メタデータ生成部とを備える。撮像部は、各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する。第１操作部は、ユーザーからの操作を受け付ける。制御部は、第１画像および第２画像での被写体像の重複範囲について、パノラマ合成処理での優先順位を操作に応じて決定する。メタデータ生成部は、第１画像および第２画像の少なくとも一方のデータに、重複範囲の位置を示す第１メタデータと、優先順位に関する第２メタデータとを関連付けて記録する。
【０００７】
第３の発明は、第１または第２の発明において、撮像部によって撮像されたスルー画像を動画表示するモニタを撮像装置がさらに備える。また、制御部は、第１画像の重複範囲に基づいてガイド画像を生成するとともに、第２画像の構図決定動作時に、モニタ上のスルー画像にガイド画像を重畳させる。
【０００８】
第４の発明は、第３の発明において、第１画像に対するガイド画像の割合を変更するためのユーザーの第１変更操作を受け付ける第２操作部を撮像装置がさらに備える。また、制御部は、第１変更操作に基づいて重複範囲を変更する。
【０００９】
第５の発明は、第１または第２の発明において、重複範囲の変更に関する第２変更操作をユーザーから受け付ける第３操作部を撮像装置がさらに備える。また、制御部は、第２変更操作に基づいて重複範囲の輪郭を変更する。
【００１０】
第６の発明は、第１または第２の発明において、制御部は、第１画像の撮像後でかつ第２画像の構図決定動作時に、優先順位を決定する処理を実行する。
【００１１】
第７の発明は、第１または第２の発明において、制御部は、第１画像および第２画像の撮像後に、優先順位を決定する処理を実行する。
【発明の効果】
【００１２】
本発明では、ユーザーの操作で決定された優先順位に基づいて、第１画像または第２画像からの重複範囲の削除や、画像の重複範囲および優先順位を示すメタデータの記録が行われる。これにより、第１画像および第２画像から生成したパノラマ画像では、優先順位の高い重複画像が使用されて被写体が好ましい状態で表現される。
【発明を実施するための最良の形態】
【００１３】
（第１実施形態の説明）
図１は、第１実施形態の電子カメラの構成を示すブロック図である。本実施形態の電子カメラは、撮影モードの１機能として、パノラマ画像の生成を補助するためのパノラマアシストモードを有している。ここで、パノラマ画像は、所定方向に被写体を分割撮像した複数の画像をつなぎ合わせて、１つの連続した画像としたものをいう。
【００１４】
本実施形態の電子カメラは、撮像光学系１１と、撮像素子１２と、ＡＦＥ１３と、画像処理部１４と、バッファメモリ１５と、記録Ｉ／Ｆ１６と、モニタ１７と、操作部材１８と、レリーズ釦１９と、タッチパネル２０と、ＣＰＵ２１およびバス２２とを有している。ここで、画像処理部１４、バッファメモリ１５、記録Ｉ／Ｆ１６、モニタ１７およびＣＰＵ２１は、バス２２を介してそれぞれ接続されている。また、操作部材１８、レリーズ釦１９およびタッチパネル２０は、それぞれＣＰＵ２１に接続されている。
【００１５】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００１６】
撮像素子１２は、撮像光学系１１の像空間側に配置されている。撮像素子１２の受光面には受光素子が２次元配列されている。撮像素子１２は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１２の出力はＡＦＥ１３に接続されている。
【００１７】
ここで、電子カメラの撮影モードにおいて、撮像素子１２はレリーズ釦１９の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定間隔毎にスルー画像を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１７での画像表示や、ＣＰＵ２１による各種の演算処理などに使用される。
【００１８】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１３の出力は画像処理部１４に接続されている。
【００１９】
画像処理部１４は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１４は、上記のパノラマアシストモードにおいて、（１）構図決定用のガイド画像の生成処理、（２）本画像のトリミング処理、（３）パノラマ画像を生成するための画像合成処理（パノラマ合成処理）などを実行する。
【００２０】
バッファメモリ１５は、画像処理部１４による画像処理の前工程や後工程で画像のデータを一時的に記憶する。
【００２１】
記録Ｉ／Ｆ１６には、記憶媒体２３を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１６は、コネクタに接続された記憶媒体２３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２３の一例としてメモリカードを図示する。
【００２２】
モニタ１７は、ＣＰＵ２１の指示に応じて各種画像を表示する。なお、本実施形態の例では、液晶パネルで構成されたモニタ１７が筐体背面に配置される。
【００２３】
撮影モードでの撮影待機時において、モニタ１７にはＣＰＵ２１の制御によりスルー画像が動画表示される。このとき、ＣＰＵ２１は、撮影に必要となる各種情報をモニタ１７上のスルー画像に重畳表示させることもできる。また、ＣＰＵ２１は、各種の設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式のボタンをモニタ１７上に表示させることもできる。なお、パノラマアシストモードでは、１フレーム目の本画像の撮像後において、ＣＰＵ２１がモニタ１７のスルー画像にガイド画像を重畳表示させる（ガイド画像の表示については後述する）。
【００２４】
操作部材１８は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材１８は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材１８は、電子カメラの動作モードの切替操作や、後述の設定画面での入力操作などに用いられる。
【００２５】
レリーズ釦１９は、半押し操作による撮像前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。
【００２６】
タッチパネル２０は、パネル表面に接触したスタイラス（または指先など）の位置を検出する。そして、タッチパネル２０は、検出した位置情報をＣＰＵ２１に出力することでユーザーからの入力を受け付ける。なお、タッチパネル２０の構成は、静電容量式または感圧式のいずれでもよい。
【００２７】
ここで、本実施形態のタッチパネル２０は、モニタ１７と同形状の透明のパネルで構成されている。そして、タッチパネル２０は、モニタ１７の表面全体に積層配置されている。したがって、ユーザーはモニタ１７の表示画像を視認しつつ、上記の表示画像の座標をタッチパネル２０を介してＣＰＵ２１に指定入力できる。
【００２８】
ＣＰＵ２１は、電子カメラの動作を統括的に制御するプロセッサである。このＣＰＵ２１は、スルー画像のデータに基づいて、コントラスト検出方式による公知のＡＦ制御や、自動露出（ＡＥ）演算、オートホワイトバランス演算などを実行する。さらに、ＣＰＵ２１は、パノラマアシストモードでの各種の演算処理を実行する。
【００２９】
また、本実施形態でのＣＰＵ２１は、不図示のＲＯＭに格納されたプログラムの実行により、顔検出部２４およびメタデータ生成部２５として機能する。
【００３０】
顔検出部２４は、スルー画像のデータに顔検出処理を施して、スルー画像に含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部２４は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔検出部２４は、予め用意された参照データ（顔画像など）と判定対象のスルー画像との相関係数を求め、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。
【００３１】
メタデータ生成部２５は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠して、画像ファイルのヘッダ領域に記憶されるメタデータを生成する。また、メタデータ生成部２５は、パノラマアシストモードにおいて、２つの画像における被写体像の重複部分を示すメタデータを生成する。なお、メタデータ生成部２５は、Ｅｘｉｆ規格のＭａｋｅｒＮｏｔｅタグを利用して、上記のパノラマアシストモードでのメタデータを記録する。
【００３２】
次に、図２の流れ図を参照しつつ、第１実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する。ここで、第１実施形態では、２フレーム分の本画像からパノラマ画像を生成する例を説明する。
【００３３】
ステップ１０１：ＣＰＵ２１は、ユーザーの操作に応じて、パノラマアシストモードの設定画面を立ち上げる。なお、設定画面での表示処理などはいずれもＣＰＵ２１が実行する。
【００３４】
この設定画面では、パノラマアシストモードでの撮像後の処理をユーザーがＣＰＵ２１に指示できる。より具体的には、ユーザーは、（１）本画像のトリミング処理、（２）重複範囲を示すメタデータの生成、のいずれかの項目を選択してＣＰＵ２１に入力できる。また、上記の設定画面では、電子カメラ上でのパノラマ合成処理のオン／オフをＣＰＵ２１に対して指示することもできる（なお、個々の設定項目における処理内容は後述する）。
【００３５】
なお、ユーザーが設定画面での設定変更を必要としない場合、ＣＰＵ２１は設定画面を立ち上げを省略してＳ１０２に移行してもよい。
【００３６】
ステップ１０２：ＣＰＵ２１は、撮像素子１２を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２１は、スルー画像をモニタ１７に動画表示する。したがって、ユーザーはモニタ１７のスルー画像によって撮影構図を決定するためのフレーミングを行うことができる。
【００３７】
ここで、パノラマアシストモードでのＣＰＵ２１は、１フレーム目の本画像（第１画像）の撮像前に、２フレーム目の本画像（第２画像）をつなげる方向（パノラマ方向）を示すマークをスルー画像に重畳表示する（図３参照）。そして、ＣＰＵ２１は、操作部材１８またはタッチパネル２０からのユーザーの入力に応じて、上記のパノラマ方向を変更することができる。このとき、ユーザーは上下左右の４方向から任意にパノラマ方向を選択できる。また、パノラマ方向の変更画面の例を図４に示す。なお、本実施形態では、パノラマ方向が右方向に設定された状態を前提として以下の説明を行う。
【００３８】
ステップ１０３：ＣＰＵ２１は、スルー画像に対して顔検出処理を実行し、撮影画面内に含まれる人物の顔領域を検出する。ここで、Ｓ１０３で顔領域を検出した場合には、ＣＰＵ２１は、顔領域の検出を示すフラグ（顔検出フラグ）をオンに設定するとともに、顔領域の検出位置を示す顔位置データをワークメモリ（不図示）などに一時的に記録する。そして、ＣＰＵ２１は、検出できた顔領域の位置をモニタ１７に表示する。一例として、ＣＰＵ２１は、スルー画像内で検出できた顔領域の位置にそれぞれ矩形の枠を重畳表示する（図３参照）。なお、ＣＰＵ２１は、所定間隔ごとに上記の顔検出処理を実行する。そのため、顔検出フラグおよび顔位置データは、ＣＰＵ２１によって逐次更新されることとなる。
【００３９】
ステップ１０４：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０５に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００４０】
ステップ１０５：ＣＰＵ２１は、撮像素子１２を駆動させて第１画像を撮像する。その後、画像処理部１４によって第１画像のデータが生成される。
【００４１】
ステップ１０６：ＣＰＵ２１は、第１画像のデータを記憶媒体２３に記録する。
【００４２】
ステップ１０７：ＣＰＵ２１は、第１画像の撮像直前に顔検出フラグ（Ｓ１０３）がオンであったか否かを判定する。顔検出フラグがオンの場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０８に移行する。一方、顔検出フラグがオフの場合（ＮＯ側）には、ＣＰＵ２１はＳ１１０に移行する。
【００４３】
ステップ１０８：ＣＰＵ２１は、第１画像における顔領域の位置が第２画像との接続側（パノラマ方向）からみて所定範囲内にあるか否かを判定する。一例として、Ｓ１０８でのＣＰＵ２１は、第１画像の撮像直前の顔位置データ（Ｓ１０３）に基づいて、検出した顔領域の位置が、画面右端から画面中央までの範囲（すなわち、第１画像の右半分）にあるか否かを判定する。
【００４４】
上記の要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０９に移行する。一方、上記の要件を満たさない場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１０に移行する。
【００４５】
ステップ１０９：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。具体的には、以下の（１）および（２）の手順で、上記のガイド画像が生成される。なお、ＣＰＵ２１はＳ１０９での処理後にＳ１１１に移行する。
【００４６】
（１）第１に、ＣＰＵ２１は、顔領域の位置に基づいて、画像間で被写体像を重複させる範囲（重複範囲）を決定する。このとき、ＣＰＵ２１は、第１画像のパノラマ方向の端部を基準として、第１画像の顔領域がすべて収まるように上記の重複範囲の大きさを設定する。なお、図５は、図３に対応するシーンでの第１画像の重複範囲を示す図である。
【００４７】
（２）次に、画像処理部１４は、第１画像のデータから上記（１）の重複範囲の対応部分を切り出す。そして、画像処理部１４は、切り出した重複範囲の画像をモニタ１７の解像度に合わせて解像度変換し、ガイド画像を生成する。
【００４８】
ステップ１１０：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。
【００４９】
このＳ１１０の場合には、ＣＰＵ２１は、第１画像のパノラマ方向の端部からデフォルトの領域（例えば、画面の約１／３までの範囲）を上記の重複範囲とする。そして、画像処理部１４は、Ｓ１０９の（２）と同様の工程でガイド画像を生成する。
【００５０】
ステップ１１１：ＣＰＵ２１は、半透過状態のガイド画像をスルー画像上に重畳表示させる（図６参照）。また、このＳ１１１の段階では、ガイド画像で示された上記の重複範囲をユーザーは所定の操作で変更することができる。一方、上記の重複範囲を変更しない場合には、ユーザーは操作部材１８の決定釦を押圧する。
【００５１】
ステップ１１２：ＣＰＵ２１は、操作部材１８の決定釦が押圧されたか否かを判定する。決定釦が押圧された場合（ＹＥＳ側）には、ＣＰＵ２１は重複範囲を確定するとともに、モニタ１７上のガイド画像をロックする。その後、ＣＰＵ２１はＳ１１５に移行する。この状態において、スルー画像の被写体がガイド画像に重なるようにフレーミングを行うことで、ユーザーは第２画像の適正な構図を容易に決定できるようになる。一方、決定釦の押圧がない場合（ＮＯ側）には、ＣＰＵ２１はＳ１１３に移行する。
【００５２】
ステップ１１３：ＣＰＵ２１は、ガイド画像の変更操作を受け付けたか否かを判定する。上記の変更操作を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１４に移行する。一方、上記の変更操作がない場合（ＮＯ側）には、ＣＰＵ２１はＳ１１２に戻って上記動作を繰り返す。
【００５３】
ステップ１１４：ＣＰＵ２１は、ユーザーの変更操作に応じて、ガイド画像および重複範囲を再設定する。その後、ＣＰＵ２１は、Ｓ１１１に戻って上記動作を繰り返す。
【００５４】
一例として、Ｓ１１４でのＣＰＵ２１は、第１画像の再生画像をモニタ１７に表示するとともに、再生画像に対するガイド画像の割合を変更する操作をユーザーから受け付ける。そして、ＣＰＵ２１は、操作部材１８またはタッチパネル２０で範囲指定がなされると、その指定範囲を新たな重複範囲に設定する。そして、画像処理部１４は、新たな重複範囲に基づいて、第１画像のデータからガイド画像を再び生成する。
【００５５】
また、Ｓ１１４でのＣＰＵ２１は、ユーザーのタッチパネル２０の操作に応じて、ガイド画像のおよび重複範囲の輪郭形状を変更することもできる。例えば、ＣＰＵ２１は、ガイド画像および重複範囲の輪郭を、第１画像または第２画像に向けて突出した凹凸形状にすることができる。
【００５６】
ここで、重複範囲の輪郭形状を変更した場合の一例を図７に示す。この図７の例は、第１画像に含まれていない被写体（鳥）をパノラマ画像に収めるために、第１画像の重複範囲を一部切り欠くように重複範囲の輪郭形状を変更したケースである。このように、重複範囲の輪郭形状の変更により、ユーザーは重複範囲において第２画像の被写体を優先的にパノラマ画像に含めることが可能となる。なお、この場合においても、画像処理部１４は、変更後の重複範囲に基づいて、第１画像のデータからガイド画像を再び生成することとなる。
【００５７】
ステップ１１５：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１６に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００５８】
ステップ１１６：ＣＰＵ２１は、撮像素子１２を駆動させて、第１画像と同じホワイトバランスおよび露出条件で第２画像を撮像する。その後、画像処理部１４によって第２画像のデータが生成される。
【００５９】
ステップ１１７：ＣＰＵ２１は、Ｓ１０１の設定画面で本画像のトリミング処理が指定されているか否かを判定する。本画像のトリミング処理が指定されている場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１８に移行する。一方、重複範囲を示すメタデータの生成が指定されている場合（ＮＯ側）には、ＣＰＵ２１はＳ１２２に移行する。
【００６０】
ステップ１１８：ＣＰＵ２１は、画像処理部１４に対して、第２画像のデータから不要部分の削除を指示する。そして、画像処理部１４は、第２画像に含まれる重複範囲のうちで、スティッチング部分を除いた領域を削除する。なお、スティッチング部分とは、パノラマ合成処理のときに２つの画像を合成するつなぎ目部分のことである。
【００６１】
ステップ１１９：ＣＰＵ２１は、不要部分を削除した後の第２画像のデータ（Ｓ１１８）を記憶媒体２３に記録する。
【００６２】
ステップ１２０：ＣＰＵ２１は、Ｓ１０１の設定画面でパノラマ合成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２１は一連の処理を終了する。なお、この場合には、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。
【００６３】
ステップ１２１：ＣＰＵ２１は、第１画像のデータ（Ｓ１０６）と、不要部分削除後の第２画像のデータ（Ｓ１１８）とを記憶媒体２３から読み出す。そして、ＣＰＵ２１は、画像処理部１４に公知のパノラマ合成処理を実行させる。これにより、第１画像および第２画像からパノラマ画像が生成される。なお、第１実施形態で生成されるパノラマ画像の一例を図８に示す。その後、ＣＰＵ２１はパノラマ画像を記憶媒体２３に記録して一連の処理を終了する。
【００６４】
ステップ１２２：ＣＰＵ２１は、被写体像の重複範囲と、第２画像のスティッチング部分の位置とを示すメタデータを生成する。そして、ＣＰＵ２１は、上記のメタデータを、第２画像のデータと対応付けた状態で記憶媒体２３に記録し、一連の処理を終了する。
【００６５】
なお、Ｓ１２２の場合においても、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。このとき、パノラマ合成処理を実行するコンピュータは、第２画像で削除すべき領域や、スティッチング部分を、上記のメタデータに基づいて特定することができる。
【００６６】
以下、第１実施形態の電子カメラの作用効果を述べる。
【００６７】
第１実施形態の電子カメラでは、パノラマ撮影において第１画像と第２画像との接続部分近傍に人物が位置する場合には、顔領域を含めるように重複範囲の設定を行う。そして、電子カメラは、第２画像のデータから重複範囲をほとんど削除してパノラマ合成処理用の画像を生成する。すなわち、パノラマ合成時に第１画像と第２画像とで人物の顔が重なり合わないので、パノラマ画像において多重露光のような顔のズレが生じることはない。したがって、第１画像と第２画像との撮像時に人物の表情や顔の位置が変化した場合にも人物が好ましい状態で撮影されたパノラマ画像を生成でき、パノラマ撮影の実用性が大きく向上する。なお、被写体像の重複範囲とスティッチング部分の位置とを示すメタデータを生成した場合にも、電子カメラは上記とほぼ同様の効果を得ることができる。
【００６８】
また、第１実施形態の電子カメラでは、重複範囲に対応するガイド画像がスルー画像に重畳表示されるので、第２画像の構図決定が非常に容易となる。さらに、ユーザーはガイド画像および重複範囲の変更を自由に行うことができるので、ユーザーの意図に則したパノラマ画像を得ることが容易となる。
【００６９】
（第２実施形態の説明）
図９は、第２実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図である。ここで、図９のＳ２０１，Ｓ２０２は、図２のＳ１０１，Ｓ１０２にそれぞれ対応するので、これらのステップに関する重複説明は省略する。また、第２実施形態の電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。
【００７０】
ステップ２０３：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２０４に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００７１】
ステップ２０４：ＣＰＵ２１は、撮像素子１２を駆動させて第１画像を撮像する。その後、画像処理部１４によって第１画像のデータが生成される。
【００７２】
ステップ２０５：ＣＰＵ２１は、第１画像のデータを記憶媒体２３に記録する。
【００７３】
ステップ２０６：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。
【００７４】
このＳ２０６の場合には、ＣＰＵ２１は、第１画像のパノラマ方向の端部からデフォルトの領域（例えば、画面の約１／３の範囲）を上記の重複範囲とする。そして、画像処理部１４は、第１実施形態におけるＳ１０９の（２）と同様の工程でガイド画像を生成する。
【００７５】
ステップ２０７：ＣＰＵ２１は、半透過状態のガイド画像をスルー画像上に重畳表示させる。なお、Ｓ２０７は上記のＳ１１１に対応するので重複説明を省略する。
【００７６】
ステップ２０８：ＣＰＵ２１は、操作部材１８の決定釦が押圧されたか否かを判定する。決定釦が押圧された場合（ＹＥＳ側）には、ＣＰＵ２１は重複範囲を確定するとともに、モニタ１７上のガイド画像をロックする。その後、ＣＰＵ２１はＳ２１１に移行する。一方、決定釦の押圧がない場合（ＮＯ側）には、ＣＰＵ２１はＳ２０９に移行する。
【００７７】
ステップ２０９：ＣＰＵ２１は、ガイド画像の変更操作を受け付けたか否かを判定する。上記の変更操作を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１０に移行する。一方、上記の変更操作がない場合（ＮＯ側）には、ＣＰＵ２１はＳ２０８に戻って上記動作を繰り返す。
【００７８】
ステップ２１０：ＣＰＵ２１は、ユーザーの変更操作に応じて、ガイド画像とともに重複範囲を再設定する。その後、ＣＰＵ２１は、Ｓ２０７に戻って上記動作を繰り返す。なお、Ｓ２１０は上記のＳ１１４に対応するので重複説明を省略する。
【００７９】
ステップ２１１：ＣＰＵ２１は、第１画像および第２画像の重複範囲につき、パノラマ合成処理でいずれを優先するのかをユーザーの操作に応じて決定する。
【００８０】
具体的には、Ｓ２１１でのＣＰＵ２１は、第１画像または第２画像の重複範囲を択一的に選択させる選択入力部をＧＵＩ形式でモニタ１７に重畳表示する（図１０参照）。ユーザーは、操作部材１８またはタッチパネル２０の操作で上記の選択入力部の項目を選択してＣＰＵ２１に入力を行う。そして、ＣＰＵ２１は、選択入力部で選択された画像の優先順位を高く設定する。なお、ＣＰＵ２１は、初期状態において第１画像の重複範囲の優先順位を高く設定している。
【００８１】
このとき、ユーザーの画像選択を容易にするために、ＣＰＵ２１は、第１画像の重複範囲と第２画像の重複範囲となる箇所とを対比可能にモニタ１７に表示してもよい。例えば、ＣＰＵ２１は、ユーザーの操作に応じて、ガイド画像が重畳されていない状態のスルー画像と、第１画像の再生画像とを交互に切替表示するようにしてもよい。このとき、ＣＰＵ２１は、重複範囲をより比較しやすくするために重複範囲の箇所を枠表示してもよい（なお、この表示状態の図示は省略する）。
【００８２】
ステップ２１２：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１３に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
【００８３】
ステップ２１３：ＣＰＵ２１は、撮像素子１２を駆動させて、第１画像と同じホワイトバランスおよび露出条件で第２画像を撮像する。その後、画像処理部１４によって第２画像のデータが生成される。
【００８４】
ステップ２１４：ＣＰＵ２１は、第２画像のデータを記憶媒体２３に記録する。
【００８５】
ステップ２１５：ＣＰＵ２１は、Ｓ２０１の設定画面で本画像のトリミング処理が指定されているか否かを判定する。本画像のトリミング処理が指定されている場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１６に移行する。一方、重複範囲を示すメタデータの生成が指定されている場合（ＮＯ側）には、ＣＰＵ２１はＳ２１９に移行する。
【００８６】
ステップ２１６：ＣＰＵ２１は、Ｓ２１１での優先順位の低い方の画像のデータを、不要部分の削除対象に指定する。そして、画像処理部１４は、処理対象となった画像のデータから不要部分を削除する。
【００８７】
例えば、Ｓ２１１で第１画像の優先順位が高く設定された場合、Ｓ２１６でのＣＰＵ２１は、第２画像のデータを処理対象に選択する。そして、画像処理部１４は、第２画像に含まれる重複範囲のうちで、スティッチング部分を除いた部分を削除する。同様に、Ｓ２１１で第２画像の優先順位が高く設定された場合、Ｓ２１６でのＣＰＵ２１は、第１画像のデータを処理対象に選択する。そして、画像処理部１４は、第１画像に含まれる重複範囲のうちで、スティッチング部分を除いた部分を削除する。なお、不要部分を削除した後の画像のデータは、ＣＰＵ２１の制御によって記憶媒体２３に記録される。
【００８８】
なお、本実施形態では、第２画像の構図決定時に優先順位が決定されている（Ｓ２１１）。そのため、ＣＰＵ２１は、第２画像の優先順位が低い場合には、Ｓ２１３またはＳ２１４の段階で第２画像の重複部分を予め削除して記憶媒体２３に記録しておくこともできる。
【００８９】
ステップ２１７：ＣＰＵ２１は、Ｓ２０１の設定画面でパノラマ合成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１８に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２１は一連の処理を終了する。なお、この場合には、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。
【００９０】
ステップ２１８：ＣＰＵ２１は、第１画像のデータと、第２画像のデータとを記憶媒体２３から読み出す。なお、上記の画像のデータのうちで、Ｓ２１１での優先順位が低い方の画像のデータは不要部分が削除された状態にある。そして、ＣＰＵ２１は、画像処理部１４に公知のパノラマ合成処理を実行させる。これにより、第１画像および第２画像からパノラマ画像が生成される。その後、ＣＰＵ２１はパノラマ画像を記憶媒体２３に記録して一連の処理を終了する。
【００９１】
ステップ２１９：ＣＰＵ２１は、被写体像の重複範囲と優先順位の低い画像のスティッチング部分の位置とを示す第１メタデータと、Ｓ２１１で設定された優先順位を示す第２メタデータとを生成する。そして、ＣＰＵ２１は、上記の第１メタデータおよび第２メタデータを、第１画像のデータまたは第２画像のデータのいずれかに対応付けた状態で記憶媒体２３に記録し、一連の処理を終了する。
【００９２】
なお、Ｓ２１９の場合においても、コンピュータ等による後処理工程でパノラマ合成処理を実行すれば、ユーザーはパノラマ画像を容易に取得できる。このとき、パノラマ合成処理を実行するコンピュータは、第１メタデータおよび第２メタデータに基づいて、第１画像または第２画像の削除箇所やスティッチング部分を特定することができる。
【００９３】
以下、第２実施形態の電子カメラの作用効果を述べる。
【００９４】
第２実施形態の電子カメラでは、パノラマ撮影において第１画像と第２画像との重複範囲について、ユーザーにいずれの画像を優先するか選択させる。そして、電子カメラは、優先順位が低く設定された画像のデータから重複範囲をほとんど削除してパノラマ合成処理用の画像を生成する。したがって、ユーザーは、画像の重複範囲について好ましい状態の画像を選択してパノラマ画像を生成できるので、パノラマ撮影の実用性が大きく向上する。なお、第１メタデータおよび第２メタデータを生成した場合にも、電子カメラは上記とほぼ同様の効果を得ることができる。
【００９５】
また、第２実施形態の電子カメラにおいても、重複範囲に対応するガイド画像がスルー画像に重畳表示されるので、第２画像の構図決定が非常に容易となる。さらに、ユーザーはガイド画像および重複範囲の変更を自由に行うことができるので、ユーザーの意図に則したパノラマ画像を得ることが容易となる。
【００９６】
（実施形態の補足事項）
（１）上記の各実施形態では、パノラマアシストモードで２フレーム分の画像を撮像する場合を前提に説明したが、本発明はかかる場合に限定されることはない。例えば、パノラマアシストモードで３フレーム分の画像を連続して撮像する状況において、第２フレームおよび第３フレームの場合にも当然に本発明を応用できる。
【００９７】
（２）第２実施形態では、第１画像の撮像後でかつ第２画像の構図決定動作時において、第１画像と第２画像との重複範囲の優先順位をＣＰＵ２１が決定する例を説明した。しかし、本発明では、第１画像および第２画像の撮像後の段階で、ユーザーからの優先順位の入力操作に基づいて、ＣＰＵ２１が上記の優先順位を決定するように変更してもよい。この場合において、ＣＰＵ２１は、第１画像の重複範囲および第２画像の重複範囲にそれぞれ対応する画像をモニタ１７に並べて表示し、ユーザーの画像選択を容易にしてもよい。例えば、図１１に上記の場合のモニタ１７の表示状態の一例を図示する。かかる構成の場合にも、上記の第２実施形態とほぼ同様の効果を得ることができる。
【００９８】
（３）第１実施形態の電子カメラにおいて、人物の顔以外を注目被写体として上記の重複範囲を決定するようにしてもよい。例えば、ＣＰＵ２１は、任意の注目被写体（動物、建築物、乗物など）の特徴を記憶した参照データに基づいてパターンマッチング処理を実行し、この注目被写体の位置に基づいて重複範囲を設定することも可能である。
【００９９】
（４）第２実施形態の電子カメラでもスルー画像で顔検出処理を実行し、検出した顔領域の位置に基づいて上記の重複範囲を決定するようにしてもよい。
【０１００】
（５）第１実施形態では、第２画像のデータから不要部分を削除する例と、第２画像のデータにメタデータを対応付けた例とを説明した。しかし、第１実施形態の変形例として、画像処理部１４は第１画像のデータから不要部分を削除するようにしてもよい。同様に第１実施形態の変形例として、ＣＰＵ２１は、第１画像のデータにメタデータを対応付けて記録してもよい。
【０１０１】
（６）図２のステップ１０９において、ＣＰＵ２１は第１画像の顔領域が全て収まるように重複範囲の大きさを設定したが、その人物の体が全て収まるように重複範囲の大きさを設定してもよい。
【０１０２】
例えば、人物の体は顔の幅の約３倍であることに基づいて、人物の体が全て収まるように重複範囲の大きさが設定されてもよい。
【０１０３】
その具体例を図１２を用いて説明する。ＣＰＵ２１は、第１画像の顔領域の情報から顔の幅を判定する。次にＣＰＵ２１は、第１画像のパノラマ方向の端部と反対側の顔領域の端部（図１２の例では人物の顔の図中の左側端部）を特定する。そしてＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部と離れた位置を含むように重複範囲を設定する。
【０１０４】
（７）図２のステップ１０９において、ＣＰＵ２１は重複範囲の大きさを顔領域が全て収まるように設定したが、逆に顔領域が全く収まらないように設定してもよい。
【０１０５】
例えば、ＣＰＵ２１は次の処理を行えばよい。ＣＰＵ２１は、第１画像の顔領域の情報から顔の幅を判定する。次にＣＰＵ２１は、第１画像のパノラマ方向の端部と同じ側の顔領域の端部（図１３の例では人物の顔の図中の右側端部）を特定する。
【０１０６】
そしてＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部側に離れた位置が、パノラマ方向の端部を越えていなければ、その位置からパノラマ方向端部側を重複領域に設定する。また、ＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部側に離れた位置が、パノラマ方向の端部を越えていれば、第１実施形態のステップ１０９または上述の（６）の処理を実行することにすればよい。
【０１０７】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【０１０８】
【図１】第１実施形態の電子カメラの構成を示すブロック図
【図２】第１実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図
【図３】第１画像撮像前のスルー画像の表示例を示す図
【図４】パノラマ方向の変更画面の例を示す図
【図５】図３に対応するシーンでの第１画像の重複範囲を示す図
【図６】ガイド画像をスルー画像上に重畳表示させた状態を示す図
【図７】重複範囲の輪郭形状を変更した場合の一例を示す図
【図８】第１実施形態でのパノラマ画像の一例を示す図
【図９】第２実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図
【図１０】第２実施形態のＳ２１１におけるモニタの表示例を示す図
【図１１】第１画像と第２画像の撮像後に重複範囲の優先順位を決める場合のモニタの表示例を示す図
【図１２】重複領域の設定に関する変形例を説明する図
【図１３】重複領域の設定に関する変形例を説明する図
【符号の説明】
【０１０９】
１２…撮像素子、１４…画像処理部、１７…モニタ、１８…操作部材、２０…タッチパネル、２１…ＣＰＵ、２４…顔検出部、２５…メタデータ生成部
【特許請求の範囲】
【請求項１】
各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する撮像部と、
ユーザーからの操作を受け付ける第１操作部と、
前記第１画像および前記第２画像での前記被写体像の重複範囲について、前記パノラマ合成処理での優先順位を前記操作に応じて決定する制御部と、
前記第１画像の前記重複範囲および前記第２画像の前記重複範囲のうちから、前記優先順位の低い方を削除する画像処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する撮像部と、
ユーザーからの操作を受け付ける第１操作部と、
前記第１画像および前記第２画像での前記被写体像の重複範囲について、前記パノラマ合成処理での優先順位を前記操作に応じて決定する制御部と、
前記第１画像および前記第２画像の少なくとも一方のデータに、前記重複範囲の位置を示す第１メタデータと、前記優先順位に関する第２メタデータとを関連付けて記録するメタデータ生成部と、
を備えることを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記撮像部によって撮像されたスルー画像を動画表示するモニタをさらに備え、
前記制御部は、前記第１画像の前記重複範囲に基づいてガイド画像を生成するとともに、前記第２画像の構図決定動作時に、前記モニタ上の前記スルー画像に前記ガイド画像を重畳させることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記第１画像に対する前記ガイド画像の割合を変更するためのユーザーの第１変更操作を受け付ける第２操作部をさらに備え、
前記制御部は、前記第１変更操作に基づいて前記重複範囲を変更することを特徴とする撮像装置。
【請求項５】
請求項１または請求項２に記載の撮像装置において、
前記重複範囲の変更に関する第２変更操作をユーザーから受け付ける第３操作部をさらに備え、
前記制御部は、前記第２変更操作に基づいて前記重複範囲の輪郭を変更することを特徴とする撮像装置。
【請求項６】
請求項１または請求項２に記載の撮像装置において、
前記制御部は、前記第１画像の撮像後でかつ前記第２画像の構図決定動作時に、前記優先順位を決定する処理を実行することを特徴とする撮像装置。
【請求項７】
請求項１または請求項２に記載の撮像装置において、
前記制御部は、前記第１画像および前記第２画像の撮像後に、前記優先順位を決定する処理を実行することを特徴とする撮像装置。
【請求項１】
各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する撮像部と、
ユーザーからの操作を受け付ける第１操作部と、
前記第１画像および前記第２画像での前記被写体像の重複範囲について、前記パノラマ合成処理での優先順位を前記操作に応じて決定する制御部と、
前記第１画像の前記重複範囲および前記第２画像の前記重複範囲のうちから、前記優先順位の低い方を削除する画像処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
各々の画像には所定方向に分割した被写体像が含まれるとともに、パノラマ合成処理によって１つの連続したパノラマ画像を構成するための第１画像および第２画像を生成する撮像部と、
ユーザーからの操作を受け付ける第１操作部と、
前記第１画像および前記第２画像での前記被写体像の重複範囲について、前記パノラマ合成処理での優先順位を前記操作に応じて決定する制御部と、
前記第１画像および前記第２画像の少なくとも一方のデータに、前記重複範囲の位置を示す第１メタデータと、前記優先順位に関する第２メタデータとを関連付けて記録するメタデータ生成部と、
を備えることを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記撮像部によって撮像されたスルー画像を動画表示するモニタをさらに備え、
前記制御部は、前記第１画像の前記重複範囲に基づいてガイド画像を生成するとともに、前記第２画像の構図決定動作時に、前記モニタ上の前記スルー画像に前記ガイド画像を重畳させることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記第１画像に対する前記ガイド画像の割合を変更するためのユーザーの第１変更操作を受け付ける第２操作部をさらに備え、
前記制御部は、前記第１変更操作に基づいて前記重複範囲を変更することを特徴とする撮像装置。
【請求項５】
請求項１または請求項２に記載の撮像装置において、
前記重複範囲の変更に関する第２変更操作をユーザーから受け付ける第３操作部をさらに備え、
前記制御部は、前記第２変更操作に基づいて前記重複範囲の輪郭を変更することを特徴とする撮像装置。
【請求項６】
請求項１または請求項２に記載の撮像装置において、
前記制御部は、前記第１画像の撮像後でかつ前記第２画像の構図決定動作時に、前記優先順位を決定する処理を実行することを特徴とする撮像装置。
【請求項７】
請求項１または請求項２に記載の撮像装置において、
前記制御部は、前記第１画像および前記第２画像の撮像後に、前記優先順位を決定する処理を実行することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２８８７９８（Ｐ２００８−２８８７９８Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３０７１３（Ｐ２００７−１３０７１３）
【出願日】平成１９年５月１６日（２００７．５．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１６日（２００７．５．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]