撮像装置、表示制御方法およびプログラム
【課題】一連の撮像動作により複数の合成画像を生成する場合にその生成に関する進捗状況を容易に把握する。
【解決手段】撮像部２４０は、スイング操作により、被写体を撮像して時系列で連続する複数の撮像画像を生成する。合成部２７０は、生成された複数の撮像画像のそれぞれにおける少なくとも一部（短冊画像）を用いて合成を行い、複数の多視点画像を生成する。表示制御部２８０は、制御部２３０の制御に基づいて、撮像部２４０による複数の撮像画像の生成処理が終了した直後に、多視点画像生成の進捗状況に関する情報をプログレスバーとして表示部２８５に表示させる。このプログレスバーにより、合成部２７０による合成画像の生成がどの程度の割合で進行したかを表す。また、表示制御部２８０は、制御部２３０の制御に基づいて、プログレスバーとともに、生成された多視点画像をレビュー表示させる。
【解決手段】撮像部２４０は、スイング操作により、被写体を撮像して時系列で連続する複数の撮像画像を生成する。合成部２７０は、生成された複数の撮像画像のそれぞれにおける少なくとも一部（短冊画像）を用いて合成を行い、複数の多視点画像を生成する。表示制御部２８０は、制御部２３０の制御に基づいて、撮像部２４０による複数の撮像画像の生成処理が終了した直後に、多視点画像生成の進捗状況に関する情報をプログレスバーとして表示部２８５に表示させる。このプログレスバーにより、合成部２７０による合成画像の生成がどの程度の割合で進行したかを表す。また、表示制御部２８０は、制御部２３０の制御に基づいて、プログレスバーとともに、生成された多視点画像をレビュー表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、画像を表示させる撮像装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物や動物等の被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、記録対象となる画像を撮像動作の終了時に表示部に表示させることによりその画像コンテンツを確認することが可能な撮像装置が提案されている（いわゆる、レビュー表示）。
【０００３】
また、複数の画像を一連の撮像動作により生成し、この生成された複数の画像を関連付けて記録する撮像装置が存在する。例えば、連写撮影により生成された複数の画像を関連付けて記録する撮像装置が存在する。このように記録された複数の画像を再生する場合には、例えば、連写撮影単位で設定される代表画像を一覧表示させ、この一覧表示されている代表画像のうちから所望の代表画像を選択する。そして、この選択された代表画像に対応する複数の画像を表示させることができる。
【０００４】
例えば、一覧表示の対象となる連写画像の数に応じて各連写画像の表示サイズを調整し、この調整後の表示サイズにより複数の連写画像を一覧表示する画像表示装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２９６３８０号公報（図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、調整後の表示サイズにより複数の連写画像を一覧表示するため、各連写画像を同時に一覧表示させることができる。
【０００７】
ここで、一連の撮像動作により生成された複数の画像を関連付けて記録する撮像装置を用いて撮像動作を行う場合を想定する。この撮像装置を用いて一連の撮像動作を行う場合において、この撮像動作の終了後に、この撮像動作により生成された複数の画像を確認する場合には、これらの各画像のうちの少なくとも一部をレビュー表示させることが考えられる。
【０００８】
ここで、例えば、旅行先の観光地において撮影を行うような場合には、各人物が移動してしまうことがあるため、撮影タイミングが重要となる。このため、一連の撮像動作の終了後にその構図および所望の被写体の確認を迅速に行うことが重要である。そこで、例えば、上述したように、一連の撮像動作の終了後に、この撮像動作により生成された複数の画像のうちの少なくとも一部をレビュー表示させることが考えられる。
【０００９】
このように、一連の撮像動作の終了後に表示を行うことにより、この撮像動作により生成された複数の画像を確認することができるが、生成対象となる画像の数が多い場合には、その処理時間が比較的長くなることが想定される。このように複数の画像の生成に関する処理時間が長くなった場合にその進捗状況を把握することができないと、次の撮像動作の準備等を適切に行うことができないおそれがある。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、一連の撮像動作により複数の合成画像を生成する場合にその生成に関する進捗状況を容易に把握することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像部と、上記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成部と、上記撮像部による上記複数の撮像画像の生成処理が終了した後に上記合成部による上記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御部とを具備する撮像装置およびその表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、被写体を撮像して時系列で連続する複数の撮像画像を生成し、この生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い、所定規則に基づく順序関係を有する複数の合成画像を生成し、複数の撮像画像の生成処理が終了した後に、合成画像の生成の進捗に関する情報を進捗情報として表示させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記合成部は、上記複数の合成画像として多視点画像を生成し、上記制御部は、上記撮像部による上記複数の撮像画像の生成処理が終了した直後に上記多視点画像のうち中央画像またはこれに近接する画像を上記代表画像として上記進捗情報とともに上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の撮像画像の生成処理が終了した直後に、多視点画像のうち中央画像またはこれに近接する画像を代表画像として進捗情報とともに表示させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記制御部は、上記合成部による生成対象となる上記複数の合成画像の全体数に対する上記合成部により生成された合成画像の数に基づいて上記進捗情報を表示させる制御を行うようにしてもよい。これにより、合成部による生成対象となる複数の合成画像の全体数に対する、合成部により生成された合成画像の数に基づいて、進捗情報を表示させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記制御部は、上記合成部による上記合成画像の生成がどの程度の割合で進行したかを棒状のグラフにより表すプログレスバーを上記進捗情報として表示させる制御を行うようにしてもよい。これにより、合成部による合成画像の生成がどの程度の割合で進行したかを棒状のグラフにより表すプログレスバーを表示させるという作用をもたらす。
【００１５】
また、この第１の側面において、上記制御部は、上記撮像部による上記複数の撮像画像の生成処理が終了した直後に上記進捗情報を上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の撮像画像の生成処理が終了した直後に、進捗情報を表示させるという作用をもたらす。
【００１６】
また、この第１の側面において、上記制御部は、上記生成された合成画像のうちの少なくとも一部を上記進捗情報とともに上記表示部に順次表示させる制御を行うようにしてもよい。これにより、生成された合成画像のうちの少なくとも一部を進捗情報とともに順次表示させるという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記生成された合成画像のうち所定順序となる合成画像を代表画像として上記表示部に最初に表示させる制御を行うようにしてもよい。これにより、生成された合成画像のうち所定順序となる合成画像を代表画像として最初に表示させるという作用をもたらす。
【００１８】
また、この第１の側面において、上記代表画像を示す代表画像情報および上記順序関係を上記生成された複数の合成画像に関連付けて上記生成された複数の合成画像を記録媒体に記録させる記録制御部をさらに具備するようにしてもよい。これにより、代表画像を示す代表画像情報および順序関係を、生成された複数の合成画像に関連付けて、その複数の合成画像を記録媒体に記録させるという作用をもたらす。
【００１９】
また、この第１の側面において、上記記録制御部は、上記代表画像情報および上記順序関係が関連付けられた上記生成された複数の合成画像をＭＰファイルとして上記記録媒体に記録させるようにしてもよい。これにより、代表画像情報および順序関係が関連付けられた複数の合成画像をＭＰファイルとして記録媒体に記録させるという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、一連の撮像動作により複数の合成画像を生成する場合にその生成に関する進捗状況を容易に把握することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態におけるリムーバブルメディア１９２に記憶されている画像ファイルを模式的に示す図である。
【図３】本発明の第１の実施の形態における撮像装置１００による多視点画像の撮影モードを設定する設定画面の表示例を示す図である。
【図４】本発明の第１の実施の形態における撮像装置１００を用いて多視点画像を生成する際における撮像動作例と、この撮像動作の進捗状況の通知例とを模式的に示す図である。
【図５】本発明の第１の実施の形態における撮像装置１００による多視点画像の生成時における撮像動作例と、これにより生成された複数の撮像画像の流れの一例とを模式的に示す図である。
【図６】本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。
【図７】本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。
【図８】本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。
【図９】本発明の第１の実施の形態における撮像装置１００により生成された多視点画像がリムーバブルメディア１９２に記録されるまでの流れを模式的に示す図である。
【図１０】本発明の第１の実施の形態における撮像装置１００により生成される多視点画像のうちの代表画像が表示されるまでの流れを模式的に示す図である。
【図１１】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図１２】本発明の第１の実施の形態における表示部２８５に表示される代表画像の表示例を示す図である。
【図１３】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１４】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１５】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１６】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１７】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の合成処理の進捗状況通知情報を模式的に示す図である。
【図１８】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図１９】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図２０】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図２１】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図２２】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図２３】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの撮像画像記録処理の一例を示すフローチャートである。
【図２４】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像決定処理の一例を示すフローチャートである。
【図２５】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちのプログレスバー計算処理の一例を示すフローチャートである。
【図２６】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像生成処理の一例を示すフローチャートである。
【図２７】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの視点ｊ画像生成処理の一例を示すフローチャートである。
【図２８】本発明の第２の実施の形態における撮像装置７００の外観構成例およびその使用時における姿勢の一例を示す図である。
【図２９】本発明の第２の実施の形態における撮像装置７００を用いて生成された複数の多視点画像と、これらをレビュー表示させる際における撮像装置７００の傾き角度との関係を模式的に示す図である。
【図３０】本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。
【図３１】本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。
【図３２】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図３３】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図３４】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図３５】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示制御：多視点画像の撮像動作の終了後に代表画像および進捗状況通知情報を表示させる例）
２．第２の実施の形態（表示制御：装置の姿勢の変化に応じて多視点画像の代表画像候補を順次レビュー表示させて代表画像を決定する例）
【００２３】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。撮像装置１００は、撮像部１１０と、ジャイロセンサ１１５と、解像度変換部１２０と、画像圧縮伸張部１３０とを備える。また、撮像装置１００は、ＲＯＭ（Read Only Memory）１４０と、ＲＡＭ（Random Access Memory）１５０と、ＣＰＵ（Central Processing Unit）１６０とを備える。また、撮像装置１００は、ＬＣＤ（Liquid Crystal Display）コントローラ１７１と、ＬＣＤ１７２と、入力制御部１８１と、操作部１８２と、リムーバブルメディアコントローラ１９１と、リムーバブルメディア１９２とを備える。なお、撮像装置１００を構成する各部の間で行われるやりとりは、バス１０１を介して行われる。撮像装置１００は、例えば、被写体を撮像して複数の画像データ（撮像画像）を生成し、これらの複数の画像データについて各種画像処理を行うことが可能なデジタルスチルカメラにより実現することができる。
【００２４】
撮像部１１０は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像データ（撮像画像）を生成するものであり、生成された画像データをＲＡＭ１５０に供給する。具体的には、撮像部１１０は、光学ユニット１１２（図７に示す）、撮像素子１１１（図７に示す）および信号処理部（図示せず）を備える。光学ユニットは、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、これらのレンズおよびアイリスを介して入射された被写体からの光が撮像素子に供給される。また、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像処理を行い、撮像信号を信号処理部に出力する。そして、その撮像信号に対して信号処理部が信号処理を行うことにより画像データが生成され、この生成された画像データがＲＡＭ１５０に順次供給されて一時的に保持される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。
【００２５】
ジャイロセンサ１１５は、撮像装置１００の角速度を検出するものであり、検出された角速度をＣＰＵ１６０に出力する。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、ＣＰＵ１６０が撮像装置１００の姿勢の変化を検出するようにしてもよい。
【００２６】
解像度変換部１２０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
【００２７】
画像圧縮伸張部１３０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部１３０は、例えば、入力された各種画像データをＪＰＥＧ（Joint Photographic Experts Group）形式の画像データに圧縮または伸張する。
【００２８】
ＲＯＭ１４０は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
【００２９】
ＲＡＭ１５０は、ＣＰＵ１６０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１６０において実行されるプログラムの作業領域等を備え、ＣＰＵ１６０が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、ＲＡＭ１５０は、各種の画像処理のための画像保存領域を備える。
【００３０】
ＣＰＵ１６０は、ＲＯＭ１４０に記憶されている各種制御プログラムに基づいて、撮像装置１００の各部を制御するものである。また、ＣＰＵ１６０は、操作部１８２により受け付けられた操作入力等に基づいて撮像装置１００の各部を制御する。
【００３１】
ＬＣＤコントローラ１７１は、ＣＰＵ１６０からの制御信号に基づいて、各種画像データをＬＣＤ１７２に表示させるものである。
【００３２】
ＬＣＤ１７２は、ＬＣＤコントローラ１７１から供給された各種画像データに対応する画像を表示する表示部である。ＬＣＤ１７２は、例えば、撮像部１１０により生成された画像データに対応する撮像画像を順次表示する（いわゆる、モニタリング表示）。また、ＬＣＤ１７２は、例えば、リムーバブルメディア１９２に記憶されている画像ファイルに対応する画像を表示する。なお、ＬＣＤ１７２の代わりに、例えば、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いるようにしてもよい。また、表示パネルとして、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
【００３３】
入力制御部１８１は、ＣＰＵ１６０からの指示に基づいて、操作部１８２により受け付けられる操作入力に関する制御を行うものである。
【００３４】
操作部１８２は、ユーザにより操作された操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた信号をＣＰＵ１６０に出力する。例えば、多視点画像を記録するための多視点画像撮影モードにおいて、多視点画像を生成するための撮像画像の撮像動作開始および撮像動作終了を指示するためのシャッターボタン１８３（図４（ａ）等に示す）等の操作部材が撮像装置１００に備えられている。なお、本発明の第１の実施の形態において生成される多視点画像は、多視点の立体視画像（例えば、パノラマ状の立体視画像）であるものとする。また、操作部１８２およびＬＣＤ１７２については、タッチパネルにより一体で構成するようにしてもよい。
【００３５】
リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２と接続され、ＣＰＵ１６０からの制御信号に基づいて、リムーバブルメディア１９２へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ１９１は、撮像部１１０により生成された画像データ等の各種画像データを画像ファイル（画像コンテンツ）としてリムーバブルメディア１９２に記録させる。また、リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２から画像ファイル等のコンテンツを読み出してバス１０１を介してＲＡＭ１５０等に出力する。
【００３６】
リムーバブルメディア１９２は、リムーバブルメディアコントローラ１９１から供給された画像データを記録する記録デバイス（記録媒体）である。リムーバブルメディア１９２には、例えば、ＪＰＥＧ形式の画像データ等の各種データが記録される。リムーバブルメディア１９２として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、リムーバブルメディア１９２として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。
【００３７】
［画像ファイルの構成例］
図２は、本発明の第１の実施の形態におけるリムーバブルメディア１９２に記憶されている画像ファイルを模式的に示す図である。図２では、複数の静止画を１つのファイル（拡張子：．ＭＰＯ）として記録するＭＰ（Multi Picture）フォーマットに準拠した静止画ファイルのファイル構造の一例を示す。すなわち、ＭＰファイル（「ＣＩＰＡ ＤＣ−００７−２００９ マルチピクチャフォーマット」参照。）は、先頭画像に続いて、１または複数の画像を記録することができるファイルである。
【００３８】
図２（ａ）には、２視点画像（立体視画像を表示するための左眼用画像および右眼用画像）のファイル構造の一例を示し、図２（ｂ）には、モニタ表示用画像（いわゆる、スクリーンネイル画像）が関連付けられている２視点画像のファイル構造の一例を示す。また、図２（ｃ）には、多視点画像（３視点以上の多視点画像）のファイル構造の一例を示す。
【００３９】
図２（ａ）乃至（ｃ）に示す各ファイル構造において、ＳＯＩ（Start Of Image）は、画像の開始を意味するセグメントであり、ＪＰＥＧ画像またはモニタ表示用画像の先頭に配置される。また、ＥＯＩ（End Of Image）は、画像の終了を意味するセグメントであり、ＪＰＥＧ画像またはモニタ表示用画像の最後に配置される。
【００４０】
また、ＳＯＩおよびＥＯＩの間には、ＡＰＰ（Application Segment）１、ＡＰＰ２およびＪＰＥＧ画像データが配置される。ＡＰＰ１およびＡＰＰ２は、ＪＰＥＧ画像データに対する付属情報を格納するアプリケーションマーカセグメントである。なお、圧縮画像データの前には、ＤＱＴ、ＤＨＦ、ＳＯＦ、ＳＯＳ（Start Of Scan）のマーカセグメントが挿入されるが、これらの図示は省略する。また、ＤＱＴ（Define Quantization Table）、ＤＨＦ（Define Huffman Table）、ＳＯＦ（Start Of Frame）の記録順序は任意である。また、図２（ｂ）に示すモニタ表示用画像３０４および３０５は、ＭＰフォーマット付属情報を含むＡＰＰ２を記録することができない。ただし、主画像（元画像）のＡＰＰ２にモニタ表示用画像が従属している旨が記録される。なお、モニタ表示用画像は、主画像とアスペクト比が同一であり、例えば、横を１９２０画素とし、縦は本画像のアスペクト比に合わせるようにすることができる。
【００４１】
また、ファイル構造の最も上位にあるＡＰＰ２（３０１乃至３０３）は、ファイル構造を示す重要な役割を有し、各視点の画像位置（オフセットアドレス）、バイトサイズ、代表画像であるか否か等の情報が記録される。
【００４２】
ここで、「ＣＩＰＡ ＤＣ−００７−２００９ マルチピクチャフォーマット」の「６．２．２．２ 立体視用画像」および「Ａ．２．１．２．３ 代表画像の選定」を参照して多視点画像の記録について簡単に説明する。「６．２．２．２ 立体視用画像」には、次の（１）が記載され、「Ａ．２．１．２．３ 代表画像の選定」には、次の（２）が記載されている。
（１）立体視用画像では、視点番号は、被写体に向かって左にある視点から右にある視点へ、昇順になるように番号を付与しなければならない。
（２）立体視用画像を記録する場合、代表画像として使用する画像は、視点数偶数の場合は（視点数／２）または（（視点数／２）＋１）、視点数奇数の場合は（視点数／２＋０．５）で表される視点番号の画像（全視点の中央近傍画像）を使用することを推奨する。
【００４３】
この規定に従った場合には、左視点画像ほどファイル上の上位アドレスにパッキングされるため、通常は、合成処理やエンコード等の順序を左視点画像ほど先に行うことになる。この場合に、例えば、中央画像である代表画像をレビュー表示する場合には、中央画像の合成処理等が終了するまで、代表画像のレビュー表示を行うことができない。そこで、本発明の第１の実施の形態では、撮像動作が終了した後には、代表画像を迅速に表示させる例を示す。ただし、ユーザの好み等に応じて、代表画像の表示タイミングを適宜変更することができる。なお、レビュー表示は、静止画の撮影モードが設定されている状態で静止画の記録指示操作が行われた場合に、この記録指示操作による撮像画像の撮像処理が終了した後に、一定期間、その撮像処理により生成された撮像画像を自動的に表示させる表示動作である。
【００４４】
［記録対象画像の選択例］
図３は、本発明の第１の実施の形態における撮像装置１００による多視点画像の撮影モードを設定する設定画面の表示例を示す図である。これらの各設定画面は、例えば、操作部１８２からのユーザ操作に応じてＬＣＤ１７２に表示される。
【００４５】
図３（ａ）には、撮影モードとして、２視点画像撮影モードおよび多視点画像撮影モードの何れかを設定するための設定画面３５０の表示例を示す。設定画面３５０には、２視点画像撮影モード選択ボタン３５１と、多視点画像撮影モード選択ボタン３５２と、決定ボタン３５３と、戻るボタン３５４とが設けられている。
【００４６】
２視点画像撮影モード選択ボタン３５１は、多視点画像の撮影モードとして、２視点画像撮影モードを設定する際に押下されるボタンである。２視点画像撮影モードは、２視点画像を撮影するための撮影モードである。また、２視点画像撮影モード選択ボタン３５１の押下操作に応じて２視点画像撮影モードが設定された場合には、撮像部１１０により生成された画像が、図２（ａ）または（ｂ）に示す２視点画像の画像ファイルとして記録される。
【００４７】
多視点画像撮影モード選択ボタン３５２は、多視点画像の撮影モードとして、多視点画像撮影モードを設定する際に押下されるボタンである。この多視点画像撮影モードは、３視点以上の多視点画像を撮影するための撮影モードであり、記録対象となる視点数を予め設定しておくようにしてもよく、記録対象となる視点数をユーザ操作により変更可能とするようにしてもよい。この変更例については、図３（ｂ）に示す。また、多視点画像撮影モード選択ボタン３５２の押下操作に応じて多視点画像撮影モードが設定された場合には、撮像部１１０により生成された画像が、図２（ｃ）に示す多視点画像の画像ファイルとして記録される。
【００４８】
決定ボタン３５３は、２視点画像撮影モードまたは多視点画像撮影モードを選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。戻るボタン３５４は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【００４９】
図３（ｂ）には、多視点画像撮影モードが設定された場合に、その記録対象となる視点数をユーザ操作により設定するための設定画面３６０の表示例を示す。図３（ｂ）に示す設定画面３６０には、視点数軸３６１と、マイナス表示領域３６２と、プラス表示領域３６３と、指定位置マーカ３６４と、決定ボタン３６５と、戻るボタン３６６とが設けられている。
【００５０】
視点数軸３６１は、ユーザ操作により指定対象となる視点数を表す軸であり、視点数軸３６１上における各目盛が視点の値に対応する。例えば、視点数軸３６１上における各目盛のうち、マイナス表示領域３６２に最も近い目盛が３視点に対応する。また、視点数軸３６１上における各目盛のうち、プラス表示領域３６３に最も近い目盛が、最大の視点（例えば、１５視点）に対応する。
【００５１】
指定位置マーカ３６４は、ユーザ操作により指定された視点数を指し示すためのマーカである。例えば、カーソル３６７を用いた操作やタッチ操作（タッチパネルを備える場合）により、ユーザが所望する視点数軸３６１上における位置に指定位置マーカ３６４を移動させて、記録対象となる視点数を指定することができる。
【００５２】
決定ボタン３６５は、ユーザが所望する視点数軸３６１上における位置に指定位置マーカ３６４が移動された後に、その指定を決定する際に押下されるボタンである。戻るボタン３６６は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【００５３】
［多視点画像の撮像動作例およびこの進捗状況の通知例］
図４は、本発明の第１の実施の形態における撮像装置１００を用いて多視点画像を生成する際における撮像動作例と、この撮像動作の進捗状況の通知例とを模式的に示す図である。
【００５４】
図４（ａ）には、撮像装置１００を用いて多視点画像を生成する際における撮像動作を上面から見た場合を模式的に示す。すなわち、図４（ａ）では、撮像装置１００の撮像位置を基準として、水平方向（矢印３７０の方向）に撮像装置１００を移動させる操作（いわゆる、パンニング操作（スイング操作））をユーザが行うことにより多視点画像を生成する例を示す。この場合における撮像装置１００の画角（水平方向の画角）をαとし、一連のパンニング操作により撮像対象となる範囲（撮像範囲）を太い点線３７１で模式的に示す。
【００５５】
図４（ｂ）には、多視点画像撮影モード（３視点以上）が設定されている場合にＬＣＤ１７２に表示される進捗状況通知画面３８０の表示例を示す。進捗状況通知画面３８０には、多視点画像の撮像動作の進捗状況を通知するためのプログレスバー３８１と、操作支援情報３８２および３８３とが設けられている。
【００５６】
プログレスバー３８１は、多視点画像撮影モードが設定されている場合におけるユーザ操作（撮像装置１００のパンニング操作）の進捗状況をユーザに通知するための棒状グラフである。具体的には、プログレスバー３８１は、多視点画像撮影モードにおいて必要となる全体の操作量（例えば、パンニング操作の回転角度）に対する現在の操作量（グレー部分３８４）がどの程度の割合で進行したかを表す。なお、プログレスバー３８１については、時間軸において隣接する撮像画像間における移動量および移動方向の検出結果に基づいて、ＣＰＵ１６０が現在の操作量を算出し、この現在の操作量に基づいてその表示状態を変更する。その移動量および移動方向として、例えば、撮像装置１００の移動に伴って発生する撮像画像全体の動きに対応する動きベクトル（ＧＭＶ（Global Motion Vector）が検出される。なお、ジャイロセンサ１１５により検出された角速度に基づいて、ＣＰＵ１６０が現在の操作量を算出するようにしてもよい。また、その移動量および移動方向の検出結果と、ジャイロセンサ１１５により検出された角速度とを用いて、ＣＰＵ１６０が現在の操作量を算出するようにしてもよい。このように、多視点画像の撮影中にプログレスバー３８１を表示することにより、あとどの程度パンニング操作を行えばよいかをユーザが容易に把握することができる。
【００５７】
操作支援情報３８２および３８３は、多視点画像撮影モードが設定されている場合におけるユーザ操作（撮像装置１００のパンニング操作）を支援するための情報である。操作支援情報３８２として、例えば、そのユーザ操作を支援するためのメッセージが表示される。また、操作支援情報３８３として、例えば、そのユーザ操作を支援するための矢印（その操作方向を表す矢印）が表示される。
【００５８】
［多視点画像の撮像動作例およびこれにより生成された撮像画像の記録例］
図５は、本発明の第１の実施の形態における撮像装置１００による多視点画像の生成時における撮像動作例と、これにより生成された複数の撮像画像の流れの一例とを模式的に示す図である。
【００５９】
図５（ａ）には、撮像装置１００を用いて多視点画像を生成する際における撮像動作を上面から見た場合を模式的に示す。なお、図５（ａ）は、矩形３７２乃至３７４を追加して点以外は、図４（ａ）に示す例と同様である。すなわち、図５（ａ）では、図５（ｂ）に示す撮像画像（画像（＃１）４０１、（＃ｉ）４０４、（＃Ｍ）４０５）を円上（点線３７１上）に仮想的に配置して、その撮像範囲を上面から見た場合における位置関係を矩形３７２乃至３７４により模式的に示す。なお、矩形３７２乃至３７４内には、対応する符号（＃１、＃ｉ、＃Ｍ）を付す。また、このように生成される複数の撮像画像は、水平方向において少なくとも一部の領域に同一の被写体が含まれるように撮像動作が行われて生成された撮像画像であるものとする。
【００６０】
図５（ｂ）には、図５（ａ）に示すパンニング操作により生成された撮像画像（画像（＃１）４０１乃至（＃Ｍ）４０５）がＲＡＭ１５０に保持されている状態を模式的に示す。すなわち、図５（ａ）に示すように、ユーザによる撮像装置１００のパンニング操作中に、撮像部１１０が画像（＃１）４０１乃至（＃Ｍ）４０５を順次生成する。ここで、画像（＃１）４０１乃至（＃Ｍ）４０５は、水平方向にオフセットを有する複数の撮像画像であり、例えば、その上限数を７０枚〜１００枚程度とすることができる。なお、画像（＃１）４０１乃至（＃Ｍ）４０５については、時系列に番号が付与されているものとする。このように、撮像装置１００において多視点画像の記録指示操作が行われた場合には、その撮像動作中に生成された複数の撮像画像がＲＡＭ１５０に順次記録される。なお、多視点画像の記録指示操作は、例えば、多視点画像記録モードが設定されている状態で、シャッターボタン１８３を押下する状態を維持することにより行うことができる。
【００６１】
［多視点画像の生成例］
図６乃至図８は、本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。この例では、多視点画像として１５視点から構成される画像を生成する例を示す。
【００６２】
図６（ａ）には、撮像部１１０により生成された画像（＃ｉ）４０４を矩形により模式的に示す。また、図６（ａ）では、画像（＃ｉ）４０４において、多視点画像を生成する際に用いられる画像の取出領域（合成対象となる視点毎の画像領域）を、対応する多視点画像の視点番号（視点１乃至１５）により示す。ここで、画像（＃ｉ）４０４における水平方向の長さをＷ１とし、中央画像（視点８の多視点画像）の合成に用いられる取出領域（短冊領域）における水平方向の長さをｗとする。この場合に、中央画像の取出領域は、画像（＃ｉ）４０４における水平方向の中央に決定される（すなわち、Ｗ１＝Ｗ２×２）。また、画像（＃ｉ）４０４における各視点の取出領域における水平方向の長さは、同一（すなわち、ｗ）であるものとする。ここで、各視点の取出領域における水平方向の長さｗについては、撮像部１１０により生成された画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれの画像間における移動量に大きく依存する。そこで、各視点の取出領域における水平方向の長さｗの算出方法および画像（＃１）４０１乃至（＃Ｍ）４０５における各視点の取出領域の位置については、図７および図８を参照して詳細に説明する。
【００６３】
図６（ｂ）には、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて多視点画像を生成する生成方法を模式的に示す。図６（ｂ）では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて、視点ｊ画像４１１を生成する例を示す。なお、図６（ｂ）では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５のうち、視点ｊ画像の合成対象となる画像領域をグレーにして示す。このように、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれについて、少なくとも一部の画像領域を用いて、多視点画像が生成される。
【００６４】
次に、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５における取出領域を設定する設定方法について説明する。
【００６５】
図７は、本発明の第１の実施の形態における撮像素子１１１と焦点距離と画角との関係を概略的に示す図である。なお、撮像素子１１１および光学ユニット１１２は、撮像部１１０に備えられている。ここで、撮像素子１１１の幅を撮像素子の幅ＩＥ１［ｍｍ］とする。この場合に、撮像素子の幅ＩＥ１は、次の式１により求めることができる。
ＩＥ１＝ｐ×ｈ … 式１
なお、ｐ［ｕｍ］は、撮像素子１１１の画素ピッチを示す値であり、ｈ［ｐｉｘｅｌ］は、撮像素子１１１の水平画素数を示す値である。
【００６６】
また、図７に示す例における撮像装置１００の画角をα［ｄｅｇ］とする。この場合に、画角αは、次の式２により求めることができる。
α＝（１８０／π）×２×ｔａｎ−１（（ｐ×ｈ×１０−３）／（２×ｆ）） … 式２
なお、ｆ［ｍｍ］は、撮像装置１００における焦点距離を示す値である。
【００６７】
このように算出された画角αを用いることにより、撮像素子１１１を構成する一画素辺りの画角（画素密度）μ［ｄｅｇ／ｐｉｘｅｌ］について、次の式３により求めることができる。
μ＝α／ｈ … 式３
【００６８】
ここで、撮像装置１００において多視点画像撮影モードが設定されている場合に、この多視点画像撮影モードにおける画像の連写スピード（すなわち、１秒あたりのフレーム数）をｓ［ｆｐｓ］とする。この場合に、１つの撮像画像における１視点の取出領域（最大取出領域）の水平方向の長さ（取出領域の幅）ｗ［ｐｉｘｅｌ］は、次の式４により求めることができる。
ｗ＝（ｄ／ｓ）×（１×μ） … 式４
なお、ｄ［ｄｅｇ／ｓｅｃ］は、撮像装置１００を操作するユーザの振り角速度を示す値である。このように、撮像装置１００を操作するユーザの振り角速度ｄを用いることにより、取出領域の幅（最大取出領域の幅）ｗを求めることができる。
【００６９】
図８には、ＲＡＭ１５０に保持されている撮像画像（画像（＃ｉ）４０４）における多視点画像の合成対象となる取出領域のずらし量の算出方法を示す。図８（ａ）には、中央画像（視点８の多視点画像）の取出領域を示し、図８（ｂ）には、最左視点画像（視点１の多視点画像）の取出領域を示し、図８（ｃ）には、最右視点画像（視点１５の多視点画像）の取出領域を示す。
【００７０】
上述したように、多視点画像の合成処理が行われる場合には、撮像部１１０により生成されてＲＡＭ１５０に保持されている各撮像画像（画像（＃１）４０１乃至（＃Ｍ）４０５）のそれぞれから、多視点画像の合成対象となる画像（短冊画像）が取り出される。すなわち、ＲＡＭ１５０に保持されている１つの撮像画像における取出領域（短冊領域）の位置をずらしながら、合成対象となる画像（短冊画像）が順次取り出される。この場合に、取り出された画像について、各画像間における相関性に基づいて、各画像を重ねて合成させる。具体的には、時間軸において隣接する２つの撮像画像間の移動量および移動方向（すなわち、隣接する撮像画像間の相対変位）が検出される。そして、検出された移動量および移動方向（隣接する画像間の移動量および移動方向）に基づいて、取り出された各画像が、互いの重複領域が互いに重なり合うように合成され、多視点画像が生成される。
【００７１】
ここで、ＲＡＭ１５０に保持されている１つの撮像画像における取出領域（短冊領域）のサイズおよび位置と、視点ｊのずらし量との算出方法について説明する。
【００７２】
撮像部１１０による撮像処理およびＲＡＭ１５０への記録処理が終了した後に、ＲＡＭ１５０に保持されている複数の撮像画像のそれぞれにおいて、どの領域を取出領域とするかが算出される。具体的には、式４に示すように、取出領域の幅が算出され、中央画像（視点８の多視点画像）の合成に用いられる取出領域における水平方向の位置を、ＲＡＭ１５０に保持されている各撮像画像における中央の位置とする。
【００７３】
ここで、中央画像（視点８の多視点画像）以外の他の多視点画像の合成に用いられる取出領域における水平方向の位置は、中央画像（視点８の多視点画像）の合成に用いられる取出領域における水平方向の位置を基準にして算出される。具体的には、中心視点（視点８）と視点ｊとの視点番号の差分に応じて、最初の位置（中央の位置）からずらした位置が算出される。すなわち、視点ｊのずらし量ＭＱｊは、次の式５により求めることができる。
ＭＱｊ＝（ＣＶ−ＯＶｊ）×β … 式５
なお、ＣＶは、多視点画像のうちの中心視点を示す値であり、ＯＶｊは、多視点画像のうちの中心視点以外の他の視点（視点ｊ）を示す値である。また、βは、１視点あたり取出領域の位置のズラシ量（短冊位置ズラシ量）を示す値である。なお、取出領域のサイズ（短冊サイズ）は変更しない。
【００７４】
ここで、短冊位置ズラシ量βの算出方法について説明する。短冊位置ズラシ量βは、次の式６により求めることができる。
β＝（Ｗ１−ｗ×２）／ＶＮ … 式６
なお、Ｗ１は、ＲＡＭ１５０に保持されている撮像画像の１枚あたり水平サイズを示す値であり、ｗは、取出領域の幅（最大取出領域の幅）を示す値であり、ＶＮは、多視点画像の視点数を示す値である。すなわち、図８（ａ）に示すＷ３（＝Ｗ１−ｗ×２）を視点数（１５）で除算した値が、短冊位置ズラシ量βとして算出される。
【００７５】
このように、短冊位置ズラシ量βは、最左視点画像または最右視点画像の合成処理の際に取り出される画像（短冊画像）が、ＲＡＭ１５０に保持されている撮像画像のうち、少なくとも左端および右端の位置に配置されるように算出される。
【００７６】
なお、パノラマ状の平面画像（２次元画像）の合成処理を行う場合には、取出領域の幅（最大取出領域の幅）ｗに対応する中央の短冊画像（視点８に相当する画像）を順次取り出して合成する。また、２視点画像の合成処理を行う場合には、中央の短冊画像からのずらし量（オフセット量）ＯＦが左視点および右視点で同一となるように２つの取出領域が設定される。この場合に、撮像装置１００を操作するユーザの振り角速度ｄにおいて許容できるオフセット量（最小短冊オフセット量）ＯＦｍｉｎ［ｐｉｘｅｌ］は、次の式７により求めることができる。
ＯＦｍｉｎ＝ｗ／２ … 式７
なお、最小短冊オフセット量ＯＦｍｉｎは、左眼用短冊画像および右眼用短冊画像の重なりが発生しない（オーバーラップしない）最小の許容短冊オフセット量である。
【００７７】
また、２視点画像の合成処理に用いられる取出領域がＲＡＭ１５０に保持されている撮像画像の画像領域の外にはみ出ない設定とするための最大の許容短冊オフセット量（最大短冊オフセット量）ＯＦｍａｘは、次の式８により求めることができる。
ＯＦｍａｘ＝（ｔ−ＯＦｍｉｎ）／２ … 式８
ここで、ｔ［ｐｉｘｅｌ］は、撮像部１１０により生成される画像一枚の水平有効サイズである。この水平有効サイズｔは、ＲＡＭ１５０に保持される撮像画像の横幅である水平画素数に対応する。
【００７８】
［多視点画像の記録処理例］
図９は、本発明の第１の実施の形態における撮像装置１００により生成された多視点画像がリムーバブルメディア１９２に記録されるまでの流れを模式的に示す図である。図９では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて生成された視点ｊ画像４１１をＭＰファイル４３０（拡張子：．ＭＰＯ）として記録する場合におけるＲＡＭ１５０上におけるデータの流れの一例を示す。なお、図９に示す画像（＃１）４０１乃至（＃Ｍ）４０５は、図６（ａ）と同様である。
【００７９】
上述したように、撮像部１１０により生成された画像（＃１）４０１乃至（＃Ｍ）４０５がＲＡＭ１５０に順次記録される。続いて、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれについて、ＣＰＵ１６０が、視点ｊの取出領域を算出して、取出領域に含まれる画像を取得する。続いて、画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれの取出領域から取得された画像を用いて、ＣＰＵ１６０が、視点ｊの合成画像（視点ｊ画像４１１）を生成する。なお、この例では、ＣＰＵ１６０が、多視点画像の合成画像を生成する例を示すが、画像合成用のハードウエアやソフトウエア（アクセレータ）を別途設け、これらにより多視点画像の合成画像を生成するようにしてもよい。
【００８０】
続いて、解像度変換部１２０が、視点ｊ画像４１１について解像度変換を行い、視点ｊの最終画像（視点ｊ画像４２０）とする。続いて、画像圧縮伸張部１３０が、視点ｊ画像４２０をＪＰＥＧ形式の画像データに圧縮する。続いて、ＣＰＵ１６０が、ＪＰＥＧ化された視点ｊ画像４２０をＭＰファイル４３０にパッキング処理（ヘッダ付加等のパッキング処理）する。また、他の多視点画像の生成についても同様に行われる。そして、全ての多視点画像の合成処理が終了すると、リムーバブルメディアコントローラ１９１が、ＣＰＵ１６０の制御に基づいて、ＭＰファイル４３０をリムーバブルメディア１９２に記録させる。
【００８１】
なお、図９では、ＭＰファイル４３０のうち、視点ｊの多視点画像の記録までが終了している状態を模式的に示す。すなわち、ＭＰファイル４３０において、記録が終了している多視点画像の領域を実線で示し、記録が終了していない多視点画像の領域を点線で示す。
【００８２】
［多視点画像の代表画像の表示処理例］
図１０は、本発明の第１の実施の形態における撮像装置１００により生成される多視点画像のうちの代表画像が表示されるまでの流れを模式的に示す図である。図１０では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて生成された視点８画像を代表画像としてＬＣＤ１７２に表示させる場合におけるＲＡＭ１５０上におけるデータの流れの一例を示す。なお、図１０に示す画像（＃１）４０１乃至（＃Ｍ）４０５は、図６（ａ）と同様である。
【００８３】
なお、視点８の合成画像（代表画像４４１）および視点８の最終画像（代表画像４４２）の生成については、図９に示す例と同様であるため、ここでの説明を省略する。
【００８４】
代表画像４４２が生成された後に、解像度変換部１２０が、表示に最適な画サイズとなるように、代表画像４４２について解像度変換を行い、視点８の表示画像（代表画像４４３）とする。続いて、ＬＣＤコントローラ１７１が、ＣＰＵ１６０の制御に基づいて、代表画像４４３をＬＣＤ１７２に表示させる。すなわち、代表画像４４３がレビュー表示される。なお、このようにレビュー表示が行われた後でも、生成された代表画像４４２については、図９に示すＭＰファイル４３０にパッキング処理されるまで、ＲＡＭ１５０に保持させておく。これにより、代表画像４４２について再度合成処理を行う必要がなく、合成処理時間のオーバーヘッドを削減することができる。
【００８５】
このように、撮像部１１０により生成された複数の画像を用いて多視点画像が生成される。また、この生成される多視点画像のうちの代表画像が、最初にＬＣＤ１７２に表示される。
【００８６】
［撮像装置の機能構成例］
図１１は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、操作受付部２１０と、姿勢検出部２２０と、制御部２３０と、撮像部２４０と、撮像画像保持部２５０と、移動量検出部２６０と、合成部２７０と、表示制御部２８０と、表示部２８５と、記録制御部２９０と、コンテンツ記憶部３００とを備える。
【００８７】
操作受付部２１０は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた操作信号を制御部２３０に供給する。操作受付部２１０は、例えば、図１に示す入力制御部１８１および操作部１８２に対応する。
【００８８】
姿勢検出部２２０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像装置１００の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢変化情報を制御部２３０に出力する。なお、姿勢検出部２２０は、図１に示すジャイロセンサ１１５に対応する。
【００８９】
制御部２３０は、操作受付部２１０からの操作内容に基づいて、撮像装置１００の各部を制御するものである。例えば、制御部２３０は、操作受付部２１０により撮影モードの設定操作が受け付けられた場合には、その設定操作に応じた撮影モードを設定する。また、例えば、制御部２３０は、姿勢検出部２２０から出力された姿勢変化情報に基づいて、撮像装置１００の姿勢の変化量（移動方向、移動量等）を解析してその解析結果を合成部２７０および表示制御部２８０に出力する。また、例えば、制御部２３０は、撮像部２４０による複数の撮像画像の生成処理が終了した後に、合成部２７０による生成対象となる複数の多視点画像のうち所定順序（例えば、中央の視点）となる多視点画像を代表画像として表示部２８５に表示させる制御を行う。このように、代表画像を表示させた後には、制御部２３０は、例えば、所定規則（例えば、各視点）に従って、生成された多視点画像の少なくとも一部を表示部２８５に順次表示させる制御を行う。また、例えば、制御部２３０は、撮像部２４０による複数の撮像画像の生成処理が終了した後には、合成部２７０による多視点画像の生成の進捗に関する情報（例えば、図１９乃至図２１に示すプログレスバー５２１）を表示部２８５に表示させる制御を行う。この場合に、制御部２３０は、例えば、撮像部２４０による複数の撮像画像の生成処理が終了した直後に、その進捗情報を表示部２８５に表示させる制御を行う。なお、制御部２３０は、図１に示すＣＰＵ１６０に対応する。
【００９０】
撮像部２４０は、制御部２３０の制御に基づいて、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を撮像画像保持部２５０に供給する。また、撮像部２４０は、２視点画像撮影モードまたは多視点画像撮影モードが設定されている場合には、被写体を撮像して時系列で連続する複数の撮像画像を生成し、生成された撮像画像を撮像画像保持部２５０に供給する。なお、撮像部２４０は、図１に示す撮像部１１０に対応する。
【００９１】
撮像画像保持部２５０は、撮像部２４０により生成された撮像画像を保持する画像メモリであり、保持されている撮像画像を合成部２７０に供給する。なお、撮像画像保持部２５０は、図１に示すＲＡＭ１５０に対応する。
【００９２】
移動量検出部２６０は、撮像画像保持部２５０に保持されている撮像画像について、時間軸において隣接する撮像画像間における移動量および移動方向を検出するものであり、検出された移動量および移動方向を合成部２７０に出力する。例えば、移動量検出部２６０は、隣接する２つの撮像画像を構成する画素間のマッチング処理（すなわち、同一被写体の撮影領域を判別するマッチング処理）を行い、各撮像画像間において移動された画素数を算出する。このマッチング処理では、基本的には被写体は静止していると仮定した処理を行う。なお、被写体に動体が含まれる場合には、撮像画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの動体に対応する動きベクトルは検出対象外として処理を行う。すなわち、撮像装置１００の移動に伴って発生する撮像画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバルモーションベクトル）のみを検出する。なお、移動量検出部２６０は、図１に示すＣＰＵ１６０に対応する。
【００９３】
合成部２７０は、制御部２３０の制御に基づいて、撮像画像保持部２５０に保持されている複数の撮像画像を用いて、多視点画像を生成するものであり、生成された多視点画像を表示制御部２８０および記録制御部２９０に供給する。すなわち、合成部２７０は、制御部２３０から出力された解析結果（撮像装置１００の姿勢の変化量の解析結果）に基づいて、撮像画像保持部２５０に保持されている複数の撮像画像のそれぞれにおける取出領域を算出する。そして、合成部２７０は、複数の撮像画像のそれぞれにおける取出領域から画像（短冊画像）を取り出し、この取り出された画像を合成して多視点画像を生成する。この場合に、合成部２７０は、移動量検出部２６０から出力された移動量および移動方向に基づいて、その取り出された画像を重ねて合成して多視点画像を生成する。このように生成された多視点画像は、所定規則に基づく順序関係（各視点）を有する複数の合成画像である。また、例えば、合成部２７０は、撮像部２４０による複数の撮像画像の生成処理が終了した直後には、代表画像を最初に生成する。なお、ユーザ操作または設定内容により、最初に生成される画像について変更するようにしてもよい。なお、合成部２７０は、図１に示す解像度変換部１２０、ＲＡＭ１５０およびＣＰＵ１６０に対応する。
【００９４】
表示制御部２８０は、制御部２３０の制御に基づいて、合成部２７０により生成された多視点画像を表示部２８５に表示させるものである。例えば、表示制御部２８０は、撮像部２４０による複数の撮像画像の生成処理が終了した後に、合成部２７０による生成対象となる複数の多視点画像のうち所定順序（例えば、中央の視点）となる多視点画像を代表画像として表示部２８５に表示させる。このように、代表画像を表示させた後には、表示制御部２８０は、例えば、所定規則（例えば、各視点）に従って、生成された多視点画像の少なくとも一部を表示部２８５に順次表示させる。また、例えば、表示制御部２８０は、撮像部２４０による複数の撮像画像の生成処理が終了した後には、合成部２７０による多視点画像の生成の進捗に関する情報（例えば、図１９乃至図２１に示すプログレスバー５２１）を表示部２８５に表示させる。これらの表示例については、図１２乃至図２１を参照して詳細に説明する。なお、表示制御部２８０は、図１に示す解像度変換部１２０およびＬＣＤコントローラ１７１に対応する。
【００９５】
表示部２８５は、表示制御部２８０から供給された画像を表示する表示部である。また、表示部２８５には各種メニュー画面や各種画像が表示される。なお、表示部２８５は、図１に示すＬＣＤ１７２に対応する。
【００９６】
記録制御部２９０は、制御部２３０の制御に基づいて、合成部２７０により生成された多視点画像をコンテンツ記憶部３００に記録させる制御を行うものである。すなわち、記録制御部２９０は、多視点画像の代表画像を示す代表画像情報と、多視点画像の順序関係（例えば、視点番号）とを、生成された多視点画像に関連付けて、その多視点画像をＭＰファイルとして記録媒体に記録させる。なお、記録制御部２９０は、図１に示す画像圧縮伸張部１３０およびリムーバブルメディアコントローラ１９１に対応する。
【００９７】
コンテンツ記憶部３００は、合成部２７０により生成された多視点画像を画像ファイル（画像コンテンツ）として記憶するものである。なお、コンテンツ記憶部３００は、図１に示すリムーバブルメディア１９２に対応する。
【００９８】
［代表画像の表示例］
図１２は、本発明の第１の実施の形態における表示部２８５に表示される代表画像の表示例を示す図である。図１２では、７視点の多視点画像を生成し、これらの各画像を関連付けてコンテンツ記憶部３００に記録する例を示す。また、図１２では、これらの７視点の多視点画像について、被写体に向かって左にある視点（視点１）から右にある視点（視点７）へ、昇順となるように視点番号を付して、画像を表す矩形内に視点番号を示す。また、図１２では、７視点の多視点画像のうち、中央画像（視点４の多視点画像）を代表画像とする例を示す。なお、代表画像として、例えば、中央画像に隣接または近接する画像を用いるようにしてもよい。
【００９９】
図１２（ａ）には、コンテンツ記憶部３００への記録対象となる多視点画像の一例を示す。なお、図１２（ａ）では、視点番号の順序で各画像を並べて示す。
【０１００】
図１２（ｂ）には、図１２（ａ）に示す視点１乃至７の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点１乃至７の多視点画像を、その生成順序に並べて示す。すなわち、表示部２８５に最初に表示される代表画像（視点４の多視点画像）が、最初の合成処理の対象となる。この代表画像（視点４の多視点画像）の合成処理が終了した後には、他の多視点画像について合成処理が行われる。例えば、視点番号の順序（視点１〜３、５〜７の順序）で合成処理が行われる。
【０１０１】
図１２（ｃ）には、図１２（ｂ）に示す合成処理中に、表示部２８５に最初に表示される画像として代表画像が表示される例を示す。このように、代表画像を最初に表示することにより、その多視点画像の代表画像を迅速に容易に確認することができる。
【０１０２】
以上では、３視点以上の多視点画像を記録する場合に、代表画像のみをレビュー表示する例を示した。ただし、ユーザの好みに応じて代表画像以外の他の多視点画像を順次表示するようにしてもよい。そこで、以下では、代表画像以外の他の多視点画像を順次レビュー表示する例を示す。
【０１０３】
図１３乃至図１６は、本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。図１３乃至図１６では、図１２に示す例と同様に、７視点の多視点画像を関連付けてコンテンツ記憶部３００に記録する場合に、中央画像（視点４の多視点画像）を代表画像とする例を示す。また、図１３乃至図１６では、図１２に示す例と同様に、７視点の多視点画像について、被写体に向かって左にある視点（視点１）から右にある視点（視点７）へ、昇順となるように視点番号を付して、画像を表す矩形内に視点番号を示す。
【０１０４】
図１３乃至図１６の各図（ａ）には、コンテンツ記憶部３００への記録対象となる多視点画像の一例を示す。なお、これらの各図（ａ）は、図１２（ａ）に示す例と同様である。
【０１０５】
図１３（ｂ）および図１４（ｂ）には、図１２（ａ）に示す視点１乃至７の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点１乃至７の多視点画像を、その生成順序に並べて示す。なお、図１３（ｂ）および図１４（ｂ）は、図１２（ｂ）に示す例と同様である。
【０１０６】
図１３（ｃ）には、図１３（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１３（ｃ）では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、その生成順序に応じて順次レビュー表示する例を示す。
【０１０７】
図１４（ｃ）には、図１４（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１４（ｃ）では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、代表画像から視点番号の降順に順次レビュー表示させ、この表示後に、視点番号の昇順に順次レビュー表示させる例を示す。
【０１０８】
このように、代表画像を最初にレビュー表示させ、この代表画像の表示後には、合成処理により生成された多視点画像を、所定規則に従って順次レビュー表示させることができる。これにより、最初に、多視点画像の代表画像を迅速に確認することができ、この確認後には、他の多視点画像を容易に確認することができる。
【０１０９】
ここで、例えば、多視点画像を再生する場合には、所望の多視点画像を選択するための選択画面において、多視点画像の代表画像が一覧表示されることが多い。そこで、撮像部２４０による撮像処理が終了した直後には、多視点画像の代表画像をレビュー表示させる。例えば、撮像部２４０による撮像処理が終了した直後に最初にその代表画像がレビュー表示される。このため、再生時に一覧表示される代表画像と同一の画像をレビュー表示時において容易に確認することができる。これにより、再生時における違和感を軽減させることができる。
【０１１０】
また、撮像部２４０による撮像処理が終了した直後に、多視点画像の代表画像を最初に合成してレビュー表示させることにより、左視点画像から代表画像を合成するまでの時間を、ユーザが待つ必要がない。このため、ユーザが、記録対象となる多視点画像を確認するタイミングを早くすることができる。これにより、例えば、記録対象となる多視点画像の確認後に、撮影のキャンセルタイミングが遅れる等の不都合を解消することができる。なお、ユーザの好みに応じて、多視点画像の表示順序を変更するようにしてもよい。以下では、これらの表示遷移例を示す。
【０１１１】
図１５（ｂ）および図１６（ｂ）には、図１２（ａ）に示す視点１乃至７の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点１乃至７の多視点画像を、その生成順序に並べて示す。この例では、被写体に向かって左にある視点（視点１）から右にある視点（視点７）へ昇順となるように、多視点画像の合成処理を行う例を示す。
【０１１２】
図１５（ｃ）には、図１５（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１５（ｃ）では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、その生成順序に応じて順次レビュー表示する例を示す。
【０１１３】
図１６（ｃ）には、図１６（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１６（ｃ）では、図１５（ｃ）に示す例と同様に、視点番号の昇順に多視点画像を順次レビュー表示させた後に、さらに、視点番号の昇順に多視点画像を順次レビュー表示させる例を示す。すなわち、図１６（ｃ）に示す例では、生成された多視点画像のコンテンツ記憶部３００への記録処理が終了するまでの間、視点番号の昇順に多視点画像を順次レビュー表示させる表示動作を繰り返し行う。なお、図１５および図１６に示す例では、視点番号の昇順に多視点画像を順次レビュー表示させる例を示したが、視点番号の降順に多視点画像を順次レビュー表示させるようにしてもよい。
【０１１４】
このように、視点番号の昇順となるように多視点画像の合成処理を行い、この合成処理により生成された多視点画像を順次レビュー表示させることができる。これにより、多視点画像の視点番号の昇順または降順に、多視点画像の代表画像とともに、他の多視点画像を容易に確認することができる。このように、視点番号の昇順または降順にレビュー表示を行うことにより、多視点画像の再生順序に応じて多視点画像の確認を容易に行うことができる。
【０１１５】
なお、図１５および図１６では、視点番号の昇順または降順にレビュー表示を行う例を示したが、多視点画像の合成処理が終了した時点では、代表画像をレビュー表示させることが好ましい。すなわち、最後にレビュー表示される画像を代表画像とすることが好ましい。
【０１１６】
［多視点画像の合成処理の進捗状況通知例］
図１７は、本発明の第１の実施の形態における表示部２８５に表示される多視点画像の合成処理の進捗状況通知情報を模式的に示す図である。図１７では、多視点画像の合成処理の進捗状況通知情報（進捗情報）として、プログレスバーを表示する例を示す。このプログレスバーは、多視点画像の合成処理がどの程度の割合で進行したかを棒状のグラフにより表すものである。また、図１７に示す例では、多視点画像として７視点画像を生成する例を示す。
【０１１７】
図１７（ａ）には、プログレスバー５００を表示する際における表示方法を模式的に示す。例えば、多視点画像の合成処理が行われている間、表示部２８５には、プログレスバー５００が設けられている進捗状況通知画面（例えば、図１９に示す進捗状況通知画面５２０）が表示される。プログレスバー５００は、水平方向の長さがＬ１であるものとする。
【０１１８】
ここで、多視点画像として７視点画像を生成する場合には、表示制御部２８０が、プログレスバー５００における水平方向の長さを７で除算した値を算出し、この算出された値によりプログレスバー５００における７つの矩形領域を設定する。すなわち、プログレスバー５００における水平方向の長さを７で除算した値として、長さＬ１１（＝Ｌ１２乃至Ｌ１７）が算出され、長さＬ１１乃至Ｌ１７に対応する７つの矩形領域が設定される。この矩形領域は、１つの多視点画像の合成処理が終了した際に表示状態を順次変更するための単位となる領域である。
【０１１９】
図１７（ｂ）には、多視点画像の合成処理の遷移を示す。図１７（ｂ）では、縦軸を時間軸とし、合成処理が終了した多視点画像を時間軸に沿って並べて模式的に示す。また、図１７（ｃ）には、図１７（ｂ）に示す合成処理に応じて変更されるプログレスバー５００の表示遷移を示す。また、図１７（ｂ）および（ｃ）に示す例では、図１７（ｂ）に示す多視点画像の合成処理の遷移と、図１７（ｃ）に示す合成処理に応じて変更されるプログレスバー５００の表示遷移とについて、対応する関係を左右に並べて示す。
【０１２０】
例えば、多視点画像の撮像動作が終了した直後には、進捗状況通知画面（例えば、図１９に示す進捗状況通知画面５２０）が表示部２８５に表示される。この進捗状況通知画面が表示された直後には、プログレスバー５００が単一色（例えば、白色）として表示される。続いて、多視点画像の合成処理が開始されて、１つの多視点画像の合成処理が終了した場合には、図１７（ｃ）に示すように、表示制御部２８０が、左端の矩形領域（長さＬ１１に対応する矩形領域）の表示状態を変更する（例えば、グレー色に変更する）。
【０１２１】
また、図１７（ｃ）に示すように、多視点画像の合成処理が終了する毎に、表示制御部２８０が、合成処理が終了した多視点画像の数だけ、左端からの矩形領域（長さＬ１２乃至Ｌ１６に対応する矩形領域）の表示状態を順次変更する。そして、全ての多視点画像の合成処理が終了した場合には、各矩形領域（すなわち、プログレスバー５００の全体）の表示状態を変更する。
【０１２２】
このように、多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更して、多視点画像の合成処理の進捗状況を通知することにより、ユーザがその合成処理の状況を容易に把握することができる。
【０１２３】
なお、この例では、多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更する例を示した。ただし、例えば、合成対象となる多視点画像の数が多い場合には、複数の多視点画像を１単位とし、これらの各多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更するようにしてもよい。例えば、５つの多視点画像を１単位とする場合には、５つ目の多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更する。これにより、プログレスバー５００の表示状態を頻繁に更新し過ぎないようにすることができ、ユーザに見易くさせることができる。
【０１２４】
［２視点画像の合成処理の進捗状況通知画面の表示例］
図１８は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図１８では、多視点画像として２視点画像を記録する場合における進捗状況通知画面の一例を示す。
【０１２５】
図１８（ａ）には、２視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５１０を示す。進捗状況通知画面５１０には、２視点画像のうちの代表画像（例えば、左視点画像）５１３が表示され、この代表画像５１３に重ねて処理中メッセージ５１１が表示される。なお、図１８に示す代表画像５１３については、対応する矩形内に代表画像（左視点画像）の文字を付して簡略して示す。また、図１９乃至図２１に示す表示画像についても同様に、対応する矩形内に各画像を表す文字を付して簡略して示す。
【０１２６】
処理中メッセージ５１１は、２視点画像の合成処理を実行中である旨を示す文字である。なお、進捗状況通知画面５１０には、２視点画像のうちの代表画像の合成処理が終了するまでの間、処理中メッセージ５１１のみが表示される。
【０１２７】
図１８（ｂ）には、２視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５１０を示す。進捗状況通知画面５１０には、２視点画像のうちの代表画像（例えば、左視点画像）５１３が表示され、この代表画像５１３に重ねて処理終了メッセージ５１２が表示される。処理終了メッセージ５１２は、２視点画像の記録処理が終了した旨を示す文字である。
【０１２８】
このように、２視点画像の記録処理が行われる場合には、合成対象となる画像の数が少ないため、その合成処理が比較的早く終了することが想定される。このため、２視点画像の記録処理が行われる場合に表示される進捗状況通知画面には、進捗状況を通知するプログレスバーを表示しないようにすることができる。なお、ユーザの好みに応じてプログレスバーを表示するようにしてもよい。
【０１２９】
［多視点画像（３視点以上）の合成処理の進捗状況通知画面の表示例］
図１９は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図１９では、３以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。
【０１３０】
図１９（ａ）には、多視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５２０を示す。進捗状況通知画面５２０には、多視点画像のうちの代表画像５２４が表示され、この代表画像５２４に重ねて、プログレスバー５２１および処理中メッセージ５２２が表示される。なお、プログレスバー５２１は、図１７に示すプログレスバー５００と同様である。また、処理中メッセージ５２２は、多視点画像の合成処理を実行中である旨を示す文字である。なお、進捗状況通知画面５２０には、多視点画像のうちの代表画像の合成処理が終了するまでの間、プログレスバー５２１および処理中メッセージ５２２のみが表示される。
【０１３１】
図１９（ｂ）および（ｃ）には、多視点画像の合成処理が行われている間に、表示部２８５に表示される進捗状況通知画面５２０を示す。この進捗状況通知画面５２０には、図１９（ａ）と同様に、代表画像５２４、プログレスバー５２１および処理中メッセージ５２２が表示される。ここで、プログレスバー５２１は、図１７（ｃ）に示すように、合成処理が終了した多視点画像の数に応じて、その表示状態が変更される。なお、図１９（ｃ）には、全ての多視点画像の合成処理の終了直後に、表示部２８５に表示される進捗状況通知画面５２０を示す。
【０１３２】
図１９（ｄ）には、多視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５２０を示す。この進捗状況通知画面５２０には、多視点画像のうちの代表画像５２４が表示され、この代表画像５２４に重ねて処理終了メッセージ５２３が表示される。処理終了メッセージ５２３は、多視点画像の記録処理が終了した旨を示す文字である。
【０１３３】
以上では、多視点画像の合成処理が行われている間に、多視点画像の代表画像およびプログレスバーを表示する例を示した。ただし、図１３乃至図１６に示すように、多視点画像の合成処理が行われている間に、多視点画像のうち、代表画像以外の他の画像を順次表示するようにしてもよい。また、プログレスバー以外に他の表示態様により、多視点画像の合成処理の進捗状況通知情報を表示するようにしてもよい。以下では、これらの表示例を示す。
【０１３４】
図２０は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図２０では、３以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。また、図２０に示す例は、図１９の変形例であり、図１９と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
【０１３５】
図２０（ａ）には、多視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５３０を示す。この進捗状況通知画面５３０には、図２０（ａ）と同様に、代表画像５３１、プログレスバー５２１および処理中メッセージ５２２が表示される。
【０１３６】
図２０（ｂ）および（ｃ）には、多視点画像の合成処理が行われている間に、表示部２８５に表示される進捗状況通知画面５３０を示す。この進捗状況通知画面５３０には、図１９（ｂ）および（ｃ）と同様に、プログレスバー５２１および処理中メッセージ５２２が表示されるが、これらの背景に合成処理済の多視点画像５３２および５３３が表示される点が、図１９（ｂ）および（ｃ）と異なる。なお、合成処理済の多視点画像５３２および５３３は、多視点画像のうちの代表画像以外の多視点画像であり、例えば、図１３または図１４に示す順序により表示させることができる。
【０１３７】
図２０（ｄ）には、多視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５３０を示す。この進捗状況通知画面５２０には、図１９（ｄ）と同様に、代表画像５３１および処理終了メッセージ５２３が表示される。このように、多視点画像の記録処理が終了した直後には、代表画像を表示させることが好ましい。
【０１３８】
図２１は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図２１では、３以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。また、図２１に示す例は、図１９の変形例であり、図１９と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
【０１３９】
図２１（ａ）には、多視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５４０を示す。この進捗状況通知画面５４０には、図１９（ａ）と同様に、代表画像５２４、プログレスバー５２１および処理中メッセージ５２２が表示される。ただし、代表画像５２４に重ねて、他の進捗状況通知情報（進捗状況通知情報５４１）が表示される点が図１９（ａ）と異なる。進捗状況通知情報５４１は、多視点画像の合成処理の進捗状況を通知する情報であり、多視点画像の合成処理がどの程度の割合で進行したかを数値により表すものである。図２１に示す例では、合成処理の対象となる多視点画像の全体の数を分母とし、合成処理済の多視点画像の数を分子とする分数により、その進捗状況を通知する進捗状況通知情報５４１を示す。
【０１４０】
図２１（ａ）に示す進捗状況通知画面５４０は、多視点画像の撮像動作が終了した直後に表示されるため、何れの多視点画像の合成処理も終了していない。このため、進捗状況通知情報５４１として「進捗度（０／７）」が表示される。
【０１４１】
図２１（ｂ）および（ｃ）には、多視点画像の合成処理が行われている間に、表示部２８５に表示される進捗状況通知画面５４０を示す。この進捗状況通知画面５４０には、図１９（ｂ）および（ｃ）と同様に、プログレスバー５２１および処理中メッセージ５２２が表示されるが、進捗状況通知情報５４１が表示される点が、図１９（ｂ）および（ｃ）と異なる。なお、多視点画像の合成処理が行われている間に表示されるプログレスバー５２１および進捗状況通知情報５４１については、互いに対応する。
【０１４２】
図２１（ｄ）には、多視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５４０を示す。この進捗状況通知画面５２０には、図１９（ｄ）と同様に、代表画像５３１および処理終了メッセージ５２３が表示される。
【０１４３】
このように、多視点画像の合成処理が行われている間に、プログレスバー５２１および進捗状況通知情報５４１を表示することにより、その進捗状況をさらに容易に把握することができる。なお、この例では、プログレスバー５２１および進捗状況通知情報５４１を同時に表示する例を示したが、進捗状況通知情報５４１のみを表示するようにしてもよい。また、多視点画像の合成処理がどの程度の割合で進行したかを表す他の進捗状況通知情報（多視点画像の合成処理の進捗状況通知情報）を表示するようにしてもよい。他の進捗状況通知情報として、例えば、その割合を数値（％）や円グラフで表示することができる。
【０１４４】
また、図２１では、合成処理の対象となる多視点画像の全体の数を分母とする例を示したが、分母の数が大きい場合には間引きを行い、この間引き後の数値を分母として進捗状況通知情報を表示するようにしてもよい。例えば、分母が１００となる場合には、間引きを行うことにより分母を１０として表示させることができる。この場合には、その間引きに応じて、分子の値についても変更する。
【０１４５】
［撮像装置の動作例］
図２２は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順では、代表画像のみをレビュー表示する例を示す。
【０１４６】
最初に、多視点画像の記録指示操作が行われたか否かが判断され（ステップＳ９０１）、その記録指示操作が行われていない場合には監視を継続して行う。一方、その記録指示操作が行われた場合には（ステップＳ９０１）、撮像画像記録処理が行われる（ステップＳ９１０）。この撮像画像記録処理については、図２３を参照して詳細に説明する。なお、ステップＳ９１０は、特許請求の範囲に記載の撮像手順の一例である。
【０１４７】
続いて、代表画像決定処理が行われる（ステップＳ９２０）。この代表画像決定処理については、図２４を参照して詳細に説明する。続いて、プログレスバー計算処理が行われる（ステップＳ９３０）。このプログレスバー計算処理については、図２５を参照して詳細に説明する。
【０１４８】
続いて、多視点画像が表示部２８５に表示されているか否かが判断され（ステップＳ９０２）、多視点画像が表示部２８５に表示されている場合には、視点ｊ画像生成処理が行われる（ステップＳ９５０）。この視点ｊ画像生成処理については、図２７を参照して詳細に説明する。一方、多視点画像が表示部２８５に表示されていない場合には（ステップＳ９０２）、代表画像生成処理が行われる（ステップＳ９４０）。この代表画像生成処理については、図２６を参照して詳細に説明する。なお、ステップＳ９４０およびＳ９５０は、特許請求の範囲に記載の合成手順の一例である。
【０１４９】
続いて、表示制御部２８０が、合成部２７０により生成された代表画像を表示用に解像度変換し（ステップＳ９０３）、解像度変換された表示用の代表画像を表示部２８５に表示させる（ステップＳ９０４）。
【０１５０】
また、視点ｊ画像生成処理が行われた後に（ステップＳ９５０）、記録制御部２９０が、視点ｊ画像生成処理により生成された複数の多視点画像をＭＰファイルとしてコンテンツ記憶部３００に記録させる（ステップＳ９０５）。
【０１５１】
図２３は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの撮像画像記録処理（図２２に示すステップＳ９１０の処理手順）の一例を示すフローチャートである。
【０１５２】
最初に、撮像部２４０が撮像画像を生成し（ステップＳ９１１）、生成された撮像画像を撮像画像保持部２５０に順次記録させる（ステップＳ９１２）。続いて、撮像動作終了の指示操作が行われた否かが判断され（ステップＳ９１３）、撮像動作終了の指示操作が行われた場合には、撮像画像記録処理の動作を終了する。一方、撮像動作終了の指示操作が行われていない場合には（ステップＳ９１３）、ステップＳ９１１に戻る。
【０１５３】
図２４は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像決定処理（図２２に示すステップＳ９２０の処理手順）の一例を示すフローチャートである。
【０１５４】
最初に、ユーザ操作により設定されている撮像モードが取得される（ステップＳ９２１）。そして、２視点画像撮像モードが設定されているか否かが判断され（ステップＳ９２２）、２視点画像撮像モードが設定されている場合には、制御部２３０が、左視点画像を代表画像として決定する（ステップＳ９２３）。
【０１５５】
一方、２視点画像撮像モードが設定されていない場合（すなわち、３視点以上の多視点画像撮影モードが設定されている場合）には（ステップＳ９２２）、制御部２３０が、設定されている多視点画像撮影モードの視点数を取得する（ステップＳ９２４）。続いて、取得された視点数が奇数であるか否かが判断され（ステップＳ９２５）、取得された視点数が奇数である場合には、制御部２３０が、中央画像を代表画像として決定する（ステップＳ９２６）。
【０１５６】
一方、取得された視点数が偶数である場合には（ステップＳ９２５）、制御部２３０が、中央近傍の２つの画像のうち、左側の画像を代表画像として決定する（ステップＳ９２７）。
【０１５７】
図２５は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちのプログレスバー計算処理（図２２に示すステップＳ９３０の処理手順）の一例を示すフローチャートである。
【０１５８】
最初に、制御部２３０が、設定されている多視点画像撮像モードの視点数を取得し（ステップＳ９３１）、１視点あたりの記録時間を取得する（ステップＳ９３２）。続いて、制御部２３０が、取得された視点数と、１視点あたりの記録時間とに基づいて、全ての視点数の記録時間を算出する（ステップＳ９３３）。
【０１５９】
続いて、算出された全ての視点数の記録時間が規定値以上であるか否かが判断される（ステップＳ９３４）。算出された全ての視点数の記録時間が規定値以上である場合には（ステップＳ９３４）、制御部２３０が、取得された視点数に基づいて、プログレスバーの表示領域を算出する（ステップＳ９３５）。この場合に、例えば、合成対象となる多視点画像の数が多い場合には、複数の多視点画像を１単位とし、これらの各単位に対応する各多視点画像の合成処理が終了する毎に、プログレスバーの表示状態を変更する設定とする。続いて、表示制御部２８０が、プログレスバーを表示部２８５に表示させる（ステップＳ９３６）。なお、ステップＳ９３６は、特許請求の範囲に記載の制御手順の一例である。
【０１６０】
また、算出された全ての視点数の記録時間が規定値未満である場合には（ステップＳ９３４）、制御部２３０が、プログレスバーを表示しないことを決定する（ステップＳ９３７）。この場合には、表示部２８５にプログレスバーが表示されない。
【０１６１】
図２６は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像生成処理（図２２に示すステップＳ９４０の処理手順）の一例を示すフローチャートである。
【０１６２】
最初に、合成部２７０が、制御部２３０から出力された解析結果に基づいて、撮像画像保持部２５０に保持されている各撮像画像における取出領域（短冊領域）の位置およびサイズを算出する（ステップＳ９４１）。続いて、合成部２７０が、算出された取出領域の位置およびサイズに基づいて、撮像画像保持部２５０に保持されている各撮像画像から短冊画像を取得する（ステップＳ９４２）。
【０１６３】
続いて、合成部２７０が、各撮像画像から取得された短冊画像を合成して代表画像を生成する（ステップＳ９４３）。この場合に、合成部２７０は、移動量検出部２６０から出力された移動量および移動方向に基づいて、その取得された画像を重ねて合成して代表画像を生成する。
【０１６４】
続いて、合成部２７０が、生成された代表画像について記録用に解像度変換を行い（ステップＳ９４４）、合成処理が終了した代表画像の視点番号を取得する（ステップＳ９４５）。続いて、プログレスバーの更新が必要か否かが判断される（ステップＳ９４６）。例えば、複数の多視点画像を１単位としてプログレスバーの表示状態を変更する設定がされている場合には、これらの各単位に対応する各多視点画像の合成処理が終了するまでの間、プログレスバーの更新が不要であると判断される。そして、プログレスバーの更新が必要である場合には（ステップＳ９４６）、表示制御部２８０がプログレスバーの表示状態を変更し（ステップＳ９４７）、代表画像生成処理の動作を終了する。一方、プログレスバーの更新が不要である場合には（ステップＳ９４６）、代表画像生成処理の動作を終了する。
【０１６５】
図２７は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの視点ｊ画像生成処理（図２２に示すステップＳ９５０の処理手順）の一例を示すフローチャートである。
【０１６６】
最初に、ｊ＝１とされる（ステップＳ９５１）。続いて、合成部２７０が、ステップＳ９４１で算出された取出領域（短冊領域）のサイズを用いて、短冊位置ズラシ量βを算出する（ステップＳ９５２）。続いて、合成部２７０が、算出された短冊位置ズラシ量βを用いて、視点ｊのずらし量（例えば、式５に示すＭＱｊ）を算出する（ステップＳ９５３）。
【０１６７】
続いて、合成部２７０が、算出された視点ｊのずらし量、取出領域の位置およびサイズに基づいて、撮像画像保持部２５０に保持されている各撮像画像から短冊画像を取得する（ステップＳ９５４）。
【０１６８】
続いて、合成部２７０が、各撮像画像から取得された短冊画像を合成して視点ｊ画像（多視点画像）を生成する（ステップＳ９５５）。この場合に、合成部２７０は、移動量検出部２６０から出力された移動量および移動方向に基づいて、その取得された画像を重ねて合成して視点ｊ画像を生成する。
【０１６９】
続いて、合成部２７０が、生成された視点ｊ画像について記録用に解像度変換を行い（ステップＳ９５６）、合成処理が終了した視点ｊ画像の視点番号を取得する（ステップＳ９５７）。続いて、プログレスバーの更新が必要か否かが判断され（ステップＳ９５８）、プログレスバーの更新が必要である場合には、表示制御部２８０がプログレスバーの表示状態を変更する（ステップＳ９５９）。一方、プログレスバーの更新が不要である場合には（ステップＳ９５８）、ステップＳ９６０に進む。
【０１７０】
続いて、記録制御部２９０が、解像度変換がされた視点ｊ画像をエンコードし（ステップＳ９６０）、エンコードされた視点ｊ画像をＭＰファイルに記録する（ステップＳ９６１）。続いて、視点ｊが最後の視点であるか否かが判断され（ステップＳ９６２）、視点ｊが最後の視点である場合には、視点ｊ画像生成処理の動作をする。一方、視点ｊが最後の視点でない場合には（ステップＳ９６２）、ｊをインクリメントし（ステップＳ９６３）、視点ｊ画像が代表画像であるか否かが判断される（ステップＳ９６４）。視点ｊ画像が代表画像である場合には（ステップＳ９６４）、ステップＳ９６０に戻り、視点ｊ画像が代表画像でない場合には、ステップＳ９５３に戻る。
【０１７１】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、一連の撮像動作により生成された複数の画像を所定規則に基づいて表示する例を示した。ここで、多視点画像撮影モードにおける多視点画像の撮像動作が終了した後にその撮像動作により生成された多視点画像を確認する場合に、ユーザが特定視点の多視点画像の表示を所望することも想定される。そこで、本発明の第２の実施の形態では、多視点画像の撮像動作が終了した後に、表示対象となる画像を撮像装置の姿勢に応じて変化させて表示させる例を示す。なお、本発明の第２の実施の形態における撮像装置の構成については、ＬＣＤ１７２の代わりに入出力パネル７１０を設けた点以外は、図１および図１１に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１７２】
［撮像装置の外観構成例およびその使用例］
図２８は、本発明の第２の実施の形態における撮像装置７００の外観構成例およびその使用時における姿勢の一例を示す図である。撮像装置７００は、入出力パネル７１０を備える。
【０１７３】
入出力パネル７１０は、各種画像を表示するとともに、入出力パネル７１０における接触操作を検出することによりユーザからの操作入力を受け付けるものである。すなわち、入出力パネル７１０はタッチパネルを備え、このタッチパネルは、例えば、表示パネルの画面を透過するように表示パネルに重ねて配置され、表示面に接触する物体を検出することによりユーザからの操作入力を受け付ける。
【０１７４】
なお、撮像装置７００には、電源スイッチ、モード切替スイッチ等の他の操作部材やレンズ部等が備えられているが、説明の容易のため、ここでの図示および説明は省略する。また、光学ユニット１１２は、その一部が撮像装置７００に内蔵されている。
【０１７５】
図２８（ａ）には、撮像装置７００を用いて多視点画像のレビュー表示を行う場合における撮像装置７００の姿勢の一例を示す。例えば、人物８００が、多視点画像の撮像動作の終了後に、撮像装置７００を用いて多視点画像の表示を行う場合には、撮像装置７００を両手で持った状態で、入出力パネル７１０に表示される画像を見ることができる。
【０１７６】
図２８（ｂ）には、撮像装置７００の姿勢を変化させる場合におけるその遷移例を示す。なお、図２８（ｂ）は、図２８（ａ）に示す状態を上面から見た場合を簡略化して示す例である。
【０１７７】
ここで、撮像装置７００の姿勢の変化について説明する。例えば、ユーザが撮像装置７００を手に持った状態で、直交３軸周りの回転角（すなわち、ヨー角、ピッチ角、ロール角）を変化させることができる。例えば、図２８（ｂ）に示す撮像装置７００の状態で、垂直方向を軸とする矢印７０１方向に撮像装置７００の姿勢を変化（ヨー角の変化）させることができる。また、例えば、図２８（ｂ）に示す撮像装置７００の状態で、水平方向を軸とする回転方向に撮像装置７００の姿勢を変化（ピッチ角の変化）させることができる。また、例えば、図２８（ｂ）に示す撮像装置７００の状態で、人物８００の前後方向を軸とする回転矢印方向に撮像装置７００の姿勢を変化（ロール角の変化）させることができる。
【０１７８】
なお、本発明の第２の実施の形態では、図２８（ｂ）に示すように撮像装置７００の姿勢を変化させることにより、入出力パネル７１０にレビュー表示される画像を順次変更する例を示す。すなわち、ユーザによるジェスチャー操作により、入出力パネル７１０にレビュー表示される画像を順次変更する例を示す。
【０１７９】
［回転角度への関連付け例］
図２９は、本発明の第２の実施の形態における撮像装置７００を用いて生成された複数の多視点画像と、これらをレビュー表示させる際における撮像装置７００の傾き角度との関係を模式的に示す図である。この例では、５視点の多視点画像が生成された場合を例にして説明する。
【０１８０】
図２９（ａ）には、撮像装置７００を用いて生成された複数の多視点画像（視点１乃至視点５）を簡略化して示す。
【０１８１】
図２９（ｂ）には、図２９（ａ）に示す複数の多視点画像（視点１乃至視点５）の撮像動作が終了した後に、これらの各多視点画像をレビュー表示する場合における撮像装置７００の遷移例を示す。なお、図２９（ｂ）では、撮像装置７００の底面（すなわち、シャッターボタン１８３が設けられている面の反対側の面）側の外観を示す。
【０１８２】
また、図２９（ｂ）では、撮像装置７００の遷移に対応する撮像装置７００の操作範囲（回転角度の全範囲（角度Ｖ））を模式的に示す。なお、角度Ｖは、ユーザが表示画面を見ることが可能な角度とすることが好ましく、例えば、１８０度とすることができる。
【０１８３】
また、図２９（ｂ）では、図２８（ｂ）に示す矢印７０１方向に撮像装置７００を回転させてその姿勢を変化させることにより多視点画像の表示状態を変更する例を示す。この場合における多視点画像の表示状態を変更する際に基準となる傾け角度（基準角度）をγとする。この傾け角度γは、多視点画像の数に応じて適宜設定するようにしてもよく、ユーザの好みに応じてユーザ操作により設定するようにしてもよい。この傾け角度γは、例えば、４５度とすることができる。
【０１８４】
また、図２９（ａ）に示す多視点画像（視点１乃至５）と、図２９（ｂ）に示す撮像装置７００（傾け角度γ単位で傾けた状態７３１乃至７３５の撮像装置７００）とについて、矢印で結んで関連付けて示す。このように、生成された多視点画像（視点１乃至５）を、傾け角度γ単位で傾けた各状態に適切に割り当てる。なお、撮像装置７００を傾けることにより多視点画像の表示変更を変更する操作については、図３０を参照して詳細に説明する。
【０１８５】
図３０は、本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。図３０（ａ）には、図２９（ａ）に示す多視点画像（視点１乃至視点５）の撮像動作が終了した直後における入出力パネル７１０の表示例を示す。例えば、本発明の第１の実施の形態で示したように、多視点画像（視点１乃至視点５）の撮像動作が終了した直後には、視点３の多視点画像が代表画像として入出力パネル７１０に表示される。
【０１８６】
図３０（ａ）に示す表示画面には、視点３の多視点画像が表示され、この多視点画像に重ねて、決定ボタン７５１と、撮り直しボタン７５２と、操作支援情報７５３および７５４と、メッセージ７５５とが表示される。なお、図３０（ａ）および（ｂ）に示す表示画面に表示される多視点画像については、対応する文字を括弧内に付して簡略化して示す。
【０１８７】
決定ボタン７５１は、入出力パネル７１０に表示されている多視点画像（代表画像候補）を代表画像として新たに決定する際に押下されるボタンである。すなわち、決定ボタン７５１が押下された場合には、この押下操作時に入出力パネル７１０に表示されていた多視点画像が新たな代表画像として決定される。そして、記録制御部２９０は、その決定された新たな代表画像を示す代表画像情報と、多視点画像の順序関係（例えば、視点番号）とを、生成された多視点画像に関連付けて、その多視点画像をＭＰファイルとして記録媒体に記録させる。
【０１８８】
撮り直しボタン７５２は、例えば、多視点画像の撮像動作を新たに行う場合に押下されるボタンである。すなわち、入出力パネル７１０に表示された多視点画像を確認した後に、多視点画像の撮り直しを行う必要があるとユーザ判断した場合には、撮り直しボタン７５２を押下することにより、迅速に撮り直しを行うことができる。
【０１８９】
操作支援情報７５３および７５４は、入出力パネル７１０に表示されている多視点画像を変更するための操作を支援するための操作ガイドである。メッセージ７５５は、その操作および代表画像の決定操作を支援するための操作ガイドである。
【０１９０】
図３０（ｂ）には、図３０（ａ）に示す状態から人物８００が撮像装置７００を右側にγ度以上傾けた場合における入出力パネル７１０の表示例を示す。
【０１９１】
例えば、図３０（ａ）に示すように、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が他の多視点画像の表示を所望することが考えられる。例えば、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を右側にγ度以上傾けた場合には、図３０（ｂ）に示すように、視点４の多視点画像が入出力パネル７１０にレビュー表示される。さらに、例えば、入出力パネル７１０に視点４の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を右側にγ度以上傾けた場合には、視点５の多視点画像が入出力パネル７１０にレビュー表示される。
【０１９２】
また、例えば、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を左側にγ度以上傾けた場合には、視点２の多視点画像が入出力パネル７１０にレビュー表示される。さらに、例えば、入出力パネル７１０に視点２の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を左側にγ度以上傾けた場合には、視点１の多視点画像が入出力パネル７１０にレビュー表示される。このように、撮像装置７００を傾ける操作により代表画像以外の多視点画像を代表画像候補として入出力パネル７１０にレビュー表示させることができる。
【０１９３】
また、撮像装置７００を傾ける操作により代表画像候補が入出力パネル７１０にレビュー表示されている状態で、決定ボタン７５１が押下されると、その代表画像候補が新たな代表画像として決定される。例えば、撮像装置７００を傾ける操作により視点２の多視点画像が入出力パネル７１０にレビュー表示されている状態で、決定ボタン７５１が押下されると、視点３の多視点画像の代わりに、視点２の多視点画像が新たな代表画像として決定される。
【０１９４】
ここで、例えば、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を何れかの方向にγ度以上傾けた場合には、他の多視点画像がレビュー表示される。この場合に、合成部２７０が、表示対象となる多視点画像の合成処理を終了していないことも想定される。そこで、撮像装置７００を傾ける操作により表示対象画像が変更される場合において、表示対象となる多視点画像の合成処理が終了していない場合には、他の多視点画像よりもその表示対象となる多視点画像の合成処理を優先して行うようにする。すなわち、撮像装置７００を傾ける操作による表示対象画像の変更が行われない場合には、本発明の第１の実施の形態と同様の順序で合成処理を順次行う。一方、撮像装置７００を傾ける操作により表示対象画像が変更され、表示対象となる多視点画像の合成処理が終了していない場合には、合成部２７０が、その表示対象となる多視点画像の合成処理を優先して行う。
【０１９５】
これにより、ユーザが所望する多視点画像を撮像装置７００の傾きに応じて容易に迅速にレビュー表示させることができる。このため、ユーザが多視点画像を確認する場合に、その確認を容易に行うことができる。また、決定ボタン７５１の押下により、所望の多視点画像を代表画像として決定することができる。
【０１９６】
なお、図３０に示す例では、プログレスバーの表示を省略した表示例を示したが、多視点画像とともにプログレスバーを表示するようにしてもよい。このように多視点画像とともにプログレスバーを表示する例を図３１に示す。
【０１９７】
図３１は、本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。図３１は、図３０（ａ）および（ｂ）に示す各表示画面に、プログレスバー７５６を設けた例であり、他のプログレスバー７５６を設けた点以外は、図３０（ａ）および（ｂ）に示す例と同様である。なお、プログレスバー７５６における表示状態の変更等については、本発明の第１の実施の形態における表示状態と同様である。
【０１９８】
すなわち、姿勢検出部２２０が、代表画像が入出力パネル７１０に表示された際における撮像装置７００の姿勢を基準として撮像装置７００の姿勢の変化を検出する。そして、制御部２３０が、入出力パネル７１０に代表画像を表示させた後に、その検出された姿勢の変化と、所定規則とに基づいて、多視点画像（代表画像候補）を入出力パネル７１０に順次表示させる制御を行う。ここで、所定規則は、例えば、図２９（ａ）に示す多視点画像（視点１乃至５）と、図２９（ｂ）に示す状態７３１乃至７３５（傾け角度γ単位で傾けた状態７３１乃至７３５）との関連付けを意味する。
【０１９９】
なお、本発明の第２の実施の形態では、入出力パネル７１０に最初に代表画像を表示する例を示すが、撮像部２４０による複数の撮像画像の生成処理が終了した直後における姿勢の変化に基づいて、最初に表示される多視点画像を決定するようにしてもよい。すなわち、姿勢検出部２２０が、撮像部２４０による複数の撮像画像の生成処理が終了した直後における撮像装置７００の姿勢を基準として撮像装置７００の姿勢の変化を検出する。そして、制御部２３０が、その検出された姿勢の変化に応じた順序（視点）に対応する多視点画像を入出力パネル７１０に最初に代表画像として表示させるようにしてもよい。この場合に、表示対象となる多視点画像の合成処理を終了していない場合には、合成部２７０が、その表示対象となる多視点画像の合成処理を優先して行う。
【０２００】
また、本発明の第２の実施の形態では、代表画像候補を表示させるための操作方法として、撮像装置７００を傾ける操作方法を用いる例を示したが、キーボタン等の操作部材を用いて代表画像候補を表示させるようにしてもよい。
【０２０１】
また、本発明の第２の実施の形態では、ユーザ操作により代表画像候補を表示させて代表画像を決定する例を示した。ただし、本発明の第１の実施の形態で示したように、自動で多視点画像が順次表示される場合に、この表示されている多視点画像のうちから、ユーザ操作により代表画像を決定するようにしてもよい。この場合には、例えば、所望の多視点画像が表示されている場合に、決定ボタン等の操作部材を用いた決定操作により代表画像の決定を行うことができる。
【０２０２】
［撮像装置の動作例］
図３２および図３３は、本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順は、図２７（図２２に示すステップＳ９５０の処理手順）の変形例である。このため、図２７に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。また、この処理手順では、自動で順次表示される多視点画像のうちから、ユーザ操作により代表画像を決定する例を示す。
【０２０３】
エンコードされた視点ｊ画像がＭＰファイルに記録された後に（ステップＳ９６１）、表示制御部２８０が、合成部２７０により生成された視点ｊ画像を表示用に解像度変換する（ステップＳ９７１）。続いて、表示制御部２８０が、解像度変換された表示用の視点ｊ画像を表示部２８５に表示させる（ステップＳ９７２）。
【０２０４】
続いて、代表画像の決定操作が行われたか否かが判断され（ステップＳ９７３）、代表画像の決定操作が行われた場合には、制御部２３０が、表示部２８５に表示されている視点ｊ画像を新たな代表画像として決定する（ステップＳ９７４）。一方、代表画像の決定操作が行われていない場合には（ステップＳ９７３）、ステップＳ９６２に進む。
【０２０５】
図３４および図３５は、本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順は、図３２および図３３（図２２に示すステップＳ９５０の処理手順）の変形例である。このため、図３２および図３３に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。また、この処理手順では、ユーザ操作により代表画像候補を表示させて代表画像を決定する例を示す。
【０２０６】
短冊位置ズラシ量βが算出された後に（ステップＳ９５２）、撮像装置７００の姿勢が一定以上変化したか否かが判断され（ステップＳ９８１）、撮像装置７００の姿勢が一定以上変化していない場合には、ステップＳ９８５に進む。一方、撮像装置７００の姿勢が一定以上変化した場合には（ステップＳ９８１）、その変化に対応する視点ｊが設定される（ステップＳ９８２）。続いて、視点ｊの多視点画像が合成処理済であるか否かが判断され（ステップＳ９８３）、視点ｊの多視点画像が合成処理済である場合には、視点ｊの多視点画像が記録処理済であるか否かが判断される（ステップＳ９８４）。ここで、視点ｊの多視点画像が合成処理済である場合は、例えば、短冊画像の合成により生成された視点ｊ画像（多視点画像）について、記録用の解像度変換が行われている場合である（例えば、図９に示す視点ｊ画像（最終画像）４２０）。また、視点ｊの多視点画像が記録処理済である場合は、例えば、エンコードがされた視点ｊ画像（多視点画像）がＭＰファイルに記録されている場合である（例えば、図９に示すＭＰファイルに記録されている場合）。
【０２０７】
また、視点ｊの多視点画像が合成処理済でない場合には（ステップＳ９８３）、ステップＳ９５３に進む。また、視点ｊの多視点画像が記録処理済である場合には（ステップＳ９８４）、ステップＳ９７１に進み、視点ｊの多視点画像が記録処理済でない場合には、ステップＳ９８５に進む。
【０２０８】
また、ステップＳ９８５において、視点（ｊ−１）画像が記録処理済であるか否かが判断され、視点（ｊ−１）画像が記録処理済である場合には、ステップＳ９６０に進む。一方、視点（ｊ−１）画像が記録処理済でない場合には（ステップＳ９８５）、ステップＳ９７１に進む。
【０２０９】
また、撮像装置７００の姿勢が一定以上変化していない場合には（ステップＳ９８１）、ｊ＝０とされ（ステップＳ９８６）、ｊがインクリメントされる（ステップＳ９８７）。続いて、視点ｊの多視点画像が合成処理済であるか否かが判断され（ステップＳ９８８）、視点ｊの多視点画像が合成処理済である場合には、視点ｊの多視点画像が記録処理済であるか否かが判断される（ステップＳ９８９）。視点ｊの多視点画像が記録処理済である場合には（ステップＳ９８９）、ステップＳ９８７に戻り、視点ｊの多視点画像が記録処理済でない場合には、ステップＳ９８５に戻る。また、視点ｊの多視点画像が合成処理済でない場合には（ステップＳ９８８）、ステップＳ９５３に戻る。
【０２１０】
また、多視点画像の記録処理が全て終了した場合には（ステップＳ９９０）、視点ｊ画像生成処理の動作を終了する。一方、多視点画像の記録処理が全て終了していない場合には（ステップＳ９９０）、ステップＳ９８１に戻る。
【０２１１】
なお、本発明の実施の形態では、時系列で連続する複数の撮像画像を用いて多視点画像を生成する場合におけるレビュー表示の表示例を示した。ただし、時系列で連続する複数の撮像画像を用いて連写画像を生成する場合において、その連写画像についてレビュー表示を行う場合に本発明の実施の形態を適用することができる。例えば、連写モードが設定されている場合に、撮像部２４０が、時系列で連続する複数の撮像画像（例えば、１５枚）を生成する。そして、記録制御部２９０が、その生成された複数の撮像画像のうちの少なくとも一部（または全部）を所定規則に基づく順序関係を付与して互いに関連付けてコンテンツ記憶部３００に記録させる。すなわち、時系列で連続する複数の撮像画像が、その生成順序に応じた順序関係が付与されて互いに関連付けて、連写画像の画像ファイルとして記録される。この場合に、制御部２３０が、撮像部２４０による複数の撮像画像の生成処理が終了した後に、その記録対象となる複数の撮像画像のうち所定順序となる撮像画像（例えば、真ん中の画像（７枚目の画像））を代表画像として表示部２８５に表示させる制御を行う。
【０２１２】
また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置等の撮像装置に本発明の実施の形態を適用することができる。
【０２１３】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２１４】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２１５】
１００、７００ 撮像装置
１０１ バス
１１０ 撮像部
１１１ 撮像素子
１１２ 光学ユニット
１１５ ジャイロセンサ
１２０ 解像度変換部
１３０ 画像圧縮伸張部
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＣＰＵ
１７１ ＬＣＤコントローラ
１７２ ＬＣＤ
１８１ 入力制御部
１８２ 操作部
１８３ シャッターボタン
１９１ リムーバブルメディアコントローラ
１９２ リムーバブルメディア
２１０ 操作受付部
２２０ 姿勢検出部
２３０ 制御部
２４０ 撮像部
２５０ 撮像画像保持部
２６０ 移動量検出部
２７０ 合成部
２８０ 表示制御部
２８５ 表示部
２９０ 記録制御部
３００ コンテンツ記憶部
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、画像を表示させる撮像装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物や動物等の被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、記録対象となる画像を撮像動作の終了時に表示部に表示させることによりその画像コンテンツを確認することが可能な撮像装置が提案されている（いわゆる、レビュー表示）。
【０００３】
また、複数の画像を一連の撮像動作により生成し、この生成された複数の画像を関連付けて記録する撮像装置が存在する。例えば、連写撮影により生成された複数の画像を関連付けて記録する撮像装置が存在する。このように記録された複数の画像を再生する場合には、例えば、連写撮影単位で設定される代表画像を一覧表示させ、この一覧表示されている代表画像のうちから所望の代表画像を選択する。そして、この選択された代表画像に対応する複数の画像を表示させることができる。
【０００４】
例えば、一覧表示の対象となる連写画像の数に応じて各連写画像の表示サイズを調整し、この調整後の表示サイズにより複数の連写画像を一覧表示する画像表示装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２９６３８０号公報（図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、調整後の表示サイズにより複数の連写画像を一覧表示するため、各連写画像を同時に一覧表示させることができる。
【０００７】
ここで、一連の撮像動作により生成された複数の画像を関連付けて記録する撮像装置を用いて撮像動作を行う場合を想定する。この撮像装置を用いて一連の撮像動作を行う場合において、この撮像動作の終了後に、この撮像動作により生成された複数の画像を確認する場合には、これらの各画像のうちの少なくとも一部をレビュー表示させることが考えられる。
【０００８】
ここで、例えば、旅行先の観光地において撮影を行うような場合には、各人物が移動してしまうことがあるため、撮影タイミングが重要となる。このため、一連の撮像動作の終了後にその構図および所望の被写体の確認を迅速に行うことが重要である。そこで、例えば、上述したように、一連の撮像動作の終了後に、この撮像動作により生成された複数の画像のうちの少なくとも一部をレビュー表示させることが考えられる。
【０００９】
このように、一連の撮像動作の終了後に表示を行うことにより、この撮像動作により生成された複数の画像を確認することができるが、生成対象となる画像の数が多い場合には、その処理時間が比較的長くなることが想定される。このように複数の画像の生成に関する処理時間が長くなった場合にその進捗状況を把握することができないと、次の撮像動作の準備等を適切に行うことができないおそれがある。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、一連の撮像動作により複数の合成画像を生成する場合にその生成に関する進捗状況を容易に把握することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像部と、上記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成部と、上記撮像部による上記複数の撮像画像の生成処理が終了した後に上記合成部による上記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御部とを具備する撮像装置およびその表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、被写体を撮像して時系列で連続する複数の撮像画像を生成し、この生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い、所定規則に基づく順序関係を有する複数の合成画像を生成し、複数の撮像画像の生成処理が終了した後に、合成画像の生成の進捗に関する情報を進捗情報として表示させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記合成部は、上記複数の合成画像として多視点画像を生成し、上記制御部は、上記撮像部による上記複数の撮像画像の生成処理が終了した直後に上記多視点画像のうち中央画像またはこれに近接する画像を上記代表画像として上記進捗情報とともに上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の撮像画像の生成処理が終了した直後に、多視点画像のうち中央画像またはこれに近接する画像を代表画像として進捗情報とともに表示させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記制御部は、上記合成部による生成対象となる上記複数の合成画像の全体数に対する上記合成部により生成された合成画像の数に基づいて上記進捗情報を表示させる制御を行うようにしてもよい。これにより、合成部による生成対象となる複数の合成画像の全体数に対する、合成部により生成された合成画像の数に基づいて、進捗情報を表示させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記制御部は、上記合成部による上記合成画像の生成がどの程度の割合で進行したかを棒状のグラフにより表すプログレスバーを上記進捗情報として表示させる制御を行うようにしてもよい。これにより、合成部による合成画像の生成がどの程度の割合で進行したかを棒状のグラフにより表すプログレスバーを表示させるという作用をもたらす。
【００１５】
また、この第１の側面において、上記制御部は、上記撮像部による上記複数の撮像画像の生成処理が終了した直後に上記進捗情報を上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の撮像画像の生成処理が終了した直後に、進捗情報を表示させるという作用をもたらす。
【００１６】
また、この第１の側面において、上記制御部は、上記生成された合成画像のうちの少なくとも一部を上記進捗情報とともに上記表示部に順次表示させる制御を行うようにしてもよい。これにより、生成された合成画像のうちの少なくとも一部を進捗情報とともに順次表示させるという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記生成された合成画像のうち所定順序となる合成画像を代表画像として上記表示部に最初に表示させる制御を行うようにしてもよい。これにより、生成された合成画像のうち所定順序となる合成画像を代表画像として最初に表示させるという作用をもたらす。
【００１８】
また、この第１の側面において、上記代表画像を示す代表画像情報および上記順序関係を上記生成された複数の合成画像に関連付けて上記生成された複数の合成画像を記録媒体に記録させる記録制御部をさらに具備するようにしてもよい。これにより、代表画像を示す代表画像情報および順序関係を、生成された複数の合成画像に関連付けて、その複数の合成画像を記録媒体に記録させるという作用をもたらす。
【００１９】
また、この第１の側面において、上記記録制御部は、上記代表画像情報および上記順序関係が関連付けられた上記生成された複数の合成画像をＭＰファイルとして上記記録媒体に記録させるようにしてもよい。これにより、代表画像情報および順序関係が関連付けられた複数の合成画像をＭＰファイルとして記録媒体に記録させるという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、一連の撮像動作により複数の合成画像を生成する場合にその生成に関する進捗状況を容易に把握することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態におけるリムーバブルメディア１９２に記憶されている画像ファイルを模式的に示す図である。
【図３】本発明の第１の実施の形態における撮像装置１００による多視点画像の撮影モードを設定する設定画面の表示例を示す図である。
【図４】本発明の第１の実施の形態における撮像装置１００を用いて多視点画像を生成する際における撮像動作例と、この撮像動作の進捗状況の通知例とを模式的に示す図である。
【図５】本発明の第１の実施の形態における撮像装置１００による多視点画像の生成時における撮像動作例と、これにより生成された複数の撮像画像の流れの一例とを模式的に示す図である。
【図６】本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。
【図７】本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。
【図８】本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。
【図９】本発明の第１の実施の形態における撮像装置１００により生成された多視点画像がリムーバブルメディア１９２に記録されるまでの流れを模式的に示す図である。
【図１０】本発明の第１の実施の形態における撮像装置１００により生成される多視点画像のうちの代表画像が表示されるまでの流れを模式的に示す図である。
【図１１】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図１２】本発明の第１の実施の形態における表示部２８５に表示される代表画像の表示例を示す図である。
【図１３】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１４】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１５】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１６】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。
【図１７】本発明の第１の実施の形態における表示部２８５に表示される多視点画像の合成処理の進捗状況通知情報を模式的に示す図である。
【図１８】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図１９】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図２０】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図２１】本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。
【図２２】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図２３】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの撮像画像記録処理の一例を示すフローチャートである。
【図２４】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像決定処理の一例を示すフローチャートである。
【図２５】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちのプログレスバー計算処理の一例を示すフローチャートである。
【図２６】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像生成処理の一例を示すフローチャートである。
【図２７】本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの視点ｊ画像生成処理の一例を示すフローチャートである。
【図２８】本発明の第２の実施の形態における撮像装置７００の外観構成例およびその使用時における姿勢の一例を示す図である。
【図２９】本発明の第２の実施の形態における撮像装置７００を用いて生成された複数の多視点画像と、これらをレビュー表示させる際における撮像装置７００の傾き角度との関係を模式的に示す図である。
【図３０】本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。
【図３１】本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。
【図３２】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図３３】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図３４】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【図３５】本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示制御：多視点画像の撮像動作の終了後に代表画像および進捗状況通知情報を表示させる例）
２．第２の実施の形態（表示制御：装置の姿勢の変化に応じて多視点画像の代表画像候補を順次レビュー表示させて代表画像を決定する例）
【００２３】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。撮像装置１００は、撮像部１１０と、ジャイロセンサ１１５と、解像度変換部１２０と、画像圧縮伸張部１３０とを備える。また、撮像装置１００は、ＲＯＭ（Read Only Memory）１４０と、ＲＡＭ（Random Access Memory）１５０と、ＣＰＵ（Central Processing Unit）１６０とを備える。また、撮像装置１００は、ＬＣＤ（Liquid Crystal Display）コントローラ１７１と、ＬＣＤ１７２と、入力制御部１８１と、操作部１８２と、リムーバブルメディアコントローラ１９１と、リムーバブルメディア１９２とを備える。なお、撮像装置１００を構成する各部の間で行われるやりとりは、バス１０１を介して行われる。撮像装置１００は、例えば、被写体を撮像して複数の画像データ（撮像画像）を生成し、これらの複数の画像データについて各種画像処理を行うことが可能なデジタルスチルカメラにより実現することができる。
【００２４】
撮像部１１０は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像データ（撮像画像）を生成するものであり、生成された画像データをＲＡＭ１５０に供給する。具体的には、撮像部１１０は、光学ユニット１１２（図７に示す）、撮像素子１１１（図７に示す）および信号処理部（図示せず）を備える。光学ユニットは、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、これらのレンズおよびアイリスを介して入射された被写体からの光が撮像素子に供給される。また、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像処理を行い、撮像信号を信号処理部に出力する。そして、その撮像信号に対して信号処理部が信号処理を行うことにより画像データが生成され、この生成された画像データがＲＡＭ１５０に順次供給されて一時的に保持される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。
【００２５】
ジャイロセンサ１１５は、撮像装置１００の角速度を検出するものであり、検出された角速度をＣＰＵ１６０に出力する。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、ＣＰＵ１６０が撮像装置１００の姿勢の変化を検出するようにしてもよい。
【００２６】
解像度変換部１２０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
【００２７】
画像圧縮伸張部１３０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部１３０は、例えば、入力された各種画像データをＪＰＥＧ（Joint Photographic Experts Group）形式の画像データに圧縮または伸張する。
【００２８】
ＲＯＭ１４０は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
【００２９】
ＲＡＭ１５０は、ＣＰＵ１６０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１６０において実行されるプログラムの作業領域等を備え、ＣＰＵ１６０が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、ＲＡＭ１５０は、各種の画像処理のための画像保存領域を備える。
【００３０】
ＣＰＵ１６０は、ＲＯＭ１４０に記憶されている各種制御プログラムに基づいて、撮像装置１００の各部を制御するものである。また、ＣＰＵ１６０は、操作部１８２により受け付けられた操作入力等に基づいて撮像装置１００の各部を制御する。
【００３１】
ＬＣＤコントローラ１７１は、ＣＰＵ１６０からの制御信号に基づいて、各種画像データをＬＣＤ１７２に表示させるものである。
【００３２】
ＬＣＤ１７２は、ＬＣＤコントローラ１７１から供給された各種画像データに対応する画像を表示する表示部である。ＬＣＤ１７２は、例えば、撮像部１１０により生成された画像データに対応する撮像画像を順次表示する（いわゆる、モニタリング表示）。また、ＬＣＤ１７２は、例えば、リムーバブルメディア１９２に記憶されている画像ファイルに対応する画像を表示する。なお、ＬＣＤ１７２の代わりに、例えば、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いるようにしてもよい。また、表示パネルとして、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
【００３３】
入力制御部１８１は、ＣＰＵ１６０からの指示に基づいて、操作部１８２により受け付けられる操作入力に関する制御を行うものである。
【００３４】
操作部１８２は、ユーザにより操作された操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた信号をＣＰＵ１６０に出力する。例えば、多視点画像を記録するための多視点画像撮影モードにおいて、多視点画像を生成するための撮像画像の撮像動作開始および撮像動作終了を指示するためのシャッターボタン１８３（図４（ａ）等に示す）等の操作部材が撮像装置１００に備えられている。なお、本発明の第１の実施の形態において生成される多視点画像は、多視点の立体視画像（例えば、パノラマ状の立体視画像）であるものとする。また、操作部１８２およびＬＣＤ１７２については、タッチパネルにより一体で構成するようにしてもよい。
【００３５】
リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２と接続され、ＣＰＵ１６０からの制御信号に基づいて、リムーバブルメディア１９２へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ１９１は、撮像部１１０により生成された画像データ等の各種画像データを画像ファイル（画像コンテンツ）としてリムーバブルメディア１９２に記録させる。また、リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２から画像ファイル等のコンテンツを読み出してバス１０１を介してＲＡＭ１５０等に出力する。
【００３６】
リムーバブルメディア１９２は、リムーバブルメディアコントローラ１９１から供給された画像データを記録する記録デバイス（記録媒体）である。リムーバブルメディア１９２には、例えば、ＪＰＥＧ形式の画像データ等の各種データが記録される。リムーバブルメディア１９２として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、リムーバブルメディア１９２として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。
【００３７】
［画像ファイルの構成例］
図２は、本発明の第１の実施の形態におけるリムーバブルメディア１９２に記憶されている画像ファイルを模式的に示す図である。図２では、複数の静止画を１つのファイル（拡張子：．ＭＰＯ）として記録するＭＰ（Multi Picture）フォーマットに準拠した静止画ファイルのファイル構造の一例を示す。すなわち、ＭＰファイル（「ＣＩＰＡ ＤＣ−００７−２００９ マルチピクチャフォーマット」参照。）は、先頭画像に続いて、１または複数の画像を記録することができるファイルである。
【００３８】
図２（ａ）には、２視点画像（立体視画像を表示するための左眼用画像および右眼用画像）のファイル構造の一例を示し、図２（ｂ）には、モニタ表示用画像（いわゆる、スクリーンネイル画像）が関連付けられている２視点画像のファイル構造の一例を示す。また、図２（ｃ）には、多視点画像（３視点以上の多視点画像）のファイル構造の一例を示す。
【００３９】
図２（ａ）乃至（ｃ）に示す各ファイル構造において、ＳＯＩ（Start Of Image）は、画像の開始を意味するセグメントであり、ＪＰＥＧ画像またはモニタ表示用画像の先頭に配置される。また、ＥＯＩ（End Of Image）は、画像の終了を意味するセグメントであり、ＪＰＥＧ画像またはモニタ表示用画像の最後に配置される。
【００４０】
また、ＳＯＩおよびＥＯＩの間には、ＡＰＰ（Application Segment）１、ＡＰＰ２およびＪＰＥＧ画像データが配置される。ＡＰＰ１およびＡＰＰ２は、ＪＰＥＧ画像データに対する付属情報を格納するアプリケーションマーカセグメントである。なお、圧縮画像データの前には、ＤＱＴ、ＤＨＦ、ＳＯＦ、ＳＯＳ（Start Of Scan）のマーカセグメントが挿入されるが、これらの図示は省略する。また、ＤＱＴ（Define Quantization Table）、ＤＨＦ（Define Huffman Table）、ＳＯＦ（Start Of Frame）の記録順序は任意である。また、図２（ｂ）に示すモニタ表示用画像３０４および３０５は、ＭＰフォーマット付属情報を含むＡＰＰ２を記録することができない。ただし、主画像（元画像）のＡＰＰ２にモニタ表示用画像が従属している旨が記録される。なお、モニタ表示用画像は、主画像とアスペクト比が同一であり、例えば、横を１９２０画素とし、縦は本画像のアスペクト比に合わせるようにすることができる。
【００４１】
また、ファイル構造の最も上位にあるＡＰＰ２（３０１乃至３０３）は、ファイル構造を示す重要な役割を有し、各視点の画像位置（オフセットアドレス）、バイトサイズ、代表画像であるか否か等の情報が記録される。
【００４２】
ここで、「ＣＩＰＡ ＤＣ−００７−２００９ マルチピクチャフォーマット」の「６．２．２．２ 立体視用画像」および「Ａ．２．１．２．３ 代表画像の選定」を参照して多視点画像の記録について簡単に説明する。「６．２．２．２ 立体視用画像」には、次の（１）が記載され、「Ａ．２．１．２．３ 代表画像の選定」には、次の（２）が記載されている。
（１）立体視用画像では、視点番号は、被写体に向かって左にある視点から右にある視点へ、昇順になるように番号を付与しなければならない。
（２）立体視用画像を記録する場合、代表画像として使用する画像は、視点数偶数の場合は（視点数／２）または（（視点数／２）＋１）、視点数奇数の場合は（視点数／２＋０．５）で表される視点番号の画像（全視点の中央近傍画像）を使用することを推奨する。
【００４３】
この規定に従った場合には、左視点画像ほどファイル上の上位アドレスにパッキングされるため、通常は、合成処理やエンコード等の順序を左視点画像ほど先に行うことになる。この場合に、例えば、中央画像である代表画像をレビュー表示する場合には、中央画像の合成処理等が終了するまで、代表画像のレビュー表示を行うことができない。そこで、本発明の第１の実施の形態では、撮像動作が終了した後には、代表画像を迅速に表示させる例を示す。ただし、ユーザの好み等に応じて、代表画像の表示タイミングを適宜変更することができる。なお、レビュー表示は、静止画の撮影モードが設定されている状態で静止画の記録指示操作が行われた場合に、この記録指示操作による撮像画像の撮像処理が終了した後に、一定期間、その撮像処理により生成された撮像画像を自動的に表示させる表示動作である。
【００４４】
［記録対象画像の選択例］
図３は、本発明の第１の実施の形態における撮像装置１００による多視点画像の撮影モードを設定する設定画面の表示例を示す図である。これらの各設定画面は、例えば、操作部１８２からのユーザ操作に応じてＬＣＤ１７２に表示される。
【００４５】
図３（ａ）には、撮影モードとして、２視点画像撮影モードおよび多視点画像撮影モードの何れかを設定するための設定画面３５０の表示例を示す。設定画面３５０には、２視点画像撮影モード選択ボタン３５１と、多視点画像撮影モード選択ボタン３５２と、決定ボタン３５３と、戻るボタン３５４とが設けられている。
【００４６】
２視点画像撮影モード選択ボタン３５１は、多視点画像の撮影モードとして、２視点画像撮影モードを設定する際に押下されるボタンである。２視点画像撮影モードは、２視点画像を撮影するための撮影モードである。また、２視点画像撮影モード選択ボタン３５１の押下操作に応じて２視点画像撮影モードが設定された場合には、撮像部１１０により生成された画像が、図２（ａ）または（ｂ）に示す２視点画像の画像ファイルとして記録される。
【００４７】
多視点画像撮影モード選択ボタン３５２は、多視点画像の撮影モードとして、多視点画像撮影モードを設定する際に押下されるボタンである。この多視点画像撮影モードは、３視点以上の多視点画像を撮影するための撮影モードであり、記録対象となる視点数を予め設定しておくようにしてもよく、記録対象となる視点数をユーザ操作により変更可能とするようにしてもよい。この変更例については、図３（ｂ）に示す。また、多視点画像撮影モード選択ボタン３５２の押下操作に応じて多視点画像撮影モードが設定された場合には、撮像部１１０により生成された画像が、図２（ｃ）に示す多視点画像の画像ファイルとして記録される。
【００４８】
決定ボタン３５３は、２視点画像撮影モードまたは多視点画像撮影モードを選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。戻るボタン３５４は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【００４９】
図３（ｂ）には、多視点画像撮影モードが設定された場合に、その記録対象となる視点数をユーザ操作により設定するための設定画面３６０の表示例を示す。図３（ｂ）に示す設定画面３６０には、視点数軸３６１と、マイナス表示領域３６２と、プラス表示領域３６３と、指定位置マーカ３６４と、決定ボタン３６５と、戻るボタン３６６とが設けられている。
【００５０】
視点数軸３６１は、ユーザ操作により指定対象となる視点数を表す軸であり、視点数軸３６１上における各目盛が視点の値に対応する。例えば、視点数軸３６１上における各目盛のうち、マイナス表示領域３６２に最も近い目盛が３視点に対応する。また、視点数軸３６１上における各目盛のうち、プラス表示領域３６３に最も近い目盛が、最大の視点（例えば、１５視点）に対応する。
【００５１】
指定位置マーカ３６４は、ユーザ操作により指定された視点数を指し示すためのマーカである。例えば、カーソル３６７を用いた操作やタッチ操作（タッチパネルを備える場合）により、ユーザが所望する視点数軸３６１上における位置に指定位置マーカ３６４を移動させて、記録対象となる視点数を指定することができる。
【００５２】
決定ボタン３６５は、ユーザが所望する視点数軸３６１上における位置に指定位置マーカ３６４が移動された後に、その指定を決定する際に押下されるボタンである。戻るボタン３６６は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【００５３】
［多視点画像の撮像動作例およびこの進捗状況の通知例］
図４は、本発明の第１の実施の形態における撮像装置１００を用いて多視点画像を生成する際における撮像動作例と、この撮像動作の進捗状況の通知例とを模式的に示す図である。
【００５４】
図４（ａ）には、撮像装置１００を用いて多視点画像を生成する際における撮像動作を上面から見た場合を模式的に示す。すなわち、図４（ａ）では、撮像装置１００の撮像位置を基準として、水平方向（矢印３７０の方向）に撮像装置１００を移動させる操作（いわゆる、パンニング操作（スイング操作））をユーザが行うことにより多視点画像を生成する例を示す。この場合における撮像装置１００の画角（水平方向の画角）をαとし、一連のパンニング操作により撮像対象となる範囲（撮像範囲）を太い点線３７１で模式的に示す。
【００５５】
図４（ｂ）には、多視点画像撮影モード（３視点以上）が設定されている場合にＬＣＤ１７２に表示される進捗状況通知画面３８０の表示例を示す。進捗状況通知画面３８０には、多視点画像の撮像動作の進捗状況を通知するためのプログレスバー３８１と、操作支援情報３８２および３８３とが設けられている。
【００５６】
プログレスバー３８１は、多視点画像撮影モードが設定されている場合におけるユーザ操作（撮像装置１００のパンニング操作）の進捗状況をユーザに通知するための棒状グラフである。具体的には、プログレスバー３８１は、多視点画像撮影モードにおいて必要となる全体の操作量（例えば、パンニング操作の回転角度）に対する現在の操作量（グレー部分３８４）がどの程度の割合で進行したかを表す。なお、プログレスバー３８１については、時間軸において隣接する撮像画像間における移動量および移動方向の検出結果に基づいて、ＣＰＵ１６０が現在の操作量を算出し、この現在の操作量に基づいてその表示状態を変更する。その移動量および移動方向として、例えば、撮像装置１００の移動に伴って発生する撮像画像全体の動きに対応する動きベクトル（ＧＭＶ（Global Motion Vector）が検出される。なお、ジャイロセンサ１１５により検出された角速度に基づいて、ＣＰＵ１６０が現在の操作量を算出するようにしてもよい。また、その移動量および移動方向の検出結果と、ジャイロセンサ１１５により検出された角速度とを用いて、ＣＰＵ１６０が現在の操作量を算出するようにしてもよい。このように、多視点画像の撮影中にプログレスバー３８１を表示することにより、あとどの程度パンニング操作を行えばよいかをユーザが容易に把握することができる。
【００５７】
操作支援情報３８２および３８３は、多視点画像撮影モードが設定されている場合におけるユーザ操作（撮像装置１００のパンニング操作）を支援するための情報である。操作支援情報３８２として、例えば、そのユーザ操作を支援するためのメッセージが表示される。また、操作支援情報３８３として、例えば、そのユーザ操作を支援するための矢印（その操作方向を表す矢印）が表示される。
【００５８】
［多視点画像の撮像動作例およびこれにより生成された撮像画像の記録例］
図５は、本発明の第１の実施の形態における撮像装置１００による多視点画像の生成時における撮像動作例と、これにより生成された複数の撮像画像の流れの一例とを模式的に示す図である。
【００５９】
図５（ａ）には、撮像装置１００を用いて多視点画像を生成する際における撮像動作を上面から見た場合を模式的に示す。なお、図５（ａ）は、矩形３７２乃至３７４を追加して点以外は、図４（ａ）に示す例と同様である。すなわち、図５（ａ）では、図５（ｂ）に示す撮像画像（画像（＃１）４０１、（＃ｉ）４０４、（＃Ｍ）４０５）を円上（点線３７１上）に仮想的に配置して、その撮像範囲を上面から見た場合における位置関係を矩形３７２乃至３７４により模式的に示す。なお、矩形３７２乃至３７４内には、対応する符号（＃１、＃ｉ、＃Ｍ）を付す。また、このように生成される複数の撮像画像は、水平方向において少なくとも一部の領域に同一の被写体が含まれるように撮像動作が行われて生成された撮像画像であるものとする。
【００６０】
図５（ｂ）には、図５（ａ）に示すパンニング操作により生成された撮像画像（画像（＃１）４０１乃至（＃Ｍ）４０５）がＲＡＭ１５０に保持されている状態を模式的に示す。すなわち、図５（ａ）に示すように、ユーザによる撮像装置１００のパンニング操作中に、撮像部１１０が画像（＃１）４０１乃至（＃Ｍ）４０５を順次生成する。ここで、画像（＃１）４０１乃至（＃Ｍ）４０５は、水平方向にオフセットを有する複数の撮像画像であり、例えば、その上限数を７０枚〜１００枚程度とすることができる。なお、画像（＃１）４０１乃至（＃Ｍ）４０５については、時系列に番号が付与されているものとする。このように、撮像装置１００において多視点画像の記録指示操作が行われた場合には、その撮像動作中に生成された複数の撮像画像がＲＡＭ１５０に順次記録される。なお、多視点画像の記録指示操作は、例えば、多視点画像記録モードが設定されている状態で、シャッターボタン１８３を押下する状態を維持することにより行うことができる。
【００６１】
［多視点画像の生成例］
図６乃至図８は、本発明の第１の実施の形態における撮像装置１００により多視点画像を生成する際における生成方法を模式的に示す図である。この例では、多視点画像として１５視点から構成される画像を生成する例を示す。
【００６２】
図６（ａ）には、撮像部１１０により生成された画像（＃ｉ）４０４を矩形により模式的に示す。また、図６（ａ）では、画像（＃ｉ）４０４において、多視点画像を生成する際に用いられる画像の取出領域（合成対象となる視点毎の画像領域）を、対応する多視点画像の視点番号（視点１乃至１５）により示す。ここで、画像（＃ｉ）４０４における水平方向の長さをＷ１とし、中央画像（視点８の多視点画像）の合成に用いられる取出領域（短冊領域）における水平方向の長さをｗとする。この場合に、中央画像の取出領域は、画像（＃ｉ）４０４における水平方向の中央に決定される（すなわち、Ｗ１＝Ｗ２×２）。また、画像（＃ｉ）４０４における各視点の取出領域における水平方向の長さは、同一（すなわち、ｗ）であるものとする。ここで、各視点の取出領域における水平方向の長さｗについては、撮像部１１０により生成された画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれの画像間における移動量に大きく依存する。そこで、各視点の取出領域における水平方向の長さｗの算出方法および画像（＃１）４０１乃至（＃Ｍ）４０５における各視点の取出領域の位置については、図７および図８を参照して詳細に説明する。
【００６３】
図６（ｂ）には、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて多視点画像を生成する生成方法を模式的に示す。図６（ｂ）では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて、視点ｊ画像４１１を生成する例を示す。なお、図６（ｂ）では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５のうち、視点ｊ画像の合成対象となる画像領域をグレーにして示す。このように、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれについて、少なくとも一部の画像領域を用いて、多視点画像が生成される。
【００６４】
次に、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５における取出領域を設定する設定方法について説明する。
【００６５】
図７は、本発明の第１の実施の形態における撮像素子１１１と焦点距離と画角との関係を概略的に示す図である。なお、撮像素子１１１および光学ユニット１１２は、撮像部１１０に備えられている。ここで、撮像素子１１１の幅を撮像素子の幅ＩＥ１［ｍｍ］とする。この場合に、撮像素子の幅ＩＥ１は、次の式１により求めることができる。
ＩＥ１＝ｐ×ｈ … 式１
なお、ｐ［ｕｍ］は、撮像素子１１１の画素ピッチを示す値であり、ｈ［ｐｉｘｅｌ］は、撮像素子１１１の水平画素数を示す値である。
【００６６】
また、図７に示す例における撮像装置１００の画角をα［ｄｅｇ］とする。この場合に、画角αは、次の式２により求めることができる。
α＝（１８０／π）×２×ｔａｎ−１（（ｐ×ｈ×１０−３）／（２×ｆ）） … 式２
なお、ｆ［ｍｍ］は、撮像装置１００における焦点距離を示す値である。
【００６７】
このように算出された画角αを用いることにより、撮像素子１１１を構成する一画素辺りの画角（画素密度）μ［ｄｅｇ／ｐｉｘｅｌ］について、次の式３により求めることができる。
μ＝α／ｈ … 式３
【００６８】
ここで、撮像装置１００において多視点画像撮影モードが設定されている場合に、この多視点画像撮影モードにおける画像の連写スピード（すなわち、１秒あたりのフレーム数）をｓ［ｆｐｓ］とする。この場合に、１つの撮像画像における１視点の取出領域（最大取出領域）の水平方向の長さ（取出領域の幅）ｗ［ｐｉｘｅｌ］は、次の式４により求めることができる。
ｗ＝（ｄ／ｓ）×（１×μ） … 式４
なお、ｄ［ｄｅｇ／ｓｅｃ］は、撮像装置１００を操作するユーザの振り角速度を示す値である。このように、撮像装置１００を操作するユーザの振り角速度ｄを用いることにより、取出領域の幅（最大取出領域の幅）ｗを求めることができる。
【００６９】
図８には、ＲＡＭ１５０に保持されている撮像画像（画像（＃ｉ）４０４）における多視点画像の合成対象となる取出領域のずらし量の算出方法を示す。図８（ａ）には、中央画像（視点８の多視点画像）の取出領域を示し、図８（ｂ）には、最左視点画像（視点１の多視点画像）の取出領域を示し、図８（ｃ）には、最右視点画像（視点１５の多視点画像）の取出領域を示す。
【００７０】
上述したように、多視点画像の合成処理が行われる場合には、撮像部１１０により生成されてＲＡＭ１５０に保持されている各撮像画像（画像（＃１）４０１乃至（＃Ｍ）４０５）のそれぞれから、多視点画像の合成対象となる画像（短冊画像）が取り出される。すなわち、ＲＡＭ１５０に保持されている１つの撮像画像における取出領域（短冊領域）の位置をずらしながら、合成対象となる画像（短冊画像）が順次取り出される。この場合に、取り出された画像について、各画像間における相関性に基づいて、各画像を重ねて合成させる。具体的には、時間軸において隣接する２つの撮像画像間の移動量および移動方向（すなわち、隣接する撮像画像間の相対変位）が検出される。そして、検出された移動量および移動方向（隣接する画像間の移動量および移動方向）に基づいて、取り出された各画像が、互いの重複領域が互いに重なり合うように合成され、多視点画像が生成される。
【００７１】
ここで、ＲＡＭ１５０に保持されている１つの撮像画像における取出領域（短冊領域）のサイズおよび位置と、視点ｊのずらし量との算出方法について説明する。
【００７２】
撮像部１１０による撮像処理およびＲＡＭ１５０への記録処理が終了した後に、ＲＡＭ１５０に保持されている複数の撮像画像のそれぞれにおいて、どの領域を取出領域とするかが算出される。具体的には、式４に示すように、取出領域の幅が算出され、中央画像（視点８の多視点画像）の合成に用いられる取出領域における水平方向の位置を、ＲＡＭ１５０に保持されている各撮像画像における中央の位置とする。
【００７３】
ここで、中央画像（視点８の多視点画像）以外の他の多視点画像の合成に用いられる取出領域における水平方向の位置は、中央画像（視点８の多視点画像）の合成に用いられる取出領域における水平方向の位置を基準にして算出される。具体的には、中心視点（視点８）と視点ｊとの視点番号の差分に応じて、最初の位置（中央の位置）からずらした位置が算出される。すなわち、視点ｊのずらし量ＭＱｊは、次の式５により求めることができる。
ＭＱｊ＝（ＣＶ−ＯＶｊ）×β … 式５
なお、ＣＶは、多視点画像のうちの中心視点を示す値であり、ＯＶｊは、多視点画像のうちの中心視点以外の他の視点（視点ｊ）を示す値である。また、βは、１視点あたり取出領域の位置のズラシ量（短冊位置ズラシ量）を示す値である。なお、取出領域のサイズ（短冊サイズ）は変更しない。
【００７４】
ここで、短冊位置ズラシ量βの算出方法について説明する。短冊位置ズラシ量βは、次の式６により求めることができる。
β＝（Ｗ１−ｗ×２）／ＶＮ … 式６
なお、Ｗ１は、ＲＡＭ１５０に保持されている撮像画像の１枚あたり水平サイズを示す値であり、ｗは、取出領域の幅（最大取出領域の幅）を示す値であり、ＶＮは、多視点画像の視点数を示す値である。すなわち、図８（ａ）に示すＷ３（＝Ｗ１−ｗ×２）を視点数（１５）で除算した値が、短冊位置ズラシ量βとして算出される。
【００７５】
このように、短冊位置ズラシ量βは、最左視点画像または最右視点画像の合成処理の際に取り出される画像（短冊画像）が、ＲＡＭ１５０に保持されている撮像画像のうち、少なくとも左端および右端の位置に配置されるように算出される。
【００７６】
なお、パノラマ状の平面画像（２次元画像）の合成処理を行う場合には、取出領域の幅（最大取出領域の幅）ｗに対応する中央の短冊画像（視点８に相当する画像）を順次取り出して合成する。また、２視点画像の合成処理を行う場合には、中央の短冊画像からのずらし量（オフセット量）ＯＦが左視点および右視点で同一となるように２つの取出領域が設定される。この場合に、撮像装置１００を操作するユーザの振り角速度ｄにおいて許容できるオフセット量（最小短冊オフセット量）ＯＦｍｉｎ［ｐｉｘｅｌ］は、次の式７により求めることができる。
ＯＦｍｉｎ＝ｗ／２ … 式７
なお、最小短冊オフセット量ＯＦｍｉｎは、左眼用短冊画像および右眼用短冊画像の重なりが発生しない（オーバーラップしない）最小の許容短冊オフセット量である。
【００７７】
また、２視点画像の合成処理に用いられる取出領域がＲＡＭ１５０に保持されている撮像画像の画像領域の外にはみ出ない設定とするための最大の許容短冊オフセット量（最大短冊オフセット量）ＯＦｍａｘは、次の式８により求めることができる。
ＯＦｍａｘ＝（ｔ−ＯＦｍｉｎ）／２ … 式８
ここで、ｔ［ｐｉｘｅｌ］は、撮像部１１０により生成される画像一枚の水平有効サイズである。この水平有効サイズｔは、ＲＡＭ１５０に保持される撮像画像の横幅である水平画素数に対応する。
【００７８】
［多視点画像の記録処理例］
図９は、本発明の第１の実施の形態における撮像装置１００により生成された多視点画像がリムーバブルメディア１９２に記録されるまでの流れを模式的に示す図である。図９では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて生成された視点ｊ画像４１１をＭＰファイル４３０（拡張子：．ＭＰＯ）として記録する場合におけるＲＡＭ１５０上におけるデータの流れの一例を示す。なお、図９に示す画像（＃１）４０１乃至（＃Ｍ）４０５は、図６（ａ）と同様である。
【００７９】
上述したように、撮像部１１０により生成された画像（＃１）４０１乃至（＃Ｍ）４０５がＲＡＭ１５０に順次記録される。続いて、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれについて、ＣＰＵ１６０が、視点ｊの取出領域を算出して、取出領域に含まれる画像を取得する。続いて、画像（＃１）４０１乃至（＃Ｍ）４０５のそれぞれの取出領域から取得された画像を用いて、ＣＰＵ１６０が、視点ｊの合成画像（視点ｊ画像４１１）を生成する。なお、この例では、ＣＰＵ１６０が、多視点画像の合成画像を生成する例を示すが、画像合成用のハードウエアやソフトウエア（アクセレータ）を別途設け、これらにより多視点画像の合成画像を生成するようにしてもよい。
【００８０】
続いて、解像度変換部１２０が、視点ｊ画像４１１について解像度変換を行い、視点ｊの最終画像（視点ｊ画像４２０）とする。続いて、画像圧縮伸張部１３０が、視点ｊ画像４２０をＪＰＥＧ形式の画像データに圧縮する。続いて、ＣＰＵ１６０が、ＪＰＥＧ化された視点ｊ画像４２０をＭＰファイル４３０にパッキング処理（ヘッダ付加等のパッキング処理）する。また、他の多視点画像の生成についても同様に行われる。そして、全ての多視点画像の合成処理が終了すると、リムーバブルメディアコントローラ１９１が、ＣＰＵ１６０の制御に基づいて、ＭＰファイル４３０をリムーバブルメディア１９２に記録させる。
【００８１】
なお、図９では、ＭＰファイル４３０のうち、視点ｊの多視点画像の記録までが終了している状態を模式的に示す。すなわち、ＭＰファイル４３０において、記録が終了している多視点画像の領域を実線で示し、記録が終了していない多視点画像の領域を点線で示す。
【００８２】
［多視点画像の代表画像の表示処理例］
図１０は、本発明の第１の実施の形態における撮像装置１００により生成される多視点画像のうちの代表画像が表示されるまでの流れを模式的に示す図である。図１０では、ＲＡＭ１５０に保持されている画像（＃１）４０１乃至（＃Ｍ）４０５を用いて生成された視点８画像を代表画像としてＬＣＤ１７２に表示させる場合におけるＲＡＭ１５０上におけるデータの流れの一例を示す。なお、図１０に示す画像（＃１）４０１乃至（＃Ｍ）４０５は、図６（ａ）と同様である。
【００８３】
なお、視点８の合成画像（代表画像４４１）および視点８の最終画像（代表画像４４２）の生成については、図９に示す例と同様であるため、ここでの説明を省略する。
【００８４】
代表画像４４２が生成された後に、解像度変換部１２０が、表示に最適な画サイズとなるように、代表画像４４２について解像度変換を行い、視点８の表示画像（代表画像４４３）とする。続いて、ＬＣＤコントローラ１７１が、ＣＰＵ１６０の制御に基づいて、代表画像４４３をＬＣＤ１７２に表示させる。すなわち、代表画像４４３がレビュー表示される。なお、このようにレビュー表示が行われた後でも、生成された代表画像４４２については、図９に示すＭＰファイル４３０にパッキング処理されるまで、ＲＡＭ１５０に保持させておく。これにより、代表画像４４２について再度合成処理を行う必要がなく、合成処理時間のオーバーヘッドを削減することができる。
【００８５】
このように、撮像部１１０により生成された複数の画像を用いて多視点画像が生成される。また、この生成される多視点画像のうちの代表画像が、最初にＬＣＤ１７２に表示される。
【００８６】
［撮像装置の機能構成例］
図１１は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、操作受付部２１０と、姿勢検出部２２０と、制御部２３０と、撮像部２４０と、撮像画像保持部２５０と、移動量検出部２６０と、合成部２７０と、表示制御部２８０と、表示部２８５と、記録制御部２９０と、コンテンツ記憶部３００とを備える。
【００８７】
操作受付部２１０は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた操作信号を制御部２３０に供給する。操作受付部２１０は、例えば、図１に示す入力制御部１８１および操作部１８２に対応する。
【００８８】
姿勢検出部２２０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像装置１００の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢変化情報を制御部２３０に出力する。なお、姿勢検出部２２０は、図１に示すジャイロセンサ１１５に対応する。
【００８９】
制御部２３０は、操作受付部２１０からの操作内容に基づいて、撮像装置１００の各部を制御するものである。例えば、制御部２３０は、操作受付部２１０により撮影モードの設定操作が受け付けられた場合には、その設定操作に応じた撮影モードを設定する。また、例えば、制御部２３０は、姿勢検出部２２０から出力された姿勢変化情報に基づいて、撮像装置１００の姿勢の変化量（移動方向、移動量等）を解析してその解析結果を合成部２７０および表示制御部２８０に出力する。また、例えば、制御部２３０は、撮像部２４０による複数の撮像画像の生成処理が終了した後に、合成部２７０による生成対象となる複数の多視点画像のうち所定順序（例えば、中央の視点）となる多視点画像を代表画像として表示部２８５に表示させる制御を行う。このように、代表画像を表示させた後には、制御部２３０は、例えば、所定規則（例えば、各視点）に従って、生成された多視点画像の少なくとも一部を表示部２８５に順次表示させる制御を行う。また、例えば、制御部２３０は、撮像部２４０による複数の撮像画像の生成処理が終了した後には、合成部２７０による多視点画像の生成の進捗に関する情報（例えば、図１９乃至図２１に示すプログレスバー５２１）を表示部２８５に表示させる制御を行う。この場合に、制御部２３０は、例えば、撮像部２４０による複数の撮像画像の生成処理が終了した直後に、その進捗情報を表示部２８５に表示させる制御を行う。なお、制御部２３０は、図１に示すＣＰＵ１６０に対応する。
【００９０】
撮像部２４０は、制御部２３０の制御に基づいて、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を撮像画像保持部２５０に供給する。また、撮像部２４０は、２視点画像撮影モードまたは多視点画像撮影モードが設定されている場合には、被写体を撮像して時系列で連続する複数の撮像画像を生成し、生成された撮像画像を撮像画像保持部２５０に供給する。なお、撮像部２４０は、図１に示す撮像部１１０に対応する。
【００９１】
撮像画像保持部２５０は、撮像部２４０により生成された撮像画像を保持する画像メモリであり、保持されている撮像画像を合成部２７０に供給する。なお、撮像画像保持部２５０は、図１に示すＲＡＭ１５０に対応する。
【００９２】
移動量検出部２６０は、撮像画像保持部２５０に保持されている撮像画像について、時間軸において隣接する撮像画像間における移動量および移動方向を検出するものであり、検出された移動量および移動方向を合成部２７０に出力する。例えば、移動量検出部２６０は、隣接する２つの撮像画像を構成する画素間のマッチング処理（すなわち、同一被写体の撮影領域を判別するマッチング処理）を行い、各撮像画像間において移動された画素数を算出する。このマッチング処理では、基本的には被写体は静止していると仮定した処理を行う。なお、被写体に動体が含まれる場合には、撮像画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの動体に対応する動きベクトルは検出対象外として処理を行う。すなわち、撮像装置１００の移動に伴って発生する撮像画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバルモーションベクトル）のみを検出する。なお、移動量検出部２６０は、図１に示すＣＰＵ１６０に対応する。
【００９３】
合成部２７０は、制御部２３０の制御に基づいて、撮像画像保持部２５０に保持されている複数の撮像画像を用いて、多視点画像を生成するものであり、生成された多視点画像を表示制御部２８０および記録制御部２９０に供給する。すなわち、合成部２７０は、制御部２３０から出力された解析結果（撮像装置１００の姿勢の変化量の解析結果）に基づいて、撮像画像保持部２５０に保持されている複数の撮像画像のそれぞれにおける取出領域を算出する。そして、合成部２７０は、複数の撮像画像のそれぞれにおける取出領域から画像（短冊画像）を取り出し、この取り出された画像を合成して多視点画像を生成する。この場合に、合成部２７０は、移動量検出部２６０から出力された移動量および移動方向に基づいて、その取り出された画像を重ねて合成して多視点画像を生成する。このように生成された多視点画像は、所定規則に基づく順序関係（各視点）を有する複数の合成画像である。また、例えば、合成部２７０は、撮像部２４０による複数の撮像画像の生成処理が終了した直後には、代表画像を最初に生成する。なお、ユーザ操作または設定内容により、最初に生成される画像について変更するようにしてもよい。なお、合成部２７０は、図１に示す解像度変換部１２０、ＲＡＭ１５０およびＣＰＵ１６０に対応する。
【００９４】
表示制御部２８０は、制御部２３０の制御に基づいて、合成部２７０により生成された多視点画像を表示部２８５に表示させるものである。例えば、表示制御部２８０は、撮像部２４０による複数の撮像画像の生成処理が終了した後に、合成部２７０による生成対象となる複数の多視点画像のうち所定順序（例えば、中央の視点）となる多視点画像を代表画像として表示部２８５に表示させる。このように、代表画像を表示させた後には、表示制御部２８０は、例えば、所定規則（例えば、各視点）に従って、生成された多視点画像の少なくとも一部を表示部２８５に順次表示させる。また、例えば、表示制御部２８０は、撮像部２４０による複数の撮像画像の生成処理が終了した後には、合成部２７０による多視点画像の生成の進捗に関する情報（例えば、図１９乃至図２１に示すプログレスバー５２１）を表示部２８５に表示させる。これらの表示例については、図１２乃至図２１を参照して詳細に説明する。なお、表示制御部２８０は、図１に示す解像度変換部１２０およびＬＣＤコントローラ１７１に対応する。
【００９５】
表示部２８５は、表示制御部２８０から供給された画像を表示する表示部である。また、表示部２８５には各種メニュー画面や各種画像が表示される。なお、表示部２８５は、図１に示すＬＣＤ１７２に対応する。
【００９６】
記録制御部２９０は、制御部２３０の制御に基づいて、合成部２７０により生成された多視点画像をコンテンツ記憶部３００に記録させる制御を行うものである。すなわち、記録制御部２９０は、多視点画像の代表画像を示す代表画像情報と、多視点画像の順序関係（例えば、視点番号）とを、生成された多視点画像に関連付けて、その多視点画像をＭＰファイルとして記録媒体に記録させる。なお、記録制御部２９０は、図１に示す画像圧縮伸張部１３０およびリムーバブルメディアコントローラ１９１に対応する。
【００９７】
コンテンツ記憶部３００は、合成部２７０により生成された多視点画像を画像ファイル（画像コンテンツ）として記憶するものである。なお、コンテンツ記憶部３００は、図１に示すリムーバブルメディア１９２に対応する。
【００９８】
［代表画像の表示例］
図１２は、本発明の第１の実施の形態における表示部２８５に表示される代表画像の表示例を示す図である。図１２では、７視点の多視点画像を生成し、これらの各画像を関連付けてコンテンツ記憶部３００に記録する例を示す。また、図１２では、これらの７視点の多視点画像について、被写体に向かって左にある視点（視点１）から右にある視点（視点７）へ、昇順となるように視点番号を付して、画像を表す矩形内に視点番号を示す。また、図１２では、７視点の多視点画像のうち、中央画像（視点４の多視点画像）を代表画像とする例を示す。なお、代表画像として、例えば、中央画像に隣接または近接する画像を用いるようにしてもよい。
【００９９】
図１２（ａ）には、コンテンツ記憶部３００への記録対象となる多視点画像の一例を示す。なお、図１２（ａ）では、視点番号の順序で各画像を並べて示す。
【０１００】
図１２（ｂ）には、図１２（ａ）に示す視点１乃至７の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点１乃至７の多視点画像を、その生成順序に並べて示す。すなわち、表示部２８５に最初に表示される代表画像（視点４の多視点画像）が、最初の合成処理の対象となる。この代表画像（視点４の多視点画像）の合成処理が終了した後には、他の多視点画像について合成処理が行われる。例えば、視点番号の順序（視点１〜３、５〜７の順序）で合成処理が行われる。
【０１０１】
図１２（ｃ）には、図１２（ｂ）に示す合成処理中に、表示部２８５に最初に表示される画像として代表画像が表示される例を示す。このように、代表画像を最初に表示することにより、その多視点画像の代表画像を迅速に容易に確認することができる。
【０１０２】
以上では、３視点以上の多視点画像を記録する場合に、代表画像のみをレビュー表示する例を示した。ただし、ユーザの好みに応じて代表画像以外の他の多視点画像を順次表示するようにしてもよい。そこで、以下では、代表画像以外の他の多視点画像を順次レビュー表示する例を示す。
【０１０３】
図１３乃至図１６は、本発明の第１の実施の形態における表示部２８５に表示される多視点画像の表示遷移例を示す図である。図１３乃至図１６では、図１２に示す例と同様に、７視点の多視点画像を関連付けてコンテンツ記憶部３００に記録する場合に、中央画像（視点４の多視点画像）を代表画像とする例を示す。また、図１３乃至図１６では、図１２に示す例と同様に、７視点の多視点画像について、被写体に向かって左にある視点（視点１）から右にある視点（視点７）へ、昇順となるように視点番号を付して、画像を表す矩形内に視点番号を示す。
【０１０４】
図１３乃至図１６の各図（ａ）には、コンテンツ記憶部３００への記録対象となる多視点画像の一例を示す。なお、これらの各図（ａ）は、図１２（ａ）に示す例と同様である。
【０１０５】
図１３（ｂ）および図１４（ｂ）には、図１２（ａ）に示す視点１乃至７の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点１乃至７の多視点画像を、その生成順序に並べて示す。なお、図１３（ｂ）および図１４（ｂ）は、図１２（ｂ）に示す例と同様である。
【０１０６】
図１３（ｃ）には、図１３（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１３（ｃ）では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、その生成順序に応じて順次レビュー表示する例を示す。
【０１０７】
図１４（ｃ）には、図１４（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１４（ｃ）では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、代表画像から視点番号の降順に順次レビュー表示させ、この表示後に、視点番号の昇順に順次レビュー表示させる例を示す。
【０１０８】
このように、代表画像を最初にレビュー表示させ、この代表画像の表示後には、合成処理により生成された多視点画像を、所定規則に従って順次レビュー表示させることができる。これにより、最初に、多視点画像の代表画像を迅速に確認することができ、この確認後には、他の多視点画像を容易に確認することができる。
【０１０９】
ここで、例えば、多視点画像を再生する場合には、所望の多視点画像を選択するための選択画面において、多視点画像の代表画像が一覧表示されることが多い。そこで、撮像部２４０による撮像処理が終了した直後には、多視点画像の代表画像をレビュー表示させる。例えば、撮像部２４０による撮像処理が終了した直後に最初にその代表画像がレビュー表示される。このため、再生時に一覧表示される代表画像と同一の画像をレビュー表示時において容易に確認することができる。これにより、再生時における違和感を軽減させることができる。
【０１１０】
また、撮像部２４０による撮像処理が終了した直後に、多視点画像の代表画像を最初に合成してレビュー表示させることにより、左視点画像から代表画像を合成するまでの時間を、ユーザが待つ必要がない。このため、ユーザが、記録対象となる多視点画像を確認するタイミングを早くすることができる。これにより、例えば、記録対象となる多視点画像の確認後に、撮影のキャンセルタイミングが遅れる等の不都合を解消することができる。なお、ユーザの好みに応じて、多視点画像の表示順序を変更するようにしてもよい。以下では、これらの表示遷移例を示す。
【０１１１】
図１５（ｂ）および図１６（ｂ）には、図１２（ａ）に示す視点１乃至７の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点１乃至７の多視点画像を、その生成順序に並べて示す。この例では、被写体に向かって左にある視点（視点１）から右にある視点（視点７）へ昇順となるように、多視点画像の合成処理を行う例を示す。
【０１１２】
図１５（ｃ）には、図１５（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１５（ｃ）では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、その生成順序に応じて順次レビュー表示する例を示す。
【０１１３】
図１６（ｃ）には、図１６（ｂ）に示す合成処理中に、表示部２８５に表示される多視点画像の表示遷移例を示す。すなわち、図１６（ｃ）では、図１５（ｃ）に示す例と同様に、視点番号の昇順に多視点画像を順次レビュー表示させた後に、さらに、視点番号の昇順に多視点画像を順次レビュー表示させる例を示す。すなわち、図１６（ｃ）に示す例では、生成された多視点画像のコンテンツ記憶部３００への記録処理が終了するまでの間、視点番号の昇順に多視点画像を順次レビュー表示させる表示動作を繰り返し行う。なお、図１５および図１６に示す例では、視点番号の昇順に多視点画像を順次レビュー表示させる例を示したが、視点番号の降順に多視点画像を順次レビュー表示させるようにしてもよい。
【０１１４】
このように、視点番号の昇順となるように多視点画像の合成処理を行い、この合成処理により生成された多視点画像を順次レビュー表示させることができる。これにより、多視点画像の視点番号の昇順または降順に、多視点画像の代表画像とともに、他の多視点画像を容易に確認することができる。このように、視点番号の昇順または降順にレビュー表示を行うことにより、多視点画像の再生順序に応じて多視点画像の確認を容易に行うことができる。
【０１１５】
なお、図１５および図１６では、視点番号の昇順または降順にレビュー表示を行う例を示したが、多視点画像の合成処理が終了した時点では、代表画像をレビュー表示させることが好ましい。すなわち、最後にレビュー表示される画像を代表画像とすることが好ましい。
【０１１６】
［多視点画像の合成処理の進捗状況通知例］
図１７は、本発明の第１の実施の形態における表示部２８５に表示される多視点画像の合成処理の進捗状況通知情報を模式的に示す図である。図１７では、多視点画像の合成処理の進捗状況通知情報（進捗情報）として、プログレスバーを表示する例を示す。このプログレスバーは、多視点画像の合成処理がどの程度の割合で進行したかを棒状のグラフにより表すものである。また、図１７に示す例では、多視点画像として７視点画像を生成する例を示す。
【０１１７】
図１７（ａ）には、プログレスバー５００を表示する際における表示方法を模式的に示す。例えば、多視点画像の合成処理が行われている間、表示部２８５には、プログレスバー５００が設けられている進捗状況通知画面（例えば、図１９に示す進捗状況通知画面５２０）が表示される。プログレスバー５００は、水平方向の長さがＬ１であるものとする。
【０１１８】
ここで、多視点画像として７視点画像を生成する場合には、表示制御部２８０が、プログレスバー５００における水平方向の長さを７で除算した値を算出し、この算出された値によりプログレスバー５００における７つの矩形領域を設定する。すなわち、プログレスバー５００における水平方向の長さを７で除算した値として、長さＬ１１（＝Ｌ１２乃至Ｌ１７）が算出され、長さＬ１１乃至Ｌ１７に対応する７つの矩形領域が設定される。この矩形領域は、１つの多視点画像の合成処理が終了した際に表示状態を順次変更するための単位となる領域である。
【０１１９】
図１７（ｂ）には、多視点画像の合成処理の遷移を示す。図１７（ｂ）では、縦軸を時間軸とし、合成処理が終了した多視点画像を時間軸に沿って並べて模式的に示す。また、図１７（ｃ）には、図１７（ｂ）に示す合成処理に応じて変更されるプログレスバー５００の表示遷移を示す。また、図１７（ｂ）および（ｃ）に示す例では、図１７（ｂ）に示す多視点画像の合成処理の遷移と、図１７（ｃ）に示す合成処理に応じて変更されるプログレスバー５００の表示遷移とについて、対応する関係を左右に並べて示す。
【０１２０】
例えば、多視点画像の撮像動作が終了した直後には、進捗状況通知画面（例えば、図１９に示す進捗状況通知画面５２０）が表示部２８５に表示される。この進捗状況通知画面が表示された直後には、プログレスバー５００が単一色（例えば、白色）として表示される。続いて、多視点画像の合成処理が開始されて、１つの多視点画像の合成処理が終了した場合には、図１７（ｃ）に示すように、表示制御部２８０が、左端の矩形領域（長さＬ１１に対応する矩形領域）の表示状態を変更する（例えば、グレー色に変更する）。
【０１２１】
また、図１７（ｃ）に示すように、多視点画像の合成処理が終了する毎に、表示制御部２８０が、合成処理が終了した多視点画像の数だけ、左端からの矩形領域（長さＬ１２乃至Ｌ１６に対応する矩形領域）の表示状態を順次変更する。そして、全ての多視点画像の合成処理が終了した場合には、各矩形領域（すなわち、プログレスバー５００の全体）の表示状態を変更する。
【０１２２】
このように、多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更して、多視点画像の合成処理の進捗状況を通知することにより、ユーザがその合成処理の状況を容易に把握することができる。
【０１２３】
なお、この例では、多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更する例を示した。ただし、例えば、合成対象となる多視点画像の数が多い場合には、複数の多視点画像を１単位とし、これらの各多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更するようにしてもよい。例えば、５つの多視点画像を１単位とする場合には、５つ目の多視点画像の合成処理が終了する毎に、プログレスバー５００の表示状態を変更する。これにより、プログレスバー５００の表示状態を頻繁に更新し過ぎないようにすることができ、ユーザに見易くさせることができる。
【０１２４】
［２視点画像の合成処理の進捗状況通知画面の表示例］
図１８は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図１８では、多視点画像として２視点画像を記録する場合における進捗状況通知画面の一例を示す。
【０１２５】
図１８（ａ）には、２視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５１０を示す。進捗状況通知画面５１０には、２視点画像のうちの代表画像（例えば、左視点画像）５１３が表示され、この代表画像５１３に重ねて処理中メッセージ５１１が表示される。なお、図１８に示す代表画像５１３については、対応する矩形内に代表画像（左視点画像）の文字を付して簡略して示す。また、図１９乃至図２１に示す表示画像についても同様に、対応する矩形内に各画像を表す文字を付して簡略して示す。
【０１２６】
処理中メッセージ５１１は、２視点画像の合成処理を実行中である旨を示す文字である。なお、進捗状況通知画面５１０には、２視点画像のうちの代表画像の合成処理が終了するまでの間、処理中メッセージ５１１のみが表示される。
【０１２７】
図１８（ｂ）には、２視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５１０を示す。進捗状況通知画面５１０には、２視点画像のうちの代表画像（例えば、左視点画像）５１３が表示され、この代表画像５１３に重ねて処理終了メッセージ５１２が表示される。処理終了メッセージ５１２は、２視点画像の記録処理が終了した旨を示す文字である。
【０１２８】
このように、２視点画像の記録処理が行われる場合には、合成対象となる画像の数が少ないため、その合成処理が比較的早く終了することが想定される。このため、２視点画像の記録処理が行われる場合に表示される進捗状況通知画面には、進捗状況を通知するプログレスバーを表示しないようにすることができる。なお、ユーザの好みに応じてプログレスバーを表示するようにしてもよい。
【０１２９】
［多視点画像（３視点以上）の合成処理の進捗状況通知画面の表示例］
図１９は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図１９では、３以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。
【０１３０】
図１９（ａ）には、多視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５２０を示す。進捗状況通知画面５２０には、多視点画像のうちの代表画像５２４が表示され、この代表画像５２４に重ねて、プログレスバー５２１および処理中メッセージ５２２が表示される。なお、プログレスバー５２１は、図１７に示すプログレスバー５００と同様である。また、処理中メッセージ５２２は、多視点画像の合成処理を実行中である旨を示す文字である。なお、進捗状況通知画面５２０には、多視点画像のうちの代表画像の合成処理が終了するまでの間、プログレスバー５２１および処理中メッセージ５２２のみが表示される。
【０１３１】
図１９（ｂ）および（ｃ）には、多視点画像の合成処理が行われている間に、表示部２８５に表示される進捗状況通知画面５２０を示す。この進捗状況通知画面５２０には、図１９（ａ）と同様に、代表画像５２４、プログレスバー５２１および処理中メッセージ５２２が表示される。ここで、プログレスバー５２１は、図１７（ｃ）に示すように、合成処理が終了した多視点画像の数に応じて、その表示状態が変更される。なお、図１９（ｃ）には、全ての多視点画像の合成処理の終了直後に、表示部２８５に表示される進捗状況通知画面５２０を示す。
【０１３２】
図１９（ｄ）には、多視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５２０を示す。この進捗状況通知画面５２０には、多視点画像のうちの代表画像５２４が表示され、この代表画像５２４に重ねて処理終了メッセージ５２３が表示される。処理終了メッセージ５２３は、多視点画像の記録処理が終了した旨を示す文字である。
【０１３３】
以上では、多視点画像の合成処理が行われている間に、多視点画像の代表画像およびプログレスバーを表示する例を示した。ただし、図１３乃至図１６に示すように、多視点画像の合成処理が行われている間に、多視点画像のうち、代表画像以外の他の画像を順次表示するようにしてもよい。また、プログレスバー以外に他の表示態様により、多視点画像の合成処理の進捗状況通知情報を表示するようにしてもよい。以下では、これらの表示例を示す。
【０１３４】
図２０は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図２０では、３以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。また、図２０に示す例は、図１９の変形例であり、図１９と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
【０１３５】
図２０（ａ）には、多視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５３０を示す。この進捗状況通知画面５３０には、図２０（ａ）と同様に、代表画像５３１、プログレスバー５２１および処理中メッセージ５２２が表示される。
【０１３６】
図２０（ｂ）および（ｃ）には、多視点画像の合成処理が行われている間に、表示部２８５に表示される進捗状況通知画面５３０を示す。この進捗状況通知画面５３０には、図１９（ｂ）および（ｃ）と同様に、プログレスバー５２１および処理中メッセージ５２２が表示されるが、これらの背景に合成処理済の多視点画像５３２および５３３が表示される点が、図１９（ｂ）および（ｃ）と異なる。なお、合成処理済の多視点画像５３２および５３３は、多視点画像のうちの代表画像以外の多視点画像であり、例えば、図１３または図１４に示す順序により表示させることができる。
【０１３７】
図２０（ｄ）には、多視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５３０を示す。この進捗状況通知画面５２０には、図１９（ｄ）と同様に、代表画像５３１および処理終了メッセージ５２３が表示される。このように、多視点画像の記録処理が終了した直後には、代表画像を表示させることが好ましい。
【０１３８】
図２１は、本発明の第１の実施の形態における表示部２８５に表示される進捗状況通知画面の表示遷移例を示す図である。図２１では、３以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。また、図２１に示す例は、図１９の変形例であり、図１９と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
【０１３９】
図２１（ａ）には、多視点画像の撮像動作が終了した直後に表示部２８５に表示される進捗状況通知画面５４０を示す。この進捗状況通知画面５４０には、図１９（ａ）と同様に、代表画像５２４、プログレスバー５２１および処理中メッセージ５２２が表示される。ただし、代表画像５２４に重ねて、他の進捗状況通知情報（進捗状況通知情報５４１）が表示される点が図１９（ａ）と異なる。進捗状況通知情報５４１は、多視点画像の合成処理の進捗状況を通知する情報であり、多視点画像の合成処理がどの程度の割合で進行したかを数値により表すものである。図２１に示す例では、合成処理の対象となる多視点画像の全体の数を分母とし、合成処理済の多視点画像の数を分子とする分数により、その進捗状況を通知する進捗状況通知情報５４１を示す。
【０１４０】
図２１（ａ）に示す進捗状況通知画面５４０は、多視点画像の撮像動作が終了した直後に表示されるため、何れの多視点画像の合成処理も終了していない。このため、進捗状況通知情報５４１として「進捗度（０／７）」が表示される。
【０１４１】
図２１（ｂ）および（ｃ）には、多視点画像の合成処理が行われている間に、表示部２８５に表示される進捗状況通知画面５４０を示す。この進捗状況通知画面５４０には、図１９（ｂ）および（ｃ）と同様に、プログレスバー５２１および処理中メッセージ５２２が表示されるが、進捗状況通知情報５４１が表示される点が、図１９（ｂ）および（ｃ）と異なる。なお、多視点画像の合成処理が行われている間に表示されるプログレスバー５２１および進捗状況通知情報５４１については、互いに対応する。
【０１４２】
図２１（ｄ）には、多視点画像の記録処理が終了した直後に表示部２８５に表示される進捗状況通知画面５４０を示す。この進捗状況通知画面５２０には、図１９（ｄ）と同様に、代表画像５３１および処理終了メッセージ５２３が表示される。
【０１４３】
このように、多視点画像の合成処理が行われている間に、プログレスバー５２１および進捗状況通知情報５４１を表示することにより、その進捗状況をさらに容易に把握することができる。なお、この例では、プログレスバー５２１および進捗状況通知情報５４１を同時に表示する例を示したが、進捗状況通知情報５４１のみを表示するようにしてもよい。また、多視点画像の合成処理がどの程度の割合で進行したかを表す他の進捗状況通知情報（多視点画像の合成処理の進捗状況通知情報）を表示するようにしてもよい。他の進捗状況通知情報として、例えば、その割合を数値（％）や円グラフで表示することができる。
【０１４４】
また、図２１では、合成処理の対象となる多視点画像の全体の数を分母とする例を示したが、分母の数が大きい場合には間引きを行い、この間引き後の数値を分母として進捗状況通知情報を表示するようにしてもよい。例えば、分母が１００となる場合には、間引きを行うことにより分母を１０として表示させることができる。この場合には、その間引きに応じて、分子の値についても変更する。
【０１４５】
［撮像装置の動作例］
図２２は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順では、代表画像のみをレビュー表示する例を示す。
【０１４６】
最初に、多視点画像の記録指示操作が行われたか否かが判断され（ステップＳ９０１）、その記録指示操作が行われていない場合には監視を継続して行う。一方、その記録指示操作が行われた場合には（ステップＳ９０１）、撮像画像記録処理が行われる（ステップＳ９１０）。この撮像画像記録処理については、図２３を参照して詳細に説明する。なお、ステップＳ９１０は、特許請求の範囲に記載の撮像手順の一例である。
【０１４７】
続いて、代表画像決定処理が行われる（ステップＳ９２０）。この代表画像決定処理については、図２４を参照して詳細に説明する。続いて、プログレスバー計算処理が行われる（ステップＳ９３０）。このプログレスバー計算処理については、図２５を参照して詳細に説明する。
【０１４８】
続いて、多視点画像が表示部２８５に表示されているか否かが判断され（ステップＳ９０２）、多視点画像が表示部２８５に表示されている場合には、視点ｊ画像生成処理が行われる（ステップＳ９５０）。この視点ｊ画像生成処理については、図２７を参照して詳細に説明する。一方、多視点画像が表示部２８５に表示されていない場合には（ステップＳ９０２）、代表画像生成処理が行われる（ステップＳ９４０）。この代表画像生成処理については、図２６を参照して詳細に説明する。なお、ステップＳ９４０およびＳ９５０は、特許請求の範囲に記載の合成手順の一例である。
【０１４９】
続いて、表示制御部２８０が、合成部２７０により生成された代表画像を表示用に解像度変換し（ステップＳ９０３）、解像度変換された表示用の代表画像を表示部２８５に表示させる（ステップＳ９０４）。
【０１５０】
また、視点ｊ画像生成処理が行われた後に（ステップＳ９５０）、記録制御部２９０が、視点ｊ画像生成処理により生成された複数の多視点画像をＭＰファイルとしてコンテンツ記憶部３００に記録させる（ステップＳ９０５）。
【０１５１】
図２３は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの撮像画像記録処理（図２２に示すステップＳ９１０の処理手順）の一例を示すフローチャートである。
【０１５２】
最初に、撮像部２４０が撮像画像を生成し（ステップＳ９１１）、生成された撮像画像を撮像画像保持部２５０に順次記録させる（ステップＳ９１２）。続いて、撮像動作終了の指示操作が行われた否かが判断され（ステップＳ９１３）、撮像動作終了の指示操作が行われた場合には、撮像画像記録処理の動作を終了する。一方、撮像動作終了の指示操作が行われていない場合には（ステップＳ９１３）、ステップＳ９１１に戻る。
【０１５３】
図２４は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像決定処理（図２２に示すステップＳ９２０の処理手順）の一例を示すフローチャートである。
【０１５４】
最初に、ユーザ操作により設定されている撮像モードが取得される（ステップＳ９２１）。そして、２視点画像撮像モードが設定されているか否かが判断され（ステップＳ９２２）、２視点画像撮像モードが設定されている場合には、制御部２３０が、左視点画像を代表画像として決定する（ステップＳ９２３）。
【０１５５】
一方、２視点画像撮像モードが設定されていない場合（すなわち、３視点以上の多視点画像撮影モードが設定されている場合）には（ステップＳ９２２）、制御部２３０が、設定されている多視点画像撮影モードの視点数を取得する（ステップＳ９２４）。続いて、取得された視点数が奇数であるか否かが判断され（ステップＳ９２５）、取得された視点数が奇数である場合には、制御部２３０が、中央画像を代表画像として決定する（ステップＳ９２６）。
【０１５６】
一方、取得された視点数が偶数である場合には（ステップＳ９２５）、制御部２３０が、中央近傍の２つの画像のうち、左側の画像を代表画像として決定する（ステップＳ９２７）。
【０１５７】
図２５は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちのプログレスバー計算処理（図２２に示すステップＳ９３０の処理手順）の一例を示すフローチャートである。
【０１５８】
最初に、制御部２３０が、設定されている多視点画像撮像モードの視点数を取得し（ステップＳ９３１）、１視点あたりの記録時間を取得する（ステップＳ９３２）。続いて、制御部２３０が、取得された視点数と、１視点あたりの記録時間とに基づいて、全ての視点数の記録時間を算出する（ステップＳ９３３）。
【０１５９】
続いて、算出された全ての視点数の記録時間が規定値以上であるか否かが判断される（ステップＳ９３４）。算出された全ての視点数の記録時間が規定値以上である場合には（ステップＳ９３４）、制御部２３０が、取得された視点数に基づいて、プログレスバーの表示領域を算出する（ステップＳ９３５）。この場合に、例えば、合成対象となる多視点画像の数が多い場合には、複数の多視点画像を１単位とし、これらの各単位に対応する各多視点画像の合成処理が終了する毎に、プログレスバーの表示状態を変更する設定とする。続いて、表示制御部２８０が、プログレスバーを表示部２８５に表示させる（ステップＳ９３６）。なお、ステップＳ９３６は、特許請求の範囲に記載の制御手順の一例である。
【０１６０】
また、算出された全ての視点数の記録時間が規定値未満である場合には（ステップＳ９３４）、制御部２３０が、プログレスバーを表示しないことを決定する（ステップＳ９３７）。この場合には、表示部２８５にプログレスバーが表示されない。
【０１６１】
図２６は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの代表画像生成処理（図２２に示すステップＳ９４０の処理手順）の一例を示すフローチャートである。
【０１６２】
最初に、合成部２７０が、制御部２３０から出力された解析結果に基づいて、撮像画像保持部２５０に保持されている各撮像画像における取出領域（短冊領域）の位置およびサイズを算出する（ステップＳ９４１）。続いて、合成部２７０が、算出された取出領域の位置およびサイズに基づいて、撮像画像保持部２５０に保持されている各撮像画像から短冊画像を取得する（ステップＳ９４２）。
【０１６３】
続いて、合成部２７０が、各撮像画像から取得された短冊画像を合成して代表画像を生成する（ステップＳ９４３）。この場合に、合成部２７０は、移動量検出部２６０から出力された移動量および移動方向に基づいて、その取得された画像を重ねて合成して代表画像を生成する。
【０１６４】
続いて、合成部２７０が、生成された代表画像について記録用に解像度変換を行い（ステップＳ９４４）、合成処理が終了した代表画像の視点番号を取得する（ステップＳ９４５）。続いて、プログレスバーの更新が必要か否かが判断される（ステップＳ９４６）。例えば、複数の多視点画像を１単位としてプログレスバーの表示状態を変更する設定がされている場合には、これらの各単位に対応する各多視点画像の合成処理が終了するまでの間、プログレスバーの更新が不要であると判断される。そして、プログレスバーの更新が必要である場合には（ステップＳ９４６）、表示制御部２８０がプログレスバーの表示状態を変更し（ステップＳ９４７）、代表画像生成処理の動作を終了する。一方、プログレスバーの更新が不要である場合には（ステップＳ９４６）、代表画像生成処理の動作を終了する。
【０１６５】
図２７は、本発明の第１の実施の形態における撮像装置１００による多視点画像記録処理の処理手順のうちの視点ｊ画像生成処理（図２２に示すステップＳ９５０の処理手順）の一例を示すフローチャートである。
【０１６６】
最初に、ｊ＝１とされる（ステップＳ９５１）。続いて、合成部２７０が、ステップＳ９４１で算出された取出領域（短冊領域）のサイズを用いて、短冊位置ズラシ量βを算出する（ステップＳ９５２）。続いて、合成部２７０が、算出された短冊位置ズラシ量βを用いて、視点ｊのずらし量（例えば、式５に示すＭＱｊ）を算出する（ステップＳ９５３）。
【０１６７】
続いて、合成部２７０が、算出された視点ｊのずらし量、取出領域の位置およびサイズに基づいて、撮像画像保持部２５０に保持されている各撮像画像から短冊画像を取得する（ステップＳ９５４）。
【０１６８】
続いて、合成部２７０が、各撮像画像から取得された短冊画像を合成して視点ｊ画像（多視点画像）を生成する（ステップＳ９５５）。この場合に、合成部２７０は、移動量検出部２６０から出力された移動量および移動方向に基づいて、その取得された画像を重ねて合成して視点ｊ画像を生成する。
【０１６９】
続いて、合成部２７０が、生成された視点ｊ画像について記録用に解像度変換を行い（ステップＳ９５６）、合成処理が終了した視点ｊ画像の視点番号を取得する（ステップＳ９５７）。続いて、プログレスバーの更新が必要か否かが判断され（ステップＳ９５８）、プログレスバーの更新が必要である場合には、表示制御部２８０がプログレスバーの表示状態を変更する（ステップＳ９５９）。一方、プログレスバーの更新が不要である場合には（ステップＳ９５８）、ステップＳ９６０に進む。
【０１７０】
続いて、記録制御部２９０が、解像度変換がされた視点ｊ画像をエンコードし（ステップＳ９６０）、エンコードされた視点ｊ画像をＭＰファイルに記録する（ステップＳ９６１）。続いて、視点ｊが最後の視点であるか否かが判断され（ステップＳ９６２）、視点ｊが最後の視点である場合には、視点ｊ画像生成処理の動作をする。一方、視点ｊが最後の視点でない場合には（ステップＳ９６２）、ｊをインクリメントし（ステップＳ９６３）、視点ｊ画像が代表画像であるか否かが判断される（ステップＳ９６４）。視点ｊ画像が代表画像である場合には（ステップＳ９６４）、ステップＳ９６０に戻り、視点ｊ画像が代表画像でない場合には、ステップＳ９５３に戻る。
【０１７１】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、一連の撮像動作により生成された複数の画像を所定規則に基づいて表示する例を示した。ここで、多視点画像撮影モードにおける多視点画像の撮像動作が終了した後にその撮像動作により生成された多視点画像を確認する場合に、ユーザが特定視点の多視点画像の表示を所望することも想定される。そこで、本発明の第２の実施の形態では、多視点画像の撮像動作が終了した後に、表示対象となる画像を撮像装置の姿勢に応じて変化させて表示させる例を示す。なお、本発明の第２の実施の形態における撮像装置の構成については、ＬＣＤ１７２の代わりに入出力パネル７１０を設けた点以外は、図１および図１１に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１７２】
［撮像装置の外観構成例およびその使用例］
図２８は、本発明の第２の実施の形態における撮像装置７００の外観構成例およびその使用時における姿勢の一例を示す図である。撮像装置７００は、入出力パネル７１０を備える。
【０１７３】
入出力パネル７１０は、各種画像を表示するとともに、入出力パネル７１０における接触操作を検出することによりユーザからの操作入力を受け付けるものである。すなわち、入出力パネル７１０はタッチパネルを備え、このタッチパネルは、例えば、表示パネルの画面を透過するように表示パネルに重ねて配置され、表示面に接触する物体を検出することによりユーザからの操作入力を受け付ける。
【０１７４】
なお、撮像装置７００には、電源スイッチ、モード切替スイッチ等の他の操作部材やレンズ部等が備えられているが、説明の容易のため、ここでの図示および説明は省略する。また、光学ユニット１１２は、その一部が撮像装置７００に内蔵されている。
【０１７５】
図２８（ａ）には、撮像装置７００を用いて多視点画像のレビュー表示を行う場合における撮像装置７００の姿勢の一例を示す。例えば、人物８００が、多視点画像の撮像動作の終了後に、撮像装置７００を用いて多視点画像の表示を行う場合には、撮像装置７００を両手で持った状態で、入出力パネル７１０に表示される画像を見ることができる。
【０１７６】
図２８（ｂ）には、撮像装置７００の姿勢を変化させる場合におけるその遷移例を示す。なお、図２８（ｂ）は、図２８（ａ）に示す状態を上面から見た場合を簡略化して示す例である。
【０１７７】
ここで、撮像装置７００の姿勢の変化について説明する。例えば、ユーザが撮像装置７００を手に持った状態で、直交３軸周りの回転角（すなわち、ヨー角、ピッチ角、ロール角）を変化させることができる。例えば、図２８（ｂ）に示す撮像装置７００の状態で、垂直方向を軸とする矢印７０１方向に撮像装置７００の姿勢を変化（ヨー角の変化）させることができる。また、例えば、図２８（ｂ）に示す撮像装置７００の状態で、水平方向を軸とする回転方向に撮像装置７００の姿勢を変化（ピッチ角の変化）させることができる。また、例えば、図２８（ｂ）に示す撮像装置７００の状態で、人物８００の前後方向を軸とする回転矢印方向に撮像装置７００の姿勢を変化（ロール角の変化）させることができる。
【０１７８】
なお、本発明の第２の実施の形態では、図２８（ｂ）に示すように撮像装置７００の姿勢を変化させることにより、入出力パネル７１０にレビュー表示される画像を順次変更する例を示す。すなわち、ユーザによるジェスチャー操作により、入出力パネル７１０にレビュー表示される画像を順次変更する例を示す。
【０１７９】
［回転角度への関連付け例］
図２９は、本発明の第２の実施の形態における撮像装置７００を用いて生成された複数の多視点画像と、これらをレビュー表示させる際における撮像装置７００の傾き角度との関係を模式的に示す図である。この例では、５視点の多視点画像が生成された場合を例にして説明する。
【０１８０】
図２９（ａ）には、撮像装置７００を用いて生成された複数の多視点画像（視点１乃至視点５）を簡略化して示す。
【０１８１】
図２９（ｂ）には、図２９（ａ）に示す複数の多視点画像（視点１乃至視点５）の撮像動作が終了した後に、これらの各多視点画像をレビュー表示する場合における撮像装置７００の遷移例を示す。なお、図２９（ｂ）では、撮像装置７００の底面（すなわち、シャッターボタン１８３が設けられている面の反対側の面）側の外観を示す。
【０１８２】
また、図２９（ｂ）では、撮像装置７００の遷移に対応する撮像装置７００の操作範囲（回転角度の全範囲（角度Ｖ））を模式的に示す。なお、角度Ｖは、ユーザが表示画面を見ることが可能な角度とすることが好ましく、例えば、１８０度とすることができる。
【０１８３】
また、図２９（ｂ）では、図２８（ｂ）に示す矢印７０１方向に撮像装置７００を回転させてその姿勢を変化させることにより多視点画像の表示状態を変更する例を示す。この場合における多視点画像の表示状態を変更する際に基準となる傾け角度（基準角度）をγとする。この傾け角度γは、多視点画像の数に応じて適宜設定するようにしてもよく、ユーザの好みに応じてユーザ操作により設定するようにしてもよい。この傾け角度γは、例えば、４５度とすることができる。
【０１８４】
また、図２９（ａ）に示す多視点画像（視点１乃至５）と、図２９（ｂ）に示す撮像装置７００（傾け角度γ単位で傾けた状態７３１乃至７３５の撮像装置７００）とについて、矢印で結んで関連付けて示す。このように、生成された多視点画像（視点１乃至５）を、傾け角度γ単位で傾けた各状態に適切に割り当てる。なお、撮像装置７００を傾けることにより多視点画像の表示変更を変更する操作については、図３０を参照して詳細に説明する。
【０１８５】
図３０は、本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。図３０（ａ）には、図２９（ａ）に示す多視点画像（視点１乃至視点５）の撮像動作が終了した直後における入出力パネル７１０の表示例を示す。例えば、本発明の第１の実施の形態で示したように、多視点画像（視点１乃至視点５）の撮像動作が終了した直後には、視点３の多視点画像が代表画像として入出力パネル７１０に表示される。
【０１８６】
図３０（ａ）に示す表示画面には、視点３の多視点画像が表示され、この多視点画像に重ねて、決定ボタン７５１と、撮り直しボタン７５２と、操作支援情報７５３および７５４と、メッセージ７５５とが表示される。なお、図３０（ａ）および（ｂ）に示す表示画面に表示される多視点画像については、対応する文字を括弧内に付して簡略化して示す。
【０１８７】
決定ボタン７５１は、入出力パネル７１０に表示されている多視点画像（代表画像候補）を代表画像として新たに決定する際に押下されるボタンである。すなわち、決定ボタン７５１が押下された場合には、この押下操作時に入出力パネル７１０に表示されていた多視点画像が新たな代表画像として決定される。そして、記録制御部２９０は、その決定された新たな代表画像を示す代表画像情報と、多視点画像の順序関係（例えば、視点番号）とを、生成された多視点画像に関連付けて、その多視点画像をＭＰファイルとして記録媒体に記録させる。
【０１８８】
撮り直しボタン７５２は、例えば、多視点画像の撮像動作を新たに行う場合に押下されるボタンである。すなわち、入出力パネル７１０に表示された多視点画像を確認した後に、多視点画像の撮り直しを行う必要があるとユーザ判断した場合には、撮り直しボタン７５２を押下することにより、迅速に撮り直しを行うことができる。
【０１８９】
操作支援情報７５３および７５４は、入出力パネル７１０に表示されている多視点画像を変更するための操作を支援するための操作ガイドである。メッセージ７５５は、その操作および代表画像の決定操作を支援するための操作ガイドである。
【０１９０】
図３０（ｂ）には、図３０（ａ）に示す状態から人物８００が撮像装置７００を右側にγ度以上傾けた場合における入出力パネル７１０の表示例を示す。
【０１９１】
例えば、図３０（ａ）に示すように、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が他の多視点画像の表示を所望することが考えられる。例えば、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を右側にγ度以上傾けた場合には、図３０（ｂ）に示すように、視点４の多視点画像が入出力パネル７１０にレビュー表示される。さらに、例えば、入出力パネル７１０に視点４の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を右側にγ度以上傾けた場合には、視点５の多視点画像が入出力パネル７１０にレビュー表示される。
【０１９２】
また、例えば、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を左側にγ度以上傾けた場合には、視点２の多視点画像が入出力パネル７１０にレビュー表示される。さらに、例えば、入出力パネル７１０に視点２の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を左側にγ度以上傾けた場合には、視点１の多視点画像が入出力パネル７１０にレビュー表示される。このように、撮像装置７００を傾ける操作により代表画像以外の多視点画像を代表画像候補として入出力パネル７１０にレビュー表示させることができる。
【０１９３】
また、撮像装置７００を傾ける操作により代表画像候補が入出力パネル７１０にレビュー表示されている状態で、決定ボタン７５１が押下されると、その代表画像候補が新たな代表画像として決定される。例えば、撮像装置７００を傾ける操作により視点２の多視点画像が入出力パネル７１０にレビュー表示されている状態で、決定ボタン７５１が押下されると、視点３の多視点画像の代わりに、視点２の多視点画像が新たな代表画像として決定される。
【０１９４】
ここで、例えば、入出力パネル７１０に視点３の多視点画像がレビュー表示されている状態で、人物８００が撮像装置７００を何れかの方向にγ度以上傾けた場合には、他の多視点画像がレビュー表示される。この場合に、合成部２７０が、表示対象となる多視点画像の合成処理を終了していないことも想定される。そこで、撮像装置７００を傾ける操作により表示対象画像が変更される場合において、表示対象となる多視点画像の合成処理が終了していない場合には、他の多視点画像よりもその表示対象となる多視点画像の合成処理を優先して行うようにする。すなわち、撮像装置７００を傾ける操作による表示対象画像の変更が行われない場合には、本発明の第１の実施の形態と同様の順序で合成処理を順次行う。一方、撮像装置７００を傾ける操作により表示対象画像が変更され、表示対象となる多視点画像の合成処理が終了していない場合には、合成部２７０が、その表示対象となる多視点画像の合成処理を優先して行う。
【０１９５】
これにより、ユーザが所望する多視点画像を撮像装置７００の傾きに応じて容易に迅速にレビュー表示させることができる。このため、ユーザが多視点画像を確認する場合に、その確認を容易に行うことができる。また、決定ボタン７５１の押下により、所望の多視点画像を代表画像として決定することができる。
【０１９６】
なお、図３０に示す例では、プログレスバーの表示を省略した表示例を示したが、多視点画像とともにプログレスバーを表示するようにしてもよい。このように多視点画像とともにプログレスバーを表示する例を図３１に示す。
【０１９７】
図３１は、本発明の第２の実施の形態における入出力パネル７１０に表示される画像の表示遷移例を示す図である。図３１は、図３０（ａ）および（ｂ）に示す各表示画面に、プログレスバー７５６を設けた例であり、他のプログレスバー７５６を設けた点以外は、図３０（ａ）および（ｂ）に示す例と同様である。なお、プログレスバー７５６における表示状態の変更等については、本発明の第１の実施の形態における表示状態と同様である。
【０１９８】
すなわち、姿勢検出部２２０が、代表画像が入出力パネル７１０に表示された際における撮像装置７００の姿勢を基準として撮像装置７００の姿勢の変化を検出する。そして、制御部２３０が、入出力パネル７１０に代表画像を表示させた後に、その検出された姿勢の変化と、所定規則とに基づいて、多視点画像（代表画像候補）を入出力パネル７１０に順次表示させる制御を行う。ここで、所定規則は、例えば、図２９（ａ）に示す多視点画像（視点１乃至５）と、図２９（ｂ）に示す状態７３１乃至７３５（傾け角度γ単位で傾けた状態７３１乃至７３５）との関連付けを意味する。
【０１９９】
なお、本発明の第２の実施の形態では、入出力パネル７１０に最初に代表画像を表示する例を示すが、撮像部２４０による複数の撮像画像の生成処理が終了した直後における姿勢の変化に基づいて、最初に表示される多視点画像を決定するようにしてもよい。すなわち、姿勢検出部２２０が、撮像部２４０による複数の撮像画像の生成処理が終了した直後における撮像装置７００の姿勢を基準として撮像装置７００の姿勢の変化を検出する。そして、制御部２３０が、その検出された姿勢の変化に応じた順序（視点）に対応する多視点画像を入出力パネル７１０に最初に代表画像として表示させるようにしてもよい。この場合に、表示対象となる多視点画像の合成処理を終了していない場合には、合成部２７０が、その表示対象となる多視点画像の合成処理を優先して行う。
【０２００】
また、本発明の第２の実施の形態では、代表画像候補を表示させるための操作方法として、撮像装置７００を傾ける操作方法を用いる例を示したが、キーボタン等の操作部材を用いて代表画像候補を表示させるようにしてもよい。
【０２０１】
また、本発明の第２の実施の形態では、ユーザ操作により代表画像候補を表示させて代表画像を決定する例を示した。ただし、本発明の第１の実施の形態で示したように、自動で多視点画像が順次表示される場合に、この表示されている多視点画像のうちから、ユーザ操作により代表画像を決定するようにしてもよい。この場合には、例えば、所望の多視点画像が表示されている場合に、決定ボタン等の操作部材を用いた決定操作により代表画像の決定を行うことができる。
【０２０２】
［撮像装置の動作例］
図３２および図３３は、本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順は、図２７（図２２に示すステップＳ９５０の処理手順）の変形例である。このため、図２７に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。また、この処理手順では、自動で順次表示される多視点画像のうちから、ユーザ操作により代表画像を決定する例を示す。
【０２０３】
エンコードされた視点ｊ画像がＭＰファイルに記録された後に（ステップＳ９６１）、表示制御部２８０が、合成部２７０により生成された視点ｊ画像を表示用に解像度変換する（ステップＳ９７１）。続いて、表示制御部２８０が、解像度変換された表示用の視点ｊ画像を表示部２８５に表示させる（ステップＳ９７２）。
【０２０４】
続いて、代表画像の決定操作が行われたか否かが判断され（ステップＳ９７３）、代表画像の決定操作が行われた場合には、制御部２３０が、表示部２８５に表示されている視点ｊ画像を新たな代表画像として決定する（ステップＳ９７４）。一方、代表画像の決定操作が行われていない場合には（ステップＳ９７３）、ステップＳ９６２に進む。
【０２０５】
図３４および図３５は、本発明の第２の実施の形態における撮像装置７００による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順は、図３２および図３３（図２２に示すステップＳ９５０の処理手順）の変形例である。このため、図３２および図３３に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。また、この処理手順では、ユーザ操作により代表画像候補を表示させて代表画像を決定する例を示す。
【０２０６】
短冊位置ズラシ量βが算出された後に（ステップＳ９５２）、撮像装置７００の姿勢が一定以上変化したか否かが判断され（ステップＳ９８１）、撮像装置７００の姿勢が一定以上変化していない場合には、ステップＳ９８５に進む。一方、撮像装置７００の姿勢が一定以上変化した場合には（ステップＳ９８１）、その変化に対応する視点ｊが設定される（ステップＳ９８２）。続いて、視点ｊの多視点画像が合成処理済であるか否かが判断され（ステップＳ９８３）、視点ｊの多視点画像が合成処理済である場合には、視点ｊの多視点画像が記録処理済であるか否かが判断される（ステップＳ９８４）。ここで、視点ｊの多視点画像が合成処理済である場合は、例えば、短冊画像の合成により生成された視点ｊ画像（多視点画像）について、記録用の解像度変換が行われている場合である（例えば、図９に示す視点ｊ画像（最終画像）４２０）。また、視点ｊの多視点画像が記録処理済である場合は、例えば、エンコードがされた視点ｊ画像（多視点画像）がＭＰファイルに記録されている場合である（例えば、図９に示すＭＰファイルに記録されている場合）。
【０２０７】
また、視点ｊの多視点画像が合成処理済でない場合には（ステップＳ９８３）、ステップＳ９５３に進む。また、視点ｊの多視点画像が記録処理済である場合には（ステップＳ９８４）、ステップＳ９７１に進み、視点ｊの多視点画像が記録処理済でない場合には、ステップＳ９８５に進む。
【０２０８】
また、ステップＳ９８５において、視点（ｊ−１）画像が記録処理済であるか否かが判断され、視点（ｊ−１）画像が記録処理済である場合には、ステップＳ９６０に進む。一方、視点（ｊ−１）画像が記録処理済でない場合には（ステップＳ９８５）、ステップＳ９７１に進む。
【０２０９】
また、撮像装置７００の姿勢が一定以上変化していない場合には（ステップＳ９８１）、ｊ＝０とされ（ステップＳ９８６）、ｊがインクリメントされる（ステップＳ９８７）。続いて、視点ｊの多視点画像が合成処理済であるか否かが判断され（ステップＳ９８８）、視点ｊの多視点画像が合成処理済である場合には、視点ｊの多視点画像が記録処理済であるか否かが判断される（ステップＳ９８９）。視点ｊの多視点画像が記録処理済である場合には（ステップＳ９８９）、ステップＳ９８７に戻り、視点ｊの多視点画像が記録処理済でない場合には、ステップＳ９８５に戻る。また、視点ｊの多視点画像が合成処理済でない場合には（ステップＳ９８８）、ステップＳ９５３に戻る。
【０２１０】
また、多視点画像の記録処理が全て終了した場合には（ステップＳ９９０）、視点ｊ画像生成処理の動作を終了する。一方、多視点画像の記録処理が全て終了していない場合には（ステップＳ９９０）、ステップＳ９８１に戻る。
【０２１１】
なお、本発明の実施の形態では、時系列で連続する複数の撮像画像を用いて多視点画像を生成する場合におけるレビュー表示の表示例を示した。ただし、時系列で連続する複数の撮像画像を用いて連写画像を生成する場合において、その連写画像についてレビュー表示を行う場合に本発明の実施の形態を適用することができる。例えば、連写モードが設定されている場合に、撮像部２４０が、時系列で連続する複数の撮像画像（例えば、１５枚）を生成する。そして、記録制御部２９０が、その生成された複数の撮像画像のうちの少なくとも一部（または全部）を所定規則に基づく順序関係を付与して互いに関連付けてコンテンツ記憶部３００に記録させる。すなわち、時系列で連続する複数の撮像画像が、その生成順序に応じた順序関係が付与されて互いに関連付けて、連写画像の画像ファイルとして記録される。この場合に、制御部２３０が、撮像部２４０による複数の撮像画像の生成処理が終了した後に、その記録対象となる複数の撮像画像のうち所定順序となる撮像画像（例えば、真ん中の画像（７枚目の画像））を代表画像として表示部２８５に表示させる制御を行う。
【０２１２】
また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置等の撮像装置に本発明の実施の形態を適用することができる。
【０２１３】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２１４】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２１５】
１００、７００ 撮像装置
１０１ バス
１１０ 撮像部
１１１ 撮像素子
１１２ 光学ユニット
１１５ ジャイロセンサ
１２０ 解像度変換部
１３０ 画像圧縮伸張部
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＣＰＵ
１７１ ＬＣＤコントローラ
１７２ ＬＣＤ
１８１ 入力制御部
１８２ 操作部
１８３ シャッターボタン
１９１ リムーバブルメディアコントローラ
１９２ リムーバブルメディア
２１０ 操作受付部
２２０ 姿勢検出部
２３０ 制御部
２４０ 撮像部
２５０ 撮像画像保持部
２６０ 移動量検出部
２７０ 合成部
２８０ 表示制御部
２８５ 表示部
２９０ 記録制御部
３００ コンテンツ記憶部
【特許請求の範囲】
【請求項１】
被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像部と、
前記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成部と、
前記撮像部による前記複数の撮像画像の生成処理が終了した後に前記合成部による前記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御部と
を具備する撮像装置。
【請求項２】
前記合成部は、前記複数の合成画像として多視点画像を生成し、
前記制御部は、前記撮像部による前記複数の撮像画像の生成処理が終了した直後に前記多視点画像のうち中央画像またはこれに近接する画像を前記代表画像として前記進捗情報とともに前記表示部に表示させる制御を行う
請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記合成部による生成対象となる前記複数の合成画像の全体数に対する前記合成部により生成された合成画像の数に基づいて前記進捗情報を表示させる制御を行う請求項１記載の撮像装置。
【請求項４】
前記制御部は、前記合成部による前記合成画像の生成がどの程度の割合で進行したかを棒状のグラフにより表すプログレスバーを前記進捗情報として表示させる制御を行う請求項１記載の撮像装置。
【請求項５】
前記制御部は、前記撮像部による前記複数の撮像画像の生成処理が終了した直後に前記進捗情報を前記表示部に表示させる制御を行う請求項１記載の撮像装置。
【請求項６】
前記制御部は、前記生成された合成画像のうちの少なくとも一部を前記進捗情報とともに前記表示部に順次表示させる制御を行う請求項１記載の撮像装置。
【請求項７】
前記制御部は、前記生成された合成画像のうち所定順序となる合成画像を代表画像として前記表示部に最初に表示させる制御を行う請求項６記載の撮像装置。
【請求項８】
前記代表画像を示す代表画像情報および前記順序関係を前記生成された複数の合成画像に関連付けて前記生成された複数の合成画像を記録媒体に記録させる記録制御部をさらに具備する請求項７記載の撮像装置。
【請求項９】
前記記録制御部は、前記代表画像情報および前記順序関係が関連付けられた前記生成された複数の合成画像をＭＰファイルとして前記記録媒体に記録させる請求項８記載の撮像装置。
【請求項１０】
被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像手順と、
前記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成手順と、
前記撮像手順で前記複数の撮像画像の生成処理が終了した後に前記合成手順での前記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御手順と
を具備する表示制御方法。
【請求項１１】
被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像手順と、
前記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成手順と、
前記撮像手順で前記複数の撮像画像の生成処理が終了した後に前記合成手順での前記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御手順と
をコンピュータに実行させるプログラム。
【請求項１】
被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像部と、
前記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成部と、
前記撮像部による前記複数の撮像画像の生成処理が終了した後に前記合成部による前記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御部と
を具備する撮像装置。
【請求項２】
前記合成部は、前記複数の合成画像として多視点画像を生成し、
前記制御部は、前記撮像部による前記複数の撮像画像の生成処理が終了した直後に前記多視点画像のうち中央画像またはこれに近接する画像を前記代表画像として前記進捗情報とともに前記表示部に表示させる制御を行う
請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記合成部による生成対象となる前記複数の合成画像の全体数に対する前記合成部により生成された合成画像の数に基づいて前記進捗情報を表示させる制御を行う請求項１記載の撮像装置。
【請求項４】
前記制御部は、前記合成部による前記合成画像の生成がどの程度の割合で進行したかを棒状のグラフにより表すプログレスバーを前記進捗情報として表示させる制御を行う請求項１記載の撮像装置。
【請求項５】
前記制御部は、前記撮像部による前記複数の撮像画像の生成処理が終了した直後に前記進捗情報を前記表示部に表示させる制御を行う請求項１記載の撮像装置。
【請求項６】
前記制御部は、前記生成された合成画像のうちの少なくとも一部を前記進捗情報とともに前記表示部に順次表示させる制御を行う請求項１記載の撮像装置。
【請求項７】
前記制御部は、前記生成された合成画像のうち所定順序となる合成画像を代表画像として前記表示部に最初に表示させる制御を行う請求項６記載の撮像装置。
【請求項８】
前記代表画像を示す代表画像情報および前記順序関係を前記生成された複数の合成画像に関連付けて前記生成された複数の合成画像を記録媒体に記録させる記録制御部をさらに具備する請求項７記載の撮像装置。
【請求項９】
前記記録制御部は、前記代表画像情報および前記順序関係が関連付けられた前記生成された複数の合成画像をＭＰファイルとして前記記録媒体に記録させる請求項８記載の撮像装置。
【請求項１０】
被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像手順と、
前記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成手順と、
前記撮像手順で前記複数の撮像画像の生成処理が終了した後に前記合成手順での前記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御手順と
を具備する表示制御方法。
【請求項１１】
被写体を撮像して時系列で連続する複数の撮像画像を生成する撮像手順と、
前記生成された複数の撮像画像のそれぞれにおける少なくとも一部を用いて合成を行い所定規則に基づく順序関係を有する複数の合成画像を生成する合成手順と、
前記撮像手順で前記複数の撮像画像の生成処理が終了した後に前記合成手順での前記合成画像の生成の進捗に関する情報を進捗情報として表示部に表示させる制御を行う制御手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１１−２２３２９２（Ｐ２０１１−２２３２９２Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９０１１８（Ｐ２０１０−９０１１８）
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]