パノラマ画像生成装置およびパノラマ画像生成方法
【課題】動画を構成する複数の静止画からパノラマ画像を生成した場合、極端に横長または縦長のパノラマ画像が生成されてしまう。
【解決手段】動画を構成する複数の静止画を合成してパノラマ画像７０を生成し、生成したパノラマ画像７０から、表示用のパノラマ画像を切り出す大きさを決定するとともに、パノラマ画像７０から注目撮影位置を検出する。そして、検出した注目撮影位置と、決定した大きさとに基づいて、パノラマ画像７０から表示用のパノラマ画像８０を切り出す。
【解決手段】動画を構成する複数の静止画を合成してパノラマ画像７０を生成し、生成したパノラマ画像７０から、表示用のパノラマ画像を切り出す大きさを決定するとともに、パノラマ画像７０から注目撮影位置を検出する。そして、検出した注目撮影位置と、決定した大きさとに基づいて、パノラマ画像７０から表示用のパノラマ画像８０を切り出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画からパノラマ画像を生成する技術に関する。
【背景技術】
【０００２】
従来、動画を構成する複数の静止画からパノラマ画像を生成する技術が知られている（特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４１８２１号公報
【特許文献１】特開２０００−２４４８１４号公報
【特許文献１】特開２００９−１５９５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動画を構成する複数の静止画からパノラマ画像を生成した場合、極端に横長または縦長のパノラマ画像が生成されてしまう。このような極端に横長または縦長のパノラマ画像では、ユーザが注目している被写体を確認しにくくなるという問題が生じる。
【０００５】
本発明は、動画を構成する複数の静止画から、ユーザが注目している被写体を視認しやすいパノラマ画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係るパノラマ画像生成装置は、動画からパノラマ画像を生成可能なパノラマ画像生成装置であって、前記動画を構成する複数の静止画を合成してパノラマ画像を生成するパノラマ画像生成部と、前記パノラマ画像生成部によって生成されたパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定する切り出しサイズ決定部と、前記パノラマ画像生成部によって生成されたパノラマ画像から注目撮影位置を検出する注目撮影位置判定部と、前記注目撮影位置判定部によって検出された注目撮影位置と、前記切り出しサイズ決定部によって決定された大きさとに基づいて、前記パノラマ画像生成部によって生成されたパノラマ画像から表示用のパノラマ画像を切り出す表示用パノラマ画像切り出し部と、前記表示用パノラマ画像切り出し部によって切り出された表示用のパノラマ画像を表示する表示部と、を備える。
【０００７】
本発明の別の態様に係るパノラマ画像生成方法は、動画からパノラマ画像を生成するパノラマ画像生成方法であって、前記動画を構成する複数の静止画を合成してパノラマ画像を生成するステップと、前記生成したパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定するステップと、前記生成したパノラマ画像から注目撮影位置を検出するステップと、前記検出した注目撮影位置と、前記決定した大きさとに基づいて、前記パノラマ画像から表示用のパノラマ画像を切り出すステップと、を備える。
【発明の効果】
【０００８】
本発明によれば、動画を構成する複数の静止画を合成して生成されるパノラマ画像から、ユーザが注目している撮影位置を含む範囲を切り出して、表示用のパノラマ画像を生成するので、ユーザが注目している被写体を容易に視認することができる。
【図面の簡単な説明】
【０００９】
【図１】一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラの正面斜視図である。
【図２】一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラの背面斜視図である。
【図３】デジタルカメラのハードウェア構成例を示す図である。
【図４】画像合成部によって生成されたパノラマ画像から切り出しパノラマ画像を生成して表示部に表示するまでの処理の流れを示すフローチャートである。
【図５】縦長のパノラマ画像から切り出しパノラマ画像を生成するまでの処理の流れを示すフローチャートである。
【図６】パノラマ画像を生成するために用いられた動画像を構成する複数の静止画像の一例を示す図である。
【図７】図６に示す動画像を構成する複数の静止画像に基づいて生成されたパノラマ画像の一例を示す図である。
【図８】パノラマ画像の横方向における切り出し量を算出する方法を説明するための図である。
【図９】画像合成部によって生成されたパノラマ画像において、パノラマ画像を生成するために用いられた複数の静止画の中心位置を示す図である。
【図１０】パノラマ画像を構成する複数の静止画の中心位置の時間軸上の座標を示す図である。
【図１１】パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数を示すグラフ、および、パノラマ画像における注目位置を示す図である。
【図１２】図６に示す動画から生成され、表示部に表示される切り出しパノラマ画像の一例を示す図である。
【図１３】切り出しパノラマ画像に含まれる静止画を用いた動画表示の処理の流れを示すフローチャートである。
【図１４】切り出しパノラマ画像に含まれるフレームの一例を示す図である。
【図１５】図１４に示す、切り出しパノラマ画像に含まれるフレームを順に動画再生する例を示す図である。
【図１６】ダイジェスト動画再生を行う場合に、切り出しパノラマ画像も同時に表示する例を示す図である。
【図１７】図１６を用いて説明した動画再生方法において、タイムバーを合わせて表示する例を示す図である。
【図１８】表示部に表示する切り出しパノラマ画像も移動表示させる例を示す図である。
【発明を実施するための形態】
【００１０】
図１は、一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラ１の正面斜視図である。図２は、一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラ１の背面斜視図である。
【００１１】
図１および図２に示すように、デジタルカメラ１は、略直方体状に形成されたカメラ本体３、光学系としてのレンズ４、操作部としてのシャッターボタン５、パワーボタン６（以上、図１参照）、メニューボタン７、十字ボタン８、ＯＫ／ＦＵＮＣボタン９、ズームボタン１０、及び、モードダイヤル１１、液晶モニタ等の表示部１９（以上、図２参照）を有する。
【００１２】
シャッターボタン５は、レンズ４を通して撮像される静止画および動画（連続する静止画）の記録を指示するための操作ボタンである。パワーボタン６は、デジタルカメラ１の電源をオン・オフするための操作ボタンである。メニューボタン７は、デジタルカメラ１の各種設定のためのメニュー画面を表示部１９に表示させるための操作ボタンである。
【００１３】
十字ボタン８は、表示部１９に表示されたメニュー画面上のカーソルの位置を移動させる等により所望のメニュー項目を選択させるための操作ボタンである。ＯＫ／ＦＵＮＣボタン９は、十字ボタン８を用いて選択したメニュー項目を選択項目として確定させるための操作ボタンである。
【００１４】
ズームボタン１０は、レンズ４をワイド側又はテレ側に移動させることで焦点距離の変更を指示するための操作ボタンである。モードダイヤル１１は、例えば動画撮影モードや静止画撮影モード等のデジタルカメラ１の動作モードを設定するための操作ダイヤルである。
【００１５】
図３は、デジタルカメラ１のハードウェア構成例を示す図である。図３に示すデジタルカメラ１は、レンズ１０１（図１のレンズ４に相当）、撮像素子１０２、撮像処理部１０３、Ａ／Ｄ１０４（これらのレンズ１０１からＡ／Ｄ１０４を「撮像部１００」という。）、画像処理部１５、圧縮伸張部１６、画像バッファメモリ１７、表示処理部１８、表示部１９（図２の表示部１９に相当）、記憶部２０、内蔵メモリ２１、外部メモリ２２、有線Ｉ／Ｆ２３、バス２４、操作部２５、集音部２６、ＣＰＵ２７、動きベクトル検出部２８、画像合成部２９等を有する。
【００１６】
撮像部１００は、被写体を撮像して画像データ（画像信号）を順次生成する。生成した画像データは、バス２４を介して画像バッファメモリ１７に出力される。上述したように、撮像部１００は、レンズ１０１、撮像素子１０２、撮像処理部１０３、Ａ／Ｄ１０４により構成される。
【００１７】
レンズ１０１は、被写体を撮像したときの被写体像を撮像素子１０２に結像する。撮像素子１０２は、レンズ１０１により結像された被写体像を光電変換して得られる画像を表すアナログ電気信号を撮像処理部１０３に出力する。撮像素子１０２は、例えばＣＣＤ（Charge Coupled Device）である。
【００１８】
撮像処理部１０３は、撮像素子１０２から出力されるアナログ電気信号のノイズ成分を低減させると共に信号レベルを安定化させて、Ａ／Ｄ１０４に出力する。撮像処理部１０３は、アナログ電気信号のノイズ成分を低減させるＣＤＳ（Correlated Double Sampling）や信号レベルを安定化させるＡＧＣ（Automatic Gain Control）等の回路を有する。Ａ／Ｄ１０４は、撮像処理部１０３から出力されるアナログ電気信号をデジタル電気信号に変換する。変換後のデジタル電気信号は、画像データとして、バス２４に出力される。
【００１９】
画像バッファメモリ１７は、Ａ／Ｄ１０４から出力され、バス２４を介して入力される画像データを一時的に記憶する。画像バッファメモリ１７は、例えばＤＲＡＭ(Dynamic Random Access Memory)等の記憶装置である。
【００２０】
画像処理部１５は、画像バッファメモリ１７、内蔵メモリ２１または外部メモリ２２に記憶された画像データに対して、ガンマ補正やホワイトバランス補正等の補正処理や、画素数を増減させる拡大・縮小処理（リサイズ処理）等の各種の画像処理を施す。画像処理部１５は、画像バッファメモリ１７、内蔵メモリ２１または外部メモリ２２に記憶された画像データに基づいて表示部１９に画像データを表示する際や、画像バッファメモリ１７に記憶された画像データを内蔵メモリ２１や外部メモリ２２に記憶させる際に、その前処理として上記の画像処理を施す。
【００２１】
圧縮伸張部１６は、画像処理部１５により画像処理が施された画像データを内蔵メモリ２１や外部メモリ２２に記憶させるときに圧縮処理を施したり、内蔵メモリ２１や外部メモリ２２に記憶された画像データを読み出すときに伸張処理を施したりする。ここでいう圧縮処理や伸張処理とは、例えば、ＪＰＥＧ(Joint Photographic Experts Group)方式やＭＰＥＧ（Moving Picture Experts Group）方式等による処理である。
【００２２】
表示処理部１８は、画像処理部１５により画像処理が施された画像データを基に、表示部１９に画像データを表示するときに、表示部１９が表示可能な映像信号を生成して表示部１９に出力する。表示部１９は、表示処理部１８により出力された映像信号に応じた映像を表示する。表示部１９は、例えば液晶モニタ等の表示装置である。
【００２３】
記憶部２０は、画像データを記憶する。ここでいう画像データとは、画像処理部１５により画像処理が施され、かつ、圧縮伸張部１６によって圧縮処理が施された画像データである。記憶部２０は、内蔵メモリ２１や外部メモリ２２により構成される。内蔵メモリ２１は、デジタルカメラ１に予め内蔵されているメモリである。外部メモリ２２は、デジタルカメラ１に着脱自在のメモリカードであり、例えばｘＤ−ピクチャーカード（登録商標）である。
【００２４】
有線Ｉ／Ｆ２３は、デジタルカメラ１が外部機器と有線通信規格で接続するためのインターフェースである。有線通信規格とは、例えばＵＳＢ（Universal Serial Bus）である。
【００２５】
操作部２５は、図１のシャッターボタン５、パワーボタン６、メニューボタン７、十字ボタン８、ＯＫ／ＦＵＮＣボタン９、ズームボタン１０、モードダイヤル１１等である。これら操作部２５に係る操作情報は、ＣＰＵ２７に送信される。集音部２６は、音声を集音するマイクロフォン等の装置である。この集音部２６によって得られた音声信号はＣＰＵ２７に送信される。
【００２６】
ＣＰＵ２７は、フラッシュＲＯＭ２９に格納されている制御プログラムを読み出して実行することで、デジタルカメラ１の全体の動作を制御する。
【００２７】
動きベクトル検出部２８は、既知の方法を用いて、複数の画像間の動きベクトルを検出する。
【００２８】
画像合成部２９は、動きベクトル検出部２８で検出された動きベクトルに基づいて、複数の画像間の位置ずれを補正し、位置ずれ補正後の複数の画像を合成して、合成画像を生成する。特に、画像合成部２９は、動画を構成する複数の静止画像間の位置ずれを補正し、位置ずれ補正後の複数の静止画像を合成することによって、パノラマ画像を生成する。動画を構成する複数の静止画からパノラマ画像を生成する方法は既知のため、ここでは、パノラマ画像を生成する処理の詳しい説明は省略する。
【００２９】
一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラでは、画像合成部２９によって生成されたパノラマ画像から、動画撮像時にユーザが注目している画像領域を切り出して、新たなパノラマ画像として、表示部１９に表示する。画像合成部２９によって生成されたパノラマ画像を切り出すことによって新たに生成されるパノラマ画像を、ここでは切り出しパノラマ画像と呼ぶ。
【００３０】
図４は、画像合成部２９によって生成されたパノラマ画像から切り出しパノラマ画像を生成して表示部１９に表示するまでの処理の流れを示すフローチャートである。ステップＳ１０から始まる処理は、ＣＰＵ２７によって行われる。ただし、フローチャートの各ステップの処理のうち、一部の処理を画像処理部１５で行うようにしてもよいし、図示しないＧＰＵを設けて、ＧＰＵで行うようにしてもよい。
【００３１】
ステップＳ１０では、画像合成部２９によって生成されたパノラマ画像が横長であるか否かを判定する。
【００３２】
図６は、パノラマ画像を生成するために用いられた、動画像を構成する複数の静止画像５１〜６１の一例を示す図である。また、図７は、図６に示す動画像を構成する複数の静止画像５１〜６１に基づいて生成されたパノラマ画像の一例を示す図である。
【００３３】
動画像を撮像する際に、図６に示すように、カメラのレンズを主に横方向に移動させた場合には、図７に示すように、生成されるパノラマ画像が横長となる。一方、動画像の撮像時に、カメラのレンズを主に縦方向に移動させた場合には、生成されるパノラマ画像は縦長となる。
【００３４】
ステップＳ１０の判定において、生成されたパノラマ画像が横長であると判定するとステップＳ２０に進む。ステップＳ２０からステップＳ６０までの処理は、横長のパノラマ画像に対して行う処理である。
【００３５】
ステップＳ２０では、画像合成部２９によって生成されたパノラマ画像の横方向（水平方向）における切り出し量（切り出す大きさ）を算出する。
【００３６】
図８は、画像合成部２９によって生成されたパノラマ画像７０の横方向における切り出し量を算出する方法を説明するための図である。画像合成部２９によって生成されたパノラマ画像の横方向の長さをＷＰ、縦方向の長さをＨＰ、切り出しパノラマ画像を表示する際の縦方向の表示幅をＨＤ、横方向の表示幅をＷＤとすると、切り出しパノラマ画像の横方向における切り出し量ＷＰ＿ＮＥＷは、次式（１）にて表される。
【００３７】
ＷＰ＿ＮＥＷ＝ＨＰ×ＷＤ／ＨＤ （１）
ステップＳ３０では、画像合成部２９によって生成されたパノラマ画像において、ユーザが撮像時に注目していた位置を求める。ここでは、画像合成部２９によって生成されたパノラマ画像において、パノラマ画像を生成するために用いられた複数の静止画のそれぞれの中心位置を求め、パノラマ画像の横方向における単位区間あたりの中心位置の数が最も多い位置を、ユーザが動画撮像時に注目していた位置とする。ここでは、切り出しパノラマ画像を表示部１９に表示する際の横方向の長さＷＰ＿ＮＥＷを単位区間とする。
【００３８】
図９は、画像合成部２９によって生成されたパノラマ画像において、パノラマ画像を生成するために用いられた複数の静止画８０〜９０の中心位置８０Ａ〜９０Ａを示す図である。
【００３９】
図１０は、パノラマ画像を構成する複数の静止画８０〜９０の中心位置８０Ａ〜９０ＡのＸ軸上の座標を示す図である。
【００４０】
図１１は、パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数を示すグラフ、および、パノラマ画像における注目位置（注目撮影位置）を示す図である。図１０に示す例では、ユーザは動画撮像時に、撮像区間Ａではカメラのレンズを単に横方向（右方向）に移動させているだけであるが、撮像区間Ｂでは、カメラのレンズを右方向だけでなく左方向にも移動させて、被写体を念入りに撮像していることが分かる。
【００４１】
また、動画の撮像では、一般的に、ユーザがあまり注目していない被写体を撮像する際の撮像速度に比べて、ユーザが注目している被写体を撮像する際の撮像速度は遅くなる。
【００４２】
すなわち、パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数が多い位置は、動画を構成する複数の静止画の中で最も多くの静止画に写し出されている被写体の位置であって、ユーザが注目している位置と判断することができる。従って、一実施の形態における撮像装置では、パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数が最も多い位置を、ユーザが注目している位置とする。
【００４３】
図４に示すフローチャートのステップＳ４０では、ステップＳ３０で求めた注目位置を中心として、ステップＳ２０で算出した切り出し量ＷＰ＿ＮＥＷの画像領域をパノラマ画像から切り出すと、切り出す領域がパノラマ画像の横方向にはみ出るか否かを判定する。切り出す領域がパノラマ画像の横方向にはみ出ないと判定するとステップＳ６０に進み、はみ出ると判定すると、ステップＳ５０に進む。
【００４４】
ステップＳ５０では、切り出す領域がパノラマ画像からはみ出ないように、切り出す領域がはみ出る分だけ、ステップＳ３０で求めた注目位置をオフセットさせる。
【００４５】
ステップＳ６０では、ステップＳ３０またはステップＳ５０で求めた注目位置を中心として、ステップＳ２０で算出した切り出し量ＷＰ＿ＮＥＷの画像領域をパノラマ画像から切り出す。図１１の点線で示す領域１００は、パノラマ画像から切り出す領域の一例を示す図である。また、図８の画像８０は、パノラマ画像７０から切り出した画像の一例を示しており、図１１の点線で示す領域１００に対応した画像である。
【００４６】
一方、ステップＳ１０において、生成されたパノラマ画像が縦長であると判定するとステップＳ９０に進む。ステップＳ９０では、縦長のパノラマ画像から、ユーザが注目している被写体を含む画像を切り出す処理を行う。この処理の詳細を、図５を用いて説明する。
【００４７】
図５に示すフローチャートのステップＳ１００では、画像合成部２９によって生成されたパノラマ画像の縦方向（垂直方向）における切り出し量を算出する。画像合成部２９によって生成されたパノラマ画像の横方向の長さをＷＰ、縦方向の長さをＨＰ、切り出しパノラマ画像を表示する際の縦方向の表示幅をＨＤ、横方向の表示幅をＷＤとすると、切り出しパノラマ画像の縦方向における切り出し量ＨＰ＿ＮＥＷは、次式（２）にて表される。
【００４８】
ＨＰ＿ＮＥＷ＝ＷＰ×ＨＤ／ＷＤ （２）
ステップＳ１１０では、画像合成部２９によって生成されたパノラマ画像において、ユーザが撮像時に注目していた位置を求める。ここでは、画像合成部２９によって生成されたパノラマ画像において、パノラマ画像を構成する複数の静止画の中心位置を求め、パノラマ画像の縦方向における単位区間あたりの中心位置の数が最も多い位置を、ユーザが動画撮像時に注目していた位置とする。ここでは、切り出しパノラマ画像を表示部１９に表示する際の縦方向の長さＨＰ＿ＮＥＷを単位区間とする。
【００４９】
ステップＳ１２０では、ステップＳ１１０で求めた注目位置を中心として、ステップＳ１００で算出した切り出し量ＨＰ＿ＮＥＷの画像領域をパノラマ画像から切り出すと、切り出す領域がパノラマ画像の縦方向にはみ出るか否かを判定する。切り出す領域がパノラマ画像の縦方向にはみ出ないと判定するとステップＳ１４０に進み、はみ出ると判定すると、ステップＳ１３０に進む。
【００５０】
ステップＳ１３０では、切り出す領域がパノラマ画像からはみ出ないように、切り出す領域がはみ出る分だけ、ステップＳ１１０で求めた注目位置をオフセットさせる。
【００５１】
ステップＳ１４０では、ステップＳ１１０またはステップＳ１３０で求めた注目位置を中心として、ステップＳ１００で算出した切り出し量ＨＰ＿ＮＥＷの画像領域をパノラマ画像から切り出す。ステップＳ１４０の処理を行うと、図４に示すフローチャートのステップＳ７０に進む。
【００５２】
ステップＳ７０では、ステップＳ６０、または、図５のステップ１４０で切り出した画像、すなわち、切り出しパノラマ画像を、表示部１９の表示サイズに合わせて拡大／縮小する。切り出しパノラマ画像を拡大／縮小する際の拡縮係数ｋは、次式（３）で表される。
【００５３】
ｋ＝ＨＤ／ＨＰ （３）
ステップＳ８０では、ステップＳ７０で拡大または縮小した切り出しパノラマ画像を表示部１９に表示する。図８の画像８５は、パノラマ画像７０から切り出した画像８０を縮小係数ｋで拡大／縮小した画像の一例を示す図である。
【００５４】
図１２は、図６に示す動画から生成され、表示部１９に表示される切り出しパノラマ画像の一例を示す図であり、図８の画像８５と対応している。動画からパノラマ画像を生成する従来の方法では、図７に示すような極端に横長の画像、または、極端に縦長の画像が生成されるため、表示部１９に表示される被写体が小さくなり、ユーザが視認しにくくなる。また、図７に示すようなパノラマ画像では、画像全体のうち、ユーザが注目している部分が分かりにくい。しかしながら、一実施の形態におけるパノラマ画像生成装置では、図１２に示すように、ユーザが注目していると考えられる画像領域を切り出してパノラマ画像を生成するので、ユーザの撮像意図に応じたパノラマ画像を生成することができる。
【００５５】
−変形表示例１−
動画を再生する際に、動画の全区間のうち、撮像時にユーザが注目していたと考えられる撮像区間を切り出して再生することもできる。ユーザが注目していたと考えられる撮像区間とは、切り出しパノラマ画像に含まれる区間である。
【００５６】
図１３は、切り出しパノラマ画像に含まれる静止画を用いた動画表示の処理の流れを示すフローチャートである。
【００５７】
ステップＳ１３００では、動画を構成する複数のフレーム（静止画）のうち、先頭のフレームのフレーム番号Ｎを１に設定する。
【００５８】
ステップＳ１３１０では、フレーム番号Ｎのフレームデータをデコードする。
【００５９】
ステップＳ１３２０では、ステップＳ１３１０でデコードしたフレームが切り出しパノラマ画像に含まれるか否かを判定する。ここでは、デコードしたフレームの中心位置が切り出しパノラマ画像に含まれるか否かを判定する。
【００６０】
図１４は、切り出しパノラマ画像１４０に含まれるフレーム１４１〜１４５の一例を示す図である。図１４に示すように、フレーム１４１〜１４５の中心位置は、切り出しパノラマ画像１４０に含まれている。図１４に示すフレーム１４６は、切り出しパノラマ画像１４０には含まれない。
【００６１】
ステップＳ１３２０において、デコードしたフレームが切り出しパノラマ画像に含まれないと判定するとステップＳ１３４０に進み、含まれると判定すると、ステップＳ１３３０に進む。
【００６２】
ステップＳ１３３０では、ステップＳ１３１０でデコードしたフレームを表示部１９に表示する。
【００６３】
ステップＳ１３４０では、フレーム番号Ｎのフレームが動画を構成する最終フレームであるか否かを判定する。フレーム番号Ｎのフレームが動画を構成する最終フレームではないと判定すると、ステップＳ１３５０に進み、フレーム番号Ｎに１を加算して、ステップＳ１３１０に戻る。一方、フレーム番号Ｎのフレームが動画を構成する最終フレームであると判定すると、フローチャートの処理を終了する。
【００６４】
図１５は、図１４に示す、切り出しパノラマ画像１４０に含まれるフレーム１４１〜１４５を順に動画再生する例を示す図である。この場合、表示されるフレームは、動画を構成する複数のフレームのうちの一部を抜き出したものであるため、途中のフレームが抜けている場合がある。しかし、この動画表示方法によれば、ユーザが動画撮像時に注目していたと考えられる撮像区間を抽出して、ダイジェスト再生することができる。これにより、動画撮影時間が長い場合でも、ユーザが動画撮像時に注目していた被写体を短時間で効率良く鑑賞することができる。
【００６５】
−変形表示例２−
図１６は、上述したダイジェスト動画再生を行う場合に、切り出しパノラマ画像１６０も同時に表示する例を示す図である。この表示方法では、表示部１９に、切り出しパノラマ画像１６０を表示した状態で、ダイジェスト再生するフレーム１６１〜１６５を順次表示する。ただし、ダイジェスト再生するフレームと、背後に表示する切り出しパノラマ画像との区別がつくように、ダイジェスト再生するフレームを強調した形で表示する。
【００６６】
図１６に示す例では、ダイジェスト再生するフレーム１６１〜１６５を強調するために、切り出しパノラマ画像１６０の画像領域のうち、ダイジェスト再生する画像領域以外の画像領域の輝度を低くしている。ただし、ダイジェスト再生するフレームを強調する方法は、この方法に限定されることはない。例えば、ダイジェスト再生するフレームのフレーム枠を表示することによって、再生するフレームを強調表示するようにしてもよい。
【００６７】
この動画表示方法によれば、撮像した動画区間の中で、どの区間を再生しているかを容易に視認することができる。
【００６８】
−変形表示例３−
図１７は、図１６を用いて説明した動画再生方法において、タイムバー１７０を合わせて表示する例を示す図である。タイムバー１７０の長さは、撮像された全動画区間の長さに対応しており、黒塗りされている区間１７１は、ダイジェスト再生する動画区間である。また、撮像された全動画区間のうち、ダイジェスト再生中のフレーム位置を、矢印１７２で示している。これにより、撮像された全動画区間のうち、どの区間を再生中であるかをさらに容易に視認することができる。
【００６９】
なお、タイムバーの長さを、切り出しパノラマ画像の撮像区間の長さに対応させるようにしてもよい。この場合には、切り出しパノラマ画像の撮像区間のうち、どの区間をダイジェスト再生中であるかを確認することができる。
【００７０】
上述した表示を行うため、記憶部２０は、切り出しパノラマ画像に含まれる静止画を用いた動画のデータに対して、切り出しパノラマ画像、および、動画の再生位置を示すデータを付随させて記憶する。これにより、図１７に示すような、切り出しパノラマ画像を背景とした動画表示、および、パノラマ画像中における動画の再生位置を示す動画表示を容易に行うことができる。
【００７１】
−変形表示例４−
図１６を用いて説明した動画再生方法では、表示部１９に表示する切り出しパノラマ画像は動かなかった。図１８は、表示部１９に表示する切り出しパノラマ画像も移動表示させる例を示す図である。
【００７２】
図１８に示す表示例では、表示部１９に表示される切り出しパノラマ画像が画像１８０、画像１８１、画像１８２、画像１８１の順に切り替わる。図１８において、上段は、表示部１９に表示される画面の遷移を示し、下段は、ダイジェスト再生されるフレーム１９０〜１９７とともに表示される切り出しパノラマ画像を示している。図１８の下段において、切り出しパノラマ画像１８０、１８１、１８２とともに表示されている画像１８３は、動画を構成する複数の静止画から構成されるパノラマ画像の一部を表す画像であり、切り出しパノラマ画像１８０〜１８２のそれぞれの関係を分かりやすくするために示している。
【００７３】
切り出しパノラマ画像１８１は、既に説明した方法によって生成される切り出しパノラマ画像である。切り出しパノラマ画像１８０は、画像１８３のうち、切り出しパノラマ画像１８１よりも撮影時間が前の部分を切り出したパノラマ画像である。例えば、切り出しパノラマ画像１８１の左半分と、切り出しパノラマ画像１８０の右半分とが同じ被写体となるように、画像１８３からパノラマ画像１８０を切り出す。ただし、画像１８３から切り出しパノラマ画像１８０を切り出す際に、切り出しパノラマ画像１８１に対して、どの程度撮影時間が前の部分を切り出すかは、任意に設定することができる。
【００７４】
切り出しパノラマ画像１８２は、切り出しパノラマ画像１８１よりも撮影時間が後の部分を切り出したパノラマ画像である。例えば、切り出しパノラマ画像１８１の右半分と、切り出しパノラマ画像１８２の左半分とが同じ被写体となるように、画像１８３からパノラマ画像１８２を切り出す。ただし、画像１８３から切り出しパノラマ画像１８２を切り出す際に、切り出しパノラマ画像１８１に対して、どの程度撮影時間が後の部分を切り出すかは、任意に設定することができる。切り出しパノラマ画像１８０、１８１、１８２の大きさはそれぞれ同じである。
【００７５】
ダイジェスト動画再生するフレームは、切り出しパノラマ画像１８０、１８１、１８２に含まれるフレームとする。図１８に示す例では、フレーム１９０〜１９７がダイジェスト動画再生するフレームとなる。
【００７６】
ダイジェスト再生するフレーム１９０〜１９７のうち、フレーム１９０、１９１は、切り出しパノラマ画像１８０に含まれる画像であり、切り出しパノラマ画像１８０とともに表示される。また、フレーム１９２、１９３、１９４、１９６、１９７は、切り出しパノラマ画像１８１に含まれる画像であり、切り出しパノラマ画像１８１とともに表示される。さらに、フレーム１９５は、切り出しパノラマ画像１８２に含まれる画像であり、切り出しパノラマ画像１８２とともに表示される。従って、フレーム１９１を表示している状態からフレーム１９２を表示する場合、同時に表示する切り出しパノラマ画像も画像１８０から画像１８１に変わる。同様に、フレーム１９５を表示している状態からフレーム１９６を表示する場合、同時に表示する切り出しパノラマ画像も画像１８２から画像１８１に変わる。
【００７７】
この表示方法によれば、１つの切り出しパノラマ画像を用いた表示方法よりも広い撮像範囲を対象として、ダイジェスト動画再生を行うことができる。
【００７８】
なお、フレームとともに表示する切り出しパノラマ画像を多数用意しておき、多数用意した切り出しパノラマ画像を少しずつ切り換えて表示することによって、背景に表示する切り出しパノラマ画像が少しずつ変化するような表示を行ってもよい。
【００７９】
以上、一実施の形態におけるパノラマ画像生成装置によれば、動画を構成する複数の静止画を合成してパノラマ画像を生成し、生成したパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定するとともに、生成したパノラマ画像から注目撮影位置を検出する。そして、検出した注目撮影位置と、決定した大きさとに基づいて、パノラマ画像から表示用のパノラマ画像を切り出す。これにより、ユーザが注目している被写体を視認しやすいパノラマ画像を生成することができる。
【００８０】
また、動画を構成する複数の静止画から生成されたパノラマ画像のうち、動画を構成する複数の静止画の中で最も多くの静止画に写し出されている被写体の位置を注目撮影位置として検出する。これにより、動画撮影時に、ユーザが注目していたと考えられる位置を精度良く検出することができるので、ユーザが注目している被写体を視認しやすいパノラマ画像を生成することができる。
【００８１】
また、動画を構成する複数の静止画のうち、表示用のパノラマ画像に含まれる静止画を用いて動画再生を行うことにより、ユーザが動画撮像時に注目していたと考えられる撮像区間を抽出して、動画をダイジェスト再生することができる。
【００８２】
さらに、表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、表示用のパノラマ画像を背景として、動画を強調した再生を行う。これにより、ユーザは、撮像した動画区間の中で、どの区間を再生しているかを容易に視認することができる。
【００８３】
また、一実施の形態におけるパノラマ画像生成装置では、表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、動画を構成する複数の静止画を合成することによって生成されたパノラマ画像、および、表示用のパノラマ画像のうちの少なくとも一方の画像中における再生位置を示す表示を行うこともできる。これにより、動画の再生時に、ユーザは、撮像された動画区間のうち、どの区間を再生中であるかを容易に視認することができる。
【００８４】
表示用のパノラマ画像に含まれる静止画を用いた動画のデータに対して、表示用のパノラマ画像、および、動画の再生位置を示すデータを付随させて記憶するので、表示用のパノラマ画像を背景として、表示用のパノラマ画像に含まれる静止画を用いた動画の再生を容易に行うことができる。また、表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、パノラマ画像中における動画の再生位置を容易に表示することができる。
【００８５】
さらに、一実施の形態におけるパノラマ画像生成装置では、表示用のパノラマ画像を複数用意しておき、表示用のパノラマ画像を背景として、表示用のパノラマ画像に含まれる静止画を用いた動画の再生を行う際に、動画の再生に応じて、表示用のパノラマ画像も切り換えるようにすることもできる。これにより、一つの表示用のパノラマ画像を用いた表示方法よりも広い撮像範囲を対象として、動画再生を行うことができる。
【００８６】
なお、上述した一実施の形態の説明では、パノラマ画像生成装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、パノラマ画像生成装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムをパノラマ画像生成プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されているパノラマ画像生成プログラムを読み出して、情報の加工・演算処理を実行することにより、上述のパノラマ画像生成装置と同様の処理を実現させる。
【００８７】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このパノラマ画像生成プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該パノラマ画像生成プログラムを実行するようにしても良い。
【００８８】
本発明は、上述した一実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、パノラマ画像生成装置を搭載したカメラをデジタルカメラとして説明したが、ビデオカメラやムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。
【００８９】
上述した一実施の形態では、図１１を用いて説明したように、パノラマ画像の横方向（または縦方向）において、単位区間あたりの静止画の中心位置の数が最も多い位置（ピーク位置）を、注目撮影位置とした。ここで、単位区間あたりの静止画の中心位置の数をグラフ化した際に、ピーク位置が複数ある場合には、ピーク位置のうち、単位区間あたりの静止画の中心位置の数が所定のしきい値以上であるピーク位置を注目撮影位置に設定することもできる。設定された注目撮影位置が複数ある場合には、設定されたそれぞれの注目撮影位置について、切り出しパノラマ画像を生成する。
【符号の説明】
【００９０】
１０２…撮像素子
１５…画像処理部
１９…表示部
２７…ＣＰＵ（パノラマ画像生成部、切り出しサイズ決定部、注目撮影位置判定部、パノラマ画像切り出し部、再生部）
２８…動きベクトル検出部
２９…画像合成部
【技術分野】
【０００１】
本発明は、動画からパノラマ画像を生成する技術に関する。
【背景技術】
【０００２】
従来、動画を構成する複数の静止画からパノラマ画像を生成する技術が知られている（特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４１８２１号公報
【特許文献１】特開２０００−２４４８１４号公報
【特許文献１】特開２００９−１５９５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動画を構成する複数の静止画からパノラマ画像を生成した場合、極端に横長または縦長のパノラマ画像が生成されてしまう。このような極端に横長または縦長のパノラマ画像では、ユーザが注目している被写体を確認しにくくなるという問題が生じる。
【０００５】
本発明は、動画を構成する複数の静止画から、ユーザが注目している被写体を視認しやすいパノラマ画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係るパノラマ画像生成装置は、動画からパノラマ画像を生成可能なパノラマ画像生成装置であって、前記動画を構成する複数の静止画を合成してパノラマ画像を生成するパノラマ画像生成部と、前記パノラマ画像生成部によって生成されたパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定する切り出しサイズ決定部と、前記パノラマ画像生成部によって生成されたパノラマ画像から注目撮影位置を検出する注目撮影位置判定部と、前記注目撮影位置判定部によって検出された注目撮影位置と、前記切り出しサイズ決定部によって決定された大きさとに基づいて、前記パノラマ画像生成部によって生成されたパノラマ画像から表示用のパノラマ画像を切り出す表示用パノラマ画像切り出し部と、前記表示用パノラマ画像切り出し部によって切り出された表示用のパノラマ画像を表示する表示部と、を備える。
【０００７】
本発明の別の態様に係るパノラマ画像生成方法は、動画からパノラマ画像を生成するパノラマ画像生成方法であって、前記動画を構成する複数の静止画を合成してパノラマ画像を生成するステップと、前記生成したパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定するステップと、前記生成したパノラマ画像から注目撮影位置を検出するステップと、前記検出した注目撮影位置と、前記決定した大きさとに基づいて、前記パノラマ画像から表示用のパノラマ画像を切り出すステップと、を備える。
【発明の効果】
【０００８】
本発明によれば、動画を構成する複数の静止画を合成して生成されるパノラマ画像から、ユーザが注目している撮影位置を含む範囲を切り出して、表示用のパノラマ画像を生成するので、ユーザが注目している被写体を容易に視認することができる。
【図面の簡単な説明】
【０００９】
【図１】一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラの正面斜視図である。
【図２】一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラの背面斜視図である。
【図３】デジタルカメラのハードウェア構成例を示す図である。
【図４】画像合成部によって生成されたパノラマ画像から切り出しパノラマ画像を生成して表示部に表示するまでの処理の流れを示すフローチャートである。
【図５】縦長のパノラマ画像から切り出しパノラマ画像を生成するまでの処理の流れを示すフローチャートである。
【図６】パノラマ画像を生成するために用いられた動画像を構成する複数の静止画像の一例を示す図である。
【図７】図６に示す動画像を構成する複数の静止画像に基づいて生成されたパノラマ画像の一例を示す図である。
【図８】パノラマ画像の横方向における切り出し量を算出する方法を説明するための図である。
【図９】画像合成部によって生成されたパノラマ画像において、パノラマ画像を生成するために用いられた複数の静止画の中心位置を示す図である。
【図１０】パノラマ画像を構成する複数の静止画の中心位置の時間軸上の座標を示す図である。
【図１１】パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数を示すグラフ、および、パノラマ画像における注目位置を示す図である。
【図１２】図６に示す動画から生成され、表示部に表示される切り出しパノラマ画像の一例を示す図である。
【図１３】切り出しパノラマ画像に含まれる静止画を用いた動画表示の処理の流れを示すフローチャートである。
【図１４】切り出しパノラマ画像に含まれるフレームの一例を示す図である。
【図１５】図１４に示す、切り出しパノラマ画像に含まれるフレームを順に動画再生する例を示す図である。
【図１６】ダイジェスト動画再生を行う場合に、切り出しパノラマ画像も同時に表示する例を示す図である。
【図１７】図１６を用いて説明した動画再生方法において、タイムバーを合わせて表示する例を示す図である。
【図１８】表示部に表示する切り出しパノラマ画像も移動表示させる例を示す図である。
【発明を実施するための形態】
【００１０】
図１は、一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラ１の正面斜視図である。図２は、一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラ１の背面斜視図である。
【００１１】
図１および図２に示すように、デジタルカメラ１は、略直方体状に形成されたカメラ本体３、光学系としてのレンズ４、操作部としてのシャッターボタン５、パワーボタン６（以上、図１参照）、メニューボタン７、十字ボタン８、ＯＫ／ＦＵＮＣボタン９、ズームボタン１０、及び、モードダイヤル１１、液晶モニタ等の表示部１９（以上、図２参照）を有する。
【００１２】
シャッターボタン５は、レンズ４を通して撮像される静止画および動画（連続する静止画）の記録を指示するための操作ボタンである。パワーボタン６は、デジタルカメラ１の電源をオン・オフするための操作ボタンである。メニューボタン７は、デジタルカメラ１の各種設定のためのメニュー画面を表示部１９に表示させるための操作ボタンである。
【００１３】
十字ボタン８は、表示部１９に表示されたメニュー画面上のカーソルの位置を移動させる等により所望のメニュー項目を選択させるための操作ボタンである。ＯＫ／ＦＵＮＣボタン９は、十字ボタン８を用いて選択したメニュー項目を選択項目として確定させるための操作ボタンである。
【００１４】
ズームボタン１０は、レンズ４をワイド側又はテレ側に移動させることで焦点距離の変更を指示するための操作ボタンである。モードダイヤル１１は、例えば動画撮影モードや静止画撮影モード等のデジタルカメラ１の動作モードを設定するための操作ダイヤルである。
【００１５】
図３は、デジタルカメラ１のハードウェア構成例を示す図である。図３に示すデジタルカメラ１は、レンズ１０１（図１のレンズ４に相当）、撮像素子１０２、撮像処理部１０３、Ａ／Ｄ１０４（これらのレンズ１０１からＡ／Ｄ１０４を「撮像部１００」という。）、画像処理部１５、圧縮伸張部１６、画像バッファメモリ１７、表示処理部１８、表示部１９（図２の表示部１９に相当）、記憶部２０、内蔵メモリ２１、外部メモリ２２、有線Ｉ／Ｆ２３、バス２４、操作部２５、集音部２６、ＣＰＵ２７、動きベクトル検出部２８、画像合成部２９等を有する。
【００１６】
撮像部１００は、被写体を撮像して画像データ（画像信号）を順次生成する。生成した画像データは、バス２４を介して画像バッファメモリ１７に出力される。上述したように、撮像部１００は、レンズ１０１、撮像素子１０２、撮像処理部１０３、Ａ／Ｄ１０４により構成される。
【００１７】
レンズ１０１は、被写体を撮像したときの被写体像を撮像素子１０２に結像する。撮像素子１０２は、レンズ１０１により結像された被写体像を光電変換して得られる画像を表すアナログ電気信号を撮像処理部１０３に出力する。撮像素子１０２は、例えばＣＣＤ（Charge Coupled Device）である。
【００１８】
撮像処理部１０３は、撮像素子１０２から出力されるアナログ電気信号のノイズ成分を低減させると共に信号レベルを安定化させて、Ａ／Ｄ１０４に出力する。撮像処理部１０３は、アナログ電気信号のノイズ成分を低減させるＣＤＳ（Correlated Double Sampling）や信号レベルを安定化させるＡＧＣ（Automatic Gain Control）等の回路を有する。Ａ／Ｄ１０４は、撮像処理部１０３から出力されるアナログ電気信号をデジタル電気信号に変換する。変換後のデジタル電気信号は、画像データとして、バス２４に出力される。
【００１９】
画像バッファメモリ１７は、Ａ／Ｄ１０４から出力され、バス２４を介して入力される画像データを一時的に記憶する。画像バッファメモリ１７は、例えばＤＲＡＭ(Dynamic Random Access Memory)等の記憶装置である。
【００２０】
画像処理部１５は、画像バッファメモリ１７、内蔵メモリ２１または外部メモリ２２に記憶された画像データに対して、ガンマ補正やホワイトバランス補正等の補正処理や、画素数を増減させる拡大・縮小処理（リサイズ処理）等の各種の画像処理を施す。画像処理部１５は、画像バッファメモリ１７、内蔵メモリ２１または外部メモリ２２に記憶された画像データに基づいて表示部１９に画像データを表示する際や、画像バッファメモリ１７に記憶された画像データを内蔵メモリ２１や外部メモリ２２に記憶させる際に、その前処理として上記の画像処理を施す。
【００２１】
圧縮伸張部１６は、画像処理部１５により画像処理が施された画像データを内蔵メモリ２１や外部メモリ２２に記憶させるときに圧縮処理を施したり、内蔵メモリ２１や外部メモリ２２に記憶された画像データを読み出すときに伸張処理を施したりする。ここでいう圧縮処理や伸張処理とは、例えば、ＪＰＥＧ(Joint Photographic Experts Group)方式やＭＰＥＧ（Moving Picture Experts Group）方式等による処理である。
【００２２】
表示処理部１８は、画像処理部１５により画像処理が施された画像データを基に、表示部１９に画像データを表示するときに、表示部１９が表示可能な映像信号を生成して表示部１９に出力する。表示部１９は、表示処理部１８により出力された映像信号に応じた映像を表示する。表示部１９は、例えば液晶モニタ等の表示装置である。
【００２３】
記憶部２０は、画像データを記憶する。ここでいう画像データとは、画像処理部１５により画像処理が施され、かつ、圧縮伸張部１６によって圧縮処理が施された画像データである。記憶部２０は、内蔵メモリ２１や外部メモリ２２により構成される。内蔵メモリ２１は、デジタルカメラ１に予め内蔵されているメモリである。外部メモリ２２は、デジタルカメラ１に着脱自在のメモリカードであり、例えばｘＤ−ピクチャーカード（登録商標）である。
【００２４】
有線Ｉ／Ｆ２３は、デジタルカメラ１が外部機器と有線通信規格で接続するためのインターフェースである。有線通信規格とは、例えばＵＳＢ（Universal Serial Bus）である。
【００２５】
操作部２５は、図１のシャッターボタン５、パワーボタン６、メニューボタン７、十字ボタン８、ＯＫ／ＦＵＮＣボタン９、ズームボタン１０、モードダイヤル１１等である。これら操作部２５に係る操作情報は、ＣＰＵ２７に送信される。集音部２６は、音声を集音するマイクロフォン等の装置である。この集音部２６によって得られた音声信号はＣＰＵ２７に送信される。
【００２６】
ＣＰＵ２７は、フラッシュＲＯＭ２９に格納されている制御プログラムを読み出して実行することで、デジタルカメラ１の全体の動作を制御する。
【００２７】
動きベクトル検出部２８は、既知の方法を用いて、複数の画像間の動きベクトルを検出する。
【００２８】
画像合成部２９は、動きベクトル検出部２８で検出された動きベクトルに基づいて、複数の画像間の位置ずれを補正し、位置ずれ補正後の複数の画像を合成して、合成画像を生成する。特に、画像合成部２９は、動画を構成する複数の静止画像間の位置ずれを補正し、位置ずれ補正後の複数の静止画像を合成することによって、パノラマ画像を生成する。動画を構成する複数の静止画からパノラマ画像を生成する方法は既知のため、ここでは、パノラマ画像を生成する処理の詳しい説明は省略する。
【００２９】
一実施の形態におけるパノラマ画像生成装置を搭載したデジタルカメラでは、画像合成部２９によって生成されたパノラマ画像から、動画撮像時にユーザが注目している画像領域を切り出して、新たなパノラマ画像として、表示部１９に表示する。画像合成部２９によって生成されたパノラマ画像を切り出すことによって新たに生成されるパノラマ画像を、ここでは切り出しパノラマ画像と呼ぶ。
【００３０】
図４は、画像合成部２９によって生成されたパノラマ画像から切り出しパノラマ画像を生成して表示部１９に表示するまでの処理の流れを示すフローチャートである。ステップＳ１０から始まる処理は、ＣＰＵ２７によって行われる。ただし、フローチャートの各ステップの処理のうち、一部の処理を画像処理部１５で行うようにしてもよいし、図示しないＧＰＵを設けて、ＧＰＵで行うようにしてもよい。
【００３１】
ステップＳ１０では、画像合成部２９によって生成されたパノラマ画像が横長であるか否かを判定する。
【００３２】
図６は、パノラマ画像を生成するために用いられた、動画像を構成する複数の静止画像５１〜６１の一例を示す図である。また、図７は、図６に示す動画像を構成する複数の静止画像５１〜６１に基づいて生成されたパノラマ画像の一例を示す図である。
【００３３】
動画像を撮像する際に、図６に示すように、カメラのレンズを主に横方向に移動させた場合には、図７に示すように、生成されるパノラマ画像が横長となる。一方、動画像の撮像時に、カメラのレンズを主に縦方向に移動させた場合には、生成されるパノラマ画像は縦長となる。
【００３４】
ステップＳ１０の判定において、生成されたパノラマ画像が横長であると判定するとステップＳ２０に進む。ステップＳ２０からステップＳ６０までの処理は、横長のパノラマ画像に対して行う処理である。
【００３５】
ステップＳ２０では、画像合成部２９によって生成されたパノラマ画像の横方向（水平方向）における切り出し量（切り出す大きさ）を算出する。
【００３６】
図８は、画像合成部２９によって生成されたパノラマ画像７０の横方向における切り出し量を算出する方法を説明するための図である。画像合成部２９によって生成されたパノラマ画像の横方向の長さをＷＰ、縦方向の長さをＨＰ、切り出しパノラマ画像を表示する際の縦方向の表示幅をＨＤ、横方向の表示幅をＷＤとすると、切り出しパノラマ画像の横方向における切り出し量ＷＰ＿ＮＥＷは、次式（１）にて表される。
【００３７】
ＷＰ＿ＮＥＷ＝ＨＰ×ＷＤ／ＨＤ （１）
ステップＳ３０では、画像合成部２９によって生成されたパノラマ画像において、ユーザが撮像時に注目していた位置を求める。ここでは、画像合成部２９によって生成されたパノラマ画像において、パノラマ画像を生成するために用いられた複数の静止画のそれぞれの中心位置を求め、パノラマ画像の横方向における単位区間あたりの中心位置の数が最も多い位置を、ユーザが動画撮像時に注目していた位置とする。ここでは、切り出しパノラマ画像を表示部１９に表示する際の横方向の長さＷＰ＿ＮＥＷを単位区間とする。
【００３８】
図９は、画像合成部２９によって生成されたパノラマ画像において、パノラマ画像を生成するために用いられた複数の静止画８０〜９０の中心位置８０Ａ〜９０Ａを示す図である。
【００３９】
図１０は、パノラマ画像を構成する複数の静止画８０〜９０の中心位置８０Ａ〜９０ＡのＸ軸上の座標を示す図である。
【００４０】
図１１は、パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数を示すグラフ、および、パノラマ画像における注目位置（注目撮影位置）を示す図である。図１０に示す例では、ユーザは動画撮像時に、撮像区間Ａではカメラのレンズを単に横方向（右方向）に移動させているだけであるが、撮像区間Ｂでは、カメラのレンズを右方向だけでなく左方向にも移動させて、被写体を念入りに撮像していることが分かる。
【００４１】
また、動画の撮像では、一般的に、ユーザがあまり注目していない被写体を撮像する際の撮像速度に比べて、ユーザが注目している被写体を撮像する際の撮像速度は遅くなる。
【００４２】
すなわち、パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数が多い位置は、動画を構成する複数の静止画の中で最も多くの静止画に写し出されている被写体の位置であって、ユーザが注目している位置と判断することができる。従って、一実施の形態における撮像装置では、パノラマ画像の横方向において、単位区間あたりの静止画の中心位置の数が最も多い位置を、ユーザが注目している位置とする。
【００４３】
図４に示すフローチャートのステップＳ４０では、ステップＳ３０で求めた注目位置を中心として、ステップＳ２０で算出した切り出し量ＷＰ＿ＮＥＷの画像領域をパノラマ画像から切り出すと、切り出す領域がパノラマ画像の横方向にはみ出るか否かを判定する。切り出す領域がパノラマ画像の横方向にはみ出ないと判定するとステップＳ６０に進み、はみ出ると判定すると、ステップＳ５０に進む。
【００４４】
ステップＳ５０では、切り出す領域がパノラマ画像からはみ出ないように、切り出す領域がはみ出る分だけ、ステップＳ３０で求めた注目位置をオフセットさせる。
【００４５】
ステップＳ６０では、ステップＳ３０またはステップＳ５０で求めた注目位置を中心として、ステップＳ２０で算出した切り出し量ＷＰ＿ＮＥＷの画像領域をパノラマ画像から切り出す。図１１の点線で示す領域１００は、パノラマ画像から切り出す領域の一例を示す図である。また、図８の画像８０は、パノラマ画像７０から切り出した画像の一例を示しており、図１１の点線で示す領域１００に対応した画像である。
【００４６】
一方、ステップＳ１０において、生成されたパノラマ画像が縦長であると判定するとステップＳ９０に進む。ステップＳ９０では、縦長のパノラマ画像から、ユーザが注目している被写体を含む画像を切り出す処理を行う。この処理の詳細を、図５を用いて説明する。
【００４７】
図５に示すフローチャートのステップＳ１００では、画像合成部２９によって生成されたパノラマ画像の縦方向（垂直方向）における切り出し量を算出する。画像合成部２９によって生成されたパノラマ画像の横方向の長さをＷＰ、縦方向の長さをＨＰ、切り出しパノラマ画像を表示する際の縦方向の表示幅をＨＤ、横方向の表示幅をＷＤとすると、切り出しパノラマ画像の縦方向における切り出し量ＨＰ＿ＮＥＷは、次式（２）にて表される。
【００４８】
ＨＰ＿ＮＥＷ＝ＷＰ×ＨＤ／ＷＤ （２）
ステップＳ１１０では、画像合成部２９によって生成されたパノラマ画像において、ユーザが撮像時に注目していた位置を求める。ここでは、画像合成部２９によって生成されたパノラマ画像において、パノラマ画像を構成する複数の静止画の中心位置を求め、パノラマ画像の縦方向における単位区間あたりの中心位置の数が最も多い位置を、ユーザが動画撮像時に注目していた位置とする。ここでは、切り出しパノラマ画像を表示部１９に表示する際の縦方向の長さＨＰ＿ＮＥＷを単位区間とする。
【００４９】
ステップＳ１２０では、ステップＳ１１０で求めた注目位置を中心として、ステップＳ１００で算出した切り出し量ＨＰ＿ＮＥＷの画像領域をパノラマ画像から切り出すと、切り出す領域がパノラマ画像の縦方向にはみ出るか否かを判定する。切り出す領域がパノラマ画像の縦方向にはみ出ないと判定するとステップＳ１４０に進み、はみ出ると判定すると、ステップＳ１３０に進む。
【００５０】
ステップＳ１３０では、切り出す領域がパノラマ画像からはみ出ないように、切り出す領域がはみ出る分だけ、ステップＳ１１０で求めた注目位置をオフセットさせる。
【００５１】
ステップＳ１４０では、ステップＳ１１０またはステップＳ１３０で求めた注目位置を中心として、ステップＳ１００で算出した切り出し量ＨＰ＿ＮＥＷの画像領域をパノラマ画像から切り出す。ステップＳ１４０の処理を行うと、図４に示すフローチャートのステップＳ７０に進む。
【００５２】
ステップＳ７０では、ステップＳ６０、または、図５のステップ１４０で切り出した画像、すなわち、切り出しパノラマ画像を、表示部１９の表示サイズに合わせて拡大／縮小する。切り出しパノラマ画像を拡大／縮小する際の拡縮係数ｋは、次式（３）で表される。
【００５３】
ｋ＝ＨＤ／ＨＰ （３）
ステップＳ８０では、ステップＳ７０で拡大または縮小した切り出しパノラマ画像を表示部１９に表示する。図８の画像８５は、パノラマ画像７０から切り出した画像８０を縮小係数ｋで拡大／縮小した画像の一例を示す図である。
【００５４】
図１２は、図６に示す動画から生成され、表示部１９に表示される切り出しパノラマ画像の一例を示す図であり、図８の画像８５と対応している。動画からパノラマ画像を生成する従来の方法では、図７に示すような極端に横長の画像、または、極端に縦長の画像が生成されるため、表示部１９に表示される被写体が小さくなり、ユーザが視認しにくくなる。また、図７に示すようなパノラマ画像では、画像全体のうち、ユーザが注目している部分が分かりにくい。しかしながら、一実施の形態におけるパノラマ画像生成装置では、図１２に示すように、ユーザが注目していると考えられる画像領域を切り出してパノラマ画像を生成するので、ユーザの撮像意図に応じたパノラマ画像を生成することができる。
【００５５】
−変形表示例１−
動画を再生する際に、動画の全区間のうち、撮像時にユーザが注目していたと考えられる撮像区間を切り出して再生することもできる。ユーザが注目していたと考えられる撮像区間とは、切り出しパノラマ画像に含まれる区間である。
【００５６】
図１３は、切り出しパノラマ画像に含まれる静止画を用いた動画表示の処理の流れを示すフローチャートである。
【００５７】
ステップＳ１３００では、動画を構成する複数のフレーム（静止画）のうち、先頭のフレームのフレーム番号Ｎを１に設定する。
【００５８】
ステップＳ１３１０では、フレーム番号Ｎのフレームデータをデコードする。
【００５９】
ステップＳ１３２０では、ステップＳ１３１０でデコードしたフレームが切り出しパノラマ画像に含まれるか否かを判定する。ここでは、デコードしたフレームの中心位置が切り出しパノラマ画像に含まれるか否かを判定する。
【００６０】
図１４は、切り出しパノラマ画像１４０に含まれるフレーム１４１〜１４５の一例を示す図である。図１４に示すように、フレーム１４１〜１４５の中心位置は、切り出しパノラマ画像１４０に含まれている。図１４に示すフレーム１４６は、切り出しパノラマ画像１４０には含まれない。
【００６１】
ステップＳ１３２０において、デコードしたフレームが切り出しパノラマ画像に含まれないと判定するとステップＳ１３４０に進み、含まれると判定すると、ステップＳ１３３０に進む。
【００６２】
ステップＳ１３３０では、ステップＳ１３１０でデコードしたフレームを表示部１９に表示する。
【００６３】
ステップＳ１３４０では、フレーム番号Ｎのフレームが動画を構成する最終フレームであるか否かを判定する。フレーム番号Ｎのフレームが動画を構成する最終フレームではないと判定すると、ステップＳ１３５０に進み、フレーム番号Ｎに１を加算して、ステップＳ１３１０に戻る。一方、フレーム番号Ｎのフレームが動画を構成する最終フレームであると判定すると、フローチャートの処理を終了する。
【００６４】
図１５は、図１４に示す、切り出しパノラマ画像１４０に含まれるフレーム１４１〜１４５を順に動画再生する例を示す図である。この場合、表示されるフレームは、動画を構成する複数のフレームのうちの一部を抜き出したものであるため、途中のフレームが抜けている場合がある。しかし、この動画表示方法によれば、ユーザが動画撮像時に注目していたと考えられる撮像区間を抽出して、ダイジェスト再生することができる。これにより、動画撮影時間が長い場合でも、ユーザが動画撮像時に注目していた被写体を短時間で効率良く鑑賞することができる。
【００６５】
−変形表示例２−
図１６は、上述したダイジェスト動画再生を行う場合に、切り出しパノラマ画像１６０も同時に表示する例を示す図である。この表示方法では、表示部１９に、切り出しパノラマ画像１６０を表示した状態で、ダイジェスト再生するフレーム１６１〜１６５を順次表示する。ただし、ダイジェスト再生するフレームと、背後に表示する切り出しパノラマ画像との区別がつくように、ダイジェスト再生するフレームを強調した形で表示する。
【００６６】
図１６に示す例では、ダイジェスト再生するフレーム１６１〜１６５を強調するために、切り出しパノラマ画像１６０の画像領域のうち、ダイジェスト再生する画像領域以外の画像領域の輝度を低くしている。ただし、ダイジェスト再生するフレームを強調する方法は、この方法に限定されることはない。例えば、ダイジェスト再生するフレームのフレーム枠を表示することによって、再生するフレームを強調表示するようにしてもよい。
【００６７】
この動画表示方法によれば、撮像した動画区間の中で、どの区間を再生しているかを容易に視認することができる。
【００６８】
−変形表示例３−
図１７は、図１６を用いて説明した動画再生方法において、タイムバー１７０を合わせて表示する例を示す図である。タイムバー１７０の長さは、撮像された全動画区間の長さに対応しており、黒塗りされている区間１７１は、ダイジェスト再生する動画区間である。また、撮像された全動画区間のうち、ダイジェスト再生中のフレーム位置を、矢印１７２で示している。これにより、撮像された全動画区間のうち、どの区間を再生中であるかをさらに容易に視認することができる。
【００６９】
なお、タイムバーの長さを、切り出しパノラマ画像の撮像区間の長さに対応させるようにしてもよい。この場合には、切り出しパノラマ画像の撮像区間のうち、どの区間をダイジェスト再生中であるかを確認することができる。
【００７０】
上述した表示を行うため、記憶部２０は、切り出しパノラマ画像に含まれる静止画を用いた動画のデータに対して、切り出しパノラマ画像、および、動画の再生位置を示すデータを付随させて記憶する。これにより、図１７に示すような、切り出しパノラマ画像を背景とした動画表示、および、パノラマ画像中における動画の再生位置を示す動画表示を容易に行うことができる。
【００７１】
−変形表示例４−
図１６を用いて説明した動画再生方法では、表示部１９に表示する切り出しパノラマ画像は動かなかった。図１８は、表示部１９に表示する切り出しパノラマ画像も移動表示させる例を示す図である。
【００７２】
図１８に示す表示例では、表示部１９に表示される切り出しパノラマ画像が画像１８０、画像１８１、画像１８２、画像１８１の順に切り替わる。図１８において、上段は、表示部１９に表示される画面の遷移を示し、下段は、ダイジェスト再生されるフレーム１９０〜１９７とともに表示される切り出しパノラマ画像を示している。図１８の下段において、切り出しパノラマ画像１８０、１８１、１８２とともに表示されている画像１８３は、動画を構成する複数の静止画から構成されるパノラマ画像の一部を表す画像であり、切り出しパノラマ画像１８０〜１８２のそれぞれの関係を分かりやすくするために示している。
【００７３】
切り出しパノラマ画像１８１は、既に説明した方法によって生成される切り出しパノラマ画像である。切り出しパノラマ画像１８０は、画像１８３のうち、切り出しパノラマ画像１８１よりも撮影時間が前の部分を切り出したパノラマ画像である。例えば、切り出しパノラマ画像１８１の左半分と、切り出しパノラマ画像１８０の右半分とが同じ被写体となるように、画像１８３からパノラマ画像１８０を切り出す。ただし、画像１８３から切り出しパノラマ画像１８０を切り出す際に、切り出しパノラマ画像１８１に対して、どの程度撮影時間が前の部分を切り出すかは、任意に設定することができる。
【００７４】
切り出しパノラマ画像１８２は、切り出しパノラマ画像１８１よりも撮影時間が後の部分を切り出したパノラマ画像である。例えば、切り出しパノラマ画像１８１の右半分と、切り出しパノラマ画像１８２の左半分とが同じ被写体となるように、画像１８３からパノラマ画像１８２を切り出す。ただし、画像１８３から切り出しパノラマ画像１８２を切り出す際に、切り出しパノラマ画像１８１に対して、どの程度撮影時間が後の部分を切り出すかは、任意に設定することができる。切り出しパノラマ画像１８０、１８１、１８２の大きさはそれぞれ同じである。
【００７５】
ダイジェスト動画再生するフレームは、切り出しパノラマ画像１８０、１８１、１８２に含まれるフレームとする。図１８に示す例では、フレーム１９０〜１９７がダイジェスト動画再生するフレームとなる。
【００７６】
ダイジェスト再生するフレーム１９０〜１９７のうち、フレーム１９０、１９１は、切り出しパノラマ画像１８０に含まれる画像であり、切り出しパノラマ画像１８０とともに表示される。また、フレーム１９２、１９３、１９４、１９６、１９７は、切り出しパノラマ画像１８１に含まれる画像であり、切り出しパノラマ画像１８１とともに表示される。さらに、フレーム１９５は、切り出しパノラマ画像１８２に含まれる画像であり、切り出しパノラマ画像１８２とともに表示される。従って、フレーム１９１を表示している状態からフレーム１９２を表示する場合、同時に表示する切り出しパノラマ画像も画像１８０から画像１８１に変わる。同様に、フレーム１９５を表示している状態からフレーム１９６を表示する場合、同時に表示する切り出しパノラマ画像も画像１８２から画像１８１に変わる。
【００７７】
この表示方法によれば、１つの切り出しパノラマ画像を用いた表示方法よりも広い撮像範囲を対象として、ダイジェスト動画再生を行うことができる。
【００７８】
なお、フレームとともに表示する切り出しパノラマ画像を多数用意しておき、多数用意した切り出しパノラマ画像を少しずつ切り換えて表示することによって、背景に表示する切り出しパノラマ画像が少しずつ変化するような表示を行ってもよい。
【００７９】
以上、一実施の形態におけるパノラマ画像生成装置によれば、動画を構成する複数の静止画を合成してパノラマ画像を生成し、生成したパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定するとともに、生成したパノラマ画像から注目撮影位置を検出する。そして、検出した注目撮影位置と、決定した大きさとに基づいて、パノラマ画像から表示用のパノラマ画像を切り出す。これにより、ユーザが注目している被写体を視認しやすいパノラマ画像を生成することができる。
【００８０】
また、動画を構成する複数の静止画から生成されたパノラマ画像のうち、動画を構成する複数の静止画の中で最も多くの静止画に写し出されている被写体の位置を注目撮影位置として検出する。これにより、動画撮影時に、ユーザが注目していたと考えられる位置を精度良く検出することができるので、ユーザが注目している被写体を視認しやすいパノラマ画像を生成することができる。
【００８１】
また、動画を構成する複数の静止画のうち、表示用のパノラマ画像に含まれる静止画を用いて動画再生を行うことにより、ユーザが動画撮像時に注目していたと考えられる撮像区間を抽出して、動画をダイジェスト再生することができる。
【００８２】
さらに、表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、表示用のパノラマ画像を背景として、動画を強調した再生を行う。これにより、ユーザは、撮像した動画区間の中で、どの区間を再生しているかを容易に視認することができる。
【００８３】
また、一実施の形態におけるパノラマ画像生成装置では、表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、動画を構成する複数の静止画を合成することによって生成されたパノラマ画像、および、表示用のパノラマ画像のうちの少なくとも一方の画像中における再生位置を示す表示を行うこともできる。これにより、動画の再生時に、ユーザは、撮像された動画区間のうち、どの区間を再生中であるかを容易に視認することができる。
【００８４】
表示用のパノラマ画像に含まれる静止画を用いた動画のデータに対して、表示用のパノラマ画像、および、動画の再生位置を示すデータを付随させて記憶するので、表示用のパノラマ画像を背景として、表示用のパノラマ画像に含まれる静止画を用いた動画の再生を容易に行うことができる。また、表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、パノラマ画像中における動画の再生位置を容易に表示することができる。
【００８５】
さらに、一実施の形態におけるパノラマ画像生成装置では、表示用のパノラマ画像を複数用意しておき、表示用のパノラマ画像を背景として、表示用のパノラマ画像に含まれる静止画を用いた動画の再生を行う際に、動画の再生に応じて、表示用のパノラマ画像も切り換えるようにすることもできる。これにより、一つの表示用のパノラマ画像を用いた表示方法よりも広い撮像範囲を対象として、動画再生を行うことができる。
【００８６】
なお、上述した一実施の形態の説明では、パノラマ画像生成装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、パノラマ画像生成装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムをパノラマ画像生成プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されているパノラマ画像生成プログラムを読み出して、情報の加工・演算処理を実行することにより、上述のパノラマ画像生成装置と同様の処理を実現させる。
【００８７】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このパノラマ画像生成プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該パノラマ画像生成プログラムを実行するようにしても良い。
【００８８】
本発明は、上述した一実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、パノラマ画像生成装置を搭載したカメラをデジタルカメラとして説明したが、ビデオカメラやムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。
【００８９】
上述した一実施の形態では、図１１を用いて説明したように、パノラマ画像の横方向（または縦方向）において、単位区間あたりの静止画の中心位置の数が最も多い位置（ピーク位置）を、注目撮影位置とした。ここで、単位区間あたりの静止画の中心位置の数をグラフ化した際に、ピーク位置が複数ある場合には、ピーク位置のうち、単位区間あたりの静止画の中心位置の数が所定のしきい値以上であるピーク位置を注目撮影位置に設定することもできる。設定された注目撮影位置が複数ある場合には、設定されたそれぞれの注目撮影位置について、切り出しパノラマ画像を生成する。
【符号の説明】
【００９０】
１０２…撮像素子
１５…画像処理部
１９…表示部
２７…ＣＰＵ（パノラマ画像生成部、切り出しサイズ決定部、注目撮影位置判定部、パノラマ画像切り出し部、再生部）
２８…動きベクトル検出部
２９…画像合成部
【特許請求の範囲】
【請求項１】
動画からパノラマ画像を生成可能なパノラマ画像生成装置であって、
前記動画を構成する複数の静止画を合成してパノラマ画像を生成するパノラマ画像生成部と、
前記パノラマ画像生成部によって生成されたパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定する切り出しサイズ決定部と、
前記パノラマ画像生成部によって生成されたパノラマ画像から注目撮影位置を検出する注目撮影位置判定部と、
前記注目撮影位置判定部によって検出された注目撮影位置と、前記切り出しサイズ決定部によって決定された大きさとに基づいて、前記パノラマ画像生成部によって生成されたパノラマ画像から表示用のパノラマ画像を切り出す表示用パノラマ画像切り出し部と、
前記表示用パノラマ画像切り出し部によって切り出された表示用のパノラマ画像を表示する表示部と、
を備えることを特徴とするパノラマ画像生成装置。
【請求項２】
前記注目撮影位置判定部は、前記パノラマ画像生成部によって生成されたパノラマ画像のうち、前記動画を構成する複数の静止画の中で最も多くの静止画に写し出されている被写体の位置を注目撮影位置として検出する、
ことを特徴とする請求項１に記載のパノラマ画像生成装置。
【請求項３】
前記動画を構成する複数の静止画のうち、前記表示用のパノラマ画像に含まれる静止画を用いて動画再生を行う再生部をさらに備える、
ことを特徴とする請求項１または請求項２に記載のパノラマ画像生成装置。
【請求項４】
前記再生部は、前記表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、前記表示用のパノラマ画像を背景として、前記動画を強調した再生を行う、
ことを特徴とする請求項３に記載のパノラマ画像生成装置。
【請求項５】
前記表示部は、前記表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、前記パノラマ画像生成部によって生成されたパノラマ画像および前記表示用パノラマ画像切り出し部によって切り出された表示用のパノラマ画像のうちの少なくとも一方の画像中における再生位置を示す表示を行う、
ことを特徴とする請求項３または請求項４に記載のパノラマ画像生成装置。
【請求項６】
前記表示用のパノラマ画像に含まれる静止画を用いた動画のデータに対して、前記表示用のパノラマ画像、および、動画の再生位置を示すデータを付随させて記憶する記憶部をさらに備える、
ことを特徴とする請求項５に記載のパノラマ画像生成装置。
【請求項７】
前記表示用パノラマ画像切り出し部は、前記表示用のパノラマ画像を複数切り出し、
前記再生部は、前記表示用のパノラマ画像を背景として、前記表示用のパノラマ画像に含まれる静止画を用いた動画の再生を行う際に、前記動画の再生に応じて、前記表示用のパノラマ画像も切り換える、
ことを特徴とする請求項４に記載のパノラマ画像生成装置。
【請求項８】
動画からパノラマ画像を生成するパノラマ画像生成方法であって、
前記動画を構成する複数の静止画を合成してパノラマ画像を生成するステップと、
前記生成したパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定するステップと、
前記生成したパノラマ画像から注目撮影位置を検出するステップと、
前記検出した注目撮影位置と、前記決定した大きさとに基づいて、前記パノラマ画像から表示用のパノラマ画像を切り出すステップと、
を備えることを特徴とするパノラマ画像生成方法。
【請求項１】
動画からパノラマ画像を生成可能なパノラマ画像生成装置であって、
前記動画を構成する複数の静止画を合成してパノラマ画像を生成するパノラマ画像生成部と、
前記パノラマ画像生成部によって生成されたパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定する切り出しサイズ決定部と、
前記パノラマ画像生成部によって生成されたパノラマ画像から注目撮影位置を検出する注目撮影位置判定部と、
前記注目撮影位置判定部によって検出された注目撮影位置と、前記切り出しサイズ決定部によって決定された大きさとに基づいて、前記パノラマ画像生成部によって生成されたパノラマ画像から表示用のパノラマ画像を切り出す表示用パノラマ画像切り出し部と、
前記表示用パノラマ画像切り出し部によって切り出された表示用のパノラマ画像を表示する表示部と、
を備えることを特徴とするパノラマ画像生成装置。
【請求項２】
前記注目撮影位置判定部は、前記パノラマ画像生成部によって生成されたパノラマ画像のうち、前記動画を構成する複数の静止画の中で最も多くの静止画に写し出されている被写体の位置を注目撮影位置として検出する、
ことを特徴とする請求項１に記載のパノラマ画像生成装置。
【請求項３】
前記動画を構成する複数の静止画のうち、前記表示用のパノラマ画像に含まれる静止画を用いて動画再生を行う再生部をさらに備える、
ことを特徴とする請求項１または請求項２に記載のパノラマ画像生成装置。
【請求項４】
前記再生部は、前記表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、前記表示用のパノラマ画像を背景として、前記動画を強調した再生を行う、
ことを特徴とする請求項３に記載のパノラマ画像生成装置。
【請求項５】
前記表示部は、前記表示用のパノラマ画像に含まれる静止画を用いた動画の再生時に、前記パノラマ画像生成部によって生成されたパノラマ画像および前記表示用パノラマ画像切り出し部によって切り出された表示用のパノラマ画像のうちの少なくとも一方の画像中における再生位置を示す表示を行う、
ことを特徴とする請求項３または請求項４に記載のパノラマ画像生成装置。
【請求項６】
前記表示用のパノラマ画像に含まれる静止画を用いた動画のデータに対して、前記表示用のパノラマ画像、および、動画の再生位置を示すデータを付随させて記憶する記憶部をさらに備える、
ことを特徴とする請求項５に記載のパノラマ画像生成装置。
【請求項７】
前記表示用パノラマ画像切り出し部は、前記表示用のパノラマ画像を複数切り出し、
前記再生部は、前記表示用のパノラマ画像を背景として、前記表示用のパノラマ画像に含まれる静止画を用いた動画の再生を行う際に、前記動画の再生に応じて、前記表示用のパノラマ画像も切り換える、
ことを特徴とする請求項４に記載のパノラマ画像生成装置。
【請求項８】
動画からパノラマ画像を生成するパノラマ画像生成方法であって、
前記動画を構成する複数の静止画を合成してパノラマ画像を生成するステップと、
前記生成したパノラマ画像から、表示用のパノラマ画像を切り出す大きさを決定するステップと、
前記生成したパノラマ画像から注目撮影位置を検出するステップと、
前記検出した注目撮影位置と、前記決定した大きさとに基づいて、前記パノラマ画像から表示用のパノラマ画像を切り出すステップと、
を備えることを特徴とするパノラマ画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図１５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図１５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１１４９００（Ｐ２０１２−１１４９００Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１１−２４０１７５（Ｐ２０１１−２４０１７５）
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]