画像処理装置および撮像装置並びに画像処理方法
【課題】所望の被写体が中央に配置されたパノラマ画像を生成することが可能な画像処理装置および撮像装置並びに画像処理方法を提供する。
【解決手段】画像処理装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。また、撮像装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。
【解決手段】画像処理装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。また、撮像装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、デジタルカメラなどの画像処理装置および撮像装置並びに画像処理方法に関する。
【背景技術】
【０００２】
パノラマ撮影を実現する手法の一つとしては、複数の静止画像の境界部分を互いに重ね合わせて繋ぎ合わせる手法がある。
【０００３】
また、カメラをパンさせる際に得られるライブビュー画像から、各フレームの中央部を短冊状に切り出し、これらを順次に繋ぎ合わせていくことによってパノラマ画像を生成する手法もある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２８４３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１の技法では、パノラマ撮影のためにパン操作を開始する際のカメラの向きは、利用者に委ねられている。そして、カメラのパン操作に伴って、短冊状の画像がつなぎ合わされていき、この処理によって生成される画像の横幅がパノラマ画像についての規定幅となった時点でパノラマ撮影が終了する。このため、生成されたパノラマ画像において、所望の被写体を中央に配置するためには、利用者がパノラマ画像の規定幅を考慮して、パン操作を開始する際のカメラの向きを予測する必要がある。
【０００６】
本件開示は、所望の被写体が中央に配置されたパノラマ画像を生成することが可能な画像処理装置および撮像装置並びに画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的は、以下に開示する画像処理装置および撮像装置並びに画像処理方法によって達成することができる。
【０００８】
一つの観点による画像処理装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。
【０００９】
また、別の観点による撮像装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。
【００１０】
更に、別の観点の画像処理方法は、パノラマ撮影に先立って、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する手順と、収集した情報に基づいて、前記撮影視野に含まれる複数の部分視野に対応する画像データを収集する手順と、収集した複数の画像データを合成することにより、前記撮影視野に対応するパノラマ画像を生成する手順とを備える。
【発明の効果】
【００１１】
本件開示の画像処理装置および撮像装置並びに画像処理方法によれば、所望の被写体が中央に配置されたパノラマ画像を生成することが可能である。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の一実施形態を示す図である。
【図２】パノラマ撮影動作を説明する図である。
【図３】パノラマ撮影動作を表す流れ図である。
【図４】パノラマ撮影制御部の別実施形態を示す図である。
【図５】仮パノラマ撮影動作の別実施形態を表す流れ図である。
【図６】本パノラマ撮影動作の別実施形態を表す流れ図である。
【図７】画像結合処理を説明する図である。
【図８】合成制御部の一実施形態を示す図である。
【図９】ガイド表示の例を示す図である。
【図１０】ガイド表示動作を表す流れ図である。
【図１１】合成制御部の別実施形態を示す図である。
【図１２】仮パノラマ撮影動作の別実施形態を示す図である。
【図１３】合成制御部の別実施形態を示す図である。
【図１４】切り出し幅補正動作を説明する図である。
【図１５】短冊画像切り出し動作の一実施形態を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、本件開示の画像処理装置および撮像装置の実施形態について詳細に説明する。
(撮像装置の実施形態１)
図１に、撮像装置の一実施形態を示す。
【００１４】
図１に示した例において、撮像装置は、撮像用光学系１０１と撮像素子１０２とＡ／D変換部１０３と信号処理部１０４と表示制御部１０６と表示部１０７と記録制御部１０８と記録媒体１０９とメモリ１１０とパノラマ撮影制御部１２０とを備えている。
【００１５】
撮像用光学系１０１によって、撮像素子１０２の光電変換面上に被写体像が形成される。この被写体像の光の強度分布は、撮像素子１０２により電気信号に変換される。信号処理部１０４は、Ａ／Ｄ変換部１０３によってデジタル化された撮像素子１０２の出力から画像データを生成する。
【００１６】
信号処理部１０４は、撮影制御部１０５からの指示に応じて、撮像素子１０２の出力から所定のフレームレートのライブビュー画像を生成する。生成されたライブビュー画像は、メモリ１１０のライブビュー画像保持部１１２に保持される。表示制御部１０６および表示部１０７は、このライブビュー画像を利用してファインダ表示を行う。
【００１７】
図１に示したパノラマ撮影制御部１２０は、合成制御部１２１と画像収集部１２２と差分検出部１２３と画像抽出部１２４と画像結合部１２５とを備えている。合成制御部１２１は、撮影制御部１０５からの指示に従って、パノラマ撮影制御部１２０に備えられた各部の動作を制御する。
【００１８】
合成制御部１２１は、例えば、撮影制御部１０５からパノラマ画像に対応する視野(以下、撮影視野と称する)の中央位置を指定する旨の指示に応じて、撮影視野の中央から一方の端までの範囲を特定するための情報の収集動作を制御する。
【００１９】
画像収集部１２２は、合成制御部１２１からの指示に応じて、ライブビュー画像保持部１１２に保持されるライブビュー画像の中から複数フレームの画像データを収集する。差分検出部１２３は、画像収集部１２２で収集された複数フレームの画像データに基づいて、パノラマ撮影の対象となる撮影視野の中央からこの撮影視野の一端までの視野の変化分を検出する。
【００２０】
撮像装置をパンさせる過程で画像収集部１２２によって収集される複数フレームの画像データは、それぞれの時刻で撮像装置の視野に捉えられた被写体像を含んでいる。したがって、例えば、差分検出部１２３において、これらの画像データを互いに比較することにより、それぞれの時刻で撮像装置の視野がどのように変化しているかを示す情報を得ることができる。
【００２１】
図２に、パノラマ撮影動作を説明する図を示す。図２の例では、山岳の風景を背景として二人の人物を配置したパノラマ画像を撮影する動作を説明する。なお、図２(Ａ)から(Ｃ)において、太い実線で囲んだ範囲は、それぞれの時点で撮像装置によって捉えられている視野を示している。
【００２２】
図２(Ａ)は、撮像制御部１０５から撮影視野の中央を指定する旨が指示されたときの撮像装置の視野を示している。図２(Ａ)の例では、二人の人物が撮像装置の視野のほぼ中央に捉えられている。なお、図２において、撮影視野の中央位置は、符号Ｐｃを付した点線で示されている。図２(Ｂ)は、図２(Ａ)に示した状態から、撮像装置を左方向にパン操作していき、撮影制御部１０５から撮影視野の一方の端を指定する旨が指示されたときに、撮像装置の視野に捉えられている範囲を示している。
【００２３】
上述したパン操作の過程で、ライブビュー画像保持部１１２には、フレームごとに連続的に変化する視野に対応する画像データが保持される。そして、画像収集部１２２により、図２(Ａ)に示した撮像装置の視野に対応する画像データと、図２(Ｂ)に示した撮像装置の視野に対応する画像データを含めて、複数フレームの画像データが収集される。これらの画像データを順次に比較することにより、それぞれの画像データで共通して写っている被写体の位置のズレを検出することができる。したがって、例えば、差分検出部１２３により、上述した位置ずれを集計することにより、撮影視野の中央位置Ｐｃから図２(Ｂ)に示した撮像装置の視野の中央Ｐｅ１までの視野の変化分Ｄｘを求めることができる。図２(Ｂ)に太線で囲んで示した範囲の中央Ｐｅ１は、撮影制御部１０５によって指定された撮影視野の左側の一端、すなわち、左端を示している。したがって、画像収集部１２２および差分検出部１２３が上述した処理を行うことにより、パノラマ撮影の対象となる撮影視野の中央と一端とを特定する情報を収集することができる。つまり、図１に示した例では、合成制御部１２１と画像収集部１２２と差分検出部１２３とを含む情報収集部により、パノラマ撮影の対象となる撮影視野の中央と一端とを特定する情報が収集されている。以下の説明では、上述したようにして撮像装置をパン操作しながら、パノラマ撮影の対象となる撮影視野の中央と一端とを特定する情報を収集する処理を仮パノラマ撮影と称する。
【００２４】
なお、合成制御部１２１は、例えば、撮影制御部１０５を介して、パノラマ撮影を行うモードが選択されていることやレリーズボタンが半押しあるいは全押しされた旨の通知を受け取ることができる。そして、パノラマ撮影モードが選択されている状態で、レリーズボタンが半押しされた旨が撮影制御部１０５から通知されたときに、合成制御部１２１は、撮影視野の中央を指定する旨が指示されたと判断することができる。つまり、合成制御部１２１は、この指示に応じて、画像収集部１２２および差分検出部１２３に、上述した仮パノラマ撮影処理の開始を指示する。このとき、合成制御部１２１は、表示制御部１０６および表示部１０７を介して、パノラマ撮影範囲の一方の端まで撮像装置をパン操作することを促すメッセージなどを利用者に提供することができる。
【００２５】
また、上述した仮パノラマ撮影を経て、撮影視野の中央が指定された後に、レリーズボタンが全押しされた旨が撮影制御部１０５から通知されたときに、合成制御部１２１は、撮影視野の一端を特定する旨が指示されたと判断することができる。この指示に応じて、合成制御部１２１は、画像抽出部１２４および画像結合部１２５に対して、パノラマ画像の生成処理の開始を指示する。このとき、合成制御部１２１は、表示制御部１０６および表示部１０７を介して、仮パノラマ撮影とは逆方向に撮像装置をパン操作することを促すメッセージなどを利用者に提供することができる。
【００２６】
仮パノラマ撮影を終了した位置から撮像装置を逆方向にパン操作する過程で、図２(Ｂ)に示した範囲から連続的に仮パノラマ撮影とは逆方向に視野が変化する複数フレームの画像データを含むライブビュー画像が得られる。以下の説明では、仮パノラマ撮影の終了後に、逆方向に撮像装置をパンさせながらライブビュー画像を取得する操作を本パノラマ撮影と称する。
【００２７】
画像抽出部１２４は、合成制御部１２１からの指示に応じて、ライブビュー画像に含まれる複数フレームの画像データそれぞれから、例えば、画面の中央部に相当する短冊状の画像データを抽出する。画像抽出部１２４は、例えば、各フレームの画像データの中央部から幅Ｘ１高さＹ１の矩形の画像を抽出することができる。この画像抽出部１２４によって抽出された画像データは、撮影視野に含まれる複数の部分視野のいずれかに対応している。
【００２８】
図２(Ｂ)に、撮影視野の左端を示す位置Ｐｅ１を中央とする範囲が撮像装置によって捉えられているときに画像抽出部１２４で抽出される短冊状の画像データの範囲を破線で囲んで示した。また、上述したようにして、撮影視野の左端を特定したことにより、図２(Ｃ)に示すように、撮影視野の中央Ｐｃに対して線対称の位置として、撮影視野の右端を特定することができる。図２(Ｃ)に示した例では、図２(Ｂ)に示した位置Ｐｅ１と中央Ｐｃを挟んで対称の位置Ｐｅ２に基づいて、撮影視野の右端を特定する場合を示した。つまり、本パノラマ撮影の際に、撮像装置の視野が、図２(Ｂ)に示した範囲から図２(Ｃ)に示した範囲に連続的に変化する過程で、撮影視野に含まれる複数の部分視野に対応する画像データが、それぞれ少なくとも一度は画像抽出部１２４によって抽出される。
【００２９】
したがって、画像結合部１２５により、抽出された画像データの一部を重ね合わせながら結合させることにより、撮影視野に対応するパノラマ画像データを生成することができる。画像結合部１２５は、例えば、画像抽出部１２４から受け取った画像データを、重ね合わせを考慮しつつ順次にメモリ１１０に設けられた合成画像保持部１１１に格納することにより、パノラマ画像を生成することができる。
【００３０】
図２(Ｄ)に、上述した本パノラマ撮影によって生成されるパノラマ画像の例を示す。図２に示した例では、パノラマ画像は、仮パノラマ撮影の過程における視野の変化分Ｄｘの２倍に短冊画像の幅Ｘ１を加えた幅を持つ。そして、図２(Ｂ)，(Ｃ)に示したように、撮影視野の両端の位置は、パノラマ画像の中央Ｐｃを挟んで線対称の位置となる。したがって、上述した本パノラマ撮影により、仮パノラマ撮影を開始したときに撮像装置の視野に捉えられた被写体が配置されたパノラマ画像を生成することができる。つまり、図１に例示した撮像装置には、画像抽出部１２４と画像結合部１２５とを備えた画像合成部が備えられている。
【００３１】
なお、図２に示した例のように、パン操作の方向が水平方向である場合は、画像抽出部１２４で抽出される画像データの高さは、ライブビュー画像に含まれる各フレームの画像データの高さと一致させることができる。また、画像抽出部１２４で抽出される短冊状の画像データの幅Ｘ１は、後述するマッチング処理で前後のフレームの画像と照合する範囲を考慮して決定することができる。また、仮パノラマ撮影で撮像装置をパンさせる方向は、図２の例で示した左方向に限らない。例えば、撮像装置を右側にパンさせながら仮パノラマ撮影を行い、本パノラマ撮影を左側にパンさせながら行うこともできる。更に、パン方向を上下方向とすることもできる。
【００３２】
なお、ライブビュー画像の代わりに、撮像装置に備えられたムービー撮影機能で得られる動画像データを、メモリ１１０を介して画像収集部１２２に入力することもできる。この場合は、画像収集部１２２により、動画像データに含まれる各フレームの画像データの中から仮パノラマ撮影および本パノラマ撮影に必要な画像データが収集される。
【００３３】
上述したような仮パノラマ撮影および本パノラマ撮影は、例えば、合成制御部１２１が、以下に述べるようにして各部を制御することによって実現することができる。
【００３４】
図３に、パノラマ撮影動作を表す流れ図を示す。図３に示した例では、ステップ３０１からステップ３０５までが仮パノラマ撮影動作に相当し、ステップ３０６からステップ３１１までが本パノラマ撮影動作に相当する。
【００３５】
合成制御部１２１は、例えば、パノラマ撮影を行うモードが設定された後に、レリーズボタンが半押しされた旨の通知に応じて仮パノラマ撮影動作を開始する。合成制御部１２１は、まず、この時点における撮像装置の視野の中央がパノラマ画像の中央として特定されたと判断する(ステップ３０１)。そして、ステップ３０２で、合成制御部１２１は、表示部１０７などを介して利用者にパン操作を促すとともに、画像収集部１２２および差分検出部１２３にそれぞれの処理の開始を指示する。
【００３６】
この指示に応じて、画像収集部１２２により、パン操作に伴って視野が連続的に変化していく複数フレームの画像データが収集される(ステップ３０３)。そして、収集された画像データに基づいて、差分検出部１２３により、画像収集部１２２によって収集された最新の画像データに対応する撮像装置の視野について、ステップ３０２で特定されたパノラマ画像の中央からの変化量が検出される(ステップ３０４)。
【００３７】
その後、合成制御部１２１は、撮影制御部１０５からレリーズボタンが全押しされた旨が通知されたか否かを判定する(ステップ３０５)。ステップ３０５の否定判定の場合に、処理は、ステップ３０３に戻って、新たな画像データの収集およびパノラマ画像の中央からの変化量の検出が行われる。一方、ステップ３０５の肯定判定の場合に、合成制御部１２１は、仮パノラマ撮影が終了したと判断する。そして、その時点における撮像装置の視野の中央に基づいて、パノラマ画像に対応する撮影視野の一端を決定するとともに、決定した一端と中央との距離に基づいて、パノラマ画像の幅を決定する(ステップ３０６)。
【００３８】
次いで、合成制御部１２１は、表示部１０７などを介して、上述した仮パノラマ撮影とは逆方向へのパン操作を利用者に促す(ステップ３０７)。また、合成制御部１２１は、撮影制御部１０５からの通知に基づいて、レリーズボタンが押下された撮影状態が継続していることを確認し(ステップ３０８の肯定判定)、画像抽出部１２４および画像結合部１２５にそれぞれの処理の開始を指示する
この指示に応じて、画像抽出部１２４により、パン操作に伴って視野が連続的に変化していく複数フレームの画像データから上述した短冊状の画像データが抽出される(ステップ３０９)。抽出された画像データを、画像結合部１２５が、パノラマ画像保持部１１１に順次に重ね合わせて格納していくことにより、ステップ３０９で抽出された短冊画像に対応する部分視野までのパノラマ画像が生成される(ステップ３１０)。このとき、合成制御部１２１は、画像結合部１２５による結合処理過程で得られる情報などに基づいて、生成が完了したパノラマ画像の範囲を求める(ステップ３１１)。そして、ステップ３１０で求めた範囲がパノラマ画像の幅よりも小さい場合に(ステップ３１２の否定判定)、処理は、ステップ３０８に戻って、新たな短冊画像の抽出およびこの短冊画像の結合処理が行われる。一方、ステップ３１０で求めた範囲がパノラマ画像の幅と一致した場合に(ステップ３１２の肯定判定)、合成制御部１２１は、パノラマ画像の撮影が完了したと判断して処理を終了する。
【００３９】
このように、生成したパノラマ画像の範囲が仮パノラマ撮影で決定した範囲に到達したときに、撮影動作は自動的に終了することにより、図２(Ｄ)に示したように、所望の被写体が中央部に配置されたパノラマ画像を生成することができる。このようにして生成されたパノラマ画像には、利用者の意図が忠実に反映されている。つまり、本件開示の撮像装置によれば、一度の撮影によって所望のパノラマ画像を利用者に提供できる確率が高いので、煩雑な撮りなおし作業から利用者を解放することができる。
【００４０】
なお、上述した例では、レリーズボタンの操作によって、仮パノラマ撮影から本パノラマ撮影への移行を指示することができるので、利用者は自然に所望のパノラマ撮影を行うことができる。また、仮パノラマ撮影で、利用者が撮像装置をパン操作した範囲に基づいてパノラマ撮影の範囲が決定されるので、利用者が望む範囲を直感的な操作でパノラマ撮影の範囲に反映することができる。
【００４１】
一方、本パノラマ撮影動作の途中でレリーズボタンの押下が解除された旨が撮影制御部１０５から通知された場合に、合成制御部１２１は、利用者の意思によって撮影状態が解除されたと判断する(ステップ３０８の否定判定)。この場合に、合成制御部１２１は、パノラマ撮影動作を終了させて、利用者の意思を撮像制御に反映することができる。
【００４２】
ところで、上述した仮パノラマ撮影において、ライブビュー画像に基づいて、撮像装置の視野の変化分を検出する処理には、複数フレームの画像データを照合して共通する部分を見つけるマッチング処理を適用することができる。
(パノラマ撮影制御部の別実施形態)
図４に、パノラマ撮影制御部の別実施形態を示す。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４３】
図４に示したライブビュー画像保持部１１２において、新規フレーム保持部１１３は、信号処理部１０４の出力に基づいて、ライブビュー画像の最新のフレームを保持する。参照画像保持部１１４は、合成制御部１２１からの指示に応じて、新規フレーム保持部１１３に保持された画像データを、以降のフレームとの比較のための参照画像として保持する。
【００４４】
図４に示したパノラマ撮影制御部１２０は、合成制御部１２１と画像結合部１２５とマッチング処理部１２６と移動量判定部１２７と移動量積算部１２８と短冊画像切り出し部１２９と画像幅保持部１３０とを備えている。
【００４５】
マッチング処理部１２６は、新規フレーム保持部１１３に保持された現フレームの画像データと参照画像保持部１１４に保持された参照画像とについてマッチング処理を行う。このマッチング処理により、現フレームの画像データと参照画像とに共通して含まれている被写体像の位置の差を示す画素数が検出される。
【００４６】
移動量判定部１２７は、マッチング処理部１２６によって移動量として検出された画素数を所定の閾値Ｔｈｄと比較する。上述した画素数が所定の閾値Ｔｈｄよりも大きい場合に、移動量判定部１２７は、参照フレームと現フレームとの間で視野の移動があったと判定し、当該画素数ｄｘを出力する。また、このとき、移動量判定部１２７は、参照画像保持部１１４に参照画像の更新を指示する。なお、移動量判定部１２７で用いる閾値Ｔｈｄの値は、例えば、短冊画像切り出し部１２９で切り出される短冊画像の幅Ｘ１に基づいて決定することができる。
【００４７】
移動量積算部１２８は、移動量判定部１２７から受け取った画素数ｄｘを順次に累積加算する。この累積加算で得られる総移動量Ｓは、合成制御部１２１による制御処理に用いられる。例えば、合成制御部１２１は、撮影制御部１０５からの通知に応じて、仮パノラマ撮影から本パノラマ撮影に移行する際に、上述した総移動量Ｓに基づいて、パノラマ画像の幅Ｗｐを算出し、画像幅保持部１３０に保持することができる。このパノラマ画像の幅Ｗｐは、例えば、上述した総移動量Ｓと短冊画像の幅Ｘ１とを用いて、式(１)のように求めることができる。
【００４８】
Ｗｐ＝２Ｓ＋Ｘ１ ・・・（１）
また、短冊画像切り出し部１２９は、合成制御部１２１からの指示と移動量判定部１２７による上述した判定結果に応じて、新規フレーム保持部１１３に保持された現フレームの画像データから短冊画像を切り出す処理を行う。
【００４９】
短冊画像切り出し部１２９によって切り出された短冊画像は、画像結合部１２５により、マッチング処理部１２６によるマッチング処理結果に基づいて、合成画像保持部１１１に保持されている合成画像に重ね合わせて格納される。
【００５０】
図４に示した例では、マッチング処理部１２６と移動量判定部１２７と移動量積算部１２８とにより、上述した差分検出部１２３に相当する機能が実現されている。また、移動量判定部１２７による判定結果に応じて更新される参照画像保持部１１４と新規フレーム保持部１１３とにより、画像収集部１２２に相当する画像データの収集動作が実現されている。同様に、移動量判定部１２７の判定結果に応じて、短冊画像切り出し部１２９が動作することにより、画像抽出部１２４に相当する画像データの抽出機能が実現されている。
【００５１】
図５に、仮パノラマ撮影動作の別実施形態を表す流れ図を示す。なお、図５に示した各ステップは、図３に示したステップ３０１からステップ３０６に対応している。
【００５２】
合成制御部１２１は、撮影制御部１０５からの通知でレリーズボタンの半押しを検出したときに、まず、移動量積算部１２８に総移動量Ｓを初期化する(ステップ３２１)。また、このとき、合成制御部１２１からの指示に応じて、参照画像保持部１１４は、新規フレーム保持部１１３に保持されている現フレームの画像データを参照画像として保持する(ステップ３２２)。次いで、ステップ３０２と同様にして、合成制御部１２１により、利用者に仮パノラマ撮影のためのパン操作を促すメッセージを提供する処理が行われる。
【００５３】
その後、新規フレーム保持部１１３に新たなフレームの画像データが入力されると(ステップ３２３)、マッチング処理部１２６により、新たに入力された現フレームの画像データと参照画像とのマッチング処理が行われる(ステップ３２４)。このマッチング処理により、例えば、現フレームの画像と参照画像とに共通して含まれる被写体像のパン操作方向の移動量ｄｘが求められる。マッチング処理部１２６は、例えば、参照画像での位置のＸ成分と現フレームの画像での位置のＸ成分との差を示す画素数として、この移動量ｄｘを求めることができる。なお、マッチング処理部１２６は、信号処理部１０４によって新規フレーム保持部１１３に画像データが書き込まれるごとに、現フレームの画像データと参照画像とのマッチング処理を行うことができる。また、マッチング処理部１２６は、複数フレームごとに、上述したマッチング処理を行うこともできる。
【００５４】
移動量判定部１２７は、このようにして求められた移動量ｄｘと閾値Ｔｈｄとを比較する(ステップ３２５)。そして、移動量ｄｘが閾値Ｔｈｄ未満である場合に（ステップ３２５の否定判定）、移動量判定部１２７は、現フレームに対応する撮像装置の視野と参照画像に対応する視野との差が小さいと判断する。この場合に、処理は、ステップ３２３に戻り、新たなフレームの画像データについての処理が開始される。
【００５５】
一方、移動量ｄｘが閾値Ｔｈｄ以上である場合に（ステップ３２５の肯定判定）、移動量判定部１２７は、この移動量ｄｘを移動量積算部１２８に渡す。これに応じて、移動量積算部１２８により、この移動量ｄｘが総移動量Ｓに加算される(ステップ３２６)。また、このとき、移動量判定部１２７からの指示に応じて、参照画像保持部１１４は、新規フレーム保持部１１３に保持されている現フレームの画像データを用いて参照画像を更新する(ステップ３２７)。
【００５６】
その後、合成制御部１２１により、撮影制御部１０５からレリーズボタンが全押しされたことが通知されているか否かが判定される(ステップ３２８)。ステップ３２８の否定判定の場合に、合成制御部１２１は、仮パノラマ撮影が継続されていると判断する。この場合に、処理はステップ３２３に戻って、新たなフレームの画像データについての処理が開始される。
【００５７】
上述したように、図４に示したパノラマ撮影制御部１２０の例では、移動量判定部１２７の判定結果に応じて、移動量積算部１２８による移動量ｄｘの累積加算処理および参照画像保持部１１４による参照画像の更新処理が行われる。これにより、移動量として検出された画素数が所定の閾値Ｔｈｄに満たないときに、参照画像の更新処理や累積加算処理を抑止することができる。つまり、例えば、手ぶれなどによる意図しない撮像装置の変位を無視することができる。
【００５８】
そして、利用者による撮像装置のパン操作に伴って、上述したステップ３２３〜ステップ３２８を繰り返すことにより、移動量積算部１２８により、利用者が意図したパン操作に対応する視野の移動が反映された総移動量Ｓが得られる。
【００５９】
したがって、撮影制御部１０５からレリーズボタンが全押しされた旨が通知されたときに(ステップ３２８の肯定判定)、移動量積算部１２８で得られた総移動量Ｓは、仮パノラマ撮影過程における視野の変化分Ｄｘを示している。この総移動量Ｓは、ステップ３２９で合成制御部１２１に渡される。そして、合成制御部１２１は、この総移動量Ｓに基づいて、利用者が仮パノラマ撮影動作の過程で撮像装置をパンさせて示した範囲を反映したパノラマ画像幅Ｗｐを算出する（ステップ３３０）。このステップ３３０の終了後に、合成制御部１２１は、算出したパノラマ画像幅Ｗｐを画像幅保持部１３０に保持するとともに、仮パノラマ撮影処理を終了し、本パノラマ撮影処理を開始する。なお、図５に示したステップ３２８において、合成制御部１２１により、レリーズボタンの半押し状態が継続しているか否かを全押しされたか否かと併せて判定することもできる。そして、合成制御部１２１は、レリーズボタンの半押しが解除されたと判定したときに、仮パノラマ撮影処理および本パノラマ撮影処理を終了させてもよい。
【００６０】
図６に、本パノラマ撮影動作の別実施形態を表す流れ図を示す。なお、図６に示す各ステップは、図３に示したステップ３０７からステップ３１２の処理に対応している。
【００６１】
本パノラマ撮影処理では、まず、合成制御部１２１からの指示に応じて、短冊画像切り出し部１２９により、最初の短冊画像が切り出される(ステップ３３１)。この短冊画像は、画像結合部１２５により、パノラマ画像の一方の端に相当する部分として合成画像保持部１１１に格納される(ステップ３３２)。また、このとき、移動量積算部１２８により、総移動量Ｓに最初の短冊画像の幅に相当する初期値Ｘ１が設定される。
【００６２】
次いで、図３に示したステップ３０７と同様にして、合成制御部１２１により、逆方向にパン操作を促すメッセージを利用者に提供する処理が行われる。そして、マッチング処理部１２６により、上述したステップ３２３およびステップ３２４と同様にして、新規フレーム保持部１１３に保持された画像データと参照画像とのマッチング処理が行われる(ステップ３３３，３３４)。また、ステップ３２５と同様に、移動量判定部１２７により、このマッチング処理で求められた移動量ｄｘが閾値Ｔｈｄ以上であるか否かを判定する処理が行われる(ステップ３３５)。
【００６３】
そして、移動量ｄｘが閾値Ｔｈｄ未満である場合に（ステップ３３５の否定判定）、処理は、ステップ３３３に戻り、新たなフレームの画像データについての処理が開始される。 一方、移動量ｄｘが閾値Ｔｈｄ以上である場合に(ステップ３３５の肯定判定)、短冊画像切り出し部１２９により、新規フレーム保持部１１３に保持された現フレームの画像データから短冊画像が切り出される(ステップ３３６)。短冊画像切り出し部１２９は、例えば、現フレームの画像データの中央部から幅Ｘ１高さＹ１の矩形の画像を切り出すことができる。各フレームの画像データの中央部は、撮影光学系１０１が持つ収差の影響を受けにくいので、後述する画像合成処理に適している。
【００６４】
次いで、切り出された短冊画像について、画像結合部１２５による画像合成処理が行われる(ステップ３３６)。このとき、画像結合部１２５は、マッチング処理部１２６で得られたマッチング処理結果に基づいて、新たに切り出された短冊画像を既に合成画像保持部１１１に保持されている画像の一部を重ね合わせて格納することにより、合成画像を生成することができる。
【００６５】
図７に、画像結合処理を説明する図を示す。図７に示した例では、短冊画像切り出し部１２９によって切り出された個々の短冊画像を、切り出された順番を示す添え字を付して、Ｆｊのように示している。なお、図７においては、パン操作方向をＸ方向とし、これに垂直な方向をＹ方向として示した。
【００６６】
図７(Ａ)，(Ｂ)に、番号ｊ番目に切り出された短冊画像Ｆｊとｊ＋１番目に切り出された短冊画像Ｆｊ＋１とを示す。図７(Ａ)，(Ｂ)において、短冊画像Ｆｊと短冊画像Ｆｊ＋１とで重複している範囲は、斜線を付して示されている。
【００６７】
ここで、マッチング処理部１２６では、上述したＸ方向の移動量ｄｘに加えて、パン操作方向に垂直な方向に相当するＹ方向の移動量ｄｙも検出されている。したがって、画像結合部１２５は、Ｘ，Ｙ両方向の移動量ｄｘ、ｄｙに基づいて、新たな短冊画像と既に合成画像保持部１１１に形成されている合成画像との重複範囲を特定することができる。そして、この重複範囲に基づいて算出された合成画像保持部１１１のアドレスから、新たな短冊画像を格納することにより、この新たな短冊画像を追加した合成画像を生成することができる。図７(Ｃ)に、複数の短冊画像Ｆｊ〜Ｆｊ＋４を順次に結合される様子を示した。
【００６８】
短冊画像切り出し部１２９によって切り出される短冊画像の幅が一定である場合は、図７から分かるように、短冊画像の結合によって合成画像に追加される画像の幅Ｗｘは、ステップ３３５で肯定判定となった移動量ｄｘに等しい。
【００６９】
したがって、図６のステップ３３８において、移動量積算部１２８により、移動量判定部１２７から出力された移動量ｄｘを総移動量Ｓに加算することにより、この総移動量Ｓとして、合成画像保持部１１１に形成済みの合成画像の幅を得ることがきる。
【００７０】
次いで、ステップ３２７と同様にして、参照画像保持部１１４の参照画像が更新される(ステップ３３９)。なお、このステップ３３９の処理は、上述したステップ３３６〜ステップ３３８のいずれかの処理の前に実行することもできる。
【００７１】
その後、合成制御部１２１は、上述した総移動量Ｓと画像幅保持部１３０に保持されたパノラマ画像幅Ｗｐとを比較する(ステップ３４０)。そして、総移動量Ｓがパノラマ画像幅Ｗｐ未満である場合に(ステップ３４０の肯定判定)、合成制御部１２１は、本パノラマ撮影はまだ完了していないと判断する。このとき、処理は、ステップ３３３に戻り、新たなフレームの画像データについての処理を開始する。
【００７２】
上述したように、図４に示したパノラマ撮影制御部１２０の例では、移動量判定部１２７の判定結果に応じて、移動量積算部１２８および参照画像保持部１１４の動作とともに、短冊画像切り出し部１２９の動作が制御される。これにより、移動量として検出された画素数が所定の閾値Ｔｈｄに満たないときに、参照画像の更新処理や移動量ｄｘの累積加算処理とともに短冊画像の切り出し処理や画像結合処理を抑止することができる。このようにして、手ぶれなどによる意図しない撮像装置の変位を無視するとともに、利用者が意図したパン操作に対応する視野の移動を反映して切り出された短冊画像を合成画像保持部１１１に追加していくことができる。
【００７３】
利用者による撮像装置のパン操作に伴って、上述したステップ３３３〜ステップ３４０を繰り返していき、総移動量Ｓがパノラマ画像幅Ｗｐに到達したときに（ステップ３４０の否定判定）、合成制御部１２１は、本パノラマ撮影が完了したと判断する。次いで、合成制御部１２１は、合成画像保持部１１１に保持された合成画像に対して、Ｙ方向のサイズを規定のサイズに合わせるためのサイズ調整処理を行うことができる(ステップ３４１)。
【００７４】
図７(Ｃ)に示したように、個々の短冊画像はＹ方向に不規則にずれながら重なり合って合成画像を形成している。これは、利用者が撮像装置をパン操作する際に、パン操作方向に垂直な方向へも撮像装置の視野が変動するためである。
【００７５】
このようなＹ方向のずれを除去するために、合成制御部１２１は、まず、全ての短冊画像に共通しているＹ方向の範囲を特定する。そして、このＹ方向の範囲の幅Ｙ２と規定のＹ方向のサイズＹ１との比に相当する係数αを用いて、合成制御部１２１により、合成画像の拡大処理を行うことにより、サイズ調整処理を実現することができる。
【００７６】
ところで、パノラマ画像の幅Ｗｐに対して所定の上限が設定される場合がある。このような場合に、仮パノラマ撮影中に、このパノラマ画像幅の上限に関する情報を利用者に提供する機能を備えることにより、撮像装置の利便性を向上することができる。
(合成制御部の別実施形態)
図８に、合成制御部の別実施形態を示す。なお、図８に示した構成要素のうち、図１および図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００７７】
図８に示した合成制御部１２１は、制御指示検出部１３１とガイド表示生成部１３２と終了判定部１３３と幅算出部１３４とを備えている。制御指示検出部１３１は、撮影制御部１０５からの通知に基づいて、レリーズボタンの操作状態で示される制御指示を検出する。ガイド表示生成部１３２は、制御指示検出部１３１からの指示と、移動量積算部１２８の出力および画像幅保持部１３０に保持された値とに基づいて、後述するガイド表示を生成する。また、幅算出部１３４は、制御指示検出部１３１からの指示に応じて、移動量積算部１２８の出力で示される値から本パノラマ撮影で生成するパノラマ画像の幅の目標値Ｗｐを算出する。算出されたパノラマ画像の幅の目標値Ｗｐは、画像幅保持部１３０に保持される。なお、図８に示した合成制御部１２１の例では、移動量積算部１２８の出力で示される値が上述したパノラマ画像の幅の目標値Ｗｐに到達したときに、終了判定部１３３が短冊画像切り出し部１２９の処理を停止させる。つまり、図８の例では、終了判定部１３３により、図７に示したステップ３４０の否定判定に応じて本パノラマ撮影動作を終了させる制御が行われる。
【００７８】
図９に、ガイド表示の例を示す。図９の例では、撮像装置の表示部１０７にライブビュー画像と重ね合わせて、帯状のガイドバー１３６を表示している。なお、図９においては、ライブビュー画像の図示は省略した。
【００７９】
図９(Ａ)，(Ｂ)，(Ｃ)の例に示したガイドバー１３６は、中央マーク１３７と、現フレームマーク１３８とを含んでいる。図９(Ａ)，(Ｂ)，(Ｃ)において、中央マーク１３７は、斜線を付した矩形で示されている。また、現フレームマーク１３８は、太い破線で囲んで示されている。
【００８０】
中央マーク１３７は、利用者がレリーズボタンの半押し操作によって仮パノラマ撮影の開始を指示したときの撮像装置の視野に幅を示している。また、現フレームマーク１３８は、表示部１０７にライブビュー画像として表示されている現フレームの画像に対応する視野を、パノラマ画像幅の上限あるいは仮パノラマ撮影で特定されたパノラマ画像幅Ｗｐとの関係に基づいて示している。
【００８１】
図１０に、ガイド表示動作を表す流れ図を示す。図１０に示したステップ３５１〜ステップ３５６の処理は、仮パノラマ撮影動作の進行に伴って実行される。また、ステップ３５８〜ステップ３６１の処理は、本パノラマ撮影動作の進行に伴って実行される。
【００８２】
制御指示検出部１３１は、まず、パノラマ画像の幅の上限に対応して予め決定された最大変位幅Ｄｍａｘを画像幅保持部１３０に保持する(ステップ３５１)。この最大変位幅Ｄｍａｘは、例えば、パノラマ画像の幅の上限Ｗｍａｘと短冊画像の幅Ｘ１と所定の係数βとを用いた式(２)により、パノラマ撮影処理の開始に先立って決定しておくことができる。なお、係数βの値は、例えば、上述したステップ３４１において、Ｙ方向に画像サイズを調整するためにパノラマ画像が係数α倍に拡大されることを考慮して、０＜β＜１の範囲で予め決定すればよい。
【００８３】
Ｄｍａｘ＝β（Ｗｍａｘ−Ｘ１）／２ ・・・（２）
ガイド表示生成部１３２は、制御指示検出部１３１から受け取った最大変位幅Ｄｍａｘに基づいて、ガイドバー１３６および中央マーク１３７を表示するための表示データを生成する(ステップ３５２)。このとき、ガイド表示生成部１３２は、最大変位幅Ｄｍａｘの２倍の幅を示すガイドバー１３６に対応する表示データとして、例えば、表示部１０７の横幅に相当する長さを持つ帯状の画像を表示させる表示情報を生成することができる。また、ガイド表示生成部１３２は、中央マーク１３７に対応して、例えば、上述した帯状のガイドバー１３６の幅に対して、仮パノラマ撮影開始時のフレームの幅を示す矩形を、ガイドバー１３６の中央部に重ねて表示させる表示データを生成することができる。
【００８４】
以降は、移動量積算部１２８により、移動量の積算結果Ｓが出力されるごとに、この積算結果Ｓを受け取って(ステップ３５３)、まず、ステップ３５４において、終了判定部１３３による終了判定処理が行われる。ステップ３５４で、終了判定部１３３は、移動量の積算結果Ｓと上述した最大変位幅Ｄｍａｘとを比較する。移動量の積算結果Ｓが最大変位幅Ｄｍａｘ以下である場合に(ステップ３５４の否定判定)、終了判定部１３３は、ガイド表示生成部１３２に対してガイド表示の更新処理を指示する。これに応じて、ガイド表示生成部１３２は、ステップ３５３で受け取った移動量の積算結果Ｓと最大変位幅Ｄｍａｘとに基づいて、現フレームマーク１３８を表示するための表示データを生成する(ステップ３５５)。ガイド表示生成部１３２は、例えば、現フレームから切り出される短冊画像が最大変位幅Ｄｍａｘで示される最大パノラマ画像において占める位置に対応して、現フレームマーク１３８を表示ガイドバー１３６に重ねて表示する画像情報を生成することができる。なお、現フレームマーク１３８の表示位置は、例えば、最大変位幅Ｄｍａｘに対する移動量の積算結果Ｓの比に基づいて求めることができる。図９(Ａ)に、仮パノラマ撮影中に表示されるガイドバー１３６、中央マーク１３７および現フレームマーク１３８の位置関係の例を示した。
【００８５】
次いで、制御指示検出部１３１は、撮影制御部１０５からレリーズボタンの全押しされた旨が通知されたか否かを判定する(ステップ３５６)。このステップ３５６の否定判定の場合に、処理は、ステップ３５３に戻って、移動量積算部１２８の新たな出力に基づく処理が開始される。
【００８６】
上述したように、仮パノラマ撮影の過程で、ステップ３５３〜ステップ３５６の処理を繰り返すことにより、パン操作に応じた撮像装置の視野の変化に応じて、ガイドバー１３６における現フレームマーク１３８の位置が更新される。このようにして、現在の視野とパノラマ画像幅の上限との関係を示す情報を利用者に提供することができる。
【００８７】
そして、仮パノラマ撮影の過程におけるパン操作に応じた撮像装置の視野の変化分が、上述した最大変化幅Ｄｍａｘ以下の範囲となっている間に、レリーズボタンが全押しされると(ステップ３５６の肯定判定)、本パノラマ撮影に対応するガイド表示動作が開始される。
【００８８】
図９(Ｂ)に、本パノラマ撮影動作開始時に表示されるガイドバー１３６、中央マーク１３７および現フレームマークの位置関係の例を示した。図９(Ｂ)において、現フレームマーク１３８の表示位置は、レリーズボタンの全押しにより、本パノラマ撮影の開始が指示されたときの撮像装置の視野に対応している。なお、このとき、移動量積算部１２８で得られる総移動量Ｓで示される現フレームの視野と中央マークで示される視野との差は、仮パノラマ撮影過程における視野の変化分Ｄｘに相当する。
【００８９】
このとき、図８に示した幅算出部１３４により、移動量積算部１２８から受け取った移動量の積算結果Ｓと短冊画像の幅Ｘ１とに基づいて、上述した式(１)により、本パノラマ撮影で取得するパノラマ画像の幅Ｗｐが算出される(ステップ３５７)。そして、算出されたパノラマ画像幅Ｗｐは、上述した最大変化幅Ｄｍａｘに代えて、画像幅保持部１３０に保持される。また、このとき、移動量積算部１２８には、図６に示したステップ３３２の処理により、本パノラマ撮影開始時に切り出される短冊画像の幅Ｘ１が初期値として設定される。
【００９０】
そして、このパノラマ画像幅Ｗｐに基づいて、ガイド表示生成部１３２により、ガイドバー１３６および中央マーク１３７を表示するための表示データが生成される(ステップ３５８)。このとき、ガイド表示生成部１３２は、パノラマ画像幅Ｗｐを示すガイドバー１３６に対応する表示データとして、例えば、表示部１０７の横幅に相当する長さを持つ帯状の画像を表示させる表示情報を生成することができる。また、ガイド表示生成部１３２は、中央マーク１３７に対応して、例えば、上述した帯状のガイドバー１３６の長さに対して、仮パノラマ撮影開始時のフレームの幅を示す矩形を、ガイドバー１３６の中央部に重ねて表示させる表示データを生成することができる。
【００９１】
次いで、移動量積算部１２８から移動量の積算結果Ｓを受け取るごとに(ステップ３５９)、終了判定部１３３により、移動量の積算結果Ｓと上述したパノラマ画像幅Ｗｐとが比較される(ステップ３６０)。そして、移動量の積算結果Ｓがパノラマ画像幅Ｗｐ以下である場合に(ステップ３６０の肯定判定)、終了判定部１３３は、ガイド表示生成部１３２に対してガイド表示の更新処理を指示する。
【００９２】
これに応じて、ガイド表示生成部１３２は、ステップ３５９で受け取った移動量の積算結果Ｓとパノラマ画像幅Ｗｐとに基づいて、現フレームマーク１３８を表示するための表示データを生成する(ステップ３６１)。ガイド表示生成部１３２は、例えば、現フレームから切り出される短冊画像がパノラマ画像幅Ｗｐで示されるパノラマ画像において占める位置に対応して、現フレームマーク１３８を表示ガイドバー１３６に重ねて表示する画像情報を生成することができる。なお、現フレームマーク１３８の表示位置は、例えば、パノラマ画像幅Ｗｐに対する移動量の積算結果Ｓの比に基づいて求めることができる。図９(Ｃ)に、本パノラマ撮影中に表示されるガイドバー１３６、中央マーク１３７および現フレームマーク１３８の位置関係の例を示した。
【００９３】
その後、処理は、ステップ３５９に戻って、移動量積算部１２８の新たな出力に基づく処理が開始される。このように、本パノラマ撮影の過程で、ステップ３５９〜ステップ３６１の処理を繰り返すことにより、パン操作に応じた撮像装置の視野の変化に応じて、ガイドバー１３６における現フレームマーク１３８の位置が更新される。このようにして、本パノラマ撮影中にも、現在の視野とパノラマ画像幅Ｗｐとの関係を示す情報を利用者に提供することができる。
【００９４】
そして、ステップ３５９で受け取った移動量の積算結果Ｓがパノラマ画像幅Ｗｐ以上となったときに(ステップ３６０の否定判定)、ガイド表示生成部１３２は、パノラマ撮影動作を終了する旨のメッセージに対応する表示データを生成する(ステップ３６２)。その後、ガイド表示動作は終了する。
【００９５】
図８に例示した構成を含む撮像装置によれば、仮パノラマ撮影および本パノラマ撮影を通じて、利用者に提供されるライブビュー画像に含まれる被写体がパノラマ画像において占める位置に関する情報を提供することができる。このような情報の提供により、利用者は、仮パノラマ撮影および本パノラマ撮影の進捗状況を直感的に把握する上で有用な支援を受けることができる。
【００９６】
ところで、仮パノラマ撮影の際に、撮像装置が上述した最大変化幅Ｄｍａｘを超えてパン操作された場合は、パノラマ画像の幅の制限下で、仮パノラマ撮影開始時の視野の中央部に捉えられた被写体を中央に配置したパノラマ画像を生成することができない。所望の構図のパノラマ画像を生成するために、図１０に示した流れ図の例のように、仮パノラマ撮影動作を中断する機能を含めることができる。図１０に示した流れ図の例では、ステップ３５４において、移動量の積算結果Ｓが最大変化幅Ｄｍａｘを超えたと判定された場合に、エラーが発生したと判断して、処理が中断されている。これにより、所望の被写体が中央に配置された構図のパノラマ画像を生成可能な場合にのみ、本パノラマ撮影動作を開始させることができる。
【００９７】
なお、仮パノラマ撮影の開始および仮パノラマ撮影から本パノラマ撮影への切り替えを指示する操作は、上述したレリーズボタンの操作に限られない。例えば、パノラマ撮影モードへの切り替えを指示する操作により、仮パノラマ撮影を開始することもできる。また、撮像装置がパン操作されている方向の変化を検出して、仮パノラマ撮影から本パノラマ撮影へと切り替えることも可能である。
(合成制御部の別実施形態)
図１１に、合成制御部の別実施形態を示す。なお、図１１に示した構成要素のうち、図４および図８に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００９８】
図１１に示した合成制御部１２１は、制御指示検出部１３１と終了判定部１３３と幅算出部１３４とに加えて、反転検出部１３５を備えている。なお、図１１に示した合成制御部１２１に、図８に示したガイド表示生成部１３２を備えることもできる。
【００９９】
反転検出部１３５は、移動量判定部１２７から参照画像に対応する視野と現フレームに対応する視野との差分を示す移動量ｄｘを受け取る。この移動量ｄｘはマッチング処理部１２６により、例えば、仮パノラマ撮影が開始されたときのパン方向をＸ軸の正の方向として検出されている。したがって、反転検出部１３５により、移動量ｄｘの符号を調べることにより、撮像装置のパン方向の反転を検出することができる。
【０１００】
反転検出部１３５による検出結果は、仮パノラマ撮影から本パノラマ撮影への切り替えが指示されたか否かを示す情報として、制御指示検出部１３１に渡される。そして、この情報によって示された本パノラマ撮影への切替指示は、制御指示検出部１３１により、幅算出部１３４、移動量積算部１２８、短冊画像切り出し部１２９および画像幅保持部１３０に伝えられる。
【０１０１】
図１２に、仮パノラマ撮影動作の別実施形態を示す。なお、図１２に示したステップのうち、図５に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１０２】
図１２に示した流れ図では、ステップ３２４において移動量ｄｘが検出された後に、移動量判定部１２７により、この移動量ｄｘの絶対値と閾値Ｔｈｄとの比較が行われる（ステップ３４３）。そして、移動量ｄｘの絶対値が閾値Ｔｈｄに満たない場合に（ステップ３４３の否定判定）、処理は、ステップ３２３に戻って、新たなフレームの画像についての処理が開始される。一方、移動量ｄｘの絶対値が閾値Ｔｈｄ以上である場合に（ステップ３４３の肯定判定）、反転検出部１３５は、移動量ｄｘの符号が反転したか否かを判定する(ステップ３４４)。反転検出部１３５は、例えば、最初にステップ３４３から受け取った移動量ｄｘの符号を内部で保持しておき、この符号と比較することにより、以降に渡される移動量ｄｘの符号の反転を検出することができる。
【０１０３】
反転検出部１３５によって、移動量ｄｘの符号の反転が検出されなかった場合に（ステップ３４４の否定判定）、制御指示検出部１３１は、仮パノラマ撮影動作が継続していると判断する。そして、ステップ３２６，３２７による移動量ｄｘの積算処理と参照フレームの更新処理が行われた後に、処理は、ステップ３２３に戻って、新たなフレームの画像についての処理が開始される。
【０１０４】
反転検出部１３５によって、移動量ｄｘの符号の反転が検出された場合に（ステップ３４４の肯定判定）、制御指示検出部１３１は、仮パノラマ撮影から本パノラマ撮影への移行が指示されたと判断する。これに応じて、ステップ３２９、ステップ３３０が実行された後、仮パノラマ撮影動作は終了する。
【０１０５】
このようにして、撮像装置のパン方向の反転に応じて、仮パノラマ撮影を自動的に終了して、本パノラマ撮影を開始する制御を実現することができる。このような制御を適用したことにより、利用者の操作は、仮パノラマ撮影および本パノラマ撮影に必須な撮像装置のパン操作のみに絞ることができる。このような操作の簡略化により、利用者は、撮像装置のパン操作を集中して行うことができる。
【０１０６】
ところで、撮像装置の撮影制御部１０５には、顔検出などの被写体検出機能が含まれる場合がある。このような撮影制御部１０５に含まれる機能による検出結果を、パノラマ撮影動作の制御に利用することも可能である。
(合成制御部の別実施形態)
図１３に、合成制御部の別実施形態を示す。なお、図１３に示した構成要素のうち、図４および図８に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１０７】
図１３に示した合成制御部１２１は、制御指示検出部１３１と終了判定部１３３と幅算出部１３４とに加えて、切り出し幅補正部１３９を備えている。なお、図１３に示した合成制御部１２１に、図８に示したガイド表示生成部１３２を備えることもできる。
【０１０８】
切り出し幅補正部１３９には、マッチング処理部１２６による処理結果と、移動量判定部１２７による判定結果と、撮影制御部１０５による顔検出結果とが入力される。切り出し幅補正部１２９は、顔検出結果として、例えば、現フレームの画像データから検出された顔の位置およびその範囲を含む情報を、撮影制御部１０５から受け取ることができる。
【０１０９】
これらの入力情報に基づいて、切り出し幅補正部１３９は、顔検出結果を考慮した短冊画像の幅を求める。そして、求めた短冊画像の幅を短冊画像切り出し部１２９に通知する。この通知に応じて、短冊画像切り出し部１２９は、新規フレーム保持部１１３に保持された現フレームの画像データから、通知で指定された幅の短冊画像を切り出す処理を行う。
【０１１０】
また、切り出し幅補正部１３９は、求めた短冊画像の幅と移動量判定部１２７による判定結果に含まれる移動量ｄｘとに基づいて、現フレームの画像データからの短冊画像の切り出しに伴う合成画像の追加幅Ｗｘを求める。この合成画像の追加幅Ｗｘは、移動量積算部１２８による積算処理に供される。
【０１１１】
図１４に、切り出し幅補正動作を説明する図を示す。図１４の例では、複数のフレームの画像データに共通して含まれている人物についての顔検出結果を利用して、これらの画像データから切り出される短冊画像の幅が調整される様子を示している。
【０１１２】
図１４(Ａ)，(Ｂ)，(Ｃ)に、ｊ番目〜ｊ＋２番目に短冊画像の切り出し処理の対象となる各フレームの画像Ｆｊ〜Ｆｊ＋２を、これらの画像に共通して含まれている人物の像の位置をそろえて示した。合成処理の際に、顔検出結果を利用した制御を行う場合を示した。なお、図１４(Ａ)，(Ｂ)，(Ｃ)において、幅を補正する前の短冊画像を太い破線の矩形で示した。また、図１４(Ａ)，(Ｂ)，(Ｃ)において、符号Ｘ１、Ｙ１は、それぞれ補正前の短冊画像の基準幅および基準の高さを示している。
【０１１３】
図１４(Ｂ)に示した例では、幅を補正する前の短冊画像の境界が、人物の顔のほぼ中央を横切っている。このような場合に、例えば、人物の顔全体が短冊画像に含まれるように、画像Ｆｊ＋１から切り出される短冊画像の幅を補正することができる。図１４(Ｂ)においては、補正後の短冊画像の範囲を点線で囲んで示した。
【０１１４】
このような短冊画像の幅の調整処理は、例えば、切り出し幅補正部１３９が、移動量判定部１２７によって移動量ｄｘが出力されるごとに、次に説明するようにして短冊画像の切り出し動作を制御することによって実現することができる。
【０１１５】
図１５に、短冊画像切り出し動作の一実施形態を示す。なお、図１５に示した各ステップは、図６に示したステップ３３６〜ステップ３３８に相当する。
【０１１６】
図１５に示したステップ３７１において、切り出し幅補正部１３９は、撮影制御部１０５から顔検出結果を受け取る。切り出し幅補正部１３９は、例えば、現フレームの画像から検出された人物の顔の部分を囲む矩形の範囲を特定する情報を、撮影制御部１０５から受け取ることができる。
【０１１７】
次いで、切り出し幅補正部１３９は、上述した顔検出結果に基づいて、基準幅Ｘ１を持つ短冊画像の境界付近に人物の顔が検出されているか否かを判定する(ステップ３７２)。例えば、切り出し幅補正部１３９は、顔検出結果で示された人物の顔の部分を示す矩形の範囲を、短冊画像の境界が横切っているか否かを判定することにより、このステップ３７２の判定を行うことができる。
【０１１８】
例えば、図１４(Ａ)に示した例では、破線で示された短冊画像の境界と太い実線で示した人物の顔の部分を囲む矩形とは交差していない。このような場合に、切り出し幅補正部１３９は、ステップ３７２の否定判定として、ステップ３７３に進む。このステップ３７３で、切り出し幅補正部１３９は、上述した基準幅Ｘ１を現フレームの画像データから切り出す短冊画像に適用する短冊幅Ｘｎとして短冊画像切り出し部１２９に通知する。
【０１１９】
一方、図１４(Ｂ)に示した例では、破線で示された短冊画像の境界と太い実線で示した人物の顔の部分を囲む矩形とが交差している。このような場合に、切り出し幅補正部１３９は、ステップ３７２の肯定判定として、ステップ３７４に進む。このステップ３７４で、切り出し幅補正部１３９は、例えば、図１４(Ｂ)において点線で示したように、人物の顔の部分を囲む矩形が内部に含まれるまで広げた短冊画像の幅の補正値Ｘａ１を求める。この場合は、ステップ３７４で求められた短冊画像の幅の補正値Ｘａ１が、現フレームの画像データから切り出す短冊画像に適用する短冊幅Ｘｎとして短冊画像切り出し部１２９に通知される(ステップ３７５)。
【０１２０】
次いで、ステップ３７６において、短冊画像切り出し部１２９により、上述したステップ３７３あるいはステップ３７５で通知された短冊幅Ｘｎの短冊画像が、新規フレーム保持部１１３に保持された画像データから切り出される。そして、切り出された短冊画像は、画像結合部１２５により、図６に示したステップ３３７と同様にして、合成画像保持部１１１に保持されている合成画像に結合される。
【０１２１】
次に、切り出し幅補正部１３９は、ステップ３７６で切り出された短冊画像を合成したことによる合成画像の追加幅Ｗｘを算出する(ステップ３７７)。図１４から分かるように、追加幅Ｗｘは、現フレームから切り出される短冊画像に対応する短冊幅Ｘｎと移動量ｄｘと参照画像から切り出された短冊画像に対応する短冊幅Ｘｏとを用いて、式(３)のようにして求めることができる。
【０１２２】
Ｗｘ＝（Ｘｎ＋ｄｘ）−Ｘｏ ・・・（３）
図１４(Ｂ)に示したように、参照画像に適用された短冊幅Ｘｏが基準幅Ｘ１であって、現フレームの短冊幅Ｘｎが基準幅Ｘ１から広げられた場合は、追加幅Ｗｘは、移動量ｄｘよりも大きくなる。逆に、図１４(Ｃ)に示したように、基準幅Ｘ１から広げられた短冊幅Ｘｏが参照画像に適用され、現フレームの短冊幅Ｘｎが基準幅Ｘ１である場合は、追加幅Ｗｘは、移動量ｄｘよりも小さくなる。
【０１２３】
このようにして算出された追加幅Ｗｘは、移動量積算部１２８に通知される。そして、この移動量積算部１２８により、移動量の総和Ｓに加算される(ステップ３７８)。その後、切り出し幅補正部１３９は、現フレームに適用された短冊幅Ｘｎを用いて、参照画像に対応する短冊幅Ｘｏを更新する(ステップ３７９)。このようにして更新された参照画像に対応する短冊幅Ｘｏは、次に、新たな現フレームの画像データから短冊画像を切り出す処理を行う際に用いられる。
【０１２４】
上述したようにして、図１３に例示した構成を備えた撮像装置によれば、パノラマ画像の合成に用いる短冊画像の幅に、顔検出結果を反映することができる。これにより、例えば、人物の顔を表す画像の部分では、複数のフレームの画像データが結合されないように制御することができる。そして、このような制御を適用することにより、短冊画像を合成して生成されるパノラマ画像の品質を向上させることができる。
【０１２５】
なお、顔検出結果に基づく短冊画像の幅の調整を実現する方法は、図１４(Ｂ)に示したように、短冊画像の切り出し終了位置を変更する場合に限られない。例えば、短冊画像の切り出し開始位置を変更することによって、短冊画像の幅を調整することも可能である。また、基準幅Ｘ１の短冊画像を切り出し対象の画像データの中央からずらした位置から切り出すことによって、顔検出結果を考慮した短冊画像の切り出しを行うことも可能である。更に、顔検出以外の被写体認識技術によって得られる処理結果に基づいて、短冊画像の切り出し動作を制御することも可能である。
【０１２６】
また、上述したようなパノラマ画像の生成処理を、撮像装置から独立した画像処理装置によって実現することも可能である。
【０１２７】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする画像処理装置。
(付記２)
付記１に記載の画像処理装置において、
前記情報収集部は、
任意の第１方向に連続的に視野が変化する複数フレームの画像データを、前記撮影視野の中央に配置される被写体像を含む第１フレームから順次に収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記第１フレームに対応する視野からの変化分を検出する差分検出部とを備えた
ことを特徴とする画像処理装置。
(付記３)
付記２に記載の画像処理装置において、
前記差分検出部は、
前記各フレームの画像データを時系列に従って比較することにより、前記各フレームに対応する視野が移動した画素数を、当該フレームに先立つフレームに対応する視野を基準として求める移動量算出部と、
前記撮像部がパン操作される過程で撮像された画像データについて、前記移動量算出部で前記フレームごとの視野の移動について求められた画素数を累積加算する移動量積算部とを備えた
ことを特徴とする画像処理装置。
(付記４)
付記２または付記３に記載の画像処理装置において、
前記画像合成部は、
前記第１方向とは逆の第２方向に連続的に視野が変化する複数フレームの画像データから、前記複数フレームそれぞれに対応する部分視野に相当する画像データを抽出する画像抽出部と、
前記画像抽出部で抽出された画像データを、前記第２フレームに対応する画像データから順次に前記第２方向に沿って結合する画像結合部とを備えた
ことを特徴とする画像処理装置。
(付記５)
付記４に記載の画像処理装置において、
前記画像合成部は、
前記画像結合部によって結合される各フレームの画像データに対応する部分視野の前記第２方向の長さを累積加算した結果が前記撮影視野の前記第２方向の長さに到達したときに、画像合成処理を終了させる
ことを特徴とする画像処理装置。
(付記６)
付記２乃至付記５のいずれか一に記載の画像処理装置において、
前記情報収集部は、
前記差分検出部によって前記各フレームの画像データについて検出された視野の変化分に基づいて、前記第２フレームを特定する
ことを特徴とする画像処理装置。
(付記７)
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、
前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする撮像装置。
(付記８)
付記７に記載の撮像装置において、
前記情報収集部は、
前記撮像部の第１方向へのパン操作に応じて、前記撮像部で得られるライブビュー画像のうち、前記撮影視野の中央に配置される被写体像を含む第１フレームから連続的に視野が変化する複数フレームの画像データを収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記パン操作による前記撮像部の視野の変化分を、前記第１フレームに対応する視野を基準として検出する差分検出部とを備えた
ことを特徴とする撮像装置。
(付記９)
付記８に記載の撮像装置において、
前記差分検出部は、
前記各フレームの画像データを時系列に従って比較することにより、前記各フレームに対応する視野が移動した画素数を、当該フレームに先立つフレームに対応する視野を基準として求める移動量算出部と、
前記撮像部がパン操作される過程で撮像された画像データについて、前記移動量算出部で前記フレームごとの視野の移動について求められた画素数を累積加算する移動量積算部とを備えた
ことを特徴とする撮像装置。
(付記１０)
付記８または付記９に記載の撮像装置において、
前記画像合成部は、
前記第１方向とは逆の第２方向に前記撮像部がパン操作される過程で撮像される複数フレームの画像データから、前記複数フレームそれぞれに対応する部分視野に相当する画像データを抽出する画像抽出部と、
前記画像抽出部で抽出された画像データを、前記撮影視野の一方の端を指定する第２フレームに対応する画像データから順次に前記第２方向に沿って結合する画像結合部とを備えた
ことを特徴とする撮像装置。
(付記１１)
付記８乃至付記１０のいずれか一に記載の撮像装置において、
前記情報収集部は、
前記差分検出部によって前記各フレームの画像データについて検出された視野の変化分に基づいて、前記画像収集部で収集される各フレームの画像データに対応する部分視野が前記撮影視野において占める位置を示す情報を利用者に提供する情報提供部とを備えた
ことを特徴とする撮像装置。
(付記１２)
パノラマ撮影に先立って、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集し、
収集した情報に基づいて、前記撮影視野に含まれる複数の部分視野に対応する画像データを収集し、
収集した複数の画像データを合成することにより、前記撮影視野に対応するパノラマ画像を生成する
ことを特徴とする画像処理方法。
【符号の説明】
【０１２８】
１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 信号処理部
１０５ 撮影制御部
１０６ 表示制御部
１０７ 表示部
１０８ 記録制御部
１０９ 記録媒体
１１０ メモリ
１１１ 合成画像保持部
１１２ ライブビュー画像保持部
１１３ 新規フレーム保持部
１１４ 参照画像保持部
１２０ パノラマ撮影制御部
１２１ 合成制御部
１２２ 画像収集部
１２３ 差分検出部
１２４ 画像抽出部
１２５ 画像結合部
１２６ マッチング処理部
１２７ 移動量判定部
１２８ 移動量積算部
１２９ 短冊画像切り出し部
１３０ 画像幅保持部
１３１ 制御指示検出部
１３２ ガイド表示生成部
１３３ 終了判定部
１３４ 幅算出部
１３５ 反転検出部
１３６ ガイドバー
１３７ 中央マーク
１３８ 現フレームマーク
１３９ 切り出し幅補正部
【技術分野】
【０００１】
本件開示は、デジタルカメラなどの画像処理装置および撮像装置並びに画像処理方法に関する。
【背景技術】
【０００２】
パノラマ撮影を実現する手法の一つとしては、複数の静止画像の境界部分を互いに重ね合わせて繋ぎ合わせる手法がある。
【０００３】
また、カメラをパンさせる際に得られるライブビュー画像から、各フレームの中央部を短冊状に切り出し、これらを順次に繋ぎ合わせていくことによってパノラマ画像を生成する手法もある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２８４３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１の技法では、パノラマ撮影のためにパン操作を開始する際のカメラの向きは、利用者に委ねられている。そして、カメラのパン操作に伴って、短冊状の画像がつなぎ合わされていき、この処理によって生成される画像の横幅がパノラマ画像についての規定幅となった時点でパノラマ撮影が終了する。このため、生成されたパノラマ画像において、所望の被写体を中央に配置するためには、利用者がパノラマ画像の規定幅を考慮して、パン操作を開始する際のカメラの向きを予測する必要がある。
【０００６】
本件開示は、所望の被写体が中央に配置されたパノラマ画像を生成することが可能な画像処理装置および撮像装置並びに画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的は、以下に開示する画像処理装置および撮像装置並びに画像処理方法によって達成することができる。
【０００８】
一つの観点による画像処理装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。
【０００９】
また、別の観点による撮像装置は、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部とを備える。
【００１０】
更に、別の観点の画像処理方法は、パノラマ撮影に先立って、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する手順と、収集した情報に基づいて、前記撮影視野に含まれる複数の部分視野に対応する画像データを収集する手順と、収集した複数の画像データを合成することにより、前記撮影視野に対応するパノラマ画像を生成する手順とを備える。
【発明の効果】
【００１１】
本件開示の画像処理装置および撮像装置並びに画像処理方法によれば、所望の被写体が中央に配置されたパノラマ画像を生成することが可能である。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の一実施形態を示す図である。
【図２】パノラマ撮影動作を説明する図である。
【図３】パノラマ撮影動作を表す流れ図である。
【図４】パノラマ撮影制御部の別実施形態を示す図である。
【図５】仮パノラマ撮影動作の別実施形態を表す流れ図である。
【図６】本パノラマ撮影動作の別実施形態を表す流れ図である。
【図７】画像結合処理を説明する図である。
【図８】合成制御部の一実施形態を示す図である。
【図９】ガイド表示の例を示す図である。
【図１０】ガイド表示動作を表す流れ図である。
【図１１】合成制御部の別実施形態を示す図である。
【図１２】仮パノラマ撮影動作の別実施形態を示す図である。
【図１３】合成制御部の別実施形態を示す図である。
【図１４】切り出し幅補正動作を説明する図である。
【図１５】短冊画像切り出し動作の一実施形態を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、本件開示の画像処理装置および撮像装置の実施形態について詳細に説明する。
(撮像装置の実施形態１)
図１に、撮像装置の一実施形態を示す。
【００１４】
図１に示した例において、撮像装置は、撮像用光学系１０１と撮像素子１０２とＡ／D変換部１０３と信号処理部１０４と表示制御部１０６と表示部１０７と記録制御部１０８と記録媒体１０９とメモリ１１０とパノラマ撮影制御部１２０とを備えている。
【００１５】
撮像用光学系１０１によって、撮像素子１０２の光電変換面上に被写体像が形成される。この被写体像の光の強度分布は、撮像素子１０２により電気信号に変換される。信号処理部１０４は、Ａ／Ｄ変換部１０３によってデジタル化された撮像素子１０２の出力から画像データを生成する。
【００１６】
信号処理部１０４は、撮影制御部１０５からの指示に応じて、撮像素子１０２の出力から所定のフレームレートのライブビュー画像を生成する。生成されたライブビュー画像は、メモリ１１０のライブビュー画像保持部１１２に保持される。表示制御部１０６および表示部１０７は、このライブビュー画像を利用してファインダ表示を行う。
【００１７】
図１に示したパノラマ撮影制御部１２０は、合成制御部１２１と画像収集部１２２と差分検出部１２３と画像抽出部１２４と画像結合部１２５とを備えている。合成制御部１２１は、撮影制御部１０５からの指示に従って、パノラマ撮影制御部１２０に備えられた各部の動作を制御する。
【００１８】
合成制御部１２１は、例えば、撮影制御部１０５からパノラマ画像に対応する視野(以下、撮影視野と称する)の中央位置を指定する旨の指示に応じて、撮影視野の中央から一方の端までの範囲を特定するための情報の収集動作を制御する。
【００１９】
画像収集部１２２は、合成制御部１２１からの指示に応じて、ライブビュー画像保持部１１２に保持されるライブビュー画像の中から複数フレームの画像データを収集する。差分検出部１２３は、画像収集部１２２で収集された複数フレームの画像データに基づいて、パノラマ撮影の対象となる撮影視野の中央からこの撮影視野の一端までの視野の変化分を検出する。
【００２０】
撮像装置をパンさせる過程で画像収集部１２２によって収集される複数フレームの画像データは、それぞれの時刻で撮像装置の視野に捉えられた被写体像を含んでいる。したがって、例えば、差分検出部１２３において、これらの画像データを互いに比較することにより、それぞれの時刻で撮像装置の視野がどのように変化しているかを示す情報を得ることができる。
【００２１】
図２に、パノラマ撮影動作を説明する図を示す。図２の例では、山岳の風景を背景として二人の人物を配置したパノラマ画像を撮影する動作を説明する。なお、図２(Ａ)から(Ｃ)において、太い実線で囲んだ範囲は、それぞれの時点で撮像装置によって捉えられている視野を示している。
【００２２】
図２(Ａ)は、撮像制御部１０５から撮影視野の中央を指定する旨が指示されたときの撮像装置の視野を示している。図２(Ａ)の例では、二人の人物が撮像装置の視野のほぼ中央に捉えられている。なお、図２において、撮影視野の中央位置は、符号Ｐｃを付した点線で示されている。図２(Ｂ)は、図２(Ａ)に示した状態から、撮像装置を左方向にパン操作していき、撮影制御部１０５から撮影視野の一方の端を指定する旨が指示されたときに、撮像装置の視野に捉えられている範囲を示している。
【００２３】
上述したパン操作の過程で、ライブビュー画像保持部１１２には、フレームごとに連続的に変化する視野に対応する画像データが保持される。そして、画像収集部１２２により、図２(Ａ)に示した撮像装置の視野に対応する画像データと、図２(Ｂ)に示した撮像装置の視野に対応する画像データを含めて、複数フレームの画像データが収集される。これらの画像データを順次に比較することにより、それぞれの画像データで共通して写っている被写体の位置のズレを検出することができる。したがって、例えば、差分検出部１２３により、上述した位置ずれを集計することにより、撮影視野の中央位置Ｐｃから図２(Ｂ)に示した撮像装置の視野の中央Ｐｅ１までの視野の変化分Ｄｘを求めることができる。図２(Ｂ)に太線で囲んで示した範囲の中央Ｐｅ１は、撮影制御部１０５によって指定された撮影視野の左側の一端、すなわち、左端を示している。したがって、画像収集部１２２および差分検出部１２３が上述した処理を行うことにより、パノラマ撮影の対象となる撮影視野の中央と一端とを特定する情報を収集することができる。つまり、図１に示した例では、合成制御部１２１と画像収集部１２２と差分検出部１２３とを含む情報収集部により、パノラマ撮影の対象となる撮影視野の中央と一端とを特定する情報が収集されている。以下の説明では、上述したようにして撮像装置をパン操作しながら、パノラマ撮影の対象となる撮影視野の中央と一端とを特定する情報を収集する処理を仮パノラマ撮影と称する。
【００２４】
なお、合成制御部１２１は、例えば、撮影制御部１０５を介して、パノラマ撮影を行うモードが選択されていることやレリーズボタンが半押しあるいは全押しされた旨の通知を受け取ることができる。そして、パノラマ撮影モードが選択されている状態で、レリーズボタンが半押しされた旨が撮影制御部１０５から通知されたときに、合成制御部１２１は、撮影視野の中央を指定する旨が指示されたと判断することができる。つまり、合成制御部１２１は、この指示に応じて、画像収集部１２２および差分検出部１２３に、上述した仮パノラマ撮影処理の開始を指示する。このとき、合成制御部１２１は、表示制御部１０６および表示部１０７を介して、パノラマ撮影範囲の一方の端まで撮像装置をパン操作することを促すメッセージなどを利用者に提供することができる。
【００２５】
また、上述した仮パノラマ撮影を経て、撮影視野の中央が指定された後に、レリーズボタンが全押しされた旨が撮影制御部１０５から通知されたときに、合成制御部１２１は、撮影視野の一端を特定する旨が指示されたと判断することができる。この指示に応じて、合成制御部１２１は、画像抽出部１２４および画像結合部１２５に対して、パノラマ画像の生成処理の開始を指示する。このとき、合成制御部１２１は、表示制御部１０６および表示部１０７を介して、仮パノラマ撮影とは逆方向に撮像装置をパン操作することを促すメッセージなどを利用者に提供することができる。
【００２６】
仮パノラマ撮影を終了した位置から撮像装置を逆方向にパン操作する過程で、図２(Ｂ)に示した範囲から連続的に仮パノラマ撮影とは逆方向に視野が変化する複数フレームの画像データを含むライブビュー画像が得られる。以下の説明では、仮パノラマ撮影の終了後に、逆方向に撮像装置をパンさせながらライブビュー画像を取得する操作を本パノラマ撮影と称する。
【００２７】
画像抽出部１２４は、合成制御部１２１からの指示に応じて、ライブビュー画像に含まれる複数フレームの画像データそれぞれから、例えば、画面の中央部に相当する短冊状の画像データを抽出する。画像抽出部１２４は、例えば、各フレームの画像データの中央部から幅Ｘ１高さＹ１の矩形の画像を抽出することができる。この画像抽出部１２４によって抽出された画像データは、撮影視野に含まれる複数の部分視野のいずれかに対応している。
【００２８】
図２(Ｂ)に、撮影視野の左端を示す位置Ｐｅ１を中央とする範囲が撮像装置によって捉えられているときに画像抽出部１２４で抽出される短冊状の画像データの範囲を破線で囲んで示した。また、上述したようにして、撮影視野の左端を特定したことにより、図２(Ｃ)に示すように、撮影視野の中央Ｐｃに対して線対称の位置として、撮影視野の右端を特定することができる。図２(Ｃ)に示した例では、図２(Ｂ)に示した位置Ｐｅ１と中央Ｐｃを挟んで対称の位置Ｐｅ２に基づいて、撮影視野の右端を特定する場合を示した。つまり、本パノラマ撮影の際に、撮像装置の視野が、図２(Ｂ)に示した範囲から図２(Ｃ)に示した範囲に連続的に変化する過程で、撮影視野に含まれる複数の部分視野に対応する画像データが、それぞれ少なくとも一度は画像抽出部１２４によって抽出される。
【００２９】
したがって、画像結合部１２５により、抽出された画像データの一部を重ね合わせながら結合させることにより、撮影視野に対応するパノラマ画像データを生成することができる。画像結合部１２５は、例えば、画像抽出部１２４から受け取った画像データを、重ね合わせを考慮しつつ順次にメモリ１１０に設けられた合成画像保持部１１１に格納することにより、パノラマ画像を生成することができる。
【００３０】
図２(Ｄ)に、上述した本パノラマ撮影によって生成されるパノラマ画像の例を示す。図２に示した例では、パノラマ画像は、仮パノラマ撮影の過程における視野の変化分Ｄｘの２倍に短冊画像の幅Ｘ１を加えた幅を持つ。そして、図２(Ｂ)，(Ｃ)に示したように、撮影視野の両端の位置は、パノラマ画像の中央Ｐｃを挟んで線対称の位置となる。したがって、上述した本パノラマ撮影により、仮パノラマ撮影を開始したときに撮像装置の視野に捉えられた被写体が配置されたパノラマ画像を生成することができる。つまり、図１に例示した撮像装置には、画像抽出部１２４と画像結合部１２５とを備えた画像合成部が備えられている。
【００３１】
なお、図２に示した例のように、パン操作の方向が水平方向である場合は、画像抽出部１２４で抽出される画像データの高さは、ライブビュー画像に含まれる各フレームの画像データの高さと一致させることができる。また、画像抽出部１２４で抽出される短冊状の画像データの幅Ｘ１は、後述するマッチング処理で前後のフレームの画像と照合する範囲を考慮して決定することができる。また、仮パノラマ撮影で撮像装置をパンさせる方向は、図２の例で示した左方向に限らない。例えば、撮像装置を右側にパンさせながら仮パノラマ撮影を行い、本パノラマ撮影を左側にパンさせながら行うこともできる。更に、パン方向を上下方向とすることもできる。
【００３２】
なお、ライブビュー画像の代わりに、撮像装置に備えられたムービー撮影機能で得られる動画像データを、メモリ１１０を介して画像収集部１２２に入力することもできる。この場合は、画像収集部１２２により、動画像データに含まれる各フレームの画像データの中から仮パノラマ撮影および本パノラマ撮影に必要な画像データが収集される。
【００３３】
上述したような仮パノラマ撮影および本パノラマ撮影は、例えば、合成制御部１２１が、以下に述べるようにして各部を制御することによって実現することができる。
【００３４】
図３に、パノラマ撮影動作を表す流れ図を示す。図３に示した例では、ステップ３０１からステップ３０５までが仮パノラマ撮影動作に相当し、ステップ３０６からステップ３１１までが本パノラマ撮影動作に相当する。
【００３５】
合成制御部１２１は、例えば、パノラマ撮影を行うモードが設定された後に、レリーズボタンが半押しされた旨の通知に応じて仮パノラマ撮影動作を開始する。合成制御部１２１は、まず、この時点における撮像装置の視野の中央がパノラマ画像の中央として特定されたと判断する(ステップ３０１)。そして、ステップ３０２で、合成制御部１２１は、表示部１０７などを介して利用者にパン操作を促すとともに、画像収集部１２２および差分検出部１２３にそれぞれの処理の開始を指示する。
【００３６】
この指示に応じて、画像収集部１２２により、パン操作に伴って視野が連続的に変化していく複数フレームの画像データが収集される(ステップ３０３)。そして、収集された画像データに基づいて、差分検出部１２３により、画像収集部１２２によって収集された最新の画像データに対応する撮像装置の視野について、ステップ３０２で特定されたパノラマ画像の中央からの変化量が検出される(ステップ３０４)。
【００３７】
その後、合成制御部１２１は、撮影制御部１０５からレリーズボタンが全押しされた旨が通知されたか否かを判定する(ステップ３０５)。ステップ３０５の否定判定の場合に、処理は、ステップ３０３に戻って、新たな画像データの収集およびパノラマ画像の中央からの変化量の検出が行われる。一方、ステップ３０５の肯定判定の場合に、合成制御部１２１は、仮パノラマ撮影が終了したと判断する。そして、その時点における撮像装置の視野の中央に基づいて、パノラマ画像に対応する撮影視野の一端を決定するとともに、決定した一端と中央との距離に基づいて、パノラマ画像の幅を決定する(ステップ３０６)。
【００３８】
次いで、合成制御部１２１は、表示部１０７などを介して、上述した仮パノラマ撮影とは逆方向へのパン操作を利用者に促す(ステップ３０７)。また、合成制御部１２１は、撮影制御部１０５からの通知に基づいて、レリーズボタンが押下された撮影状態が継続していることを確認し(ステップ３０８の肯定判定)、画像抽出部１２４および画像結合部１２５にそれぞれの処理の開始を指示する
この指示に応じて、画像抽出部１２４により、パン操作に伴って視野が連続的に変化していく複数フレームの画像データから上述した短冊状の画像データが抽出される(ステップ３０９)。抽出された画像データを、画像結合部１２５が、パノラマ画像保持部１１１に順次に重ね合わせて格納していくことにより、ステップ３０９で抽出された短冊画像に対応する部分視野までのパノラマ画像が生成される(ステップ３１０)。このとき、合成制御部１２１は、画像結合部１２５による結合処理過程で得られる情報などに基づいて、生成が完了したパノラマ画像の範囲を求める(ステップ３１１)。そして、ステップ３１０で求めた範囲がパノラマ画像の幅よりも小さい場合に(ステップ３１２の否定判定)、処理は、ステップ３０８に戻って、新たな短冊画像の抽出およびこの短冊画像の結合処理が行われる。一方、ステップ３１０で求めた範囲がパノラマ画像の幅と一致した場合に(ステップ３１２の肯定判定)、合成制御部１２１は、パノラマ画像の撮影が完了したと判断して処理を終了する。
【００３９】
このように、生成したパノラマ画像の範囲が仮パノラマ撮影で決定した範囲に到達したときに、撮影動作は自動的に終了することにより、図２(Ｄ)に示したように、所望の被写体が中央部に配置されたパノラマ画像を生成することができる。このようにして生成されたパノラマ画像には、利用者の意図が忠実に反映されている。つまり、本件開示の撮像装置によれば、一度の撮影によって所望のパノラマ画像を利用者に提供できる確率が高いので、煩雑な撮りなおし作業から利用者を解放することができる。
【００４０】
なお、上述した例では、レリーズボタンの操作によって、仮パノラマ撮影から本パノラマ撮影への移行を指示することができるので、利用者は自然に所望のパノラマ撮影を行うことができる。また、仮パノラマ撮影で、利用者が撮像装置をパン操作した範囲に基づいてパノラマ撮影の範囲が決定されるので、利用者が望む範囲を直感的な操作でパノラマ撮影の範囲に反映することができる。
【００４１】
一方、本パノラマ撮影動作の途中でレリーズボタンの押下が解除された旨が撮影制御部１０５から通知された場合に、合成制御部１２１は、利用者の意思によって撮影状態が解除されたと判断する(ステップ３０８の否定判定)。この場合に、合成制御部１２１は、パノラマ撮影動作を終了させて、利用者の意思を撮像制御に反映することができる。
【００４２】
ところで、上述した仮パノラマ撮影において、ライブビュー画像に基づいて、撮像装置の視野の変化分を検出する処理には、複数フレームの画像データを照合して共通する部分を見つけるマッチング処理を適用することができる。
(パノラマ撮影制御部の別実施形態)
図４に、パノラマ撮影制御部の別実施形態を示す。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４３】
図４に示したライブビュー画像保持部１１２において、新規フレーム保持部１１３は、信号処理部１０４の出力に基づいて、ライブビュー画像の最新のフレームを保持する。参照画像保持部１１４は、合成制御部１２１からの指示に応じて、新規フレーム保持部１１３に保持された画像データを、以降のフレームとの比較のための参照画像として保持する。
【００４４】
図４に示したパノラマ撮影制御部１２０は、合成制御部１２１と画像結合部１２５とマッチング処理部１２６と移動量判定部１２７と移動量積算部１２８と短冊画像切り出し部１２９と画像幅保持部１３０とを備えている。
【００４５】
マッチング処理部１２６は、新規フレーム保持部１１３に保持された現フレームの画像データと参照画像保持部１１４に保持された参照画像とについてマッチング処理を行う。このマッチング処理により、現フレームの画像データと参照画像とに共通して含まれている被写体像の位置の差を示す画素数が検出される。
【００４６】
移動量判定部１２７は、マッチング処理部１２６によって移動量として検出された画素数を所定の閾値Ｔｈｄと比較する。上述した画素数が所定の閾値Ｔｈｄよりも大きい場合に、移動量判定部１２７は、参照フレームと現フレームとの間で視野の移動があったと判定し、当該画素数ｄｘを出力する。また、このとき、移動量判定部１２７は、参照画像保持部１１４に参照画像の更新を指示する。なお、移動量判定部１２７で用いる閾値Ｔｈｄの値は、例えば、短冊画像切り出し部１２９で切り出される短冊画像の幅Ｘ１に基づいて決定することができる。
【００４７】
移動量積算部１２８は、移動量判定部１２７から受け取った画素数ｄｘを順次に累積加算する。この累積加算で得られる総移動量Ｓは、合成制御部１２１による制御処理に用いられる。例えば、合成制御部１２１は、撮影制御部１０５からの通知に応じて、仮パノラマ撮影から本パノラマ撮影に移行する際に、上述した総移動量Ｓに基づいて、パノラマ画像の幅Ｗｐを算出し、画像幅保持部１３０に保持することができる。このパノラマ画像の幅Ｗｐは、例えば、上述した総移動量Ｓと短冊画像の幅Ｘ１とを用いて、式(１)のように求めることができる。
【００４８】
Ｗｐ＝２Ｓ＋Ｘ１ ・・・（１）
また、短冊画像切り出し部１２９は、合成制御部１２１からの指示と移動量判定部１２７による上述した判定結果に応じて、新規フレーム保持部１１３に保持された現フレームの画像データから短冊画像を切り出す処理を行う。
【００４９】
短冊画像切り出し部１２９によって切り出された短冊画像は、画像結合部１２５により、マッチング処理部１２６によるマッチング処理結果に基づいて、合成画像保持部１１１に保持されている合成画像に重ね合わせて格納される。
【００５０】
図４に示した例では、マッチング処理部１２６と移動量判定部１２７と移動量積算部１２８とにより、上述した差分検出部１２３に相当する機能が実現されている。また、移動量判定部１２７による判定結果に応じて更新される参照画像保持部１１４と新規フレーム保持部１１３とにより、画像収集部１２２に相当する画像データの収集動作が実現されている。同様に、移動量判定部１２７の判定結果に応じて、短冊画像切り出し部１２９が動作することにより、画像抽出部１２４に相当する画像データの抽出機能が実現されている。
【００５１】
図５に、仮パノラマ撮影動作の別実施形態を表す流れ図を示す。なお、図５に示した各ステップは、図３に示したステップ３０１からステップ３０６に対応している。
【００５２】
合成制御部１２１は、撮影制御部１０５からの通知でレリーズボタンの半押しを検出したときに、まず、移動量積算部１２８に総移動量Ｓを初期化する(ステップ３２１)。また、このとき、合成制御部１２１からの指示に応じて、参照画像保持部１１４は、新規フレーム保持部１１３に保持されている現フレームの画像データを参照画像として保持する(ステップ３２２)。次いで、ステップ３０２と同様にして、合成制御部１２１により、利用者に仮パノラマ撮影のためのパン操作を促すメッセージを提供する処理が行われる。
【００５３】
その後、新規フレーム保持部１１３に新たなフレームの画像データが入力されると(ステップ３２３)、マッチング処理部１２６により、新たに入力された現フレームの画像データと参照画像とのマッチング処理が行われる(ステップ３２４)。このマッチング処理により、例えば、現フレームの画像と参照画像とに共通して含まれる被写体像のパン操作方向の移動量ｄｘが求められる。マッチング処理部１２６は、例えば、参照画像での位置のＸ成分と現フレームの画像での位置のＸ成分との差を示す画素数として、この移動量ｄｘを求めることができる。なお、マッチング処理部１２６は、信号処理部１０４によって新規フレーム保持部１１３に画像データが書き込まれるごとに、現フレームの画像データと参照画像とのマッチング処理を行うことができる。また、マッチング処理部１２６は、複数フレームごとに、上述したマッチング処理を行うこともできる。
【００５４】
移動量判定部１２７は、このようにして求められた移動量ｄｘと閾値Ｔｈｄとを比較する(ステップ３２５)。そして、移動量ｄｘが閾値Ｔｈｄ未満である場合に（ステップ３２５の否定判定）、移動量判定部１２７は、現フレームに対応する撮像装置の視野と参照画像に対応する視野との差が小さいと判断する。この場合に、処理は、ステップ３２３に戻り、新たなフレームの画像データについての処理が開始される。
【００５５】
一方、移動量ｄｘが閾値Ｔｈｄ以上である場合に（ステップ３２５の肯定判定）、移動量判定部１２７は、この移動量ｄｘを移動量積算部１２８に渡す。これに応じて、移動量積算部１２８により、この移動量ｄｘが総移動量Ｓに加算される(ステップ３２６)。また、このとき、移動量判定部１２７からの指示に応じて、参照画像保持部１１４は、新規フレーム保持部１１３に保持されている現フレームの画像データを用いて参照画像を更新する(ステップ３２７)。
【００５６】
その後、合成制御部１２１により、撮影制御部１０５からレリーズボタンが全押しされたことが通知されているか否かが判定される(ステップ３２８)。ステップ３２８の否定判定の場合に、合成制御部１２１は、仮パノラマ撮影が継続されていると判断する。この場合に、処理はステップ３２３に戻って、新たなフレームの画像データについての処理が開始される。
【００５７】
上述したように、図４に示したパノラマ撮影制御部１２０の例では、移動量判定部１２７の判定結果に応じて、移動量積算部１２８による移動量ｄｘの累積加算処理および参照画像保持部１１４による参照画像の更新処理が行われる。これにより、移動量として検出された画素数が所定の閾値Ｔｈｄに満たないときに、参照画像の更新処理や累積加算処理を抑止することができる。つまり、例えば、手ぶれなどによる意図しない撮像装置の変位を無視することができる。
【００５８】
そして、利用者による撮像装置のパン操作に伴って、上述したステップ３２３〜ステップ３２８を繰り返すことにより、移動量積算部１２８により、利用者が意図したパン操作に対応する視野の移動が反映された総移動量Ｓが得られる。
【００５９】
したがって、撮影制御部１０５からレリーズボタンが全押しされた旨が通知されたときに(ステップ３２８の肯定判定)、移動量積算部１２８で得られた総移動量Ｓは、仮パノラマ撮影過程における視野の変化分Ｄｘを示している。この総移動量Ｓは、ステップ３２９で合成制御部１２１に渡される。そして、合成制御部１２１は、この総移動量Ｓに基づいて、利用者が仮パノラマ撮影動作の過程で撮像装置をパンさせて示した範囲を反映したパノラマ画像幅Ｗｐを算出する（ステップ３３０）。このステップ３３０の終了後に、合成制御部１２１は、算出したパノラマ画像幅Ｗｐを画像幅保持部１３０に保持するとともに、仮パノラマ撮影処理を終了し、本パノラマ撮影処理を開始する。なお、図５に示したステップ３２８において、合成制御部１２１により、レリーズボタンの半押し状態が継続しているか否かを全押しされたか否かと併せて判定することもできる。そして、合成制御部１２１は、レリーズボタンの半押しが解除されたと判定したときに、仮パノラマ撮影処理および本パノラマ撮影処理を終了させてもよい。
【００６０】
図６に、本パノラマ撮影動作の別実施形態を表す流れ図を示す。なお、図６に示す各ステップは、図３に示したステップ３０７からステップ３１２の処理に対応している。
【００６１】
本パノラマ撮影処理では、まず、合成制御部１２１からの指示に応じて、短冊画像切り出し部１２９により、最初の短冊画像が切り出される(ステップ３３１)。この短冊画像は、画像結合部１２５により、パノラマ画像の一方の端に相当する部分として合成画像保持部１１１に格納される(ステップ３３２)。また、このとき、移動量積算部１２８により、総移動量Ｓに最初の短冊画像の幅に相当する初期値Ｘ１が設定される。
【００６２】
次いで、図３に示したステップ３０７と同様にして、合成制御部１２１により、逆方向にパン操作を促すメッセージを利用者に提供する処理が行われる。そして、マッチング処理部１２６により、上述したステップ３２３およびステップ３２４と同様にして、新規フレーム保持部１１３に保持された画像データと参照画像とのマッチング処理が行われる(ステップ３３３，３３４)。また、ステップ３２５と同様に、移動量判定部１２７により、このマッチング処理で求められた移動量ｄｘが閾値Ｔｈｄ以上であるか否かを判定する処理が行われる(ステップ３３５)。
【００６３】
そして、移動量ｄｘが閾値Ｔｈｄ未満である場合に（ステップ３３５の否定判定）、処理は、ステップ３３３に戻り、新たなフレームの画像データについての処理が開始される。 一方、移動量ｄｘが閾値Ｔｈｄ以上である場合に(ステップ３３５の肯定判定)、短冊画像切り出し部１２９により、新規フレーム保持部１１３に保持された現フレームの画像データから短冊画像が切り出される(ステップ３３６)。短冊画像切り出し部１２９は、例えば、現フレームの画像データの中央部から幅Ｘ１高さＹ１の矩形の画像を切り出すことができる。各フレームの画像データの中央部は、撮影光学系１０１が持つ収差の影響を受けにくいので、後述する画像合成処理に適している。
【００６４】
次いで、切り出された短冊画像について、画像結合部１２５による画像合成処理が行われる(ステップ３３６)。このとき、画像結合部１２５は、マッチング処理部１２６で得られたマッチング処理結果に基づいて、新たに切り出された短冊画像を既に合成画像保持部１１１に保持されている画像の一部を重ね合わせて格納することにより、合成画像を生成することができる。
【００６５】
図７に、画像結合処理を説明する図を示す。図７に示した例では、短冊画像切り出し部１２９によって切り出された個々の短冊画像を、切り出された順番を示す添え字を付して、Ｆｊのように示している。なお、図７においては、パン操作方向をＸ方向とし、これに垂直な方向をＹ方向として示した。
【００６６】
図７(Ａ)，(Ｂ)に、番号ｊ番目に切り出された短冊画像Ｆｊとｊ＋１番目に切り出された短冊画像Ｆｊ＋１とを示す。図７(Ａ)，(Ｂ)において、短冊画像Ｆｊと短冊画像Ｆｊ＋１とで重複している範囲は、斜線を付して示されている。
【００６７】
ここで、マッチング処理部１２６では、上述したＸ方向の移動量ｄｘに加えて、パン操作方向に垂直な方向に相当するＹ方向の移動量ｄｙも検出されている。したがって、画像結合部１２５は、Ｘ，Ｙ両方向の移動量ｄｘ、ｄｙに基づいて、新たな短冊画像と既に合成画像保持部１１１に形成されている合成画像との重複範囲を特定することができる。そして、この重複範囲に基づいて算出された合成画像保持部１１１のアドレスから、新たな短冊画像を格納することにより、この新たな短冊画像を追加した合成画像を生成することができる。図７(Ｃ)に、複数の短冊画像Ｆｊ〜Ｆｊ＋４を順次に結合される様子を示した。
【００６８】
短冊画像切り出し部１２９によって切り出される短冊画像の幅が一定である場合は、図７から分かるように、短冊画像の結合によって合成画像に追加される画像の幅Ｗｘは、ステップ３３５で肯定判定となった移動量ｄｘに等しい。
【００６９】
したがって、図６のステップ３３８において、移動量積算部１２８により、移動量判定部１２７から出力された移動量ｄｘを総移動量Ｓに加算することにより、この総移動量Ｓとして、合成画像保持部１１１に形成済みの合成画像の幅を得ることがきる。
【００７０】
次いで、ステップ３２７と同様にして、参照画像保持部１１４の参照画像が更新される(ステップ３３９)。なお、このステップ３３９の処理は、上述したステップ３３６〜ステップ３３８のいずれかの処理の前に実行することもできる。
【００７１】
その後、合成制御部１２１は、上述した総移動量Ｓと画像幅保持部１３０に保持されたパノラマ画像幅Ｗｐとを比較する(ステップ３４０)。そして、総移動量Ｓがパノラマ画像幅Ｗｐ未満である場合に(ステップ３４０の肯定判定)、合成制御部１２１は、本パノラマ撮影はまだ完了していないと判断する。このとき、処理は、ステップ３３３に戻り、新たなフレームの画像データについての処理を開始する。
【００７２】
上述したように、図４に示したパノラマ撮影制御部１２０の例では、移動量判定部１２７の判定結果に応じて、移動量積算部１２８および参照画像保持部１１４の動作とともに、短冊画像切り出し部１２９の動作が制御される。これにより、移動量として検出された画素数が所定の閾値Ｔｈｄに満たないときに、参照画像の更新処理や移動量ｄｘの累積加算処理とともに短冊画像の切り出し処理や画像結合処理を抑止することができる。このようにして、手ぶれなどによる意図しない撮像装置の変位を無視するとともに、利用者が意図したパン操作に対応する視野の移動を反映して切り出された短冊画像を合成画像保持部１１１に追加していくことができる。
【００７３】
利用者による撮像装置のパン操作に伴って、上述したステップ３３３〜ステップ３４０を繰り返していき、総移動量Ｓがパノラマ画像幅Ｗｐに到達したときに（ステップ３４０の否定判定）、合成制御部１２１は、本パノラマ撮影が完了したと判断する。次いで、合成制御部１２１は、合成画像保持部１１１に保持された合成画像に対して、Ｙ方向のサイズを規定のサイズに合わせるためのサイズ調整処理を行うことができる(ステップ３４１)。
【００７４】
図７(Ｃ)に示したように、個々の短冊画像はＹ方向に不規則にずれながら重なり合って合成画像を形成している。これは、利用者が撮像装置をパン操作する際に、パン操作方向に垂直な方向へも撮像装置の視野が変動するためである。
【００７５】
このようなＹ方向のずれを除去するために、合成制御部１２１は、まず、全ての短冊画像に共通しているＹ方向の範囲を特定する。そして、このＹ方向の範囲の幅Ｙ２と規定のＹ方向のサイズＹ１との比に相当する係数αを用いて、合成制御部１２１により、合成画像の拡大処理を行うことにより、サイズ調整処理を実現することができる。
【００７６】
ところで、パノラマ画像の幅Ｗｐに対して所定の上限が設定される場合がある。このような場合に、仮パノラマ撮影中に、このパノラマ画像幅の上限に関する情報を利用者に提供する機能を備えることにより、撮像装置の利便性を向上することができる。
(合成制御部の別実施形態)
図８に、合成制御部の別実施形態を示す。なお、図８に示した構成要素のうち、図１および図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００７７】
図８に示した合成制御部１２１は、制御指示検出部１３１とガイド表示生成部１３２と終了判定部１３３と幅算出部１３４とを備えている。制御指示検出部１３１は、撮影制御部１０５からの通知に基づいて、レリーズボタンの操作状態で示される制御指示を検出する。ガイド表示生成部１３２は、制御指示検出部１３１からの指示と、移動量積算部１２８の出力および画像幅保持部１３０に保持された値とに基づいて、後述するガイド表示を生成する。また、幅算出部１３４は、制御指示検出部１３１からの指示に応じて、移動量積算部１２８の出力で示される値から本パノラマ撮影で生成するパノラマ画像の幅の目標値Ｗｐを算出する。算出されたパノラマ画像の幅の目標値Ｗｐは、画像幅保持部１３０に保持される。なお、図８に示した合成制御部１２１の例では、移動量積算部１２８の出力で示される値が上述したパノラマ画像の幅の目標値Ｗｐに到達したときに、終了判定部１３３が短冊画像切り出し部１２９の処理を停止させる。つまり、図８の例では、終了判定部１３３により、図７に示したステップ３４０の否定判定に応じて本パノラマ撮影動作を終了させる制御が行われる。
【００７８】
図９に、ガイド表示の例を示す。図９の例では、撮像装置の表示部１０７にライブビュー画像と重ね合わせて、帯状のガイドバー１３６を表示している。なお、図９においては、ライブビュー画像の図示は省略した。
【００７９】
図９(Ａ)，(Ｂ)，(Ｃ)の例に示したガイドバー１３６は、中央マーク１３７と、現フレームマーク１３８とを含んでいる。図９(Ａ)，(Ｂ)，(Ｃ)において、中央マーク１３７は、斜線を付した矩形で示されている。また、現フレームマーク１３８は、太い破線で囲んで示されている。
【００８０】
中央マーク１３７は、利用者がレリーズボタンの半押し操作によって仮パノラマ撮影の開始を指示したときの撮像装置の視野に幅を示している。また、現フレームマーク１３８は、表示部１０７にライブビュー画像として表示されている現フレームの画像に対応する視野を、パノラマ画像幅の上限あるいは仮パノラマ撮影で特定されたパノラマ画像幅Ｗｐとの関係に基づいて示している。
【００８１】
図１０に、ガイド表示動作を表す流れ図を示す。図１０に示したステップ３５１〜ステップ３５６の処理は、仮パノラマ撮影動作の進行に伴って実行される。また、ステップ３５８〜ステップ３６１の処理は、本パノラマ撮影動作の進行に伴って実行される。
【００８２】
制御指示検出部１３１は、まず、パノラマ画像の幅の上限に対応して予め決定された最大変位幅Ｄｍａｘを画像幅保持部１３０に保持する(ステップ３５１)。この最大変位幅Ｄｍａｘは、例えば、パノラマ画像の幅の上限Ｗｍａｘと短冊画像の幅Ｘ１と所定の係数βとを用いた式(２)により、パノラマ撮影処理の開始に先立って決定しておくことができる。なお、係数βの値は、例えば、上述したステップ３４１において、Ｙ方向に画像サイズを調整するためにパノラマ画像が係数α倍に拡大されることを考慮して、０＜β＜１の範囲で予め決定すればよい。
【００８３】
Ｄｍａｘ＝β（Ｗｍａｘ−Ｘ１）／２ ・・・（２）
ガイド表示生成部１３２は、制御指示検出部１３１から受け取った最大変位幅Ｄｍａｘに基づいて、ガイドバー１３６および中央マーク１３７を表示するための表示データを生成する(ステップ３５２)。このとき、ガイド表示生成部１３２は、最大変位幅Ｄｍａｘの２倍の幅を示すガイドバー１３６に対応する表示データとして、例えば、表示部１０７の横幅に相当する長さを持つ帯状の画像を表示させる表示情報を生成することができる。また、ガイド表示生成部１３２は、中央マーク１３７に対応して、例えば、上述した帯状のガイドバー１３６の幅に対して、仮パノラマ撮影開始時のフレームの幅を示す矩形を、ガイドバー１３６の中央部に重ねて表示させる表示データを生成することができる。
【００８４】
以降は、移動量積算部１２８により、移動量の積算結果Ｓが出力されるごとに、この積算結果Ｓを受け取って(ステップ３５３)、まず、ステップ３５４において、終了判定部１３３による終了判定処理が行われる。ステップ３５４で、終了判定部１３３は、移動量の積算結果Ｓと上述した最大変位幅Ｄｍａｘとを比較する。移動量の積算結果Ｓが最大変位幅Ｄｍａｘ以下である場合に(ステップ３５４の否定判定)、終了判定部１３３は、ガイド表示生成部１３２に対してガイド表示の更新処理を指示する。これに応じて、ガイド表示生成部１３２は、ステップ３５３で受け取った移動量の積算結果Ｓと最大変位幅Ｄｍａｘとに基づいて、現フレームマーク１３８を表示するための表示データを生成する(ステップ３５５)。ガイド表示生成部１３２は、例えば、現フレームから切り出される短冊画像が最大変位幅Ｄｍａｘで示される最大パノラマ画像において占める位置に対応して、現フレームマーク１３８を表示ガイドバー１３６に重ねて表示する画像情報を生成することができる。なお、現フレームマーク１３８の表示位置は、例えば、最大変位幅Ｄｍａｘに対する移動量の積算結果Ｓの比に基づいて求めることができる。図９(Ａ)に、仮パノラマ撮影中に表示されるガイドバー１３６、中央マーク１３７および現フレームマーク１３８の位置関係の例を示した。
【００８５】
次いで、制御指示検出部１３１は、撮影制御部１０５からレリーズボタンの全押しされた旨が通知されたか否かを判定する(ステップ３５６)。このステップ３５６の否定判定の場合に、処理は、ステップ３５３に戻って、移動量積算部１２８の新たな出力に基づく処理が開始される。
【００８６】
上述したように、仮パノラマ撮影の過程で、ステップ３５３〜ステップ３５６の処理を繰り返すことにより、パン操作に応じた撮像装置の視野の変化に応じて、ガイドバー１３６における現フレームマーク１３８の位置が更新される。このようにして、現在の視野とパノラマ画像幅の上限との関係を示す情報を利用者に提供することができる。
【００８７】
そして、仮パノラマ撮影の過程におけるパン操作に応じた撮像装置の視野の変化分が、上述した最大変化幅Ｄｍａｘ以下の範囲となっている間に、レリーズボタンが全押しされると(ステップ３５６の肯定判定)、本パノラマ撮影に対応するガイド表示動作が開始される。
【００８８】
図９(Ｂ)に、本パノラマ撮影動作開始時に表示されるガイドバー１３６、中央マーク１３７および現フレームマークの位置関係の例を示した。図９(Ｂ)において、現フレームマーク１３８の表示位置は、レリーズボタンの全押しにより、本パノラマ撮影の開始が指示されたときの撮像装置の視野に対応している。なお、このとき、移動量積算部１２８で得られる総移動量Ｓで示される現フレームの視野と中央マークで示される視野との差は、仮パノラマ撮影過程における視野の変化分Ｄｘに相当する。
【００８９】
このとき、図８に示した幅算出部１３４により、移動量積算部１２８から受け取った移動量の積算結果Ｓと短冊画像の幅Ｘ１とに基づいて、上述した式(１)により、本パノラマ撮影で取得するパノラマ画像の幅Ｗｐが算出される(ステップ３５７)。そして、算出されたパノラマ画像幅Ｗｐは、上述した最大変化幅Ｄｍａｘに代えて、画像幅保持部１３０に保持される。また、このとき、移動量積算部１２８には、図６に示したステップ３３２の処理により、本パノラマ撮影開始時に切り出される短冊画像の幅Ｘ１が初期値として設定される。
【００９０】
そして、このパノラマ画像幅Ｗｐに基づいて、ガイド表示生成部１３２により、ガイドバー１３６および中央マーク１３７を表示するための表示データが生成される(ステップ３５８)。このとき、ガイド表示生成部１３２は、パノラマ画像幅Ｗｐを示すガイドバー１３６に対応する表示データとして、例えば、表示部１０７の横幅に相当する長さを持つ帯状の画像を表示させる表示情報を生成することができる。また、ガイド表示生成部１３２は、中央マーク１３７に対応して、例えば、上述した帯状のガイドバー１３６の長さに対して、仮パノラマ撮影開始時のフレームの幅を示す矩形を、ガイドバー１３６の中央部に重ねて表示させる表示データを生成することができる。
【００９１】
次いで、移動量積算部１２８から移動量の積算結果Ｓを受け取るごとに(ステップ３５９)、終了判定部１３３により、移動量の積算結果Ｓと上述したパノラマ画像幅Ｗｐとが比較される(ステップ３６０)。そして、移動量の積算結果Ｓがパノラマ画像幅Ｗｐ以下である場合に(ステップ３６０の肯定判定)、終了判定部１３３は、ガイド表示生成部１３２に対してガイド表示の更新処理を指示する。
【００９２】
これに応じて、ガイド表示生成部１３２は、ステップ３５９で受け取った移動量の積算結果Ｓとパノラマ画像幅Ｗｐとに基づいて、現フレームマーク１３８を表示するための表示データを生成する(ステップ３６１)。ガイド表示生成部１３２は、例えば、現フレームから切り出される短冊画像がパノラマ画像幅Ｗｐで示されるパノラマ画像において占める位置に対応して、現フレームマーク１３８を表示ガイドバー１３６に重ねて表示する画像情報を生成することができる。なお、現フレームマーク１３８の表示位置は、例えば、パノラマ画像幅Ｗｐに対する移動量の積算結果Ｓの比に基づいて求めることができる。図９(Ｃ)に、本パノラマ撮影中に表示されるガイドバー１３６、中央マーク１３７および現フレームマーク１３８の位置関係の例を示した。
【００９３】
その後、処理は、ステップ３５９に戻って、移動量積算部１２８の新たな出力に基づく処理が開始される。このように、本パノラマ撮影の過程で、ステップ３５９〜ステップ３６１の処理を繰り返すことにより、パン操作に応じた撮像装置の視野の変化に応じて、ガイドバー１３６における現フレームマーク１３８の位置が更新される。このようにして、本パノラマ撮影中にも、現在の視野とパノラマ画像幅Ｗｐとの関係を示す情報を利用者に提供することができる。
【００９４】
そして、ステップ３５９で受け取った移動量の積算結果Ｓがパノラマ画像幅Ｗｐ以上となったときに(ステップ３６０の否定判定)、ガイド表示生成部１３２は、パノラマ撮影動作を終了する旨のメッセージに対応する表示データを生成する(ステップ３６２)。その後、ガイド表示動作は終了する。
【００９５】
図８に例示した構成を含む撮像装置によれば、仮パノラマ撮影および本パノラマ撮影を通じて、利用者に提供されるライブビュー画像に含まれる被写体がパノラマ画像において占める位置に関する情報を提供することができる。このような情報の提供により、利用者は、仮パノラマ撮影および本パノラマ撮影の進捗状況を直感的に把握する上で有用な支援を受けることができる。
【００９６】
ところで、仮パノラマ撮影の際に、撮像装置が上述した最大変化幅Ｄｍａｘを超えてパン操作された場合は、パノラマ画像の幅の制限下で、仮パノラマ撮影開始時の視野の中央部に捉えられた被写体を中央に配置したパノラマ画像を生成することができない。所望の構図のパノラマ画像を生成するために、図１０に示した流れ図の例のように、仮パノラマ撮影動作を中断する機能を含めることができる。図１０に示した流れ図の例では、ステップ３５４において、移動量の積算結果Ｓが最大変化幅Ｄｍａｘを超えたと判定された場合に、エラーが発生したと判断して、処理が中断されている。これにより、所望の被写体が中央に配置された構図のパノラマ画像を生成可能な場合にのみ、本パノラマ撮影動作を開始させることができる。
【００９７】
なお、仮パノラマ撮影の開始および仮パノラマ撮影から本パノラマ撮影への切り替えを指示する操作は、上述したレリーズボタンの操作に限られない。例えば、パノラマ撮影モードへの切り替えを指示する操作により、仮パノラマ撮影を開始することもできる。また、撮像装置がパン操作されている方向の変化を検出して、仮パノラマ撮影から本パノラマ撮影へと切り替えることも可能である。
(合成制御部の別実施形態)
図１１に、合成制御部の別実施形態を示す。なお、図１１に示した構成要素のうち、図４および図８に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００９８】
図１１に示した合成制御部１２１は、制御指示検出部１３１と終了判定部１３３と幅算出部１３４とに加えて、反転検出部１３５を備えている。なお、図１１に示した合成制御部１２１に、図８に示したガイド表示生成部１３２を備えることもできる。
【００９９】
反転検出部１３５は、移動量判定部１２７から参照画像に対応する視野と現フレームに対応する視野との差分を示す移動量ｄｘを受け取る。この移動量ｄｘはマッチング処理部１２６により、例えば、仮パノラマ撮影が開始されたときのパン方向をＸ軸の正の方向として検出されている。したがって、反転検出部１３５により、移動量ｄｘの符号を調べることにより、撮像装置のパン方向の反転を検出することができる。
【０１００】
反転検出部１３５による検出結果は、仮パノラマ撮影から本パノラマ撮影への切り替えが指示されたか否かを示す情報として、制御指示検出部１３１に渡される。そして、この情報によって示された本パノラマ撮影への切替指示は、制御指示検出部１３１により、幅算出部１３４、移動量積算部１２８、短冊画像切り出し部１２９および画像幅保持部１３０に伝えられる。
【０１０１】
図１２に、仮パノラマ撮影動作の別実施形態を示す。なお、図１２に示したステップのうち、図５に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１０２】
図１２に示した流れ図では、ステップ３２４において移動量ｄｘが検出された後に、移動量判定部１２７により、この移動量ｄｘの絶対値と閾値Ｔｈｄとの比較が行われる（ステップ３４３）。そして、移動量ｄｘの絶対値が閾値Ｔｈｄに満たない場合に（ステップ３４３の否定判定）、処理は、ステップ３２３に戻って、新たなフレームの画像についての処理が開始される。一方、移動量ｄｘの絶対値が閾値Ｔｈｄ以上である場合に（ステップ３４３の肯定判定）、反転検出部１３５は、移動量ｄｘの符号が反転したか否かを判定する(ステップ３４４)。反転検出部１３５は、例えば、最初にステップ３４３から受け取った移動量ｄｘの符号を内部で保持しておき、この符号と比較することにより、以降に渡される移動量ｄｘの符号の反転を検出することができる。
【０１０３】
反転検出部１３５によって、移動量ｄｘの符号の反転が検出されなかった場合に（ステップ３４４の否定判定）、制御指示検出部１３１は、仮パノラマ撮影動作が継続していると判断する。そして、ステップ３２６，３２７による移動量ｄｘの積算処理と参照フレームの更新処理が行われた後に、処理は、ステップ３２３に戻って、新たなフレームの画像についての処理が開始される。
【０１０４】
反転検出部１３５によって、移動量ｄｘの符号の反転が検出された場合に（ステップ３４４の肯定判定）、制御指示検出部１３１は、仮パノラマ撮影から本パノラマ撮影への移行が指示されたと判断する。これに応じて、ステップ３２９、ステップ３３０が実行された後、仮パノラマ撮影動作は終了する。
【０１０５】
このようにして、撮像装置のパン方向の反転に応じて、仮パノラマ撮影を自動的に終了して、本パノラマ撮影を開始する制御を実現することができる。このような制御を適用したことにより、利用者の操作は、仮パノラマ撮影および本パノラマ撮影に必須な撮像装置のパン操作のみに絞ることができる。このような操作の簡略化により、利用者は、撮像装置のパン操作を集中して行うことができる。
【０１０６】
ところで、撮像装置の撮影制御部１０５には、顔検出などの被写体検出機能が含まれる場合がある。このような撮影制御部１０５に含まれる機能による検出結果を、パノラマ撮影動作の制御に利用することも可能である。
(合成制御部の別実施形態)
図１３に、合成制御部の別実施形態を示す。なお、図１３に示した構成要素のうち、図４および図８に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１０７】
図１３に示した合成制御部１２１は、制御指示検出部１３１と終了判定部１３３と幅算出部１３４とに加えて、切り出し幅補正部１３９を備えている。なお、図１３に示した合成制御部１２１に、図８に示したガイド表示生成部１３２を備えることもできる。
【０１０８】
切り出し幅補正部１３９には、マッチング処理部１２６による処理結果と、移動量判定部１２７による判定結果と、撮影制御部１０５による顔検出結果とが入力される。切り出し幅補正部１２９は、顔検出結果として、例えば、現フレームの画像データから検出された顔の位置およびその範囲を含む情報を、撮影制御部１０５から受け取ることができる。
【０１０９】
これらの入力情報に基づいて、切り出し幅補正部１３９は、顔検出結果を考慮した短冊画像の幅を求める。そして、求めた短冊画像の幅を短冊画像切り出し部１２９に通知する。この通知に応じて、短冊画像切り出し部１２９は、新規フレーム保持部１１３に保持された現フレームの画像データから、通知で指定された幅の短冊画像を切り出す処理を行う。
【０１１０】
また、切り出し幅補正部１３９は、求めた短冊画像の幅と移動量判定部１２７による判定結果に含まれる移動量ｄｘとに基づいて、現フレームの画像データからの短冊画像の切り出しに伴う合成画像の追加幅Ｗｘを求める。この合成画像の追加幅Ｗｘは、移動量積算部１２８による積算処理に供される。
【０１１１】
図１４に、切り出し幅補正動作を説明する図を示す。図１４の例では、複数のフレームの画像データに共通して含まれている人物についての顔検出結果を利用して、これらの画像データから切り出される短冊画像の幅が調整される様子を示している。
【０１１２】
図１４(Ａ)，(Ｂ)，(Ｃ)に、ｊ番目〜ｊ＋２番目に短冊画像の切り出し処理の対象となる各フレームの画像Ｆｊ〜Ｆｊ＋２を、これらの画像に共通して含まれている人物の像の位置をそろえて示した。合成処理の際に、顔検出結果を利用した制御を行う場合を示した。なお、図１４(Ａ)，(Ｂ)，(Ｃ)において、幅を補正する前の短冊画像を太い破線の矩形で示した。また、図１４(Ａ)，(Ｂ)，(Ｃ)において、符号Ｘ１、Ｙ１は、それぞれ補正前の短冊画像の基準幅および基準の高さを示している。
【０１１３】
図１４(Ｂ)に示した例では、幅を補正する前の短冊画像の境界が、人物の顔のほぼ中央を横切っている。このような場合に、例えば、人物の顔全体が短冊画像に含まれるように、画像Ｆｊ＋１から切り出される短冊画像の幅を補正することができる。図１４(Ｂ)においては、補正後の短冊画像の範囲を点線で囲んで示した。
【０１１４】
このような短冊画像の幅の調整処理は、例えば、切り出し幅補正部１３９が、移動量判定部１２７によって移動量ｄｘが出力されるごとに、次に説明するようにして短冊画像の切り出し動作を制御することによって実現することができる。
【０１１５】
図１５に、短冊画像切り出し動作の一実施形態を示す。なお、図１５に示した各ステップは、図６に示したステップ３３６〜ステップ３３８に相当する。
【０１１６】
図１５に示したステップ３７１において、切り出し幅補正部１３９は、撮影制御部１０５から顔検出結果を受け取る。切り出し幅補正部１３９は、例えば、現フレームの画像から検出された人物の顔の部分を囲む矩形の範囲を特定する情報を、撮影制御部１０５から受け取ることができる。
【０１１７】
次いで、切り出し幅補正部１３９は、上述した顔検出結果に基づいて、基準幅Ｘ１を持つ短冊画像の境界付近に人物の顔が検出されているか否かを判定する(ステップ３７２)。例えば、切り出し幅補正部１３９は、顔検出結果で示された人物の顔の部分を示す矩形の範囲を、短冊画像の境界が横切っているか否かを判定することにより、このステップ３７２の判定を行うことができる。
【０１１８】
例えば、図１４(Ａ)に示した例では、破線で示された短冊画像の境界と太い実線で示した人物の顔の部分を囲む矩形とは交差していない。このような場合に、切り出し幅補正部１３９は、ステップ３７２の否定判定として、ステップ３７３に進む。このステップ３７３で、切り出し幅補正部１３９は、上述した基準幅Ｘ１を現フレームの画像データから切り出す短冊画像に適用する短冊幅Ｘｎとして短冊画像切り出し部１２９に通知する。
【０１１９】
一方、図１４(Ｂ)に示した例では、破線で示された短冊画像の境界と太い実線で示した人物の顔の部分を囲む矩形とが交差している。このような場合に、切り出し幅補正部１３９は、ステップ３７２の肯定判定として、ステップ３７４に進む。このステップ３７４で、切り出し幅補正部１３９は、例えば、図１４(Ｂ)において点線で示したように、人物の顔の部分を囲む矩形が内部に含まれるまで広げた短冊画像の幅の補正値Ｘａ１を求める。この場合は、ステップ３７４で求められた短冊画像の幅の補正値Ｘａ１が、現フレームの画像データから切り出す短冊画像に適用する短冊幅Ｘｎとして短冊画像切り出し部１２９に通知される(ステップ３７５)。
【０１２０】
次いで、ステップ３７６において、短冊画像切り出し部１２９により、上述したステップ３７３あるいはステップ３７５で通知された短冊幅Ｘｎの短冊画像が、新規フレーム保持部１１３に保持された画像データから切り出される。そして、切り出された短冊画像は、画像結合部１２５により、図６に示したステップ３３７と同様にして、合成画像保持部１１１に保持されている合成画像に結合される。
【０１２１】
次に、切り出し幅補正部１３９は、ステップ３７６で切り出された短冊画像を合成したことによる合成画像の追加幅Ｗｘを算出する(ステップ３７７)。図１４から分かるように、追加幅Ｗｘは、現フレームから切り出される短冊画像に対応する短冊幅Ｘｎと移動量ｄｘと参照画像から切り出された短冊画像に対応する短冊幅Ｘｏとを用いて、式(３)のようにして求めることができる。
【０１２２】
Ｗｘ＝（Ｘｎ＋ｄｘ）−Ｘｏ ・・・（３）
図１４(Ｂ)に示したように、参照画像に適用された短冊幅Ｘｏが基準幅Ｘ１であって、現フレームの短冊幅Ｘｎが基準幅Ｘ１から広げられた場合は、追加幅Ｗｘは、移動量ｄｘよりも大きくなる。逆に、図１４(Ｃ)に示したように、基準幅Ｘ１から広げられた短冊幅Ｘｏが参照画像に適用され、現フレームの短冊幅Ｘｎが基準幅Ｘ１である場合は、追加幅Ｗｘは、移動量ｄｘよりも小さくなる。
【０１２３】
このようにして算出された追加幅Ｗｘは、移動量積算部１２８に通知される。そして、この移動量積算部１２８により、移動量の総和Ｓに加算される(ステップ３７８)。その後、切り出し幅補正部１３９は、現フレームに適用された短冊幅Ｘｎを用いて、参照画像に対応する短冊幅Ｘｏを更新する(ステップ３７９)。このようにして更新された参照画像に対応する短冊幅Ｘｏは、次に、新たな現フレームの画像データから短冊画像を切り出す処理を行う際に用いられる。
【０１２４】
上述したようにして、図１３に例示した構成を備えた撮像装置によれば、パノラマ画像の合成に用いる短冊画像の幅に、顔検出結果を反映することができる。これにより、例えば、人物の顔を表す画像の部分では、複数のフレームの画像データが結合されないように制御することができる。そして、このような制御を適用することにより、短冊画像を合成して生成されるパノラマ画像の品質を向上させることができる。
【０１２５】
なお、顔検出結果に基づく短冊画像の幅の調整を実現する方法は、図１４(Ｂ)に示したように、短冊画像の切り出し終了位置を変更する場合に限られない。例えば、短冊画像の切り出し開始位置を変更することによって、短冊画像の幅を調整することも可能である。また、基準幅Ｘ１の短冊画像を切り出し対象の画像データの中央からずらした位置から切り出すことによって、顔検出結果を考慮した短冊画像の切り出しを行うことも可能である。更に、顔検出以外の被写体認識技術によって得られる処理結果に基づいて、短冊画像の切り出し動作を制御することも可能である。
【０１２６】
また、上述したようなパノラマ画像の生成処理を、撮像装置から独立した画像処理装置によって実現することも可能である。
【０１２７】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする画像処理装置。
(付記２)
付記１に記載の画像処理装置において、
前記情報収集部は、
任意の第１方向に連続的に視野が変化する複数フレームの画像データを、前記撮影視野の中央に配置される被写体像を含む第１フレームから順次に収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記第１フレームに対応する視野からの変化分を検出する差分検出部とを備えた
ことを特徴とする画像処理装置。
(付記３)
付記２に記載の画像処理装置において、
前記差分検出部は、
前記各フレームの画像データを時系列に従って比較することにより、前記各フレームに対応する視野が移動した画素数を、当該フレームに先立つフレームに対応する視野を基準として求める移動量算出部と、
前記撮像部がパン操作される過程で撮像された画像データについて、前記移動量算出部で前記フレームごとの視野の移動について求められた画素数を累積加算する移動量積算部とを備えた
ことを特徴とする画像処理装置。
(付記４)
付記２または付記３に記載の画像処理装置において、
前記画像合成部は、
前記第１方向とは逆の第２方向に連続的に視野が変化する複数フレームの画像データから、前記複数フレームそれぞれに対応する部分視野に相当する画像データを抽出する画像抽出部と、
前記画像抽出部で抽出された画像データを、前記第２フレームに対応する画像データから順次に前記第２方向に沿って結合する画像結合部とを備えた
ことを特徴とする画像処理装置。
(付記５)
付記４に記載の画像処理装置において、
前記画像合成部は、
前記画像結合部によって結合される各フレームの画像データに対応する部分視野の前記第２方向の長さを累積加算した結果が前記撮影視野の前記第２方向の長さに到達したときに、画像合成処理を終了させる
ことを特徴とする画像処理装置。
(付記６)
付記２乃至付記５のいずれか一に記載の画像処理装置において、
前記情報収集部は、
前記差分検出部によって前記各フレームの画像データについて検出された視野の変化分に基づいて、前記第２フレームを特定する
ことを特徴とする画像処理装置。
(付記７)
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、
前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする撮像装置。
(付記８)
付記７に記載の撮像装置において、
前記情報収集部は、
前記撮像部の第１方向へのパン操作に応じて、前記撮像部で得られるライブビュー画像のうち、前記撮影視野の中央に配置される被写体像を含む第１フレームから連続的に視野が変化する複数フレームの画像データを収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記パン操作による前記撮像部の視野の変化分を、前記第１フレームに対応する視野を基準として検出する差分検出部とを備えた
ことを特徴とする撮像装置。
(付記９)
付記８に記載の撮像装置において、
前記差分検出部は、
前記各フレームの画像データを時系列に従って比較することにより、前記各フレームに対応する視野が移動した画素数を、当該フレームに先立つフレームに対応する視野を基準として求める移動量算出部と、
前記撮像部がパン操作される過程で撮像された画像データについて、前記移動量算出部で前記フレームごとの視野の移動について求められた画素数を累積加算する移動量積算部とを備えた
ことを特徴とする撮像装置。
(付記１０)
付記８または付記９に記載の撮像装置において、
前記画像合成部は、
前記第１方向とは逆の第２方向に前記撮像部がパン操作される過程で撮像される複数フレームの画像データから、前記複数フレームそれぞれに対応する部分視野に相当する画像データを抽出する画像抽出部と、
前記画像抽出部で抽出された画像データを、前記撮影視野の一方の端を指定する第２フレームに対応する画像データから順次に前記第２方向に沿って結合する画像結合部とを備えた
ことを特徴とする撮像装置。
(付記１１)
付記８乃至付記１０のいずれか一に記載の撮像装置において、
前記情報収集部は、
前記差分検出部によって前記各フレームの画像データについて検出された視野の変化分に基づいて、前記画像収集部で収集される各フレームの画像データに対応する部分視野が前記撮影視野において占める位置を示す情報を利用者に提供する情報提供部とを備えた
ことを特徴とする撮像装置。
(付記１２)
パノラマ撮影に先立って、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集し、
収集した情報に基づいて、前記撮影視野に含まれる複数の部分視野に対応する画像データを収集し、
収集した複数の画像データを合成することにより、前記撮影視野に対応するパノラマ画像を生成する
ことを特徴とする画像処理方法。
【符号の説明】
【０１２８】
１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 信号処理部
１０５ 撮影制御部
１０６ 表示制御部
１０７ 表示部
１０８ 記録制御部
１０９ 記録媒体
１１０ メモリ
１１１ 合成画像保持部
１１２ ライブビュー画像保持部
１１３ 新規フレーム保持部
１１４ 参照画像保持部
１２０ パノラマ撮影制御部
１２１ 合成制御部
１２２ 画像収集部
１２３ 差分検出部
１２４ 画像抽出部
１２５ 画像結合部
１２６ マッチング処理部
１２７ 移動量判定部
１２８ 移動量積算部
１２９ 短冊画像切り出し部
１３０ 画像幅保持部
１３１ 制御指示検出部
１３２ ガイド表示生成部
１３３ 終了判定部
１３４ 幅算出部
１３５ 反転検出部
１３６ ガイドバー
１３７ 中央マーク
１３８ 現フレームマーク
１３９ 切り出し幅補正部
【特許請求の範囲】
【請求項１】
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記情報収集部は、
任意の第１方向に連続的に視野が変化する複数フレームの画像データを、前記撮影視野の中央に配置される被写体像を含む第１フレームから順次に収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記第１フレームに対応する視野からの変化分を検出する差分検出部とを備えた
ことを特徴とする画像処理装置。
【請求項３】
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、
前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記情報収集部は、
前記撮像部の第１方向へのパン操作に応じて、前記撮影視野の中央に配置される被写体像を含む第１フレームから連続的に視野が変化する複数フレームの画像データを収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記パン操作による前記撮像部の視野の変化分を、前記第１フレームに対応する視野を基準として検出する差分検出部とを備えた
ことを特徴とする撮像装置。
【請求項５】
パノラマ撮影に先立って、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集し、
収集した情報に基づいて、前記撮影視野に含まれる複数の部分視野に対応する画像データを収集し、
収集した複数の画像データを合成することにより、前記撮影視野に対応するパノラマ画像を生成する
ことを特徴とする画像処理方法。
【請求項１】
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に対応する画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記情報収集部は、
任意の第１方向に連続的に視野が変化する複数フレームの画像データを、前記撮影視野の中央に配置される被写体像を含む第１フレームから順次に収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記第１フレームに対応する視野からの変化分を検出する差分検出部とを備えた
ことを特徴とする画像処理装置。
【請求項３】
パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集する情報収集部と、
前記撮影視野に含まれる複数の部分視野に含まれる被写体を撮像する撮像部と、
前記撮像部によって前記複数の部分視野について取得された画像データを、前記情報収集部で収集された情報に基づいて合成する画像合成部と
を備えたことを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記情報収集部は、
前記撮像部の第１方向へのパン操作に応じて、前記撮影視野の中央に配置される被写体像を含む第１フレームから連続的に視野が変化する複数フレームの画像データを収集する画像収集部と、
前記画像収集部で収集される各フレームの画像データに基づいて、前記パン操作による前記撮像部の視野の変化分を、前記第１フレームに対応する視野を基準として検出する差分検出部とを備えた
ことを特徴とする撮像装置。
【請求項５】
パノラマ撮影に先立って、パノラマ撮影の対象となる撮影視野の中央から一方の端までを確定するための情報を収集し、
収集した情報に基づいて、前記撮影視野に含まれる複数の部分視野に対応する画像データを収集し、
収集した複数の画像データを合成することにより、前記撮影視野に対応するパノラマ画像を生成する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１０８７７８（Ｐ２０１２−１０８７７８Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５７９０８（Ｐ２０１０−２５７９０８）
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]