電子機器、表示制御方法およびプログラム
【課題】パノラマ画像に関する方位を適切に用いる。
【解決手段】電子機器は、画像変換部および表示制御部を具備する。画像変換部は、複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する。表示制御部は、複数の撮像画像の撮像時における撮像位置と、パノラマ画像に関連付けられている方位とに基づいて、略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、略扇形のパノラマ画像が地図上に表示されるよう表示制御する。
【解決手段】電子機器は、画像変換部および表示制御部を具備する。画像変換部は、複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する。表示制御部は、複数の撮像画像の撮像時における撮像位置と、パノラマ画像に関連付けられている方位とに基づいて、略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、略扇形のパノラマ画像が地図上に表示されるよう表示制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器に関し、特に、パノラマ画像を扱う電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、風景等の被写体を撮像して撮像画像を生成し、生成された撮像画像を画像ファイルとして記録するデジタルスチルカメラ等の撮像装置が普及している。また、これらの撮像装置により連続して生成される複数の撮像画像を繋ぎ合わせ、比較的広い範囲の被写体を含むパノラマ画像を生成するパノラマ画像生成方法が提案されている。パノラマ画像生成方法として、例えば、連続して生成された撮像画像間の動きベクトルを検出し、この検出された動きベクトルに基づいて各撮像画像を合成することにより、各撮像画像を繋ぎ合わせるパノラマ画像生成方法が提案されている。
【０００３】
また、このように生成されるパノラマ画像の方位を取得し、この方位を用いてパノラマ画像の表示制御等を行う撮像装置が提案されている。例えば、装置本体の向きを変更しながら複数の撮像画像を生成し、これらの撮像時における方位を、対応する各撮像画像に付加して記録する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、パノラマ画像を構成する各撮像画像について取得された方位を用いて各撮像画像の表示制御を行うことができる。
【０００６】
ここで、パノラマ画像は、比較的広い範囲の被写体を含むものであるため、パノラマ画像に含まれる被写体の方位は比較的広い範囲となることが想定される。このため、パノラマ画像を表示させる場合に、例えば、パノラマ画像における方位を考慮して表示させることにより、パノラマ画像の特性を活かした表示を行うことができると考えられる。このように、パノラマ画像を使用する際には、その使用に応じて適切に方位を用いることが重要となる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、パノラマ画像に関する方位を適切に用いることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換部と、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、上記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、上記略扇形のパノラマ画像が上記地図上に表示されるよう表示制御する表示制御部とを具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換し、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、略扇形のパノラマ画像が地図上に表示されるよう表示制御するという作用をもたらす。
【０００９】
また、本発明の第２の側面は、複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、上記地図上に表示されるよう表示制御する表示制御部を具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、その方位と地図上における方位とを略一致させた状態で、地図上に表示されるよう表示制御するという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像変換部は、上記複数の撮像画像の撮像時におけるパノラマ角に応じて上記略扇形のパノラマ画像の中心角が異なるように上記略扇形への変換を行うようにしてもよい。これにより、複数の撮像画像の撮像時におけるパノラマ角に応じて略扇形のパノラマ画像の中心角が異なるように略扇形への変換を行うという作用をもたらす。
【００１１】
また、この第１または第２の側面において、上記表示制御部は、上記複数の撮像画像の撮像時におけるパノラマ角と、上記略扇形のパノラマ画像の中心角とが略一致するように上記表示制御を行うようにしてもよい。これにより、複数の撮像画像の撮像時におけるパノラマ角と、略扇形のパノラマ画像の中心角とが略一致するように表示制御を行うという作用をもたらす。
【００１２】
また、本発明の第３の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成部と、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、上記各分割画像の方位と地図上における方位とが略一致した状態で、上記各分割画像が上記地図上に表示されるよう表示制御する表示制御部とを具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成し、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、各分割画像の方位と地図上における方位とが略一致した状態で、各分割画像が地図上に表示されるよう表示制御するという作用をもたらす。
【００１３】
また、この第３の側面において、上記分割画像生成部は、上記パノラマ画像に分割すべきでない特定対象物が含まれている場合には、上記特定対象物が分割されないように上記複数の分割画像を生成するようにしてもよい。これにより、パノラマ画像に分割すべきでない特定対象物が含まれている場合には、特定対象物が分割されないように複数の分割画像を生成するという作用をもたらす。
【００１４】
また、この第３の側面において、上記分割画像生成部は、上記パノラマ画像に上記特定対象物が含まれている場合には、上記所定数を変更することにより、上記特定対象物が分割されないように上記複数の分割画像を生成するようにしてもよい。これにより、パノラマ画像に特定対象物が含まれている場合には、所定数を変更することにより、特定対象物が分割されないように複数の分割画像を生成するという作用をもたらす。
【００１５】
また、本発明の第４の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、上記各分割画像の方位と地図上における方位とが略一致した状態で、上記各分割画像が上記地図上に表示されるよう表示制御する表示制御部を具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、各分割画像の方位と地図上における方位とが略一致した状態で、各分割画像が地図上に表示されるよう表示制御するという作用をもたらす。
【００１６】
また、本発明の第５の側面は、被写体を撮像して複数の撮像画像を生成する撮像部と、上記生成された複数の撮像画像のうちの１つの撮像画像の撮像時における撮像位置を基準として当該撮像画像に関する方位を取得する方位取得部と、上記生成された複数の撮像画像を合成することによりパノラマ画像を生成する画像合成部と、上記生成されたパノラマ画像における水平方向の代表位置を算出する代表位置算出部と、上記撮像部の特性情報と上記算出された代表位置と上記取得された方位とに基づいて上記算出された代表位置の方位を算出する方位算出部と、上記算出された方位を上記生成されたパノラマ画像に関連付けて記録させる記録制御部とを具備する撮像装置およびパノラマ画像記録方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、生成された複数の撮像画像のうちの１つの撮像画像について方位を取得し、その複数の撮像画像を合成することによりパノラマ画像を生成し、この生成されたパノラマ画像における水平方向の代表位置を算出し、撮像部の特性情報とその算出された代表位置とその取得された方位とに基づいてパノラマ画像における代表位置の方位を算出し、この算出された方位をパノラマ画像に関連付けて記録させるという作用をもたらす。
【００１７】
また、この第５の側面において、上記方位取得部は、上記生成された複数の撮像画像のうち時間軸における最初の撮像画像における中心位置の方位を当該撮像画像に関する方位として取得し、上記代表位置算出部は、上記生成されたパノラマ画像における中心位置を当該パノラマ画像における代表位置として算出するようにしてもよい。これにより、生成された複数の撮像画像のうち時間軸における最初の撮像画像における中心位置の方位を取得し、生成されたパノラマ画像における中心位置をそのパノラマ画像における代表位置として算出するという作用をもたらす。
【００１８】
また、この第５の側面において、上記特性情報は、上記撮像部により生成される撮像画像の焦点面の幅および焦点距離を含むようにしてもよい。これにより、撮像部により生成される撮像画像の焦点面の幅および焦点距離を含む特性情報を用いてパノラマ画像における代表位置の方位を算出するという作用をもたらす。
【００１９】
また、この第５の側面において、上記複数の撮像画像の生成時における撮像動作状態を判定する撮像動作判定部をさらに具備し、上記方位算出部は、上記撮像動作状態として特定の撮像動作状態が判定された場合には上記取得された方位を上記代表位置の方位とするようにしてもよい。これにより、特定の撮像動作状態が判定された場合には、複数の撮像画像のうちの１つの撮像画像について取得された方位を、パノラマ画像における代表位置の方位とするという作用をもたらす。
【００２０】
また、本発明の第６の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における一部の範囲を指定する指定操作を受け付ける操作受付部と、上記指定された範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記複数の撮像画像が生成された撮像部の特性情報と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記抽出された画像における代表位置とに基づいて上記抽出された画像における代表位置に対応する方位を算出する方位算出部と、上記算出された方位を上記抽出された画像に関連付けて記録させる記録制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、指定された範囲に含まれる画像をパノラマ画像から抽出し、撮像部の特性情報とパノラマ画像における代表位置とこの代表位置に関連付けられている方位とその抽出された画像における代表位置とに基づいてその抽出された画像における代表位置に対応する方位を算出し、この算出された方位をその抽出された画像に関連付けて記録させるという作用をもたらす。
【００２１】
また、本発明の第７の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における一部の範囲を指定する指定操作を受け付ける操作受付部と、上記指定された範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記パノラマ画像における水平方向のサイズと上記パノラマ画像の撮像範囲に対応する角度と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記抽出された画像における代表位置とに基づいて上記抽出された画像における代表位置の方位を算出する方位算出部と、上記算出された方位を上記抽出された画像に関連付けて記録させる記録制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、指定された範囲に含まれる画像をパノラマ画像から抽出し、パノラマ画像における水平方向のサイズとパノラマ画像の撮像範囲に対応する角度とパノラマ画像における代表位置とこの代表位置に関連付けられている方位とその抽出された画像における代表位置とに基づいてその抽出された画像における代表位置の方位を算出し、この算出された方位をその抽出された画像に関連付けて記録させるという作用をもたらす。
【００２２】
また、本発明の第８の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における水平方向のサイズと上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記複数の撮像画像が生成された撮像部の特性情報とに基づいて上記パノラマ画像における特定方位と当該特定方位に対応する上記パノラマ画像における位置とを算出する特定方位位置算出部と、上記パノラマ画像における上記算出された位置を含む所定範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記抽出された画像を上記特定方位に関連付けて表示させる表示制御部とを具備する電子機およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像における水平方向のサイズとパノラマ画像における代表位置とこの代表位置に関連付けられている方位と撮像部の特性情報とに基づいて、パノラマ画像における特定方位と、この特定方位に対応するパノラマ画像における位置とを算出し、パノラマ画像におけるその算出された位置を含む所定範囲に含まれる画像をパノラマ画像から抽出し、この抽出された画像を特定方位に関連付けて表示させるという作用をもたらす。
【００２３】
また、この第８の側面において、上記特定方位位置算出部は、上記パノラマ画像において複数の特定方位が存在する場合には当該複数の特定方位を算出し、上記表示制御部は、上記算出された各特定方位を表示させ、上記表示されている特定方位のうちから所望の特定方位を選択する選択操作を受け付ける操作受付部をさらに具備し、上記画像抽出部は、上記選択された特定方位に対応する位置を含む所定範囲に含まれる画像を上記パノラマ画像から抽出し、上記表示制御部は、上記抽出された画像を上記選択された特定方位に関連付けて表示させるようにしてもよい。これにより、算出された各特定方位を表示させ、表示されている特定方位のうちから所望の特定方位を選択する選択操作を受け付けると、この選択された特定方位に対応する位置を含む所定範囲に含まれる画像をパノラマ画像から抽出し、この抽出された画像をその選択された特定方位に関連付けて表示させるという作用をもたらす。
【００２４】
また、本発明の第９の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像に含まれる特定対象物を検出する特定対象物検出部と、上記検出された特定対象物の上記パノラマ画像における位置と上記複数の撮像画像が生成された撮像部の特性情報と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位とに基づいて上記検出された特定対象物の位置に対応する方位を算出する特定対象物方位算出部と、上記検出された特定対象物を含む所定範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記抽出された画像を上記算出された方位に関連付けて表示させる表示制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像に含まれる特定対象物を検出し、この検出された特定対象物のパノラマ画像における位置と撮像部の特性情報とパノラマ画像における代表位置とこの代表位置に関連付けられている方位とに基づいて、その検出された特定対象物の位置に対応する方位を算出し、その検出された特定対象物を含む所定範囲に含まれる画像をパノラマ画像から抽出し、この抽出された画像をその算出された方位に関連付けて表示させるという作用をもたらす。
【００２５】
また、本発明の第１０の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における水平方向のサイズと上記パノラマ画像の撮像範囲に対応する角度と上記パノラマ画像における代表位置に関連付けられている方位とに基づいて上記パノラマ画像を変換する画像変換部と、上記パノラマ画像の生成時における撮像位置に基づいて上記変換されたパノラマ画像を地図上に配置して表示させる表示制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像における水平方向のサイズとパノラマ画像の撮像範囲に対応する角度とパノラマ画像における代表位置に関連付けられている方位とに基づいてパノラマ画像を変換し、パノラマ画像の生成時における撮像位置に基づいてその変換されたパノラマ画像を地図上に配置して表示させるという作用をもたらす。
【００２６】
また、この第１０の側面において、上記画像変換部は、上記変換されたパノラマ画像に含まれる被写体の方位と上記地図における方位とが略一致するように上記パノラマ画像を略扇形に変換するようにしてもよい。これにより、変換されたパノラマ画像に含まれる被写体の方位と地図における方位とが略一致するように、パノラマ画像を略扇形に変換するという作用をもたらす。
【００２７】
また、この第１０の側面において、上記表示制御部は、上記変換されたパノラマ画像の中心角の位置と上記地図における上記撮像位置とが略一致するように上記変換されたパノラマ画像を上記地図上に配置して表示させるようにしてもよい。これにより、変換されたパノラマ画像の中心角の位置と地図における撮像位置とが略一致するように、その変換されたパノラマ画像を地図上に配置して表示させるという作用をもたらす。
【００２８】
また、この第１０の側面において、上記画像変換部は、上記パノラマ画像に特定対象物が含まれている場合には当該特定対象物を含む特定対象物画像を抽出して上記抽出された特定対象物画像を上記変換されたパノラマ画像に重ねて合成するようにしてもよい。これにより、パノラマ画像に特定対象物が含まれている場合には、その特定対象物を含む特定対象物画像を抽出し、この抽出された特定対象物画像を、変換されたパノラマ画像に重ねて合成するという作用をもたらす。
【００２９】
また、本発明の第１１の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における垂直方向を境界として上記パノラマ画像を所定数に分割することにより複数の画像とし、上記複数の撮像画像が生成された撮像部の特性情報と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記分割後の各画像における代表位置とに基づいて上記分割後の各画像における代表位置に対応する方位を算出して当該算出された方位に基づいて上記分割後の各画像を回転させる画像変換部と、上記パノラマ画像の生成時における撮像位置に基づいて上記分割後の各画像を地図上に配置して表示させる表示制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像における垂直方向を境界としてパノラマ画像を所定数に分割することにより複数の画像とし、撮像部の特性情報とパノラマ画像における代表位置とこの代表位置に関連付けられている方位と分割後の各画像における代表位置とに基づいて、分割後の各画像における代表位置に対応する方位を算出し、この算出された方位に基づいて分割後の各画像を回転させ、パノラマ画像の生成時における撮像位置に基づいて分割後の各画像を地図上に配置して表示させるという作用をもたらす。
【００３０】
また、この第１１の側面において、上記画像変換部は、上記分割後の各画像における代表位置の方位と上記地図における方位とが略一致するように上記分割後の各画像を回転させるようにしてもよい。これにより、分割後の各画像における代表位置の方位と地図における方位とが略一致するように、分割後の各画像を回転させるという作用をもたらす。
【００３１】
また、この第１１の側面において、上記画像変換部は、上記パノラマ画像に特定対象物が含まれている場合には当該特定対象物が上記境界にかからないように上記境界の位置を変更して上記パノラマ画像を分割するようにしてもよい。これにより、パノラマ画像に特定対象物が含まれている場合には、その特定対象物が境界にかからないように境界の位置を変更してパノラマ画像を分割するという作用をもたらす。
【発明の効果】
【００３２】
本発明によれば、パノラマ画像に関する方位を適切に用いることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図３】本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルのファイル構造の一例を示す図である。
【図４】本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルを模式的に示す図である。
【図５】本発明の第１の実施の形態における画像合成部２４０により生成されるパノラマ画像を構成する複数の撮像画像と、これらの撮像画像を生成する際における撮像装置１００の撮像動作状態との関係を模式的に示す図である。
【図６】本発明の第１の実施の形態における画像合成部２４０によるパノラマ画像の生成方法を模式的に示す図である。
【図７】本発明の第１の実施の形態における撮像部２１１のデバイス特性と、撮像部２１１により生成される撮像画像との関係を上面から見た場合を模式的に示す図である。
【図８】本発明の第１の実施の形態におけるパノラマ情報算出部２８０によるパノラマ画像における代表位置の方位算出方法を概略的に示す図である。
【図９】本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。
【図１０】本発明の第１の実施の形態における撮像装置１００によりパノラマ画像を生成する際における撮像動作を模式的に示す図である。
【図１１】本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。
【図１２】本発明の第２の実施の形態における撮像装置５００の機能構成例を示すブロック図である。
【図１３】本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【図１４】本発明の第２の実施の形態における方位算出部５６０によるトリミング画像における代表位置の方位算出方法を概略的に示す図である。
【図１５】本発明の第２の実施の形態における画像抽出部５５０により生成されるトリミング画像と、画像記憶部２００に記憶されるトリミング画像の画像ファイルとの関係を模式的に示す図である。
【図１６】本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【図１７】本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。
【図１８】本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。
【図１９】本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【図２０】本発明の第２の実施の形態における特定対象物方位算出部５４０により各特定対象物の方位を検出する特定対象物の方位検出方法を概略的に示す図である。
【図２１】本発明の第２の実施の形態における撮像装置５００によるパノラマ画像の画像抽出処理の処理手順を示すフローチャートである。
【図２２】本発明の第３の実施の形態における撮像装置７００の機能構成例を示すブロック図である。
【図２３】本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。
【図２４】本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。
【図２５】本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。
【図２６】本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。
【図２７】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地域における撮像動作と、この撮像動作により生成されたパノラマ画像との関係を概略的に示す図である。
【図２８】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図２９】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図３０】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図３１】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図３２】本発明の第３の実施の形態における撮像装置７００による画像表示処理の処理手順を示すフローチャートである。
【図３３】本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（パノラマ画像における代表位置の方位算出制御：１つの撮像画像の方位を用いて、パノラマ画像の方位を算出する例）
２．第２の実施の形態（パノラマ画像における方位算出および方位を用いた画像抽出制御：パノラマ画像から一部の画像を抽出する際における方位算出、方位を用いたパノラマ画像からの画像抽出の例）
３．第３の実施の形態（パノラマ画像の変換制御：方位を用いてパノラマ画像の変換および地図上の配置をする例）
【００３５】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。撮像装置１００は、撮像部１１１と、方位センサ１１２と、ＧＰＳ（Global Positioning System）ユニット１１３と、ネットワークコントローラ１１４と、解像度変換部１２０と、画像圧縮伸張部１３０とを備える。また、撮像装置１００は、ＲＯＭ（Read Only Memory）１４０と、ＲＡＭ（Random Access Memory）１５０と、ＣＰＵ（Central Processing Unit）１６０とを備える。また、撮像装置１００は、ＬＣＤ（Liquid Crystal Display）コントローラ１７１と、ＬＣＤ１７２と、入力制御部１８１と、操作部１８２と、リムーバブルメディアコントローラ１９１と、リムーバブルメディア１９２とを備える。なお、撮像装置１００を構成する各部の間で行われるやりとりは、バス１０１を介して行われる。撮像装置１００は、例えば、被写体を撮像して複数の撮像画像を生成し、これらの複数の画像を合成することによりパノラマ画像を生成することが可能なデジタルスチルカメラにより実現することができる。
【００３６】
撮像部１１１は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像データ（撮像画像）を生成するものであり、生成された画像データをＲＡＭ１５０に供給する。具体的には、撮像部１１１は、光学ユニット、撮像素子および信号処理部を備える。光学ユニットは、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、これらのレンズおよびアイリスを介して入射された被写体からの光が撮像素子に供給される。また、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、撮像信号を信号処理部に出力する。そして、その撮像信号に対して信号処理部が信号処理を行うことにより画像データが生成され、この生成された画像データがＲＡＭ１５０に順次供給されて一時的に保持される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。
【００３７】
方位センサ１１２は、地磁気を利用して地球上における方位を計測するセンサであり、計測された方位をＣＰＵ１６０に出力する。例えば、方位センサ１１２は、互いに直交する２軸（例えば、ｘ軸およびｙ軸）のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）とにより構成される磁界センサである。このＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する素子であり、ＭＲ素子の抵抗変化が、２軸のコイルによって２方向の成分（例えば、ｘ軸およびｙ軸の成分）に分けられ、その２方向の成分の地磁気の比に基づいて方位が算出される。ここで、本発明の第１の実施の形態では、方位センサ１１２は、撮像装置１００の撮像方向の方位を計測する。この撮像方向は、撮像位置（例えば、撮像装置１００が存在する位置）から、撮像部１１１により生成された撮像画像に含まれる被写体が存在する位置までの方向であり、例えば、被写体側の光軸方向とすることができる。また、例えば、撮像方向は、撮像位置を基準として、撮像画像における中心位置に存在する被写体の方向を撮像方向とすることができる。なお、本発明の第１の実施の形態では、方位センサ１１２を用いて撮像方向を取得する例を示すが、他の撮像方向の取得方法により取得された撮像方向を用いるようにしてもよい。例えば、ＧＰＳ信号に基づいて測定された方位を用いるようにしてもよい。
【００３８】
ＧＰＳユニット１１３は、ＧＰＳ信号受信アンテナ（図示せず）により受信されたＧＰＳ信号に基づいて撮像位置情報を算出するものであり、算出された撮像位置情報をＣＰＵ１６０に出力する。この算出された撮像位置情報には、緯度、経度、高度等の位置に関する各データが含まれる。なお、本発明の第１の実施の形態では、ＧＰＳ信号に基づいて算出された撮像位置情報を用いる例を示すが、他の撮像位置情報の取得方法により取得された撮像位置情報を用いるようにしてもよい。例えば、周囲に存在する無線ＬＡＮ（Local Area Network）によるアクセスポイント情報を用いて撮像位置情報を導き出し、この撮像位置情報を取得して用いるようにしてもよい。
【００３９】
ネットワークコントローラ１１４は、ネットワーク１１５と接続され、ＣＰＵ１６０からの指示に基づいて、ネットワーク１１５を介して行われる通信制御を行うものである。ネットワーク１１５は、例えば、無線ＬＡＮ等のネットワークである。ネットワークコントローラ１１４は、例えば、リムーバブルメディア１９２に記憶されている画像ファイル（画像コンテンツ）を、ネットワーク１１５を介して他の装置（例えば、パーソナルコンピュータ）に供給する。また、ネットワークコントローラ１１４は、例えば、ネットワーク１１５を介して画像ファイル等のコンテンツを取得する。そして、この取得されたコンテンツがリムーバブルメディア１９２に供給されて記憶される。
【００４０】
解像度変換部１２０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
【００４１】
画像圧縮伸張部１３０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部１３０は、例えば、入力された各種画像データをＪＰＥＧ（Joint Photographic Experts Group）形式の画像データに圧縮または伸張する。
【００４２】
ＲＯＭ１４０は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
【００４３】
ＲＡＭ１５０は、ＣＰＵ１６０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１６０において実行されるプログラムの作業領域等を備え、ＣＰＵ１６０が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、ＲＡＭ１５０は、各種の画像処理のための画像保存領域を備える。
【００４４】
ＣＰＵ１６０は、ＲＯＭ１４０に記憶されている各種制御プログラムに基づいて、撮像装置１００の各部を制御するものである。また、ＣＰＵ１６０は、操作部１８２により受け付けられた操作入力等に基づいて撮像装置１００の各部を制御する。
【００４５】
ＬＣＤコントローラ１７１は、ＣＰＵ１６０からの制御信号に基づいて、各種画像データをＬＣＤ１７２に表示させるものである。
【００４６】
ＬＣＤ１７２は、ＬＣＤコントローラ１７１から供給された各種画像データに対応する画像を表示する表示部である。ＬＣＤ１７２は、例えば、撮像部１１１により生成された画像データに対応する撮像画像を順次表示する。また、ＬＣＤ１７２は、例えば、リムーバブルメディア１９２に記憶されている画像ファイルに対応する画像を表示する。なお、ＬＣＤ１７２の代わりに、例えば、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いるようにしてもよい。また、ＬＣＤ１７２の代わりに、例えば、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
【００４７】
入力制御部１８１は、ＣＰＵ１６０からの指示に基づいて、操作部１８２により受け付けられる操作入力に関する制御を行うものである。
【００４８】
操作部１８２は、ユーザにより操作された操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた信号をＣＰＵ１６０に出力する。例えば、パノラマ画像を記録するためのパノラマ画像撮像モードにおいて、パノラマ画像撮像動作開始およびパノラマ画像撮像動作終了を指示するためのシャッターボタン等の操作部材が撮像装置１００に備えられている。また、操作部１８２およびＬＣＤ１７２については、タッチパネルにより一体で構成するようにしてもよい。
【００４９】
リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２と接続され、ＣＰＵ１６０からの制御信号に基づいて、リムーバブルメディア１９２へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ１９１は、撮像部１１１により生成された画像データ等の各種画像データを画像ファイル（画像コンテンツ）としてリムーバブルメディア１９２に記録させる。また、リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２から画像ファイル等のコンテンツを読み出してバス１０１を介してＲＡＭ１５０等に出力する。
【００５０】
リムーバブルメディア１９２は、リムーバブルメディアコントローラ１９１から供給された画像データを記録する記録デバイスである。リムーバブルメディア１９２には、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ等の各種データが記録される。リムーバブルメディア１９２として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、リムーバブルメディア１９２として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。
【００５１】
図２は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、画像記憶部２００と、操作受付部２１０と、撮像部２１１と、方位取得部２１２と、撮像位置取得部２１３と、撮像画像保持部２２０と、移動量検出部２３０とを備える。また、撮像装置１００は、画像合成部２４０と、顔検出部２５０と、中心位置算出部２６０と、撮像動作判定部２７０と、パノラマ情報算出部２８０と、記録制御部２９０とを備える。ここで、本発明の各実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの少なくとも何れかの意味を含むものとする。
【００５２】
画像記憶部２００は、記録制御部２９０の制御に基づいて、画像合成部２４０から出力されたパノラマ画像と、これに関する各情報とを画像ファイルとして記録するものである。なお、画像記憶部２００は、図１に示すリムーバブルメディア１９２に対応する。
【００５３】
操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を撮像部２１１および撮像動作判定部２７０に出力する。例えば、操作受付部２１０は、パノラマ画像撮像モードが設定されている場合において、パノラマ画像撮像動作開始を指示する開始指示操作が受け付けられた場合には、その操作内容を撮像部２１１および撮像動作判定部２７０に出力する。また、操作受付部２１０は、パノラマ画像の撮像動作が行われている間に、パノラマ画像撮像動作終了を指示する終了指示操作が受け付けられた場合には、その操作内容を撮像部２１１および撮像動作判定部２７０に出力する。これらの開始指示操作および終了指示操作は、例えば、シャッター操作により行われる。また、操作受付部２１０は、パノラマ画像撮像モードが設定されている場合において、撮像動作状態に応じて方位の決定方法を変更するか否かを設定する操作入力が受け付けられた場合には、その操作内容を撮像動作判定部２７０に出力する。なお、操作受付部２１０は、図１に示す入力制御部１８１および操作部１８２に対応する。
【００５４】
撮像部２１１は、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を撮像画像保持部２２０に順次供給する。例えば、パノラマ画像撮像モードが設定されている場合において、パノラマ画像撮像動作開始を指示する開始指示操作が操作受付部２１０により受け付けられた場合には、撮像部２１１は撮像画像の生成を開始する。また、パノラマ画像撮像動作終了を指示する終了指示操作が操作受付部２１０により受け付けられた場合には、撮像部２１１は撮像画像の生成を終了する。なお、撮像部２１１は、図１に示す撮像部１１１に対応する。
【００５５】
方位取得部２１２は、撮像方向に関する方位を取得するものであり、取得された方位を撮像動作判定部２７０およびパノラマ情報算出部２８０に出力する。なお、方位取得部２１２は、図１に示す方位センサ１１２に対応する。
【００５６】
撮像位置取得部２１３は、撮像位置に関する撮像位置情報を取得するものであり、取得された撮像位置情報を撮像動作判定部２７０および記録制御部２９０に出力する。なお、撮像位置取得部２１３は、図１に示すＧＰＳユニット１１３に対応する。
【００５７】
撮像画像保持部２２０は、撮像部２１１から出力された各撮像画像を保持するものであり、保持されている各撮像画像を移動量検出部２３０および画像合成部２４０に供給する。なお、撮像画像保持部２２０は、図１に示すＲＡＭ１５０に対応する。
【００５８】
移動量検出部２３０は、撮像画像保持部２２０から供給される各撮像画像について、隣接する撮像画像間の移動量および移動方向を検出するものであり、検出された移動量および移動方向を画像合成部２４０に出力する。なお、移動量検出部２３０は、図１に示すＣＰＵ１６０に対応する。
【００５９】
画像合成部２４０は、移動量検出部２３０から出力された移動量および移動方向に基づいて、撮像画像保持部２２０に保持されている各撮像画像を合成することによりパノラマ画像を生成するものである。そして、画像合成部２４０は、生成されたパノラマ画像を顔検出部２５０、中心位置算出部２６０および記録制御部２９０に出力する。なお、パノラマ画像の生成については、図５および図６を参照して詳細に説明する。また、画像合成部２４０は、図１に示すＣＰＵ１６０に対応する。
【００６０】
顔検出部２５０は、画像合成部２４０から出力されたパノラマ画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔情報を記録制御部２９０に出力する。この顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと撮像画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮像画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。また、顔情報には、検出された顔の位置およびサイズが含まれる。ここで、検出された顔の位置は、例えば、検出された顔の少なくとも一部を含む矩形の位置（例えば、その矩形の左上端の座標）である。また、検出された顔のサイズは、例えば、その矩形のサイズ（例えば、その矩形の水平方向および垂直方向の各画素数）である。なお、検出対象として、人物の顔以外の物体を対象とするようにしてもよい。また、顔検出部２５０は、図１に示すＣＰＵ１６０に対応する。
【００６１】
中心位置算出部２６０は、画像合成部２４０から出力されたパノラマ画像における水平方向の長さに基づいて、パノラマ画像における中心位置を算出するものである。そして、中心位置算出部２６０は、算出された中心位置および算出対象となったパノラマ画像の水平方向の長さをパノラマ情報算出部２８０に出力する。なお、中心位置算出部２６０は、図１に示すＣＰＵ１６０に対応する。また、中心位置算出部２６０は、特許請求の範囲に記載の代表位置算出部の一例である。
【００６２】
撮像動作判定部２７０は、方位取得部２１２から出力された方位と、撮像位置取得部２１３から出力された撮像位置情報とに基づいて、撮像装置１００の撮像動作状態を判定するものである。そして、撮像動作判定部２７０は、判定結果をパノラマ情報算出部２８０に出力する。例えば、撮像動作判定部２７０は、パノラマ画像撮像モードが設定されている場合において、撮像動作状態に応じて方位の決定方法を変更する旨の操作入力が操作受付部２１０により受け付けられた場合には、撮像装置１００の撮像動作状態を判定する。一方、撮像動作判定部２７０は、撮像動作状態に応じて方位の決定方法を変更しない旨の操作入力が操作受付部２１０により受け付けられた場合には、撮像装置１００の撮像動作状態を判定しない。例えば、パノラマ画像撮像モードが設定されている場合において、開始指示操作および終了指示操作が操作受付部２１０により受け付けられた際における方位および撮像位置情報に基づいて撮像装置１００の撮像動作状態が判定される。また、撮像動作判定部２７０は、その開始指示操作および終了指示操作が受け付けられた旨をパノラマ情報算出部２８０に出力する。なお、撮像動作状態の判定については、図１０を参照して詳細に説明する。また、撮像動作判定部２７０は、図１に示す撮像部１１１に対応する。
【００６３】
パノラマ情報算出部２８０は、画像合成部２４０により生成されたパノラマ画像に関する方位およびパノラマ画像の撮像範囲に対応する角度（パノラマ角）を算出するものであり、算出された方位およびパノラマ角を記録制御部２９０に出力する。例えば、パノラマ情報算出部２８０は、方位取得部２１２から出力された方位と、中心位置算出部２６０から出力されたパノラマ画像における中心位置と、撮像部２１１の特性情報とに基づいて、そのパノラマ画像における中心位置の方位を算出する。また、パノラマ情報算出部２８０は、中心位置算出部２６０から出力されたパノラマ画像の水平方向の長さと、撮像部２１１の特性情報とに基づいて、パノラマ角を算出する。なお、撮像部２１１の特性情報は、パノラマ情報算出部２８０が保持するようにしてもよく、撮像部２１１から順次供給されるようにしてもよい。なお、パノラマ画像における中心位置の方位の算出方法と、パノラマ角の算出方法とについては、図７および図８を参照して詳細に説明する。なお、パノラマ情報算出部２８０は、図１に示すＣＰＵ１６０に対応する。また、パノラマ情報算出部２８０は、特許請求の範囲に記載の方位算出部の一例である。
【００６４】
記録制御部２９０は、画像合成部２４０から出力されたパノラマ画像と、これに関する各情報とを画像ファイルとして画像記憶部２００に記録させるものである。パノラマ画像に関する各情報として、例えば、記録制御部２９０は、パノラマ情報算出部２８０から出力された方位およびパノラマ角を、対応する画像ファイルに関連付けて画像記憶部２００に記録させる。また、画像ファイルは、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて記録される。なお、記録制御部２９０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【００６５】
［パノラマ画像の画像ファイルの構成例］
図３は、本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルのファイル構造の一例を示す図である。図３に示す例では、ＤＣＦ（Design rule for Camera File system）規格により記録される静止画ファイルのファイル構造を概略的に示す。ＤＣＦは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格である。また、ＤＣＦでは、Ｅｘｉｆ（Exchangeable image file format）をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。Ｅｘｉｆは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式（ファイルフォーマット）を規定するものである。図３（ａ）には画像ファイル３００の構成例を示し、図３（ｂ）には付属情報３１０の構成例を示し、図３（ｃ）にはメーカーノート３１２の構成例を示す。
【００６６】
画像ファイル３００は、ＤＣＦ規格により記録される静止画ファイルであり、図３（ａ）に示すように、付属情報３１０および画像情報３２０から構成されている。画像情報３２０は、例えば、撮像部１１１により生成され、解像度変換部１２０により解像度変換され、画像圧縮伸張部１３０によりＪＰＥＧ形式で圧縮された画像データである。
【００６７】
付属情報３１０は、図３（ｂ）に示すように、属性情報３１１およびメーカーノート（maker note）３１２から構成されている。属性情報３１１は、画像ファイル３００に関する属性情報等であり、例えば、ＧＰＳ情報、方位情報、撮像部の特性情報（例えば、デバイス特性）、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。ＧＰＳ情報として、例えば、緯度、経度等の撮像位置情報（例えば、ＴＡＧＩＤ＝１０００００１乃至１０００００４）が含まれる。また、方位情報として、撮像画像の方位を示す方位情報（例えば、ＴＡＧＩＤ＝１００００１６および１００００１７）が含まれる。ここで、撮像画像の方位の単位（例えば、ＴＡＧＩＤ＝１００００１６）として、例えば、０．０１度が記録される。また、撮像画像の方向（例えば、ＴＡＧＩＤ＝１００００１７）として、例えば、北を０度（または、３６０度）とし、東を９０度とし、南を１８０度とし、西を２７０度として、方位センサ１１２により取得された方位に対応する数値が記録される。なお、この角度を示す数値は、方位角と称されることもある。また、撮像部の特性情報として、例えば、レンズ焦点距離等の撮像部の特性情報（例えば、ＴＡＧＩＤ＝３７３８６）が含まれる。このレンズ焦点距離は、例えば、図７に示すレンズ焦点距離ｆである。
【００６８】
メーカーノート３１２は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である（ＴＡＧＩＤ＝３７５００、MakerNote）。図３（ｃ）に示すように、メーカーノート３１２には、撮像部の特性情報として、例えば、焦点面の幅３１３が記録される。この焦点面の幅３１３は、例えば、図７に示す焦点面の幅ｗである。また、メーカーノート３１２には、パノラマ画像を構成する最初の画像の幅３１４と、パノラマ画像の撮像範囲に対応する角度３１５と、顔情報３１６とが記録される。なお、メーカーノート３１２に撮像位置情報や方位情報、パノラマ画像の有無等を記録するようにしてもよい。
【００６９】
パノラマ画像を構成する最初の画像の幅３１４は、画像合成部２４０により生成されたパノラマ画像を構成する複数の撮像画像のうち、時間軸における最初の撮像画像の幅を示す値である。この値は、パノラマ画像の水平方向における画素数（すなわち、水平解像度）により表すことができ、例えば、図８等に示すＨに対応する。
【００７０】
パノラマ画像の撮像範囲に対応する角度（パノラマ角）３１５は、パノラマ画像の撮像時において、撮像装置１００を基準位置とした場合における撮像範囲の水平方向における角度である。この角度は、例えば、撮像画像の水平方向における画角に相当する角度であり、例えば、図８等に示すθ０に対応する。
【００７１】
顔情報３１６は、画像合成部２４０により生成されたパノラマ画像に含まれる顔の位置およびサイズを含む情報である。
【００７２】
図４は、本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルを模式的に示す図である。画像ファイル３３０は、画像合成部２４０により生成されたパノラマ画像の静止画ファイルであり、付属情報３３１および画像情報３３２が記録される。付属情報３３１には、メタ情報として、図４に示す各情報が記録される。これらの各情報は、図３で説明したものと同様であるため、ここでの説明を省略する。
【００７３】
このように、パノラマ画像の撮像動作が行われた場合には、画像合成部２４０により生成されたパノラマ画像が画像情報３３２に記録されるとともに、そのパノラマ画像に関する付属情報が付属情報３３１に記録される。なお、画像ファイル３３０を構成するパノラマ画像の生成方法については、図５および図６を参照して詳細に説明する。
【００７４】
［パノラマ画像の生成例］
図５は、本発明の第１の実施の形態における画像合成部２４０により生成されるパノラマ画像を構成する複数の撮像画像と、これらの撮像画像を生成する際における撮像装置１００の撮像動作状態との関係を模式的に示す図である。図５（ａ）には、撮像部２１１により生成された撮像画像４０１乃至４０４を示す。図５（ｂ）には、撮像画像４０１乃至４０４を生成する場合における撮像装置１００の撮像動作状態の遷移を示す。
【００７５】
図５（ａ）に示す撮像画像４０１乃至４０４は、山々やその手前の家等を被写体として撮像された画像である。撮像画像４０１乃至４０４は、例えば、図５（ｂ）に示すように、撮像装置１００の位置を基準として撮像装置１００を水平方向（矢印４０５の方向）に移動させながら撮像動作（いわゆる、パンニング操作）を行うことにより生成される。例えば、撮影者がシャッターボタンを押下しながら、撮像装置１００のパンニング操作を行うことにより、パノラマ画像の撮像動作が行われる（いわゆる、スイングパノラマ）。また、撮像画像４０１乃至４０４については、方位取得部２１２により方位を取得することができる。この例では、撮像画像４０１乃至４０４に含まれる被写体の中心位置４２１乃至４２４をバツ印で示す。また、撮像画像４０１には人物の顔４１１が含まれ、撮像画像４０３には人物の顔４１３が含まれているものとする。
【００７６】
図５（ｂ）では、図５（ａ）に示す撮像画像４０１乃至４０４を円上（点線４０６上）に仮想的に配置して、撮像画像４０１乃至４０４を上面から見た場合における位置関係を矩形４０１乃至４０４により模式的に示す。なお、図５（ｂ）では、対応する撮像画像４０１乃至４０４と同一の符号を各矩形に付す。また、撮像画像４０１乃至４０４に含まれる被写体の中心位置（水平方向の位置）についても、図５（ａ）に示す中心位置４２１乃至４２４と同一の符号を付す。また、図５（ｂ）に示す撮像動作状態で生成される撮像画像４０１乃至４０４の画角をθとして示す。なお、撮像画像４０１乃至４０４は、水平方向において少なくとも一部の領域に同一の被写体が含まれるように撮像動作が行われて生成された撮像画像であるものとする。
【００７７】
図６は、本発明の第１の実施の形態における画像合成部２４０によるパノラマ画像の生成方法を模式的に示す図である。なお、図６（ａ）に示す撮像画像４０１乃至４０４は、図５（ａ）に示すものと同一である。
【００７８】
図６（ａ）に示すように、撮像部２１１が撮像画像４０１乃至４０４を順次生成する。このように生成された撮像画像４０１乃至４０４が撮像画像保持部２２０に順次供給され、撮像画像保持部２２０には複数の撮像画像が保持される。そして、このように保持された撮像画像が移動量検出部２３０および画像合成部２４０に供給される。
【００７９】
続いて、移動量検出部２３０が、撮像画像保持部２２０に保持されている撮像画像について、隣接する撮像画像間の移動量および移動方向（すなわち、隣接する撮像画像間の相対変位）を検出する。続いて、移動量検出部２３０が、検出された移動量および移動方向を画像合成部２４０に供給する。例えば、移動量検出部２３０は、時系列的に隣接するフレーム間の撮像画像を順次比較することにより、撮像画像保持部２２０における隣接する撮像画像間の移動量および移動方向を検出する。
【００８０】
続いて、図６（ｂ）に示すように、画像合成部２４０が、隣接する撮像画像間の移動量および移動方向に基づいて、撮像画像保持部２２０に保持されている撮像画像４０１乃至４０４について、互いの重複領域が互いに重なり合うように合成する。この合成により合成画像４３０が生成される。この場合に、例えば、撮像素子の撮像面に結合された撮像画像の一部から所定幅の読出範囲に存在する部分画像について、互いの重複範囲が互いに重なり合うように接合して合成画像を生成するようにしてもよい（例えば、特開２００５−３３３９６号参照。）。また、例えば、各撮像画像間の重複領域について互いに画素値が相関する相対変位を求め、この相対変位に基づいて合成処理を行うことにより、重ね合わせ時における位置合わせ処理の精度を向上させることができる。なお、この位置合わせ処理では、Ｌｕｃａｓ−Ｋａｎａｄｅ法やブロックマッチング法等を用いて相対変位を求めることができる。
【００８１】
続いて、図６（ｃ）に示すように、画像合成部２４０が、撮像画像４０１乃至４０４により構成された合成画像４３０についてトリミング処理を行う。このトリミング処理は、パノラマ画像の一部分の画像領域（例えば、中央付近の画像領域）を切り出す画像処理である。画像合成部２４０は、例えば、隣接する撮像画像間の移動量および移動方向に基づいて、パノラマ画像撮像動作開始からパノラマ画像撮像動作終了までの撮像画像間の移動方向（例えば、水平方向）を検出する。そして、画像合成部２４０は、検出された移動方向に基づいて、合成画像４３０についてトリミング処理を行い、パノラマ画像４３１を生成する。図６（ｃ）では、撮像画像４０１乃至４０４に対応する矩形を点線で示し、トリミング処理により生成されたパノラマ画像４３１を太線の矩形で示す。なお、画像合成部２４０は、パノラマ画像撮像動作開始からパノラマ画像撮像動作終了までの撮像画像間の移動方向に傾きがある場合には、例えば、その移動方向に応じて斜め方向にトリミング処理を施す。このように傾きが生じる場合は、例えば、撮影者が撮像装置１００を水平に保たずに、撮像装置１００を傾けて撮像動作を行った場合等が想定される。
【００８２】
なお、本発明の第１の実施の形態では、撮像装置１００の位置を基準として撮影者が撮像装置１００を水平方向に移動させながら、パノラマ画像を生成する例を示した。しかしながら、例えば、撮像装置１００を旋回させるための駆動部を撮像装置１００に設け、この駆動部により撮像装置１００を水平方向に移動させながら、パノラマ画像を生成するようにしてもよい。この駆動部の駆動源として、例えば、ステッピングモータ等を用いることができる。また、例えば、各撮像画像における特徴点を抽出し、この抽出された特徴点を重ね合わせることにより、各撮像画像を繋ぎ合わせるパノラマ画像生成方法を用いるようにしてもよい。
【００８３】
また、この例では、パノラマ画像を生成するための撮像画像間の移動量および移動方向を画像解析により検出する例を示した。しかしながら、例えば、ジャイロセンサ等の角加速度センサを用いて、撮像装置１００の姿勢の変化量を検出し、この検出された変化量に基づいて、撮像画像間の移動量および移動方向を検出し、この移動量および移動方向を用いるようにしてもよい。角加速度センサとして、例えば、手ぶれ防止機能を実現するためのセンサを用いることができる。このように角加速度センサを用いることにより、移動量検出部２３０が移動量および移動方向を正確に検出することができない場合でも、隣接する撮像画像間の相対的な位置を検出することができる。
【００８４】
ここで、例えば、パノラマ画像４３１を１つの画像ファイルとして記録する場合を想定する。例えば、１つの画像ファイルをＥｘｉｆにより記録媒体に記録する場合には、基本的に１つの画像ファイルに１つの方位情報を記録することとなる。このため、例えば、パノラマ画像４３１の画像ファイルをＥｘｉｆにより記録媒体に記録する場合についても同様に、１つの画像ファイルに１つの方位情報を記録することとなる。このように画像ファイルに記録する方位情報として、例えば、その画像における中心位置について取得された方位とすることができる。例えば、画像における中心位置について取得された方位を方位情報としてその画像ファイルに記録することにより、その画像における水平方向の中心位置を基準として画像を表示させることができる。
【００８５】
そこで、本発明の第１の実施の形態では、パノラマ画像における代表位置を、パノラマ画像に含まれる被写体の中心位置とし、この中心位置について取得された方位をその画像ファイルに記録する例を示す。
【００８６】
ここで、例えば、パノラマ画像４３１を構成する撮像画像４０１乃至４０４における中心位置４２１乃至４２４について方位を取得し、この取得された方位の何れかを、パノラマ画像４３１の方位として画像ファイルに記録する場合を想定する。この場合には、図６（ｃ）に示すように、これらの方位（中心位置４２１乃至４２４の方位）の何れについても、パノラマ画像４３１における中心位置４３２とは異なる位置で取得された方位となる。そこで、以下では、パノラマ画像における代表位置（例えば、中心位置）の方位を算出する例を示す。
【００８７】
［パノラマ画像における代表位置の方位算出例］
図７は、本発明の第１の実施の形態における撮像部２１１のデバイス特性と、撮像部２１１により生成される撮像画像との関係を上面から見た場合を模式的に示す図である。図７では、撮像部２１１により生成される撮像画像の水平方向の撮像範囲を撮像範囲４５０として矩形で模式的に示す。また、撮像部２１１は、撮像素子４４１およびレンズ４４２を備える。なお、図７では、撮像素子４４１については矩形で模式的に示し、レンズ４４２については１つの楕円で模式的に示す。
【００８８】
例えば、撮像範囲４５０に含まれる被写体からの入射光がレンズ４４２を介して撮像素子４４１に入射されると、撮像範囲４５０に含まれる被写体に対応する撮像画像が撮像素子４４１に結像される。このように被写体の撮像画像が撮像素子４４１に結像されている場合において、撮像素子４４１に結像された撮像画像の水平方向の長さを焦点面の幅ｗとし、焦点距離をレンズ焦点距離ｆとする。この場合に、焦点面の幅ｗと、レンズ焦点距離ｆと、撮像範囲の幅Ｄｗと、被写体距離Ｄｆと、画角θとは、図７に示す関係が成立する。また、この場合における画角θは、以下の式１を用いて求めることができる。
θ＝（１８０／π）×２ｔａｎ−１（ｗ／２ｆ）［ｄｅｇ］ …式１
【００８９】
ここで、焦点面の幅ｗと、レンズ焦点距離ｆとは、撮像部２１１のデバイス特性として求められる固有値であり、撮像装置の機種によって値が異なる。以下では、この撮像部のデバイス特性を用いて、パノラマ画像における代表位置の方位を算出する例を示す。
【００９０】
図８は、本発明の第１の実施の形態におけるパノラマ情報算出部２８０によるパノラマ画像における代表位置の方位算出方法を概略的に示す図である。図８（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図６（ｃ）に示すパノラマ画像４３１と同様である。この例では、パノラマ画像を生成する際に最初に生成された撮像画像４０１について取得された方位を用いて、パノラマ画像における代表位置の方位を算出する例を示す。例えば、図８（ａ）に示す例では、撮像画像４０１における中心位置４２１について取得された方位を用いて、パノラマ画像４３１における中心位置４３２の方位を算出する例を示す。
【００９１】
ここで、パノラマ画像４３１を生成する際に最初に生成された撮像画像４０１の水平方向の長さをＨとする。また、撮像画像４０１について方位が取得された位置（撮像画像４０１の中心位置４２１）から、パノラマ画像４３１における中心位置４３２までの距離を距離Ｈ１とする。また、パノラマ画像４３１の水平方向の長さをＨ０とする。これらの長さは、例えば、水平方向における画素数（すなわち、水平解像度）により表すことができる。
【００９２】
図８（ｂ）には、パノラマ画像４３１を構成する撮像画像４０１乃至４０４を生成する場合における撮像装置１００の撮像動作状態の遷移を示す。なお、図８（ｂ）に示す例は、図５（ｂ）に示す例と略同一である。このため、共通する部分には、同一の符号を付して説明を省略する。
【００９３】
図８（ｂ）において、図８（ａ）に示すＨ０、Ｈ１、Ｈに対応する部分には、それぞれ同一の符号を付す。ここで、撮像画像４０１における中心位置４２１について取得された方位と、パノラマ画像４３１における中心位置４３２の方位とのなす角度をθ１とすると、角度θ１は、次の式２を用いて求めることができる。
θ１＝（θ／Ｈ）×Ｈ１ …式２
【００９４】
ここで、画角θは、上述した式１を用いて求めることができる。また、Ｈは、撮像部２１１の特性情報により特定することができる。このように算出されたθ１を用いて、パノラマ画像４３１における中心位置４３２の方位を算出する。具体的には、撮像装置１００の位置を基準として、撮像画像４０１における中心位置４２１について取得された方位をθ１だけ回転させた場合における値が、パノラマ画像４３１における中心位置４３２の方位として算出される。
【００９５】
例えば、撮像時における撮像装置１００の位置（撮像位置）を基準とした場合における方位（東西南北）として、北を０度（３６０度）とし、東を９０度とし、南を１８０度とし、西を２７０度とする。この場合に、例えば、撮像画像４０１における中心位置４２１について取得された方位が２７０度であり、式２を用いて算出されたθ１が４０度である場合には、パノラマ画像４３１における中心位置４３２の方位として、３１０度が算出される。
【００９６】
また、パノラマ画像４３１の撮像範囲に対応する角度（パノラマ角）をθ０とすると、角度θ０は、次の式３を用いて求めることができる。
θ０＝（θ／Ｈ）×Ｈ０ …式３
【００９７】
このように算出されたパノラマ画像４３１における中心位置の方位および角度θ０が、パノラマ画像４３１の画像ファイルに記録される。
【００９８】
以上で示したように、パノラマ画像を生成するための１つの撮像画像の方位を用いて、その代表位置の方位を算出することができる。このため、パノラマ画像の生成時において、撮像画像を撮り溜めている時（いわゆる、パンニング時）の処理負荷を軽減することができる。すなわち、パノラマ画像の生成時においては、各撮像画像を一時的に保持する必要があるため、この一時的に保持する撮像画像の数が多い場合には処理負荷が大きくなる。この場合に、パノラマ画像を生成するための各撮像画像の方位についても順次保持すると、処理負荷がさらに大きくなる。これに対して、本発明の第１の実施の形態では、パノラマ画像を生成するための最初の撮像画像以外の他の撮像画像の方位については、保持する必要がないため、パノラマ画像の生成時における処理負荷を軽減することができる。
【００９９】
また、例えば、撮影者の手動によるパンニング操作によりパノラマ画像（スイングパノラマ）を生成する場合には、撮像動作開始から撮像動作終了までの間、生成されるパノラマ画像のサイズが決定されないことが多い。例えば、撮影者の撮像動作の停止タイミングや撮像装置１００のぶれ等により、パノラマ画像の中心位置を撮像動作中に特定することができない。また、例えば、撮影者による撮像装置１００の振り方が悪い場合には、パノラマ画像として合成される被写体領域が狭くなる場合もある。このため、生成されるパノラマ画像の中心位置がどこになるかを、撮像動作中に決定することができないことが多い。これに対して、本発明の第１の実施の形態では、そのパノラマ画像の生成時において、パノラマ画像の水平方向の長さが確定した後に、その中心位置（代表位置）を特定する。そして、その中心位置の方位を算出するため、中心位置の方位の誤差を低減させることができる。これにより、例えば、パノラマ画像を地図上に配置して表示するような場合には、その中心位置の方位と、地図上における方位とを略一致させて配置することができるため、パノラマ画像を適切な方向とした状態で配置することができる。
【０１００】
なお、この例では、パノラマ画像を生成する際に最初に撮像された撮像画像について取得された方位を用いて、パノラマ画像における代表位置の方位を算出する例を示した。しかしながら、例えば、２枚目以降の撮像画像について取得された方位を用いて、パノラマ画像における代表位置の方位を算出するようにしてもよい。また、この例では、パノラマ画像における代表位置として、パノラマ画像における水平方向の中心位置を例にして説明したが、例えば、他の位置を代表位置とする場合についても同様に適用することができる。例えば、パノラマ画像に人物の顔が含まれている場合には、その顔の位置を代表位置とすることができる。また、複数の顔が含まれている場合には、その複数の顔のうち一番の特徴量が高い顔の位置を代表位置とすることができる。
【０１０１】
［撮像装置の動作例］
図９は、本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。この例では、パノラマ画像撮像モードが設定され、画像記録待機状態である場合において、シャッター操作によりパノラマ画像の生成を開始する例を示す。
【０１０２】
最初に、シャッター操作（パノラマ画像撮像動作開始を指示する開始指示操作）が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０１）。シャッター操作が受け付けられていない場合には、シャッター操作が受け付けられるまで、監視を継続する。シャッター操作が受け付けられた場合には（ステップＳ９０１）、方位取得部２１２が、撮像方向に関する方位を取得し（ステップＳ９０２）、撮像位置取得部２１３が、撮像位置に関する撮像位置情報を取得する（ステップＳ９０３）。なお、ステップＳ９０２は、特許請求の範囲に記載の方位取得手順の一例である。
【０１０３】
続いて、撮像部２１１が、被写体を撮像して撮像画像を生成し（ステップＳ９０４）、生成された撮像画像を撮像画像保持部２２０に保持させる（ステップＳ９０５）。なお、ステップＳ９０４は、特許請求の範囲に記載の撮像手順の一例である。続いて、シャッター操作（パノラマ画像撮像動作終了を指示する終了指示操作）が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０６）。シャッター操作が受け付けられていない場合には、ステップＳ９０４に戻る。シャッター操作が受け付けられた場合には（ステップＳ９０６）、画像合成部２４０が、撮像画像保持部２２０に保持されている各撮像画像に関する移動量および移動方向に基づいて、各撮像画像を合成してパノラマ画像を生成する（ステップＳ９０７）。なお、ステップＳ９０７は、特許請求の範囲に記載の画像合成手順の一例である。
【０１０４】
続いて、中心位置算出部２６０が、画像合成部２４０により生成されたパノラマ画像における中心位置を算出する（ステップＳ９０８）。なお、ステップＳ９０８は、特許請求の範囲に記載の代表位置算出手順の一例である。続いて、パノラマ情報算出部２８０が、画像合成部２４０により生成されたパノラマ画像に関する方位およびパノラマ角を算出する（ステップＳ９０９）。なお、ステップＳ９０９は、特許請求の範囲に記載の方位算出手順の一例である。続いて、記録制御部２９０が、画像合成部２４０により生成されたパノラマ画像と、パノラマ情報算出部２８０により算出された方位およびパノラマ角とを画像ファイルとして画像記憶部２００に記録させる（ステップＳ９１０）。この場合に、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて画像ファイルが記録される。そして、パノラマ画像記録処理の動作を終了する。なお、ステップＳ９１０は、特許請求の範囲に記載の記録制御手順の一例である。
【０１０５】
［パノラマ画像方位算出の変形例］
以上では、撮像装置１００の位置を基準として、撮影者が撮像装置１００のパンニング操作を行うことによりパノラマ画像を生成する場合における方位算出例を示した。しかしながら、例えば、被写体に対して略並行する直線上において撮像装置１００を移動させることによりパノラマ画像を生成することも想定される。このようにパノラマ画像を生成する場合には、パノラマ画像を生成するための各撮像画像の撮像位置において、撮像装置１００の光軸方向の方位が略同一となる。このため、上述した方位算出を行うことなく、何れかの撮像画像について取得された方位をパノラマ画像における代表位置の方位として用いることができる。そこで、以下では、パノラマ画像の撮像動作に応じて、パノラマ画像における代表位置の方位の決定方法を変更する例について説明する。
【０１０６】
図１０は、本発明の第１の実施の形態における撮像装置１００によりパノラマ画像を生成する際における撮像動作を模式的に示す図である。図１０（ａ）には、撮像装置１００の位置を回転中心として、撮像装置１００を水平方向に回転させることによりパノラマ画像を生成する撮像動作について上側から見た状態を模式的に示す。なお、図１０（ａ）に示す例は、図５（ｂ）に示す例と同一であるため、ここでの説明を省略する。
【０１０７】
図１０（ｂ）には、被写体に対して略並行する直線４６０上において撮像装置１００を移動させることによりパノラマ画像を生成する撮像動作について上側から見た状態を模式的に示す。図１０（ｂ）に示す撮像動作は、例えば、一定の速度で移動することが可能な車等の移動装置を用いて、進行方向４６５に対して直行する方向を撮像装置１００の光軸方向として行われるパノラマ画像の撮像動作である。例えば、撮像装置１００を手で持った人が乗っている車が進行方向４６５に一定の速度で移動していくものとする。この場合には、図１０（ｂ）に示すように、撮像装置１００の位置が順次変更されるが、撮像装置１００の光軸方向が一定の方位となる。このため、この撮像動作により生成された複数の撮像画像により構成されるパノラマ画像における代表位置の方位として、撮像画像４６１乃至４６４における中心位置４７１乃至４７４について取得された方位の何れについても用いることができる。
【０１０８】
ここで、チルチング操作が行われた場合を想定する。例えば、チルチング操作は、撮像装置１００の位置を回転中心として、撮像装置１００を垂直方向に回転させる操作である。このため、垂直方向に長いパノラマ画像を生成することができる。また、この場合において、垂直方向に９０度未満の回転操作となる場合には、撮像装置１００の姿勢が変更されるが、撮像装置１００の光軸方向が一定の方位となる。そこで、チルチング操作により生成されるパノラマ画像における代表位置の方位としては、パノラマ画像を生成するための各撮像画像について取得された方位の何れについても用いることができる。そこで、この例では、パノラマ画像の撮像動作に応じて、パノラマ画像における代表位置の方位の決定方法を変更する。
【０１０９】
ここで、例えば、パンニング操作やチルチング操作が行われた場合には、その操作時において撮像位置は変更されず、撮像装置１００の姿勢のみが変化する。このため、時間軸における最初の撮像画像について取得された撮像位置と、時間軸における最後の撮像画像について取得された撮像位置とが略同一となる。これに対して、例えば、図１０（ｂ）に示すように、直線４６０上において撮像装置１００を移動させることによりパノラマ画像を生成する場合には、撮像装置１００が移動する。このため、時間軸における最初の撮像画像について取得された撮像位置と、時間軸における最後の撮像画像について取得された撮像位置とが異なる。
【０１１０】
また、例えば、パンニング操作が行われた場合には、その操作時において方位が変化する。このため、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが異なる。これに対して、チルチング操作が行われた場合には、その操作時において方位は略変化しない。このため、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが略同一となる。
【０１１１】
また、例えば、図１０（ｂ）に示すように、撮像装置１００を移動させることによりパノラマ画像を生成する場合には、撮像装置１００の光軸方向が同一方向を向いた状態で移動するため、各撮像画像について取得される方位が略同一となる。このため、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが略同一となる。これに対して、撮像装置１００を移動させることにより撮像画像を生成する場合でも、これらの撮像画像によりパノラマ画像を生成しない場合も想定される。例えば、撮像装置１００を移動させながら、色々な方位を向けて撮像動作を行う場合が想定される。この場合には、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが異なると想定される。
【０１１２】
そこで、パノラマ画像を生成するための各撮像画像のうち、時間軸における最初の撮像画像および最後の撮像画像について取得された方位および撮像位置に基づいて、撮像動作判定部２７０が、撮像装置１００の撮像動作状態を判定する。
【０１１３】
例えば、撮像動作判定部２７０が、時間軸における最初の撮像画像について取得された撮像位置（緯度、経度）と、時間軸における最後の撮像画像について取得された撮像位置とを比較する。この比較の結果、２つの撮像位置が略同一となる場合には、パンニング操作またはチルチング操作が行われた場合が想定される。このため、撮像動作判定部２７０が、時間軸における最初の撮像画像および最後の撮像画像について取得された２つの方位を比較し、２つの方位が異なる場合には、パンニング操作が行われたと判定する。一方、２つの方位が略同一となる場合には、チルチング操作が行われたと判定する。
【０１１４】
また、時間軸における最初の撮像画像および最後の撮像画像について取得された２つの撮像位置を比較した結果、２つの撮像位置が異なる場合には、撮像装置１００を移動させることによりパノラマ画像が生成された場合が想定される。そこで、撮像動作判定部２７０が、時間軸における最初の撮像画像および最後の撮像画像について取得された２つの方位を比較し、２つの方位が略同一となる場合には、図１０（ｂ）に示す撮像動作が行われたと判定する。一方、２つの方位が異なる場合には、パノラマ画像を生成する撮像モード以外の撮像モードで撮像動作が行われたと判定する。
【０１１５】
これらの判定結果に基づいて、パノラマ情報算出部２８０が、パノラマ画像における代表位置の方位を決定する。例えば、パンニング操作が行われたと判定された場合には、パノラマ情報算出部２８０が、上述した方位算出方法により方位を算出し、この算出された方位を、パノラマ画像における代表位置の方位として決定する。また、例えば、チルチング操作または図１０（ｂ）の撮像動作が行われたと判定された場合には、パノラマ情報算出部２８０がそれらの撮像動作により生成された各撮像画像について取得された何れかの方位をパノラマ画像における代表位置の方位として決定する。
【０１１６】
このように、撮像動作判定部２７０が撮像装置１００の撮像動作状態を判定し、この判定結果に基づいて、パノラマ画像における代表位置の方位を決定する。これにより、撮影者が多様なパノラマ画像の撮像動作を行うような場合でも、撮像動作に応じた適切な方位を決定し、動画ファイルに記録することができる。
【０１１７】
この例では、パノラマ画像を生成するための各撮像画像のうち、時間軸における最初の撮像画像および最後の撮像画像について取得された方位および撮像位置を用いて撮像装置１００の撮像動作を判定する例を示した。しかしながら、例えば、ジャイロセンサ等の姿勢検出センサを用いて、撮像装置１００の撮像動作状態を判定するようにしてもよい。
【０１１８】
［撮像装置の動作例］
図１１は、本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。この例は、図９に示すパノラマ画像記録処理の変形例であり、撮像装置１００の撮像動作状態に応じてパノラマ画像における代表位置の方位を決定する例である。このため、図９に示す処理手順と同一の部分については、同一の符号を付して説明を省略する。
【０１１９】
シャッター操作が受け付けられた場合には（ステップＳ９０１）、方位取得部２１２が、撮像方向に関する方位（ＳＤ）を取得し（ステップＳ９０２）、撮像位置取得部２１３が、撮像位置（ＳＧ）に関する撮像位置情報を取得する（ステップＳ９０３）。
【０１２０】
続いて、シャッター操作が受け付けられた場合には（ステップＳ９０６）、方位取得部２１２が、撮像方向に関する方位（ＥＤ）を取得し（ステップＳ９１１）、撮像位置取得部２１３が、撮像位置（ＥＧ）に関する撮像位置情報を取得する（ステップＳ９１２）。そして、画像合成部２４０がパノラマ画像を生成した後に（ステップＳ９０７）、撮像動作判定部２７０が撮像位置（ＳＧ）および撮像位置（ＥＧ）を比較する（ステップＳ９１３）。
【０１２１】
撮像位置（ＳＧ）および撮像位置（ＥＧ）が略同一である場合には（ステップＳ９１３）、撮像動作判定部２７０が方位（ＳＤ）および方位（ＥＤ）を比較する（ステップＳ９１４）。方位（ＳＤ）および方位（ＥＤ）が全く異なる場合には（ステップＳ９１４）、撮像動作判定部２７０が、パンニング操作が行われたと判定し、ステップＳ９０８に進む。一方、方位（ＳＤ）および方位（ＥＤ）が略同一である場合には（ステップＳ９１４）、撮像動作判定部２７０が、チルチング操作が行われたと判定し、ステップＳ９１６に進む。
【０１２２】
また、撮像位置（ＳＧ）および撮像位置（ＥＧ）が全く異なる場合には（ステップＳ９１３）、撮像動作判定部２７０が方位（ＳＤ）および方位（ＥＤ）を比較する（ステップＳ９１５）。方位（ＳＤ）および方位（ＥＤ）が全く異なる場合には（ステップＳ９１４）、撮像動作判定部２７０が、パノラマ画像を生成する撮像モード以外の撮像モードで撮像動作が行われたと判定し、ステップＳ９１０に進む。一方、方位（ＳＤ）および方位（ＥＤ）が略同一である場合には（ステップＳ９１５）、撮像動作判定部２７０が、図１０（ｂ）に示す撮像動作が行われたと判定する。そして、パノラマ情報算出部２８０が、パノラマ画像を構成する各撮像画像について取得された何れかの方位を、そのパノラマ画像における代表位置の方位として決定する（ステップＳ９１６）。
【０１２３】
続いて、記録制御部２９０が、画像合成部２４０により生成されたパノラマ画像と、パノラマ情報算出部２８０により出力されたメタ情報とを画像ファイルとして画像記憶部２００に記録させ（ステップＳ９１０）、パノラマ画像記録処理の動作を終了する。
【０１２４】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、パノラマ画像を生成する際にそのパノラマ画像における代表位置の方位を算出する例を示した。ここで、パノラマ画像は、水平方向または垂直方向に長い画像となることが多いため、特定の用途（例えば、印刷等）に不向きとなることが想定される。このため、撮像装置により記録されたパノラマ画像を特定の用途に用いる場合には、例えば、パノラマ画像の一部を抽出し、この抽出された一部の画像を画像ファイルとするトリミング処理を行うことがある。例えば、水平方向に長いパノラマ画像についてトリミング処理を行う場合を想定する。例えば、水平方向に長いパノラマ画像における水平方向の端部付近の画像を抽出する場合には、この抽出された画像に含まれる被写体に関する方位は、そのパノラマ画像における中心位置の方位と大きく異なることが想定される。すなわち、パノラマ画像から抽出される画像の位置が中心位置からずれるほど、被写体の方位に誤差が生じることが想定される。
【０１２５】
そこで、本発明の第２の実施の形態では、このように方位に誤差が生じることを回避するため、トリミング処理により抽出された画像（トリミング画像）の中心位置と、パノラマ画像の中心位置との差に基づいて、トリミング画像の方位を算出する例を示す。
【０１２６】
また、このようにパノラマ画像における任意の位置における方位を計算により求めることができるため、例えば、中心位置の方位が特定方位となる画像を、パノラマ画像から抽出することができる。特定方位は、例えば、東西南北のように、９０度単位の方位や、南西、北東等のように、４５度単位の方位とすることができる。
【０１２７】
また、例えば、特定の対象物（例えば、人物の顔）が存在する位置の周辺画像を、方位を基準として指定してパノラマ画像から抽出することができる。
【０１２８】
なお、本発明の第２の実施の形態における内部構成については、本発明の第１の実施の形態における撮像装置１００と略同一であるため、ここでの説明を省略する。また、以下では、撮像装置１００と共通する部分については同一の符号を付して説明を省略し、撮像装置１００と異なる点を中心に説明する。
【０１２９】
［撮像装置の機能構成例］
図１２は、本発明の第２の実施の形態における撮像装置５００の機能構成例を示すブロック図である。撮像装置５００は、画像記憶部２００と、操作受付部２１０と、画像ファイル取得部５１０と、メタ情報取得部５２０と、特定方位位置算出部５３０と、特定対象物方位算出部５４０とを備える。また、撮像装置５００は、画像抽出部５５０と、方位算出部５６０と、表示制御部５７０と、表示部５８０と、記録制御部５９０とを備える。
【０１３０】
画像記憶部２００は、画像ファイルを記憶するものであり、記憶されている画像ファイルを画像ファイル取得部５１０に供給する。また、画像記憶部２００は、記録制御部５９０の制御に基づいて、画像抽出部５５０から出力された画像と、これに関する各情報とを画像ファイルとして記憶する。なお、画像記憶部２００は、図２に示す画像記憶部２００に対応する。
【０１３１】
操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を各部に出力する。例えば、操作受付部２１０は、パノラマ画像表示モードが設定されている場合において、パノラマ画像を表示させる表示指示操作が受け付けられた場合には、その操作内容を画像ファイル取得部５１０に出力する。また、例えば、操作受付部２１０は、パノラマ画像等の画像が表示されている場合において、表示されている画像について拡大縮小等の表示変更を指示する指示操作が受け付けられた場合には、その操作内容を表示制御部５７０に出力する。また、例えば、操作受付部２１０は、パノラマ画像が表示されている場合において、方位指定表示の指示操作が受け付けられた場合には、その操作内容を特定方位位置算出部５３０または特定対象物方位算出部５４０に出力する。また、例えば、操作受付部２１０は、特定方位が表示されている場合において、何れかの特定方位を選択する選択操作が受け付けられた場合には、その操作内容を画像抽出部５５０に出力する。また、例えば、操作受付部２１０は、パノラマ画像から抽出された画像が表示されている場合において、その画像を新たな画像ファイルとして記録する記録指示操作が受け付けられた場合には、その操作内容を記録制御部５９０に出力する。例えば、操作受付部２１０は、パノラマ画像から抽出された画像が表示されている場合において、トリミング処理の指示操作が受け付けられた場合には、その操作内容を画像抽出部５５０に出力する。なお、操作受付部２１０は、図２に示す操作受付部２１０に対応する。
【０１３２】
画像ファイル取得部５１０は、操作受付部２１０により受け付けられた操作入力に応じて、画像記憶部２００に記憶されている画像ファイルを取得し、取得された画像ファイルの内容を各部に供給するものである。例えば、画像ファイル取得部５１０は、取得された画像ファイルのパノラマ画像を画像抽出部５５０および表示制御部５７０に出力する。このパノラマ画像は、デコードされ解像度変換が行われて出力される。また、画像ファイル取得部５１０は、取得された画像ファイルのメタ情報をメタ情報取得部５２０に出力する。なお、画像ファイル取得部５１０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【０１３３】
メタ情報取得部５２０は、画像ファイル取得部５１０から出力されたメタ情報を取得するものであり、取得されたメタ情報の内容を各部に出力する。例えば、メタ情報取得部５２０は、取得されたメタ情報の内容を、特定方位位置算出部５３０、特定対象物方位算出部５４０、方位算出部５６０および記録制御部５９０に出力する。なお、メタ情報取得部５２０は、図１に示すＣＰＵ１６０に対応する。
【０１３４】
特定方位位置算出部５３０は、操作受付部２１０により受け付けられた操作入力に応じて、メタ情報取得部５２０から出力されたメタ情報に基づいて、パノラマ画像における特定方位と、この特定方位のパノラマ画像における位置とを検出するものである。そして、特定方位位置算出部５３０は、検出されたパノラマ画像における特定方位を表示制御部５７０に出力する。また、特定方位位置算出部５３０は、検出されたパノラマ画像における特定方位およびその位置を画像抽出部５５０に出力する。このパノラマ画像における特定方位およびその位置の検出方法については、図１７および図１８を参照して詳細に説明する。なお、特定方位位置算出部５３０は、図１に示すＣＰＵ１６０に対応する。
【０１３５】
特定対象物方位算出部５４０は、操作受付部２１０により受け付けられた操作入力に応じて、メタ情報取得部５２０から出力されたメタ情報に基づいて、パノラマ画像に含まれる特定対象物の位置および方位を検出するものである。そして、特定対象物方位算出部５４０は、検出された特定対象物の方位を表示制御部５７０に出力する。また、特定対象物方位算出部５４０は、パノラマ画像に含まれる特定対象物の位置および方位を画像抽出部５５０に出力する。なお、この例では、パノラマ画像の生成時に記録されたメタ情報に基づいて、特定対象物を検出する例を示すが、例えば、画像解析（例えば、図２に示す顔検出部２５０による顔検出処理）によりパノラマ画像から特定対象物を検出するようにしてもよい。なお、特定対象物方位算出部５４０は、図１に示すＣＰＵ１６０に対応する。また、特定対象物方位算出部５４０は、特許請求の範囲に記載の特定対象物検出部の一例である。
【０１３６】
画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、画像ファイル取得部５１０から出力されたパノラマ画像における一部の画像を抽出するものであり、抽出された画像を表示制御部５７０および記録制御部５９０に出力する。また、例えば、画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、抽出された画像のパノラマ画像における位置を方位算出部５６０に出力する。また、画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、特定方位位置算出部５３０から出力されたパノラマ画像における特定方位の位置の周辺画像を抽出し、この周辺画像および特定方位を記録制御部５９０に出力する。また、画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、特定対象物方位算出部５４０から出力されたパノラマ画像に含まれる特定対象物の位置の周辺画像を抽出し、この周辺画像およびその方位を記録制御部５９０に出力する。これらの画像抽出方法については、図１３乃至図２０等を参照して詳細に説明する。なお、画像抽出部５５０は、図１に示すＣＰＵ１６０に対応する。
【０１３７】
方位算出部５６０は、メタ情報取得部５２０から出力されたメタ情報と、画像抽出部５５０により抽出された画像のパノラマ画像における位置とに基づいて、その抽出された画像における代表位置の方位を算出するものである。そして、方位算出部５６０は、算出された方位を記録制御部５９０に出力する。なお、抽出された画像における代表位置の方位の算出方法については、図１４等を参照して詳細に説明する。なお、方位算出部５６０は、図１に示すＣＰＵ１６０に対応する。
【０１３８】
表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、各種画像を表示部５８０に表示させるものである。例えば、表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、画像ファイル取得部５１０から出力されたパノラマ画像を表示部５８０に表示させる。また、表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、画像抽出部５５０から出力された画像を表示部５８０に表示させる。また、表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、特定方位位置算出部５３０から出力されたパノラマ画像における特定方位、または、特定対象物方位算出部５４０から出力された特定対象物の方位を表示部５８０に表示させる。これらの表示例については、図１３、図１６、図１９等を参照して詳細に説明する。なお、表示制御部５７０は、図１に示すＣＰＵ１６０およびＬＣＤコントローラ１７１に対応する。
【０１３９】
表示部５８０は、表示制御部５７０の制御に基づいて、各種画像を表示する表示部である。表示部５８０は、図１に示すＬＣＤ１７２に対応する。
【０１４０】
記録制御部５９０は、操作受付部２１０により受け付けられた操作入力に応じて、画像抽出部５５０から出力された画像と、方位算出部５６０から出力されたその画像における代表位置の方位とを画像ファイルとして画像記憶部２００に記録させるものである。なお、この画像ファイルには、メタ情報取得部５２０から出力されたメタ情報の一部（抽出された画像に関するメタ情報）についても記録される。また、画像ファイルは、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて記録される。なお、記録制御部５９０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【０１４１】
［トリミング処理による画像の抽出例］
図１３は、本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【０１４２】
図１３（ａ）には、パノラマ画像４３１について各処理を行うためのメニュー画面６００を示す。メニュー画面６００には、例えば、パノラマ画像のインデックス画面（図示せず）において、ユーザ操作により選択されたパノラマ画像４３１が表示されているものとする。なお、パノラマ画像４３１は、図６（ｃ）等に示すパノラマ画像４３１と同一である。また、メニュー画面６００には、パノラマ画像４３１とともに、メニューボタン６０１と、トリミングボタン６０２と、方位指定表示ボタン６０３と、インデックス表示ボタン６０４とが表示される。なお、各図に示すボタンについては、内部に斜線が付されたボタンが選択状態であることを示す。また、以下では、各ボタンを選択する操作を、押下と称して説明する。
【０１４３】
メニューボタン６０１は、パノラマ画像４３１について各処理を行うための各項目を表示させる際に押下されるボタンである。例えば、メニュー画面６００において、メニューボタン６０１が押下されると、メニューボタン６０１の右側にトリミングボタン６０２、方位指定表示ボタン６０３およびインデックス表示ボタン６０４が表示される。
【０１４４】
トリミングボタン６０２は、パノラマ画像４３１についてトリミング処理を行う際に押下されるボタンである。このトリミング処理については、図１４および図１５を参照して詳細に説明する。
【０１４５】
方位指定表示ボタン６０３は、パノラマ画像４３１について方位を指定することにより、指定された方位の位置に対応する被写体を表示させる際に押下されるボタンである。この方位指定表示については、図１６乃至図２０を参照して詳細に説明する。
【０１４６】
インデックス表示ボタン６０４は、メニュー画面６００に表示させるパノラマ画像を選択するためのインデックス画面を表示させる際に押下されるボタンである。
【０１４７】
例えば、表示部５８０にメニュー画面６００が表示されている状態で、ユーザが、メニューボタン６０１を押下し、トリミングボタン６０２を押下すると、図１３（ｂ）に示すトリミング処理画面６１０が表示される。このトリミング処理画面６１０は、図１３（ａ）に示すメニュー画面６００に表示されているパノラマ画像４３１についてトリミング処理の行うための画面である。トリミング処理画面６１０には、パノラマ画像４３１とともに、決定ボタン６０５および戻るボタン６０６が表示される。
【０１４８】
決定ボタン６０５は、トリミング処理により抽出する画像の範囲を決定する際に押下されるボタンである。戻るボタン６０６は、図１３（ａ）に示すメニュー画面６００に戻る際に押下されるボタンである。
【０１４９】
ここで、図１３（ｂ）に示すトリミング処理画面６１０において、トリミング処理により抽出する画像の範囲を指定する指定操作について説明する。例えば、図１３（ｂ）に示すように、トリミング処理により抽出する画像として、矩形６１１内の画像を指定する場合について説明する。例えば、表示部５８０としてタッチパネルを採用している場合には、矩形６１１に相当する範囲をユーザが指でなぞることにより、矩形６１１を指定することができる。また、矩形６１１内の領域の中心位置をユーザが指で押下し、この押下の回数に応じて矩形の範囲を順次拡大させていくことにより、矩形６１１を指定することができる。また、矩形６１１の対角となる２点をユーザが指で押下し、この２点により矩形６１１を指定することができる。
【０１５０】
このように、抽出対象となる画像の範囲が指定され、この指定された画像についてトリミング処理を行う場合には、ユーザが決定ボタン６０５を押下し、抽出対象となる画像の範囲を決定する。このように抽出対象となる画像の範囲を決定する操作入力がされると、画像抽出部５５０が、決定された範囲内に含まれる画像を抽出する。そして、記録制御部５９０が、抽出された画像（トリミング画像）を新たな画像ファイルとして画像記憶部２００に記録させる。ここで、新たな画像ファイルとして記録されるトリミング画像に関する方位は、パノラマ画像における中心位置の方位とは異なることが多い。そこで、以下では、このように抽出されたトリミング画像の画像ファイルに記録する方位の算出方法について説明する。
【０１５１】
［トリミング画像の方位算出例］
図１４は、本発明の第２の実施の形態における方位算出部５６０によるトリミング画像における代表位置の方位算出方法を概略的に示す図である。図１４（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図８（ａ）に示すパノラマ画像４３１と同一のパノラマ画像であり、共通する部分には同一の符号を付す。この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、トリミング画像における代表位置の方位を算出する例を示す。例えば、図１６（ａ）に示す例では、撮像画像４０１における中心位置４２１について取得された方位を用いて、矩形６１１内の画像における中心位置４３３の方位を算出する例を示す。ここで、パノラマ画像４３１における中心位置４３２から、矩形６１１内の画像における中心位置４３３までの距離を距離Ｈ２とする。
【０１５２】
図１４（ｂ）には、パノラマ画像４３１を構成する撮像画像４０１乃至４０４を生成する場合における撮像装置１００の撮像動作状態の遷移を示す。なお、図１４（ｂ）に示す例は、図８（ｂ）に示す例と略同一である。このため、共通する部分には、同一の符号を付して説明を省略する。
【０１５３】
図１４（ｂ）において、図１４（ａ）に示すＨ、Ｈ０、Ｈ１、Ｈ２に対応する部分には、それぞれ同一の符号を付す。ここで、パノラマ画像４３１における中心位置４３２と、矩形６１１内の画像における中心位置４３３とのなす角度をθ２とすると、角度θ２は、次の式４を用いて求めることができる。
θ２＝（θ／Ｈ）×Ｈ２ …式４
【０１５４】
ここで、画角θは、上述した式１を用いて求めることができる。このように算出されたθ２を用いて、矩形６１１内の画像における中心位置４３３の方位を算出する。具体的には、撮像装置５００の位置を基準として、パノラマ画像４３１における中心位置４３２の方位をθ２だけ回転させた場合における値が、矩形６１１内の画像における中心位置４３３の方位として算出される。なお、方位を特定するための数値の算出方法については、図８に示す例と同様であるため、ここでの説明を省略する。このように、撮像部の特性情報と、パノラマ画像における代表位置と、代表位置の方位と、トリミング画像における代表位置とに基づいて、トリミング画像における代表位置の方位を算出することができる。
【０１５５】
図１５は、本発明の第２の実施の形態における画像抽出部５５０により生成されるトリミング画像と、画像記憶部２００に記憶されるトリミング画像の画像ファイルとの関係を模式的に示す図である。図１５（ａ）には、トリミング処理の対象となるパノラマ画像４３１を示し、図１５（ｂ）には、パノラマ画像４３１から抽出されたトリミング画像６２０を示す。
【０１５６】
図１５（ｃ）には、トリミング画像６２０の画像ファイル６３０を模式的に示す。画像ファイル６３０は、画像抽出部５５０により生成されたトリミング画像の画像ファイルであり、付属情報６３１および画像情報６３２が記録される。なお、画像ファイル６３０の構成は、図４に示す画像ファイル３３０と同様であるため、ここでの詳細な説明を省略する。例えば、付属情報３３１に記録されるメタ情報として、方位算出部５６０により算出されたトリミング画像における中心位置の方位が記録される。なお、付属情報３３１に記録されるメタ情報として、図３で説明したものと同様のものを記録することができる。
【０１５７】
以上で示したように、パノラマ画像における代表位置の方位を用いて、トリミング画像における代表位置の方位を算出することができる。これにより、トリミング画像の代表位置の方位の誤差を低減させることができる。
【０１５８】
なお、この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、トリミング画像における代表位置の方位を算出する例を示したが、パノラマ角を用いてその方位を算出するようにしてもよい。例えば、図１４（ｂ）に示すように、パノラマ画像４３１の水平方向の長さをＨ０とし、パノラマ画像４３１のパノラマ角をθ０とする。また、パノラマ画像４３１における中心位置４３２と、矩形６１１内の画像における中心位置４３３とのなす角度をθ２とすると、角度θ２は、次の式５を用いて求めることができる。
θ２＝（θ０／Ｈ０）×Ｈ２ …式５
【０１５９】
ここで、パノラマ角θ０は、上述した式３により求めることができ、図４に示すように、パノラマ画像４３１の画像ファイルに記録されている。このように、パノラマ画像における水平方向のサイズと、パノラマ角と、パノラマ画像における代表位置と、代表位置の方位と、トリミング画像における代表位置とに基づいて、トリミング画像における代表位置の方位を算出することができる。
【０１６０】
［方位指定による画像の抽出例］
以上では、トリミング処理により抽出される画像の範囲をユーザによる手動操作により指定する例を示した。ここで、パノラマ画像の画像ファイルには、パノラマ画像における中心位置の方位が記録されているため、パノラマ画像における特定方位（例えば、東西南北）についても計算により求めることができる。このため、例えば、パノラマ画像における抽出対象範囲を特定方位により指定することができる。そこで、以下では、パノラマ画像に含まれる被写体のうち、特定方位に位置する被写体を含む画像を抽出する例について説明する。
【０１６１】
図１６は、本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。図１６（ａ）には、特定方位を指定するためのメニュー画面６００を示す。なお、メニュー画面６００におけるメニューボタン６０１、トリミングボタン６０２、方位指定表示ボタン６０３およびインデックス表示ボタン６０４については、図１３（ａ）に示す例と同様であるため、同一の符号を付して、ここでの説明を省略する。また、この例では、東、西、南、北、南西、北東等のように、４５度単位の方位を特定方位とする例を示す。
【０１６２】
例えば、表示部５８０にメニュー画面６００が表示されている状態で、ユーザが、メニューボタン６０１を押下し、方位指定表示ボタン６０３を押下する。この方位指定表示ボタン６０３の押下により、メニュー画面６００に表示されているパノラマ画像４３１に含まれる被写体の特定方位が検出され、検出された特定方位が特定方位表示領域６０７に表示される。図１６（ａ）に示す例では、例えば、パノラマ画像４３１の特定方位として、「北」「北西」が検出された場合を示す。また、図１６（ａ）に示す表示例では、パノラマ画像４３１の特定方位として検出された「北西」を中心位置とする画像の範囲を点線の矩形６４１でパノラマ画像４３１上に示し、「北」を中心位置とする画像の範囲を点線の矩形６４２でパノラマ画像４３１上に示す。この特定方位の検出方法については、図１７および図１８を参照して詳細に説明する。
【０１６３】
例えば、メニュー画面６００において方位指定表示ボタン６０３を押下した後に表示される特定方位表示領域６０７における特定方位「北」「北西」のうち、ユーザが「北西」の部分を押下したものとする。このように特定方位表示領域６０７における特定方位「北西」の部分が押下されると、図１６（ｂ）に示すように、押下された特定方位「北西」に対応する画像６５１が、指定方位画像表示画面６５０に表示される。すなわち、図１６（ａ）に示すパノラマ画像４３１における点線の矩形６４１に含まれる画像が、指定方位画像表示画面６５０に表示される。この場合に、例えば、押下された特定方位「北西」に対応する画像６５１とともに、特定方位「北西」に関連するメッセージ（例えば、北西方向の被写体です）が指定方位画像表示画面６５０に表示される。また、指定方位画像表示画面６５０には、画像６５１とともに、トリミングボタン６５２および戻るボタン６５３が表示される。
【０１６４】
トリミングボタン６５２は、指定方位画像表示画面６５０に表示されている画像６５１についてトリミング処理を行う際に押下されるボタンである。すなわち、トリミングボタン６５２を押下することにより、この押下の際に指定方位画像表示画面６５０に表示されている画像についてトリミング処理が行われ、その画像の画像ファイルが記録される。この場合には、その画像の方位として、その画像に対応する特定方位が記録される。なお、トリミング処理については、上述した処理と同様であるため、ここでの説明を省略する。戻るボタン６５３は、図１６（ａ）に示すメニュー画面６００に戻る際に押下されるボタンである。
【０１６５】
図１７は、本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、特定方位の位置を検出する例を示す。
【０１６６】
図１７（ａ）には、撮像時における撮像位置６６０を基準とした場合における方位（東西南北）を円６６１上に示す。図１７に示す例では、北を０度（３６０度）とし、東を９０度とし、南を１８０度とし、西を２７０度とした場合において、東、西、南、北、南西、北東等のように、４５度単位の方位を特定方位として検出する例を示す。これらの特定方位を円６６１上に白丸（特定方位６６２乃至６６９）で示す。
【０１６７】
図１７（ｂ）には、パノラマ画像６７０と、特定方位６６２乃至６６９との関係を模式的に示す。パノラマ画像６７０は、例えば、中心位置の方位が、北６６２と北西６６９との間の方位となるパノラマ画像である。図１７（ｂ）に示す例では、パノラマ画像６７０を円６６１上に仮想的に配置して、パノラマ画像６７０を上面から見た場合における位置関係を模式的に示す。なお、図１７（ｂ）に示す円６６１上において、パノラマ画像６７０に対応する範囲を太線で示す。また、パノラマ画像６７０に対応する太線上における中心位置６７１および特定方位を白抜きの太丸で示す。ここで、パノラマ画像６７０に含まれる特定方位は、図１７（ｂ）に示すように、４つ（特定方位６６２、６６３、６６８、６６９）となる。上述したように、パノラマ画像６７０における中心位置６７１の方位に基づいて任意の方位を算出することができるため、例えば、パノラマ画像６７０における両端部６７２および６７３の方位を算出することが可能である。そこで、例えば、パノラマ画像６７０における両端部６７２および６７３の方位を算出し、この両端部６７２および６７３の方位の間に存在する特定方位を検出することができる。そして、このように検出された特定方位のパノラマ画像６７０における位置を算出する。例えば、パノラマ画像６７０の水平方向の長さをＨ０とし、パノラマ画像６７０における中心位置６７１および特定方位（北）の位置６６２の水平方向の距離をＨ３とする。また、撮像位置６６０を基準とした場合における中心位置６７１の方位と、北とのなす角を角θ３とする。また、パノラマ画像６７０を生成する際に最初に生成された撮像画像の水平方向の長さをＨとする。そして、以下の式６を用いて、中心位置６７１および北の位置６２２の水平方向の距離Ｈ３が算出される。
Ｈ３＝θ３／（θ／Ｈ） …式６
【０１６８】
ここで、画角θは、上述した式１を用いて求めることができる。このように算出された距離Ｈ３と、パノラマ画像６７０における中心位置６７１とに基づいて、パノラマ画像６７０における特定方位（北）の位置６６２が検出される。このように検出された特定方位（北）の位置６６２を用いて、パノラマ画像６７０に含まれる被写体のうち、撮像装置５００が北方向を向いた状態で撮像された被写体を表示させることができる。例えば、撮像装置５００が北方向を向いた状態で撮像された被写体を表示させる場合には、パノラマ画像６７０における特定方位（北）の位置６６２を含む一定の範囲に含まれる画像が画像抽出部５５０により抽出される。そして、この抽出された画像が表示部５８０に表示される。また、パノラマ画像６７０上に存在する他の特定方位についても同様に検出することができる。
【０１６９】
なお、この例では、パノラマ画像６７０における両端部６７２および６７３の間に存在する特定方位を検出し、この検出された特定方位に対応する位置を検出する例を示した。しかしながら、例えば、全ての特定方位の位置を検出し、この検出された位置のうち、パノラマ画像に含まれる位置のみを特定方向の位置として検出するようにしてもよい。また、この例では、４５度単位の方位を特定方位として検出する例を示したが、例えば、東西南北のように、９０度単位の方位を特定方位として検出するようにしてもよい。また、４５度単位の方位よりも、さらに細かい単位を特定方位として検出するようにしてもよい。
【０１７０】
図１８は、本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。この例は、図１６（ａ）に示すパノラマ画像４３１について、特定方位およびその位置を検出する例である。なお、特定方位およびその位置の検出方法については、図１７に示す例と同様であるため、ここでの詳細な説明を省略する。なお、図１８（ｂ）に示す地図記号６８０は、東西南北を表す地図記号である。
【０１７１】
図１８（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図８（ａ）に示すパノラマ画像４３１と同一のパノラマ画像であり、共通する部分には同一の符号を付す。ここで、パノラマ画像４３１に含まれる特定方位は、図１８（ｂ）に示すように、２つ（特定方位（北西）６８１および特定方位（北）６８２）であるものとする。例えば、パノラマ画像４３１の水平方向の長さをＨ０とし、パノラマ画像４３１における中心位置４３２および特定方位（北西）の位置６８１の水平方向の距離をＨ４とする。また、撮像装置５００の撮像位置を基準とした場合における中心位置４３２の方位と、北西とのなす角を角θ４とする。また、パノラマ画像４３１を生成する際に最初に生成された撮像画像の水平方向の長さをＨとする。この場合には、上述の式６を用いて、中心位置４３２および北西の位置６８１の水平方向の距離Ｈ４が算出される。同様に、パノラマ画像４３１における中心位置４３２および特定方位（北）の位置６８２の水平方向の距離Ｈ５についても算出することができる。このように算出された距離Ｈ４およびＨ５と、パノラマ画像４３１における中心位置４３２とに基づいて、パノラマ画像４３１における特定方位（北および北西）の位置６８１および６８２が検出される。
【０１７２】
また、このように検出された特定方位（北および北西）が、図１６（ａ）に示す特定方位表示領域６０７に表示される。ここで、例えば、図１６（ａ）に示すように、特定方位表示領域６０７に表示されている特定方位（北および北西）のうち、特定方位（北西）が指定された場合を想定する。この場合には、パノラマ画像４３１における特定方位（北西）の位置６８２を含む一定の範囲（矩形６４２）に含まれる画像が画像抽出部５５０により抽出される。そして、図１６（ｂ）に示すように、その抽出された画像６５１が指定方位画像表示画面６５０に表示される。
【０１７３】
以上で示したように、パノラマ画像における代表位置の方位を用いて、特定方位の位置を検出することができる。これにより、ユーザの好みの画像を特定方位に基づいて指定することができる。
【０１７４】
なお、この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、特定方位の位置を検出する例を示したが、パノラマ角を用いてその位置を算出するようにしてもよい。例えば、図１８（ｂ）に示すように、パノラマ画像４３１の水平方向の長さをＨ０とし、パノラマ画像４３１のパノラマ角をθ０とする。また、パノラマ画像４３１における中心位置４３２および特定方位（北西）の位置６８１の水平方向の距離をＨ４とする。また、撮像装置５００の撮像位置を基準とした場合における中心位置４３２の方位と、北西とのなす角を角θ４とすると、角度Ｈ４は、次の式７を用いて求めることができる。
Ｈ４＝θ４／（θ０／Ｈ０） …式７
【０１７５】
ここで、パノラマ角θ０は、上述した式３により求めることができ、図４に示すように、パノラマ画像４３１の画像ファイルに記録されている。
【０１７６】
［特定対象物を含む方位の指定による画像の抽出例］
以上では、パノラマ画像における特定方位を指定することにより、その指定された特定方位に対応する被写体を含む画像を抽出する例を示した。ここで、パノラマ画像に含まれる一部の画像を抽出する場合に、パノラマ画像における方位を基準とするよりも、パノラマ画像に含まれる被写体の種類を基準とする方が、ユーザの好みを反映させることができることも想定される。例えば、人物の顔等の特定対象物を指定して、この特定対象物を含む被写体を抽出することができると考えられる。そこで、以下では、パノラマ画像に含まれる被写体のうち、特定対象物を含む被写体に対応する方位を検出する例について説明する。
【０１７７】
図１９は、本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。図１９（ａ）には、特定対象物を含む被写体に対応する方位を指定するためのメニュー画面６００を示す。なお、メニュー画面６００におけるメニューボタン６０１、トリミングボタン６０２およびインデックス表示ボタン６０４については、図１６（ａ）に示す例と同様であるため、同一の符号を付して、ここでの説明を省略する。
【０１７８】
例えば、表示部５８０にメニュー画面６００が表示されている状態で、ユーザが、メニューボタン６０１を押下し、方位指定表示ボタン６０３を押下する。この方位指定表示ボタン６０３の押下により、メニュー画面６００に表示されているパノラマ画像４３１に含まれる被写体のうち特定対象物（例えば、人物の顔）が検出され、検出された特定対象物を含む被写体の方位が特定対象物方位表示領域６０９に表示される。
【０１７９】
図１９（ａ）に示す例では、例えば、パノラマ画像４３１に含まれる人物の顔４１１および４１３が検出された場合を示す。また、図１９（ａ）に示す表示例では、人物の顔４１１を含む画像の範囲を点線の矩形６４３でパノラマ画像４３１上に示し、人物の顔４１３を含む画像の範囲を点線の矩形６４４でパノラマ画像４３１上に示す。
【０１８０】
例えば、メニュー画面６００において方位指定表示ボタン６０３を押下した後に表示される特定対象物方位表示領域６０９における特定対象物を含む方位「北北西」「西北西」のうち、ユーザが「北北西」の部分を押下したものとする。このように特定対象物方位表示領域６０９における特定対象物を含む方位「北北西」の部分が押下されると、図１９（ｂ）に示すように、押下された方位「北北西」に対応する画像６５５が、特定対象物画像表示画面６５４に表示される。すなわち、図１９（ａ）に示すパノラマ画像４３１における点線の矩形６４４に含まれる画像が、特定対象物画像表示画面６５４に表示される。この場合に、例えば、押下された方位「北北西」に対応する画像６５５とともに、方位「北北西」および特定対象物に関連するメッセージ（例えば、北北西方向の人物です。）が特定対象物画像表示画面６５４に表示される。また、特定対象物画像表示画面６５４には、画像６５５とともに、トリミングボタン６５２および戻るボタン６５３が表示される。なお、トリミングボタン６５２および戻るボタン６５３については、図１６（ｂ）に示すものと同一であるため、ここでの説明を省略する。
【０１８１】
図２０は、本発明の第２の実施の形態における特定対象物方位算出部５４０により各特定対象物の方位を検出する特定対象物の方位検出方法を概略的に示す図である。この例は、図１９（ａ）に示すパノラマ画像４３１について、特定対象物を含む位置の方位を検出する例である。なお、パノラマ画像における位置の方位算出方法については、上述した方位算出方法と同様であるため、ここでの詳細な説明を省略する。
【０１８２】
図２０（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図８（ａ）に示すパノラマ画像４３１と同一のパノラマ画像であり、共通する部分には同一の符号を付す。ここで、パノラマ画像４３１に含まれる特定対象物は、図２０（ａ）に示すように、２つ（人物の顔４１１および４１３）となる。特定対象物方位算出部５４０は、例えば、パノラマ画像４３１の画像ファイルに記録されている顔情報に基づいて、パノラマ画像４３１に含まれる人物の顔４１１および４１３を検出し、これらの位置およびサイズを特定する。このように特定された人物の顔４１１の位置６８３に基づいて、特定対象物方位算出部５４０は、パノラマ画像４３１における中心位置４３２から人物の顔４１１の位置６８３までの距離Ｈ６を算出する。同様に、特定対象物方位算出部５４０は、パノラマ画像４３１における中心位置４３２から人物の顔４１３の位置６８４までの距離Ｈ７を算出する。このように算出された距離Ｈ６に基づいて、特定対象物方位算出部５４０は、式４または式５を用いて、パノラマ画像４３１における人物の顔４１１の位置６８３の方位を算出する。同様に、特定対象物方位算出部５４０は、式４または式５を用いて、パノラマ画像４３１における人物の顔４１３の位置６８４の方位を算出する。ここで、このように算出された特定対象物の位置の方位として、例えば、東西南北のように、９０度単位の方位や、南西、北東等のように、４５度単位の方位に分類することができる。この例では、南南西、北北東等のように、３０度単位の方位に分類する例を示す。例えば、人物の顔４１１の位置６８３の方位が「西北西」に分類され、人物の顔４１３の位置６８４の方位が「北北西」に分類される。
【０１８３】
このように分類された方位（北北西および西北西）が、図１９（ａ）に示す特定対象物方位表示領域６０９に表示される。ここで、例えば、図１９（ａ）に示すように、特定対象物方位表示領域６０９に表示されている方位（北北西および西北西）のうち、方位（北北西）が指定された場合を想定する。この場合には、パノラマ画像４３１における方位（北北西）の位置６８４を含む一定の範囲（矩形６４４）に含まれる画像が画像抽出部５５０により抽出される。そして、図１９（ｂ）に示すように、その抽出された画像６５５が指定対象物画像表示画面６５２に表示される。
【０１８４】
以上で示したように、パノラマ画像における代表位置の方位を用いて、特定対象物の位置の方位を検出することができる。これにより、ユーザの好みの特定対象物を含む画像を方位に基づいて指定することができる。なお、方位指定表示として、特定方位を指定するか、特定対象物を含む画像を方位に基づいて指定するかを、ユーザによる手動操作により設定するようにしてもよい。また、複数の特定対象物（例えば、人物の通常の顔、人物の笑顔、ペット（犬や猫））をユーザによる手動操作により選択可能とし、選択された特定対象物の位置の方位を検出するようにしてもよい。
【０１８５】
このように、本発明の第２の実施の形態によれば、パノラマ画像における代表位置の方位を用いて、抽出された画像における代表位置の方位を算出し、この算出された方位と抽出された画像とを画像ファイルに記録することができる。このため、例えば、パノラマ画像の一部分が抽出された画像についても正確な方位を記録することができる。これにより、例えば、その抽出された画像の画像ファイルを用いて、その画像を地図上に重ねて表示する際に、その画像に含まれる被写体の撮像時における撮像方向に基づいて、その画像を地図上に配置することができる。この場合に、撮像方向の誤差を低減させることができる。
【０１８６】
［撮像装置の動作例］
図２１は、本発明の第２の実施の形態における撮像装置５００によるパノラマ画像の画像抽出処理の処理手順を示すフローチャートである。この例では、パノラマ画像表示モードが設定されている場合において、インデックス画面において指定されたパノラマ画像について画像抽出処理を行う例を示す。また、方位指定表示として、特定方位を表示する例を示す。
【０１８７】
最初に、パノラマ画像を表示させる表示指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２１）。例えば、パノラマ画像のインデックス画面において、ユーザにより所望のパノラマ画像が選択されることにより表示指示操作が行われる。その表示指示操作が受け付けられていない場合には、その表示指示操作が受け付けられるまで、監視を継続する。その表示指示操作が受け付けられた場合には（ステップＳ９２１）、画像ファイル取得部５１０が、その表示指示操作に応じて、画像記憶部２００に記憶されている画像ファイルを取得する（ステップＳ９２２）。この場合に、画像ファイル取得部５１０が、取得された画像ファイルのパノラマ画像をデコードして解像度変換を行い、表示制御部５７０に出力する。続いて、表示制御部５７０が、その取得された画像ファイルのパノラマ画像を表示部５８０に表示させる（ステップＳ９２３）。
【０１８８】
続いて、表示部５８０に表示されているパノラマ画像以外の他のパノラマ画像を表示させる表示指示操作（いわゆる、ファイル送り操作）が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２４）。その表示指示操作が受け付けられていない場合には、ステップＳ９２５に進み、その表示指示操作が受け付けられた場合には、ステップＳ９２２に戻る。
【０１８９】
続いて、表示部５８０に表示されている画像について、拡大縮小（いわゆる、ズーム倍率の変更）や表示位置を変更する指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２５）。その指示操作が受け付けられた場合には（ステップＳ９２５）、表示制御部５７０が、その指示操作に応じて、表示部５８０に表示されている画像について表示変更処理を行い（ステップＳ９２６）、ステップＳ９４０に進む。
【０１９０】
その指示操作が受け付けられていない場合には（ステップＳ９２５）、方位指定表示の指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２７）。例えば、図１３に示す方位指定表示ボタン６０３が押下されることにより、方位指定表示の指示操作が行われる。方位指定表示の指示操作が受け付けられた場合には（ステップＳ９２７）、特定方位位置算出部５３０が、表示部５８０に表示されているパノラマ画像における特定方位を検出する（ステップＳ９２８）。続いて、特定方位位置算出部５３０が、その検出された特定方位のパノラマ画像における位置を検出する（ステップＳ９２９）。続いて、表示制御部５７０が、検出された特定方位を表示部５８０に表示される（ステップＳ９３０）。例えば、図１６（ａ）に示す特定方位表示領域６０７に、検出された特定方位が表示される。
【０１９１】
続いて、表示部５８０に表示されている特定方位を選択する選択操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３１）。その選択操作が受け付けられた場合には（ステップＳ９３１）、画像抽出部５５０が、選択された特定方位のパノラマ画像における位置を含む一定の範囲に含まれる画像を抽出する。そして、表示制御部５７０が、抽出された画像を表示部５８０に表示させる（ステップＳ９３２）。続いて、表示部５８０に表示されている画像を、新たな画像ファイルとして記録する記録指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３３）。例えば、図１６（ｂ）に示すトリミングボタン６５２が押下されることにより、指定方位画像表示画面６５０に表示されている画像６５１を記録する記録指示操作が行われる。その記録指示操作が受け付けられた場合には（ステップＳ９３３）、記録制御部５９０が、画像抽出部５５０により抽出された画像と、この画像における代表位置の方位（特定方位）とを画像ファイルとして画像記憶部２００に記録させる（ステップＳ９３４）。この場合に、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて画像ファイルが記録される。そして、ステップＳ９４０に進む。なお、選択操作が受け付けられない場合（ステップＳ９３１）、または、記録指示操作が受け付けられない場合にも（ステップＳ９３３）、ステップＳ９４０に進む。
【０１９２】
また、方位指定表示の指示操作が受け付けられない場合には（ステップＳ９２７）、表示部５８０に特定方位が表示されているか否かが判断される（ステップＳ９３５）。表示部５８０に特定方位が表示されている場合には、ステップＳ９３１に進む。一方、表示部５８０に特定方位が表示されていない場合には（ステップＳ９３５）、パノラマ画像から抽出された画像（特定方位の画像）が表示部５８０に表示されているか否かが判断される（ステップＳ９３６）。その抽出された画像が表示されている場合には（ステップＳ９３６）、ステップＳ９３３に進む。一方、その抽出された画像が表示されていない場合には（ステップＳ９３６）、トリミング処理の指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３７）。例えば、図１３（ｂ）に示すトリミング処理画面６１０において、画像の範囲が指定され、決定ボタン６０５が押下されることにより、トリミング処理の指示操作が行われる。トリミング処理の指示操作が受け付けられた場合には（ステップＳ９３７）、画像抽出部５５０が、指定された範囲に含まれる画像を抽出し、表示制御部５７０が、抽出された画像を表示部５８０に表示させる（ステップＳ９３８）。続いて、方位算出部５６０が、その抽出された画像における代表位置の方位を算出し（ステップＳ９３９）、ステップＳ９３３に進む。そして、その記録指示操作が受け付けられた場合には（ステップＳ９３３）、記録制御部５９０が、画像抽出部５５０により抽出された画像と、この画像における代表位置の方位とを画像ファイルとして画像記憶部２００に記録させる（ステップＳ９３４）。
【０１９３】
また、トリミング処理の指示操作が受け付けられていない場合には（ステップＳ９３７）、パノラマ画像の表示終了指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３７）。パノラマ画像の表示終了指示操作が受け付けられていない場合には、ステップＳ９２４に戻り、パノラマ画像の表示終了指示操作が受け付けられた場合には、パノラマ画像の画像抽出処理の動作を終了する。
【０１９４】
＜３．第３の実施の形態＞
本発明の第２の実施の形態では、パノラマ画像に含まれる一部の画像を抽出して表示またはトリミング処理等を行う例を示した。ここで、上述したように、パノラマ画像は、比較的広い範囲の被写体を含む画像であり、撮像位置を基準として比較的広い範囲の方位を含むものが想定される。このため、パノラマ画像を表示させる場合に、例えば、パノラマ画像における方位を考慮して表示させることにより、パノラマ画像の特性を活かした表示を行うことができると考えられる。また、例えば、パノラマ画像を地図上に表示させる場合には、撮像時における撮像位置を基準として、パノラマ画像の上側を撮像方向に向けた状態に配置することが考えられる。この場合においても、例えば、パノラマ画像における方位を考慮して表示させることにより、パノラマ画像の特性を活かした表示を行うことができると考えられる。
【０１９５】
そこで、以下では、パノラマ画像を表示する場合に、パノラマ画像における各方位に基づいてパノラマ画像の特性を活かした表示を行う例を示す。
【０１９６】
［撮像装置の構成例］
図２２は、本発明の第３の実施の形態における撮像装置７００の機能構成例を示すブロック図である。撮像装置７００は、画像記憶部２００と、地図データ記憶部７１０と、画像ファイル取得部７２０と、撮像位置取得部７３０と、特定対象物検出部７４０と、方位取得部７５０とを備える。また、撮像装置７００は、画像変換部７６０と、地図データ取得部７７０と、表示制御部７８０と、表示部７９０とを備える。
【０１９７】
画像記憶部２００は、画像ファイルを記憶するものであり、記憶されている画像ファイルを画像ファイル取得部７２０に供給する。なお、画像記憶部２００は、図２に示す画像記憶部２００に対応する。
【０１９８】
操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を画像ファイル取得部７２０、画像変換部７６０および表示制御部７８０に出力する。例えば、操作受付部２１０は、画像表示モードが設定されている場合において、画像表示を指示する表示指示操作が受け付けられた場合には、その操作内容を画像ファイル取得部７２０に出力する。また、操作受付部２１０は、画像表示モードが設定されている場合において、表示部７９０に表示されるパノラマ画像の変換方法を指定する指定操作が受け付けられた場合には、その操作内容を画像変換部７６０に出力する。また、操作受付部２１０は、画像表示モードが設定されている場合において、表示部７９０に表示されている画像の倍率を変更する操作入力等が受け付けられた場合には、その操作内容を表示制御部７８０に出力する。なお、操作受付部２１０は、図２に示す操作受付部２１０に対応する。
【０１９９】
地図データ記憶部７１０は、表示部７９０に地図を表示するための地図データを記憶するものであり、記憶されている地図データを地図データ取得部７７０に供給する。例えば、地図データ記憶部７１０に記憶されている地図データは、緯度および経度により特定されるデータであり、一定の緯度幅および経度幅を単位として、複数の領域に区切られている。なお、地図データ記憶部７１０は、図１に示すリムーバブルメディア１９２に対応する。
【０２００】
画像ファイル取得部７２０は、操作受付部２１０により受け付けられた表示指示操作に応じて、画像記憶部２００に記憶されている画像ファイルを取得するものである。そして、画像ファイル取得部７２０は、取得された画像ファイルの画像の種類に応じて、その画像を画像変換部７６０または表示制御部７８０に出力する。例えば、画像ファイル取得部７２０は、取得された画像ファイルの画像がパノラマ画像である場合には、そのパノラマ画像を画像変換部７６０に出力する。一方、取得された画像ファイルの画像がパノラマ画像以外の画像である場合には、その画像を表示制御部７８０に出力する。これらの画像ファイルの画像は、デコードされ解像度変換が行われて出力される。また、画像ファイル取得部７２０は、取得された画像ファイルのメタ情報を、撮像位置取得部７３０、特定対象物検出部７４０および方位取得部７５０に出力する。なお、画像ファイル取得部７２０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【０２０１】
撮像位置取得部７３０は、画像ファイル取得部７２０から出力されたメタ情報に基づいて、そのメタ情報に対応する画像に関する撮像位置を取得するものであり、取得された撮像位置を地図データ取得部７７０に出力する。なお、撮像位置取得部７３０は、図１に示すＣＰＵ１６０に対応する。
【０２０２】
特定対象物検出部７４０は、画像ファイル取得部７２０から出力されたメタ情報に基づいて、そのメタ情報に対応する画像に含まれる特定対象物を検出するものであり、検出された特定対象物に関する特定対象物情報を画像変換部７６０に出力する。なお、この例では、パノラマ画像の生成時に記録されたメタ情報に基づいて、特定対象物を検出する例を示すが、例えば、画像解析によりパノラマ画像から特定対象物を検出するようにしてもよい。なお、特定対象物検出部７４０は、図１に示すＣＰＵ１６０に対応する。
【０２０３】
方位取得部７５０は、画像ファイル取得部７２０から出力されたメタ情報に基づいて、そのメタ情報に対応する画像における代表位置の方位を取得するものであり、取得された方位を画像変換部７６０に出力する。なお、方位取得部７５０は、図１に示すＣＰＵ１６０に対応する。
【０２０４】
画像変換部７６０は、操作受付部２１０により受け付けられた指定操作に応じて、画像ファイル取得部７２０から出力されたパノラマ画像を変換するものであり、変換後のパノラマ画像を表示制御部７８０に出力する。例えば、画像変換部７６０は、画像ファイル取得部７２０から出力されたパノラマ画像を略扇形または分割による複数の画像に変換する。この場合に、例えば、画像変換部７６０は、地図データ取得部７７０から出力された地図データに対応する地図における方位と、方位取得部７５０から出力されたパノラマ画像における代表位置の方位とが一致するようにパノラマ画像を変換する。また、例えば、画像変換部７６０は、特定対象物検出部７４０から出力された特定対象物情報に基づいて、方位取得部７５０から出力されたパノラマ画像に含まれる特定対象物が歪んだり、分離されたりしないようにパノラマ画像を変換する。なお、パノラマ画像の変換については、図２３乃至図３１等を参照して詳細に説明する。また、画像変換部７６０は、図１に示すＣＰＵ１６０に対応する。
【０２０５】
地図データ取得部７７０は、撮像位置取得部７３０から出力された撮像位置に基づいて、地図データ記憶部７１０から地図データを取得するものであり、取得された地図データを表示制御部７８０に出力する。なお、地図データ取得部７７０は、図１に示すＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。また、例えば、無線ＬＡＮ等のネットワークを介して他の装置に記憶されている地図データを取得して用いるようにしてもよい。
【０２０６】
表示制御部７８０は、画像ファイル取得部７２０または画像変換部７６０から出力された画像と、地図データ取得部７７０から出力された地図データに対応する地図とを表示部７９０に表示させるものである。表示制御部７８０は、例えば、画像変換部７６０から出力されたパノラマ画像に関連付けられている撮像位置に基づいて、地図データ取得部７７０から出力された地図データに対応する地図上に、そのパノラマ画像を配置する。また、表示制御部７８０は、操作受付部２１０からの操作入力に応じて、地図の大きさの変更等の表示制御を行う。これらの表示例については、図２７乃至図３１等を参照して詳細に説明する。なお、表示制御部７８０は、図１に示すＣＰＵ１６０およびＬＣＤコントローラ１７１に対応する。
【０２０７】
表示部７９０は、表示制御部７８０の制御に基づいて、各種画像を表示する表示部である。表示部７９０は、図１に示すＬＣＤ１７２に対応する。
【０２０８】
［パノラマ画像の変換例］
図２３は、本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。図２３（ａ）には、変換前のパノラマ画像８００を矩形で模式的に示す。図２３（ａ）に示す例では、変換対象となるパノラマ画像８００を矩形状とした場合におけるその左下隅を原点（０，０）とし、横軸をｘ軸とし、縦軸をｙ軸とするｘｙ座標上において、パノラマ画像８００を略扇形に変換する場合を例にして説明する。また、図２３（ａ）に示すｘｙ座標上において、矩形状のパノラマ画像８００の各頂点を点８０１乃至８０４とし、点８０１および８０２を結ぶ線分の中点を点８０５とし、点８０３および８０４を結ぶ線分の中点を点８０６とする。なお、図２３（ａ）に示すパノラマ画像８００における各点については、それぞれ異なる態様（白塗りまたは黒塗りの丸、三角、四角）で示す。また、パノラマ画像８００の撮像範囲に対応する角度（パノラマ角）をαとし、パノラマ画像８００の水平方向の長さをＵとし、パノラマ画像８００の垂直方向の長さをＶとする。
【０２０９】
パノラマ画像８００は、例えば、水平方向の広範囲の被写体を含む画像となる。そこで、この例では、パノラマ画像８００の撮像動作時において撮影者が見た被写体の位置関係を考慮して、パノラマ画像８００を略扇形に変換する。ここで、略扇形は、例えば、扇形、または、扇形についてその中心角の付近を扇形に欠いた形状（すなわち、２つの弧と２つの直線により形成される形状）とする。
【０２１０】
図２３（ｂ）には、略扇形に変換後のパノラマ画像８１０を示す。なお、図２３（ｂ）に示すｘｙ座標において、図２３（ａ）に示す点８０１乃至８０６に対応する各点の位置には、図２３（ａ）に示す態様と同一のものを付す。
【０２１１】
例えば、図２３（ｂ）に示すように、パノラマ画像８００を略扇形に変換してパノラマ画像８１０を生成する場合には、次の式８および式９を用いて、パノラマ画像８００に含まれる座標Ｐ１（ｘ，ｙ）を座標Ｐ１´（ｘ´，ｙ´）に変換する。
ｘ´＝（Ｕ／２）＋ｍ・（ｙ＋ａ）・ｃｏｓ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝］（π／１８０））… 式８
ｙ´＝ｍ・（ｙ＋ａ）・ｓｉｎ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝］（π／１８０））… 式９
【０２１２】
ここで、ｍは、中心点８１８を基準として、パノラマ画像８１０を放射状に拡大する場合の倍率を示す値であり、ａは、中心点８１８を基準として、パノラマ画像８１０を垂直方向に拡大する場合の距離を示す値である。また、αは、変換後のパノラマ画像８１０の中心角となる。上述した式８および式９を用いることにより、図２３（ｂ）に示すように、略扇形のパノラマ画像８１０を生成することができる。なお、図２３（ａ）および（ｂ）に示すｘｙ座標上において、パノラマ画像８００および８１０の枠を太線で示す。また、上述した式８および式９を用いた変換方法は、パノラマ画像における水平方向のサイズおよびパノラマ角に基づいて、変換後のパノラマ画像に含まれる被写体の方位と、地図における方位とが略一致するように略扇形に変換する変換方法の一例である。
【０２１３】
図２４は、本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。図２４（ａ）には、変換前のパノラマ画像８２０を示す。このパノラマ画像８２０は、図６（ｃ）等に示すパノラマ画像と同様である。
【０２１４】
図２４（ｂ）には、式８および式９を用いて、パノラマ画像８２０が略扇形に変換された後のパノラマ画像８２１を示す。例えば、式８および式９を用いて変換されたパノラマ画像８２１は、パノラマ角に応じて中心角が異なるように変換される。このため、例えば、水平方向の長さが同一のパノラマ画像が変換された場合において、パノラマ角が大きいパノラマ画像は、変換後の略扇形を構成する２つの弧が比較的深い曲線となる。これに対して、パノラマ角が小さいパノラマ画像は、変換後の略扇形を構成する２つの弧が比較的浅い曲線となる。このように、パノラマ画像を略扇形に変換することにより、撮影者が見た撮像動作時における被写体の状態を直感的に把握し易いパノラマ画像を表示させることができる。また、図２４（ａ）に示すパノラマ画像８２０を表示させる代わりに、図２４（ｂ）に示す略扇形に変形させたパノラマ画像８２１を表示させることにより、ユーザに新たな態様のパノラマ画像を提供することができる。これにより、パノラマ画像８２０に対するユーザの興味を高めることができる。また、倍率ｍ、距離ａ、全体角αをユーザが変更可能とし、これらの値をユーザが手動操作により変更することにより、さらに多様な略扇形のパノラマ画像を表示させることができる。
【０２１５】
なお、例えば、表示対象となるパノラマ画像に歪ませたくない特定対象物（例えば、人物の顔）が含まれている場合には、その特定対象物については略扇形に変換せずに表示するようにしてもよい。例えば、図２５に示すように、特定対象物が境界にかからないようにパノラマ画像を分割し、この分割されたパノラマ画像を表示させることができる。また、例えば、その特定対象物が歪まないように、図２６に示すように、特定対象物を抽出し、略扇形に変換されたパノラマ画像上の対応する位置に重ねて合成させることができる。
【０２１６】
［パノラマ画像の他の変換例］
以上では、パノラマ画像を略扇形に変換する例を示した。しかしながら、例えば、人の顔等のように、歪ませることにより違和感を覚える被写体が含まれている場合には、これらの被写体が歪ませずに、パノラマ画像の特性を活かした表示を行うことが重要である。そこで、以下では、パノラマ画像を略扇形に変換せずに、パノラマ画像を分割し、分割後の各画像を方位に基づいて表示させる例を示す。
【０２１７】
図２５は、本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。図２５（ａ）には、変換前のパノラマ画像８３０を示す。このパノラマ画像８３０は、図２４（ａ）に示すパノラマ画像と同様である。
【０２１８】
図２５（ｂ）には、画像変換部７６０によりパノラマ画像８３０が５分割された後の画像８３１乃至８３５をパノラマ画像８３６として配置して表示する例を示す。ここで、パノラマ画像の分割数については、ユーザの手動操作により設定するようにしてもよく、一定の規則に従って設定するようにしてもよい。図２５（ｂ）に示すように分割された画像８３１乃至８３５については、本発明の第２の実施の形態で示したように、各画像の方位を算出することができる。そこで、画像変換部７６０が、例えば、真中に配置される画像８３３の方位を基準として、他の画像８３１、８３２、８３４、８３５の方位の差分を算出する。そして、算出された差分値だけ各画像の回転処理を行い、回転処理後の画像８３１、８３２、８３４、８３５を配置する。この場合に、例えば、図２５（ｂ）に示すように、画像８３１乃至８３５の下隅が接するように配置して、パノラマ画像８３６とするようにしてもよい。また、図２５（ｃ）に示すように、画像８３１乃至８３５の真中部分が接するよう配置して、パノラマ画像８３７とするようにしてもよい。ここで、画像の回転方法として、例えば、２次元座標上において、３×３の行列（アフィン行列）を用いて、２点の位置を変換するアフィン変換を用いることができる。例えば、画像変換部７６０が、各画像の中心位置を回転基準とし、各画像の各値をアフィン変換する。そして、このアフィン変換が行われた後に各画像を所定の位置に配置することができる。
【０２１９】
ここで、例えば、パノラマ画像に分割すべきでない特定対象物（例えば、人物の顔）が含まれている場合には、その特定対象物が分離されないように、パノラマ画像の分割を行うようにしてもよい。例えば、特定対象物を人物の顔とする場合には、パノラマ画像の画像ファイルに記録されている顔情報に基づいて、パノラマ画像における水平方向の顔の位置を特定することができる。そこで、例えば、分割処理を行う際に、この分割の際の境界に顔が存在するか否かを判断し、分割の際の境界に顔が存在している場合には、その境界が顔にかからないように左側または右側に移動させる。例えば、その境界が顔にかからないように移動する場合に、左側または右側のうち短い距離となる方向に移動させることができる。
【０２２０】
また、分割の際の境界に顔が存在している場合には、その境界が顔にかからないように、分割される画像の数を変更するようにしてもよい。例えば、パノラマ画像を５分割する設定がされている場合において、５分割の際の何れかの境界に顔が存在している場合には、４分割または６分割とすることができる。また、このように分割される画像の数を変更した後に、分割の際の何れかの境界に顔が存在している場合には、さらに分割される画像の数を変更するようにしてもよい。
【０２２１】
図２６は、本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。この変換例は、図２４の変形例であり、特定対象物が歪まないように変換させる例である。図２６（ａ）には、変換前のパノラマ画像８４０を示す。このパノラマ画像８４０は、図２４（ａ）に示すパノラマ画像と同様である。なお、この例では、特定対象物を人物の顔とし、パノラマ画像８４０に含まれる人物の顔８４１、８４２を含む顔画像８４３、８４４を抽出し、抽出された顔画像８４３、８４４をパノラマ画像８４０に重ねて合成する例を示す。なお、パノラマ画像８４０の変換方法については、図２４に示す例と同様であるため、ここでの説明を省略する。
【０２２２】
例えば、特定対象物検出部７４０が、パノラマ画像８４０の画像ファイルに記録されている顔情報に基づいて、パノラマ画像８４０に含まれる人物の顔８４１、８４２を検出する。続いて、図２６（ｂ）に示すように、検出された人物の顔８４１、８４２に関する検出情報に基づいて、画像変換部７６０が、パノラマ画像８４０から、人物の顔８４１、８４２を含む顔画像８４３、８４４を抽出する。この抽出の際に、画像変換部７６０が、上述した方位算出方法により、顔画像８４３、８４４の方位を算出する。そして、図２６（ｃ）に示すように、画像変換部７６０が、パノラマ画像８４０を変換して略扇形のパノラマ画像８４５を生成し、抽出された顔画像８４３、８４４をパノラマ画像８４５に重ねて合成する。この場合に、例えば、画像変換部７６０が、顔画像８４３、８４４について算出された方位に基づいて、顔画像８４３、８４４の中心を回転中心として、顔画像８４３、８４４を回転させる。そして、回転後の顔画像８４３、８４４を、抽出された位置に合成する。なお、図２６（ｃ）では、回転後の顔画像８４３、８４４に対応する矩形を点線で示す。なお、図２４乃至図２６に示す変換後のパノラマ画像については、例えば、各パノラマ画像における上下方向と、表示部７９０における上下方向とを合わせて表示させることができる。
【０２２３】
［パノラマ画像の地図上への配置例］
以上では、画像変換部７６０により変換されるパノラマ画像を表示する例を示した。以下では、撮像位置を含む地図上にパノラマ画像を配置して表示させる例について説明する。
【０２２４】
図２７は、本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地域における撮像動作と、この撮像動作により生成されたパノラマ画像との関係を概略的に示す図である。
【０２２５】
図２７（ａ）に示す地域８５０は、地図データ記憶部７１０に記憶されている地図データの一部に対応する地域である。なお、図２７（ａ）では、上側の方位を北とする。また、地域８５０には、例えば、Ａビル８５１、Ｂビル８５２およびＣビル８５３が存在し、これらのビルを背景にして人物８５４が立っているものとする。この状態で、例えば、撮像装置７００によりパノラマ画像の撮像動作が行われ、この撮像動作によるパノラマ画像の角度をα１とし、パノラマ画像における中心位置に対応する撮像方向を矢印８５５で示す。なお、本発明の第３の実施の形態では、機能構成例としてパノラマ画像の生成に関する構成を省略しているが、本発明の第１の実施の形態と同様の機能構成を備えているものとする。また、この例では、撮像装置７００による撮像動作によりパノラマ画像を生成する例を示すが、例えば、他の撮像装置による撮像動作により生成されたパノラマ画像を画像記憶部２００に記憶させ、このパノラマ画像を用いて表示を行うようにしてもよい。
【０２２６】
図２７（ｂ）には、図２７（ａ）に示すように、地域８５０において生成されたパノラマ画像８６０を示す。このように、パノラマ画像８６０には、Ａビル８５１と、Ｂビル８５２と、Ｃビル８５３と、これらのビルを背景にして立つ人物８５４とが含まれる。また、パノラマ画像８６０における中心位置８６１をバツ印で示す。
【０２２７】
図２８乃至図３１は、本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。なお、パノラマ画像に対応する撮像範囲および中心位置に対応する方向を点線で示す。なお、これらの点線は、図２７（ａ）に示すものに対応する。
【０２２８】
図２８（ａ）には、図２７（ａ）に示す地域８５０に対応する地図８５７上にパノラマ画像８６０を重ねて表示させた表示例を示す。例えば、パノラマ画像８６０における中心位置８６１が、地図８５７における撮像位置となるようにパノラマ画像８６０が配置される。
【０２２９】
図２８（ｂ）には、パノラマ画像８６０の上下方向と、パノラマ画像８６０における中心位置８６１の方位とが一致するように、地図８５７上にパノラマ画像８６０を重ねて表示させた表示例を示す。この場合には、例えば、パノラマ画像８６０における中心位置８６１が、地図８５７における撮像位置となるようにパノラマ画像８６０が配置される。このように配置する場合には、例えば、中心位置８６１を回転中心として、パノラマ画像８６０を回転させる。この回転変換方法として、例えば、上述したアフィン変換を用いることができる。具体的には、画像変換部７６０が、中心位置８６１を回転基準とし、パノラマ画像８６０の各値をアフィン変換する。例えば、パノラマ画像８６０における中心位置８６１の方位と、地図８５７上の北の方位とのなす角α２を算出する。そして、パノラマ画像８６０をα２度だけ回転させるようにアフィン変換を行う。このように、パノラマ画像８６０における中心位置８６１の方位と、地図８５７における方位とを一致させることにより、パノラマ画像８６０と、地図８５７との対応関係を直感的に把握し易くすることができる。
【０２３０】
ここで、上述したように、パノラマ画像を表示させる場合には、パノラマ画像の撮像動作状態を直感的に把握することができるように、略扇形に変換して表示させることができる。また、上述したように、パノラマ画像を分割して表示させることもできる。以下では、これらの表示例について説明する。
【０２３１】
図２９には、式８および式９を用いてパノラマ画像８６０を変換し、変換後のパノラマ画像８６２における各方位と、地図８５７における方位とが一致するように、地図８５７上にパノラマ画像８６２を重ねて表示させた表示例を示す。この場合には、例えば、変換後のパノラマ画像８６２の中心点の位置と、地図８５７における撮像位置８５８とが一致するようにパノラマ画像８６２が配置される。ここで、例えば、地図８５７における撮像位置８５８を、例えば、図２９に示すように、白塗りの丸として表示することができる。なお、パノラマ画像の変換方法および回転方法については、上述した例と同様であるため、ここでの説明を省略する。
【０２３２】
このようにパノラマ画像８６２および撮像位置８５８を表示させることにより、地図８５７に対応する地域８５０における撮像動作状態を直感的に容易に把握することができる。また、このように表示させることにより、パノラマ画像の面白みを高めることができる。これにより、パノラマ画像の表示の際におけるユーザの興味を高めることができる。
【０２３３】
図３０には、図２５（ｂ）の変形例を示す。例えば、パノラマ画像８６０を３分割し、分割後のパノラマ画像８６３を構成する真中の画像８６７の方位と、地図８５７における方位とが一致するように、地図８５７上にパノラマ画像８６３を重ねて表示させた表示例を示す。この場合には、例えば、分割後のパノラマ画像８６３により特定される中心点の位置と、地図８５７における撮像位置８５８とが一致するようにパノラマ画像８６３が配置される。ここで、分割後のパノラマ画像８６３により特定される中心点の位置は、例えば、分割後のパノラマ画像８６３を構成する３つの画像８６７乃至８６９における中心位置の各方位が交わる位置とすることができる。また、地図８５７における撮像位置８５８を、例えば、図２９と同様に、白塗りの丸として表示することができる。また、この例では、分割する際における特定対象物を、人物の顔およびビルとして、これらが分割されないように、分割の数および境界が設定されているものとする。これらの特定対象物は、上述したように、パノラマ画像の生成時に記録されたメタ情報に基づいて検出するようにしてもよく、表示する際に画像解析により検出するようにしてもよい。なお、パノラマ画像の分割方法および回転方法については、上述した例と同様であるため、ここでの説明を省略する。
【０２３４】
このようにパノラマ画像８６３および撮像位置８５８を表示させることにより、地図８５７に対応する地域８５０における撮像動作状態を直感的に容易に把握することができる。また、特定対象物についても歪ませずに表示させることができる。このように表示させることにより、略扇形とは異なる表示形態によりパノラマ画像を表示することができるため、面白みを高めることができる。これにより、パノラマ画像の表示の際におけるユーザの興味を高めることができる。
【０２３５】
図３１には、図２６に示す例と同様に、特定対象物を人物の顔とし、パノラマ画像８６０に含まれる人物８５４の顔を含む顔画像８６４を抽出し、抽出された顔画像８６４をパノラマ画像８６５に重ねて合成する表示例を示す。図３１（ａ）には、パノラマ画像８６０と、人物８５４の顔を含む顔画像８６４との関係を示し、図３１（ｂ）には、パノラマ画像８６０を変換して生成された略扇形のパノラマ画像８６５に、抽出された顔画像８６６を重ねて合成する例を示す。なお、図３１（ｂ）では、抽出された顔画像８６６に対応する矩形を点線で示す。また、パノラマ画像の変換方法および回転方法については、上述した例と同様であるため、ここでの説明を省略する。また、顔画像の合成方法についても、合成対象となるパノラマ画像の回転に応じて、回転させてから合成する点以外は、上述した合成方法と同様であるため、ここでの説明を省略する。
【０２３６】
このように、本発明の第３の実施の形態によれば、パノラマ画像に含まれる被写体に対応する方位に応じて、パノラマ画像を変換して表示させることができる。これにより、パノラマ画像に含まれる被写体に対応する方位を反映させたパノラマ画像の表示をすることができる。これにより、パノラマ画像と被写体との関係を直感的に容易に把握することができる。また、例えば、パノラマ画像に含まれる被写体に対応する方位に応じて、パノラマ画像を略扇形や分割画像に変換して表示することにより、パノラマ画像と被写体との関連性を直感的に容易に把握することができる。また、変換後のパノラマ画像を地図上に重ねて表示させる場合には、パノラマ画像に含まれる被写体に対応する方位に応じて、パノラマ画像を配置することにより、パノラマ画像に含まれる被写体と、撮像方向との関係を容易に把握することができる。このように、パノラマ画像を表示することにより、面白みを高めることができ、ユーザの興味を高めることができる。なお、以上では、変換後のパノラマ画像により特定される中心点の位置と、地図における撮像位置とが一致するようにパノラマ画像を配置する例を示したが、例えば、ユーザの好みに応じて配置位置を変更するようにしてもよい。例えば、変換後のパノラマ画像における中心位置と、地図における撮像位置とが一致するようにパノラマ画像を配置するようにしてもよい。
【０２３７】
［撮像装置の動作例］
図３２は、本発明の第３の実施の形態における撮像装置７００による画像表示処理の処理手順を示すフローチャートである。この例では、パノラマ画像を地図上に重ねて表示させる例を示す。また、パノラマ画像に特定対象物が含まれていない場合には、図２９に示すように略扇形の変換処理を行い、パノラマ画像に特定対象物が含まれている場合には、図３０に示すように分割の変換処理を行う例を示す。
【０２３８】
最初に、画像を地図上に重ねて表示させる表示指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９４１）。その表示指示操作が受け付けられていない場合には、その表示指示操作が受け付けられるまで、監視を継続する。その表示指示操作が受け付けられた場合には（ステップＳ９４１）、画像ファイル取得部７２０が、その表示指示操作に応じて、画像記憶部２００に記憶されている画像ファイルを取得する（ステップＳ９４２）。この場合に、画像ファイル取得部７２０が、取得された画像ファイルのメタ情報を解析し、取得された画像ファイルの画像の種類（パノラマ画像の有無）を判定する。この判定は、例えば、メタ情報に含まれる画サイズ等に基づいて行われる。また、例えば、メーカーノートにパノラマ画像の有無を記録しておき、これに基づいて行うようにしてもよい。
【０２３９】
続いて、取得された画像ファイルの画像が、パノラマ画像であるか否かが判断される（ステップＳ９４３）。取得された画像ファイルの画像がパノラマ画像でない場合には（ステップＳ９４３）、表示制御部７８０が、取得された画像ファイルの画像を地図上の撮像位置を基準として配置し、表示部７９０に表示させる（ステップＳ９４４）。一方、取得された画像ファイルの画像がパノラマ画像である場合には（ステップＳ９４３）、そのパノラマ画像に特定対象物が含まれているか否かが判断される（ステップＳ９４５）。
【０２４０】
そのパノラマ画像に特定対象物が含まれていない場合には（ステップＳ９４５）、画像変換部７６０が、そのパノラマ画像を略扇形に変換する（ステップＳ９４６）。続いて、画像変換部７６０が、変換後のパノラマ画像における方位と、地図における方位とが一致するようにパノラマ画像について回転処理を行う（ステップＳ９４７）。続いて、表示制御部７８０が、変換後のパノラマ画像の中心点の位置と、地図における撮像位置とが一致するようにパノラマ画像を地図上に配置して表示部７９０に表示させる（ステップＳ９４８）。
【０２４１】
また、そのパノラマ画像に特定対象物が含まれている場合には（ステップＳ９４５）、画像変換部７６０が、その特定対象物が分割の際の境界にかからないように、そのパノラマ画像を分割する（ステップＳ９４９）。続いて、画像変換部７６０が、変換後の各画像における方位と、地図における方位とが一致するように各画像について回転処理を行う（ステップＳ９５０）。続いて、表示制御部７８０が、変換後の各画像により特定される中心点の位置と、地図における撮像位置とが一致するようにパノラマ画像を地図上に配置して表示部７９０に表示させる（ステップＳ９５１）。
【０２４２】
［パノラマ画像の他の変換例］
以上では、パノラマ画像を略扇形に変換した後に、パノラマ画像における中心位置の方位に基づいて、変換後のパノラマ画像を回転させて地図上に配置する例を示した。ここで、例えば、パノラマ画像を略扇形に変換する際に、パノラマ画像における中心位置の方位に応じた回転処理を行えば、変換処理を迅速に行うことができると想定される。そこで、以下では、式８および式９を変形した式を用いて、パノラマ画像を変換する例を示す。
【０２４３】
図３３は、本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。ここで、図３３に示す変換方法は、図２３に示す変換方法の変形例であり、地図上の方位とパノラマ画像における代表位置の方位とのなす角ωだけ回転処理させる点以外の点は同一である。このため、以下では、図２３に示す変換方法と異なる点を中心に説明し、共通する部分については、同一の符号を付して、説明を省略する。図３３（ａ）には、図２３（ａ）と同様に、変換前のパノラマ画像８００を矩形で模式的に示す。
【０２４４】
図３３（ｂ）には、略扇形に変換後のパノラマ画像８７０を示す。なお、図３３（ｂ）に示すｘｙ座標において、図３３（ａ）に示す点８０１乃至８０６に対応する各点の位置には、図２３（ａ）に示す態様と同一のものを付す。
【０２４５】
例えば、図３３（ｂ）に示すように、パノラマ画像８００を略扇形に変換してパノラマ画像８７０を生成する場合には、次の式１０および式１１を用いて、パノラマ画像８００に含まれる座標Ｐ１（ｘ，ｙ）を座標Ｐ１´（ｘ´，ｙ´）に変換する。
ｘ´＝（Ｕ／２）＋ｍ・（ｙ＋ａ）・ｃｏｓ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝＋ω］（π／１８０））… 式１０
ｙ´＝ｍ・（ｙ＋ａ）・ｓｉｎ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝＋ω］（π／１８０））… 式１１
【０２４６】
ここで、ωは、回転角度を示す値であり、地図上の方位と、パノラマ画像における代表位置の方位とのなす角を示す。上述した式１０および式１１を用いることにより、式８および式９を用いて略扇形を生成した後に、方位に応じた回転処理を行う２段階の変換処理を行う必要がない。すなわち、地図上の方位と、パノラマ画像における代表位置の方位とを一致させる変換処理を１段階の変換処理により行うことができ、方位を考慮した略扇形のパノラマ画像を迅速に生成することができる。
【０２４７】
このように、本発明の実施の形態によれば、パノラマ画像の記録時には、パノラマ画像における代表位置の方位を記録することができる。また、パノラマ画像から一部の画像を抽出する場合には、抽出された画像における代表位置の方位を算出し、この方位をその抽出された画像について用いることができる。また、パノラマ画像に含まれる被写体の方位を用いて、パノラマ画像から所望の画像を抽出することができる。さらに、パノラマ画像を表示する際に、パノラマ画像に含まれる被写体の方位を用いて、パノラマ画像を変換して表示することができる。すなわち、本発明の実施の形態によれば、パノラマ画像に関する方位を適切に用いることができる。
【０２４８】
なお、本発明の実施の形態では、撮像装置を例にして説明したが、撮像機能付き携帯電話機、パーソナルコンピュータ、カーナビゲーションシステム等のパノラマ画像を扱うことが可能な画像処理装置等の電子機器に本発明の実施の形態を適用することができる。また、パノラマ画像から抽出された画像や、変換後のパノラマ画像を他の表示装置に出力し、その表示装置にそれらの画像を表示させることが可能な画像処理装置等の電子機器に本発明の実施の形態を適用することができる。
【０２４９】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２５０】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２５１】
１００、５００、７００ 撮像装置
１０１ バス
１１１ 撮像部
１１２ 方位センサ
１１３ ＧＰＳユニット
１１４ ネットワークコントローラ
１１５ ネットワーク
１２０ 解像度変換部
１３０ 画像圧縮伸張部
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＣＰＵ
１７１ ＬＣＤコントローラ
１７２ ＬＣＤ
１８１ 入力制御部
１８２ 操作部
１９１ リムーバブルメディアコントローラ
１９２ リムーバブルメディア
２００ 画像記憶部
２１０ 操作受付部
２１１ 撮像部
２１２ 方位取得部
２１３ 撮像位置取得部
２２０ 撮像画像保持部
２３０ 移動量検出部
２４０ 画像合成部
２５０ 顔検出部
２６０ 中心位置算出部
２７０ 撮像動作判定部
２８０ パノラマ情報算出部
２９０、５９０ 記録制御部
４４１ 撮像素子
４４２ レンズ
５１０、７２０ 画像ファイル取得部
５２０ メタ情報取得部
５３０ 特定方位位置算出部
５４０ 特定対象物方位算出部
５５０ 画像抽出部
５６０ 方位算出部
５７０、７８０ 表示制御部
５８０、７９０ 表示部
７１０ 地図データ記憶部
７３０ 撮像位置取得部
７４０ 特定対象物検出部
７５０ 方位取得部
７６０ 画像変換部
７７０ 地図データ取得部
【技術分野】
【０００１】
本発明は、電子機器に関し、特に、パノラマ画像を扱う電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、風景等の被写体を撮像して撮像画像を生成し、生成された撮像画像を画像ファイルとして記録するデジタルスチルカメラ等の撮像装置が普及している。また、これらの撮像装置により連続して生成される複数の撮像画像を繋ぎ合わせ、比較的広い範囲の被写体を含むパノラマ画像を生成するパノラマ画像生成方法が提案されている。パノラマ画像生成方法として、例えば、連続して生成された撮像画像間の動きベクトルを検出し、この検出された動きベクトルに基づいて各撮像画像を合成することにより、各撮像画像を繋ぎ合わせるパノラマ画像生成方法が提案されている。
【０００３】
また、このように生成されるパノラマ画像の方位を取得し、この方位を用いてパノラマ画像の表示制御等を行う撮像装置が提案されている。例えば、装置本体の向きを変更しながら複数の撮像画像を生成し、これらの撮像時における方位を、対応する各撮像画像に付加して記録する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、パノラマ画像を構成する各撮像画像について取得された方位を用いて各撮像画像の表示制御を行うことができる。
【０００６】
ここで、パノラマ画像は、比較的広い範囲の被写体を含むものであるため、パノラマ画像に含まれる被写体の方位は比較的広い範囲となることが想定される。このため、パノラマ画像を表示させる場合に、例えば、パノラマ画像における方位を考慮して表示させることにより、パノラマ画像の特性を活かした表示を行うことができると考えられる。このように、パノラマ画像を使用する際には、その使用に応じて適切に方位を用いることが重要となる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、パノラマ画像に関する方位を適切に用いることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換部と、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、上記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、上記略扇形のパノラマ画像が上記地図上に表示されるよう表示制御する表示制御部とを具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換し、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、略扇形のパノラマ画像が地図上に表示されるよう表示制御するという作用をもたらす。
【０００９】
また、本発明の第２の側面は、複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、上記地図上に表示されるよう表示制御する表示制御部を具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、その方位と地図上における方位とを略一致させた状態で、地図上に表示されるよう表示制御するという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像変換部は、上記複数の撮像画像の撮像時におけるパノラマ角に応じて上記略扇形のパノラマ画像の中心角が異なるように上記略扇形への変換を行うようにしてもよい。これにより、複数の撮像画像の撮像時におけるパノラマ角に応じて略扇形のパノラマ画像の中心角が異なるように略扇形への変換を行うという作用をもたらす。
【００１１】
また、この第１または第２の側面において、上記表示制御部は、上記複数の撮像画像の撮像時におけるパノラマ角と、上記略扇形のパノラマ画像の中心角とが略一致するように上記表示制御を行うようにしてもよい。これにより、複数の撮像画像の撮像時におけるパノラマ角と、略扇形のパノラマ画像の中心角とが略一致するように表示制御を行うという作用をもたらす。
【００１２】
また、本発明の第３の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成部と、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、上記各分割画像の方位と地図上における方位とが略一致した状態で、上記各分割画像が上記地図上に表示されるよう表示制御する表示制御部とを具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成し、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、各分割画像の方位と地図上における方位とが略一致した状態で、各分割画像が地図上に表示されるよう表示制御するという作用をもたらす。
【００１３】
また、この第３の側面において、上記分割画像生成部は、上記パノラマ画像に分割すべきでない特定対象物が含まれている場合には、上記特定対象物が分割されないように上記複数の分割画像を生成するようにしてもよい。これにより、パノラマ画像に分割すべきでない特定対象物が含まれている場合には、特定対象物が分割されないように複数の分割画像を生成するという作用をもたらす。
【００１４】
また、この第３の側面において、上記分割画像生成部は、上記パノラマ画像に上記特定対象物が含まれている場合には、上記所定数を変更することにより、上記特定対象物が分割されないように上記複数の分割画像を生成するようにしてもよい。これにより、パノラマ画像に特定対象物が含まれている場合には、所定数を変更することにより、特定対象物が分割されないように複数の分割画像を生成するという作用をもたらす。
【００１５】
また、本発明の第４の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、上記複数の撮像画像の撮像時における撮像位置と上記パノラマ画像に関連付けられている方位とに基づいて、上記各分割画像の方位と地図上における方位とが略一致した状態で、上記各分割画像が上記地図上に表示されるよう表示制御する表示制御部を具備する電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、その複数の撮像画像の撮像時における撮像位置とパノラマ画像に関連付けられている方位とに基づいて、各分割画像の方位と地図上における方位とが略一致した状態で、各分割画像が地図上に表示されるよう表示制御するという作用をもたらす。
【００１６】
また、本発明の第５の側面は、被写体を撮像して複数の撮像画像を生成する撮像部と、上記生成された複数の撮像画像のうちの１つの撮像画像の撮像時における撮像位置を基準として当該撮像画像に関する方位を取得する方位取得部と、上記生成された複数の撮像画像を合成することによりパノラマ画像を生成する画像合成部と、上記生成されたパノラマ画像における水平方向の代表位置を算出する代表位置算出部と、上記撮像部の特性情報と上記算出された代表位置と上記取得された方位とに基づいて上記算出された代表位置の方位を算出する方位算出部と、上記算出された方位を上記生成されたパノラマ画像に関連付けて記録させる記録制御部とを具備する撮像装置およびパノラマ画像記録方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、生成された複数の撮像画像のうちの１つの撮像画像について方位を取得し、その複数の撮像画像を合成することによりパノラマ画像を生成し、この生成されたパノラマ画像における水平方向の代表位置を算出し、撮像部の特性情報とその算出された代表位置とその取得された方位とに基づいてパノラマ画像における代表位置の方位を算出し、この算出された方位をパノラマ画像に関連付けて記録させるという作用をもたらす。
【００１７】
また、この第５の側面において、上記方位取得部は、上記生成された複数の撮像画像のうち時間軸における最初の撮像画像における中心位置の方位を当該撮像画像に関する方位として取得し、上記代表位置算出部は、上記生成されたパノラマ画像における中心位置を当該パノラマ画像における代表位置として算出するようにしてもよい。これにより、生成された複数の撮像画像のうち時間軸における最初の撮像画像における中心位置の方位を取得し、生成されたパノラマ画像における中心位置をそのパノラマ画像における代表位置として算出するという作用をもたらす。
【００１８】
また、この第５の側面において、上記特性情報は、上記撮像部により生成される撮像画像の焦点面の幅および焦点距離を含むようにしてもよい。これにより、撮像部により生成される撮像画像の焦点面の幅および焦点距離を含む特性情報を用いてパノラマ画像における代表位置の方位を算出するという作用をもたらす。
【００１９】
また、この第５の側面において、上記複数の撮像画像の生成時における撮像動作状態を判定する撮像動作判定部をさらに具備し、上記方位算出部は、上記撮像動作状態として特定の撮像動作状態が判定された場合には上記取得された方位を上記代表位置の方位とするようにしてもよい。これにより、特定の撮像動作状態が判定された場合には、複数の撮像画像のうちの１つの撮像画像について取得された方位を、パノラマ画像における代表位置の方位とするという作用をもたらす。
【００２０】
また、本発明の第６の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における一部の範囲を指定する指定操作を受け付ける操作受付部と、上記指定された範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記複数の撮像画像が生成された撮像部の特性情報と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記抽出された画像における代表位置とに基づいて上記抽出された画像における代表位置に対応する方位を算出する方位算出部と、上記算出された方位を上記抽出された画像に関連付けて記録させる記録制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、指定された範囲に含まれる画像をパノラマ画像から抽出し、撮像部の特性情報とパノラマ画像における代表位置とこの代表位置に関連付けられている方位とその抽出された画像における代表位置とに基づいてその抽出された画像における代表位置に対応する方位を算出し、この算出された方位をその抽出された画像に関連付けて記録させるという作用をもたらす。
【００２１】
また、本発明の第７の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における一部の範囲を指定する指定操作を受け付ける操作受付部と、上記指定された範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記パノラマ画像における水平方向のサイズと上記パノラマ画像の撮像範囲に対応する角度と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記抽出された画像における代表位置とに基づいて上記抽出された画像における代表位置の方位を算出する方位算出部と、上記算出された方位を上記抽出された画像に関連付けて記録させる記録制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、指定された範囲に含まれる画像をパノラマ画像から抽出し、パノラマ画像における水平方向のサイズとパノラマ画像の撮像範囲に対応する角度とパノラマ画像における代表位置とこの代表位置に関連付けられている方位とその抽出された画像における代表位置とに基づいてその抽出された画像における代表位置の方位を算出し、この算出された方位をその抽出された画像に関連付けて記録させるという作用をもたらす。
【００２２】
また、本発明の第８の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における水平方向のサイズと上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記複数の撮像画像が生成された撮像部の特性情報とに基づいて上記パノラマ画像における特定方位と当該特定方位に対応する上記パノラマ画像における位置とを算出する特定方位位置算出部と、上記パノラマ画像における上記算出された位置を含む所定範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記抽出された画像を上記特定方位に関連付けて表示させる表示制御部とを具備する電子機およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像における水平方向のサイズとパノラマ画像における代表位置とこの代表位置に関連付けられている方位と撮像部の特性情報とに基づいて、パノラマ画像における特定方位と、この特定方位に対応するパノラマ画像における位置とを算出し、パノラマ画像におけるその算出された位置を含む所定範囲に含まれる画像をパノラマ画像から抽出し、この抽出された画像を特定方位に関連付けて表示させるという作用をもたらす。
【００２３】
また、この第８の側面において、上記特定方位位置算出部は、上記パノラマ画像において複数の特定方位が存在する場合には当該複数の特定方位を算出し、上記表示制御部は、上記算出された各特定方位を表示させ、上記表示されている特定方位のうちから所望の特定方位を選択する選択操作を受け付ける操作受付部をさらに具備し、上記画像抽出部は、上記選択された特定方位に対応する位置を含む所定範囲に含まれる画像を上記パノラマ画像から抽出し、上記表示制御部は、上記抽出された画像を上記選択された特定方位に関連付けて表示させるようにしてもよい。これにより、算出された各特定方位を表示させ、表示されている特定方位のうちから所望の特定方位を選択する選択操作を受け付けると、この選択された特定方位に対応する位置を含む所定範囲に含まれる画像をパノラマ画像から抽出し、この抽出された画像をその選択された特定方位に関連付けて表示させるという作用をもたらす。
【００２４】
また、本発明の第９の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像に含まれる特定対象物を検出する特定対象物検出部と、上記検出された特定対象物の上記パノラマ画像における位置と上記複数の撮像画像が生成された撮像部の特性情報と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位とに基づいて上記検出された特定対象物の位置に対応する方位を算出する特定対象物方位算出部と、上記検出された特定対象物を含む所定範囲に含まれる画像を上記パノラマ画像から抽出する画像抽出部と、上記抽出された画像を上記算出された方位に関連付けて表示させる表示制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像に含まれる特定対象物を検出し、この検出された特定対象物のパノラマ画像における位置と撮像部の特性情報とパノラマ画像における代表位置とこの代表位置に関連付けられている方位とに基づいて、その検出された特定対象物の位置に対応する方位を算出し、その検出された特定対象物を含む所定範囲に含まれる画像をパノラマ画像から抽出し、この抽出された画像をその算出された方位に関連付けて表示させるという作用をもたらす。
【００２５】
また、本発明の第１０の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における水平方向のサイズと上記パノラマ画像の撮像範囲に対応する角度と上記パノラマ画像における代表位置に関連付けられている方位とに基づいて上記パノラマ画像を変換する画像変換部と、上記パノラマ画像の生成時における撮像位置に基づいて上記変換されたパノラマ画像を地図上に配置して表示させる表示制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像における水平方向のサイズとパノラマ画像の撮像範囲に対応する角度とパノラマ画像における代表位置に関連付けられている方位とに基づいてパノラマ画像を変換し、パノラマ画像の生成時における撮像位置に基づいてその変換されたパノラマ画像を地図上に配置して表示させるという作用をもたらす。
【００２６】
また、この第１０の側面において、上記画像変換部は、上記変換されたパノラマ画像に含まれる被写体の方位と上記地図における方位とが略一致するように上記パノラマ画像を略扇形に変換するようにしてもよい。これにより、変換されたパノラマ画像に含まれる被写体の方位と地図における方位とが略一致するように、パノラマ画像を略扇形に変換するという作用をもたらす。
【００２７】
また、この第１０の側面において、上記表示制御部は、上記変換されたパノラマ画像の中心角の位置と上記地図における上記撮像位置とが略一致するように上記変換されたパノラマ画像を上記地図上に配置して表示させるようにしてもよい。これにより、変換されたパノラマ画像の中心角の位置と地図における撮像位置とが略一致するように、その変換されたパノラマ画像を地図上に配置して表示させるという作用をもたらす。
【００２８】
また、この第１０の側面において、上記画像変換部は、上記パノラマ画像に特定対象物が含まれている場合には当該特定対象物を含む特定対象物画像を抽出して上記抽出された特定対象物画像を上記変換されたパノラマ画像に重ねて合成するようにしてもよい。これにより、パノラマ画像に特定対象物が含まれている場合には、その特定対象物を含む特定対象物画像を抽出し、この抽出された特定対象物画像を、変換されたパノラマ画像に重ねて合成するという作用をもたらす。
【００２９】
また、本発明の第１１の側面は、複数の撮像画像を合成することにより生成されたパノラマ画像における垂直方向を境界として上記パノラマ画像を所定数に分割することにより複数の画像とし、上記複数の撮像画像が生成された撮像部の特性情報と上記パノラマ画像における代表位置と当該代表位置に関連付けられている方位と上記分割後の各画像における代表位置とに基づいて上記分割後の各画像における代表位置に対応する方位を算出して当該算出された方位に基づいて上記分割後の各画像を回転させる画像変換部と、上記パノラマ画像の生成時における撮像位置に基づいて上記分割後の各画像を地図上に配置して表示させる表示制御部とを具備する電子機器およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像における垂直方向を境界としてパノラマ画像を所定数に分割することにより複数の画像とし、撮像部の特性情報とパノラマ画像における代表位置とこの代表位置に関連付けられている方位と分割後の各画像における代表位置とに基づいて、分割後の各画像における代表位置に対応する方位を算出し、この算出された方位に基づいて分割後の各画像を回転させ、パノラマ画像の生成時における撮像位置に基づいて分割後の各画像を地図上に配置して表示させるという作用をもたらす。
【００３０】
また、この第１１の側面において、上記画像変換部は、上記分割後の各画像における代表位置の方位と上記地図における方位とが略一致するように上記分割後の各画像を回転させるようにしてもよい。これにより、分割後の各画像における代表位置の方位と地図における方位とが略一致するように、分割後の各画像を回転させるという作用をもたらす。
【００３１】
また、この第１１の側面において、上記画像変換部は、上記パノラマ画像に特定対象物が含まれている場合には当該特定対象物が上記境界にかからないように上記境界の位置を変更して上記パノラマ画像を分割するようにしてもよい。これにより、パノラマ画像に特定対象物が含まれている場合には、その特定対象物が境界にかからないように境界の位置を変更してパノラマ画像を分割するという作用をもたらす。
【発明の効果】
【００３２】
本発明によれば、パノラマ画像に関する方位を適切に用いることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図３】本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルのファイル構造の一例を示す図である。
【図４】本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルを模式的に示す図である。
【図５】本発明の第１の実施の形態における画像合成部２４０により生成されるパノラマ画像を構成する複数の撮像画像と、これらの撮像画像を生成する際における撮像装置１００の撮像動作状態との関係を模式的に示す図である。
【図６】本発明の第１の実施の形態における画像合成部２４０によるパノラマ画像の生成方法を模式的に示す図である。
【図７】本発明の第１の実施の形態における撮像部２１１のデバイス特性と、撮像部２１１により生成される撮像画像との関係を上面から見た場合を模式的に示す図である。
【図８】本発明の第１の実施の形態におけるパノラマ情報算出部２８０によるパノラマ画像における代表位置の方位算出方法を概略的に示す図である。
【図９】本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。
【図１０】本発明の第１の実施の形態における撮像装置１００によりパノラマ画像を生成する際における撮像動作を模式的に示す図である。
【図１１】本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。
【図１２】本発明の第２の実施の形態における撮像装置５００の機能構成例を示すブロック図である。
【図１３】本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【図１４】本発明の第２の実施の形態における方位算出部５６０によるトリミング画像における代表位置の方位算出方法を概略的に示す図である。
【図１５】本発明の第２の実施の形態における画像抽出部５５０により生成されるトリミング画像と、画像記憶部２００に記憶されるトリミング画像の画像ファイルとの関係を模式的に示す図である。
【図１６】本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【図１７】本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。
【図１８】本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。
【図１９】本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【図２０】本発明の第２の実施の形態における特定対象物方位算出部５４０により各特定対象物の方位を検出する特定対象物の方位検出方法を概略的に示す図である。
【図２１】本発明の第２の実施の形態における撮像装置５００によるパノラマ画像の画像抽出処理の処理手順を示すフローチャートである。
【図２２】本発明の第３の実施の形態における撮像装置７００の機能構成例を示すブロック図である。
【図２３】本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。
【図２４】本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。
【図２５】本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。
【図２６】本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。
【図２７】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地域における撮像動作と、この撮像動作により生成されたパノラマ画像との関係を概略的に示す図である。
【図２８】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図２９】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図３０】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図３１】本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。
【図３２】本発明の第３の実施の形態における撮像装置７００による画像表示処理の処理手順を示すフローチャートである。
【図３３】本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（パノラマ画像における代表位置の方位算出制御：１つの撮像画像の方位を用いて、パノラマ画像の方位を算出する例）
２．第２の実施の形態（パノラマ画像における方位算出および方位を用いた画像抽出制御：パノラマ画像から一部の画像を抽出する際における方位算出、方位を用いたパノラマ画像からの画像抽出の例）
３．第３の実施の形態（パノラマ画像の変換制御：方位を用いてパノラマ画像の変換および地図上の配置をする例）
【００３５】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。撮像装置１００は、撮像部１１１と、方位センサ１１２と、ＧＰＳ（Global Positioning System）ユニット１１３と、ネットワークコントローラ１１４と、解像度変換部１２０と、画像圧縮伸張部１３０とを備える。また、撮像装置１００は、ＲＯＭ（Read Only Memory）１４０と、ＲＡＭ（Random Access Memory）１５０と、ＣＰＵ（Central Processing Unit）１６０とを備える。また、撮像装置１００は、ＬＣＤ（Liquid Crystal Display）コントローラ１７１と、ＬＣＤ１７２と、入力制御部１８１と、操作部１８２と、リムーバブルメディアコントローラ１９１と、リムーバブルメディア１９２とを備える。なお、撮像装置１００を構成する各部の間で行われるやりとりは、バス１０１を介して行われる。撮像装置１００は、例えば、被写体を撮像して複数の撮像画像を生成し、これらの複数の画像を合成することによりパノラマ画像を生成することが可能なデジタルスチルカメラにより実現することができる。
【００３６】
撮像部１１１は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像データ（撮像画像）を生成するものであり、生成された画像データをＲＡＭ１５０に供給する。具体的には、撮像部１１１は、光学ユニット、撮像素子および信号処理部を備える。光学ユニットは、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、これらのレンズおよびアイリスを介して入射された被写体からの光が撮像素子に供給される。また、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、撮像信号を信号処理部に出力する。そして、その撮像信号に対して信号処理部が信号処理を行うことにより画像データが生成され、この生成された画像データがＲＡＭ１５０に順次供給されて一時的に保持される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。
【００３７】
方位センサ１１２は、地磁気を利用して地球上における方位を計測するセンサであり、計測された方位をＣＰＵ１６０に出力する。例えば、方位センサ１１２は、互いに直交する２軸（例えば、ｘ軸およびｙ軸）のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）とにより構成される磁界センサである。このＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する素子であり、ＭＲ素子の抵抗変化が、２軸のコイルによって２方向の成分（例えば、ｘ軸およびｙ軸の成分）に分けられ、その２方向の成分の地磁気の比に基づいて方位が算出される。ここで、本発明の第１の実施の形態では、方位センサ１１２は、撮像装置１００の撮像方向の方位を計測する。この撮像方向は、撮像位置（例えば、撮像装置１００が存在する位置）から、撮像部１１１により生成された撮像画像に含まれる被写体が存在する位置までの方向であり、例えば、被写体側の光軸方向とすることができる。また、例えば、撮像方向は、撮像位置を基準として、撮像画像における中心位置に存在する被写体の方向を撮像方向とすることができる。なお、本発明の第１の実施の形態では、方位センサ１１２を用いて撮像方向を取得する例を示すが、他の撮像方向の取得方法により取得された撮像方向を用いるようにしてもよい。例えば、ＧＰＳ信号に基づいて測定された方位を用いるようにしてもよい。
【００３８】
ＧＰＳユニット１１３は、ＧＰＳ信号受信アンテナ（図示せず）により受信されたＧＰＳ信号に基づいて撮像位置情報を算出するものであり、算出された撮像位置情報をＣＰＵ１６０に出力する。この算出された撮像位置情報には、緯度、経度、高度等の位置に関する各データが含まれる。なお、本発明の第１の実施の形態では、ＧＰＳ信号に基づいて算出された撮像位置情報を用いる例を示すが、他の撮像位置情報の取得方法により取得された撮像位置情報を用いるようにしてもよい。例えば、周囲に存在する無線ＬＡＮ（Local Area Network）によるアクセスポイント情報を用いて撮像位置情報を導き出し、この撮像位置情報を取得して用いるようにしてもよい。
【００３９】
ネットワークコントローラ１１４は、ネットワーク１１５と接続され、ＣＰＵ１６０からの指示に基づいて、ネットワーク１１５を介して行われる通信制御を行うものである。ネットワーク１１５は、例えば、無線ＬＡＮ等のネットワークである。ネットワークコントローラ１１４は、例えば、リムーバブルメディア１９２に記憶されている画像ファイル（画像コンテンツ）を、ネットワーク１１５を介して他の装置（例えば、パーソナルコンピュータ）に供給する。また、ネットワークコントローラ１１４は、例えば、ネットワーク１１５を介して画像ファイル等のコンテンツを取得する。そして、この取得されたコンテンツがリムーバブルメディア１９２に供給されて記憶される。
【００４０】
解像度変換部１２０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
【００４１】
画像圧縮伸張部１３０は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部１３０は、例えば、入力された各種画像データをＪＰＥＧ（Joint Photographic Experts Group）形式の画像データに圧縮または伸張する。
【００４２】
ＲＯＭ１４０は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
【００４３】
ＲＡＭ１５０は、ＣＰＵ１６０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１６０において実行されるプログラムの作業領域等を備え、ＣＰＵ１６０が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、ＲＡＭ１５０は、各種の画像処理のための画像保存領域を備える。
【００４４】
ＣＰＵ１６０は、ＲＯＭ１４０に記憶されている各種制御プログラムに基づいて、撮像装置１００の各部を制御するものである。また、ＣＰＵ１６０は、操作部１８２により受け付けられた操作入力等に基づいて撮像装置１００の各部を制御する。
【００４５】
ＬＣＤコントローラ１７１は、ＣＰＵ１６０からの制御信号に基づいて、各種画像データをＬＣＤ１７２に表示させるものである。
【００４６】
ＬＣＤ１７２は、ＬＣＤコントローラ１７１から供給された各種画像データに対応する画像を表示する表示部である。ＬＣＤ１７２は、例えば、撮像部１１１により生成された画像データに対応する撮像画像を順次表示する。また、ＬＣＤ１７２は、例えば、リムーバブルメディア１９２に記憶されている画像ファイルに対応する画像を表示する。なお、ＬＣＤ１７２の代わりに、例えば、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いるようにしてもよい。また、ＬＣＤ１７２の代わりに、例えば、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
【００４７】
入力制御部１８１は、ＣＰＵ１６０からの指示に基づいて、操作部１８２により受け付けられる操作入力に関する制御を行うものである。
【００４８】
操作部１８２は、ユーザにより操作された操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた信号をＣＰＵ１６０に出力する。例えば、パノラマ画像を記録するためのパノラマ画像撮像モードにおいて、パノラマ画像撮像動作開始およびパノラマ画像撮像動作終了を指示するためのシャッターボタン等の操作部材が撮像装置１００に備えられている。また、操作部１８２およびＬＣＤ１７２については、タッチパネルにより一体で構成するようにしてもよい。
【００４９】
リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２と接続され、ＣＰＵ１６０からの制御信号に基づいて、リムーバブルメディア１９２へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ１９１は、撮像部１１１により生成された画像データ等の各種画像データを画像ファイル（画像コンテンツ）としてリムーバブルメディア１９２に記録させる。また、リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２から画像ファイル等のコンテンツを読み出してバス１０１を介してＲＡＭ１５０等に出力する。
【００５０】
リムーバブルメディア１９２は、リムーバブルメディアコントローラ１９１から供給された画像データを記録する記録デバイスである。リムーバブルメディア１９２には、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ等の各種データが記録される。リムーバブルメディア１９２として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、リムーバブルメディア１９２として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。
【００５１】
図２は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、画像記憶部２００と、操作受付部２１０と、撮像部２１１と、方位取得部２１２と、撮像位置取得部２１３と、撮像画像保持部２２０と、移動量検出部２３０とを備える。また、撮像装置１００は、画像合成部２４０と、顔検出部２５０と、中心位置算出部２６０と、撮像動作判定部２７０と、パノラマ情報算出部２８０と、記録制御部２９０とを備える。ここで、本発明の各実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの少なくとも何れかの意味を含むものとする。
【００５２】
画像記憶部２００は、記録制御部２９０の制御に基づいて、画像合成部２４０から出力されたパノラマ画像と、これに関する各情報とを画像ファイルとして記録するものである。なお、画像記憶部２００は、図１に示すリムーバブルメディア１９２に対応する。
【００５３】
操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を撮像部２１１および撮像動作判定部２７０に出力する。例えば、操作受付部２１０は、パノラマ画像撮像モードが設定されている場合において、パノラマ画像撮像動作開始を指示する開始指示操作が受け付けられた場合には、その操作内容を撮像部２１１および撮像動作判定部２７０に出力する。また、操作受付部２１０は、パノラマ画像の撮像動作が行われている間に、パノラマ画像撮像動作終了を指示する終了指示操作が受け付けられた場合には、その操作内容を撮像部２１１および撮像動作判定部２７０に出力する。これらの開始指示操作および終了指示操作は、例えば、シャッター操作により行われる。また、操作受付部２１０は、パノラマ画像撮像モードが設定されている場合において、撮像動作状態に応じて方位の決定方法を変更するか否かを設定する操作入力が受け付けられた場合には、その操作内容を撮像動作判定部２７０に出力する。なお、操作受付部２１０は、図１に示す入力制御部１８１および操作部１８２に対応する。
【００５４】
撮像部２１１は、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を撮像画像保持部２２０に順次供給する。例えば、パノラマ画像撮像モードが設定されている場合において、パノラマ画像撮像動作開始を指示する開始指示操作が操作受付部２１０により受け付けられた場合には、撮像部２１１は撮像画像の生成を開始する。また、パノラマ画像撮像動作終了を指示する終了指示操作が操作受付部２１０により受け付けられた場合には、撮像部２１１は撮像画像の生成を終了する。なお、撮像部２１１は、図１に示す撮像部１１１に対応する。
【００５５】
方位取得部２１２は、撮像方向に関する方位を取得するものであり、取得された方位を撮像動作判定部２７０およびパノラマ情報算出部２８０に出力する。なお、方位取得部２１２は、図１に示す方位センサ１１２に対応する。
【００５６】
撮像位置取得部２１３は、撮像位置に関する撮像位置情報を取得するものであり、取得された撮像位置情報を撮像動作判定部２７０および記録制御部２９０に出力する。なお、撮像位置取得部２１３は、図１に示すＧＰＳユニット１１３に対応する。
【００５７】
撮像画像保持部２２０は、撮像部２１１から出力された各撮像画像を保持するものであり、保持されている各撮像画像を移動量検出部２３０および画像合成部２４０に供給する。なお、撮像画像保持部２２０は、図１に示すＲＡＭ１５０に対応する。
【００５８】
移動量検出部２３０は、撮像画像保持部２２０から供給される各撮像画像について、隣接する撮像画像間の移動量および移動方向を検出するものであり、検出された移動量および移動方向を画像合成部２４０に出力する。なお、移動量検出部２３０は、図１に示すＣＰＵ１６０に対応する。
【００５９】
画像合成部２４０は、移動量検出部２３０から出力された移動量および移動方向に基づいて、撮像画像保持部２２０に保持されている各撮像画像を合成することによりパノラマ画像を生成するものである。そして、画像合成部２４０は、生成されたパノラマ画像を顔検出部２５０、中心位置算出部２６０および記録制御部２９０に出力する。なお、パノラマ画像の生成については、図５および図６を参照して詳細に説明する。また、画像合成部２４０は、図１に示すＣＰＵ１６０に対応する。
【００６０】
顔検出部２５０は、画像合成部２４０から出力されたパノラマ画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔情報を記録制御部２９０に出力する。この顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと撮像画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮像画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。また、顔情報には、検出された顔の位置およびサイズが含まれる。ここで、検出された顔の位置は、例えば、検出された顔の少なくとも一部を含む矩形の位置（例えば、その矩形の左上端の座標）である。また、検出された顔のサイズは、例えば、その矩形のサイズ（例えば、その矩形の水平方向および垂直方向の各画素数）である。なお、検出対象として、人物の顔以外の物体を対象とするようにしてもよい。また、顔検出部２５０は、図１に示すＣＰＵ１６０に対応する。
【００６１】
中心位置算出部２６０は、画像合成部２４０から出力されたパノラマ画像における水平方向の長さに基づいて、パノラマ画像における中心位置を算出するものである。そして、中心位置算出部２６０は、算出された中心位置および算出対象となったパノラマ画像の水平方向の長さをパノラマ情報算出部２８０に出力する。なお、中心位置算出部２６０は、図１に示すＣＰＵ１６０に対応する。また、中心位置算出部２６０は、特許請求の範囲に記載の代表位置算出部の一例である。
【００６２】
撮像動作判定部２７０は、方位取得部２１２から出力された方位と、撮像位置取得部２１３から出力された撮像位置情報とに基づいて、撮像装置１００の撮像動作状態を判定するものである。そして、撮像動作判定部２７０は、判定結果をパノラマ情報算出部２８０に出力する。例えば、撮像動作判定部２７０は、パノラマ画像撮像モードが設定されている場合において、撮像動作状態に応じて方位の決定方法を変更する旨の操作入力が操作受付部２１０により受け付けられた場合には、撮像装置１００の撮像動作状態を判定する。一方、撮像動作判定部２７０は、撮像動作状態に応じて方位の決定方法を変更しない旨の操作入力が操作受付部２１０により受け付けられた場合には、撮像装置１００の撮像動作状態を判定しない。例えば、パノラマ画像撮像モードが設定されている場合において、開始指示操作および終了指示操作が操作受付部２１０により受け付けられた際における方位および撮像位置情報に基づいて撮像装置１００の撮像動作状態が判定される。また、撮像動作判定部２７０は、その開始指示操作および終了指示操作が受け付けられた旨をパノラマ情報算出部２８０に出力する。なお、撮像動作状態の判定については、図１０を参照して詳細に説明する。また、撮像動作判定部２７０は、図１に示す撮像部１１１に対応する。
【００６３】
パノラマ情報算出部２８０は、画像合成部２４０により生成されたパノラマ画像に関する方位およびパノラマ画像の撮像範囲に対応する角度（パノラマ角）を算出するものであり、算出された方位およびパノラマ角を記録制御部２９０に出力する。例えば、パノラマ情報算出部２８０は、方位取得部２１２から出力された方位と、中心位置算出部２６０から出力されたパノラマ画像における中心位置と、撮像部２１１の特性情報とに基づいて、そのパノラマ画像における中心位置の方位を算出する。また、パノラマ情報算出部２８０は、中心位置算出部２６０から出力されたパノラマ画像の水平方向の長さと、撮像部２１１の特性情報とに基づいて、パノラマ角を算出する。なお、撮像部２１１の特性情報は、パノラマ情報算出部２８０が保持するようにしてもよく、撮像部２１１から順次供給されるようにしてもよい。なお、パノラマ画像における中心位置の方位の算出方法と、パノラマ角の算出方法とについては、図７および図８を参照して詳細に説明する。なお、パノラマ情報算出部２８０は、図１に示すＣＰＵ１６０に対応する。また、パノラマ情報算出部２８０は、特許請求の範囲に記載の方位算出部の一例である。
【００６４】
記録制御部２９０は、画像合成部２４０から出力されたパノラマ画像と、これに関する各情報とを画像ファイルとして画像記憶部２００に記録させるものである。パノラマ画像に関する各情報として、例えば、記録制御部２９０は、パノラマ情報算出部２８０から出力された方位およびパノラマ角を、対応する画像ファイルに関連付けて画像記憶部２００に記録させる。また、画像ファイルは、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて記録される。なお、記録制御部２９０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【００６５】
［パノラマ画像の画像ファイルの構成例］
図３は、本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルのファイル構造の一例を示す図である。図３に示す例では、ＤＣＦ（Design rule for Camera File system）規格により記録される静止画ファイルのファイル構造を概略的に示す。ＤＣＦは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格である。また、ＤＣＦでは、Ｅｘｉｆ（Exchangeable image file format）をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。Ｅｘｉｆは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式（ファイルフォーマット）を規定するものである。図３（ａ）には画像ファイル３００の構成例を示し、図３（ｂ）には付属情報３１０の構成例を示し、図３（ｃ）にはメーカーノート３１２の構成例を示す。
【００６６】
画像ファイル３００は、ＤＣＦ規格により記録される静止画ファイルであり、図３（ａ）に示すように、付属情報３１０および画像情報３２０から構成されている。画像情報３２０は、例えば、撮像部１１１により生成され、解像度変換部１２０により解像度変換され、画像圧縮伸張部１３０によりＪＰＥＧ形式で圧縮された画像データである。
【００６７】
付属情報３１０は、図３（ｂ）に示すように、属性情報３１１およびメーカーノート（maker note）３１２から構成されている。属性情報３１１は、画像ファイル３００に関する属性情報等であり、例えば、ＧＰＳ情報、方位情報、撮像部の特性情報（例えば、デバイス特性）、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。ＧＰＳ情報として、例えば、緯度、経度等の撮像位置情報（例えば、ＴＡＧＩＤ＝１０００００１乃至１０００００４）が含まれる。また、方位情報として、撮像画像の方位を示す方位情報（例えば、ＴＡＧＩＤ＝１００００１６および１００００１７）が含まれる。ここで、撮像画像の方位の単位（例えば、ＴＡＧＩＤ＝１００００１６）として、例えば、０．０１度が記録される。また、撮像画像の方向（例えば、ＴＡＧＩＤ＝１００００１７）として、例えば、北を０度（または、３６０度）とし、東を９０度とし、南を１８０度とし、西を２７０度として、方位センサ１１２により取得された方位に対応する数値が記録される。なお、この角度を示す数値は、方位角と称されることもある。また、撮像部の特性情報として、例えば、レンズ焦点距離等の撮像部の特性情報（例えば、ＴＡＧＩＤ＝３７３８６）が含まれる。このレンズ焦点距離は、例えば、図７に示すレンズ焦点距離ｆである。
【００６８】
メーカーノート３１２は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である（ＴＡＧＩＤ＝３７５００、MakerNote）。図３（ｃ）に示すように、メーカーノート３１２には、撮像部の特性情報として、例えば、焦点面の幅３１３が記録される。この焦点面の幅３１３は、例えば、図７に示す焦点面の幅ｗである。また、メーカーノート３１２には、パノラマ画像を構成する最初の画像の幅３１４と、パノラマ画像の撮像範囲に対応する角度３１５と、顔情報３１６とが記録される。なお、メーカーノート３１２に撮像位置情報や方位情報、パノラマ画像の有無等を記録するようにしてもよい。
【００６９】
パノラマ画像を構成する最初の画像の幅３１４は、画像合成部２４０により生成されたパノラマ画像を構成する複数の撮像画像のうち、時間軸における最初の撮像画像の幅を示す値である。この値は、パノラマ画像の水平方向における画素数（すなわち、水平解像度）により表すことができ、例えば、図８等に示すＨに対応する。
【００７０】
パノラマ画像の撮像範囲に対応する角度（パノラマ角）３１５は、パノラマ画像の撮像時において、撮像装置１００を基準位置とした場合における撮像範囲の水平方向における角度である。この角度は、例えば、撮像画像の水平方向における画角に相当する角度であり、例えば、図８等に示すθ０に対応する。
【００７１】
顔情報３１６は、画像合成部２４０により生成されたパノラマ画像に含まれる顔の位置およびサイズを含む情報である。
【００７２】
図４は、本発明の第１の実施の形態における画像記憶部２００に記憶される画像ファイルを模式的に示す図である。画像ファイル３３０は、画像合成部２４０により生成されたパノラマ画像の静止画ファイルであり、付属情報３３１および画像情報３３２が記録される。付属情報３３１には、メタ情報として、図４に示す各情報が記録される。これらの各情報は、図３で説明したものと同様であるため、ここでの説明を省略する。
【００７３】
このように、パノラマ画像の撮像動作が行われた場合には、画像合成部２４０により生成されたパノラマ画像が画像情報３３２に記録されるとともに、そのパノラマ画像に関する付属情報が付属情報３３１に記録される。なお、画像ファイル３３０を構成するパノラマ画像の生成方法については、図５および図６を参照して詳細に説明する。
【００７４】
［パノラマ画像の生成例］
図５は、本発明の第１の実施の形態における画像合成部２４０により生成されるパノラマ画像を構成する複数の撮像画像と、これらの撮像画像を生成する際における撮像装置１００の撮像動作状態との関係を模式的に示す図である。図５（ａ）には、撮像部２１１により生成された撮像画像４０１乃至４０４を示す。図５（ｂ）には、撮像画像４０１乃至４０４を生成する場合における撮像装置１００の撮像動作状態の遷移を示す。
【００７５】
図５（ａ）に示す撮像画像４０１乃至４０４は、山々やその手前の家等を被写体として撮像された画像である。撮像画像４０１乃至４０４は、例えば、図５（ｂ）に示すように、撮像装置１００の位置を基準として撮像装置１００を水平方向（矢印４０５の方向）に移動させながら撮像動作（いわゆる、パンニング操作）を行うことにより生成される。例えば、撮影者がシャッターボタンを押下しながら、撮像装置１００のパンニング操作を行うことにより、パノラマ画像の撮像動作が行われる（いわゆる、スイングパノラマ）。また、撮像画像４０１乃至４０４については、方位取得部２１２により方位を取得することができる。この例では、撮像画像４０１乃至４０４に含まれる被写体の中心位置４２１乃至４２４をバツ印で示す。また、撮像画像４０１には人物の顔４１１が含まれ、撮像画像４０３には人物の顔４１３が含まれているものとする。
【００７６】
図５（ｂ）では、図５（ａ）に示す撮像画像４０１乃至４０４を円上（点線４０６上）に仮想的に配置して、撮像画像４０１乃至４０４を上面から見た場合における位置関係を矩形４０１乃至４０４により模式的に示す。なお、図５（ｂ）では、対応する撮像画像４０１乃至４０４と同一の符号を各矩形に付す。また、撮像画像４０１乃至４０４に含まれる被写体の中心位置（水平方向の位置）についても、図５（ａ）に示す中心位置４２１乃至４２４と同一の符号を付す。また、図５（ｂ）に示す撮像動作状態で生成される撮像画像４０１乃至４０４の画角をθとして示す。なお、撮像画像４０１乃至４０４は、水平方向において少なくとも一部の領域に同一の被写体が含まれるように撮像動作が行われて生成された撮像画像であるものとする。
【００７７】
図６は、本発明の第１の実施の形態における画像合成部２４０によるパノラマ画像の生成方法を模式的に示す図である。なお、図６（ａ）に示す撮像画像４０１乃至４０４は、図５（ａ）に示すものと同一である。
【００７８】
図６（ａ）に示すように、撮像部２１１が撮像画像４０１乃至４０４を順次生成する。このように生成された撮像画像４０１乃至４０４が撮像画像保持部２２０に順次供給され、撮像画像保持部２２０には複数の撮像画像が保持される。そして、このように保持された撮像画像が移動量検出部２３０および画像合成部２４０に供給される。
【００７９】
続いて、移動量検出部２３０が、撮像画像保持部２２０に保持されている撮像画像について、隣接する撮像画像間の移動量および移動方向（すなわち、隣接する撮像画像間の相対変位）を検出する。続いて、移動量検出部２３０が、検出された移動量および移動方向を画像合成部２４０に供給する。例えば、移動量検出部２３０は、時系列的に隣接するフレーム間の撮像画像を順次比較することにより、撮像画像保持部２２０における隣接する撮像画像間の移動量および移動方向を検出する。
【００８０】
続いて、図６（ｂ）に示すように、画像合成部２４０が、隣接する撮像画像間の移動量および移動方向に基づいて、撮像画像保持部２２０に保持されている撮像画像４０１乃至４０４について、互いの重複領域が互いに重なり合うように合成する。この合成により合成画像４３０が生成される。この場合に、例えば、撮像素子の撮像面に結合された撮像画像の一部から所定幅の読出範囲に存在する部分画像について、互いの重複範囲が互いに重なり合うように接合して合成画像を生成するようにしてもよい（例えば、特開２００５−３３３９６号参照。）。また、例えば、各撮像画像間の重複領域について互いに画素値が相関する相対変位を求め、この相対変位に基づいて合成処理を行うことにより、重ね合わせ時における位置合わせ処理の精度を向上させることができる。なお、この位置合わせ処理では、Ｌｕｃａｓ−Ｋａｎａｄｅ法やブロックマッチング法等を用いて相対変位を求めることができる。
【００８１】
続いて、図６（ｃ）に示すように、画像合成部２４０が、撮像画像４０１乃至４０４により構成された合成画像４３０についてトリミング処理を行う。このトリミング処理は、パノラマ画像の一部分の画像領域（例えば、中央付近の画像領域）を切り出す画像処理である。画像合成部２４０は、例えば、隣接する撮像画像間の移動量および移動方向に基づいて、パノラマ画像撮像動作開始からパノラマ画像撮像動作終了までの撮像画像間の移動方向（例えば、水平方向）を検出する。そして、画像合成部２４０は、検出された移動方向に基づいて、合成画像４３０についてトリミング処理を行い、パノラマ画像４３１を生成する。図６（ｃ）では、撮像画像４０１乃至４０４に対応する矩形を点線で示し、トリミング処理により生成されたパノラマ画像４３１を太線の矩形で示す。なお、画像合成部２４０は、パノラマ画像撮像動作開始からパノラマ画像撮像動作終了までの撮像画像間の移動方向に傾きがある場合には、例えば、その移動方向に応じて斜め方向にトリミング処理を施す。このように傾きが生じる場合は、例えば、撮影者が撮像装置１００を水平に保たずに、撮像装置１００を傾けて撮像動作を行った場合等が想定される。
【００８２】
なお、本発明の第１の実施の形態では、撮像装置１００の位置を基準として撮影者が撮像装置１００を水平方向に移動させながら、パノラマ画像を生成する例を示した。しかしながら、例えば、撮像装置１００を旋回させるための駆動部を撮像装置１００に設け、この駆動部により撮像装置１００を水平方向に移動させながら、パノラマ画像を生成するようにしてもよい。この駆動部の駆動源として、例えば、ステッピングモータ等を用いることができる。また、例えば、各撮像画像における特徴点を抽出し、この抽出された特徴点を重ね合わせることにより、各撮像画像を繋ぎ合わせるパノラマ画像生成方法を用いるようにしてもよい。
【００８３】
また、この例では、パノラマ画像を生成するための撮像画像間の移動量および移動方向を画像解析により検出する例を示した。しかしながら、例えば、ジャイロセンサ等の角加速度センサを用いて、撮像装置１００の姿勢の変化量を検出し、この検出された変化量に基づいて、撮像画像間の移動量および移動方向を検出し、この移動量および移動方向を用いるようにしてもよい。角加速度センサとして、例えば、手ぶれ防止機能を実現するためのセンサを用いることができる。このように角加速度センサを用いることにより、移動量検出部２３０が移動量および移動方向を正確に検出することができない場合でも、隣接する撮像画像間の相対的な位置を検出することができる。
【００８４】
ここで、例えば、パノラマ画像４３１を１つの画像ファイルとして記録する場合を想定する。例えば、１つの画像ファイルをＥｘｉｆにより記録媒体に記録する場合には、基本的に１つの画像ファイルに１つの方位情報を記録することとなる。このため、例えば、パノラマ画像４３１の画像ファイルをＥｘｉｆにより記録媒体に記録する場合についても同様に、１つの画像ファイルに１つの方位情報を記録することとなる。このように画像ファイルに記録する方位情報として、例えば、その画像における中心位置について取得された方位とすることができる。例えば、画像における中心位置について取得された方位を方位情報としてその画像ファイルに記録することにより、その画像における水平方向の中心位置を基準として画像を表示させることができる。
【００８５】
そこで、本発明の第１の実施の形態では、パノラマ画像における代表位置を、パノラマ画像に含まれる被写体の中心位置とし、この中心位置について取得された方位をその画像ファイルに記録する例を示す。
【００８６】
ここで、例えば、パノラマ画像４３１を構成する撮像画像４０１乃至４０４における中心位置４２１乃至４２４について方位を取得し、この取得された方位の何れかを、パノラマ画像４３１の方位として画像ファイルに記録する場合を想定する。この場合には、図６（ｃ）に示すように、これらの方位（中心位置４２１乃至４２４の方位）の何れについても、パノラマ画像４３１における中心位置４３２とは異なる位置で取得された方位となる。そこで、以下では、パノラマ画像における代表位置（例えば、中心位置）の方位を算出する例を示す。
【００８７】
［パノラマ画像における代表位置の方位算出例］
図７は、本発明の第１の実施の形態における撮像部２１１のデバイス特性と、撮像部２１１により生成される撮像画像との関係を上面から見た場合を模式的に示す図である。図７では、撮像部２１１により生成される撮像画像の水平方向の撮像範囲を撮像範囲４５０として矩形で模式的に示す。また、撮像部２１１は、撮像素子４４１およびレンズ４４２を備える。なお、図７では、撮像素子４４１については矩形で模式的に示し、レンズ４４２については１つの楕円で模式的に示す。
【００８８】
例えば、撮像範囲４５０に含まれる被写体からの入射光がレンズ４４２を介して撮像素子４４１に入射されると、撮像範囲４５０に含まれる被写体に対応する撮像画像が撮像素子４４１に結像される。このように被写体の撮像画像が撮像素子４４１に結像されている場合において、撮像素子４４１に結像された撮像画像の水平方向の長さを焦点面の幅ｗとし、焦点距離をレンズ焦点距離ｆとする。この場合に、焦点面の幅ｗと、レンズ焦点距離ｆと、撮像範囲の幅Ｄｗと、被写体距離Ｄｆと、画角θとは、図７に示す関係が成立する。また、この場合における画角θは、以下の式１を用いて求めることができる。
θ＝（１８０／π）×２ｔａｎ−１（ｗ／２ｆ）［ｄｅｇ］ …式１
【００８９】
ここで、焦点面の幅ｗと、レンズ焦点距離ｆとは、撮像部２１１のデバイス特性として求められる固有値であり、撮像装置の機種によって値が異なる。以下では、この撮像部のデバイス特性を用いて、パノラマ画像における代表位置の方位を算出する例を示す。
【００９０】
図８は、本発明の第１の実施の形態におけるパノラマ情報算出部２８０によるパノラマ画像における代表位置の方位算出方法を概略的に示す図である。図８（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図６（ｃ）に示すパノラマ画像４３１と同様である。この例では、パノラマ画像を生成する際に最初に生成された撮像画像４０１について取得された方位を用いて、パノラマ画像における代表位置の方位を算出する例を示す。例えば、図８（ａ）に示す例では、撮像画像４０１における中心位置４２１について取得された方位を用いて、パノラマ画像４３１における中心位置４３２の方位を算出する例を示す。
【００９１】
ここで、パノラマ画像４３１を生成する際に最初に生成された撮像画像４０１の水平方向の長さをＨとする。また、撮像画像４０１について方位が取得された位置（撮像画像４０１の中心位置４２１）から、パノラマ画像４３１における中心位置４３２までの距離を距離Ｈ１とする。また、パノラマ画像４３１の水平方向の長さをＨ０とする。これらの長さは、例えば、水平方向における画素数（すなわち、水平解像度）により表すことができる。
【００９２】
図８（ｂ）には、パノラマ画像４３１を構成する撮像画像４０１乃至４０４を生成する場合における撮像装置１００の撮像動作状態の遷移を示す。なお、図８（ｂ）に示す例は、図５（ｂ）に示す例と略同一である。このため、共通する部分には、同一の符号を付して説明を省略する。
【００９３】
図８（ｂ）において、図８（ａ）に示すＨ０、Ｈ１、Ｈに対応する部分には、それぞれ同一の符号を付す。ここで、撮像画像４０１における中心位置４２１について取得された方位と、パノラマ画像４３１における中心位置４３２の方位とのなす角度をθ１とすると、角度θ１は、次の式２を用いて求めることができる。
θ１＝（θ／Ｈ）×Ｈ１ …式２
【００９４】
ここで、画角θは、上述した式１を用いて求めることができる。また、Ｈは、撮像部２１１の特性情報により特定することができる。このように算出されたθ１を用いて、パノラマ画像４３１における中心位置４３２の方位を算出する。具体的には、撮像装置１００の位置を基準として、撮像画像４０１における中心位置４２１について取得された方位をθ１だけ回転させた場合における値が、パノラマ画像４３１における中心位置４３２の方位として算出される。
【００９５】
例えば、撮像時における撮像装置１００の位置（撮像位置）を基準とした場合における方位（東西南北）として、北を０度（３６０度）とし、東を９０度とし、南を１８０度とし、西を２７０度とする。この場合に、例えば、撮像画像４０１における中心位置４２１について取得された方位が２７０度であり、式２を用いて算出されたθ１が４０度である場合には、パノラマ画像４３１における中心位置４３２の方位として、３１０度が算出される。
【００９６】
また、パノラマ画像４３１の撮像範囲に対応する角度（パノラマ角）をθ０とすると、角度θ０は、次の式３を用いて求めることができる。
θ０＝（θ／Ｈ）×Ｈ０ …式３
【００９７】
このように算出されたパノラマ画像４３１における中心位置の方位および角度θ０が、パノラマ画像４３１の画像ファイルに記録される。
【００９８】
以上で示したように、パノラマ画像を生成するための１つの撮像画像の方位を用いて、その代表位置の方位を算出することができる。このため、パノラマ画像の生成時において、撮像画像を撮り溜めている時（いわゆる、パンニング時）の処理負荷を軽減することができる。すなわち、パノラマ画像の生成時においては、各撮像画像を一時的に保持する必要があるため、この一時的に保持する撮像画像の数が多い場合には処理負荷が大きくなる。この場合に、パノラマ画像を生成するための各撮像画像の方位についても順次保持すると、処理負荷がさらに大きくなる。これに対して、本発明の第１の実施の形態では、パノラマ画像を生成するための最初の撮像画像以外の他の撮像画像の方位については、保持する必要がないため、パノラマ画像の生成時における処理負荷を軽減することができる。
【００９９】
また、例えば、撮影者の手動によるパンニング操作によりパノラマ画像（スイングパノラマ）を生成する場合には、撮像動作開始から撮像動作終了までの間、生成されるパノラマ画像のサイズが決定されないことが多い。例えば、撮影者の撮像動作の停止タイミングや撮像装置１００のぶれ等により、パノラマ画像の中心位置を撮像動作中に特定することができない。また、例えば、撮影者による撮像装置１００の振り方が悪い場合には、パノラマ画像として合成される被写体領域が狭くなる場合もある。このため、生成されるパノラマ画像の中心位置がどこになるかを、撮像動作中に決定することができないことが多い。これに対して、本発明の第１の実施の形態では、そのパノラマ画像の生成時において、パノラマ画像の水平方向の長さが確定した後に、その中心位置（代表位置）を特定する。そして、その中心位置の方位を算出するため、中心位置の方位の誤差を低減させることができる。これにより、例えば、パノラマ画像を地図上に配置して表示するような場合には、その中心位置の方位と、地図上における方位とを略一致させて配置することができるため、パノラマ画像を適切な方向とした状態で配置することができる。
【０１００】
なお、この例では、パノラマ画像を生成する際に最初に撮像された撮像画像について取得された方位を用いて、パノラマ画像における代表位置の方位を算出する例を示した。しかしながら、例えば、２枚目以降の撮像画像について取得された方位を用いて、パノラマ画像における代表位置の方位を算出するようにしてもよい。また、この例では、パノラマ画像における代表位置として、パノラマ画像における水平方向の中心位置を例にして説明したが、例えば、他の位置を代表位置とする場合についても同様に適用することができる。例えば、パノラマ画像に人物の顔が含まれている場合には、その顔の位置を代表位置とすることができる。また、複数の顔が含まれている場合には、その複数の顔のうち一番の特徴量が高い顔の位置を代表位置とすることができる。
【０１０１】
［撮像装置の動作例］
図９は、本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。この例では、パノラマ画像撮像モードが設定され、画像記録待機状態である場合において、シャッター操作によりパノラマ画像の生成を開始する例を示す。
【０１０２】
最初に、シャッター操作（パノラマ画像撮像動作開始を指示する開始指示操作）が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０１）。シャッター操作が受け付けられていない場合には、シャッター操作が受け付けられるまで、監視を継続する。シャッター操作が受け付けられた場合には（ステップＳ９０１）、方位取得部２１２が、撮像方向に関する方位を取得し（ステップＳ９０２）、撮像位置取得部２１３が、撮像位置に関する撮像位置情報を取得する（ステップＳ９０３）。なお、ステップＳ９０２は、特許請求の範囲に記載の方位取得手順の一例である。
【０１０３】
続いて、撮像部２１１が、被写体を撮像して撮像画像を生成し（ステップＳ９０４）、生成された撮像画像を撮像画像保持部２２０に保持させる（ステップＳ９０５）。なお、ステップＳ９０４は、特許請求の範囲に記載の撮像手順の一例である。続いて、シャッター操作（パノラマ画像撮像動作終了を指示する終了指示操作）が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０６）。シャッター操作が受け付けられていない場合には、ステップＳ９０４に戻る。シャッター操作が受け付けられた場合には（ステップＳ９０６）、画像合成部２４０が、撮像画像保持部２２０に保持されている各撮像画像に関する移動量および移動方向に基づいて、各撮像画像を合成してパノラマ画像を生成する（ステップＳ９０７）。なお、ステップＳ９０７は、特許請求の範囲に記載の画像合成手順の一例である。
【０１０４】
続いて、中心位置算出部２６０が、画像合成部２４０により生成されたパノラマ画像における中心位置を算出する（ステップＳ９０８）。なお、ステップＳ９０８は、特許請求の範囲に記載の代表位置算出手順の一例である。続いて、パノラマ情報算出部２８０が、画像合成部２４０により生成されたパノラマ画像に関する方位およびパノラマ角を算出する（ステップＳ９０９）。なお、ステップＳ９０９は、特許請求の範囲に記載の方位算出手順の一例である。続いて、記録制御部２９０が、画像合成部２４０により生成されたパノラマ画像と、パノラマ情報算出部２８０により算出された方位およびパノラマ角とを画像ファイルとして画像記憶部２００に記録させる（ステップＳ９１０）。この場合に、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて画像ファイルが記録される。そして、パノラマ画像記録処理の動作を終了する。なお、ステップＳ９１０は、特許請求の範囲に記載の記録制御手順の一例である。
【０１０５】
［パノラマ画像方位算出の変形例］
以上では、撮像装置１００の位置を基準として、撮影者が撮像装置１００のパンニング操作を行うことによりパノラマ画像を生成する場合における方位算出例を示した。しかしながら、例えば、被写体に対して略並行する直線上において撮像装置１００を移動させることによりパノラマ画像を生成することも想定される。このようにパノラマ画像を生成する場合には、パノラマ画像を生成するための各撮像画像の撮像位置において、撮像装置１００の光軸方向の方位が略同一となる。このため、上述した方位算出を行うことなく、何れかの撮像画像について取得された方位をパノラマ画像における代表位置の方位として用いることができる。そこで、以下では、パノラマ画像の撮像動作に応じて、パノラマ画像における代表位置の方位の決定方法を変更する例について説明する。
【０１０６】
図１０は、本発明の第１の実施の形態における撮像装置１００によりパノラマ画像を生成する際における撮像動作を模式的に示す図である。図１０（ａ）には、撮像装置１００の位置を回転中心として、撮像装置１００を水平方向に回転させることによりパノラマ画像を生成する撮像動作について上側から見た状態を模式的に示す。なお、図１０（ａ）に示す例は、図５（ｂ）に示す例と同一であるため、ここでの説明を省略する。
【０１０７】
図１０（ｂ）には、被写体に対して略並行する直線４６０上において撮像装置１００を移動させることによりパノラマ画像を生成する撮像動作について上側から見た状態を模式的に示す。図１０（ｂ）に示す撮像動作は、例えば、一定の速度で移動することが可能な車等の移動装置を用いて、進行方向４６５に対して直行する方向を撮像装置１００の光軸方向として行われるパノラマ画像の撮像動作である。例えば、撮像装置１００を手で持った人が乗っている車が進行方向４６５に一定の速度で移動していくものとする。この場合には、図１０（ｂ）に示すように、撮像装置１００の位置が順次変更されるが、撮像装置１００の光軸方向が一定の方位となる。このため、この撮像動作により生成された複数の撮像画像により構成されるパノラマ画像における代表位置の方位として、撮像画像４６１乃至４６４における中心位置４７１乃至４７４について取得された方位の何れについても用いることができる。
【０１０８】
ここで、チルチング操作が行われた場合を想定する。例えば、チルチング操作は、撮像装置１００の位置を回転中心として、撮像装置１００を垂直方向に回転させる操作である。このため、垂直方向に長いパノラマ画像を生成することができる。また、この場合において、垂直方向に９０度未満の回転操作となる場合には、撮像装置１００の姿勢が変更されるが、撮像装置１００の光軸方向が一定の方位となる。そこで、チルチング操作により生成されるパノラマ画像における代表位置の方位としては、パノラマ画像を生成するための各撮像画像について取得された方位の何れについても用いることができる。そこで、この例では、パノラマ画像の撮像動作に応じて、パノラマ画像における代表位置の方位の決定方法を変更する。
【０１０９】
ここで、例えば、パンニング操作やチルチング操作が行われた場合には、その操作時において撮像位置は変更されず、撮像装置１００の姿勢のみが変化する。このため、時間軸における最初の撮像画像について取得された撮像位置と、時間軸における最後の撮像画像について取得された撮像位置とが略同一となる。これに対して、例えば、図１０（ｂ）に示すように、直線４６０上において撮像装置１００を移動させることによりパノラマ画像を生成する場合には、撮像装置１００が移動する。このため、時間軸における最初の撮像画像について取得された撮像位置と、時間軸における最後の撮像画像について取得された撮像位置とが異なる。
【０１１０】
また、例えば、パンニング操作が行われた場合には、その操作時において方位が変化する。このため、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが異なる。これに対して、チルチング操作が行われた場合には、その操作時において方位は略変化しない。このため、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが略同一となる。
【０１１１】
また、例えば、図１０（ｂ）に示すように、撮像装置１００を移動させることによりパノラマ画像を生成する場合には、撮像装置１００の光軸方向が同一方向を向いた状態で移動するため、各撮像画像について取得される方位が略同一となる。このため、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが略同一となる。これに対して、撮像装置１００を移動させることにより撮像画像を生成する場合でも、これらの撮像画像によりパノラマ画像を生成しない場合も想定される。例えば、撮像装置１００を移動させながら、色々な方位を向けて撮像動作を行う場合が想定される。この場合には、時間軸における最初の撮像画像について取得された方位と、時間軸における最後の撮像画像について取得された方位とが異なると想定される。
【０１１２】
そこで、パノラマ画像を生成するための各撮像画像のうち、時間軸における最初の撮像画像および最後の撮像画像について取得された方位および撮像位置に基づいて、撮像動作判定部２７０が、撮像装置１００の撮像動作状態を判定する。
【０１１３】
例えば、撮像動作判定部２７０が、時間軸における最初の撮像画像について取得された撮像位置（緯度、経度）と、時間軸における最後の撮像画像について取得された撮像位置とを比較する。この比較の結果、２つの撮像位置が略同一となる場合には、パンニング操作またはチルチング操作が行われた場合が想定される。このため、撮像動作判定部２７０が、時間軸における最初の撮像画像および最後の撮像画像について取得された２つの方位を比較し、２つの方位が異なる場合には、パンニング操作が行われたと判定する。一方、２つの方位が略同一となる場合には、チルチング操作が行われたと判定する。
【０１１４】
また、時間軸における最初の撮像画像および最後の撮像画像について取得された２つの撮像位置を比較した結果、２つの撮像位置が異なる場合には、撮像装置１００を移動させることによりパノラマ画像が生成された場合が想定される。そこで、撮像動作判定部２７０が、時間軸における最初の撮像画像および最後の撮像画像について取得された２つの方位を比較し、２つの方位が略同一となる場合には、図１０（ｂ）に示す撮像動作が行われたと判定する。一方、２つの方位が異なる場合には、パノラマ画像を生成する撮像モード以外の撮像モードで撮像動作が行われたと判定する。
【０１１５】
これらの判定結果に基づいて、パノラマ情報算出部２８０が、パノラマ画像における代表位置の方位を決定する。例えば、パンニング操作が行われたと判定された場合には、パノラマ情報算出部２８０が、上述した方位算出方法により方位を算出し、この算出された方位を、パノラマ画像における代表位置の方位として決定する。また、例えば、チルチング操作または図１０（ｂ）の撮像動作が行われたと判定された場合には、パノラマ情報算出部２８０がそれらの撮像動作により生成された各撮像画像について取得された何れかの方位をパノラマ画像における代表位置の方位として決定する。
【０１１６】
このように、撮像動作判定部２７０が撮像装置１００の撮像動作状態を判定し、この判定結果に基づいて、パノラマ画像における代表位置の方位を決定する。これにより、撮影者が多様なパノラマ画像の撮像動作を行うような場合でも、撮像動作に応じた適切な方位を決定し、動画ファイルに記録することができる。
【０１１７】
この例では、パノラマ画像を生成するための各撮像画像のうち、時間軸における最初の撮像画像および最後の撮像画像について取得された方位および撮像位置を用いて撮像装置１００の撮像動作を判定する例を示した。しかしながら、例えば、ジャイロセンサ等の姿勢検出センサを用いて、撮像装置１００の撮像動作状態を判定するようにしてもよい。
【０１１８】
［撮像装置の動作例］
図１１は、本発明の第１の実施の形態における撮像装置１００によるパノラマ画像記録処理の処理手順を示すフローチャートである。この例は、図９に示すパノラマ画像記録処理の変形例であり、撮像装置１００の撮像動作状態に応じてパノラマ画像における代表位置の方位を決定する例である。このため、図９に示す処理手順と同一の部分については、同一の符号を付して説明を省略する。
【０１１９】
シャッター操作が受け付けられた場合には（ステップＳ９０１）、方位取得部２１２が、撮像方向に関する方位（ＳＤ）を取得し（ステップＳ９０２）、撮像位置取得部２１３が、撮像位置（ＳＧ）に関する撮像位置情報を取得する（ステップＳ９０３）。
【０１２０】
続いて、シャッター操作が受け付けられた場合には（ステップＳ９０６）、方位取得部２１２が、撮像方向に関する方位（ＥＤ）を取得し（ステップＳ９１１）、撮像位置取得部２１３が、撮像位置（ＥＧ）に関する撮像位置情報を取得する（ステップＳ９１２）。そして、画像合成部２４０がパノラマ画像を生成した後に（ステップＳ９０７）、撮像動作判定部２７０が撮像位置（ＳＧ）および撮像位置（ＥＧ）を比較する（ステップＳ９１３）。
【０１２１】
撮像位置（ＳＧ）および撮像位置（ＥＧ）が略同一である場合には（ステップＳ９１３）、撮像動作判定部２７０が方位（ＳＤ）および方位（ＥＤ）を比較する（ステップＳ９１４）。方位（ＳＤ）および方位（ＥＤ）が全く異なる場合には（ステップＳ９１４）、撮像動作判定部２７０が、パンニング操作が行われたと判定し、ステップＳ９０８に進む。一方、方位（ＳＤ）および方位（ＥＤ）が略同一である場合には（ステップＳ９１４）、撮像動作判定部２７０が、チルチング操作が行われたと判定し、ステップＳ９１６に進む。
【０１２２】
また、撮像位置（ＳＧ）および撮像位置（ＥＧ）が全く異なる場合には（ステップＳ９１３）、撮像動作判定部２７０が方位（ＳＤ）および方位（ＥＤ）を比較する（ステップＳ９１５）。方位（ＳＤ）および方位（ＥＤ）が全く異なる場合には（ステップＳ９１４）、撮像動作判定部２７０が、パノラマ画像を生成する撮像モード以外の撮像モードで撮像動作が行われたと判定し、ステップＳ９１０に進む。一方、方位（ＳＤ）および方位（ＥＤ）が略同一である場合には（ステップＳ９１５）、撮像動作判定部２７０が、図１０（ｂ）に示す撮像動作が行われたと判定する。そして、パノラマ情報算出部２８０が、パノラマ画像を構成する各撮像画像について取得された何れかの方位を、そのパノラマ画像における代表位置の方位として決定する（ステップＳ９１６）。
【０１２３】
続いて、記録制御部２９０が、画像合成部２４０により生成されたパノラマ画像と、パノラマ情報算出部２８０により出力されたメタ情報とを画像ファイルとして画像記憶部２００に記録させ（ステップＳ９１０）、パノラマ画像記録処理の動作を終了する。
【０１２４】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、パノラマ画像を生成する際にそのパノラマ画像における代表位置の方位を算出する例を示した。ここで、パノラマ画像は、水平方向または垂直方向に長い画像となることが多いため、特定の用途（例えば、印刷等）に不向きとなることが想定される。このため、撮像装置により記録されたパノラマ画像を特定の用途に用いる場合には、例えば、パノラマ画像の一部を抽出し、この抽出された一部の画像を画像ファイルとするトリミング処理を行うことがある。例えば、水平方向に長いパノラマ画像についてトリミング処理を行う場合を想定する。例えば、水平方向に長いパノラマ画像における水平方向の端部付近の画像を抽出する場合には、この抽出された画像に含まれる被写体に関する方位は、そのパノラマ画像における中心位置の方位と大きく異なることが想定される。すなわち、パノラマ画像から抽出される画像の位置が中心位置からずれるほど、被写体の方位に誤差が生じることが想定される。
【０１２５】
そこで、本発明の第２の実施の形態では、このように方位に誤差が生じることを回避するため、トリミング処理により抽出された画像（トリミング画像）の中心位置と、パノラマ画像の中心位置との差に基づいて、トリミング画像の方位を算出する例を示す。
【０１２６】
また、このようにパノラマ画像における任意の位置における方位を計算により求めることができるため、例えば、中心位置の方位が特定方位となる画像を、パノラマ画像から抽出することができる。特定方位は、例えば、東西南北のように、９０度単位の方位や、南西、北東等のように、４５度単位の方位とすることができる。
【０１２７】
また、例えば、特定の対象物（例えば、人物の顔）が存在する位置の周辺画像を、方位を基準として指定してパノラマ画像から抽出することができる。
【０１２８】
なお、本発明の第２の実施の形態における内部構成については、本発明の第１の実施の形態における撮像装置１００と略同一であるため、ここでの説明を省略する。また、以下では、撮像装置１００と共通する部分については同一の符号を付して説明を省略し、撮像装置１００と異なる点を中心に説明する。
【０１２９】
［撮像装置の機能構成例］
図１２は、本発明の第２の実施の形態における撮像装置５００の機能構成例を示すブロック図である。撮像装置５００は、画像記憶部２００と、操作受付部２１０と、画像ファイル取得部５１０と、メタ情報取得部５２０と、特定方位位置算出部５３０と、特定対象物方位算出部５４０とを備える。また、撮像装置５００は、画像抽出部５５０と、方位算出部５６０と、表示制御部５７０と、表示部５８０と、記録制御部５９０とを備える。
【０１３０】
画像記憶部２００は、画像ファイルを記憶するものであり、記憶されている画像ファイルを画像ファイル取得部５１０に供給する。また、画像記憶部２００は、記録制御部５９０の制御に基づいて、画像抽出部５５０から出力された画像と、これに関する各情報とを画像ファイルとして記憶する。なお、画像記憶部２００は、図２に示す画像記憶部２００に対応する。
【０１３１】
操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を各部に出力する。例えば、操作受付部２１０は、パノラマ画像表示モードが設定されている場合において、パノラマ画像を表示させる表示指示操作が受け付けられた場合には、その操作内容を画像ファイル取得部５１０に出力する。また、例えば、操作受付部２１０は、パノラマ画像等の画像が表示されている場合において、表示されている画像について拡大縮小等の表示変更を指示する指示操作が受け付けられた場合には、その操作内容を表示制御部５７０に出力する。また、例えば、操作受付部２１０は、パノラマ画像が表示されている場合において、方位指定表示の指示操作が受け付けられた場合には、その操作内容を特定方位位置算出部５３０または特定対象物方位算出部５４０に出力する。また、例えば、操作受付部２１０は、特定方位が表示されている場合において、何れかの特定方位を選択する選択操作が受け付けられた場合には、その操作内容を画像抽出部５５０に出力する。また、例えば、操作受付部２１０は、パノラマ画像から抽出された画像が表示されている場合において、その画像を新たな画像ファイルとして記録する記録指示操作が受け付けられた場合には、その操作内容を記録制御部５９０に出力する。例えば、操作受付部２１０は、パノラマ画像から抽出された画像が表示されている場合において、トリミング処理の指示操作が受け付けられた場合には、その操作内容を画像抽出部５５０に出力する。なお、操作受付部２１０は、図２に示す操作受付部２１０に対応する。
【０１３２】
画像ファイル取得部５１０は、操作受付部２１０により受け付けられた操作入力に応じて、画像記憶部２００に記憶されている画像ファイルを取得し、取得された画像ファイルの内容を各部に供給するものである。例えば、画像ファイル取得部５１０は、取得された画像ファイルのパノラマ画像を画像抽出部５５０および表示制御部５７０に出力する。このパノラマ画像は、デコードされ解像度変換が行われて出力される。また、画像ファイル取得部５１０は、取得された画像ファイルのメタ情報をメタ情報取得部５２０に出力する。なお、画像ファイル取得部５１０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【０１３３】
メタ情報取得部５２０は、画像ファイル取得部５１０から出力されたメタ情報を取得するものであり、取得されたメタ情報の内容を各部に出力する。例えば、メタ情報取得部５２０は、取得されたメタ情報の内容を、特定方位位置算出部５３０、特定対象物方位算出部５４０、方位算出部５６０および記録制御部５９０に出力する。なお、メタ情報取得部５２０は、図１に示すＣＰＵ１６０に対応する。
【０１３４】
特定方位位置算出部５３０は、操作受付部２１０により受け付けられた操作入力に応じて、メタ情報取得部５２０から出力されたメタ情報に基づいて、パノラマ画像における特定方位と、この特定方位のパノラマ画像における位置とを検出するものである。そして、特定方位位置算出部５３０は、検出されたパノラマ画像における特定方位を表示制御部５７０に出力する。また、特定方位位置算出部５３０は、検出されたパノラマ画像における特定方位およびその位置を画像抽出部５５０に出力する。このパノラマ画像における特定方位およびその位置の検出方法については、図１７および図１８を参照して詳細に説明する。なお、特定方位位置算出部５３０は、図１に示すＣＰＵ１６０に対応する。
【０１３５】
特定対象物方位算出部５４０は、操作受付部２１０により受け付けられた操作入力に応じて、メタ情報取得部５２０から出力されたメタ情報に基づいて、パノラマ画像に含まれる特定対象物の位置および方位を検出するものである。そして、特定対象物方位算出部５４０は、検出された特定対象物の方位を表示制御部５７０に出力する。また、特定対象物方位算出部５４０は、パノラマ画像に含まれる特定対象物の位置および方位を画像抽出部５５０に出力する。なお、この例では、パノラマ画像の生成時に記録されたメタ情報に基づいて、特定対象物を検出する例を示すが、例えば、画像解析（例えば、図２に示す顔検出部２５０による顔検出処理）によりパノラマ画像から特定対象物を検出するようにしてもよい。なお、特定対象物方位算出部５４０は、図１に示すＣＰＵ１６０に対応する。また、特定対象物方位算出部５４０は、特許請求の範囲に記載の特定対象物検出部の一例である。
【０１３６】
画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、画像ファイル取得部５１０から出力されたパノラマ画像における一部の画像を抽出するものであり、抽出された画像を表示制御部５７０および記録制御部５９０に出力する。また、例えば、画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、抽出された画像のパノラマ画像における位置を方位算出部５６０に出力する。また、画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、特定方位位置算出部５３０から出力されたパノラマ画像における特定方位の位置の周辺画像を抽出し、この周辺画像および特定方位を記録制御部５９０に出力する。また、画像抽出部５５０は、操作受付部２１０により受け付けられた操作入力に応じて、特定対象物方位算出部５４０から出力されたパノラマ画像に含まれる特定対象物の位置の周辺画像を抽出し、この周辺画像およびその方位を記録制御部５９０に出力する。これらの画像抽出方法については、図１３乃至図２０等を参照して詳細に説明する。なお、画像抽出部５５０は、図１に示すＣＰＵ１６０に対応する。
【０１３７】
方位算出部５６０は、メタ情報取得部５２０から出力されたメタ情報と、画像抽出部５５０により抽出された画像のパノラマ画像における位置とに基づいて、その抽出された画像における代表位置の方位を算出するものである。そして、方位算出部５６０は、算出された方位を記録制御部５９０に出力する。なお、抽出された画像における代表位置の方位の算出方法については、図１４等を参照して詳細に説明する。なお、方位算出部５６０は、図１に示すＣＰＵ１６０に対応する。
【０１３８】
表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、各種画像を表示部５８０に表示させるものである。例えば、表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、画像ファイル取得部５１０から出力されたパノラマ画像を表示部５８０に表示させる。また、表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、画像抽出部５５０から出力された画像を表示部５８０に表示させる。また、表示制御部５７０は、操作受付部２１０により受け付けられた操作入力に応じて、特定方位位置算出部５３０から出力されたパノラマ画像における特定方位、または、特定対象物方位算出部５４０から出力された特定対象物の方位を表示部５８０に表示させる。これらの表示例については、図１３、図１６、図１９等を参照して詳細に説明する。なお、表示制御部５７０は、図１に示すＣＰＵ１６０およびＬＣＤコントローラ１７１に対応する。
【０１３９】
表示部５８０は、表示制御部５７０の制御に基づいて、各種画像を表示する表示部である。表示部５８０は、図１に示すＬＣＤ１７２に対応する。
【０１４０】
記録制御部５９０は、操作受付部２１０により受け付けられた操作入力に応じて、画像抽出部５５０から出力された画像と、方位算出部５６０から出力されたその画像における代表位置の方位とを画像ファイルとして画像記憶部２００に記録させるものである。なお、この画像ファイルには、メタ情報取得部５２０から出力されたメタ情報の一部（抽出された画像に関するメタ情報）についても記録される。また、画像ファイルは、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて記録される。なお、記録制御部５９０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【０１４１】
［トリミング処理による画像の抽出例］
図１３は、本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。
【０１４２】
図１３（ａ）には、パノラマ画像４３１について各処理を行うためのメニュー画面６００を示す。メニュー画面６００には、例えば、パノラマ画像のインデックス画面（図示せず）において、ユーザ操作により選択されたパノラマ画像４３１が表示されているものとする。なお、パノラマ画像４３１は、図６（ｃ）等に示すパノラマ画像４３１と同一である。また、メニュー画面６００には、パノラマ画像４３１とともに、メニューボタン６０１と、トリミングボタン６０２と、方位指定表示ボタン６０３と、インデックス表示ボタン６０４とが表示される。なお、各図に示すボタンについては、内部に斜線が付されたボタンが選択状態であることを示す。また、以下では、各ボタンを選択する操作を、押下と称して説明する。
【０１４３】
メニューボタン６０１は、パノラマ画像４３１について各処理を行うための各項目を表示させる際に押下されるボタンである。例えば、メニュー画面６００において、メニューボタン６０１が押下されると、メニューボタン６０１の右側にトリミングボタン６０２、方位指定表示ボタン６０３およびインデックス表示ボタン６０４が表示される。
【０１４４】
トリミングボタン６０２は、パノラマ画像４３１についてトリミング処理を行う際に押下されるボタンである。このトリミング処理については、図１４および図１５を参照して詳細に説明する。
【０１４５】
方位指定表示ボタン６０３は、パノラマ画像４３１について方位を指定することにより、指定された方位の位置に対応する被写体を表示させる際に押下されるボタンである。この方位指定表示については、図１６乃至図２０を参照して詳細に説明する。
【０１４６】
インデックス表示ボタン６０４は、メニュー画面６００に表示させるパノラマ画像を選択するためのインデックス画面を表示させる際に押下されるボタンである。
【０１４７】
例えば、表示部５８０にメニュー画面６００が表示されている状態で、ユーザが、メニューボタン６０１を押下し、トリミングボタン６０２を押下すると、図１３（ｂ）に示すトリミング処理画面６１０が表示される。このトリミング処理画面６１０は、図１３（ａ）に示すメニュー画面６００に表示されているパノラマ画像４３１についてトリミング処理の行うための画面である。トリミング処理画面６１０には、パノラマ画像４３１とともに、決定ボタン６０５および戻るボタン６０６が表示される。
【０１４８】
決定ボタン６０５は、トリミング処理により抽出する画像の範囲を決定する際に押下されるボタンである。戻るボタン６０６は、図１３（ａ）に示すメニュー画面６００に戻る際に押下されるボタンである。
【０１４９】
ここで、図１３（ｂ）に示すトリミング処理画面６１０において、トリミング処理により抽出する画像の範囲を指定する指定操作について説明する。例えば、図１３（ｂ）に示すように、トリミング処理により抽出する画像として、矩形６１１内の画像を指定する場合について説明する。例えば、表示部５８０としてタッチパネルを採用している場合には、矩形６１１に相当する範囲をユーザが指でなぞることにより、矩形６１１を指定することができる。また、矩形６１１内の領域の中心位置をユーザが指で押下し、この押下の回数に応じて矩形の範囲を順次拡大させていくことにより、矩形６１１を指定することができる。また、矩形６１１の対角となる２点をユーザが指で押下し、この２点により矩形６１１を指定することができる。
【０１５０】
このように、抽出対象となる画像の範囲が指定され、この指定された画像についてトリミング処理を行う場合には、ユーザが決定ボタン６０５を押下し、抽出対象となる画像の範囲を決定する。このように抽出対象となる画像の範囲を決定する操作入力がされると、画像抽出部５５０が、決定された範囲内に含まれる画像を抽出する。そして、記録制御部５９０が、抽出された画像（トリミング画像）を新たな画像ファイルとして画像記憶部２００に記録させる。ここで、新たな画像ファイルとして記録されるトリミング画像に関する方位は、パノラマ画像における中心位置の方位とは異なることが多い。そこで、以下では、このように抽出されたトリミング画像の画像ファイルに記録する方位の算出方法について説明する。
【０１５１】
［トリミング画像の方位算出例］
図１４は、本発明の第２の実施の形態における方位算出部５６０によるトリミング画像における代表位置の方位算出方法を概略的に示す図である。図１４（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図８（ａ）に示すパノラマ画像４３１と同一のパノラマ画像であり、共通する部分には同一の符号を付す。この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、トリミング画像における代表位置の方位を算出する例を示す。例えば、図１６（ａ）に示す例では、撮像画像４０１における中心位置４２１について取得された方位を用いて、矩形６１１内の画像における中心位置４３３の方位を算出する例を示す。ここで、パノラマ画像４３１における中心位置４３２から、矩形６１１内の画像における中心位置４３３までの距離を距離Ｈ２とする。
【０１５２】
図１４（ｂ）には、パノラマ画像４３１を構成する撮像画像４０１乃至４０４を生成する場合における撮像装置１００の撮像動作状態の遷移を示す。なお、図１４（ｂ）に示す例は、図８（ｂ）に示す例と略同一である。このため、共通する部分には、同一の符号を付して説明を省略する。
【０１５３】
図１４（ｂ）において、図１４（ａ）に示すＨ、Ｈ０、Ｈ１、Ｈ２に対応する部分には、それぞれ同一の符号を付す。ここで、パノラマ画像４３１における中心位置４３２と、矩形６１１内の画像における中心位置４３３とのなす角度をθ２とすると、角度θ２は、次の式４を用いて求めることができる。
θ２＝（θ／Ｈ）×Ｈ２ …式４
【０１５４】
ここで、画角θは、上述した式１を用いて求めることができる。このように算出されたθ２を用いて、矩形６１１内の画像における中心位置４３３の方位を算出する。具体的には、撮像装置５００の位置を基準として、パノラマ画像４３１における中心位置４３２の方位をθ２だけ回転させた場合における値が、矩形６１１内の画像における中心位置４３３の方位として算出される。なお、方位を特定するための数値の算出方法については、図８に示す例と同様であるため、ここでの説明を省略する。このように、撮像部の特性情報と、パノラマ画像における代表位置と、代表位置の方位と、トリミング画像における代表位置とに基づいて、トリミング画像における代表位置の方位を算出することができる。
【０１５５】
図１５は、本発明の第２の実施の形態における画像抽出部５５０により生成されるトリミング画像と、画像記憶部２００に記憶されるトリミング画像の画像ファイルとの関係を模式的に示す図である。図１５（ａ）には、トリミング処理の対象となるパノラマ画像４３１を示し、図１５（ｂ）には、パノラマ画像４３１から抽出されたトリミング画像６２０を示す。
【０１５６】
図１５（ｃ）には、トリミング画像６２０の画像ファイル６３０を模式的に示す。画像ファイル６３０は、画像抽出部５５０により生成されたトリミング画像の画像ファイルであり、付属情報６３１および画像情報６３２が記録される。なお、画像ファイル６３０の構成は、図４に示す画像ファイル３３０と同様であるため、ここでの詳細な説明を省略する。例えば、付属情報３３１に記録されるメタ情報として、方位算出部５６０により算出されたトリミング画像における中心位置の方位が記録される。なお、付属情報３３１に記録されるメタ情報として、図３で説明したものと同様のものを記録することができる。
【０１５７】
以上で示したように、パノラマ画像における代表位置の方位を用いて、トリミング画像における代表位置の方位を算出することができる。これにより、トリミング画像の代表位置の方位の誤差を低減させることができる。
【０１５８】
なお、この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、トリミング画像における代表位置の方位を算出する例を示したが、パノラマ角を用いてその方位を算出するようにしてもよい。例えば、図１４（ｂ）に示すように、パノラマ画像４３１の水平方向の長さをＨ０とし、パノラマ画像４３１のパノラマ角をθ０とする。また、パノラマ画像４３１における中心位置４３２と、矩形６１１内の画像における中心位置４３３とのなす角度をθ２とすると、角度θ２は、次の式５を用いて求めることができる。
θ２＝（θ０／Ｈ０）×Ｈ２ …式５
【０１５９】
ここで、パノラマ角θ０は、上述した式３により求めることができ、図４に示すように、パノラマ画像４３１の画像ファイルに記録されている。このように、パノラマ画像における水平方向のサイズと、パノラマ角と、パノラマ画像における代表位置と、代表位置の方位と、トリミング画像における代表位置とに基づいて、トリミング画像における代表位置の方位を算出することができる。
【０１６０】
［方位指定による画像の抽出例］
以上では、トリミング処理により抽出される画像の範囲をユーザによる手動操作により指定する例を示した。ここで、パノラマ画像の画像ファイルには、パノラマ画像における中心位置の方位が記録されているため、パノラマ画像における特定方位（例えば、東西南北）についても計算により求めることができる。このため、例えば、パノラマ画像における抽出対象範囲を特定方位により指定することができる。そこで、以下では、パノラマ画像に含まれる被写体のうち、特定方位に位置する被写体を含む画像を抽出する例について説明する。
【０１６１】
図１６は、本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。図１６（ａ）には、特定方位を指定するためのメニュー画面６００を示す。なお、メニュー画面６００におけるメニューボタン６０１、トリミングボタン６０２、方位指定表示ボタン６０３およびインデックス表示ボタン６０４については、図１３（ａ）に示す例と同様であるため、同一の符号を付して、ここでの説明を省略する。また、この例では、東、西、南、北、南西、北東等のように、４５度単位の方位を特定方位とする例を示す。
【０１６２】
例えば、表示部５８０にメニュー画面６００が表示されている状態で、ユーザが、メニューボタン６０１を押下し、方位指定表示ボタン６０３を押下する。この方位指定表示ボタン６０３の押下により、メニュー画面６００に表示されているパノラマ画像４３１に含まれる被写体の特定方位が検出され、検出された特定方位が特定方位表示領域６０７に表示される。図１６（ａ）に示す例では、例えば、パノラマ画像４３１の特定方位として、「北」「北西」が検出された場合を示す。また、図１６（ａ）に示す表示例では、パノラマ画像４３１の特定方位として検出された「北西」を中心位置とする画像の範囲を点線の矩形６４１でパノラマ画像４３１上に示し、「北」を中心位置とする画像の範囲を点線の矩形６４２でパノラマ画像４３１上に示す。この特定方位の検出方法については、図１７および図１８を参照して詳細に説明する。
【０１６３】
例えば、メニュー画面６００において方位指定表示ボタン６０３を押下した後に表示される特定方位表示領域６０７における特定方位「北」「北西」のうち、ユーザが「北西」の部分を押下したものとする。このように特定方位表示領域６０７における特定方位「北西」の部分が押下されると、図１６（ｂ）に示すように、押下された特定方位「北西」に対応する画像６５１が、指定方位画像表示画面６５０に表示される。すなわち、図１６（ａ）に示すパノラマ画像４３１における点線の矩形６４１に含まれる画像が、指定方位画像表示画面６５０に表示される。この場合に、例えば、押下された特定方位「北西」に対応する画像６５１とともに、特定方位「北西」に関連するメッセージ（例えば、北西方向の被写体です）が指定方位画像表示画面６５０に表示される。また、指定方位画像表示画面６５０には、画像６５１とともに、トリミングボタン６５２および戻るボタン６５３が表示される。
【０１６４】
トリミングボタン６５２は、指定方位画像表示画面６５０に表示されている画像６５１についてトリミング処理を行う際に押下されるボタンである。すなわち、トリミングボタン６５２を押下することにより、この押下の際に指定方位画像表示画面６５０に表示されている画像についてトリミング処理が行われ、その画像の画像ファイルが記録される。この場合には、その画像の方位として、その画像に対応する特定方位が記録される。なお、トリミング処理については、上述した処理と同様であるため、ここでの説明を省略する。戻るボタン６５３は、図１６（ａ）に示すメニュー画面６００に戻る際に押下されるボタンである。
【０１６５】
図１７は、本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、特定方位の位置を検出する例を示す。
【０１６６】
図１７（ａ）には、撮像時における撮像位置６６０を基準とした場合における方位（東西南北）を円６６１上に示す。図１７に示す例では、北を０度（３６０度）とし、東を９０度とし、南を１８０度とし、西を２７０度とした場合において、東、西、南、北、南西、北東等のように、４５度単位の方位を特定方位として検出する例を示す。これらの特定方位を円６６１上に白丸（特定方位６６２乃至６６９）で示す。
【０１６７】
図１７（ｂ）には、パノラマ画像６７０と、特定方位６６２乃至６６９との関係を模式的に示す。パノラマ画像６７０は、例えば、中心位置の方位が、北６６２と北西６６９との間の方位となるパノラマ画像である。図１７（ｂ）に示す例では、パノラマ画像６７０を円６６１上に仮想的に配置して、パノラマ画像６７０を上面から見た場合における位置関係を模式的に示す。なお、図１７（ｂ）に示す円６６１上において、パノラマ画像６７０に対応する範囲を太線で示す。また、パノラマ画像６７０に対応する太線上における中心位置６７１および特定方位を白抜きの太丸で示す。ここで、パノラマ画像６７０に含まれる特定方位は、図１７（ｂ）に示すように、４つ（特定方位６６２、６６３、６６８、６６９）となる。上述したように、パノラマ画像６７０における中心位置６７１の方位に基づいて任意の方位を算出することができるため、例えば、パノラマ画像６７０における両端部６７２および６７３の方位を算出することが可能である。そこで、例えば、パノラマ画像６７０における両端部６７２および６７３の方位を算出し、この両端部６７２および６７３の方位の間に存在する特定方位を検出することができる。そして、このように検出された特定方位のパノラマ画像６７０における位置を算出する。例えば、パノラマ画像６７０の水平方向の長さをＨ０とし、パノラマ画像６７０における中心位置６７１および特定方位（北）の位置６６２の水平方向の距離をＨ３とする。また、撮像位置６６０を基準とした場合における中心位置６７１の方位と、北とのなす角を角θ３とする。また、パノラマ画像６７０を生成する際に最初に生成された撮像画像の水平方向の長さをＨとする。そして、以下の式６を用いて、中心位置６７１および北の位置６２２の水平方向の距離Ｈ３が算出される。
Ｈ３＝θ３／（θ／Ｈ） …式６
【０１６８】
ここで、画角θは、上述した式１を用いて求めることができる。このように算出された距離Ｈ３と、パノラマ画像６７０における中心位置６７１とに基づいて、パノラマ画像６７０における特定方位（北）の位置６６２が検出される。このように検出された特定方位（北）の位置６６２を用いて、パノラマ画像６７０に含まれる被写体のうち、撮像装置５００が北方向を向いた状態で撮像された被写体を表示させることができる。例えば、撮像装置５００が北方向を向いた状態で撮像された被写体を表示させる場合には、パノラマ画像６７０における特定方位（北）の位置６６２を含む一定の範囲に含まれる画像が画像抽出部５５０により抽出される。そして、この抽出された画像が表示部５８０に表示される。また、パノラマ画像６７０上に存在する他の特定方位についても同様に検出することができる。
【０１６９】
なお、この例では、パノラマ画像６７０における両端部６７２および６７３の間に存在する特定方位を検出し、この検出された特定方位に対応する位置を検出する例を示した。しかしながら、例えば、全ての特定方位の位置を検出し、この検出された位置のうち、パノラマ画像に含まれる位置のみを特定方向の位置として検出するようにしてもよい。また、この例では、４５度単位の方位を特定方位として検出する例を示したが、例えば、東西南北のように、９０度単位の方位を特定方位として検出するようにしてもよい。また、４５度単位の方位よりも、さらに細かい単位を特定方位として検出するようにしてもよい。
【０１７０】
図１８は、本発明の第２の実施の形態における特定方位位置算出部５３０により各特定方位およびその位置を検出する特定方位および位置の検出方法を概略的に示す図である。この例は、図１６（ａ）に示すパノラマ画像４３１について、特定方位およびその位置を検出する例である。なお、特定方位およびその位置の検出方法については、図１７に示す例と同様であるため、ここでの詳細な説明を省略する。なお、図１８（ｂ）に示す地図記号６８０は、東西南北を表す地図記号である。
【０１７１】
図１８（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図８（ａ）に示すパノラマ画像４３１と同一のパノラマ画像であり、共通する部分には同一の符号を付す。ここで、パノラマ画像４３１に含まれる特定方位は、図１８（ｂ）に示すように、２つ（特定方位（北西）６８１および特定方位（北）６８２）であるものとする。例えば、パノラマ画像４３１の水平方向の長さをＨ０とし、パノラマ画像４３１における中心位置４３２および特定方位（北西）の位置６８１の水平方向の距離をＨ４とする。また、撮像装置５００の撮像位置を基準とした場合における中心位置４３２の方位と、北西とのなす角を角θ４とする。また、パノラマ画像４３１を生成する際に最初に生成された撮像画像の水平方向の長さをＨとする。この場合には、上述の式６を用いて、中心位置４３２および北西の位置６８１の水平方向の距離Ｈ４が算出される。同様に、パノラマ画像４３１における中心位置４３２および特定方位（北）の位置６８２の水平方向の距離Ｈ５についても算出することができる。このように算出された距離Ｈ４およびＨ５と、パノラマ画像４３１における中心位置４３２とに基づいて、パノラマ画像４３１における特定方位（北および北西）の位置６８１および６８２が検出される。
【０１７２】
また、このように検出された特定方位（北および北西）が、図１６（ａ）に示す特定方位表示領域６０７に表示される。ここで、例えば、図１６（ａ）に示すように、特定方位表示領域６０７に表示されている特定方位（北および北西）のうち、特定方位（北西）が指定された場合を想定する。この場合には、パノラマ画像４３１における特定方位（北西）の位置６８２を含む一定の範囲（矩形６４２）に含まれる画像が画像抽出部５５０により抽出される。そして、図１６（ｂ）に示すように、その抽出された画像６５１が指定方位画像表示画面６５０に表示される。
【０１７３】
以上で示したように、パノラマ画像における代表位置の方位を用いて、特定方位の位置を検出することができる。これにより、ユーザの好みの画像を特定方位に基づいて指定することができる。
【０１７４】
なお、この例では、パノラマ画像を生成する際に最初に生成された撮像画像の水平方向の幅を用いて、特定方位の位置を検出する例を示したが、パノラマ角を用いてその位置を算出するようにしてもよい。例えば、図１８（ｂ）に示すように、パノラマ画像４３１の水平方向の長さをＨ０とし、パノラマ画像４３１のパノラマ角をθ０とする。また、パノラマ画像４３１における中心位置４３２および特定方位（北西）の位置６８１の水平方向の距離をＨ４とする。また、撮像装置５００の撮像位置を基準とした場合における中心位置４３２の方位と、北西とのなす角を角θ４とすると、角度Ｈ４は、次の式７を用いて求めることができる。
Ｈ４＝θ４／（θ０／Ｈ０） …式７
【０１７５】
ここで、パノラマ角θ０は、上述した式３により求めることができ、図４に示すように、パノラマ画像４３１の画像ファイルに記録されている。
【０１７６】
［特定対象物を含む方位の指定による画像の抽出例］
以上では、パノラマ画像における特定方位を指定することにより、その指定された特定方位に対応する被写体を含む画像を抽出する例を示した。ここで、パノラマ画像に含まれる一部の画像を抽出する場合に、パノラマ画像における方位を基準とするよりも、パノラマ画像に含まれる被写体の種類を基準とする方が、ユーザの好みを反映させることができることも想定される。例えば、人物の顔等の特定対象物を指定して、この特定対象物を含む被写体を抽出することができると考えられる。そこで、以下では、パノラマ画像に含まれる被写体のうち、特定対象物を含む被写体に対応する方位を検出する例について説明する。
【０１７７】
図１９は、本発明の第２の実施の形態における表示部５８０における表示画面の表示例を示す図である。図１９（ａ）には、特定対象物を含む被写体に対応する方位を指定するためのメニュー画面６００を示す。なお、メニュー画面６００におけるメニューボタン６０１、トリミングボタン６０２およびインデックス表示ボタン６０４については、図１６（ａ）に示す例と同様であるため、同一の符号を付して、ここでの説明を省略する。
【０１７８】
例えば、表示部５８０にメニュー画面６００が表示されている状態で、ユーザが、メニューボタン６０１を押下し、方位指定表示ボタン６０３を押下する。この方位指定表示ボタン６０３の押下により、メニュー画面６００に表示されているパノラマ画像４３１に含まれる被写体のうち特定対象物（例えば、人物の顔）が検出され、検出された特定対象物を含む被写体の方位が特定対象物方位表示領域６０９に表示される。
【０１７９】
図１９（ａ）に示す例では、例えば、パノラマ画像４３１に含まれる人物の顔４１１および４１３が検出された場合を示す。また、図１９（ａ）に示す表示例では、人物の顔４１１を含む画像の範囲を点線の矩形６４３でパノラマ画像４３１上に示し、人物の顔４１３を含む画像の範囲を点線の矩形６４４でパノラマ画像４３１上に示す。
【０１８０】
例えば、メニュー画面６００において方位指定表示ボタン６０３を押下した後に表示される特定対象物方位表示領域６０９における特定対象物を含む方位「北北西」「西北西」のうち、ユーザが「北北西」の部分を押下したものとする。このように特定対象物方位表示領域６０９における特定対象物を含む方位「北北西」の部分が押下されると、図１９（ｂ）に示すように、押下された方位「北北西」に対応する画像６５５が、特定対象物画像表示画面６５４に表示される。すなわち、図１９（ａ）に示すパノラマ画像４３１における点線の矩形６４４に含まれる画像が、特定対象物画像表示画面６５４に表示される。この場合に、例えば、押下された方位「北北西」に対応する画像６５５とともに、方位「北北西」および特定対象物に関連するメッセージ（例えば、北北西方向の人物です。）が特定対象物画像表示画面６５４に表示される。また、特定対象物画像表示画面６５４には、画像６５５とともに、トリミングボタン６５２および戻るボタン６５３が表示される。なお、トリミングボタン６５２および戻るボタン６５３については、図１６（ｂ）に示すものと同一であるため、ここでの説明を省略する。
【０１８１】
図２０は、本発明の第２の実施の形態における特定対象物方位算出部５４０により各特定対象物の方位を検出する特定対象物の方位検出方法を概略的に示す図である。この例は、図１９（ａ）に示すパノラマ画像４３１について、特定対象物を含む位置の方位を検出する例である。なお、パノラマ画像における位置の方位算出方法については、上述した方位算出方法と同様であるため、ここでの詳細な説明を省略する。
【０１８２】
図２０（ａ）には、パノラマ画像４３１を示す。なお、パノラマ画像４３１は、図８（ａ）に示すパノラマ画像４３１と同一のパノラマ画像であり、共通する部分には同一の符号を付す。ここで、パノラマ画像４３１に含まれる特定対象物は、図２０（ａ）に示すように、２つ（人物の顔４１１および４１３）となる。特定対象物方位算出部５４０は、例えば、パノラマ画像４３１の画像ファイルに記録されている顔情報に基づいて、パノラマ画像４３１に含まれる人物の顔４１１および４１３を検出し、これらの位置およびサイズを特定する。このように特定された人物の顔４１１の位置６８３に基づいて、特定対象物方位算出部５４０は、パノラマ画像４３１における中心位置４３２から人物の顔４１１の位置６８３までの距離Ｈ６を算出する。同様に、特定対象物方位算出部５４０は、パノラマ画像４３１における中心位置４３２から人物の顔４１３の位置６８４までの距離Ｈ７を算出する。このように算出された距離Ｈ６に基づいて、特定対象物方位算出部５４０は、式４または式５を用いて、パノラマ画像４３１における人物の顔４１１の位置６８３の方位を算出する。同様に、特定対象物方位算出部５４０は、式４または式５を用いて、パノラマ画像４３１における人物の顔４１３の位置６８４の方位を算出する。ここで、このように算出された特定対象物の位置の方位として、例えば、東西南北のように、９０度単位の方位や、南西、北東等のように、４５度単位の方位に分類することができる。この例では、南南西、北北東等のように、３０度単位の方位に分類する例を示す。例えば、人物の顔４１１の位置６８３の方位が「西北西」に分類され、人物の顔４１３の位置６８４の方位が「北北西」に分類される。
【０１８３】
このように分類された方位（北北西および西北西）が、図１９（ａ）に示す特定対象物方位表示領域６０９に表示される。ここで、例えば、図１９（ａ）に示すように、特定対象物方位表示領域６０９に表示されている方位（北北西および西北西）のうち、方位（北北西）が指定された場合を想定する。この場合には、パノラマ画像４３１における方位（北北西）の位置６８４を含む一定の範囲（矩形６４４）に含まれる画像が画像抽出部５５０により抽出される。そして、図１９（ｂ）に示すように、その抽出された画像６５５が指定対象物画像表示画面６５２に表示される。
【０１８４】
以上で示したように、パノラマ画像における代表位置の方位を用いて、特定対象物の位置の方位を検出することができる。これにより、ユーザの好みの特定対象物を含む画像を方位に基づいて指定することができる。なお、方位指定表示として、特定方位を指定するか、特定対象物を含む画像を方位に基づいて指定するかを、ユーザによる手動操作により設定するようにしてもよい。また、複数の特定対象物（例えば、人物の通常の顔、人物の笑顔、ペット（犬や猫））をユーザによる手動操作により選択可能とし、選択された特定対象物の位置の方位を検出するようにしてもよい。
【０１８５】
このように、本発明の第２の実施の形態によれば、パノラマ画像における代表位置の方位を用いて、抽出された画像における代表位置の方位を算出し、この算出された方位と抽出された画像とを画像ファイルに記録することができる。このため、例えば、パノラマ画像の一部分が抽出された画像についても正確な方位を記録することができる。これにより、例えば、その抽出された画像の画像ファイルを用いて、その画像を地図上に重ねて表示する際に、その画像に含まれる被写体の撮像時における撮像方向に基づいて、その画像を地図上に配置することができる。この場合に、撮像方向の誤差を低減させることができる。
【０１８６】
［撮像装置の動作例］
図２１は、本発明の第２の実施の形態における撮像装置５００によるパノラマ画像の画像抽出処理の処理手順を示すフローチャートである。この例では、パノラマ画像表示モードが設定されている場合において、インデックス画面において指定されたパノラマ画像について画像抽出処理を行う例を示す。また、方位指定表示として、特定方位を表示する例を示す。
【０１８７】
最初に、パノラマ画像を表示させる表示指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２１）。例えば、パノラマ画像のインデックス画面において、ユーザにより所望のパノラマ画像が選択されることにより表示指示操作が行われる。その表示指示操作が受け付けられていない場合には、その表示指示操作が受け付けられるまで、監視を継続する。その表示指示操作が受け付けられた場合には（ステップＳ９２１）、画像ファイル取得部５１０が、その表示指示操作に応じて、画像記憶部２００に記憶されている画像ファイルを取得する（ステップＳ９２２）。この場合に、画像ファイル取得部５１０が、取得された画像ファイルのパノラマ画像をデコードして解像度変換を行い、表示制御部５７０に出力する。続いて、表示制御部５７０が、その取得された画像ファイルのパノラマ画像を表示部５８０に表示させる（ステップＳ９２３）。
【０１８８】
続いて、表示部５８０に表示されているパノラマ画像以外の他のパノラマ画像を表示させる表示指示操作（いわゆる、ファイル送り操作）が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２４）。その表示指示操作が受け付けられていない場合には、ステップＳ９２５に進み、その表示指示操作が受け付けられた場合には、ステップＳ９２２に戻る。
【０１８９】
続いて、表示部５８０に表示されている画像について、拡大縮小（いわゆる、ズーム倍率の変更）や表示位置を変更する指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２５）。その指示操作が受け付けられた場合には（ステップＳ９２５）、表示制御部５７０が、その指示操作に応じて、表示部５８０に表示されている画像について表示変更処理を行い（ステップＳ９２６）、ステップＳ９４０に進む。
【０１９０】
その指示操作が受け付けられていない場合には（ステップＳ９２５）、方位指定表示の指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２７）。例えば、図１３に示す方位指定表示ボタン６０３が押下されることにより、方位指定表示の指示操作が行われる。方位指定表示の指示操作が受け付けられた場合には（ステップＳ９２７）、特定方位位置算出部５３０が、表示部５８０に表示されているパノラマ画像における特定方位を検出する（ステップＳ９２８）。続いて、特定方位位置算出部５３０が、その検出された特定方位のパノラマ画像における位置を検出する（ステップＳ９２９）。続いて、表示制御部５７０が、検出された特定方位を表示部５８０に表示される（ステップＳ９３０）。例えば、図１６（ａ）に示す特定方位表示領域６０７に、検出された特定方位が表示される。
【０１９１】
続いて、表示部５８０に表示されている特定方位を選択する選択操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３１）。その選択操作が受け付けられた場合には（ステップＳ９３１）、画像抽出部５５０が、選択された特定方位のパノラマ画像における位置を含む一定の範囲に含まれる画像を抽出する。そして、表示制御部５７０が、抽出された画像を表示部５８０に表示させる（ステップＳ９３２）。続いて、表示部５８０に表示されている画像を、新たな画像ファイルとして記録する記録指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３３）。例えば、図１６（ｂ）に示すトリミングボタン６５２が押下されることにより、指定方位画像表示画面６５０に表示されている画像６５１を記録する記録指示操作が行われる。その記録指示操作が受け付けられた場合には（ステップＳ９３３）、記録制御部５９０が、画像抽出部５５０により抽出された画像と、この画像における代表位置の方位（特定方位）とを画像ファイルとして画像記憶部２００に記録させる（ステップＳ９３４）。この場合に、例えば、解像度変換が行われＪＰＥＧ形式で圧縮されて画像ファイルが記録される。そして、ステップＳ９４０に進む。なお、選択操作が受け付けられない場合（ステップＳ９３１）、または、記録指示操作が受け付けられない場合にも（ステップＳ９３３）、ステップＳ９４０に進む。
【０１９２】
また、方位指定表示の指示操作が受け付けられない場合には（ステップＳ９２７）、表示部５８０に特定方位が表示されているか否かが判断される（ステップＳ９３５）。表示部５８０に特定方位が表示されている場合には、ステップＳ９３１に進む。一方、表示部５８０に特定方位が表示されていない場合には（ステップＳ９３５）、パノラマ画像から抽出された画像（特定方位の画像）が表示部５８０に表示されているか否かが判断される（ステップＳ９３６）。その抽出された画像が表示されている場合には（ステップＳ９３６）、ステップＳ９３３に進む。一方、その抽出された画像が表示されていない場合には（ステップＳ９３６）、トリミング処理の指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３７）。例えば、図１３（ｂ）に示すトリミング処理画面６１０において、画像の範囲が指定され、決定ボタン６０５が押下されることにより、トリミング処理の指示操作が行われる。トリミング処理の指示操作が受け付けられた場合には（ステップＳ９３７）、画像抽出部５５０が、指定された範囲に含まれる画像を抽出し、表示制御部５７０が、抽出された画像を表示部５８０に表示させる（ステップＳ９３８）。続いて、方位算出部５６０が、その抽出された画像における代表位置の方位を算出し（ステップＳ９３９）、ステップＳ９３３に進む。そして、その記録指示操作が受け付けられた場合には（ステップＳ９３３）、記録制御部５９０が、画像抽出部５５０により抽出された画像と、この画像における代表位置の方位とを画像ファイルとして画像記憶部２００に記録させる（ステップＳ９３４）。
【０１９３】
また、トリミング処理の指示操作が受け付けられていない場合には（ステップＳ９３７）、パノラマ画像の表示終了指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３７）。パノラマ画像の表示終了指示操作が受け付けられていない場合には、ステップＳ９２４に戻り、パノラマ画像の表示終了指示操作が受け付けられた場合には、パノラマ画像の画像抽出処理の動作を終了する。
【０１９４】
＜３．第３の実施の形態＞
本発明の第２の実施の形態では、パノラマ画像に含まれる一部の画像を抽出して表示またはトリミング処理等を行う例を示した。ここで、上述したように、パノラマ画像は、比較的広い範囲の被写体を含む画像であり、撮像位置を基準として比較的広い範囲の方位を含むものが想定される。このため、パノラマ画像を表示させる場合に、例えば、パノラマ画像における方位を考慮して表示させることにより、パノラマ画像の特性を活かした表示を行うことができると考えられる。また、例えば、パノラマ画像を地図上に表示させる場合には、撮像時における撮像位置を基準として、パノラマ画像の上側を撮像方向に向けた状態に配置することが考えられる。この場合においても、例えば、パノラマ画像における方位を考慮して表示させることにより、パノラマ画像の特性を活かした表示を行うことができると考えられる。
【０１９５】
そこで、以下では、パノラマ画像を表示する場合に、パノラマ画像における各方位に基づいてパノラマ画像の特性を活かした表示を行う例を示す。
【０１９６】
［撮像装置の構成例］
図２２は、本発明の第３の実施の形態における撮像装置７００の機能構成例を示すブロック図である。撮像装置７００は、画像記憶部２００と、地図データ記憶部７１０と、画像ファイル取得部７２０と、撮像位置取得部７３０と、特定対象物検出部７４０と、方位取得部７５０とを備える。また、撮像装置７００は、画像変換部７６０と、地図データ取得部７７０と、表示制御部７８０と、表示部７９０とを備える。
【０１９７】
画像記憶部２００は、画像ファイルを記憶するものであり、記憶されている画像ファイルを画像ファイル取得部７２０に供給する。なお、画像記憶部２００は、図２に示す画像記憶部２００に対応する。
【０１９８】
操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を画像ファイル取得部７２０、画像変換部７６０および表示制御部７８０に出力する。例えば、操作受付部２１０は、画像表示モードが設定されている場合において、画像表示を指示する表示指示操作が受け付けられた場合には、その操作内容を画像ファイル取得部７２０に出力する。また、操作受付部２１０は、画像表示モードが設定されている場合において、表示部７９０に表示されるパノラマ画像の変換方法を指定する指定操作が受け付けられた場合には、その操作内容を画像変換部７６０に出力する。また、操作受付部２１０は、画像表示モードが設定されている場合において、表示部７９０に表示されている画像の倍率を変更する操作入力等が受け付けられた場合には、その操作内容を表示制御部７８０に出力する。なお、操作受付部２１０は、図２に示す操作受付部２１０に対応する。
【０１９９】
地図データ記憶部７１０は、表示部７９０に地図を表示するための地図データを記憶するものであり、記憶されている地図データを地図データ取得部７７０に供給する。例えば、地図データ記憶部７１０に記憶されている地図データは、緯度および経度により特定されるデータであり、一定の緯度幅および経度幅を単位として、複数の領域に区切られている。なお、地図データ記憶部７１０は、図１に示すリムーバブルメディア１９２に対応する。
【０２００】
画像ファイル取得部７２０は、操作受付部２１０により受け付けられた表示指示操作に応じて、画像記憶部２００に記憶されている画像ファイルを取得するものである。そして、画像ファイル取得部７２０は、取得された画像ファイルの画像の種類に応じて、その画像を画像変換部７６０または表示制御部７８０に出力する。例えば、画像ファイル取得部７２０は、取得された画像ファイルの画像がパノラマ画像である場合には、そのパノラマ画像を画像変換部７６０に出力する。一方、取得された画像ファイルの画像がパノラマ画像以外の画像である場合には、その画像を表示制御部７８０に出力する。これらの画像ファイルの画像は、デコードされ解像度変換が行われて出力される。また、画像ファイル取得部７２０は、取得された画像ファイルのメタ情報を、撮像位置取得部７３０、特定対象物検出部７４０および方位取得部７５０に出力する。なお、画像ファイル取得部７２０は、図１に示す解像度変換部１２０、画像圧縮伸張部１３０、ＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。
【０２０１】
撮像位置取得部７３０は、画像ファイル取得部７２０から出力されたメタ情報に基づいて、そのメタ情報に対応する画像に関する撮像位置を取得するものであり、取得された撮像位置を地図データ取得部７７０に出力する。なお、撮像位置取得部７３０は、図１に示すＣＰＵ１６０に対応する。
【０２０２】
特定対象物検出部７４０は、画像ファイル取得部７２０から出力されたメタ情報に基づいて、そのメタ情報に対応する画像に含まれる特定対象物を検出するものであり、検出された特定対象物に関する特定対象物情報を画像変換部７６０に出力する。なお、この例では、パノラマ画像の生成時に記録されたメタ情報に基づいて、特定対象物を検出する例を示すが、例えば、画像解析によりパノラマ画像から特定対象物を検出するようにしてもよい。なお、特定対象物検出部７４０は、図１に示すＣＰＵ１６０に対応する。
【０２０３】
方位取得部７５０は、画像ファイル取得部７２０から出力されたメタ情報に基づいて、そのメタ情報に対応する画像における代表位置の方位を取得するものであり、取得された方位を画像変換部７６０に出力する。なお、方位取得部７５０は、図１に示すＣＰＵ１６０に対応する。
【０２０４】
画像変換部７６０は、操作受付部２１０により受け付けられた指定操作に応じて、画像ファイル取得部７２０から出力されたパノラマ画像を変換するものであり、変換後のパノラマ画像を表示制御部７８０に出力する。例えば、画像変換部７６０は、画像ファイル取得部７２０から出力されたパノラマ画像を略扇形または分割による複数の画像に変換する。この場合に、例えば、画像変換部７６０は、地図データ取得部７７０から出力された地図データに対応する地図における方位と、方位取得部７５０から出力されたパノラマ画像における代表位置の方位とが一致するようにパノラマ画像を変換する。また、例えば、画像変換部７６０は、特定対象物検出部７４０から出力された特定対象物情報に基づいて、方位取得部７５０から出力されたパノラマ画像に含まれる特定対象物が歪んだり、分離されたりしないようにパノラマ画像を変換する。なお、パノラマ画像の変換については、図２３乃至図３１等を参照して詳細に説明する。また、画像変換部７６０は、図１に示すＣＰＵ１６０に対応する。
【０２０５】
地図データ取得部７７０は、撮像位置取得部７３０から出力された撮像位置に基づいて、地図データ記憶部７１０から地図データを取得するものであり、取得された地図データを表示制御部７８０に出力する。なお、地図データ取得部７７０は、図１に示すＣＰＵ１６０およびリムーバブルメディアコントローラ１９１に対応する。また、例えば、無線ＬＡＮ等のネットワークを介して他の装置に記憶されている地図データを取得して用いるようにしてもよい。
【０２０６】
表示制御部７８０は、画像ファイル取得部７２０または画像変換部７６０から出力された画像と、地図データ取得部７７０から出力された地図データに対応する地図とを表示部７９０に表示させるものである。表示制御部７８０は、例えば、画像変換部７６０から出力されたパノラマ画像に関連付けられている撮像位置に基づいて、地図データ取得部７７０から出力された地図データに対応する地図上に、そのパノラマ画像を配置する。また、表示制御部７８０は、操作受付部２１０からの操作入力に応じて、地図の大きさの変更等の表示制御を行う。これらの表示例については、図２７乃至図３１等を参照して詳細に説明する。なお、表示制御部７８０は、図１に示すＣＰＵ１６０およびＬＣＤコントローラ１７１に対応する。
【０２０７】
表示部７９０は、表示制御部７８０の制御に基づいて、各種画像を表示する表示部である。表示部７９０は、図１に示すＬＣＤ１７２に対応する。
【０２０８】
［パノラマ画像の変換例］
図２３は、本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。図２３（ａ）には、変換前のパノラマ画像８００を矩形で模式的に示す。図２３（ａ）に示す例では、変換対象となるパノラマ画像８００を矩形状とした場合におけるその左下隅を原点（０，０）とし、横軸をｘ軸とし、縦軸をｙ軸とするｘｙ座標上において、パノラマ画像８００を略扇形に変換する場合を例にして説明する。また、図２３（ａ）に示すｘｙ座標上において、矩形状のパノラマ画像８００の各頂点を点８０１乃至８０４とし、点８０１および８０２を結ぶ線分の中点を点８０５とし、点８０３および８０４を結ぶ線分の中点を点８０６とする。なお、図２３（ａ）に示すパノラマ画像８００における各点については、それぞれ異なる態様（白塗りまたは黒塗りの丸、三角、四角）で示す。また、パノラマ画像８００の撮像範囲に対応する角度（パノラマ角）をαとし、パノラマ画像８００の水平方向の長さをＵとし、パノラマ画像８００の垂直方向の長さをＶとする。
【０２０９】
パノラマ画像８００は、例えば、水平方向の広範囲の被写体を含む画像となる。そこで、この例では、パノラマ画像８００の撮像動作時において撮影者が見た被写体の位置関係を考慮して、パノラマ画像８００を略扇形に変換する。ここで、略扇形は、例えば、扇形、または、扇形についてその中心角の付近を扇形に欠いた形状（すなわち、２つの弧と２つの直線により形成される形状）とする。
【０２１０】
図２３（ｂ）には、略扇形に変換後のパノラマ画像８１０を示す。なお、図２３（ｂ）に示すｘｙ座標において、図２３（ａ）に示す点８０１乃至８０６に対応する各点の位置には、図２３（ａ）に示す態様と同一のものを付す。
【０２１１】
例えば、図２３（ｂ）に示すように、パノラマ画像８００を略扇形に変換してパノラマ画像８１０を生成する場合には、次の式８および式９を用いて、パノラマ画像８００に含まれる座標Ｐ１（ｘ，ｙ）を座標Ｐ１´（ｘ´，ｙ´）に変換する。
ｘ´＝（Ｕ／２）＋ｍ・（ｙ＋ａ）・ｃｏｓ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝］（π／１８０））… 式８
ｙ´＝ｍ・（ｙ＋ａ）・ｓｉｎ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝］（π／１８０））… 式９
【０２１２】
ここで、ｍは、中心点８１８を基準として、パノラマ画像８１０を放射状に拡大する場合の倍率を示す値であり、ａは、中心点８１８を基準として、パノラマ画像８１０を垂直方向に拡大する場合の距離を示す値である。また、αは、変換後のパノラマ画像８１０の中心角となる。上述した式８および式９を用いることにより、図２３（ｂ）に示すように、略扇形のパノラマ画像８１０を生成することができる。なお、図２３（ａ）および（ｂ）に示すｘｙ座標上において、パノラマ画像８００および８１０の枠を太線で示す。また、上述した式８および式９を用いた変換方法は、パノラマ画像における水平方向のサイズおよびパノラマ角に基づいて、変換後のパノラマ画像に含まれる被写体の方位と、地図における方位とが略一致するように略扇形に変換する変換方法の一例である。
【０２１３】
図２４は、本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。図２４（ａ）には、変換前のパノラマ画像８２０を示す。このパノラマ画像８２０は、図６（ｃ）等に示すパノラマ画像と同様である。
【０２１４】
図２４（ｂ）には、式８および式９を用いて、パノラマ画像８２０が略扇形に変換された後のパノラマ画像８２１を示す。例えば、式８および式９を用いて変換されたパノラマ画像８２１は、パノラマ角に応じて中心角が異なるように変換される。このため、例えば、水平方向の長さが同一のパノラマ画像が変換された場合において、パノラマ角が大きいパノラマ画像は、変換後の略扇形を構成する２つの弧が比較的深い曲線となる。これに対して、パノラマ角が小さいパノラマ画像は、変換後の略扇形を構成する２つの弧が比較的浅い曲線となる。このように、パノラマ画像を略扇形に変換することにより、撮影者が見た撮像動作時における被写体の状態を直感的に把握し易いパノラマ画像を表示させることができる。また、図２４（ａ）に示すパノラマ画像８２０を表示させる代わりに、図２４（ｂ）に示す略扇形に変形させたパノラマ画像８２１を表示させることにより、ユーザに新たな態様のパノラマ画像を提供することができる。これにより、パノラマ画像８２０に対するユーザの興味を高めることができる。また、倍率ｍ、距離ａ、全体角αをユーザが変更可能とし、これらの値をユーザが手動操作により変更することにより、さらに多様な略扇形のパノラマ画像を表示させることができる。
【０２１５】
なお、例えば、表示対象となるパノラマ画像に歪ませたくない特定対象物（例えば、人物の顔）が含まれている場合には、その特定対象物については略扇形に変換せずに表示するようにしてもよい。例えば、図２５に示すように、特定対象物が境界にかからないようにパノラマ画像を分割し、この分割されたパノラマ画像を表示させることができる。また、例えば、その特定対象物が歪まないように、図２６に示すように、特定対象物を抽出し、略扇形に変換されたパノラマ画像上の対応する位置に重ねて合成させることができる。
【０２１６】
［パノラマ画像の他の変換例］
以上では、パノラマ画像を略扇形に変換する例を示した。しかしながら、例えば、人の顔等のように、歪ませることにより違和感を覚える被写体が含まれている場合には、これらの被写体が歪ませずに、パノラマ画像の特性を活かした表示を行うことが重要である。そこで、以下では、パノラマ画像を略扇形に変換せずに、パノラマ画像を分割し、分割後の各画像を方位に基づいて表示させる例を示す。
【０２１７】
図２５は、本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。図２５（ａ）には、変換前のパノラマ画像８３０を示す。このパノラマ画像８３０は、図２４（ａ）に示すパノラマ画像と同様である。
【０２１８】
図２５（ｂ）には、画像変換部７６０によりパノラマ画像８３０が５分割された後の画像８３１乃至８３５をパノラマ画像８３６として配置して表示する例を示す。ここで、パノラマ画像の分割数については、ユーザの手動操作により設定するようにしてもよく、一定の規則に従って設定するようにしてもよい。図２５（ｂ）に示すように分割された画像８３１乃至８３５については、本発明の第２の実施の形態で示したように、各画像の方位を算出することができる。そこで、画像変換部７６０が、例えば、真中に配置される画像８３３の方位を基準として、他の画像８３１、８３２、８３４、８３５の方位の差分を算出する。そして、算出された差分値だけ各画像の回転処理を行い、回転処理後の画像８３１、８３２、８３４、８３５を配置する。この場合に、例えば、図２５（ｂ）に示すように、画像８３１乃至８３５の下隅が接するように配置して、パノラマ画像８３６とするようにしてもよい。また、図２５（ｃ）に示すように、画像８３１乃至８３５の真中部分が接するよう配置して、パノラマ画像８３７とするようにしてもよい。ここで、画像の回転方法として、例えば、２次元座標上において、３×３の行列（アフィン行列）を用いて、２点の位置を変換するアフィン変換を用いることができる。例えば、画像変換部７６０が、各画像の中心位置を回転基準とし、各画像の各値をアフィン変換する。そして、このアフィン変換が行われた後に各画像を所定の位置に配置することができる。
【０２１９】
ここで、例えば、パノラマ画像に分割すべきでない特定対象物（例えば、人物の顔）が含まれている場合には、その特定対象物が分離されないように、パノラマ画像の分割を行うようにしてもよい。例えば、特定対象物を人物の顔とする場合には、パノラマ画像の画像ファイルに記録されている顔情報に基づいて、パノラマ画像における水平方向の顔の位置を特定することができる。そこで、例えば、分割処理を行う際に、この分割の際の境界に顔が存在するか否かを判断し、分割の際の境界に顔が存在している場合には、その境界が顔にかからないように左側または右側に移動させる。例えば、その境界が顔にかからないように移動する場合に、左側または右側のうち短い距離となる方向に移動させることができる。
【０２２０】
また、分割の際の境界に顔が存在している場合には、その境界が顔にかからないように、分割される画像の数を変更するようにしてもよい。例えば、パノラマ画像を５分割する設定がされている場合において、５分割の際の何れかの境界に顔が存在している場合には、４分割または６分割とすることができる。また、このように分割される画像の数を変更した後に、分割の際の何れかの境界に顔が存在している場合には、さらに分割される画像の数を変更するようにしてもよい。
【０２２１】
図２６は、本発明の第３の実施の形態における画像変換部７６０により変換されるパノラマ画像の遷移の一例を示す図である。この変換例は、図２４の変形例であり、特定対象物が歪まないように変換させる例である。図２６（ａ）には、変換前のパノラマ画像８４０を示す。このパノラマ画像８４０は、図２４（ａ）に示すパノラマ画像と同様である。なお、この例では、特定対象物を人物の顔とし、パノラマ画像８４０に含まれる人物の顔８４１、８４２を含む顔画像８４３、８４４を抽出し、抽出された顔画像８４３、８４４をパノラマ画像８４０に重ねて合成する例を示す。なお、パノラマ画像８４０の変換方法については、図２４に示す例と同様であるため、ここでの説明を省略する。
【０２２２】
例えば、特定対象物検出部７４０が、パノラマ画像８４０の画像ファイルに記録されている顔情報に基づいて、パノラマ画像８４０に含まれる人物の顔８４１、８４２を検出する。続いて、図２６（ｂ）に示すように、検出された人物の顔８４１、８４２に関する検出情報に基づいて、画像変換部７６０が、パノラマ画像８４０から、人物の顔８４１、８４２を含む顔画像８４３、８４４を抽出する。この抽出の際に、画像変換部７６０が、上述した方位算出方法により、顔画像８４３、８４４の方位を算出する。そして、図２６（ｃ）に示すように、画像変換部７６０が、パノラマ画像８４０を変換して略扇形のパノラマ画像８４５を生成し、抽出された顔画像８４３、８４４をパノラマ画像８４５に重ねて合成する。この場合に、例えば、画像変換部７６０が、顔画像８４３、８４４について算出された方位に基づいて、顔画像８４３、８４４の中心を回転中心として、顔画像８４３、８４４を回転させる。そして、回転後の顔画像８４３、８４４を、抽出された位置に合成する。なお、図２６（ｃ）では、回転後の顔画像８４３、８４４に対応する矩形を点線で示す。なお、図２４乃至図２６に示す変換後のパノラマ画像については、例えば、各パノラマ画像における上下方向と、表示部７９０における上下方向とを合わせて表示させることができる。
【０２２３】
［パノラマ画像の地図上への配置例］
以上では、画像変換部７６０により変換されるパノラマ画像を表示する例を示した。以下では、撮像位置を含む地図上にパノラマ画像を配置して表示させる例について説明する。
【０２２４】
図２７は、本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地域における撮像動作と、この撮像動作により生成されたパノラマ画像との関係を概略的に示す図である。
【０２２５】
図２７（ａ）に示す地域８５０は、地図データ記憶部７１０に記憶されている地図データの一部に対応する地域である。なお、図２７（ａ）では、上側の方位を北とする。また、地域８５０には、例えば、Ａビル８５１、Ｂビル８５２およびＣビル８５３が存在し、これらのビルを背景にして人物８５４が立っているものとする。この状態で、例えば、撮像装置７００によりパノラマ画像の撮像動作が行われ、この撮像動作によるパノラマ画像の角度をα１とし、パノラマ画像における中心位置に対応する撮像方向を矢印８５５で示す。なお、本発明の第３の実施の形態では、機能構成例としてパノラマ画像の生成に関する構成を省略しているが、本発明の第１の実施の形態と同様の機能構成を備えているものとする。また、この例では、撮像装置７００による撮像動作によりパノラマ画像を生成する例を示すが、例えば、他の撮像装置による撮像動作により生成されたパノラマ画像を画像記憶部２００に記憶させ、このパノラマ画像を用いて表示を行うようにしてもよい。
【０２２６】
図２７（ｂ）には、図２７（ａ）に示すように、地域８５０において生成されたパノラマ画像８６０を示す。このように、パノラマ画像８６０には、Ａビル８５１と、Ｂビル８５２と、Ｃビル８５３と、これらのビルを背景にして立つ人物８５４とが含まれる。また、パノラマ画像８６０における中心位置８６１をバツ印で示す。
【０２２７】
図２８乃至図３１は、本発明の第３の実施の形態における地図データ記憶部７１０に記憶されている地図データに対応する地図上に、この地図に対応する地域で生成されたパノラマ画像を重ねて表示する場合における表示例を示す図である。なお、パノラマ画像に対応する撮像範囲および中心位置に対応する方向を点線で示す。なお、これらの点線は、図２７（ａ）に示すものに対応する。
【０２２８】
図２８（ａ）には、図２７（ａ）に示す地域８５０に対応する地図８５７上にパノラマ画像８６０を重ねて表示させた表示例を示す。例えば、パノラマ画像８６０における中心位置８６１が、地図８５７における撮像位置となるようにパノラマ画像８６０が配置される。
【０２２９】
図２８（ｂ）には、パノラマ画像８６０の上下方向と、パノラマ画像８６０における中心位置８６１の方位とが一致するように、地図８５７上にパノラマ画像８６０を重ねて表示させた表示例を示す。この場合には、例えば、パノラマ画像８６０における中心位置８６１が、地図８５７における撮像位置となるようにパノラマ画像８６０が配置される。このように配置する場合には、例えば、中心位置８６１を回転中心として、パノラマ画像８６０を回転させる。この回転変換方法として、例えば、上述したアフィン変換を用いることができる。具体的には、画像変換部７６０が、中心位置８６１を回転基準とし、パノラマ画像８６０の各値をアフィン変換する。例えば、パノラマ画像８６０における中心位置８６１の方位と、地図８５７上の北の方位とのなす角α２を算出する。そして、パノラマ画像８６０をα２度だけ回転させるようにアフィン変換を行う。このように、パノラマ画像８６０における中心位置８６１の方位と、地図８５７における方位とを一致させることにより、パノラマ画像８６０と、地図８５７との対応関係を直感的に把握し易くすることができる。
【０２３０】
ここで、上述したように、パノラマ画像を表示させる場合には、パノラマ画像の撮像動作状態を直感的に把握することができるように、略扇形に変換して表示させることができる。また、上述したように、パノラマ画像を分割して表示させることもできる。以下では、これらの表示例について説明する。
【０２３１】
図２９には、式８および式９を用いてパノラマ画像８６０を変換し、変換後のパノラマ画像８６２における各方位と、地図８５７における方位とが一致するように、地図８５７上にパノラマ画像８６２を重ねて表示させた表示例を示す。この場合には、例えば、変換後のパノラマ画像８６２の中心点の位置と、地図８５７における撮像位置８５８とが一致するようにパノラマ画像８６２が配置される。ここで、例えば、地図８５７における撮像位置８５８を、例えば、図２９に示すように、白塗りの丸として表示することができる。なお、パノラマ画像の変換方法および回転方法については、上述した例と同様であるため、ここでの説明を省略する。
【０２３２】
このようにパノラマ画像８６２および撮像位置８５８を表示させることにより、地図８５７に対応する地域８５０における撮像動作状態を直感的に容易に把握することができる。また、このように表示させることにより、パノラマ画像の面白みを高めることができる。これにより、パノラマ画像の表示の際におけるユーザの興味を高めることができる。
【０２３３】
図３０には、図２５（ｂ）の変形例を示す。例えば、パノラマ画像８６０を３分割し、分割後のパノラマ画像８６３を構成する真中の画像８６７の方位と、地図８５７における方位とが一致するように、地図８５７上にパノラマ画像８６３を重ねて表示させた表示例を示す。この場合には、例えば、分割後のパノラマ画像８６３により特定される中心点の位置と、地図８５７における撮像位置８５８とが一致するようにパノラマ画像８６３が配置される。ここで、分割後のパノラマ画像８６３により特定される中心点の位置は、例えば、分割後のパノラマ画像８６３を構成する３つの画像８６７乃至８６９における中心位置の各方位が交わる位置とすることができる。また、地図８５７における撮像位置８５８を、例えば、図２９と同様に、白塗りの丸として表示することができる。また、この例では、分割する際における特定対象物を、人物の顔およびビルとして、これらが分割されないように、分割の数および境界が設定されているものとする。これらの特定対象物は、上述したように、パノラマ画像の生成時に記録されたメタ情報に基づいて検出するようにしてもよく、表示する際に画像解析により検出するようにしてもよい。なお、パノラマ画像の分割方法および回転方法については、上述した例と同様であるため、ここでの説明を省略する。
【０２３４】
このようにパノラマ画像８６３および撮像位置８５８を表示させることにより、地図８５７に対応する地域８５０における撮像動作状態を直感的に容易に把握することができる。また、特定対象物についても歪ませずに表示させることができる。このように表示させることにより、略扇形とは異なる表示形態によりパノラマ画像を表示することができるため、面白みを高めることができる。これにより、パノラマ画像の表示の際におけるユーザの興味を高めることができる。
【０２３５】
図３１には、図２６に示す例と同様に、特定対象物を人物の顔とし、パノラマ画像８６０に含まれる人物８５４の顔を含む顔画像８６４を抽出し、抽出された顔画像８６４をパノラマ画像８６５に重ねて合成する表示例を示す。図３１（ａ）には、パノラマ画像８６０と、人物８５４の顔を含む顔画像８６４との関係を示し、図３１（ｂ）には、パノラマ画像８６０を変換して生成された略扇形のパノラマ画像８６５に、抽出された顔画像８６６を重ねて合成する例を示す。なお、図３１（ｂ）では、抽出された顔画像８６６に対応する矩形を点線で示す。また、パノラマ画像の変換方法および回転方法については、上述した例と同様であるため、ここでの説明を省略する。また、顔画像の合成方法についても、合成対象となるパノラマ画像の回転に応じて、回転させてから合成する点以外は、上述した合成方法と同様であるため、ここでの説明を省略する。
【０２３６】
このように、本発明の第３の実施の形態によれば、パノラマ画像に含まれる被写体に対応する方位に応じて、パノラマ画像を変換して表示させることができる。これにより、パノラマ画像に含まれる被写体に対応する方位を反映させたパノラマ画像の表示をすることができる。これにより、パノラマ画像と被写体との関係を直感的に容易に把握することができる。また、例えば、パノラマ画像に含まれる被写体に対応する方位に応じて、パノラマ画像を略扇形や分割画像に変換して表示することにより、パノラマ画像と被写体との関連性を直感的に容易に把握することができる。また、変換後のパノラマ画像を地図上に重ねて表示させる場合には、パノラマ画像に含まれる被写体に対応する方位に応じて、パノラマ画像を配置することにより、パノラマ画像に含まれる被写体と、撮像方向との関係を容易に把握することができる。このように、パノラマ画像を表示することにより、面白みを高めることができ、ユーザの興味を高めることができる。なお、以上では、変換後のパノラマ画像により特定される中心点の位置と、地図における撮像位置とが一致するようにパノラマ画像を配置する例を示したが、例えば、ユーザの好みに応じて配置位置を変更するようにしてもよい。例えば、変換後のパノラマ画像における中心位置と、地図における撮像位置とが一致するようにパノラマ画像を配置するようにしてもよい。
【０２３７】
［撮像装置の動作例］
図３２は、本発明の第３の実施の形態における撮像装置７００による画像表示処理の処理手順を示すフローチャートである。この例では、パノラマ画像を地図上に重ねて表示させる例を示す。また、パノラマ画像に特定対象物が含まれていない場合には、図２９に示すように略扇形の変換処理を行い、パノラマ画像に特定対象物が含まれている場合には、図３０に示すように分割の変換処理を行う例を示す。
【０２３８】
最初に、画像を地図上に重ねて表示させる表示指示操作が操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９４１）。その表示指示操作が受け付けられていない場合には、その表示指示操作が受け付けられるまで、監視を継続する。その表示指示操作が受け付けられた場合には（ステップＳ９４１）、画像ファイル取得部７２０が、その表示指示操作に応じて、画像記憶部２００に記憶されている画像ファイルを取得する（ステップＳ９４２）。この場合に、画像ファイル取得部７２０が、取得された画像ファイルのメタ情報を解析し、取得された画像ファイルの画像の種類（パノラマ画像の有無）を判定する。この判定は、例えば、メタ情報に含まれる画サイズ等に基づいて行われる。また、例えば、メーカーノートにパノラマ画像の有無を記録しておき、これに基づいて行うようにしてもよい。
【０２３９】
続いて、取得された画像ファイルの画像が、パノラマ画像であるか否かが判断される（ステップＳ９４３）。取得された画像ファイルの画像がパノラマ画像でない場合には（ステップＳ９４３）、表示制御部７８０が、取得された画像ファイルの画像を地図上の撮像位置を基準として配置し、表示部７９０に表示させる（ステップＳ９４４）。一方、取得された画像ファイルの画像がパノラマ画像である場合には（ステップＳ９４３）、そのパノラマ画像に特定対象物が含まれているか否かが判断される（ステップＳ９４５）。
【０２４０】
そのパノラマ画像に特定対象物が含まれていない場合には（ステップＳ９４５）、画像変換部７６０が、そのパノラマ画像を略扇形に変換する（ステップＳ９４６）。続いて、画像変換部７６０が、変換後のパノラマ画像における方位と、地図における方位とが一致するようにパノラマ画像について回転処理を行う（ステップＳ９４７）。続いて、表示制御部７８０が、変換後のパノラマ画像の中心点の位置と、地図における撮像位置とが一致するようにパノラマ画像を地図上に配置して表示部７９０に表示させる（ステップＳ９４８）。
【０２４１】
また、そのパノラマ画像に特定対象物が含まれている場合には（ステップＳ９４５）、画像変換部７６０が、その特定対象物が分割の際の境界にかからないように、そのパノラマ画像を分割する（ステップＳ９４９）。続いて、画像変換部７６０が、変換後の各画像における方位と、地図における方位とが一致するように各画像について回転処理を行う（ステップＳ９５０）。続いて、表示制御部７８０が、変換後の各画像により特定される中心点の位置と、地図における撮像位置とが一致するようにパノラマ画像を地図上に配置して表示部７９０に表示させる（ステップＳ９５１）。
【０２４２】
［パノラマ画像の他の変換例］
以上では、パノラマ画像を略扇形に変換した後に、パノラマ画像における中心位置の方位に基づいて、変換後のパノラマ画像を回転させて地図上に配置する例を示した。ここで、例えば、パノラマ画像を略扇形に変換する際に、パノラマ画像における中心位置の方位に応じた回転処理を行えば、変換処理を迅速に行うことができると想定される。そこで、以下では、式８および式９を変形した式を用いて、パノラマ画像を変換する例を示す。
【０２４３】
図３３は、本発明の第３の実施の形態における画像変換部７６０によるパノラマ画像の変換方法を概略的に示す図である。ここで、図３３に示す変換方法は、図２３に示す変換方法の変形例であり、地図上の方位とパノラマ画像における代表位置の方位とのなす角ωだけ回転処理させる点以外の点は同一である。このため、以下では、図２３に示す変換方法と異なる点を中心に説明し、共通する部分については、同一の符号を付して、説明を省略する。図３３（ａ）には、図２３（ａ）と同様に、変換前のパノラマ画像８００を矩形で模式的に示す。
【０２４４】
図３３（ｂ）には、略扇形に変換後のパノラマ画像８７０を示す。なお、図３３（ｂ）に示すｘｙ座標において、図３３（ａ）に示す点８０１乃至８０６に対応する各点の位置には、図２３（ａ）に示す態様と同一のものを付す。
【０２４５】
例えば、図３３（ｂ）に示すように、パノラマ画像８００を略扇形に変換してパノラマ画像８７０を生成する場合には、次の式１０および式１１を用いて、パノラマ画像８００に含まれる座標Ｐ１（ｘ，ｙ）を座標Ｐ１´（ｘ´，ｙ´）に変換する。
ｘ´＝（Ｕ／２）＋ｍ・（ｙ＋ａ）・ｃｏｓ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝＋ω］（π／１８０））… 式１０
ｙ´＝ｍ・（ｙ＋ａ）・ｓｉｎ（［９０＋α｛（Ｕ／２−ｘ）／Ｕ｝＋ω］（π／１８０））… 式１１
【０２４６】
ここで、ωは、回転角度を示す値であり、地図上の方位と、パノラマ画像における代表位置の方位とのなす角を示す。上述した式１０および式１１を用いることにより、式８および式９を用いて略扇形を生成した後に、方位に応じた回転処理を行う２段階の変換処理を行う必要がない。すなわち、地図上の方位と、パノラマ画像における代表位置の方位とを一致させる変換処理を１段階の変換処理により行うことができ、方位を考慮した略扇形のパノラマ画像を迅速に生成することができる。
【０２４７】
このように、本発明の実施の形態によれば、パノラマ画像の記録時には、パノラマ画像における代表位置の方位を記録することができる。また、パノラマ画像から一部の画像を抽出する場合には、抽出された画像における代表位置の方位を算出し、この方位をその抽出された画像について用いることができる。また、パノラマ画像に含まれる被写体の方位を用いて、パノラマ画像から所望の画像を抽出することができる。さらに、パノラマ画像を表示する際に、パノラマ画像に含まれる被写体の方位を用いて、パノラマ画像を変換して表示することができる。すなわち、本発明の実施の形態によれば、パノラマ画像に関する方位を適切に用いることができる。
【０２４８】
なお、本発明の実施の形態では、撮像装置を例にして説明したが、撮像機能付き携帯電話機、パーソナルコンピュータ、カーナビゲーションシステム等のパノラマ画像を扱うことが可能な画像処理装置等の電子機器に本発明の実施の形態を適用することができる。また、パノラマ画像から抽出された画像や、変換後のパノラマ画像を他の表示装置に出力し、その表示装置にそれらの画像を表示させることが可能な画像処理装置等の電子機器に本発明の実施の形態を適用することができる。
【０２４９】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２５０】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２５１】
１００、５００、７００ 撮像装置
１０１ バス
１１１ 撮像部
１１２ 方位センサ
１１３ ＧＰＳユニット
１１４ ネットワークコントローラ
１１５ ネットワーク
１２０ 解像度変換部
１３０ 画像圧縮伸張部
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＣＰＵ
１７１ ＬＣＤコントローラ
１７２ ＬＣＤ
１８１ 入力制御部
１８２ 操作部
１９１ リムーバブルメディアコントローラ
１９２ リムーバブルメディア
２００ 画像記憶部
２１０ 操作受付部
２１１ 撮像部
２１２ 方位取得部
２１３ 撮像位置取得部
２２０ 撮像画像保持部
２３０ 移動量検出部
２４０ 画像合成部
２５０ 顔検出部
２６０ 中心位置算出部
２７０ 撮像動作判定部
２８０ パノラマ情報算出部
２９０、５９０ 記録制御部
４４１ 撮像素子
４４２ レンズ
５１０、７２０ 画像ファイル取得部
５２０ メタ情報取得部
５３０ 特定方位位置算出部
５４０ 特定対象物方位算出部
５５０ 画像抽出部
５６０ 方位算出部
５７０、７８０ 表示制御部
５８０、７９０ 表示部
７１０ 地図データ記憶部
７３０ 撮像位置取得部
７４０ 特定対象物検出部
７５０ 方位取得部
７６０ 画像変換部
７７０ 地図データ取得部
【特許請求の範囲】
【請求項１】
複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換部と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、前記略扇形のパノラマ画像が前記地図上に表示されるよう表示制御する表示制御部と
を具備する電子機器。
【請求項２】
複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、前記地図上に表示されるよう表示制御する表示制御部を具備する電子機器。
【請求項３】
前記画像変換部は、前記複数の撮像画像の撮像時におけるパノラマ角に応じて前記略扇形のパノラマ画像の中心角が異なるように前記略扇形への変換を行う請求項１記載の電子機器。
【請求項４】
前記表示制御部は、前記複数の撮像画像の撮像時におけるパノラマ角と、前記略扇形のパノラマ画像の中心角とが略一致するように前記表示制御を行う請求項１または２記載の電子機器。
【請求項５】
複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成部と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御部と
を具備する電子機器。
【請求項６】
前記分割画像生成部は、前記パノラマ画像に分割すべきでない特定対象物が含まれている場合には、前記特定対象物が分割されないように前記複数の分割画像を生成する請求項５記載の電子機器。
【請求項７】
前記分割画像生成部は、前記パノラマ画像に前記特定対象物が含まれている場合には、前記所定数を変更することにより、前記特定対象物が分割されないように前記複数の分割画像を生成する請求項６記載の電子機器。
【請求項８】
複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御部を具備する電子機器。
【請求項９】
複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、前記略扇形のパノラマ画像が前記地図上に表示されるよう表示制御する表示制御手順と
を具備する表示制御方法。
【請求項１０】
複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、前記地図上に表示されるよう表示制御する表示制御手順を具備する表示制御方法。
【請求項１１】
複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順と
を具備する表示制御方法。
【請求項１２】
複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順を具備する表示制御方法。
【請求項１３】
複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、前記略扇形のパノラマ画像が前記地図上に表示されるよう表示制御する表示制御手順と
をコンピュータに実行させるプログラム。
【請求項１４】
複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、前記地図上に表示されるよう表示制御する表示制御手順をコンピュータに実行させるプログラム。
【請求項１５】
複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順と
をコンピュータに実行させるプログラム。
【請求項１６】
複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順をコンピュータに実行させるプログラム。
【請求項１】
複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換部と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、前記略扇形のパノラマ画像が前記地図上に表示されるよう表示制御する表示制御部と
を具備する電子機器。
【請求項２】
複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、前記地図上に表示されるよう表示制御する表示制御部を具備する電子機器。
【請求項３】
前記画像変換部は、前記複数の撮像画像の撮像時におけるパノラマ角に応じて前記略扇形のパノラマ画像の中心角が異なるように前記略扇形への変換を行う請求項１記載の電子機器。
【請求項４】
前記表示制御部は、前記複数の撮像画像の撮像時におけるパノラマ角と、前記略扇形のパノラマ画像の中心角とが略一致するように前記表示制御を行う請求項１または２記載の電子機器。
【請求項５】
複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成部と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御部と
を具備する電子機器。
【請求項６】
前記分割画像生成部は、前記パノラマ画像に分割すべきでない特定対象物が含まれている場合には、前記特定対象物が分割されないように前記複数の分割画像を生成する請求項５記載の電子機器。
【請求項７】
前記分割画像生成部は、前記パノラマ画像に前記特定対象物が含まれている場合には、前記所定数を変更することにより、前記特定対象物が分割されないように前記複数の分割画像を生成する請求項６記載の電子機器。
【請求項８】
複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御部を具備する電子機器。
【請求項９】
複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、前記略扇形のパノラマ画像が前記地図上に表示されるよう表示制御する表示制御手順と
を具備する表示制御方法。
【請求項１０】
複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、前記地図上に表示されるよう表示制御する表示制御手順を具備する表示制御方法。
【請求項１１】
複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順と
を具備する表示制御方法。
【請求項１２】
複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順を具備する表示制御方法。
【請求項１３】
複数の撮像画像を合成することにより生成されたパノラマ画像を略扇形に変換する画像変換手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記略扇形のパノラマ画像の方位と地図上における方位とが略一致した状態で、前記略扇形のパノラマ画像が前記地図上に表示されるよう表示制御する表示制御手順と
をコンピュータに実行させるプログラム。
【請求項１４】
複数の撮像画像を合成することにより生成されて略扇形に変形されたパノラマ画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、当該方位と地図上における方位とを略一致させた状態で、前記地図上に表示されるよう表示制御する表示制御手順をコンピュータに実行させるプログラム。
【請求項１５】
複数の撮像画像を合成することにより生成されたパノラマ画像を垂直方向を境界として所定数に分割して複数の分割画像を生成する分割画像生成手順と、
前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順と
をコンピュータに実行させるプログラム。
【請求項１６】
複数の撮像画像を合成することにより生成されたパノラマ画像が垂直方向を境界として所定数に分割された複数の分割画像が、前記複数の撮像画像の撮像時における撮像位置と前記パノラマ画像に関連付けられている方位とに基づいて、前記各分割画像の方位と地図上における方位とが略一致した状態で、前記各分割画像が前記地図上に表示されるよう表示制御する表示制御手順をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１２−１７００８８（Ｐ２０１２−１７００８８Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１２−５１９４２（Ｐ２０１２−５１９４２）
【出願日】平成２４年３月８日（２０１２．３．８）
【分割の表示】特願２００９−１２７１２７（Ｐ２００９−１２７１２７）の分割
【原出願日】平成２１年５月２７日（２００９．５．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２４年３月８日（２０１２．３．８）
【分割の表示】特願２００９−１２７１２７（Ｐ２００９−１２７１２７）の分割
【原出願日】平成２１年５月２７日（２００９．５．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]