情報処理装置、情報処理方法、プログラム、及び撮像装置
【課題】パノラマ画像等の合成画像を操作性よく生成することが可能となる情報処理装置、情報処理方法、プログラム、及び撮像装置を提供すること。
【解決手段】本技術に係る情報処理装置は、入力された画像５０の表示範囲５１を算出する算出部と、前記算出された表示範囲５１の少なくとも一部を含む包含範囲６１を設定する設定部と、前記入力画像５０と関連する合成用画像７０を検索する検索部と、前記検索された合成用画像７０を前記包含範囲６１に配置する配置部と、前記包含範囲６１内において、前記合成用画像７０が配置されない領域を画像不足領域として判定する判定部と、前記判定された画像不足領域に関する情報をユーザに通知する通知部とを具備する。これにより、高精度のパノラマ画像６０を操作性よく生成することが可能となる。
【解決手段】本技術に係る情報処理装置は、入力された画像５０の表示範囲５１を算出する算出部と、前記算出された表示範囲５１の少なくとも一部を含む包含範囲６１を設定する設定部と、前記入力画像５０と関連する合成用画像７０を検索する検索部と、前記検索された合成用画像７０を前記包含範囲６１に配置する配置部と、前記包含範囲６１内において、前記合成用画像７０が配置されない領域を画像不足領域として判定する判定部と、前記判定された画像不足領域に関する情報をユーザに通知する通知部とを具備する。これにより、高精度のパノラマ画像６０を操作性よく生成することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、複数の画像を合成することが可能な情報処理装置、情報処理方法、プログラム、及び撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等により撮像された画像を合成してパノラマ画像を生成する技術が知られている。このようなパノラマ画像生成技術については、例えば特許文献１及び２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１３５２３０号公報
【特許文献２】特開２００５−２１７７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１及び２に開示された技術により、パノラマ画像の生成のために合成される複数の画像が選別される際の、ユーザの負担が軽減されている。このようなユーザの負担を軽減させ、操作性よくパノラマ画像を生成可能な技術が求められている。
【０００５】
以上のような事情に鑑み、本技術の目的は、パノラマ画像等の合成画像を操作性よく生成することが可能となる情報処理装置、情報処理方法、プログラム、及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、算出部と、設定部と、検索部と、配置部と、判定部と、通知部とを具備する。
前記算出部は、入力された画像の表示範囲を算出する。
前記設定部は、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する。
前記検索部は、前記入力画像と関連する合成用画像を検索する。
前記配置部は、前記検索された合成用画像を前記包含範囲に配置する。
前記判定部は、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する。
前記通知部は、前記判定された画像不足領域に関する情報をユーザに通知する。
【０００７】
この情報処理装置では、入力された画像の表示範囲が算出され、当該表示範囲の少なくとも一部を含む包含範囲が設定される。そして入力画像と関連する画像が合成用画像として検索され、包含範囲に配置される。この際、合成用画像が配置されない領域が画像不足領域として判定され、それに関する情報がユーザに通知される。従って上記通知をもとに画像不足領域に割り当てられる画像を容易に準備することが可能となり、これらの画像を合成することで、パノラマ画像等の合成画像を操作性よく生成することが可能となる。
【０００８】
前記配置部は、前記入力画像との関連性をもとに、前記合成用画像を前記包含範囲に配置してもよい。
これにより、合成画像を高精度に生成することが可能となる。
【０００９】
前記通知部は、前記判定された画像不足領域を可視化して前記ユーザに通知してもよい。
これにより、画像不足領域を視覚的に認識することができる。
【００１０】
前記通知部は、前記判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報をユーザに通知してもよい。
これにより上記支援情報をもとに、画像不足領域に割り当てられる画像を容易に撮像することが可能となる。
【００１１】
前記情報処理装置は、前記画像不足領域を補間する補間画像を生成する生成部をさらに具備してもよい。
このように、画像不足領域を補間する補間画像が用いられて、合成画像が生成されてもよい。
【００１２】
前記情報処理装置は、１以上の画像を有する他の情報処理装置とネットワークを介して接続可能な接続部をさらに具備してもよい。この場合、前記検索部は、前記ネットワークを介して、前記他の情報処理装置が有する１以上の画像から前記合成用画像を検索してもよい。
このように、ネットワークを介して他の情報処理装置から合成用画像が検索されてもよい。これにより、多数の画像の中から、合成用画像としてより適切な画像を検索することが可能となる。
【００１３】
本技術の一形態に係る情報処理方法は、算出部が、入力された画像の表示範囲を算出することを含む。
設定部により、前記算出された表示範囲の少なくとも一部を含む包含範囲が設定される。
検索部により、前記入力画像と関連する合成用画像が検索される。
配置部により、前記検索された合成用画像が前記包含範囲に配置される。
判定部により、前記包含範囲内において、前記合成用画像が配置されない領域が画像不足領域として判定される。
通知部により、前記判定された画像不足領域に関する情報がユーザに通知される。
【００１４】
本技術の一形態に係るプログラムは、算出部と、設定部と、検索部と、配置部と、判定部と、通知部ととしてコンピュータを機能させる。
前記算出部は、入力された画像の表示範囲を算出する。
前記設定部は、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する。
前記検索部は、前記入力画像と関連する合成用画像を検索する。
前記配置部は、前記検索された合成用画像を前記包含範囲に配置する。
前記判定部は、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する。
前記通知部は、前記判定された画像不足領域に関する情報をユーザに通知する。
【００１５】
本技術の一形態に係る撮像装置は、撮像部と、算出部と、設定部と、検索部と、配置部と、判定部と、通知部とを具備する。
前記撮像部は、画像を撮像する。
前記算出部は、前記撮像された画像の撮影範囲を算出する。
前記設定部は、前記算出された撮影範囲の少なくとも一部を含む包含範囲を設定する。
前記検索部は、前記撮像画像と関連する合成用画像を検索する。
前記配置部は、前記検索された合成用画像を前記包含範囲に配置する。
前記判定部は、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する。
前記通知部は、前記判定された画像不足領域に関する情報をユーザに通知する。
【発明の効果】
【００１６】
以上、本技術によれば、パノラマ画像等の合成画像を操作性よく生成することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術の一実施形態に係る情報処理装置としてのサーバを含む、ネットワークシステムの構成例を示す模式的な図である。
【図２】図１に示す撮像装置のハードウェア構成の一例を示すブロック図である。
【図３】本実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。
【図４】図１に示す撮像装置の機能的な構成例を示すブロック図である。
【図５】図４に示す画像情報送信部により送信される画像ファイルの構造例を模式的に示す図である。
【図６】本実施形態に係るサーバの機能的な構成例を示すブロック図である。
【図７】図６に示す画像合成部の構成例を示すブロック図である。
【図８】本実施形態に係るサーバの動作を示すフローチャートである。
【図９】図８に示すステップを説明するための図である。
【図１０】本実施形態に係る撮影範囲の算出処理の一例を示すフローチャートである。
【図１１】図１０に示す撮影範囲の算出処理を説明するための図である。
【図１２】図１０に示す撮影範囲の算出処理を説明するための図である。
【図１３】図６に示す画像検索部による画像検索処理の一例を示すフローチャートである。
【図１４】図１３に示す画像検索処理を説明するための図である。
【図１５】図６に示す画像収集部による画像収集処理の一例を示すフローチャートである。
【図１６】図６に示す画像合成部により行われるパノラマ画像生成処理及び補間画像等を生成する処理を示すフローチャートである。
【図１７】図１６に示す倍率補正処理を説明するための図である。
【図１８】本実施形態に係る割り当てマップを示す模式的な図である。
【図１９】本実施形態に係る合成候補画像の割り当て処理を説明するための図である。
【図２０】本実施形態に係る技術により生成されたパノラマ画像を模式的に示す図である。
【図２１】本実施形態に係る不足領域画像を模式的に示す図である。
【図２２】図７に示す支援情報生成部により生成された支援情報の一例を模式的に示すテーブルである。
【図２３】図２１に示す画像不足領域が補間画像により補間された補間パノラマ画像を模式的に示す図である。
【図２４】図２１に示す画像不足領域をカバーする画像が撮像される際の、支援情報を用いた支援方法の一例を示す図である。
【図２５】図１に示すネットワークシステムの変形例を示す模式的な図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本技術の実施形態を説明する。
【００１９】
［ネットワークシステムの構成］
図１は、本技術の一実施形態に係る情報処理装置としてのサーバを含む、ネットワークシステムの構成例を示す模式的な図である。ネットワークシステム１００は、ネットワーク１０、当該ネットワーク１０に接続可能である撮像装置２００、本技術に係る情報処置装置としてのサーバ３００、及び他の情報処理装置としてのサーバ４００を有する。なお他の情報処理装置としてのサーバの数は限定されない。
【００２０】
ネットワーク１０は、例えばインターネット、ＷＡＮ（Wide Area Network）、ＷＷＡＮ（Wireless WAN：無線ＷＡＮ）、ＬＡＮ（Local Area Network）、ＷＬＡＮ（Wireless LAN：無線ＬＡＮ）、ホームネットワーク等、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等を標準プロトコルとするネットワークである。
【００２１】
［撮像装置のハードウェア構成］
図２は、撮像装置２００のハードウェア構成の一例を示すブロック図である。
【００２２】
撮像装置２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、フラッシュメモリ２０３、ディスプレイ２０４、タッチパネル２０５、通信部２０６、外部Ｉ／Ｆ（インタフェース）２０７、及びキー／スイッチ部２０８を有する。また撮像装置２００は、撮像部２０９、ＧＰＳ（Global Positioning System）モジュール２１０、及び方位センサ２１１を有する。
【００２３】
ＣＰＵ２０１は、撮像装置２００の各ブロックと信号をやり取りして各種演算を行い、画像の撮像処理やメタデータを含む撮像ファイルの生成処理等、撮像装置２００で実行される処理を統括的に制御する。
【００２４】
ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として用いられ、例えば撮像画像やメタデータ等のＣＰＵ２０１が処理する各種のデータや、アプリケーション等のプログラムを一時的に格納する。
【００２５】
フラッシュメモリ２０３は、例えばＮＡＮＤ型のものであり、各種の処理に必要なデータ、撮像画像等のコンテンツデータ、及びＣＰＵ２０１が実行する制御プログラム及びアプリケーション等の各種プログラムを記憶する。またフラッシュメモリ２０３は、アプリケーションが実行される際には、その実行に必要な各種データをＲＡＭ２０２へ読み出す。
【００２６】
上記した各種のプログラムは、例えばメモリカード等の図示しない他の記録媒体に記憶されていてもよい。また撮像装置２００は、当該フラッシュメモリ２０３に代わる、又は追加の記憶装置として、ＨＤＤ（Hard Disk Drive）等を有していてもよい。
【００２７】
ディスプレイ２０４は、例えばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）等である。ディスプレイ２０４には、例えば撮像画像や、そのサムネイル画像、又は撮影対象となるスルー画像等が表示される。またディスプレイ２０４には、撮影条件等を設定するためのＧＵＩ（Graphical User Interface）や、アプリケーション等を利用するためのＧＵＩ等が表示される。
【００２８】
図２に示すように、本実施形態のディスプレイ２０４はタッチパネル２０５と一体的に設けられる。タッチパネル２０５は、ユーザのタッチ操作を検出し入力信号をＣＰＵ２０１へ伝える。タッチパネル２０５の動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、電磁誘導方式、マトリクススイッチ方式、表面弾性波方式、赤外線方式等のその他の方式が用いられてもよい。
【００２９】
通信部２０６は、撮像装置２００を例えばＷＡＮ（ＷＷＡＮ）、イーサネット（登録商標）、ＬＡＮ（ＷＬＡＮ）等の上記ネットワーク１０へ各規格に準じて接続するためのインタフェースである。ＷＷＡＮへの接続に関して、通信部２０６は、例えば内蔵モジュールを有しているが、例えばＰＣカード等の他の通信機器が装着されて機能するものであってもよい。通信部２０６は、例えば、ＷＷＡＮ及びＷＬＡＮの各接続機能をユーザの操作に応じて切替えてアクティブ／非アクティブにすることが可能となっている。
【００３０】
外部Ｉ／Ｆ２０７は、例えばＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High-Definition Multimedia Interface）等の規格に基づいて、外部機器と接続するためのインタフェースである。この外部Ｉ／Ｆ２０７により、外部機器との間で、画像ファイル等の各種のデータを送信／受信することが可能となる。また外部Ｉ／Ｆ２０７は、例えばメモリースティック等の各種メモリカードと接続するためのインタフェースであってもよい。
【００３１】
キー／スイッチ部２０８は、例えば電源スイッチ、ショートカットキー等、特にタッチパネル２０５では入力できないユーザの操作等を受け付け、入力信号をＣＰＵ２０１へ伝える。
【００３２】
撮像部２０９は、図示しない撮像制御部、撮像素子及び撮像光学系を有する。撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等が用いられる。撮像光学系は、撮像素子の撮像面上に被写体像を結像させる。撮像制御部は、ＣＰＵ２０１からの指示に基づき、撮像素子を駆動し、撮像素子から出力される画像信号に対して信号処理を行う。また撮像制御部は、撮像光学系を制御することで、撮像される画像のズーム倍率を設定する。
【００３３】
撮像された画像データは、例えばＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式により圧縮され、ＲＡＭ２０２やフラッシュメモリ２０３へ保存されたり、外部Ｉ／Ｆ２０７を介して他の機器へ転送されたりする。また本実施形態では、画像データにＥｘｉｆ（Exchangeable Image File Format）で規定されたメタデータ（付加情報）が付加されている。すなわち画像データにメタデータが付加された画像ファイルが、ネットワーク１０を介してサーバ３００に送信される。
【００３４】
ＧＰＳモジュール２１０は、図示しないＧＰＳアンテナにより受信されたＧＰＳ信号に基づいて撮影位置情報を算出するものであり、算出された撮影位置情報をＣＰＵ２０１に出力する。この算出された撮影位置情報には、緯度、経度、高度等の撮影位置に関する各種のデータが含まれる。なお、撮影位置の情報を取得する方法として他の方法が用いられてもよい。例えば、周囲に存在する無線ＬＡＮによるアクセスポイントの情報をもとに、撮影位置情報が導き出されてもよい。また撮影位置情報に含まれる高度の情報は、例えば撮像装置２００に図示しない気圧計が設けられ、当該気圧計により高度が測定されることで生成されてもよい。
【００３５】
また例えば撮像装置２００に、図示しないジャイロセンサ等の角速度センサや加速度センサ等が設けられ、これらのセンサにより撮影位置情報が取得されてもよい。例えば高層ビルの谷間等ではＧＰＳ信号が受信できず、位置情報が算出できない場合がある。そのような場合に、ＧＰＳモジュール２１０により位置情報が算出可能な位置からの変位が角速度センサ等により算出される。このようにして、ＧＰＳ信号を受信できない位置の情報が取得されてもよい。
【００３６】
方位センサ２１１は、地磁気を利用して地球上における方位を計測するセンサであり、計測された方位をＣＰＵ２０１に出力する。例えば方位センサ２１１は、互いに直交する２軸のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）とを有する磁界センサである。ＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する素子であり、ＭＲ素子の抵抗変化が、２軸のコイルによって２方向の成分に分けられ、その２方向の成分の地磁気の比に基づいて方位が算出される。
【００３７】
本実施形態では、方位センサ２１１により、撮像装置２００の撮影方向の方位が計測される。この撮影方向は、撮影位置（例えば、撮像装置２００が存在する位置）から、撮像部２０９により生成された撮像画像内の被写体が存在する位置までの方向である。具体的には、撮影位置から撮像画像の中心にある被写体までの方向が、撮影方向として算出される。すなわち計測された撮像方向は、撮像部２０９の光軸方向に対応する。なお、撮影方向の情報を取得する方法として他の方法が用いられてもよい。例えば、上記したＧＰＳ信号に基づいて撮影方向の情報が取得されてもよい。また他の構成を有する方位磁針等が方位センサとして用いられてもよい。
【００３８】
撮像装置２００としては、例えばコンパクトデジタルカメラやデジタル一眼レフカメラ等の種々のカメラ、携帯電話機、スマートフォン、又は撮像機能を有する各種のＰＤＡ（Personal Digital Assistant）等が用いられる。
【００３９】
［サーバのハードウェア構成］
図３は、本実施形態に係る情報処理装置としてのサーバ３００のハードウェア構成の一例を示すブロック図である。本実施形態に係るサーバ３００は、ＰＣ（Personal Computer）等の典型的なコンピュータのハードウェア構成を有する。
【００４０】
図３に示すように、サーバ３００は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ（Read Only Memory）３０３、入出力インタフェース３０４、及び、これらを互いに接続するバス３０５を備える。
【００４１】
ＣＰＵ３０１は、必要に応じてＲＡＭ３０２等に適宜アクセスし、各種演算処理を行いながらサーバ３００の各ブロック全体を統括的に制御する。ＲＯＭ３０３は、ＣＰＵ３０１に実行させるＯＳ（Operating System）、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００４２】
入出力インタフェース３０４には、通信部３０６、表示部３０７、入力部３０８、記憶部３０９、ドライブ部３１０等が接続される。表示部３０７は、例えばＬＣＤ、ＯＥＬＤ、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部３０７は、サーバ３００に内蔵されていてもよいし、サーバ３００に外部接続されていてもよい。
【００４３】
入力部３０８は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部３０８がタッチパネルを含む場合、そのタッチパネルは表示部３０７と一体となり得る。
【００４４】
記憶部３０９は、例えばＨＤＤや、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部３０９には、上記ＯＳや各種アプリケーション、各種データが記憶される。本実施形態では、記憶部３０９に、後述するパノラマ画像の生成処理を制御するためのアプリケーション等のプログラムも記憶される。また記憶部３０９に、パノラマ画像の生成処理の際に検索される１以上の画像データがデータベースとして記憶されている。
【００４５】
ドライブ部３１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体３１１を駆動することが可能なデバイスである。これに対し上記記憶部３０９は、主にリムーバブルでない記録媒体を駆動する、サーバ３００に予め搭載されたデバイスとして使用される場合が多い。ドライブ部３１０により、リムーバブルの記録媒体３１１から、アプリケーションプログラム等が読み出されてもよい。
【００４６】
通信部３０６は、ネットワーク１０に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部３０６は、有線及び無線のどちらを利用して通信するものであってもよい。通信部３０６は、サーバ３００とは別体で使用されてもよい。
【００４７】
この通信部３０６により、サーバ３００は、撮像装置２００及び他のサーバ４００とネットワーク１０を介して接続可能となる。すなわち通信部３０６は、本実施形態に係る接続部として機能する。
【００４８】
他のサーバ４００も、図３に示すようなハードウェア構成と略同様の構成を有している。本実施形態では、サーバ３００及び４００の各記憶部に、１以上の画像データがデータベースとして格納されている。これらの画像データは、例えば撮像装置２００を操作するユーザからネットワーク１０を介して送信されて各記憶部に格納される。あるいは、他の不特定多数のユーザから、ネットワーク１０を介してサーバ３００又は４００に画像データが送信され、各記憶部に蓄積されてもよい。
【００４９】
図４は、本実施形態に係る撮像装置２００の機能的な構成例を示すブロック図である。図４に示す各機能ブロックは、図２に示すフラッシュメモリ２０３等に記憶されたプログラム等のソフトウェア資源と、ＣＰＵ２０１等の各ハードウェア資源とが協働することにより実現される。
【００５０】
図４に示す位置情報取得部２１２、ズーム倍率取得部２１３及び撮影方向取得部２１４により、撮像装置２００により画像が撮像される際の、撮影位置、ズーム倍率、撮影方向の各情報が撮像画像のメタデータとして、それぞれ取得される。また画像解析部２１５により、撮像された画像の解像度情報、色情報又は倍率情報等の画像情報や、焦点距離、絞り値、シャッター速度等のカメラの特性情報が取得される。その他、メタデータとして、日時、天候の情報等が取得される。なお天候情報等は、例えばネットワーク１０を介して天候の情報を提供するサーバ等から、日時情報をもとにして取得される。
【００５１】
上記したズーム倍率は、例えば、一般的な標準レンズの焦点距離５０ｍｍ（３５ｍｍ判）に対する撮影時の焦点距離の比率から算出される。例えば焦点距離１００ｍｍで撮影した場合、ズーム倍率は２倍となる。しかしながらズーム倍率の算出方法はこれに限られない。例えば画像解析部２１５により取得された焦点距離の情報をもとに、ズーム倍率が後ほど計算されてもよい。デジタルスチルカメラ等を用いた撮影時には焦点距離が記録されることが多く、この焦点距離を利用してズーム倍率情報が取得されてもよい。
【００５２】
撮像部２０９により撮像された画像データは、フラッシュメモリ２０３に記憶され、画像情報送信部２１６に出力される。この画像情報送信部２１６には、撮影位置、ズーム倍率、撮影方向の各情報、及びその他のメタデータも出力される。そして画像データに各メタデータが付加された画像ファイルが生成され、ネットワーク１０を介してサーバ３００に送信される。
【００５３】
図５は、画像情報送信部２１６により送信される画像ファイルの構造例を模式的に示す図である。画像ファイルは、メタデータ部２２０及びボディ部２３０を有する。メタデータ部２２０は、例えばヘッダといわれる領域に対応する。本実施形態では、このメタデータ部２２０に、位置情報や方向情報等のメタデータが格納される。ボディ部２３０には、レリーズ実行指示の発生タイミングに応じて画像信号から生成された画像データが格納される。
【００５４】
図４に示す不足領域画像（支援情報）受信部２１７は、後述する不足領域画像又は支援情報を、ネットワーク１０を介してサーバ３００から受信する。撮影アドバイス部２１８は、受信した不足領域画像や支援情報をもとに、パノラマ画像の生成に必要な画像を撮像するためのＧＵＩ等をディスプレイ２０４に表示させる。この処理については、後述する。
【００５５】
図６は、本実施形態に係る情報処理装置であるサーバ３００の機能的な構成例を示すブロック図である。図６に示す各機能ブロックは、図３に示す記憶部３０９等に記憶されたプログラム等のソフトウェア資源と、ＣＰＵ３０１等の各ハードウェア資源とが協働することにより実現される。
【００５６】
サーバ３００は、情報取得部３１２と、撮影範囲算出部３１３と、包含範囲設定部３１４と、画像検索部３１５と、画像収集部３１６と、画像合成部３１７とを有する。
【００５７】
情報取得部３１２は、撮像装置２００から送信された画像ファイルから画像情報、撮影位置情報、撮影方向情報、ズーム倍率情報等のメタデータを取得する。撮影範囲算出部３１３は、撮影位置情報等をもとに、入力された画像の表示範囲である撮影範囲を算出する。包含範囲設定部３１４は、算出された撮影範囲の少なくとも一部を含む包含範囲を設定する。
【００５８】
画像検索部３１５は、撮像画像をもとにした合成画像であるパノラマ画像を生成するための合成用画像を、サーバ３００の記憶部３０９等に格納された１以上の画像データから検索する。ここで合成用画像は、パノラマ画像を生成するために合成される画像と、当該合成される画像の候補となる合成候補画像とを含む。
【００５９】
画像収集部３１６は、ネットワーク１０を介して、他のサーバ４００が有する１以上の画像データから合成用画像を検索する。本実施形態では、画像検索部３１５及び画像収集部３１６が、入力された撮像画像と関連する合成用画像を検索する検索部として機能する。
【００６０】
図７は、図６に示す画像合成部３１７の構成例を示すブロック図である。画像合成部３１７は、割り当てマップ生成部３１８と、合成用画像割り当て部３１９と、不足領域判定部３２０と、合成画像生成部３２１と、補間画像生成部３２２と、不足領域画像生成部３２３と、支援情報生成部３２４とを有する。
【００６１】
割り当てマップ生成部３１８は、包含範囲に合成用画像を割り当てるための割り当てマップを生成する。合成用画像割り当て部３１９は、生成された割り当てマップをもとに、検索された合成用画像を包含範囲に配置する。合成用画像割り当て部３１９は、本実施形態に係る配置部として機能する。
【００６２】
不足領域判定部３２０は、包含範囲内において、合成用画像が配置されない領域を画像不足領域として判定する。補間画像生成部３２２は、画像不足領域を補間する補間画像を生成する。
【００６３】
合成画像生成部３２１は、配置された合成用画像又は補間画像を合成して、合成画像としてのパノラマ画像を生成する。
【００６４】
不足領域画像生成部３２３及び支援情報生成部３２４は、判定された画像不足領域に関する情報を生成する。不足領域画像生成部３２３は、画像不足領域が可視化された不足領域画像を生成する。支援情報生成部３２４は、判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報を生成する。不足領域画像データ及び支援情報は、サーバ３００の通信部３０６からネットワーク１０を介して撮像装置２００に出力される。不足領域画像生成部３２３、支援情報生成部３２４及び通信部３０６により、本実施形態に係る通知部が実現される。
【００６５】
［サーバの動作］
本実施形態に係る情報処理装置としてのサーバ３００の動作について説明する。図８は、サーバ３００の動作を示すフローチャートである。図９は、図８に示すステップを説明するための図である。
【００６６】
撮像装置２００の通信部２０６によりネットワーク１０を介して送信された画像ファイルが、サーバ３００の通信部３０６により受信される。これにより撮像装置２００により撮像された画像５０が、サーバ３００に入力される。
【００６７】
図６に示す情報取得部３１２により、画像情報、位置情報、方向情報、及び倍率情報等のメタデータが取得される（ステップ１０１）。撮影範囲算出部３１３により、メタデータに基づいて、撮像画像５０の撮影範囲５１が算出される（ステップ１０２）。
【００６８】
図１０は、本実施形態に係る撮影範囲５１の算出処理の一例を示すフローチャートである。図１１及び図１２は、その撮影範囲５１の算出処理を説明するための図である。
【００６９】
本実施形態では、撮影範囲５１の算出処理のために、撮影位置情報としての緯度及び経度の情報と、撮影方向情報と、カメラの特性情報に含まれる焦点距離の情報とが用いられる（ステップ２０１〜ステップ２０３）。
【００７０】
緯度及び経度の情報により、図１１及び図１２に示す撮影位置Ｐが判定される。撮影位置Ｐは撮像装置２００が存在する位置であるが、当該位置情報を補正することにより撮像光学系のレンズの位置が詳細に算出されてもよい。また撮像装置２００の位置（又はレンズの位置）から所定の範囲内の位置が、撮影位置Ｐとして定められてもよい。
【００７１】
撮影方向情報により、撮像装置２００の撮影方向、すなわち撮影位置Ｐからどの方向に向かって撮影が行われたかが判定される。本実施形態では、サーバ３００の記憶部３０９等に地図情報が記憶されており、撮影方向情報は東西南北により表現される。
【００７２】
当該撮影位置情報、撮影方向情報及び地図情報により、撮影対象である被写体が判定される。例えば地図情報が参照されることで、撮影位置Ｐから撮影方向に向けて存在する建物や自然物等が判定される。そして判定された被写体の中心点が特徴点Ｑとして設定される。なお、被写体の中心点ではなく、被写体となる建物等の特徴的な部分（例えば門等）の位置が特徴点Ｑとして設定されてもよい。
【００７３】
本実施形態では、撮像画像５０として、富士山が撮影された画像が用いられている。従って富士山の中心となる点が特徴点Ｑとして判定される。
【００７４】
例えば上記した富士山や東京スカイツリー等の有名な建物や観光スポット等が、特徴点Ｑの候補として予め設定されてもよい。すなわち被写体となる可能性が高い建物等が予め候補として設定されており、その中から被写体が選択されてもよい。あるいは撮影位置Ｐから撮影方向に向けて存在する建物や自然物等の情報が、ネットワーク１０を介して撮像装置２００に送信される。そしてユーザにより被写体の設定が行われてもよい。これにより、地図情報から、例えば被写体の候補として複数の建物等が判定された場合に、適切な被写体が設定される。
【００７５】
図１１及び図１２に示すように、特徴点Ｑを基準とした基準面Ｒが設定される。基準面Ｒは、撮影方向と垂直となるように設定される。基準面Ｒは、例えば特徴点Ｑの位置情報（緯度及び経度）を基準として設定される。
【００７６】
図１２に示すように、設定された基準面Ｒにおいて、撮像画像５０の撮影範囲５１が算出される。図１２には、撮像画像５０の左右方向（図９示すｘ方向）における撮影範囲５１のサイズｎが図示されている。
【００７７】
撮影範囲のサイズｎは、ｘ方向における撮像面Ｓのサイズｍ、焦点距離ｆ、撮影位置Ｐ、特徴点Ｑの位置、及び撮影位置Ｐと特徴点Ｑの位置との距離ｘの各情報を用いて算出される。撮像面Ｓのサイズｍの情報は、焦点距離ｆの情報とともにカメラの特性情報から取得される。距離ｘは、撮影位置Ｐ及び特徴点Ｑのそれぞれの緯度及び経度から算出される。なお本実施形態では、焦点距離ｆは、３５ｍｍフィルムを用いた場合における焦点距離に換算されている。
【００７８】
これらのパラメータを用いると、図１２に示す角度θについて以下の式が成り立つ。
【００７９】
【数１】
【００８０】
この結果をもとに、撮影範囲５１のサイズｎは、以下の式で表される。
【００８１】
【数２】
【００８２】
撮像画像５０の上下方向（図９に示すｙ方向）における撮影範囲５１のサイズも同様にして算出される。例えば撮像面Ｓの上下方向におけるサイズの情報が得られない場合等がある。このような場合には、撮影範囲５１の上下方向におけるサイズとして、左右方向の撮影範囲のサイズｎと略等しいサイズ、あるいはそれよりも若干大きいサイズが設定されてもよい。
【００８３】
このように本実施形態では、地図情報が参照されることで、撮像された画像の撮影範囲が算出される（ステップ２０４）。
【００８４】
図８のステップ１０３に示すように、包含範囲設定部３１４により、パノラマ画像６０の包含範囲６１が設定される。図９に示すように、包含範囲６１は、生成されるパノラマ画像６０の表示範囲に相当する。なお、図９はパノラマ画像６０の生成前の図であるが、説明を分かりやすくする為に、パノラマ画像６０の符号を図示している。
【００８５】
図９に示すように、本実施形態では、撮像画像５０が中心に位置するように包含範囲６１が設定される。まず、図８のステップ１０２で算出された撮像画像５０の撮影範囲５１のサイズをもとに、撮像画像５０の左上の点５２及び右下の点５３の緯度及び経度の情報が算出される。
【００８６】
撮像画像５０の解像度（ピクセル数）と、想定しているパノラマ画像６０の解像度（ピクセル数）の比率が算出される。例えば本実施形態では、撮像画像５０のサイズは、１６００×１２００（pixel）のＵＸＧＡ（UltraＸＧＡ）サイズとする。そして生成されるパノラマ画像６０のサイズは、６７００×２５００（pixel）とする。しかしながら本技術において両画像５０及び６０の各サイズは適宜設定可能である。
【００８７】
撮像画像５０及びパノラマ画像６０の各サイズの比率をもとに、包含範囲６１の左上の点６２及び右下の点６３の緯度及び経度の情報が算出される。点６２及び６３の緯度及び経度の情報は、撮像画像５０の点５２及び５３の緯度及び経度の情報から算出される。これにより、パノラマ画像６０の表示範囲である包含範囲６１が設定される。
【００８８】
撮像画像５０が中心に位置しないように包含範囲６１が設定されてもよい。すなわち撮像画像５０と、設定される包含範囲６１との相対的な位置関係は適宜設定可能である。また本実施形態では、撮影範囲５１の全体を含むように包含範囲６１が設定されたが、撮影範囲５１の全体ではなくて、少なくとも一部を含むように包含範囲６１が設定されてもよい。あるいは、例えば撮影範囲５１及び包含範囲６１に関する情報がネットワーク１０を介して撮像装置２００に送信される。そして撮影範囲５１及び包含範囲６１を示すＧＵＩが表示され、ユーザにより包含範囲６１の位置等が設定されてもよい。
【００８９】
本実施形態では、撮像画像５０及び包含範囲６１のそれぞれの左上の点（点５２、点６２）及び右下の点（点５３、点６３）について、緯度及び経度の情報が算出された。しかしながらこれらの点に限られず、例えば撮像画像５０及び包含範囲６１の四辺の各中点の緯度及び経度の情報がそれぞれ算出されてもよい。
【００９０】
図８のステップ１０４において、画像検索部３１５により、パノラマ画像６０を生成するための合成用画像が検索される。図１３は、画像検索部３１５による画像検索処理の一例を示すフローチャートである。図１４は、画像検索処理を説明するための図である。
【００９１】
合成用画像７０としては、その撮影範囲７１の少なくとも一部が包含範囲６１に含まれるような画像が検索される。そのような画像を検索するために、まず図１３に示すステップ３０１において、合成用画像７０として選択されるための条件となる領域情報が算出される。本実施形態では、領域情報として撮影位置情報及び撮影方向情報が用いられる。
【００９２】
領域情報は、包含範囲設定部３１４により設定された包含範囲６１をもとに算出される。例えば撮影位置情報としては、撮像画像５０の撮影位置Ｐと略等しい位置を示す位置情報が算出される。又は撮像画像５０の撮影位置Ｐから所定の範囲内の位置の位置情報が算出されてもよい。あるいは、図１１に示す特徴点Ｑ（富士山）の位置と撮影位置Ｐとをつなぐ線Ｔの近傍の位置を示す位置情報が算出されてもよい。
【００９３】
領域情報として算出される撮影方向情報は、例えば撮像画像５０の撮影位置Ｐと、包含範囲６１の左上の点６２及び右下の点６３について算出された緯度及び経度の情報に基づいて算出される。その他、包含範囲６１内の領域が撮像されている可能性がある合成用画像を取得するための、領域情報（位置情報及び方向情報）の設定方法は適宜設定可能である。
【００９４】
サーバ３００の記憶部３０９等に格納されている画像データベースから、上記した領域情報に合致もしくは近い位置情報及び方向情報を有する画像が取得される（ステップ３０２）。そして取得された１以上の画像から、ステップ３０３から以下の処理において、合成候補画像７５が選択される。
【００９５】
ステップ３０３において、全ての画像について、合成候補画像７５として採用可能か否かの確認作業が行われたかが判定される。確認作業が終了した場合（ステップ３０３のＹｅｓ）、画像検索処理は終了する。
【００９６】
確認作業が終了していない場合（ステップ３０３のＮｏ）、当該確認が済んでいない画像の撮影範囲７１が算出される（ステップ３０４）。撮影範囲７１は、例えば撮像画像５０の撮影範囲５１の算出処理と同様に算出されればよい。
【００９７】
算出された撮影範囲７１が、パノラマ画像６０となる包含範囲６１に含まれるか否かが判定される（ステップ３０５）。撮影範囲５１が包含範囲６１に含まれる場合（ステップ３０５のＹｅｓ）、当該画像は合成候補画像７５として採用される（ステップ３０６）。撮影範囲７１が包含範囲６１に含まれない場合（ステップ３０５のＮｏ）、当該画像は合成候補画像７５として採用されない（ステップ３０７）。
【００９８】
ステップ３０５において、検索された画像の撮影範囲７１が包含範囲６１にどの程度含まれるかについての閾値が設定され、当該閾値をもとに合成候補画像７５が選択されてもよい。閾値は、例えば包含範囲６１に含まれる領域のピクセル数について設定されてもよい。例えばパノラマ画像６０の全体のピクセル数の１０％以下のピクセル数等が閾値として設定されてもよい。
【００９９】
図８のステップ１０５において、画像検索部３１５により検索された合成候補画像７５をもって、パノラマ画像６０の生成に必要な合成用画像７０が全て取得されたかが判定される。例えば検索された合成候補画像７５のそれぞれの撮影範囲７１により、包含範囲６１全体がカバーされた場合に、パノラマ画像６０の生成に必要な合成用画像７０が全て取得されたと判定される。
【０１００】
この判定は、図１３のステップ３０１にて生成された領域情報と、検索された合成候補画像７５の位置情報及び方向情報とが参照されることで行われる。あるいは各合成候補画像７５の左上及び右下の点について、緯度及び経度の情報が算出される。そして当該緯度及び経度の情報に基づいて判定が行われてもよい。
【０１０１】
合成用画像７０が全て取得されていないと判定された場合（ステップ１０５のＮｏ）、画像収集部３１６により合成用画像７０が収集される（ステップ１０６）。図１５は、画像収集部３１６による画像収集処理の一例を示すフローチャートである。
【０１０２】
画像検索部３１５で取得することができなかった画像の領域情報が取得される（ステップ４０１）。すなわち包含範囲６１のカバーされていない領域のために必要な画像の領域情報が取得される。例えば領域情報は、包含範囲６１に対して必要な合成用画像７０の領域情報の算出処理（図１３のステップ３０１）と略同様に算出されればよい。
【０１０３】
算出された領域情報が、ネットワーク１０を介して他のサーバ４００に送信される。そしてサーバ４００において、記憶部等に格納されている画像データベースから、領域情報に合致もしくは近い位置情報及び方向情報を有する画像が取得される。取得された画像は、ネットワーク１０を介してサーバ３００に送信される。これによりサーバ３００は、他のサーバ４００からネットワーク１０を介して、撮像画像５０に関連する画像を取得する（ステップ４０２）。
【０１０４】
ステップ４０３〜ステップ４０７において、図１３に示すステップ３０３〜ステップ３０７と同様の処理が行われ、合成候補画像７５が選択される。
【０１０５】
図８に示すステップ１０７において、画像合成部３１７によりパノラマ画像６０が生成される。パノラマ画像６０は、画像検索部３１５により検索された、または画像収集部３１６により収集された合成用画像７０が合成されることで合成される。また画像合成部３１７により、補間画像、不足領域画像、及び支援情報が生成される。
【０１０６】
図１６は、画像合成部３１７により行われる上記パノラマ画像生成処理及び補間画像等を生成する処理を示すフローチャートである。図１７〜図２３は、図１６に示す各ステップを説明するための図である。
【０１０７】
撮像装置２００から送信された撮像画像５０と、合成候補画像７５の各倍率をそれぞれ補正する（ステップ５０１）。この処理は、撮像画像５０及び合成候補画像７５をつなぎ合わせてパノラマ画像６０を生成するために行われるものである。典型的には、合成候補画像７５の倍率が、撮像画像５０の倍率に合わせられる。
【０１０８】
図１７は、倍率補正処理を説明するための図である。図１７に示すように、例えば望遠により撮影された高倍率の画像が、合成候補画像７５として検索されたとする。そうすると撮像画像５０と合成候補画像７５とで、単位面積当たりに占める領域の割合が異なる。この単位面積当たりに占める領域の割合が同じになるように両画像５０及び７５の倍率をそれぞれ補正する。
【０１０９】
図１７に示すような場合では、合成候補画像７５に対して縮小処理が行われる（合成用画像７５’参照）。これにより単位面積当たりに占める領域が、撮像画像５０と略等しくなる。合成候補画像７５の倍率が撮像画像５０よりも低倍率である場合は、合成候補画像７５に対して拡大処理が行われる。この場合、拡大された合成候補画像７５の解像度（ピクセル数）が高くなるように変換されてもよい。
【０１１０】
図７に示す割り当てマップ生成部３１８により、包含範囲６１に合成候補画像７５を割り当てるための割り当てマップが生成される（ステップ５０２）。割り当てマップは、合成候補画像７５が配置される仮想的なキャンバスになるものである。
【０１１１】
図１８は、本実施形態に係る割り当てマップ８０を示す模式的な図である。割り当てマップ８０は、予め定められたサイズのブロック（配置領域）８１により、包含範囲６１を分割する。本実施形態では、縦に並ぶ５ブロック及び横に並ぶ７ブロックの３５個のブロック８１により包含範囲６１が分割される。図１８に示すように、中央のブロック８１ａには、撮像画像５０が配置される。
【０１１２】
合成用画像割り当て部３１９により、各ブロック８１に対して合成候補画像７５が割り当てられる（ステップ５０３）。図１９は、合成候補画像７５の割り当て処理を説明するための図である。
【０１１３】
本実施形態では、まず、割り当てマップ８０の中央のブロック８１ａに隣接するブロック８１に対して合成候補画像７５が割り当てられる。例えば図１９に示すように、中央ブロック８１ａの右隣に位置するブロック８１ｂに割り当てられる合成候補画像７５が選択される。例えば撮像画像５０の位置情報及び方向情報と、ブロック８１のサイズに基づいて、当該ブロック８１ｂに配置される条件としての領域情報（位置情報及び方向情報）が算出される。算出された領域情報に一致するか、それに近い位置情報及び方向情報を有する合成候補画像７５が選択される。
【０１１４】
次に、撮像画像５０と、選択された合成候補画像７５とでマッチング処理が行われる。図１９に示すように、撮像画像５０の右端領域５４と、選択された合成候補画像７５の左端領域７４とが、マッチング処理の対象となる。
【０１１５】
本実施形態では、右端領域５４及び左端領域７４において、各領域の輝度の勾配情報が算出され、その勾配情報に基づいてＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる局所特徴量が算出される。この局所特徴量が用いられることでマッチング処理が行われ、両領域５４及び７４がどの位置関係で、どの程度一致するかが判定される。例えば所定の閾値が設定され、両領域５４及び７４のマッチング結果が当該閾値以上の場合に、選択された合成候補画像７５が、実際に合成される合成用画像７０として改めて選択される。そして両領域５４及び７４が最もマッチする位置に、当該合成用画像７０が配置される。
【０１１６】
なお撮像画像５０と、合成候補画像７５とのマッチング処理においては、どのような方法が用いられてもよい。局所特徴量が用いられる場合に、上記したＳＩＦＴではないものが用いられてもよい。また局所特徴量が用いられないマッチング処理でもよい。例えば両領域５４及び７４を相対的に動かしながら各輝度値の相関係数が算出されることでマッチング処理が行われてもよい。
【０１１７】
図１９では、中央ブロック８１ａの下側に位置するブロック８１ｃに配置される合成用画像７０も図示されている。この場合は、撮像画像５０の下端領域と、合成候補画像７５の上端領域においてマッチング処理が行われる。以下、右隣のブロック８１ｂ及び下側のブロック８１ｃにそれぞれ隣接するブロック８１について、合成用画像７０の割り当て処理が行われる。
【０１１８】
図１６のステップ５０４では、所定のブロック８１において割り当てられる合成候補画像７５が複数あるか否かが判定される。例えば中央ブロック８１ａの右隣のブロック８１ｂにおいて、撮像画像５０とのマッチング結果が所定の閾値以上となる画像が複数存在したとする。この場合、ステップ５０５に進み、複数存在する合成候補画像７５の中から、最適な画像が合成用画像７０として配置される。
【０１１９】
例えば、輝度値の情報に基づき、撮像画像５０の色合いと最も近い合成用画像７０が配置される。撮像画像５０が撮像された時間帯、季節あるいは天候等により、同じ位置から同じ被写体を撮影したとしても、撮像画像５０の色合いはそれぞれ異なるものとなる。従って、色合いが近い合成用画像７０が配置されることで、高品質なパノラマ画像６０が生成される。各画像に付加された撮影日時、季節あるいは天候等のメタデータをもとに、最適な合成用画像７０が選択されてもよい。また例えばブレやボケのない画像、ノイズのない画像等の高品質な画像が合成用画像７０として選択されてもよい。これにより、高品質なパノラマ画像６０が生成される。
【０１２０】
ステップ５０３では、不足領域判定部３２０により、包含範囲６１内において、合成用画像７０が配置されない領域が画像不足領域として判定される。例えば割り当てマップ８０のブロック８１に関する領域情報に一致するか、それに近い合成候補画像７５が存在しない場合、当該ブロック８１が画像不足領域として判定されてもよい。又は上記マッチング処理の結果、合成用画像７０が配置されないブロック８１が画像不足領域として判定されてもよい。あるいは、例えば各ブロック８１に合成用画像７０がそれぞれ配置される場合でも、各合成用画像７０の位置によっては、合成用画像７０が配置されない領域が発生する場合がある。このような領域が画像不足領域として判定されてもよい。
【０１２１】
各ブロック８１において、合成候補画像７５の割り当て処理が行われると、配置された合成用画像７０に対して、色補正処理が行われる（ステップ５０６）。これにより例えば撮像画像５０の色合いをもとに、パノラマ画像６０全体の色合いが調整されて、高品質のパノラマ画像６０が生成される。
【０１２２】
ステップ５０７において、撮像画像５０と、各ブロック８１に配置された合成用画像７０とが、スティッチング処理により接続される。例えば、撮像画像５０及び合成用画像７０の境界が目立たないように、適宜位置合わせ処理や幾何学的な変処理が行われる。このようなスティッチング処理としては、上記した特徴量を用いるものや、相関係数を用いるもの等、いかなるものが用いられてよい。
【０１２３】
各ブロック８１に割り当てられた合成用画像７０により、包含範囲６１全体がカバーされた場合、すなわち画像不足領域が無いと判定された場合、図２０に示すような高品質なパノラマ画像６０が生成される。
【０１２４】
不足領域判定部３２０により、画像不足領域が有ると判定された場合、図７に示す不足領域画像生成部３２３、支援情報生成部３２４、及び補間画像生成部３２２により、不足領域画像、支援情報、及び補間画像がそれぞれ生成される（ステップ５００）。
【０１２５】
図２１は、不足領域画像を模式的に示す図である。本実施形態に係る不足領域画像９０では、画像不足領域９１を強調させるために、当該領域９１に色が付せられている。また画像不足領域９１を強調する強調画像９２として、当該領域９１を囲む楕円が表示される。画像不足領域９１を強調させるための色や強調画像９２としては、どのようなものが用いられてもよい。例えば、画像不足領域９１が発光するような不足領域画像９０が生成されてもよい。あるいは画像不足領域９１付近に、強調画像９２としてテキスト状の画像やマーク等が表示されてもよい。
【０１２６】
不足領域画像９０としては、例えば画像不足領域９１以外に配置された合成用画像７０がスティッチング処理により高精度に接続された画像が生成されてもよい。すなわち図２０に示すパノラマ画像６０と略等しいサイズ及び解像度を有する高品質な不足領域画像９０が生成されてもよい。
【０１２７】
あるいは不足領域画像９０として、パノラマ画像６０よりも解像度が小さい画像やサムネイル画像が生成されてもよい。またスティッチング処理は行われず、合成用画像７０が他の合成用画像７０と互いに重なるように配置されている画像が生成されてもよい。すなわち、画像不足領域９１の位置がユーザに認識できる範囲であれば、パノラマ画像６０よりも精度が低い画像が不足領域画像９０として生成されてもよい。これにより、ＣＰＵ３０１やＲＡＭ３０２等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。
【０１２８】
図２２は、支援情報生成部３２４により生成された支援情報の一例を模式的に示すテーブルである。支援情報は、不足領域判定部３２０により判定された画像不足領域９１に割り当てられる画像を撮像するための情報である。
【０１２９】
図２２に示すように、支援情報は、画像不足領域９１をカバーするために必要な撮影位置及び撮影方向の情報を少なくとも含む。その他、例えば、焦点距離、倍率、高度、日時、天候等の情報が、支援情報として生成されてもよい。
【０１３０】
図２３は、画像不足領域９１が補間画像９３により補間された補間パノラマ画像９５を模式的に示す図である。画像不足領域９１を補間する補間画像９３は、例えば画像不足領域９１の周囲に配置される画像の輝度情報や、当該画像に表された被写体の形状情報等をもとに生成される。または補間画像９３は、撮像画像５０の特徴点（富士山）の情報、日時又は天候等の情報をもとに生成される。または撮像装置２００のタッチパネル２０５を介したユーザの指示により補間画像９３が生成されてもよい。
【０１３１】
ここで図２１及び図２３の画像不足領域９１ａに注目する。この画像不足領域９１ａは、木を表示する補間画像９３ａにより補間されている。このような場合に、例えば画像不足領域９１ａの周囲に配置される画像等をもとにして補間画像９３を生成すると、木が表示されない補間画像９３が生成されてしまう可能性がある。従って、例えばユーザの指示により木の画像が付加された補間画像９３ａが生成されてもよい。一方、ユーザの指示により補間画像９３から不要なものが削除される処理が行われてもよい。
【０１３２】
本実施形態では、合成用画像７０及び補間画像９３は、ステップ５０６及び５０７において合成され、図２３に示す補間パノラマ画像９５が生成される。
【０１３３】
パノラマ画像６０、不足領域画像９０、支援情報、及び補間パノラマ画像９５は、ネットワーク１０を介してそれぞれ撮像装置２００に送信される。例えば不足領域画像９０が撮像装置２００のディスプレイ２０４に表示される。これによりユーザは、画像不足領域９１を視覚的に確認することが可能となり、パノラマ画像６０を完成させるのに必要な画像を容易に把握することができる。そして例えば富士山の付近に行って、撮像装置２００により画像不足領域９１をカバーする画像を撮像することができる。またはネットワーク１０を介して適当な画像を自ら検索してダウンロードすることができる。
【０１３４】
図２４は、画像不足領域９１をカバーする画像が撮像される際の、支援情報を用いた支援方法の一例を示す図である。図２４には、撮像装置２００のディスプレイ２０４と、ディスプレイ２０４に表示されたスルー画像２５０とが図示されている。ここで説明する支援処理は、図４に示す撮影アドバイス部２１８により実行される。
【０１３５】
本実施形態では、ディスプレイ２０４に表示されているスルー画像２５０の領域情報（位置情報及び方向情報）が取得される。そして取得されたスルー画像２５０の領域情報と、画像不足領域９１をカバーするための支援情報（位置情報及び方向情報）とが比較される。
【０１３６】
この結果、スルー画像２５０が画像不足領域９１をカバーする画像として撮像可能な場合に、ディスプレイ２０４にＯＫマークが撮像指示マーク２５１として表示される。ユーザは、この撮像指示マーク２５１が表示されたときに、撮像ボタンを押し撮像処理を実行させる。これにより、画像不足領域９１をカバーする画像が操作性よく簡単に撮像することが可能となる。撮像指示マーク２５１としては、ＯＫマークに限られず、種々のＧＵＩが表示されてよい。あるいは撮像を指示する旨の音声等が発せされてもよい。
【０１３７】
例えばディスプレイ２０４にスルー画像２５０が表示されている間、常に当該スルー画像２５０の領域情報が取得され、支援情報と比較されてもよい。あるいは、ユーザにより、スルー画像２５０が画像不足領域９１をカバーする画像として適正かどうかを確認するモードが選択される。そのときに、スルー画像２５０の領域情報が取得され、支援情報と比較されてもよい。
【０１３８】
また図２４に示すように、ディスプレイ２０４に表示されたスルー画像２５０上に、画像不足領域に対応する領域２５２を示すＧＵＩが表示されてもよい。これによりユーザは、操作性よく簡単に、パノラマ画像６０の生成に必要な画像を撮像することができる。
【０１３９】
以上本実施形態に係る情報処理装置であるサーバ３００では、撮像装置２００からネットワーク１０を介して入力された撮像画像５０の表示範囲である撮影範囲５１が算出される。また当該撮影範囲５１の少なくとも一部を含む包含範囲６１が設定される。そして撮像画像５０と関連する画像が合成用画像７０として検索され、包含範囲６１に配置される。この際、合成用画像７０が配置されない領域が画像不足領域９１として判定され、それに関する情報として、不足領域画像９０及び支援情報がネットワーク１０を介してユーザに通知される。従って上記通知をもとに画像不足領域９１に割り当てられる画像を容易に準備することが可能となり、これらの画像を合成することで、パノラマ画像６０等の合成画像を操作性よく生成することが可能となる。
【０１４０】
本実施形態では、撮像画像５０の撮影位置情報及び撮影方向情報に基づいた関連性により、合成用画像７０が選択され、当該合成用画像７０が包含範囲６１に配置された。これにより、パノラマ画像６０を高精度に生成することが可能となる。
【０１４１】
また本実施形態に係るサーバ３００では、画像不足領域９１を可視化した画像である不足領域画像９０が生成される。そして不足領域画像９０が、ネットワーク１０を介して撮像装置２００に送信され、ユーザに通知される。これにより、画像不足領域９１を視覚的に認識することができる。
【０１４２】
また本実施形態に係るサーバ３００では、画像不足領域９１に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報が、ユーザに通知される。これにより、画像不足領域９１に割り当てられる画像を容易に撮像することが可能となる。
【０１４３】
また本実施形態に係るサーバ３００では、画像不足領域９１を補間する補間画像９３が生成され、図２３に示す補間パノラマ画像９５が生成される。これにより、例えばパノラマ画像６０を生成するための画像が不足する場合でも、撮像画像５０を含む大面積の画像を生成することができる。
【０１４４】
また本実施形態に係るサーバ３００は、１以上の画像を有する他の情報処理装置であるサーバ４００と、ネットワーク１０を介して接続可能である。そして、ネットワーク１０を介して、当該サーバ４００が有する１以上の画像から合成用画像７０を検索することが可能である。これにより、本実施形態に係るサーバ３００が有する画像のみならず、他のサーバ４００が有する多数の画像の中から、合成用画像７０としてより適切な画像を検索することが可能となる。この結果、高品質のパノラマ画像６０を生成することが可能となる。
【０１４５】
本技術によれば、過去に撮像した撮像画像５０についても、サーバ３００に送信することにより、高品質のパノラマ画像６０を操作性よく生成することができる。
【０１４６】
＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【０１４７】
図２５は、図１に示すネットワークシステム１００の変形例を示す模式的な図である。図１に示すネットワークシステム１００では、ネットワーク１０に接続可能な撮像装置２００からサーバ３００に撮像画像５０が送信された。
【０１４８】
しかしながら図２５に示すネットワークシステム１００’のように、ユーザにより撮像装置２００’がＰＣ２９０に接続され、当該ＰＣ２９０を介してサーバ３００に撮像画像５０が送信されてもよい。これにより、ネットワーク通信機能を有さない撮像装置２００’により撮像された撮像画像５０を基準としたパノラマ画像が生成可能となる。
【０１４９】
また図１に示す撮像装置２００が、本技術の一実施形態として機能してもよい。すなわち撮像装置２００に、図６に示す情報取得部３１２、撮影範囲算出部３１３、包含範囲設定部３１４、画像検索部３１５、画像収集部３１６、及び画像合成部３１７が設けられてもよい。この場合、撮像装置２００により、フラッシュメモリ２０３等に格納された画像から合成用画像７０が検索される。また撮像装置２００により、サーバ４００が有する１以上の画像から合成用画像７０が収集されてもよい。
【０１５０】
同様に、図２５に示すＰＣ２９０が、本技術の一実施形態として機能してもよい。すなわちＰＣ２９０により合成用画像が検索されてパノラマ画像が生成されてもよい。なお図２５に示すネットワークシステム１００’では、ＰＣ２９０の表示部等に不足領域画像等が表示されてもよい。
【０１５１】
上記では、図６に示す画像検索部３１５により、サーバ３００の記憶部３０９から合成候補画像７５が検索された。そして必要な合成候補画像７５が全部取得されない場合に、画像収集部３１６により、ネットワーク１０を介して他のサーバ４００から合成候補画像７５が収集された。しかしながら、画像検索部３１５による検索結果にかかわらず、画像収集部３１６によりネットワーク１０を介して合成候補画像７５が収集されてもよい。これにより、合成候補画像７５として多数の画像を取得することが可能となり、その中から最適な画像を合成用画像７０として採用することができる。
【０１５２】
上記では、包含範囲に配置される合成用画像（合成候補画像）が検索される際に、領域情報（位置情報及び方向情報）が参照された。しかしながら撮像画像及び各サーバが有する画像に、被写体についてのタグ情報がメタデータとして付加されてもよい。そして当該タグ情報を参照することで、合成用画像が検索されてもよい。
【０１５３】
例えば図９等に示す撮像画像５０が撮像される際に、メタデータとして「富士山」を示すタグ情報が付加される。そしてサーバ３００又は４００が有する画像のうち「富士山」のタグ情報が付加された画像が、合成候補画像７５として検索される。タグ情報は、撮影位置情報及び撮影方向情報に基づいて被写体が判定されたときに付加されてもよい。あるいは、撮像装置２００のタッチパネル２０５へのユーザによる操作に基づいて付加されてもよい。このようなタグ情報が付加されることで、仮想的なデータベースが生成可能となり、以下のような場合においても操作性よくパノラマ画像が生成可能となる。
【０１５４】
例えば「山田さん」のような個人の家の中で撮影が行われ、当該撮像画像を基準としたパノラマ画像の生成が求められる場合がある。この場合、ＧＰＳモジュールの精度の限界により、あるいは地図情報から山田さんの家の情報が取得できないことにより、山田さんの家の中の画像を検索することが困難となる場合がある。このような場合に、撮像画像やサーバが有する画像に、「山田家」を示すタグ情報が付加されていると、当該タグ情報を参照することで容易に合成用画像を検索することができる。
【０１５５】
その他、合成用画像が検索される際に参照されるメタデータとして、どのようなデータが用いられてもよい。
【０１５６】
包含範囲に配置される合成用画像に例えばアフィン変換等の画像処理が施されてもよい。これにより被写体の撮影方向を調整することが可能となり、精度のよいパノラマ画像を生成することが可能となる。
【０１５７】
上記では合成画像としてパノラマ画像が生成された。しかしながら本技術により、合成画像として３Ｄ画像が生成されてもよい。例えば撮像装置により撮像された撮像画像の撮影範囲が算出される。そして当該撮影範囲を少なくとも含む包含範囲が設定される。この包含範囲は、３Ｄ画像を生成するために必要な合成用画像が配置される範囲であり、例えば撮像画像の被写体を周囲及び上下から見た場合の視界に相当する範囲である。すなわち包含範囲として、被写体の周囲（上下左右）に仮想的なキャンバスが設定される。そして設定された包含範囲に配置される合成用画像が位置情報等のメタデータを参照することで検索される。検索された合成用画像が合成されることで３Ｄ画像が生成されるが、この際に合成用画像が配置されない画像不足領域に関する情報がユーザに通知される。これにより高精度の３Ｄ画像を操作性よく生成することが可能となる。
【０１５８】
上記では、位置情報等のメタデータが付加された撮像画像がサーバに送信された。そしてメタデータをもとに被写体が判定され特徴点が設定された。しかしながら、メタデータが用いられずに、被写体が判定されてもよい。例えば撮像画像の輝度情報等から撮像された被写体の色や形状等が検出される。そして当該色や形状等の情報に基づいて、被写体が判定されてもよい。その他、種々の物体認識技術が採用可能である。これにより、メタデータが付加されていない撮像画像についても本技術を適用して操作性よくパノラマ画像等の合成画像を生成することが可能となる。
【０１５９】
また入力される画像は、撮像画像に限られない。例えば富士山を写生した絵がデジタル化され、その画像データが入力画像として入力されてもよい。そして当該デジタル画像の表示範囲が算出されてもよい。
【０１６０】
包含範囲に配置される合成用画像として、例えば撮像画像の撮影範囲を含むような大きい範囲が撮影された画像（例えば広角画像）が検索されてもよい。この場合、撮像画像の代わりに当該広角画像等が用いられてパノラマ画像が生成されてもよい。すなわち撮像画像が用いられずにパノラマ画像が生成されてもよい。この際、広角画像等の解像度が不十分な場合は、解像度変換処理により解像度が向上されてもよい。
【０１６１】
上記では、補間画像、不足領域画像、及び支援情報の３つが生成された。しかしながらこれらのうち１つが生成されてもよい。またこれらのうちのいずれか２つが生成されてもよい。
【０１６２】
上記では、撮像装置２００に撮影アドバイス部２１８が設けられた。しかしながら、不足領域画像９０や支援情報を生成するサーバ３００に撮影アドバイス部２１８に相当するブロックが設けられてもよい。すなわち、図２４に示すようなスルー画像２５０に対する処理や、撮像指示マーク２５１又は画像不足領域に対応する領域２５２のＧＵＩ等の生成処理等がサーバ３００により行われてもよい。
【０１６３】
なお、本技術は以下のような構成も取ることができる。
【０１６４】
（１）入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記配置部は、前記入力画像との関連性をもとに、前記合成用画像を前記包含範囲に配置する情報処理装置。
（３）前記（１）又は（２）に記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域を可視化して前記ユーザに通知する情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報をユーザに通知する情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記画像不足領域を補間する補間画像を生成する生成部をさらに具備する情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
１以上の画像を有する他の情報処理装置とネットワークを介して接続可能な接続部をさらに具備し、
前記検索部は、前記ネットワークを介して、前記他の情報処理装置が有する１以上の画像から前記合成用画像を検索する
情報処理装置。
（７）算出部が、入力された画像の表示範囲を算出し、
設定部が、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定し、
検索部が、前記入力画像と関連する合成用画像を検索し、
配置部が、前記検索された合成用画像を前記包含範囲に配置し、
判定部が、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定し、
通知部が、前記判定された画像不足領域に関する情報をユーザに通知する
情報処理方法。
（８）入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
としてコンピュータを機能させるプログラム。
（９）画像を撮像する撮像部と、
前記撮像された画像の撮影範囲を算出する算出部と、
前記算出された撮影範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記撮像画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する撮像装置。
【符号の説明】
【０１６５】
Ｐ…撮影位置
１０…ネットワーク
５０…撮像画像
５１…撮影範囲
６０…パノラマ画像
６１…包含範囲
７０…合成用画像
７５…合成候補画像
９０…不足領域画像
９１…画像不足領域
９３…補間画像
１００…ネットワークシステム
２００…撮像装置
２０６…通信部
２０９…撮像部
２９０…ＰＣ
３００…サーバ
３０６…通信部
３１２…情報取得部
３１３…撮影範囲算出部
３１４…包含範囲設定部
３１５…画像検索部
３１６…画像収集部
３１７…画像合成部
３２０…不足領域判定部
３２１…合成画像生成部
３２２…補間画像生成部
３２３…不足領域画像生成部
３２４…支援情報生成部
４００…他のサーバ
【技術分野】
【０００１】
本技術は、複数の画像を合成することが可能な情報処理装置、情報処理方法、プログラム、及び撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等により撮像された画像を合成してパノラマ画像を生成する技術が知られている。このようなパノラマ画像生成技術については、例えば特許文献１及び２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１３５２３０号公報
【特許文献２】特開２００５−２１７７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１及び２に開示された技術により、パノラマ画像の生成のために合成される複数の画像が選別される際の、ユーザの負担が軽減されている。このようなユーザの負担を軽減させ、操作性よくパノラマ画像を生成可能な技術が求められている。
【０００５】
以上のような事情に鑑み、本技術の目的は、パノラマ画像等の合成画像を操作性よく生成することが可能となる情報処理装置、情報処理方法、プログラム、及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、算出部と、設定部と、検索部と、配置部と、判定部と、通知部とを具備する。
前記算出部は、入力された画像の表示範囲を算出する。
前記設定部は、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する。
前記検索部は、前記入力画像と関連する合成用画像を検索する。
前記配置部は、前記検索された合成用画像を前記包含範囲に配置する。
前記判定部は、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する。
前記通知部は、前記判定された画像不足領域に関する情報をユーザに通知する。
【０００７】
この情報処理装置では、入力された画像の表示範囲が算出され、当該表示範囲の少なくとも一部を含む包含範囲が設定される。そして入力画像と関連する画像が合成用画像として検索され、包含範囲に配置される。この際、合成用画像が配置されない領域が画像不足領域として判定され、それに関する情報がユーザに通知される。従って上記通知をもとに画像不足領域に割り当てられる画像を容易に準備することが可能となり、これらの画像を合成することで、パノラマ画像等の合成画像を操作性よく生成することが可能となる。
【０００８】
前記配置部は、前記入力画像との関連性をもとに、前記合成用画像を前記包含範囲に配置してもよい。
これにより、合成画像を高精度に生成することが可能となる。
【０００９】
前記通知部は、前記判定された画像不足領域を可視化して前記ユーザに通知してもよい。
これにより、画像不足領域を視覚的に認識することができる。
【００１０】
前記通知部は、前記判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報をユーザに通知してもよい。
これにより上記支援情報をもとに、画像不足領域に割り当てられる画像を容易に撮像することが可能となる。
【００１１】
前記情報処理装置は、前記画像不足領域を補間する補間画像を生成する生成部をさらに具備してもよい。
このように、画像不足領域を補間する補間画像が用いられて、合成画像が生成されてもよい。
【００１２】
前記情報処理装置は、１以上の画像を有する他の情報処理装置とネットワークを介して接続可能な接続部をさらに具備してもよい。この場合、前記検索部は、前記ネットワークを介して、前記他の情報処理装置が有する１以上の画像から前記合成用画像を検索してもよい。
このように、ネットワークを介して他の情報処理装置から合成用画像が検索されてもよい。これにより、多数の画像の中から、合成用画像としてより適切な画像を検索することが可能となる。
【００１３】
本技術の一形態に係る情報処理方法は、算出部が、入力された画像の表示範囲を算出することを含む。
設定部により、前記算出された表示範囲の少なくとも一部を含む包含範囲が設定される。
検索部により、前記入力画像と関連する合成用画像が検索される。
配置部により、前記検索された合成用画像が前記包含範囲に配置される。
判定部により、前記包含範囲内において、前記合成用画像が配置されない領域が画像不足領域として判定される。
通知部により、前記判定された画像不足領域に関する情報がユーザに通知される。
【００１４】
本技術の一形態に係るプログラムは、算出部と、設定部と、検索部と、配置部と、判定部と、通知部ととしてコンピュータを機能させる。
前記算出部は、入力された画像の表示範囲を算出する。
前記設定部は、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する。
前記検索部は、前記入力画像と関連する合成用画像を検索する。
前記配置部は、前記検索された合成用画像を前記包含範囲に配置する。
前記判定部は、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する。
前記通知部は、前記判定された画像不足領域に関する情報をユーザに通知する。
【００１５】
本技術の一形態に係る撮像装置は、撮像部と、算出部と、設定部と、検索部と、配置部と、判定部と、通知部とを具備する。
前記撮像部は、画像を撮像する。
前記算出部は、前記撮像された画像の撮影範囲を算出する。
前記設定部は、前記算出された撮影範囲の少なくとも一部を含む包含範囲を設定する。
前記検索部は、前記撮像画像と関連する合成用画像を検索する。
前記配置部は、前記検索された合成用画像を前記包含範囲に配置する。
前記判定部は、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する。
前記通知部は、前記判定された画像不足領域に関する情報をユーザに通知する。
【発明の効果】
【００１６】
以上、本技術によれば、パノラマ画像等の合成画像を操作性よく生成することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術の一実施形態に係る情報処理装置としてのサーバを含む、ネットワークシステムの構成例を示す模式的な図である。
【図２】図１に示す撮像装置のハードウェア構成の一例を示すブロック図である。
【図３】本実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。
【図４】図１に示す撮像装置の機能的な構成例を示すブロック図である。
【図５】図４に示す画像情報送信部により送信される画像ファイルの構造例を模式的に示す図である。
【図６】本実施形態に係るサーバの機能的な構成例を示すブロック図である。
【図７】図６に示す画像合成部の構成例を示すブロック図である。
【図８】本実施形態に係るサーバの動作を示すフローチャートである。
【図９】図８に示すステップを説明するための図である。
【図１０】本実施形態に係る撮影範囲の算出処理の一例を示すフローチャートである。
【図１１】図１０に示す撮影範囲の算出処理を説明するための図である。
【図１２】図１０に示す撮影範囲の算出処理を説明するための図である。
【図１３】図６に示す画像検索部による画像検索処理の一例を示すフローチャートである。
【図１４】図１３に示す画像検索処理を説明するための図である。
【図１５】図６に示す画像収集部による画像収集処理の一例を示すフローチャートである。
【図１６】図６に示す画像合成部により行われるパノラマ画像生成処理及び補間画像等を生成する処理を示すフローチャートである。
【図１７】図１６に示す倍率補正処理を説明するための図である。
【図１８】本実施形態に係る割り当てマップを示す模式的な図である。
【図１９】本実施形態に係る合成候補画像の割り当て処理を説明するための図である。
【図２０】本実施形態に係る技術により生成されたパノラマ画像を模式的に示す図である。
【図２１】本実施形態に係る不足領域画像を模式的に示す図である。
【図２２】図７に示す支援情報生成部により生成された支援情報の一例を模式的に示すテーブルである。
【図２３】図２１に示す画像不足領域が補間画像により補間された補間パノラマ画像を模式的に示す図である。
【図２４】図２１に示す画像不足領域をカバーする画像が撮像される際の、支援情報を用いた支援方法の一例を示す図である。
【図２５】図１に示すネットワークシステムの変形例を示す模式的な図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本技術の実施形態を説明する。
【００１９】
［ネットワークシステムの構成］
図１は、本技術の一実施形態に係る情報処理装置としてのサーバを含む、ネットワークシステムの構成例を示す模式的な図である。ネットワークシステム１００は、ネットワーク１０、当該ネットワーク１０に接続可能である撮像装置２００、本技術に係る情報処置装置としてのサーバ３００、及び他の情報処理装置としてのサーバ４００を有する。なお他の情報処理装置としてのサーバの数は限定されない。
【００２０】
ネットワーク１０は、例えばインターネット、ＷＡＮ（Wide Area Network）、ＷＷＡＮ（Wireless WAN：無線ＷＡＮ）、ＬＡＮ（Local Area Network）、ＷＬＡＮ（Wireless LAN：無線ＬＡＮ）、ホームネットワーク等、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等を標準プロトコルとするネットワークである。
【００２１】
［撮像装置のハードウェア構成］
図２は、撮像装置２００のハードウェア構成の一例を示すブロック図である。
【００２２】
撮像装置２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、フラッシュメモリ２０３、ディスプレイ２０４、タッチパネル２０５、通信部２０６、外部Ｉ／Ｆ（インタフェース）２０７、及びキー／スイッチ部２０８を有する。また撮像装置２００は、撮像部２０９、ＧＰＳ（Global Positioning System）モジュール２１０、及び方位センサ２１１を有する。
【００２３】
ＣＰＵ２０１は、撮像装置２００の各ブロックと信号をやり取りして各種演算を行い、画像の撮像処理やメタデータを含む撮像ファイルの生成処理等、撮像装置２００で実行される処理を統括的に制御する。
【００２４】
ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として用いられ、例えば撮像画像やメタデータ等のＣＰＵ２０１が処理する各種のデータや、アプリケーション等のプログラムを一時的に格納する。
【００２５】
フラッシュメモリ２０３は、例えばＮＡＮＤ型のものであり、各種の処理に必要なデータ、撮像画像等のコンテンツデータ、及びＣＰＵ２０１が実行する制御プログラム及びアプリケーション等の各種プログラムを記憶する。またフラッシュメモリ２０３は、アプリケーションが実行される際には、その実行に必要な各種データをＲＡＭ２０２へ読み出す。
【００２６】
上記した各種のプログラムは、例えばメモリカード等の図示しない他の記録媒体に記憶されていてもよい。また撮像装置２００は、当該フラッシュメモリ２０３に代わる、又は追加の記憶装置として、ＨＤＤ（Hard Disk Drive）等を有していてもよい。
【００２７】
ディスプレイ２０４は、例えばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）等である。ディスプレイ２０４には、例えば撮像画像や、そのサムネイル画像、又は撮影対象となるスルー画像等が表示される。またディスプレイ２０４には、撮影条件等を設定するためのＧＵＩ（Graphical User Interface）や、アプリケーション等を利用するためのＧＵＩ等が表示される。
【００２８】
図２に示すように、本実施形態のディスプレイ２０４はタッチパネル２０５と一体的に設けられる。タッチパネル２０５は、ユーザのタッチ操作を検出し入力信号をＣＰＵ２０１へ伝える。タッチパネル２０５の動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、電磁誘導方式、マトリクススイッチ方式、表面弾性波方式、赤外線方式等のその他の方式が用いられてもよい。
【００２９】
通信部２０６は、撮像装置２００を例えばＷＡＮ（ＷＷＡＮ）、イーサネット（登録商標）、ＬＡＮ（ＷＬＡＮ）等の上記ネットワーク１０へ各規格に準じて接続するためのインタフェースである。ＷＷＡＮへの接続に関して、通信部２０６は、例えば内蔵モジュールを有しているが、例えばＰＣカード等の他の通信機器が装着されて機能するものであってもよい。通信部２０６は、例えば、ＷＷＡＮ及びＷＬＡＮの各接続機能をユーザの操作に応じて切替えてアクティブ／非アクティブにすることが可能となっている。
【００３０】
外部Ｉ／Ｆ２０７は、例えばＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High-Definition Multimedia Interface）等の規格に基づいて、外部機器と接続するためのインタフェースである。この外部Ｉ／Ｆ２０７により、外部機器との間で、画像ファイル等の各種のデータを送信／受信することが可能となる。また外部Ｉ／Ｆ２０７は、例えばメモリースティック等の各種メモリカードと接続するためのインタフェースであってもよい。
【００３１】
キー／スイッチ部２０８は、例えば電源スイッチ、ショートカットキー等、特にタッチパネル２０５では入力できないユーザの操作等を受け付け、入力信号をＣＰＵ２０１へ伝える。
【００３２】
撮像部２０９は、図示しない撮像制御部、撮像素子及び撮像光学系を有する。撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等が用いられる。撮像光学系は、撮像素子の撮像面上に被写体像を結像させる。撮像制御部は、ＣＰＵ２０１からの指示に基づき、撮像素子を駆動し、撮像素子から出力される画像信号に対して信号処理を行う。また撮像制御部は、撮像光学系を制御することで、撮像される画像のズーム倍率を設定する。
【００３３】
撮像された画像データは、例えばＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式により圧縮され、ＲＡＭ２０２やフラッシュメモリ２０３へ保存されたり、外部Ｉ／Ｆ２０７を介して他の機器へ転送されたりする。また本実施形態では、画像データにＥｘｉｆ（Exchangeable Image File Format）で規定されたメタデータ（付加情報）が付加されている。すなわち画像データにメタデータが付加された画像ファイルが、ネットワーク１０を介してサーバ３００に送信される。
【００３４】
ＧＰＳモジュール２１０は、図示しないＧＰＳアンテナにより受信されたＧＰＳ信号に基づいて撮影位置情報を算出するものであり、算出された撮影位置情報をＣＰＵ２０１に出力する。この算出された撮影位置情報には、緯度、経度、高度等の撮影位置に関する各種のデータが含まれる。なお、撮影位置の情報を取得する方法として他の方法が用いられてもよい。例えば、周囲に存在する無線ＬＡＮによるアクセスポイントの情報をもとに、撮影位置情報が導き出されてもよい。また撮影位置情報に含まれる高度の情報は、例えば撮像装置２００に図示しない気圧計が設けられ、当該気圧計により高度が測定されることで生成されてもよい。
【００３５】
また例えば撮像装置２００に、図示しないジャイロセンサ等の角速度センサや加速度センサ等が設けられ、これらのセンサにより撮影位置情報が取得されてもよい。例えば高層ビルの谷間等ではＧＰＳ信号が受信できず、位置情報が算出できない場合がある。そのような場合に、ＧＰＳモジュール２１０により位置情報が算出可能な位置からの変位が角速度センサ等により算出される。このようにして、ＧＰＳ信号を受信できない位置の情報が取得されてもよい。
【００３６】
方位センサ２１１は、地磁気を利用して地球上における方位を計測するセンサであり、計測された方位をＣＰＵ２０１に出力する。例えば方位センサ２１１は、互いに直交する２軸のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）とを有する磁界センサである。ＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する素子であり、ＭＲ素子の抵抗変化が、２軸のコイルによって２方向の成分に分けられ、その２方向の成分の地磁気の比に基づいて方位が算出される。
【００３７】
本実施形態では、方位センサ２１１により、撮像装置２００の撮影方向の方位が計測される。この撮影方向は、撮影位置（例えば、撮像装置２００が存在する位置）から、撮像部２０９により生成された撮像画像内の被写体が存在する位置までの方向である。具体的には、撮影位置から撮像画像の中心にある被写体までの方向が、撮影方向として算出される。すなわち計測された撮像方向は、撮像部２０９の光軸方向に対応する。なお、撮影方向の情報を取得する方法として他の方法が用いられてもよい。例えば、上記したＧＰＳ信号に基づいて撮影方向の情報が取得されてもよい。また他の構成を有する方位磁針等が方位センサとして用いられてもよい。
【００３８】
撮像装置２００としては、例えばコンパクトデジタルカメラやデジタル一眼レフカメラ等の種々のカメラ、携帯電話機、スマートフォン、又は撮像機能を有する各種のＰＤＡ（Personal Digital Assistant）等が用いられる。
【００３９】
［サーバのハードウェア構成］
図３は、本実施形態に係る情報処理装置としてのサーバ３００のハードウェア構成の一例を示すブロック図である。本実施形態に係るサーバ３００は、ＰＣ（Personal Computer）等の典型的なコンピュータのハードウェア構成を有する。
【００４０】
図３に示すように、サーバ３００は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ（Read Only Memory）３０３、入出力インタフェース３０４、及び、これらを互いに接続するバス３０５を備える。
【００４１】
ＣＰＵ３０１は、必要に応じてＲＡＭ３０２等に適宜アクセスし、各種演算処理を行いながらサーバ３００の各ブロック全体を統括的に制御する。ＲＯＭ３０３は、ＣＰＵ３０１に実行させるＯＳ（Operating System）、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００４２】
入出力インタフェース３０４には、通信部３０６、表示部３０７、入力部３０８、記憶部３０９、ドライブ部３１０等が接続される。表示部３０７は、例えばＬＣＤ、ＯＥＬＤ、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部３０７は、サーバ３００に内蔵されていてもよいし、サーバ３００に外部接続されていてもよい。
【００４３】
入力部３０８は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部３０８がタッチパネルを含む場合、そのタッチパネルは表示部３０７と一体となり得る。
【００４４】
記憶部３０９は、例えばＨＤＤや、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部３０９には、上記ＯＳや各種アプリケーション、各種データが記憶される。本実施形態では、記憶部３０９に、後述するパノラマ画像の生成処理を制御するためのアプリケーション等のプログラムも記憶される。また記憶部３０９に、パノラマ画像の生成処理の際に検索される１以上の画像データがデータベースとして記憶されている。
【００４５】
ドライブ部３１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体３１１を駆動することが可能なデバイスである。これに対し上記記憶部３０９は、主にリムーバブルでない記録媒体を駆動する、サーバ３００に予め搭載されたデバイスとして使用される場合が多い。ドライブ部３１０により、リムーバブルの記録媒体３１１から、アプリケーションプログラム等が読み出されてもよい。
【００４６】
通信部３０６は、ネットワーク１０に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部３０６は、有線及び無線のどちらを利用して通信するものであってもよい。通信部３０６は、サーバ３００とは別体で使用されてもよい。
【００４７】
この通信部３０６により、サーバ３００は、撮像装置２００及び他のサーバ４００とネットワーク１０を介して接続可能となる。すなわち通信部３０６は、本実施形態に係る接続部として機能する。
【００４８】
他のサーバ４００も、図３に示すようなハードウェア構成と略同様の構成を有している。本実施形態では、サーバ３００及び４００の各記憶部に、１以上の画像データがデータベースとして格納されている。これらの画像データは、例えば撮像装置２００を操作するユーザからネットワーク１０を介して送信されて各記憶部に格納される。あるいは、他の不特定多数のユーザから、ネットワーク１０を介してサーバ３００又は４００に画像データが送信され、各記憶部に蓄積されてもよい。
【００４９】
図４は、本実施形態に係る撮像装置２００の機能的な構成例を示すブロック図である。図４に示す各機能ブロックは、図２に示すフラッシュメモリ２０３等に記憶されたプログラム等のソフトウェア資源と、ＣＰＵ２０１等の各ハードウェア資源とが協働することにより実現される。
【００５０】
図４に示す位置情報取得部２１２、ズーム倍率取得部２１３及び撮影方向取得部２１４により、撮像装置２００により画像が撮像される際の、撮影位置、ズーム倍率、撮影方向の各情報が撮像画像のメタデータとして、それぞれ取得される。また画像解析部２１５により、撮像された画像の解像度情報、色情報又は倍率情報等の画像情報や、焦点距離、絞り値、シャッター速度等のカメラの特性情報が取得される。その他、メタデータとして、日時、天候の情報等が取得される。なお天候情報等は、例えばネットワーク１０を介して天候の情報を提供するサーバ等から、日時情報をもとにして取得される。
【００５１】
上記したズーム倍率は、例えば、一般的な標準レンズの焦点距離５０ｍｍ（３５ｍｍ判）に対する撮影時の焦点距離の比率から算出される。例えば焦点距離１００ｍｍで撮影した場合、ズーム倍率は２倍となる。しかしながらズーム倍率の算出方法はこれに限られない。例えば画像解析部２１５により取得された焦点距離の情報をもとに、ズーム倍率が後ほど計算されてもよい。デジタルスチルカメラ等を用いた撮影時には焦点距離が記録されることが多く、この焦点距離を利用してズーム倍率情報が取得されてもよい。
【００５２】
撮像部２０９により撮像された画像データは、フラッシュメモリ２０３に記憶され、画像情報送信部２１６に出力される。この画像情報送信部２１６には、撮影位置、ズーム倍率、撮影方向の各情報、及びその他のメタデータも出力される。そして画像データに各メタデータが付加された画像ファイルが生成され、ネットワーク１０を介してサーバ３００に送信される。
【００５３】
図５は、画像情報送信部２１６により送信される画像ファイルの構造例を模式的に示す図である。画像ファイルは、メタデータ部２２０及びボディ部２３０を有する。メタデータ部２２０は、例えばヘッダといわれる領域に対応する。本実施形態では、このメタデータ部２２０に、位置情報や方向情報等のメタデータが格納される。ボディ部２３０には、レリーズ実行指示の発生タイミングに応じて画像信号から生成された画像データが格納される。
【００５４】
図４に示す不足領域画像（支援情報）受信部２１７は、後述する不足領域画像又は支援情報を、ネットワーク１０を介してサーバ３００から受信する。撮影アドバイス部２１８は、受信した不足領域画像や支援情報をもとに、パノラマ画像の生成に必要な画像を撮像するためのＧＵＩ等をディスプレイ２０４に表示させる。この処理については、後述する。
【００５５】
図６は、本実施形態に係る情報処理装置であるサーバ３００の機能的な構成例を示すブロック図である。図６に示す各機能ブロックは、図３に示す記憶部３０９等に記憶されたプログラム等のソフトウェア資源と、ＣＰＵ３０１等の各ハードウェア資源とが協働することにより実現される。
【００５６】
サーバ３００は、情報取得部３１２と、撮影範囲算出部３１３と、包含範囲設定部３１４と、画像検索部３１５と、画像収集部３１６と、画像合成部３１７とを有する。
【００５７】
情報取得部３１２は、撮像装置２００から送信された画像ファイルから画像情報、撮影位置情報、撮影方向情報、ズーム倍率情報等のメタデータを取得する。撮影範囲算出部３１３は、撮影位置情報等をもとに、入力された画像の表示範囲である撮影範囲を算出する。包含範囲設定部３１４は、算出された撮影範囲の少なくとも一部を含む包含範囲を設定する。
【００５８】
画像検索部３１５は、撮像画像をもとにした合成画像であるパノラマ画像を生成するための合成用画像を、サーバ３００の記憶部３０９等に格納された１以上の画像データから検索する。ここで合成用画像は、パノラマ画像を生成するために合成される画像と、当該合成される画像の候補となる合成候補画像とを含む。
【００５９】
画像収集部３１６は、ネットワーク１０を介して、他のサーバ４００が有する１以上の画像データから合成用画像を検索する。本実施形態では、画像検索部３１５及び画像収集部３１６が、入力された撮像画像と関連する合成用画像を検索する検索部として機能する。
【００６０】
図７は、図６に示す画像合成部３１７の構成例を示すブロック図である。画像合成部３１７は、割り当てマップ生成部３１８と、合成用画像割り当て部３１９と、不足領域判定部３２０と、合成画像生成部３２１と、補間画像生成部３２２と、不足領域画像生成部３２３と、支援情報生成部３２４とを有する。
【００６１】
割り当てマップ生成部３１８は、包含範囲に合成用画像を割り当てるための割り当てマップを生成する。合成用画像割り当て部３１９は、生成された割り当てマップをもとに、検索された合成用画像を包含範囲に配置する。合成用画像割り当て部３１９は、本実施形態に係る配置部として機能する。
【００６２】
不足領域判定部３２０は、包含範囲内において、合成用画像が配置されない領域を画像不足領域として判定する。補間画像生成部３２２は、画像不足領域を補間する補間画像を生成する。
【００６３】
合成画像生成部３２１は、配置された合成用画像又は補間画像を合成して、合成画像としてのパノラマ画像を生成する。
【００６４】
不足領域画像生成部３２３及び支援情報生成部３２４は、判定された画像不足領域に関する情報を生成する。不足領域画像生成部３２３は、画像不足領域が可視化された不足領域画像を生成する。支援情報生成部３２４は、判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報を生成する。不足領域画像データ及び支援情報は、サーバ３００の通信部３０６からネットワーク１０を介して撮像装置２００に出力される。不足領域画像生成部３２３、支援情報生成部３２４及び通信部３０６により、本実施形態に係る通知部が実現される。
【００６５】
［サーバの動作］
本実施形態に係る情報処理装置としてのサーバ３００の動作について説明する。図８は、サーバ３００の動作を示すフローチャートである。図９は、図８に示すステップを説明するための図である。
【００６６】
撮像装置２００の通信部２０６によりネットワーク１０を介して送信された画像ファイルが、サーバ３００の通信部３０６により受信される。これにより撮像装置２００により撮像された画像５０が、サーバ３００に入力される。
【００６７】
図６に示す情報取得部３１２により、画像情報、位置情報、方向情報、及び倍率情報等のメタデータが取得される（ステップ１０１）。撮影範囲算出部３１３により、メタデータに基づいて、撮像画像５０の撮影範囲５１が算出される（ステップ１０２）。
【００６８】
図１０は、本実施形態に係る撮影範囲５１の算出処理の一例を示すフローチャートである。図１１及び図１２は、その撮影範囲５１の算出処理を説明するための図である。
【００６９】
本実施形態では、撮影範囲５１の算出処理のために、撮影位置情報としての緯度及び経度の情報と、撮影方向情報と、カメラの特性情報に含まれる焦点距離の情報とが用いられる（ステップ２０１〜ステップ２０３）。
【００７０】
緯度及び経度の情報により、図１１及び図１２に示す撮影位置Ｐが判定される。撮影位置Ｐは撮像装置２００が存在する位置であるが、当該位置情報を補正することにより撮像光学系のレンズの位置が詳細に算出されてもよい。また撮像装置２００の位置（又はレンズの位置）から所定の範囲内の位置が、撮影位置Ｐとして定められてもよい。
【００７１】
撮影方向情報により、撮像装置２００の撮影方向、すなわち撮影位置Ｐからどの方向に向かって撮影が行われたかが判定される。本実施形態では、サーバ３００の記憶部３０９等に地図情報が記憶されており、撮影方向情報は東西南北により表現される。
【００７２】
当該撮影位置情報、撮影方向情報及び地図情報により、撮影対象である被写体が判定される。例えば地図情報が参照されることで、撮影位置Ｐから撮影方向に向けて存在する建物や自然物等が判定される。そして判定された被写体の中心点が特徴点Ｑとして設定される。なお、被写体の中心点ではなく、被写体となる建物等の特徴的な部分（例えば門等）の位置が特徴点Ｑとして設定されてもよい。
【００７３】
本実施形態では、撮像画像５０として、富士山が撮影された画像が用いられている。従って富士山の中心となる点が特徴点Ｑとして判定される。
【００７４】
例えば上記した富士山や東京スカイツリー等の有名な建物や観光スポット等が、特徴点Ｑの候補として予め設定されてもよい。すなわち被写体となる可能性が高い建物等が予め候補として設定されており、その中から被写体が選択されてもよい。あるいは撮影位置Ｐから撮影方向に向けて存在する建物や自然物等の情報が、ネットワーク１０を介して撮像装置２００に送信される。そしてユーザにより被写体の設定が行われてもよい。これにより、地図情報から、例えば被写体の候補として複数の建物等が判定された場合に、適切な被写体が設定される。
【００７５】
図１１及び図１２に示すように、特徴点Ｑを基準とした基準面Ｒが設定される。基準面Ｒは、撮影方向と垂直となるように設定される。基準面Ｒは、例えば特徴点Ｑの位置情報（緯度及び経度）を基準として設定される。
【００７６】
図１２に示すように、設定された基準面Ｒにおいて、撮像画像５０の撮影範囲５１が算出される。図１２には、撮像画像５０の左右方向（図９示すｘ方向）における撮影範囲５１のサイズｎが図示されている。
【００７７】
撮影範囲のサイズｎは、ｘ方向における撮像面Ｓのサイズｍ、焦点距離ｆ、撮影位置Ｐ、特徴点Ｑの位置、及び撮影位置Ｐと特徴点Ｑの位置との距離ｘの各情報を用いて算出される。撮像面Ｓのサイズｍの情報は、焦点距離ｆの情報とともにカメラの特性情報から取得される。距離ｘは、撮影位置Ｐ及び特徴点Ｑのそれぞれの緯度及び経度から算出される。なお本実施形態では、焦点距離ｆは、３５ｍｍフィルムを用いた場合における焦点距離に換算されている。
【００７８】
これらのパラメータを用いると、図１２に示す角度θについて以下の式が成り立つ。
【００７９】
【数１】
【００８０】
この結果をもとに、撮影範囲５１のサイズｎは、以下の式で表される。
【００８１】
【数２】
【００８２】
撮像画像５０の上下方向（図９に示すｙ方向）における撮影範囲５１のサイズも同様にして算出される。例えば撮像面Ｓの上下方向におけるサイズの情報が得られない場合等がある。このような場合には、撮影範囲５１の上下方向におけるサイズとして、左右方向の撮影範囲のサイズｎと略等しいサイズ、あるいはそれよりも若干大きいサイズが設定されてもよい。
【００８３】
このように本実施形態では、地図情報が参照されることで、撮像された画像の撮影範囲が算出される（ステップ２０４）。
【００８４】
図８のステップ１０３に示すように、包含範囲設定部３１４により、パノラマ画像６０の包含範囲６１が設定される。図９に示すように、包含範囲６１は、生成されるパノラマ画像６０の表示範囲に相当する。なお、図９はパノラマ画像６０の生成前の図であるが、説明を分かりやすくする為に、パノラマ画像６０の符号を図示している。
【００８５】
図９に示すように、本実施形態では、撮像画像５０が中心に位置するように包含範囲６１が設定される。まず、図８のステップ１０２で算出された撮像画像５０の撮影範囲５１のサイズをもとに、撮像画像５０の左上の点５２及び右下の点５３の緯度及び経度の情報が算出される。
【００８６】
撮像画像５０の解像度（ピクセル数）と、想定しているパノラマ画像６０の解像度（ピクセル数）の比率が算出される。例えば本実施形態では、撮像画像５０のサイズは、１６００×１２００（pixel）のＵＸＧＡ（UltraＸＧＡ）サイズとする。そして生成されるパノラマ画像６０のサイズは、６７００×２５００（pixel）とする。しかしながら本技術において両画像５０及び６０の各サイズは適宜設定可能である。
【００８７】
撮像画像５０及びパノラマ画像６０の各サイズの比率をもとに、包含範囲６１の左上の点６２及び右下の点６３の緯度及び経度の情報が算出される。点６２及び６３の緯度及び経度の情報は、撮像画像５０の点５２及び５３の緯度及び経度の情報から算出される。これにより、パノラマ画像６０の表示範囲である包含範囲６１が設定される。
【００８８】
撮像画像５０が中心に位置しないように包含範囲６１が設定されてもよい。すなわち撮像画像５０と、設定される包含範囲６１との相対的な位置関係は適宜設定可能である。また本実施形態では、撮影範囲５１の全体を含むように包含範囲６１が設定されたが、撮影範囲５１の全体ではなくて、少なくとも一部を含むように包含範囲６１が設定されてもよい。あるいは、例えば撮影範囲５１及び包含範囲６１に関する情報がネットワーク１０を介して撮像装置２００に送信される。そして撮影範囲５１及び包含範囲６１を示すＧＵＩが表示され、ユーザにより包含範囲６１の位置等が設定されてもよい。
【００８９】
本実施形態では、撮像画像５０及び包含範囲６１のそれぞれの左上の点（点５２、点６２）及び右下の点（点５３、点６３）について、緯度及び経度の情報が算出された。しかしながらこれらの点に限られず、例えば撮像画像５０及び包含範囲６１の四辺の各中点の緯度及び経度の情報がそれぞれ算出されてもよい。
【００９０】
図８のステップ１０４において、画像検索部３１５により、パノラマ画像６０を生成するための合成用画像が検索される。図１３は、画像検索部３１５による画像検索処理の一例を示すフローチャートである。図１４は、画像検索処理を説明するための図である。
【００９１】
合成用画像７０としては、その撮影範囲７１の少なくとも一部が包含範囲６１に含まれるような画像が検索される。そのような画像を検索するために、まず図１３に示すステップ３０１において、合成用画像７０として選択されるための条件となる領域情報が算出される。本実施形態では、領域情報として撮影位置情報及び撮影方向情報が用いられる。
【００９２】
領域情報は、包含範囲設定部３１４により設定された包含範囲６１をもとに算出される。例えば撮影位置情報としては、撮像画像５０の撮影位置Ｐと略等しい位置を示す位置情報が算出される。又は撮像画像５０の撮影位置Ｐから所定の範囲内の位置の位置情報が算出されてもよい。あるいは、図１１に示す特徴点Ｑ（富士山）の位置と撮影位置Ｐとをつなぐ線Ｔの近傍の位置を示す位置情報が算出されてもよい。
【００９３】
領域情報として算出される撮影方向情報は、例えば撮像画像５０の撮影位置Ｐと、包含範囲６１の左上の点６２及び右下の点６３について算出された緯度及び経度の情報に基づいて算出される。その他、包含範囲６１内の領域が撮像されている可能性がある合成用画像を取得するための、領域情報（位置情報及び方向情報）の設定方法は適宜設定可能である。
【００９４】
サーバ３００の記憶部３０９等に格納されている画像データベースから、上記した領域情報に合致もしくは近い位置情報及び方向情報を有する画像が取得される（ステップ３０２）。そして取得された１以上の画像から、ステップ３０３から以下の処理において、合成候補画像７５が選択される。
【００９５】
ステップ３０３において、全ての画像について、合成候補画像７５として採用可能か否かの確認作業が行われたかが判定される。確認作業が終了した場合（ステップ３０３のＹｅｓ）、画像検索処理は終了する。
【００９６】
確認作業が終了していない場合（ステップ３０３のＮｏ）、当該確認が済んでいない画像の撮影範囲７１が算出される（ステップ３０４）。撮影範囲７１は、例えば撮像画像５０の撮影範囲５１の算出処理と同様に算出されればよい。
【００９７】
算出された撮影範囲７１が、パノラマ画像６０となる包含範囲６１に含まれるか否かが判定される（ステップ３０５）。撮影範囲５１が包含範囲６１に含まれる場合（ステップ３０５のＹｅｓ）、当該画像は合成候補画像７５として採用される（ステップ３０６）。撮影範囲７１が包含範囲６１に含まれない場合（ステップ３０５のＮｏ）、当該画像は合成候補画像７５として採用されない（ステップ３０７）。
【００９８】
ステップ３０５において、検索された画像の撮影範囲７１が包含範囲６１にどの程度含まれるかについての閾値が設定され、当該閾値をもとに合成候補画像７５が選択されてもよい。閾値は、例えば包含範囲６１に含まれる領域のピクセル数について設定されてもよい。例えばパノラマ画像６０の全体のピクセル数の１０％以下のピクセル数等が閾値として設定されてもよい。
【００９９】
図８のステップ１０５において、画像検索部３１５により検索された合成候補画像７５をもって、パノラマ画像６０の生成に必要な合成用画像７０が全て取得されたかが判定される。例えば検索された合成候補画像７５のそれぞれの撮影範囲７１により、包含範囲６１全体がカバーされた場合に、パノラマ画像６０の生成に必要な合成用画像７０が全て取得されたと判定される。
【０１００】
この判定は、図１３のステップ３０１にて生成された領域情報と、検索された合成候補画像７５の位置情報及び方向情報とが参照されることで行われる。あるいは各合成候補画像７５の左上及び右下の点について、緯度及び経度の情報が算出される。そして当該緯度及び経度の情報に基づいて判定が行われてもよい。
【０１０１】
合成用画像７０が全て取得されていないと判定された場合（ステップ１０５のＮｏ）、画像収集部３１６により合成用画像７０が収集される（ステップ１０６）。図１５は、画像収集部３１６による画像収集処理の一例を示すフローチャートである。
【０１０２】
画像検索部３１５で取得することができなかった画像の領域情報が取得される（ステップ４０１）。すなわち包含範囲６１のカバーされていない領域のために必要な画像の領域情報が取得される。例えば領域情報は、包含範囲６１に対して必要な合成用画像７０の領域情報の算出処理（図１３のステップ３０１）と略同様に算出されればよい。
【０１０３】
算出された領域情報が、ネットワーク１０を介して他のサーバ４００に送信される。そしてサーバ４００において、記憶部等に格納されている画像データベースから、領域情報に合致もしくは近い位置情報及び方向情報を有する画像が取得される。取得された画像は、ネットワーク１０を介してサーバ３００に送信される。これによりサーバ３００は、他のサーバ４００からネットワーク１０を介して、撮像画像５０に関連する画像を取得する（ステップ４０２）。
【０１０４】
ステップ４０３〜ステップ４０７において、図１３に示すステップ３０３〜ステップ３０７と同様の処理が行われ、合成候補画像７５が選択される。
【０１０５】
図８に示すステップ１０７において、画像合成部３１７によりパノラマ画像６０が生成される。パノラマ画像６０は、画像検索部３１５により検索された、または画像収集部３１６により収集された合成用画像７０が合成されることで合成される。また画像合成部３１７により、補間画像、不足領域画像、及び支援情報が生成される。
【０１０６】
図１６は、画像合成部３１７により行われる上記パノラマ画像生成処理及び補間画像等を生成する処理を示すフローチャートである。図１７〜図２３は、図１６に示す各ステップを説明するための図である。
【０１０７】
撮像装置２００から送信された撮像画像５０と、合成候補画像７５の各倍率をそれぞれ補正する（ステップ５０１）。この処理は、撮像画像５０及び合成候補画像７５をつなぎ合わせてパノラマ画像６０を生成するために行われるものである。典型的には、合成候補画像７５の倍率が、撮像画像５０の倍率に合わせられる。
【０１０８】
図１７は、倍率補正処理を説明するための図である。図１７に示すように、例えば望遠により撮影された高倍率の画像が、合成候補画像７５として検索されたとする。そうすると撮像画像５０と合成候補画像７５とで、単位面積当たりに占める領域の割合が異なる。この単位面積当たりに占める領域の割合が同じになるように両画像５０及び７５の倍率をそれぞれ補正する。
【０１０９】
図１７に示すような場合では、合成候補画像７５に対して縮小処理が行われる（合成用画像７５’参照）。これにより単位面積当たりに占める領域が、撮像画像５０と略等しくなる。合成候補画像７５の倍率が撮像画像５０よりも低倍率である場合は、合成候補画像７５に対して拡大処理が行われる。この場合、拡大された合成候補画像７５の解像度（ピクセル数）が高くなるように変換されてもよい。
【０１１０】
図７に示す割り当てマップ生成部３１８により、包含範囲６１に合成候補画像７５を割り当てるための割り当てマップが生成される（ステップ５０２）。割り当てマップは、合成候補画像７５が配置される仮想的なキャンバスになるものである。
【０１１１】
図１８は、本実施形態に係る割り当てマップ８０を示す模式的な図である。割り当てマップ８０は、予め定められたサイズのブロック（配置領域）８１により、包含範囲６１を分割する。本実施形態では、縦に並ぶ５ブロック及び横に並ぶ７ブロックの３５個のブロック８１により包含範囲６１が分割される。図１８に示すように、中央のブロック８１ａには、撮像画像５０が配置される。
【０１１２】
合成用画像割り当て部３１９により、各ブロック８１に対して合成候補画像７５が割り当てられる（ステップ５０３）。図１９は、合成候補画像７５の割り当て処理を説明するための図である。
【０１１３】
本実施形態では、まず、割り当てマップ８０の中央のブロック８１ａに隣接するブロック８１に対して合成候補画像７５が割り当てられる。例えば図１９に示すように、中央ブロック８１ａの右隣に位置するブロック８１ｂに割り当てられる合成候補画像７５が選択される。例えば撮像画像５０の位置情報及び方向情報と、ブロック８１のサイズに基づいて、当該ブロック８１ｂに配置される条件としての領域情報（位置情報及び方向情報）が算出される。算出された領域情報に一致するか、それに近い位置情報及び方向情報を有する合成候補画像７５が選択される。
【０１１４】
次に、撮像画像５０と、選択された合成候補画像７５とでマッチング処理が行われる。図１９に示すように、撮像画像５０の右端領域５４と、選択された合成候補画像７５の左端領域７４とが、マッチング処理の対象となる。
【０１１５】
本実施形態では、右端領域５４及び左端領域７４において、各領域の輝度の勾配情報が算出され、その勾配情報に基づいてＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる局所特徴量が算出される。この局所特徴量が用いられることでマッチング処理が行われ、両領域５４及び７４がどの位置関係で、どの程度一致するかが判定される。例えば所定の閾値が設定され、両領域５４及び７４のマッチング結果が当該閾値以上の場合に、選択された合成候補画像７５が、実際に合成される合成用画像７０として改めて選択される。そして両領域５４及び７４が最もマッチする位置に、当該合成用画像７０が配置される。
【０１１６】
なお撮像画像５０と、合成候補画像７５とのマッチング処理においては、どのような方法が用いられてもよい。局所特徴量が用いられる場合に、上記したＳＩＦＴではないものが用いられてもよい。また局所特徴量が用いられないマッチング処理でもよい。例えば両領域５４及び７４を相対的に動かしながら各輝度値の相関係数が算出されることでマッチング処理が行われてもよい。
【０１１７】
図１９では、中央ブロック８１ａの下側に位置するブロック８１ｃに配置される合成用画像７０も図示されている。この場合は、撮像画像５０の下端領域と、合成候補画像７５の上端領域においてマッチング処理が行われる。以下、右隣のブロック８１ｂ及び下側のブロック８１ｃにそれぞれ隣接するブロック８１について、合成用画像７０の割り当て処理が行われる。
【０１１８】
図１６のステップ５０４では、所定のブロック８１において割り当てられる合成候補画像７５が複数あるか否かが判定される。例えば中央ブロック８１ａの右隣のブロック８１ｂにおいて、撮像画像５０とのマッチング結果が所定の閾値以上となる画像が複数存在したとする。この場合、ステップ５０５に進み、複数存在する合成候補画像７５の中から、最適な画像が合成用画像７０として配置される。
【０１１９】
例えば、輝度値の情報に基づき、撮像画像５０の色合いと最も近い合成用画像７０が配置される。撮像画像５０が撮像された時間帯、季節あるいは天候等により、同じ位置から同じ被写体を撮影したとしても、撮像画像５０の色合いはそれぞれ異なるものとなる。従って、色合いが近い合成用画像７０が配置されることで、高品質なパノラマ画像６０が生成される。各画像に付加された撮影日時、季節あるいは天候等のメタデータをもとに、最適な合成用画像７０が選択されてもよい。また例えばブレやボケのない画像、ノイズのない画像等の高品質な画像が合成用画像７０として選択されてもよい。これにより、高品質なパノラマ画像６０が生成される。
【０１２０】
ステップ５０３では、不足領域判定部３２０により、包含範囲６１内において、合成用画像７０が配置されない領域が画像不足領域として判定される。例えば割り当てマップ８０のブロック８１に関する領域情報に一致するか、それに近い合成候補画像７５が存在しない場合、当該ブロック８１が画像不足領域として判定されてもよい。又は上記マッチング処理の結果、合成用画像７０が配置されないブロック８１が画像不足領域として判定されてもよい。あるいは、例えば各ブロック８１に合成用画像７０がそれぞれ配置される場合でも、各合成用画像７０の位置によっては、合成用画像７０が配置されない領域が発生する場合がある。このような領域が画像不足領域として判定されてもよい。
【０１２１】
各ブロック８１において、合成候補画像７５の割り当て処理が行われると、配置された合成用画像７０に対して、色補正処理が行われる（ステップ５０６）。これにより例えば撮像画像５０の色合いをもとに、パノラマ画像６０全体の色合いが調整されて、高品質のパノラマ画像６０が生成される。
【０１２２】
ステップ５０７において、撮像画像５０と、各ブロック８１に配置された合成用画像７０とが、スティッチング処理により接続される。例えば、撮像画像５０及び合成用画像７０の境界が目立たないように、適宜位置合わせ処理や幾何学的な変処理が行われる。このようなスティッチング処理としては、上記した特徴量を用いるものや、相関係数を用いるもの等、いかなるものが用いられてよい。
【０１２３】
各ブロック８１に割り当てられた合成用画像７０により、包含範囲６１全体がカバーされた場合、すなわち画像不足領域が無いと判定された場合、図２０に示すような高品質なパノラマ画像６０が生成される。
【０１２４】
不足領域判定部３２０により、画像不足領域が有ると判定された場合、図７に示す不足領域画像生成部３２３、支援情報生成部３２４、及び補間画像生成部３２２により、不足領域画像、支援情報、及び補間画像がそれぞれ生成される（ステップ５００）。
【０１２５】
図２１は、不足領域画像を模式的に示す図である。本実施形態に係る不足領域画像９０では、画像不足領域９１を強調させるために、当該領域９１に色が付せられている。また画像不足領域９１を強調する強調画像９２として、当該領域９１を囲む楕円が表示される。画像不足領域９１を強調させるための色や強調画像９２としては、どのようなものが用いられてもよい。例えば、画像不足領域９１が発光するような不足領域画像９０が生成されてもよい。あるいは画像不足領域９１付近に、強調画像９２としてテキスト状の画像やマーク等が表示されてもよい。
【０１２６】
不足領域画像９０としては、例えば画像不足領域９１以外に配置された合成用画像７０がスティッチング処理により高精度に接続された画像が生成されてもよい。すなわち図２０に示すパノラマ画像６０と略等しいサイズ及び解像度を有する高品質な不足領域画像９０が生成されてもよい。
【０１２７】
あるいは不足領域画像９０として、パノラマ画像６０よりも解像度が小さい画像やサムネイル画像が生成されてもよい。またスティッチング処理は行われず、合成用画像７０が他の合成用画像７０と互いに重なるように配置されている画像が生成されてもよい。すなわち、画像不足領域９１の位置がユーザに認識できる範囲であれば、パノラマ画像６０よりも精度が低い画像が不足領域画像９０として生成されてもよい。これにより、ＣＰＵ３０１やＲＡＭ３０２等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。
【０１２８】
図２２は、支援情報生成部３２４により生成された支援情報の一例を模式的に示すテーブルである。支援情報は、不足領域判定部３２０により判定された画像不足領域９１に割り当てられる画像を撮像するための情報である。
【０１２９】
図２２に示すように、支援情報は、画像不足領域９１をカバーするために必要な撮影位置及び撮影方向の情報を少なくとも含む。その他、例えば、焦点距離、倍率、高度、日時、天候等の情報が、支援情報として生成されてもよい。
【０１３０】
図２３は、画像不足領域９１が補間画像９３により補間された補間パノラマ画像９５を模式的に示す図である。画像不足領域９１を補間する補間画像９３は、例えば画像不足領域９１の周囲に配置される画像の輝度情報や、当該画像に表された被写体の形状情報等をもとに生成される。または補間画像９３は、撮像画像５０の特徴点（富士山）の情報、日時又は天候等の情報をもとに生成される。または撮像装置２００のタッチパネル２０５を介したユーザの指示により補間画像９３が生成されてもよい。
【０１３１】
ここで図２１及び図２３の画像不足領域９１ａに注目する。この画像不足領域９１ａは、木を表示する補間画像９３ａにより補間されている。このような場合に、例えば画像不足領域９１ａの周囲に配置される画像等をもとにして補間画像９３を生成すると、木が表示されない補間画像９３が生成されてしまう可能性がある。従って、例えばユーザの指示により木の画像が付加された補間画像９３ａが生成されてもよい。一方、ユーザの指示により補間画像９３から不要なものが削除される処理が行われてもよい。
【０１３２】
本実施形態では、合成用画像７０及び補間画像９３は、ステップ５０６及び５０７において合成され、図２３に示す補間パノラマ画像９５が生成される。
【０１３３】
パノラマ画像６０、不足領域画像９０、支援情報、及び補間パノラマ画像９５は、ネットワーク１０を介してそれぞれ撮像装置２００に送信される。例えば不足領域画像９０が撮像装置２００のディスプレイ２０４に表示される。これによりユーザは、画像不足領域９１を視覚的に確認することが可能となり、パノラマ画像６０を完成させるのに必要な画像を容易に把握することができる。そして例えば富士山の付近に行って、撮像装置２００により画像不足領域９１をカバーする画像を撮像することができる。またはネットワーク１０を介して適当な画像を自ら検索してダウンロードすることができる。
【０１３４】
図２４は、画像不足領域９１をカバーする画像が撮像される際の、支援情報を用いた支援方法の一例を示す図である。図２４には、撮像装置２００のディスプレイ２０４と、ディスプレイ２０４に表示されたスルー画像２５０とが図示されている。ここで説明する支援処理は、図４に示す撮影アドバイス部２１８により実行される。
【０１３５】
本実施形態では、ディスプレイ２０４に表示されているスルー画像２５０の領域情報（位置情報及び方向情報）が取得される。そして取得されたスルー画像２５０の領域情報と、画像不足領域９１をカバーするための支援情報（位置情報及び方向情報）とが比較される。
【０１３６】
この結果、スルー画像２５０が画像不足領域９１をカバーする画像として撮像可能な場合に、ディスプレイ２０４にＯＫマークが撮像指示マーク２５１として表示される。ユーザは、この撮像指示マーク２５１が表示されたときに、撮像ボタンを押し撮像処理を実行させる。これにより、画像不足領域９１をカバーする画像が操作性よく簡単に撮像することが可能となる。撮像指示マーク２５１としては、ＯＫマークに限られず、種々のＧＵＩが表示されてよい。あるいは撮像を指示する旨の音声等が発せされてもよい。
【０１３７】
例えばディスプレイ２０４にスルー画像２５０が表示されている間、常に当該スルー画像２５０の領域情報が取得され、支援情報と比較されてもよい。あるいは、ユーザにより、スルー画像２５０が画像不足領域９１をカバーする画像として適正かどうかを確認するモードが選択される。そのときに、スルー画像２５０の領域情報が取得され、支援情報と比較されてもよい。
【０１３８】
また図２４に示すように、ディスプレイ２０４に表示されたスルー画像２５０上に、画像不足領域に対応する領域２５２を示すＧＵＩが表示されてもよい。これによりユーザは、操作性よく簡単に、パノラマ画像６０の生成に必要な画像を撮像することができる。
【０１３９】
以上本実施形態に係る情報処理装置であるサーバ３００では、撮像装置２００からネットワーク１０を介して入力された撮像画像５０の表示範囲である撮影範囲５１が算出される。また当該撮影範囲５１の少なくとも一部を含む包含範囲６１が設定される。そして撮像画像５０と関連する画像が合成用画像７０として検索され、包含範囲６１に配置される。この際、合成用画像７０が配置されない領域が画像不足領域９１として判定され、それに関する情報として、不足領域画像９０及び支援情報がネットワーク１０を介してユーザに通知される。従って上記通知をもとに画像不足領域９１に割り当てられる画像を容易に準備することが可能となり、これらの画像を合成することで、パノラマ画像６０等の合成画像を操作性よく生成することが可能となる。
【０１４０】
本実施形態では、撮像画像５０の撮影位置情報及び撮影方向情報に基づいた関連性により、合成用画像７０が選択され、当該合成用画像７０が包含範囲６１に配置された。これにより、パノラマ画像６０を高精度に生成することが可能となる。
【０１４１】
また本実施形態に係るサーバ３００では、画像不足領域９１を可視化した画像である不足領域画像９０が生成される。そして不足領域画像９０が、ネットワーク１０を介して撮像装置２００に送信され、ユーザに通知される。これにより、画像不足領域９１を視覚的に認識することができる。
【０１４２】
また本実施形態に係るサーバ３００では、画像不足領域９１に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報が、ユーザに通知される。これにより、画像不足領域９１に割り当てられる画像を容易に撮像することが可能となる。
【０１４３】
また本実施形態に係るサーバ３００では、画像不足領域９１を補間する補間画像９３が生成され、図２３に示す補間パノラマ画像９５が生成される。これにより、例えばパノラマ画像６０を生成するための画像が不足する場合でも、撮像画像５０を含む大面積の画像を生成することができる。
【０１４４】
また本実施形態に係るサーバ３００は、１以上の画像を有する他の情報処理装置であるサーバ４００と、ネットワーク１０を介して接続可能である。そして、ネットワーク１０を介して、当該サーバ４００が有する１以上の画像から合成用画像７０を検索することが可能である。これにより、本実施形態に係るサーバ３００が有する画像のみならず、他のサーバ４００が有する多数の画像の中から、合成用画像７０としてより適切な画像を検索することが可能となる。この結果、高品質のパノラマ画像６０を生成することが可能となる。
【０１４５】
本技術によれば、過去に撮像した撮像画像５０についても、サーバ３００に送信することにより、高品質のパノラマ画像６０を操作性よく生成することができる。
【０１４６】
＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【０１４７】
図２５は、図１に示すネットワークシステム１００の変形例を示す模式的な図である。図１に示すネットワークシステム１００では、ネットワーク１０に接続可能な撮像装置２００からサーバ３００に撮像画像５０が送信された。
【０１４８】
しかしながら図２５に示すネットワークシステム１００’のように、ユーザにより撮像装置２００’がＰＣ２９０に接続され、当該ＰＣ２９０を介してサーバ３００に撮像画像５０が送信されてもよい。これにより、ネットワーク通信機能を有さない撮像装置２００’により撮像された撮像画像５０を基準としたパノラマ画像が生成可能となる。
【０１４９】
また図１に示す撮像装置２００が、本技術の一実施形態として機能してもよい。すなわち撮像装置２００に、図６に示す情報取得部３１２、撮影範囲算出部３１３、包含範囲設定部３１４、画像検索部３１５、画像収集部３１６、及び画像合成部３１７が設けられてもよい。この場合、撮像装置２００により、フラッシュメモリ２０３等に格納された画像から合成用画像７０が検索される。また撮像装置２００により、サーバ４００が有する１以上の画像から合成用画像７０が収集されてもよい。
【０１５０】
同様に、図２５に示すＰＣ２９０が、本技術の一実施形態として機能してもよい。すなわちＰＣ２９０により合成用画像が検索されてパノラマ画像が生成されてもよい。なお図２５に示すネットワークシステム１００’では、ＰＣ２９０の表示部等に不足領域画像等が表示されてもよい。
【０１５１】
上記では、図６に示す画像検索部３１５により、サーバ３００の記憶部３０９から合成候補画像７５が検索された。そして必要な合成候補画像７５が全部取得されない場合に、画像収集部３１６により、ネットワーク１０を介して他のサーバ４００から合成候補画像７５が収集された。しかしながら、画像検索部３１５による検索結果にかかわらず、画像収集部３１６によりネットワーク１０を介して合成候補画像７５が収集されてもよい。これにより、合成候補画像７５として多数の画像を取得することが可能となり、その中から最適な画像を合成用画像７０として採用することができる。
【０１５２】
上記では、包含範囲に配置される合成用画像（合成候補画像）が検索される際に、領域情報（位置情報及び方向情報）が参照された。しかしながら撮像画像及び各サーバが有する画像に、被写体についてのタグ情報がメタデータとして付加されてもよい。そして当該タグ情報を参照することで、合成用画像が検索されてもよい。
【０１５３】
例えば図９等に示す撮像画像５０が撮像される際に、メタデータとして「富士山」を示すタグ情報が付加される。そしてサーバ３００又は４００が有する画像のうち「富士山」のタグ情報が付加された画像が、合成候補画像７５として検索される。タグ情報は、撮影位置情報及び撮影方向情報に基づいて被写体が判定されたときに付加されてもよい。あるいは、撮像装置２００のタッチパネル２０５へのユーザによる操作に基づいて付加されてもよい。このようなタグ情報が付加されることで、仮想的なデータベースが生成可能となり、以下のような場合においても操作性よくパノラマ画像が生成可能となる。
【０１５４】
例えば「山田さん」のような個人の家の中で撮影が行われ、当該撮像画像を基準としたパノラマ画像の生成が求められる場合がある。この場合、ＧＰＳモジュールの精度の限界により、あるいは地図情報から山田さんの家の情報が取得できないことにより、山田さんの家の中の画像を検索することが困難となる場合がある。このような場合に、撮像画像やサーバが有する画像に、「山田家」を示すタグ情報が付加されていると、当該タグ情報を参照することで容易に合成用画像を検索することができる。
【０１５５】
その他、合成用画像が検索される際に参照されるメタデータとして、どのようなデータが用いられてもよい。
【０１５６】
包含範囲に配置される合成用画像に例えばアフィン変換等の画像処理が施されてもよい。これにより被写体の撮影方向を調整することが可能となり、精度のよいパノラマ画像を生成することが可能となる。
【０１５７】
上記では合成画像としてパノラマ画像が生成された。しかしながら本技術により、合成画像として３Ｄ画像が生成されてもよい。例えば撮像装置により撮像された撮像画像の撮影範囲が算出される。そして当該撮影範囲を少なくとも含む包含範囲が設定される。この包含範囲は、３Ｄ画像を生成するために必要な合成用画像が配置される範囲であり、例えば撮像画像の被写体を周囲及び上下から見た場合の視界に相当する範囲である。すなわち包含範囲として、被写体の周囲（上下左右）に仮想的なキャンバスが設定される。そして設定された包含範囲に配置される合成用画像が位置情報等のメタデータを参照することで検索される。検索された合成用画像が合成されることで３Ｄ画像が生成されるが、この際に合成用画像が配置されない画像不足領域に関する情報がユーザに通知される。これにより高精度の３Ｄ画像を操作性よく生成することが可能となる。
【０１５８】
上記では、位置情報等のメタデータが付加された撮像画像がサーバに送信された。そしてメタデータをもとに被写体が判定され特徴点が設定された。しかしながら、メタデータが用いられずに、被写体が判定されてもよい。例えば撮像画像の輝度情報等から撮像された被写体の色や形状等が検出される。そして当該色や形状等の情報に基づいて、被写体が判定されてもよい。その他、種々の物体認識技術が採用可能である。これにより、メタデータが付加されていない撮像画像についても本技術を適用して操作性よくパノラマ画像等の合成画像を生成することが可能となる。
【０１５９】
また入力される画像は、撮像画像に限られない。例えば富士山を写生した絵がデジタル化され、その画像データが入力画像として入力されてもよい。そして当該デジタル画像の表示範囲が算出されてもよい。
【０１６０】
包含範囲に配置される合成用画像として、例えば撮像画像の撮影範囲を含むような大きい範囲が撮影された画像（例えば広角画像）が検索されてもよい。この場合、撮像画像の代わりに当該広角画像等が用いられてパノラマ画像が生成されてもよい。すなわち撮像画像が用いられずにパノラマ画像が生成されてもよい。この際、広角画像等の解像度が不十分な場合は、解像度変換処理により解像度が向上されてもよい。
【０１６１】
上記では、補間画像、不足領域画像、及び支援情報の３つが生成された。しかしながらこれらのうち１つが生成されてもよい。またこれらのうちのいずれか２つが生成されてもよい。
【０１６２】
上記では、撮像装置２００に撮影アドバイス部２１８が設けられた。しかしながら、不足領域画像９０や支援情報を生成するサーバ３００に撮影アドバイス部２１８に相当するブロックが設けられてもよい。すなわち、図２４に示すようなスルー画像２５０に対する処理や、撮像指示マーク２５１又は画像不足領域に対応する領域２５２のＧＵＩ等の生成処理等がサーバ３００により行われてもよい。
【０１６３】
なお、本技術は以下のような構成も取ることができる。
【０１６４】
（１）入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記配置部は、前記入力画像との関連性をもとに、前記合成用画像を前記包含範囲に配置する情報処理装置。
（３）前記（１）又は（２）に記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域を可視化して前記ユーザに通知する情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報をユーザに通知する情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記画像不足領域を補間する補間画像を生成する生成部をさらに具備する情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
１以上の画像を有する他の情報処理装置とネットワークを介して接続可能な接続部をさらに具備し、
前記検索部は、前記ネットワークを介して、前記他の情報処理装置が有する１以上の画像から前記合成用画像を検索する
情報処理装置。
（７）算出部が、入力された画像の表示範囲を算出し、
設定部が、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定し、
検索部が、前記入力画像と関連する合成用画像を検索し、
配置部が、前記検索された合成用画像を前記包含範囲に配置し、
判定部が、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定し、
通知部が、前記判定された画像不足領域に関する情報をユーザに通知する
情報処理方法。
（８）入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
としてコンピュータを機能させるプログラム。
（９）画像を撮像する撮像部と、
前記撮像された画像の撮影範囲を算出する算出部と、
前記算出された撮影範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記撮像画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する撮像装置。
【符号の説明】
【０１６５】
Ｐ…撮影位置
１０…ネットワーク
５０…撮像画像
５１…撮影範囲
６０…パノラマ画像
６１…包含範囲
７０…合成用画像
７５…合成候補画像
９０…不足領域画像
９１…画像不足領域
９３…補間画像
１００…ネットワークシステム
２００…撮像装置
２０６…通信部
２０９…撮像部
２９０…ＰＣ
３００…サーバ
３０６…通信部
３１２…情報取得部
３１３…撮影範囲算出部
３１４…包含範囲設定部
３１５…画像検索部
３１６…画像収集部
３１７…画像合成部
３２０…不足領域判定部
３２１…合成画像生成部
３２２…補間画像生成部
３２３…不足領域画像生成部
３２４…支援情報生成部
４００…他のサーバ
【特許請求の範囲】
【請求項１】
入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記配置部は、前記入力画像との関連性をもとに、前記合成用画像を前記包含範囲に配置する情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域を可視化して前記ユーザに通知する情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報をユーザに通知する情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記画像不足領域を補間する補間画像を生成する生成部をさらに具備する情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
１以上の画像を有する他の情報処理装置とネットワークを介して接続可能な接続部をさらに具備し、
前記検索部は、前記ネットワークを介して、前記他の情報処理装置が有する１以上の画像から前記合成用画像を検索する
情報処理装置。
【請求項７】
算出部が、入力された画像の表示範囲を算出し、
設定部が、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定し、
検索部が、前記入力画像と関連する合成用画像を検索し、
配置部が、前記検索された合成用画像を前記包含範囲に配置し、
判定部が、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定し、
通知部が、前記判定された画像不足領域に関する情報をユーザに通知する
情報処理方法。
【請求項８】
入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
としてコンピュータを機能させるプログラム。
【請求項９】
画像を撮像する撮像部と、
前記撮像された画像の撮影範囲を算出する算出部と、
前記算出された撮影範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記撮像画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する撮像装置。
【請求項１】
入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記配置部は、前記入力画像との関連性をもとに、前記合成用画像を前記包含範囲に配置する情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域を可視化して前記ユーザに通知する情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記通知部は、前記判定された画像不足領域に割り当てられる画像を撮像するための、少なくとも撮影位置及び撮影方向の情報を含む支援情報をユーザに通知する情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記画像不足領域を補間する補間画像を生成する生成部をさらに具備する情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
１以上の画像を有する他の情報処理装置とネットワークを介して接続可能な接続部をさらに具備し、
前記検索部は、前記ネットワークを介して、前記他の情報処理装置が有する１以上の画像から前記合成用画像を検索する
情報処理装置。
【請求項７】
算出部が、入力された画像の表示範囲を算出し、
設定部が、前記算出された表示範囲の少なくとも一部を含む包含範囲を設定し、
検索部が、前記入力画像と関連する合成用画像を検索し、
配置部が、前記検索された合成用画像を前記包含範囲に配置し、
判定部が、前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定し、
通知部が、前記判定された画像不足領域に関する情報をユーザに通知する
情報処理方法。
【請求項８】
入力された画像の表示範囲を算出する算出部と、
前記算出された表示範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記入力画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
としてコンピュータを機能させるプログラム。
【請求項９】
画像を撮像する撮像部と、
前記撮像された画像の撮影範囲を算出する算出部と、
前記算出された撮影範囲の少なくとも一部を含む包含範囲を設定する設定部と、
前記撮像画像と関連する合成用画像を検索する検索部と、
前記検索された合成用画像を前記包含範囲に配置する配置部と、
前記包含範囲内において、前記合成用画像が配置されない領域を画像不足領域として判定する判定部と、
前記判定された画像不足領域に関する情報をユーザに通知する通知部と
を具備する撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１６０９０４（Ｐ２０１２−１６０９０４Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１９１３８（Ｐ２０１１−１９１３８）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]