情報処理装置、情報処理方法、及びプログラム
【課題】被写体画像を仮想空間に配置して表示させる際に、被写体が撮像された環境等も容易に把握できる方法を提案する。
【解決手段】被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、を備え、前記表示制御部は、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【解決手段】被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、を備え、前記表示制御部は、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置は多機能化されており、例えば撮像装置で撮像された大量の写真画像を、サムネイル画像として並べて表示する技術が存在する。このような技術としては、例えば複数のサムネイル画像がマトリクス状に表示されるもののほか、下記の特許文献１に記載された技術が存在する。
【０００３】
特許文献１には、撮像位置、撮像距離、撮像方位に関する撮像情報に基づいて、撮像者の撮像地点の位置を表示領域内に設定し、該撮像地点に対する被写体の位置及び方位を判別可能とするように写真画像の配置位置を設定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７８８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、写真画像の閲覧性を向上させる観点等から、撮影情報に基づいて、写真画像を仮想空間内に配置して表示させる技術が提案されている。かかる技術によれば、ユーザは、仮想空間に配置された写真画像を見れば、被写体の撮像位置や撮像方位等を把握しやすい。
【０００６】
ところで、写真画像は、主に被写体を中心に撮像したものであり、被写体の周囲の状況は撮像されていないケースが多い。このため、被写体を撮像した写真画像を仮想空間に表示した際に、被写体の撮像位置等は把握できても、被写体がどのような環境下で撮像されたかは把握され難い。
【０００７】
本開示は、被写体画像を仮想空間に配置して表示させる際に、被写体が撮像された環境等も容易に把握できる方法を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、を備え、前記表示制御部は、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置が提供される。
【０００９】
また、本開示によれば、被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、を含む、情報処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータに、被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、を実行させるためのプログラムが提供される。
【００１１】
そして、本開示によれば、表示制御部は、仮想空間に被写体画像を描画する際に、広範囲画像も共に描画する。ここで、広範囲画像は、被写体の撮像位置を含み被写体を撮像する際の視野よりも広範囲の視野で撮像された画像であるので、ユーザは、被写体画像と共に描画された広範囲画像によって被写体が撮像された環境等を容易に把握することが可能となる。
【発明の効果】
【００１２】
以上説明したように本開示によれば、被写体画像を仮想空間に配置して表示させる際に、被写体が撮像された環境等も容易に把握することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態に係る画像表示システムの概略構成を示す図である。
【図２】一実施形態に係る画像表示システムの構成を示すブロック図である。
【図３】一実施形態に係る画像表示システムの構成の変形例を示すブロック図である。
【図４】一実施形態に係る撮像装置の詳細構成を示すブロック図である。
【図５】一実施形態に係る表示装置の詳細構成を示すブロック図である。
【図６】表示制御装置の機能構成を示すブロック図である。
【図７】回転雲台の回転角度と、撮像装置により撮像された被写体画像との関係を示す図である。
【図８】図７に示す回転角度で撮像された被写体画像が配置された仮想三次元空間を概念的に示す図である。
【図９】図８に示す仮想三次元空間を上方から捉えた図である。
【図１０】電子コンパスの方位と、回転雲台の回転角度との関係を示す図です。
【図１１】表示部又は大画面表示装置による被写体画像が配置された仮想三次元空間の表示例を示す図である。
【図１２】仮想三次元空間上の被写体画像とパノラマ画像の描画位置を説明するための図である。
【図１３】表示部又は大画面表示装置による被写体画像とパノラマ画像の表示例を示す図である。
【図１４】第１取得部から取得した被写体画像が、仮想三次元空間上に描画するまでの流れを説明するための模式図である。
【図１５】表示部又は大画面表示装置による被写体画像の表示例を示す図である。
【図１６】仮想三次元空間上の視点の移動を説明するための図である。
【図１７】仮想三次元空間上の被写体画像とパノラマ画像の表示処理を示すフローチャートである。
【図１８】仮想三次元空間上の視点の方位角等を説明するための図である。
【図１９】パノラマ画像と表示装置の表示画面の関係を示す図である。
【図２０】パノラマ画像と表示装置の表示画面の関係を示す図である。
【図２１】自動撮像された被写体画像の仮想三次元空間上の描画処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．画像表示システムの構成
２．撮像装置の構成
３．表示装置の構成
４．表示制御装置の構成
４−１．仮想三次元空間上の被写体画像の配置
４−２．仮想三次元空間上の被写体画像とパノラマ画像の表示
４−３．被写体画像の仮想三次元空間上の描画の流れ
４−４．視点移動に伴うパノラマ画像の切替表示
５．画像表示システムの動作
６．まとめ
【００１６】
＜１．画像表示システムの構成＞
図１及び図２を参照しながら、本開示の一実施形態に係る画像表示システム１０の構成について説明する。図１は、一実施形態に係る画像表示システム１０の概略構成を示す図である。図２は、一実施形態に係る画像表示システム１０の構成を示すブロック図である。
【００１７】
画像表示システム１０は、撮像された被写体画像を仮想空間の一例である仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示する。図１、図２に示すように、画像表示システム１０は、撮像装置２０と、回転雲台３０と、表示装置４０と、大画面表示装置５０とを有する。
【００１８】
撮像装置２０は、例えばデジタルスチルカメラであり、被写体を撮像する。撮像装置２０は、広範囲画像の一例であるパノラマ画像も撮像可能である。撮像装置２０は、例えばパーティ等の集まりの場において、自動的に回転（パン）・角度調整（チルト）・ズームを行なって被写体の顔を検出し、自動撮像する機能（パーティショット機能）を実行可能である。撮像装置２０は、撮像した画像を記憶部に記憶する。
【００１９】
回転雲台３０は、撮像装置２０が載置された状態で、３６０度回転可能な雲台である。回転雲台３０は、パン・チルト・ズームの各動き及び被写体の顔の自動追尾機能を有する。載置された撮像装置２０と回転雲台３０が接続されることで、上記のパーティショット機能が実現される。なお、回転雲台３０には、パノラマ画像を撮像するための操作部が設けられても良い。
【００２０】
撮像装置２０は、無線ネットワーク等を介して表示装置４０と通信を行うことが可能である。そして、撮像装置２０は、パーティショット機能で自動撮像した被写体画像（記憶部に記憶された被写体画像）を、表示装置４０に送信する。この際、撮像装置２０は、被写体画像と共に、被写体画像を撮像した際の回転雲台３０の回転角度等の情報も送信する。なお、撮像装置２０の詳細構成については、後述する。
【００２１】
表示装置４０は、表示画面に各種画像を表示する。撮像装置２０から受信した被写体画像（パーティショット機能で自動撮像された被写体画像）を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示する。表示装置４０は、仮想三次元空間を、表示装置４０の表示画面、又は、表示装置４０に接続された大画面表示装置５０に表示させる。なお、仮想三次元空間の詳細については、後述する。
【００２２】
大画面表示装置５０は、表示装置４０と接続され、データのやり取りを行う。大画面表示装置５０は、撮像装置２０で自動撮像された被写体画像が配置された仮想三次元空間を表示画面に表示する。
【００２３】
なお、上記では、撮像装置２０がデジタルスチルカメラであることとしたが、これに限定されない。撮像装置２０は、被写体を撮像する機能を有すれば良く、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等であっても良い。
【００２４】
また、上記では、表示装置４０は、仮想三次元空間に配置させる被写体画像を撮像装置２０から受信することとしたが、これに限定されない。例えば、表示装置４０は、図３に示すように、サーバ上に格納された被写体画像を受信し、受信した被写体画像を仮想三次元空間上に配置して表示させることとしても良い。
【００２５】
図３は、一実施形態に係る画像表示システム１０の構成の変形例を示すブロック図である。図３の変形例に係る撮像装置２０は、表示装置４０の代わりに、無線ネットワーク等を介してサーバ７０に自動撮像した被写体画像を送信する。サーバ７０は、撮像装置２０から受信した被写体画像を格納し、表示装置４０からの要求に応じて被写体画像を表示装置４０に送信する。
【００２６】
＜２．撮像装置の構成＞
図４を参照しながら、本開示の一実施形態に係る撮像装置２０の詳細構成について説明する。図４は、一実施形態に係る撮像装置２０の詳細構成を示すブロック図である。
【００２７】
図４に示すように、撮像装置２０は、制御部１１０と、表示部１２０と、撮像部１３０と、通信部１４０と、記憶部１５０と、入力部１６０と、電子コンパス１７０と、を有する。
【００２８】
制御部１１０は、撮像装置２０の各ブロックと信号をやり取りして各種演算を行い、撮像装置２０の動作全体を制御する。制御部１１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含む。
【００２９】
表示部１２０は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）であり、表示画面に各種画像を表示する。表示部１２０は、例えば撮像時のプレビュー画像を表示する。
【００３０】
撮像部１３０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等の撮像素子により、静止画（写真）や動画等の被写体画像を撮像する。撮像部１３０は、被写体の顔を検出する機能を有し、笑顔を検出した場合に被写体を自動撮像する。また、撮像部１３０は、パノラマ画像を撮像しうる。なお、撮像部１３０は、パーティショット機能の実行中は、複数の被写体画像を自動撮像する。
【００３１】
撮像部１３０は、被写体画像のみならず、撮像時刻や撮像位置の情報も取得可能である。撮像時刻は、撮像装置２０に内蔵された時計（不図示）から取得される。内蔵時計の時刻は、例えばＧＰＳ衛星からＧＰＳセンサ（不図示）により受信される時刻情報に基づいて補正されても良い。なお、時刻は、一日の中での時としてではなく、年月日の中での時の概念を含む。
【００３２】
通信部１４０は、例えばネットワークインタフェースカードやモデム等を有し、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して、他の機器との間で通信処理を行う。通信部１４０は、無線ＬＡＮモージュル、又はＷＷＡＮ（Wireless Wide Area Network）モージュルを有していても良い。通信部１４０は、撮像された被写体画像やパノラマ画像を他の機器（表示装置４０等）に送信する。
【００３３】
記憶部１５０は、例えばフラッシュメモリであり、撮像部１３０により撮像された被写体画像を記憶する。また、記憶部１５０は、制御部１１０が実行する制御プログラムを記憶する。
【００３４】
入力部１６０は、ユーザの操作を受け付け、入力信号を制御部１１０に出力する。入力部１６０は、例えば電源スイッチ、シャッターボタン等を含む。入力部１６０は、表示部１２０と一体的に設けられたタッチパネルを有しても良い。
【００３５】
電子コンパス１７０は、地球が発する地磁気を検知する磁気センサを有し、検知された地磁気に基づいて、撮像装置２０が向いている方向（方位）を算出する。電子コンパス１７０は、算出した撮像装置２０の方位を制御部１１０に出力する。
【００３６】
＜３．表示装置の構成＞
図５を参照しながら、本開示の一実施形態に係る表示装置４０の詳細構成について説明する。図５は、一実施形態に係る表示装置４０の詳細構成を示すブロック図である。
【００３７】
図５に示すように、表示装置４０は、制御部２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、入力部２５０と、外部Ｉ／Ｆ（インターフェース）２６０と、を有する。
【００３８】
制御部２１０は、表示装置４０の各ブロックと信号をやり取りして各種演算を行い、表示装置４０の動作全体を制御する。制御部２１０は、後述する仮想三次元空間への被写体画像の配置処理等を実行する。制御部２１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含む。
【００３９】
記憶部２２０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）であり、撮像装置２０から受信した被写体画像を記憶する。また、記憶部２２０は、制御部２１０が実行する制御プログラムを記憶する。
【００４０】
通信部２３０は、例えばネットワークインタフェースカードやモデム等を有し、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して、他の機器（撮像装置２０やサーバ７０）との間で通信処理を行う。通信部２３０は、撮像装置２０又はサーバ７０（撮像装置２０等とも呼ぶ）から、撮像装置２０により自動撮像された被写体画像を受信する。
【００４１】
表示部２４０は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）である。表示部２４０は、通信部２３０が撮像装置２０から受信した被写体画像を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示画面に表示する。
【００４２】
入力部２５０は、例えば表示部２４０と一体的に設けられたタッチパネルである。入力部２５０は、例えば画像表示アプリケーションの実行により画像やＧＵＩ（Graphical User Interface）が表示された状態で、ユーザのタッチ操作を検出し、制御部２１０に出力する。また、タッチパネルは、画像表示アプリケーションの実行中に、ユーザが画像を選択して全画面表示をしたり、視点を移動（ズームイン、ズームアウト）したりするのに用いられる。
【００４３】
外部Ｉ／Ｆ２６０は、例えばＨＤＭＩ（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）等の各種規格に準じて、外部機器（例えば、大画面表示装置５０）と接続し、データのやり取りを行う。例えば、表示装置４０は、外部Ｉ／Ｆ２６０を介して、大画面表示装置５０の表示画面に表示させる被写体画像やパノラマ画像を送信する。
【００４４】
＜４．表示制御装置の構成＞
図６を参照しながら、画像表示システム１０において画像表示を制御する情報処理装置の一例である表示制御装置３００の機能構成について説明する。図６は、表示制御装置３００の機能構成を示すブロック図である。
【００４５】
表示制御装置３００は、撮像装置２０によって撮像された被写体画像とパノラマ画像の表示装置４０の表示部１２０又は大画面表示装置５０の表示画面への表示を制御する。図６に示すように、表示制御装置３００は、第１取得部３１０と、第２取得部３２０と、表示制御部３３０と、操作受付部３４０とを有する。なお、第１取得部３１０、第２取得部３２０、表示制御部３３０、操作受付部３４０は、例えば表示装置４０の制御部２１０により構成される。
【００４６】
第１取得部３１０は、被写体を撮像した被写体画像を取得する。例えば、第１取得部３１０は、撮像装置２０又はサーバ７０から被写体画像を取得する。被写体画像は、回転自在な回転雲台３０に載置され回転雲台３０の回転に連動して回転する撮像装置２０によって撮像されている。なお、撮像装置２０によって複数の被写体画像が自動撮像された場合には、複数の被写体画像を順次取得する。
【００４７】
第１取得部３１０は、被写体画像を取得する際に、被写体画像の撮像位置を示す第１撮像位置情報を取得する。また、第１取得部３１０は、被写体画像を取得する際に、被写体画像の撮像時刻を示す第１撮像時刻情報も取得可能である。第１取得部３１０は、被写体画像と第１撮像時刻情報と第１撮像位置情報を対応付けて取得する。第１取得部３１０は、取得した被写体画像、第１撮像時刻情報、第１撮像位置情報を表示制御部３３０に出力する。
【００４８】
第２取得部３２０は、被写体の撮像位置を含み被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像の一例であるパノラマ画像を取得する。パノラマ画像も、回転雲台３０の回転に連動して回転する撮像装置２０によって撮像されている。第２取得部３２０は、撮像装置２０によって複数のパノラマ画像（例えば、撮像時刻が異なる複数のパノラマ画像）が自動撮像された場合には、複数のパノラマ画像を取得する。
【００４９】
第２取得部３２０は、パノラマ画像を取得する際に、パノラマ画像の撮像時刻を示す第２撮像時刻情報と、パノラマ画像の撮像位置を示す第２撮像位置情報も取得する。第２取得部３２０は、取得したパノラマ画像、第２撮像時刻情報、第２撮像位置情報を表示制御部３３０に出力する。
【００５０】
表示制御部３３０は、第１取得部３１０から入力された被写体画像と、第２取得部３２０から入力されたパノラマ画像の、表示装置４０の表示部１２０又は大画面表示装置５０の表示画面への表示を制御する。また、表示制御部３３０は、仮想三次元空間を画像化して、表示部１２０又は大画面表示装置５０の表示画面に表示させる。
【００５１】
（４−１．仮想三次元空間上の被写体画像の配置）
以下では、説明の便宜上、大画面表示装置５０の表示画面に仮想三次元空間が表示されるものとして説明する。また、仮想三次元空間上に配置される被写体画像は、パーティショット機能で自動撮像された被写体画像であるものとする。
【００５２】
仮想三次元空間は、空間内の基準点（例えば、ユーザの視点）を中心とする円の半径方向に撮像時刻に対応する時間軸を有し、かつ円の円周方向に撮像位置に対応する方位軸を有する仮想の空間である。そして、表示制御部３３０は、画像化される仮想三次元空間の、第１取得部３１０により取得された第１撮像時刻情報及び第１撮像位置情報に基づいた描画位置に、被写体画像を描画する。
【００５３】
以下において、仮想三次元空間上で被写体画像をどのように描画するかについて、具体的に説明する。
【００５４】
図７は、回転雲台３０の回転角度と、撮像装置２０により撮像された被写体画像との関係を示す図である。前述したように、撮像装置２０は、パーティショット機能で回転雲台３０に載置され回転雲台３０の回転に連動して回転しながら、被写体を自動撮像する。図７では、回転雲台３０の回転角度（パン角）が基準となる北向きから反時計方向に角度αである場合に被写体画像Ｉ１が撮像され、回転角度が０度である場合に被写体画像Ｉ２が撮像され、回転角度が時計方向に角度βである場合に被写体画像Ｉ３が撮像されるものとする。
【００５５】
図８は、図７に示す回転角度で撮像された被写体画像が配置された仮想三次元空間を概念的に示す図である。図９は、図８に示す仮想三次元空間を上方から捉えた図である。仮想三次元空間は、図８に示すように、観測者（撮像装置２０のユーザの視点）を中心として同心円を描き、同心円の半径方向を奥行き、同心円の円周方向を方位に対応させ、３６０°の広がりを持った半球状の空間である。
【００５６】
表示制御部３３０は、仮想三次元空間内に自動撮像された複数の被写体画像を撮像時刻及び撮像位置を反映させた位置に配置させる。図８、図９に示すように、図７に示す回転雲台３０の回転角度に応じた位置に、被写体画像Ｉ１〜Ｉ３が配置される。なお、図９では、角度０°の方向が北を示し、角度９０°の方向が東を示す。また、円の中央に位置する目の画像は、視点を示す。
【００５７】
上記では、被写体画像の撮像位置が、回転雲台３０の回転角度に応じて設定されている。ところで、撮像装置２０は、前述したように電子コンパス１７０を有しており、電子コンパス１７０により取得された絶対方位と、回転雲台３０の回転角度に応じて、被写体画像の撮像位置が設定されても良い。
【００５８】
図１０は、電子コンパス１７０の方位と、回転雲台３０の回転角度との関係を示す図です。第１取得部３１０は、自動撮像された被写体画像を取得する際に、撮像時の回転雲台３０の回転角度の情報（図１０（ｂ）に示す０°〜３５９°の角度情報）も関連付けて取得する。また、第１取得部３１０は、被写体画像を取得する際に、電子コンパス１７０によって測定された撮像時の絶対方位の情報（図１０（ａ）に示す方位）も関連付けて取得する。
【００５９】
この２つの情報を活用するために、表示制御装置３００は、撮像開始時に、回転雲台３０の初期角度と電子コンパス１７０の絶対方位の差を示すオフセット角度（図１０（ｃ）に示すオフセット角度α）を決定する。そして、表示制御装置３００は、電子コンパス１７０にはゆらぎがあるため、オフセット角度αと回転雲台３０の回転角度とを加えた角度を、撮像装置２０の撮像方位として採用する。これにより、より高精度に撮像方位を決定できる。
【００６０】
図１１は、表示部１２０又は大画面表示装置５０による被写体画像が配置された仮想三次元空間の表示例を示す図である。図１１に示すように、表示制御部３３０は、仮想三次元空間をユーザの視点から見た風景となるように描画して表示する。図１１において、仮想三次元空間の横軸が方位に、縦軸が高度に、奥行き軸が時間に、それぞれ対応する。すなわち、横軸が、撮像装置２０の現在位置から見た被写体画像が撮像された場所の方位を示す。奥行き軸は、現在時刻から見た被写体画像が撮像された時刻を示す。縦軸は、被写体画像が撮像された場所の地表からの高度を示す。
【００６１】
なお、高度情報が被写体画像と共に記録されていない場合には、高度は０とされ、被写体画像は地表（仮想三次元空間の底面）に沿って配置される。また、奥行き方向への被写体画像の配置間隔は、例えば１時間間隔、１日間隔等の固定間隔であっても良いし、例えば１時間、１日、１年、１０年等、視点からの距離が大きくなるに従って間隔が指数関数的に大きくなるような可変間隔であっても良い。
【００６２】
図１１においては、撮像時刻が異なり、かつ撮像された方位も異なる５個の被写体画像Ｉ１〜Ｉ５が、仮想三次元空間上に配置されて２次元画像として表示されている。また、図１１に示す仮想三次元空間は、奥行き方向に遠近感を有しており、現在位置からの被写体画像の距離に応じて、被写体画像の大きさが異なる。すなわち、現在位置に最も近い被写体画像Ｉ１が最も大きく、現在位置から最も離れた被写体画像Ｉ５が最も小さい。なお、仮想三次元空間が、奥行き方向に遠近感を有さず、被写体画像Ｉ１〜Ｉ５の大きさが同じ大きさであっても良い。このように表示することで、ユーザは、複数の被写体画像の撮像位置や撮像時刻の関係が容易に把握できる。
【００６３】
（４−２．仮想三次元空間上の被写体画像とパノラマ画像の表示）
図６に戻って、説明を続ける。表示制御部３３０は、被写体の自動撮像時の撮像環境を容易に把握できるように、被写体画像を仮想三次元空間の描画位置に描画する際に、第２取得部３２０で取得されたパノラマ画像も共に描画する。
【００６４】
具体的には、表示制御部３３０は、画像化して表示される仮想三次元空間の背景部分に、パノラマ画像を描画する。また、表示制御部３３０は、被写体画像とパノラマ画像の撮像方位が同期するように、第２取得部で取得された第２撮像位置情報に基づいてパノラマ画像を描画する。
【００６５】
ここで、図１２を参照しながら、仮想三次元空間上の被写体画像とパノラマ画像の表示について、具体的に説明する。図１２は、仮想三次元空間上の被写体画像とパノラマ画像の描画位置を説明するための図である。
【００６６】
図１２に示すように、表示制御部３３０は、仮想三次元空間に被写体画像Ｐ１、Ｐ２を配置して描画すると共に、パノラマ画像Ｑも描画する。ここで、パノラマ画像は、仮想三次元空間の外周から上方に延びた面上に配置される。この際、表示制御部３３０は、仮想三次元空間上でパノラマ画像と被写体画像の撮像方位が同期するように、パノラマ画像と被写体画像を描画する。
【００６７】
図１３は、表示部１２０又は大画面表示装置５０による被写体画像とパノラマ画像の表示例を示す図である。図１３に示すように、表示画面Ｓの下方の仮想三次元空間の底面上に被写体画像Ｉ１〜Ｉ５が描画され、表示画面Ｓの上方の仮想三次元空間の背景部分にパノラマ画像Ｉａが描画されている。パノラマ画像と被写体画像は分けて描画されているので、描画されたパノラマ画像をユーザが認識しやすい。また、図１３に示すように、表示画面Ｓに描画されるパノラマ画像Ｉａは、表示画面のサイズに対応した第２取得部３２０が取得したパノラマ画像Ｑの一部である。
【００６８】
このように、被写体画像に加えて、仮想三次元空間の背景部分にパノラマ画像を配置させて表示することで、被写体が自動撮像された撮影環境の知覚しやすくなる。特に、撮像される被写体画像は被写体の顔を中心に撮像されるため、被写体画像で占める被写体の顔の面積が大きい。このため、被写体画像のみを表示させると被写体以外の部分（例えば、撮像された背景）を把握し難いが、背景部分にパノラマ画像を表示することで、被写体撮像時の撮像環境を容易に把握できる。
【００６９】
（４−３．被写体画像の仮想三次元空間上の描画の流れ）
図６に戻って、説明を続ける。表示制御部３３０は、被写体画像の撮像位置に対応した方位に仮想三次元空間を回転表示させ、被写体画像を、回転表示された仮想三次元空間の描画位置に描画する。
【００７０】
具体的には、表示制御部３３０は、被写体画像を所定時間だけ拡大表示させた後に、被写体画像を非表示にした状態で仮想三次元空間を回転表示させ、仮想三次元空間の回転表示後に、被写体画像を再度表示させて描画位置に描画する。また、表示制御部３３０は、被写体画像を、回転表示された仮想三次元空間上でバウンドさせた後に描画位置に描画する。
【００７１】
ここで、図１４を参照しながら、表示制御部３３０が、第１取得部３１０から取得した被写体画像を、仮想三次元空間上に描画するまでの流れを説明する。図１４は、第１取得部３１０から取得した被写体画像が、仮想三次元空間上に描画されるまでの流れを説明するための模式図である。
【００７２】
表示制御部３３０は、第１取得部３１０から被写体画像が入力されると、表示画面Ｓ１に示すように、一つの被写体画像Ｉ１を大きいサイズで所定時間だけ表示する。このように大きいサイズで被写体画像Ｉ１が表示されることで、自動撮像された画像であることを知覚しやすい。
【００７３】
表示制御部３３０は、所定時間が経過すると、表示画面Ｓ２に示すように、被写体画像Ｉ１を画面外に向けてスライドさせる。これにより、被写体画像Ｉ１が、画面から消える。ここでは、被写体画像Ｉ１は、画面の上側にスライドアウトしている。
【００７４】
表示制御部３３０は、被写体画像Ｉ１がスライドアウトされた後に、被写体画像Ｉ１の撮影方位となるように、表示画面Ｓ３に示すように仮想三次元空間を回転させて表示する（すなわち、表示画面をスクロールする）。そして、表示制御部３３０は、仮想三次元空間の回転表示後、表示画面Ｓ４に示すように、仮想三次元空間内に被写体画像Ｉ１を落とす（下方へスライドする）表示を行う。
【００７５】
ここで、仮想三次元空間が回転するので、表示画面Ｓ４の被写体画像Ｉ１の背景部分と、表示画面Ｓ１、Ｓ２の被写体画像Ｉ１の背景部分の画像が異なる。このように、仮想三次元空間を回転させて表示することで、被写体画像が、回転雲台３０上に載置され回転する撮像装置２０によって撮像されたことを知覚できる。
【００７６】
更に、表示制御部３３０は、被写体画像Ｉ１を仮想三次元空間の底面の描画位置上でバウンドさせる演出を行う。このような演出を行うことで、被写体画像Ｉ１の撮像位置を視覚的に把握しやすくなる。
【００７７】
図１５は、表示部１２０又は大画面表示装置５０による被写体画像の表示例を示す図である。図１５の表示画面Ｓ１に示すように、被写体画像Ｉ１が大きさサイズで表示されている。この際、表示制御部３３０は、コメントが記載された吹出しＧを表示させても良い。コメントは、例えば被写体画像Ｉ１の被写体に対する第三者の客観的なコメントである。コメントは、被写体画像Ｉ１の被写体のコメントであっても良い。図１５の表示画面Ｓ５には、仮想三次元空間の回転表示後に被写体画像Ｉ１が描画位置に描画されている状態が示されている。
【００７８】
（４−４．視点移動に伴うパノラマ画像の切替表示）
図６に戻って、説明を続ける。操作受付部３４０は、表示画面に表示された仮想三次元空間において、ユーザの視点の仮想三次元空間の移動操作を受け付ける。例えば、操作受付部３４０は、表示装置４０の入力部２５０（タッチパネル）によるタッチ操作を検知することで、仮想三次元空間において視点の仮想三次元空間の時間軸上の移動操作を受け付ける。
【００７９】
表示制御部３３０は、操作受付部３４０が受け付けた視点の移動操作に応じて、パノラマ画像を切替えて描画する。例えば、表示制御部３３０は、移動した視点の時間軸上の位置に対応した撮像時刻に撮像されたパノラマ画像に切替えて描画する。これにより、撮像時刻に応じた撮像風景を把握できる。なお、切替描画されるパノラマ画像は、予め所定間隔で撮像されていても良く、またシーンが切り替わる度に撮像されていても良い。
【００８０】
ここで、図１６を参照しながら、仮想三次元空間上の視点移動に伴うパノラマ画像の切替表示について説明する。図１６は、仮想三次元空間上の視点の移動を説明するための図である。
【００８１】
図１６では、仮想三次元空間の時間軸である半径方向において、ユーザが視点を上方へ移動させると、表示制御部３３０は、現在表示されているパノラマ画像よりも所定時間前に撮像されたパノラマ画像に表示を切り替える。このように、仮想三次元空間上の視点移動に応じてパノラマ画像を切替えることで、描画されるパノラマ画像の時間変化を知覚できる。
【００８２】
なお、上記では、仮想空間として、円の円周方向に方位軸を、円の半径方向に時間軸を有する仮想三次元空間を例に挙げて説明したが、これに限定されない。例えば、仮想空間は空間内の基準点を中心とする円の円周方向に被写体画像の撮像位置に対応する方位軸を有すればよく、半径方向は時間軸以外の軸（例えば、距離の軸）であっても良い。
【００８３】
＜５．画像表示システムの動作＞
（仮想三次元空間上の被写体画像とパノラマ画像の表示処理）
図１７〜図１９を参照しながら、仮想三次元空間上の被写体画像とパノラマ画像の表示処理について説明する。
【００８４】
図１７は、仮想三次元空間上の被写体画像とパノラマ画像の表示処理を示すフローチャートである。図１８は、仮想三次元空間上の視点の方位角等を説明するための図である。図１９は、パノラマ画像と表示画面の関係を示す図である。図１７に示すフローチャートは、撮像装置２０によって被写体画像とパノラマ画像が撮像されたところから開始される。
【００８５】
本処理は、ＣＰＵがＲＯＭに格納されているプログラムを実行することによって、実現される。なお、実行されるプログラムは、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。
【００８６】
まず、表示制御部３３０は、第２取得部３２０が撮像装置２０から取得したパノラマ画像を読み込む（ステップＳ１０２）。そして、表示制御部３３０は、図１９（ｂ）に示すパノラマ画像のサイズ（Pixel）、開始方位角startBearingを取得する（ステップＳ１０４）。
【００８７】
次に、表示制御部３３０は、描画される仮想三次元空間を回転し、表示する視点の方位角λ（図１８）を更新する（ステップＳ１０６）。そして、表示制御部３３０は、現在の仮想空間の方位角λに基づいて、表示画面上への表示角度を計算する（ステップＳ１０８）。
【００８８】
次に、表示制御部３３０は、仮想三次元空間を回転し、表示する視点の方位角λを取得する（ステップＳ１１０）。図１８では、視点は東を向いており、方位角λは９０°である。
【００８９】
次に、表示制御部３３０は、仮想三次元空間の背景部分にパノラマ画像を描画する（ステップＳ１１２）。ここで、パノラマ画像を描画する際の計算方法について、図２０を参照しながら説明する。図２０は、パノラマ画像と表示装置の表示画面の関係を示す図である。
【００９０】
まず、図１９（ａ）に示す視点の視野１度あたりのPixel数（pixPerAngleEye）は、下記の式で求められる。
pixPerAngleEye = devWidth / α
【００９１】
また、図１９（ｂ）に示すパノラマ画像の視野１度あたりのPixel数（pixPerAnglePano）は、下記の式で求められる。
pixPerAnglePano = panoWidth / β
【００９２】
すると、パノラマ画像の表示画面の座標系への変換係数（convCoefficients）は、下記の式で求められる。
convCoefficients = pixPerAngleEye / pixPerAnglePano
【００９３】
そして、表示画面にパノラマ画像を配置するときに、図２０に示すパノラマ画像の左端の座標drawLeftは、表示画面中心の座標をdevWidth/2 とし、パノラマ画像の開始方位角startBearingと視点の方位角λから、下記の式で求められる。
drawLeft=(devWidth /2)+ (startBearing - λ) * pixPerAngleEye
【００９４】
同様に、図２０に示すパノラマ画像の右端の座標drawRightは、下記の式で求められる。
drawRight= drawLeft + panoWidth * convCoefficients
【００９５】
また、パノラマ画像の上端の座標drawTopと、下端drawButtomは、それぞれ下記の式で求められる。
drawTop = 0
drawButtom= panoHeight * convCoeffients
上記の計算結果に基づいて、パノラマ画像が描画される。
【００９６】
図１７に戻って説明を続ける。表示制御部３３０は、仮想三次元空間の所定の描画位置に被写体画像を描画する（ステップＳ１１４）。これにより、例えば図１３に示すように、仮想三次元空間上にパノラマ画像と被写体画像が共に表示され、被写体画像が撮像された環境を容易に把握できる。
【００９７】
（被写体画像の仮想三次元空間上の描画処理）
図２１を参照しながら、自動撮像された被写体画像を仮想三次元空間上に配置する描画処理について説明する。図２１は、自動撮像された被写体画像の仮想三次元空間上の描画処理を示すフローチャートである。本フローチャートは、撮像装置２０によって被写体画像が自動撮像されたところから開始される。
【００９８】
第１取得部３１０は、自動撮像された被写体画像を受信し（ステップＳ２０２）、受信した被写体画像を記憶部のキューに格納する（ステップＳ２０４）。ここで、第１取得部３１０は、複数の被写体画像を受信するものとする。
【００９９】
次に、表示制御部３３０は、キューから画面（仮想三次元空間）に表示する被写体画像を一つ取り出す（ステップＳ２０６）。そして、表示制御部３３０は、取り出した被写体画像が自動撮像された複数の被写体画像のうちの最初の一枚目か否かを判定する（ステップＳ２０８）。
【０１００】
ステップＳ２０８で被写体画像が最初の一枚目であると判定された場合には（Ｙｅｓ）。表示制御部３３０は、さらに、被写体画像に方位情報がついているか否かを判定する（ステップＳ２１０）。そして、ステップＳ２１０で被写体画像に方位情報がついている場合には（Ｙｅｓ）、表示制御部３３０は、撮像時の方位値（電子コンパスの値）をＥｘｉｆ（方位等の撮像情報）から取得する（ステップＳ２１２）。
【０１０１】
また、表示制御部３３０は、被写体の撮像時の回転雲台３０のパン角αをＥｘｉｆから取得する（ステップＳ２１４）。そして、表示制御部３３０は、回転雲台３０のパン角と絶対方位の差分を計算し、その差分（オフセット値）δを計算し、保持する（ステップＳ２１６）。
【０１０２】
ステップＳ２１０で被写体画像の方位情報がついていない場合には（Ｎｏ）、表示制御部３３０は、絶対方位と回転雲台３０のパン角の差分δを０とする（ステップＳ２１８）。すなわち、絶対方位と回転雲台３０のパン角が同じ大きさとなる。
【０１０３】
次に、表示制御部３３０は、被写体画像及び吹出しを画面手前に表示する（ステップＳ２２２）。そして、表示制御部３３０は、被写体画像の表示時間を計算し、所定時間被写体画像を表示する（ステップＳ２２４）。その後、表示制御部３３０は、被写体画像を上部にスライドさせ、一時的に被写体画像を隠す（ステップＳ２２６）。
【０１０４】
次に、表示制御部３３０は、現在表示中の仮想三次元空間の方位角γを取得する（ステップＳ２２８）。そして、表示制御部３３０は、仮想三次元空間の目標角度Ｐを、パン角αとする（ステップＳ２３０）。
【０１０５】
次に、表示制御部３３０は、仮想三次元空間の回転の計算を開始する（ステップＳ２３２）。表示制御部３３０は、仮想三次元空間の回転時の加算値ψを、下記の式により求める（ステップＳ２３４）。
ψ＝ｄ*（Ｐ−α）
【０１０６】
次に、表示制御部３３０は、仮想三次元空間の角度λを、下記の式により求める（ステップＳ２３６）。
λ＝λ＋ψ
【０１０７】
次に、表示制御部３３０は、仮想三次元空間の方位角をｘにする（ステップＳ２３８）。すなわち、表示制御部３３０は、ｘ°まで仮想三次元空間を回転させる。そして、表示制御部３３０は、方位角ｘが目標角度Ｐと同じになったか否かを判定する（ステップＳ２４０）。
【０１０８】
ステップＳ２４０で方位角ｘが目標角度Ｐに達していない場合には（Ｎｏ）、表示制御部３３０は、上述したステップＳ２３８、Ｓ２４０を繰り返す。ステップＳ２４０で方位角ｘが目標角度Ｐに達した場合には（Ｙｅｓ）、表示制御部３３０は、仮想三次元空間の上端に被写体画像を表示する（ステップＳ２４２）。そして、表示制御部３３０は、被写体画像を上部から下部へとスライド表示する（ステップＳ２４４）。
【０１０９】
次に、表示制御部３３０は、キューに被写体画像がまだ格納されているか否かを判定する（ステップＳ２４６）。ステップＳ２４６でキューに被写体画像がまだ格納されている場合には（Ｙｅｓ）、表示制御部３３０は、上述した処理を繰り返すことになる。ただし、この場合、キューからとり出される被写体画像は２枚目以降であるので、表示制御部３３０は、ステップＳ２１０〜Ｓ２１８を実行する代わりに、撮像時のパン角αをＥｘｉｆから取得する（ステップＳ２２０）。ステップＳ２４６でキューに被写体画像が無い場合には（Ｎｏ）、本処理が終了する。
【０１１０】
＜６．まとめ＞
上述したように、情報処理装置は、仮想三次元空間（仮想空間）の描画位置に被写体画像を描画する際に、パノラマ画像（広範囲画像）も共に描画する。ここで、パノラマ画像は、被写体を撮像する際の視野よりも広範囲の視野で撮像された画像であるので、被写体画像と共に描画されたパノラマ画像によって被写体が撮像された環境等を容易に把握することが可能となる。特に、パーティショット機能では、自動撮像される被写体画像において被写体の顔が大きく撮像される特性がある。このため、被写体画像のみを仮想三次元空間上に配置させると撮像環境が把握し難いが、パノラマ画像も一緒に描画することでかかる問題を解決できる。
【０１１１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１２】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１１３】
本明細書において説明した表示制御装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１１４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、
を備え、
前記表示制御部は、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、
前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【０１１５】
（２）前記被写体画像は、前記被写体の顔を撮像した画像であり、
前記広範囲画像は、パノラマ画像である、前記（１）に記載の情報処理装置。
【０１１６】
（３）前記表示制御部は、画像化して表示される前記仮想空間の背景部分に、前記第２撮像位置情報に基づいて前記広範囲画像を描画する、前記（１）又は（２）に記載の情報処理装置。
【０１１７】
（４）前記被写体画像及び前記パノラマ画像は、回転自在な回転雲台に載置され前記回転雲台の回転に連動して回転する撮像装置によって撮像された画像である、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
【０１１８】
（５）前記表示制御部は、
前記被写体画像の前記撮像位置に対応した方位に前記仮想空間を回転表示させ、
前記被写体画像を、回転表示された前記仮想空間の前記描画位置に描画する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
【０１１９】
（６）前記表示制御部は、前記被写体画像を、回転表示された前記仮想空間上でバウンドさせた後に前記描画位置に描画する、前記（５）に記載の情報処理装置。
【０１２０】
（７）前記表示制御部は、
前記被写体画像を所定時間だけ拡大表示させた後に、前記被写体画像を非表示にした状態で前記仮想空間を回転表示させ、
前記仮想空間の回転表示後に、前記被写体画像を再度表示させて前記描画位置に描画する、前記（５）又は（６）に記載の情報処理装置。
【０１２１】
（８）前記第１取得部は、前記被写体画像の撮像時刻を示す第１撮像時刻情報を更に取得し、
前記表示制御部は、仮想空間の基準点を中心とする円の半径方向を時間軸とし、前記仮想空間の、前記第１撮像時刻情報及び前記第１撮像位置情報に基づいた描画位置に前記被写体画像を描画する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
【０１２２】
（９）前記第２取得部は、複数の広範囲画像を取得し、
表示された前記仮想空間において、ユーザの視点の前記仮想空間の移動操作を受け付ける操作受付部を更に備え、
前記表示制御部は、前記操作受付部が受け付けた前記視点の移動操作に応じて広範囲画像に切替えて描画する、前記（８）に記載の情報処理装置。
【０１２３】
（１０）前記複数の広範囲画像は、撮像時刻が異なり、
前記操作受付部は、表示された前記仮想空間において、ユーザによる視点の前記仮想空間の前記時間軸上の移動操作を受け付け、
前記表示制御部は、移動した前記視点の前記時間軸上の位置に対応した撮像時刻に撮像された広範囲画像に切替えて描画する、前記（９）に記載の情報処理装置。
【０１２４】
（１１）前記第１撮像位置情報の前記撮像位置は、前記撮像装置の撮像時の回転角度と、前記撮像装置の絶対方位とに基づいて設定される、前記（４）に記載の情報処理装置。
【０１２５】
（１２）被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を含む、情報処理方法。
【０１２６】
（１３）コンピュータに、
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を実行させるためのプログラム。
【符号の説明】
【０１２７】
１０ 画像表示システム
２０ 撮像装置
３０ 回転雲台
４０ 表示装置
５０ 大画面表示装置
７０ サーバ
１１０ 制御部
１２０ 表示部
１３０ 撮像部
１４０ 通信部
１５０ 記憶部
１６０ 入力部
１７０ 電子コンパス
２１０ 制御部
２２０ 記憶部
２３０ 通信部
２４０ 表示部
２５０ 入力部
２６０ 外部Ｉ／Ｆ
３００ 表示制御装置
３１０ 第１取得部
３２０ 第２取得部
３３０ 表示制御部
３４０ 操作受付部
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置は多機能化されており、例えば撮像装置で撮像された大量の写真画像を、サムネイル画像として並べて表示する技術が存在する。このような技術としては、例えば複数のサムネイル画像がマトリクス状に表示されるもののほか、下記の特許文献１に記載された技術が存在する。
【０００３】
特許文献１には、撮像位置、撮像距離、撮像方位に関する撮像情報に基づいて、撮像者の撮像地点の位置を表示領域内に設定し、該撮像地点に対する被写体の位置及び方位を判別可能とするように写真画像の配置位置を設定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７８８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、写真画像の閲覧性を向上させる観点等から、撮影情報に基づいて、写真画像を仮想空間内に配置して表示させる技術が提案されている。かかる技術によれば、ユーザは、仮想空間に配置された写真画像を見れば、被写体の撮像位置や撮像方位等を把握しやすい。
【０００６】
ところで、写真画像は、主に被写体を中心に撮像したものであり、被写体の周囲の状況は撮像されていないケースが多い。このため、被写体を撮像した写真画像を仮想空間に表示した際に、被写体の撮像位置等は把握できても、被写体がどのような環境下で撮像されたかは把握され難い。
【０００７】
本開示は、被写体画像を仮想空間に配置して表示させる際に、被写体が撮像された環境等も容易に把握できる方法を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、を備え、前記表示制御部は、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置が提供される。
【０００９】
また、本開示によれば、被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、を含む、情報処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータに、被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、を実行させるためのプログラムが提供される。
【００１１】
そして、本開示によれば、表示制御部は、仮想空間に被写体画像を描画する際に、広範囲画像も共に描画する。ここで、広範囲画像は、被写体の撮像位置を含み被写体を撮像する際の視野よりも広範囲の視野で撮像された画像であるので、ユーザは、被写体画像と共に描画された広範囲画像によって被写体が撮像された環境等を容易に把握することが可能となる。
【発明の効果】
【００１２】
以上説明したように本開示によれば、被写体画像を仮想空間に配置して表示させる際に、被写体が撮像された環境等も容易に把握することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態に係る画像表示システムの概略構成を示す図である。
【図２】一実施形態に係る画像表示システムの構成を示すブロック図である。
【図３】一実施形態に係る画像表示システムの構成の変形例を示すブロック図である。
【図４】一実施形態に係る撮像装置の詳細構成を示すブロック図である。
【図５】一実施形態に係る表示装置の詳細構成を示すブロック図である。
【図６】表示制御装置の機能構成を示すブロック図である。
【図７】回転雲台の回転角度と、撮像装置により撮像された被写体画像との関係を示す図である。
【図８】図７に示す回転角度で撮像された被写体画像が配置された仮想三次元空間を概念的に示す図である。
【図９】図８に示す仮想三次元空間を上方から捉えた図である。
【図１０】電子コンパスの方位と、回転雲台の回転角度との関係を示す図です。
【図１１】表示部又は大画面表示装置による被写体画像が配置された仮想三次元空間の表示例を示す図である。
【図１２】仮想三次元空間上の被写体画像とパノラマ画像の描画位置を説明するための図である。
【図１３】表示部又は大画面表示装置による被写体画像とパノラマ画像の表示例を示す図である。
【図１４】第１取得部から取得した被写体画像が、仮想三次元空間上に描画するまでの流れを説明するための模式図である。
【図１５】表示部又は大画面表示装置による被写体画像の表示例を示す図である。
【図１６】仮想三次元空間上の視点の移動を説明するための図である。
【図１７】仮想三次元空間上の被写体画像とパノラマ画像の表示処理を示すフローチャートである。
【図１８】仮想三次元空間上の視点の方位角等を説明するための図である。
【図１９】パノラマ画像と表示装置の表示画面の関係を示す図である。
【図２０】パノラマ画像と表示装置の表示画面の関係を示す図である。
【図２１】自動撮像された被写体画像の仮想三次元空間上の描画処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．画像表示システムの構成
２．撮像装置の構成
３．表示装置の構成
４．表示制御装置の構成
４−１．仮想三次元空間上の被写体画像の配置
４−２．仮想三次元空間上の被写体画像とパノラマ画像の表示
４−３．被写体画像の仮想三次元空間上の描画の流れ
４−４．視点移動に伴うパノラマ画像の切替表示
５．画像表示システムの動作
６．まとめ
【００１６】
＜１．画像表示システムの構成＞
図１及び図２を参照しながら、本開示の一実施形態に係る画像表示システム１０の構成について説明する。図１は、一実施形態に係る画像表示システム１０の概略構成を示す図である。図２は、一実施形態に係る画像表示システム１０の構成を示すブロック図である。
【００１７】
画像表示システム１０は、撮像された被写体画像を仮想空間の一例である仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示する。図１、図２に示すように、画像表示システム１０は、撮像装置２０と、回転雲台３０と、表示装置４０と、大画面表示装置５０とを有する。
【００１８】
撮像装置２０は、例えばデジタルスチルカメラであり、被写体を撮像する。撮像装置２０は、広範囲画像の一例であるパノラマ画像も撮像可能である。撮像装置２０は、例えばパーティ等の集まりの場において、自動的に回転（パン）・角度調整（チルト）・ズームを行なって被写体の顔を検出し、自動撮像する機能（パーティショット機能）を実行可能である。撮像装置２０は、撮像した画像を記憶部に記憶する。
【００１９】
回転雲台３０は、撮像装置２０が載置された状態で、３６０度回転可能な雲台である。回転雲台３０は、パン・チルト・ズームの各動き及び被写体の顔の自動追尾機能を有する。載置された撮像装置２０と回転雲台３０が接続されることで、上記のパーティショット機能が実現される。なお、回転雲台３０には、パノラマ画像を撮像するための操作部が設けられても良い。
【００２０】
撮像装置２０は、無線ネットワーク等を介して表示装置４０と通信を行うことが可能である。そして、撮像装置２０は、パーティショット機能で自動撮像した被写体画像（記憶部に記憶された被写体画像）を、表示装置４０に送信する。この際、撮像装置２０は、被写体画像と共に、被写体画像を撮像した際の回転雲台３０の回転角度等の情報も送信する。なお、撮像装置２０の詳細構成については、後述する。
【００２１】
表示装置４０は、表示画面に各種画像を表示する。撮像装置２０から受信した被写体画像（パーティショット機能で自動撮像された被写体画像）を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示する。表示装置４０は、仮想三次元空間を、表示装置４０の表示画面、又は、表示装置４０に接続された大画面表示装置５０に表示させる。なお、仮想三次元空間の詳細については、後述する。
【００２２】
大画面表示装置５０は、表示装置４０と接続され、データのやり取りを行う。大画面表示装置５０は、撮像装置２０で自動撮像された被写体画像が配置された仮想三次元空間を表示画面に表示する。
【００２３】
なお、上記では、撮像装置２０がデジタルスチルカメラであることとしたが、これに限定されない。撮像装置２０は、被写体を撮像する機能を有すれば良く、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等であっても良い。
【００２４】
また、上記では、表示装置４０は、仮想三次元空間に配置させる被写体画像を撮像装置２０から受信することとしたが、これに限定されない。例えば、表示装置４０は、図３に示すように、サーバ上に格納された被写体画像を受信し、受信した被写体画像を仮想三次元空間上に配置して表示させることとしても良い。
【００２５】
図３は、一実施形態に係る画像表示システム１０の構成の変形例を示すブロック図である。図３の変形例に係る撮像装置２０は、表示装置４０の代わりに、無線ネットワーク等を介してサーバ７０に自動撮像した被写体画像を送信する。サーバ７０は、撮像装置２０から受信した被写体画像を格納し、表示装置４０からの要求に応じて被写体画像を表示装置４０に送信する。
【００２６】
＜２．撮像装置の構成＞
図４を参照しながら、本開示の一実施形態に係る撮像装置２０の詳細構成について説明する。図４は、一実施形態に係る撮像装置２０の詳細構成を示すブロック図である。
【００２７】
図４に示すように、撮像装置２０は、制御部１１０と、表示部１２０と、撮像部１３０と、通信部１４０と、記憶部１５０と、入力部１６０と、電子コンパス１７０と、を有する。
【００２８】
制御部１１０は、撮像装置２０の各ブロックと信号をやり取りして各種演算を行い、撮像装置２０の動作全体を制御する。制御部１１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含む。
【００２９】
表示部１２０は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）であり、表示画面に各種画像を表示する。表示部１２０は、例えば撮像時のプレビュー画像を表示する。
【００３０】
撮像部１３０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等の撮像素子により、静止画（写真）や動画等の被写体画像を撮像する。撮像部１３０は、被写体の顔を検出する機能を有し、笑顔を検出した場合に被写体を自動撮像する。また、撮像部１３０は、パノラマ画像を撮像しうる。なお、撮像部１３０は、パーティショット機能の実行中は、複数の被写体画像を自動撮像する。
【００３１】
撮像部１３０は、被写体画像のみならず、撮像時刻や撮像位置の情報も取得可能である。撮像時刻は、撮像装置２０に内蔵された時計（不図示）から取得される。内蔵時計の時刻は、例えばＧＰＳ衛星からＧＰＳセンサ（不図示）により受信される時刻情報に基づいて補正されても良い。なお、時刻は、一日の中での時としてではなく、年月日の中での時の概念を含む。
【００３２】
通信部１４０は、例えばネットワークインタフェースカードやモデム等を有し、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して、他の機器との間で通信処理を行う。通信部１４０は、無線ＬＡＮモージュル、又はＷＷＡＮ（Wireless Wide Area Network）モージュルを有していても良い。通信部１４０は、撮像された被写体画像やパノラマ画像を他の機器（表示装置４０等）に送信する。
【００３３】
記憶部１５０は、例えばフラッシュメモリであり、撮像部１３０により撮像された被写体画像を記憶する。また、記憶部１５０は、制御部１１０が実行する制御プログラムを記憶する。
【００３４】
入力部１６０は、ユーザの操作を受け付け、入力信号を制御部１１０に出力する。入力部１６０は、例えば電源スイッチ、シャッターボタン等を含む。入力部１６０は、表示部１２０と一体的に設けられたタッチパネルを有しても良い。
【００３５】
電子コンパス１７０は、地球が発する地磁気を検知する磁気センサを有し、検知された地磁気に基づいて、撮像装置２０が向いている方向（方位）を算出する。電子コンパス１７０は、算出した撮像装置２０の方位を制御部１１０に出力する。
【００３６】
＜３．表示装置の構成＞
図５を参照しながら、本開示の一実施形態に係る表示装置４０の詳細構成について説明する。図５は、一実施形態に係る表示装置４０の詳細構成を示すブロック図である。
【００３７】
図５に示すように、表示装置４０は、制御部２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、入力部２５０と、外部Ｉ／Ｆ（インターフェース）２６０と、を有する。
【００３８】
制御部２１０は、表示装置４０の各ブロックと信号をやり取りして各種演算を行い、表示装置４０の動作全体を制御する。制御部２１０は、後述する仮想三次元空間への被写体画像の配置処理等を実行する。制御部２１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含む。
【００３９】
記憶部２２０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）であり、撮像装置２０から受信した被写体画像を記憶する。また、記憶部２２０は、制御部２１０が実行する制御プログラムを記憶する。
【００４０】
通信部２３０は、例えばネットワークインタフェースカードやモデム等を有し、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して、他の機器（撮像装置２０やサーバ７０）との間で通信処理を行う。通信部２３０は、撮像装置２０又はサーバ７０（撮像装置２０等とも呼ぶ）から、撮像装置２０により自動撮像された被写体画像を受信する。
【００４１】
表示部２４０は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）である。表示部２４０は、通信部２３０が撮像装置２０から受信した被写体画像を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示画面に表示する。
【００４２】
入力部２５０は、例えば表示部２４０と一体的に設けられたタッチパネルである。入力部２５０は、例えば画像表示アプリケーションの実行により画像やＧＵＩ（Graphical User Interface）が表示された状態で、ユーザのタッチ操作を検出し、制御部２１０に出力する。また、タッチパネルは、画像表示アプリケーションの実行中に、ユーザが画像を選択して全画面表示をしたり、視点を移動（ズームイン、ズームアウト）したりするのに用いられる。
【００４３】
外部Ｉ／Ｆ２６０は、例えばＨＤＭＩ（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）等の各種規格に準じて、外部機器（例えば、大画面表示装置５０）と接続し、データのやり取りを行う。例えば、表示装置４０は、外部Ｉ／Ｆ２６０を介して、大画面表示装置５０の表示画面に表示させる被写体画像やパノラマ画像を送信する。
【００４４】
＜４．表示制御装置の構成＞
図６を参照しながら、画像表示システム１０において画像表示を制御する情報処理装置の一例である表示制御装置３００の機能構成について説明する。図６は、表示制御装置３００の機能構成を示すブロック図である。
【００４５】
表示制御装置３００は、撮像装置２０によって撮像された被写体画像とパノラマ画像の表示装置４０の表示部１２０又は大画面表示装置５０の表示画面への表示を制御する。図６に示すように、表示制御装置３００は、第１取得部３１０と、第２取得部３２０と、表示制御部３３０と、操作受付部３４０とを有する。なお、第１取得部３１０、第２取得部３２０、表示制御部３３０、操作受付部３４０は、例えば表示装置４０の制御部２１０により構成される。
【００４６】
第１取得部３１０は、被写体を撮像した被写体画像を取得する。例えば、第１取得部３１０は、撮像装置２０又はサーバ７０から被写体画像を取得する。被写体画像は、回転自在な回転雲台３０に載置され回転雲台３０の回転に連動して回転する撮像装置２０によって撮像されている。なお、撮像装置２０によって複数の被写体画像が自動撮像された場合には、複数の被写体画像を順次取得する。
【００４７】
第１取得部３１０は、被写体画像を取得する際に、被写体画像の撮像位置を示す第１撮像位置情報を取得する。また、第１取得部３１０は、被写体画像を取得する際に、被写体画像の撮像時刻を示す第１撮像時刻情報も取得可能である。第１取得部３１０は、被写体画像と第１撮像時刻情報と第１撮像位置情報を対応付けて取得する。第１取得部３１０は、取得した被写体画像、第１撮像時刻情報、第１撮像位置情報を表示制御部３３０に出力する。
【００４８】
第２取得部３２０は、被写体の撮像位置を含み被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像の一例であるパノラマ画像を取得する。パノラマ画像も、回転雲台３０の回転に連動して回転する撮像装置２０によって撮像されている。第２取得部３２０は、撮像装置２０によって複数のパノラマ画像（例えば、撮像時刻が異なる複数のパノラマ画像）が自動撮像された場合には、複数のパノラマ画像を取得する。
【００４９】
第２取得部３２０は、パノラマ画像を取得する際に、パノラマ画像の撮像時刻を示す第２撮像時刻情報と、パノラマ画像の撮像位置を示す第２撮像位置情報も取得する。第２取得部３２０は、取得したパノラマ画像、第２撮像時刻情報、第２撮像位置情報を表示制御部３３０に出力する。
【００５０】
表示制御部３３０は、第１取得部３１０から入力された被写体画像と、第２取得部３２０から入力されたパノラマ画像の、表示装置４０の表示部１２０又は大画面表示装置５０の表示画面への表示を制御する。また、表示制御部３３０は、仮想三次元空間を画像化して、表示部１２０又は大画面表示装置５０の表示画面に表示させる。
【００５１】
（４−１．仮想三次元空間上の被写体画像の配置）
以下では、説明の便宜上、大画面表示装置５０の表示画面に仮想三次元空間が表示されるものとして説明する。また、仮想三次元空間上に配置される被写体画像は、パーティショット機能で自動撮像された被写体画像であるものとする。
【００５２】
仮想三次元空間は、空間内の基準点（例えば、ユーザの視点）を中心とする円の半径方向に撮像時刻に対応する時間軸を有し、かつ円の円周方向に撮像位置に対応する方位軸を有する仮想の空間である。そして、表示制御部３３０は、画像化される仮想三次元空間の、第１取得部３１０により取得された第１撮像時刻情報及び第１撮像位置情報に基づいた描画位置に、被写体画像を描画する。
【００５３】
以下において、仮想三次元空間上で被写体画像をどのように描画するかについて、具体的に説明する。
【００５４】
図７は、回転雲台３０の回転角度と、撮像装置２０により撮像された被写体画像との関係を示す図である。前述したように、撮像装置２０は、パーティショット機能で回転雲台３０に載置され回転雲台３０の回転に連動して回転しながら、被写体を自動撮像する。図７では、回転雲台３０の回転角度（パン角）が基準となる北向きから反時計方向に角度αである場合に被写体画像Ｉ１が撮像され、回転角度が０度である場合に被写体画像Ｉ２が撮像され、回転角度が時計方向に角度βである場合に被写体画像Ｉ３が撮像されるものとする。
【００５５】
図８は、図７に示す回転角度で撮像された被写体画像が配置された仮想三次元空間を概念的に示す図である。図９は、図８に示す仮想三次元空間を上方から捉えた図である。仮想三次元空間は、図８に示すように、観測者（撮像装置２０のユーザの視点）を中心として同心円を描き、同心円の半径方向を奥行き、同心円の円周方向を方位に対応させ、３６０°の広がりを持った半球状の空間である。
【００５６】
表示制御部３３０は、仮想三次元空間内に自動撮像された複数の被写体画像を撮像時刻及び撮像位置を反映させた位置に配置させる。図８、図９に示すように、図７に示す回転雲台３０の回転角度に応じた位置に、被写体画像Ｉ１〜Ｉ３が配置される。なお、図９では、角度０°の方向が北を示し、角度９０°の方向が東を示す。また、円の中央に位置する目の画像は、視点を示す。
【００５７】
上記では、被写体画像の撮像位置が、回転雲台３０の回転角度に応じて設定されている。ところで、撮像装置２０は、前述したように電子コンパス１７０を有しており、電子コンパス１７０により取得された絶対方位と、回転雲台３０の回転角度に応じて、被写体画像の撮像位置が設定されても良い。
【００５８】
図１０は、電子コンパス１７０の方位と、回転雲台３０の回転角度との関係を示す図です。第１取得部３１０は、自動撮像された被写体画像を取得する際に、撮像時の回転雲台３０の回転角度の情報（図１０（ｂ）に示す０°〜３５９°の角度情報）も関連付けて取得する。また、第１取得部３１０は、被写体画像を取得する際に、電子コンパス１７０によって測定された撮像時の絶対方位の情報（図１０（ａ）に示す方位）も関連付けて取得する。
【００５９】
この２つの情報を活用するために、表示制御装置３００は、撮像開始時に、回転雲台３０の初期角度と電子コンパス１７０の絶対方位の差を示すオフセット角度（図１０（ｃ）に示すオフセット角度α）を決定する。そして、表示制御装置３００は、電子コンパス１７０にはゆらぎがあるため、オフセット角度αと回転雲台３０の回転角度とを加えた角度を、撮像装置２０の撮像方位として採用する。これにより、より高精度に撮像方位を決定できる。
【００６０】
図１１は、表示部１２０又は大画面表示装置５０による被写体画像が配置された仮想三次元空間の表示例を示す図である。図１１に示すように、表示制御部３３０は、仮想三次元空間をユーザの視点から見た風景となるように描画して表示する。図１１において、仮想三次元空間の横軸が方位に、縦軸が高度に、奥行き軸が時間に、それぞれ対応する。すなわち、横軸が、撮像装置２０の現在位置から見た被写体画像が撮像された場所の方位を示す。奥行き軸は、現在時刻から見た被写体画像が撮像された時刻を示す。縦軸は、被写体画像が撮像された場所の地表からの高度を示す。
【００６１】
なお、高度情報が被写体画像と共に記録されていない場合には、高度は０とされ、被写体画像は地表（仮想三次元空間の底面）に沿って配置される。また、奥行き方向への被写体画像の配置間隔は、例えば１時間間隔、１日間隔等の固定間隔であっても良いし、例えば１時間、１日、１年、１０年等、視点からの距離が大きくなるに従って間隔が指数関数的に大きくなるような可変間隔であっても良い。
【００６２】
図１１においては、撮像時刻が異なり、かつ撮像された方位も異なる５個の被写体画像Ｉ１〜Ｉ５が、仮想三次元空間上に配置されて２次元画像として表示されている。また、図１１に示す仮想三次元空間は、奥行き方向に遠近感を有しており、現在位置からの被写体画像の距離に応じて、被写体画像の大きさが異なる。すなわち、現在位置に最も近い被写体画像Ｉ１が最も大きく、現在位置から最も離れた被写体画像Ｉ５が最も小さい。なお、仮想三次元空間が、奥行き方向に遠近感を有さず、被写体画像Ｉ１〜Ｉ５の大きさが同じ大きさであっても良い。このように表示することで、ユーザは、複数の被写体画像の撮像位置や撮像時刻の関係が容易に把握できる。
【００６３】
（４−２．仮想三次元空間上の被写体画像とパノラマ画像の表示）
図６に戻って、説明を続ける。表示制御部３３０は、被写体の自動撮像時の撮像環境を容易に把握できるように、被写体画像を仮想三次元空間の描画位置に描画する際に、第２取得部３２０で取得されたパノラマ画像も共に描画する。
【００６４】
具体的には、表示制御部３３０は、画像化して表示される仮想三次元空間の背景部分に、パノラマ画像を描画する。また、表示制御部３３０は、被写体画像とパノラマ画像の撮像方位が同期するように、第２取得部で取得された第２撮像位置情報に基づいてパノラマ画像を描画する。
【００６５】
ここで、図１２を参照しながら、仮想三次元空間上の被写体画像とパノラマ画像の表示について、具体的に説明する。図１２は、仮想三次元空間上の被写体画像とパノラマ画像の描画位置を説明するための図である。
【００６６】
図１２に示すように、表示制御部３３０は、仮想三次元空間に被写体画像Ｐ１、Ｐ２を配置して描画すると共に、パノラマ画像Ｑも描画する。ここで、パノラマ画像は、仮想三次元空間の外周から上方に延びた面上に配置される。この際、表示制御部３３０は、仮想三次元空間上でパノラマ画像と被写体画像の撮像方位が同期するように、パノラマ画像と被写体画像を描画する。
【００６７】
図１３は、表示部１２０又は大画面表示装置５０による被写体画像とパノラマ画像の表示例を示す図である。図１３に示すように、表示画面Ｓの下方の仮想三次元空間の底面上に被写体画像Ｉ１〜Ｉ５が描画され、表示画面Ｓの上方の仮想三次元空間の背景部分にパノラマ画像Ｉａが描画されている。パノラマ画像と被写体画像は分けて描画されているので、描画されたパノラマ画像をユーザが認識しやすい。また、図１３に示すように、表示画面Ｓに描画されるパノラマ画像Ｉａは、表示画面のサイズに対応した第２取得部３２０が取得したパノラマ画像Ｑの一部である。
【００６８】
このように、被写体画像に加えて、仮想三次元空間の背景部分にパノラマ画像を配置させて表示することで、被写体が自動撮像された撮影環境の知覚しやすくなる。特に、撮像される被写体画像は被写体の顔を中心に撮像されるため、被写体画像で占める被写体の顔の面積が大きい。このため、被写体画像のみを表示させると被写体以外の部分（例えば、撮像された背景）を把握し難いが、背景部分にパノラマ画像を表示することで、被写体撮像時の撮像環境を容易に把握できる。
【００６９】
（４−３．被写体画像の仮想三次元空間上の描画の流れ）
図６に戻って、説明を続ける。表示制御部３３０は、被写体画像の撮像位置に対応した方位に仮想三次元空間を回転表示させ、被写体画像を、回転表示された仮想三次元空間の描画位置に描画する。
【００７０】
具体的には、表示制御部３３０は、被写体画像を所定時間だけ拡大表示させた後に、被写体画像を非表示にした状態で仮想三次元空間を回転表示させ、仮想三次元空間の回転表示後に、被写体画像を再度表示させて描画位置に描画する。また、表示制御部３３０は、被写体画像を、回転表示された仮想三次元空間上でバウンドさせた後に描画位置に描画する。
【００７１】
ここで、図１４を参照しながら、表示制御部３３０が、第１取得部３１０から取得した被写体画像を、仮想三次元空間上に描画するまでの流れを説明する。図１４は、第１取得部３１０から取得した被写体画像が、仮想三次元空間上に描画されるまでの流れを説明するための模式図である。
【００７２】
表示制御部３３０は、第１取得部３１０から被写体画像が入力されると、表示画面Ｓ１に示すように、一つの被写体画像Ｉ１を大きいサイズで所定時間だけ表示する。このように大きいサイズで被写体画像Ｉ１が表示されることで、自動撮像された画像であることを知覚しやすい。
【００７３】
表示制御部３３０は、所定時間が経過すると、表示画面Ｓ２に示すように、被写体画像Ｉ１を画面外に向けてスライドさせる。これにより、被写体画像Ｉ１が、画面から消える。ここでは、被写体画像Ｉ１は、画面の上側にスライドアウトしている。
【００７４】
表示制御部３３０は、被写体画像Ｉ１がスライドアウトされた後に、被写体画像Ｉ１の撮影方位となるように、表示画面Ｓ３に示すように仮想三次元空間を回転させて表示する（すなわち、表示画面をスクロールする）。そして、表示制御部３３０は、仮想三次元空間の回転表示後、表示画面Ｓ４に示すように、仮想三次元空間内に被写体画像Ｉ１を落とす（下方へスライドする）表示を行う。
【００７５】
ここで、仮想三次元空間が回転するので、表示画面Ｓ４の被写体画像Ｉ１の背景部分と、表示画面Ｓ１、Ｓ２の被写体画像Ｉ１の背景部分の画像が異なる。このように、仮想三次元空間を回転させて表示することで、被写体画像が、回転雲台３０上に載置され回転する撮像装置２０によって撮像されたことを知覚できる。
【００７６】
更に、表示制御部３３０は、被写体画像Ｉ１を仮想三次元空間の底面の描画位置上でバウンドさせる演出を行う。このような演出を行うことで、被写体画像Ｉ１の撮像位置を視覚的に把握しやすくなる。
【００７７】
図１５は、表示部１２０又は大画面表示装置５０による被写体画像の表示例を示す図である。図１５の表示画面Ｓ１に示すように、被写体画像Ｉ１が大きさサイズで表示されている。この際、表示制御部３３０は、コメントが記載された吹出しＧを表示させても良い。コメントは、例えば被写体画像Ｉ１の被写体に対する第三者の客観的なコメントである。コメントは、被写体画像Ｉ１の被写体のコメントであっても良い。図１５の表示画面Ｓ５には、仮想三次元空間の回転表示後に被写体画像Ｉ１が描画位置に描画されている状態が示されている。
【００７８】
（４−４．視点移動に伴うパノラマ画像の切替表示）
図６に戻って、説明を続ける。操作受付部３４０は、表示画面に表示された仮想三次元空間において、ユーザの視点の仮想三次元空間の移動操作を受け付ける。例えば、操作受付部３４０は、表示装置４０の入力部２５０（タッチパネル）によるタッチ操作を検知することで、仮想三次元空間において視点の仮想三次元空間の時間軸上の移動操作を受け付ける。
【００７９】
表示制御部３３０は、操作受付部３４０が受け付けた視点の移動操作に応じて、パノラマ画像を切替えて描画する。例えば、表示制御部３３０は、移動した視点の時間軸上の位置に対応した撮像時刻に撮像されたパノラマ画像に切替えて描画する。これにより、撮像時刻に応じた撮像風景を把握できる。なお、切替描画されるパノラマ画像は、予め所定間隔で撮像されていても良く、またシーンが切り替わる度に撮像されていても良い。
【００８０】
ここで、図１６を参照しながら、仮想三次元空間上の視点移動に伴うパノラマ画像の切替表示について説明する。図１６は、仮想三次元空間上の視点の移動を説明するための図である。
【００８１】
図１６では、仮想三次元空間の時間軸である半径方向において、ユーザが視点を上方へ移動させると、表示制御部３３０は、現在表示されているパノラマ画像よりも所定時間前に撮像されたパノラマ画像に表示を切り替える。このように、仮想三次元空間上の視点移動に応じてパノラマ画像を切替えることで、描画されるパノラマ画像の時間変化を知覚できる。
【００８２】
なお、上記では、仮想空間として、円の円周方向に方位軸を、円の半径方向に時間軸を有する仮想三次元空間を例に挙げて説明したが、これに限定されない。例えば、仮想空間は空間内の基準点を中心とする円の円周方向に被写体画像の撮像位置に対応する方位軸を有すればよく、半径方向は時間軸以外の軸（例えば、距離の軸）であっても良い。
【００８３】
＜５．画像表示システムの動作＞
（仮想三次元空間上の被写体画像とパノラマ画像の表示処理）
図１７〜図１９を参照しながら、仮想三次元空間上の被写体画像とパノラマ画像の表示処理について説明する。
【００８４】
図１７は、仮想三次元空間上の被写体画像とパノラマ画像の表示処理を示すフローチャートである。図１８は、仮想三次元空間上の視点の方位角等を説明するための図である。図１９は、パノラマ画像と表示画面の関係を示す図である。図１７に示すフローチャートは、撮像装置２０によって被写体画像とパノラマ画像が撮像されたところから開始される。
【００８５】
本処理は、ＣＰＵがＲＯＭに格納されているプログラムを実行することによって、実現される。なお、実行されるプログラムは、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。
【００８６】
まず、表示制御部３３０は、第２取得部３２０が撮像装置２０から取得したパノラマ画像を読み込む（ステップＳ１０２）。そして、表示制御部３３０は、図１９（ｂ）に示すパノラマ画像のサイズ（Pixel）、開始方位角startBearingを取得する（ステップＳ１０４）。
【００８７】
次に、表示制御部３３０は、描画される仮想三次元空間を回転し、表示する視点の方位角λ（図１８）を更新する（ステップＳ１０６）。そして、表示制御部３３０は、現在の仮想空間の方位角λに基づいて、表示画面上への表示角度を計算する（ステップＳ１０８）。
【００８８】
次に、表示制御部３３０は、仮想三次元空間を回転し、表示する視点の方位角λを取得する（ステップＳ１１０）。図１８では、視点は東を向いており、方位角λは９０°である。
【００８９】
次に、表示制御部３３０は、仮想三次元空間の背景部分にパノラマ画像を描画する（ステップＳ１１２）。ここで、パノラマ画像を描画する際の計算方法について、図２０を参照しながら説明する。図２０は、パノラマ画像と表示装置の表示画面の関係を示す図である。
【００９０】
まず、図１９（ａ）に示す視点の視野１度あたりのPixel数（pixPerAngleEye）は、下記の式で求められる。
pixPerAngleEye = devWidth / α
【００９１】
また、図１９（ｂ）に示すパノラマ画像の視野１度あたりのPixel数（pixPerAnglePano）は、下記の式で求められる。
pixPerAnglePano = panoWidth / β
【００９２】
すると、パノラマ画像の表示画面の座標系への変換係数（convCoefficients）は、下記の式で求められる。
convCoefficients = pixPerAngleEye / pixPerAnglePano
【００９３】
そして、表示画面にパノラマ画像を配置するときに、図２０に示すパノラマ画像の左端の座標drawLeftは、表示画面中心の座標をdevWidth/2 とし、パノラマ画像の開始方位角startBearingと視点の方位角λから、下記の式で求められる。
drawLeft=(devWidth /2)+ (startBearing - λ) * pixPerAngleEye
【００９４】
同様に、図２０に示すパノラマ画像の右端の座標drawRightは、下記の式で求められる。
drawRight= drawLeft + panoWidth * convCoefficients
【００９５】
また、パノラマ画像の上端の座標drawTopと、下端drawButtomは、それぞれ下記の式で求められる。
drawTop = 0
drawButtom= panoHeight * convCoeffients
上記の計算結果に基づいて、パノラマ画像が描画される。
【００９６】
図１７に戻って説明を続ける。表示制御部３３０は、仮想三次元空間の所定の描画位置に被写体画像を描画する（ステップＳ１１４）。これにより、例えば図１３に示すように、仮想三次元空間上にパノラマ画像と被写体画像が共に表示され、被写体画像が撮像された環境を容易に把握できる。
【００９７】
（被写体画像の仮想三次元空間上の描画処理）
図２１を参照しながら、自動撮像された被写体画像を仮想三次元空間上に配置する描画処理について説明する。図２１は、自動撮像された被写体画像の仮想三次元空間上の描画処理を示すフローチャートである。本フローチャートは、撮像装置２０によって被写体画像が自動撮像されたところから開始される。
【００９８】
第１取得部３１０は、自動撮像された被写体画像を受信し（ステップＳ２０２）、受信した被写体画像を記憶部のキューに格納する（ステップＳ２０４）。ここで、第１取得部３１０は、複数の被写体画像を受信するものとする。
【００９９】
次に、表示制御部３３０は、キューから画面（仮想三次元空間）に表示する被写体画像を一つ取り出す（ステップＳ２０６）。そして、表示制御部３３０は、取り出した被写体画像が自動撮像された複数の被写体画像のうちの最初の一枚目か否かを判定する（ステップＳ２０８）。
【０１００】
ステップＳ２０８で被写体画像が最初の一枚目であると判定された場合には（Ｙｅｓ）。表示制御部３３０は、さらに、被写体画像に方位情報がついているか否かを判定する（ステップＳ２１０）。そして、ステップＳ２１０で被写体画像に方位情報がついている場合には（Ｙｅｓ）、表示制御部３３０は、撮像時の方位値（電子コンパスの値）をＥｘｉｆ（方位等の撮像情報）から取得する（ステップＳ２１２）。
【０１０１】
また、表示制御部３３０は、被写体の撮像時の回転雲台３０のパン角αをＥｘｉｆから取得する（ステップＳ２１４）。そして、表示制御部３３０は、回転雲台３０のパン角と絶対方位の差分を計算し、その差分（オフセット値）δを計算し、保持する（ステップＳ２１６）。
【０１０２】
ステップＳ２１０で被写体画像の方位情報がついていない場合には（Ｎｏ）、表示制御部３３０は、絶対方位と回転雲台３０のパン角の差分δを０とする（ステップＳ２１８）。すなわち、絶対方位と回転雲台３０のパン角が同じ大きさとなる。
【０１０３】
次に、表示制御部３３０は、被写体画像及び吹出しを画面手前に表示する（ステップＳ２２２）。そして、表示制御部３３０は、被写体画像の表示時間を計算し、所定時間被写体画像を表示する（ステップＳ２２４）。その後、表示制御部３３０は、被写体画像を上部にスライドさせ、一時的に被写体画像を隠す（ステップＳ２２６）。
【０１０４】
次に、表示制御部３３０は、現在表示中の仮想三次元空間の方位角γを取得する（ステップＳ２２８）。そして、表示制御部３３０は、仮想三次元空間の目標角度Ｐを、パン角αとする（ステップＳ２３０）。
【０１０５】
次に、表示制御部３３０は、仮想三次元空間の回転の計算を開始する（ステップＳ２３２）。表示制御部３３０は、仮想三次元空間の回転時の加算値ψを、下記の式により求める（ステップＳ２３４）。
ψ＝ｄ*（Ｐ−α）
【０１０６】
次に、表示制御部３３０は、仮想三次元空間の角度λを、下記の式により求める（ステップＳ２３６）。
λ＝λ＋ψ
【０１０７】
次に、表示制御部３３０は、仮想三次元空間の方位角をｘにする（ステップＳ２３８）。すなわち、表示制御部３３０は、ｘ°まで仮想三次元空間を回転させる。そして、表示制御部３３０は、方位角ｘが目標角度Ｐと同じになったか否かを判定する（ステップＳ２４０）。
【０１０８】
ステップＳ２４０で方位角ｘが目標角度Ｐに達していない場合には（Ｎｏ）、表示制御部３３０は、上述したステップＳ２３８、Ｓ２４０を繰り返す。ステップＳ２４０で方位角ｘが目標角度Ｐに達した場合には（Ｙｅｓ）、表示制御部３３０は、仮想三次元空間の上端に被写体画像を表示する（ステップＳ２４２）。そして、表示制御部３３０は、被写体画像を上部から下部へとスライド表示する（ステップＳ２４４）。
【０１０９】
次に、表示制御部３３０は、キューに被写体画像がまだ格納されているか否かを判定する（ステップＳ２４６）。ステップＳ２４６でキューに被写体画像がまだ格納されている場合には（Ｙｅｓ）、表示制御部３３０は、上述した処理を繰り返すことになる。ただし、この場合、キューからとり出される被写体画像は２枚目以降であるので、表示制御部３３０は、ステップＳ２１０〜Ｓ２１８を実行する代わりに、撮像時のパン角αをＥｘｉｆから取得する（ステップＳ２２０）。ステップＳ２４６でキューに被写体画像が無い場合には（Ｎｏ）、本処理が終了する。
【０１１０】
＜６．まとめ＞
上述したように、情報処理装置は、仮想三次元空間（仮想空間）の描画位置に被写体画像を描画する際に、パノラマ画像（広範囲画像）も共に描画する。ここで、パノラマ画像は、被写体を撮像する際の視野よりも広範囲の視野で撮像された画像であるので、被写体画像と共に描画されたパノラマ画像によって被写体が撮像された環境等を容易に把握することが可能となる。特に、パーティショット機能では、自動撮像される被写体画像において被写体の顔が大きく撮像される特性がある。このため、被写体画像のみを仮想三次元空間上に配置させると撮像環境が把握し難いが、パノラマ画像も一緒に描画することでかかる問題を解決できる。
【０１１１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１２】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１１３】
本明細書において説明した表示制御装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１１４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、
を備え、
前記表示制御部は、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、
前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【０１１５】
（２）前記被写体画像は、前記被写体の顔を撮像した画像であり、
前記広範囲画像は、パノラマ画像である、前記（１）に記載の情報処理装置。
【０１１６】
（３）前記表示制御部は、画像化して表示される前記仮想空間の背景部分に、前記第２撮像位置情報に基づいて前記広範囲画像を描画する、前記（１）又は（２）に記載の情報処理装置。
【０１１７】
（４）前記被写体画像及び前記パノラマ画像は、回転自在な回転雲台に載置され前記回転雲台の回転に連動して回転する撮像装置によって撮像された画像である、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
【０１１８】
（５）前記表示制御部は、
前記被写体画像の前記撮像位置に対応した方位に前記仮想空間を回転表示させ、
前記被写体画像を、回転表示された前記仮想空間の前記描画位置に描画する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
【０１１９】
（６）前記表示制御部は、前記被写体画像を、回転表示された前記仮想空間上でバウンドさせた後に前記描画位置に描画する、前記（５）に記載の情報処理装置。
【０１２０】
（７）前記表示制御部は、
前記被写体画像を所定時間だけ拡大表示させた後に、前記被写体画像を非表示にした状態で前記仮想空間を回転表示させ、
前記仮想空間の回転表示後に、前記被写体画像を再度表示させて前記描画位置に描画する、前記（５）又は（６）に記載の情報処理装置。
【０１２１】
（８）前記第１取得部は、前記被写体画像の撮像時刻を示す第１撮像時刻情報を更に取得し、
前記表示制御部は、仮想空間の基準点を中心とする円の半径方向を時間軸とし、前記仮想空間の、前記第１撮像時刻情報及び前記第１撮像位置情報に基づいた描画位置に前記被写体画像を描画する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
【０１２２】
（９）前記第２取得部は、複数の広範囲画像を取得し、
表示された前記仮想空間において、ユーザの視点の前記仮想空間の移動操作を受け付ける操作受付部を更に備え、
前記表示制御部は、前記操作受付部が受け付けた前記視点の移動操作に応じて広範囲画像に切替えて描画する、前記（８）に記載の情報処理装置。
【０１２３】
（１０）前記複数の広範囲画像は、撮像時刻が異なり、
前記操作受付部は、表示された前記仮想空間において、ユーザによる視点の前記仮想空間の前記時間軸上の移動操作を受け付け、
前記表示制御部は、移動した前記視点の前記時間軸上の位置に対応した撮像時刻に撮像された広範囲画像に切替えて描画する、前記（９）に記載の情報処理装置。
【０１２４】
（１１）前記第１撮像位置情報の前記撮像位置は、前記撮像装置の撮像時の回転角度と、前記撮像装置の絶対方位とに基づいて設定される、前記（４）に記載の情報処理装置。
【０１２５】
（１２）被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を含む、情報処理方法。
【０１２６】
（１３）コンピュータに、
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を実行させるためのプログラム。
【符号の説明】
【０１２７】
１０ 画像表示システム
２０ 撮像装置
３０ 回転雲台
４０ 表示装置
５０ 大画面表示装置
７０ サーバ
１１０ 制御部
１２０ 表示部
１３０ 撮像部
１４０ 通信部
１５０ 記憶部
１６０ 入力部
１７０ 電子コンパス
２１０ 制御部
２２０ 記憶部
２３０ 通信部
２４０ 表示部
２５０ 入力部
２６０ 外部Ｉ／Ｆ
３００ 表示制御装置
３１０ 第１取得部
３２０ 第２取得部
３３０ 表示制御部
３４０ 操作受付部
【特許請求の範囲】
【請求項１】
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、
を備え、
前記表示制御部は、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、
前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【請求項２】
前記被写体画像は、前記被写体の顔を撮像した画像であり、
前記広範囲画像は、パノラマ画像である、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、画像化して表示される前記仮想空間の背景部分に、前記第２撮像位置情報に基づいて前記広範囲画像を描画する、請求項１に記載の情報処理装置。
【請求項４】
前記被写体画像及び前記広範囲画像は、回転自在な回転雲台に載置され前記回転雲台の回転に連動して回転する撮像装置によって撮像された画像である、請求項１に記載の情報処理装置。
【請求項５】
前記表示制御部は、
前記被写体画像の前記撮像位置に対応した方位に前記仮想空間を回転表示させ、
前記被写体画像を、回転表示された前記仮想空間の前記描画位置に描画する、請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記被写体画像を、回転表示された前記仮想空間上でバウンドさせた後に前記描画位置に描画する、請求項５に記載の情報処理装置。
【請求項７】
前記表示制御部は、
前記被写体画像を所定時間だけ拡大表示させた後に、前記被写体画像を非表示にした状態で前記仮想空間を回転表示させ、
前記仮想空間の回転表示後に、前記被写体画像を再度表示させて前記描画位置に描画する、請求項５に記載の情報処理装置。
【請求項８】
前記第１取得部は、前記被写体画像の撮像時刻を示す第１撮像時刻情報を更に取得し、
前記表示制御部は、仮想空間の基準点を中心とする円の半径方向を時間軸とし、前記仮想空間の、前記第１撮像時刻情報及び前記第１撮像位置情報に基づいた描画位置に前記被写体画像を描画する、請求項１に記載の情報処理装置。
【請求項９】
前記第２取得部は、複数の広範囲画像を取得し、
表示された前記仮想空間において、ユーザの視点の前記仮想空間の移動操作を受け付ける操作受付部を更に備え、
前記表示制御部は、前記操作受付部が受け付けた前記視点の移動操作に応じて広範囲画像に切替えて描画する、請求項８に記載の情報処理装置。
【請求項１０】
前記複数の広範囲画像は、撮像時刻が異なり、
前記操作受付部は、表示された前記仮想空間において、ユーザによる視点の前記仮想空間の前記時間軸上の移動操作を受け付け、
前記表示制御部は、移動した前記視点の前記時間軸上の位置に対応した撮像時刻に撮像された広範囲画像に切替えて描画する、請求項９に記載の情報処理装置。
【請求項１１】
前記第１撮像位置情報の前記撮像位置は、前記撮像装置の撮像時の回転角度と、前記撮像装置の絶対方位とに基づいて設定される、請求項４に記載の情報処理装置。
【請求項１２】
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を含む、情報処理方法。
【請求項１３】
コンピュータに、
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を実行させるためのプログラム。
【請求項１】
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得する第１取得部と、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得する第２取得部と、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、
を備え、
前記表示制御部は、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、
前記第２撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【請求項２】
前記被写体画像は、前記被写体の顔を撮像した画像であり、
前記広範囲画像は、パノラマ画像である、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、画像化して表示される前記仮想空間の背景部分に、前記第２撮像位置情報に基づいて前記広範囲画像を描画する、請求項１に記載の情報処理装置。
【請求項４】
前記被写体画像及び前記広範囲画像は、回転自在な回転雲台に載置され前記回転雲台の回転に連動して回転する撮像装置によって撮像された画像である、請求項１に記載の情報処理装置。
【請求項５】
前記表示制御部は、
前記被写体画像の前記撮像位置に対応した方位に前記仮想空間を回転表示させ、
前記被写体画像を、回転表示された前記仮想空間の前記描画位置に描画する、請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記被写体画像を、回転表示された前記仮想空間上でバウンドさせた後に前記描画位置に描画する、請求項５に記載の情報処理装置。
【請求項７】
前記表示制御部は、
前記被写体画像を所定時間だけ拡大表示させた後に、前記被写体画像を非表示にした状態で前記仮想空間を回転表示させ、
前記仮想空間の回転表示後に、前記被写体画像を再度表示させて前記描画位置に描画する、請求項５に記載の情報処理装置。
【請求項８】
前記第１取得部は、前記被写体画像の撮像時刻を示す第１撮像時刻情報を更に取得し、
前記表示制御部は、仮想空間の基準点を中心とする円の半径方向を時間軸とし、前記仮想空間の、前記第１撮像時刻情報及び前記第１撮像位置情報に基づいた描画位置に前記被写体画像を描画する、請求項１に記載の情報処理装置。
【請求項９】
前記第２取得部は、複数の広範囲画像を取得し、
表示された前記仮想空間において、ユーザの視点の前記仮想空間の移動操作を受け付ける操作受付部を更に備え、
前記表示制御部は、前記操作受付部が受け付けた前記視点の移動操作に応じて広範囲画像に切替えて描画する、請求項８に記載の情報処理装置。
【請求項１０】
前記複数の広範囲画像は、撮像時刻が異なり、
前記操作受付部は、表示された前記仮想空間において、ユーザによる視点の前記仮想空間の前記時間軸上の移動操作を受け付け、
前記表示制御部は、移動した前記視点の前記時間軸上の位置に対応した撮像時刻に撮像された広範囲画像に切替えて描画する、請求項９に記載の情報処理装置。
【請求項１１】
前記第１撮像位置情報の前記撮像位置は、前記撮像装置の撮像時の回転角度と、前記撮像装置の絶対方位とに基づいて設定される、請求項４に記載の情報処理装置。
【請求項１２】
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を含む、情報処理方法。
【請求項１３】
コンピュータに、
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第１撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第２撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第１撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第２撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−９７０９４（Ｐ２０１３−９７０９４Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３８４７７（Ｐ２０１１−２３８４７７）
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]