仮想風景表示装置
【課題】撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することが
できる仮想風景表示装置を提供すること。
【解決手段】ユーザは、十字キー１０２ａの左右キーの操作によって図８（ｃ）の矢印Ｅ方向（撮影位置を中心とした３６０度回転方向）に沿って仮想風景画像を選択することができる。例えば、図８（ｃ）の状態で右キーが押された場合には、仮想風景画像５０１の右隣の仮想風景画像が選択され、選択された仮想風景画像の中心位置に撮影者画像５０２が合成される。また、図８（ｃ）の状態で左キーが押された場合には、仮想風景画像５０１の左隣の仮想風景画像が選択され、選択された仮想風景画像の中心位置に撮影者画像５０２が合成される。
できる仮想風景表示装置を提供すること。
【解決手段】ユーザは、十字キー１０２ａの左右キーの操作によって図８（ｃ）の矢印Ｅ方向（撮影位置を中心とした３６０度回転方向）に沿って仮想風景画像を選択することができる。例えば、図８（ｃ）の状態で右キーが押された場合には、仮想風景画像５０１の右隣の仮想風景画像が選択され、選択された仮想風景画像の中心位置に撮影者画像５０２が合成される。また、図８（ｃ）の状態で左キーが押された場合には、仮想風景画像５０１の左隣の仮想風景画像が選択され、選択された仮想風景画像の中心位置に撮影者画像５０２が合成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された撮影位置情報付きの画像から、撮影時に被写体が見ていた風景の
画像を補足して表示する仮想風景表示装置に関する。
【背景技術】
【０００２】
近年、グーグル（登録商標）マップのように、３次元（３Ｄ）画像によって地図表示を
行うサービスが各種提案されている。また、現実画像にＣＧ画像を重畳して表示できるシ
ステムも各種提案されている。例えば、特許文献１においては、現実画像とＣＧ画像を合
成することにより、ゴルフ中継等において、中継している映像中に写っている風景におけ
る起伏を視覚的に表示できるようにしている。
【特許文献１】特開２０００−１２８２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、そ
の撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身
で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りに
くいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行う
ことは困難であると考えられる。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景をも
想起することができる仮想風景表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の形態の仮想風景表示装置は、撮影位置情報と撮影日時情報を関連づけた撮影画像を記録する記録部と、通信部と、上記記録部に記録した画像と、上記記録部に記録されていない画像とを上記通信部を介して表示する表示部と、を具備する仮想風景表示装置において、上記記録されていない画像を表示する時に、上記通信部から上記記録された画像を外部機器に上記通信部を介して送信し、該外部機器が、上記送信された画像と位置情報と時刻情報を利用して検索した仮想風景画像を表示する制御部とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影当時に撮影されなかった風景をも想起することができる仮想風景
表示装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施形態を説明する。
【０００８】
図１は、本発明の一実施形態に係る仮想風景表示装置を含む、仮想風景表示システムの
構成を示す図である。図１に示す仮想風景表示システムは、カメラ１００と、サーバ２０
０とが通信回線３００を介して通信自在に接続されて構成されている。ここで、通信回線
３００はインターネット回線等の汎用の通信回線である。
【０００９】
カメラ１００は、制御部１０１と、操作入力部１０２と、撮像部１０３と、位置検出部
１０４と、時計部１０５と、記録部１０６と、表示部１０７と、通信部１０８とを有して
いる。
【００１０】
制御部１０１は、カメラ１００の全体の動作を制御する。この制御部１０１は、ユーザ
による操作入力部１０２の操作状態に従って各種の処理を制御する。操作入力部１０２は
、カメラ１００の電源をオンオフするための電源スイッチ、カメラ１００の撮影実行の指
示を与えるためのレリーズボタン、ズーム操作を実行するためのズームボタン、画像の通
常再生指示を与えるための再生ボタン、画像の思い出再生（詳細は後述）指示を与えるた
めの思い出再生ボタン、カメラ１００における各種選択操作を行うための十字キー、カメ
ラ１００における各種決定操作を行うためのＯＫボタン等、ユーザがカメラ１００の操作
を行うための各種の操作部材を含んで構成されている。
【００１１】
撮像部１０３は、制御部１０１の制御の下で被写体を撮影して画像を取得する。位置検
出部１０４は、例えばＧＰＳ等で構成され、撮影時のカメラ１００の位置（緯度・経度）
を検出する。時計部１０５は、撮影日時を検出する。
【００１２】
ここで、位置検出部１０４や時計部１０５は必ずしもカメラ１００に内蔵する必要はな
い。例えば、ＧＰＳ内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させること
で、これらによって検出される位置情報や時間情報をカメラ１００において取得するよう
にしても良い。
【００１３】
記録部１０６は、例えばカメラ１００に対して着脱自在に構成されたメモリカードであ
り、撮像部１０３を介して取得された画像を、位置検出部１０４で検出された撮影位置及
び時計部１０５で検出された撮影日時と関連付けて記録する。表示部１０７は、制御部１
０１の下で記録部１０６に記録された画像等の各種画像を表示する。
【００１４】
通信部１０８は、制御部１０１の制御の下、サーバ２００との通信に係る各種処理を行
う。
【００１５】
サーバ２００は、制御部２０１と、操作入力部２０２と、画像記録部２０３と、年代別
地図データベース（ＤＢ）２０４と、撮影者画像ＤＢ２０５と、仮想風景作成部２０６と
、通信部２０７とを有している。サーバ２００は、様々な地方の地図画像を記録できるよ
うに巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるよ
うにインターネットに接続されていることが望ましいが、カメラ１００にサーバ２００の
機能を持たせるようにしても良い。
【００１６】
制御部２０１は、サーバ２００における各種処理を制御する。この制御部２０１は、操
作入力部２０２が操作された場合には、その操作内容に従った処理も行う。操作入力部２
０２は、サーバ２００の操作を行うための各種の操作部材を含んで構成されている。ここ
で、図１においては、操作入力部２０２をサーバ２００に設けているが、操作入力部２０
２は、サーバ２００にネットワーク接続されたＰＣ等であっても良い。
【００１７】
画像記録部２０３は、カメラ１００から通信回線３００を介して送信された画像を記録
する。画像記録部２０３は、カメラ１００の記録部１０６に比して大容量の記録容量を有
するハードディスク等から構成されている。ここで、本実施形態における画像記録部２０
３は、位置年代記録部２０３ａとしての記録領域を有している。位置年代記録部２０３ａ
は、画像記録部２０３に記録されている各画像の撮影位置と撮影日時（撮影年代）とを関
連付けて記録しておくための記録領域である。
【００１８】
年代別地図ＤＢ２０４は、撮影年代毎の２Ｄ及び３Ｄ地図画像を記録したデータベース
である。ここで、年代別地図ＤＢ２０４は、画像記録部２０３とは別の記録媒体内に構築
しても良いし、画像記録部２０３内に構築しても良い。
【００１９】
撮影者画像ＤＢ２０５は、ユーザ（撮影者）の画像を記録したデータベースである。こ
の撮影者画像ＤＢ２０５に記録される撮影者の画像は、撮影者が自身で登録した実写画像、若しくはサーバ２００に予め登録されている撮影者の分身としてのキャラクタ画像であるアバターである。ユーザは、後述する思い出再生の際に作成される仮想風景画像に合成する自身の画像を実写画像とするかアバターとするかを操作入力部２０２又はカメラ１００の操作入力部１０２によって選択することが可能である。
【００２０】
仮想風景作成部２０６は、思い出再生の際に入力される画像に写っている被写体が見て
いる風景の画像（仮想風景画像）を作成し、さらに、必要に応じて仮想風景画像に入力された画像のユーザ（撮影者）の画像を合成する。仮想風景作成部２０６は、方向検出部２
０６１と、画像合成部２０６２とを有している。方向検出部２０６１は、同方向検出部２
０６１ａと反対方向検出部２０６１ｂとを有している。同方向検出部２０６１ａは、入力
された画像の撮影位置情報と、入力された画像に写っている風景とから、撮影方向を検出
する。反対方向検出部２０６１ｂは、同方向検出部２０６１ａによって検出された撮影方
向と相対する方向（１８０度の回転方向）を検出する。画像合成部２０６２は、反対方向
検出部２０６１ｂによって検出された方向に存在する風景の画像を仮想風景画像として年
代別地図ＤＢ２０４から取得し、必要に応じて、取得した風景の画像に、入力された画像
の撮影者の画像を合成する。即ち、画像合成部２０６２によって取得される仮想風景画像
は、入力された画像の撮影当時に被写体が見ていた方向、即ち撮影者が存在していた方向
に写っていたと考えられる風景の画像に相当する。
【００２１】
通信部２０７は、制御部２０１の制御の下、カメラ１００との通信に係る各種処理を行
う。
【００２２】
以下、図１に示す仮想風景表示システムの動作の概略について説明する。図２は、仮想
風景表示システムの動作の概略について示す図である。
【００２３】
本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状
態で画像が記録部１０６に記録される。
【００２４】
そして、ユーザの操作入力部１０２の操作により、カメラ１００の動作モードが思い出
画像再生モードに設定され、その後に、カメラ１００の記録部１０６に記録されている画
像が選択されると、選択された画像がサーバ２００に送信される。図２の例では、１２時
２０分に緯度Ａ、経度Ｂの位置で撮影された画像４０１が選択された例を示している。
【００２５】
画像４０１がサーバ２００において受信されると、年代別地図ＤＢ２０４から画像４０
１の撮影位置を含む２Ｄ地図画像４０２及び３Ｄ地図画像が取得される。その後、仮想風
景作成部２０６の同方向検出部２０６１ａにおいて、画像４０１に写っている風景から画
像４０１の撮影方向が特定される。画像４０１の撮影方向の特定後、反対方向検出部２０
６１ｂによって撮影方向と相対する方向（撮影方向の１８０度回転方向）が特定される。
この方向が、画像４０１の撮影当時に被写体が見ていたと考えられる方向となる。
【００２６】
反対方向検出部２０６１ｂによって撮影方向と相対する方向が特定されると、画像合成
部２０６２によって、被写体が見ていたと考えられる画像が仮想風景画像として、年代別
地図ＤＢ２０４の３Ｄ地図画像をもとに作成される。さらに、作成された仮想風景画像４
０３に必要に応じて撮影者の画像４０４が合成される。
【００２７】
以上のようにして仮想風景画像を作成することにより、実際には画像４０１しか撮影し
てなくとも、その撮影位置で見ることのできた他の画像をも鑑賞することが可能である。
【００２８】
以下、図１の仮想風景表示システムの具体的な動作について説明する。
【００２９】
図３は、図１に示す仮想風景表示システムにおけるカメラ１００の動作を示すフローチ
ャートである。ユーザによる操作入力部１０２の電源スイッチの操作によってカメラ１０
０の電源がオンされることで図３の処理が開始される。
【００３０】
電源のオン後、制御部１０１は、撮像部１０３を動作させ、撮像部１０３を介して得ら
れる画像を表示部１０７にリアルタイム表示させるスルー画表示を行う（ステップＳ１）
。スルー画表示の後、制御部１０１は、ユーザによる操作入力部１０２のレリーズボタン
の操作によって画像撮影指示がなされたかを判定する（ステップＳ２）。
【００３１】
ステップＳ２の判定において、画像撮影指示がなされた場合に、制御部１０１は、被写
体の撮影を実行する（ステップＳ３）。即ち、制御部１０１は、撮像部１０３を動作させ
て被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。そ
の後、制御部１０１は、撮影実行時に時計部１０５において検出された撮影日時情報を取
得するとともに（ステップＳ４）、撮影実行時に位置検出部１０４において検出された撮
影位置情報を取得する（ステップＳ５）。次に、制御部１０１は、撮影によって得られた
画像と撮影日時情報及び撮影位置情報とを関連付けて記録部１０６に記録する（ステップ
Ｓ６）。
【００３２】
また、ステップＳ２の判定において、画像撮影指示がなされていない場合に、制御部１
０１は、ユーザによる操作入力部１０２の再生ボタンの操作によって通常の画像再生指示
がなされたかを判定する（ステップＳ７）。ステップＳ７の判定において、通常の画像再
生指示がなされた場合に、制御部１０１は、通常の画像の再生に関する処理を行う（ステ
ップＳ８）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画
像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像
を表示部１０７に表示させる。なお、サーバ２００の画像記録部２０３に記録されている
画像をカメラ１００で再生できるようにしても良い。この場合には、カメラ１００からサ
ーバ２００に対して画像の再生要求がなされる。これを受けてサーバ２００に記録されて
いる画像のサムネイル画像が表示部１０７に表示される。何れかのサムネイル画像がユー
ザによって選択された場合、そのサムネイル画像に対応した画像がサーバ２００からカメ
ラ１００に送信され、この送信された画像が表示部１０７に表示される。
【００３３】
また、ステップＳ７の判定において、通常の画像再生指示がなされていない場合に、制
御部１０１は、ユーザによる操作入力部１０２の思い出再生ボタンの操作によって思い出
再生指示がなされたかを判定する（ステップＳ９）。ステップＳ９の判定において、思い
出再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の
操作により画像送信指示がなされたかを判定する（ステップＳ１０）。ステップＳ１０の
判定において、画像送信指示がなされていない場合に、処理がステップＳ１に戻り、制御
部１０１は、スルー画表示を再び行う。一方、ステップＳ１０の判定において、画像送信
指示がなされた場合に、制御部１０１は画像送信に関する処理を行う（ステップＳ１１）
。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部
１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ２
００に送信する。
【００３４】
また、ステップＳ９の判定において、思い出再生指示がなされた場合に、制御部１０１
は思い出再生に係る処理を実行する。まず、制御部１０１は、記録部１０６に記録されて
いる画像のサムネイル画像を表示部１０７に表示させる（ステップＳ１２）。次に、制御
部１０１は、ユーザによる操作入力部１０２の操作によってサムネイル画像中の何れかの
画像が選択されるのを待つ（ステップＳ１３）。
【００３５】
ステップＳ１３において画像の選択がなされた後、制御部１０１は、撮影者の画像の設
定の入力を待つ（ステップＳ１４）。この設定は、後述する思い出再生モードにおいて仮
想風景画像に、撮影者画像を合成するか、また合成する場合にはどのような画像を合成するか等の設定である。この撮影者画像の設定についての処理は後述する。
【００３６】
その後、制御部１０１は、ユーザによる操作入力部１０２の操作によって決定指示がなされたかを判定する（ステップＳ１５）。ステップＳ１５の判定において、決定指示がなされていない場合には、処理がステップＳ１３に戻って、制御部１０１は画像の選択及び
撮影者画像の設定入力の変更を待つ。一方、ステップＳ１５の判定において、決定指示が
なされた場合に、制御部１０１は、ユーザによって選択された画像をサーバ２００に送信
し、サーバ２００に対して思い出再生要求を送信する。この際、ステップＳ１４で設定さ
れた撮影者画像の設定情報もサーバ２００に送信する（ステップＳ１６）。この後、後述
するサーバ２００の処理において、思い出再生用の画像ファイルが生成される。
【００３７】
その後、制御部１０１は、サーバ２００において生成された思い出再生用の画像ファイ
ルを受信したかを判定する（ステップＳ１７）。ステップＳ１７において、サーバ２００
から画像ファイルを受信するまで待機する。ステップＳ１７の判定において、サーバ２０
０から画像ファイルが受信された場合に、制御部１０１は、ユーザにその旨を通知する。
ユーザによって思い出画像ファイルの再生指示がなされたかを判定する（ステップＳ１８
）。ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされた場合に、
制御部１０１は、サーバ２００から送信された画像ファイルに基づき、撮影時に被写体が
見ていたと考えられる風景画像を表示部１０７に表示させる思い出再生処理を行う（ステ
ップＳ１９）。この思い出再生処理については後述する。また、ステップＳ１８の判定に
おいて、思い出画像ファイルの再生指示がなされなかった場合に、制御部１０１は、ステ
ップＳ１９の処理をスキップする。
【００３８】
ステップＳ１８又はステップＳ１９の後、制御部１０１は、ユーザの操作入力部１０２
の操作により画像ファイルの記録指示がなされたかを判定する（ステップＳ２０）。ステ
ップＳ２０の判定において、画像ファイルの記録指示がなされた場合に、制御部１０１は
画像ファイルを記録部１０６に記録する（ステップＳ２１）。また、ステップＳ２０の判
定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部１０１は、
ステップＳ２１の処理をスキップする。
【００３９】
図４は、図１に示す仮想風景表示システムにおけるサーバ２００の動作を示すフローチ
ャートである。制御部２０１は、思い出再生要求がなされていない状態でカメラ１００か
らの画像を受信したかを判定する（ステップＳ３１）。ステップＳ３１の判定において、
画像を受信した場合に、制御部２０１は、受信した画像を画像記録部２０３に記録する（
ステップＳ３２）。その後、制御部２０１は、カメラ１００からの画像の受信が終了した
かを判定する（ステップＳ３３）。ステップＳ３３の判定において、画像の受信が終了し
ていない場合に、処理がステップＳ３１に戻り、制御部２０１は、カメラ１００からの次
の画像の受信を待つ。
【００４０】
また、ステップＳ３１の判定において、画像の受信がない場合に、制御部２０１は、カ
メラ１００から画像とともに思い出再生要求がなされたかを判定する（ステップＳ３４）
。ステップＳ３４の判定において、思い出再生要求がなされていない場合に、制御部２０
１は、カメラ１００から通常の画像の再生要求がなされたかを判定する（ステップＳ３５
）。ステップＳ３５の判定において、通常の画像の再生要求がなされた場合に、制御部２
０１はユーザによって選択された画像をカメラ１００に転送する。これにより、カメラ１
００の表示部１０７において画像再生が行われる（ステップＳ３６）。
【００４１】
また、ステップＳ３４の判定において、思い出再生要求がなされた場合に、制御部２０
１はカメラ１００から送られてきた画像を取得する（ステップＳ３７）。次に、制御部２
０１は、カメラ１００から送られてきた撮影者画像の設定情報に基づいて撮影者画像を取
得する（ステップＳ３８）。即ち、カメラ１００から撮影者を示す画像が送られてきた場
合には、その画像を撮影者画像として取得する。また、サーバ２００の撮影者画像ＤＢ２
０５に記録されている画像を合成するように要求されている場合には、その画像を撮影者
画像として取得する。
【００４２】
その後、制御部２０１は、取得した画像に付加されている撮影日時と撮影位置の情報に
基づき、年代別地図ＤＢ２０４から、カメラ１００から送られてきた画像の撮影日時と同
年代で且つその画像の撮影位置を含む２Ｄ地図画像及び３Ｄ地図画像を選択し（ステップ
Ｓ３９）、選択した２Ｄ地図画像及び３Ｄ地図画像を仮想風景作成部２０６に送る。その
後、仮想風景作成部２０６の同方向検出部２０６１ａは、カメラ１００から送られてきた
画像に写っている風景から、カメラ１００から送られてきた画像の撮影方向を検出する（
ステップＳ４０）。即ち、同方向検出部２０６１ａは、撮影者が撮影位置に立ったときに
見えるはずの画像（撮影位置を中心として３６０度回転方向に沿って存在する風景画像）
を３Ｄ地図画像から選択する。そして、仮想風景各選択した画像とカメラ１００から送ら
れてきた画像とのマッチング処理を行い、マッチング処理によって最も一致度の高いと判
定される風景画像が存在する方向を撮影方向として検出する。例えば、図２の位置４０２
ａに存在する風景画像との一致度が高いと判定される場合には、撮影方向は矢印Ｃで示す
ものとなる。撮影方向の検出後、仮想風景作成部２０６の反対方向検出部２０６１ｂは、
撮影方向の反対方向（撮影方向に対して１８０度回転方向。図２の例では矢印Ｄの方向）
を検出する（ステップＳ４１）。
【００４３】
反対方向の検出終了後、制御部２０１は、撮影者画像の設定情報に基づき、撮影者画像
を合成するように設定されているかを判定する（ステップＳ４２）。ステップＳ４２の判
定において、撮影者画像を合成するように設定されている場合に、制御部２０１は、撮影
位置の周囲３６０度の位置に対応した風景画像を仮想風景画像として選択し、選択した仮
想風景画像の中で、ステップＳ４１で検出された反対方向に対応した位置（図２の例では
位置４０２ｂ）に対応した仮想風景画像を選択し、選択した仮想風景画像を画像合成部２
０６２に送る。画像合成部２０６２は、送られてきた仮想風景画像にステップＳ３８で取
得した撮影者画像を合成する。このような画像の合成の後、制御部２０１は、合成がなさ
れた仮想風景画像を含む撮影位置周辺の仮想風景画像を１つの画像ファイルとする（ステ
ップＳ４３）。一方、ステップＳ４２の判定において、撮影者画像を合成するように設定
されていない場合に、制御部２０１は、撮影位置の周囲３６０度の位置に対応した風景画
像を仮想風景画像として選択し、選択した各仮想風景画像とステップＳ３８で取得した撮
影者画像とを１つの画像ファイルとする（ステップＳ４４）。また、ここで作成される思
い出画像ファイルには、ステップＳ４１で検出された反対方向の情報も含めておく。この
ようにして、仮想風景画像と撮影者画像とを合成せずに画像ファイルに記録しておくこと
により、カメラ１００においても合成を行うことが可能となる。
【００４４】
図５は、図３のステップＳ１４における撮影者画像の設定処理について示すフローチャ
ートである。ユーザ（撮影者）は、サーバ２００の撮影者画像ＤＢ２０５に記録されてい
る画像の中から所望の撮影者画像を選択することができる。なお、撮影者画像の設定は、
サーバ２００にネットワーク接続されたＰＣ上から行うことも可能である。
【００４５】
撮影者画像の設定の際に、制御部１０１は、サーバ２００からアバターの候補画像を受
信し、受信した候補画像のサムネイル画像を図６（ａ）の参照符号１０７ａに示すように
して表示させる。そして、ユーザによるアバター候補の選択を待つ（ステップＳ５１）。
この際、制御部１０１は、ユーザによりアバターの候補が選択されたかを判定し（ステッ
プＳ５２）、選択がなされるまでステップＳ５１〜Ｓ５２の処理を繰り返す。ステップＳ
５１では、アバターの性別やスタイル等のアバターの外形を選択することが可能である。
即ち、ユーザは、操作入力部１０２の十字キー１０２ａとＯＫボタン１０２ｂとを操作し
てカーソル１０７ｂを移動させ、表示部１０７に表示された何れかのサムネイル画像を選
択することにより、所望の外形のアバターを選択することが可能である。
【００４６】
ステップＳ５２の判定において、アバターの候補が選択された場合に、制御部１０１は
、サーバ２００から、選択された外形に対応したアバターの候補画像を受信し、受信した
候補画像のサムネイル画像を図６（ｂ）の参照符号１０７ｃに示すようにして表示させる
。そして、ユーザによるアバター候補の選択を待つ（ステップＳ５３）。この際、制御部
１０１は、ユーザによりアバターの候補が選択されたかを判定し（ステップＳ５４）、選
択がなされるまでステップＳ５３〜Ｓ５４の処理を繰り返す。ステップＳ５３では、アバ
ターのポーズを選択することが可能である。即ち、ユーザは、操作入力部１０２の十字キ
ー１０２ａとＯＫボタン１０２ｂとを操作してカーソル１０７ｂを移動させ、表示部１０
７に表示された何れかのサムネイル画像を選択することにより、ステップＳ５１で選択さ
れた外形に対応した所望のポーズのアバターを選択することが可能である。
【００４７】
ステップＳ５４の判定において、アバターの候補が選択された場合に、制御部１０１は
、選択されたポーズに基づいてアバターの候補画像を作成し、作成したアバターの候補画
像をユーザへの確認用の画像として表示部１０７に表示させる（ステップＳ５５）。その
後、制御部１０１は、ユーザによってＯＫ操作がなされたかを判定する（ステップＳ５６
）。ＯＫ操作は、ユーザによるＯＫボタン１０２ｂの操作である。ステップＳ５６の判定
において、ＯＫ操作がなされていない場合には、処理がステップＳ５３に戻り、制御部１
０１は、アバター候補の選択を再び待つ。
【００４８】
また、ステップＳ５６の判定において、ユーザによってＯＫ操作がなされた場合に、制
御部１０１は、サーバ２００と通信してサーバ２００の撮影者画像ＤＢ２０５に撮影者で
あるユーザを示す実写画像（撮影者が自身で登録した画像）が記録されているかを判定す
る（ステップＳ５７）。ステップＳ５７の判定において、実写画像が記録されていない場
合に、制御部１０１は、図５の処理を終了させる。一方、ステップＳ５７の判定において
、実写画像が記録されている場合に、制御部１０１は、サーバ２００から実写画像を受信
し、受信した実写画像のサムネイル画像を図６（ｃ）の参照符号１０７ｄに示すようにし
て表示させる。そして、ユーザによる実写画像の選択を待つ（ステップＳ５８）。この際
、制御部１０１は、ユーザによりアバターの候補となる実写画像が選択されたかを判定し
（ステップＳ５９）、選択がなされるまでステップＳ５８〜Ｓ５９の処理を繰り返す。
【００４９】
ステップＳ５９の判定において、アバターの候補となる実写画像が選択された場合に、
制御部１０１は、選択された実写画像における顔部の画像をステップＳ５５で作成された
アバター候補の顔部に合成する（ステップＳ６０）。その後、制御部１０１は、図５の処
理を終了させる。
【００５０】
以上のようにして合成されたアバターの画像は、図３のステップＳ１６の思い出再生要
求の際に、サーバ２００に送信される。このアバターの画像は、思い出画像ファイルの作
成時に必要に応じて仮想風景画像に合成される。これにより、ユーザ（撮影者）が自身の
画像を撮影していなくとも、自身を示す画像を作成することができる。このような画像を
仮想風景画像に合成することにより、ユーザは、自身が写っている画像を撮影していなく
とも、撮影当時に被写体が見ていた風景を含む、その当時に撮影しなかった風景の画像を
鑑賞することができる。これにより、ユーザは、撮影当時の状況を想起できる。
【００５１】
図７は、カメラ１００による思い出再生時の処理について示すフローチャートである。
ここで、本実施形態においては、思い出再生時にも、仮想風景画像と撮影者画像とを合成
することができるようになされている。
【００５２】
思い出画像ファイルが受信され、ユーザによって思い出再生の指示がなされた後、制御
部１０１は、思い出画像ファイル内に撮影者画像が含まれているか（サーバ２００におい
て撮影者画像の合成がなされていないか）を判定する（ステップＳ７１）。ステップＳ７
１の判定において、思い出画像ファイル内に撮影者画像が含まれている場合に、制御部１
０１は、ユーザ操作によって撮影者画像を仮想風景画像に合成するように指示されたかを
判定する（ステップＳ７２）。ステップＳ７２の判定において、撮影者画像を合成するよ
うに指示された場合に、制御部１０１は、図８（ａ）に示すような撮影者画像を、図８（
ｂ）に示すような撮影方向の反対方向に対応した仮想風景画像に合成する（ステップＳ７
３）。
【００５３】
ステップＳ７１、Ｓ７２、又はＳ７３の後、制御部１０１は、仮想風景画像を表示部１
０７に表示させることで思い出再生を実行する（ステップＳ７４）。思い出再生の際、制
御部１０１は、ユーザによってＯＫ操作がなされたかを判定する（ステップＳ７５）。ス
テップＳ７５の判定において、ＯＫ操作がなされた場合に、制御部１０１は、図７の処理
を終了させる。その後、図８（ｄ）に示すようにして作成された仮想風景画像５０１ａを
含む思い出画像ファイルが、ユーザ操作に従って記録部１０６に記録される。
【００５４】
一方、ステップＳ７５の判定において、ＯＫ操作がなされていない場合に、制御部１０
１は、ユーザによって十字キー１０２ａの左右キーの操作がなされたかを判定する（ステ
ップＳ７６）。ステップＳ７６の判定において、十字キー１０２ａの操作がなされた場合
に、制御部１０１は、十字キー１０２ａの操作方向に従って画像ファイル中の別の仮想風
景画像を選択し、選択した仮想風景画像に、再度、撮影者画像を合成することにより、撮
影者画像の合成位置の変更を行う（ステップＳ７７）。ユーザは、十字キー１０２ａの左
右キーの操作によって図８（ｃ）の矢印Ｅ方向（撮影位置を中心とした３６０度回転方向
）に沿って仮想風景画像を選択することができる。例えば、図８（ｃ）の状態で右キーが
押された場合には、仮想風景画像５０１の右隣の仮想風景画像が選択され、選択された仮
想風景画像の中心位置に撮影者画像５０２が合成される。また、図８（ｃ）の状態で左キ
ーが押された場合には、仮想風景画像５０１の左隣の仮想風景画像が選択され、選択され
た仮想風景画像の中心位置に撮影者画像５０２が合成される。
【００５５】
ステップＳ７６又はＳ７７の後、制御部１０１は、ユーザによってズーム操作がなされ
たかを判定する（ステップＳ７８）。ステップＳ７８の判定において、ズーム操作がなさ
れた場合に、制御部１０１は、ズームボタンの操作方向に従って撮影者画像を拡大又は縮
小し、拡大又は縮小後の撮影者画像を仮想風景画像に、再度合成することにより、撮影者
画像の表示範囲の変更を行う（ステップＳ７９）。ユーザは、ズームボタンの操作によっ
て図８（ｃ）の矢印Ｆ方向に撮影画像の拡大又は縮小を行うことができる。例えば、ズー
ムボタンのワイド側が押された場合には、撮影者画像を拡大する。また、ズームボタンの
テレ側が押された場合には、撮影者画像を縮小する。
【００５６】
以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなか
った風景等の画像を３Ｄ地図画像から作成することにより、撮影時に被写体が見ていたは
ずの風景等を撮影後に鑑賞して思い出を想起することが可能となる。
【００５７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定される
ものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００５８】
例えば、上述の実施形態では、カメラ１００とサーバ２００とで構成されるシステムに
ついて説明しているが、カメラ１００の代わりにＰＣや携帯電話機等を用いても良い。即
ち、少なくとも画像の表示機能を備える機器であれば、カメラ１００の代わりに用いるこ
とが可能である。
【００５９】
また、仮想風景画像は、３Ｄ地図画像の他に、衛星写真や航空写真等を利用して作成す
るようにしても良い。
【００６０】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構
成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全
構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述
したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出さ
れ得る。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態に係る仮想風景表示装置を含む、仮想風景表示システムの構成を示す図である。
【図２】仮想風景表示システムの動作の概略について示す図である。
【図３】図１に示す仮想風景表示システムにおけるカメラの動作を示すフローチャートである。
【図４】図１に示す仮想風景表示システムにおけるサーバの動作を示すフローチャートである。
【図５】撮影者画像の設定処理について示すフローチャートである。
【図６】撮影者画像の設定処理の際の表示部の表示例を示すフローチャートである。
【図７】思い出再生時の処理について示すフローチャートである。
【図８】思い出再生時の画像合成処理について説明するための図である。
【符号の説明】
【００６２】
１００…カメラ、１０１…制御部、１０２…操作入力部、１０３…撮像部、１０４…位
置検出部、１０５…時計部、１０６…記録部、１０７…表示部、１０８…通信部、２００
…サーバ、２０１…制御部、２０２…操作入力部、２０３…画像記録部、２０３ａ…位置
年代記録部、２０４…年代別地図データベース（ＤＢ）、２０５…撮影者画像ＤＢ、２０
６…仮想風景作成部、２０７…通信部、３００…通信回線
【技術分野】
【０００１】
本発明は、撮影された撮影位置情報付きの画像から、撮影時に被写体が見ていた風景の
画像を補足して表示する仮想風景表示装置に関する。
【背景技術】
【０００２】
近年、グーグル（登録商標）マップのように、３次元（３Ｄ）画像によって地図表示を
行うサービスが各種提案されている。また、現実画像にＣＧ画像を重畳して表示できるシ
ステムも各種提案されている。例えば、特許文献１においては、現実画像とＣＧ画像を合
成することにより、ゴルフ中継等において、中継している映像中に写っている風景におけ
る起伏を視覚的に表示できるようにしている。
【特許文献１】特開２０００−１２８２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、そ
の撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身
で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りに
くいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行う
ことは困難であると考えられる。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景をも
想起することができる仮想風景表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の形態の仮想風景表示装置は、撮影位置情報と撮影日時情報を関連づけた撮影画像を記録する記録部と、通信部と、上記記録部に記録した画像と、上記記録部に記録されていない画像とを上記通信部を介して表示する表示部と、を具備する仮想風景表示装置において、上記記録されていない画像を表示する時に、上記通信部から上記記録された画像を外部機器に上記通信部を介して送信し、該外部機器が、上記送信された画像と位置情報と時刻情報を利用して検索した仮想風景画像を表示する制御部とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影当時に撮影されなかった風景をも想起することができる仮想風景
表示装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施形態を説明する。
【０００８】
図１は、本発明の一実施形態に係る仮想風景表示装置を含む、仮想風景表示システムの
構成を示す図である。図１に示す仮想風景表示システムは、カメラ１００と、サーバ２０
０とが通信回線３００を介して通信自在に接続されて構成されている。ここで、通信回線
３００はインターネット回線等の汎用の通信回線である。
【０００９】
カメラ１００は、制御部１０１と、操作入力部１０２と、撮像部１０３と、位置検出部
１０４と、時計部１０５と、記録部１０６と、表示部１０７と、通信部１０８とを有して
いる。
【００１０】
制御部１０１は、カメラ１００の全体の動作を制御する。この制御部１０１は、ユーザ
による操作入力部１０２の操作状態に従って各種の処理を制御する。操作入力部１０２は
、カメラ１００の電源をオンオフするための電源スイッチ、カメラ１００の撮影実行の指
示を与えるためのレリーズボタン、ズーム操作を実行するためのズームボタン、画像の通
常再生指示を与えるための再生ボタン、画像の思い出再生（詳細は後述）指示を与えるた
めの思い出再生ボタン、カメラ１００における各種選択操作を行うための十字キー、カメ
ラ１００における各種決定操作を行うためのＯＫボタン等、ユーザがカメラ１００の操作
を行うための各種の操作部材を含んで構成されている。
【００１１】
撮像部１０３は、制御部１０１の制御の下で被写体を撮影して画像を取得する。位置検
出部１０４は、例えばＧＰＳ等で構成され、撮影時のカメラ１００の位置（緯度・経度）
を検出する。時計部１０５は、撮影日時を検出する。
【００１２】
ここで、位置検出部１０４や時計部１０５は必ずしもカメラ１００に内蔵する必要はな
い。例えば、ＧＰＳ内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させること
で、これらによって検出される位置情報や時間情報をカメラ１００において取得するよう
にしても良い。
【００１３】
記録部１０６は、例えばカメラ１００に対して着脱自在に構成されたメモリカードであ
り、撮像部１０３を介して取得された画像を、位置検出部１０４で検出された撮影位置及
び時計部１０５で検出された撮影日時と関連付けて記録する。表示部１０７は、制御部１
０１の下で記録部１０６に記録された画像等の各種画像を表示する。
【００１４】
通信部１０８は、制御部１０１の制御の下、サーバ２００との通信に係る各種処理を行
う。
【００１５】
サーバ２００は、制御部２０１と、操作入力部２０２と、画像記録部２０３と、年代別
地図データベース（ＤＢ）２０４と、撮影者画像ＤＢ２０５と、仮想風景作成部２０６と
、通信部２０７とを有している。サーバ２００は、様々な地方の地図画像を記録できるよ
うに巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるよ
うにインターネットに接続されていることが望ましいが、カメラ１００にサーバ２００の
機能を持たせるようにしても良い。
【００１６】
制御部２０１は、サーバ２００における各種処理を制御する。この制御部２０１は、操
作入力部２０２が操作された場合には、その操作内容に従った処理も行う。操作入力部２
０２は、サーバ２００の操作を行うための各種の操作部材を含んで構成されている。ここ
で、図１においては、操作入力部２０２をサーバ２００に設けているが、操作入力部２０
２は、サーバ２００にネットワーク接続されたＰＣ等であっても良い。
【００１７】
画像記録部２０３は、カメラ１００から通信回線３００を介して送信された画像を記録
する。画像記録部２０３は、カメラ１００の記録部１０６に比して大容量の記録容量を有
するハードディスク等から構成されている。ここで、本実施形態における画像記録部２０
３は、位置年代記録部２０３ａとしての記録領域を有している。位置年代記録部２０３ａ
は、画像記録部２０３に記録されている各画像の撮影位置と撮影日時（撮影年代）とを関
連付けて記録しておくための記録領域である。
【００１８】
年代別地図ＤＢ２０４は、撮影年代毎の２Ｄ及び３Ｄ地図画像を記録したデータベース
である。ここで、年代別地図ＤＢ２０４は、画像記録部２０３とは別の記録媒体内に構築
しても良いし、画像記録部２０３内に構築しても良い。
【００１９】
撮影者画像ＤＢ２０５は、ユーザ（撮影者）の画像を記録したデータベースである。こ
の撮影者画像ＤＢ２０５に記録される撮影者の画像は、撮影者が自身で登録した実写画像、若しくはサーバ２００に予め登録されている撮影者の分身としてのキャラクタ画像であるアバターである。ユーザは、後述する思い出再生の際に作成される仮想風景画像に合成する自身の画像を実写画像とするかアバターとするかを操作入力部２０２又はカメラ１００の操作入力部１０２によって選択することが可能である。
【００２０】
仮想風景作成部２０６は、思い出再生の際に入力される画像に写っている被写体が見て
いる風景の画像（仮想風景画像）を作成し、さらに、必要に応じて仮想風景画像に入力された画像のユーザ（撮影者）の画像を合成する。仮想風景作成部２０６は、方向検出部２
０６１と、画像合成部２０６２とを有している。方向検出部２０６１は、同方向検出部２
０６１ａと反対方向検出部２０６１ｂとを有している。同方向検出部２０６１ａは、入力
された画像の撮影位置情報と、入力された画像に写っている風景とから、撮影方向を検出
する。反対方向検出部２０６１ｂは、同方向検出部２０６１ａによって検出された撮影方
向と相対する方向（１８０度の回転方向）を検出する。画像合成部２０６２は、反対方向
検出部２０６１ｂによって検出された方向に存在する風景の画像を仮想風景画像として年
代別地図ＤＢ２０４から取得し、必要に応じて、取得した風景の画像に、入力された画像
の撮影者の画像を合成する。即ち、画像合成部２０６２によって取得される仮想風景画像
は、入力された画像の撮影当時に被写体が見ていた方向、即ち撮影者が存在していた方向
に写っていたと考えられる風景の画像に相当する。
【００２１】
通信部２０７は、制御部２０１の制御の下、カメラ１００との通信に係る各種処理を行
う。
【００２２】
以下、図１に示す仮想風景表示システムの動作の概略について説明する。図２は、仮想
風景表示システムの動作の概略について示す図である。
【００２３】
本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状
態で画像が記録部１０６に記録される。
【００２４】
そして、ユーザの操作入力部１０２の操作により、カメラ１００の動作モードが思い出
画像再生モードに設定され、その後に、カメラ１００の記録部１０６に記録されている画
像が選択されると、選択された画像がサーバ２００に送信される。図２の例では、１２時
２０分に緯度Ａ、経度Ｂの位置で撮影された画像４０１が選択された例を示している。
【００２５】
画像４０１がサーバ２００において受信されると、年代別地図ＤＢ２０４から画像４０
１の撮影位置を含む２Ｄ地図画像４０２及び３Ｄ地図画像が取得される。その後、仮想風
景作成部２０６の同方向検出部２０６１ａにおいて、画像４０１に写っている風景から画
像４０１の撮影方向が特定される。画像４０１の撮影方向の特定後、反対方向検出部２０
６１ｂによって撮影方向と相対する方向（撮影方向の１８０度回転方向）が特定される。
この方向が、画像４０１の撮影当時に被写体が見ていたと考えられる方向となる。
【００２６】
反対方向検出部２０６１ｂによって撮影方向と相対する方向が特定されると、画像合成
部２０６２によって、被写体が見ていたと考えられる画像が仮想風景画像として、年代別
地図ＤＢ２０４の３Ｄ地図画像をもとに作成される。さらに、作成された仮想風景画像４
０３に必要に応じて撮影者の画像４０４が合成される。
【００２７】
以上のようにして仮想風景画像を作成することにより、実際には画像４０１しか撮影し
てなくとも、その撮影位置で見ることのできた他の画像をも鑑賞することが可能である。
【００２８】
以下、図１の仮想風景表示システムの具体的な動作について説明する。
【００２９】
図３は、図１に示す仮想風景表示システムにおけるカメラ１００の動作を示すフローチ
ャートである。ユーザによる操作入力部１０２の電源スイッチの操作によってカメラ１０
０の電源がオンされることで図３の処理が開始される。
【００３０】
電源のオン後、制御部１０１は、撮像部１０３を動作させ、撮像部１０３を介して得ら
れる画像を表示部１０７にリアルタイム表示させるスルー画表示を行う（ステップＳ１）
。スルー画表示の後、制御部１０１は、ユーザによる操作入力部１０２のレリーズボタン
の操作によって画像撮影指示がなされたかを判定する（ステップＳ２）。
【００３１】
ステップＳ２の判定において、画像撮影指示がなされた場合に、制御部１０１は、被写
体の撮影を実行する（ステップＳ３）。即ち、制御部１０１は、撮像部１０３を動作させ
て被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。そ
の後、制御部１０１は、撮影実行時に時計部１０５において検出された撮影日時情報を取
得するとともに（ステップＳ４）、撮影実行時に位置検出部１０４において検出された撮
影位置情報を取得する（ステップＳ５）。次に、制御部１０１は、撮影によって得られた
画像と撮影日時情報及び撮影位置情報とを関連付けて記録部１０６に記録する（ステップ
Ｓ６）。
【００３２】
また、ステップＳ２の判定において、画像撮影指示がなされていない場合に、制御部１
０１は、ユーザによる操作入力部１０２の再生ボタンの操作によって通常の画像再生指示
がなされたかを判定する（ステップＳ７）。ステップＳ７の判定において、通常の画像再
生指示がなされた場合に、制御部１０１は、通常の画像の再生に関する処理を行う（ステ
ップＳ８）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画
像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像
を表示部１０７に表示させる。なお、サーバ２００の画像記録部２０３に記録されている
画像をカメラ１００で再生できるようにしても良い。この場合には、カメラ１００からサ
ーバ２００に対して画像の再生要求がなされる。これを受けてサーバ２００に記録されて
いる画像のサムネイル画像が表示部１０７に表示される。何れかのサムネイル画像がユー
ザによって選択された場合、そのサムネイル画像に対応した画像がサーバ２００からカメ
ラ１００に送信され、この送信された画像が表示部１０７に表示される。
【００３３】
また、ステップＳ７の判定において、通常の画像再生指示がなされていない場合に、制
御部１０１は、ユーザによる操作入力部１０２の思い出再生ボタンの操作によって思い出
再生指示がなされたかを判定する（ステップＳ９）。ステップＳ９の判定において、思い
出再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の
操作により画像送信指示がなされたかを判定する（ステップＳ１０）。ステップＳ１０の
判定において、画像送信指示がなされていない場合に、処理がステップＳ１に戻り、制御
部１０１は、スルー画表示を再び行う。一方、ステップＳ１０の判定において、画像送信
指示がなされた場合に、制御部１０１は画像送信に関する処理を行う（ステップＳ１１）
。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部
１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ２
００に送信する。
【００３４】
また、ステップＳ９の判定において、思い出再生指示がなされた場合に、制御部１０１
は思い出再生に係る処理を実行する。まず、制御部１０１は、記録部１０６に記録されて
いる画像のサムネイル画像を表示部１０７に表示させる（ステップＳ１２）。次に、制御
部１０１は、ユーザによる操作入力部１０２の操作によってサムネイル画像中の何れかの
画像が選択されるのを待つ（ステップＳ１３）。
【００３５】
ステップＳ１３において画像の選択がなされた後、制御部１０１は、撮影者の画像の設
定の入力を待つ（ステップＳ１４）。この設定は、後述する思い出再生モードにおいて仮
想風景画像に、撮影者画像を合成するか、また合成する場合にはどのような画像を合成するか等の設定である。この撮影者画像の設定についての処理は後述する。
【００３６】
その後、制御部１０１は、ユーザによる操作入力部１０２の操作によって決定指示がなされたかを判定する（ステップＳ１５）。ステップＳ１５の判定において、決定指示がなされていない場合には、処理がステップＳ１３に戻って、制御部１０１は画像の選択及び
撮影者画像の設定入力の変更を待つ。一方、ステップＳ１５の判定において、決定指示が
なされた場合に、制御部１０１は、ユーザによって選択された画像をサーバ２００に送信
し、サーバ２００に対して思い出再生要求を送信する。この際、ステップＳ１４で設定さ
れた撮影者画像の設定情報もサーバ２００に送信する（ステップＳ１６）。この後、後述
するサーバ２００の処理において、思い出再生用の画像ファイルが生成される。
【００３７】
その後、制御部１０１は、サーバ２００において生成された思い出再生用の画像ファイ
ルを受信したかを判定する（ステップＳ１７）。ステップＳ１７において、サーバ２００
から画像ファイルを受信するまで待機する。ステップＳ１７の判定において、サーバ２０
０から画像ファイルが受信された場合に、制御部１０１は、ユーザにその旨を通知する。
ユーザによって思い出画像ファイルの再生指示がなされたかを判定する（ステップＳ１８
）。ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされた場合に、
制御部１０１は、サーバ２００から送信された画像ファイルに基づき、撮影時に被写体が
見ていたと考えられる風景画像を表示部１０７に表示させる思い出再生処理を行う（ステ
ップＳ１９）。この思い出再生処理については後述する。また、ステップＳ１８の判定に
おいて、思い出画像ファイルの再生指示がなされなかった場合に、制御部１０１は、ステ
ップＳ１９の処理をスキップする。
【００３８】
ステップＳ１８又はステップＳ１９の後、制御部１０１は、ユーザの操作入力部１０２
の操作により画像ファイルの記録指示がなされたかを判定する（ステップＳ２０）。ステ
ップＳ２０の判定において、画像ファイルの記録指示がなされた場合に、制御部１０１は
画像ファイルを記録部１０６に記録する（ステップＳ２１）。また、ステップＳ２０の判
定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部１０１は、
ステップＳ２１の処理をスキップする。
【００３９】
図４は、図１に示す仮想風景表示システムにおけるサーバ２００の動作を示すフローチ
ャートである。制御部２０１は、思い出再生要求がなされていない状態でカメラ１００か
らの画像を受信したかを判定する（ステップＳ３１）。ステップＳ３１の判定において、
画像を受信した場合に、制御部２０１は、受信した画像を画像記録部２０３に記録する（
ステップＳ３２）。その後、制御部２０１は、カメラ１００からの画像の受信が終了した
かを判定する（ステップＳ３３）。ステップＳ３３の判定において、画像の受信が終了し
ていない場合に、処理がステップＳ３１に戻り、制御部２０１は、カメラ１００からの次
の画像の受信を待つ。
【００４０】
また、ステップＳ３１の判定において、画像の受信がない場合に、制御部２０１は、カ
メラ１００から画像とともに思い出再生要求がなされたかを判定する（ステップＳ３４）
。ステップＳ３４の判定において、思い出再生要求がなされていない場合に、制御部２０
１は、カメラ１００から通常の画像の再生要求がなされたかを判定する（ステップＳ３５
）。ステップＳ３５の判定において、通常の画像の再生要求がなされた場合に、制御部２
０１はユーザによって選択された画像をカメラ１００に転送する。これにより、カメラ１
００の表示部１０７において画像再生が行われる（ステップＳ３６）。
【００４１】
また、ステップＳ３４の判定において、思い出再生要求がなされた場合に、制御部２０
１はカメラ１００から送られてきた画像を取得する（ステップＳ３７）。次に、制御部２
０１は、カメラ１００から送られてきた撮影者画像の設定情報に基づいて撮影者画像を取
得する（ステップＳ３８）。即ち、カメラ１００から撮影者を示す画像が送られてきた場
合には、その画像を撮影者画像として取得する。また、サーバ２００の撮影者画像ＤＢ２
０５に記録されている画像を合成するように要求されている場合には、その画像を撮影者
画像として取得する。
【００４２】
その後、制御部２０１は、取得した画像に付加されている撮影日時と撮影位置の情報に
基づき、年代別地図ＤＢ２０４から、カメラ１００から送られてきた画像の撮影日時と同
年代で且つその画像の撮影位置を含む２Ｄ地図画像及び３Ｄ地図画像を選択し（ステップ
Ｓ３９）、選択した２Ｄ地図画像及び３Ｄ地図画像を仮想風景作成部２０６に送る。その
後、仮想風景作成部２０６の同方向検出部２０６１ａは、カメラ１００から送られてきた
画像に写っている風景から、カメラ１００から送られてきた画像の撮影方向を検出する（
ステップＳ４０）。即ち、同方向検出部２０６１ａは、撮影者が撮影位置に立ったときに
見えるはずの画像（撮影位置を中心として３６０度回転方向に沿って存在する風景画像）
を３Ｄ地図画像から選択する。そして、仮想風景各選択した画像とカメラ１００から送ら
れてきた画像とのマッチング処理を行い、マッチング処理によって最も一致度の高いと判
定される風景画像が存在する方向を撮影方向として検出する。例えば、図２の位置４０２
ａに存在する風景画像との一致度が高いと判定される場合には、撮影方向は矢印Ｃで示す
ものとなる。撮影方向の検出後、仮想風景作成部２０６の反対方向検出部２０６１ｂは、
撮影方向の反対方向（撮影方向に対して１８０度回転方向。図２の例では矢印Ｄの方向）
を検出する（ステップＳ４１）。
【００４３】
反対方向の検出終了後、制御部２０１は、撮影者画像の設定情報に基づき、撮影者画像
を合成するように設定されているかを判定する（ステップＳ４２）。ステップＳ４２の判
定において、撮影者画像を合成するように設定されている場合に、制御部２０１は、撮影
位置の周囲３６０度の位置に対応した風景画像を仮想風景画像として選択し、選択した仮
想風景画像の中で、ステップＳ４１で検出された反対方向に対応した位置（図２の例では
位置４０２ｂ）に対応した仮想風景画像を選択し、選択した仮想風景画像を画像合成部２
０６２に送る。画像合成部２０６２は、送られてきた仮想風景画像にステップＳ３８で取
得した撮影者画像を合成する。このような画像の合成の後、制御部２０１は、合成がなさ
れた仮想風景画像を含む撮影位置周辺の仮想風景画像を１つの画像ファイルとする（ステ
ップＳ４３）。一方、ステップＳ４２の判定において、撮影者画像を合成するように設定
されていない場合に、制御部２０１は、撮影位置の周囲３６０度の位置に対応した風景画
像を仮想風景画像として選択し、選択した各仮想風景画像とステップＳ３８で取得した撮
影者画像とを１つの画像ファイルとする（ステップＳ４４）。また、ここで作成される思
い出画像ファイルには、ステップＳ４１で検出された反対方向の情報も含めておく。この
ようにして、仮想風景画像と撮影者画像とを合成せずに画像ファイルに記録しておくこと
により、カメラ１００においても合成を行うことが可能となる。
【００４４】
図５は、図３のステップＳ１４における撮影者画像の設定処理について示すフローチャ
ートである。ユーザ（撮影者）は、サーバ２００の撮影者画像ＤＢ２０５に記録されてい
る画像の中から所望の撮影者画像を選択することができる。なお、撮影者画像の設定は、
サーバ２００にネットワーク接続されたＰＣ上から行うことも可能である。
【００４５】
撮影者画像の設定の際に、制御部１０１は、サーバ２００からアバターの候補画像を受
信し、受信した候補画像のサムネイル画像を図６（ａ）の参照符号１０７ａに示すように
して表示させる。そして、ユーザによるアバター候補の選択を待つ（ステップＳ５１）。
この際、制御部１０１は、ユーザによりアバターの候補が選択されたかを判定し（ステッ
プＳ５２）、選択がなされるまでステップＳ５１〜Ｓ５２の処理を繰り返す。ステップＳ
５１では、アバターの性別やスタイル等のアバターの外形を選択することが可能である。
即ち、ユーザは、操作入力部１０２の十字キー１０２ａとＯＫボタン１０２ｂとを操作し
てカーソル１０７ｂを移動させ、表示部１０７に表示された何れかのサムネイル画像を選
択することにより、所望の外形のアバターを選択することが可能である。
【００４６】
ステップＳ５２の判定において、アバターの候補が選択された場合に、制御部１０１は
、サーバ２００から、選択された外形に対応したアバターの候補画像を受信し、受信した
候補画像のサムネイル画像を図６（ｂ）の参照符号１０７ｃに示すようにして表示させる
。そして、ユーザによるアバター候補の選択を待つ（ステップＳ５３）。この際、制御部
１０１は、ユーザによりアバターの候補が選択されたかを判定し（ステップＳ５４）、選
択がなされるまでステップＳ５３〜Ｓ５４の処理を繰り返す。ステップＳ５３では、アバ
ターのポーズを選択することが可能である。即ち、ユーザは、操作入力部１０２の十字キ
ー１０２ａとＯＫボタン１０２ｂとを操作してカーソル１０７ｂを移動させ、表示部１０
７に表示された何れかのサムネイル画像を選択することにより、ステップＳ５１で選択さ
れた外形に対応した所望のポーズのアバターを選択することが可能である。
【００４７】
ステップＳ５４の判定において、アバターの候補が選択された場合に、制御部１０１は
、選択されたポーズに基づいてアバターの候補画像を作成し、作成したアバターの候補画
像をユーザへの確認用の画像として表示部１０７に表示させる（ステップＳ５５）。その
後、制御部１０１は、ユーザによってＯＫ操作がなされたかを判定する（ステップＳ５６
）。ＯＫ操作は、ユーザによるＯＫボタン１０２ｂの操作である。ステップＳ５６の判定
において、ＯＫ操作がなされていない場合には、処理がステップＳ５３に戻り、制御部１
０１は、アバター候補の選択を再び待つ。
【００４８】
また、ステップＳ５６の判定において、ユーザによってＯＫ操作がなされた場合に、制
御部１０１は、サーバ２００と通信してサーバ２００の撮影者画像ＤＢ２０５に撮影者で
あるユーザを示す実写画像（撮影者が自身で登録した画像）が記録されているかを判定す
る（ステップＳ５７）。ステップＳ５７の判定において、実写画像が記録されていない場
合に、制御部１０１は、図５の処理を終了させる。一方、ステップＳ５７の判定において
、実写画像が記録されている場合に、制御部１０１は、サーバ２００から実写画像を受信
し、受信した実写画像のサムネイル画像を図６（ｃ）の参照符号１０７ｄに示すようにし
て表示させる。そして、ユーザによる実写画像の選択を待つ（ステップＳ５８）。この際
、制御部１０１は、ユーザによりアバターの候補となる実写画像が選択されたかを判定し
（ステップＳ５９）、選択がなされるまでステップＳ５８〜Ｓ５９の処理を繰り返す。
【００４９】
ステップＳ５９の判定において、アバターの候補となる実写画像が選択された場合に、
制御部１０１は、選択された実写画像における顔部の画像をステップＳ５５で作成された
アバター候補の顔部に合成する（ステップＳ６０）。その後、制御部１０１は、図５の処
理を終了させる。
【００５０】
以上のようにして合成されたアバターの画像は、図３のステップＳ１６の思い出再生要
求の際に、サーバ２００に送信される。このアバターの画像は、思い出画像ファイルの作
成時に必要に応じて仮想風景画像に合成される。これにより、ユーザ（撮影者）が自身の
画像を撮影していなくとも、自身を示す画像を作成することができる。このような画像を
仮想風景画像に合成することにより、ユーザは、自身が写っている画像を撮影していなく
とも、撮影当時に被写体が見ていた風景を含む、その当時に撮影しなかった風景の画像を
鑑賞することができる。これにより、ユーザは、撮影当時の状況を想起できる。
【００５１】
図７は、カメラ１００による思い出再生時の処理について示すフローチャートである。
ここで、本実施形態においては、思い出再生時にも、仮想風景画像と撮影者画像とを合成
することができるようになされている。
【００５２】
思い出画像ファイルが受信され、ユーザによって思い出再生の指示がなされた後、制御
部１０１は、思い出画像ファイル内に撮影者画像が含まれているか（サーバ２００におい
て撮影者画像の合成がなされていないか）を判定する（ステップＳ７１）。ステップＳ７
１の判定において、思い出画像ファイル内に撮影者画像が含まれている場合に、制御部１
０１は、ユーザ操作によって撮影者画像を仮想風景画像に合成するように指示されたかを
判定する（ステップＳ７２）。ステップＳ７２の判定において、撮影者画像を合成するよ
うに指示された場合に、制御部１０１は、図８（ａ）に示すような撮影者画像を、図８（
ｂ）に示すような撮影方向の反対方向に対応した仮想風景画像に合成する（ステップＳ７
３）。
【００５３】
ステップＳ７１、Ｓ７２、又はＳ７３の後、制御部１０１は、仮想風景画像を表示部１
０７に表示させることで思い出再生を実行する（ステップＳ７４）。思い出再生の際、制
御部１０１は、ユーザによってＯＫ操作がなされたかを判定する（ステップＳ７５）。ス
テップＳ７５の判定において、ＯＫ操作がなされた場合に、制御部１０１は、図７の処理
を終了させる。その後、図８（ｄ）に示すようにして作成された仮想風景画像５０１ａを
含む思い出画像ファイルが、ユーザ操作に従って記録部１０６に記録される。
【００５４】
一方、ステップＳ７５の判定において、ＯＫ操作がなされていない場合に、制御部１０
１は、ユーザによって十字キー１０２ａの左右キーの操作がなされたかを判定する（ステ
ップＳ７６）。ステップＳ７６の判定において、十字キー１０２ａの操作がなされた場合
に、制御部１０１は、十字キー１０２ａの操作方向に従って画像ファイル中の別の仮想風
景画像を選択し、選択した仮想風景画像に、再度、撮影者画像を合成することにより、撮
影者画像の合成位置の変更を行う（ステップＳ７７）。ユーザは、十字キー１０２ａの左
右キーの操作によって図８（ｃ）の矢印Ｅ方向（撮影位置を中心とした３６０度回転方向
）に沿って仮想風景画像を選択することができる。例えば、図８（ｃ）の状態で右キーが
押された場合には、仮想風景画像５０１の右隣の仮想風景画像が選択され、選択された仮
想風景画像の中心位置に撮影者画像５０２が合成される。また、図８（ｃ）の状態で左キ
ーが押された場合には、仮想風景画像５０１の左隣の仮想風景画像が選択され、選択され
た仮想風景画像の中心位置に撮影者画像５０２が合成される。
【００５５】
ステップＳ７６又はＳ７７の後、制御部１０１は、ユーザによってズーム操作がなされ
たかを判定する（ステップＳ７８）。ステップＳ７８の判定において、ズーム操作がなさ
れた場合に、制御部１０１は、ズームボタンの操作方向に従って撮影者画像を拡大又は縮
小し、拡大又は縮小後の撮影者画像を仮想風景画像に、再度合成することにより、撮影者
画像の表示範囲の変更を行う（ステップＳ７９）。ユーザは、ズームボタンの操作によっ
て図８（ｃ）の矢印Ｆ方向に撮影画像の拡大又は縮小を行うことができる。例えば、ズー
ムボタンのワイド側が押された場合には、撮影者画像を拡大する。また、ズームボタンの
テレ側が押された場合には、撮影者画像を縮小する。
【００５６】
以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなか
った風景等の画像を３Ｄ地図画像から作成することにより、撮影時に被写体が見ていたは
ずの風景等を撮影後に鑑賞して思い出を想起することが可能となる。
【００５７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定される
ものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００５８】
例えば、上述の実施形態では、カメラ１００とサーバ２００とで構成されるシステムに
ついて説明しているが、カメラ１００の代わりにＰＣや携帯電話機等を用いても良い。即
ち、少なくとも画像の表示機能を備える機器であれば、カメラ１００の代わりに用いるこ
とが可能である。
【００５９】
また、仮想風景画像は、３Ｄ地図画像の他に、衛星写真や航空写真等を利用して作成す
るようにしても良い。
【００６０】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構
成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全
構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述
したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出さ
れ得る。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態に係る仮想風景表示装置を含む、仮想風景表示システムの構成を示す図である。
【図２】仮想風景表示システムの動作の概略について示す図である。
【図３】図１に示す仮想風景表示システムにおけるカメラの動作を示すフローチャートである。
【図４】図１に示す仮想風景表示システムにおけるサーバの動作を示すフローチャートである。
【図５】撮影者画像の設定処理について示すフローチャートである。
【図６】撮影者画像の設定処理の際の表示部の表示例を示すフローチャートである。
【図７】思い出再生時の処理について示すフローチャートである。
【図８】思い出再生時の画像合成処理について説明するための図である。
【符号の説明】
【００６２】
１００…カメラ、１０１…制御部、１０２…操作入力部、１０３…撮像部、１０４…位
置検出部、１０５…時計部、１０６…記録部、１０７…表示部、１０８…通信部、２００
…サーバ、２０１…制御部、２０２…操作入力部、２０３…画像記録部、２０３ａ…位置
年代記録部、２０４…年代別地図データベース（ＤＢ）、２０５…撮影者画像ＤＢ、２０
６…仮想風景作成部、２０７…通信部、３００…通信回線
【特許請求の範囲】
【請求項１】
撮影位置情報と撮影日時情報を関連づけた撮影画像を記録する記録部と、
通信部と、
上記記録部に記録した画像と、上記撮影時に記録部に記録されていなかった画像とを上記通信部を介して表示する表示部と、
を具備する仮想風景表示装置において、
上記記録されていない画像を表示する時に、上記通信部から上記記録された画像を外部機器に上記通信部を介して送信し、該外部機器が、上記送信された画像と位置情報と時刻情報を利用して検索した仮想風景画像を表示する制御部と、
を具備することを特徴とする仮想風景表示装置。
【請求項２】
上記仮想風景表示装置は、左右操作可能な操作部を有し、
前記仮想風景は、上記操作部によって、上記撮影位置を中心とした３６０度回転方向に沿って選択された画像であること特徴とする請求項１に記載の仮想風景表示装置。
【請求項３】
上記仮想風景画像は、上記外部機器が上記撮影日時に基づいた３Ｄ地図画像から作成した画像であることを特徴とする請求項２に記載の仮想風景表示装置。
【請求項１】
撮影位置情報と撮影日時情報を関連づけた撮影画像を記録する記録部と、
通信部と、
上記記録部に記録した画像と、上記撮影時に記録部に記録されていなかった画像とを上記通信部を介して表示する表示部と、
を具備する仮想風景表示装置において、
上記記録されていない画像を表示する時に、上記通信部から上記記録された画像を外部機器に上記通信部を介して送信し、該外部機器が、上記送信された画像と位置情報と時刻情報を利用して検索した仮想風景画像を表示する制御部と、
を具備することを特徴とする仮想風景表示装置。
【請求項２】
上記仮想風景表示装置は、左右操作可能な操作部を有し、
前記仮想風景は、上記操作部によって、上記撮影位置を中心とした３６０度回転方向に沿って選択された画像であること特徴とする請求項１に記載の仮想風景表示装置。
【請求項３】
上記仮想風景画像は、上記外部機器が上記撮影日時に基づいた３Ｄ地図画像から作成した画像であることを特徴とする請求項２に記載の仮想風景表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２３０７１４（Ｐ２０１２−２３０７１４Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１２−１６９０４４（Ｐ２０１２−１６９０４４）
【出願日】平成２４年７月３１日（２０１２．７．３１）
【分割の表示】特願２００８−３５２１９（Ｐ２００８−３５２１９）の分割
【原出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２４年７月３１日（２０１２．７．３１）
【分割の表示】特願２００８−３５２１９（Ｐ２００８−３５２１９）の分割
【原出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]