仮想移動表示装置
【課題】撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することができる仮想移動表示装置を提供すること。
【解決手段】カメラ１００において思い出再生要求がなされると、カメラ１００からサーバ２００に複数の撮影画像が送信される。この複数の撮影画像の撮影日時と撮影位置とに基づいて年代別地図ＤＢ２０４から２Ｄ地図画像が選択される。この２Ｄ地図画像からルート探索部２０５によって撮影当時のユーザの移動ルート及び移動手段が探索される。この探索された移動ルートの特定位置の画像が仮想風景作成部２０６によって作成される。仮想風景作成部２０６によって作成された一連の画像から１つの画像ファイルが生成されてカメラ１００の表示部１０７に表示される。
【解決手段】カメラ１００において思い出再生要求がなされると、カメラ１００からサーバ２００に複数の撮影画像が送信される。この複数の撮影画像の撮影日時と撮影位置とに基づいて年代別地図ＤＢ２０４から２Ｄ地図画像が選択される。この２Ｄ地図画像からルート探索部２０５によって撮影当時のユーザの移動ルート及び移動手段が探索される。この探索された移動ルートの特定位置の画像が仮想風景作成部２０６によって作成される。仮想風景作成部２０６によって作成された一連の画像から１つの画像ファイルが生成されてカメラ１００の表示部１０７に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された撮影位置情報付きの画像から撮影者の行動を地図画像上に再現する仮想移動表示装置に関する。
【背景技術】
【０００２】
近年、グーグル（登録商標）マップのように、３次元（３Ｄ）画像によって地図表示を行うサービスが各種提案されている。また、現実画像にＣＧ画像を重畳して表示できるシステムも各種提案されている。例えば、特許文献１においては、カメラによって撮影された画像の撮影位置を３Ｄ地図空間上で特定している。そして、この３Ｄ地図と撮影時のカメラ位置、カメラ角度等から、撮影画像上に見えているはずの構造物の名称を特定し、該構造物の名称に係る画像をカメラによって撮影された画像に重畳するようにしている。
【特許文献１】特開２０００−５０１５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、その撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りにくいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行うことは困難であると考えられる。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することができる仮想移動表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様の仮想移動表示装置は、撮影位置情報が付加された画像を複数記録する画像記録部と、前記記録された画像の中から、撮影位置の異なる先画像、後画像を選択するための選択部と、地図データと、選択された前記先画像、後画像に付加されている撮影位置情報に基づき、先画像に係る撮影位置から後画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の進行方向を向いた時に見える画像を仮想的に表示する仮想風景作成部と、を具備することを特徴とする。また、本発明の第２の態様の仮想移動表示装置は、請求項１に記載の仮想移動表示装置において、前記仮想風景作成部が、前記仮想風景に枠、またはアバターを合成表示することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験
することができる仮想移動表示装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システムの構成を示す図である。図１に示す仮想移動表示システムは、カメラ１００と、サーバ２００とが通信回線３００を介して通信自在に接続されて構成されている。ここで、通信回線３００はインターネット回線等の汎用の通信回線である。
【０００８】
カメラ１００は、制御部１０１と、操作入力部１０２と、撮像部１０３と、位置検出部１０４と、時計部１０５と、記録部１０６と、表示部１０７と、通信部１０８とを有している。
【０００９】
制御部１０１は、カメラ１００の全体の動作を制御する。この制御部１０１は、ユーザによる操作入力部１０２の操作状態に従って各種の処理を制御する。操作入力部１０２は、カメラ１００の電源をオンオフするための電源スイッチ、カメラ１００の撮影実行の指示を与えるためのレリーズボタン、画像の通常再生指示を与えるための再生ボタン、画像の思い出再生（詳細は後述）指示を与えるための思い出再生ボタン、カメラ１００における各種選択操作を行うための十字キー等、ユーザがカメラ１００の操作を行うための各種の操作部材を含んで構成されている。
【００１０】
撮像部１０３は、制御部１０１の制御の下で被写体を撮影して画像を取得する。位置検出部１０４は、例えばＧＰＳ等で構成され、撮影時のカメラ１００の位置（緯度・経度）を検出する。時計部１０５は、撮影日時を検出する。
【００１１】
ここで、位置検出部１０４や時計部１０５は必ずしもカメラ１００に内蔵する必要はない。例えば、ＧＰＳ内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させることで、これらによって検出される位置情報や時間情報をカメラ１００において取得するようにしても良い。
【００１２】
記録部１０６は、例えばカメラ１００に対して着脱自在に構成されたメモリカードであり、撮像部１０３を介して取得された画像を、位置検出部１０４で検出された撮影位置及び時計部１０５で検出された撮影日時と関連付けて記録する。表示部１０７は、制御部１０１の下で記録部１０６に記録された画像等の各種画像を表示する。
【００１３】
通信部１０８は、制御部１０１の制御の下、サーバ２００との通信に係る各種処理を行う。
【００１４】
サーバ２００は、制御部２０１と、操作入力部２０２と、画像記録部２０３と、年代別地図データベース（ＤＢ）２０４と、ルート探索部２０５と、仮想風景作成部２０６と、通信部２０７とを有している。サーバ２００は、様々な地方の地図画像を記録できるように巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるようにインターネットに接続されていることが望ましいが、カメラ１００にサーバ２００の機能を持たせるようにしても良い。
【００１５】
制御部２０１は、サーバ２００における各種処理を制御する。この制御部２０１は、操作入力部２０２が操作された場合には、その操作内容に従った処理も行う。操作入力部２０２は、サーバ２００の操作を行うための各種の操作部材を含んで構成されている。
【００１６】
画像記録部２０３は、カメラ１００から通信回線３００を介して送信された画像を記録する。画像記録部２０３は、カメラ１００の記録部１０６に比して大容量の記録容量を有するハードディスク等から構成されている。ここで、本実施形態における画像記録部２０３は、位置年代記録部２０３ａとしての記録領域を有している。位置年代記録部２０３ａは、画像記録部２０３に記録されている各画像の撮影位置と撮影日時（撮影年代）とを関連付けて記録しておくための記録領域である。
【００１７】
年代別地図ＤＢ２０４は、撮影年代毎の２Ｄ及び３Ｄ地図画像を記録したデータベースである。ここで、年代別地図ＤＢ２０４は、画像記録部２０３とは別の記録媒体内に構築しても良いし、画像記録部２０３内に構築しても良い。
【００１８】
ルート探索部２０５は、ユーザによって選択される２枚（またはそれ以上）の画像から、それら２枚の画像の撮影の間にユーザが移動したと考えられる移動経路を特定する。仮想風景作成部２０６は、ルート探索部２０５によって特定された移動経路に従った地図画像（２Ｄ地図画像若しくは３Ｄ地図画像）を作成し、さらに、作成した地図画像に、ユーザの分身としてのキャラクタ画像であるアバターを合成する。
【００１９】
通信部２０７は、制御部２０１の制御の下、カメラ１００との通信に係る各種処理を行う。
【００２０】
以下、図１に示す仮想移動表示システムの動作の概略について説明する。図２は、仮想移動表示システムの動作の概略について示す図である。
【００２１】
本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状態で画像が記録部１０６に記録される。
【００２２】
そして、ユーザの操作入力部１０２の操作により、カメラ１００の動作モードが思い出画像再生モードに設定され、その後に、カメラ１００の記録部１０６に記録されている画像の中の少なくとも２枚の画像が選択されると、選択された画像がサーバ２００に送信される。図２の例では、１１時３０分に緯度Ａ、経度Ｂの位置で撮影された画像４０１と、１２時２０分に緯度Ｃ、経度Ｄの位置で撮影された画像４０２とが選択された例を示している。
【００２３】
２枚の画像４０１、４０２が受信されると、年代別地図ＤＢ２０４から画像４０１の撮影位置と画像４０２の撮影位置とを含む２Ｄ地図画像４０３が取得される。なお、画像４０１の撮影位置と画像４０２の撮影位置との距離が遠い場合には、両画像が含まれるように地図画像の縮尺が拡大される。その後、ルート探索部２０５において、ユーザがどのように画像４０１の撮影位置と画像４０２の撮影位置との間を移動したのかが、移動時間（撮影日時の差）と移動距離（撮影位置の差）とから特定される。
【００２４】
移動経路の特定がなされると、仮想風景作成部２０６において、特定された移動経路内における複数の風景画像（仮想風景画像）４０４〜４０６が３Ｄ地図画像をもとに作成される。さらに、作成された仮想風景画像４０４〜４０６に必要に応じてアバター４０７が合成される。
【００２５】
以上のようにして仮想風景画像を作成することにより、実際には画像４０１の撮影位置と画像４０２の撮影位置の２点でしか撮影を行っていなくとも、その２点の撮影位置の間の位置の画像を鑑賞することが可能である。例えば、図２に示すような一連の画像を見ることにより、画像４０４（画像４０１）の位置で建物を撮影してから、画像４０６（画像４０２）の位置で山を撮影するまでの状況を再現できる。このような一連の画像を見て、ユーザは、撮影当時はあんな風景だった、坂道を歩いた、階段だった、大きく迂回した等の撮影当時の様々な出来事を想起することが可能となる。
【００２６】
ここで、画像４０４〜画像４０６の代わりに２Ｄ地図画像４０３を表示させるようにしても良い。また、２Ｄ地図画像４０３と画像４０４〜画像４０６とを並列して表示できるようにしても良い。
【００２７】
以下、図１の仮想移動表示システムの具体的な動作について説明する。
図３は、図１に示す仮想移動表示システムにおけるカメラ１００の動作を示すフローチャートである。ユーザによる操作入力部１０２の電源スイッチの操作によってカメラ１００の電源がオンされることで図３の処理が開始される。
【００２８】
電源のオン後、制御部１０１は、撮像部１０３を動作させ、撮像部１０３を介して得られる画像を表示部１０７に逐次表示させるスルー画表示を行う（ステップＳ１）。スルー画表示の後、制御部１０１は、ユーザによる操作入力部１０２のレリーズボタンの操作によって画像撮影指示がなされたかを判定する（ステップＳ２）。
【００２９】
ステップＳ２の判定において、画像撮影指示がなされた場合に、制御部１０１は、被写体の撮影を実行する（ステップＳ３）。即ち、制御部１０１は、撮像部１０３を動作させて被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。その後、制御部１０１は、撮影実行時に時計部１０５において検出された撮影日時情報を取得するとともに（ステップＳ４）、撮影実行時に位置検出部１０４において検出された撮影位置情報を取得する（ステップＳ５）。次に、制御部１０１は、撮影によって得られた画像と撮影日時情報及び撮影位置情報とを関連付けて記録部１０６に記録する（ステップＳ６）。
【００３０】
また、ステップＳ２の判定において、画像撮影指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の再生ボタンの操作によって通常の画像再生指示がなされたかを判定する（ステップＳ７）。ステップＳ７の判定において、通常の画像再生指示がなされた場合に、制御部１０１は、通常の画像の再生に関する処理を行う（ステップＳ８）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像を表示部１０７に表示させる。なお、サーバ２００の画像記録部２０３に記録されている画像をカメラ１００で再生できるようにしても良い。この場合には、カメラ１００からサーバ２００に対して画像の再生要求がなされる。これを受けてサーバ２００に記録されている画像のサムネイル画像が表示部１０７に表示される。何れかのサムネイル画像がユーザによって選択された場合、そのサムネイル画像に対応した画像がサーバ２００からカメラ１００に送信され、この送信された画像が表示部１０７に表示される。
【００３１】
また、ステップＳ７の判定において、通常の画像再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の思い出再生ボタンの操作によって思い出再生指示がなされたかを判定する（ステップＳ９）。ステップＳ９の判定において、思い出再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の操作により画像送信指示がなされたかを判定する（ステップＳ１０）。ステップＳ１０の判定において、画像送信指示がなされていない場合に、処理がステップＳ１に戻り、制御部１０１は、スルー画表示を再び行う。一方、ステップＳ１０の判定において、画像送信指示がなされた場合に、制御部１０１は画像送信に関する処理を行う（ステップＳ１１）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ２００に送信する。
【００３２】
また、ステップＳ９の判定において、思い出再生指示がなされた場合に、制御部１０１は思い出再生に係る処理を実行する。まず、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させる（ステップＳ１２）。次に、制御部１０１は、ユーザによる操作入力部１０２の操作によってサムネイル画像中の少なくとも２画像が選択されるのを待つ（ステップＳ１３）。ここで選択する画像の枚数は、ユーザが適宜設定できるものである。また、ここで選択される画像は、それぞれ、撮影日時が近く（撮影年代が同じ）、且つ撮影位置が異なる画像である。
【００３３】
以後の説明においては、２画像が選択されたものとして説明を続ける。ステップＳ１３において２画像の選択がなされた後、制御部１０１は、思い出再生モードにおける画像選択以外の設定の入力を待つ（ステップＳ１４）。この設定は、後述する思い出再生モードにおいて表示部１０７に表示される地図画像を表示させる際の視点方向の設定（地図画像を２Ｄ表示とするか３Ｄ表示とするか）、或いは地図画像にアバターを合成するか等の設定である。
【００３４】
その後、制御部１０１は、ユーザによる操作入力部１０２の操作によって決定指示がなされたかを判定する（ステップＳ１５）。ステップＳ１５の判定において、決定指示がなされていない場合には、処理がステップＳ１３に戻って、制御部１０１は２画像の選択及びその他の設定入力の変更を待つ。一方、ステップＳ１５の判定において、決定指示がなされた場合に、制御部１０１は、ユーザによって選択された２画像をサーバ２００に送信し、サーバ２００に対して思い出再生要求を送信する。この際、ステップＳ１４で設定された各種の設定情報もサーバ２００に送信する（ステップＳ１６）。この後、後述するサーバ２００の処理において、思い出再生用の画像ファイルが生成される。
【００３５】
その後、制御部１０１は、サーバ２００において生成された思い出再生用の画像ファイルを受信したかを判定する（ステップＳ１７）。ステップＳ１７において、サーバ２００から画像ファイルを受信するまで待機する。ステップＳ１７の判定において、サーバ２００から画像ファイルが受信された場合に、制御部１０１は、ユーザにその旨を通知する。ユーザによって思い出画像ファイルの再生指示がなされたかを判定する（ステップＳ１８）。ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされた場合に、制御部１０１は、サーバ２００から送信された画像ファイル内の各画像を、ユーザの操作入力部１０２の操作に従って表示部１０７に表示させる（ステップＳ１９）。ここでの表示はスライドショーのような形態で画像ファイル内の各画像を再生するようにしても良い。また、所定の再生スピードに従って各画像を自動的に再生するようにしても良い。
【００３６】
また、ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされなかった場合に、制御部１０１は、ステップＳ１９の処理をスキップする。
【００３７】
ステップＳ１８又はステップＳ１９の後、制御部１０１ユーザの操作入力部１０２の操作により画像ファイルの記録指示がなされたかを判定する（ステップＳ２０）。ステップＳ２０の判定において、画像ファイルの記録指示がなされた場合に、制御部１０１は画像ファイルを記録部１０６に記録する（ステップＳ２１）。また、ステップＳ２０の判定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部１０１は、ステップＳ２１の処理をスキップする。
【００３８】
図４は、図１に示す仮想移動表示システムにおけるサーバ２００の動作を示すフローチャートである。制御部２０１は、思い出再生要求がなされていない状態でカメラ１００からの画像を受信したかを判定する（ステップＳ３１）。ステップＳ３１の判定において、画像を受信した場合に、制御部２０１は、受信した画像を画像記録部２０３に記録する（ステップＳ３２）。その後、制御部２０１は、カメラ１００からの画像の受信が終了したかを判定する（ステップＳ３３）。ステップＳ３３の判定において、画像の受信が終了していない場合に、処理がステップＳ３１に戻り、制御部２０１は、カメラ１００からの次の画像の受信を待つ。
【００３９】
また、ステップＳ３１の判定において、画像の受信がない場合に、制御部２０１は、カメラ１００から２枚の画像とともに思い出再生要求がなされたかを判定する（ステップＳ３４）。ステップＳ３４の判定において、思い出再生要求がなされていない場合に、制御部２０１は、カメラ１００から通常の画像の再生要求がなされたかを判定する（ステップＳ３５）。ステップＳ３５の判定において、通常の画像の再生要求がなされた場合に、制御部２０１はユーザによって選択された画像をカメラ１００に転送する。これにより、カメラ１００の表示部１０７において画像再生が行われる（ステップＳ３６）。
【００４０】
また、ステップＳ３４の判定において、思い出再生要求がなされた場合に、制御部２０１はカメラ１００から送られてきた２画像を取得する（ステップＳ３７）。次に、制御部２０１は、２画像の撮影日時と撮影位置をルート探索部２０５に送る。ルート探索部２０５は、２画像の撮影日時の差と２画像の撮影位置の差とから、２画像の撮影位置間の移動の際の移動速度Ｖを算出する（ステップＳ３８）。また、制御部２０１は、取得した２画像にそれぞれ付加されている撮影日時と撮影位置の情報に基づき、年代別地図ＤＢ２０４から２画像の撮影日時と同年代で且つ２画像の撮影位置を含む２Ｄ地図画像を選択し（ステップＳ３９）、選択した２Ｄ地図画像をルート探索部２０５に送る。ここで、２画像の撮影位置間の距離が遠く、１枚の地図画像内に収まらない場合には地図の縮尺を拡大する。逆に２画像の撮影位置間の距離が近い場合には地図の縮尺を縮小しても良い。
【００４１】
その後、ルート探索部２０５は、移動速度Ｖと２Ｄ地図画像とから２画像の撮影位置間の移動ルート及び撮影時におけるユーザの進行方向を特定する（ステップＳ４０）。
【００４２】
ここで、ステップＳ４０の移動速度Ｖによる移動ルートの特定処理について説明する。ステップＳ３９においては、移動速度Ｖを算出する際に、２画像の撮影日時差及び２画像の撮影位置差を用いている。ここで、２画像の撮影位置差は、図５に示すような、２画像の撮影位置ａ−ｂ間の直線距離を示すものである。実際には、ユーザの移動ルートは必ずしも直線であるとは限らず、図５のルートＲ１、Ｒ２のように曲線を含む場合も考えられる。また、ユーザの移動手段によっては同じ距離（同じルート）の移動であっても移動時間は異なるものとなる。例えば、撮影位置ａ−ｂ間を徒歩で移動するのと自動車で移動するのとでは、自動車で移動するほうが、移動時間が短くなる。
【００４３】
本実施形態では、ステップＳ３８で算出した移動速度ＶとステップＳ３９で選択された２Ｄ地図画像とから、撮影時の移動ルート及び移動手段を特定する。また、進行方向は、特定された移動ルートに対し、撮影日時が先の撮影位置から撮影日時が後の撮影位置に向かう方向となる。
【００４４】
図６は、移動ルート探索処理について示すフローチャートである。ルート探索部２０５は、制御部２０１によって選択された２Ｄ地図画像において、２画像の撮影位置を結ぶルート（道路等）を移動ルートの候補とする（ステップＳ６１）。次に、ルート探索部２０５は、ルート候補の中の何れかを選択し、選択したルートの距離Ｌを算出する（ステップＳ６２）。初回は、例えば最短距離のルートの距離Ｌを算出する。
【００４５】
次に、ルート探索部２０５は、移動速度Ｖと撮影日時差Δｔとの積が距離Ｌと等しいかを判定する（ステップＳ６３）。
【００４６】
例えば、図５の例のように２Ｄ地図画像上に距離の異なる２ルートがある場合、撮影時にユーザがルートＲ１を移動していた場合には、移動速度Ｖと撮影日時差Δｔとの積がＬ１となる。また、ユーザがルートＲ２を移動していた場合には、移動速度Ｖで撮影日時差Δｔとの積がＬ２となる。このような考え方によって撮影時の移動ルートを特定することが可能である。
【００４７】
ステップＳ６３の判定において、移動速度Ｖと撮影日時差Δｔとの積が距離Ｌと等しい場合には、現在選択されているルートが撮影時の移動ルートであると考えられる。この場合に、ルート探索部２０５は、移動速度Ｖが５ｋｍ/ｈ未満であるかを判定する（ステップＳ６４）。ここで、５ｋｍ/ｈは徒歩の移動速度を示す。ステップＳ６４の判定において、移動速度Ｖが５ｋｍ/ｈ未満である場合に、ルート探索部２０５は、撮影時の移動手段が徒歩であったと判定する（ステップＳ６５）。そして、思い出再生時に合成されるアバターを図２の参照符号４０７で示すような徒歩用のものとするとともに、思い出再生時の再生スピードを徒歩に即したものとする（ステップＳ６６）。
【００４８】
また、ステップＳ６４の判定において、移動速度Ｖが５ｋｍ/ｈ以上である場合に、ルート探索部２０５は、移動速度Ｖが１００ｋｍ/ｈ未満であるかを判定する（ステップＳ６７）。ステップＳ６７の判定において、移動速度Ｖが１００ｋｍ/ｈ未満である場合に、ルート探索部２０５は、撮影時の移動手段が自動車であったと判定する（ステップＳ６８）。そして、思い出再生時に合成されるアバターを図７の参照符号４０８で示すような
自動車用（例えば、自動車のフロントガラスのような枠を表示させる）のものとするとともに、思い出再生時の再生スピードを移動速度Ｖに即したものとする。
【００４９】
ここで、本実施形態では移動手段を徒歩と自動車に限定しているがそれに限るものではない。例えば、移動ルートが海上である場合には、船等をアバターとするようにしても良い。
【００５０】
ステップＳ６３の判定において移動速度Ｖと撮影日時差Δｔとの積がＬに等しくない場合又はステップＳ６７の判定において移動速度Ｖが１００ｋｍ/ｈ以上である場合に、ルート探索部２０５は、次のルート候補があるかを判定する（ステップＳ６９）。ステップＳ６９の判定において、次のルート候補がない場合に、処理がステップＳ６８に移行して、ルート探索部２０５は撮影時の移動手段が自動車であったと判定する。
【００５１】
また、ステップＳ６９の判定において、次のルート候補がある場合に、ルート探索部２０５は次のルート候補を選択した後（ステップＳ７０）、ステップＳ６２に戻って次のルート候補に対する処理を行う。
【００５２】
以上のようなルート探索処理により、地図上に複数の移動ルートの候補がある場合でも正しく撮影時の移動ルートを探索でき、また撮影時の移動手段に応じたアバターを画像に合成することが可能である。
【００５３】
以下、図４のフローチャートについてさらに説明する。移動ルート探索処理の終了後、制御部２０１は、移動ルート上の特定位置に対応した画像（複数でも良い）を３Ｄ地図画像から選択する（ステップＳ４１）。即ち、探索された移動ルートを移動した場合に、各特定位置において見えるべき画像を仮想風景画像として３Ｄ地図画像から選択する。この際、選択した特定位置に対応する画像の仮想的な撮影日時（移動速度Ｖから推定）を推定して関連付けしておく。
【００５４】
ここで、特定位置に対応した画像を、衛星写真や航空写真等から合成して取得するようにしても良い。また、他のユーザがルート上の特定位置で撮影を行っていれば、その画像を利用するようにしても良い。
【００５５】
その後、制御部２０１は、カメラ１００から思い出再生時にアバターを合成するように要求されているかを判定する（ステップＳ４２）。ステップＳ４２の判定において、アバターの合成をするように要求されていない場合に、制御部２０１は、受信した２画像の間にルート上の特定位置に対応する画像を配置する（ステップＳ４３）。特定位置に対応する画像が複数存在する場合には、その配置順は移動ルートの進行方向に従う。その後、制御部２０１は、ユーザから送信された２画像と、各特定位置に対応する画像とにより構成される画像群から１つの画像ファイルを生成する（ステップＳ４４）。また、思い出画像を２Ｄ地図表示するように設定されている場合には、ステップＳ３９で選択した２Ｄ地図画像も画像ファイルに含めるようにする。画像ファイルの生成後、制御部２０１は、生成した画像ファイルをカメラ１００に送信する（ステップＳ４５）。
【００５６】
また、ステップＳ４２の判定において、アバターの合成をするように要求されている場合に、制御部２０１は、受信した２画像のうち、撮影日時が先の画像（以下、先画像と称する）を選択する（ステップＳ４６）。次に、制御部２０１は、先画像に写っている地形から、先画像の撮影時の撮影方向（視点方向）を特定し（ステップＳ４７）、この撮影方向の情報を仮想風景作成部２０６に送る。仮想風景作成部２０６は、思い出再生時において、先画像の撮影位置に対応して表示させるべき画像を仮想風景画像として３Ｄ地図画像から作成する（ステップＳ４８）。この仮想風景画像は、先画像の撮影位置において、ユーザがステップＳ４０で探索された移動ルートにおける進行方向を向いたときに見えるべき画像である。なお、先画像の撮影方向が進行方向と一致している場合には、作成される仮想風景画像は先画像と同一となる。
【００５７】
その後、仮想風景作成部２０６は、作成した仮想風景画像の前景部にアバターを合成する（ステップＳ４９）。作成した仮想風景画像にアバターを合成することにより、よりリアリティのある画像の再生が可能である。次に、仮想風景作成部２０６は、ステップＳ４０において特定された進行方向に沿った特定位置に対応した仮想風景画像を３Ｄ地図画像から作成する（ステップＳ５０）。さらに、仮想風景作成部２０６は、作成した仮想風景画像にアバターを合成する（ステップＳ５１）。その後、移動ルートに従って３Ｄ地図画像の進行方向を切り換えて次の位置を選択する（ステップＳ５２）。
【００５８】
３Ｄ地図画像の進行方向の切り換え後、仮想風景作成部２０６は、選択した位置が、受信された画像のうちで撮影日が後の画像（以下、後画像と称する）に対応した位置であるかを判定する（ステップＳ５３）。ステップＳ５３の判定において、選択した位置が後画像に対応した位置でない場合に、処理がステップＳ５０に戻り、仮想風景作成部２０６は、選択した位置に対応した仮想風景画像を作成する。一方、ステップＳ５３の判定において、選択した位置が後画像に対応した位置である場合に、仮想風景作成部２０６は、後画像の位置に対応した仮想風景画像を作成する（ステップＳ５４）。その後、仮想風景作成部２０６は、作成した仮想風景画像にアバターを合成する（ステップＳ５５）。その後、処理がステップＳ４４に移行してアバターが合成された各仮想風景画像から１つの画像ファイルが生成され、生成された画像ファイルがカメラ１００に送信される。この画像ファイルをカメラ１００において再生することにより図２で示したような思い出再生を行うことが可能である。
【００５９】
以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなかった風景等の画像を３Ｄ地図画像から作成することにより、撮影と撮影の間の行動をも追体験することが可能である。
【００６０】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６１】
例えば、上述の実施形態では、思い出再生用の画像ファイルの生成の際に、３Ｄ地図画像から生成される一連の画像を非圧縮で１つの画像ファイルとする例を示しているが、一連の画像を動画像圧縮に用いられるコマ間圧縮を用いて圧縮してから１つの画像ファイルとしても良い。このようにしたほうが、ファイルの容量を小さくできるため、通信時間を短くし、またファイルの記録に必要な容量も節約できる。
【００６２】
また、先画像と後画像については、必ずしもカメラ１００からの通信によってサーバ２００に入力する必要はなく、カメラ１００以外の機器から入力できるようにしても良い。
【００６３】
さらに、上述の実施形態では、カメラ１００とサーバ２００とで構成されるシステムについて説明しているが、カメラ１００の代わりにＰＣや携帯電話機等を用いても良い。即ち、少なくとも画像の表示機能を備える機器であれば、カメラ１００の代わりに用いることが可能である。
【００６４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システム の構成を示す図である。
【図２】仮想移動表示システムの動作の概略について示す図である。
【図３】図１に示す仮想移動表示システムにおけるカメラの動作を示すフローチャー トである。
【図４】図１に示す仮想移動表示システムにおけるサーバの動作を示すフローチャー トである。
【図５】複数の移動ルートが存在する場合の例を示す図である。
【図６】移動ルート探索処理について示すフローチャートである。
【図７】移動手段が自動車である場合のアバターの例を示す図である。
【符号の説明】
【００６６】
１００…カメラ、１０１…制御部、１０２…操作入力部、１０３…撮像部、１０４…位置検出部、１０５…時計部、１０６…記録部、１０７…表示部、１０８…通信部、２００…サーバ、２０１…制御部、２０２…操作入力部、２０３…画像記録部、２０３ａ…位置年代記録部、２０４…年代別地図データベース（ＤＢ）、２０５…ルート探索部、２０６…仮想風景作成部、２０７…通信部、３００…通信回線
【技術分野】
【０００１】
本発明は、撮影された撮影位置情報付きの画像から撮影者の行動を地図画像上に再現する仮想移動表示装置に関する。
【背景技術】
【０００２】
近年、グーグル（登録商標）マップのように、３次元（３Ｄ）画像によって地図表示を行うサービスが各種提案されている。また、現実画像にＣＧ画像を重畳して表示できるシステムも各種提案されている。例えば、特許文献１においては、カメラによって撮影された画像の撮影位置を３Ｄ地図空間上で特定している。そして、この３Ｄ地図と撮影時のカメラ位置、カメラ角度等から、撮影画像上に見えているはずの構造物の名称を特定し、該構造物の名称に係る画像をカメラによって撮影された画像に重畳するようにしている。
【特許文献１】特開２０００−５０１５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、その撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りにくいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行うことは困難であると考えられる。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することができる仮想移動表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様の仮想移動表示装置は、撮影位置情報が付加された画像を複数記録する画像記録部と、前記記録された画像の中から、撮影位置の異なる先画像、後画像を選択するための選択部と、地図データと、選択された前記先画像、後画像に付加されている撮影位置情報に基づき、先画像に係る撮影位置から後画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の進行方向を向いた時に見える画像を仮想的に表示する仮想風景作成部と、を具備することを特徴とする。また、本発明の第２の態様の仮想移動表示装置は、請求項１に記載の仮想移動表示装置において、前記仮想風景作成部が、前記仮想風景に枠、またはアバターを合成表示することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験
することができる仮想移動表示装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システムの構成を示す図である。図１に示す仮想移動表示システムは、カメラ１００と、サーバ２００とが通信回線３００を介して通信自在に接続されて構成されている。ここで、通信回線３００はインターネット回線等の汎用の通信回線である。
【０００８】
カメラ１００は、制御部１０１と、操作入力部１０２と、撮像部１０３と、位置検出部１０４と、時計部１０５と、記録部１０６と、表示部１０７と、通信部１０８とを有している。
【０００９】
制御部１０１は、カメラ１００の全体の動作を制御する。この制御部１０１は、ユーザによる操作入力部１０２の操作状態に従って各種の処理を制御する。操作入力部１０２は、カメラ１００の電源をオンオフするための電源スイッチ、カメラ１００の撮影実行の指示を与えるためのレリーズボタン、画像の通常再生指示を与えるための再生ボタン、画像の思い出再生（詳細は後述）指示を与えるための思い出再生ボタン、カメラ１００における各種選択操作を行うための十字キー等、ユーザがカメラ１００の操作を行うための各種の操作部材を含んで構成されている。
【００１０】
撮像部１０３は、制御部１０１の制御の下で被写体を撮影して画像を取得する。位置検出部１０４は、例えばＧＰＳ等で構成され、撮影時のカメラ１００の位置（緯度・経度）を検出する。時計部１０５は、撮影日時を検出する。
【００１１】
ここで、位置検出部１０４や時計部１０５は必ずしもカメラ１００に内蔵する必要はない。例えば、ＧＰＳ内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させることで、これらによって検出される位置情報や時間情報をカメラ１００において取得するようにしても良い。
【００１２】
記録部１０６は、例えばカメラ１００に対して着脱自在に構成されたメモリカードであり、撮像部１０３を介して取得された画像を、位置検出部１０４で検出された撮影位置及び時計部１０５で検出された撮影日時と関連付けて記録する。表示部１０７は、制御部１０１の下で記録部１０６に記録された画像等の各種画像を表示する。
【００１３】
通信部１０８は、制御部１０１の制御の下、サーバ２００との通信に係る各種処理を行う。
【００１４】
サーバ２００は、制御部２０１と、操作入力部２０２と、画像記録部２０３と、年代別地図データベース（ＤＢ）２０４と、ルート探索部２０５と、仮想風景作成部２０６と、通信部２０７とを有している。サーバ２００は、様々な地方の地図画像を記録できるように巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるようにインターネットに接続されていることが望ましいが、カメラ１００にサーバ２００の機能を持たせるようにしても良い。
【００１５】
制御部２０１は、サーバ２００における各種処理を制御する。この制御部２０１は、操作入力部２０２が操作された場合には、その操作内容に従った処理も行う。操作入力部２０２は、サーバ２００の操作を行うための各種の操作部材を含んで構成されている。
【００１６】
画像記録部２０３は、カメラ１００から通信回線３００を介して送信された画像を記録する。画像記録部２０３は、カメラ１００の記録部１０６に比して大容量の記録容量を有するハードディスク等から構成されている。ここで、本実施形態における画像記録部２０３は、位置年代記録部２０３ａとしての記録領域を有している。位置年代記録部２０３ａは、画像記録部２０３に記録されている各画像の撮影位置と撮影日時（撮影年代）とを関連付けて記録しておくための記録領域である。
【００１７】
年代別地図ＤＢ２０４は、撮影年代毎の２Ｄ及び３Ｄ地図画像を記録したデータベースである。ここで、年代別地図ＤＢ２０４は、画像記録部２０３とは別の記録媒体内に構築しても良いし、画像記録部２０３内に構築しても良い。
【００１８】
ルート探索部２０５は、ユーザによって選択される２枚（またはそれ以上）の画像から、それら２枚の画像の撮影の間にユーザが移動したと考えられる移動経路を特定する。仮想風景作成部２０６は、ルート探索部２０５によって特定された移動経路に従った地図画像（２Ｄ地図画像若しくは３Ｄ地図画像）を作成し、さらに、作成した地図画像に、ユーザの分身としてのキャラクタ画像であるアバターを合成する。
【００１９】
通信部２０７は、制御部２０１の制御の下、カメラ１００との通信に係る各種処理を行う。
【００２０】
以下、図１に示す仮想移動表示システムの動作の概略について説明する。図２は、仮想移動表示システムの動作の概略について示す図である。
【００２１】
本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状態で画像が記録部１０６に記録される。
【００２２】
そして、ユーザの操作入力部１０２の操作により、カメラ１００の動作モードが思い出画像再生モードに設定され、その後に、カメラ１００の記録部１０６に記録されている画像の中の少なくとも２枚の画像が選択されると、選択された画像がサーバ２００に送信される。図２の例では、１１時３０分に緯度Ａ、経度Ｂの位置で撮影された画像４０１と、１２時２０分に緯度Ｃ、経度Ｄの位置で撮影された画像４０２とが選択された例を示している。
【００２３】
２枚の画像４０１、４０２が受信されると、年代別地図ＤＢ２０４から画像４０１の撮影位置と画像４０２の撮影位置とを含む２Ｄ地図画像４０３が取得される。なお、画像４０１の撮影位置と画像４０２の撮影位置との距離が遠い場合には、両画像が含まれるように地図画像の縮尺が拡大される。その後、ルート探索部２０５において、ユーザがどのように画像４０１の撮影位置と画像４０２の撮影位置との間を移動したのかが、移動時間（撮影日時の差）と移動距離（撮影位置の差）とから特定される。
【００２４】
移動経路の特定がなされると、仮想風景作成部２０６において、特定された移動経路内における複数の風景画像（仮想風景画像）４０４〜４０６が３Ｄ地図画像をもとに作成される。さらに、作成された仮想風景画像４０４〜４０６に必要に応じてアバター４０７が合成される。
【００２５】
以上のようにして仮想風景画像を作成することにより、実際には画像４０１の撮影位置と画像４０２の撮影位置の２点でしか撮影を行っていなくとも、その２点の撮影位置の間の位置の画像を鑑賞することが可能である。例えば、図２に示すような一連の画像を見ることにより、画像４０４（画像４０１）の位置で建物を撮影してから、画像４０６（画像４０２）の位置で山を撮影するまでの状況を再現できる。このような一連の画像を見て、ユーザは、撮影当時はあんな風景だった、坂道を歩いた、階段だった、大きく迂回した等の撮影当時の様々な出来事を想起することが可能となる。
【００２６】
ここで、画像４０４〜画像４０６の代わりに２Ｄ地図画像４０３を表示させるようにしても良い。また、２Ｄ地図画像４０３と画像４０４〜画像４０６とを並列して表示できるようにしても良い。
【００２７】
以下、図１の仮想移動表示システムの具体的な動作について説明する。
図３は、図１に示す仮想移動表示システムにおけるカメラ１００の動作を示すフローチャートである。ユーザによる操作入力部１０２の電源スイッチの操作によってカメラ１００の電源がオンされることで図３の処理が開始される。
【００２８】
電源のオン後、制御部１０１は、撮像部１０３を動作させ、撮像部１０３を介して得られる画像を表示部１０７に逐次表示させるスルー画表示を行う（ステップＳ１）。スルー画表示の後、制御部１０１は、ユーザによる操作入力部１０２のレリーズボタンの操作によって画像撮影指示がなされたかを判定する（ステップＳ２）。
【００２９】
ステップＳ２の判定において、画像撮影指示がなされた場合に、制御部１０１は、被写体の撮影を実行する（ステップＳ３）。即ち、制御部１０１は、撮像部１０３を動作させて被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。その後、制御部１０１は、撮影実行時に時計部１０５において検出された撮影日時情報を取得するとともに（ステップＳ４）、撮影実行時に位置検出部１０４において検出された撮影位置情報を取得する（ステップＳ５）。次に、制御部１０１は、撮影によって得られた画像と撮影日時情報及び撮影位置情報とを関連付けて記録部１０６に記録する（ステップＳ６）。
【００３０】
また、ステップＳ２の判定において、画像撮影指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の再生ボタンの操作によって通常の画像再生指示がなされたかを判定する（ステップＳ７）。ステップＳ７の判定において、通常の画像再生指示がなされた場合に、制御部１０１は、通常の画像の再生に関する処理を行う（ステップＳ８）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像を表示部１０７に表示させる。なお、サーバ２００の画像記録部２０３に記録されている画像をカメラ１００で再生できるようにしても良い。この場合には、カメラ１００からサーバ２００に対して画像の再生要求がなされる。これを受けてサーバ２００に記録されている画像のサムネイル画像が表示部１０７に表示される。何れかのサムネイル画像がユーザによって選択された場合、そのサムネイル画像に対応した画像がサーバ２００からカメラ１００に送信され、この送信された画像が表示部１０７に表示される。
【００３１】
また、ステップＳ７の判定において、通常の画像再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の思い出再生ボタンの操作によって思い出再生指示がなされたかを判定する（ステップＳ９）。ステップＳ９の判定において、思い出再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の操作により画像送信指示がなされたかを判定する（ステップＳ１０）。ステップＳ１０の判定において、画像送信指示がなされていない場合に、処理がステップＳ１に戻り、制御部１０１は、スルー画表示を再び行う。一方、ステップＳ１０の判定において、画像送信指示がなされた場合に、制御部１０１は画像送信に関する処理を行う（ステップＳ１１）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ２００に送信する。
【００３２】
また、ステップＳ９の判定において、思い出再生指示がなされた場合に、制御部１０１は思い出再生に係る処理を実行する。まず、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させる（ステップＳ１２）。次に、制御部１０１は、ユーザによる操作入力部１０２の操作によってサムネイル画像中の少なくとも２画像が選択されるのを待つ（ステップＳ１３）。ここで選択する画像の枚数は、ユーザが適宜設定できるものである。また、ここで選択される画像は、それぞれ、撮影日時が近く（撮影年代が同じ）、且つ撮影位置が異なる画像である。
【００３３】
以後の説明においては、２画像が選択されたものとして説明を続ける。ステップＳ１３において２画像の選択がなされた後、制御部１０１は、思い出再生モードにおける画像選択以外の設定の入力を待つ（ステップＳ１４）。この設定は、後述する思い出再生モードにおいて表示部１０７に表示される地図画像を表示させる際の視点方向の設定（地図画像を２Ｄ表示とするか３Ｄ表示とするか）、或いは地図画像にアバターを合成するか等の設定である。
【００３４】
その後、制御部１０１は、ユーザによる操作入力部１０２の操作によって決定指示がなされたかを判定する（ステップＳ１５）。ステップＳ１５の判定において、決定指示がなされていない場合には、処理がステップＳ１３に戻って、制御部１０１は２画像の選択及びその他の設定入力の変更を待つ。一方、ステップＳ１５の判定において、決定指示がなされた場合に、制御部１０１は、ユーザによって選択された２画像をサーバ２００に送信し、サーバ２００に対して思い出再生要求を送信する。この際、ステップＳ１４で設定された各種の設定情報もサーバ２００に送信する（ステップＳ１６）。この後、後述するサーバ２００の処理において、思い出再生用の画像ファイルが生成される。
【００３５】
その後、制御部１０１は、サーバ２００において生成された思い出再生用の画像ファイルを受信したかを判定する（ステップＳ１７）。ステップＳ１７において、サーバ２００から画像ファイルを受信するまで待機する。ステップＳ１７の判定において、サーバ２００から画像ファイルが受信された場合に、制御部１０１は、ユーザにその旨を通知する。ユーザによって思い出画像ファイルの再生指示がなされたかを判定する（ステップＳ１８）。ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされた場合に、制御部１０１は、サーバ２００から送信された画像ファイル内の各画像を、ユーザの操作入力部１０２の操作に従って表示部１０７に表示させる（ステップＳ１９）。ここでの表示はスライドショーのような形態で画像ファイル内の各画像を再生するようにしても良い。また、所定の再生スピードに従って各画像を自動的に再生するようにしても良い。
【００３６】
また、ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされなかった場合に、制御部１０１は、ステップＳ１９の処理をスキップする。
【００３７】
ステップＳ１８又はステップＳ１９の後、制御部１０１ユーザの操作入力部１０２の操作により画像ファイルの記録指示がなされたかを判定する（ステップＳ２０）。ステップＳ２０の判定において、画像ファイルの記録指示がなされた場合に、制御部１０１は画像ファイルを記録部１０６に記録する（ステップＳ２１）。また、ステップＳ２０の判定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部１０１は、ステップＳ２１の処理をスキップする。
【００３８】
図４は、図１に示す仮想移動表示システムにおけるサーバ２００の動作を示すフローチャートである。制御部２０１は、思い出再生要求がなされていない状態でカメラ１００からの画像を受信したかを判定する（ステップＳ３１）。ステップＳ３１の判定において、画像を受信した場合に、制御部２０１は、受信した画像を画像記録部２０３に記録する（ステップＳ３２）。その後、制御部２０１は、カメラ１００からの画像の受信が終了したかを判定する（ステップＳ３３）。ステップＳ３３の判定において、画像の受信が終了していない場合に、処理がステップＳ３１に戻り、制御部２０１は、カメラ１００からの次の画像の受信を待つ。
【００３９】
また、ステップＳ３１の判定において、画像の受信がない場合に、制御部２０１は、カメラ１００から２枚の画像とともに思い出再生要求がなされたかを判定する（ステップＳ３４）。ステップＳ３４の判定において、思い出再生要求がなされていない場合に、制御部２０１は、カメラ１００から通常の画像の再生要求がなされたかを判定する（ステップＳ３５）。ステップＳ３５の判定において、通常の画像の再生要求がなされた場合に、制御部２０１はユーザによって選択された画像をカメラ１００に転送する。これにより、カメラ１００の表示部１０７において画像再生が行われる（ステップＳ３６）。
【００４０】
また、ステップＳ３４の判定において、思い出再生要求がなされた場合に、制御部２０１はカメラ１００から送られてきた２画像を取得する（ステップＳ３７）。次に、制御部２０１は、２画像の撮影日時と撮影位置をルート探索部２０５に送る。ルート探索部２０５は、２画像の撮影日時の差と２画像の撮影位置の差とから、２画像の撮影位置間の移動の際の移動速度Ｖを算出する（ステップＳ３８）。また、制御部２０１は、取得した２画像にそれぞれ付加されている撮影日時と撮影位置の情報に基づき、年代別地図ＤＢ２０４から２画像の撮影日時と同年代で且つ２画像の撮影位置を含む２Ｄ地図画像を選択し（ステップＳ３９）、選択した２Ｄ地図画像をルート探索部２０５に送る。ここで、２画像の撮影位置間の距離が遠く、１枚の地図画像内に収まらない場合には地図の縮尺を拡大する。逆に２画像の撮影位置間の距離が近い場合には地図の縮尺を縮小しても良い。
【００４１】
その後、ルート探索部２０５は、移動速度Ｖと２Ｄ地図画像とから２画像の撮影位置間の移動ルート及び撮影時におけるユーザの進行方向を特定する（ステップＳ４０）。
【００４２】
ここで、ステップＳ４０の移動速度Ｖによる移動ルートの特定処理について説明する。ステップＳ３９においては、移動速度Ｖを算出する際に、２画像の撮影日時差及び２画像の撮影位置差を用いている。ここで、２画像の撮影位置差は、図５に示すような、２画像の撮影位置ａ−ｂ間の直線距離を示すものである。実際には、ユーザの移動ルートは必ずしも直線であるとは限らず、図５のルートＲ１、Ｒ２のように曲線を含む場合も考えられる。また、ユーザの移動手段によっては同じ距離（同じルート）の移動であっても移動時間は異なるものとなる。例えば、撮影位置ａ−ｂ間を徒歩で移動するのと自動車で移動するのとでは、自動車で移動するほうが、移動時間が短くなる。
【００４３】
本実施形態では、ステップＳ３８で算出した移動速度ＶとステップＳ３９で選択された２Ｄ地図画像とから、撮影時の移動ルート及び移動手段を特定する。また、進行方向は、特定された移動ルートに対し、撮影日時が先の撮影位置から撮影日時が後の撮影位置に向かう方向となる。
【００４４】
図６は、移動ルート探索処理について示すフローチャートである。ルート探索部２０５は、制御部２０１によって選択された２Ｄ地図画像において、２画像の撮影位置を結ぶルート（道路等）を移動ルートの候補とする（ステップＳ６１）。次に、ルート探索部２０５は、ルート候補の中の何れかを選択し、選択したルートの距離Ｌを算出する（ステップＳ６２）。初回は、例えば最短距離のルートの距離Ｌを算出する。
【００４５】
次に、ルート探索部２０５は、移動速度Ｖと撮影日時差Δｔとの積が距離Ｌと等しいかを判定する（ステップＳ６３）。
【００４６】
例えば、図５の例のように２Ｄ地図画像上に距離の異なる２ルートがある場合、撮影時にユーザがルートＲ１を移動していた場合には、移動速度Ｖと撮影日時差Δｔとの積がＬ１となる。また、ユーザがルートＲ２を移動していた場合には、移動速度Ｖで撮影日時差Δｔとの積がＬ２となる。このような考え方によって撮影時の移動ルートを特定することが可能である。
【００４７】
ステップＳ６３の判定において、移動速度Ｖと撮影日時差Δｔとの積が距離Ｌと等しい場合には、現在選択されているルートが撮影時の移動ルートであると考えられる。この場合に、ルート探索部２０５は、移動速度Ｖが５ｋｍ/ｈ未満であるかを判定する（ステップＳ６４）。ここで、５ｋｍ/ｈは徒歩の移動速度を示す。ステップＳ６４の判定において、移動速度Ｖが５ｋｍ/ｈ未満である場合に、ルート探索部２０５は、撮影時の移動手段が徒歩であったと判定する（ステップＳ６５）。そして、思い出再生時に合成されるアバターを図２の参照符号４０７で示すような徒歩用のものとするとともに、思い出再生時の再生スピードを徒歩に即したものとする（ステップＳ６６）。
【００４８】
また、ステップＳ６４の判定において、移動速度Ｖが５ｋｍ/ｈ以上である場合に、ルート探索部２０５は、移動速度Ｖが１００ｋｍ/ｈ未満であるかを判定する（ステップＳ６７）。ステップＳ６７の判定において、移動速度Ｖが１００ｋｍ/ｈ未満である場合に、ルート探索部２０５は、撮影時の移動手段が自動車であったと判定する（ステップＳ６８）。そして、思い出再生時に合成されるアバターを図７の参照符号４０８で示すような
自動車用（例えば、自動車のフロントガラスのような枠を表示させる）のものとするとともに、思い出再生時の再生スピードを移動速度Ｖに即したものとする。
【００４９】
ここで、本実施形態では移動手段を徒歩と自動車に限定しているがそれに限るものではない。例えば、移動ルートが海上である場合には、船等をアバターとするようにしても良い。
【００５０】
ステップＳ６３の判定において移動速度Ｖと撮影日時差Δｔとの積がＬに等しくない場合又はステップＳ６７の判定において移動速度Ｖが１００ｋｍ/ｈ以上である場合に、ルート探索部２０５は、次のルート候補があるかを判定する（ステップＳ６９）。ステップＳ６９の判定において、次のルート候補がない場合に、処理がステップＳ６８に移行して、ルート探索部２０５は撮影時の移動手段が自動車であったと判定する。
【００５１】
また、ステップＳ６９の判定において、次のルート候補がある場合に、ルート探索部２０５は次のルート候補を選択した後（ステップＳ７０）、ステップＳ６２に戻って次のルート候補に対する処理を行う。
【００５２】
以上のようなルート探索処理により、地図上に複数の移動ルートの候補がある場合でも正しく撮影時の移動ルートを探索でき、また撮影時の移動手段に応じたアバターを画像に合成することが可能である。
【００５３】
以下、図４のフローチャートについてさらに説明する。移動ルート探索処理の終了後、制御部２０１は、移動ルート上の特定位置に対応した画像（複数でも良い）を３Ｄ地図画像から選択する（ステップＳ４１）。即ち、探索された移動ルートを移動した場合に、各特定位置において見えるべき画像を仮想風景画像として３Ｄ地図画像から選択する。この際、選択した特定位置に対応する画像の仮想的な撮影日時（移動速度Ｖから推定）を推定して関連付けしておく。
【００５４】
ここで、特定位置に対応した画像を、衛星写真や航空写真等から合成して取得するようにしても良い。また、他のユーザがルート上の特定位置で撮影を行っていれば、その画像を利用するようにしても良い。
【００５５】
その後、制御部２０１は、カメラ１００から思い出再生時にアバターを合成するように要求されているかを判定する（ステップＳ４２）。ステップＳ４２の判定において、アバターの合成をするように要求されていない場合に、制御部２０１は、受信した２画像の間にルート上の特定位置に対応する画像を配置する（ステップＳ４３）。特定位置に対応する画像が複数存在する場合には、その配置順は移動ルートの進行方向に従う。その後、制御部２０１は、ユーザから送信された２画像と、各特定位置に対応する画像とにより構成される画像群から１つの画像ファイルを生成する（ステップＳ４４）。また、思い出画像を２Ｄ地図表示するように設定されている場合には、ステップＳ３９で選択した２Ｄ地図画像も画像ファイルに含めるようにする。画像ファイルの生成後、制御部２０１は、生成した画像ファイルをカメラ１００に送信する（ステップＳ４５）。
【００５６】
また、ステップＳ４２の判定において、アバターの合成をするように要求されている場合に、制御部２０１は、受信した２画像のうち、撮影日時が先の画像（以下、先画像と称する）を選択する（ステップＳ４６）。次に、制御部２０１は、先画像に写っている地形から、先画像の撮影時の撮影方向（視点方向）を特定し（ステップＳ４７）、この撮影方向の情報を仮想風景作成部２０６に送る。仮想風景作成部２０６は、思い出再生時において、先画像の撮影位置に対応して表示させるべき画像を仮想風景画像として３Ｄ地図画像から作成する（ステップＳ４８）。この仮想風景画像は、先画像の撮影位置において、ユーザがステップＳ４０で探索された移動ルートにおける進行方向を向いたときに見えるべき画像である。なお、先画像の撮影方向が進行方向と一致している場合には、作成される仮想風景画像は先画像と同一となる。
【００５７】
その後、仮想風景作成部２０６は、作成した仮想風景画像の前景部にアバターを合成する（ステップＳ４９）。作成した仮想風景画像にアバターを合成することにより、よりリアリティのある画像の再生が可能である。次に、仮想風景作成部２０６は、ステップＳ４０において特定された進行方向に沿った特定位置に対応した仮想風景画像を３Ｄ地図画像から作成する（ステップＳ５０）。さらに、仮想風景作成部２０６は、作成した仮想風景画像にアバターを合成する（ステップＳ５１）。その後、移動ルートに従って３Ｄ地図画像の進行方向を切り換えて次の位置を選択する（ステップＳ５２）。
【００５８】
３Ｄ地図画像の進行方向の切り換え後、仮想風景作成部２０６は、選択した位置が、受信された画像のうちで撮影日が後の画像（以下、後画像と称する）に対応した位置であるかを判定する（ステップＳ５３）。ステップＳ５３の判定において、選択した位置が後画像に対応した位置でない場合に、処理がステップＳ５０に戻り、仮想風景作成部２０６は、選択した位置に対応した仮想風景画像を作成する。一方、ステップＳ５３の判定において、選択した位置が後画像に対応した位置である場合に、仮想風景作成部２０６は、後画像の位置に対応した仮想風景画像を作成する（ステップＳ５４）。その後、仮想風景作成部２０６は、作成した仮想風景画像にアバターを合成する（ステップＳ５５）。その後、処理がステップＳ４４に移行してアバターが合成された各仮想風景画像から１つの画像ファイルが生成され、生成された画像ファイルがカメラ１００に送信される。この画像ファイルをカメラ１００において再生することにより図２で示したような思い出再生を行うことが可能である。
【００５９】
以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなかった風景等の画像を３Ｄ地図画像から作成することにより、撮影と撮影の間の行動をも追体験することが可能である。
【００６０】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６１】
例えば、上述の実施形態では、思い出再生用の画像ファイルの生成の際に、３Ｄ地図画像から生成される一連の画像を非圧縮で１つの画像ファイルとする例を示しているが、一連の画像を動画像圧縮に用いられるコマ間圧縮を用いて圧縮してから１つの画像ファイルとしても良い。このようにしたほうが、ファイルの容量を小さくできるため、通信時間を短くし、またファイルの記録に必要な容量も節約できる。
【００６２】
また、先画像と後画像については、必ずしもカメラ１００からの通信によってサーバ２００に入力する必要はなく、カメラ１００以外の機器から入力できるようにしても良い。
【００６３】
さらに、上述の実施形態では、カメラ１００とサーバ２００とで構成されるシステムについて説明しているが、カメラ１００の代わりにＰＣや携帯電話機等を用いても良い。即ち、少なくとも画像の表示機能を備える機器であれば、カメラ１００の代わりに用いることが可能である。
【００６４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システム の構成を示す図である。
【図２】仮想移動表示システムの動作の概略について示す図である。
【図３】図１に示す仮想移動表示システムにおけるカメラの動作を示すフローチャー トである。
【図４】図１に示す仮想移動表示システムにおけるサーバの動作を示すフローチャー トである。
【図５】複数の移動ルートが存在する場合の例を示す図である。
【図６】移動ルート探索処理について示すフローチャートである。
【図７】移動手段が自動車である場合のアバターの例を示す図である。
【符号の説明】
【００６６】
１００…カメラ、１０１…制御部、１０２…操作入力部、１０３…撮像部、１０４…位置検出部、１０５…時計部、１０６…記録部、１０７…表示部、１０８…通信部、２００…サーバ、２０１…制御部、２０２…操作入力部、２０３…画像記録部、２０３ａ…位置年代記録部、２０４…年代別地図データベース（ＤＢ）、２０５…ルート探索部、２０６…仮想風景作成部、２０７…通信部、３００…通信回線
【特許請求の範囲】
【請求項１】
撮影位置情報が付加された画像を複数記録する画像記録部と、
前記記録された画像の中から、撮影位置の異なる先画像、後画像を選択するための選択部と、
地図データと、選択された前記先画像、後画像に付加されている撮影位置情報に基づき、先画像に係る撮影位置から後画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の進行方向を向いた時に見える画像を仮想的に表示する仮想風景作成部と、
を具備することを特徴とする仮想移動表示装置。
【請求項２】
前記仮想風景作成部は、前記仮想風景に枠、またはアバターを合成表示することを特徴とする請求項１に記載の仮想移動表示装置。
【請求項１】
撮影位置情報が付加された画像を複数記録する画像記録部と、
前記記録された画像の中から、撮影位置の異なる先画像、後画像を選択するための選択部と、
地図データと、選択された前記先画像、後画像に付加されている撮影位置情報に基づき、先画像に係る撮影位置から後画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の進行方向を向いた時に見える画像を仮想的に表示する仮想風景作成部と、
を具備することを特徴とする仮想移動表示装置。
【請求項２】
前記仮想風景作成部は、前記仮想風景に枠、またはアバターを合成表示することを特徴とする請求項１に記載の仮想移動表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１６４３２８（Ｐ２０１２−１６４３２８Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１２−７３６２８（Ｐ２０１２−７３６２８）
【出願日】平成２４年３月２８日（２０１２．３．２８）
【分割の表示】特願２００８−２５４２９（Ｐ２００８−２５４２９）の分割
【原出願日】平成２０年２月５日（２００８．２．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２４年３月２８日（２０１２．３．２８）
【分割の表示】特願２００８−２５４２９（Ｐ２００８−２５４２９）の分割
【原出願日】平成２０年２月５日（２００８．２．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]