説明

画像提供システム、画像表示装置、および画像表示プログラム

【課題】ユーザが地図画像上の各地点を撮影した画像データの信頼性を容易に把握可能な画像提供システム、画像表示装置、および画像表示プログラムを提供する。
【解決手段】画像提供システム1では、定点カメラ10やユーザ端末5で取得された画像データが、その取得時の位置情報およびタイムスタンプとともに、画像管理データベースに記憶される。画像管理サーバ2では、ユーザ端末5からの要求に応じて、地図データ記憶エリアに記憶されている地図データが、ユーザ端末5に返信される。このとき、地図データの表示範囲に含まれる位置情報と対応付けられているタイムスタンプも、ユーザ端末5に返信される。ユーザ端末5では、画像管理サーバ2から取得した地図データおよびタイムスタンプに基づいてヒートマップが生成されて、HMDで表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、各地で取得された画像を提供する画像提供システム、並びに、各地で取得された画像を表示する画像表示装置および画像表示プログラムに関する。
【背景技術】
【0002】
従来、各地の映像を入手可能なシステムが知られている(例えば、特許文献1参照)。具体的には、画像表示装置において、場所を指定して現在映像の入手指示が入力された場合、指定された場所に存在する外部映像入手装置から現在映像の撮像データが取得される。画像表示装置において、場所を指定して過去映像の入手指示が入力された場合、撮像データ記憶部またはセンタ局から過去映像の撮像データが取得される。これにより、画像表示装置は、指定場所の現在映像または過去映像を表示できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−299156号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のシステムでは、指定場所の現在映像または過去映像が表示される場合、映像が新しいほど情報の信頼性が高い一方、映像が古いほど情報の信頼性が低い。つまり、映像データの取得日時が、現在の指定場所における街並み、風景、状態等との同一性(以下、映像の信頼性という。)に大きな影響を与える。しかしながら、ユーザは、指定場所の映像が新しいか古いか、つまり映像の信頼性を把握することが困難であった。
【0005】
本発明は、上述した課題を解決するためになされたものであり、ユーザが地図画像上の各地点を撮影した画像データの信頼性を容易に把握可能な画像提供システム、画像表示装置、および画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1態様に係る画像提供システムは、画像データを取得する画像取得装置と、前記画像データを管理するサーバと、前記画像データを表示する画像表示装置とが、ネットワークを介して接続された画像提供システムであって、前記画像取得装置は、前記画像取得装置の周辺を撮像する撮像手段から、前記画像データを取得する画像データ取得手段と、前記画像取得装置の現在位置を検出する位置検出手段から、前記画像データの取得位置を示す位置情報を取得する位置情報取得手段と、前記画像データの時間的な信頼性を示す信頼性情報を生成する信頼性情報生成手段と、前記画像データ取得手段によって取得された前記画像データと、前記位置情報取得手段によって取得された前記位置情報と、前記信頼性情報生成手段によって生成された前記信頼性情報とを、前記サーバに送信する情報送信手段とを備え、前記サーバは、前記画像取得装置から受信した前記画像データ、前記位置情報、および前記信頼性情報を対応付けて、第一記憶装置に記憶させる記憶制御手段と、前記画像表示装置からの要求に応じて、第二記憶装置に記憶されている地図データと、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報とを、前記画像表示装置に返信する情報送信手段とを備え、前記画像表示装置は、前記サーバに前記要求を送信することで、前記画像表示装置から前記地図データおよび前記信頼性情報を取得する情報取得手段と、前記情報取得手段によって取得された前記地図データおよび前記信頼性情報に基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成手段と、前記合成画像生成手段によって生成された前記合成画像を、第一表示装置に表示する合成画像表示手段とを備えている。
【0007】
第1態様によれば、画像取得装置で取得された画像データが、位置情報および信頼性情報とともに、第一記憶装置に記憶される。サーバでは、画像表示装置からの要求に応じて、第二記憶装置に記憶されている地図データが、画像表示装置に返信される。このとき、地図データの表示範囲に含まれる位置情報と対応付けられている信頼性情報も、画像表示装置に返信される。画像表示装置では、サーバから取得した地図データおよび信頼性情報に基づいて合成画像が生成されて、第一表示装置に表示される。合成画像は、画像データの時間的信頼性を示す特殊表示が、地図データに付加された画像である。したがって、画像表示装置のユーザは、第一表示装置に表示された合成画像を参照することで、地図画像上の各地点を撮影した画像データの信頼性を容易に把握することができる。
【0008】
本発明の第2態様に係る画像提供システムは、画像データを取得する画像取得装置と、前記画像データを管理するサーバと、前記画像データを表示する画像表示装置とが、ネットワークを介して接続された画像提供システムであって、前記画像取得装置は、前記画像取得装置の周辺を撮像する撮像手段から、前記画像データを取得する画像データ取得手段と、前記画像取得装置の現在位置を検出する位置検出手段から、前記画像データの取得位置を示す位置情報を取得する位置情報取得手段と、前記画像データの時間的な信頼性を示す信頼性情報を生成する信頼性情報生成手段と、前記画像データ取得手段によって取得された前記画像データと、前記位置情報取得手段によって取得された前記位置情報と、前記信頼性情報生成手段によって生成された前記信頼性情報とを、前記サーバに送信する情報送信手段とを備え、前記サーバは、前記画像取得装置から受信した前記画像データ、前記位置情報、および前記信頼性情報を対応付けて、第一記憶装置に記憶させる記憶制御手段と、前記画像表示装置からの要求に応じて、第二記憶装置に記憶されている地図データと、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報とに基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成手段と、前記合成画像生成手段によって生成された前記合成画像を、前記画像表示装置に返信する情報送信手段とを備え、前記画像表示装置は、前記サーバに前記要求を送信することで、前記画像表示装置から前記合成画像を取得する情報取得手段と、前記情報取得手段によって取得された前記合成画像を、第一表示装置に表示する合成画像表示手段とを備えている。
【0009】
第2態様によれば、画像取得装置で取得された画像データが、位置情報および信頼性情報とともに、第一記憶装置に記憶される。サーバでは、画像表示装置からの要求に応じて、第二記憶装置に記憶されている地図データと、地図データの表示範囲に含まれる位置情報と対応付けられている信頼性情報とに基づいて合成画像が生成される。合成画像は、画像データの時間的信頼性を示す特殊表示が、地図データに付加された画像である。サーバで生成された合成画像は、画像表示装置に返信されて第一表示装置に表示される。したがって、画像表示装置のユーザは、第一表示装置に表示された合成画像を参照することで、地図画像上の各地点を撮影した画像データの信頼性を容易に把握することができる。
【0010】
第1態様および第2態様のいずれかにおいて、前記信頼性情報は、前記画像データが取得された日時を示すタイムスタンプであり、前記特殊表示は、前記タイムスタンプが示す取得日時が新しい前記画像データと、前記タイムスタンプが示す取得日時が古い前記画像データとを、前記地図データ上で視覚的に区別可能な表示態様であってもよい。この場合、画像表示装置のユーザは、画像データの取得日時が新しい地点と、画像データの取得日時が古い地点とを、合成画像を参照して視覚的に判別できる。
【0011】
第1態様および第2態様のいずれかにおいて、前記信頼性情報は、前記画像データが更新される頻度を示す更新頻度データであり、前記特殊表示は、前記更新頻度データが示す更新頻度が多い前記画像データと、前記更新頻度データが示す更新頻度が多い前記画像データとを、前記地図データ上で視覚的に区別可能な表示態様であってもよい。この場合、画像表示装置のユーザは、画像データの更新頻度が多い地点と、画像データの更新頻度が少ない地点とを、合成画像を参照して視覚的に判別できる。
【0012】
第1態様および第2態様のいずれかにおいて、前記画像表示装置は、前記第一表示装置に表示された前記合成画像において、ユーザが対象位置を指定するための位置指定手段と、前記位置指定手段によって指定された前記対象位置に対応する前記画像データである対象データを、前記第一記憶装置から取得する対象データ取得手段と、前記対象データ取得手段によって取得された前記対象データを、第二表示装置に表示する対象データ表示手段とを備えてもよい。この場合、画像表示装置のユーザは、各地点の画像データの時間的信頼性を合成画像上で確認したうえで、第二表示装置で画像データを閲覧できる。
【0013】
第1態様および第2態様のいずれかにおいて、前記画像表示装置は、前記対象データに対応する前記信頼性情報が示す前記時間的信頼性が所定値よりも低い場合、前記第二表示装置に警告を表示する警告表示手段を備えてもよい。この場合、画像表示装置のユーザは、指定地点の画像データの時間的信頼性が低いことを確実に把握できる。
【0014】
第1態様および第2態様のいずれかにおいて、前記画像表示装置は、前記対象データ取得手段によって複数の前記対象データが取得された場合に、前記複数の対象データをリスト状またはサムネイル状に前記第一表示装置に表示する対象一覧表示手段を備え、前記対象データ表示手段は、前記対象一覧表示手段によって表示された前記複数の対象データのうちで、ユーザが選択した前記対象データを前記第二表示装置に表示してもよい。この場合、指定地点の画像データが複数存在する場合、画像表示装置のユーザは第二表示装置に表示する画像データを自由に選択できる。
【0015】
本発明の第3態様に係る画像表示装置は、地図データを記憶する記憶装置を参照して、前記地図データを取得する地図データ取得手段と、画像データ、前記画像データの取得位置を示す位置情報、および前記画像データの時間的な信頼性を示す信頼性情報を対応付けて記憶する記憶装置を参照して、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報を取得する信頼性情報取得手段と、前記地図データ取得手段によって取得された前記地図データと、前記信頼性情報取得手段によって取得された前記信頼性情報とに基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成手段と、前記合成画像生成手段によって生成された前記合成画像を、表示装置に表示する合成画像表示手段とを備えている。
【0016】
第3態様によれば、地図データと、地図データの表示範囲に含まれる位置情報と対応付けられている画像データの信頼性情報とが、記憶装置から取得される。取得された地図データおよび信頼性情報に基づいて合成画像が生成されて、表示装置に表示される。合成画像は、画像データの時間的信頼性を示す特殊表示が、地図データに付加された画像である。したがって、ユーザは表示装置に表示された合成画像を参照することで、地図画像上の各地点を撮影した画像データの信頼性を容易に把握することができる。
【0017】
本発明の第4態様に係る画像表示プログラムは、コンピュータに、地図データを記憶する記憶装置を参照して、前記地図データを取得する地図データ取得ステップと、画像データ、前記画像データの取得位置を示す位置情報、および前記画像データの時間的な信頼性を示す信頼性情報を対応付けて記憶する記憶装置を参照して、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報を取得する信頼性情報取得ステップと、前記地図データ取得ステップによって取得された前記地図データと、前記信頼性情報取得ステップによって取得された前記信頼性情報とに基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成ステップと、前記合成画像生成ステップによって生成された前記合成画像を、表示装置に表示する合成画像表示ステップとを実行させることを特徴とする。
【0018】
第4態様によれば、地図データと、地図データの表示範囲に含まれる位置情報と対応付けられている画像データの信頼性情報とが、記憶装置から取得される。取得された地図データおよび信頼性情報に基づいて合成画像が生成されて、表示装置に表示される。合成画像は、画像データの時間的信頼性を示す特殊表示が、地図データに付加された画像である。したがって、ユーザは表示装置に表示された合成画像を参照することで、地図画像上の各地点を撮影した画像データの信頼性を容易に把握することができる。
【図面の簡単な説明】
【0019】
【図1】定点カメラ10が設けられた街角の一具体例を示す図である。
【図2】画像提供システム1の全体構成図である。
【図3】画像管理サーバ2の電気的構成を示すブロック図である。
【図4】画像管理データベース70のデータ構成を示す図である。
【図5】位置管理データベース80のデータ構成を示す図である。
【図6】ユーザ端末5の斜め上方からみた斜視図である。
【図7】HMD200の電気的構成を示すブロック図である。
【図8】HMD制御端末100の電気的構成を示すブロック図である。
【図9】定点カメラ10のアップロード処理を示すフローチャートである。
【図10】ユーザ端末5のアップロード処理を示すフローチャートである。
【図11】画像管理サーバ2のDB更新処理を示すフローチャートである。
【図12】位置管理サーバ3のDB更新処理を示すフローチャートである。
【図13】画像管理サーバ2の画像提供処理を示すフローチャートである。
【図14】ユーザ端末5の画像表示処理を示すフローチャートである。
【図15】地図データ300の一具体例を示す図である。
【図16】ヒートマップ310の一具体例を示す図である。
【図17】データ表示処理を示すフローチャートである。
【発明を実施するための形態】
【0020】
本発明を具体化した実施の形態について、図面を参照して説明する。参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、単なる説明例である。
【0021】
図1および図2を参照して、本実施形態に係る画像提供システム1の全体構成について説明する。画像提供システム1は、地図画像上で指定された地点(以下、指定地点という。)で撮影された画像データを、ネットワークを介してユーザに提供するシステムである。画像提供システム1では、画像管理サーバ2、位置管理サーバ3、複数のユーザ端末5、および複数の定点カメラ10が、ネットワーク4を介して接続されている。
【0022】
画像管理サーバ2は、各地で撮影された画像データを管理するコンピュータであり、ネットワーク4と有線で接続されている。位置管理サーバ3は、ユーザ端末5の現在位置を管理するコンピュータであり、ネットワーク4と有線で接続されている。ネットワーク4は、公衆回線網を経由して接続可能なインターネットである。
【0023】
ユーザ端末5は、画像提供システム1を利用するユーザが携行する小型・軽量の端末装置であり、ネットワーク4と無線で接続されている。ユーザ端末5は、ユーザが地図画像上で指定した地点の画像データを、画像管理サーバ2や定点カメラ10から取得して表示する。また、ユーザ端末5は、現在位置を所定の時間間隔で撮影して、撮影した画像データを画像管理サーバ2に送信する。そのため、ユーザ端末5で撮影された画像データには、ユーザ端末5の現在位置近傍の街並みや風景などが映し出される。
【0024】
定点カメラ10は、各地に設置されたカメラであり、ネットワーク4と有線で接続されている。定点カメラ10は、撮影した画像データを画像管理サーバ2やユーザ端末5に送信する。本実施形態の定点カメラ10は、街角の主要な交差点に設けられて、交差点の東西南北の4方向を常時撮影する。そのため、定点カメラ10で撮影された画像データには、定点カメラ10が設定されている交差点近傍の道路交通状況や歩行者の流れなどが映し出される。
【0025】
図3を参照して、画像管理サーバ2の電気的構成について説明する。画像管理サーバ2は、汎用のサーバであり、CPU20、ROM21、RAM22、HDD23、通信装置24、I/Oインタフェイス29を備える。ROM21、RAM22、I/Oインタフェイス29は、それぞれCPU20に接続されている。HDD23および通信装置24は、I/Oインタフェイス29に接続されている。通信装置24は、ネットワーク4を介したデータ通信を制御するコントローラである。
【0026】
HDD33は、大容量のハードディスクドライブであって、プログラム記憶エリア231、地図データ記憶エリア232、および画像データ記憶エリア233などが設けられている。プログラム記憶エリア231には、画像管理サーバ2を動作させる各種プログラムが記憶されており、後述のDB更新処理(図11参照)や画像提供処理(図13参照)を実行するためのプログラムも記憶されている。
【0027】
地図データ記憶エリア232には、ユーザが地点の指定を行うための地図画像を示す地図データが記憶される。本実施形態では、少なくとも日本の全体および各地の地図を複数の縮尺で表示可能なように、複数の地図データが予め用意されている。なお、CPU20は、地図データに基づいて表示される地図画像上の表示位置に対応して、現実の地点の位置情報(緯度および経度)を特定可能である。
【0028】
画像データ記憶エリア233には、各地を撮影した画像データが記憶される。画像データ記憶エリア233には、画像データを管理するための画像管理データベース70が設けられている。図4に示すように、画像管理データベース70は、画像データと、画像データの取得位置(つまり、撮影地点)を示す位置情報と、画像データの取得日時を示すタイムスタンプとを示すレコードを、画像データ毎に記憶する。位置情報は、撮影地点の緯度および経度と、撮影時のカメラ方向とを示す。
【0029】
位置管理サーバ3の電気的構成について説明する。位置管理サーバ3は、汎用のサーバであり、画像管理サーバ2(図3)と同様に、CPU、ROM、RAM、HDD、通信装置、I/Oインタフェイスを備える(図示外)。ただし、位置管理サーバ3のHDDには、プログラム記憶エリアの他に、現在位置記憶エリア(図示外)が設けられている。このプログラム記憶エリアには、位置管理サーバ3を動作させる各種プログラムが記憶されている。
【0030】
現在位置記憶エリアには、ユーザ端末5の現在位置を示す位置情報(以下、現在位置データという。)が記憶されている。現在位置データ記憶エリアには、現在位置データを管理するための位置管理データベース80が設けられている。図5に示すように、位置管理データベース80は、ユーザ端末5に固有の端末IDと、ユーザ端末5の現在位置とを含むレコードが、ユーザ端末5毎に設けられている。現在位置は、ユーザ端末5から取得された最新の位置情報(緯度、経度、および方向)である。
【0031】
定点カメラ10の電気的構成について説明する。図示しないが、定点カメラ10は、設置地点を撮影するカメラ部と、カメラ部の制御等を実行するコントローラを備える。コントローラは、CPU、ROM、RAMなどを有しており、ROMには制御プログラムが記憶されている。この制御プログラムが、CPUに後述の画像アップロード処理(図9参照)を実行させる。また、ROMには、定点カメラ10に固有の端末IDや、定点カメラ10の位置情報などが記憶されている。
【0032】
図6を参照して、ユーザ端末5の物理的構成について説明する。本実施形態のユーザ端末5は、ヘッドマウントディスプレイ(以下、HMDという。)200と、HMD制御端末100とを含む。HMD200は、ユーザが頭部に装着して画像を鑑賞可能な眼鏡型の表示装置である。HMD制御端末100は、HMD200とケーブル190で接続された小型・軽量の電子機器であり、HMD200の表示制御等を司る。
【0033】
本実施形態のHMD200は、所謂網膜走査型ディスプレイである。すなわち、HMD200は、ユーザに視認させる画像データの信号(以下、画像信号という。)に応じて変調されたレーザ光(以下、映像光Aという。)を走査して、ユーザの少なくとも一方の眼の網膜に出射する。これによりHMD200は、ユーザの網膜に画像を直接投影し、画像を視認させることができる。HMD200は、出射装置210と、ハーフミラー250と、頭部装着部220とを少なくとも備えている。頭部装着部220は、出射装置210を支持し、且つ、HMD200をユーザの頭部に固定する。ハーフミラー250は、出射装置210の光出射口に配置される。
【0034】
出射装置210は、画像信号に応じた映像光Aを、ハーフミラー250に対し出射する。ハーフミラー250は、出射装置210に対して固定的な位置にある。ハーフミラー250は、出射装置210から出射した映像光Aを、ユーザの眼に向かって反射させる。ハーフミラー250は、例えば所定の反射率(例えば50%)となるように、透明樹脂板に対して金属薄膜を蒸着することで形成される。そのため、ハーフミラー250は、外界からの外光Bの一部を透過させてユーザの眼に導く。つまり、ハーフミラー250は、ユーザの側方から入射した映像光Aと、外界からの外光Bとを、ユーザの眼に入射させる。これによりユーザは、実際の視界と映像光Aに基づく画像とを視認可能となる。
【0035】
図7を参照して、HMD200の電気的構成について説明する。HMD200は、表示部240、機器接続インタフェイス243、フラッシュメモリ249、制御部246、カメラ207、および電源部247を備えている。制御部246は、CPU261、ROM262、およびRAM248を少なくとも備え、HMD200全体を制御する。制御部246は、ROM262に格納された各種プログラムをCPU261が読み出すことにより、後述の各処理を実行する。
【0036】
表示部240は、ユーザに画像を視認させる。表示部240は、画像信号処理部270、レーザ群272、およびレーザドライバ群271を備えている。画像信号処理部270は、画像信号を制御部246から受信する。画像信号処理部270は、受信した画像信号を、ユーザの網膜に直接投影するために必要な各信号に変換する。レーザ群272は、青色出力レーザ(Bレーザ)721、緑色出力レーザ(Gレーザ)722、赤色出力レーザ(Rレーザ)723を含む。レーザ群272は、青色、緑色および赤色のレーザ光を出力する。レーザドライバ群271は、レーザ群272からレーザ光を出力させるための制御を行う。画像信号処理部270は、レーザドライバ群271と電気的に接続している。以下では、Bレーザ721、Gレーザ722、およびRレーザ723を、レーザと総称する。
【0037】
表示部240は、垂直走査ミラー812、垂直走査制御回路811、水平走査ミラー792、および水平走査制御回路791を備えている。垂直走査ミラー812は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う。垂直走査制御回路811は、垂直走査ミラー812の駆動制御を行う。水平走査ミラー792は、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う。水平走査制御回路791は、水平走査ミラー792の駆動制御を行う。画像信号処理部270は、垂直走査制御回路811および水平走査制御回路791と電気的に接続している。
【0038】
画像信号処理部270は、制御部246とバスを介して電気的に接続している。従って、画像信号処理部270は、制御部246から受信した画像信号に応じた色およびタイミングで、各レーザよりレーザ光を出力させることができる。さらに、画像信号処理部270は、制御部246から受信した画像信号に応じた方向へ、レーザ光を反射させることができる。これにより、HMD200は、画像信号に応じた光束を2次元方向に走査し、走査した光をユーザの眼に導いて網膜上に表示画像を形成することができる。
【0039】
カメラ制御部299は、カメラ207およびカメラ制御回路208を備えている。カメラ207は、ユーザの視線と同一方向を撮影する(図6参照)。カメラ制御回路208は、カメラ207を制御する。カメラ制御回路208は、バスを介して制御部246と電気的に接続している。従って、制御部246は、カメラ207に撮影を実行させたり、カメラ207で撮影された画像データを取得したりすることができる。
【0040】
GPS制御部289は、GPS受信機288およびGPS制御回路287を備えている。GPS受信機288は、HMD200の現在位置を示す緯度および経度を取得する。GPS制御回路287は、GPS受信機288を制御する。GPS制御回路287は、バスを介して制御部246と電気的に接続している。従って、制御部246は、GPS受信機288から現在位置の緯度および経度を取得することができる。
【0041】
加速度計制御部239は、加速度計238および加速度計制御回路237を備えている。加速度計238は、HMD200を装着したユーザが進行している方向(つまり、カメラ207の撮影方向)を取得する。加速度計制御回路237は、加速度計238を制御する。加速度計制御回路237は、バスを介して制御部246と電気的に接続している。従って、制御部246は、加速度計238からHMD200の向き(つまり、カメラ207の撮影方向)を取得することができる。
【0042】
機器接続インタフェイス243は、ケーブル190を介したデータ通信を制御するコントローラである。機器接続インタフェイス243は、バスを介して制御部246と電気的に接続している。従って、制御部246は、HMD制御端末100から画像データを受信して、その画像データをユーザに視認させることができる。また、制御部246は、カメラ207で撮影された画像データ、および撮影時の位置情報を、HMD制御端末100に
送信することができる。
【0043】
電源部247は、電池259および充電制御回路260を備えている。電池259は、HMD200を駆動する電源である。充電制御回路260は、電池259の電力をHMD200に供給する。フラッシュメモリ249、ビデオRAM244、およびフォントROM245は、制御部246とバスを介して電気的に接続されている。制御部246は、フラッシュメモリ249、ビデオRAM244、およびフォントROM245に記憶された情報を適宜参照可能である。
【0044】
図8を参照して、HMD制御端末100の電気的構成について説明する。HMD制御端末100は、HMD200に画像データを供給する外部機器である。HMD制御端末100は、CPU120、ROM121、RAM122、HDD123、通信装置124、操作キー125、機器接続インタフェイス126、およびI/Oインタフェイス129を備える。ROM121、RAM122、およびI/Oインタフェイス129は、それぞれCPU120に接続されている。HDD123、通信装置124、操作キー125、および機器接続インタフェイス126は、I/Oインタフェイス129に接続されている。
【0045】
通信装置124は、ネットワーク4を介したデータ通信を制御するコントローラである。機器接続インタフェイス126は、ケーブル190を介したデータ通信を制御するコントローラである。HDD133は、大容量のハードディスクドライブであって、HMD制御端末100を動作させる各種プログラムや、HMD200に表示させる画像データが記憶されている。また、HDD133は、後述のアップロード処理(図10参照)や画像表示処理(図14参照)を実行するためのプログラムも記憶されている。
【0046】
図9〜図17を参照して、画像提供システム1で実行される処理について説明する。より詳細には、画像管理サーバ2、位置管理サーバ3、ユーザ端末5、および定点カメラ10でそれぞれ実行される処理を説明する。
【0047】
図9を参照して、定点カメラ10で実行されるアップロード処理について説明する。定点カメラ10に電源が投入されると、定点カメラ10のROMに記憶されている制御プログラムに基づいて、定点カメラ10のCPUがアップロード処理(図9)を繰り返し実行する。
【0048】
図9に示すように、定点カメラ10のアップロード処理では、画像データのアップロードを行う所定タイミングであるか否かが判断される(S1)。具体的には、前回のデータアップロード(後述のステップS9)から10分経過するごとに、所定タイミングであると判断される(ステップS1:YES)。この場合、設置地点を常時撮影しているカメラ部から、現在撮影している映像を示す画像データが取得される(S3)。定点カメラ10に内蔵されているタイマ(図示外)の示す現在日時が、タイムスタンプとして取得される(S5)。定点カメラ10のROMに記憶されている位置情報(つまり、定点カメラ10の緯度、経度、および方向)が取得される(S7)。
【0049】
ステップS7の実行後、画像管理サーバ2へのデータアップロードが実行される(S9)。具体的には、ステップS3で取得された画像データと、ステップS5で取得されたタイムスタンプと、ステップS7で取得された位置情報とを含むデータファイルが、ネットワーク4を介して画像管理サーバ2へ送信される。ステップS9の実行後、または所定タイミングでない場合(S1:NO)、処理はステップS1に戻る。以上の処理により、定点カメラ10では、設置地点の現在の様子を映し出した画像データが、10分間隔で画像管理サーバ2にアップロードされる。
【0050】
図10を参照して、ユーザ端末5で実行されるアップロード処理について説明する。ユーザ端末5(つまり、HMD制御端末100およびHMD200)に電源が投入されると、HDD133に記憶されているプログラムに基づいて、CPU120が本処理を繰り返し実行する。
【0051】
図10に示すように、ユーザ端末5のアップロード処理では、図9のステップS1〜9と同様の処理が実行される(S11〜S19)。具体的には、前回のデータアップロード(後述のステップS19)から10分経過するごとに、所定タイミングであると判断される(ステップS11:YES)。なお、ステップS11では、経過時間以外の条件が満たされた場合に(例えば、ユーザが操作キー125を介して、カメラ207を用いて撮像を行った場合)、所定タイミングであると判断されてもよい。この場合、HMD200のカメラ207に現在位置を撮影させ、カメラ207で撮影された画像データがHMD200から取得される(S13)。HMD制御端末100に内蔵されているタイマ(図示外)の示す現在日時が、タイムスタンプとして取得される(S15)。
【0052】
さらに、GPS受信機288に現在位置の緯度および経度を計測させる。加速度計238にユーザ端末5の方向を計測させる。このように計測された緯度、経度および方向が、HMD200から現在位置の位置情報として取得される(S17)。ステップS13、S15、S17でそれぞれ取得された情報を含むデータファイルが、ネットワーク4を介して画像管理サーバ2へ送信される(S19)。
【0053】
ただし、ステップS19の実行後、現在位置通知がネットワーク4を介して位置管理サーバ3へ送信される(S21)。現在位置通知は、ユーザ端末5に固有の端末IDと、ステップS17で取得された位置情報とを含む。ステップS21の実行後、または所定タイミングでない場合(S11:NO)、処理はステップS11に戻る。以上の処理により、ユーザ端末5では、ユーザ端末5の現在位置の様子を映し出した画像データが、10分間隔で画像管理サーバ2にアップロードされる。また、ユーザ端末5の現在位置が、10分間隔で位置管理サーバ3に通知される。
【0054】
図11を参照して、画像管理サーバ2で実行されるDB更新処理について説明する。画像管理サーバ2に電源が投入されると、HDD33に記憶されているプログラムに基づいて、CPU20が本処理を繰り返し実行する。
【0055】
図11に示すように、画像管理サーバ2のDB更新処理では、データファイルのアップロードがあるか否かが判断される(S31)。具体的には、ユーザ端末5または定点カメラ10からデータファイルの送信がある場合、アップロードがあると判断される(S31:YES)。この場合、アップロードされたデータファイルが受信され(S33)、画像管理データベース70が更新される(S35)。ステップS35の実行後、またはアップロードがない場合(S31:NO)、処理はステップS31に戻って、データファイルのアップロードを待ち受ける。以上の処理により、画像管理サーバ2は、定点カメラ10およびユーザ端末5から各地の画像データを収集することができる。
【0056】
図4に示す例では、定点カメラ10「camera_a」からアップロードされたデータファイルに基づいて、画像データ「camera_a.jpg」を含むレコードが画像管理データベース70に登録されている。このレコードには、定点カメラ10「camera_a」の設置位置を示す位置情報と、画像データ「camera_a.jpg」の取得日時を示すタイムスタンプとが設定されている。
【0057】
また、ユーザA(図2参照)が装着しているユーザ端末5「hmd001」からアップロードされたデータファイルに基づいて、画像データ「hmd001_a.jpg」を含むレコードが画像管理データベース70に登録されている。このレコードには、画像データ「camera_a.jpg」について、その取得時のユーザ端末5「hmd001」の位置を示す位置情報と、その取得日時を示すタイムスタンプとが設定されている。
【0058】
図12を参照して、位置管理サーバ3で実行されるDB更新処理について説明する。位置管理サーバ3に電源が投入されると、HDDに記憶されているプログラムに基づいて、CPUが本処理を繰り返し実行する。
【0059】
図12に示すように、位置管理サーバ3のDB更新処理では、現在位置通知があるか否かが判断される(S41)。具体的には、ユーザ端末5から現在位置通知を受信した場合、現在位置通知があると判断される(S41:YES)。この場合、受信した現在位置通知に基づいて、位置管理データベース80が更新される(S43)。ステップS43の実行後、または現在位置通知がない場合(S43:NO)、処理はステップS41に戻って、現在位置通知の受信を待ち受ける。以上の処理により、位置管理サーバ3は、各地に固定されている定点カメラ10の設置位置、および各地に移動可能なユーザ端末5の現在位置を常時把握することができる。
【0060】
図5に示す例では、ユーザA(図2参照)が装着しているユーザ端末5「hmd001」から受信した現在位置通知に基づいて、端末ID「hmd001」を含むレコードが位置管理データベース80に登録されている。このレコードには、ユーザ端末5「hmd001」の現在位置を示す位置情報が設定されている。
【0061】
図13を参照して、画像管理サーバ2で実行される画像提供処理について説明する。画像管理サーバ2に電源が投入されると、HDD33に記憶されているプログラムに基づいて、CPU20が本処理を繰り返し実行する。
【0062】
図13に示すように、画像管理サーバ2の画像提供処理では、地図要求を受信したか否かが判断される(S51)。地図要求は、ユーザ端末5が画像管理サーバ2に対して地図データを要求する信号であり、ユーザが指定した地図画像の表示範囲(以下、地図表示範囲という。)を含む。地図要求を受信した場合(S51:YES)、地図データ記憶エリア232から地図要求に含まれる地図表示範囲を示す地図データが取得される(S53)。
【0063】
ステップS53で取得された地図データの地図表示範囲に対応するタイムスタンプが、画像管理データベース70から取得される(S55)。具体的には、地図データの地図表示範囲に含まれる緯度および経度を有する全ての画像データが、画像管理データベース70から検索される。検索にヒットした画像データに対応付けられているタイムスタンプが、画像管理データベース70から取得される。ステップS55の実行後、地図描画情報がネットワーク4を介して要求元のユーザ端末5へ送信される(S57)。地図描画情報は、ユーザ端末5で地図画像を表示するのに用いられる情報であり、ステップS53で取得された地図データと、ステップS55で取得されたタイムスタンプとを含む。
【0064】
例えば、地図表示範囲が緯度「+33 35 42.374」および経度「+130 24 21.035」を含む場合、この緯度および経度と合致する位置情報を含む全てのレコードからタイムスタンプが取得される(S55)。図4に示す画像管理データベース70の例では、タイムスタンプ「100707120230」が取得される。ステップS57では、地図表示範囲に対応する地図データが、地図表示範囲内の各地点における画像取得日時を示すタイムスタンプとともに、要求元のユーザ端末5へ送信される。
【0065】
ステップS57の実行後、画像要求を受信したか否かが判断される(S59)。画像要求は、ユーザ端末5が画像管理サーバ2に対して画像データを要求する信号であり、ユーザが指定した地点(以下、指定地点という。)の位置情報を含む。画像要求を受信した場合(S59:YES)、指定地点の位置情報に対応付けられている画像データが、画像管理データベース70を参照して特定される(S61)。ステップS61で特定された画像データのリストである画像データ一覧が、ネットワーク4を介して要求元のユーザ端末5へ送信される(S63)。
【0066】
例えば、画像要求が緯度「+33 35 42.374」、経度「+130 24 21.035」、方向「北」を含む場合、この緯度、経度および方向と合致する位置情報を含む全てのレコードから画像データが特定される(S61)。図4に示す画像管理データベース70の例では、画像データ「camera_a.jpg」が特定される。ステップS63では、これらの画像データをそれぞれ縮小表示したサムネイル画像およびその取得日時を示す画像データ一覧が、要求元のユーザ端末5へ送信される。
【0067】
ステップS63の実行後、画像選択指示を受信したか否かが判断される(S65)。画像選択指示は、画像データ一覧からユーザが選択した画像データの識別情報を含む。CPU20は、画像選択指示に含まれる識別情報に基づいて、ステップS61で特定された画像データのうちでユーザが選択したものを特定できる。画像選択指示を受信した場合(S65:YES)、ユーザが選択した画像データが現在の画像であるか否かが判断される(S67)。具体的には、具体的には、ユーザが選択した画像データのタイムスタンプが、画像管理データベース70を参照して特定される。特定されたタイムスタンプから現在日時までの経過時間が所定値内(本実施形態では、10分未満)を示す場合、画像データが現在の画像であると判断される(S67:YES)。
【0068】
この場合、指定地点に対して、ネットワーク4を介して画像提供指示が送信される(S69)。画像提供指示は、指定地点に存在する画像取得装置に対して、要求元のユーザ端末5で撮影中の画像データ(本実施形態では、リアルタイムに再生可能な動画である映像データ)を提供することを指示する信号である。より具体的に、ステップS69では、CPU20は、指定地点に存在する画像取得装置を、位置管理サーバ3に問い合わせる。位置管理サーバ3のCPUは、画像管理サーバ2からの問い合わせに応じて、位置管理データベース80を参照して指定地点に対応する画像取得装置を特定して、画像管理サーバ2に通知する。CPU20は、位置管理サーバ3から通知された画像取得装置に対して、要求元のユーザ端末5に映像データをリアルタイムで送信するリクエストを送信する。
【0069】
例えば、画像選択指示が示す画像データが「camera_a.jpg」である場合、タイムスタンプ「100707120230」と現在日時との時間差が10分未満である。そのため、指定地点の位置情報が緯度「+33 35 42.374」、経度「+130 24 21.035」、方向「北」である場合、この位置情報を含むレコードから画像取得装置が特定される(S67:YES、S69)。図5に示す位置管理データベース80の例では、画像取得装置として定点カメラ10「camera_a」が特定される。ステップS71では、定点カメラ10「camera_a」にリクエストを送信することで、定点カメラ10「camera_a」の映像データを要求元のユーザ端末5へリアルタイムに提供させる。
【0070】
一方、画像データが現在の画像でない場合(S67:NO)、ユーザが選択した画像データが画像管理データベース70から読み出されて、要求元のユーザ端末5にネットワーク4を介して送信される(S71)。例えば、画像選択指示が示す画像データが「hmd_001.jpg」である場合、タイムスタンプ「100707080513」と現在日時との時間差が10分以上である(S67:NO)。そのため、ステップS71では、画像管理データベース70から画像データ「hmd_001.jpg」が読み出されて、要求元のユーザ端末5に送信される。
【0071】
なお、ステップS69またはステップS71の実行後、処理はステップS51に戻る。同様に、地図要求を受信しない場合(S51:NO)、画像要求を受信しない場合(S59:NO)、および画像選択指示を受信しない場合も(S65:NO)、処理はステップS51に戻る。以上の処理により、画像管理サーバ2では、ユーザ端末5の要求に応じて、指定地点の地図データや画像データを提供できる。また、指定地点に画像取得装置が存在する場合には、指定地点の画像取得装置からユーザ端末5に映像データをリアルタイムに提供させることができる。
【0072】
図14を参照して、ユーザ端末5で実行される画像表示処理について説明する。HDD133には、画像管理サーバ2から提供される画像データや地図データなどを表示するアプリケーションプログラムが記憶されている。画像表示処理は、このアプリケーションプログラムが起動されると、CPU120によって繰り返し実行される。
【0073】
図14に示すように、ユーザ端末5の画像表示処理では、地図表示操作があるか否かが判断される(S101)。地図表示操作は、HMD200を装着しているユーザが、眼に映し出される地図画像(詳細には、後述のヒートマップ)を、操作キー125(図8参照)を使用して移動・拡大・縮小等する操作である。地図表示操作がある場合(S101:YES)、地図要求がネットワーク4を介して画像管理サーバ2へ送信される(S103)。ステップS103の実行後、地図描画情報を受信したか否かが判断される(S105:YES)。地図描画情報を受信した場合(S105)、ヒートマップが作成される(S107)。ヒートマップは、画像データの時間的信頼性を示す特殊表示が地図データに付加された画像である。時間的信頼性とは、画像データの取得時から起算した経過時間が小さいか否か(つまり、画像データが新しいか否か)をいう。
【0074】
例えば、ユーザ端末5を装着しているユーザB(図2参照)が、緯度「+33 35 42.374」および経度「+130 24 21.035」を含む地図表示範囲を設定した場合、この地図表示範囲を示す地図要求が送信される(S103)。先述したように、地図データとタイムスタンプとを含む地図描画情報が、画像管理サーバ2から返信される。CPU120は、画像管理サーバ2から受信した地図描画情報に基づいてヒートマップを作成する(S107)。
【0075】
図15に示すように、地図描画情報に含まれる地図データ300は、地図表示範囲を示す地図画像である。ステップS107では、地図表示範囲に含まれる各地ごとの表示領域が、地図描画情報に含まれる各地点のタイムスタンプに応じて色分けするように配色される。本実施形態では、地図表示範囲内に含まれる各地点の画像データの更新日時の新しさを色分けして段階的に示すヒートマップが作成される。このヒートマップでは、タイムスタンプが新しい地点には暖色系で配色される一方、タイムスタンプが古い地点には寒色系で配色される。
【0076】
具体的には、図16に示すヒートマップ310では、タイムスタンプが現在日時から10分未満以内を示す場合、そのタイムスタンプに対応する地点の表示領域が「赤」で配色される。タイムスタンプが現在日時から10分以上、且つ1時間未満を示す場合、そのタイムスタンプに対応する地点の表示領域が「ピンク」で配色される。タイムスタンプが現在日時から1時間以上、且つ1日未満を示す場合、そのタイムスタンプに対応する地点の表示領域が「黄」で配色される。タイムスタンプが現在日時から1日以上を示す場合、そのタイムスタンプに対応する地点の表示領域が「無色」で配色される。タイムスタンプが存在しない地点の表示領域は、その地点を撮影した画像データが存在しないため、その地点の表示領域が「黒」で配色される。
【0077】
よって、ユーザはヒートマップ310を参照して、地図表示範囲に含まれる各地の画像データが新しいか否かを視覚的に容易に判別できる。言い換えると、ユーザは、画像データの取得日時が新しい地点と、画像データの取得日時が古い地点とを、ヒートマップ310を参照して視覚的に判別できる。
【0078】
ステップS107で作成されたヒートマップは、HMD200で表示される(S109)。具体的には、HMD200を装着しているユーザの眼にヒートマップが映し出される。ステップS109の実行後、指定地点・方向の入力ありか否かが判断される(S111)。例えばユーザが操作キー125でカーソル操作を行って、ヒートマップ上で座標位置および撮影方向を指定した場合、指定地点・方向の入力ありと判断される(S111:YES)。この場合、指定地点の画像データを要求する画像要求が、ネットワーク4を介して画像管理サーバ2へ送信される(S113)。ステップS113の実行後、画像データ一覧を受信したか否かが判断される(S115)。画像データ一覧を受信した場合(S115:YES)、画像データ一覧がHMD200で表示される(S117)。
【0079】
例えば、ユーザ端末5を装着しているユーザB(図2参照)が、ヒートマップ上で緯度「+33 35 42.374」、経度「+130 24 21.035」、方向「北」を指定した場合、これらの位置情報を含む画像要求が送信される(S113)。先述したように、指定地点の画像データ(図4の例では、画像データ「camera_a.jpg」など)のサムネイル画像および取得日時を含む画像データ一覧が、画像管理サーバ2から返信される。CPU120は、画像管理サーバ2から受信した画像データ一覧に基づいて、HMD200を装着しているユーザの眼に指定地点の画像データをサムネイル状に映し出す(S117)。
【0080】
ステップS117の実行後、画像データの選択ありか否かが判断される(S119)。例えばユーザが操作キー125でカーソル操作を行って、画像データ一覧からサムネイル画像を選択した場合、画像データの選択ありと判断される(S119:YES)。この場合、選択された画像データの識別情報を含む画像選択指示が、ネットワーク4を介して画像管理サーバ2へ送信される(S121)。ステップS121の実行後、後述のデータ表示処理が実行されて(S123)、処理がステップS101に戻る。
【0081】
同様に、地図表示操作がない場合(S101:NO)、地図描画情報を受信していない場合(S105:NO)、指定地点・方向の入力がない場合(S111:NO)、画像データ一覧を受信していない場合(S115:NO)、および対象画像の選択がない場合も(S119:NO)、それぞれ、処理はステップS101に戻る。以上の処理により、ユーザ端末5では、ユーザの要求に応じて、地図画像上の各地点を撮影した画像データの時間的信頼性を示すヒートマップを表示できる。
【0082】
図17に示すように、データ表示処理(S123)では、画像データを受信したか否かが判断される(S151)。画像管理サーバ2から画像データを受信した場合(S151:YES)、その画像データが所定時間以上古いデータであるか否かが判断される(S153)。具体的には、画像データのタイムスタンプが示す取得日時が、現在日時から1月以上前を示す場合、画像データが所定時間以上古いデータであると判断される(S153:YES)。この場合、HMD200で所定の警告が表示される(S155)。所定の警告としては、「この画像は1月以上前に取得されたものですから、現在の風景とは異なる場合があります。」などが例示される。
【0083】
ステップS155の実行後、または画像データが所定時間以上古いデータでない場合(S153:NO)、受信した画像データがHMD200で表示される(S157)。なお、ステップS155で警告が表示されている場合は、その警告と併せて画像データが表示される。一方、画像データを受信していない場合(S151:NO)、映像データを受信したか否かが判断される(S159)。定点カメラ10から映像データを受信した場合(S159:YES)、受信した映像データがHMD200でストリーミング再生される(S161)。
【0084】
例えば、ユーザBが画像データ一覧から画像データ「camera_a.jpg」を選択した場合、その識別情報を含む画像選択指示が送信される(S121)。先述したように、画像データ「camera_a.jpg」が、画像管理サーバ2から返信される。CPU120は、画像管理サーバ2から受信した画像データ「camera_a.jpg」を、HMD200を装着しているユーザの眼に映し出す(S157)。
【0085】
一方、ユーザBが画像データ一覧から画像データ「hmd_001.jpg」を選択した場合、その識別情報を含む画像選択指示が送信される(S121)。先述したように、リアルタイムの映像データが、定点カメラ10「hmd_001」から送信される。CPU120は、定点カメラ10「hmd_001」から受信した映像データを、HMD200を装着しているユーザの眼に映し出す(S161)。
【0086】
なお、ステップS157またはステップS161の実行後、あるいは映像データを受信していない場合(S159:NO)、それぞれデータ表示処理(図15)が終了して、処理が画像表示処理(図14)に戻る。以上の処理により、ユーザ端末5では、ヒートマップから指定された指定地点の画像データまたは映像データを、画像管理サーバ2または定点カメラ10から取得して表示できる。
【0087】
以上説明したように、本実施形態に係る画像提供システム1によれば、定点カメラ10やユーザ端末5で取得された画像データが、その取得時の位置情報およびタイムスタンプとともに、画像管理データベース70に記憶される。画像管理サーバ2では、ユーザ端末5からの要求に応じて、地図データ記憶エリア232に記憶されている地図データが、ユーザ端末5に返信される。このとき、地図データの表示範囲に含まれる位置情報と対応付けられているタイムスタンプも、ユーザ端末5に返信される。
【0088】
ユーザ端末5では、画像管理サーバ2から取得した地図データおよびタイムスタンプに基づいてヒートマップが生成されて、HMD200に表示される。ヒートマップは、画像データの時間的信頼性を示す特殊表示が、地図データに付加された画像である。したがって、ユーザ端末5のユーザは、HMD200に表示されたヒートマップを参照することで、地図画像上の各地点を撮影した画像データの信頼性を容易に把握することができる。
【0089】
さらに、ユーザ端末5のユーザは、ヒートマップ上で選択された指定地点の画像データが、HMD200に表示される。よって、ユーザは各地点の画像データの時間的信頼性をヒートマップ上で確認したうえで、HMD200で画像データを閲覧できる。また、ヒートマップ上で選択された指定地点の画像データが所定時間以上古い場合、HMD200に警告が表示される。よって、ユーザは、指定地点の画像データの時間的信頼性が低いことを確実に把握できる。また、ユーザは指定地点の画像データが複数存在する場合、画像データ一覧からHMD200に表示する画像データを自由に選択できる。
【0090】
上記実施形態において、定点カメラ10およびユーザ端末5が、本発明の「画像取得装置」にそれぞれ相当する。画像管理サーバ2が、本発明の「サーバ」に相当する。ユーザ端末5が、本発明の「画像表示装置」に相当する。ステップS3を実行する定点カメラ10のCPU、およびステップS13を実行するCPU120が、本発明の「画像データ取得手段」にそれぞれ相当する。ステップS7を実行する定点カメラ10のCPU、およびステップS17を実行するCPU120が、本発明の「位置情報取得手段」にそれぞれ相当する。ステップS5を実行する定点カメラ10のCPU、およびステップS15を実行するCPU120が、本発明の「信頼性情報生成手段」にそれぞれ相当する。ステップS9を実行する定点カメラ10のCPU、およびステップS19を実行するCPU120が、本発明の「情報送信手段」にそれぞれ相当する。
【0091】
ステップS35を実行するCPU20が、本発明の「記憶制御手段」に相当する。ステップS57を実行するCPU20が、本発明の「情報送信手段」に相当する。ステップS103,S105を実行するCPU120が、本発明の「情報取得手段」に相当する。ステップS107を実行するCPU120が、本発明の「合成画像生成手段」に相当する。ステップS109を実行するCPU120が、本発明の「合成画像表示手段」に相当する。ステップS111を実行するCPU120が、本発明の「位置指定手段」に相当する。ステップS151、S159を実行するCPU120が、本発明の「対象データ取得手段」にそれぞれ相当する。ステップS157、S161を実行するCPU120が、本発明の「対象データ表示手段」に相当する。ステップS155を実行するCPU120が、本発明の「警告表示手段」に相当する。ステップS117を実行するCPU120が、本発明の「対象一覧表示手段」に相当する。
【0092】
ステップS103,S105を実行するCPU120が、本発明の「地図データ取得手段」および「信頼性情報取得手段」に相当する。ステップS103,S105が、本発明の「地図データ取得ステップ」および「信頼性情報取得ステップ」に相当する。ステップS107が、本発明の「合成画像生成ステップ」に相当する。ステップS109が、本発明の「合成画像表示ステップ」に相当する。
【0093】
なお、本発明は上記実施形態に限定されるものではなく、発明の要旨を変更しない範囲での変更が可能である。上記実施形態では、HMD200として網膜走査型ディスプレイを例示したが、表示方式は変更可能である。例えば、液晶ディスプレイ、有機EL(ElectroLuminesence)ディスプレイ等、他の表示方式のヘッドマウントディスプレイであってもよい。また、HMD200に代えて、携帯電話、ノートパソコン、PDA等、ユーザが携行可能な表示装置を用いてもよい。
【0094】
また、上記実施形態では、画像データの時間的信頼性を示す信頼性情報として、画像データの取得日時を示すタイムスタンプを例示した。例えば、画像データの更新頻度を、信頼性情報として用いてもよい。この場合、画像管理データベース70では、画像データの更新頻度(例えば、10分間隔、1時間間隔、1日間隔など)がタイムスタンプに代えて管理されればよい。
【0095】
そして、ヒートマップの作成時(S107)には、地図表示範囲内に含まれる各地点の画像データの更新頻度の時間的間隔(つまり、単位時間当たりの更新回数)を色分けして段階的に示すヒートマップが作成される。このヒートマップでは、更新頻度が多い地点には暖色系で配色される一方、更新頻度が少ない地点には寒色系で配色される。これにより、ユーザはヒートマップを参照して、地図表示範囲に含まれる各地の画像データが新しいか否かを視覚的に容易に判別できる。言い換えると、ユーザは、画像データの更新頻度が多い地点と、画像データの更新頻度が少ない地点とを、ヒートマップを参照して視覚的に判別できる。
【0096】
また、ユーザ端末5の画像表示処理(図14)の一部を、他のコンピュータで実行されるようにしてもよい。例えば、画像管理サーバ2では、地図描画情報の送信(S57)に代えて、ヒートマップの作成(S107)が実行されてもよい。そして、画像管理サーバ2で作成されたヒートマップが、ユーザ端末5に送信されるようにしてもよい。この場合、ユーザ端末5におけるヒートマップの作成処理を省略しつつ、HMD200でヒートマップを表示することができる。
【符号の説明】
【0097】
1 画像提供システム
2 画像管理サーバ
3 位置管理サーバ
4 ネットワーク
5 ユーザ端末
10 定点カメラ
70 画像管理データベース
80 位置管理データベース
100 HMD制御端末
120 CPU
121 ROM
122 RAM
123 HDD
200 ヘッドマウントディスプレイ
300 地図データ
310 ヒートマップ

【特許請求の範囲】
【請求項1】
画像データを取得する画像取得装置と、前記画像データを管理するサーバと、前記画像データを表示する画像表示装置とが、ネットワークを介して接続された画像提供システムであって、
前記画像取得装置は、
前記画像取得装置の周辺を撮像する撮像手段から、前記画像データを取得する画像データ取得手段と、
前記画像取得装置の現在位置を検出する位置検出手段から、前記画像データの取得位置を示す位置情報を取得する位置情報取得手段と、
前記画像データの時間的な信頼性を示す信頼性情報を生成する信頼性情報生成手段と、
前記画像データ取得手段によって取得された前記画像データと、前記位置情報取得手段によって取得された前記位置情報と、前記信頼性情報生成手段によって生成された前記信頼性情報とを、前記サーバに送信する情報送信手段とを備え、
前記サーバは、
前記画像取得装置から受信した前記画像データ、前記位置情報、および前記信頼性情報を対応付けて、第一記憶装置に記憶させる記憶制御手段と、
前記画像表示装置からの要求に応じて、第二記憶装置に記憶されている地図データと、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報とを、前記画像表示装置に返信する情報送信手段とを備え、
前記画像表示装置は、
前記サーバに前記要求を送信することで、前記画像表示装置から前記地図データおよび前記信頼性情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記地図データおよび前記信頼性情報に基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された前記合成画像を、第一表示装置に表示する合成画像表示手段と
を備えたことを特徴とする画像提供システム。
【請求項2】
画像データを取得する画像取得装置と、前記画像データを管理するサーバと、前記画像データを表示する画像表示装置とが、ネットワークを介して接続された画像提供システムであって、
前記画像取得装置は、
前記画像取得装置の周辺を撮像する撮像手段から、前記画像データを取得する画像データ取得手段と、
前記画像取得装置の現在位置を検出する位置検出手段から、前記画像データの取得位置を示す位置情報を取得する位置情報取得手段と、
前記画像データの時間的な信頼性を示す信頼性情報を生成する信頼性情報生成手段と、
前記画像データ取得手段によって取得された前記画像データと、前記位置情報取得手段によって取得された前記位置情報と、前記信頼性情報生成手段によって生成された前記信頼性情報とを、前記サーバに送信する情報送信手段とを備え、
前記サーバは、
前記画像取得装置から受信した前記画像データ、前記位置情報、および前記信頼性情報を対応付けて、第一記憶装置に記憶させる記憶制御手段と、
前記画像表示装置からの要求に応じて、第二記憶装置に記憶されている地図データと、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報とに基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された前記合成画像を、前記画像表示装置に返信する情報送信手段とを備え、
前記画像表示装置は、
前記サーバに前記要求を送信することで、前記画像表示装置から前記合成画像を取得する情報取得手段と、
前記情報取得手段によって取得された前記合成画像を、第一表示装置に表示する合成画像表示手段と
を備えたことを特徴とする画像提供システム。
【請求項3】
前記信頼性情報は、前記画像データが取得された日時を示すタイムスタンプであり、
前記特殊表示は、前記タイムスタンプが示す取得日時が新しい前記画像データと、前記タイムスタンプが示す取得日時が古い前記画像データとを、前記地図データ上で視覚的に区別可能な表示態様であることを特徴とする請求項1または2に記載の画像提供システム。
【請求項4】
前記信頼性情報は、前記画像データが更新される頻度を示す更新頻度データであり、
前記特殊表示は、前記更新頻度データが示す更新頻度が多い前記画像データと、前記更新頻度データが示す更新頻度が多い前記画像データとを、前記地図データ上で視覚的に区別可能な表示態様であることを特徴とする請求項1または2に記載の画像提供システム。
【請求項5】
前記画像表示装置は、
前記第一表示装置に表示された前記合成画像において、ユーザが対象位置を指定するための位置指定手段と、
前記位置指定手段によって指定された前記対象位置に対応する前記画像データである対象データを、前記第一記憶装置から取得する対象データ取得手段と、
前記対象データ取得手段によって取得された前記対象データを、第二表示装置に表示する対象データ表示手段と
を備えたことを特徴とする請求項1乃至4のいずれかに記載の画像提供システム。
【請求項6】
前記画像表示装置は、前記対象データに対応する前記信頼性情報が示す前記時間的信頼性が所定値よりも低い場合、前記第二表示装置に警告を表示する警告表示手段を備えたことを特徴とする請求項5に記載の画像提供システム。
【請求項7】
前記画像表示装置は、前記対象データ取得手段によって複数の前記対象データが取得された場合に、前記複数の対象データをリスト状またはサムネイル状に前記第一表示装置に表示する対象一覧表示手段を備え、
前記対象データ表示手段は、前記対象一覧表示手段によって表示された前記複数の対象データのうちで、ユーザが選択した前記対象データを前記第二表示装置に表示することを特徴とする請求項5または6に記載の画像提供システム。
【請求項8】
地図データを記憶する記憶装置を参照して、前記地図データを取得する地図データ取得手段と、
画像データ、前記画像データの取得位置を示す位置情報、および前記画像データの時間的な信頼性を示す信頼性情報を対応付けて記憶する記憶装置を参照して、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報を取得する信頼性情報取得手段と、
前記地図データ取得手段によって取得された前記地図データと、前記信頼性情報取得手段によって取得された前記信頼性情報とに基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された前記合成画像を、表示装置に表示する合成画像表示手段と
を備えたことを特徴とする画像表示装置。
【請求項9】
コンピュータに、
地図データを記憶する記憶装置を参照して、前記地図データを取得する地図データ取得ステップと、
画像データ、前記画像データの取得位置を示す位置情報、および前記画像データの時間的な信頼性を示す信頼性情報を対応付けて記憶する記憶装置を参照して、前記地図データの表示範囲に含まれる前記位置情報と対応付けられている前記信頼性情報を取得する信頼性情報取得ステップと、
前記地図データ取得ステップによって取得された前記地図データと、前記信頼性情報取得ステップによって取得された前記信頼性情報とに基づいて、前記画像データの時間的信頼性を示す特殊表示が前記地図データに付加された合成画像を生成する合成画像生成ステップと、
前記合成画像生成ステップによって生成された前記合成画像を、表示装置に表示する合成画像表示ステップと
を実行させることを特徴とする画像表示プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2012−34216(P2012−34216A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2010−172521(P2010−172521)
【出願日】平成22年7月30日(2010.7.30)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】