画像生成システム、プログラム及び情報記憶媒体
【課題】 ユーザ情報と、道路進行方向情報とに基づき、直感に合わせてコンテンツを提示できる画像生成システム等の提供。
【解決手段】 画像生成システム100は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部110と、センサ情報に基づき、ユーザの位置情報と、ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部120と、マップ情報と、マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部130と、ユーザの位置情報及びマップ情報に基づき、ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部140と、ユーザ方向情報と道路進行方向情報に基づき、提示するコンテンツを特定するコンテンツ特定部150と、特定されたコンテンツを生成する画像生成部160とを含む。
【解決手段】 画像生成システム100は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部110と、センサ情報に基づき、ユーザの位置情報と、ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部120と、マップ情報と、マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部130と、ユーザの位置情報及びマップ情報に基づき、ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部140と、ユーザ方向情報と道路進行方向情報に基づき、提示するコンテンツを特定するコンテンツ特定部150と、特定されたコンテンツを生成する画像生成部160とを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成システム、プログラム及び情報記憶媒体等に関係する。
【背景技術】
【0002】
近年、携帯電話やPDA等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をGPS等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示する。
【0003】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【0004】
さらに、従来の情報提供サービスには、利用時にユーザの視点(視線方向)が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合(例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合)、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【0005】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中(ここでは歩行者向けサービスを想定している)であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるHMD(ヘッドマウントディスプレイ)を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献1では、ユーザの頭部の動きに応じて、HMDにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−341387号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
携帯電子機器を用いた情報提供サービスでは、視点を頻繁に変更する必要がある上、地図上にコンテンツ(例えば施設の位置)を表示する情報提供サービスは直感的でなく、場合によってはわかりにくいという問題がある。また、特許文献1の手法のようにHMDを用いることで、視点が頻繁に変更されるという問題は解決されうるが、特許文献1ではナビゲーションサービス、情報提供サービスに関する技術は記載されていない。
【0008】
本発明の幾つかの態様によれば、ユーザの位置情報及びユーザ方向情報と、道路進行方向情報とに基づいて、直感に合わせてコンテンツを提示することができる画像生成システム、プログラム及び情報記憶媒体等を提供できる。
【課題を解決するための手段】
【0009】
本発明の一態様は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、前記ユーザの位置情報と、前記ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部と、マップ情報と、前記マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部と、前記ユーザの前記位置情報及び前記マップ情報に基づいて、前記ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部と、前記ユーザの前記ユーザ方向情報と前記道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部と、特定されたコンテンツを生成する画像生成部と、を含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0010】
本発明の一態様では、ユーザの位置情報からユーザが現在位置する道路を特定する。そして、ユーザ方向情報とユーザの位置する道路を照らし合わせて、道路進行方向情報を特定する。道路進行方向情報が分かれば、ユーザが進行する道路の左右のどちらにコンテンツの提示対象が位置するか判別することができる。よって、道路が曲折している場合等でも、例えばコンテンツの提示対象が道路の右側にあるか左側にあるかといった位置関係を間違わずに、ユーザにコンテンツを提示できるため、直感に合った情報提供サービスを実現することが可能となる。
【0011】
本発明の一態様では、前記コンテンツ特定部は、前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、提示するコンテンツを前記差分角度情報に応じて特定してもよい。
【0012】
これにより、頭部方向又は視線方向と、道路進行方向とにより算出された差分角度情報により、コンテンツを特定すること等が可能になる。
【0013】
また、本発明の一態様では、前記コンテンツ特定部は、前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記差分角度情報により表される差分角度が前記複数の角度範囲のいずれに属するかを特定し、特定された角度範囲に対応するコンテンツを選択してもよい。
【0014】
これにより、例えば、差分角度が同一の角度範囲内に属する場合には、同一のコンテンツをユーザに提示すること等が可能になる。
【0015】
また、本発明の一態様では、前記コンテンツ特定部は、コンテンツに表される情報の詳細さを示す指標である詳細度を、前記差分角度が属する前記角度範囲に応じて決定し、前記画像生成部は、決定された前記詳細度に応じたコンテンツを生成してもよい。
【0016】
これにより、差分角度が属する角度範囲に応じて、異なる詳細度を割り当てられたコンテンツを提示すること等が可能になる。
【0017】
本発明の一態様では、前記画像生成部は、第2の詳細度が割り当てられたコンテンツの提示地点に、前記ユーザが位置しているが、前記第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に前記差分角度が属している場合に、前記第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を生成してもよい。
【0018】
これにより、例えば、第2の詳細度を割り当てられたコンテンツの提示地点に、ユーザが位置しているが、第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に差分角度が属している時に、第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を表示すること等が可能となる。
【0019】
本発明の一態様では、前記コンテンツ特定部は、前記ユーザが位置する道路上の一つ又は複数の地点において、前記差分角度情報を算出し、前記差分角度情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択してもよい。
【0020】
これにより、ユーザが位置する道路上の複数の地点における差分角度情報に基づいて、提示するコンテンツの候補を特定すること等が可能となる。そして、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0021】
本発明の一態様では、前記コンテンツ特定部は、前記コンテンツの情報に含まれる前記コンテンツの提示対象の位置情報と、前記ユーザの位置情報とに基づいて、前記コンテンツの提示対象と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択してもよい。
【0022】
これにより、コンテンツの提示対象とユーザとの距離情報に基づいて、提示するコンテンツの候補を特定すること等が可能となる。そして、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0023】
本発明の一態様では、前記コンテンツ特定部は、コンテンツに表される情報の詳細さを示す指標である詳細度を、前記距離情報に応じて決定し、前記画像生成部は、決定された前記詳細度に応じたコンテンツを生成してもよい。
【0024】
これにより、コンテンツの提示対象とユーザとの距離情報に応じて、異なる詳細度を割り当てられたコンテンツを提示すること等が可能となる。
【0025】
また、本発明の一態様では、出発地点から目的地点までの経路をナビゲーション経路として設定する経路設定部を含み、前記道路進行方向特定部は、複数の経路のうち、前記ナビゲーション経路の進行方向を、前記道路進行方向情報として特定してもよい。
【0026】
これにより、ナビゲーション経路沿いにあるコンテンツの提示対象をユーザに知らせる情報提供サービスを実現すること等が可能となる。
【0027】
また、本発明の一態様では、前記経路設定部は、表示部に表示されたコンテンツの中から前記ユーザが特定したコンテンツに基づいて、前記ナビゲーション経路を設定してもよい。
【0028】
これにより、表示部から特定したコンテンツの提示対象が存在する地点を目的地点とするナビゲーション経路を設定すること等が可能となる。
【0029】
また、本発明の一態様では、前記コンテンツ特定部は、前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記複数の角度範囲のうち、少なくとも一つの角度範囲をナビゲーション範囲に設定し、前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、前記差分角度情報により表される差分角度が前記ナビゲーション範囲に属すると判断する場合には、ナビゲーション情報を、提示するコンテンツとして特定してもよい。
【0030】
これにより、例えば差分角度がナビゲーション範囲に属している場合には、ユーザにナビゲーション情報を提示すること等が可能になる。
【0031】
また、本発明の一態様では、前記ユーザを目的地点に誘導するナビゲーション用のキャラクタを制御するキャラクタ制御部を含んでもよい。
【0032】
これにより、ナビゲーション用キャラクタを用いてユーザを目的地点に誘導するナビゲーションシステムを実現すること等が可能になる。
【0033】
また、本発明の一態様では、仮想カメラの視点位置及び視線方向を制御する仮想カメラ制御部を含み、前記仮想カメラ制御部は、前記ユーザ方向情報に基づいて、前記仮想カメラの前記視線方向を前記ナビゲーション用キャラクタに向けた状態で、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行ってもよい。
【0034】
これにより、ユーザがナビゲーション用キャラクタを見失うことを防止できるナビゲーションシステムを実現すること等が可能になる。
【0035】
また、本発明の一態様では、前記画像生成部は、前記仮想カメラ制御部が、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行う際に、前記道路進行方向を示す方向指示オブジェクトの画像を生成してもよい。
【0036】
これにより、仮想カメラの回転制御により、例えばナビゲーション用キャラクタの表示向きが変わった場合でも、道路進行方向を示す方向指示オブジェクトの画像により、ユーザが道路進行方向を容易に認識できるようになる。
【0037】
また、本発明の一態様では、前記画像生成部は、前記方向指示オブジェクトの画像として、矢印画像を生成してもよい。
【0038】
これにより、矢印画像を方向指示オブジェクトの画像として用いることが可能になる。
【0039】
また、本発明の一態様では、前記コンテンツ特定部は、複数のコンテンツ選択モードの中から、前記ユーザの前記位置情報に応じたコンテンツ選択モードを選択し、選択されたコンテンツ選択モードに基づいてコンテンツを特定してもよい。
【0040】
これにより、現在位置に応じた適切なコンテンツ選択を行うこと等が可能になる。
【0041】
また、本発明の一態様では、前記コンテンツ特定部は、前記ユーザが交差点に位置すると判断された場合において、交差点に交差する複数の道路のうち、前記ユーザの頭部方向又は視線方向に対応する道路を特定し、特定された道路に関連付けられた複数のコンテンツの中から提示するコンテンツを特定してもよい。
【0042】
これにより、例えばユーザが交差点に位置した場合にも、ユーザの頭部方向又は視線方向に対応する道路に関連付けられたコンテンツを、ユーザに提示すること等が可能になる。
【0043】
また、本発明の一態様では、前記コンテンツ特定部は、前記マップ情報から得られる交差点の位置情報と、前記ユーザの位置情報とに基づいて、前記交差点と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、前記交差点に対応して設定される交差点エリアと前記ユーザとの位置関係を特定し、前記交差点エリア内に前記ユーザが位置していると判断する場合には、交差点に前記ユーザが位置していると判断してもよい。
【0044】
これにより、ユーザの位置から交差点位置までの距離情報に基づいて、交差点エリア内にユーザが位置しているか否かを判断することができる。そして、ユーザが交差点エリア内に位置していると判断する場合には、ユーザが交差点に位置しているとみなし、ユーザが交差点に位置する場合のコンテンツ選択方法で、提示するコンテンツを選択すること等が可能になる。
【0045】
また、本発明の一態様では、前記画像生成部は、前記表示画像として、ウエアラブルディスプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成してもよい。
【0046】
これにより、ウエアラブルディスプレイ上に、ユーザの視点に対応した画像を、外界視界に重畳して表示することが可能になる。
【0047】
また、本発明の一態様では、前記ウエアラブルディスプレイは、外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、前記画像生成部は、前記表示画像として、前記ヘッドマウントディプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成してもよい。
【0048】
これにより、シースルー型のヘッドマウントディスプレイ上に、ユーザの視点に対応した画像を、外界視界に重畳して表示することが可能になる。
【図面の簡単な説明】
【0049】
【図1】従来の情報提供サービスの表示画像の例。
【図2】外界視界に重畳して画像を表示する情報提供サービスの例。
【図3】第2の比較例の問題点を説明する図。
【図4】図4(A)、図4(B)は本実施形態のシステム構成例。
【図5】道路進行方向の説明図。
【図6】道路進行方向とユーザの頭部方向の説明図。
【図7】道路進行方向とユーザの頭部方向の差分角度の説明図。
【図8】角度範囲の設定例。
【図9】詳細度の異なるコンテンツの表示例。
【図10】より高い詳細度が割り当てられた角度範囲の方向を示す方向指示オブジェクトを表示する手法の説明図。
【図11】出発地点と目的地点の設定により経路を特定する手法の説明図。
【図12】図12(A)、図12(B)は、表示コンテンツから選択した任意のコンテンツに基づき目的地を特定し、経路を設定する手法の説明図。
【図13】キャラクタを用いたナビゲーションサービスの表示画像の例。
【図14】図14(A)、図14(B)はキャラクタを中心に仮想カメラを回転させる手法の説明図。
【図15】図14(A)、図14(B)の手法により生成される表示画像の例。
【図16】道路進行方向を示す方向指示オブジェクトの画像を表示する手法の説明図。
【図17】図17(A)、図17(B)、図17(C)は交差点におけるコンテンツ選択手法の説明図。
【図18】本実施形態のナビゲーション処理を説明するフローチャート。
【図19】本実施形態の道路進行方向特定処理を説明するフローチャート。
【図20】本実施形態の提示コンテンツ特定処理を説明するフローチャート。
【図21】本実施形態の画像生成処理を説明するフローチャート。
【図22】本実施形態の経路設定処理を説明するフローチャート。
【図23】差分角度によりコンテンツの提示候補を特定する手法の説明図。
【図24】交差点エリアの説明図。
【発明を実施するための形態】
【0050】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0051】
1. 概要
まず、本実施形態の手法について、2つの手法と比較して説明する。
【0052】
第1の比較例として、近年の携帯電子機器(例えば携帯電話等)で、多くのナビゲーションサービス(ここでは歩行者用ナビゲーションを想定しているが、カーナビゲーションシステムであってもよい)や情報提供サービスが提供されている例がある。例えば、検索対象地点を入力することで、入力地点の周辺にある施設等に関連するコンテンツを表示するサービス等である。
【0053】
しかし、第1の比較例では、例えば図1に示すように、地図を用いて情報提供を行うことがほとんどである。図1のA1のように検索対象地点(これはGPS等からユーザの現在位置を取得してもよいし、ユーザが入力してもよい)が設定されたときに、検索対象地点を中心とした地域に存在するSPのような施設等の情報を地図上に表示する。しかし、地図を読むことが苦手なユーザも多く、対象となる施設等への移動経路が分かりにくいケースもある。また、検索対象地点までの直線距離が近いコンテンツが表示されるため、現在歩いている道路にはない施設(つまり、道のり距離は遠い施設)等を示すコンテンツも表示されてしまうことになり、表示されるコンテンツの提示対象がユーザに対して直近にあるものではない場合があるという問題も存在する。
【0054】
また、第1の比較例を利用して対象施設に移動することを想定した場合、ユーザの進行方向と案内画面の表示される方向(携帯電子機器の表示部がある方向)が異なる点が問題となる。つまり、ユーザは進行方向をみて、安全を確認したり、視界内にある建物等を確認したりしつつ、携帯電子機器に視線を向けてサービスアプリケーション画面を参照する必要がある。これはユーザにとって非常に煩わしく負担になる。
【0055】
そこで第1の比較例の問題点に対して、本出願人は以下のような手法を提案する。ユーザの視点変更の頻度を抑えるために、図2に示すような、外界視界GSの上に表示画面(情報提供画面)IMSを重畳するような表示装置を採用する。これは例えばHMD等を用いることで実現できる。また、通常の地図(上空から見た図)を用いた情報提供ではなく、図2に示すようなユーザの視点に対応する画面IMSを表示する。さらに、ユーザの現在位置情報を用いることにより、現在ユーザが位置する道路沿いに存在する施設等を示すコンテンツ画像IMCを表示する。
【0056】
このようにすることで、図1に示すような一般的な地図を用いた表示ではなく、図2に示すようなユーザの視点に対応した画面を表示することができる。よって、頻繁な視線変更をユーザに強いることなく、直感的な手法で情報提供を行うことができるため、ユーザに与える負担が軽減される。また、ユーザが位置する道路沿いに存在する施設等を示すコンテンツ群の中から、表示するコンテンツを特定することができるため、経路上、実際には遠くにある(道のり距離が遠い)施設等を示すコンテンツを表示しないようにすることができる。
【0057】
また、第2の比較例として、表示装置としてHMD等を用い、図2のIMSのような画面を表示させ、コンテンツの提示対象の存在位置に合わせて、コンテンツ(コンテンツ画像)IMCの位置を表示画面IMS内で調整する手法がある。すなわち、コンテンツの提示対象がユーザの右側に存在する場合には、表示画面IMSの右側にコンテンツIMCを表示し、コンテンツの提示対象がユーザの左側に存在する場合には、表示画面IMSの左側にコンテンツIMCを表示するという手法である。この手法において、コンテンツの提示対象とユーザとの位置関係を判断する際には、ユーザの現在地点から目的地点までの方向情報を用いる。この手法についての具体例を図3に示す。図3では、ユーザUSの現在地点から目的地点までの方向DRを用いて、コンテンツの提示対象である店A〜Gがユーザの左右どちらの方向に存在するかを判定する。この場合においては、DRの右側に存在する店A及び店C、店D、店E、店F、店Gを示すコンテンツは画面の右側に表示され、DRの左側に存在する店Bを示すコンテンツのみが画面の左側に表示される。
【0058】
しかし、図3の例で、実際にユーザUSが目的地点へ移動する際に、店Dと店Fの前を通過する時には、左側に、店Dと店Fが見えるはずである。つまり、店Dと店Fを示すコンテンツは、画面の左側に表示される方がユーザの直感に合致しやすい。したがって、第2の比較例は、ユーザの直感に合致しておらず、図3のように目的地点までの経路が曲折している場合には、ユーザが使い辛さを感じたり、違和感を覚えてしまうという問題を有している。
【0059】
そこで第2の比較例の問題点に対して、本出願人は、現在ユーザが位置する道路の進行方向を基準にして、コンテンツの提示対象が右側に存在するか左側に存在するかを判断する手法を提案する。先に示した例からも分かるとおり、ユーザは目的地点までの方向ではなく、現在ユーザが位置する道路の進行方向を基準にして、コンテンツの提示対象がユーザの右側に存在するか左側に存在するかを判断するためである。
【0060】
このようにすることで、ユーザの直感と合致した表示位置に、コンテンツを表示することができる。例えば、図3の例においては、第2の比較例では右側に表示されていた店Dと店Fを示すコンテンツが、表示画面の左側に表示されるようになる。よって、本手法によれば、ユーザの直感に合致した、使い勝手の良い情報提示サービスを提供することができる。
【0061】
以下、本実施形態のシステム構成例を説明し、その後、フローチャートを用いて本実施形態の処理の詳細について説明する。
【0062】
2. システム構成例
図4(A)においてユーザ10は携帯電子機器20を所持している。また、HMD(Head Mounted Display)11を頭部の一方の目の近傍に装着している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、屋内外センサ510や、周辺温度センサ511、腕装着型の脈拍(心拍数)センサ521、携帯電子機器20に設けられるGPS(Global Position System)センサ550や加速度センサ551、HMD11に設けられる方位センサ560等を装着している。
【0063】
携帯電子機器20(モバイルコンピュータ)は、PDA(Personal Digital Assistant)、ノート型PCなどの携帯情報端末であり、例えばプロセッサ(CPU)、メモリ、操作パネル、通信装置、或いはディスプレイ(サブディスプレイ)などを備える。この携帯電子機器20は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器(HMD等)の制御(表示制御等)を行ったり、外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお、携帯電子機器20は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【0064】
HMD11(広義には情報提示部)は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。
【0065】
屋内外センサ510は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ510は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【0066】
周辺温度センサ511は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。脈拍(心拍数)センサ521は、手首又は指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。GPSセンサ550はユーザの位置(場所)を検知するセンサである。なおGPSセンサ550の代わりに携帯電話の位置情報サービスや周辺にある無線LANの位置情報を利用してもよい。加速度センサ551は、例えば3軸の加速度情報を検知する。方位センサ560は、例えば地磁気センサ等であり、センサの向いている方位を角度(0°〜360°)で計測する。
【0067】
次に、図4(B)に本実施形態の画像生成システムの構成例を示す。画像生成システム100は、センサ情報取得部110と、ユーザ情報特定部120と、記憶部130と、道路進行方向特定部140と、コンテンツ特定部150と、画像生成部160と、経路設定部170と、I/F部180と、キャラクタ制御部190と、仮想カメラ制御部200と、情報記憶媒体210と、を含む。画像生成システム100は、図4(B)の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお、本実施形態の画像生成システム100の一部又は全部の機能は、例えば携帯電子機器20により実現される。但し、画像生成システム100の一部又は全部の機能を、HMD11により実現したり、携帯電子機器20とは異なる電子機器により実現してもよい。また、本実施形態の画像生成システム100の一部又は全部の機能は、携帯電子機器20もしくはHMD11と通信により接続されたサーバにより実現されてもよい。
【0068】
ここで、ウェアラブルセンサ12は図4(A)を用いて上述したGPSセンサや加速度センサ等のユーザが装着しているセンサである。操作部14は、例えばユーザが所持する携帯電子機器20に設けられるボタン等である。なお、操作部14はHMD11に設けられてもよい。表示部16はHMD11に設けられる。
【0069】
次に各部の接続について説明する。センサ情報取得部110は、ユーザのウェアラブルセンサ12からのセンサ情報を取得するとともに、ユーザ情報特定部120に接続されている。ユーザ情報特定部120は、道路進行方向特定部140とコンテンツ特定部150に接続されている。記憶部130は、道路進行方向特定部140と経路設定部170に接続されている。道路進行方向特定部140は、コンテンツ特定部150に接続されている。コンテンツ特定部150は、画像生成部160に接続されている。画像生成部160は、生成した画像を表示部16に表示する。経路設定部170は、道路進行方向特定部140に接続されている。I/F部180は、操作部14からの操作情報等を受け取るとともに、経路設定部170に接続されている。キャラクタ制御部190は、画像生成部160と仮想カメラ制御部200に接続されている。仮想カメラ制御部200は、画像生成部160とキャラクタ制御部190に接続されている。
【0070】
次に各部で行われる処理について説明する。
【0071】
センサ情報取得部110は、ウェアラブルセンサ12からの種々のセンサ情報を受信する。
【0072】
ユーザ情報特定部120は、センサ情報取得部110で取得したセンサ情報に基づいて、ユーザ情報を特定する。
【0073】
ここでユーザ情報とは、ユーザの位置情報や、ユーザ方向情報、ユーザの識別情報等から構成される情報である。ユーザの位置情報とは、GPSセンサ550や加速度センサ551等から取得することができるマップ上(仮想マップ上)での現在位置の情報などである。また、ユーザ方向情報は、例えばユーザの頭部方向情報や、視線方向情報などである。頭部方向は、ユーザの頭部に装着された方位センサ560からユーザの頭部方向を判別することで求めることができる。視線方向は、ユーザの視線の方向を表すものであり、例えば、黒目と白目での光の反射率の違い等を利用して、眼球部分の反射率を検出することで黒目部分の向いている方向を判別し、視線方向としてもよい。そして、識別情報はユーザを一意に特定することができる情報であり、脈拍(心拍数)センサ521等から取得する。
【0074】
記憶部130は、種々の情報を記憶するとともに、各部のワーク領域となるものであり、その機能はRAM等のメモリやHDD(ハードディスクドライブ)などにより実現できる。記憶部130は、マップ情報及び施設等の位置情報を記憶する。例えば、本実施形態の画像生成システムが日本国内の情報提供サービスに用いられるとすれば、日本全国の情報提供に適した倍率のマップ情報及び施設等の位置情報を保持している。また、記憶部130はその他にも、施設等の詳細情報等を記憶してもよい。さらに、記憶部130はあらかじめすべての情報を記憶させておく必要はない。例えば、外部のサーバ18に保存されたマップ情報や施設等の詳細情報等を逐次ダウンロードして記憶してもよい。また、近年、インターネット等を通じて提供される地域検索サービスにおいて、他のシステムでもこの地域検索サービスを利用できるようにAPI(Application Program Interface)が公開されていることがある。記憶部130は、これらのAPIを利用して、マップ情報等を逐次ダウンロードして記憶しても良い。ここで、マップ情報とは、緯度や経度等の情報に関連付けられた道路情報から構成されるものであり、例えば、マップ情報と緯度や経度等の情報を参照することにより、道路の曲がり角や交差点の位置が特定できるものである。また、施設等の位置情報は、施設等の位置と道路との相対的な位置関係情報を含んでおり、例えば、施設等の位置情報を参照することにより、施設等の道路に対する相対的な位置を特定できるものである。
【0075】
道路進行方向特定部140は、ユーザが位置する道路の道路進行方向を特定し、コンテンツ特定部150に通知する。
【0076】
ここで、道路進行方向とは図5に示すように、ユーザUSが位置する道路STにおいて、ユーザUSが道路STに沿って実際に進行する方向DRSのことをいう。すなわち、道路進行方向は、現在地点から目的地点までを直線で結んだ時の、目的地点への方向を表すものではなく、ユーザUSが進行する道路STの各地点において、ユーザUSが実際に移動する方向DRSのことをいう。
【0077】
この道路進行方向は、ユーザ情報に含まれる位置情報と、マップ情報から、ユーザが移動している道路を判別し、道路の上り方向と下り方向のどちらにユーザが進行しているか判断することにより求めることができる。なお、どちらの方向をユーザの進行方向とするかの判断手法は任意である。例えば、図6に示すように、道路の上り方向と下り方向のうち、ユーザUSの頭部方向DRHに近い方向を道路進行方向DRSとしてもよい。その他にも、道路進行方向は、ユーザが移動しているときの移動の方向、またはユーザが今後移動すると予測される移動方向としてもよく、例えば、GPSによるユーザ位置の履歴を参照し、ユーザの動きベクトル(例えば第kの時点での位置と第kの時点よりも後の第k+1の時点での位置の間のベクトル)として求めてもよい。ただし、道路進行方向の求め方はこれに限定されるものではない。
【0078】
コンテンツ特定部150は、ユーザ情報特定部120より通知されたユーザの頭部方向と、道路進行方向特定部140より通知された道路進行方向とを用いて、差分角度を算出し、差分角度に基づいて提示するコンテンツを特定する。そして、画像生成部160に特定されたコンテンツを通知する。
【0079】
ここで、差分角度とは、図7に示すようなユーザUSの頭部方向DRHと道路進行方向DRSとの差θbのことをいう。なお、頭部方向と道路進行方向の差として用いる差分角度情報は、差分角度に限定されるものではなく、これと等価な情報によって代替することができる。
【0080】
また、ここで、コンテンツについても説明をする。コンテンツとは、情報を伝達するために映像や画像、音楽、音声、文章、あるいはそれらの組み合わせたものいう。本実施例において具体的にコンテンツとは、情報提供サービスについては、店舗や施設等を示す映像や画像、文字、音声等を指し、ナビゲーションサービスにおいては、ナビゲーション用キャラクタの画像や方向指示オブジェクトの画像等を指す。
【0081】
また、コンテンツは複数のカテゴリに分類されており、このカテゴリのことをコンテンツカテゴリと呼ぶ。上記の例で言えば、店舗や施設等を示すコンテンツは、タウン情報というコンテンツカテゴリに属し、ナビゲーション用キャラクタの画像や方向指示オブジェクトの画像等のコンテンツはナビゲーション情報というコンテンツカテゴリに属する。
【0082】
さらに、各コンテンツには、個々のコンテンツを一意に識別できるようなコンテンツインデックスが割り振られている。
【0083】
画像生成部160は、コンテンツ特定部150により特定されたコンテンツと、後述するキャラクタ制御部190及び仮想カメラ制御部200からの制御情報と、に基づいて、表示画像(コンテンツ)を生成する。
【0084】
経路設定部170は、次に述べるI/F部180から通知された情報に基づいて、ナビゲーション経路を設定し、道路進行方向特定部140にナビゲーション経路を通知する。
【0085】
I/F部180は、操作部14からの操作情報を受信する。
【0086】
ここで操作情報とは、ナビゲーション経路を設定するための情報等を指す。具体的には、マップ上での出発地点と目的地点の座標や、提示されたコンテンツの中からユーザが選択したコンテンツ等である。
【0087】
キャラクタ制御部190は、ナビゲーション範囲が設定されている場合に、ナビゲーション用キャラクタを制御し、表示するナビゲーション用キャラクタの制御情報を画像生成部160に通知する。
【0088】
仮想カメラ制御部200は、キャラクタ制御部190が制御するナビゲーション用キャラクタを写す仮想カメラの視点位置と視線方向を制御し、仮想カメラ制御情報を画像生成部160に通知する。
【0089】
情報記憶媒体210(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード(EEPROM、ROM等)、光ディスク(DVD、CD等)、或いはHDD(ハードディスクドライブ)などにより実現できる。画像生成システム100は、情報記憶媒体210に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体210には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0090】
以上の本実施形態では、画像生成システム100は、図4(B)に示したように、ユーザのウェアラブルセンサ12からのセンサ情報を取得するセンサ情報取得部110と、センサ情報に基づいて、ユーザの位置情報と、ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部120と、マップ情報と、マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部130と、ユーザの位置情報及びマップ情報に基づいて、ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部140と、ユーザのユーザ方向情報と道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部150と、特定されたコンテンツを生成する画像生成部160とを含む。
【0091】
これにより、まず、ウェアラブルセンサからのセンサ情報に基づいて、仮想マップ上でのユーザの位置情報及びユーザ方向情報を特定することができる。次に、ユーザの位置情報とマップ情報を照らし合わせることにより、ユーザが現在位置する道路を特定することができる。さらに、道路の上り方向と下り方向のうち、ユーザ方向情報に表される頭部方向又は視線方向との差分が小さい方向を道路進行方向として特定することができる。ただし、道路進行方向情報の求め方はこれに限定されるものではない。そして、道路進行方向情報が分かれば、ユーザが進行する道路の左右のどちらに提示するコンテンツが位置するか判別することができる。よって、例えば図3や図5に示したように道路が曲折している場合でも、コンテンツが道路の右側にあるか左側にあるかといった位置関係を間違わずに、ユーザにコンテンツを提示できるため、直感に合った情報提供サービスを実現することが可能となる。
【0092】
なお、コンテンツの情報は、コンテンツの提示対象の位置情報などを含む。
【0093】
さらに、本実施形態は、道路進行方向情報に基づき、ユーザの移動方向を予測していると言うこともできる。ユーザは道路に沿って移動するためである。したがって、ユーザが今後の行動を計画する際に、予測されるユーザの移動方向の先に存在する店舗等のコンテンツを提示することが可能となる。また、コンテンツ特定部150は、ユーザ方向情報と道路進行方向情報より、ユーザの頭部方向又は視線方向と、道路進行方向との差分角度情報を算出し、提示するコンテンツを差分角度情報に応じて特定してもよい。
【0094】
これにより、あらかじめ差分角度情報に応じて、表示するコンテンツを割り当てることができる。例えば、差分角度情報のうちの差分角度が+60度を示す時に、道路の右側にある施設等の中で最もユーザに近い位置にある施設等を示すコンテンツを表示するように設定することが可能となる。よって、ユーザが頭部方向を変えるという直感的な操作で、表示部に表示するコンテンツを変更すること等が可能となる。
【0095】
また、コンテンツ特定部150は、道路進行方向を基準として複数の角度範囲が設定されている場合に、差分角度情報により表される差分角度が複数の角度範囲のいずれに属するかを特定し、特定された角度範囲に対応するコンテンツを選択してもよい。
【0096】
これにより、以下のような情報提供サービスを行うことが可能となる。図8に示すように、道路進行方向DRSを基準として複数の角度範囲R1〜R5が設定されている場合を考える。なお、ここで設定されている角度範囲は任意の角度に変更することができ、角度範囲の数及び角度は、図に示したものに限定されるものではない。例えば、図8において、R2の角度範囲に差分角度が含まれる時には、道路の右側に存在するコンテンツのうち、ユーザから20〜50m離れているところに位置するコンテンツを表示し、R4の角度範囲に差分角度が含まれる時には、ユーザの前方0〜20m及び後方0〜20m離れているところに位置するコンテンツを表示するように設定する。この場合には、差分角度が+30度である場合も、+50度である場合も、差分角度はR2の角度範囲に属することになるため、同じコンテンツが表示されることになる。よって、差分角度が同一の角度範囲内に属する場合には、同一のコンテンツをユーザに提示することができるため、ユーザが、任意のコンテンツが表示される方向に頭部の向きを容易に調節すること等が可能となる。
【0097】
また、コンテンツ特定部150は、コンテンツに表される情報の詳細さを示す指標である詳細度を、差分角度が属する角度範囲に応じて決定し、画像生成部160は、決定された詳細度に応じたコンテンツを生成してもよい。
【0098】
ここで、詳細度とは、コンテンツに表される情報の詳細さを示すために、あらかじめユーザやシステム管理者によって、各コンテンツに対して割り当てられる数値やランク等を指す。
【0099】
コンテンツの提示対象が飲食店である場合に、低い詳細度を割り当てられるコンテンツの例としては、店舗名の文字情報や、店舗を示すアイコン画像等が挙げられる。一方、高い詳細度を割り当てられるコンテンツの例としては、メニューや価格、メニューの説明、口コミ、外観画像、営業時間などを示すコンテンツが挙げられる。
【0100】
詳細度は、角度範囲や距離情報に対しても割り当てることができる。例えば、道路進行方向と垂直な方向(すなわち、道路の右側もしくは左側で、施設等が実際に存在する方向)にある角度範囲に対しては、最大値を割り当て、道路進行方向が属する角度範囲に対しては、最小値を割り当てること等ができる。コンテンツ特定部150は、差分角度が任意の角度範囲に属している時には、その角度範囲に割り当てられた詳細度と同じ詳細度を割り当てられたコンテンツの中から、提示するコンテンツを特定する。
【0101】
これにより、提示するコンテンツの詳細度を角度範囲によって変更することができる。例えば、図9に示すような角度範囲R1〜R5が設定されている場合において、R4とR5に対しては最大、R1には最小、R2とR3には中間となるような詳細度を割り当てた例を示す。この場合、角度範囲R2に差分角度が含まれる時には、外界視界GS1に重畳して表示する表示画面IMS1内に、店Yを示す詳細度の低いコンテンツであるアイコンIMCを表示することができる。一方、R4の角度範囲に差分角度が含まれる時には、外界視界GS2に重畳して表示する表示画面IMS2内に、店Xの情報を示す詳細度の高いコンテンツであるIMDを表示することができる。すなわち、ユーザから離れた位置にある施設等に関しては存在を知らせるためだけの情報を示すコンテンツを、ユーザに近い位置にある施設等に関しては詳しい情報を示すコンテンツを提示すること等が可能になる。
【0102】
また、画像生成部160は、第2の詳細度が割り当てられたコンテンツの提示地点に、ユーザが位置しているが、第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に差分角度が属している場合に、第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を生成してもよい。また、方向指示オブジェクトの画像は、矢印画像であってもよい。
【0103】
これにより、例えば、図10に示すように、ユーザUSが店Xを示すコンテンツの提示地点に位置しているが、店Xが位置する方向を向いておらず、頭部方向又は視線方向がDRH1である場合において、方向指示オブジェクトの画像IMYにより、ユーザに店Xの位置を知らせること等が可能となる。なお、方向指示オブジェクトの画像を矢印としたがこれに限定されるものではない。
【0104】
また、表示部が小型である場合においては、表示画像に表される情報が多すぎるとユーザにとって、かえって煩わしい場合がある。さらに、ウエアラブルディスプレイを利用している場合においては、表示画像が多すぎて、外界を確認しづらくなったりする場合もある。
【0105】
そこで、提示するコンテンツをユーザにとって有用なものに限定することにより、上記の問題を解決することが考えられる。
【0106】
その一手法として、コンテンツ特定部150は、ユーザが位置する道路上の一つ又は複数の地点において、差分角度情報を算出し、差分角度情報に基づいて、提示するコンテンツの候補を特定し、候補の中から提示するコンテンツを選択してもよい。
【0107】
これにより、ユーザが位置する道路上の複数の地点における差分角度情報に基づいて、提示するコンテンツの候補を特定し、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0108】
例えば、上記の具体例として、ユーザの視界に入る店舗等のコンテンツのみを提示する手法などが考えられる。
【0109】
この場合においては、まず、ユーザが位置する道路に沿って、一定の間隔で、差分角度θdを算出する。次に、ユーザとの距離が近い地点から順に、差分角度の絶対値|θd|と、あらかじめ設定しておく所定の角度θThを比較する。
【0110】
ここで、差分角度θdを算出し、差分角度の絶対値|θd|と所定の角度θThを比較する地点を比較地点という。比較地点の間隔はあらかじめデータベース等において設定しておく。
【0111】
そして、|θd|<θThである場合には、ユーザの位置から今回の比較地点までの間に位置する店舗等は、ユーザの視界に入っていると判断し、これらの店舗等を表すコンテンツを提示候補として特定する。一方、|θd|≧θThである場合には、今回の比較地点よりもユーザから離れた位置に位置する店舗等は、ユーザの視界に入っていないと判断し、これらの店舗等を表すコンテンツは提示候補として特定しない。
【0112】
以下で、図23を用いて上記の手法の適用例を説明する。まず、図23では、CP1〜CP3が比較地点であり、CP1、CP2、CP3の順で比較を行う。CP1は、ユーザUSの現在位置でもある。また、L1〜L3は、各比較地点において道路進行方向と垂直な直線である。さらに、DRHは、CP1におけるユーザUSの頭部方向、DRS1〜DRS3は各比較地点における道路進行方向、θ1〜θ3は各比較地点における差分角度θdであり、θ1=θ2=10°、θ3=60°とする。また、ここでは一例として、所定の角度θThを30°とする。なお、差分角度θdを算出する際には、CP2、CP3においても、現在位置におけるユーザUSの頭部方向DRHを用いる。
【0113】
図23の例では、まず、CP1において比較を行う。CP1では、差分角度の絶対値|θd|が|θ1|=10°であり、θThが30°であるため、|θd|<θThが成立する。しかし、この例では、CP1は現在位置でもあるため、この時点ではコンテンツの提示候補はない。次に、CP2で比較を行う。CP2においても、差分角度の絶対値|θd|が|θ2|=10°であるため、|θd|<θThが成立する。この際、前回の比較地点から今回の比較地点までの範囲であるL1とL2に挟まれる範囲に位置する店Aと店Bのコンテンツを提示候補として特定する。最後に、CP3において比較を行う。CP3では、差分角度の絶対値|θd|が|θ3|=60°であるため、|θd|≧θThが成立する。この際、今回の比較地点よりもユーザから離れた範囲であるL3以降の範囲に位置する店舗Cのコンテンツは提示候補としない。
【0114】
よって、図23では、店A、Bを表すコンテンツが提示候補となり、店Cを表すコンテンツは提示候補とならない。
【0115】
このようにして、提示候補を特定し、提示候補の中から提示するコンテンツを選択することで、ユーザの視界に入る店舗等のコンテンツのみを提示することができる。
【0116】
以上のように、差分角度情報を元に、提示するコンテンツを限定すること等が可能となる。
【0117】
また、コンテンツ特定部150は、コンテンツの情報に含まれるコンテンツの提示対象の位置情報と、ユーザの位置情報とに基づいて、コンテンツの提示対象とユーザとの距離情報を算出し、距離情報に基づいて、提示するコンテンツの候補を特定し、候補の中から提示するコンテンツを選択してもよい。
【0118】
これにより、コンテンツの提示対象とユーザとの距離情報に基づいて、提示するコンテンツの候補を特定し、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0119】
例えば、上記の具体例として、まず、ユーザの位置から店舗等の位置までの距離を算出する。次に、あらかじめ設定しておいた所定の閾値DThと算出した距離Dを比較する。ここでは、所定の閾値DThを100mとする。D<DThである場合には、その店舗等を表すコンテンツを提示候補とする。一方、D≧DThである場合には、その店舗等を表すコンテンツを提示候補としない。このようにして、提示候補を特定し、提示候補の中から提示するコンテンツを選択することで、ユーザを中心として、100m以内に存在する店舗等のコンテンツのみを提示することができる。
【0120】
以上のように、ユーザから店舗等までの距離情報を元に、提示するコンテンツを限定すること等が可能となる。
【0121】
また、コンテンツ特定部150は、コンテンツに表される情報の詳細さを示す指標である詳細度を、距離情報に応じて決定し、画像生成部160は、決定された詳細度に応じたコンテンツを生成してもよい。
【0122】
これにより、コンテンツの提示対象とユーザとの距離情報に応じて、異なる詳細度を割り当てられたコンテンツを提示すること等が可能となる。
【0123】
例えば、ユーザを中心として、0〜20mの距離に対して、第1の詳細度を割り当て、20〜50mの距離に対して、第2の詳細度を割り当て、50m以上の距離に対して、第3の詳細度を割り当てる。この時、第1の詳細度が最大で、第2の詳細度が中間、第3の詳細度が最小となるように設定しておけば、ユーザに近い場所に位置する店舗等については、メニューや口コミなどの詳細な情報を提示し、ユーザから離れた場所に位置する店舗等については、アイコンのみを提示すること等が可能となる。
【0124】
以上のように、ユーザから店舗等までの距離情報と詳細度とに基づき、ユーザに近い場所に位置する店舗等の情報を優先的に提示して、提示するコンテンツを限定すること等が可能となる。
【0125】
また、画像生成システム100は、出発地点から目的地点までの経路をナビゲーション経路として設定する経路設定部170を含んでもよい。そして、道路進行方向特定部140は、複数の経路のうち、ナビゲーション経路の進行方向を、道路進行方向情報として特定してもよい。
【0126】
ここで、図11に経路設定の一例を示す。図11では、出発地点STPからの経路の一例として、経路PS1〜PS5を示している。なお、出発地点STPは、ユーザによって指定されても良いし、ユーザの現在値を出発地点STPとしても良い。ここで、目的地点をDSTと設定することにより、PS1〜PS5の経路の中からナビゲーション経路としてPS1が特定される。これが、経路設定の流れである。なお、目的地点まで辿り着く経路が複数ある場合の経路の特定方法は任意である。本実施形態の情報提供システムでは、この例のように、出発地点と目的地点の地図上での位置を直接指定して、ナビゲーション経路を設定することもできる。
【0127】
これにより、ユーザが情報を取得したい道路周辺をあらかじめナビゲーション経路設定において指定することができるため、よりユーザのニーズに沿った情報提供サービスを行うことができる。
【0128】
また、経路設定部170は、表示部に表示されたコンテンツの中からユーザが特定したコンテンツに基づいて、ナビゲーション経路を設定してもよい。
【0129】
これにより、ユーザが表示画面を見て、興味のあるコンテンツに対応する画像を選択し、そのコンテンツの提示対象が存在する場所まで、ユーザを案内する情報提供サービスを実現することができる。
【0130】
具体的には、図12(A)のように、表示画面IMS内に表示されたコンテンツIMCの中から任意のコンテンツIMCUをユーザが選択し、コンテンツIMCUに対応する施設等が存在する地点までの経路をナビゲーション経路として設定することができる。そして、図12(B)に示すように、コンテンツIMCUの提示対象が店Gである場合には、目的地点がDSTと設定される。よって、前述した例と同様に、出発地点STPからDSTまでの経路PSUをナビゲーション経路として特定することができ、上記サービスを実現できる。
【0131】
また、コンテンツ特定部150は、複数の角度範囲のうち、少なくとも一つの角度範囲をナビゲーション範囲に設定し、差分角度情報により表される差分角度がナビゲーション範囲に属すると判断する場合には、ナビゲーション情報を、提示するコンテンツとして特定してもよい。
【0132】
これにより、例えば図8に示すような角度範囲が設定されている場合において、R1をナビゲーション範囲として設定することができる。そして、差分角度が角度範囲R1に属する場合には、ユーザにナビゲーション情報を提示すること等が可能になる。
【0133】
また、画像生成システム100は、ユーザを目的地点に誘導するナビゲーション用のキャラクタを制御するキャラクタ制御部190を含んでもよい。
【0134】
これにより、例えば、図13に示すようなナビゲーション用キャラクタCHを表示部に表示することができる。したがって、目的地に着くまでの間、ユーザに後ろ姿を向けて歩くナビゲーション用キャラクタCHの画像を表示するように制御すれば、ナビゲーション用キャラクタの後を付いていくだけで目的地に辿り着くことができる直感的なナビゲーションシステムを実現すること等が可能になる。
【0135】
ナビゲーション用キャラクタを用いる場合において、差分角度がナビゲーション範囲に属する時にしか、ナビゲーション用キャラクタを表示しない場合、ユーザがナビゲーション用キャラクタを見失ってしまう場合がある。
【0136】
そこで、画像生成システム100は、仮想カメラの視点位置及び視線方向を制御する仮想カメラ制御部200を含んでもよい。そして、仮想カメラ制御部200は、ユーザ方向情報に基づいて、仮想カメラの視線方向をナビゲーション用キャラクタに向けた状態で、ナビゲーション用キャラクタを中心に仮想カメラを回転させる制御を行ってもよい。
【0137】
これにより、例えば、図14(A)(B)に示すように、ユーザUSが頭部方向をDRH1からDRH2に変えた時、仮想カメラVCの視線方向VLをナビゲーション用キャラクタCHに向けた状態で、ナビゲーション用キャラクタCHを中心に仮想カメラVCをV1のように回転させる制御を行うことができる。
【0138】
その結果、図15のように、ナビゲーション用キャラクタの後ろ姿CH1が表示されている状態から、ナビゲーション用キャラクタが右を向いている姿CH2が表示される状態に変更することができる。
【0139】
以上より、ユーザがナビゲーション用キャラクタを見失うことのないナビゲーションシステムを実現すること等が可能になる。
【0140】
また、画像生成部160は、仮想カメラ制御部200が、ナビゲーション用キャラクタを中心に仮想カメラを回転させる制御を行う際に、道路進行方向を示す方向指示オブジェクトの画像を生成してもよい。また、方向指示オブジェクトの画像は、矢印画像であってもよい。
【0141】
これにより、例えば図16に示すように、仮想カメラの回転制御により、ナビゲーション用キャラクタの表示向きが変わった場合でも、道路進行方向を示す方向指示オブジェクトの画像IMY1またはIMY2により、ユーザが道路進行方向を容易に認識することができるナビゲーションシステムを実現すること等が可能になる。なお、方向指示オブジェクトの画像を矢印としたがこれに限定されるものではなく、道路進行方向を示すことができる情報であれば矢印以外であってもよい。
【0142】
また、コンテンツ特定部150は、複数のコンテンツ選択モードの中から、ユーザの位置情報に応じたコンテンツ選択モードを選択し、選択されたコンテンツ選択モードに基づいてコンテンツを特定してもよい。
【0143】
これにより、ユーザが位置する場所が一般的な道路ではなく、例えば交差点であったり、広場であったりした場合に、ユーザが道路にいる時に用いていたモード(以下、道路用コンテンツ選択モードと呼ぶ)と異なるコンテンツ選択モードを選択することが可能となる。道路用コンテンツ選択モードでは適切なコンテンツを選択できない場合でも、複数のコンテンツ選択モードをあらかじめ設定しておき、場所に応じて最適なコンテンツ選択モードを選択できるようにしておけば、適切なコンテンツ選択を行うこと等が可能になる。
【0144】
また、コンテンツ特定部150は、ユーザが交差点に位置すると判断された場合において、交差点に交差する複数の道路のうち、ユーザの頭部方向又は視線方向に対応する道路を特定し、特定された道路に関連付けられた複数のコンテンツの中から提示するコンテンツを特定してもよい。
【0145】
具体例を図17(A)〜図17(C)に示して説明する。図17(A)では、ユーザUSが交差点に位置しており、頭部方向がDRHである時を示している。そして、道路進行方向がそれぞれDRS1〜DRS4であり、DRS1が属する任意の角度範囲をRAと設定し、同様にDRS2〜DRS4が属するRB〜RDの角度範囲を設定する。ここで、RA〜RDの角度範囲設定方法は任意であるが、一例として、交差点の中心を中心点として角度を等分して、割り当てる等の方法がある。さらに、各角度範囲には、その角度範囲に属する道路の両端にあるコンテンツが関連付けられている。
【0146】
この例において、コンテンツ特定部150は、各道路進行方向DRS1〜4とユーザの頭部方向DRHの差分角度θ1〜θ4を求め、差分角度の絶対値が最小となる道路進行方向を特定する。そして、特定された道路進行方向が属する角度範囲をR1〜R4の中から選択し、選択した角度範囲に関連付けられている複数のコンテンツの中から提示するコンテンツを特定する。画像生成処理以降の流れは、道路用コンテンツ選択モードを用いた時と同様である。以下、交差点で上記のような動作を行うモードを、交差点用コンテンツ選択モードと呼ぶ。
【0147】
これにより、ユーザが交差点に差し掛かった時でも、混乱なくスムーズに情報提供サービスを継続して提供すること等が可能となる。
【0148】
また、交差点付近において、道路用コンテンツ選択モードにより、提示するコンテンツを特定する場合には、複数の道路進行方向があるため、提示するコンテンツが多くなることが考えられる。前述したように、表示部が小型である場合には、あまり多くのコンテンツを提示することは好ましくない。
【0149】
そこで、交差点の付近にユーザが近づいたら、交差点用コンテンツ選択モードに切り替える方法が考えられる。
【0150】
その一手法として、コンテンツ特定部150は、マップ情報から得られる交差点の位置情報と、ユーザの位置情報とに基づいて、交差点とユーザとの距離情報を算出し、距離情報に基づいて、交差点に対応して設定される交差点エリアとユーザとの位置関係を特定し、交差点エリア内にユーザが位置していると判断する場合には、交差点にユーザが位置していると判断してもよい。
【0151】
これにより、ユーザの位置から交差点位置までの距離情報に基づいて、交差点エリア内にユーザが位置しているか否かを判断することができる。
【0152】
ここで、交差点位置とは、交差点の中心地点に限らず、交差点内の任意の地点をいう。
【0153】
また、交差点エリアとは、交差点とみなすことのできる範囲のことであり、あらかじめデータベース等により設定をしておく。交差点エリアは、例えば交差点を内包するエリアであってもよく、交差点の一部又は全部を含んだ所与の面積或いは所与の距離範囲のエリアであってもよい。交差点エリアは、例えば、交差点の中心地点を中心とする円や多角形により構成されていてもよく、歩道橋や地下道などの交差点の上空や地下を含んでも良い。図24においては、交差点の中心点CRPから半径CRRの円に囲まれる範囲CRAを交差点エリアとしている。
【0154】
そして、ユーザが交差点エリア内に位置していると判断する場合には、ユーザが交差点に位置しているとみなし、ユーザが交差点に位置する場合のコンテンツ選択方法で、提示するコンテンツを選択すること等が可能になる。逆に、図24では、ユーザUSは交差点エリアCRAの外に位置しているため、ユーザUSは交差点に位置しているとはみなされない。
【0155】
よって、交差点エリアの設定により、道路用コンテンンツ選択モードから交差点用コンテンツ選択モードへの切り替えや、交差点用コンテンツ選択モードから道路用コンテンンツ選択モードへの切り替えを行うタイミングを制御すること等が可能となる。これにより、例えばユーザが道路に沿って歩く場合の実視野や、交差点で止まって周囲を見回す等のユーザの状況や直感に対応したコンテンツに、提示するコンテンツを限定することができる。
【0156】
以上のように、交差点の付近にユーザが近づいたら、交差点用コンテンツ選択モードに切り替え、提示するコンテンツを限定すること等が可能となる。
【0157】
また、本実施例では、道路に沿って交差点の付近にユーザが近づいたら、道路用コンテンツ選択モードから交差点用コンテンツ選択モードに切り替える場合について説明したが、交差点から道路に進む場合には、前述の交差点エリアの設定により、逆に交差点用コンテンツ選択モードから道路用コンテンツ選択モードに切り替えればよい。また、交差点を挟んで進行方向側に2つの道路がある場合に、交差点用コンテンツ選択モードを経ることなく、交差点の前方の道路に対応した道路用コンテンツ選択モードから、交差点の後方の道路に対応した道路用コンテンツ選択モードに切り替えてもよい。
【0158】
また、画像生成部160は、表示画像として、ウエアラブルディスプレイに表示される画像であって、外界視界の上に、ユーザの視点に対応した画像を生成してもよい。具体的には例えば、ウエアラブルディスプレイは、外界視界にナビゲーション画像を重畳して表示するシースルー型のヘッドマウントディスプレイであってもよい。ただし、ヘッドマウントディスプレイはこれに限定されるものではなく、二眼式の外界視界を直接見ることができない構成(つまり、外界視界はカメラで撮影したものをユーザに提示するビデオシースルー型のヘッドマウントディスプレイ等)であってもよい。
【0159】
また、ユーザの視点に対応した画像とは、ユーザが実視界に捉えている実際の風景を模した画像であって、表示部の表示画面内に収まるようにサイズを調整した画像である。具体的には、図2に示すような画像IMSのような画像のことをいう。なお、ユーザの視点に対応した画像は、実際の風景との類似具合は問題としない。言い換えれば、ユーザの視点に対応した画像とは、仮想マップ上におけるユーザの視野を表す画像である。
【0160】
これにより、ヘッドマウントディスプレイを表示装置として用いることが可能になり、ユーザの視線方向を頻繁に変化させる必要がなくなる。これは、ヘッドマウントディスプレイは視線をあまり動かさずとも、外界視界と情報提供画像との両方を見ることが可能であることによる。例えば、携帯電子機器の画面にナビゲーション画像を表示するようなシステムでは、進行方向と携帯電子機器の画面とを交互に参照する必要があり、ユーザにとって安全でなく、かつ、煩わしいものであったが、そのような問題を解消することができる。
【0161】
また、本実施形態の手法は、センサ情報取得部110と、ユーザ情報特定部120と、記憶部130と、道路進行方向特定部140と、コンテンツ特定部150と、画像生成部160として、コンピュータを機能させるプログラムに関係する。センサ情報取得部110は、ユーザのウェアラブルセンサ12からのセンサ情報を取得する。ユーザ情報特定部120は、センサ情報に基づいて、ユーザの位置情報と、ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定する。記憶部130は、マップ情報と、マップ情報に関連付けられたコンテンツの情報とを記憶する。道路進行方向特定部140は、ユーザの位置情報及びマップ情報に基づいて、ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する。コンテンツ特定部150は、ユーザのユーザ方向情報と道路進行方向情報に基づいて、提示するコンテンツを特定する。画像生成部160は特定されたコンテンツを生成する。
【0162】
これにより、画像生成システムにとどまらず、プログラムにも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【0163】
3. 処理の流れ
以下では、図18〜図22のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【0164】
3.1 ナビゲーション処理の詳細
ナビゲーション処理では、図18に示すように、まずセンサ情報を取得する(S1)。次にセンサ情報の取得に成功したかどうかを判定し(S2)、取得に失敗した場合には、再度センサ情報の取得を試みる(S1)。センサ情報の取得が成功した場合には、取得したセンサ情報に基づき、ユーザ情報を特定する(S3)。そして、道路進行方向情報特定処理(S4)、提示コンテンツ特定処理(S5)、画像生成処理(S6)を順に行う。
【0165】
3.1.1 道路進行方向情報特定処理の詳細
図19に示すように、道路進行方向情報特定処理では、まず、ナビゲーション経路が設定されているかどうかを判定する(S7)。ナビゲーション経路が設定されている場合には、ナビゲーション経路を特定し(S8)、特定したナビゲーション経路上に現在ユーザがいるかどうか判定する(S9)。ナビゲーション経路上にユーザがいないと判定された場合、もしくはナビゲーション経路が設定されていないと判定された場合には、ユーザの現在位置とマップ情報を照らし合わせて、ユーザが現在いる道路を特定する(S10)。ユーザが現在いる道路を特定した後、もしくはナビゲーション経路上に現在ユーザがいると判定された場合には、ユーザの頭部方向より道路進行方向を特定する(S11)。
【0166】
3.1.2 提示コンテンツ特定処理の詳細
図20に示すように、提示コンテンツ特定処理では、まず、ユーザの現在位置に基づきコンテンツ選択モードを選択する(S12)。コンテンツ選択モードが複数設定されていない時は、第1のモードを選択したものとみなす。本実施形態では、二つのコンテンツ選択モードの中からどちらかのモードを選択する。
【0167】
第1のモードを選択した場合には、差分角度を算出し(S13)、差分角度が属する角度範囲を特定する(S14)。そして、角度範囲に関連付けられた複数のコンテンツの中から提示するコンテンツを特定する(S15)。この時、角度範囲に関連付けられたコンテンツには、その角度範囲と同じ詳細度が与えられている。
【0168】
一方、第2のモードを選択した場合には、交差点の各道路進行方向と頭部方向との差分角度を算出する(S16)。次に、差分角度の絶対値が最小となる道路進行方向を特定する(S17)。そして、道路進行方向が属する角度範囲に関連付けられた複数のコンテンツの中から、提示するコンテンツを特定する(S18)。
【0169】
3.1.3 画像生成処理の詳細
図21に示すように、画像生成処理では、まず、ナビゲーション範囲が設定されているかを判定する(S19)。ナビゲーション範囲が設定されている場合には、差分角度がナビゲーション範囲に属するかを判定する(S20)。差分角度がナビゲーション範囲に属する場合には、ナビゲーション画像を生成する(S21)。
【0170】
また、ナビゲーション範囲が設定されていないと判定された場合、もしくは、差分角度がナビゲーション範囲に属しないと判定された場合は、コンテンツ特定部から通知されたコンテンツを生成する(S22)。
【0171】
3.2 経路設定処理の詳細
図22に示すように、経路設定処理では、まずユーザからの入力を受信する(S23)。そして、直接目的地点等を入力したか、コンテンツを選択し、間接的に目的地点を指定したかを判定する(S24)。間接的に目的地点を指定したと判断された場合には、コンテンツの提示対象が存在する位置を目的地点と設定する(S25)。一方、直接目的地点等を指定したと判断された場合には、目的地点のみ入力しているか、出発地点も共に入力しているかを判定する(S26)。目的地点のみ入力していると判定された場合、及びコンテンツ選択により目的地点を決定した後には、現在地点を出発地点と設定する(S27)。最後に、出発地点と目的地点の両方が決定された時点で、出発地点から目的地点までの最短経路をナビゲーション経路として特定する(S28)。
【0172】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像生成システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0173】
10 ユーザ、11 HMD(Head Mounted Display)、12 ウェアラブルセンサ、
14 操作部、16 表示部、18 サーバ、20 携帯電子機器、
100 画像生成システム、110 センサ情報取得部、120 ユーザ情報特定部、
130 記憶部、140 道路進行方向特定部、150 コンテンツ特定部、
160 画像生成部、170 経路設定部、180 I/F部、
190 キャラクタ制御部、200 仮想カメラ制御部、210 情報記憶媒体、
510 屋内外センサ、511 周辺温度センサ、521 脈拍(心拍数)センサ、
550 GPSセンサ、551 加速度センサ、560 方位センサ
【技術分野】
【0001】
本発明は、画像生成システム、プログラム及び情報記憶媒体等に関係する。
【背景技術】
【0002】
近年、携帯電話やPDA等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をGPS等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示する。
【0003】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【0004】
さらに、従来の情報提供サービスには、利用時にユーザの視点(視線方向)が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合(例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合)、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【0005】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中(ここでは歩行者向けサービスを想定している)であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるHMD(ヘッドマウントディスプレイ)を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献1では、ユーザの頭部の動きに応じて、HMDにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−341387号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
携帯電子機器を用いた情報提供サービスでは、視点を頻繁に変更する必要がある上、地図上にコンテンツ(例えば施設の位置)を表示する情報提供サービスは直感的でなく、場合によってはわかりにくいという問題がある。また、特許文献1の手法のようにHMDを用いることで、視点が頻繁に変更されるという問題は解決されうるが、特許文献1ではナビゲーションサービス、情報提供サービスに関する技術は記載されていない。
【0008】
本発明の幾つかの態様によれば、ユーザの位置情報及びユーザ方向情報と、道路進行方向情報とに基づいて、直感に合わせてコンテンツを提示することができる画像生成システム、プログラム及び情報記憶媒体等を提供できる。
【課題を解決するための手段】
【0009】
本発明の一態様は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、前記ユーザの位置情報と、前記ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部と、マップ情報と、前記マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部と、前記ユーザの前記位置情報及び前記マップ情報に基づいて、前記ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部と、前記ユーザの前記ユーザ方向情報と前記道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部と、特定されたコンテンツを生成する画像生成部と、を含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0010】
本発明の一態様では、ユーザの位置情報からユーザが現在位置する道路を特定する。そして、ユーザ方向情報とユーザの位置する道路を照らし合わせて、道路進行方向情報を特定する。道路進行方向情報が分かれば、ユーザが進行する道路の左右のどちらにコンテンツの提示対象が位置するか判別することができる。よって、道路が曲折している場合等でも、例えばコンテンツの提示対象が道路の右側にあるか左側にあるかといった位置関係を間違わずに、ユーザにコンテンツを提示できるため、直感に合った情報提供サービスを実現することが可能となる。
【0011】
本発明の一態様では、前記コンテンツ特定部は、前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、提示するコンテンツを前記差分角度情報に応じて特定してもよい。
【0012】
これにより、頭部方向又は視線方向と、道路進行方向とにより算出された差分角度情報により、コンテンツを特定すること等が可能になる。
【0013】
また、本発明の一態様では、前記コンテンツ特定部は、前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記差分角度情報により表される差分角度が前記複数の角度範囲のいずれに属するかを特定し、特定された角度範囲に対応するコンテンツを選択してもよい。
【0014】
これにより、例えば、差分角度が同一の角度範囲内に属する場合には、同一のコンテンツをユーザに提示すること等が可能になる。
【0015】
また、本発明の一態様では、前記コンテンツ特定部は、コンテンツに表される情報の詳細さを示す指標である詳細度を、前記差分角度が属する前記角度範囲に応じて決定し、前記画像生成部は、決定された前記詳細度に応じたコンテンツを生成してもよい。
【0016】
これにより、差分角度が属する角度範囲に応じて、異なる詳細度を割り当てられたコンテンツを提示すること等が可能になる。
【0017】
本発明の一態様では、前記画像生成部は、第2の詳細度が割り当てられたコンテンツの提示地点に、前記ユーザが位置しているが、前記第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に前記差分角度が属している場合に、前記第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を生成してもよい。
【0018】
これにより、例えば、第2の詳細度を割り当てられたコンテンツの提示地点に、ユーザが位置しているが、第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に差分角度が属している時に、第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を表示すること等が可能となる。
【0019】
本発明の一態様では、前記コンテンツ特定部は、前記ユーザが位置する道路上の一つ又は複数の地点において、前記差分角度情報を算出し、前記差分角度情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択してもよい。
【0020】
これにより、ユーザが位置する道路上の複数の地点における差分角度情報に基づいて、提示するコンテンツの候補を特定すること等が可能となる。そして、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0021】
本発明の一態様では、前記コンテンツ特定部は、前記コンテンツの情報に含まれる前記コンテンツの提示対象の位置情報と、前記ユーザの位置情報とに基づいて、前記コンテンツの提示対象と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択してもよい。
【0022】
これにより、コンテンツの提示対象とユーザとの距離情報に基づいて、提示するコンテンツの候補を特定すること等が可能となる。そして、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0023】
本発明の一態様では、前記コンテンツ特定部は、コンテンツに表される情報の詳細さを示す指標である詳細度を、前記距離情報に応じて決定し、前記画像生成部は、決定された前記詳細度に応じたコンテンツを生成してもよい。
【0024】
これにより、コンテンツの提示対象とユーザとの距離情報に応じて、異なる詳細度を割り当てられたコンテンツを提示すること等が可能となる。
【0025】
また、本発明の一態様では、出発地点から目的地点までの経路をナビゲーション経路として設定する経路設定部を含み、前記道路進行方向特定部は、複数の経路のうち、前記ナビゲーション経路の進行方向を、前記道路進行方向情報として特定してもよい。
【0026】
これにより、ナビゲーション経路沿いにあるコンテンツの提示対象をユーザに知らせる情報提供サービスを実現すること等が可能となる。
【0027】
また、本発明の一態様では、前記経路設定部は、表示部に表示されたコンテンツの中から前記ユーザが特定したコンテンツに基づいて、前記ナビゲーション経路を設定してもよい。
【0028】
これにより、表示部から特定したコンテンツの提示対象が存在する地点を目的地点とするナビゲーション経路を設定すること等が可能となる。
【0029】
また、本発明の一態様では、前記コンテンツ特定部は、前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記複数の角度範囲のうち、少なくとも一つの角度範囲をナビゲーション範囲に設定し、前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、前記差分角度情報により表される差分角度が前記ナビゲーション範囲に属すると判断する場合には、ナビゲーション情報を、提示するコンテンツとして特定してもよい。
【0030】
これにより、例えば差分角度がナビゲーション範囲に属している場合には、ユーザにナビゲーション情報を提示すること等が可能になる。
【0031】
また、本発明の一態様では、前記ユーザを目的地点に誘導するナビゲーション用のキャラクタを制御するキャラクタ制御部を含んでもよい。
【0032】
これにより、ナビゲーション用キャラクタを用いてユーザを目的地点に誘導するナビゲーションシステムを実現すること等が可能になる。
【0033】
また、本発明の一態様では、仮想カメラの視点位置及び視線方向を制御する仮想カメラ制御部を含み、前記仮想カメラ制御部は、前記ユーザ方向情報に基づいて、前記仮想カメラの前記視線方向を前記ナビゲーション用キャラクタに向けた状態で、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行ってもよい。
【0034】
これにより、ユーザがナビゲーション用キャラクタを見失うことを防止できるナビゲーションシステムを実現すること等が可能になる。
【0035】
また、本発明の一態様では、前記画像生成部は、前記仮想カメラ制御部が、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行う際に、前記道路進行方向を示す方向指示オブジェクトの画像を生成してもよい。
【0036】
これにより、仮想カメラの回転制御により、例えばナビゲーション用キャラクタの表示向きが変わった場合でも、道路進行方向を示す方向指示オブジェクトの画像により、ユーザが道路進行方向を容易に認識できるようになる。
【0037】
また、本発明の一態様では、前記画像生成部は、前記方向指示オブジェクトの画像として、矢印画像を生成してもよい。
【0038】
これにより、矢印画像を方向指示オブジェクトの画像として用いることが可能になる。
【0039】
また、本発明の一態様では、前記コンテンツ特定部は、複数のコンテンツ選択モードの中から、前記ユーザの前記位置情報に応じたコンテンツ選択モードを選択し、選択されたコンテンツ選択モードに基づいてコンテンツを特定してもよい。
【0040】
これにより、現在位置に応じた適切なコンテンツ選択を行うこと等が可能になる。
【0041】
また、本発明の一態様では、前記コンテンツ特定部は、前記ユーザが交差点に位置すると判断された場合において、交差点に交差する複数の道路のうち、前記ユーザの頭部方向又は視線方向に対応する道路を特定し、特定された道路に関連付けられた複数のコンテンツの中から提示するコンテンツを特定してもよい。
【0042】
これにより、例えばユーザが交差点に位置した場合にも、ユーザの頭部方向又は視線方向に対応する道路に関連付けられたコンテンツを、ユーザに提示すること等が可能になる。
【0043】
また、本発明の一態様では、前記コンテンツ特定部は、前記マップ情報から得られる交差点の位置情報と、前記ユーザの位置情報とに基づいて、前記交差点と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、前記交差点に対応して設定される交差点エリアと前記ユーザとの位置関係を特定し、前記交差点エリア内に前記ユーザが位置していると判断する場合には、交差点に前記ユーザが位置していると判断してもよい。
【0044】
これにより、ユーザの位置から交差点位置までの距離情報に基づいて、交差点エリア内にユーザが位置しているか否かを判断することができる。そして、ユーザが交差点エリア内に位置していると判断する場合には、ユーザが交差点に位置しているとみなし、ユーザが交差点に位置する場合のコンテンツ選択方法で、提示するコンテンツを選択すること等が可能になる。
【0045】
また、本発明の一態様では、前記画像生成部は、前記表示画像として、ウエアラブルディスプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成してもよい。
【0046】
これにより、ウエアラブルディスプレイ上に、ユーザの視点に対応した画像を、外界視界に重畳して表示することが可能になる。
【0047】
また、本発明の一態様では、前記ウエアラブルディスプレイは、外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、前記画像生成部は、前記表示画像として、前記ヘッドマウントディプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成してもよい。
【0048】
これにより、シースルー型のヘッドマウントディスプレイ上に、ユーザの視点に対応した画像を、外界視界に重畳して表示することが可能になる。
【図面の簡単な説明】
【0049】
【図1】従来の情報提供サービスの表示画像の例。
【図2】外界視界に重畳して画像を表示する情報提供サービスの例。
【図3】第2の比較例の問題点を説明する図。
【図4】図4(A)、図4(B)は本実施形態のシステム構成例。
【図5】道路進行方向の説明図。
【図6】道路進行方向とユーザの頭部方向の説明図。
【図7】道路進行方向とユーザの頭部方向の差分角度の説明図。
【図8】角度範囲の設定例。
【図9】詳細度の異なるコンテンツの表示例。
【図10】より高い詳細度が割り当てられた角度範囲の方向を示す方向指示オブジェクトを表示する手法の説明図。
【図11】出発地点と目的地点の設定により経路を特定する手法の説明図。
【図12】図12(A)、図12(B)は、表示コンテンツから選択した任意のコンテンツに基づき目的地を特定し、経路を設定する手法の説明図。
【図13】キャラクタを用いたナビゲーションサービスの表示画像の例。
【図14】図14(A)、図14(B)はキャラクタを中心に仮想カメラを回転させる手法の説明図。
【図15】図14(A)、図14(B)の手法により生成される表示画像の例。
【図16】道路進行方向を示す方向指示オブジェクトの画像を表示する手法の説明図。
【図17】図17(A)、図17(B)、図17(C)は交差点におけるコンテンツ選択手法の説明図。
【図18】本実施形態のナビゲーション処理を説明するフローチャート。
【図19】本実施形態の道路進行方向特定処理を説明するフローチャート。
【図20】本実施形態の提示コンテンツ特定処理を説明するフローチャート。
【図21】本実施形態の画像生成処理を説明するフローチャート。
【図22】本実施形態の経路設定処理を説明するフローチャート。
【図23】差分角度によりコンテンツの提示候補を特定する手法の説明図。
【図24】交差点エリアの説明図。
【発明を実施するための形態】
【0050】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0051】
1. 概要
まず、本実施形態の手法について、2つの手法と比較して説明する。
【0052】
第1の比較例として、近年の携帯電子機器(例えば携帯電話等)で、多くのナビゲーションサービス(ここでは歩行者用ナビゲーションを想定しているが、カーナビゲーションシステムであってもよい)や情報提供サービスが提供されている例がある。例えば、検索対象地点を入力することで、入力地点の周辺にある施設等に関連するコンテンツを表示するサービス等である。
【0053】
しかし、第1の比較例では、例えば図1に示すように、地図を用いて情報提供を行うことがほとんどである。図1のA1のように検索対象地点(これはGPS等からユーザの現在位置を取得してもよいし、ユーザが入力してもよい)が設定されたときに、検索対象地点を中心とした地域に存在するSPのような施設等の情報を地図上に表示する。しかし、地図を読むことが苦手なユーザも多く、対象となる施設等への移動経路が分かりにくいケースもある。また、検索対象地点までの直線距離が近いコンテンツが表示されるため、現在歩いている道路にはない施設(つまり、道のり距離は遠い施設)等を示すコンテンツも表示されてしまうことになり、表示されるコンテンツの提示対象がユーザに対して直近にあるものではない場合があるという問題も存在する。
【0054】
また、第1の比較例を利用して対象施設に移動することを想定した場合、ユーザの進行方向と案内画面の表示される方向(携帯電子機器の表示部がある方向)が異なる点が問題となる。つまり、ユーザは進行方向をみて、安全を確認したり、視界内にある建物等を確認したりしつつ、携帯電子機器に視線を向けてサービスアプリケーション画面を参照する必要がある。これはユーザにとって非常に煩わしく負担になる。
【0055】
そこで第1の比較例の問題点に対して、本出願人は以下のような手法を提案する。ユーザの視点変更の頻度を抑えるために、図2に示すような、外界視界GSの上に表示画面(情報提供画面)IMSを重畳するような表示装置を採用する。これは例えばHMD等を用いることで実現できる。また、通常の地図(上空から見た図)を用いた情報提供ではなく、図2に示すようなユーザの視点に対応する画面IMSを表示する。さらに、ユーザの現在位置情報を用いることにより、現在ユーザが位置する道路沿いに存在する施設等を示すコンテンツ画像IMCを表示する。
【0056】
このようにすることで、図1に示すような一般的な地図を用いた表示ではなく、図2に示すようなユーザの視点に対応した画面を表示することができる。よって、頻繁な視線変更をユーザに強いることなく、直感的な手法で情報提供を行うことができるため、ユーザに与える負担が軽減される。また、ユーザが位置する道路沿いに存在する施設等を示すコンテンツ群の中から、表示するコンテンツを特定することができるため、経路上、実際には遠くにある(道のり距離が遠い)施設等を示すコンテンツを表示しないようにすることができる。
【0057】
また、第2の比較例として、表示装置としてHMD等を用い、図2のIMSのような画面を表示させ、コンテンツの提示対象の存在位置に合わせて、コンテンツ(コンテンツ画像)IMCの位置を表示画面IMS内で調整する手法がある。すなわち、コンテンツの提示対象がユーザの右側に存在する場合には、表示画面IMSの右側にコンテンツIMCを表示し、コンテンツの提示対象がユーザの左側に存在する場合には、表示画面IMSの左側にコンテンツIMCを表示するという手法である。この手法において、コンテンツの提示対象とユーザとの位置関係を判断する際には、ユーザの現在地点から目的地点までの方向情報を用いる。この手法についての具体例を図3に示す。図3では、ユーザUSの現在地点から目的地点までの方向DRを用いて、コンテンツの提示対象である店A〜Gがユーザの左右どちらの方向に存在するかを判定する。この場合においては、DRの右側に存在する店A及び店C、店D、店E、店F、店Gを示すコンテンツは画面の右側に表示され、DRの左側に存在する店Bを示すコンテンツのみが画面の左側に表示される。
【0058】
しかし、図3の例で、実際にユーザUSが目的地点へ移動する際に、店Dと店Fの前を通過する時には、左側に、店Dと店Fが見えるはずである。つまり、店Dと店Fを示すコンテンツは、画面の左側に表示される方がユーザの直感に合致しやすい。したがって、第2の比較例は、ユーザの直感に合致しておらず、図3のように目的地点までの経路が曲折している場合には、ユーザが使い辛さを感じたり、違和感を覚えてしまうという問題を有している。
【0059】
そこで第2の比較例の問題点に対して、本出願人は、現在ユーザが位置する道路の進行方向を基準にして、コンテンツの提示対象が右側に存在するか左側に存在するかを判断する手法を提案する。先に示した例からも分かるとおり、ユーザは目的地点までの方向ではなく、現在ユーザが位置する道路の進行方向を基準にして、コンテンツの提示対象がユーザの右側に存在するか左側に存在するかを判断するためである。
【0060】
このようにすることで、ユーザの直感と合致した表示位置に、コンテンツを表示することができる。例えば、図3の例においては、第2の比較例では右側に表示されていた店Dと店Fを示すコンテンツが、表示画面の左側に表示されるようになる。よって、本手法によれば、ユーザの直感に合致した、使い勝手の良い情報提示サービスを提供することができる。
【0061】
以下、本実施形態のシステム構成例を説明し、その後、フローチャートを用いて本実施形態の処理の詳細について説明する。
【0062】
2. システム構成例
図4(A)においてユーザ10は携帯電子機器20を所持している。また、HMD(Head Mounted Display)11を頭部の一方の目の近傍に装着している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、屋内外センサ510や、周辺温度センサ511、腕装着型の脈拍(心拍数)センサ521、携帯電子機器20に設けられるGPS(Global Position System)センサ550や加速度センサ551、HMD11に設けられる方位センサ560等を装着している。
【0063】
携帯電子機器20(モバイルコンピュータ)は、PDA(Personal Digital Assistant)、ノート型PCなどの携帯情報端末であり、例えばプロセッサ(CPU)、メモリ、操作パネル、通信装置、或いはディスプレイ(サブディスプレイ)などを備える。この携帯電子機器20は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器(HMD等)の制御(表示制御等)を行ったり、外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお、携帯電子機器20は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【0064】
HMD11(広義には情報提示部)は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。
【0065】
屋内外センサ510は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ510は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【0066】
周辺温度センサ511は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。脈拍(心拍数)センサ521は、手首又は指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。GPSセンサ550はユーザの位置(場所)を検知するセンサである。なおGPSセンサ550の代わりに携帯電話の位置情報サービスや周辺にある無線LANの位置情報を利用してもよい。加速度センサ551は、例えば3軸の加速度情報を検知する。方位センサ560は、例えば地磁気センサ等であり、センサの向いている方位を角度(0°〜360°)で計測する。
【0067】
次に、図4(B)に本実施形態の画像生成システムの構成例を示す。画像生成システム100は、センサ情報取得部110と、ユーザ情報特定部120と、記憶部130と、道路進行方向特定部140と、コンテンツ特定部150と、画像生成部160と、経路設定部170と、I/F部180と、キャラクタ制御部190と、仮想カメラ制御部200と、情報記憶媒体210と、を含む。画像生成システム100は、図4(B)の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお、本実施形態の画像生成システム100の一部又は全部の機能は、例えば携帯電子機器20により実現される。但し、画像生成システム100の一部又は全部の機能を、HMD11により実現したり、携帯電子機器20とは異なる電子機器により実現してもよい。また、本実施形態の画像生成システム100の一部又は全部の機能は、携帯電子機器20もしくはHMD11と通信により接続されたサーバにより実現されてもよい。
【0068】
ここで、ウェアラブルセンサ12は図4(A)を用いて上述したGPSセンサや加速度センサ等のユーザが装着しているセンサである。操作部14は、例えばユーザが所持する携帯電子機器20に設けられるボタン等である。なお、操作部14はHMD11に設けられてもよい。表示部16はHMD11に設けられる。
【0069】
次に各部の接続について説明する。センサ情報取得部110は、ユーザのウェアラブルセンサ12からのセンサ情報を取得するとともに、ユーザ情報特定部120に接続されている。ユーザ情報特定部120は、道路進行方向特定部140とコンテンツ特定部150に接続されている。記憶部130は、道路進行方向特定部140と経路設定部170に接続されている。道路進行方向特定部140は、コンテンツ特定部150に接続されている。コンテンツ特定部150は、画像生成部160に接続されている。画像生成部160は、生成した画像を表示部16に表示する。経路設定部170は、道路進行方向特定部140に接続されている。I/F部180は、操作部14からの操作情報等を受け取るとともに、経路設定部170に接続されている。キャラクタ制御部190は、画像生成部160と仮想カメラ制御部200に接続されている。仮想カメラ制御部200は、画像生成部160とキャラクタ制御部190に接続されている。
【0070】
次に各部で行われる処理について説明する。
【0071】
センサ情報取得部110は、ウェアラブルセンサ12からの種々のセンサ情報を受信する。
【0072】
ユーザ情報特定部120は、センサ情報取得部110で取得したセンサ情報に基づいて、ユーザ情報を特定する。
【0073】
ここでユーザ情報とは、ユーザの位置情報や、ユーザ方向情報、ユーザの識別情報等から構成される情報である。ユーザの位置情報とは、GPSセンサ550や加速度センサ551等から取得することができるマップ上(仮想マップ上)での現在位置の情報などである。また、ユーザ方向情報は、例えばユーザの頭部方向情報や、視線方向情報などである。頭部方向は、ユーザの頭部に装着された方位センサ560からユーザの頭部方向を判別することで求めることができる。視線方向は、ユーザの視線の方向を表すものであり、例えば、黒目と白目での光の反射率の違い等を利用して、眼球部分の反射率を検出することで黒目部分の向いている方向を判別し、視線方向としてもよい。そして、識別情報はユーザを一意に特定することができる情報であり、脈拍(心拍数)センサ521等から取得する。
【0074】
記憶部130は、種々の情報を記憶するとともに、各部のワーク領域となるものであり、その機能はRAM等のメモリやHDD(ハードディスクドライブ)などにより実現できる。記憶部130は、マップ情報及び施設等の位置情報を記憶する。例えば、本実施形態の画像生成システムが日本国内の情報提供サービスに用いられるとすれば、日本全国の情報提供に適した倍率のマップ情報及び施設等の位置情報を保持している。また、記憶部130はその他にも、施設等の詳細情報等を記憶してもよい。さらに、記憶部130はあらかじめすべての情報を記憶させておく必要はない。例えば、外部のサーバ18に保存されたマップ情報や施設等の詳細情報等を逐次ダウンロードして記憶してもよい。また、近年、インターネット等を通じて提供される地域検索サービスにおいて、他のシステムでもこの地域検索サービスを利用できるようにAPI(Application Program Interface)が公開されていることがある。記憶部130は、これらのAPIを利用して、マップ情報等を逐次ダウンロードして記憶しても良い。ここで、マップ情報とは、緯度や経度等の情報に関連付けられた道路情報から構成されるものであり、例えば、マップ情報と緯度や経度等の情報を参照することにより、道路の曲がり角や交差点の位置が特定できるものである。また、施設等の位置情報は、施設等の位置と道路との相対的な位置関係情報を含んでおり、例えば、施設等の位置情報を参照することにより、施設等の道路に対する相対的な位置を特定できるものである。
【0075】
道路進行方向特定部140は、ユーザが位置する道路の道路進行方向を特定し、コンテンツ特定部150に通知する。
【0076】
ここで、道路進行方向とは図5に示すように、ユーザUSが位置する道路STにおいて、ユーザUSが道路STに沿って実際に進行する方向DRSのことをいう。すなわち、道路進行方向は、現在地点から目的地点までを直線で結んだ時の、目的地点への方向を表すものではなく、ユーザUSが進行する道路STの各地点において、ユーザUSが実際に移動する方向DRSのことをいう。
【0077】
この道路進行方向は、ユーザ情報に含まれる位置情報と、マップ情報から、ユーザが移動している道路を判別し、道路の上り方向と下り方向のどちらにユーザが進行しているか判断することにより求めることができる。なお、どちらの方向をユーザの進行方向とするかの判断手法は任意である。例えば、図6に示すように、道路の上り方向と下り方向のうち、ユーザUSの頭部方向DRHに近い方向を道路進行方向DRSとしてもよい。その他にも、道路進行方向は、ユーザが移動しているときの移動の方向、またはユーザが今後移動すると予測される移動方向としてもよく、例えば、GPSによるユーザ位置の履歴を参照し、ユーザの動きベクトル(例えば第kの時点での位置と第kの時点よりも後の第k+1の時点での位置の間のベクトル)として求めてもよい。ただし、道路進行方向の求め方はこれに限定されるものではない。
【0078】
コンテンツ特定部150は、ユーザ情報特定部120より通知されたユーザの頭部方向と、道路進行方向特定部140より通知された道路進行方向とを用いて、差分角度を算出し、差分角度に基づいて提示するコンテンツを特定する。そして、画像生成部160に特定されたコンテンツを通知する。
【0079】
ここで、差分角度とは、図7に示すようなユーザUSの頭部方向DRHと道路進行方向DRSとの差θbのことをいう。なお、頭部方向と道路進行方向の差として用いる差分角度情報は、差分角度に限定されるものではなく、これと等価な情報によって代替することができる。
【0080】
また、ここで、コンテンツについても説明をする。コンテンツとは、情報を伝達するために映像や画像、音楽、音声、文章、あるいはそれらの組み合わせたものいう。本実施例において具体的にコンテンツとは、情報提供サービスについては、店舗や施設等を示す映像や画像、文字、音声等を指し、ナビゲーションサービスにおいては、ナビゲーション用キャラクタの画像や方向指示オブジェクトの画像等を指す。
【0081】
また、コンテンツは複数のカテゴリに分類されており、このカテゴリのことをコンテンツカテゴリと呼ぶ。上記の例で言えば、店舗や施設等を示すコンテンツは、タウン情報というコンテンツカテゴリに属し、ナビゲーション用キャラクタの画像や方向指示オブジェクトの画像等のコンテンツはナビゲーション情報というコンテンツカテゴリに属する。
【0082】
さらに、各コンテンツには、個々のコンテンツを一意に識別できるようなコンテンツインデックスが割り振られている。
【0083】
画像生成部160は、コンテンツ特定部150により特定されたコンテンツと、後述するキャラクタ制御部190及び仮想カメラ制御部200からの制御情報と、に基づいて、表示画像(コンテンツ)を生成する。
【0084】
経路設定部170は、次に述べるI/F部180から通知された情報に基づいて、ナビゲーション経路を設定し、道路進行方向特定部140にナビゲーション経路を通知する。
【0085】
I/F部180は、操作部14からの操作情報を受信する。
【0086】
ここで操作情報とは、ナビゲーション経路を設定するための情報等を指す。具体的には、マップ上での出発地点と目的地点の座標や、提示されたコンテンツの中からユーザが選択したコンテンツ等である。
【0087】
キャラクタ制御部190は、ナビゲーション範囲が設定されている場合に、ナビゲーション用キャラクタを制御し、表示するナビゲーション用キャラクタの制御情報を画像生成部160に通知する。
【0088】
仮想カメラ制御部200は、キャラクタ制御部190が制御するナビゲーション用キャラクタを写す仮想カメラの視点位置と視線方向を制御し、仮想カメラ制御情報を画像生成部160に通知する。
【0089】
情報記憶媒体210(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード(EEPROM、ROM等)、光ディスク(DVD、CD等)、或いはHDD(ハードディスクドライブ)などにより実現できる。画像生成システム100は、情報記憶媒体210に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体210には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0090】
以上の本実施形態では、画像生成システム100は、図4(B)に示したように、ユーザのウェアラブルセンサ12からのセンサ情報を取得するセンサ情報取得部110と、センサ情報に基づいて、ユーザの位置情報と、ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部120と、マップ情報と、マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部130と、ユーザの位置情報及びマップ情報に基づいて、ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部140と、ユーザのユーザ方向情報と道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部150と、特定されたコンテンツを生成する画像生成部160とを含む。
【0091】
これにより、まず、ウェアラブルセンサからのセンサ情報に基づいて、仮想マップ上でのユーザの位置情報及びユーザ方向情報を特定することができる。次に、ユーザの位置情報とマップ情報を照らし合わせることにより、ユーザが現在位置する道路を特定することができる。さらに、道路の上り方向と下り方向のうち、ユーザ方向情報に表される頭部方向又は視線方向との差分が小さい方向を道路進行方向として特定することができる。ただし、道路進行方向情報の求め方はこれに限定されるものではない。そして、道路進行方向情報が分かれば、ユーザが進行する道路の左右のどちらに提示するコンテンツが位置するか判別することができる。よって、例えば図3や図5に示したように道路が曲折している場合でも、コンテンツが道路の右側にあるか左側にあるかといった位置関係を間違わずに、ユーザにコンテンツを提示できるため、直感に合った情報提供サービスを実現することが可能となる。
【0092】
なお、コンテンツの情報は、コンテンツの提示対象の位置情報などを含む。
【0093】
さらに、本実施形態は、道路進行方向情報に基づき、ユーザの移動方向を予測していると言うこともできる。ユーザは道路に沿って移動するためである。したがって、ユーザが今後の行動を計画する際に、予測されるユーザの移動方向の先に存在する店舗等のコンテンツを提示することが可能となる。また、コンテンツ特定部150は、ユーザ方向情報と道路進行方向情報より、ユーザの頭部方向又は視線方向と、道路進行方向との差分角度情報を算出し、提示するコンテンツを差分角度情報に応じて特定してもよい。
【0094】
これにより、あらかじめ差分角度情報に応じて、表示するコンテンツを割り当てることができる。例えば、差分角度情報のうちの差分角度が+60度を示す時に、道路の右側にある施設等の中で最もユーザに近い位置にある施設等を示すコンテンツを表示するように設定することが可能となる。よって、ユーザが頭部方向を変えるという直感的な操作で、表示部に表示するコンテンツを変更すること等が可能となる。
【0095】
また、コンテンツ特定部150は、道路進行方向を基準として複数の角度範囲が設定されている場合に、差分角度情報により表される差分角度が複数の角度範囲のいずれに属するかを特定し、特定された角度範囲に対応するコンテンツを選択してもよい。
【0096】
これにより、以下のような情報提供サービスを行うことが可能となる。図8に示すように、道路進行方向DRSを基準として複数の角度範囲R1〜R5が設定されている場合を考える。なお、ここで設定されている角度範囲は任意の角度に変更することができ、角度範囲の数及び角度は、図に示したものに限定されるものではない。例えば、図8において、R2の角度範囲に差分角度が含まれる時には、道路の右側に存在するコンテンツのうち、ユーザから20〜50m離れているところに位置するコンテンツを表示し、R4の角度範囲に差分角度が含まれる時には、ユーザの前方0〜20m及び後方0〜20m離れているところに位置するコンテンツを表示するように設定する。この場合には、差分角度が+30度である場合も、+50度である場合も、差分角度はR2の角度範囲に属することになるため、同じコンテンツが表示されることになる。よって、差分角度が同一の角度範囲内に属する場合には、同一のコンテンツをユーザに提示することができるため、ユーザが、任意のコンテンツが表示される方向に頭部の向きを容易に調節すること等が可能となる。
【0097】
また、コンテンツ特定部150は、コンテンツに表される情報の詳細さを示す指標である詳細度を、差分角度が属する角度範囲に応じて決定し、画像生成部160は、決定された詳細度に応じたコンテンツを生成してもよい。
【0098】
ここで、詳細度とは、コンテンツに表される情報の詳細さを示すために、あらかじめユーザやシステム管理者によって、各コンテンツに対して割り当てられる数値やランク等を指す。
【0099】
コンテンツの提示対象が飲食店である場合に、低い詳細度を割り当てられるコンテンツの例としては、店舗名の文字情報や、店舗を示すアイコン画像等が挙げられる。一方、高い詳細度を割り当てられるコンテンツの例としては、メニューや価格、メニューの説明、口コミ、外観画像、営業時間などを示すコンテンツが挙げられる。
【0100】
詳細度は、角度範囲や距離情報に対しても割り当てることができる。例えば、道路進行方向と垂直な方向(すなわち、道路の右側もしくは左側で、施設等が実際に存在する方向)にある角度範囲に対しては、最大値を割り当て、道路進行方向が属する角度範囲に対しては、最小値を割り当てること等ができる。コンテンツ特定部150は、差分角度が任意の角度範囲に属している時には、その角度範囲に割り当てられた詳細度と同じ詳細度を割り当てられたコンテンツの中から、提示するコンテンツを特定する。
【0101】
これにより、提示するコンテンツの詳細度を角度範囲によって変更することができる。例えば、図9に示すような角度範囲R1〜R5が設定されている場合において、R4とR5に対しては最大、R1には最小、R2とR3には中間となるような詳細度を割り当てた例を示す。この場合、角度範囲R2に差分角度が含まれる時には、外界視界GS1に重畳して表示する表示画面IMS1内に、店Yを示す詳細度の低いコンテンツであるアイコンIMCを表示することができる。一方、R4の角度範囲に差分角度が含まれる時には、外界視界GS2に重畳して表示する表示画面IMS2内に、店Xの情報を示す詳細度の高いコンテンツであるIMDを表示することができる。すなわち、ユーザから離れた位置にある施設等に関しては存在を知らせるためだけの情報を示すコンテンツを、ユーザに近い位置にある施設等に関しては詳しい情報を示すコンテンツを提示すること等が可能になる。
【0102】
また、画像生成部160は、第2の詳細度が割り当てられたコンテンツの提示地点に、ユーザが位置しているが、第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に差分角度が属している場合に、第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を生成してもよい。また、方向指示オブジェクトの画像は、矢印画像であってもよい。
【0103】
これにより、例えば、図10に示すように、ユーザUSが店Xを示すコンテンツの提示地点に位置しているが、店Xが位置する方向を向いておらず、頭部方向又は視線方向がDRH1である場合において、方向指示オブジェクトの画像IMYにより、ユーザに店Xの位置を知らせること等が可能となる。なお、方向指示オブジェクトの画像を矢印としたがこれに限定されるものではない。
【0104】
また、表示部が小型である場合においては、表示画像に表される情報が多すぎるとユーザにとって、かえって煩わしい場合がある。さらに、ウエアラブルディスプレイを利用している場合においては、表示画像が多すぎて、外界を確認しづらくなったりする場合もある。
【0105】
そこで、提示するコンテンツをユーザにとって有用なものに限定することにより、上記の問題を解決することが考えられる。
【0106】
その一手法として、コンテンツ特定部150は、ユーザが位置する道路上の一つ又は複数の地点において、差分角度情報を算出し、差分角度情報に基づいて、提示するコンテンツの候補を特定し、候補の中から提示するコンテンツを選択してもよい。
【0107】
これにより、ユーザが位置する道路上の複数の地点における差分角度情報に基づいて、提示するコンテンツの候補を特定し、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0108】
例えば、上記の具体例として、ユーザの視界に入る店舗等のコンテンツのみを提示する手法などが考えられる。
【0109】
この場合においては、まず、ユーザが位置する道路に沿って、一定の間隔で、差分角度θdを算出する。次に、ユーザとの距離が近い地点から順に、差分角度の絶対値|θd|と、あらかじめ設定しておく所定の角度θThを比較する。
【0110】
ここで、差分角度θdを算出し、差分角度の絶対値|θd|と所定の角度θThを比較する地点を比較地点という。比較地点の間隔はあらかじめデータベース等において設定しておく。
【0111】
そして、|θd|<θThである場合には、ユーザの位置から今回の比較地点までの間に位置する店舗等は、ユーザの視界に入っていると判断し、これらの店舗等を表すコンテンツを提示候補として特定する。一方、|θd|≧θThである場合には、今回の比較地点よりもユーザから離れた位置に位置する店舗等は、ユーザの視界に入っていないと判断し、これらの店舗等を表すコンテンツは提示候補として特定しない。
【0112】
以下で、図23を用いて上記の手法の適用例を説明する。まず、図23では、CP1〜CP3が比較地点であり、CP1、CP2、CP3の順で比較を行う。CP1は、ユーザUSの現在位置でもある。また、L1〜L3は、各比較地点において道路進行方向と垂直な直線である。さらに、DRHは、CP1におけるユーザUSの頭部方向、DRS1〜DRS3は各比較地点における道路進行方向、θ1〜θ3は各比較地点における差分角度θdであり、θ1=θ2=10°、θ3=60°とする。また、ここでは一例として、所定の角度θThを30°とする。なお、差分角度θdを算出する際には、CP2、CP3においても、現在位置におけるユーザUSの頭部方向DRHを用いる。
【0113】
図23の例では、まず、CP1において比較を行う。CP1では、差分角度の絶対値|θd|が|θ1|=10°であり、θThが30°であるため、|θd|<θThが成立する。しかし、この例では、CP1は現在位置でもあるため、この時点ではコンテンツの提示候補はない。次に、CP2で比較を行う。CP2においても、差分角度の絶対値|θd|が|θ2|=10°であるため、|θd|<θThが成立する。この際、前回の比較地点から今回の比較地点までの範囲であるL1とL2に挟まれる範囲に位置する店Aと店Bのコンテンツを提示候補として特定する。最後に、CP3において比較を行う。CP3では、差分角度の絶対値|θd|が|θ3|=60°であるため、|θd|≧θThが成立する。この際、今回の比較地点よりもユーザから離れた範囲であるL3以降の範囲に位置する店舗Cのコンテンツは提示候補としない。
【0114】
よって、図23では、店A、Bを表すコンテンツが提示候補となり、店Cを表すコンテンツは提示候補とならない。
【0115】
このようにして、提示候補を特定し、提示候補の中から提示するコンテンツを選択することで、ユーザの視界に入る店舗等のコンテンツのみを提示することができる。
【0116】
以上のように、差分角度情報を元に、提示するコンテンツを限定すること等が可能となる。
【0117】
また、コンテンツ特定部150は、コンテンツの情報に含まれるコンテンツの提示対象の位置情報と、ユーザの位置情報とに基づいて、コンテンツの提示対象とユーザとの距離情報を算出し、距離情報に基づいて、提示するコンテンツの候補を特定し、候補の中から提示するコンテンツを選択してもよい。
【0118】
これにより、コンテンツの提示対象とユーザとの距離情報に基づいて、提示するコンテンツの候補を特定し、特定した候補群の中から提示するコンテンツを選択すること等が可能となる。
【0119】
例えば、上記の具体例として、まず、ユーザの位置から店舗等の位置までの距離を算出する。次に、あらかじめ設定しておいた所定の閾値DThと算出した距離Dを比較する。ここでは、所定の閾値DThを100mとする。D<DThである場合には、その店舗等を表すコンテンツを提示候補とする。一方、D≧DThである場合には、その店舗等を表すコンテンツを提示候補としない。このようにして、提示候補を特定し、提示候補の中から提示するコンテンツを選択することで、ユーザを中心として、100m以内に存在する店舗等のコンテンツのみを提示することができる。
【0120】
以上のように、ユーザから店舗等までの距離情報を元に、提示するコンテンツを限定すること等が可能となる。
【0121】
また、コンテンツ特定部150は、コンテンツに表される情報の詳細さを示す指標である詳細度を、距離情報に応じて決定し、画像生成部160は、決定された詳細度に応じたコンテンツを生成してもよい。
【0122】
これにより、コンテンツの提示対象とユーザとの距離情報に応じて、異なる詳細度を割り当てられたコンテンツを提示すること等が可能となる。
【0123】
例えば、ユーザを中心として、0〜20mの距離に対して、第1の詳細度を割り当て、20〜50mの距離に対して、第2の詳細度を割り当て、50m以上の距離に対して、第3の詳細度を割り当てる。この時、第1の詳細度が最大で、第2の詳細度が中間、第3の詳細度が最小となるように設定しておけば、ユーザに近い場所に位置する店舗等については、メニューや口コミなどの詳細な情報を提示し、ユーザから離れた場所に位置する店舗等については、アイコンのみを提示すること等が可能となる。
【0124】
以上のように、ユーザから店舗等までの距離情報と詳細度とに基づき、ユーザに近い場所に位置する店舗等の情報を優先的に提示して、提示するコンテンツを限定すること等が可能となる。
【0125】
また、画像生成システム100は、出発地点から目的地点までの経路をナビゲーション経路として設定する経路設定部170を含んでもよい。そして、道路進行方向特定部140は、複数の経路のうち、ナビゲーション経路の進行方向を、道路進行方向情報として特定してもよい。
【0126】
ここで、図11に経路設定の一例を示す。図11では、出発地点STPからの経路の一例として、経路PS1〜PS5を示している。なお、出発地点STPは、ユーザによって指定されても良いし、ユーザの現在値を出発地点STPとしても良い。ここで、目的地点をDSTと設定することにより、PS1〜PS5の経路の中からナビゲーション経路としてPS1が特定される。これが、経路設定の流れである。なお、目的地点まで辿り着く経路が複数ある場合の経路の特定方法は任意である。本実施形態の情報提供システムでは、この例のように、出発地点と目的地点の地図上での位置を直接指定して、ナビゲーション経路を設定することもできる。
【0127】
これにより、ユーザが情報を取得したい道路周辺をあらかじめナビゲーション経路設定において指定することができるため、よりユーザのニーズに沿った情報提供サービスを行うことができる。
【0128】
また、経路設定部170は、表示部に表示されたコンテンツの中からユーザが特定したコンテンツに基づいて、ナビゲーション経路を設定してもよい。
【0129】
これにより、ユーザが表示画面を見て、興味のあるコンテンツに対応する画像を選択し、そのコンテンツの提示対象が存在する場所まで、ユーザを案内する情報提供サービスを実現することができる。
【0130】
具体的には、図12(A)のように、表示画面IMS内に表示されたコンテンツIMCの中から任意のコンテンツIMCUをユーザが選択し、コンテンツIMCUに対応する施設等が存在する地点までの経路をナビゲーション経路として設定することができる。そして、図12(B)に示すように、コンテンツIMCUの提示対象が店Gである場合には、目的地点がDSTと設定される。よって、前述した例と同様に、出発地点STPからDSTまでの経路PSUをナビゲーション経路として特定することができ、上記サービスを実現できる。
【0131】
また、コンテンツ特定部150は、複数の角度範囲のうち、少なくとも一つの角度範囲をナビゲーション範囲に設定し、差分角度情報により表される差分角度がナビゲーション範囲に属すると判断する場合には、ナビゲーション情報を、提示するコンテンツとして特定してもよい。
【0132】
これにより、例えば図8に示すような角度範囲が設定されている場合において、R1をナビゲーション範囲として設定することができる。そして、差分角度が角度範囲R1に属する場合には、ユーザにナビゲーション情報を提示すること等が可能になる。
【0133】
また、画像生成システム100は、ユーザを目的地点に誘導するナビゲーション用のキャラクタを制御するキャラクタ制御部190を含んでもよい。
【0134】
これにより、例えば、図13に示すようなナビゲーション用キャラクタCHを表示部に表示することができる。したがって、目的地に着くまでの間、ユーザに後ろ姿を向けて歩くナビゲーション用キャラクタCHの画像を表示するように制御すれば、ナビゲーション用キャラクタの後を付いていくだけで目的地に辿り着くことができる直感的なナビゲーションシステムを実現すること等が可能になる。
【0135】
ナビゲーション用キャラクタを用いる場合において、差分角度がナビゲーション範囲に属する時にしか、ナビゲーション用キャラクタを表示しない場合、ユーザがナビゲーション用キャラクタを見失ってしまう場合がある。
【0136】
そこで、画像生成システム100は、仮想カメラの視点位置及び視線方向を制御する仮想カメラ制御部200を含んでもよい。そして、仮想カメラ制御部200は、ユーザ方向情報に基づいて、仮想カメラの視線方向をナビゲーション用キャラクタに向けた状態で、ナビゲーション用キャラクタを中心に仮想カメラを回転させる制御を行ってもよい。
【0137】
これにより、例えば、図14(A)(B)に示すように、ユーザUSが頭部方向をDRH1からDRH2に変えた時、仮想カメラVCの視線方向VLをナビゲーション用キャラクタCHに向けた状態で、ナビゲーション用キャラクタCHを中心に仮想カメラVCをV1のように回転させる制御を行うことができる。
【0138】
その結果、図15のように、ナビゲーション用キャラクタの後ろ姿CH1が表示されている状態から、ナビゲーション用キャラクタが右を向いている姿CH2が表示される状態に変更することができる。
【0139】
以上より、ユーザがナビゲーション用キャラクタを見失うことのないナビゲーションシステムを実現すること等が可能になる。
【0140】
また、画像生成部160は、仮想カメラ制御部200が、ナビゲーション用キャラクタを中心に仮想カメラを回転させる制御を行う際に、道路進行方向を示す方向指示オブジェクトの画像を生成してもよい。また、方向指示オブジェクトの画像は、矢印画像であってもよい。
【0141】
これにより、例えば図16に示すように、仮想カメラの回転制御により、ナビゲーション用キャラクタの表示向きが変わった場合でも、道路進行方向を示す方向指示オブジェクトの画像IMY1またはIMY2により、ユーザが道路進行方向を容易に認識することができるナビゲーションシステムを実現すること等が可能になる。なお、方向指示オブジェクトの画像を矢印としたがこれに限定されるものではなく、道路進行方向を示すことができる情報であれば矢印以外であってもよい。
【0142】
また、コンテンツ特定部150は、複数のコンテンツ選択モードの中から、ユーザの位置情報に応じたコンテンツ選択モードを選択し、選択されたコンテンツ選択モードに基づいてコンテンツを特定してもよい。
【0143】
これにより、ユーザが位置する場所が一般的な道路ではなく、例えば交差点であったり、広場であったりした場合に、ユーザが道路にいる時に用いていたモード(以下、道路用コンテンツ選択モードと呼ぶ)と異なるコンテンツ選択モードを選択することが可能となる。道路用コンテンツ選択モードでは適切なコンテンツを選択できない場合でも、複数のコンテンツ選択モードをあらかじめ設定しておき、場所に応じて最適なコンテンツ選択モードを選択できるようにしておけば、適切なコンテンツ選択を行うこと等が可能になる。
【0144】
また、コンテンツ特定部150は、ユーザが交差点に位置すると判断された場合において、交差点に交差する複数の道路のうち、ユーザの頭部方向又は視線方向に対応する道路を特定し、特定された道路に関連付けられた複数のコンテンツの中から提示するコンテンツを特定してもよい。
【0145】
具体例を図17(A)〜図17(C)に示して説明する。図17(A)では、ユーザUSが交差点に位置しており、頭部方向がDRHである時を示している。そして、道路進行方向がそれぞれDRS1〜DRS4であり、DRS1が属する任意の角度範囲をRAと設定し、同様にDRS2〜DRS4が属するRB〜RDの角度範囲を設定する。ここで、RA〜RDの角度範囲設定方法は任意であるが、一例として、交差点の中心を中心点として角度を等分して、割り当てる等の方法がある。さらに、各角度範囲には、その角度範囲に属する道路の両端にあるコンテンツが関連付けられている。
【0146】
この例において、コンテンツ特定部150は、各道路進行方向DRS1〜4とユーザの頭部方向DRHの差分角度θ1〜θ4を求め、差分角度の絶対値が最小となる道路進行方向を特定する。そして、特定された道路進行方向が属する角度範囲をR1〜R4の中から選択し、選択した角度範囲に関連付けられている複数のコンテンツの中から提示するコンテンツを特定する。画像生成処理以降の流れは、道路用コンテンツ選択モードを用いた時と同様である。以下、交差点で上記のような動作を行うモードを、交差点用コンテンツ選択モードと呼ぶ。
【0147】
これにより、ユーザが交差点に差し掛かった時でも、混乱なくスムーズに情報提供サービスを継続して提供すること等が可能となる。
【0148】
また、交差点付近において、道路用コンテンツ選択モードにより、提示するコンテンツを特定する場合には、複数の道路進行方向があるため、提示するコンテンツが多くなることが考えられる。前述したように、表示部が小型である場合には、あまり多くのコンテンツを提示することは好ましくない。
【0149】
そこで、交差点の付近にユーザが近づいたら、交差点用コンテンツ選択モードに切り替える方法が考えられる。
【0150】
その一手法として、コンテンツ特定部150は、マップ情報から得られる交差点の位置情報と、ユーザの位置情報とに基づいて、交差点とユーザとの距離情報を算出し、距離情報に基づいて、交差点に対応して設定される交差点エリアとユーザとの位置関係を特定し、交差点エリア内にユーザが位置していると判断する場合には、交差点にユーザが位置していると判断してもよい。
【0151】
これにより、ユーザの位置から交差点位置までの距離情報に基づいて、交差点エリア内にユーザが位置しているか否かを判断することができる。
【0152】
ここで、交差点位置とは、交差点の中心地点に限らず、交差点内の任意の地点をいう。
【0153】
また、交差点エリアとは、交差点とみなすことのできる範囲のことであり、あらかじめデータベース等により設定をしておく。交差点エリアは、例えば交差点を内包するエリアであってもよく、交差点の一部又は全部を含んだ所与の面積或いは所与の距離範囲のエリアであってもよい。交差点エリアは、例えば、交差点の中心地点を中心とする円や多角形により構成されていてもよく、歩道橋や地下道などの交差点の上空や地下を含んでも良い。図24においては、交差点の中心点CRPから半径CRRの円に囲まれる範囲CRAを交差点エリアとしている。
【0154】
そして、ユーザが交差点エリア内に位置していると判断する場合には、ユーザが交差点に位置しているとみなし、ユーザが交差点に位置する場合のコンテンツ選択方法で、提示するコンテンツを選択すること等が可能になる。逆に、図24では、ユーザUSは交差点エリアCRAの外に位置しているため、ユーザUSは交差点に位置しているとはみなされない。
【0155】
よって、交差点エリアの設定により、道路用コンテンンツ選択モードから交差点用コンテンツ選択モードへの切り替えや、交差点用コンテンツ選択モードから道路用コンテンンツ選択モードへの切り替えを行うタイミングを制御すること等が可能となる。これにより、例えばユーザが道路に沿って歩く場合の実視野や、交差点で止まって周囲を見回す等のユーザの状況や直感に対応したコンテンツに、提示するコンテンツを限定することができる。
【0156】
以上のように、交差点の付近にユーザが近づいたら、交差点用コンテンツ選択モードに切り替え、提示するコンテンツを限定すること等が可能となる。
【0157】
また、本実施例では、道路に沿って交差点の付近にユーザが近づいたら、道路用コンテンツ選択モードから交差点用コンテンツ選択モードに切り替える場合について説明したが、交差点から道路に進む場合には、前述の交差点エリアの設定により、逆に交差点用コンテンツ選択モードから道路用コンテンツ選択モードに切り替えればよい。また、交差点を挟んで進行方向側に2つの道路がある場合に、交差点用コンテンツ選択モードを経ることなく、交差点の前方の道路に対応した道路用コンテンツ選択モードから、交差点の後方の道路に対応した道路用コンテンツ選択モードに切り替えてもよい。
【0158】
また、画像生成部160は、表示画像として、ウエアラブルディスプレイに表示される画像であって、外界視界の上に、ユーザの視点に対応した画像を生成してもよい。具体的には例えば、ウエアラブルディスプレイは、外界視界にナビゲーション画像を重畳して表示するシースルー型のヘッドマウントディスプレイであってもよい。ただし、ヘッドマウントディスプレイはこれに限定されるものではなく、二眼式の外界視界を直接見ることができない構成(つまり、外界視界はカメラで撮影したものをユーザに提示するビデオシースルー型のヘッドマウントディスプレイ等)であってもよい。
【0159】
また、ユーザの視点に対応した画像とは、ユーザが実視界に捉えている実際の風景を模した画像であって、表示部の表示画面内に収まるようにサイズを調整した画像である。具体的には、図2に示すような画像IMSのような画像のことをいう。なお、ユーザの視点に対応した画像は、実際の風景との類似具合は問題としない。言い換えれば、ユーザの視点に対応した画像とは、仮想マップ上におけるユーザの視野を表す画像である。
【0160】
これにより、ヘッドマウントディスプレイを表示装置として用いることが可能になり、ユーザの視線方向を頻繁に変化させる必要がなくなる。これは、ヘッドマウントディスプレイは視線をあまり動かさずとも、外界視界と情報提供画像との両方を見ることが可能であることによる。例えば、携帯電子機器の画面にナビゲーション画像を表示するようなシステムでは、進行方向と携帯電子機器の画面とを交互に参照する必要があり、ユーザにとって安全でなく、かつ、煩わしいものであったが、そのような問題を解消することができる。
【0161】
また、本実施形態の手法は、センサ情報取得部110と、ユーザ情報特定部120と、記憶部130と、道路進行方向特定部140と、コンテンツ特定部150と、画像生成部160として、コンピュータを機能させるプログラムに関係する。センサ情報取得部110は、ユーザのウェアラブルセンサ12からのセンサ情報を取得する。ユーザ情報特定部120は、センサ情報に基づいて、ユーザの位置情報と、ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定する。記憶部130は、マップ情報と、マップ情報に関連付けられたコンテンツの情報とを記憶する。道路進行方向特定部140は、ユーザの位置情報及びマップ情報に基づいて、ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する。コンテンツ特定部150は、ユーザのユーザ方向情報と道路進行方向情報に基づいて、提示するコンテンツを特定する。画像生成部160は特定されたコンテンツを生成する。
【0162】
これにより、画像生成システムにとどまらず、プログラムにも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【0163】
3. 処理の流れ
以下では、図18〜図22のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【0164】
3.1 ナビゲーション処理の詳細
ナビゲーション処理では、図18に示すように、まずセンサ情報を取得する(S1)。次にセンサ情報の取得に成功したかどうかを判定し(S2)、取得に失敗した場合には、再度センサ情報の取得を試みる(S1)。センサ情報の取得が成功した場合には、取得したセンサ情報に基づき、ユーザ情報を特定する(S3)。そして、道路進行方向情報特定処理(S4)、提示コンテンツ特定処理(S5)、画像生成処理(S6)を順に行う。
【0165】
3.1.1 道路進行方向情報特定処理の詳細
図19に示すように、道路進行方向情報特定処理では、まず、ナビゲーション経路が設定されているかどうかを判定する(S7)。ナビゲーション経路が設定されている場合には、ナビゲーション経路を特定し(S8)、特定したナビゲーション経路上に現在ユーザがいるかどうか判定する(S9)。ナビゲーション経路上にユーザがいないと判定された場合、もしくはナビゲーション経路が設定されていないと判定された場合には、ユーザの現在位置とマップ情報を照らし合わせて、ユーザが現在いる道路を特定する(S10)。ユーザが現在いる道路を特定した後、もしくはナビゲーション経路上に現在ユーザがいると判定された場合には、ユーザの頭部方向より道路進行方向を特定する(S11)。
【0166】
3.1.2 提示コンテンツ特定処理の詳細
図20に示すように、提示コンテンツ特定処理では、まず、ユーザの現在位置に基づきコンテンツ選択モードを選択する(S12)。コンテンツ選択モードが複数設定されていない時は、第1のモードを選択したものとみなす。本実施形態では、二つのコンテンツ選択モードの中からどちらかのモードを選択する。
【0167】
第1のモードを選択した場合には、差分角度を算出し(S13)、差分角度が属する角度範囲を特定する(S14)。そして、角度範囲に関連付けられた複数のコンテンツの中から提示するコンテンツを特定する(S15)。この時、角度範囲に関連付けられたコンテンツには、その角度範囲と同じ詳細度が与えられている。
【0168】
一方、第2のモードを選択した場合には、交差点の各道路進行方向と頭部方向との差分角度を算出する(S16)。次に、差分角度の絶対値が最小となる道路進行方向を特定する(S17)。そして、道路進行方向が属する角度範囲に関連付けられた複数のコンテンツの中から、提示するコンテンツを特定する(S18)。
【0169】
3.1.3 画像生成処理の詳細
図21に示すように、画像生成処理では、まず、ナビゲーション範囲が設定されているかを判定する(S19)。ナビゲーション範囲が設定されている場合には、差分角度がナビゲーション範囲に属するかを判定する(S20)。差分角度がナビゲーション範囲に属する場合には、ナビゲーション画像を生成する(S21)。
【0170】
また、ナビゲーション範囲が設定されていないと判定された場合、もしくは、差分角度がナビゲーション範囲に属しないと判定された場合は、コンテンツ特定部から通知されたコンテンツを生成する(S22)。
【0171】
3.2 経路設定処理の詳細
図22に示すように、経路設定処理では、まずユーザからの入力を受信する(S23)。そして、直接目的地点等を入力したか、コンテンツを選択し、間接的に目的地点を指定したかを判定する(S24)。間接的に目的地点を指定したと判断された場合には、コンテンツの提示対象が存在する位置を目的地点と設定する(S25)。一方、直接目的地点等を指定したと判断された場合には、目的地点のみ入力しているか、出発地点も共に入力しているかを判定する(S26)。目的地点のみ入力していると判定された場合、及びコンテンツ選択により目的地点を決定した後には、現在地点を出発地点と設定する(S27)。最後に、出発地点と目的地点の両方が決定された時点で、出発地点から目的地点までの最短経路をナビゲーション経路として特定する(S28)。
【0172】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像生成システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0173】
10 ユーザ、11 HMD(Head Mounted Display)、12 ウェアラブルセンサ、
14 操作部、16 表示部、18 サーバ、20 携帯電子機器、
100 画像生成システム、110 センサ情報取得部、120 ユーザ情報特定部、
130 記憶部、140 道路進行方向特定部、150 コンテンツ特定部、
160 画像生成部、170 経路設定部、180 I/F部、
190 キャラクタ制御部、200 仮想カメラ制御部、210 情報記憶媒体、
510 屋内外センサ、511 周辺温度センサ、521 脈拍(心拍数)センサ、
550 GPSセンサ、551 加速度センサ、560 方位センサ
【特許請求の範囲】
【請求項1】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、前記ユーザの位置情報と、前記ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部と、
マップ情報と、前記マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部と、
前記ユーザの前記位置情報及び前記マップ情報に基づいて、前記ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部と、
前記ユーザの前記ユーザ方向情報と前記道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部と、
特定されたコンテンツを生成する画像生成部と、
を含む画像生成システム。
【請求項2】
請求項1において、
前記コンテンツ特定部は、
前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、提示するコンテンツを前記差分角度情報に応じて特定することを特徴とする画像生成システム。
【請求項3】
請求項2において、
前記コンテンツ特定部は、
前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記差分角度情報により表される差分角度が前記複数の角度範囲のいずれに属するかを特定し、特定された角度範囲に対応するコンテンツを選択することを特徴とする画像生成システム。
【請求項4】
請求項3において、
前記コンテンツ特定部は、
コンテンツに表される情報の詳細さを示す指標である詳細度を、前記差分角度が属する前記角度範囲に応じて決定し、
前記画像生成部は、
決定された前記詳細度に応じたコンテンツを生成することを特徴とする画像生成システム。
【請求項5】
請求項4において、
前記画像生成部は、
第2の詳細度が割り当てられたコンテンツの提示地点に、前記ユーザが位置しているが、前記第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に前記差分角度が属している場合に、前記第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を生成することを特徴とする画像生成システム。
【請求項6】
請求項2乃至5のいずれかにおいて、
前記コンテンツ特定部は、
前記ユーザが位置する道路上の一つ又は複数の地点において、前記差分角度情報を算出し、前記差分角度情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択することを特徴とする画像生成システム。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記コンテンツ特定部は、
前記コンテンツの情報に含まれる前記コンテンツの提示対象の位置情報と、前記ユーザの位置情報とに基づいて、前記コンテンツの提示対象と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択することを特徴とする画像生成システム。
【請求項8】
請求項7において、
前記コンテンツ特定部は、
コンテンツに表される情報の詳細さを示す指標である詳細度を、前記距離情報に応じて決定し、
前記画像生成部は、
決定された前記詳細度に応じたコンテンツを生成することを特徴とする画像生成システム。
【請求項9】
請求項1乃至8のいずれかにおいて、
出発地点から目的地点までの経路をナビゲーション経路として設定する経路設定部を含み、
前記道路進行方向特定部は、
複数の経路のうち、前記ナビゲーション経路の進行方向を、前記道路進行方向情報として特定することを特徴とする画像生成システム。
【請求項10】
請求項9において、
前記経路設定部は、
表示部に表示されたコンテンツの中から前記ユーザが特定したコンテンツに基づいて、前記ナビゲーション経路を設定することを特徴とする画像生成システム。
【請求項11】
請求項9又は10において、
前記コンテンツ特定部は、
前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記複数の角度範囲のうち、少なくとも一つの角度範囲をナビゲーション範囲に設定し、前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、前記差分角度情報により表される差分角度が前記ナビゲーション範囲に属すると判断する場合には、ナビゲーション情報を、提示するコンテンツとして特定することを特徴とする画像生成システム。
【請求項12】
請求項1乃至11のいずれかにおいて、
前記ユーザを目的地点に誘導するナビゲーション用のキャラクタを制御するキャラクタ制御部を含むことを特徴とする画像生成システム。
【請求項13】
請求項12において、
仮想カメラの視点位置及び視線方向を制御する仮想カメラ制御部を含み、
前記仮想カメラ制御部は、
前記ユーザ方向情報に基づいて、前記仮想カメラの前記視線方向を前記ナビゲーション用キャラクタに向けた状態で、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行うことを特徴とする画像生成システム。
【請求項14】
請求項13において、
前記画像生成部は、
前記仮想カメラ制御部が、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行う際に、前記道路進行方向を示す方向指示オブジェクトの画像を生成することを特徴とする画像生成システム。
【請求項15】
請求項14において、
前記画像生成部は、
前記方向指示オブジェクトの画像として、矢印画像を生成することを特徴とする画像生成システム。
【請求項16】
請求項1乃至15のいずれかにおいて、
前記コンテンツ特定部は、
複数のコンテンツ選択モードの中から、前記ユーザの前記位置情報に応じたコンテンツ選択モードを選択し、選択されたコンテンツ選択モードに基づいてコンテンツを特定することを特徴とする画像生成システム。
【請求項17】
請求項1乃至16のいずれかにおいて、
前記コンテンツ特定部は、
前記ユーザが交差点に位置すると判断された場合において、交差点に交差する複数の道路のうち、前記ユーザの頭部方向又は視線方向に対応する道路を特定し、特定された道路に関連付けられた複数のコンテンツの中から提示するコンテンツを特定することを特徴とする画像生成システム。
【請求項18】
請求項17において、
前記コンテンツ特定部は、
前記マップ情報から得られる交差点の位置情報と、前記ユーザの位置情報とに基づいて、前記交差点と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、前記交差点に対応して設定される交差点エリアと前記ユーザとの位置関係を特定し、前記交差点エリア内に前記ユーザが位置していると判断する場合には、交差点に前記ユーザが位置していると判断することを特徴とする画像生成システム。
【請求項19】
請求項1乃至18のいずれかにおいて、
前記画像生成部は、
前記表示画像として、ウエアラブルディスプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成することを特徴とする画像生成システム。
【請求項20】
請求項19において、
前記ウエアラブルディスプレイは、
外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、
前記画像生成部は、
前記表示画像として、前記ヘッドマウントディプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成することを特徴とする画像生成システム。
【請求項21】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、前記ユーザの位置情報と、前記ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部と、
マップ情報と、前記マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部と、
前記ユーザの前記位置情報及び前記マップ情報に基づいて、前記ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部と、
前記ユーザの前記ユーザ方向情報と前記道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部と、
特定されたコンテンツを生成する画像生成部として、
コンピュータを機能させるプログラム。
【請求項22】
コンピュータ読み取り可能な情報記憶媒体であって、請求項21に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項1】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、前記ユーザの位置情報と、前記ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部と、
マップ情報と、前記マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部と、
前記ユーザの前記位置情報及び前記マップ情報に基づいて、前記ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部と、
前記ユーザの前記ユーザ方向情報と前記道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部と、
特定されたコンテンツを生成する画像生成部と、
を含む画像生成システム。
【請求項2】
請求項1において、
前記コンテンツ特定部は、
前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、提示するコンテンツを前記差分角度情報に応じて特定することを特徴とする画像生成システム。
【請求項3】
請求項2において、
前記コンテンツ特定部は、
前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記差分角度情報により表される差分角度が前記複数の角度範囲のいずれに属するかを特定し、特定された角度範囲に対応するコンテンツを選択することを特徴とする画像生成システム。
【請求項4】
請求項3において、
前記コンテンツ特定部は、
コンテンツに表される情報の詳細さを示す指標である詳細度を、前記差分角度が属する前記角度範囲に応じて決定し、
前記画像生成部は、
決定された前記詳細度に応じたコンテンツを生成することを特徴とする画像生成システム。
【請求項5】
請求項4において、
前記画像生成部は、
第2の詳細度が割り当てられたコンテンツの提示地点に、前記ユーザが位置しているが、前記第2の詳細度よりも低い詳細度である第1の詳細度に対応する角度範囲に前記差分角度が属している場合に、前記第2の詳細度に対応する角度範囲の方向を示す方向指示オブジェクトの画像を生成することを特徴とする画像生成システム。
【請求項6】
請求項2乃至5のいずれかにおいて、
前記コンテンツ特定部は、
前記ユーザが位置する道路上の一つ又は複数の地点において、前記差分角度情報を算出し、前記差分角度情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択することを特徴とする画像生成システム。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記コンテンツ特定部は、
前記コンテンツの情報に含まれる前記コンテンツの提示対象の位置情報と、前記ユーザの位置情報とに基づいて、前記コンテンツの提示対象と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、提示するコンテンツの候補を特定し、前記候補の中から提示するコンテンツを選択することを特徴とする画像生成システム。
【請求項8】
請求項7において、
前記コンテンツ特定部は、
コンテンツに表される情報の詳細さを示す指標である詳細度を、前記距離情報に応じて決定し、
前記画像生成部は、
決定された前記詳細度に応じたコンテンツを生成することを特徴とする画像生成システム。
【請求項9】
請求項1乃至8のいずれかにおいて、
出発地点から目的地点までの経路をナビゲーション経路として設定する経路設定部を含み、
前記道路進行方向特定部は、
複数の経路のうち、前記ナビゲーション経路の進行方向を、前記道路進行方向情報として特定することを特徴とする画像生成システム。
【請求項10】
請求項9において、
前記経路設定部は、
表示部に表示されたコンテンツの中から前記ユーザが特定したコンテンツに基づいて、前記ナビゲーション経路を設定することを特徴とする画像生成システム。
【請求項11】
請求項9又は10において、
前記コンテンツ特定部は、
前記道路進行方向を基準として複数の角度範囲が設定されている場合に、前記複数の角度範囲のうち、少なくとも一つの角度範囲をナビゲーション範囲に設定し、前記ユーザ方向情報と前記道路進行方向情報より、前記ユーザの頭部方向又は視線方向と、前記道路進行方向との差分角度情報を算出し、前記差分角度情報により表される差分角度が前記ナビゲーション範囲に属すると判断する場合には、ナビゲーション情報を、提示するコンテンツとして特定することを特徴とする画像生成システム。
【請求項12】
請求項1乃至11のいずれかにおいて、
前記ユーザを目的地点に誘導するナビゲーション用のキャラクタを制御するキャラクタ制御部を含むことを特徴とする画像生成システム。
【請求項13】
請求項12において、
仮想カメラの視点位置及び視線方向を制御する仮想カメラ制御部を含み、
前記仮想カメラ制御部は、
前記ユーザ方向情報に基づいて、前記仮想カメラの前記視線方向を前記ナビゲーション用キャラクタに向けた状態で、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行うことを特徴とする画像生成システム。
【請求項14】
請求項13において、
前記画像生成部は、
前記仮想カメラ制御部が、前記ナビゲーション用キャラクタを中心に前記仮想カメラを回転させる制御を行う際に、前記道路進行方向を示す方向指示オブジェクトの画像を生成することを特徴とする画像生成システム。
【請求項15】
請求項14において、
前記画像生成部は、
前記方向指示オブジェクトの画像として、矢印画像を生成することを特徴とする画像生成システム。
【請求項16】
請求項1乃至15のいずれかにおいて、
前記コンテンツ特定部は、
複数のコンテンツ選択モードの中から、前記ユーザの前記位置情報に応じたコンテンツ選択モードを選択し、選択されたコンテンツ選択モードに基づいてコンテンツを特定することを特徴とする画像生成システム。
【請求項17】
請求項1乃至16のいずれかにおいて、
前記コンテンツ特定部は、
前記ユーザが交差点に位置すると判断された場合において、交差点に交差する複数の道路のうち、前記ユーザの頭部方向又は視線方向に対応する道路を特定し、特定された道路に関連付けられた複数のコンテンツの中から提示するコンテンツを特定することを特徴とする画像生成システム。
【請求項18】
請求項17において、
前記コンテンツ特定部は、
前記マップ情報から得られる交差点の位置情報と、前記ユーザの位置情報とに基づいて、前記交差点と前記ユーザとの距離情報を算出し、前記距離情報に基づいて、前記交差点に対応して設定される交差点エリアと前記ユーザとの位置関係を特定し、前記交差点エリア内に前記ユーザが位置していると判断する場合には、交差点に前記ユーザが位置していると判断することを特徴とする画像生成システム。
【請求項19】
請求項1乃至18のいずれかにおいて、
前記画像生成部は、
前記表示画像として、ウエアラブルディスプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成することを特徴とする画像生成システム。
【請求項20】
請求項19において、
前記ウエアラブルディスプレイは、
外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、
前記画像生成部は、
前記表示画像として、前記ヘッドマウントディプレイに表示される画像であって、外界視界の上に、前記ユーザの視点に対応した画像を生成することを特徴とする画像生成システム。
【請求項21】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、前記ユーザの位置情報と、前記ユーザの頭部方向情報又は視線方向情報であるユーザ方向情報とを、ユーザ情報として特定するユーザ情報特定部と、
マップ情報と、前記マップ情報に関連付けられたコンテンツの情報とを記憶する記憶部と、
前記ユーザの前記位置情報及び前記マップ情報に基づいて、前記ユーザが位置する道路の道路進行方向を道路進行方向情報として特定する道路進行方向特定部と、
前記ユーザの前記ユーザ方向情報と前記道路進行方向情報に基づいて、提示するコンテンツを特定するコンテンツ特定部と、
特定されたコンテンツを生成する画像生成部として、
コンピュータを機能させるプログラム。
【請求項22】
コンピュータ読み取り可能な情報記憶媒体であって、請求項21に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【図1】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図2】
【図9】
【図10】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図2】
【図9】
【図10】
【公開番号】特開2012−216135(P2012−216135A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−82024(P2011−82024)
【出願日】平成23年4月1日(2011.4.1)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成23年4月1日(2011.4.1)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]