説明

画像生成システム、プログラム及び情報記憶媒体

【課題】ユーザとコンテンツ提示地点との位置関係情報に基づいて、直感的な手法でコンテンツを提示することができる画像生成システム、プログラム及び情報記憶媒体等の提供。
【解決手段】画像生成システムは、ウェアラブルセンサのセンサ情報を取得するセンサ情報取得部110と、センサ情報に基づいてユーザの位置情報と方向情報を特定するユーザ情報特定部120と、位置情報と方向情報に基づいてコンテンツ提示地点とユーザの位置関係情報を特定する位置関係情報特定部160と、画像生成部180を含み、位置関係情報特定部160はユーザの進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定し、第1の判定エリア内にコンテンツ提示地点が位置するか判断し、画像生成部180は第1の判定エリア内にコンテンツ提示地点が位置する場合に情報画像が表示される表示画像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成システム、プログラム及び情報記憶媒体等に関係する。
【背景技術】
【0002】
近年、携帯電話やPDA等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には例えば、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば店舗情報提供サービスにおいては、ユーザの現在位置をGPS等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、地図上にレストラン等の施設の位置を表示する。
【0003】
しかし、このようなシステムを移動中に利用しようとした場合には(例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合)、ユーザの視点(視線方向)が頻繁に上下してしまうという問題がある。つまり、ユーザの利便性を考えると、歩行中(ここでは歩行者向けサービスを想定している)は進行方向に視線を向けていることが好ましい。それに対して、情報提供サービスの画面を参照するためには、例えば手で把持している携帯電子機器に目を落とす必要がある。よって、情報提供サービスを利用しつつ歩行をすることは、ユーザも煩わしさを感じてしまう。さらに、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは場合によってはわかりにくいという問題があった。
【0004】
また、ユーザの視点を変えずに情報を提供する手法として、HMD(ヘッドマウントディスプレイ・ユーザの頭部に装着して用いる画像表示装置)を用いてユーザの視界内に表示画面を重畳する手法がある。特許文献1では、ユーザの頭部の動きに応じて、HMDにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平10−341387号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
携帯電子機器を用いた情報提供サービスでは、視点を頻繁に変更する必要がある上、地図上にコンテンツ(例えば施設の位置)を表示する情報提供サービスは直感的でなく、場合によってはわかりにくいという問題がある。また、特許文献1の手法のようにHMDを用いることで、視点が頻繁に変更されるという問題は解決されうるが、特許文献1ではナビゲーションサービス、情報提供サービスに関する技術は記載されていない。
【0007】
本発明の幾つかの態様によれば、ユーザとコンテンツ提示地点との位置関係情報に基づいて、直感的な手法でコンテンツを提示することができる画像生成システム、プログラム及び情報記憶媒体等を提供できる。
【課題を解決するための手段】
【0008】
本発明の一態様は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、を含み、前記位置関係情報特定部は、前記方向情報により前記ユーザの進行方向が特定される場合に、前記進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0009】
本発明の一態様では、センサ情報からユーザの位置情報を特定し、仮想マップ上でのユーザとコンテンツ提示地点の位置関係情報を特定する。そして、第1の判定エリアを設定し、第1の判定エリア内にコンテンツ提示地点が位置する場合には情報画像を表示する表示画像を生成する。よって、ユーザに対して所定のエリア内に位置するコンテンツ提示地点の情報画像をユーザに対して提示できるため、直感的な情報提供サービスを実現すること等が可能になる。
【0010】
また、本発明の一態様では、前記位置関係情報特定部は、前記進行方向の前記直交方向を含む所与の角度範囲の第2の判定エリアを設定し、設定された前記第2の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第2の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成してもよい。
【0011】
これにより、直交方向を含む第2の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザが第2の判定エリアの方を向いている場合には、詳細情報画像をユーザに提示すること等が可能になる。
【0012】
また、本発明の一態様では、前記画像生成部は、前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記ユーザの前記頭部方向又は前記視線方向が前記第1の判定エリアの方に向いていると判断された場合には、前記コンテンツ提示地点の存在方向を示す存在方向情報が表示される前記表示画像を生成してもよい。
【0013】
これにより、第2の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザが該コンテンツ提示地点の方向を見ていない場合には、コンテンツ提示地点の存在方向情報を表示し、ユーザに知らせること等が可能になる。
【0014】
また、本発明の一態様では、前記画像生成部は、前記コンテンツ提示地点の存在方向を示す矢印画像が前記存在方向情報として表示される前記表示画像を生成してもよい。
【0015】
これにより、矢印画像を存在方向情報として用いることが可能になる。
【0016】
また、本発明の一態様では、前記位置関係情報特定部は、前記第2の判定エリアを規定する前記ユーザの位置からの所与の距離を、前記第1の判定エリアを規定する前記ユーザの位置からの所与の距離よりも短く設定してもよい。
【0017】
これにより、第1の判定エリアに比べて第2の判定エリアを小さく設定することが可能になり、自然な態様で情報画像や詳細情報画像をユーザに提示すること等が可能になる。
【0018】
また、本発明の一態様では、前記ユーザが移動していると判断された場合に、前記第1の判定エリア、前記第2の判定エリアを設定し、前記ユーザが移動を停止していると判断された場合には、前記進行方向及び前記直交方向を含む第3の判定エリアを設定し、設定された前記第3の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第3の判定エリア内に前記コンテンツ提示地点が位置していると判断され、かつ、前記ユーザの頭部方向又は視線方向が前記コンテンツ提示地点の方に向いていると判断された場合には、前記コンテンツ提示地点の前記詳細情報画像が表示される前記表示画像を生成してもよい。
【0019】
これにより、移動時と停止時とで判定エリアの設定手法を異ならせることが可能になるとともに、停止時には第3の判定エリアを設定し、詳細情報画像を表示すること等が可能になる。
【0020】
また、本発明の一態様では、前記位置関係情報特定部は、前記ユーザの前記進行方向を含む所与の角度範囲のナビゲーションエリアを設定するとともに、前記ナビゲーションエリアと前記第2の判定エリアの間の所与の角度範囲を前記第1の判定エリアとして設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断してもよい。
【0021】
これにより、ナビゲーションエリアを設定することが可能になるとともに、ナビゲーションエリアと第2の判定エリアの間の角度範囲を第1の判定エリアとして設定することが可能になる。
【0022】
また、本発明の一態様では、前記画像生成部は、前記ユーザの頭部方向又は視線方向が前記ナビゲーションエリアの方向を向いていると判断された場合には、前記ユーザを目的地に誘導するためのナビゲーション画像が表示される前記表示画像を生成してもよい。
【0023】
これにより、ユーザの頭部方向又は視線方向がナビゲーションエリアの方向を向いている場合には、ナビゲーション画像を表示することが可能になる。
【0024】
また、本発明の一態様では、前記位置関係情報特定部は、前記ユーザの前記進行方向を含み、前記進行方向の直交方向を含まない所与の角度範囲を、前記第1の判定エリアとして設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断してもよい。
【0025】
これにより、第1の判定エリアとして、進行方向を含み、直交方向を含まない角度範囲を設定することが可能になる。
【0026】
また、本発明の一態様では、前記画像生成部は、前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点と前記ユーザの前記位置関係情報に基づいて、前記情報画像のサイズ及び前記情報画像の表示位置の少なくも一方が変化する前記表示画像を生成してもよい。
【0027】
これにより、位置関係情報に基づいて情報画像のサイズや表示位置を変更することができるため、コンテンツ提示地点との位置関係を直感的な形でユーザに知らせること等が可能になる。
【0028】
また、本発明の一態様では、前記画像生成部は、前記コンテンツ提示地点を表象するアイコン画像が前記情報画像として表示された前記表示画像を生成してもよい。
【0029】
これにより、アイコンを情報画像として用いることが可能になる。
【0030】
また、本発明の一態様では、前記画像生成部は、前記仮想マップ上での前記ユーザの視野範囲をθ2とした場合に、前記仮想マップ上でθ2に対応する視野範囲を、θ2>θ1を満たすθ1の画角で外界視界に重畳される画像を生成することを特徴とする画像生成システム。
【0031】
これにより、表示画像の画角に比べて、仮想マップ上での視野範囲を広く設定できるため、ユーザの頭部方向が変化した場合にも、表示画像上にコンテンツ提示地点の情報画像を表示すること等が可能になる。
【0032】
また、本発明の一態様では、前記画像生成部は、前記頭部方向又は前記視線方向の右側領域に前記コンテンツ提示地点が位置すると判断された場合には、右側画像領域の画像上位置に情報画像が表示された前記表示画像を生成するとともに、前記頭部方向又は前記視線方向の左側領域に前記コンテンツ提示地点が位置すると判断された場合には、左側画像領域の画像上位置に前記情報画像が表示された前記表示画像を生成してもよい。
【0033】
これにより、仮想マップ上でのユーザの頭部方向又は視線方向に対してコンテンツ提示地点が右方向に位置する場合には右側画像領域に情報画像を表示し、頭部方向又は視線方向に対して左方向に位置する場合には左側画像領域に情報画像を表示することが可能になり、ユーザにとってわかりやすい表示画像を生成すること等が可能になる。
【0034】
また、本発明の一態様では、前記画像生成部は、前記表示画像として、ヘッドマウントディスプレイに表示される画像を生成してもよい。
【0035】
これにより、ヘッドマウントディスプレイを表示装置として用いることが可能になる。
【0036】
また、本発明の一態様では、前記ヘッドマウントディスプレイは、外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、前記画像生成部は、前記表示画像として、前記ヘッドマウントディスプレイに表示される画像を生成してもよい。
【0037】
これにより、シースルー型のヘッドマウントディスプレイを表示装置として用いることが可能になる。
【0038】
本発明の他の態様は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、を含み、前記位置情報により前記ユーザの位置が特定され、前記方向情報により前記ユーザの進行方向が特定される場合に、前記位置関係情報特定部は、前記ユーザの位置からの所与の距離範囲、及び、前記ユーザの前記進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方の第1の判定エリアを設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断するとともに、前記進行方向の前記直交方向を含む所与の角度範囲の第2の判定エリアを設定し、設定された前記第2の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成し、前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第2の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成する画像生成システムに関係する。
【0039】
本発明の他の態様では、ユーザの位置からの所与の距離範囲の第1の判定エリアを設定するとともに、進行方向の直交方向を含む所与の角度範囲の第2の判定エリアを設定することが可能になる。よって、ユーザからの距離範囲に応じて情報画像を表示することができるとともに、詳細情報画像の表示も可能となる。
【図面の簡単な説明】
【0040】
【図1】従来の情報提供サービスの表示画像の例。
【図2】外界視界に本実施形態の手法を用いた表示画像を重畳した例。
【図3】本実施形態の表示画像の例。
【図4】図4(A)〜図4(C)は本実施形態の表示画像の変化を説明する図。
【図5】図5(A)、図5(B)は本実施形態のシステム構成例。
【図6】進行方向を推定する手法を説明する図。
【図7】図7(A)、図7(B)は判定エリアの設定例。
【図8】判定エリアの他の設定例。
【図9】図9(A)〜図9(D)はユーザとコンテンツ提示地点との位置関係情報に基づいた表示画像の変化を説明する図。
【図10】図10(A)、図10(B)はユーザの頭部方向に対するコンテンツ提示地点の左右の位置に基づいた表示画像の変化を説明する図。
【図11】ユーザから見た外界視界の視野範囲と、表示画像の画角を説明する図。
【図12】キャラクタが目的地に向かって移動する様子を説明する図。
【図13】図13(A)〜図13(D)はマップ上でのユーザの視野範囲内にキャラクタが位置しない場合の表示画像の例。
【図14】ユーザに対して設定される距離エリアの例。
【図15】キャラクタを用いたナビゲーションサービスと情報提供サービスを同時に用いる際の表示画像の例。
【図16】本実施形態の処理を説明するフローチャート。
【図17】マップ上でのユーザの視野範囲と、右側領域・左側領域を説明する図。
【図18】表示画像における右側画像領域・左側画像領域を説明する図。
【図19】ユーザから見た表示画像の画角と、右側画像領域・左側画像領域を説明する図。
【発明を実施するための形態】
【0041】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0042】
1.本実施形態の手法
【0043】
まず、本実施形態の手法について説明する。近年の携帯電子機器(例えば携帯電話等)では、多くのナビゲーションサービス(ここでは歩行者用ナビゲーションを想定しているが、カーナビゲーションシステムであってもよい)や情報提供サービスが提供されている。例えば、検索対象地点を入力することで、入力地点の周辺にある施設等に関連するコンテンツを表示するサービス等である。
【0044】
しかし、このようなシステムを利用して対象施設に移動することを想定した場合、ユーザの進行方向と案内画面の表示される方向(携帯電子機器の表示部がある方向)が異なる点が問題となる。つまり、ユーザは進行方向をみて、安全を確認したり、視界内にある建物等を確認したりしつつ、携帯電子機器に視線を向けてサービスアプリケーション画面を参照する必要がある。これはユーザにとって非常に煩わしく負担になる。
【0045】
また、現在の情報提供サービスは、例えば図1に示すように、地図を用いて情報提供を行うことがほとんどである。図1のA1のように検索対象地点(これはGPS等からユーザの現在位置を取得してもよいし、ユーザが入力してもよい)が設定されたときに、検索対象地点を中心とした地域に存在する施設等の情報を地図上に表示する。しかし、地図を読むことが苦手なユーザも多く、対象となる施設等への移動経路がわかりにくいケースもある。また、検索対象地点までの直線距離が近いコンテンツが表示されるため、現在歩いている道路にはない施設(つまり、道のり距離は遠い施設)等も表示されてしまうことになり、表示されるコンテンツがユーザに対して直近にあるものではない可能性があるという問題も存在する。
【0046】
そこで本出願人は以下のような手法を提案する。ユーザの視点変更の頻度を抑えるために、図2に示すような、外界視界の上に表示画面(情報提供画面)を重畳するような表示装置を採用する。これは例えばHMD等を用いることで実現できる。また、通常の地図(上空から見た図)を用いた情報提供ではなく、図3に示すようなユーザの視点に対応する画面を表示する。そして、ユーザとコンテンツ提示地点との位置関係情報に基づいて、コンテンツの表示形態を変更する。具体的には例えば、図4(A)、図4(B)に示すように、ユーザの移動にあわせて、施設等の存在を表すアイコンの大きさや位置を変更する。さらに、ユーザの頭部方向(視線方向)等の条件に応じて、図4(C)のように施設等の詳細な情報をコンテンツとして表示する。
【0047】
このようにすることで、ユーザは街を歩いているだけで、道のり距離が近い(例えば、現在歩いている道路上にあり、かつ、直線距離が近い)施設の情報を取得することができる。その際、図1に示すような一般的な地図を用いた表示ではなく、図3に示すような、ユーザの視点に対応した表示を行うことができる。よって、頻繁な視線変更を行う必要なく、直感的な手法で情報提供を行うことができるため、ユーザに負担を与えることなく、コンテンツを提示することが可能になる。
【0048】
以下、システム構成例を説明し、その後、本実施形態の情報提供システムの詳細について説明する。そして、フローチャートを用いて本実施形態の処理の詳細について説明する。
【0049】
2.システム構成例
【0050】
図5(A)においてユーザ10は携帯電子機器20を所持している。また、HMD(Head Mounted Display)11を頭部の一方の目の近傍に装着している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、屋内外センサ510や、周辺温度センサ511、腕装着型の脈拍(心拍数)センサ521、携帯電子機器20に設けられるGPS(Global Position System)センサ550や加速度センサ551、HMD11に設けられる方位センサ560等を装着している。
【0051】
携帯電子機器20(モバイルコンピュータ)は、PDA(Personal Digital Assistant)、ノート型PCなどの携帯情報端末であり、例えばプロセッサ(CPU)、メモリ、操作パネル、通信装置、或いはディスプレイ(サブディスプレイ)などを備える。この携帯電子機器20は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器(HMD等)の制御(表示制御等)を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯電子機器20は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【0052】
HMD11(広義には情報提示部)は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。
【0053】
屋内外センサ510は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ510は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【0054】
周辺温度センサ511は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。脈拍(心拍数)センサ521は、手首又は指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。GPSセンサ550はユーザの位置(場所)を検知するセンサである。なおGPSセンサ550の代わりに携帯電話の位置情報サービスや周辺にある無線LANの位置情報を利用してもよい。加速度センサ551は、例えば3軸の加速度情報を検知する。方位センサ560は、例えば地磁気センサ等であり、センサの向いている方位を角度(0°〜360°)で計測する。
【0055】
次に、図5(B)に本実施形態の画像生成システムの構成例を示す。画像生成システム100は、センサ情報取得部110と、ユーザ情報特定部120と、記憶部130と、I/F部140と、位置関係情報特定部160と、画像生成部180と、情報記憶媒体190と、を含む。画像生成システム100は、図5(B)の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお本実施形態の画像生成システム100の一部又は全部の機能は、例えば携帯電子機器20により実現される。但し、画像生成システム100の一部又は全部の機能を、HMD11により実現したり、携帯電子機器20とは異なる電子機器により実現してもよい。
【0056】
ここで、ウェアラブルセンサ13は図5(A)を用いて上述したGPSセンサや加速度センサ等のユーザが装着しているセンサである。操作部15は、例えばユーザが所持する携帯電子機器20に設けられるボタン等である。なお、操作部15はHMD11に設けられてもよい。表示部17はHMD11に設けられる。
【0057】
次に各部の接続について説明する。センサ情報取得部110は、ユーザのウェアラブルセンサ13からのセンサ情報を取得するとともに、ユーザ情報特定部120に接続されている。ユーザ情報特定部120は、位置関係情報特定部160に接続されている。記憶部130は、位置関係情報特定部160に接続されている。I/F部140は、操作部15からの操作情報等を受け取るとともに、位置関係情報特定部160の判定エリア設定部162(後述)に接続されている。位置関係情報特定部160は、画像生成部180に接続されている。画像生成部180は、生成した画像を表示部17に表示する。
【0058】
次に各部で行われる処理について説明する。センサ情報取得部110は、ウェアラブルセンサ13からの種々のセンサ情報を受信する。
【0059】
ユーザ情報特定部120は、センサ情報取得部110で取得したセンサ情報に基づいて、ユーザ情報を特定する。ここでユーザ情報とは、ユーザの位置情報や、ユーザの方向を表す方向情報や、ユーザの識別情報等である。ここで、ユーザの位置情報は、例えばマップ上(仮想マップ上)での現在位置の情報などである。方向情報は、例えばユーザの頭部方向情報や、進行方向情報、視線方向情報などである。具体的には例えば、GPSセンサ550や加速度センサ551等からユーザの位置情報を取得し、方位センサ560等から方向情報を取得する。また、識別情報は脈拍(心拍数)センサ521等から取得する。
【0060】
ここで、方向情報の取得手法について説明する。上述したように方向情報には頭部方向情報、視線方向情報、進行方向情報等がある。頭部方向とは、ユーザの頭部に装着された方位センサからユーザの頭部方向を判別することで求めることができる。視線方向とは、ユーザの視線の方向を表すものであり、例えば、黒目と白目での光の反射率の違い等を利用して、眼球部分の反射率を検出することで黒目部分の向いている方向を判別し、視線方向としてもよい。
【0061】
また、進行方向とは、ユーザが移動しているときの移動の方向、またはユーザが今後移動すると予測される移動方向であり、例えば、GPSによるユーザ位置の履歴を参照し、ユーザの動きベクトル(例えば第kの時点での位置と第kの時点よりも後の第k+1の時点での位置の間のベクトル)から求めてもよい。ただし、進行方向の求め方はこれに限定されるものではない。例えば、上述した視線方向をそのまま進行方向として用いてもよい。或いは、後述するマップ記憶部132に記憶されているマップ情報と、GPSセンサ550や加速度センサ551等から取得されたユーザの位置情報から、ユーザが移動している道路を判別し、道路の方向を進行方向としてもよい。具体的には図6に示したように、ユーザの位置情報とマップ情報から、ユーザが移動している道路が図6のD1で示した道路であると判別する。その場合には、進行方向は道路の方向であるD2とすればよい。なお、道路の上り方向(例えばD2)と下り方向(例えばD3)のどちらを進行方向とするかの判断手法は任意である。例えば、D2とD3のうち、視線方向に近い方向のものを進行方向にしてもよい。
【0062】
記憶部130は、種々の情報を記憶するとともに、各部のワーク領域となるものであり、その機能はRAM等のメモリやHDD(ハードディスクドライブ)などにより実現できる。記憶部130のマップ記憶部132は、マップ情報及び施設等の位置情報を記憶する。例えば、本実施形態の画像生成システムが日本国内の情報提供サービスに用いられるとすれば、日本全国の情報提供に適した倍率のマップ情報及び施設等の位置情報を保持している。記憶部130はその他にも、施設等の詳細情報等をコンテンツとして記憶してもよい。
【0063】
I/F部140は、操作部15からの操作情報を受信する。ここで操作情報とは、後述する判定エリアを設定するための情報等が考えられる。
【0064】
位置関係情報特定部160は、マップ上におけるユーザとコンテンツ提示位置(施設等の位置情報等)との位置関係情報を特定する。具体的には、ユーザ情報特定部120からのユーザ情報により、マップ上におけるユーザの現在位置の情報と方向情報を取得する。また、マップ記憶部132からの情報に基づいて、マップ上での施設等の位置情報を取得する。これにより、マップ上でのユーザとコンテンツ提示位置の位置関係情報(距離及び、ユーザから見た施設のある方向等)を特定し、画像生成部180に送信する。
【0065】
また、位置関係情報特定部160は、判定エリア設定部162を含む。判定エリア設定部162は、ユーザの位置に対応した判定エリアを設定する。判定エリアはシステムにより自動的に設定されてもよいし、上述したようにI/F部140を介してユーザにより設定されてもよい。判定エリアの詳細については後述する。
【0066】
画像生成部180は、位置関係情報特定部160により特定されたユーザとコンテンツ提示位置の位置関係情報に基づいて、表示画像(情報提供画像)を生成する。具体的な表示画像の生成手法については後述する。
【0067】
情報記憶媒体190(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード(EEPROM、ROM等)、光ディスク(DVD、CD等)、或いはHDD(ハードディスクドライブ)などにより実現できる。画像生成システム100は、情報記憶媒体190に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体190には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0068】
3.本実施形態の情報提供システム
【0069】
次に、本実施形態の情報提供システムの詳細について図7(A)〜図15を用いて説明する。
【0070】
3.1 判定エリアの設定
【0071】
まず、生成される表示画像を決定するための判定エリアの設定手法について説明する。判定エリアの設定例を図7(A)、図7(B)に示す。
【0072】
図7(A)はユーザが移動しているときの判定エリアの例であり、図7(B)はユーザが静止しているときの判定エリアの例である。図7(A)に示したように、第1の判定エリア(図7(A)のエリア1)は、ユーザの進行方向を基準とした方向側、及び、その方向の反対側に設定される扇形のエリアである。また、第2の判定エリア(図7(A)のエリア2)は、ユーザの進行方向に直交する側に設定される扇形のエリアである。
【0073】
ここで、第1の判定エリアに比べて、第2の判定エリアは小さく設定されるものとする。これは例えば、適当な大きさの道路を歩いているケースを想定すると理解しやすい。上述したように、本実施形態では道のり距離が遠い施設(例えば、ユーザのいる道路と平行に走る一本隣の道路上の施設)の表示は優先度が高くない。よって、進行方向に直交する方向の判定エリアである第2の判定エリアは、道幅程度にとどめる(例えば10m程度)。それに対して、第1の判定エリアは、ユーザの進行方向に対応する方向に設定されるため、多少対象となる施設との距離があったとしても、ユーザが進行方向に移動することで、その距離は近くなることが想定される。よって、第1の判定エリアは第2の判定エリアに比べて、大きくしてもよい(例えば30m程度)。
【0074】
また、図7(B)に示したように、第3の判定エリア(エリア3)はユーザを中心とした円形のエリアであり、大きさは第2の判定エリアに対応した大きさである。ただし、判定エリアの設定手法はこれに限定されるものではない。例えば、図7(A)、図7(B)のように移動中と静止状態とで判定エリアを別に設けずに、第1、第2の判定エリアのみで処理を行ってもよい。また、判定エリアの形状は円形や扇形に限定されるものではなく、例えば四角形や三角形や星型、或いはそれらの混合型などでもよく、種々の変形例がある。
【0075】
また、ユーザの周り360°に対して、本実施形態の判定エリアを設定する必要もない。例えば、アプリケーションの例として、ユーザを目的地まで案内する道案内サービスと、上述してきた店舗情報等提供サービスとを同時に実行するアプリケーションを想定する。その場合、エリア設定としては図8のような手法が考えられる。なお、図8における差分角度とは、進行方向に対する頭部方向のズレを表す。
【0076】
図8に示したように、差分角度が−20°〜20°の場合には、道案内サービスの画面を表示する。これは、ユーザは周りにある施設等ではなく、進行方向を注視していると考えられるためである。そして、20°〜60°の範囲を第1の判定エリアとし、60°〜120°を第2の判定エリアとする。マイナスの場合も同様である。このようにすることで、道案内サービスと、店舗情報等提供サービスとを同時に実行するアプリケーションにおいても、ボタン等の操作により表示画面を切り替える必要なく、かつ、自然な形で適切な表示画面を生成することが可能になる。
【0077】
3.2 位置関係情報に基づく表示画像の生成
【0078】
次に、ユーザとコンテンツ提示地点との位置関係情報に基づいて、表示画像を生成する手法について説明する。ユーザとコンテンツ提示地点との位置関係情報と、生成される表示画像との対応を示したものが、図9(A)〜図9(D)である。図9(A)〜図9(D)からわかるように、ユーザとコンテンツ提示地点との距離情報及び、ユーザの方向情報(頭部方向、進行方向)に対するコンテンツ提示位置の存在する方向に応じて、表示形態が変化する。
【0079】
図9(A)、図9(B)に示したように、コンテンツ提示位置が第1の判定エリアに存在する場合には、画像生成部180は、対応する施設等の存在を表すアイコンを表示する。この際、表示するアイコンの大きさを、ユーザとコンテンツ提示地点との距離情報の大きさに応じて変更する。例えば、ユーザからコンテンツ提示地点までが遠い図9(A)の場合には、アイコンは小さく表示され、ユーザからコンテンツ提示地点までが近い図9(B)の場合には、アイコンは大きく表示される。このようにすることで、コンテンツ提示地点方向へのユーザの移動に対応させて、アイコンを徐々に大きくすることが可能になり、コンテンツ提示地点が近づいてきていることを直感的に知らせることができる。
【0080】
また、図9(C)に示したように、コンテンツ提示地点が第2の判定エリア又は第3の判定エリアに存在し、かつ、ユーザの頭部方向がコンテンツ提示地点の方向を向いていない場合には、図9(B)の場合と同等、もしくは、より大きいアイコンと同時に、対象となる施設の方向を表す矢印を表示する。この場合は、第2の判定エリアの設定上、真横に近い位置に対象となる施設が存在することが想定されるため、ユーザに対して矢印の方向に向くことを促すことで、対象となる施設の方向を向かせることができる。なお、ユーザに対して頭部方向の変更を促す表示は矢印に限定されるものではない。
【0081】
また、図9(D)に示したように、コンテンツ提示地点が第2の判定エリア又は第3の判定エリアに存在し、かつ、ユーザの頭部方向がコンテンツ提示地点の方向を向いている場合には、施設等の詳細情報を表示する。コンテンツ提示地点が第2の判定エリア又は第3の判定エリアに存在し、かつ、ユーザの頭部方向がコンテンツ提示地点の方向を向いているとは、施設等がユーザの真横に近い位置に存在し、ユーザが施設等の方向を向いている状況を想定している。つまり、ユーザの視界(上述した図2参照)としては、外界視界内にコンテンツ提示地点に対応する施設等が存在しており、かつ、その外界視界に当該施設等の詳細情報が表示されることになる。
【0082】
つまり、図9(A)、図9(B)のように、外界視界に対象となる施設等を捉えられない、もしくは、捉えられても外界視界全体に対して占める割合が小さい場合には、大まかな位置を表すアイコンのみを表示して、該施設等の存在を知らせるにとどめる。図9(C)のように、頭部方向が対象となる施設の方向を向いていない場合も同様である。そして、図9(D)のように、外界視界の中心近くに大きく、対象となる施設等を捉えた場合に、該施設等の詳細情報を提示する。このようにすることで、ユーザから遠いもしくはユーザが興味を示しているか不明な施設等に関しては、邪魔にならない程度のアイコン表示にとどめつつ、ユーザの直近にあり、かつ、ユーザが興味を示している施設等に関しては、詳細な情報を提示することができる。よって、対象となる施設等のユーザにとっての重要度に応じて、情報提示の粒度を変更できるため、ユーザに対して煩わしさ等を与えないような適切な情報提供が可能となる。
【0083】
なお、ユーザの頭部方向に対するコンテンツ提示地点の位置に応じても、表示形態を変更する。これは図9(A)〜図9(C)のようにアイコンを表示する場合に、ユーザの頭部方向に対して右側領域にコンテンツ提示地点がある場合には、表示画面の右側画像領域にアイコンを表示し、ユーザの頭部方向に対して左側領域にコンテンツ提示地点がある場合には、表示画面の左側画像領域にアイコンを表示するというものである。具体例を、図10(A)、図10(B)に示す。
【0084】
さらにここで、右側領域と右側画像領域、及び、左側領域と左側画像領域のマッピングについて検討する。本実施形態では、図11に示したように、外界視界に対して、表示画面が小さいケースを想定している。そのため、外界視界を見る際の画角(図11のB1、人間の視野角であり歩行時には約110°〜160°程度)に比べて、表示画像の画角(図11のB2)は非常に小さく、例えば表示画像の画角は約9°程度しかないこともある。このとき、表示画像の画角を厳密に適用するのであれば、仮想マップ上でも、ユーザの視界は9°程度に抑える必要がある。このようにすることで、図11の画面において、ユーザが顔を動かしたときに、外界視界で見えた物体と表示画像内の物体の動き(画面上での位置ずれ)が対応付けられることになり、実際の物理現象に沿った自然な画像となる。
【0085】
しかし、仮想マップ上で視界を小さく限定してしまうと、ほんの少し頭部方向を移動させただけで、すぐにアイコンが視界から外れてしまうことになる。それでは、アイコンによる情報提供サービスの提供は困難であり、好ましくない。そこで実際には、仮想マップ上での視界は180°に近い広さになっている。このようにすることで、アイコンが視界から外れる可能性が低くなり、情報提供に利用することが容易になる。なお、マップ上での視界を、表示画像の画角に比べて大きくすることにより、外界視界内の物体と、表示画像内の物体の動きが対応しなくなる(頭部方向を変化させたとき、外界視界内の物体は大きく動くのに対して、表示画像内の物体の動きは小さい)が、実用上不自然に感じることはない。
【0086】
以上の処理により、ユーザは対象となる施設等の左右の位置を大まかに知ることができる。上述したように、判定エリアが道路の道幅程度の大きさで設定されたとすれば、アイコンの左右の表示位置を位置関係情報に応じて変更させることで、対象となる施設が、現在歩いている道路の右側に存在するのか、左側に存在するのかが簡単にわかることになる。なお、図9(D)のケースでは、対象となる施設の方向に頭部方向を向けているため、施設の詳細情報は表示画面の中央に表示してかまわない。
【0087】
3.3 キャラクタを用いたナビゲーション
【0088】
次に、キャラクタを用いたナビゲーションサービス(ここでは目的地までユーザを誘導するサービス)について述べる。本実施形態の店舗情報等提供サービスは、上述したように、例えば現在ユーザの歩いている道路上の施設に関する情報の提供等に用いられることが想定されるため、図1に示したような地図を用いた従来のサービスに比べて、ユーザに近い範囲にある施設等の情報しか提供されない。よって、図1に示したような従来のサービスのように、ユーザが能動的に施設情報を検索するという用途ではなく、ユーザが何気なく街を歩いている(つまり、施設検索の意図は強くない)ときに、システムにより自動的に近くにある施設の情報が提示され、ユーザは受動的に情報を取得するという使われ方が想定される。なお、上述の用途は本実施形態の手法を用いたサービスの一例であり、当然従来のサービスのように、ユーザが能動的に施設情報を検索する用途で用いてもかまわない。
【0089】
その際、本実施形態の手法と親和性が高いサービスとしてナビゲーションサービスが考えられる。つまり、システムはユーザを、ユーザの現在位置から目的地まで誘導するナビゲーション画像を生成、表示するとともに、ユーザの移動経路上に存在する施設等の情報も提示することで、ナビゲーションサービスと情報提供サービスとを同時に提供することができる。
【0090】
さらに、本実施形態の情報提供サービスは、図2に示したように外界視界に表示画像を重畳するようなシステムであることを鑑みると、通常の地図を用いたナビゲーションではなく、直感的なナビゲーションを行うことで、よりユーザに負担をかけないサービスの提供が可能となる。
【0091】
具体的には例えば、図12に示すように、目的地に向かって移動していくキャラクタを追いかけるようなシステムが想定される。このようにすることで、ユーザは表示画面内にキャラクタをとらえ、キャラクタの動きに合わせて歩いていくだけで、目的地に到達することが可能になる。よって、頻繁な視線変更を行う必要なく、直感的な手法でナビゲーションを行うことができるため、ユーザの負担を軽減することが可能になる。以下、キャラクタを用いたナビゲーションシステムについて説明する。
【0092】
キャラクタを用いたナビゲーションシステムでは、仮想マップ上でのユーザとキャラクタとの位置関係情報に基づいて、表示画像(ナビゲーション画像)を生成する。基本的には図9(A)、図9(B)、図10(A)、図10(B)に示した、ユーザとコンテンツ提示地点との位置関係情報に基づく画像生成と同様に、ユーザとキャラクタとの距離情報及び、頭部方向(視線方向)に対する角度情報に基づいて、表示するキャラクタの大きさと位置を変更する。距離が遠いときはキャラクタを小さく表示し、近いときはキャラクタを大きく表示する。また、頭部方向の右側領域にキャラクタが存在するときは、表示画像の右側画像領域にキャラクタを表示し、頭部方向の左側領域にキャラクタが存在するときは、表示画像の左側画像領域にキャラクタを表示すればよい。
【0093】
また、図13(A)〜図13(D)に示したように、仮想マップ上におけるユーザの視界(ここでは180°弱であるものとする)から外れる位置にキャラクタがいる場合には、表示画面にはキャラクタは表示されず、キャラクタの存在方向を示す存在方向情報が表示されることになる。ここで、存在方向情報とは、図13(A)〜図13(D)に示すように矢印であってもよい。矢印は単純に左右を表す矢印であってもよいし、図13(A)〜図13(D)のようにより詳細な方向を表す矢印にしてもよい。
【0094】
キャラクタは、基本的には仮想マップ上を目的地に向かって移動する。しかし、ユーザがキャラクタを追尾しなかったり、キャラクタに近づきすぎたりした場合には挙動を変更する必要がある。このためのキャラクタ制御はユーザに対して距離エリアを設定することで行う。エリア分割の例を図14に示す。
【0095】
図14に示したように、例えばエリア1〜エリア4(広義には第1〜第Nの距離エリア)まで、マップ上でのユーザの位置を中心とした同心円状のエリアを設定する(ただし、エリア4はエリア3の外側の領域全てであり、厳密には同心円ではない)。エリアは、ユーザの位置からの距離に応じて設定されていれば良く、エリアの形状は円形以外にも例えば四角形や三角形や星型、或いはそれらの混合型などでも良く、種々の変形例がある。
【0096】
本実施形態においては、キャラクタを追いかけることで、ユーザを目的地に案内する。また、表示形態は前項に示したように、ユーザとキャラクタとの位置関係情報に基づいて決定される。そのため、キャラクタはユーザの少し前を目的地に向かって移動している状況が基本となる。
【0097】
よって、ユーザとの距離が適切であるエリア3(広義には第N−1の距離エリア)では、キャラクタは通常の速度(初期値を用いてもよいし、ユーザにより設定されてもよい)で目的地に向かって移動を続ける。また、エリア3よりもユーザに近いエリア2(広義には第N−2の距離エリア)では、ユーザとの距離が近いと判断し、距離を大きくするためにエリア3の場合よりも高速で目的地に向かって移動する。なお、エリア2及びエリア3にキャラクタがいる場合にも、キャラクタが目的地に到着した場合には移動を終了してユーザの到着を待つ。
【0098】
エリア2よりもユーザに近いエリア1(広義には第1の距離エリア)では、キャラクタが目的地に到着していない場合には、ユーザとの距離を大きくする必要があるため、高速で目的地に移動する。また、キャラクタが目的地に到着している場合には、ユーザが目的地(キャラクタの位置)に近づいて、結果としてキャラクタがエリア1の範囲に入ったことを持って、ユーザが目的地に到着したと判断する。
【0099】
エリア3よりも遠いエリア4(広義には第Nの距離エリア)にキャラクタがいる場合には、ナビゲーション中に何か問題が発生した(ユーザがキャラクタについてきていない等)と判断し、キャラクタをユーザの現在位置へ移動させる。この際には、問題の発生を想定しているため、移動速度を最高に設定する。
【0100】
以上の制御を行うことで、ユーザから見やすい距離を保った上で、ユーザがついてこない(または道を間違えた)等の問題にも対処可能な態様でキャラクタを制御することが可能になる。
【0101】
なお、ナビゲーションサービスと情報提供サービスとの切り替え手法は任意である。例えば、図8を用いて上述したように、進行方向と頭部方向との差分角度が−20°〜20°の範囲でナビゲーション情報を表示し、20°〜120°(マイナス側も同様)で施設等の情報を表示してもよい。もしくは、HMD11や携帯電子機器20に設けられるボタン等を操作することで切り替えてもよい。または、図15に示したように、キャラクタとアイコンとを同時に表示する形態でもよい。
【0102】
4.処理の詳細
【0103】
図16のフローチャートを用いて、本実施形態の処理の詳細について説明する。この処理が開始されると、まず、ユーザが歩行しているか否かの判定が行われる(S101)。ユーザが歩行していると判定された場合には、次に、ユーザが第1の判定エリアの方向を見ているか、つまり、ユーザの頭部方向が第1の判定エリアの方向であるかの判定を行う(S103)。ユーザが第1の判定エリアの方向を見ていると判定された場合には、ユーザが向いている第1の判定エリアの情報を検索して、画面に表示する(S105)。具体的には例えば、図9(A)、図9(B)を用いて上述したように、ユーザとコンテンツ提示地点との距離情報に応じた大きさで、位置関係情報に応じた位置にアイコンを表示する。
【0104】
また、S101でユーザが歩行していないと判定された場合には、ユーザが向いている第3の判定エリアの情報を検索して画面に表示する(S109)。具体的には例えば、図9(C)を用いて上述したように、アイコンと矢印を表示したり、図9(D)を用いて上述したように、詳細情報を表示する。S103でユーザが第1の判定エリアの方向を見ていないと判定された場合には、ユーザが向いているエリア2の情報を検索して画面に表示する(S107)。具体的には例えば、図9(D)を用いて上述したように、詳細情報を表示する。
【0105】
そして、S105、S107、S109の処理が終了したら、再びS101に戻り判定を行う。
【0106】
以上の本実施形態では、画像生成システム100は、図5(B)に示したように、ユーザが装着するウェアラブルセンサ13からのセンサ情報を取得するセンサ情報取得部110と、センサ情報に基づいて仮想マップ上でのユーザの位置情報と方向情報を特定するユーザ情報特定部120と、コンテンツ提示地点とユーザとの仮想マップ上での位置関係情報を特定する位置関係情報特定部160と、表示画像を生成する画像生成部180とを含む。そして、位置関係情報特定部160は、ユーザの進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定し、第1の判定エリア内にコンテンツ提示地点が位置するか判断を行う。画像生成部180は、第1の判定エリア内にコンテンツ提示地点が位置すると判断された場合に、コンテンツ提示地点の情報画像が表示される表示画像を生成する。
【0107】
ここで、ユーザの進行方向とは、ユーザの方向情報により特定される情報である。具体的には方向情報そのものであってもよいし、方向情報と等価な他の情報であってもよい。また、上述したように、方向情報に含まれる情報であってもよい。
【0108】
これにより、センサからのセンサ情報に基づいて仮想マップ上でのユーザの位置情報を特定するとともに、ユーザとコンテンツ提示地点との位置関係情報を特定することができる。そしてコンテンツ提示地点がユーザに対して設定された第1の判定エリア(例えば図7(A)のエリア1でもよいし、図8の20°〜60°、−60°〜−20°の範囲でもよい)に位置する場合に、情報画像を表示する。よって、例えば図2に示したように、ユーザの移動にあわせて、ユーザの移動経路上に存在する施設等の情報をユーザに提示する情報提供サービスを実現することが可能になる。これは具体的には、図9(A)、図9(B)のケースに相当する。
【0109】
また、位置関係情報特定部160は、ユーザの進行方向の直交方向を含む所与の角度範囲の第2の判定エリアを設定し、第2の判定エリア内にコンテンツ提示地点が位置するかを判断する。そして画像生成部180は、第2の判定エリア内にコンテンツ提示地点が位置し、かつ、ユーザの頭部方向(視線方向)が第2の判定エリアの方を向いていると判断された場合に、コンテンツ提示地点の詳細情報画像が表示される表示画像を生成する。
【0110】
ここで、詳細情報画像とは、上述した情報画像に比べて、提示する情報の詳細度が高い(より詳細な内容を含む)情報のことであり、例えば施設がレストランであったならば、外観画像、店名、メニュー、開店時間、レビュー等を含むような情報であってもよい。
【0111】
また、ユーザの頭部方向、視線方向とは、進行方向と同様にユーザの方向情報により特定される情報である。具体的には方向情報そのものであってもよいし、方向情報と等価な他の情報であってもよい。また、上述したように、方向情報に含まれる情報であってもよい。
【0112】
これにより、ユーザの進行方向の直交方向に第2の判定エリアを設定し(例えば図7(A)のエリア2)、第2の判定エリアにコンテンツ提示地点が位置する場合に、詳細情報画像を表示する。よって、図9(D)に示したように、対象となる施設がユーザの近くにあり、ユーザが該施設の方向を向いていると判断できる場合には、ユーザが該施設に注目していると判断し、詳細な情報を提示することが可能になる。
【0113】
また、画像生成部180は、第2の判定エリア内にコンテンツ提示地点が位置し、かつ、ユーザの頭部方向(視線方向)が第1の判定エリアの方に向いていると判断された場合には、コンテンツ提示地点の存在方向を示す存在方向情報が表示される表示画像を生成してもよい。また、存在方向情報は、存在方向を示す矢印画像であってもよい。
【0114】
これにより、例えば図9(C)のように対象となる施設の存在する方向を矢印等で示すことができ、ユーザに対して対象となる施設がすぐ近く(例えば真横に近い位置)に存在することを知らせることが可能になる。なお、存在方向情報を矢印としたがこれに限定されるものではなく、存在方向を示すことができる情報であれば矢印以外であってもよい。
【0115】
また、位置関係情報特定部160は、第2の判定エリアを規定するユーザの位置からの所与の距離を、第1の判定エリアを規定するユーザの位置からの所与の距離よりも短く設定する。
【0116】
これにより、例えば図7(A)に示したように第1の判定エリアと、第2の判定エリアとを設定することが可能となる。上述したように第2の判定エリアを道路の道幅程度の設定しておけば、ユーザの移動している道路上の情報のみ提示するようなサービスを実現できる。そして、ユーザの移動している道路上の施設等は、多少距離があっても、ユーザの移動に伴っていずれはユーザの近くに位置することになるため、第1の判定エリアは大きめの範囲を設定してもよいことになる。以上の理由等から、第1の判定エリアに比べて第2の判定エリアは近い距離範囲に設定される。
【0117】
また、位置関係情報特定部160は、ユーザが移動していると判断された場合には、第1、第2の判定エリアを設定し、ユーザが停止していると判断された場合には、第3の判定エリアを設定する。そして、各判定エリア内にコンテンツ提示地点が位置するかの判断を行う。画像生成部180は、第3の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザの頭部方向(視線方向)が該コンテンツ提示地点の方向を向いていると判断された場合に、詳細情報画像が表示される表示画像を生成する。
【0118】
ここで、第3の判定エリアとは、ユーザの進行方向、及び、進行方向の直交方向を含む角度範囲であり、例えば図7(B)のような範囲が考えられる。また、第3の判定エリアの大きさは第2の判定エリアと同等程度としてもよい。ただし、判定エリアの形状は円形に限定されるものではないし、大きさも第2の判定エリアと同等程度に限定されるものではない。
【0119】
これにより、ユーザが移動している場合と停止している場合とで、判定エリアの設定手法を変更することが可能になる。移動中は上述したように第1、第2の判定エリアを設定し、停止している場合には、第3の判定エリアを設定する。第3の判定エリアは第2の判定エリアに準ずるものと捉えることができ、コンテンツ提示地点が内部に位置し、かつ、その方向を向いている場合は詳細情報画像を表示する。そして、コンテンツ提示地点が内部に位置し、かつ、その方向を向いていない場合は存在方向情報を表示してもよい。
【0120】
ユーザが停止している場合には、ユーザの現在停止している地点の周辺に、ユーザにとって注目すべきものがあると推測される。そのため、第1の判定エリアのように大きな判定エリアを設定する必要はない。また、第2の判定エリアのように詳細情報画像を表示することが要求される。以上の理由から第3の判定エリアは上述のように設定されることが好ましいと言える。
【0121】
また、位置関係情報特定部160は、ユーザの進行方向を含む所与の角度範囲のナビゲーションエリアを設定する。そして、ナビゲーションエリアと第2の判定エリアの間に、所与の角度範囲の第1の判定エリアを設定してもよい。そして、ユーザの頭部方向(視線方向)がナビゲーションエリアの方を向いていると判断された場合には、ユーザを目的地に誘導するためのナビゲーション画像が表示される表示画像を生成してもよい。
【0122】
これにより、図8のようなエリア設定を行うことが可能になる。よって、例えば上述したように、ナビゲーションサービスと情報提供サービスの両方のサービスを1つの装置で、自然な切り替え手法を用いて提供すること等が可能になる。
【0123】
また、位置関係情報特定部160は、ユーザの進行方向を含み、進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定してもよい。
【0124】
これにより、図7(A)のエリア1のような第1の判定エリアを設定することが可能になる。この場合、簡単な形で第1の判定エリアを実現することができるため、処理を簡単化することが可能になる。
【0125】
また、画像生成部180は、第1の判定エリア内にコンテンツ提示地点が位置する場合には、ユーザとコンテンツ提示地点との位置関係情報に基づいて、情報画像のサイズ及び表示位置の少なくとも一方が変化する表示画像を生成してもよい。そして、表示画像とは、コンテンツ提示地点を表象するアイコン画像であってもよい。
【0126】
これにより、図9(A)、図9(B)のようにユーザとコンテンツ提示点との間の距離の大きさに基づいて、情報画像の大きさを変更することが可能になる。また、図10(A)、図10(B)のように、ユーザの頭部方向(視線方向)に対するコンテンツ提示地点の角度に基づいて、表示画像における情報画像の表示位置を変更することが可能になる。よって、ユーザに対してコンテンツ提示地点の位置する角度や距離等を直感的に提示することが可能になる。その際、情報画像としてアイコンを用いることで、簡単な画像を用いながら、存在するコンテンツ提示地点の種別等をユーザに知らせることができる。
【0127】
また、画像生成部180は、仮想マップ上でのユーザの視野範囲をθ2とした場合に、仮想マップ上でθ2に対応する視野範囲を、θ2>θ1を満たすθ1の画角で外界視界に重畳される画像を生成してもよい。
【0128】
これにより、図11に示したように、外界視界(人間の視野角、11のB1に相当)に比べて、表示画像の画角θ1(B2に相当)が小さくなるように設定された場合にも、マップ上での視野範囲はθ1よりも大きいθ2に設定することが可能になる。図2を用いて上述したように、本実施形態では例えば、シースルー型のHMD等を用いて、外界視界に外界視界よりも小さい表示画像を重畳するケースを想定している(ただし、これに限定されるものではない)。そのため、表示画像の画角は非常に小さくなってしまい、マップ上での視野範囲θ2をθ1と同等にしてしまうと、ユーザが視線方向をわずかに変化させただけでも表示画像から情報画像が外れやすくなってしまう。そこで、θ2をθ1よりも大きく設定することで、ユーザの視線方向が変化した場合にも、表示画像内に情報画像をとらえやすくすることが可能になる。
【0129】
ここで、仮想マップ上での視野範囲θ2は、ソフトウェア等の処理による設定に応じて任意の角度をとることができる。例えば、上述したように180°程度に設定されてもよいし、実世界における人間の視野範囲(図11における外界視界の画角B1)と同様に、110°〜160°程度に設定されてもよい。これ以外にも、例えば180°よりも大きい角度が設定されてもよいし、B1よりも小さい角度が設定されてもよい。
【0130】
また、画像生成部180は、視線方向の右側領域にコンテンツ提示地点が位置すると判断された場合には、右側画像領域の画像上位置に情報画像を表示した表示画像を生成してもよい。また、同様に、視線方向の左側領域にコンテンツ提示地点が位置すると判断された場合には、左側画像領域の画像上位置に情報画像を表示した表示画像を生成してもよい。
【0131】
ここで、右側領域とは、図17に示したように、仮想マップ上でのユーザの視野範囲を、ユーザの視線方向を通り地面(重力方向に垂直な面)に垂直な平面により分割した場合に、ユーザから見て視線方向より右側にある領域である。左側領域は、同様に視線方向より左側にある領域である。なお、図17においては平面的に描かれているが、右側領域及び左側領域は3次元の領域を前提とする。ただし2次元マップを用いる場合は平面であってもよい。
【0132】
また、右側画像領域とは、図18に示したように、表示画像を画像の縦軸に平行な直線で分割した際の、分割線より右側にある領域である。左側画像領域は、同様に分割線より左側にある領域である。
【0133】
これにより、図10(A)、図10(B)に示したように、仮想マップ上でのユーザの方向情報に対するコンテンツ提示地点の左右の位置(位置関係情報)に基づいて、表示画像における情報画像の表示位置を変更することが可能になる。なお、上述したようにθ2>θ1が成り立つような状況では、この処理は、図17における右側領域及び左側領域(視野範囲)に存在するキャラクタを、図19における右側画像領域(D1)及び左側画像領域(D2)にマッピングする処理に相当する。θ2は、例えば180°弱の大きさを持つのに対し、表示画像のユーザから見た画角(θ1、D3+D4)は例えば9°程度しかない。つまり、θ2の範囲のキャラクタをθ2より狭いθ1の範囲にマッピングする処理を行うことになる。具体的には、右側領域の右端にコンテンツ提示地点が位置する場合には、右側画像領域の右端に情報画像を表示するとともに、左側領域の左端にコンテンツ提示地点が位置する場合には、左側画像領域の左端に情報画像を表示する。そして、その間に位置する場合には、視野範囲における位置と、画像上位置とが一対一に対応するようなマッピングを行う。さらに具体的には、例えば位置関係が線形に対応するようなマッピングを行えばよい。
【0134】
また、画像生成部180は、表示画像として、ヘッドマウントディスプレイに表示される画像を生成してもよい。具体的には例えば、ヘッドマウントディスプレイは、外界視界にナビゲーション画像を重畳して表示するシースルー型のヘッドマウントディスプレイであってもよい。ただし、ヘッドマウントディスプレイはこれに限定されるものではなく、二眼式の外界視界を直接見ることができない構成(つまり、外界視界はカメラで撮影したものをユーザに提示するビデオシースルー型のヘッドマウントディスプレイ等)であってもよい。
【0135】
これにより、ヘッドマウントディスプレイを表示装置として用いることが可能になり、ユーザの視線方向を頻繁に変化させる必要がなくなる。これは、ヘッドマウントディスプレイは視線をあまり動かさずとも、外界視界と情報提供画像との両方を見ることが可能であることによる。例えば、携帯電子機器の画面にナビゲーション画像を表示するようなシステムでは、進行方向と携帯電子機器の画面とを交互に参照する必要があり、ユーザにとって安全でなく、かつ、煩わしいものであったが、そのような問題を解消することができる。
【0136】
また、本実施形態の手法は、センサ情報取得部110と、ユーザ情報特定部120と、位置関係情報特定部160と、画像生成部180とを含み、位置関係情報特定部160は、第1の判定エリア、第2の判定エリアを設定し、画像生成部180は、それぞれのエリアに対応した画像を生成する画像生成システムに関係する。
【0137】
ここで、第1の判定エリアは、ユーザの位置からの所与の距離範囲、及び、ユーザの進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方が設定され、第2の判定エリアは、進行方向の直交方向を含む所与の角度範囲が設定される。そして、コンテンツ提示地点が第1の判定エリアに位置すると判断された場合には、コンテンツ提示地点の情報画像が表示される表示画像が生成される。また、第2の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザの頭部方向又は視線方向が第2の判定エリアの方に向いていると判断された場合には、詳細情報画像が表示される表示画像が生成される。
【0138】
これにより、第1の判定エリアとして、図7(A)のエリア1として示したような形状のみならず、ユーザの位置からの距離範囲(例えばユーザを中心とした円形状等)を設定することが可能になる。
【0139】
また、本実施形態の手法は、センサ情報取得部110と、ユーザ情報特定部120と、位置関係情報特定部160と、画像生成部180として、コンピュータを機能させるプログラムに関係する。センサ情報取得部110は、ユーザのウェアラブルセンサからのセンサ情報を取得する。ユーザ情報特定部120は、センサ情報に基づいて、仮想マップ上でのユーザの位置情報を特定する。位置関係情報特定部160は、コンテンツ提示地点とユーザのマップ上での位置関係情報を特定する。画像生成部180は、表示画像を生成する。そして位置関係情報特定部160は、ユーザの進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定し、第1の判定エリア内にコンテンツ提示地点が位置するかを判断し、画像生成部180は、第1の判定エリア内にコンテンツ提示地点が位置すると判断された場合に、情報画像が表示される表示画像を生成する。
【0140】
また、位置関係情報特定部160は、ユーザの位置からの所与の距離範囲、及び、ユーザの進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方の第1の判定エリアを設定してもよい。
【0141】
これにより、画像生成システムにとどまらず、プログラムにも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【0142】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像生成システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0143】
13 ウェアラブルセンサ、15 操作部、17 表示部、20 携帯電子機器、
100 画像生成システム、110 センサ情報取得部、120 ユーザ情報特定部、
130 記憶部、132 マップ記憶部、140 I/F部、
160 位置関係情報特定部、162 判定エリア設定部、180 画像生成部、
190 情報記憶媒体、510 屋内外センサ、511 周辺温度センサ、
521 脈拍(心拍数)センサ、550 GPSセンサ、551 加速度センサ、
560 方位センサ

【特許請求の範囲】
【請求項1】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、
前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、
特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、
を含み、
前記位置関係情報特定部は、
前記方向情報により前記ユーザの進行方向が特定される場合に、前記進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
前記画像生成部は、
前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項2】
請求項1において、
前記位置関係情報特定部は、
前記進行方向の前記直交方向を含む所与の角度範囲の第2の判定エリアを設定し、設定された前記第2の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
前記画像生成部は、
前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第2の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項3】
請求項2において、
前記画像生成部は、
前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記ユーザの前記頭部方向又は前記視線方向が前記第1の判定エリアの方に向いていると判断された場合には、前記コンテンツ提示地点の存在方向を示す存在方向情報が表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項4】
請求項3において、
前記画像生成部は、
前記コンテンツ提示地点の存在方向を示す矢印画像が前記存在方向情報として表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項5】
請求項2乃至4のいずれかにおいて、
前記位置関係情報特定部は、
前記第2の判定エリアを規定する前記ユーザの位置からの所与の距離を、前記第1の判定エリアを規定する前記ユーザの位置からの所与の距離よりも短く設定することを特徴とする画像生成システム。
【請求項6】
請求項2乃至5のいずれかにおいて、
前記位置関係情報特定部は、
前記ユーザが移動していると判断された場合に、前記第1の判定エリア、前記第2の判定エリアを設定し、
前記ユーザが移動を停止していると判断された場合には、前記進行方向及び前記直交方向を含む第3の判定エリアを設定し、設定された前記第3の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
前記画像生成部は、
前記第3の判定エリア内に前記コンテンツ提示地点が位置していると判断され、かつ、前記ユーザの頭部方向又は視線方向が前記コンテンツ提示地点の方に向いていると判断された場合には、前記コンテンツ提示地点の前記詳細情報画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項7】
請求項2乃至6のいずれかにおいて、
前記位置関係情報特定部は、
前記ユーザの前記進行方向を含む所与の角度範囲のナビゲーションエリアを設定するとともに、前記ナビゲーションエリアと前記第2の判定エリアの間の所与の角度範囲を、前記第1の判定エリアとして設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断することを特徴とする画像生成システム。
【請求項8】
請求項7において、
前記画像生成部は、
前記ユーザの頭部方向又は視線方向が前記ナビゲーションエリアの方向を向いていると判断された場合には、前記ユーザを目的地に誘導するためのナビゲーション画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項9】
請求項1乃至6のいずれかにおいて、
前記位置関係情報特定部は、
前記ユーザの前記進行方向を含み、前記進行方向の直交方向を含まない所与の角度範囲を、前記第1の判定エリアとして設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断することを特徴とする画像生成システム。
【請求項10】
請求項1乃至9のいずれかにおいて、
前記画像生成部は、
前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点と前記ユーザの前記位置関係情報に基づいて、前記情報画像のサイズ及び前記情報画像の表示位置の少なくも一方が変化する前記表示画像を生成することを特徴とする画像生成システム。
【請求項11】
請求項1乃至10のいずれかにおいて、
前記画像生成部は、
前記コンテンツ提示地点を表象するアイコン画像が前記情報画像として表示された前記表示画像を生成することを特徴とする画像生成システム。
【請求項12】
請求項1乃至11のいずれかにおいて、
前記画像生成部は、
前記仮想マップ上での前記ユーザの視野範囲をθ2とした場合に、前記仮想マップ上においてθ2に対応する視野範囲が、θ2>θ1を満たすθ1の画角で外界視界に重畳される画像を生成することを特徴とする画像生成システム。
【請求項13】
請求項2乃至12のいずれかにおいて、
前記画像生成部は、
前記頭部方向又は前記視線方向の右側領域に前記コンテンツ提示地点が位置すると判断された場合には、右側画像領域の画像上位置に情報画像が表示された前記表示画像を生成するとともに、
前記頭部方向又は前記視線方向の左側領域に前記コンテンツ提示地点が位置すると判断された場合には、左側画像領域の画像上位置に前記情報画像が表示された前記表示画像を生成することを特徴とする画像生成システム。
【請求項14】
請求項1乃至13のいずれかにおいて、
前記画像生成部は、
前記表示画像として、ヘッドマウントディスプレイに表示される画像を生成することを特徴とする画像生成システム。
【請求項15】
請求項14において、
前記ヘッドマウントディスプレイは、
外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、
前記画像生成部は、
前記表示画像として、前記ヘッドマウントディスプレイに表示される画像を生成することを特徴とする画像生成システム。
【請求項16】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、
前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、
特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、
を含み、
前記位置情報により前記ユーザの位置が特定され、前記方向情報により前記ユーザの進行方向が特定される場合に、
前記位置関係情報特定部は、
前記ユーザの位置からの所与の距離範囲、及び、前記進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方の第1の判定エリアを設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断するとともに、
前記進行方向の前記直交方向を含む所与の角度範囲の第2の判定エリアを設定し、設定された前記第2の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
前記画像生成部は、
前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成し、
前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第2の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
【請求項17】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、
前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、
特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部として、
コンピュータを機能させ、
前記位置関係情報特定部は、
前記方向情報により前記ユーザの進行方向が特定される場合に、前記進行方向の直交方向を含まない所与の角度範囲の第1の判定エリアを設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
前記画像生成部は、
前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成することを特徴とするプログラム。
【請求項18】
ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、
前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、
特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部として、
コンピュータを機能させ、
前記位置情報によりユーザの位置が特定され、前記方向情報により前記進行方向が特定される場合に、
前記位置関係情報特定部は、
前記ユーザの位置からの所与の距離範囲、及び、前記進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方の第1の判定エリアを設定し、設定された前記第1の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断するとともに、
前記進行方向の前記直交方向を含む所与の角度範囲の第2の判定エリアを設定し、設定された前記第2の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
前記画像生成部は、
前記第1の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成し、
前記第2の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第2の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成することを特徴とするプログラム。
【請求項19】
コンピュータ読み取り可能な情報記憶媒体であって、請求項17又は18に記載のプログラムを記憶したことを特徴とする情報記憶媒体。

【図1】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図12】
image rotate

【図13】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−78224(P2012−78224A)
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願番号】特願2010−224145(P2010−224145)
【出願日】平成22年10月1日(2010.10.1)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】