説明

情報提供装置、情報提供方法、情報提供プログラム、および記録媒体

【課題】操作者が必要とする情報を安全かつ簡単に提供すること。
【解決手段】移動体が移動を開始した場合には、第1の取得部101および第2の取得部102によってそれぞれ該当する画像情報を取得し、取得された画像情報および地図情報を用いて、当該地図情報の中から移動体の周囲の画像情報に対して同一性を有する地図情報を抽出部106によって抽出し、抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択部107によって選択する。そして、選択された対象物に関する情報を出力部108によって出力する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報提供装置、情報提供方法、情報提供プログラム、および記録媒体に関する。ただし、この発明の利用は、前述の情報提供装置、情報提供方法、情報提供プログラム、および記録媒体に限るものではない。
【背景技術】
【0002】
従来、たとえば、車両に搭載されるカーナビゲーション装置のように、利用者を目的地点まで誘導する誘導装置が存在する。このような誘導装置は、たとえば、地図情報と車両の現在地点および目的地点に関する情報とを用いて、交差点における進行方向(右左折、直進など)などを案内する音声や画像を出力することで、利用者を目的地点まで誘導することができる。
【0003】
また従来、たとえば、視線認識装置によって認識された乗員の視線方向の情報と、物体監視用カメラによって撮影された画像を取得し、この画像における乗員の視点の位置を特定し、この特定した視点の位置をマーキングし、このマーキングされたマーカの位置の被写体を監視対象物として決定(検出)し、車両の移動に伴う画像の動きに応じてマーカを動かして監視対象物を追従して監視する物体監視処理を実行する技術があった(たとえば、下記特許文献1を参照。)。
【0004】
また従来、たとえば、車両内に搭載され、各種の情報を表示する車両用表示装置において、車両に関する各種の情報を表示する基礎表示画面と、車外映像表示する手段とを有し、運転者が、基礎表示画面に表示される主たる表示画像を見ているときに、車外映像を認識することができるようにした技術があった(たとえば、下記特許文献2を参照。)。
【0005】
また従来、たとえば、車両周囲の画像と運転者の視線方向とに基づいて運転者が見ている注視対象を認識し、認識された注視対象の注視時間に応じて算出された視線配分と線形識別関数とを用いて運転者の状態を推定し、推定された運転者の状態に応じて運転者に情報を呈示するようにした技術があった(たとえば、下記特許文献3を参照。)。
【0006】
また従来、上述した誘導装置には、たとえば、地図上の任意の地点の詳細情報を案内する音声や画像を出力するものがあった。このような誘導装置は、地図上の任意の地点を指定した状態で詳細情報を報知させるための操作入力がおこなわれると、指定された地点の詳細情報を案内する音声や画像を出力する。
【0007】
また従来、たとえば、車両乗員による車外対象物に関する質問が検出されたときに、この質問が検出されたタイミングよりも所定時間前の車両乗員の視線方向および車外風景画像を照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定し、特定された車外対象物に関する情報を取得し案内するようにした技術があった(たとえば、下記特許文献4を参照。)。
【0008】
【特許文献1】特開2005−251111号公報
【特許文献2】特開2002−277258号公報
【特許文献3】特開2006−48171号公報
【特許文献4】特開2006−90790号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、従来の誘導装置では、たとえば、誘導装置が出力する音声や画像にしたがって交差点を曲がった直後に道路が2股に分岐する場合などには、運転者は、つぎに進むべきルートを判別しきれずに間違ったルートを通行してしまう懸念があるという問題がある。
【0010】
この対策として、一般的に間違い易い地点を通行する場合は、進行方向などを案内する音声や画像の出力回数を増やしたり通常よりも詳細な案内情報を出力したりすることが考えられるが、一方で、一般的に間違い易い地点を複数回通行したことがある運転者は、出力される音声や画像を過剰で煩わしく感じることが懸念されるという問題が一例として挙げられる。
【0011】
また、上述した特許文献1〜3に記載された技術は、いずれも運転者の視線が車両前方から外れることによる衝突を回避するための技術であり、通行しようとするルートの正否を案内するものではなかった。
【0012】
また、従来の誘導装置では、所定の操作入力をおこなうことで地図上の任意の地点の詳細情報を案内することができるが、運転中に操作入力をおこなわせると、操作端末に操作者の視線を移動しなければならないため、運転に支障が生じるという問題が一例として挙げられる。
【0013】
また、上述した特許文献4に記載された技術では、車両乗員の発話を音声認識処理することで検出した質問に応じた情報が提供されることから、車両乗員同士の会話における質問なども装置に対する質問として検出されて、情報から過剰な情報が提供される懸念があるという問題が一例として挙げられる。
【課題を解決するための手段】
【0014】
請求項1の発明にかかる情報提供装置は、操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第1の取得手段と、前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第2の取得手段と、前記第1の取得手段によって取得された前記移動体の周囲の画像情報および実在する対象物を3次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出手段と、前記第1の取得手段によって取得された前記移動体の周囲の画像情報、前記第2の取得手段によって取得された前記操作者の画像情報、および前記抽出手段によって抽出された地図情報を用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択手段と、前記選択手段によって選択された対象物に関する情報を出力する出力手段と、を備えることを特徴とする。
【0015】
請求項7の発明にかかる情報提供方法は、操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第1の取得工程と、前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第2の取得工程と、前記第1の取得工程において取得された前記移動体の周囲の画像情報および実在する対象物を3次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出工程と、前記第1の取得工程において取得された前記移動体の周囲の画像情報、前記第2の取得工程において取得された前記操作者の画像情報、および前記抽出工程によって抽出された地図情報を用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択工程と、前記選択工程において選択された対象物に関する情報を出力する出力工程と、を含んだことを特徴とする。
【0016】
請求項8の発明にかかる情報提供プログラムは、請求項7に記載の情報提供方法をコンピュータに実行させることを特徴とする。
【0017】
請求項9の発明にかかる記録媒体は、請求項8に記載の情報提供プログラムを、コンピュータが読み取り可能に記録したことを特徴とする。
【発明を実施するための最良の形態】
【0018】
以下に添付図面を参照して、この発明にかかる情報提供装置、情報提供方法、情報提供プログラム、および記録媒体の好適な実施の形態を詳細に説明する。
【0019】
この発明の実施の形態にかかる情報提供装置は、可搬性を有しており、移動体に搭載することが可能である。ここで、移動体とは、操作者に操作されて移動することが可能な物体であり、たとえば、車両、船舶などである。情報提供装置は、たとえば、移動体とともに移動することが可能な可搬型のコンピュータ端末によって実現される。具体的には、情報提供装置は、たとえば、移動体が車両である場合には当該車両に搭載されたナビゲーション装置などによって実現される。
【0020】
(情報提供装置の機能的構成)
はじめに、情報提供装置の機能的構成について説明する。図1は、この発明の実施の形態にかかる情報提供装置の機能的構成を示すブロック図である。図1に示したように、情報提供装置100は、第1の取得部101と、第2の取得部102と、記録部103と、探索部104と、決定部105と、抽出部106と、選択部107と、出力部108と、を備えている。実施の形態では、移動体に搭載された情報提供装置100について説明する。
【0021】
第1の取得部101は、操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する。第2の取得部102は、移動体の操作者を撮影した、当該操作者の画像情報を取得する。第1の取得部101および第2の取得部102は、たとえば、デジタルカメラなどによって実現される。
【0022】
記録部103は、地図情報を記録する。地図情報は、ノードおよびリンクからなる道路ネットワーク情報と、施設や道路その他地形(山、川、土地)に関するフィーチャを用いて描画される画像情報とを含んでいる。これにより、施設や道路その他地形など実在する対象物を3次元であらわすことができる。地図情報には、文字情報、施設の名称や住所などの情報、道路や施設の画像などが含まれていてもよい。記録部103は、操作者が指定した任意の地点をあらわす情報を記録してもよい。
【0023】
探索部104は、記録部103に記録された地図情報と、当該地図情報によってあらわされる地図上における複数個の任意の地点をあらわす情報と、を用いて、複数個の地点をつなぐルートを探索する。複数個の任意の地点は、たとえば、情報提供装置100の現在地点、地図上で操作者が指定した地点、記録部103に記録されている情報によってあらわされる地点などである。
【0024】
決定部105は、移動体の現在地点および当該現在地点から任意の地点までのルートに関する情報を用いて任意の地点までの道順を決定する。決定部105は、移動体の現在地点と任意の地点とをつなぐ複数のルートの中から、たとえば、探索部104によって探索されたルートを用いて、任意の地点までの道順を決定する。また、決定部105は、探索部104によって探索されたルートの他に、操作者によって指示されたルートを用いて、任意の地点までの道順を決定してもよい。
【0025】
抽出部106は、第1の取得部101によって取得された画像情報および上述した地図情報を用いて、当該地図情報の中から移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する。移動体の周囲の画像情報に対する同一性の有無は、たとえば、以下の方法によって判断することができる。
【0026】
まず、操作者の正面となる位置を中心とした画像を移動体の周囲の画像として撮影し、撮影した画像に基づく画像情報を、移動体の周囲の画像情報として、第1の取得部101によって取得する。つづいて、第1の取得部101によって取得された移動体の周囲の画像情報と地図情報とを用いて、移動体の周囲の画像情報に含まれる各対象物と地図情報に含まれる対象物とを、たとえばディスプレイ上で重ね合わせる。そして、対象物ごとの特徴点が一致するか否かを判断し、移動体の周囲の画像情報に含まれる対象物の特徴情報と類似する特徴情報が所定数以上の地図情報を、移動体の周囲の画像情報に対して同一性を有する地図情報として判断する。
【0027】
ここで、対象物とは、道路,道路標識,信号,踏切,建物,公園,背景など、移動体とともに移動する操作者が実際に見ることができるものである。同一の移動体であっても操作者の体格(目線の高さ)などによっては各対象物に対する操作者の視野角が異なるため、操作者の体格などに応じて、同一性の有無の判断に用いる地図情報の画角を調整するようにしてもよい。
【0028】
この場合、具体的には、たとえば、操作者の画像を撮影し、撮影した画像に基づく画像情報を、操作者の画像情報として、第2の取得部102によって取得する。そして、第2の取得部102によって取得された操作者の画像情報を用いて、操作者の目の位置(高さ)を検出し、検出された目の位置を基準として画角を調整した地図情報を用いて、同一性の有無を判断する。
【0029】
選択部107は、第1の取得部101によって取得された移動体の周囲の画像情報、第2の取得部102によって取得された操作者の画像情報、および抽出部106によって抽出された地図情報を用いて、抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択する。具体的に、選択部107は、たとえば、第2の取得部102によって撮影した操作者の画像情報を用いて、操作者の顔の向きを検出する。そして、検出した顔の向きと操作者の正面方向とのなす角度を算出し、算出された角度に基づいて、抽出部106によって抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択する。
【0030】
また、具体的に、選択部107は、たとえば、第2の取得部102によって撮影した操作者の画像情報を用いて、操作者の目の形と目全体に対する黒目の位置とから操作者の視線方向を検出し、検出した視線方向と操作者の正面方向とのなす角度を算出し、算出された角度に基づいて、抽出部106によって抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択するようにしてもよい。この方法では、操作者の顔を撮影できる場合にのみ、移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択するようにしてもよい。
【0031】
出力部108は、たとえば、右左折地点や高速道路のインターチェンジ・合流地点などを通行する手前で、道順に関する情報を出力する。具体的に、出力部108は、たとえば、任意の地点までの道順をあらわす画像情報をディスプレイに表示したり、任意の地点までの道順をあらわす音声情報をスピーカから出力したりする。
【0032】
また、出力部108は、選択部107によって選択された対象物が路面である場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力する。出力部108は、報知部による任意の地点までの道順を報知する設定がなされている場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力する。選択部107によって選択された対象物が路面であっても、当該路面を見る際の操作者の挙動によって、進路の正否に関する不安など当該操作者の心理状態を推定することが可能である。
【0033】
このため、出力部108は、選択部107によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力したり、選択部107によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定時間連続して同じ位置に特定された場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力したりして、操作者の挙動に応じて内容の異なる案内情報を出力するようにしてもよい。
【0034】
また、出力部108は、選択部107によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された後に所定時間連続して同じ位置に特定された場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力することで、操作者の挙動に応じて内容の異なる案内情報を出力するようにしてもよい。
【0035】
また、出力部108は、選択部107によって選択された対象物が遊覧資産または娯楽施設である場合に、当該遊覧資産または娯楽施設を説明する情報を出力するようにしてもよい。ここで、遊覧資産とは、たとえば歴史・文化・自然景観などであり、娯楽施設とは、たとえばテーマパーク・遊園地などである。具体的に、たとえば、操作者が道路脇の湖を見つめた場合、出力部108は、『右手に見える湖は河口湖です。河口湖の水深××m、年間を通じて観光客が訪れます。手漕ぎボートやバス釣りを楽しむことができます。・・・』などの音声を出力したり、河口湖の写真をディスプレイに表示したりする。
【0036】
(情報提供装置の情報提供処理手順)
つぎに、情報提供装置の情報提供処理手順について説明する。図2は、情報提供装置の情報提供処理手順を示すフローチャートである。図2に示したフローチャートにおいて、まず、移動体が移動を開始したか否かを判断する(ステップS201)。ステップS201においては、たとえば、移動体を搭載する車両のエンジンが始動したか否かを判断することで、移動体が移動を開始したか否かを判断する。
【0037】
また、ステップS201では、たとえば、移動体を搭載する車両のギアがドライブ(車両がオートマ車である場合)に入っているか否かを判断することで、移動体が移動を開始したか否かを判断してもよい。ステップS201において、移動体が移動を開始するまで待って(ステップS201:No)、移動を開始した場合(ステップS201:Yes)には、第1の取得部101および第2の取得部102によってそれぞれ該当する画像情報を取得する(ステップS202)。
【0038】
つづいて、ステップS202において取得された画像情報および地図情報を用いて、当該地図情報の中から移動体の周囲の画像情報に対して同一性を有する地図情報を抽出部106によって抽出し(ステップS203)、抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択部107によって選択する(ステップS204)とともに、対象物を選択したタイミングにおいて道順を報知中であるか否かを判断する(ステップS205)。
【0039】
ステップS205において、道順を報知中である場合(ステップS205:Yes)には、ステップS204において選択された対象物が路面であるか否かを判断する(ステップS206)。路面ではない場合(ステップS206:No)には、ステップS211へ移行する。一方、ステップS204において選択された対象物が路面である場合(ステップS206:Yes)には、当該路面が現在地点から任意の地点までのルート上の路面であるか否かを判断する(ステップS207)。
【0040】
ステップS207において、ステップS204において選択された対象物が現在地点から任意の地点までのルート上の路面である場合(ステップS207:Yes)には、たとえば、『その道を進んでください』などのメッセージをあらわす画像や音声を出力部108によって出力することで、操作者の視線がとらえている進行方向が正しい旨を報知して(ステップS208)、ステップS210へ移行する。
【0041】
一方、ステップS207において、ステップS204において選択された対象物が現在地点から任意の地点までのルート上の路面ではない場合(ステップS207:No)には、たとえば、『その道の隣にある道を進んでください』などのメッセージをあらわす画像や音声を出力部108によって出力することで、操作者の視線がとらえている進行方向が誤っている旨を報知して(ステップS209)、ステップS210へ移行する。
【0042】
ステップS210においては、移動体が移動を終了したか否かを判断し、終了していない場合(ステップS210:No)にはステップS201へ戻る。終了した場合(ステップS210:Yes)には、一連の処理を終了する。上述したステップS205において、道順を報知中ではない場合(ステップS205:No)には、ステップS204において選択された対象物が遊覧資産あるいは娯楽施設であるか否かを判断する(ステップS211)。
【0043】
ステップS211において、遊覧資産あるいは娯楽施設である場合(ステップS211:Yes)には、遊覧資産あるいは娯楽施設を説明する画像や音声を出力部108によって出力することで、遊覧資産あるいは娯楽施設の説明を報知する(ステップS212)。遊覧資産あるいは娯楽施設ではない場合(ステップS211:No)には、ステップS210へ移行する。
【0044】
上述したように、実施の形態の情報提供装置100によれば、操作者が実際に見ている操作者の視点に応じた情報を操作者に提供することで、操作者が必要とする情報を安全かつ簡単に提供することができる。これによって、操作者は、必要とする情報を安全かつ簡単に得ることができる。
【0045】
また、実施の形態の情報提供装置100によれば、操作者が実際にルートを目で追えているか否かを案内する情報を操作者に提供することで、移動中の操作者が必要とする情報を安全かつ簡単に提供することができる。これによって、操作者は、決定されたルートに沿って安全かつスムーズに移動することができる。
【0046】
また、実施の形態の情報提供装置100によれば、路面のあちこちを見ながらも特定の箇所を繰り返し見たり、当該特定の箇所を見つめたり、繰り返して見ながらやがて見つめたり、のように操作者が実際にルートの正否に不安をもっていると推定される挙動を示した場合に限って、操作者が実際にルートを目で追えているか否かを案内する情報を操作者に提供することで、移動中の操作者が必要とする情報を簡単かつ適切に提供することができる。これによって、操作者は、煩わしさを覚えることなく、決定されたルートに沿って安全かつスムーズに移動することができる。
【0047】
また、実施の形態の情報提供装置100によれば、操作者が実際に見ている遊覧資産や娯楽施設の情報を操作者に提供することで、操作者が関心をもっていると推定される遊覧資産や娯楽施設の情報を簡単に提供することができる。これによって、操作者は、過剰な情報提供に煩わしさを覚えることなく、必要とする情報を安全に得ることができる。
【0048】
また、実施の形態の情報提供装置100によれば、移動体の周囲の画像を第1の取得部101によって撮影し、操作者の画像を第2の取得部102によって撮影することで、操作者が実際に見ている操作者の視点を連続して特定することができるので、操作者が必要とする情報を操作者が情報を必要とするタイミングで確実に提供することができる。
【実施例】
【0049】
つぎに、上述した実施の形態の実施例について説明する。この実施例は、上述した実施の形態の情報提供装置100を車両に搭載されるナビゲーション装置に適用した例である。
【0050】
(ナビゲーション装置のハードウエア構成)
まず、実施例のナビゲーション装置のハードウエア構成について説明する。図3は、実施例のナビゲーション装置のハードウエア構成を示すブロック図である。図3において、ナビゲーション装置300は、CPU301と、ROM302と、RAM303と、磁気ディスクドライブ304と、磁気ディスク305と、光ディスクドライブ306と、光ディスク307と、音声I/F308と、マイク309と、スピーカ310と、入力デバイス311と、映像I/F312と、ディスプレイ313と、カメラ314,315と、通信I/F316と、GPSユニット317と、各種センサ318と、を備えている。各構成部301〜318はバス320によってそれぞれ接続されている。
【0051】
まず、CPU301は、ナビゲーション装置300の全体の制御を司る。ROM302は、ブートプログラムやルート探索プログラム、ルート誘導プログラム、および情報提供プログラムなどのプログラムを記録している。RAM303は、CPU301のワークエリアとして使用される。ルート探索プログラムとは、CPU301によって実行されることにより、たとえば、ナビゲーション装置300の操作者によって指定された第1および第2の地点を通過するルートを探索するプログラムである。第1および第2の地点は、たとえば、出発地点および目的地点などである。
【0052】
また、ルート誘導プログラムとは、CPU301によって実行されることにより、ナビゲーション装置300の利用者に対して、任意の地点までの道順を案内する音声や画像などの誘導情報を所定のタイミングで出力することにより、所定のルートに沿って移動するように利用者を誘導するプログラムである。所定のルートとは、たとえば、ルート探索プログラムを実行することによって探索されたルートなど、利用者によって設定された任意のルートである。
【0053】
情報提供プログラムとは、CPU301によって実行されることにより、運転者によって運転される車両の周囲の画像情報と運転者の画像情報とを取得させ、取得された画像情報と実在する対象物を3次元であらわす地図情報とを用いて、当該地図情報の中から車両の周囲の画像情報に対して同一性を有する地図情報を抽出させ、取得された画像情報と抽出された地図情報とを用いて、抽出された地図情報の中から車両の周囲の画像情報における運転者の視点の位置に一致する対象物を選択させ、選択された対象物に関する情報を出力させるプログラムである。
【0054】
また、情報提供プログラムとは、CPU301によって実行されることにより、車両の現在地点および当該現在地点から任意の地点までのルートに関する情報を用いて任意の地点までの道順を決定させ、決定された道順に関する情報を出力させるとともに、選択された対象物が路面である場合には操作者がルート上の路面を視認しているか否かを案内する情報を出力させるプログラムである。
【0055】
情報提供プログラムにおいては、CPU301によって実行されることにより、選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された場合に操作者がルート上の路面を視認しているか否かを案内する情報を出力させるようにしてもよい。
【0056】
また、情報提供プログラムにおいては、CPU301によって実行されることにより、選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定時間連続して同じ位置に特定された場合に操作者がルート上の路面を視認しているか否かを案内する情報を出力させるようにしてもよい。
【0057】
また、情報提供プログラムにおいては、CPU301によって実行されることにより、選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された後に所定時間連続して同じ位置に特定された場合に操作者がルート上の路面を視認しているか否かを案内する情報を出力させるようにしてもよい。
【0058】
また、情報提供プログラムとは、CPU301によって実行されることにより、選択された対象物が遊覧資産または娯楽施設である場合に、当該遊覧資産または娯楽施設を説明する情報を出力させるプログラムである。
【0059】
磁気ディスクドライブ304は、CPU301の制御にしたがって磁気ディスク305に対する情報の読み取り/書き込みを制御する。磁気ディスク305は、磁気ディスクドライブ304の制御で書き込まれた情報を記録する。具体的には、磁気ディスクドライブ304は、たとえば、上述した地図情報を、磁気ディスク305に記録する。磁気ディスク305としては、たとえば、HD(ハードディスク)やFD(フレキシブルディスク)を用いることができる。
【0060】
光ディスクドライブ306は、CPU301の制御にしたがって光ディスク307に対する情報の読み取り/書き込みを制御する。光ディスク307は、光ディスクドライブ306の制御にしたがって情報の読み出される記録媒体である。光ディスク307は、書き込み可能であったり、光ディスクドライブ306に対して着脱自在であったりしてもよい。具体的に、光ディスク307としては、たとえば、MO、メモリカードなどを用いることができる。
【0061】
音声I/F308は、音声入力用のマイク309および音声出力用のスピーカ310に接続される。マイク309に受音された音声は、音声I/F308内でA/D変換される。また、スピーカ310からは音声が出力される。また、入力デバイス311は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、マウス、タッチパネルなどが挙げられる。
【0062】
カメラ314は、たとえば、ルームミラー(図7中符号710を参照)の裏面側(フロントガラス側)などに設置されて、車両の周囲の画像を撮影する。カメラ315は、たとえば、サンバイザー(図7中符号712を参照)付近などに設置されて、車両の運転者の画像を撮影する。上述した磁気ディスクドライブ304は、カメラ314,315が撮影した画像情報を磁気ディスク305に記録してもよい。
【0063】
映像I/F312は、ディスプレイ313と接続される。映像I/F312は、具体的には、たとえば、ディスプレイ313全体の制御をおこなうグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するVRAM(Video RAM)などのバッファメモリと、グラフィックコントローラから出力される画像情報に基づいて、ディスプレイ313を表示制御する制御ICなどによって構成される。
【0064】
ディスプレイ313には、上述した地図情報に加えて、道路の渋滞情報、誘導ルートなどを重畳表示させることもできる。ディスプレイ313には、アイコン、カーソル、メニューなどを表示してもよい。このディスプレイ313は、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【0065】
通信I/F316は、無線を介してネットワークに接続され、このネットワークとCPU301とのインターフェースとして機能する。ネットワークには、LAN、WAN、公衆回線網や携帯電話網などがある。通信I/F316は、たとえば、FMチューナー、VICS(登録商標)/ビーコンレシーバ、無線通信機器、およびその他の通信機器によって構成され、VICSセンターから配信される渋滞や交通規制などの道路交通情報を取得する。
【0066】
GPSユニット317は、GPS(Global Positioning System)や各種センサからの出力値を用いて、車両の現在位置(ナビゲーション装置300の現在位置)を示す情報を取得する。図示を省略するが、ナビゲーション装置300は、ジャイロセンサおよびジャイロセンサからの出力値や車両からの車速パルスなどが入力される入力I/Fを備えている。CPU301は、ジャイロセンサからの出力値から、車両の移動方向(停止中の場合には車両の前方向)を判断する。
【0067】
なお、図1に示した情報提供装置100における第1の取得部101、第2の取得部102、決定部105、抽出部106、選択部107、出力部108は、図3に示したナビゲーション装置300におけるROM302、RAM303、磁気ディスク305、光ディスク307などに記録されたプログラムや情報を用いて、CPU301が所定のプログラムを実行し、ナビゲーション装置300における各部を制御することによってその機能を実現する。
【0068】
すなわち、この実施例のナビゲーション装置300は、ナビゲーション装置300における記録媒体に記録されている情報提供プログラムにより、図1に示した情報提供装置100が備える機能を、図2に示した情報提供処理手順で実行することができる。
【0069】
(ナビゲーション装置の情報提供処理手順)
つぎに、実施例のナビゲーション装置300の処理手順について説明する。図4は、実施例のナビゲーション装置300の情報提供処理手順を示すフローチャートである。図4のフローチャートにおいて、まず、運転者の視点検知処理をおこない(ステップS401)、運転者が見ている対象物を特定する(ステップS402)。
【0070】
つづいて、ステップS402において特定された対象物(以下、「対象物(現在)」という)が運転者が前回見た対象物(以下、「対象物(前回)」という)と同一であるか否かを判断する(ステップS403)。対象物(現在)が対象物(前回)と同一である場合(ステップS403:Yes)には、運転者が対象物(現在)を見はじめてからつぎに別の対象物を見るまでの時間Tをカウントする(ステップS404)。
【0071】
つづいて、時間Tが設定時間T1よりも大きいか否かを判断するとともに、値C(図4中「回数C」と記載されている。)が設定回数N1よりも大きいか否かを判断する(ステップS405)。ここで、設定時間T1とは、磁気ディスク305などに記録された情報であり、時間Tの程度を判断するために用いられる閾値である。
【0072】
値Cとは、RAM303などに記録された情報であり、運転者が前々回に見た対象物(以下、「対象物(前々回)」という)に関して、対象物(前々回)を繰り返して見た回数をあらわす。設定回数N1とは、磁気ディスク305などに記録された情報であり、値C(以下「回数C」という)の程度を判断するために用いられる閾値である。
【0073】
ステップS405において、時間Tが設定時間T1よりも大きく、かつ、回数Cが設定回数N1よりも大きい場合(ステップS405:Yes)には、お知らせ処理をおこなうとともに(ステップS406)、回数Cおよび時間Tをリセットして(ステップS407)、一連の処理を終了する。
【0074】
また、ステップS405において、少なくとも、時間Tが設定時間T1以下である、あるいは、回数Cが設定回数N1以下である場合(ステップS405:No)には、時間Tが設定時間T2よりも大きいか否かを判断する(ステップS408)。ここで、設定時間T2とは、磁気ディスク305などに記録された情報であり、時間Tの程度を判断するために用いられる、設定時間T1とは異なる閾値である。時間Tが設定時間T2よりも大きい場合(ステップS408:Yes)にはステップS406へ移行し、時間Tが設定時間T2以下である場合(ステップS408:No)にはステップS401へ戻る。
【0075】
上述したステップS403において、対象物(現在)が対象物(前回)と同一ではない場合(ステップS403:No)には、対象物(現在)が運転者が前々回見た対象物(以下、「対象物(前々回)」という)と同一であるか否かを判断する(ステップS409)。対象物(現在)が対象物(前々回)と同一ではない場合(ステップS409:No)には、ステップS401へ戻る。
【0076】
ステップS409において、対象物(現在)が対象物(前々回)と同一である場合(ステップS409:Yes)には、回数Cに1を加算することで回数Cを更新し(ステップS410)、回数Cが設定回数N2よりも大きいか否かを判断する(ステップS411)。ここで、設定回数N2とは、磁気ディスク305などに記録された情報であり、回数Cの程度を判断するために用いられる、上述した設定回数N1とは異なる閾値である。
【0077】
ステップS411において、回数Cが設定回数N2よりも大きい場合(ステップS411:Yes)にはステップS406へ移行し、回数Cが設定回数N2以下である場合(ステップS411:No)には、ステップS401へ戻る。
【0078】
図5は、運転者の視点検知処理手順を示すフローチャートである。図5に示した処理手順は、上述した図4中ステップS401において実行される。図5のフローチャートにおいて、まず、カメラ314が撮影した車両の周囲の画像情報およびカメラ315が撮影した運転者の画像情報を取得する(ステップS501)とともに、磁気ディスク305に記録されている地図情報を取得する(ステップS502)。
【0079】
つづいて、ステップS501において取得された画像情報およびステップS502において取得された地図情報を用いて運転者が見ている対象物を特定して(ステップS503)、一連の処理を終了した後、ステップS501からの処理を繰り返す。CPU301は、ステップS503において特定された特定結果を取得した場合に、上述した情報提供処理におけるステップS402の処理を実行する。
【0080】
なお、実施例においては、磁気ディスク305に記録されている地図情報を用いて運転者の視点検知処理をおこなうようにしたが、これに限るものではない。たとえば、通信I/F316を用いて、ナビゲーション装置300の外部に存在する装置(以下、「外部装置」という)と通信をおこなうことによって、外部装置から取得した地図情報を用いて運転者の視点検知処理をおこなうようにしてもよい。
【0081】
図6は、お知らせ処理手順を示すフローチャートである。図6に示した処理手順は、上述した図4中ステップS406において実行される。図6のフローチャートにおいて、まず、上述した情報提供処理におけるステップS402において特定された対象物(現在)が、路面であるか否かを判断する(ステップS601)。
【0082】
ステップS601において、対象物(現在)が路面ではない場合(ステップS601:No)には、光ディスク307に記録された各種説明情報の中に、対象物(現在)について説明する説明情報があるか否かを判断する(ステップS602)。ここで、説明情報とは、たとえば、対象物(現在)の特徴,見所,見学に必要な費用(入場料や拝観料など),起源(景勝地であれば形成された時期、建物であれば建設時期など)などを案内する情報である。
【0083】
ステップS602において、説明情報がない場合(ステップS602:No)には、一連の処理を終了する。説明情報がある場合(ステップS602:Yes)には、該当する説明情報を出力する(ステップS603)とともに、対象物(現在)まで車両を誘導するか否かを判断する(ステップS604)。
【0084】
ステップS604においては、たとえば、『そこに行きますか?』などのように運転者の見ている対象物(現在)への移動を運転者が希望しているか否かを問いかける音声をスピーカ310から出力するとともに、「行く」あるいは「行かない」などのように対象物(現在)へ移動する意志の有無を示す操作キーをディスプレイ313に表示し、ディスプレイ313に表示されたキーのうちいずれのキーを選択する指示操作がなされたかを判断することによって対象物(現在)まで車両を誘導するか否かを判断する。
【0085】
ステップS604において、対象物(現在)まで車両を誘導する場合(ステップS604:Yes)には、対象物(現在)までの車両の誘導を開始して(ステップS605)、一連の処理を終了する。ステップS605においては、上述した誘導プログラムを起動させ、当該誘導プログラムに対して対象物(現在)をあらわす地点情報を出力する。以降、誘導プログラムが実行されることによって、車両の現在地点から対象物(現在)をあらわす地点までの誘導がおこなわれる。対象物(現在)まで車両を誘導しない場合(ステップS604:No)には、一連の処理を終了した後、ステップS601からの処理を繰り返す。
【0086】
一方、ステップS601において、対象物(現在)が路面である場合(ステップS601:Yes)には、誘導中であるか否かを判断し(ステップS606)、誘導中ではない場合(ステップS606:No)には、ステップS601へ戻る。誘導中である場合(ステップS606:Yes)には、対象物(現在)の位置が誘導中のルートと一致するか否かを判断する(ステップS607)。
【0087】
ステップS607において、対象物(現在)の位置が誘導中のルートと一致しない場合(ステップS607:No)には、誘導中のルートとの差異を報知する(ステップS608)。ステップS608においては、たとえば、『その道ではありません。』や『その道の左の道をお進みください。』などの音声を、スピーカ310から出力する。
【0088】
一方、ステップS607において、対象物(現在)の位置が誘導中のルートと一致する場合(ステップS607:Yes)には、運転者が見ている路面と誘導中のルート上の路面との一致を報知して(ステップS609)、一連の処理を終了した後、ステップS601からの処理を繰り返す。ステップS609においては、たとえば、『そこです。』や『その道をお進みください。』などの音声を、スピーカ310から出力する。
【0089】
つぎに、図7および図8を用いて、実施例のナビゲーション装置300の機能について説明する。図7は運転者の視界をあらわす説明図であり、図8はディスプレイ313における表示例をあらわす説明図である。図7に示したように、車両701の運転席に座っている運転者は、たとえば、道路(路面)702,道路脇の建物703,信号機704,他の車両705,通行人706,707などの車両701の周囲の様子を、車両701のフロントガラス708あるいはサイドウィンドウ709越しに見ることができる。図7中符号710は、ルームミラーである。上述したカメラ314は、ルームミラー710の裏面側(フロントガラス側)などに設置されている(図7中点線の丸印を参照。)。また、図7中符号712は、サンバイザーである。
【0090】
図8に示したように、ディスプレイ313には、運転者の視界を再現した3次元の画像情報が表示されている。ディスプレイ313には、運転者の視界がとらえる様々な対象物の中で、他の車両705や通行人706,707などのように存在が不確定な対象物を除く対象物(道路(路面)702,道路脇の建物703,信号機704など)が3次元であらわされている。なお、図8中符号801は道路(路面)702をあらわし,符号802(802a〜802d)は道路脇の建物703をあらわし,符号803は信号機704をあらわしている。誘導中である場合、ディスプレイ313には、車両701の走行位置を案内する矢印804が表示される。
【0091】
たとえば、矢印804が示すように、符号802aであらわされる建物と符号802bであらわされる建物との間の細い路地を通行するルートにしたがって誘導がおこなわれているとする。図7に示したように、通行人707が存在するために運転者の実際の視界には符号802aであらわされる建物と符号802bであらわされる建物との間の細い路地が見えづらい状況において、『この先の交差点を右折してください。』という音声が出力された後、運転者が信号機のある交差点を見たとする。
【0092】
この場合、上述した図4〜図6の処理を実行するナビゲーション装置300は、『その道ではありません。その手前の道を右折してください。』という音声をスピーカ310から出力するとともに、図8に示した矢印804つきの3次元画像をディスプレイ313に表示する。これによって、運転者は、ディスプレイ313の表示内容を確認することで、符号802aであらわされる建物と符号802bであらわされる建物との間の細い路地を通行することができる。
【0093】
これによって、運転者にとって分かりづらい道であったり、進むべき道が分かりづらかったりしても、運転者が進むべき道の認識を誤っている場合には運転者に進行方向の再確認を促すことができる。
【0094】
上述したように、実施例のナビゲーション装置300によれば、運転者の実際の始点の位置に応じた情報を運転者に提供することができる。これによってナビゲーション装置300は、運転者が必要とする情報を安全かつ簡単に提供することができる。また、これによって運転者は、必要とする情報を安全かつ簡単に得ることができる。
【0095】
また、実施例のナビゲーション装置300によれば、誘導中のルートを運転者が実際に目で追えているか否かを案内することができる。これによってナビゲーション装置は、運転中に必要とする情報を安全かつ簡単に提供することができる。また、これによって運転者は、最適なルートに沿って安全かつスムーズに移動することができる。
【0096】
また、実施例のナビゲーション装置300によれば、特定の対象物を繰り返し見たり、特定の対象物を見つめたり、特定の対象物を繰り返して見ながらやがて見つめたり、のように運転者が特定の対象物に対して関心があると推定される挙動を示した場合に限って、お知らせ処理が実行される。これによってナビゲーション装置300は、運転者が必要とする情報を簡単かつ適切に提供することができる。また、これによって運転者は、煩わしさを覚えることなく、必要とする情報を安全かつ簡単に得ることができる。
【0097】
たとえば、特定の対象物が路面である場合は、運転者の見ている路面が誘導中のルートに一致しているのか違っているのかを案内する情報を提供することで、ナビゲーション装置300は、進行方向に対して運転者が迷っていると推定される場合に限って、進行方向の正否をあらわす情報を簡単かつ適切に提供することができる。また、これによって運転者は、煩わしさを覚えることなく、必要とする情報を安全かつ簡単に得ることができ、ルートに沿って安全かつスムーズに移動することができる。
【0098】
また、たとえば、特定の対象物が遊覧資産や娯楽施設など路面以外の対象物である場合は、運転者が関心をもっていると推定される遊覧資産や娯楽施設の情報を簡単に提供することができる。これによって、操作者は、過剰な情報提供に煩わしさを覚えることなく、必要とする情報を安全かつ簡単に得ることができる。
【0099】
また、実施例のナビゲーション装置300によれば、2台のカメラ314,315を用いて車両の周囲の画像および運転者の画像をそれぞれ撮影することで、運転者が実際に見ている視点の位置を連続して特定することができるので、運転者が必要とする情報を運転者が情報を必要とするタイミングで確実に提供することができる。
【0100】
以上説明したように、実施の形態の情報提供装置、情報提供方法、情報提供プログラム、および記録媒体によれば、操作者が必要とする情報を安全かつ簡単に提供することができる。これによって、操作者は、必要とする情報を安全かつ簡単に得ることができる。
【0101】
なお、本実施の形態で説明した情報提供方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【図面の簡単な説明】
【0102】
【図1】この発明の実施の形態にかかる情報提供装置の機能的構成を示すブロック図である。
【図2】この発明の実施の形態にかかる情報提供装置の情報提供処理手順を示すフローチャートである。
【図3】実施例のナビゲーション装置のハードウエア構成を示すブロック図である。
【図4】実施例のナビゲーション装置の情報提供処理手順を示すフローチャートである。
【図5】運転者の視点検知処理手順を示すフローチャートである。
【図6】お知らせ処理手順を示すフローチャートである。
【図7】運転者の視界をあらわす説明図である。
【図8】ディスプレイにおける表示例をあらわす説明図である。
【符号の説明】
【0103】
100 情報提供装置
101 第1の取得部
102 第2の取得部
105 決定部
106 抽出部
107 選択部
108 出力部

【特許請求の範囲】
【請求項1】
操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第1の取得手段と、
前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第2の取得手段と、
前記第1の取得手段によって取得された前記移動体の周囲の画像情報および実在する対象物を3次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出手段と、
前記第1の取得手段によって取得された前記移動体の周囲の画像情報、前記第2の取得手段によって取得された前記操作者の画像情報、および前記抽出手段によって抽出された地図情報を用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択手段と、
前記選択手段によって選択された対象物に関する情報を出力する出力手段と、
を備えることを特徴とする情報提供装置。
【請求項2】
前記移動体の現在地点および当該現在地点から任意の地点までのルートに関する情報を用いて前記任意の地点までの道順を決定する決定手段を備え、
前記出力手段は、前記決定手段によって決定された道順に関する情報を出力するとともに、前記選択手段によって選択された対象物が路面である場合には前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項1に記載の情報提供装置。
【請求項3】
前記出力手段は、前記選択手段によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された場合に前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項2に記載の情報提供装置。
【請求項4】
前記出力手段は、前記選択手段によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定時間連続して同じ位置に特定された場合に前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項2に記載の情報提供装置。
【請求項5】
前記出力手段は、前記選択手段によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された後に所定時間連続して同じ位置に特定された場合に前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項2に記載の情報提供装置。
【請求項6】
前記出力手段は、前記選択手段によって選択された対象物が遊覧資産または娯楽施設である場合に、当該遊覧資産または娯楽施設を説明する情報を出力することを特徴とする請求項1に記載の情報提供装置。
【請求項7】
操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第1の取得工程と、
前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第2の取得工程と、
前記第1の取得工程において取得された前記移動体の周囲の画像情報および実在する対象物を3次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出工程と、
前記第1の取得工程において取得された前記移動体の周囲の画像情報、前記第2の取得工程において取得された前記操作者の画像情報、および前記抽出工程によって抽出された地図情報とを用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択工程と、
前記選択工程において選択された対象物に関する情報を出力する出力工程と、
を含んだことを特徴とする情報提供方法。
【請求項8】
請求項7に記載の情報提供方法をコンピュータに実行させることを特徴とする情報提供プログラム。
【請求項9】
請求項8に記載の情報提供プログラムを、コンピュータが読み取り可能に記録したことを特徴とする記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2008−39596(P2008−39596A)
【公開日】平成20年2月21日(2008.2.21)
【国際特許分類】
【出願番号】特願2006−214552(P2006−214552)
【出願日】平成18年8月7日(2006.8.7)
【出願人】(000005016)パイオニア株式会社 (3,620)
【出願人】(596125930)パイオニアデザイン株式会社 (21)
【Fターム(参考)】