説明

ナビゲーション装置及び案内誘導方法

【課題】搭乗者の視線方向の推移の傾向を利用した案内誘導を行う。
【解決手段】視線特徴学習手段730の視認対象認識手段731が、視線検出手段710及び撮影手段720を制御し、搭乗者の視線の情報及び周辺の映像情報を取得する。そして、視認対象認識手段731は、当該視線の情報及び映像情報に基づき、搭乗者の視線方向の視認対象物を認識し、認識結果を視認物学習手段732へ送る。視認物学習手段732は、当該認識された視認対象物に関する特徴である視認特徴を学習することで、搭乗者の視線特徴を学習する。一方、車両CRの搭乗者に対して案内誘導を行う際には、生成手段740が、視線特徴学習手段730による視線特徴の学習結果に基づいて、案内誘導情報を生成する。引き続き、生成手段740は、提示手段750を利用して、当該案内誘導情報を画像、音声等により、車両CRの搭乗者に提示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナビゲーション装置、案内誘導方法、案内誘導プログラム、及び、当該案内誘導プログラムが記録された記録媒体に関する。
【背景技術】
【0002】
従来から、車両に搭載されるナビゲーション装置が広く普及している。こうしたナビゲーション装置に関する技術の進歩は著しく、利用者の利便性向上のために様々な技術の提案がなされている。
【0003】
かかる提案技術の一つとして、運転者の視線方向をアイカメラ等で検出し、検出された視線方向と対応する案内情報を運転者に提供する技術がある(特許文献1参照:以下、「従来例」と呼ぶ)。この従来例の技術では、視線の延長上にある注視対象物が何であるかを認識し、その注視対象物に対応する所定のサービス(注視対象物が施設や観光名所などのランドマークのときには、ランドマークの情報)を提供するようになっている。
【0004】
【特許文献1】特開2007−263931号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述した従来例の技術では、運転者の視線の延長上にある対象物を注視対象物として特定し、注視対象物に関する情報を提供している。このように、この従来例の技術は、単に、注視対象物に関する情報を提供しているだけであり、ナビゲーション装置としての基幹機能である案内誘導情報の積極的な提供までは行っていない。
【0006】
ところで、運転者の視線方向の推移の傾向は、当該運転者の個性を反映したものである。そして、運転者の個性に応じた案内誘導を行うことができれば、運転者にとっての利便性を飛躍的に向上することができる。
【0007】
このため、運転者の視線方向の推移の傾向を反映しつつ、案内誘導情報を提供できる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。
【0008】
本発明は、上記の事情を鑑みてなされたものであり、利用者の視線方向の推移の傾向を利用して、利用者の利便性を向上することができる新たなナビゲーション装置及び案内誘導方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
請求項1に記載の発明は、車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置であって、前記搭乗者の視線の情報を検出する視線検出手段と;前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習手段と;前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成手段と;前記生成された案内誘導情報を提示する提示手段と;を備えることを特徴とするナビゲーション装置である。
【0010】
請求項6に記載の発明は、車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置において使用される案内方法であって、前記搭乗者の視線の情報を検出する視線検出工程と;前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習工程と;前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成工程と;前記生成された案内誘導情報を提示する提示工程と;を備えることを特徴とする案内誘導方法である。
【0011】
請求項7に記載の発明は、請求項6に記載の案内誘導方法を演算手段に実行させる、ことを特徴とする案内誘導プログラムである。
【0012】
請求項8に記載の発明は、請求項7に記載の案内誘導プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。
【発明を実施するための最良の形態】
【0013】
以下、本発明の一実施形態を、図1を参照して説明する。なお、以下の説明においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【0014】
[構成]
図1には、一実施形態に係るナビゲーション装置700の概略的な構成が示されている。
【0015】
この図1に示されるように、ナビゲーション装置700は、車両CRに搭載されており、車両CRとともに移動するようになっている。このナビゲーション装置700は、視線検出手段710と、撮影手段720と、視線特徴学習手段730とを備えている。また、ナビゲーション装置700は、生成手段740と、提示手段750とを備えている。
【0016】
上記の視線検出手段710は、視線特徴学習手段730による制御のもとで、車両CRの搭乗者の視線の情報を検出する。視線検出手段710による検出結果は、視線特徴学習手段730へ送られる。
【0017】
上記の撮影手段720は、視線特徴学習手段730による制御のもとで、車両CRの前方を含む周辺を撮影して映像情報を取得する。撮影手段720による撮影結果は、視線特徴学習手段730へ送られる。
【0018】
上記の視線特徴学習手段730は、視線検出手段710及び撮影手段720を制御するとともに、上述した視線の情報に基づいて、搭乗者の視線特徴を学習する。ここで、「視線特徴」とは、搭乗者の視線の推移の特徴であり、搭乗者(運転者)の運転経験、運転能力、性格、癖等により異なってくる。
【0019】
例えば、初心者ドライバのように、運転経験が浅く、運転能力が十分でない搭乗者の視線特徴は、前方の景色のごく狭い範囲を注意深く見るような視線の移動を行う傾向があると考えられる。また、運転経験が豊富で、運転能力が優れた搭乗者の視線特徴は、広く視線を移動させながら全体を見渡す傾向があると考えられる。このように搭乗者の視線特徴は、運転経験、運転能力によって異なり、また、搭乗者の運転経験の積み重ね、運転能力の向上により変化する。
【0020】
また、搭乗者の視線特徴は、運転中に、「建物」に視線が集中する、「標識、行先案内板」に視線が集中する等、搭乗者の性格、癖等によっても異なってくる。
【0021】
本実施形態では、視線特徴学習手段730は、視認対象認識手段731と、視認物学習手段732とを備えている。
【0022】
上記の視認対象認識手段731は、視線検出手段710による検出結果である視線の情報を受けるとともに、撮影手段720による撮影結果である映像情報を受ける。そして、視認対象認識手段731は、当該視線の情報と映像情報とに基づいて、搭乗者の視線方向の視認対象物を認識する。視認対象認識手段731による認識結果は、視認物学習手段732へ送られる。
【0023】
上記の視認物学習手段732は、視認対象認識手段731による認識結果を受ける。そして、視認物学習手段732は、視認対象認識手段731により認識された視認対象物に関する特徴である視認特徴を学習することにより、搭乗者の視線特徴を学習する。
【0024】
こうした視認特徴の学習にあたっては、視認対象認識手段731が所定時間ごとに視認対象物を認識し、視認物学習手段732が、視認対象認識手段731による視認対象物の認識の回数を視認対象物の種別ごとに分類して累積した累積値を考慮して、視認特徴の学習を行うようにすることができる。
【0025】
この視認対象物の種別としては、例えば、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」に分類するようにすることができる。
【0026】
また、視認特徴の学習にあたっては、視認物学習手段732が、視認対象物の認識結果の時間的変化を考慮して、視認特徴の学習を行うようにすることができる。
【0027】
上述した視線特徴学習手段730は、車両CRの交差点への接近の際に、視線特徴を学習するようにすることができる。ここで、視線特徴を学習する交差点は、所定の交差点であってもよいし、車両CRが通過するすべての交差点であってもよい。
【0028】
また、上述した視線特徴学習手段730は、車両CRの交差点への接近の際に限らず、例えば、直線道路の走行中に、走行経路上に特徴的な建造物(ランドマーク)等があると想定される場合に、当該特徴的な建造物等に対する視線特徴を学習するようにすることができる。
【0029】
上記の生成手段740は、車両CRの搭乗者に対する誘導案内時に、視線特徴学習手段730による視線特徴の学習結果に基づいて、案内誘導情報を生成する。
【0030】
かかる案内誘導情報の生成に際して、視認回数を視認対象物の種別ごとに分類して累積した累積値を考慮して学習した視線特徴に基づく場合には、生成手段740は、当該視線特徴を反映した案内誘導情報を生成する。例えば、生成手段740は、「建物」に視線が集中するという視線特徴に基づく場合には、建物を案内することで案内誘導を行う案内誘導情報を生成し、「標識、行先案内板」に視線が集中するという視線特徴に基づく場合には、標識や行先案内板による提示情報に対応する案内をするための案内誘導情報を生成する。
【0031】
なお、視線の集中の度合いが大きいと判断できる視認対象物の種別が複数ある場合には、当該集中の大きい順に案内誘導情報を生成して、提示手段750に供給するようにすることができる。
【0032】
また、かかる案内誘導情報の生成に際して、視認対象物の認識結果の時間的変化を考慮して学習した視線特徴に基づく場合には、生成手段740は、当該視線特徴を反映した案内誘導情報を生成する。例えば、視線が「建物」から「標識、行先案内板」に変化するという視線特徴に基づく場合には、生成手段740は、建物を案内してから、標識や行先案内板による提示情報に対応する案内誘導をするための案内誘導情報を生成する。
【0033】
上記の提示手段750は、例えば、音声出力手段及び画像表示手段を備えて構成される。この提示手段750は、生成手段740による制御のもとで、案内誘導情報の提示を、車両CRの搭乗者に対して行う。
【0034】
例えば、建物を案内することで案内誘導を行う案内誘導情報に基づく提示を行う際に、音声出力手段による案内誘導情報の提示が行われる場合には、建物を音声で案内するようにしてもよい。また、画像表示手段による案内誘導情報の提示が行われる場合には、建物をハイライトで案内するようにしてもよい。
【0035】
また、標識による提示情報を案内する案内誘導情報に基づく提示を行う際に、音声出力手段による案内誘導情報の提示が行われる場合には、「次の交差点は、左折禁止です。」等の音声で案内するようにしてもよい。
【0036】
また、行先案内板による提示情報を案内する案内誘導情報に基づく提示を行う際に、音声出力手段による案内誘導情報の提示が行われる場合には、「右が○○方向、左が△△方向です。交差点を右折してください。」等の音声で案内するようにしてもよい。
【0037】
[動作]
上記のように構成されたナビゲーション装置700において実行される案内誘導方法について、説明する。
【0038】
<視線特徴の学習処理>
まず、ナビゲーション装置700による搭乗者の視線特徴の学習方法について説明する。
【0039】
この視線特徴の学習処理に際して、視線検出手段710が、視線特徴学習手段730による制御のもとで、搭乗者の視線の情報の検出処理を行う。また、視線検出手段710による検出処理と並行して、撮影手段720が、視線特徴学習手段730による制御のもとで、車両CRの周辺を撮影して映像情報の取得処理を行う。視線検出手段710による検出結果、及び、撮影手段720による撮影結果は、視線特徴学習手段730へ送られる。
【0040】
視線の情報の検出結果、及び、映像情報の取得結果を受けた視線特徴学習手段730では、視認対象認識手段731が、当該視線の情報と映像情報とに基づいて、搭乗者の視線方向の視認対象物を認識する。かかる認識結果は、視認物学習手段732へ送られる。
【0041】
この認識結果を受けた視認物学習手段732は、視認対象認識手段731により認識された視認特徴を学習することにより、搭乗者の視線特徴を学習する。かかる視線特徴の学習処理に際して、上述したように、視認回数を視認対象物の種別ごとに分類して累積した累積値を考慮するようにしてもよいし、視認対象物の認識結果の時間的変化を考慮するようにしてもよい。こうして学習された搭乗者の視線特徴は、生成手段740により、ナビゲーション処理における案内誘導時に利用される。
【0042】
<案内誘導情報の提示処理>
次に、ナビゲーション装置700による案内誘導情報の提示方法について説明する。
【0043】
この案内誘導情報の提示処理に際して、例えば、車両CRの交差点への接近の際に行う誘導案内時に、生成手段740が、視線特徴学習手段730による視線特徴の学習結果に基づいて、案内誘導情報を生成する。引き続き、生成手段740は、生成された案内誘導情報を提示手段750へ送る。ここで、案内誘導情報が複数作成された場合には、生成手段740は、生成順に案内誘導情報を提示手段750へ送る。この結果、提示手段750により、当該案内誘導情報が、画像、音声等の態様で、車両CRの搭乗者に提示される。
【0044】
以上説明したように、本実施形態では、視線特徴学習手段730の視認対象認識手段731が、視線検出手段710及び撮影手段720を制御し、搭乗者の視線の情報及び周辺の映像情報を取得する。そして、視認対象認識手段731は、当該視線の情報及び映像情報に基づき、搭乗者の視線方向の視認対象物を認識し、認識結果を視認物学習手段732へ送る。そして、視認物学習手段732は、当該認識された視認対象物に関する特徴である視認特徴を学習することで、搭乗者の視線特徴を学習する。
【0045】
また、車両CRの搭乗者に対して案内誘導を行う際には、生成手段740が、視線特徴学習手段730による視線特徴の学習結果に基づいて、案内誘導情報を生成する。引き続き、生成手段740は、提示手段750を利用して、当該案内誘導情報を画像、音声等により、車両CRの搭乗者に提示する。
【0046】
したがって、本発明の実施形態によれば、搭乗者の視線方向の推移の傾向を利用して、搭乗者の利便性を向上させることができる。
【0047】
なお、上記の実施形態では、ナビゲーション装置700は、撮影手段720を備える構成としたが、当該撮影手段720は必須ではなく、撮影手段720を備えない構成とすることができる。この場合においては、視線特徴学習手段730は、視認対象認識手段731と、視認物学習手段732とを備える必要はなく、視線検出手段710から受けた視線の情報に基づいて、搭乗者の視線特徴としての視線方向の傾向を学習するようにすることができる。
【0048】
また、上記の実施形態のナビゲーション装置700を、演算手段としてのコンピュータを備えて構成し、視線検出手段710、撮影手段720及び提示手段750を除く上述した各手段の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、CD−ROM,DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。
【実施例】
【0049】
以下、本発明のナビゲーション装置の一実施例を、図2〜図9を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。
【0050】
図2には、一実施例に係るナビゲーション装置100の概略的な構成が示されている。なお、ナビゲーション装置100は、上述した一実施形態のナビゲーション装置700(図1参照)の一態様となっている。このナビゲーション装置100は、車両CRに搭載されており、車両CRに装備された車速センサ290と接続されている。
【0051】
なお、本実施例においては、車両CRの交差点への接近時における案内誘導を行うナビゲーション装置を例示して説明する。
【0052】
[構成]
この図2に示されるように、ナビゲーション装置100は、制御ユニット110と、記憶ユニット120とを備えている。また、ナビゲーション装置100は、提示手段750の一部としての音出力ユニット130と、提示手段750の一部としての表示ユニット140と、操作入力ユニット150とを備えている。さらに、ナビゲーション装置100は、走行情報取得ユニット160と、GPS(Global Positioning System)受信ユニット165と、視線検出手段710としてのアイカメラユニット170と、撮影手段720としての周辺撮影用カメラユニット180とを備えている。
【0053】
上記の制御ユニット110は、ナビゲーション装置100の全体を統括制御する。この制御ユニット110については、後述する。
【0054】
上記の記憶ユニット120は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット120は、ナビゲーション用情報(NVI)、視線特徴情報(CAI)等の様々なデータを記憶する。この記憶ユニット120には、制御ユニット110がアクセスできるようになっている。
【0055】
上記のナビゲーション用情報(NVI)には、地図データ、POI(Point Of Interests)データ、背景データ等のナビゲーションのために利用される様々なデータが記憶されている。これらのデータは、制御ユニット110によって読み取られるようになっている。
【0056】
上記の視線特徴情報(CAI)には、図3に示されるように、交差点についての個別視線特徴情報CAAj(j=0,1,…)が登録されている。ここで、個別視線特徴情報CAAk(k=1,2,…)は、交差点CPk(k=1,2,…)への接近時における搭乗者の視線特徴情報である。また、個別視線特徴情報CAA0は、交差点CPk(k=1,2,…)すべてについての搭乗者の視線特徴情報である。なお、以下の説明においては、交差点CP1,CP2,…を「特定交差点」、それ以外の交差点を「一般交差点」とも記すこととする。
【0057】
この個別視線特徴情報CAAj(j=0,1,…)は、図4に示されるように、集中視認対象物情報と、視認回数情報とを含んでいる。ここで、集中視認対象物情報には、後述するように、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」のうち、視線の集中の度合いが大きい視認対象物が登録されている。そして、視線の集中の度合いが大きい視認対象物の種別が複数ある場合には、当該視認対象物ごとに、視認回数が対応付けられて登録される。
【0058】
図2に戻り、上記の音出力ユニット130は、スピーカを備えて構成され、制御ユニット110から受信した音声データに対応する音声を出力する。この音出力ユニット130は、制御ユニット110による制御のもとで、ナビゲーション処理に際して、交差点への接近時における案内誘導情報、車両CRの進行方向、走行状況、交通状況等の案内音声を出力する。
【0059】
上記の表示ユニット140は、液晶パネル等の表示デバイスを備えて構成され、制御ユニット110から受信した表示データに対応する画像を表示する。この表示ユニット140は、制御ユニット110による制御のもとで、ナビゲーション処理に際して、交差点への接近時における案内誘導情報、地図情報、ルート情報等の画像、ガイダンス情報等を表示する。
【0060】
上記の操作入力ユニット150は、ナビゲーション装置100の本体部に設けられたキー部、及び/又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット140の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。
【0061】
この操作入力ユニット150を利用者が操作することにより、ナビゲーション装置100の動作内容の設定や動作指令が行われる。例えば、ナビゲーション処理におけるルート探索に関する目的地等の設定を、利用者が操作入力ユニット150を利用して行う。こうした入力内容は、操作入力データとして、操作入力ユニット150から制御ユニット110へ向けて送られる。
【0062】
上記の走行情報取得ユニット160は、加速度センサ、角速度センサ等を備えて構成されており、車両に作用している加速度、角速度を検出する。また、走行情報取得ユニット160は、ナビゲーション装置100と、車両CRに搭載されている車速センサ290との間におけるデータ授受に関して利用され、車速センサ290による検出結果である速度データを取得する。こうして得られた各データは、走行データとして制御ユニット110へ送られる。
【0063】
上記のGPS受信ユニット165は、複数のGPS衛星からの電波の受信結果に基づいて、車両CRの現在位置を算出する。また、GPS受信ユニット165は、GPS衛星から送出された日時情報に基づいて、現在時刻を計時する。これらの現在位置および現在時刻に関する情報は、GPSデータとして制御ユニット110へ送られる。
【0064】
上記のアイカメラユニット170は、不図示のアイカメラと、データ処理部とを備えて構成されている。アイカメラは、車室内の前方上部位置に配置される。そして、アイカメラは、搭乗者の瞳孔等を、所定の周期で撮影する。データ処理部は、アイカメラによる撮影結果をデジタル形式に変換し、画像処理を行うことによって、視線の方向を検出する。こうして検出された視線の方向は、視線の情報(以下、単に「視線情報」とも記す)として、制御ユニット110へ送られる。なお、データ処理部が行う画像処理としては、EOG(Electoro Oculo Graph)法や角膜反射法等の種々の技術が適用される。
【0065】
上記の周辺撮影用カメラユニット180は、不図示の車載カメラと、データ処理部とを備えて構成されている。車載カメラは、ルームミラーの裏側に配置される。そして、車載カメラは、運転者の通常の目線に近い車両CRの進行方向の周辺を、所定の時間間隔で撮影する。データ処理部は、車載カメラによる撮影結果をデジタル形式に変換する。こうして車載カメラにより撮影されたデジタル形式のデータは、映像情報として、制御ユニット110へ送られる。
【0066】
本実施例では、車載カメラが車両CRの周辺を撮影する所定の時間間隔は、30映像フレーム/秒を想定している。また、アイカメラが搭乗者の瞳孔を撮影する所定の周期は、当該所定の時間間隔よりも短いことを想定している。
【0067】
次に、上記の制御ユニット110について説明する。この制御ユニット110は、中央処理装置(CPU)及びその周辺回路を備えて構成されている。制御ユニット110が様々なプログラムを実行することにより、上記の各種機能が実現されるようになっている。こうした機能の中には、上述した一実施形態における視認対象認識手段731、視認物学習手段732及び生成手段740としての機能も含まれている。
【0068】
この制御ユニット110は、走行情報取得ユニット160からの走行データ、及び、GPS受信ユニット165からのGPSデータに基づいて、記憶ユニット120中のナビゲーション用情報(NVI)及び視線特徴情報(CAI)を適宜参照し、搭乗者へのナビゲーション情報の提供処理を行う。こうしたナビゲーション情報の提供処理には、(a)搭乗者が指定する地域の地図を表示ユニット140の表示デバイスに表示するための地図表示、(b)車両が地図上のどこに位置するのか、また、どの方角に向かっているのかを算出し、表示ユニット140の表示デバイスに表示して利用者に提示するマップマッチング、(c)現在車両が存在する位置から、搭乗者が指定する任意の位置である目的地点までのルート探索、(d)設定されたルートに沿って目的地まで運転するときに、進行すべき方向等を的確にアドバイスするために行われる、表示ユニット140の表示デバイスへの案内誘導の表示のための制御、及び、音出力ユニット130のスピーカから案内誘導を行う音声を出力するための制御等の処理が含まれる。
【0069】
上述した提供処理(d)における案内誘導を行うために、制御ユニット110は、案内誘導に利用する交差点接近時における搭乗者の視線特徴を学習する。当該視線特徴の学習に関する処理については、後述する。
【0070】
また、制御ユニット110は、上述した提供処理(d)における案内誘導を行うに際して、車両CRの交差点への接近時においては、上述した搭乗者の視線特徴の学習結果に基づき、案内誘導情報を生成する。当該案内誘導情報の生成に関する処理については、後述する。
【0071】
[動作]
以上のようにして構成されたナビゲーション装置100の動作について、視線特徴情報の生成処理に主に着目して説明する。
【0072】
<視線特徴情報の生成処理>
まず、案内誘導に利用される視線特徴情報の生成処理について説明する。
【0073】
この視線特徴情報の生成処理に際しては、図5に示されるように、まず、ステップS11において、制御ユニット110が、車両CRが交差点へ接近し、交差点までの距離が所定距離になったか否かを判定する。なお、この所定距離は、搭乗者に案内誘導を行う開始地点から当該交差点までの距離であり、実験、シミュレーション、経験等により予め定められる。この判定の結果が否定的であった場合(ステップS11:N)には、ステップS11の処理が繰り返される。
【0074】
一方、ステップS11における判定の結果が肯定的になると(ステップS11:Y)、処理はステップS12へ進む。このステップS12では、制御ユニット110が、アイカメラユニット170及び周辺撮影用カメラユニット180を制御して、搭乗者の視線情報と、周辺の映像情報とを取得する。
【0075】
引き続き、ステップS13において、制御ユニット110が、交差点に進入したか否かを判定する。この判定の結果が否定的であった場合(ステップS13:N)には、処理はステップS12へ戻る。以後、ステップS13における判定の結果が肯定的となるまで、ステップS12,S13の処理が繰り返される。
【0076】
ここで、制御ユニット110が、交差点に進入したか否かを判定するのは、交差点での案内誘導に必要な搭乗者の視線特徴は、交差点進入時までであることによる。
【0077】
一方、ステップS13における判定の結果が肯定的になると(ステップS13:Y)、処理はステップS14へ進む。ステップS14では、制御ユニット110が、アイカメラユニット170からの搭乗者の視線情報と、周辺撮影用カメラユニット180からの映像情報とに基づいて、個別視線特徴情報を生成する。
【0078】
かかる個別視線特徴情報の生成に際して、制御ユニット110は、まず、周辺撮影用カメラユニット180からの映像情報の各映像フレームにおける、アイカメラユニット170から視線情報として報告された視線方向に対応する位置を時間順次で求める(図6参照)。そして、制御ユニット110は、映像情報に含まれる視認対象物を、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」に分類し、視線情報が検出された各時点における搭乗者の視線が、どの種別の視認対象物を指していたかを認識する(図7参照)。引き続き、制御ユニット110は、各映像フレームについて、種別ごとに分類された視認対象物の認識の回数を、内部に保持する(図8参照)。
【0079】
制御ユニット110は、上述した処理を、今回の撮影結果におけるすべての映像フレームに対して行い、種別ごとに分類された視認対象物の認識の回数を累積する。そして、制御ユニット110は、車両CRが通過した交差点について、この累積結果を視認回数情報とする個別視線特徴情報CAAjの更新を行うとともに、当該累積結果において、視線の集中の度合いが大きい視認対象物を集中視認対象物情報とする個別視線特徴情報CAAjの更新を行う。なお、当該集中の度合いが大きい視認対象物が複数存在する場合には、視認回数と対応付けて視認対象物を登録するようにしておく。
【0080】
また、この更新処理と並行して、制御ユニット110は、すべての交差点についての搭乗者の視線特徴情報である個別視線特徴情報CAA0の更新を行う。
【0081】
<案内誘導情報の提示処理>
次に、視線特徴を利用した案内誘導情報の提示処理について説明する。
【0082】
この案内誘導情報の提示処理に際しては、図9に示されるように、まず、ステップS21において、制御ユニット110が、車両CRが交差点へ接近し、当該案内誘導すべき交差点までの距離が所定距離になったか否かを判定する。この判定の結果が否定的であった場合(ステップS21:N)には、ステップS21の処理が繰り返される。
【0083】
一方、ステップS21における判定の結果が肯定的になると(ステップS21:Y)、処理はステップS22へ進む。
【0084】
ステップS22では、制御ユニット110が、記憶ユニット120にアクセスして、当該交差点についての個別視線特徴情報が存在するか否かを判定する。この判定の結果が肯定的であった場合(ステップS22:Y)には、処理はステップS23へ進む。
【0085】
ステップS23では、制御ユニット110が、当該交差点についての個別視線特徴情報CAAjに含まれる集中視認対象物情報の内容を読み出す。この後、処理はステップS25へ進む。
【0086】
一方、ステップS22における判定の結果が否定的であった場合(ステップS22:N)には、処理はステップS24へ進む。ステップS24では、制御ユニット110が、一般交差点についての個別視線特徴情報CAA0に含まれる集中視認対象物情報の内容を読み出す。この後、処理はステップS25へ進む。
【0087】
ステップS25では、制御ユニット110が、当該集中視認対象物情報に関する情報を反映した案内誘導情報を生成する。例えば、視線の集中の度合いが大きいと判断できる視認対象物の種別が、視線の集中度合いが大きい順に、「建物」と「標識、行先案内板」とであるならば、制御ユニット110は、建物を案内してから、標識や行先案内板による提示情報に対応する案内誘導をするための案内誘導情報を生成する。
【0088】
引き続き、ステップS26において、制御ユニット110が、当該案内誘導情報に関する内容の音声データを生成して音出力ユニット130へ出力するとともに、当該案内誘導情報に関する内容の画像データを生成して表示ユニット140へ出力する。この結果、当該案内誘導情報に関する内容が、音出力ユニット130のスピーカから音声で出力されるとともに、当該案内誘導情報に関する内容が、映像として表示ユニット140の表示デバイスに表示される。
【0089】
以上説明したように、本実施例では、制御ユニット110が、車両CRの交差点への接近に際して、アイカメラユニット170及び周辺撮影用カメラユニット180を制御し、搭乗者の視線情報及び周辺の映像情報を取得する。そして、制御ユニット110は、周辺撮影用カメラユニット180からの映像情報の各映像フレームにおける、アイカメラユニット170から報告された視線方向に対応する位置を時間順次で求める。そして、制御ユニット110は、映像情報に含まれる視認対象物を、「建物」、「標識、行先案内板」等の種別に分類して、視線情報が検出された各時点における搭乗者の視線が、どの種別の視認対象物を指していたかを認識する。
【0090】
制御ユニット110は、この処理を、すべての映像フレームに対して行い、種別ごとに分類された視認対象物の認識の回数を累積する。そして、累積値に基づき、搭乗者の視線が集中する視認対象物についての視線特徴を学習する。
【0091】
また、制御ユニット110は、車両CRの交差点への接近時に、上述した搭乗者の視線特徴の学習結果に基づき、案内誘導情報を生成する。そして、制御ユニット110は、音出力ユニット130及び表示ユニット140を利用して、車両CRの搭乗者に対して案内誘導を行う。
【0092】
したがって、本実施例によれば、搭乗者の視線方向の推移の傾向を利用して、搭乗者の利便性を向上させることができる。
[実施例の変形]
本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。
【0093】
例えば、上記の実施例では、制御ユニットは、視線の集中の度合いが大きいと判断できる視認対象物の種別が複数ある場合には、当該集中の大きい順に案内誘導情報を生成することとした。これに対して、制御ユニットは、視認回数が最も多い種別の視認対象物に関する情報を反映した案内誘導情報を生成するようにしてもよい。
【0094】
また、上記の実施例では、車両が交差点を通過するたびに、新たに得られた個別視線特徴情報の更新を行うこととした。これに対して、同一交差点を通過した際の過去から現在までの累積データに基づき、集中視認対象物を導出するようにしてもよい。ここで、最新の取得データにより重み付けをする所定の解析方法により集中視認対象物を導出するようにしてもよい。
【0095】
また、上記の実施例では、制御ユニットは、視認対象物の認識の回数を視認対象物の種別ごとに分類して累積した累積値を考慮して、視認特徴の学習を行った。これに対して、制御ユニットは、視認対象物の認識結果の時間的変化を考慮して、視認特徴の学習を行うようにしてもよい。この場合においては、制御ユニットは、当該認識結果の時間的変化に応じた案内誘導を行うようにすればよい。この場合には、搭乗者の視線の時間的な変化に関する習性等に応じた案内誘導情報を提供することができる。
【0096】
また、上記の実施例では、ナビゲーション装置は、周辺撮影用カメラユニットを備える構成としたが、周辺撮影用カメラユニットを備えない構成としてもよい。この場合においては、制御ユニットは、例えば、搭乗者の視線が右側(左側)に集中する等の視線特徴を学習する。そして、案内誘導時には、搭乗者の視線が集中する方向に存在する建物等をキーにして、案内誘導を行うようにすればよい。
【0097】
また、上記の実施例では、視認対象物の認識の回数を各映像フレームから抽出したが、例えば、10映像フレームごとに視認対象物の抽出を行う等、搭乗者の視線特徴を学習することができるものであれば、実施例の方法に限定されるものではない。
【0098】
また、上記の実施例では、映像情報に含まれる視認対象物を、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」の6個の種別に分類したが、さらに、「建物」を「住宅」と「店舗」に分ける等、種別の分類方法は、いかなるものであってもよい。
【0099】
また、上記の実施例では、すべての交差点について搭乗者の視線特徴を学習し、当該交差点を通過する際に、案内誘導を行うこととした。これに対して、交差点の種類を、例えば、「都会」の交差点と「地方」の交差点とに分けて、搭乗者の視線特徴を学習するようにしてもよい。この場合は、車両が都会の交差点に進入する際には、「都会」の交差点についての視線特徴に基づいた案内誘導を行い、車両が地方の交差点に進入する際には、「地方」の交差点についての視線特徴に基づいた案内誘導を行うようにしてもよい。
【0100】
また、上記の実施例では、視線特徴の学習と並行して案内誘導を行うこととしたが、例えば、予定走行ルートを走行している間は、視線特徴の学習を行わない等、モード設定の切り替えが行えるのは勿論である。
【0101】
また、上記の実施例では、車両の交差点への接近に際して視線特徴を学習することとした。これに対して、車両の交差点への接近の際に限らず、例えば、直線道路の走行中に、走行経路上に特徴的な建造物(ランドマーク)等があると想定される場合に、当該特徴的な建造物等に対する視線特徴を学習するようにすることができる。
【0102】
また、上記の実施例では、アイカメラユニットが搭乗者の瞳孔等を撮影し、撮影結果に対して画像処理を行うことで、視線の方向を検出した。これに対して、制御ユニットが、アイカメラユニットから搭乗者の瞳孔等の撮影結果を受け、当該撮影結に対して画像処理を行うことで、視線の方向を解析するようにしてもよい。
【0103】
また、上記の実施例では、コンピュータによるプログラムの実行により、視線検出手段、撮影手段及び提示手段を除く各手段の機能を実現するようにしたが、これらの各手段の全部又は一部を、専用のLSI(Large Scale Integrated circuit)等を用いたハードウェアにより構成するようにしてもよい。
【図面の簡単な説明】
【0104】
【図1】本発明の一実施形態に係るナビゲーション装置の構成を説明するためのブロック図である。
【図2】本発明の一実施例に係るナビゲーション装置の構成を概略的に説明するためのブロック図である。
【図3】図2の視線特徴情報(CAI)の構成を説明するための図である。
【図4】図3の個別視線特徴情報(CAAj)の構成を説明するための図である。
【図5】図2のナビゲーション装置による視線特徴情報の生成処理を説明するためのフローチャートである。
【図6】映像フレームにおける視線方向に対応する位置を説明するための図である。
【図7】視認対象物の種別について説明するための図である。
【図8】映像フレームごとの視認対象物の認識の回数を示す図である。
【図9】図2のナビゲーション装置による案内誘導情報の提示処理を説明するためのフローチャートである。
【符号の説明】
【0105】
100 … ナビゲーション装置
110 … 制御ユニット(視認対象認識手段、視認物学習手段、生成手段)
130 … 音出力ユニット(提示手段の一部)
140 … 表示ユニット(提示手段の一部)
170 … アイカメラユニット(視線検出手段)
180 … 周辺撮影用カメラユニット(撮影手段)
700 … ナビゲーション装置
710 … 視線検出手段
720 … 撮影手段
730 … 視線特徴学習手段
731 … 視認対象認識手段
732 … 視認物学習手段
740 … 生成手段
750 … 提示手段

【特許請求の範囲】
【請求項1】
車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置であって、
前記搭乗者の視線の情報を検出する視線検出手段と;
前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習手段と;
前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成手段と;
前記生成された案内誘導情報を提示する提示手段と;
を備えることを特徴とするナビゲーション装置。
【請求項2】
前記車両の前方を含む周辺を撮影して映像情報を取得する撮影手段を更に備え、
前記視線特徴学習手段は、
前記視線の情報と、前記映像情報とに基づいて、前記搭乗者の視線方向の視認対象物を認識する視認対象認識手段と;
前記認識された視認対象物に関する特徴である視認特徴を学習することにより、前記視線特徴を学習する視認物学習手段と;を備える、
ことを特徴とする請求項1に記載のナビゲーション装置。
【請求項3】
前記視認対象認識手段は、所定時間ごとに前記視認対象物を認識し、
前記視認物学習手段は、前記視認対象認識手段による前記視認対象物の認識の回数を前記視認対象物の種別ごとに分類して累積した累積値を考慮して、前記視認特徴の学習を行う、
ことを特徴とする請求項2に記載のナビゲーション装置。
【請求項4】
前記視認物学習手段は、前記視認対象物の認識結果の時間的変化を考慮して、前記視認特徴の学習を行う、ことを特徴とする請求項2又は3に記載のナビゲーション装置。
【請求項5】
前記視線特徴学習手段は、前記車両の交差点への接近の際に、前記視線特徴を学習する、ことを特徴とする請求項1〜4のいずれか一項に記載のナビゲーション装置。
【請求項6】
車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置において使用される案内方法であって、
前記搭乗者の視線の情報を検出する視線検出工程と;
前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習工程と;
前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成工程と;
前記生成された案内誘導情報を提示する提示工程と;
を備えることを特徴とする案内誘導方法。
【請求項7】
請求項6に記載の案内誘導方法を演算手段に実行させる、ことを特徴とする案内誘導プログラム。
【請求項8】
請求項7に記載の案内誘導プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2010−85203(P2010−85203A)
【公開日】平成22年4月15日(2010.4.15)
【国際特許分類】
【出願番号】特願2008−253618(P2008−253618)
【出願日】平成20年9月30日(2008.9.30)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】