車載用エージェントシステム
【課題】 車載システムに関し、特に車載機器と連携する三次元キャラクタ映像が車室空間内を自由に移動して乗員をアシストする車載用エージェントシステムを提供する。
【解決手段】車載用エージェントシステムは、車両空間内に三次元キャラクタ映像によるエージェントを配置して、乗員に対するアシストを行う車載用エージェントシステムが提供される。前記システムは、前記キャラクタ映像を車室空間内で自由に移動させ、アシストと関連する適切な位置でアシストを行うアシスト手段を有する。さらに、前記キャラクタ映像の発音手段を有し、前記発音手段は前記アシストと関連する適切な位置にその音像を定位させる。
【解決手段】車載用エージェントシステムは、車両空間内に三次元キャラクタ映像によるエージェントを配置して、乗員に対するアシストを行う車載用エージェントシステムが提供される。前記システムは、前記キャラクタ映像を車室空間内で自由に移動させ、アシストと関連する適切な位置でアシストを行うアシスト手段を有する。さらに、前記キャラクタ映像の発音手段を有し、前記発音手段は前記アシストと関連する適切な位置にその音像を定位させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車載システムに関し、特にナビゲーション装置等の車載機器と連携してエージェントが種々の案内処理を実行する車載用エージェントシステムに関するものである。
【背景技術】
【０００２】
従来のナビゲーション装置には、車両の進行案内や操作案内を行う際に、ディスプレイ画面上に案内キャラクタ（エージェント）を登場させて対話形式で操作者を支援するもの（特許文献１）、そのエージェントの行為を学習し、所定の心理モデルに基づいてエージェントの表情を変化させるもの（特許文献２）、ナビゲーション装置と連携する案内人形を使用してルートガイドを行わせるもの（特許文献３）、等の種々のものが存在していた。
【０００３】
【特許文献１】特開２０００−３１４６３５号公報
【特許文献２】特開２０００−１８６９４２号公報
【特許文献３】特開２００２−７１３７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来のメッセージ、画面、エージェント等の案内手段は、いずれもナビゲーション装置のディスプレイ画面上に表示されるものであった。そのため、それらを確認する際には、ドライバーが車両の進行方向から一時的にナビゲーション装置の方へ視線を移動させ、さらにそのディスプレイ画面の中で案内事項を見つける必要があった。
【０００５】
このことは、運転中はその案内を確認することが困難であるという問題があった。つまり、ドライバーが進行方向に注力している最中に、その注意を引きたい事象が発生してもドライバーに対して適切なアシストができないという問題があった。また、ナビゲーション装置と連携する案内人形をドライバー前面のダッシュボード上に固定配置する場合には、前記視線の移動は小さくなるが、ドライバーの前方視界確保のためその人形は小型にせざるを得ず、案内を確認し難い等の問題があった。
【０００６】
さらに、従来のエージェントは、固定されたディスプレイ位置で且つ制限されたその表示領域内において動作する案内キャラクタ又は擬人化されたエージェントであるため、如何にエージェントに案内動作を学習させ、またある心理モデルに基づいてその動作表現を変化させても、エージェントとの会話は形式的なものとなり、またアシスト可能な範囲もディスプレイ画面上で明確に指示できる事項に限定されていた。そのため、従来のエージェントでは、ドライバーが満足のいくアシストサービスを提供できないという問題があった。
【０００７】
そこで本発明の目的は、上記種々の問題点に鑑み、アシスト状態に応じて、車室空間内をバーチャルキャラクタ等で構成されたエージェントが自由に移動でき、且つそのエージェントの形状、大きさ、色、コントラスト、透明度等をそのアシスト状態に応じて適宜可変することで、快適で確実なアシストを提供できる車載用エージェントシステムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明によれば、車両空間内に三次元キャラクタ映像によるエージェントを配置して、乗員に対するアシストを行う車載用エージェントシステムが提供される。前記システムは、前記キャラクタ映像を車室空間内で自由に移動させ、アシストと関連する適切な位置でアシストを行うアシスト手段を有する。さらに、前記キャラクタ映像の発音手段を有し、前記発音手段は前記アシストと関連する適切な位置にその音像を定位させる。
【０００９】
前記キャラクタ映像は、アシストするときの内容に応じて自己の形態を変化させる。前記自己の形態を変化させることは、前記キャラクタ映像の形状、大きさ、色、トーンの少なくとも１つを変化させること、及び／又は前記キャラクタ映像をフラッシングすることが含まれる。アシストが警告の場合は、はじめの警告で前記キャラクタ映像の形状の全部又は一部を拡大すること、その後の警告で前記拡大されたキャラクタ映像をさらにフラッシングすることを含む。
【００１０】
アシストしないときは、前記キャラクタ映像の存在による影響を少なくする処理を行う。前記処理は、前記キャラクタ映像の形状を小さくすること、前記キャラクタ映像のトーンを下げること、前記キャラクタ映像を消失させること、前記キャラクタ映像をドライバーの前方視界を外れた位置に移動させること、の少なくとも１つを含む。
【発明の効果】
【００１１】
本発明によれば、三次元空間のキャラクタ映像でエージェントを表示するため、視覚による動作（案内や警告等）の判断が容易となり、エージェントに対する親近感も増す。このため、従来のエージェントと比べてアシスト効果が向上し、エージェントに対するより自然な対話も可能となる。
【００１２】
また、前記エージェントは、アシスト状態に応じて車室空間内の適当な場所に自由に移動できるため、アシストの見落としが防止され、アシスト対象の確認が容易となる。例えば、アシスト時にエージェントがドライバーの正面に出現することでアシストの見落としが防止され、またエージェントがバックミラー等のアシスト対象近傍へ移動するため容易にアシスト対象を確認することができる。
【００１３】
さらに、前記エージェントは、アシスト状態に応じてその形状、大きさ、色、コントラスト、透明度等を適宜可変できるため、視認による確実なアシストを提供できる。例えば、形状を大きくすることでドライバーの注意が確実に喚起され、また色を変化させることで、緊急時の赤色系の表示によってアシストが直感的に判断できるようになる。それにフラッシングを併用することで、より確実にドライバーの注意を喚起させることができる。
【００１４】
一方、アシスト不要時にはエージェントを別の場所に移動させたり、小さくしたり、消滅させたり、及び／又はその透明度を上げたりすることで、キャラクタの存在による影響を少なくした従来に近い環境での安全な運転が実現される。他にも、アシスト時に音響制御を用いてエージェントの位置とその音像位置とを一致させ、これによって一層確実で且つフレンドリーなアシストを実現することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明による車載用エージェントシステムの構成概要を示したものである。
図１において、車両１の車室内にはナビゲーション装置２が設置されており、またナビゲーション装置２の内部には、そのナビゲーション機能と連携して動作する本発明の車載用エージェントシステムが組み込まれている。なお、以降で説明する具体例では、エージェントにバーチャルなキャラクタを使用するため、そこではエージェントを単に「キャラクタ」とよぶことにする。
【００１６】
キャラクタコントローラ３は、車室空間内に３次元映像で投影されるキャラクタの画像データやそのキャラクタを用いるエージェントプログラム／データ等を格納するエージェントデータベース３０を備えている。本例のキャラクタコントローラ３には、車室内外の周囲状況データを入力するカメラ６と、ドライバーの視線を検知する視線センサ７と、キャラクタに対するドライバーからの音声指示等が入力されるマイク５と、キャラクタが発する音声案内や警告音等をドライバーに出力するスピーカ４と、車室空間内にキャラクタを３次元映像で投影するキャラクタ３次元空間投影機８と、車両速度等の車両状態を検知する車両センサ９と、が接続されている。
【００１７】
前記３次元空間投影機８には、例えばマイクロレンズアレイを使用して３次元空間内に立体表現や動画表現を可能にする手法が用いられる。この手法は、特開２００３−３３３６２３号公報、特開２００３−１５６７１２号公報、特開２０００−１１５８１２号公報、等の公知文献に詳細に説明されている。なお、前記スピーカ４、マイク５、車両センサ９等は、通常のナビゲーション機能においても使用される。
【００１８】
図２には、図１のキャラクタコントローラ３のより具体的な構成例を示している。ここでは、図１と同じ部分に同じ引用符号を付している。
図２において、マイコン３６は、様々な状況に応じた適切なアシストをドライバーに対して行うため、視線センサ７によってドライバーの視線方向を検知し、カメラ６を使って車両内外の周辺状況を判定し、また車両センサ９の各種センサ（車速センサ、方位センサ、等）を用いて現在の車両状況を判定する。視線センサ７や車両センサ９等からの信号はインタフェース３５、３８を介してマイコン３６へ入力される。
【００１９】
この判定結果に基づき、マイコン３６は、該当する案内や警告を行うキャラクタの種別、その動作、表情、大きさ、色等を備えたキャラクタ画像データをエージェントデータベース（ＤＢ）３０から読み出して、それを３Ｄ画像処理部３７へ転送する。３Ｄ画像処理部３７では、受信した転送データを３Ｄ画像データに変換し、それを３Ｄ投影機８に出力する。
【００２０】
３Ｄ投影機８では、その内部において（図示せず）、受信した３Ｄ画像データを一旦液晶パネル等からなる表示部に表示し、その表示された３Ｄ画像は前記表示部の次段に配置されたマイクロレンズアレイを通じて外部に投影される。マイコン３６は、その際に３Ｄ投影機８を制御して（本例では３Ｄ画像処理部３７を通じて制御）、投影される３Ｄキャラクタ映像１０を車室空間内の所定の場所に結像させる。なお、前述した公知文献にはこれらの具体的な仕組みの例が記載されている。
【００２１】
また、マイコン３６は、３Ｄキャラクタ映像１０の結像位置から案内音声や警告音が発せられるように音像の定位制御も行う。マイコン３６は定位制御部３１を制御して、音声合成部３２から出力される案内信号等の音像を３Ｄキャラクタ映像１０の結像位置へ移動させる。簡易には、定位制御部３１に接続する複数のスピーカ（ＳＰ１〜ＳＰ４）４の各音量レベルを制御して音像を移動させる。
【００２２】
本例ではさらに、複数のマイク（ＭＩＣ１、ＭＩＣ２）５を使用して、外部音声や外部音の入力検知方向を選択できるようにしている。ここでは、簡易なスイッチ部３３を使ってＭＩＣ１又はＭＩＣ２のいずれか一方を選択するが、それらの合成制御を行って入力検知方向を細かく可変できるようにしてもよい。ドライバーからの音声指示等は、スイッチ部３３を介して音声認識部３４に入力され、マイコン３６がその指示内容を解読して対応する案内処理等を実行する。
【００２３】
図３には、複数のスピーカＳＰ１〜ＳＰ４やマイクＭＩＣ１及びＭＩＣ２の車室内における配置の一例を示している。
本例では、車室内の四隅に、４個のスピーカ（ＳＰ１〜ＳＰ４）を配置して、それらを合成した音像が車室内のどの場所にも定位できるようにしている。本例では、マイコン３６がドライバーの膝元に投影された３Ｄキャラクタ映像（くまの人形）１０の位置に４個のスピーカの合成音像が定位するように制御する。このように、車室内を自由に移動する３Ｄキャラクタ映像１０の結像位置とその音像位置とを一致させることで、フレンドリーなアシストを実現することができる。
【００２４】
本例では、また、車室内のフロント側に２つのマイクが配置されており、これによって例えばドライバー方向からの音声入力を２つのマイクを使って合成して強調し、それ以外の方向からの音声信号をノイズとしてキャンセルするような処理が可能となる。また、複数のマイクを適宜配置することで、スピーカの場合と同様に、車室内を自由に移動する３Ｄキャラクタ映像１０の結像位置と音声入力位置とを一致させ、その一致場所の周辺音を収集できるようにしてもよい。
【００２５】
図４〜６は、本発明による車載用エージェントシステムの制御フローの一例を示したものである。また、図７〜９には、本発明による３Ｄキャラクタ映像の具体的な表示例を示している。
図４に示す車載用エージェントシステムの基本的な制御フローの処理は繰り返し実行される。ドライバーが先ず車両１のＡＣＣスイッチをオンにしたか判定する（Ｓ０１）。オンにしていれば、図１及び２に示す車両用エージェントシステムが動作を開始し、３Ｄ投影機８はデフォルトの３Ｄキャラクタ映像１０を車室空間内のデフォルト位置に投影する（Ｓ０３）。
【００２６】
次に、エージェントシステムがドライバーに対して何らかのアシストを行っている状況か否かを判定し（Ｓ０４）、アシスト中でなければ３Ｄキャラクタ映像１０をトーンダウン（透明度を増す）するか、その形状を小さくするか、及び／又はデフォルト位置へ移動させる（Ｓ０５）。
【００２７】
図７には、ステップＳ０５の状態における３Ｄキャラクタ映像１０の一例を示している。本例では、３Ｄキャラクタ映像（くまの人形）１０が小さく表示され且つトーンダウンによってその後方が透けて見えるようになっている（点線の輪郭で透明感を表している）。他には、３Ｄキャラクタを前方視界から外れる所定位置に移動させるか、又は３Ｄキャラクタ自体を消失させるようにしてもよい。これにより、ドライバーの前方視界を遮るものが除かれて安全な運転が可能となる。
【００２８】
エージェントシステムがドライバーに対して何らかのアシストを行っている状況の場合には（Ｓ０４）、次に案内警報が必要な場合か否かを判定し（Ｓ０６）、不要な場合には３Ｄキャラクタ映像１０を通常トーン及び通常のキャラクタサイズに設定してから次段のキャラクタ処理ルーチンを実行する（Ｓ０７及び０８）。
【００２９】
図５には、キャラクタ処理ルーチン（Ｓ０８）の一例を示している。この処理は、キャラクタ表示時に繰り返し実行される。
ここでは、一例として、車室空間内を自由に動き回れる３Ｄキャラクタ映像（くまの人形）１０が図３で示したようにドライバーの膝元にいたと仮定する。その後、左折／右折指示や音声案内等を行う「ナビ、案内時」になると、くまの人形１０がドライバーの前方視野内に移動して、該当するナビゲーション動作を行う（Ｓ２１及び２５）。
【００３０】
図８には、ナビゲーション動作として、ドライバー前方に移動した３Ｄキャラクタ映像（くまの人形）１０が、左折指示の動作を行っている一例を示している。ここでは、図７のキャラクタ１０と比べてやや大きめの通常サイズのキャラクタ１０が用いられており、また通常トーンの使用によってキャラクタ１０の後方を見ることはできない。
【００３１】
図５に戻って、図１及び２のカメラ６で例えば後方車両の急接近等の「後方危険」を検知した時は、くまの人形１０が車室内のバックミラーの位置に移動して、ドライバーに注意を喚起する（Ｓ２２及び２６）。また、図１及び２の車両センサ９がガソリン切れ等による「車両異常」を検知した時には、くまの人形１０がインパネ部のガソリンメータ位置に移動して、ドライバーに注意を喚起する（Ｓ２３及び２７）。
【００３２】
上記の各事象（Ｓ２１〜２３）が検知されなければ、キャラクタ１０は「自由行動」で規定する所定の動作を実行する（Ｓ２４）。この場合の一例としては、くまの人形１０がそのままドライバーの膝元にいつづけることになる。
【００３３】
図４の制御フローは周期的に繰り返し実行される。そのため、次周期のアシスト中（Ｓ０４）における「案内警告の有無」の判定で（Ｓ０６）、前記「後方危険」や「車両異常」で検知された事象の警告が必要と判定すると（Ｓ０６）、該当位置（Ｓ２６又は２７）にいるくまの人形１０が目立つようにトーンアップ（濃い色）され、その警告処理ルーチンが実行される（Ｓ０９及び１０）。
【００３４】
図６には、警告処理ルーチン（Ｓ１０）の一例を示している。この処理は警告を行なう際に実行される。
ここでは、該当キャラクタがさらに目立つようにその全部又は一部が拡大される（Ｓ３１）。図９には、「後方危険」によりバックミラー１１の位置に移動したくまの人形１０のバックミラーを指し示す手が、拡大された例を示している。そして、例えば図１又は２の視線センサ７を用い、ドライバーが拡大されたキャラクタに視線を向けたことを確認すると「危険回避」と判定して警告処理を終了する（Ｓ３２）。反対に確認できなければ、拡大されたキャラクタをさらにフラッシングしてドライバーに一層の注意を喚起する（Ｓ３３）。図９には、前述した手の拡大に加えて、キャラクタ１０のフラッシング動作の一例も併せて示している。
【００３５】
本発明は、これまで説明してきた基本的な制御フロー以外にも種々のバリエーションが考えられる。例えば、警告処理において、３Ｄキャラクタ映像（くまの人形）１０に危険色（赤色系の色）を付したり、警告を示す別のキャラクタを登場させたりすることで、警告が直接視認できるようにしてもよい。また、ドライバー視線上の所定範囲内（視認可能範囲内）に３Ｄキャラクタ映像１０がないことを視線センサ７が検知した時には、ドライバーに対して確実な案内を行うために、前述した警告処理を実行させるようにしてもよい。
【００３６】
図４以降では主に視覚に関する制御について説明してきたが、図３の音響制御を併用すれば、さらに確実でフレンドリーなアシストを実現することができる。また、ナビゲーション装置以外の車載機器に対しても本発明を同様に適用することができる。例えば、ドライバーが車載テレビやＣＤプレーヤ等の使用方法等を質問してきた場合、本発明の３Ｄキャラクタ映像１０が当該機器の案内すべきスイッチ等の位置に移動し、そこで適当な案内を行うようにしてもよい。
【図面の簡単な説明】
【００３７】
【図１】車載用エージェントシステムの構成概要を示した図である。
【図２】キャラクタコントローラの構成例を示した図である。
【図３】車室内の音響設備の配置例を示した図である。
【図４】車載用エージェントシステムの制御フロー例（１）を示した図である。
【図５】車載用エージェントシステムの制御フロー例（２）を示した図である。
【図６】車載用エージェントシステムの制御フロー例（３）を示した図である。
【図７】３Ｄキャラクタ映像の表示例（１）を示した図である。
【図８】３Ｄキャラクタ映像の表示例（２）を示した図である。
【図９】３Ｄキャラクタ映像の表示例（３）を示した図である。
【符号の説明】
【００３８】
１ 車両
２ ナビゲーション装置
３ キャラクタコントローラ
４ スピーカ
５ マイク
６ カメラ
７ 視線センサ
８ キャラクタ３次元空間投影機
９ 車両センサ
１０ ３Ｄキャラクタ映像
１１ バックミラー
【技術分野】
【０００１】
本発明は車載システムに関し、特にナビゲーション装置等の車載機器と連携してエージェントが種々の案内処理を実行する車載用エージェントシステムに関するものである。
【背景技術】
【０００２】
従来のナビゲーション装置には、車両の進行案内や操作案内を行う際に、ディスプレイ画面上に案内キャラクタ（エージェント）を登場させて対話形式で操作者を支援するもの（特許文献１）、そのエージェントの行為を学習し、所定の心理モデルに基づいてエージェントの表情を変化させるもの（特許文献２）、ナビゲーション装置と連携する案内人形を使用してルートガイドを行わせるもの（特許文献３）、等の種々のものが存在していた。
【０００３】
【特許文献１】特開２０００−３１４６３５号公報
【特許文献２】特開２０００−１８６９４２号公報
【特許文献３】特開２００２−７１３７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来のメッセージ、画面、エージェント等の案内手段は、いずれもナビゲーション装置のディスプレイ画面上に表示されるものであった。そのため、それらを確認する際には、ドライバーが車両の進行方向から一時的にナビゲーション装置の方へ視線を移動させ、さらにそのディスプレイ画面の中で案内事項を見つける必要があった。
【０００５】
このことは、運転中はその案内を確認することが困難であるという問題があった。つまり、ドライバーが進行方向に注力している最中に、その注意を引きたい事象が発生してもドライバーに対して適切なアシストができないという問題があった。また、ナビゲーション装置と連携する案内人形をドライバー前面のダッシュボード上に固定配置する場合には、前記視線の移動は小さくなるが、ドライバーの前方視界確保のためその人形は小型にせざるを得ず、案内を確認し難い等の問題があった。
【０００６】
さらに、従来のエージェントは、固定されたディスプレイ位置で且つ制限されたその表示領域内において動作する案内キャラクタ又は擬人化されたエージェントであるため、如何にエージェントに案内動作を学習させ、またある心理モデルに基づいてその動作表現を変化させても、エージェントとの会話は形式的なものとなり、またアシスト可能な範囲もディスプレイ画面上で明確に指示できる事項に限定されていた。そのため、従来のエージェントでは、ドライバーが満足のいくアシストサービスを提供できないという問題があった。
【０００７】
そこで本発明の目的は、上記種々の問題点に鑑み、アシスト状態に応じて、車室空間内をバーチャルキャラクタ等で構成されたエージェントが自由に移動でき、且つそのエージェントの形状、大きさ、色、コントラスト、透明度等をそのアシスト状態に応じて適宜可変することで、快適で確実なアシストを提供できる車載用エージェントシステムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明によれば、車両空間内に三次元キャラクタ映像によるエージェントを配置して、乗員に対するアシストを行う車載用エージェントシステムが提供される。前記システムは、前記キャラクタ映像を車室空間内で自由に移動させ、アシストと関連する適切な位置でアシストを行うアシスト手段を有する。さらに、前記キャラクタ映像の発音手段を有し、前記発音手段は前記アシストと関連する適切な位置にその音像を定位させる。
【０００９】
前記キャラクタ映像は、アシストするときの内容に応じて自己の形態を変化させる。前記自己の形態を変化させることは、前記キャラクタ映像の形状、大きさ、色、トーンの少なくとも１つを変化させること、及び／又は前記キャラクタ映像をフラッシングすることが含まれる。アシストが警告の場合は、はじめの警告で前記キャラクタ映像の形状の全部又は一部を拡大すること、その後の警告で前記拡大されたキャラクタ映像をさらにフラッシングすることを含む。
【００１０】
アシストしないときは、前記キャラクタ映像の存在による影響を少なくする処理を行う。前記処理は、前記キャラクタ映像の形状を小さくすること、前記キャラクタ映像のトーンを下げること、前記キャラクタ映像を消失させること、前記キャラクタ映像をドライバーの前方視界を外れた位置に移動させること、の少なくとも１つを含む。
【発明の効果】
【００１１】
本発明によれば、三次元空間のキャラクタ映像でエージェントを表示するため、視覚による動作（案内や警告等）の判断が容易となり、エージェントに対する親近感も増す。このため、従来のエージェントと比べてアシスト効果が向上し、エージェントに対するより自然な対話も可能となる。
【００１２】
また、前記エージェントは、アシスト状態に応じて車室空間内の適当な場所に自由に移動できるため、アシストの見落としが防止され、アシスト対象の確認が容易となる。例えば、アシスト時にエージェントがドライバーの正面に出現することでアシストの見落としが防止され、またエージェントがバックミラー等のアシスト対象近傍へ移動するため容易にアシスト対象を確認することができる。
【００１３】
さらに、前記エージェントは、アシスト状態に応じてその形状、大きさ、色、コントラスト、透明度等を適宜可変できるため、視認による確実なアシストを提供できる。例えば、形状を大きくすることでドライバーの注意が確実に喚起され、また色を変化させることで、緊急時の赤色系の表示によってアシストが直感的に判断できるようになる。それにフラッシングを併用することで、より確実にドライバーの注意を喚起させることができる。
【００１４】
一方、アシスト不要時にはエージェントを別の場所に移動させたり、小さくしたり、消滅させたり、及び／又はその透明度を上げたりすることで、キャラクタの存在による影響を少なくした従来に近い環境での安全な運転が実現される。他にも、アシスト時に音響制御を用いてエージェントの位置とその音像位置とを一致させ、これによって一層確実で且つフレンドリーなアシストを実現することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明による車載用エージェントシステムの構成概要を示したものである。
図１において、車両１の車室内にはナビゲーション装置２が設置されており、またナビゲーション装置２の内部には、そのナビゲーション機能と連携して動作する本発明の車載用エージェントシステムが組み込まれている。なお、以降で説明する具体例では、エージェントにバーチャルなキャラクタを使用するため、そこではエージェントを単に「キャラクタ」とよぶことにする。
【００１６】
キャラクタコントローラ３は、車室空間内に３次元映像で投影されるキャラクタの画像データやそのキャラクタを用いるエージェントプログラム／データ等を格納するエージェントデータベース３０を備えている。本例のキャラクタコントローラ３には、車室内外の周囲状況データを入力するカメラ６と、ドライバーの視線を検知する視線センサ７と、キャラクタに対するドライバーからの音声指示等が入力されるマイク５と、キャラクタが発する音声案内や警告音等をドライバーに出力するスピーカ４と、車室空間内にキャラクタを３次元映像で投影するキャラクタ３次元空間投影機８と、車両速度等の車両状態を検知する車両センサ９と、が接続されている。
【００１７】
前記３次元空間投影機８には、例えばマイクロレンズアレイを使用して３次元空間内に立体表現や動画表現を可能にする手法が用いられる。この手法は、特開２００３−３３３６２３号公報、特開２００３−１５６７１２号公報、特開２０００−１１５８１２号公報、等の公知文献に詳細に説明されている。なお、前記スピーカ４、マイク５、車両センサ９等は、通常のナビゲーション機能においても使用される。
【００１８】
図２には、図１のキャラクタコントローラ３のより具体的な構成例を示している。ここでは、図１と同じ部分に同じ引用符号を付している。
図２において、マイコン３６は、様々な状況に応じた適切なアシストをドライバーに対して行うため、視線センサ７によってドライバーの視線方向を検知し、カメラ６を使って車両内外の周辺状況を判定し、また車両センサ９の各種センサ（車速センサ、方位センサ、等）を用いて現在の車両状況を判定する。視線センサ７や車両センサ９等からの信号はインタフェース３５、３８を介してマイコン３６へ入力される。
【００１９】
この判定結果に基づき、マイコン３６は、該当する案内や警告を行うキャラクタの種別、その動作、表情、大きさ、色等を備えたキャラクタ画像データをエージェントデータベース（ＤＢ）３０から読み出して、それを３Ｄ画像処理部３７へ転送する。３Ｄ画像処理部３７では、受信した転送データを３Ｄ画像データに変換し、それを３Ｄ投影機８に出力する。
【００２０】
３Ｄ投影機８では、その内部において（図示せず）、受信した３Ｄ画像データを一旦液晶パネル等からなる表示部に表示し、その表示された３Ｄ画像は前記表示部の次段に配置されたマイクロレンズアレイを通じて外部に投影される。マイコン３６は、その際に３Ｄ投影機８を制御して（本例では３Ｄ画像処理部３７を通じて制御）、投影される３Ｄキャラクタ映像１０を車室空間内の所定の場所に結像させる。なお、前述した公知文献にはこれらの具体的な仕組みの例が記載されている。
【００２１】
また、マイコン３６は、３Ｄキャラクタ映像１０の結像位置から案内音声や警告音が発せられるように音像の定位制御も行う。マイコン３６は定位制御部３１を制御して、音声合成部３２から出力される案内信号等の音像を３Ｄキャラクタ映像１０の結像位置へ移動させる。簡易には、定位制御部３１に接続する複数のスピーカ（ＳＰ１〜ＳＰ４）４の各音量レベルを制御して音像を移動させる。
【００２２】
本例ではさらに、複数のマイク（ＭＩＣ１、ＭＩＣ２）５を使用して、外部音声や外部音の入力検知方向を選択できるようにしている。ここでは、簡易なスイッチ部３３を使ってＭＩＣ１又はＭＩＣ２のいずれか一方を選択するが、それらの合成制御を行って入力検知方向を細かく可変できるようにしてもよい。ドライバーからの音声指示等は、スイッチ部３３を介して音声認識部３４に入力され、マイコン３６がその指示内容を解読して対応する案内処理等を実行する。
【００２３】
図３には、複数のスピーカＳＰ１〜ＳＰ４やマイクＭＩＣ１及びＭＩＣ２の車室内における配置の一例を示している。
本例では、車室内の四隅に、４個のスピーカ（ＳＰ１〜ＳＰ４）を配置して、それらを合成した音像が車室内のどの場所にも定位できるようにしている。本例では、マイコン３６がドライバーの膝元に投影された３Ｄキャラクタ映像（くまの人形）１０の位置に４個のスピーカの合成音像が定位するように制御する。このように、車室内を自由に移動する３Ｄキャラクタ映像１０の結像位置とその音像位置とを一致させることで、フレンドリーなアシストを実現することができる。
【００２４】
本例では、また、車室内のフロント側に２つのマイクが配置されており、これによって例えばドライバー方向からの音声入力を２つのマイクを使って合成して強調し、それ以外の方向からの音声信号をノイズとしてキャンセルするような処理が可能となる。また、複数のマイクを適宜配置することで、スピーカの場合と同様に、車室内を自由に移動する３Ｄキャラクタ映像１０の結像位置と音声入力位置とを一致させ、その一致場所の周辺音を収集できるようにしてもよい。
【００２５】
図４〜６は、本発明による車載用エージェントシステムの制御フローの一例を示したものである。また、図７〜９には、本発明による３Ｄキャラクタ映像の具体的な表示例を示している。
図４に示す車載用エージェントシステムの基本的な制御フローの処理は繰り返し実行される。ドライバーが先ず車両１のＡＣＣスイッチをオンにしたか判定する（Ｓ０１）。オンにしていれば、図１及び２に示す車両用エージェントシステムが動作を開始し、３Ｄ投影機８はデフォルトの３Ｄキャラクタ映像１０を車室空間内のデフォルト位置に投影する（Ｓ０３）。
【００２６】
次に、エージェントシステムがドライバーに対して何らかのアシストを行っている状況か否かを判定し（Ｓ０４）、アシスト中でなければ３Ｄキャラクタ映像１０をトーンダウン（透明度を増す）するか、その形状を小さくするか、及び／又はデフォルト位置へ移動させる（Ｓ０５）。
【００２７】
図７には、ステップＳ０５の状態における３Ｄキャラクタ映像１０の一例を示している。本例では、３Ｄキャラクタ映像（くまの人形）１０が小さく表示され且つトーンダウンによってその後方が透けて見えるようになっている（点線の輪郭で透明感を表している）。他には、３Ｄキャラクタを前方視界から外れる所定位置に移動させるか、又は３Ｄキャラクタ自体を消失させるようにしてもよい。これにより、ドライバーの前方視界を遮るものが除かれて安全な運転が可能となる。
【００２８】
エージェントシステムがドライバーに対して何らかのアシストを行っている状況の場合には（Ｓ０４）、次に案内警報が必要な場合か否かを判定し（Ｓ０６）、不要な場合には３Ｄキャラクタ映像１０を通常トーン及び通常のキャラクタサイズに設定してから次段のキャラクタ処理ルーチンを実行する（Ｓ０７及び０８）。
【００２９】
図５には、キャラクタ処理ルーチン（Ｓ０８）の一例を示している。この処理は、キャラクタ表示時に繰り返し実行される。
ここでは、一例として、車室空間内を自由に動き回れる３Ｄキャラクタ映像（くまの人形）１０が図３で示したようにドライバーの膝元にいたと仮定する。その後、左折／右折指示や音声案内等を行う「ナビ、案内時」になると、くまの人形１０がドライバーの前方視野内に移動して、該当するナビゲーション動作を行う（Ｓ２１及び２５）。
【００３０】
図８には、ナビゲーション動作として、ドライバー前方に移動した３Ｄキャラクタ映像（くまの人形）１０が、左折指示の動作を行っている一例を示している。ここでは、図７のキャラクタ１０と比べてやや大きめの通常サイズのキャラクタ１０が用いられており、また通常トーンの使用によってキャラクタ１０の後方を見ることはできない。
【００３１】
図５に戻って、図１及び２のカメラ６で例えば後方車両の急接近等の「後方危険」を検知した時は、くまの人形１０が車室内のバックミラーの位置に移動して、ドライバーに注意を喚起する（Ｓ２２及び２６）。また、図１及び２の車両センサ９がガソリン切れ等による「車両異常」を検知した時には、くまの人形１０がインパネ部のガソリンメータ位置に移動して、ドライバーに注意を喚起する（Ｓ２３及び２７）。
【００３２】
上記の各事象（Ｓ２１〜２３）が検知されなければ、キャラクタ１０は「自由行動」で規定する所定の動作を実行する（Ｓ２４）。この場合の一例としては、くまの人形１０がそのままドライバーの膝元にいつづけることになる。
【００３３】
図４の制御フローは周期的に繰り返し実行される。そのため、次周期のアシスト中（Ｓ０４）における「案内警告の有無」の判定で（Ｓ０６）、前記「後方危険」や「車両異常」で検知された事象の警告が必要と判定すると（Ｓ０６）、該当位置（Ｓ２６又は２７）にいるくまの人形１０が目立つようにトーンアップ（濃い色）され、その警告処理ルーチンが実行される（Ｓ０９及び１０）。
【００３４】
図６には、警告処理ルーチン（Ｓ１０）の一例を示している。この処理は警告を行なう際に実行される。
ここでは、該当キャラクタがさらに目立つようにその全部又は一部が拡大される（Ｓ３１）。図９には、「後方危険」によりバックミラー１１の位置に移動したくまの人形１０のバックミラーを指し示す手が、拡大された例を示している。そして、例えば図１又は２の視線センサ７を用い、ドライバーが拡大されたキャラクタに視線を向けたことを確認すると「危険回避」と判定して警告処理を終了する（Ｓ３２）。反対に確認できなければ、拡大されたキャラクタをさらにフラッシングしてドライバーに一層の注意を喚起する（Ｓ３３）。図９には、前述した手の拡大に加えて、キャラクタ１０のフラッシング動作の一例も併せて示している。
【００３５】
本発明は、これまで説明してきた基本的な制御フロー以外にも種々のバリエーションが考えられる。例えば、警告処理において、３Ｄキャラクタ映像（くまの人形）１０に危険色（赤色系の色）を付したり、警告を示す別のキャラクタを登場させたりすることで、警告が直接視認できるようにしてもよい。また、ドライバー視線上の所定範囲内（視認可能範囲内）に３Ｄキャラクタ映像１０がないことを視線センサ７が検知した時には、ドライバーに対して確実な案内を行うために、前述した警告処理を実行させるようにしてもよい。
【００３６】
図４以降では主に視覚に関する制御について説明してきたが、図３の音響制御を併用すれば、さらに確実でフレンドリーなアシストを実現することができる。また、ナビゲーション装置以外の車載機器に対しても本発明を同様に適用することができる。例えば、ドライバーが車載テレビやＣＤプレーヤ等の使用方法等を質問してきた場合、本発明の３Ｄキャラクタ映像１０が当該機器の案内すべきスイッチ等の位置に移動し、そこで適当な案内を行うようにしてもよい。
【図面の簡単な説明】
【００３７】
【図１】車載用エージェントシステムの構成概要を示した図である。
【図２】キャラクタコントローラの構成例を示した図である。
【図３】車室内の音響設備の配置例を示した図である。
【図４】車載用エージェントシステムの制御フロー例（１）を示した図である。
【図５】車載用エージェントシステムの制御フロー例（２）を示した図である。
【図６】車載用エージェントシステムの制御フロー例（３）を示した図である。
【図７】３Ｄキャラクタ映像の表示例（１）を示した図である。
【図８】３Ｄキャラクタ映像の表示例（２）を示した図である。
【図９】３Ｄキャラクタ映像の表示例（３）を示した図である。
【符号の説明】
【００３８】
１ 車両
２ ナビゲーション装置
３ キャラクタコントローラ
４ スピーカ
５ マイク
６ カメラ
７ 視線センサ
８ キャラクタ３次元空間投影機
９ 車両センサ
１０ ３Ｄキャラクタ映像
１１ バックミラー
【特許請求の範囲】
【請求項１】
車両空間内に三次元キャラクタ映像によるエージェントを配置して、乗員に対するアシストを行うことを特徴とする車載用エージェントシステム。
【請求項２】
前記キャラクタ映像を車室空間内で自由に移動させ、アシストと関連する適切な位置でアシストを行うアシスト手段を有することを特徴とする請求項１記載の車載用エージェントシステム。
【請求項３】
前記キャラクタ映像は、アシストするときの内容に応じて自己の形態を変化させることを特徴とする請求項２記載の車載用エージェントシステム。
【請求項４】
前記自己の形態を変化させることは、前記キャラクタ映像の形状、大きさ、色、トーンの少なくとも１つを変化させること、及び／又は前記キャラクタ映像をフラッシングすることを含むことを特徴とする請求項３記載の車載用エージェントシステム。
【請求項５】
アシストが警告の場合は、はじめの警告で前記キャラクタ映像の形状の全部又は一部を拡大すること、その後の警告で前記拡大されたキャラクタ映像をさらにフラッシングすることを含むことを特徴とする請求項３記載の車載用エージェントシステム。
【請求項６】
アシストしないときには、前記キャラクタ映像の存在による影響を少なくする処理を行うことを特徴とする請求項２記載の車載用エージェントシステム。
【請求項７】
前記処理は、前記キャラクタ映像の形状を小さくすること、前記キャラクタ映像のトーンを下げること、前記キャラクタ映像を消失させること、前記キャラクタ映像をドライバーの前方視界を外れた位置に移動させること、の少なくとも１つを含むことを特徴とする請求項６記載の車載用エージェントシステム。
【請求項８】
前記キャラクタ映像の発音手段をさらに有し、前記発音手段は前記アシストと関連する適切な位置にその音像を定位させることを特徴とする請求項２記載の車載用エージェントシステム。
【請求項１】
車両空間内に三次元キャラクタ映像によるエージェントを配置して、乗員に対するアシストを行うことを特徴とする車載用エージェントシステム。
【請求項２】
前記キャラクタ映像を車室空間内で自由に移動させ、アシストと関連する適切な位置でアシストを行うアシスト手段を有することを特徴とする請求項１記載の車載用エージェントシステム。
【請求項３】
前記キャラクタ映像は、アシストするときの内容に応じて自己の形態を変化させることを特徴とする請求項２記載の車載用エージェントシステム。
【請求項４】
前記自己の形態を変化させることは、前記キャラクタ映像の形状、大きさ、色、トーンの少なくとも１つを変化させること、及び／又は前記キャラクタ映像をフラッシングすることを含むことを特徴とする請求項３記載の車載用エージェントシステム。
【請求項５】
アシストが警告の場合は、はじめの警告で前記キャラクタ映像の形状の全部又は一部を拡大すること、その後の警告で前記拡大されたキャラクタ映像をさらにフラッシングすることを含むことを特徴とする請求項３記載の車載用エージェントシステム。
【請求項６】
アシストしないときには、前記キャラクタ映像の存在による影響を少なくする処理を行うことを特徴とする請求項２記載の車載用エージェントシステム。
【請求項７】
前記処理は、前記キャラクタ映像の形状を小さくすること、前記キャラクタ映像のトーンを下げること、前記キャラクタ映像を消失させること、前記キャラクタ映像をドライバーの前方視界を外れた位置に移動させること、の少なくとも１つを含むことを特徴とする請求項６記載の車載用エージェントシステム。
【請求項８】
前記キャラクタ映像の発音手段をさらに有し、前記発音手段は前記アシストと関連する適切な位置にその音像を定位させることを特徴とする請求項２記載の車載用エージェントシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２８４４５４（Ｐ２００６−２８４４５４Ａ）
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願番号】特願２００５−１０６６４９（Ｐ２００５−１０６６４９）
【出願日】平成１７年４月１日（２００５．４．１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願日】平成１７年４月１日（２００５．４．１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]