車両用情報表示装置
【課題】ＨＭＤを通じて種々の情報を視覚的に提供するだけでなく、目の疲れを防止する。
【解決手段】携帯端末Ｍを所持した乗員がＨＭＤ30を装着しているときには、携帯端末ＭからＩＤを取得し、このＩＤによって乗員を間接的に特定し、このＩＤに関連した乗員に対応した光量が目Ｅに入るように、携帯端末Mのメモリに予め用意した目標照度に基づいてＨＭＤ30のレンズ32(液晶パネル40)を通過する光量が調整される。この目標照度は、携帯端末Mのメモリ92に含まれる瞳の色、性別、年齢という属性を取り込んで、これらの情報に基づいて調整した後に、調整後の目標照度に基づいてＨＭＤ30の液晶パネル30の光透過度が制御される。
【解決手段】携帯端末Ｍを所持した乗員がＨＭＤ30を装着しているときには、携帯端末ＭからＩＤを取得し、このＩＤによって乗員を間接的に特定し、このＩＤに関連した乗員に対応した光量が目Ｅに入るように、携帯端末Mのメモリに予め用意した目標照度に基づいてＨＭＤ30のレンズ32(液晶パネル40)を通過する光量が調整される。この目標照度は、携帯端末Mのメモリ92に含まれる瞳の色、性別、年齢という属性を取り込んで、これらの情報に基づいて調整した後に、調整後の目標照度に基づいてＨＭＤ30の液晶パネル30の光透過度が制御される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両用情報表示装置に関する。
【背景技術】
【０００２】
ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。
【０００３】
例えば、フロントウィンドウに運転支援情報を投影表示する技術が提案されている。しかし、ドライバは運転中、絶えず顔の向きや視線を動かしているのであり、フロントウィンドウの情報表示部に視線を固定しているわけにはいかない。
【０００４】
これに対し、特許文献１は、頭部装着型表示装置（ＭＨＤ：ヘッドマウントディスプレイ）に運転支援情報を表示することにより、ドライバの頭の向きにかかわらずドライバに運転支援情報を提供できるようにした技術が開示されている。ＨＭＤに関して、特許文献１は、ドライバの両目を覆う複眼タイプ（ゴーグルタイプ）のＨＭＤを開示しており、このＨＭＤは、左右のレンズがカラー表示液晶パネルで構成されている（特許文献１の図２を参照）。
【０００５】
特許文献１と同様に、特許文献２もゴーグルタイプのＨＭＤを開示し、このＨＭＤの左右のレンズを通じて乗員の周囲の環境を見ることができると共に車両の外部状況をドライバの眼前に立体画像として表示することを提案している。
【０００６】
【特許文献１】特開平７−２９４８４２号公報
【特許文献２】特開平１０−２０６７８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複眼タイプのＨＭＤは、これを装着した乗員が外部からの光を左右の目で受け止めるため、外部からの光の照度が大きいと眩しさを感じ、ひいては目の疲れを誘発してしまう可能性がある。
【０００８】
本発明の目的は、ＨＭＤを通じて種々の情報を視覚的に提供するだけでなく、目の疲れを防止することのできる情報表示装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の技術的課題は、本発明によれば、
光透過度が制御可能な左右のレンズを備え、該左右のレンズを通じて周囲の環境を見ることができると共に車両の外部状況を眼前に立体画像として表示することのできるＨＭＤを含む車両用情報表示装置であって、
前記ＨＭＤを装着した乗員に入射する光の照度を検出する照度センサと、
前記ＨＭＤを装着した乗員の瞳の開度を検出する瞳開度検出手段と、
該瞳開度検出手段により検出した乗員の瞳の開度と前記照度センサにより検出した光の照度とに基づいて前記左右のレンズの光透過度を制御する光透過度制御手段と、
前記照度センサ、前記瞳開度検出手段、前記光透過度制御手段との間でデータを送受信する通信ネットワーク手段とを有することを特徴とする車両用情報表示装置を提供することにより達成される。
【００１０】
すなわち、本発明によれば、乗員に入射する光の照度及び乗員の瞳の開度によって左右のレンズの光透過度が調整されるため、乗員の目に好ましい光の量が入ることで目の疲れを抑えることができる。
【００１１】
本発明の好ましい実施の形態では、
前記通信ネットワーク手段の一部を構成する記憶手段を更に有し、
該記憶手段に、乗員毎に予め目標照度が記憶されており、
該記憶手段に記憶されている目標照度に基づいて前記光透過度制御手段が制御される。この実施の形態によれば、乗員がＨＭＤを装着した早い段階で、乗員の目に入る光の照度を最適化することができる。
【００１２】
本発明の好ましい実施の形態では、また、
前記照度センサが、前記通信ネットワーク手段の一部を構成し且つ前記ＨＭＤに装着されたセンサノードで構成され、該センサノードのメモリに、乗員を間接的に特定することのできる属性データと、該属性データに関連付けて当該乗員の目標照度のデータとが記憶されている。このように、ＨＭＤに装着したセンサノードに照度センサの機能を付与することで、乗員に入射する光の照度を検出するのが容易となるだけでなく、乗員の目標照度をＨＭＤのセンサノードに記憶させておくことで、乗員と目標照度との関連付けが明確になり、別の乗員の目標照度が設定されてしまう可能性を低減することができる。
【００１３】
本発明の好ましい実施の形態では、また、
通信ネットワーク手段に組み込み可能な携帯端末を更に有し、
該携帯端末のＩＤに関連して、当該携帯端末を所有する乗員の目標照度のデータが該携帯端末のメモリに記憶されている。
【００１４】
上記携帯端末は典型的には携帯電話機である。携帯電話機は固有のＩＤが記憶されており、このＩＤを使うことで携帯電話機を特定することができる。携帯電話機は、これを所持する人間が特定されるのが通常であることから、携帯電話機のＩＤを介して、これを所持する乗員を特定することができる。また、この携帯電話機のメモリに、当該乗員の目標照度を記憶させておき、この目標照度に基づいてＨＭＤのレンズの光透過度を制御することで、携帯電話機を所持する乗員と、当該乗員の目標照度とを間違えることなく目標照度を設定することができる。
【００１５】
本発明の好ましい実施の形態では、通信ネットワーク手段を構成する複数のセンサノードが、ＨＭＤを装着した乗員を特定することのできる検出機能を備えている。具体的には、シートに設置したセンサノードに圧力センサの機能を付与しておき、シートに着座した乗員の体重を検出することで、この検出した体重から乗員を特定することができる。
【００１６】
本発明の好ましい実施の形態では、
前記目標照度が、前記瞳開度検出手段で検出した乗員の瞳開度及び前記照度センサからの光の照度に基づいて調整される。例えばドライバは、目線や顔の向きを変えながら運転するのが常である。この変化に対応して目標照度を調整することで、ＨＭＤのレンズの光透過度を状況変化に追従させることができる。
【００１７】
本発明の好ましい実施の形態では、
前記携帯端末のメモリに、乗員の目に関する属性が記憶されており、
該乗員の属性を取り込んで、該属性に基づいて前記目標照度を調整した後に、前記レンズの光透過度の制御が実行される。乗員の目に関する属性として、瞳の色、性別、年齢を挙げることでき、これらの要素によって目標照度を調整することで、個体差に対応した目標照度を設定することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００１９】
図１は、本実施形態に係る情報表示装置の基本構成を示す図である。
【００２０】
図１において、１０は制御部で、典型的には、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備えるコンピュータシステムで構成され、図示された制御部１０内の各ブロックで示される処理が、ＣＰＵによって実行される。
【００２１】
この情報表示装置は、例えばドライバズシートのバックレスト１２のショルダに車両前方に向けて設けられる第１前方撮影カメラ１４、例えばインストルメントパネルの上部に車両前方に向けて設けられる第２前方撮影カメラ１６、例えばフロントドア下部に車両外側斜め前方に向けて設けられ車両前方の死角を撮影する前方死角撮影カメラ１８、例えばリヤダッシュボードの上部に車両後方に向けて設けられる後方死角撮影カメラ２０を備え、これらは制御部１０内のカメラ画像取得部２２に接続されている。これらのカメラ１４〜２０は、自車の周囲の画像情報を取得する画像情報取得手段を構成するものであり、その組み合わせによって車両全周囲の画像を得る全方位カメラとして機能させるのが好ましい。また、個々のカメラはより広い範囲の画像を得るために超広角レンズを備えていることが好ましい。また、第２前方撮影カメラ１６、前方死角撮影カメラ１８、及び後方死角撮影カメラ２０はそれぞれ、夜間撮影も行えるよう、赤外線カメラ（暗視カメラ）であることが望ましい。さらに、ドライバＤの顔面に入射する光の照度を検出する照度センサ２４が設けられ、この照度センサ２４の出力もカメラ画像取得部２２に供給される。
【００２２】
３０はドライバＤが装着する視角補助手段としてのＨＭＤ（ヘッドマウントディスプレイ）である。このＨＭＤ３０は、図２に示されるような、眼鏡タイプのＨＭＤであり、この眼鏡タイプのＨＭＤ３０の左右のレンズ３２は光透過液晶カラーモニタで構成されている。ＨＭＤ３０を装着した乗員は、左右のレンズ３２を通じて乗員の周囲の環境を見ることができると共に、後に説明するように外部状況などを眼前に立体画像として見ることができる。勿論、ＨＭＤ３０は特許文献１に開示のようなゴーグルタイプであってもよい。
【００２３】
図３はＨＭＤ３０のレンズ３２の分解斜視図である。レンズ３２は、一対の保護パネル３４、３６と、これら保護パネル３４、３６間に位置するカラー画像表示パネル３８と液晶パネル４０とで構成されており、カラー画像表示パネル３８は、赤色用パネル３８ａと、緑色用パネル３８ｂと、青色用パネル３８ｃとで構成されている。
【００２４】
レンズ３２の一部を構成するカラー画像表示パネル３８は、赤色、緑色、青色用のパネル３８ａ〜３８ｃが表示駆動回路４２から供給される駆動信号に応じて動作することにより互いに協働してカラー画像を表示する。また、液晶パネル４０は、液晶駆動回路４４から供給される駆動信号の電圧が高くなる程、光透過度が低下する。換言すると、液晶駆動回路４４から供給される駆動信号の電圧がゼロＶとなると、光透過度が最大となる。
【００２５】
車室内の所定位置（例えば、ドライバズシート上方のルーフトリム）には位置センサ５０が設けられている。この位置センサ５０は例えば磁気センサ等で構成され、ＨＭＤ３０の位置姿勢を示す信号を出力するように構成されている。なお、この位置姿勢を示す信号には、位置センサ５０を基準とする位置（x,y,z）及び姿勢（roll, pitch, yaw）のパラメータが含まれる。位置センサ５０が出力するＨＭＤ３０の位置姿勢を示す信号は制御部１０内の視線方向推定部５２に入力される。
【００２６】
制御部１０は、カメラキャリブレーションによって、予め位置センサ５０の位置に対する、第１及び第２前方撮影カメラ１４、１６、前方死角撮影カメラ１８、後方死角撮影カメラ２０の位置関係が保持されている。よって、制御部１０は位置センサ５０より入力した信号に基づき、第１及び第２前方撮影カメラ１４、１６、前方死角撮影カメラ１８、後方死角撮影カメラ２０と、ＨＭＤ３０との位置関係を求めることが可能である。
【００２７】
ドライバＤの前方には、このＨＭＤ３０を装着しているドライバＤの瞳を含む顔画像を撮影する顔画像撮影カメラ５４が設置されている。この顔画像撮影カメラ５４が撮影したドライバの顔画像及び瞳開度データは、制御部１０内の視線方向推定部５２に供給される。顔画像撮影カメラ５４の設置位置は任意であるが、例えば車両のダッシュボード等に取り付けるようにしてもよい。なお、制御部１０とＨＭＤ３０との接続は有線でもよいし無線でもよい。
【００２８】
実施例の情報表示装置は、更に、ＧＰＳ信号を受信して地図データに基づき経路情報、交通情報等（ナビゲーション情報）など自車の走行情報を取得するナビゲーションユニット６０、車速センサ等の各種センサ類を含む車両状態センサ６２を備えている。
【００２９】
制御部１０は、カメラ画像取得部２２及び視線方向推定部５２の他に、取得した画像のレンズ歪み（収差）を補正するレンズ歪み補正部６４、画像の幾何変換及び画像切り出しを行う幾何変換・切り出し部６６、画像の描画位置及びサイズを算出する描画位置・サイズ算出部６８、カメラ画像の加工を行うカメラ画像加工処理部７０、ナビゲーションユニット６０及び車両状態センサ６２から入力したデータに基づきナビゲーション情報等の情報画像を作成する情報画像作成部７２、及び画像合成部７４を備えている。ナビゲーションユニット６０及び車両状態センサ６２は、制御部１０の情報画像作成部（２Ｄ画像作成部）７２に接続されている。
【００３０】
図４は、本実施形態における制御部１０によるＨＭＤ３０の画像表示制御処理を示すフローチャートである。
【００３１】
カメラ画像取得部１１は、第１及び第２前方撮影カメラ１４、１６、前方死角撮影カメラ１８、後方死角撮影カメラ２０からそれぞれ画像データを受信するとともに、照度センサ２４からの出力データを順次受信している（ステップＳ１）。またこれと並行して、視線方向推定部５２は、位置センサ５０からのＨＭＤ３０の位置姿勢を示す信号及び、顔画像撮影カメラ５４からの顔画像データを受信している（ステップＳ２）。視線方向推定部５２は、位置センサ５０からのＨＭＤ３０の位置姿勢を示す信号からドライバの顔の向きを推定するとともに、顔画像撮影カメラ５４からの顔画像データに基づき、ドライバの顔の肌領域と瞳領域との像域分離を行いその結果から顔の向きに対する視線方向を推定する。そして、これらの結果から、基準である位置センサ５０に対する視線方向を推定する。
【００３２】
上記ステップＳ１では、例えば、推定された視線方向が車両前方と判断され、照度センサ２４からの受信データに基づき照度が所定値より明るいと判断される場合には、第１前方撮影カメラ１４と前方死角撮影カメラ１８の画像データを取得する。また、推定された視線方向が車両前方と判断され、照度は上記所定値以下に暗いと判断される場合には、第２前方撮影カメラ（赤外線カメラ）１６の画像データを取得する。また、推定された視線方向が車両後方と判断されたときは、後方死角撮影カメラ２０の画像データを取得する。
【００３３】
次に、レンズ歪み補正部６４は、ステップＳ１で取得した画像データに対して、当該画像データを取得したカメラのレンズ特性に依存して生じる歪み（収差）を補正する（ステップＳ３）。この補正は例えば、カメラキャリブレーションによって得られる、位置センサ５０の位置に対する当該画像データを取得したカメラの位置を示すカメラ内部パラメータに基づいて行われる。
【００３４】
一方、視線方向推定部５２は、ステップＳ２で受信した位置センサ５０からのＨＭＤ３０の位置姿勢を示す信号に基づいて、ＨＭＤ３０の位置姿勢データを、予め行われた位置キャリブレーションによって得られる、センサ・ＨＭＤ補正パラメータに基づいて補正する（ステップＳ４）。
【００３５】
次に、幾何変換・切り出し部６６は、ステップＳ３で得られたレンズ歪み補正後の画像データに対して、ＨＭＤ３０の表示領域に合わせた画像の切り出し及び幾何変換を行う（ステップＳ５）。具体的には例えばステップＳ３で得られたレンズ歪み後の画像データから、その画像が、ドライバの視点から視認される立体的な現実空間像Ｓと同じ方向、大きさになるように、ＨＭＤ３０の位置センサ５０に対する位置姿勢及び視線方向推定部５２が推定した視線方向に合わせて必要な画像領域を切り出し、アフィン変換を行う。
【００３６】
次に、カメラ画像加工処理部７０は、ステップＳ５での処理後の画像データに対して、グレア対策として、高輝度の物体を認識して、分光画像処理し、輝度分布を平滑にして違和感や不快がないように調光する、分光補正処理を行う（ステップＳ６）。なお、グレアには、眼球内での光の散乱の程度が増加し、これによって対象物が見えにくくなる減能グレアと、視野内に高輝度の物体があるときに不快に感じやすくなる不快グレアとがあり、両者とも一般に加齢とともに増大する。ステップＳ６の分光補正処理はこのようなグレアに対処するものである。
【００３７】
図５は、このステップＳ６の分光補正処理の一例を示すフローチャートである。まず、ステップＳ５での処理後の画像データに対して、輝度分布分析を行う（ステップＳ６１）。そして、得られた輝度分布に基づいて高輝度物体が存在するかどうかを判定し（ステップＳ６２）、高輝度物体が存在する場合には輝度分布の平滑化を行う（ステップＳ６３）。
【００３８】
次に、カメラ画像加工処理部７０は、追従遅れ補正処理を行う（ステップＳ７）。これは、加齢により移動物を目で追う際の眼球運動が遅くなることに対処するものであり、その具体的処理例を図６のフローチャートに示す。
【００３９】
まず、入力した動画像データから移動物体を抽出し（ステップＳ７１）、そこに高速移動物体が存在するかどうかを判定する（ステップＳ７２）。ここで、高速移動物体が存在する場合には、その移動物体の移動方向、移動速度、及び位置を検出し（ステップＳ７３）、その検出結果に基づいてその移動物体の予測位置を算出する（ステップＳ７４）。その後、移動物体をその予測位置に描画する（ステップＳ７５）。
【００４０】
次に、カメラ画像加工処理部７０は、危険対象物検出処理を実行する（ステップＳ８）。この処理の具体例を図７のフローチャートに示す。
【００４１】
まず、入力した画像データから、歩行者、他車両等の対象物を抽出し（ステップＳ８１）、抽出した対象物の配置パターンを抽出する（ステップＳ８２）。次に、予めメモリに記憶してある熟練ドライバＤの注視行動モデルを読み出す（ステップＳ８３）。図８に熟練ドライバＤの注視行動モデルの概念図を示す。そして、熟練ドライバＤの注視行動モデルに基づくニューラルネットワークあるいは強化学習を構成し、これを利用して、ステップＳ８２で抽出した対象物の配置パターンから、高危険度対象物を抽出する（ステップＳ８４）。
【００４２】
高危険度対象物が抽出された場合にはその画像はカメラ画像としてＨＭＤ３０のレンズ３２に表示されることになる。このとき、その画像が高危険度対象物としてドライバに認知されやすいように、囲み枠線などの識別マークを重畳表示させるとよいであろう。
【００４３】
次に、描画位置・サイズ算出部６８は、ＨＭＤ３０のレンズ３２に表示する２Ｄ画像の描画位置およびそのサイズを計算する（ステップＳ９）。また、情報画像作成部７２は、ナビゲーションユニット６０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）を作成する。このとき、情報画像作成部７２は、ステップＳ７の追従遅れ補正処理において検出した高速移動物体についてその移動方向を示す矢印画像等を情報画像に含めるようにしても良い。
【００４４】
次に、画像合成部５６は、カメラ画像をＨＭＤ３０のレンズ３２に表示するかどうかを判断する（ステップＳ１０）。例えば、次の少なくともいずれかの場合には、車両走行上の危険度が相対的に高い状況であり、カメラ画像をＨＭＤ３０のレンズ３２に表示すると判断する。
（１）ステップＳ６の分光補正処理において、ステップＳ６３の輝度分布平滑化が実行された場合。
（２）ステップＳ７の追従遅れ補正処理において、ステップＳ７３〜Ｓ７５の処理が実行された場合。
（３）ドライバの視線方向に死角がある場合。
（４）照度が暗い場合。
【００４５】
画像合成部５６は、ステップＳ１０でカメラ画像をＨＭＤ３０のレンズ３２に表示すると判断した場合は、ステップＳ９での計算結果に基づいて、上述のステップＳ５〜Ｓ８の処理で得られたカメラ画像と、情報画像作成部７２がナビゲーションユニット６０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）とを合成した画像を作成し（ステップＳ１１）、その合成画像をＨＭＤ３０のレンズ３２に表示する（ステップＳ１２）。
【００４６】
一方、画像合成部５６は、ステップＳ１０でカメラ画像をＨＭＤ３０のレンズ３２に表示しないと判断した場合は、情報画像作成部７２がナビゲーションユニット６０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）のみを描画して（ステップＳ１３）、これをＨＭＤ３０のレンズ３２に表示する（ステップＳ１２）。
【００４７】
以上説明した制御部１０によるＨＭＤ３０の画像表示制御によって、ドライバに視認される画像の例を図９に示す。
【００４８】
図９の（ａ）に示される画像において、自車前方には晴天時の空が大きく広がっており、不快グレアが発生しやすい状況である。これに対して、本実施形態では、ステップＳ６において分光補正処理が施され、輝度分布が平滑化されるので、眩しさが軽減される。また、この図９の（ａ）において、自車前方左方からバス８０が横切るように移動中である。これに対しては、本実施形態では、ステップＳ７において追従遅れ補正が施され、移動物体であるバス８０の位置が補正される。このとき、図示の如く移動方向を示す矢印マーク８１を重畳表示するとよい。
【００４９】
図９の（ｂ）では、ナビゲーション情報である「１００ｍ先右折」との文字表示及び、そのことを示す矢印による右折マーク８２が重畳表示されている。図９の（ｃ）は、ステップＳ８の危険対象物抽出処理において先行車両が危険対象物と判定され、ドライバの注意を喚起するために、それに囲み枠線が重畳表示されるとともに、「前方障害物」、「車間確保」とのメッセージが表示されている。この図９の（ｃ）の状態が所定時間経過しても解消されない場合には、図９の（ｄ）に示されるように、音声による警告メッセージを発するようにしてもよい。
【００５０】
ここで、図９の（ｂ）〜（ｄ）に示されるような、ナビゲーション情報である右折マーク８２は、ドライバの視線方向に適合した位置や態様で表示されることが好ましい。一方、図９の（ｄ）に示すように、「５ＫＭ前方渋滞１ＫＭ」といったナビゲーション情報のうちの交通情報については、ドライバの視線方向には関係なく、図示のように下方端部などの固定された位置で表示されればよいであろう。
【００５１】
以上、ドライバＤに対する運転支援を説明したが、眼鏡タイプのＨＭＤ３０はドライバＤに限定されず助手席や後席の乗員が装着するのに都合がよい。運転席以外のシートに着座した乗員がＨＭＤ３０を装着したときには、例えばＨＭＤ３０を介して映画や周囲環境の案内などの表示が行われる。
【００５２】
図１０及び図１１は、車両に搭載されたネットワークの全体構成図であり、図１２は、センサノードを示すブロック図であり、図１３は、ゲートウェイポイントを示すブロック図であり、図１４は、携帯端末を示すブロック図であり、図１５は、センサノード及びゲートウェイ間のネットワーク情報を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図であり、図１６は、携帯端末、センサノード及びゲートウェイ間のネットワーク情報を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。
【００５３】
先ず、図１０及び図１１に示すように、車両には、複数のセンサノードＳＮ及びゲートウェイポイントＧが搭載されている。また、前述したＨＭＤ３０にも左右一対のセンサノードＳＮが組み込まれている。ゲートウェイポイントＧは、本実施形態では、ナビゲーション装置に内蔵されたＣＰＵ、メモリ及び無線通信インターフェースで構成される。図１０に示すように、ゲートウェイポイントＧには、機器Ｄ（例えば複数の送風口を有する空調機器）が接続され、ゲートウェイポイントＧの後述する機器制御部により各送風口から送出される空気の温度及び量が制御される。
【００５４】
センサノードＳＮはコイン大の大きさで比較的薄いものであり、車室内の様々な部位に取り付けることが出来るものである。本実施形態では、図１１に示すように、各座席のシート内や各座席に対応したルーフ部分などに複数設けられている。この図１１に示すように、センサノードＳＮは３次元的に配置することが出来る。これらのセンサノードＳＮ及びＨＭＤ３０に組み込まれたセンサノードＳＮは、互いに無線でネットワーク（図１５参照）を形成する。
【００５５】
ゲートウェイポイントＧは、各センサノードＳＮからの無線通信による情報を受けて、車載機器、例えば、ナビゲーション装置のナビ機能とテレビ機能の操作の制限や、空調装置の各座席に応じた冷暖の調整などを行う（図１５参照）。ゲートウェイポイントＧは、センサノードＳＮと情報（信号）の送受信を行うほか、例えば各座席の目標温度の算出や各座席に対応した空調装置の制御量の算出を行う。このゲートウェイポイントＧも、上述した複数のセンサノードＳＮと無線でネットワーク（図１５参照）を形成する。
【００５６】
図１１に示すように、各センサノードＳＮには、例えばボタン電池のような電源、ＣＰＵであるプロセッサー、及び、センサノードＳＮに内蔵されており、その外部に取り付けられる各種センサを有する。例えば、ＨＭＤ３０に組み込まれたセンサノードＳＮには、前述した照度センサ２４が組み込まれている。車両に搭載されたセンサノードＳＮには、照度センサ、温度センサ、圧力センサなどを含み、圧力センサは、乗員の着座を検知する着座センサとして機能する。また、センサノードＳＮには、他のセンサノードＳＮ、携帯電話のような携帯端末Ｍ及び後述するゲートウェイポイントＧと無線通信可能なインターフェースを有する。
【００５７】
また、センサノードＳＮにはメモリが搭載されており、このメモリには、圧力センサの情報を処理したり、他の携帯端末Ｍや他のセンサノードＳＮとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。
【００５８】
このセンサノードＳＮのメモリは、そのセンサノードＳＮのセンサによる検出結果を記憶するようになっている。このセンサノードＳＮのプロセッサー（データ処理部）は、センサによる検出結果に基づいて機器Ｄを制御するための目標制御量を算出する。この算出は、センサによる検出結果をそのまま使用して行っても良いし、センサノードＳＮのメモリ、或いは、後述するゲートウェイポイントのメモリに記憶された検出結果を使用して行われる。また、センサノードＳＮのプロセッサーは、所定のデータベースに記憶された検出結果に基づいて機器Ｄを制御するための目標制御量を算出することも出来る。所定のデータベースは、センサノードＳＮのメモリ、或いは、ゲートウェイポイントのメモリに備えられるものである。
【００５９】
算出された目標制御量は、ゲートウェイポイントＧのプロセッサー及び機器制御部で使用され、ゲートウェイポイントＧの機器制御部がその目標制御量が得られるように機器Ｄを制御する。また、算出された目標制御量は、センサノードＳＮのメモリ、或いは、後述するゲートウェイポイントのメモリに記憶され、ゲートウェイポイントＧのプロセッサー及び機器制御部がその記憶された目標制御量を使用して、機器制御部によりその目標制御量が得られるように機器Ｄを制御するようにしても良い。
【００６０】
このようなセンサノードＳＮの通信方式として、例えば、「ZigBee」といわれるものがある。これは、規格が「IEEE802.15.4」、伝送速度(bps)が「250K」、利用周波数帯が「2.4GHz（全世界）、868MHz（欧州）、915MHz（米国）」、伝送距離が「最大10-75m」、消費電力（通信）が「＜60mW」のものである。これ以外にも、方式として、「微弱無線」、「特定小電力無線」、「Bluetooth」、「UWB」などの他の方式もある。
【００６１】
図１３に示すように、ゲートウェイポイントＧには、車両のバッテリーから引き出される電源、ＣＰＵであるプロセッサー、複数のセンサノードＳＮと無線通信可能なインターフェース、メモリ、及び、機器制御部を有する。このメモリには、センサノードＳＮや携帯端末Ｍとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。
【００６２】
ゲートウェイポイントＧは、各センサノードＳＮ及びそのネットワークから得られる情報を集中管理すると共に外部の機器、例えば、空調機器、ナビゲーション装置、電動シート装置、パワーウィンドウなどを制御する。また、ゲートウェイポイントＧや携帯端末Ｍを通して車両の外部のサーバーに情報を蓄積することも可能である。また、ゲートウェイポイントＧには、携帯端末ＭのＩＤなどの情報が記憶されている。なお、このような情報は各センサノードＳＮに記憶させても良い。
【００６３】
このゲートウェイポイントＧのメモリ８８は、そのセンサノードＳＮのセンサによる検出結果を記憶するようになっている。このゲートウェイポイントＧのプロセッサー（データ処理部）は、センサノードＳＮのセンサによる検出結果に基づいて機器Ｄを制御するための目標制御量を算出する。この算出は、センサによる検出結果をそのまま使用して行っても良いし、上述したセンサノードＳＮのメモリ９０、或いは、ゲートウェイポイントのメモリ８８に記憶された検出結果を使用して行われる。また、ゲートウェイポイントＧのプロセッサーは、上述した所定のデータベース、即ち、センサノードＳＮのメモリ９０、或いは、ゲートウェイポイントのメモリ８８に備えられたデータベースに記憶された検出結果に基づいて機器Ｄを制御するための目標制御量を算出することも出来る。
【００６４】
算出された目標制御量は、ゲートウェイポイントＧのプロセッサー及び機器制御部で使用され、ゲートウェイポイントＧの機器制御部がその目標制御量が得られるように機器Ｄを制御する。また、センサノードＳＮのメモリ、或いは、後述するゲートウェイポイントのメモリ８８に記憶された目標制御量を、ゲートウェイポイントＧのプロセッサー及び機器制御部が使用して、機器制御部によりその目標制御量が得られるように機器Ｄを制御するようにしても良い。
【００６５】
図１４に示すように、典型的には携帯電話機である携帯端末Ｍには、携帯電話基盤ミドルウェアと、ＣＰＵであるプロセッサー、複数のセンサノードＳＮと無線通信可能なインターフェース及びメモリを有する。このメモリには、センサノードＳＮとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。この携帯端末Ｍも、上述した複数のセンサノードＳＮと無線でネットワーク（図１６参照）を形成する。
【００６６】
次に、センサネットワークの概念について説明する。上述したように、センサノードＳＮに、所定のセンシングを行うセンサの他に、メモリ、アプリケーション、無線機能などが内蔵されている。このセンサノードＳＮは、センサにより得られた情報を保持出来るほか、無線により他のセンサノードＳＮや携帯端末Ｍとの間で送受信することが出来る。そのような機能により、或るセンサノードＳＮは、他のセンサノードＳＮや携帯端末Ｍの情報、即ち、他のセンサノードＳＮが有するセンサにより得られた情報や記憶されている情報を得ることも出来る。このようにして、複数のセンサノードＳＮ及び携帯端末Ｍがネットワークでつながっており（図１５参照）、仮に１つのセンサノードＳＮが故障又は携帯端末Ｍが存在していない場合であっても、他のセンサノードＳＮでネットワークを形成することが出来る。これにより、配線でつながっている車内ＬＡＮとは異なり、配線の不要なネットワークを形成することが出来る。また、或る位置のセンサノードＳＮの情報を他のセンサノードＳＮの情報と共に多角的に得ることが出来る。
【００６７】
図１に戻って、液晶駆動回路４４には、ＨＭＤ３０に設置したセンサノードＳＮで構成された照度センサ２４と、ドライバＤの瞳を含む顔面像撮影カメラ５４からの情報が入力される。顔面像撮影カメラ５４と液晶駆動回路４４との間には瞳開度検出処理回路８６が介在しており、この瞳開度検出処理回路８６によってドライバＤの瞳の開度が検出され、この瞳開度情報が液晶駆動回路４４に入力される。
【００６８】
図１７は、ＨＭＤ３０を装着した乗員が所持している、典型的には携帯電話機である携帯端末Ｍを組み込んだネットワークを模式的に示す。ゲートウェイポイントＧには、過去に車両に乗車した人間の情報が記憶されている。この情報は、各人の体重と、当該個人の目に適した目標照度とを含む。また、ＨＭＤ３０を使用する人間が例えばドライバや家族に限定されているときには、当該ＨＭＤ３０のセンサノードＳＮのメモリ９０（図１７）に、各人の「体重―目標照度」データを記憶しておいてもよい。また、携帯端末Ｍには、そのメモリ９２（図４）に、当該携帯端末ＭのＩＤや使用者のＩＤ、当該携帯端末Ｍの使用者の個人特性データ（体重、瞳の色、目標照度、年齢、平均血圧や最高、最小血圧、平均脈拍など）が予め記憶されている。
【００６９】
携帯端末Ｍを所持した乗員がＨＭＤ３０を装着しているときには、携帯端末ＭからＩＤを取得し、このＩＤによって乗員を間接的に特定し、このＩＤに関連した乗員に対応した光量が目Ｅに入るように、予め用意した目標照度に基づいてＨＭＤ３０のレンズ３２（液晶パネル４０）を通過する光量が調整される。この目標照度は、携帯端末Ｍのメモリに含まれる瞳の色、性別、年齢という属性を取り込んで、これらの情報に基づいて調整した後に、調整後の目標照度に基づいてＨＭＤ３０の液晶パネル４０の光透過度を制御するようにしてもよい。
【００７０】
この基本制御に加えて、顔面像撮影カメラ５４から取得した瞳開度及び実際の照度に基づいて液晶パネル４０に対する目標値を修正して、ＨＭＤ３０を装着した乗員にとって好ましい光量が目Ｅに入るように液晶パネル４０の光透過度合いがフィードバック制御される。このフィードバック制御によって、ＨＭＤ３０を装着した乗員にとって、実際の照度との関係で好ましい光量が目Ｅに入る状態を生成することができる。特に、ドライバは目線、顔の向きなどを変化させて運転しているが、このドライバの目線などの変化に対応して目に入る照度を好ましい照度に調整することができる。そして、フィードバック制御によって獲得した目標照度に基づいて、ゲートウェイポイントＧ、ＨＭＤ３０のセンサノードＳＮ、携帯端末Ｍの各メモリ８８、９０、９２の記憶値が更新される。
【００７１】
図１８、図１９は、ＨＭＤ３０の光透過制御の一つの具体例を説明するためのフローチャートであり、図１９は、図１８に続くフローを示してある。先ず、図１８を参照して、ＨＭＤ３０に内蔵されているセンサノードＳＮを含むセンサノードＳＮはゲートウェイポイントＤとネットワークを形成し（Ｓ１００）、そして各センサノードＳＮは他のセンサノードＳＮの中継処理（Ｓ１０１）によって、各センサノードＳＮの位置を検出する処理が行われる（Ｓ１０２）。
【００７２】
また、各センサノードＳＮのデータ、例えば位置データ、乗員の瞳の開度データ、実際の照度データがゲートウェイポイントＧに供給され（Ｓ１０３）、ゲートウェイポイントＧはこれを受信する（Ｓ１０４）。
【００７３】
携帯電話機などの携帯端末Ｍを所持した人間が乗車すると（Ｓ１０５）、当該携帯端末Ｍを含むネットワークが形成され（Ｓ１０６）、当該携帯端末Ｍの位置検出が行われる（Ｓ１０７）。次いで、この位置データと共に、携帯端末Ｍに予め記憶されているＩＤ、体重、血圧、脈拍などの個人特性データ、目標照度データがセンサノードＳＮを経由してゲートウェイポイントＧに送信される（Ｓ１０８）。もし、この携帯ＩＤが新規であれば、ゲートウェイポイントＧのメモリ８８に、これらの情報が記憶される（図１９のＳ１０９）。
【００７４】
図１９を参照して、ゲートウェイポイントＧでは、受信した携帯端末Ｍの位置データとセンサノードＳＮの位置データとに基づいて、当該携帯端末Ｍに最も近いセンサノードＳＮを選択する（Ｓ１１０）。勿論、複数人が夫々携帯端末Ｍを所持しているときには各携帯端末Ｍ毎に最寄りのセンサノードＳＮが選択される。そして、各携帯端末ＭのＩＤの目標照度に基づいて各センサノードＳＮに対して目標照度データを送信し（Ｓ１１１）、該当するセンサノードＳＮは、これを受けて光量制御を実行して、ＨＭＤ３０のレンズ３２を透過する光量が液晶パネル４０の光透過度によって調整される（Ｓ１１２）。この液晶パネル４０は前述したようにフィードバック制御される。
【００７５】
ＨＭＤ３０を装着している乗員にとって、上記Ｓ１１２の光量制御によって、目Ｅに入る光量が好ましいものとなるが、この乗員の瞳開度は顔画像撮影カメラ５４によって検出され（Ｓ１１３）、瞳開度が適正の範囲であれば、ステップＳ１１４からステップＳ１１５に進んで、目標照度の算出及びゲートウェイポイントＧの記憶データの更新が実行される。これにより、眩しさの個人差を補償した各人の最適な目標照度を記憶させることができる。この更新用の目標照度データは、センサノードＳＮ及び携帯端末Ｍに供給されてデータの更新が行われる（Ｓ１１６、Ｓ１１７）。
【００７６】
図２０、図２１は、ＨＭＤ３０の光透過制御の他の具体例を説明するためのフローチャートであり、図２１は、図２０に続くフローを示してある。これら図２０、図２１の例は、乗員が携帯端末Ｍを所持していない場合の例であり、乗員が着座したシートの圧力センサ（センサノードＳＮ）によって乗員の体重を検出して、検出した体重から間接的に乗員を特定する。そして、予め記憶してある「体重-目標照度」のデータから、検出した体重に基づいて目標照度を抽出して、この目標照度に基づいてＨＭＤ３０の液晶パネル４０の光透過度合いを制御する。また、液晶パネル４０の制御は、ＨＭＤ３０を装着している乗員の瞳開度によってフィードバック制御され、最適な照度となるように目標照度が修正される。そして、この修正した目標照度によってゲートウェイポイントＧの記憶データが更新される。
【００７７】
以上のことを前提として、図２０を参照して、ＨＭＤ３０に内蔵されているセンサノードＳＮを含むセンサノードＳＮはゲートウェイポイントＤとネットワークを形成し（Ｓ２００）、そして、各センサノードＳＮは他のセンサノードＳＮの中継処理（Ｓ２０１）によって、各センサノードＳＮの位置を検出する処理が行われる（Ｓ２０２）。また、各センサノードＳＮのデータ、例えば位置データ、乗員の瞳の開度データ、実際の照度データがゲートウェイポイントＧに供給され（Ｓ２０３）、ゲートウェイポイントＧはこれを受信する（Ｓ２０４）。
【００７８】
各シートに設置したセンサノードＳＮは、他のセンサノードＳＮ及びゲートウェイポイントＤとネットワークを形成し（Ｓ２０５）、そして、各センサノードＳＮは他のセンサノードＳＮの中継処理（Ｓ２０６）によって、各センサノードＳＮの位置を検出する処理が行われる（Ｓ２０７）。また、ＨＭＤ３０を装着した乗員が着座したシートの各センサノードＳＮは、シートに着座した乗員からの圧力を検出し、この圧力のデータは、センサノードＳＮ毎にその位置データと共にゲートウェイポイントＧに送信される（Ｓ２０８）。
【００７９】
図２１を参照して、ゲートウェイポイントＧでは、受信したセンサノードＳＮの位置データに基づいて、当該圧力センサノードＳＮに最も近いＨＮＤ３０及び照度センサ２４を選択する（Ｓ２０９）。勿論、複数人が乗車しているときには、該当するシートの圧力センサノードＳＮに最も近いＨＮＤ３０及び照度センサ２４が夫々選択される。
【００８０】
圧力センサノードＳＮから送られてきた圧力つまり乗員を体重に基づいて乗員を間接的に特定し、そして、この体重に基づいて、予め記憶されている体重―目標照度データから、当該体重に対応する目標照度が抽出され、そして抽出した目標照度は該当するセンサノードＳＮに送信される（Ｓ２１０）。これを受信したセンサノードＳＮは（Ｓ２１１）、これを受けて光量制御を実行して、ＨＭＤ３０のレンズ３２を透過する光量が液晶パネル４０の光透過度によって調整される（Ｓ２１２）。この液晶パネル４０は前述したようにフィードバック制御される。このフィードバック制御を行うことで、乗員の目線、顔の向きなどを変化させたときに、これに対応して目に入る照度を好ましい照度に調整することができる。
【００８１】
ＨＭＤ３０を装着している乗員にとって、上記Ｓ２１２の光量制御によって、目Ｅに入る光量が好ましいものとなるが、この乗員の瞳開度を顔画像撮影カメラ５４によって検出してゲートウェイポイントＧに送信され（Ｓ２１３）、これを受けたゲートウェイポイントＧ（Ｓ２１４）は、瞳開度が適正の範囲の判断を行って（Ｓ２１５）、瞳開度が適正の範囲であれば、ステップＳ２１５からステップＳ２１６に進んで、目標照度の算出及びゲートウェイポイントＧのメモリ８８の記憶値の更新が実行され、また、センサノードＳＮに送信される。これにより、眩しさの個人差を補償した各人の最適な目標照度をゲートウェイポイントＧ及びセンサノードＳＮのメモリ８８、９０のデータの更新が行われる（Ｓ２１７）。
【図面の簡単な説明】
【００８２】
【図１】実施例の車両用情報表示装置の基本構成を示す図である。
【図２】実施例で採用した眼鏡タイプのＨＭＤを示す図である。
【図３】図２の眼鏡タイプのＨＭＤの左右のレンズの構造を説明するための分解斜視図である。
【図４】実施例における画像処理部によるＨＭＤの画像表示制御処理を示すフローチャートである。
【図５】実施例における分光補正処理の一例を示すフローチャートである。
【図６】実施例における追従遅れ補正処理の一例を示すフローチャートである。
【図７】実施例における危険対象物抽出処理の一例を示すフローチャートである。
【図８】熟練ドライバの注視行動モデルの概念図である。
【図９】画像処理部によるＨＭＤの画像表示制御によって、ドライバに視認される画像の例を示す図である。
【図１０】センサノード及びゲートウェイポイントで構成される車両内通信ネットワークを平面視した図である。
【図１１】センサノードの配置を側面視した図である。
【図１２】センサノードのブロック図である。
【図１３】ゲートウェイポイントのブロック図である。
【図１４】携帯端末のブロック図である。
【図１５】センサノード及びゲートウェイ間のネットワーク情報の授受を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。
【図１６】携帯端末、センサノード及びゲートウェイ間のネットワーク情報を授受を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。
【図１７】ＨＭＤのレンズの光透過度を制御するために、シートに装着したセンサノードと、ＨＭＤに装着したセンサノードと、ゲートウェイポイントとの間の通信ネットワークを模式的に表した図である。
【図１８】ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第１の例を説明するためのフローチャートである。
【図１９】図１８に続いて、ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第１の例を説明するためのフローチャートである。
【図２０】ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第２の例を説明するためのフローチャートである。
【図２１】図２０に続いて、ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第２の例を説明するためのフローチャートである。
【符号の説明】
【００８３】
１４ 第１前方撮影カメラ
１６ 第２前方撮影カメラ
１８ 前方死角撮影カメラ
２０ 後方死角撮影カメラ
２４ 照度センサ
３０ ＨＭＤ
３２ レンズ（光透過液晶）
３４、３６ 保護パネル
３８ カラー画像表示パネル
４０ 液晶パネル
４２ 表示駆動回路
４４ 液晶駆動回路
５０ 位置センサ
５２ 視線方向推定部
５４ 顔画像撮影カメラ
６２ 車両状態センサ
８６ 瞳開度検出処理回路
８８ ゲートウェイポイントのメモリ
９０ ＨＭＤのセンサノードＳＮのメモリ
９２ 携帯端末のメモリ
Ｍ 携帯端末（携帯電話機）
【技術分野】
【０００１】
本発明は車両用情報表示装置に関する。
【背景技術】
【０００２】
ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。
【０００３】
例えば、フロントウィンドウに運転支援情報を投影表示する技術が提案されている。しかし、ドライバは運転中、絶えず顔の向きや視線を動かしているのであり、フロントウィンドウの情報表示部に視線を固定しているわけにはいかない。
【０００４】
これに対し、特許文献１は、頭部装着型表示装置（ＭＨＤ：ヘッドマウントディスプレイ）に運転支援情報を表示することにより、ドライバの頭の向きにかかわらずドライバに運転支援情報を提供できるようにした技術が開示されている。ＨＭＤに関して、特許文献１は、ドライバの両目を覆う複眼タイプ（ゴーグルタイプ）のＨＭＤを開示しており、このＨＭＤは、左右のレンズがカラー表示液晶パネルで構成されている（特許文献１の図２を参照）。
【０００５】
特許文献１と同様に、特許文献２もゴーグルタイプのＨＭＤを開示し、このＨＭＤの左右のレンズを通じて乗員の周囲の環境を見ることができると共に車両の外部状況をドライバの眼前に立体画像として表示することを提案している。
【０００６】
【特許文献１】特開平７−２９４８４２号公報
【特許文献２】特開平１０−２０６７８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複眼タイプのＨＭＤは、これを装着した乗員が外部からの光を左右の目で受け止めるため、外部からの光の照度が大きいと眩しさを感じ、ひいては目の疲れを誘発してしまう可能性がある。
【０００８】
本発明の目的は、ＨＭＤを通じて種々の情報を視覚的に提供するだけでなく、目の疲れを防止することのできる情報表示装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の技術的課題は、本発明によれば、
光透過度が制御可能な左右のレンズを備え、該左右のレンズを通じて周囲の環境を見ることができると共に車両の外部状況を眼前に立体画像として表示することのできるＨＭＤを含む車両用情報表示装置であって、
前記ＨＭＤを装着した乗員に入射する光の照度を検出する照度センサと、
前記ＨＭＤを装着した乗員の瞳の開度を検出する瞳開度検出手段と、
該瞳開度検出手段により検出した乗員の瞳の開度と前記照度センサにより検出した光の照度とに基づいて前記左右のレンズの光透過度を制御する光透過度制御手段と、
前記照度センサ、前記瞳開度検出手段、前記光透過度制御手段との間でデータを送受信する通信ネットワーク手段とを有することを特徴とする車両用情報表示装置を提供することにより達成される。
【００１０】
すなわち、本発明によれば、乗員に入射する光の照度及び乗員の瞳の開度によって左右のレンズの光透過度が調整されるため、乗員の目に好ましい光の量が入ることで目の疲れを抑えることができる。
【００１１】
本発明の好ましい実施の形態では、
前記通信ネットワーク手段の一部を構成する記憶手段を更に有し、
該記憶手段に、乗員毎に予め目標照度が記憶されており、
該記憶手段に記憶されている目標照度に基づいて前記光透過度制御手段が制御される。この実施の形態によれば、乗員がＨＭＤを装着した早い段階で、乗員の目に入る光の照度を最適化することができる。
【００１２】
本発明の好ましい実施の形態では、また、
前記照度センサが、前記通信ネットワーク手段の一部を構成し且つ前記ＨＭＤに装着されたセンサノードで構成され、該センサノードのメモリに、乗員を間接的に特定することのできる属性データと、該属性データに関連付けて当該乗員の目標照度のデータとが記憶されている。このように、ＨＭＤに装着したセンサノードに照度センサの機能を付与することで、乗員に入射する光の照度を検出するのが容易となるだけでなく、乗員の目標照度をＨＭＤのセンサノードに記憶させておくことで、乗員と目標照度との関連付けが明確になり、別の乗員の目標照度が設定されてしまう可能性を低減することができる。
【００１３】
本発明の好ましい実施の形態では、また、
通信ネットワーク手段に組み込み可能な携帯端末を更に有し、
該携帯端末のＩＤに関連して、当該携帯端末を所有する乗員の目標照度のデータが該携帯端末のメモリに記憶されている。
【００１４】
上記携帯端末は典型的には携帯電話機である。携帯電話機は固有のＩＤが記憶されており、このＩＤを使うことで携帯電話機を特定することができる。携帯電話機は、これを所持する人間が特定されるのが通常であることから、携帯電話機のＩＤを介して、これを所持する乗員を特定することができる。また、この携帯電話機のメモリに、当該乗員の目標照度を記憶させておき、この目標照度に基づいてＨＭＤのレンズの光透過度を制御することで、携帯電話機を所持する乗員と、当該乗員の目標照度とを間違えることなく目標照度を設定することができる。
【００１５】
本発明の好ましい実施の形態では、通信ネットワーク手段を構成する複数のセンサノードが、ＨＭＤを装着した乗員を特定することのできる検出機能を備えている。具体的には、シートに設置したセンサノードに圧力センサの機能を付与しておき、シートに着座した乗員の体重を検出することで、この検出した体重から乗員を特定することができる。
【００１６】
本発明の好ましい実施の形態では、
前記目標照度が、前記瞳開度検出手段で検出した乗員の瞳開度及び前記照度センサからの光の照度に基づいて調整される。例えばドライバは、目線や顔の向きを変えながら運転するのが常である。この変化に対応して目標照度を調整することで、ＨＭＤのレンズの光透過度を状況変化に追従させることができる。
【００１７】
本発明の好ましい実施の形態では、
前記携帯端末のメモリに、乗員の目に関する属性が記憶されており、
該乗員の属性を取り込んで、該属性に基づいて前記目標照度を調整した後に、前記レンズの光透過度の制御が実行される。乗員の目に関する属性として、瞳の色、性別、年齢を挙げることでき、これらの要素によって目標照度を調整することで、個体差に対応した目標照度を設定することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００１９】
図１は、本実施形態に係る情報表示装置の基本構成を示す図である。
【００２０】
図１において、１０は制御部で、典型的には、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備えるコンピュータシステムで構成され、図示された制御部１０内の各ブロックで示される処理が、ＣＰＵによって実行される。
【００２１】
この情報表示装置は、例えばドライバズシートのバックレスト１２のショルダに車両前方に向けて設けられる第１前方撮影カメラ１４、例えばインストルメントパネルの上部に車両前方に向けて設けられる第２前方撮影カメラ１６、例えばフロントドア下部に車両外側斜め前方に向けて設けられ車両前方の死角を撮影する前方死角撮影カメラ１８、例えばリヤダッシュボードの上部に車両後方に向けて設けられる後方死角撮影カメラ２０を備え、これらは制御部１０内のカメラ画像取得部２２に接続されている。これらのカメラ１４〜２０は、自車の周囲の画像情報を取得する画像情報取得手段を構成するものであり、その組み合わせによって車両全周囲の画像を得る全方位カメラとして機能させるのが好ましい。また、個々のカメラはより広い範囲の画像を得るために超広角レンズを備えていることが好ましい。また、第２前方撮影カメラ１６、前方死角撮影カメラ１８、及び後方死角撮影カメラ２０はそれぞれ、夜間撮影も行えるよう、赤外線カメラ（暗視カメラ）であることが望ましい。さらに、ドライバＤの顔面に入射する光の照度を検出する照度センサ２４が設けられ、この照度センサ２４の出力もカメラ画像取得部２２に供給される。
【００２２】
３０はドライバＤが装着する視角補助手段としてのＨＭＤ（ヘッドマウントディスプレイ）である。このＨＭＤ３０は、図２に示されるような、眼鏡タイプのＨＭＤであり、この眼鏡タイプのＨＭＤ３０の左右のレンズ３２は光透過液晶カラーモニタで構成されている。ＨＭＤ３０を装着した乗員は、左右のレンズ３２を通じて乗員の周囲の環境を見ることができると共に、後に説明するように外部状況などを眼前に立体画像として見ることができる。勿論、ＨＭＤ３０は特許文献１に開示のようなゴーグルタイプであってもよい。
【００２３】
図３はＨＭＤ３０のレンズ３２の分解斜視図である。レンズ３２は、一対の保護パネル３４、３６と、これら保護パネル３４、３６間に位置するカラー画像表示パネル３８と液晶パネル４０とで構成されており、カラー画像表示パネル３８は、赤色用パネル３８ａと、緑色用パネル３８ｂと、青色用パネル３８ｃとで構成されている。
【００２４】
レンズ３２の一部を構成するカラー画像表示パネル３８は、赤色、緑色、青色用のパネル３８ａ〜３８ｃが表示駆動回路４２から供給される駆動信号に応じて動作することにより互いに協働してカラー画像を表示する。また、液晶パネル４０は、液晶駆動回路４４から供給される駆動信号の電圧が高くなる程、光透過度が低下する。換言すると、液晶駆動回路４４から供給される駆動信号の電圧がゼロＶとなると、光透過度が最大となる。
【００２５】
車室内の所定位置（例えば、ドライバズシート上方のルーフトリム）には位置センサ５０が設けられている。この位置センサ５０は例えば磁気センサ等で構成され、ＨＭＤ３０の位置姿勢を示す信号を出力するように構成されている。なお、この位置姿勢を示す信号には、位置センサ５０を基準とする位置（x,y,z）及び姿勢（roll, pitch, yaw）のパラメータが含まれる。位置センサ５０が出力するＨＭＤ３０の位置姿勢を示す信号は制御部１０内の視線方向推定部５２に入力される。
【００２６】
制御部１０は、カメラキャリブレーションによって、予め位置センサ５０の位置に対する、第１及び第２前方撮影カメラ１４、１６、前方死角撮影カメラ１８、後方死角撮影カメラ２０の位置関係が保持されている。よって、制御部１０は位置センサ５０より入力した信号に基づき、第１及び第２前方撮影カメラ１４、１６、前方死角撮影カメラ１８、後方死角撮影カメラ２０と、ＨＭＤ３０との位置関係を求めることが可能である。
【００２７】
ドライバＤの前方には、このＨＭＤ３０を装着しているドライバＤの瞳を含む顔画像を撮影する顔画像撮影カメラ５４が設置されている。この顔画像撮影カメラ５４が撮影したドライバの顔画像及び瞳開度データは、制御部１０内の視線方向推定部５２に供給される。顔画像撮影カメラ５４の設置位置は任意であるが、例えば車両のダッシュボード等に取り付けるようにしてもよい。なお、制御部１０とＨＭＤ３０との接続は有線でもよいし無線でもよい。
【００２８】
実施例の情報表示装置は、更に、ＧＰＳ信号を受信して地図データに基づき経路情報、交通情報等（ナビゲーション情報）など自車の走行情報を取得するナビゲーションユニット６０、車速センサ等の各種センサ類を含む車両状態センサ６２を備えている。
【００２９】
制御部１０は、カメラ画像取得部２２及び視線方向推定部５２の他に、取得した画像のレンズ歪み（収差）を補正するレンズ歪み補正部６４、画像の幾何変換及び画像切り出しを行う幾何変換・切り出し部６６、画像の描画位置及びサイズを算出する描画位置・サイズ算出部６８、カメラ画像の加工を行うカメラ画像加工処理部７０、ナビゲーションユニット６０及び車両状態センサ６２から入力したデータに基づきナビゲーション情報等の情報画像を作成する情報画像作成部７２、及び画像合成部７４を備えている。ナビゲーションユニット６０及び車両状態センサ６２は、制御部１０の情報画像作成部（２Ｄ画像作成部）７２に接続されている。
【００３０】
図４は、本実施形態における制御部１０によるＨＭＤ３０の画像表示制御処理を示すフローチャートである。
【００３１】
カメラ画像取得部１１は、第１及び第２前方撮影カメラ１４、１６、前方死角撮影カメラ１８、後方死角撮影カメラ２０からそれぞれ画像データを受信するとともに、照度センサ２４からの出力データを順次受信している（ステップＳ１）。またこれと並行して、視線方向推定部５２は、位置センサ５０からのＨＭＤ３０の位置姿勢を示す信号及び、顔画像撮影カメラ５４からの顔画像データを受信している（ステップＳ２）。視線方向推定部５２は、位置センサ５０からのＨＭＤ３０の位置姿勢を示す信号からドライバの顔の向きを推定するとともに、顔画像撮影カメラ５４からの顔画像データに基づき、ドライバの顔の肌領域と瞳領域との像域分離を行いその結果から顔の向きに対する視線方向を推定する。そして、これらの結果から、基準である位置センサ５０に対する視線方向を推定する。
【００３２】
上記ステップＳ１では、例えば、推定された視線方向が車両前方と判断され、照度センサ２４からの受信データに基づき照度が所定値より明るいと判断される場合には、第１前方撮影カメラ１４と前方死角撮影カメラ１８の画像データを取得する。また、推定された視線方向が車両前方と判断され、照度は上記所定値以下に暗いと判断される場合には、第２前方撮影カメラ（赤外線カメラ）１６の画像データを取得する。また、推定された視線方向が車両後方と判断されたときは、後方死角撮影カメラ２０の画像データを取得する。
【００３３】
次に、レンズ歪み補正部６４は、ステップＳ１で取得した画像データに対して、当該画像データを取得したカメラのレンズ特性に依存して生じる歪み（収差）を補正する（ステップＳ３）。この補正は例えば、カメラキャリブレーションによって得られる、位置センサ５０の位置に対する当該画像データを取得したカメラの位置を示すカメラ内部パラメータに基づいて行われる。
【００３４】
一方、視線方向推定部５２は、ステップＳ２で受信した位置センサ５０からのＨＭＤ３０の位置姿勢を示す信号に基づいて、ＨＭＤ３０の位置姿勢データを、予め行われた位置キャリブレーションによって得られる、センサ・ＨＭＤ補正パラメータに基づいて補正する（ステップＳ４）。
【００３５】
次に、幾何変換・切り出し部６６は、ステップＳ３で得られたレンズ歪み補正後の画像データに対して、ＨＭＤ３０の表示領域に合わせた画像の切り出し及び幾何変換を行う（ステップＳ５）。具体的には例えばステップＳ３で得られたレンズ歪み後の画像データから、その画像が、ドライバの視点から視認される立体的な現実空間像Ｓと同じ方向、大きさになるように、ＨＭＤ３０の位置センサ５０に対する位置姿勢及び視線方向推定部５２が推定した視線方向に合わせて必要な画像領域を切り出し、アフィン変換を行う。
【００３６】
次に、カメラ画像加工処理部７０は、ステップＳ５での処理後の画像データに対して、グレア対策として、高輝度の物体を認識して、分光画像処理し、輝度分布を平滑にして違和感や不快がないように調光する、分光補正処理を行う（ステップＳ６）。なお、グレアには、眼球内での光の散乱の程度が増加し、これによって対象物が見えにくくなる減能グレアと、視野内に高輝度の物体があるときに不快に感じやすくなる不快グレアとがあり、両者とも一般に加齢とともに増大する。ステップＳ６の分光補正処理はこのようなグレアに対処するものである。
【００３７】
図５は、このステップＳ６の分光補正処理の一例を示すフローチャートである。まず、ステップＳ５での処理後の画像データに対して、輝度分布分析を行う（ステップＳ６１）。そして、得られた輝度分布に基づいて高輝度物体が存在するかどうかを判定し（ステップＳ６２）、高輝度物体が存在する場合には輝度分布の平滑化を行う（ステップＳ６３）。
【００３８】
次に、カメラ画像加工処理部７０は、追従遅れ補正処理を行う（ステップＳ７）。これは、加齢により移動物を目で追う際の眼球運動が遅くなることに対処するものであり、その具体的処理例を図６のフローチャートに示す。
【００３９】
まず、入力した動画像データから移動物体を抽出し（ステップＳ７１）、そこに高速移動物体が存在するかどうかを判定する（ステップＳ７２）。ここで、高速移動物体が存在する場合には、その移動物体の移動方向、移動速度、及び位置を検出し（ステップＳ７３）、その検出結果に基づいてその移動物体の予測位置を算出する（ステップＳ７４）。その後、移動物体をその予測位置に描画する（ステップＳ７５）。
【００４０】
次に、カメラ画像加工処理部７０は、危険対象物検出処理を実行する（ステップＳ８）。この処理の具体例を図７のフローチャートに示す。
【００４１】
まず、入力した画像データから、歩行者、他車両等の対象物を抽出し（ステップＳ８１）、抽出した対象物の配置パターンを抽出する（ステップＳ８２）。次に、予めメモリに記憶してある熟練ドライバＤの注視行動モデルを読み出す（ステップＳ８３）。図８に熟練ドライバＤの注視行動モデルの概念図を示す。そして、熟練ドライバＤの注視行動モデルに基づくニューラルネットワークあるいは強化学習を構成し、これを利用して、ステップＳ８２で抽出した対象物の配置パターンから、高危険度対象物を抽出する（ステップＳ８４）。
【００４２】
高危険度対象物が抽出された場合にはその画像はカメラ画像としてＨＭＤ３０のレンズ３２に表示されることになる。このとき、その画像が高危険度対象物としてドライバに認知されやすいように、囲み枠線などの識別マークを重畳表示させるとよいであろう。
【００４３】
次に、描画位置・サイズ算出部６８は、ＨＭＤ３０のレンズ３２に表示する２Ｄ画像の描画位置およびそのサイズを計算する（ステップＳ９）。また、情報画像作成部７２は、ナビゲーションユニット６０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）を作成する。このとき、情報画像作成部７２は、ステップＳ７の追従遅れ補正処理において検出した高速移動物体についてその移動方向を示す矢印画像等を情報画像に含めるようにしても良い。
【００４４】
次に、画像合成部５６は、カメラ画像をＨＭＤ３０のレンズ３２に表示するかどうかを判断する（ステップＳ１０）。例えば、次の少なくともいずれかの場合には、車両走行上の危険度が相対的に高い状況であり、カメラ画像をＨＭＤ３０のレンズ３２に表示すると判断する。
（１）ステップＳ６の分光補正処理において、ステップＳ６３の輝度分布平滑化が実行された場合。
（２）ステップＳ７の追従遅れ補正処理において、ステップＳ７３〜Ｓ７５の処理が実行された場合。
（３）ドライバの視線方向に死角がある場合。
（４）照度が暗い場合。
【００４５】
画像合成部５６は、ステップＳ１０でカメラ画像をＨＭＤ３０のレンズ３２に表示すると判断した場合は、ステップＳ９での計算結果に基づいて、上述のステップＳ５〜Ｓ８の処理で得られたカメラ画像と、情報画像作成部７２がナビゲーションユニット６０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）とを合成した画像を作成し（ステップＳ１１）、その合成画像をＨＭＤ３０のレンズ３２に表示する（ステップＳ１２）。
【００４６】
一方、画像合成部５６は、ステップＳ１０でカメラ画像をＨＭＤ３０のレンズ３２に表示しないと判断した場合は、情報画像作成部７２がナビゲーションユニット６０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）のみを描画して（ステップＳ１３）、これをＨＭＤ３０のレンズ３２に表示する（ステップＳ１２）。
【００４７】
以上説明した制御部１０によるＨＭＤ３０の画像表示制御によって、ドライバに視認される画像の例を図９に示す。
【００４８】
図９の（ａ）に示される画像において、自車前方には晴天時の空が大きく広がっており、不快グレアが発生しやすい状況である。これに対して、本実施形態では、ステップＳ６において分光補正処理が施され、輝度分布が平滑化されるので、眩しさが軽減される。また、この図９の（ａ）において、自車前方左方からバス８０が横切るように移動中である。これに対しては、本実施形態では、ステップＳ７において追従遅れ補正が施され、移動物体であるバス８０の位置が補正される。このとき、図示の如く移動方向を示す矢印マーク８１を重畳表示するとよい。
【００４９】
図９の（ｂ）では、ナビゲーション情報である「１００ｍ先右折」との文字表示及び、そのことを示す矢印による右折マーク８２が重畳表示されている。図９の（ｃ）は、ステップＳ８の危険対象物抽出処理において先行車両が危険対象物と判定され、ドライバの注意を喚起するために、それに囲み枠線が重畳表示されるとともに、「前方障害物」、「車間確保」とのメッセージが表示されている。この図９の（ｃ）の状態が所定時間経過しても解消されない場合には、図９の（ｄ）に示されるように、音声による警告メッセージを発するようにしてもよい。
【００５０】
ここで、図９の（ｂ）〜（ｄ）に示されるような、ナビゲーション情報である右折マーク８２は、ドライバの視線方向に適合した位置や態様で表示されることが好ましい。一方、図９の（ｄ）に示すように、「５ＫＭ前方渋滞１ＫＭ」といったナビゲーション情報のうちの交通情報については、ドライバの視線方向には関係なく、図示のように下方端部などの固定された位置で表示されればよいであろう。
【００５１】
以上、ドライバＤに対する運転支援を説明したが、眼鏡タイプのＨＭＤ３０はドライバＤに限定されず助手席や後席の乗員が装着するのに都合がよい。運転席以外のシートに着座した乗員がＨＭＤ３０を装着したときには、例えばＨＭＤ３０を介して映画や周囲環境の案内などの表示が行われる。
【００５２】
図１０及び図１１は、車両に搭載されたネットワークの全体構成図であり、図１２は、センサノードを示すブロック図であり、図１３は、ゲートウェイポイントを示すブロック図であり、図１４は、携帯端末を示すブロック図であり、図１５は、センサノード及びゲートウェイ間のネットワーク情報を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図であり、図１６は、携帯端末、センサノード及びゲートウェイ間のネットワーク情報を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。
【００５３】
先ず、図１０及び図１１に示すように、車両には、複数のセンサノードＳＮ及びゲートウェイポイントＧが搭載されている。また、前述したＨＭＤ３０にも左右一対のセンサノードＳＮが組み込まれている。ゲートウェイポイントＧは、本実施形態では、ナビゲーション装置に内蔵されたＣＰＵ、メモリ及び無線通信インターフェースで構成される。図１０に示すように、ゲートウェイポイントＧには、機器Ｄ（例えば複数の送風口を有する空調機器）が接続され、ゲートウェイポイントＧの後述する機器制御部により各送風口から送出される空気の温度及び量が制御される。
【００５４】
センサノードＳＮはコイン大の大きさで比較的薄いものであり、車室内の様々な部位に取り付けることが出来るものである。本実施形態では、図１１に示すように、各座席のシート内や各座席に対応したルーフ部分などに複数設けられている。この図１１に示すように、センサノードＳＮは３次元的に配置することが出来る。これらのセンサノードＳＮ及びＨＭＤ３０に組み込まれたセンサノードＳＮは、互いに無線でネットワーク（図１５参照）を形成する。
【００５５】
ゲートウェイポイントＧは、各センサノードＳＮからの無線通信による情報を受けて、車載機器、例えば、ナビゲーション装置のナビ機能とテレビ機能の操作の制限や、空調装置の各座席に応じた冷暖の調整などを行う（図１５参照）。ゲートウェイポイントＧは、センサノードＳＮと情報（信号）の送受信を行うほか、例えば各座席の目標温度の算出や各座席に対応した空調装置の制御量の算出を行う。このゲートウェイポイントＧも、上述した複数のセンサノードＳＮと無線でネットワーク（図１５参照）を形成する。
【００５６】
図１１に示すように、各センサノードＳＮには、例えばボタン電池のような電源、ＣＰＵであるプロセッサー、及び、センサノードＳＮに内蔵されており、その外部に取り付けられる各種センサを有する。例えば、ＨＭＤ３０に組み込まれたセンサノードＳＮには、前述した照度センサ２４が組み込まれている。車両に搭載されたセンサノードＳＮには、照度センサ、温度センサ、圧力センサなどを含み、圧力センサは、乗員の着座を検知する着座センサとして機能する。また、センサノードＳＮには、他のセンサノードＳＮ、携帯電話のような携帯端末Ｍ及び後述するゲートウェイポイントＧと無線通信可能なインターフェースを有する。
【００５７】
また、センサノードＳＮにはメモリが搭載されており、このメモリには、圧力センサの情報を処理したり、他の携帯端末Ｍや他のセンサノードＳＮとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。
【００５８】
このセンサノードＳＮのメモリは、そのセンサノードＳＮのセンサによる検出結果を記憶するようになっている。このセンサノードＳＮのプロセッサー（データ処理部）は、センサによる検出結果に基づいて機器Ｄを制御するための目標制御量を算出する。この算出は、センサによる検出結果をそのまま使用して行っても良いし、センサノードＳＮのメモリ、或いは、後述するゲートウェイポイントのメモリに記憶された検出結果を使用して行われる。また、センサノードＳＮのプロセッサーは、所定のデータベースに記憶された検出結果に基づいて機器Ｄを制御するための目標制御量を算出することも出来る。所定のデータベースは、センサノードＳＮのメモリ、或いは、ゲートウェイポイントのメモリに備えられるものである。
【００５９】
算出された目標制御量は、ゲートウェイポイントＧのプロセッサー及び機器制御部で使用され、ゲートウェイポイントＧの機器制御部がその目標制御量が得られるように機器Ｄを制御する。また、算出された目標制御量は、センサノードＳＮのメモリ、或いは、後述するゲートウェイポイントのメモリに記憶され、ゲートウェイポイントＧのプロセッサー及び機器制御部がその記憶された目標制御量を使用して、機器制御部によりその目標制御量が得られるように機器Ｄを制御するようにしても良い。
【００６０】
このようなセンサノードＳＮの通信方式として、例えば、「ZigBee」といわれるものがある。これは、規格が「IEEE802.15.4」、伝送速度(bps)が「250K」、利用周波数帯が「2.4GHz（全世界）、868MHz（欧州）、915MHz（米国）」、伝送距離が「最大10-75m」、消費電力（通信）が「＜60mW」のものである。これ以外にも、方式として、「微弱無線」、「特定小電力無線」、「Bluetooth」、「UWB」などの他の方式もある。
【００６１】
図１３に示すように、ゲートウェイポイントＧには、車両のバッテリーから引き出される電源、ＣＰＵであるプロセッサー、複数のセンサノードＳＮと無線通信可能なインターフェース、メモリ、及び、機器制御部を有する。このメモリには、センサノードＳＮや携帯端末Ｍとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。
【００６２】
ゲートウェイポイントＧは、各センサノードＳＮ及びそのネットワークから得られる情報を集中管理すると共に外部の機器、例えば、空調機器、ナビゲーション装置、電動シート装置、パワーウィンドウなどを制御する。また、ゲートウェイポイントＧや携帯端末Ｍを通して車両の外部のサーバーに情報を蓄積することも可能である。また、ゲートウェイポイントＧには、携帯端末ＭのＩＤなどの情報が記憶されている。なお、このような情報は各センサノードＳＮに記憶させても良い。
【００６３】
このゲートウェイポイントＧのメモリ８８は、そのセンサノードＳＮのセンサによる検出結果を記憶するようになっている。このゲートウェイポイントＧのプロセッサー（データ処理部）は、センサノードＳＮのセンサによる検出結果に基づいて機器Ｄを制御するための目標制御量を算出する。この算出は、センサによる検出結果をそのまま使用して行っても良いし、上述したセンサノードＳＮのメモリ９０、或いは、ゲートウェイポイントのメモリ８８に記憶された検出結果を使用して行われる。また、ゲートウェイポイントＧのプロセッサーは、上述した所定のデータベース、即ち、センサノードＳＮのメモリ９０、或いは、ゲートウェイポイントのメモリ８８に備えられたデータベースに記憶された検出結果に基づいて機器Ｄを制御するための目標制御量を算出することも出来る。
【００６４】
算出された目標制御量は、ゲートウェイポイントＧのプロセッサー及び機器制御部で使用され、ゲートウェイポイントＧの機器制御部がその目標制御量が得られるように機器Ｄを制御する。また、センサノードＳＮのメモリ、或いは、後述するゲートウェイポイントのメモリ８８に記憶された目標制御量を、ゲートウェイポイントＧのプロセッサー及び機器制御部が使用して、機器制御部によりその目標制御量が得られるように機器Ｄを制御するようにしても良い。
【００６５】
図１４に示すように、典型的には携帯電話機である携帯端末Ｍには、携帯電話基盤ミドルウェアと、ＣＰＵであるプロセッサー、複数のセンサノードＳＮと無線通信可能なインターフェース及びメモリを有する。このメモリには、センサノードＳＮとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。この携帯端末Ｍも、上述した複数のセンサノードＳＮと無線でネットワーク（図１６参照）を形成する。
【００６６】
次に、センサネットワークの概念について説明する。上述したように、センサノードＳＮに、所定のセンシングを行うセンサの他に、メモリ、アプリケーション、無線機能などが内蔵されている。このセンサノードＳＮは、センサにより得られた情報を保持出来るほか、無線により他のセンサノードＳＮや携帯端末Ｍとの間で送受信することが出来る。そのような機能により、或るセンサノードＳＮは、他のセンサノードＳＮや携帯端末Ｍの情報、即ち、他のセンサノードＳＮが有するセンサにより得られた情報や記憶されている情報を得ることも出来る。このようにして、複数のセンサノードＳＮ及び携帯端末Ｍがネットワークでつながっており（図１５参照）、仮に１つのセンサノードＳＮが故障又は携帯端末Ｍが存在していない場合であっても、他のセンサノードＳＮでネットワークを形成することが出来る。これにより、配線でつながっている車内ＬＡＮとは異なり、配線の不要なネットワークを形成することが出来る。また、或る位置のセンサノードＳＮの情報を他のセンサノードＳＮの情報と共に多角的に得ることが出来る。
【００６７】
図１に戻って、液晶駆動回路４４には、ＨＭＤ３０に設置したセンサノードＳＮで構成された照度センサ２４と、ドライバＤの瞳を含む顔面像撮影カメラ５４からの情報が入力される。顔面像撮影カメラ５４と液晶駆動回路４４との間には瞳開度検出処理回路８６が介在しており、この瞳開度検出処理回路８６によってドライバＤの瞳の開度が検出され、この瞳開度情報が液晶駆動回路４４に入力される。
【００６８】
図１７は、ＨＭＤ３０を装着した乗員が所持している、典型的には携帯電話機である携帯端末Ｍを組み込んだネットワークを模式的に示す。ゲートウェイポイントＧには、過去に車両に乗車した人間の情報が記憶されている。この情報は、各人の体重と、当該個人の目に適した目標照度とを含む。また、ＨＭＤ３０を使用する人間が例えばドライバや家族に限定されているときには、当該ＨＭＤ３０のセンサノードＳＮのメモリ９０（図１７）に、各人の「体重―目標照度」データを記憶しておいてもよい。また、携帯端末Ｍには、そのメモリ９２（図４）に、当該携帯端末ＭのＩＤや使用者のＩＤ、当該携帯端末Ｍの使用者の個人特性データ（体重、瞳の色、目標照度、年齢、平均血圧や最高、最小血圧、平均脈拍など）が予め記憶されている。
【００６９】
携帯端末Ｍを所持した乗員がＨＭＤ３０を装着しているときには、携帯端末ＭからＩＤを取得し、このＩＤによって乗員を間接的に特定し、このＩＤに関連した乗員に対応した光量が目Ｅに入るように、予め用意した目標照度に基づいてＨＭＤ３０のレンズ３２（液晶パネル４０）を通過する光量が調整される。この目標照度は、携帯端末Ｍのメモリに含まれる瞳の色、性別、年齢という属性を取り込んで、これらの情報に基づいて調整した後に、調整後の目標照度に基づいてＨＭＤ３０の液晶パネル４０の光透過度を制御するようにしてもよい。
【００７０】
この基本制御に加えて、顔面像撮影カメラ５４から取得した瞳開度及び実際の照度に基づいて液晶パネル４０に対する目標値を修正して、ＨＭＤ３０を装着した乗員にとって好ましい光量が目Ｅに入るように液晶パネル４０の光透過度合いがフィードバック制御される。このフィードバック制御によって、ＨＭＤ３０を装着した乗員にとって、実際の照度との関係で好ましい光量が目Ｅに入る状態を生成することができる。特に、ドライバは目線、顔の向きなどを変化させて運転しているが、このドライバの目線などの変化に対応して目に入る照度を好ましい照度に調整することができる。そして、フィードバック制御によって獲得した目標照度に基づいて、ゲートウェイポイントＧ、ＨＭＤ３０のセンサノードＳＮ、携帯端末Ｍの各メモリ８８、９０、９２の記憶値が更新される。
【００７１】
図１８、図１９は、ＨＭＤ３０の光透過制御の一つの具体例を説明するためのフローチャートであり、図１９は、図１８に続くフローを示してある。先ず、図１８を参照して、ＨＭＤ３０に内蔵されているセンサノードＳＮを含むセンサノードＳＮはゲートウェイポイントＤとネットワークを形成し（Ｓ１００）、そして各センサノードＳＮは他のセンサノードＳＮの中継処理（Ｓ１０１）によって、各センサノードＳＮの位置を検出する処理が行われる（Ｓ１０２）。
【００７２】
また、各センサノードＳＮのデータ、例えば位置データ、乗員の瞳の開度データ、実際の照度データがゲートウェイポイントＧに供給され（Ｓ１０３）、ゲートウェイポイントＧはこれを受信する（Ｓ１０４）。
【００７３】
携帯電話機などの携帯端末Ｍを所持した人間が乗車すると（Ｓ１０５）、当該携帯端末Ｍを含むネットワークが形成され（Ｓ１０６）、当該携帯端末Ｍの位置検出が行われる（Ｓ１０７）。次いで、この位置データと共に、携帯端末Ｍに予め記憶されているＩＤ、体重、血圧、脈拍などの個人特性データ、目標照度データがセンサノードＳＮを経由してゲートウェイポイントＧに送信される（Ｓ１０８）。もし、この携帯ＩＤが新規であれば、ゲートウェイポイントＧのメモリ８８に、これらの情報が記憶される（図１９のＳ１０９）。
【００７４】
図１９を参照して、ゲートウェイポイントＧでは、受信した携帯端末Ｍの位置データとセンサノードＳＮの位置データとに基づいて、当該携帯端末Ｍに最も近いセンサノードＳＮを選択する（Ｓ１１０）。勿論、複数人が夫々携帯端末Ｍを所持しているときには各携帯端末Ｍ毎に最寄りのセンサノードＳＮが選択される。そして、各携帯端末ＭのＩＤの目標照度に基づいて各センサノードＳＮに対して目標照度データを送信し（Ｓ１１１）、該当するセンサノードＳＮは、これを受けて光量制御を実行して、ＨＭＤ３０のレンズ３２を透過する光量が液晶パネル４０の光透過度によって調整される（Ｓ１１２）。この液晶パネル４０は前述したようにフィードバック制御される。
【００７５】
ＨＭＤ３０を装着している乗員にとって、上記Ｓ１１２の光量制御によって、目Ｅに入る光量が好ましいものとなるが、この乗員の瞳開度は顔画像撮影カメラ５４によって検出され（Ｓ１１３）、瞳開度が適正の範囲であれば、ステップＳ１１４からステップＳ１１５に進んで、目標照度の算出及びゲートウェイポイントＧの記憶データの更新が実行される。これにより、眩しさの個人差を補償した各人の最適な目標照度を記憶させることができる。この更新用の目標照度データは、センサノードＳＮ及び携帯端末Ｍに供給されてデータの更新が行われる（Ｓ１１６、Ｓ１１７）。
【００７６】
図２０、図２１は、ＨＭＤ３０の光透過制御の他の具体例を説明するためのフローチャートであり、図２１は、図２０に続くフローを示してある。これら図２０、図２１の例は、乗員が携帯端末Ｍを所持していない場合の例であり、乗員が着座したシートの圧力センサ（センサノードＳＮ）によって乗員の体重を検出して、検出した体重から間接的に乗員を特定する。そして、予め記憶してある「体重-目標照度」のデータから、検出した体重に基づいて目標照度を抽出して、この目標照度に基づいてＨＭＤ３０の液晶パネル４０の光透過度合いを制御する。また、液晶パネル４０の制御は、ＨＭＤ３０を装着している乗員の瞳開度によってフィードバック制御され、最適な照度となるように目標照度が修正される。そして、この修正した目標照度によってゲートウェイポイントＧの記憶データが更新される。
【００７７】
以上のことを前提として、図２０を参照して、ＨＭＤ３０に内蔵されているセンサノードＳＮを含むセンサノードＳＮはゲートウェイポイントＤとネットワークを形成し（Ｓ２００）、そして、各センサノードＳＮは他のセンサノードＳＮの中継処理（Ｓ２０１）によって、各センサノードＳＮの位置を検出する処理が行われる（Ｓ２０２）。また、各センサノードＳＮのデータ、例えば位置データ、乗員の瞳の開度データ、実際の照度データがゲートウェイポイントＧに供給され（Ｓ２０３）、ゲートウェイポイントＧはこれを受信する（Ｓ２０４）。
【００７８】
各シートに設置したセンサノードＳＮは、他のセンサノードＳＮ及びゲートウェイポイントＤとネットワークを形成し（Ｓ２０５）、そして、各センサノードＳＮは他のセンサノードＳＮの中継処理（Ｓ２０６）によって、各センサノードＳＮの位置を検出する処理が行われる（Ｓ２０７）。また、ＨＭＤ３０を装着した乗員が着座したシートの各センサノードＳＮは、シートに着座した乗員からの圧力を検出し、この圧力のデータは、センサノードＳＮ毎にその位置データと共にゲートウェイポイントＧに送信される（Ｓ２０８）。
【００７９】
図２１を参照して、ゲートウェイポイントＧでは、受信したセンサノードＳＮの位置データに基づいて、当該圧力センサノードＳＮに最も近いＨＮＤ３０及び照度センサ２４を選択する（Ｓ２０９）。勿論、複数人が乗車しているときには、該当するシートの圧力センサノードＳＮに最も近いＨＮＤ３０及び照度センサ２４が夫々選択される。
【００８０】
圧力センサノードＳＮから送られてきた圧力つまり乗員を体重に基づいて乗員を間接的に特定し、そして、この体重に基づいて、予め記憶されている体重―目標照度データから、当該体重に対応する目標照度が抽出され、そして抽出した目標照度は該当するセンサノードＳＮに送信される（Ｓ２１０）。これを受信したセンサノードＳＮは（Ｓ２１１）、これを受けて光量制御を実行して、ＨＭＤ３０のレンズ３２を透過する光量が液晶パネル４０の光透過度によって調整される（Ｓ２１２）。この液晶パネル４０は前述したようにフィードバック制御される。このフィードバック制御を行うことで、乗員の目線、顔の向きなどを変化させたときに、これに対応して目に入る照度を好ましい照度に調整することができる。
【００８１】
ＨＭＤ３０を装着している乗員にとって、上記Ｓ２１２の光量制御によって、目Ｅに入る光量が好ましいものとなるが、この乗員の瞳開度を顔画像撮影カメラ５４によって検出してゲートウェイポイントＧに送信され（Ｓ２１３）、これを受けたゲートウェイポイントＧ（Ｓ２１４）は、瞳開度が適正の範囲の判断を行って（Ｓ２１５）、瞳開度が適正の範囲であれば、ステップＳ２１５からステップＳ２１６に進んで、目標照度の算出及びゲートウェイポイントＧのメモリ８８の記憶値の更新が実行され、また、センサノードＳＮに送信される。これにより、眩しさの個人差を補償した各人の最適な目標照度をゲートウェイポイントＧ及びセンサノードＳＮのメモリ８８、９０のデータの更新が行われる（Ｓ２１７）。
【図面の簡単な説明】
【００８２】
【図１】実施例の車両用情報表示装置の基本構成を示す図である。
【図２】実施例で採用した眼鏡タイプのＨＭＤを示す図である。
【図３】図２の眼鏡タイプのＨＭＤの左右のレンズの構造を説明するための分解斜視図である。
【図４】実施例における画像処理部によるＨＭＤの画像表示制御処理を示すフローチャートである。
【図５】実施例における分光補正処理の一例を示すフローチャートである。
【図６】実施例における追従遅れ補正処理の一例を示すフローチャートである。
【図７】実施例における危険対象物抽出処理の一例を示すフローチャートである。
【図８】熟練ドライバの注視行動モデルの概念図である。
【図９】画像処理部によるＨＭＤの画像表示制御によって、ドライバに視認される画像の例を示す図である。
【図１０】センサノード及びゲートウェイポイントで構成される車両内通信ネットワークを平面視した図である。
【図１１】センサノードの配置を側面視した図である。
【図１２】センサノードのブロック図である。
【図１３】ゲートウェイポイントのブロック図である。
【図１４】携帯端末のブロック図である。
【図１５】センサノード及びゲートウェイ間のネットワーク情報の授受を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。
【図１６】携帯端末、センサノード及びゲートウェイ間のネットワーク情報を授受を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。
【図１７】ＨＭＤのレンズの光透過度を制御するために、シートに装着したセンサノードと、ＨＭＤに装着したセンサノードと、ゲートウェイポイントとの間の通信ネットワークを模式的に表した図である。
【図１８】ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第１の例を説明するためのフローチャートである。
【図１９】図１８に続いて、ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第１の例を説明するためのフローチャートである。
【図２０】ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第２の例を説明するためのフローチャートである。
【図２１】図２０に続いて、ＨＭＤのレンズの光透過度を制御に関する具体的な手順の第２の例を説明するためのフローチャートである。
【符号の説明】
【００８３】
１４ 第１前方撮影カメラ
１６ 第２前方撮影カメラ
１８ 前方死角撮影カメラ
２０ 後方死角撮影カメラ
２４ 照度センサ
３０ ＨＭＤ
３２ レンズ（光透過液晶）
３４、３６ 保護パネル
３８ カラー画像表示パネル
４０ 液晶パネル
４２ 表示駆動回路
４４ 液晶駆動回路
５０ 位置センサ
５２ 視線方向推定部
５４ 顔画像撮影カメラ
６２ 車両状態センサ
８６ 瞳開度検出処理回路
８８ ゲートウェイポイントのメモリ
９０ ＨＭＤのセンサノードＳＮのメモリ
９２ 携帯端末のメモリ
Ｍ 携帯端末（携帯電話機）
【特許請求の範囲】
【請求項１】
光透過度が制御可能な左右のレンズを備え、該左右のレンズを通じて周囲の環境を見ることができると共に車両の外部状況を眼前に立体画像として表示することのできるＨＭＤを含む車両用情報表示装置であって、
前記ＨＭＤを装着した乗員に入射する光の照度を検出する照度センサと、
前記ＨＭＤを装着した乗員の瞳の開度を検出する瞳開度検出手段と、
該瞳開度検出手段により検出した乗員の瞳の開度と前記照度センサにより検出した光の照度とに基づいて前記左右のレンズの光透過度を制御する光透過度制御手段と、
前記照度センサ、前記瞳開度検出手段、前記光透過度制御手段との間でデータを送受信する通信ネットワーク手段とを有することを特徴とする車両用情報表示装置。
【請求項２】
前記通信ネットワーク手段の一部を構成する記憶手段を更に有し、
該記憶手段に、乗員毎に予め目標照度が記憶されており、
該記憶手段に記憶されている目標照度に基づいて前記光透過度制御手段が制御される、請求項１に記載の車両用情報表示装置。
【請求項３】
前記照度センサが、前記通信ネットワーク手段の一部を構成し且つ前記ＨＭＤに装着されたセンサノードで構成され、該センサノードのメモリに、乗員を間接的に特定することのできる属性データと、該属性データに関連付けて当該乗員の目標照度のデータとが記憶されている、請求項１に記載の車両用情報表示装置。
【請求項４】
前記通信ネットワーク手段に組み込み可能な携帯端末を更に有し、
該携帯端末のＩＤに関連して、当該携帯端末を所有する乗員の目標照度のデータが該携帯端末のメモリに記憶されている、請求項３に記載の車両用情報表示装置。
【請求項５】
前記通信ネットワーク手段を構成する複数のセンサノードが、前記ＨＭＤを装着した乗員を特定することのできる検出機能を備えている、請求項３に記載の車両用情報表示装置。
【請求項６】
前記目標照度が、前記瞳開度検出手段で検出した乗員の瞳開度及び前記照度センサからの光の照度に基づいて調整される、請求項３又は４に記載の車両用情報表示装置。
【請求項７】
前記携帯端末のメモリに、乗員の目に関する属性が記憶されており、
該乗員の属性を取り込んで、該属性に基づいて前記目標照度を調整した後に、前記レンズの光透過度の制御が実行される、請求項４に記載の車両用情報表示装置。
【請求項１】
光透過度が制御可能な左右のレンズを備え、該左右のレンズを通じて周囲の環境を見ることができると共に車両の外部状況を眼前に立体画像として表示することのできるＨＭＤを含む車両用情報表示装置であって、
前記ＨＭＤを装着した乗員に入射する光の照度を検出する照度センサと、
前記ＨＭＤを装着した乗員の瞳の開度を検出する瞳開度検出手段と、
該瞳開度検出手段により検出した乗員の瞳の開度と前記照度センサにより検出した光の照度とに基づいて前記左右のレンズの光透過度を制御する光透過度制御手段と、
前記照度センサ、前記瞳開度検出手段、前記光透過度制御手段との間でデータを送受信する通信ネットワーク手段とを有することを特徴とする車両用情報表示装置。
【請求項２】
前記通信ネットワーク手段の一部を構成する記憶手段を更に有し、
該記憶手段に、乗員毎に予め目標照度が記憶されており、
該記憶手段に記憶されている目標照度に基づいて前記光透過度制御手段が制御される、請求項１に記載の車両用情報表示装置。
【請求項３】
前記照度センサが、前記通信ネットワーク手段の一部を構成し且つ前記ＨＭＤに装着されたセンサノードで構成され、該センサノードのメモリに、乗員を間接的に特定することのできる属性データと、該属性データに関連付けて当該乗員の目標照度のデータとが記憶されている、請求項１に記載の車両用情報表示装置。
【請求項４】
前記通信ネットワーク手段に組み込み可能な携帯端末を更に有し、
該携帯端末のＩＤに関連して、当該携帯端末を所有する乗員の目標照度のデータが該携帯端末のメモリに記憶されている、請求項３に記載の車両用情報表示装置。
【請求項５】
前記通信ネットワーク手段を構成する複数のセンサノードが、前記ＨＭＤを装着した乗員を特定することのできる検出機能を備えている、請求項３に記載の車両用情報表示装置。
【請求項６】
前記目標照度が、前記瞳開度検出手段で検出した乗員の瞳開度及び前記照度センサからの光の照度に基づいて調整される、請求項３又は４に記載の車両用情報表示装置。
【請求項７】
前記携帯端末のメモリに、乗員の目に関する属性が記憶されており、
該乗員の属性を取り込んで、該属性に基づいて前記目標照度を調整した後に、前記レンズの光透過度の制御が実行される、請求項４に記載の車両用情報表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−５８６３１（Ｐ２０１０−５８６３１Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２５８３２（Ｐ２００８−２２５８３２）
【出願日】平成２０年９月３日（２００８．９．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月３日（２００８．９．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]