説明

車両用表示装置

【課題】 車両の美観を損ねず、しかも、運転者に緊張感を与えずに運転者を正面から撮影することが可能な車両用表示装置を提供する。
【解決手段】 フロントガラス92に映った運転者αの虚像をカメラ15で撮影することにより、運転者を正面から撮影することができる。また、このHUD1によれば、インパネ90内にカメラ15が設置されているので、車両の美観が損なわれることがない。さらに、このHUD1では、画像光と虚像光とが同一の光路を通るように構成されているので、カメラ15がフロントガラス92に映ってしまう場合でも、投影画像が表示された位置にカメラが映る。そのため、カメラ15は投影画像にかき消され、運転者からは見えない。従って、このHUD1を用いれば、車両の美観を損ねず、しかも、正面から運転者を写す緊張感を運転者に与えずに運転者を正面から撮影することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、透明表示体に投影画像を投影する車両用表示装置に関する。
【背景技術】
【0002】
交通事故は、運転者の認知ミス、操作ミス、居眠り、漫然運転、あせり、緊張など、運転者の精神的・肉体的な人的要因を発端とするものが大半を占めている(交通事故総合分析センターイタルダ・インフォメーションより)。
【0003】
そのため、運転者の表情を撮影し、その撮影した画像から画像処理技術を用いて運転者の目の動きや顔の表情などを解析して上述したような人的要因を検出し、その検出結果から危険と判断された場合に注意・喚起する運転支援システムが開発されている(特許文献1,2,3)。
【0004】
一方、車両のインテリジェント化に伴い、車両には、この運転支援システムの他にも多種多様な装置が搭載されるようになってきた。そしてその中に、ヘッドアップディスプレイと呼ばれる車両用表示装置がある。
【0005】
この車両用表示装置は、一般的にはインパネの内部に設置され、そのインパネの内部から運転者の前方のフロントガラス上に速度その他の情報の画像を表示することで、運転者に首を振らさせずに各種情報を提供することを可能とする装置である(特許文献4)。
【特許文献1】特開2003−25866号公報
【特許文献2】特開2005−296382号公報
【特許文献3】特開2004−133749号公報
【特許文献4】特開2003−291688号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、上述した運転支援システムで運転者の表情などを解析するには、運転者の前方にカメラを設置することが好ましい。
これは、運転者の前方以外の場所から運転者を撮影すると、運転者の表情を正確に解析する必要から、その撮影した画像を運転者の正面から見た画像に変換せねばならず、その変換のための処理量が膨大になるからである。また、運転者の前方以外の場所から運転者を撮影すると撮影範囲が限定されるため、運転者の表情を正確に解析できない恐れがあるからである。
【0007】
そのため、上記特許文献1〜3を始め多くの運転支援システムでは、カメラを、車両のインストルメントパネル(以下、インパネという)や計器盤、ルームミラーやその付近など、運転者から直接見える限られた場所に設置している。
【0008】
しかし、この運転支援システムのカメラをはじめ、運転者を正面から写すため、インパネなど運転者の前方にカメラを設置すると、車両の美観を損ね、加えて、運転者に常にカメラが向けられるので、運転者によっては緊張感を感じる可能性も否定できなかった。
【0009】
そこで、本発明では、上記問題を解決するため上述した車両用表示装置を工夫し、車両の美観を損ねず、しかも、運転者に緊張感を与えずに運転者を正面から撮影することが可能な車両用表示装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
上述した問題を解決するためになされた発明である請求項1に記載の車両用表示装置は、車両の運転席の前方(運転席から見た車両の前進方向)に位置し、運転席に座った運転者の前方の視界を遮らない透明表示体に投影画像を投影する投影手段を備えている。
【0011】
また、この車両用表示装置は、透明表示体に映った運転者の虚像を撮影する撮影手段と、第1の方向から入射する光を第2の方向に導き、第2の方向から入射する光を第3の方向に導く導光手段と、を備えている。
【0012】
さらに、この車両用表示装置は、投影手段、撮影手段及び導光手段を内蔵し、透明表示体に対向する側であって投影画像の画像光の光路上に通光部が設けられた筐体を備えている。
【0013】
そして、この車両用表示装置は、投影手段、撮影手段、及び、導光手段を、筐体内で、下記の(1)〜(2)のように配置している。
(1)投影手段が導光手段の第1の方向側に位置し、透明表示体が導光手段の第2の方向側に位置するように投影手段及び導光手段を配置すると共に、
投影手段から投影された投影画像の画像光を、導光手段によって第1の方向から第2の方向に導き、そしてこの導かれた画像光を透明表示体に当てることによって、透明表示体に投影画像を投影可能な位置に、投影手段及び導光手段を配置している。
(2)撮影手段を導光手段の第3の方向側に位置するように撮影手段及び導光手段を配置すると共に、
透明表示体に映った運転者の虚像の虚像光を、導光手段によって第2の方向から第3の方向に導いて撮影手段に届けることによって、撮影手段で運転者の虚像を撮影可能な位置に、撮影手段及び導光手段を配置している。
【0014】
このように構成された車両用表示装置によれば、運転者の前方の透明表示体上に、投影手段から投影された投影画像が表示される。つまり、この車両用表示装置は、いわゆるヘッドアップディスプレイとして機能する。
【0015】
また、この車両用表示装置によれば、運転者の前方にある透明表示体に映った運転者の虚像を撮影手段で撮影することにより、間接的ではあるが、運転者が正面から撮影される。
【0016】
さらに、この車両用表示装置によれば、筐体内に撮影手段が設置されているので、車両の美観が損なわれることがなく、しかも撮影手段で撮影されているという緊張感を運転者に与えることもない。
【0017】
従って、この車両用表示装置を用いれば、車両用表示装置としての機能は損なわずに、車両の美観を損ねず、しかも、運転者に緊張感を与えずに運転者を正面から撮影することができる。
【0018】
次に、請求項2に記載したように、透明表示体から導光手段までの間、画像光及び虚像光が同一の光路を通過するように、投影手段、撮影手段、及び、導光手段を配置することが好ましい。
【0019】
画像光及び虚像光の光路が異なれば、そのいずれの位置でも各光を導くことができる大きめの導光手段を用いねばならない。しかし、このように構成された車両用表示装置によれば、各光が同一の光路を通過するので、小さめの導光手段を用いることができる。
【0020】
また、画像光及び虚像光の光路が異なれば、透明表示体に内蔵した撮影手段が映る可能性がある。しかし、このように構成された車両用表示装置によれば、各光が同一の光路を通過するので、投影画像が表示された位置に撮影手段が映ることとなり、映った撮影手段は投影画像にかき消され、運転者からは見えない。
【0021】
従って、請求項2に記載した画像表示装置を用いれば、小さめの導光手段を用いることができるので、装置全体をコンパクトに構成することができ、また、内蔵された撮影手段は運転者からは見えないので、運転者に緊張感を与える可能性がより一層少なくなる。
【0022】
次に、請求項3に記載したように、透明表示体は、フロントガラスであることが好ましいが、その他には、例えば、コンバイナでもよい。
次に、請求項4に記載したように、導光手段は、第1の方向から入射する光を第2の方向に透過し、第2の方向から入射する光を第3の方向に反射するハーフミラーであることが好ましい。その他、例えばプリズムなどを用いてもよい。
【0023】
次に、請求項5に記載したように、虚像光の光路上に、虚像を拡大する拡大手段を配置してもよい。このように拡大手段を備えると、撮影手段で虚像が撮影される前に、虚像が拡大され、運転者の表情を細部にわたって撮影することができるので、運転者の表情をより的確に捉えることができる。
【0024】
次に、請求項6に記載したように、投影手段は、投影画像を表示する表示手段と、表示手段に表示された投影画像の画像光を、透明表示体に向かって反射する反射手段とを備える構造としてもよい。
【0025】
そして、投影手段が請求項6の構成を有し、透明表示体が歪みを有する場合、請求項7に記載したように、反射手段は、透明表示体に表示された投影画像が、運転者から見て歪みのない投影画像となるよう、透明表示体に表示された投影画像を透明表示体の歪みに対応させて歪ませつつ、投影画像の画像光を透明表示体に向かって反射するものであることが好ましい。
【0026】
このようにすれば、投影画像が透明表示体に映ったときに運転者から見て歪みのない画像となるよう、表示手段において投影画像を予め歪めて表示する複雑な処理をすることなく、運転者から見てフラットな投影画像を透明表示体に表示することができる。
【0027】
ところで、本発明の車両用表示装置を用いて、透明表示体に映った運転者の虚像により、運転者を撮影しようとすると、太陽光などが透明表示体を透過して、本発明の車両用表示装置内に侵入することがある。
【0028】
本発明の車両用表示装置では、透明表示体に映った運転者の虚像を用いて運転者を撮影しようとするものであるので、太陽光のように虚像光以外の光が車両用表示装置内に侵入すると、撮影手段では、運転者の姿と、例えば、外の風景(空に浮かぶ雲等)とが重なった画像が撮影される。このような画像からは、運転者の表情を識別できないことも考えられる。
【0029】
ここで、運転者の虚像の虚像光に着目すると、虚像光は透明表示体で反射された光であるので、P偏光成分がカットされ、S偏光成分を多く含む光である。一方、太陽光を初めとする外乱光は透明表示体を透過してきた光などで、S偏光成分も、P偏光成分も含む光であることが多い。
【0030】
そのため、P偏光成分のみで撮影した画像と、両偏光成分あるいはS偏光成分で撮影した画像との差分を取れば、運転者の虚像を抽出することが可能となる。
そこで、請求項8に記載した車両用表示装置では、虚像光のP偏光成分の光のみを通過させる第1領域部を有する偏光遮光手段を備えた。そして、撮影制御手段により、虚像光の光路上に第1領域部が配置されるように偏光遮光手段を移動して、虚像光以外の光と虚像光との混在光であって第1領域部を通過した混在光に基づく第1比較画像を撮影手段に撮影させ、また、虚像光の光路上に第1領域部が配置されないように偏光遮光手段を移動して、第1領域部を通過していない混在光に基づく第2比較画像を撮影手段に撮影させるよう偏光遮光手段及び撮影手段の制御を実行している。さらに、虚像抽出手段を用いて、撮影制御手段で制御を行い撮影手段で撮影した画像であって、第1比較画像と、第2比較画像とから差分を取って、透明表示体に映った運転者の虚像を抽出している。
【0031】
このようにすると、虚像光と外乱光とが混在した混在光で撮影した画像からでも、透明表示体に映った運転者の虚像を抽出して、運転者を確実に撮影することができる。
尚、請求項8に記載の車両用表示装置では、偏光遮光手段が第1領域部を少なくとも有するものについて説明したが、請求項9に記載したように、偏光遮光手段は、第1領域部と、虚像光のP偏光成分以外の光を通過させるか、P偏光成分の光もP偏光成分以外の光も通過させる第2領域部とを有するものを用いることが好ましい。この場合、撮影制御手段は、虚像光の光路上に第1領域部が配置されるように偏光遮光手段を移動して、第1比較画像を撮影し、虚像光の光路上に第2領域部が配置されるように偏光遮光手段を移動して、第2比較画像を撮影するよう偏光遮光手段及び撮影手段を制御するようにすることが好ましい。
【0032】
そして、請求項9のような偏光遮光手段を有する場合、請求項10に記載したように、一方の半円部分に第1領域部が形成され、他方の半円部分に第2領域部が形成された円盤であることが好ましい。この偏光遮光手段を用いれば、円盤を回転させるだけで、虚像光の光路上に、第1領域部及び第2領域部を順番に位置させることができる。
【0033】
尚、請求項11に記載された車両用表示装置のように、第2領域部は、虚像光のS偏光成分の光を通過させるものでもよい。
次に、請求項12に記載された車両用表示装置のように、虚像抽出手段は、第1比較画像から第2比較画像を引いた差分を第1差分、第2比較画像から第1比較画像を引いた差分を第2差分とし、第1差分と第2差分とを交互に取って、透明表示体に映った運転者の虚像を抽出するとよい。
【0034】
このようにすると、例えば、第1差分だけ、第2差分だけを取っていた場合に比べ、第1比較画像あるいは第2比較画像を撮影するたびに、運転者の虚像を抽出できるので、運転者の様子を高い頻度で解析することができる。
【0035】
ところで、ブリュースター角で侵入した光が反射すると、反射光のP偏向成分は、略0になることが知られている。
そこで、請求項13に記載したように、ブリュースター角あるいはブリュースター角の近傍の角度で運転者の実像の実像光が透明表示体に入射することによって透明表示体に運転者の虚像が映り、この透明表示体に映った運転者の虚像の虚像光を、導光手段によって第2の方向から第3の方向に導いて撮影手段に届かせることにより、撮影手段で運転者を撮影可能な位置に、撮影手段及び導光手段を配置することが好ましい。このようにすれば、太陽光等の外乱光が車両用表示装置内に侵入しても、運転者の虚像をより正確に抽出することができる。
【0036】
ところで、上述した車両用表示装置の撮影装置は、可視光領域の虚像光に基づいて運転者の虚像を撮影するものでもよいが、請求項14に記載したように、撮影装置は、非可視光の虚像光に基づいて運転者を撮影するものでもよい。この場合、請求項15に記載したように、非可視光は、遠赤外線であることが好ましい。さらに、請求項16に記載したように、運転者に向かって、非可視光を照射する照射手段を備えることが好ましい。この照射手段を備えれば、夜間でも運転者の虚像を撮影することができる。
【0037】
次に、請求項17に記載したように、筐体は、車両のインストルメントパネルであってもよい。
次に、請求項18に記載したように、本発明の車両用表示装置は、運転者の動きを追跡する追跡手段と、追跡手段の追跡結果に基づいて、撮影手段の撮影方向を変更する変更手段とを備えていても良い。この車両用表示装置によれば、運転者の動きを追跡しながら運転者を撮影できるので、運転者が居眠りなどをして首をかしげてしまった場合など、運転者が移動しても、その移動に合わせて運転者を撮影することができる。
【0038】
尚、請求項19に記載したように、追跡手段は、別途追跡用の装置を備えてもよいが、部品点数を減らすため、撮影手段で撮影された運転者の画像を解析して運転者の動きを追跡するものであることが好ましい。
【0039】
次に、請求項20に記載したように、例えば、撮影手段の撮影結果に基づいて、運転者の状態が予め定められた危険運転状態に一致するか否かを判定し、その判定結果に基づいて警報を行う警報手段を備えてもよい。
【発明を実施するための最良の形態】
【0040】
以下、本発明が適用された実施形態のヘッドアップディスプレイについて図面を用いて説明する。
本実施形態の説明で用いる図面のうち、図1は本実施形態のヘッドアップディスプレイの側面模式図である。図2は本実施形態のヘッドアップディスプレイの平面模式図である。図3は偏光板16の平面図である。図4は偏光板16の配置位置を示す模式図である。図5は、制御部20のブロック図である。
【0041】
尚、以下の説明では、必要に応じ、運転席から見た車両の前進方向を「前方」、車両の後退方向を「後方」、助手席側を「左方」、その反対側を「右方」と呼んで説明する。
1.ヘッドアップディスプレイの全体構成
本実施形態のヘッドアップディスプレイ(以下「HUD」と呼ぶ)1は、図1に示すように車両9に搭載され、HUD本体10と、制御部20と、スピーカ30と、赤外線ライト40とを備えている。
【0042】
このうちHUD本体10は、車両9のフロントガラス92の下方に配置されたインストルメントパネル(以下「インパネ」と呼ぶ)90の内部であって、図2に示すように、運転席βの前方部分のインパネ90内に収納されている。そして、HUD本体10の上方部分のインパネ90には、開口110が形成されている。
【0043】
スピーカ30は、助手席γ側の前方部分のインパネ90の近傍であって、助手席γから見てインパネ90の左方手前側に配置されている。
赤外線ライト40は、運転席βの前方部分のインパネ90上(図1参照)であって、開口110よりも運転席β側に配置されている。
【0044】
制御部20は、図1に示すように、インパネ90内に収納されている。
1.1.HUD本体10
HUD本体10は、液晶ディスプレイ11と、反射鏡12と、ハーフミラー13と、拡大レンズ14と、カメラ15と、偏光板16と、モータ17とを内蔵している。
【0045】
液晶ディスプレイ11は、制御部20から出力命令のあった投影画像を表示する装置で、この投影画像を表示する表示面が、反射鏡12側を向くように配置されている。この液晶ディスプレイ11は、投影画像として、車両9のスピードを表示する画像や、運転者αの居眠りを防止するための警報画像や、車両9の周囲に危険がある場合、その危険を警報する警報画像その他の画像を表示する。
【0046】
反射鏡12は、液晶ディスプレイ11で表示された投影画像の画像光を、開口110を介してフロントガラス92に向かって反射する鏡である。
この反射鏡12は、非球面ミラーであり、その反射面は、フロントガラス92の歪み(丸み等)に対応させて歪んだ形状に形成されている。そのため、この反射鏡12で、液晶ディスプレイ11で表示した投影画像の画像光を反射して、フロントガラス92に投影画像を投影すると、運転者から見て歪みのないフラットな画像をフロントガラス92に表示することができる。
【0047】
ハーフミラー13は、第1の方向から入射する光を第2の方向に透過し、第2の方向から入射する光を第3の方向に反射するものである。
本実施形態では、反射鏡12及びハーフミラー13は、第1の方向側(図1ではハーフミラー13の下方側)に反射鏡12が、第2の方向側(図1ではハーフミラー13の上方側)にフロントガラス92が位置するように配置した。そのため本実施形態のHUD1では、反射鏡12で反射された投影画像の画像光が、ハーフミラー13の第1の方向側から第2の方向側に透過してフロントガラス92に当てられることによって、フロントガラス92に投影画像が投影される。
【0048】
また、本実施形態では、ハーフミラー13及びカメラ15は、第3の方向側(図1ではハーフミラー13の後方側)にカメラ15が位置するように配置した。そのため本実施形態のHUD1では、フロントガラス92に映った虚像の虚像光が、ハーフミラー13の第2の方向側から第3の方向側に反射してカメラ15に届けられ、カメラ15で虚像が撮影される。
【0049】
さらに、本実施形態では、運転者αの実像の実像光がフロントガラス92にブリュースター角で入射することによってフロントガラス92に運転者αが映り、そのフロントガラス92に映った運転者αの虚像の虚像光(実像光の反射光)を、カメラ15に向かって反射可能な位置に、ハーフミラー13を配置した。
【0050】
さらに、本実施形態では、ハーフミラー13は、この虚像光及び画像光が、ハーフミラー13とフロントガラス92との間では同一光路を通過するように配置した。
拡大レンズ14は、虚像と投影画像を拡大するものである。この拡大レンズ14は、開口110とハーフミラー13の間の位置であって、画像光及び虚像光の光路上に位置するように配置した。
【0051】
この拡大レンズ14を備えることにより、液晶ディスプレイ11で表示された投影画像は、拡大されてフロントガラス92に表示され、フロントガラス92に映った運転者αの虚像は、拡大されてカメラ15で撮影される。
【0052】
カメラ15は、フロントガラス92に映った運転者αの虚像を撮影するものである。
本実施形態では、カメラ15は、ハーフミラー13の第3の方向側(ハーフミラー13の後方側)に配置され、ハーフミラー13で反射された虚像光を受光可能な位置に配置されている。
【0053】
このカメラ15は、可視光の画像及び遠赤外線の画像のいずれも撮影することができるものである。
偏光板16は、図3に示すように、円盤状に形成されており、その中心点を通る直線160で仕切られる一方の側の半円には、この直線160に対して平行な複数の溝が形成され、他方の側の半円には、この直線160に対して垂直な複数の溝が形成されている。そして、この偏光板16のうち、直線160に対して垂直な複数の溝が形成された半円側が、フロントガラス92で反射した実像光の反射光である虚像光のP偏光成分の光のみを通過させるよう配置されるので、P偏光領域16aとよぶ。また、この偏光板16のうち、直線160に対して平行な複数の溝が形成された半円側が、フロントガラス92で反射した実像光の反射光である虚像光のS偏光成分の光のみを通過させるよう配置されるので、S偏光領域16bと呼ぶ。
【0054】
この偏光板16は、図4に示すように、ハーフミラー13で反射され、カメラ15に入射する虚像光の光路上に、P偏光領域16aか、S偏光領域16bのいずれかの領域が位置するように配置されている。
【0055】
尚、本実施形態では、フロントガラス92の歪みにより、P偏光成分が必ずしも水平でないことがあるので、偏光板16は、フロントガラス92の反射面を基準に、その反射面で反射した実像光の反射光である虚像光のP偏光成分の光について、P偏光領域16aを通過させることができるよう、適宜調整して設置している。
【0056】
次に、この偏光板16には、ステッピングモータ(以下モータと呼ぶ)17が取り付けられている。具体的には、偏光板16及びモータ17とは、偏光板16の中心軸と、モータ17の駆動軸とが同一軸線上に配置され、モータ17の駆動軸から伝えられる回転トルクによって偏光板16が中心軸を中心に回転するように、取り付けられている。
【0057】
そして、このモータ17は、制御部20によって偏光板16が半回転ずつ回転するように制御されている。そのため、モータ17で偏光板16を回転させると、P偏光領域16aあるいはS偏光領域16bが虚像光の光路上に順番に位置する。
【0058】
ところで、本実施形態のHUD1のように、フロントガラス92に対向する側が開口している場合、HUD本体10内には、虚像光の他に、太陽光などの外乱光が侵入して、その外乱光もハーフミラー13でカメラ15に向かって反射される。以下、この虚像光と外乱光とが混ざった光を混在光という。
1.2.制御部20
この制御部20はCPU、ROM、RAM等を備えたコンピュータ装置であるが、図5では、機能毎に、カメラ制御部21、偏光板制御部22、画像処理部23、液晶ディスプレイ制御部24、赤外線ライト制御部25、を備えているものとして示している。
【0059】
カメラ制御部21は、カメラ15に所定のタイミングごとにストロボ信号を送信する処理を行うものである。カメラ15は、このカメラ制御部21からストロボ信号を受信すると撮影を1回行う。
【0060】
偏光板制御部22は、カメラ制御部21から送信され、カメラ15から再送信されたストロボ信号を受信したら、駆動信号を出力してモータ17を駆動し、偏光板16を半回転させる制御を行う。この制御により、ハーフミラー13からカメラ15に向かう混在光は、偏光板16のP偏光領域16aかS偏光領域16bのいずれかを通過する。そのため、カメラ15で撮影される画像は、P偏光成分のみの第1比較画像か、S偏光成分のみの第2比較画像となり、カメラ15は、これらの画像を順次撮影することとなる。
【0061】
画像処理部23は、カメラ15が撮影した画像の画像情報を受信して、その画像の画像処理を行い、後述する危険運転判定処理を実行する。また、この画像処理部23は、受信した画像情報から、撮影を行っている時間が夜間であると判定すると、赤外線ライト制御部25に、赤外線ライト40の発光を許可する処理を実行する。さらに、この画像処理部23は、後述する危険運転判定処理により得られた運転者αへの危険運転情報が液晶ディスプレイ11で表示されるように、この情報を液晶ディスプレイ制御部24に送信する処理を実行する。
【0062】
液晶ディスプレイ制御部24は、上述した危険運転情報や、車両の速度などの諸情報を表示した画像を液晶ディスプレイ11に出力して、投影画像として表示させる処理を実行する。
【0063】
赤外線ライト制御部25は、画像処理部23から発光許可がある間、カメラ制御部21からストロボ信号を受信したら、赤外線ライト40を発光させる処理を実行する。
この赤外線ライト40の発光は、カメラ15の撮影と同じタイミングで実行される。
2.動作
次に、上記制御部20により実行されるHUD1の動作について説明する。
【0064】
ここで、図6は、タイミングチャートで、(a)はカメラ15から制御部20へのストロボ信号を入力するタイミングを示し、(b)は制御部20がモータ17に駆動信号を出力するタイミングを示し、(c)は制御部20がカメラ15から画像情報(S偏光分)を入力するタイミングを示し、(d)は制御部20がカメラ15から画像情報(P偏光分)を入力するタイミングを示し、(e)は差分画像を生成するタイミング示す。
【0065】
本実施形態のHUD1の制御部20は、車両9のエンジンがスタートして電源が供給され、混在光がS偏光領域16bを通る位置まで偏光板16を回転させるなど、所定のイニシャル動作を行った後、動作を開始する。
【0066】
この制御部20が動作を開始すると、カメラ制御部21から、所定間隔(T1)毎にストロボ信号がカメラ15に出力される。
すると、このストロボ信号を受信したカメラ15では、混在光に基づく画像の撮影が行われる。そして、撮影が行われると、カメラ15からこのストロボ信号と、上述した第1比較画像(P偏光成分の混在光で撮影した画像)あるいは第2比較画像(S偏光成分の混在光で撮影した画像)の画像情報を載せた信号とがそれぞれ出力され、これらの信号が、それぞれ偏光板制御部22及び画像処理部23に入力される。
【0067】
このとき偏光板制御部22に入力されるストロボ信号は、図6(a)に示すように、カメラ制御部21からカメラ15に所定間隔(T1)毎に出力されているので、偏光板制御部22に対してもこのタイミングと同じタイミング(T1)でカメラ15から入力される。
【0068】
そして、この偏光板制御部22は、図6(b)に示すように、入力された各ストロボ信号のτ時間後(次のストロボ信号が入力される前)にモータ駆動信号をモータ17に対して出力している。すると、モータ17は、このモータ駆動信号を受信するたびに偏光板16を半回転させる。そしてこの偏光板16が半回転ずつ順次回転することによって、混在光が、P偏光領域16aあるいはS偏光領域16bを順次通過する。
【0069】
このとき、本実施形態の制御部20では、イニシャル動作の際に、混在光がS偏光領域16bを通過するように偏光板16がセットされるので、図6(c)(d)に示すように、画像処理部23には、第2比較画像の画像情報の信号から順に、S偏光成分の混在光によって撮影された第2比較画像の画像情報の信号と、P偏光成分の混在光によって撮影された第1比較画像の画像情報の信号とが、交互に入力される。
【0070】
そして、画像処理部23は、このようにP偏光成分の第1比較画像の画像情報とS偏光成分の第2比較画像の画像情報とを入力すると、図6(e)に示すように、P偏光成分の第1比較画像とS偏光成分の第2比較画像との差分を取った差分画像を順次生成する処理を行っている。
【0071】
具体的には、第1比較画像から第2比較画像を引いた差分を第1差分、第2比較画像から第1比較画像を引いた差分を第2差分とした場合、第1差分と第2差分とを交互に取って、その差分画像を順次生成する処理を行っている。
【0072】
以上説明したように、制御部20は、虚像光の光路上にP偏光領域16aが配置されるように偏光板16を移動して、混在光であってP偏光領域16aを通過した混在光に基づく第1比較画像をカメラ15に撮影させ、また、虚像光の光路上にS偏光領域16bが配置されるように偏光板16を移動して、S偏光領域16bを通過した混在光に基づく第2比較画像をカメラ15に撮影させるよう偏光板16及びカメラ15を制御する処理を実行する。
【0073】
また、制御部20は、カメラ15で撮影した画像であって、第1比較画像と、第2比較画像とから差分を取って、フロントガラス92に映った運転者αの虚像を抽出する処理を実行する。
2.1.撮影される画像について
次に、画像処理部23で上記のような差分画像を生成する処理を行っている理由について説明する。
【0074】
ここで、図7は、カメラ15で撮影される画像の説明図である。
本実施形態では、運転者αの実像の実像光がフロントガラス92上に対しブリュースター角で入射して、フロントガラス92に運転者αの虚像を映し出す。そしてこの実像光の反射光である虚像の虚像光と、フロントガラス92を通過した外部の光などの外乱光とを含む混在光が、ハーフミラー13でカメラ15に向かって反射される。
【0075】
このブリュースター角で入射した光は、S偏光成分の光だけが反射されることが知られている。
そのため、図7(b)に示すように、S偏光領域16bに対しては、虚像光も外乱光も通過するので、このS偏光領域16bを通過したカメラ15で撮影される第2比較画像は、偏光板16を通していない画像と同じ画像((a)参照)であって、運転者αと、車両9の外の風景の両方が映し出された画像となる。
【0076】
一方、図7(c)に示すように、P偏光領域16aに対しては、混在光のうち、外乱光のみが通過するので、カメラ15で撮影される第1比較画像は、外の風景だけが映し出された画像となる。
【0077】
つまり、これらの画像の差分を取ると、図7(d)に示すように、フロントガラス92で反射された運転者αの虚像の画像を抽出することができる。そのため、画像処理部23では、上述したように差分画像を生成する処理を行っている。
【0078】
また、上記画像処理部23では、P偏光成分の第1比較画像から、S偏光成分の第2比較画像の差分を取るだけでなく、S偏光成分の第2比較画像からP偏光成分の第1比較画像をも取っているので、カメラ15の撮影回数とほぼ同じ回数の差分画像を生成することができる。
【0079】
尚、画像処理部で差分加増を生成する場合の各画素の明度等を算出する数式は下記のように表される。
【0080】
【数1】

また、上記画像は、夜間の場合は遠赤外線の周波数領域の画像をカメラ15で撮影して実行され、昼間の場合は可視光の周波数領域の画像をカメラ15で撮影して実行されるが、どちらの場合でも、同様に差分画像を取ることができる。制御上、カメラ15で撮影を行うとき、カメラ制御部21から出力されるストロボ信号に同期させて、赤外線ライト40で運転者αを照らす処理を実行する点が異なるだけである。
【0081】
尚、夜間か否かは、画像処理部23が取得する画像から判定し、画像処理部23が夜間であると判定したとき、赤外線ライト40に赤外線ライトを点灯するよう指示する信号を出力し、この指示の信号が出力されている間、赤外線ライト40から運転者αを照らす処理を実行させればよい。
3.危険運転判定処理
次に、制御部20の画像処理部23で主に実行される危険運転判定処理について説明する。
【0082】
ここで、図8は、危険運転判定処理のフローチャートである。
この危険運転判定処理(S1)は、HUD1の画像処理部23で差分画像の生成が開始されるとスタートし、その後、画像処理部23で差分画像が生成される度に、以下の処理が繰り返し実行される。
【0083】
この危険運転判定処理(S1)では、差分画像が画像処理部23で生成されると、その差分画像から顔部品(目など)の特徴点(上目蓋、下目蓋、瞳、鼻の位置など)の位置を特定する顔部品特徴点位置特定処理(S10)が実行される。そして、その特定した位置の位置情報は、図示しないメモリに、時間情報とともに記憶される。
【0084】
そして、S10で特定したばかりの顔部品の特徴点の位置と、過去の差分画像基づいて顔部品の特徴点の位置とが比較され、S11では顔向き、S12では瞳位置、S13では視線を検出する処理が実行される。
【0085】
S14では、S11〜S13で検出された顔向き等の情報から、運転者αが脇見運転をしていないか否かが判定される。具体的には、例えば、視線や顔の向きが所定の閾値以上動いたらわき見運転していると判定する。もちろん、その他の方法で判定してもよい。
【0086】
そしてこのS14で、脇見運転をしていると判定されたら(S14:YES)、スピーカ30から警報音を出力させるとともに、液晶ディスプレイ制御部24に対し、液晶ディスプレイ11に注意喚起用の画像を出力する処理が実行される(S15)。
【0087】
このとき、液晶ディスプレイ11からは、投影画像として、「脇見運転に注意してください」との文字や、所定の画像(例えば、家族の写真など)を表示する処理が実行される(S15)。
【0088】
そして、S14で脇見運転をしていないと判定されたり(S14:NO)、S15が実行されると、次に、S16が実行される。
S16では、S11〜S13で特定された顔向きや瞳位置等の情報から、運転者αの覚醒度が、予め定められた閾値以上か否かが判定される。具体的には、例えば、目蓋が閉じたり、顔が下を向くなどして、瞳が所定時間以上検出されなかったら(目蓋が所定時間以上閉じたら)居眠りをしていると判定する。もちろん、その他の方法で判定してもよい。
【0089】
そしてこの判定(S16)で、非覚醒状態(居眠りの状態)であると判定されると(S16:NO)、スピーカ30から警報音を出力する処理が実行されるとともに、液晶ディスプレイ制御部24に注意喚起用の投影画像を出力するよう指示する注意喚起指示情報が出力される(S17)。
【0090】
このとき、液晶ディスプレイ11からは、注意喚起用の画像として、フロントガラス92上に、「運転をやめてください」との文字や、所定の画像(例えば、家族の写真など)を表示する処理が実行される(S17)。
【0091】
そして、S16で脇見運転をしていないと判定されたり(S16:NO)、S17が実行されると、再びS10の処理が開始される。
その後、S14やS16で脇見運転をしていない(S14:NO)、覚醒状態である(S16:YES)と判定されるまで、S15、S17の処理が継続して実行される。
【0092】
また、S15、S17の処理が一旦解除されても、S14やS16で、脇見運転をしている(S14:YES)、非覚醒状態である(S16:NO)と再び判定されると、再びS15,S17の処理が実行される。
4.実施形態に係るHUD1の特徴
以上説明したHUD1によれば、フロントガラス92に映った運転者αの虚像をカメラ15で撮影することにより、間接的にではあるが、運転者を正面から撮影することができる。また、このHUD1によれば、インパネ90内にカメラ15が設置されているので、車両の美観が損なわれることがない。さらに、本実施形態のHUD1では、画像光と虚像光とが同一の光路を通るように構成されているので、カメラ15がフロントガラス92に映ってしまう場合でも、投影画像が表示された位置にカメラが映ることとなる。そのためこのHUD1を用いれば、カメラ15は投影画像にかき消され、運転者からは見えない。
【0093】
従って、このHUD1を用いれば、車両の美観を損ねず、しかも、正面から運転者を写す緊張感を運転者に与えずに運転者を正面から撮影することができる。
5.実施形態と発明特定事項との対応関係
本実施形態のヘッドアップディスプレイ1は、本発明の車両用表示装置に相当する。
【0094】
赤外線ライト40は、本発明の照射手段に相当する。フロントガラス92は、本発明の透明表示体に相当する。インストルメントパネル90は本発明の筐体に相当する。開口110は、本発明の通光部に相当する。
【0095】
液晶ディスプレイ11は本発明の表示手段に相当する。反射鏡12は本発明の反射手段に相当する。そして、液晶ディスプレイ11及び反射鏡12は、投影手段に相当する。
ハーフミラー13は本発明の導光手段に相当する。拡大レンズ14は本発明の拡大手段に相当する。カメラ15は本発明の撮影手段に相当する。偏光板16は本発明の変更遮光手段に相当する。
【0096】
本実施形態のS偏光領域16bが本発明の第2領域部に相当し、P偏光領域16aが本発明の第1領域部に相当する。
また、カメラ15及び偏光板16を制御して第1比較画像、第2比較画像を撮影する処理が、本発明の撮影制御手段に相当し、第1比較画像と、第2比較画像とから差分を取って、フロントガラス92に映った運転者αの虚像を抽出する処理が、本発明の虚像抽出手段に相当する。
【0097】
S1の処理のうち、S14〜S18の処理が、本発明の警報処理に相当する。
6.その他の実施形態
本発明の透明表示体として、上記実施形態ではフロントガラス92を記載したが、その他には、例えば、コンバイナでもよい。
【0098】
本発明の導光手段として、上記実施形態ではハーフミラー13を記載したが、例えばプリズム等でもよい。
上記実施形態では、反射鏡12を用いてフロントガラス92に投影画像を投影したが、この反射鏡12を用いず、液晶ディスプレイ11でフロントガラス92に直接投影画像を投影してもよい。
【0099】
上記実施形態では、図1に示すように、液晶ディスプレイ11に表示される投影画像の画像光について、反射鏡12で反射させ、その後ハーフミラー13を透過させ、フロントガラス92に導いているが、図9に示すように、ハーフミラー13を透過させた後、反射鏡12で反射させてフロントガラス92に導いてもよい。
【0100】
さらに、動く運転者αを追って撮影するため、運転者αの動きを追う構成を備えていても良い。この場合、図10に示すように、例えば反射鏡12を水平方向、垂直方向に自由に傾くように設置し、この反射鏡12を水平方向、垂直方向に傾けるアクチュエータ(本発明の変更手段に相当する)を備え、運転者αを追いかける追跡情報に基づいてアクチュエータを動かして、運転者αを追うようにしてもよい。
【0101】
この場合、追跡情報は、例えば制御部20の画像処理部で運転者の動きを解析しているので、この解析情報に基づいて追跡情報を生成し、図11に示すように制御部20に追跡部26(本発明の追跡手段に相当する)を備え、この追跡情報に基づいて各アクチュエータに動作信号を制御部20から送信するよう構成するとよい。
【0102】
また、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。
【図面の簡単な説明】
【0103】
【図1】本実施形態のヘッドアップディスプレイの側面模式図である。
【図2】本実施形態のヘッドアップディスプレイの平面模式図である
【図3】偏光板16の平面図である。
【図4】偏光板16の配置位置を示す模式図である。
【図5】制御部20のブロック図である。
【図6】タイミングチャートで、(a)はカメラ15から制御部20へのストロボ信号を入力するタイミングを示し、(b)は制御部20がモータ17に駆動信号を出力するタイミングを示し、(c)は制御部20がカメラ15から画像情報(P偏光分)を入力するタイミングを示し、(d)は制御部20がカメラ15から画像情報(S偏光分)を入力するタイミングを示し、(e)は差分画像を生成するタイミング示す。
【図7】カメラ15で撮影される画像の説明図である。
【図8】危険運転判定処理のフローチャートである。
【図9】他の実施形態の説明図で、開口110、液晶ディスプレイ11、反射鏡12、ハーフミラー13、カメラ15、偏光板16の配置関係を説明するための模式図である。
【図10】他の実施形態の説明図で、水平方向及び垂直方向に反射鏡12を傾けるアクチュエータを備えるものの模式図である。
【図11】他の実施形態の説明図で、制御部20のブロック図である。
【符号の説明】
【0104】
1…ヘッドアップディスプレイ、9…車両、10…HUD本体、11…液晶ディスプレイ、12…反射鏡、13…ハーフミラー、14…拡大レンズ、15…カメラ、16…偏光板、16a…S偏光領域16b…S偏光領域、17…ステッピングモータ、20…制御部、21…カメラ制御部、22…偏光板制御部、23…画像処理部、24…液晶ディスプレイ制御部、25…赤外線ライト制御部、26…追跡部、30…スピーカ、40…赤外線ライト、90…インストルメントパネル、92…フロントガラス、110…開口

【特許請求の範囲】
【請求項1】
車両の運転席の前方(前記運転席から見た前記車両の前進方向)に位置し、前記運転席に座った運転者の前方の視界を遮らない透明表示体に投影画像を投影する投影手段と、
前記投影手段を内蔵し、前記透明表示体に対向する側であって前記投影画像の画像光の光路上に通光部が設けられた筐体と、
を備える車両用表示装置において、
前記透明表示体に映った前記運転者の虚像を撮影する撮影手段と、
第1の方向から入射する光を第2の方向に導き、前記第2の方向から入射する光を第3の方向に導く導光手段と、
を備え、
前記撮影手段及び前記導光手段を前記筐体内に内蔵するとともに、前記投影手段、前記撮影手段、及び、前記導光手段を、前記筐体内で、下記の(1)〜(2)のように配置したことを特徴とする車両用表示装置。
(1)前記投影手段が前記導光手段の前記第1の方向側に位置し、前記透明表示体が前記導光手段の前記第2の方向側に位置するように前記投影手段及び前記導光手段を配置すると共に、
前記投影手段から投影された前記投影画像の画像光を、前記導光手段によって前記第1の方向から前記第2の方向に導き、そしてこの導かれた前記画像光を前記透明表示体に当てることによって、前記透明表示体に前記投影画像を投影可能な位置に、前記投影手段及び前記導光手段を配置する。
(2)前記撮影手段を前記導光手段の前記第3の方向側に位置するように前記撮影手段及び前記導光手段を配置すると共に、
前記透明表示体に映った前記運転者の虚像の虚像光を、前記導光手段によって前記第2の方向から前記第3の方向に導いて前記撮影手段に届けることによって、前記撮影手段で前記運転者の虚像を撮影可能な位置に、前記撮影手段及び前記導光手段を配置する。
【請求項2】
請求項1に記載の車両用表示装置において、
前記透明表示体から前記導光手段までの間、前記画像光及び前記虚像光が同一の光路を通過するように、前記投影手段、前記撮影手段、及び、前記導光手段を配置したことを特徴とする車両用表示装置。
【請求項3】
請求項1,2のいずれかに記載された車両用表示装置において、
前記透明表示体は、フロントガラスであることを特徴とする車両用表示装置。
【請求項4】
請求項1〜3のいずれかに記載された車両用表示装置において
前記導光手段は、
前記第1の方向から入射する光を前記第2の方向に透過し、前記第2の方向から入射する光を前記第3の方向に反射するハーフミラーであることを特徴とする車両用表示装置。
【請求項5】
請求項1〜4のいずれかに記載された車両用表示装置において
前記虚像光の光路上に、前記虚像を拡大する拡大手段が配置されたことを特徴とする車両用表示装置。
【請求項6】
請求項1〜5のいずれかに記載された車両用表示装置において
前記投影手段は、
前記投影画像を表示する表示手段と、
前記表示手段に表示された前記投影画像の前記画像光を、前記透明表示体に向かって反射する反射手段と
を備えることを特徴とする車両用表示装置。
【請求項7】
請求項6に記載の車両用表示装置において、
前記反射手段は、
前記透明表示体に表示された前記投影画像が、前記運転者から見て歪みのない前記投影画像となるよう、前記透明表示体に表示された前記投影画像を前記透明表示体の歪みに対応させて歪ませつつ、前記投影画像の前記画像光を前記透明表示体に向かって反射するものであることを特徴とする車両用表示装置。
【請求項8】
請求項1〜7のいずれかに記載された車両用表示装置において、
前記虚像光のP偏光成分の光のみを通過させる第1領域部を有する偏光遮光手段と、
前記虚像光の光路上に前記第1領域部が配置されるように前記偏光遮光手段を移動して、前記虚像光以外の光と前記虚像光との混在光であって前記第1領域部を通過した前記混在光に基づく第1比較画像を前記撮影手段に撮影させ、また、前記虚像光の光路上に前記第1領域部が配置されないように前記偏光遮光手段を移動して、前記第1領域部を通過していない前記混在光に基づく第2比較画像を前記撮影手段に撮影させるよう前記偏光遮光手段及び前記撮影手段を制御する撮影制御手段と、
前記撮影制御手段で制御を行い前記撮影手段で撮影した画像であって、前記第1比較画像と、前記第2比較画像とから差分を取って、前記透明表示体に映った前記運転者の虚像を抽出する虚像抽出手段と
を備えることを特徴とする車両用表示装置。
【請求項9】
請求項8に記載された車両用表示装置において
前記偏光遮光手段は、
前記第1領域部と、
前記虚像光のP偏光成分以外の光を通過させるか、前記P偏光成分の光も前記P偏光成分以外の光も通過させる第2領域部とを有し、
前記撮影制御手段は、
前記虚像光の光路上に前記第1領域部が配置されるように前記偏光遮光手段を移動して、前記第1比較画像を撮影し、前記虚像光の光路上に前記第2領域部が配置されるように前記偏光遮光手段を移動して、前記第2比較画像を撮影するよう前記偏光遮光手段及び前記撮影手段を制御することを特徴とする車両用表示装置。
【請求項10】
請求項9に記載された車両用表示装置において
前記偏光遮光手段は、
一方の半円部分に前記第1領域部が形成され、他方の半円部分に前記第2領域部が形成された円盤であることを特徴とする車両用表示装置。
【請求項11】
請求項9,10のいずれかに記載された車両用表示装置において、
前記第2領域部は、前記虚像光のS偏光成分の光を通過させることを特徴とする車両用表示装置。
【請求項12】
請求項8〜11のいずれかに記載の車両用表示装置において、
前記虚像抽出手段は、
前記第1比較画像から前記第2比較画像を引いた差分を第1差分、前記第2比較画像から前記第1比較画像を引いた差分を第2差分とし、前記第1差分と前記第2差分とを交互に取って、前記透明表示体に映った前記運転者の虚像を抽出することを特徴とする車両用表示装置。
【請求項13】
請求項8〜12のいずれかに記載の車両用表示装置において、
ブリュースター角あるいはブリュースター角の近傍の角度で前記運転者の実像の実像光が前記透明表示体に入射することによって前記透明表示体に映った前記運転者の虚像の虚像光を、前記導光手段によって前記第2の方向から前記第3の方向に導いて前記撮影手段に届かせることにより、前記撮影手段で前記運転者を撮影可能な位置に、前記撮影手段及び前記導光手段を配置したことを特徴とする車両用表示装置。
【請求項14】
請求項1〜13のいずれかに記載の車両用表示装置において、
前記撮影装置は、非可視光の前記虚像光に基づいて前記運転者を撮影することを特徴とする車両用表示装置。
【請求項15】
請求項14に記載の車両用表示装置において、
前記非可視光は、遠赤外線であることを特徴とする車両用表示装置。
【請求項16】
請求項14,15のいずれかに記載の車両用表示装置において、
前記運転者に向かって、非可視光を照射する照射手段を備えることを特徴とする車両用表示装置。
【請求項17】
請求項1〜16のいずれかに記載の車両用表示装置において、
前記筐体は、前記車両のインストルメントパネルであることを特徴とする車両用表示装置。
【請求項18】
請求項1〜17のいずれかに記載の車両用表示装置において、
前記運転者の動きを追跡する追跡手段と、
前記追跡手段の追跡結果に基づいて、前記撮影手段の撮影方向を変更する変更手段と
を備えることを特徴とする車両用表示装置。
【請求項19】
請求項18に記載の車両用表示装置において、
前記追跡手段は、前記撮影手段で撮影された運転者の画像を解析して前記運転者の動きを追跡することを特徴とする車両用表示装置。
【請求項20】
請求項1〜19のいずれかに記載の車両用表示装置において、
前記撮影手段の撮影結果に基づいて、前記運転者の状態が予め定められた危険運転状態に一致するか否かを判定し、その判定結果に基づいて警報を行う警報手段
を備えることを特徴とする車両用表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2008−207614(P2008−207614A)
【公開日】平成20年9月11日(2008.9.11)
【国際特許分類】
【出願番号】特願2007−44087(P2007−44087)
【出願日】平成19年2月23日(2007.2.23)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】