投光システム及び顔撮影システム
【課題】ユーザの顔に均一に近赤外光を投光できる投光システム及びその近赤外光が投光されたユーザの顔を撮影する顔撮影システムを提供すること。
【解決手段】車両ドライバの顔の前方にはメータ画像を表示する液晶表示装置１０が設けられる。液晶表示装置１０はパネル状の表示部１１、表示部１１に光を入射する光源ユニット１２及び表示部１１の液晶の向きを制御することで表示部１１から出射させる光に応じたメータ画像を描画する描画制御部１３を備える。光源ユニット１２は近赤外光を発光するものとして構成される。描画制御部１３は表示部１１に画像を描画しつつ近赤外光を表示部１１から出射させる。この際、描画制御部１３は、撮像／投光条件設定部２７や近赤外ＬＥＤ発光制御部２８が設定した条件に応じた投光量及び投光パターン（表示部１１のどの領域から近赤外光を出射させるか）で、近赤外光を出射させる。
【解決手段】車両ドライバの顔の前方にはメータ画像を表示する液晶表示装置１０が設けられる。液晶表示装置１０はパネル状の表示部１１、表示部１１に光を入射する光源ユニット１２及び表示部１１の液晶の向きを制御することで表示部１１から出射させる光に応じたメータ画像を描画する描画制御部１３を備える。光源ユニット１２は近赤外光を発光するものとして構成される。描画制御部１３は表示部１１に画像を描画しつつ近赤外光を表示部１１から出射させる。この際、描画制御部１３は、撮像／投光条件設定部２７や近赤外ＬＥＤ発光制御部２８が設定した条件に応じた投光量及び投光パターン（表示部１１のどの領域から近赤外光を出射させるか）で、近赤外光を出射させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの顔に近赤外光を投光する投光システム及び近赤外光が投光されたユーザの顔を撮影する顔撮影システムに関する。
【背景技術】
【０００２】
従来、車両のドライバの顔を撮影して、その撮影画像に基づいてドライバの顔向きを検出したり眼の開度を検出したりするドライバモニタシステムが知られている。そのドライバモニタシステムでは、ドライバの顔に近赤外光を投光する投光器とドライバの顔を撮影するカメラとが設けられる。そのカメラには可視光をカットする可視光カットフィルタが設けられる。このドライバモニタシステムによれば、投光器からの近赤外光がドライバの顔で反射して、その反射した近赤外光をカメラで受光することで、ドライバの顔を撮影している。このように、近赤外光を用いることで、ドライバに投光器からの光を眩しく感じさせなくすることができ、昼夜に関わらずドライバの顔を明瞭に撮影できる。
【０００３】
ところで、従来では、ドライバモニタシステムで用いられる投光器としてＬＥＤ等の点光源の投光器が用いられていたので、ドライバの顔に投光した際に照度ムラが生じるという問題点があった。ここで、図１１は、従来の投光器における照度ムラを説明する図であり、具体的には図１１（ａ）は、従来の投光器１００から光が照射されている状態を示した図であり、図１１（ｂ）は投光器１００による光の強度分布を二次元的に示した図であり、図１１（ｃ）は投光器１００による光の強度分布を三次元的に示した図である。なお、図１１（ａ）では、点光源１０１から構成された投光器１００を示している。また、図１１（ａ）では、点光源１０１の中心線ＣＬを示している。また、図１１（ｂ）では、色が濃い程、光の強度が強いことを示しており、図１１（ａ）に示した中心線ＣＬも示している。また、図１１（ｃ）では、縦軸方向に大きくなる程、光の強度が強いことを示しており、図１１（ａ）に示した中心線ＣＬも示している。
【０００４】
図１１（ａ）に示すように、点光源１０１から前方に放射するように近赤外光Ｌ１が照射される。そのため、点光源１０１からの近赤外光Ｌ１は、図１１（ｂ）、（ｃ）に示すように、点光源１０１の真正面（中心線ＣＬ上）で最も強くされており、強度分布が均一とされていない。つまり、ドライバの顔に照射された際に照度ムラが生じる。照度ムラが生じると、撮影画像からドライバの顔を認識することが困難な場合がでてくる。
【０００５】
そこで、上記の問題点を解決するために、点光源に代えて、面で発光する面光源の投光器を採用することが考えられる。例えば、特許文献１には、液晶ディスプレイのバックライト用の照明システム（面光源）の発明が開示されている。また、特許文献２には、携帯電話機のサブディスプレイ（液晶ディスプレイ）用のバックライトに血管認証用の近赤外光を発光する光源を設け、そのサブディスプレイに指をかざすことで血管認証（生体認証）できる発明が開示されている。つまり、特許文献２の発明では、携帯電話機のサブディスプレイで、画像の表示に加えて、生体認証もできるようにしたものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５２４９１１号公報
【特許文献２】国際公開第２００８／０６２５４４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のような表示装置（液晶ディスプレイ）のバックライトは近赤外光を発光しないので、そのバックライトをそのままドライバ等のユーザの顔に近赤外光を投光する投光器として用いることはできない。また、特許文献２には、近赤外光を発光する面光源が開示されているものの、その面光源は、携帯電話機のサブディスプレイ用のバックライトであるので、ユーザの顔に投光する投光器として用いることはできない。一方で、ユーザの顔に近赤外光を投光するためだけに面光源を設けるとシステムの構成が複雑になってしまう。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、システム構成を簡素にしつつ、ユーザの顔に均一に近赤外光を投光できる投光システム及びその近赤外光が投光されたユーザの顔を撮影する顔撮影システムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の投光システムは、ユーザの顔が位置する領域の前方に設けられ、パネル状の表示部とその表示部に光を入射する光源ユニットとその光源ユニットからの光のうち前記表示部から出射させる出射光を制御することで前記表示部に前記出射光に応じた画像を描画する描画制御手段とを含む表示装置を備えた、前記ユーザの顔に近赤外光を投光する投光システムであって、
前記光源ユニットは、近赤外光を発光するものとして構成され、
前記描画制御手段は、前記表示部に画像を描画しつつ、近赤外光を前記表示部から出射させることを特徴とする。
【００１０】
これによれば、ユーザの顔の前方に設けられた画像表示用の表示装置を利用して投光システムを構成する。その表示装置は、液晶ディスプレイのように、パネル状の表示部、その表示部に光を入射する光源ユニット及び表示部から出射させる出射光を制御することで表示部に出射光に応じた画像を描画する描画制御手段を含んで構成される。光源ユニットは、近赤外光を発光するものとして構成されているので、光源ユニットから近赤外光を表示部に入射させることができる。表示部に近赤外光が入射されただけでは、ユーザの顔に近赤外光を投光できないので、描画制御手段は、表示部に画像を描画しつつ、近赤外光を表示部から出射させる。これによって、パネル状の表示部からユーザの顔に均一に近赤外光を投光できる。また、表示部には画像が描画されているので、本来の表示装置の役割も担保できる。さらに、既存の表示装置を利用して近赤外光を投光できるので、ユーザの顔に近赤外光を投光するためだけの面光源を設ける場合に比べてシステム構成を簡素にできる。
【００１１】
また、本発明において、前記表示部には所定の波長の光を通過させるフィルタが画素ごとに配設されており、
前記フィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記所定の波長の光に応じた色の画像を描画しつつ、その画像を構成する画素から近赤外光を出射させることを特徴とする。
【００１２】
これによれば、表示装置は、表示部にフィルタが画素ごとに配設され、そのフィルタから通過された光の波長に応じた色の画像（例えば一つの色から構成される単色画像や複数色から構成されるカラー画像）を表示するものとされている。この場合、光源ユニットからの近赤外光をどのようにして表示部から出射させるかが問題となるが、本発明では、フィルタを、画像描画のための光に加えて、近赤外光も通過させるものとして構成している。よって、描画制御手段は、単色画像又はカラー画像を描画しつつ、その画像を構成する画素から近赤外光も出射させることができる。これによって、既存の表示装置の構成を少し変更するだけで、具体的には、フィルタ（近赤外光を通過させる）、及び描画制御手段（近赤外を出射させるように制御）を変更するだけで、既存の表示装置から近赤外光をユーザの顔に投光できる。
【００１３】
また、本発明において、前記フィルタはＲＧＢのカラーフィルタであり、そのＲＧＢのカラーフィルタのうちの少なくとも１種以上のカラーフィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、近赤外光を通過させる前記カラーフィルタを介してそのカラーフィルタで定まる色の可視光を出射させつつ近赤外光を出射させることを特徴とする。
【００１４】
これによれば、表示装置は、表示部にＲＧＢのカラーフィルタが画素ごとに配設され、そのカラーフィルタを通過する光量を制御することでカラー画像を表示するものとされている。また、ＲＧＢのカラーフィルタのうち少なくとも１種以上のカラーフィルタは近赤外光も通過できるように構成されているので、描画制御手段は、近赤外光を通過できるカラーフィルタを介して近赤外光を出射させることができる。その際、そのカラーフィルタを通過できる可視光も出射されることになるので、表示部に、その可視光に応じた色の画像を描画できる。また、近赤外光を通過させる専用の近赤外光フィルタを設ける必要がなく、ＲＧＢのカラーフィルタの占有面積を維持できるので、カラー画像の色純度を維持できる。なお、近赤外光を通過させるカラーフィルタは、ＲＧＢのカラーフィルタのうちのどのカラーフィルタで構成しても良い。すなわち、赤色（Ｒ）のカラーフィルタをＲ＋ＩＲ（近赤外光）のカラーフィルタとして構成したり、緑色（Ｇ）のカラーフィルタをＧ＋ＩＲのカラーフィルタとして構成したり、青色（Ｂ）のカラーフィルタをＢ＋ＩＲのカラーフィルタとして構成したりできる。
【００１５】
また、本発明において、前記フィルタは、ＲＧＢのカラーフィルタ及び近赤外光を通過させる近赤外光フィルタであり、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、前記近赤外光フィルタを介して近赤外光を出射させることを特徴とする。
【００１６】
このように、表示装置の表示部に、カラー画像を描画するためのＲＧＢのカラーフィルタに加えて、近赤外光を出射させるための近赤外光を通過させる専用の近赤外光フィルタを設けてもよい。これによって、描画する画像の内容にかかわらず、描画制御手段に近赤外光を表示部から出射させやすくできる。
【００１７】
また、本発明における前記光源ユニットは、画像描画用の可視光を発光する可視光光源と近赤外光を発光する近赤外光源とを含むことを特徴とする。これによって、可視光光源からの可視光によって表示部に画像を描画しつつ、近赤外光源からの近赤外光を表示部から出射させることができる。
【００１８】
また、本発明において、前記ユーザの顔に照射する近赤外光の目標投光量を設定する投光量設定手段を備え、
前記描画制御手段は、前記投光量設定手段が設定した前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする。
【００１９】
これによれば、投光量設定手段が目標投光量を設定し、描画制御手段がその目標投光量の近赤外光を出射させるので、ユーザの顔に投光する近赤外光の投光量を適宜変更できる。
【００２０】
また、本発明における前記表示装置は液晶表示装置であり、
前記描画制御手段は、前記液晶表示装置における液晶の向きを制御することで前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする。
【００２１】
これによれば、液晶表示装置では液晶の向きが制御されることで表示部から出射される光の色や光量が調整されるので、描画制御手段は、その液晶の向きを制御することで、目標投光量の近赤外光を出射させることができる。
【００２２】
また、本発明において、前記目標投光量の近赤外光が前記表示部から出射されるように、前記光源ユニットから発光される近赤外光のパワーを制御する光源パワー制御手段を備えたとしても良い。
【００２３】
これによれば、光源ユニットからの光のパワーを制御することで表示部全域に亘って明るくしたり暗くしたりできるので、光源パワー制御手段が光源ユニットの近赤外光のパワーを制御することで、簡易に目標投光量の近赤外光を表示部から出射させることができる。
【００２４】
また、本発明における投光量設定手段は、環境光による周囲の明るさを判断する第一の環境光判断手段を含み、その第一の環境光判断手段が判断した前記環境光の明るさが明るいほど大きい前記目標投光量を設定することを特徴とする。
【００２５】
近赤外光をユーザの顔に投光するシステムにおいては、システムから投光される近赤外光以外の環境光は外乱とされる。つまり、環境光（外乱）の影響が大きくなるほど、近赤外光の投光が減殺されてしまう。本発明によれば、第一の環境光判断手段が環境光による周囲の明るさを判断し、投光量設定手段が環境光の明るさが明るいほど大きい目標投光量を設定するので、環境光に関わらず近赤外光を最適に投光できる。
【００２６】
また、本発明における表示装置は、前記表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されており、
各時点における前記描画制御手段が前記表示部に描画すべき画像である標準画像が定められており、
現時点における前記標準画像による近赤外光の投光量が、前記目標投光量を満足するか否かを判断する投光量判断手段を備え、
前記描画制御手段は、前記投光量判断手段が前記目標投光量を満足しないと判断した場合には、前記標準画像に加えて、前記目標投光量に不足分の近赤外光の投光量である不足投光量に相当する補助画像を前記表示部に描画することを特徴とする。
【００２７】
これによれば、表示部には、車両のメータ画像など、定められた標準画像が描画される。この場合、表示装置は表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されているので、標準画像に応じた投光量の近赤外光が投光されることになるが、その投光量が目標投光量を満足しない場合もあり得る。そこで、投光量判断手段は、現時点における標準画像による近赤外光の投光量が目標投光量を満足するか否かを判断して、満足しない場合には、描画制御手段は、標準画像に加えて不足投光量に相当する補助画像も表示部に描画する。これによって、標準画像を描画しつつ、目標投光量の近赤外光を投光できる。
【００２８】
また、本発明における表示装置は、前記表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されており、
描画制御手段は、前記補助画像として、前記標準画像が描画される領域以外の背景領域に背景色の画像である背景色画像を描画するものであり、前記不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いの前記背景色画像を描画することを特徴とする。
【００２９】
これによれば、補助画像として背景色画像が描画される。この場合、表示装置は表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されているので、標準画像に伴う近赤外光に加え、背景色画像の色合いに応じた投光量の近赤外光も投光できる。そして、背景色が、不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いに調整されるので、標準画像の視認性を確保しつつ、簡易に目標投光量の近赤外光を投光できる。
【００３０】
また、本発明における前記描画制御手段は、前記背景色画像の色合いを変化させるときには、目標の色合いまで徐々に色合いを変化させることを特徴とする。これによって、背景色の急激の変化に目が奪われて標準画像の視認が妨げられるのを抑制できる。
【００３１】
また、本発明において、前記背景色画像の色合いが変化されてからの経過時間を計測する計時手段と、
前記計時手段が計測した経過時間が所定時間以上か否かを判断する経過時間判断手段と、を備え、
前記描画制御手段は、前記経過時間判断手段によって前記経過時間が前記所定時間以上と判断されるまでは、前記背景色画像の色合いを変化させないことを特徴とする。
【００３２】
これによれば、前回の背景色の色合いの変化時から所定時間経過するまでは、背景色の色合いが変化されないので、頻繁に背景色の色合いが変化することによる煩わしさを防止できる。
【００３３】
また、本発明において、前記表示部中の各領域間における近赤外光の出射分布を示した投光パターンを決定するものであって、前記表示部中の予め定められた複数の領域間で均等分布となる前記投光パターンを決定する投光パターン決定手段を備え、
前記描画制御手段は、前記投光パターン決定手段が決定した前記投光パターンにしたがって近赤外光を前記表示部から出射させることを特徴とする。
【００３４】
これによれば、表示部中の予め定められた複数の領域間で均等分布となる投光パターンで、近赤外光が表示部から出射されるので、ユーザの顔により一層均一に近赤外光を投光できる。なお、ここで言う均等分布の投光パターンとは、表示部の複数の領域間で完全に均等した分布だけを指すものではなく、各領域からの出射量に多少の差がある場合も含む概念である。
【００３５】
また、本発明における前記投光パターン決定手段は、前記表示装置から近赤外光が投光される領域である投光領域内の環境光による明るさの偏りを判断する第二の環境光判断手段を含み、その第二の環境光判断手段が前記明るさの偏りがあると判断した場合には、前記均等分布となる投光パターンに代えて、前記投光領域内で相対的に暗い領域ほど、出射させる近赤外光の光量が多くなるように投光パターンを決定することを特徴とする。
【００３６】
夕方における西日など、環境光が特定の方向から投光システム内に射し込む場合がある。この場合、投光領域内で明るさに偏りが生じる。本発明によれば、均等分布となる投光パターンに代えて、投光領域内で相対的に暗い領域ほど近赤外光の光量が多くなる投光パターンで、近赤外光が出射されるので、投光領域内の光のバランスを図ることができる。
【００３７】
また、本発明における表示装置は、車両の運転席前方に設けられた、前記車両に関する計測値を表示するメータ画像を表示する表示装置であることを特徴とする。
【００３８】
車両におけるメータ画像を表示する表示装置は、運転席前方のドライバの顔の近くに設けられているので、その表示装置に本発明を適用するとドライバの顔に比較的強い近赤外光を投光できる。また、ドライバは、近赤外光が投光されている間、表示装置に表示されたメータの計測値を確認することができる。
【００３９】
本発明の顔撮影システムは、本発明に係る投光システムと、前記ユーザの顔を含む領域を撮影する撮影手段と、を備えることを特徴とする。これによれば、近赤外光が均一に投光されたユーザの顔を撮影できるので、ユーザの顔が明瞭に写った撮影画像を得ることができる。
【図面の簡単な説明】
【００４０】
【図１】ドライバモニタシステム１の概略構成のブロック図である。
【図２】表示部１１（表示面１１０）の表示状態を例示した図である。
【図３】表示部１１の詳細な構成を示した図である。
【図４】光源ユニット１２の断面図である。
【図５】カラーフィルタ１１６を示した図である。
【図６】各カラーフィルタ１１６ａ〜１１６ｃの特性を示した図である。
【図７】液晶表示装置１０から近赤外光を投光する近赤外光投光処理のフローチャートである。
【図８】図７のＳ１５の処理を詳細のフローチャートである。
【図９】近赤外光の投光条件に応じて表示面１１０の背景色が変化することを説明する図である。
【図１０】ハーフミラーを介して近赤外光を投光する例を説明する図である。
【図１１】従来の投光器における照度ムラを説明する図である。
【発明を実施するための形態】
【００４１】
以下、本発明に係る投光システム及び顔撮影システムの実施形態を図面を参照しながら説明する。本実施形態では、車両のドライバを監視するドライバモニタシステムに本発明の投光システム及び顔撮影システムを適用した例について説明する。図１は、本実施形態のドライバモニタシステム１の概略構成のブロック図を示している。そのドライバモニタシステム１は、車両に設けられた既存の液晶表示装置１０を利用する形で構成されている。その液晶表示装置１０は、運転席前方のインストルメントパネル部（図示外）に設けられ、車両の車速やエンジン回転数等の計測値を指示する指針等をメータ画像として表示する表示装置である。
【００４２】
ここで、図２は、液晶表示装置１０のパネル状の表示部１１（図１参照）の表示状態を例示した図である。図２に示すように、表示部１１の表示面１１０は、正面から見たときに車幅方向に細長い形状とされる。その表示面１１０の領域を左右に四分割（図２では、説明の便宜上、各領域の境界を点線で示している）したときに、図２では、真ん中の二つの領域１１０ｂ、１１０ｃに各種画像が表示されている例を示している。具体的には、それら領域１１０ｂ、１１０ｃのうち左側の領域１１０ｂ（以下、第一のメータ表示領域という）には、エンジン回転数を指示するメータ画像３１、エンジン水温を指示するメータ画像３５及び平均燃費を指示するメータ画像３３が表示されている。右側の領域１１０ｃ（以下、第二のメータ表示領域という）には、車速を指針で指示するメータ画像３２、車速の数値を示した車速画像３４及び燃料残量を指示するメータ画像３６が表示されている。また、エンジン回転数のメータ画像３１と車速のメータ画像３２との間の領域（第一のメータ表示領域１１０ｂと第二のメータ表示領域１１０ｃの境界付近の領域）には、シフトポジションを示したシフトポジション画像３７及び次の右左折ポイントまでの距離等の道路情報を示した道路情報画像３８が表示されている。
【００４３】
なお、各メータ表示領域１１０ｂ、１１０ｃには、図２に例示した以外の画像も表示可能とされており、例えば、ナイトビューカメラによる撮影画像が表示されたり、先行車両に追突しそうな場合における警報など各種の警報が表示されたりする。すなわち、各メータ表示領域１１０ｂ、１１０ｃに表示される画像の内容（表示コンテンツ）は時々刻々と変化する。なお、以下では、メータ表示領域１１０ｂ、１１０ｃに描画される画像を「標準画像」ともいう。
【００４４】
また、図２では、表示面１１０の四分割の領域１１０ａ〜１１０ｄのうち左端の領域１１０ａ及び右端の領域１１０ｄには何も表示されていない例を示している。本実施形態では、ドライバの顔に投光する近赤外光の目標投光量に応じて、それら領域１１０ａ、１１０ｄの色合いが変化されるようになっている。つまり、それら領域１１０ａ、１１０ｄは、色合いが変化されることで、近赤外光の投光量を調整するための領域とされる。
【００４５】
液晶表示装置１０は、一般的な液晶表示装置と同様の構造とされ、具体的には図１に示すように、パネル状の表示部１１、その表示部１１のバックライトとされる光源ユニット１２、表示部１１における液晶分子の向きを制御して表示部１１に画像を描画する描画制御部１３、描画制御部１３で描画させる表示コンテンツを決定する表示コンテンツ制御部１４及び表示部１１の明るさを調整する明るさ調整部１５を備えている。図３は、表示部１１の詳細な構成を示した図であり、具体的には、表示部１１の各構成の分解斜視図を示している。なお、図３には、光源ユニット１２も図示している。また、図４は、光源ユニット１２の断面図を示している。以下、図３、図４を参照して、表示部１１及び光源ユニット１２について詳細に説明する。
【００４６】
光源ユニット１２は、表示部１１に裏側から光を供給（入射）するバックライトであり、図３、図４に示すように、本実施形態では表示部１１のエッジ側から光を入射するエッジライト型のバックライトとされている。その光源ユニット１２は、光源部１２１及び導光板１２２を主として構成されている。光源部１２１は、赤色の光を発光する赤色ＬＥＤ１２１ａ、緑色の光を発光する緑色ＬＥＤ１２１ｂ、青色の光を発光する青色ＬＥＤ１２１ｃ及び近赤外光（７００ｎｍ〜１０００ｎｍの波長の光）を発光する近赤外ＬＥＤ１２１ｄから構成されている（図４参照）。すなわち、光源部１２１は、表示部１１に画像を描画するための可視光光源としてのＲＧＢ各色のＬＥＤ１２１ａ〜１２１ｃに加えて、ドライバの顔に投光する近赤外光を発光する近赤外光源１２１ｄから構成されている。
【００４７】
本実施形態では、光源部１２１は、各ＬＥＤ１２１ａ〜１２１ｃがＲＧＢ各色の光を同時に同強度で発光することで、それらＲＧＢ各色の光が混色された白色光として光を発光するものとされている。また、白色光の発光と同時に、近赤外ＬＥＤ１２１ｄから近赤外光が発光されるように構成されている。したがって、光源部１２１からは、白色光に不可視光である近赤外光が含む形で発光されることになる。なお、光源部１２１は、各ＬＥＤ１２１ａ〜１２１ｃから発光させる光の強度（光量）を調整可能に構成されたとしてもよい。この場合には、各ＬＥＤ１２１ａ〜１２１ｃからの各光量に応じた色の光が発光されることになる。また、近赤外光の波長と赤色の光の波長が比較的近いことに鑑みて、近赤外ＬＥＤ１２１ｄに代えて、近赤外光が重畳される形で赤色の光を発光する赤色ＬＥＤを採用しても良い。また、その逆に近赤外光ＬＥＤにも可視光成分が混ざって見えるものもあり、近赤外光ＬＥＤの強度によっては、その赤成分を赤色ＬＥＤ強度から差し引くことにより、可視光成分の色純度（白色が白色に見える）を高めることができる。また、光源部１２１の光源は、近赤外光を発光できる光源であるのであれば、ＬＥＤに限られず、ハロゲン光源やＥＬ（Ｅｌｅｃｔｒｏ＿ｌｕｍｉｎｅｓｃｅｎｃｅ）など、他の種類の光源を採用してもよい。
【００４８】
光源部１２１からの光Ｌ３は導光板１２２に入射される。その導光板１２２は、表示部１１の背面直下に設けられ、表示部１１の面形状に合わされた板状部材である。導光板１２２は、アクリル等の導光性を有する材料で形成されており、入射された光Ｌ３を導光板１２２内全体に伝搬（導光）させる。図４に示すように、光源部１２１の周囲には、光源部１２１からの光Ｌ３を効率良く導光板１２２に入射させるためのカバー１２３が設けられている。また、導光板１２２の底面１２２ａには、適当な間隔で複数の反射ドット１２４が形成されている。それら反射ドット１２４は、例えば白色インクで形成されており、導光板１２２内を伝搬した光Ｌ３の底面１２２ａにおける反射角を変化させて、その光Ｌ３を導光板１２２の上面１２２ｂ側に反射させるものである。このように、光源部１２１からの光Ｌ３は、導光板１２２内に伝搬されるとともに、各反射ドット１２４で反射されることにより導光板１２２の上面１２２ｂ全体から出射される。なお、上記したように光源部１２１からの光には近赤外光が含まれているので、導光板１２２は、近赤外光も導光できる構造とされている。
【００４９】
導光板１２２は、表示部１１の面形状に合わされた板状部材とされているので、光源部１２１からの光は表示部１１の面全体に入射されることになる。このように、光源ユニット１２は、導光板１２２を介して表示部１１に光を入射するエッジライト型とされているが、表示部１１の背面直下に直接光源部が設けられる直下型の光源ユニットを採用してもよい。
【００５０】
表示部１１は、一般的な液晶の表示部と同様の構造とされ、具体的には図３に示すように、裏側から順に、第一の偏光板１１１、アレイ基板１１２、液晶層１１３、カラーフィルタ基板１１４及び第二の偏光板１１５の積層構造とされている。また、アレイ基板１１２上には、画素におけるＲＧＢの各色に対応したサブ画素に電圧を加えるためのサブ画素電極１１２ａ及び配向膜１１２ｂが形成されている。また、カラーフィルタ基板１１４上には、各画素に共通に電圧を加えるための共通電極１１４ａ及び配向膜１１４ｂが形成されている。それら配向膜１１２ｂ、１１４ｂは、ネマティック液晶等の液晶で構成された液晶層１１３に電圧が加えられていない状態において、液晶の液晶分子を特定の方向に整列させるものである。また、偏光板１１１、１１５は、光源ユニット１２からの光のうち特定の振幅成分を持つ光（偏光）だけを通過させるものである。なお、それら偏光板１１１、１１５の配置方向に応じて、電圧の無印加状態で明表示（白表示）のノーマリーホワイトモードとされたり、暗表示（黒表示）のノーマリーブラックモードとされたりする。なお、液晶層１１３は、光源ユニット１２からの近赤外光を吸収しにくい液晶で構成されている。
【００５１】
カラーフィルタ基板１１４上には、上記した共通電極１１４ａ、配向膜１１４ｂの他に、各画素に対応したＲＧＢのカラーフィルタが形成されている。ここで、図５は、カラーフィルタ基板１１４上にカラーフィルタ１１６が形成された状態を示しており、より具体的には、カラーフィルタ１１６の配置例の各種態様を示している。図５（ａ）では、赤色の光を通過させる赤色カラーフィルタ１１６ａ、緑色の光を通過させる緑色カラーフィルタ１１６ｂ及び青色の光を通過させる青色カラーフィルタ１１６ｃが、ストライプ状に配置された例を示している。また、図５（ｂ）は、各色のカラーフィルタ１１６ａ〜１１６ｃが縦及び横に配置された例を示している。また、図５（ｃ）は、各色のカラーフィルタ１１６ａ〜１１６ｃが、隣接するカラーフィルタ１１６ａ〜１１６ｃでトライアングル状（デルタ状）となるように配置された例を示している。このように、本発明においても図５に示す一般的なカラーフィルタの配置を採用することができる。
【００５２】
なお、互いに隣接する一組のカラーフィルタ１１６ａ〜１１６ｃの領域で一の画素を構成する。また、一の画素のうち、各カラーフィルタ１１６ａ〜１１６ｃの領域がサブ画素とされる。図３のサブ画素電極１１２ａは、各サブ画素ごとに形成されている。
【００５３】
図６は、各カラーフィルタ１１６ａ〜１１６ｃの特性を示している。具体的には、横軸が光の波長、縦軸が各カラーフィルタ１１６ａ〜１１６ｃを通過する光の強度（透過率）のグラフを示している。そして、そのグラフにおいて、赤色カラーフィルタ１１６ａの特性を示したライン１３１ａ、緑色カラーフィルタ１１６ｂの特性を示したライン１３１ｂ及び青色カラーフィルタ１１６ｃの特性を示したライン１３１ｃを図示している。なお、図６には、近赤外光のスペクトル１４１も図示している。図６の各フィルタのライン１３１ａ〜１３１ｃが示すように、各カラーフィルタ１１６ａ〜１１６ｃでは、それぞれ対応する色の光の波長領域で透過率が大きくなっている。また、赤色カラーフィルタ１１６ａのライン１３１ａが示すように、赤色カラーフィルタ１１６ａでは、赤色の光の波長領域（６００ｎｍ〜７００ｎｍの波長）に加えて、近赤外光の波長領域（スペクトル１４１参照）でも光の透過率が大きくなっている。つまり、赤色カラーフィルタ１１６ａは、赤色の光に加えて、近赤外光も通過できるように構成されている。
【００５４】
以上のようにして構成された表示部１１では、サブ画素電極１１２ａと共通電極１１４ａの間に電圧が印加されることで、それら電極１１２ａ、１１４ａ間の液晶層１１３の液晶分子の向きが変化する。また、そのときの液晶分子の向きは、印加された電圧の大きさに応じた向きとされる。このように、電圧が印加されるサブ画素電極１１２ａや電圧の大きさが制御されることで、各画素の各サブ画素から出射される各色の光量が制御される。その結果、表示部１１の表示面１１０（図２参照）に各種のカラー画像が描画されることになる。また、光源ユニット１２からの光に含まれた近赤外光は、赤色カラーフィルタ１１６ａを介して表示部１１から出射されることになる。そのため、赤色カラーフィルタ１１６ａに対応したサブ画素電極１１２ａに印加する電圧を制御することで、表示部１１から出射される近赤外光の出射位置や光量を制御することができる。なお、近赤外光の出射にともなって赤色の光も出射されることになるので、表示部１１の表示面１１０には、赤色の光で生成される画像（赤系画像）が描画されることになる。
【００５５】
なお、特開２０１０−６６７５１号公報に記載のように、近年、近赤外光を吸収する近赤外線吸収フィルタが液晶表示装置に設けられることがあるが、本発明の液晶表示装置１０にはそのような近赤外線吸収フィルタは設けられていない。
【００５６】
図１の説明に戻り、上記した表示部１１の制御（液晶分子の向きの制御）は描画制御部１３によって行われる。つまり、描画制御部１３は、電圧を印加する電極１１２ａ、１１４ａや電圧の大きさを制御することで、表示部１１に各種の画像を描画する。また、描画制御部１３は、明るさ調整部１５からの信号に基づいて、表示部１１に描画される画像の明るさが変更されるように、表示部１１を制御する。例えば、表示部１１をより明るくする場合には、描画制御部１３は、表示部１１の各画素から出射される光量を増加させる方向に、液晶層１１３の液晶分子の向きを調整する。明るさ調整部１５は、例えばヘッドライトのオンオフスイッチであったり、ユーザが明るさを設定可能な設定スイッチであったりする。例えば、夜間にヘッドライトがオンされた場合には、描画制御部１３は、メータ画像の視認性を向上させるために、描画するメータ画像の明るさ（輝度）を調整（小さく）している。
【００５７】
さらに、描画制御部１３は、ドライバの顔に近赤外光を投光するために、表示部１１から出射させる近赤外光の光量や、表示部１１のどの領域から出射させるかなどの制御も行う。その制御に関する処理は本発明の特徴でもあるので、後に詳細に説明する。
【００５８】
描画制御部１３によって描画させる画像は、表示コンテンツ制御部１４によって決定される。その表示コンテンツ制御部１４は、各時点（各場面）における描画制御部１３に描画させる画像の内容（表示コンテンツ）を決定する部分であり、具体的には、例えば上記した各種のメータ画像（図２参照）を決定する。この場合、表示コンテンツ制御部１４は、計測値を指示する前の基本メータ画像（例えば、図２のエンジン回転数を指示するメータ画像３１にあっては、メータ枠に沿って目盛が示された画像）を予めメモリ（図示外）に記憶しておく。そして、エンジン回転数などの物理量を計測するセンサ（図示外）からの計測値を取得する。そして、メモリに記憶された基本メータ画像に対して取得した計測値を反映させた（計測値を指示した）メータ画像を生成する。そして、表示コンテンツ制御部１４は、その生成したメータ画像の情報（表示部１１のどの領域に描画させるかを示した情報も含む）を描画制御部１３に送信して、描画制御部１３にメータ画像を描画させる。
【００５９】
なお、上記したように、表示部１１には、メータ画像の他にも、ナイトビューカメラによる撮影画像や各種の警報も描画されるので、表示コンテンツ制御部１４は、例えばナイトビューカメラの起動スイッチ（図示外）がユーザに操作された場合には、ナイトビューカメラによる撮影画像を取得する。そして、表示コンテンツ制御部１４は、その撮影画像を描画制御部１３に送信して表示部１１に描画させる。
【００６０】
以上のように、ドライバモニタシステム１は、ドライバの顔に近赤外光を投光する投光器としても機能する液晶表示装置１０を備える形で構成されるが、ドライバモニタシステムとしての本来の構成も備えている。具体的には、ドライバモニタシステム１は、図１に示すように、撮像部２１、カメラ制御部２２、画像処理部２３、状態推定部２４、アクチュエーション制御部２５、注意喚起／警報手段２６、撮像／投光条件設定部２７及び近赤外ＬＥＤ発光制御部２８を備えている。
【００６１】
撮像部２１（カメラ）は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子から構成され、撮像部２１前方の領域を撮影するものである。その撮像部２１は、ドライバの顔を撮影できる位置、具体的には例えばステアリングコラム（図示外）の上面に設けられる。つまり、撮像部２１は、ドライバの顔を撮影するものである。また、撮像部２１には、外部からの可視光をカットする可視光カットフィルタ（図示外）が設けられている。そのため、撮像部２１には近赤外光等の可視光以外の光が取り込まれ、その結果、撮像部２１で撮影された撮影画像は白黒写真とされる。
【００６２】
なお、液晶表示装置１０の第二の偏光板１１５と異なる方向の偏光板を撮像部２１側（撮像部２１のレンズ部分）に設けてもよい。液晶表示装置１０からの近赤外光は、第二の偏光板１１５に応じた振幅成分に偏光された光とされるが、撮像部２１側にも偏光板を設けることで、他の振幅成分の光の撮像部２１への取り込みを排除できる。よって、ＳＮの高い撮影画像を得ることができる。なお、液晶表示装置１０からの近赤外光は、ドライバに当たって反射されるときに散乱されるものの、例えば眼鏡に当たった場合など、偏光された近赤外光がその偏光された状態で撮像部２１に向かう場合もある。よって、撮像部２１側にも偏光板を設けることは効果的である。
【００６３】
また、上記の偏光板の考え方と逆で、液晶表示装置１０からの近赤外光が撮像部２１に直接入射しないように、撮像部２１を第二の偏光板１１５で偏光された光を排除する構造にしてもよい。これによって、液晶表示装置１０からの近赤外光が撮像部２１に直接入射されることを防止でき、ドライバに当たって散乱された近赤外光だけを撮像部２１に取り込むことができる。また、運転席の前方に設けられたステアリングパッド（図示外）を、近赤外光を吸収する表面材質で形成してもよい。これによって、近赤外光がステアリングパッドで反射されて撮像部２１に取り込まれるのを防止できる。
【００６４】
カメラ制御部２２は、撮像部２１のゲインやシャッター時間等、撮像部２１の動作を制御する部分である。そのカメラ制御部２２は、後述する撮像／投光条件設定部２７によって設定された条件（ゲイン、シャッター時間等）にしたがって、撮像部２１を制御している。
【００６５】
画像処理部２３は、撮像部２１で撮影された撮影画像をカメラ制御部２２を介して取得し、その撮影画像に基づいて、所定の画像処理を実行する部分である。具体的には、画像処理部２３は、撮影画像中に含まれるドライバの顔に対応する顔領域を抽出する抽出処理を実行する。抽出処理としては、例えば、予めメモリ（図示外）に記憶された、顔を構成する口、目、鼻などの各顔部品の特徴（形状情報や画素値情報）と、撮影画像中の各領域の特徴とを比較することで、顔領域を抽出する処理が挙げられる。なお、顔領域を抽出する処理は公知であるので、ここでは詳細な説明は割愛する。また、画像処理部２３は、顔領域の抽出の他にも、撮影画像中の画素値情報やコントラスト情報を算出するなど各種の画像処理を実行する。
【００６６】
状態推定部２４は、画像処理部２３によるドライバの顔の認識結果に基づいて、ドライバがどのような状態にあるのかを推定する部分である。具体的には、状態推定部２４は、例えばドライバの顔向きを推定したり、眼の開度を推定したりする。ドライバの顔向きを推定する方法としては、例えば、抽出した顔領域における顔部品の対称性に基づいて推定する方法が挙げられる。また、眼の開度を推定する方法としては、眼に対応する眼領域の上下瞼の距離に基づいて推定する方法が挙げられる。
【００６７】
アクチュエーション制御部２５は、状態推定部２４による推定結果に基づいて、必要に応じて警告等をする部分、換言すると後述する注意喚起／警報手段２６の動作を制御する部分である。例えば、アクチュエーション制御部２５は、ドライバの顔向きに基づいてドライバが脇見運転をしていると判断される場合や、ドライバの眼の開度に基づいてドライバが居眠り運転をしていると判断される場合には、注意喚起／警報手段２６を駆動して、ドライバに注意喚起をしたり警報を発したりする。その注意喚起／警報手段２６は、例えばブザー（スピーカ）であったり、運転席を振動させる振動装置であったりする。なお、アクチュエーション制御部２５は、警告をする場合には、表示コンテンツ制御部１４に指示をして、液晶表示装置１０に警告メッセージを表示するようにしてもよい。
【００６８】
撮像／投光条件設定部２７は、画像処理部２３による処理結果に基づいて、ドライバの顔を最適に認識できるように、撮像部２１による撮像条件（ゲインやシャッター時間等）や液晶表示装置１０による近赤外光の投光条件（投光量や投光バランス等）を設定する部分である。具体的には、撮像／投光条件設定部２７は、例えば撮像部２１による撮影画像の画素値が低い場合には、ゲインを大きくしたり露光時間を長くしたりするなど、撮影画像の画素値を高くする条件を設定する。さらに、撮像／投光条件設定部２７は、液晶表示装置１０からの近赤外光の投光バランスを最適にするための処理も行っている。具体的には、周囲の環境光（太陽光等）による近赤外光が投光される投光領域の明るさの偏りを判定し、その判定結果を後述する近赤外ＬＥＤ発光制御部２８に送信する。なお、そのときの処理の詳細は後述する。
【００６９】
近赤外ＬＥＤ発光制御部２８は、撮像／投光条件設定部２７にて設定された条件（特に、近赤外光の投光に関する条件）を満足するように、表示部１１から出射させる近赤外光の条件を設定する部分である。具体的には、近赤外ＬＥＤ発光制御部２８は、撮像／投光条件設定部２７による設定条件や判定結果（明るさの偏りの判定結果）に基づいて、表示部１１のどの領域からどの程度の近赤外光を出射させるか、すなわち、出射させる近赤外光の光量（パワー）や出射させる位置（投光パターン）を設定する。なお、その条件を設定するときの処理の詳細は後述する。
【００７０】
以上で説明した各処理部１３、１４、２２〜２８は、それぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成される。そして、各ＣＰＵが、ＲＯＭに予め記憶されたプログラムにしたがった処理を実行することで、上記の各動作がなされるようになっている。
【００７１】
なお、ドライバモニタシステム１は、図１に示すように、液晶表示装置１０とは別に、近赤外光を発光する近赤外ＬＥＤで構成された専用の投光器２９（補助投光器）を備えていてもよい。補助投光器２９は、表示部１１に描画する画像の都合上、液晶表示装置１０だけでは近赤外光の目標投光量を確保できない場合に、補助的に近赤外光を投光するものである。
【００７２】
次に、ドライバモニタシステム１が実行する、液晶表示装置１０からドライバの顔に近赤外光を投光する近赤外光投光処理について説明する。図７は、近赤外光投光処理のフローチャートを示している。この図７のフローチャートの処理は、例えば車両のエンジン始動と同時に開始され、その後エンジンが停止されるまで繰り返し実行される。なお、処理開始時における撮像部２１の撮像条件（ゲイン、シャッター時間等）及び液晶表示装置１０による近赤外光の投光条件（投光量や投光バランス等）は、予め定められた条件が用いられる。
【００７３】
先ず、カメラ制御部２２からの指示に基づいて、撮像部２１でドライバの顔が撮像される（Ｓ１１）。次いで、画像処理部２３によって、Ｓ１１で撮像した撮影画像に基づいて、画素値やコントラストなどの撮影画像の明るさに関する情報（以下、明るさ情報という）が算出される（Ｓ１２）。次いで、撮像／投光条件設定部２７によって、Ｓ１２で算出された明るさ情報に基づいて、撮影画像がドライバの顔を認識する画像として適正か否かが判断される（Ｓ１３）。具体的には、撮影画像の明るさ情報が予め定められた適正範囲に含まれているか否かが判断される（Ｓ１３）。明るさ情報が適正範囲に含まれている場合には（Ｓ１３：Ｙｅｓ）、撮影画像が適正であるとして、Ｓ１１の処理に戻る。この場合には、今回の投光条件が維持されて、次の撮像が行われる（Ｓ１１）。
【００７４】
Ｓ１３において、撮影画像の明るさ情報が適正範囲に含まれていない場合には（Ｓ１３：Ｎｏ）、撮影画像が適正でないとして、Ｓ１４の処理に進む。Ｓ１４では、近赤外ＬＥＤ発光制御部２８によって、撮影画像が適正となる近赤外光の投光量（目標投光量）が算出される（Ｓ１４）。具体的には、例えば各明るさ情報に対してどの程度投光量を変更すれば撮影画像が適正となるかを示した情報（以下、投光量情報という）が予めメモリに記憶されている。ドライバモニタシステム１においては、投光される近赤外光以外の環境光は外乱（ノイズ）とされる。つまり、周囲の明るさ（環境光）が明るいほど投光された近赤外光の影響が減殺されてしまう。そのため、上記の投光量情報は、例えば、例えば明るさ情報で示される明るさが大きいほど目標投光量が大きくなる情報とされている。そしてＳ１４では、今回の明るさ情報（Ｓ１２で算出した明るさ情報）に対応する投光量の変更量がその投光量情報から読み取られる（Ｓ１４）。そして、今回の投光量に読み取られた変更量を加算することで、次回の目標投光量が算出される（Ｓ１４）。また、近赤外光の投光条件は、撮像部２１の撮像条件（ゲインやシャッター時間等）によっても変わってくるので、Ｓ１４では、その撮像部２１の撮像条件に応じて目標投光量が適宜補正される。なお、Ｓ１４の処理は、撮像／投光条件設定部２７が実行してもよい。
【００７５】
なお、Ｓ１４では、撮影画像に基づいて環境光による明るさが考慮された目標投光量を算出する例について説明したが、明るさ調整部１５（図１参照）からのヘッドライトのオンオフ信号も考慮して、目標投光量を算出するようにしてもよい。具体的には、ヘッドライトがオンの場合には、夜間など周囲が暗い場合であり、この場合にはメータの照明が眩しくならないように暗くする必要があるので、ヘッドライトのオフの場合に比べて小さい目標投光量（例えば、予め定められた割合だけ目標投光量を小さくする）を算出する。ただし、不可視光である近赤外光は相対的に大きくなるように制御しても良い。
【００７６】
次いで、表示部１１のどの位置（領域）から近赤外光を出射させるかを示した投光パターンが算出される（Ｓ１５）。ここで、図８は、Ｓ１５の処理の詳細のフローチャートを示している。先ず、撮像／投光条件設定部２７によって、表示部１１から投光される近赤外光の投光領域内における環境光による明るさの偏りが判定される（Ｓ１５１）。具体的には、環境光による明るさの偏りとして、撮影画像中の領域間の画素値の偏りが算出される（Ｓ１５１）。ここでは、画素値の偏りとして、撮影画像の顔領域を左右に２等分したときに、左の領域の画素値Ｃ１と右の領域の画素値Ｃ２とが比較される（Ｓ１５１）。なお、各領域の画素値Ｃ１、Ｃ２は、例えば各画素の画素値の平均値や積算値が用いられる。例えば、左の領域の画素値Ｃ１と右の領域の画素値Ｃ２が一致（Ｃ１＝Ｃ２、ただし厳密に一致しなくてもある程度の差ΔＣを持った一致、つまりＣ１−Ｃ２＜ΔＣでもよい）しているときには、環境光による明るさに偏りが生じていないと判定される（Ｓ１５１）。これに対して、撮影画像の左の領域の画素値Ｃ１と右の領域の画素値Ｃ２とが一致していない場合には、全体の画素値（Ｃ１＋Ｃ２）に対する画素値Ｃ１の割合Ｄ１（＝Ｃ１／（Ｃ１＋Ｃ２））及び画素値Ｃ２の割合Ｄ２（＝Ｃ２／（Ｃ１＋Ｃ２））が、環境光による明るさの偏りとして判定（算出）される（Ｓ１５１）。例えば、夕方における西日など、環境光が特定の方向から車両に射し込む場合には、その環境光が射し込む方向に応じた偏りが判定されることになる。
【００７７】
なお、Ｓ１５１では、撮影画像の顔領域の左右の領域間の偏りを判定する例について説明したが、顔領域の上下の領域間など、どの領域間の偏りを判定してもよい。また、Ｓ１５１では、撮影画像に基づいて投光領域の明るさの偏りを判定する例について説明したが、日射センサ等の光を検出する光センサでその判定を行ってもよい。
【００７８】
次いで、近赤外ＬＥＤ発光制御部２８によって、Ｓ１５１で判定された明るさの偏りに応じた投光パターンが決定される（Ｓ１５２）。具体的には、投光パターンとして、例えば、表示部１１の表示面１１０を左右に２等分したときの左側の領域（図２の領域１１０ａ＋領域１１０ｂ）からの投光量と右側の領域（図２の領域１１０ｃ＋領域１１０ｄ）からの投光量との比が算出される（Ｓ１５２）。換言すると、全体の投光量に対する左側の領域１１０ａ、１１０ｂからの投光量の割合Ｒ１及び右側の領域１１０ｃ、１１０ｄからの投光量の割合Ｒ２が算出される（Ｓ１５２）。
【００７９】
それら割合Ｒ１、Ｒ２として、具体的には、先のＳ１５１で明るさに偏りが生じていないと判定された場合には（Ｃ１：Ｃ２＝１：１）、左の割合Ｒ１＝５０％、右の割合Ｒ２＝５０％が算出される（Ｓ１５２）。つまり、均等分布の投光パターンが決定される（Ｓ１５２）。これに対して、先のＳ１５１で明るさに偏りが生じていると判定された場合には、先のＳ１５１で算出された画素値Ｃ１、Ｃ２の割合Ｄ１、Ｄ２が小さいほど大きい割合Ｒ１、Ｒ２（逆に言うと、割合Ｄ１、Ｄ２が大きいほど小さい割合Ｒ１、Ｒ２）が算出される（Ｓ１５２）。このように、Ｓ１５２では、投光領域内で相対的に暗い領域に投光する表示部１１（表示面１１０）の領域ほど相対的に投光量が多くなるように投光パターンが決定される（Ｓ１５２）。Ｓ１５２の処理の後、図８のフローチャートの処理が終了されて、図７のフローチャートの処理に戻る。
【００８０】
図７において、次いで、描画制御部１３が表示部１１のメータ表示領域１１０ｂ、１１０ｃ（図２参照）に描画しようとする標準画像（メータ画像やナイトビューカメラによる撮影画像等）による近赤外光の投光量が、先のＳ１４で算出された目標投光量を満足するか否かが描画制御部１３によって判断される（Ｓ１６）。具体的には、先ず描画しようとする標準画像中にどの程度の赤系画像（赤色の光で生成される画像）が含まれているかに基づいて、その標準画像による近赤外光の投光量が算出される（Ｓ１６）。そして、その近赤外光の投光量と目標投光量とが比較される（Ｓ１６）。
【００８１】
標準画像（表示コンテンツ）による投光量が目標投光量を満足する場合には（Ｓ１６：Ｙｅｓ）、Ｓ１１の処理に戻る。この場合には、今回の投光条件が維持されて、次の撮像が行われる（Ｓ１１）。これに対して、標準画像（表示コンテンツ）による投光量が目標投光量を満足しない場合には（Ｓ１６：Ｎｏ）、Ｓ１７の処理に進む。Ｓ１７では、標準画像の描画を保持しつつ目標投光量を満足するように、表示部１１（表示面１１０）の左右端の領域１１０ａ、１１０ｄ（背景領域）の背景色が描画制御部１３によって決定される（Ｓ１７）。具体的には、先ず、目標投光量と標準画像による投光量の差（不足投光量）が算出される（Ｓ１７）。次いで、その不足投光量のうち、各領域１１０ａ、１１０ｄに割り当てられる投光量が、先のＳ１５で決定された投光パターン（割合Ｒ１、Ｒ２）にしたがって算出される（Ｓ１７）。具体的には、左の領域１１０ａには「不足投光量×Ｒ１」が、右端の領域１１０ｄには「不足投光量×Ｒ２」が割り当てられる。次いで、各領域１１０ａ、１１０ｄごとに、割り当てられた不足投光量に応じた背景色が決定される（Ｓ１７）。具体的には、不足投光量と背景色との関係が予めメモリに記憶されており、その関係にしたがって今回の不足投光量に対応する背景色が決定される（Ｓ１７）。出射される近赤外光が増加するほど表示部１１から出射される赤色の光が増加するので、Ｓ１７では、不足投光量が大きいほど赤色の純度が高くなる背景色が決定されることになる。
【００８２】
次いで、前回に背景色の色合いが変化されてからの経過時間ｔが所定の閾値Ｔｔｈ以上か否かが描画制御部１３によって判断される（Ｓ１８）。その経過時間ｔは、後述するＳ２２による計測時間が使用される。また、閾値Ｔｔｈは例えば数秒に設定されている。経過時間ｔが閾値Ｔｔｈ未満の場合には（Ｓ１８：Ｎｏ）、Ｓ１１の処理に戻る。この場合には、背景色を変化させないで、現在の背景色が維持されて、次の撮像が行われる（Ｓ１１）。このようにしているのは、撮像する毎に背景色が変化するのは、ドライバの注意散漫に繋がるためである。
【００８３】
その後、経過時間ｔが閾値Ｔｔｈ以上となった場合には（Ｓ１８：Ｙｅｓ）、Ｓ１９の処理に進む。Ｓ１９では、Ｓ１７で決定された背景色にするまでの背景色の色合いの変化量が所定の閾値Ｐｔｈ以上か否かが描画制御部１３によって判断される（Ｓ１９）。具体的には、先ず、現在の背景色の色合いと目標の背景色（Ｓ１７で決定された背景色）の色合いの差（色合いの変化量）が算出される（Ｓ１９）。そして、その色合いの差と閾値Ｐｔｈとが比較される（Ｓ１９）。色合いの変化量が閾値Ｐｔｈ未満の場合には（Ｓ１９：Ｎｏ）、表示部１１の左右端の領域１１０ａ、１１０ｄの背景色が、Ｓ１７で決定された値（背景色）に変化される（Ｓ２０）。これに対して、色合いの変化量が閾値Ｐｔｈ以上の場合には（Ｓ１９：Ｙｅｓ）、表示部１１の左右端の領域１１０ａ、１１０ｄの背景色が、Ｓ１９の閾値Ｐｔｈ分の色合いだけ変化される（Ｓ２１）。つまり、今回のＳ２１では、Ｓ１７で決定された値（背景色）まで一気に変化されないことになる。この場合、次回以降の処理で、最終的にＳ１７で決定された値（背景色）とされる。このように、目標の背景色の色合いまで徐々に色合いが変化されることになるので、急激に背景色が変化されるのを防止でき、表示部１１の表示を違和感の無いようにできる。
【００８４】
ここで、図９は、Ｓ２０又はＳ２１による表示部１１の表示面１１０の描画状態を例示した図である。具体的には、図９（ａ）は、昼間など周囲が明るいときの状態を示した図であり、図９（ｂ）は、夜間など周囲が暗いときの状態を示した図であり、図９（ｃ）は、夕方における西日の場合など環境光によって周囲の明るさに偏りが生じているときの状態を示した図である。なお、図９では、左右端の領域１１０ａ、１１０ｄの色の濃さによって、背景色（赤系画像）の色の濃さを表している。また、図９では、メータ表示領域１１０ｂ、１１ｃには、図２と同じ標準画像３１〜３８が描画されている例を示している。
【００８５】
図９（ａ）、図９（ｂ）に示すように、周囲の明るさに偏りが生じていない場合には、左右端の領域１１０ａ、１１０ｄには、それぞれ同じ色合いの背景色画像が描画される。つまり、図９（ａ）における背景色画像５１、５２は互いに同じとされ、図９（ｂ）における背景色画像５３、５４は互いに同じとされる。これによって、標準画像３１〜３８及び背景色画像５１〜５４による近赤外光の投光量を、表示面１１０の左側の領域（領域１１０ａ＋領域１１０ｂ）と右側の領域（領域１１０ｃ＋領域１１０ｄ）とで同程度とすることができる。よって、ドライバの顔に均一に近赤外光を投光できる。
【００８６】
一方、図９（ａ）と図９（ｂ）を比較すると、周囲が明るい図９（ａ）の背景色画像５１、５２のほうが、周囲が暗い図９（ｂ）の背景色画像５３、５４よりも濃い色合いの画像とされている。すなわち、周囲が明るいほど、表示部１１から出射される近赤外光の投光量が多くされている。これによって、外乱とされる環境光による影響を抑制できる。なお、図９（ａ）、図９（ｂ）は、先に説明したＳ１５で、明るさに偏りが生じていないと判定された場合に対応している。
【００８７】
また、図９（ｃ）に示すように、周囲の明るさに偏りが生じている場合には、左端の領域１１０ａの背景色画像５５と右端の領域１１０ｄの背景色画像５６とは、互いに異なる色合いの画像とされている。なお、図９（ｃ）の例では、左端の領域１１０ａの背景色画像５５のほうが右端の領域１１０ｄの背景色画像５６よりも濃い色合いの画像とされている。つまり、図９（ｃ）の例では、左端の領域１１０ａから出射される投光量のほうが、右端の領域１１０ｄから出射される投光量よりも多くされている。これは、右端の領域１１０ｄ側から環境光（太陽光）が射し込んだ状態を想定し、それによる明るさの偏りを考慮したものである。これによって、環境光が特定の方向から射し込んだ場合であっても近赤外光を均一に投光できる。なお、図９（ｃ）の場合は、先に説明したＳ１５で、明るさに偏りが生じていると判定された場合に対応している。
【００８８】
図７の説明に戻り、Ｓ２０又はＳ２１の処理の後、今回の背景色の変化からの経過時間ｔの計測が開始される（Ｓ２２）。なお、その計測は、例えば描画制御部１３によって行われる。この場合、描画制御部１３はタイマ（図示外）を備えている。その後、Ｓ１１の処理に戻って、変化後の背景色で、すなわち目標投光量の近赤外光がバランス良く投光された状態で次の撮像が行われる（Ｓ１１）。
【００８９】
以上説明したように、本実施形態では、目標投光量に応じて背景色の色合いが調整されるので、目標投光量の近赤外光をドライバの顔に投光できる。また、環境光によって明るさに偏りが生じていない場合には、表示部１１から均一に近赤外光が出射されるので、ドライバの顔に近赤外光を均一に投光できる。また、環境光によって明るさに偏りが生じている場合には、その偏りに応じて近赤外光の出射バランスが変化されるので、その偏りの影響を抑制できる。また、液晶表示装置１０には通常の標準画像（メータ画像等）が表示されているので、ドライバは、通常どおりに車速やエンジン回転数などの情報を把握できる。
【００９０】
なお、本発明の投光システム及び顔撮影システムは上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々の変形をすることができる。例えば、上記実施形態では、画像を描画するためのＲＧＢの光源と近赤外光の光源とを同じ場所に設けられた例について説明したが、図１０に示すように、近赤外光の光源７０をＲＧＢの光源７１と別の場所に設け、メータ６０のメータガラス６２に反射させて近赤外光を投光してもよい。具体的には、近赤外光の光源７０を水平設置されたメータ６０のフード６１に設ける。メータガラス６２は、近赤外光の光源７０に対して斜めに設けられており、ハーフミラーとされている。なお、メータ画像等の画像を描画するためのＲＧＢの光源７１は、通常どおりにメータガラス６２の内側に設けられている。近赤外光の光源７０からの光Ｌ４は、ハーフミラーのメータガラス６２に向かって進行し、そのメータガラス６２に反射される。その反射光Ｌ５がドライバの顔に投光される。なお、ＲＧＢの光源７１からの光Ｌ６は、画像を示した画像光として、ハーフミラーのメータガラス６２を透過することになる。これによって、表示装置で表示する画像の内容に関わらず、近赤外光の投光量を調整しやすくできる。また、上記実施形態と同様に、表示装置の表示面（メータガラス６２）から近赤外光を投光できるので、ドライバの顔に均一に近赤外光を投光できる。
【００９１】
また、上記実施形態では、表示部１１の表示面１１０を左右に四分割した例について説明したが、表示面１１０をどのように分割してもよい。表示面１１０の分割数を多くすれば、より細かく、近赤外光の投光を制御できる。また、上記実施形態では、表示面１１０の真ん中の二つの領域１１０ｂ、１１０ｃにメータ画像等の標準画像が描画される例について説明したが、標準画像は、左右端の領域１１０ａ、１１０ｄに描画されたとしてもよい。また、標準画像が描画される領域と補助画像（背景色画像）が描画される領域とは、明確に区分されていなくてもよく、同じ領域にそれら標準画像、補助画像を混在させて描画してもよい。
【００９２】
また、上記実施形態では、不足投光量に相当する補助画像として背景色画像の例について説明したが、他の画像で不足投光量を補ってもよい。他の画像としては、例えば、丸、三角、四角等の簡単な図形画像、イラスト画像、メッセージ画像が挙げられる。また、上記実施形態では、液晶表示装置に本発明を適用した例について説明したが、光源を有する他の表示装置（プラズマディスプレイなど）に本発明を適用してもよい。なお、プラズマディスプレイに本発明を適用する場合、近赤外光が発光されるようにプラズマの生成（放電）を制御する必要がある。また、上記実施形態では、メータ画像を表示する表示装置に本発明を適用した例について説明したが、例えば運転席と助手席の間のコントロールパネルに設けられたナビ画面を表示する表示装置に本発明を適用してもよい。また、入退室管理に使う顔認証システムやＴＶ電話、ＴＶドアホン、パーソナルコンピュータ等のようなカメラと照明及び表示器が一体化された製品にも適用可能である。
【００９３】
また、上記実施形態では、近赤外光も通過できる赤色カラーフィルタ１１６ａを採用し、その赤色カラーフィルタ１１６ａを介して近赤外光を表示部１１から出射させていたが、ＲＧＢのカラーフィルタとは別に、近赤外光を通過する専用の近赤外光フィルタを設けてもよい。この場合、具体的には、カラーフィルタ基板１１４（図３参照）に近赤外光フィルタを画素ごとに形成する。これによって、描画する画像の内容にかかわらず、近赤外光を表示部１１から出射させやすくできる。ただし、この場合には、近赤外光フィルタによってＲＧＢのカラーフィルタの占有面積が減少して、描画されるカラー画像の色純度が多少犠牲にされる。
【００９４】
また、上記実施形態では、赤色カラーフィルタ１１６ａを介して近赤外光を投光していたが、緑色カラーフィルタ１１６ｂや青色カラーフィルタ１１６ｃから近赤外光を投光しても良い。この場合には、それらカラーフィルタ１１６ｂ、１１６ｃを近赤外光も通過できるように構成する必要がある。また、緑色カラーフィルタ１１６ｂから近赤外光を投光する場合には、同時に緑色の光を通過されるので、表示部１１には緑色の光を含む光で生成される画像が描画されることになる。同様に、青色カラーフィルタ１１６ｃから近赤外光を投光する場合には、青色の光を含む光で生成される画像が表示部１１に描画されることになる。
【００９５】
また、上記実施形態では、メータ全面に液晶表示装置を用いた例について説明したが、従来型のメータ（表示面にメータ枠や目盛が印刷され、そのメータ枠の内側に指針が配置されたメータ）の一部に小型の液晶表示装置を設け、その小型の液晶表示装置から近赤外光を投光しても良い。また、上記実施形態では、ＲＧＢの各色が混色されたカラー画像を描画する液晶表示装置を用いた例について説明したが、単色（例えば、オレンジ単色、白色単色など）の画像を描画する液晶表示装置にも適用することができる。この場合には、液晶表示装置の表示部の各画素には単色のフィルタが配設されることになるので、そのフィルタを近赤外光も通過できるように構成する必要がある。これによって、単色の画像を描画しつつ、その画像を構成する各画素から近赤外光を投光できる。
【００９６】
また、上記実施形態では、表示部に描画する標準画像や背景色画像（補助画像）を制御することで近赤外光の投光量を調整していたが、光源ユニットから発光される近赤外光のパワーを制御することで、近赤外光の投光量を調整しても良い。例えば近赤外光のパワーを大きくすれば、表示部に描画する画像が同一であってもフィルタを通過する近赤外光の光量を増加させることができる。よって、簡易に目標投光量の近赤外光を投光できる。なおこの場合、図１の描画制御部１３が光源ユニット１２（近赤外ＬＥＤ１２１ｄ）のパワーを直接制御し、又は近赤外ＬＥＤ発光制御部２８が光源ユニット１２（近赤外ＬＥＤ１２１ｄ）のパワーを制御する。この場合、描画制御部１３又は近赤外ＬＥＤ発光制御部２８が本発明の「光源パワー制御手段」に相当する。
【００９７】
また、上記実施形態では、背景色画像の色合いを調整することで不足投光量を補っていたが、背景色画像の色合いの調整と同時に、又はその調整に代えて、標準画像（メータ画像など）の色合いを調整して不足投光量を補っても良い。この場合には、標準画像としての機能が損なわれない色調整可能範囲内で、標準画像の色合いを調整する。これによって、より一層、目標投光量の近赤外光を投光しやすくできる。
【００９８】
また、表示装置本来のＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）機能として、ユーザのイライラを落ち着かせたり漫然状態から脱するように表示装置の表示部全体を寒色系や暖色系に変化させる要求が出ることがある。この場合には、近赤外光の目標投光量と相反する場合があるが、描画制御部１３が両方の要求を調停して、変化させる寒色系や暖色系の色合いを決定する。具体的には、例えば、目標投光量と寒色系の色合いとの対応関係又は目標投光量と暖色系の色合いとの対応関係を予めメモリに記憶しておく。そして、今回の目標投光量に対応する色合いをメモリに記憶された対応関係から決定する。そして、描画制御部１３は、決定された色合いの寒色系又は暖色系に変化させる。
【００９９】
なお、上記実施形態において、描画制御部１３が本発明の「描画制御手段」に相当する。図７のＳ１４の処理を実行する撮像／投光条件設定部２７及び近赤外ＬＥＤ発光制御部２８が本発明の「投光量設定手段」及び「第一の環境光判断手段」に相当する。図７のＳ１６の処理を実行する描画制御部１３が本発明の「投光量判断手段」に相当する。図７のＳ２２の処理を実行する描画制御部１３が本発明の「計時手段」に相当する。図７のＳ１８の処理を実行する描画制御部１３が本発明の「経過時間判断手段」に相当する。図７のＳ１５の処理を実行する撮像／投光条件設定部２７及び近赤外ＬＥＤ発光制御部２８が本発明の「投光パターン決定手段」に相当する。図８のＳ１５１の処理を実行する撮像／投光条件設定部２７が本発明の「第二の環境光判断手段」に相当する。撮像部２１が本発明の「撮影手段」に相当する。
【符号の説明】
【０１００】
１ ドライバモニタシステム（投光システム、顔撮影システム）
１０ 液晶表示装置
１１ 表示部
１１６ カラーフィルタ
１１６ａ 赤色カラーフィルタ
１１６ｂ 緑色カラーフィルタ
１１６ｃ 青色カラーフィルタ
１２ 光源ユニット
１２１ 光源部
１２１ａ 赤色ＬＥＤ
１２１ｂ 緑色ＬＥＤ
１２１ｃ 青色ＬＥＤ
１２１ｄ 近赤外ＬＥＤ
１２２ 導光板
１３ 描画制御部
１４ 表示コンテンツ制御部
１５ 明るさ調整部
２１ 撮像部
２２ カメラ制御部
２３ 画像処理部
２４ 状態推定部
２５ アクチュエーション制御部
２６ 注意喚起／警報手段
２７ 撮像／投光条件設定部
２８ 近赤外ＬＥＤ発光制御部
３１〜３８ 標準画像
５１〜５６ 背景色画像（補助画像）
【技術分野】
【０００１】
本発明は、ユーザの顔に近赤外光を投光する投光システム及び近赤外光が投光されたユーザの顔を撮影する顔撮影システムに関する。
【背景技術】
【０００２】
従来、車両のドライバの顔を撮影して、その撮影画像に基づいてドライバの顔向きを検出したり眼の開度を検出したりするドライバモニタシステムが知られている。そのドライバモニタシステムでは、ドライバの顔に近赤外光を投光する投光器とドライバの顔を撮影するカメラとが設けられる。そのカメラには可視光をカットする可視光カットフィルタが設けられる。このドライバモニタシステムによれば、投光器からの近赤外光がドライバの顔で反射して、その反射した近赤外光をカメラで受光することで、ドライバの顔を撮影している。このように、近赤外光を用いることで、ドライバに投光器からの光を眩しく感じさせなくすることができ、昼夜に関わらずドライバの顔を明瞭に撮影できる。
【０００３】
ところで、従来では、ドライバモニタシステムで用いられる投光器としてＬＥＤ等の点光源の投光器が用いられていたので、ドライバの顔に投光した際に照度ムラが生じるという問題点があった。ここで、図１１は、従来の投光器における照度ムラを説明する図であり、具体的には図１１（ａ）は、従来の投光器１００から光が照射されている状態を示した図であり、図１１（ｂ）は投光器１００による光の強度分布を二次元的に示した図であり、図１１（ｃ）は投光器１００による光の強度分布を三次元的に示した図である。なお、図１１（ａ）では、点光源１０１から構成された投光器１００を示している。また、図１１（ａ）では、点光源１０１の中心線ＣＬを示している。また、図１１（ｂ）では、色が濃い程、光の強度が強いことを示しており、図１１（ａ）に示した中心線ＣＬも示している。また、図１１（ｃ）では、縦軸方向に大きくなる程、光の強度が強いことを示しており、図１１（ａ）に示した中心線ＣＬも示している。
【０００４】
図１１（ａ）に示すように、点光源１０１から前方に放射するように近赤外光Ｌ１が照射される。そのため、点光源１０１からの近赤外光Ｌ１は、図１１（ｂ）、（ｃ）に示すように、点光源１０１の真正面（中心線ＣＬ上）で最も強くされており、強度分布が均一とされていない。つまり、ドライバの顔に照射された際に照度ムラが生じる。照度ムラが生じると、撮影画像からドライバの顔を認識することが困難な場合がでてくる。
【０００５】
そこで、上記の問題点を解決するために、点光源に代えて、面で発光する面光源の投光器を採用することが考えられる。例えば、特許文献１には、液晶ディスプレイのバックライト用の照明システム（面光源）の発明が開示されている。また、特許文献２には、携帯電話機のサブディスプレイ（液晶ディスプレイ）用のバックライトに血管認証用の近赤外光を発光する光源を設け、そのサブディスプレイに指をかざすことで血管認証（生体認証）できる発明が開示されている。つまり、特許文献２の発明では、携帯電話機のサブディスプレイで、画像の表示に加えて、生体認証もできるようにしたものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５２４９１１号公報
【特許文献２】国際公開第２００８／０６２５４４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のような表示装置（液晶ディスプレイ）のバックライトは近赤外光を発光しないので、そのバックライトをそのままドライバ等のユーザの顔に近赤外光を投光する投光器として用いることはできない。また、特許文献２には、近赤外光を発光する面光源が開示されているものの、その面光源は、携帯電話機のサブディスプレイ用のバックライトであるので、ユーザの顔に投光する投光器として用いることはできない。一方で、ユーザの顔に近赤外光を投光するためだけに面光源を設けるとシステムの構成が複雑になってしまう。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、システム構成を簡素にしつつ、ユーザの顔に均一に近赤外光を投光できる投光システム及びその近赤外光が投光されたユーザの顔を撮影する顔撮影システムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の投光システムは、ユーザの顔が位置する領域の前方に設けられ、パネル状の表示部とその表示部に光を入射する光源ユニットとその光源ユニットからの光のうち前記表示部から出射させる出射光を制御することで前記表示部に前記出射光に応じた画像を描画する描画制御手段とを含む表示装置を備えた、前記ユーザの顔に近赤外光を投光する投光システムであって、
前記光源ユニットは、近赤外光を発光するものとして構成され、
前記描画制御手段は、前記表示部に画像を描画しつつ、近赤外光を前記表示部から出射させることを特徴とする。
【００１０】
これによれば、ユーザの顔の前方に設けられた画像表示用の表示装置を利用して投光システムを構成する。その表示装置は、液晶ディスプレイのように、パネル状の表示部、その表示部に光を入射する光源ユニット及び表示部から出射させる出射光を制御することで表示部に出射光に応じた画像を描画する描画制御手段を含んで構成される。光源ユニットは、近赤外光を発光するものとして構成されているので、光源ユニットから近赤外光を表示部に入射させることができる。表示部に近赤外光が入射されただけでは、ユーザの顔に近赤外光を投光できないので、描画制御手段は、表示部に画像を描画しつつ、近赤外光を表示部から出射させる。これによって、パネル状の表示部からユーザの顔に均一に近赤外光を投光できる。また、表示部には画像が描画されているので、本来の表示装置の役割も担保できる。さらに、既存の表示装置を利用して近赤外光を投光できるので、ユーザの顔に近赤外光を投光するためだけの面光源を設ける場合に比べてシステム構成を簡素にできる。
【００１１】
また、本発明において、前記表示部には所定の波長の光を通過させるフィルタが画素ごとに配設されており、
前記フィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記所定の波長の光に応じた色の画像を描画しつつ、その画像を構成する画素から近赤外光を出射させることを特徴とする。
【００１２】
これによれば、表示装置は、表示部にフィルタが画素ごとに配設され、そのフィルタから通過された光の波長に応じた色の画像（例えば一つの色から構成される単色画像や複数色から構成されるカラー画像）を表示するものとされている。この場合、光源ユニットからの近赤外光をどのようにして表示部から出射させるかが問題となるが、本発明では、フィルタを、画像描画のための光に加えて、近赤外光も通過させるものとして構成している。よって、描画制御手段は、単色画像又はカラー画像を描画しつつ、その画像を構成する画素から近赤外光も出射させることができる。これによって、既存の表示装置の構成を少し変更するだけで、具体的には、フィルタ（近赤外光を通過させる）、及び描画制御手段（近赤外を出射させるように制御）を変更するだけで、既存の表示装置から近赤外光をユーザの顔に投光できる。
【００１３】
また、本発明において、前記フィルタはＲＧＢのカラーフィルタであり、そのＲＧＢのカラーフィルタのうちの少なくとも１種以上のカラーフィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、近赤外光を通過させる前記カラーフィルタを介してそのカラーフィルタで定まる色の可視光を出射させつつ近赤外光を出射させることを特徴とする。
【００１４】
これによれば、表示装置は、表示部にＲＧＢのカラーフィルタが画素ごとに配設され、そのカラーフィルタを通過する光量を制御することでカラー画像を表示するものとされている。また、ＲＧＢのカラーフィルタのうち少なくとも１種以上のカラーフィルタは近赤外光も通過できるように構成されているので、描画制御手段は、近赤外光を通過できるカラーフィルタを介して近赤外光を出射させることができる。その際、そのカラーフィルタを通過できる可視光も出射されることになるので、表示部に、その可視光に応じた色の画像を描画できる。また、近赤外光を通過させる専用の近赤外光フィルタを設ける必要がなく、ＲＧＢのカラーフィルタの占有面積を維持できるので、カラー画像の色純度を維持できる。なお、近赤外光を通過させるカラーフィルタは、ＲＧＢのカラーフィルタのうちのどのカラーフィルタで構成しても良い。すなわち、赤色（Ｒ）のカラーフィルタをＲ＋ＩＲ（近赤外光）のカラーフィルタとして構成したり、緑色（Ｇ）のカラーフィルタをＧ＋ＩＲのカラーフィルタとして構成したり、青色（Ｂ）のカラーフィルタをＢ＋ＩＲのカラーフィルタとして構成したりできる。
【００１５】
また、本発明において、前記フィルタは、ＲＧＢのカラーフィルタ及び近赤外光を通過させる近赤外光フィルタであり、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、前記近赤外光フィルタを介して近赤外光を出射させることを特徴とする。
【００１６】
このように、表示装置の表示部に、カラー画像を描画するためのＲＧＢのカラーフィルタに加えて、近赤外光を出射させるための近赤外光を通過させる専用の近赤外光フィルタを設けてもよい。これによって、描画する画像の内容にかかわらず、描画制御手段に近赤外光を表示部から出射させやすくできる。
【００１７】
また、本発明における前記光源ユニットは、画像描画用の可視光を発光する可視光光源と近赤外光を発光する近赤外光源とを含むことを特徴とする。これによって、可視光光源からの可視光によって表示部に画像を描画しつつ、近赤外光源からの近赤外光を表示部から出射させることができる。
【００１８】
また、本発明において、前記ユーザの顔に照射する近赤外光の目標投光量を設定する投光量設定手段を備え、
前記描画制御手段は、前記投光量設定手段が設定した前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする。
【００１９】
これによれば、投光量設定手段が目標投光量を設定し、描画制御手段がその目標投光量の近赤外光を出射させるので、ユーザの顔に投光する近赤外光の投光量を適宜変更できる。
【００２０】
また、本発明における前記表示装置は液晶表示装置であり、
前記描画制御手段は、前記液晶表示装置における液晶の向きを制御することで前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする。
【００２１】
これによれば、液晶表示装置では液晶の向きが制御されることで表示部から出射される光の色や光量が調整されるので、描画制御手段は、その液晶の向きを制御することで、目標投光量の近赤外光を出射させることができる。
【００２２】
また、本発明において、前記目標投光量の近赤外光が前記表示部から出射されるように、前記光源ユニットから発光される近赤外光のパワーを制御する光源パワー制御手段を備えたとしても良い。
【００２３】
これによれば、光源ユニットからの光のパワーを制御することで表示部全域に亘って明るくしたり暗くしたりできるので、光源パワー制御手段が光源ユニットの近赤外光のパワーを制御することで、簡易に目標投光量の近赤外光を表示部から出射させることができる。
【００２４】
また、本発明における投光量設定手段は、環境光による周囲の明るさを判断する第一の環境光判断手段を含み、その第一の環境光判断手段が判断した前記環境光の明るさが明るいほど大きい前記目標投光量を設定することを特徴とする。
【００２５】
近赤外光をユーザの顔に投光するシステムにおいては、システムから投光される近赤外光以外の環境光は外乱とされる。つまり、環境光（外乱）の影響が大きくなるほど、近赤外光の投光が減殺されてしまう。本発明によれば、第一の環境光判断手段が環境光による周囲の明るさを判断し、投光量設定手段が環境光の明るさが明るいほど大きい目標投光量を設定するので、環境光に関わらず近赤外光を最適に投光できる。
【００２６】
また、本発明における表示装置は、前記表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されており、
各時点における前記描画制御手段が前記表示部に描画すべき画像である標準画像が定められており、
現時点における前記標準画像による近赤外光の投光量が、前記目標投光量を満足するか否かを判断する投光量判断手段を備え、
前記描画制御手段は、前記投光量判断手段が前記目標投光量を満足しないと判断した場合には、前記標準画像に加えて、前記目標投光量に不足分の近赤外光の投光量である不足投光量に相当する補助画像を前記表示部に描画することを特徴とする。
【００２７】
これによれば、表示部には、車両のメータ画像など、定められた標準画像が描画される。この場合、表示装置は表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されているので、標準画像に応じた投光量の近赤外光が投光されることになるが、その投光量が目標投光量を満足しない場合もあり得る。そこで、投光量判断手段は、現時点における標準画像による近赤外光の投光量が目標投光量を満足するか否かを判断して、満足しない場合には、描画制御手段は、標準画像に加えて不足投光量に相当する補助画像も表示部に描画する。これによって、標準画像を描画しつつ、目標投光量の近赤外光を投光できる。
【００２８】
また、本発明における表示装置は、前記表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されており、
描画制御手段は、前記補助画像として、前記標準画像が描画される領域以外の背景領域に背景色の画像である背景色画像を描画するものであり、前記不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いの前記背景色画像を描画することを特徴とする。
【００２９】
これによれば、補助画像として背景色画像が描画される。この場合、表示装置は表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されているので、標準画像に伴う近赤外光に加え、背景色画像の色合いに応じた投光量の近赤外光も投光できる。そして、背景色が、不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いに調整されるので、標準画像の視認性を確保しつつ、簡易に目標投光量の近赤外光を投光できる。
【００３０】
また、本発明における前記描画制御手段は、前記背景色画像の色合いを変化させるときには、目標の色合いまで徐々に色合いを変化させることを特徴とする。これによって、背景色の急激の変化に目が奪われて標準画像の視認が妨げられるのを抑制できる。
【００３１】
また、本発明において、前記背景色画像の色合いが変化されてからの経過時間を計測する計時手段と、
前記計時手段が計測した経過時間が所定時間以上か否かを判断する経過時間判断手段と、を備え、
前記描画制御手段は、前記経過時間判断手段によって前記経過時間が前記所定時間以上と判断されるまでは、前記背景色画像の色合いを変化させないことを特徴とする。
【００３２】
これによれば、前回の背景色の色合いの変化時から所定時間経過するまでは、背景色の色合いが変化されないので、頻繁に背景色の色合いが変化することによる煩わしさを防止できる。
【００３３】
また、本発明において、前記表示部中の各領域間における近赤外光の出射分布を示した投光パターンを決定するものであって、前記表示部中の予め定められた複数の領域間で均等分布となる前記投光パターンを決定する投光パターン決定手段を備え、
前記描画制御手段は、前記投光パターン決定手段が決定した前記投光パターンにしたがって近赤外光を前記表示部から出射させることを特徴とする。
【００３４】
これによれば、表示部中の予め定められた複数の領域間で均等分布となる投光パターンで、近赤外光が表示部から出射されるので、ユーザの顔により一層均一に近赤外光を投光できる。なお、ここで言う均等分布の投光パターンとは、表示部の複数の領域間で完全に均等した分布だけを指すものではなく、各領域からの出射量に多少の差がある場合も含む概念である。
【００３５】
また、本発明における前記投光パターン決定手段は、前記表示装置から近赤外光が投光される領域である投光領域内の環境光による明るさの偏りを判断する第二の環境光判断手段を含み、その第二の環境光判断手段が前記明るさの偏りがあると判断した場合には、前記均等分布となる投光パターンに代えて、前記投光領域内で相対的に暗い領域ほど、出射させる近赤外光の光量が多くなるように投光パターンを決定することを特徴とする。
【００３６】
夕方における西日など、環境光が特定の方向から投光システム内に射し込む場合がある。この場合、投光領域内で明るさに偏りが生じる。本発明によれば、均等分布となる投光パターンに代えて、投光領域内で相対的に暗い領域ほど近赤外光の光量が多くなる投光パターンで、近赤外光が出射されるので、投光領域内の光のバランスを図ることができる。
【００３７】
また、本発明における表示装置は、車両の運転席前方に設けられた、前記車両に関する計測値を表示するメータ画像を表示する表示装置であることを特徴とする。
【００３８】
車両におけるメータ画像を表示する表示装置は、運転席前方のドライバの顔の近くに設けられているので、その表示装置に本発明を適用するとドライバの顔に比較的強い近赤外光を投光できる。また、ドライバは、近赤外光が投光されている間、表示装置に表示されたメータの計測値を確認することができる。
【００３９】
本発明の顔撮影システムは、本発明に係る投光システムと、前記ユーザの顔を含む領域を撮影する撮影手段と、を備えることを特徴とする。これによれば、近赤外光が均一に投光されたユーザの顔を撮影できるので、ユーザの顔が明瞭に写った撮影画像を得ることができる。
【図面の簡単な説明】
【００４０】
【図１】ドライバモニタシステム１の概略構成のブロック図である。
【図２】表示部１１（表示面１１０）の表示状態を例示した図である。
【図３】表示部１１の詳細な構成を示した図である。
【図４】光源ユニット１２の断面図である。
【図５】カラーフィルタ１１６を示した図である。
【図６】各カラーフィルタ１１６ａ〜１１６ｃの特性を示した図である。
【図７】液晶表示装置１０から近赤外光を投光する近赤外光投光処理のフローチャートである。
【図８】図７のＳ１５の処理を詳細のフローチャートである。
【図９】近赤外光の投光条件に応じて表示面１１０の背景色が変化することを説明する図である。
【図１０】ハーフミラーを介して近赤外光を投光する例を説明する図である。
【図１１】従来の投光器における照度ムラを説明する図である。
【発明を実施するための形態】
【００４１】
以下、本発明に係る投光システム及び顔撮影システムの実施形態を図面を参照しながら説明する。本実施形態では、車両のドライバを監視するドライバモニタシステムに本発明の投光システム及び顔撮影システムを適用した例について説明する。図１は、本実施形態のドライバモニタシステム１の概略構成のブロック図を示している。そのドライバモニタシステム１は、車両に設けられた既存の液晶表示装置１０を利用する形で構成されている。その液晶表示装置１０は、運転席前方のインストルメントパネル部（図示外）に設けられ、車両の車速やエンジン回転数等の計測値を指示する指針等をメータ画像として表示する表示装置である。
【００４２】
ここで、図２は、液晶表示装置１０のパネル状の表示部１１（図１参照）の表示状態を例示した図である。図２に示すように、表示部１１の表示面１１０は、正面から見たときに車幅方向に細長い形状とされる。その表示面１１０の領域を左右に四分割（図２では、説明の便宜上、各領域の境界を点線で示している）したときに、図２では、真ん中の二つの領域１１０ｂ、１１０ｃに各種画像が表示されている例を示している。具体的には、それら領域１１０ｂ、１１０ｃのうち左側の領域１１０ｂ（以下、第一のメータ表示領域という）には、エンジン回転数を指示するメータ画像３１、エンジン水温を指示するメータ画像３５及び平均燃費を指示するメータ画像３３が表示されている。右側の領域１１０ｃ（以下、第二のメータ表示領域という）には、車速を指針で指示するメータ画像３２、車速の数値を示した車速画像３４及び燃料残量を指示するメータ画像３６が表示されている。また、エンジン回転数のメータ画像３１と車速のメータ画像３２との間の領域（第一のメータ表示領域１１０ｂと第二のメータ表示領域１１０ｃの境界付近の領域）には、シフトポジションを示したシフトポジション画像３７及び次の右左折ポイントまでの距離等の道路情報を示した道路情報画像３８が表示されている。
【００４３】
なお、各メータ表示領域１１０ｂ、１１０ｃには、図２に例示した以外の画像も表示可能とされており、例えば、ナイトビューカメラによる撮影画像が表示されたり、先行車両に追突しそうな場合における警報など各種の警報が表示されたりする。すなわち、各メータ表示領域１１０ｂ、１１０ｃに表示される画像の内容（表示コンテンツ）は時々刻々と変化する。なお、以下では、メータ表示領域１１０ｂ、１１０ｃに描画される画像を「標準画像」ともいう。
【００４４】
また、図２では、表示面１１０の四分割の領域１１０ａ〜１１０ｄのうち左端の領域１１０ａ及び右端の領域１１０ｄには何も表示されていない例を示している。本実施形態では、ドライバの顔に投光する近赤外光の目標投光量に応じて、それら領域１１０ａ、１１０ｄの色合いが変化されるようになっている。つまり、それら領域１１０ａ、１１０ｄは、色合いが変化されることで、近赤外光の投光量を調整するための領域とされる。
【００４５】
液晶表示装置１０は、一般的な液晶表示装置と同様の構造とされ、具体的には図１に示すように、パネル状の表示部１１、その表示部１１のバックライトとされる光源ユニット１２、表示部１１における液晶分子の向きを制御して表示部１１に画像を描画する描画制御部１３、描画制御部１３で描画させる表示コンテンツを決定する表示コンテンツ制御部１４及び表示部１１の明るさを調整する明るさ調整部１５を備えている。図３は、表示部１１の詳細な構成を示した図であり、具体的には、表示部１１の各構成の分解斜視図を示している。なお、図３には、光源ユニット１２も図示している。また、図４は、光源ユニット１２の断面図を示している。以下、図３、図４を参照して、表示部１１及び光源ユニット１２について詳細に説明する。
【００４６】
光源ユニット１２は、表示部１１に裏側から光を供給（入射）するバックライトであり、図３、図４に示すように、本実施形態では表示部１１のエッジ側から光を入射するエッジライト型のバックライトとされている。その光源ユニット１２は、光源部１２１及び導光板１２２を主として構成されている。光源部１２１は、赤色の光を発光する赤色ＬＥＤ１２１ａ、緑色の光を発光する緑色ＬＥＤ１２１ｂ、青色の光を発光する青色ＬＥＤ１２１ｃ及び近赤外光（７００ｎｍ〜１０００ｎｍの波長の光）を発光する近赤外ＬＥＤ１２１ｄから構成されている（図４参照）。すなわち、光源部１２１は、表示部１１に画像を描画するための可視光光源としてのＲＧＢ各色のＬＥＤ１２１ａ〜１２１ｃに加えて、ドライバの顔に投光する近赤外光を発光する近赤外光源１２１ｄから構成されている。
【００４７】
本実施形態では、光源部１２１は、各ＬＥＤ１２１ａ〜１２１ｃがＲＧＢ各色の光を同時に同強度で発光することで、それらＲＧＢ各色の光が混色された白色光として光を発光するものとされている。また、白色光の発光と同時に、近赤外ＬＥＤ１２１ｄから近赤外光が発光されるように構成されている。したがって、光源部１２１からは、白色光に不可視光である近赤外光が含む形で発光されることになる。なお、光源部１２１は、各ＬＥＤ１２１ａ〜１２１ｃから発光させる光の強度（光量）を調整可能に構成されたとしてもよい。この場合には、各ＬＥＤ１２１ａ〜１２１ｃからの各光量に応じた色の光が発光されることになる。また、近赤外光の波長と赤色の光の波長が比較的近いことに鑑みて、近赤外ＬＥＤ１２１ｄに代えて、近赤外光が重畳される形で赤色の光を発光する赤色ＬＥＤを採用しても良い。また、その逆に近赤外光ＬＥＤにも可視光成分が混ざって見えるものもあり、近赤外光ＬＥＤの強度によっては、その赤成分を赤色ＬＥＤ強度から差し引くことにより、可視光成分の色純度（白色が白色に見える）を高めることができる。また、光源部１２１の光源は、近赤外光を発光できる光源であるのであれば、ＬＥＤに限られず、ハロゲン光源やＥＬ（Ｅｌｅｃｔｒｏ＿ｌｕｍｉｎｅｓｃｅｎｃｅ）など、他の種類の光源を採用してもよい。
【００４８】
光源部１２１からの光Ｌ３は導光板１２２に入射される。その導光板１２２は、表示部１１の背面直下に設けられ、表示部１１の面形状に合わされた板状部材である。導光板１２２は、アクリル等の導光性を有する材料で形成されており、入射された光Ｌ３を導光板１２２内全体に伝搬（導光）させる。図４に示すように、光源部１２１の周囲には、光源部１２１からの光Ｌ３を効率良く導光板１２２に入射させるためのカバー１２３が設けられている。また、導光板１２２の底面１２２ａには、適当な間隔で複数の反射ドット１２４が形成されている。それら反射ドット１２４は、例えば白色インクで形成されており、導光板１２２内を伝搬した光Ｌ３の底面１２２ａにおける反射角を変化させて、その光Ｌ３を導光板１２２の上面１２２ｂ側に反射させるものである。このように、光源部１２１からの光Ｌ３は、導光板１２２内に伝搬されるとともに、各反射ドット１２４で反射されることにより導光板１２２の上面１２２ｂ全体から出射される。なお、上記したように光源部１２１からの光には近赤外光が含まれているので、導光板１２２は、近赤外光も導光できる構造とされている。
【００４９】
導光板１２２は、表示部１１の面形状に合わされた板状部材とされているので、光源部１２１からの光は表示部１１の面全体に入射されることになる。このように、光源ユニット１２は、導光板１２２を介して表示部１１に光を入射するエッジライト型とされているが、表示部１１の背面直下に直接光源部が設けられる直下型の光源ユニットを採用してもよい。
【００５０】
表示部１１は、一般的な液晶の表示部と同様の構造とされ、具体的には図３に示すように、裏側から順に、第一の偏光板１１１、アレイ基板１１２、液晶層１１３、カラーフィルタ基板１１４及び第二の偏光板１１５の積層構造とされている。また、アレイ基板１１２上には、画素におけるＲＧＢの各色に対応したサブ画素に電圧を加えるためのサブ画素電極１１２ａ及び配向膜１１２ｂが形成されている。また、カラーフィルタ基板１１４上には、各画素に共通に電圧を加えるための共通電極１１４ａ及び配向膜１１４ｂが形成されている。それら配向膜１１２ｂ、１１４ｂは、ネマティック液晶等の液晶で構成された液晶層１１３に電圧が加えられていない状態において、液晶の液晶分子を特定の方向に整列させるものである。また、偏光板１１１、１１５は、光源ユニット１２からの光のうち特定の振幅成分を持つ光（偏光）だけを通過させるものである。なお、それら偏光板１１１、１１５の配置方向に応じて、電圧の無印加状態で明表示（白表示）のノーマリーホワイトモードとされたり、暗表示（黒表示）のノーマリーブラックモードとされたりする。なお、液晶層１１３は、光源ユニット１２からの近赤外光を吸収しにくい液晶で構成されている。
【００５１】
カラーフィルタ基板１１４上には、上記した共通電極１１４ａ、配向膜１１４ｂの他に、各画素に対応したＲＧＢのカラーフィルタが形成されている。ここで、図５は、カラーフィルタ基板１１４上にカラーフィルタ１１６が形成された状態を示しており、より具体的には、カラーフィルタ１１６の配置例の各種態様を示している。図５（ａ）では、赤色の光を通過させる赤色カラーフィルタ１１６ａ、緑色の光を通過させる緑色カラーフィルタ１１６ｂ及び青色の光を通過させる青色カラーフィルタ１１６ｃが、ストライプ状に配置された例を示している。また、図５（ｂ）は、各色のカラーフィルタ１１６ａ〜１１６ｃが縦及び横に配置された例を示している。また、図５（ｃ）は、各色のカラーフィルタ１１６ａ〜１１６ｃが、隣接するカラーフィルタ１１６ａ〜１１６ｃでトライアングル状（デルタ状）となるように配置された例を示している。このように、本発明においても図５に示す一般的なカラーフィルタの配置を採用することができる。
【００５２】
なお、互いに隣接する一組のカラーフィルタ１１６ａ〜１１６ｃの領域で一の画素を構成する。また、一の画素のうち、各カラーフィルタ１１６ａ〜１１６ｃの領域がサブ画素とされる。図３のサブ画素電極１１２ａは、各サブ画素ごとに形成されている。
【００５３】
図６は、各カラーフィルタ１１６ａ〜１１６ｃの特性を示している。具体的には、横軸が光の波長、縦軸が各カラーフィルタ１１６ａ〜１１６ｃを通過する光の強度（透過率）のグラフを示している。そして、そのグラフにおいて、赤色カラーフィルタ１１６ａの特性を示したライン１３１ａ、緑色カラーフィルタ１１６ｂの特性を示したライン１３１ｂ及び青色カラーフィルタ１１６ｃの特性を示したライン１３１ｃを図示している。なお、図６には、近赤外光のスペクトル１４１も図示している。図６の各フィルタのライン１３１ａ〜１３１ｃが示すように、各カラーフィルタ１１６ａ〜１１６ｃでは、それぞれ対応する色の光の波長領域で透過率が大きくなっている。また、赤色カラーフィルタ１１６ａのライン１３１ａが示すように、赤色カラーフィルタ１１６ａでは、赤色の光の波長領域（６００ｎｍ〜７００ｎｍの波長）に加えて、近赤外光の波長領域（スペクトル１４１参照）でも光の透過率が大きくなっている。つまり、赤色カラーフィルタ１１６ａは、赤色の光に加えて、近赤外光も通過できるように構成されている。
【００５４】
以上のようにして構成された表示部１１では、サブ画素電極１１２ａと共通電極１１４ａの間に電圧が印加されることで、それら電極１１２ａ、１１４ａ間の液晶層１１３の液晶分子の向きが変化する。また、そのときの液晶分子の向きは、印加された電圧の大きさに応じた向きとされる。このように、電圧が印加されるサブ画素電極１１２ａや電圧の大きさが制御されることで、各画素の各サブ画素から出射される各色の光量が制御される。その結果、表示部１１の表示面１１０（図２参照）に各種のカラー画像が描画されることになる。また、光源ユニット１２からの光に含まれた近赤外光は、赤色カラーフィルタ１１６ａを介して表示部１１から出射されることになる。そのため、赤色カラーフィルタ１１６ａに対応したサブ画素電極１１２ａに印加する電圧を制御することで、表示部１１から出射される近赤外光の出射位置や光量を制御することができる。なお、近赤外光の出射にともなって赤色の光も出射されることになるので、表示部１１の表示面１１０には、赤色の光で生成される画像（赤系画像）が描画されることになる。
【００５５】
なお、特開２０１０−６６７５１号公報に記載のように、近年、近赤外光を吸収する近赤外線吸収フィルタが液晶表示装置に設けられることがあるが、本発明の液晶表示装置１０にはそのような近赤外線吸収フィルタは設けられていない。
【００５６】
図１の説明に戻り、上記した表示部１１の制御（液晶分子の向きの制御）は描画制御部１３によって行われる。つまり、描画制御部１３は、電圧を印加する電極１１２ａ、１１４ａや電圧の大きさを制御することで、表示部１１に各種の画像を描画する。また、描画制御部１３は、明るさ調整部１５からの信号に基づいて、表示部１１に描画される画像の明るさが変更されるように、表示部１１を制御する。例えば、表示部１１をより明るくする場合には、描画制御部１３は、表示部１１の各画素から出射される光量を増加させる方向に、液晶層１１３の液晶分子の向きを調整する。明るさ調整部１５は、例えばヘッドライトのオンオフスイッチであったり、ユーザが明るさを設定可能な設定スイッチであったりする。例えば、夜間にヘッドライトがオンされた場合には、描画制御部１３は、メータ画像の視認性を向上させるために、描画するメータ画像の明るさ（輝度）を調整（小さく）している。
【００５７】
さらに、描画制御部１３は、ドライバの顔に近赤外光を投光するために、表示部１１から出射させる近赤外光の光量や、表示部１１のどの領域から出射させるかなどの制御も行う。その制御に関する処理は本発明の特徴でもあるので、後に詳細に説明する。
【００５８】
描画制御部１３によって描画させる画像は、表示コンテンツ制御部１４によって決定される。その表示コンテンツ制御部１４は、各時点（各場面）における描画制御部１３に描画させる画像の内容（表示コンテンツ）を決定する部分であり、具体的には、例えば上記した各種のメータ画像（図２参照）を決定する。この場合、表示コンテンツ制御部１４は、計測値を指示する前の基本メータ画像（例えば、図２のエンジン回転数を指示するメータ画像３１にあっては、メータ枠に沿って目盛が示された画像）を予めメモリ（図示外）に記憶しておく。そして、エンジン回転数などの物理量を計測するセンサ（図示外）からの計測値を取得する。そして、メモリに記憶された基本メータ画像に対して取得した計測値を反映させた（計測値を指示した）メータ画像を生成する。そして、表示コンテンツ制御部１４は、その生成したメータ画像の情報（表示部１１のどの領域に描画させるかを示した情報も含む）を描画制御部１３に送信して、描画制御部１３にメータ画像を描画させる。
【００５９】
なお、上記したように、表示部１１には、メータ画像の他にも、ナイトビューカメラによる撮影画像や各種の警報も描画されるので、表示コンテンツ制御部１４は、例えばナイトビューカメラの起動スイッチ（図示外）がユーザに操作された場合には、ナイトビューカメラによる撮影画像を取得する。そして、表示コンテンツ制御部１４は、その撮影画像を描画制御部１３に送信して表示部１１に描画させる。
【００６０】
以上のように、ドライバモニタシステム１は、ドライバの顔に近赤外光を投光する投光器としても機能する液晶表示装置１０を備える形で構成されるが、ドライバモニタシステムとしての本来の構成も備えている。具体的には、ドライバモニタシステム１は、図１に示すように、撮像部２１、カメラ制御部２２、画像処理部２３、状態推定部２４、アクチュエーション制御部２５、注意喚起／警報手段２６、撮像／投光条件設定部２７及び近赤外ＬＥＤ発光制御部２８を備えている。
【００６１】
撮像部２１（カメラ）は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子から構成され、撮像部２１前方の領域を撮影するものである。その撮像部２１は、ドライバの顔を撮影できる位置、具体的には例えばステアリングコラム（図示外）の上面に設けられる。つまり、撮像部２１は、ドライバの顔を撮影するものである。また、撮像部２１には、外部からの可視光をカットする可視光カットフィルタ（図示外）が設けられている。そのため、撮像部２１には近赤外光等の可視光以外の光が取り込まれ、その結果、撮像部２１で撮影された撮影画像は白黒写真とされる。
【００６２】
なお、液晶表示装置１０の第二の偏光板１１５と異なる方向の偏光板を撮像部２１側（撮像部２１のレンズ部分）に設けてもよい。液晶表示装置１０からの近赤外光は、第二の偏光板１１５に応じた振幅成分に偏光された光とされるが、撮像部２１側にも偏光板を設けることで、他の振幅成分の光の撮像部２１への取り込みを排除できる。よって、ＳＮの高い撮影画像を得ることができる。なお、液晶表示装置１０からの近赤外光は、ドライバに当たって反射されるときに散乱されるものの、例えば眼鏡に当たった場合など、偏光された近赤外光がその偏光された状態で撮像部２１に向かう場合もある。よって、撮像部２１側にも偏光板を設けることは効果的である。
【００６３】
また、上記の偏光板の考え方と逆で、液晶表示装置１０からの近赤外光が撮像部２１に直接入射しないように、撮像部２１を第二の偏光板１１５で偏光された光を排除する構造にしてもよい。これによって、液晶表示装置１０からの近赤外光が撮像部２１に直接入射されることを防止でき、ドライバに当たって散乱された近赤外光だけを撮像部２１に取り込むことができる。また、運転席の前方に設けられたステアリングパッド（図示外）を、近赤外光を吸収する表面材質で形成してもよい。これによって、近赤外光がステアリングパッドで反射されて撮像部２１に取り込まれるのを防止できる。
【００６４】
カメラ制御部２２は、撮像部２１のゲインやシャッター時間等、撮像部２１の動作を制御する部分である。そのカメラ制御部２２は、後述する撮像／投光条件設定部２７によって設定された条件（ゲイン、シャッター時間等）にしたがって、撮像部２１を制御している。
【００６５】
画像処理部２３は、撮像部２１で撮影された撮影画像をカメラ制御部２２を介して取得し、その撮影画像に基づいて、所定の画像処理を実行する部分である。具体的には、画像処理部２３は、撮影画像中に含まれるドライバの顔に対応する顔領域を抽出する抽出処理を実行する。抽出処理としては、例えば、予めメモリ（図示外）に記憶された、顔を構成する口、目、鼻などの各顔部品の特徴（形状情報や画素値情報）と、撮影画像中の各領域の特徴とを比較することで、顔領域を抽出する処理が挙げられる。なお、顔領域を抽出する処理は公知であるので、ここでは詳細な説明は割愛する。また、画像処理部２３は、顔領域の抽出の他にも、撮影画像中の画素値情報やコントラスト情報を算出するなど各種の画像処理を実行する。
【００６６】
状態推定部２４は、画像処理部２３によるドライバの顔の認識結果に基づいて、ドライバがどのような状態にあるのかを推定する部分である。具体的には、状態推定部２４は、例えばドライバの顔向きを推定したり、眼の開度を推定したりする。ドライバの顔向きを推定する方法としては、例えば、抽出した顔領域における顔部品の対称性に基づいて推定する方法が挙げられる。また、眼の開度を推定する方法としては、眼に対応する眼領域の上下瞼の距離に基づいて推定する方法が挙げられる。
【００６７】
アクチュエーション制御部２５は、状態推定部２４による推定結果に基づいて、必要に応じて警告等をする部分、換言すると後述する注意喚起／警報手段２６の動作を制御する部分である。例えば、アクチュエーション制御部２５は、ドライバの顔向きに基づいてドライバが脇見運転をしていると判断される場合や、ドライバの眼の開度に基づいてドライバが居眠り運転をしていると判断される場合には、注意喚起／警報手段２６を駆動して、ドライバに注意喚起をしたり警報を発したりする。その注意喚起／警報手段２６は、例えばブザー（スピーカ）であったり、運転席を振動させる振動装置であったりする。なお、アクチュエーション制御部２５は、警告をする場合には、表示コンテンツ制御部１４に指示をして、液晶表示装置１０に警告メッセージを表示するようにしてもよい。
【００６８】
撮像／投光条件設定部２７は、画像処理部２３による処理結果に基づいて、ドライバの顔を最適に認識できるように、撮像部２１による撮像条件（ゲインやシャッター時間等）や液晶表示装置１０による近赤外光の投光条件（投光量や投光バランス等）を設定する部分である。具体的には、撮像／投光条件設定部２７は、例えば撮像部２１による撮影画像の画素値が低い場合には、ゲインを大きくしたり露光時間を長くしたりするなど、撮影画像の画素値を高くする条件を設定する。さらに、撮像／投光条件設定部２７は、液晶表示装置１０からの近赤外光の投光バランスを最適にするための処理も行っている。具体的には、周囲の環境光（太陽光等）による近赤外光が投光される投光領域の明るさの偏りを判定し、その判定結果を後述する近赤外ＬＥＤ発光制御部２８に送信する。なお、そのときの処理の詳細は後述する。
【００６９】
近赤外ＬＥＤ発光制御部２８は、撮像／投光条件設定部２７にて設定された条件（特に、近赤外光の投光に関する条件）を満足するように、表示部１１から出射させる近赤外光の条件を設定する部分である。具体的には、近赤外ＬＥＤ発光制御部２８は、撮像／投光条件設定部２７による設定条件や判定結果（明るさの偏りの判定結果）に基づいて、表示部１１のどの領域からどの程度の近赤外光を出射させるか、すなわち、出射させる近赤外光の光量（パワー）や出射させる位置（投光パターン）を設定する。なお、その条件を設定するときの処理の詳細は後述する。
【００７０】
以上で説明した各処理部１３、１４、２２〜２８は、それぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成される。そして、各ＣＰＵが、ＲＯＭに予め記憶されたプログラムにしたがった処理を実行することで、上記の各動作がなされるようになっている。
【００７１】
なお、ドライバモニタシステム１は、図１に示すように、液晶表示装置１０とは別に、近赤外光を発光する近赤外ＬＥＤで構成された専用の投光器２９（補助投光器）を備えていてもよい。補助投光器２９は、表示部１１に描画する画像の都合上、液晶表示装置１０だけでは近赤外光の目標投光量を確保できない場合に、補助的に近赤外光を投光するものである。
【００７２】
次に、ドライバモニタシステム１が実行する、液晶表示装置１０からドライバの顔に近赤外光を投光する近赤外光投光処理について説明する。図７は、近赤外光投光処理のフローチャートを示している。この図７のフローチャートの処理は、例えば車両のエンジン始動と同時に開始され、その後エンジンが停止されるまで繰り返し実行される。なお、処理開始時における撮像部２１の撮像条件（ゲイン、シャッター時間等）及び液晶表示装置１０による近赤外光の投光条件（投光量や投光バランス等）は、予め定められた条件が用いられる。
【００７３】
先ず、カメラ制御部２２からの指示に基づいて、撮像部２１でドライバの顔が撮像される（Ｓ１１）。次いで、画像処理部２３によって、Ｓ１１で撮像した撮影画像に基づいて、画素値やコントラストなどの撮影画像の明るさに関する情報（以下、明るさ情報という）が算出される（Ｓ１２）。次いで、撮像／投光条件設定部２７によって、Ｓ１２で算出された明るさ情報に基づいて、撮影画像がドライバの顔を認識する画像として適正か否かが判断される（Ｓ１３）。具体的には、撮影画像の明るさ情報が予め定められた適正範囲に含まれているか否かが判断される（Ｓ１３）。明るさ情報が適正範囲に含まれている場合には（Ｓ１３：Ｙｅｓ）、撮影画像が適正であるとして、Ｓ１１の処理に戻る。この場合には、今回の投光条件が維持されて、次の撮像が行われる（Ｓ１１）。
【００７４】
Ｓ１３において、撮影画像の明るさ情報が適正範囲に含まれていない場合には（Ｓ１３：Ｎｏ）、撮影画像が適正でないとして、Ｓ１４の処理に進む。Ｓ１４では、近赤外ＬＥＤ発光制御部２８によって、撮影画像が適正となる近赤外光の投光量（目標投光量）が算出される（Ｓ１４）。具体的には、例えば各明るさ情報に対してどの程度投光量を変更すれば撮影画像が適正となるかを示した情報（以下、投光量情報という）が予めメモリに記憶されている。ドライバモニタシステム１においては、投光される近赤外光以外の環境光は外乱（ノイズ）とされる。つまり、周囲の明るさ（環境光）が明るいほど投光された近赤外光の影響が減殺されてしまう。そのため、上記の投光量情報は、例えば、例えば明るさ情報で示される明るさが大きいほど目標投光量が大きくなる情報とされている。そしてＳ１４では、今回の明るさ情報（Ｓ１２で算出した明るさ情報）に対応する投光量の変更量がその投光量情報から読み取られる（Ｓ１４）。そして、今回の投光量に読み取られた変更量を加算することで、次回の目標投光量が算出される（Ｓ１４）。また、近赤外光の投光条件は、撮像部２１の撮像条件（ゲインやシャッター時間等）によっても変わってくるので、Ｓ１４では、その撮像部２１の撮像条件に応じて目標投光量が適宜補正される。なお、Ｓ１４の処理は、撮像／投光条件設定部２７が実行してもよい。
【００７５】
なお、Ｓ１４では、撮影画像に基づいて環境光による明るさが考慮された目標投光量を算出する例について説明したが、明るさ調整部１５（図１参照）からのヘッドライトのオンオフ信号も考慮して、目標投光量を算出するようにしてもよい。具体的には、ヘッドライトがオンの場合には、夜間など周囲が暗い場合であり、この場合にはメータの照明が眩しくならないように暗くする必要があるので、ヘッドライトのオフの場合に比べて小さい目標投光量（例えば、予め定められた割合だけ目標投光量を小さくする）を算出する。ただし、不可視光である近赤外光は相対的に大きくなるように制御しても良い。
【００７６】
次いで、表示部１１のどの位置（領域）から近赤外光を出射させるかを示した投光パターンが算出される（Ｓ１５）。ここで、図８は、Ｓ１５の処理の詳細のフローチャートを示している。先ず、撮像／投光条件設定部２７によって、表示部１１から投光される近赤外光の投光領域内における環境光による明るさの偏りが判定される（Ｓ１５１）。具体的には、環境光による明るさの偏りとして、撮影画像中の領域間の画素値の偏りが算出される（Ｓ１５１）。ここでは、画素値の偏りとして、撮影画像の顔領域を左右に２等分したときに、左の領域の画素値Ｃ１と右の領域の画素値Ｃ２とが比較される（Ｓ１５１）。なお、各領域の画素値Ｃ１、Ｃ２は、例えば各画素の画素値の平均値や積算値が用いられる。例えば、左の領域の画素値Ｃ１と右の領域の画素値Ｃ２が一致（Ｃ１＝Ｃ２、ただし厳密に一致しなくてもある程度の差ΔＣを持った一致、つまりＣ１−Ｃ２＜ΔＣでもよい）しているときには、環境光による明るさに偏りが生じていないと判定される（Ｓ１５１）。これに対して、撮影画像の左の領域の画素値Ｃ１と右の領域の画素値Ｃ２とが一致していない場合には、全体の画素値（Ｃ１＋Ｃ２）に対する画素値Ｃ１の割合Ｄ１（＝Ｃ１／（Ｃ１＋Ｃ２））及び画素値Ｃ２の割合Ｄ２（＝Ｃ２／（Ｃ１＋Ｃ２））が、環境光による明るさの偏りとして判定（算出）される（Ｓ１５１）。例えば、夕方における西日など、環境光が特定の方向から車両に射し込む場合には、その環境光が射し込む方向に応じた偏りが判定されることになる。
【００７７】
なお、Ｓ１５１では、撮影画像の顔領域の左右の領域間の偏りを判定する例について説明したが、顔領域の上下の領域間など、どの領域間の偏りを判定してもよい。また、Ｓ１５１では、撮影画像に基づいて投光領域の明るさの偏りを判定する例について説明したが、日射センサ等の光を検出する光センサでその判定を行ってもよい。
【００７８】
次いで、近赤外ＬＥＤ発光制御部２８によって、Ｓ１５１で判定された明るさの偏りに応じた投光パターンが決定される（Ｓ１５２）。具体的には、投光パターンとして、例えば、表示部１１の表示面１１０を左右に２等分したときの左側の領域（図２の領域１１０ａ＋領域１１０ｂ）からの投光量と右側の領域（図２の領域１１０ｃ＋領域１１０ｄ）からの投光量との比が算出される（Ｓ１５２）。換言すると、全体の投光量に対する左側の領域１１０ａ、１１０ｂからの投光量の割合Ｒ１及び右側の領域１１０ｃ、１１０ｄからの投光量の割合Ｒ２が算出される（Ｓ１５２）。
【００７９】
それら割合Ｒ１、Ｒ２として、具体的には、先のＳ１５１で明るさに偏りが生じていないと判定された場合には（Ｃ１：Ｃ２＝１：１）、左の割合Ｒ１＝５０％、右の割合Ｒ２＝５０％が算出される（Ｓ１５２）。つまり、均等分布の投光パターンが決定される（Ｓ１５２）。これに対して、先のＳ１５１で明るさに偏りが生じていると判定された場合には、先のＳ１５１で算出された画素値Ｃ１、Ｃ２の割合Ｄ１、Ｄ２が小さいほど大きい割合Ｒ１、Ｒ２（逆に言うと、割合Ｄ１、Ｄ２が大きいほど小さい割合Ｒ１、Ｒ２）が算出される（Ｓ１５２）。このように、Ｓ１５２では、投光領域内で相対的に暗い領域に投光する表示部１１（表示面１１０）の領域ほど相対的に投光量が多くなるように投光パターンが決定される（Ｓ１５２）。Ｓ１５２の処理の後、図８のフローチャートの処理が終了されて、図７のフローチャートの処理に戻る。
【００８０】
図７において、次いで、描画制御部１３が表示部１１のメータ表示領域１１０ｂ、１１０ｃ（図２参照）に描画しようとする標準画像（メータ画像やナイトビューカメラによる撮影画像等）による近赤外光の投光量が、先のＳ１４で算出された目標投光量を満足するか否かが描画制御部１３によって判断される（Ｓ１６）。具体的には、先ず描画しようとする標準画像中にどの程度の赤系画像（赤色の光で生成される画像）が含まれているかに基づいて、その標準画像による近赤外光の投光量が算出される（Ｓ１６）。そして、その近赤外光の投光量と目標投光量とが比較される（Ｓ１６）。
【００８１】
標準画像（表示コンテンツ）による投光量が目標投光量を満足する場合には（Ｓ１６：Ｙｅｓ）、Ｓ１１の処理に戻る。この場合には、今回の投光条件が維持されて、次の撮像が行われる（Ｓ１１）。これに対して、標準画像（表示コンテンツ）による投光量が目標投光量を満足しない場合には（Ｓ１６：Ｎｏ）、Ｓ１７の処理に進む。Ｓ１７では、標準画像の描画を保持しつつ目標投光量を満足するように、表示部１１（表示面１１０）の左右端の領域１１０ａ、１１０ｄ（背景領域）の背景色が描画制御部１３によって決定される（Ｓ１７）。具体的には、先ず、目標投光量と標準画像による投光量の差（不足投光量）が算出される（Ｓ１７）。次いで、その不足投光量のうち、各領域１１０ａ、１１０ｄに割り当てられる投光量が、先のＳ１５で決定された投光パターン（割合Ｒ１、Ｒ２）にしたがって算出される（Ｓ１７）。具体的には、左の領域１１０ａには「不足投光量×Ｒ１」が、右端の領域１１０ｄには「不足投光量×Ｒ２」が割り当てられる。次いで、各領域１１０ａ、１１０ｄごとに、割り当てられた不足投光量に応じた背景色が決定される（Ｓ１７）。具体的には、不足投光量と背景色との関係が予めメモリに記憶されており、その関係にしたがって今回の不足投光量に対応する背景色が決定される（Ｓ１７）。出射される近赤外光が増加するほど表示部１１から出射される赤色の光が増加するので、Ｓ１７では、不足投光量が大きいほど赤色の純度が高くなる背景色が決定されることになる。
【００８２】
次いで、前回に背景色の色合いが変化されてからの経過時間ｔが所定の閾値Ｔｔｈ以上か否かが描画制御部１３によって判断される（Ｓ１８）。その経過時間ｔは、後述するＳ２２による計測時間が使用される。また、閾値Ｔｔｈは例えば数秒に設定されている。経過時間ｔが閾値Ｔｔｈ未満の場合には（Ｓ１８：Ｎｏ）、Ｓ１１の処理に戻る。この場合には、背景色を変化させないで、現在の背景色が維持されて、次の撮像が行われる（Ｓ１１）。このようにしているのは、撮像する毎に背景色が変化するのは、ドライバの注意散漫に繋がるためである。
【００８３】
その後、経過時間ｔが閾値Ｔｔｈ以上となった場合には（Ｓ１８：Ｙｅｓ）、Ｓ１９の処理に進む。Ｓ１９では、Ｓ１７で決定された背景色にするまでの背景色の色合いの変化量が所定の閾値Ｐｔｈ以上か否かが描画制御部１３によって判断される（Ｓ１９）。具体的には、先ず、現在の背景色の色合いと目標の背景色（Ｓ１７で決定された背景色）の色合いの差（色合いの変化量）が算出される（Ｓ１９）。そして、その色合いの差と閾値Ｐｔｈとが比較される（Ｓ１９）。色合いの変化量が閾値Ｐｔｈ未満の場合には（Ｓ１９：Ｎｏ）、表示部１１の左右端の領域１１０ａ、１１０ｄの背景色が、Ｓ１７で決定された値（背景色）に変化される（Ｓ２０）。これに対して、色合いの変化量が閾値Ｐｔｈ以上の場合には（Ｓ１９：Ｙｅｓ）、表示部１１の左右端の領域１１０ａ、１１０ｄの背景色が、Ｓ１９の閾値Ｐｔｈ分の色合いだけ変化される（Ｓ２１）。つまり、今回のＳ２１では、Ｓ１７で決定された値（背景色）まで一気に変化されないことになる。この場合、次回以降の処理で、最終的にＳ１７で決定された値（背景色）とされる。このように、目標の背景色の色合いまで徐々に色合いが変化されることになるので、急激に背景色が変化されるのを防止でき、表示部１１の表示を違和感の無いようにできる。
【００８４】
ここで、図９は、Ｓ２０又はＳ２１による表示部１１の表示面１１０の描画状態を例示した図である。具体的には、図９（ａ）は、昼間など周囲が明るいときの状態を示した図であり、図９（ｂ）は、夜間など周囲が暗いときの状態を示した図であり、図９（ｃ）は、夕方における西日の場合など環境光によって周囲の明るさに偏りが生じているときの状態を示した図である。なお、図９では、左右端の領域１１０ａ、１１０ｄの色の濃さによって、背景色（赤系画像）の色の濃さを表している。また、図９では、メータ表示領域１１０ｂ、１１ｃには、図２と同じ標準画像３１〜３８が描画されている例を示している。
【００８５】
図９（ａ）、図９（ｂ）に示すように、周囲の明るさに偏りが生じていない場合には、左右端の領域１１０ａ、１１０ｄには、それぞれ同じ色合いの背景色画像が描画される。つまり、図９（ａ）における背景色画像５１、５２は互いに同じとされ、図９（ｂ）における背景色画像５３、５４は互いに同じとされる。これによって、標準画像３１〜３８及び背景色画像５１〜５４による近赤外光の投光量を、表示面１１０の左側の領域（領域１１０ａ＋領域１１０ｂ）と右側の領域（領域１１０ｃ＋領域１１０ｄ）とで同程度とすることができる。よって、ドライバの顔に均一に近赤外光を投光できる。
【００８６】
一方、図９（ａ）と図９（ｂ）を比較すると、周囲が明るい図９（ａ）の背景色画像５１、５２のほうが、周囲が暗い図９（ｂ）の背景色画像５３、５４よりも濃い色合いの画像とされている。すなわち、周囲が明るいほど、表示部１１から出射される近赤外光の投光量が多くされている。これによって、外乱とされる環境光による影響を抑制できる。なお、図９（ａ）、図９（ｂ）は、先に説明したＳ１５で、明るさに偏りが生じていないと判定された場合に対応している。
【００８７】
また、図９（ｃ）に示すように、周囲の明るさに偏りが生じている場合には、左端の領域１１０ａの背景色画像５５と右端の領域１１０ｄの背景色画像５６とは、互いに異なる色合いの画像とされている。なお、図９（ｃ）の例では、左端の領域１１０ａの背景色画像５５のほうが右端の領域１１０ｄの背景色画像５６よりも濃い色合いの画像とされている。つまり、図９（ｃ）の例では、左端の領域１１０ａから出射される投光量のほうが、右端の領域１１０ｄから出射される投光量よりも多くされている。これは、右端の領域１１０ｄ側から環境光（太陽光）が射し込んだ状態を想定し、それによる明るさの偏りを考慮したものである。これによって、環境光が特定の方向から射し込んだ場合であっても近赤外光を均一に投光できる。なお、図９（ｃ）の場合は、先に説明したＳ１５で、明るさに偏りが生じていると判定された場合に対応している。
【００８８】
図７の説明に戻り、Ｓ２０又はＳ２１の処理の後、今回の背景色の変化からの経過時間ｔの計測が開始される（Ｓ２２）。なお、その計測は、例えば描画制御部１３によって行われる。この場合、描画制御部１３はタイマ（図示外）を備えている。その後、Ｓ１１の処理に戻って、変化後の背景色で、すなわち目標投光量の近赤外光がバランス良く投光された状態で次の撮像が行われる（Ｓ１１）。
【００８９】
以上説明したように、本実施形態では、目標投光量に応じて背景色の色合いが調整されるので、目標投光量の近赤外光をドライバの顔に投光できる。また、環境光によって明るさに偏りが生じていない場合には、表示部１１から均一に近赤外光が出射されるので、ドライバの顔に近赤外光を均一に投光できる。また、環境光によって明るさに偏りが生じている場合には、その偏りに応じて近赤外光の出射バランスが変化されるので、その偏りの影響を抑制できる。また、液晶表示装置１０には通常の標準画像（メータ画像等）が表示されているので、ドライバは、通常どおりに車速やエンジン回転数などの情報を把握できる。
【００９０】
なお、本発明の投光システム及び顔撮影システムは上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々の変形をすることができる。例えば、上記実施形態では、画像を描画するためのＲＧＢの光源と近赤外光の光源とを同じ場所に設けられた例について説明したが、図１０に示すように、近赤外光の光源７０をＲＧＢの光源７１と別の場所に設け、メータ６０のメータガラス６２に反射させて近赤外光を投光してもよい。具体的には、近赤外光の光源７０を水平設置されたメータ６０のフード６１に設ける。メータガラス６２は、近赤外光の光源７０に対して斜めに設けられており、ハーフミラーとされている。なお、メータ画像等の画像を描画するためのＲＧＢの光源７１は、通常どおりにメータガラス６２の内側に設けられている。近赤外光の光源７０からの光Ｌ４は、ハーフミラーのメータガラス６２に向かって進行し、そのメータガラス６２に反射される。その反射光Ｌ５がドライバの顔に投光される。なお、ＲＧＢの光源７１からの光Ｌ６は、画像を示した画像光として、ハーフミラーのメータガラス６２を透過することになる。これによって、表示装置で表示する画像の内容に関わらず、近赤外光の投光量を調整しやすくできる。また、上記実施形態と同様に、表示装置の表示面（メータガラス６２）から近赤外光を投光できるので、ドライバの顔に均一に近赤外光を投光できる。
【００９１】
また、上記実施形態では、表示部１１の表示面１１０を左右に四分割した例について説明したが、表示面１１０をどのように分割してもよい。表示面１１０の分割数を多くすれば、より細かく、近赤外光の投光を制御できる。また、上記実施形態では、表示面１１０の真ん中の二つの領域１１０ｂ、１１０ｃにメータ画像等の標準画像が描画される例について説明したが、標準画像は、左右端の領域１１０ａ、１１０ｄに描画されたとしてもよい。また、標準画像が描画される領域と補助画像（背景色画像）が描画される領域とは、明確に区分されていなくてもよく、同じ領域にそれら標準画像、補助画像を混在させて描画してもよい。
【００９２】
また、上記実施形態では、不足投光量に相当する補助画像として背景色画像の例について説明したが、他の画像で不足投光量を補ってもよい。他の画像としては、例えば、丸、三角、四角等の簡単な図形画像、イラスト画像、メッセージ画像が挙げられる。また、上記実施形態では、液晶表示装置に本発明を適用した例について説明したが、光源を有する他の表示装置（プラズマディスプレイなど）に本発明を適用してもよい。なお、プラズマディスプレイに本発明を適用する場合、近赤外光が発光されるようにプラズマの生成（放電）を制御する必要がある。また、上記実施形態では、メータ画像を表示する表示装置に本発明を適用した例について説明したが、例えば運転席と助手席の間のコントロールパネルに設けられたナビ画面を表示する表示装置に本発明を適用してもよい。また、入退室管理に使う顔認証システムやＴＶ電話、ＴＶドアホン、パーソナルコンピュータ等のようなカメラと照明及び表示器が一体化された製品にも適用可能である。
【００９３】
また、上記実施形態では、近赤外光も通過できる赤色カラーフィルタ１１６ａを採用し、その赤色カラーフィルタ１１６ａを介して近赤外光を表示部１１から出射させていたが、ＲＧＢのカラーフィルタとは別に、近赤外光を通過する専用の近赤外光フィルタを設けてもよい。この場合、具体的には、カラーフィルタ基板１１４（図３参照）に近赤外光フィルタを画素ごとに形成する。これによって、描画する画像の内容にかかわらず、近赤外光を表示部１１から出射させやすくできる。ただし、この場合には、近赤外光フィルタによってＲＧＢのカラーフィルタの占有面積が減少して、描画されるカラー画像の色純度が多少犠牲にされる。
【００９４】
また、上記実施形態では、赤色カラーフィルタ１１６ａを介して近赤外光を投光していたが、緑色カラーフィルタ１１６ｂや青色カラーフィルタ１１６ｃから近赤外光を投光しても良い。この場合には、それらカラーフィルタ１１６ｂ、１１６ｃを近赤外光も通過できるように構成する必要がある。また、緑色カラーフィルタ１１６ｂから近赤外光を投光する場合には、同時に緑色の光を通過されるので、表示部１１には緑色の光を含む光で生成される画像が描画されることになる。同様に、青色カラーフィルタ１１６ｃから近赤外光を投光する場合には、青色の光を含む光で生成される画像が表示部１１に描画されることになる。
【００９５】
また、上記実施形態では、メータ全面に液晶表示装置を用いた例について説明したが、従来型のメータ（表示面にメータ枠や目盛が印刷され、そのメータ枠の内側に指針が配置されたメータ）の一部に小型の液晶表示装置を設け、その小型の液晶表示装置から近赤外光を投光しても良い。また、上記実施形態では、ＲＧＢの各色が混色されたカラー画像を描画する液晶表示装置を用いた例について説明したが、単色（例えば、オレンジ単色、白色単色など）の画像を描画する液晶表示装置にも適用することができる。この場合には、液晶表示装置の表示部の各画素には単色のフィルタが配設されることになるので、そのフィルタを近赤外光も通過できるように構成する必要がある。これによって、単色の画像を描画しつつ、その画像を構成する各画素から近赤外光を投光できる。
【００９６】
また、上記実施形態では、表示部に描画する標準画像や背景色画像（補助画像）を制御することで近赤外光の投光量を調整していたが、光源ユニットから発光される近赤外光のパワーを制御することで、近赤外光の投光量を調整しても良い。例えば近赤外光のパワーを大きくすれば、表示部に描画する画像が同一であってもフィルタを通過する近赤外光の光量を増加させることができる。よって、簡易に目標投光量の近赤外光を投光できる。なおこの場合、図１の描画制御部１３が光源ユニット１２（近赤外ＬＥＤ１２１ｄ）のパワーを直接制御し、又は近赤外ＬＥＤ発光制御部２８が光源ユニット１２（近赤外ＬＥＤ１２１ｄ）のパワーを制御する。この場合、描画制御部１３又は近赤外ＬＥＤ発光制御部２８が本発明の「光源パワー制御手段」に相当する。
【００９７】
また、上記実施形態では、背景色画像の色合いを調整することで不足投光量を補っていたが、背景色画像の色合いの調整と同時に、又はその調整に代えて、標準画像（メータ画像など）の色合いを調整して不足投光量を補っても良い。この場合には、標準画像としての機能が損なわれない色調整可能範囲内で、標準画像の色合いを調整する。これによって、より一層、目標投光量の近赤外光を投光しやすくできる。
【００９８】
また、表示装置本来のＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）機能として、ユーザのイライラを落ち着かせたり漫然状態から脱するように表示装置の表示部全体を寒色系や暖色系に変化させる要求が出ることがある。この場合には、近赤外光の目標投光量と相反する場合があるが、描画制御部１３が両方の要求を調停して、変化させる寒色系や暖色系の色合いを決定する。具体的には、例えば、目標投光量と寒色系の色合いとの対応関係又は目標投光量と暖色系の色合いとの対応関係を予めメモリに記憶しておく。そして、今回の目標投光量に対応する色合いをメモリに記憶された対応関係から決定する。そして、描画制御部１３は、決定された色合いの寒色系又は暖色系に変化させる。
【００９９】
なお、上記実施形態において、描画制御部１３が本発明の「描画制御手段」に相当する。図７のＳ１４の処理を実行する撮像／投光条件設定部２７及び近赤外ＬＥＤ発光制御部２８が本発明の「投光量設定手段」及び「第一の環境光判断手段」に相当する。図７のＳ１６の処理を実行する描画制御部１３が本発明の「投光量判断手段」に相当する。図７のＳ２２の処理を実行する描画制御部１３が本発明の「計時手段」に相当する。図７のＳ１８の処理を実行する描画制御部１３が本発明の「経過時間判断手段」に相当する。図７のＳ１５の処理を実行する撮像／投光条件設定部２７及び近赤外ＬＥＤ発光制御部２８が本発明の「投光パターン決定手段」に相当する。図８のＳ１５１の処理を実行する撮像／投光条件設定部２７が本発明の「第二の環境光判断手段」に相当する。撮像部２１が本発明の「撮影手段」に相当する。
【符号の説明】
【０１００】
１ ドライバモニタシステム（投光システム、顔撮影システム）
１０ 液晶表示装置
１１ 表示部
１１６ カラーフィルタ
１１６ａ 赤色カラーフィルタ
１１６ｂ 緑色カラーフィルタ
１１６ｃ 青色カラーフィルタ
１２ 光源ユニット
１２１ 光源部
１２１ａ 赤色ＬＥＤ
１２１ｂ 緑色ＬＥＤ
１２１ｃ 青色ＬＥＤ
１２１ｄ 近赤外ＬＥＤ
１２２ 導光板
１３ 描画制御部
１４ 表示コンテンツ制御部
１５ 明るさ調整部
２１ 撮像部
２２ カメラ制御部
２３ 画像処理部
２４ 状態推定部
２５ アクチュエーション制御部
２６ 注意喚起／警報手段
２７ 撮像／投光条件設定部
２８ 近赤外ＬＥＤ発光制御部
３１〜３８ 標準画像
５１〜５６ 背景色画像（補助画像）
【特許請求の範囲】
【請求項１】
ユーザの顔が位置する領域の前方に設けられ、パネル状の表示部とその表示部に光を入射する光源ユニットとその光源ユニットからの光のうち前記表示部から出射させる出射光を制御することで前記表示部に前記出射光に応じた画像を描画する描画制御手段とを含む表示装置を備えた、前記ユーザの顔に近赤外光を投光する投光システムであって、
前記光源ユニットは、近赤外光を発光するものとして構成され、
前記描画制御手段は、前記表示部に画像を描画しつつ、近赤外光を前記表示部から出射させることを特徴とする投光システム。
【請求項２】
前記表示部には所定の波長の光を通過させるフィルタが画素ごとに配設されており、
前記フィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記所定の波長の光に応じた色の画像を描画しつつ、その画像を構成する画素から近赤外光を出射させることを特徴とする請求項１に記載の投光システム。
【請求項３】
前記フィルタはＲＧＢのカラーフィルタであり、そのＲＧＢのカラーフィルタのうちの少なくとも１種以上のカラーフィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、近赤外光を通過させる前記カラーフィルタを介してそのカラーフィルタで定まる色の可視光を出射させつつ近赤外光を出射させることを特徴とする請求項２に記載の投光システム。
【請求項４】
前記フィルタは、ＲＧＢのカラーフィルタ及び近赤外光を通過させる近赤外光フィルタであり、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、前記近赤外光フィルタを介して近赤外光を出射させることを特徴とする請求項２に記載の投光システム。
【請求項５】
前記光源ユニットは、画像描画用の可視光を発光する可視光光源と近赤外光を発光する近赤外光源とを含むことを特徴とする請求項１〜４のいずれか１項に記載の投光システム。
【請求項６】
前記ユーザの顔に照射する近赤外光の目標投光量を設定する投光量設定手段を備え、
前記描画制御手段は、前記投光量設定手段が設定した前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする請求項１〜５のいずれか１項に記載の投光システム。
【請求項７】
前記表示装置は液晶表示装置であり、
前記描画制御手段は、前記液晶表示装置における液晶の向きを制御することで前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする請求項６に記載の投光システム。
【請求項８】
前記目標投光量の近赤外光が前記表示部から出射されるように、前記光源ユニットから発光される近赤外光のパワーを制御する光源パワー制御手段を備えることを特徴とする請求項６又は７に記載の投光システム。
【請求項９】
前記投光量設定手段は、環境光による周囲の明るさを判断する第一の環境光判断手段を含み、その第一の環境光判断手段が判断した前記環境光の明るさが明るいほど大きい前記目標投光量を設定することを特徴とする請求項６〜８のいずれか１項に記載の投光システム。
【請求項１０】
前記表示装置は、前記表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されており、
各時点における前記描画制御手段が前記表示部に描画すべき画像である標準画像が定められており、
現時点における前記標準画像による近赤外光の投光量が、前記目標投光量を満足するか否かを判断する投光量判断手段を備え、
前記描画制御手段は、前記投光量判断手段が前記目標投光量を満足しないと判断した場合には、前記標準画像に加えて、前記目標投光量に不足分の近赤外光の投光量である不足投光量に相当する補助画像を前記表示部に描画することを特徴とする請求項６〜９のいずれか１項に記載の投光システム。
【請求項１１】
前記表示装置は、前記表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されており、
前記描画制御手段は、前記補助画像として、前記標準画像が描画される領域以外の背景領域に背景色の画像である背景色画像を描画するものであり、前記不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いの前記背景色画像を描画することを特徴とする請求項１０に記載の投光システム。
【請求項１２】
前記描画制御手段は、前記背景色画像の色合いを変化させるときには、目標の色合いまで徐々に色合いを変化させることを特徴とする請求項１１に記載の投光システム。
【請求項１３】
前記背景色画像の色合いが変化されてからの経過時間を計測する計時手段と、
前記計時手段が計測した経過時間が所定時間以上か否かを判断する経過時間判断手段と、を備え、
前記描画制御手段は、前記経過時間判断手段によって前記経過時間が前記所定時間以上と判断されるまでは、前記背景色画像の色合いを変化させないことを特徴とする請求項１１又は１２に記載の投光システム。
【請求項１４】
前記表示部中の各領域間における近赤外光の出射分布を示した投光パターンを決定するものであって、前記表示部中の予め定められた複数の領域間で均等分布となる前記投光パターンを決定する投光パターン決定手段を備え、
前記描画制御手段は、前記投光パターン決定手段が決定した前記投光パターンにしたがって近赤外光を前記表示部から出射させることを特徴とする請求項１〜１３のいずれか１項に記載の投光システム。
【請求項１５】
前記投光パターン決定手段は、前記表示装置から近赤外光が投光される領域である投光領域内の環境光による明るさの偏りを判断する第二の環境光判断手段を含み、その第二の環境光判断手段が前記明るさの偏りがあると判断した場合には、前記均等分布となる投光パターンに代えて、前記投光領域内で相対的に暗い領域ほど、出射させる近赤外光の光量が多くなるように投光パターンを決定することを特徴とする請求項１４に記載の投光システム。
【請求項１６】
前記表示装置は、車両の運転席前方に設けられた、前記車両に関する計測値を表示するメータ画像を表示する表示装置であることを特徴とする請求項１〜１５のいずれか１項に記載の投光システム。
【請求項１７】
請求項１〜１６のいずれか１項に記載の投光システムと、
前記ユーザの顔を含む領域を撮影する撮影手段と、を備えることを特徴とする顔撮影システム。
【請求項１】
ユーザの顔が位置する領域の前方に設けられ、パネル状の表示部とその表示部に光を入射する光源ユニットとその光源ユニットからの光のうち前記表示部から出射させる出射光を制御することで前記表示部に前記出射光に応じた画像を描画する描画制御手段とを含む表示装置を備えた、前記ユーザの顔に近赤外光を投光する投光システムであって、
前記光源ユニットは、近赤外光を発光するものとして構成され、
前記描画制御手段は、前記表示部に画像を描画しつつ、近赤外光を前記表示部から出射させることを特徴とする投光システム。
【請求項２】
前記表示部には所定の波長の光を通過させるフィルタが画素ごとに配設されており、
前記フィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記所定の波長の光に応じた色の画像を描画しつつ、その画像を構成する画素から近赤外光を出射させることを特徴とする請求項１に記載の投光システム。
【請求項３】
前記フィルタはＲＧＢのカラーフィルタであり、そのＲＧＢのカラーフィルタのうちの少なくとも１種以上のカラーフィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、近赤外光を通過させる前記カラーフィルタを介してそのカラーフィルタで定まる色の可視光を出射させつつ近赤外光を出射させることを特徴とする請求項２に記載の投光システム。
【請求項４】
前記フィルタは、ＲＧＢのカラーフィルタ及び近赤外光を通過させる近赤外光フィルタであり、
前記描画制御手段は、前記ＲＧＢのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、前記近赤外光フィルタを介して近赤外光を出射させることを特徴とする請求項２に記載の投光システム。
【請求項５】
前記光源ユニットは、画像描画用の可視光を発光する可視光光源と近赤外光を発光する近赤外光源とを含むことを特徴とする請求項１〜４のいずれか１項に記載の投光システム。
【請求項６】
前記ユーザの顔に照射する近赤外光の目標投光量を設定する投光量設定手段を備え、
前記描画制御手段は、前記投光量設定手段が設定した前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする請求項１〜５のいずれか１項に記載の投光システム。
【請求項７】
前記表示装置は液晶表示装置であり、
前記描画制御手段は、前記液晶表示装置における液晶の向きを制御することで前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする請求項６に記載の投光システム。
【請求項８】
前記目標投光量の近赤外光が前記表示部から出射されるように、前記光源ユニットから発光される近赤外光のパワーを制御する光源パワー制御手段を備えることを特徴とする請求項６又は７に記載の投光システム。
【請求項９】
前記投光量設定手段は、環境光による周囲の明るさを判断する第一の環境光判断手段を含み、その第一の環境光判断手段が判断した前記環境光の明るさが明るいほど大きい前記目標投光量を設定することを特徴とする請求項６〜８のいずれか１項に記載の投光システム。
【請求項１０】
前記表示装置は、前記表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されており、
各時点における前記描画制御手段が前記表示部に描画すべき画像である標準画像が定められており、
現時点における前記標準画像による近赤外光の投光量が、前記目標投光量を満足するか否かを判断する投光量判断手段を備え、
前記描画制御手段は、前記投光量判断手段が前記目標投光量を満足しないと判断した場合には、前記標準画像に加えて、前記目標投光量に不足分の近赤外光の投光量である不足投光量に相当する補助画像を前記表示部に描画することを特徴とする請求項６〜９のいずれか１項に記載の投光システム。
【請求項１１】
前記表示装置は、前記表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されており、
前記描画制御手段は、前記補助画像として、前記標準画像が描画される領域以外の背景領域に背景色の画像である背景色画像を描画するものであり、前記不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いの前記背景色画像を描画することを特徴とする請求項１０に記載の投光システム。
【請求項１２】
前記描画制御手段は、前記背景色画像の色合いを変化させるときには、目標の色合いまで徐々に色合いを変化させることを特徴とする請求項１１に記載の投光システム。
【請求項１３】
前記背景色画像の色合いが変化されてからの経過時間を計測する計時手段と、
前記計時手段が計測した経過時間が所定時間以上か否かを判断する経過時間判断手段と、を備え、
前記描画制御手段は、前記経過時間判断手段によって前記経過時間が前記所定時間以上と判断されるまでは、前記背景色画像の色合いを変化させないことを特徴とする請求項１１又は１２に記載の投光システム。
【請求項１４】
前記表示部中の各領域間における近赤外光の出射分布を示した投光パターンを決定するものであって、前記表示部中の予め定められた複数の領域間で均等分布となる前記投光パターンを決定する投光パターン決定手段を備え、
前記描画制御手段は、前記投光パターン決定手段が決定した前記投光パターンにしたがって近赤外光を前記表示部から出射させることを特徴とする請求項１〜１３のいずれか１項に記載の投光システム。
【請求項１５】
前記投光パターン決定手段は、前記表示装置から近赤外光が投光される領域である投光領域内の環境光による明るさの偏りを判断する第二の環境光判断手段を含み、その第二の環境光判断手段が前記明るさの偏りがあると判断した場合には、前記均等分布となる投光パターンに代えて、前記投光領域内で相対的に暗い領域ほど、出射させる近赤外光の光量が多くなるように投光パターンを決定することを特徴とする請求項１４に記載の投光システム。
【請求項１６】
前記表示装置は、車両の運転席前方に設けられた、前記車両に関する計測値を表示するメータ画像を表示する表示装置であることを特徴とする請求項１〜１５のいずれか１項に記載の投光システム。
【請求項１７】
請求項１〜１６のいずれか１項に記載の投光システムと、
前記ユーザの顔を含む領域を撮影する撮影手段と、を備えることを特徴とする顔撮影システム。
【図１】
【図２】
【図４】
【図６】
【図７】
【図８】
【図１０】
【図３】
【図５】
【図９】
【図１１】
【図２】
【図４】
【図６】
【図７】
【図８】
【図１０】
【図３】
【図５】
【図９】
【図１１】
【公開番号】特開２０１２−１６８７４８（Ｐ２０１２−１６８７４８Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２９３３６（Ｐ２０１１−２９３３６）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]