運転者顔状態報知装置
【課題】運転者が車外を確認したか否かを車外の人が良好に認識し得る運転者顔状態報知装置を提供する。
【解決手段】運転者顔状態報知装置は、運転者２の顔を撮影するカメラ１１（撮影手段）と、カメラ１１により撮影された運転者２の顔画像に基づいて該運転者２の顔状態を検出する画像処理部１２（顔状態検出手段）と、画像処理部１２により検出された運転者２の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する制御部１３及び画像変換部１４（報知情報作成手段）と、制御部１３及び画像変換部１４により作成された報知情報を車外の人に向けてリアルタイムに報知するディスプレイ１５及び左右ランプ１６，１７（報知手段）と、を備える。
【解決手段】運転者顔状態報知装置は、運転者２の顔を撮影するカメラ１１（撮影手段）と、カメラ１１により撮影された運転者２の顔画像に基づいて該運転者２の顔状態を検出する画像処理部１２（顔状態検出手段）と、画像処理部１２により検出された運転者２の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する制御部１３及び画像変換部１４（報知情報作成手段）と、制御部１３及び画像変換部１４により作成された報知情報を車外の人に向けてリアルタイムに報知するディスプレイ１５及び左右ランプ１６，１７（報知手段）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者顔状態報知装置に関し、特に運転者の不注意による事故防止を支援する運転者顔状態報知装置に関する。
【背景技術】
【０００２】
運転者がウィンカーの表示や目視確認を怠ることにより、自転車や歩行者を巻き込む事故、高速道路等における車線変更時の衝突事故が発生している。これらの事故の原因は、運転者の不注意に因ることが多いが、運転者の不注意を後方の自動車や自転車、歩行者などの車外の人が認識することができないことも挙げられる。このような問題を解消するため、例えば下記特許文献１に記載されているように、自車両の側方に存在する車外の人に、右左折する車両の運転者がその人を認識しているか否かを通知できる車両用警告装置が知られている。また、運転者の視線を用いて安全性及び快適性を向上させるようにした技術が下記特許文献２に記載され、運転者の仮想画像を用いて車両の運転状況を後で確認できるようにした技術が下記特許文献３に記載されている。
【０００３】
【特許文献１】特開２０１０−１１３６０１号公報
【特許文献２】特開２００７−２６３９３１号公報
【特許文献３】特開２０１０−２１１６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載された車両用警告装置では、左サイドミラーに青ランプ、赤ランプ及び黄ランプが設けられ、運転者の視認確度が高い場合は青ランプを、視認確度が低い場合は赤ランプを、視認確度が中程度の場合は黄ランプをそれぞれ点灯させることにより、運転者が側方を十分に確認したか否かを車外の人が認識可能とされている。しかし、この車両用警告装置では、自車両が右左折することを検出し、かつ、運転者の死角を歩行者が歩行していることを条件として、各ランプが点灯制御される構成とされており、各ランプの点灯による警告条件が制限されていた。また、各ランプが点灯したとしても、車外の人が見落としたり気付かなかったりするおそれが高かった。
【０００５】
本発明は、上記課題に対処するためになされたものであり、その目的は、運転者が車外を確認したか否かを車外の人が良好に認識し得る運転者顔状態報知装置を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００６】
上記目的を達成するため、本発明の運転者顔状態報知装置は、
運転者の顔を撮影する撮影手段と、
撮影手段により撮影された運転者の顔画像に基づいて該運転者の顔状態を検出する顔状態検出手段と、
顔状態検出手段により検出された運転者の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する報知情報作成手段と、
報知情報作成手段により作成された報知情報を車外の人に向けてリアルタイムに報知する報知手段と、
を備えることを特徴とする。
【０００７】
本発明の運転者顔状態報知装置では、報知情報作成手段が、顔状態検出手段により検出された運転者の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する。そして、報知手段が、報知情報作成手段により作成された報知情報を車外の人に向けてリアルタイムに報知する。
【０００８】
この運転者顔状態報知装置では、報知情報作成手段により作成された報知情報が車外の人に向けてリアルタイムに報知される。このため、車外の人が運転者の注意状態をリアルタイムに知ることができるので、車外の人が運転者の不注意やミスに起因した危険を事前に察知することができ、事故を効果的に回避することができる。
【０００９】
報知情報作成手段は、顔状態検出手段により検出された顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像を作成し、かつ、車両の後方又は側方から視認可能に設けられた報知手段としてのディスプレイに仮想顔画像をリアルタイムに表示させるように構成することができる。この場合、報知情報作成手段は、例えば、顔状態検出手段により検出された顔状態としての瞼開度に基づいて仮想顔画像を作成するとき、予め定められた時間当たりの瞼開度の割合に応じて仮想顔画像における目パターンを決定するように構成すると好適である。
【００１０】
これによれば、運転者の顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像が作成され、車両の後方又は側方から視認可能に設けられたディスプレイにリアルタイムに表示される。このため、車外の人が、表示された運転者の仮想顔画像を見落としにくくなり、しかもその仮想顔画像から運転者が左右を確認していないことを直ちに認識できるので、運転者の不注意やミスに因る事故を良好に回避することができる。
【００１１】
また、報知情報作成手段は、顔状態検出手段により検出された顔状態としての顔向きに基づいて運転者の左右方向への目視を判定し、車両の後方又は側方から視認可能に設けられるとともに、左右方向に対応して設けられた報知手段としての左右ランプのうち、左方向への目視を判定した場合は左ランプをリアルタイムに点灯させ、右方向への目視を判定した場合は右ランプをリアルタイムに点灯させるように構成することもできる。この場合、報知情報作成手段は、例えば、顔状態検出手段により検出された顔状態としての顔向きに基づいて運転者の左右方向への目視を判定するとき、正面を基準とした左右方向への顔向き角度に応じて左右方向への目視を判定するように構成すると好適である。
【００１２】
これによれば、運転者の顔状態としての顔向きに基づいて運転者の左右方向への目視が判定され、各方向への目視に対応して車両の後方又は側方から視認可能に設けられた左右ランプのいずれかが点灯される。このため、ディスプレイによる報知に加えて又は代えて、運転者が左右を確認していないことを直ちに認識できるので、運転者の不注意やミスに因る事故をより一層良好に回避することができる。
【図面の簡単な説明】
【００１３】
【図１】（Ａ）は本発明に係る運転者顔状態報知装置を、車両の側面模式図及びブロック図と共に示す構成図。（Ｂ）はカメラの撮影画角を平面視で示す説明図。
【図２】図１に示したカメラの正面図。
【図３】実施例１の作動の流れを示す第１制御プログラムを示すフローチャート。
【図４】図３の第１制御プログラムにおける顔向き及び瞼開度検出処理のサブルーチンを示すフローチャート。
【図５】実施例１の作動の流れを示す第２制御プログラムを示すフローチャート。
【図６】図５の第２制御プログラムにおける顔向き検出処理のサブルーチンを示すフローチャート。
【図７】図４の各ステップにおける撮影画像等に対する処理を示す説明図。
【図８】図３のステップＳ１３，Ｓ１７において、瞼開度を決定する場合の仕様を示す説明図。
【図９】図５のステップＳ３３において、顔向きを決定する場合の仕様を示す説明図。
【図１０】（Ａ）〜（Ｄ）はそれぞれ運転者の顔を仮想化した仮想顔画像の一例を示す説明図。
【図１１】（Ａ）〜（Ｄ）はそれぞれ報知態様を示す説明図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて説明する。
【実施例１】
【００１５】
図１（Ａ）は本発明に係る運転者顔状態報知装置を、車両１の側面模式図及びブロック図と共に示す構成図であり、図１（Ｂ）はカメラ１１の撮影画角を平面視で示す説明図である。運転者顔状態報知装置は、運転者２の顔向き、瞼開度などの顔状態を検出し、その顔状態を車外の人に知らせる機能を有するものであり、カメラ１１、画像処理部１２、制御部１３、画像変換部１４、ディスプレイ１５及び左右ランプ１６，１７を含んで構成されている。
【００１６】
カメラ１１は、運転者２の顔を撮影するものであり、運転席３前方のダッシュボード４上（あるいはステアリングコラム上）に取り付けられている。カメラ１１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備え、レンズ１１ａによって結像された運転者２の顔の像をその撮像素子によって画像データに変換する。カメラ１１の撮影画角は、上下方向の撮影画角がθ１に設定され（図１（Ａ）参照）、左右方向の撮影画角がθ２に設定されており（図１（Ｂ）参照）、運転者２の顔が撮影画角θ１及びθ２で定められる撮影範囲内に収まるようになっている。
【００１７】
また、カメラ１１は、図２に示すように、運転者の顔に近赤外光を照射する近赤外ＬＥＤ１１ｂ、及び外部からの光のうち可視光を遮断する可視光カットフィルタ（図示省略）を備えている。これにより、夜などの周囲が暗い場合でもカメラ１１によって運転者２の顔が撮影可能とされている。カメラ１１が本発明の撮影手段に相当する。
【００１８】
画像処理部１２は、ＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部（Ｉ／Ｏ）等を主要部品としたマイクロコンピュータで構成され、カメラ１１によって撮影された画像の解析を行う。具体的には、画像処理部１２は、カメラ１１からの画像データに例えば２値化処理を施し、所望の画像部分（特徴点）を抽出する。これら２値化処理や特徴点抽出処理などを行うことによって運転者２の顔画像を抽出し、抽出された顔画像に基づいて運転者２の顔向き及び瞼開度を顔状態として検出する。画像処理部１２が本発明の顔状態検出手段に相当する。
【００１９】
制御部１３は、ＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部（Ｉ／Ｏ）等を主要部品としたマイクロコンピュータで構成され、画像処理部１２が検出した顔状態に基づいて運転者２の目パターンを決定し、決定した目パターンに基づいて画像変換部１４に仮想顔画像を作成させ、作成された仮想顔画像をディスプレイ１５に表示させる。また、制御部１３は、画像処理部１２が検出した顔向きに基づいて運転者２の左右方向への目視を判定し、その判定結果に基づいて左右ランプ１６を点灯させる。
【００２０】
画像変換部１４は、ＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部（Ｉ／Ｏ）等を主要部品としたマイクロコンピュータで構成され、画像処理部１２が検出した顔状態に対応する仮想顔画像２ｆ（図１０参照）を作成可能な周知の画像変換回路を備えている。具体的には、画像変換部１４のＲＯＭには、顔向き及び瞼開度を主とした顔の表情を表現するための複数の仮想顔情報（モデル化のための情報、アバタ情報）が記憶されている。そして、画像変換部１４は、その仮想顔情報を基に画像処理部１２により検出された顔向き、及び制御部１３により決定された目パターンに対応した仮想顔画像２ｆをリアルタイムに作成する（読み出す）。このように運転者２の顔状態を仮想化（モデル化）することにより、車外の人にとって運転者２の顔状態が分りやすくなり、瞬時に把握できるようになる。制御部１３及び画像変換部１４が本発明の報知情報作成手段に相当する。
【００２１】
ディスプレイ１５は、例えば液晶表示器、有機ＥＬ表示器、プラズマ表示器などで構成され、車外の人が車両１の後方又は側方から視認できるように車両１の後方部１ａに設けられている（図１１参照）。ディスプレイ１５は、イグニッションスイッチのオンにより駆動状態となる。なお、車両１が走行状態にあることを条件として、ディスプレイ１５が駆動状態となるように構成してもよい。
【００２２】
左右ランプ１６，１７は、例えばＬＥＤで構成され、車外の人が車両１の後方又は側方から視認できるように左右サイドミラー５，６にそれぞれ設けられている。左右ランプ１６，１７は、イグニッションスイッチのオンにより駆動状態となる。なお、車両１が走行状態にあることを条件として、左右ランプ１６，１７が駆動状態となるように構成してもよい。ディスプレイ１５及び左右ランプ１６，１７が本発明の報知手段に相当する。
【００２３】
次に、上記のように構成された実施例１の作動の流れを図３の第１制御プログラム及び図５の第２制御プログラムに基づいて説明する。最初に、図３の第１制御プログラムについて説明する。なお、図３の第１制御プログラムにおいて、ステップＳ１１，Ｓ１２の処理については画像処理部１２が実行し、ステップＳ１３，Ｓ１４，Ｓ１７〜Ｓ１９の処理については制御部１３が実行し、ステップＳ１５，Ｓ１６の処理については画像変換部１４が実行するようになっている。
【００２４】
画像処理部１２は、カメラ１１から顔画像データを取得し（Ｓ１１）、取得した顔画像の解析を行う（Ｓ１２）。この顔画像の解析では、図４のサブルーチンに示すように、まず撮影画像に含まれる顔領域の位置を大雑把に検出する（Ｓ２１）。図７（Ａ）は、カメラ１１から取得した撮影画像１０１の一例を示した図である。撮影画像１０１は、運転者２の顔に対応する顔領域１１０及びそれ以外の背景領域１０２から構成される。
【００２５】
図７（Ｂ）は、図７（Ａ）の撮影画像１０１の各画素列の位置に対応させた撮影画像１０１の縦の画素列の輝度和のライン１０３を示している。ライン１０３が示すように、一般的に、顔領域１１０の輝度和は、背景領域１０２の輝度和に比べて大きくされている。よって、そのライン１０３の輝度和変化を見ることで、撮影画像１０１に対する顔領域１１０の左右方向の位置を大雑把に把握することができる。ステップ２１では、撮影画像１０１の縦の画素列の輝度和に加えて、横の画素列の輝度和に基づいて、撮影画像１０１に対する顔領域１１０の左右方向及び上下方向の大雑把な位置を検出する。
【００２６】
次いで、撮影画像１０１から、顔を構成する眼や鼻などの顔部品に対応する領域を検出する（Ｓ２２）。図７（Ｃ）は、撮影画像１０１を示しており、その撮影画像１０１の顔領域１１０には、左目に対応する左目領域１１１、右目に対応する右目領域１１２、鼻に対応する鼻領域１１３など、顔部品に対応する領域が含まれている。それら各領域１１１〜１１３は、各部品に応じた画像特徴量（エッジ情報、輝度情報）を有している。そこで、ステップＳ２２では、撮影画像１０１に含まれる各画像特徴量を予め用意された顔部品のテンプレートと比較（マッチング）することで、顔を構成する各部品の領域を検出する。
【００２７】
次いで、ステップＳ２１で検出された顔領域１１０の大雑把な位置とステップＳ２２で検出された各顔部品とに基づいて、最終的な顔領域１１０の位置を検出する（Ｓ２３）。この場合、ステップＳ２１やＳ２２では、顔領域１１０の候補となる複数の領域や顔部品の候補となる複数の領域を検出してしまう可能性があるので、検出した顔部品の並び順（目の下に鼻があり、鼻の下に口があるなど）を考慮して、真の顔部品に絞っていく。また、顔の傾きによって、顔の輪郭や顔部品の形状が変わってくるので、その顔の傾きによる形状変化を考慮して、検出した顔部品に対して適宜補正を加える。
【００２８】
図７（Ｄ）は、ステップＳ２３による検出結果を示しており、具体的には、撮影画像１０１のうちの領域１２０が顔領域として検出されたことを示している。このように、ステップＳ２１〜Ｓ２３の処理を実行することで、実際の顔領域１１０と一致した顔領域１２０を検出することができる。なお、本実施例１では、四角形状の顔領域１２０を検出している。
【００２９】
次いで、撮影画像１０１に含まれる目領域の上下瞼の距離などから、運転者２の瞼開度を検出する（Ｓ２４）。次いで、ステップＳ２１〜Ｓ２３で検出した顔領域１２０に含まれる顔部品の対称性などから、運転者２の顔向き（角度）を検出する（Ｓ２５）。最後に、ステップＳ２４で検出した瞼開度、及びステップＳ２５で検出した顔向きを制御部１３に出力する（Ｓ２６）。制御部１３は、画像処理部１２から顔向き及び瞼開度からなる顔状態情報を取得すると、図３のステップＳ１３以降の処理を実行する。
【００３０】
ステップＳ１３，Ｓ１７は、目が完全に開いている（起きている）場合と、うとうとしている場合（眠そうなとき）と、目が完全に閉じている（寝ているとき）場合とを車外の人に区別して知らせるための瞼開度を判定する処理を示している。この処理では、例えば図８に示すように、瞼開度が２０％の場合（第２しきい値Ｄ２）と、Ｄ２よりも瞼開度の大きい５０％の場合（第１しきい値Ｄ１）との２つのしきい値（眠気しきい値）を用いて、所定のＴ秒間（例えばＴ＝３０）で瞼開度Ｄの占める割合Ｐ％（例えばＰ＝８０）が第２しきい値Ｄ２よりも小さいか、第２しきい値Ｄ２と第１しきい値Ｄ１の間にあるか、第１しきい値Ｄ１よりも大きいかによって瞼開度に応じた目パターンをそれぞれ決定するようにしている。
【００３１】
具体的には、ステップＳ１３及びＳ１７にていずれも「ＮＯ」、すなわち瞼開度が眠気しきい値Ｄ１％を超える（瞼開度＞Ｄ１）割合がＰ％以上であれば運転者が起きていると判定し、仮想顔画像の目パターンを、例えば図１０（Ａ）、１０（Ｂ）に示す目パターン３に設定する（Ｓ１９）。
【００３２】
一方、ステップＳ１３にて「ＮＯ」、かつＳ１７にて「ＹＥＳ」、すなわち瞼開度が眠気しきい値Ｄ２％を超え眠気しきい値Ｄ１％以下となる（Ｄ２＜瞼開度≦Ｄ１）割合がＰ％以上であれば運転者が眠そうと判定し、仮想顔画像の目パターンを、例えば図１０（Ｃ）に示す目パターン２に設定する（Ｓ１８）。
【００３３】
また、ステップＳ１３にて「ＹＥＳ」、すなわち瞼開度が眠気しきい値Ｄ２％以下となる（瞼開度≦Ｄ２）割合がＰ％以上であれば運転者が寝ていると判定し、仮想顔画像の目パターンを、例えば図１０（Ｄ）に示す目パターン１に設定する（Ｓ１７）。顔状態としての瞼開度を実際の顔画像に近い画像で表示することとした場合は、瞼開度の大小を車外の人に分からせるのは極めて困難であると考えられるが、ステップＳ１４，Ｓ１８，Ｓ１９の処理の実行により、瞼開度を目パターン１〜３のいずれかに振り分けて設定することで、車外の人にとって運転者２の瞼開度を極めて分かりやすくすることができる。
【００３４】
画像変換部１４は、画像処理部１２により検出された顔向き、及び制御部１３により決定された目パターンに対応して仮想顔画像（モデル）２ｆをリアルタイムに作成し（Ｓ１５）、作成された画像を順次更新する（Ｓ１６）。作成された仮想顔画像２ｆは、例えば図１０に示すように、顔向き及び瞼開度が主となって顔の表情を表現するものである。制御部１３は、作成された仮想顔画像２ｆをリアルタイムにディスプレイ１５に表示させる。
【００３５】
次に、図５の第２制御プログラムについて説明する。なお、図５の第２制御プログラムにおいて、ステップＳ３１，Ｓ３２の処理については画像処理部１２が実行し、ステップＳ３３〜Ｓ３６の処理については制御部１３が実行するようになっている。ステップＳ３１，Ｓ３２の処理は、図３のステップＳ１１，Ｓ１２の処理と同様である。ただし、ステップＳ３２ではステップＳ１２とは異なり、顔向き情報のみが取得されるように構成されている。これに対応して、ステップＳ３２の処理で実行される図６のサブルーチンでは、図４に示したサブルーチンからステップＳ２４（瞼開度検出処理）が省略されている。図６のサブルーチンについては、図４に示したサブルーチンと対応する処理に同一の符号を付して説明を省略する。
【００３６】
制御部１３は、画像処理部１２から顔向き情報を取得すると、図５のステップＳ３３以降の処理を実行する。ステップＳ３３は、運転者２の顔向きが正面の場合と、左方向の場合と、右方向の場合とを車外の人に区別して知らせるための顔向き度を判定する処理を示している。この処理では、例えば図９に示すように、顔向きが正面の場合を０°とし、右方向の場合を正、左方向の場合を負として、さらに右方向と左方向とでそれぞれしきい値を用いて、顔向き（角度）が右しきい値（Ｔ１、例えば２０°）よりも大きいか、左しきい値（Ｔ２、例えば−２０°）よりも小さいかによって右又は左方向へ目視したか否かを判定するようにしている。
【００３７】
具体的には、ステップＳ３３にてＴ２＜顔向き＜Ｔ１であれば顔向きが正面であるとみなし、制御部１３は左右ランプ１６，１７を点灯状態から消灯状態へ、あるいは消灯状態に維持する（Ｓ３５）。一方、ステップＳ３３にてＴ１＜顔向きであれば顔向きが右方向であるとみなし、制御部１３は右ランプ１７を消灯状態から点灯状態へ、あるいは点灯状態に維持する（Ｓ３４）。また、ステップＳ３３にて顔向き＜Ｔ２であれば顔向きが左方向であるとみなし、制御部１３は左ランプ１６を消灯状態から点灯状態へ、あるいは点灯状態に維持する（Ｓ３６）。左右ランプ１６，１７を点灯させるか否かを各しきい値を用いて判定するように構成することで、点灯制御プログラムの内容を簡素化することができる。
【００３８】
図３の第１制御プログラム及び図５の第２制御プログラムの実行により、運転者２の顔状態に応じて、車外の人は例えば図１１に示すようなディスプレイ１５による仮想顔画像２ｆ、左右ランプ１６，１７による点灯状態を視認することができる。具体的には、運転者が居眠りをすることなく正面を向いていればディスプレイ１５には正面を向いた仮想顔画像２ｆが表示される。このとき、左右ランプ１６，１７は消灯状態とされている（図１１（Ａ））。
【００３９】
交差点での左折時等において、運転者が左後方を目視により確認すればディスプレイ１５には左方向を向いた仮想顔画像２ｆが表示される。このとき、左ランプ１６が点灯状態とされる（図１１（Ｂ））。また、走行車線から追越車線への車線変更時等において、運転者が右後方を目視により確認すればディスプレイ１５には右方向を向いた仮想顔画像２ｆが表示される。このとき、右ランプ１７が点灯状態とされる（図１１（Ｃ））。
【００４０】
一方、運転者が眠そうにしていればディスプレイ１５には眠そうな仮想顔画像２ｆが表示される。このとき、左右ランプ１６，１７は消灯状態とされている（図１１（Ｄ））。図１１に示した各報知態様により、例えば交差点の手前において、車両１の左ウインカーが点滅状態とされている場合に、ディスプレイ１５において運転者２の顔向きが左方向へ全く動かなければ、車両１の左後方にいる自転車、歩行者などは、車両１に巻き込まれるおそれがあると予測することができ、車両１に対して十分な注意を払うことができる。
【００４１】
また、例えば車両１が高速道路の走行車線を走行している場合において、車両１の右ウインカーが消灯状態とされている場合に、ディスプレイ１５において運転者２の顔向きが右方向を繰り返し見ていれば、追越車線を走行している後続車両は、車両１が追越車線側へ車線変更する可能性が高いと予測することができ、車両１に対して十分な注意を払うことができる。また、車両１が蛇行運転をしている場合に、ディスプレイ１５を見ればそれが運転者の未熟に因るせいなのか、眠くてふらふら走っているのかが分かり、後続車両に注意を促すことができる。
【００４２】
以上の説明からも明らかなように、本実施例１では、制御部１３及び画像変換部１４（報知情報作成手段）が、画像処理部１２（顔状態検出手段）により検出された顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像２ｆを作成し、かつ、車両１の後方又は側方から視認可能に設けられたディスプレイ１５（報知手段）に仮想顔画像２ｆをリアルタイムに表示させる。
【００４３】
運転者２の顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像２ｆが作成され、車両１の後方又は側方から視認可能に設けられたディスプレイ１５にリアルタイムに表示される。これにより、車外の人が、表示された運転者２の仮想顔画像２ｆを見落としにくくなり、しかもその仮想顔画像２ｆから運転者２が左右を確認していないことを直ちに認識できるので、運転者２の不注意やミスに因る事故を良好に回避することができる。
【００４４】
また、上記実施例１では、制御部１３（報知情報作成手段）が、画像処理部１２（顔状態検出手段）により検出された顔状態としての顔向きに基づいて運転者２の左右方向への目視を判定し（Ｓ３３）、左方向への目視を判定した場合は左ランプ１６をリアルタイムに点灯させ、右方向への目視を判定した場合は右ランプ１７をリアルタイムに点灯させる。
【００４５】
運転者２の顔状態としての顔向きに基づいて運転者２の左右方向への目視が判定され、各方向への目視に対応して車両１の後方又は側方から視認可能に設けられた左右ランプ１６，１７のいずれかが点灯される。これにより、ディスプレイ１５による報知に加えて、運転者２が左右を確認していないことを直ちに認識できるので、運転者２の不注意やミスに因る事故をより一層良好に回避することができる。
【００４６】
なお、上記実施例１では、報知手段としてディスプレイ１５に加えて左右ランプ１６，１７を用いるように構成したが、ディスプレイ１５及び左右ランプ１６，１７のいずれかを用いる構成とし、それに対応して図３の第１制御プログラム及び図５の第２制御プログラムのいずれかを実施する構成としてもよい。
【００４７】
また、左右ランプ１６，１７を左右サイドミラー５，６にそれぞれ設ける場合に限らず、例えばディスプレイ１５に仮想顔画像２ｆと共に画像表示するようにしたり、あるいは車両１の後方部１ａにて車幅方向に延びるバー状の表示灯を用いるように構成してもよい。
【符号の説明】
【００４８】
１ 車両
２ 運転者
２ｆ 仮想顔画像
５，６ 左右サイドミラー
１１ カメラ（撮影手段）
１２ 画像処理部（顔状態検出手段）
１３ 制御部（報知情報作成手段）
１４ 画像変換部（報知情報作成手段）
１５ ディスプレイ（報知手段）
１６，１７ 左右ランプ（報知手段）
【技術分野】
【０００１】
本発明は、運転者顔状態報知装置に関し、特に運転者の不注意による事故防止を支援する運転者顔状態報知装置に関する。
【背景技術】
【０００２】
運転者がウィンカーの表示や目視確認を怠ることにより、自転車や歩行者を巻き込む事故、高速道路等における車線変更時の衝突事故が発生している。これらの事故の原因は、運転者の不注意に因ることが多いが、運転者の不注意を後方の自動車や自転車、歩行者などの車外の人が認識することができないことも挙げられる。このような問題を解消するため、例えば下記特許文献１に記載されているように、自車両の側方に存在する車外の人に、右左折する車両の運転者がその人を認識しているか否かを通知できる車両用警告装置が知られている。また、運転者の視線を用いて安全性及び快適性を向上させるようにした技術が下記特許文献２に記載され、運転者の仮想画像を用いて車両の運転状況を後で確認できるようにした技術が下記特許文献３に記載されている。
【０００３】
【特許文献１】特開２０１０−１１３６０１号公報
【特許文献２】特開２００７−２６３９３１号公報
【特許文献３】特開２０１０−２１１６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載された車両用警告装置では、左サイドミラーに青ランプ、赤ランプ及び黄ランプが設けられ、運転者の視認確度が高い場合は青ランプを、視認確度が低い場合は赤ランプを、視認確度が中程度の場合は黄ランプをそれぞれ点灯させることにより、運転者が側方を十分に確認したか否かを車外の人が認識可能とされている。しかし、この車両用警告装置では、自車両が右左折することを検出し、かつ、運転者の死角を歩行者が歩行していることを条件として、各ランプが点灯制御される構成とされており、各ランプの点灯による警告条件が制限されていた。また、各ランプが点灯したとしても、車外の人が見落としたり気付かなかったりするおそれが高かった。
【０００５】
本発明は、上記課題に対処するためになされたものであり、その目的は、運転者が車外を確認したか否かを車外の人が良好に認識し得る運転者顔状態報知装置を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００６】
上記目的を達成するため、本発明の運転者顔状態報知装置は、
運転者の顔を撮影する撮影手段と、
撮影手段により撮影された運転者の顔画像に基づいて該運転者の顔状態を検出する顔状態検出手段と、
顔状態検出手段により検出された運転者の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する報知情報作成手段と、
報知情報作成手段により作成された報知情報を車外の人に向けてリアルタイムに報知する報知手段と、
を備えることを特徴とする。
【０００７】
本発明の運転者顔状態報知装置では、報知情報作成手段が、顔状態検出手段により検出された運転者の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する。そして、報知手段が、報知情報作成手段により作成された報知情報を車外の人に向けてリアルタイムに報知する。
【０００８】
この運転者顔状態報知装置では、報知情報作成手段により作成された報知情報が車外の人に向けてリアルタイムに報知される。このため、車外の人が運転者の注意状態をリアルタイムに知ることができるので、車外の人が運転者の不注意やミスに起因した危険を事前に察知することができ、事故を効果的に回避することができる。
【０００９】
報知情報作成手段は、顔状態検出手段により検出された顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像を作成し、かつ、車両の後方又は側方から視認可能に設けられた報知手段としてのディスプレイに仮想顔画像をリアルタイムに表示させるように構成することができる。この場合、報知情報作成手段は、例えば、顔状態検出手段により検出された顔状態としての瞼開度に基づいて仮想顔画像を作成するとき、予め定められた時間当たりの瞼開度の割合に応じて仮想顔画像における目パターンを決定するように構成すると好適である。
【００１０】
これによれば、運転者の顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像が作成され、車両の後方又は側方から視認可能に設けられたディスプレイにリアルタイムに表示される。このため、車外の人が、表示された運転者の仮想顔画像を見落としにくくなり、しかもその仮想顔画像から運転者が左右を確認していないことを直ちに認識できるので、運転者の不注意やミスに因る事故を良好に回避することができる。
【００１１】
また、報知情報作成手段は、顔状態検出手段により検出された顔状態としての顔向きに基づいて運転者の左右方向への目視を判定し、車両の後方又は側方から視認可能に設けられるとともに、左右方向に対応して設けられた報知手段としての左右ランプのうち、左方向への目視を判定した場合は左ランプをリアルタイムに点灯させ、右方向への目視を判定した場合は右ランプをリアルタイムに点灯させるように構成することもできる。この場合、報知情報作成手段は、例えば、顔状態検出手段により検出された顔状態としての顔向きに基づいて運転者の左右方向への目視を判定するとき、正面を基準とした左右方向への顔向き角度に応じて左右方向への目視を判定するように構成すると好適である。
【００１２】
これによれば、運転者の顔状態としての顔向きに基づいて運転者の左右方向への目視が判定され、各方向への目視に対応して車両の後方又は側方から視認可能に設けられた左右ランプのいずれかが点灯される。このため、ディスプレイによる報知に加えて又は代えて、運転者が左右を確認していないことを直ちに認識できるので、運転者の不注意やミスに因る事故をより一層良好に回避することができる。
【図面の簡単な説明】
【００１３】
【図１】（Ａ）は本発明に係る運転者顔状態報知装置を、車両の側面模式図及びブロック図と共に示す構成図。（Ｂ）はカメラの撮影画角を平面視で示す説明図。
【図２】図１に示したカメラの正面図。
【図３】実施例１の作動の流れを示す第１制御プログラムを示すフローチャート。
【図４】図３の第１制御プログラムにおける顔向き及び瞼開度検出処理のサブルーチンを示すフローチャート。
【図５】実施例１の作動の流れを示す第２制御プログラムを示すフローチャート。
【図６】図５の第２制御プログラムにおける顔向き検出処理のサブルーチンを示すフローチャート。
【図７】図４の各ステップにおける撮影画像等に対する処理を示す説明図。
【図８】図３のステップＳ１３，Ｓ１７において、瞼開度を決定する場合の仕様を示す説明図。
【図９】図５のステップＳ３３において、顔向きを決定する場合の仕様を示す説明図。
【図１０】（Ａ）〜（Ｄ）はそれぞれ運転者の顔を仮想化した仮想顔画像の一例を示す説明図。
【図１１】（Ａ）〜（Ｄ）はそれぞれ報知態様を示す説明図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて説明する。
【実施例１】
【００１５】
図１（Ａ）は本発明に係る運転者顔状態報知装置を、車両１の側面模式図及びブロック図と共に示す構成図であり、図１（Ｂ）はカメラ１１の撮影画角を平面視で示す説明図である。運転者顔状態報知装置は、運転者２の顔向き、瞼開度などの顔状態を検出し、その顔状態を車外の人に知らせる機能を有するものであり、カメラ１１、画像処理部１２、制御部１３、画像変換部１４、ディスプレイ１５及び左右ランプ１６，１７を含んで構成されている。
【００１６】
カメラ１１は、運転者２の顔を撮影するものであり、運転席３前方のダッシュボード４上（あるいはステアリングコラム上）に取り付けられている。カメラ１１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備え、レンズ１１ａによって結像された運転者２の顔の像をその撮像素子によって画像データに変換する。カメラ１１の撮影画角は、上下方向の撮影画角がθ１に設定され（図１（Ａ）参照）、左右方向の撮影画角がθ２に設定されており（図１（Ｂ）参照）、運転者２の顔が撮影画角θ１及びθ２で定められる撮影範囲内に収まるようになっている。
【００１７】
また、カメラ１１は、図２に示すように、運転者の顔に近赤外光を照射する近赤外ＬＥＤ１１ｂ、及び外部からの光のうち可視光を遮断する可視光カットフィルタ（図示省略）を備えている。これにより、夜などの周囲が暗い場合でもカメラ１１によって運転者２の顔が撮影可能とされている。カメラ１１が本発明の撮影手段に相当する。
【００１８】
画像処理部１２は、ＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部（Ｉ／Ｏ）等を主要部品としたマイクロコンピュータで構成され、カメラ１１によって撮影された画像の解析を行う。具体的には、画像処理部１２は、カメラ１１からの画像データに例えば２値化処理を施し、所望の画像部分（特徴点）を抽出する。これら２値化処理や特徴点抽出処理などを行うことによって運転者２の顔画像を抽出し、抽出された顔画像に基づいて運転者２の顔向き及び瞼開度を顔状態として検出する。画像処理部１２が本発明の顔状態検出手段に相当する。
【００１９】
制御部１３は、ＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部（Ｉ／Ｏ）等を主要部品としたマイクロコンピュータで構成され、画像処理部１２が検出した顔状態に基づいて運転者２の目パターンを決定し、決定した目パターンに基づいて画像変換部１４に仮想顔画像を作成させ、作成された仮想顔画像をディスプレイ１５に表示させる。また、制御部１３は、画像処理部１２が検出した顔向きに基づいて運転者２の左右方向への目視を判定し、その判定結果に基づいて左右ランプ１６を点灯させる。
【００２０】
画像変換部１４は、ＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部（Ｉ／Ｏ）等を主要部品としたマイクロコンピュータで構成され、画像処理部１２が検出した顔状態に対応する仮想顔画像２ｆ（図１０参照）を作成可能な周知の画像変換回路を備えている。具体的には、画像変換部１４のＲＯＭには、顔向き及び瞼開度を主とした顔の表情を表現するための複数の仮想顔情報（モデル化のための情報、アバタ情報）が記憶されている。そして、画像変換部１４は、その仮想顔情報を基に画像処理部１２により検出された顔向き、及び制御部１３により決定された目パターンに対応した仮想顔画像２ｆをリアルタイムに作成する（読み出す）。このように運転者２の顔状態を仮想化（モデル化）することにより、車外の人にとって運転者２の顔状態が分りやすくなり、瞬時に把握できるようになる。制御部１３及び画像変換部１４が本発明の報知情報作成手段に相当する。
【００２１】
ディスプレイ１５は、例えば液晶表示器、有機ＥＬ表示器、プラズマ表示器などで構成され、車外の人が車両１の後方又は側方から視認できるように車両１の後方部１ａに設けられている（図１１参照）。ディスプレイ１５は、イグニッションスイッチのオンにより駆動状態となる。なお、車両１が走行状態にあることを条件として、ディスプレイ１５が駆動状態となるように構成してもよい。
【００２２】
左右ランプ１６，１７は、例えばＬＥＤで構成され、車外の人が車両１の後方又は側方から視認できるように左右サイドミラー５，６にそれぞれ設けられている。左右ランプ１６，１７は、イグニッションスイッチのオンにより駆動状態となる。なお、車両１が走行状態にあることを条件として、左右ランプ１６，１７が駆動状態となるように構成してもよい。ディスプレイ１５及び左右ランプ１６，１７が本発明の報知手段に相当する。
【００２３】
次に、上記のように構成された実施例１の作動の流れを図３の第１制御プログラム及び図５の第２制御プログラムに基づいて説明する。最初に、図３の第１制御プログラムについて説明する。なお、図３の第１制御プログラムにおいて、ステップＳ１１，Ｓ１２の処理については画像処理部１２が実行し、ステップＳ１３，Ｓ１４，Ｓ１７〜Ｓ１９の処理については制御部１３が実行し、ステップＳ１５，Ｓ１６の処理については画像変換部１４が実行するようになっている。
【００２４】
画像処理部１２は、カメラ１１から顔画像データを取得し（Ｓ１１）、取得した顔画像の解析を行う（Ｓ１２）。この顔画像の解析では、図４のサブルーチンに示すように、まず撮影画像に含まれる顔領域の位置を大雑把に検出する（Ｓ２１）。図７（Ａ）は、カメラ１１から取得した撮影画像１０１の一例を示した図である。撮影画像１０１は、運転者２の顔に対応する顔領域１１０及びそれ以外の背景領域１０２から構成される。
【００２５】
図７（Ｂ）は、図７（Ａ）の撮影画像１０１の各画素列の位置に対応させた撮影画像１０１の縦の画素列の輝度和のライン１０３を示している。ライン１０３が示すように、一般的に、顔領域１１０の輝度和は、背景領域１０２の輝度和に比べて大きくされている。よって、そのライン１０３の輝度和変化を見ることで、撮影画像１０１に対する顔領域１１０の左右方向の位置を大雑把に把握することができる。ステップ２１では、撮影画像１０１の縦の画素列の輝度和に加えて、横の画素列の輝度和に基づいて、撮影画像１０１に対する顔領域１１０の左右方向及び上下方向の大雑把な位置を検出する。
【００２６】
次いで、撮影画像１０１から、顔を構成する眼や鼻などの顔部品に対応する領域を検出する（Ｓ２２）。図７（Ｃ）は、撮影画像１０１を示しており、その撮影画像１０１の顔領域１１０には、左目に対応する左目領域１１１、右目に対応する右目領域１１２、鼻に対応する鼻領域１１３など、顔部品に対応する領域が含まれている。それら各領域１１１〜１１３は、各部品に応じた画像特徴量（エッジ情報、輝度情報）を有している。そこで、ステップＳ２２では、撮影画像１０１に含まれる各画像特徴量を予め用意された顔部品のテンプレートと比較（マッチング）することで、顔を構成する各部品の領域を検出する。
【００２７】
次いで、ステップＳ２１で検出された顔領域１１０の大雑把な位置とステップＳ２２で検出された各顔部品とに基づいて、最終的な顔領域１１０の位置を検出する（Ｓ２３）。この場合、ステップＳ２１やＳ２２では、顔領域１１０の候補となる複数の領域や顔部品の候補となる複数の領域を検出してしまう可能性があるので、検出した顔部品の並び順（目の下に鼻があり、鼻の下に口があるなど）を考慮して、真の顔部品に絞っていく。また、顔の傾きによって、顔の輪郭や顔部品の形状が変わってくるので、その顔の傾きによる形状変化を考慮して、検出した顔部品に対して適宜補正を加える。
【００２８】
図７（Ｄ）は、ステップＳ２３による検出結果を示しており、具体的には、撮影画像１０１のうちの領域１２０が顔領域として検出されたことを示している。このように、ステップＳ２１〜Ｓ２３の処理を実行することで、実際の顔領域１１０と一致した顔領域１２０を検出することができる。なお、本実施例１では、四角形状の顔領域１２０を検出している。
【００２９】
次いで、撮影画像１０１に含まれる目領域の上下瞼の距離などから、運転者２の瞼開度を検出する（Ｓ２４）。次いで、ステップＳ２１〜Ｓ２３で検出した顔領域１２０に含まれる顔部品の対称性などから、運転者２の顔向き（角度）を検出する（Ｓ２５）。最後に、ステップＳ２４で検出した瞼開度、及びステップＳ２５で検出した顔向きを制御部１３に出力する（Ｓ２６）。制御部１３は、画像処理部１２から顔向き及び瞼開度からなる顔状態情報を取得すると、図３のステップＳ１３以降の処理を実行する。
【００３０】
ステップＳ１３，Ｓ１７は、目が完全に開いている（起きている）場合と、うとうとしている場合（眠そうなとき）と、目が完全に閉じている（寝ているとき）場合とを車外の人に区別して知らせるための瞼開度を判定する処理を示している。この処理では、例えば図８に示すように、瞼開度が２０％の場合（第２しきい値Ｄ２）と、Ｄ２よりも瞼開度の大きい５０％の場合（第１しきい値Ｄ１）との２つのしきい値（眠気しきい値）を用いて、所定のＴ秒間（例えばＴ＝３０）で瞼開度Ｄの占める割合Ｐ％（例えばＰ＝８０）が第２しきい値Ｄ２よりも小さいか、第２しきい値Ｄ２と第１しきい値Ｄ１の間にあるか、第１しきい値Ｄ１よりも大きいかによって瞼開度に応じた目パターンをそれぞれ決定するようにしている。
【００３１】
具体的には、ステップＳ１３及びＳ１７にていずれも「ＮＯ」、すなわち瞼開度が眠気しきい値Ｄ１％を超える（瞼開度＞Ｄ１）割合がＰ％以上であれば運転者が起きていると判定し、仮想顔画像の目パターンを、例えば図１０（Ａ）、１０（Ｂ）に示す目パターン３に設定する（Ｓ１９）。
【００３２】
一方、ステップＳ１３にて「ＮＯ」、かつＳ１７にて「ＹＥＳ」、すなわち瞼開度が眠気しきい値Ｄ２％を超え眠気しきい値Ｄ１％以下となる（Ｄ２＜瞼開度≦Ｄ１）割合がＰ％以上であれば運転者が眠そうと判定し、仮想顔画像の目パターンを、例えば図１０（Ｃ）に示す目パターン２に設定する（Ｓ１８）。
【００３３】
また、ステップＳ１３にて「ＹＥＳ」、すなわち瞼開度が眠気しきい値Ｄ２％以下となる（瞼開度≦Ｄ２）割合がＰ％以上であれば運転者が寝ていると判定し、仮想顔画像の目パターンを、例えば図１０（Ｄ）に示す目パターン１に設定する（Ｓ１７）。顔状態としての瞼開度を実際の顔画像に近い画像で表示することとした場合は、瞼開度の大小を車外の人に分からせるのは極めて困難であると考えられるが、ステップＳ１４，Ｓ１８，Ｓ１９の処理の実行により、瞼開度を目パターン１〜３のいずれかに振り分けて設定することで、車外の人にとって運転者２の瞼開度を極めて分かりやすくすることができる。
【００３４】
画像変換部１４は、画像処理部１２により検出された顔向き、及び制御部１３により決定された目パターンに対応して仮想顔画像（モデル）２ｆをリアルタイムに作成し（Ｓ１５）、作成された画像を順次更新する（Ｓ１６）。作成された仮想顔画像２ｆは、例えば図１０に示すように、顔向き及び瞼開度が主となって顔の表情を表現するものである。制御部１３は、作成された仮想顔画像２ｆをリアルタイムにディスプレイ１５に表示させる。
【００３５】
次に、図５の第２制御プログラムについて説明する。なお、図５の第２制御プログラムにおいて、ステップＳ３１，Ｓ３２の処理については画像処理部１２が実行し、ステップＳ３３〜Ｓ３６の処理については制御部１３が実行するようになっている。ステップＳ３１，Ｓ３２の処理は、図３のステップＳ１１，Ｓ１２の処理と同様である。ただし、ステップＳ３２ではステップＳ１２とは異なり、顔向き情報のみが取得されるように構成されている。これに対応して、ステップＳ３２の処理で実行される図６のサブルーチンでは、図４に示したサブルーチンからステップＳ２４（瞼開度検出処理）が省略されている。図６のサブルーチンについては、図４に示したサブルーチンと対応する処理に同一の符号を付して説明を省略する。
【００３６】
制御部１３は、画像処理部１２から顔向き情報を取得すると、図５のステップＳ３３以降の処理を実行する。ステップＳ３３は、運転者２の顔向きが正面の場合と、左方向の場合と、右方向の場合とを車外の人に区別して知らせるための顔向き度を判定する処理を示している。この処理では、例えば図９に示すように、顔向きが正面の場合を０°とし、右方向の場合を正、左方向の場合を負として、さらに右方向と左方向とでそれぞれしきい値を用いて、顔向き（角度）が右しきい値（Ｔ１、例えば２０°）よりも大きいか、左しきい値（Ｔ２、例えば−２０°）よりも小さいかによって右又は左方向へ目視したか否かを判定するようにしている。
【００３７】
具体的には、ステップＳ３３にてＴ２＜顔向き＜Ｔ１であれば顔向きが正面であるとみなし、制御部１３は左右ランプ１６，１７を点灯状態から消灯状態へ、あるいは消灯状態に維持する（Ｓ３５）。一方、ステップＳ３３にてＴ１＜顔向きであれば顔向きが右方向であるとみなし、制御部１３は右ランプ１７を消灯状態から点灯状態へ、あるいは点灯状態に維持する（Ｓ３４）。また、ステップＳ３３にて顔向き＜Ｔ２であれば顔向きが左方向であるとみなし、制御部１３は左ランプ１６を消灯状態から点灯状態へ、あるいは点灯状態に維持する（Ｓ３６）。左右ランプ１６，１７を点灯させるか否かを各しきい値を用いて判定するように構成することで、点灯制御プログラムの内容を簡素化することができる。
【００３８】
図３の第１制御プログラム及び図５の第２制御プログラムの実行により、運転者２の顔状態に応じて、車外の人は例えば図１１に示すようなディスプレイ１５による仮想顔画像２ｆ、左右ランプ１６，１７による点灯状態を視認することができる。具体的には、運転者が居眠りをすることなく正面を向いていればディスプレイ１５には正面を向いた仮想顔画像２ｆが表示される。このとき、左右ランプ１６，１７は消灯状態とされている（図１１（Ａ））。
【００３９】
交差点での左折時等において、運転者が左後方を目視により確認すればディスプレイ１５には左方向を向いた仮想顔画像２ｆが表示される。このとき、左ランプ１６が点灯状態とされる（図１１（Ｂ））。また、走行車線から追越車線への車線変更時等において、運転者が右後方を目視により確認すればディスプレイ１５には右方向を向いた仮想顔画像２ｆが表示される。このとき、右ランプ１７が点灯状態とされる（図１１（Ｃ））。
【００４０】
一方、運転者が眠そうにしていればディスプレイ１５には眠そうな仮想顔画像２ｆが表示される。このとき、左右ランプ１６，１７は消灯状態とされている（図１１（Ｄ））。図１１に示した各報知態様により、例えば交差点の手前において、車両１の左ウインカーが点滅状態とされている場合に、ディスプレイ１５において運転者２の顔向きが左方向へ全く動かなければ、車両１の左後方にいる自転車、歩行者などは、車両１に巻き込まれるおそれがあると予測することができ、車両１に対して十分な注意を払うことができる。
【００４１】
また、例えば車両１が高速道路の走行車線を走行している場合において、車両１の右ウインカーが消灯状態とされている場合に、ディスプレイ１５において運転者２の顔向きが右方向を繰り返し見ていれば、追越車線を走行している後続車両は、車両１が追越車線側へ車線変更する可能性が高いと予測することができ、車両１に対して十分な注意を払うことができる。また、車両１が蛇行運転をしている場合に、ディスプレイ１５を見ればそれが運転者の未熟に因るせいなのか、眠くてふらふら走っているのかが分かり、後続車両に注意を促すことができる。
【００４２】
以上の説明からも明らかなように、本実施例１では、制御部１３及び画像変換部１４（報知情報作成手段）が、画像処理部１２（顔状態検出手段）により検出された顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像２ｆを作成し、かつ、車両１の後方又は側方から視認可能に設けられたディスプレイ１５（報知手段）に仮想顔画像２ｆをリアルタイムに表示させる。
【００４３】
運転者２の顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像２ｆが作成され、車両１の後方又は側方から視認可能に設けられたディスプレイ１５にリアルタイムに表示される。これにより、車外の人が、表示された運転者２の仮想顔画像２ｆを見落としにくくなり、しかもその仮想顔画像２ｆから運転者２が左右を確認していないことを直ちに認識できるので、運転者２の不注意やミスに因る事故を良好に回避することができる。
【００４４】
また、上記実施例１では、制御部１３（報知情報作成手段）が、画像処理部１２（顔状態検出手段）により検出された顔状態としての顔向きに基づいて運転者２の左右方向への目視を判定し（Ｓ３３）、左方向への目視を判定した場合は左ランプ１６をリアルタイムに点灯させ、右方向への目視を判定した場合は右ランプ１７をリアルタイムに点灯させる。
【００４５】
運転者２の顔状態としての顔向きに基づいて運転者２の左右方向への目視が判定され、各方向への目視に対応して車両１の後方又は側方から視認可能に設けられた左右ランプ１６，１７のいずれかが点灯される。これにより、ディスプレイ１５による報知に加えて、運転者２が左右を確認していないことを直ちに認識できるので、運転者２の不注意やミスに因る事故をより一層良好に回避することができる。
【００４６】
なお、上記実施例１では、報知手段としてディスプレイ１５に加えて左右ランプ１６，１７を用いるように構成したが、ディスプレイ１５及び左右ランプ１６，１７のいずれかを用いる構成とし、それに対応して図３の第１制御プログラム及び図５の第２制御プログラムのいずれかを実施する構成としてもよい。
【００４７】
また、左右ランプ１６，１７を左右サイドミラー５，６にそれぞれ設ける場合に限らず、例えばディスプレイ１５に仮想顔画像２ｆと共に画像表示するようにしたり、あるいは車両１の後方部１ａにて車幅方向に延びるバー状の表示灯を用いるように構成してもよい。
【符号の説明】
【００４８】
１ 車両
２ 運転者
２ｆ 仮想顔画像
５，６ 左右サイドミラー
１１ カメラ（撮影手段）
１２ 画像処理部（顔状態検出手段）
１３ 制御部（報知情報作成手段）
１４ 画像変換部（報知情報作成手段）
１５ ディスプレイ（報知手段）
１６，１７ 左右ランプ（報知手段）
【特許請求の範囲】
【請求項１】
運転者の顔を撮影する撮影手段と、
前記撮影手段により撮影された運転者の顔画像に基づいて該運転者の顔状態を検出する顔状態検出手段と、
前記顔状態検出手段により検出された運転者の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する報知情報作成手段と、
前記報知情報作成手段により作成された報知情報を車外の人に向けてリアルタイムに報知する報知手段と、
を備えることを特徴とする運転者顔状態報知装置。
【請求項２】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像を作成し、かつ、車両の後方又は側方から視認可能に設けられた前記報知手段としてのディスプレイに前記仮想顔画像をリアルタイムに表示させる請求項１に記載の運転者顔状態報知装置。
【請求項３】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての顔向きに基づいて運転者の左右方向への目視を判定し、車両の後方又は側方から視認可能に設けられるとともに、左右方向に対応して設けられた前記報知手段としての左右ランプのうち、左方向への目視を判定した場合は左ランプをリアルタイムに点灯させ、右方向への目視を判定した場合は右ランプをリアルタイムに点灯させる請求項１又は２に記載の運転者顔状態報知装置。
【請求項４】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての瞼開度に基づいて前記仮想顔画像を作成するとき、予め定められた時間当たりの瞼開度の割合に応じて前記仮想顔画像における目パターンを決定する請求項２又は３に記載の運転者顔状態報知装置。
【請求項５】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての顔向きに基づいて運転者の左右方向への目視を判定するとき、正面を基準とした左右方向への顔向き角度に応じて左右方向への目視を判定する請求項３又は４に記載の運転者顔状態報知装置。
【請求項１】
運転者の顔を撮影する撮影手段と、
前記撮影手段により撮影された運転者の顔画像に基づいて該運転者の顔状態を検出する顔状態検出手段と、
前記顔状態検出手段により検出された運転者の顔状態に基づいて該顔状態の変化をリアルタイムに反映させた報知情報を作成する報知情報作成手段と、
前記報知情報作成手段により作成された報知情報を車外の人に向けてリアルタイムに報知する報知手段と、
を備えることを特徴とする運転者顔状態報知装置。
【請求項２】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての顔向き及び瞼開度に基づいて仮想化した仮想顔画像を作成し、かつ、車両の後方又は側方から視認可能に設けられた前記報知手段としてのディスプレイに前記仮想顔画像をリアルタイムに表示させる請求項１に記載の運転者顔状態報知装置。
【請求項３】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての顔向きに基づいて運転者の左右方向への目視を判定し、車両の後方又は側方から視認可能に設けられるとともに、左右方向に対応して設けられた前記報知手段としての左右ランプのうち、左方向への目視を判定した場合は左ランプをリアルタイムに点灯させ、右方向への目視を判定した場合は右ランプをリアルタイムに点灯させる請求項１又は２に記載の運転者顔状態報知装置。
【請求項４】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての瞼開度に基づいて前記仮想顔画像を作成するとき、予め定められた時間当たりの瞼開度の割合に応じて前記仮想顔画像における目パターンを決定する請求項２又は３に記載の運転者顔状態報知装置。
【請求項５】
前記報知情報作成手段は、前記顔状態検出手段により検出された前記顔状態としての顔向きに基づいて運転者の左右方向への目視を判定するとき、正面を基準とした左右方向への顔向き角度に応じて左右方向への目視を判定する請求項３又は４に記載の運転者顔状態報知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図７】
【公開番号】特開２０１３−９７４５６（Ｐ２０１３−９７４５６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３７６６５（Ｐ２０１１−２３７６６５）
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]