説明

状態監視装置

【課題】状態監視装置において、消費電力が必要以上に大きくなることの低減。
【解決手段】状態監視処理では、センサからの検知信号に基づいて、状態監視装置の機能を停止すべき状況である停止状況であるか否か、即ち、状態監視装置の設置位置が取付位置から変位したか否かを判定する(S130)。この判定の結果、状態監視装置の設置位置が取付位置から変位していなければ(S130:YES)、停止状況ではないものとして、発光部から近赤外光を規定領域に照射して、画像を撮像し、運転者の状態を監視する(S140〜S210)。一方、判定の結果、状態監視装置の設置位置が取付位置から変位していれば(S130:NO)、停止状況であるものとして、低下処理、及び警報の出力を実行する(S220,S230)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載される状態監視装置に関する。
【背景技術】
【0002】
従来、車両に搭載され、当該車両の安全な走行を実現することを目的として、当該車両の乗員の状態をカメラを用いて監視する状態監視装置(いわゆるドライバーモニタリングシステム)が知られている(例えば、特許文献1参照)。
【0003】
これを実現するために、特許文献1に記載された状態監視装置は、予め規定されたレベル範囲(強度範囲)内の近赤外光を発光する発光手段と、画像を撮像する撮像手段と、その撮像手段で撮像された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視手段とを備えている。
【0004】
この種の状態監視装置において、発光手段は、自車両の乗員の顔面が位置する領域(以下、規定領域とする)に近赤外光が照射されるように規定された規定位置に設置され、撮像手段は、運転者の顔面が存在する可能性の高い領域(以下、設定領域とする)を、撮像範囲とするように設定された設定位置に設置されている。
【0005】
そして、状態監視手段は、画像処理によって運転者の目の開度を導出して、当該運転者の覚醒度を監視したり、画像処理によって運転者の視線の方向を求めて、当該運転者が脇見をしているか否か等を監視したりする。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−167806号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、状態監視装置では、車両が走行することで生じる振動等によって、当該状態監視装置の設置位置が、予め定められた取付位置から変位、即ち、撮影手段の設置位置、または発光手段の設置位置が、設定位置や規定位置から変位することがある。
【0008】
このように、状態監視装置の設置位置が取付位置から変位する(特に、発光手段の設置位置が規定位置から変位する)と、監視対象としての乗員の顔面が存在しない領域が、発光手段が発光する近赤外光の照射範囲となる可能性がある。また、乗員の顔面が近赤外光の照射範囲内に存在していても、顔面に到達する近赤外光のレベル(強度)が予め定められたレベルよりも明るすぎたり暗すぎたりしてしまい、乗員の監視に不適な画像を撮像する可能性があった。なお、本例のように状態監視装置で照明を用いる理由は、昼夜ともに安定して装置が動作することが望まれる中、夜間においては、撮像素子の感度が不足であり撮影補助照明が必要になるためである。照明として近赤外光を用いる理由は、乗員の運転が妨げられないように、不可視光が求められるためである。
【0009】
つまり、従来の状態監視装置では、状態監視装置の設置位置が取付位置(特に、発光手段の設置位置が規定位置)から変位した場合、本来の被写体に向けて発光することを意図して設定されたエリアではない方向に光を照射する及び/または撮像することになるため、状態監視装置としての本来の機能を発揮できなくなったにもかかわらず、発光手段を作動して規定されたレベル範囲の近赤外光を発光するという問題があった。
【0010】
さらに、一般的な車両においては、点検などを目的として、状態監視装置が取付位置から取り外されることや、当該車両のステアリングホイールがステアリングコラムから取り外されることもある。
【0011】
このように、自動車本来の機能である、走る・止まる・曲がる機能が正常でない場合、当該車両が運転される可能性は極めて低く、当該車両の安全な走行を実現するという目的を達成するために、当該状態監視装置(特に、発光手段)を作動させる必要がない。
【0012】
状態監視装置は通常、乗員がその機能をON/OFFするシステムではなく、走行可能な状態、すなわち、イグニッション(IG)がONになると同時に乗員の意図とは関係なく起動することになるため従来の状態監視装置では、このような場合であっても、発光手段を作動して規定されたレベル範囲の近赤外光を発光する可能性があるという問題があった。
【0013】
換言すれば、従来の状態監視装置では、不要な場合であっても、発光手段が規定されたレベルの近赤外光を発光してしまい、消費電力が必要以上に大きくなるという問題があった。
【0014】
そこで、本発明は、状態監視装置において、消費電力が必要以上に大きくなることを防止することを目的とする。
【課題を解決するための手段】
【0015】
上記目的を達成するためになされた本発明は、車両に搭載される状態監視装置に関する。
本発明の状態監視装置では、発光手段が、近赤外光を含む波長の光を発光すると共に、自車両の乗員の顔面が位置する領域として規定された規定領域に近赤外光が照射されるように規定された規定位置に設置され、撮像手段が、規定領域の少なくとも一部を含む領域を撮影領域とした画像を撮像する。
【0016】
そして、状態監視手段が、撮像手段で撮像された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する。
さらに、本発明の状態監視装置では、状況判定手段が、当該状態監視装置の機能を停止すべき状況である停止状況であるか否かを判定し、その判定の結果、停止状況である場合、処理実行手段が、発光手段の機能を低下させるよう定められた特定処理を実行する。
【0017】
このような本発明の状態監視装置によれば、停止状況となると、特定処理が実行されるため、発光手段の機能を低下させることができる。この結果、本発明の状態監視装置によれば、停止状況である場合に、発光手段から、必要以上に強い強度の近赤外光が発光されることを低減できる。
【0018】
換言すれば、本発明の状態監視装置によれば、状態監視装置としての本来の機能が不要な場合に、強い強度の近赤外光を発光することに起因して消費電力が増加することを低減できる。
【0019】
なお、本発明における規定領域とは、自車両の乗員の顔面が位置する領域であり、例えば、車両が自動車であれば、シートのヘッドレスト周辺の領域を含む領域である。また、本発明における規定位置とは、車室内の位置であり、例えば、車両が自動車である場合には、ステアリングコラム上部を含む。
【0020】
本発明の状態監視装置における処理実行手段では、停止状況である場合、発光制御手段が、発光手段が発光する近赤外光のレベルを、定められた基準レベルよりも低下させる低下処理を、特定処理として実行しても良い(請求項2)。
【0021】
なお、本発明における基準レベルとは、状態監視装置を正常に作動させるべき状況(即ち、停止状況以外の状況)である場合に、発光手段から発光される近赤外光のレベル範囲(以下、制御範囲と称す)の下限値として定められたものである。この制御範囲の上限値は、例えば、乗員への光の生体安全性が確実に確保される、IEC(International Electrotechnical Comission)62471に規定されたExemptレベルを満たすように定められたものである。
【0022】
以上説明したように、状態監視装置によれば、低下処理を特定処理として実行するため、停止状況下にて発光手段が発光する近赤外光の強度をより確実に低下させることができる。
【0023】
さらに、本発明の状態監視装置おける発光制御手段では、停止状況である場合、発光手段による近赤外光の発光を禁止することを、低下処理として実行しても良い(請求項3)。
【0024】
このような本発明の状態監視装置によれば、近赤外光の発光を禁止することを、特定処理として実行するため、停止状況下に、発光手段から近赤外光が発光されることを防止できる。この結果、本発明の状態監視装置によれば、近赤外光の発光による消費電力が増加することを、より確実に低減できる。
【0025】
さらには、本発明の状態監視装置における処理実行手段では、停止状況である場合、報知制御手段が、少なくとも、発光手段による近赤外光の発光が不要である旨を報知する報知処理を、特定処理として実行しても良い(請求項4)。
【0026】
このような本発明の状態監視装置によれば、自車両の乗員は、停止状況である旨を認識できる。
このため、自車両の乗員が、発光手段の機能を低下させるための処置を自ら実施することで、停止状況である場合に、必要以上に強い強度の近赤外光が発光手段から発光されることを低減できたり、状態監視装置を所定の位置に戻すことで停止状況をキャンセルすることができる。
【0027】
ところで、『発明が解決しようとする課題』の欄に記載したように、発光手段の設置位置が規定位置から変位した場合、状態監視装置としての機能を得ることができない可能性が高い。
【0028】
このため、本発明における状況判定手段では、位置取得手段が、発光手段の設置位置に関する設置位置情報を取得し、その取得した設置位置情報が、発光手段の設置位置が規定位置から変位したことを検出した場合に、停止状況にするように判定しても良い(請求項5)。
【0029】
このような状態監視装置によれば、必要以上に強い強度の近赤外光が発光手段から発光されることを低減するための条件を、発光手段の設置位置が規定位置から変位した場合とすることができる。
【0030】
なお、本発明における設置位置情報とは、発光手段の設置位置に関する情報であり、少なくとも、発光手段の設置位置が変位したか否かを判定するための情報を含む。
より具体的に設置位置情報とは、例えば、周知の加速度センサにて検出した、状態監視装置(発光手段)に加わる加速度の大きさや、周知の圧力センサにて検出した、状態監視装置(発光手段)周辺の空気圧の変化に基づいて、状態監視装置(発光手段)の設置位置が変位したか否かを判定した結果であっても良い。これらの方法は、通常IGがONのときには検出可能であるが、OFFの状態で、人為的または何らかの外圧で位置が変位した場合には検出できないため、周知の磁気センサや、超音波センサ(例えば、超音波ソナー)、光センサ、撮像手段により撮像した画像を画像処理した結果などから取得した発光手段の設置位置が規定位置から変位したか否かを表す情報そのものであっても良い。また、電気的接点を用いて正常な範囲内の位置にない場合には状態監視装置を停止状況にしたり電源が供給されないようにしてもよい。
【0031】
これらの、設置位置検出手段は、車両が開錠されると同時に作動するようにしても良いし、IGをONした後の状態監視装置の初期化段階で作動するようにしてもよい。
さらに、撮像手段の設置位置が、規定領域の少なくとも一部を含む領域を撮影領域とした画像を撮像するように予め設定された設定位置から変位した場合にも、状態監視装置としての機能を得ることができない可能性が高い。このため、本発明における状況判定手段では、位置取得手段が、撮像手段の設置位置に関する情報を取得し、その取得した情報が、撮像手段の設置位置が設定位置から変位したことを検出した場合に、停止状況にするように判定しても良い。この場合、処理実行手段が、発光手段の機能を低下させるよう定められた特定処理を実行しても良いし、これに加えて、またはこれとは別に、撮像手段の機能を低下させても良い。
【0032】
さらに、自車両に備えられたステアリングホイールがステアリングコラムに非装着であれば、自車両が運転される可能性が極めて低いため、状態監視装置を動作させる必要がない。
【0033】
このため、本発明における状況判定手段では、ステアリング状態検出手段が、自車両に備えられたステアリングホイールがステアリングコラムに装着されているか否かを検出し、この検出の結果、ステアリングホイールがステアリングコラムに非装着である場合に、停止状況であるものと判定しても良い(請求項6)。
【0034】
このような状態監視装置によれば、必要以上に強い強度の近赤外光が発光手段にて発光されることを低減するための条件を、ステアリングホイールがステアリングコラムに非装着である場合とすることができる。
【0035】
なお、本発明において、ステアリングホイールがステアリングコラムに非装着であるか否かの判定は、例えば、接触・非接触を検知する各種スイッチからの検知信号や、ステアリングコラムに装着された状態のステアリングホイールを被写体とした画像を画像処理した結果に基づいて実施すれば良い。
【0036】
一般的な状態監視装置は、当該状態監視装置を構成する発光手段と、撮像手段と、状態監視手段と、状況判定手段と、処理実行手段とが、一つの筐体内に収納されており、さらに、ワイヤーハーネスによって、自車両に搭載された車載装置と接続される。
【0037】
このとき、ワイヤーハーネスの長さが必要以上に長いと、発光手段の設置位置が規定位置から変位したときに、監視対象としての乗員の顔面が、発光手段が発光する近赤外光の照射範囲に存在しなくなる可能性が高い。
【0038】
これを防止することを目的として、当該状態監視装置を車載装置に接続することを目的としたワイヤーハーネスについて、発光手段の設置位置が規定位置から変位した場合でも、当該発光手段からの近赤外光が照射される領域が規定領域から許容範囲内となるように設定しても良い(請求項7)。
【0039】
なお、ここで言う許容範囲とは、発光手段の設置位置が規定位置から変位した場合であっても、発光手段が発光する近赤外光の照射範囲に、監視対象としての乗員の顔面が通常存在するように実験などで予め求められた設定範囲から設計的に決めた範囲である。この範囲は撮像手段から見た3次元的な空間を示しており、画角だけではなく、距離すなわち撮像手段と乗員の顔存在領域との距離も制限している。つまり、撮像系の被写界深度の範囲外では画像がボケて認識できなくなるため、そのような場合も対象となる。被写界深度は通常の車両では20〜100cmを含む領域に設定するのが望ましい。
【0040】
ここでのワイヤーハーネスを上述したように設定する方法としては、ワイヤーハーネスの有効な長さを設定する方法が考えられる。このような設定の方法としては、例えば、ワイヤーハーネス自体の長さを設定することで実現する方法や、ワイヤーハーネスをクランプすることで実現する方法が考えられる。
【0041】
前者の場合、例えば、ワイヤーハーネスを構成する複数のワイヤーのうち、最長のワイヤーの長さを設定することで実現しても良い。後者の場合、車両への組み付け作業の効率化のためにワイヤーハーネスの長さを必要以上に長くしたい場合などに、撮像手段や発光手段が大きく変位できないように規制できる。
【0042】
さらに、ワイヤーハーネスが複数本ある場合には、それぞれの長さを調整することで変位だけではなく、状態監視装置自体が回転するなど撮像手段/発光手段の光軸がズレないように規制できる。
【図面の簡単な説明】
【0043】
【図1】実施形態における状態監視位置の設置位置を示す図である。
【図2】状態監視装置の概略構成を示すブロック図である。
【図3】画像処理部の機能ブロック図である。
【図4】状態監視装置の設置方法を示す図である。
【図5】状態監視処理の処理手順を示すフローチャートである。
【図6】画像の撮像タイミング及び近赤外光の発光タイミングを示すタイミングチャートである。
【図7】本実施形態の効果を示す図である。
【図8】本実施形態の効果を示す図である。
【発明を実施するための形態】
【0044】
以下に本発明の実施形態を図面と共に説明する。
〈状態監視装置について〉
図1は、本発明が適用された状態監視装置の設置位置を示す図であり、図2は、状態監視装置の概略構成を示すブロック図である。
【0045】
この状態監視装置1は、自動車AMに搭載される装置であり、自車両AMの安全な走行を実現することを目的として、自車両AMの乗員(本実施形態では、運転者)Hmの状態を監視する、いわゆるドライバーモニタリングシステムである。
【0046】
本実施形態において、状態監視装置1は、ステアリングホイールSHが接続されるステアリングコラムSCの上部に設置され、ワイヤーハーネスWHを介して、他の車載装置OMに接続される。
【0047】
図2に示すように、状態監視装置1は、近赤外光を含む波長の光(以下、単に近赤外光と称す)を発光して規定領域PA(図1参照)に照射する発光部10と、画像PIを撮像する撮像部11と、自車両AMに搭載された各種装置を含むアクチュエータ部40と、撮像部11にて撮像した画像に対して画像処理を実行した結果に基づいて、自車両AMの乗員Hmの状態を監視すると共に、各部10,11,40を制御する状態監視ECU15とを備えている。
【0048】
アクチュエータ部40には、状態監視ECU15からの制御信号CSに従って報知を実行する報知部41と、自車両AMのシート(本実施形態では、運転席のシートDS(図1参照)を含む)に内蔵され、状態監視ECU15からの制御信号CSに従ってシートを振動させるシート振動部42や図示しないステアリング振動、自車両AMに搭載された空調装置を制御する空調制御装置43とが含まれる。なお、報知部41には、音を出力するスピーカー部44と、異なる内容の情報を表示態様の変更によって示す表示部(例えば、液晶ディスプレイやインジケータ)45とが含まれている。
【0049】
発光部10は、状態監視ECU15からの制御指令COに従って、近赤外光を発光する発光ダイオード(LED(Light Emitting Diode))であり、自車両AMの乗員Hmの顔面が位置する可能性のある領域を規定領域PAとして近赤外光を照射するように予め規定された規定位置に配置される。なお、本実施形態における規定領域PAとは、例えば、運転席のヘッドレスト近傍の領域であり、本実施形態における規定位置とは、例えば、ステアリングコラムSCのカバー(コラムカバーCC)上の位置である。
【0050】
撮像部11は、撮像素子により画像PIを撮像する周知の撮像装置(いわゆるCCDやCMOSなどの撮像素子と光学レンズ、光学フィルタ、電源等の周辺電子回路から成るカメラ)であり、規定領域PAを含む領域(以下、設定領域EAと称す)を撮像範囲とした画像PIを撮像するように予め規定された設定位置に配置される。すなわち、撮像部11の撮像範囲には、自車両AMの乗員Hmの顔面が通常位置する領域が含まれる。撮像素子は周囲の環境に応じてゲインや露光時間などをオートまたはマニュアルによってアクティブに制御できるようになっており、また、撮像タイミングも任意に設定できるように通信機能を備えている。
【0051】
状態監視ECU15は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶するROM16と、データを一時的に格納するRAM17と、ROM16またはRAM17に記憶されたプログラムに従って処理を実行するCPU18とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。
【0052】
この状態監視ECU15には、当該状態監視装置1の設置位置に関する情報(即ち、設置位置情報)を検出する、少なくとも一つのセンサ55または車両側に設置されたセンサの信号を受信できるような配線が接続されている。
【0053】
このセンサ55は、周知のGセンサ56、及び磁気センサ57(例えば、磁気型の近接スイッチ)などの他に、周知の圧力センサや、超音波センサ、光センサ、GPS(Global Potioning System)受信機などのうち、少なくとも一つを含んでいるか、別途設置されたそれらのセンサの信号を受信できるようになっている。
【0054】
なお、状態監視ECU15のROM16には、乗員Hmの状態を監視し、乗員Hmが不安全な状態にあるときに注意喚起や警告を行うことで自車両AMの安全な走行が実現されるようにアクチュエータ部40を制御して乗員Hmに働きかけると共に、センサ55の検出結果に基づいて、状態監視装置1の設置位置が取付位置から変位したことを(ここでは、発光部10の設置位置が規定位置から変位したか否か)を検知すると、発光部10による近赤外光の発光を制限する状態監視処理を実行するためのプログラムが格納されている。ただし、本実施形態における取付位置とは、発光部10の設置位置が規定位置となり、撮像部11の設置位置が設定位置となるように、予め規定されたステアリングコラムSC上の位置として説明する。
【0055】
ここで、図3は、状態監視ECU15を機能ブロックにて示した図である。
状態監視ECU15は、発光部10による近赤外光の発光、及び撮像部11による画像PIの撮像のうちの少なくとも一方を制御する制御部21と、撮像した画像PIに対して画像処理を実行する画像処理部22と、画像処理部22にて画像処理が実行された画像PIに基づいて、自車両AMの乗員Hmの状態を推定する状態推定部23と、状態推定部23での推定結果に基づいて、アクチュエータ部40を制御する警報判定部24として機能する。
【0056】
さらに、状態監視ECU15は、当該状態監視装置1の設置位置が取付位置から変位したか否か(ここでは、発光部10の設置位置が規定位置から変位したか否か)を検出する変位検出部26として機能し、状態監視ECU15の制御部21は、変位検出部26での検出結果に基づいて、発光部10による近赤外光の発光を制御する照射制御部27を有する。
【0057】
ここで、図4は、本実施形態の状態監視装置1の設置方法を説明する図である。
本実施形態の状態監視装置1においては、発光部10と、撮像部11と、状態監視ECU15とは、一つの筐体60内に収納され、図4に示すように、ステアリングコラムSCを覆うコラムカバーCCの裏面から、締結要素(ここでは、ネジ)SRによって固定されている。すなわち、通常の乗員Hmが容易に脱着できないような構造にしてある。
【0058】
なお、状態監視装置1を他の車載装置OMに接続するワイヤーハーネスWHは、状態監視装置1の設置位置が取付位置(発光部10の設置位置が規定位置)から変位した場合であっても、発光部10からの近赤外光が照射される領域が規定領域PAから許容範囲内となるように設定されている。
【0059】
なお、ここで言う許容範囲とは、発光部10の設置位置が規定位置から変位した場合であっても、発光部10が発光する近赤外光の照射範囲に運転者Hmの顔面が通常存在するように実験などで予め求められた設定範囲から設計的に決めた範囲である。この範囲は撮像部11から見た3次元的な空間を示しており、画角だけではなく、距離すなわち撮像部11と乗員の顔存在領域との距離も制限している。
【0060】
本実施形態において、上述したようにワイヤーハーネスWHを設定する方法としては、ワイヤーハーネスWHの有効な長さを調整することが考えられる。この調整を実現する方法としては、例えば、ワイヤーハーネスWH自体の長さを調整することで実現することや、ワイヤーハーネスWHをクランプすることで実現することが考えられる。
【0061】
前者の場合、例えば、ワイヤーハーネスWHを構成する複数のワイヤーのうち、最長のワイヤーの長さを調整することで実現しても良い。後者の場合、車両への組み付け作業の効率化のためにワイヤーハーネスWHの長さを必要以上に長くしたい場合などに、撮像部11や発光部10が大きく変位できないように規制できる。
【0062】
さらに、ワイヤーハーネスWHが複数本ある場合には、それぞれの長さを調整することで変位だけではなく、状態監視装置1自体が回転するなど撮像部11または発光部10の光軸がズレないように規制できる。
〈状態監視処理について〉
ここで、図5は、状態監視ECU15が実行する状態監視処理の処理手順を示すフローチャートである。
【0063】
この状態監視処理は、状態監視装置1に電力が供給されると(本実施形態では、イグニッションスイッチがオンされると)起動されるものである。
この状態監視処理は、起動されると、図5に示すように、発光部10の制御値及び撮像部11の制御値を、予め定められた初期値に設定する(S110)。
【0064】
ここで言う発光部10の制御値には、少なくとも、発光部10が出力する近赤外光のレベル(強度)が含まれる。この近赤外光のレベルの制御値は、一定の制御範囲を有しており、少なくとも、制御範囲の上限値が、乗員への光の生体安全性が確実に確保される、IEC(International Electrotechnical Comission)62471に規定されたExemptレベルを満たすように定められ、制御範囲の下限値が、画像処理に適した画像PIが撮像されるように予め実験などによって求められ、乗員への光の生体安全性が確実に確保されるように、IEC62471に規定されたExemptレベルでの最低レベルを満たすように規定されている。
【0065】
すなわち、下限値とは、状態監視装置1以外の光が存在しない空間で、例えば乗員Hmの顔が撮像系レンズの設計値である被写界深度の最短距離(例えば20cm)にある場合において、近赤外光(例えば、ピーク波長が850nm)における標準的な皮膚の反射率を持った顔について、画像処理に適した画像を得られるように撮像条件を実験的に決めたときの、露光時間、ゲイン、発光量等のパラメータから、最低の発光量を求めて設定する。
【0066】
さらに、撮像部11の制御値には、露光時間やゲインなどが含まれており、画像処理に適した画像PIが撮像されるように予め実験などによって求められた制御値の設定範囲が規定されている。さらに、撮像部11の制御値には、被写界深度を含み、この撮像部11における被写界深度は、通常の車両では20〜100cmを含む領域に設定するのが望ましい。
【0067】
続いて、センサ55からの検知信号を取得し(S120)、その取得した検知信号に基づいて、状態監視装置1の機能を停止すべき状況である停止状況であるか否かを判定する(S130)。
【0068】
本実施形態のS130では、停止状況として、状態監視装置1の設置位置が取付位置から変位した、ひいては、発光部10の設置位置が規定位置から変位したか否かを判定する。具体的には、自車両AMの振動によって生じる加速度が相殺されるように、Gセンサ56からの出力に処理を加えた後、当該出力が予め規定された閾値以上となった場合、即ち、予め規定された規定値以上の加速度が状態監視装置1に加わった場合に、発光部10の設置位置が規定位置から変位した(停止状況である)ものと判定する。このように、状態監視装置1に加わる力をセンサ55にて検出して、発光部10の設置位置が規定位置から変位したか否かを判定する方法としては、状態監視装置1の周辺の圧力を検出する圧力センサからの出力に基づく方法も考えられる。
【0069】
また、発光部10の設置位置が規定位置から変位したか否かを判定する方法として、例えば、磁気センサ57からの出力そのものに基づく方法も考えられる。すなわち、本実施形態のように、磁気センサ57として磁気型の近接スイッチを用いれば、発光部10の設置位置が規定位置から変位した場合には、その旨を磁気センサ57にて検知して出力することができる。このように、状態監視装置1の設置位置が規定位置から変位したか否かを直接的に判定するために用いる情報としては、例えば、予め定められた位置に設置された超音波センサから状態監視装置1に向けて超音波を送受信した結果や、予め定められた位置に設置された光センサ(例えば、フォトダイオードとフォトカプラー)での検知結果、状態監視装置1内に設けられたGPS受信機にて検知した状態監視装置1の座標も考えられる。また、車両内に設置されている別なシステム、例えば天井やオーバヘッドモジュール等に設置されたセキュリティ用カメラやエアバッグ展開制御用カメラ、または乗員が発する赤外線放射をセンシングして空調制御に用いる赤外線センサなどで撮影した画像を用いて、状態監視装置1の位置を検出し、その結果をCAN等の通信手段を用いて状態監視装置1に送るようにしてもよい。
【0070】
さらに、発光部10の設置位置が規定位置から変位したか否かを判定する方法として、撮像部11にて撮像した画像PIを用いることも考えられる。この場合、撮像部11の設置位置が設定位置である場合に、画像PIの規定された領域に通常写り込むべき物体(例えば、ステアリングホイールSHやピラー、天井、サイドウィンドウ、リアウィンドウなど)が正常な位置に存在していないと認識された場合に、発光部10の設置位置が規定位置から変位したものと判定しても良い。
【0071】
ここで、状態監視処理へと戻り、S130での判定の結果、発光部10の設置位置が規定位置から変位していれば(S130:NO)、停止状況であるものとして、詳しくは後述する低下処理を実行する(S220)。一方、S130での判定の結果、発光部10の設置位置が規定位置から変位していなければ(S130:YES)、停止状況ではないものとして、発光部10に対して制御指令COを出力し、発光部10に近赤外光を発光させ、規定領域PAに近赤外光を照射する(S140)。続いて、撮像部11に設定領域EAを撮像させ、画像PIを取得する(S150)。
【0072】
本実施形態において、発光部10が近赤外光を発光するタイミングと、撮像部11が画像PIを撮像するタイミングとは、図6に示すように、発光部10が近赤外光を発光する期間(図中、発光タイミング)が、撮像部11の露光期間に同期するように設定される。ここで言う同期とは、発光と消灯とが撮像部の露光期間と完全一致を示すものではなくても良いが、露光期間(図中、露光タイミング)よりも若干長く規定されているのが望ましい。これは、車室内での撮像の場合、太陽光などの外乱ノイズ光によって画質が低下することを防ぐために、S/N比を高めることが有効なためである。図6ではグローバルシャッタの撮像素子の例で説明したが、これに限定されるわけではなくローリングシャッタの場合でも同様である。なお、図中の符号taは、撮像部11による画像PIの撮像間隔を表しており、図5におけるS130〜S210までの一連のサイクルにおいて、S150が実行される間隔である。撮像タイミングは一定周期taであってもよいし、状態監視ECUから要求があった場合のみ撮像するように外部から制御するようにしても良い。
【0073】
さらに、S150で撮像した画像PIに対して、乗員Hmの目の開度を導出する周知の画像処理や、乗員Hmの視線の方向を検出する周知の画像処理を実行する(S160)。そして、S160での画像処理の結果に基づいて、運転者Hmの覚醒度や、運転者Hmが脇見運転をしているか否か等を判定する周知の処理を、運転者Hmの状態を判定する状態判定として実行する(S170)。
【0074】
続いて、S170での状態判定の結果に基づいて、乗員Hmに対して警告を出力する必要の有無を判定する(S180)。本実施形態におけるS180での判定では、例えば、運転者Hmの覚醒度が予め規定された閾値未満(すなわち、運転者Hmに所定以上の眠気があると推定した)の場合や、運転者Hmが脇見運転を実施していると推定される場合に、警告を出力する必要があるものと判定している。実際には、顔向きが正面でない状態が継続している場合であっても、それが本当に脇見であるのか、必要な安全確認であるのかを、状態監視装置1だけで正しく判定することはできないので、周辺監視装置や車速などの情報と連携して判断する方が好ましい。
【0075】
そして、S180での判定の結果、警告を出力する必要があれば(S180:YES)、アクチュエータ部40に対して制御信号CSを出力して警告を出力する(S190)。
例えば、運転者Hmの覚醒度が閾値未満である場合にS190にて出力される警告は、休息を促す旨を報知部41から出力することや、シート振動部42を介して運転席を振動させることや、ステアリングに振動を付加することや、空調制御装置43を介して運転者Hmに向けて冷風を吹き付けることなどである。どのアクチュエーション手段を選択するかは、覚醒度のレベルに応じて変更したり、予め乗員Hmが設定したり、他の装置からの情報と組み合わせて最適な方法を選択したりする。また、あるアクチュエーション手段を実施したにも関わらず覚醒効果がみられない場合などは、その強弱を変化させたり、アクチュエーション方法を順番に変えていくのが効果的である。また、運転者Hmが脇見運転を実施している場合にS190にて出力される警告は、音声による報知を報知部41から出力することや、シート振動部42を介して運転席を振動させることや、空調制御装置43を介して運転者Hmに向けて冷風を吹き付けることなどである。その後、S200へと移行する。
【0076】
なお、S180での判定の結果、警告を出力する必要が無ければ(S180:NO)、S190を実行することなく、S200へと移行する。
このS200では、発光部10の制御値、及び撮像部11の制御値のうち、少なくとも一方を変更するか否かを判定する。このS200での判定では、周知の手法により、S150にて撮像した画像PIから、現時点で設定されている、発光部10の制御値及び撮像部11の制御値が、画像処理による運転者Hmの状態判定に最適な値であるか否かを判定する。したがって、S200での判定の結果、発光部10の制御値及び撮像部11の制御値が最適な値でなければ(S200:YES)、発光部10の制御値、及び撮像部11の制御値のうち、少なくとも一方を最適値へと変更する(S210)。
【0077】
このS210での制御値の変更は、予め実験などで求めた、画像PIの状態と制御値の最適値との関係を対応付けたテーブルなどに従って実行すれば良い。例えば、乗員Hmを画像処理することによって得られた乗員Hmの顔の一部または全体の画素値が予め設定した閾値の範囲内にあるかどうかを判定し、所定領域の画素値が閾値に対して小さい場合は、次回の撮像では画素値が大きくなるように、アナログゲインを大きくしたり、露光時間を長くしたり、発光強度を強くしたりする。その制御は段階的に収束するように実行するのが良い。それは、実車環境では様々な要因により、撮像フレーム毎に大きく最適な撮像条件が変更になる場合があり、制御テーブル上の設定値を一気に変更することでハンチングのような現象が起きる可能性があるからである。
【0078】
その後、S130へと戻る。
なお、S200での判定の結果、制御値を変更する必要が無い場合にも(S200:NO)、S130へと戻る。
【0079】
ところで、S130での判定の結果、発光部10の設置位置が規定位置から変位していれば(S130:NO)、低下処理を実行する(S220)。
このS220で実行される低下処理では、発光部10が発光する近赤外光のレベルを、近赤外光の制御範囲の下限値よりも低下させる。具体的に、本実施形態の低下処理では、発光部10による近赤外光の発光を停止(禁止)するように、発光部10に対する制御指令COの出力を指示する。
【0080】
なお、低下処理の処理内容はこれに限るものではなく、発光部10による近赤外光の発光を停止せず、発光部10が発光する近赤外光のレベルを、近赤外光の制御範囲の下限値よりも低下させるように制御指令COを変更しても良い。
【0081】
この場合、例えば、制御指令COの電流値を低下させることで実現しても良いし、制御指令COがパルス状の信号であれば、その信号のDutyを小さくすることで、実現しても良い。さらに、制御指令COが周期性を有した信号であれば、その周期を低くすることで実現しても良い(即ち、発光周波数を低くする)。さらには、これらを組み合わせることによって実現しても良い。
【0082】
続いて、状態監視処理では、アクチュエータ部40に対して制御信号CSを出力して警報を出力する(S230)。このS230での警報の出力とは、近赤外光の発光が不要である旨の報知を報知部41から出力することや、状態監視装置1の設置位置が取付位置から変位した旨の報知を報知部41から出力することである。さらに、S230での警報とは、シート振動部42を介して運転席を振動させることや、空調制御装置43を介して運転者Hmに向けて冷風を吹き付けることであっても良い。
【0083】
その後、本状態監視処理を終了する。
S230の後、しばらくの間はS120に戻るようにすることで、停止状況の判定が解消されるのを待っても良い。
【0084】
なお、本状態監視処理を終了する条件は、これに限るものではなく、処理フローの途中で乗員Hmによりイグニッションスイッチがオフされたときであっても良いし、状態監視装置1にON/OFFスイッチがある場合は乗員Hmによって、装置がOFFされたときであってもよい。
【0085】
以上説明したように、本実施形態の状態監視処理では、センサ55からの検知信号に基づいて、状態監視装置1の機能を停止すべき停止状況であるか否か、即ち、状態監視装置1の設置位置が取付位置から変位したか否かを判定する。この判定の結果、状態監視装置1の設置位置が取付位置から変位していなければ、停止状況ではないものとして、発光部10から近赤外光を規定領域PAに照射して、画像PIを撮像し、運転者Hmの状態を監視する。
【0086】
一方、判定の結果、状態監視装置1の設置位置が取付位置から変位していれば、停止状況であるものとして、低下処理、及び警報の出力を、本発明における特定処理として実行する。
[実施形態の効果]
このような状態監視装置1によれば、停止状況となると、発光部10が発光する近赤外光のレベルを、近赤外光の制御範囲の下限値よりも低下させることができる。この結果、停止状況である場合に、必要以上に強い強度の近赤外光が発光されることを低減できる。
【0087】
特に、本実施形態の状態監視装置1では、停止状況となると、発光部10による近赤外光の発光を禁止している。このため、停止状況である場合に、必要以上に強い強度の近赤外光が発光されることを、より確実に防止できる。
【0088】
また、状態監視装置1では、停止状況となると、近赤外光の発光が不要である旨や、状態監視装置1の設置位置が取付位置から変位した旨の警報が出力される。このため、自車両AMの乗員は、当該状況を認識することで、必要により所定の位置に復元させるなど、その状態を解消することができる。
【0089】
これらのことから、状態監視装置1によれば、強い強度の近赤外光が発光されることに起因して消費電力が増加することを低減できる。
また、状態監視装置1では、停止状況となると、発光部10が発光する近赤外光のレベルを近赤外光の制御範囲の下限値よりも低下させるため、状態監視装置1自体の安全性を高いものとすることができる。この安全性とは、発光部10が発光しないため、発光部10周辺の発熱が抑制されることで装置の温度上昇が低く抑えられることである。また、乗員Hmの顔が必要以上に状態監視装置1に近づいた場合でも、IEC62471で規定された生体安全性に対し、Exemptレベルの範囲内でもより大きなマージンを持って安全を確保することができる。
【0090】
なお、本実施形態の状態監視装置1では、特定状況であるものと判定されると、低下処理を実行して、発光部10による近赤外光の発光のみを停止(禁止)している。このとき、本実施形態の状態監視装置1では、停止状況が解消されて、状態監視装置1自体が動作可能になった場合に、発光部10による近赤外光の発光を許可するだけで、当該状態監視装置1を動作可能な状態へと素早く復帰できる。
【0091】
ところで、状態監視装置1は、ワイヤーハーネスWHを介して他の車載装置OMに接続されている。
このワイヤーハーネスWHの長さが長すぎると、状態監視装置1の設置位置が規定位置(ここでは、特に、撮像部11の設置位置が設定位置)から変位したときに、図7(A),(B)に示すように、監視対象としての乗員Hmの顔面と共に、ステアリングホイールSHやコラムカバーCCが障害物として、画像PI中に写り込む可能性があった。また、状態監視装置1の設置位置が規定位置(ここでは、特に、発光部10の設置位置が規定位置)から変位したときに、図7(C)に示すように、不必要な光が、画像PI中に写り込む可能性があった。
【0092】
これに対し、本実施形態のワイヤーハーネスWHは、状態監視装置1の設置位置が取付位置(発光部10の設置位置が規定位置)から変位した場合であっても、発光部10からの近赤外光が照射される領域が規定領域PAから許容範囲内となるように設定されているため、図8に示すような、障害物や不要な光が写り込んでいない画像PIを撮像できる。
【0093】
同様の効果はワイヤーハーネスを必要以上に長くしないだけではなく、ワイヤーハーネスを状態監視装置近傍でクランプすることによっても実現できる。
なお、状態監視装置1は、ステアリングコラムSCを覆うコラムカバーCCの裏面から、締結要素SRによって固定されているため、故意・過失にかかわらず、状態監視装置1の設置位置が取付位置から変位することを、より確実に低減できる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【0094】
例えば、上記実施形態では、停止状況を、発光部10の設置位置が規定位置から変位したこととしていたが、停止状況は、これに限るものでは無い。すなわち、停止状況を、撮像部11の設置位置が設定位置から変位したこととしても良いし、ステアリングホイールSHがステアリングコラムSCに非装着であることとしても良い。
【0095】
前者の場合、状態監視処理のS120にて取得する情報は、撮像部11の設置位置に関する情報である必要がある。
一方、後者のようにすれば、自車両AMに備えられたステアリングホイールSHがステアリングコラムSCに非装着であり、自車両AMが運転される可能性が極めて低いときに、発光部10が近赤外光を発光することを禁止できる。この結果、ステアリングホイールSHがステアリングコラムSCに非装着である場合であっても、必要以上に強い強度の近赤外光が発光されることを低減でき、消費電力が増加することを低減できる。
【0096】
ステアリングホイールSHがステアリングコラムSCに装着されているか否かの判定は、例えば、画像PI中の規定された領域にステアリングホイールSHが写り込んでいれば、ステアリングホイールSHがステアリングコラムSCに装着されているものと判定し、画像PIの規定された領域にステアリングホイールSHが写り込んでいなければ、ステアリングホイールSHがステアリングコラムSCに非装着であるものと判定すれば良い。また、ステアリングホイールSHがステアリングコラムSCに装着されているか否かの判定は、接触・非接触を検知する各種スイッチからの検知信号に基づいて実行しても良い。
【0097】
上記実施形態の状態監視処理では、発光部10の設置位置が規定位置から変位していれば(S130:NO)、低下処理(S220)、及び警報の出力(S230)の両方を実行していたが、発光部10の設置位置が規定位置から変位した場合に実行する処理は、低下処理(S220)、及び警報の出力(S230)のいずれか一方でも良い。
【0098】
さらに、上記実施形態では、低下処理として、発光部10による近赤外光の発光を停止することを実行していたが、低下処理の内容としては、これに限るものではなく、例えば、状態監視装置1への電力供給を遮断することでも良いし、撮像部11や状態監視ECU15をスタンバイ状態に維持した上で、発光部10への電力供給を遮断することでも良い。特に、後者の場合、状態監視装置1では、撮像部11や状態監視ECU15がスタンバイ状態に維持されるため、停止状況が解消されて、状態監視装置1自体が動作可能になった場合に、発光部10を起動させるだけで、当該状態監視装置1を動作可能な状態へと素早く復帰できる。
【0099】
このように、低下処理(S220)、及び警報の出力(S230)のいずれか一方を実行するときの実行条件についても、発光部10の設置位置が規定位置から変位した場合に限らず、ステアリングホイールSHがステアリングコラムSCに非装着である場合であっても良い。
【0100】
ところで、上記実施形態においては、発光部10を、近赤外光を発光する発光ダイオード(LED)として構成したが、発光部10の構造は、発光ダイオードに限るものではない。つまり、状態監視ECU15からの制御指令COに従って、近赤外光を発光する装置であれば、どのようなものでも良い。
【0101】
また、上記実施形態では、発光部10が近赤外光を発光するタイミングと、撮像部11が画像PIを撮像するタイミングとを、発光部10が近赤外光を発光する期間を、撮像部11の露光期間よりも長く規定した上で、撮像部11による画像PIの撮像(露光開始から露光終了まで)を、発光部10が近赤外光の発光期間中に実行していたが、画像PIの撮像タイミングは、これに限るものではない。つまり、撮像部11の露光期間が、発光部10が近赤外光を発光する期間よりも長くとも良い。
【0102】
さらには、状態監視ECU15は、発光部10が、近赤外光を常時発光するように制御しても良い。
ところで、上記実施形態においては、状態監視装置1をステアリングコラムSC上に設置していたが、状態監視装置1の設置位置は、これに限るものではない。例えば、ダッシュボード上や、メータ表面、メータ内部などに設置しても良い。つまり、状態監視装置1は、規定領域PAに近赤外光を照射し、設定領域EAを撮像範囲とした画像PIを撮像するように設置されていれば、どのような位置に設置されていても良い。
【0103】
また、上記実施形態では、発光部10及び撮像部11は、筐体60内に収納されて(即ち、一体化されて)、ステアリングコラムSCのコラムカバーCC上に設置されていたが、発光部10と撮像部11との設置位置はこれに限るものではなく、発光部10と撮像部11とは別々の位置に設置されていても良い。
【0104】
さらに、センサ55は、状態監視装置1専用に備えられていても良いし、車両AMに搭載される他の装置を共用であっても良い。前者の場合、センサ55は、状態監視装置1内に設けられていても良い。また、センサ55が、車両AMに搭載される他の装置と共用である場合には、そのセンサ55からの信号ラインが状態監視装置1に接続されるようにしても良い。さらには、センサ55は、車両の外部に設けられていても良い。
【0105】
上記実施形態では、状態監視処理の起動条件を、イグニッションスイッチがオンされた場合としたが、状態監視処理の起動条件はこれに限るものではなく、例えば、自車両AMが開錠された場合であっても良いし、イグニッションスイッチ(IG)をオンした後に状態監視装置1の初期化段階でであっても良い。
【0106】
なお、上記実施形態では、状態監視装置1の設置対象を自動車としたが、状態監視装置1の設置対象は、自動車に限るものではなく、自転車や鉄道車両であっても良い。つまり、状態監視装置1の設置対象は、車両であればどのようなものでも良い。
[実施形態と特許請求の範囲との対応関係]
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【0107】
上記実施形態における発光部10が、特許請求の範囲の記載における発光手段に相当し、撮像部11が、特許請求の範囲における撮像手段に相当する。
上記実施形態の状態監視処理におけるS140からS210が、特許請求の範囲の記載における状態監視手段に相当し、状態監視処理におけるS130が、特許請求の範囲の記載における状況判定手段に相当する。
【0108】
さらに、状態監視処理におけるS220及びS230が、特許請求の範囲の記載における処理実行手段に相当する。このうち、S220が、特許請求の範囲の記載における発光制御手段に相当し、S230が、特許請求の範囲の記載における報知制御手段に相当する。なお、状態監視処理におけるS120が、特許請求の範囲の記載における位置取得手段に相当する。
【符号の説明】
【0109】
1…状態監視装置 10…発光部 11…撮像部 15…状態監視ECU 16…ROM 17…RAM 18…CPU 21…制御部 22…画像処理部 23…状態推定部 24…警報判定部 26…変位検出部 27…照射制御部 40…アクチュエータ部 41…報知部 42…シート振動部 43…空調制御装置 44…スピーカー部 55…センサ 56…Gセンサ 57…磁気センサ SC…ステアリングコラム SH…ステアリングホイール WH…ワイヤーハーネス

【特許請求の範囲】
【請求項1】
車両に搭載され、
近赤外光を含む波長の光を発光すると共に、自車両の乗員の顔面が位置する領域として規定された規定領域に近赤外光が照射されるように規定された規定位置に設置される発光手段と、
前記規定領域の少なくとも一部を含む領域を撮影領域とした画像を撮像する撮像手段と、
前記撮像手段で撮像された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視手段と
を備えた状態監視装置であって、
当該状態監視装置の機能を停止すべき状況である停止状況であるか否かを判定する状況判定手段と、
前記状況判定手段での判定の結果、前記停止状況である場合、前記発光手段の機能を低下させるよう定められた特定処理を実行する処理実行手段と
を備えることを特徴とする状態監視装置。
【請求項2】
前記処理実行手段は、
前記停止状況と判定された場合、前記発光手段が発光する近赤外光のレベルを、定められた基準レベルよりも低下させる低下処理を、前記特定処理として実行する発光制御手段
を備えることを特徴とする請求項1に記載の状態監視装置。
【請求項3】
前記発光制御手段は、
前記停止状況である場合、前記発光手段による近赤外光の発光を禁止することを、前記低下処理として実行する
ことを特徴とする請求項2に記載の状態監視装置。
【請求項4】
前記処理実行手段は、
前記停止状況である場合、少なくとも、前記発光手段による近赤外光の発光が不要である旨を報知する報知処理を、前記特定処理として実行する報知制御手段
を備えることを特徴とする請求項1から請求項3のいずれか一項に記載の状態監視装置。
【請求項5】
前記状況判定手段は、
前記発光手段の設置位置に関する設置位置情報を取得する位置取得手段
を備え、
前記位置取得手段で取得した設置位置情報が、前記発光手段の設置位置が前記規定位置から変位したことを表している場合、前記停止状況であるものと判定する
ことを特徴とする請求項1から請求項4のいずれか一項に記載の状態監視装置。
【請求項6】
前記車両は、自動車であり、
前記状況判定手段は、
自車両に備えられたステアリングホイールがステアリングコラムに装着されているか否かを検出するステアリング状態検出手段を備え、
前記ステアリング状態検出手段での検出の結果、前記ステアリングホイールが前記ステアリングコラムに非装着である場合、前記停止状況であるものと判定する
ことを特徴とする請求項1から請求項5のいずれか一項に記載の状態監視装置。
【請求項7】
当該状態監視装置は、
前記発光手段と、前記撮像手段と、前記状態監視手段と、前記状況判定手段と、前記処理実行手段とが、一つの筐体内に収納されており、
さらに、前記発光手段の設置位置が前記規定位置から変位した場合に、当該発光手段からの近赤外光が照射される領域が前記規定領域から許容範囲内となるように設定されたワイヤーハーネスによって、自車両に搭載された車載装置と接続される
ことを特徴とする請求項1から請求項6のいずれか一項に記載の状態監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−103530(P2013−103530A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−246733(P2011−246733)
【出願日】平成23年11月10日(2011.11.10)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】