顔向き検知装置及び顔向き検知方法
【課題】顔の向きの検知などを必ずしも正確にできないときを判断することのできる低コストな顔向き検知装置を提供する。
【解決手段】ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲などの既知である位置や範囲に基づき、運転者の頭部が近赤外カメラ１２の撮影画像において過度に偏ってしまう範囲や近赤外カメラ１２の撮影範囲を超える範囲などを、ヘッドレストの設置位置を基準にしきい値として予め定める。そして、ヘッドレストセンサ１３と運転者の頭部との間の距離が当該しきい値以上となったとき、顔の向きの検知などをする検知処理を一時停止し、一時停止していることを示す一時停止情報を生成する。
【解決手段】ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲などの既知である位置や範囲に基づき、運転者の頭部が近赤外カメラ１２の撮影画像において過度に偏ってしまう範囲や近赤外カメラ１２の撮影範囲を超える範囲などを、ヘッドレストの設置位置を基準にしきい値として予め定める。そして、ヘッドレストセンサ１３と運転者の頭部との間の距離が当該しきい値以上となったとき、顔の向きの検知などをする検知処理を一時停止し、一時停止していることを示す一時停止情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の顔の向きを検知する顔向き検知装置に関し、より特定的には、自動車などの移動体の運転者の顔の向きを検知する顔向き検知装置に関する。
【背景技術】
【０００２】
運転者の顔面の画像を撮影することによって得られた画像データを処理することにより運転者の顔の向きを検知し、検知した結果に基づいて運転者が脇見運転などをしていると判断したときに注意を促す顔向き検知装置が知られている。このような顔向き検知装置の従来技術として、例えば、特許文献１に記載の運転者の顔向き判定装置（以下、従来技術と称する）が挙げられる。
【０００３】
従来技術では、少なくとも２つのカメラを用いて撮影することによって運転者の顔面のステレオ画像を撮影し、テンプレートマッチングや３次元モデル・フィッティングなどの手法を用いて運転者の顔の向きの検知や視線方向の追従をしている。
【特許文献１】特開２００３−１５８１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では以下に示す課題を有している。上記従来技術では、ステレオ画像に基づいて運転者の顔の向きの検知や視線方向の追従をしているため、カメラに対する運転者の顔面の位置によっては、顔の向きの検知結果や視線の追従結果が必ずしも正確でないときがある。
【０００５】
そして、正確でない結果に基づいて運転者に注意を促すと、例えば、安全な状態で運転をしている運転者に対して唐突に注意を促し、運転者を不用意にあわてさせてしまうことになり好ましくない。また、ステレオ画像、或いは、互いに異なる位置から運転者の頭部を撮影した３以上の画像に基づいて、運転者の顔の具体的な位置を測定する画像認識処理は処理負荷が大きく、処理負荷の大きい処理をするために高価な処理システムが必要となる。
【０００６】
それ故に、本発明は、運転者の顔の具体的な位置に基づき顔の向きの検知などを必ずしも正確にできないときを判断することのできる低コストな顔向き検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は以下に示すような特徴を有する。
【０００８】
第１の発明は、車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知装置であって、車両のヘッドレスト内部に取り付けられ、使用者の頭部との位置関係を検知する検知手段と、検知手段によって検知された位置関係が予め定められた条件を満たすとき、検知処理を一時停止させる一時停止手段と、一時停止手段により検知処理を一時停止していることを示す一時停止情報を生成する生成手段とを備える。
【０００９】
第２の発明は、第１の発明において、検知手段は、使用者の頭部との間の距離を位置関係として検知し、一時停止手段は、検知手段によって検知された距離が予め定められたしきい値以上となったとき条件が満たされたと判断する。
【００１０】
第３の発明は、第２の発明において、検知手段は、車両に搭載されるアクティブヘッドレストの内部に取り付けられる。
【００１１】
第４の発明は、第１の発明において、生成手段は、車両に搭載されるプリクラッシュ制御システムに対して一時停止情報を生成する。
【００１２】
第５の発明は、第１の発明において、検知手段は静電容量センサである。
【００１３】
第６の発明は、第１の発明において、検知手段は超音波センサである。
【００１４】
第７の発明は、第１の発明において、検知手段は光学式センサである。
【００１５】
第８の発明は、車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知方法であって、車両のヘッドレスト内部に取り付けられたヘッドレストセンサと使用者の頭部との位置関係を検知する検知ステップと、検知ステップにおいて検知された位置関係が予め定められた条件を満たすか否かを判断する判断ステップと、判断ステップにおいて条件が満たされたと判断されたとき、検知処理を一時停止させる一時停止ステップと、一時停止ステップをしたとき、検知処理を一時停止していることを示す一時停止情報を生成する生成ステップとを備える。
【００１６】
第９の発明は、第８の発明において、検知ステップにおいて、使用者の頭部との間の距離を位置関係として検知し、判断ステップにおいて、検知ステップで検知された距離が、予め定められたしきい値以上となったとき、条件が満たされたと判断する。
【発明の効果】
【００１７】
第１の発明によれば、車両のヘッドレストの内部に取り付けられたヘッドレストセンサと使用者の頭部との位置関係を直接測定し、予め定めた条件を満たすか否かを判断するだけで、使用者の顔の位置が撮影画像において過度に偏っているときや撮影画像の撮影範囲を超えているときなどの使用者の顔の向きの検知などを必ずしも正確にできないときを判断できる。したがって、第１の発明によれば、複数の画像を処理することにより使用者の顔の具体的な位置を測定する高い負荷の処理をするための高コストな装置を用いることなく、運転者の顔の具体的な位置に基づき顔の向きの検知などを必ずしも正確にできないときを判断することのできる低コストな顔向き検知装置を提供できる。
【００１８】
第２の発明によれば、使用者の頭部と検知手段との間の距離に基づいて、顔の向きの検知などを必ずしも正確にできないときを判断することができる。
【００１９】
第３の発明によれば、新たな検出手段を追加することなく、車両に搭載されているアクティブヘッドレストの内部に取り付けられているヘッドレストセンサを検出手段として利用することができ、さらに低コストな顔向き検知装置を提供することができる。
【００２０】
第４の発明によれば、車両に搭載されているプリクラッシュ制御システムに対して一時停止情報を生成するため、一時停止情報を取得したプリクラッシュ制御システムは予め定められた適切な処理をすることができる。
【００２１】
第５の発明によれば、検知手段として調達の容易な静電容量センサを用いることができ、低コストな顔向き検知装置を提供することができる。
【００２２】
第６の発明によれば、検知手段として調達の容易な超音波センサを用いることができ、低コストな顔向き検知装置を提供することができる。
【００２３】
第７の発明によれば、検知手段として調達の容易な光学式センサを用いることができ、低コストな顔向き検知装置を提供することができる。
【００２４】
また、本発明の顔向き検知方法によれば、上述した顔向き検知装置と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２５】
（第１の実施形態）
図１は、第１の実施形態に係る車両などに搭載される運転者監視システム１及び車両制御システム２の機能ブロック図である。
【００２６】
運転者監視システム１は、近赤外照明１１と、近赤外カメラ１２と、ヘッドレストセンサ１３と、ＥＣＵ１４とからなる。近赤外照明１１は、近赤外光を発する照明装置であり、典型的には近赤外光を発するＬＥＤ（Light Emitting Diode）である。近赤外照明１１は、近赤外光が運転者に照射されるように車両内に配置される。
【００２７】
近赤外カメラ１２は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。近赤外領域で高い感度特性を有するカメラを用いることにより、夜間やトンネル内などを走行中で車内が暗い状況でも、近赤外照明１１に照らされた撮像対象を感度よく撮像することが可能である。近赤外カメラ１２は、運転者の顔を撮像可能な位置に配置される。近赤外カメラ１２は、運転者の顔面及びその周囲の画像を撮影し、撮影画像データを生成する。
【００２８】
ヘッドレストセンサ１３は、典型的には静電容量センサであり、シートに着座している運転者のヘッドレストの内部に取り付けられている。ヘッドレストセンサ１３は、図２に示すように、着座している運転者の頭部とヘッドレストセンサ１３（ヘッドレスト）との間の距離Ｌを測定し、測定した距離Ｌを示す情報を生成する。より具体的には、ヘッドレストセンサ１３は、距離Ｌが長くなるにしたがって小さくなるような比例関係を有する電圧を、距離Ｌを示す情報として生成する。尚、ヘッドレストセンサ１３は、着座している運転者の頭部とヘッドレストとの距離Ｌを測定できるのであれば、ヘッドレスト内部のどのような位置に取り付けてもよいし、ヘッドレスト内部に限られず、ヘッドレストの表面やその他の取り付け位置など、どのような場所に取り付けられてもよい。
【００２９】
ＥＣＵ１４は、顔向き検知装置１４１などの情報処理装置及びインターフェース回路などを少なくとも備える処理装置である。ＥＣＵ１４は、近赤外カメラ１２によって生成された撮影画像データを取得し、顔向き検知装置１４１などの情報処理装置で処理する。そして、ＥＣＵ１４は、処理の結果を示す情報の１つとして、運転者の状態を示す情報を生成する。
【００３０】
顔向き検知装置１４１は、典型的にはマイクロコンピュータなどの情報処理装置である。顔向き検知装置１４１は、可能な処理の１つとして、ＥＣＵ１４によって取得された撮影画像データに基づき運転者の顔の向きの角度を検知する検知処理をして、運転者の顔の向きの角度を示す情報を生成する。
【００３１】
さらに、本実施形態に係る顔向き検知装置１４１には、ヘッドレストセンサ１３によって生成される電圧を距離Ｌへ換算するための電圧−距離特性として前述の比例関係が予め設定されている。そして、顔向き検知装置１４１は、ヘッドレストセンサ１３によって生成される電圧を取得し、取得した電圧を前述の電圧−距離特性を用いて距離Ｌに換算する。そして、顔向き検知装置１４１は、換算した距離Ｌに基づき検知処理の一時停止及び再開をし、検知処理を一時停止していることを示す情報を生成する。本実施形態に係る顔向き検知装置１４１の検知処理を一時停止及び再開する処理の詳細については後述する。
【００３２】
車両制御システム２は、プリクラッシュ制御システム２１を少なくとも含む。プリクラッシュ制御システム２１は、典型的にはマイクロコンピュータなどの情報処理装置であり、顔向き検知装置１４１などによって生成される情報をＣＡＮ（Controller Area Network）などを介して取得し、取得した情報に基づき運転者の疲れ具合などを判断することができる。
【００３３】
また、プリクラッシュ制御システム２１は、典型的には車両の周囲の障害物などの対象物を測定するミリ波レーダー（図示せず）が接続されている。そして、プリクラッシュ制御システム２１は、判断した運転者の疲れ具合やミリ波レーダーによる測定結果などに応じて車両と障害物との衝突の危険を報ずる警告、運転者の安全を確保するための制御及び衝突回避走行の制御などを実行する。尚、プリクラッシュ制御システム２１に接続されるレーダーはミリ波レーダーのみに必ずしも限られない。
【００３４】
以上が、本実施形態に係る運転者監視システム１及び車両制御システム２の説明である。次に、本実施形態に係る顔向き検知装置１４１の処理について説明をする。
【００３５】
顔向き検知装置１４１は、検知処理と並行して、ヘッドレストセンサ１３によって生成される電圧を取得して上述したように距離Ｌへ換算し、予め定められたしきい値と比較する。そして、顔向き検知装置１４１は、換算した距離Ｌが前述のしきい値以上でないと判断したとき、検知処理を続ける。一方、顔向き検知装置１４１は、換算した距離Ｌがしきい値以上であると判断したとき、検知処理を一時停止し、さらに、一時停止したことを示す一時停止情報を生成する。以下、顔向き検知装置１４１が一時停止情報を生成する理由について説明する。
【００３６】
検知処理において、顔向き検知装置１４１は運転者の顔の撮影画像データに対してエッジ抽出処理などの処理をし、処理の結果に基づいて運転者の顔の向きの角度を検知し、運転者の顔の向きの角度を示す情報を生成する。そして、プリクラッシュ制御システム２１は、顔向き検知装置１４１によって生成された情報を取得し、例えば、運転者が脇見をしているなどの安全な運転をするために好ましくない状態であると判断したときに、運転者に対して警告を発する処理などをする。
【００３７】
しかしながら、運転者の顔の位置が近赤外カメラ１２によって撮影される撮影画像において過度に偏ってしまったり、近赤外カメラ１２の撮影範囲を超えてしまうと、検知処理において顔向き検知装置１４１が誤ったエッジを抽出してしまうことがある。そして、顔向き検知装置１４１が誤ったエッジを抽出した結果に基づいて、誤った角度を示す情報を生成すると、誤った情報を取得したプリクラッシュ制御システム２１は、運転者が安全な運転をしている状態であるにもかかわらず、運転者が脇見をしているなどの好ましくない状態であると誤判断してしまう。プリクラッシュ制御システム２１は、誤判断をすると、例えば、誤って唐突に警告を発してしまうなどの誤動作をしてしまう。誤って唐突に警告が発せられると、例えば、運転者は安全な運転のための集中力を奪われてしまう。
【００３８】
したがって、顔向き検知装置１４１は、運転者の顔の位置が近赤外カメラ１２の撮影画像において過度に偏ってしまう、或いは、撮影範囲を超えてしまうなどの理由により運転者の顔の向きの角度を必ずしも正確に検知できないときには、顔の向きの角度の検知などの検知処理を一時停止し、検知処理を一時停止していることを示す一時停止情報を生成する。
【００３９】
そして、プリクラッシュ制御システム２１は一時停止情報を取得することにより、顔向き検知装置１４１が検知処理を一時停止して顔の向き角度を検知していないことを検知したときには、検知処理が一時停止されているときの処理として予め定められた適切な処理をすることができ、誤動作することを防ぐことができる。
【００４０】
プリクラッシュ制御システム２１に予め定められる適切な処理としては、一時停止情報を取得したときに、運転者に頭部の位置を正すように警告を発する処理などが、一例として考えられる。
【００４１】
次に、本実施形態に係る顔向き検知装置１４１が、運転者の顔の位置が近赤外カメラ１２によって撮影される撮影画像において過度に偏っている、或いは、近赤外カメラ１２の撮影範囲を超えているなどの運転者の顔の向きの角度を必ずしも正確に検知できないときを判断する方法について説明する。
【００４２】
運転をしているときの運転者の頭部は、ヘッドレストの設置位置を基準とする範囲内に存在すると考えることができる。一方、近赤外カメラ１２の撮影範囲は、運転者が安全な運転をしているときにおける頭部の一般的な位置などに基づいて、正確にエッジを抽出できるように予め定められる。そして、ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲は、それぞれ予め定めることができるため、既知である。
【００４３】
したがって、ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲などの既知である位置や範囲に基づき、運転者の頭部が近赤外カメラ１２の撮影画像において過度に偏ってしまう範囲や近赤外カメラ１２の撮影範囲を超える範囲などを、ヘッドレストの設置位置を基準として予め定めることができる。本実施形態では、ヘッドレストの設置位置を基準とするこれらの範囲として、前述の距離Ｌに対するしきい値を顔向き検知装置１４１に予め定めることにより、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えているなどの運転者の顔の向きの角度を必ずしも正確に検知できないときを判断することができる。
【００４４】
次に、図３に示すフローチャートを参照しながら本実施形態に係る顔向き検知装置１４１の処理をより具体的に説明する。
【００４５】
ステップＳ１０１において、顔向き検知装置１４１は、ヘッドレストセンサ１３によって生成される電圧を距離Ｌを示す情報として取得し、取得した電圧を上述したように距離Ｌに換算する。顔向き検知装置１４１は、ステップＳ１０１の処理を完了すると、ステップＳ１０２へ処理を進める。顔向き検知装置１４１がステップＳ１０１の処理をすることにより距離Ｌを検知することができる。
【００４６】
ステップＳ１０２において、顔向き検知装置１４１は換算した距離Ｌが予め定められたしきい値以上であるか否かを判断する。顔向き検知装置１４１は取得した距離Ｌがしきい値以上であると判断したときステップＳ１０３へ処理を進める。一方、顔向き検知装置１４１は取得した距離Ｌがしきい値以上でないと判断したとき、ステップＳ１０４へ処理を進める。
【００４７】
ステップＳ１０３において、顔向き検知装置１４１は検知処理を一時停止したことを示す一時停止情報を生成する。顔向き検知装置１４１はステップＳ１０３の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００４８】
ステップＳ１０４において、顔向き検知装置１４１は上述したように、運転者の顔の向きの角度を検知する検知処理をして、運転者の顔の向きの角度を示す情報を生成する。顔向き検知装置１４１は、ステップＳ１０４の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００４９】
本実施形態に係る顔向き検知装置１４１は、距離Ｌがしきい値以上でないときはステップＳ１０４における検知処理を続けて繰り返す。一方、距離Ｌがしきい値以上であるときはステップＳ１０４の処理をせずにステップＳ１０３の処理をすることにより、ステップＳ１０３における検知処理を一時停止して、一時停止情報を生成することができる。そして、一時停止情報を生成した後、距離Ｌがしきい値以上でなくなると、再びステップＳ１０４の処理へ進み、検知処理を再開することができる。
【００５０】
次に、顔向き検知装置１４１のステップＳ１０４における検知処理の一例を図４及び図５を参照しながら説明をする。まず、図４を参照しながら、顔向き検知装置１４１が検知する運転者の顔の向きの角度α（以下、顔向き角度αという）について説明する。
【００５１】
図４は近赤外カメラ１２によって撮影された撮影画像及び当該撮影画像の撮影時点の運転者の頭部を真上から鉛直方向に見下ろしたときの図である。本実施形態では、図４に示すように運転者の頭部は頭頂部を上面とする円柱形状を成しているものと見なす。さらに、本実施形態では、運転者の顔は円柱状の頭部の中心線を中心に回転するものと見なす。
【００５２】
また、本実施形態では、顔向き角度αの値は、近赤外カメラ１２に対して正面を向いた状態でα＝０であるものとする。そして、顔向き角度αの値は、顔が近赤外カメラ１２に対して正面を向いた状態から右方向を向くほど大きくなる。一方、顔が近赤外カメラ１２に対して正面を向いた状態から左方向を向くほど、顔向き角度αの値は小さくなる。したがって、顔向き角度αの値は、顔が右方向を向くと正の値となり、左方向を向くと負の値となる。
【００５３】
次に、本実施形態に係る顔向き検知装置１４１の図５のフローチャートに示す検知処理について図４を適宜参照しながら説明する。尚、図５のフローチャートに示す検知処理は、公知の検知処理の一例であり、運転者の顔向き角度αを示す情報を生成できるのであればどのような処理であってもよい。
【００５４】
ステップＳ１０３１において、顔向き検知装置１４１は、近赤外カメラ１２によって生成された撮影画像データを取得し、取得した撮影画像データに対してエッジ抽出処理をする。顔向き検知装置１４１は、ステップＳ１０３１の処理を完了すると、ステップＳ１０３２へ処理を進める。
【００５５】
ステップＳ１０３２において、顔向き検知装置１４１は、エッジ抽出処理をした撮影画像における運転者の顔の輪郭を検出して、左端ＥＬ及び右端ＥＲを検出する。図４に示すように、運転者の顔の左端ＥＬは顔の輪郭の左の端点のＸ座標であり、運転者の顔の右端ＥＲは顔の輪郭の右の端点のＸ座標である。顔向き検知装置１４１は、ステップＳ１０３２の処理を完了すると、ステップＳ１０３３へ処理を進める。
【００５６】
ステップＳ１０３３において、顔向き検知装置１４１は、左端ＥＬ及び右端ＥＲに基づき、撮影画像データによって示される撮影画像中における運転者の顔の目、鼻及び口が写っている領域をそれぞれ検出する。顔向き検知装置１４１は、ステップＳ１０３３の処理を完了すると、ステップＳ１０３４へ処理を進める。
【００５７】
ステップＳ１０３４において、顔向き検知装置１４１は、ステップＳ１０３３において特定したそれぞれの領域に基づき、運転者の顔の中心Ｃを検出する。顔向き検知装置１４１は、ステップＳ１０３３の処理を完了すると、ステップＳ１０３５へ処理を進める。
【００５８】
ステップＳ１０３５において、顔向き検知装置１４１は、ステップＳ１０３４において検出した中心Ｃから左端ＥＬまでの幅ＷＬと、中心Ｃから右端ＥＲまでの幅ＷＲとを算出する。顔向き検知装置１４１は、ステップＳ１０３５の処理を完了すると、ステップＳ１０３６へ処理を進める。
【００５９】
ステップＳ１０３６において、顔向き検知装置１４１は、ステップＳ１０３５において算出した幅ＷＬ及びＷＲの値の比に基づいて顔向き角度αを検知する。より詳細には、幅ＷＬと幅ＷＲとの値は、図４に示すように、顔が近赤外カメラ１２に対して正面を向いているときに略等しくなる。一方、顔が近赤外カメラ１２に対して右を向いているときは、幅ＷＬの値が幅ＷＲの値よりも大きくなる。つまり、顔向き角度αの大きさに応じて、幅ＷＲと幅ＷＬとの値の比が変化する。そこで、顔向き検知装置１４１に対して幅ＷＲと幅ＷＬとの値の比を顔向き角度αの値に換算するデータテーブルを予め記憶させておく。そして、顔向き検知装置１４１は、ステップＳ１０３６において、記憶しているデータテーブルを用いて幅ＷＬと幅ＷＲとの比を顔向き角度αに換算することにより、顔向き角度αを検知する。顔向き検知装置１４１は、ステップＳ１０３６において、顔向き角度αを検知すると、検知した顔向き角度αを示す情報を生成して、図３に示すステップＳ１０１へ処理を戻す。
【００６０】
以上が、本実施形態に係る顔向き検知装置１４１の処理の説明である。本実施形態に係る顔向き検知装置１４１が図３のフローチャートに示す処理をすることにより、誤ったエッジを抽出する可能性が高い位置に運転者の頭部が存在するとき、すなわち、運転者の顔の向きの角度を必ずしも正確に検知できないと判断したときに検知処理を一時停止し、検知処理を一時停止したことを示す一時停止情報を生成する。これにより、一時停止情報を取得したプリクラッシュ制御システム２１は顔向き検知装置１４１が検知処理を一時停止したことを検知することができ、誤動作することを防ぐことができる。
【００６１】
さらに、本実施形態に係る顔向き検知装置１４１は、図３のフローチャートに示す処理をすることにより、例えば、ステレオ画像を画像処理することによって運転者の顔の具体的な位置を測定するための高負荷な処理をせずとも、ヘッドレストセンサ１３を用いて運転者の頭部の位置を示す具体的な情報を取得することができる。このため、本実施形態に係る顔向き検知装置１４１によれば、高負荷な処理をするための高コストな装置と比較して、低コストで運転者の顔の向きの検知などを必ずしも正確にできないときを判断することができる装置を提供できる。
【００６２】
尚、本発明に係る顔向き検知装置１４１が運転者の顔の向きの角度を必ずしも正確に検知できないと判断するときは、誤ったエッジを抽出する可能性が高いときに限られるものではなく、撮影画像に対する処理の結果が誤っており、運転者の顔の向きの誤った角度を示す情報を生成すると考えられればどのようなときでもよい。
【００６３】
尚、本発明において用いられるヘッドレストセンサ１３は、静電容量センサに限られるものではない。ヘッドレストセンサ１３として用いることのできるセンサは、ヘッドレスト表面、ヘッドレスト内部及び車両内のいかなる箇所に設置してもよく、運転者の頭部とヘッドレストセンサ１３（ヘッドレスト）との間の距離を測定できればどのようなセンサを用いてもよい。ヘッドレストセンサ１３の他の例としては、光学式センサや超音波センサなどが挙げられる。
【００６４】
また、第１の実施形態の説明では、ヘッドレストセンサ１３によって生成された電圧を顔向き検知装置１４１が距離Ｌに換算するものとしたが、ヘッドレストセンサ１３が生成した電圧を距離Ｌへ換算し、換算した距離Ｌを示す情報を顔向き検知装置１４１が取得してもよい。
【００６５】
また、本発明に係る顔向き検知装置１４１が取得する距離Ｌを示す情報は必ずしも前述の電圧でなくてもよく、距離Ｌを直接示す情報であってもよいし、顔向き検知装置１４１が換算或いは変換できればどのような情報であってもよい。
【００６６】
また、ＥＣＵ１４は、顔向き検知装置１４１による検知処理だけでなく、さらに、撮影画像データ及び顔向き検知装置１４１によって生成される顔向き角度αなどに基づき、運転者の顔の特徴を検出するための特徴点検出処理などをしてもよい。
【００６７】
また、本発明におけるヘッドレストセンサ１３は、ヘッドレストセンサ１３によって生成された情報を取得したプリクラッシュ制御システム２１が、取得した情報に基づいてヘッドレストを適切な位置に移動させるアクティブヘッドレストの内部に取り付けられるヘッドレストセンサであってもよい。これにより、本発明におけるヘッドレストセンサ１３として、従来車両に搭載されているアクティブヘッドレストのためのセンサを用いることができ、低コストで本発明に係る顔向き検知装置１４１を提供することができる。
【００６８】
また、第１の実施形態では、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えているか否かを判断するためにヘッドレストの内部に設けたヘッドレストセンサ１３を用いることによって測定される距離Ｌと、ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲に基づいて定めた前述のしきい値とを比較していた。しかしながら、本発明は、このように定めたしきい値と測定した距離とに基づき、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えたか否かを判断するものに必ずしも限らなくてもよい。
【００６９】
例えば、本発明におけるヘッドレストセンサ１３として説明したセンサを、運転者の頭部との間の距離を測定できる車両内のいずれかの設置位置に設置し、当該設置位置と近赤外カメラ１２の撮影範囲とに基づいて前述のしきい値を定め、当該センサによって測定される距離と比較することによって、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えたか否かを判断してもよい。
【００７０】
また、本発明において、検知処理を一時停止する方法は、図３のフローチャートに示す処理に限られるものではない。検知処理を一時停止する方法の他の一例としては、顔向き検知装置１４１が前述の検知処理と図６に示す処理とを独立して並行する方法が挙げられる。図６は、本発明に係る顔向き検知装置１４１の図３のフローチャートに示す処理を変形した他の処理の一例を示すフローチャートである。以下、図６のフローチャートに示す処理について説明する。尚、図６のフローチャートに示す処理において図３と同一の処理については同一の参照符号を付し、説明を省略する。
【００７１】
図６のフローチャートにおいて顔向き検知装置１４１は、ステップＳ１０１の処理を完了すると、ステップＳ２０１の処理へ進む。ステップＳ２０１において、顔向き検知装置１４１は換算した距離Ｌが予め定められたしきい値以上であるか否かを判断する。顔向き検知装置１４１は取得した距離Ｌがしきい値以上であると判断したときステップＳ２０２へ処理を進める。一方、顔向き検知装置１４１は取得した距離Ｌがしきい値以上でないと判断したとき、ステップＳ２０３へ処理を進める。
【００７２】
ステップＳ２０２において、顔向き検知装置１４１は独立して並行している検知処理を一時停止する一時停止処理をする。さらに、ステップＳ２０２において、顔向き検知装置１４１は、一時停止処理をすると検知処理を一時停止したことを示す一時停止情報を生成する。顔向き検知装置１４１はステップＳ２０２の処理を完了すると、ステップＳ２０１へ処理を戻す。
【００７３】
ステップＳ２０３において、顔向き検知装置１４１は、独立して並行している検知処理を一時停止しているか否かを判断する。顔向き検知装置１４１は、ステップＳ２０３において、検知処理を一時停止していると判断したとき、ステップＳ２０４へ処理を進める。一方、顔向き検知装置１４１は、ステップＳ２０３において、検知処理を一時停止していないと判断したとき、ステップＳ２０１へ処理を戻す。
【００７４】
ステップＳ２０４において、顔向き検知装置１４１は、独立して並行している検知処理の一時停止を解除する一時停止解除処理をする。顔向き検知装置１４１は、ステップＳ２０４の処理を完了すると、ステップＳ２０１へ処理を戻す。
【００７５】
以上が、図６のフローチャートに示す処理の説明である。本発明に係る顔向き検知装置１４１は、前述の検知処理を独立して並行しているときに図６のフローチャートに示す処理をすることによっても、図３のフローチャートに示す処理をするときと同様の効果を得ることができる。尚、本発明に係る顔向き検知装置１４１が、図６のフローチャートに示す処理をする場合は、前述の検知処理を他の装置が独立して並行してもよい。
【００７６】
また、図３、図５及び図６に示すそれぞれの処理は、本発明に係る顔向き検知装置１４１を搭載する車両のイグニッションキーがＯＮとなっている全ての期間においてしてもよいし、当該車両が走行しているときにだけしてもよい。
【００７７】
また、本発明に係るヘッドレストセンサ１３、又は顔向き検知装置１４１が測定するのは必ずしも距離Ｌに限られるものではなく、運転者の頭部とヘッドレストセンサ１３（ヘッドレスト）との位置関係を示す量であればどのような量を測定してもよい。そして、本発明に係る顔向き検知装置１４１は、ヘッドレストセンサ１３によって検知された位置関係が予め定められた条件を満たすか否かを判断し、一時停止情報を生成してもよい。例えば、ヘッドレストセンサ１３として静電容量センサを用い、且つ、距離Ｌを位置関係とするときには、静電容量センサによって生成される電圧を必ずしも距離Ｌに換算する必要はない。つまり、静電容量センサによって生成される電圧を位置関係を示す量であるものとして、当該電圧に対するしきい値を予め定めておく。そして、静電容量センサによって生成された電圧がしきい値以上となるか否かを条件として予め定めておく。顔向き検知装置１４１は、静電容量センサによって生成された電圧がしきい値以上となったときに予め定められた条件が満たされたと判断して、上述した一時停止処理をしてもよい。
【００７８】
また、上述した顔向き検知装置１４１の処理は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実施可能な所定のプログラムデータが、ＣＰＵやマイクロコンピュータによって解釈実行されることで実現されてもよい。また、この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。尚、記憶媒体とは、ＲＯＭやＲＡＭやフラッシュメモリなどの半導体メモリ、フレキシブルディスクやハードディスクなどの磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤなどの光ディスクメモリ、及びメモリカードなどであってもよい。
【００７９】
以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の一例にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることはいうまでもない。
【産業上の利用可能性】
【００８０】
本発明によれば、低コストな顔向き検知装置を提供でき、例えば、車両に搭載される顔向き検知装置などに有用である。
【図面の簡単な説明】
【００８１】
【図１】第１の実施形態に係る顔向き検知装置を含む構成の機能ブロック図
【図２】ヘッドレストセンサと運転者の頭部との距離を説明する図
【図３】第１の実施形態に係る顔向き検知装置の処理を示すフローチャート
【図４】検知処理において検知する顔向き角度を説明する図
【図５】検知処理の一例を説明するフローチャート
【図６】他の変形例に係る顔向き検知装置の処理を示すフローチャート
【符号の説明】
【００８２】
１ 運転者監視システム
２ 車両制御システム
１１ 近赤外照明
１２ 近赤外カメラ
１３ ヘッドレストセンサ
１４ ＥＣＵ
２１ プリクラッシュ制御システム
１４１ 顔向き検知装置
【技術分野】
【０００１】
本発明は、使用者の顔の向きを検知する顔向き検知装置に関し、より特定的には、自動車などの移動体の運転者の顔の向きを検知する顔向き検知装置に関する。
【背景技術】
【０００２】
運転者の顔面の画像を撮影することによって得られた画像データを処理することにより運転者の顔の向きを検知し、検知した結果に基づいて運転者が脇見運転などをしていると判断したときに注意を促す顔向き検知装置が知られている。このような顔向き検知装置の従来技術として、例えば、特許文献１に記載の運転者の顔向き判定装置（以下、従来技術と称する）が挙げられる。
【０００３】
従来技術では、少なくとも２つのカメラを用いて撮影することによって運転者の顔面のステレオ画像を撮影し、テンプレートマッチングや３次元モデル・フィッティングなどの手法を用いて運転者の顔の向きの検知や視線方向の追従をしている。
【特許文献１】特開２００３−１５８１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では以下に示す課題を有している。上記従来技術では、ステレオ画像に基づいて運転者の顔の向きの検知や視線方向の追従をしているため、カメラに対する運転者の顔面の位置によっては、顔の向きの検知結果や視線の追従結果が必ずしも正確でないときがある。
【０００５】
そして、正確でない結果に基づいて運転者に注意を促すと、例えば、安全な状態で運転をしている運転者に対して唐突に注意を促し、運転者を不用意にあわてさせてしまうことになり好ましくない。また、ステレオ画像、或いは、互いに異なる位置から運転者の頭部を撮影した３以上の画像に基づいて、運転者の顔の具体的な位置を測定する画像認識処理は処理負荷が大きく、処理負荷の大きい処理をするために高価な処理システムが必要となる。
【０００６】
それ故に、本発明は、運転者の顔の具体的な位置に基づき顔の向きの検知などを必ずしも正確にできないときを判断することのできる低コストな顔向き検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は以下に示すような特徴を有する。
【０００８】
第１の発明は、車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知装置であって、車両のヘッドレスト内部に取り付けられ、使用者の頭部との位置関係を検知する検知手段と、検知手段によって検知された位置関係が予め定められた条件を満たすとき、検知処理を一時停止させる一時停止手段と、一時停止手段により検知処理を一時停止していることを示す一時停止情報を生成する生成手段とを備える。
【０００９】
第２の発明は、第１の発明において、検知手段は、使用者の頭部との間の距離を位置関係として検知し、一時停止手段は、検知手段によって検知された距離が予め定められたしきい値以上となったとき条件が満たされたと判断する。
【００１０】
第３の発明は、第２の発明において、検知手段は、車両に搭載されるアクティブヘッドレストの内部に取り付けられる。
【００１１】
第４の発明は、第１の発明において、生成手段は、車両に搭載されるプリクラッシュ制御システムに対して一時停止情報を生成する。
【００１２】
第５の発明は、第１の発明において、検知手段は静電容量センサである。
【００１３】
第６の発明は、第１の発明において、検知手段は超音波センサである。
【００１４】
第７の発明は、第１の発明において、検知手段は光学式センサである。
【００１５】
第８の発明は、車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知方法であって、車両のヘッドレスト内部に取り付けられたヘッドレストセンサと使用者の頭部との位置関係を検知する検知ステップと、検知ステップにおいて検知された位置関係が予め定められた条件を満たすか否かを判断する判断ステップと、判断ステップにおいて条件が満たされたと判断されたとき、検知処理を一時停止させる一時停止ステップと、一時停止ステップをしたとき、検知処理を一時停止していることを示す一時停止情報を生成する生成ステップとを備える。
【００１６】
第９の発明は、第８の発明において、検知ステップにおいて、使用者の頭部との間の距離を位置関係として検知し、判断ステップにおいて、検知ステップで検知された距離が、予め定められたしきい値以上となったとき、条件が満たされたと判断する。
【発明の効果】
【００１７】
第１の発明によれば、車両のヘッドレストの内部に取り付けられたヘッドレストセンサと使用者の頭部との位置関係を直接測定し、予め定めた条件を満たすか否かを判断するだけで、使用者の顔の位置が撮影画像において過度に偏っているときや撮影画像の撮影範囲を超えているときなどの使用者の顔の向きの検知などを必ずしも正確にできないときを判断できる。したがって、第１の発明によれば、複数の画像を処理することにより使用者の顔の具体的な位置を測定する高い負荷の処理をするための高コストな装置を用いることなく、運転者の顔の具体的な位置に基づき顔の向きの検知などを必ずしも正確にできないときを判断することのできる低コストな顔向き検知装置を提供できる。
【００１８】
第２の発明によれば、使用者の頭部と検知手段との間の距離に基づいて、顔の向きの検知などを必ずしも正確にできないときを判断することができる。
【００１９】
第３の発明によれば、新たな検出手段を追加することなく、車両に搭載されているアクティブヘッドレストの内部に取り付けられているヘッドレストセンサを検出手段として利用することができ、さらに低コストな顔向き検知装置を提供することができる。
【００２０】
第４の発明によれば、車両に搭載されているプリクラッシュ制御システムに対して一時停止情報を生成するため、一時停止情報を取得したプリクラッシュ制御システムは予め定められた適切な処理をすることができる。
【００２１】
第５の発明によれば、検知手段として調達の容易な静電容量センサを用いることができ、低コストな顔向き検知装置を提供することができる。
【００２２】
第６の発明によれば、検知手段として調達の容易な超音波センサを用いることができ、低コストな顔向き検知装置を提供することができる。
【００２３】
第７の発明によれば、検知手段として調達の容易な光学式センサを用いることができ、低コストな顔向き検知装置を提供することができる。
【００２４】
また、本発明の顔向き検知方法によれば、上述した顔向き検知装置と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２５】
（第１の実施形態）
図１は、第１の実施形態に係る車両などに搭載される運転者監視システム１及び車両制御システム２の機能ブロック図である。
【００２６】
運転者監視システム１は、近赤外照明１１と、近赤外カメラ１２と、ヘッドレストセンサ１３と、ＥＣＵ１４とからなる。近赤外照明１１は、近赤外光を発する照明装置であり、典型的には近赤外光を発するＬＥＤ（Light Emitting Diode）である。近赤外照明１１は、近赤外光が運転者に照射されるように車両内に配置される。
【００２７】
近赤外カメラ１２は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。近赤外領域で高い感度特性を有するカメラを用いることにより、夜間やトンネル内などを走行中で車内が暗い状況でも、近赤外照明１１に照らされた撮像対象を感度よく撮像することが可能である。近赤外カメラ１２は、運転者の顔を撮像可能な位置に配置される。近赤外カメラ１２は、運転者の顔面及びその周囲の画像を撮影し、撮影画像データを生成する。
【００２８】
ヘッドレストセンサ１３は、典型的には静電容量センサであり、シートに着座している運転者のヘッドレストの内部に取り付けられている。ヘッドレストセンサ１３は、図２に示すように、着座している運転者の頭部とヘッドレストセンサ１３（ヘッドレスト）との間の距離Ｌを測定し、測定した距離Ｌを示す情報を生成する。より具体的には、ヘッドレストセンサ１３は、距離Ｌが長くなるにしたがって小さくなるような比例関係を有する電圧を、距離Ｌを示す情報として生成する。尚、ヘッドレストセンサ１３は、着座している運転者の頭部とヘッドレストとの距離Ｌを測定できるのであれば、ヘッドレスト内部のどのような位置に取り付けてもよいし、ヘッドレスト内部に限られず、ヘッドレストの表面やその他の取り付け位置など、どのような場所に取り付けられてもよい。
【００２９】
ＥＣＵ１４は、顔向き検知装置１４１などの情報処理装置及びインターフェース回路などを少なくとも備える処理装置である。ＥＣＵ１４は、近赤外カメラ１２によって生成された撮影画像データを取得し、顔向き検知装置１４１などの情報処理装置で処理する。そして、ＥＣＵ１４は、処理の結果を示す情報の１つとして、運転者の状態を示す情報を生成する。
【００３０】
顔向き検知装置１４１は、典型的にはマイクロコンピュータなどの情報処理装置である。顔向き検知装置１４１は、可能な処理の１つとして、ＥＣＵ１４によって取得された撮影画像データに基づき運転者の顔の向きの角度を検知する検知処理をして、運転者の顔の向きの角度を示す情報を生成する。
【００３１】
さらに、本実施形態に係る顔向き検知装置１４１には、ヘッドレストセンサ１３によって生成される電圧を距離Ｌへ換算するための電圧−距離特性として前述の比例関係が予め設定されている。そして、顔向き検知装置１４１は、ヘッドレストセンサ１３によって生成される電圧を取得し、取得した電圧を前述の電圧−距離特性を用いて距離Ｌに換算する。そして、顔向き検知装置１４１は、換算した距離Ｌに基づき検知処理の一時停止及び再開をし、検知処理を一時停止していることを示す情報を生成する。本実施形態に係る顔向き検知装置１４１の検知処理を一時停止及び再開する処理の詳細については後述する。
【００３２】
車両制御システム２は、プリクラッシュ制御システム２１を少なくとも含む。プリクラッシュ制御システム２１は、典型的にはマイクロコンピュータなどの情報処理装置であり、顔向き検知装置１４１などによって生成される情報をＣＡＮ（Controller Area Network）などを介して取得し、取得した情報に基づき運転者の疲れ具合などを判断することができる。
【００３３】
また、プリクラッシュ制御システム２１は、典型的には車両の周囲の障害物などの対象物を測定するミリ波レーダー（図示せず）が接続されている。そして、プリクラッシュ制御システム２１は、判断した運転者の疲れ具合やミリ波レーダーによる測定結果などに応じて車両と障害物との衝突の危険を報ずる警告、運転者の安全を確保するための制御及び衝突回避走行の制御などを実行する。尚、プリクラッシュ制御システム２１に接続されるレーダーはミリ波レーダーのみに必ずしも限られない。
【００３４】
以上が、本実施形態に係る運転者監視システム１及び車両制御システム２の説明である。次に、本実施形態に係る顔向き検知装置１４１の処理について説明をする。
【００３５】
顔向き検知装置１４１は、検知処理と並行して、ヘッドレストセンサ１３によって生成される電圧を取得して上述したように距離Ｌへ換算し、予め定められたしきい値と比較する。そして、顔向き検知装置１４１は、換算した距離Ｌが前述のしきい値以上でないと判断したとき、検知処理を続ける。一方、顔向き検知装置１４１は、換算した距離Ｌがしきい値以上であると判断したとき、検知処理を一時停止し、さらに、一時停止したことを示す一時停止情報を生成する。以下、顔向き検知装置１４１が一時停止情報を生成する理由について説明する。
【００３６】
検知処理において、顔向き検知装置１４１は運転者の顔の撮影画像データに対してエッジ抽出処理などの処理をし、処理の結果に基づいて運転者の顔の向きの角度を検知し、運転者の顔の向きの角度を示す情報を生成する。そして、プリクラッシュ制御システム２１は、顔向き検知装置１４１によって生成された情報を取得し、例えば、運転者が脇見をしているなどの安全な運転をするために好ましくない状態であると判断したときに、運転者に対して警告を発する処理などをする。
【００３７】
しかしながら、運転者の顔の位置が近赤外カメラ１２によって撮影される撮影画像において過度に偏ってしまったり、近赤外カメラ１２の撮影範囲を超えてしまうと、検知処理において顔向き検知装置１４１が誤ったエッジを抽出してしまうことがある。そして、顔向き検知装置１４１が誤ったエッジを抽出した結果に基づいて、誤った角度を示す情報を生成すると、誤った情報を取得したプリクラッシュ制御システム２１は、運転者が安全な運転をしている状態であるにもかかわらず、運転者が脇見をしているなどの好ましくない状態であると誤判断してしまう。プリクラッシュ制御システム２１は、誤判断をすると、例えば、誤って唐突に警告を発してしまうなどの誤動作をしてしまう。誤って唐突に警告が発せられると、例えば、運転者は安全な運転のための集中力を奪われてしまう。
【００３８】
したがって、顔向き検知装置１４１は、運転者の顔の位置が近赤外カメラ１２の撮影画像において過度に偏ってしまう、或いは、撮影範囲を超えてしまうなどの理由により運転者の顔の向きの角度を必ずしも正確に検知できないときには、顔の向きの角度の検知などの検知処理を一時停止し、検知処理を一時停止していることを示す一時停止情報を生成する。
【００３９】
そして、プリクラッシュ制御システム２１は一時停止情報を取得することにより、顔向き検知装置１４１が検知処理を一時停止して顔の向き角度を検知していないことを検知したときには、検知処理が一時停止されているときの処理として予め定められた適切な処理をすることができ、誤動作することを防ぐことができる。
【００４０】
プリクラッシュ制御システム２１に予め定められる適切な処理としては、一時停止情報を取得したときに、運転者に頭部の位置を正すように警告を発する処理などが、一例として考えられる。
【００４１】
次に、本実施形態に係る顔向き検知装置１４１が、運転者の顔の位置が近赤外カメラ１２によって撮影される撮影画像において過度に偏っている、或いは、近赤外カメラ１２の撮影範囲を超えているなどの運転者の顔の向きの角度を必ずしも正確に検知できないときを判断する方法について説明する。
【００４２】
運転をしているときの運転者の頭部は、ヘッドレストの設置位置を基準とする範囲内に存在すると考えることができる。一方、近赤外カメラ１２の撮影範囲は、運転者が安全な運転をしているときにおける頭部の一般的な位置などに基づいて、正確にエッジを抽出できるように予め定められる。そして、ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲は、それぞれ予め定めることができるため、既知である。
【００４３】
したがって、ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲などの既知である位置や範囲に基づき、運転者の頭部が近赤外カメラ１２の撮影画像において過度に偏ってしまう範囲や近赤外カメラ１２の撮影範囲を超える範囲などを、ヘッドレストの設置位置を基準として予め定めることができる。本実施形態では、ヘッドレストの設置位置を基準とするこれらの範囲として、前述の距離Ｌに対するしきい値を顔向き検知装置１４１に予め定めることにより、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えているなどの運転者の顔の向きの角度を必ずしも正確に検知できないときを判断することができる。
【００４４】
次に、図３に示すフローチャートを参照しながら本実施形態に係る顔向き検知装置１４１の処理をより具体的に説明する。
【００４５】
ステップＳ１０１において、顔向き検知装置１４１は、ヘッドレストセンサ１３によって生成される電圧を距離Ｌを示す情報として取得し、取得した電圧を上述したように距離Ｌに換算する。顔向き検知装置１４１は、ステップＳ１０１の処理を完了すると、ステップＳ１０２へ処理を進める。顔向き検知装置１４１がステップＳ１０１の処理をすることにより距離Ｌを検知することができる。
【００４６】
ステップＳ１０２において、顔向き検知装置１４１は換算した距離Ｌが予め定められたしきい値以上であるか否かを判断する。顔向き検知装置１４１は取得した距離Ｌがしきい値以上であると判断したときステップＳ１０３へ処理を進める。一方、顔向き検知装置１４１は取得した距離Ｌがしきい値以上でないと判断したとき、ステップＳ１０４へ処理を進める。
【００４７】
ステップＳ１０３において、顔向き検知装置１４１は検知処理を一時停止したことを示す一時停止情報を生成する。顔向き検知装置１４１はステップＳ１０３の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００４８】
ステップＳ１０４において、顔向き検知装置１４１は上述したように、運転者の顔の向きの角度を検知する検知処理をして、運転者の顔の向きの角度を示す情報を生成する。顔向き検知装置１４１は、ステップＳ１０４の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００４９】
本実施形態に係る顔向き検知装置１４１は、距離Ｌがしきい値以上でないときはステップＳ１０４における検知処理を続けて繰り返す。一方、距離Ｌがしきい値以上であるときはステップＳ１０４の処理をせずにステップＳ１０３の処理をすることにより、ステップＳ１０３における検知処理を一時停止して、一時停止情報を生成することができる。そして、一時停止情報を生成した後、距離Ｌがしきい値以上でなくなると、再びステップＳ１０４の処理へ進み、検知処理を再開することができる。
【００５０】
次に、顔向き検知装置１４１のステップＳ１０４における検知処理の一例を図４及び図５を参照しながら説明をする。まず、図４を参照しながら、顔向き検知装置１４１が検知する運転者の顔の向きの角度α（以下、顔向き角度αという）について説明する。
【００５１】
図４は近赤外カメラ１２によって撮影された撮影画像及び当該撮影画像の撮影時点の運転者の頭部を真上から鉛直方向に見下ろしたときの図である。本実施形態では、図４に示すように運転者の頭部は頭頂部を上面とする円柱形状を成しているものと見なす。さらに、本実施形態では、運転者の顔は円柱状の頭部の中心線を中心に回転するものと見なす。
【００５２】
また、本実施形態では、顔向き角度αの値は、近赤外カメラ１２に対して正面を向いた状態でα＝０であるものとする。そして、顔向き角度αの値は、顔が近赤外カメラ１２に対して正面を向いた状態から右方向を向くほど大きくなる。一方、顔が近赤外カメラ１２に対して正面を向いた状態から左方向を向くほど、顔向き角度αの値は小さくなる。したがって、顔向き角度αの値は、顔が右方向を向くと正の値となり、左方向を向くと負の値となる。
【００５３】
次に、本実施形態に係る顔向き検知装置１４１の図５のフローチャートに示す検知処理について図４を適宜参照しながら説明する。尚、図５のフローチャートに示す検知処理は、公知の検知処理の一例であり、運転者の顔向き角度αを示す情報を生成できるのであればどのような処理であってもよい。
【００５４】
ステップＳ１０３１において、顔向き検知装置１４１は、近赤外カメラ１２によって生成された撮影画像データを取得し、取得した撮影画像データに対してエッジ抽出処理をする。顔向き検知装置１４１は、ステップＳ１０３１の処理を完了すると、ステップＳ１０３２へ処理を進める。
【００５５】
ステップＳ１０３２において、顔向き検知装置１４１は、エッジ抽出処理をした撮影画像における運転者の顔の輪郭を検出して、左端ＥＬ及び右端ＥＲを検出する。図４に示すように、運転者の顔の左端ＥＬは顔の輪郭の左の端点のＸ座標であり、運転者の顔の右端ＥＲは顔の輪郭の右の端点のＸ座標である。顔向き検知装置１４１は、ステップＳ１０３２の処理を完了すると、ステップＳ１０３３へ処理を進める。
【００５６】
ステップＳ１０３３において、顔向き検知装置１４１は、左端ＥＬ及び右端ＥＲに基づき、撮影画像データによって示される撮影画像中における運転者の顔の目、鼻及び口が写っている領域をそれぞれ検出する。顔向き検知装置１４１は、ステップＳ１０３３の処理を完了すると、ステップＳ１０３４へ処理を進める。
【００５７】
ステップＳ１０３４において、顔向き検知装置１４１は、ステップＳ１０３３において特定したそれぞれの領域に基づき、運転者の顔の中心Ｃを検出する。顔向き検知装置１４１は、ステップＳ１０３３の処理を完了すると、ステップＳ１０３５へ処理を進める。
【００５８】
ステップＳ１０３５において、顔向き検知装置１４１は、ステップＳ１０３４において検出した中心Ｃから左端ＥＬまでの幅ＷＬと、中心Ｃから右端ＥＲまでの幅ＷＲとを算出する。顔向き検知装置１４１は、ステップＳ１０３５の処理を完了すると、ステップＳ１０３６へ処理を進める。
【００５９】
ステップＳ１０３６において、顔向き検知装置１４１は、ステップＳ１０３５において算出した幅ＷＬ及びＷＲの値の比に基づいて顔向き角度αを検知する。より詳細には、幅ＷＬと幅ＷＲとの値は、図４に示すように、顔が近赤外カメラ１２に対して正面を向いているときに略等しくなる。一方、顔が近赤外カメラ１２に対して右を向いているときは、幅ＷＬの値が幅ＷＲの値よりも大きくなる。つまり、顔向き角度αの大きさに応じて、幅ＷＲと幅ＷＬとの値の比が変化する。そこで、顔向き検知装置１４１に対して幅ＷＲと幅ＷＬとの値の比を顔向き角度αの値に換算するデータテーブルを予め記憶させておく。そして、顔向き検知装置１４１は、ステップＳ１０３６において、記憶しているデータテーブルを用いて幅ＷＬと幅ＷＲとの比を顔向き角度αに換算することにより、顔向き角度αを検知する。顔向き検知装置１４１は、ステップＳ１０３６において、顔向き角度αを検知すると、検知した顔向き角度αを示す情報を生成して、図３に示すステップＳ１０１へ処理を戻す。
【００６０】
以上が、本実施形態に係る顔向き検知装置１４１の処理の説明である。本実施形態に係る顔向き検知装置１４１が図３のフローチャートに示す処理をすることにより、誤ったエッジを抽出する可能性が高い位置に運転者の頭部が存在するとき、すなわち、運転者の顔の向きの角度を必ずしも正確に検知できないと判断したときに検知処理を一時停止し、検知処理を一時停止したことを示す一時停止情報を生成する。これにより、一時停止情報を取得したプリクラッシュ制御システム２１は顔向き検知装置１４１が検知処理を一時停止したことを検知することができ、誤動作することを防ぐことができる。
【００６１】
さらに、本実施形態に係る顔向き検知装置１４１は、図３のフローチャートに示す処理をすることにより、例えば、ステレオ画像を画像処理することによって運転者の顔の具体的な位置を測定するための高負荷な処理をせずとも、ヘッドレストセンサ１３を用いて運転者の頭部の位置を示す具体的な情報を取得することができる。このため、本実施形態に係る顔向き検知装置１４１によれば、高負荷な処理をするための高コストな装置と比較して、低コストで運転者の顔の向きの検知などを必ずしも正確にできないときを判断することができる装置を提供できる。
【００６２】
尚、本発明に係る顔向き検知装置１４１が運転者の顔の向きの角度を必ずしも正確に検知できないと判断するときは、誤ったエッジを抽出する可能性が高いときに限られるものではなく、撮影画像に対する処理の結果が誤っており、運転者の顔の向きの誤った角度を示す情報を生成すると考えられればどのようなときでもよい。
【００６３】
尚、本発明において用いられるヘッドレストセンサ１３は、静電容量センサに限られるものではない。ヘッドレストセンサ１３として用いることのできるセンサは、ヘッドレスト表面、ヘッドレスト内部及び車両内のいかなる箇所に設置してもよく、運転者の頭部とヘッドレストセンサ１３（ヘッドレスト）との間の距離を測定できればどのようなセンサを用いてもよい。ヘッドレストセンサ１３の他の例としては、光学式センサや超音波センサなどが挙げられる。
【００６４】
また、第１の実施形態の説明では、ヘッドレストセンサ１３によって生成された電圧を顔向き検知装置１４１が距離Ｌに換算するものとしたが、ヘッドレストセンサ１３が生成した電圧を距離Ｌへ換算し、換算した距離Ｌを示す情報を顔向き検知装置１４１が取得してもよい。
【００６５】
また、本発明に係る顔向き検知装置１４１が取得する距離Ｌを示す情報は必ずしも前述の電圧でなくてもよく、距離Ｌを直接示す情報であってもよいし、顔向き検知装置１４１が換算或いは変換できればどのような情報であってもよい。
【００６６】
また、ＥＣＵ１４は、顔向き検知装置１４１による検知処理だけでなく、さらに、撮影画像データ及び顔向き検知装置１４１によって生成される顔向き角度αなどに基づき、運転者の顔の特徴を検出するための特徴点検出処理などをしてもよい。
【００６７】
また、本発明におけるヘッドレストセンサ１３は、ヘッドレストセンサ１３によって生成された情報を取得したプリクラッシュ制御システム２１が、取得した情報に基づいてヘッドレストを適切な位置に移動させるアクティブヘッドレストの内部に取り付けられるヘッドレストセンサであってもよい。これにより、本発明におけるヘッドレストセンサ１３として、従来車両に搭載されているアクティブヘッドレストのためのセンサを用いることができ、低コストで本発明に係る顔向き検知装置１４１を提供することができる。
【００６８】
また、第１の実施形態では、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えているか否かを判断するためにヘッドレストの内部に設けたヘッドレストセンサ１３を用いることによって測定される距離Ｌと、ヘッドレストの設置位置、ヘッドレストセンサ１３のヘッドレスト内部における設置位置及び近赤外カメラ１２の撮影範囲に基づいて定めた前述のしきい値とを比較していた。しかしながら、本発明は、このように定めたしきい値と測定した距離とに基づき、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えたか否かを判断するものに必ずしも限らなくてもよい。
【００６９】
例えば、本発明におけるヘッドレストセンサ１３として説明したセンサを、運転者の頭部との間の距離を測定できる車両内のいずれかの設置位置に設置し、当該設置位置と近赤外カメラ１２の撮影範囲とに基づいて前述のしきい値を定め、当該センサによって測定される距離と比較することによって、運転者の頭部の位置が近赤外カメラ１２の撮影画像において過度に偏っている、或いは、撮影範囲を超えたか否かを判断してもよい。
【００７０】
また、本発明において、検知処理を一時停止する方法は、図３のフローチャートに示す処理に限られるものではない。検知処理を一時停止する方法の他の一例としては、顔向き検知装置１４１が前述の検知処理と図６に示す処理とを独立して並行する方法が挙げられる。図６は、本発明に係る顔向き検知装置１４１の図３のフローチャートに示す処理を変形した他の処理の一例を示すフローチャートである。以下、図６のフローチャートに示す処理について説明する。尚、図６のフローチャートに示す処理において図３と同一の処理については同一の参照符号を付し、説明を省略する。
【００７１】
図６のフローチャートにおいて顔向き検知装置１４１は、ステップＳ１０１の処理を完了すると、ステップＳ２０１の処理へ進む。ステップＳ２０１において、顔向き検知装置１４１は換算した距離Ｌが予め定められたしきい値以上であるか否かを判断する。顔向き検知装置１４１は取得した距離Ｌがしきい値以上であると判断したときステップＳ２０２へ処理を進める。一方、顔向き検知装置１４１は取得した距離Ｌがしきい値以上でないと判断したとき、ステップＳ２０３へ処理を進める。
【００７２】
ステップＳ２０２において、顔向き検知装置１４１は独立して並行している検知処理を一時停止する一時停止処理をする。さらに、ステップＳ２０２において、顔向き検知装置１４１は、一時停止処理をすると検知処理を一時停止したことを示す一時停止情報を生成する。顔向き検知装置１４１はステップＳ２０２の処理を完了すると、ステップＳ２０１へ処理を戻す。
【００７３】
ステップＳ２０３において、顔向き検知装置１４１は、独立して並行している検知処理を一時停止しているか否かを判断する。顔向き検知装置１４１は、ステップＳ２０３において、検知処理を一時停止していると判断したとき、ステップＳ２０４へ処理を進める。一方、顔向き検知装置１４１は、ステップＳ２０３において、検知処理を一時停止していないと判断したとき、ステップＳ２０１へ処理を戻す。
【００７４】
ステップＳ２０４において、顔向き検知装置１４１は、独立して並行している検知処理の一時停止を解除する一時停止解除処理をする。顔向き検知装置１４１は、ステップＳ２０４の処理を完了すると、ステップＳ２０１へ処理を戻す。
【００７５】
以上が、図６のフローチャートに示す処理の説明である。本発明に係る顔向き検知装置１４１は、前述の検知処理を独立して並行しているときに図６のフローチャートに示す処理をすることによっても、図３のフローチャートに示す処理をするときと同様の効果を得ることができる。尚、本発明に係る顔向き検知装置１４１が、図６のフローチャートに示す処理をする場合は、前述の検知処理を他の装置が独立して並行してもよい。
【００７６】
また、図３、図５及び図６に示すそれぞれの処理は、本発明に係る顔向き検知装置１４１を搭載する車両のイグニッションキーがＯＮとなっている全ての期間においてしてもよいし、当該車両が走行しているときにだけしてもよい。
【００７７】
また、本発明に係るヘッドレストセンサ１３、又は顔向き検知装置１４１が測定するのは必ずしも距離Ｌに限られるものではなく、運転者の頭部とヘッドレストセンサ１３（ヘッドレスト）との位置関係を示す量であればどのような量を測定してもよい。そして、本発明に係る顔向き検知装置１４１は、ヘッドレストセンサ１３によって検知された位置関係が予め定められた条件を満たすか否かを判断し、一時停止情報を生成してもよい。例えば、ヘッドレストセンサ１３として静電容量センサを用い、且つ、距離Ｌを位置関係とするときには、静電容量センサによって生成される電圧を必ずしも距離Ｌに換算する必要はない。つまり、静電容量センサによって生成される電圧を位置関係を示す量であるものとして、当該電圧に対するしきい値を予め定めておく。そして、静電容量センサによって生成された電圧がしきい値以上となるか否かを条件として予め定めておく。顔向き検知装置１４１は、静電容量センサによって生成された電圧がしきい値以上となったときに予め定められた条件が満たされたと判断して、上述した一時停止処理をしてもよい。
【００７８】
また、上述した顔向き検知装置１４１の処理は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実施可能な所定のプログラムデータが、ＣＰＵやマイクロコンピュータによって解釈実行されることで実現されてもよい。また、この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。尚、記憶媒体とは、ＲＯＭやＲＡＭやフラッシュメモリなどの半導体メモリ、フレキシブルディスクやハードディスクなどの磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤなどの光ディスクメモリ、及びメモリカードなどであってもよい。
【００７９】
以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の一例にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることはいうまでもない。
【産業上の利用可能性】
【００８０】
本発明によれば、低コストな顔向き検知装置を提供でき、例えば、車両に搭載される顔向き検知装置などに有用である。
【図面の簡単な説明】
【００８１】
【図１】第１の実施形態に係る顔向き検知装置を含む構成の機能ブロック図
【図２】ヘッドレストセンサと運転者の頭部との距離を説明する図
【図３】第１の実施形態に係る顔向き検知装置の処理を示すフローチャート
【図４】検知処理において検知する顔向き角度を説明する図
【図５】検知処理の一例を説明するフローチャート
【図６】他の変形例に係る顔向き検知装置の処理を示すフローチャート
【符号の説明】
【００８２】
１ 運転者監視システム
２ 車両制御システム
１１ 近赤外照明
１２ 近赤外カメラ
１３ ヘッドレストセンサ
１４ ＥＣＵ
２１ プリクラッシュ制御システム
１４１ 顔向き検知装置
【特許請求の範囲】
【請求項１】
車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知装置であって、
前記車両のヘッドレスト内部に取り付けられ、前記使用者の頭部との位置関係を検知する検知手段と、
前記検知手段によって検知された位置関係が予め定められた条件を満たすとき、前記検知処理を一時停止させる一時停止手段と、
前記一時停止手段により前記検知処理を一時停止していることを示す一時停止情報を生成する生成手段とを備える、顔向き検知装置。
【請求項２】
前記検知手段は、前記使用者の頭部との間の距離を前記位置関係として検知し、
前記一時停止手段は、前記検知手段によって検知された距離が予め定められたしきい値以上となったとき前記条件が満たされたと判断する、請求項１に記載の顔向き検知装置。
【請求項３】
前記検知手段は、前記車両に搭載されるアクティブヘッドレストの内部に取り付けられる、請求項２に記載の顔向き検知装置。
【請求項４】
前記生成手段は、前記車両に搭載されるプリクラッシュ制御システムに対して前記一時停止情報を生成する、請求項１に記載の顔向き検知装置。
【請求項５】
前記検知手段は静電容量センサである、請求項１に記載の顔向き検知装置。
【請求項６】
前記検知手段は超音波センサである、請求項１に記載の顔向き検知装置。
【請求項７】
前記検知手段は光学式センサである、請求項１に記載の顔向き検知装置。
【請求項８】
車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知方法であって、
前記車両のヘッドレスト内部に取り付けられたヘッドレストセンサと前記使用者の頭部との位置関係を検知する検知ステップと、
前記検知ステップにおいて検知された位置関係が予め定められた条件を満たすか否かを判断する判断ステップと、
前記判断ステップにおいて前記条件が満たされたと判断されたとき、前記検知処理を一時停止させる一時停止ステップと、
前記一時停止ステップをしたとき、前記検知処理を一時停止していることを示す一時停止情報を生成する生成ステップとを備える、顔向き検知方法。
【請求項９】
前記検知ステップにおいて、前記使用者の頭部との間の距離を前記位置関係として検知し、
前記判断ステップにおいて、前記検知ステップで検知された距離が、予め定められたしきい値以上となったとき、前記条件が満たされたと判断する、請求項８に記載の顔向き検知方法。
【請求項１】
車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知装置であって、
前記車両のヘッドレスト内部に取り付けられ、前記使用者の頭部との位置関係を検知する検知手段と、
前記検知手段によって検知された位置関係が予め定められた条件を満たすとき、前記検知処理を一時停止させる一時停止手段と、
前記一時停止手段により前記検知処理を一時停止していることを示す一時停止情報を生成する生成手段とを備える、顔向き検知装置。
【請求項２】
前記検知手段は、前記使用者の頭部との間の距離を前記位置関係として検知し、
前記一時停止手段は、前記検知手段によって検知された距離が予め定められたしきい値以上となったとき前記条件が満たされたと判断する、請求項１に記載の顔向き検知装置。
【請求項３】
前記検知手段は、前記車両に搭載されるアクティブヘッドレストの内部に取り付けられる、請求項２に記載の顔向き検知装置。
【請求項４】
前記生成手段は、前記車両に搭載されるプリクラッシュ制御システムに対して前記一時停止情報を生成する、請求項１に記載の顔向き検知装置。
【請求項５】
前記検知手段は静電容量センサである、請求項１に記載の顔向き検知装置。
【請求項６】
前記検知手段は超音波センサである、請求項１に記載の顔向き検知装置。
【請求項７】
前記検知手段は光学式センサである、請求項１に記載の顔向き検知装置。
【請求項８】
車両に搭載され、使用者の顔面を撮影した画像に基づき、使用者の顔面の向きの検知処理をする顔向き検知方法であって、
前記車両のヘッドレスト内部に取り付けられたヘッドレストセンサと前記使用者の頭部との位置関係を検知する検知ステップと、
前記検知ステップにおいて検知された位置関係が予め定められた条件を満たすか否かを判断する判断ステップと、
前記判断ステップにおいて前記条件が満たされたと判断されたとき、前記検知処理を一時停止させる一時停止ステップと、
前記一時停止ステップをしたとき、前記検知処理を一時停止していることを示す一時停止情報を生成する生成ステップとを備える、顔向き検知方法。
【請求項９】
前記検知ステップにおいて、前記使用者の頭部との間の距離を前記位置関係として検知し、
前記判断ステップにおいて、前記検知ステップで検知された距離が、予め定められたしきい値以上となったとき、前記条件が満たされたと判断する、請求項８に記載の顔向き検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２７４４８０（Ｐ２００９−２７４４８０Ａ）
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願番号】特願２００８−１２５０５６（Ｐ２００８−１２５０５６）
【出願日】平成２０年５月１２日（２００８．５．１２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願日】平成２０年５月１２日（２００８．５．１２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]