運転者状態判定装置
【課題】本発明は、ステアリングや運転者の手などの障害物が存在し、運転者の画像が正確に撮像できないような状況下においては、障害物があることを簡素な構成で容易に検出して判定を行わないようにし、少ない演算処理量で障害物判定を正確に行うことができ、誤判定を抑制できる運転者状態判定装置を提供することを目的とする。
【解決手段】運転者の画像を撮影する撮像手段１０と、該撮像手段により撮影された前記画像を画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段６０と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態の判定を行う運転者状態判定手段７０とを備えた運転者状態判定装置１００であって、
ステアリングホイール２０上部中央にタッチセンサ３０を備え、
該タッチセンサがオンのときには、前記運転者状態判定手段は、前記運転者状態の判定を行わないことを特徴とする。
【解決手段】運転者の画像を撮影する撮像手段１０と、該撮像手段により撮影された前記画像を画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段６０と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態の判定を行う運転者状態判定手段７０とを備えた運転者状態判定装置１００であって、
ステアリングホイール２０上部中央にタッチセンサ３０を備え、
該タッチセンサがオンのときには、前記運転者状態判定手段は、前記運転者状態の判定を行わないことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者状態判定装置に関し、特に、運転者の画像を撮影する撮像手段を有する運転者状態判定装置に関する。
【背景技術】
【０００２】
従来から、運転者に赤外光を照射する照射手段と、照射された運転者の赤外画像をステアリング越しに撮像する撮像手段とを車室内の運転者に略正対する位置に配置し、取得した赤外画像から画像処理により運転者の顔画像を認識処理する運転者認識装置において、取得した赤外画像が所定以上に明るい場合に、障害物映り込み状態と判定し、取得画像にステアリングや運転者の手などの障害物が映り込んで、運転者の顔画像を取得することができず、運転状態を誤判定することを抑制するようにした運転者認識装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１５７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の特許文献１に記載の構成では、画像処理によって障害物判定を行うため、処理が複雑となり、演算処理量が大きくなってしまうという問題があった。
【０００４】
そこで、本発明は、ステアリングや運転者の手などの障害物が存在し、運転者の画像が正確に撮像できないような状況下においては、障害物があることを簡素な構成で容易に検出して判定を行わないようにし、少ない演算処理量で障害物判定を正確に行うことができ、誤判定を抑制できる運転者状態判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る運転者状態判定装置は、運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態の判定を行う運転者状態判定手段とを備えた運転者状態判定装置であって、
ステアリングホイール上部中央にタッチセンサを備え、
該タッチセンサがオンのときには、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする。
【０００６】
これにより、ステアリングホイールの上に運転者の手等が覆い被さり、撮像手段の撮像の障害となるときには、運転者の状態判定を行わず、誤判定を低減させることができる。
【０００７】
第２の発明は、第１の発明に係る運転者状態判定装置において、
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオンのときに、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする。
【０００８】
これにより、操舵角が大きいときには、タッチセンサがオフであっても、運転者状態の判定を行わないようにすることができ、運転者状態の誤判定を防止することができる。
【０００９】
第３の発明は、第１又は第２の発明に係る運転者状態判定装置において、
前記運転者状態の判定は、前記運転者がわき見をしているか否かの判定であって、
前記運転者状態判定手段は、前記タッチセンサがオンのときには、前記運転者はわき見をしていないと判定し、前記タッチセンサがオフのときには、前記画像認識手段による前記顔画像の認識処理結果に基づいて、前記運転者がわき見をしているか否かを判定することを特徴とする。
【００１０】
これにより、わき見判定を行うことが可能なときにのみわき見判定を行うことができ、わき見判定の信頼性を向上させることができる。
【００１１】
第４の発明に係る運転者状態判定装置は、運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を取得して画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態を判定する運転者状態判定手段とを備えた運転者状態判定装置であって、
前記運転者の画像の撮影を妨げる障害物の有無を推定する障害物判定手段を備え、
該障害物判定手段により前記障害物があると推定されたときには、前記顔画像認識手段は、前記画像を取得せず、
前記障害物判定手段により前記障害物がないと推定されたときには、前記顔画像認識手段は、前記画像を取得することを特徴とする。
【００１２】
これにより、障害物の存在により顔画像の撮像が適切に行うことができないときには、画像認識手段は画像取得を行わず、運転状態判定の信頼性を向上させるとともに、演算処理負担を軽減することができる。
【００１３】
第５の発明は、第４の発明に係る運転者状態判定装置において、
前記障害物判定手段は、ステアリングホイール上部中央に設けられたタッチセンサであって、該タッチセンサがオン状態のときに、前記障害物があると推定することを特徴とする。
【００１４】
これにより、取り付け容易なタッチセンサを設けることにより障害物の有無を推定することができ、簡素な構成で容易に障害物の有無の推定を行うことができる。
【００１５】
第６の発明は、第５の発明に係る運転者状態判定装置において、
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオン状態のときに、前記障害物判定手段は、前記障害物があると推定することを特徴とする。
【００１６】
これにより、障害物の存在の推定に、操舵角が直進に近い状態であることを条件として加えることができ、より正確な障害物の有無の推定を行うことができる。
【００１７】
第７の発明は、第４〜６のいずれかの発明に係る運転者状態判定装置において、
前記障害物判定手段により、前記障害物があると推定されたときには、前記運転者状態判定手段は、運転者がわき見をしていると判定し、前記障害物がないと推定されたときには、前記顔画像認識手段による前記顔画像の認識処理結果に基づいて、運転者がわき見をしているか否かを判定することを特徴とする。
【００１８】
これにより、障害物がないときにわき見判定を行うことができ、わき見判定の誤判定を低減し、わき見判定の信頼性を向上させることができる。
【００１９】
第８の発明は、第１〜７のいずれかの発明に係る運転者状態判定装置において、
前記撮像手段は、ステアリングコラムの上側面又は下側面に備えられていることを特徴とする。
【００２０】
これにより、運転者の顔画像を、正面下方から撮像することができ、顔画像の撮影を適切に行うことができる。
【発明の効果】
【００２１】
本発明によれば、障害物の有無を簡素な構成で容易に検出し、少ない演算処理量で障害物判定を行うことができ、運転者状態判定の信頼性を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【実施例１】
【００２３】
図１は、本発明を適用した実施例１に係る運転者状態判定装置１００の検出部を示した外形図である。図１（ａ）は、実施例１に係る運転者状態判定装置１００の検出部の側面図であり、図１（ｂ）は、実施例１に係る運転者状態判定装置１００の検出部の正面図である。
【００２４】
図１（ａ）において、実施例１に係る運転者状態判定装置１００は、撮像手段１０と、図示しないタッチセンサ３０とを備える。また、本実施例に係る運転者状態判定装置１００は、必要に応じて、操舵角検出手段５０を備えてよい。更に、本実施例に係る運転者状態判定装置１００は、関連構成要素として、ステアリングホイール２０と、ステアリングコラム４０とを有する。
【００２５】
撮像手段１０は、運転者を正面下方から撮影し、運転者の画像を撮像するための手段である。これにより、運転者の顔向き、視線、身体の向き等の運転者状態を撮影し、画像取得することができる。
【００２６】
撮像手段１０は、ドライバーモニタカメラとして種々のカメラが適用されてよい。撮像手段１０は、例えば、ＣＣＤ（Charge Coupled Device）カメラが適用されてもよいし、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラが適用されてもよい。
【００２７】
撮像手段１０は、運転者を正面方向から撮像するため、ステアリングコラム４０の上側面に設けられている。これにより、運転者を常に正面から撮影することができるので、顔の向きが正面を向いているか否かについて、画像取得を行うことができる。
【００２８】
ステアリングコラム４０は、ステアリングホイール２０を支持するとともに、ステアリングホイール２０の回転による操舵力を、図示しないステアリングシャフトを介して車輪に伝達する役割を果たす。ステアリングコラム４０内のステアリングシャフトは、操舵に応じて回転するが、外側のステアリングコラム４０は回転せず、運転者の方向に延在する形状をしているので、本実施例に係る運転者状態判定装置１００においては、撮像手段１０の設置固定手段として用いられている。
【００２９】
ステアリングホイール２０は、運転者が操舵を行うための手段である。本実施例に係る運転者状態判定装置１００においては、ステアリングホイール２０の上部に、タッチセンサ３０が設けられ、運転者が、ステアリングホイール２０に手を掛けて、撮像手段１０による運転者の撮影が妨げられる状態になっていないか否かを検出する。
【００３０】
操舵角検出手段５０は、ステアリングホイール２０の操舵角を検出する手段である。操舵角検出手段５０は、操舵角を検出できれば、種々の態様の操舵角センサ等が適用されてよい。例えば、一例として、操舵角検出手段５０は、ステアリングシャフトの周囲に円盤状に設けられ、磁気を利用して操舵角を検出する態様のセンサが適用されてもよい。
【００３１】
本実施例に係る運転者状態判定装置１００においては、タッチセンサ３０による条件の他、操舵角が所定範囲内にあるとき、つまり操舵角が小さく、直進状態に近いときに、運転者状態の判定を行うという前提条件を付加する場合もある。かかる前提条件を付加して判定処理を行うときには、本実施例に係る運転者状態判定装置１００は、操舵角検出手段５０を備えてよい。
【００３２】
図１（ｂ）は、本実施例に係る運転者状態判定装置１００の検出部の正面外形図である。図１（ｂ）において、ステアリングホイール２０の中央上部にタッチセンサ３０が設けられ、隠れているステアリングコラム４０の上側面に撮像手段１０が設けられている。このような配置であれば、例えば、操舵角が直進状態に近く、ステアリングホイール２０の中央上部に設けられたタッチセンサ３０が略中央上部に位置しているときに、運転者がステアリングホイール２０に掛けた手によって、撮像手段１０による運転者の撮影が妨げられる場合には、タッチセンサ３０で運転者の手がステアリングホイール２０の略中央上部に接触していることを検出することができる。
【００３３】
なお、タッチセンサ３０は、運転者の接触を検出できれば、種々の態様が適用されてよく、例えば、通電式のタッチセンサ３０が適用されてもよいし、静電容量式のタッチセンサ３０が適用されてもよい。
【００３４】
次に、図２を用いて、本実施例に係る運転者状態判定装置１００の検出部と演算処理部を含めた全体構成について説明する。図２は、実施例１に係る運転者状態判定装置１００の全体構成を示した機能ブロック図である。
【００３５】
図２において、本実施例に係る運転者状態判定装置１００は、撮像手段１０と、タッチセンサ３０と、顔画像認識手段６０と、運転者状態判定手段７０とを備える。また、本実施例に係る運転者状態判定装置１００は、必要に応じて、操舵角検出手段５０を備えてよい。なお、撮像手段１０、タッチセンサ３０及び操舵角検出手段５０は、図１においてその機能及び内容を説明したので、同一の参照符号を付してその説明を省略する。
【００３６】
顔画像認識手段６０は、撮像手段１０で撮影した運転者の画像を画像処理し、運転者の顔画像を認識処理する手段である。顔画像認識手段６０は、例えば、撮像手段１０から画像を取得し、コンピュータで画像処理が可能なようにデジタル化し、次に歪みやノイズを除去し、拡大、縮小、回転などの必要な補正処理を施した後、特徴抽出を行って特徴パラメータ又は特徴ベクトルを求め、得られた特徴量の中から標準パターンに合致又は近似した特徴量を識別により決定する、という一連の画像認識処理を行う。ここで、例えば、顔向きが正面向きであるか、又はわき見状態の横向きであるかを認識する場合には、特徴量の抽出は、運転者の顔の左右のエッジ等の顔の輪郭、鼻尖（鼻の尖端部）、眼、口等の顔部品の位置から顔の中心線を抽出し、顔の正面向き画像及び横向き画像との照合を行い、識別による認識処理を行うようにしてよい。
【００３７】
運転者状態判定手段７０は、顔画像認識手段６０により認識処理された顔画像の認識処理結果に基づいて、運転者状態を判定する手段である。運転者状態判定手段７０は、例えば、上述の顔向きの検知の例を挙げると、運転者の顔向きが正面向きであるか、横向きであるか否かの最終判定を行い、必要に応じてこの判定結果を出力する。つまり、顔画像認識手段６０による認識処理結果から、運転者の顔向きの識別がなされるが、その識別された顔向きが、横向きに分類されるか、正面向きに分類されるかの最終判定を行う。
【００３８】
また、運転者状態判定手段７０は、顔画像認識手段６０の認識処理結果に基づいて運転者状態を判定するのに加えて、この判定を補正する処理も行う。本実施例に係る運転者状態判定装置１００においては、運転者の手が撮像手段１０を覆い、正しい運転者状態の判定が行えないときには、顔画像認識手段６０の認識処理結果に基づく運転者状態の判定を行わず、この判定を補正する処理を行う。従って、運転者状態判定手段７０には、タッチセンサ３０及び操舵角検出手段５０からの検出結果が入力されるように構成されている。
【００３９】
つまり、タッチセンサ３０がオンであるときには、運転者の手がステアリングホイール２０の略中央上部に接触しており、撮像手段１０が撮影した画像は、運転者の手の画像であるので、これに基づいて顔画像認識手段６０が認識処理を行うと、運転者の顔が正面を向いているにも関わらず、横向きであると運転者状態判定手段７０が誤判定する場合が増加する。従って、このような場合には、運転者状態判定手段７０にタッチセンサ３０からオン信号が入力されたら、運転者状態判定手段７０は、画像処理に基づく運転状態判定を行わないようにする。このとき、運転状態判定手段７０は、運転状態判定を行わずに、処理を終了するようにしてもよい。運転者状態判定装置１００の判定結果は、通常は、警報手段等に出力され、顔向きが横向きの場合には、警報を発するような構成となっている場合が多い。従って、運転者状態判定手段７０が運転者状態の判定を行わなければ、警報を発する指令となる顔横向きの信号は出力されないので、警報は発しないことになる。
【００４０】
また、運転者状態判定手段７０が、顔向きが正面向きのときには、正面向きの信号を出力し、顔向きが横向きのときには、横向きの信号を出力するように構成されている場合には、運転者状態判定手段７０は、タッチセンサ３０がオンであったときには、正面向きの信号を出力することになる。
【００４１】
なお、運転者状態判定手段７０には、操舵角検出手段５０により検出された操舵角の検出結果も入力されてよい。これは、操舵角が大きい場合には、運転者は顔を横に向けている場合が多く、またスポークにより撮像手段１０が覆われてしまう場合も多いことから、操舵角が直進に近い状態にのみ、本実施例に係る運転者状態判定装置１００による運転者状態判定を適用する場合がある。このような場合には、タッチセンサ３０がオンで、かつ操舵角検出手段５０により検出された操舵角が所定角度範囲内のときに、本実施例に係る運転者状態判定装置１００による運転者状態判定を適用するため、操舵角検出手段５０による操舵角検出結果も、運転者状態判定手段７０に入力される。
【００４２】
なお、所定角度範囲は、例えば、±１０度の範囲に設定してもよい。所定角度範囲は、用途に応じて、適切な範囲に定めることができる。
【００４３】
顔画像認識手段６０及び運転者状態判定手段７０は、上述の様な画像認識処理及び運転者状態判定の演算処理を行うため、演算処理手段により構成されてよく、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access memory）を有し、プログラムにより動作するコンピュータとして構成されてもよいし、所定の電子回路により演算処理を行うＡＳＩＣ（Application Specific Integrated Circuit）として構成されてもよい。顔画像認識手段６０及び運転者状態判定手段７０は、別個に構成されてもよいが、演算処理部８０内に一体的に構成されてもよく、例えば、運転者状態判定ＥＣＵ（Electronic Control Unit、電子制御ユニット）として構成されてもよい。
【００４４】
次に、図３を用いて、実施例１に係る運転者状態判定装置１００の処理フローについて説明する。図３は、実施例１に係る運転者状態判定装置１００の処理フロー図である。
【００４５】
ステップ１００では、撮像手段１０により、運転者の画像が撮影される。撮影された運転者画像は、顔画像認識手段６０に送られる。
【００４６】
ステップ１１０では、顔画像認識手段６０により、画像処理が実行され、運転者の顔画像が認識処理される。運転者の顔画像の認識処理は、補正処理、顔のエッジ等の特徴点の抽出等の画像処理により行われてよい。そして、認識処理結果として、運転者状態、例えば運転者の顔向きが検出される。顔画像認識手段６０の認識処理結果は、運転者状態判定手段７０に送られる。
【００４７】
ステップ１２０では、運転者状態判定手段７０により、顔画像認識手段６０の認識処理結果に基づいて、運転者状態が判定される。図３の処理フローにおいては、運転者の顔向きが正面向きか否かが判定される。運転者の顔向きが正面向きであると判定されたときには、ステップ１４０に進み、運転者の顔向きが正面向きでないと判定されたときには、ステップ１３０に進む。
【００４８】
ステップ１４０では、運転者状態判定手段７０において、認識処理結果に基づき、そのまま顔向きが正面であるとの判定がなされ、処理フローを終了する。つまり、認識処理結果が、顔向きは正面向きであるとの認識であった場合には、そのまま顔向きが正面向きであるとの判定がなされることになる。処理フロー終了後は、図３の処理フローを最初から繰り返す。
【００４９】
一方、ステップ１３０では、運転者状態判定手段７０により、タッチセンサ３０がオンか否かの判定がなされる。ステップ１２０において、運転者の顔向きが正面向きでなく、横向きでありわき見をしていると判定された場合であっても、実際には、運転者が撮像手段１０を手で覆っており、正しい判定がなされていないおそれがあるので、誤判定を防止すべく、タッチセンサ３０のオン状態を判定する。
【００５０】
ステップ１３０において、タッチセンサ３０がオンであると判定されたときには、ステップ１４０に進む。一方、ステップ１３０において、タッチセンサ３０がオンでないと判定されたときには、ステップ１５０に進む。
【００５１】
ステップ１４０では、運転者状態判定手段７０により、運転者の顔向きは正面であるとの判定がなされ、処理フローを終了する。これは、顔画像認識手段６０の認識処理結果に基づく結果ではなく、タッチセンサ３０がオンであることを検出したことにより、運転者状態判定手段７０で判定に補正をかけ、顔向きが正面であるとの判定を最終的に行ったものである。タッチセンサ３０がオン状態であるため、撮像手段１０は運転者の手により覆われ、認識処理結果の信頼性が薄いため、顔向きは正面であるとの判定を行うことにより、誤判定を回避できる。なお、ステップ１４０終了後は、図３の処理フローを最初から繰り返す。
【００５２】
ステップ１５０では、運転者状態判定手段７０により、運転者の顔向きは横向きであり、わき見をしている状態であるとの判定がなされ、処理フローを終了する。ステップ１３０において、タッチセンサ３０はオフ状態であったので、運転者の手が撮像手段１０の障害となっている状態ではなく、顔画像認識手段６０の認識処理結果が信頼に足るものと判断し、顔画像認識手段６０の認識処理結果に基づいて、顔向きは横向きであるとの判定を行う。なお、処理フロー終了後は、図３の処理フローを最初から繰り返す。
【００５３】
このように、実施例１に係る運転者状態判定装置１００によれば、タッチセンサ３０をステアリングホイール２０の略中央上部に設けることにより、ステアリングコラム４０の上側面に設けられた撮像手段１０が手に覆われている状態を検出し、このような場合には運転者が横向きとの判定がなされても、これをそのまま判定結果とはしないので、誤判定を低減させ、信頼性の高い運転者状態判定装置１００とすることができる。
【実施例２】
【００５４】
図４は、本発明を適用した実施例２に係る運転者状態判定装置１００ａの全体構成を示す機能ブロック図である。図４において、実施例２に係る運転者状態判定装置１００ａは、検出部については、撮像手段１０と、操舵角検出手段５０とを有する点で、実施例１に係る運転者状態判定装置１００と同様であるが、タッチセンサ３０が障害物推定手段３０ａに置き換わっている点で異なっている。また、障害物推定手段３０ａ及び操舵角検出手段５０の出力が、運転者状態判定手段７０ではなく、顔画像認識手段６０ａに出力される構成となっている点で異なっている。
【００５５】
更に、実施例２に係る運転者状態判定装置１００ａは、演算処理部８０ａについては、顔画像認識手段６０ａと、運転者状態判定手段７０を備える点では、実施例１に係る運転者状態判定装置１００と同様であるが、顔画像認識手段６０ａの内部に、入力部６１と画像処理部６２が示されている点で、実施例１に係る運転者状態判定装置１００と異なっている。
【００５６】
実施例２に係る運転者状態判定装置１００ａは、障害物推定手段３０ａにおいて、障害物の存在が推定されたときには、これを顔画像認識手段６０ａに送り、顔画像認識手段６０ａにおいて、最初から画像処理を行わない制御を行う。これにより、画像処理に要する演算処理を軽減することができ、演算処理負担を低減させることができる。
【００５７】
障害物推定手段３０ａは、撮像手段１０の撮影を妨げる障害の有無を推定する手段である。障害物推定手段３０ａは、実施例１において説明したタッチセンサ３０が適用され、ステアリングホイール２０の略中央上部に設けられてもよいし、他の手段が設けられてもよい。例えば、撮像手段１０と同じ角度で、撮像手段１０付近に、光や超音波により障害物を検出する手段が設けられていてもよい。
【００５８】
障害物推定手段３０ａにより、撮像手段１０の撮影を妨げる障害物の存在が推定されたときには、撮像手段１０により撮像された画像は、障害物により運転者が適切に撮影された画像ではないので、これを画像処理して顔画像の認識を行っても、運転者状態を正しく認識することはできず、画像処理に費やした演算処理が無駄となってしまう。よって、このような場合には、最初から顔画像認識手段６０ａによる画像処理を行わないようにする。よって、障害物推定手段３０ａの検出結果は、顔画像認識手段６０ａに送られる。
【００５９】
同様に、操舵角が直進に近い所定範囲内のときに、本制御を適用する場合には、操舵角の検出結果が必要となるため、操舵角検出手段５０の検出結果も、顔画像認識手段６０ａに出力される。なお、所定角度範囲は、例えば、実施例１と同様に、±１０度に設定されてもよい。操舵角も考慮して判定処理を行う場合には、障害物推定手段３０ａにより障害物の存在が推定され、かつ操舵角検出手段５０に検出された操舵角が所定角度範囲内のときに、本実施例に係る運転者状態判定装置１００ａによる画像処理を行わない処理を適用するようにすればよい。
【００６０】
顔画像認識手段６０ａは、入力部６１と、画像処理部６２とを備える。入力部６１は、撮像手段１０から画像を取得するための手段であり、画像信号を取得する手段である。また、画像処理部６２は、入力部６１から入力された画像について、補正、特徴点抽出、識別等の画像処理を行い、画像認識を行う手段である。
【００６１】
顔画像認識手段６０ａが、障害物推定手段３０ａにより障害物の存在が推定されることを検出したときには、顔画像認識手段６０ａは、画像処理部６２で画像処理を行わない処理を行っても良いし、入力部６１で、撮像手段１０からの画像の取得自体を行わない処理を行ってもよい。入力部６１で、撮像手段１０から運転者の画像を取得しない場合には、画像処理部６２には画像信号が入力されないので、やはり画像処理は行われない。
【００６２】
このように、顔画像認識手段６０ａは、撮像手段１０からの画像自体を入力部６１が取得しないことにより画像処理を行わないような処理を行ってもよいし、画像処理部６２が画像処理を行わない処理を実行してもよい。演算処理自体は、入力部６１が画像を取得しない方が少なくなるので、こちらの方が好ましいが、用途等に応じて、適切な態様を選択してよい。
【００６３】
なお、運転者状態判定手段７０は、実施例１に係る運転者状態判定装置１００と同じ構成及び機能を有するので、同一の参照符号を付してその説明を省略する。
【００６４】
また、撮像手段１０及び操舵角検出手段５０の取り付け位置については、実施例１の図１と同様であってよく、タッチセンサ３０を障害物推定手段３０ａに適用する場合には、やはり同様の取り付け位置となるので、その説明を省略する。障害物推定手段３０ａに、他の光や超音波等を用いた検出手段を用いる場合には、適宜障害物の検出に適切な位置に設けるようにしてよい。
【００６５】
次に、図５を用いて、実施例２に係る運転者状態判定装置１００ａの処理フローについて説明する。図５は、実施例２に係る運転者状態判定装置１００ａの処理フロー図である。
【００６６】
ステップ２００では、撮像手段１０により、運転者の画像の撮影が行われる。
【００６７】
ステップ２１０では、障害物推定手段３０ａにより、撮像手段１０の撮影を妨げる障害物の有無が推定される。障害物推定手段３０ａは、ステアリングホイール２０の略中央上部に設けられたタッチセンサ３０であってもよいし、他の光等を利用したセンサであってもよい。
【００６８】
ステップ２１０において、障害物推定手段３０ａにより障害物があると推定されたときには、ステップ２４０に進み、障害物がないと推定されたときには、ステップ２２０に進む。
【００６９】
ステップ２４０では、ステップ２１０で障害物があると判定されたので、顔画像認識手段６０ａにおける画像処理は行われず、運転者状態判定手段７０により、顔向きが正面であるとの判定がなされ、処理フローを終了する。この場合、顔画像認識手段６０ａで画像処理を行っても、正しい運転者状態を判定することはできないので、運転者は正面を向いているとの判定を擬制する。なお、顔画像認識手段６０ａは、自分では画像処理は行わないが、運転者状態判定手段７０には、顔向きが正面であるとの判定を行わせる必要があるので、その指令信号を運転者状態判定手段７０に出力する。
【００７０】
ステップ２２０では、ステップ２１０で障害物はないと判定されたので、撮像手段１０により撮影された運転者の画像を、顔画像認識手段６０ａが取得して画像処理を行い、顔向き検出の認識処理を行う。
【００７１】
ステップ２３０では、運転者状態判定手段７０により、顔画像認識手段６０ａの認識処理結果に基づいて、運転者の顔が正面向きか否かの判定がなされる。
【００７２】
ステップ２３０において、運転者の顔向きが正面向きと判定されたときには、ステップ２４０に進み、正面向きでなく、横向き、つまりわき見をしていると判定された場合には、ステップ２５０に進む。
【００７３】
ステップ２４０では、運転者状態判定手段７０により、運転者の顔向きは正面向きであるとの判定がなされ、処理フローを終了する。このときの判定は、顔画像認識手段６０ａの認識処理結果に基づく判定結果であり、実際の運転者状態を示す信頼性のある判定結果である。なお、処理フロー終了後は、図５の処理フローを最初から繰り返す。
【００７４】
ステップ２５０では、運転者状態判定手段７０により、運転者の顔向きが横向きであるとの判定がなされ、処理フローを終了する。この場合の判定結果も、顔画像認識手段６０ａの認識処理結果に基づく判定結果であり、運転者状態を正しく反映しているので、この判定結果に基づいて、例えばわき見を注意する警報を発する等の処理を、図５に係る処理フローの後に実行するようにしてもよい。処理フロー終了後は、図５の処理フローを最初から繰り返す点は、今までと同様である。
【００７５】
実施例２に係る運転者状態判定装置１００ａによれば、障害物推定手段３０ａにより撮像手段１０の撮影を妨げる障害物があることが推定されたときには、画像処理自体を行わないので、演算処理負担を大幅に軽減させることができるとともに、信頼性の高い運転者状態の判定を行うことができる。
【実施例３】
【００７６】
図６は、本発明を適用した実施例３に係る運転者状態判定装置１００ｂの検出部を示した外形図である。図６（ａ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の側面図であり、図６（ｂ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の正面図である。
【００７７】
図６（ａ）において、実施例３に係る運転者状態判定装置１００ｂの検出部は、撮像手段１０ａが、ステアリングコラム４０の下側面に設けられている点で、実施例１の図１に係る運転者状態判定装置１００と異なっている。このように、撮像手段１０ａを、ステアリングコラム４０の下側面に設けるようにしてもよい。これによっても、運転者を正面下方から撮影することができるので、実施例１とほぼ同様の状態で運転者の撮像を行うことができる。なお、他の構成要素である、ステアリング２０、ステアリングコラム４０、操舵角検出手段５０及び図示しないタッチセンサ３０については、実施例１に係る運転者状態判定装置１００の検出部の図１（ａ）と同様であるので、同一の参照符号を付し、その説明を省略する。
【００７８】
図６（ｂ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の正面図である。図６（ｂ）において、タッチセンサ３０は、実施例１と同様に、ステアリングホイール２０の中央上部に設けられているが、撮像手段１０ａは、ステアリングコラム４０の下側面に設けられていることが分かる。図６（ｂ）においても、撮像手段１０ｂの位置は、運転者に対しては正面となるので、運転者の顔向きを適切に撮像することができる。
【００７９】
また、実施例３に係る運転者状態判定装置１００ｂによれば、運転者がステアリングホイール２０の略中央上部に手を掛け、手を掛けた側の腕によって撮像手段１０による運転者の撮影が妨げられるような場合に、画像処理に基づく運転者状態の誤判定を防ぐことができる。
【００８０】
実施例１及び実施例３で示したように、撮像手段１０ａの位置は、用途に応じて、ステアリングコラム４０の上側面に設けてもよいし、下側面に設けてもよい。いずれにおいても、適切に運転者の画像を撮影できる。
【００８１】
なお、実施例３は、そのまま実施例２にも適用してよい。実施例２は、演算処理部８０ａに関する機能及び処理が実施例１と異なるだけであり、検出部の外形は実施例１と同様であるので、実施例３の外形も同様に適用することができる。
【００８２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【図面の簡単な説明】
【００８３】
【図１】実施例１に係る運転者状態判定装置１００の検出部を示した外形図である。図１（ａ）は、実施例１に係る運転者状態判定装置１００の検出部の側面図である。図１（ｂ）は、実施例１に係る運転者状態判定装置１００の検出部の正面図である。
【図２】実施例１に係る運転者状態判定装置１００の全体構成機能ブロック図である。
【図３】実施例１に係る運転者状態判定装置１００の処理フロー図である。
【図４】実施例２に係る運転者状態判定装置１００ａの全体構成機能ブロック図である。
【図５】実施例２に係る運転者状態判定装置１００ａの処理フロー図である。
【図６】実施例３に係る運転者状態判定装置１００ｂの検出部を示した外形図である。図６（ａ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の側面図である。図６（ｂ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の正面図である。
【符号の説明】
【００８４】
１０、１０ａ 撮像手段
２０ ステアリングホイール
３０ タッチセンサ
３０ａ 障害物推定手段
４０ ステアリングコラム
５０ 操舵角検出手段
６０、６０ａ 顔画像認識手段
７０ 運転者状態判定手段
８０ 演算処理部
１００、１００ａ、１００ｂ 運転者状態判定装置
【技術分野】
【０００１】
本発明は、運転者状態判定装置に関し、特に、運転者の画像を撮影する撮像手段を有する運転者状態判定装置に関する。
【背景技術】
【０００２】
従来から、運転者に赤外光を照射する照射手段と、照射された運転者の赤外画像をステアリング越しに撮像する撮像手段とを車室内の運転者に略正対する位置に配置し、取得した赤外画像から画像処理により運転者の顔画像を認識処理する運転者認識装置において、取得した赤外画像が所定以上に明るい場合に、障害物映り込み状態と判定し、取得画像にステアリングや運転者の手などの障害物が映り込んで、運転者の顔画像を取得することができず、運転状態を誤判定することを抑制するようにした運転者認識装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１５７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の特許文献１に記載の構成では、画像処理によって障害物判定を行うため、処理が複雑となり、演算処理量が大きくなってしまうという問題があった。
【０００４】
そこで、本発明は、ステアリングや運転者の手などの障害物が存在し、運転者の画像が正確に撮像できないような状況下においては、障害物があることを簡素な構成で容易に検出して判定を行わないようにし、少ない演算処理量で障害物判定を正確に行うことができ、誤判定を抑制できる運転者状態判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る運転者状態判定装置は、運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態の判定を行う運転者状態判定手段とを備えた運転者状態判定装置であって、
ステアリングホイール上部中央にタッチセンサを備え、
該タッチセンサがオンのときには、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする。
【０００６】
これにより、ステアリングホイールの上に運転者の手等が覆い被さり、撮像手段の撮像の障害となるときには、運転者の状態判定を行わず、誤判定を低減させることができる。
【０００７】
第２の発明は、第１の発明に係る運転者状態判定装置において、
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオンのときに、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする。
【０００８】
これにより、操舵角が大きいときには、タッチセンサがオフであっても、運転者状態の判定を行わないようにすることができ、運転者状態の誤判定を防止することができる。
【０００９】
第３の発明は、第１又は第２の発明に係る運転者状態判定装置において、
前記運転者状態の判定は、前記運転者がわき見をしているか否かの判定であって、
前記運転者状態判定手段は、前記タッチセンサがオンのときには、前記運転者はわき見をしていないと判定し、前記タッチセンサがオフのときには、前記画像認識手段による前記顔画像の認識処理結果に基づいて、前記運転者がわき見をしているか否かを判定することを特徴とする。
【００１０】
これにより、わき見判定を行うことが可能なときにのみわき見判定を行うことができ、わき見判定の信頼性を向上させることができる。
【００１１】
第４の発明に係る運転者状態判定装置は、運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を取得して画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態を判定する運転者状態判定手段とを備えた運転者状態判定装置であって、
前記運転者の画像の撮影を妨げる障害物の有無を推定する障害物判定手段を備え、
該障害物判定手段により前記障害物があると推定されたときには、前記顔画像認識手段は、前記画像を取得せず、
前記障害物判定手段により前記障害物がないと推定されたときには、前記顔画像認識手段は、前記画像を取得することを特徴とする。
【００１２】
これにより、障害物の存在により顔画像の撮像が適切に行うことができないときには、画像認識手段は画像取得を行わず、運転状態判定の信頼性を向上させるとともに、演算処理負担を軽減することができる。
【００１３】
第５の発明は、第４の発明に係る運転者状態判定装置において、
前記障害物判定手段は、ステアリングホイール上部中央に設けられたタッチセンサであって、該タッチセンサがオン状態のときに、前記障害物があると推定することを特徴とする。
【００１４】
これにより、取り付け容易なタッチセンサを設けることにより障害物の有無を推定することができ、簡素な構成で容易に障害物の有無の推定を行うことができる。
【００１５】
第６の発明は、第５の発明に係る運転者状態判定装置において、
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオン状態のときに、前記障害物判定手段は、前記障害物があると推定することを特徴とする。
【００１６】
これにより、障害物の存在の推定に、操舵角が直進に近い状態であることを条件として加えることができ、より正確な障害物の有無の推定を行うことができる。
【００１７】
第７の発明は、第４〜６のいずれかの発明に係る運転者状態判定装置において、
前記障害物判定手段により、前記障害物があると推定されたときには、前記運転者状態判定手段は、運転者がわき見をしていると判定し、前記障害物がないと推定されたときには、前記顔画像認識手段による前記顔画像の認識処理結果に基づいて、運転者がわき見をしているか否かを判定することを特徴とする。
【００１８】
これにより、障害物がないときにわき見判定を行うことができ、わき見判定の誤判定を低減し、わき見判定の信頼性を向上させることができる。
【００１９】
第８の発明は、第１〜７のいずれかの発明に係る運転者状態判定装置において、
前記撮像手段は、ステアリングコラムの上側面又は下側面に備えられていることを特徴とする。
【００２０】
これにより、運転者の顔画像を、正面下方から撮像することができ、顔画像の撮影を適切に行うことができる。
【発明の効果】
【００２１】
本発明によれば、障害物の有無を簡素な構成で容易に検出し、少ない演算処理量で障害物判定を行うことができ、運転者状態判定の信頼性を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【実施例１】
【００２３】
図１は、本発明を適用した実施例１に係る運転者状態判定装置１００の検出部を示した外形図である。図１（ａ）は、実施例１に係る運転者状態判定装置１００の検出部の側面図であり、図１（ｂ）は、実施例１に係る運転者状態判定装置１００の検出部の正面図である。
【００２４】
図１（ａ）において、実施例１に係る運転者状態判定装置１００は、撮像手段１０と、図示しないタッチセンサ３０とを備える。また、本実施例に係る運転者状態判定装置１００は、必要に応じて、操舵角検出手段５０を備えてよい。更に、本実施例に係る運転者状態判定装置１００は、関連構成要素として、ステアリングホイール２０と、ステアリングコラム４０とを有する。
【００２５】
撮像手段１０は、運転者を正面下方から撮影し、運転者の画像を撮像するための手段である。これにより、運転者の顔向き、視線、身体の向き等の運転者状態を撮影し、画像取得することができる。
【００２６】
撮像手段１０は、ドライバーモニタカメラとして種々のカメラが適用されてよい。撮像手段１０は、例えば、ＣＣＤ（Charge Coupled Device）カメラが適用されてもよいし、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラが適用されてもよい。
【００２７】
撮像手段１０は、運転者を正面方向から撮像するため、ステアリングコラム４０の上側面に設けられている。これにより、運転者を常に正面から撮影することができるので、顔の向きが正面を向いているか否かについて、画像取得を行うことができる。
【００２８】
ステアリングコラム４０は、ステアリングホイール２０を支持するとともに、ステアリングホイール２０の回転による操舵力を、図示しないステアリングシャフトを介して車輪に伝達する役割を果たす。ステアリングコラム４０内のステアリングシャフトは、操舵に応じて回転するが、外側のステアリングコラム４０は回転せず、運転者の方向に延在する形状をしているので、本実施例に係る運転者状態判定装置１００においては、撮像手段１０の設置固定手段として用いられている。
【００２９】
ステアリングホイール２０は、運転者が操舵を行うための手段である。本実施例に係る運転者状態判定装置１００においては、ステアリングホイール２０の上部に、タッチセンサ３０が設けられ、運転者が、ステアリングホイール２０に手を掛けて、撮像手段１０による運転者の撮影が妨げられる状態になっていないか否かを検出する。
【００３０】
操舵角検出手段５０は、ステアリングホイール２０の操舵角を検出する手段である。操舵角検出手段５０は、操舵角を検出できれば、種々の態様の操舵角センサ等が適用されてよい。例えば、一例として、操舵角検出手段５０は、ステアリングシャフトの周囲に円盤状に設けられ、磁気を利用して操舵角を検出する態様のセンサが適用されてもよい。
【００３１】
本実施例に係る運転者状態判定装置１００においては、タッチセンサ３０による条件の他、操舵角が所定範囲内にあるとき、つまり操舵角が小さく、直進状態に近いときに、運転者状態の判定を行うという前提条件を付加する場合もある。かかる前提条件を付加して判定処理を行うときには、本実施例に係る運転者状態判定装置１００は、操舵角検出手段５０を備えてよい。
【００３２】
図１（ｂ）は、本実施例に係る運転者状態判定装置１００の検出部の正面外形図である。図１（ｂ）において、ステアリングホイール２０の中央上部にタッチセンサ３０が設けられ、隠れているステアリングコラム４０の上側面に撮像手段１０が設けられている。このような配置であれば、例えば、操舵角が直進状態に近く、ステアリングホイール２０の中央上部に設けられたタッチセンサ３０が略中央上部に位置しているときに、運転者がステアリングホイール２０に掛けた手によって、撮像手段１０による運転者の撮影が妨げられる場合には、タッチセンサ３０で運転者の手がステアリングホイール２０の略中央上部に接触していることを検出することができる。
【００３３】
なお、タッチセンサ３０は、運転者の接触を検出できれば、種々の態様が適用されてよく、例えば、通電式のタッチセンサ３０が適用されてもよいし、静電容量式のタッチセンサ３０が適用されてもよい。
【００３４】
次に、図２を用いて、本実施例に係る運転者状態判定装置１００の検出部と演算処理部を含めた全体構成について説明する。図２は、実施例１に係る運転者状態判定装置１００の全体構成を示した機能ブロック図である。
【００３５】
図２において、本実施例に係る運転者状態判定装置１００は、撮像手段１０と、タッチセンサ３０と、顔画像認識手段６０と、運転者状態判定手段７０とを備える。また、本実施例に係る運転者状態判定装置１００は、必要に応じて、操舵角検出手段５０を備えてよい。なお、撮像手段１０、タッチセンサ３０及び操舵角検出手段５０は、図１においてその機能及び内容を説明したので、同一の参照符号を付してその説明を省略する。
【００３６】
顔画像認識手段６０は、撮像手段１０で撮影した運転者の画像を画像処理し、運転者の顔画像を認識処理する手段である。顔画像認識手段６０は、例えば、撮像手段１０から画像を取得し、コンピュータで画像処理が可能なようにデジタル化し、次に歪みやノイズを除去し、拡大、縮小、回転などの必要な補正処理を施した後、特徴抽出を行って特徴パラメータ又は特徴ベクトルを求め、得られた特徴量の中から標準パターンに合致又は近似した特徴量を識別により決定する、という一連の画像認識処理を行う。ここで、例えば、顔向きが正面向きであるか、又はわき見状態の横向きであるかを認識する場合には、特徴量の抽出は、運転者の顔の左右のエッジ等の顔の輪郭、鼻尖（鼻の尖端部）、眼、口等の顔部品の位置から顔の中心線を抽出し、顔の正面向き画像及び横向き画像との照合を行い、識別による認識処理を行うようにしてよい。
【００３７】
運転者状態判定手段７０は、顔画像認識手段６０により認識処理された顔画像の認識処理結果に基づいて、運転者状態を判定する手段である。運転者状態判定手段７０は、例えば、上述の顔向きの検知の例を挙げると、運転者の顔向きが正面向きであるか、横向きであるか否かの最終判定を行い、必要に応じてこの判定結果を出力する。つまり、顔画像認識手段６０による認識処理結果から、運転者の顔向きの識別がなされるが、その識別された顔向きが、横向きに分類されるか、正面向きに分類されるかの最終判定を行う。
【００３８】
また、運転者状態判定手段７０は、顔画像認識手段６０の認識処理結果に基づいて運転者状態を判定するのに加えて、この判定を補正する処理も行う。本実施例に係る運転者状態判定装置１００においては、運転者の手が撮像手段１０を覆い、正しい運転者状態の判定が行えないときには、顔画像認識手段６０の認識処理結果に基づく運転者状態の判定を行わず、この判定を補正する処理を行う。従って、運転者状態判定手段７０には、タッチセンサ３０及び操舵角検出手段５０からの検出結果が入力されるように構成されている。
【００３９】
つまり、タッチセンサ３０がオンであるときには、運転者の手がステアリングホイール２０の略中央上部に接触しており、撮像手段１０が撮影した画像は、運転者の手の画像であるので、これに基づいて顔画像認識手段６０が認識処理を行うと、運転者の顔が正面を向いているにも関わらず、横向きであると運転者状態判定手段７０が誤判定する場合が増加する。従って、このような場合には、運転者状態判定手段７０にタッチセンサ３０からオン信号が入力されたら、運転者状態判定手段７０は、画像処理に基づく運転状態判定を行わないようにする。このとき、運転状態判定手段７０は、運転状態判定を行わずに、処理を終了するようにしてもよい。運転者状態判定装置１００の判定結果は、通常は、警報手段等に出力され、顔向きが横向きの場合には、警報を発するような構成となっている場合が多い。従って、運転者状態判定手段７０が運転者状態の判定を行わなければ、警報を発する指令となる顔横向きの信号は出力されないので、警報は発しないことになる。
【００４０】
また、運転者状態判定手段７０が、顔向きが正面向きのときには、正面向きの信号を出力し、顔向きが横向きのときには、横向きの信号を出力するように構成されている場合には、運転者状態判定手段７０は、タッチセンサ３０がオンであったときには、正面向きの信号を出力することになる。
【００４１】
なお、運転者状態判定手段７０には、操舵角検出手段５０により検出された操舵角の検出結果も入力されてよい。これは、操舵角が大きい場合には、運転者は顔を横に向けている場合が多く、またスポークにより撮像手段１０が覆われてしまう場合も多いことから、操舵角が直進に近い状態にのみ、本実施例に係る運転者状態判定装置１００による運転者状態判定を適用する場合がある。このような場合には、タッチセンサ３０がオンで、かつ操舵角検出手段５０により検出された操舵角が所定角度範囲内のときに、本実施例に係る運転者状態判定装置１００による運転者状態判定を適用するため、操舵角検出手段５０による操舵角検出結果も、運転者状態判定手段７０に入力される。
【００４２】
なお、所定角度範囲は、例えば、±１０度の範囲に設定してもよい。所定角度範囲は、用途に応じて、適切な範囲に定めることができる。
【００４３】
顔画像認識手段６０及び運転者状態判定手段７０は、上述の様な画像認識処理及び運転者状態判定の演算処理を行うため、演算処理手段により構成されてよく、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access memory）を有し、プログラムにより動作するコンピュータとして構成されてもよいし、所定の電子回路により演算処理を行うＡＳＩＣ（Application Specific Integrated Circuit）として構成されてもよい。顔画像認識手段６０及び運転者状態判定手段７０は、別個に構成されてもよいが、演算処理部８０内に一体的に構成されてもよく、例えば、運転者状態判定ＥＣＵ（Electronic Control Unit、電子制御ユニット）として構成されてもよい。
【００４４】
次に、図３を用いて、実施例１に係る運転者状態判定装置１００の処理フローについて説明する。図３は、実施例１に係る運転者状態判定装置１００の処理フロー図である。
【００４５】
ステップ１００では、撮像手段１０により、運転者の画像が撮影される。撮影された運転者画像は、顔画像認識手段６０に送られる。
【００４６】
ステップ１１０では、顔画像認識手段６０により、画像処理が実行され、運転者の顔画像が認識処理される。運転者の顔画像の認識処理は、補正処理、顔のエッジ等の特徴点の抽出等の画像処理により行われてよい。そして、認識処理結果として、運転者状態、例えば運転者の顔向きが検出される。顔画像認識手段６０の認識処理結果は、運転者状態判定手段７０に送られる。
【００４７】
ステップ１２０では、運転者状態判定手段７０により、顔画像認識手段６０の認識処理結果に基づいて、運転者状態が判定される。図３の処理フローにおいては、運転者の顔向きが正面向きか否かが判定される。運転者の顔向きが正面向きであると判定されたときには、ステップ１４０に進み、運転者の顔向きが正面向きでないと判定されたときには、ステップ１３０に進む。
【００４８】
ステップ１４０では、運転者状態判定手段７０において、認識処理結果に基づき、そのまま顔向きが正面であるとの判定がなされ、処理フローを終了する。つまり、認識処理結果が、顔向きは正面向きであるとの認識であった場合には、そのまま顔向きが正面向きであるとの判定がなされることになる。処理フロー終了後は、図３の処理フローを最初から繰り返す。
【００４９】
一方、ステップ１３０では、運転者状態判定手段７０により、タッチセンサ３０がオンか否かの判定がなされる。ステップ１２０において、運転者の顔向きが正面向きでなく、横向きでありわき見をしていると判定された場合であっても、実際には、運転者が撮像手段１０を手で覆っており、正しい判定がなされていないおそれがあるので、誤判定を防止すべく、タッチセンサ３０のオン状態を判定する。
【００５０】
ステップ１３０において、タッチセンサ３０がオンであると判定されたときには、ステップ１４０に進む。一方、ステップ１３０において、タッチセンサ３０がオンでないと判定されたときには、ステップ１５０に進む。
【００５１】
ステップ１４０では、運転者状態判定手段７０により、運転者の顔向きは正面であるとの判定がなされ、処理フローを終了する。これは、顔画像認識手段６０の認識処理結果に基づく結果ではなく、タッチセンサ３０がオンであることを検出したことにより、運転者状態判定手段７０で判定に補正をかけ、顔向きが正面であるとの判定を最終的に行ったものである。タッチセンサ３０がオン状態であるため、撮像手段１０は運転者の手により覆われ、認識処理結果の信頼性が薄いため、顔向きは正面であるとの判定を行うことにより、誤判定を回避できる。なお、ステップ１４０終了後は、図３の処理フローを最初から繰り返す。
【００５２】
ステップ１５０では、運転者状態判定手段７０により、運転者の顔向きは横向きであり、わき見をしている状態であるとの判定がなされ、処理フローを終了する。ステップ１３０において、タッチセンサ３０はオフ状態であったので、運転者の手が撮像手段１０の障害となっている状態ではなく、顔画像認識手段６０の認識処理結果が信頼に足るものと判断し、顔画像認識手段６０の認識処理結果に基づいて、顔向きは横向きであるとの判定を行う。なお、処理フロー終了後は、図３の処理フローを最初から繰り返す。
【００５３】
このように、実施例１に係る運転者状態判定装置１００によれば、タッチセンサ３０をステアリングホイール２０の略中央上部に設けることにより、ステアリングコラム４０の上側面に設けられた撮像手段１０が手に覆われている状態を検出し、このような場合には運転者が横向きとの判定がなされても、これをそのまま判定結果とはしないので、誤判定を低減させ、信頼性の高い運転者状態判定装置１００とすることができる。
【実施例２】
【００５４】
図４は、本発明を適用した実施例２に係る運転者状態判定装置１００ａの全体構成を示す機能ブロック図である。図４において、実施例２に係る運転者状態判定装置１００ａは、検出部については、撮像手段１０と、操舵角検出手段５０とを有する点で、実施例１に係る運転者状態判定装置１００と同様であるが、タッチセンサ３０が障害物推定手段３０ａに置き換わっている点で異なっている。また、障害物推定手段３０ａ及び操舵角検出手段５０の出力が、運転者状態判定手段７０ではなく、顔画像認識手段６０ａに出力される構成となっている点で異なっている。
【００５５】
更に、実施例２に係る運転者状態判定装置１００ａは、演算処理部８０ａについては、顔画像認識手段６０ａと、運転者状態判定手段７０を備える点では、実施例１に係る運転者状態判定装置１００と同様であるが、顔画像認識手段６０ａの内部に、入力部６１と画像処理部６２が示されている点で、実施例１に係る運転者状態判定装置１００と異なっている。
【００５６】
実施例２に係る運転者状態判定装置１００ａは、障害物推定手段３０ａにおいて、障害物の存在が推定されたときには、これを顔画像認識手段６０ａに送り、顔画像認識手段６０ａにおいて、最初から画像処理を行わない制御を行う。これにより、画像処理に要する演算処理を軽減することができ、演算処理負担を低減させることができる。
【００５７】
障害物推定手段３０ａは、撮像手段１０の撮影を妨げる障害の有無を推定する手段である。障害物推定手段３０ａは、実施例１において説明したタッチセンサ３０が適用され、ステアリングホイール２０の略中央上部に設けられてもよいし、他の手段が設けられてもよい。例えば、撮像手段１０と同じ角度で、撮像手段１０付近に、光や超音波により障害物を検出する手段が設けられていてもよい。
【００５８】
障害物推定手段３０ａにより、撮像手段１０の撮影を妨げる障害物の存在が推定されたときには、撮像手段１０により撮像された画像は、障害物により運転者が適切に撮影された画像ではないので、これを画像処理して顔画像の認識を行っても、運転者状態を正しく認識することはできず、画像処理に費やした演算処理が無駄となってしまう。よって、このような場合には、最初から顔画像認識手段６０ａによる画像処理を行わないようにする。よって、障害物推定手段３０ａの検出結果は、顔画像認識手段６０ａに送られる。
【００５９】
同様に、操舵角が直進に近い所定範囲内のときに、本制御を適用する場合には、操舵角の検出結果が必要となるため、操舵角検出手段５０の検出結果も、顔画像認識手段６０ａに出力される。なお、所定角度範囲は、例えば、実施例１と同様に、±１０度に設定されてもよい。操舵角も考慮して判定処理を行う場合には、障害物推定手段３０ａにより障害物の存在が推定され、かつ操舵角検出手段５０に検出された操舵角が所定角度範囲内のときに、本実施例に係る運転者状態判定装置１００ａによる画像処理を行わない処理を適用するようにすればよい。
【００６０】
顔画像認識手段６０ａは、入力部６１と、画像処理部６２とを備える。入力部６１は、撮像手段１０から画像を取得するための手段であり、画像信号を取得する手段である。また、画像処理部６２は、入力部６１から入力された画像について、補正、特徴点抽出、識別等の画像処理を行い、画像認識を行う手段である。
【００６１】
顔画像認識手段６０ａが、障害物推定手段３０ａにより障害物の存在が推定されることを検出したときには、顔画像認識手段６０ａは、画像処理部６２で画像処理を行わない処理を行っても良いし、入力部６１で、撮像手段１０からの画像の取得自体を行わない処理を行ってもよい。入力部６１で、撮像手段１０から運転者の画像を取得しない場合には、画像処理部６２には画像信号が入力されないので、やはり画像処理は行われない。
【００６２】
このように、顔画像認識手段６０ａは、撮像手段１０からの画像自体を入力部６１が取得しないことにより画像処理を行わないような処理を行ってもよいし、画像処理部６２が画像処理を行わない処理を実行してもよい。演算処理自体は、入力部６１が画像を取得しない方が少なくなるので、こちらの方が好ましいが、用途等に応じて、適切な態様を選択してよい。
【００６３】
なお、運転者状態判定手段７０は、実施例１に係る運転者状態判定装置１００と同じ構成及び機能を有するので、同一の参照符号を付してその説明を省略する。
【００６４】
また、撮像手段１０及び操舵角検出手段５０の取り付け位置については、実施例１の図１と同様であってよく、タッチセンサ３０を障害物推定手段３０ａに適用する場合には、やはり同様の取り付け位置となるので、その説明を省略する。障害物推定手段３０ａに、他の光や超音波等を用いた検出手段を用いる場合には、適宜障害物の検出に適切な位置に設けるようにしてよい。
【００６５】
次に、図５を用いて、実施例２に係る運転者状態判定装置１００ａの処理フローについて説明する。図５は、実施例２に係る運転者状態判定装置１００ａの処理フロー図である。
【００６６】
ステップ２００では、撮像手段１０により、運転者の画像の撮影が行われる。
【００６７】
ステップ２１０では、障害物推定手段３０ａにより、撮像手段１０の撮影を妨げる障害物の有無が推定される。障害物推定手段３０ａは、ステアリングホイール２０の略中央上部に設けられたタッチセンサ３０であってもよいし、他の光等を利用したセンサであってもよい。
【００６８】
ステップ２１０において、障害物推定手段３０ａにより障害物があると推定されたときには、ステップ２４０に進み、障害物がないと推定されたときには、ステップ２２０に進む。
【００６９】
ステップ２４０では、ステップ２１０で障害物があると判定されたので、顔画像認識手段６０ａにおける画像処理は行われず、運転者状態判定手段７０により、顔向きが正面であるとの判定がなされ、処理フローを終了する。この場合、顔画像認識手段６０ａで画像処理を行っても、正しい運転者状態を判定することはできないので、運転者は正面を向いているとの判定を擬制する。なお、顔画像認識手段６０ａは、自分では画像処理は行わないが、運転者状態判定手段７０には、顔向きが正面であるとの判定を行わせる必要があるので、その指令信号を運転者状態判定手段７０に出力する。
【００７０】
ステップ２２０では、ステップ２１０で障害物はないと判定されたので、撮像手段１０により撮影された運転者の画像を、顔画像認識手段６０ａが取得して画像処理を行い、顔向き検出の認識処理を行う。
【００７１】
ステップ２３０では、運転者状態判定手段７０により、顔画像認識手段６０ａの認識処理結果に基づいて、運転者の顔が正面向きか否かの判定がなされる。
【００７２】
ステップ２３０において、運転者の顔向きが正面向きと判定されたときには、ステップ２４０に進み、正面向きでなく、横向き、つまりわき見をしていると判定された場合には、ステップ２５０に進む。
【００７３】
ステップ２４０では、運転者状態判定手段７０により、運転者の顔向きは正面向きであるとの判定がなされ、処理フローを終了する。このときの判定は、顔画像認識手段６０ａの認識処理結果に基づく判定結果であり、実際の運転者状態を示す信頼性のある判定結果である。なお、処理フロー終了後は、図５の処理フローを最初から繰り返す。
【００７４】
ステップ２５０では、運転者状態判定手段７０により、運転者の顔向きが横向きであるとの判定がなされ、処理フローを終了する。この場合の判定結果も、顔画像認識手段６０ａの認識処理結果に基づく判定結果であり、運転者状態を正しく反映しているので、この判定結果に基づいて、例えばわき見を注意する警報を発する等の処理を、図５に係る処理フローの後に実行するようにしてもよい。処理フロー終了後は、図５の処理フローを最初から繰り返す点は、今までと同様である。
【００７５】
実施例２に係る運転者状態判定装置１００ａによれば、障害物推定手段３０ａにより撮像手段１０の撮影を妨げる障害物があることが推定されたときには、画像処理自体を行わないので、演算処理負担を大幅に軽減させることができるとともに、信頼性の高い運転者状態の判定を行うことができる。
【実施例３】
【００７６】
図６は、本発明を適用した実施例３に係る運転者状態判定装置１００ｂの検出部を示した外形図である。図６（ａ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の側面図であり、図６（ｂ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の正面図である。
【００７７】
図６（ａ）において、実施例３に係る運転者状態判定装置１００ｂの検出部は、撮像手段１０ａが、ステアリングコラム４０の下側面に設けられている点で、実施例１の図１に係る運転者状態判定装置１００と異なっている。このように、撮像手段１０ａを、ステアリングコラム４０の下側面に設けるようにしてもよい。これによっても、運転者を正面下方から撮影することができるので、実施例１とほぼ同様の状態で運転者の撮像を行うことができる。なお、他の構成要素である、ステアリング２０、ステアリングコラム４０、操舵角検出手段５０及び図示しないタッチセンサ３０については、実施例１に係る運転者状態判定装置１００の検出部の図１（ａ）と同様であるので、同一の参照符号を付し、その説明を省略する。
【００７８】
図６（ｂ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の正面図である。図６（ｂ）において、タッチセンサ３０は、実施例１と同様に、ステアリングホイール２０の中央上部に設けられているが、撮像手段１０ａは、ステアリングコラム４０の下側面に設けられていることが分かる。図６（ｂ）においても、撮像手段１０ｂの位置は、運転者に対しては正面となるので、運転者の顔向きを適切に撮像することができる。
【００７９】
また、実施例３に係る運転者状態判定装置１００ｂによれば、運転者がステアリングホイール２０の略中央上部に手を掛け、手を掛けた側の腕によって撮像手段１０による運転者の撮影が妨げられるような場合に、画像処理に基づく運転者状態の誤判定を防ぐことができる。
【００８０】
実施例１及び実施例３で示したように、撮像手段１０ａの位置は、用途に応じて、ステアリングコラム４０の上側面に設けてもよいし、下側面に設けてもよい。いずれにおいても、適切に運転者の画像を撮影できる。
【００８１】
なお、実施例３は、そのまま実施例２にも適用してよい。実施例２は、演算処理部８０ａに関する機能及び処理が実施例１と異なるだけであり、検出部の外形は実施例１と同様であるので、実施例３の外形も同様に適用することができる。
【００８２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【図面の簡単な説明】
【００８３】
【図１】実施例１に係る運転者状態判定装置１００の検出部を示した外形図である。図１（ａ）は、実施例１に係る運転者状態判定装置１００の検出部の側面図である。図１（ｂ）は、実施例１に係る運転者状態判定装置１００の検出部の正面図である。
【図２】実施例１に係る運転者状態判定装置１００の全体構成機能ブロック図である。
【図３】実施例１に係る運転者状態判定装置１００の処理フロー図である。
【図４】実施例２に係る運転者状態判定装置１００ａの全体構成機能ブロック図である。
【図５】実施例２に係る運転者状態判定装置１００ａの処理フロー図である。
【図６】実施例３に係る運転者状態判定装置１００ｂの検出部を示した外形図である。図６（ａ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の側面図である。図６（ｂ）は、実施例３に係る運転者状態判定装置１００ｂの検出部の正面図である。
【符号の説明】
【００８４】
１０、１０ａ 撮像手段
２０ ステアリングホイール
３０ タッチセンサ
３０ａ 障害物推定手段
４０ ステアリングコラム
５０ 操舵角検出手段
６０、６０ａ 顔画像認識手段
７０ 運転者状態判定手段
８０ 演算処理部
１００、１００ａ、１００ｂ 運転者状態判定装置
【特許請求の範囲】
【請求項１】
運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態の判定を行う運転者状態判定手段とを備えた運転者状態判定装置であって、
ステアリングホイール上部中央にタッチセンサを備え、
該タッチセンサがオンのときには、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする運転者状態判定装置。
【請求項２】
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオンのときに、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする運転者状態判定装置。
【請求項３】
前記運転者状態の判定は、前記運転者がわき見をしているか否かの判定であって、
前記運転者状態判定手段は、前記タッチセンサがオンのときには、前記運転者はわき見をしていないと判定し、前記タッチセンサがオフのときには、前記画像認識手段による前記顔画像の認識処理結果に基づいて、前記運転者がわき見をしているか否かを判定することを特徴とする請求項１又は２に記載の運転者状態判定装置。
【請求項４】
運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を取得して画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態を判定する運転者状態判定手段とを備えた運転者状態判定装置であって、
前記運転者の画像の撮影を妨げる障害物の有無を推定する障害物判定手段を備え、
該障害物判定手段により前記障害物があると推定されたときには、前記顔画像認識手段は、前記画像を取得せず、
前記障害物判定手段により前記障害物がないと推定されたときには、前記顔画像認識手段は、前記画像を取得することを特徴とする運転者状態判定装置。
【請求項５】
前記障害物判定手段は、ステアリングホイール上部中央に設けられたタッチセンサであって、該タッチセンサがオン状態のときに、前記障害物があると推定することを特徴とする請求項４に記載の運転者状態判定装置。
【請求項６】
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオン状態のときに、前記障害物判定手段は、前記障害物があると推定することを特徴とする請求項５に記載の運転者状態判定装置。
【請求項７】
前記障害物判定手段により、前記障害物があると推定されたときには、前記運転者状態判定手段は、運転者がわき見をしていると判定し、前記障害物がないと推定されたときには、前記顔画像認識手段による前記顔画像の認識処理結果に基づいて、運転者がわき見をしているか否かを判定することを特徴とする請求項４乃至６のいずれか一項に記載の運転者状態判定装置。
【請求項８】
前記撮像手段は、ステアリングコラムの上側面又は下側面に備えられていることを特徴とする請求項１乃至７のいずれか一項に記載の運転者状態判定装置。
【請求項１】
運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態の判定を行う運転者状態判定手段とを備えた運転者状態判定装置であって、
ステアリングホイール上部中央にタッチセンサを備え、
該タッチセンサがオンのときには、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする運転者状態判定装置。
【請求項２】
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオンのときに、前記運転者状態判定手段は、前記顔画像の前記認識処理結果に基づく前記運転者状態の判定を行わないことを特徴とする運転者状態判定装置。
【請求項３】
前記運転者状態の判定は、前記運転者がわき見をしているか否かの判定であって、
前記運転者状態判定手段は、前記タッチセンサがオンのときには、前記運転者はわき見をしていないと判定し、前記タッチセンサがオフのときには、前記画像認識手段による前記顔画像の認識処理結果に基づいて、前記運転者がわき見をしているか否かを判定することを特徴とする請求項１又は２に記載の運転者状態判定装置。
【請求項４】
運転者の画像を撮影する撮像手段と、該撮像手段により撮影された前記画像を取得して画像処理することにより前記運転者の顔画像を認識処理する顔画像認識手段と、該顔画像認識手段による前記顔画像の認識処理結果に基づいて運転者状態を判定する運転者状態判定手段とを備えた運転者状態判定装置であって、
前記運転者の画像の撮影を妨げる障害物の有無を推定する障害物判定手段を備え、
該障害物判定手段により前記障害物があると推定されたときには、前記顔画像認識手段は、前記画像を取得せず、
前記障害物判定手段により前記障害物がないと推定されたときには、前記顔画像認識手段は、前記画像を取得することを特徴とする運転者状態判定装置。
【請求項５】
前記障害物判定手段は、ステアリングホイール上部中央に設けられたタッチセンサであって、該タッチセンサがオン状態のときに、前記障害物があると推定することを特徴とする請求項４に記載の運転者状態判定装置。
【請求項６】
前記ステアリングホイールの操舵角を検出する操舵角検出手段を更に備え、
該操舵角検出手段により検出された前記操舵角が所定角度範囲内にあり、かつ前記タッチセンサがオン状態のときに、前記障害物判定手段は、前記障害物があると推定することを特徴とする請求項５に記載の運転者状態判定装置。
【請求項７】
前記障害物判定手段により、前記障害物があると推定されたときには、前記運転者状態判定手段は、運転者がわき見をしていると判定し、前記障害物がないと推定されたときには、前記顔画像認識手段による前記顔画像の認識処理結果に基づいて、運転者がわき見をしているか否かを判定することを特徴とする請求項４乃至６のいずれか一項に記載の運転者状態判定装置。
【請求項８】
前記撮像手段は、ステアリングコラムの上側面又は下側面に備えられていることを特徴とする請求項１乃至７のいずれか一項に記載の運転者状態判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２４８７７７（Ｐ２００９−２４８７７７Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９９７９１（Ｐ２００８−９９７９１）
【出願日】平成２０年４月７日（２００８．４．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月７日（２００８．４．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]