運転状態監視装置
【課題】車両の走行環境の変化に伴い状態が変化する顔画像からの特徴点の抽出精度を向上させることが可能な運転状態監視装置を提供する。
【解決手段】運転状態監視装置１は、運転者の顔画像を取得する顔画像センサ１１と、運転情報を取得する運転操作検出センサ１２及び周辺監視センサ１３と、運転者の顔画像に基づいて、運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出し、特徴点群が顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出し、その尤度に基づいて特徴点を抽出するＥＣＵ１０とを備える。運転情報は顔画像自体が有する情報とは別の情報であるので、ＥＣＵ１０は、顔画像の状態の変化の影響を受けることなく尤度を算出することができる。
【解決手段】運転状態監視装置１は、運転者の顔画像を取得する顔画像センサ１１と、運転情報を取得する運転操作検出センサ１２及び周辺監視センサ１３と、運転者の顔画像に基づいて、運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出し、特徴点群が顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出し、その尤度に基づいて特徴点を抽出するＥＣＵ１０とを備える。運転情報は顔画像自体が有する情報とは別の情報であるので、ＥＣＵ１０は、顔画像の状態の変化の影響を受けることなく尤度を算出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置に関するものである。
【背景技術】
【０００２】
近年、車両を運転している運転者の顔画像を取得し、この顔画像を解析処理することにより、運転状態を監視する監視装置が開発されている。この監視装置では、取得した顔画像における目、鼻及び口といった特徴点を抽出し、これらの特徴点の状態や顔の向き等に基づいて運転状態が判断される。例えば、特許文献１に記載される顔向き判別装置では、取得した顔画像における顔の位置及び顔の中心位置を検出して顔の向きを求め、この検出結果の精度の指標となる信頼度を併せて算出している。
【特許文献１】特開２００７−７２６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
取得した顔画像からの特徴点の抽出には、例えばエッジ検出等の画像解析技術が用いられる。このような画像解析では、複数の特徴点候補が抽出された場合には、例えばエッジ強度や輝度等を用いて、最も確からしい特徴点候補が特徴点として抽出される。しかしながら、車両の走行環境の変化に伴って、運転者の顔への光の当たりかたや運転者の顔の向きは様々に変化するので、取得される顔画像の状態も様々に変化する。このような顔画像に基づく画像解析では、特徴点の誤抽出が発生しやすくなる。
【０００４】
そこで、本発明の課題は、車両の走行環境の変化に伴い状態が変化する顔画像からの特徴点の抽出精度の向上を図ることが可能な運転状態監視装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置において、運転者の顔画像に基づいて、運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出する特徴点群算出手段と、特徴点群が運転者の顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出する尤度算出手段と、特徴点群毎の尤度に基づいて特徴点を抽出する特徴点抽出手段とを備えることを特徴とする。
【０００６】
本発明の運転状態監視装置では、複数の特徴点候補の組み合わせである特徴点群の尤度を運転情報に基づいて算出する。この運転情報は顔画像自体が有する情報とは別の情報であるので、顔画像の状態の変化の影響を受けることなく尤度を算出することができる。従って、顔画像からの特徴点の抽出精度を向上させることが可能となる。
【０００７】
また、本発明に係る運転状態監視装置では、尤度算出手段は、顔画像から得られる各特徴点候補の属性情報に基づいて尤度を算出すると共に、運転情報から得られる運転者の顔向きに対する重み付け値を設定し、重み付け値を用いて尤度を補正することを特徴とする。
【０００８】
本発明の運転状態監視装置では、運転情報から運転者の顔向きに対する重み付け値が得られる。この重み付け値は、運転者の顔が向いている方向の蓋然性の高さを表す。顔画像から得られる属性情報に基づく尤度を、その重み付け値を用いて補正するので、精度の高い尤度が得られる。この結果、特徴点の抽出精度を、より一層向上させることが可能となる。
【０００９】
また、本発明の運転状態監視装置では、運転情報は、運転者の運転操作の状態及び車両の周辺の状態を含む情報であることを特徴とする。
【００１０】
本発明の運転状態監視装置では、運転操作の状態及び車両の周辺の状態を含む運転情報から運転者の顔向きが得られ、その重み付け値が得られるので、重み付け値の精度が向上され、その結果、より一層精度の高い尤度が得られる。
【発明の効果】
【００１１】
本発明によれば、車両の走行環境の変化に伴い状態が変化する顔画像からの特徴点の抽出精度の向上を図ることが可能となる。その結果、より適切な運転状態の監視が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る運転状態監視装置の実施形態について詳細に説明する。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１３】
図１は、本発明に係る運転状態監視装置の実施形態を示す概略構成図である。運転状態監視装置１は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０、顔画像センサ１１、運転操作検出センサ１２及び周辺監視センサ１３を備える。ＥＣＵ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭおよび入出力インターフェース等により構成される。
【００１４】
運転状態監視装置１は、車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する装置である。顔画像の特徴点は、例えば目、鼻及び口といった顔の部位であり、これらの特徴点は、例えばエッジ検出等の画像処理技術を用いて抽出される。そして、運転状態監視装置１は、例えば目の瞬き、鼻及び口の位置から判別した顔の向き等の特徴点の状態に基づいて、運転者の運転状態を監視する。
【００１５】
顔画像センサ１１は、運転者の顔を撮像して顔画像を取得し、取得した顔画像のデータをＥＣＵ１０に送出する。この顔画像センサ１１は、例えば赤外線カメラ等により構成される。
【００１６】
運転操作検出センサ１２は、運転者の運転操作を検出し、検出した運転操作に関する情報をＥＣＵ１０に送出する。この運転操作検出センサ１２は、例えば操舵角センサ、ヨーＧセンサ、方向指示操作検出センサおよびペダルセンサ等により構成される。操舵角センサは、ステアリングに対する操舵操作を検出する。ヨーＧセンサは、車両に発生するヨーモーメントから車両の旋回方向を検出する。方向指示操作検出センサは、方向指示器の操作状態を検出する。ペダルセンサは、ブレーキペダルの制動操作状態を検出する。
【００１７】
周辺監視センサ１３は、車両の周辺の状態を検出し、検出した車両の周辺の状態に関する情報をＥＣＵ１０に送出する。この周辺監視センサ１３は、例えばミリ波レーダ、画像認識センサ等により構成される。ミリ波レーダは、車両前方に電波を照射し、物体の表面で反射された電波を受信し、受信信号の周波数変化から物体の有無、車両から見た物体の方位、車両から物体までの距離等の情報を取得する。画像認識センサは、例えばカメラ及び画像処理ＥＣＵにより構成され、車両前方を撮像し、撮像画像から画像処理により物体を抽出し、物体の有無等の情報を取得する。また、周辺監視センサ１３として、インフラから送信されるインフラ情報を受信する受信装置を含むことができる。インフラ情報には、例えば周辺の道路状況に関する情報が含まれる。
【００１８】
ＥＣＵ１０は、顔画像センサ１１から送出された顔画像のデータを取得し、この顔画像から特徴点を抽出する。ＥＣＵ１０は、この特徴点の抽出に際して、まず顔画像から特徴点候補を抽出し、複数の特徴点候補から１つの顔を構成するための特徴点群を算出し、特徴点群が顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出し、その尤度に基づいて特徴点を抽出する。運転情報は、例えば運転者の運転操作に関する情報及び車両の周辺の状態に関する情報である。ＥＣＵ１０は、運転操作に関する情報及び車両の周辺の状態に関する情報をそれぞれ、運転操作検出センサ１２及び周辺監視センサ１３から取得する。
【００１９】
次に、図２を用いて、ＥＣＵ１０により行われる特徴点の抽出の処理を説明する。図２は、ＥＣＵ１０が実行する処理手順を示したフローチャートである。
【００２０】
まず、ステップＳ２０において、顔画像センサ１１から送出された顔画像を取得する。図３（ａ）は、ここで取得される顔画像の模式図である。
【００２１】
次に、ステップＳ２１において、顔画像から特徴点候補を抽出する。図３（ｂ）は、特徴点候補の抽出の一例を示す図である。顔画像の特徴点は、例えば目、鼻及び口といった顔の部位であり、顔画像からの特徴点候補の抽出は、例えばエッジ検出等の画像処理技術を用いて行われる。取得される顔画像の状態は、光の当たり方の変化や顔の向きの変化等に起因して様々に変化するので、実際の特徴点以外の部分が画像処理により特徴点候補として抽出される場合がある。図３（ｂ）の例では、３組の特徴点候補が、目、鼻及び口の各々に対して抽出されている。
【００２２】
続いて、ステップＳ２２において、複数の特徴点候補から１つの顔を構成するための特徴点群を算出する。特徴点群の算出は、例えば目、鼻及び口の相対位置の規則性に基づくパターンマッチングにより行われる。図４（ａ）〜（ｃ）は、特徴点群の算出の一例を示す図である。ここでは、図３（ｂ）に示す複数の特徴点候補に基づいて、図４（ａ）〜（ｃ）に示すような特徴点群Ａ〜Ｃが算出されている。
【００２３】
続いて、ステップＳ２３において、各特徴点群の顔の向き及び一次尤度を算出する。顔の向きは、それぞれの特徴点群に含まれる各特徴点候補の位置に基づいて、左右の目の位置に相当する点を結んだ線、左右の鼻孔を結んだ線及び左右の口角を結んだ線を抽出し、これらの線の傾きに基づいて算出することができる。一次尤度は、顔画像において各特徴点候補が実際の顔を構成する各部位であることの確からしさを示す尤度相関値であり、各特徴点候補の属性情報に基づいて算出される。この属性情報は、例えば特徴点候補の抽出の際のエッジ強度の値である。この値が大きいほど一次尤度は大きくなる。ここでは、各特徴点群について、以下のように、顔の向き及び一次尤度が算出されたとする。
特徴点群Ａ：右向き、５０
特徴点群Ｂ：正面向き、５５
特徴点群Ｃ：左向き、６０
【００２４】
続いて、ステップＳ２４において、運転情報から得られる運転者の顔向きに対する重み付け（ウエイト）値を設定し、このウエイト値を用いて一次尤度を補正し、最終的な尤度を算出する。この運転情報は、上述したように、例えば運転者の運転操作に関する情報及び車両の周辺の状態に関する情報である。運転操作に関する情報としては、ステアリングに対する操舵操作、車両の旋回方向、方向指示器の操作及び制動操作等の情報が含まれる。また、車両の周辺の状態に関する情報としては、車両前方の物体の有無に関する情報及び車両から見た物体の方位の情報が含まれる。
【００２５】
ここでは、運転情報に基づいて特徴点群毎の重み付け値を決定する。図５は、顔向きに対する重み付け値を決定するための補正係数加算値を運転情報に対応付けて記憶しているテーブルの一例を示す図である。このテーブルは、例えばＥＣＵ１０のＲＯＭ（図示せず）等に予め記憶されている。ＥＣＵ１０は、このテーブルを参照して、取得した運転情報に基づいて補正係数加算値を抽出する。図５に示すテーブルの一例では、運転情報として「右方向指示器点灯」の情報を取得した場合には、補正係数加算値として「右：＋０．１」が抽出される。右方向指示器が点灯している場合には、運転者が右方向を向いている可能性が高いので、右向きの重み付け値の値を大きくする。ここでは、初期の重み付け値を１．０として、ステップＳ２３で顔の向きが「右向き」と算出された特徴点群Ａの重み付け値に、抽出された補正係数加算値「＋０．１」を加算する。なお、取得される運転情報は１つには限られず複数でもよい。ここでは、運転情報として、「右方向指示器点灯」及び「右旋回操作」を取得したとすると、補正係数加算値として「右：＋０．１」及び「右：＋０．２」が抽出される。この場合には、各特徴点群の重み付け値は以下のようになる。
特徴点群Ａ：１．３
特徴点群Ｂ：１．０
特徴点群Ｃ：１．０
【００２６】
ＥＣＵ１０は、一次尤度に重み付け値を乗じて最終的な尤度を算出する。各特徴点群の尤度は以下のようになる。
特徴点群Ａ：６５ （５０×１．３）
特徴点群Ｂ：５５ （５５×１．０）
特徴点群Ｃ：６０ （６０×１．０）
【００２７】
最後に、ステップＳ２５において、尤度に基づいて特徴点を抽出する。ここでは、特徴点群Ａの尤度が最大となるので、特徴点群Ａに含まれる各特徴点候補を特徴点として抽出する。
【００２８】
なお、以上の説明においては、運転情報ごとに運転者が顔を向けている蓋然性が高いと考えられる方向及び加算値が予め対応付けられており、その方向を向いていると判断された特徴点群の重み付け値に加算値を加算して、一次尤度に重み付け値を乗じて最終的な尤度を算出する態様としたが、この態様には限られない。
【００２９】
例えば、運転情報ごとに、運転者が顔を向けている蓋然性が高いと考えられる方向以外の他の方向及び加算値が予め対応付けられており、当該他の方向を向いていると判断された特徴点群の重み付け値に加算値を加算して、一次尤度を重み付け値で除して最終的な尤度を算出する態様とすることができる。具体的な例としては、運転情報として「右方向指示器点灯」の情報を取得した場合には、補正係数加算値として「正面：＋０．２」及び「左：＋０．３」が抽出される。このときの各特徴点群の重み付け値は以下のようになる。
特徴点群Ａ：１．０
特徴点群Ｂ：１．２
特徴点群Ｃ：１．３
【００３０】
そして、一次尤度に重み付け値を乗じて最終的な尤度を算出する。各特徴点群の尤度は以下のようになる。
特徴点群Ａ：５０ （５０÷１．０）
特徴点群Ｂ：４５．８ （５５÷１．２）
特徴点群Ｃ：４６．１ （６０÷１．３）
【００３１】
この場合にも、特徴点群Ａの尤度が最大となるので、特徴点群Ａに含まれる各特徴点候補を特徴点として抽出する。
【００３２】
さらに、他の例として、運転情報ごとに運転者が顔を向けている蓋然性が高いと考えられる方向及び一次尤度に対する加算値が予め対応付けられており、その方向を向いていると判断された特徴点群の一次尤度に加算値を加算して最終的な尤度を算出する態様とすることも可能である。具体的な例としては、運転情報として「右方向指示器点灯」の情報を取得した場合には、一次尤度に対する加算値として「右：＋１２」が抽出される。このときの各特徴点群の尤度は以下のようになる。
特徴点群Ａ：６２ （５０＋１２）
特徴点群Ｂ：５５ （５５＋０）
特徴点群Ｃ：６０ （６０＋０）
【００３３】
この場合にも、特徴点群Ａの尤度が最大となるので、特徴点群Ａに含まれる各特徴点候補を特徴点として抽出する。
【００３４】
以上において、ＥＣＵ１０のステップＳ２０〜Ｓ２２は、運転者の顔画像に基づいて運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出する特徴点群算出手段を構成する。ＥＣＵ１０のステップＳ２３、Ｓ２４は、特徴点群が運転者の顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出する尤度算出手段を構成する。ＥＣＵ１０のステップＳ２５は、特徴点群毎の尤度に基づいて特徴点を抽出する特徴点抽出手段を構成する。
【００３５】
以上のように本実施形態にあっては、顔画像から得られるエッジ強度等の情報に基づく一次尤度を算出した後に、運転者の顔が向いている方向の蓋然性の高さを表す重み付け値に基づいて一次尤度を補正して最終的な尤度が算出される。この重み付け値は、顔画像自体が有する情報とは別の情報である運転情報から得られるので、顔画像の状態の変化（明暗変化等）の影響が緩和された状態で、精度の高い尤度を得ることができる。この結果、顔画像からの特徴点の抽出精度を向上させることが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る運転状態監視装置の実施形態を示す概略構成図である。
【図２】ＥＣＵが実行する処理手順を示したフローチャートである。
【図３】ＥＣＵが取得する顔画像の一例と、特徴点候補の抽出の一例とを示す図である。
【図４】特徴点群の算出の一例を示す図である。
【図５】重み付け値を決定するための補正係数加算値を運転情報に対応付けて記憶しているテーブルの一例を示す図である。
【符号の説明】
【００３７】
１…運転状態監視装置、１０…ＥＣＵ（特徴点群算出手段、尤度算出手段、特徴点抽出手段）、１１…顔画像センサ、１２…運転操作検出センサ、１３…周辺監視センサ。
【技術分野】
【０００１】
本発明は、運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置に関するものである。
【背景技術】
【０００２】
近年、車両を運転している運転者の顔画像を取得し、この顔画像を解析処理することにより、運転状態を監視する監視装置が開発されている。この監視装置では、取得した顔画像における目、鼻及び口といった特徴点を抽出し、これらの特徴点の状態や顔の向き等に基づいて運転状態が判断される。例えば、特許文献１に記載される顔向き判別装置では、取得した顔画像における顔の位置及び顔の中心位置を検出して顔の向きを求め、この検出結果の精度の指標となる信頼度を併せて算出している。
【特許文献１】特開２００７−７２６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
取得した顔画像からの特徴点の抽出には、例えばエッジ検出等の画像解析技術が用いられる。このような画像解析では、複数の特徴点候補が抽出された場合には、例えばエッジ強度や輝度等を用いて、最も確からしい特徴点候補が特徴点として抽出される。しかしながら、車両の走行環境の変化に伴って、運転者の顔への光の当たりかたや運転者の顔の向きは様々に変化するので、取得される顔画像の状態も様々に変化する。このような顔画像に基づく画像解析では、特徴点の誤抽出が発生しやすくなる。
【０００４】
そこで、本発明の課題は、車両の走行環境の変化に伴い状態が変化する顔画像からの特徴点の抽出精度の向上を図ることが可能な運転状態監視装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置において、運転者の顔画像に基づいて、運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出する特徴点群算出手段と、特徴点群が運転者の顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出する尤度算出手段と、特徴点群毎の尤度に基づいて特徴点を抽出する特徴点抽出手段とを備えることを特徴とする。
【０００６】
本発明の運転状態監視装置では、複数の特徴点候補の組み合わせである特徴点群の尤度を運転情報に基づいて算出する。この運転情報は顔画像自体が有する情報とは別の情報であるので、顔画像の状態の変化の影響を受けることなく尤度を算出することができる。従って、顔画像からの特徴点の抽出精度を向上させることが可能となる。
【０００７】
また、本発明に係る運転状態監視装置では、尤度算出手段は、顔画像から得られる各特徴点候補の属性情報に基づいて尤度を算出すると共に、運転情報から得られる運転者の顔向きに対する重み付け値を設定し、重み付け値を用いて尤度を補正することを特徴とする。
【０００８】
本発明の運転状態監視装置では、運転情報から運転者の顔向きに対する重み付け値が得られる。この重み付け値は、運転者の顔が向いている方向の蓋然性の高さを表す。顔画像から得られる属性情報に基づく尤度を、その重み付け値を用いて補正するので、精度の高い尤度が得られる。この結果、特徴点の抽出精度を、より一層向上させることが可能となる。
【０００９】
また、本発明の運転状態監視装置では、運転情報は、運転者の運転操作の状態及び車両の周辺の状態を含む情報であることを特徴とする。
【００１０】
本発明の運転状態監視装置では、運転操作の状態及び車両の周辺の状態を含む運転情報から運転者の顔向きが得られ、その重み付け値が得られるので、重み付け値の精度が向上され、その結果、より一層精度の高い尤度が得られる。
【発明の効果】
【００１１】
本発明によれば、車両の走行環境の変化に伴い状態が変化する顔画像からの特徴点の抽出精度の向上を図ることが可能となる。その結果、より適切な運転状態の監視が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る運転状態監視装置の実施形態について詳細に説明する。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１３】
図１は、本発明に係る運転状態監視装置の実施形態を示す概略構成図である。運転状態監視装置１は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０、顔画像センサ１１、運転操作検出センサ１２及び周辺監視センサ１３を備える。ＥＣＵ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭおよび入出力インターフェース等により構成される。
【００１４】
運転状態監視装置１は、車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する装置である。顔画像の特徴点は、例えば目、鼻及び口といった顔の部位であり、これらの特徴点は、例えばエッジ検出等の画像処理技術を用いて抽出される。そして、運転状態監視装置１は、例えば目の瞬き、鼻及び口の位置から判別した顔の向き等の特徴点の状態に基づいて、運転者の運転状態を監視する。
【００１５】
顔画像センサ１１は、運転者の顔を撮像して顔画像を取得し、取得した顔画像のデータをＥＣＵ１０に送出する。この顔画像センサ１１は、例えば赤外線カメラ等により構成される。
【００１６】
運転操作検出センサ１２は、運転者の運転操作を検出し、検出した運転操作に関する情報をＥＣＵ１０に送出する。この運転操作検出センサ１２は、例えば操舵角センサ、ヨーＧセンサ、方向指示操作検出センサおよびペダルセンサ等により構成される。操舵角センサは、ステアリングに対する操舵操作を検出する。ヨーＧセンサは、車両に発生するヨーモーメントから車両の旋回方向を検出する。方向指示操作検出センサは、方向指示器の操作状態を検出する。ペダルセンサは、ブレーキペダルの制動操作状態を検出する。
【００１７】
周辺監視センサ１３は、車両の周辺の状態を検出し、検出した車両の周辺の状態に関する情報をＥＣＵ１０に送出する。この周辺監視センサ１３は、例えばミリ波レーダ、画像認識センサ等により構成される。ミリ波レーダは、車両前方に電波を照射し、物体の表面で反射された電波を受信し、受信信号の周波数変化から物体の有無、車両から見た物体の方位、車両から物体までの距離等の情報を取得する。画像認識センサは、例えばカメラ及び画像処理ＥＣＵにより構成され、車両前方を撮像し、撮像画像から画像処理により物体を抽出し、物体の有無等の情報を取得する。また、周辺監視センサ１３として、インフラから送信されるインフラ情報を受信する受信装置を含むことができる。インフラ情報には、例えば周辺の道路状況に関する情報が含まれる。
【００１８】
ＥＣＵ１０は、顔画像センサ１１から送出された顔画像のデータを取得し、この顔画像から特徴点を抽出する。ＥＣＵ１０は、この特徴点の抽出に際して、まず顔画像から特徴点候補を抽出し、複数の特徴点候補から１つの顔を構成するための特徴点群を算出し、特徴点群が顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出し、その尤度に基づいて特徴点を抽出する。運転情報は、例えば運転者の運転操作に関する情報及び車両の周辺の状態に関する情報である。ＥＣＵ１０は、運転操作に関する情報及び車両の周辺の状態に関する情報をそれぞれ、運転操作検出センサ１２及び周辺監視センサ１３から取得する。
【００１９】
次に、図２を用いて、ＥＣＵ１０により行われる特徴点の抽出の処理を説明する。図２は、ＥＣＵ１０が実行する処理手順を示したフローチャートである。
【００２０】
まず、ステップＳ２０において、顔画像センサ１１から送出された顔画像を取得する。図３（ａ）は、ここで取得される顔画像の模式図である。
【００２１】
次に、ステップＳ２１において、顔画像から特徴点候補を抽出する。図３（ｂ）は、特徴点候補の抽出の一例を示す図である。顔画像の特徴点は、例えば目、鼻及び口といった顔の部位であり、顔画像からの特徴点候補の抽出は、例えばエッジ検出等の画像処理技術を用いて行われる。取得される顔画像の状態は、光の当たり方の変化や顔の向きの変化等に起因して様々に変化するので、実際の特徴点以外の部分が画像処理により特徴点候補として抽出される場合がある。図３（ｂ）の例では、３組の特徴点候補が、目、鼻及び口の各々に対して抽出されている。
【００２２】
続いて、ステップＳ２２において、複数の特徴点候補から１つの顔を構成するための特徴点群を算出する。特徴点群の算出は、例えば目、鼻及び口の相対位置の規則性に基づくパターンマッチングにより行われる。図４（ａ）〜（ｃ）は、特徴点群の算出の一例を示す図である。ここでは、図３（ｂ）に示す複数の特徴点候補に基づいて、図４（ａ）〜（ｃ）に示すような特徴点群Ａ〜Ｃが算出されている。
【００２３】
続いて、ステップＳ２３において、各特徴点群の顔の向き及び一次尤度を算出する。顔の向きは、それぞれの特徴点群に含まれる各特徴点候補の位置に基づいて、左右の目の位置に相当する点を結んだ線、左右の鼻孔を結んだ線及び左右の口角を結んだ線を抽出し、これらの線の傾きに基づいて算出することができる。一次尤度は、顔画像において各特徴点候補が実際の顔を構成する各部位であることの確からしさを示す尤度相関値であり、各特徴点候補の属性情報に基づいて算出される。この属性情報は、例えば特徴点候補の抽出の際のエッジ強度の値である。この値が大きいほど一次尤度は大きくなる。ここでは、各特徴点群について、以下のように、顔の向き及び一次尤度が算出されたとする。
特徴点群Ａ：右向き、５０
特徴点群Ｂ：正面向き、５５
特徴点群Ｃ：左向き、６０
【００２４】
続いて、ステップＳ２４において、運転情報から得られる運転者の顔向きに対する重み付け（ウエイト）値を設定し、このウエイト値を用いて一次尤度を補正し、最終的な尤度を算出する。この運転情報は、上述したように、例えば運転者の運転操作に関する情報及び車両の周辺の状態に関する情報である。運転操作に関する情報としては、ステアリングに対する操舵操作、車両の旋回方向、方向指示器の操作及び制動操作等の情報が含まれる。また、車両の周辺の状態に関する情報としては、車両前方の物体の有無に関する情報及び車両から見た物体の方位の情報が含まれる。
【００２５】
ここでは、運転情報に基づいて特徴点群毎の重み付け値を決定する。図５は、顔向きに対する重み付け値を決定するための補正係数加算値を運転情報に対応付けて記憶しているテーブルの一例を示す図である。このテーブルは、例えばＥＣＵ１０のＲＯＭ（図示せず）等に予め記憶されている。ＥＣＵ１０は、このテーブルを参照して、取得した運転情報に基づいて補正係数加算値を抽出する。図５に示すテーブルの一例では、運転情報として「右方向指示器点灯」の情報を取得した場合には、補正係数加算値として「右：＋０．１」が抽出される。右方向指示器が点灯している場合には、運転者が右方向を向いている可能性が高いので、右向きの重み付け値の値を大きくする。ここでは、初期の重み付け値を１．０として、ステップＳ２３で顔の向きが「右向き」と算出された特徴点群Ａの重み付け値に、抽出された補正係数加算値「＋０．１」を加算する。なお、取得される運転情報は１つには限られず複数でもよい。ここでは、運転情報として、「右方向指示器点灯」及び「右旋回操作」を取得したとすると、補正係数加算値として「右：＋０．１」及び「右：＋０．２」が抽出される。この場合には、各特徴点群の重み付け値は以下のようになる。
特徴点群Ａ：１．３
特徴点群Ｂ：１．０
特徴点群Ｃ：１．０
【００２６】
ＥＣＵ１０は、一次尤度に重み付け値を乗じて最終的な尤度を算出する。各特徴点群の尤度は以下のようになる。
特徴点群Ａ：６５ （５０×１．３）
特徴点群Ｂ：５５ （５５×１．０）
特徴点群Ｃ：６０ （６０×１．０）
【００２７】
最後に、ステップＳ２５において、尤度に基づいて特徴点を抽出する。ここでは、特徴点群Ａの尤度が最大となるので、特徴点群Ａに含まれる各特徴点候補を特徴点として抽出する。
【００２８】
なお、以上の説明においては、運転情報ごとに運転者が顔を向けている蓋然性が高いと考えられる方向及び加算値が予め対応付けられており、その方向を向いていると判断された特徴点群の重み付け値に加算値を加算して、一次尤度に重み付け値を乗じて最終的な尤度を算出する態様としたが、この態様には限られない。
【００２９】
例えば、運転情報ごとに、運転者が顔を向けている蓋然性が高いと考えられる方向以外の他の方向及び加算値が予め対応付けられており、当該他の方向を向いていると判断された特徴点群の重み付け値に加算値を加算して、一次尤度を重み付け値で除して最終的な尤度を算出する態様とすることができる。具体的な例としては、運転情報として「右方向指示器点灯」の情報を取得した場合には、補正係数加算値として「正面：＋０．２」及び「左：＋０．３」が抽出される。このときの各特徴点群の重み付け値は以下のようになる。
特徴点群Ａ：１．０
特徴点群Ｂ：１．２
特徴点群Ｃ：１．３
【００３０】
そして、一次尤度に重み付け値を乗じて最終的な尤度を算出する。各特徴点群の尤度は以下のようになる。
特徴点群Ａ：５０ （５０÷１．０）
特徴点群Ｂ：４５．８ （５５÷１．２）
特徴点群Ｃ：４６．１ （６０÷１．３）
【００３１】
この場合にも、特徴点群Ａの尤度が最大となるので、特徴点群Ａに含まれる各特徴点候補を特徴点として抽出する。
【００３２】
さらに、他の例として、運転情報ごとに運転者が顔を向けている蓋然性が高いと考えられる方向及び一次尤度に対する加算値が予め対応付けられており、その方向を向いていると判断された特徴点群の一次尤度に加算値を加算して最終的な尤度を算出する態様とすることも可能である。具体的な例としては、運転情報として「右方向指示器点灯」の情報を取得した場合には、一次尤度に対する加算値として「右：＋１２」が抽出される。このときの各特徴点群の尤度は以下のようになる。
特徴点群Ａ：６２ （５０＋１２）
特徴点群Ｂ：５５ （５５＋０）
特徴点群Ｃ：６０ （６０＋０）
【００３３】
この場合にも、特徴点群Ａの尤度が最大となるので、特徴点群Ａに含まれる各特徴点候補を特徴点として抽出する。
【００３４】
以上において、ＥＣＵ１０のステップＳ２０〜Ｓ２２は、運転者の顔画像に基づいて運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出する特徴点群算出手段を構成する。ＥＣＵ１０のステップＳ２３、Ｓ２４は、特徴点群が運転者の顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて特徴点群毎に算出する尤度算出手段を構成する。ＥＣＵ１０のステップＳ２５は、特徴点群毎の尤度に基づいて特徴点を抽出する特徴点抽出手段を構成する。
【００３５】
以上のように本実施形態にあっては、顔画像から得られるエッジ強度等の情報に基づく一次尤度を算出した後に、運転者の顔が向いている方向の蓋然性の高さを表す重み付け値に基づいて一次尤度を補正して最終的な尤度が算出される。この重み付け値は、顔画像自体が有する情報とは別の情報である運転情報から得られるので、顔画像の状態の変化（明暗変化等）の影響が緩和された状態で、精度の高い尤度を得ることができる。この結果、顔画像からの特徴点の抽出精度を向上させることが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る運転状態監視装置の実施形態を示す概略構成図である。
【図２】ＥＣＵが実行する処理手順を示したフローチャートである。
【図３】ＥＣＵが取得する顔画像の一例と、特徴点候補の抽出の一例とを示す図である。
【図４】特徴点群の算出の一例を示す図である。
【図５】重み付け値を決定するための補正係数加算値を運転情報に対応付けて記憶しているテーブルの一例を示す図である。
【符号の説明】
【００３７】
１…運転状態監視装置、１０…ＥＣＵ（特徴点群算出手段、尤度算出手段、特徴点抽出手段）、１１…顔画像センサ、１２…運転操作検出センサ、１３…周辺監視センサ。
【特許請求の範囲】
【請求項１】
運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置において、
前記運転者の顔画像に基づいて、前記運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出する特徴点群算出手段と、
前記特徴点群が前記運転者の顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて前記特徴点群毎に算出する尤度算出手段と、
前記特徴点群毎の尤度に基づいて前記特徴点を抽出する特徴点抽出手段と
を備えることを特徴とする運転状態監視装置。
【請求項２】
前記尤度算出手段は、前記顔画像から得られる各特徴点候補の属性情報に基づいて前記尤度を算出すると共に、前記運転情報から得られる前記運転者の顔向きに対する重み付け値を設定し、前記重み付け値を用いて前記尤度を補正することを特徴とする請求項１記載の運転状態監視装置。
【請求項３】
前記運転情報は、前記運転者の運転操作の状態及び車両の周辺の状態を含む情報であることを特徴とする請求項１または２に記載の運転状態監視装置。
【請求項１】
運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置において、
前記運転者の顔画像に基づいて、前記運転者の顔を構成するための複数の特徴点候補の組み合わせからなる特徴点群を算出する特徴点群算出手段と、
前記特徴点群が前記運転者の顔を構成する各部位であることの確からしさを示す尤度を、運転情報に基づいて前記特徴点群毎に算出する尤度算出手段と、
前記特徴点群毎の尤度に基づいて前記特徴点を抽出する特徴点抽出手段と
を備えることを特徴とする運転状態監視装置。
【請求項２】
前記尤度算出手段は、前記顔画像から得られる各特徴点候補の属性情報に基づいて前記尤度を算出すると共に、前記運転情報から得られる前記運転者の顔向きに対する重み付け値を設定し、前記重み付け値を用いて前記尤度を補正することを特徴とする請求項１記載の運転状態監視装置。
【請求項３】
前記運転情報は、前記運転者の運転操作の状態及び車両の周辺の状態を含む情報であることを特徴とする請求項１または２に記載の運転状態監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−５５３０１（Ｐ２０１０−５５３０１Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１８４５５（Ｐ２００８−２１８４５５）
【出願日】平成２０年８月２７日（２００８．８．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２７日（２００８．８．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]