画像解析装置
【課題】何らかの方法により運転者本人の画像、特に覚醒時の正面画像を取得して、それを用いて画像解析して運転者の眠気や脇見の程度（有無）を算出する画像解析装置を提供する。
【解決手段】運転者の所持する免許証内の顔画像をカードリーダ６で取得し、近赤外線カメラ２で運転者の顔画像を撮影する。運転者本人の覚醒時の正面画像である免許証内の顔画像から部分画像をテンプレート画像として抽出して、カメラ２による撮影画像に対して認識処理を行う。免許証内の顔画像とカメラ２による撮影画像とにおける特徴量の比較により運転者の眠気度、脇見度を判定して、眠気あり、脇見ありの場合に警報装置４で警報を発する。
【解決手段】運転者の所持する免許証内の顔画像をカードリーダ６で取得し、近赤外線カメラ２で運転者の顔画像を撮影する。運転者本人の覚醒時の正面画像である免許証内の顔画像から部分画像をテンプレート画像として抽出して、カメラ２による撮影画像に対して認識処理を行う。免許証内の顔画像とカメラ２による撮影画像とにおける特徴量の比較により運転者の眠気度、脇見度を判定して、眠気あり、脇見ありの場合に警報装置４で警報を発する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置に関する。
【背景技術】
【０００２】
自動車の運転者の居眠り運転や脇見運転を防止するために、ドライバの状態をカメラで撮影してモニタし、居眠り運転や脇見運転が検出されたら警報を発するシステムが提案されている。例えば下記特許文献１では、顔の認識処理において、人が顔画像を撮影する画像入力装置に対して移動したり向きを変えなくても精度よく認識が実行できる装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２４３４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし特許文献１の手法では、平均的な顔のテンプレート画像を用いて、画像解析を行うので、認識に時間がかかる、認識の精度が高くない、などといった課題がある。何らかの方法により運転者本人の画像、さらに理想的には覚醒時の正面画像、を取得して、それを用いて画像解析して運転者の眠気や脇見の程度（有無）を算出するシステムが望ましいが、従来技術においてそのようなシステムの提案はない。
【０００５】
そこで本発明が解決しようとする課題は、上記問題点に鑑み、何らかの方法により運転者本人の画像、特に覚醒時の正面画像を取得して、それを用いて画像解析して運転者の眠気や脇見の程度（有無）を算出する画像解析装置を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００６】
上記課題を達成するために、本発明に係る画像解析装置は、車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、その取得手段が取得した免許証内画像を用いて、前記撮影手段が撮影した現在画像における顔の認識処理を行う認識処理手段と、その認識処理手段によって認識された現在画像における所定の特徴量を算出する第１算出手段と、その第１算出手段によって算出された特徴量が基準値から離れている程度を判定する判定手段と、を備えたことを特徴とする。
【０００７】
これにより本発明に係る画像解析装置では、運転者が所持する免許証内の顔画像を取得して、それを用いて、運転者の撮影画像の画像認識を行い、認識された画像内の特徴量を算出して、それが基準値からどれだけ離れているかを判定する。したがって、免許証内の運転者本人の正面画像を画像認識に用いることにより、例えば運転者の居眠り運転や脇見運転を抑制するためのシステムにおいて、迅速にかつ高精度に画像認識が行えるので、運転者の居眠り運転や脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【０００８】
また前記取得手段が取得した免許証内画像における顔の所定の部位の部分画像を抽出する抽出手段を備え、前記認識処理手段は、前記抽出手段によって抽出された所定の部位の部分画像と前記現在画像との間でマッチング処理を行って、前記現在画像における所定の部位を認識するとしてもよい。
【０００９】
これにより免許証内画像における部分画像を用いたマッチング処理によって運転者の撮影画像の画像認識を行うので、運転者本人の正面画像の部分画像を用いたマッチング処理により、迅速かつ高精度で、その部位の認識が行える。したがって例えば運転者の居眠り運転や脇見運転を抑制するためのシステムにおいて、迅速にかつ高精度に画像認識を行って、運転者の居眠り運転や脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１０】
また本発明に係る画像解析装置は、車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、前記撮影手段によって取得された現在画像における所定の特徴量を算出する第２算出手段と、前記取得手段によって取得された免許証内画像における所定の特徴量を算出する第３算出手段と、前記第２算出手段によって算出された特徴量が、前記第３算出手段によって算出された所定の特徴量に応じて定まる基準値から離れている程度を判定する判定手段と、を備えたことを特徴とする。
【００１１】
これにより運転者が所持する免許証内の顔画像を取得して、それの特徴量と、運転者の撮影画像の特徴量とを比較して、撮影画像の特徴量が免許証内画像の特徴量によって定まる基準値から離れているかを判定する。したがって、免許証内の運転者本人の覚醒時の正面画像の特徴量を比較対象として用いることにより、例えば運転者の居眠り運転や脇見運転を抑制するためのシステムにおいて、眠気や脇見の判定が高精度に行える。したがって運転者の居眠り運転や脇見運転を高精度に判定できる画像解析装置が実現できる。
【００１２】
また前記所定の特徴量は、顔画像における眠気の程度を示す部位の位置を示す数値を含むとしてもよい。
【００１３】
これにより顔画像における眠気の程度を示す部位の位置を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の眠気の程度が迅速、高精度に判定できる。したがって運転者の居眠り運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１４】
また前記眠気の程度を示す部位の位置を示す数値は、顔画像におけるまぶたの開度と相関のある数値であるとしてもよい。
【００１５】
これにより顔画像におけるまぶたの開度と相関のある数値を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の眠気の程度が迅速、高精度に判定できる。したがって運転者の居眠り運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１６】
また前記所定の特徴量は、顔画像における脇見の程度を示す数値を含むとしてもよい。
【００１７】
これにより顔画像における脇見の程度を示す数値を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の脇見の程度が迅速、高精度に判定できる。したがって運転者の脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１８】
また前記脇見の程度を示す数値は、顔の向きが車両の前後方向に対して有する角度と相関のある数値であるとしてもよい。
【００１９】
これにより顔の向きが車両の前後方向に対して有する角度と相関のある数値を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の脇見の程度が迅速、高精度に判定できる。したがって運転者の脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例における画像解析装置の構成図。
【図２】免許証内画像に対する画像処理の手順を示すフローチャート。
【図３】近赤外線カメラで撮影された画像に対する画像処理の手順を示すフローチャート。
【図４】眠気度に関する目の特徴量の例を示す図。
【図５】脇見の程度に関する顔の特徴量の例を示す図。
【図６】脇見の程度の段階の例を示す図。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面を参照しつつ説明する。まず図１は、本発明に係る画像解析システム１（画像解析装置、以下システム）の装置構成の概略図である。システム１は例えば自動車の車両に装備される。
【００２２】
システム１は、近赤外線カメラ２、ドライバモニタ電子制御装置３（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、警報装置４、カードリーダ６を備える。またシステム１では運転者が所持する運転免許証５（免許証）を使用する。近赤外線カメラ２、ドライバモニタＥＣＵ４、警報装置５、カードリーダ６は例えば車内通信で接続されて情報の受け渡しが可能となっている。
【００２３】
近赤外線カメラ２は、近赤外領域に感度を有する例えばＣＣＤカメラであり、車室内に設置されて、運転者に対して近赤外線を照射して、その反射光を受光して撮影する。設置場所は運転者の正面の顔画像が撮影できる場所ならばよく、例えばステアリングコラムなどとすればよい。本システムでは、近赤外線カメラ２で撮影された画像は、モノクロの濃淡画像（グレイスケール画像）として扱われる。近赤外線カメラ２を用いることにより、夜間でも運転者の顔画像が取得できる。
【００２４】
ドライバモニタＥＣＵ３は、通常のコンピュータと同様の構造を有し、各種演算などの情報処理を実行するＣＰＵ３０、ＣＰＵ３０の作業領域としての一時記憶部であるＲＡＭ３１、各種情報を記憶するＲＯＭ３２を備える。なおＲＯＭ３２は記憶内容が書き換え可能なＥＥＰＲＯＭを含むとすればよい。
【００２５】
警報装置４は、後述する画像処理によって運転者の眠気程度が高い、あるいは脇見運転をしている等が検知された場合に車室内、あるいは運転者に向けて警報を発する。なお本発明の警報装置４としては、多様な方式で運転者（や乗員）に眠気程度が高いこと、脇見をしていることを報知する装置を用いればよい。例えば、眠気程度が高いこと、脇見をしていることを報知する内容の音声（あるいはブザーなどの音響）による報知でもよい。インストルメントパネルの表示装置に文字、絵柄、図柄を表示する報知でもよい。また空調装置から冷風を運転者に向けて送ることによる報知でもよい。運転席やステアリングに振動装置を備えて、振動によって運転者に報知する方式でもよい。
【００２６】
免許証５は、ＩＣチップ５０を内臓する。ＩＣチップ５０内には免許証の各種情報が記憶されており、その情報のなかには運転者（免許証所持者）の正面向きの顔画像５１が記憶されている。ＩＣチップ５０は非接触型であり、アンテナ５２を備えて、無線によりＩＣチップ内の情報が取得される。本システムでは免許証内画像もモノクロの濃淡画像（グレイスケール画像）として扱う。免許証内画像がグレイスケール画像でない場合にはグレイスケール画像に変換する。
【００２７】
カードリーダ６は、免許証内の情報を取得するために装備されて、送信部６０、受信部６１を有する。送信部６０から電磁波を送信して、その電磁波の到達範囲内に免許証５があると、電磁波の磁界の影響でＩＣチップ内に起電力が発生する。この起電力によりＩＣチップ５０内に電流が流れて、アンテナ５２から運転者顔画像５１を含む免許証の各種情報を含む信号が送信される。カードリーダ６は受信部６１で、アンテナ５２から発信された信号を受信して、そのなかから運転者顔画像５１を取得する。
【００２８】
以上の構成のもとで、システム１は、運転者の眠気程度、脇見の有無（程度）を算出する処理を行う。その処理手順は図２、図３に示されている。図２は、免許証内の顔画像５１から、各部のテンプレート画像、各種特徴量や特徴点の位置を抽出、算出する手順である。図３は、図２で求められたテンプレート画像などを用いて、近赤外線カメラ２で撮影された運転者の現在の顔画像を認識処理して、運転者の眠気や脇見の有無（程度）を算出する手順である。図２、図３の処理手順は予めプログラム化しておいて、例えばＲＯＭ３２に記憶しておき、ＣＰＵ３０が自動的に実行すればよい。
【００２９】
図２の処理を説明する。図２の処理ではまずＳ１０で、ＣＰＵ３０が運転席のドアの開放を検知する。次にＳ２０でＣＰＵ３０は、免許証内の顔画像５１を取得する。当然、顔画像５１は運転者本人の、覚醒時における、正面の顔画像である。なお車両の他の乗員が自身の免許証を所持している可能性があるので、カードリーダ６が運転者の免許証のみから免許証内画像を取得するように工夫を施す必要がある。この目的のために、例えばカードリーダ６を装備する場所を運転席ドアにする等、送信部６０、受信部６１の通信範囲が運転席に限定されるようにすればよい。あるいは免許証を挿入するスロットを車室内に装備する形態でもよい。
【００３０】
Ｓ３０でＣＰＵ３０は、目や鼻などのテンプレート画像をＲＯＭ３２から呼び出す。この目や鼻などのテンプレート画像は、任意の人物の顔画像から抽出したテンプレート画像でもよく、複数の人物の顔画像の平均をとった標準的なテンプレート画像でもよい。ＲＯＭ３２には予めこうした目や鼻などのテンプレート画像を記憶しておく。
【００３１】
Ｓ４０でＣＰＵ３０は、Ｓ３０で呼び出した目や鼻などのテンプレート画像と、Ｓ２０で取得した免許証内画像とでテンプレートマッチングを実行する。これにより、マッチングにより算出された尤度が最も高い位置が運転者の目や鼻と認識される。
【００３２】
Ｓ５０でＣＰＵ３０は、Ｓ４０で運転者の目や鼻と認識された部分を免許証内画像５１から抽出して、運転者の目や鼻のテンプレート画像として例えばＲＯＭ３２（ＥＥＰＲＯＭ）に記憶する。Ｓ５０までで免許証内画像５１の画像認識が完了したことを受けて、以下のＳ６０からＳ８０で免許証内画像５１において、顔の各種の特徴を示す量である各種の特徴量を算出し、記憶する。Ｓ６０、Ｓ７０では運転者の眠気の程度を示す数値のとして、まぶたの開度と相関のある数値を算出する。当然免許証内画像は運転者の覚醒時の画像であるので、以下で算出する数値は眠気度の算出における基準値となる。
【００３３】
まずＳ６０でＣＰＵ３０は、Ｓ５０で記憶した目のテンプレート画像（あるいは免許証内画像５１においてＳ４０で目と認識した部分）において、特徴量として、まぶた端部曲線（を規定する係数パラメータ、さらにはそのうち曲率に関わるパラメータ）を算出する。まぶた端部曲線は、図４に示されている上まぶたの下端曲線Ａ１である。
【００３４】
一般に、まぶた端部曲線は眠気の程度が高くなるほど直線に近くなる（例えば曲率が小さくなる）ので、まぶた端部曲線は眠気の程度を算出する目的に使用できる。Ｓ６０での算出は、具体的にはまず、上まぶたの下端を検出する。一般に、例えばまぶた部分は明度が高く、眼球は明度が低いといった傾向があるので、この傾向を用いてグレイスケール画像の（あるいは、グレイスケール画像に変換された）免許証内画像５１内において、上記Ｓ５０で目の領域と認識された領域内の画素ごとの明度を検出して、その分布から上まぶたの下端部分の画素が検出できる。
【００３５】
そして上まぶたの下端部分の画素の形状を例えば２次曲線にフィッティングさせる。フィッティングの手法としては、例えば２次曲線と上まぶたの下端部分の画素の位置との間の差分値の２乗和が最小になるような係数パラメータを最小２乗法により算出すればよい。
【００３６】
次にＳ７０でＣＰＵ３０は、Ｓ５０で記憶した目のテンプレート画像（あるいは免許証内画像５１においてＳ４０で目と認識した部分）において、特徴量として、目縦幅を算出する。目縦幅Ａ２は、図４に示されているように、目の左右方向の中央部における（あるいは、上まぶたの下端と下まぶたの上端との間の距離が最も大きい箇所における）、上まぶたの下端と下まぶたの上端の間の距離である。一般に、目縦幅は眠気の程度が高くなるほど小さくなるので、目縦幅は眠気の程度を算出する目的に使用できる。
【００３７】
Ｓ７０での算出は、具体的にはまず、上まぶたの下端と下まぶたの上端の画素を検出する。この検出処理は、Ｓ６０での上まぶたの下端の画素の検出と同様に行えばよい。そして上まぶたの下端の画素の位置と下まぶたの上端の画素の位置との差分を、水平方向に算出していって、その最大値を算出する。
【００３８】
次にＳ８０でＣＰＵ３０は、免許証内画像５１において、特徴量として、所定の特徴点の位置を記憶する。ここで特徴点とは、顔面において予め指定された点とし、以下の説明では運転者の脇見の程度を算出するために用いられる数値、例えば右目の中心、左目の中心、左右の鼻孔の中間とする。免許証内画像はあきらかに正面を向いた画像なので、免許証内画像内の特徴点の位置は、正面に向いた状態での特徴点の位置（以下、正面特徴点位置）となる。
【００３９】
Ｓ４０で免許証内画像５１において目や鼻の部位が認識されているので、これを受けてＳ８０では、認識された目や鼻において右目の中心位置、左目の中心位置、左右の鼻孔の中間位置を算出する。これにより、運転者本人の覚醒時の正面画像における右目の中心位置、左目の中心位置、左右の鼻孔の中間位置が取得される。図５には右目の中心位置Ｂ１、左目の中心位置Ｂ２、左右の鼻孔の中間位置Ｂ３の例が示されている。以上が図２の処理手順である。
【００４０】
次に図３の処理手順を説明する。図３の処理でＣＰＵ３０は、まずＳ１００で運転者の現在の顔画像（以下、現在画像）を撮影する。次にＳ１１０でＣＰＵ３０は、上記のＳ５０で記憶された運転者の目、鼻のテンプレート画像を呼び出す。
【００４１】
次にＳ１２０でＣＰＵ３０は、Ｓ１１０で呼び出された目、鼻のテンプレート画像とＳ１００で撮影された運転者の現在画像との間でテンプレートマッチングを実行する。この処理により現在画像における目や鼻が認識される。これは運転者本人の正面顔画像のテンプレートを用いているので、迅速で高精度な認識処理である。
【００４２】
続いてＳ１３０でＣＰＵ３０は、Ｓ１００で撮影されてＳ１２０で目や鼻が認識された運転者の現在の顔画像におけるまぶた端部曲線Ａ１を算出し、記憶する。まぶた端部曲線Ａ１の算出は上記Ｓ６０と同様でよい。すなわちまぶた部分は明度が高く、眼球は明度が低いといった傾向を用いて、グレイスケール画像の（あるいは、グレイスケール画像に変換された）現在画像内において、上記Ｓ１２０で目の領域と認識された領域内の画素ごとの明度を検出して、その分布から上まぶたの下端部分の画素を検出する。
【００４３】
そして上まぶたの下端部分の画素の形状が最もフィッティングする２次曲線を、例えば２次曲線と上まぶたの下端部分の画素の位置との間の差分値の２乗和が最小になるように最小２乗法を用いて算出する。
【００４４】
次にＳ１４０でＣＰＵ３０は、運転者の現在画像における目縦幅Ａ２を算出する。目縦幅Ａ２の算出は上記Ｓ７０と同様でよい。すなわち、Ｓ１３０での上まぶたの下端の画素の検出と同様に、運転者の現在画像においてＳ１２０で目の領域と認識された領域内で、上まぶたの下端と下まぶたの上端の画素を検出する。そして上まぶたの下端の画素の位置と下まぶたの上端の画素の位置との差分を、水平方向に算出していって、その最大値を算出する。
【００４５】
Ｓ１５０でＣＰＵ３０は、Ｓ６０およびＳ１３０で算出された覚醒時および現在のまぶた端部曲線、Ｓ７０およびＳ１４０で算出された覚醒時および現在の目縦幅、を用いて眠気の程度（眠気度）を算出する。まず、まぶた端部曲線、目縦幅のそれぞれに対して、眠気度を判定する。眠気度は、例えば「眠気度０（眠気なし）」、「眠気度１」、・・、「眠気度ｎ（完全に睡眠中）」といったかたちでｎ＋１段階（ｎは任意の整数）とする。
【００４６】
具体的には、覚醒時のまぶた端部曲線の曲率から現在のまぶた端部曲線の曲率が離れている程度（差分値）を算出し、その数値が上記ｎ＋１段階のどこに属するかを判定する。ｎ＋１段階に区分するための閾値は予め設定しておけばよい。目縦幅に関しても同様に、覚醒時の目縦幅から現在の目縦幅が離れている程度（差分値）を算出し、その数値が上記ｎ＋１段階のどこに属するかを判定する。ｎ＋１段階に区分するための閾値は予め設定しておけばよい。なお、例えば覚醒時のまぶた端部曲線の曲率と現在のまぶた端部曲線の曲率との差分値や、覚醒時の目縦幅と現在の目縦幅との差分値そのものを眠気度とするように、眠気度は連続的としてもよい。
【００４７】
以上の２つの眠気度を組み合わせて総合的な眠気度を算出する。２つの眠気度から総合的な眠気度を算出するルールは予め定めておけばよい（例えば、低い（高い）方の眠気度を総合的な眠気度とする、２つの眠気度の平均および四捨五入を総合的な眠気度とする、等）。
【００４８】
Ｓ１６０でＣＰＵ３０は、Ｓ１２０で目や鼻の部位が認識されている現在画像において、右目の中心位置、左目の中心位置、左右の鼻孔の中間位置を算出する。これにより、運転者の現在画像における右目の中心位置、左目の中心位置、左右の鼻孔の中間位置が取得される。
【００４９】
次にＳ１７０でＣＰＵ３０は、現在の運転者の頭部のヨー角（ヨー方向の回転角度）を算出する。ここでヨー方向の回転とは運転者の首の軸まわりの回転であり、ヨー角は、運転者の顔の向きと車両の進行方向との間の角度である。この算出は具体的には例えば以下のようにする。図５の右側には、脇見状態における右目の中心位置Ｂ１、左目の中心位置Ｂ２、左右の鼻孔の中間位置Ｂ３の例が示されている。
【００５０】
同図のとおり、運転者が脇見運転をしている場合、左右の鼻孔の中間位置Ｂ３は右目の中心位置Ｂ１と左目の中心位置Ｂ２との中間からずれる傾向がある。同図に示されたｂ１とｂ２（線分Ｂ１とＢ２とを繋いだ線分をＢ３の水平方向の位置で内分したときの、内分点からＢ１までの距離、内分点からＢ２までの距離をそれぞれｂ１、ｂ２としている）とに対して、ｂ１が短い（ｂ２が長い）ほど運転者の顔は相対的に右に向いており、ｂ１が長い（ｂ２が短い）ほど運転者の顔は相対的に左に向いている。
【００５１】
以上の傾向を用いて、Ｓ１７０では、Ｓ１６０で求めたＢ１、Ｂ２、Ｂ３からｂ１とｂ２とを求めて、ｂ１とｂ２との比から現在の運転者の頭部のヨー角を算出する。なお近赤外線カメラ２が運転者から見て左右方向の中央位置に設置されている場合は、運転者が正面（車両の前方方向）を見ているとｂ１とｂ２とが等しくなるが、本発明における近赤外線カメラ２の設置位置は必ずしもこれに限定されなくともよい。
【００５２】
したがって近赤外線カメラ２は、運転者から見て右方向あるいは左方向にずれた位置に設置されていてもよい。いずれにせよ、ｂ１とｂ２との比と運転者の頭部のヨー角との関係（関数関係）を予め求めておいて、例えばＲＯＭ３２（ＥＥＰＲＯＭ）に記憶しておき、Ｓ１７０ではそれを用いればよい。
【００５３】
あるいは免許証内画像と現在画像との比較で運転者の頭部のヨー角を算出してもよい。その場合、ヨー角が大きいほど図５の点Ｂ１と点Ｂ２との間の距離が小さくなる性質を利用して、例えば免許証内画像における正面方向からの点Ｂ１と点Ｂ２との間の距離と現在画像における同距離との比較によってヨー角を算出すればよい。当然免許証内画像は正面を向いた画像（ヨー角がゼロ）なので、免許証内画像における点Ｂ１と点Ｂ２との間の距離は脇見の判定における基準値となる。
【００５４】
免許証内画像における点Ｂ１と点Ｂ２との間の距離と、現在画像における同距離との関係（比率）とヨー角との関係（あるいは算出式）を予め求めておけばよい。なお免許証画像と現在画像との比較においては、例えば両画像における輪郭の一部を検出する等をしたうえで画像の拡大縮小をおこなって両画像のサイズを一致させるとすればよい。なおヨー角そのものを算出するのではなく、ヨー角と相関のある数値（例えば免許証内画像における点Ｂ１と点Ｂ２との間の距離と、現在画像における同距離との比率そのもの）を算出するとしてもよい。
【００５５】
続いてＳ１８０でＣＰＵ３０は、Ｓ１７０で算出されたヨー角に応じて脇見の程度（脇見度）を判定する。その例が図６に示されている。図６の例では、運転者の頭部のヨー角を、左右方向ともに基準値であるゼロからの差分値に応じて、「脇見なし（正常）」、「軽度の脇見」、「重度の脇見」の３段階に分割している。本発明は図６の例に限定されず、２段階、４段階など任意の段階数に脇見の程度を分割してもよい。あるいはヨー角そのものを脇見度の数値とするように、脇見度を連続的な数値としてもよい。
【００５６】
次にＳ１９０でＣＰＵ３０は、居眠り運転、脇見運転に関する警報処理を実行する。警報は、Ｓ１５０の眠気度の判定結果、Ｓ１８０での脇見度の判定結果に応じて、正常（眠気なし、脇見なし）の範囲を外れたら行う。
【００５７】
眠気度の警報の場合、例えば眠気の有無に応じて警報を発する。この場合、眠気度は、「眠気がある」、「眠気がない」の２段階とすればよい。そして「眠気がある」の場合に、運転者が眠気を有していることを示す音声を出力する、ブザーなどの音響を出力する、運転者が眠気を有していることを示す文字、絵柄、図柄をインストルメントパネルの表示装置に表示する、空調装置から冷風を運転者に向けて送る、シートやステアリングを振動させる等（あるいは、これらの組み合わせ）の警報を出力する。「眠気がない」場合には、こうした警報を出力しない。
【００５８】
あるいは眠気の程度に応じて出力する警報の程度を変化させてもよい。すなわち複数の眠気段階を設定して、Ｓ１５０で算出した眠気度をどの眠気段階に属するかを判定し、より眠気度が高い眠気段階に属する場合に、より眠気度が高いことを示す内容の音声、より音量の大きいブザーなどの音響、より眠気度が高いことを示す内容の文字、絵柄、図柄の表示、より強い冷風やより低温の冷風の出力、シートやステアリングのより強い振動（あるいは、これらの組み合わせ）の警報を出力する。
【００５９】
同様に脇見度の警報の場合も、例えば脇見の有無に応じて警報を発する。この場合、脇見度は、「脇見をしている」、「脇見をしていない」の２段階とすればよい。そして「脇見をしている」の場合に、運転者が脇見をしていることを示す音声を出力する、ブザーなどの音響を出力する、運転者が脇見をしていることを示す文字、絵柄、図柄を表示するインストルメントパネルの表示装置に表示する、空調装置から冷風を運転者に向けて送る、シートやステアリングを振動させる等（あるいは、これらの組み合わせ）の警報を出力する。「脇見をしていない」場合には、こうした警報を出力しない。
【００６０】
あるいは脇見の程度に応じて出力する警報の程度を変化させてもよい。すなわち複数の脇見段階を設定して、Ｓ１８０で算出した脇見状態（あるいはＳ１７０で算出したヨー角）がどの脇見段階に属するかを判定し、より脇見度が高い脇見段階に属する場合に、より脇見度が高いことを示す内容の音声、より音量の大きいブザーなどの音響、より脇見度が高いことを示す内容の文字、絵柄、図柄の表示、より強い冷風やより低温の冷風の出力、シートやステアリングのより強い振動（あるいは、これらの組み合わせ）の警報を出力する。
【００６１】
なおＳ１９０における警報処理は、現在の眠気度、脇見度のみでなく、現在を含む過去の所定期間内の眠気度、脇見度（の例えば平均）にもとづいて行うとすればよい。そのためＳ１５０で算出した眠気度、Ｓ１８０で算出した脇見度は一定期間、例えばＲＡＭ３１に記憶すればよい。これにより眠気度、脇見度の判定の精度が向上する。以上が図３の処理手順である。
【００６２】
なお上記実施例は本発明の一実施例に過ぎず、特許請求の範囲に記載された本発明の趣旨を逸脱しない範囲で適宜変更してよい。例えば特徴量は、上記実施例で用いられた特徴量に限定しなくともよい。具体的には、左右の口角の距離、眉と目の距離、頭部傾き角度、眉頭の中点と目頭の中点間の距離、眉頭間の距離、鼻下端の中点と目頭の中点間の距離、口端の中点と目頭の中点間の距離、下唇下端と目頭の中点間の距離、上まぶたと下まぶた間の距離、左右鼻孔外側端間の距離、上唇上端と目頭の中点間の距離、頭部の前後への傾き角度、頭部の左右への傾き角度などを特徴量として用いてもよい。
【００６３】
これらの特徴量を眠気度の算出で用いればよい。眉と目の距離、眉頭の中点と目頭の中点間の距離、眉頭間の距離、鼻下端の中点と目頭の中点間の距離、口端の中点と目頭の中点間の距離、下唇下端と目頭の中点間の距離、上唇上端と目頭の中点間の距離、頭部の前後への傾き角度、頭部の左右への傾き角度は、大きい数値であるほど眠気度が高い傾向がある。また左右の口角の距離、上まぶたと下まぶた間の距離、左右鼻孔外側端間の距離は、小さい数値であるほど眠気度が高い傾向がある（詳細は特開２００９−４５４１８号公報などを参照）。
【００６４】
これらの特徴量をＳ２０で取得した免許証内画像、およびＳ１００で撮影した現在画像の両方に対して算出して、Ｓ１５０の眠気度の算出において、まぶた端部曲線Ａ１や目縦幅Ａ２と同様に用いればよい。すなわち、これらの特徴量のそれぞれに対して、免許証内画像における個々の特徴量と現在画像における個々の特徴量との差分値を算出し、予めｎ個の閾値を設定しておいて、個々の特徴量に対してｎ＋１段階の眠気度のどこに属するかを判定する。そして、それらを総合（上記と同様に例えば最低値、最高値、平均と四捨五入など）して総合的な眠気度を判定する。
【００６５】
また例えば上記の顔画像認識をＡＡＭ（アクティブ外観モデル、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を用いた手法と組み合わせてもよい。ＡＡＭは、画像の輝度（明度）値分布と３次元形状と間の相関を表す統計的なモデルを用いることにより、実際に取得した画像の輝度値の分布状況の情報から、その３次元形状を取得する手法である（ＡＡＭの詳細は例えばT.F.Cootes et al.: Active appearance models, Proc. 15th European Conf. Computer Vision, vol.2, pp.484-498 (1998)に説明されている）。上記画像認識においてＡＡＭを用いる場合、ＡＡＭによって、免許証内画像と近赤外線カメラで撮影された現在画像とを３次元形状に変換して、その３次元形状において上記の特徴量を算出する。そして、それらの特徴量を用いて眠気、脇見の程度を算出すればよい。
【００６６】
また上記実施例では運転者の頭部のヨー角（左右方向の回転角度）を算出したが、それに加えてピッチ角（前後方向の傾き角度）、ロール角（左右方向の傾き角度）を算出してもよい。その場合、例えば図５の点Ｂ１、Ｂ２間の線分の長さや傾き、同線分と点Ｂ３との間の距離などからピッチ角、ロール角を算出するマップや算出式を予め求めておく。そして例えばロール角やピッチ角が大きい（あるいは、大きく変動する）ときに眠気度が大きいと判断する。
【００６７】
上記実施例では、脇見度の判定のために図５に示された点Ｂ１、Ｂ２、Ｂ３を求めたが、これらに限定する必要はなく、ヨー角の変化によって位置が変化する他の特徴点でもよい。脇見度の判定のために複数の特徴量を用いる場合には、上記眠気度の場合と同様に、免許証内画像における個々の特徴量と現在画像における個々の特徴量との差分値を算出し、予め所定個（例えばｍ個）の閾値を設定しておいて、個々の特徴量に対してｍ＋１段階の脇見度のどこに属するかを判定する。そして、それらを総合（上記と同様に例えば最低値、最高値、平均と四捨五入など）して総合的な脇見度を判定する。
【００６８】
また上記実施例における画像認識では目や鼻のテンプレート画像を用いたが、目や鼻のみに限定する必要はなく、口、眉、耳など、他の部位の部分画像のテンプレート画像を用いて画像認識を行ってもよい。
【符号の説明】
【００６９】
１ 画像解析装置
２ 近赤外線カメラ
３ ドライバモニタＥＣＵ
４ 警報装置
５ 運転免許証
６ カードリーダ
【技術分野】
【０００１】
本発明は、画像解析装置に関する。
【背景技術】
【０００２】
自動車の運転者の居眠り運転や脇見運転を防止するために、ドライバの状態をカメラで撮影してモニタし、居眠り運転や脇見運転が検出されたら警報を発するシステムが提案されている。例えば下記特許文献１では、顔の認識処理において、人が顔画像を撮影する画像入力装置に対して移動したり向きを変えなくても精度よく認識が実行できる装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２４３４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし特許文献１の手法では、平均的な顔のテンプレート画像を用いて、画像解析を行うので、認識に時間がかかる、認識の精度が高くない、などといった課題がある。何らかの方法により運転者本人の画像、さらに理想的には覚醒時の正面画像、を取得して、それを用いて画像解析して運転者の眠気や脇見の程度（有無）を算出するシステムが望ましいが、従来技術においてそのようなシステムの提案はない。
【０００５】
そこで本発明が解決しようとする課題は、上記問題点に鑑み、何らかの方法により運転者本人の画像、特に覚醒時の正面画像を取得して、それを用いて画像解析して運転者の眠気や脇見の程度（有無）を算出する画像解析装置を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００６】
上記課題を達成するために、本発明に係る画像解析装置は、車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、その取得手段が取得した免許証内画像を用いて、前記撮影手段が撮影した現在画像における顔の認識処理を行う認識処理手段と、その認識処理手段によって認識された現在画像における所定の特徴量を算出する第１算出手段と、その第１算出手段によって算出された特徴量が基準値から離れている程度を判定する判定手段と、を備えたことを特徴とする。
【０００７】
これにより本発明に係る画像解析装置では、運転者が所持する免許証内の顔画像を取得して、それを用いて、運転者の撮影画像の画像認識を行い、認識された画像内の特徴量を算出して、それが基準値からどれだけ離れているかを判定する。したがって、免許証内の運転者本人の正面画像を画像認識に用いることにより、例えば運転者の居眠り運転や脇見運転を抑制するためのシステムにおいて、迅速にかつ高精度に画像認識が行えるので、運転者の居眠り運転や脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【０００８】
また前記取得手段が取得した免許証内画像における顔の所定の部位の部分画像を抽出する抽出手段を備え、前記認識処理手段は、前記抽出手段によって抽出された所定の部位の部分画像と前記現在画像との間でマッチング処理を行って、前記現在画像における所定の部位を認識するとしてもよい。
【０００９】
これにより免許証内画像における部分画像を用いたマッチング処理によって運転者の撮影画像の画像認識を行うので、運転者本人の正面画像の部分画像を用いたマッチング処理により、迅速かつ高精度で、その部位の認識が行える。したがって例えば運転者の居眠り運転や脇見運転を抑制するためのシステムにおいて、迅速にかつ高精度に画像認識を行って、運転者の居眠り運転や脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１０】
また本発明に係る画像解析装置は、車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、前記撮影手段によって取得された現在画像における所定の特徴量を算出する第２算出手段と、前記取得手段によって取得された免許証内画像における所定の特徴量を算出する第３算出手段と、前記第２算出手段によって算出された特徴量が、前記第３算出手段によって算出された所定の特徴量に応じて定まる基準値から離れている程度を判定する判定手段と、を備えたことを特徴とする。
【００１１】
これにより運転者が所持する免許証内の顔画像を取得して、それの特徴量と、運転者の撮影画像の特徴量とを比較して、撮影画像の特徴量が免許証内画像の特徴量によって定まる基準値から離れているかを判定する。したがって、免許証内の運転者本人の覚醒時の正面画像の特徴量を比較対象として用いることにより、例えば運転者の居眠り運転や脇見運転を抑制するためのシステムにおいて、眠気や脇見の判定が高精度に行える。したがって運転者の居眠り運転や脇見運転を高精度に判定できる画像解析装置が実現できる。
【００１２】
また前記所定の特徴量は、顔画像における眠気の程度を示す部位の位置を示す数値を含むとしてもよい。
【００１３】
これにより顔画像における眠気の程度を示す部位の位置を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の眠気の程度が迅速、高精度に判定できる。したがって運転者の居眠り運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１４】
また前記眠気の程度を示す部位の位置を示す数値は、顔画像におけるまぶたの開度と相関のある数値であるとしてもよい。
【００１５】
これにより顔画像におけるまぶたの開度と相関のある数値を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の眠気の程度が迅速、高精度に判定できる。したがって運転者の居眠り運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１６】
また前記所定の特徴量は、顔画像における脇見の程度を示す数値を含むとしてもよい。
【００１７】
これにより顔画像における脇見の程度を示す数値を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の脇見の程度が迅速、高精度に判定できる。したがって運転者の脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【００１８】
また前記脇見の程度を示す数値は、顔の向きが車両の前後方向に対して有する角度と相関のある数値であるとしてもよい。
【００１９】
これにより顔の向きが車両の前後方向に対して有する角度と相関のある数値を特徴量として用いることによって、免許証内の運転者本人の覚醒時の正面画像を用いた画像解析を行って、運転者の脇見の程度が迅速、高精度に判定できる。したがって運転者の脇見運転を迅速、高精度に判定できる画像解析装置が実現できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例における画像解析装置の構成図。
【図２】免許証内画像に対する画像処理の手順を示すフローチャート。
【図３】近赤外線カメラで撮影された画像に対する画像処理の手順を示すフローチャート。
【図４】眠気度に関する目の特徴量の例を示す図。
【図５】脇見の程度に関する顔の特徴量の例を示す図。
【図６】脇見の程度の段階の例を示す図。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面を参照しつつ説明する。まず図１は、本発明に係る画像解析システム１（画像解析装置、以下システム）の装置構成の概略図である。システム１は例えば自動車の車両に装備される。
【００２２】
システム１は、近赤外線カメラ２、ドライバモニタ電子制御装置３（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、警報装置４、カードリーダ６を備える。またシステム１では運転者が所持する運転免許証５（免許証）を使用する。近赤外線カメラ２、ドライバモニタＥＣＵ４、警報装置５、カードリーダ６は例えば車内通信で接続されて情報の受け渡しが可能となっている。
【００２３】
近赤外線カメラ２は、近赤外領域に感度を有する例えばＣＣＤカメラであり、車室内に設置されて、運転者に対して近赤外線を照射して、その反射光を受光して撮影する。設置場所は運転者の正面の顔画像が撮影できる場所ならばよく、例えばステアリングコラムなどとすればよい。本システムでは、近赤外線カメラ２で撮影された画像は、モノクロの濃淡画像（グレイスケール画像）として扱われる。近赤外線カメラ２を用いることにより、夜間でも運転者の顔画像が取得できる。
【００２４】
ドライバモニタＥＣＵ３は、通常のコンピュータと同様の構造を有し、各種演算などの情報処理を実行するＣＰＵ３０、ＣＰＵ３０の作業領域としての一時記憶部であるＲＡＭ３１、各種情報を記憶するＲＯＭ３２を備える。なおＲＯＭ３２は記憶内容が書き換え可能なＥＥＰＲＯＭを含むとすればよい。
【００２５】
警報装置４は、後述する画像処理によって運転者の眠気程度が高い、あるいは脇見運転をしている等が検知された場合に車室内、あるいは運転者に向けて警報を発する。なお本発明の警報装置４としては、多様な方式で運転者（や乗員）に眠気程度が高いこと、脇見をしていることを報知する装置を用いればよい。例えば、眠気程度が高いこと、脇見をしていることを報知する内容の音声（あるいはブザーなどの音響）による報知でもよい。インストルメントパネルの表示装置に文字、絵柄、図柄を表示する報知でもよい。また空調装置から冷風を運転者に向けて送ることによる報知でもよい。運転席やステアリングに振動装置を備えて、振動によって運転者に報知する方式でもよい。
【００２６】
免許証５は、ＩＣチップ５０を内臓する。ＩＣチップ５０内には免許証の各種情報が記憶されており、その情報のなかには運転者（免許証所持者）の正面向きの顔画像５１が記憶されている。ＩＣチップ５０は非接触型であり、アンテナ５２を備えて、無線によりＩＣチップ内の情報が取得される。本システムでは免許証内画像もモノクロの濃淡画像（グレイスケール画像）として扱う。免許証内画像がグレイスケール画像でない場合にはグレイスケール画像に変換する。
【００２７】
カードリーダ６は、免許証内の情報を取得するために装備されて、送信部６０、受信部６１を有する。送信部６０から電磁波を送信して、その電磁波の到達範囲内に免許証５があると、電磁波の磁界の影響でＩＣチップ内に起電力が発生する。この起電力によりＩＣチップ５０内に電流が流れて、アンテナ５２から運転者顔画像５１を含む免許証の各種情報を含む信号が送信される。カードリーダ６は受信部６１で、アンテナ５２から発信された信号を受信して、そのなかから運転者顔画像５１を取得する。
【００２８】
以上の構成のもとで、システム１は、運転者の眠気程度、脇見の有無（程度）を算出する処理を行う。その処理手順は図２、図３に示されている。図２は、免許証内の顔画像５１から、各部のテンプレート画像、各種特徴量や特徴点の位置を抽出、算出する手順である。図３は、図２で求められたテンプレート画像などを用いて、近赤外線カメラ２で撮影された運転者の現在の顔画像を認識処理して、運転者の眠気や脇見の有無（程度）を算出する手順である。図２、図３の処理手順は予めプログラム化しておいて、例えばＲＯＭ３２に記憶しておき、ＣＰＵ３０が自動的に実行すればよい。
【００２９】
図２の処理を説明する。図２の処理ではまずＳ１０で、ＣＰＵ３０が運転席のドアの開放を検知する。次にＳ２０でＣＰＵ３０は、免許証内の顔画像５１を取得する。当然、顔画像５１は運転者本人の、覚醒時における、正面の顔画像である。なお車両の他の乗員が自身の免許証を所持している可能性があるので、カードリーダ６が運転者の免許証のみから免許証内画像を取得するように工夫を施す必要がある。この目的のために、例えばカードリーダ６を装備する場所を運転席ドアにする等、送信部６０、受信部６１の通信範囲が運転席に限定されるようにすればよい。あるいは免許証を挿入するスロットを車室内に装備する形態でもよい。
【００３０】
Ｓ３０でＣＰＵ３０は、目や鼻などのテンプレート画像をＲＯＭ３２から呼び出す。この目や鼻などのテンプレート画像は、任意の人物の顔画像から抽出したテンプレート画像でもよく、複数の人物の顔画像の平均をとった標準的なテンプレート画像でもよい。ＲＯＭ３２には予めこうした目や鼻などのテンプレート画像を記憶しておく。
【００３１】
Ｓ４０でＣＰＵ３０は、Ｓ３０で呼び出した目や鼻などのテンプレート画像と、Ｓ２０で取得した免許証内画像とでテンプレートマッチングを実行する。これにより、マッチングにより算出された尤度が最も高い位置が運転者の目や鼻と認識される。
【００３２】
Ｓ５０でＣＰＵ３０は、Ｓ４０で運転者の目や鼻と認識された部分を免許証内画像５１から抽出して、運転者の目や鼻のテンプレート画像として例えばＲＯＭ３２（ＥＥＰＲＯＭ）に記憶する。Ｓ５０までで免許証内画像５１の画像認識が完了したことを受けて、以下のＳ６０からＳ８０で免許証内画像５１において、顔の各種の特徴を示す量である各種の特徴量を算出し、記憶する。Ｓ６０、Ｓ７０では運転者の眠気の程度を示す数値のとして、まぶたの開度と相関のある数値を算出する。当然免許証内画像は運転者の覚醒時の画像であるので、以下で算出する数値は眠気度の算出における基準値となる。
【００３３】
まずＳ６０でＣＰＵ３０は、Ｓ５０で記憶した目のテンプレート画像（あるいは免許証内画像５１においてＳ４０で目と認識した部分）において、特徴量として、まぶた端部曲線（を規定する係数パラメータ、さらにはそのうち曲率に関わるパラメータ）を算出する。まぶた端部曲線は、図４に示されている上まぶたの下端曲線Ａ１である。
【００３４】
一般に、まぶた端部曲線は眠気の程度が高くなるほど直線に近くなる（例えば曲率が小さくなる）ので、まぶた端部曲線は眠気の程度を算出する目的に使用できる。Ｓ６０での算出は、具体的にはまず、上まぶたの下端を検出する。一般に、例えばまぶた部分は明度が高く、眼球は明度が低いといった傾向があるので、この傾向を用いてグレイスケール画像の（あるいは、グレイスケール画像に変換された）免許証内画像５１内において、上記Ｓ５０で目の領域と認識された領域内の画素ごとの明度を検出して、その分布から上まぶたの下端部分の画素が検出できる。
【００３５】
そして上まぶたの下端部分の画素の形状を例えば２次曲線にフィッティングさせる。フィッティングの手法としては、例えば２次曲線と上まぶたの下端部分の画素の位置との間の差分値の２乗和が最小になるような係数パラメータを最小２乗法により算出すればよい。
【００３６】
次にＳ７０でＣＰＵ３０は、Ｓ５０で記憶した目のテンプレート画像（あるいは免許証内画像５１においてＳ４０で目と認識した部分）において、特徴量として、目縦幅を算出する。目縦幅Ａ２は、図４に示されているように、目の左右方向の中央部における（あるいは、上まぶたの下端と下まぶたの上端との間の距離が最も大きい箇所における）、上まぶたの下端と下まぶたの上端の間の距離である。一般に、目縦幅は眠気の程度が高くなるほど小さくなるので、目縦幅は眠気の程度を算出する目的に使用できる。
【００３７】
Ｓ７０での算出は、具体的にはまず、上まぶたの下端と下まぶたの上端の画素を検出する。この検出処理は、Ｓ６０での上まぶたの下端の画素の検出と同様に行えばよい。そして上まぶたの下端の画素の位置と下まぶたの上端の画素の位置との差分を、水平方向に算出していって、その最大値を算出する。
【００３８】
次にＳ８０でＣＰＵ３０は、免許証内画像５１において、特徴量として、所定の特徴点の位置を記憶する。ここで特徴点とは、顔面において予め指定された点とし、以下の説明では運転者の脇見の程度を算出するために用いられる数値、例えば右目の中心、左目の中心、左右の鼻孔の中間とする。免許証内画像はあきらかに正面を向いた画像なので、免許証内画像内の特徴点の位置は、正面に向いた状態での特徴点の位置（以下、正面特徴点位置）となる。
【００３９】
Ｓ４０で免許証内画像５１において目や鼻の部位が認識されているので、これを受けてＳ８０では、認識された目や鼻において右目の中心位置、左目の中心位置、左右の鼻孔の中間位置を算出する。これにより、運転者本人の覚醒時の正面画像における右目の中心位置、左目の中心位置、左右の鼻孔の中間位置が取得される。図５には右目の中心位置Ｂ１、左目の中心位置Ｂ２、左右の鼻孔の中間位置Ｂ３の例が示されている。以上が図２の処理手順である。
【００４０】
次に図３の処理手順を説明する。図３の処理でＣＰＵ３０は、まずＳ１００で運転者の現在の顔画像（以下、現在画像）を撮影する。次にＳ１１０でＣＰＵ３０は、上記のＳ５０で記憶された運転者の目、鼻のテンプレート画像を呼び出す。
【００４１】
次にＳ１２０でＣＰＵ３０は、Ｓ１１０で呼び出された目、鼻のテンプレート画像とＳ１００で撮影された運転者の現在画像との間でテンプレートマッチングを実行する。この処理により現在画像における目や鼻が認識される。これは運転者本人の正面顔画像のテンプレートを用いているので、迅速で高精度な認識処理である。
【００４２】
続いてＳ１３０でＣＰＵ３０は、Ｓ１００で撮影されてＳ１２０で目や鼻が認識された運転者の現在の顔画像におけるまぶた端部曲線Ａ１を算出し、記憶する。まぶた端部曲線Ａ１の算出は上記Ｓ６０と同様でよい。すなわちまぶた部分は明度が高く、眼球は明度が低いといった傾向を用いて、グレイスケール画像の（あるいは、グレイスケール画像に変換された）現在画像内において、上記Ｓ１２０で目の領域と認識された領域内の画素ごとの明度を検出して、その分布から上まぶたの下端部分の画素を検出する。
【００４３】
そして上まぶたの下端部分の画素の形状が最もフィッティングする２次曲線を、例えば２次曲線と上まぶたの下端部分の画素の位置との間の差分値の２乗和が最小になるように最小２乗法を用いて算出する。
【００４４】
次にＳ１４０でＣＰＵ３０は、運転者の現在画像における目縦幅Ａ２を算出する。目縦幅Ａ２の算出は上記Ｓ７０と同様でよい。すなわち、Ｓ１３０での上まぶたの下端の画素の検出と同様に、運転者の現在画像においてＳ１２０で目の領域と認識された領域内で、上まぶたの下端と下まぶたの上端の画素を検出する。そして上まぶたの下端の画素の位置と下まぶたの上端の画素の位置との差分を、水平方向に算出していって、その最大値を算出する。
【００４５】
Ｓ１５０でＣＰＵ３０は、Ｓ６０およびＳ１３０で算出された覚醒時および現在のまぶた端部曲線、Ｓ７０およびＳ１４０で算出された覚醒時および現在の目縦幅、を用いて眠気の程度（眠気度）を算出する。まず、まぶた端部曲線、目縦幅のそれぞれに対して、眠気度を判定する。眠気度は、例えば「眠気度０（眠気なし）」、「眠気度１」、・・、「眠気度ｎ（完全に睡眠中）」といったかたちでｎ＋１段階（ｎは任意の整数）とする。
【００４６】
具体的には、覚醒時のまぶた端部曲線の曲率から現在のまぶた端部曲線の曲率が離れている程度（差分値）を算出し、その数値が上記ｎ＋１段階のどこに属するかを判定する。ｎ＋１段階に区分するための閾値は予め設定しておけばよい。目縦幅に関しても同様に、覚醒時の目縦幅から現在の目縦幅が離れている程度（差分値）を算出し、その数値が上記ｎ＋１段階のどこに属するかを判定する。ｎ＋１段階に区分するための閾値は予め設定しておけばよい。なお、例えば覚醒時のまぶた端部曲線の曲率と現在のまぶた端部曲線の曲率との差分値や、覚醒時の目縦幅と現在の目縦幅との差分値そのものを眠気度とするように、眠気度は連続的としてもよい。
【００４７】
以上の２つの眠気度を組み合わせて総合的な眠気度を算出する。２つの眠気度から総合的な眠気度を算出するルールは予め定めておけばよい（例えば、低い（高い）方の眠気度を総合的な眠気度とする、２つの眠気度の平均および四捨五入を総合的な眠気度とする、等）。
【００４８】
Ｓ１６０でＣＰＵ３０は、Ｓ１２０で目や鼻の部位が認識されている現在画像において、右目の中心位置、左目の中心位置、左右の鼻孔の中間位置を算出する。これにより、運転者の現在画像における右目の中心位置、左目の中心位置、左右の鼻孔の中間位置が取得される。
【００４９】
次にＳ１７０でＣＰＵ３０は、現在の運転者の頭部のヨー角（ヨー方向の回転角度）を算出する。ここでヨー方向の回転とは運転者の首の軸まわりの回転であり、ヨー角は、運転者の顔の向きと車両の進行方向との間の角度である。この算出は具体的には例えば以下のようにする。図５の右側には、脇見状態における右目の中心位置Ｂ１、左目の中心位置Ｂ２、左右の鼻孔の中間位置Ｂ３の例が示されている。
【００５０】
同図のとおり、運転者が脇見運転をしている場合、左右の鼻孔の中間位置Ｂ３は右目の中心位置Ｂ１と左目の中心位置Ｂ２との中間からずれる傾向がある。同図に示されたｂ１とｂ２（線分Ｂ１とＢ２とを繋いだ線分をＢ３の水平方向の位置で内分したときの、内分点からＢ１までの距離、内分点からＢ２までの距離をそれぞれｂ１、ｂ２としている）とに対して、ｂ１が短い（ｂ２が長い）ほど運転者の顔は相対的に右に向いており、ｂ１が長い（ｂ２が短い）ほど運転者の顔は相対的に左に向いている。
【００５１】
以上の傾向を用いて、Ｓ１７０では、Ｓ１６０で求めたＢ１、Ｂ２、Ｂ３からｂ１とｂ２とを求めて、ｂ１とｂ２との比から現在の運転者の頭部のヨー角を算出する。なお近赤外線カメラ２が運転者から見て左右方向の中央位置に設置されている場合は、運転者が正面（車両の前方方向）を見ているとｂ１とｂ２とが等しくなるが、本発明における近赤外線カメラ２の設置位置は必ずしもこれに限定されなくともよい。
【００５２】
したがって近赤外線カメラ２は、運転者から見て右方向あるいは左方向にずれた位置に設置されていてもよい。いずれにせよ、ｂ１とｂ２との比と運転者の頭部のヨー角との関係（関数関係）を予め求めておいて、例えばＲＯＭ３２（ＥＥＰＲＯＭ）に記憶しておき、Ｓ１７０ではそれを用いればよい。
【００５３】
あるいは免許証内画像と現在画像との比較で運転者の頭部のヨー角を算出してもよい。その場合、ヨー角が大きいほど図５の点Ｂ１と点Ｂ２との間の距離が小さくなる性質を利用して、例えば免許証内画像における正面方向からの点Ｂ１と点Ｂ２との間の距離と現在画像における同距離との比較によってヨー角を算出すればよい。当然免許証内画像は正面を向いた画像（ヨー角がゼロ）なので、免許証内画像における点Ｂ１と点Ｂ２との間の距離は脇見の判定における基準値となる。
【００５４】
免許証内画像における点Ｂ１と点Ｂ２との間の距離と、現在画像における同距離との関係（比率）とヨー角との関係（あるいは算出式）を予め求めておけばよい。なお免許証画像と現在画像との比較においては、例えば両画像における輪郭の一部を検出する等をしたうえで画像の拡大縮小をおこなって両画像のサイズを一致させるとすればよい。なおヨー角そのものを算出するのではなく、ヨー角と相関のある数値（例えば免許証内画像における点Ｂ１と点Ｂ２との間の距離と、現在画像における同距離との比率そのもの）を算出するとしてもよい。
【００５５】
続いてＳ１８０でＣＰＵ３０は、Ｓ１７０で算出されたヨー角に応じて脇見の程度（脇見度）を判定する。その例が図６に示されている。図６の例では、運転者の頭部のヨー角を、左右方向ともに基準値であるゼロからの差分値に応じて、「脇見なし（正常）」、「軽度の脇見」、「重度の脇見」の３段階に分割している。本発明は図６の例に限定されず、２段階、４段階など任意の段階数に脇見の程度を分割してもよい。あるいはヨー角そのものを脇見度の数値とするように、脇見度を連続的な数値としてもよい。
【００５６】
次にＳ１９０でＣＰＵ３０は、居眠り運転、脇見運転に関する警報処理を実行する。警報は、Ｓ１５０の眠気度の判定結果、Ｓ１８０での脇見度の判定結果に応じて、正常（眠気なし、脇見なし）の範囲を外れたら行う。
【００５７】
眠気度の警報の場合、例えば眠気の有無に応じて警報を発する。この場合、眠気度は、「眠気がある」、「眠気がない」の２段階とすればよい。そして「眠気がある」の場合に、運転者が眠気を有していることを示す音声を出力する、ブザーなどの音響を出力する、運転者が眠気を有していることを示す文字、絵柄、図柄をインストルメントパネルの表示装置に表示する、空調装置から冷風を運転者に向けて送る、シートやステアリングを振動させる等（あるいは、これらの組み合わせ）の警報を出力する。「眠気がない」場合には、こうした警報を出力しない。
【００５８】
あるいは眠気の程度に応じて出力する警報の程度を変化させてもよい。すなわち複数の眠気段階を設定して、Ｓ１５０で算出した眠気度をどの眠気段階に属するかを判定し、より眠気度が高い眠気段階に属する場合に、より眠気度が高いことを示す内容の音声、より音量の大きいブザーなどの音響、より眠気度が高いことを示す内容の文字、絵柄、図柄の表示、より強い冷風やより低温の冷風の出力、シートやステアリングのより強い振動（あるいは、これらの組み合わせ）の警報を出力する。
【００５９】
同様に脇見度の警報の場合も、例えば脇見の有無に応じて警報を発する。この場合、脇見度は、「脇見をしている」、「脇見をしていない」の２段階とすればよい。そして「脇見をしている」の場合に、運転者が脇見をしていることを示す音声を出力する、ブザーなどの音響を出力する、運転者が脇見をしていることを示す文字、絵柄、図柄を表示するインストルメントパネルの表示装置に表示する、空調装置から冷風を運転者に向けて送る、シートやステアリングを振動させる等（あるいは、これらの組み合わせ）の警報を出力する。「脇見をしていない」場合には、こうした警報を出力しない。
【００６０】
あるいは脇見の程度に応じて出力する警報の程度を変化させてもよい。すなわち複数の脇見段階を設定して、Ｓ１８０で算出した脇見状態（あるいはＳ１７０で算出したヨー角）がどの脇見段階に属するかを判定し、より脇見度が高い脇見段階に属する場合に、より脇見度が高いことを示す内容の音声、より音量の大きいブザーなどの音響、より脇見度が高いことを示す内容の文字、絵柄、図柄の表示、より強い冷風やより低温の冷風の出力、シートやステアリングのより強い振動（あるいは、これらの組み合わせ）の警報を出力する。
【００６１】
なおＳ１９０における警報処理は、現在の眠気度、脇見度のみでなく、現在を含む過去の所定期間内の眠気度、脇見度（の例えば平均）にもとづいて行うとすればよい。そのためＳ１５０で算出した眠気度、Ｓ１８０で算出した脇見度は一定期間、例えばＲＡＭ３１に記憶すればよい。これにより眠気度、脇見度の判定の精度が向上する。以上が図３の処理手順である。
【００６２】
なお上記実施例は本発明の一実施例に過ぎず、特許請求の範囲に記載された本発明の趣旨を逸脱しない範囲で適宜変更してよい。例えば特徴量は、上記実施例で用いられた特徴量に限定しなくともよい。具体的には、左右の口角の距離、眉と目の距離、頭部傾き角度、眉頭の中点と目頭の中点間の距離、眉頭間の距離、鼻下端の中点と目頭の中点間の距離、口端の中点と目頭の中点間の距離、下唇下端と目頭の中点間の距離、上まぶたと下まぶた間の距離、左右鼻孔外側端間の距離、上唇上端と目頭の中点間の距離、頭部の前後への傾き角度、頭部の左右への傾き角度などを特徴量として用いてもよい。
【００６３】
これらの特徴量を眠気度の算出で用いればよい。眉と目の距離、眉頭の中点と目頭の中点間の距離、眉頭間の距離、鼻下端の中点と目頭の中点間の距離、口端の中点と目頭の中点間の距離、下唇下端と目頭の中点間の距離、上唇上端と目頭の中点間の距離、頭部の前後への傾き角度、頭部の左右への傾き角度は、大きい数値であるほど眠気度が高い傾向がある。また左右の口角の距離、上まぶたと下まぶた間の距離、左右鼻孔外側端間の距離は、小さい数値であるほど眠気度が高い傾向がある（詳細は特開２００９−４５４１８号公報などを参照）。
【００６４】
これらの特徴量をＳ２０で取得した免許証内画像、およびＳ１００で撮影した現在画像の両方に対して算出して、Ｓ１５０の眠気度の算出において、まぶた端部曲線Ａ１や目縦幅Ａ２と同様に用いればよい。すなわち、これらの特徴量のそれぞれに対して、免許証内画像における個々の特徴量と現在画像における個々の特徴量との差分値を算出し、予めｎ個の閾値を設定しておいて、個々の特徴量に対してｎ＋１段階の眠気度のどこに属するかを判定する。そして、それらを総合（上記と同様に例えば最低値、最高値、平均と四捨五入など）して総合的な眠気度を判定する。
【００６５】
また例えば上記の顔画像認識をＡＡＭ（アクティブ外観モデル、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を用いた手法と組み合わせてもよい。ＡＡＭは、画像の輝度（明度）値分布と３次元形状と間の相関を表す統計的なモデルを用いることにより、実際に取得した画像の輝度値の分布状況の情報から、その３次元形状を取得する手法である（ＡＡＭの詳細は例えばT.F.Cootes et al.: Active appearance models, Proc. 15th European Conf. Computer Vision, vol.2, pp.484-498 (1998)に説明されている）。上記画像認識においてＡＡＭを用いる場合、ＡＡＭによって、免許証内画像と近赤外線カメラで撮影された現在画像とを３次元形状に変換して、その３次元形状において上記の特徴量を算出する。そして、それらの特徴量を用いて眠気、脇見の程度を算出すればよい。
【００６６】
また上記実施例では運転者の頭部のヨー角（左右方向の回転角度）を算出したが、それに加えてピッチ角（前後方向の傾き角度）、ロール角（左右方向の傾き角度）を算出してもよい。その場合、例えば図５の点Ｂ１、Ｂ２間の線分の長さや傾き、同線分と点Ｂ３との間の距離などからピッチ角、ロール角を算出するマップや算出式を予め求めておく。そして例えばロール角やピッチ角が大きい（あるいは、大きく変動する）ときに眠気度が大きいと判断する。
【００６７】
上記実施例では、脇見度の判定のために図５に示された点Ｂ１、Ｂ２、Ｂ３を求めたが、これらに限定する必要はなく、ヨー角の変化によって位置が変化する他の特徴点でもよい。脇見度の判定のために複数の特徴量を用いる場合には、上記眠気度の場合と同様に、免許証内画像における個々の特徴量と現在画像における個々の特徴量との差分値を算出し、予め所定個（例えばｍ個）の閾値を設定しておいて、個々の特徴量に対してｍ＋１段階の脇見度のどこに属するかを判定する。そして、それらを総合（上記と同様に例えば最低値、最高値、平均と四捨五入など）して総合的な脇見度を判定する。
【００６８】
また上記実施例における画像認識では目や鼻のテンプレート画像を用いたが、目や鼻のみに限定する必要はなく、口、眉、耳など、他の部位の部分画像のテンプレート画像を用いて画像認識を行ってもよい。
【符号の説明】
【００６９】
１ 画像解析装置
２ 近赤外線カメラ
３ ドライバモニタＥＣＵ
４ 警報装置
５ 運転免許証
６ カードリーダ
【特許請求の範囲】
【請求項１】
車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、
前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、
その取得手段が取得した免許証内画像を用いて、前記撮影手段が撮影した現在画像における顔の認識処理を行う認識処理手段と、
その認識処理手段によって認識された現在画像における所定の特徴量を算出する第１算出手段と、
その第１算出手段によって算出された特徴量が基準値から離れている程度を判定する判定手段と、
を備えたことを特徴とする画像解析装置。
【請求項２】
前記取得手段が取得した免許証内画像における顔の所定の部位の部分画像を抽出する抽出手段を備え、
前記認識処理手段は、前記抽出手段によって抽出された所定の部位の部分画像と前記現在画像との間でマッチング処理を行って、前記現在画像における所定の部位を認識する請求項１に記載の画像解析装置。
【請求項３】
車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、
前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、
前記撮影手段によって取得された現在画像における所定の特徴量を算出する第２算出手段と、
前記取得手段によって取得された免許証内画像における所定の特徴量を算出する第３算出手段と、
前記第２算出手段によって算出された特徴量が、前記第３算出手段によって算出された所定の特徴量に応じて定まる基準値から離れている程度を判定する判定手段と、
を備えたことを特徴とする画像解析装置。
【請求項４】
前記所定の特徴量は、顔画像における眠気の程度を示す部位の位置を示す数値を含む請求項１乃至３のいずれか１項に記載の画像解析装置。
【請求項５】
前記眠気の程度を示す部位の位置を示す数値は、顔画像におけるまぶたの開度と相関のある数値である請求項４に記載の画像解析装置。
【請求項６】
前記所定の特徴量は、顔画像における脇見の程度を示す数値を含む請求項１乃至５のいずれか１項に記載の画像解析装置。
【請求項７】
前記脇見の程度を示す数値は、顔の向きが車両の前後方向に対して有する角度と相関のある数値である請求項６に記載の画像解析装置。
【請求項１】
車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、
前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、
その取得手段が取得した免許証内画像を用いて、前記撮影手段が撮影した現在画像における顔の認識処理を行う認識処理手段と、
その認識処理手段によって認識された現在画像における所定の特徴量を算出する第１算出手段と、
その第１算出手段によって算出された特徴量が基準値から離れている程度を判定する判定手段と、
を備えたことを特徴とする画像解析装置。
【請求項２】
前記取得手段が取得した免許証内画像における顔の所定の部位の部分画像を抽出する抽出手段を備え、
前記認識処理手段は、前記抽出手段によって抽出された所定の部位の部分画像と前記現在画像との間でマッチング処理を行って、前記現在画像における所定の部位を認識する請求項１に記載の画像解析装置。
【請求項３】
車両の運転席に着座した運転者の顔画像である現在画像を撮影する撮影手段と、
前記運転者が所持する運転免許証内に記憶された運転者の顔画像である免許証内画像を取得する取得手段と、
前記撮影手段によって取得された現在画像における所定の特徴量を算出する第２算出手段と、
前記取得手段によって取得された免許証内画像における所定の特徴量を算出する第３算出手段と、
前記第２算出手段によって算出された特徴量が、前記第３算出手段によって算出された所定の特徴量に応じて定まる基準値から離れている程度を判定する判定手段と、
を備えたことを特徴とする画像解析装置。
【請求項４】
前記所定の特徴量は、顔画像における眠気の程度を示す部位の位置を示す数値を含む請求項１乃至３のいずれか１項に記載の画像解析装置。
【請求項５】
前記眠気の程度を示す部位の位置を示す数値は、顔画像におけるまぶたの開度と相関のある数値である請求項４に記載の画像解析装置。
【請求項６】
前記所定の特徴量は、顔画像における脇見の程度を示す数値を含む請求項１乃至５のいずれか１項に記載の画像解析装置。
【請求項７】
前記脇見の程度を示す数値は、顔の向きが車両の前後方向に対して有する角度と相関のある数値である請求項６に記載の画像解析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−８４０６８（Ｐ２０１２−８４０６８Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３１６７２（Ｐ２０１０−２３１６７２）
【出願日】平成２２年１０月１４日（２０１０．１０．１４）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１４日（２０１０．１０．１４）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]