説明

顔検出システム

【課題】外部の光変化による前方注視怠慢状態の検出性能が低下することを防止するための顔検出システムを提供する。
【解決手段】運転者の顔の右側に向かって赤外線を照射する第1照明部と、運転者の顔の左側に向かって赤外線を照射する第2照明部と、前記第1照明部および前記第2照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像の差画像を獲得して運転者の前方注視怠慢状態を判断する制御部とを含んでなることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔検出システムに係り、より詳しくは、顔から前方注視怠慢を判断する演算量を減らすとともに検出性能を高めるための顔検出システムに関する。
【背景技術】
【0002】
一般に、自動車には顔検出システムが設けられている。このような顔検出システムは、居眠り運転または車線変更意志を判別するための要素として用いられている。
【0003】
従来の顔検出システムは、顔を撮影する画像カメラ、および画像カメラで撮影された顔を分析して前方注視怠慢を判断する制御部から構成されている。
画像カメラから撮影された顔画像が制御部に入力されると、制御部は入力された画像を二値化して顔領域を検出し、顔の輪郭などのエッジ形状を検出する。その後、エッジ画像から顔の細部要素、すなわち目、鼻、口などを検出して顔の方向角を算出し、前方注視怠慢状態を判断する。
【0004】
ところが、目、鼻、口などの検出は、より小さい領域で緻密に行われなければならないため、外部の多様な光環境の変化に極めて敏感である。これにより、要素別検出性能が落ちて前方監視怠慢状態の検出性能が低下するという問題点を引き起こす。
また、従来の顔検出システムは、顔領域の検出、エッジ画像の抽出および各要素別の検出を介して顔の方向角を算出して前方注視怠慢状態を検出するため、その過程に必要な演算量が非常に多くて組み込みシステム(embedded system)への実時間実現が難しく、これを実現するためには高周波数クロック−高価のCPUを必要として顔検出のための費用が上昇するという問題点がある。
【0005】
特許文献1には、ルームミラーによる後方視野内に近赤外線発光LEDを設け、ルームミラーによる反射により的確に運転者の顔の照明し、ダッシュボード上面に設置されたカメラにより運転者の顔を撮影するシステムが記載されている。
しかしながらその画像処理は、本発明のように左右2か所の照明部を備え、個別の照明により顔画像を撮影し、2値化処理した後ミラーリングによって得られる差画像により前方注視怠慢状態を検出するものとは異なる。
【0006】
【特許文献1】特開2006−248363号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は前記のような点に鑑みてなされたものであり、本発明の目的は、外部の光変化による前方注視怠慢状態の検出性能が低下することを防止するための顔検出システムを提供することにある。
本発明の他の目的は、前方注視怠慢の検出に必要な演算量を減らすとともに検出性能を向上させるための顔検出システムを提供することにある。
【課題を解決するための手段】
【0008】
前記目的を達成するための本発明は、運転者の顔の右側に向かって赤外線を照射する第1照明部と、運転者の顔の左側に向かって赤外線を照射する第2照明部と、前記第1照明部および前記第2照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像の差画像を獲得して運転者の前方注視怠慢状態を判断する制御部とを含んでなることを特徴とする。
【0009】
以下、その他の特徴を列挙する。
前記制御部は、獲得された左右画像を二値化して二値化画像を獲得し、二値化画像から差画像を獲得することができる。
【0010】
前記制御部は、二値化された左右画像のいずれか一方をミラーリングしてミラーリング画像を獲得し、獲得されたミラーリング画像と二値化画像との減算を行うことにより、差画像を得ることができる。
【0011】
前記第1照明部および前記第2照明部は順次動作できる。
【0012】
前記第1照明部および前記第2照明部は、近赤外線発光素子であり、運転席の前方または運転席の上方に設置できる。
【0013】
前記第1照明部および前記第2照明部は、運転者の正面から互いに対称となるように設置できる。
【0014】
前記画像撮影部は、赤外線透過フィルターが取り付けられたCCDカメラであってもよい。
【発明の効果】
【0015】
本発明は、近赤外線画像を用いて顔の前方注視怠慢状態を検出することにより、外部の光環境を問わずに、前方注視怠慢状態の検出性能を向上させることができるという効果がある。
また、本発明は、近赤外線による顔反射光によってのみ顔の前方注視怠慢状態を検出することにより、前方注視怠慢状態の演算量を減らすことができるという効果がある。
【発明を実施するための最良の形態】
【0016】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
【0017】
図1は本発明に係る顔検出システムを示すブロック図、図2は本発明に係る顔検出システムの照明部が設置された位置を示す図、図3は本発明に係る顔検出システムの動作を示すブロック図、図4は本発明に係る顔検出システムの動作による様子を示す図、図5〜図7は本発明に係る顔検出システムのシミュレーションを示す図である。
【0018】
図1および図2を参照すると、本発明に係る顔検出システムは、運転者の顔10に向かって赤外線を照射する照明部100と、前記照明部100から赤外線が照射された運転者の顔10を撮影する画像撮影部200と、前記画像撮影部200から獲得された画像をイメージ処理して運転者の前方注視怠慢状態を判断する制御部300とを含んでなる。
【0019】
照明部100は、運転者の前方の構造物に設置され、運転者の顔10に向かって赤外線、例えば近赤外線を照射する役割をする。この照明部100は、運転者の顔10の右側に向かって赤外線を照射する第1照明部110、および運転者の顔10の左側に向かって赤外線を照射する第2照明部120から構成される。
【0020】
第1照明部110および第2照明部120は、運転者の正面から所定の角度、例えば30°〜60°を持つ位置に設置できるが、運転者の顔10の正面から45°の位置に設置されることが好ましい。この際、第1照明部110および第2照明部120は、運転者の右側および左側の顔に均一に赤外線を照射することができるように、運転者の正面から対称となるように設置されることがさらに好ましい。
【0021】
ここで、運転者の顔10に向かって赤外線を照射する照明部100として、赤外線発光素子(IR LED)が使用できる。
【0022】
照明部100は、図2aに示すように、運転席の前方のクラスター下端の両側に設置でき、図2bに示すように、運転席エアコンの両側送風口の上端または下端に設置できる。
また、照明部100は、図2cに示すように、クラスター上端のダッシュボードの両側に設置でき、図2dに示すように、運転席の上端にある日除けの両側またはA−ピラー(A-pillar)とルームミラーの左側に設置できる。ここで、照明部100の個数は限定されず、3つ以上設置されても構わない。
【0023】
第1照明部110および第2照明部120は、運転者の顔10に向かって順次赤外線を照射し、これにより運転者の左顔および運転者の右顔を中心として赤外線が照射される。
【0024】
画像撮影部200は、運転者の顔10の正面を撮影することができるように運転席の前方に設置され、第1照明部110および第2照明部120から赤外線が照射された運転者の顔をそれぞれ撮影する役割をする。
このような画像撮影部200は、CCDカメラに近赤外線透過フィルター210を取り付けて構成したものであって、車両の外部から流入する太陽光およびその他の外部照明光を遮断し、近赤外線画像のみを獲得することにより、近赤外線発光素子などの照明部100がなければ何の画像も得られない。
【0025】
制御部(Electronic Control Unit、ECU)300は、画像撮影部200と連結され、画像撮影部200から獲得された画像をイメージ処理して運転者の前方注視怠慢状態を判断する役割をする。
すなわち、制御部300は、前記画像撮影部200から獲得されたそれぞれの赤外線画像を二値化して二値化画像を獲得し、二値化画像のいずれか一つをミラーリングしてミラーリング画像を獲得し、前記ミラーリング画像ともう一つの二値化画像との減算を行って差画像を獲得し、獲得された差画像の平均値を計算して前方注視怠慢状態を判断する役割をする。
また、制御部300は、照明部100と連結でき、これにより運転者の顔10に向かって順次赤外線を照射するように制御することができる。
【0026】
以下、図3〜図7を参照して本発明に係る顔検出システムの動作を説明する。
【0027】
まず、制御部300から第1照明部110をオンにする段階(S10)を行う。この際、第1照明部110は運転者の右顔に向かって近赤外線を照射し、画像撮影部200は近赤外線が照射された運転者の顔を撮影して、第1画像400を獲得する段階(S20)を行う。(画像400〜600は図4に示す。)
【0028】
次いで、第2照明部120をオンにする段階(S30)を行って運転者の左顔に向かって近赤外線を照射し、画像撮影部200は近赤外線が照射された運転者の顔を撮影して第2画像500を獲得する段階(S40)を行う。この際、第2照明部120がオンにされる間、第1照明部110はオフにされる。
【0029】
その後、制御部300に第1画像400および第2画像500が入力されると、第1領域400および第2画像500を運転者の顔の明るい部分を抽出するように各ピクセルに対して二値化する段階(S50)を行う。これにより、制御部300は、第1画像400および第2画像500から二値化画像410、510を獲得する。
【0030】
次いで、第1画像の二値化画像410と第2画像の二値化画像510から同じ方向の顔を検出するように、第1画像の二値化画像410および第2画像の二値化画像510のいずれか一方をミラーリング処理する段階(S60)を行い、これにより第1画像の二値化画像410および第2画像の二値化画像510のいずれか一方がミラーリングされたミラー画像420を獲得する。ここでは、第1画像の二値化画像410がミラーリングされることを一実施例として説明している。
【0031】
その後、ミラー画像420と二値化画像520に対するピクセルの値を減算処理する段階(S70)を行い、これにより、制御部300は2つの画像の差異を示す差画像600を獲得する。
次いで、差画像600のピクセルの平均値を計算し(S80)、これにより運転者の顔方向を算出する。
その後、算出された運転者の顔方向に基づいて前方注視怠慢状態を判断し(S90)、顔検出システムの動作を終了する。
【0032】
図5に示すように、顔角度が0°の場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は15.39と測定された。これにより、運転者の顔はほぼ正面を注視していると判断することができる。
【0033】
また、図6に示すように、顔が左に20°傾いた場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は20.15と測定された。これにより、運転者の顔は左に約20°傾いていると判断することができる。
【0034】
また、図7に示すように、顔が左に40°傾いた場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は47.49と測定された。これにより、運転者の顔は左に約40°傾いていると判断することができる。
【0035】
前述したように本発明に係る顔検出システムおよび方法は、顔検出のための演算量を減らすとともに、顔の検出性能を向上させることができるという効果がある。
【0036】
以上、添付図面および実施例を参照して説明したが、当該技術分野における熟練した当業者であれば、特許請求の範囲に記載された本発明の技術的思想から逸脱しない範囲内において、各種の変更例または修正例に想到し得ることは理解できるであろう。
【産業上の利用可能性】
【0037】
本発明は、車両に搭載される顔検出システムに適用できる。
【図面の簡単な説明】
【0038】
【図1】本発明に係る顔検出システムを示すブロック図である。
【図2】本発明に係る顔検出システムの照明部が設置された位置を示す図である。
【図3】本発明に係る顔検出システムの動作を示すブロック図である。
【図4】本発明に係る顔検出システムの動作による様子を示す図である。
【図5】本発明に係る顔検出システムのシミュレーションを示す図である。
【図6】本発明に係る顔検出システムのシミュレーションを示す図である。
【図7】本発明に係る顔検出システムのシミュレーションを示す図である。
【符号の説明】
【0039】
100 照明部
110 第1照明部
120 第2照明部
200 画像撮影部
210 赤外線透過フィルター
300 制御部

【特許請求の範囲】
【請求項1】
運転者の顔の右側に向かって赤外線を照射する第1照明部と、
運転者の顔の左側に向かって赤外線を照射する第2照明部と、
前記第1照明部および前記第2照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、
前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像の差画像を獲得して運転者の前方注視怠慢状態を判断する制御部とを含んでなることを特徴とする顔検出システム。
【請求項2】
前記制御部は、獲得された左右画像を二値化して二値化画像を獲得し、二値化画像から差画像を獲得することを特徴とする、請求項1に記載の顔検出システム。
【請求項3】
前記制御部は、二値化された左右画像のいずれか一方をミラーリングしてミラーリング画像を獲得し、獲得されたミラーリング画像と二値化画像との減算を行って差画像を獲得することを特徴とする、請求項2に記載の顔検出システム。
【請求項4】
前記第1照明部および前記第2照明部は順次動作することを特徴とする、請求項1に記載の顔検出システム。
【請求項5】
前記第1照明部および前記第2照明部は、近赤外線発光素子であり、運転席の前方または運転席の上方に設置されることを特徴とする、請求項1に記載の顔検出システム。
【請求項6】
前記第1照明部および前記第2照明部は、運転者の正面から互いに対称となるように設置されることを特徴とする、請求項5に記載の顔検出システム。
【請求項7】
前記画像撮影部は、赤外線透過フィルターが取り付けられたCCDカメラであることを特徴とする、請求項1に記載の顔検出システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2009−303192(P2009−303192A)
【公開日】平成21年12月24日(2009.12.24)
【国際特許分類】
【出願番号】特願2008−290784(P2008−290784)
【出願日】平成20年11月13日(2008.11.13)
【出願人】(591251636)現代自動車株式会社 (1,064)
【出願人】(500518050)起亞自動車株式会社 (449)
【Fターム(参考)】