目の追跡及び運転者の覚醒度を識別する費用対効果が高くロバストなシステム及び方法
車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストな方法であって、その方法は、プロセッサが実行する以下のステップを備える。すなわち、撮像画像においてリアルタイムに顔の追跡を行い、その顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値と閾値を比較することによって特定するステップと、１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較することによって距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであり、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算するステップと、ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目の追跡及び運転者の覚醒度を識別するためのシステム及び方法に関する。具体的には、本発明は、運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法に関し、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて事故を回避するものである。
【背景技術】
【０００２】
運転者の疲労及び運転者の睡眠不足、特にトラックやバスなどの大型車両を運転する運転者の疲労及び睡眠不足は、長年にわたる問題である。毎年、眠気を催した個人が運転中に居眠りをした結果、多くの路上事故及び死亡者が発生している。運転者の覚醒状態を検知し、眠気を催して居眠りをする運転者に警告する機構を有することができれば、このような事故を大幅に防ぐことができる。
【０００３】
車両の運転者の覚醒度を検知する方法がないことは、長年にわたる問題である。
【０００４】
次に挙げるように、目の追跡及び運転者の覚醒度認識に関するいくつかの発明が公知である。
【０００５】
Ｋｉｎｇｍａｎ Ｙｅｅの特許文献１は、目の位置を導き出すために、強膜と虹彩との間のコントラストを利用して目の位置を感知し、追跡するための改良型装置、システム及び方法を教示している。この発明は、具体的には、角膜切除屈折手術（ＰＲＫ）、角膜混濁除去手術（ＰＴＫ）、レーシック（ＬＡＳＩＫ）など、レーザによる目の手術の間に目の位置を追跡するために有益である。
【０００６】
Ｔａｂｏａｄａの特許文献２は、人間の目の視線を追跡する装置を開示している。より具体的には、特許文献２は、目に反射する赤外線（ＩＲ）ビームを分析することによって、目の動きを追跡する光学装置を開示している。
【０００７】
Ｓｍｉｔｈの特許文献３は、人の頭部及び顔の特徴を単一の搭載カメラによって追跡することを開示している。この搭載カメラは自動的に起動可能な全自動システムを備え、必要に応じて再初期化し、リアルタイムに出力を提供することができる。特許文献３が提示するシステムは、重要であると選択された画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）要素を示すＲＧＢ列を用いており、また、日中と夜間条件では異なるアルゴリズムで動作する。
【０００８】
Ｃｌａｒｋｅ Ｓｒの特許文献４は、赤外線カメラを介して、運転者の目が開いている場合と閉じている場合との画素色における赤外線画像の変化を監視する装置を開示している。この装置は、映像電荷結合素子を通過するデジタル画像の熱に敏感な赤外線部分を用いる。動きがないことと、低換気に対する生理的反応、つまり眠気を催す、息の温度の低下が組み合わさると、赤外線カメラが起動し、運転者の目領域を拡大する。
【０００９】
Ｃｈｒｉｓｔｏｓ Ｔ． Ｋｙｒｔｓｏの特許文献５は、車両の挙動、たとえば速度、横方向の位置、曲がる角度などを測定することによって覚醒度を検知することを開示している。
【００１０】
Ｔｏｍｏｋａｚｕ Ｎａｋａｍｕｒａの特許文献６は、目領域を構成する画素の画素データに基づき、目領域の目の状態を示す特徴値を算出することによって、目の状態（瞬きを含む）を識別する手段を教示する。閾値設定手段は、対象となる目が開状態のときの対象となる目に対して算出された特徴値に基づいて、開状態から閉状態への第１の遷移点における特徴値を示す第１の閾値及び閉状態から開状態への第２の遷移点における特徴値を示す第２の閾値を算出する。
【００１１】
Ｒｉａｄ Ｉ． Ｈａｍｍｏｕｄの特許文献７は、目的物追跡方法を教示している。この方法では、背景から対象目的物を抽出するためにグレースケールのハットフィルタを用いて、対象目的物を順次生成される赤外線映像画像の中から追跡する。目的物が人の目である場合は、目の状態及び決定の確かさは、バイナリブロブの形状と外観をその大きさの変化及び以前の目の状態と合わせて分析し、対応するパラメータを目の状態の決定行列に適用することによって決定される。
【００１２】
Ｒｕｉの特許文献８は、映像及び／または音声内容のフレームを受信し、フレームの新しい顔領域に対する候補区域を特定することによって、複数の個人を自動的に検知及び追跡することを教示している。１または複数の階層的検証レベルを用いて、人間の顔が候補区域にあるかを検証し、１または複数の階層的検証レベルによって、候補区域に人間の顔があると検証されると、候補区域に顔が含まれることを示す指標が作成される。複数の音声及び／または映像の合図を用いて、検証された各顔をフレームごとに映像内容において追跡する。
【００１３】
上記に記載した覚醒度検知装置のほとんどはセンサ技術に頼っている。この中にはコンピュータによる資格技術を用いて作成されているものもあるが、これらの覚醒度検知装置は覚醒度を検知するために複雑な方法を用いており、費用がかかる。全体として、上記の方法は、疲労と睡眠不足に悩む運転者の覚醒を監視するために目領域を追跡するには、不適切であり、不正確である。
【００１４】
したがって、上記先行技術に照らして、簡便で、設置が簡単であり、低費用で高精度を提供する、目の追跡及び運転者の覚醒度識別のためのシステム及び方法に対する必要性があることは明らかである。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】米国特許第６２８３９５４号
【特許文献２】米国特許第５３４５２８１号
【特許文献３】米国特許第６９２７６９４号
【特許文献４】米国特許第５６８９２４１号
【特許文献５】米国特許第５９００８１９号
【特許文献６】米国公開特許第２００８０２５２７４５号
【特許文献７】米国特許第７３６２８８５号
【特許文献８】米国特許第７１３０４４６号
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明の主な目的は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法を提供することである。
【００１７】
本発明の別の目的は、瞳孔現象とは独立して、目の追跡を行うことであり、収縮画像においてヒストグラム均等化及びモルフォロジ変換を行うことによって、顔バウンディングボックス内でモルフォロジ収縮処理を実行する。
【００１８】
本発明の別の目的は、カーネル追跡アルゴリズムを用いて、目の追跡及び顔の追跡を行うためのロバストな方法を構想するシステム及び方法を提供することである。
【００１９】
本発明の別の目的は、目の部分の位置を特定することである。その方法は、まず顔の追跡を行い、次に顔バウンディングボックス内でカーネルに基づく顔及び目の追跡アルゴリズムを用いて、目の追跡を行うことである。
【００２０】
本発明の別の目的は、モルフォロジ変換画像及びヒストグラム均等化画像などの、後にカーネル追跡アルゴリズムのパラメータとなる特徴を収集する方法を提供することである。
【００２１】
本発明のさらに別の目的は、ヒストグラム均等化、モルフォロジ演算及びヒストグラム及び濃度共起行列を用いる及びテクスチャベースのパラメータを用いて、目の状態を検知するシステム及び方法を提供することである。
【００２２】
本発明の別の目的は、運転者が居眠り状態にあることを検知した後に、運手者に警告をするための、運転者に対する音声または音声映像を提供することである。
【課題を解決するための手段】
【００２３】
本発明の方法、システム及びハードウェアの使用可能性について説明するに当たり、本発明は、記載した特定のシステム及び方法論に制限されない。本開示では明示的に例示されない本発明の複数の可能な実施形態があるためである。また、本明細書で使用する用語は特定の様式または実施形態を説明する目的でのみ使用されるものであり、本発明の範囲を制限することを意図するものではなく、本発明の範囲は添付の請求の範囲によってのみ制限される。
【００２４】
本発明は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法を提供する。
【００２５】
本発明は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストな方法を実現する。上記方法は、プロセッサが実行する以下のステップを備える。すなわち、撮像画像においてリアルタイムに顔の追跡を行い、顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値と閾値を比較することによって特定するステップと、目の重心を計算して目の追跡を行い、１つの場所から別の場所まで、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを算出し、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであって、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて算出するステップと、ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップである。
【００２６】
本発明のさらに別の態様では、衝突を避けるために、検知した目の覚醒状態を用いて運転者に警告するための警報手段を備える。警報手段は、音声及び音声映像装置であってよく、警報、音声による注意、画面を備える表示器を含むが、これらに限定されない。本発明の別の態様によれば、近赤外線カメラは運転者に向かって車両内部に設置される。
【図面の簡単な説明】
【００２７】
【図１】本発明の様々な実施形態による、事故のために運転者の目の覚醒状態を特定し追跡するための方法を例示するフローチャート
【図２Ａ】本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域を例示する写真
【図２Ｂ】本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図２Ｃ】本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図２Ｄ】本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域を例示する写真
【図２Ｅ】本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図２Ｆ】本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図３Ａ】本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域を例示する写真
【図３Ｂ】本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図３Ｃ】本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図３Ｄ】本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域を例示する写真
【図３Ｅ】本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図３Ｆ】本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図４Ａ】本発明の例示的実施形態による、運転者の覚醒度識別状態を例示するグラフ
【図４Ｂ】本発明の例示的な実施形態による、運転者の覚醒度識別状態を例示するグラフ
【発明を実施するための形態】
【００２８】
上記の概要、及び下記の発明を実施するための形態の詳細な説明は、添付図と合わせて説明される。本発明を例示するために、本発明の構成例を図に示すが、本発明は図に開示される特定の方法及び装置に限定されない。
【００２９】
本発明の実施形態のいくつかを、特徴を例示しながら詳細に説明する。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」という単語及びこれらの活用形は、意味として同義であり、これらの単語に続く１または複数の項目が、該当する１または複数の項目の完全な列記であることを意味するものではなく、また、列記した１または複数の項目にのみ限定されることを意味するものではないという点で制約を受けないことを意図している。また、本明細書及び付属の特許請求の範囲に用いられるように、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は、別途明確に指示がない限り、複数の参照を含むことに注意すべきである。本明細書に記載するシステム及び方法と類似するか同等である任意のシステム及び方法を用いて、本発明の実施形態の実施または試験を行うことができるが、好ましいシステム及び方法を以下に説明する。開示する実施形態は単に本発明の実施例であり、当業者によって様々な形態で実施されてもよい。
【００３０】
車両上に設置される近赤外線（ＩＲ）カメラで撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高くロバストな方法であって、上記方法は、プロセッサが実行する以下のステップを備える。すなわち、
ａ）撮像画像においてリアルタイムに顔の追跡をし、顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値を閾値と比較することによって特定するステップと、
ｂ）１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであって、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算するステップと、
ｃ）ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップ、
である。
【００３１】
本発明の１つの例示的実施形態によると、費用対効果が高くロバストなシステムは、画像を撮像するための、運転者に対向して車両上に設置される近赤外線カメラと、近赤外線カメラ内に収容され、事故を回避するために、撮像画像をリアルタイムで分析し、運転者の目の覚醒度の状態を特定し、追跡するプロセッサとを備える。
【００３２】
図１は本発明の様々な実施形態による、事故を回避するために運転者の目の覚醒度の状態を特定し追跡するための、方法１００を例示するフローチャートである。
【００３３】
本発明の１つの例示的実施形態では、車両上に設置される近赤外線（ＩＲ）カメラで撮像した画像１１０を用いて、事故を回避するために運転者の目の覚醒状態を識別し、追跡するための費用対効果が高いシステムを用いる。本発明の別の態様によれば、近赤外線カメラは運転者に向かって、車両の外部または内部のいずれかに設置することができる。本発明の１つの例示的実施形態では、近赤外線カメラは運転者に向かって車両内部に設置される。
【００３４】
本発明の１つの態様によれば、近赤外線カメラの解像度は３５２×２８８である。本発明の１つの態様によれば、近赤外線カメラの近赤外線範囲は、歩行者を検知し、追跡するために、（０．７〜１）ミクロンから５ミクロンの範囲から選択することができる。本発明の１つの態様によれば、近赤外線カメラの温度範囲は、歩行者を検知し、追跡するために、７４０ケルビンから３、０００〜５、２００ケルビンから選択することができる。
【００３５】
本発明の１つの態様によれば、プロセッサは、近赤外線カメラ本体、車両の外部または内部、車両の上面またはダッシュボードの上端部のいずれかに設置することができる。本発明の１つの例示的実施形態では、プロセッサは近赤外線カメラ本体の内部に設置される。本発明の別の態様によれば、プロセッサはＤａｖｉｎｃｉ ＤＭ６４４６プロセッサ、ＡＤＳＰ−ＢＦ５３３、７５０ＭＨｚ Ｂｌａｃｋｆｉｎプロセッサの群から選択することができる。
【００３６】
上記の費用対効果の高い方法は、プロセッサが実行する様々なステップを備える。全体の画像の中で、目のような小さい目的物を追跡することは困難である。したがって、目の検索の位置を特定するために、提案する方法の第１のステップにおいて、顔バウンディングボックスの中で、最初に顔の追跡を行い、次に目の追跡を行う。
【００３７】
プロセッサはセグメンテーション処理を用いて、目の形１２０、及び眉毛、鼻の先端、垂直方向の顔の中心などの顔の目印を識別するコードを実行する。顔の追跡を行うために、プロセッサは次の方程式を用いて、顔の座標を決定するコードを実行する。
顔の幅＝顔の右端−顔の左端
顔の高さ＝２×（鼻の先端位置−眉毛の位置）−眉毛の位置
【００３８】
目の追跡を行うために、プロセッサは、セグメンテーション処理を用いて目バウンディングボックスを決定するコードを実行する。顔１３０を追跡するために、プロセッサは特徴を集めるコードを実行し、この特徴はセグメンテーション処理から得る閾値よりも大きい濃淡値のみである。目の追跡１４０を行うために、プロセッサは特徴を集めるコードを実行する。この特徴は顔バウンディングボックスにおけるヒストグラム均等化及び顔バウンディングボックスにおけるモルフォロジ変換である。
【００３９】
目の追跡の際の主な障害は、瞳孔現象を除外することである。目の追跡を瞳孔現象とは独立して行うためには、プロセッサは第１のモルフォロジ収縮処理を顔バウンディングボックス内で実行する。この収縮画像から、ヒストグラム均等化及びモルフォロジ変換が行われる。
【００４０】
ヒストグラム均等化は、入力画像のレベルを広範な輝度にわたって広げることによって、均等なヒストグラムを有する出力画像を生成する。プロセッサがヒストグラム均等化を出力画像に適用するコードを実行すると、暗い画像ははるかに暗くなり、明るい画像ははるかに明るくなる。プロセッサは、暗い目的物（つまり目）を明るい背景（つまり顔バウンディングボックス）から、モルフォロジ変換を用いて抽出するコードを実行する。
【００４１】
提案する方法の第２のステップでは、プロセッサは１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出する。対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算する。
【００４２】
目の追跡１４０のために、プロセッサは次のステップを実行する。第１のステップでは、プロセッサは、目のブロブの重心を中心ｍ０と見なし、次に特徴空間を考慮して対象のモデルヒストグラムを算出するコードを実行する。
【００４３】
【数１】
【００４４】
対象モデル：
【００４５】
【数２】
【００４６】
次のフレームからは、対象の中心を以前の場所（ｙ０）に初期化し、プロセッサは同じ特徴空間を考慮して対象候補のヒストグラムを算出するコードを実行する。
【００４７】
【数３】
【００４８】
次に、プロセッサは、対象モデルと対象候補ヒストグラム間の距離を算出するコードを実行する。
【００４９】
【数４】
【００５０】
式中、ρ［．］はｐとｑとの間のバタチャリヤ係数である。
【００５１】
次に、プロセッサは対象の中心の変位を加重平均によって算出する。
【００５２】
【数５】
【００５３】
式中、次式となる。
【００５４】
【数６】
【００５５】
新しい対象の場所を発見すると、プロセッサは次のコードを実行する。
１）ヒストグラム均等化画像範囲及びモルフォロジ変換画像に関与する、同じ特徴空間での新しい場所での対象候補ヒストグラムを計算する。
２）次に次項を計算する。
【００５６】
【数７】
【００５７】
３）
【００５８】
【数８】
【００５９】
４）次式のときは停止する。
【００６０】
【数９】
【００６１】
または、ｙ０＜−ｙ１を設定し、加重を取り除き、次に新しい場所に行き、ステップ１に戻る。
【００６２】
上記の追跡処理を用いると、目の揺れがあることもある。その理由は主に次の通りである。
ａ）モルフォロジ変換画像において、ノイズも非常に明るく現れることがあり、その結果、画素が鼻の画素なのか目の画素なのかあいまいになる。
ｂ）位置及び速度情報は含まれていない。
【００６３】
上記の問題を解決するために、プロセッサはモルフォロジ変換画像において目を眉に対してマッピングして目の画素を識別し、それによってモルフォロジ変換画像で明るく見える鼻の画素を回避する。
【００６４】
モルフォロジ変換画像において目を眉に対してマッピングするために、プロセッサは次のステップを実行する。
ａ）目を眉に対してマッピングする
目は眉の下に現れるため、本発明者らはこの手がかりを用いて画素が目の画素か鼻の画素かを識別する。
モルフォロジ変換画像において目を眉に対してマッピングすることは以下に関与する。
【００６５】
【数１０】
【００６６】
一方、モルフォロジ変換画像において鼻を眉に対してマッピングすることは、次のいずれかに関与する。
【００６７】
【数１１】
【００６８】
ｂ）方向推定
最初の４フレームでは、目の重心の位置をＦＩＦＯ（先入先出法）またはキューで保存する。現在のフレームに関しては、新しい重心をカーネル追跡アルゴリズムを用いて算出する前に、プロセッサは、次の方程式を用いて重心を更新するコードを実行する。
【００６９】
【数１２】
【００７０】
車環境において必然的に起こる急な動きがある場合、頭部の位置及び目の位置は急激に変化する。目の追跡を行うために、プロセッサは前のフレームに対する現在のフレームの頭部の位置の変化を検知するコードを実行する。コードの条件は次の通りである。
【００７１】
【数１３】
【００７２】
上記の条件が確認され設定されると、カーネル追跡アルゴリズムは目の追跡を行うことはできなくなるが、顔は目に比べてサイズが大きいため、顔の追跡は行われる。
【００７３】
大きな変化（動き）がある場合でも目の追跡を続けて行うために、プロセッサはＳＡＤ（絶対値の差の総和）に基づいて目のテンプレートマッチングを算出する。カーネル追跡アルゴリズムの最後には、追跡された目はテンプレート画像として保存される。
【００７４】
追跡過程において、目バウンディングボックスの位置を特定する。最終ステップでは、プロセッサは、目１５０の覚醒状態をヒストグラム均等化、モルフォロジ演算及び、ヒストグラム及び濃度共起行列を用いる、テクスチャベースのパラメータによって検知する。
【００７５】
このようなプロセッサが実行する方法を下記で詳細に検討する。
【００７６】
ヒストグラム均等化処理に移る前に、プロセッサは、目バウンディングボックスを眉の重心に向かって上方に延長するコードを実行する。この領域で、プロセッサは、ヒストグラム均等化処理を目バウンディングボックスに適用するコードを実行する。ヒストグラム均等化は画像のヒストグラムを用いてコントラストを調整する、画像処理における方法である。ヒストグラム均等化とは、画像のヒストグラムのダイナミックレンジを増加させる技法である。ヒストグラム均等化は出力画像が均一の輝度分布を有するように、入力画像の画素の輝度値を割り当てる。それによりコントラストが向上する。ヒストグラム均等化の目的は均一のヒストグラムを得ることである。本技法は画像全体または画像の一部のみにも行うことができる。
【００７７】
ヒストグラム均等化は輝度分布を再分布する。任意の画像のヒストグラムに多くの谷または山がある場合は、均等化後もまだ谷や山を有するものの、谷及び山の位置はずれる。このため、ヒストグラム均等化を説明するには「拡張」という用語の方が「平坦化」よりもふさわしい。ヒストグラム均等化では、各画素には前の輝度に基づいて新しい輝度が割り当てられる。
【００７８】
次のステップにおいて、プロセッサは、構造要素を持つこのような画像の線収縮を計算することによって、ヒストグラム均等化画像の明瞳孔現象を排除する。構造要素の幅は眉の幅の１／３に等しく、構造要素の高さは１に等しい。
【００７９】
明瞳孔現象を排除するために、プロセッサは次のステップを実行する。
【００８０】
個別の濃度画像｛ｘ｝を考慮し、ｎｉを濃度ｉの発生数とする。画像中の濃度ｉの画素の発生確率を次の式で求める。
ｐｘ（ｉ）＝ｐ（ｘ＝ｉ）＝ｎｉ／ｎ，０≦ｉ≦Ｌ
【００８１】
式中、Ｌは画像の濃度の総数であり、ｎは画像の画素の総数であり、及びはｐｘは実際の画像のヒストグラムであり、［０、１］区間に正規化される。
【００８２】
ｐｘに対応する累積分布関数を次式のように定義する。
【００８３】
【数１４】
【００８４】
上記式も画像の累積正規化ヒストグラムである。
【００８５】
さらに、変換をｙ＝Ｔ（ｘ）の形で行い、新しい画像｛ｙ｝を生成し、新しい画像のＣＤＦが、ある定数Ｋに対して値の範囲にわたって、
ｃｄｆｘ（ｉ）＝ｉＫ
と、直線となるようにする。
【００８６】
ＣＤＦの特性によって、次の変換の実行が可能となる。
ｙ＝Ｔ（ｘ）＝ｃｄｆｘ（ｘ）
【００８７】
Ｔが濃度を範囲［０、１］にマッピングすることに注意されたい。値を元の範囲に戻してマッピングするためには、次の簡単な変換を結果に適用する必要がある。
ｙｉ＝ｙ．（ｍａｘ｛ｘ｝−ｍｉｎ｛ｘ｝）＋ｍｉｎ｛ｘ｝
【００８８】
ヒストグラム均等化処理後は、濃度画像の暗い部分はさらに暗く、濃度画像の明るい部分をさらに明るく見える。目の明瞳孔現象ははるかに明るく見え、また、ときには明瞳孔現象が検知されないときもあるため、明瞳孔現象を抑制するために、線収縮を構造要素に対して行い、構造要素の幅を眉の１／３とし、構造要素の高さを１とする。
【００８９】
Ａが濃度画像であり、Ｂが構造要素である場合、Ｚ２における集合Ａ及びＢに対して、ＢによるＡの収縮を次式で算出する。
【００９０】
【数１５】
【００９１】
収縮後、小さな不要成分も存在することがある。不要成分を抑制し、目領域を保持するために、高さ及び幅が３に等しい構造要素に対してグレースケールオープニングを行う。
【００９２】
数学的モルフォロジにおいて、オープニングは、集合Ａの収縮を構造要素Ｂによって膨張させることである。
【００９３】
Ａが濃度画像であり、Ｂが構造要素の場合、Ｚ２における集合Ａ及びＢに対して、ＢによるＡのモルフォロジオープニングは次式で算出する。
【００９４】
【数１６】
【００９５】
次のステップでは、プロセッサはヒストグラムベースの手法を用いて、テクスチャ解析を行う。この手法は、ヒストグラムとして表される画像のすべてまたは一部における、輝度濃度に基づき、目の状態を識別する。一様性の値または角二次モーメント（ＡＳＭ）テクスチャパラメータの値は目を閉じている場合には高くなり、目を開いている場合には低くなる。
【００９６】
テクスチャ解析を行うために、プロセッサは次のステップを実行する。
第１のステップでは、プロセッサはテクスチャベースの解析を画像に実施するコードを実行する。
【００９７】
テクスチャは画像の表面及び構造を表す特性である。テクスチャは、表面の要素またはパターンの定期的な繰り返しとして定義することができる。画像テクスチャは複雑な映像パターンであり、明るさ、色、形、大きさなどの特徴を持つサブパターンを有するエンティティまたは領域から構成される。画像領域は、その特徴のセットが一定であれば、ゆっくりと変化するか、または適切に周期的である一定のテクスチャを有する。テクスチャ解析はテクスチャ分類、画像セグメンテーション、及び画像形状認識作業において主なステップである。画像セグメンテーション及び形状認識は、通常は画像内の対象または目的物認識の前処理のステップである。
【００９８】
テクスチャを特徴づける数学的手順は次の２つの主なカテゴリに分類される。
１．統計的
２．統語的
【００９９】
統計的手法は様々な特性を計算し、テクスチャのプリミティブな大きさと画素の大きさとが同程度である場合には適切である。これらの手法にはフーリエ変換、畳み込みフィルタ、共起行列、空間的自己相関、フラクタルなどがある。
【０１００】
統語的方法及び混合方法（統計的方法と統語的方法）は、プリミティブを色調の特性だけではなく、たとえば形状記述など多種の特性を用いて記述できるテクスチャに適している。これらの特性を用いて、プリミティブを識別、定義することができ、ラベルを割り当てることができる。濃度画像にたいしては、色調を明るさと置き換えることもできる。
【０１０１】
テクスチャを記述するための最も簡単な手法の１つは、画像または領域の濃度ヒストグラムの統計学的モーメントを用いることである。ヒストグラムベースのテクスチャ解析方法はヒストグラムとして表される画像のすべてまたは一部の輝度濃度に基づく。一般的な特徴は、平均、変数、分散、二乗平均値または平均エネルギ、エントロピ、歪度及び尖度などのモーメントを含む。
【０１０２】
Ｚを濃度を表す無作為な変数とし、ｐ（Ｚｉ），Ｉ＝０，１，２，Ｌ−１を対応するヒストグラムとすると、Ｌは区別される濃度の数である。
【０１０３】
平均のＺのｎ番目のモーメントは次式で求められる。
【０１０４】
【数１７】
【０１０５】
式中、ｍはＺの平均値（平均濃度）であり、以下のように求められる。
【０１０６】
【数１８】
【０１０７】
本発明の一実施形態では、「一様性または角二次モーメント（ＡＳＭ）」テクスチャパラメータを用いた。これは局所的な同質性の測定値である。移動窓の画素が非常に類似しているときに、ＡＳＭの値は高くなる。
【０１０８】
上記の一様性は次の方程式で求められる。
【０１０９】
【数１９】
【０１１０】
一様性の値は０から１までの間である。このパラメータは目を閉じている場合には高くなり、目を開いている場合には低くなる。
【０１１１】
任意には、プロセッサは濃度共起行列のコントラストを用いて、Ｎフレームの帯域が同じ特性を有する場合は、目が閉じていることを検知することによって、目の状態を識別する。
【０１１２】
目の状態を検知するために、プロセッサは次のステップを実行する。
共起行列は、共起分布ともよばれるが、所定のオフセットで共起値を分布する画像上に画定される。数学的には、共起行列Ｃはｎ×ｍ画像Ｉ上に画定され、オフセット（Δｘ、Δｙ）によって、次のようにパラメータ化される。
【０１１３】
【数２０】
【０１１４】
この濃度共起行列において、１つのパラメータである「コントラスト」が目の状態を検知する識別要素であることが分かった。
【０１１５】
プロセッサは次式を用いてコントラストを算出するコードを実行する。
【０１１６】
【数２１】
【０１１７】
分類のために、プロセッサを用いて、第１のＴフレームを追跡開始時から観察する。各フレームに対して、プロセッサは、各特徴のμ及びσを動的に算出するコードを実行する。初期値ではμ＝特徴値であり、σ＝０である。特徴＞μ＋３×σであるフレームまたは特徴＜μ−３×σであるフレームでは、これらの２つのパラメータの更新は行われない。Ｎフレームの帯域が同じ特性を持っていると判明する場合は、目が閉じていることを示す信号が送られる。
【０１１８】
図２Ａは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域を例示する。
【０１１９】
図２Ｂは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２０】
図２Ｃは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１２１】
図２Ｄは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域を例示する。
【０１２２】
図２Ｅは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２３】
図２Ｆは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１２４】
図３Ａは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域を例示する。
【０１２５】
図３Ｂは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２６】
図３Ｃは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１２７】
図３Ｄは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域を例示する。
【０１２８】
図３Ｅは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２９】
図３Ｆは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１３０】
図４Ａ及び図４Ｂは、本発明の例示的実施形態による、運転者の覚醒度識別状態を例示するグラフを示す。
【０１３１】
本発明のさらに別の態様では、警報手段を用いて衝突を避けるために、検知した目の覚醒状態を用いて運転者に警告を与え、警報手段は音声及び音声映像装置、警報の発生、音声による注意、指標及び表示であってよい。
【０１３２】
本発明の様々な実施形態を参照して上記の説明を提示してきた。
本発明の技術分野の当業者には、説明した処理及び操作方法において修正及び変更が、本発明の原理、精神及び範囲を無意味に逸脱せずに実行できる。
【産業上の利用可能性】
【０１３３】
以上より、目の追跡及び運転者の覚醒度識別のために本発明が提示するシステム及び方法の有利性のいくつかは以下の通りである。
１．ヒストグラム均等化、モルフォロジ演算及びテクスチャベースの解析を用いることによって、目の位置をより正確に追跡できる。
２．突然の動きがある場合には、目の位置の変化に対してシステムを適用する。
３．運転者に対する警告戦略を本システムの覚醒度検知の適用と連動する。
４．目の追跡を瞳孔現象とは独立して行う。モルフォロジ収縮処理を、収縮画像においてヒストグラム均等化及びモルフォロジ変換を実施することによって、顔バウンディングボックス内で行う。
【技術分野】
【０００１】
本発明は、目の追跡及び運転者の覚醒度を識別するためのシステム及び方法に関する。具体的には、本発明は、運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法に関し、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて事故を回避するものである。
【背景技術】
【０００２】
運転者の疲労及び運転者の睡眠不足、特にトラックやバスなどの大型車両を運転する運転者の疲労及び睡眠不足は、長年にわたる問題である。毎年、眠気を催した個人が運転中に居眠りをした結果、多くの路上事故及び死亡者が発生している。運転者の覚醒状態を検知し、眠気を催して居眠りをする運転者に警告する機構を有することができれば、このような事故を大幅に防ぐことができる。
【０００３】
車両の運転者の覚醒度を検知する方法がないことは、長年にわたる問題である。
【０００４】
次に挙げるように、目の追跡及び運転者の覚醒度認識に関するいくつかの発明が公知である。
【０００５】
Ｋｉｎｇｍａｎ Ｙｅｅの特許文献１は、目の位置を導き出すために、強膜と虹彩との間のコントラストを利用して目の位置を感知し、追跡するための改良型装置、システム及び方法を教示している。この発明は、具体的には、角膜切除屈折手術（ＰＲＫ）、角膜混濁除去手術（ＰＴＫ）、レーシック（ＬＡＳＩＫ）など、レーザによる目の手術の間に目の位置を追跡するために有益である。
【０００６】
Ｔａｂｏａｄａの特許文献２は、人間の目の視線を追跡する装置を開示している。より具体的には、特許文献２は、目に反射する赤外線（ＩＲ）ビームを分析することによって、目の動きを追跡する光学装置を開示している。
【０００７】
Ｓｍｉｔｈの特許文献３は、人の頭部及び顔の特徴を単一の搭載カメラによって追跡することを開示している。この搭載カメラは自動的に起動可能な全自動システムを備え、必要に応じて再初期化し、リアルタイムに出力を提供することができる。特許文献３が提示するシステムは、重要であると選択された画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）要素を示すＲＧＢ列を用いており、また、日中と夜間条件では異なるアルゴリズムで動作する。
【０００８】
Ｃｌａｒｋｅ Ｓｒの特許文献４は、赤外線カメラを介して、運転者の目が開いている場合と閉じている場合との画素色における赤外線画像の変化を監視する装置を開示している。この装置は、映像電荷結合素子を通過するデジタル画像の熱に敏感な赤外線部分を用いる。動きがないことと、低換気に対する生理的反応、つまり眠気を催す、息の温度の低下が組み合わさると、赤外線カメラが起動し、運転者の目領域を拡大する。
【０００９】
Ｃｈｒｉｓｔｏｓ Ｔ． Ｋｙｒｔｓｏの特許文献５は、車両の挙動、たとえば速度、横方向の位置、曲がる角度などを測定することによって覚醒度を検知することを開示している。
【００１０】
Ｔｏｍｏｋａｚｕ Ｎａｋａｍｕｒａの特許文献６は、目領域を構成する画素の画素データに基づき、目領域の目の状態を示す特徴値を算出することによって、目の状態（瞬きを含む）を識別する手段を教示する。閾値設定手段は、対象となる目が開状態のときの対象となる目に対して算出された特徴値に基づいて、開状態から閉状態への第１の遷移点における特徴値を示す第１の閾値及び閉状態から開状態への第２の遷移点における特徴値を示す第２の閾値を算出する。
【００１１】
Ｒｉａｄ Ｉ． Ｈａｍｍｏｕｄの特許文献７は、目的物追跡方法を教示している。この方法では、背景から対象目的物を抽出するためにグレースケールのハットフィルタを用いて、対象目的物を順次生成される赤外線映像画像の中から追跡する。目的物が人の目である場合は、目の状態及び決定の確かさは、バイナリブロブの形状と外観をその大きさの変化及び以前の目の状態と合わせて分析し、対応するパラメータを目の状態の決定行列に適用することによって決定される。
【００１２】
Ｒｕｉの特許文献８は、映像及び／または音声内容のフレームを受信し、フレームの新しい顔領域に対する候補区域を特定することによって、複数の個人を自動的に検知及び追跡することを教示している。１または複数の階層的検証レベルを用いて、人間の顔が候補区域にあるかを検証し、１または複数の階層的検証レベルによって、候補区域に人間の顔があると検証されると、候補区域に顔が含まれることを示す指標が作成される。複数の音声及び／または映像の合図を用いて、検証された各顔をフレームごとに映像内容において追跡する。
【００１３】
上記に記載した覚醒度検知装置のほとんどはセンサ技術に頼っている。この中にはコンピュータによる資格技術を用いて作成されているものもあるが、これらの覚醒度検知装置は覚醒度を検知するために複雑な方法を用いており、費用がかかる。全体として、上記の方法は、疲労と睡眠不足に悩む運転者の覚醒を監視するために目領域を追跡するには、不適切であり、不正確である。
【００１４】
したがって、上記先行技術に照らして、簡便で、設置が簡単であり、低費用で高精度を提供する、目の追跡及び運転者の覚醒度識別のためのシステム及び方法に対する必要性があることは明らかである。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】米国特許第６２８３９５４号
【特許文献２】米国特許第５３４５２８１号
【特許文献３】米国特許第６９２７６９４号
【特許文献４】米国特許第５６８９２４１号
【特許文献５】米国特許第５９００８１９号
【特許文献６】米国公開特許第２００８０２５２７４５号
【特許文献７】米国特許第７３６２８８５号
【特許文献８】米国特許第７１３０４４６号
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明の主な目的は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法を提供することである。
【００１７】
本発明の別の目的は、瞳孔現象とは独立して、目の追跡を行うことであり、収縮画像においてヒストグラム均等化及びモルフォロジ変換を行うことによって、顔バウンディングボックス内でモルフォロジ収縮処理を実行する。
【００１８】
本発明の別の目的は、カーネル追跡アルゴリズムを用いて、目の追跡及び顔の追跡を行うためのロバストな方法を構想するシステム及び方法を提供することである。
【００１９】
本発明の別の目的は、目の部分の位置を特定することである。その方法は、まず顔の追跡を行い、次に顔バウンディングボックス内でカーネルに基づく顔及び目の追跡アルゴリズムを用いて、目の追跡を行うことである。
【００２０】
本発明の別の目的は、モルフォロジ変換画像及びヒストグラム均等化画像などの、後にカーネル追跡アルゴリズムのパラメータとなる特徴を収集する方法を提供することである。
【００２１】
本発明のさらに別の目的は、ヒストグラム均等化、モルフォロジ演算及びヒストグラム及び濃度共起行列を用いる及びテクスチャベースのパラメータを用いて、目の状態を検知するシステム及び方法を提供することである。
【００２２】
本発明の別の目的は、運転者が居眠り状態にあることを検知した後に、運手者に警告をするための、運転者に対する音声または音声映像を提供することである。
【課題を解決するための手段】
【００２３】
本発明の方法、システム及びハードウェアの使用可能性について説明するに当たり、本発明は、記載した特定のシステム及び方法論に制限されない。本開示では明示的に例示されない本発明の複数の可能な実施形態があるためである。また、本明細書で使用する用語は特定の様式または実施形態を説明する目的でのみ使用されるものであり、本発明の範囲を制限することを意図するものではなく、本発明の範囲は添付の請求の範囲によってのみ制限される。
【００２４】
本発明は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法を提供する。
【００２５】
本発明は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストな方法を実現する。上記方法は、プロセッサが実行する以下のステップを備える。すなわち、撮像画像においてリアルタイムに顔の追跡を行い、顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値と閾値を比較することによって特定するステップと、目の重心を計算して目の追跡を行い、１つの場所から別の場所まで、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを算出し、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであって、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて算出するステップと、ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップである。
【００２６】
本発明のさらに別の態様では、衝突を避けるために、検知した目の覚醒状態を用いて運転者に警告するための警報手段を備える。警報手段は、音声及び音声映像装置であってよく、警報、音声による注意、画面を備える表示器を含むが、これらに限定されない。本発明の別の態様によれば、近赤外線カメラは運転者に向かって車両内部に設置される。
【図面の簡単な説明】
【００２７】
【図１】本発明の様々な実施形態による、事故のために運転者の目の覚醒状態を特定し追跡するための方法を例示するフローチャート
【図２Ａ】本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域を例示する写真
【図２Ｂ】本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図２Ｃ】本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図２Ｄ】本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域を例示する写真
【図２Ｅ】本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図２Ｆ】本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図３Ａ】本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域を例示する写真
【図３Ｂ】本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図３Ｃ】本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図３Ｄ】本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域を例示する写真
【図３Ｅ】本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する写真
【図３Ｆ】本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真
【図４Ａ】本発明の例示的実施形態による、運転者の覚醒度識別状態を例示するグラフ
【図４Ｂ】本発明の例示的な実施形態による、運転者の覚醒度識別状態を例示するグラフ
【発明を実施するための形態】
【００２８】
上記の概要、及び下記の発明を実施するための形態の詳細な説明は、添付図と合わせて説明される。本発明を例示するために、本発明の構成例を図に示すが、本発明は図に開示される特定の方法及び装置に限定されない。
【００２９】
本発明の実施形態のいくつかを、特徴を例示しながら詳細に説明する。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」という単語及びこれらの活用形は、意味として同義であり、これらの単語に続く１または複数の項目が、該当する１または複数の項目の完全な列記であることを意味するものではなく、また、列記した１または複数の項目にのみ限定されることを意味するものではないという点で制約を受けないことを意図している。また、本明細書及び付属の特許請求の範囲に用いられるように、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は、別途明確に指示がない限り、複数の参照を含むことに注意すべきである。本明細書に記載するシステム及び方法と類似するか同等である任意のシステム及び方法を用いて、本発明の実施形態の実施または試験を行うことができるが、好ましいシステム及び方法を以下に説明する。開示する実施形態は単に本発明の実施例であり、当業者によって様々な形態で実施されてもよい。
【００３０】
車両上に設置される近赤外線（ＩＲ）カメラで撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高くロバストな方法であって、上記方法は、プロセッサが実行する以下のステップを備える。すなわち、
ａ）撮像画像においてリアルタイムに顔の追跡をし、顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値を閾値と比較することによって特定するステップと、
ｂ）１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであって、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算するステップと、
ｃ）ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップ、
である。
【００３１】
本発明の１つの例示的実施形態によると、費用対効果が高くロバストなシステムは、画像を撮像するための、運転者に対向して車両上に設置される近赤外線カメラと、近赤外線カメラ内に収容され、事故を回避するために、撮像画像をリアルタイムで分析し、運転者の目の覚醒度の状態を特定し、追跡するプロセッサとを備える。
【００３２】
図１は本発明の様々な実施形態による、事故を回避するために運転者の目の覚醒度の状態を特定し追跡するための、方法１００を例示するフローチャートである。
【００３３】
本発明の１つの例示的実施形態では、車両上に設置される近赤外線（ＩＲ）カメラで撮像した画像１１０を用いて、事故を回避するために運転者の目の覚醒状態を識別し、追跡するための費用対効果が高いシステムを用いる。本発明の別の態様によれば、近赤外線カメラは運転者に向かって、車両の外部または内部のいずれかに設置することができる。本発明の１つの例示的実施形態では、近赤外線カメラは運転者に向かって車両内部に設置される。
【００３４】
本発明の１つの態様によれば、近赤外線カメラの解像度は３５２×２８８である。本発明の１つの態様によれば、近赤外線カメラの近赤外線範囲は、歩行者を検知し、追跡するために、（０．７〜１）ミクロンから５ミクロンの範囲から選択することができる。本発明の１つの態様によれば、近赤外線カメラの温度範囲は、歩行者を検知し、追跡するために、７４０ケルビンから３、０００〜５、２００ケルビンから選択することができる。
【００３５】
本発明の１つの態様によれば、プロセッサは、近赤外線カメラ本体、車両の外部または内部、車両の上面またはダッシュボードの上端部のいずれかに設置することができる。本発明の１つの例示的実施形態では、プロセッサは近赤外線カメラ本体の内部に設置される。本発明の別の態様によれば、プロセッサはＤａｖｉｎｃｉ ＤＭ６４４６プロセッサ、ＡＤＳＰ−ＢＦ５３３、７５０ＭＨｚ Ｂｌａｃｋｆｉｎプロセッサの群から選択することができる。
【００３６】
上記の費用対効果の高い方法は、プロセッサが実行する様々なステップを備える。全体の画像の中で、目のような小さい目的物を追跡することは困難である。したがって、目の検索の位置を特定するために、提案する方法の第１のステップにおいて、顔バウンディングボックスの中で、最初に顔の追跡を行い、次に目の追跡を行う。
【００３７】
プロセッサはセグメンテーション処理を用いて、目の形１２０、及び眉毛、鼻の先端、垂直方向の顔の中心などの顔の目印を識別するコードを実行する。顔の追跡を行うために、プロセッサは次の方程式を用いて、顔の座標を決定するコードを実行する。
顔の幅＝顔の右端−顔の左端
顔の高さ＝２×（鼻の先端位置−眉毛の位置）−眉毛の位置
【００３８】
目の追跡を行うために、プロセッサは、セグメンテーション処理を用いて目バウンディングボックスを決定するコードを実行する。顔１３０を追跡するために、プロセッサは特徴を集めるコードを実行し、この特徴はセグメンテーション処理から得る閾値よりも大きい濃淡値のみである。目の追跡１４０を行うために、プロセッサは特徴を集めるコードを実行する。この特徴は顔バウンディングボックスにおけるヒストグラム均等化及び顔バウンディングボックスにおけるモルフォロジ変換である。
【００３９】
目の追跡の際の主な障害は、瞳孔現象を除外することである。目の追跡を瞳孔現象とは独立して行うためには、プロセッサは第１のモルフォロジ収縮処理を顔バウンディングボックス内で実行する。この収縮画像から、ヒストグラム均等化及びモルフォロジ変換が行われる。
【００４０】
ヒストグラム均等化は、入力画像のレベルを広範な輝度にわたって広げることによって、均等なヒストグラムを有する出力画像を生成する。プロセッサがヒストグラム均等化を出力画像に適用するコードを実行すると、暗い画像ははるかに暗くなり、明るい画像ははるかに明るくなる。プロセッサは、暗い目的物（つまり目）を明るい背景（つまり顔バウンディングボックス）から、モルフォロジ変換を用いて抽出するコードを実行する。
【００４１】
提案する方法の第２のステップでは、プロセッサは１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出する。対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算する。
【００４２】
目の追跡１４０のために、プロセッサは次のステップを実行する。第１のステップでは、プロセッサは、目のブロブの重心を中心ｍ０と見なし、次に特徴空間を考慮して対象のモデルヒストグラムを算出するコードを実行する。
【００４３】
【数１】
【００４４】
対象モデル：
【００４５】
【数２】
【００４６】
次のフレームからは、対象の中心を以前の場所（ｙ０）に初期化し、プロセッサは同じ特徴空間を考慮して対象候補のヒストグラムを算出するコードを実行する。
【００４７】
【数３】
【００４８】
次に、プロセッサは、対象モデルと対象候補ヒストグラム間の距離を算出するコードを実行する。
【００４９】
【数４】
【００５０】
式中、ρ［．］はｐとｑとの間のバタチャリヤ係数である。
【００５１】
次に、プロセッサは対象の中心の変位を加重平均によって算出する。
【００５２】
【数５】
【００５３】
式中、次式となる。
【００５４】
【数６】
【００５５】
新しい対象の場所を発見すると、プロセッサは次のコードを実行する。
１）ヒストグラム均等化画像範囲及びモルフォロジ変換画像に関与する、同じ特徴空間での新しい場所での対象候補ヒストグラムを計算する。
２）次に次項を計算する。
【００５６】
【数７】
【００５７】
３）
【００５８】
【数８】
【００５９】
４）次式のときは停止する。
【００６０】
【数９】
【００６１】
または、ｙ０＜−ｙ１を設定し、加重を取り除き、次に新しい場所に行き、ステップ１に戻る。
【００６２】
上記の追跡処理を用いると、目の揺れがあることもある。その理由は主に次の通りである。
ａ）モルフォロジ変換画像において、ノイズも非常に明るく現れることがあり、その結果、画素が鼻の画素なのか目の画素なのかあいまいになる。
ｂ）位置及び速度情報は含まれていない。
【００６３】
上記の問題を解決するために、プロセッサはモルフォロジ変換画像において目を眉に対してマッピングして目の画素を識別し、それによってモルフォロジ変換画像で明るく見える鼻の画素を回避する。
【００６４】
モルフォロジ変換画像において目を眉に対してマッピングするために、プロセッサは次のステップを実行する。
ａ）目を眉に対してマッピングする
目は眉の下に現れるため、本発明者らはこの手がかりを用いて画素が目の画素か鼻の画素かを識別する。
モルフォロジ変換画像において目を眉に対してマッピングすることは以下に関与する。
【００６５】
【数１０】
【００６６】
一方、モルフォロジ変換画像において鼻を眉に対してマッピングすることは、次のいずれかに関与する。
【００６７】
【数１１】
【００６８】
ｂ）方向推定
最初の４フレームでは、目の重心の位置をＦＩＦＯ（先入先出法）またはキューで保存する。現在のフレームに関しては、新しい重心をカーネル追跡アルゴリズムを用いて算出する前に、プロセッサは、次の方程式を用いて重心を更新するコードを実行する。
【００６９】
【数１２】
【００７０】
車環境において必然的に起こる急な動きがある場合、頭部の位置及び目の位置は急激に変化する。目の追跡を行うために、プロセッサは前のフレームに対する現在のフレームの頭部の位置の変化を検知するコードを実行する。コードの条件は次の通りである。
【００７１】
【数１３】
【００７２】
上記の条件が確認され設定されると、カーネル追跡アルゴリズムは目の追跡を行うことはできなくなるが、顔は目に比べてサイズが大きいため、顔の追跡は行われる。
【００７３】
大きな変化（動き）がある場合でも目の追跡を続けて行うために、プロセッサはＳＡＤ（絶対値の差の総和）に基づいて目のテンプレートマッチングを算出する。カーネル追跡アルゴリズムの最後には、追跡された目はテンプレート画像として保存される。
【００７４】
追跡過程において、目バウンディングボックスの位置を特定する。最終ステップでは、プロセッサは、目１５０の覚醒状態をヒストグラム均等化、モルフォロジ演算及び、ヒストグラム及び濃度共起行列を用いる、テクスチャベースのパラメータによって検知する。
【００７５】
このようなプロセッサが実行する方法を下記で詳細に検討する。
【００７６】
ヒストグラム均等化処理に移る前に、プロセッサは、目バウンディングボックスを眉の重心に向かって上方に延長するコードを実行する。この領域で、プロセッサは、ヒストグラム均等化処理を目バウンディングボックスに適用するコードを実行する。ヒストグラム均等化は画像のヒストグラムを用いてコントラストを調整する、画像処理における方法である。ヒストグラム均等化とは、画像のヒストグラムのダイナミックレンジを増加させる技法である。ヒストグラム均等化は出力画像が均一の輝度分布を有するように、入力画像の画素の輝度値を割り当てる。それによりコントラストが向上する。ヒストグラム均等化の目的は均一のヒストグラムを得ることである。本技法は画像全体または画像の一部のみにも行うことができる。
【００７７】
ヒストグラム均等化は輝度分布を再分布する。任意の画像のヒストグラムに多くの谷または山がある場合は、均等化後もまだ谷や山を有するものの、谷及び山の位置はずれる。このため、ヒストグラム均等化を説明するには「拡張」という用語の方が「平坦化」よりもふさわしい。ヒストグラム均等化では、各画素には前の輝度に基づいて新しい輝度が割り当てられる。
【００７８】
次のステップにおいて、プロセッサは、構造要素を持つこのような画像の線収縮を計算することによって、ヒストグラム均等化画像の明瞳孔現象を排除する。構造要素の幅は眉の幅の１／３に等しく、構造要素の高さは１に等しい。
【００７９】
明瞳孔現象を排除するために、プロセッサは次のステップを実行する。
【００８０】
個別の濃度画像｛ｘ｝を考慮し、ｎｉを濃度ｉの発生数とする。画像中の濃度ｉの画素の発生確率を次の式で求める。
ｐｘ（ｉ）＝ｐ（ｘ＝ｉ）＝ｎｉ／ｎ，０≦ｉ≦Ｌ
【００８１】
式中、Ｌは画像の濃度の総数であり、ｎは画像の画素の総数であり、及びはｐｘは実際の画像のヒストグラムであり、［０、１］区間に正規化される。
【００８２】
ｐｘに対応する累積分布関数を次式のように定義する。
【００８３】
【数１４】
【００８４】
上記式も画像の累積正規化ヒストグラムである。
【００８５】
さらに、変換をｙ＝Ｔ（ｘ）の形で行い、新しい画像｛ｙ｝を生成し、新しい画像のＣＤＦが、ある定数Ｋに対して値の範囲にわたって、
ｃｄｆｘ（ｉ）＝ｉＫ
と、直線となるようにする。
【００８６】
ＣＤＦの特性によって、次の変換の実行が可能となる。
ｙ＝Ｔ（ｘ）＝ｃｄｆｘ（ｘ）
【００８７】
Ｔが濃度を範囲［０、１］にマッピングすることに注意されたい。値を元の範囲に戻してマッピングするためには、次の簡単な変換を結果に適用する必要がある。
ｙｉ＝ｙ．（ｍａｘ｛ｘ｝−ｍｉｎ｛ｘ｝）＋ｍｉｎ｛ｘ｝
【００８８】
ヒストグラム均等化処理後は、濃度画像の暗い部分はさらに暗く、濃度画像の明るい部分をさらに明るく見える。目の明瞳孔現象ははるかに明るく見え、また、ときには明瞳孔現象が検知されないときもあるため、明瞳孔現象を抑制するために、線収縮を構造要素に対して行い、構造要素の幅を眉の１／３とし、構造要素の高さを１とする。
【００８９】
Ａが濃度画像であり、Ｂが構造要素である場合、Ｚ２における集合Ａ及びＢに対して、ＢによるＡの収縮を次式で算出する。
【００９０】
【数１５】
【００９１】
収縮後、小さな不要成分も存在することがある。不要成分を抑制し、目領域を保持するために、高さ及び幅が３に等しい構造要素に対してグレースケールオープニングを行う。
【００９２】
数学的モルフォロジにおいて、オープニングは、集合Ａの収縮を構造要素Ｂによって膨張させることである。
【００９３】
Ａが濃度画像であり、Ｂが構造要素の場合、Ｚ２における集合Ａ及びＢに対して、ＢによるＡのモルフォロジオープニングは次式で算出する。
【００９４】
【数１６】
【００９５】
次のステップでは、プロセッサはヒストグラムベースの手法を用いて、テクスチャ解析を行う。この手法は、ヒストグラムとして表される画像のすべてまたは一部における、輝度濃度に基づき、目の状態を識別する。一様性の値または角二次モーメント（ＡＳＭ）テクスチャパラメータの値は目を閉じている場合には高くなり、目を開いている場合には低くなる。
【００９６】
テクスチャ解析を行うために、プロセッサは次のステップを実行する。
第１のステップでは、プロセッサはテクスチャベースの解析を画像に実施するコードを実行する。
【００９７】
テクスチャは画像の表面及び構造を表す特性である。テクスチャは、表面の要素またはパターンの定期的な繰り返しとして定義することができる。画像テクスチャは複雑な映像パターンであり、明るさ、色、形、大きさなどの特徴を持つサブパターンを有するエンティティまたは領域から構成される。画像領域は、その特徴のセットが一定であれば、ゆっくりと変化するか、または適切に周期的である一定のテクスチャを有する。テクスチャ解析はテクスチャ分類、画像セグメンテーション、及び画像形状認識作業において主なステップである。画像セグメンテーション及び形状認識は、通常は画像内の対象または目的物認識の前処理のステップである。
【００９８】
テクスチャを特徴づける数学的手順は次の２つの主なカテゴリに分類される。
１．統計的
２．統語的
【００９９】
統計的手法は様々な特性を計算し、テクスチャのプリミティブな大きさと画素の大きさとが同程度である場合には適切である。これらの手法にはフーリエ変換、畳み込みフィルタ、共起行列、空間的自己相関、フラクタルなどがある。
【０１００】
統語的方法及び混合方法（統計的方法と統語的方法）は、プリミティブを色調の特性だけではなく、たとえば形状記述など多種の特性を用いて記述できるテクスチャに適している。これらの特性を用いて、プリミティブを識別、定義することができ、ラベルを割り当てることができる。濃度画像にたいしては、色調を明るさと置き換えることもできる。
【０１０１】
テクスチャを記述するための最も簡単な手法の１つは、画像または領域の濃度ヒストグラムの統計学的モーメントを用いることである。ヒストグラムベースのテクスチャ解析方法はヒストグラムとして表される画像のすべてまたは一部の輝度濃度に基づく。一般的な特徴は、平均、変数、分散、二乗平均値または平均エネルギ、エントロピ、歪度及び尖度などのモーメントを含む。
【０１０２】
Ｚを濃度を表す無作為な変数とし、ｐ（Ｚｉ），Ｉ＝０，１，２，Ｌ−１を対応するヒストグラムとすると、Ｌは区別される濃度の数である。
【０１０３】
平均のＺのｎ番目のモーメントは次式で求められる。
【０１０４】
【数１７】
【０１０５】
式中、ｍはＺの平均値（平均濃度）であり、以下のように求められる。
【０１０６】
【数１８】
【０１０７】
本発明の一実施形態では、「一様性または角二次モーメント（ＡＳＭ）」テクスチャパラメータを用いた。これは局所的な同質性の測定値である。移動窓の画素が非常に類似しているときに、ＡＳＭの値は高くなる。
【０１０８】
上記の一様性は次の方程式で求められる。
【０１０９】
【数１９】
【０１１０】
一様性の値は０から１までの間である。このパラメータは目を閉じている場合には高くなり、目を開いている場合には低くなる。
【０１１１】
任意には、プロセッサは濃度共起行列のコントラストを用いて、Ｎフレームの帯域が同じ特性を有する場合は、目が閉じていることを検知することによって、目の状態を識別する。
【０１１２】
目の状態を検知するために、プロセッサは次のステップを実行する。
共起行列は、共起分布ともよばれるが、所定のオフセットで共起値を分布する画像上に画定される。数学的には、共起行列Ｃはｎ×ｍ画像Ｉ上に画定され、オフセット（Δｘ、Δｙ）によって、次のようにパラメータ化される。
【０１１３】
【数２０】
【０１１４】
この濃度共起行列において、１つのパラメータである「コントラスト」が目の状態を検知する識別要素であることが分かった。
【０１１５】
プロセッサは次式を用いてコントラストを算出するコードを実行する。
【０１１６】
【数２１】
【０１１７】
分類のために、プロセッサを用いて、第１のＴフレームを追跡開始時から観察する。各フレームに対して、プロセッサは、各特徴のμ及びσを動的に算出するコードを実行する。初期値ではμ＝特徴値であり、σ＝０である。特徴＞μ＋３×σであるフレームまたは特徴＜μ−３×σであるフレームでは、これらの２つのパラメータの更新は行われない。Ｎフレームの帯域が同じ特性を持っていると判明する場合は、目が閉じていることを示す信号が送られる。
【０１１８】
図２Ａは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域を例示する。
【０１１９】
図２Ｂは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２０】
図２Ｃは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１２１】
図２Ｄは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域を例示する。
【０１２２】
図２Ｅは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２３】
図２Ｆは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１２４】
図３Ａは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域を例示する。
【０１２５】
図３Ｂは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２６】
図３Ｃは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１２７】
図３Ｄは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域を例示する。
【０１２８】
図３Ｅは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する。
【０１２９】
図３Ｆは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。
【０１３０】
図４Ａ及び図４Ｂは、本発明の例示的実施形態による、運転者の覚醒度識別状態を例示するグラフを示す。
【０１３１】
本発明のさらに別の態様では、警報手段を用いて衝突を避けるために、検知した目の覚醒状態を用いて運転者に警告を与え、警報手段は音声及び音声映像装置、警報の発生、音声による注意、指標及び表示であってよい。
【０１３２】
本発明の様々な実施形態を参照して上記の説明を提示してきた。
本発明の技術分野の当業者には、説明した処理及び操作方法において修正及び変更が、本発明の原理、精神及び範囲を無意味に逸脱せずに実行できる。
【産業上の利用可能性】
【０１３３】
以上より、目の追跡及び運転者の覚醒度識別のために本発明が提示するシステム及び方法の有利性のいくつかは以下の通りである。
１．ヒストグラム均等化、モルフォロジ演算及びテクスチャベースの解析を用いることによって、目の位置をより正確に追跡できる。
２．突然の動きがある場合には、目の位置の変化に対してシステムを適用する。
３．運転者に対する警告戦略を本システムの覚醒度検知の適用と連動する。
４．目の追跡を瞳孔現象とは独立して行う。モルフォロジ収縮処理を、収縮画像においてヒストグラム均等化及びモルフォロジ変換を実施することによって、顔バウンディングボックス内で行う。
【特許請求の範囲】
【請求項１】
車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストな方法であって、
その方法は、プロセッサが実行するものであり、
ａ）撮像画像においてリアルタイムに顔の追跡を行い、その顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値と閾値を比較することによって特定するステップと、
ｂ）１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較することによって距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであり、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算するステップと、
ｃ）ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップと、を有する
ことを特徴とする方法。
【請求項２】
目の追跡を瞳孔現象と独立して行うために、モルフォロジ収縮処理を、顔バウンディングボックス内で、ヒストグラム均等化及びモルフォロジ変換を収縮画像内で行うことによって実施する
請求項１に記載の方法。
【請求項３】
衝突を避けるために、検知した目の覚醒度の状態を用いて、運転者に警告を与える
請求項１に記載の方法。
【請求項４】
近赤外線カメラを、運転者に向かって車両の外部または内部に設置する
請求項１に記載の方法。
【請求項５】
目の追跡を、目の画素を識別するためにモルフォロジ変換画像において、目を眉に対してマッピングし、それによって、モルフォロジ変換画像でより明るく見える鼻のピクセルを回避する
請求項１に記載の方法。
【請求項６】
目の追跡を、絶対値の差の総和（ＳＡＤ）を算出することによって目のテンプレートマッチングを用いて、前のフレームに対して現在のフレームの頭部位置の変化を検知する
請求項１に記載の方法。
【請求項７】
目の覚醒状態を検知するに当たり、
ａ）目バウンディングボックスを眉の重心まで上方に延長するステップと、
ｂ）ヒストグラム均等化処理を目バウンディングボックスに適用するステップと、
ｃ）ヒストグラム均等化画像の明瞳孔現象を、構造要素を有するヒストグラム均等化画像の線収縮を計算することによって排除するステップであり、構造要素の幅を眉の幅の１／３に等しく、構造要素の高さを１に等しくするステップと、
ｄ）ヒストグラムとして表される画像のすべてまたは一部の輝度濃度に基づくヒストグラムベースのテクスチャ解析手法を用いて、目の状態を識別するステップであり、一様性の値または角二次モーメント（ＡＳＭ）テクスチャパラメータの値は目を閉じている場合には高くし、目を開いている場合には低くするステップと、を有する
請求項１に記載の方法。
【請求項８】
ステップ（ｄ）を任意に、濃度共起行列のコントラストを用いて、Ｎフレームの帯域が同じ特性を有する場合は、目を閉じていることを検知することによって、目の状態を識別する
請求項７に記載の方法。
【請求項９】
近赤外線（ＩＲ）カメラを用いて事故を回避するために、運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステムであって、
ａ）画像を撮像するために車両上に設置される近赤外線カメラと、
ｂ）運転者の目の覚醒状態を特定し、追跡するために、リアルタイムで撮像画像を分析するプロセッサと、を備える
ことを特徴とするシステム。
【請求項１０】
衝突を回避するために、検知した目の覚醒状態を用いて、運転者に警告するための警報手段を備える
請求項９に記載のシステム。
【請求項１】
車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストな方法であって、
その方法は、プロセッサが実行するものであり、
ａ）撮像画像においてリアルタイムに顔の追跡を行い、その顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値と閾値を比較することによって特定するステップと、
ｂ）１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較することによって距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであり、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算するステップと、
ｃ）ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップと、を有する
ことを特徴とする方法。
【請求項２】
目の追跡を瞳孔現象と独立して行うために、モルフォロジ収縮処理を、顔バウンディングボックス内で、ヒストグラム均等化及びモルフォロジ変換を収縮画像内で行うことによって実施する
請求項１に記載の方法。
【請求項３】
衝突を避けるために、検知した目の覚醒度の状態を用いて、運転者に警告を与える
請求項１に記載の方法。
【請求項４】
近赤外線カメラを、運転者に向かって車両の外部または内部に設置する
請求項１に記載の方法。
【請求項５】
目の追跡を、目の画素を識別するためにモルフォロジ変換画像において、目を眉に対してマッピングし、それによって、モルフォロジ変換画像でより明るく見える鼻のピクセルを回避する
請求項１に記載の方法。
【請求項６】
目の追跡を、絶対値の差の総和（ＳＡＤ）を算出することによって目のテンプレートマッチングを用いて、前のフレームに対して現在のフレームの頭部位置の変化を検知する
請求項１に記載の方法。
【請求項７】
目の覚醒状態を検知するに当たり、
ａ）目バウンディングボックスを眉の重心まで上方に延長するステップと、
ｂ）ヒストグラム均等化処理を目バウンディングボックスに適用するステップと、
ｃ）ヒストグラム均等化画像の明瞳孔現象を、構造要素を有するヒストグラム均等化画像の線収縮を計算することによって排除するステップであり、構造要素の幅を眉の幅の１／３に等しく、構造要素の高さを１に等しくするステップと、
ｄ）ヒストグラムとして表される画像のすべてまたは一部の輝度濃度に基づくヒストグラムベースのテクスチャ解析手法を用いて、目の状態を識別するステップであり、一様性の値または角二次モーメント（ＡＳＭ）テクスチャパラメータの値は目を閉じている場合には高くし、目を開いている場合には低くするステップと、を有する
請求項１に記載の方法。
【請求項８】
ステップ（ｄ）を任意に、濃度共起行列のコントラストを用いて、Ｎフレームの帯域が同じ特性を有する場合は、目を閉じていることを検知することによって、目の状態を識別する
請求項７に記載の方法。
【請求項９】
近赤外線（ＩＲ）カメラを用いて事故を回避するために、運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステムであって、
ａ）画像を撮像するために車両上に設置される近赤外線カメラと、
ｂ）運転者の目の覚醒状態を特定し、追跡するために、リアルタイムで撮像画像を分析するプロセッサと、を備える
ことを特徴とするシステム。
【請求項１０】
衝突を回避するために、検知した目の覚醒状態を用いて、運転者に警告するための警報手段を備える
請求項９に記載のシステム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図３Ｆ】
【図４Ａ】
【図４Ｂ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図３Ｆ】
【図４Ａ】
【図４Ｂ】
【公表番号】特表２０１３−５１３１５５（Ｐ２０１３−５１３１５５Ａ）
【公表日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−５４１６２８（Ｐ２０１２−５４１６２８）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【国際出願番号】ＰＣＴ／ＩＮ２０１０／０００７８１
【国際公開番号】ＷＯ２０１１／０６７７８８
【国際公開日】平成２３年６月９日（２０１１．６．９）
【出願人】（５１０３３７６２１）タタ コンサルタンシー サービシズ リミテッド (9)
【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．
【Ｆターム（参考）】
【公表日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【国際出願番号】ＰＣＴ／ＩＮ２０１０／０００７８１
【国際公開番号】ＷＯ２０１１／０６７７８８
【国際公開日】平成２３年６月９日（２０１１．６．９）
【出願人】（５１０３３７６２１）タタ コンサルタンシー サービシズ リミテッド (9)
【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．
【Ｆターム（参考）】
[ Back to top ]