閉瞼を分類するための方法
【課題】乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させる
【解決手段】画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するステップと、前記生理学的データに基づいて、少なくとも操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうステップと、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップと、閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するステップと、を包含する。
【解決手段】画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するステップと、前記生理学的データに基づいて、少なくとも操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうステップと、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップと、閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するステップと、を包含する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、乗り物に実装される自動眠気検出のための方法に関する改善に関し、より詳細に述べれば、たとえば眠気検出のための方法の信頼性を向上させるための閉瞼を分類するための方法および対応するシステムに関する。
【背景技術】
【０００２】
交通事故は、しばしば、たとえば眠気によって引き起こされる運転者の障害に起因して発生する。運転者の障害によって引き起こされる事故を防止するためには、運転者に警告メッセージを提供して周囲の交通状況に対する運転者の注意を回復すること、または、決定的な状況においては、運転者に対して休憩を取るかもしくは別の運転者と乗り物の運転を交替するように勧告することが極めて重要なこととなり得る。
【０００３】
近年は、監視センサ、たとえばカメラまたはその類を用いた運転者の閉瞼の検出に基づく眠気検出アルゴリズムの開発も大きく進歩している。これらのアルゴリズムは、監視センサの使用によって運転者の顔および目を検出する画像入力ユニット内において使用することができる。これにより、運転者の凝視方向、たとえば乗り物の運転者が現在注目している方向を検出することが可能になる。
【０００４】
画像入力ユニットを有するシステムの例は、特許文献１の中に見付けることができる。特許文献１の画像入力ユニットは、運転者の顔エリアを含む画像を入力してその運転者の凝視または顔の方向を明細に述べる。このシステムは、運転者の凝視または顔の方向を決定するために、受信した画像入力に基づいて入力パターンを生成する。それに加えて、複数のストア済みの目標、すなわち過去に運転者が注目した乗り物の内側および外側の位置を包含する辞書のパターンが提供される。目標は、たとえば、サイドミラー、バックミラー、インフォテインメント・システム等とすることができる。さらにまた、システムによって生成される入力パターンが、運転者の現在の凝視または顔の方向を決定するために、ストア済みの目標と比較される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００３／０３９，３８７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、運転者の目を検出するためのシステムがさらにこれまで以上に精巧なものとなっているとしても、それらは、運転者の開瞼サイズを減じさせるか、または特定の方向に目を逸らさせることがある眠気以外のほかの（たとえば、乗り物のコンパートメント内における照明条件の変化に起因する）要因を考慮に入れていない。これは、たとえば直射日光、明滅する光、夜間における対向車のヘッドライト等の外部要因によっても引き起こされることがある。また、運転者が下または側道を見ている場合に、システムがそれを閉瞼として検出することがある。したがって、実際には乗り物の運転者が完全に状況に気付いているときに、眠そうな運転者のために意図された警告メッセージがその運転者に対して提供されるリスクがある。そのことから、運転者に対して警告メッセージが提供される前には、検出された閉瞼の実際の要因（１つまたは複数）の間を区別する方法が提供されると望ましい。
【課題を解決するための手段】
【０００７】
本発明の態様によれば、上に示した事項が少なくとも部分的に、乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるための方法によって満たされ、当該方法は、画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するステップと、生理学的データに基づいて、操作者の閉瞼、目の動き、または頭の動きのうちの少なくとも１つの徴候の識別を行なうステップと、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップと、閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するステップと、を包含する。
【０００８】
本発明は、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうことによって、たとえば識別による閉瞼、目の動き、および／または頭の動きが正しく識別されているか否か、またはたとえば不完全なデータの測定によって生じているか否かを決定するための堅牢かつ信頼性のある方法を提供できるという理解に基づいている。たとえば、画像センサから受信された情報が明滅している目の動きである場合、これは自然法則から見て不可能であり、あらかじめ決定済みの規則のセットとの比較が、受信された情報が不完全な測定データによって生じたものであると決定できる。この不完全は、たとえば、その瞬間において画像センサが操作者の目を捜し出して正確な画像を提供できていないことによって引き起こされることがある。別の例によれば、乗り物の操作者が別の乗り物によって追い越しが行なわれているか否かを調べるために急いで自分の肩越しに振り向いたとき、画像センサが操作者の、たとえば目の追跡を失い、それに代えて閉瞼を誤って識別することがあり得る。あらかじめ決定済みの規則のセットとの比較は、その場合に、識別による閉瞼が実際には運転者が自分の肩越しに振り向いたことによって生じたものであり、正しい閉瞼ではないと決定することができる。これによって比較の結果を、この例の場合にはそれが偽であることから、ふるい落とすことができる。さらに別の例によれば、乗り物の操作者が、たとえば日光または夜間における対向車のヘッドライト（すなわち、外側からコンパートメント内に入る光）によって急に眩惑される場合に、操作者が、たとえば眠気によって引き起こされた閉瞼として画像センサが識別する可能性のある態様で顔を背けるかまたはまぶたを閉じることがある。したがって、あらかじめ決定済みの規則のセットとの比較が、そのときは操作者が明るい光に対して反応しただけであり、したがって操作者は周囲の交通条件に気付いていることがありがちとなるような乗り物内の照明条件であることから、登録された閉瞼をその後ふるい落とすことができる。
【０００９】
以下において用語『生理学的データ』は、たとえば操作者の目、顔、身体をはじめ、凝視方向、閉瞼等を識別する画像ベースのシステムによって識別できるあらゆるタイプのデータとして解釈されるものとする。それに加えて『閉瞼の徴候の識別』という用語は、操作者が瞬きを（すばやく、またはゆっくりと）しているか、または目を閉じていることを画像ベースのシステムが識別することとして解釈されるものとする。さらにまた、操作者コンパートメント内における照明条件は、画像ベースのシステムに対して、たとえば別体の光センサまたは画像ベースのシステム自体によって提供することができる。別体の光センサは、たとえば、赤外線センサ（ＩＲ）、近赤外線センサ（ＮＩＲ）、感光特性を伴うカメラ等とすることができる。
【００１０】
さらにまた、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、生理学的データからなる信頼度表示があらかじめ決定済みのスレッショルドより低くなることを識別するステップと、信頼度レベルがあらかじめ決定済みのスレッショルドより低い場合に生理学的データのエラー分類を提供するステップと、を包含することができる。これによって、多かれ少なかれ自然法則から見て不可能な形で、すなわち画像センサが操作者の目、腕、および／または身体における位置の追跡を失っていることがありがちな態様で生理学的データが振る舞う場合にエラー分類を行なうことが可能である。『自然法則から見て不可能』な振る舞いは、たとえば生理学的データが、頭および／または身体の回転等において不自然に高い周波数を示している場合とすることができる。
【００１１】
さらにまた、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、生理学的データからなる顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きくなることを識別するステップと、顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きい場合に生理学的データのエラー分類を提供するステップと、を包含することができる。たとえば乗り物の操作者の顔がリアビュー・ミラーのうちの１つに向かって指向されて画像センサが閉瞼を識別した場合においては、画像センサが目の追跡を失ったこと、および操作者が交通状況を完全に意識していることがよりありがちであるため、エラー分類を提供することができる。
【００１２】
さらに別の実施態様によれば、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップが、生理学的データからなるまぶたの動き、目の動き、および／または頭の動きと、あらかじめ決定済みのまぶたの動き、目の動き、および／または頭の動きテンプレートの間における整合レベルを見積もるステップと、整合レベルがあらかじめ決定済みのスレッショルドより低い場合に生理学的データのエラー分類を提供するステップと、を包含する。
【００１３】
さらに別の実施態様によれば、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップが、操作者の眠そうでない状態を表わす目、顔、および身体の動きのうちの少なくとも１つを識別するステップと、眠そうでない状態が識別された場合には、生理学的データの非眠気分類を提供するステップと、を包含する。
【００１４】
さらに別の実施態様によれば、操作者コンパートメント内における照明条件と現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップが、操作者に向かう照明レベルおよび操作者コンパートメント内における変化する照明条件のうちの少なくとも１つを識別するステップと、を包含する。
【００１５】
さらに別の実施態様によれば、操作者に向かう照明レベルおよび操作者コンパートメント内における変化する照明条件のうちの少なくとも１つを識別するステップが、画像データのコントラスト・レベル、照明レベル、および／または照明レベルの周波数のうちの少なくとも１つを分析するステップを包含し、当該画像データは、画像センサから、または乗り物の操作者コンパートメント内に配された光センサからの生理学的データを包含する。
【００１６】
本発明の別の態様によれば、乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるためのコントロール・システムであって、コントロール・ユニットを包含するコントロール・デバイスが提供され、当該コントロール・ユニットは、画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成され、生理学的データに基づいて、少なくとも操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成され、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成され、かつ閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するべく構成される。本発明のこの態様は、手前の本発明の態様に関係して上で述べたものと類似する利点を提供する。
【００１７】
注意する必要があるが、好ましくはコントロール・システムを、自動車、バス、またはトラック等の乗り物のための運転者補助システムとする。より完全な考察については、本発明の詳細な説明に関連して後述されている。当然のことながら、そのほかのタイプの乗り物にも可能性があり、本発明の範囲内である。
【００１８】
本発明のさらに別の態様によれば、乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体が提供され、当該コンピュータ・プログラム・プロダクトは、プロセッサによって実行されたときに、画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成されたコードと、生理学的データに基づいて、少なくとも操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成されたコードと、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成されたコードと、閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するべく構成されたコードと、を包含する。本発明のこの態様もまた、手前の本発明の態様に関係して上で述べたものと類似する利点を提供する。
【００１９】
本発明のこのほかの特徴および利点については、付随する特許請求の範囲および以下の説明を考察するときに明らかなものとなるであろう。当業者は認識されるであろうが、本発明の種々の特徴を組み合わせて以下の説明とは別の実施態様を本発明の範囲からの逸脱なしに作り出すことができる。
【００２０】
特定の特徴および利点を含む本発明の多様な態様は、以下の詳細な説明および次に挙げる添付図面から容易に理解されるであろう。
【図面の簡単な説明】
【００２１】
【図１】内部センサが装備される乗り物の内部および操作者によって通常に凝視されることになる乗り物内の複数の位置を図示した図である。
【図２】乗り物の操作者の顔の座標系を図示した図である。
【図３】本発明の現在のところ好ましい実施態様によるコントロール・システムの論理要素を概念的に図示した図である。
【発明を実施するための形態】
【００２２】
以下、本発明の現在のところ好ましい実施態様が示されている添付図面を参照して本発明をより詳細に説明する。しかしながら、本発明は、多くの異なる形で具体化されることを許容し、ここに示されている実施態様に限定されると解釈されるべきでなく、むしろこれらの実施態様は、詳細および完全性のため、および当業者への本発明の範囲の完全な伝達のために提供されている。全体を通じて類似した要素の参照には類似した参照文字を用いる。
【００２３】
以下においては、乗り物の操作者の閉瞼の分類を向上させるための方法を参照して本発明が説明されている。乗り物には、好ましくは乗り物の操作者についての情報を引き出すための内部センサ（１つまたは複数）が装備される。より良好な理解に資するため、ここでは自動車１００として図示されている乗り物の運転席１１４を図示した図１を参照する。自動車１００は、図示されている実施態様においては乗り物の操作者（図示せず）および内部センサを含み、ここではそれがカメラ・システム１０２として図示されている。カメラ・システム１０２は、乗り物の操作の間における乗り物の操作者の挙動を決定するべく配される。さらにまた、カメラ・システム１０２は、操作者の顔、腕、および身体のあらかじめ決定済みの数の位置に焦点を合わせるべく配することができる。これらの位置は、たとえば、目、まぶた、眉、鼻、口、頬等々とすることができる。カメラ・システム１０２は、その自動車１００を通常操作する特定の操作者のためにあらかじめ較正すること、または自動車１００の運転席に操作者が入る都度較正することができる。カメラ・システム１０２が操作者の顔の種々の位置を検出することから、顔の挙動の見積もりが可能になる。したがって、カメラ・システム１０２は、たとえば頭および目の方向、頭の姿勢、目のサッケード、頭‐目のサッケード、閉瞼、および閉瞼の速度、腕の動き、身体の動き等々を検出することができる。またカメラ・システム１０２は、図２に図示されているが、操作者の顔２０４に関連して座標系２０２を使用することによって、操作者の頭が右または左に回転（ヨー）２０５しているか否か、上または下に回転（ピッチ）２０６しているか否か、あるいは右または左の肩に向かって傾斜（ロール）２０７しているか否かを検出することもできる。顔２０４の座標系２０２は、好ましくは極座標系とし、それの原点が操作者の目の間に位置決めされる。
【００２４】
さらにまたこの自動車は、説明中の実施態様においては車内のリアビュー・ミラー１０６の背後、すなわち自動車１００の進行方向側に配置される内部光センサ１０４も包含している。内部光センサ１００の正確な位置は、当然のことながら乗り物のタイプおよびそれの特定の内部設計に依存することができる。言い換えると、たとえばトラックにおいては、車内のリアビュー・ミラーが存在しないことがあり、したがって内部光センサが別の適切な位置に配置されなければならない。
【００２５】
内部光センサ１０４は、乗り物の操作者の反応を生じさせることがある明るい日光、または夜間における対向車のヘッドライトからの光等の操作者コンパートメントに到来する光を検出するべく配されている。さらにまた、乗り物のコンパートメント内には、乗り物の操作者が通常ベースで注意を払う多くの位置が存在する。それらは、たとえば、外部のリアビュー・ミラー１０８、インフォテインメント・システム１１０、速度表示器１１２、運転者の隣にいる搭乗者、ギア・シフト・レバー等々である。
【００２６】
ここで、本発明による方法を提供するためのシステム３００の例示的な実施態様を図示している図３を参照する。システム３００は、カメラ・システム１０２から情報を受信する画像センサ３０２、内部光センサ３０４、閉瞼識別モジュール３０６、比較演算モジュール３０８、および眠気検出モジュール３１０を包含する。しかしながら、閉瞼識別モジュール３０６および比較演算モジュール３０８を１つの同じモジュールとすることは可能であり、図示目的だけのために互いに分けられていることに注意が必要である。それに加えて画像センサ３０２が、乗り物の操作者の生理学的データを受信し、閉瞼識別モジュール３０６および比較演算モジュール３０８に対して情報を提供する。比較演算モジュールはまた、たとえば操作者の目、腕、および身体の動きに関する情報を画像センサ３０２から受信する。さらにまた内部光センサ３０４が、たとえば明るい日光および夜間における対向車からのヘッドライト等の、操作コンパートメント１１４内の照明条件に関する情報を取り込む。また内部光センサ３０４は、取り込んだ照明条件を比較演算モジュール３０８に提供する。
【００２７】
それに加えて、比較演算モジュール３０８が操作コンパートメント１１４内の照明条件に関する情報をはじめ、操作者の目、腕、および身体の動きに関する生理学的データを受信すると、比較演算モジュール３０８は、操作者の現在の状態を評価するために、あらかじめ決定済みの規則のセットに関してそれらの情報の比較を行なう。その後、眠気検出モジュール３１０が、検出された閉瞼を閉瞼識別モジュール３０６から受信し、検出された閉瞼の実際の原因（１つまたは複数）に関する分類を比較演算モジュール３０８から受信する。一例によれば、上で述べた操作コンパートメント１１４内の複数の位置のうちの１つに対して乗り物の操作者が現在注意を払っていることを識別による凝視方向および／または顔の方向に基づいてシステムが決定できるように、あらかじめ決定済みの規則のセットがそれらの位置を含むことができる。たとえば、システムが、操作者の閉瞼を識別し、同時に操作者の顔が左側のリアビュー・ミラー１０８に向けて指向されていることを識別した場合には、操作者が状況を完全に意識していることの方がよりありがちであり、かつまぶたの検出が、操作者の頭の回転に起因して発生し、それを画像センサが正しく追随できなかったとすることがもっとも確からしいことから、システムは、識別による閉瞼のエラー分類を提供することができる。さらにまた、あらかじめ決定済みの規則のセットは、自然法則から見て発生が可能であるか、または不可能である特定のパターンを含むこともできる。たとえば、画像センサが、操作者の目がありそうにない態様で不規則に上下または左右に動いていることを検出した場合には、あらかじめ決定済みの規則が、検出された目の挙動をエラーとして分類することができる。
【００２８】
さらに別の例によれば、内部光センサ３０４が乗り物の操作者に向けられた明るい光を検出し、同時に画像センサ３０２が操作者の閉瞼を検出した場合には、光の眩惑を補償するべく乗り物の操作者が目を細めたことが実際の原因となっていることがよりありがちであるため、比較演算モジュール３０６は、その閉瞼のエラー分類を提供することができる。注意する必要があるが、画像センサ３０２からのデータは、画像センサ３０２が、たとえば照明条件の変化に起因してそれの較正を失うことがあるため、短期間（たとえば数秒）だけでなく長時間（たとえば数分）にわたって影響を受けることがある。
【００２９】
以上、特定の例示的な実施態様を参照して本発明の説明を行なってはいるが、多くの異なる変更、修正、およびその類が当業者には明らかなものとなるであろう。開示されている実施態様に対する変形が理解され、かつそれがもたらされることは、請求されている本発明の実施において、図面、開示、および付随する特許請求の範囲の考察から当業者によって可能である。たとえば、主として本発明は、いくつかの実施態様を参照して以上のとおり説明されてきた。しかしながら当業者によって容易に認識されるとおり、付随する特許請求の範囲によって定義されるとおりの本発明の範囲内において、上で述べた開示以外の実施態様についても等しく可能性を有する。たとえば、本発明は、上で説明した自動車のほか、トラック、バス、ダンプカー、ホイール・ローダ、およびそのほかのタイプの乗り物にも適用可能である。
【００３０】
特許請求の範囲において、用語『包含』は、そのほかの要素またはステップを排除せず、また複数であると明示していないことは、複数であることを排除しない。単一のコンピュータまたはそのほかのユニットが、特許請求の範囲の中に列挙されているいくつかの項目の機能を満たすことはあり得る。相互に異なる従属請求項の中で特定の手段が列挙されているという単なる事実は、それらの手段の組み合わせが都合よく使用できないことを示していない。
【符号の説明】
【００３１】
１００ 乗り物、自動車
１０２ カメラ・システム
１０４ 内部光センサ
１０６ リアビュー・ミラー
１０８ リアビュー・ミラー
１１０ インフォテインメント・システム
１１２ 速度表示器
１１４ 操作者コンパートメント、運転席
２０２ 操作者、座標系
２０４ 操作者の顔
２０５ ヨー
２０６ ピッチ
２０７ ロール
３００ コントロール・システム、システム
３０２ 画像センサ
３０４ 内部光センサ
３０６ 閉瞼識別モジュール
３０８ 比較演算モジュール
３１０ 眠気検出モジュール
【技術分野】
【０００１】
本発明は、たとえば、乗り物に実装される自動眠気検出のための方法に関する改善に関し、より詳細に述べれば、たとえば眠気検出のための方法の信頼性を向上させるための閉瞼を分類するための方法および対応するシステムに関する。
【背景技術】
【０００２】
交通事故は、しばしば、たとえば眠気によって引き起こされる運転者の障害に起因して発生する。運転者の障害によって引き起こされる事故を防止するためには、運転者に警告メッセージを提供して周囲の交通状況に対する運転者の注意を回復すること、または、決定的な状況においては、運転者に対して休憩を取るかもしくは別の運転者と乗り物の運転を交替するように勧告することが極めて重要なこととなり得る。
【０００３】
近年は、監視センサ、たとえばカメラまたはその類を用いた運転者の閉瞼の検出に基づく眠気検出アルゴリズムの開発も大きく進歩している。これらのアルゴリズムは、監視センサの使用によって運転者の顔および目を検出する画像入力ユニット内において使用することができる。これにより、運転者の凝視方向、たとえば乗り物の運転者が現在注目している方向を検出することが可能になる。
【０００４】
画像入力ユニットを有するシステムの例は、特許文献１の中に見付けることができる。特許文献１の画像入力ユニットは、運転者の顔エリアを含む画像を入力してその運転者の凝視または顔の方向を明細に述べる。このシステムは、運転者の凝視または顔の方向を決定するために、受信した画像入力に基づいて入力パターンを生成する。それに加えて、複数のストア済みの目標、すなわち過去に運転者が注目した乗り物の内側および外側の位置を包含する辞書のパターンが提供される。目標は、たとえば、サイドミラー、バックミラー、インフォテインメント・システム等とすることができる。さらにまた、システムによって生成される入力パターンが、運転者の現在の凝視または顔の方向を決定するために、ストア済みの目標と比較される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００３／０３９，３８７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、運転者の目を検出するためのシステムがさらにこれまで以上に精巧なものとなっているとしても、それらは、運転者の開瞼サイズを減じさせるか、または特定の方向に目を逸らさせることがある眠気以外のほかの（たとえば、乗り物のコンパートメント内における照明条件の変化に起因する）要因を考慮に入れていない。これは、たとえば直射日光、明滅する光、夜間における対向車のヘッドライト等の外部要因によっても引き起こされることがある。また、運転者が下または側道を見ている場合に、システムがそれを閉瞼として検出することがある。したがって、実際には乗り物の運転者が完全に状況に気付いているときに、眠そうな運転者のために意図された警告メッセージがその運転者に対して提供されるリスクがある。そのことから、運転者に対して警告メッセージが提供される前には、検出された閉瞼の実際の要因（１つまたは複数）の間を区別する方法が提供されると望ましい。
【課題を解決するための手段】
【０００７】
本発明の態様によれば、上に示した事項が少なくとも部分的に、乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるための方法によって満たされ、当該方法は、画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するステップと、生理学的データに基づいて、操作者の閉瞼、目の動き、または頭の動きのうちの少なくとも１つの徴候の識別を行なうステップと、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップと、閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するステップと、を包含する。
【０００８】
本発明は、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうことによって、たとえば識別による閉瞼、目の動き、および／または頭の動きが正しく識別されているか否か、またはたとえば不完全なデータの測定によって生じているか否かを決定するための堅牢かつ信頼性のある方法を提供できるという理解に基づいている。たとえば、画像センサから受信された情報が明滅している目の動きである場合、これは自然法則から見て不可能であり、あらかじめ決定済みの規則のセットとの比較が、受信された情報が不完全な測定データによって生じたものであると決定できる。この不完全は、たとえば、その瞬間において画像センサが操作者の目を捜し出して正確な画像を提供できていないことによって引き起こされることがある。別の例によれば、乗り物の操作者が別の乗り物によって追い越しが行なわれているか否かを調べるために急いで自分の肩越しに振り向いたとき、画像センサが操作者の、たとえば目の追跡を失い、それに代えて閉瞼を誤って識別することがあり得る。あらかじめ決定済みの規則のセットとの比較は、その場合に、識別による閉瞼が実際には運転者が自分の肩越しに振り向いたことによって生じたものであり、正しい閉瞼ではないと決定することができる。これによって比較の結果を、この例の場合にはそれが偽であることから、ふるい落とすことができる。さらに別の例によれば、乗り物の操作者が、たとえば日光または夜間における対向車のヘッドライト（すなわち、外側からコンパートメント内に入る光）によって急に眩惑される場合に、操作者が、たとえば眠気によって引き起こされた閉瞼として画像センサが識別する可能性のある態様で顔を背けるかまたはまぶたを閉じることがある。したがって、あらかじめ決定済みの規則のセットとの比較が、そのときは操作者が明るい光に対して反応しただけであり、したがって操作者は周囲の交通条件に気付いていることがありがちとなるような乗り物内の照明条件であることから、登録された閉瞼をその後ふるい落とすことができる。
【０００９】
以下において用語『生理学的データ』は、たとえば操作者の目、顔、身体をはじめ、凝視方向、閉瞼等を識別する画像ベースのシステムによって識別できるあらゆるタイプのデータとして解釈されるものとする。それに加えて『閉瞼の徴候の識別』という用語は、操作者が瞬きを（すばやく、またはゆっくりと）しているか、または目を閉じていることを画像ベースのシステムが識別することとして解釈されるものとする。さらにまた、操作者コンパートメント内における照明条件は、画像ベースのシステムに対して、たとえば別体の光センサまたは画像ベースのシステム自体によって提供することができる。別体の光センサは、たとえば、赤外線センサ（ＩＲ）、近赤外線センサ（ＮＩＲ）、感光特性を伴うカメラ等とすることができる。
【００１０】
さらにまた、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、生理学的データからなる信頼度表示があらかじめ決定済みのスレッショルドより低くなることを識別するステップと、信頼度レベルがあらかじめ決定済みのスレッショルドより低い場合に生理学的データのエラー分類を提供するステップと、を包含することができる。これによって、多かれ少なかれ自然法則から見て不可能な形で、すなわち画像センサが操作者の目、腕、および／または身体における位置の追跡を失っていることがありがちな態様で生理学的データが振る舞う場合にエラー分類を行なうことが可能である。『自然法則から見て不可能』な振る舞いは、たとえば生理学的データが、頭および／または身体の回転等において不自然に高い周波数を示している場合とすることができる。
【００１１】
さらにまた、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、生理学的データからなる顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きくなることを識別するステップと、顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きい場合に生理学的データのエラー分類を提供するステップと、を包含することができる。たとえば乗り物の操作者の顔がリアビュー・ミラーのうちの１つに向かって指向されて画像センサが閉瞼を識別した場合においては、画像センサが目の追跡を失ったこと、および操作者が交通状況を完全に意識していることがよりありがちであるため、エラー分類を提供することができる。
【００１２】
さらに別の実施態様によれば、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップが、生理学的データからなるまぶたの動き、目の動き、および／または頭の動きと、あらかじめ決定済みのまぶたの動き、目の動き、および／または頭の動きテンプレートの間における整合レベルを見積もるステップと、整合レベルがあらかじめ決定済みのスレッショルドより低い場合に生理学的データのエラー分類を提供するステップと、を包含する。
【００１３】
さらに別の実施態様によれば、生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップが、操作者の眠そうでない状態を表わす目、顔、および身体の動きのうちの少なくとも１つを識別するステップと、眠そうでない状態が識別された場合には、生理学的データの非眠気分類を提供するステップと、を包含する。
【００１４】
さらに別の実施態様によれば、操作者コンパートメント内における照明条件と現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップが、操作者に向かう照明レベルおよび操作者コンパートメント内における変化する照明条件のうちの少なくとも１つを識別するステップと、を包含する。
【００１５】
さらに別の実施態様によれば、操作者に向かう照明レベルおよび操作者コンパートメント内における変化する照明条件のうちの少なくとも１つを識別するステップが、画像データのコントラスト・レベル、照明レベル、および／または照明レベルの周波数のうちの少なくとも１つを分析するステップを包含し、当該画像データは、画像センサから、または乗り物の操作者コンパートメント内に配された光センサからの生理学的データを包含する。
【００１６】
本発明の別の態様によれば、乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるためのコントロール・システムであって、コントロール・ユニットを包含するコントロール・デバイスが提供され、当該コントロール・ユニットは、画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成され、生理学的データに基づいて、少なくとも操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成され、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成され、かつ閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するべく構成される。本発明のこの態様は、手前の本発明の態様に関係して上で述べたものと類似する利点を提供する。
【００１７】
注意する必要があるが、好ましくはコントロール・システムを、自動車、バス、またはトラック等の乗り物のための運転者補助システムとする。より完全な考察については、本発明の詳細な説明に関連して後述されている。当然のことながら、そのほかのタイプの乗り物にも可能性があり、本発明の範囲内である。
【００１８】
本発明のさらに別の態様によれば、乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体が提供され、当該コンピュータ・プログラム・プロダクトは、プロセッサによって実行されたときに、画像センサから、操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成されたコードと、生理学的データに基づいて、少なくとも操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成されたコードと、生理学的データおよび操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成されたコードと、閉瞼、目の動き、および／または頭の動きのタイプを、識別による閉瞼、目の動き、および／または頭の動きと比較の結果を相関させることによって分類するべく構成されたコードと、を包含する。本発明のこの態様もまた、手前の本発明の態様に関係して上で述べたものと類似する利点を提供する。
【００１９】
本発明のこのほかの特徴および利点については、付随する特許請求の範囲および以下の説明を考察するときに明らかなものとなるであろう。当業者は認識されるであろうが、本発明の種々の特徴を組み合わせて以下の説明とは別の実施態様を本発明の範囲からの逸脱なしに作り出すことができる。
【００２０】
特定の特徴および利点を含む本発明の多様な態様は、以下の詳細な説明および次に挙げる添付図面から容易に理解されるであろう。
【図面の簡単な説明】
【００２１】
【図１】内部センサが装備される乗り物の内部および操作者によって通常に凝視されることになる乗り物内の複数の位置を図示した図である。
【図２】乗り物の操作者の顔の座標系を図示した図である。
【図３】本発明の現在のところ好ましい実施態様によるコントロール・システムの論理要素を概念的に図示した図である。
【発明を実施するための形態】
【００２２】
以下、本発明の現在のところ好ましい実施態様が示されている添付図面を参照して本発明をより詳細に説明する。しかしながら、本発明は、多くの異なる形で具体化されることを許容し、ここに示されている実施態様に限定されると解釈されるべきでなく、むしろこれらの実施態様は、詳細および完全性のため、および当業者への本発明の範囲の完全な伝達のために提供されている。全体を通じて類似した要素の参照には類似した参照文字を用いる。
【００２３】
以下においては、乗り物の操作者の閉瞼の分類を向上させるための方法を参照して本発明が説明されている。乗り物には、好ましくは乗り物の操作者についての情報を引き出すための内部センサ（１つまたは複数）が装備される。より良好な理解に資するため、ここでは自動車１００として図示されている乗り物の運転席１１４を図示した図１を参照する。自動車１００は、図示されている実施態様においては乗り物の操作者（図示せず）および内部センサを含み、ここではそれがカメラ・システム１０２として図示されている。カメラ・システム１０２は、乗り物の操作の間における乗り物の操作者の挙動を決定するべく配される。さらにまた、カメラ・システム１０２は、操作者の顔、腕、および身体のあらかじめ決定済みの数の位置に焦点を合わせるべく配することができる。これらの位置は、たとえば、目、まぶた、眉、鼻、口、頬等々とすることができる。カメラ・システム１０２は、その自動車１００を通常操作する特定の操作者のためにあらかじめ較正すること、または自動車１００の運転席に操作者が入る都度較正することができる。カメラ・システム１０２が操作者の顔の種々の位置を検出することから、顔の挙動の見積もりが可能になる。したがって、カメラ・システム１０２は、たとえば頭および目の方向、頭の姿勢、目のサッケード、頭‐目のサッケード、閉瞼、および閉瞼の速度、腕の動き、身体の動き等々を検出することができる。またカメラ・システム１０２は、図２に図示されているが、操作者の顔２０４に関連して座標系２０２を使用することによって、操作者の頭が右または左に回転（ヨー）２０５しているか否か、上または下に回転（ピッチ）２０６しているか否か、あるいは右または左の肩に向かって傾斜（ロール）２０７しているか否かを検出することもできる。顔２０４の座標系２０２は、好ましくは極座標系とし、それの原点が操作者の目の間に位置決めされる。
【００２４】
さらにまたこの自動車は、説明中の実施態様においては車内のリアビュー・ミラー１０６の背後、すなわち自動車１００の進行方向側に配置される内部光センサ１０４も包含している。内部光センサ１００の正確な位置は、当然のことながら乗り物のタイプおよびそれの特定の内部設計に依存することができる。言い換えると、たとえばトラックにおいては、車内のリアビュー・ミラーが存在しないことがあり、したがって内部光センサが別の適切な位置に配置されなければならない。
【００２５】
内部光センサ１０４は、乗り物の操作者の反応を生じさせることがある明るい日光、または夜間における対向車のヘッドライトからの光等の操作者コンパートメントに到来する光を検出するべく配されている。さらにまた、乗り物のコンパートメント内には、乗り物の操作者が通常ベースで注意を払う多くの位置が存在する。それらは、たとえば、外部のリアビュー・ミラー１０８、インフォテインメント・システム１１０、速度表示器１１２、運転者の隣にいる搭乗者、ギア・シフト・レバー等々である。
【００２６】
ここで、本発明による方法を提供するためのシステム３００の例示的な実施態様を図示している図３を参照する。システム３００は、カメラ・システム１０２から情報を受信する画像センサ３０２、内部光センサ３０４、閉瞼識別モジュール３０６、比較演算モジュール３０８、および眠気検出モジュール３１０を包含する。しかしながら、閉瞼識別モジュール３０６および比較演算モジュール３０８を１つの同じモジュールとすることは可能であり、図示目的だけのために互いに分けられていることに注意が必要である。それに加えて画像センサ３０２が、乗り物の操作者の生理学的データを受信し、閉瞼識別モジュール３０６および比較演算モジュール３０８に対して情報を提供する。比較演算モジュールはまた、たとえば操作者の目、腕、および身体の動きに関する情報を画像センサ３０２から受信する。さらにまた内部光センサ３０４が、たとえば明るい日光および夜間における対向車からのヘッドライト等の、操作コンパートメント１１４内の照明条件に関する情報を取り込む。また内部光センサ３０４は、取り込んだ照明条件を比較演算モジュール３０８に提供する。
【００２７】
それに加えて、比較演算モジュール３０８が操作コンパートメント１１４内の照明条件に関する情報をはじめ、操作者の目、腕、および身体の動きに関する生理学的データを受信すると、比較演算モジュール３０８は、操作者の現在の状態を評価するために、あらかじめ決定済みの規則のセットに関してそれらの情報の比較を行なう。その後、眠気検出モジュール３１０が、検出された閉瞼を閉瞼識別モジュール３０６から受信し、検出された閉瞼の実際の原因（１つまたは複数）に関する分類を比較演算モジュール３０８から受信する。一例によれば、上で述べた操作コンパートメント１１４内の複数の位置のうちの１つに対して乗り物の操作者が現在注意を払っていることを識別による凝視方向および／または顔の方向に基づいてシステムが決定できるように、あらかじめ決定済みの規則のセットがそれらの位置を含むことができる。たとえば、システムが、操作者の閉瞼を識別し、同時に操作者の顔が左側のリアビュー・ミラー１０８に向けて指向されていることを識別した場合には、操作者が状況を完全に意識していることの方がよりありがちであり、かつまぶたの検出が、操作者の頭の回転に起因して発生し、それを画像センサが正しく追随できなかったとすることがもっとも確からしいことから、システムは、識別による閉瞼のエラー分類を提供することができる。さらにまた、あらかじめ決定済みの規則のセットは、自然法則から見て発生が可能であるか、または不可能である特定のパターンを含むこともできる。たとえば、画像センサが、操作者の目がありそうにない態様で不規則に上下または左右に動いていることを検出した場合には、あらかじめ決定済みの規則が、検出された目の挙動をエラーとして分類することができる。
【００２８】
さらに別の例によれば、内部光センサ３０４が乗り物の操作者に向けられた明るい光を検出し、同時に画像センサ３０２が操作者の閉瞼を検出した場合には、光の眩惑を補償するべく乗り物の操作者が目を細めたことが実際の原因となっていることがよりありがちであるため、比較演算モジュール３０６は、その閉瞼のエラー分類を提供することができる。注意する必要があるが、画像センサ３０２からのデータは、画像センサ３０２が、たとえば照明条件の変化に起因してそれの較正を失うことがあるため、短期間（たとえば数秒）だけでなく長時間（たとえば数分）にわたって影響を受けることがある。
【００２９】
以上、特定の例示的な実施態様を参照して本発明の説明を行なってはいるが、多くの異なる変更、修正、およびその類が当業者には明らかなものとなるであろう。開示されている実施態様に対する変形が理解され、かつそれがもたらされることは、請求されている本発明の実施において、図面、開示、および付随する特許請求の範囲の考察から当業者によって可能である。たとえば、主として本発明は、いくつかの実施態様を参照して以上のとおり説明されてきた。しかしながら当業者によって容易に認識されるとおり、付随する特許請求の範囲によって定義されるとおりの本発明の範囲内において、上で述べた開示以外の実施態様についても等しく可能性を有する。たとえば、本発明は、上で説明した自動車のほか、トラック、バス、ダンプカー、ホイール・ローダ、およびそのほかのタイプの乗り物にも適用可能である。
【００３０】
特許請求の範囲において、用語『包含』は、そのほかの要素またはステップを排除せず、また複数であると明示していないことは、複数であることを排除しない。単一のコンピュータまたはそのほかのユニットが、特許請求の範囲の中に列挙されているいくつかの項目の機能を満たすことはあり得る。相互に異なる従属請求項の中で特定の手段が列挙されているという単なる事実は、それらの手段の組み合わせが都合よく使用できないことを示していない。
【符号の説明】
【００３１】
１００ 乗り物、自動車
１０２ カメラ・システム
１０４ 内部光センサ
１０６ リアビュー・ミラー
１０８ リアビュー・ミラー
１１０ インフォテインメント・システム
１１２ 速度表示器
１１４ 操作者コンパートメント、運転席
２０２ 操作者、座標系
２０４ 操作者の顔
２０５ ヨー
２０６ ピッチ
２０７ ロール
３００ コントロール・システム、システム
３０２ 画像センサ
３０４ 内部光センサ
３０６ 閉瞼識別モジュール
３０８ 比較演算モジュール
３１０ 眠気検出モジュール
【特許請求の範囲】
【請求項１】
乗り物（１００）の操作者コンパートメント（１１４）内に位置決めされた操作者（２０２）を監視する画像センサ（３０２）からの生理学的データの部分の信頼性を向上させるための方法であって、
− 前記画像センサ（３０２）から、前記操作者（２０２）の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するステップと、
− 前記生理学的データに基づいて、少なくとも前記操作者（２０２）の閉瞼、目の動き、または頭の動きの徴候の識別を行なうステップと、
− 前記生理学的データおよび前記操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップと、
− 閉瞼、目の動き、および／または頭の動きのタイプを、前記識別による閉瞼、目の動き、および／または頭の動きと前記比較の結果を相関させることによって分類するステップと、
を包含する方法。
【請求項２】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記生理学的データからなる信頼度表示があらかじめ決定済みのスレッショルドより低くなることを識別するステップと、前記信頼度レベルが前記あらかじめ決定済みのスレッショルドより低い場合に前記生理学的データのエラー分類を提供するステップと、を包含する、請求項１に記載の方法。
【請求項３】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記生理学的データからなる前記顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きくなることを識別するステップと、前記顔の位置および／または方向における変化が前記あらかじめ決定済みのスレッショルドより大きい場合に前記生理学的データのエラー分類を提供するステップと、を包含する、請求項１または２に記載の方法。
【請求項４】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記生理学的データからなるまぶたの動き、目の動き、および／または頭の動きと、あらかじめ決定済みのまぶたの動き、目の動き、および／または頭の動きテンプレートの間における整合レベルを見積もるステップと、前記整合レベルがあらかじめ決定済みのスレッショルドより低い場合に前記生理学的データのエラー分類を提供するステップと、を包含する、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記操作者（２０２）の眠そうでない状態を表わす目、顔、および身体の動きのうちの少なくとも１つを識別するステップと、眠そうでない状態が識別された場合には、前記生理学的データの非眠気分類を提供するステップと、を包含する、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記操作者コンパートメント（１１４）内における前記照明条件と前記現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記操作者に向かう照明レベルおよび前記操作者コンパートメント（１１４）内における変化する照明条件のうちの少なくとも１つを識別するステップと、を包含する、請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記操作者に向かう前記照明レベルおよび前記操作者コンパートメント内における前記変化する照明条件のうちの少なくとも１つを識別するステップは、画像データのコントラスト・レベル、照明レベル、および／または照明レベルの周波数のうちの少なくとも１つを分析するステップを包含し、前記画像データが、
− 前記画像センサ（３０２）から、または
− 前記乗り物（１００）の前記操作者コンパートメント（１１４）内に配された光センサ（３０４）からの前記生理学的データ、
を包含する、請求項６に記載の方法。
【請求項８】
乗り物（１００）の操作者コンパートメント（１１４）内に位置決めされた操作者（２０２）を監視する画像センサ（３０２）からの生理学的データの部分の信頼性を向上させるためのコントロール・システム（３００）であって、前記コントロール・デバイスはコントロール・ユニットを包含し、前記コントロール・ユニットが、
− 前記画像センサ（３０２）から、前記操作者（２０２）の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成され、
− 前記生理学的データに基づいて、少なくとも前記操作者（２０２）の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成され、
− 前記生理学的データおよび前記操作者コンパートメント（１１４）内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成され、かつ
− 閉瞼、目の動き、および／または頭の動きのタイプを、前記識別による閉瞼、目の動き、および／または頭の動きと前記比較の結果を相関させることによって分類するべく構成される、
コントロール・システム（３００）。
【請求項９】
前記コントロール・ユニットは、さらに、前記生理学的データと前記現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうとき、前記生理学的データからなる信頼度表示があらかじめ決定済みのスレッショルドより低くなることを識別するべく構成され、かつ前記信頼度レベルが前記あらかじめ決定済みのスレッショルドより低い場合に前記生理学的データのエラー分類を提供するべく構成される、請求項８に記載のコントロール・システム（３００）。
【請求項１０】
前記コントロール・ユニットは、さらに、前記生理学的データと前記現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうとき、前記生理学的データからなる前記顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きくなることを識別するべく構成され、かつ前記顔の位置および／または方向における変化が前記あらかじめ決定済みのスレッショルドより大きい場合に前記生理学的データのエラー分類を提供するべく構成される、請求項８または９に記載のコントロール・システム（３００）。
【請求項１１】
前記コントロール・システム（３００）は、乗り物のための運転者補助システムである、請求項８乃至１０のいずれか一項に記載のコントロール・システム（３００）。
【請求項１２】
乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体であって、前記コンピュータ・プログラム・プロダクトが、プロセッサによって実行されたときに、
− 前記画像センサから、前記操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成されたコードと、
− 前記生理学的データに基づいて、少なくとも前記操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成されたコードと、
− 前記生理学的データおよび前記操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成されたコードと、
− 閉瞼、目の動き、および／または頭の動きのタイプを、前記識別による閉瞼、目の動き、および／または頭の動きと前記比較の結果を相関させることによって分類するべく構成されたコードと、
を包含する、コンピュータ可読媒体。
【請求項１】
乗り物（１００）の操作者コンパートメント（１１４）内に位置決めされた操作者（２０２）を監視する画像センサ（３０２）からの生理学的データの部分の信頼性を向上させるための方法であって、
− 前記画像センサ（３０２）から、前記操作者（２０２）の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するステップと、
− 前記生理学的データに基づいて、少なくとも前記操作者（２０２）の閉瞼、目の動き、または頭の動きの徴候の識別を行なうステップと、
− 前記生理学的データおよび前記操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップと、
− 閉瞼、目の動き、および／または頭の動きのタイプを、前記識別による閉瞼、目の動き、および／または頭の動きと前記比較の結果を相関させることによって分類するステップと、
を包含する方法。
【請求項２】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記生理学的データからなる信頼度表示があらかじめ決定済みのスレッショルドより低くなることを識別するステップと、前記信頼度レベルが前記あらかじめ決定済みのスレッショルドより低い場合に前記生理学的データのエラー分類を提供するステップと、を包含する、請求項１に記載の方法。
【請求項３】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記生理学的データからなる前記顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きくなることを識別するステップと、前記顔の位置および／または方向における変化が前記あらかじめ決定済みのスレッショルドより大きい場合に前記生理学的データのエラー分類を提供するステップと、を包含する、請求項１または２に記載の方法。
【請求項４】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記生理学的データからなるまぶたの動き、目の動き、および／または頭の動きと、あらかじめ決定済みのまぶたの動き、目の動き、および／または頭の動きテンプレートの間における整合レベルを見積もるステップと、前記整合レベルがあらかじめ決定済みのスレッショルドより低い場合に前記生理学的データのエラー分類を提供するステップと、を包含する、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記生理学的データと現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記操作者（２０２）の眠そうでない状態を表わす目、顔、および身体の動きのうちの少なくとも１つを識別するステップと、眠そうでない状態が識別された場合には、前記生理学的データの非眠気分類を提供するステップと、を包含する、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記操作者コンパートメント（１１４）内における前記照明条件と前記現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうステップは、前記操作者に向かう照明レベルおよび前記操作者コンパートメント（１１４）内における変化する照明条件のうちの少なくとも１つを識別するステップと、を包含する、請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記操作者に向かう前記照明レベルおよび前記操作者コンパートメント内における前記変化する照明条件のうちの少なくとも１つを識別するステップは、画像データのコントラスト・レベル、照明レベル、および／または照明レベルの周波数のうちの少なくとも１つを分析するステップを包含し、前記画像データが、
− 前記画像センサ（３０２）から、または
− 前記乗り物（１００）の前記操作者コンパートメント（１１４）内に配された光センサ（３０４）からの前記生理学的データ、
を包含する、請求項６に記載の方法。
【請求項８】
乗り物（１００）の操作者コンパートメント（１１４）内に位置決めされた操作者（２０２）を監視する画像センサ（３０２）からの生理学的データの部分の信頼性を向上させるためのコントロール・システム（３００）であって、前記コントロール・デバイスはコントロール・ユニットを包含し、前記コントロール・ユニットが、
− 前記画像センサ（３０２）から、前記操作者（２０２）の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成され、
− 前記生理学的データに基づいて、少なくとも前記操作者（２０２）の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成され、
− 前記生理学的データおよび前記操作者コンパートメント（１１４）内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成され、かつ
− 閉瞼、目の動き、および／または頭の動きのタイプを、前記識別による閉瞼、目の動き、および／または頭の動きと前記比較の結果を相関させることによって分類するべく構成される、
コントロール・システム（３００）。
【請求項９】
前記コントロール・ユニットは、さらに、前記生理学的データと前記現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうとき、前記生理学的データからなる信頼度表示があらかじめ決定済みのスレッショルドより低くなることを識別するべく構成され、かつ前記信頼度レベルが前記あらかじめ決定済みのスレッショルドより低い場合に前記生理学的データのエラー分類を提供するべく構成される、請求項８に記載のコントロール・システム（３００）。
【請求項１０】
前記コントロール・ユニットは、さらに、前記生理学的データと前記現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうとき、前記生理学的データからなる前記顔の位置および／または方向における変化があらかじめ決定済みのスレッショルドより大きくなることを識別するべく構成され、かつ前記顔の位置および／または方向における変化が前記あらかじめ決定済みのスレッショルドより大きい場合に前記生理学的データのエラー分類を提供するべく構成される、請求項８または９に記載のコントロール・システム（３００）。
【請求項１１】
前記コントロール・システム（３００）は、乗り物のための運転者補助システムである、請求項８乃至１０のいずれか一項に記載のコントロール・システム（３００）。
【請求項１２】
乗り物の操作者コンパートメント内に位置決めされた操作者を監視する画像センサからの生理学的データの部分の信頼性を向上させるためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体であって、前記コンピュータ・プログラム・プロダクトが、プロセッサによって実行されたときに、
− 前記画像センサから、前記操作者の目、顔、頭、腕、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを受信するべく構成されたコードと、
− 前記生理学的データに基づいて、少なくとも前記操作者の閉瞼、目の動き、または頭の動きの徴候の識別を行なうべく構成されたコードと、
− 前記生理学的データおよび前記操作者コンパートメント内における照明条件のうちの少なくとも１つと、現在の操作者の状態についてのあらかじめ決定済みの規則のセットとの比較を行なうべく構成されたコードと、
− 閉瞼、目の動き、および／または頭の動きのタイプを、前記識別による閉瞼、目の動き、および／または頭の動きと前記比較の結果を相関させることによって分類するべく構成されたコードと、
を包含する、コンピュータ可読媒体。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−５４７３５（Ｐ２０１３−５４７３５Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１２−１８８４３２（Ｐ２０１２−１８８４３２）
【出願日】平成２４年８月２９日（２０１２．８．２９）
【出願人】（５１２２２４４７５）ボルボ カー コーポレイション (4)
【出願人】（５０２１９６５１１）ボルボ テクノロジー コーポレイション (52)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２４年８月２９日（２０１２．８．２９）
【出願人】（５１２２２４４７５）ボルボ カー コーポレイション (4)
【出願人】（５０２１９６５１１）ボルボ テクノロジー コーポレイション (52)
【Ｆターム（参考）】
[ Back to top ]