異常検出装置および方法、並びに、プログラム
【課題】運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出する。
【解決手段】ステアリングホイールのステアリングスポークの間から運転者を撮影する撮像装置１１と運転者との間において撮像装置１１のフレーム内に入った場合に、撮像装置１１の撮影面および運転者を照らす照明装置１２の照明面とほぼ平行になるように、反射板１５をステアリングスポークの裏面に設置する。診断処理部３３の画像解析部は、入力画像の反射板１５が写っている領域の解析を行い、診断処理部３３の診断部は、解析結果に基づいて、撮像装置１１および照明装置１２の異常を検出する。本発明は、例えば、車載用の運転者モニタシステムに適用できる。
【解決手段】ステアリングホイールのステアリングスポークの間から運転者を撮影する撮像装置１１と運転者との間において撮像装置１１のフレーム内に入った場合に、撮像装置１１の撮影面および運転者を照らす照明装置１２の照明面とほぼ平行になるように、反射板１５をステアリングスポークの裏面に設置する。診断処理部３３の画像解析部は、入力画像の反射板１５が写っている領域の解析を行い、診断処理部３３の診断部は、解析結果に基づいて、撮像装置１１および照明装置１２の異常を検出する。本発明は、例えば、車載用の運転者モニタシステムに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常検出装置および方法、並びに、プログラムに関し、特に、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出できるようにした異常検出装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、車両に設けられた撮像装置により運転者を撮影した画像を処理し、処理した結果を利用して車両の走行の安全性を高める技術が種々開発されている。そのような技術を適用した車載装置の一例として、居眠り検出装置、脇見運転検出装置などがある。
【０００３】
それらの車載装置においては、夜間でも昼間と同様に運転者を撮影できるようにするために、運転者を照射する照明装置が用いられる場合があり、特に、運転者が眩しさを感じないように近赤外波長の光を発する照明装置を用いられることが多い（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００５−１５７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、それらの車載装置は、撮像装置および照明装置が正常に動作することを前提としているため、撮像装置または照明装置に故障や性能劣化などの異常が発生した場合、誤動作や誤検出の発生を招いてしまう可能性がある。そのため、撮像装置および照明装置の異常を簡単かつ確実に検出できる技術の提案が望まれている。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の異常検出装置は、車両を運転する運転者に光を照射する照明装置、および、照明装置により光が照射された運転者を撮影する撮像装置の異常を検出する異常検出装置において、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域を検出し、反射領域の解析を行う画像解析手段と、反射領域の解析結果に基づいて、照明装置および撮像装置の異常を検出する異常検出手段とを含む。
【０００８】
本発明の一側面の異常検出装置においては、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域が検出され、反射領域の解析が行われ、反射領域の解析結果に基づいて、照明装置および撮像装置の異常が検出される。
【０００９】
従って、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出することができる。
【００１０】
この画像解析手段、異常検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００１１】
この画像解析手段には、反射領域の画素値のバラツキを検出させ、この異常検出手段には、反射領域の画素値のバラツキに基づいて、撮像装置の異常を検出させることができる。
【００１２】
これにより、複雑な画像処理を行うことなく、簡単かつ確実に撮像装置の異常を検出することができる。
【００１３】
この画像解析手段には、反射領域の明るさを検出させ、この異常検出手段には、反射領域の明るさに基づいて、撮像装置または照明装置の異常を検出させることができる。
【００１４】
これにより、複雑な画像処理を行うことなく、簡単かつ確実に撮像装置または照明装置の異常を検出することができる。
【００１５】
この画像解析手段は、さらに、少なくとも反射面が撮像装置のフレーム内に入った場合に撮像装置のフレーム内に入る発光手段により発せられた光が写っている、入力画像の領域である発光領域を検出させ、発光領域の明るさを検出させ、この異常検出手段には、さらに、発光領域の明るさに基づいて、撮像装置または照明装置のいずれに異常が発生しているかを検出させることができる。
【００１６】
これにより、簡単かつ確実に撮像装置または照明装置のいずれに異常が発生しているかを検出することができる。
【００１７】
画像解析手段には、入力画像のエッジ強度を検出させ、異常検出手段には、入力画像のエッジ強度に基づいて、撮像装置の異常を検出させることができる。
【００１８】
これにより、複雑な画像処理を行うことなく、簡単かつ確実に撮像装置の異常を検出することができる。
【００１９】
この可動部は、車両のステアリングホイールとすることができる。
【００２０】
これにより、運転中にリアルタイムに撮像装置または照明装置の異常を検出することができる。
【００２１】
可動部の状態を検出する状態検出手段をさらに設け、この異常検出手段には、反射面が撮像装置のフレーム内に入る状態に可動部が動いている場合に、入力画像において反射領域が検出されなかったとき、撮像装置と反射面との間に障害物が存在していると判定させることができる。
【００２２】
これにより、撮像装置と反射面との間に障害物が存在していることを簡単かつ確実に検出することができる。
【００２３】
この状態検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００２４】
この異常検出手段には、反射領域が検出されなかった場合に、入力画像の画素値がほぼ均一であるとき、撮像装置と運転者との間に障害物が存在していると判定させることができる。
【００２５】
これにより、撮像装置と運転者との間に障害物が存在していることを簡単かつ確実に検出することができる。
【００２６】
本発明の一側面の異常検出方法またはプログラムは、車両を運転する運転者に光を照射する照明装置、および、照明装置により光が照射された運転者を撮影する撮像装置の異常を検出する異常検出装置の異常検出方法、または、車両を運転する運転者に光を照射する照明装置、および、照明装置により光が照射された運転者を撮影する撮像装置の異常を検出する処理を、コンピュータに実行させるプログラムにおいて、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域を検出し、反射領域の解析を行う画像解析ステップと、反射領域の解析結果に基づいて、照明装置および撮像装置の異常を検出する異常検出ステップとを含む。
【００２７】
本発明の一側面の異常検出方法またはプログラムにおいては、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域が検出され、反射領域の解析が行われ、反射領域の解析結果に基づいて、照明装置および撮像装置の異常が検出される。
【００２８】
従って、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出することができる。
【００２９】
この画像解析ステップは、例えば、CPUにより、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域を検出し、反射領域の解析を行う画像解析ステップにより構成され、この異常検出ステップは、例えば、CPUにより、反射領域の解析結果に基づいて、照明装置および撮像装置の異常を検出する異常検出ステップにより構成される。
【発明の効果】
【００３０】
以上のように、本発明の一側面によれば、運転者の撮影に用いられる撮像装置および照明装置の異常を検出することができる。特に、本発明の一側面によれば、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出することができる。
【発明を実施するための最良の形態】
【００３１】
以下、図を参照して、本発明の実施の形態について説明する。
【００３２】
図１は、本発明を適用した運転者モニタシステムの一実施の形態を示すブロック図である。図１の運転者モニタシステム１は、運転者モニタシステム１が設けられている車両（以下、自車とも称する）を運転する運転者の挙動を監視するシステムであり、撮像装置１１、照明装置１２、センサ部１３、画像処理装置１４、反射板１５、および、発光素子１６を含むように構成される。
【００３３】
撮像装置１１は、例えば、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成され、少なくとも可視光領域から近赤外光領域までの光に対して十分な感度を有している。
【００３４】
照明装置１２は、例えば、近赤外光を発するLED（Light Emitting Diode）により構成される。
【００３５】
図２および図３は、撮像装置１１および照明装置１２の設置位置の例を示している。図２は、運転席を右から見た様子を模式的に表した図であり、図３は、図２のステアリングホイール５１およびステアリングコラム５２付近を拡大した図である。
【００３６】
撮像装置１１は、例えば、ステアリングホイール５１のステアリングスポークの間から、運転席５３に座って運転している運転者５４の顔をほぼ正面から撮影できるように、ステアリングコラム５２の上面に設置される。図４は、撮像装置１１により撮影される画像（以下、入力画像と称する）の一例を示しており、ステアリングホイール５１の上部とステアリングコラム５２の上部との間に、運転者５４の顔５４Ａが写っている。
【００３７】
照明装置１２は、ステアリングホイール５１のステアリングスポークの間から運転席５３に座って運転している運転者５４の顔を含む領域に近赤外光を照射するように、撮像装置１１の近傍（図２および図３においては、撮像装置１１の上面）に設置される。また、照明装置１２は、照明面が撮像装置１１の撮影面とほぼ平行になるように設置される。
【００３８】
図１に戻り、撮像装置１１は、撮影した画像（入力画像）を画像処理装置１４の画像メモリ３１に記憶させる。
【００３９】
センサ部１３は、転舵角センサ２１、車速センサ２２、および、加速度センサ２３を含むように構成される。
【００４０】
転舵角センサ２１は、ステアリングホイール５１の中立位置（ニュートラル位置）を基準にしてステアリングホイール５１が回転した角度である転舵角を検出し、検出した転舵角を示す信号を画像処理装置１４に供給する。
【００４１】
車速センサ２２は、自車の速度を検出し、検出した自車の速度を示す信号を画像処理装置１４に供給する。
【００４２】
加速度センサ２３は、自車の加速度を検出し、検出した自車の加速度を示す信号を画像処理装置１４に供給する。
【００４３】
画像処理装置１４は、撮像装置１１により撮影された入力画像に対して、所定の画像処理を施す。また、画像処理装置１４は、撮像装置１１および照明装置１２の状態を診断することにより、撮像装置１１および照明装置１２の異常を検出する。画像処理装置１４は、画像メモリ３１、モニタ部３２、診断処理部３３、通知部３４、および、操作部３５を含むように構成される。
【００４４】
画像メモリ３１は、例えば、ハードディスク、フラッシュメモリ、RAM（Random Access Memory）などの記憶装置により構成され、撮像装置１１により撮影された入力画像を記憶する。
【００４５】
モニタ部３２は、画像メモリ３１に記憶されている入力画像を読み出し、入力画像に基づいて、運転者の状態を監視する。例えば、モニタ部３２は、入力画像に基づいて、運転者の顔または視線の動きや、瞼の動きなどを検出し、脇見の有無や居眠りの有無など運転者の状態を監視する。モニタ部３２は、必要に応じて、運転者の状態を示す情報を車両制御装置２または通知部３４に供給する。また、モニタ部３２は、運転者の顔の検出に失敗した場合、運転者の顔の検出に失敗したことを示す情報を診断処理部３３に供給する。さらに、モニタ部３２は、
【００４６】
診断処理部３３は、図１１などを参照して後述するように、撮像装置１１および照明装置１２の状態を診断する。診断処理部３３は、診断結果を示す情報を通知部３４に供給する。
【００４７】
通知部３４は、必要に応じて、運転者への警告や撮像装置１１または照明装置１２の異常の発生の通知を行うように表示装置３および音声出力装置４を制御する。また、通知部３４は、車両が盗難された可能性がある場合、通信装置５を介して、車両が盗難された可能性があることを車両の所有者などに通知する。
【００４８】
操作部３５は、例えば、ボタンやスイッチなどにより構成され、モニタ部３２または診断処理部３３に指示や情報などを与えるときに操作される。
【００４９】
反射板１５は、照明装置１２から発せられる近赤外光を、例えば、約５０％の反射率で反射する反射板により構成される。
【００５０】
発光素子１６は、例えば、LED（Light Emitting Diode）により構成される。
【００５１】
図５は、反射板１５と発光素子１６の設置位置の例を示している。図５の左側の図は、ステアリングホイール５１の裏面（運転者５４に対向する面と反対の面）を示しており、右側の図は、ステアリングホイール５１の下部のステアリングスポーク５１Ａの裏面を拡大した図である。
【００５２】
反射板１５および発光素子１６は、例えば、ステアリングホイール５１のステアリングスポーク５１Ａの裏面に設置され、ステアリングホイール５１の動きとともに移動する。また、反射板１５および発光素子１６は、ステアリングホイール５１が所定の状態に動き（例えば、ステアリングホイール５１が約１８０度回転し）、反射板１５および発光素子１６が、運転者５４と撮像装置１１の間において撮像装置１１のフレーム内に入った場合に、反射板１５の反射面および発光素子１６の発光面が、撮像装置１１の撮影面および照明装置１２の照明面とほぼ平行になるように設置される。これにより、反射板１５が撮像装置１１のフレーム内に入ったとき、照明装置１２によりほぼ均一の強さの近赤外光が反射板１５の反射面に照射され、撮像装置１１により撮影される入力画像において、反射板１５が写っている領域の画素値はほぼ均一になる。
【００５３】
図１に戻り、車両制御装置２は、例えば、自車の動作の制御を行うECU（Electronic Control Unit）などにより構成される。
【００５４】
表示装置３は、例えば、LCD（Liquid Crystal Display）などにより構成される。
【００５５】
音声出力装置４は、例えば、スピーカ、サイレン、または、ブザーなどにより構成される。
【００５６】
通信装置５は、所定の方式の無線通信により、図示せぬ通信ネットワークなどに接続する通信装置により構成される。
【００５７】
図６は、診断処理部３３の機能的構成の例を示すブロック図である。診断処理部３３は、画像解析部１０１、ステアリングホイール状態検出部１０２、運転状態検出部１０３、運転許可者確認部１０４、診断部１０５、および、露光調整部１０６を含むように構成される。
【００５８】
画像解析部１０１は、診断部１０５からの指示の基に、画像メモリ３１から入力画像を読み出し、入力画像の解析を行う。画像解析部１０１は、解析結果を示す情報を診断部１０５に供給する。
【００５９】
ステアリングホイール状態検出部１０２は、診断部１０５からの指示の基に、転舵角センサ２１からの信号に基づいて、ステアリングホイール５１の状態を検出する。ステアリングホイール状態検出部１０２は、検出結果を示す情報を診断部１０５に供給する。
【００６０】
運転状態検出部１０３は、診断部１０５からの指示の基に、転舵角センサ２１、車速センサ２２、および、加速度センサ２３からの信号に基づいて、自車の運転者の運転状態を検出する。運転状態検出部１０３は、検出結果を診断部１０５に供給する。
【００６１】
運転許可者確認部１０４は、診断部１０５からの指示の基に、通知部３４を介して、暗証番号の入力を促すメッセージを表示装置３に表示させたり、音声出力装置４から出力させ、操作部３５を介して、運転者に入力された暗証番号を取得する。運転許可者確認部１０４は、取得した暗証番号に基づいて、自車を運転中の運転者が自車の運転を許可された者（以下、運転許可者と称する）であるかを判定し、判定結果を示す情報を診断部１０５に供給する。
【００６２】
診断部１０５は、モニタ部３２が運転者の顔の検出に失敗した場合に出力する、運転者の顔の検出に失敗したことを示す情報をモニタ部３２から取得する。診断部１０５は、モニタ部３２、画像解析部１０１、ステアリングホイール状態検出部１０２、運転状態検出部１０３、および、運転許可者確認部１０４からの情報に基づいて、撮像装置１１および照明装置１２の状態を診断する。診断処理部３３は、診断結果を示す情報を通知部３４に供給する。
【００６３】
露光調整部１０６は、診断部１０５からの指示の基に、撮像装置１１の露光量がほぼ所定の値となるように、撮像装置１１の絞りやシャッタースピード、照明装置１２の輝度を調整する。
【００６４】
次に、図７のフローチャートを参照して、運転者モニタシステム１により実行される運転者モニタ処理を説明する。なお、この処理は、例えば、ユーザにより、運転者モニタシステム１の操作部３５を介して、運転者モニタ処理の開始の指令が入力されたとき開始される。
【００６５】
ステップＳ１において、運転者モニタシステム１は、撮影を開始する。具体的には、照明装置１２は、近赤外光の照射を開始する。撮像装置１１は、照明装置１２により近赤外光が照射された運転者の撮影を開始し、その結果得られた入力画像を順次画像メモリ３１に記憶させる。
【００６６】
ステップＳ２において、モニタ部３２は、運転者の顔の検出に成功したかを判定する。具体的には、モニタ部３２は、画像メモリ３１から入力画像を読み出し、所定の手法を用いて、入力画像に写っている人の顔の検出を行う。モニタ部３２は、運転者モニタ処理が開始されてから所定の期間内（または、所定の数のフレームの間）に、入力画像において人の顔を検出できなかった場合、運転者の顔の検出に失敗したと判定する。モニタ部３２は、運転者の顔の検出に失敗したと判定した場合、運転者の顔の検出に失敗したことを示す情報を診断部１０５に供給し、処理はステップＳ３に進む。
【００６７】
ステップＳ３において、画像処理装置１４は、初期異常対応処理を実行する。初期異常対応処理の詳細は、図８を参照して後述するが、この処理により、運転者の状態の監視を開始する前に運転者の顔の検出に失敗した原因が解析され、原因に応じた処理が実行される。
【００６８】
ステップＳ４において、モニタ部３２は、エンジンが停止されたかを判定する。モニタ部３２が、車両制御装置２からの情報に基づいて、自車のエンジンが停止されていないと判定した場合、処理はステップＳ２に戻り、ステップＳ２以降の処理が実行される。
【００６９】
一方、ステップＳ４において、自車のエンジンが停止されたと判定された場合、運転者モニタ処理は終了する。
【００７０】
また、ステップＳ２において、モニタ部３２は、運転者モニタ処理が開始されてから所定の期間内（または、所定の数のフレームの間）に、入力画像において人の顔を検出できた場合、運転者の顔の検出に成功したと判定し、処理はステップＳ５に進む。
【００７１】
ステップＳ５において、モニタ部３２は、運転者の状態の監視を開始する。具体的には、モニタ部３２は、画像メモリ３１に記憶されている入力画像を順次読み出し、所定の手法を用いて、入力画像に基づいて、運転者の顔または視線の動きや、瞼の動きなどを検出し、脇見の有無や居眠りの有無など運転者の状態を監視する処理を開始する。モニタ部３２は、例えば、脇見や居眠りなどの運転者の危険な状態を検出した場合、通知部３４を介して、表示装置３に警告画面を表示させたり、音声出力装置４から警告メッセージや警告音を出力させることにより、運転者の注意を喚起する。また、モニタ部３２は、検出結果を示す情報を車両制御装置２に供給する。車両制御装置２は、検出結果に応じて、例えば、自車のステアリングホイール５１を振動させたり、加速度を抑制したり、減速させるなど、自車の動作を制御する。
【００７２】
ステップＳ６において、モニタ部３２は、運転者の顔の検出に失敗したかを判定する。モニタ部３２は、所定の期間（または、所定の数のフレームの間）、入力画像において人の顔を検出できなかった場合、運転者の顔の検出に失敗したと判定し、運転者の顔の検出に失敗したことを示す情報を診断部１０５に供給し、処理はステップＳ７に進む。
【００７３】
ステップＳ７において、画像処理装置１４は、非検出時処理を実行する。非検出時処理の詳細は図９を参照して後述するが、この処理により、運転者の状態の監視を開始した後に運転者の顔の検出に失敗した原因が解析され、原因に応じた処理が実行される。
【００７４】
一方、ステップＳ６において、運転者の顔の検出に失敗していないと判定された場合、ステップＳ７の処理はスキップされ、処理はステップＳ８に進む。
【００７５】
ステップＳ８において、ステップＳ４の処理と同様に、エンジンが停止されたかが判定される。エンジンが停止されていないと判定された場合、処理はステップＳ６に戻り、ステップＳ６以降の処理が実行される。
【００７６】
一方、ステップＳ８において、エンジンが停止されたと判定された場合、運転者モニタ処理は終了する。
【００７７】
次に、図８のフローチャートを参照して、図７のステップＳ３の初期異常対応処理の詳細について説明する。
【００７８】
ステップＳ２１において、モニタ部３２は、運転者の顔の検出に失敗したことを通知する。具体的には、モニタ部３２は、通知部３４を介して、表示装置３に警告画面を表示させたり、音声出力装置４から警告音や警告メッセージを出力させたりすることにより、運転者の顔の検出に失敗したことを通知する。
【００７９】
ステップＳ２２において、運転状態検出部１０３は、運転中であるかを判定する。具体的には、診断部１０５は、運転状態検出部１０３に運転状態の検出を指示する。運転状態検出部１０３は、例えば、転舵角センサ２１により検出された自車のステアリングホイール５１の転舵角の推移、車速センサ２２により検出された自車の車速の推移、および、加速度センサ２３により検出された自車の加速度の推移などに基づいて、運転者が自車を運転中であるかを判定する。運転状態検出部１０３は、運転者が自車を運転中であると判定した場合、運転者が自車を運転中であることを示す情報を診断部１０５に供給し、処理はステップＳ２３に進む。
【００８０】
ステップＳ２３において、運転許可者確認部１０４は、運転許可者であるかを判定する。具体的には、診断部１０５は、現在運転中の運転者が運転許可者であるかの確認を運転許可者確認部１０４に指示する。運転許可者確認部１０４は、例えば、通知部３４を介して、暗証番号の入力を促すメッセージを表示装置３に表示させたり、音声出力装置４から出力させる。運転者は、信号などで停車したときに、操作部３５を介して暗証番号を入力し、運転許可者確認部１０４は、入力された暗証番号を取得する。運転許可者確認部１０４は、制限時間内に、制限された入力回数内で正しい暗証番号が入力された場合、運転者が運転許可者であると判定する。運転許可者確認部１０４は、運転者が運転許可者であると判定した場合、運転者が運転許可者であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ２４に進む。
【００８１】
なお、運転者が運転許可者であるかを確認する方法は、暗証番号を用いる方法に限定されるものではなく、例えば、指紋認証、静脈認証、虹彩認証などの生体情報を用いた個人認証を行うようにしてもよい。
【００８２】
ステップＳ２４において、通知部３４は、異常の発生を通知し、処理は上述した図７のステップＳ４に進まずに、運転者モニタ処理は終了する。具体的には、診断部１０５は、運転許可者が運転中であるにも関わらず、運転者の顔を検出できないのは、撮像装置１１、照明装置１２または画像処理装置１４のうち少なくとも１つに異常が発生していると判定し、運転者モニタシステム１に異常が発生していることを示す情報を通知部３４に供給する。通知部３４は、表示装置３に警告画面を表示させたり、音声出力装置４から警告メッセージや警告音を出力させることにより、運転者モニタシステム１に異常が発生していることを通知する。
【００８３】
一方、ステップＳ２３において、運転許可者でないと判定された場合、処理はステップＳ２５に進む。
【００８４】
ステップＳ２５において、通知部３４は、警報および登録者への通知を行い、処理は上述した図７のステップＳ４に進まずに、運転者モニタ処理は終了する。具体的には、診断部１０５は、車両の盗難などにより運転許可者以外の人物が自車を運転しており、例えば、撮像装置１１のレンズにカバーを被せるなどして、運転者の顔を撮影できないようにしている可能性が高いと判定し、運転者が運転許可者でないことを示す情報を通知部３４に供給する。通知部３４は、例えば、自車の外部に聞こえるような大音量で音声出力装置４から警報を出力させる。また、通知部３４は、例えば、通信装置５を介して、予め登録されている自車の所有者の携帯電話機などにメールを送信するなどにより、自車が盗難された可能性があることを通知する。
【００８５】
一方、ステップＳ２２において、運転中でないと判定された場合、運転者の顔が撮像装置１１により撮影できない位置にある可能性が高いため、特別な対応を行うことなく、初期異常対応処理は終了し、処理は上述した図７のステップＳ４に進む。
【００８６】
次に、図９のフローチャートを参照して、図７のステップＳ７の非検出時処理の詳細について説明する。
【００８７】
ステップＳ４１において、画像解析部１０１は、反射板１５を検出できたかを判定する。具体的には、診断部１０５は、反射板１５の検出を画像解析部１０１に指示する。画像解析部１０１は、画像メモリ３１に記憶されている入力画像を読み出す。画像解析部１０１は、例えば、パターンマッチングの手法を用いて、読み出した入力画像において反射板１５（より正確に言えば、反射板１５により反射された光が写っている領域）の検出処理を行う。画像解析部１０１は、入力画像において反射板１５の検出に成功し、反射板１５を検出できたと判定した場合、反射板１５を検出できたことを示す情報を診断部１０５に供給し、その後、処理はステップＳ４２に進む。
【００８８】
なお、画像解析部１０１による反射板１５の検出方法は、パターンマッチングの手法に限定されるものでなく、例えば、撮像装置１１と反射板１５との間の距離が近づくと、入力画像が明るくなる性質などを利用して、反射板１５を検出するようにしてもよい。
【００８９】
ステップＳ４２において、ステアリングホイール状態検出部１０２は、ステアリングホイール５１の移動方向を検出する。具体的には、診断部１０５は、ステアリングホイール５１の移動方向の検出をステアリングホイール状態検出部１０２に指示する。ステアリングホイール状態検出部１０２は、転舵角センサ２１により検出された転舵角の遷移に基づいて、ステアリングホイール５１の移動方向を検出する。
【００９０】
ステップＳ４３において、診断処理部３３は、自己診断処理を実行し、非検出時処理は終了する。自己診断処理の詳細は図１１を参照して後述するが、この処理により、運転者の顔の検出に失敗した原因の自己診断が行われる。
【００９１】
一方、ステップＳ４１において、反射板１５を検出できなかったと判定された場合、処理はステップに進む。
【００９２】
ステップＳ４４において、画像解析部１０１は、入力画像の画素値がほぼ均一であるかを判定する。具体的には、入力画像の画素値の分布の解析を画像解析部１０１に指示する。画像解析部１０１は、所定の統計手法を用いて、入力画像の画素値のバラツキを表す指標値（例えば、入力画像の画素値の分散など）を算出する。画像解析部１０１は、算出した指標値を所定の閾値と比較して、入力画像の画素値がほぼ均一であるか否かを判定する。画像解析部１０１は、入力画像の画素値がほぼ均一ではないと判定した場合、入力画像の画素値がほぼ均一ではないことを示す情報を診断部１０５に供給し、その後、処理はステップＳ４５に進む。
【００９３】
ステップＳ４５において、ステアリングホイール状態検出部１０２は、ステアリングホイール５１が運転者の顔の撮影を遮っているかを判定する。具体的には、診断部１０５は、ステアリングホイール５１が運転者の顔の撮影を遮っているか否かの検出をステアリングホイール状態検出部１０２に指示する。ステアリングホイール状態検出部１０２は、例えば、ステアリングホイール５１の転舵角が、ステアリングホイール５１のステアリングスポークを含まない図１０の範囲Ｒ１内に現在の撮像装置１１のフレームが収まる範囲内である場合、ステアリングホイール５１が運転者の顔の撮影を遮っていないと判定する。ステアリングホイール状態検出部１０２は、ステアリングホイール５１が運転者の顔の撮影を遮っていないと判定した場合、ステアリングホイール５１が運転者の顔の撮影を遮っていないことを示す情報を診断部１０５に供給し、その後、処理はステップＳ４６に進む。
【００９４】
ステップＳ４６において、上述した図８のステップＳ２２の処理と同様に、運転中であるかが判定される。運転中であると判定された場合、処理はステップＳ４７に進む。
【００９５】
ステップＳ４７において、通知部３４は、運転姿勢を注意する。具体的には、診断部１０５は、ステアリングホイール５１が運転者の顔を遮っていないのに運転者の顔を検出できず、かつ、入力画像の画素値がほぼ均一でない場合、撮像装置１１のレンズが障害物などにより遮られてはいないが、運転者の姿勢が非常に悪いか、あるいは、運転者が顔を隠している可能性が高いと判定し、運転者の姿勢が悪いか、あるいは、運転者が顔を隠している可能性が高いことを示す情報を通知部３４に供給する。通知部３４は、運転者に姿勢を正し、顔を隠さないように促す警告画面を表示装置３に表示させたり、運転者に姿勢を正し、顔を隠さないように促す警告メッセージを音声出力装置４から出力させたりする。その後、処理はステップＳ５０に進む。
【００９６】
一方、ステップＳ４６において、運転中でないと判定された場合、非検出時処理は終了する。
【００９７】
また、ステップＳ４５において、ステアリングホイール状態検出部１０２は、例えば、ステアリングホイール５１の転舵角が、ステアリングホイール５１のステアリングスポークを含む図１０の範囲Ｒ２の一部または全部が現在の撮像装置１１のフレームに含まれる範囲内である場合、ステアリングホイール５１が運転者の顔の撮影を遮っていると判定する。ステアリングホイール状態検出部１０２は、ステアリングホイール５１が運転者の顔の撮影を遮っていると判定した場合、ステアリングホイール５１が運転者の顔の撮影を遮っていることを示す情報を診断部１０５に供給し、その後、処理はステップＳ４８に進む。
【００９８】
ステップＳ４８において、ステアリングホイール状態検出部１０２は、反射板１５の検出が可能な状態であるかを判定する。具体的には、診断部１０５は、反射板１５の検出が可能な状態であるか否かの検出をステアリングホイール状態検出部１０２に指示する。ステアリングホイール状態検出部１０２は、ステアリングホイール５１の転舵角が、現在の撮像装置１１のフレームに反射板１５が含まれる範囲内でない場合、すなわち、反射板１５の少なくとも一部が撮像装置１１のフレーム内に入らない状態にステアリングホイール５１が動いている場合、反射板１５の検出が可能な状態でないと判定する。ステアリングホイール状態検出部１０２は、反射板１５の検出が可能な状態でないと判定した場合、反射板１５の検出が可能な状態でないことを示す情報を診断部１０５に供給し、非検出時処理は終了する。
【００９９】
一方、ステップＳ４８において、ステアリングホイール状態検出部１０２は、ステアリングホイール５１の転舵角が、現在の撮像装置１１のフレームに反射板１５が含まれる範囲内である場合、すなわち、反射板１５の全てが撮像装置１１のフレーム内に入る状態にステアリングホイール５１が動いている場合、反射板１５の検出が可能な状態であると判定する。ステアリングホイール状態検出部１０２は、反射板１５の検出が可能な状態であると判定した場合、反射板１５の検出が可能な状態であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ４９に進む。
【０１００】
また、ステップＳ４４において、画像解析部１０１は、入力画像の画素値がほぼ均一であると判定した場合、入力画像の画素値がほぼ均一であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ４９に進む。
【０１０１】
ステップＳ４９において、通知部３４は、障害物を取り除くように注意を促す。具体的には、診断部１０５は、入力画像の画素値がほぼ均一である場合、または、反射板１５の検出が可能な状態にも関わらず、入力画像において反射板１５が検出されていない場合、撮像装置１１と運転者の間、または、撮像装置１１と反射板１５との間に障害物が存在し、運転者の顔または反射板１５の撮影を妨げていると判断し、撮像装置１１の前に障害物が存在することを示す情報を通知部３４に供給する。通知部３４は、撮像装置１１の前の障害物を取り除くように喚起する警告画面を表示装置３に表示させたり、撮像装置１１の前の障害物を取り除くように喚起する警告メッセージを音声出力装置４から出力させたりする。その後、処理はステップＳ５０に進む。
【０１０２】
ステップＳ５０において、診断部１０５は、注意に従ったかを判定する。具体的には、診断部１０５は、モニタ部３２から運転者の顔の検出結果を取得し、モニタ部３２により所定の時間内に運転者の顔が検出されたことが通知された場合、運転者が注意に従ったと判定し、非検出時処理は終了する。
【０１０３】
一方、ステップＳ５０において、診断部１０５は、モニタ部３２により所定の時間内に運転者の顔が検出されたことが通知されなかった場合、運転者が注意に従っていないと判定し、処理はステップＳ５１に進む。
【０１０４】
ステップＳ５１において、上述した図８のステップＳ２３の処理と同様に、運転許可者であるかが判定され、運転許可者であると判定された場合、処理はステップＳ５２に進む。
【０１０５】
ステップＳ５２において、上述した図８のステップＳ２４の処理と同様に、異常の発生が通知され、処理は上述した図７のステップＳ８に進まずに、運転者モニタ処理は終了する。
【０１０６】
一方、ステップＳ５１において、運転許可者でないと判定された場合、処理はステップＳ５３に進み、ステップＳ５３において、上述した図８のステップＳ２５の処理と同様に、警報および登録者への通知が行われ、処理は上述した図７のステップＳ８に進まずに、運転者モニタ処理は終了する。
【０１０７】
次に、図１１のフローチャートを参照して、図９のステップＳ４３の自己診断処理の詳細について説明する。
【０１０８】
ステップＳ７１において、露光調整部１０６は、露光を調整する。具体的には、診断部１０５は、露光の調整を露光調整部１０６に指示する。露光調整部１０６は、撮像装置１１の露光量がほぼ所定の値となるように、撮像装置１１の絞りやシャッタースピード、照明装置１２の輝度を調整する。
【０１０９】
ステップＳ７２において、画像解析部１０１は、反射板１５が写っている領域の画素値がほぼ均一であるかを判定する。具体的には、診断部１０５は、入力画像の反射板１５が写っている領域の画素値の分布の解析を画像解析部１０１に指示する。画像解析部１０１は、露光の調整後に撮像装置１１により撮影された入力画像を画像メモリ３１から読み出し、上述した図９のステップＳ４１の処理と同様に、入力画像内に写っている反射板１５を検出する。画像解析部１０１は、所定の統計手法を用いて、入力画像の反射板１５が写っている領域の画素値のバラツキを表す指標値（例えば、領域内の画素値の分散など）を算出する。画像解析部１０１は、算出した指標値を所定の閾値と比較して、反射板１５が写っている領域の画素値がほぼ均一であるか否かを判定する。画像解析部１０１は、反射板１５が写っている領域の画素値がほぼ均一ではないと判定した場合、反射板１５が写っている領域の画素値がほぼ均一ではないことを示す情報を診断部１０５に供給し、その後、処理はステップＳ７３に進む。
【０１１０】
ステップＳ７３において、診断部１０５は、撮像素子の故障が発生していると判定する。すなわち、上述したように、本来画素値がほぼ均一となる反射板１５が写っている領域において、画素値のバラツキが発生していることにより、診断部１０５は、撮像装置１１の撮像素子に故障が発生していると判定する。その後、処理はステップＳ８１に進む。
【０１１１】
なお、このとき、さらに、反射板１５が写っている領域の画素値を詳細に解析することにより、撮像装置１１の画素ごとの欠損を発見するようにすることも可能である。
【０１１２】
また、例えば、反射板１５に虫がとまるなどして、反射板１５が写っている領域において一時的に画素値のバラツキが発生した場合に、撮像素子に故障が発生していると誤判定されないように、反射板１５が写っている領域の画素値がほぼ均一ではない状態が所定の判定時間を超えて連続した場合に、撮像素子の故障が発生していると判定するようにすることが望ましい。
【０１１３】
一方、ステップＳ７２において、画像解析部１０１は、反射板１５が写っている領域の画素値がほぼ均一であると判定した場合、反射板１５が写っている領域の画素値がほぼ均一であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ７４に進む。
【０１１４】
ステップＳ７４において、診断部１０５は、反射板１５が写っている領域の画素値の平均値が下限値以上であるかを判定する。具体的には、診断部１０５は、入力画像の反射板１５が写っている領域の明るさを示す指標として、領域内の画素値の平均値の算出を画像解析部１０１に指示する。画像解析部１０１は、入力画像の反射板１５が写っている領域の画素値の平均値を算出し、診断部１０５に供給する。診断部１０５が、入力画像の反射板１５が写っている領域の画素値の平均値所定の下限値未満であると判定した場合、すなわち、入力画像の反射板１５が写っている領域の明るさが所定の規定値未満である場合、処理はステップＳ７５に進む。
【０１１５】
なお、反射板１５が写っている領域の明るさの判定に、画素値の平均値以外の値を用いるようにしてもよい。
【０１１６】
ステップＳ７５において、診断部１０５は、照明装置１２の劣化またはレンズ透過率の低下が発生していると判定する。すなわち、診断部１０５は、露光を調整したにも関わらず、反射板１５が写っている領域の画素値の平均値が所定の下限値未満となっていることにより、照明装置１２が劣化し、反射板１５への照度が低下しているか、または、劣化や汚れなどにより撮像装置１１のレンズの透過率が低下していると判定する。
【０１１７】
ステップＳ７６において、診断部１０５は、入力画像において発光素子１６の明るさが規定値以上であるかを判定する。具体的には、診断部１０５は、発光素子１６が写っている領域の明るさを示す指標として、領域内の画素値の平均値の算出を画像解析部１０１に指示する。画像解析部１０１は、例えば、パターンマッチングの手法などを用いて、ステップＳ７２において取得した入力画像内に写っている発光素子１６を検出する。画像解析部１０１は、発光素子１６が写っている領域内の画素値の平均値を算出し、診断部１０５に供給する。診断部１０５は、発光素子１６が写っている領域内の画素値の平均値が所定の閾値未満である場合、入力画像において発光素子１６の明るさが規定値未満であると判定し、処理はステップＳ７７に進む。
【０１１８】
なお、発光素子１６が写っている領域の明るさの判定に、画素値の平均値以外の値を用いるようにしてもよい。
【０１１９】
ステップＳ７７において、診断部１０５は、レンズ透過率の低下が発生していると判定する。すなわち、入力画像における発光素子１６の明るさは、照明装置１２の輝度とは無関係であるので、診断部１０５は、入力画像における発光素子１６の明るさが規定値未満であることにより、照明装置１２の劣化ではなく、撮像装置１１のレンズの透過率の低下が発生していると判定する。その後、処理はステップＳ８１に進む。
【０１２０】
一方、ステップＳ７６において、診断部１０５は、発光素子１６が写っている領域内の画素値の平均値が所定の閾値以上である場合、入力画像において発光素子１６の明るさが規定値以上であると判定し、処理はステップＳ７８に進む。
【０１２１】
ステップＳ７８において、診断部１０５は、照明装置１２の劣化が発生していると判定する。すなわち、入力画像における発光素子１６の明るさは、照明装置１２の輝度とは無関係であるので、診断部１０５は、入力画像における発光素子１６の明るさが規定値以上であることにより、撮像装置１１のレンズの透過率の低下ではなく、照明装置１２の劣化が発生していると判定する。その後、処理はステップＳ８１に進む。
【０１２２】
一方、ステップＳ７４において、反射板１５が写っている領域の画素値の平均値が下限値以上であると判定された場合、すなわち、入力画像の反射板１５が写っている領域の明るさが所定の規定値以上である場合、処理はステップＳ７９に進む。
【０１２３】
ステップＳ７９において、診断部１０５は、エッジ強度が規定値以上であるかを判定する。具体的には、診断部１０５は、入力画像のエッジ強度の検出を画像解析部１０１に指示する。画像解析部１０１は、所定の手法を用いて、ステップＳ７２において取得した入力画像に対してエッジ抽出を行い、抽出したエッジ部分のエッジ強度を検出する。画像解析部１０１は、検出したエッジ強度を示す情報を診断部１０５に供給する。診断部１０５が、検出されたエッジ強度が所定の規定値未満であると判定した場合、処理はステップＳ８０に進む。
【０１２４】
ステップＳ８０において、診断部１０５は、レンズの焦点のズレが発生していると判定する。すなわち、診断部１０５は、撮像装置１１の撮像素子の故障およびレンズの透過率の低下、並びに、照明装置１２の劣化が発生していないにも関わらず、入力画像のエッジ強度が規定値以下となっていることにより、撮像装置１１のレンズの焦点が合っておらず、入力画像にボケが発生していると判定する。
【０１２５】
ステップＳ８１において、通知部３４は、異常の発生を通知する。具体的には、診断部１０５は、検出した異常の内容を示す情報を通知部３４に供給する。通知部３４は、表示装置３に警告画面を表示させたり、音声出力装置４から警告メッセージや警告音を出力させることにより、運転者モニタシステム１に異常が発生したことを通知する。
【０１２６】
なお、例えば、図１２に示されるように、検出された異常の種類に応じてＥ１乃至Ｅ４のエラーコードを通知し、異常の内容を詳細に運転者に通知したり、さらに対処方法を通知するようにしてもよい。その後、処理は上述した図７のステップＳ８に進まずに、運転者モニタ処理は終了する。
【０１２７】
一方、ステップＳ７９において、検出されたエッジ強度が所定の規定値以上であると判定された場合、自己診断処理は終了する。
【０１２８】
以上のようにして、撮像装置１１および照明装置１２の異常を、複雑な処理を行うことなく、簡単かつ確実に検出することができる。
【０１２９】
また、単純な直線コースを進行する場合を除いて、ステアリングホイール５１を切らずに出発地から目的地まで移動することはほぼ不可能であり、ほぼ確実に運転中にステアリングスポーク５１Ａが撮像装置１１の前を横切るため、ほぼリアルタイムに撮像装置１１および照明装置１２の異常を検出することが可能である。
【０１３０】
なお、外光（例えば、太陽光）がステアリングスポーク５１Ａの裏の反射板１５に入射する場合、照明装置１２が点灯した状態で撮影された入力画像と、消灯した状態で撮影された入力画像との差分をとることにより、その外光の影響を取り除いた差分画像を用いて、上述した処理を行うことで、自己診断処理の精度を向上させることができる。
【０１３１】
また、入力画像の差分を取らずに、反射板１５の明るさが所定の規定値以上である場合、外光が反射板１５に入射したと判断し、自己診断処理をスキップするようにすることも可能である。
【０１３２】
さらに、反射板１５の代わりに鏡を取り付けることにより、撮像装置１１の本体の外観検査や、撮像装置１１の個々のLEDの放射強度の確認をすることが可能になる。
【０１３３】
また、反射板１５が撮像装置１１の前を横切るときに、撮像装置１１の全ての撮像素子に反射板１５が映るように反射板１５の形状や取り付け位置を工夫することで、全ての撮像素子の不良の有無の確認が可能になる。
【０１３４】
さらに、ステアリングホイール５１の左右のステアリングスポークの裏側に互いに形状の異なる反射板を設置することにより、どのスポークが撮像装置１１を遮っているかを検出することが可能となる。さらに、停車中にステアリングホイール５１を切ることにより、自己診断処理を開始させるトリガーとして反射板を使用することが可能になる。例えば、右、左、左の順にステアリングホイール５１を切ったことが検出された場合に、自己診断処理を開始させることが可能になる。
【０１３５】
また、ステアリングホイール５１のステアリングスポークの裏側に、反射板１５の他に、所定のテストパターンを設けるようにして、そのテストパターンを用いて、画像処理装置１４の異常の有無を検出するようにしてもよい。なお、そのテストパターンを、反射版１５の近傍に設置するようにしてもよいし、例えば、ステアリングホイール５１の左右の一方のステアリングスポークの裏側に反射板１５を設置し、もう一方のステアリングスポークの裏側にテストパターンを設置するようにしてもよい。
【０１３６】
さらに、必ずしも、発光素子１６を反射板１５とともに移動させる必要はなく、発光素子１６を常に撮像装置１１のフレーム内に入る位置に設置するようにしてもよい。
【０１３７】
なお、本発明は、上述した運転者モニタシステム以外にも、定期または不定期を問わず、必ず撮像装置のフレーム内に入ったり、横切ったりする可動物が存在するシステムに適用することが可能である。
【０１３８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３９】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４０】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１４１】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１４２】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４３】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４４】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１４５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４６】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１４７】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明を適用した運転者モニタシステムの一実施の形態を示すブロック図である。
【図２】撮像装置および照明装置の設置位置の例を示す図である。
【図３】撮像装置および照明装置の設置位置の例を示す図である。
【図４】入力画像の例を示す図である。
【図５】反射板と発光素子の設置位置の例を示す図である。
【図６】診断処理部の機能的構成の例を示す図である。
【図７】運転者モニタ処理を説明するためのフローチャートである。
【図８】図７のステップＳ３の初期異常対応処理の詳細を説明するためのフローチャートである。
【図９】図７のステップＳ７の非検出時処理の詳細を説明するためのフローチャートである。
【図１０】ステアリングホイールが運転者の顔の撮影を遮っているか否かを判定する条件の例を説明するための図である。
【図１１】図９のステップＳ４３の自己診断処理の詳細を説明するためのフローチャートである。
【図１２】エラーコードの例を示す図である。
【図１３】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１４９】
１ 運転者モニタシステム
１１ 撮像装置
１２ 照明装置
１３ センサ部
１４ 画像処理装置
１５ 反射板
１６ 発光素子
２１ 転舵角センサ
２２ 車速センサ
２３ 加速度センサ
３２ モニタ部
３３ 診断処理部
３４ 通知部
５１ ステアリングホイール
５１Ａ ステアリングスポーク
５２ ステアリングコラム
１０１ 画像解析部
１０２ ステアリングホイール状態検出部
１０３ 運転状態検出部
１０４ 運転許可者確認部
１０５ 診断部
１０６ 露光調整部
【技術分野】
【０００１】
本発明は、異常検出装置および方法、並びに、プログラムに関し、特に、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出できるようにした異常検出装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、車両に設けられた撮像装置により運転者を撮影した画像を処理し、処理した結果を利用して車両の走行の安全性を高める技術が種々開発されている。そのような技術を適用した車載装置の一例として、居眠り検出装置、脇見運転検出装置などがある。
【０００３】
それらの車載装置においては、夜間でも昼間と同様に運転者を撮影できるようにするために、運転者を照射する照明装置が用いられる場合があり、特に、運転者が眩しさを感じないように近赤外波長の光を発する照明装置を用いられることが多い（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００５−１５７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、それらの車載装置は、撮像装置および照明装置が正常に動作することを前提としているため、撮像装置または照明装置に故障や性能劣化などの異常が発生した場合、誤動作や誤検出の発生を招いてしまう可能性がある。そのため、撮像装置および照明装置の異常を簡単かつ確実に検出できる技術の提案が望まれている。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の異常検出装置は、車両を運転する運転者に光を照射する照明装置、および、照明装置により光が照射された運転者を撮影する撮像装置の異常を検出する異常検出装置において、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域を検出し、反射領域の解析を行う画像解析手段と、反射領域の解析結果に基づいて、照明装置および撮像装置の異常を検出する異常検出手段とを含む。
【０００８】
本発明の一側面の異常検出装置においては、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域が検出され、反射領域の解析が行われ、反射領域の解析結果に基づいて、照明装置および撮像装置の異常が検出される。
【０００９】
従って、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出することができる。
【００１０】
この画像解析手段、異常検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００１１】
この画像解析手段には、反射領域の画素値のバラツキを検出させ、この異常検出手段には、反射領域の画素値のバラツキに基づいて、撮像装置の異常を検出させることができる。
【００１２】
これにより、複雑な画像処理を行うことなく、簡単かつ確実に撮像装置の異常を検出することができる。
【００１３】
この画像解析手段には、反射領域の明るさを検出させ、この異常検出手段には、反射領域の明るさに基づいて、撮像装置または照明装置の異常を検出させることができる。
【００１４】
これにより、複雑な画像処理を行うことなく、簡単かつ確実に撮像装置または照明装置の異常を検出することができる。
【００１５】
この画像解析手段は、さらに、少なくとも反射面が撮像装置のフレーム内に入った場合に撮像装置のフレーム内に入る発光手段により発せられた光が写っている、入力画像の領域である発光領域を検出させ、発光領域の明るさを検出させ、この異常検出手段には、さらに、発光領域の明るさに基づいて、撮像装置または照明装置のいずれに異常が発生しているかを検出させることができる。
【００１６】
これにより、簡単かつ確実に撮像装置または照明装置のいずれに異常が発生しているかを検出することができる。
【００１７】
画像解析手段には、入力画像のエッジ強度を検出させ、異常検出手段には、入力画像のエッジ強度に基づいて、撮像装置の異常を検出させることができる。
【００１８】
これにより、複雑な画像処理を行うことなく、簡単かつ確実に撮像装置の異常を検出することができる。
【００１９】
この可動部は、車両のステアリングホイールとすることができる。
【００２０】
これにより、運転中にリアルタイムに撮像装置または照明装置の異常を検出することができる。
【００２１】
可動部の状態を検出する状態検出手段をさらに設け、この異常検出手段には、反射面が撮像装置のフレーム内に入る状態に可動部が動いている場合に、入力画像において反射領域が検出されなかったとき、撮像装置と反射面との間に障害物が存在していると判定させることができる。
【００２２】
これにより、撮像装置と反射面との間に障害物が存在していることを簡単かつ確実に検出することができる。
【００２３】
この状態検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００２４】
この異常検出手段には、反射領域が検出されなかった場合に、入力画像の画素値がほぼ均一であるとき、撮像装置と運転者との間に障害物が存在していると判定させることができる。
【００２５】
これにより、撮像装置と運転者との間に障害物が存在していることを簡単かつ確実に検出することができる。
【００２６】
本発明の一側面の異常検出方法またはプログラムは、車両を運転する運転者に光を照射する照明装置、および、照明装置により光が照射された運転者を撮影する撮像装置の異常を検出する異常検出装置の異常検出方法、または、車両を運転する運転者に光を照射する照明装置、および、照明装置により光が照射された運転者を撮影する撮像装置の異常を検出する処理を、コンピュータに実行させるプログラムにおいて、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域を検出し、反射領域の解析を行う画像解析ステップと、反射領域の解析結果に基づいて、照明装置および撮像装置の異常を検出する異常検出ステップとを含む。
【００２７】
本発明の一側面の異常検出方法またはプログラムにおいては、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域が検出され、反射領域の解析が行われ、反射領域の解析結果に基づいて、照明装置および撮像装置の異常が検出される。
【００２８】
従って、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出することができる。
【００２９】
この画像解析ステップは、例えば、CPUにより、車両の可動部の動きとともに移動する反射面であって、可動部が所定の状態に動き、撮像装置と運転者との間において撮像装置のフレーム内に入った場合に照明装置の照明面および撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、撮像装置により撮影された入力画像の領域である反射領域を検出し、反射領域の解析を行う画像解析ステップにより構成され、この異常検出ステップは、例えば、CPUにより、反射領域の解析結果に基づいて、照明装置および撮像装置の異常を検出する異常検出ステップにより構成される。
【発明の効果】
【００３０】
以上のように、本発明の一側面によれば、運転者の撮影に用いられる撮像装置および照明装置の異常を検出することができる。特に、本発明の一側面によれば、運転者の撮影に用いられる撮像装置および照明装置の異常を簡単かつ確実に検出することができる。
【発明を実施するための最良の形態】
【００３１】
以下、図を参照して、本発明の実施の形態について説明する。
【００３２】
図１は、本発明を適用した運転者モニタシステムの一実施の形態を示すブロック図である。図１の運転者モニタシステム１は、運転者モニタシステム１が設けられている車両（以下、自車とも称する）を運転する運転者の挙動を監視するシステムであり、撮像装置１１、照明装置１２、センサ部１３、画像処理装置１４、反射板１５、および、発光素子１６を含むように構成される。
【００３３】
撮像装置１１は、例えば、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成され、少なくとも可視光領域から近赤外光領域までの光に対して十分な感度を有している。
【００３４】
照明装置１２は、例えば、近赤外光を発するLED（Light Emitting Diode）により構成される。
【００３５】
図２および図３は、撮像装置１１および照明装置１２の設置位置の例を示している。図２は、運転席を右から見た様子を模式的に表した図であり、図３は、図２のステアリングホイール５１およびステアリングコラム５２付近を拡大した図である。
【００３６】
撮像装置１１は、例えば、ステアリングホイール５１のステアリングスポークの間から、運転席５３に座って運転している運転者５４の顔をほぼ正面から撮影できるように、ステアリングコラム５２の上面に設置される。図４は、撮像装置１１により撮影される画像（以下、入力画像と称する）の一例を示しており、ステアリングホイール５１の上部とステアリングコラム５２の上部との間に、運転者５４の顔５４Ａが写っている。
【００３７】
照明装置１２は、ステアリングホイール５１のステアリングスポークの間から運転席５３に座って運転している運転者５４の顔を含む領域に近赤外光を照射するように、撮像装置１１の近傍（図２および図３においては、撮像装置１１の上面）に設置される。また、照明装置１２は、照明面が撮像装置１１の撮影面とほぼ平行になるように設置される。
【００３８】
図１に戻り、撮像装置１１は、撮影した画像（入力画像）を画像処理装置１４の画像メモリ３１に記憶させる。
【００３９】
センサ部１３は、転舵角センサ２１、車速センサ２２、および、加速度センサ２３を含むように構成される。
【００４０】
転舵角センサ２１は、ステアリングホイール５１の中立位置（ニュートラル位置）を基準にしてステアリングホイール５１が回転した角度である転舵角を検出し、検出した転舵角を示す信号を画像処理装置１４に供給する。
【００４１】
車速センサ２２は、自車の速度を検出し、検出した自車の速度を示す信号を画像処理装置１４に供給する。
【００４２】
加速度センサ２３は、自車の加速度を検出し、検出した自車の加速度を示す信号を画像処理装置１４に供給する。
【００４３】
画像処理装置１４は、撮像装置１１により撮影された入力画像に対して、所定の画像処理を施す。また、画像処理装置１４は、撮像装置１１および照明装置１２の状態を診断することにより、撮像装置１１および照明装置１２の異常を検出する。画像処理装置１４は、画像メモリ３１、モニタ部３２、診断処理部３３、通知部３４、および、操作部３５を含むように構成される。
【００４４】
画像メモリ３１は、例えば、ハードディスク、フラッシュメモリ、RAM（Random Access Memory）などの記憶装置により構成され、撮像装置１１により撮影された入力画像を記憶する。
【００４５】
モニタ部３２は、画像メモリ３１に記憶されている入力画像を読み出し、入力画像に基づいて、運転者の状態を監視する。例えば、モニタ部３２は、入力画像に基づいて、運転者の顔または視線の動きや、瞼の動きなどを検出し、脇見の有無や居眠りの有無など運転者の状態を監視する。モニタ部３２は、必要に応じて、運転者の状態を示す情報を車両制御装置２または通知部３４に供給する。また、モニタ部３２は、運転者の顔の検出に失敗した場合、運転者の顔の検出に失敗したことを示す情報を診断処理部３３に供給する。さらに、モニタ部３２は、
【００４６】
診断処理部３３は、図１１などを参照して後述するように、撮像装置１１および照明装置１２の状態を診断する。診断処理部３３は、診断結果を示す情報を通知部３４に供給する。
【００４７】
通知部３４は、必要に応じて、運転者への警告や撮像装置１１または照明装置１２の異常の発生の通知を行うように表示装置３および音声出力装置４を制御する。また、通知部３４は、車両が盗難された可能性がある場合、通信装置５を介して、車両が盗難された可能性があることを車両の所有者などに通知する。
【００４８】
操作部３５は、例えば、ボタンやスイッチなどにより構成され、モニタ部３２または診断処理部３３に指示や情報などを与えるときに操作される。
【００４９】
反射板１５は、照明装置１２から発せられる近赤外光を、例えば、約５０％の反射率で反射する反射板により構成される。
【００５０】
発光素子１６は、例えば、LED（Light Emitting Diode）により構成される。
【００５１】
図５は、反射板１５と発光素子１６の設置位置の例を示している。図５の左側の図は、ステアリングホイール５１の裏面（運転者５４に対向する面と反対の面）を示しており、右側の図は、ステアリングホイール５１の下部のステアリングスポーク５１Ａの裏面を拡大した図である。
【００５２】
反射板１５および発光素子１６は、例えば、ステアリングホイール５１のステアリングスポーク５１Ａの裏面に設置され、ステアリングホイール５１の動きとともに移動する。また、反射板１５および発光素子１６は、ステアリングホイール５１が所定の状態に動き（例えば、ステアリングホイール５１が約１８０度回転し）、反射板１５および発光素子１６が、運転者５４と撮像装置１１の間において撮像装置１１のフレーム内に入った場合に、反射板１５の反射面および発光素子１６の発光面が、撮像装置１１の撮影面および照明装置１２の照明面とほぼ平行になるように設置される。これにより、反射板１５が撮像装置１１のフレーム内に入ったとき、照明装置１２によりほぼ均一の強さの近赤外光が反射板１５の反射面に照射され、撮像装置１１により撮影される入力画像において、反射板１５が写っている領域の画素値はほぼ均一になる。
【００５３】
図１に戻り、車両制御装置２は、例えば、自車の動作の制御を行うECU（Electronic Control Unit）などにより構成される。
【００５４】
表示装置３は、例えば、LCD（Liquid Crystal Display）などにより構成される。
【００５５】
音声出力装置４は、例えば、スピーカ、サイレン、または、ブザーなどにより構成される。
【００５６】
通信装置５は、所定の方式の無線通信により、図示せぬ通信ネットワークなどに接続する通信装置により構成される。
【００５７】
図６は、診断処理部３３の機能的構成の例を示すブロック図である。診断処理部３３は、画像解析部１０１、ステアリングホイール状態検出部１０２、運転状態検出部１０３、運転許可者確認部１０４、診断部１０５、および、露光調整部１０６を含むように構成される。
【００５８】
画像解析部１０１は、診断部１０５からの指示の基に、画像メモリ３１から入力画像を読み出し、入力画像の解析を行う。画像解析部１０１は、解析結果を示す情報を診断部１０５に供給する。
【００５９】
ステアリングホイール状態検出部１０２は、診断部１０５からの指示の基に、転舵角センサ２１からの信号に基づいて、ステアリングホイール５１の状態を検出する。ステアリングホイール状態検出部１０２は、検出結果を示す情報を診断部１０５に供給する。
【００６０】
運転状態検出部１０３は、診断部１０５からの指示の基に、転舵角センサ２１、車速センサ２２、および、加速度センサ２３からの信号に基づいて、自車の運転者の運転状態を検出する。運転状態検出部１０３は、検出結果を診断部１０５に供給する。
【００６１】
運転許可者確認部１０４は、診断部１０５からの指示の基に、通知部３４を介して、暗証番号の入力を促すメッセージを表示装置３に表示させたり、音声出力装置４から出力させ、操作部３５を介して、運転者に入力された暗証番号を取得する。運転許可者確認部１０４は、取得した暗証番号に基づいて、自車を運転中の運転者が自車の運転を許可された者（以下、運転許可者と称する）であるかを判定し、判定結果を示す情報を診断部１０５に供給する。
【００６２】
診断部１０５は、モニタ部３２が運転者の顔の検出に失敗した場合に出力する、運転者の顔の検出に失敗したことを示す情報をモニタ部３２から取得する。診断部１０５は、モニタ部３２、画像解析部１０１、ステアリングホイール状態検出部１０２、運転状態検出部１０３、および、運転許可者確認部１０４からの情報に基づいて、撮像装置１１および照明装置１２の状態を診断する。診断処理部３３は、診断結果を示す情報を通知部３４に供給する。
【００６３】
露光調整部１０６は、診断部１０５からの指示の基に、撮像装置１１の露光量がほぼ所定の値となるように、撮像装置１１の絞りやシャッタースピード、照明装置１２の輝度を調整する。
【００６４】
次に、図７のフローチャートを参照して、運転者モニタシステム１により実行される運転者モニタ処理を説明する。なお、この処理は、例えば、ユーザにより、運転者モニタシステム１の操作部３５を介して、運転者モニタ処理の開始の指令が入力されたとき開始される。
【００６５】
ステップＳ１において、運転者モニタシステム１は、撮影を開始する。具体的には、照明装置１２は、近赤外光の照射を開始する。撮像装置１１は、照明装置１２により近赤外光が照射された運転者の撮影を開始し、その結果得られた入力画像を順次画像メモリ３１に記憶させる。
【００６６】
ステップＳ２において、モニタ部３２は、運転者の顔の検出に成功したかを判定する。具体的には、モニタ部３２は、画像メモリ３１から入力画像を読み出し、所定の手法を用いて、入力画像に写っている人の顔の検出を行う。モニタ部３２は、運転者モニタ処理が開始されてから所定の期間内（または、所定の数のフレームの間）に、入力画像において人の顔を検出できなかった場合、運転者の顔の検出に失敗したと判定する。モニタ部３２は、運転者の顔の検出に失敗したと判定した場合、運転者の顔の検出に失敗したことを示す情報を診断部１０５に供給し、処理はステップＳ３に進む。
【００６７】
ステップＳ３において、画像処理装置１４は、初期異常対応処理を実行する。初期異常対応処理の詳細は、図８を参照して後述するが、この処理により、運転者の状態の監視を開始する前に運転者の顔の検出に失敗した原因が解析され、原因に応じた処理が実行される。
【００６８】
ステップＳ４において、モニタ部３２は、エンジンが停止されたかを判定する。モニタ部３２が、車両制御装置２からの情報に基づいて、自車のエンジンが停止されていないと判定した場合、処理はステップＳ２に戻り、ステップＳ２以降の処理が実行される。
【００６９】
一方、ステップＳ４において、自車のエンジンが停止されたと判定された場合、運転者モニタ処理は終了する。
【００７０】
また、ステップＳ２において、モニタ部３２は、運転者モニタ処理が開始されてから所定の期間内（または、所定の数のフレームの間）に、入力画像において人の顔を検出できた場合、運転者の顔の検出に成功したと判定し、処理はステップＳ５に進む。
【００７１】
ステップＳ５において、モニタ部３２は、運転者の状態の監視を開始する。具体的には、モニタ部３２は、画像メモリ３１に記憶されている入力画像を順次読み出し、所定の手法を用いて、入力画像に基づいて、運転者の顔または視線の動きや、瞼の動きなどを検出し、脇見の有無や居眠りの有無など運転者の状態を監視する処理を開始する。モニタ部３２は、例えば、脇見や居眠りなどの運転者の危険な状態を検出した場合、通知部３４を介して、表示装置３に警告画面を表示させたり、音声出力装置４から警告メッセージや警告音を出力させることにより、運転者の注意を喚起する。また、モニタ部３２は、検出結果を示す情報を車両制御装置２に供給する。車両制御装置２は、検出結果に応じて、例えば、自車のステアリングホイール５１を振動させたり、加速度を抑制したり、減速させるなど、自車の動作を制御する。
【００７２】
ステップＳ６において、モニタ部３２は、運転者の顔の検出に失敗したかを判定する。モニタ部３２は、所定の期間（または、所定の数のフレームの間）、入力画像において人の顔を検出できなかった場合、運転者の顔の検出に失敗したと判定し、運転者の顔の検出に失敗したことを示す情報を診断部１０５に供給し、処理はステップＳ７に進む。
【００７３】
ステップＳ７において、画像処理装置１４は、非検出時処理を実行する。非検出時処理の詳細は図９を参照して後述するが、この処理により、運転者の状態の監視を開始した後に運転者の顔の検出に失敗した原因が解析され、原因に応じた処理が実行される。
【００７４】
一方、ステップＳ６において、運転者の顔の検出に失敗していないと判定された場合、ステップＳ７の処理はスキップされ、処理はステップＳ８に進む。
【００７５】
ステップＳ８において、ステップＳ４の処理と同様に、エンジンが停止されたかが判定される。エンジンが停止されていないと判定された場合、処理はステップＳ６に戻り、ステップＳ６以降の処理が実行される。
【００７６】
一方、ステップＳ８において、エンジンが停止されたと判定された場合、運転者モニタ処理は終了する。
【００７７】
次に、図８のフローチャートを参照して、図７のステップＳ３の初期異常対応処理の詳細について説明する。
【００７８】
ステップＳ２１において、モニタ部３２は、運転者の顔の検出に失敗したことを通知する。具体的には、モニタ部３２は、通知部３４を介して、表示装置３に警告画面を表示させたり、音声出力装置４から警告音や警告メッセージを出力させたりすることにより、運転者の顔の検出に失敗したことを通知する。
【００７９】
ステップＳ２２において、運転状態検出部１０３は、運転中であるかを判定する。具体的には、診断部１０５は、運転状態検出部１０３に運転状態の検出を指示する。運転状態検出部１０３は、例えば、転舵角センサ２１により検出された自車のステアリングホイール５１の転舵角の推移、車速センサ２２により検出された自車の車速の推移、および、加速度センサ２３により検出された自車の加速度の推移などに基づいて、運転者が自車を運転中であるかを判定する。運転状態検出部１０３は、運転者が自車を運転中であると判定した場合、運転者が自車を運転中であることを示す情報を診断部１０５に供給し、処理はステップＳ２３に進む。
【００８０】
ステップＳ２３において、運転許可者確認部１０４は、運転許可者であるかを判定する。具体的には、診断部１０５は、現在運転中の運転者が運転許可者であるかの確認を運転許可者確認部１０４に指示する。運転許可者確認部１０４は、例えば、通知部３４を介して、暗証番号の入力を促すメッセージを表示装置３に表示させたり、音声出力装置４から出力させる。運転者は、信号などで停車したときに、操作部３５を介して暗証番号を入力し、運転許可者確認部１０４は、入力された暗証番号を取得する。運転許可者確認部１０４は、制限時間内に、制限された入力回数内で正しい暗証番号が入力された場合、運転者が運転許可者であると判定する。運転許可者確認部１０４は、運転者が運転許可者であると判定した場合、運転者が運転許可者であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ２４に進む。
【００８１】
なお、運転者が運転許可者であるかを確認する方法は、暗証番号を用いる方法に限定されるものではなく、例えば、指紋認証、静脈認証、虹彩認証などの生体情報を用いた個人認証を行うようにしてもよい。
【００８２】
ステップＳ２４において、通知部３４は、異常の発生を通知し、処理は上述した図７のステップＳ４に進まずに、運転者モニタ処理は終了する。具体的には、診断部１０５は、運転許可者が運転中であるにも関わらず、運転者の顔を検出できないのは、撮像装置１１、照明装置１２または画像処理装置１４のうち少なくとも１つに異常が発生していると判定し、運転者モニタシステム１に異常が発生していることを示す情報を通知部３４に供給する。通知部３４は、表示装置３に警告画面を表示させたり、音声出力装置４から警告メッセージや警告音を出力させることにより、運転者モニタシステム１に異常が発生していることを通知する。
【００８３】
一方、ステップＳ２３において、運転許可者でないと判定された場合、処理はステップＳ２５に進む。
【００８４】
ステップＳ２５において、通知部３４は、警報および登録者への通知を行い、処理は上述した図７のステップＳ４に進まずに、運転者モニタ処理は終了する。具体的には、診断部１０５は、車両の盗難などにより運転許可者以外の人物が自車を運転しており、例えば、撮像装置１１のレンズにカバーを被せるなどして、運転者の顔を撮影できないようにしている可能性が高いと判定し、運転者が運転許可者でないことを示す情報を通知部３４に供給する。通知部３４は、例えば、自車の外部に聞こえるような大音量で音声出力装置４から警報を出力させる。また、通知部３４は、例えば、通信装置５を介して、予め登録されている自車の所有者の携帯電話機などにメールを送信するなどにより、自車が盗難された可能性があることを通知する。
【００８５】
一方、ステップＳ２２において、運転中でないと判定された場合、運転者の顔が撮像装置１１により撮影できない位置にある可能性が高いため、特別な対応を行うことなく、初期異常対応処理は終了し、処理は上述した図７のステップＳ４に進む。
【００８６】
次に、図９のフローチャートを参照して、図７のステップＳ７の非検出時処理の詳細について説明する。
【００８７】
ステップＳ４１において、画像解析部１０１は、反射板１５を検出できたかを判定する。具体的には、診断部１０５は、反射板１５の検出を画像解析部１０１に指示する。画像解析部１０１は、画像メモリ３１に記憶されている入力画像を読み出す。画像解析部１０１は、例えば、パターンマッチングの手法を用いて、読み出した入力画像において反射板１５（より正確に言えば、反射板１５により反射された光が写っている領域）の検出処理を行う。画像解析部１０１は、入力画像において反射板１５の検出に成功し、反射板１５を検出できたと判定した場合、反射板１５を検出できたことを示す情報を診断部１０５に供給し、その後、処理はステップＳ４２に進む。
【００８８】
なお、画像解析部１０１による反射板１５の検出方法は、パターンマッチングの手法に限定されるものでなく、例えば、撮像装置１１と反射板１５との間の距離が近づくと、入力画像が明るくなる性質などを利用して、反射板１５を検出するようにしてもよい。
【００８９】
ステップＳ４２において、ステアリングホイール状態検出部１０２は、ステアリングホイール５１の移動方向を検出する。具体的には、診断部１０５は、ステアリングホイール５１の移動方向の検出をステアリングホイール状態検出部１０２に指示する。ステアリングホイール状態検出部１０２は、転舵角センサ２１により検出された転舵角の遷移に基づいて、ステアリングホイール５１の移動方向を検出する。
【００９０】
ステップＳ４３において、診断処理部３３は、自己診断処理を実行し、非検出時処理は終了する。自己診断処理の詳細は図１１を参照して後述するが、この処理により、運転者の顔の検出に失敗した原因の自己診断が行われる。
【００９１】
一方、ステップＳ４１において、反射板１５を検出できなかったと判定された場合、処理はステップに進む。
【００９２】
ステップＳ４４において、画像解析部１０１は、入力画像の画素値がほぼ均一であるかを判定する。具体的には、入力画像の画素値の分布の解析を画像解析部１０１に指示する。画像解析部１０１は、所定の統計手法を用いて、入力画像の画素値のバラツキを表す指標値（例えば、入力画像の画素値の分散など）を算出する。画像解析部１０１は、算出した指標値を所定の閾値と比較して、入力画像の画素値がほぼ均一であるか否かを判定する。画像解析部１０１は、入力画像の画素値がほぼ均一ではないと判定した場合、入力画像の画素値がほぼ均一ではないことを示す情報を診断部１０５に供給し、その後、処理はステップＳ４５に進む。
【００９３】
ステップＳ４５において、ステアリングホイール状態検出部１０２は、ステアリングホイール５１が運転者の顔の撮影を遮っているかを判定する。具体的には、診断部１０５は、ステアリングホイール５１が運転者の顔の撮影を遮っているか否かの検出をステアリングホイール状態検出部１０２に指示する。ステアリングホイール状態検出部１０２は、例えば、ステアリングホイール５１の転舵角が、ステアリングホイール５１のステアリングスポークを含まない図１０の範囲Ｒ１内に現在の撮像装置１１のフレームが収まる範囲内である場合、ステアリングホイール５１が運転者の顔の撮影を遮っていないと判定する。ステアリングホイール状態検出部１０２は、ステアリングホイール５１が運転者の顔の撮影を遮っていないと判定した場合、ステアリングホイール５１が運転者の顔の撮影を遮っていないことを示す情報を診断部１０５に供給し、その後、処理はステップＳ４６に進む。
【００９４】
ステップＳ４６において、上述した図８のステップＳ２２の処理と同様に、運転中であるかが判定される。運転中であると判定された場合、処理はステップＳ４７に進む。
【００９５】
ステップＳ４７において、通知部３４は、運転姿勢を注意する。具体的には、診断部１０５は、ステアリングホイール５１が運転者の顔を遮っていないのに運転者の顔を検出できず、かつ、入力画像の画素値がほぼ均一でない場合、撮像装置１１のレンズが障害物などにより遮られてはいないが、運転者の姿勢が非常に悪いか、あるいは、運転者が顔を隠している可能性が高いと判定し、運転者の姿勢が悪いか、あるいは、運転者が顔を隠している可能性が高いことを示す情報を通知部３４に供給する。通知部３４は、運転者に姿勢を正し、顔を隠さないように促す警告画面を表示装置３に表示させたり、運転者に姿勢を正し、顔を隠さないように促す警告メッセージを音声出力装置４から出力させたりする。その後、処理はステップＳ５０に進む。
【００９６】
一方、ステップＳ４６において、運転中でないと判定された場合、非検出時処理は終了する。
【００９７】
また、ステップＳ４５において、ステアリングホイール状態検出部１０２は、例えば、ステアリングホイール５１の転舵角が、ステアリングホイール５１のステアリングスポークを含む図１０の範囲Ｒ２の一部または全部が現在の撮像装置１１のフレームに含まれる範囲内である場合、ステアリングホイール５１が運転者の顔の撮影を遮っていると判定する。ステアリングホイール状態検出部１０２は、ステアリングホイール５１が運転者の顔の撮影を遮っていると判定した場合、ステアリングホイール５１が運転者の顔の撮影を遮っていることを示す情報を診断部１０５に供給し、その後、処理はステップＳ４８に進む。
【００９８】
ステップＳ４８において、ステアリングホイール状態検出部１０２は、反射板１５の検出が可能な状態であるかを判定する。具体的には、診断部１０５は、反射板１５の検出が可能な状態であるか否かの検出をステアリングホイール状態検出部１０２に指示する。ステアリングホイール状態検出部１０２は、ステアリングホイール５１の転舵角が、現在の撮像装置１１のフレームに反射板１５が含まれる範囲内でない場合、すなわち、反射板１５の少なくとも一部が撮像装置１１のフレーム内に入らない状態にステアリングホイール５１が動いている場合、反射板１５の検出が可能な状態でないと判定する。ステアリングホイール状態検出部１０２は、反射板１５の検出が可能な状態でないと判定した場合、反射板１５の検出が可能な状態でないことを示す情報を診断部１０５に供給し、非検出時処理は終了する。
【００９９】
一方、ステップＳ４８において、ステアリングホイール状態検出部１０２は、ステアリングホイール５１の転舵角が、現在の撮像装置１１のフレームに反射板１５が含まれる範囲内である場合、すなわち、反射板１５の全てが撮像装置１１のフレーム内に入る状態にステアリングホイール５１が動いている場合、反射板１５の検出が可能な状態であると判定する。ステアリングホイール状態検出部１０２は、反射板１５の検出が可能な状態であると判定した場合、反射板１５の検出が可能な状態であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ４９に進む。
【０１００】
また、ステップＳ４４において、画像解析部１０１は、入力画像の画素値がほぼ均一であると判定した場合、入力画像の画素値がほぼ均一であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ４９に進む。
【０１０１】
ステップＳ４９において、通知部３４は、障害物を取り除くように注意を促す。具体的には、診断部１０５は、入力画像の画素値がほぼ均一である場合、または、反射板１５の検出が可能な状態にも関わらず、入力画像において反射板１５が検出されていない場合、撮像装置１１と運転者の間、または、撮像装置１１と反射板１５との間に障害物が存在し、運転者の顔または反射板１５の撮影を妨げていると判断し、撮像装置１１の前に障害物が存在することを示す情報を通知部３４に供給する。通知部３４は、撮像装置１１の前の障害物を取り除くように喚起する警告画面を表示装置３に表示させたり、撮像装置１１の前の障害物を取り除くように喚起する警告メッセージを音声出力装置４から出力させたりする。その後、処理はステップＳ５０に進む。
【０１０２】
ステップＳ５０において、診断部１０５は、注意に従ったかを判定する。具体的には、診断部１０５は、モニタ部３２から運転者の顔の検出結果を取得し、モニタ部３２により所定の時間内に運転者の顔が検出されたことが通知された場合、運転者が注意に従ったと判定し、非検出時処理は終了する。
【０１０３】
一方、ステップＳ５０において、診断部１０５は、モニタ部３２により所定の時間内に運転者の顔が検出されたことが通知されなかった場合、運転者が注意に従っていないと判定し、処理はステップＳ５１に進む。
【０１０４】
ステップＳ５１において、上述した図８のステップＳ２３の処理と同様に、運転許可者であるかが判定され、運転許可者であると判定された場合、処理はステップＳ５２に進む。
【０１０５】
ステップＳ５２において、上述した図８のステップＳ２４の処理と同様に、異常の発生が通知され、処理は上述した図７のステップＳ８に進まずに、運転者モニタ処理は終了する。
【０１０６】
一方、ステップＳ５１において、運転許可者でないと判定された場合、処理はステップＳ５３に進み、ステップＳ５３において、上述した図８のステップＳ２５の処理と同様に、警報および登録者への通知が行われ、処理は上述した図７のステップＳ８に進まずに、運転者モニタ処理は終了する。
【０１０７】
次に、図１１のフローチャートを参照して、図９のステップＳ４３の自己診断処理の詳細について説明する。
【０１０８】
ステップＳ７１において、露光調整部１０６は、露光を調整する。具体的には、診断部１０５は、露光の調整を露光調整部１０６に指示する。露光調整部１０６は、撮像装置１１の露光量がほぼ所定の値となるように、撮像装置１１の絞りやシャッタースピード、照明装置１２の輝度を調整する。
【０１０９】
ステップＳ７２において、画像解析部１０１は、反射板１５が写っている領域の画素値がほぼ均一であるかを判定する。具体的には、診断部１０５は、入力画像の反射板１５が写っている領域の画素値の分布の解析を画像解析部１０１に指示する。画像解析部１０１は、露光の調整後に撮像装置１１により撮影された入力画像を画像メモリ３１から読み出し、上述した図９のステップＳ４１の処理と同様に、入力画像内に写っている反射板１５を検出する。画像解析部１０１は、所定の統計手法を用いて、入力画像の反射板１５が写っている領域の画素値のバラツキを表す指標値（例えば、領域内の画素値の分散など）を算出する。画像解析部１０１は、算出した指標値を所定の閾値と比較して、反射板１５が写っている領域の画素値がほぼ均一であるか否かを判定する。画像解析部１０１は、反射板１５が写っている領域の画素値がほぼ均一ではないと判定した場合、反射板１５が写っている領域の画素値がほぼ均一ではないことを示す情報を診断部１０５に供給し、その後、処理はステップＳ７３に進む。
【０１１０】
ステップＳ７３において、診断部１０５は、撮像素子の故障が発生していると判定する。すなわち、上述したように、本来画素値がほぼ均一となる反射板１５が写っている領域において、画素値のバラツキが発生していることにより、診断部１０５は、撮像装置１１の撮像素子に故障が発生していると判定する。その後、処理はステップＳ８１に進む。
【０１１１】
なお、このとき、さらに、反射板１５が写っている領域の画素値を詳細に解析することにより、撮像装置１１の画素ごとの欠損を発見するようにすることも可能である。
【０１１２】
また、例えば、反射板１５に虫がとまるなどして、反射板１５が写っている領域において一時的に画素値のバラツキが発生した場合に、撮像素子に故障が発生していると誤判定されないように、反射板１５が写っている領域の画素値がほぼ均一ではない状態が所定の判定時間を超えて連続した場合に、撮像素子の故障が発生していると判定するようにすることが望ましい。
【０１１３】
一方、ステップＳ７２において、画像解析部１０１は、反射板１５が写っている領域の画素値がほぼ均一であると判定した場合、反射板１５が写っている領域の画素値がほぼ均一であることを示す情報を診断部１０５に供給し、その後、処理はステップＳ７４に進む。
【０１１４】
ステップＳ７４において、診断部１０５は、反射板１５が写っている領域の画素値の平均値が下限値以上であるかを判定する。具体的には、診断部１０５は、入力画像の反射板１５が写っている領域の明るさを示す指標として、領域内の画素値の平均値の算出を画像解析部１０１に指示する。画像解析部１０１は、入力画像の反射板１５が写っている領域の画素値の平均値を算出し、診断部１０５に供給する。診断部１０５が、入力画像の反射板１５が写っている領域の画素値の平均値所定の下限値未満であると判定した場合、すなわち、入力画像の反射板１５が写っている領域の明るさが所定の規定値未満である場合、処理はステップＳ７５に進む。
【０１１５】
なお、反射板１５が写っている領域の明るさの判定に、画素値の平均値以外の値を用いるようにしてもよい。
【０１１６】
ステップＳ７５において、診断部１０５は、照明装置１２の劣化またはレンズ透過率の低下が発生していると判定する。すなわち、診断部１０５は、露光を調整したにも関わらず、反射板１５が写っている領域の画素値の平均値が所定の下限値未満となっていることにより、照明装置１２が劣化し、反射板１５への照度が低下しているか、または、劣化や汚れなどにより撮像装置１１のレンズの透過率が低下していると判定する。
【０１１７】
ステップＳ７６において、診断部１０５は、入力画像において発光素子１６の明るさが規定値以上であるかを判定する。具体的には、診断部１０５は、発光素子１６が写っている領域の明るさを示す指標として、領域内の画素値の平均値の算出を画像解析部１０１に指示する。画像解析部１０１は、例えば、パターンマッチングの手法などを用いて、ステップＳ７２において取得した入力画像内に写っている発光素子１６を検出する。画像解析部１０１は、発光素子１６が写っている領域内の画素値の平均値を算出し、診断部１０５に供給する。診断部１０５は、発光素子１６が写っている領域内の画素値の平均値が所定の閾値未満である場合、入力画像において発光素子１６の明るさが規定値未満であると判定し、処理はステップＳ７７に進む。
【０１１８】
なお、発光素子１６が写っている領域の明るさの判定に、画素値の平均値以外の値を用いるようにしてもよい。
【０１１９】
ステップＳ７７において、診断部１０５は、レンズ透過率の低下が発生していると判定する。すなわち、入力画像における発光素子１６の明るさは、照明装置１２の輝度とは無関係であるので、診断部１０５は、入力画像における発光素子１６の明るさが規定値未満であることにより、照明装置１２の劣化ではなく、撮像装置１１のレンズの透過率の低下が発生していると判定する。その後、処理はステップＳ８１に進む。
【０１２０】
一方、ステップＳ７６において、診断部１０５は、発光素子１６が写っている領域内の画素値の平均値が所定の閾値以上である場合、入力画像において発光素子１６の明るさが規定値以上であると判定し、処理はステップＳ７８に進む。
【０１２１】
ステップＳ７８において、診断部１０５は、照明装置１２の劣化が発生していると判定する。すなわち、入力画像における発光素子１６の明るさは、照明装置１２の輝度とは無関係であるので、診断部１０５は、入力画像における発光素子１６の明るさが規定値以上であることにより、撮像装置１１のレンズの透過率の低下ではなく、照明装置１２の劣化が発生していると判定する。その後、処理はステップＳ８１に進む。
【０１２２】
一方、ステップＳ７４において、反射板１５が写っている領域の画素値の平均値が下限値以上であると判定された場合、すなわち、入力画像の反射板１５が写っている領域の明るさが所定の規定値以上である場合、処理はステップＳ７９に進む。
【０１２３】
ステップＳ７９において、診断部１０５は、エッジ強度が規定値以上であるかを判定する。具体的には、診断部１０５は、入力画像のエッジ強度の検出を画像解析部１０１に指示する。画像解析部１０１は、所定の手法を用いて、ステップＳ７２において取得した入力画像に対してエッジ抽出を行い、抽出したエッジ部分のエッジ強度を検出する。画像解析部１０１は、検出したエッジ強度を示す情報を診断部１０５に供給する。診断部１０５が、検出されたエッジ強度が所定の規定値未満であると判定した場合、処理はステップＳ８０に進む。
【０１２４】
ステップＳ８０において、診断部１０５は、レンズの焦点のズレが発生していると判定する。すなわち、診断部１０５は、撮像装置１１の撮像素子の故障およびレンズの透過率の低下、並びに、照明装置１２の劣化が発生していないにも関わらず、入力画像のエッジ強度が規定値以下となっていることにより、撮像装置１１のレンズの焦点が合っておらず、入力画像にボケが発生していると判定する。
【０１２５】
ステップＳ８１において、通知部３４は、異常の発生を通知する。具体的には、診断部１０５は、検出した異常の内容を示す情報を通知部３４に供給する。通知部３４は、表示装置３に警告画面を表示させたり、音声出力装置４から警告メッセージや警告音を出力させることにより、運転者モニタシステム１に異常が発生したことを通知する。
【０１２６】
なお、例えば、図１２に示されるように、検出された異常の種類に応じてＥ１乃至Ｅ４のエラーコードを通知し、異常の内容を詳細に運転者に通知したり、さらに対処方法を通知するようにしてもよい。その後、処理は上述した図７のステップＳ８に進まずに、運転者モニタ処理は終了する。
【０１２７】
一方、ステップＳ７９において、検出されたエッジ強度が所定の規定値以上であると判定された場合、自己診断処理は終了する。
【０１２８】
以上のようにして、撮像装置１１および照明装置１２の異常を、複雑な処理を行うことなく、簡単かつ確実に検出することができる。
【０１２９】
また、単純な直線コースを進行する場合を除いて、ステアリングホイール５１を切らずに出発地から目的地まで移動することはほぼ不可能であり、ほぼ確実に運転中にステアリングスポーク５１Ａが撮像装置１１の前を横切るため、ほぼリアルタイムに撮像装置１１および照明装置１２の異常を検出することが可能である。
【０１３０】
なお、外光（例えば、太陽光）がステアリングスポーク５１Ａの裏の反射板１５に入射する場合、照明装置１２が点灯した状態で撮影された入力画像と、消灯した状態で撮影された入力画像との差分をとることにより、その外光の影響を取り除いた差分画像を用いて、上述した処理を行うことで、自己診断処理の精度を向上させることができる。
【０１３１】
また、入力画像の差分を取らずに、反射板１５の明るさが所定の規定値以上である場合、外光が反射板１５に入射したと判断し、自己診断処理をスキップするようにすることも可能である。
【０１３２】
さらに、反射板１５の代わりに鏡を取り付けることにより、撮像装置１１の本体の外観検査や、撮像装置１１の個々のLEDの放射強度の確認をすることが可能になる。
【０１３３】
また、反射板１５が撮像装置１１の前を横切るときに、撮像装置１１の全ての撮像素子に反射板１５が映るように反射板１５の形状や取り付け位置を工夫することで、全ての撮像素子の不良の有無の確認が可能になる。
【０１３４】
さらに、ステアリングホイール５１の左右のステアリングスポークの裏側に互いに形状の異なる反射板を設置することにより、どのスポークが撮像装置１１を遮っているかを検出することが可能となる。さらに、停車中にステアリングホイール５１を切ることにより、自己診断処理を開始させるトリガーとして反射板を使用することが可能になる。例えば、右、左、左の順にステアリングホイール５１を切ったことが検出された場合に、自己診断処理を開始させることが可能になる。
【０１３５】
また、ステアリングホイール５１のステアリングスポークの裏側に、反射板１５の他に、所定のテストパターンを設けるようにして、そのテストパターンを用いて、画像処理装置１４の異常の有無を検出するようにしてもよい。なお、そのテストパターンを、反射版１５の近傍に設置するようにしてもよいし、例えば、ステアリングホイール５１の左右の一方のステアリングスポークの裏側に反射板１５を設置し、もう一方のステアリングスポークの裏側にテストパターンを設置するようにしてもよい。
【０１３６】
さらに、必ずしも、発光素子１６を反射板１５とともに移動させる必要はなく、発光素子１６を常に撮像装置１１のフレーム内に入る位置に設置するようにしてもよい。
【０１３７】
なお、本発明は、上述した運転者モニタシステム以外にも、定期または不定期を問わず、必ず撮像装置のフレーム内に入ったり、横切ったりする可動物が存在するシステムに適用することが可能である。
【０１３８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３９】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４０】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１４１】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１４２】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４３】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４４】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１４５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４６】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１４７】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明を適用した運転者モニタシステムの一実施の形態を示すブロック図である。
【図２】撮像装置および照明装置の設置位置の例を示す図である。
【図３】撮像装置および照明装置の設置位置の例を示す図である。
【図４】入力画像の例を示す図である。
【図５】反射板と発光素子の設置位置の例を示す図である。
【図６】診断処理部の機能的構成の例を示す図である。
【図７】運転者モニタ処理を説明するためのフローチャートである。
【図８】図７のステップＳ３の初期異常対応処理の詳細を説明するためのフローチャートである。
【図９】図７のステップＳ７の非検出時処理の詳細を説明するためのフローチャートである。
【図１０】ステアリングホイールが運転者の顔の撮影を遮っているか否かを判定する条件の例を説明するための図である。
【図１１】図９のステップＳ４３の自己診断処理の詳細を説明するためのフローチャートである。
【図１２】エラーコードの例を示す図である。
【図１３】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１４９】
１ 運転者モニタシステム
１１ 撮像装置
１２ 照明装置
１３ センサ部
１４ 画像処理装置
１５ 反射板
１６ 発光素子
２１ 転舵角センサ
２２ 車速センサ
２３ 加速度センサ
３２ モニタ部
３３ 診断処理部
３４ 通知部
５１ ステアリングホイール
５１Ａ ステアリングスポーク
５２ ステアリングコラム
１０１ 画像解析部
１０２ ステアリングホイール状態検出部
１０３ 運転状態検出部
１０４ 運転許可者確認部
１０５ 診断部
１０６ 露光調整部
【特許請求の範囲】
【請求項１】
車両を運転する運転者に光を照射する照明装置、および、前記照明装置により光が照射された前記運転者を撮影する撮像装置の異常を検出する異常検出装置において、
前記車両の可動部の動きとともに移動する反射面であって、前記可動部が所定の状態に動き、前記撮像装置と前記運転者との間において前記撮像装置のフレーム内に入った場合に前記照明装置の照明面および前記撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、前記撮像装置により撮影された入力画像の領域である反射領域を検出し、前記反射領域の解析を行う画像解析手段と、
前記反射領域の解析結果に基づいて、前記照明装置および前記撮像装置の異常を検出する異常検出手段と
を含む異常検出装置。
【請求項２】
前記画像解析手段は、前記反射領域の画素値のバラツキを検出し、
前記異常検出手段は、前記反射領域の画素値のバラツキに基づいて、前記撮像装置の異常を検出する
請求項１に記載の異常検出装置。
【請求項３】
前記画像解析手段は、前記反射領域の明るさを検出し、
前記異常検出手段は、前記反射領域の明るさに基づいて、前記撮像装置または前記照明装置の異常を検出する
請求項１に記載の異常検出装置。
【請求項４】
前記画像解析手段は、さらに、少なくとも前記反射面が前記撮像装置のフレーム内に入った場合に前記撮像装置のフレーム内に入る発光手段により発せられた光が写っている、前記入力画像の領域である発光領域を検出し、前記発光領域の明るさを検出し、
前記異常検出手段は、さらに、前記発光領域の明るさに基づいて、前記撮像装置または前記照明装置のいずれに異常が発生しているかを検出する
請求項３に記載の異常検出装置。
【請求項５】
前記画像解析手段は、前記入力画像のエッジ強度を検出し、
前記異常検出手段は、前記入力画像のエッジ強度に基づいて、前記撮像装置の異常を検出する
請求項１に記載の異常検出装置。
【請求項６】
前記可動部は、前記車両のステアリングホイールである
請求項１に記載の異常検出装置。
【請求項７】
前記可動部の状態を検出する状態検出手段を
さらに含み、
前記異常検出手段は、前記反射面が前記撮像装置のフレーム内に入る状態に前記可動部が動いている場合に、前記入力画像において前記反射領域が検出されなかったとき、前記撮像装置と前記反射面との間に障害物が存在していると判定する
請求項１に記載の異常検出装置。
【請求項８】
前記異常検出手段は、前記反射領域が検出されなかった場合に、前記入力画像の画素値がほぼ均一であるとき、前記撮像装置と前記運転者との間に障害物が存在していると判定する
請求項１に記載の異常検出装置。
【請求項９】
車両を運転する運転者に光を照射する照明装置、および、前記照明装置により光が照射された前記運転者を撮影する撮像装置の異常を検出する異常検出装置の異常検出方法において、
前記車両の可動部の動きとともに移動する反射面であって、前記可動部が所定の状態に動き、前記撮像装置と前記運転者との間において前記撮像装置のフレーム内に入った場合に前記照明装置の照明面および前記撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、前記撮像装置により撮影された入力画像の領域である反射領域を検出し、前記反射領域の解析を行う画像解析ステップと、
前記反射領域の解析結果に基づいて、前記照明装置および前記撮像装置の異常を検出する異常検出ステップと
を含む異常検出方法。
【請求項１０】
車両を運転する運転者に光を照射する照明装置、および、前記照明装置により光が照射された前記運転者を撮影する撮像装置の異常を検出する処理を、コンピュータに実行させるプログラムにおいて、
前記車両の可動部の動きとともに移動する反射面であって、前記可動部が所定の状態に動き、前記撮像装置と前記運転者との間において前記撮像装置のフレーム内に入った場合に前記照明装置の照明面および前記撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、前記撮像装置により撮影された入力画像の領域である反射領域を検出し、前記反射領域の解析を行う画像解析ステップと、
前記反射領域の解析結果に基づいて、前記照明装置および前記撮像装置の異常を検出する異常検出ステップと
を含む処理を実行させるプログラム。
【請求項１】
車両を運転する運転者に光を照射する照明装置、および、前記照明装置により光が照射された前記運転者を撮影する撮像装置の異常を検出する異常検出装置において、
前記車両の可動部の動きとともに移動する反射面であって、前記可動部が所定の状態に動き、前記撮像装置と前記運転者との間において前記撮像装置のフレーム内に入った場合に前記照明装置の照明面および前記撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、前記撮像装置により撮影された入力画像の領域である反射領域を検出し、前記反射領域の解析を行う画像解析手段と、
前記反射領域の解析結果に基づいて、前記照明装置および前記撮像装置の異常を検出する異常検出手段と
を含む異常検出装置。
【請求項２】
前記画像解析手段は、前記反射領域の画素値のバラツキを検出し、
前記異常検出手段は、前記反射領域の画素値のバラツキに基づいて、前記撮像装置の異常を検出する
請求項１に記載の異常検出装置。
【請求項３】
前記画像解析手段は、前記反射領域の明るさを検出し、
前記異常検出手段は、前記反射領域の明るさに基づいて、前記撮像装置または前記照明装置の異常を検出する
請求項１に記載の異常検出装置。
【請求項４】
前記画像解析手段は、さらに、少なくとも前記反射面が前記撮像装置のフレーム内に入った場合に前記撮像装置のフレーム内に入る発光手段により発せられた光が写っている、前記入力画像の領域である発光領域を検出し、前記発光領域の明るさを検出し、
前記異常検出手段は、さらに、前記発光領域の明るさに基づいて、前記撮像装置または前記照明装置のいずれに異常が発生しているかを検出する
請求項３に記載の異常検出装置。
【請求項５】
前記画像解析手段は、前記入力画像のエッジ強度を検出し、
前記異常検出手段は、前記入力画像のエッジ強度に基づいて、前記撮像装置の異常を検出する
請求項１に記載の異常検出装置。
【請求項６】
前記可動部は、前記車両のステアリングホイールである
請求項１に記載の異常検出装置。
【請求項７】
前記可動部の状態を検出する状態検出手段を
さらに含み、
前記異常検出手段は、前記反射面が前記撮像装置のフレーム内に入る状態に前記可動部が動いている場合に、前記入力画像において前記反射領域が検出されなかったとき、前記撮像装置と前記反射面との間に障害物が存在していると判定する
請求項１に記載の異常検出装置。
【請求項８】
前記異常検出手段は、前記反射領域が検出されなかった場合に、前記入力画像の画素値がほぼ均一であるとき、前記撮像装置と前記運転者との間に障害物が存在していると判定する
請求項１に記載の異常検出装置。
【請求項９】
車両を運転する運転者に光を照射する照明装置、および、前記照明装置により光が照射された前記運転者を撮影する撮像装置の異常を検出する異常検出装置の異常検出方法において、
前記車両の可動部の動きとともに移動する反射面であって、前記可動部が所定の状態に動き、前記撮像装置と前記運転者との間において前記撮像装置のフレーム内に入った場合に前記照明装置の照明面および前記撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、前記撮像装置により撮影された入力画像の領域である反射領域を検出し、前記反射領域の解析を行う画像解析ステップと、
前記反射領域の解析結果に基づいて、前記照明装置および前記撮像装置の異常を検出する異常検出ステップと
を含む異常検出方法。
【請求項１０】
車両を運転する運転者に光を照射する照明装置、および、前記照明装置により光が照射された前記運転者を撮影する撮像装置の異常を検出する処理を、コンピュータに実行させるプログラムにおいて、
前記車両の可動部の動きとともに移動する反射面であって、前記可動部が所定の状態に動き、前記撮像装置と前記運転者との間において前記撮像装置のフレーム内に入った場合に前記照明装置の照明面および前記撮像装置の撮像面とほぼ平行となる反射面により反射された光が写っている、前記撮像装置により撮影された入力画像の領域である反射領域を検出し、前記反射領域の解析を行う画像解析ステップと、
前記反射領域の解析結果に基づいて、前記照明装置および前記撮像装置の異常を検出する異常検出ステップと
を含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１５９５６８（Ｐ２００９−１５９５６８Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３８８０６（Ｐ２００７−３３８８０６）
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]