瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
【課題】直接的に瞳孔の隠蔽状態を検出することができる瞳孔隠蔽状態検出装置を提供すること。
【解決手段】瞳孔隠蔽状態検出装置２０は、運転者の視線の方向を検出する視線方向検出手段２２と、目領域の画像の輝度勾配を算出する輝度勾配算出手段２３と、勾配強度垂直分布を算出する勾配強度算出手段２４と、運転者の視線の方向がインストルメントパネルの方向である場合の基準勾配強度垂直分布のデータを保存する勾配強度保存手段２５と、現フレームでの勾配強度垂直分布のデータと基準勾配強度垂直分布のデータとの差分を算出する差分算出手段２６と、瞳孔が隠蔽されている可能性を示す評価値を算出する評価値算出手段２７と、所定数以上のフレームにわたって瞳孔が隠蔽されている可能性を示す評価値が連続した場合、瞳孔が隠蔽されていると判定する瞳孔隠蔽判定手段２９と、を備える。
【解決手段】瞳孔隠蔽状態検出装置２０は、運転者の視線の方向を検出する視線方向検出手段２２と、目領域の画像の輝度勾配を算出する輝度勾配算出手段２３と、勾配強度垂直分布を算出する勾配強度算出手段２４と、運転者の視線の方向がインストルメントパネルの方向である場合の基準勾配強度垂直分布のデータを保存する勾配強度保存手段２５と、現フレームでの勾配強度垂直分布のデータと基準勾配強度垂直分布のデータとの差分を算出する差分算出手段２６と、瞳孔が隠蔽されている可能性を示す評価値を算出する評価値算出手段２７と、所定数以上のフレームにわたって瞳孔が隠蔽されている可能性を示す評価値が連続した場合、瞳孔が隠蔽されていると判定する瞳孔隠蔽判定手段２９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車両の運転者の居眠りや脇見などの状態を検知する装置に用いられる瞳孔隠蔽状態検出装置及びそれを備えた車載カメラに関する。
【背景技術】
【０００２】
車両の運転者の居眠りや脇見などの状態を検知する装置においては、運転者の撮像画像から運転者の瞳孔を検出する必要がある。しかしながら、運転者が眼鏡を装着していると眼鏡のフレームによって瞳孔が隠蔽されることがあり、運転者の瞳孔が正しく検出できないので、瞳孔が隠蔽されているか否かの情報を得る必要がある。その手段の一つとして、眼鏡のフレーム自体を検出し、眼鏡のフレームが瞳孔を隠蔽しているか否かを検出するという方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６８３６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、眼鏡のフレームの輪郭を抽出する手順が必要であるが、眼鏡のフレームの形状は多岐にわたるので眼鏡のフレーム自体の検出が困難であるという課題があった。
【０００５】
また、運転者を撮像する際に運転者の瞳孔が隠蔽される要因としては、眼鏡のフレーム以外にも、例えば、下瞼やマスク、髪の毛などがあるため、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することが可能となる技術が求められていた。
【０００６】
本発明は、前述のような事情に鑑みてなされたものであり、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる瞳孔隠蔽状態検出装置及びそれを備えた車載カメラを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の瞳孔隠蔽状態検出装置は、車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段と、前記顔画像から前記運転者の目領域を検出する目領域検出手段と、前記目領域の画像から前記運転者の視線方向を検出する視線方向検出手段と、前記目領域の画像を構成する各画素の輝度勾配を算出する輝度勾配算出手段と、前記輝度勾配算出手段が算出した前記輝度勾配から前記目領域の画像の垂直座標ごとに前記輝度勾配の強度の和を算出することにより勾配強度垂直分布のデータをフレームごとに求める勾配強度算出手段と、前記視線方向検出手段が検出した視線方向が、前記運転者が前記インストルメントパネルを見る方向であるときに前記勾配強度算出手段が求めた勾配強度垂直分布のデータを保存する勾配強度保存手段と、前記勾配強度保存手段に保存された勾配強度垂直分布と現フレームでの勾配強度垂直分布との差分を算出する差分算出手段と、前記差分算出手段が算出した差分に基づいて前記瞳孔が隠蔽されているか否かを判定する瞳孔隠蔽判定手段と、を備えた構成を有している。
【０００８】
この構成により、本発明の瞳孔隠蔽状態検出装置は、運転者がインストルメントパネルを見ている状態、すなわち、運転者の瞳孔が隠蔽されていない状態での目領域の勾配強度垂直分布を基準として瞳孔が隠蔽されているか否かを判定するので、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【０００９】
また、本発明の瞳孔隠蔽状態検出装置は、前記差分算出手段が算出した差分に基づいて、前記運転者の瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出する評価値算出手段を備え、前記瞳孔隠蔽判定手段は、予め定められたフレーム数閾値以上のフレームにわたって前記瞳孔が隠蔽されている可能性を示す評価値が連続したとき前記瞳孔が隠蔽されていると判定するものである構成を有している。
【００１０】
この構成により、本発明の瞳孔隠蔽状態検出装置は、瞳孔が隠蔽されている可能性を示す評価値に基づいて瞳孔が隠蔽されているか否かを判定するので、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【００１１】
本発明の車載カメラは、瞳孔隠蔽状態検出装置と、前記車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段を有する撮像装置と、を備えた構成を有している。
【００１２】
この構成により、本発明の車載カメラは、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【発明の効果】
【００１３】
本発明は、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができるという効果を有する瞳孔隠蔽状態検出装置及びそれを備えた車載カメラを提供することができるものである。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における車載カメラの構成を示すブロック図
【図２】本発明の一実施形態における車載カメラにおいて、検出された目領域の画像と、輝度勾配及び勾配強度垂直分布の算出についての説明図
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を用いて説明する。
【００１６】
まず、本発明の一実施形態における車載カメラの構成について、図１及び図２に基づいて説明する。
【００１７】
図１に示すように、本実施形態における車載カメラ１は、撮像装置１０と、瞳孔隠蔽状態検出装置２０と、を備えている。
【００１８】
撮像装置１０は、レンズ部１１と、撮像手段としての撮像素子１２と、信号処理回路１３と、を備え、車両の運転者の顔を被写体として撮像し、撮像した被写体の画像データを予め定められたフレーム間隔で瞳孔隠蔽状態検出装置２０に出力するようになっている。
【００１９】
この撮像装置１０は、運転者がインストルメントパネルの方向に視線を向けたときに運転者が直視可能な領域に設けられている。例えば、撮像装置１０は、車両のインストルメントパネル内に設置される。具体的には、インストルメントパネルには、スピードメータ、タコメータ、燃料計、水温計、距離計など、自動車の走行に必要な情報を指し示す計器類が備えてあり、例えば、スピードメータとタコメータとの間に撮像装置１０が設けられる。この構成により、撮像装置１０は、運転者がインストルメントパネルに視線を向けたとき、直接的に瞳孔を撮像できることとなる。
【００２０】
なお、撮像装置１０を設ける領域は、インストルメントパネル内に限定されない。例えば、ステアリングシャフトを内包するステアリングコラムの上面に撮像装置１０を設置し、運転者がインストルメントパネルに視線を向けたとき、撮像装置１０が直接的に瞳孔を撮像できる構成としてもよい。
【００２１】
レンズ部１１は、被写体の光を集光し、被写体の像を撮像素子１２の撮像面に結像するようになっている。撮像素子１２は、レンズ部１１が結像する被写体の像を撮像して、被写体画像を生成するようになっている。撮像素子１２はＣＣＤ（Charge Coupled Device）により構成される。なお、撮像素子１２は、ＭＯＳ（Metal Oxide Semiconductor）型撮像素子であってもよい。
【００２２】
信号処理回路１３は、例えば、相関二重サンプリング回路、自動利得補正回路及びＡＤコンバータ回路等により構成され、被写体画像のデータを出力するようになっている。相関二重サンプリング回路は、撮像素子１２により生成された被写体画像の雑音を除去するものである。自動利得補正回路は、相関二重サンプリング回路からの信号に対して自動的に利得補正を行うものである。ＡＤコンバータ回路は、自動利得補正回路からのアナログ信号をデジタル信号に変換するものである。
【００２３】
瞳孔隠蔽状態検出装置２０は、目領域検出手段２１、視線方向検出手段２２、輝度勾配算出手段２３、勾配強度算出手段２４、勾配強度保存手段２５、差分算出手段２６、評価値算出手段２７、評価値保存手段２８、瞳孔隠蔽判定手段２９を備えている。
【００２４】
目領域検出手段２１は、撮像装置１０によって撮像された運転者の顔画像から目領域をフレームごとに検出し、目領域の画像データを視線方向検出手段２２及び輝度勾配算出手段２３に出力するようになっている。目領域検出手段２１によって検出された目領域の画像の一例を図２（ａ）に示す。図２（ａ）に示した目領域の画像は、運転者がインストルメントパネルを見ているときの目領域の画像である。
【００２５】
視線方向検出手段２２は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像から瞳孔の画像を検出することにより、運転者の視線の方向をフレームごとに検出するようになっている。また、視線方向検出手段２２は、検出した運転者の視線の方向を示すデータを勾配強度算出手段２４に出力するようになっている。
【００２６】
輝度勾配算出手段２３は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像の輝度勾配をフレームごとに算出するようになっている。この輝度勾配の算出について図２（ｂ）を用いて具体的に説明する。目領域検出手段２１によって検出された目領域の画像は、図２（ｂ）に示すように、垂直方向（Ｙ軸方向）にｉ＝１からｉ＝ｎまでのｎ個の画素と、水平方向（Ｘ軸方向）にｊ＝１からｊ＝ｍまでのｍ個の画素とで構成されているとする。この場合、輝度勾配算出手段２３は、ｎ×ｍ個の全画素について画素ごとに輝度勾配を算出する。
【００２７】
勾配強度算出手段２４は、輝度勾配算出手段２３が算出した輝度勾配から目領域の画像の垂直座標ごとに輝度勾配の強度（絶対値）の和（以下「勾配強度垂直分布」という。）をフレームごとに算出するようになっている。勾配強度垂直分布の一例を図２（ｃ）に示す。図２（ｃ）に示したように、勾配強度算出手段２４は、輝度勾配算出手段２３が算出した輝度勾配を、Ｙ軸座標がｉ＝１の行からｉ＝ｎの行までの範囲にわたってＹ軸座標ごとに輝度勾配の強度の和を算出し、勾配強度垂直分布を求めるものである。
【００２８】
また、勾配強度算出手段２４は、視線方向検出手段２２によって検出された運転者の視線の方向がインストルメントパネルの方向である場合の勾配強度垂直分布（以下「基準勾配強度垂直分布」という。）のデータを勾配強度保存手段２５に保存するようになっている。すなわち、勾配強度保存手段２５は、瞳孔が隠蔽されていない状態での目領域の勾配強度垂直分布を基準勾配強度垂直分布として保存するものである。
【００２９】
差分算出手段２６は、勾配強度算出手段２４によって算出された現フレームでの勾配強度垂直分布のデータを入力するようになっている。また、差分算出手段２６は、勾配強度保存手段２５に保存された基準勾配強度垂直分布のデータを読み出すようになっている。そして、差分算出手段２６は、現フレームでの勾配強度垂直分布のデータと、基準勾配強度垂直分布のデータとの差分を算出するようになっている。
【００３０】
評価値算出手段２７は、差分算出手段２６が算出した差分のデータを入力し、この差分に応じて、瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出するようになっている。例えば、評価値算出手段２７は、次式により評価値Ｅを算出する。
【００３１】
Ｅ＝Σ｜Ｂ（ｉ）−Ａ（ｉ）｜
【００３２】
ここで、Ａ（ｉ）は基準勾配強度垂直分布のＹ座標ｉにおける輝度勾配の強度の和、Ｂ（ｉ）は現フレームでの勾配強度垂直分布のＹ座標ｉにおける輝度勾配の強度の和を示し、評価値ＥはΣ演算によりｉ＝１〜ｎの範囲で積算されることにより算出される。また、評価値算出手段２７は、算出した評価値のデータを評価値保存手段２８に保存するようになっている。
【００３３】
瞳孔隠蔽判定手段２９は、評価値算出手段２７によって算出された現フレームでの評価値のデータを入力するようになっている。また、瞳孔隠蔽判定手段２９は、評価値保存手段２８に保存された過去のフレーム（例えば現フレームの１フレーム前）での評価値のデータを読み出すようになっている。さらに、瞳孔隠蔽判定手段２９は、現フレームでの評価値のデータと、１フレーム前の評価値のデータとを比較するようになっている。そして、瞳孔隠蔽判定手段２９は、予め定められたフレーム数閾値以上のフレームにわたって瞳孔が隠蔽されている可能性を示す評価値が連続した場合、瞳孔が隠蔽されていると判定し、その旨を示す信号を出力するようになっている。
【００３４】
次に、本実施形態における車載カメラ１の動作について説明する。
【００３５】
まず、撮像装置１０は、車両の運転者の顔を被写体として撮像し、予め定められたフレーム間隔で顔画像のデータを瞳孔隠蔽状態検出装置２０に出力する。すなわち、レンズ部１１は、被写体の光を集光し、被写体の像を撮像素子１２の撮像面に結像する。撮像素子１２は、レンズ部１１が結像する被写体の像を撮像して、被写体画像を生成する。信号処理回路１３は、所定の信号処理を行ってデジタル信号の顔画像のデータを出力する。
【００３６】
次に、瞳孔隠蔽状態検出装置２０において、目領域検出手段２１は、撮像装置１０によって撮像された運転者の顔画像から目領域の画像をフレームごとに検出し、目領域の画像データを視線方向検出手段２２及び輝度勾配算出手段２３に出力する。
【００３７】
視線方向検出手段２２は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像から瞳孔の画像を検出することにより、運転者の視線の方向をフレームごとに検出する。そして、視線方向検出手段２２は、検出した運転者の視線の方向を示すデータを勾配強度算出手段２４に出力する。
【００３８】
輝度勾配算出手段２３は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像の輝度勾配をフレームごとに算出する。
【００３９】
勾配強度算出手段２４は、輝度勾配算出手段２３が算出した輝度勾配から目領域の画像の垂直座標ごとに勾配強度垂直分布をフレームごとに算出する。また、勾配強度算出手段２４は、視線方向検出手段２２によって検出された運転者の視線の方向がインストルメントパネルの方向であるとき、そのときの勾配強度垂直分布を基準勾配強度垂直分布とし、この基準勾配強度垂直分布のデータを勾配強度保存手段２５に保存する。ここで、勾配強度算出手段２４は、視線方向検出手段２２によって運転者の視線の方向の検出が開始されてから、運転者の視線の方向がインストルメントパネルの方向となるまでは勾配強度保存手段２５に対してデータの保存を行わない。
【００４０】
差分算出手段２６は、勾配強度算出手段２４によって算出された現フレームでの勾配強度垂直分布のデータを入力する。また、差分算出手段２６は、勾配強度保存手段２５に保存された基準勾配強度垂直分布のデータを読み出す。そして、差分算出手段２６は、現フレームでの勾配強度垂直分布のデータと、基準勾配強度垂直分布のデータとの差分を算出する。
【００４１】
評価値算出手段２７は、差分算出手段２６が算出した差分のデータを入力し、この差分に基づいて瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出する。また、評価値算出手段２７は、算出した評価値のデータを評価値保存手段２８に保存する。
【００４２】
瞳孔隠蔽判定手段２９は、評価値算出手段２７によって算出された現フレームでの評価値のデータを入力する。また、瞳孔隠蔽判定手段２９は、評価値保存手段２８に保存された現フレームの１フレーム前での評価値のデータを読み出す。さらに、瞳孔隠蔽判定手段２９は、現フレームでの評価値のデータと、１フレーム前の評価値のデータとを比較する。そして、瞳孔隠蔽判定手段２９は、予め定められたフレーム数閾値以上のフレームにわたって瞳孔が隠蔽されている可能性を示す評価値が連続した場合、瞳孔が隠蔽されていると判定し、その旨を示す信号を出力する。
【００４３】
以上のように、本実施形態における瞳孔隠蔽状態検出装置２０によれば、運転者がインストルメントパネルを見ている状態、すなわち、運転者の瞳孔が隠蔽されていない状態の目領域の勾配強度垂直分布を基準として瞳孔が隠蔽されているか否かを判定する構成としたので、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【００４４】
したがって、本実施形態における瞳孔隠蔽状態検出装置２０は、運転者が眼鏡フレームを装着している場合での瞳孔の隠蔽や、眼鏡フレーム以外の要因による瞳孔の隠蔽も検出可能となり、瞳孔の隠蔽状態の検出精度を向上させることができる。
【００４５】
なお、前述の実施形態において、瞳孔隠蔽判定手段２９が、瞳孔が隠蔽されている可能性を示す評価値に基づいて瞳孔が隠蔽されているか否かを判定する構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、瞳孔隠蔽判定手段２９が、差分算出手段２６によって算出された差分が予め定められた閾値を超えたとき、瞳孔が隠蔽されたと判定する構成としてもよい。
【産業上の利用可能性】
【００４６】
以上のように、本発明に係る瞳孔隠蔽状態検出装置及びそれを備えた車載カメラは、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができるという効果を有し、車両の運転者の居眠りや脇見などの状態を検知する装置に用いられる瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ等として有用である。
【符号の説明】
【００４７】
１ 車載カメラ
１０ 撮像装置
１１ レンズ部
１２ 撮像素子（撮像手段）
１３ 信号処理回路
２０ 瞳孔隠蔽状態検出装置
２１ 目領域検出手段
２２ 視線方向検出手段
２３ 輝度勾配算出手段
２４ 勾配強度算出手段
２５ 勾配強度保存手段
２６ 差分算出手段
２７ 評価値算出手段
２８ 評価値保存手段
２９ 瞳孔隠蔽判定手段
【技術分野】
【０００１】
本発明は、例えば、車両の運転者の居眠りや脇見などの状態を検知する装置に用いられる瞳孔隠蔽状態検出装置及びそれを備えた車載カメラに関する。
【背景技術】
【０００２】
車両の運転者の居眠りや脇見などの状態を検知する装置においては、運転者の撮像画像から運転者の瞳孔を検出する必要がある。しかしながら、運転者が眼鏡を装着していると眼鏡のフレームによって瞳孔が隠蔽されることがあり、運転者の瞳孔が正しく検出できないので、瞳孔が隠蔽されているか否かの情報を得る必要がある。その手段の一つとして、眼鏡のフレーム自体を検出し、眼鏡のフレームが瞳孔を隠蔽しているか否かを検出するという方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６８３６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、眼鏡のフレームの輪郭を抽出する手順が必要であるが、眼鏡のフレームの形状は多岐にわたるので眼鏡のフレーム自体の検出が困難であるという課題があった。
【０００５】
また、運転者を撮像する際に運転者の瞳孔が隠蔽される要因としては、眼鏡のフレーム以外にも、例えば、下瞼やマスク、髪の毛などがあるため、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することが可能となる技術が求められていた。
【０００６】
本発明は、前述のような事情に鑑みてなされたものであり、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる瞳孔隠蔽状態検出装置及びそれを備えた車載カメラを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の瞳孔隠蔽状態検出装置は、車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段と、前記顔画像から前記運転者の目領域を検出する目領域検出手段と、前記目領域の画像から前記運転者の視線方向を検出する視線方向検出手段と、前記目領域の画像を構成する各画素の輝度勾配を算出する輝度勾配算出手段と、前記輝度勾配算出手段が算出した前記輝度勾配から前記目領域の画像の垂直座標ごとに前記輝度勾配の強度の和を算出することにより勾配強度垂直分布のデータをフレームごとに求める勾配強度算出手段と、前記視線方向検出手段が検出した視線方向が、前記運転者が前記インストルメントパネルを見る方向であるときに前記勾配強度算出手段が求めた勾配強度垂直分布のデータを保存する勾配強度保存手段と、前記勾配強度保存手段に保存された勾配強度垂直分布と現フレームでの勾配強度垂直分布との差分を算出する差分算出手段と、前記差分算出手段が算出した差分に基づいて前記瞳孔が隠蔽されているか否かを判定する瞳孔隠蔽判定手段と、を備えた構成を有している。
【０００８】
この構成により、本発明の瞳孔隠蔽状態検出装置は、運転者がインストルメントパネルを見ている状態、すなわち、運転者の瞳孔が隠蔽されていない状態での目領域の勾配強度垂直分布を基準として瞳孔が隠蔽されているか否かを判定するので、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【０００９】
また、本発明の瞳孔隠蔽状態検出装置は、前記差分算出手段が算出した差分に基づいて、前記運転者の瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出する評価値算出手段を備え、前記瞳孔隠蔽判定手段は、予め定められたフレーム数閾値以上のフレームにわたって前記瞳孔が隠蔽されている可能性を示す評価値が連続したとき前記瞳孔が隠蔽されていると判定するものである構成を有している。
【００１０】
この構成により、本発明の瞳孔隠蔽状態検出装置は、瞳孔が隠蔽されている可能性を示す評価値に基づいて瞳孔が隠蔽されているか否かを判定するので、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【００１１】
本発明の車載カメラは、瞳孔隠蔽状態検出装置と、前記車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段を有する撮像装置と、を備えた構成を有している。
【００１２】
この構成により、本発明の車載カメラは、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【発明の効果】
【００１３】
本発明は、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができるという効果を有する瞳孔隠蔽状態検出装置及びそれを備えた車載カメラを提供することができるものである。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における車載カメラの構成を示すブロック図
【図２】本発明の一実施形態における車載カメラにおいて、検出された目領域の画像と、輝度勾配及び勾配強度垂直分布の算出についての説明図
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を用いて説明する。
【００１６】
まず、本発明の一実施形態における車載カメラの構成について、図１及び図２に基づいて説明する。
【００１７】
図１に示すように、本実施形態における車載カメラ１は、撮像装置１０と、瞳孔隠蔽状態検出装置２０と、を備えている。
【００１８】
撮像装置１０は、レンズ部１１と、撮像手段としての撮像素子１２と、信号処理回路１３と、を備え、車両の運転者の顔を被写体として撮像し、撮像した被写体の画像データを予め定められたフレーム間隔で瞳孔隠蔽状態検出装置２０に出力するようになっている。
【００１９】
この撮像装置１０は、運転者がインストルメントパネルの方向に視線を向けたときに運転者が直視可能な領域に設けられている。例えば、撮像装置１０は、車両のインストルメントパネル内に設置される。具体的には、インストルメントパネルには、スピードメータ、タコメータ、燃料計、水温計、距離計など、自動車の走行に必要な情報を指し示す計器類が備えてあり、例えば、スピードメータとタコメータとの間に撮像装置１０が設けられる。この構成により、撮像装置１０は、運転者がインストルメントパネルに視線を向けたとき、直接的に瞳孔を撮像できることとなる。
【００２０】
なお、撮像装置１０を設ける領域は、インストルメントパネル内に限定されない。例えば、ステアリングシャフトを内包するステアリングコラムの上面に撮像装置１０を設置し、運転者がインストルメントパネルに視線を向けたとき、撮像装置１０が直接的に瞳孔を撮像できる構成としてもよい。
【００２１】
レンズ部１１は、被写体の光を集光し、被写体の像を撮像素子１２の撮像面に結像するようになっている。撮像素子１２は、レンズ部１１が結像する被写体の像を撮像して、被写体画像を生成するようになっている。撮像素子１２はＣＣＤ（Charge Coupled Device）により構成される。なお、撮像素子１２は、ＭＯＳ（Metal Oxide Semiconductor）型撮像素子であってもよい。
【００２２】
信号処理回路１３は、例えば、相関二重サンプリング回路、自動利得補正回路及びＡＤコンバータ回路等により構成され、被写体画像のデータを出力するようになっている。相関二重サンプリング回路は、撮像素子１２により生成された被写体画像の雑音を除去するものである。自動利得補正回路は、相関二重サンプリング回路からの信号に対して自動的に利得補正を行うものである。ＡＤコンバータ回路は、自動利得補正回路からのアナログ信号をデジタル信号に変換するものである。
【００２３】
瞳孔隠蔽状態検出装置２０は、目領域検出手段２１、視線方向検出手段２２、輝度勾配算出手段２３、勾配強度算出手段２４、勾配強度保存手段２５、差分算出手段２６、評価値算出手段２７、評価値保存手段２８、瞳孔隠蔽判定手段２９を備えている。
【００２４】
目領域検出手段２１は、撮像装置１０によって撮像された運転者の顔画像から目領域をフレームごとに検出し、目領域の画像データを視線方向検出手段２２及び輝度勾配算出手段２３に出力するようになっている。目領域検出手段２１によって検出された目領域の画像の一例を図２（ａ）に示す。図２（ａ）に示した目領域の画像は、運転者がインストルメントパネルを見ているときの目領域の画像である。
【００２５】
視線方向検出手段２２は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像から瞳孔の画像を検出することにより、運転者の視線の方向をフレームごとに検出するようになっている。また、視線方向検出手段２２は、検出した運転者の視線の方向を示すデータを勾配強度算出手段２４に出力するようになっている。
【００２６】
輝度勾配算出手段２３は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像の輝度勾配をフレームごとに算出するようになっている。この輝度勾配の算出について図２（ｂ）を用いて具体的に説明する。目領域検出手段２１によって検出された目領域の画像は、図２（ｂ）に示すように、垂直方向（Ｙ軸方向）にｉ＝１からｉ＝ｎまでのｎ個の画素と、水平方向（Ｘ軸方向）にｊ＝１からｊ＝ｍまでのｍ個の画素とで構成されているとする。この場合、輝度勾配算出手段２３は、ｎ×ｍ個の全画素について画素ごとに輝度勾配を算出する。
【００２７】
勾配強度算出手段２４は、輝度勾配算出手段２３が算出した輝度勾配から目領域の画像の垂直座標ごとに輝度勾配の強度（絶対値）の和（以下「勾配強度垂直分布」という。）をフレームごとに算出するようになっている。勾配強度垂直分布の一例を図２（ｃ）に示す。図２（ｃ）に示したように、勾配強度算出手段２４は、輝度勾配算出手段２３が算出した輝度勾配を、Ｙ軸座標がｉ＝１の行からｉ＝ｎの行までの範囲にわたってＹ軸座標ごとに輝度勾配の強度の和を算出し、勾配強度垂直分布を求めるものである。
【００２８】
また、勾配強度算出手段２４は、視線方向検出手段２２によって検出された運転者の視線の方向がインストルメントパネルの方向である場合の勾配強度垂直分布（以下「基準勾配強度垂直分布」という。）のデータを勾配強度保存手段２５に保存するようになっている。すなわち、勾配強度保存手段２５は、瞳孔が隠蔽されていない状態での目領域の勾配強度垂直分布を基準勾配強度垂直分布として保存するものである。
【００２９】
差分算出手段２６は、勾配強度算出手段２４によって算出された現フレームでの勾配強度垂直分布のデータを入力するようになっている。また、差分算出手段２６は、勾配強度保存手段２５に保存された基準勾配強度垂直分布のデータを読み出すようになっている。そして、差分算出手段２６は、現フレームでの勾配強度垂直分布のデータと、基準勾配強度垂直分布のデータとの差分を算出するようになっている。
【００３０】
評価値算出手段２７は、差分算出手段２６が算出した差分のデータを入力し、この差分に応じて、瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出するようになっている。例えば、評価値算出手段２７は、次式により評価値Ｅを算出する。
【００３１】
Ｅ＝Σ｜Ｂ（ｉ）−Ａ（ｉ）｜
【００３２】
ここで、Ａ（ｉ）は基準勾配強度垂直分布のＹ座標ｉにおける輝度勾配の強度の和、Ｂ（ｉ）は現フレームでの勾配強度垂直分布のＹ座標ｉにおける輝度勾配の強度の和を示し、評価値ＥはΣ演算によりｉ＝１〜ｎの範囲で積算されることにより算出される。また、評価値算出手段２７は、算出した評価値のデータを評価値保存手段２８に保存するようになっている。
【００３３】
瞳孔隠蔽判定手段２９は、評価値算出手段２７によって算出された現フレームでの評価値のデータを入力するようになっている。また、瞳孔隠蔽判定手段２９は、評価値保存手段２８に保存された過去のフレーム（例えば現フレームの１フレーム前）での評価値のデータを読み出すようになっている。さらに、瞳孔隠蔽判定手段２９は、現フレームでの評価値のデータと、１フレーム前の評価値のデータとを比較するようになっている。そして、瞳孔隠蔽判定手段２９は、予め定められたフレーム数閾値以上のフレームにわたって瞳孔が隠蔽されている可能性を示す評価値が連続した場合、瞳孔が隠蔽されていると判定し、その旨を示す信号を出力するようになっている。
【００３４】
次に、本実施形態における車載カメラ１の動作について説明する。
【００３５】
まず、撮像装置１０は、車両の運転者の顔を被写体として撮像し、予め定められたフレーム間隔で顔画像のデータを瞳孔隠蔽状態検出装置２０に出力する。すなわち、レンズ部１１は、被写体の光を集光し、被写体の像を撮像素子１２の撮像面に結像する。撮像素子１２は、レンズ部１１が結像する被写体の像を撮像して、被写体画像を生成する。信号処理回路１３は、所定の信号処理を行ってデジタル信号の顔画像のデータを出力する。
【００３６】
次に、瞳孔隠蔽状態検出装置２０において、目領域検出手段２１は、撮像装置１０によって撮像された運転者の顔画像から目領域の画像をフレームごとに検出し、目領域の画像データを視線方向検出手段２２及び輝度勾配算出手段２３に出力する。
【００３７】
視線方向検出手段２２は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像から瞳孔の画像を検出することにより、運転者の視線の方向をフレームごとに検出する。そして、視線方向検出手段２２は、検出した運転者の視線の方向を示すデータを勾配強度算出手段２４に出力する。
【００３８】
輝度勾配算出手段２３は、目領域検出手段２１から目領域の画像データを入力し、目領域の画像の輝度勾配をフレームごとに算出する。
【００３９】
勾配強度算出手段２４は、輝度勾配算出手段２３が算出した輝度勾配から目領域の画像の垂直座標ごとに勾配強度垂直分布をフレームごとに算出する。また、勾配強度算出手段２４は、視線方向検出手段２２によって検出された運転者の視線の方向がインストルメントパネルの方向であるとき、そのときの勾配強度垂直分布を基準勾配強度垂直分布とし、この基準勾配強度垂直分布のデータを勾配強度保存手段２５に保存する。ここで、勾配強度算出手段２４は、視線方向検出手段２２によって運転者の視線の方向の検出が開始されてから、運転者の視線の方向がインストルメントパネルの方向となるまでは勾配強度保存手段２５に対してデータの保存を行わない。
【００４０】
差分算出手段２６は、勾配強度算出手段２４によって算出された現フレームでの勾配強度垂直分布のデータを入力する。また、差分算出手段２６は、勾配強度保存手段２５に保存された基準勾配強度垂直分布のデータを読み出す。そして、差分算出手段２６は、現フレームでの勾配強度垂直分布のデータと、基準勾配強度垂直分布のデータとの差分を算出する。
【００４１】
評価値算出手段２７は、差分算出手段２６が算出した差分のデータを入力し、この差分に基づいて瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出する。また、評価値算出手段２７は、算出した評価値のデータを評価値保存手段２８に保存する。
【００４２】
瞳孔隠蔽判定手段２９は、評価値算出手段２７によって算出された現フレームでの評価値のデータを入力する。また、瞳孔隠蔽判定手段２９は、評価値保存手段２８に保存された現フレームの１フレーム前での評価値のデータを読み出す。さらに、瞳孔隠蔽判定手段２９は、現フレームでの評価値のデータと、１フレーム前の評価値のデータとを比較する。そして、瞳孔隠蔽判定手段２９は、予め定められたフレーム数閾値以上のフレームにわたって瞳孔が隠蔽されている可能性を示す評価値が連続した場合、瞳孔が隠蔽されていると判定し、その旨を示す信号を出力する。
【００４３】
以上のように、本実施形態における瞳孔隠蔽状態検出装置２０によれば、運転者がインストルメントパネルを見ている状態、すなわち、運転者の瞳孔が隠蔽されていない状態の目領域の勾配強度垂直分布を基準として瞳孔が隠蔽されているか否かを判定する構成としたので、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができる。
【００４４】
したがって、本実施形態における瞳孔隠蔽状態検出装置２０は、運転者が眼鏡フレームを装着している場合での瞳孔の隠蔽や、眼鏡フレーム以外の要因による瞳孔の隠蔽も検出可能となり、瞳孔の隠蔽状態の検出精度を向上させることができる。
【００４５】
なお、前述の実施形態において、瞳孔隠蔽判定手段２９が、瞳孔が隠蔽されている可能性を示す評価値に基づいて瞳孔が隠蔽されているか否かを判定する構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、瞳孔隠蔽判定手段２９が、差分算出手段２６によって算出された差分が予め定められた閾値を超えたとき、瞳孔が隠蔽されたと判定する構成としてもよい。
【産業上の利用可能性】
【００４６】
以上のように、本発明に係る瞳孔隠蔽状態検出装置及びそれを備えた車載カメラは、隠蔽物の検出を行わなくても、直接的に瞳孔の隠蔽状態を検出することができるという効果を有し、車両の運転者の居眠りや脇見などの状態を検知する装置に用いられる瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ等として有用である。
【符号の説明】
【００４７】
１ 車載カメラ
１０ 撮像装置
１１ レンズ部
１２ 撮像素子（撮像手段）
１３ 信号処理回路
２０ 瞳孔隠蔽状態検出装置
２１ 目領域検出手段
２２ 視線方向検出手段
２３ 輝度勾配算出手段
２４ 勾配強度算出手段
２５ 勾配強度保存手段
２６ 差分算出手段
２７ 評価値算出手段
２８ 評価値保存手段
２９ 瞳孔隠蔽判定手段
【特許請求の範囲】
【請求項１】
車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段と、
前記顔画像から前記運転者の目領域を検出する目領域検出手段と、
前記目領域の画像から前記運転者の視線方向を検出する視線方向検出手段と、
前記目領域の画像を構成する各画素の輝度勾配を算出する輝度勾配算出手段と、
前記輝度勾配算出手段が算出した前記輝度勾配から前記目領域の画像の垂直座標ごとに前記輝度勾配の強度の和を算出することにより勾配強度垂直分布のデータをフレームごとに求める勾配強度算出手段と、
前記視線方向検出手段が検出した視線方向が、前記運転者が前記インストルメントパネルを見る方向であるときに前記勾配強度算出手段が求めた勾配強度垂直分布のデータを保存する勾配強度保存手段と、
前記勾配強度保存手段に保存された勾配強度垂直分布と現フレームでの勾配強度垂直分布との差分を算出する差分算出手段と、
前記差分算出手段が算出した差分に基づいて前記瞳孔が隠蔽されているか否かを判定する瞳孔隠蔽判定手段と、を備えたことを特徴とする瞳孔隠蔽状態検出装置。
【請求項２】
前記差分算出手段が算出した差分に基づいて、前記運転者の瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出する評価値算出手段を備え、
前記瞳孔隠蔽判定手段は、予め定められたフレーム数閾値以上のフレームにわたって前記瞳孔が隠蔽されている可能性を示す評価値が連続したとき前記瞳孔が隠蔽されていると判定するものであることを特徴とする請求項１に記載の瞳孔隠蔽状態検出装置。
【請求項３】
請求項１又は請求項２に記載の瞳孔隠蔽状態検出装置と、前記車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段を有する撮像装置と、を備えたことを特徴とする車載カメラ。
【請求項１】
車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段と、
前記顔画像から前記運転者の目領域を検出する目領域検出手段と、
前記目領域の画像から前記運転者の視線方向を検出する視線方向検出手段と、
前記目領域の画像を構成する各画素の輝度勾配を算出する輝度勾配算出手段と、
前記輝度勾配算出手段が算出した前記輝度勾配から前記目領域の画像の垂直座標ごとに前記輝度勾配の強度の和を算出することにより勾配強度垂直分布のデータをフレームごとに求める勾配強度算出手段と、
前記視線方向検出手段が検出した視線方向が、前記運転者が前記インストルメントパネルを見る方向であるときに前記勾配強度算出手段が求めた勾配強度垂直分布のデータを保存する勾配強度保存手段と、
前記勾配強度保存手段に保存された勾配強度垂直分布と現フレームでの勾配強度垂直分布との差分を算出する差分算出手段と、
前記差分算出手段が算出した差分に基づいて前記瞳孔が隠蔽されているか否かを判定する瞳孔隠蔽判定手段と、を備えたことを特徴とする瞳孔隠蔽状態検出装置。
【請求項２】
前記差分算出手段が算出した差分に基づいて、前記運転者の瞳孔が隠蔽されている可能性を示す評価値をフレームごとに算出する評価値算出手段を備え、
前記瞳孔隠蔽判定手段は、予め定められたフレーム数閾値以上のフレームにわたって前記瞳孔が隠蔽されている可能性を示す評価値が連続したとき前記瞳孔が隠蔽されていると判定するものであることを特徴とする請求項１に記載の瞳孔隠蔽状態検出装置。
【請求項３】
請求項１又は請求項２に記載の瞳孔隠蔽状態検出装置と、前記車両の運転者が前記車両のインストルメントパネルの方向に視線を向けたときに前記運転者が直視可能な領域に設けられ、前記運転者の顔を撮像して顔画像のデータを予め定められたフレーム間隔で出力する撮像手段を有する撮像装置と、を備えたことを特徴とする車載カメラ。
【図１】
【図２】
【図２】
【公開番号】特開２０１１−２５３３９５（Ｐ２０１１−２５３３９５Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２７４４８（Ｐ２０１０−１２７４４８）
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]