乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
【課題】顔情報の検出精度を向上することができる乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラムを提供する。
【解決手段】ドライバーを撮影した画像データをカメラから取得し、画像データを用いて、ドライバーに装着されたシートベルトと当該ドライバーの身体の一部とによって特徴付けられるシートベルト装着位置をマッチング領域Ｚ１として検出する。検出されたマッチング領域Ｚ１と、マッチング領域Ｚ１の中心座標Ｐ１及び顔位置があると想定される顔候補領域Ｚ２を関連付けた相対位置データとに基づき、顔候補領域Ｚ２を特定し、特定した顔候補領域Ｚ２に対して、乗員の顔情報を生成するための画像処理を行う。
【解決手段】ドライバーを撮影した画像データをカメラから取得し、画像データを用いて、ドライバーに装着されたシートベルトと当該ドライバーの身体の一部とによって特徴付けられるシートベルト装着位置をマッチング領域Ｚ１として検出する。検出されたマッチング領域Ｚ１と、マッチング領域Ｚ１の中心座標Ｐ１及び顔位置があると想定される顔候補領域Ｚ２を関連付けた相対位置データとに基づき、顔候補領域Ｚ２を特定し、特定した顔候補領域Ｚ２に対して、乗員の顔情報を生成するための画像処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラムに関する。
【背景技術】
【０００２】
最近、ドライバーに対する運転支援や非常時の乗員保護等といった各種支援は、高度化且つ多様化する傾向にある。それらの中には、乗員の顔の位置、顔の向き等といった乗員位置の検出を必要とする支援方法がある。このため、高精度且つ高速な乗員位置の検出が要請されており、既に様々な検出方法が提案されている。
【０００３】
例えば、乗員を撮影した画像データを取得し、画像データの肌色領域を顔の位置として検出する方法（例えば特許文献１参照）や、顔の輪郭形状を検出し、該輪郭形状が含まれる範囲を顔の位置とする方法がある。肌色領域を検出する方法では、例えば肌色の色相に含まれる基準画素を設定し、当該基準画素の画素値と近接する画素の画素値との差分が所定値以下となる場合に、その近接画素を、基準画素と同じ特徴量を有する集合としてみなす。そして、以下同様に次の近接画素を探索し、基準画素と同じ特徴量を有する集合を肌色領域として設定する。また、顔の輪郭形状を検出する方法では、例えば、輪郭形状のテンプレートを予め複数準備しておき、このテンプレートを画像データに対して相対移動させ、テンプレートと類似度が大きい範囲を顔の位置として設定する。
【特許文献１】特開２００８−１８２５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記した各方法を車載システムに適用した場合、以下のような問題点がある。例えば、肌色領域を検出する方法の場合、肌色には個人差があるとともに、移動中の車内では頻繁に照明条件が変化するため、顔位置の輝度や色相が安定せず、顔の位置の検出精度が低下する虞がある。また、顔の輪郭形状を検出する方法の場合、輪郭形状には個人差がある他、乗員の顔に照射される外光が十分でない場合、撮影画像中の顔輪郭を特定し難く、顔の位置を精度よく検出することが困難である。さらに、カメラの光学機構の特性により、撮影された顔の大きさが変化したり、輪郭形状の歪みが生じるため、顔の位置の検出率が低下する。
【０００５】
また、上記した各方法では、画像全体に対して処理を行うため、車両における支援のように処理速度の向上が要請される場合には、検出精度の低い画像処理であることも多く、そのことが顔位置の検出精度及び検出率の低下の原因ともなっていた。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、顔情報の検出精度や検出率を向上することができる乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題点を解決するために、請求項１に記載の発明は、乗員を撮影した画像データを撮影手段から取得する画像データ取得手段と、前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の
顔情報を生成するための画像処理を行う顔情報生成手段とを備えたことを要旨とする。
【０００８】
この発明によれば、顔情報を生成するために、シートベルト装着位置を検出し、シートベルト装着位置及び顔候補領域を関連付けた位置関係情報を用いて顔候補領域を絞り込む。そして、顔候補領域を対象として顔情報を生成するための画像処理を行う。ここで、シートベルト装着位置は、顔の位置の動きに合わせて動くため、顔との位置関係の変化が少ない上に個人差がなく、他の物体に遮蔽されにくく、且つ外的要因による影響を受けにくいので、高い検出率で検出できる。そして、このシートベルト装着位置を用いて顔候補領域を特定することで、顔候補領域を、顔位置を含む位置に確実に設定することができる。従って、顔候補領域を絞り込み、絞り込まれた顔候補領域に対して顔情報生成のための詳細な画像処理を行うことができるため、高精度な顔情報を生成することができる。
【０００９】
請求項２に記載の発明は、請求項１に記載の乗員位置検出装置において、前記シートベルト位置検出手段は、前記シートベルト装着位置の標準パターンをテンプレートとして記憶するとともに、前記画像データ中における当該テンプレートとの類似度を判断するテンプレートマッチング処理を行うことを要旨とする。
【００１０】
この発明によれば、シートベルト装着位置の標準パターンをテンプレートとして記憶し、画像データ中における当該テンプレートとの類似度を判断する、テンプレートマッチング処理によりシートベルト装着位置を検出する。即ち、検出率が高いシートベルトのパターンを検出対象とするため、容易に検出を行うことが出来る。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の乗員位置検出装置において、前記シートベルト位置検出手段は、取得した前記画像データに対し、エッジ強調処理を行ってエッジ強調データを生成し、当該エッジ強調データのエッジパターンに基づき、前記シートベルト装着位置の検出を行うことを要旨とする。
【００１２】
この発明によれば、画像データに対しエッジ強調が行われたエッジ強調データに対し、シートベルト装着位置の検出が行われる。シートベルトは、乗員の着衣、背景等に対して輝度差が生じやすいので、エッジ強調データ内でのシートベルト装着位置の検出率を向上することができる。
【００１３】
請求項４に記載の発明は、請求項１〜３のいずれか１項に記載の乗員位置検出装置において、前記顔情報生成手段により生成された前記顔情報に基づき、前記位置関係情報を補正する学習手段をさらに備えたことを要旨とする。
【００１４】
この発明によれば、生成した顔情報を、位置関係情報にフィードバックして補正する学習が行われる。このため、顔情報の生成が繰り返されるに伴い、位置関係情報が最適化されるため、最適化された位置関係情報により、さらに高精度に顔位置又は顔の向きを検出することができる。
【００１５】
請求項５に記載の発明は、請求項１〜４のいずれか１項に記載の乗員位置検出装置において、前記位置関係情報には、前記顔候補領域と関連付けられたシートベルトの幅が含まれており、前記画像データにおける前記シートベルトの幅を検出するベルト幅検出手段をさらに備え、前記顔情報生成手段は、前記検出したシートベルトの幅と、前記シートベルト装着位置と、前記位置関係情報とに基づいて、前記画像データ中における前記顔候補領域を特定することを要旨とする。
【００１６】
この発明によれば、位置関係情報は、顔候補領域と関連付けられたシートベルトの幅を含む。そして、画像データにおけるシートベルトの幅を検出し、その検出したシートベル
トの幅及びシートベルト装着位置と、シートベルトの幅を含む位置関係情報とに基づき、顔候補領域を特定する。従って、シートベルト装着位置だけでなくシートベルトの幅に応じて顔候補領域を設定するので、顔候補領域の精度をより向上させることができる。
【００１７】
請求項６に記載の発明は、乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出方法において、前記制御手段が、前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出し、前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行うことを要旨とする。
【００１８】
この発明によれば、顔情報を生成するために、シートベルト装着位置を検出し、シートベルト装着位置及び顔候補領域を関連付けた位置関係情報を用いて顔候補領域を絞り込む。そして、顔候補領域を対象として顔情報を生成するための画像処理を行う。ここで、シートベルト装着位置は、顔の位置の動きに合わせて動くため、顔との位置関係の変化が少ない上に個人差がなく、他の物体に遮蔽されにくく、且つ外的要因による影響を受けにくいので、高い検出率で検出できる。そして、このシートベルト装着位置を用いて顔候補領域を特定することで、顔候補領域を、顔位置を含む位置に確実に設定することができる。従って、顔候補領域を絞り込み、絞り込まれた顔候補領域に対して顔情報生成のための詳細な画像処理を行うことができるため、高精度な顔情報を生成することができる。
【００１９】
請求項７に記載の発明は、乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出プログラムにおいて、前記制御手段を、前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、前記シートベルト装着位置及び前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行う顔情報生成手段として機能させることを要旨とする。
【００２０】
この発明によれば、乗員位置検出プログラムを用いて、顔情報を生成するために、シートベルト装着位置を検出し、シートベルト装着位置及び顔候補領域を関連付けた位置関係情報を用いて顔候補領域を絞り込む。そして、顔候補領域を対象として顔情報を生成するための画像処理を行う。ここで、シートベルト装着位置は、顔の位置の動きに合わせて動くため、顔との位置関係の変化が少ない上に個人差がなく、他の物体に遮蔽されにくく、且つ外的要因による影響を受けにくいので、高い検出率で検出できる。そして、このシートベルト装着位置を用いて顔候補領域を特定することで、顔候補領域を、顔位置を含む位置に確実に設定することができる。従って、顔候補領域を絞り込み、絞り込まれた顔候補領域に対して顔情報生成のための詳細な画像処理を行うことができるため、高精度な顔情報を生成することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を具体化した第１実施形態を図１〜図１２に従って説明する。図１は、乗員位置検出システム１の概略図である。乗員位置検出システム１は、位置検出ＥＣＵ１０を備えている。位置検出ＥＣＵ１０は、画像データ取得手段、シートベルト位置検出手段、顔情報生成手段、学習手段、乗員位置検出装置及び制御手段に対応し、ＣＰＵ、ＲＡＭ、ＲＯＭや、画像処理用のＬＳＩ等を備え、乗員位置検出プログラムを格納している。
【００２２】
位置検出ＥＣＵ１０は、車両に取り付けられた撮影手段としてのカメラ１１から画像デ
ータを入力する。カメラ１１は、広角レンズを含む光学機構、ＣＣＤ、ＣＭＯＳ等の撮像素子、ゲイン補正等を行う信号処理部、Ａ／Ｄ変換器等を有している。図２及び図３に示すように、カメラ１１は、その撮影範囲２０に、シート３に着座したドライバー２の顔及び肩部を含む上半身が含まれるように、車両のインストルメントパネル１５等に固定されている。
【００２３】
また、カメラ１１の撮影範囲２０には、ドライバー２の上半身の他に、シート３のヘッドレスト３Ａ及びシートバック３Ｂの上部と、シートベルト装置を構成するシートベルト５（ウェビング）の一部とが含まれる。カメラ視点からみると、ヘッドレスト３Ａは、その一部がドライバー２の頭部によって遮蔽され、シートバック３Ｂの大部分はドライバー２の肩及び胸部によって遮蔽されるが、シートベルト５はドライバー２の着衣の上から装着されるため、他の物体によって遮蔽され難い。
【００２４】
また、本実施形態のシートベルト装置は、３点式シートベルト装置であって、その一端がシートクッション３Ｃの側部に固定され、その他端が、車体であって、ドライバー２の上方付近に設けられた図示しない巻き取り装置に固定されている。また、シートベルト装置は、帯状の上記シートベルト５の他、シートベルト５の長手方向に対して移動可能に取り付けられたタングと、シート側に固定されたバックル（いずれも図示略）を有しており、シートベルト５は、タングをバックルに差し込むことによって、ドライバー２の右肩付近から、下方左側に向かって斜めに装着される。また、バックルの内部には、タングの差し込みの有無を検知するバックルスイッチ１２（図１参照）が設けられている。当該スイッチ１２は、タングの差し込みを検知するとオン状態となり、タングを検知しない場合にはオフ状態となる。尚、シートベルト装置は、３点式の装置以外にも、４点式シートベルト装置でもよい。また、本実施形態では、右側に運転席がある車両を前提に説明しているが、左側に運転席がある車両に適用してもよい。
【００２５】
また、位置検出ＥＣＵ１０は、イグニッションモジュール１３から、ＡＣＣ（アクセサリ）スイッチのオン信号を入力する。位置検出ＥＣＵ１０は、ＡＣＣスイッチのオン信号をトリガとして、カメラ１１を起動する。そして、上記バックルスイッチ１２がオン状態とされると、カメラ１１が撮影した画像データの取得を開始し、ドライバー２の顔の位置及び顔の向きを示すパラメータを含む顔検出データを生成するための処理を行う。生成した顔検出データは、運転支援ＥＣＵ１４に出力され、運転支援ＥＣＵ１４は、上記パラメータを用いて各種支援を行う。この支援としては、ドライバーの脇見運転に対する警告、右左折意思の確認、死角領域の画像表示、居眠り運転に対する警告、非常時のエアバック展開方向の算出等が挙げられるが、本発明では特に限定されない。
【００２６】
図４は、位置検出ＥＣＵ１０の機能ブロック図である。画像取得部２１は、バックルスイッチ１２がオン状態とされたタイミングで、画像データＤ１の取得を開始する。画像データＤ１の取得が開始された後は、所定間隔で画像データＤ１を取得する。
【００２７】
次に、取得された画像データＤ１を用いて顔候補領域を特定する。まず、エッジ強調処理部２２が、画像データＤ１に対し、エッジ強調処理を行う。エッジ強調処理部２２は、画像データＤ１の注目画素と隣接画素との輝度差をエッジとして抽出するエッジ強調を行う処理部であり、ソーベルフィルタ、ラプラシアンフィルタ等を用いた公知のアルゴリズムによって、エッジ強調データＤ２を生成する。このエッジ強調処理により、撮影画像のうち、画像の濃淡（明るさ）の境目を検出することができる。尚、エッジ強調処理を行う前に、ノイズを除去するための平滑化処理等を行ってもよい。また、エッジ強調データＤ２に対し、さらに２値化処理を行ってもよいし、公知のノイズを除去するためのアルゴリズムを用いてもよい。
【００２８】
ここで、車外から入射する光により、車内が明るい場合には、その被撮影体の輪郭をエッジとして抽出される確率が高いが、明るさが十分でない場合には、その被撮影体の輪郭をエッジとして抽出できる確率は低下する。車内の照明条件は、天候によっても変化し、走行道路によって刻々と変化するため、照明条件が悪いときが多々ある。その中で、車外から入射する光量等の外的要因による影響が小さく、検出率が高いものとして、シートベルト５の長手方向に沿った側端と、ドライバー２の肩部との境目が挙げられる。即ち、一般的なシートベルト５は、ポリエチレン繊維等の光沢性を有する材質から構成されているため、シートベルト５に反射した光の鏡面反射成分が大きく、着衣等の周囲の被撮影物に対して輝度差が出やすい。また、上記したように、シートベルト５は、ドライバー２の着衣の上から装着されるため、遮蔽物によって遮蔽されにくく、また車両のウィンドウを介して入射した外光が照射されやすい位置に配置されているといった利点も有する。一方、ドライバー２の顔や、シート３等は、シートベルト５に比べ、光を拡散反射するため、周囲の物体等との輝度差が生じにくく、エッジを比較的抽出し難い。
【００２９】
次に、マッチング処理部２６により、ベルト装着位置を検出するためのテンプレートマッチング処理が行われる。マッチング処理部２６は、顔位置検出部２３の検出結果を受けて、エッジ強調処理部２２からエッジ強調データＤ２を取得する。また、テンプレート記憶部２７に記憶された装着部テンプレートＴを読み出し、エッジ強調データＤ２に対して、装着部テンプレートＴを所定の走査方向に相対移動させる。このときの探索方法は、特に限定されず、疎密探索法等、各種探索法を用いることができる。そして、装着部テンプレートＴのパターンと最も類似度が高い（又は相違度が低い）領域を特定する。
【００３０】
図５に示すように、装着部テンプレートＴは、ドライバー２に装着されたシートベルト５とドライバー２の身体の一部とによって特徴付けられる標準エッジパターンをテンプレートとしたものである。具体的には、シートベルト５が右肩の稜線付近に掛かる、シートベルト装着位置のエッジパターンであって、ドライバー２の肩と背景との境目を抽出したエッジと、シートベルト５の側端を抽出したエッジとが交差している。
【００３１】
装着部テンプレートＴに描画されたエッジパターンは、１対の屈曲形状のエッジＥからなる。各エッジＥは、ドライバー２の肩と背景との境目をエッジＥとして検出した肩検出エッジＥ１と、シートベルト５の側端をエッジとして検出したベルト検出エッジＥ２とからそれぞれ構成される。左側のエッジＥは、肩の稜線に沿って、上方右側又は右側に延びた後、その略中央で、下方右側に向かって屈曲する。右側のエッジＥは、一端から、肩の稜線に沿って上方右側又は右側に向かって延びた後、その略中央で、下方右側に向かって屈曲する。また、エッジパターンは、２本のベルト検出エッジＥ２が、ほぼ平行に延びている特徴を有する。このエッジパターンは、殆どのエッジ強調データＤ２で検出可能な最小限のパターンである。
【００３２】
マッチング処理部２６は、例えばエッジ強調データＤ２の全範囲に亘って、マッチングを行いながら類似度を算出する。そして、類似度が最も高い２次元領域を検出すると、その領域の中心座標を取得する。例えば、図６に示すように、エッジ強調データＤ２のうち、マッチング領域Ｚ１がテンプレートＴとの類似度が最も高い領域である場合、そのマッチング領域Ｚ１の中心座標Ｐ１を取得する。尚、最も高い類似度が予め定めた閾値を満たしていない場合には、マッチング不成功とみなし、類似度が閾値を満たしている場合には、マッチング成功とみなす。
【００３３】
マッチングが成功した場合、マッチング処理部２６は、類似度が最も高いマッチング領域Ｚ１の中心座標Ｐ１を示すデータを、顔候補領域特定部２９に送る。顔候補領域特定部２９は、中心座標Ｐ１を取得すると、相対位置記憶部３０から、位置関係情報としての相対位置データ３１を読み出し、顔位置の検出対象範囲を絞り込むための顔候補領域を特定
する。このとき用いられる相対位置データ３１は、マッチング領域Ｚ１の上記中心座標Ｐ１と顔候補領域との相対位置関係を予め関連付けたデータである。即ち、ドライバー２の顔位置は、右肩に掛けられたシートベルト５付近に位置しているため、マッチング領域Ｚ１から、顔位置があると想定される顔候補領域を確実に絞り込むことができる。また、シートベルト５は、ドライバー２が姿勢を変えても、その身体の動きに従動するため、上記マッチング領域Ｚ１と顔位置との相対距離及び相対方向はほぼ一定である。従って、顔候補領域Ｚ２を、顔位置が存在する領域に高精度に設定することができる。尚、相対位置データ３１は、中心座標Ｐ１から顔候補領域Ｚ２の座標を算出するための演算式でもよいし、マップでもよい。
【００３４】
顔候補領域特定部２９は、図６に示すように、取得した中心座標Ｐ１と相対位置データ３１とに基づき、顔候補領域Ｚ２の２次元座標を算出する。本実施形態の顔候補領域Ｚ２は、矩形状であって、その大きさの初期値は一定であるが、楕円形状等、その他の形状でもよい。
【００３５】
顔候補領域Ｚ２を示す座標を算出すると、その座標は、顔位置検出部２３に送られる。このとき、既に顔候補領域Ｚ２が絞り込まれているため、画像データＤ１又はエッジ強調データＤ２の全領域に対して、テンプレートマッチングや肌色検出等の顔位置検出処理を実行する場合に比べ、顔位置検出の処理量が大きく軽減されるので、より詳細な画像処理を行うことができる。即ち、画像データＤ１又はエッジ強調データＤ２に対して、より多くの数のテンプレートを用いてマッチングを行っても良いし、複数の画像処理方法を試みても良い。また、ノイズ除去、コントラスト調整、色調補正等の前処理を行ってもよい。
【００３６】
顔位置を検出すると、顔位置検出部２３は、顔検出データ２５を格納する。また、顔位置の座標と、上記マッチング領域Ｚ１との中心座標Ｐ１を関連付けて、位置学習データ３２として蓄積する。顔候補領域特定部２９は、位置学習データ３２が蓄積されると、その蓄積された位置学習データ３２に基づき、相対位置データ３１をフィードバック補正する。例えば、複数の位置学習データ３２に基づき、顔位置が、顔候補領域Ｚ２の右側の領域で偏って検出される傾向にあると判定できる場合、顔位置が顔候補領域Ｚ２の中央で検出されるように相対位置データ３１を補正する。また、顔候補領域Ｚ２内において顔位置が検出される領域を統計し、顔候補領域Ｚ２の大きさを縮小するようにしてもよい。
（処理手順）
次に、本実施形態の処理手順について、図７〜図９に従って説明する。図７に示すように、位置検出ＥＣＵ１０は、乗員位置検出を開始するか否かを判断する（ステップＳ１）。本実施形態では、上記したようにバックルスイッチ１２が、タングの差し込みを検出した際に、乗員位置検出を開始する。又は、シフトポジションセンサ等に基づき、シフトポジションがパーキングポジションから、それ以外のポジションに変更された際に、乗員位置検出を開始すると判断してもよい。又は、ＡＣＣスイッチがオン状態とされた際に、乗員位置検出を開始すると判断してもよいし、インストルメントパネル１５等に設けられた所定のボタンが押釦され、ボタンに連動したスイッチがオン状態とされた際に、乗員位置検出を開始すると判断してもよい。
【００３７】
乗員位置の検出を開始すると判断すると（ステップＳ１においてＹＥＳ）、位置検出ＥＣＵ１０は、カメラ１１から画像データＤ１を取得する（ステップＳ２）。そして、候補領域特定処理（ステップＳ３）を行う。また、乗員位置の検出を開始しないと判断した場合には（ステップＳ１においてＮＯ）、乗員位置の検出を開始すると判断するまでステップＳ１を繰り返す。
【００３８】
この候補領域特定処理について、図９に従って説明する。位置検出ＥＣＵ１０は、ステップＳ２で取得した画像データＤ１に対し、上記したエッジ強調処理を行う（ステップＳ
３−１）。図１０（ａ）は、カメラ１１から取得した画像データＤ１を表し、図１０（ｂ）は、図１０（ａ）の画像データＤ１に対するエッジ強調処理を行ったエッジ強調データＤ２を表す。図１０（ｂ）のエッジ強調データＤ２は、顔のパーツや輪郭のエッジが抽出されないか、或いは不連続であるのに比べ、肩検出エッジＥ１は連続的且つ明瞭に抽出され、ベルト検出エッジＥ２も連続的且つ明瞭に検出されている。
【００３９】
また、図１１（ａ）は、図１０（ａ）の人物とは異なる人物を、異なる照明条件で撮影した画像データＤ１を示し、図１１（ｂ）は、そのエッジ強調データＤ２を示す。また、図１１（ａ）の画像データＤ１は、図１０（ａ）の画像データＤ１に比べ、照度が低い状態で撮影されている。図１１（ｂ）に示すように、照度が不足し、顔のエッジが検出されない場合でも、肩検出エッジＥ１やベルト検出エッジＥ２は、連続的且つ明瞭に抽出される。また、図１０（ｂ）と図１１（ｂ）とを比較して判るように、異なる体格、又は異なる顔輪郭の人物でも、肩検出エッジＥ１及びベルト検出エッジＥ２がなすエッジパターンは、ほぼ一定である。従って、体格の差異、顔輪郭の差異、肌色の差異といった個人差に左右されることがなく、照明条件による影響が少ないため、高精度に肩検出エッジＥ１及びベルト検出エッジＥ２がなすエッジパターンを検出できる。
【００４０】
エッジ強調データＤ２を生成すると、位置検出ＥＣＵ１０は、装着部テンプレートＴを読み出す（ステップＳ３−２）。そして、読み出した装着部テンプレートＴを用い、エッジ強調データＤ２に対して、上記したようにテンプレートマッチングを行う（ステップＳ３−３）。
【００４１】
さらに、位置検出ＥＣＵ１０は、上記したように、テンプレートマッチングが成功したか否かを判断する（ステップＳ３−４）。エッジ強調データＤ２のうち、類似度の最大値が閾値未満であった場合には、テンプレートマッチングが不成功であったと判断し（ステップＳ３−４においてＮＯ）、マッチング結果を記憶する（ステップＳ３−５）。このテンプレートマッチングが不成功である場合、シートベルト５が、何らかの物体によって隠されている等、特異な事態が想定されるが、通常は、テンプレートマッチングが成功する確率が高い。
【００４２】
一方、テンプレートマッチングが成功したと判断すると（ステップＳ３−４においてＹＥＳ）、マッチングしたマッチング領域Ｚ１の中心座標Ｐ１を取得する（ステップＳ３−６）。中心座標Ｐ１を取得すると、その中心座標Ｐ１と相対位置データ３１とを用いて、顔候補領域Ｚ２を特定する（ステップＳ３−７）。図１０（ｃ）では、図１０（ｂ）のエッジ強調データＤ２に対し特定された顔候補領域Ｚ２を鎖線で示し、図１１（ｃ）では、図１１（ｂ）のエッジ強調データＤ２に対し特定された顔候補領域Ｚ２を鎖線で示している。
【００４３】
顔候補領域Ｚ２を算出すると、その顔候補領域Ｚ２を示す座標を記憶して、図７に示すステップＳ４に進む。
ステップＳ４では、位置検出ＥＣＵ１０は、候補領域特定処理によって、顔候補領域Ｚ２が特定されたか否かを判断する。顔候補領域Ｚ２が特定されなかった場合（ステップＳ４においてＮＯ）、ステップＳ１１に進み、乗員位置検出を終了するか否かを判断する。このとき、バックルスイッチ１２のオン状態が維持されている場合には、乗員位置検出が終了しないと判断し（ステップＳ１１においてＮＯ）、ステップＳ２に戻る。尚、ここではステップＳ２に戻るようにしたが、ステップＳ３に戻り、顔候補領域Ｚ２の特定を再度試みてもよい。
【００４４】
一方、顔候補領域Ｚ２が特定されたと判断すると（ステップＳ４においてＹＥＳ）、顔候補領域Ｚ２を特定する際に用いた画像データＤ１、又はその画像データＤ１にエッジ強
調処理を行ったエッジ強調データＤ２を取得し（ステップＳ５）、顔候補領域Ｚ２に対して上記顔位置検出処理を行う（ステップＳ６）。
【００４５】
ステップＳ６で実行される顔位置検出処理では、画像処理を行う対象である顔候補領域Ｚ２が絞り込まれているため、詳細な画像処理を行うことができる。
そして、図８に示すステップ７に進み、顔候補領域Ｚ２を絞り込んだ顔位置検出処理が成功したか否かを判断する。顔位置検出処理が成功しなかったと判断すると（ステップＳ７においてＮＯ）、上記したステップＳ１１に進む。顔位置検出処理が成功したと判断すると（ステップＳ７においてＹＥＳ）、顔位置及び顔向きを含む顔検出データ２５を生成し（ステップＳ８）、顔検出データ２５をＲＡＭに登録する（ステップＳ９）。また、顔位置を示す座標と、上記マッチング領域Ｚ１の中心座標Ｐ１とを関連付けた位置学習データ３２を生成し、生成した位置学習データ３２を蓄積する（ステップＳ１０）。
【００４６】
そして、ステップＳ１１において、バックルスイッチ１２がオフ状態とされたと判断すると（ステップＳ１１においてＹＥＳ）、一旦処理を終了し、ステップＳ１に戻る。
また、図１２に示すように、位置検出ＥＣＵ１０は、相対位置データ３１のフィードバック補正を行う。まず、位置検出ＥＣＵ１０は、位置学習データ３２が所定数だけ蓄積されたか否かを判断し（ステップ１７）、蓄積されたと判断すると（ステップＳ１７においてＹＥＳ）、その位置学習データ３２を用いて、相対位置データ３１を補正する（ステップＳ１８）。上記したように、位置学習データ３２の傾向に応じて、マッチング領域Ｚ１の中心座標Ｐ１と、顔候補領域Ｚ２との位置関係を補正してもよいし、顔候補領域Ｚ２を縮小してもよい。このため、位置検出の繰り返しに伴い、相対位置データ３１を最適化することができる。
【００４７】
第１実施形態によれば、以下のような効果を得ることができる。
（１）第１実施形態では、ドライバー２を撮影した画像データＤ１をカメラ１１から取得し、この画像データＤ１に対してエッジ強調処理を行った。また、ドライバー２に装着されたシートベルト５と当該ドライバー２の身体の一部とによって特徴付けられる装着部テンプレートＴのエッジパターンと類似度が高いマッチング領域Ｚ１を検出した。また、マッチング領域Ｚ１の中心座標及びドライバー２の顔位置があると想定される顔候補領域Ｚ２を関連付けた相対位置データ３１に基づき、顔候補領域Ｚ２を特定し、顔候補領域Ｚ２に対して顔位置を検出するための画像処理を行った。従って、個人差がなく、他の物体によって遮蔽され難く、周囲の物体との輝度差が発生しやすいシートベルト５を検出対象とするため、シートベルト装着位置の検出率及び検出精度を向上することができる。また、このように特定されたマッチング領域Ｚ１から顔候補領域Ｚ２を特定するため、顔候補領域Ｚ２の検出率及び検出精度を向上することができる。さらに、顔候補領域Ｚ２を絞り込んだ画像処理では、画像全域に対して画像処理を行う場合に比べ、顔位置検出の対象となる画素数が大幅に減るため、詳細な画像処理を行うことで、顔位置の検出率及び検出精度を向上することができる。
【００４８】
（２）第１実施形態では、エッジ強調データＤ２に対し、シートベルト５と肩が交差する部分であって、殆どのエッジ強調データＤ２で検出可能な最小限の標準エッジパターンを装着部テンプレートＴとして格納した。また、その装着部テンプレートＴを用いて、エッジ強調データＤ２における装着部テンプレートＴとの類似度を判断するテンプレートマッチング処理を行った。こうすることで、容易にシートベルト装着位置を検出するとともに、検出率を向上することが出来る。
【００４９】
（３）第１実施形態では、取得した画像データＤ１に対し、エッジ強調処理を行ってエッジ強調データＤ２を生成し、エッジ強調データＤ２のエッジパターンに基づき、シートベルト５と肩が交差する部分の検出を行った。即ち、シートベルト５は、乗員の着衣、背
景等に対して輝度差が生じやすいので、エッジ強調データ内での検出率を向上することができる。また、シートベルト５の形状が長尺状であることから、シートベルト５を、平行に長く延びる２本のエッジとして検出しやすい。このため、特徴点検出等の他の画像処理と比べ、エッジ強調処理は、シートベルト装着位置を検出するのに適しているため、より確実にシートベルト装着位置を検出することができる。
【００５０】
（４）第１実施形態では、生成した顔検出データ２５に基づき、相対位置データ３１をフィードバック補正した。このため、顔位置検出の繰り返しに伴い、相対位置データ３１が最適化されていくため、最適化された相対位置データ３１により、さらに高精度に顔位置又は顔の向きを検出することができる。
【００５１】
尚、上記実施形態は以下のように変更してもよい。
・カメラ１１は、インストルメントパネル１５に固定したが、車体の他の位置に取り付けるようにしてもよい。
【００５２】
・上記実施形態では、画像データＤ１に対し、エッジ強調処理を行ってから、装着部テンプレートＴを用いたが、エッジ強調処理を省略してもよい。この場合、コーナー検出（特徴点検出）、２値化処理等を替わりに行ってもよい。その際、それらの画像処理によって得られる、シートベルト５と乗員の身体の一部とによって特徴付けられる特徴パターンを装着部テンプレートＴとする。
【００５３】
・上記実施形態では、ドライバー２の顔位置を検出したが、助手席に着座した乗員、又は後部座席に着座した乗員の顔位置を検出するようにしてもよい。
・上記実施形態では、画像データＤ１に対し、エッジ強調処理を行ったが、ＳＵＳＡＮオペレータ等のコーナー検出を行ってもよい。この場合、装着部テンプレートＴは、エッジパターンの特徴を示すテンプレートではなく、コーナー特徴点の分散のパターンを示すテンプレートとなる。
【００５４】
・上記実施形態では、画像データＤ１を用いて、シートベルト装着位置を検出したが、さらに画像データＤ１（画像フレーム）中におけるシートベルトの幅を検出してもよい。画像データＤ１中におけるシートベルトの幅は、カメラ１１に対するドライバーの位置や姿勢に応じて変化するので、シートベルト装着位置に加え、シートベルトの幅を考慮することにより、顔候補領域Ｚ２をさらに精度よく特定することができる。この場合、位置検出ＥＣＵ１０は、ベルト幅検出手段として機能する。例えば、相対位置データ３１では、上記中心座標Ｐ１及び画像データＤ１中におけるシートベルトの幅といった２つのパラメータと、顔候補領域Ｚ２との相対位置関係が関連付けられ、算出した中心座標Ｐ１及びシートベルトの幅と、相対位置データ３１とを用いて、顔候補領域Ｚ２を特定することができる。或いは、テンプレートマッチング処理で用いる装着部テンプレートＴを、ドライバーの姿勢に合わせて複数格納し、検出したシートベルトの幅に基づき、各装着部テンプレートＴのうち一つを選択するようにしてもよい。例えば、ドライバーが左側又は右側を向くと、シートベルト５の前面がカメラ１１に対して傾斜して、画像データＤ１中のシートベルトの幅は狭くなる。このため、検出したシートベルトの幅が小さい値の場合には、ドライバーが左側又は右側を向いた場合を想定した装着部テンプレートＴを選択する。
【００５５】
・上記実施形態では、シートベルト位置検出手段、顔情報生成手段を位置検出ＥＣＵ１０として具体化したが、それぞれ別のＥＣＵから構成してもよい。例えば、シートベルト位置検出手段をカメラ１１のＥＣＵから構成し、顔情報生成手段をナビゲーション装置のＥＣＵから構成してもよい。
【図面の簡単な説明】
【００５６】
【図１】乗員位置検出システムの概略図。
【図２】カメラの撮影範囲を示す模式図。
【図３】カメラの撮影範囲を示す模式図。
【図４】位置検出ＥＣＵの機能ブロック図
【図５】装着部テンプレートの模式図。
【図６】顔候補領域を特定する際の模式図。
【図７】第１実施形態の処理手順を示すフローチャート。
【図８】同処理手順を示すフローチャート。
【図９】候補領域特定処理のフローチャート。
【図１０】（ａ）は画像データ、（ｂ）はエッジ強調データ、（ｃ）は顔候補領域を特定した写真図。
【図１１】異なる人物を撮影した画像を示し、（ａ）は画像データ、（ｂ）はエッジ強調データ、（ｃ）は顔候補領域を特定した写真図。
【図１２】学習処理のフローチャート。
【符号の説明】
【００５７】
１…乗員位置検出システム、２…乗員としてのドライバー、５…シートベルト、１０…画像データ取得手段、シートベルト位置検出手段、顔情報生成手段、学習手段、ベルト幅検出手段、乗員位置検出装置及び制御手段としての位置検出ＥＣＵ、１１…撮影手段としてのカメラ、２５…顔情報としての顔検出データ、３１…位置関係情報としての相対位置データ、Ｄ１…画像データ、Ｄ２…エッジ強調データ、Ｔ…装着部テンプレート、Ｚ２…顔候補領域。
【技術分野】
【０００１】
本発明は、乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラムに関する。
【背景技術】
【０００２】
最近、ドライバーに対する運転支援や非常時の乗員保護等といった各種支援は、高度化且つ多様化する傾向にある。それらの中には、乗員の顔の位置、顔の向き等といった乗員位置の検出を必要とする支援方法がある。このため、高精度且つ高速な乗員位置の検出が要請されており、既に様々な検出方法が提案されている。
【０００３】
例えば、乗員を撮影した画像データを取得し、画像データの肌色領域を顔の位置として検出する方法（例えば特許文献１参照）や、顔の輪郭形状を検出し、該輪郭形状が含まれる範囲を顔の位置とする方法がある。肌色領域を検出する方法では、例えば肌色の色相に含まれる基準画素を設定し、当該基準画素の画素値と近接する画素の画素値との差分が所定値以下となる場合に、その近接画素を、基準画素と同じ特徴量を有する集合としてみなす。そして、以下同様に次の近接画素を探索し、基準画素と同じ特徴量を有する集合を肌色領域として設定する。また、顔の輪郭形状を検出する方法では、例えば、輪郭形状のテンプレートを予め複数準備しておき、このテンプレートを画像データに対して相対移動させ、テンプレートと類似度が大きい範囲を顔の位置として設定する。
【特許文献１】特開２００８−１８２５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記した各方法を車載システムに適用した場合、以下のような問題点がある。例えば、肌色領域を検出する方法の場合、肌色には個人差があるとともに、移動中の車内では頻繁に照明条件が変化するため、顔位置の輝度や色相が安定せず、顔の位置の検出精度が低下する虞がある。また、顔の輪郭形状を検出する方法の場合、輪郭形状には個人差がある他、乗員の顔に照射される外光が十分でない場合、撮影画像中の顔輪郭を特定し難く、顔の位置を精度よく検出することが困難である。さらに、カメラの光学機構の特性により、撮影された顔の大きさが変化したり、輪郭形状の歪みが生じるため、顔の位置の検出率が低下する。
【０００５】
また、上記した各方法では、画像全体に対して処理を行うため、車両における支援のように処理速度の向上が要請される場合には、検出精度の低い画像処理であることも多く、そのことが顔位置の検出精度及び検出率の低下の原因ともなっていた。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、顔情報の検出精度や検出率を向上することができる乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題点を解決するために、請求項１に記載の発明は、乗員を撮影した画像データを撮影手段から取得する画像データ取得手段と、前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の
顔情報を生成するための画像処理を行う顔情報生成手段とを備えたことを要旨とする。
【０００８】
この発明によれば、顔情報を生成するために、シートベルト装着位置を検出し、シートベルト装着位置及び顔候補領域を関連付けた位置関係情報を用いて顔候補領域を絞り込む。そして、顔候補領域を対象として顔情報を生成するための画像処理を行う。ここで、シートベルト装着位置は、顔の位置の動きに合わせて動くため、顔との位置関係の変化が少ない上に個人差がなく、他の物体に遮蔽されにくく、且つ外的要因による影響を受けにくいので、高い検出率で検出できる。そして、このシートベルト装着位置を用いて顔候補領域を特定することで、顔候補領域を、顔位置を含む位置に確実に設定することができる。従って、顔候補領域を絞り込み、絞り込まれた顔候補領域に対して顔情報生成のための詳細な画像処理を行うことができるため、高精度な顔情報を生成することができる。
【０００９】
請求項２に記載の発明は、請求項１に記載の乗員位置検出装置において、前記シートベルト位置検出手段は、前記シートベルト装着位置の標準パターンをテンプレートとして記憶するとともに、前記画像データ中における当該テンプレートとの類似度を判断するテンプレートマッチング処理を行うことを要旨とする。
【００１０】
この発明によれば、シートベルト装着位置の標準パターンをテンプレートとして記憶し、画像データ中における当該テンプレートとの類似度を判断する、テンプレートマッチング処理によりシートベルト装着位置を検出する。即ち、検出率が高いシートベルトのパターンを検出対象とするため、容易に検出を行うことが出来る。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の乗員位置検出装置において、前記シートベルト位置検出手段は、取得した前記画像データに対し、エッジ強調処理を行ってエッジ強調データを生成し、当該エッジ強調データのエッジパターンに基づき、前記シートベルト装着位置の検出を行うことを要旨とする。
【００１２】
この発明によれば、画像データに対しエッジ強調が行われたエッジ強調データに対し、シートベルト装着位置の検出が行われる。シートベルトは、乗員の着衣、背景等に対して輝度差が生じやすいので、エッジ強調データ内でのシートベルト装着位置の検出率を向上することができる。
【００１３】
請求項４に記載の発明は、請求項１〜３のいずれか１項に記載の乗員位置検出装置において、前記顔情報生成手段により生成された前記顔情報に基づき、前記位置関係情報を補正する学習手段をさらに備えたことを要旨とする。
【００１４】
この発明によれば、生成した顔情報を、位置関係情報にフィードバックして補正する学習が行われる。このため、顔情報の生成が繰り返されるに伴い、位置関係情報が最適化されるため、最適化された位置関係情報により、さらに高精度に顔位置又は顔の向きを検出することができる。
【００１５】
請求項５に記載の発明は、請求項１〜４のいずれか１項に記載の乗員位置検出装置において、前記位置関係情報には、前記顔候補領域と関連付けられたシートベルトの幅が含まれており、前記画像データにおける前記シートベルトの幅を検出するベルト幅検出手段をさらに備え、前記顔情報生成手段は、前記検出したシートベルトの幅と、前記シートベルト装着位置と、前記位置関係情報とに基づいて、前記画像データ中における前記顔候補領域を特定することを要旨とする。
【００１６】
この発明によれば、位置関係情報は、顔候補領域と関連付けられたシートベルトの幅を含む。そして、画像データにおけるシートベルトの幅を検出し、その検出したシートベル
トの幅及びシートベルト装着位置と、シートベルトの幅を含む位置関係情報とに基づき、顔候補領域を特定する。従って、シートベルト装着位置だけでなくシートベルトの幅に応じて顔候補領域を設定するので、顔候補領域の精度をより向上させることができる。
【００１７】
請求項６に記載の発明は、乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出方法において、前記制御手段が、前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出し、前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行うことを要旨とする。
【００１８】
この発明によれば、顔情報を生成するために、シートベルト装着位置を検出し、シートベルト装着位置及び顔候補領域を関連付けた位置関係情報を用いて顔候補領域を絞り込む。そして、顔候補領域を対象として顔情報を生成するための画像処理を行う。ここで、シートベルト装着位置は、顔の位置の動きに合わせて動くため、顔との位置関係の変化が少ない上に個人差がなく、他の物体に遮蔽されにくく、且つ外的要因による影響を受けにくいので、高い検出率で検出できる。そして、このシートベルト装着位置を用いて顔候補領域を特定することで、顔候補領域を、顔位置を含む位置に確実に設定することができる。従って、顔候補領域を絞り込み、絞り込まれた顔候補領域に対して顔情報生成のための詳細な画像処理を行うことができるため、高精度な顔情報を生成することができる。
【００１９】
請求項７に記載の発明は、乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出プログラムにおいて、前記制御手段を、前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、前記シートベルト装着位置及び前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行う顔情報生成手段として機能させることを要旨とする。
【００２０】
この発明によれば、乗員位置検出プログラムを用いて、顔情報を生成するために、シートベルト装着位置を検出し、シートベルト装着位置及び顔候補領域を関連付けた位置関係情報を用いて顔候補領域を絞り込む。そして、顔候補領域を対象として顔情報を生成するための画像処理を行う。ここで、シートベルト装着位置は、顔の位置の動きに合わせて動くため、顔との位置関係の変化が少ない上に個人差がなく、他の物体に遮蔽されにくく、且つ外的要因による影響を受けにくいので、高い検出率で検出できる。そして、このシートベルト装着位置を用いて顔候補領域を特定することで、顔候補領域を、顔位置を含む位置に確実に設定することができる。従って、顔候補領域を絞り込み、絞り込まれた顔候補領域に対して顔情報生成のための詳細な画像処理を行うことができるため、高精度な顔情報を生成することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を具体化した第１実施形態を図１〜図１２に従って説明する。図１は、乗員位置検出システム１の概略図である。乗員位置検出システム１は、位置検出ＥＣＵ１０を備えている。位置検出ＥＣＵ１０は、画像データ取得手段、シートベルト位置検出手段、顔情報生成手段、学習手段、乗員位置検出装置及び制御手段に対応し、ＣＰＵ、ＲＡＭ、ＲＯＭや、画像処理用のＬＳＩ等を備え、乗員位置検出プログラムを格納している。
【００２２】
位置検出ＥＣＵ１０は、車両に取り付けられた撮影手段としてのカメラ１１から画像デ
ータを入力する。カメラ１１は、広角レンズを含む光学機構、ＣＣＤ、ＣＭＯＳ等の撮像素子、ゲイン補正等を行う信号処理部、Ａ／Ｄ変換器等を有している。図２及び図３に示すように、カメラ１１は、その撮影範囲２０に、シート３に着座したドライバー２の顔及び肩部を含む上半身が含まれるように、車両のインストルメントパネル１５等に固定されている。
【００２３】
また、カメラ１１の撮影範囲２０には、ドライバー２の上半身の他に、シート３のヘッドレスト３Ａ及びシートバック３Ｂの上部と、シートベルト装置を構成するシートベルト５（ウェビング）の一部とが含まれる。カメラ視点からみると、ヘッドレスト３Ａは、その一部がドライバー２の頭部によって遮蔽され、シートバック３Ｂの大部分はドライバー２の肩及び胸部によって遮蔽されるが、シートベルト５はドライバー２の着衣の上から装着されるため、他の物体によって遮蔽され難い。
【００２４】
また、本実施形態のシートベルト装置は、３点式シートベルト装置であって、その一端がシートクッション３Ｃの側部に固定され、その他端が、車体であって、ドライバー２の上方付近に設けられた図示しない巻き取り装置に固定されている。また、シートベルト装置は、帯状の上記シートベルト５の他、シートベルト５の長手方向に対して移動可能に取り付けられたタングと、シート側に固定されたバックル（いずれも図示略）を有しており、シートベルト５は、タングをバックルに差し込むことによって、ドライバー２の右肩付近から、下方左側に向かって斜めに装着される。また、バックルの内部には、タングの差し込みの有無を検知するバックルスイッチ１２（図１参照）が設けられている。当該スイッチ１２は、タングの差し込みを検知するとオン状態となり、タングを検知しない場合にはオフ状態となる。尚、シートベルト装置は、３点式の装置以外にも、４点式シートベルト装置でもよい。また、本実施形態では、右側に運転席がある車両を前提に説明しているが、左側に運転席がある車両に適用してもよい。
【００２５】
また、位置検出ＥＣＵ１０は、イグニッションモジュール１３から、ＡＣＣ（アクセサリ）スイッチのオン信号を入力する。位置検出ＥＣＵ１０は、ＡＣＣスイッチのオン信号をトリガとして、カメラ１１を起動する。そして、上記バックルスイッチ１２がオン状態とされると、カメラ１１が撮影した画像データの取得を開始し、ドライバー２の顔の位置及び顔の向きを示すパラメータを含む顔検出データを生成するための処理を行う。生成した顔検出データは、運転支援ＥＣＵ１４に出力され、運転支援ＥＣＵ１４は、上記パラメータを用いて各種支援を行う。この支援としては、ドライバーの脇見運転に対する警告、右左折意思の確認、死角領域の画像表示、居眠り運転に対する警告、非常時のエアバック展開方向の算出等が挙げられるが、本発明では特に限定されない。
【００２６】
図４は、位置検出ＥＣＵ１０の機能ブロック図である。画像取得部２１は、バックルスイッチ１２がオン状態とされたタイミングで、画像データＤ１の取得を開始する。画像データＤ１の取得が開始された後は、所定間隔で画像データＤ１を取得する。
【００２７】
次に、取得された画像データＤ１を用いて顔候補領域を特定する。まず、エッジ強調処理部２２が、画像データＤ１に対し、エッジ強調処理を行う。エッジ強調処理部２２は、画像データＤ１の注目画素と隣接画素との輝度差をエッジとして抽出するエッジ強調を行う処理部であり、ソーベルフィルタ、ラプラシアンフィルタ等を用いた公知のアルゴリズムによって、エッジ強調データＤ２を生成する。このエッジ強調処理により、撮影画像のうち、画像の濃淡（明るさ）の境目を検出することができる。尚、エッジ強調処理を行う前に、ノイズを除去するための平滑化処理等を行ってもよい。また、エッジ強調データＤ２に対し、さらに２値化処理を行ってもよいし、公知のノイズを除去するためのアルゴリズムを用いてもよい。
【００２８】
ここで、車外から入射する光により、車内が明るい場合には、その被撮影体の輪郭をエッジとして抽出される確率が高いが、明るさが十分でない場合には、その被撮影体の輪郭をエッジとして抽出できる確率は低下する。車内の照明条件は、天候によっても変化し、走行道路によって刻々と変化するため、照明条件が悪いときが多々ある。その中で、車外から入射する光量等の外的要因による影響が小さく、検出率が高いものとして、シートベルト５の長手方向に沿った側端と、ドライバー２の肩部との境目が挙げられる。即ち、一般的なシートベルト５は、ポリエチレン繊維等の光沢性を有する材質から構成されているため、シートベルト５に反射した光の鏡面反射成分が大きく、着衣等の周囲の被撮影物に対して輝度差が出やすい。また、上記したように、シートベルト５は、ドライバー２の着衣の上から装着されるため、遮蔽物によって遮蔽されにくく、また車両のウィンドウを介して入射した外光が照射されやすい位置に配置されているといった利点も有する。一方、ドライバー２の顔や、シート３等は、シートベルト５に比べ、光を拡散反射するため、周囲の物体等との輝度差が生じにくく、エッジを比較的抽出し難い。
【００２９】
次に、マッチング処理部２６により、ベルト装着位置を検出するためのテンプレートマッチング処理が行われる。マッチング処理部２６は、顔位置検出部２３の検出結果を受けて、エッジ強調処理部２２からエッジ強調データＤ２を取得する。また、テンプレート記憶部２７に記憶された装着部テンプレートＴを読み出し、エッジ強調データＤ２に対して、装着部テンプレートＴを所定の走査方向に相対移動させる。このときの探索方法は、特に限定されず、疎密探索法等、各種探索法を用いることができる。そして、装着部テンプレートＴのパターンと最も類似度が高い（又は相違度が低い）領域を特定する。
【００３０】
図５に示すように、装着部テンプレートＴは、ドライバー２に装着されたシートベルト５とドライバー２の身体の一部とによって特徴付けられる標準エッジパターンをテンプレートとしたものである。具体的には、シートベルト５が右肩の稜線付近に掛かる、シートベルト装着位置のエッジパターンであって、ドライバー２の肩と背景との境目を抽出したエッジと、シートベルト５の側端を抽出したエッジとが交差している。
【００３１】
装着部テンプレートＴに描画されたエッジパターンは、１対の屈曲形状のエッジＥからなる。各エッジＥは、ドライバー２の肩と背景との境目をエッジＥとして検出した肩検出エッジＥ１と、シートベルト５の側端をエッジとして検出したベルト検出エッジＥ２とからそれぞれ構成される。左側のエッジＥは、肩の稜線に沿って、上方右側又は右側に延びた後、その略中央で、下方右側に向かって屈曲する。右側のエッジＥは、一端から、肩の稜線に沿って上方右側又は右側に向かって延びた後、その略中央で、下方右側に向かって屈曲する。また、エッジパターンは、２本のベルト検出エッジＥ２が、ほぼ平行に延びている特徴を有する。このエッジパターンは、殆どのエッジ強調データＤ２で検出可能な最小限のパターンである。
【００３２】
マッチング処理部２６は、例えばエッジ強調データＤ２の全範囲に亘って、マッチングを行いながら類似度を算出する。そして、類似度が最も高い２次元領域を検出すると、その領域の中心座標を取得する。例えば、図６に示すように、エッジ強調データＤ２のうち、マッチング領域Ｚ１がテンプレートＴとの類似度が最も高い領域である場合、そのマッチング領域Ｚ１の中心座標Ｐ１を取得する。尚、最も高い類似度が予め定めた閾値を満たしていない場合には、マッチング不成功とみなし、類似度が閾値を満たしている場合には、マッチング成功とみなす。
【００３３】
マッチングが成功した場合、マッチング処理部２６は、類似度が最も高いマッチング領域Ｚ１の中心座標Ｐ１を示すデータを、顔候補領域特定部２９に送る。顔候補領域特定部２９は、中心座標Ｐ１を取得すると、相対位置記憶部３０から、位置関係情報としての相対位置データ３１を読み出し、顔位置の検出対象範囲を絞り込むための顔候補領域を特定
する。このとき用いられる相対位置データ３１は、マッチング領域Ｚ１の上記中心座標Ｐ１と顔候補領域との相対位置関係を予め関連付けたデータである。即ち、ドライバー２の顔位置は、右肩に掛けられたシートベルト５付近に位置しているため、マッチング領域Ｚ１から、顔位置があると想定される顔候補領域を確実に絞り込むことができる。また、シートベルト５は、ドライバー２が姿勢を変えても、その身体の動きに従動するため、上記マッチング領域Ｚ１と顔位置との相対距離及び相対方向はほぼ一定である。従って、顔候補領域Ｚ２を、顔位置が存在する領域に高精度に設定することができる。尚、相対位置データ３１は、中心座標Ｐ１から顔候補領域Ｚ２の座標を算出するための演算式でもよいし、マップでもよい。
【００３４】
顔候補領域特定部２９は、図６に示すように、取得した中心座標Ｐ１と相対位置データ３１とに基づき、顔候補領域Ｚ２の２次元座標を算出する。本実施形態の顔候補領域Ｚ２は、矩形状であって、その大きさの初期値は一定であるが、楕円形状等、その他の形状でもよい。
【００３５】
顔候補領域Ｚ２を示す座標を算出すると、その座標は、顔位置検出部２３に送られる。このとき、既に顔候補領域Ｚ２が絞り込まれているため、画像データＤ１又はエッジ強調データＤ２の全領域に対して、テンプレートマッチングや肌色検出等の顔位置検出処理を実行する場合に比べ、顔位置検出の処理量が大きく軽減されるので、より詳細な画像処理を行うことができる。即ち、画像データＤ１又はエッジ強調データＤ２に対して、より多くの数のテンプレートを用いてマッチングを行っても良いし、複数の画像処理方法を試みても良い。また、ノイズ除去、コントラスト調整、色調補正等の前処理を行ってもよい。
【００３６】
顔位置を検出すると、顔位置検出部２３は、顔検出データ２５を格納する。また、顔位置の座標と、上記マッチング領域Ｚ１との中心座標Ｐ１を関連付けて、位置学習データ３２として蓄積する。顔候補領域特定部２９は、位置学習データ３２が蓄積されると、その蓄積された位置学習データ３２に基づき、相対位置データ３１をフィードバック補正する。例えば、複数の位置学習データ３２に基づき、顔位置が、顔候補領域Ｚ２の右側の領域で偏って検出される傾向にあると判定できる場合、顔位置が顔候補領域Ｚ２の中央で検出されるように相対位置データ３１を補正する。また、顔候補領域Ｚ２内において顔位置が検出される領域を統計し、顔候補領域Ｚ２の大きさを縮小するようにしてもよい。
（処理手順）
次に、本実施形態の処理手順について、図７〜図９に従って説明する。図７に示すように、位置検出ＥＣＵ１０は、乗員位置検出を開始するか否かを判断する（ステップＳ１）。本実施形態では、上記したようにバックルスイッチ１２が、タングの差し込みを検出した際に、乗員位置検出を開始する。又は、シフトポジションセンサ等に基づき、シフトポジションがパーキングポジションから、それ以外のポジションに変更された際に、乗員位置検出を開始すると判断してもよい。又は、ＡＣＣスイッチがオン状態とされた際に、乗員位置検出を開始すると判断してもよいし、インストルメントパネル１５等に設けられた所定のボタンが押釦され、ボタンに連動したスイッチがオン状態とされた際に、乗員位置検出を開始すると判断してもよい。
【００３７】
乗員位置の検出を開始すると判断すると（ステップＳ１においてＹＥＳ）、位置検出ＥＣＵ１０は、カメラ１１から画像データＤ１を取得する（ステップＳ２）。そして、候補領域特定処理（ステップＳ３）を行う。また、乗員位置の検出を開始しないと判断した場合には（ステップＳ１においてＮＯ）、乗員位置の検出を開始すると判断するまでステップＳ１を繰り返す。
【００３８】
この候補領域特定処理について、図９に従って説明する。位置検出ＥＣＵ１０は、ステップＳ２で取得した画像データＤ１に対し、上記したエッジ強調処理を行う（ステップＳ
３−１）。図１０（ａ）は、カメラ１１から取得した画像データＤ１を表し、図１０（ｂ）は、図１０（ａ）の画像データＤ１に対するエッジ強調処理を行ったエッジ強調データＤ２を表す。図１０（ｂ）のエッジ強調データＤ２は、顔のパーツや輪郭のエッジが抽出されないか、或いは不連続であるのに比べ、肩検出エッジＥ１は連続的且つ明瞭に抽出され、ベルト検出エッジＥ２も連続的且つ明瞭に検出されている。
【００３９】
また、図１１（ａ）は、図１０（ａ）の人物とは異なる人物を、異なる照明条件で撮影した画像データＤ１を示し、図１１（ｂ）は、そのエッジ強調データＤ２を示す。また、図１１（ａ）の画像データＤ１は、図１０（ａ）の画像データＤ１に比べ、照度が低い状態で撮影されている。図１１（ｂ）に示すように、照度が不足し、顔のエッジが検出されない場合でも、肩検出エッジＥ１やベルト検出エッジＥ２は、連続的且つ明瞭に抽出される。また、図１０（ｂ）と図１１（ｂ）とを比較して判るように、異なる体格、又は異なる顔輪郭の人物でも、肩検出エッジＥ１及びベルト検出エッジＥ２がなすエッジパターンは、ほぼ一定である。従って、体格の差異、顔輪郭の差異、肌色の差異といった個人差に左右されることがなく、照明条件による影響が少ないため、高精度に肩検出エッジＥ１及びベルト検出エッジＥ２がなすエッジパターンを検出できる。
【００４０】
エッジ強調データＤ２を生成すると、位置検出ＥＣＵ１０は、装着部テンプレートＴを読み出す（ステップＳ３−２）。そして、読み出した装着部テンプレートＴを用い、エッジ強調データＤ２に対して、上記したようにテンプレートマッチングを行う（ステップＳ３−３）。
【００４１】
さらに、位置検出ＥＣＵ１０は、上記したように、テンプレートマッチングが成功したか否かを判断する（ステップＳ３−４）。エッジ強調データＤ２のうち、類似度の最大値が閾値未満であった場合には、テンプレートマッチングが不成功であったと判断し（ステップＳ３−４においてＮＯ）、マッチング結果を記憶する（ステップＳ３−５）。このテンプレートマッチングが不成功である場合、シートベルト５が、何らかの物体によって隠されている等、特異な事態が想定されるが、通常は、テンプレートマッチングが成功する確率が高い。
【００４２】
一方、テンプレートマッチングが成功したと判断すると（ステップＳ３−４においてＹＥＳ）、マッチングしたマッチング領域Ｚ１の中心座標Ｐ１を取得する（ステップＳ３−６）。中心座標Ｐ１を取得すると、その中心座標Ｐ１と相対位置データ３１とを用いて、顔候補領域Ｚ２を特定する（ステップＳ３−７）。図１０（ｃ）では、図１０（ｂ）のエッジ強調データＤ２に対し特定された顔候補領域Ｚ２を鎖線で示し、図１１（ｃ）では、図１１（ｂ）のエッジ強調データＤ２に対し特定された顔候補領域Ｚ２を鎖線で示している。
【００４３】
顔候補領域Ｚ２を算出すると、その顔候補領域Ｚ２を示す座標を記憶して、図７に示すステップＳ４に進む。
ステップＳ４では、位置検出ＥＣＵ１０は、候補領域特定処理によって、顔候補領域Ｚ２が特定されたか否かを判断する。顔候補領域Ｚ２が特定されなかった場合（ステップＳ４においてＮＯ）、ステップＳ１１に進み、乗員位置検出を終了するか否かを判断する。このとき、バックルスイッチ１２のオン状態が維持されている場合には、乗員位置検出が終了しないと判断し（ステップＳ１１においてＮＯ）、ステップＳ２に戻る。尚、ここではステップＳ２に戻るようにしたが、ステップＳ３に戻り、顔候補領域Ｚ２の特定を再度試みてもよい。
【００４４】
一方、顔候補領域Ｚ２が特定されたと判断すると（ステップＳ４においてＹＥＳ）、顔候補領域Ｚ２を特定する際に用いた画像データＤ１、又はその画像データＤ１にエッジ強
調処理を行ったエッジ強調データＤ２を取得し（ステップＳ５）、顔候補領域Ｚ２に対して上記顔位置検出処理を行う（ステップＳ６）。
【００４５】
ステップＳ６で実行される顔位置検出処理では、画像処理を行う対象である顔候補領域Ｚ２が絞り込まれているため、詳細な画像処理を行うことができる。
そして、図８に示すステップ７に進み、顔候補領域Ｚ２を絞り込んだ顔位置検出処理が成功したか否かを判断する。顔位置検出処理が成功しなかったと判断すると（ステップＳ７においてＮＯ）、上記したステップＳ１１に進む。顔位置検出処理が成功したと判断すると（ステップＳ７においてＹＥＳ）、顔位置及び顔向きを含む顔検出データ２５を生成し（ステップＳ８）、顔検出データ２５をＲＡＭに登録する（ステップＳ９）。また、顔位置を示す座標と、上記マッチング領域Ｚ１の中心座標Ｐ１とを関連付けた位置学習データ３２を生成し、生成した位置学習データ３２を蓄積する（ステップＳ１０）。
【００４６】
そして、ステップＳ１１において、バックルスイッチ１２がオフ状態とされたと判断すると（ステップＳ１１においてＹＥＳ）、一旦処理を終了し、ステップＳ１に戻る。
また、図１２に示すように、位置検出ＥＣＵ１０は、相対位置データ３１のフィードバック補正を行う。まず、位置検出ＥＣＵ１０は、位置学習データ３２が所定数だけ蓄積されたか否かを判断し（ステップ１７）、蓄積されたと判断すると（ステップＳ１７においてＹＥＳ）、その位置学習データ３２を用いて、相対位置データ３１を補正する（ステップＳ１８）。上記したように、位置学習データ３２の傾向に応じて、マッチング領域Ｚ１の中心座標Ｐ１と、顔候補領域Ｚ２との位置関係を補正してもよいし、顔候補領域Ｚ２を縮小してもよい。このため、位置検出の繰り返しに伴い、相対位置データ３１を最適化することができる。
【００４７】
第１実施形態によれば、以下のような効果を得ることができる。
（１）第１実施形態では、ドライバー２を撮影した画像データＤ１をカメラ１１から取得し、この画像データＤ１に対してエッジ強調処理を行った。また、ドライバー２に装着されたシートベルト５と当該ドライバー２の身体の一部とによって特徴付けられる装着部テンプレートＴのエッジパターンと類似度が高いマッチング領域Ｚ１を検出した。また、マッチング領域Ｚ１の中心座標及びドライバー２の顔位置があると想定される顔候補領域Ｚ２を関連付けた相対位置データ３１に基づき、顔候補領域Ｚ２を特定し、顔候補領域Ｚ２に対して顔位置を検出するための画像処理を行った。従って、個人差がなく、他の物体によって遮蔽され難く、周囲の物体との輝度差が発生しやすいシートベルト５を検出対象とするため、シートベルト装着位置の検出率及び検出精度を向上することができる。また、このように特定されたマッチング領域Ｚ１から顔候補領域Ｚ２を特定するため、顔候補領域Ｚ２の検出率及び検出精度を向上することができる。さらに、顔候補領域Ｚ２を絞り込んだ画像処理では、画像全域に対して画像処理を行う場合に比べ、顔位置検出の対象となる画素数が大幅に減るため、詳細な画像処理を行うことで、顔位置の検出率及び検出精度を向上することができる。
【００４８】
（２）第１実施形態では、エッジ強調データＤ２に対し、シートベルト５と肩が交差する部分であって、殆どのエッジ強調データＤ２で検出可能な最小限の標準エッジパターンを装着部テンプレートＴとして格納した。また、その装着部テンプレートＴを用いて、エッジ強調データＤ２における装着部テンプレートＴとの類似度を判断するテンプレートマッチング処理を行った。こうすることで、容易にシートベルト装着位置を検出するとともに、検出率を向上することが出来る。
【００４９】
（３）第１実施形態では、取得した画像データＤ１に対し、エッジ強調処理を行ってエッジ強調データＤ２を生成し、エッジ強調データＤ２のエッジパターンに基づき、シートベルト５と肩が交差する部分の検出を行った。即ち、シートベルト５は、乗員の着衣、背
景等に対して輝度差が生じやすいので、エッジ強調データ内での検出率を向上することができる。また、シートベルト５の形状が長尺状であることから、シートベルト５を、平行に長く延びる２本のエッジとして検出しやすい。このため、特徴点検出等の他の画像処理と比べ、エッジ強調処理は、シートベルト装着位置を検出するのに適しているため、より確実にシートベルト装着位置を検出することができる。
【００５０】
（４）第１実施形態では、生成した顔検出データ２５に基づき、相対位置データ３１をフィードバック補正した。このため、顔位置検出の繰り返しに伴い、相対位置データ３１が最適化されていくため、最適化された相対位置データ３１により、さらに高精度に顔位置又は顔の向きを検出することができる。
【００５１】
尚、上記実施形態は以下のように変更してもよい。
・カメラ１１は、インストルメントパネル１５に固定したが、車体の他の位置に取り付けるようにしてもよい。
【００５２】
・上記実施形態では、画像データＤ１に対し、エッジ強調処理を行ってから、装着部テンプレートＴを用いたが、エッジ強調処理を省略してもよい。この場合、コーナー検出（特徴点検出）、２値化処理等を替わりに行ってもよい。その際、それらの画像処理によって得られる、シートベルト５と乗員の身体の一部とによって特徴付けられる特徴パターンを装着部テンプレートＴとする。
【００５３】
・上記実施形態では、ドライバー２の顔位置を検出したが、助手席に着座した乗員、又は後部座席に着座した乗員の顔位置を検出するようにしてもよい。
・上記実施形態では、画像データＤ１に対し、エッジ強調処理を行ったが、ＳＵＳＡＮオペレータ等のコーナー検出を行ってもよい。この場合、装着部テンプレートＴは、エッジパターンの特徴を示すテンプレートではなく、コーナー特徴点の分散のパターンを示すテンプレートとなる。
【００５４】
・上記実施形態では、画像データＤ１を用いて、シートベルト装着位置を検出したが、さらに画像データＤ１（画像フレーム）中におけるシートベルトの幅を検出してもよい。画像データＤ１中におけるシートベルトの幅は、カメラ１１に対するドライバーの位置や姿勢に応じて変化するので、シートベルト装着位置に加え、シートベルトの幅を考慮することにより、顔候補領域Ｚ２をさらに精度よく特定することができる。この場合、位置検出ＥＣＵ１０は、ベルト幅検出手段として機能する。例えば、相対位置データ３１では、上記中心座標Ｐ１及び画像データＤ１中におけるシートベルトの幅といった２つのパラメータと、顔候補領域Ｚ２との相対位置関係が関連付けられ、算出した中心座標Ｐ１及びシートベルトの幅と、相対位置データ３１とを用いて、顔候補領域Ｚ２を特定することができる。或いは、テンプレートマッチング処理で用いる装着部テンプレートＴを、ドライバーの姿勢に合わせて複数格納し、検出したシートベルトの幅に基づき、各装着部テンプレートＴのうち一つを選択するようにしてもよい。例えば、ドライバーが左側又は右側を向くと、シートベルト５の前面がカメラ１１に対して傾斜して、画像データＤ１中のシートベルトの幅は狭くなる。このため、検出したシートベルトの幅が小さい値の場合には、ドライバーが左側又は右側を向いた場合を想定した装着部テンプレートＴを選択する。
【００５５】
・上記実施形態では、シートベルト位置検出手段、顔情報生成手段を位置検出ＥＣＵ１０として具体化したが、それぞれ別のＥＣＵから構成してもよい。例えば、シートベルト位置検出手段をカメラ１１のＥＣＵから構成し、顔情報生成手段をナビゲーション装置のＥＣＵから構成してもよい。
【図面の簡単な説明】
【００５６】
【図１】乗員位置検出システムの概略図。
【図２】カメラの撮影範囲を示す模式図。
【図３】カメラの撮影範囲を示す模式図。
【図４】位置検出ＥＣＵの機能ブロック図
【図５】装着部テンプレートの模式図。
【図６】顔候補領域を特定する際の模式図。
【図７】第１実施形態の処理手順を示すフローチャート。
【図８】同処理手順を示すフローチャート。
【図９】候補領域特定処理のフローチャート。
【図１０】（ａ）は画像データ、（ｂ）はエッジ強調データ、（ｃ）は顔候補領域を特定した写真図。
【図１１】異なる人物を撮影した画像を示し、（ａ）は画像データ、（ｂ）はエッジ強調データ、（ｃ）は顔候補領域を特定した写真図。
【図１２】学習処理のフローチャート。
【符号の説明】
【００５７】
１…乗員位置検出システム、２…乗員としてのドライバー、５…シートベルト、１０…画像データ取得手段、シートベルト位置検出手段、顔情報生成手段、学習手段、ベルト幅検出手段、乗員位置検出装置及び制御手段としての位置検出ＥＣＵ、１１…撮影手段としてのカメラ、２５…顔情報としての顔検出データ、３１…位置関係情報としての相対位置データ、Ｄ１…画像データ、Ｄ２…エッジ強調データ、Ｔ…装着部テンプレート、Ｚ２…顔候補領域。
【特許請求の範囲】
【請求項１】
乗員を撮影した画像データを撮影手段から取得する画像データ取得手段と、
前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、
前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行う顔情報生成手段とを備えたことを特徴とする乗員位置検出装置。
【請求項２】
請求項１に記載の乗員位置検出装置において、
前記シートベルト位置検出手段は、
前記シートベルト装着位置の標準パターンをテンプレートとして記憶するとともに、前記画像データ中における当該テンプレートとの類似度を判断するテンプレートマッチング処理を行うことを特徴とする乗員位置検出装置。
【請求項３】
請求項１又は２に記載の乗員位置検出装置において、
前記シートベルト位置検出手段は、
取得した前記画像データに対し、エッジ強調処理を行ってエッジ強調データを生成し、当該エッジ強調データのエッジパターンに基づき、前記シートベルト装着位置の検出を行うことを特徴とする乗員位置検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の乗員位置検出装置において、
前記顔情報生成手段により生成された前記顔情報に基づき、前記位置関係情報を補正する学習手段をさらに備えたことを特徴とする乗員位置検出装置。
【請求項５】
請求項１〜４のいずれか１項に記載の乗員位置検出装置において、
前記位置関係情報には、前記顔候補領域と関連付けられたシートベルトの幅が含まれており、
前記画像データを用いて前記シートベルトの幅を検出するベルト幅検出手段をさらに備え、
前記顔情報生成手段は、
前記検出したシートベルトの幅と、前記シートベルト装着位置と、前記位置関係情報とに基づいて、前記画像データ中における前記顔候補領域を特定することを特徴とする乗員位置検出装置。
【請求項６】
乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出方法において、
前記制御手段が、
前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出し、
前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行うことを特徴とする乗員位置検出方法。
【請求項７】
乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出プログラムにおいて、
前記制御手段を、
前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、
前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行う顔情報生成手段として機能させることを特徴とする乗員位置検出プログラム。
【請求項１】
乗員を撮影した画像データを撮影手段から取得する画像データ取得手段と、
前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、
前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行う顔情報生成手段とを備えたことを特徴とする乗員位置検出装置。
【請求項２】
請求項１に記載の乗員位置検出装置において、
前記シートベルト位置検出手段は、
前記シートベルト装着位置の標準パターンをテンプレートとして記憶するとともに、前記画像データ中における当該テンプレートとの類似度を判断するテンプレートマッチング処理を行うことを特徴とする乗員位置検出装置。
【請求項３】
請求項１又は２に記載の乗員位置検出装置において、
前記シートベルト位置検出手段は、
取得した前記画像データに対し、エッジ強調処理を行ってエッジ強調データを生成し、当該エッジ強調データのエッジパターンに基づき、前記シートベルト装着位置の検出を行うことを特徴とする乗員位置検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の乗員位置検出装置において、
前記顔情報生成手段により生成された前記顔情報に基づき、前記位置関係情報を補正する学習手段をさらに備えたことを特徴とする乗員位置検出装置。
【請求項５】
請求項１〜４のいずれか１項に記載の乗員位置検出装置において、
前記位置関係情報には、前記顔候補領域と関連付けられたシートベルトの幅が含まれており、
前記画像データを用いて前記シートベルトの幅を検出するベルト幅検出手段をさらに備え、
前記顔情報生成手段は、
前記検出したシートベルトの幅と、前記シートベルト装着位置と、前記位置関係情報とに基づいて、前記画像データ中における前記顔候補領域を特定することを特徴とする乗員位置検出装置。
【請求項６】
乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出方法において、
前記制御手段が、
前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出し、
前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行うことを特徴とする乗員位置検出方法。
【請求項７】
乗員を撮影した画像データを撮影手段から取得する制御手段を用いた乗員位置検出プログラムにおいて、
前記制御手段を、
前記画像データを用いて、前記乗員に装着されたシートベルトと当該乗員の身体の一部とによって特徴付けられるシートベルト装着位置を検出するシートベルト位置検出手段と、
前記シートベルト装着位置と、前記乗員の顔位置があると想定される顔候補領域とを関連付けた位置関係情報に基づき、前記画像データ中における前記顔候補領域を特定し、特定した前記顔候補領域に対して、前記乗員の顔情報を生成するための画像処理を行う顔情報生成手段として機能させることを特徴とする乗員位置検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図１０】
【図１１】
【公開番号】特開２０１０−１１３５０６（Ｐ２０１０−１１３５０６Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８５４０２（Ｐ２００８−２８５４０２）
【出願日】平成２０年１１月６日（２００８．１１．６）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月６日（２００８．１１．６）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]