乗員検知装置
【課題】乗員とチャイルドシートとの存在を精度良く判定する。
【解決手段】乗員検知装置１０は、単眼距離画像センサ１１から出力される距離画像に基づき、乗員の頭部領域を検知する頭部領域検知部５２およびシートの領域を検知するシート領域検知部５３と、シートの領域を距離画像から除去して得られるシート領域除去画像に基づき、頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定部５４と、乗員領域の体積が所定体積範囲内であると判定された場合に、頭部領域の断面画像と乗員領域の断面画像とを比較し、乗員の肩部の有無を判定し、乗員の肩部が存在すると判定された場合には乗員領域には大人が存在すると判定し、乗員の肩部が存在しないと判定された場合には乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定部５６とを備える。
【解決手段】乗員検知装置１０は、単眼距離画像センサ１１から出力される距離画像に基づき、乗員の頭部領域を検知する頭部領域検知部５２およびシートの領域を検知するシート領域検知部５３と、シートの領域を距離画像から除去して得られるシート領域除去画像に基づき、頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定部５４と、乗員領域の体積が所定体積範囲内であると判定された場合に、頭部領域の断面画像と乗員領域の断面画像とを比較し、乗員の肩部の有無を判定し、乗員の肩部が存在すると判定された場合には乗員領域には大人が存在すると判定し、乗員の肩部が存在しないと判定された場合には乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定部５６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、乗員検知装置に関する。
【背景技術】
【０００２】
従来、例えば撮像装置の撮像により得られた画像から乗員の左肩と右肩の端部エッジを抽出し、これらの距離から乗員の体格の指標として肩幅を算出する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９８９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る装置によれば、例えば撮像装置の撮像方向に応じた隠蔽などによって、少なくとも一方の肩部の検出が困難な場合には、肩幅を算出することができず、乗員の体格を判定することができないという問題が生じる。
また、上記従来技術に係る装置によれば、チャイルドシートが存在する場合には、乗員が存在しないと判断されることから、チャイルドシートに着座した子供の存在を検知することができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、乗員とチャイルドシートとの存在を精度良く判定することが可能な乗員検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段（例えば、実施の形態での頭部領域検知部５２）および前記車室内のシートの領域を検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５３）と、前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５４）と、前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、車両上下方向に直交する平面に平行な断面画像として前記頭部領域の断面画像および前記乗員領域の断面画像を前記距離画像に基づき生成する断面画像生成手段（例えば、実施の形態でのステップＳ１３）と、前記頭部領域の断面画像と前記乗員領域の断面画像とを比較し、該比較結果に基づいて前記乗員の肩部の有無を判定する肩部判定手段（例えば、実施の形態でのステップＳ１１〜Ｓ１５、Ｓ１７）と、前記肩部判定手段により前記乗員の肩部が存在すると判定された場合には前記乗員領域には大人が存在すると判定し、前記肩部判定手段により前記乗員の肩部が存在しないと判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定手段（例えば、実施の形態での乗員判定部５６）とを備える。
【０００７】
さらに、本発明の第２態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段（例えば、実施の形態での頭部領域検知部５２）および前記車室内のシートの領域を検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５３）と、前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５４）と、前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、チャイルドシートのサイドクッションが存在するか否かを判定するサイドクッション判定手段（例えば、実施の形態でのステップＳ２１〜Ｓ２９）と、前記サイドクッション判定手段により前記サイドクッションが存在すると判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、前記サイドクッション判定手段により前記サイドクッションが存在しないと判定された場合には前記乗員領域には大人が存在すると判定する乗員判定手段（例えば、実施の形態での乗員判定部５６）とを備える。
【０００８】
さらに、本発明の第３態様に係る乗員検知装置では、前記サイドクッション判定手段は、前記シート領域除去画像において凸形状の領域を抽出する凸形状領域抽出手段（例えば、実施の形態でのステップＳ２１）と、前記凸形状の領域の長さが所定長さ範囲内かつ前記凸形状の領域が車両上下方向に直交する平面に対してなす角度が所定角度範囲内であるか否かを判定する形状判定手段（例えば、実施の形態でのステップＳ２３）と、前記凸形状の領域と、車両左右方向で前記凸形状の領域に隣接する領域との間に、所定の段差が存在するか否かを判定する段差有無判定手段（例えば、実施の形態でのステップＳ２４）と、前記形状判定手段により前記長さが前記所定長さ範囲内かつ前記角度が前記所定角度範囲内であると判定された前記凸形状の領域と、前記段差有無判定手段により前記所定の段差が存在すると判定された前記凸形状の領域とのうちから、最も長い形状の前記凸形状の領域を選択する選択手段（例えば、実施の形態でのステップＳ２６）と、前記選択手段により選択された前記凸形状の領域の車両上下方向の最大高さが、前記頭部領域の車両上下方向の高さ範囲内に含まれるか否かを判定する高さ判定手段（例えば、実施の形態でのステップＳ２７）とを備え、前記高さ判定手段により前記最大高さが前記高さ範囲内に含まれていると判定された場合に、前記サイドクッションが存在すると判定する。
【発明の効果】
【０００９】
本発明の第１態様に係る乗員検知装置によれば、乗員（つまり大人や子供）の頭部領域の断面画像と、乗員領域の断面画像（例えば、乗員領域の重心位置を含む断面での画像など）とを比較することにより、体積が同程度である大人とチャイルドシートとを精度良く判別することができる。
すなわち、大人が存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から肩部が検出され、大人の代わりにチャイルドシートが存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から肩部は検出されない。
これにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００１０】
さらに、本発明の第２態様に係る乗員検知装置によれば、車室内において撮像が容易であってチャイルドシートに特有の形状を有するサイドクッションの有無を判定することにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００１１】
さらに、本発明の第３態様に係る乗員検知装置によれば、サイドクッションの特徴として、凸形状（例えば、筒型の形状）の領域の有無と、凸形状の領域が所定形状を有するか否かと、子供とサイドクッションとの間の段差の有無と、子供の頭部領域に対する相対的な高さの関係とを判定することにより、サイドクッションの有無およびチャイルドシートの有無を精度良く判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る乗員検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員検知装置の構成図である。
【図３】本発明の実施の形態に係るシート領域除去画像における頭部領域の重心位置Ｃ１と乗員領域の重心位置Ｃ２との例を示す図である。
【図４】本発明の実施の形態に係る頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２との例を示す図である。
【図５】本発明の実施の形態に係るシート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像との例を示す図である。
【図６】本発明の実施の形態に係るシート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像との例を示す図である。
【図７】本発明の実施の形態に係る乗員検知装置の動作を示すフローチャートである。
【図８】図７に示す乗員判定の処理を示すフローチャートである。
【図９】本発明の実施の形態の変形例に係るシート領域除去画像および該シート領域除去画像の断面図の例を示す図である。
【図１０】本発明の実施の形態の変形例に係るモデルパターンおよび該モデルパターンの断面図の例を示す図である。
【図１１】本発明の実施の形態の変形例に係るシート領域除去画像のモデルパターンに対する類似度と、類似度が閾値以上の凸形状検出領域Ｇとの例を示す図である。
【図１２】本発明の実施の形態の変形例に係るシート領域除去画像においてＢ方向センター領域以外の領域を除去するための境界面ＳＳと凸形状検出領域Ｇとの例を示す図である。
【図１３】本発明の実施の形態の変形例に係るＴＨ画像（つまり、単眼距離画像センサの撮像領域を車両左右方向から見たサイドビュー画像）の一例を示す図である。
【図１４】本発明の実施の形態の変形例に係るシート座標系においてＴ方向に対して傾斜角度θＧｓで傾斜すると共にＢ方向に平行な所定の基準面Ｄと、凸形状検出領域ＧにＢ方向で隣接する所定幅の近傍領域Ｆと、基準面Ｄから突出する凸形状検出領域Ｇの高さｈおよび近傍領域Ｆの高さｈｋとの例を示す図である。
【図１５】本発明の実施の形態の変形例に係るＴＨ画像（つまり、単眼距離画像センサの撮像領域を車両左右方向から見たサイドビュー画像）において２つの凸形状検出領域Ｇ１，Ｇ２の例を示す図である。
【図１６】本発明の実施の形態の変形例に係るＨＢ画像（つまり、単眼距離画像センサの撮像領域を車両前後方向から見たフロントビュー画像）において凸形状検出領域Ｇと頭部領域との例を示す図である。
【図１７】本発明の実施の形態の変形例に係る乗員検知装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る乗員検知装置について添付図面を参照しながら説明する。
【００１４】
本実施の形態による乗員検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。
【００１５】
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。
【００１６】
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。
【００１７】
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。
【００１８】
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。
【００１９】
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
【００２０】
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。
【００２１】
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
【００２２】
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。
【００２３】
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。
【００２４】
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。
【００２５】
制御装置１２は、例えば、画像処理部５１と、頭部領域検知部５２と、シート領域検知部５３と、体積判定部５４と、ブースターシート判定部５５と、乗員判定部５６と、駆動制御部５７とを備えて構成されている。
【００２６】
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。
【００２７】
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
【００２８】
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ方向かつ車両左右方向をＢ方向かつ車両上下方向をＨ方向とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
【００２９】
頭部領域検知部５２は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、人体モデルとの比較などの各種の処理を行なうことによって、乗員の頭部が存在する頭部領域を検知する。
【００３０】
例えば、頭部領域検知部５２は、所定の大きさの球形状の領域を頭部領域として距離画像から抽出する処理では、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
【００３１】
そして、頭部領域検知部５２は、３次元空間を構成する複数の単位空間、例えば所定長（５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間Ｖ）毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出する。
そして、複数の画素（ｖ，ｕ）毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像を生成する。
【００３２】
そして、頭部領域検知部５２は、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成する。
そして、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の結合領域に結合した後に、スコア値の平均値が閾平均値以下の画像領域と、体積が上限体積値以上または下限体積値以下の画像領域と、所定方向の幅寸法（例えば、Ｂ方向幅など）が所定閾値以上の画像領域とを、頭部領域の候補から除外する。
そして、これらの処理を実行した後に、頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００３３】
シート領域検知部５３は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、シートモデルとの比較などの各種の処理を行なうことによって、シート１６が存在する領域を検知する。
例えば、シート領域検知部５３は、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域として距離画像から抽出する。
【００３４】
そして、シート領域検知部５３は、頭部領域検知部５２によって複数の画像領域に分割された内部エッジ画像を参照しつつ、正面領域が抽出された画像領域毎に対して、正面領域のシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域を、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置を算出する。
【００３５】
そして、シート領域検知部５３は、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）などにおいて、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧間においてシート１６の腰部の領域を探索する。
そして、腰部の領域の厚さから、予め記憶している所定シート厚さを車両後方側から差し引いて、あるいは、予め記憶している所定人体厚さを車両前方側から差し引いて腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００３６】
体積判定部５４は、シート領域検知部５３によってＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、例えばシート領域除去画像を構成する複数の単位空間（例えば、ボクセル空間Ｖ）のうち少なくとも一点以上のデータ点を含む単位空間の総数などに基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積範囲内であるか否かを判定し、この判定結果を出力する。
なお、乗員領域の体積に対する所定体積範囲は、例えば成人女性の体積あるいはチャイルドシートなどの補助シート及び補助シートに着座した子供の体積が含まれる体積範囲に設定されている。
【００３７】
ブースターシート判定部５５は、体積判定部５４によって乗員領域の体積が所定体積範囲内であると判定された場合に、シート領域除去画像に基づいて、乗員領域を上体および下肢に区分し、乗員領域の全体積に対する上体の体積の比率が所定比率以下であるか否かを判定する。
【００３８】
例えば、ブースターシート判定部５５は、シート領域除去画像に基づき、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）を生成し、このＴＨ画像に対して２値化および細線化の処理を行ない、上体と下肢との境界位置である腰位置を検知する。
そして、乗員領域の全体積に対する上体の体積の比率が所定比率以下である場合には、乗員領域がブースターシート及びブースターシートに着座した子供であると判定する。
【００３９】
乗員判定部５６は、ブースターシート判定部５５において乗員領域の全体積に対する上体の体積の比率が所定比率よりも大きいと判定された場合に、シート領域除去画像に基づき、乗員の肩部が検知されるか否かを判定する。
そして、この判定結果において乗員の肩部が検知された場合には、乗員領域には大人が存在すると判定し、一方、乗員の肩部が検知されない場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
【００４０】
例えば、乗員判定部５６は、先ず、図３に示すように、シート領域除去画像に基づいて、頭部領域検知部５２によって検知された頭部領域の重心位置Ｃ１と、乗員領域の重心位置Ｃ２とを算出する。
そして、例えば図４（Ａ），（Ｂ）に示すように、車両上下方向に直交する平面に平行な断面つまりシート座標系でのＴ軸およびＢ軸によるＴＢ面として、頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と、乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２とを設定する。
【００４１】
そして、乗員判定部５６は、例えば図５（Ａ），（Ｂ），図６（Ａ），（Ｂ）に示すように、シート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像とを生成する。
そして、頭部領域の断面画像における車両左右方向（例えば、Ｂ方向のセンターコンソール側）の端点つまりＢ座標が最小となるデータ点と、乗員領域の断面画像における車両左右方向（例えば、Ｂ方向のセンターコンソール側）の端点つまりＢ座標が最小となるデータ点との間のＢ方向距離ＢＷを算出する。
【００４２】
そして、例えば図５（Ａ），（Ｂ）に示すように、Ｂ方向距離ＢＷが所定の閾値未満である場合には、乗員の頭部領域周辺に存在するチャイルドシートのサイドクッションなどに起因して乗員の肩部が検知されないと判断して、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
一方、例えば図６（Ａ），（Ｂ）に示すように、乗員の肩部が検知されたと判断して、乗員領域には大人が存在すると判定する。
【００４３】
駆動制御部５７は、乗員判定部５６による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。
【００４４】
本実施の形態による乗員検知装置１０は上記構成を備えており、次に、この乗員検知装置１０の動作について説明する。
【００４５】
先ず、例えば図７に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
【００４６】
次に、ステップＳ０２においては、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルにより指定される内部座標を算出する。
そして、３次元空間を構成する複数の単位空間（ボクセル空間Ｖ）毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて、乗員の頭部領域を抽出する。
【００４７】
次に、ステップＳ０３においては、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域として、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域をシート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。
そして、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることに応じて、ヘッドレスト１６ａの位置から腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００４８】
次に、ステップＳ０４においては、ＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積範囲内であるか否かを判定する。
【００４９】
次に、ステップＳ０５においては、乗員領域の体積が所定体積範囲内であると判定された場合に、シート領域除去画像に基づいて、乗員領域を上体および下肢に区分し、乗員領域の全体積に対する上体の体積の比率が所定比率以下であるか否かを判定する。
【００５０】
次に、ステップＳ０６においては、ブースターシート判定部５５において乗員領域の全体積に対する上体の体積の比率が所定比率よりも大きいと判定された場合に、シート領域除去画像に基づき、乗員の肩部が検知されるか否かを判定する。
そして、この判定結果において乗員の肩部が検知された場合には、乗員領域には大人が存在すると判定し、一方、乗員の肩部が検知されない場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
【００５１】
次に、ステップＳ０７においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。
【００５２】
以下に、上述したステップＳ０６での乗員判定の処理について説明する。
先ず、例えば図８に示すステップＳ１１においては、シート領域除去画像に基づいて、頭部領域検知部５２によって検知された頭部領域の重心位置Ｃ１を算出する。
次に、ステップＳ１２においては、シート領域除去画像に基づいて、乗員領域の重心位置Ｃ２を算出する。
【００５３】
次に、ステップＳ１３においては、車両上下方向に直交する平面に平行な断面として、頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と、乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２とを設定し、シート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像とを生成する。
【００５４】
次に、ステップＳ１４においては、頭部領域の断面画像における車両左右方向（Ｂ方向）の端点つまりＢ軸成分が最小となるデータ点と、乗員領域の断面画像における車両左右方向（Ｂ方向）の端点つまりＢ軸成分が最小となるデータ点との間のＢ方向距離ＢＷを算出し、このＢ方向距離ＢＷが所定の閾値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１７に進む。
【００５５】
そして、ステップＳ１５においては、乗員の肩部が検知されたと判断して、ステップＳ１６に進み、このステップＳ１６においては、乗員領域には大人が存在すると判定し、リターンに進む。
【００５６】
また、ステップＳ１７においては、乗員の肩部が検知されないと判断して、ステップＳ１８に進み、このステップＳ１８においては、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、リターンに進む。
【００５７】
上述したように、本実施の形態による乗員検知装置１０によれば、乗員（つまり大人や子供）の頭部領域の断面画像と、乗員領域の断面画像とを比較することにより、体積が同程度である大人とチャイルドシートとを精度良く判別することができる。
すなわち、大人が存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から乗員の肩部が検出され、大人の代わりにチャイルドシートが存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から乗員の肩部は検出されない。
これにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００５８】
しかも、Ｂ方向のセンターコンソール側のみで肩部の有無を判定するだけでよく、左右の肩部の一方が単眼距離画像センサ１１に対して隠蔽されている場合であっても、大人とチャイルドシートとを精度良く判別することができる。
【００５９】
なお、上述した実施の形態において、乗員判定部５６は乗員の肩部が検出されるか否かに応じて大人とチャイルドシートとを判別するとしたが、これに限定されず、例えば図９に示す上述した実施の形態の変形例のように、サイドクッションの有無に応じて大人とチャイルドシートとを判別してもよい。
【００６０】
この変形例において、乗員判定部５６は、先ず、例えば図９に示すようなシート領域除去画像に対して、例えば図１０に示すような所定のモデルパターンを用いた畳み込み積分の演算などによりパターンマッチングの処理を行ない、単眼距離画像センサ１１に向かい突出する凸型形状の領域を抽出する。
図１０に示すモデルパターンは、例えば所定サイズの円錐形状であり、底面から頂点に向かうことに伴い、単眼距離画像センサ１１に対する距離が短くなる（単眼距離画像センサ１１に近づく）ように設定されている。
【００６１】
そして、乗員判定部５６は、例えば図１１（Ａ），（Ｂ）に示すように、モデルパターンに対する類似度に関して所定の閾値を用いた閾値処理を行ない、類似度が閾値以上の領域のみを抽出して、凸形状検出領域Ｇとして設定する。
【００６２】
次に、乗員判定部５６は、シート座標系においてＢ方向のセンターコンソール（図示略）側の領域（Ｂ方向センター領域）にチャイルドシートの左右のサイドクッションのうちの一方（単眼距離画像センサ１１側のサイドクッション）が含まれるとして、このＢ方向センター領域以外の領域を除去するための境界面ＳＳを設定する。
この境界面ＳＳは、例えばシート座標系においてＢ方向に直交する平面（つまり、Ｔ軸およびＨ軸によるＴＨ平面）などであって、例えば図１２（Ａ），（Ｂ）に示すように、凸形状検出領域ＧのうちからＢ方向センター領域以外の領域が境界面ＳＳによって除去される。
【００６３】
次に、乗員判定部５６は、凸形状検出領域Ｇが所定形状範囲であるか否かを判定し、この所定形状範囲から逸脱する凸形状検出領域Ｇを除去する。
この所定形状範囲は、チャイルドシートのサイドクッションの形状が一般的に含まれる形状範囲に設定されている。
【００６４】
例えば図１３に示すように、乗員判定部５６は、ＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）において、凸形状検出領域ＧのＴ方向での幅ＸＴとＨ方向での幅ＹＨとに基づき、下記数式（１），（２）を用いて、凸形状検出領域Ｇの長さＬとＴ方向に対する傾斜角度θＧとを算出する。
【００６５】
【数１】
【００６６】
【数２】
【００６７】
そして、乗員判定部５６は、凸形状検出領域Ｇの長さＬが所定長さ範囲（例えば、２０ｃｍ＜Ｌ＜１００ｃｍなど）、かつ、傾斜角度θＧが所定角度範囲（例えば、２０°＜θＧ＜７０°など）であるか否かを判定し、この判定結果が「ＮＯ」となる凸形状検出領域Ｇを除去する。
【００６８】
さらに、乗員判定部５６は、例えば図９に示すようなシート領域除去画像に基づき、乗員領域のＢ方向に、例えばチャイルドシートのサイドクッションと乗員（子供）とに起因する所定段差が存在するか否かを判定する。
【００６９】
先ず、乗員判定部５６は、例えば図１４（Ａ）に示すように、シート座標系においてＴ方向に対して傾斜角度θＧｓで傾斜すると共にＢ方向に平行な所定の基準面Ｄを設定する。
この傾斜角度θＧｓは、例えば下記数式（３）に示すように、シート座標系においてＨ方向から見た乗員領域の面積Ｓｔと、Ｔ方向から見た乗員領域の面積Ｓｆとの比率に応じて設定される。
【００７０】
【数３】
【００７１】
そして、乗員判定部５６は、例えば図１４（Ｂ）に示すように、シート領域除去画像の乗員領域において、凸形状検出領域ＧにＢ方向で隣接する所定幅（例えば、５ｃｍなど）の近傍領域Ｆを設定する。
なお、所定の基準面Ｄは、少なくとも凸形状検出領域Ｇおよび近傍領域Ｆよりも車両後方側に配置され、この基準面Ｄから車両前方側に凸形状検出領域Ｇおよび近傍領域Ｆが突出するように設定されている。
【００７２】
そして、乗員判定部５６は、例えば図１４（Ｃ）に示すように、Ｂ方向に直交すると共に基準面Ｄに含まれる軸線ＤＬの軸線方向に所定間隔（例えば、２ｃｍなど）をおいた位置Ｌ１，Ｌ２，…毎に、基準面Ｄに直交する平面内において基準面Ｄから突出する凸形状検出領域Ｇの高さｈおよび近傍領域Ｆの高さｈｋを算出する。
そして、各位置Ｌ１，Ｌ２，…毎に、凸形状検出領域Ｇの高さｈが近傍領域Ｆの高さｈｋよりも高いか否かを判定し、この判定結果が「ＹＥＳ」となる位置数が所定数以上の場合には、所定段差が存在すると判定する。一方、この判定結果が「ＹＥＳ」となる位置数が所定数未満の場合には、所定段差が存在しないと判定する。
【００７３】
そして、乗員判定部５６は、例えば所定形状範囲の形状を有すると判定された凸形状検出領域Ｇが複数存在する場合、あるいは、所定段差が存在すると判定された凸形状検出領域Ｇが複数存在する場合には、複数の凸形状検出領域Ｇのうちから最も長い長さを有する凸形状検出領域Ｇをサイドクッションの候補として選択する。
【００７４】
例えば図１５に示すように、２つの凸形状検出領域Ｇ１，Ｇ２が存在し、凸形状検出領域Ｇ１の長さＬ１が凸形状検出領域Ｇ２の長さＬ２よりも長い場合には、凸形状検出領域Ｇ１がサイドクッションの候補として選択される。
【００７５】
そして、乗員判定部５６は、凸形状検出領域Ｇが頭部領域検知部５２により検知された頭部領域に対して所定位置範囲内に存在するか否かを判定し、所定位置範囲内に存在する場合には、凸形状検出領域Ｇがサイドクッションであると判定し、所定位置範囲内に存在しない場合には、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定する。
【００７６】
例えば図１６に示すように、乗員判定部５６は、頭部領域検知部５２により検知された頭部領域ＨＡのＨ座標範囲（つまり、Ｈ座標の最小値ＨＤ＿ＭＩＮと最大値ＨＤ＿ＭＡＸとの間の範囲）内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれるか否かを判定する。
そして、頭部領域ＨＡのＨ座標範囲内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれる場合には、凸形状検出領域Ｇがサイドクッションであると判定し、一方、頭部領域ＨＡのＨ座標範囲内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれない場合には、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定する。
【００７７】
そして、乗員判定部５６は、サイドクッションが検知された場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、一方、サイドクッションが検知されない場合には、乗員領域には大人が存在すると判定する。
【００７８】
以下に、この変形例での乗員判定の処理について説明する。
先ず、例えば図１７に示すステップＳ２１においては、シート領域除去画像に対して所定のモデルパターンを用いた畳み込み積分の演算などによりパターンマッチングの処理を行ない、単眼距離画像センサ１１に向かい突出する凸型形状の領域を抽出する。
そして、モデルパターンに対する類似度に関して所定の閾値を用いた閾値処理を行ない、類似度が閾値以上の領域のみを抽出して、凸形状検出領域Ｇとして設定する。
【００７９】
次に、ステップＳ２２においては、凸形状検出領域ＧのうちからＢ方向センター領域以外の領域を除去する。
次に、ステップＳ２３においては、所定形状範囲、つまり長さＬが所定長さ範囲（例えば、２０ｃｍ＜Ｌ＜１００ｃｍなど）、かつ、Ｔ方向に対する傾斜角度θＧが所定角度範囲（例えば、２０°＜θＧ＜７０°など）の凸形状検出領域Ｇが存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、所定形状範囲から逸脱する凸形状検出領域Ｇを除去して、後述するステップＳ２６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２４に進む。
【００８０】
次に、ステップＳ２４においては、シート領域除去画像に基づき、乗員領域のＢ方向にチャイルドシートのサイドクッションに起因する所定段差が存在するか否かを判定する。
このステップＳ２４では、Ｂ方向に直交すると共に基準面Ｄに含まれる軸線ＤＬの軸線方向に所定間隔（例えば、２ｃｍなど）をおいた位置Ｌ１，Ｌ２，…毎に、基準面Ｄから突出する凸形状検出領域Ｇの高さｈが近傍領域Ｆの高さｈｋよりも高いか否かを判定する。そして、この判定結果が「ＹＥＳ」となる位置数が所定数以上の場合には、所定段差が存在すると判定する。一方、この判定結果が「ＹＥＳ」となる位置数が所定数未満の場合には、所定段差が存在しないと判定する。
そして、ステップＳ２４での判定結果が「ＮＯ」の場合には、ステップＳ２５に進み、このステップＳ２５においては、乗員領域には大人が存在すると判定して、リターンに進む。
一方、ステップＳ２４での判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
【００８１】
そして、ステップＳ２６においては、所定形状範囲の形状を有すると判定された凸形状検出領域Ｇが複数存在する場合、あるいは、所定段差が存在すると判定された凸形状検出領域Ｇが複数存在する場合には、複数の凸形状検出領域Ｇのうちから最も長い長さを有する凸形状検出領域Ｇをサイドクッションの候補として選択する。
【００８２】
次に、ステップＳ２７においては、頭部領域ＨＡのＨ座標範囲（つまり、Ｈ座標の最小値ＨＤ＿ＭＩＮと最大値ＨＤ＿ＭＡＸとの間の範囲）内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２８に進み、このステップＳ２８においては、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定して、上述したステップＳ２５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進み、このステップＳ２９においては、凸形状検出領域Ｇがサイドクッションであると判定する。
【００８３】
次に、ステップＳ３０においては、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定して、リターンに進む。
【００８４】
この変形例によれば、車室内において撮像が容易であってチャイルドシートに特有の形状を有するサイドクッションの有無を判定することにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００８５】
さらに、サイドクッションの特徴として、凸型形状（例えば、筒型などの形状）の領域（凸形状検出領域Ｇ）の有無と、凸形状検出領域Ｇが所定形状を有するか否かと、子供とサイドクッションとの間の所定段差の有無と、子供の頭部領域に対する凸形状検出領域Ｇの相対的な高さの関係とを判定することにより、サイドクッションの有無およびチャイルドシートの有無を容易かつ精度良く判定することができる。
【００８６】
しかも、Ｂ方向のセンターコンソール側のみでサイドクッションの有無を判定するだけでよく、左右のサイドクッションの一方が単眼距離画像センサ１１に対して隠蔽されている場合であっても、大人とチャイルドシートとを精度良く判別することができる。
【符号の説明】
【００８７】
１０ 乗員検知装置
１１ 単眼距離画像センサ
１２ 制御装置
２２ 受光部（撮像手段）
２３ 処理部（距離画像生成手段）
５１ 画像処理部
５２ 頭部領域検知部（頭部領域検知手段）
５３ シート領域検知部（シート領域検知手段）
５４ 体積判定部（体積判定手段）
５５ ブースターシート判定部
５６ 乗員判定部（乗員判定手段）
５７ 駆動制御部
ステップＳ１１〜Ｓ１５、Ｓ１７ 肩部判定手段
ステップＳ１３ 断面画像生成手段
ステップＳ２１〜Ｓ２９ サイドクッション判定手段
ステップＳ２１ 凸形状領域抽出手段
ステップＳ２３ 形状判定手段
ステップＳ２４ 段差有無判定手段
ステップＳ２６ 選択手段
ステップＳ２７ 高さ判定手段
【技術分野】
【０００１】
この発明は、乗員検知装置に関する。
【背景技術】
【０００２】
従来、例えば撮像装置の撮像により得られた画像から乗員の左肩と右肩の端部エッジを抽出し、これらの距離から乗員の体格の指標として肩幅を算出する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９８９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る装置によれば、例えば撮像装置の撮像方向に応じた隠蔽などによって、少なくとも一方の肩部の検出が困難な場合には、肩幅を算出することができず、乗員の体格を判定することができないという問題が生じる。
また、上記従来技術に係る装置によれば、チャイルドシートが存在する場合には、乗員が存在しないと判断されることから、チャイルドシートに着座した子供の存在を検知することができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、乗員とチャイルドシートとの存在を精度良く判定することが可能な乗員検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段（例えば、実施の形態での頭部領域検知部５２）および前記車室内のシートの領域を検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５３）と、前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５４）と、前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、車両上下方向に直交する平面に平行な断面画像として前記頭部領域の断面画像および前記乗員領域の断面画像を前記距離画像に基づき生成する断面画像生成手段（例えば、実施の形態でのステップＳ１３）と、前記頭部領域の断面画像と前記乗員領域の断面画像とを比較し、該比較結果に基づいて前記乗員の肩部の有無を判定する肩部判定手段（例えば、実施の形態でのステップＳ１１〜Ｓ１５、Ｓ１７）と、前記肩部判定手段により前記乗員の肩部が存在すると判定された場合には前記乗員領域には大人が存在すると判定し、前記肩部判定手段により前記乗員の肩部が存在しないと判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定手段（例えば、実施の形態での乗員判定部５６）とを備える。
【０００７】
さらに、本発明の第２態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段（例えば、実施の形態での頭部領域検知部５２）および前記車室内のシートの領域を検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５３）と、前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５４）と、前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、チャイルドシートのサイドクッションが存在するか否かを判定するサイドクッション判定手段（例えば、実施の形態でのステップＳ２１〜Ｓ２９）と、前記サイドクッション判定手段により前記サイドクッションが存在すると判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、前記サイドクッション判定手段により前記サイドクッションが存在しないと判定された場合には前記乗員領域には大人が存在すると判定する乗員判定手段（例えば、実施の形態での乗員判定部５６）とを備える。
【０００８】
さらに、本発明の第３態様に係る乗員検知装置では、前記サイドクッション判定手段は、前記シート領域除去画像において凸形状の領域を抽出する凸形状領域抽出手段（例えば、実施の形態でのステップＳ２１）と、前記凸形状の領域の長さが所定長さ範囲内かつ前記凸形状の領域が車両上下方向に直交する平面に対してなす角度が所定角度範囲内であるか否かを判定する形状判定手段（例えば、実施の形態でのステップＳ２３）と、前記凸形状の領域と、車両左右方向で前記凸形状の領域に隣接する領域との間に、所定の段差が存在するか否かを判定する段差有無判定手段（例えば、実施の形態でのステップＳ２４）と、前記形状判定手段により前記長さが前記所定長さ範囲内かつ前記角度が前記所定角度範囲内であると判定された前記凸形状の領域と、前記段差有無判定手段により前記所定の段差が存在すると判定された前記凸形状の領域とのうちから、最も長い形状の前記凸形状の領域を選択する選択手段（例えば、実施の形態でのステップＳ２６）と、前記選択手段により選択された前記凸形状の領域の車両上下方向の最大高さが、前記頭部領域の車両上下方向の高さ範囲内に含まれるか否かを判定する高さ判定手段（例えば、実施の形態でのステップＳ２７）とを備え、前記高さ判定手段により前記最大高さが前記高さ範囲内に含まれていると判定された場合に、前記サイドクッションが存在すると判定する。
【発明の効果】
【０００９】
本発明の第１態様に係る乗員検知装置によれば、乗員（つまり大人や子供）の頭部領域の断面画像と、乗員領域の断面画像（例えば、乗員領域の重心位置を含む断面での画像など）とを比較することにより、体積が同程度である大人とチャイルドシートとを精度良く判別することができる。
すなわち、大人が存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から肩部が検出され、大人の代わりにチャイルドシートが存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から肩部は検出されない。
これにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００１０】
さらに、本発明の第２態様に係る乗員検知装置によれば、車室内において撮像が容易であってチャイルドシートに特有の形状を有するサイドクッションの有無を判定することにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００１１】
さらに、本発明の第３態様に係る乗員検知装置によれば、サイドクッションの特徴として、凸形状（例えば、筒型の形状）の領域の有無と、凸形状の領域が所定形状を有するか否かと、子供とサイドクッションとの間の段差の有無と、子供の頭部領域に対する相対的な高さの関係とを判定することにより、サイドクッションの有無およびチャイルドシートの有無を精度良く判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る乗員検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員検知装置の構成図である。
【図３】本発明の実施の形態に係るシート領域除去画像における頭部領域の重心位置Ｃ１と乗員領域の重心位置Ｃ２との例を示す図である。
【図４】本発明の実施の形態に係る頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２との例を示す図である。
【図５】本発明の実施の形態に係るシート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像との例を示す図である。
【図６】本発明の実施の形態に係るシート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像との例を示す図である。
【図７】本発明の実施の形態に係る乗員検知装置の動作を示すフローチャートである。
【図８】図７に示す乗員判定の処理を示すフローチャートである。
【図９】本発明の実施の形態の変形例に係るシート領域除去画像および該シート領域除去画像の断面図の例を示す図である。
【図１０】本発明の実施の形態の変形例に係るモデルパターンおよび該モデルパターンの断面図の例を示す図である。
【図１１】本発明の実施の形態の変形例に係るシート領域除去画像のモデルパターンに対する類似度と、類似度が閾値以上の凸形状検出領域Ｇとの例を示す図である。
【図１２】本発明の実施の形態の変形例に係るシート領域除去画像においてＢ方向センター領域以外の領域を除去するための境界面ＳＳと凸形状検出領域Ｇとの例を示す図である。
【図１３】本発明の実施の形態の変形例に係るＴＨ画像（つまり、単眼距離画像センサの撮像領域を車両左右方向から見たサイドビュー画像）の一例を示す図である。
【図１４】本発明の実施の形態の変形例に係るシート座標系においてＴ方向に対して傾斜角度θＧｓで傾斜すると共にＢ方向に平行な所定の基準面Ｄと、凸形状検出領域ＧにＢ方向で隣接する所定幅の近傍領域Ｆと、基準面Ｄから突出する凸形状検出領域Ｇの高さｈおよび近傍領域Ｆの高さｈｋとの例を示す図である。
【図１５】本発明の実施の形態の変形例に係るＴＨ画像（つまり、単眼距離画像センサの撮像領域を車両左右方向から見たサイドビュー画像）において２つの凸形状検出領域Ｇ１，Ｇ２の例を示す図である。
【図１６】本発明の実施の形態の変形例に係るＨＢ画像（つまり、単眼距離画像センサの撮像領域を車両前後方向から見たフロントビュー画像）において凸形状検出領域Ｇと頭部領域との例を示す図である。
【図１７】本発明の実施の形態の変形例に係る乗員検知装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る乗員検知装置について添付図面を参照しながら説明する。
【００１４】
本実施の形態による乗員検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。
【００１５】
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。
【００１６】
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。
【００１７】
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。
【００１８】
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。
【００１９】
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
【００２０】
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。
【００２１】
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
【００２２】
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。
【００２３】
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。
【００２４】
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。
【００２５】
制御装置１２は、例えば、画像処理部５１と、頭部領域検知部５２と、シート領域検知部５３と、体積判定部５４と、ブースターシート判定部５５と、乗員判定部５６と、駆動制御部５７とを備えて構成されている。
【００２６】
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。
【００２７】
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
【００２８】
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ方向かつ車両左右方向をＢ方向かつ車両上下方向をＨ方向とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
【００２９】
頭部領域検知部５２は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、人体モデルとの比較などの各種の処理を行なうことによって、乗員の頭部が存在する頭部領域を検知する。
【００３０】
例えば、頭部領域検知部５２は、所定の大きさの球形状の領域を頭部領域として距離画像から抽出する処理では、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
【００３１】
そして、頭部領域検知部５２は、３次元空間を構成する複数の単位空間、例えば所定長（５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間Ｖ）毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出する。
そして、複数の画素（ｖ，ｕ）毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像を生成する。
【００３２】
そして、頭部領域検知部５２は、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成する。
そして、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の結合領域に結合した後に、スコア値の平均値が閾平均値以下の画像領域と、体積が上限体積値以上または下限体積値以下の画像領域と、所定方向の幅寸法（例えば、Ｂ方向幅など）が所定閾値以上の画像領域とを、頭部領域の候補から除外する。
そして、これらの処理を実行した後に、頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００３３】
シート領域検知部５３は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、シートモデルとの比較などの各種の処理を行なうことによって、シート１６が存在する領域を検知する。
例えば、シート領域検知部５３は、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域として距離画像から抽出する。
【００３４】
そして、シート領域検知部５３は、頭部領域検知部５２によって複数の画像領域に分割された内部エッジ画像を参照しつつ、正面領域が抽出された画像領域毎に対して、正面領域のシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域を、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置を算出する。
【００３５】
そして、シート領域検知部５３は、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）などにおいて、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧間においてシート１６の腰部の領域を探索する。
そして、腰部の領域の厚さから、予め記憶している所定シート厚さを車両後方側から差し引いて、あるいは、予め記憶している所定人体厚さを車両前方側から差し引いて腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００３６】
体積判定部５４は、シート領域検知部５３によってＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、例えばシート領域除去画像を構成する複数の単位空間（例えば、ボクセル空間Ｖ）のうち少なくとも一点以上のデータ点を含む単位空間の総数などに基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積範囲内であるか否かを判定し、この判定結果を出力する。
なお、乗員領域の体積に対する所定体積範囲は、例えば成人女性の体積あるいはチャイルドシートなどの補助シート及び補助シートに着座した子供の体積が含まれる体積範囲に設定されている。
【００３７】
ブースターシート判定部５５は、体積判定部５４によって乗員領域の体積が所定体積範囲内であると判定された場合に、シート領域除去画像に基づいて、乗員領域を上体および下肢に区分し、乗員領域の全体積に対する上体の体積の比率が所定比率以下であるか否かを判定する。
【００３８】
例えば、ブースターシート判定部５５は、シート領域除去画像に基づき、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）を生成し、このＴＨ画像に対して２値化および細線化の処理を行ない、上体と下肢との境界位置である腰位置を検知する。
そして、乗員領域の全体積に対する上体の体積の比率が所定比率以下である場合には、乗員領域がブースターシート及びブースターシートに着座した子供であると判定する。
【００３９】
乗員判定部５６は、ブースターシート判定部５５において乗員領域の全体積に対する上体の体積の比率が所定比率よりも大きいと判定された場合に、シート領域除去画像に基づき、乗員の肩部が検知されるか否かを判定する。
そして、この判定結果において乗員の肩部が検知された場合には、乗員領域には大人が存在すると判定し、一方、乗員の肩部が検知されない場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
【００４０】
例えば、乗員判定部５６は、先ず、図３に示すように、シート領域除去画像に基づいて、頭部領域検知部５２によって検知された頭部領域の重心位置Ｃ１と、乗員領域の重心位置Ｃ２とを算出する。
そして、例えば図４（Ａ），（Ｂ）に示すように、車両上下方向に直交する平面に平行な断面つまりシート座標系でのＴ軸およびＢ軸によるＴＢ面として、頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と、乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２とを設定する。
【００４１】
そして、乗員判定部５６は、例えば図５（Ａ），（Ｂ），図６（Ａ），（Ｂ）に示すように、シート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像とを生成する。
そして、頭部領域の断面画像における車両左右方向（例えば、Ｂ方向のセンターコンソール側）の端点つまりＢ座標が最小となるデータ点と、乗員領域の断面画像における車両左右方向（例えば、Ｂ方向のセンターコンソール側）の端点つまりＢ座標が最小となるデータ点との間のＢ方向距離ＢＷを算出する。
【００４２】
そして、例えば図５（Ａ），（Ｂ）に示すように、Ｂ方向距離ＢＷが所定の閾値未満である場合には、乗員の頭部領域周辺に存在するチャイルドシートのサイドクッションなどに起因して乗員の肩部が検知されないと判断して、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
一方、例えば図６（Ａ），（Ｂ）に示すように、乗員の肩部が検知されたと判断して、乗員領域には大人が存在すると判定する。
【００４３】
駆動制御部５７は、乗員判定部５６による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。
【００４４】
本実施の形態による乗員検知装置１０は上記構成を備えており、次に、この乗員検知装置１０の動作について説明する。
【００４５】
先ず、例えば図７に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
【００４６】
次に、ステップＳ０２においては、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルにより指定される内部座標を算出する。
そして、３次元空間を構成する複数の単位空間（ボクセル空間Ｖ）毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて、乗員の頭部領域を抽出する。
【００４７】
次に、ステップＳ０３においては、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域として、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域をシート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。
そして、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることに応じて、ヘッドレスト１６ａの位置から腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００４８】
次に、ステップＳ０４においては、ＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積範囲内であるか否かを判定する。
【００４９】
次に、ステップＳ０５においては、乗員領域の体積が所定体積範囲内であると判定された場合に、シート領域除去画像に基づいて、乗員領域を上体および下肢に区分し、乗員領域の全体積に対する上体の体積の比率が所定比率以下であるか否かを判定する。
【００５０】
次に、ステップＳ０６においては、ブースターシート判定部５５において乗員領域の全体積に対する上体の体積の比率が所定比率よりも大きいと判定された場合に、シート領域除去画像に基づき、乗員の肩部が検知されるか否かを判定する。
そして、この判定結果において乗員の肩部が検知された場合には、乗員領域には大人が存在すると判定し、一方、乗員の肩部が検知されない場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
【００５１】
次に、ステップＳ０７においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。
【００５２】
以下に、上述したステップＳ０６での乗員判定の処理について説明する。
先ず、例えば図８に示すステップＳ１１においては、シート領域除去画像に基づいて、頭部領域検知部５２によって検知された頭部領域の重心位置Ｃ１を算出する。
次に、ステップＳ１２においては、シート領域除去画像に基づいて、乗員領域の重心位置Ｃ２を算出する。
【００５３】
次に、ステップＳ１３においては、車両上下方向に直交する平面に平行な断面として、頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と、乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２とを設定し、シート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像とを生成する。
【００５４】
次に、ステップＳ１４においては、頭部領域の断面画像における車両左右方向（Ｂ方向）の端点つまりＢ軸成分が最小となるデータ点と、乗員領域の断面画像における車両左右方向（Ｂ方向）の端点つまりＢ軸成分が最小となるデータ点との間のＢ方向距離ＢＷを算出し、このＢ方向距離ＢＷが所定の閾値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１７に進む。
【００５５】
そして、ステップＳ１５においては、乗員の肩部が検知されたと判断して、ステップＳ１６に進み、このステップＳ１６においては、乗員領域には大人が存在すると判定し、リターンに進む。
【００５６】
また、ステップＳ１７においては、乗員の肩部が検知されないと判断して、ステップＳ１８に進み、このステップＳ１８においては、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、リターンに進む。
【００５７】
上述したように、本実施の形態による乗員検知装置１０によれば、乗員（つまり大人や子供）の頭部領域の断面画像と、乗員領域の断面画像とを比較することにより、体積が同程度である大人とチャイルドシートとを精度良く判別することができる。
すなわち、大人が存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から乗員の肩部が検出され、大人の代わりにチャイルドシートが存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から乗員の肩部は検出されない。
これにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００５８】
しかも、Ｂ方向のセンターコンソール側のみで肩部の有無を判定するだけでよく、左右の肩部の一方が単眼距離画像センサ１１に対して隠蔽されている場合であっても、大人とチャイルドシートとを精度良く判別することができる。
【００５９】
なお、上述した実施の形態において、乗員判定部５６は乗員の肩部が検出されるか否かに応じて大人とチャイルドシートとを判別するとしたが、これに限定されず、例えば図９に示す上述した実施の形態の変形例のように、サイドクッションの有無に応じて大人とチャイルドシートとを判別してもよい。
【００６０】
この変形例において、乗員判定部５６は、先ず、例えば図９に示すようなシート領域除去画像に対して、例えば図１０に示すような所定のモデルパターンを用いた畳み込み積分の演算などによりパターンマッチングの処理を行ない、単眼距離画像センサ１１に向かい突出する凸型形状の領域を抽出する。
図１０に示すモデルパターンは、例えば所定サイズの円錐形状であり、底面から頂点に向かうことに伴い、単眼距離画像センサ１１に対する距離が短くなる（単眼距離画像センサ１１に近づく）ように設定されている。
【００６１】
そして、乗員判定部５６は、例えば図１１（Ａ），（Ｂ）に示すように、モデルパターンに対する類似度に関して所定の閾値を用いた閾値処理を行ない、類似度が閾値以上の領域のみを抽出して、凸形状検出領域Ｇとして設定する。
【００６２】
次に、乗員判定部５６は、シート座標系においてＢ方向のセンターコンソール（図示略）側の領域（Ｂ方向センター領域）にチャイルドシートの左右のサイドクッションのうちの一方（単眼距離画像センサ１１側のサイドクッション）が含まれるとして、このＢ方向センター領域以外の領域を除去するための境界面ＳＳを設定する。
この境界面ＳＳは、例えばシート座標系においてＢ方向に直交する平面（つまり、Ｔ軸およびＨ軸によるＴＨ平面）などであって、例えば図１２（Ａ），（Ｂ）に示すように、凸形状検出領域ＧのうちからＢ方向センター領域以外の領域が境界面ＳＳによって除去される。
【００６３】
次に、乗員判定部５６は、凸形状検出領域Ｇが所定形状範囲であるか否かを判定し、この所定形状範囲から逸脱する凸形状検出領域Ｇを除去する。
この所定形状範囲は、チャイルドシートのサイドクッションの形状が一般的に含まれる形状範囲に設定されている。
【００６４】
例えば図１３に示すように、乗員判定部５６は、ＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）において、凸形状検出領域ＧのＴ方向での幅ＸＴとＨ方向での幅ＹＨとに基づき、下記数式（１），（２）を用いて、凸形状検出領域Ｇの長さＬとＴ方向に対する傾斜角度θＧとを算出する。
【００６５】
【数１】
【００６６】
【数２】
【００６７】
そして、乗員判定部５６は、凸形状検出領域Ｇの長さＬが所定長さ範囲（例えば、２０ｃｍ＜Ｌ＜１００ｃｍなど）、かつ、傾斜角度θＧが所定角度範囲（例えば、２０°＜θＧ＜７０°など）であるか否かを判定し、この判定結果が「ＮＯ」となる凸形状検出領域Ｇを除去する。
【００６８】
さらに、乗員判定部５６は、例えば図９に示すようなシート領域除去画像に基づき、乗員領域のＢ方向に、例えばチャイルドシートのサイドクッションと乗員（子供）とに起因する所定段差が存在するか否かを判定する。
【００６９】
先ず、乗員判定部５６は、例えば図１４（Ａ）に示すように、シート座標系においてＴ方向に対して傾斜角度θＧｓで傾斜すると共にＢ方向に平行な所定の基準面Ｄを設定する。
この傾斜角度θＧｓは、例えば下記数式（３）に示すように、シート座標系においてＨ方向から見た乗員領域の面積Ｓｔと、Ｔ方向から見た乗員領域の面積Ｓｆとの比率に応じて設定される。
【００７０】
【数３】
【００７１】
そして、乗員判定部５６は、例えば図１４（Ｂ）に示すように、シート領域除去画像の乗員領域において、凸形状検出領域ＧにＢ方向で隣接する所定幅（例えば、５ｃｍなど）の近傍領域Ｆを設定する。
なお、所定の基準面Ｄは、少なくとも凸形状検出領域Ｇおよび近傍領域Ｆよりも車両後方側に配置され、この基準面Ｄから車両前方側に凸形状検出領域Ｇおよび近傍領域Ｆが突出するように設定されている。
【００７２】
そして、乗員判定部５６は、例えば図１４（Ｃ）に示すように、Ｂ方向に直交すると共に基準面Ｄに含まれる軸線ＤＬの軸線方向に所定間隔（例えば、２ｃｍなど）をおいた位置Ｌ１，Ｌ２，…毎に、基準面Ｄに直交する平面内において基準面Ｄから突出する凸形状検出領域Ｇの高さｈおよび近傍領域Ｆの高さｈｋを算出する。
そして、各位置Ｌ１，Ｌ２，…毎に、凸形状検出領域Ｇの高さｈが近傍領域Ｆの高さｈｋよりも高いか否かを判定し、この判定結果が「ＹＥＳ」となる位置数が所定数以上の場合には、所定段差が存在すると判定する。一方、この判定結果が「ＹＥＳ」となる位置数が所定数未満の場合には、所定段差が存在しないと判定する。
【００７３】
そして、乗員判定部５６は、例えば所定形状範囲の形状を有すると判定された凸形状検出領域Ｇが複数存在する場合、あるいは、所定段差が存在すると判定された凸形状検出領域Ｇが複数存在する場合には、複数の凸形状検出領域Ｇのうちから最も長い長さを有する凸形状検出領域Ｇをサイドクッションの候補として選択する。
【００７４】
例えば図１５に示すように、２つの凸形状検出領域Ｇ１，Ｇ２が存在し、凸形状検出領域Ｇ１の長さＬ１が凸形状検出領域Ｇ２の長さＬ２よりも長い場合には、凸形状検出領域Ｇ１がサイドクッションの候補として選択される。
【００７５】
そして、乗員判定部５６は、凸形状検出領域Ｇが頭部領域検知部５２により検知された頭部領域に対して所定位置範囲内に存在するか否かを判定し、所定位置範囲内に存在する場合には、凸形状検出領域Ｇがサイドクッションであると判定し、所定位置範囲内に存在しない場合には、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定する。
【００７６】
例えば図１６に示すように、乗員判定部５６は、頭部領域検知部５２により検知された頭部領域ＨＡのＨ座標範囲（つまり、Ｈ座標の最小値ＨＤ＿ＭＩＮと最大値ＨＤ＿ＭＡＸとの間の範囲）内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれるか否かを判定する。
そして、頭部領域ＨＡのＨ座標範囲内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれる場合には、凸形状検出領域Ｇがサイドクッションであると判定し、一方、頭部領域ＨＡのＨ座標範囲内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれない場合には、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定する。
【００７７】
そして、乗員判定部５６は、サイドクッションが検知された場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、一方、サイドクッションが検知されない場合には、乗員領域には大人が存在すると判定する。
【００７８】
以下に、この変形例での乗員判定の処理について説明する。
先ず、例えば図１７に示すステップＳ２１においては、シート領域除去画像に対して所定のモデルパターンを用いた畳み込み積分の演算などによりパターンマッチングの処理を行ない、単眼距離画像センサ１１に向かい突出する凸型形状の領域を抽出する。
そして、モデルパターンに対する類似度に関して所定の閾値を用いた閾値処理を行ない、類似度が閾値以上の領域のみを抽出して、凸形状検出領域Ｇとして設定する。
【００７９】
次に、ステップＳ２２においては、凸形状検出領域ＧのうちからＢ方向センター領域以外の領域を除去する。
次に、ステップＳ２３においては、所定形状範囲、つまり長さＬが所定長さ範囲（例えば、２０ｃｍ＜Ｌ＜１００ｃｍなど）、かつ、Ｔ方向に対する傾斜角度θＧが所定角度範囲（例えば、２０°＜θＧ＜７０°など）の凸形状検出領域Ｇが存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、所定形状範囲から逸脱する凸形状検出領域Ｇを除去して、後述するステップＳ２６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２４に進む。
【００８０】
次に、ステップＳ２４においては、シート領域除去画像に基づき、乗員領域のＢ方向にチャイルドシートのサイドクッションに起因する所定段差が存在するか否かを判定する。
このステップＳ２４では、Ｂ方向に直交すると共に基準面Ｄに含まれる軸線ＤＬの軸線方向に所定間隔（例えば、２ｃｍなど）をおいた位置Ｌ１，Ｌ２，…毎に、基準面Ｄから突出する凸形状検出領域Ｇの高さｈが近傍領域Ｆの高さｈｋよりも高いか否かを判定する。そして、この判定結果が「ＹＥＳ」となる位置数が所定数以上の場合には、所定段差が存在すると判定する。一方、この判定結果が「ＹＥＳ」となる位置数が所定数未満の場合には、所定段差が存在しないと判定する。
そして、ステップＳ２４での判定結果が「ＮＯ」の場合には、ステップＳ２５に進み、このステップＳ２５においては、乗員領域には大人が存在すると判定して、リターンに進む。
一方、ステップＳ２４での判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
【００８１】
そして、ステップＳ２６においては、所定形状範囲の形状を有すると判定された凸形状検出領域Ｇが複数存在する場合、あるいは、所定段差が存在すると判定された凸形状検出領域Ｇが複数存在する場合には、複数の凸形状検出領域Ｇのうちから最も長い長さを有する凸形状検出領域Ｇをサイドクッションの候補として選択する。
【００８２】
次に、ステップＳ２７においては、頭部領域ＨＡのＨ座標範囲（つまり、Ｈ座標の最小値ＨＤ＿ＭＩＮと最大値ＨＤ＿ＭＡＸとの間の範囲）内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２８に進み、このステップＳ２８においては、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定して、上述したステップＳ２５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進み、このステップＳ２９においては、凸形状検出領域Ｇがサイドクッションであると判定する。
【００８３】
次に、ステップＳ３０においては、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定して、リターンに進む。
【００８４】
この変形例によれば、車室内において撮像が容易であってチャイルドシートに特有の形状を有するサイドクッションの有無を判定することにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
【００８５】
さらに、サイドクッションの特徴として、凸型形状（例えば、筒型などの形状）の領域（凸形状検出領域Ｇ）の有無と、凸形状検出領域Ｇが所定形状を有するか否かと、子供とサイドクッションとの間の所定段差の有無と、子供の頭部領域に対する凸形状検出領域Ｇの相対的な高さの関係とを判定することにより、サイドクッションの有無およびチャイルドシートの有無を容易かつ精度良く判定することができる。
【００８６】
しかも、Ｂ方向のセンターコンソール側のみでサイドクッションの有無を判定するだけでよく、左右のサイドクッションの一方が単眼距離画像センサ１１に対して隠蔽されている場合であっても、大人とチャイルドシートとを精度良く判別することができる。
【符号の説明】
【００８７】
１０ 乗員検知装置
１１ 単眼距離画像センサ
１２ 制御装置
２２ 受光部（撮像手段）
２３ 処理部（距離画像生成手段）
５１ 画像処理部
５２ 頭部領域検知部（頭部領域検知手段）
５３ シート領域検知部（シート領域検知手段）
５４ 体積判定部（体積判定手段）
５５ ブースターシート判定部
５６ 乗員判定部（乗員判定手段）
５７ 駆動制御部
ステップＳ１１〜Ｓ１５、Ｓ１７ 肩部判定手段
ステップＳ１３ 断面画像生成手段
ステップＳ２１〜Ｓ２９ サイドクッション判定手段
ステップＳ２１ 凸形状領域抽出手段
ステップＳ２３ 形状判定手段
ステップＳ２４ 段差有無判定手段
ステップＳ２６ 選択手段
ステップＳ２７ 高さ判定手段
【特許請求の範囲】
【請求項１】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段および前記車室内のシートの領域を検知するシート領域検知手段と、
前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、車両上下方向に直交する平面に平行な断面画像として前記頭部領域の断面画像および前記乗員領域の断面画像を前記距離画像に基づき生成する断面画像生成手段と、
前記頭部領域の断面画像と前記乗員領域の断面画像とを比較し、該比較結果に基づいて前記乗員の肩部の有無を判定する肩部判定手段と、
前記肩部判定手段により前記乗員の肩部が存在すると判定された場合には前記乗員領域には大人が存在すると判定し、前記肩部判定手段により前記乗員の肩部が存在しないと判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定手段と
を備えることを特徴とする乗員検知装置。
【請求項２】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段および前記車室内のシートの領域を検知するシート領域検知手段と、
前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、チャイルドシートのサイドクッションが存在するか否かを判定するサイドクッション判定手段と、
前記サイドクッション判定手段により前記サイドクッションが存在すると判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、前記サイドクッション判定手段により前記サイドクッションが存在しないと判定された場合には前記乗員領域には大人が存在すると判定する乗員判定手段とを備えることを特徴とする乗員検知装置。
【請求項３】
前記サイドクッション判定手段は、
前記シート領域除去画像において凸形状の領域を抽出する凸形状領域抽出手段と、
前記凸形状の領域の長さが所定長さ範囲内かつ前記凸形状の領域が車両上下方向に直交する平面に対してなす角度が所定角度範囲内であるか否かを判定する形状判定手段と、
前記凸形状の領域と、車両左右方向で前記凸形状の領域に隣接する領域との間に、所定の段差が存在するか否かを判定する段差有無判定手段と、
前記形状判定手段により前記長さが前記所定長さ範囲内かつ前記角度が前記所定角度範囲内であると判定された前記凸形状の領域と、前記段差有無判定手段により前記所定の段差が存在すると判定された前記凸形状の領域とのうちから、最も長い形状の前記凸形状の領域を選択する選択手段と、
前記選択手段により選択された前記凸形状の領域の車両上下方向の最大高さが、前記頭部領域の車両上下方向の高さ範囲内に含まれるか否かを判定する高さ判定手段とを備え、
前記高さ判定手段により前記最大高さが前記高さ範囲内に含まれていると判定された場合に、前記サイドクッションが存在すると判定することを特徴とする請求項２に記載の乗員検知装置。
【請求項１】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段および前記車室内のシートの領域を検知するシート領域検知手段と、
前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、車両上下方向に直交する平面に平行な断面画像として前記頭部領域の断面画像および前記乗員領域の断面画像を前記距離画像に基づき生成する断面画像生成手段と、
前記頭部領域の断面画像と前記乗員領域の断面画像とを比較し、該比較結果に基づいて前記乗員の肩部の有無を判定する肩部判定手段と、
前記肩部判定手段により前記乗員の肩部が存在すると判定された場合には前記乗員領域には大人が存在すると判定し、前記肩部判定手段により前記乗員の肩部が存在しないと判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定手段と
を備えることを特徴とする乗員検知装置。
【請求項２】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段および前記車室内のシートの領域を検知するシート領域検知手段と、
前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、チャイルドシートのサイドクッションが存在するか否かを判定するサイドクッション判定手段と、
前記サイドクッション判定手段により前記サイドクッションが存在すると判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、前記サイドクッション判定手段により前記サイドクッションが存在しないと判定された場合には前記乗員領域には大人が存在すると判定する乗員判定手段とを備えることを特徴とする乗員検知装置。
【請求項３】
前記サイドクッション判定手段は、
前記シート領域除去画像において凸形状の領域を抽出する凸形状領域抽出手段と、
前記凸形状の領域の長さが所定長さ範囲内かつ前記凸形状の領域が車両上下方向に直交する平面に対してなす角度が所定角度範囲内であるか否かを判定する形状判定手段と、
前記凸形状の領域と、車両左右方向で前記凸形状の領域に隣接する領域との間に、所定の段差が存在するか否かを判定する段差有無判定手段と、
前記形状判定手段により前記長さが前記所定長さ範囲内かつ前記角度が前記所定角度範囲内であると判定された前記凸形状の領域と、前記段差有無判定手段により前記所定の段差が存在すると判定された前記凸形状の領域とのうちから、最も長い形状の前記凸形状の領域を選択する選択手段と、
前記選択手段により選択された前記凸形状の領域の車両上下方向の最大高さが、前記頭部領域の車両上下方向の高さ範囲内に含まれるか否かを判定する高さ判定手段とを備え、
前記高さ判定手段により前記最大高さが前記高さ範囲内に含まれていると判定された場合に、前記サイドクッションが存在すると判定することを特徴とする請求項２に記載の乗員検知装置。
【図１】
【図２】
【図７】
【図８】
【図１７】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図７】
【図８】
【図１７】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１２７８１１（Ｐ２０１２−１２７８１１Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９６５１（Ｐ２０１０−２７９６５１）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]