乗員検知装置
【課題】大人と子供とを精度良く判別する。
【解決手段】乗員検知装置１０は、単眼距離画像センサ１１から出力される距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定部５６と、車両上下方向の所定位置よりも下方側に車室内の乗員の膝部が存在するか否かを判定する膝部判定部５７と、体積判定部５６により乗員領域の体積が所定体積閾値以上であると判定された場合であって、膝部判定部５７により所定位置よりも下方側に膝部が存在すると判定された場合には乗員は大人であると判定し、膝部判定部５７により車両上下方向の所定位置よりも下方側に膝部が存在しないと判定された場合には乗員は子供であると判定する乗員判定部５８とを備える。
【解決手段】乗員検知装置１０は、単眼距離画像センサ１１から出力される距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定部５６と、車両上下方向の所定位置よりも下方側に車室内の乗員の膝部が存在するか否かを判定する膝部判定部５７と、体積判定部５６により乗員領域の体積が所定体積閾値以上であると判定された場合であって、膝部判定部５７により所定位置よりも下方側に膝部が存在すると判定された場合には乗員は大人であると判定し、膝部判定部５７により車両上下方向の所定位置よりも下方側に膝部が存在しないと判定された場合には乗員は子供であると判定する乗員判定部５８とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、乗員検知装置に関する。
【背景技術】
【０００２】
従来、例えば撮像装置の撮像により得られた画像から乗員の頭部位置を検知し、この頭部位置から乗員の着座状態を判定する装置が知られている（例えば、特許文献１参照）。
また、従来、例えば撮像装置の撮像により得られた画像から乗員の頭部重心位置と肩幅とを検知し、乗員が大人であるか、あるいは子供であるかを判定する装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３３１７９０号公報
【特許文献２】特開２００７−１９８９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る装置によれば、乗員の姿勢が変化することに伴って頭部位置が変動することから、大人と子供とを精度良く区別することができない虞がある。
また、乗員の腕の動作状態や撮像装置の撮像方向などに起因して、肩幅の検出が困難になる場合があり、乗員が大人であるか、あるいは子供であるかを的確に判定することができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、大人と子供とを精度良く判別することが可能な乗員検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５６）と、前記距離画像に基づき、車両上下方向の所定位置よりも下方側に前記車室内の乗員の膝部が存在するか否かを判定する膝部判定手段（例えば、実施の形態での膝部判定部５７）と、前記体積判定手段により前記乗員領域の体積が前記所定体積閾値以上であると判定された場合であって、前記膝部判定手段により前記所定位置よりも下方側に前記膝部が存在すると判定された場合には前記乗員は大人であると判定し、前記膝部判定手段により前記車両上下方向の所定位置よりも下方側に前記膝部が存在しないと判定された場合には前記乗員は子供であると判定する乗員判定手段（例えば、実施の形態での乗員判定部５８）とを備える。
【０００７】
さらに、本発明の第２態様に係る乗員検知装置では、前記膝部判定手段は、前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段（例えば、実施の形態でのステップＳ１１）と、前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段（例えば、実施の形態でのステップＳ１２）と、前記スコア値に基づいて前記膝部を抽出する膝部抽出手段（例えば、実施の形態でのステップＳ６１）とを備える。
【０００８】
さらに、本発明の第３態様に係る乗員検知装置では前記距離画像に基づき、前記乗員の頭部領域を抽出する頭部領域抽出手段（例えば、実施の形態での頭部領域判定部５４）を備え、前記体積判定手段が、前記頭部領域を含む前記乗員領域の体積を推定する。
【発明の効果】
【０００９】
本発明の第１態様に係る乗員検知装置によれば、身体全体の大きさに比べて頭部のみの大きさは大人と子供とで差が小さく、シートに着座した大人の頭部の位置とシート上で立ち上がった子供の頭部の位置とはほぼ一致する場合がある。
このとき、立ち上がった子供では膝部が検出され難いことに比べて、着座した大人では膝部が検出され易く、シートに着座した大人の体積とシート上で立ち上がった子供の体積とが所定体積閾値以上であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【００１０】
さらに、本発明の第２態様に係る乗員検知装置によれば、画素毎に設定される固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が球形状の指標となることに応じて乗員の膝部を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。
【００１１】
さらに、本発明の第３態様に係る乗員検知装置によれば、シートに着座した大人の頭部の位置とシート上で立ち上がった子供の頭部の位置とがほぼ一致し、さらに、シートに着座した大人の体積とシート上で立ち上がった子供の体積とが同程度であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る乗員検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員検知装置の構成図である。
【図３】本発明の実施の形態に係る偏微分フィルターのカーネルの例を示す図である。
【図４】本発明の実施の形態に係る観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と内部座標Ｉ（ｖ，ｕ）との対応関係を模式的に示す図である。
【図５】本発明の実施の形態に係るボクセル空間Ｖの一例をシート座標系で示す図である。
【図６】本発明の実施の形態に係る距離画像の各画素（ｖ，ｕ）と内部座標Ｉ（ｖ，ｕ）とボクセル空間Ｖとの対応関係の例を示す図である。
【図７】本発明の実施の形態に係る距離画像Ｌの一例と、３次元空間でのボクセル空間Ｖ単位でのスコア値の分布の一例と、スコア画像Ｓの一例とを示す図である。
【図８】本発明の実施の形態に係る２値化画像Ｂの一例と、領域分割画像Ｅの一例とを示す図である。
【図９】本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。
【図１０】本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。
【図１１】本発明の実施の形態に係る領域結合部により生成された領域結合画像Ｆの一例と、球形状判定部による処理後の領域結合画像Ｆの一例と、体積判定部による処理後の領域結合画像Ｆの一例とを示す図である。
【図１２】本発明の実施の形態に係る領域結合画像Ｆを構成する画像領域Ｆｍのカメラ座標系での各軸の最大値および最小値の一例を示す図である。
【図１３】本発明の実施の形態に係るシート座標系での法線ベクトルＮ（ｖ，ｕ）と正面領域ＳＡとの対応関係の一例を示す図である。
【図１４】本発明の実施の形態に係る距離画像から抽出された正面領域ＳＡの一例を示す図である。
【図１５】本発明の実施の形態に係る乗員領域を車両左右方向から見たサイドビュー画像と、乗員領域の輝度画像と、乗員領域のスコア画像との例を示す図である。
【図１６】本発明の実施の形態に係る乗員検知装置の動作を示すフローチャートである。
【図１７】図１６に示す頭部領域検知の処理を示すフローチャートである。
【図１８】図１７に示す内部座標設定の処理を示すフローチャートである。
【図１９】図１７に示すスコア画像生成の処理を示すフローチャートである。
【図２０】図１７に示す頭部領域判定の処理を示すフローチャートである。
【図２１】図１６に示す膝部判定の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る乗員検知装置について添付図面を参照しながら説明する。
【００１４】
本実施の形態による乗員検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。
【００１５】
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。
【００１６】
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。
【００１７】
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。
【００１８】
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。
【００１９】
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
【００２０】
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。
【００２１】
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
【００２２】
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。
【００２３】
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。
【００２４】
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。
【００２５】
制御装置１２は、例えば、画像処理部５１と、内部座標設定部５２と、スコア画像生成部５３と、頭部領域判定部５４と、シート領域検知部５５と、体積判定部５６と、膝部判定部５７と、乗員判定部５８と、駆動制御部５９とを備えて構成されている。
【００２６】
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。
【００２７】
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
【００２８】
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ軸かつ車両左右方向をＢ軸かつ車両上下方向をＨ軸とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
【００２９】
内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に基づき、距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
【００３０】
先ず、内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に対して、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像（Ｘ横偏微分画像Ｘｕ、Ｙ横偏微分画像Ｙｕ、Ｚ横偏微分画像Ｚｕ）および縦偏微分画像（Ｘ縦偏微分画像Ｘｖ、Ｙ縦偏微分画像Ｙｖ、Ｚ縦偏微分画像Ｚｖ）を算出する。
【００３１】
そして、内部座標設定部５２は、例えば下記数式（１）に示すように記述される縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を、各横偏微分画像の画素値（Ｘ横偏微分画像Ｘｕ（ｖ，ｕ）、Ｙ横偏微分画像Ｙｕ（ｖ，ｕ）、Ｚ横偏微分画像Ｚｕ（ｖ，ｕ））および各縦偏微分画像の画素値（Ｘ縦偏微分画像Ｘｖ（ｖ，ｕ）、Ｙ縦偏微分画像Ｙｖ（ｖ，ｕ）、Ｚ縦偏微分画像Ｚｖ（ｖ，ｕ））と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトル（ｉ、ｊ、ｋ）とに基づき算出する。
【００３２】
【数１】
【００３３】
そして、内部座標設定部５２は、例えば下記数式（２）に示すように、法線ベクトルＮ（ｖ，ｕ）を画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行ない、さらに、符号を反転させることによって、逆ベクトルＥを算出する。
【００３４】
【数２】
【００３５】
そして、内部座標設定部５２は、例えば下記数式（３）に示すように、人体の頭部の厚さに対する所定頭部厚ＨｅａｄＴｈｉｃｋ（例えば、９０ｍｍなど）を逆ベクトルＥ（ｖ，ｕ）に乗算して、固定長の頭部ベクトルＨ（ｖ，ｕ）を算出する。
【００３６】
【数３】
【００３７】
そして、内部座標設定部５２は、例えば図４および下記数式（４）、（５）に示すように、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と合成して、内部座標Ｉ（ｖ，ｕ）を算出する。
【００３８】
【数４】
【００３９】
【数５】
【００４０】
そして、内部座標設定部５２は、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺを生成する。
【００４１】
スコア画像生成部５３は、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標Ｉ（ｖ，ｕ）の総数に係るスコア値を算出し、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。
【００４２】
先ず、スコア画像生成部５３は、例えば図５に示すように、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、例えば、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。
【００４３】
そして、スコア画像生成部５３は、例えば図６（Ａ），（Ｂ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
これにより、例えば図７（Ａ）に示すような距離画像Ｌの全画素（ｖ，ｕ）に対して、ボクセル空間Ｖ毎のスコア値の加算が完了すると、例えば図７（Ｂ）に示すような３次元空間でのボクセル空間Ｖ単位でのスコア値の分布が得られる。
【００４４】
そして、スコア画像生成部５３は、例えば図７（Ｃ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。
【００４５】
頭部領域判定部５４は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
【００４６】
そして、頭部領域判定部５４は、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、例えば下記数式（６）に示すように、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成して、さらに、画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ（ｖ，ｕ）の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
【００４７】
【数６】
【００４８】
そして、頭部領域判定部５４は、例えば下記数式（７）に示すように、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、例えば図８（Ａ）に示すような２値化画像Ｂを生成する。
【００４９】
【数７】
【００５０】
そして、頭部領域判定部５４は、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、例えば図８（Ｂ）に示すような、複数の異なる画像領域Ｅｎ（ｎは任意の自然数）からなる領域分割画像Ｅを生成する。
【００５１】
そして、頭部領域判定部５４は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺを参照しつつ、領域分割画像Ｅにおいて、複数の画像領域のうち内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合して、領域結合画像Ｆを生成する。
なお、領域分割画像Ｅにおいて互いに結合されなかった画像領域は、変更無しに領域結合画像Ｆに含まれる。
【００５２】
例えば、内部エッジ画像Ｄにおいて乗員が着用している帽子のつば部分などに起因して所定閾値ＥｄｇｅＴｈｒｅｓｈ以上のエッジが抽出されと、例えば図９（Ａ），図１０（Ａ）に示すように、頭部領域判定部５４によって乗員の頭部領域が２つの画像領域Ｅａ，Ｅｂに分割される。
一方、２つの画像領域Ｅａ，Ｅｂは単一の人体部位である頭部領域であることから、各画像領域Ｅａ，Ｅｂでの内部座標Ｉ（ｖ，ｕ）はほぼ等しく、２つの画像領域Ｅａ，Ｅｂ間において内部座標Ｉ（ｖ，ｕ）の平均値の差は所定差以下となり、例えば図９（Ｂ），図１０（Ｂ）に示すように、頭部領域判定部５４によって２つの画像領域Ｅａ，Ｅｂが単一の画像領域Ｆ０に結合される。
【００５３】
そして、頭部領域判定部５４は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。
【００５４】
例えば、頭部領域判定部５４は、図１１（Ａ）に示すように複数の画像領域Ｆ１，…，Ｆ５により構成される領域結合画像Ｆから、所定の大きさの球形状の度合いが所定程度よりも低い画像領域、例えば乗員の胴体部に対応する画像領域Ｆ３と乗員の左右の大腿部に対応する画像領域Ｆ４，Ｆ５とを除去し、例えば図１１（Ｂ）に示すような除去後の領域結合画像Ｆを生成する。
【００５５】
そして、頭部領域判定部５４は、画像処理部５１により生成されたＸＹＺ画像を参照しつつ、領域結合画像Ｆにおいて、複数の画像領域のうち、体積が上限体積値以上または下限体積値以下の画像領域を除去する。
なお、上限体積値および下限体積値は、人体の頭部の体積に対する閾値であって、人体の頭部の体積が上限体積値未満かつ下限体積値よりも大きいとして予め記憶されている。
【００５６】
例えば、頭部領域判定部５４は、図１２に示すように、領域結合画像Ｆを構成する複数の画像領域Ｆｍ（ｍは任意の自然数）毎に、カメラ座標系での各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）を算出する。
そして、下記数式（８）に示すように、各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）から体積ｖｏｌを算出し、この体積ｖｏｌが、人体の頭部の体積に対する所定範囲を外れる上限体積値以上または下限体積値以下であるか否かを判定する。
【００５７】
【数８】
【００５８】
これにより、頭部領域判定部５４は、例えば図１１（Ｂ）に示すように複数の画像領域Ｆ１，Ｆ２により構成される領域結合画像Ｆから、体積が上限体積値以上または下限体積値以下となる画像領域、例えばシート１６のヘッドレスト１６ａに対応する画像領域Ｆ１を除去し、例えば図１１（Ｃ）に示すような除去後の領域結合画像Ｆを生成する。
【００５９】
そして、頭部領域判定部５４は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、領域結合画像Ｆを構成する複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００６０】
シート領域検知部５５は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、シートモデルとの比較などの各種の処理を行なうことによって、シート１６が存在する領域を検知する。
例えば、シート領域検知部５５は、図１３，図１４に示すように、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
【００６１】
そして、シート領域検知部５５は、例えば、頭部領域判定部５４によって領域分割画像Ｅから形成された領域結合画像Ｆ（つまり、スコア値の平均値が所定の閾平均値以下の画像領域が除去される前の領域結合画像Ｆ）を構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置を算出する。
【００６２】
そして、シート領域検知部５５は、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）などにおいて、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧間においてシート１６の腰部の領域を探索する。
そして、腰部の領域の厚さから、予め記憶している所定シート厚さを車両後方側から差し引いて、あるいは、予め記憶している所定人体厚さを車両前方側から差し引いて腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００６３】
体積判定部５６は、シート領域検知部５５によってＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、例えばシート領域除去画像を構成する複数の単位空間（例えば、ボクセル空間Ｖ）のうち少なくとも一点以上のデータ点を含む単位空間の総数などに基づき、頭部領域判定部５４により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積以上であるか否かを判定し、この判定結果を出力する。
なお、乗員領域の体積に対する所定体積は、例えば成人男性の体積あるいはシート１６上で立ち上がっている子供の体積が含まれる体積範囲の下限値となるように設定されている。
【００６４】
膝部判定部５７は、体積判定部５４によって乗員領域の体積が所定体積以上であると判定された場合に、例えば、スコア画像Ｓを参照しつつ、シート領域除去画像に基づいて、車両上下方向の所定位置よりも下方側に乗員の膝部が存在するか否かを判定する。
【００６５】
例えば図１５（Ａ）に示すように、膝部判定部５７は、車両上下方向の所定位置を、少なくともシート１６に着座した大人の膝部Ｖよりも上方の位置に設定する。
そして、この所定位置の高さ（例えば、車室内のフロアからの高さなど）Ｈｔｈよりも下方側の領域において、スコア値が所定値以上の画素数を算出し、この画素数が所定の閾値以上であるか否かを判定する。
そして、画素数が所定の閾値以上であると判定された場合には、乗員の膝部が存在すると判定し、一方、画素数が所定の閾値未満であると判定された場合には、乗員の膝部が存在しないと判定する。
【００６６】
乗員判定部５８は、例えば図１５（Ａ）〜（Ｃ）に示すように、膝部判定部５７において所定位置の高さ（例えば、車室内のフロアからの高さなど）Ｈｔｈよりも下方側の領域において乗員の膝部Ｖが存在すると判定された場合には、乗員領域にはシート１６に着座した大人が存在すると判定する。一方、所定位置の高さＨｔｈよりも下方側の領域において乗員の膝部Ｖが存在しないと判定された場合には、乗員領域にはシート１６上で立ち上がっている子供が存在すると判定する。
【００６７】
駆動制御部５９は、乗員判定部５８による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。
【００６８】
本実施の形態による乗員検知装置１０は上記構成を備えており、次に、この乗員検知装置１０の動作について説明する。
【００６９】
先ず、例えば図１６に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
【００７０】
次に、ステップＳ０２においては、後述するように、距離画像に基づき、乗員の頭部が存在する頭部領域を検知する頭部領域検知の処理を行なう。
【００７１】
次に、ステップＳ０３においては、距離画像に基づき、シート１６が存在する領域を検知するシート領域検知の処理を行なう。
このステップＳ０３においては、例えば法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域ＳＡをシート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。
【００７２】
そして、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることに応じて、ヘッドレスト１６ａの位置から腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００７３】
次に、ステップＳ０４においては、ＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積以上であるか否かを判定する。
【００７４】
次に、ステップＳ０５においては、乗員領域の体積が所定体積以上であると判定された場合に、例えば、スコア画像Ｓを参照しつつ、シート領域除去画像に基づいて、車両上下方向の所定位置よりも下方側に乗員の膝部が存在するか否かを判定する膝部判定の処理を行なう。
【００７５】
次に、ステップＳ０６においては、膝部判定の処理において所定位置の高さ（例えば、車室内のフロアからの高さなど）よりも下方側の領域において乗員の膝部が存在すると判定された場合には、乗員領域にはシート１６に着座した大人が存在すると判定する。
一方、膝部判定の処理において所定位置の高さＨｔｈよりも下方側の領域において乗員の膝部が存在しないと判定された場合には、乗員領域にはシート１６上で立ち上がっている子供が存在すると判定する。
【００７６】
次に、ステップＳ０７においては、乗員領域に大人または子供の何れが存在するかの乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。
【００７７】
以下に、上述したステップＳ０２の頭部領域検知の処理について説明する。
先ず、例えば図１７に示すステップＳ１１においては、ＸＹＺ画像に対応する距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする内部座標設定の処理を行なう。
【００７８】
次に、ステップＳ１２においては、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、距離画像の各画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素毎の画素値に対応させて示すスコア画像Ｓを生成するスコア画像生成の処理を行なう。
【００７９】
次に、ステップＳ１３においては、３次元空間での複数の内部座標の分布およびスコア画像Ｓに基づき、複数の画像領域のうちから乗員の頭部が存在する頭部領域を判定する頭部領域判定の処理を行なう。
【００８０】
以下に、上述したステップＳ１１の内部座標設定の処理について説明する。
先ず、例えば図１８に示すステップＳ２１においては、３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像および縦偏微分画像を算出する。
【００８１】
次に、ステップＳ２２においては、上記数式（１）を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトルとにより、縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を算出する。
【００８２】
次に、ステップＳ２３においては、上記数式（２），（３）を用いて、法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトル、つまり頭部ベクトルＨ（ｖ，ｕ）を算出する。
【００８３】
次に、ステップＳ２４においては、上記数式（４），（５）を用いて、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と合成して、内部座標Ｉ（ｖ，ｕ）を算出し、リターンに進む。
【００８４】
以下に、上述したステップＳ１２でのスコア画像生成の処理について説明する。
先ず、例えば図１９に示すステップＳ３１においては、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。
【００８５】
次に、ステップＳ３２においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
【００８６】
次に、ステップＳ３３においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成し、リターンに進む。
【００８７】
以下に、上述したステップＳ１３での頭部領域判定の処理について説明する。
先ず、例えば図２０に示すステップＳ４１においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺ毎に、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
【００８８】
次に、ステップＳ４２においては、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成し、画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ（ｖ，ｕ）の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
そして、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、２値化画像Ｂを生成する。
【００８９】
次に、ステップＳ４３においては、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、複数の異なる画像領域からなる領域分割画像Ｅを生成する。
次に、ステップＳ４４においては、領域分割画像Ｅを構成する複数の画像領域毎に内部座標Ｉ（ｖ，ｕ）の平均値を算出する。
次に、ステップＳ４５においては、内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差よりも大きい画像領域同士は、互いに独立した画像領域であるとし、一方、内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差以下の画像領域同士は単一の画像領域に結合して、領域結合画像Ｆを生成する。
【００９０】
次に、ステップＳ４６においては、領域結合画像Ｆを構成する複数の画像領域毎にスコア値の平均値を算出する。
次に、ステップＳ４７においては、領域結合画像Ｆを構成する複数の画像領域のうちから、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。
【００９１】
次に、ステップＳ４８においては、領域結合画像Ｆを構成する複数の画像領域毎に、カメラ座標系での各軸の最大値および最小値を算出し、上記数式（８）を用いて、各軸の最大値および最小値から画像領域の体積を算出する。
次に、ステップＳ４９においては、領域結合画像Ｆを構成する複数の画像領域のうちから、体積が所定範囲を外れる上限体積値以上または下限体積値以下である画像領域を除去する。
【００９２】
次に、ステップＳ５０においては、距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
【００９３】
次に、ステップＳ５１においては、領域結合画像Ｆを構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から車両左右方向の幅寸法（Ｂ方向幅）を算出する。
次に、ステップＳ５２においては、領域結合画像Ｆを構成する複数の画像領域のうちから、Ｂ方向幅が所定閾値以上の正面領域ＳＡを有する画像領域を除去する。そして、スコア画像Ｓを参照しつつ、この時点での領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００９４】
以下に、上述したステップＳ０５での膝部判定の処理について説明する。
先ず、例えば図２１に示すステップＳ６１においては、車両上下方向の所定位置の高さ（例えば、車室内のフロアからの高さなど）Ｈｔｈよりも下方側の領域において、スコア値が所定値以上の画素数を算出する。
次に、ステップＳ６２においては、画素数が所定の閾値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ６３に進み、このステップＳ６３においては、乗員領域にはシート１６に着座した大人が存在すると判定して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ６４に進み、このステップＳ６４においては、乗員領域にはシート１６上で立ち上がっている子供が存在すると判定して、リターンに進む。
【００９５】
上述したように、本実施の形態による乗員検知装置１０によれば、身体全体の大きさに比べて頭部のみの大きさは大人と子供とで差が小さく、シート１６に着座した大人の頭部の位置とシート１６上で立ち上がった子供の頭部の位置とはほぼ一致する場合がある。
このとき、立ち上がった子供では膝部が検出され難いことに比べて、着座した大人では膝部が検出され易く、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【００９６】
さらに、距離画像の各画素（ｖ，ｕ）毎に設定される固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が球形状の指標となることに応じて乗員の膝部を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。
【００９７】
さらに、シート１６に着座した大人の頭部の位置とシート１６上で立ち上がった子供の頭部の位置とがほぼ一致し、さらに、シート１６に着座した大人の体積とシート１６上で立ち上がった子供の体積とが同程度であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【００９８】
なお、上述した実施の形態において、膝部判定部５７は画素数に基づいて大人と子供の判定を行ったが、これに限定されず、画素面積等の他の指標に基づいて判定を行なってもよい。
【符号の説明】
【００９９】
１０ 乗員検知装置
１１ 単眼距離画像センサ
１２ 制御装置
２２ 受光部（撮像手段）
２３ 処理部（距離画像生成手段）
５２ 内部座標設定部
５３ スコア画像生成部
５４ 頭部領域判定部（頭部領域抽出手段）
５５ シート領域検知部
５６ 体積判定部（体積判定手段）
５７ 膝部判定部（膝部判定手段）
５８ 乗員判定部（乗員判定手段）
５９ 駆動制御部
ステップＳ１１ 内部座標設定手段
ステップＳ１２ スコア画像生成手段
ステップＳ６１ 膝部抽出手段
【技術分野】
【０００１】
この発明は、乗員検知装置に関する。
【背景技術】
【０００２】
従来、例えば撮像装置の撮像により得られた画像から乗員の頭部位置を検知し、この頭部位置から乗員の着座状態を判定する装置が知られている（例えば、特許文献１参照）。
また、従来、例えば撮像装置の撮像により得られた画像から乗員の頭部重心位置と肩幅とを検知し、乗員が大人であるか、あるいは子供であるかを判定する装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３３１７９０号公報
【特許文献２】特開２００７−１９８９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る装置によれば、乗員の姿勢が変化することに伴って頭部位置が変動することから、大人と子供とを精度良く区別することができない虞がある。
また、乗員の腕の動作状態や撮像装置の撮像方向などに起因して、肩幅の検出が困難になる場合があり、乗員が大人であるか、あるいは子供であるかを的確に判定することができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、大人と子供とを精度良く判別することが可能な乗員検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５６）と、前記距離画像に基づき、車両上下方向の所定位置よりも下方側に前記車室内の乗員の膝部が存在するか否かを判定する膝部判定手段（例えば、実施の形態での膝部判定部５７）と、前記体積判定手段により前記乗員領域の体積が前記所定体積閾値以上であると判定された場合であって、前記膝部判定手段により前記所定位置よりも下方側に前記膝部が存在すると判定された場合には前記乗員は大人であると判定し、前記膝部判定手段により前記車両上下方向の所定位置よりも下方側に前記膝部が存在しないと判定された場合には前記乗員は子供であると判定する乗員判定手段（例えば、実施の形態での乗員判定部５８）とを備える。
【０００７】
さらに、本発明の第２態様に係る乗員検知装置では、前記膝部判定手段は、前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段（例えば、実施の形態でのステップＳ１１）と、前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段（例えば、実施の形態でのステップＳ１２）と、前記スコア値に基づいて前記膝部を抽出する膝部抽出手段（例えば、実施の形態でのステップＳ６１）とを備える。
【０００８】
さらに、本発明の第３態様に係る乗員検知装置では前記距離画像に基づき、前記乗員の頭部領域を抽出する頭部領域抽出手段（例えば、実施の形態での頭部領域判定部５４）を備え、前記体積判定手段が、前記頭部領域を含む前記乗員領域の体積を推定する。
【発明の効果】
【０００９】
本発明の第１態様に係る乗員検知装置によれば、身体全体の大きさに比べて頭部のみの大きさは大人と子供とで差が小さく、シートに着座した大人の頭部の位置とシート上で立ち上がった子供の頭部の位置とはほぼ一致する場合がある。
このとき、立ち上がった子供では膝部が検出され難いことに比べて、着座した大人では膝部が検出され易く、シートに着座した大人の体積とシート上で立ち上がった子供の体積とが所定体積閾値以上であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【００１０】
さらに、本発明の第２態様に係る乗員検知装置によれば、画素毎に設定される固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が球形状の指標となることに応じて乗員の膝部を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。
【００１１】
さらに、本発明の第３態様に係る乗員検知装置によれば、シートに着座した大人の頭部の位置とシート上で立ち上がった子供の頭部の位置とがほぼ一致し、さらに、シートに着座した大人の体積とシート上で立ち上がった子供の体積とが同程度であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る乗員検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員検知装置の構成図である。
【図３】本発明の実施の形態に係る偏微分フィルターのカーネルの例を示す図である。
【図４】本発明の実施の形態に係る観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と内部座標Ｉ（ｖ，ｕ）との対応関係を模式的に示す図である。
【図５】本発明の実施の形態に係るボクセル空間Ｖの一例をシート座標系で示す図である。
【図６】本発明の実施の形態に係る距離画像の各画素（ｖ，ｕ）と内部座標Ｉ（ｖ，ｕ）とボクセル空間Ｖとの対応関係の例を示す図である。
【図７】本発明の実施の形態に係る距離画像Ｌの一例と、３次元空間でのボクセル空間Ｖ単位でのスコア値の分布の一例と、スコア画像Ｓの一例とを示す図である。
【図８】本発明の実施の形態に係る２値化画像Ｂの一例と、領域分割画像Ｅの一例とを示す図である。
【図９】本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。
【図１０】本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。
【図１１】本発明の実施の形態に係る領域結合部により生成された領域結合画像Ｆの一例と、球形状判定部による処理後の領域結合画像Ｆの一例と、体積判定部による処理後の領域結合画像Ｆの一例とを示す図である。
【図１２】本発明の実施の形態に係る領域結合画像Ｆを構成する画像領域Ｆｍのカメラ座標系での各軸の最大値および最小値の一例を示す図である。
【図１３】本発明の実施の形態に係るシート座標系での法線ベクトルＮ（ｖ，ｕ）と正面領域ＳＡとの対応関係の一例を示す図である。
【図１４】本発明の実施の形態に係る距離画像から抽出された正面領域ＳＡの一例を示す図である。
【図１５】本発明の実施の形態に係る乗員領域を車両左右方向から見たサイドビュー画像と、乗員領域の輝度画像と、乗員領域のスコア画像との例を示す図である。
【図１６】本発明の実施の形態に係る乗員検知装置の動作を示すフローチャートである。
【図１７】図１６に示す頭部領域検知の処理を示すフローチャートである。
【図１８】図１７に示す内部座標設定の処理を示すフローチャートである。
【図１９】図１７に示すスコア画像生成の処理を示すフローチャートである。
【図２０】図１７に示す頭部領域判定の処理を示すフローチャートである。
【図２１】図１６に示す膝部判定の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る乗員検知装置について添付図面を参照しながら説明する。
【００１４】
本実施の形態による乗員検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。
【００１５】
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。
【００１６】
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。
【００１７】
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。
【００１８】
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。
【００１９】
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
【００２０】
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。
【００２１】
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
【００２２】
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。
【００２３】
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。
【００２４】
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。
【００２５】
制御装置１２は、例えば、画像処理部５１と、内部座標設定部５２と、スコア画像生成部５３と、頭部領域判定部５４と、シート領域検知部５５と、体積判定部５６と、膝部判定部５７と、乗員判定部５８と、駆動制御部５９とを備えて構成されている。
【００２６】
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。
【００２７】
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
【００２８】
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ軸かつ車両左右方向をＢ軸かつ車両上下方向をＨ軸とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
【００２９】
内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に基づき、距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
【００３０】
先ず、内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に対して、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像（Ｘ横偏微分画像Ｘｕ、Ｙ横偏微分画像Ｙｕ、Ｚ横偏微分画像Ｚｕ）および縦偏微分画像（Ｘ縦偏微分画像Ｘｖ、Ｙ縦偏微分画像Ｙｖ、Ｚ縦偏微分画像Ｚｖ）を算出する。
【００３１】
そして、内部座標設定部５２は、例えば下記数式（１）に示すように記述される縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を、各横偏微分画像の画素値（Ｘ横偏微分画像Ｘｕ（ｖ，ｕ）、Ｙ横偏微分画像Ｙｕ（ｖ，ｕ）、Ｚ横偏微分画像Ｚｕ（ｖ，ｕ））および各縦偏微分画像の画素値（Ｘ縦偏微分画像Ｘｖ（ｖ，ｕ）、Ｙ縦偏微分画像Ｙｖ（ｖ，ｕ）、Ｚ縦偏微分画像Ｚｖ（ｖ，ｕ））と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトル（ｉ、ｊ、ｋ）とに基づき算出する。
【００３２】
【数１】
【００３３】
そして、内部座標設定部５２は、例えば下記数式（２）に示すように、法線ベクトルＮ（ｖ，ｕ）を画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行ない、さらに、符号を反転させることによって、逆ベクトルＥを算出する。
【００３４】
【数２】
【００３５】
そして、内部座標設定部５２は、例えば下記数式（３）に示すように、人体の頭部の厚さに対する所定頭部厚ＨｅａｄＴｈｉｃｋ（例えば、９０ｍｍなど）を逆ベクトルＥ（ｖ，ｕ）に乗算して、固定長の頭部ベクトルＨ（ｖ，ｕ）を算出する。
【００３６】
【数３】
【００３７】
そして、内部座標設定部５２は、例えば図４および下記数式（４）、（５）に示すように、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と合成して、内部座標Ｉ（ｖ，ｕ）を算出する。
【００３８】
【数４】
【００３９】
【数５】
【００４０】
そして、内部座標設定部５２は、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺを生成する。
【００４１】
スコア画像生成部５３は、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標Ｉ（ｖ，ｕ）の総数に係るスコア値を算出し、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。
【００４２】
先ず、スコア画像生成部５３は、例えば図５に示すように、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、例えば、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。
【００４３】
そして、スコア画像生成部５３は、例えば図６（Ａ），（Ｂ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
これにより、例えば図７（Ａ）に示すような距離画像Ｌの全画素（ｖ，ｕ）に対して、ボクセル空間Ｖ毎のスコア値の加算が完了すると、例えば図７（Ｂ）に示すような３次元空間でのボクセル空間Ｖ単位でのスコア値の分布が得られる。
【００４４】
そして、スコア画像生成部５３は、例えば図７（Ｃ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。
【００４５】
頭部領域判定部５４は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
【００４６】
そして、頭部領域判定部５４は、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、例えば下記数式（６）に示すように、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成して、さらに、画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ（ｖ，ｕ）の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
【００４７】
【数６】
【００４８】
そして、頭部領域判定部５４は、例えば下記数式（７）に示すように、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、例えば図８（Ａ）に示すような２値化画像Ｂを生成する。
【００４９】
【数７】
【００５０】
そして、頭部領域判定部５４は、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、例えば図８（Ｂ）に示すような、複数の異なる画像領域Ｅｎ（ｎは任意の自然数）からなる領域分割画像Ｅを生成する。
【００５１】
そして、頭部領域判定部５４は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺを参照しつつ、領域分割画像Ｅにおいて、複数の画像領域のうち内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合して、領域結合画像Ｆを生成する。
なお、領域分割画像Ｅにおいて互いに結合されなかった画像領域は、変更無しに領域結合画像Ｆに含まれる。
【００５２】
例えば、内部エッジ画像Ｄにおいて乗員が着用している帽子のつば部分などに起因して所定閾値ＥｄｇｅＴｈｒｅｓｈ以上のエッジが抽出されと、例えば図９（Ａ），図１０（Ａ）に示すように、頭部領域判定部５４によって乗員の頭部領域が２つの画像領域Ｅａ，Ｅｂに分割される。
一方、２つの画像領域Ｅａ，Ｅｂは単一の人体部位である頭部領域であることから、各画像領域Ｅａ，Ｅｂでの内部座標Ｉ（ｖ，ｕ）はほぼ等しく、２つの画像領域Ｅａ，Ｅｂ間において内部座標Ｉ（ｖ，ｕ）の平均値の差は所定差以下となり、例えば図９（Ｂ），図１０（Ｂ）に示すように、頭部領域判定部５４によって２つの画像領域Ｅａ，Ｅｂが単一の画像領域Ｆ０に結合される。
【００５３】
そして、頭部領域判定部５４は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。
【００５４】
例えば、頭部領域判定部５４は、図１１（Ａ）に示すように複数の画像領域Ｆ１，…，Ｆ５により構成される領域結合画像Ｆから、所定の大きさの球形状の度合いが所定程度よりも低い画像領域、例えば乗員の胴体部に対応する画像領域Ｆ３と乗員の左右の大腿部に対応する画像領域Ｆ４，Ｆ５とを除去し、例えば図１１（Ｂ）に示すような除去後の領域結合画像Ｆを生成する。
【００５５】
そして、頭部領域判定部５４は、画像処理部５１により生成されたＸＹＺ画像を参照しつつ、領域結合画像Ｆにおいて、複数の画像領域のうち、体積が上限体積値以上または下限体積値以下の画像領域を除去する。
なお、上限体積値および下限体積値は、人体の頭部の体積に対する閾値であって、人体の頭部の体積が上限体積値未満かつ下限体積値よりも大きいとして予め記憶されている。
【００５６】
例えば、頭部領域判定部５４は、図１２に示すように、領域結合画像Ｆを構成する複数の画像領域Ｆｍ（ｍは任意の自然数）毎に、カメラ座標系での各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）を算出する。
そして、下記数式（８）に示すように、各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）から体積ｖｏｌを算出し、この体積ｖｏｌが、人体の頭部の体積に対する所定範囲を外れる上限体積値以上または下限体積値以下であるか否かを判定する。
【００５７】
【数８】
【００５８】
これにより、頭部領域判定部５４は、例えば図１１（Ｂ）に示すように複数の画像領域Ｆ１，Ｆ２により構成される領域結合画像Ｆから、体積が上限体積値以上または下限体積値以下となる画像領域、例えばシート１６のヘッドレスト１６ａに対応する画像領域Ｆ１を除去し、例えば図１１（Ｃ）に示すような除去後の領域結合画像Ｆを生成する。
【００５９】
そして、頭部領域判定部５４は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、領域結合画像Ｆを構成する複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００６０】
シート領域検知部５５は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、シートモデルとの比較などの各種の処理を行なうことによって、シート１６が存在する領域を検知する。
例えば、シート領域検知部５５は、図１３，図１４に示すように、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
【００６１】
そして、シート領域検知部５５は、例えば、頭部領域判定部５４によって領域分割画像Ｅから形成された領域結合画像Ｆ（つまり、スコア値の平均値が所定の閾平均値以下の画像領域が除去される前の領域結合画像Ｆ）を構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置を算出する。
【００６２】
そして、シート領域検知部５５は、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）などにおいて、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧間においてシート１６の腰部の領域を探索する。
そして、腰部の領域の厚さから、予め記憶している所定シート厚さを車両後方側から差し引いて、あるいは、予め記憶している所定人体厚さを車両前方側から差し引いて腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００６３】
体積判定部５６は、シート領域検知部５５によってＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、例えばシート領域除去画像を構成する複数の単位空間（例えば、ボクセル空間Ｖ）のうち少なくとも一点以上のデータ点を含む単位空間の総数などに基づき、頭部領域判定部５４により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積以上であるか否かを判定し、この判定結果を出力する。
なお、乗員領域の体積に対する所定体積は、例えば成人男性の体積あるいはシート１６上で立ち上がっている子供の体積が含まれる体積範囲の下限値となるように設定されている。
【００６４】
膝部判定部５７は、体積判定部５４によって乗員領域の体積が所定体積以上であると判定された場合に、例えば、スコア画像Ｓを参照しつつ、シート領域除去画像に基づいて、車両上下方向の所定位置よりも下方側に乗員の膝部が存在するか否かを判定する。
【００６５】
例えば図１５（Ａ）に示すように、膝部判定部５７は、車両上下方向の所定位置を、少なくともシート１６に着座した大人の膝部Ｖよりも上方の位置に設定する。
そして、この所定位置の高さ（例えば、車室内のフロアからの高さなど）Ｈｔｈよりも下方側の領域において、スコア値が所定値以上の画素数を算出し、この画素数が所定の閾値以上であるか否かを判定する。
そして、画素数が所定の閾値以上であると判定された場合には、乗員の膝部が存在すると判定し、一方、画素数が所定の閾値未満であると判定された場合には、乗員の膝部が存在しないと判定する。
【００６６】
乗員判定部５８は、例えば図１５（Ａ）〜（Ｃ）に示すように、膝部判定部５７において所定位置の高さ（例えば、車室内のフロアからの高さなど）Ｈｔｈよりも下方側の領域において乗員の膝部Ｖが存在すると判定された場合には、乗員領域にはシート１６に着座した大人が存在すると判定する。一方、所定位置の高さＨｔｈよりも下方側の領域において乗員の膝部Ｖが存在しないと判定された場合には、乗員領域にはシート１６上で立ち上がっている子供が存在すると判定する。
【００６７】
駆動制御部５９は、乗員判定部５８による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。
【００６８】
本実施の形態による乗員検知装置１０は上記構成を備えており、次に、この乗員検知装置１０の動作について説明する。
【００６９】
先ず、例えば図１６に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
【００７０】
次に、ステップＳ０２においては、後述するように、距離画像に基づき、乗員の頭部が存在する頭部領域を検知する頭部領域検知の処理を行なう。
【００７１】
次に、ステップＳ０３においては、距離画像に基づき、シート１６が存在する領域を検知するシート領域検知の処理を行なう。
このステップＳ０３においては、例えば法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域ＳＡをシート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。
【００７２】
そして、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることに応じて、ヘッドレスト１６ａの位置から腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
【００７３】
次に、ステップＳ０４においては、ＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積以上であるか否かを判定する。
【００７４】
次に、ステップＳ０５においては、乗員領域の体積が所定体積以上であると判定された場合に、例えば、スコア画像Ｓを参照しつつ、シート領域除去画像に基づいて、車両上下方向の所定位置よりも下方側に乗員の膝部が存在するか否かを判定する膝部判定の処理を行なう。
【００７５】
次に、ステップＳ０６においては、膝部判定の処理において所定位置の高さ（例えば、車室内のフロアからの高さなど）よりも下方側の領域において乗員の膝部が存在すると判定された場合には、乗員領域にはシート１６に着座した大人が存在すると判定する。
一方、膝部判定の処理において所定位置の高さＨｔｈよりも下方側の領域において乗員の膝部が存在しないと判定された場合には、乗員領域にはシート１６上で立ち上がっている子供が存在すると判定する。
【００７６】
次に、ステップＳ０７においては、乗員領域に大人または子供の何れが存在するかの乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。
【００７７】
以下に、上述したステップＳ０２の頭部領域検知の処理について説明する。
先ず、例えば図１７に示すステップＳ１１においては、ＸＹＺ画像に対応する距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする内部座標設定の処理を行なう。
【００７８】
次に、ステップＳ１２においては、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、距離画像の各画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素毎の画素値に対応させて示すスコア画像Ｓを生成するスコア画像生成の処理を行なう。
【００７９】
次に、ステップＳ１３においては、３次元空間での複数の内部座標の分布およびスコア画像Ｓに基づき、複数の画像領域のうちから乗員の頭部が存在する頭部領域を判定する頭部領域判定の処理を行なう。
【００８０】
以下に、上述したステップＳ１１の内部座標設定の処理について説明する。
先ず、例えば図１８に示すステップＳ２１においては、３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像および縦偏微分画像を算出する。
【００８１】
次に、ステップＳ２２においては、上記数式（１）を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトルとにより、縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を算出する。
【００８２】
次に、ステップＳ２３においては、上記数式（２），（３）を用いて、法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトル、つまり頭部ベクトルＨ（ｖ，ｕ）を算出する。
【００８３】
次に、ステップＳ２４においては、上記数式（４），（５）を用いて、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と合成して、内部座標Ｉ（ｖ，ｕ）を算出し、リターンに進む。
【００８４】
以下に、上述したステップＳ１２でのスコア画像生成の処理について説明する。
先ず、例えば図１９に示すステップＳ３１においては、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。
【００８５】
次に、ステップＳ３２においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
【００８６】
次に、ステップＳ３３においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成し、リターンに進む。
【００８７】
以下に、上述したステップＳ１３での頭部領域判定の処理について説明する。
先ず、例えば図２０に示すステップＳ４１においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺ毎に、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
【００８８】
次に、ステップＳ４２においては、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成し、画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ（ｖ，ｕ）の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
そして、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、２値化画像Ｂを生成する。
【００８９】
次に、ステップＳ４３においては、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、複数の異なる画像領域からなる領域分割画像Ｅを生成する。
次に、ステップＳ４４においては、領域分割画像Ｅを構成する複数の画像領域毎に内部座標Ｉ（ｖ，ｕ）の平均値を算出する。
次に、ステップＳ４５においては、内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差よりも大きい画像領域同士は、互いに独立した画像領域であるとし、一方、内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差以下の画像領域同士は単一の画像領域に結合して、領域結合画像Ｆを生成する。
【００９０】
次に、ステップＳ４６においては、領域結合画像Ｆを構成する複数の画像領域毎にスコア値の平均値を算出する。
次に、ステップＳ４７においては、領域結合画像Ｆを構成する複数の画像領域のうちから、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。
【００９１】
次に、ステップＳ４８においては、領域結合画像Ｆを構成する複数の画像領域毎に、カメラ座標系での各軸の最大値および最小値を算出し、上記数式（８）を用いて、各軸の最大値および最小値から画像領域の体積を算出する。
次に、ステップＳ４９においては、領域結合画像Ｆを構成する複数の画像領域のうちから、体積が所定範囲を外れる上限体積値以上または下限体積値以下である画像領域を除去する。
【００９２】
次に、ステップＳ５０においては、距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
【００９３】
次に、ステップＳ５１においては、領域結合画像Ｆを構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から車両左右方向の幅寸法（Ｂ方向幅）を算出する。
次に、ステップＳ５２においては、領域結合画像Ｆを構成する複数の画像領域のうちから、Ｂ方向幅が所定閾値以上の正面領域ＳＡを有する画像領域を除去する。そして、スコア画像Ｓを参照しつつ、この時点での領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００９４】
以下に、上述したステップＳ０５での膝部判定の処理について説明する。
先ず、例えば図２１に示すステップＳ６１においては、車両上下方向の所定位置の高さ（例えば、車室内のフロアからの高さなど）Ｈｔｈよりも下方側の領域において、スコア値が所定値以上の画素数を算出する。
次に、ステップＳ６２においては、画素数が所定の閾値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ６３に進み、このステップＳ６３においては、乗員領域にはシート１６に着座した大人が存在すると判定して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ６４に進み、このステップＳ６４においては、乗員領域にはシート１６上で立ち上がっている子供が存在すると判定して、リターンに進む。
【００９５】
上述したように、本実施の形態による乗員検知装置１０によれば、身体全体の大きさに比べて頭部のみの大きさは大人と子供とで差が小さく、シート１６に着座した大人の頭部の位置とシート１６上で立ち上がった子供の頭部の位置とはほぼ一致する場合がある。
このとき、立ち上がった子供では膝部が検出され難いことに比べて、着座した大人では膝部が検出され易く、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【００９６】
さらに、距離画像の各画素（ｖ，ｕ）毎に設定される固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が球形状の指標となることに応じて乗員の膝部を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。
【００９７】
さらに、シート１６に着座した大人の頭部の位置とシート１６上で立ち上がった子供の頭部の位置とがほぼ一致し、さらに、シート１６に着座した大人の体積とシート１６上で立ち上がった子供の体積とが同程度であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
【００９８】
なお、上述した実施の形態において、膝部判定部５７は画素数に基づいて大人と子供の判定を行ったが、これに限定されず、画素面積等の他の指標に基づいて判定を行なってもよい。
【符号の説明】
【００９９】
１０ 乗員検知装置
１１ 単眼距離画像センサ
１２ 制御装置
２２ 受光部（撮像手段）
２３ 処理部（距離画像生成手段）
５２ 内部座標設定部
５３ スコア画像生成部
５４ 頭部領域判定部（頭部領域抽出手段）
５５ シート領域検知部
５６ 体積判定部（体積判定手段）
５７ 膝部判定部（膝部判定手段）
５８ 乗員判定部（乗員判定手段）
５９ 駆動制御部
ステップＳ１１ 内部座標設定手段
ステップＳ１２ スコア画像生成手段
ステップＳ６１ 膝部抽出手段
【特許請求の範囲】
【請求項１】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定手段と、
前記距離画像に基づき、車両上下方向の所定位置よりも下方側に前記車室内の乗員の膝部が存在するか否かを判定する膝部判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積閾値以上であると判定された場合であって、前記膝部判定手段により前記所定位置よりも下方側に前記膝部が存在すると判定された場合には前記乗員は大人であると判定し、前記膝部判定手段により前記車両上下方向の所定位置よりも下方側に前記膝部が存在しないと判定された場合には前記乗員は子供であると判定する乗員判定手段と
を備えることを特徴とする乗員検知装置。
【請求項２】
前記膝部判定手段は、
前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段と、
前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段と、
前記スコア値に基づいて前記膝部を抽出する膝部抽出手段と
を備えることを特徴とする請求項１に記載の乗員検知装置。
【請求項３】
前記距離画像に基づき、前記乗員の頭部領域を抽出する頭部領域抽出手段を備え、
前記体積判定手段が、前記頭部領域を含む前記乗員領域の体積を推定することを特徴とする請求項１または請求項２に記載の乗員検知装置。
【請求項１】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定手段と、
前記距離画像に基づき、車両上下方向の所定位置よりも下方側に前記車室内の乗員の膝部が存在するか否かを判定する膝部判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積閾値以上であると判定された場合であって、前記膝部判定手段により前記所定位置よりも下方側に前記膝部が存在すると判定された場合には前記乗員は大人であると判定し、前記膝部判定手段により前記車両上下方向の所定位置よりも下方側に前記膝部が存在しないと判定された場合には前記乗員は子供であると判定する乗員判定手段と
を備えることを特徴とする乗員検知装置。
【請求項２】
前記膝部判定手段は、
前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段と、
前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段と、
前記スコア値に基づいて前記膝部を抽出する膝部抽出手段と
を備えることを特徴とする請求項１に記載の乗員検知装置。
【請求項３】
前記距離画像に基づき、前記乗員の頭部領域を抽出する頭部領域抽出手段を備え、
前記体積判定手段が、前記頭部領域を含む前記乗員領域の体積を推定することを特徴とする請求項１または請求項２に記載の乗員検知装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図６】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【公開番号】特開２０１２−１２７９１２（Ｐ２０１２−１２７９１２Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１７５２（Ｐ２０１０−２８１７５２）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]