姿勢検知装置および挙動検知装置
【課題】この発明は、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。
【解決手段】姿勢検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段を備えている。
【解決手段】姿勢検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被観察者の姿勢を検知する姿勢検知装置および被観察者の転倒等の挙動を検知する挙動検知装置に関する。
【背景技術】
【０００２】
被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像から被観察者の動作ベクトルを検出し、検出した動作ベクトルと予め記憶している被観察者の転倒ベクトルとを比較することにより、被観察者が転倒したか否かを判別するものが既に開発されている（特開２００２−２３２８７０号公報参照）。
【０００３】
また、被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像と被観察者が存在しないときに撮影された参照画像との差分領域を抽出し、差分領域の面積に基づいて被観察者が転倒したか否かを判別するものが既に開発されている（特開２０００−２０７６６４号公報参照）。
【０００４】
また、観察者が移動状態であるか静止状態を判定する装置として、被観察者をカメラで撮影し、撮影画像から人物領域を抽出し、抽出した人物領域から頭頂部の画像座標を抽出し、被観察者の身長データを用いて頭頂部の画像座標を実世界座標に変換し、得られた頭頂部の実世界座標と所定時間過去の頭頂部の実世界座標との距離を算出し、得られた距離と所定の閾値とを比較することにより、観察者が移動状態であるか静止状態であるかを判定するものが既に開発されている（特開２００２−１９７４６３号公報参照）。
【特許文献１】特開２００２−２３２８７０号公報
【特許文献２】特開２０００−２０７６６４号公報
【特許文献３】特開２００２−１９７４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この発明は、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。
【０００６】
また、この発明は、被観察者の転倒等の挙動の発生を高精度で検知することができる挙動検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、姿勢検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。
【０００８】
請求項２に記載の発明は、姿勢検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の姿勢検知装置において、算出手段は、３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより第２の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第１の射影画像から主成分分析を用いて第１主成分の傾きを表す第１のベクトルを算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて第１主成分の傾きを表す第２のベクトルを算出する手段、ならびに第１のベクトルおよび第２のベクトルを合成することにより、被観察者の背筋の向きを示すベクトルを求め、求めたベクトルから被観察者の背筋の向きを求める手段を備えていることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項２に記載の姿勢検知装置において、算出手段は、３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより第２の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める手段、ならびに第１の線分の傾きおよび第２の線分の傾きに基づいて、被観察者の背筋の向きを求める手段を備えていることを特徴とする。
【００１１】
請求項５に記載の発明は、挙動検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報に基づいて被観察者の姿勢を判定する姿勢判定手段、３次元人物領域情報から検知対象の挙動を判定するための挙動判定用データを生成する挙動判定用データ生成手段、姿勢判定手段の判定結果に基づいて、検知対象の挙動が発生した可能性がある期間において、挙動判定用データを蓄積していく蓄積手段、ならびに蓄積手段によって蓄積された挙動判定用データから得られた時系列データと、検知対象の挙動に対応した学習用データから予め作成されているモデルとを比較することにより、検知対象の挙動が発生したか否かを判定する判定手段を備えていることを特徴とする。
【００１２】
請求項６に記載の発明は、請求項５に記載の挙動検知装置において、挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きの時系列データであり、上記モデルがＨＭＭモデルであることを特徴とする。
【００１３】
請求項７に記載の発明は、請求項５に記載の挙動検知装置において、挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きから算出された、被観察者の動き量の大きさをシンボル化したデータの時系列データであり、モデルがＤＰマッチング用のモデルであることを特徴とする。
【発明の効果】
【００１４】
この発明によれば、被観察者の姿勢を高精度で検知することができるようになる。また、この発明によれば、被観察者の転倒等の挙動の発生を高精度で検知することができるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、この発明を転倒を検知するための転倒検知装置に適用した場合の実施例について説明する。
【実施例１】
【００１６】
〔１〕転倒検知システムの全体的な構成
【００１７】
図１は、転倒検知システムの全体的な構成を示している。
転倒検知システムは、被観察者の居室内を撮影するステレオカメラ１１、１２を備えた転倒検知装置１０、転倒検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。
【００１８】
転倒検知システムは、被観察者の居室５０内を撮像するステレオカメラ１１、１２を備えた転倒検知装置１０、転倒検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。
【００１９】
転倒検知装置１０は、被観察者の転倒の発生を検知する。ネットワーク４０には、複数の被観察者の居室５０に対応して設けられた複数の転倒検知装置１０が接続されている。監視装置２０は監視者が詰めている監視センタに設置されている。監視装置２０および移動通信端末３０では、各被観察者の居室５０を識別可能に表す居室画面が表示されており、転倒検知装置１０によって転倒が検知された場合には、そのことが監視装置２０および移動通信端末３０に通知され、監視装置２０および移動通信端末３０はアラームなどを発生させるとともに、居室画面上においてどの居室で転倒が検知されたかを表示する。監視者は、この表示を見て、転倒が検知された居室表示を選択すると、監視装置２０および移動通信端末３０は、転倒を検知した上記転倒検知装置１０から当該居室の現在の画像を受信して監視装置２０および移動通信端末３０に表示する。
【００２０】
〔２〕転倒検知処理手順
【００２１】
図２は、転倒検知装置１０によって実行される転倒検知処理の手順を示している。
初期設定において、転倒判定用データ蓄積期間であることを記憶するフラグＦはリセット（Ｆ＝０）されているものとする。
【００２２】
まず、ステレオカメラ１１、１２から画像（左右画像）を取り込む（ステップＳ１１）。画像を取り込む時間間隔は、ステップＳ１１に戻るタイミングによって異なるが、約２００ｍｓｅｃ程度となる。取得した左右画像に基づいて、３次元の人物領域抽出処理を行なう（ステップＳ１２）。これにより、カメラ座標系での３次元人物領域情報（３次元空間での人物領域プロット群）が得られる。次に、得られた３次元人物領域情報に基づいて、姿勢推定処理を行なう（ステップＳ１３）。つまり、被観察者の現在の姿勢（立位、座位、臥位）を推定する。
【００２３】
この後、今回読み込んだフレームに関するデータ群を第１バッファに保存する（ステップＳ１４）。データ群は、時刻情報、入力画像データ、３次元人物領域情報、姿勢推定処理で得られる被観察者の幅、高さ、奥行き情報および姿勢推定結果からなる。第１バッファは、数フレーム分のデータ群を記憶するためのバッファであり、所定フレーム分のデータ群が蓄積されている場合には、１フレーム分の最も古いデータ群が消去されて、新たな１フレーム分のデータ群が蓄積される。
【００２４】
次に、フラグＦがセットされているか否かを判別する（ステップＳ１５）。フラグＦがセットされていないときには、姿勢推定結果の履歴データ等に基づいて転倒判定用データ蓄積期間の開始点であるか否かを判別する（ステップＳ１６）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の開始点ではないと判別した場合には、ステップＳ１１に戻る。
【００２５】
上記ステップＳ１６において、転倒判定用データ蓄積期間の開始点であると判別した場合には、フラグＦをセットした後（ステップＳ１７）、今回取得したフレームに関するデータ群を第２バッファに蓄積する（ステップＳ１８）。この場合には、データ群として、開始点からの経過時間情報（開始点からのフレーム数で表される）が追加される。そして、転倒判定用データ蓄積期間の終了点であるか否かを判別する（ステップＳ１９）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の終了点ではないと判別した場合には、ステップＳ１１に戻る。
【００２６】
ステップＳ１９からＳ１１に戻った場合には、次のステップＳ１５では、Ｆ＝１となっているので、ステップＳ１５からステップＳ１８に移行し、第１バッファだけでなく、第２バッファにもデータ群が蓄積される。
【００２７】
上記ステップＳ１９において、転倒判定用データ蓄積期間の終了点であると判別した場合には、フラグＦをリセットした後（ステップＳ２０）、第２バッファに蓄積されたデータ群に基づいて、転倒判定処理を行なう（ステップＳ２１）。転倒判定処理の結果、転倒ではないと判定された場合には（ステップＳ２２）、ステップＳ１１に戻る。転倒判定処理の結果、転倒であると判定された場合には（ステップＳ２２）、転倒が発生したことを監視装置２０等に通知する（ステップＳ２３）。そして、ステップＳ１１に戻る
【００２８】
〔３〕図２のステップＳ１２の３次元の人物領域抽出処理
【００２９】
図３は、図２のステップＳ１２の３次元人物領域抽出処理の詳細な手順を示している。
【００３０】
事前処理として、居室５０に被観察者が存在していない状態で、ステレオカメラ１１、１２のうちの一方のカメラ１１によって居室内を撮影した画像を取得し、取得した画像をグレースケール化する。そして、得られた画像を背景画像として、転倒検知装置１０の記憶装置に記憶しておく。
【００３１】
３次元の人物領域抽出処理では、ステレオカメラ１１、１２から取得した左右画像のうち、背景画像を撮影したカメラ１１から今回取得した画像と、背景画像とを用いて、背景差分法により、２次元人物領域を抽出する。また、ステレオカメラ１１、１２から取得した２枚の画像から、３次元測量手法により、ピクセル毎に奥行き情報を算出し、３次元空間にプロットできる座標情報（３次元位置情報）を取得する。そして、２次元人物領域情報と３次元位置情報とを重ね合わせることで、３次元空間内での人物領域に相当するデータ（３次元の人物領域情報）を抽出する。
【００３２】
具体的には、背景画像を撮影したカメラ１１から今回取得した画像を、グレイスケール化する（ステップＳ３１）。
【００３３】
ステップＳ３１で得られた画像と予め記憶されている背景画像の対応する画素毎に、画素値の差の絶対値を算出することにより、両画像の差分画像を作成する（ステップＳ３２）。得られた差分画像を２値化することにより、２次元人物領域情報を抽出する（ステップＳ３３）。
【００３４】
一方、ステレオカメラ１１、１２から今回取得した左右画像から、周知のステレオ法を用いて、３次元位置情報を算出する（ステップＳ３４）。上記ステップＳ３３で抽出した２次元人物領域情報と、上記ステップＳ３４で算出した３次元位置情報とに基づいて、３次元人物領域情報を抽出する（ステップＳ３５）。
【００３５】
図４は、３次元人物領域情報によって表される３次元の人物領域画像の一例を示している。図４において、直方体１０１は、Ｘ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体である。直方体１０１の上側の図（符号１０２）は、直方体１０１の上から３次元の人物領域を見た平面図であり、直方体１０１の右側の図（符号１０３）は、直方体１０１の右から３次元の人物領域を見た側面図である。
【００３６】
〔４〕図２のステップＳ１３の姿勢推定処理
【００３７】
図５は、図２のステップＳ１３の姿勢推定処理の詳細な手順を示している。
【００３８】
３次元人物領域抽出処理によって得られた３次元人物領域情報に基づいて、図４に示すように、Ｘ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体１０１の幅ｌx 、高さｌｙおよび奥行きｌｚ（被観察者の幅、高さおよび奥行き）を算出する（ステップＳ４１）。ｌx は３次元の人物領域のｘ座標の最大値と最小値との差の絶対値を算出することにより、ｌｙは３次元の人物領域のｙ座標の最大値と最小値との差の絶対値を算出することにより、ｌｚは３次元の人物領域のｚ座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。
【００３９】
次に、アトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙを算出する（ステップＳ４２）。そして、算出したアトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙと、予め定められた規則とに基づいて、被観察者の姿勢を推定する（ステップＳ４３）。
【００４０】
具体的には、次のような規則に基づいて、被観察者の姿勢を推定する。
（ａ） ｌx ／ｌｙ＜０．４またはｌｚ／ｌｙ＜０．４であれば、観察者の姿勢を「立位」と推定する。
（ｂ） ｌx ／ｌｙ＞１．５またはｌｚ／ｌｙ＞１．５であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。
【００４１】
〔５〕図２のステップＳ１６およびステップＳ１９の開始点または終了点判別処理
【００４２】
図２のステップＳ１６の開始点判別処理においては、『アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以上である状態が１秒（約５フレームに相当）以上継続していること』という開始点条件を満たしているか否かを判別し、開始点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の開始点であると判別する。
【００４３】
図２のステップＳ１９の終了点判別処理においては、『「アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以下である状態が１．４秒（約７フレームに相当）以上継続していること」または「第２バッファに蓄積されているデータ群が所定フレーム数分以上となっていること」または「開始点からの経過時間が、所定時間以上に達していること」』という終了点条件を満たしているか否かを判別し、終了点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の終了点であると判別する。
【００４４】
〔６〕図２のステップＳ２１の転倒判定処理
【００４５】
各種の挙動毎に、事前にモデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。ここでは、モデルとしては、隠れマルコフモデル（ＨＭＭ）が用いられている。各挙動毎のモデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。
【００４６】
第２バッファに蓄積されているデータ群のうち、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）を時系列データとし、上記時系列データが再現できる確率（尤度）を、各モデル毎に計算する。そして、最も尤度が高いモデルを求める。最も尤度が高いモデルに対応する挙動が、観察者の挙動となる。この実施例では、転倒を検知したいので、最も尤度が高いモデルが「前向きの転倒」または「しりもち」のモデルである場合には、被観察者が転倒したと判定する。
【００４７】
〔７〕姿勢推定処理の変形例
【００４８】
上記実施例では、被観察者の幅、高さおよび奥行きから求められたアスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙに基づいて、被観察者の姿勢を推定しているが、被観察者の背筋の向きに相当するベクトル（人物主軸）の向きに基づいて、被観察者の姿勢を推定するようにしてもよい。
【００４９】
つまり、図６に示すように、人物主軸ＱのＸ−Ｚ平面となす角γ（人物主軸の向き）を求め、次のような規則に基づいて、被観察者の姿勢を推定する。
【００５０】
（ａ）γ＞π／２×０．６であれば、観察者の姿勢を「立位」と推定する。
（ｂ）γ＜π／２×０．３であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。
【００５１】
図７は、人物主軸Ｑの向きと姿勢推定結果の例を示し、図７（ａ）は「立位」と推定される例を、図７（ｂ）は「座位」と推定される例を、図７（ｃ）は「臥位」と推定される例を、それぞれ示している。
【００５２】
以下、人物主軸の向きの求め方について説明する。人物主軸の向きの求め方には第１方法と第２方法とがある。
【００５３】
まず、第１方法について説明する。第１方法は、主成分分析を用いて、人物主軸の向きを求める方法である。
【００５４】
図８は、人物主軸の向きの算出方法（第１方法）の手順を示している。
【００５５】
３次元人物領域情報（人物領域の３次元空間でのプロット群）を、Ｘ−Ｙ平面に射影することにより、Ｘ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第１の射影画像を得るとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより、Ｚ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第２の射影画像を得る（ステップＳ５１）。次に、各射影画像毎に、重心を算出する（ステップＳ５２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ５３）。
【００５６】
次に、座標値修正後の第１の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出する（ステップＳ５４）。そして、ステップＳ５４で算出された２つの固有ベクトルを合成することにより、人物主軸の向きを示すベクトルを求める（ステップＳ５５）。そして、人物主軸の向きを示すベクトルから人物主軸の向きγを求める（ステップＳ５６）。
【００５７】
固有ベクトルの算出方法について説明する。各固有ベクトルの算出方法は同様であるので、第１の固有ベクトルの算出方法について説明する。まず、座標値修正後の第１の射影画像に基づいて、変量ｕの分散ｓu 、変量ｖの分散ｓv および変量ｕ，ｖの共分散ｓuvを算出する。そして、分散ｓu 、ｓv および共分散ｓuvを用いて、固有値λを算出する。分散ｓu 、ｓv および共分散ｓuvを用いて固有値λを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。次に、固有値λを用いて固有ベクトルを算出する。固有値λを用いて固有ベクトルを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。
【００５８】
図９は、人物主軸の向きの算出方法（第２方法）の手順を示している。
【００５９】
３次元人物領域情報（人物領域の３次元空間でのプロット群）をＸ−Ｙ平面に射影することにより、第１の射影画像を得るとともに、３次元人物領域情報をＹ−Ｚ平面に射影することにより、第２の射影画像を得る（ステップＳ６１）。次に、各射影画像毎に、重心を算出する（ステップＳ６２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ６３）。
【００６０】
次に、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める（ステップＳ６４）。そして、ステップＳ６４で求められた２つの線分の傾きに基づいて、人物主軸の向きγを求める（ステップＳ６５）。
【００６１】
図１０に示すように、第１の射影画像から得られた第１の線分の傾きをα、第２の射影画像から得られた第２の線分の傾きをβとすると、各線分の向きを示す単位ベクトルｖ１、ｖ２は、次式（１）で表される。
【００６２】
ｖ１＝（ｃｏｓα，ｓｉｎα）
ｖ２＝（ｃｏｓβ，ｓｉｎβ） …（１）
【００６３】
次式（２）に基づいて、ｖ１、ｖ２を合成すると、人物主軸の向きを示すベクトルＶが得られる。
【００６４】
Ｖ＝（ｃｏｓα，ｓｉｎα＋ｓｉｎβ，ｃｏｓβ） …（２）
【００６５】
人物主軸の向きγは、次式（３）に基づいて、求められる。
【００６６】
ｔａｎγ＝（ｓｉｎα＋ｓｉｎβ）／（ｃｏｓα2 ＋ｃｏｓβ2 ）1/2 …（３）
【００６７】
第１の線分および第２の線分の求め方について説明する。各線分の求め方は同様であるので、第１の線分の求め方について説明する。
【００６８】
図１１は、第１の線分の求め方を示している。
【００６９】
まず、ステップＳ３で得られた第１の射影画像を、図１２に示すように、一定間隔を有するＹ軸に平行な複数の分割線により、射影画像をＸ軸方向に複数の領域に分割する（ステップＳ７１）。各分割領域毎に人物領域のｙ座標の最大値と最小値に対応する点を輪郭点Ｐｉとして特定する（ステップＳ７２）。
【００７０】
輪郭点のうちｘ座標が最も大きくかつｙ座標が０に最も近い輪郭点を点Ａとし、点Ａを含む分割領域を注目領域とする（ステップＳ７３）。図１２の例では、点Ｐ１が点Ａとして特定される。点Ａ以外の輪郭点のうち、点Ａと原点を結ぶ直線に最も近い輪郭点を求め、点Ｂとする（ステップＳ７４）。図１２の例では、点Ａが点Ｐ１である場合には、点Ｐ７が点Ｂとされる。点Ａと点Ｂを結ぶ線分の距離（Ａ−Ｂ間距離）を算出して保持する（ステップＳ７５）。
【００７１】
次に、注目領域が、輪郭点のうちｘ座標が最も小さい輪郭点を含む分割領域（最終処理領域）であるか否かを判別する（ステップＳ７６）。現在の注目領域が最終処理領域でなければ、注目領域を、現在の注目領域に対してｘ座標が小さくなる方向に隣接する分割領域に更新する（ステップＳ７７）。そして、更新された注目領域内において、ｙ座標が最も大きい輪郭点を点Ａとする（ステップＳ７８）。そして、ステップＳ７４に戻り、ステップＳ７４以降の処理を再度行なう。
【００７２】
上記ステップＳ７６において、現在の注目領域が最終処理領域であると判別された場合には、Ａ−Ｂ間の距離が最大である線分を第１の線分として特定する（ステップＳ７９）。図１２の例では、点Ｐ３と点Ｐ９とを結ぶ線分が第１の線分として特定される。
【００７３】
〔８〕図２のステップＳ２１の転倒判定処理の変形例
【００７４】
各種の挙動毎に、事前に学習モデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。各挙動毎の学習モデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、時刻情報および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。学習データに基づいて、複数時点での被観察者の動き量の程度（多、中、少）からなる学習モデルが作成される。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。
【００７５】
図１３は、転倒判定処理の手順を示している。図１４は、転倒判定処理の手順を模式図で表している。
【００７６】
まず、第２バッファに保存されている複数フレーム分の被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）および時刻情報（図１４に時系列データ２０１で示す）に基づいて、複数時点での単位時間当たりの動き量データ（ｄｌｘ／ｄｔ，ｄｌｙ／ｄｔ，ｄｌｚ／ｄｔ）を求める（ステップＳ１１１）。
【００７７】
時系列データ２０１における各隣合うフレーム間のｌｘ，ｌｙ，ｌｚの差分ｄｌｘ、ｄｌｙ、ｄｌｚを、それらのフレーム間の時間差で除算することにより、複数時点での単位時間当たりの動き量データが得られる。
【００７８】
次に、各時点での３種類の動き量データのうちの最大値と、予め設定した２つの閾値に基づいて、各時点での動き量を３種類（多、中、少）にシンボル化する（ステップＳ１１２）。これにより、図１４に示すような複数時点でのシンボル化データからなるパターン２０２が得られる。
【００７９】
得られたパターン２０２と各挙動毎の学習モデル（図１４に２１１〜２１４で示す）との距離（類似度）をＤＰマッチングにより算出する（ステップＳ１１３）。そして、両パターン間の距離が最も短い学習モデルに対応する挙動を、被観察者の挙動として判定する（ステップＳ１１４）。この実施例では、転倒を検知したいので、両パターン間の距離が最も短い学習モデルが「前向きの転倒」または「しりもち」の学習モデルである場合には、被観察者が転倒したと判定する。
【００８０】
〔９〕検知履歴の活用等
【００８１】
監視装置２０（図１参照）は、被観察者毎に、現在までの転倒検知回数、転倒検知の発生間隔等から被観察者毎に転倒リスクを評価し、ランキングするようにしてもよい。このランキングは、監視者が自由に設定できるようにしてもよい。また、転倒リスクの高さに応じて、転倒が検知された場合に出力するアラームの種類を変更するようにしてもよい。また、同時に複数の被観察者の転倒が検知された場合には、リスクの高い被観察者の方を優先してその様子を確認できるようにするために、監視装置２０において転倒の発生と被観察者の転倒リスクとの両方を表示することが好ましい。
【００８２】
上記実施例では、転倒等の挙動検知に関する処理を各転倒検知装置１０で行なっているが、監視装置２０側で一括して行なうようにしてもよい。ただし、このようにすると、監視装置２０に処理負荷が集中し、監視装置２０がダウンする可能性がある。このような観点から、転倒等の挙動検知に関する処理を各転倒検知装置１０で行うことが好ましい。なお、停電等の発生に備えて、各居室の入り口に転倒検知時に転倒するランプやアラームを設置するとともに、各転倒検知装置１０にバッテリーを内蔵させておくことが好ましい。また、遠隔の家族等にも、監視装置２０を介さず、挙動検知装置１０から直接、通知ができるようにしておくことが好ましい。
【００８３】
上記実施例では、転倒検知装置１０は３次元人物領域情報を抽出するためにステレオカメラ等の撮像装置を備えているが、これに限定されることなく、転倒検知装置１０は、３次元人物領域情報を抽出するために、例えば単眼の撮像装置とレーザレンジファインダーとの組合せ、単眼の撮像装置と複数の超音波センサの組合せ等のように、撮像装置を含んだセンサの組合せを備えていてもよい。
【図面の簡単な説明】
【００８４】
【図１】転倒検知システムの全体的な構成を示すブロック図である。
【図２】転倒検知装置１０によって実行される転倒検知処理の手順を示すフローチャートである。
【図３】図２のステップＳ１２の３次元の人物領域抽出処理の詳細な手順を示すフローチャートである。
【図４】３次元の人物領域情報に対応する３次元の人物領域画像の一例を示す模式図である。
【図５】図２のステップＳ１３の姿勢推定処理の詳細な手順を示すフローチャートである。
【図６】人物主軸Ｑおよび人物主軸ＱのＸ−Ｚ平面となす角γを示す模式図である。
【図７】人物主軸Ｑの向きと姿勢推定結果の例を示す模式図である。
【図８】人物主軸の算出方法（第１方法）の手順を示すフローチャートである。
【図９】人物主軸の算出方法（第２方法）の手順を示すフローチャートである。
【図１０】第１の射影画像から得られた第１の線分の傾きαと、第２の射影画像から得られた第２の線分の傾きβとを示す模式図である。
【図１１】第１の線分の求め方を示すフローチャートである。
【図１２】第１の線分の求め方を説明するための模式図である。
【図１３】図３のステップＳ２１の転倒判定処理の手順の変形例を示すフローチャートである。
【図１４】図１３の転倒判定処理の手順を説明するための模式図である。
【符号の説明】
【００８５】
１０ 転倒検知装置
１１、１２ ステレオカメラ
２０ 監視装置
３０ 移動通信端末
４０ ネットワーク
【技術分野】
【０００１】
この発明は、被観察者の姿勢を検知する姿勢検知装置および被観察者の転倒等の挙動を検知する挙動検知装置に関する。
【背景技術】
【０００２】
被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像から被観察者の動作ベクトルを検出し、検出した動作ベクトルと予め記憶している被観察者の転倒ベクトルとを比較することにより、被観察者が転倒したか否かを判別するものが既に開発されている（特開２００２−２３２８７０号公報参照）。
【０００３】
また、被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像と被観察者が存在しないときに撮影された参照画像との差分領域を抽出し、差分領域の面積に基づいて被観察者が転倒したか否かを判別するものが既に開発されている（特開２０００−２０７６６４号公報参照）。
【０００４】
また、観察者が移動状態であるか静止状態を判定する装置として、被観察者をカメラで撮影し、撮影画像から人物領域を抽出し、抽出した人物領域から頭頂部の画像座標を抽出し、被観察者の身長データを用いて頭頂部の画像座標を実世界座標に変換し、得られた頭頂部の実世界座標と所定時間過去の頭頂部の実世界座標との距離を算出し、得られた距離と所定の閾値とを比較することにより、観察者が移動状態であるか静止状態であるかを判定するものが既に開発されている（特開２００２−１９７４６３号公報参照）。
【特許文献１】特開２００２−２３２８７０号公報
【特許文献２】特開２０００−２０７６６４号公報
【特許文献３】特開２００２−１９７４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この発明は、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。
【０００６】
また、この発明は、被観察者の転倒等の挙動の発生を高精度で検知することができる挙動検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、姿勢検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。
【０００８】
請求項２に記載の発明は、姿勢検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の姿勢検知装置において、算出手段は、３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより第２の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第１の射影画像から主成分分析を用いて第１主成分の傾きを表す第１のベクトルを算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて第１主成分の傾きを表す第２のベクトルを算出する手段、ならびに第１のベクトルおよび第２のベクトルを合成することにより、被観察者の背筋の向きを示すベクトルを求め、求めたベクトルから被観察者の背筋の向きを求める手段を備えていることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項２に記載の姿勢検知装置において、算出手段は、３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより第２の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める手段、ならびに第１の線分の傾きおよび第２の線分の傾きに基づいて、被観察者の背筋の向きを求める手段を備えていることを特徴とする。
【００１１】
請求項５に記載の発明は、挙動検知装置において、被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、３次元人物領域情報に基づいて被観察者の姿勢を判定する姿勢判定手段、３次元人物領域情報から検知対象の挙動を判定するための挙動判定用データを生成する挙動判定用データ生成手段、姿勢判定手段の判定結果に基づいて、検知対象の挙動が発生した可能性がある期間において、挙動判定用データを蓄積していく蓄積手段、ならびに蓄積手段によって蓄積された挙動判定用データから得られた時系列データと、検知対象の挙動に対応した学習用データから予め作成されているモデルとを比較することにより、検知対象の挙動が発生したか否かを判定する判定手段を備えていることを特徴とする。
【００１２】
請求項６に記載の発明は、請求項５に記載の挙動検知装置において、挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きの時系列データであり、上記モデルがＨＭＭモデルであることを特徴とする。
【００１３】
請求項７に記載の発明は、請求項５に記載の挙動検知装置において、挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きから算出された、被観察者の動き量の大きさをシンボル化したデータの時系列データであり、モデルがＤＰマッチング用のモデルであることを特徴とする。
【発明の効果】
【００１４】
この発明によれば、被観察者の姿勢を高精度で検知することができるようになる。また、この発明によれば、被観察者の転倒等の挙動の発生を高精度で検知することができるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、この発明を転倒を検知するための転倒検知装置に適用した場合の実施例について説明する。
【実施例１】
【００１６】
〔１〕転倒検知システムの全体的な構成
【００１７】
図１は、転倒検知システムの全体的な構成を示している。
転倒検知システムは、被観察者の居室内を撮影するステレオカメラ１１、１２を備えた転倒検知装置１０、転倒検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。
【００１８】
転倒検知システムは、被観察者の居室５０内を撮像するステレオカメラ１１、１２を備えた転倒検知装置１０、転倒検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。
【００１９】
転倒検知装置１０は、被観察者の転倒の発生を検知する。ネットワーク４０には、複数の被観察者の居室５０に対応して設けられた複数の転倒検知装置１０が接続されている。監視装置２０は監視者が詰めている監視センタに設置されている。監視装置２０および移動通信端末３０では、各被観察者の居室５０を識別可能に表す居室画面が表示されており、転倒検知装置１０によって転倒が検知された場合には、そのことが監視装置２０および移動通信端末３０に通知され、監視装置２０および移動通信端末３０はアラームなどを発生させるとともに、居室画面上においてどの居室で転倒が検知されたかを表示する。監視者は、この表示を見て、転倒が検知された居室表示を選択すると、監視装置２０および移動通信端末３０は、転倒を検知した上記転倒検知装置１０から当該居室の現在の画像を受信して監視装置２０および移動通信端末３０に表示する。
【００２０】
〔２〕転倒検知処理手順
【００２１】
図２は、転倒検知装置１０によって実行される転倒検知処理の手順を示している。
初期設定において、転倒判定用データ蓄積期間であることを記憶するフラグＦはリセット（Ｆ＝０）されているものとする。
【００２２】
まず、ステレオカメラ１１、１２から画像（左右画像）を取り込む（ステップＳ１１）。画像を取り込む時間間隔は、ステップＳ１１に戻るタイミングによって異なるが、約２００ｍｓｅｃ程度となる。取得した左右画像に基づいて、３次元の人物領域抽出処理を行なう（ステップＳ１２）。これにより、カメラ座標系での３次元人物領域情報（３次元空間での人物領域プロット群）が得られる。次に、得られた３次元人物領域情報に基づいて、姿勢推定処理を行なう（ステップＳ１３）。つまり、被観察者の現在の姿勢（立位、座位、臥位）を推定する。
【００２３】
この後、今回読み込んだフレームに関するデータ群を第１バッファに保存する（ステップＳ１４）。データ群は、時刻情報、入力画像データ、３次元人物領域情報、姿勢推定処理で得られる被観察者の幅、高さ、奥行き情報および姿勢推定結果からなる。第１バッファは、数フレーム分のデータ群を記憶するためのバッファであり、所定フレーム分のデータ群が蓄積されている場合には、１フレーム分の最も古いデータ群が消去されて、新たな１フレーム分のデータ群が蓄積される。
【００２４】
次に、フラグＦがセットされているか否かを判別する（ステップＳ１５）。フラグＦがセットされていないときには、姿勢推定結果の履歴データ等に基づいて転倒判定用データ蓄積期間の開始点であるか否かを判別する（ステップＳ１６）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の開始点ではないと判別した場合には、ステップＳ１１に戻る。
【００２５】
上記ステップＳ１６において、転倒判定用データ蓄積期間の開始点であると判別した場合には、フラグＦをセットした後（ステップＳ１７）、今回取得したフレームに関するデータ群を第２バッファに蓄積する（ステップＳ１８）。この場合には、データ群として、開始点からの経過時間情報（開始点からのフレーム数で表される）が追加される。そして、転倒判定用データ蓄積期間の終了点であるか否かを判別する（ステップＳ１９）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の終了点ではないと判別した場合には、ステップＳ１１に戻る。
【００２６】
ステップＳ１９からＳ１１に戻った場合には、次のステップＳ１５では、Ｆ＝１となっているので、ステップＳ１５からステップＳ１８に移行し、第１バッファだけでなく、第２バッファにもデータ群が蓄積される。
【００２７】
上記ステップＳ１９において、転倒判定用データ蓄積期間の終了点であると判別した場合には、フラグＦをリセットした後（ステップＳ２０）、第２バッファに蓄積されたデータ群に基づいて、転倒判定処理を行なう（ステップＳ２１）。転倒判定処理の結果、転倒ではないと判定された場合には（ステップＳ２２）、ステップＳ１１に戻る。転倒判定処理の結果、転倒であると判定された場合には（ステップＳ２２）、転倒が発生したことを監視装置２０等に通知する（ステップＳ２３）。そして、ステップＳ１１に戻る
【００２８】
〔３〕図２のステップＳ１２の３次元の人物領域抽出処理
【００２９】
図３は、図２のステップＳ１２の３次元人物領域抽出処理の詳細な手順を示している。
【００３０】
事前処理として、居室５０に被観察者が存在していない状態で、ステレオカメラ１１、１２のうちの一方のカメラ１１によって居室内を撮影した画像を取得し、取得した画像をグレースケール化する。そして、得られた画像を背景画像として、転倒検知装置１０の記憶装置に記憶しておく。
【００３１】
３次元の人物領域抽出処理では、ステレオカメラ１１、１２から取得した左右画像のうち、背景画像を撮影したカメラ１１から今回取得した画像と、背景画像とを用いて、背景差分法により、２次元人物領域を抽出する。また、ステレオカメラ１１、１２から取得した２枚の画像から、３次元測量手法により、ピクセル毎に奥行き情報を算出し、３次元空間にプロットできる座標情報（３次元位置情報）を取得する。そして、２次元人物領域情報と３次元位置情報とを重ね合わせることで、３次元空間内での人物領域に相当するデータ（３次元の人物領域情報）を抽出する。
【００３２】
具体的には、背景画像を撮影したカメラ１１から今回取得した画像を、グレイスケール化する（ステップＳ３１）。
【００３３】
ステップＳ３１で得られた画像と予め記憶されている背景画像の対応する画素毎に、画素値の差の絶対値を算出することにより、両画像の差分画像を作成する（ステップＳ３２）。得られた差分画像を２値化することにより、２次元人物領域情報を抽出する（ステップＳ３３）。
【００３４】
一方、ステレオカメラ１１、１２から今回取得した左右画像から、周知のステレオ法を用いて、３次元位置情報を算出する（ステップＳ３４）。上記ステップＳ３３で抽出した２次元人物領域情報と、上記ステップＳ３４で算出した３次元位置情報とに基づいて、３次元人物領域情報を抽出する（ステップＳ３５）。
【００３５】
図４は、３次元人物領域情報によって表される３次元の人物領域画像の一例を示している。図４において、直方体１０１は、Ｘ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体である。直方体１０１の上側の図（符号１０２）は、直方体１０１の上から３次元の人物領域を見た平面図であり、直方体１０１の右側の図（符号１０３）は、直方体１０１の右から３次元の人物領域を見た側面図である。
【００３６】
〔４〕図２のステップＳ１３の姿勢推定処理
【００３７】
図５は、図２のステップＳ１３の姿勢推定処理の詳細な手順を示している。
【００３８】
３次元人物領域抽出処理によって得られた３次元人物領域情報に基づいて、図４に示すように、Ｘ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体１０１の幅ｌx 、高さｌｙおよび奥行きｌｚ（被観察者の幅、高さおよび奥行き）を算出する（ステップＳ４１）。ｌx は３次元の人物領域のｘ座標の最大値と最小値との差の絶対値を算出することにより、ｌｙは３次元の人物領域のｙ座標の最大値と最小値との差の絶対値を算出することにより、ｌｚは３次元の人物領域のｚ座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。
【００３９】
次に、アトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙを算出する（ステップＳ４２）。そして、算出したアトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙと、予め定められた規則とに基づいて、被観察者の姿勢を推定する（ステップＳ４３）。
【００４０】
具体的には、次のような規則に基づいて、被観察者の姿勢を推定する。
（ａ） ｌx ／ｌｙ＜０．４またはｌｚ／ｌｙ＜０．４であれば、観察者の姿勢を「立位」と推定する。
（ｂ） ｌx ／ｌｙ＞１．５またはｌｚ／ｌｙ＞１．５であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。
【００４１】
〔５〕図２のステップＳ１６およびステップＳ１９の開始点または終了点判別処理
【００４２】
図２のステップＳ１６の開始点判別処理においては、『アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以上である状態が１秒（約５フレームに相当）以上継続していること』という開始点条件を満たしているか否かを判別し、開始点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の開始点であると判別する。
【００４３】
図２のステップＳ１９の終了点判別処理においては、『「アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以下である状態が１．４秒（約７フレームに相当）以上継続していること」または「第２バッファに蓄積されているデータ群が所定フレーム数分以上となっていること」または「開始点からの経過時間が、所定時間以上に達していること」』という終了点条件を満たしているか否かを判別し、終了点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の終了点であると判別する。
【００４４】
〔６〕図２のステップＳ２１の転倒判定処理
【００４５】
各種の挙動毎に、事前にモデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。ここでは、モデルとしては、隠れマルコフモデル（ＨＭＭ）が用いられている。各挙動毎のモデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。
【００４６】
第２バッファに蓄積されているデータ群のうち、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）を時系列データとし、上記時系列データが再現できる確率（尤度）を、各モデル毎に計算する。そして、最も尤度が高いモデルを求める。最も尤度が高いモデルに対応する挙動が、観察者の挙動となる。この実施例では、転倒を検知したいので、最も尤度が高いモデルが「前向きの転倒」または「しりもち」のモデルである場合には、被観察者が転倒したと判定する。
【００４７】
〔７〕姿勢推定処理の変形例
【００４８】
上記実施例では、被観察者の幅、高さおよび奥行きから求められたアスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙに基づいて、被観察者の姿勢を推定しているが、被観察者の背筋の向きに相当するベクトル（人物主軸）の向きに基づいて、被観察者の姿勢を推定するようにしてもよい。
【００４９】
つまり、図６に示すように、人物主軸ＱのＸ−Ｚ平面となす角γ（人物主軸の向き）を求め、次のような規則に基づいて、被観察者の姿勢を推定する。
【００５０】
（ａ）γ＞π／２×０．６であれば、観察者の姿勢を「立位」と推定する。
（ｂ）γ＜π／２×０．３であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。
【００５１】
図７は、人物主軸Ｑの向きと姿勢推定結果の例を示し、図７（ａ）は「立位」と推定される例を、図７（ｂ）は「座位」と推定される例を、図７（ｃ）は「臥位」と推定される例を、それぞれ示している。
【００５２】
以下、人物主軸の向きの求め方について説明する。人物主軸の向きの求め方には第１方法と第２方法とがある。
【００５３】
まず、第１方法について説明する。第１方法は、主成分分析を用いて、人物主軸の向きを求める方法である。
【００５４】
図８は、人物主軸の向きの算出方法（第１方法）の手順を示している。
【００５５】
３次元人物領域情報（人物領域の３次元空間でのプロット群）を、Ｘ−Ｙ平面に射影することにより、Ｘ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第１の射影画像を得るとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより、Ｚ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第２の射影画像を得る（ステップＳ５１）。次に、各射影画像毎に、重心を算出する（ステップＳ５２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ５３）。
【００５６】
次に、座標値修正後の第１の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出する（ステップＳ５４）。そして、ステップＳ５４で算出された２つの固有ベクトルを合成することにより、人物主軸の向きを示すベクトルを求める（ステップＳ５５）。そして、人物主軸の向きを示すベクトルから人物主軸の向きγを求める（ステップＳ５６）。
【００５７】
固有ベクトルの算出方法について説明する。各固有ベクトルの算出方法は同様であるので、第１の固有ベクトルの算出方法について説明する。まず、座標値修正後の第１の射影画像に基づいて、変量ｕの分散ｓu 、変量ｖの分散ｓv および変量ｕ，ｖの共分散ｓuvを算出する。そして、分散ｓu 、ｓv および共分散ｓuvを用いて、固有値λを算出する。分散ｓu 、ｓv および共分散ｓuvを用いて固有値λを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。次に、固有値λを用いて固有ベクトルを算出する。固有値λを用いて固有ベクトルを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。
【００５８】
図９は、人物主軸の向きの算出方法（第２方法）の手順を示している。
【００５９】
３次元人物領域情報（人物領域の３次元空間でのプロット群）をＸ−Ｙ平面に射影することにより、第１の射影画像を得るとともに、３次元人物領域情報をＹ−Ｚ平面に射影することにより、第２の射影画像を得る（ステップＳ６１）。次に、各射影画像毎に、重心を算出する（ステップＳ６２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ６３）。
【００６０】
次に、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める（ステップＳ６４）。そして、ステップＳ６４で求められた２つの線分の傾きに基づいて、人物主軸の向きγを求める（ステップＳ６５）。
【００６１】
図１０に示すように、第１の射影画像から得られた第１の線分の傾きをα、第２の射影画像から得られた第２の線分の傾きをβとすると、各線分の向きを示す単位ベクトルｖ１、ｖ２は、次式（１）で表される。
【００６２】
ｖ１＝（ｃｏｓα，ｓｉｎα）
ｖ２＝（ｃｏｓβ，ｓｉｎβ） …（１）
【００６３】
次式（２）に基づいて、ｖ１、ｖ２を合成すると、人物主軸の向きを示すベクトルＶが得られる。
【００６４】
Ｖ＝（ｃｏｓα，ｓｉｎα＋ｓｉｎβ，ｃｏｓβ） …（２）
【００６５】
人物主軸の向きγは、次式（３）に基づいて、求められる。
【００６６】
ｔａｎγ＝（ｓｉｎα＋ｓｉｎβ）／（ｃｏｓα2 ＋ｃｏｓβ2 ）1/2 …（３）
【００６７】
第１の線分および第２の線分の求め方について説明する。各線分の求め方は同様であるので、第１の線分の求め方について説明する。
【００６８】
図１１は、第１の線分の求め方を示している。
【００６９】
まず、ステップＳ３で得られた第１の射影画像を、図１２に示すように、一定間隔を有するＹ軸に平行な複数の分割線により、射影画像をＸ軸方向に複数の領域に分割する（ステップＳ７１）。各分割領域毎に人物領域のｙ座標の最大値と最小値に対応する点を輪郭点Ｐｉとして特定する（ステップＳ７２）。
【００７０】
輪郭点のうちｘ座標が最も大きくかつｙ座標が０に最も近い輪郭点を点Ａとし、点Ａを含む分割領域を注目領域とする（ステップＳ７３）。図１２の例では、点Ｐ１が点Ａとして特定される。点Ａ以外の輪郭点のうち、点Ａと原点を結ぶ直線に最も近い輪郭点を求め、点Ｂとする（ステップＳ７４）。図１２の例では、点Ａが点Ｐ１である場合には、点Ｐ７が点Ｂとされる。点Ａと点Ｂを結ぶ線分の距離（Ａ−Ｂ間距離）を算出して保持する（ステップＳ７５）。
【００７１】
次に、注目領域が、輪郭点のうちｘ座標が最も小さい輪郭点を含む分割領域（最終処理領域）であるか否かを判別する（ステップＳ７６）。現在の注目領域が最終処理領域でなければ、注目領域を、現在の注目領域に対してｘ座標が小さくなる方向に隣接する分割領域に更新する（ステップＳ７７）。そして、更新された注目領域内において、ｙ座標が最も大きい輪郭点を点Ａとする（ステップＳ７８）。そして、ステップＳ７４に戻り、ステップＳ７４以降の処理を再度行なう。
【００７２】
上記ステップＳ７６において、現在の注目領域が最終処理領域であると判別された場合には、Ａ−Ｂ間の距離が最大である線分を第１の線分として特定する（ステップＳ７９）。図１２の例では、点Ｐ３と点Ｐ９とを結ぶ線分が第１の線分として特定される。
【００７３】
〔８〕図２のステップＳ２１の転倒判定処理の変形例
【００７４】
各種の挙動毎に、事前に学習モデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。各挙動毎の学習モデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、時刻情報および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。学習データに基づいて、複数時点での被観察者の動き量の程度（多、中、少）からなる学習モデルが作成される。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。
【００７５】
図１３は、転倒判定処理の手順を示している。図１４は、転倒判定処理の手順を模式図で表している。
【００７６】
まず、第２バッファに保存されている複数フレーム分の被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）および時刻情報（図１４に時系列データ２０１で示す）に基づいて、複数時点での単位時間当たりの動き量データ（ｄｌｘ／ｄｔ，ｄｌｙ／ｄｔ，ｄｌｚ／ｄｔ）を求める（ステップＳ１１１）。
【００７７】
時系列データ２０１における各隣合うフレーム間のｌｘ，ｌｙ，ｌｚの差分ｄｌｘ、ｄｌｙ、ｄｌｚを、それらのフレーム間の時間差で除算することにより、複数時点での単位時間当たりの動き量データが得られる。
【００７８】
次に、各時点での３種類の動き量データのうちの最大値と、予め設定した２つの閾値に基づいて、各時点での動き量を３種類（多、中、少）にシンボル化する（ステップＳ１１２）。これにより、図１４に示すような複数時点でのシンボル化データからなるパターン２０２が得られる。
【００７９】
得られたパターン２０２と各挙動毎の学習モデル（図１４に２１１〜２１４で示す）との距離（類似度）をＤＰマッチングにより算出する（ステップＳ１１３）。そして、両パターン間の距離が最も短い学習モデルに対応する挙動を、被観察者の挙動として判定する（ステップＳ１１４）。この実施例では、転倒を検知したいので、両パターン間の距離が最も短い学習モデルが「前向きの転倒」または「しりもち」の学習モデルである場合には、被観察者が転倒したと判定する。
【００８０】
〔９〕検知履歴の活用等
【００８１】
監視装置２０（図１参照）は、被観察者毎に、現在までの転倒検知回数、転倒検知の発生間隔等から被観察者毎に転倒リスクを評価し、ランキングするようにしてもよい。このランキングは、監視者が自由に設定できるようにしてもよい。また、転倒リスクの高さに応じて、転倒が検知された場合に出力するアラームの種類を変更するようにしてもよい。また、同時に複数の被観察者の転倒が検知された場合には、リスクの高い被観察者の方を優先してその様子を確認できるようにするために、監視装置２０において転倒の発生と被観察者の転倒リスクとの両方を表示することが好ましい。
【００８２】
上記実施例では、転倒等の挙動検知に関する処理を各転倒検知装置１０で行なっているが、監視装置２０側で一括して行なうようにしてもよい。ただし、このようにすると、監視装置２０に処理負荷が集中し、監視装置２０がダウンする可能性がある。このような観点から、転倒等の挙動検知に関する処理を各転倒検知装置１０で行うことが好ましい。なお、停電等の発生に備えて、各居室の入り口に転倒検知時に転倒するランプやアラームを設置するとともに、各転倒検知装置１０にバッテリーを内蔵させておくことが好ましい。また、遠隔の家族等にも、監視装置２０を介さず、挙動検知装置１０から直接、通知ができるようにしておくことが好ましい。
【００８３】
上記実施例では、転倒検知装置１０は３次元人物領域情報を抽出するためにステレオカメラ等の撮像装置を備えているが、これに限定されることなく、転倒検知装置１０は、３次元人物領域情報を抽出するために、例えば単眼の撮像装置とレーザレンジファインダーとの組合せ、単眼の撮像装置と複数の超音波センサの組合せ等のように、撮像装置を含んだセンサの組合せを備えていてもよい。
【図面の簡単な説明】
【００８４】
【図１】転倒検知システムの全体的な構成を示すブロック図である。
【図２】転倒検知装置１０によって実行される転倒検知処理の手順を示すフローチャートである。
【図３】図２のステップＳ１２の３次元の人物領域抽出処理の詳細な手順を示すフローチャートである。
【図４】３次元の人物領域情報に対応する３次元の人物領域画像の一例を示す模式図である。
【図５】図２のステップＳ１３の姿勢推定処理の詳細な手順を示すフローチャートである。
【図６】人物主軸Ｑおよび人物主軸ＱのＸ−Ｚ平面となす角γを示す模式図である。
【図７】人物主軸Ｑの向きと姿勢推定結果の例を示す模式図である。
【図８】人物主軸の算出方法（第１方法）の手順を示すフローチャートである。
【図９】人物主軸の算出方法（第２方法）の手順を示すフローチャートである。
【図１０】第１の射影画像から得られた第１の線分の傾きαと、第２の射影画像から得られた第２の線分の傾きβとを示す模式図である。
【図１１】第１の線分の求め方を示すフローチャートである。
【図１２】第１の線分の求め方を説明するための模式図である。
【図１３】図３のステップＳ２１の転倒判定処理の手順の変形例を示すフローチャートである。
【図１４】図１３の転倒判定処理の手順を説明するための模式図である。
【符号の説明】
【００８５】
１０ 転倒検知装置
１１、１２ ステレオカメラ
２０ 監視装置
３０ 移動通信端末
４０ ネットワーク
【特許請求の範囲】
【請求項１】
被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、
３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに
３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段、
を備えていることを特徴とする姿勢検知装置。
【請求項２】
被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、
３次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに
被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段、
を備えていることを特徴とする姿勢検知装置。
【請求項３】
算出手段は、
３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に投影することにより第２の射影画像を生成する手段、
各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
座標値修正後の第１の射影画像から主成分分析を用いて第１主成分の傾きを表す第１のベクトルを算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて第１主成分の傾きを表す第２のベクトルを算出する手段、ならびに
第１のベクトルおよび第２のベクトルを合成することにより、被観察者の背筋の向きを示すベクトルを求め、求めたベクトルから被観察者の背筋の向きを求める手段、
を備えていることを特徴とする請求項２に記載の姿勢検知装置。
【請求項４】
算出手段は、
３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に投影することにより第２の射影画像を生成する手段、
各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める手段、ならびに
第１の線分の傾きおよび第２の線分の傾きに基づいて、被観察者の背筋の向きを求める手段、
を備えていることを特徴とする請求項２に記載の姿勢検知装置。
【請求項５】
被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、
３次元人物領域情報に基づいて被観察者の姿勢を判定する姿勢判定手段、
３次元人物領域情報から検知対象の挙動を判定するための挙動判定用データを生成する挙動判定用データ生成手段、
姿勢判定手段の判定結果に基づいて、検知対象の挙動が発生した可能性がある期間において、挙動判定用データを蓄積していく蓄積手段、ならびに
蓄積手段によって蓄積された挙動判定用データから得られた時系列データと、検知対象の挙動に対応した学習用データから予め作成されているモデルとを比較することにより、検知対象の挙動が発生したか否かを判定する判定手段、
を備えていることを特徴とする挙動検知装置。
【請求項６】
挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きの時系列データであり、上記モデルがＨＭＭモデルであることを特徴とする請求項５に記載の挙動検知装置。
【請求項７】
挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きから算出された、被観察者の動き量の大きさをシンボル化したデータの時系列データであり、モデルがＤＰマッチング用のモデルであることを特徴とする請求項５に記載の挙動検知装置。。
【請求項１】
被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、
３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに
３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段、
を備えていることを特徴とする姿勢検知装置。
【請求項２】
被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、
３次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに
被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段、
を備えていることを特徴とする姿勢検知装置。
【請求項３】
算出手段は、
３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に投影することにより第２の射影画像を生成する手段、
各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
座標値修正後の第１の射影画像から主成分分析を用いて第１主成分の傾きを表す第１のベクトルを算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて第１主成分の傾きを表す第２のベクトルを算出する手段、ならびに
第１のベクトルおよび第２のベクトルを合成することにより、被観察者の背筋の向きを示すベクトルを求め、求めたベクトルから被観察者の背筋の向きを求める手段、
を備えていることを特徴とする請求項２に記載の姿勢検知装置。
【請求項４】
算出手段は、
３次元人物領域の高さ方向をＹ軸とし、幅方向をＸ軸とし、奥行き方向をＺ軸として、３次元人物領域情報を、Ｘ−Ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元人物領域情報を、Ｙ−Ｚ平面に投影することにより第２の射影画像を生成する手段、
各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める手段、ならびに
第１の線分の傾きおよび第２の線分の傾きに基づいて、被観察者の背筋の向きを求める手段、
を備えていることを特徴とする請求項２に記載の姿勢検知装置。
【請求項５】
被観察者の撮影画像に基づいて、３次元人物領域情報を抽出する人物領域情報抽出手段、
３次元人物領域情報に基づいて被観察者の姿勢を判定する姿勢判定手段、
３次元人物領域情報から検知対象の挙動を判定するための挙動判定用データを生成する挙動判定用データ生成手段、
姿勢判定手段の判定結果に基づいて、検知対象の挙動が発生した可能性がある期間において、挙動判定用データを蓄積していく蓄積手段、ならびに
蓄積手段によって蓄積された挙動判定用データから得られた時系列データと、検知対象の挙動に対応した学習用データから予め作成されているモデルとを比較することにより、検知対象の挙動が発生したか否かを判定する判定手段、
を備えていることを特徴とする挙動検知装置。
【請求項６】
挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きの時系列データであり、上記モデルがＨＭＭモデルであることを特徴とする請求項５に記載の挙動検知装置。
【請求項７】
挙動判定用データ生成手段は、３次元人物領域情報から３次元人物領域の高さ、幅および奥行きからなる挙動判定用データを生成するものであり、上記時系列データが、蓄積手段によって蓄積された３次元人物領域の高さ、幅および奥行きから算出された、被観察者の動き量の大きさをシンボル化したデータの時系列データであり、モデルがＤＰマッチング用のモデルであることを特徴とする請求項５に記載の挙動検知装置。。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−１４６５８３（Ｐ２００８−１４６５８３Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３６０６３（Ｐ２００６−３３６０６３）
【出願日】平成１８年１２月１３日（２００６．１２．１３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月１３日（２００６．１２．１３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]