心拍数・呼吸数検出装置，方法およびプログラム
【課題】 心拍数・呼吸数検出装置で，顔を含む画像データから高精度に心拍数，呼吸数を検出することを目的とする。
【解決手段】 心拍数・呼吸数検出装置１では，光波長成分取得部１１が画像データ２のＲＧＢ成分を取得し，顔認識処理部１２が画像データ２から顔領域を抽出する。ＲＧＢ平均値算出部１３は，顔領域のＲＧＢ成分の平均値を算出し，独立成分分析部１４は，ＲＧＢ成分の平均値から３個の独立信号の成分を分離する。独立信号ソート部１５は，サンプリングされた顔領域の独立信号ごとのスペクトル分布を求め，スペクトル分布の波形類似度をもとに，類似度が高い独立信号のスペクトル分布をペアリングして，区分化する。心拍数・呼吸数検出部１６は，区分化されたスペクトル分布それぞれのピーク周波数を追跡し，一定時間経過後に周波数値軸上で出現位置が収束したピーク周波数の周波数値をもとに心拍数を推定する。
【解決手段】 心拍数・呼吸数検出装置１では，光波長成分取得部１１が画像データ２のＲＧＢ成分を取得し，顔認識処理部１２が画像データ２から顔領域を抽出する。ＲＧＢ平均値算出部１３は，顔領域のＲＧＢ成分の平均値を算出し，独立成分分析部１４は，ＲＧＢ成分の平均値から３個の独立信号の成分を分離する。独立信号ソート部１５は，サンプリングされた顔領域の独立信号ごとのスペクトル分布を求め，スペクトル分布の波形類似度をもとに，類似度が高い独立信号のスペクトル分布をペアリングして，区分化する。心拍数・呼吸数検出部１６は，区分化されたスペクトル分布それぞれのピーク周波数を追跡し，一定時間経過後に周波数値軸上で出現位置が収束したピーク周波数の周波数値をもとに心拍数を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，人体に非接触で心拍数や呼吸数を検出する技術に関する。
【背景技術】
【０００２】
カメラで撮影した顔画像などから非接触で心拍数を検出する方式が知られている。例えば，首や顔などをカメラで撮影し，設定した領域の画像濃度を連続して算出し，その濃度の時間応答波形をＦＦＴ（高速フーリエ変換）処理で求めたスペクトルの極大値を呼吸数や心拍数とする方法が知られている。また，顔画像の領域内のＲＧＢの各平均値を算出して独立成分分析（ＩＣＡ）で処理した後に，１つの成分波形（第２成分波形）の周波数分析で得たピーク周波数から心拍数を推定する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１８５０７号公報
【非特許文献】
【０００４】
【非特許文献１】Ｍ．Ｚ．Ｐｏｈ，Ｄ．Ｊ．ＭｃＤｕｆｆ， ａｎｄ Ｒ．Ｗ．Ｐｉｃａｒｄ，“Ｎｏｎ−ｃｏｎｔａｃｔ， Ａｕｔｏｍａｔｅｄ Ｃａｒｄｉａｃ Ｐｕｌｓｅ Ｍｅａｓｕｒｅｍｅｎｔｓ Ｕｓｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｉｎｇ ａｎｄ Ｂｌｉｎｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ”， Ｏｐｔ Ｅｘｐｒｅｓｓ， ｖｏｌ．１８， ｐｐ．１０７６２−１０７７４， ２０１０年５月７日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし，従来技術では，以下のような課題があることが知られている。
【０００６】
（１）カラー画像のＲＧＢの時間応答波形を用いて周波数成分分析をした場合に，心拍信号を示す周波数成分が検出されない場合があった。
【０００７】
（２）ＲＧＢ波形に独立成分分析を適用すると，算出されたどの成分に心拍信号が含まれているかが不明であった。
【０００８】
（３）周波数分析で求めたスペクトル分布において，どのピーク周波数が心拍信号に起因するかを自動的に特定することができなかった。
【０００９】
上記の課題に鑑み，本発明は，人体に非接触で心拍・呼吸数の検出を図り，特に，画像データから抽出した時系列信号のスペクトル分布の中から，心拍信号または呼吸信号に起因するピーク周波数を特定して，心拍数や呼吸数を精度よく自動的に検出する装置を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様として開示する装置は，画像データから心拍数または呼吸数を検出する装置であって，１）検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得する光波長成分取得部と，２）前記光波長成分の時系列データをもとに各光波長成分の平均値を算出する平均値算出部と，３）前記算出した平均値に独立成分分析を適用して複数の独立信号を求める独立成分分析部と，４）前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化する独立信号ソート部と，５）前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする心拍数・呼吸数検出部とを備える。
【発明の効果】
【００１１】
開示される装置によれば，人間の顔などを撮像した画像データの光波長成分の時間応答波形から心拍信号や呼吸信号に起因するピーク周波数を特定し，心拍数や呼吸数を精度よく自動的に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一態様として開示する心拍数・呼吸数検出装置の一実施例における構成例を示す図である。
【図２】一実施例において顔認識処理で抽出される顔領域例を示す図である。
【図３】一実施例において顔領域のＲＧＢ平均値に独立成分分析を適用する例を示す図である。
【図４】一実施例において連続してサンプリングした際の第ｎ−１番目サンプリング時の光波長成分もとづく独立成分分析の結果（独立信号）とそのスペクトル分布の例を示す図である。
【図５】一実施例において連続してサンプリングした際の第ｎ番目サンプリング時の光波長成分もとづく独立成分分析の結果（独立信号）とそのスペクトル分布の例を示す図である。
【図６】一実施例における重なり率の概念を示す図である。
【図７】一実施例における独立信号のスペクトル分布の区分化の例を示す図である。
【図８】一実施例における粒子フィルタによる心拍信号の周波数の検出処理を説明するための図である。
【図９】一実施例における尤度初期値関数による粒子フィルタの粒子配置の概念を示す図である。
【図１０】一実施例における心拍数・呼吸数検出装置の心拍数推定処理の処理フロー図である。
【図１１】一実施例における心拍数・呼吸数検出装置の尤度初期値関数設定処理の処理フロー図である。
【発明を実施するための形態】
【００１３】
以下，本発明の一態様として開示する心拍数・呼吸数検出装置について説明する。
【００１４】
図１は，本発明の一態様として開示する心拍数・呼吸数検出装置の一実施例における構成例を示す図である。
【００１５】
心拍数・呼吸数検出装置１は，対象者の顔を含む画像データ２の光波長成分の各成分の時系列データを用いて，信号源である心拍信号または呼吸信号を特定して，対象者の心拍数または呼吸数を自動的に検出する。そのため，心拍数・呼吸数検出装置１は，光波長成分取得部１１，顔認識処理部１２，ＲＧＢ平均値算出部１３，独立成分分析（ＩＣＡ）部１４，独立信号ソート部１５，心拍数・呼吸数検出部１６，尤度初期値関数記憶部１７，尤度関数設定部１８を備える。
【００１６】
光波長成分取得部１１は，カメラなどで検出対象者が撮影された画像データ２を入力し，画像データ２の複数の光波長成分の時系列データを取得する手段である。
【００１７】
光波長成分取得部１１は，ビデオカメラなどから出力される画像データ２を入力する。なお，画像データ２を入力するデバイスはカメラ以外でもよく，また，画像データ２は，ビデオ，ＤＶＤなどのメデイアやハードディスク上に格納されている動画ファイルから切り出した画像データであってもよい。
【００１８】
画像データ２は，例えば，横３２０画素×縦２４０画素の矩形で与えられる。１つの画素は，明るさの階調値（輝度）で与えられ，例えば，整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｉ）の階調値は，８ｂｉｔのディジタル値Ｉ（ｉ，ｊ）などで与えられる。画像データ２がカラー画像である場合には，１つの画素は，赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の階調値で与えられ，例えば，整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の階調値は，それぞれ，ディジタル値Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）などで与えられる。
【００１９】
なお，画像データ２の階調値は，ＲＧＢの組み合わせ，またはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系，ＹＵＶ表色系など）を使用してもよい。
【００２０】
顔認識処理部１２は，光波長成分取得部１１によって取得された画像データ２に含まれている人の顔の位置や大きさを検出して，顔を含む顔領域を抽出する手段である。
【００２１】
顔認識処理部１２は，既知の顔認識処理を実行するものであり，特に１つの顔認識処理に限定されない。既知の顔認識処理では，一般的に，画像データ中に含まれる顔の位置と大きさを検出し，検出した顔の領域を矩形で抽出する。
【００２２】
図２は，顔認識処理で抽出される顔領域例を示す図である。
【００２３】
画像データ２から顔領域として抽出される矩形は，例えば，図２に示すように，４個の頂点座標で表現される。例えば，顔領域は，｛（ｉ１，ｊ１），（ｉ１，ｊ２），（ｉ２，ｊ１），（ｉ２，ｊ２）｝と表される。
【００２４】
ＲＧＢ平均値算出部１３は，画像データから検出された顔領域の赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の各色成分について平均値を算出する手段である。
ＲＧＢ平均値算出部１３は，例えば以下の式（１）〜（３）を用いて平均値を算出する。
【００２５】
【数１】
【００２６】
式（１）〜（３）において，Ａは顔領域であり，Ｎは顔領域中の画素数を表し，Ａのとる値は，ｉ１≦ｉ＜ｉ２，ｊ１≦ｊ＜ｊ２であり，Ｎのとる値は，（ｉ２−ｉ１）×（ｊ２−ｊ１）である。
【００２７】
独立成分分析部１４は，ＲＧＢ平均値算出部１３によって得られたＲＧＢ平均値の時間応答波形に独立成分分析（ＩＣＡ）を適用して独立信号を求める手段である。
【００２８】
独立成分分析部１４が実行する独立成分分析は，多変量解析の一手法であって，情報源となる信号が独立であると仮定し，複数の観測値の信号から，信号源を独立な成分に分離して抽出する計算手法である。独立成分分析の中で，例えばブラインド信号分離法では，次のように定式化される。
【００２９】
時刻ｔにおけるｎ個の信号源ｓ（ｔ）＝［ｓ１（ｔ），ｓ２（ｔ），…，ｓｎ（ｔ）］Ｔは，未知とする。また，観測値ｘ（ｔ）が，ｍ×ｎの未知の混合行列Ａを用いて，信号源ｓ（ｔ）から生成されるものとする。すなわち，
ｘ（ｔ）＝［ｘ１（ｔ），ｘ２（ｔ），…，ｘｍ（ｔ）］Ｔ
ｘ（ｔ）＝Ａｓ（ｔ）
とする。時刻ｔ＝１，２，…において，観測値の系列ｘ（１），ｘ（２），…が観測された場合に，信号源の系列ｓ（１），ｓ（２），…を推定する。
【００３０】
すなわち，独立成分分析では，信号源の独立性を仮定し，混合行列の推定値Ａ'を用いて，分離信号ｙを求める。推定分離信号ｙ'は，以下の式（４）で与えられる。
【００３１】
【数２】
【００３２】
式（４）において，行列Ａ'を正しく推定できれば，Ａ'−１Ａは単位行列となるため，信号源ｓと一致する。
【００３３】
図３は，画像データから抽出された顔領域のＲＧＢ平均値に独立成分分析を適用する例を示す図である。
【００３４】
図３（Ａ）に示すＲ，Ｇ，Ｂの各データは，画像データから検出された顔領域の３つの光波長成分，すなわちＲ成分，Ｇ成分，Ｂ成分それぞれの平均値の時系列データを示す。
【００３５】
図３（Ｂ）は，図３（Ａ）に示す３つの成分（Ｒ成分，Ｇ成分，Ｂ成分）の平均値の時系列データを観測値として独立成分分析を適用した場合に得られる３個の独立信号の例である。図３（Ｂ）に示すＩＣＡ１，ＩＣＡ２，ＩＣＡ３の各データは，図３（Ａ）に示す光波長成分の時系列データに対応する，独立信号の第１成分，第２成分，第３成分の時系列データである。なお，図３（Ｂ）に示す例では，独立信号の第３成分（ＩＣＡ３）に心拍信号が分離されているとする。
【００３６】
独立信号ソート部１５は，検出対象である心拍信号または呼吸信号が，常に同一の独立信号に含まれるように，独立成分分析で分離された独立信号をその特徴の一貫性が保たれるよう並べ替えて区分化する手段である。
【００３７】
独立信号分析では，分離された独立信号の出現する順番が不定となる性質がある。すなわち，心拍信号を最も多く含むと推定される独立信号が，独立成分分析により分離された複数の成分（第１成分〜第３成分）のいずれであるかを特定することができない。そこで，独立信号ソート部１５は，独立成分分析で得られた独立信号の各成分（第１成分〜第３成分）をスペクトル分析してスペクトル分布を求め，各成分のスペクトル分布間の波形類似度をもとに，特定の信号（心拍信号）が含まれる独立信号の成分が常に同じグループに属するように，分離された独立信号のスペクトル分布を並び替える処理を行う。
【００３８】
図４および図５は，連続してサンプリングした際の第ｎ−１番目および第ｎ番目のサンプリング時の光波長成分にもとづく独立成分分析の結果（独立信号）とそのスペクトル分布の例を示す図である。
【００３９】
図４（Ａ）に示すデータは，第ｎ−１番目（現サンプリングの１つ前のサンプリング）の光波長成分に対する独立成分分析の適用により分離された独立信号ＩＣＡ１ｎ−１，ＩＣＡ２ｎ−１，ＩＣＡ３ｎ−１である。図４（Ｂ）に示すデータは，独立信号ＩＣＡ１ｎ−１，ＩＣＡ２ｎ−１，ＩＣＡ３ｎ−１それぞれのスペクトル分布ＳＤ−ＩＣＡ１ｎ−１，ＳＤ−ＩＣＡ２ｎ−１，ＳＤ−ＩＣＡ３ｎ−１である。図５（Ａ）に示すデータは，同じく，第ｎ番目（現サンプリング）の光波長成分に対する独立成分分析の適用により分離された独立信号例ＩＣＡ１ｎ，ＩＣＡ２ｎ，ＩＣＡ３ｎである。図５（Ｂ）に示すデータは，独立信号ＩＣＡ１ｎ，ＩＣＡ２ｎ，ＩＣＡ３ｎそれぞれのスペクトル分布ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎ，ＳＤ−ＩＣＡ３ｎである。
【００４０】
独立信号ソート部１５は，連続してサンプリングされた独立信号を取り出して，現サンプリング時とその１つ前のサンプリング時の独立信号のスペクトル分布を求め，求めたスペクトル分布同士の波形類似度を求める。
【００４１】
波形類似度は，以下に示す式（５）により重なり率Ｒｐｑをもとに算出される。
【００４２】
【数３】
【００４３】
式（５）において，
Ｓｐ（ｎ−１）は，第ｎ−１番目サンプリング時の第ｐ成分のスペクトル分布，
Ｓｑ（ｎ）は，第ｎ番目サンプリング時の第ｑ成分のスペクトル分布，
ｍａｘ（）は，カッコ（）内の大きい値を出力する関数，
ｍｉｎ（）は，カッコ（）内の小さい値を出力する関数
を表す。
【００４４】
図６は，上記の重なり率の概念を示す図である。
【００４５】
重なり率Ｒｐｑは，図６に示すように，２つの波形が重なった部分の面積で与えられ，形状が類似していると，その値が１に近くなる。
【００４６】
独立信号ソート部１５は，第ｎ−１番目サンプリングで得た各成分のスペクトル分布の波形と第ｎ番目サンプリングで得た各成分のスペクトル分布の波形との重なり率Ｒｐｑを算出し，重なり率Ｒｐｑの値が高いスペクトル分布同士をペアリングして，ｎ番目サンプリング時のスペクトル分布を並び替える。
【００４７】
図７は，独立信号のスペクトル分布の区分化の例を示す図である。
【００４８】
図７（Ａ）は，第ｎ−１番目サンプリングで得た各成分のスペクトル分布ＳＤ−ＩＣＡ１ｎ−１，ＳＤ−ＩＣＡ２ｎ−１，ＳＤ−ＩＣＡ３ｎ−１の出力例を示す図であり，図７（Ｂ）は，第ｎ番目サンプリングで得た各成分のスペクトル分布ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎ，ＳＤ−ＩＣＡ３ｎの出力例を示す図である。
【００４９】
図７（Ａ）および（Ｂ）に示すように，ある独立信号が，第ｎ−１番目サンプリングによる光波長成分の独立成分分析では第３成分（ＩＣＡ３ｎ−１）に表れ，第ｎ番目サンプリングによる光波長成分の独立成分分析では第２成分（ＩＣＡ２ｎ）に表れる場合がある。したがって，心拍信号が，第ｎ−１番目サンプリングでは第３成分（ＩＣＡ３ｎ−１）に分離され，第ｎ番目サンプリングでは第２成分（ＩＣＡ２ｎ）として分離されているため，特定の独立信号（ここでは，心拍信号）を扱いたい場合に，何番目に出力された独立信号に着目すればよいかを自動的に決めることができなかった。
【００５０】
独立信号ソート部１５は，各独立信号のスペクトル分布を求め，求めたスペクトル分布の波形類似度を算出して，よく類似する同士を対応づけることによって独立成分分析の結果を並べ替え，波形として表れる独立信号の特徴が一貫して保持されるように，スペクトル分布を区分けする。
【００５１】
独立信号ソート部１５は，例えば，第ｎ−１番目サンプリングで得た成分ＩＣＡ１ｎ−１のスペクトル分布ＳＤ−ＩＣＡ１ｎ−１と，第ｎ番目サンプリングで得た各成分のスペクトル分布ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎ，ＳＤ−ＩＣＡ３ｎそれぞれとの重なり率Ｒｐｑを計算して，最も高い値となるスペクトル分布を特定する。ここで，スペクトル分布ＳＤ−ＩＣＡ１ｎ−１について，ＳＤ−ＩＣＡ３ｎとの重なり率Ｒｐｑが最も高い値であったとする。独立信号ソート部１５は，スペクトル分布ＳＤ−ＩＣＡ１ｎ−１とＳＤ−ＩＣＡ３ｎとをペアリングする。独立信号ソート部１５は，同様に，ＳＤ−ＩＣＡ２ｎ−１，ＳＤ−ＩＣＡ３ｎ−１についても重なり率Ｒｐｑが高い第ｎ番目サンプリング時のスペクトル分布を特定して，ペアリングする。
【００５２】
さらに，独立信号ソート部１５は，ペアリングをもとに第ｎ番目サンプリング時のスペクトル分布の順序を並べ替える。これにより，図７（Ｃ）に示すように，第ｎ番目サンプリングで得た成分のスペクトル分布の並びが，ＳＤ−ＩＣＡ３ｎ，ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎの順に並び替えられる。
【００５３】
よって，図７（Ｃ）に示すように，特定の独立信号（心拍信号）について，第ｎ−１番目サンプリング時の第３成分（ＩＣＡ３ｎ−１），第ｎ番目サンプリング時の第２成分（ＩＣＡ２ｎ）を特定することができる。
【００５４】
心拍数・呼吸数検出部１６は，独立信号のスペクトル分布から，心拍または呼吸に起因するピーク周波数を特定して，心拍数または呼吸数を検出する手段である。
【００５５】
画像データ２から抽出した顔領域から独立信号の成分を求める処理を一定時間繰り返して独立信号のスペクトル分布を求めていくと，心拍信号のピーク周波数は，ピーク値の大きさや周波数値に変動はあるものの，周波数軸上のほぼ同一位置に出現する。一方，ノイズに起因するピーク周波数は，時間経過と共にランダムに出現と消滅とを繰り返す。
【００５６】
そこで，心拍数・呼吸数検出部１６は，時間経過に伴うスペクトル分布のピーク周波数の遷移を粒子フィルタによって追跡し，適当な時間範囲の間に出現する尤度の最も高いピーク周波数を心拍信号であると推定する。
【００５７】
粒子フィルタは，粒子の分布を尤度（＝適応度）に応じて変更することによって，パラメータを推定する手法の１つである。一例として，最適解を求めるためにモンテカルロ法を用いる。粒子フィルタのアルゴリズムは，粒子の配置，移動予測，重み付け，状態推定からなる。粒子の配置では，粒子を所定の範囲に配置し，粒子の移動予測では，粒子を状態方程式にもとづいて移動させる。重み付けでは，現在の観測と粒子の状態をもとに，粒子の尤度（適用度）を計算して，重み付けを行う。すなわち，重み付けは，確率的な尤度の最大化であり，粒子の分布は確率密度を示す。 状態推定では，粒子の分布をもとに現在の状態を推定する。
【００５８】
心拍数・呼吸数検出部１６は，粒子フィルタによって，顔領域から分離された各独立信号のスペクトル分布からピーク周波数の検出を行い，一定時間経過後にピーク周波数の周波数値軸上での変動が一定の範囲内の位置に収束するような独立信号を含むスペクトル分布（ピーク周波数が一定の周波数値内となるようなスペクトル分布）に対する検出処理のみを続行し，その他の独立信号のスペクトル分布に対する検出処理を停止する。
【００５９】
具体的には，心拍数・呼吸数検出部１６は，以下の式（６）により，第ｎ番目（現）サンプリングと一定時間前の第ｍ番目サンプリング時とのピーク周波数差の最大値ｆＤｍａｘおよび最小値ｆＤｍｉｎをもとに，その成分のピーク周波数の周波数値が収束している独立信号の成分を決定する。
【００６０】
ｆＤｍａｘ＝ｍａｘ（ｆｎ−ｍ，ｆｎ−ｍ＋１，…，ｆｎ）
ｆＤｍｉｎ＝ｍｉｎ（ｆｎ−ｍ，ｆｎ−ｍ＋１，…，ｆｎ）
｜ｆＤｍａｘ−ｆＤｍｉｎ｜＜Ｆｔｈ ……式（６）
式（６）において，
ｍａｘ（）は，カッコ（）内の大きい値を出力する関数，
ｍｉｎ（）は，カッコ（）内の小さい値を出力する関数，
Ｆｔｈは，閾値
を表す。
【００６１】
これにより，心拍数・呼吸数検出部１６は，独立成分分析部１４によって分離された複数の独立成分の中から，着目する信号（ここでは，心拍信号）が含まれる独立成分を特定することができ，さらに，後述する処理により，特定した独立成分のスペクトル分布から心拍信号を検出して心拍数を推定することが可能となる。
【００６２】
図８は，粒子フィルタによる心拍信号の周波数の検出処理を説明するための図である。
【００６３】
図８（Ａ）は，第ｎ−１番目サンプリング時に得られた，ある独立成分のスペクトル分布を示す図である。図８（Ａ）に示すスペクトル分布では，心拍数・呼吸数検出部１６は，着目区間ｕにおいてピーク周波数（心拍信号の周波数）を検出して，検出したピーク周波数が心拍信号の周波数であると推定している。
【００６４】
図８（Ｂ）は，粒子フィルタの粒子配置例を示す図である。心拍数・呼吸数検出部１６は，図８（Ａ）に示すスペクトル分布においてピーク周波数を検出している場合に，図８（Ｂ）の上部に示すように，粒子フィルタの粒子を配置済みであるとする。
【００６５】
図８（Ｃ）は，第ｎ番目サンプリングにおけるスペクトル分布を示す図である。心拍数・呼吸数検出部１６は，図８（Ｃ）に示す第ｎ番目サンプリングにおけるスペクトル分布から，ピーク周波数（心拍信号の周波数）を検出する。
【００６６】
心拍数・呼吸数検出部１６は，図８（Ｂ）の上部に示すように，第ｎ−１番目サンプリングにおけるスペクトル分布のピーク周波数の位置に配置されている粒子フィルタの粒子１個を選択し，同粒子の周波数軸上の位置を中心とする着目区間ｕを決定する（図８（Ａ）参照）。次に，心拍数・呼吸数検出部１６は，図８（Ｂ）の下部に示すように，正規乱数に従って粒子の遷移先を決定する。
【００６７】
心拍数・呼吸数検出部１６は，遷移先の粒子の位置を中心とする切り出し区間ｖを，第ｎ番目サンプリングのスペクトル分布上で設定する。そして，心拍数・呼吸数検出部１６は，図８（Ａ）に示す第ｎ−１番目サンプリングにおけるスペクトル分布でのピーク周波数から定めた着目区間ｕと，図８（Ｃ）に示す第ｎ番目サンプリングにおけるスペクトル分布でのピーク周波数から定めた切り出し区間ｖとに含まれるスペクトル波形を，図８（Ｄ）に示すようにそれぞれ抽出し，抽出した波形同士の類似度を算出する。
【００６８】
抽出した波形の類似度の算出方法は，独立信号ソート部１５が実行する類似度算出手法と同一の処理を実行する。心拍数・呼吸数検出部１６は，求めた類似度を，遷移先の粒子の尤度とする。第ａ個目の粒子の尤度（ａ）Ｒｕｖは，以下の式（７）で算出される。
【００６９】
【数４】
【００７０】
心拍数・呼吸数検出部１６は，全粒子（個数Ａ）について同じ処理を繰り返し，全ての粒子について尤度（ａ）Ｒｕｖを求める。
【００７１】
そして，心拍数・呼吸数検出部１６は，全ての粒子の尤度の総和が１になるように正規化し，各粒子の尤度（ａ）Ｒｕｖを，重み（ａ）ｗへ変換する。以下の式（８）により，各粒子の周波数軸上の位置と重みから，重み付き平均Ｆｔを求める。
【００７２】
【数５】
【００７３】
式（８）において，
（ａ）ｗは，第ａ個目の粒子の重み，
（ａ）ｆは，第ａ個目の粒子の遷移先の周波数（心拍数），
ｆｍｉｎは，心拍数の下限，
ｆｍａｘは，心拍数の上限
を表す。
【００７４】
心拍数・呼吸数検出部１６は，式（８）で求めた重み付平均Ｆｔを，第ｎ番目（現）サンプリングにおける心拍信号の周波数の推定値とする。
【００７５】
最後に，心拍数・呼吸数検出部１６は，第ｎ＋１番目（次）サンプリング時に使用する粒子フィルタの粒子の配置を決定する。粒子の重みと全粒子数Ａを用いて粒子数を，以下の式（９）で与える。
【００７６】
（ａ）ｎ＝Ｎ・（ａ）ｗ …… 式（９）
式（９）において，心拍数・呼吸数検出部１６は，粒子の尤度が大きい順に上記の式を用いて粒子数を増加させる。または，心拍数・呼吸数検出部１６は，この処理を合計粒子数がＡ個になるまで繰り返し，もし，得られた粒子の個数がＡ個以下の場合には，Ａ個になるまで粒子を発生させる。
【００７７】
以上の粒子フィルタの処理によって，第ｎ＋１番目（次）サンプリング時には，粒子フィルタの粒子が，現状態のピーク周波数（心拍信号の周波数）付近に多く配置されて存在することになる。したがって，次サンプリングにおいても，粒子フィルタの粒子が多数の粒子が存在する心拍信号周波数付近から遷移するので，心拍数・呼吸数検出部１６は，着目している周波数を高精度に追跡することができる。
【００７８】
尤度初期値関数記憶部１７は，心拍数・呼吸数検出部１６の粒子フィルタの尤度初期値関数を，検出対象となるユーザまたは画像データの撮像時間帯に対応づけて保持する記憶手段である。本例では，尤度初期値関数記憶部１７は，例えば，第１記憶部または第２記憶部であり，尤度初期値関数テーブルとして実施される。
【００７９】
尤度関数設定部１８は，検出対象となる画像データに撮像されているユーザまたは撮像時間帯をもとに，尤度初期値関数記憶部１７から尤度初期値関数を選択して粒子フィルタに設定する手段である。
【００８０】
なお，尤度初期値関数記憶部１７により，ユーザ別に尤度初期値関数が設定される場合には，予め，ユーザの識別情報と，その顔領域の特徴情報とが対応づけられて保持されているものとする。
【００８１】
尤度初期値関数記憶部１７を備えて，検出対象のユーザまたは撮像時間帯に応じた尤度初期値関数を粒子フィルタに与えることによって，心拍信号のピーク周波数を特定するときの検出精度を向上させることができる。
【００８２】
図９は，尤度初期値関数による粒子フィルタの粒子配置の概念を示す図である。
【００８３】
図９（Ａ）は，尤度初期値関数が特に指定されない場合の粒子フィルタの粒子配置の概念を示す図である。
【００８４】
心拍数・呼吸数検出部１６は，処理開始時には，スペクトル分布においてピーク周波数の出現位置が不明であるため，図９（Ａ）に示すように，粒子フィルタの処理の初期状態として，粒子を周波数軸上に均一に配置する。
【００８５】
図９（Ｂ）は，ユーザ別に尤度初期値関数を設定する場合の尤度初期値関数記憶部１７を概念的に示す図である。
【００８６】
尤度初期値関数記憶部１７では，ユーザの識別情報と，そのユーザに設定されている尤度関数の初期値とが対応づけて記憶されている。
【００８７】
検出対象のユーザ別に尤度初期値関数が設定されている場合は，顔認識処理部１２は，
入力された画像データ２から顔領域を検出し，その顔領域から検出対象となっているユーザ（識別情報）を特定する。そして，尤度関数設定部１８は，尤度初期値関数記憶部１７から，特定されたユーザの識別情報に対応する尤度初期値関数を選択し，粒子フィルタに与える尤度関数を決定する。
【００８８】
図９（Ｃ）は，ユーザ別および時間帯別に尤度初期値関数を設定する場合の尤度初期値関数記憶部１７を概念的に示す図である。
【００８９】
図９（Ｃ）に示す尤度初期値関数記憶部１７では，ユーザの識別情報と時間帯に対応付けて尤度関数の初期値が記憶されている。ここでは，午前，午後，夜間の３時間帯に区分されているが，この例に限らず，より細かい時間帯に区分されていてもよい。
【００９０】
検出対象のユーザ別および画像データが撮像された時間帯別に尤度初期値関数が設定されている場合は，顔認識処理部１２が，画像データ２から検出した顔領域をもとにユーザ（識別情報）を特定し，尤度関数設定部１８が，時間帯を以下のようにして決定する。
【００９１】
尤度関数設定部１８は，光波長成分取得部１１が，画像データ２がカメラなどによってリアルタイムに測定されているものである場合には測定中の時刻をもとに時間帯を決定し，画像データ２がメディアで取得されているものである場合には画像データ２に付加されている撮像時刻をもとに時間帯を決定して，ユーザの識別情報と時間帯とに対応する尤度初期値関数を選択する。
【００９２】
図１０は，心拍数・呼吸数検出装置１の心拍数推定処理の処理フロー図である。
【００９３】
光波長成分取得部１１は，カメラなどで撮像された画像データ２を入力する（ステップＳ１）。次に，顔認識処理部１２は，顔認識処理により，入力された画像データ２のサンプリングフレームから顔領域（矩形領域）を検出する（ステップＳ２）。そして，ＲＧＢ平均値算出部１３は，検出された顔領域内のＲＧＢ成分各々の平均値を算出する（ステップＳ３）。
【００９４】
独立成分分析部１４は，ＲＧＢ成分の平均値に独立成分分析（ＩＣＡ）を適用して，３個の独立信号（成分）を算出する（ステップＳ４）。次に独立信号ソート部１５は，独立成分分析で求めた３個の独立信号のスペクトル分布を算出する（ステップＳ５）。さらに，独立信号ソート部１５は，前サンプリング（第ｎ−１番目サンプリング）と現サンプリング（第ｎ番目サンプリング）の３個の独立信号の間で，それぞれのスペクトル分布の類似度を求め，類似度が最も高いもの同士でペアリングし，独立信号のスペクトル分布を区分化する（ステップＳ６）。
【００９５】
心拍数・呼吸数検出部１６は，区分化されたスペクトル分布ごとに，粒子フィルタでピーク周波数をトラッキングし（ステップＳ７），ピーク周波数の周波数値が収束したものを特定する（ステップＳ８）。さらに，心拍数・呼吸数検出部１６は，特定した独立信号のスペクトル分布でのピーク周波数の周波数値をもとに心拍数を推定し，出力する（ステップＳ９）。
【００９６】
図１１は，心拍数・呼吸数検出装置１の尤度初期値関数設定処理の処理フロー図である。
【００９７】
顔認識処理部１２は，入力された画像データ２のサンプリングフレームから検出した顔領域（矩形領域）をもとに，ユーザＩＤ（識別情報）を取得する（ステップＳ１０）。尤度関数設定部１８は，尤度初期値関数記憶部１７から該当するユーザＩＤの尤度初期値関数を読み込み（ステップＳ１１），心拍数・呼吸数検出部１６の粒子フィルタの初期状態として，読み込んだ尤度初期値関数を設定する（ステップＳ１２）。
【００９８】
以上の実施例として，心拍数・呼吸数検出装置１により心拍数を検出する場合の処理を説明したが，心拍数・呼吸数検出装置１は，心拍数の検出の処理と同様の処理によって呼吸数を検出することも可能である。
【００９９】
また，心拍数・呼吸数検出装置１は，ＣＰＵおよびメモリ等を有するハードウェアとソフトウェアプログラムとを備えるコンピュータ・システム，または，専用ハードウェアによって実現することができる。すなわち，心拍数・呼吸数検出装置１は，演算装置（ＣＰＵ），一時記憶装置（ＤＲＡＭ，フラッシュメモリ等）および永続性記憶装置（ＨＤＤ，フラッシュメモリ等）を有し，外部とデータの入出力をするコンピュータによって実施することができる。
【０１００】
また，心拍数・呼吸数検出装置１は，このコンピュータが実行可能なプログラムによっても実施することができる。この場合に，心拍数・呼吸数検出装置１が有すべき機能の処理内容を記述したプログラムが提供される。提供されたプログラムを上記コンピュータが実行することによって，上記説明した心拍数・呼吸数検出装置１の処理機能がコンピュータ上で実現される。なお，上記コンピュータは，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。さらに，上記プログラムは，コンピュータで読み取り可能な記録媒体に記録しておくことができる。
【０１０１】
以上説明したように，開示する心拍数・呼吸数検出装置１によれば，以下のような効果を奏する。
【０１０２】
（１） 複数の信号および各信号のスペクトル分布の中から，心拍信号や呼吸信号に起因するピーク周波数を特定し，心拍数や呼吸数を精度よく検出することができる。
【０１０３】
（２） カラー画像の撮影可能な小型カメラによる画像データ２の取得が可能であり，検出対象者に非接触にデータを取得できるため，装置を安価に構成することができる。
【符号の説明】
【０１０４】
１ 心拍数・呼吸数検出装置
１１ 光波長成分取得部
１２ 顔認識処理部
１３ ＲＧＢ平均値算出部
１４ 独立成分分析部
１５ 独立信号ソート部
１６ 心拍数・呼吸数検出部
１７ 尤度初期値関数記憶部
１８ 尤度関数設定部
【技術分野】
【０００１】
本発明は，人体に非接触で心拍数や呼吸数を検出する技術に関する。
【背景技術】
【０００２】
カメラで撮影した顔画像などから非接触で心拍数を検出する方式が知られている。例えば，首や顔などをカメラで撮影し，設定した領域の画像濃度を連続して算出し，その濃度の時間応答波形をＦＦＴ（高速フーリエ変換）処理で求めたスペクトルの極大値を呼吸数や心拍数とする方法が知られている。また，顔画像の領域内のＲＧＢの各平均値を算出して独立成分分析（ＩＣＡ）で処理した後に，１つの成分波形（第２成分波形）の周波数分析で得たピーク周波数から心拍数を推定する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１８５０７号公報
【非特許文献】
【０００４】
【非特許文献１】Ｍ．Ｚ．Ｐｏｈ，Ｄ．Ｊ．ＭｃＤｕｆｆ， ａｎｄ Ｒ．Ｗ．Ｐｉｃａｒｄ，“Ｎｏｎ−ｃｏｎｔａｃｔ， Ａｕｔｏｍａｔｅｄ Ｃａｒｄｉａｃ Ｐｕｌｓｅ Ｍｅａｓｕｒｅｍｅｎｔｓ Ｕｓｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｉｎｇ ａｎｄ Ｂｌｉｎｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ”， Ｏｐｔ Ｅｘｐｒｅｓｓ， ｖｏｌ．１８， ｐｐ．１０７６２−１０７７４， ２０１０年５月７日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし，従来技術では，以下のような課題があることが知られている。
【０００６】
（１）カラー画像のＲＧＢの時間応答波形を用いて周波数成分分析をした場合に，心拍信号を示す周波数成分が検出されない場合があった。
【０００７】
（２）ＲＧＢ波形に独立成分分析を適用すると，算出されたどの成分に心拍信号が含まれているかが不明であった。
【０００８】
（３）周波数分析で求めたスペクトル分布において，どのピーク周波数が心拍信号に起因するかを自動的に特定することができなかった。
【０００９】
上記の課題に鑑み，本発明は，人体に非接触で心拍・呼吸数の検出を図り，特に，画像データから抽出した時系列信号のスペクトル分布の中から，心拍信号または呼吸信号に起因するピーク周波数を特定して，心拍数や呼吸数を精度よく自動的に検出する装置を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様として開示する装置は，画像データから心拍数または呼吸数を検出する装置であって，１）検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得する光波長成分取得部と，２）前記光波長成分の時系列データをもとに各光波長成分の平均値を算出する平均値算出部と，３）前記算出した平均値に独立成分分析を適用して複数の独立信号を求める独立成分分析部と，４）前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化する独立信号ソート部と，５）前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする心拍数・呼吸数検出部とを備える。
【発明の効果】
【００１１】
開示される装置によれば，人間の顔などを撮像した画像データの光波長成分の時間応答波形から心拍信号や呼吸信号に起因するピーク周波数を特定し，心拍数や呼吸数を精度よく自動的に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一態様として開示する心拍数・呼吸数検出装置の一実施例における構成例を示す図である。
【図２】一実施例において顔認識処理で抽出される顔領域例を示す図である。
【図３】一実施例において顔領域のＲＧＢ平均値に独立成分分析を適用する例を示す図である。
【図４】一実施例において連続してサンプリングした際の第ｎ−１番目サンプリング時の光波長成分もとづく独立成分分析の結果（独立信号）とそのスペクトル分布の例を示す図である。
【図５】一実施例において連続してサンプリングした際の第ｎ番目サンプリング時の光波長成分もとづく独立成分分析の結果（独立信号）とそのスペクトル分布の例を示す図である。
【図６】一実施例における重なり率の概念を示す図である。
【図７】一実施例における独立信号のスペクトル分布の区分化の例を示す図である。
【図８】一実施例における粒子フィルタによる心拍信号の周波数の検出処理を説明するための図である。
【図９】一実施例における尤度初期値関数による粒子フィルタの粒子配置の概念を示す図である。
【図１０】一実施例における心拍数・呼吸数検出装置の心拍数推定処理の処理フロー図である。
【図１１】一実施例における心拍数・呼吸数検出装置の尤度初期値関数設定処理の処理フロー図である。
【発明を実施するための形態】
【００１３】
以下，本発明の一態様として開示する心拍数・呼吸数検出装置について説明する。
【００１４】
図１は，本発明の一態様として開示する心拍数・呼吸数検出装置の一実施例における構成例を示す図である。
【００１５】
心拍数・呼吸数検出装置１は，対象者の顔を含む画像データ２の光波長成分の各成分の時系列データを用いて，信号源である心拍信号または呼吸信号を特定して，対象者の心拍数または呼吸数を自動的に検出する。そのため，心拍数・呼吸数検出装置１は，光波長成分取得部１１，顔認識処理部１２，ＲＧＢ平均値算出部１３，独立成分分析（ＩＣＡ）部１４，独立信号ソート部１５，心拍数・呼吸数検出部１６，尤度初期値関数記憶部１７，尤度関数設定部１８を備える。
【００１６】
光波長成分取得部１１は，カメラなどで検出対象者が撮影された画像データ２を入力し，画像データ２の複数の光波長成分の時系列データを取得する手段である。
【００１７】
光波長成分取得部１１は，ビデオカメラなどから出力される画像データ２を入力する。なお，画像データ２を入力するデバイスはカメラ以外でもよく，また，画像データ２は，ビデオ，ＤＶＤなどのメデイアやハードディスク上に格納されている動画ファイルから切り出した画像データであってもよい。
【００１８】
画像データ２は，例えば，横３２０画素×縦２４０画素の矩形で与えられる。１つの画素は，明るさの階調値（輝度）で与えられ，例えば，整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｉ）の階調値は，８ｂｉｔのディジタル値Ｉ（ｉ，ｊ）などで与えられる。画像データ２がカラー画像である場合には，１つの画素は，赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の階調値で与えられ，例えば，整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の階調値は，それぞれ，ディジタル値Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）などで与えられる。
【００１９】
なお，画像データ２の階調値は，ＲＧＢの組み合わせ，またはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系，ＹＵＶ表色系など）を使用してもよい。
【００２０】
顔認識処理部１２は，光波長成分取得部１１によって取得された画像データ２に含まれている人の顔の位置や大きさを検出して，顔を含む顔領域を抽出する手段である。
【００２１】
顔認識処理部１２は，既知の顔認識処理を実行するものであり，特に１つの顔認識処理に限定されない。既知の顔認識処理では，一般的に，画像データ中に含まれる顔の位置と大きさを検出し，検出した顔の領域を矩形で抽出する。
【００２２】
図２は，顔認識処理で抽出される顔領域例を示す図である。
【００２３】
画像データ２から顔領域として抽出される矩形は，例えば，図２に示すように，４個の頂点座標で表現される。例えば，顔領域は，｛（ｉ１，ｊ１），（ｉ１，ｊ２），（ｉ２，ｊ１），（ｉ２，ｊ２）｝と表される。
【００２４】
ＲＧＢ平均値算出部１３は，画像データから検出された顔領域の赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の各色成分について平均値を算出する手段である。
ＲＧＢ平均値算出部１３は，例えば以下の式（１）〜（３）を用いて平均値を算出する。
【００２５】
【数１】
【００２６】
式（１）〜（３）において，Ａは顔領域であり，Ｎは顔領域中の画素数を表し，Ａのとる値は，ｉ１≦ｉ＜ｉ２，ｊ１≦ｊ＜ｊ２であり，Ｎのとる値は，（ｉ２−ｉ１）×（ｊ２−ｊ１）である。
【００２７】
独立成分分析部１４は，ＲＧＢ平均値算出部１３によって得られたＲＧＢ平均値の時間応答波形に独立成分分析（ＩＣＡ）を適用して独立信号を求める手段である。
【００２８】
独立成分分析部１４が実行する独立成分分析は，多変量解析の一手法であって，情報源となる信号が独立であると仮定し，複数の観測値の信号から，信号源を独立な成分に分離して抽出する計算手法である。独立成分分析の中で，例えばブラインド信号分離法では，次のように定式化される。
【００２９】
時刻ｔにおけるｎ個の信号源ｓ（ｔ）＝［ｓ１（ｔ），ｓ２（ｔ），…，ｓｎ（ｔ）］Ｔは，未知とする。また，観測値ｘ（ｔ）が，ｍ×ｎの未知の混合行列Ａを用いて，信号源ｓ（ｔ）から生成されるものとする。すなわち，
ｘ（ｔ）＝［ｘ１（ｔ），ｘ２（ｔ），…，ｘｍ（ｔ）］Ｔ
ｘ（ｔ）＝Ａｓ（ｔ）
とする。時刻ｔ＝１，２，…において，観測値の系列ｘ（１），ｘ（２），…が観測された場合に，信号源の系列ｓ（１），ｓ（２），…を推定する。
【００３０】
すなわち，独立成分分析では，信号源の独立性を仮定し，混合行列の推定値Ａ'を用いて，分離信号ｙを求める。推定分離信号ｙ'は，以下の式（４）で与えられる。
【００３１】
【数２】
【００３２】
式（４）において，行列Ａ'を正しく推定できれば，Ａ'−１Ａは単位行列となるため，信号源ｓと一致する。
【００３３】
図３は，画像データから抽出された顔領域のＲＧＢ平均値に独立成分分析を適用する例を示す図である。
【００３４】
図３（Ａ）に示すＲ，Ｇ，Ｂの各データは，画像データから検出された顔領域の３つの光波長成分，すなわちＲ成分，Ｇ成分，Ｂ成分それぞれの平均値の時系列データを示す。
【００３５】
図３（Ｂ）は，図３（Ａ）に示す３つの成分（Ｒ成分，Ｇ成分，Ｂ成分）の平均値の時系列データを観測値として独立成分分析を適用した場合に得られる３個の独立信号の例である。図３（Ｂ）に示すＩＣＡ１，ＩＣＡ２，ＩＣＡ３の各データは，図３（Ａ）に示す光波長成分の時系列データに対応する，独立信号の第１成分，第２成分，第３成分の時系列データである。なお，図３（Ｂ）に示す例では，独立信号の第３成分（ＩＣＡ３）に心拍信号が分離されているとする。
【００３６】
独立信号ソート部１５は，検出対象である心拍信号または呼吸信号が，常に同一の独立信号に含まれるように，独立成分分析で分離された独立信号をその特徴の一貫性が保たれるよう並べ替えて区分化する手段である。
【００３７】
独立信号分析では，分離された独立信号の出現する順番が不定となる性質がある。すなわち，心拍信号を最も多く含むと推定される独立信号が，独立成分分析により分離された複数の成分（第１成分〜第３成分）のいずれであるかを特定することができない。そこで，独立信号ソート部１５は，独立成分分析で得られた独立信号の各成分（第１成分〜第３成分）をスペクトル分析してスペクトル分布を求め，各成分のスペクトル分布間の波形類似度をもとに，特定の信号（心拍信号）が含まれる独立信号の成分が常に同じグループに属するように，分離された独立信号のスペクトル分布を並び替える処理を行う。
【００３８】
図４および図５は，連続してサンプリングした際の第ｎ−１番目および第ｎ番目のサンプリング時の光波長成分にもとづく独立成分分析の結果（独立信号）とそのスペクトル分布の例を示す図である。
【００３９】
図４（Ａ）に示すデータは，第ｎ−１番目（現サンプリングの１つ前のサンプリング）の光波長成分に対する独立成分分析の適用により分離された独立信号ＩＣＡ１ｎ−１，ＩＣＡ２ｎ−１，ＩＣＡ３ｎ−１である。図４（Ｂ）に示すデータは，独立信号ＩＣＡ１ｎ−１，ＩＣＡ２ｎ−１，ＩＣＡ３ｎ−１それぞれのスペクトル分布ＳＤ−ＩＣＡ１ｎ−１，ＳＤ−ＩＣＡ２ｎ−１，ＳＤ−ＩＣＡ３ｎ−１である。図５（Ａ）に示すデータは，同じく，第ｎ番目（現サンプリング）の光波長成分に対する独立成分分析の適用により分離された独立信号例ＩＣＡ１ｎ，ＩＣＡ２ｎ，ＩＣＡ３ｎである。図５（Ｂ）に示すデータは，独立信号ＩＣＡ１ｎ，ＩＣＡ２ｎ，ＩＣＡ３ｎそれぞれのスペクトル分布ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎ，ＳＤ−ＩＣＡ３ｎである。
【００４０】
独立信号ソート部１５は，連続してサンプリングされた独立信号を取り出して，現サンプリング時とその１つ前のサンプリング時の独立信号のスペクトル分布を求め，求めたスペクトル分布同士の波形類似度を求める。
【００４１】
波形類似度は，以下に示す式（５）により重なり率Ｒｐｑをもとに算出される。
【００４２】
【数３】
【００４３】
式（５）において，
Ｓｐ（ｎ−１）は，第ｎ−１番目サンプリング時の第ｐ成分のスペクトル分布，
Ｓｑ（ｎ）は，第ｎ番目サンプリング時の第ｑ成分のスペクトル分布，
ｍａｘ（）は，カッコ（）内の大きい値を出力する関数，
ｍｉｎ（）は，カッコ（）内の小さい値を出力する関数
を表す。
【００４４】
図６は，上記の重なり率の概念を示す図である。
【００４５】
重なり率Ｒｐｑは，図６に示すように，２つの波形が重なった部分の面積で与えられ，形状が類似していると，その値が１に近くなる。
【００４６】
独立信号ソート部１５は，第ｎ−１番目サンプリングで得た各成分のスペクトル分布の波形と第ｎ番目サンプリングで得た各成分のスペクトル分布の波形との重なり率Ｒｐｑを算出し，重なり率Ｒｐｑの値が高いスペクトル分布同士をペアリングして，ｎ番目サンプリング時のスペクトル分布を並び替える。
【００４７】
図７は，独立信号のスペクトル分布の区分化の例を示す図である。
【００４８】
図７（Ａ）は，第ｎ−１番目サンプリングで得た各成分のスペクトル分布ＳＤ−ＩＣＡ１ｎ−１，ＳＤ−ＩＣＡ２ｎ−１，ＳＤ−ＩＣＡ３ｎ−１の出力例を示す図であり，図７（Ｂ）は，第ｎ番目サンプリングで得た各成分のスペクトル分布ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎ，ＳＤ−ＩＣＡ３ｎの出力例を示す図である。
【００４９】
図７（Ａ）および（Ｂ）に示すように，ある独立信号が，第ｎ−１番目サンプリングによる光波長成分の独立成分分析では第３成分（ＩＣＡ３ｎ−１）に表れ，第ｎ番目サンプリングによる光波長成分の独立成分分析では第２成分（ＩＣＡ２ｎ）に表れる場合がある。したがって，心拍信号が，第ｎ−１番目サンプリングでは第３成分（ＩＣＡ３ｎ−１）に分離され，第ｎ番目サンプリングでは第２成分（ＩＣＡ２ｎ）として分離されているため，特定の独立信号（ここでは，心拍信号）を扱いたい場合に，何番目に出力された独立信号に着目すればよいかを自動的に決めることができなかった。
【００５０】
独立信号ソート部１５は，各独立信号のスペクトル分布を求め，求めたスペクトル分布の波形類似度を算出して，よく類似する同士を対応づけることによって独立成分分析の結果を並べ替え，波形として表れる独立信号の特徴が一貫して保持されるように，スペクトル分布を区分けする。
【００５１】
独立信号ソート部１５は，例えば，第ｎ−１番目サンプリングで得た成分ＩＣＡ１ｎ−１のスペクトル分布ＳＤ−ＩＣＡ１ｎ−１と，第ｎ番目サンプリングで得た各成分のスペクトル分布ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎ，ＳＤ−ＩＣＡ３ｎそれぞれとの重なり率Ｒｐｑを計算して，最も高い値となるスペクトル分布を特定する。ここで，スペクトル分布ＳＤ−ＩＣＡ１ｎ−１について，ＳＤ−ＩＣＡ３ｎとの重なり率Ｒｐｑが最も高い値であったとする。独立信号ソート部１５は，スペクトル分布ＳＤ−ＩＣＡ１ｎ−１とＳＤ−ＩＣＡ３ｎとをペアリングする。独立信号ソート部１５は，同様に，ＳＤ−ＩＣＡ２ｎ−１，ＳＤ−ＩＣＡ３ｎ−１についても重なり率Ｒｐｑが高い第ｎ番目サンプリング時のスペクトル分布を特定して，ペアリングする。
【００５２】
さらに，独立信号ソート部１５は，ペアリングをもとに第ｎ番目サンプリング時のスペクトル分布の順序を並べ替える。これにより，図７（Ｃ）に示すように，第ｎ番目サンプリングで得た成分のスペクトル分布の並びが，ＳＤ−ＩＣＡ３ｎ，ＳＤ−ＩＣＡ１ｎ，ＳＤ−ＩＣＡ２ｎの順に並び替えられる。
【００５３】
よって，図７（Ｃ）に示すように，特定の独立信号（心拍信号）について，第ｎ−１番目サンプリング時の第３成分（ＩＣＡ３ｎ−１），第ｎ番目サンプリング時の第２成分（ＩＣＡ２ｎ）を特定することができる。
【００５４】
心拍数・呼吸数検出部１６は，独立信号のスペクトル分布から，心拍または呼吸に起因するピーク周波数を特定して，心拍数または呼吸数を検出する手段である。
【００５５】
画像データ２から抽出した顔領域から独立信号の成分を求める処理を一定時間繰り返して独立信号のスペクトル分布を求めていくと，心拍信号のピーク周波数は，ピーク値の大きさや周波数値に変動はあるものの，周波数軸上のほぼ同一位置に出現する。一方，ノイズに起因するピーク周波数は，時間経過と共にランダムに出現と消滅とを繰り返す。
【００５６】
そこで，心拍数・呼吸数検出部１６は，時間経過に伴うスペクトル分布のピーク周波数の遷移を粒子フィルタによって追跡し，適当な時間範囲の間に出現する尤度の最も高いピーク周波数を心拍信号であると推定する。
【００５７】
粒子フィルタは，粒子の分布を尤度（＝適応度）に応じて変更することによって，パラメータを推定する手法の１つである。一例として，最適解を求めるためにモンテカルロ法を用いる。粒子フィルタのアルゴリズムは，粒子の配置，移動予測，重み付け，状態推定からなる。粒子の配置では，粒子を所定の範囲に配置し，粒子の移動予測では，粒子を状態方程式にもとづいて移動させる。重み付けでは，現在の観測と粒子の状態をもとに，粒子の尤度（適用度）を計算して，重み付けを行う。すなわち，重み付けは，確率的な尤度の最大化であり，粒子の分布は確率密度を示す。 状態推定では，粒子の分布をもとに現在の状態を推定する。
【００５８】
心拍数・呼吸数検出部１６は，粒子フィルタによって，顔領域から分離された各独立信号のスペクトル分布からピーク周波数の検出を行い，一定時間経過後にピーク周波数の周波数値軸上での変動が一定の範囲内の位置に収束するような独立信号を含むスペクトル分布（ピーク周波数が一定の周波数値内となるようなスペクトル分布）に対する検出処理のみを続行し，その他の独立信号のスペクトル分布に対する検出処理を停止する。
【００５９】
具体的には，心拍数・呼吸数検出部１６は，以下の式（６）により，第ｎ番目（現）サンプリングと一定時間前の第ｍ番目サンプリング時とのピーク周波数差の最大値ｆＤｍａｘおよび最小値ｆＤｍｉｎをもとに，その成分のピーク周波数の周波数値が収束している独立信号の成分を決定する。
【００６０】
ｆＤｍａｘ＝ｍａｘ（ｆｎ−ｍ，ｆｎ−ｍ＋１，…，ｆｎ）
ｆＤｍｉｎ＝ｍｉｎ（ｆｎ−ｍ，ｆｎ−ｍ＋１，…，ｆｎ）
｜ｆＤｍａｘ−ｆＤｍｉｎ｜＜Ｆｔｈ ……式（６）
式（６）において，
ｍａｘ（）は，カッコ（）内の大きい値を出力する関数，
ｍｉｎ（）は，カッコ（）内の小さい値を出力する関数，
Ｆｔｈは，閾値
を表す。
【００６１】
これにより，心拍数・呼吸数検出部１６は，独立成分分析部１４によって分離された複数の独立成分の中から，着目する信号（ここでは，心拍信号）が含まれる独立成分を特定することができ，さらに，後述する処理により，特定した独立成分のスペクトル分布から心拍信号を検出して心拍数を推定することが可能となる。
【００６２】
図８は，粒子フィルタによる心拍信号の周波数の検出処理を説明するための図である。
【００６３】
図８（Ａ）は，第ｎ−１番目サンプリング時に得られた，ある独立成分のスペクトル分布を示す図である。図８（Ａ）に示すスペクトル分布では，心拍数・呼吸数検出部１６は，着目区間ｕにおいてピーク周波数（心拍信号の周波数）を検出して，検出したピーク周波数が心拍信号の周波数であると推定している。
【００６４】
図８（Ｂ）は，粒子フィルタの粒子配置例を示す図である。心拍数・呼吸数検出部１６は，図８（Ａ）に示すスペクトル分布においてピーク周波数を検出している場合に，図８（Ｂ）の上部に示すように，粒子フィルタの粒子を配置済みであるとする。
【００６５】
図８（Ｃ）は，第ｎ番目サンプリングにおけるスペクトル分布を示す図である。心拍数・呼吸数検出部１６は，図８（Ｃ）に示す第ｎ番目サンプリングにおけるスペクトル分布から，ピーク周波数（心拍信号の周波数）を検出する。
【００６６】
心拍数・呼吸数検出部１６は，図８（Ｂ）の上部に示すように，第ｎ−１番目サンプリングにおけるスペクトル分布のピーク周波数の位置に配置されている粒子フィルタの粒子１個を選択し，同粒子の周波数軸上の位置を中心とする着目区間ｕを決定する（図８（Ａ）参照）。次に，心拍数・呼吸数検出部１６は，図８（Ｂ）の下部に示すように，正規乱数に従って粒子の遷移先を決定する。
【００６７】
心拍数・呼吸数検出部１６は，遷移先の粒子の位置を中心とする切り出し区間ｖを，第ｎ番目サンプリングのスペクトル分布上で設定する。そして，心拍数・呼吸数検出部１６は，図８（Ａ）に示す第ｎ−１番目サンプリングにおけるスペクトル分布でのピーク周波数から定めた着目区間ｕと，図８（Ｃ）に示す第ｎ番目サンプリングにおけるスペクトル分布でのピーク周波数から定めた切り出し区間ｖとに含まれるスペクトル波形を，図８（Ｄ）に示すようにそれぞれ抽出し，抽出した波形同士の類似度を算出する。
【００６８】
抽出した波形の類似度の算出方法は，独立信号ソート部１５が実行する類似度算出手法と同一の処理を実行する。心拍数・呼吸数検出部１６は，求めた類似度を，遷移先の粒子の尤度とする。第ａ個目の粒子の尤度（ａ）Ｒｕｖは，以下の式（７）で算出される。
【００６９】
【数４】
【００７０】
心拍数・呼吸数検出部１６は，全粒子（個数Ａ）について同じ処理を繰り返し，全ての粒子について尤度（ａ）Ｒｕｖを求める。
【００７１】
そして，心拍数・呼吸数検出部１６は，全ての粒子の尤度の総和が１になるように正規化し，各粒子の尤度（ａ）Ｒｕｖを，重み（ａ）ｗへ変換する。以下の式（８）により，各粒子の周波数軸上の位置と重みから，重み付き平均Ｆｔを求める。
【００７２】
【数５】
【００７３】
式（８）において，
（ａ）ｗは，第ａ個目の粒子の重み，
（ａ）ｆは，第ａ個目の粒子の遷移先の周波数（心拍数），
ｆｍｉｎは，心拍数の下限，
ｆｍａｘは，心拍数の上限
を表す。
【００７４】
心拍数・呼吸数検出部１６は，式（８）で求めた重み付平均Ｆｔを，第ｎ番目（現）サンプリングにおける心拍信号の周波数の推定値とする。
【００７５】
最後に，心拍数・呼吸数検出部１６は，第ｎ＋１番目（次）サンプリング時に使用する粒子フィルタの粒子の配置を決定する。粒子の重みと全粒子数Ａを用いて粒子数を，以下の式（９）で与える。
【００７６】
（ａ）ｎ＝Ｎ・（ａ）ｗ …… 式（９）
式（９）において，心拍数・呼吸数検出部１６は，粒子の尤度が大きい順に上記の式を用いて粒子数を増加させる。または，心拍数・呼吸数検出部１６は，この処理を合計粒子数がＡ個になるまで繰り返し，もし，得られた粒子の個数がＡ個以下の場合には，Ａ個になるまで粒子を発生させる。
【００７７】
以上の粒子フィルタの処理によって，第ｎ＋１番目（次）サンプリング時には，粒子フィルタの粒子が，現状態のピーク周波数（心拍信号の周波数）付近に多く配置されて存在することになる。したがって，次サンプリングにおいても，粒子フィルタの粒子が多数の粒子が存在する心拍信号周波数付近から遷移するので，心拍数・呼吸数検出部１６は，着目している周波数を高精度に追跡することができる。
【００７８】
尤度初期値関数記憶部１７は，心拍数・呼吸数検出部１６の粒子フィルタの尤度初期値関数を，検出対象となるユーザまたは画像データの撮像時間帯に対応づけて保持する記憶手段である。本例では，尤度初期値関数記憶部１７は，例えば，第１記憶部または第２記憶部であり，尤度初期値関数テーブルとして実施される。
【００７９】
尤度関数設定部１８は，検出対象となる画像データに撮像されているユーザまたは撮像時間帯をもとに，尤度初期値関数記憶部１７から尤度初期値関数を選択して粒子フィルタに設定する手段である。
【００８０】
なお，尤度初期値関数記憶部１７により，ユーザ別に尤度初期値関数が設定される場合には，予め，ユーザの識別情報と，その顔領域の特徴情報とが対応づけられて保持されているものとする。
【００８１】
尤度初期値関数記憶部１７を備えて，検出対象のユーザまたは撮像時間帯に応じた尤度初期値関数を粒子フィルタに与えることによって，心拍信号のピーク周波数を特定するときの検出精度を向上させることができる。
【００８２】
図９は，尤度初期値関数による粒子フィルタの粒子配置の概念を示す図である。
【００８３】
図９（Ａ）は，尤度初期値関数が特に指定されない場合の粒子フィルタの粒子配置の概念を示す図である。
【００８４】
心拍数・呼吸数検出部１６は，処理開始時には，スペクトル分布においてピーク周波数の出現位置が不明であるため，図９（Ａ）に示すように，粒子フィルタの処理の初期状態として，粒子を周波数軸上に均一に配置する。
【００８５】
図９（Ｂ）は，ユーザ別に尤度初期値関数を設定する場合の尤度初期値関数記憶部１７を概念的に示す図である。
【００８６】
尤度初期値関数記憶部１７では，ユーザの識別情報と，そのユーザに設定されている尤度関数の初期値とが対応づけて記憶されている。
【００８７】
検出対象のユーザ別に尤度初期値関数が設定されている場合は，顔認識処理部１２は，
入力された画像データ２から顔領域を検出し，その顔領域から検出対象となっているユーザ（識別情報）を特定する。そして，尤度関数設定部１８は，尤度初期値関数記憶部１７から，特定されたユーザの識別情報に対応する尤度初期値関数を選択し，粒子フィルタに与える尤度関数を決定する。
【００８８】
図９（Ｃ）は，ユーザ別および時間帯別に尤度初期値関数を設定する場合の尤度初期値関数記憶部１７を概念的に示す図である。
【００８９】
図９（Ｃ）に示す尤度初期値関数記憶部１７では，ユーザの識別情報と時間帯に対応付けて尤度関数の初期値が記憶されている。ここでは，午前，午後，夜間の３時間帯に区分されているが，この例に限らず，より細かい時間帯に区分されていてもよい。
【００９０】
検出対象のユーザ別および画像データが撮像された時間帯別に尤度初期値関数が設定されている場合は，顔認識処理部１２が，画像データ２から検出した顔領域をもとにユーザ（識別情報）を特定し，尤度関数設定部１８が，時間帯を以下のようにして決定する。
【００９１】
尤度関数設定部１８は，光波長成分取得部１１が，画像データ２がカメラなどによってリアルタイムに測定されているものである場合には測定中の時刻をもとに時間帯を決定し，画像データ２がメディアで取得されているものである場合には画像データ２に付加されている撮像時刻をもとに時間帯を決定して，ユーザの識別情報と時間帯とに対応する尤度初期値関数を選択する。
【００９２】
図１０は，心拍数・呼吸数検出装置１の心拍数推定処理の処理フロー図である。
【００９３】
光波長成分取得部１１は，カメラなどで撮像された画像データ２を入力する（ステップＳ１）。次に，顔認識処理部１２は，顔認識処理により，入力された画像データ２のサンプリングフレームから顔領域（矩形領域）を検出する（ステップＳ２）。そして，ＲＧＢ平均値算出部１３は，検出された顔領域内のＲＧＢ成分各々の平均値を算出する（ステップＳ３）。
【００９４】
独立成分分析部１４は，ＲＧＢ成分の平均値に独立成分分析（ＩＣＡ）を適用して，３個の独立信号（成分）を算出する（ステップＳ４）。次に独立信号ソート部１５は，独立成分分析で求めた３個の独立信号のスペクトル分布を算出する（ステップＳ５）。さらに，独立信号ソート部１５は，前サンプリング（第ｎ−１番目サンプリング）と現サンプリング（第ｎ番目サンプリング）の３個の独立信号の間で，それぞれのスペクトル分布の類似度を求め，類似度が最も高いもの同士でペアリングし，独立信号のスペクトル分布を区分化する（ステップＳ６）。
【００９５】
心拍数・呼吸数検出部１６は，区分化されたスペクトル分布ごとに，粒子フィルタでピーク周波数をトラッキングし（ステップＳ７），ピーク周波数の周波数値が収束したものを特定する（ステップＳ８）。さらに，心拍数・呼吸数検出部１６は，特定した独立信号のスペクトル分布でのピーク周波数の周波数値をもとに心拍数を推定し，出力する（ステップＳ９）。
【００９６】
図１１は，心拍数・呼吸数検出装置１の尤度初期値関数設定処理の処理フロー図である。
【００９７】
顔認識処理部１２は，入力された画像データ２のサンプリングフレームから検出した顔領域（矩形領域）をもとに，ユーザＩＤ（識別情報）を取得する（ステップＳ１０）。尤度関数設定部１８は，尤度初期値関数記憶部１７から該当するユーザＩＤの尤度初期値関数を読み込み（ステップＳ１１），心拍数・呼吸数検出部１６の粒子フィルタの初期状態として，読み込んだ尤度初期値関数を設定する（ステップＳ１２）。
【００９８】
以上の実施例として，心拍数・呼吸数検出装置１により心拍数を検出する場合の処理を説明したが，心拍数・呼吸数検出装置１は，心拍数の検出の処理と同様の処理によって呼吸数を検出することも可能である。
【００９９】
また，心拍数・呼吸数検出装置１は，ＣＰＵおよびメモリ等を有するハードウェアとソフトウェアプログラムとを備えるコンピュータ・システム，または，専用ハードウェアによって実現することができる。すなわち，心拍数・呼吸数検出装置１は，演算装置（ＣＰＵ），一時記憶装置（ＤＲＡＭ，フラッシュメモリ等）および永続性記憶装置（ＨＤＤ，フラッシュメモリ等）を有し，外部とデータの入出力をするコンピュータによって実施することができる。
【０１００】
また，心拍数・呼吸数検出装置１は，このコンピュータが実行可能なプログラムによっても実施することができる。この場合に，心拍数・呼吸数検出装置１が有すべき機能の処理内容を記述したプログラムが提供される。提供されたプログラムを上記コンピュータが実行することによって，上記説明した心拍数・呼吸数検出装置１の処理機能がコンピュータ上で実現される。なお，上記コンピュータは，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。さらに，上記プログラムは，コンピュータで読み取り可能な記録媒体に記録しておくことができる。
【０１０１】
以上説明したように，開示する心拍数・呼吸数検出装置１によれば，以下のような効果を奏する。
【０１０２】
（１） 複数の信号および各信号のスペクトル分布の中から，心拍信号や呼吸信号に起因するピーク周波数を特定し，心拍数や呼吸数を精度よく検出することができる。
【０１０３】
（２） カラー画像の撮影可能な小型カメラによる画像データ２の取得が可能であり，検出対象者に非接触にデータを取得できるため，装置を安価に構成することができる。
【符号の説明】
【０１０４】
１ 心拍数・呼吸数検出装置
１１ 光波長成分取得部
１２ 顔認識処理部
１３ ＲＧＢ平均値算出部
１４ 独立成分分析部
１５ 独立信号ソート部
１６ 心拍数・呼吸数検出部
１７ 尤度初期値関数記憶部
１８ 尤度関数設定部
【特許請求の範囲】
【請求項１】
画像データから心拍数または呼吸数を検出する装置であって，
検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得する光波長成分取得部と，
前記光波長成分の時系列データをもとに各光波長成分の平均値を算出する平均値算出部と，
前記算出した平均値に独立成分分析を適用して複数の独立信号を求める独立成分分析部と，
前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化する独立信号ソート部と，
前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする心拍数・呼吸数検出部とを備える
ことを特徴とする心拍数・呼吸数検出装置。
【請求項２】
前記心拍数・呼吸数検出部が，前記特定された独立信号のスペクトル分布に含まれるピーク周波数の周波数値をもとに，前記検出対象者の心拍数または呼吸数を推定する
ことを特徴とする請求項１に記載の心拍数・呼吸数検出装置。
【請求項３】
前記独立信号ソート部が，時系列上前後に取得された前記独立信号のスペクトル分布の波形類似度を求め，波形類似度が高いスペクトル分布をペアリングして，前記求めた複数の独立信号を区分化する
ことを特徴とする請求項１または請求項２に記載の心拍数・呼吸数検出装置。
【請求項４】
前記心拍数・呼吸数検出部が，心拍信号または呼吸信号に起因するピーク周波数を特定する際に，スペクトル分布の所定の周波数値の範囲内に含まれる波形を用いる
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の心拍数・呼吸数検出装置。
【請求項５】
前記心拍数・呼吸数検出部が，前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の変動を粒子フィルタにより追跡し，前記粒子フィルタにおいて前記スペクトル分布における波形の重なり率を尤度とする
ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の心拍数・呼吸数検出装置。
【請求項６】
尤度初期値関数をユーザに対応づけて記憶する第１記憶部を備えて，
前記心拍数・呼吸数検出部が，前記検出対象者に該当するユーザの尤度初期値関数を前記第１記憶部から選択する
ことを特徴とする請求項４または請求項５に記載の心拍数・呼吸数検出装置。
【請求項７】
尤度初期値関数を前記画像データの撮像時間帯に対応づけて記憶する第２記憶部を備えて，
前記心拍数・呼吸数検出部が，前記画像データの撮像時間帯に対応する尤度初期値関数を前記第２記憶部から選択する
ことを特徴とする請求項４ないし請求項６のいずれか一項に記載の心拍数・呼吸数検出装置。
【請求項８】
画像データから心拍数または呼吸数を検出する方法であって，
コンピュータが，
検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得し，
前記光波長成分の時系列データをもとに各光波長成分の平均値を算出し，
前記算出した平均値に独立成分分析を適用して複数の独立信号を求め，
前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化し，
前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする
ことを特徴とする心拍数・呼吸数検出方法。
【請求項９】
画像データから心拍数または呼吸数を検出するプログラムであって，
コンピュータに，
検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得し，
前記光波長成分の時系列データをもとに各光波長成分の平均値を算出し，
前記算出した平均値に独立成分分析を適用して複数の独立信号を求め，
前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化し，
前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする
処理を実行させるための心拍数・呼吸数検出プログラム。
【請求項１】
画像データから心拍数または呼吸数を検出する装置であって，
検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得する光波長成分取得部と，
前記光波長成分の時系列データをもとに各光波長成分の平均値を算出する平均値算出部と，
前記算出した平均値に独立成分分析を適用して複数の独立信号を求める独立成分分析部と，
前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化する独立信号ソート部と，
前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする心拍数・呼吸数検出部とを備える
ことを特徴とする心拍数・呼吸数検出装置。
【請求項２】
前記心拍数・呼吸数検出部が，前記特定された独立信号のスペクトル分布に含まれるピーク周波数の周波数値をもとに，前記検出対象者の心拍数または呼吸数を推定する
ことを特徴とする請求項１に記載の心拍数・呼吸数検出装置。
【請求項３】
前記独立信号ソート部が，時系列上前後に取得された前記独立信号のスペクトル分布の波形類似度を求め，波形類似度が高いスペクトル分布をペアリングして，前記求めた複数の独立信号を区分化する
ことを特徴とする請求項１または請求項２に記載の心拍数・呼吸数検出装置。
【請求項４】
前記心拍数・呼吸数検出部が，心拍信号または呼吸信号に起因するピーク周波数を特定する際に，スペクトル分布の所定の周波数値の範囲内に含まれる波形を用いる
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の心拍数・呼吸数検出装置。
【請求項５】
前記心拍数・呼吸数検出部が，前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の変動を粒子フィルタにより追跡し，前記粒子フィルタにおいて前記スペクトル分布における波形の重なり率を尤度とする
ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の心拍数・呼吸数検出装置。
【請求項６】
尤度初期値関数をユーザに対応づけて記憶する第１記憶部を備えて，
前記心拍数・呼吸数検出部が，前記検出対象者に該当するユーザの尤度初期値関数を前記第１記憶部から選択する
ことを特徴とする請求項４または請求項５に記載の心拍数・呼吸数検出装置。
【請求項７】
尤度初期値関数を前記画像データの撮像時間帯に対応づけて記憶する第２記憶部を備えて，
前記心拍数・呼吸数検出部が，前記画像データの撮像時間帯に対応する尤度初期値関数を前記第２記憶部から選択する
ことを特徴とする請求項４ないし請求項６のいずれか一項に記載の心拍数・呼吸数検出装置。
【請求項８】
画像データから心拍数または呼吸数を検出する方法であって，
コンピュータが，
検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得し，
前記光波長成分の時系列データをもとに各光波長成分の平均値を算出し，
前記算出した平均値に独立成分分析を適用して複数の独立信号を求め，
前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化し，
前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする
ことを特徴とする心拍数・呼吸数検出方法。
【請求項９】
画像データから心拍数または呼吸数を検出するプログラムであって，
コンピュータに，
検出対象者が撮像された画像データから複数の光波長成分の時系列データを取得し，
前記光波長成分の時系列データをもとに各光波長成分の平均値を算出し，
前記算出した平均値に独立成分分析を適用して複数の独立信号を求め，
前記求めた複数の独立信号を，各独立信号の特徴が一貫して保持されるように並べ替えて区分化し，
前記区分化された独立信号のスペクトル分布に含まれる複数のピーク周波数の中から，一定の時間経過後に周波数値の変動が一定の範囲内に収まるピーク周波数を含む独立信号を特定して，心拍信号または呼吸信号に起因するピーク周波数を含む独立信号とする
処理を実行させるための心拍数・呼吸数検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３９６６１（Ｐ２０１２−２３９６６１Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３００１（Ｐ２０１１−１１３００１）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]