バイタルサインを推定するシステム、方法およびプログラム
【課題】 パッシブサーマルビデオからバイタルサインを推定する。
【解決手段】 被験者の赤外線ビデオセグメントを受信し、前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、前記ビデオセグメントの複数のフレームにわたって選択された前記画素の領域を位置補正し、熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、位置補正済み画素シーケンスの各々に対応する時間信号を処理し、画像クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、優位周波数投票法を用いて前記信号の周波数ピークを選択し、少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する。
【解決手段】 被験者の赤外線ビデオセグメントを受信し、前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、前記ビデオセグメントの複数のフレームにわたって選択された前記画素の領域を位置補正し、熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、位置補正済み画素シーケンスの各々に対応する時間信号を処理し、画像クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、優位周波数投票法を用いて前記信号の周波数ピークを選択し、少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パッシブサーマルビデオからバイタルサインを推定するシステムおよび方法に関し、特に対象位置補正、信号強調、および高調波解析を使ってパッシブサーマルビデオから脈拍と呼吸数を測定することに関する。
【背景技術】
【０００２】
バイタルサインは、健康管理および情動認識のための重要な生理学的パラメータである。しかし、これらのパラメータの有線検出は多くの用途の実現可能性を制限する。これらのパラメータが無線で確実に検出されれば、空港での健康診断、高齢者の診療、および職場での予防治療などの多くの用途でより容易に利用されうる。
【０００３】
ヒトの心拍および呼吸数の測定用センサは、ピエゾパルストランスデューサ、ピエゾ呼吸トランスデューサ、およびＥＣＧ電極を含む。これらの測定センサはすべて人体に装着されてプリアンプと処理機器に配線されなければならない。これらの測定法は心拍および呼吸数のパラメータに厳しい制限を加える。
【０００４】
最近、非接触測定法が開発されている。サン（Ｓｕｎ）らはパッシブサーマルビデオ（ｐａｓｓｉｖｅ ｔｈｅｒｍａｌ ｖｉｄｅｏ）を用いた心拍測定に関する実験を行った（非特許文献１、非特許文献２および非特許文献３）。これらのシステムは主に２つの理由から制限される。第１に、これらは人為的マーカーを必要とすることである。人為的マーカーは検出領域と同じ位置にはありえないうえに（同じ場所にあると、マーカーは検出領域を覆って信号を完全に阻止することになる）人体は剛体ではないので、マーカーの動きに基づく検出領域での画素位置補正は画素位置補正としてさほど正確ではありえない。画素位置補正が不正確であれば、後の心拍信号検出に重大な問題を引き起こすことになる。第２に、サン（Ｓｕｎ）らによる血管の中心線の検出法はノイズに非常に敏感である。血管中心線の誤検出は画素位置ずれにつながることになり、信号検出が無効になりかねない。
【０００５】
チェクメネフ（Ｃｈｅｋｍｅｎｅｖ）らは血圧変調に対応する動脈容積変化に基づく浅側頭動脈（ＳＴＡ） 測定モデルを記述している（非特許文献４および非特許文献５）。
【０００６】
他のシステムでは、測定対象が完全に静止しているものと仮定されている（非特許文献１）。しかし、これは多くの脈拍数測定タスクにとって現実的でない。一部のシステムでは、血管の中心を追跡するために最も熱い(hottest)画素を使っている（非特許文献２および非特許文献３）。最大値付近の微分係数は比較的小さいので、これらの最も熱いスポットに基づく追跡はノイズを伴う傾向がある。他のシステムでは、対象表面に配置されたホイル(foil)マーカーに基づいて対象を追跡するが、これはほとんどの測定シナリオで利用されない（非特許文献６）。
【非特許文献１】サン（Sun）ら、「サーマルビデオからの血流速度推定および血管位置検出（Estimation of blood flow speed and vessel location from thermal video）」、コンピュータビジョンおよびパターン認識に関する２００４年ＩＥＥＥコンピュータソサエティ学会会報（Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition）」、vol. 1、pp 356-363
【非特許文献２】サン（Sun）ら、「心臓血管パルスの画像化（Imaging the cardiovascular pulse）」、コンピュータビジョンおよびパターン認識に関する２００５年ＩＥＥＥコンピュータソサエティ学会抄録（Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition）、vol. 2、pp 416-421
【非特許文献３】ガーベイ（Garbey）ら、「サーマルイメージ分析にもとづく心臓パルスの非接触測定（Contact-Free measurement of cardiac Pulse Based on the Analysis of thermal Imagery）、生物医学エンジニアリングに関するＩＥＥＥトランザクション（IEEE Transactions on Biomedical Engineering）、２００７年８月、vol.54、issue 8、pp. 1418-1426
【非特許文献４】チェクメネフ（Chekmenev）ら、「サーマルイメージを用いた動脈パルスの非接触測定のための複数解像度アプローチ（Multiresolution approach for non-contact measurements of arterial pulse using thermal imaging）」、ＣＶＰＲ ２００６ ワークショップ（CVPR 2006 Workshop）
【非特許文献５】チェクメネフ（Chekmenev）ら、「浅側頭動脈のサーマルイメージング：動脈パルスリカバリモデル（Thermal Imaging of the Superficial Temporal Artery: An Arterial Pulse Recovery Model）」、OTCBVS 2007
【非特許文献６】ブーベンホルスト（Wubbenhorst）、[online]、「熱波技術（Thermal Wave Techniques）」、インターネット<URL:http://www.polymers.tudelft.nl/wubweb/thermalwaves.html>
【非特許文献７】オレゴン州立大学（Oregon State University）、[online]、「熱特性（Thermal Properties）」、インターネット<URL:http://food.oregonstate.edu/energy/t11.html>
【非特許文献８】ジェームス（James）、「−４０〜＋６０℃における氷および水の熱拡散（The Thermal Diffusivity of Ice and Water between -40 and +60℃）」、材料科学ジャーナル（Journal of Materials Science）、オランダ、１９６８年９月、Vol. 3、No. 5、pp. 540-543
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これらの以前の手法は、対象の動き、種類、および血管の位置などについて、多数の仮定を含む。また、これらのアルゴリズムは、自動検出システムに取り入れることが困難な多くのパラメータを有する。さらに、これらのシステムで使用される信号検出およびノイズ除去のモデルは、前述されたようにまさしく予備的なものである。したがって、既存技術は、パッシブサーマルビデオを使ってバイタルサイン情報推定する自動検出システムおよび方法としては不十分であった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の態様は、パッシブサーマルビデオからバイタルサインを推定するシステムであって、被験者の赤外線ビデオセグメントを受信する赤外線ビデオ受信手段と、前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行う輪郭セグメンテーション手段と、前記ビデオセグメントの複数のフレームにわたって選択された前記画素の領域を位置補正する位置補正手段と、熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出する信号検出手段と、測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行う空間フィルタリング手段と、位置補正済み画素シーケンスの各々に対応する時間信号を処理する非線形時間フィルタリング手段と、画像クラスタリングアルゴリズムを用いて前記信号の異常値を除去するクラスタリング手段と、優位周波数投票法を用いて前記信号の周波数ピークを選択する周波数選択手段と、少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する平均化手段と、を備える。
【０００９】
本発明の第２の態様は、第１の態様のバイタルサイン推定システムであって、前記輪郭セグメンテーション手段は前記選択された領域に近い自然特徴点を選択する自然特徴点手段をさらに含む。
【００１０】
本発明の第３の態様は、第２の態様のバイタルサイン推定システムであって、前記輪郭セグメンテーション手段は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する温度選択手段をさらに含む。
【００１１】
本発明の第４の態様は、第３の態様のバイタルサイン推定システムであって、前記輪郭セグメンテーション手段は選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する輪郭選択手段をさらに含む。
【００１２】
本発明の第５の態様は、第４の態様のバイタルサイン推定システムであって、選択された前記画素の領域は血管に対応する。
【００１３】
本発明の第６の態様は、第１の態様のバイタルサイン推定システムであって、前記空間フィルタリング手段は正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する周波数応答計算手段をさらに含む。
【００１４】
本発明の第７の態様は、パッシブサーマルビデオからバイタルサインを推定する方法であって、（ａ）被験者の赤外線ビデオセグメントを受信し、（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、（ｅ）測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する。
【００１５】
本発明の第８の態様は、第７の態様のバイタルサイン推定方法であって、（ｂ）は、選択された前記領域に近い自然特徴点を選択する、ことをさらに含む。
【００１６】
本発明の第９の態様は、第８の態様のバイタルサイン推定方法であって、（ｂ）は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、ことをさらに含む。
【００１７】
本発明の第１０の態様は、第９の態様のバイタルサイン推定方法であって、（ｂ）は、選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、ことをさらに含む。
【００１８】
本発明の第１１の態様は、第１０の態様のバイタルサイン推定方法であって、（ｂ）は、血管に対応する画素の領域を選択する、ことをさらに含む。
【００１９】
本発明の第１２の態様は、第７の態様のバイタルサイン推定方法であって、（ｅ）は、正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、ことをさらに含む。
【００２０】
本発明の第１３の態様は、コンピュータに、パッシブサーマルビデオからバイタルサインを推定する機能を実現させるためのプログラムであって、（ａ）被験者の赤外線ビデオセグメントを受信し、（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、（ｅ）測定対象となる前記バイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する、ことを含む。
【００２１】
本発明の第１４の態様は、第１３の態様のプログラムであって、（ｂ）は、選択された前記領域に近い自然特徴点を選択する、ことをさらに含む。
【００２２】
本発明の第１５の態様は、第１４の態様のプログラムであって、（ｂ）は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、ことをさらに含む。
【００２３】
本発明の第１６の態様は、第１５の態様のプログラムであって、（ｂ）は、選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、ことをさらに含む。
【００２４】
本発明の第１７の態様は、第１６の態様のプログラムであって、（ｂ）は、血管に対応する画素の領域を選択する、ことをさらに含む。
【００２５】
本発明の第１８の態様は、第１３の態様のプログラムであって、（ｅ）は、正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、ことをさらに含む。
【発明の効果】
【００２６】
本発明によれば、パッシブサーマルビデオを使ってバイタルサイン情報を正確に推定することができる。
【発明を実施するための最良の形態】
【００２７】
本発明に関する他の態様は、一部が以下で説明されることになり、一部はその説明から明らかになり、あるいは本発明の実施によって理解される場合もあろう。本発明の態様は、以下の詳細な説明と添付の特許請求の範囲とにおいて特に指摘される様々な要素と態様の組合せによって実現され達成されてもよい。
【００２８】
前述の説明および以下の説明は、いずれも一般的な例示に過ぎず、特許請求の範囲に記載されている発明あるいはその用途をいかなる方法によっても制限するものではない。
【００２９】
本明細書に組み入れられてその一部を構成する添付図面は、説明とともに本発明の実施形態を例示するもので、発明に関わる技術の原理を説明し例証することに役立つ。
【００３０】
以下の詳細な説明では添付図面が参照されることになり、同一の機能要素は同様の数字で指定される。前述された添付図面は、本発明の原理に一致する具体的な実施形態および実施例を限定するものでなく例として示すものである。これらの実施例は、当業者が本発明を実施しうるように十分に詳しく説明されており、他の実施例が利用されてもよくさらに本発明の範囲と主旨を逸脱せずに構造的変更および／または様々な要素の代用がなされてもよいことが理解されるべきである。それゆえ、以下の詳細な説明は限定的な意味に受け取られるべきではない。さらに、記載されるような本発明の様々な実施形態は、汎用コンピュータ上で走るソフトウェアの形態、専用ハードウェアの形態、またはソフトウェアおよびハードウェアの組合せの形態で実施されてもよい。
【００３１】
本発明は、対象位置補正、信号強調、および高調波解析を使って赤外線ビデオベースのバイタルサインを測定するシステムおよび方法に関する。さらに具体的に言うと、バイタルサイン推定は、輪郭セグメンテーションおよび追跡、関心のある情報を提供する画素のクラスタリング、ならびに赤外線ビデオベースのバイタルサインを測定する周知のシステムの性能を改良するロバストな優位周波数成分推定を使って達成される。
例えば本発明の一実施形態では、輪郭セグメンテーションおよび追跡、関心のある情報を提供する画素のクラスタリング、ならびにロバストな優位周波数成分推定（dominant frequency component estimation）を使って、パッシブサーマルビデオから心拍および呼吸数を測定することによってバイタルサインを推定するシステムおよび方法に関する。輪郭セグメンテーションは測定する血管領域を特定するために使用され、その後、隣接する領域の画素は、セグメンテーションの位置と各フレーム内のスケールとに基づいて各フレームで位置補正される。この後、空間フィルタリングが行なわれて心拍に関係しないノイズが除去され、さらに、各画素に対応する時間信号のスペクトル分析が行われる。この後、各画素の信号スペクトルはクラスタリングアルゴリズムに供給されて異常値が除去される。最大クラスタ内の画素はさらに優位周波数の決定に使用され、優位周波数の中央(median)が脈拍数に対応する値として出力される。
【００３２】
測定に起因する危害の危険性を最小にするために、人体そのものが放射する赤外光による非接触バイタルサイン検出が使用される。パッシブ赤外線カメラは、拍動血流に起因する表面血管近くの温度変調、または呼吸に起因する鼻腔領域近くの温度変調を検出することができる。しかし、この検出は、対象の動き、顔の表情、および衣類、髪、または宝石類などの物体によって肌が隠れてしまっている状態(occlusion)によって困難な場合が多い。したがって、ロバストな対象位置補正および動き補正、信号強調およびノイズの除去、ならびに低い信号対ノイズ比（「ＳＮＲ」）環境での高調波解析は、これらの課題を実際問題として処理するために決定的に必要とされる。一態様において、このシステムは輪郭セグメンテーションおよび追跡、関心のある情報を提供する画素のクラスタリング、ならびにロバストな優位周波数成分推定によってパッシブサーマルビデオから心拍と呼吸数を測定することができ、このことによって、以前の研究において使用された多数の仮定が緩和され、性能が実質的に向上する。被験者が動かず、さらに対象が硬い血管を囲む人為的マーカーを有するという仮定は、ここでは行なわれない。
【００３３】
対象となるヒトを完全な静止状態に保つことは非常に難しいため、時間の経過に対して画素の温度変動を抽出するためにビデオシーケンスではすべての画素がフレームごとに位置補正される必要がある。これを実現するために、ノイズおよび対象の動きによる影響をそれほど受けないロバストな自動セグメンテーションおよび追跡アルゴリズムが表面血管に近い領域を追跡するように設計された。以前の手法に比べると、この方法はマーカーを必要とせずに非常に高速で計算されうる。
【００３４】
さらに、ある領域にわたる一定間隔ごとの平均化中に位相差によって生じる信号キャンセルを減らすために熱波伝播仮説に基づく信号検出モデルが使用される。低周波温度信号は周期的な血流によって生じる温度変調よりも数千倍高いため、測定範囲（一実施形態において、１分間に４０〜１００の心拍）への低周波信号漏洩を減らすために非線形フィルタが使用される。
【００３５】
最後に、すべての画素が信号復元に有益なわけではないため、１分間の心拍（「ｂｐｍ」）の最終測定に有益な画素に効果的に集中させるクラスタリングアルゴリズムが使用される。
【００３６】
１．測定システムの概要
図１は、本発明の一態様によるバイタルサイン測定システムおよび方法の概要を示す。この方法において、測定対象となる血管領域を特定するために輪郭セグメンテーションがまず行われる（ステップ２０１）。この後、同じセグメンテーションパラメータのセットがすべてのフレームに使用されて対応する領域をセグメント化する。この後、セグメンテーションの位置および各フレーム内のスケールに基づいて全フレームで選択された領域内の全画素を位置補正することによって動き補正が行われる（ステップ２０２）。
【００３７】
輪郭セグメンテーションと動き補正の後、心拍に関係しないノイズを除去するために空間フィルタリングが行なわれ（ステップ２０３）、この後、各位置補正済み画素シーケンスに対応する時間信号を処理するために非線形フィルタリングが行なわれる（ステップ２０４）。この後、各画素の信号スペクトルが異常値除去のためにクラスタリングアルゴリズムに供給される（ステップ２０５）。この後、優位周波数を選択するために最大クラスタ内の画素が使用され（ステップ２０６）、優位周波数の中央が脈拍数として出力される（ステップ２０７）。異常値を除去するために最大クラスタを選択し優位周波数の中央を使用するこの特別な基準は、血流変調されたパルス波形に関するより多くの情報によって改良されうる。
【００３８】
２．関心領域のセグメンテーションおよび追跡
既存の動き追跡システムを改良するために、血管に近い自然特徴点が追跡および位置補正タスク用の「マーカー」として使用される。一実施形態において、自然特徴点は発声領域（ｄｉｃｔｉｏｎ ｒｅｇｉｏｎ）における熱分布を指す。図２は自然特徴点マーカーのセグメンテーション手順（ステップ２０１）の一実施形態を示す。一態様において、パッシブサーマルビデオセグメントからフレーム１０２が選択され、関心領域１０４が大きいバウンディングボックス１０６を用いて大まかにマークされる。この後、アルゴリズムは等温線１０８を０．１ケルビン（「Ｋ」）の温度ステップで計算することになる。この増分温度ステップは温度変調レベル（０．０８Ｋ）とカメラの感度（０．０２５Ｋ）とに基づいて決定される。特に、この増分温度ステップが０．０８Ｋよりも小さい場合、アルゴリズムは温度変化の微分係数を確実に推定することができなくなる。他方、ステップが大きすぎると、セグメンテーション領域が各フレーム間で大きく変化する可能性がある。等温線１０８が作図されると、アルゴリズムは最も急勾配の温度変化に対応する（等温を示す）輪郭線１１０を決定することになる。この方法で求められた輪郭線は、小さい温度変化の影響をきわめて受けにくい。この輪郭線の特性は人為的マーカーを模擬するために使用される。さらに、人体は剛体でないので、測定領域内の輪郭線は測定領域から遠く離れた人為的マーカーほど影響されない。この後、この輪郭線１１０は選択される輪郭線領域１１２内の画素（図示せず）を位置補正するために使用される。輪郭線内で選択される領域１１２は非常に小さいので、選択される輪郭線領域１１２内の画素はすべて１つの剛体に属すると仮定することはより理に適っている。輪郭線の追跡後、輪郭線内の画素は領域の中心およびサイズに基づいてフレーム間で位置補正される。画素が位置補正されると、アルゴリズムは時間に対する温度変化を抽出することができる。
【００３９】
３．熱波伝播仮説および対応する測定モデル
図３は、（表面血管に近い）１画素の時間１１６に対する温度変化１１４を示す。１画素の未処理温度(raw temperature)１１８は、ミリ秒当りのフレーム期間にわたって表わされる。この具体的な例示において、フレームレートはおよそ毎秒１１５フレーム（ｆｐｓまたはｆ／ｓ）である。この図は推定タスクが困難であることを表わす。血流によって生じる温度変調は測定ノイズに比べて非常に小さいので、ある領域にわたる通常平均化、すなわち、以前の手法におけるノイズ低減に関する暫定法は不適当である。このモデルはピーク値または単純な平均値を使用せずに熱波伝播仮説に基づいて信号を重み付けすることによって信号ピックアップが改良されうる。
【００４０】
熱の伝達には時間を要するため、周期的な熱変化は人体の中を熱波の形態で伝播する。特に、血管に近い２つの隣接する位置の理想的な温度変化曲線は、密接な相関があり、種々の位相を有する場合がある。このような理由から、温度変化は皮膚温度の変化に基づいて皮下で見られる。この点を考慮すると、表面血管に近い皮膚表面の温度変化は位置依存性の位相シフトを有する。
【００４１】
通常平均化がある領域にわたって計算され熱波伝播方向におけるその領域の寸法が１波長よりも大きい場合、逆位相を有する温度変調信号は相殺してもよい。ヒトの血液は大血管に沿って高速で流れ（非特許文献５）によると、約８．７ｍ／ｓ）、パッシブＩＲビデオで普通に見られる血管セグメントは通常約１ｃｍであるので、血管方向に沿った位相シフトは無視されうる。他方、熱波長λは次式を用いて計算されうる。
【００４２】
【数１】
【００４３】
ここで、非特許文献６に記載されたように、Ｋは測定物体の熱拡散率であり、ωは信号周波数である。この態様において、ヒトの皮膚の熱拡散率Ｋは使用されずに、０．１１４３〜０．１１８０ｃｍ2／分の熱拡散率を有する同様の物質であるブタのピューレが使用された。非特許文献７を参照されたい。他の参考文献において、水の熱拡散率として（８．４３−０．１０１Ｔ）１０-3ｃｍ2／秒が記載されており、ここで、Ｔは摂氏温度である（非特許文献８）。ブタのピューレの熱拡散率および８０ｂｐｍの心拍を使用することによって、約３．３６ｍｍの波長が得られる。この推測値はヒトの皮膚表面の波長に近い。
【００４４】
測定血管の太さが血管から皮膚表面までの距離および様々な組織の熱拡散率とともに分れば、変調信号を拾い上げるためのより精巧なモデルが構築されうる。当面はこれらのパラメータの代りに、図４中の、血管方向１２２に垂直な直線１２０は実際には複数の四角い画素から構成されるためにギザギザのある直線（Ｊａｇｇｅｄ ｌｉｎｅ）となるため、この直線上のデータを平均化するために１次元ガボール（Ｇａｂｏｒ）フィルタが使用される。ガボールフィルタはギザギザのある直線１２０の方向に適用される。血管線１２２付近の熱変調は一様な対称に近いので、複素ガボールフィルタの実部のみが使用される。画素は整数座標を有するので、ギザギザのある直線１２０上で画素を正確に見つけるのは難しい。このシナリオでは、新しい画素が小さい近傍に基づいて補間されうるか、または１次元ガボールフィルタが画素に適合するようにわずかに変更されうる。元の信号にノイズが新たに加わらないことが好ましいので、この具体的な態様においては第２の手法が使用される。特に、このアルゴリズムはギザギザのある直線１２０の近くに画素を見つけて画素と血管線１２２の距離を計算する。距離が計算された後、一態様において、この距離はガボールフィルタ係数の計算に使用され、この後、この係数は対応する画素の温度値の重み付けに使用される。このガボールフィルタを使用することによって、直流（ＤＣ）に近い低周波信号は著しく低減される。これは、時間周波数領域におけるウィンドウサイズを制限することによって低周波信号（血流によって生じる温度変調よりも約４０００倍高い）の測定帯域（４０〜１００ｂｐｍ）への漏洩を減らすことになる。このフィルタはクローズアップビデオの通常平均化フィルタと比較され、このフィルタは通常平均化フィルタに対して明らかに優位性を有する。図４における画像フレーム１０２に対応するビデオセグメントの場合、他のすべてのパラメータとアルゴリズムが同一に設定された状態で、心拍追跡二乗平均平方根誤差（「ＲＭＳＥ」）はガボールフィルタの使用後１．９から１．３に低減される。
【００４５】
熱波長は非常に短いので、測定血管が各ビデオフレーム内に十分な画素を有していないときモデルは有効に機能しえない。また、このモデルは、画素サイズが熱波長に等しければ電荷結合素子（「ＣＣＤ」）画素によって生じる平均化フィルタゼロ点のために温度変調検出が非常に困難になると判断してもよい。
４．時間信号の非線形フィルタリングによる信号強調
【００４６】
周知のシステムにおいて使用されるウィンドウサイズは、３０Ｈｚのサンプリングレートにおいて５１２ポイントである。このウィンドウサイズは最良の周波数分解能を０．０５９Ｈｚまたは３．５２ｂｐｍに制限する。３．５２ｂｐｍは短時間のヒトの心拍変化よりもはるかに大きく、最低心拍数（たとえば、４０ｂｐｍ）に比べて大きな数字であるので、一実施形態において２０４８ポイントウィンドウが使用される。本発明の一実施態様において、予想されるエイリアシングを抑制するためにサンプリングレートが６０Ｈｚに増加される。サンプリングレートはさらに高い、恐らく１１５Ｈｚに設定されうるが、結果は６０Ｈｚの結果と同様である。サンプリング理論によると、１１５Ｈｚのサンプリングレートは最高５７．５Ｈｚの信号周波数をサンプリングすることができ、６０Ｈｚのサンプリングレートは最高３０Ｈｚの信号周波数をサンプリングすることができる。ヒトの心拍は３０Ｈｚを大きく上回る周波数成分を有しないので、ここではサンプリングレートを増やしてもあまり役に立たないことになる。
【００４７】
温度変調信号は低周波温度信号の１／４０００以下と小さく、かつ最低心拍数（約４０ｂｐｍまたは０．６Ｈｚ）は他の信号と比較して非常に低い周波数信号であるので、ウィンドウサイズを制限することによって生じる信号漏洩を抑制する有効な手段を見つけることが望まれる（たとえば、心拍スペクトル成分はより大きい成分からの漏洩によって隠蔽されうる）。ＤＣ値の大きさ、血流によって生じる温度変調、および周波数差を考慮すると、低周波による擾乱を抑制する比較的簡単な手法はハミングウィンドウである。他の態様において、ブラックマンハリスウィンドウまたはナットールウィンドウも使用されうる。心拍基本周波数信号が処理されたとき、この信号の近くに血管およびこれに隣接する筋肉のわずかな動きに起因して生じる可能性のある擾乱信号が見られた。隣接する擾乱を抑制し周波数推定分解能を向上させるために、周波数応答の主ローブはハミングウィンドウよりも狭くされるべきである。これを実現するためにサンプリングウィンドウの長さは増加されうる。しかし、この増加によって測定時間が増加しシステムの応答時間が減少することになる。したがって、元の信号に基づいて２０４８ポイントの高速フーリエ変換（「ＦＦＴ」）がまず行なわれた。この後、ハミングウィンドウ信号に基づいて２０４８ポイントＦＦＴが行なわれた。さらに、周波数領域におけるこれら２信号のポイントごとの最小値が求められる。結合された非線形出力は矩形ウィンドウとして狭い主ローブを有する。また、結合された非線形出力は低周波からの信号漏洩をハミングウィンドウよりも一層有効に抑制しうる。図５は、正規化された矩形ウィンドウ１２４とハミングウィンドウ１２６の周波数応答を示す。前述されたように、矩形ウィンドウとブラックマンハリスウィンドウまたはナットールウィンドウを組み合せて使用することも可能である。ハミングウィンドウと同様に、ブラックマンハリスウィンドウとナットールウィンドウも低い副ローブを有する。これらの副ローブはハミングウィンドウよりもさらに低い。これらを矩形ウィンドウと組み合せると、ハミングウィンドウと矩形ウィンドウの組合せよりも良い結果につながる場合がある。
【００４８】
５．異常値を除去する信号クラスタリング
他の方法において、信号抽出用の検出点が注意深くマークされる。これはいくつかの理由で好ましい自動検出法ではない。オペレータは体温に比べて非常に小さい潜在的な温度変調信号を見分けられないので、最も関連性の高い情報を有する点を選択することは難しい。また、多くの画素に対する波形が存在するので、適切な波形を手動で選択することは非常に困難である。この問題を克服するために、一態様において、異常値を除去する信号抽出手順でクラスタリングアルゴリズムが使用された。
【００４９】
セグメント化領域において、１次元ガボールフィルタ位置を調整することによって、数十または数百の波形が得られる。上記「４．」に記載された手法を使ってこれらの波形に対してＦＦＴが行われる。この後、各信号（１０２４次元の有用データを用いた２０４８のサンプリング点）から基準心拍数（４０〜１００ｂｐｍ）に対応する１８次元（１１５Ｈｚの場合）または３４次元（６０Ｈｚの場合）のデータが採取され、得られたデータはシンプルなＫ平均クラスタリングプログラムに供給される。一実施形態において、クラスタの数は試行錯誤的に２５に設定される。クラスタリングの後、異常値がデータ領域にまばらに分布するものと仮定して、アルゴリズムは心拍信号を有するクラスタとして最大クラスタを選択する。波形について事前に多くの知識が得られれば、クラスタの選択に別の基準が使用されうる。
【００５０】
１つの周知の時間信号抽出法は、各フレームに対して１つの温度値を得るために各フレームの関心領域（「ＲＯＩ」）の全画素を平均化する。対照的に、ここで説明する手法は小さい領域の短時間擾乱に対してよりロバストである。特に周知の方法を使用する場合、ＲＯＩ内の１画素におけるインパルス信号が最終平均値を発生してもよい。ＲＯＩ領域内でたびたび発生するノイズによって、最終時間信号が非常にノイズの多いものになる可能性がある。各画素から時間信号を抽出しクラスタ分析を行うことによって、これらの擾乱は分離されて最終出力への擾乱の影響は効果的に抑制される。
【００５１】
６．心拍基本周波数の計算
一実施形態において、この後、選択されたクラスタ内の各点の周波数ピークは１８個のビン（１１５Ｈｚフレームレートの場合）または３４個のビン（６０Ｈｚフレームレートの場合）に投票するように使用される。最高投票数のビンは、主ピークとして選択され、主ピーク±２の範囲にあるすべてのビンは心拍の平均推定値の計算に使用される。この投票／平均化法は以前のアルゴリズムでは使用されていない。
７．呼吸測定
【００５２】
一実施形態において、鼻孔の温度変化から呼吸数を測定するために同様のＲＯＩセグメンテーションおよび追跡アルゴリズムが使用された。図６は、この測定に使用されたフレーム１０２と選択された鼻孔領域１２８を示す。直接鼻孔温度測定から得られる信号は強力であるので、ピークが複雑な後処理なしで直接計数されうる。この種のセグメンテーションおよび追跡アルゴリズムはこれまで使用されていない。
【００５３】
８．実験
実験の際、３．０〜５．０μｍの範囲の赤外光をとらえることができる中波の赤外線カメラが使用された。カメラの解像度は、６４０×５１２ライン×１４ビットである。カメラの温度感度は０．０２５Ｋで、選択されたフレームレートは毎秒３０、６０、および１１５フレーム（「ｆｐｓ」）であった。
【００５４】
ＩＲビデオベースの測定を従来のセンサ測定と比較するために、ピエゾパルストランスデューサ、ピエゾ呼吸トランンスデューサ、およびＥＣＧ電極がエーデーインストラメンツ（ＡＤＩｎｓｔｒｕｍｅｎｔｓ）社のパワーラボ（ＰｏｗｅｒＬａｂ）とともに使用されて被験者の心拍および呼吸数が測定され、その間に被験者のＩＲビデオが撮影された（ADInstruments, Inc,. Colorado Spring, Colorado, 80906）。
【００５５】
この手法の有効性を検証するために、この手法はサン（Ｓｕｎ）らによって説明された手法と比較された。比較結果が表１に示される。サン（Ｓｕｎ）らによって説明されたアルゴリズムは厳密な静止対象を要求しているため、そのアルゴリズムは本明細書で説明される方法のシーケンスの多くで機能しえない。そのアルゴリズムが機能しうるシーケンスにおいて、本発明による方法と選定されたアルゴリズムは周知のアルゴリズムよりも常により良く機能した。また、これはガーベイ（Ｇａｒｂｅｙ）らのグループによる最新の出版物とよく一致している。
【００５６】
【表１】
【００５７】
一部の文献は、数分にわたって測定された１つの平均心拍数を報告しているだけである。それらは連続測定に関するアルゴリズムの安定性を報告していない。一態様において、それぞれエーデーインストラメンツのデバイスとＩＲカメラとによって測定される２つの心拍曲線間のＲＭＳＥに基づいてアルゴリズム安定性を調べる手法が設計された。図７は、サン（Ｓｕｎ）らの方法が測定しうる２つのシーケンスに関する比較結果を示す。毎分の脈拍の測定１３０がビデオの数千フレームの期間１３２にわたって行なわれる。グランドトゥルース測定１３４が、サン（Ｓｕｎ）らの方法を使った脈拍数推定値１３６および本発明による方法の脈拍数推定値１３８とともに示される。これらすべての比較において、本明細書に記載される本発明による方法は周知の方法を常に凌いでいる。他の実施形態において、これらのシーケンスに音声ピッチ検出法が使用されてもよい。心拍検出と音声ピッチ検出との１つの大きな違いは、血流によって生じる温度変調が音声信号よりもはるかに多くのノイズを含むことである。
【００５８】
本発明の様々な態様は、単独であれ本発明の他の態様との組合せであれ、ウィンドウズ（登録商標）（Ｗｉｎｄｏｗｓ（登録商標））ＸＰ環境で動作する計算プラットフォームで走るＣ＋＋コードで実施されてもよい。ただし、本明細書で提供される本発明の態様は、他の動作システム環境で動作するように適合された他のプログラミング言語で実施されてもよい。さらに、手順は、パソコン、ミニコン、メインフレーム、ワークステーション、ネットワークまたは分散型コンピュータ環境、荷電粒子手段（ｃｈａｒｇｅｄ ｐａｒｔｉｃｌｅ ｔｏｏｌｓ）などのコンピュータプラットフォーム、これらと一体のコンピュータプラットフォーム、またはこれらと通信するコンピュータプラットフォームを含むがこれらに限定されない、いかなる種類の計算プラットフォームで実施されてもよい。さらに、本発明の態様は、ハードディスク、光学式読取りおよび／または書込み記憶媒体、ＲＡＭ、ＲＯＭなど、計算プラットフォームから取外し可能であれ、計算プラットフォームと一体であれ、任意の記憶媒体で提供される機械可読コードで実施されてもよい。さらに、機械可読コードまたはその一部は、有線または無線ネットワーク上で送信されてもよい。
【００５９】
図８は、本発明の手順の実施形態を実施することができるコンピュータ／サーバシステム８００の実施形態を示すブロック図である。システム８００は、コンピュータ／サーバプラットフォーム８０１、周辺装置８０２、およびネットワーク資源８０３を含む。
【００６０】
コンピュータプラットフォーム８０１は、コンピュータプラットフォーム８０１の様々な部分にわたって、あるいは様々な部分の間で、情報を伝達するデータバス８０４などの通信機構、ならびに、情報を処理し他の計算タスクおよび制御タスクを実行するバス８０4と結合されたプロセッサ８０５を含んでもよい。また、コンピュータプラットフォーム８０１は、様々な情報とプロセッサ８０５によって実行される命令とを格納するためにバス８０４に結合されたランダムアクセスメモリ（ＲＡＭ）またはその他の動的記憶装置などの揮発性記憶装置８０６を含む。揮発性記憶装置８０６は、プロセッサ８０５による命令の実行中に一時的数値変数などの中間情報を格納するために使用されてもよい。コンピュータプラットフォーム８０１は、基本入出力システム（ＢＩＯＳ）および様々なシステムの設定パラメータなど、プロセッサ８０５に対する静的情報および命令を格納するためにバス８０４に結合された読取り専用メモリ（ＲＯＭまたはＥＰＲＯＭ）８０７などの静的記憶装置をさらに含んでもよい。磁気ディスク、光ディスク、または半導体フラッシュメモリ素子などの永久記憶装置８０８が情報および命令の格納用として備えられバス８０１に結合される。
【００６１】
コンピュータプラットフォーム８０１は、コンピュータプラットフォーム８０１のシステム管理者またはユーザに対して情報を表示するためにバス８０４を介して陰極線管（ＣＲＴ）、プラズマディスプレイ、または液晶ディスプレイ（ＬＣＤ）などのディスプレイ８０９に結合されてもよい。英数字その他のキーを含む（キーボードなどの）入力装置８２０が、情報および命令の選択をプロセッサ８０５に伝達するためにバス８０４に結合される。別タイプのユーザ入力装置は、方向情報および命令選択をプロセッサ８０５に伝達しディスプレイ８０９上でカーソル移動を制御するマウス、トラックボール、またはカーソル方向キーなどのカーソル移動制御装置８１１である。この入力装置は、通常、第１の軸（たとえば、ｘ）および第２の軸（たとえば、ｙ）の２つの軸に、装置が平面内の位置を指定できる２つの自由度を有する。
【００６２】
コンピュータプラットフォーム８０１に追加記憶容量またはリムーバブル記憶容量を備えるために、外部記憶装置８１２がバス８０４を介してコンピュータプラットフォーム８０１に接続されてもよい。コンピュータシステム８００の一の実施形態において、外部リムーバブル記憶装置８１２が他のコンピュータシステムとのデータ交換を容易にするために使用されてもよい。
【００６３】
本発明は、本明細書に記載される技術を実施するコンピュータシステム８００の使用に関する。ある実施形態において、本発明によるシステムは、コンピュータプラットフォーム８０１などのマシン上にあってもよい。本発明の一実施形態において、本明細書に記載される技術は、揮発性メモリ８０６に格納される１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ８０５に対応してコンピュータシステム８００によって実行される。このような命令は、永久記憶装置８０８などの別のコンピュータ可読媒体から揮発性メモリ８０６に読み込まれてもよい。揮発性メモリ８０６に格納される命令シーケンスを実行すると、プロセッサ８０５は本明細書に記載されるプロセスステップを実行する。他の実施形態において、本発明を実施するためにハードワイヤード回路がソフトウェア命令の代りに、またはソフトウェア命令と組み合せて使用されてもよい。したがって、本発明の実施形態は、ハードウェア回路とソフトウェアとの特定の組合せに限定されない。
【００６４】
本明細書で使用される「コンピュータ可読媒体」という表現は、実行プロセッサ８０５に命令を与えることに関与する任意の媒体を指す。コンピュータ可読媒体は、本明細書に記載される方法および／または技術のいずれかを実施する命令を担持する可能性のある機械可読媒体の一例にすぎない。このような媒体は、不揮発性媒体、揮発性媒体、伝送媒体を含むがこれらに限定されない多くの形態をとってもよい。不揮発性媒体は、（永久）記憶装置８０８などの、たとえば、光ディスクまたは磁気ディスクを含む。揮発性媒体は、揮発性記憶装置８０６などの動的記憶装置を含む。伝送媒体は、データバス８０４を備えるワイヤなどの同軸ケーブル、銅線、および光ファイバなどを含む。また、伝送媒体は、無線データ通信および赤外線データ通信において生成される音波または光波などの形態をとりうる。
【００６５】
コンピュータ可読媒体の一般的な形式は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、またはその他の磁気媒体、ＣＤ−ＲＯＭ、その他の光媒体、パンチカード、紙テープ、孔パターンを有するその他の物理的な媒体、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、その他のメモリチップまたはカートリッジ、以下に記載される搬送波、またはコンピュータ可読のその他の媒体を含む。
【００６６】
コンピュータ可読媒体の様々な形式は、実行するプロセッサ８０５への１つまたは複数の命令の１つまたは複数のシーケンスを実行することに関与してもよい。たとえば、命令は最初にリモートコンピュータから磁気ディスクに搬送されてもよい。あるいは、リモートコンピュータはその動的記憶装置に命令をロードしモデムを使って電話回線上で命令を送信することができる。コンピュータシステム８００のローカルモデムは、電話回線上でデータを受信することができ、赤外線トランスミッタを使ってデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ適切な回路がデータをデータバス８０４に載せることができる。バス８０４はデータを揮発性記憶装置８０６に搬送し、プロセッサ８０５は揮発性記憶装置８０６から命令を読み出して実行する。揮発性メモリ（記憶装置）８０６によって受信された命令は、プロセッサ８０５によって実行される前または後に永久記憶装置８０８にオプションで格納されてもよい。また、命令は、当技術分野で周知の様々なネットワークデータ通信プロトコルによるインターネット経由でコンピュータプラットフォーム８０１にダウンロードされてもよい。
【００６７】
また、コンピュータプラットフォーム８０１は、データバス８０４に結合されるネットワークインタフェースカード８１３などの通信インタフェースを含む。通信インタフェース８１３は、ローカル（エリア）ネットワーク８１５に接続されるネットワークリンク８１４に双方向データ通信結合を提供する。たとえば、通信インタフェース８１３は、対応するタイプの電話回線にデータ通信接続を提供する総合ディジタル通信網（ＩＳＤＮ）カードまたはモデムであってもよい。他の例として、通信インタフェース８１３は、互換ＬＡＮにデータ通信接続を提供するローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）であってもよい。また、周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、およびブルートゥースなどの無線リンクがネットワークの実施例に使用されてもよい。このような実施例において、通信インタフェース８１３は様々なタイプの情報を表わすディジタルデータストリームを搬送する電気的信号、電磁的信号、または光信号を送受信する。
【００６８】
ネットワークリンク８１４は、通常、１つまたは複数のネットワークを介して他のネットワーク資源にデータ通信を提供する。たとえば、ネットワークリンク８１４は、ローカル（エリア）ネットワーク８１５を介してホストコンピュータ８１６、またはネットワーク記憶装置／サーバ８２２に接続を提供してもよい。追加的または代替的に、ネットワークリンク８１４は、ゲートウェイ／ファイアウォール８１７を介してインターネットなどの広域またはグローバルネットワーク８１８に接続してもよい。したがって、コンピュータプラットフォーム８０１は、リモートネットワーク記憶装置／サーバ８１９など、インターネット８１８上のどこかにあるネットワーク資源にアクセスしうる。他方、コンピュータプラットフォーム８０１は、ローカルエリアネットワーク８１５および／またはインターネット８１８上のどこかにあるクライアントによってアクセスされてもよい。ネットワーククライアント８２０および８２１は、プラットフォーム８０１と同様のコンピュータプラットフォームに基づいて実施されてもよい。
【００６９】
ローカルネットワーク８１５とインターネット８１８はいずれも、ディジタルデータストリームを搬送する電気的信号、電磁的信号、または光信号を使用する。ディジタルデータをコンピュータプラットフォーム８０１との間で搬送する様々なネットワークを介した信号、ネットワークリンク８１４上の信号、および通信インタフェース８１３を介した信号は、情報を伝達する搬送波の一般的な形態である。
【００７０】
コンピュータプラットフォーム８０１は、インターネット８１８およびＬＡＮ８１５、ネットワークリンク８１４、および通信インタフェース８１３を含む様々なネットワークを介してプログラムコードを含むメッセージを送信しデータを受信しうる。インターネットの例において、システム８００がネットワークサーバとしての機能を果たすとき、システム８００は、インターネット８１８、ゲートウェイ／ファイアウォール８１７、ローカルエリアネットワーク８１５、および通信インタフェース８１３を介してクライアント８２０および／または８２１上で走るアプリケーションプログラムに要求されるコードまたはデータを送信してもよい。同様に、システム８００は他のネットワーク資源からコードを受信してもよい。
【００７１】
受信されるコードは、受信される際にプロセッサ８０５によって実行されてもよく、永久記憶装置８０８または揮発性記憶装置８０６にそれぞれ格納されてもよく、これら両方が行なわれてもよく、あるいは後で実行するために他の不揮発性記憶装置に格納されてもよい。このように、コンピュータシステム８００は搬送波の形態のアプリケーションコードを受け入れてもよい。
【００７２】
最後に、本明細書に記載された処理と技術は特定の装置に本質的に関連するものではなく、構成部品の適切な組合せによって実施されてもよいことを理解されたい。さらに、本明細書に記載された教示に従って様々なタイプの汎用装置が使用されてもよい。また、本明細書に記載された方法（の各ステップ）を実行するための専用装置を構築すると好都合であるかもしれない。本発明は、すべての点で限定でなく例示を目的として特定の事例に関連して説明されてきた。バイタルサイン推定方法の実施にはハードウェア、ソフトウェア、およびファームウェアの種々の組合せが適していることを当業者は理解されよう。たとえば、記載されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、パール、シェル、ＰＨＰ、ジャバ（Ｊａｖａ（登録商標））など、多種多様なプログラミング言語またはスクリプト言語で実施されてもよい。
【００７３】
これまで本発明の様々な代表的な実施形態がある程度詳細に説明されてきたが、当業者は、本明細書と特許請求の範囲に記述された本発明による主題の主旨または範囲から逸脱することなく開示された実施形態に多くの変更を加えることができよう。本明細書に直接的または間接的に記述された手順において、様々なステップと作業とが１つの可能な順序で説明されているが、本発明の主旨と範囲から必ずしも逸脱することなくステップと作業とは再編成、入替え、または削除されてもよいことを当業者は理解されよう。また、連携して取り込まれる媒体をとらえ、分類し、リンクさせるコンピュータ化記憶装置システムにおいて、記載された実施形態の様々な態様および／または構成部品は単独または任意の組合せで使用されてもよい。上記の説明に記載され、あるいは添付図面に示されたすべての内容は例示にすぎず限定的でないと解釈されるものとする。
【００７４】
「関連出願の相互参照」
本出願は、２００７年１１月３０に出願された係属中の米国仮特許出願番号第６０／９９１，６３６号の利益を主張するのもので、同出願の内容はその全体が参照として本明細書に組み入れられる。
【図面の簡単な説明】
【００７５】
【図１】本発明の一態様によるバイタルサインを測定および推定する方法のブロック図を示す。
【図２】本発明の一態様による自然特徴点マーカーの関心領域（「ＲＯＩ」）セグメンテーション手順を写真のイラストで示す。
【図３】本発明の一態様によるサーマルビデオにおける表面血管を表わす１画素の時間に対する温度変化の図を示す。
【図４】本発明の一態様によるヒトの血管に近い領域をクローズアップ写真のイラストで示す。
【図５】本発明の一態様による正規化された矩形ウィンドウとハミングウィンドウの周波数応答の図を示す。
【図６】本発明の一態様による呼吸数測定に使用されるヒトのパッシブサーマルビデオを写真のイラストで示す。
【図７】本発明の一態様と当技術分野における周知の方法とにおける脈拍数推定結果の図を示す。
【図８】本発明によるシステムが実現されてもよいコンピュータプラットフォームの例示的実施形態を示す。
【符号の説明】
【００７６】
２０１ 輪郭セグメンテーション
２０２ 動き補正
２０３ 空間フィルタリング
２０４ スペクトル分析
２０５ 画素クラスタリング
２０６ メディアンフィルタおよび平均化
２０７ 優位周波数投票
１０８ 等温線
１１０ 輪郭線
１２６ ハミングウィンドウ
【技術分野】
【０００１】
本発明は、パッシブサーマルビデオからバイタルサインを推定するシステムおよび方法に関し、特に対象位置補正、信号強調、および高調波解析を使ってパッシブサーマルビデオから脈拍と呼吸数を測定することに関する。
【背景技術】
【０００２】
バイタルサインは、健康管理および情動認識のための重要な生理学的パラメータである。しかし、これらのパラメータの有線検出は多くの用途の実現可能性を制限する。これらのパラメータが無線で確実に検出されれば、空港での健康診断、高齢者の診療、および職場での予防治療などの多くの用途でより容易に利用されうる。
【０００３】
ヒトの心拍および呼吸数の測定用センサは、ピエゾパルストランスデューサ、ピエゾ呼吸トランスデューサ、およびＥＣＧ電極を含む。これらの測定センサはすべて人体に装着されてプリアンプと処理機器に配線されなければならない。これらの測定法は心拍および呼吸数のパラメータに厳しい制限を加える。
【０００４】
最近、非接触測定法が開発されている。サン（Ｓｕｎ）らはパッシブサーマルビデオ（ｐａｓｓｉｖｅ ｔｈｅｒｍａｌ ｖｉｄｅｏ）を用いた心拍測定に関する実験を行った（非特許文献１、非特許文献２および非特許文献３）。これらのシステムは主に２つの理由から制限される。第１に、これらは人為的マーカーを必要とすることである。人為的マーカーは検出領域と同じ位置にはありえないうえに（同じ場所にあると、マーカーは検出領域を覆って信号を完全に阻止することになる）人体は剛体ではないので、マーカーの動きに基づく検出領域での画素位置補正は画素位置補正としてさほど正確ではありえない。画素位置補正が不正確であれば、後の心拍信号検出に重大な問題を引き起こすことになる。第２に、サン（Ｓｕｎ）らによる血管の中心線の検出法はノイズに非常に敏感である。血管中心線の誤検出は画素位置ずれにつながることになり、信号検出が無効になりかねない。
【０００５】
チェクメネフ（Ｃｈｅｋｍｅｎｅｖ）らは血圧変調に対応する動脈容積変化に基づく浅側頭動脈（ＳＴＡ） 測定モデルを記述している（非特許文献４および非特許文献５）。
【０００６】
他のシステムでは、測定対象が完全に静止しているものと仮定されている（非特許文献１）。しかし、これは多くの脈拍数測定タスクにとって現実的でない。一部のシステムでは、血管の中心を追跡するために最も熱い(hottest)画素を使っている（非特許文献２および非特許文献３）。最大値付近の微分係数は比較的小さいので、これらの最も熱いスポットに基づく追跡はノイズを伴う傾向がある。他のシステムでは、対象表面に配置されたホイル(foil)マーカーに基づいて対象を追跡するが、これはほとんどの測定シナリオで利用されない（非特許文献６）。
【非特許文献１】サン（Sun）ら、「サーマルビデオからの血流速度推定および血管位置検出（Estimation of blood flow speed and vessel location from thermal video）」、コンピュータビジョンおよびパターン認識に関する２００４年ＩＥＥＥコンピュータソサエティ学会会報（Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition）」、vol. 1、pp 356-363
【非特許文献２】サン（Sun）ら、「心臓血管パルスの画像化（Imaging the cardiovascular pulse）」、コンピュータビジョンおよびパターン認識に関する２００５年ＩＥＥＥコンピュータソサエティ学会抄録（Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition）、vol. 2、pp 416-421
【非特許文献３】ガーベイ（Garbey）ら、「サーマルイメージ分析にもとづく心臓パルスの非接触測定（Contact-Free measurement of cardiac Pulse Based on the Analysis of thermal Imagery）、生物医学エンジニアリングに関するＩＥＥＥトランザクション（IEEE Transactions on Biomedical Engineering）、２００７年８月、vol.54、issue 8、pp. 1418-1426
【非特許文献４】チェクメネフ（Chekmenev）ら、「サーマルイメージを用いた動脈パルスの非接触測定のための複数解像度アプローチ（Multiresolution approach for non-contact measurements of arterial pulse using thermal imaging）」、ＣＶＰＲ ２００６ ワークショップ（CVPR 2006 Workshop）
【非特許文献５】チェクメネフ（Chekmenev）ら、「浅側頭動脈のサーマルイメージング：動脈パルスリカバリモデル（Thermal Imaging of the Superficial Temporal Artery: An Arterial Pulse Recovery Model）」、OTCBVS 2007
【非特許文献６】ブーベンホルスト（Wubbenhorst）、[online]、「熱波技術（Thermal Wave Techniques）」、インターネット<URL:http://www.polymers.tudelft.nl/wubweb/thermalwaves.html>
【非特許文献７】オレゴン州立大学（Oregon State University）、[online]、「熱特性（Thermal Properties）」、インターネット<URL:http://food.oregonstate.edu/energy/t11.html>
【非特許文献８】ジェームス（James）、「−４０〜＋６０℃における氷および水の熱拡散（The Thermal Diffusivity of Ice and Water between -40 and +60℃）」、材料科学ジャーナル（Journal of Materials Science）、オランダ、１９６８年９月、Vol. 3、No. 5、pp. 540-543
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これらの以前の手法は、対象の動き、種類、および血管の位置などについて、多数の仮定を含む。また、これらのアルゴリズムは、自動検出システムに取り入れることが困難な多くのパラメータを有する。さらに、これらのシステムで使用される信号検出およびノイズ除去のモデルは、前述されたようにまさしく予備的なものである。したがって、既存技術は、パッシブサーマルビデオを使ってバイタルサイン情報推定する自動検出システムおよび方法としては不十分であった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の態様は、パッシブサーマルビデオからバイタルサインを推定するシステムであって、被験者の赤外線ビデオセグメントを受信する赤外線ビデオ受信手段と、前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行う輪郭セグメンテーション手段と、前記ビデオセグメントの複数のフレームにわたって選択された前記画素の領域を位置補正する位置補正手段と、熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出する信号検出手段と、測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行う空間フィルタリング手段と、位置補正済み画素シーケンスの各々に対応する時間信号を処理する非線形時間フィルタリング手段と、画像クラスタリングアルゴリズムを用いて前記信号の異常値を除去するクラスタリング手段と、優位周波数投票法を用いて前記信号の周波数ピークを選択する周波数選択手段と、少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する平均化手段と、を備える。
【０００９】
本発明の第２の態様は、第１の態様のバイタルサイン推定システムであって、前記輪郭セグメンテーション手段は前記選択された領域に近い自然特徴点を選択する自然特徴点手段をさらに含む。
【００１０】
本発明の第３の態様は、第２の態様のバイタルサイン推定システムであって、前記輪郭セグメンテーション手段は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する温度選択手段をさらに含む。
【００１１】
本発明の第４の態様は、第３の態様のバイタルサイン推定システムであって、前記輪郭セグメンテーション手段は選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する輪郭選択手段をさらに含む。
【００１２】
本発明の第５の態様は、第４の態様のバイタルサイン推定システムであって、選択された前記画素の領域は血管に対応する。
【００１３】
本発明の第６の態様は、第１の態様のバイタルサイン推定システムであって、前記空間フィルタリング手段は正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する周波数応答計算手段をさらに含む。
【００１４】
本発明の第７の態様は、パッシブサーマルビデオからバイタルサインを推定する方法であって、（ａ）被験者の赤外線ビデオセグメントを受信し、（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、（ｅ）測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する。
【００１５】
本発明の第８の態様は、第７の態様のバイタルサイン推定方法であって、（ｂ）は、選択された前記領域に近い自然特徴点を選択する、ことをさらに含む。
【００１６】
本発明の第９の態様は、第８の態様のバイタルサイン推定方法であって、（ｂ）は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、ことをさらに含む。
【００１７】
本発明の第１０の態様は、第９の態様のバイタルサイン推定方法であって、（ｂ）は、選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、ことをさらに含む。
【００１８】
本発明の第１１の態様は、第１０の態様のバイタルサイン推定方法であって、（ｂ）は、血管に対応する画素の領域を選択する、ことをさらに含む。
【００１９】
本発明の第１２の態様は、第７の態様のバイタルサイン推定方法であって、（ｅ）は、正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、ことをさらに含む。
【００２０】
本発明の第１３の態様は、コンピュータに、パッシブサーマルビデオからバイタルサインを推定する機能を実現させるためのプログラムであって、（ａ）被験者の赤外線ビデオセグメントを受信し、（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、（ｅ）測定対象となる前記バイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する、ことを含む。
【００２１】
本発明の第１４の態様は、第１３の態様のプログラムであって、（ｂ）は、選択された前記領域に近い自然特徴点を選択する、ことをさらに含む。
【００２２】
本発明の第１５の態様は、第１４の態様のプログラムであって、（ｂ）は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、ことをさらに含む。
【００２３】
本発明の第１６の態様は、第１５の態様のプログラムであって、（ｂ）は、選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、ことをさらに含む。
【００２４】
本発明の第１７の態様は、第１６の態様のプログラムであって、（ｂ）は、血管に対応する画素の領域を選択する、ことをさらに含む。
【００２５】
本発明の第１８の態様は、第１３の態様のプログラムであって、（ｅ）は、正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、ことをさらに含む。
【発明の効果】
【００２６】
本発明によれば、パッシブサーマルビデオを使ってバイタルサイン情報を正確に推定することができる。
【発明を実施するための最良の形態】
【００２７】
本発明に関する他の態様は、一部が以下で説明されることになり、一部はその説明から明らかになり、あるいは本発明の実施によって理解される場合もあろう。本発明の態様は、以下の詳細な説明と添付の特許請求の範囲とにおいて特に指摘される様々な要素と態様の組合せによって実現され達成されてもよい。
【００２８】
前述の説明および以下の説明は、いずれも一般的な例示に過ぎず、特許請求の範囲に記載されている発明あるいはその用途をいかなる方法によっても制限するものではない。
【００２９】
本明細書に組み入れられてその一部を構成する添付図面は、説明とともに本発明の実施形態を例示するもので、発明に関わる技術の原理を説明し例証することに役立つ。
【００３０】
以下の詳細な説明では添付図面が参照されることになり、同一の機能要素は同様の数字で指定される。前述された添付図面は、本発明の原理に一致する具体的な実施形態および実施例を限定するものでなく例として示すものである。これらの実施例は、当業者が本発明を実施しうるように十分に詳しく説明されており、他の実施例が利用されてもよくさらに本発明の範囲と主旨を逸脱せずに構造的変更および／または様々な要素の代用がなされてもよいことが理解されるべきである。それゆえ、以下の詳細な説明は限定的な意味に受け取られるべきではない。さらに、記載されるような本発明の様々な実施形態は、汎用コンピュータ上で走るソフトウェアの形態、専用ハードウェアの形態、またはソフトウェアおよびハードウェアの組合せの形態で実施されてもよい。
【００３１】
本発明は、対象位置補正、信号強調、および高調波解析を使って赤外線ビデオベースのバイタルサインを測定するシステムおよび方法に関する。さらに具体的に言うと、バイタルサイン推定は、輪郭セグメンテーションおよび追跡、関心のある情報を提供する画素のクラスタリング、ならびに赤外線ビデオベースのバイタルサインを測定する周知のシステムの性能を改良するロバストな優位周波数成分推定を使って達成される。
例えば本発明の一実施形態では、輪郭セグメンテーションおよび追跡、関心のある情報を提供する画素のクラスタリング、ならびにロバストな優位周波数成分推定（dominant frequency component estimation）を使って、パッシブサーマルビデオから心拍および呼吸数を測定することによってバイタルサインを推定するシステムおよび方法に関する。輪郭セグメンテーションは測定する血管領域を特定するために使用され、その後、隣接する領域の画素は、セグメンテーションの位置と各フレーム内のスケールとに基づいて各フレームで位置補正される。この後、空間フィルタリングが行なわれて心拍に関係しないノイズが除去され、さらに、各画素に対応する時間信号のスペクトル分析が行われる。この後、各画素の信号スペクトルはクラスタリングアルゴリズムに供給されて異常値が除去される。最大クラスタ内の画素はさらに優位周波数の決定に使用され、優位周波数の中央(median)が脈拍数に対応する値として出力される。
【００３２】
測定に起因する危害の危険性を最小にするために、人体そのものが放射する赤外光による非接触バイタルサイン検出が使用される。パッシブ赤外線カメラは、拍動血流に起因する表面血管近くの温度変調、または呼吸に起因する鼻腔領域近くの温度変調を検出することができる。しかし、この検出は、対象の動き、顔の表情、および衣類、髪、または宝石類などの物体によって肌が隠れてしまっている状態(occlusion)によって困難な場合が多い。したがって、ロバストな対象位置補正および動き補正、信号強調およびノイズの除去、ならびに低い信号対ノイズ比（「ＳＮＲ」）環境での高調波解析は、これらの課題を実際問題として処理するために決定的に必要とされる。一態様において、このシステムは輪郭セグメンテーションおよび追跡、関心のある情報を提供する画素のクラスタリング、ならびにロバストな優位周波数成分推定によってパッシブサーマルビデオから心拍と呼吸数を測定することができ、このことによって、以前の研究において使用された多数の仮定が緩和され、性能が実質的に向上する。被験者が動かず、さらに対象が硬い血管を囲む人為的マーカーを有するという仮定は、ここでは行なわれない。
【００３３】
対象となるヒトを完全な静止状態に保つことは非常に難しいため、時間の経過に対して画素の温度変動を抽出するためにビデオシーケンスではすべての画素がフレームごとに位置補正される必要がある。これを実現するために、ノイズおよび対象の動きによる影響をそれほど受けないロバストな自動セグメンテーションおよび追跡アルゴリズムが表面血管に近い領域を追跡するように設計された。以前の手法に比べると、この方法はマーカーを必要とせずに非常に高速で計算されうる。
【００３４】
さらに、ある領域にわたる一定間隔ごとの平均化中に位相差によって生じる信号キャンセルを減らすために熱波伝播仮説に基づく信号検出モデルが使用される。低周波温度信号は周期的な血流によって生じる温度変調よりも数千倍高いため、測定範囲（一実施形態において、１分間に４０〜１００の心拍）への低周波信号漏洩を減らすために非線形フィルタが使用される。
【００３５】
最後に、すべての画素が信号復元に有益なわけではないため、１分間の心拍（「ｂｐｍ」）の最終測定に有益な画素に効果的に集中させるクラスタリングアルゴリズムが使用される。
【００３６】
１．測定システムの概要
図１は、本発明の一態様によるバイタルサイン測定システムおよび方法の概要を示す。この方法において、測定対象となる血管領域を特定するために輪郭セグメンテーションがまず行われる（ステップ２０１）。この後、同じセグメンテーションパラメータのセットがすべてのフレームに使用されて対応する領域をセグメント化する。この後、セグメンテーションの位置および各フレーム内のスケールに基づいて全フレームで選択された領域内の全画素を位置補正することによって動き補正が行われる（ステップ２０２）。
【００３７】
輪郭セグメンテーションと動き補正の後、心拍に関係しないノイズを除去するために空間フィルタリングが行なわれ（ステップ２０３）、この後、各位置補正済み画素シーケンスに対応する時間信号を処理するために非線形フィルタリングが行なわれる（ステップ２０４）。この後、各画素の信号スペクトルが異常値除去のためにクラスタリングアルゴリズムに供給される（ステップ２０５）。この後、優位周波数を選択するために最大クラスタ内の画素が使用され（ステップ２０６）、優位周波数の中央が脈拍数として出力される（ステップ２０７）。異常値を除去するために最大クラスタを選択し優位周波数の中央を使用するこの特別な基準は、血流変調されたパルス波形に関するより多くの情報によって改良されうる。
【００３８】
２．関心領域のセグメンテーションおよび追跡
既存の動き追跡システムを改良するために、血管に近い自然特徴点が追跡および位置補正タスク用の「マーカー」として使用される。一実施形態において、自然特徴点は発声領域（ｄｉｃｔｉｏｎ ｒｅｇｉｏｎ）における熱分布を指す。図２は自然特徴点マーカーのセグメンテーション手順（ステップ２０１）の一実施形態を示す。一態様において、パッシブサーマルビデオセグメントからフレーム１０２が選択され、関心領域１０４が大きいバウンディングボックス１０６を用いて大まかにマークされる。この後、アルゴリズムは等温線１０８を０．１ケルビン（「Ｋ」）の温度ステップで計算することになる。この増分温度ステップは温度変調レベル（０．０８Ｋ）とカメラの感度（０．０２５Ｋ）とに基づいて決定される。特に、この増分温度ステップが０．０８Ｋよりも小さい場合、アルゴリズムは温度変化の微分係数を確実に推定することができなくなる。他方、ステップが大きすぎると、セグメンテーション領域が各フレーム間で大きく変化する可能性がある。等温線１０８が作図されると、アルゴリズムは最も急勾配の温度変化に対応する（等温を示す）輪郭線１１０を決定することになる。この方法で求められた輪郭線は、小さい温度変化の影響をきわめて受けにくい。この輪郭線の特性は人為的マーカーを模擬するために使用される。さらに、人体は剛体でないので、測定領域内の輪郭線は測定領域から遠く離れた人為的マーカーほど影響されない。この後、この輪郭線１１０は選択される輪郭線領域１１２内の画素（図示せず）を位置補正するために使用される。輪郭線内で選択される領域１１２は非常に小さいので、選択される輪郭線領域１１２内の画素はすべて１つの剛体に属すると仮定することはより理に適っている。輪郭線の追跡後、輪郭線内の画素は領域の中心およびサイズに基づいてフレーム間で位置補正される。画素が位置補正されると、アルゴリズムは時間に対する温度変化を抽出することができる。
【００３９】
３．熱波伝播仮説および対応する測定モデル
図３は、（表面血管に近い）１画素の時間１１６に対する温度変化１１４を示す。１画素の未処理温度(raw temperature)１１８は、ミリ秒当りのフレーム期間にわたって表わされる。この具体的な例示において、フレームレートはおよそ毎秒１１５フレーム（ｆｐｓまたはｆ／ｓ）である。この図は推定タスクが困難であることを表わす。血流によって生じる温度変調は測定ノイズに比べて非常に小さいので、ある領域にわたる通常平均化、すなわち、以前の手法におけるノイズ低減に関する暫定法は不適当である。このモデルはピーク値または単純な平均値を使用せずに熱波伝播仮説に基づいて信号を重み付けすることによって信号ピックアップが改良されうる。
【００４０】
熱の伝達には時間を要するため、周期的な熱変化は人体の中を熱波の形態で伝播する。特に、血管に近い２つの隣接する位置の理想的な温度変化曲線は、密接な相関があり、種々の位相を有する場合がある。このような理由から、温度変化は皮膚温度の変化に基づいて皮下で見られる。この点を考慮すると、表面血管に近い皮膚表面の温度変化は位置依存性の位相シフトを有する。
【００４１】
通常平均化がある領域にわたって計算され熱波伝播方向におけるその領域の寸法が１波長よりも大きい場合、逆位相を有する温度変調信号は相殺してもよい。ヒトの血液は大血管に沿って高速で流れ（非特許文献５）によると、約８．７ｍ／ｓ）、パッシブＩＲビデオで普通に見られる血管セグメントは通常約１ｃｍであるので、血管方向に沿った位相シフトは無視されうる。他方、熱波長λは次式を用いて計算されうる。
【００４２】
【数１】
【００４３】
ここで、非特許文献６に記載されたように、Ｋは測定物体の熱拡散率であり、ωは信号周波数である。この態様において、ヒトの皮膚の熱拡散率Ｋは使用されずに、０．１１４３〜０．１１８０ｃｍ2／分の熱拡散率を有する同様の物質であるブタのピューレが使用された。非特許文献７を参照されたい。他の参考文献において、水の熱拡散率として（８．４３−０．１０１Ｔ）１０-3ｃｍ2／秒が記載されており、ここで、Ｔは摂氏温度である（非特許文献８）。ブタのピューレの熱拡散率および８０ｂｐｍの心拍を使用することによって、約３．３６ｍｍの波長が得られる。この推測値はヒトの皮膚表面の波長に近い。
【００４４】
測定血管の太さが血管から皮膚表面までの距離および様々な組織の熱拡散率とともに分れば、変調信号を拾い上げるためのより精巧なモデルが構築されうる。当面はこれらのパラメータの代りに、図４中の、血管方向１２２に垂直な直線１２０は実際には複数の四角い画素から構成されるためにギザギザのある直線（Ｊａｇｇｅｄ ｌｉｎｅ）となるため、この直線上のデータを平均化するために１次元ガボール（Ｇａｂｏｒ）フィルタが使用される。ガボールフィルタはギザギザのある直線１２０の方向に適用される。血管線１２２付近の熱変調は一様な対称に近いので、複素ガボールフィルタの実部のみが使用される。画素は整数座標を有するので、ギザギザのある直線１２０上で画素を正確に見つけるのは難しい。このシナリオでは、新しい画素が小さい近傍に基づいて補間されうるか、または１次元ガボールフィルタが画素に適合するようにわずかに変更されうる。元の信号にノイズが新たに加わらないことが好ましいので、この具体的な態様においては第２の手法が使用される。特に、このアルゴリズムはギザギザのある直線１２０の近くに画素を見つけて画素と血管線１２２の距離を計算する。距離が計算された後、一態様において、この距離はガボールフィルタ係数の計算に使用され、この後、この係数は対応する画素の温度値の重み付けに使用される。このガボールフィルタを使用することによって、直流（ＤＣ）に近い低周波信号は著しく低減される。これは、時間周波数領域におけるウィンドウサイズを制限することによって低周波信号（血流によって生じる温度変調よりも約４０００倍高い）の測定帯域（４０〜１００ｂｐｍ）への漏洩を減らすことになる。このフィルタはクローズアップビデオの通常平均化フィルタと比較され、このフィルタは通常平均化フィルタに対して明らかに優位性を有する。図４における画像フレーム１０２に対応するビデオセグメントの場合、他のすべてのパラメータとアルゴリズムが同一に設定された状態で、心拍追跡二乗平均平方根誤差（「ＲＭＳＥ」）はガボールフィルタの使用後１．９から１．３に低減される。
【００４５】
熱波長は非常に短いので、測定血管が各ビデオフレーム内に十分な画素を有していないときモデルは有効に機能しえない。また、このモデルは、画素サイズが熱波長に等しければ電荷結合素子（「ＣＣＤ」）画素によって生じる平均化フィルタゼロ点のために温度変調検出が非常に困難になると判断してもよい。
４．時間信号の非線形フィルタリングによる信号強調
【００４６】
周知のシステムにおいて使用されるウィンドウサイズは、３０Ｈｚのサンプリングレートにおいて５１２ポイントである。このウィンドウサイズは最良の周波数分解能を０．０５９Ｈｚまたは３．５２ｂｐｍに制限する。３．５２ｂｐｍは短時間のヒトの心拍変化よりもはるかに大きく、最低心拍数（たとえば、４０ｂｐｍ）に比べて大きな数字であるので、一実施形態において２０４８ポイントウィンドウが使用される。本発明の一実施態様において、予想されるエイリアシングを抑制するためにサンプリングレートが６０Ｈｚに増加される。サンプリングレートはさらに高い、恐らく１１５Ｈｚに設定されうるが、結果は６０Ｈｚの結果と同様である。サンプリング理論によると、１１５Ｈｚのサンプリングレートは最高５７．５Ｈｚの信号周波数をサンプリングすることができ、６０Ｈｚのサンプリングレートは最高３０Ｈｚの信号周波数をサンプリングすることができる。ヒトの心拍は３０Ｈｚを大きく上回る周波数成分を有しないので、ここではサンプリングレートを増やしてもあまり役に立たないことになる。
【００４７】
温度変調信号は低周波温度信号の１／４０００以下と小さく、かつ最低心拍数（約４０ｂｐｍまたは０．６Ｈｚ）は他の信号と比較して非常に低い周波数信号であるので、ウィンドウサイズを制限することによって生じる信号漏洩を抑制する有効な手段を見つけることが望まれる（たとえば、心拍スペクトル成分はより大きい成分からの漏洩によって隠蔽されうる）。ＤＣ値の大きさ、血流によって生じる温度変調、および周波数差を考慮すると、低周波による擾乱を抑制する比較的簡単な手法はハミングウィンドウである。他の態様において、ブラックマンハリスウィンドウまたはナットールウィンドウも使用されうる。心拍基本周波数信号が処理されたとき、この信号の近くに血管およびこれに隣接する筋肉のわずかな動きに起因して生じる可能性のある擾乱信号が見られた。隣接する擾乱を抑制し周波数推定分解能を向上させるために、周波数応答の主ローブはハミングウィンドウよりも狭くされるべきである。これを実現するためにサンプリングウィンドウの長さは増加されうる。しかし、この増加によって測定時間が増加しシステムの応答時間が減少することになる。したがって、元の信号に基づいて２０４８ポイントの高速フーリエ変換（「ＦＦＴ」）がまず行なわれた。この後、ハミングウィンドウ信号に基づいて２０４８ポイントＦＦＴが行なわれた。さらに、周波数領域におけるこれら２信号のポイントごとの最小値が求められる。結合された非線形出力は矩形ウィンドウとして狭い主ローブを有する。また、結合された非線形出力は低周波からの信号漏洩をハミングウィンドウよりも一層有効に抑制しうる。図５は、正規化された矩形ウィンドウ１２４とハミングウィンドウ１２６の周波数応答を示す。前述されたように、矩形ウィンドウとブラックマンハリスウィンドウまたはナットールウィンドウを組み合せて使用することも可能である。ハミングウィンドウと同様に、ブラックマンハリスウィンドウとナットールウィンドウも低い副ローブを有する。これらの副ローブはハミングウィンドウよりもさらに低い。これらを矩形ウィンドウと組み合せると、ハミングウィンドウと矩形ウィンドウの組合せよりも良い結果につながる場合がある。
【００４８】
５．異常値を除去する信号クラスタリング
他の方法において、信号抽出用の検出点が注意深くマークされる。これはいくつかの理由で好ましい自動検出法ではない。オペレータは体温に比べて非常に小さい潜在的な温度変調信号を見分けられないので、最も関連性の高い情報を有する点を選択することは難しい。また、多くの画素に対する波形が存在するので、適切な波形を手動で選択することは非常に困難である。この問題を克服するために、一態様において、異常値を除去する信号抽出手順でクラスタリングアルゴリズムが使用された。
【００４９】
セグメント化領域において、１次元ガボールフィルタ位置を調整することによって、数十または数百の波形が得られる。上記「４．」に記載された手法を使ってこれらの波形に対してＦＦＴが行われる。この後、各信号（１０２４次元の有用データを用いた２０４８のサンプリング点）から基準心拍数（４０〜１００ｂｐｍ）に対応する１８次元（１１５Ｈｚの場合）または３４次元（６０Ｈｚの場合）のデータが採取され、得られたデータはシンプルなＫ平均クラスタリングプログラムに供給される。一実施形態において、クラスタの数は試行錯誤的に２５に設定される。クラスタリングの後、異常値がデータ領域にまばらに分布するものと仮定して、アルゴリズムは心拍信号を有するクラスタとして最大クラスタを選択する。波形について事前に多くの知識が得られれば、クラスタの選択に別の基準が使用されうる。
【００５０】
１つの周知の時間信号抽出法は、各フレームに対して１つの温度値を得るために各フレームの関心領域（「ＲＯＩ」）の全画素を平均化する。対照的に、ここで説明する手法は小さい領域の短時間擾乱に対してよりロバストである。特に周知の方法を使用する場合、ＲＯＩ内の１画素におけるインパルス信号が最終平均値を発生してもよい。ＲＯＩ領域内でたびたび発生するノイズによって、最終時間信号が非常にノイズの多いものになる可能性がある。各画素から時間信号を抽出しクラスタ分析を行うことによって、これらの擾乱は分離されて最終出力への擾乱の影響は効果的に抑制される。
【００５１】
６．心拍基本周波数の計算
一実施形態において、この後、選択されたクラスタ内の各点の周波数ピークは１８個のビン（１１５Ｈｚフレームレートの場合）または３４個のビン（６０Ｈｚフレームレートの場合）に投票するように使用される。最高投票数のビンは、主ピークとして選択され、主ピーク±２の範囲にあるすべてのビンは心拍の平均推定値の計算に使用される。この投票／平均化法は以前のアルゴリズムでは使用されていない。
７．呼吸測定
【００５２】
一実施形態において、鼻孔の温度変化から呼吸数を測定するために同様のＲＯＩセグメンテーションおよび追跡アルゴリズムが使用された。図６は、この測定に使用されたフレーム１０２と選択された鼻孔領域１２８を示す。直接鼻孔温度測定から得られる信号は強力であるので、ピークが複雑な後処理なしで直接計数されうる。この種のセグメンテーションおよび追跡アルゴリズムはこれまで使用されていない。
【００５３】
８．実験
実験の際、３．０〜５．０μｍの範囲の赤外光をとらえることができる中波の赤外線カメラが使用された。カメラの解像度は、６４０×５１２ライン×１４ビットである。カメラの温度感度は０．０２５Ｋで、選択されたフレームレートは毎秒３０、６０、および１１５フレーム（「ｆｐｓ」）であった。
【００５４】
ＩＲビデオベースの測定を従来のセンサ測定と比較するために、ピエゾパルストランスデューサ、ピエゾ呼吸トランンスデューサ、およびＥＣＧ電極がエーデーインストラメンツ（ＡＤＩｎｓｔｒｕｍｅｎｔｓ）社のパワーラボ（ＰｏｗｅｒＬａｂ）とともに使用されて被験者の心拍および呼吸数が測定され、その間に被験者のＩＲビデオが撮影された（ADInstruments, Inc,. Colorado Spring, Colorado, 80906）。
【００５５】
この手法の有効性を検証するために、この手法はサン（Ｓｕｎ）らによって説明された手法と比較された。比較結果が表１に示される。サン（Ｓｕｎ）らによって説明されたアルゴリズムは厳密な静止対象を要求しているため、そのアルゴリズムは本明細書で説明される方法のシーケンスの多くで機能しえない。そのアルゴリズムが機能しうるシーケンスにおいて、本発明による方法と選定されたアルゴリズムは周知のアルゴリズムよりも常により良く機能した。また、これはガーベイ（Ｇａｒｂｅｙ）らのグループによる最新の出版物とよく一致している。
【００５６】
【表１】
【００５７】
一部の文献は、数分にわたって測定された１つの平均心拍数を報告しているだけである。それらは連続測定に関するアルゴリズムの安定性を報告していない。一態様において、それぞれエーデーインストラメンツのデバイスとＩＲカメラとによって測定される２つの心拍曲線間のＲＭＳＥに基づいてアルゴリズム安定性を調べる手法が設計された。図７は、サン（Ｓｕｎ）らの方法が測定しうる２つのシーケンスに関する比較結果を示す。毎分の脈拍の測定１３０がビデオの数千フレームの期間１３２にわたって行なわれる。グランドトゥルース測定１３４が、サン（Ｓｕｎ）らの方法を使った脈拍数推定値１３６および本発明による方法の脈拍数推定値１３８とともに示される。これらすべての比較において、本明細書に記載される本発明による方法は周知の方法を常に凌いでいる。他の実施形態において、これらのシーケンスに音声ピッチ検出法が使用されてもよい。心拍検出と音声ピッチ検出との１つの大きな違いは、血流によって生じる温度変調が音声信号よりもはるかに多くのノイズを含むことである。
【００５８】
本発明の様々な態様は、単独であれ本発明の他の態様との組合せであれ、ウィンドウズ（登録商標）（Ｗｉｎｄｏｗｓ（登録商標））ＸＰ環境で動作する計算プラットフォームで走るＣ＋＋コードで実施されてもよい。ただし、本明細書で提供される本発明の態様は、他の動作システム環境で動作するように適合された他のプログラミング言語で実施されてもよい。さらに、手順は、パソコン、ミニコン、メインフレーム、ワークステーション、ネットワークまたは分散型コンピュータ環境、荷電粒子手段（ｃｈａｒｇｅｄ ｐａｒｔｉｃｌｅ ｔｏｏｌｓ）などのコンピュータプラットフォーム、これらと一体のコンピュータプラットフォーム、またはこれらと通信するコンピュータプラットフォームを含むがこれらに限定されない、いかなる種類の計算プラットフォームで実施されてもよい。さらに、本発明の態様は、ハードディスク、光学式読取りおよび／または書込み記憶媒体、ＲＡＭ、ＲＯＭなど、計算プラットフォームから取外し可能であれ、計算プラットフォームと一体であれ、任意の記憶媒体で提供される機械可読コードで実施されてもよい。さらに、機械可読コードまたはその一部は、有線または無線ネットワーク上で送信されてもよい。
【００５９】
図８は、本発明の手順の実施形態を実施することができるコンピュータ／サーバシステム８００の実施形態を示すブロック図である。システム８００は、コンピュータ／サーバプラットフォーム８０１、周辺装置８０２、およびネットワーク資源８０３を含む。
【００６０】
コンピュータプラットフォーム８０１は、コンピュータプラットフォーム８０１の様々な部分にわたって、あるいは様々な部分の間で、情報を伝達するデータバス８０４などの通信機構、ならびに、情報を処理し他の計算タスクおよび制御タスクを実行するバス８０4と結合されたプロセッサ８０５を含んでもよい。また、コンピュータプラットフォーム８０１は、様々な情報とプロセッサ８０５によって実行される命令とを格納するためにバス８０４に結合されたランダムアクセスメモリ（ＲＡＭ）またはその他の動的記憶装置などの揮発性記憶装置８０６を含む。揮発性記憶装置８０６は、プロセッサ８０５による命令の実行中に一時的数値変数などの中間情報を格納するために使用されてもよい。コンピュータプラットフォーム８０１は、基本入出力システム（ＢＩＯＳ）および様々なシステムの設定パラメータなど、プロセッサ８０５に対する静的情報および命令を格納するためにバス８０４に結合された読取り専用メモリ（ＲＯＭまたはＥＰＲＯＭ）８０７などの静的記憶装置をさらに含んでもよい。磁気ディスク、光ディスク、または半導体フラッシュメモリ素子などの永久記憶装置８０８が情報および命令の格納用として備えられバス８０１に結合される。
【００６１】
コンピュータプラットフォーム８０１は、コンピュータプラットフォーム８０１のシステム管理者またはユーザに対して情報を表示するためにバス８０４を介して陰極線管（ＣＲＴ）、プラズマディスプレイ、または液晶ディスプレイ（ＬＣＤ）などのディスプレイ８０９に結合されてもよい。英数字その他のキーを含む（キーボードなどの）入力装置８２０が、情報および命令の選択をプロセッサ８０５に伝達するためにバス８０４に結合される。別タイプのユーザ入力装置は、方向情報および命令選択をプロセッサ８０５に伝達しディスプレイ８０９上でカーソル移動を制御するマウス、トラックボール、またはカーソル方向キーなどのカーソル移動制御装置８１１である。この入力装置は、通常、第１の軸（たとえば、ｘ）および第２の軸（たとえば、ｙ）の２つの軸に、装置が平面内の位置を指定できる２つの自由度を有する。
【００６２】
コンピュータプラットフォーム８０１に追加記憶容量またはリムーバブル記憶容量を備えるために、外部記憶装置８１２がバス８０４を介してコンピュータプラットフォーム８０１に接続されてもよい。コンピュータシステム８００の一の実施形態において、外部リムーバブル記憶装置８１２が他のコンピュータシステムとのデータ交換を容易にするために使用されてもよい。
【００６３】
本発明は、本明細書に記載される技術を実施するコンピュータシステム８００の使用に関する。ある実施形態において、本発明によるシステムは、コンピュータプラットフォーム８０１などのマシン上にあってもよい。本発明の一実施形態において、本明細書に記載される技術は、揮発性メモリ８０６に格納される１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ８０５に対応してコンピュータシステム８００によって実行される。このような命令は、永久記憶装置８０８などの別のコンピュータ可読媒体から揮発性メモリ８０６に読み込まれてもよい。揮発性メモリ８０６に格納される命令シーケンスを実行すると、プロセッサ８０５は本明細書に記載されるプロセスステップを実行する。他の実施形態において、本発明を実施するためにハードワイヤード回路がソフトウェア命令の代りに、またはソフトウェア命令と組み合せて使用されてもよい。したがって、本発明の実施形態は、ハードウェア回路とソフトウェアとの特定の組合せに限定されない。
【００６４】
本明細書で使用される「コンピュータ可読媒体」という表現は、実行プロセッサ８０５に命令を与えることに関与する任意の媒体を指す。コンピュータ可読媒体は、本明細書に記載される方法および／または技術のいずれかを実施する命令を担持する可能性のある機械可読媒体の一例にすぎない。このような媒体は、不揮発性媒体、揮発性媒体、伝送媒体を含むがこれらに限定されない多くの形態をとってもよい。不揮発性媒体は、（永久）記憶装置８０８などの、たとえば、光ディスクまたは磁気ディスクを含む。揮発性媒体は、揮発性記憶装置８０６などの動的記憶装置を含む。伝送媒体は、データバス８０４を備えるワイヤなどの同軸ケーブル、銅線、および光ファイバなどを含む。また、伝送媒体は、無線データ通信および赤外線データ通信において生成される音波または光波などの形態をとりうる。
【００６５】
コンピュータ可読媒体の一般的な形式は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、またはその他の磁気媒体、ＣＤ−ＲＯＭ、その他の光媒体、パンチカード、紙テープ、孔パターンを有するその他の物理的な媒体、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、その他のメモリチップまたはカートリッジ、以下に記載される搬送波、またはコンピュータ可読のその他の媒体を含む。
【００６６】
コンピュータ可読媒体の様々な形式は、実行するプロセッサ８０５への１つまたは複数の命令の１つまたは複数のシーケンスを実行することに関与してもよい。たとえば、命令は最初にリモートコンピュータから磁気ディスクに搬送されてもよい。あるいは、リモートコンピュータはその動的記憶装置に命令をロードしモデムを使って電話回線上で命令を送信することができる。コンピュータシステム８００のローカルモデムは、電話回線上でデータを受信することができ、赤外線トランスミッタを使ってデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ適切な回路がデータをデータバス８０４に載せることができる。バス８０４はデータを揮発性記憶装置８０６に搬送し、プロセッサ８０５は揮発性記憶装置８０６から命令を読み出して実行する。揮発性メモリ（記憶装置）８０６によって受信された命令は、プロセッサ８０５によって実行される前または後に永久記憶装置８０８にオプションで格納されてもよい。また、命令は、当技術分野で周知の様々なネットワークデータ通信プロトコルによるインターネット経由でコンピュータプラットフォーム８０１にダウンロードされてもよい。
【００６７】
また、コンピュータプラットフォーム８０１は、データバス８０４に結合されるネットワークインタフェースカード８１３などの通信インタフェースを含む。通信インタフェース８１３は、ローカル（エリア）ネットワーク８１５に接続されるネットワークリンク８１４に双方向データ通信結合を提供する。たとえば、通信インタフェース８１３は、対応するタイプの電話回線にデータ通信接続を提供する総合ディジタル通信網（ＩＳＤＮ）カードまたはモデムであってもよい。他の例として、通信インタフェース８１３は、互換ＬＡＮにデータ通信接続を提供するローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）であってもよい。また、周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、およびブルートゥースなどの無線リンクがネットワークの実施例に使用されてもよい。このような実施例において、通信インタフェース８１３は様々なタイプの情報を表わすディジタルデータストリームを搬送する電気的信号、電磁的信号、または光信号を送受信する。
【００６８】
ネットワークリンク８１４は、通常、１つまたは複数のネットワークを介して他のネットワーク資源にデータ通信を提供する。たとえば、ネットワークリンク８１４は、ローカル（エリア）ネットワーク８１５を介してホストコンピュータ８１６、またはネットワーク記憶装置／サーバ８２２に接続を提供してもよい。追加的または代替的に、ネットワークリンク８１４は、ゲートウェイ／ファイアウォール８１７を介してインターネットなどの広域またはグローバルネットワーク８１８に接続してもよい。したがって、コンピュータプラットフォーム８０１は、リモートネットワーク記憶装置／サーバ８１９など、インターネット８１８上のどこかにあるネットワーク資源にアクセスしうる。他方、コンピュータプラットフォーム８０１は、ローカルエリアネットワーク８１５および／またはインターネット８１８上のどこかにあるクライアントによってアクセスされてもよい。ネットワーククライアント８２０および８２１は、プラットフォーム８０１と同様のコンピュータプラットフォームに基づいて実施されてもよい。
【００６９】
ローカルネットワーク８１５とインターネット８１８はいずれも、ディジタルデータストリームを搬送する電気的信号、電磁的信号、または光信号を使用する。ディジタルデータをコンピュータプラットフォーム８０１との間で搬送する様々なネットワークを介した信号、ネットワークリンク８１４上の信号、および通信インタフェース８１３を介した信号は、情報を伝達する搬送波の一般的な形態である。
【００７０】
コンピュータプラットフォーム８０１は、インターネット８１８およびＬＡＮ８１５、ネットワークリンク８１４、および通信インタフェース８１３を含む様々なネットワークを介してプログラムコードを含むメッセージを送信しデータを受信しうる。インターネットの例において、システム８００がネットワークサーバとしての機能を果たすとき、システム８００は、インターネット８１８、ゲートウェイ／ファイアウォール８１７、ローカルエリアネットワーク８１５、および通信インタフェース８１３を介してクライアント８２０および／または８２１上で走るアプリケーションプログラムに要求されるコードまたはデータを送信してもよい。同様に、システム８００は他のネットワーク資源からコードを受信してもよい。
【００７１】
受信されるコードは、受信される際にプロセッサ８０５によって実行されてもよく、永久記憶装置８０８または揮発性記憶装置８０６にそれぞれ格納されてもよく、これら両方が行なわれてもよく、あるいは後で実行するために他の不揮発性記憶装置に格納されてもよい。このように、コンピュータシステム８００は搬送波の形態のアプリケーションコードを受け入れてもよい。
【００７２】
最後に、本明細書に記載された処理と技術は特定の装置に本質的に関連するものではなく、構成部品の適切な組合せによって実施されてもよいことを理解されたい。さらに、本明細書に記載された教示に従って様々なタイプの汎用装置が使用されてもよい。また、本明細書に記載された方法（の各ステップ）を実行するための専用装置を構築すると好都合であるかもしれない。本発明は、すべての点で限定でなく例示を目的として特定の事例に関連して説明されてきた。バイタルサイン推定方法の実施にはハードウェア、ソフトウェア、およびファームウェアの種々の組合せが適していることを当業者は理解されよう。たとえば、記載されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、パール、シェル、ＰＨＰ、ジャバ（Ｊａｖａ（登録商標））など、多種多様なプログラミング言語またはスクリプト言語で実施されてもよい。
【００７３】
これまで本発明の様々な代表的な実施形態がある程度詳細に説明されてきたが、当業者は、本明細書と特許請求の範囲に記述された本発明による主題の主旨または範囲から逸脱することなく開示された実施形態に多くの変更を加えることができよう。本明細書に直接的または間接的に記述された手順において、様々なステップと作業とが１つの可能な順序で説明されているが、本発明の主旨と範囲から必ずしも逸脱することなくステップと作業とは再編成、入替え、または削除されてもよいことを当業者は理解されよう。また、連携して取り込まれる媒体をとらえ、分類し、リンクさせるコンピュータ化記憶装置システムにおいて、記載された実施形態の様々な態様および／または構成部品は単独または任意の組合せで使用されてもよい。上記の説明に記載され、あるいは添付図面に示されたすべての内容は例示にすぎず限定的でないと解釈されるものとする。
【００７４】
「関連出願の相互参照」
本出願は、２００７年１１月３０に出願された係属中の米国仮特許出願番号第６０／９９１，６３６号の利益を主張するのもので、同出願の内容はその全体が参照として本明細書に組み入れられる。
【図面の簡単な説明】
【００７５】
【図１】本発明の一態様によるバイタルサインを測定および推定する方法のブロック図を示す。
【図２】本発明の一態様による自然特徴点マーカーの関心領域（「ＲＯＩ」）セグメンテーション手順を写真のイラストで示す。
【図３】本発明の一態様によるサーマルビデオにおける表面血管を表わす１画素の時間に対する温度変化の図を示す。
【図４】本発明の一態様によるヒトの血管に近い領域をクローズアップ写真のイラストで示す。
【図５】本発明の一態様による正規化された矩形ウィンドウとハミングウィンドウの周波数応答の図を示す。
【図６】本発明の一態様による呼吸数測定に使用されるヒトのパッシブサーマルビデオを写真のイラストで示す。
【図７】本発明の一態様と当技術分野における周知の方法とにおける脈拍数推定結果の図を示す。
【図８】本発明によるシステムが実現されてもよいコンピュータプラットフォームの例示的実施形態を示す。
【符号の説明】
【００７６】
２０１ 輪郭セグメンテーション
２０２ 動き補正
２０３ 空間フィルタリング
２０４ スペクトル分析
２０５ 画素クラスタリング
２０６ メディアンフィルタおよび平均化
２０７ 優位周波数投票
１０８ 等温線
１１０ 輪郭線
１２６ ハミングウィンドウ
【特許請求の範囲】
【請求項１】
パッシブサーマルビデオからバイタルサインを推定するシステムであって、
被験者の赤外線ビデオセグメントを受信する赤外線ビデオ受信手段と、
前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行う輪郭セグメンテーション手段と、
前記ビデオセグメントの複数のフレームにわたって選択された前記画素の領域を位置補正する位置補正手段と、
熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出する信号検出手段と、
測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行う空間フィルタリング手段と、
位置補正済み画素シーケンスの各々に対応する時間信号を処理する非線形時間フィルタリング手段と、
画像クラスタリングアルゴリズムを用いて前記信号の異常値を除去するクラスタリング手段と、
優位周波数投票法を用いて前記信号の周波数ピークを選択する周波数選択手段と、
少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する平均化手段と、
を備える、バイタルサイン推定システム。
【請求項２】
前記輪郭セグメンテーション手段は前記選択された領域に近い自然特徴点を選択する自然特徴点手段をさらに含む、請求項１に記載のバイタルサイン推定システム。
【請求項３】
前記輪郭セグメンテーション手段は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する温度選択手段をさらに含む、請求項２に記載のバイタルサイン推定システム。
【請求項４】
前記輪郭セグメンテーション手段は選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する輪郭選択手段をさらに含む、請求項３に記載のバイタルサイン推定システム。
【請求項５】
選択された前記画素の領域は血管に対応する、請求項４に記載のバイタルサイン推定システム。
【請求項６】
前記空間フィルタリング手段は正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する周波数応答計算手段をさらに含む、請求項１に記載のバイタルサイン推定システム。
【請求項７】
パッシブサーマルビデオからバイタルサインを推定する方法であって、
（ａ）被験者の赤外線ビデオセグメントを受信し、
（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、
（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、
（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、
（ｅ）測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、
（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、
（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、
（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、
（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する、
バイタルサイン推定方法。
【請求項８】
（ｂ）は、
選択された前記領域に近い自然特徴点を選択する、
ことをさらに含む、請求項７に記載のバイタルサイン推定方法。
【請求項９】
（ｂ）は、
温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、
ことをさらに含む、請求項８に記載のバイタルサイン推定方法。
【請求項１０】
（ｂ）は、
選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、
ことをさらに含む、請求項９に記載のバイタルサイン推定方法。
【請求項１１】
（ｂ）は、
血管に対応する画素の領域を選択する、
ことをさらに含む、請求項１０に記載のバイタルサイン推定方法。
【請求項１２】
（ｅ）は、
正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、
ことをさらに含む、請求項７に記載のバイタルサイン推定方法。
【請求項１３】
コンピュータに、パッシブサーマルビデオからバイタルサインを推定する機能を実現させるためのプログラムであって、
（ａ）被験者の赤外線ビデオセグメントを受信し、
（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、
（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、
（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、
（ｅ）測定対象となる前記バイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、
（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、
（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、
（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、
（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する、
ことを含む、
プログラム。
【請求項１４】
（ｂ）は、
選択された前記領域に近い自然特徴点を選択する、
ことをさらに含む、請求項１３に記載のプログラム。
【請求項１５】
（ｂ）は、
温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、
ことをさらに含む、請求項１４に記載のプログラム。
【請求項１６】
（ｂ）は、
選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、
ことをさらに含む、請求項１５に記載のプログラム。
【請求項１７】
（ｂ）は、血管に対応する画素の領域を選択する、
ことをさらに含む、請求項１６に記載のプログラム。
【請求項１８】
（ｅ）は、
正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、
ことをさらに含む、請求項１３に記載のプログラム。
【請求項１】
パッシブサーマルビデオからバイタルサインを推定するシステムであって、
被験者の赤外線ビデオセグメントを受信する赤外線ビデオ受信手段と、
前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行う輪郭セグメンテーション手段と、
前記ビデオセグメントの複数のフレームにわたって選択された前記画素の領域を位置補正する位置補正手段と、
熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出する信号検出手段と、
測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行う空間フィルタリング手段と、
位置補正済み画素シーケンスの各々に対応する時間信号を処理する非線形時間フィルタリング手段と、
画像クラスタリングアルゴリズムを用いて前記信号の異常値を除去するクラスタリング手段と、
優位周波数投票法を用いて前記信号の周波数ピークを選択する周波数選択手段と、
少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する平均化手段と、
を備える、バイタルサイン推定システム。
【請求項２】
前記輪郭セグメンテーション手段は前記選択された領域に近い自然特徴点を選択する自然特徴点手段をさらに含む、請求項１に記載のバイタルサイン推定システム。
【請求項３】
前記輪郭セグメンテーション手段は、温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する温度選択手段をさらに含む、請求項２に記載のバイタルサイン推定システム。
【請求項４】
前記輪郭セグメンテーション手段は選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する輪郭選択手段をさらに含む、請求項３に記載のバイタルサイン推定システム。
【請求項５】
選択された前記画素の領域は血管に対応する、請求項４に記載のバイタルサイン推定システム。
【請求項６】
前記空間フィルタリング手段は正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する周波数応答計算手段をさらに含む、請求項１に記載のバイタルサイン推定システム。
【請求項７】
パッシブサーマルビデオからバイタルサインを推定する方法であって、
（ａ）被験者の赤外線ビデオセグメントを受信し、
（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、
（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、
（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、
（ｅ）測定対象となるバイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、
（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、
（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、
（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、
（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する、
バイタルサイン推定方法。
【請求項８】
（ｂ）は、
選択された前記領域に近い自然特徴点を選択する、
ことをさらに含む、請求項７に記載のバイタルサイン推定方法。
【請求項９】
（ｂ）は、
温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、
ことをさらに含む、請求項８に記載のバイタルサイン推定方法。
【請求項１０】
（ｂ）は、
選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、
ことをさらに含む、請求項９に記載のバイタルサイン推定方法。
【請求項１１】
（ｂ）は、
血管に対応する画素の領域を選択する、
ことをさらに含む、請求項１０に記載のバイタルサイン推定方法。
【請求項１２】
（ｅ）は、
正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、
ことをさらに含む、請求項７に記載のバイタルサイン推定方法。
【請求項１３】
コンピュータに、パッシブサーマルビデオからバイタルサインを推定する機能を実現させるためのプログラムであって、
（ａ）被験者の赤外線ビデオセグメントを受信し、
（ｂ）前記被験者の一部分を表わす画素の領域を選択するために前記ビデオセグメントの輪郭セグメント化を行い、
（ｃ）前記ビデオセグメントの複数のフレームで選択された前記画素の領域を位置補正し、
（ｄ）熱波伝播に基づく信号検出方法を用いて選択された前記領域から信号を検出し、
（ｅ）測定対象となる前記バイタルサインに関係しないノイズを除去するために前記信号の空間フィルタリングを行い、
（ｆ）選択された前記領域の位置補正済み画素の各々に対応する前記信号に非線形時間フィルタリングを行い、
（ｇ）画素クラスタリングアルゴリズムを用いて前記信号の異常値を除去し、
（ｈ）優位周波数投票法を用いて前記信号の周波数ピークを選択し、
（ｉ）少なくとも１つのバイタルサインの平均推定値を計算するために選択された前記周波数ピークを平均化する、
ことを含む、
プログラム。
【請求項１４】
（ｂ）は、
選択された前記領域に近い自然特徴点を選択する、
ことをさらに含む、請求項１３に記載のプログラム。
【請求項１５】
（ｂ）は、
温度変調ダイナミックレンジおよびカメラ感度に基づいて等温温度を選択する、
ことをさらに含む、請求項１４に記載のプログラム。
【請求項１６】
（ｂ）は、
選択された前記領域の最も急勾配の温度変化に対応する輪郭線を選択する、
ことをさらに含む、請求項１５に記載のプログラム。
【請求項１７】
（ｂ）は、血管に対応する画素の領域を選択する、
ことをさらに含む、請求項１６に記載のプログラム。
【請求項１８】
（ｅ）は、
正規化された矩形ウィンドウおよびハミングウィンドウを用いて前記信号の周波数応答を計算する、
ことをさらに含む、請求項１３に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１３１６２８（Ｐ２００９−１３１６２８Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００８−２８６３６２（Ｐ２００８−２８６３６２）
【出願日】平成２０年１１月７日（２００８．１１．７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成２０年１１月７日（２００８．１１．７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]