呼吸計測方法及び呼吸計測装置
【課題】患者に圧迫感を与えずに非接触、かつ無侵襲で患者の呼吸状態を確実に監視することができる呼吸計測方法及び呼吸計測装置を提供すること。
【解決手段】被検者の呼吸を計測する呼吸計測方法であって、被検者の顔の遠赤外線画像を撮影する撮像ステップ（Ｓ０１）と、撮像ステップ（Ｓ０１）により取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、前記温度情報から呼吸情報を導出する信号処理ステップ（Ｓ０２）と、前記呼吸情報を表示する表示ステップ（Ｓ０３）と、を備えている。
【解決手段】被検者の呼吸を計測する呼吸計測方法であって、被検者の顔の遠赤外線画像を撮影する撮像ステップ（Ｓ０１）と、撮像ステップ（Ｓ０１）により取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、前記温度情報から呼吸情報を導出する信号処理ステップ（Ｓ０２）と、前記呼吸情報を表示する表示ステップ（Ｓ０３）と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒトの呼吸の諸元を自動計測する呼吸計測方法及び呼吸計測装置に関する。
【背景技術】
【０００２】
患者の呼吸状態を測定、特に、無呼吸状態を監視する方法として、生体に電極を装着して、呼吸による電極間のインピーダンスの変化による電圧を検出する電極インピーダンス法が知られている。また、生体にサーミスタ等のセンサを患者の鼻孔付近に装着して、呼吸時の呼気ガスの温度変化に伴う抵抗値変化に応じた電圧を検出する、いわゆるサーミスタ法が知られている。
【０００３】
しかし、これらの方法は非接触、かつ無侵襲で患者の呼吸状態を確実に監視することができない。そこで、赤外線カメラにより患者の鼻孔を撮像し、鼻孔画像と共に呼吸波形を表示する方法が提案されている（例えば、特許文献１参照。）。
【０００４】
特許文献１における呼吸計測装置の概要を図９に示す。図中の赤外線カメラは、ベッドの枠等に取り付けられ、仰臥した患者の両鼻孔付近に保持され、患者の鼻孔画像を撮像する。モニター時には、操作部のキー操作により赤外線カメラの温度範囲を設定し、該鼻孔画像信号を２値化し、吸気毎の上記鼻孔領域の面積変化から呼吸波形信号を算定する。そして、呼吸時の鼻孔に対応する領域の面積を計算し、この面積から呼吸波形信号を算定するとともに、装置全体の制御を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２５７０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の呼吸計測方法及び呼吸計測装置は、患者の鼻孔画像を撮像する赤外線カメラをベッドの枠等に取り付ける必要があり、患者に圧迫感を与えるといった問題がある。また、赤外線カメラは、センシング素子の性能から得られた画像データの空間分解能、温度分解能が十分とは言えない。
【０００７】
本発明は上記事情に鑑みて成されたものであり、患者に圧迫感を与えずに非接触、かつ無侵襲で患者の呼吸状態を高い精度で確実に監視することができる呼吸計測方法及び呼吸計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る呼吸計測方法は、被検者の呼吸を計測する呼吸計測方法であって、被検者の顔の遠赤外線画像を撮影する撮像ステップと、該撮像ステップにより取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、前記温度情報から呼吸情報を導出する信号処理ステップと、前記呼吸情報を表示する表示ステップと、を備えていることを特徴とする。
【０００９】
この発明は、就寝中もしくは療養等でベッドに横たわっている被検者の顔を遠赤外撮影し、取得した遠赤外画像信号から相対的温度情報を算出する。画像信号は、対象部位の発する遠赤外線の波長分布強度を波長感度に応じた輝度信号に変換することにより、対象部位の相対的温度を示すことができる。この相対的温度の時間的変化を信号処理ステップで呼吸情報に変換し、呼吸情報を表示ステップで表示することによって、被検者に圧迫感を与えることなく呼吸情報を計測できる。
【００１０】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記信号処理ステップが、前記撮像ステップにより取得した画像信号から、鼻部分を含む鼻領域の画像データの輝度値を抽出する領域抽出ステップと、前記輝度値に対して識別閾値を設定する閾値設定ステップと、前記識別閾値を超えた相対的な温度変化を計数し、該温度変化の期間を算出する計数ステップと、を備えていることを特徴とする。
【００１１】
この発明は、鼻部分を含む鼻領域を抽出する際、通常のパターン認識の手法により鼻の位置を検出し、その位置を中心にして一定の領域を鼻領域とする。識別閾値の設定においては、撮像ステップにおいて得られる温度・輝度特性がリニアでなく、一定の関係式が明らかな場合には、その関係式を使用して加重平均を求める。こうして、呼吸の大きさやリズムが不安定な場合でも、正確な呼吸数を計測できる。
【００１２】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記遠赤外線画像の波長範囲が、８〜１４μｍであることを特徴とする。
【００１３】
この発明は、赤外画像に比べて肌の色素、化粧等による影響を受けにくく、温度情報、呼吸情報を正確に取得することができる。
【００１４】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記輝度値を平均化する画像データ平均化ステップを備えていることを特徴とする。
【００１５】
この発明は、画像データの輝度値を領域内で平均することになる。通常、画像データ平均値の時間変化は繰返し波形となるが、波形の中央値が変動する場合、被検者の個体差により体温が異なり、中央値が異なる場合、その変動、差異に合わせて識別閾値を追随させることでイベントの計数値を安定させることができる。
【００１６】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記撮像ステップが、被検者の顔が動いたときに複数の遠赤外カメラ又は熱検出器が移動して撮像し、前記領域抽出ステップが、前記遠赤外カメラ又は前記熱検出器からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得することを特徴とする。
【００１７】
この発明は、顔の動きに合わせて複数の遠赤外カメラ又は熱検出器からの画像信号の少なくとも一方を画像データとして採用することによって、ＳＮ比を向上させることができる。ここで、領域抽出ステップでは、フレームサイズを雑音とトラッキングの観点から最適化する。１フレーム目の顔画像から鼻部を手動で切り出し、フレームマッチングを行う。そして、マッチした領域の平均温度を算出し、その変化数と目視で計測した呼吸回数とを比較する。次に、フレームサイズを変え、追跡精度と温度変化を比較し両方に適したフレームサイズを決定する。これは、鼻腔のみが温度変化をすると考えた場合、鼻腔のみのフレームであれば変化の特徴をとらえ易いが、サイズが小さいため追跡が困難となるからである。逆の場合は、変化が見えにくくなってしまうからである。したがって、動きのある通常の被検者に適用することができ、フレームサイズの最適化により呼吸に伴う微小な温度変化から正確な呼吸情報を得ることができる。
【００１８】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記撮像ステップを行う撮像部と、前記信号処理ステップを行う信号処理部及び前記表示ステップを行う表示部の少なくとも一方と、を離間して配して、相互にデータ通信させることを特徴とする。
【００１９】
この発明は、被検者への圧迫感を取り除くために、撮像部を極力被検者から離して設置することができ、信号処理部、表示部も隣室などに設置することができる。したがって、被検者は抵抗感なく呼吸計測を受け入れることができる。
【００２０】
本発明に係る呼吸計測装置は、本発明に係る呼吸計測方法により、被検者の呼吸情報を取得することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、患者に圧迫感を与えずに非接触、かつ無侵襲で患者の呼吸状態を高い精度で確実に監視することができる。したがって、無侵襲呼吸計測装置として、ホームヘルスケアシステム等に適用することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る呼吸計測装置を示すブロック図である。
【図２】本発明の一実施形態に係る呼吸計測方法を示すフロー図である。
【図３】本発明の一実施形態に係る呼吸計測方法による計測状態を示す説明図である。
【図４】本発明の一実施形態に係る呼吸計測装置にて被験者を撮影した結果を示す画像データである。
【図５】図４から抽出した鼻領域の９２×５７ピクセル及び５０×２０ピクセルの画像データである。
【図６】本発明の一実施形態に係る呼吸計測方法における画像の寸法と温度変化に対する依存性との関係を示すグラフである。
【図７】本発明の一実施形態に係る呼吸計測方法における測定された相対的な温度変化とフレームの面積との比を示すグラフである。
【図８】本発明の一実施形態に係る呼吸計測方法における鼻での５分間の温度変化の測定結果を示すグラフである。
【図９】従来の呼吸計測装置を示すブロック図である。
【発明を実施するための形態】
【００２３】
本発明に係る一実施形態について、図１及び図２を参照して説明する。
本実施形態に係る呼吸計測装置１は、被検者の呼吸を計測する呼吸計測装置であって、複数の撮像部２，３と、信号処理部５と、表示部６と、を備えている。撮像部２，３と信号処理部５及び表示部６の少なくとも一方とは互いに離間して配され、相互にデータ通信される。
【００２４】
撮像部２，３は、被検者の顔の遠赤外線画像を撮影するものであって、何れも遠赤外カメラ７と、被検者の顔が動いたときに遠赤外カメラ７を移動させる移動部８と、を備えている。ここで、被験者の顔が遠赤外カメラ７に向いていれば一台でも構わない。しかし、複数の撮像部２，３を適正に配置することによって、横臥、寝返りの場合にも適用することができる。
【００２５】
信号処理部５は、撮像部２，３により取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、温度情報から呼吸情報を導出する。この信号処理部５は、さらに、領域抽出部１０と、画像データ平均部１１と、閾値設定部１２と、計数部１３と、を備えている。
【００２６】
領域抽出部１０は、遠赤外カメラ７により取得した画像信号から、鼻部分を含む鼻領域の画像データの輝度値を抽出する。ここで画像信号は、対象部位の発する遠赤外線の波長分布強度を、遠赤外カメラ７が備えている波長感度により輝度信号に変換して得られるもので、対象部位の相対的温度を示している。この際、領域抽出部１０は、遠赤外カメラ７からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得する。
【００２７】
画像データ平均部１１は、得られた輝度値を平均化する。なお、必ずしも平均化する必要はなく、そのままの値を使用してもよい。閾値設定部１２は、得られた輝度値に対して温度の識別閾値を設定する。計数部１３は、識別閾値を超えた相対的な温度変化をイベントとして計数し、このイベントの期間を算出する。
【００２８】
表示部６は、信号処理部５によって得られた呼吸情報を表示する。なお、信号処理部５と表示部６とは、通常のパーソナルコンピュータを構成していてもよい。
【００２９】
次に、本実施形態に係る呼吸計測装置１の作用、及び本実施形態に係る呼吸計測方法について説明する。
ヒトは、通常、屋内の家具等より多くの熱（遠赤外線）を発する。したがって、ヒトを含んでいる領域の遠赤外画像は、背景より明るくなる。さらに、遠赤外カメラは通常の可視光カメラより可視光に敏感でなく、２４時間の運用にも抵抗感は多くない。また、一般に知られているように、体温は血流に依存する。そして、血流は血管収縮性影響のような精神心理学的変化次第である。特に、鼻のあたりの部位は、他の部位より多くの動静脈吻合（毛管の血流をコントロールする）を含む。このように、鼻部分は、他の部位より広い温度の変動を示す。さらに、息を吸った場合、外気が吸入されるため鼻腔の温度は一時的に下がり、吐いた場合は暖まった空気が排出されるため温度が上がる。本装置はこのような原理を利用している。
【００３０】
この呼吸計測方法は、撮像ステップ（Ｓ０１）と、信号処理ステップ（Ｓ０２）と、表示ステップ（Ｓ０３）と、を備えている。
【００３１】
撮像ステップ（Ｓ０１）は、被検者の顔が動いたときに、これに遠赤外カメラ７を移動部８によって追随させて、被検者の顔の遠赤外線画像を撮影する。遠赤外カメラ７は、波長範囲８〜１４μｍを中心とした画像データを取得する。
【００３２】
信号処理ステップ（Ｓ０２）は、さらに、領域抽出ステップ（Ｓ２１）と、画像データ平均化ステップ（Ｓ２２）と、閾値設定ステップ（Ｓ２３）と、計数ステップ（Ｓ２４）と、を備えている。
【００３３】
領域抽出ステップ（Ｓ２１）は、撮像ステップ（Ｓ０１）により取得した画像信号から、鼻部分を含む鼻領域を抽出するには、通常のパターン認識の手法により鼻の位置を検出し、その位置を中心にして一定の領域を鼻領域とする。そして、この鼻部分を含む鼻領域の画像データの輝度値を抽出する。この際、遠赤外カメラ７からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得する。
【００３４】
すなわち、１フレーム目の顔画像から鼻部を手動で切り出し、フレームマッチングを行う。そして、マッチした領域の平均温度を算出し、その変化数と目視で計測した呼吸回数とを比較する。次に、フレームサイズを変え、追跡精度と温度変化とを比較し、両方に適したフレームサイズを決定する。これは、鼻腔のみが温度変化をすると考えた場合、鼻腔のみのフレームであれば変化の特徴をとらえ易いが、サイズが小さいため追跡が困難となるからである。また、逆の場合には変化が見えにくくなってしまうからである。
【００３５】
画像データ平均化ステップ（Ｓ２２）は、得られた輝度値を鼻領域内で平均化する処理を行う。ここで、遠赤外カメラ７の温度・輝度特性がリニアでなく、一定の関係式が明らかな場合には、その関係式を使用して加重平均を求める。
【００３６】
閾値設定ステップ（Ｓ２３）は、輝度値に対して温度の識別閾値を設定する。この際、上記関係式を採用する。計数ステップ（Ｓ２４）は、識別閾値を超えた相対的な温度変化をイベントとして計数し、このイベントの期間を算出する。
【００３７】
ここで、フレームの温度は、呼吸で与えられるべきものを変える鼻部以外では一定である。我々が息を吸い込む（吐き出す）ならば、鼻のあたりの温度は減少（増加）する。温度差の量はおよそ１℃である。これにより、温度変化を見つけることで、呼吸のイベントを見つけることができる。このとき、フレームの平均的温度の変化分Δｔ（ｔｐ）は、以下の式によって抽出する。
【００３８】
【数１】
【００３９】
ここでｒは鼻穴の半径、ｔ（ｎ（ｐｐ））は鼻穴の温度変化、Ｓ（ｔｐ）はフレームの面積、そしてｔ（ｆｕｌｌ）はカメラの温度範囲をそれぞれ示す。
【００４０】
この呼吸計測方法及び呼吸計測装置１によれば、被験者の鼻近傍の温度情報、及びこの温度情報から呼吸情報を正確に取得することができる。特に、波長範囲８〜１４μｍの遠赤外画像を取得することで、赤外画像に比べて肌の色素、化粧等による影響を受けにくくすることができる。
【００４１】
また、画像データを平均化することによって、通常、画像データ平均値の時間変化は繰返し波形となるが、波形の中央値が変動する場合、被検者の個体差により体温が異なり、中央値が異なる場合、その変動、差異に合わせて識別閾値を追随させることでイベントの計数値を安定させることができる。したがって、呼吸の大きさやリズムが不安定な場合でも、正確な呼吸数を計測できる。
【００４２】
さらに、複数の遠赤外カメラ７が移動可能に配されているので、被験者の顔の動きに合わせて複数台の遠赤外カメラ７からの画像信号の何れかを、又は両方を画像データとして採用することができ、ＳＮ比を向上させることができる。
【００４３】
また、信号処理部５及び表示部６の少なくとも一方が、撮像部２，３と離れた場所に設置され、相互にデータ通信を行う。これによって、被検者への圧迫感を取り除くために、撮像部を極力被検者から離して設置することができ、信号処理部５、表示部６も隣室などに設置することができる。したがって、被検者が抵抗感なく呼吸計測を受け入れることができる。
【００４４】
なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、撮像部２，３が遠赤外カメラ７を備えているものとしているが、遠赤外データを取得できるものであれば、熱検出器のようなものであってもよい。
【実施例１】
【００４５】
本実施形態に係る呼吸計測方法及び呼吸計測装置１を用いて、被験者の呼吸計測を実施した。
図３に示すように、実験室内でカメラの前から８０ｃｍ程度離れた位置に被験者を座らせて実施した。室温は約２５℃で、実験を通して一定とした。
遠赤外カメラ７の仕様は、型式：ＮＥＣ／Ａｖｉｏ，ＴＨ７１０２ＭＸ、波長範囲８〜１４μｍ、温度分解能０．０６℃、センサーサイズ：３２０×２４０ピクセル、コントラスト：２５６レベル（８ビット）、フレームレート：３０フレーム／秒である。
【００４６】
遠赤外画像をとらえた後に、実験でセットしたサイズのフレームとして、鼻領域を最初のフレームから抽出した。フレームのマッチングは、内部に鼻領域を有している各々のフレームで実行した。次に、各々の抽出された鼻領域の平均温度を計算した。得られた温度シーケンスは、鼻領域毎の温度変化に相当する。温度が閾値を上回るならば、フレームを数え、次に、フレームの連続シーケンスで呼吸を示す。
【００４７】
実験的な配置において遠赤外カメラ７で捕えた、正面を向いた被検者の顔のイメージ例を図４に示す。被検者は通常の若い男性である。明らかに顔に温度差が示されていることがわかる。画像において暗い領域は温度の低い領域と一致する。温度範囲は３１℃から３９℃までの８℃にセットした。
【００４８】
こうして得られた最初のフレームから抽出した鼻部を図５に示す。図中左側のものは、９２×５７ピクセル、図中右側のものは、５０×２０ピクセルの場合である。鼻領域サイズは、フレームマッチングの容易さと同様に、領域内の平均温度を考慮することで決定した。
【００４９】
画像の寸法と温度変化に対する依存性との関係を図６に示す。図中の３本の線は、それぞれトップと鼻穴（ｔｎｐｐ）との温度差が１．５℃、１．０℃、０．５℃となるときの、上述した算出式によって計算された結果を示す。また、異なる領域におけるフレーム用に測定された温度差を図中にプロットした。図示の通り、これらは１．０℃又は１．５℃の値と合致している。雑音（バックグラウンドノイズ）を調べた事前実験では、安定した温度の対象物では、遠赤外カメラは±０．５℃の誤差を持つことを示した。したがって、数字で示されるように、必要とされるＳ／Ｎ値（Ｎｏｉｓｅに対する信号の比率）を得るためには、およそ２，０００ピクセルの面積のフレームが必要であることがわかった。１００ピクセルでは、フレームと組み合わせることによって与えられる１．０℃又は１．５℃の値とは合致しない。より小さな領域ではより高いＳ／Ｎ値を与えるが、画像枠マッチングが難しくなることがわかった。
【００５０】
呼吸時に測定された相対的な温度変化とフレームの面積との比を図７に示す。ここで、垂直軸上での１．０の値は、最初のフレームでの温度変化の最大値から最小値までの値と一致していることを示す。垂直線は標準偏差で輝度値の平均値と一致する。観察の結果、およそ５００ピクセルによる領域で、比較的高い相対値が得られ、比較的小さい誤差となる。図６及び図７から、およそ５００、最高１,０００ピクセルの面積のフレームが呼吸イベントを見つけることに好適であることがわかった。
【００５１】
また、４７×１７ピクセル（面積：５４４ピクセル）の抽出したフレームでの、鼻における５分間の温度変化の測定結果を図８に示す。図中の小さなウインドウは、グラフの拡大図である。各々の呼吸によるフレームの平均的温度変化は、少なくとも０．２℃である。バックグラウンドノイズとフレームとの組み合わせが最適でないことによる若干の雑音の存在が、小さなウインドウ内に示されている。図８は、被検者の呼吸行動も示している。そのため、閾値を越えたフレームの数を数えることによって、容易に呼吸をモニターすることができる。
【００５２】
本発明の方法による実験結果を表１に示す。５人の若い健康な男性被験者で実験した。５分の間（１人は１０分問）、各々の被験者を遠赤外カメラ７の前に座らせて画像を取得し、その間、実際の呼吸も計測した。表１に示すように、ほとんどすべての測定カウント値は、実際の呼吸数と一致した。ここで、被験者Ｃの測定カウント値は、−１のカウント差を示す。理由は被験者Ｃの鼻が詰まっていたためで、その呼吸が不安定で１回分の吐き出し時の測定値が閾値を越えなかったためと思われる。また、被験者Ｅの測定カウント値は、＋２のカウント差を示す。吐き出し時の測定値が２回、瞬間的に閾値を下回ったためで、これは、短い期間の測定値変化を無視することによって改善される。
【００５３】
【表１】
【産業上の利用可能性】
【００５４】
本発明に係る呼吸計測方法及び呼吸計測装置は、遠赤外カメラの室内設置場所を選定し、顔の動きにあわせてカメラを追随させ、温度閾値をアダプティブに設定することにより、新しい無侵襲呼吸計測装置として、睡眠時無呼吸症候群（ＳＡＳ）の診断やホームヘルスケアシステム等に極めて有用である。
【符号の説明】
【００５５】
１ 呼吸計測装置
２，３ 撮像部
５ 信号処理部
６ 表示部
７ 遠赤外カメラ
【技術分野】
【０００１】
本発明は、ヒトの呼吸の諸元を自動計測する呼吸計測方法及び呼吸計測装置に関する。
【背景技術】
【０００２】
患者の呼吸状態を測定、特に、無呼吸状態を監視する方法として、生体に電極を装着して、呼吸による電極間のインピーダンスの変化による電圧を検出する電極インピーダンス法が知られている。また、生体にサーミスタ等のセンサを患者の鼻孔付近に装着して、呼吸時の呼気ガスの温度変化に伴う抵抗値変化に応じた電圧を検出する、いわゆるサーミスタ法が知られている。
【０００３】
しかし、これらの方法は非接触、かつ無侵襲で患者の呼吸状態を確実に監視することができない。そこで、赤外線カメラにより患者の鼻孔を撮像し、鼻孔画像と共に呼吸波形を表示する方法が提案されている（例えば、特許文献１参照。）。
【０００４】
特許文献１における呼吸計測装置の概要を図９に示す。図中の赤外線カメラは、ベッドの枠等に取り付けられ、仰臥した患者の両鼻孔付近に保持され、患者の鼻孔画像を撮像する。モニター時には、操作部のキー操作により赤外線カメラの温度範囲を設定し、該鼻孔画像信号を２値化し、吸気毎の上記鼻孔領域の面積変化から呼吸波形信号を算定する。そして、呼吸時の鼻孔に対応する領域の面積を計算し、この面積から呼吸波形信号を算定するとともに、装置全体の制御を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２５７０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の呼吸計測方法及び呼吸計測装置は、患者の鼻孔画像を撮像する赤外線カメラをベッドの枠等に取り付ける必要があり、患者に圧迫感を与えるといった問題がある。また、赤外線カメラは、センシング素子の性能から得られた画像データの空間分解能、温度分解能が十分とは言えない。
【０００７】
本発明は上記事情に鑑みて成されたものであり、患者に圧迫感を与えずに非接触、かつ無侵襲で患者の呼吸状態を高い精度で確実に監視することができる呼吸計測方法及び呼吸計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る呼吸計測方法は、被検者の呼吸を計測する呼吸計測方法であって、被検者の顔の遠赤外線画像を撮影する撮像ステップと、該撮像ステップにより取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、前記温度情報から呼吸情報を導出する信号処理ステップと、前記呼吸情報を表示する表示ステップと、を備えていることを特徴とする。
【０００９】
この発明は、就寝中もしくは療養等でベッドに横たわっている被検者の顔を遠赤外撮影し、取得した遠赤外画像信号から相対的温度情報を算出する。画像信号は、対象部位の発する遠赤外線の波長分布強度を波長感度に応じた輝度信号に変換することにより、対象部位の相対的温度を示すことができる。この相対的温度の時間的変化を信号処理ステップで呼吸情報に変換し、呼吸情報を表示ステップで表示することによって、被検者に圧迫感を与えることなく呼吸情報を計測できる。
【００１０】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記信号処理ステップが、前記撮像ステップにより取得した画像信号から、鼻部分を含む鼻領域の画像データの輝度値を抽出する領域抽出ステップと、前記輝度値に対して識別閾値を設定する閾値設定ステップと、前記識別閾値を超えた相対的な温度変化を計数し、該温度変化の期間を算出する計数ステップと、を備えていることを特徴とする。
【００１１】
この発明は、鼻部分を含む鼻領域を抽出する際、通常のパターン認識の手法により鼻の位置を検出し、その位置を中心にして一定の領域を鼻領域とする。識別閾値の設定においては、撮像ステップにおいて得られる温度・輝度特性がリニアでなく、一定の関係式が明らかな場合には、その関係式を使用して加重平均を求める。こうして、呼吸の大きさやリズムが不安定な場合でも、正確な呼吸数を計測できる。
【００１２】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記遠赤外線画像の波長範囲が、８〜１４μｍであることを特徴とする。
【００１３】
この発明は、赤外画像に比べて肌の色素、化粧等による影響を受けにくく、温度情報、呼吸情報を正確に取得することができる。
【００１４】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記輝度値を平均化する画像データ平均化ステップを備えていることを特徴とする。
【００１５】
この発明は、画像データの輝度値を領域内で平均することになる。通常、画像データ平均値の時間変化は繰返し波形となるが、波形の中央値が変動する場合、被検者の個体差により体温が異なり、中央値が異なる場合、その変動、差異に合わせて識別閾値を追随させることでイベントの計数値を安定させることができる。
【００１６】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記撮像ステップが、被検者の顔が動いたときに複数の遠赤外カメラ又は熱検出器が移動して撮像し、前記領域抽出ステップが、前記遠赤外カメラ又は前記熱検出器からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得することを特徴とする。
【００１７】
この発明は、顔の動きに合わせて複数の遠赤外カメラ又は熱検出器からの画像信号の少なくとも一方を画像データとして採用することによって、ＳＮ比を向上させることができる。ここで、領域抽出ステップでは、フレームサイズを雑音とトラッキングの観点から最適化する。１フレーム目の顔画像から鼻部を手動で切り出し、フレームマッチングを行う。そして、マッチした領域の平均温度を算出し、その変化数と目視で計測した呼吸回数とを比較する。次に、フレームサイズを変え、追跡精度と温度変化を比較し両方に適したフレームサイズを決定する。これは、鼻腔のみが温度変化をすると考えた場合、鼻腔のみのフレームであれば変化の特徴をとらえ易いが、サイズが小さいため追跡が困難となるからである。逆の場合は、変化が見えにくくなってしまうからである。したがって、動きのある通常の被検者に適用することができ、フレームサイズの最適化により呼吸に伴う微小な温度変化から正確な呼吸情報を得ることができる。
【００１８】
また、本発明に係る呼吸計測方法は、前記呼吸計測方法であって、前記撮像ステップを行う撮像部と、前記信号処理ステップを行う信号処理部及び前記表示ステップを行う表示部の少なくとも一方と、を離間して配して、相互にデータ通信させることを特徴とする。
【００１９】
この発明は、被検者への圧迫感を取り除くために、撮像部を極力被検者から離して設置することができ、信号処理部、表示部も隣室などに設置することができる。したがって、被検者は抵抗感なく呼吸計測を受け入れることができる。
【００２０】
本発明に係る呼吸計測装置は、本発明に係る呼吸計測方法により、被検者の呼吸情報を取得することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、患者に圧迫感を与えずに非接触、かつ無侵襲で患者の呼吸状態を高い精度で確実に監視することができる。したがって、無侵襲呼吸計測装置として、ホームヘルスケアシステム等に適用することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る呼吸計測装置を示すブロック図である。
【図２】本発明の一実施形態に係る呼吸計測方法を示すフロー図である。
【図３】本発明の一実施形態に係る呼吸計測方法による計測状態を示す説明図である。
【図４】本発明の一実施形態に係る呼吸計測装置にて被験者を撮影した結果を示す画像データである。
【図５】図４から抽出した鼻領域の９２×５７ピクセル及び５０×２０ピクセルの画像データである。
【図６】本発明の一実施形態に係る呼吸計測方法における画像の寸法と温度変化に対する依存性との関係を示すグラフである。
【図７】本発明の一実施形態に係る呼吸計測方法における測定された相対的な温度変化とフレームの面積との比を示すグラフである。
【図８】本発明の一実施形態に係る呼吸計測方法における鼻での５分間の温度変化の測定結果を示すグラフである。
【図９】従来の呼吸計測装置を示すブロック図である。
【発明を実施するための形態】
【００２３】
本発明に係る一実施形態について、図１及び図２を参照して説明する。
本実施形態に係る呼吸計測装置１は、被検者の呼吸を計測する呼吸計測装置であって、複数の撮像部２，３と、信号処理部５と、表示部６と、を備えている。撮像部２，３と信号処理部５及び表示部６の少なくとも一方とは互いに離間して配され、相互にデータ通信される。
【００２４】
撮像部２，３は、被検者の顔の遠赤外線画像を撮影するものであって、何れも遠赤外カメラ７と、被検者の顔が動いたときに遠赤外カメラ７を移動させる移動部８と、を備えている。ここで、被験者の顔が遠赤外カメラ７に向いていれば一台でも構わない。しかし、複数の撮像部２，３を適正に配置することによって、横臥、寝返りの場合にも適用することができる。
【００２５】
信号処理部５は、撮像部２，３により取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、温度情報から呼吸情報を導出する。この信号処理部５は、さらに、領域抽出部１０と、画像データ平均部１１と、閾値設定部１２と、計数部１３と、を備えている。
【００２６】
領域抽出部１０は、遠赤外カメラ７により取得した画像信号から、鼻部分を含む鼻領域の画像データの輝度値を抽出する。ここで画像信号は、対象部位の発する遠赤外線の波長分布強度を、遠赤外カメラ７が備えている波長感度により輝度信号に変換して得られるもので、対象部位の相対的温度を示している。この際、領域抽出部１０は、遠赤外カメラ７からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得する。
【００２７】
画像データ平均部１１は、得られた輝度値を平均化する。なお、必ずしも平均化する必要はなく、そのままの値を使用してもよい。閾値設定部１２は、得られた輝度値に対して温度の識別閾値を設定する。計数部１３は、識別閾値を超えた相対的な温度変化をイベントとして計数し、このイベントの期間を算出する。
【００２８】
表示部６は、信号処理部５によって得られた呼吸情報を表示する。なお、信号処理部５と表示部６とは、通常のパーソナルコンピュータを構成していてもよい。
【００２９】
次に、本実施形態に係る呼吸計測装置１の作用、及び本実施形態に係る呼吸計測方法について説明する。
ヒトは、通常、屋内の家具等より多くの熱（遠赤外線）を発する。したがって、ヒトを含んでいる領域の遠赤外画像は、背景より明るくなる。さらに、遠赤外カメラは通常の可視光カメラより可視光に敏感でなく、２４時間の運用にも抵抗感は多くない。また、一般に知られているように、体温は血流に依存する。そして、血流は血管収縮性影響のような精神心理学的変化次第である。特に、鼻のあたりの部位は、他の部位より多くの動静脈吻合（毛管の血流をコントロールする）を含む。このように、鼻部分は、他の部位より広い温度の変動を示す。さらに、息を吸った場合、外気が吸入されるため鼻腔の温度は一時的に下がり、吐いた場合は暖まった空気が排出されるため温度が上がる。本装置はこのような原理を利用している。
【００３０】
この呼吸計測方法は、撮像ステップ（Ｓ０１）と、信号処理ステップ（Ｓ０２）と、表示ステップ（Ｓ０３）と、を備えている。
【００３１】
撮像ステップ（Ｓ０１）は、被検者の顔が動いたときに、これに遠赤外カメラ７を移動部８によって追随させて、被検者の顔の遠赤外線画像を撮影する。遠赤外カメラ７は、波長範囲８〜１４μｍを中心とした画像データを取得する。
【００３２】
信号処理ステップ（Ｓ０２）は、さらに、領域抽出ステップ（Ｓ２１）と、画像データ平均化ステップ（Ｓ２２）と、閾値設定ステップ（Ｓ２３）と、計数ステップ（Ｓ２４）と、を備えている。
【００３３】
領域抽出ステップ（Ｓ２１）は、撮像ステップ（Ｓ０１）により取得した画像信号から、鼻部分を含む鼻領域を抽出するには、通常のパターン認識の手法により鼻の位置を検出し、その位置を中心にして一定の領域を鼻領域とする。そして、この鼻部分を含む鼻領域の画像データの輝度値を抽出する。この際、遠赤外カメラ７からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得する。
【００３４】
すなわち、１フレーム目の顔画像から鼻部を手動で切り出し、フレームマッチングを行う。そして、マッチした領域の平均温度を算出し、その変化数と目視で計測した呼吸回数とを比較する。次に、フレームサイズを変え、追跡精度と温度変化とを比較し、両方に適したフレームサイズを決定する。これは、鼻腔のみが温度変化をすると考えた場合、鼻腔のみのフレームであれば変化の特徴をとらえ易いが、サイズが小さいため追跡が困難となるからである。また、逆の場合には変化が見えにくくなってしまうからである。
【００３５】
画像データ平均化ステップ（Ｓ２２）は、得られた輝度値を鼻領域内で平均化する処理を行う。ここで、遠赤外カメラ７の温度・輝度特性がリニアでなく、一定の関係式が明らかな場合には、その関係式を使用して加重平均を求める。
【００３６】
閾値設定ステップ（Ｓ２３）は、輝度値に対して温度の識別閾値を設定する。この際、上記関係式を採用する。計数ステップ（Ｓ２４）は、識別閾値を超えた相対的な温度変化をイベントとして計数し、このイベントの期間を算出する。
【００３７】
ここで、フレームの温度は、呼吸で与えられるべきものを変える鼻部以外では一定である。我々が息を吸い込む（吐き出す）ならば、鼻のあたりの温度は減少（増加）する。温度差の量はおよそ１℃である。これにより、温度変化を見つけることで、呼吸のイベントを見つけることができる。このとき、フレームの平均的温度の変化分Δｔ（ｔｐ）は、以下の式によって抽出する。
【００３８】
【数１】
【００３９】
ここでｒは鼻穴の半径、ｔ（ｎ（ｐｐ））は鼻穴の温度変化、Ｓ（ｔｐ）はフレームの面積、そしてｔ（ｆｕｌｌ）はカメラの温度範囲をそれぞれ示す。
【００４０】
この呼吸計測方法及び呼吸計測装置１によれば、被験者の鼻近傍の温度情報、及びこの温度情報から呼吸情報を正確に取得することができる。特に、波長範囲８〜１４μｍの遠赤外画像を取得することで、赤外画像に比べて肌の色素、化粧等による影響を受けにくくすることができる。
【００４１】
また、画像データを平均化することによって、通常、画像データ平均値の時間変化は繰返し波形となるが、波形の中央値が変動する場合、被検者の個体差により体温が異なり、中央値が異なる場合、その変動、差異に合わせて識別閾値を追随させることでイベントの計数値を安定させることができる。したがって、呼吸の大きさやリズムが不安定な場合でも、正確な呼吸数を計測できる。
【００４２】
さらに、複数の遠赤外カメラ７が移動可能に配されているので、被験者の顔の動きに合わせて複数台の遠赤外カメラ７からの画像信号の何れかを、又は両方を画像データとして採用することができ、ＳＮ比を向上させることができる。
【００４３】
また、信号処理部５及び表示部６の少なくとも一方が、撮像部２，３と離れた場所に設置され、相互にデータ通信を行う。これによって、被検者への圧迫感を取り除くために、撮像部を極力被検者から離して設置することができ、信号処理部５、表示部６も隣室などに設置することができる。したがって、被検者が抵抗感なく呼吸計測を受け入れることができる。
【００４４】
なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、撮像部２，３が遠赤外カメラ７を備えているものとしているが、遠赤外データを取得できるものであれば、熱検出器のようなものであってもよい。
【実施例１】
【００４５】
本実施形態に係る呼吸計測方法及び呼吸計測装置１を用いて、被験者の呼吸計測を実施した。
図３に示すように、実験室内でカメラの前から８０ｃｍ程度離れた位置に被験者を座らせて実施した。室温は約２５℃で、実験を通して一定とした。
遠赤外カメラ７の仕様は、型式：ＮＥＣ／Ａｖｉｏ，ＴＨ７１０２ＭＸ、波長範囲８〜１４μｍ、温度分解能０．０６℃、センサーサイズ：３２０×２４０ピクセル、コントラスト：２５６レベル（８ビット）、フレームレート：３０フレーム／秒である。
【００４６】
遠赤外画像をとらえた後に、実験でセットしたサイズのフレームとして、鼻領域を最初のフレームから抽出した。フレームのマッチングは、内部に鼻領域を有している各々のフレームで実行した。次に、各々の抽出された鼻領域の平均温度を計算した。得られた温度シーケンスは、鼻領域毎の温度変化に相当する。温度が閾値を上回るならば、フレームを数え、次に、フレームの連続シーケンスで呼吸を示す。
【００４７】
実験的な配置において遠赤外カメラ７で捕えた、正面を向いた被検者の顔のイメージ例を図４に示す。被検者は通常の若い男性である。明らかに顔に温度差が示されていることがわかる。画像において暗い領域は温度の低い領域と一致する。温度範囲は３１℃から３９℃までの８℃にセットした。
【００４８】
こうして得られた最初のフレームから抽出した鼻部を図５に示す。図中左側のものは、９２×５７ピクセル、図中右側のものは、５０×２０ピクセルの場合である。鼻領域サイズは、フレームマッチングの容易さと同様に、領域内の平均温度を考慮することで決定した。
【００４９】
画像の寸法と温度変化に対する依存性との関係を図６に示す。図中の３本の線は、それぞれトップと鼻穴（ｔｎｐｐ）との温度差が１．５℃、１．０℃、０．５℃となるときの、上述した算出式によって計算された結果を示す。また、異なる領域におけるフレーム用に測定された温度差を図中にプロットした。図示の通り、これらは１．０℃又は１．５℃の値と合致している。雑音（バックグラウンドノイズ）を調べた事前実験では、安定した温度の対象物では、遠赤外カメラは±０．５℃の誤差を持つことを示した。したがって、数字で示されるように、必要とされるＳ／Ｎ値（Ｎｏｉｓｅに対する信号の比率）を得るためには、およそ２，０００ピクセルの面積のフレームが必要であることがわかった。１００ピクセルでは、フレームと組み合わせることによって与えられる１．０℃又は１．５℃の値とは合致しない。より小さな領域ではより高いＳ／Ｎ値を与えるが、画像枠マッチングが難しくなることがわかった。
【００５０】
呼吸時に測定された相対的な温度変化とフレームの面積との比を図７に示す。ここで、垂直軸上での１．０の値は、最初のフレームでの温度変化の最大値から最小値までの値と一致していることを示す。垂直線は標準偏差で輝度値の平均値と一致する。観察の結果、およそ５００ピクセルによる領域で、比較的高い相対値が得られ、比較的小さい誤差となる。図６及び図７から、およそ５００、最高１,０００ピクセルの面積のフレームが呼吸イベントを見つけることに好適であることがわかった。
【００５１】
また、４７×１７ピクセル（面積：５４４ピクセル）の抽出したフレームでの、鼻における５分間の温度変化の測定結果を図８に示す。図中の小さなウインドウは、グラフの拡大図である。各々の呼吸によるフレームの平均的温度変化は、少なくとも０．２℃である。バックグラウンドノイズとフレームとの組み合わせが最適でないことによる若干の雑音の存在が、小さなウインドウ内に示されている。図８は、被検者の呼吸行動も示している。そのため、閾値を越えたフレームの数を数えることによって、容易に呼吸をモニターすることができる。
【００５２】
本発明の方法による実験結果を表１に示す。５人の若い健康な男性被験者で実験した。５分の間（１人は１０分問）、各々の被験者を遠赤外カメラ７の前に座らせて画像を取得し、その間、実際の呼吸も計測した。表１に示すように、ほとんどすべての測定カウント値は、実際の呼吸数と一致した。ここで、被験者Ｃの測定カウント値は、−１のカウント差を示す。理由は被験者Ｃの鼻が詰まっていたためで、その呼吸が不安定で１回分の吐き出し時の測定値が閾値を越えなかったためと思われる。また、被験者Ｅの測定カウント値は、＋２のカウント差を示す。吐き出し時の測定値が２回、瞬間的に閾値を下回ったためで、これは、短い期間の測定値変化を無視することによって改善される。
【００５３】
【表１】
【産業上の利用可能性】
【００５４】
本発明に係る呼吸計測方法及び呼吸計測装置は、遠赤外カメラの室内設置場所を選定し、顔の動きにあわせてカメラを追随させ、温度閾値をアダプティブに設定することにより、新しい無侵襲呼吸計測装置として、睡眠時無呼吸症候群（ＳＡＳ）の診断やホームヘルスケアシステム等に極めて有用である。
【符号の説明】
【００５５】
１ 呼吸計測装置
２，３ 撮像部
５ 信号処理部
６ 表示部
７ 遠赤外カメラ
【特許請求の範囲】
【請求項１】
被検者の呼吸を計測する呼吸計測方法であって、
被検者の顔の遠赤外線画像を撮影する撮像ステップと、
該撮像ステップにより取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、前記温度情報から呼吸情報を導出する信号処理ステップと、
前記呼吸情報を表示する表示ステップと、
を備えていることを特徴とする呼吸計測方法。
【請求項２】
前記信号処理ステップが、
前記撮像ステップにより取得した画像信号から、鼻部分を含む鼻領域の画像データの輝度値を抽出する領域抽出ステップと、
前記輝度値に対して識別閾値を設定する閾値設定ステップと、
前記識別閾値を超えた相対的な温度変化を計数し、該温度変化の期間を算出する計数ステップと、
を備えていることを特徴とする請求項１に記載の呼吸計測方法。
【請求項３】
前記遠赤外線画像の波長範囲が、８〜１４μｍであることを特徴とする請求項１又は２に記載の呼吸計測方法。
【請求項４】
前記輝度値を平均化する画像データ平均化ステップを備えていることを特徴とする請求項２又は３に記載の呼吸計測方法。
【請求項５】
前記撮像ステップが、被検者の顔が動いたときに複数の遠赤外カメラ又は熱検出器が移動して撮像し、
前記領域抽出ステップが、前記遠赤外カメラ又は前記熱検出器からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得することを特徴とする請求項２から４の何れか一つに記載の呼吸計測方法。
【請求項６】
前記撮像ステップを行う撮像部と、前記信号処理ステップを行う信号処理部及び前記表示ステップを行う表示部の少なくとも一方と、を離間して配して、相互にデータ通信させることを特徴とする請求項１から５の何れか一つに記載の呼吸計測方法。
【請求項７】
請求項１から６の何れか一つに記載の呼吸計測方法により、被検者の呼吸情報を取得することを特徴とする呼吸計測装置。
【請求項１】
被検者の呼吸を計測する呼吸計測方法であって、
被検者の顔の遠赤外線画像を撮影する撮像ステップと、
該撮像ステップにより取得した画像信号から被験者の少なくとも鼻近傍の相対的温度情報を抽出し、前記温度情報から呼吸情報を導出する信号処理ステップと、
前記呼吸情報を表示する表示ステップと、
を備えていることを特徴とする呼吸計測方法。
【請求項２】
前記信号処理ステップが、
前記撮像ステップにより取得した画像信号から、鼻部分を含む鼻領域の画像データの輝度値を抽出する領域抽出ステップと、
前記輝度値に対して識別閾値を設定する閾値設定ステップと、
前記識別閾値を超えた相対的な温度変化を計数し、該温度変化の期間を算出する計数ステップと、
を備えていることを特徴とする請求項１に記載の呼吸計測方法。
【請求項３】
前記遠赤外線画像の波長範囲が、８〜１４μｍであることを特徴とする請求項１又は２に記載の呼吸計測方法。
【請求項４】
前記輝度値を平均化する画像データ平均化ステップを備えていることを特徴とする請求項２又は３に記載の呼吸計測方法。
【請求項５】
前記撮像ステップが、被検者の顔が動いたときに複数の遠赤外カメラ又は熱検出器が移動して撮像し、
前記領域抽出ステップが、前記遠赤外カメラ又は前記熱検出器からの画像信号を同期させて信号処理するとともに、フレームサイズを雑音とトラッキングの観点から最適化して、呼吸情報を取得することを特徴とする請求項２から４の何れか一つに記載の呼吸計測方法。
【請求項６】
前記撮像ステップを行う撮像部と、前記信号処理ステップを行う信号処理部及び前記表示ステップを行う表示部の少なくとも一方と、を離間して配して、相互にデータ通信させることを特徴とする請求項１から５の何れか一つに記載の呼吸計測方法。
【請求項７】
請求項１から６の何れか一つに記載の呼吸計測方法により、被検者の呼吸情報を取得することを特徴とする呼吸計測装置。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図４】
【図５】
【公開番号】特開２０１０−１９４００５（Ｐ２０１０−１９４００５Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４０５１４（Ｐ２００９−４０５１４）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（３９７０３８０３７）学校法人成蹊学園 (13)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（３９７０３８０３７）学校法人成蹊学園 (13)
【Ｆターム（参考）】
[ Back to top ]