説明

測定装置、測定方法、及びプログラム

【課題】人間の肌部分の温度と肌部分以外の温度とを区別して測定する。
【解決手段】カメラは、被写体の撮像を行ない、肌検出部は、被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び被写体に対して第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、被写体の肌を表す肌領域を検出し、肌温度取得部は、肌領域に基づいて、肌の温度、又は肌とは異なる非肌部の温度の少なくとも一方を取得する。本開示は、例えば撮像画像から、被写体の肌領域を検出する測定装置等に適用できる。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測定装置、測定方法、及びプログラムに関し、特に、例えば、人間の肌部の温度と、肌部以外の温度とを区別して測定できるようにした測定装置、測定方法、及びプログラムに関する。
【背景技術】
【0002】
例えば、物体から発生する遠赤外線を検出して温度を測定する赤外線カメラが存在する。この赤外線カメラは、例えば、予め決められた撮像範囲を撮像することにより、その撮像範囲内の温度の分布を表す温度分布画像を生成する。
【0003】
このため、赤外線カメラは、例えば、パンデミック対策として、空港などに設けられ、人間の体温を測定するために用いられる。
【0004】
また、撮像により得られる撮像画像から、人間の存在する領域を検出し、その領域の温度を測定して、空調を制御する空調制御技術が存在する(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−159887号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述の赤外線カメラは、撮像範囲内の温度の分布のみを測定するものであるため、測定により得られた温度が、人間の体温であるのか、人間以外の物体の温度であるのかを区別することが困難である。
【0007】
また、上述の空調制御技術では、撮像画像上における物体の形状や動きに基づいて、撮像画像から、人間の存在する領域を検出するようにしている。このため、人間以外の物体を、誤って検出して温度を測定してしまい、人間以外の物体の温度に応じて、空調を制御してしまうことが生じ得る。
【0008】
本開示は、このような状況に鑑みてなされたものであり、人間の肌部の温度と肌以外の部分の温度とを区別して測定できるようにするものである。
【課題を解決するための手段】
【0009】
本開示の一側面の測定装置は、被写体の撮像を行なう撮像部と、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出部と、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得部とを含む測定装置である。
【0010】
前記被写体が存在する範囲内の温度の分布を表す温度分布画像を生成する生成部をさらに設けることができ、前記温度取得部では、前記肌領域に基づいて、前記温度分布画像から、前記肌部の温度、又は前記非肌部の温度の少なくとも一方を検出することにより取得することができる。
【0011】
前記肌部の温度から、所定の条件を満たす温度を取得する条件温度取得部をさらに設けることができる。
【0012】
前記条件温度取得部では、前記肌部の温度から、前記肌部の温度の最大値、前記肌部の温度の最小値、又は前記肌部の温度の平均値の少なくとも1つを取得することができる。
【0013】
前記肌部の温度のうち、所定の条件を満たす温度の分布を表す肌部分布領域を、前記温度分布画像から検出する条件領域検出部をさらに設けることができる。
【0014】
前記条件領域検出部では、前記肌部の温度のうち、第1の温度以上とされた第1の前記肌部分布領域、前記肌部の温度のうち、第2の温度未満とされた第2の前記肌部分布領域、又は前記肌部の温度のうち、所定範囲内の温度とされた第3の前記肌部分布領域の少なくとも1つを検出することができる。
【0015】
前記温度取得部では、前記肌領域に基づき検知される前記肌部又は前記非肌部の少なくとも一方から放射される光線の強度に基づいて、前記肌部の温度、又は前記非肌部の温度の少なくとも一方を測定することにより取得することができる。
【0016】
前記温度取得部により取得された温度に基づいて、前記温度の変化を検知する変化検知部と、前記変化検知部の検知結果に応じた処理を実行する実行部とをさらに設けることができる。
【0017】
前記被写体に対して前記第1の波長の光を照射する第1の照射部と、前記被写体に対して前記第2の波長の光を照射する第2の照射部とをさらに設けることができる。
【0018】
本開示の一側面の測定方法は、被写体の撮像を行なう撮像部を含む測定装置の測定方法であって、前記測定装置による、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出ステップと、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得ステップとを含む測定方法である。
【0019】
本開示の一側面のプログラムは、被写体の撮像を行なう撮像部を含む測定装置のコンピュータを、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出部と、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得部として機能させるためのプログラムである。
【0020】
本開示によれば、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域が検出され、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方が取得される。
【発明の効果】
【0021】
本開示によれば、人間の肌部の温度と肌以外の部分の温度とを区別して測定することが可能となる。
【図面の簡単な説明】
【0022】
【図1】本実施の形態である測定装置の構成例を示すブロック図である。
【図2】温度分布画像の一例を示す図である。
【図3】2値化肌画像の一例を示す図である。
【図4】肌部温度画像の一例を示す図である。
【図5】人間の肌に対する分光反射特性を示す図である。
【図6】測定装置が行う肌温度測定処理を説明するためのフローチャートである。
【図7】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、本開示における実施の形態(以下、本実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.本実施の形態(温度分布画像から、肌部の温度の分布を取得する場合の一例)
2.変形例
【0024】
<1.本実施の形態>
[測定装置21の構成例]
図1は、本実施の形態である測定装置21の構成例を示している。
【0025】
なお、この測定装置21は、例えば、被写体の肌部を検出し、検出した肌部の温度と、肌部とは異なる非肌部の温度とを区別して取得するものである。
【0026】
測定装置21は、DSP(digital signal processor)41、LED(light-emitting diode)42a、LED42b、カメラ43、及び温度測定部44から構成される。なお、LED42aの個数、及びLED42bの個数は、それぞれ、1個に限定されず、必要に応じて複数個とされる。
【0027】
DSP41は、例えば、図示せぬメモリ等に保持された制御用プログラムを実行することにより、発光制御部61、肌検出部62、及び肌温度取得部63として機能する。
【0028】
発光制御部61は、カメラ43からのフレーム同期信号に基づいて、LED42a及びLED42bを制御し、LED42aやLED42bの消灯及び点灯を制御する。ここで、フレーム同期信号とは、カメラ43の撮像が行われるタイミングを表す。
【0029】
すなわち、例えば、発光制御部61は、カメラ43からのフレーム同期信号に基づいて、カメラ43により1枚の画像の撮像が行われる毎に、LED42aのみを点灯、LED42bのみを点灯、LED42a及びLED42bのいずれも消灯を繰り返して行わせる。
【0030】
ところで、本実施の形態において、発光制御部61は、例えば、図1に示されるように、LED42aやLED42bに対して、消灯及び点灯を制御するための発光制御信号を供給することにより、LED42aやLED42bを制御するようにしている。
【0031】
そして、LED42a及びLED42bは、それぞれ、発光制御部61からの発光制御信号にしたがって、点灯又は消灯するようにしている。
【0032】
しかしながら、その他、例えば、測定装置21に1つのLEDドライバを設けるようにし、LED42a及びLED42bが、LEDドライバからの制御にしたがって点灯又は消灯するように構成することができる。
【0033】
この場合、LEDドライバは、例えば、発光制御部61からの発光制御信号に基づいて、LED42a及びLED42bを制御する。また、LED42a及びLED42bの制御用に、1つのLEDドライバを設ける他、LED42aの制御用と、LED42bの制御用とで別々のLEDドライバを設けるようにしてもよい。
【0034】
肌検出部62は、カメラ43からの撮像画像I_λ1,I_λ2,I_offを取得する。ここで、撮像画像I_λ1とは、波長λ1の光を発光(照射)するLED42aのみが点灯した状態で、カメラ43の撮像により得られた画像を表す。
【0035】
また、撮像画像I_λ2とは、波長λ2の光を発光(照射)するLED42bのみが点灯した状態で、カメラ43の撮像により得られた画像を表す。さらに、撮像画像I_offとは、LED42a及びLED42bのいずれも消灯した状態で、カメラ43の撮像により得られた画像を表す。
【0036】
肌検出部62は、取得した各撮像画像I_λ1,I_λ2,I_offに対して、LPF(low pass filter)を用いた平滑化を行う。また、肌検出部62は、各画素ごとに、撮像画像I_λ1の輝度値Y(λ1)から、撮像画像I_λ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
【0037】
さらに、肌検出部62は、撮像画像I_λ1又は撮像画像I_λ2の少なくとも一方に基づく値として、例えば輝度値(Y(λ1) Y(off))で、差分(Y(λ1) - Y(λ2))を正規化(除算)する。なお、輝度値Y(off)は、撮像画像I_offの輝度値を表す。
【0038】
そして、肌検出部62は、正規化後の差分{(Y(λ1) - Y(λ2))/(Y(λ1) Y(off))}に所定の値(例えば、100)を乗算して得られる差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)を、予め決められた2値化用の閾値で2値化して、2値化肌画像I_skinを算出する。
【0039】
なお、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)は、撮像画像I_λ1の輝度値が、撮像画像I_λ2の輝度値に対して、何パーセント高いものであるかを表す。また、2値化用の閾値としては、例えば、10パーセントを用いることができる。
【0040】
肌検出部62は、算出した2値化肌画像I_skinに基づいて、被写体の肌を表す肌領域を検出する。
【0041】
すなわち、例えば、肌検出部62は、算出した2値化肌画像I_skinを構成する全領域のうち、2値化用の閾値以上とされた領域を、肌領域として検出する。そして、肌検出部62は、検出した肌領域に基づいて、温度測定部44により生成される温度分布画像上の肌領域を検出するためのマスク画像を生成し、肌温度取得部63に供給する。
【0042】
なお、肌検出部62において、2値化肌画像I_skinから肌領域を検出することは、2値化肌画像I_skinのうち、肌領域として検出されていない領域を、非肌領域として検出していることと等価の処理であると言える。
【0043】
したがって、肌検出部62は、肌領域の検出に代えて、算出した2値化肌画像I_skinを構成する全領域のうち、2値化用の閾値未満とされた領域を、非肌領域として検出するようにしてもよい。そして、肌検出部62は、検出した非肌領域に基づいて、マスク画像を生成するようにしてもよい。
【0044】
なお、このようにして被写体の肌領域を検出できる原理は、図5を参照して後述する。
【0045】
また、差分画像I_diffの算出時において、撮像画像I_offの輝度値Y(off)は、LED42a及びLED42bの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。
【0046】
なお、外光の影響が軽微である場合には、撮像画像I_offの取得を省略して、差分画像I_diffを算出するようにしてもよい。
【0047】
また、カメラ43のレンズの前面に、可視光をカット(遮断)する可視光カットフィルタを設けるように構成すれば、外光としての可視光の影響を除去することができ、肌検出の精度をより向上させることができる。
【0048】
肌温度取得部63は、例えば、肌検出部62からのマスク画像に基づいて、温度測定部44からの温度分布画像から、被写体の肌領域における温度の分布を表す肌部温度領域を検出することにより取得する。なお、肌部温度領域を検出する検出方法の詳細は、図2乃至図4を参照して後述する。
【0049】
ここで、温度分布画像とは、例えば、カメラ43の撮像範囲内の温度の分布を表す画像をいう。また、温度測定部44は、例えば、サーモビューア等に代表される赤外線カメラであり、熱源となる被写体が発する遠赤外線を受光する。そして、温度測定部44は、受光した遠赤外線の強度に応じて、被写体の温度の分布を測定し、その測定結果に応じて得られる温度分布画像を、肌温度取得部63に供給する。
【0050】
なお、本実施の形態では、赤外線カメラとカメラ43とは、同一の撮像範囲で撮像を行うものとして説明する。しかしながら、赤外線カメラとカメラ43との撮像範囲は、同一の撮像範囲に限定されず、互いに一部分のみが少なくとも重複するようなされているような撮像範囲とされていればよい。
【0051】
この場合、赤外線カメラの撮像範囲のうち、カメラ43の撮像範囲と重複される範囲で撮像されたものが、温度分布画像とされる。また、カメラ32の撮像範囲のうち、赤外線カメラの撮像範囲と重複される範囲で撮像されたものが、撮像画像I_λ1,I_λ2又はI_offとされる。なお、赤外線カメラとカメラ43との撮像範囲(例えば、赤外線カメラとカメラ43との相対位置関係や画角等)は、測定装置21の製造時、又は使用時に行われるキャリブレーションにより予め決定される。
【0052】
肌温度取得部63は、取得した肌部温度領域を含む肌部温度画像を、図示せぬモニタ等に出力して表示させる。
【0053】
LED42aは、発光制御部61からの制御にしたがって、点灯又は消灯する。すなわち、LED42aは、発光制御部61からの制御にしたがって、波長λ1の光(例えば、波長λ1の赤外線)を照射し、又は波長λ1の光の照射を停止する。
【0054】
LED42bは、発光制御部61からの制御にしたがって、点灯又は消灯する。すなわち、LED42bは、発光制御部61からの制御にしたがって、波長λ1よりも長波長である波長λ2の光(例えば、波長λ2の赤外線)を照射し、又は波長λ2の光の照射を停止する。
【0055】
なお、LED42a及びLED42bは、カメラ43の撮像範囲内を少なくとも照射する。
【0056】
また、波長λ1と波長λ2との組み合わせ(λ1,λ2)は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。この分光反射特性は、図5を参照して詳述する。
【0057】
カメラ43は、例えば、レンズやCMOS(complementary metal oxide semiconductor)センサ等により構成されており、フレーム同期信号に応じて、被写体の撮像を行う。また、カメラ43は、フレーム同期信号を、発光制御部61に供給する。
【0058】
具体的には、例えば、カメラ43は、CMOSセンサ等に設けられた受光素子で、LED42aによって被写体に照射された波長λ1の光の反射光を受光する。そして、カメラ43は、受光した反射光を光電変換して得られる撮像画像I_λ1を、肌検出部62に供給する。
【0059】
また、例えば、カメラ43は、CMOSセンサ等に設けられた受光素子で、LED42bによって被写体に照射された波長λ2の光の反射光を受光する。そして、カメラ43は、受光した反射光を光電変換して得られる撮像画像I_λ2を、肌検出部62に供給する。
【0060】
さらに、例えば、カメラ43は、CMOSセンサ等に設けられた受光素子で、LED42a及びLED42bのいずれも光を照射していない状態で、被写体からの反射光を受光する。そして、カメラ43は、受光した反射光を光電変換して得られる撮像画像I_offを、肌検出部62に供給する。
【0061】
温度測定部44は、上述のように、例えば、赤外線カメラであり、カメラ43と同一の撮像範囲を撮像し、その結果得られる温度分布画像を、肌温度取得部63に供給する。
【0062】
[肌温度取得部63による肌部温度領域の検出方法の一例]
次に、図2乃至図4を参照して、肌温度取得部63が行う肌部温度領域の検出方法を説明する。
【0063】
温度測定部44は、赤外線カメラとして撮像を行い、図2に示されるように、撮像範囲内における温度の分布を表す温度分布画像を生成し、肌温度取得部63に供給する。
【0064】
なお、図2では、温度をグレースケール(灰色の濃度)により表している。すなわち、温度が高いほどに濃度の高い灰色(黒色に近い灰色)で表され、温度が低いほどに濃度の低い灰色(白色に近い灰色)で表されている。例えば、黒色で表される場合、最も温度が高いものとなり、白色で表される場合、最も温度が低いものとなる。
【0065】
図2では、被写体の顔や手の温度が比較的高いものとなっているため、比較的、濃い灰色で示されている。また、図2では、被写体の服や背景部分の温度が比較的低いものとなっているため、白色(濃度が最も低い灰色)で示されている。
【0066】
肌検出部62は、カメラ43からの撮像画像I_λ1,I_λ2,I_offに基づいて、図3に示されるような2値化肌画像I_skinを生成し、生成した2値化肌画像I_skinに基づいて、肌領域を検出する。そして、肌検出部62は、検出した肌領域に基づいて、マスク画像を生成し、肌温度取得部63に供給する。
【0067】
なお、図3では、2値化肌画像I_skinの全領域のうち、肌領域を白色で表し、肌領域とは異なる非肌領域を黒色で表すようにしている。
【0068】
肌温度取得部63は、肌検出部62からのマスク画像に基づいて、温度測定部44からの温度分布画像(図2)上の肌領域を、肌部温度領域として検出することにより、図4に示されるような、肌部温度領域を含む肌部温度画像を取得し、図示せぬモニタ等に出力する。
【0069】
[分光反射特性]
次に、図5は、人間の肌に対する分光反射特性を示している。
【0070】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態(日焼け等)に拘らず、一般性があるものである。
【0071】
図5において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【0072】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【0073】
具体的には、例えば、図5に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約63パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約50パーセントである。
【0074】
これは、人間の肌について特有のものであり、人間の肌以外の物体(例えば、衣服等)では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、少しずつ大きくなることが多い。
【0075】
本実施の形態では、例えば、組み合わせ(λ1,λ2)=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ1の光を照射したときの反射率が、波長λ2の光を照射したときの反射率よりも大きくなる組み合わせである。
【0076】
したがって、撮像画像I_λ1上の肌領域を構成する輝度値は比較的大きな値となり、撮像画像I_λ2上の肌領域を構成する輝度値は比較的小さな値となる。
【0077】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的大きな正の値α1となる。
【0078】
また、組み合わせ(λ1,λ2)=(870,950)は、人間の肌以外のものに対して、波長λ1の光を照射したときの反射率が、波長λ2の光を照射したときの反射率と殆ど同一となる組み合わせである。
【0079】
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の非肌領域の輝度値は、比較的小さな正または負の値β1となる。
【0080】
よって、差分画像I_diffを、予め決められた2値化用の閾値(例えば、α1よりも小であり、β1よりも大である閾値)で2値化するようにして、肌領域を検出するようにしている。
【0081】
ここで、組み合わせ(λ1,λ2)は、(λ1,λ2)=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ(λ1,λ2)であれば、どのような組み合わせでもよい。
【0082】
なお、正確に肌検出を行うためには、概ね、波長λ1の値は640[nm]乃至1000[nm]の範囲内で、波長λ2の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。
【0083】
但し、波長λ1が可視光領域の波長である場合、被写体に眩しさを感じさせること等から、波長λ1の値は不可視光領域の800[nm]以上とすることが望ましい。
【0084】
すなわち、例えば、上述の範囲内で、波長λ1の値は800[nm]以上900[nm]未満の不可視光領域の値とし、波長λ2の値は900[nm]以上の不可視光領域とすることが望ましい。
【0085】
[測定装置21の動作説明]
次に、図6のフローチャートを参照して、測定装置21が行う肌温度測定処理について説明する。
【0086】
この肌温度測定処理は、例えば、測定装置21の電源がオンされたときに開始される。
【0087】
ステップS21では、発光制御部61は、カメラ43からのフレーム同期信号に応じて、カメラ43の撮像(ステップS22の処理)が行われるタイミングでLED42aを点灯させる。これにより、LED42aは、カメラ43の撮像が行われる間、被写体に対して、波長λ1の光を照射する。なお、LED42bは消灯されている。
【0088】
ステップS22では、カメラ43は、LED42aの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ1を、肌検出部62に供給する。
【0089】
ステップS23では、発光制御部61は、カメラ43からのフレーム同期信号に応じて、ステップS22におけるカメラ43の撮像が終了するタイミングで、LED42aを消灯させる。
【0090】
また、発光制御部61は、カメラ43からのフレーム同期信号に応じて、カメラ43の次の撮像(ステップS24の処理)が開始するタイミングで、LED42bを点灯させる。これにより、LED42bは、カメラ43の次の撮像が行われる間、被写体に対して、波長λ2の光を照射する。なお、LED42aは消灯されている。
【0091】
ステップS24では、カメラ43は、LED42bの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ2を、肌検出部62に供給する。
【0092】
ステップS25では、発光制御部61は、カメラ43からのフレーム同期信号に応じて、ステップS24におけるカメラ43の撮像が終了するタイミングで、LED42bを消灯させる。これにより、LED42a及びLED42bは、いずれも消灯された状態となる。
【0093】
ステップS26では、カメラ43は、LED42a及びLED42bのいずれも消灯している状態で撮像を開始し、その結果得られる撮像画像I_offを、肌検出部62に供給する。
【0094】
ステップS27では、肌検出部62は、カメラ43からの各撮像画像I_λ1,I_λ2,I_offに基づいて、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1-I_off)}×100)を算出する。
【0095】
ステップS28では、肌検出部62は、算出した差分画像I_diffを、予め決められた2値化用の閾値を用いて2値化して得られる2値化肌画像I_skinを算出する。
【0096】
ステップS29では、肌検出部62は、算出した2値化肌画像I_skinに基づいて、肌領域を検出する。
【0097】
ステップS30において、肌検出部62は、検出した肌領域に基づいて、温度分布画像上の肌領域を検出するためのマスク画像を生成し、肌温度取得部63に供給する。
【0098】
ステップS31では、温度測定部44は、撮像を行ない、その撮像の結果得られる温度分布画像を、肌温度取得部63に供給する。
【0099】
ステップS32では、肌温度取得部63は、肌検出部62からのマスク画像を用いて、温度測定部44からの温度分布画像上の肌領域(被写体の肌部の温度)を検出することにより、図4に示されるような肌部温度画像を取得する。
【0100】
ステップS32の終了後、処理はステップS21に戻り、それ以降同様の処理が繰り返される。なお、この肌温度測定処理は、例えば、測定装置21の電源がオフされたときに終了される。
【0101】
以上説明したように、肌温度測定処理によれば、温度分布画像上の肌領域のみを検出するようにして、被写体の肌部の温度のみを取得できるようにした。
【0102】
このため、被写体の肌部の温度を、非肌部の温度と区別して取得することができる。
【0103】
また、肌温度測定処理によれば、図5に示されるような人間の分光反射特性を利用して、被写体の肌領域を検出するようにした。したがって、被写体を照らす照明の明るさに拘らず、肌領域を精度良く検出することができる。
【0104】
このため、例えば、被写体を照らす照明の明るさが不十分である(暗い)ときでも、肌領域を精度良く検出することが可能となる。
【0105】
なお、測定装置21において、肌温度取得部63は、温度測定部44からの温度分布画像から、肌検出部62からのマスク画像を用いて、肌部温度画像を検出するようにした。
【0106】
しかしながら、その他、例えば、肌検出部62から肌温度取得部63に対して、肌領域(を表す情報)を供給するようにし、肌温度取得部63は、肌検出部62からの肌領域に基づいて、被写体の肌部が存在する方向や位置を検知するようにしてもよい。そして、肌温度取得部63は、検知した方向や位置に存在する肌部の温度を測定することにより取得するようにしてもよい。
【0107】
この場合、肌温度取得部63は、例えば、物体から放射される赤外線や可視光線などの光線の強度を測定して、物体の温度を測定するスポット型放射温度計として機能するものとなる。また、この場合、測定装置21において、温度測定部44を省略することができる。さらに、肌温度取得部63は、肌検出部62からの肌領域に基づいて、非肌部が存在する方向や位置を検知するようにして、検知した方向や位置に存在する非肌部の温度を測定することにより取得することもできる。また、肌温度取得部63は、肌部及び非肌部が存在する方向や位置をそれぞれ検知するようにして、肌部の温度と、非肌部の温度とを区別して測定するようにしてもよい。
【0108】
その他、例えば、肌検出部62が、2値化肌画像I_skinに基づいて検出した肌領域から、肌領域を検出するための第1のマスク画像と、非肌領域を検出するための第2のマスク画像とを生成するようにしてもよい。この場合、肌温度取得部63は、第1のマスク画像に基づいて、温度測定部44からの温度分布画像上の肌領域(被写体の肌部の温度)を、第2のマスク画像に基づいて、温度測定部44からの温度分布画像上の非肌領域(被写体の非肌部の温度)を、それぞれ、区別して検出することができる。
【0109】
また、例えば、肌検出部62が、2値化肌画像I_skinに基づいて検出した肌領域から、第2のマスク画像を生成する。そして、温度取得部63は、第2のマスク画像に基づいて、温度測定部44からの温度分布画像上の非肌領域(被写体の非肌部の温度)を検出するようにしてもよい。
【0110】
なお、測定装置21において、肌検出部62は、撮像画像I_λ1,I_λ2,I_offに基づいて、被写体の肌領域を検出するようにしているが、温度分布画像も用いるようにすれば、肌検出の精度をより向上させることができる。
【0111】
すなわち、例えば、肌検出部62は、撮像画像I_λ1,I_λ2,I_offに基づいて、肌領域としての部分領域を検出し、温度分布画像に基づいて、検出した部分領域上の温度の分布が、肌部の温度の分布であるか否かを判定する。肌検出部62は、検出した部分領域上の温度の分布が、肌部の温度の分布であると判定した場合、部分領域を、最終的な肌領域として検出する。
【0112】
このようにして肌領域を検出する場合には、撮像画像I_λ1,I_λ2,I_offに基づいて、肌領域を検出する場合と比較して、より肌領域の検出精度を向上させることができる。
【0113】
このため、例えば、測定装置21を、侵入者を検知する侵入検知装置として用いるようにすれば、敷地内に侵入した侵入者の肌を、より正確に検知できるようになるので、侵入検知装置としての信頼性を向上させることができる。
【0114】
なお、測定装置21は、例えば、医療分野において、一度に、被写体の肌部の温度として、複数の患者の体温を測定する測定装置として用いることができる。この場合、測定装置21は、例えば、複数の患者が寝泊りする病室の天井に設けられる。
【0115】
測定装置21において、波長λ1の光、及び波長λ2の光として不可視光を用いるようにすれば、暗い環境下でも体温を測定できるので、病室の消灯時においても患者の体温を容易に測定することができる。
【0116】
また、測定装置21が、測定した患者の体温の変化を検知し、その検知結果に応じて、病室に設けられた空調(例えば、エアーコンディショナ等)を制御して、病室内の温度を管理する空調制御装置とすることができる。具体的には、例えば、測定装置21の肌温度取得部63は、患者の体温が低下していることを検知したことに対応して、空調を制御し、病室内の温度を上昇させる。
【0117】
測定装置21では、空調の管理の他、撮像画像において、例えばベッド等よりも下部分(床側)の領域が、肌領域として検出されたことに対応して、患者がベッド等から落下したことを検知するようにしてもよい。
【0118】
さらに、測定装置21を、浴室等に設けるようにし、肌温度取得部63が、入浴中の被写体の体温を測定するようにしてもよい。そして、肌温度取得部63が、被写体の体温の変化を検知し、その検知結果に応じた情報を、図示せぬモニタやスピーカから出力するようにすることができる。
【0119】
すなわち、例えば、肌温度取得部63は、測定した体温の変化に応じて、被写体がのぼせそうである判定した場合には、「のぼせそうなので、一度、浴槽から出ましょう」等という情報を、図示せぬモニタやスピーカから出力することができる。
【0120】
また、測定装置21は、運動中の被写体の体温を測定するものとして用いることができる。肌温度取得部63は、運動中の被写体の体温を測定し、測定した体温の上昇具合(体温の変化の具合)等により、カロリーの消費状態を、図示せぬモニタやスピーカから出力するようにする。なお、肌温度取得部63は、体温の上昇に伴い、カロリーを消費し易くなり、その結果、体脂肪も燃焼し易くなるということに基づいて、カロリーの消費状態を検出して、図示せぬモニタやスピーカから出力する。
【0121】
さらに、例えば、肌温度取得部63は、運動中の被写体の体温の変化を検知し、その検知結果に応じて、効率の良い運動を被写体に指図することができる。
【0122】
また、測定装置21は、複数の被写体それぞれの体温を測定できるので、例えばスポーツジム等に設けるようにすることができる。測定装置21では、温度測定部44としての赤外線カメラを用いて、温度分布画像を生成するようにしているが、マスク画像を用いて、肌部の体温の領域のみを検出してモニタ等に出力する。このため、モニタ等において、被写体の服等が透けて映ってしまうことがない。
【0123】
さらに、測定装置21において、肌検出部62が検出した肌領域が、被写体のいずれの肌部を表すのかを、検出した温度に基づいて識別し、その識別結果に基づいて、被写体のジェスチャやポスチャ等を検知することができる。これは、人間の体温は、顔や手等の部位によって異なることを利用している。
【0124】
このため、被写体は、測定装置21を用いて、ジェスチャ操作やポスチャ操作等を行うことができるようになる。
【0125】
また、測定装置21は、熱射病などの危険度を警報(警告)する警報装置として用いることもできる。すなわち、例えば、肌温度取得部63が、取得した被写体の肌部の体温と、外気温とを比較し、体温と外気温との関係から、熱射病の危険度を、図示せぬモニタやスピーカ等から出力する。
【0126】
具体的には、例えば、肌温度取得部63は、被写体の肌部の温度が、急激に上昇していることを検知した場合に、警報アラームを鳴らすようにする。
【0127】
なお、外気温としては、肌温度取得部63において、肌領域に基づいて、温度分布画像上の非肌領域を検出することにより、非肌部の温度を取得し、取得した非肌部の平均温度が擬似的に用いられる。
【0128】
その他、例えば、外気温としては、測定装置21にサーミスタ等を設けるようにして、サーミスタ等で外気温を取得するようにしてもよい。
【0129】
<2.変形例>
本実施の形態では、温度分布画像から、肌部温度領域のみを検出するようにしたが、さらに、検出した肌部温度領域から、所定の条件を満たす領域を検出するようにしてもよい。
【0130】
すなわち、例えば、肌温度取得部63は、検出した肌部温度領域から、第1の温度以上とされた領域、第2の温度未満とされた領域、又は所定範囲内の温度とされた領域の少なくとも1つを検出するようにしてもよい。なお、第1温度、第2の温度、又は所定範囲は、例えば、測定装置21において、図示せぬ操作部などにより、被写体としてのユーザに予め決定される。
【0131】
本実施の形態では、肌温度取得部63は、肌検出部62からの肌領域に基づいて、温度分布画像上の肌領域のみを検出するようにしたが、その他、例えば、肌領域に基づいて、温度分布画像上の肌領域を除く非肌領域のみを検出して取得するようにしてもよい。
【0132】
また、本実施の形態では、肌温度取得部63は、肌検出部62からの肌領域に基づいて、温度分布画像上の肌領域のみを検出するようにした。しかしながら、その他、例えば、肌温度取得部63は、温度分布画像上の肌領域(被写体の肌部の温度)から、所定の条件を満たす温度を取得することができる。
【0133】
すなわち、例えば、肌温度取得部63は、温度分布画像上の肌領域、すなわち、被写体の肌部の温度の分布から、肌部の温度の最大値、肌部の温度の最小値、又は肌部の温度の平均値の少なくとも1つを取得することができる。
【0134】
そして、肌温度取得部63は、取得した最大値や、最小値、又は平均値等を、図示せぬモニタやスピーカに出力することができる。これにより、被写体の肌部の最大値や、最小値、又は平均値等を、容易に監視することができるようになる。
【0135】
その他、例えば、上述したように、測定装置21を病室、浴室、スポーツジム等に設けて使用する場合や、侵入検知装置や警報装置等として使用する場合に、肌部の温度(体温)として、取得した最大値や、最小値、又は平均値等を用いることができる。
【0136】
また、測定装置21において、LED42a及びLED42bを照明装置として別に用意するようにしてもよい。この場合、測定装置21では、LED42a及びLED42bを設ける必要がないものとなる。
【0137】
なお、本技術は以下のような構成もとることができる。
(1)被写体の撮像を行なう撮像部と、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出部と、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得部とを含む測定装置。
(2)前記被写体が存在する範囲内の温度の分布を表す温度分布画像を生成する生成部をさらに含み、前記温度取得部は、前記肌領域に基づいて、前記温度分布画像から、前記肌部の温度、又は前記非肌部の温度の少なくとも一方を検出することにより取得する前記(1)に記載の測定装置。
(3)前記肌部の温度から、所定の条件を満たす温度を取得する条件温度取得部をさらに含む前記(2)に記載の測定装置。
(4)前記条件温度取得部は、前記肌部の温度から、前記肌部の温度の最大値、前記肌部の温度の最小値、又は前記肌部の温度の平均値の少なくとも1つを取得する前記(3)に記載の測定装置。
(5)前記肌部の温度のうち、所定の条件を満たす温度の分布を表す肌部分布領域を、前記温度分布画像から検出する条件領域検出部をさらに含む前記(2)に記載の測定装置。
(6)前記条件領域検出部は、前記肌部の温度のうち、第1の温度以上とされた第1の前記肌部分布領域、前記肌部の温度のうち、第2の温度未満とされた第2の前記肌部分布領域、又は前記肌部の温度のうち、所定範囲内の温度とされた第3の前記肌部分布領域の少なくとも1つを検出する前記(5)に記載の測定装置。
(7)前記温度取得部は、前記肌領域に基づき検知される前記肌部又は前記非肌部の少なくとも一方から放射される光線の強度に基づいて、前記肌部の温度、又は前記非肌部の温度の少なくとも一方を測定することにより取得する前記(1)に記載の測定装置。
(8)前記温度取得部により取得された温度に基づいて、前記温度の変化を検知する変化検知部と、前記変化検知部の検知結果に応じた処理を実行する実行部とをさらに含む前記(1)に記載の測定装置。
(9)前記被写体に対して前記第1の波長の光を照射する第1の照射部と、前記被写体に対して前記第2の波長の光を照射する第2の照射部とをさらに含む前記(1)乃至(8)に記載の測定装置。
(10)被写体の撮像を行なう撮像部を含む測定装置の測定方法において、前記測定装置による、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出ステップと、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得ステップとを含む測定方法。
(11)被写体の撮像を行なう撮像部を含む測定装置のコンピュータを、前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出部と、前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得部として機能させるためのプログラム。
【0138】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【0139】
[コンピュータの構成例]
図7は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【0140】
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
【0141】
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
【0142】
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【0143】
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
【0144】
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
【0145】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図7に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【0146】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0147】
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0148】
21 測定装置, 41 DSP, 42a,42b LED, 43 カメラ, 44 温度測定部, 61 発光制御部, 62 肌検出部, 63 肌温度取得部

【特許請求の範囲】
【請求項1】
被写体の撮像を行なう撮像部と、
前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出部と、
前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得部と
を含む測定装置。
【請求項2】
前記被写体が存在する範囲内の温度の分布を表す温度分布画像を生成する生成部をさらに含み、
前記温度取得部は、前記肌領域に基づいて、前記温度分布画像から、前記肌部の温度、又は前記非肌部の温度の少なくとも一方を検出することにより取得する
請求項1に記載の測定装置。
【請求項3】
前記肌部の温度から、所定の条件を満たす温度を取得する条件温度取得部を
さらに含む請求項2に記載の測定装置。
【請求項4】
前記条件温度取得部は、前記肌部の温度から、前記肌部の温度の最大値、前記肌部の温度の最小値、又は前記肌部の温度の平均値の少なくとも1つを取得する
請求項3に記載の測定装置。
【請求項5】
前記肌部の温度のうち、所定の条件を満たす温度の分布を表す肌部分布領域を、前記温度分布画像から検出する条件領域検出部を
さらに含む請求項2に記載の測定装置。
【請求項6】
前記条件領域検出部は、前記肌部の温度のうち、第1の温度以上とされた第1の前記肌部分布領域、前記肌部の温度のうち、第2の温度未満とされた第2の前記肌部分布領域、又は前記肌部の温度のうち、所定範囲内の温度とされた第3の前記肌部分布領域の少なくとも1つを検出する
請求項5に記載の測定装置。
【請求項7】
前記温度取得部は、前記肌領域に基づき検知される前記肌部又は前記非肌部の少なくとも一方から放射される光線の強度に基づいて、前記肌部の温度、又は前記非肌部の温度の少なくとも一方を測定することにより取得する
請求項1に記載の測定装置。
【請求項8】
前記温度取得部により取得された温度に基づいて、前記温度の変化を検知する変化検知部と、
前記変化検知部の検知結果に応じた処理を実行する実行部と
をさらに含む請求項1に記載の測定装置。
【請求項9】
前記被写体に対して前記第1の波長の光を照射する第1の照射部と、
前記被写体に対して前記第2の波長の光を照射する第2の照射部と
をさらに含む請求項1に記載の測定装置。
【請求項10】
被写体の撮像を行なう撮像部を含む測定装置の測定方法において、
前記測定装置による、
前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出ステップと、
前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得ステップと
を含む測定方法。
【請求項11】
被写体の撮像を行なう撮像部を含む測定装置のコンピュータを、
前記被写体に対して第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記被写体に対して前記第1の波長よりも長波長である第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌部を表す肌領域を検出する肌検出部と、
前記肌領域に基づいて、前記肌部の温度、又は前記肌部とは異なる非肌部の温度の少なくとも一方を取得する温度取得部と
して機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−56011(P2013−56011A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2011−195620(P2011−195620)
【出願日】平成23年9月8日(2011.9.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】