情報処理装置、及び情報処理方法
【課題】物体の特定部分の温度分布を明瞭かつ容易に認識することである。
【解決手段】情報処理装置１０は、可視光画像と熱画像とを重ねて表示させる。情報処理装置１０は、可視光画像取得部１２と熱画像取得部１４とアプリケーション処理部１５とを有する。可視光画像取得部１２は、物体の可視光画像を取得する。熱画像取得部１４は、物体の温度分布を示す熱画像を取得する。アプリケーション処理部１５は、取得された可視光画像と熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。
【解決手段】情報処理装置１０は、可視光画像と熱画像とを重ねて表示させる。情報処理装置１０は、可視光画像取得部１２と熱画像取得部１４とアプリケーション処理部１５とを有する。可視光画像取得部１２は、物体の可視光画像を取得する。熱画像取得部１４は、物体の温度分布を示す熱画像を取得する。アプリケーション処理部１５は、取得された可視光画像と熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、及び情報処理方法に関する。
【背景技術】
【０００２】
従来、画像処理技術の発達に伴い、小型の表示装置においても、物体の可視光画像の表示や撮影の可能な携帯端末がある。これらの携帯端末の中には、可視光画像だけでなく、物体の温度分布を画面上で容易に認識可能とする熱画像（サーモグラフィ）を表示するものもある。可視光画像は、可視光が物体によって反射した光を結像したものであることから、携帯端末のユーザは、可視光画像の解像度によっては、肉眼によっても物体の細部まで視認することができる。これに対し、熱画像は、物体の有する表面温度の差を色で識別表示するものであることから、ユーザは、物体の外形を認識することはできるが、細部の状態まで視認することは困難である。近年、これらの画像の特徴を活かし、可視光画像と熱画像とを同一画面上に重ねて表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８１３２４号公報
【特許文献２】特開２００５−０３７３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、ユーザは、２つの画像を同時に見ることができるものの、同一の物体を撮像対象とする可視光画像と熱画像とを重ね合わせただけのため、一方の画像が他方の画像に埋もれてしまい、画像が見難くなってしまうという問題点があった。特に、物体における温度差が大きい場合には、ユーザは、周囲とは温度の異なる特定部分の温度分布を、より詳細に知りたいことが想定される。このような場合、２つの画像を重畳すると、特定部分の可視光画像が熱画像の色に埋もれてしまい、このことが、正確な温度分布を容易に認識することの妨げとなっていた。その結果、ユーザは、画面上の物体において、どの部位がどの程度の温度であるのかを明瞭に把握することが困難となっていた。
【０００５】
開示の技術は、上記に鑑みてなされたものであって、物体の特定部分の温度分布を明瞭かつ容易に認識することのできる情報処理装置、及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本願の開示する情報処理装置は、一つの態様において、可視光画像と熱画像とを重ねて表示させる。情報処理装置は、可視光画像取得部と熱画像取得部と表示制御部とを有する。可視光画像取得部は、物体の可視光画像を取得する。熱画像取得部は、前記物体の温度分布を示す熱画像を取得する。表示制御部は、取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。
【発明の効果】
【０００７】
本願の開示する情報処理装置の一つの態様によれば、物体の特定部分の温度分布を明瞭かつ容易に認識することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、情報処理装置の機能的構成を示す図である。
【図２】図２は、情報処理装置のハードウェア構成を示す図である。
【図３】図３は、情報処理装置の動作を説明するためのフローチャートである。
【図４】図４は、熱画像と可視光画像との対応付けを図るためのマトリックス情報の一例を示す図である。
【図５】図５は、可視光画像に対する輪郭特定処理を説明するためのフローチャートである。
【図６】図６は、熱画像の特定領域に対する表示形態変更処理を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本願の開示する情報処理装置、及び情報処理方法の実施例を、図面を参照しながら詳細に説明する。なお、以下の実施例により本願の開示する情報処理装置、及び情報処理方法が限定されるものではない。
【００１０】
以下、本願の開示する情報処理装置の実施例について、図面を参照しながら説明する。まず、本願の開示する一実施例に係る情報処理装置の構成を説明する。図１は、本実施例に係る情報処理装置１０の機能的構成を示す図である。図１に示すように、情報処理装置１０は、撮像部１１と、可視光画像取得部１２と、熱画像センサ１３と、熱画像取得部１４と、アプリケーション処理部１５とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能なように接続されている。
【００１１】
撮像部１１は、固体撮像素子と画像処理プロセッサとを有し、固体撮像素子により撮像された被写体としての物体の写真を、画像処理プロセッサによりデジタル画像データに変換する。撮像部１１は、このデジタル画像データを、可視光画像として可視光画像取得部１２に出力する。
【００１２】
可視光画像取得部１２は、後述するアプリケーション処理部１５から通知された撮影モードに応じて、撮像部１１に対する撮像手法の設定を行う。設定対象となる情報には、撮像画面のサイズ、フォーカス位置、フレームレート等が含まれる。また、可視光画像取得部１２は、撮像部１１から可視光画像を取得し、アプリケーション処理部１５に出力する。
【００１３】
熱画像センサ１３は、６４画素以上のサーモパイル素子がアレイ状に実装された非接触型のセンサであり、撮像部１１により撮像される被写体から放出される赤外線に基づいて、物体の表面温度を測定する。熱画像センサ１３は、当該測定された表面温度の差が色で識別表示された温度分布の画像データを、熱画像として熱画像取得部１４に出力する。なお、熱画像センサ１３は、赤外線アレイセンサであってもよい。赤外線アレイセンサは、撮像部１１の被写体から放射される赤外線を受光し、焦電効果を利用して被写体の表面温度をセンシングする。
【００１４】
熱画像取得部１４は、熱画像センサ１３から所定周期で入力される温度の情報を素子毎に保持及び管理する。熱画像取得部１４は、例えば、可視光画像取得部１２が撮像部１１から可視光画像を取得する契機に応じて熱画像センサ１３から熱画像を取得し、アプリケーション処理部１５に出力する。なお、熱画像取得部１４は、可視光画像取得部１２の動作とは関係なく、熱画像センサ１３から熱画像を取得してもよい。
【００１５】
アプリケーション処理部１５は、可視光画像取得部１２により取得された可視光画像と、熱画像取得部１４により取得された熱画像とを用いて、後述のマトリックス情報から、周囲の温度と異なる部分を特定する。アプリケーション処理部１５は、当該特定部分の熱画像を、他の部分とは異なる表示形態、すなわち、他の部分よりも高い画素数あるいは高い透過度で表示装置に表示させる。例えば、アプリケーション処理部１５は、熱画像上で周囲と温度が異なる領域に相当する可視光画像の輝度を基に、当該領域の境界を画定する輪郭を特定するため、輪郭特定処理を実行する。また、アプリケーション処理部１５は、輪郭特定処理により特定された輪郭内の可視光画像に相当する熱画像の表示形態を、高画素数または高透過度とするため、表示形態変更処理を実行する。すなわち、表示形態の変更前には、熱画像の画素数は、可視光画像の画素数よりも少ないが、アプリケーション処理部１５は、後述する表示形態変更処理の実行により、熱画像の画素数の値を従前より増加させ、可視光画像の画素数と同等若しくはそれ以上の値に変更する。
【００１６】
なお、上述した情報処理装置１０は、物理的には、例えば携帯電話によって実現される。図２は、情報処理装置１０としての携帯電話のハードウェア構成を示す図である。図２に示すように、情報処理装置１０は、物理的には、ＣＰＵ（Central Processing Unit）１０ａと、カメラ１０ｂと、熱画像センサ１０ｃと、メモリ１０ｄと、表示装置１０ｅと、アンテナＡを有する無線部１０ｆとを有する。撮像部１１は、上述したように、カメラ１０ｂにより実現される。可視光画像取得部１２、熱画像取得部１４、アプリケーション処理部１５は、例えばＣＰＵ１０ａ等の集積回路によって実現される。また、可視光画像及び熱画像の各データは、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)、フラッシュメモリ等のメモリ１０ｄに保持される。可視光画像及び熱画像の重畳表示は、ＬＣＤ（Liquid Crystal Display）等の表示装置１０ｅにより実現される。
【００１７】
次に、情報処理装置１０の動作を説明する。
【００１８】
図３は、情報処理装置１０の動作を説明するためのフローチャートである。ユーザが、情報処理装置１０の表示制御アプリケーションを起動すると（Ｓ１）、アプリケーション処理部１５は、撮影モードを「熱画像」として、その旨を可視光画像取得部１２に通知する（Ｓ２）。当該通知を受けた可視光画像取得部１２は、撮像部１１に対して、撮像画面のサイズ、フォーカス位置、フレームレート等の設定を行う（Ｓ３）。例えば、「熱画像」モード以外のモードとしては、被写体の可視光画像のみを撮像の対象とするモード（以下、「可視光画像モード」と記す。）がある。情報処理装置１０は、可視光画像モードでは、レンズと被写体とのフォーカス距離を算出し、露光により被写体表面から得られた反射光を撮像素子において結像し、ＡＤ（Analog to Digital）変換した後、そのデータを可視光画像として、メモリ１０ｄに記録する。これに対して、熱画像モードでは、情報処理装置１０は、可視光画像に加えて、熱画像を撮像の対象とする。熱画像モードでは、情報処理装置１０は、被写体から放射されている赤外線を検出し、その強度から被写体表面の温度分布を測定する動作を行う。すなわち、情報処理装置１０は、被写体からレンズを介して集光された赤外線の放射エネルギー量を温度に換算し、温度に応じて画素単位で色付けを行った後、そのデータを熱画像として、上記可視光画像と併せて、メモリ１０ｄに記録する。
【００１９】
撮像部１１は、Ｓ３での設定内容に基づき被写体を撮像すると、撮像結果としての可視光画像を可視光画像取得部１２に出力する。可視光画像取得部１２は、当該可視光画像を撮像部１１から入力し、これをアプリケーション処理部１５に出力する（Ｓ４）。アプリケーション処理部１５は、入力された可視光画像のデータをメモリ１０ｄに保持させる。
【００２０】
一方、熱画像取得部１４では、熱画像センサ１３から所定周期で入力される熱画像のデータ（温度分布像データ）を取得し、これをアプリケーション処理部１５に出力する（Ｓ５）。アプリケーション処理部１５は、入力された熱画像のデータをメモリ１０ｄに保持させる。
【００２１】
アプリケーション処理部１５は、予めマッチングされた、メモリ１０ｄ内のマトリックス情報を参照して、輪郭特定処理（Ｓ６）及び表示形態変更処理（Ｓ７）を実行する。このとき参照されるマトリックス情報の一例を図４に示す。図４は、熱画像と可視光画像との対応付けを図るためのマトリックス情報１５１の一例を示す図である。図４に示すように、マトリックス情報１５１においては、３２０行、６４０列分の温度値、並びにＹ値及びＵＶ値が、情報処理装置１０の表示画面の全ての画素（６４０×３２０画素）に対応付けて保持されている。各温度値は、熱画像センサ１３により測定された物体の表面温度を表す値である。また、各Ｙ値は、可視光画像における輝度信号Ｙの値を表し、各ＵＶ値は、可視光画像における２つの色差信号Ｕ，Ｖの値を表す。これらの値は、物体の移動や表面温度の変化に伴い、個別かつ随時に更新可能に保持されている。
【００２２】
以下、図５を参照しながら、Ｓ６の輪郭特定処理について説明する。
【００２３】
図５は、可視光画像に対する輪郭特定処理を説明するためのフローチャートである。図５のＳ６１では、アプリケーション処理部１５は、Ｓ４及びＳ５で保持された、同サイズの可視光画像と熱画像の各データを、メモリ１０ｄから取得する。次に、アプリケーション処理部１５は、可視光画像データにおける１画素毎のＹ値及びＵＶ値と、熱画像データにおける１画素毎の温度値とを、上記マトリックス情報１５１として取得し、メモリ１０ｄに保持させる（Ｓ６２）。マトリックス情報１５１の取得は、各データの上から１行ずつ、かつ、１画素毎に行われる。
【００２４】
アプリケーション処理部１５は、マトリックス情報１５１を基に、隣接する画素との温度差が７℃以上あるか否かの判定を行う（Ｓ６３）。かかる判定についても、熱画像データの上から１行ずつ、かつ、１画素毎に行われる。上記判定の結果、隣接する画素との温度差が７℃以上ある場合には（Ｓ６３；Ｙｅｓ）、アプリケーション処理部１５は、その画素の行及び列のペア値を、「位置情報」としてメモリ１０ｄに保持させる（Ｓ６４）。これに対して、隣接する画素との温度差が７℃未満である場合には（Ｓ６３；Ｎｏ）、アプリケーション処理部１５は、Ｓ６４の処理を省略して、Ｓ６５の処理に移行する。
【００２５】
Ｓ６３及びＳ６４の各処理は、熱画像データ上の全ての画素について繰り返し実行され（Ｓ６５；Ｙｅｓ）、上記判定の行われていない残りの画素が無くなった時点（Ｓ６５；Ｎｏ）で、アプリケーション処理部１５は、Ｓ６６以降の処理に移行する。
【００２６】
Ｓ６６では、アプリケーション処理部１５は、マトリックス情報１５１を基に、隣接する画素との輝度差（Ｙ値の差）が、２５６階調で４０階調以上あるか否かの判定を行う。かかる判定処理は、可視光画像データ上の全ての画素に対してではなく、Ｓ６４において保持された、温度差のある画素の位置情報に相当する領域に対してのみ実行される。すなわち、アプリケーション処理部１５は、温度差が小さい（７℃未満）と判定された領域については輝度差の判定処理を実行しない。したがって、全ての画素について実行する場合と比較して、輪郭特定処理に係る処理負荷が軽減されると共に、処理速度が向上する。
【００２７】
Ｓ６６における判定の結果、隣接する画素との輝度差が４０階調以上ある場合には（Ｓ６６；Ｙｅｓ）、アプリケーション処理部１５は、その画素に相当する位置情報（Ｓ６４で保持された位置情報）を、「輪郭情報」としてメモリ１０ｄに保持させる（Ｓ６７）。これに対して、隣接する画素との輝度差が４０階調未満である場合には（Ｓ６６；Ｎｏ）、アプリケーション処理部１５は、Ｓ６７の処理を省略して、Ｓ６８以降の処理に移行する。
【００２８】
なお、アプリケーション処理部１５は、周囲との温度差が認められた全ての画素について、輝度差の判定処理を行うのではなく、温度差のある領域と他の領域との境界付近についてのみ、輝度差の判定処理を行うものとしてもよい。この場合、アプリケーション処理部１５は、温度差のある領域内部における輝度差を認識することができないため、当該領域内部の輪郭を特定することはできないが、当該領域と他の領域との境界付近における輝度差を認識することはできる。したがって、かかる態様においても、アプリケーション処理部１５は、温度差のある領域を囲う部分（輪郭部分）を特定することはできる。更に、輝度差の判定は、境界付近についてのみ行われるため、温度差が大きい（７℃以上）と判定された領域についてのみ行われる場合と比較してもなお、限定された領域に対して行われることになる。換言すれば、輝度差の判定処理の対象は、輪郭を特定するために最小限必要な画素に留まる。したがって、輪郭特定処理に係る処理負荷は軽減され、処理速度は向上する。
【００２９】
Ｓ６６及びＳ６７の各処理は、周囲と温度差があると判定された、可視光画像データ上の全ての画素について繰り返し実行され（Ｓ６８；Ｙｅｓ）、上記判定の行われていない残りの画素が無くなった時点（Ｓ６８；Ｎｏ）で、Ｓ６９以降の処理に移行する。
【００３０】
Ｓ６９では、アプリケーション処理部１５は、Ｓ６４で保持された位置情報の内、Ｓ６７で輪郭情報として保持された位置情報の範囲内に属する画素を、「輪郭内情報」として保持する。これにより、物体において周囲と温度の異なる部分が、輪郭内情報を基に、可視光画像データ上で特定可能となる。
【００３１】
次に、図６を参照しながら、Ｓ７の表示形態変更処理について説明する。
【００３２】
図６は、熱画像の特定領域に対する表示形態変更処理を説明するためのフローチャートである。Ｓ７１では、アプリケーション処理部１５は、高画素数表示、高透過度表示の内、何れの表示形態が指示されているかを判定する。表示形態は、予め高画素数表示に設定されているが、自動またはユーザの手動操作により、高透過度表示に切替え可能である。
【００３３】
Ｓ７１において、表示形態として「高画素数表示」が指示されている場合（Ｓ７１；高画素数表示）には、アプリケーション処理部１５は、輪郭内情報に相当する領域の熱画像の画素数を増加させる（Ｓ７２）。以下、情報処理装置１０が、最大で１２００×６００の画素数による表示が可能な表示装置１０ｅを備える場合を例に採り、熱画像の画素数を増加させる方法について具体的に説明する。情報処理装置１０は、輪郭内の表示形態を変更する前においては、例えば４００×２００の画素数により表示していた熱画像の画素数を、Ｓ７２において、例えば６００×３００または１２００×６００の画素数に変更する。すなわち、表示形態の変更前は、アプリケーション処理部１５は、表示形態の変更対象となる領域の熱画像データを構成する最小画素の内、左上端に位置する最小画素を特定し、当該画素から３行３列分の画素の温度値の平均値を温度値としていた。Ｓ７２における表示形態の変更に際し、アプリケーション処理部１５は、Ｓ６９で保持された輪郭内情報から、表示形態を変更する領域を特定し、当該領域に該当する熱画像データを構成する最小画素の内、左上端に位置する最小画素を特定する。次に、アプリケーション処理部１５は、特定された左上端の画素を基点として、ｘ行ｘ列分（ｘ＝２または１）の画素の温度値の平均値を算出し、この平均値を新たな温度値とすることで、マトリックス情報１５１を更新する。これに伴い、上記平均値の算出対象となる最小画素の数は、３行３列分（９画素）から、２行２列分（４画素）または１行１列分（１画素）に減少する。これにより、輪郭内情報に相当する領域の熱画像データは、従前より高い画素数（例えば、６００×３００画素）で温度分布がマッピングされたデータに更新される。
【００３４】
Ｓ７１において、表示形態として「高透過度表示」が指示されている場合（Ｓ７１；高透過度表示）には、アプリケーション処理部１５は、Ｓ６９で保持された輪郭内情報に相当する領域の熱画像の表示色の透過度を増加させる（Ｓ７３）。これにより、輪郭内情報に相当する領域の熱画像データは、従前より高い透過度で温度分布がマッピングされたデータに更新される。なお、従前より高い透過度とは、輪郭外における透過度が０％であり、領域内における従前の透過度が２０％である場合、例えば５０％程度である。
【００３５】
図３に戻り、Ｓ８では、アプリケーション処理部１５は、Ｓ４で入力された可視光画像、及びＳ５で入力された熱画像の各データを重畳させて、表示装置１０ｅに表示させる。
【００３６】
以上説明したように、本実施例に係る情報処理装置１０は、可視光画像と熱画像とを重ねて表示させる。情報処理装置１０は、可視光画像取得部１２と熱画像取得部１４とアプリケーション処理部１５とを有する。可視光画像取得部１２は、物体の可視光画像を取得し、熱画像取得部１４は、物体の温度分布を示す熱画像を取得する。アプリケーション処理部１５は、取得された可視光画像と熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。これにより、情報処理装置１０に表示させる画像上において、周囲とは温度差のある物体の特定部分が、他の部分とは異なる表示形態で表示されるため、ユーザは、物体の特定部分の温度分布を明瞭かつ容易に認識することができる。また、情報処理装置１０は、上記特定部分についてのみ表示形態を変更する。したがって、画像全体について表示形態を変更する場合と比較して、処理の対象となる画像領域は減少する。その結果、表示制御に係る処理負荷が軽減されると共に、処理速度が向上する。
【００３７】
特に、アプリケーション処理部１５は、特定部分の熱画像を、他の部分よりも高い画素数で表示させることができる。すなわち、情報処理装置１０は、周囲とは温度差のある物体の特定部分を、他の部分よりも高い画素数で表示させると共に、それ以外の部分を、従前の画素数で表示させる。これにより、物体の特定部分の温度分布が詳細に表示される。熱画像上の温度分布が詳細に表示されると、ユーザは、その熱画像から部位の判別をし易くなるため、物体の部位と表面温度との対応関係を、より明確に認識することが可能となる。
【００３８】
更に、アプリケーション処理部１５は、特定部分の熱画像を、他の部分よりも高い透過度で表示させることができる。すなわち、情報処理装置１０は、周囲とは温度差のある物体の特定部分を、他の部分よりも高い透過度で表示させると共に、それ以外の部分を、従前の透過度で表示させる。これにより、物体の特定部分の可視光画像は、熱画像（温度分布の色）を透過してユーザの目に届き、熱画像に隠れることなく見易い状態で表示される。可視光画像が表示されると、ユーザは、その可視光画像を基に部位の判別をし易くなるため、併せて表示されている熱画像を参照することで、物体の部位と表面温度との対応関係を、より明確に認識することが可能となる。
【００３９】
なお、上記実施例では、本願の開示する情報処理装置１０では、輪郭内の表示形態は、高解像度または高透過度の何れかに択一的に設定されるものとしたが、輪郭内の表示形態は、高解像度かつ高透過度による表示であってもよい。かかる態様によれば、より詳細な温度分布の判る高解像度表示によるメリットと、可視光画像から物体の部位を判別し易い高透過度表示によるメリットとを併有することで、可視光画像と熱画像との詳細な照合を簡易迅速に行うことができる。その結果、物体の特定部分に対応する輪郭内の温度分布を、より明瞭かつ容易に認識することが可能となる。より具体的には、例えば、物体が人体若しくはその一部である場合、ユーザは、人体のどの部位がどれ位の温度であるかを具体的に（高画素数）かつ明確に（高透過度）判別可能となる。また、例えば、物体が人体以外（天ぷら油や哺乳瓶）である場合、同一画像内に、同程度の温度の別の物体があると、熱画像のみからでは、何れの物体が測定対象であるかの判別が困難である。この場合、情報処理装置１０は、熱画像の透過度を上げて、明瞭な可視光画像を併せて表示させる。これにより、ユーザは、画像上に複数存在する物体の内、何れの物体が測定対象であるかを明確かつ容易に判別可能となる。
【００４０】
また、輪郭内の表示形態の選択に関し、上記実施例では、表示形態は、予め高画素数表示に設定されているものとした。しかしながら、情報処理装置１０は、これに限らず、表示形態の選択基準を設定しておき、その基準を満たすか否かに応じて、何れかの表示形態が自動的に選択されるものとしてもよい。選択基準としては、例えば、上記輪郭内に属する画素のマトリックス情報（温度値）の平均値が、人体の発する温度の範囲内にあるか否かを用いることができる。すなわち、輪郭内の温度値が体温程度（３０〜３８℃程度）でない場合には、情報処理装置１０は、表示形態として高画素数表示を選択し、反対に、輪郭内の温度値が体温程度である場合には、高透過度表示を選択する。
【００４１】
輪郭内の温度値が体温程度の場合には、その輪郭内の物体は人体若しくはその一部である可能性が高い。人体は、部位による温度差が小さいため、温度差による部位の識別が困難であることから、詳細な温度分布の表示よりも、部位の識別の容易性を優先させることが望ましい。すなわち、画像から部位を容易に識別可能とするため、可視光画像を見易くすることが望ましい。そこで、情報処理装置１０は、高透過度表示を表示形態として選択する。これに対して、輪郭内の温度値が体温程度以外の場合には、その輪郭内の物体は人体若しくはその一部でない可能性が高い。人体以外の物体（例えば、天ぷら油）は、人体と比較して場所による温度の違いが大きいため、温度差による場所の識別が比較的容易であり、また識別する必要性も高いことから、場所の識別容易性よりも、詳細な温度分布の表示を優先させることが望ましい。すなわち、画像から詳細な温度分布を容易に視認可能とすべく、熱画像の解像度を増加させることが望ましい。そこで、情報処理装置１０は、高画素数表示を表示形態として選択する。
【００４２】
上述したように、情報処理装置１０は、所定の基準に従い、被写体としての物体の種類や状態に応じて、表示形態を適宜変更することで、より物体に適した形態での画像表示を行うことができる。したがって、情報処理装置１０は、異なる複数の表示形態（高画素数表示、高透過度表示）それぞれの利点を活かした木目細やかな表示制御を実現することが可能となる。その結果、情報処理装置１０の利便性、実用性が向上する。
【００４３】
更に、上記実施例では、情報処理装置１０は、輪郭の特定（輪郭部分の認識）に、可視光画像の輝度差を用いるものとしたが、これに限らず、色味の差を用いてもよい。色味は、輝度と比較して差分の認識が困難であることから、輝度を補填するものとして、輝度と組み合わせて用いることが好ましいが、単独で用いてもよい。情報処理装置１０は、輪郭の特定に輝度と色味を併用することで、より正確な輪郭の特定が可能となり、ユーザは、温度の異なる部分を明確かつ詳細に把握することができる。
【００４４】
また、上記実施例では、情報処理装置１０は、温度が周囲と異なる部分の表示形態を変更するものとしたが、これに限らず、熱画像上の色の属性（明度、彩度、色相など）が異なる部分の表示形態を変更するものとしてもよい。
【符号の説明】
【００４５】
１０ 情報処理装置
１０ａ ＣＰＵ
１０ｂ カメラ
１０ｃ 熱画像センサ
１０ｄ メモリ
１０ｅ 表示装置
１０ｆ 無線部
１１ 撮像部
１２ 可視光画像取得部
１３ 熱画像センサ
１４ 熱画像取得部
１５ アプリケーション処理部
１５１ マトリックス情報
【技術分野】
【０００１】
本発明は、情報処理装置、及び情報処理方法に関する。
【背景技術】
【０００２】
従来、画像処理技術の発達に伴い、小型の表示装置においても、物体の可視光画像の表示や撮影の可能な携帯端末がある。これらの携帯端末の中には、可視光画像だけでなく、物体の温度分布を画面上で容易に認識可能とする熱画像（サーモグラフィ）を表示するものもある。可視光画像は、可視光が物体によって反射した光を結像したものであることから、携帯端末のユーザは、可視光画像の解像度によっては、肉眼によっても物体の細部まで視認することができる。これに対し、熱画像は、物体の有する表面温度の差を色で識別表示するものであることから、ユーザは、物体の外形を認識することはできるが、細部の状態まで視認することは困難である。近年、これらの画像の特徴を活かし、可視光画像と熱画像とを同一画面上に重ねて表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８１３２４号公報
【特許文献２】特開２００５−０３７３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、ユーザは、２つの画像を同時に見ることができるものの、同一の物体を撮像対象とする可視光画像と熱画像とを重ね合わせただけのため、一方の画像が他方の画像に埋もれてしまい、画像が見難くなってしまうという問題点があった。特に、物体における温度差が大きい場合には、ユーザは、周囲とは温度の異なる特定部分の温度分布を、より詳細に知りたいことが想定される。このような場合、２つの画像を重畳すると、特定部分の可視光画像が熱画像の色に埋もれてしまい、このことが、正確な温度分布を容易に認識することの妨げとなっていた。その結果、ユーザは、画面上の物体において、どの部位がどの程度の温度であるのかを明瞭に把握することが困難となっていた。
【０００５】
開示の技術は、上記に鑑みてなされたものであって、物体の特定部分の温度分布を明瞭かつ容易に認識することのできる情報処理装置、及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本願の開示する情報処理装置は、一つの態様において、可視光画像と熱画像とを重ねて表示させる。情報処理装置は、可視光画像取得部と熱画像取得部と表示制御部とを有する。可視光画像取得部は、物体の可視光画像を取得する。熱画像取得部は、前記物体の温度分布を示す熱画像を取得する。表示制御部は、取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。
【発明の効果】
【０００７】
本願の開示する情報処理装置の一つの態様によれば、物体の特定部分の温度分布を明瞭かつ容易に認識することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、情報処理装置の機能的構成を示す図である。
【図２】図２は、情報処理装置のハードウェア構成を示す図である。
【図３】図３は、情報処理装置の動作を説明するためのフローチャートである。
【図４】図４は、熱画像と可視光画像との対応付けを図るためのマトリックス情報の一例を示す図である。
【図５】図５は、可視光画像に対する輪郭特定処理を説明するためのフローチャートである。
【図６】図６は、熱画像の特定領域に対する表示形態変更処理を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本願の開示する情報処理装置、及び情報処理方法の実施例を、図面を参照しながら詳細に説明する。なお、以下の実施例により本願の開示する情報処理装置、及び情報処理方法が限定されるものではない。
【００１０】
以下、本願の開示する情報処理装置の実施例について、図面を参照しながら説明する。まず、本願の開示する一実施例に係る情報処理装置の構成を説明する。図１は、本実施例に係る情報処理装置１０の機能的構成を示す図である。図１に示すように、情報処理装置１０は、撮像部１１と、可視光画像取得部１２と、熱画像センサ１３と、熱画像取得部１４と、アプリケーション処理部１５とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能なように接続されている。
【００１１】
撮像部１１は、固体撮像素子と画像処理プロセッサとを有し、固体撮像素子により撮像された被写体としての物体の写真を、画像処理プロセッサによりデジタル画像データに変換する。撮像部１１は、このデジタル画像データを、可視光画像として可視光画像取得部１２に出力する。
【００１２】
可視光画像取得部１２は、後述するアプリケーション処理部１５から通知された撮影モードに応じて、撮像部１１に対する撮像手法の設定を行う。設定対象となる情報には、撮像画面のサイズ、フォーカス位置、フレームレート等が含まれる。また、可視光画像取得部１２は、撮像部１１から可視光画像を取得し、アプリケーション処理部１５に出力する。
【００１３】
熱画像センサ１３は、６４画素以上のサーモパイル素子がアレイ状に実装された非接触型のセンサであり、撮像部１１により撮像される被写体から放出される赤外線に基づいて、物体の表面温度を測定する。熱画像センサ１３は、当該測定された表面温度の差が色で識別表示された温度分布の画像データを、熱画像として熱画像取得部１４に出力する。なお、熱画像センサ１３は、赤外線アレイセンサであってもよい。赤外線アレイセンサは、撮像部１１の被写体から放射される赤外線を受光し、焦電効果を利用して被写体の表面温度をセンシングする。
【００１４】
熱画像取得部１４は、熱画像センサ１３から所定周期で入力される温度の情報を素子毎に保持及び管理する。熱画像取得部１４は、例えば、可視光画像取得部１２が撮像部１１から可視光画像を取得する契機に応じて熱画像センサ１３から熱画像を取得し、アプリケーション処理部１５に出力する。なお、熱画像取得部１４は、可視光画像取得部１２の動作とは関係なく、熱画像センサ１３から熱画像を取得してもよい。
【００１５】
アプリケーション処理部１５は、可視光画像取得部１２により取得された可視光画像と、熱画像取得部１４により取得された熱画像とを用いて、後述のマトリックス情報から、周囲の温度と異なる部分を特定する。アプリケーション処理部１５は、当該特定部分の熱画像を、他の部分とは異なる表示形態、すなわち、他の部分よりも高い画素数あるいは高い透過度で表示装置に表示させる。例えば、アプリケーション処理部１５は、熱画像上で周囲と温度が異なる領域に相当する可視光画像の輝度を基に、当該領域の境界を画定する輪郭を特定するため、輪郭特定処理を実行する。また、アプリケーション処理部１５は、輪郭特定処理により特定された輪郭内の可視光画像に相当する熱画像の表示形態を、高画素数または高透過度とするため、表示形態変更処理を実行する。すなわち、表示形態の変更前には、熱画像の画素数は、可視光画像の画素数よりも少ないが、アプリケーション処理部１５は、後述する表示形態変更処理の実行により、熱画像の画素数の値を従前より増加させ、可視光画像の画素数と同等若しくはそれ以上の値に変更する。
【００１６】
なお、上述した情報処理装置１０は、物理的には、例えば携帯電話によって実現される。図２は、情報処理装置１０としての携帯電話のハードウェア構成を示す図である。図２に示すように、情報処理装置１０は、物理的には、ＣＰＵ（Central Processing Unit）１０ａと、カメラ１０ｂと、熱画像センサ１０ｃと、メモリ１０ｄと、表示装置１０ｅと、アンテナＡを有する無線部１０ｆとを有する。撮像部１１は、上述したように、カメラ１０ｂにより実現される。可視光画像取得部１２、熱画像取得部１４、アプリケーション処理部１５は、例えばＣＰＵ１０ａ等の集積回路によって実現される。また、可視光画像及び熱画像の各データは、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)、フラッシュメモリ等のメモリ１０ｄに保持される。可視光画像及び熱画像の重畳表示は、ＬＣＤ（Liquid Crystal Display）等の表示装置１０ｅにより実現される。
【００１７】
次に、情報処理装置１０の動作を説明する。
【００１８】
図３は、情報処理装置１０の動作を説明するためのフローチャートである。ユーザが、情報処理装置１０の表示制御アプリケーションを起動すると（Ｓ１）、アプリケーション処理部１５は、撮影モードを「熱画像」として、その旨を可視光画像取得部１２に通知する（Ｓ２）。当該通知を受けた可視光画像取得部１２は、撮像部１１に対して、撮像画面のサイズ、フォーカス位置、フレームレート等の設定を行う（Ｓ３）。例えば、「熱画像」モード以外のモードとしては、被写体の可視光画像のみを撮像の対象とするモード（以下、「可視光画像モード」と記す。）がある。情報処理装置１０は、可視光画像モードでは、レンズと被写体とのフォーカス距離を算出し、露光により被写体表面から得られた反射光を撮像素子において結像し、ＡＤ（Analog to Digital）変換した後、そのデータを可視光画像として、メモリ１０ｄに記録する。これに対して、熱画像モードでは、情報処理装置１０は、可視光画像に加えて、熱画像を撮像の対象とする。熱画像モードでは、情報処理装置１０は、被写体から放射されている赤外線を検出し、その強度から被写体表面の温度分布を測定する動作を行う。すなわち、情報処理装置１０は、被写体からレンズを介して集光された赤外線の放射エネルギー量を温度に換算し、温度に応じて画素単位で色付けを行った後、そのデータを熱画像として、上記可視光画像と併せて、メモリ１０ｄに記録する。
【００１９】
撮像部１１は、Ｓ３での設定内容に基づき被写体を撮像すると、撮像結果としての可視光画像を可視光画像取得部１２に出力する。可視光画像取得部１２は、当該可視光画像を撮像部１１から入力し、これをアプリケーション処理部１５に出力する（Ｓ４）。アプリケーション処理部１５は、入力された可視光画像のデータをメモリ１０ｄに保持させる。
【００２０】
一方、熱画像取得部１４では、熱画像センサ１３から所定周期で入力される熱画像のデータ（温度分布像データ）を取得し、これをアプリケーション処理部１５に出力する（Ｓ５）。アプリケーション処理部１５は、入力された熱画像のデータをメモリ１０ｄに保持させる。
【００２１】
アプリケーション処理部１５は、予めマッチングされた、メモリ１０ｄ内のマトリックス情報を参照して、輪郭特定処理（Ｓ６）及び表示形態変更処理（Ｓ７）を実行する。このとき参照されるマトリックス情報の一例を図４に示す。図４は、熱画像と可視光画像との対応付けを図るためのマトリックス情報１５１の一例を示す図である。図４に示すように、マトリックス情報１５１においては、３２０行、６４０列分の温度値、並びにＹ値及びＵＶ値が、情報処理装置１０の表示画面の全ての画素（６４０×３２０画素）に対応付けて保持されている。各温度値は、熱画像センサ１３により測定された物体の表面温度を表す値である。また、各Ｙ値は、可視光画像における輝度信号Ｙの値を表し、各ＵＶ値は、可視光画像における２つの色差信号Ｕ，Ｖの値を表す。これらの値は、物体の移動や表面温度の変化に伴い、個別かつ随時に更新可能に保持されている。
【００２２】
以下、図５を参照しながら、Ｓ６の輪郭特定処理について説明する。
【００２３】
図５は、可視光画像に対する輪郭特定処理を説明するためのフローチャートである。図５のＳ６１では、アプリケーション処理部１５は、Ｓ４及びＳ５で保持された、同サイズの可視光画像と熱画像の各データを、メモリ１０ｄから取得する。次に、アプリケーション処理部１５は、可視光画像データにおける１画素毎のＹ値及びＵＶ値と、熱画像データにおける１画素毎の温度値とを、上記マトリックス情報１５１として取得し、メモリ１０ｄに保持させる（Ｓ６２）。マトリックス情報１５１の取得は、各データの上から１行ずつ、かつ、１画素毎に行われる。
【００２４】
アプリケーション処理部１５は、マトリックス情報１５１を基に、隣接する画素との温度差が７℃以上あるか否かの判定を行う（Ｓ６３）。かかる判定についても、熱画像データの上から１行ずつ、かつ、１画素毎に行われる。上記判定の結果、隣接する画素との温度差が７℃以上ある場合には（Ｓ６３；Ｙｅｓ）、アプリケーション処理部１５は、その画素の行及び列のペア値を、「位置情報」としてメモリ１０ｄに保持させる（Ｓ６４）。これに対して、隣接する画素との温度差が７℃未満である場合には（Ｓ６３；Ｎｏ）、アプリケーション処理部１５は、Ｓ６４の処理を省略して、Ｓ６５の処理に移行する。
【００２５】
Ｓ６３及びＳ６４の各処理は、熱画像データ上の全ての画素について繰り返し実行され（Ｓ６５；Ｙｅｓ）、上記判定の行われていない残りの画素が無くなった時点（Ｓ６５；Ｎｏ）で、アプリケーション処理部１５は、Ｓ６６以降の処理に移行する。
【００２６】
Ｓ６６では、アプリケーション処理部１５は、マトリックス情報１５１を基に、隣接する画素との輝度差（Ｙ値の差）が、２５６階調で４０階調以上あるか否かの判定を行う。かかる判定処理は、可視光画像データ上の全ての画素に対してではなく、Ｓ６４において保持された、温度差のある画素の位置情報に相当する領域に対してのみ実行される。すなわち、アプリケーション処理部１５は、温度差が小さい（７℃未満）と判定された領域については輝度差の判定処理を実行しない。したがって、全ての画素について実行する場合と比較して、輪郭特定処理に係る処理負荷が軽減されると共に、処理速度が向上する。
【００２７】
Ｓ６６における判定の結果、隣接する画素との輝度差が４０階調以上ある場合には（Ｓ６６；Ｙｅｓ）、アプリケーション処理部１５は、その画素に相当する位置情報（Ｓ６４で保持された位置情報）を、「輪郭情報」としてメモリ１０ｄに保持させる（Ｓ６７）。これに対して、隣接する画素との輝度差が４０階調未満である場合には（Ｓ６６；Ｎｏ）、アプリケーション処理部１５は、Ｓ６７の処理を省略して、Ｓ６８以降の処理に移行する。
【００２８】
なお、アプリケーション処理部１５は、周囲との温度差が認められた全ての画素について、輝度差の判定処理を行うのではなく、温度差のある領域と他の領域との境界付近についてのみ、輝度差の判定処理を行うものとしてもよい。この場合、アプリケーション処理部１５は、温度差のある領域内部における輝度差を認識することができないため、当該領域内部の輪郭を特定することはできないが、当該領域と他の領域との境界付近における輝度差を認識することはできる。したがって、かかる態様においても、アプリケーション処理部１５は、温度差のある領域を囲う部分（輪郭部分）を特定することはできる。更に、輝度差の判定は、境界付近についてのみ行われるため、温度差が大きい（７℃以上）と判定された領域についてのみ行われる場合と比較してもなお、限定された領域に対して行われることになる。換言すれば、輝度差の判定処理の対象は、輪郭を特定するために最小限必要な画素に留まる。したがって、輪郭特定処理に係る処理負荷は軽減され、処理速度は向上する。
【００２９】
Ｓ６６及びＳ６７の各処理は、周囲と温度差があると判定された、可視光画像データ上の全ての画素について繰り返し実行され（Ｓ６８；Ｙｅｓ）、上記判定の行われていない残りの画素が無くなった時点（Ｓ６８；Ｎｏ）で、Ｓ６９以降の処理に移行する。
【００３０】
Ｓ６９では、アプリケーション処理部１５は、Ｓ６４で保持された位置情報の内、Ｓ６７で輪郭情報として保持された位置情報の範囲内に属する画素を、「輪郭内情報」として保持する。これにより、物体において周囲と温度の異なる部分が、輪郭内情報を基に、可視光画像データ上で特定可能となる。
【００３１】
次に、図６を参照しながら、Ｓ７の表示形態変更処理について説明する。
【００３２】
図６は、熱画像の特定領域に対する表示形態変更処理を説明するためのフローチャートである。Ｓ７１では、アプリケーション処理部１５は、高画素数表示、高透過度表示の内、何れの表示形態が指示されているかを判定する。表示形態は、予め高画素数表示に設定されているが、自動またはユーザの手動操作により、高透過度表示に切替え可能である。
【００３３】
Ｓ７１において、表示形態として「高画素数表示」が指示されている場合（Ｓ７１；高画素数表示）には、アプリケーション処理部１５は、輪郭内情報に相当する領域の熱画像の画素数を増加させる（Ｓ７２）。以下、情報処理装置１０が、最大で１２００×６００の画素数による表示が可能な表示装置１０ｅを備える場合を例に採り、熱画像の画素数を増加させる方法について具体的に説明する。情報処理装置１０は、輪郭内の表示形態を変更する前においては、例えば４００×２００の画素数により表示していた熱画像の画素数を、Ｓ７２において、例えば６００×３００または１２００×６００の画素数に変更する。すなわち、表示形態の変更前は、アプリケーション処理部１５は、表示形態の変更対象となる領域の熱画像データを構成する最小画素の内、左上端に位置する最小画素を特定し、当該画素から３行３列分の画素の温度値の平均値を温度値としていた。Ｓ７２における表示形態の変更に際し、アプリケーション処理部１５は、Ｓ６９で保持された輪郭内情報から、表示形態を変更する領域を特定し、当該領域に該当する熱画像データを構成する最小画素の内、左上端に位置する最小画素を特定する。次に、アプリケーション処理部１５は、特定された左上端の画素を基点として、ｘ行ｘ列分（ｘ＝２または１）の画素の温度値の平均値を算出し、この平均値を新たな温度値とすることで、マトリックス情報１５１を更新する。これに伴い、上記平均値の算出対象となる最小画素の数は、３行３列分（９画素）から、２行２列分（４画素）または１行１列分（１画素）に減少する。これにより、輪郭内情報に相当する領域の熱画像データは、従前より高い画素数（例えば、６００×３００画素）で温度分布がマッピングされたデータに更新される。
【００３４】
Ｓ７１において、表示形態として「高透過度表示」が指示されている場合（Ｓ７１；高透過度表示）には、アプリケーション処理部１５は、Ｓ６９で保持された輪郭内情報に相当する領域の熱画像の表示色の透過度を増加させる（Ｓ７３）。これにより、輪郭内情報に相当する領域の熱画像データは、従前より高い透過度で温度分布がマッピングされたデータに更新される。なお、従前より高い透過度とは、輪郭外における透過度が０％であり、領域内における従前の透過度が２０％である場合、例えば５０％程度である。
【００３５】
図３に戻り、Ｓ８では、アプリケーション処理部１５は、Ｓ４で入力された可視光画像、及びＳ５で入力された熱画像の各データを重畳させて、表示装置１０ｅに表示させる。
【００３６】
以上説明したように、本実施例に係る情報処理装置１０は、可視光画像と熱画像とを重ねて表示させる。情報処理装置１０は、可視光画像取得部１２と熱画像取得部１４とアプリケーション処理部１５とを有する。可視光画像取得部１２は、物体の可視光画像を取得し、熱画像取得部１４は、物体の温度分布を示す熱画像を取得する。アプリケーション処理部１５は、取得された可視光画像と熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。これにより、情報処理装置１０に表示させる画像上において、周囲とは温度差のある物体の特定部分が、他の部分とは異なる表示形態で表示されるため、ユーザは、物体の特定部分の温度分布を明瞭かつ容易に認識することができる。また、情報処理装置１０は、上記特定部分についてのみ表示形態を変更する。したがって、画像全体について表示形態を変更する場合と比較して、処理の対象となる画像領域は減少する。その結果、表示制御に係る処理負荷が軽減されると共に、処理速度が向上する。
【００３７】
特に、アプリケーション処理部１５は、特定部分の熱画像を、他の部分よりも高い画素数で表示させることができる。すなわち、情報処理装置１０は、周囲とは温度差のある物体の特定部分を、他の部分よりも高い画素数で表示させると共に、それ以外の部分を、従前の画素数で表示させる。これにより、物体の特定部分の温度分布が詳細に表示される。熱画像上の温度分布が詳細に表示されると、ユーザは、その熱画像から部位の判別をし易くなるため、物体の部位と表面温度との対応関係を、より明確に認識することが可能となる。
【００３８】
更に、アプリケーション処理部１５は、特定部分の熱画像を、他の部分よりも高い透過度で表示させることができる。すなわち、情報処理装置１０は、周囲とは温度差のある物体の特定部分を、他の部分よりも高い透過度で表示させると共に、それ以外の部分を、従前の透過度で表示させる。これにより、物体の特定部分の可視光画像は、熱画像（温度分布の色）を透過してユーザの目に届き、熱画像に隠れることなく見易い状態で表示される。可視光画像が表示されると、ユーザは、その可視光画像を基に部位の判別をし易くなるため、併せて表示されている熱画像を参照することで、物体の部位と表面温度との対応関係を、より明確に認識することが可能となる。
【００３９】
なお、上記実施例では、本願の開示する情報処理装置１０では、輪郭内の表示形態は、高解像度または高透過度の何れかに択一的に設定されるものとしたが、輪郭内の表示形態は、高解像度かつ高透過度による表示であってもよい。かかる態様によれば、より詳細な温度分布の判る高解像度表示によるメリットと、可視光画像から物体の部位を判別し易い高透過度表示によるメリットとを併有することで、可視光画像と熱画像との詳細な照合を簡易迅速に行うことができる。その結果、物体の特定部分に対応する輪郭内の温度分布を、より明瞭かつ容易に認識することが可能となる。より具体的には、例えば、物体が人体若しくはその一部である場合、ユーザは、人体のどの部位がどれ位の温度であるかを具体的に（高画素数）かつ明確に（高透過度）判別可能となる。また、例えば、物体が人体以外（天ぷら油や哺乳瓶）である場合、同一画像内に、同程度の温度の別の物体があると、熱画像のみからでは、何れの物体が測定対象であるかの判別が困難である。この場合、情報処理装置１０は、熱画像の透過度を上げて、明瞭な可視光画像を併せて表示させる。これにより、ユーザは、画像上に複数存在する物体の内、何れの物体が測定対象であるかを明確かつ容易に判別可能となる。
【００４０】
また、輪郭内の表示形態の選択に関し、上記実施例では、表示形態は、予め高画素数表示に設定されているものとした。しかしながら、情報処理装置１０は、これに限らず、表示形態の選択基準を設定しておき、その基準を満たすか否かに応じて、何れかの表示形態が自動的に選択されるものとしてもよい。選択基準としては、例えば、上記輪郭内に属する画素のマトリックス情報（温度値）の平均値が、人体の発する温度の範囲内にあるか否かを用いることができる。すなわち、輪郭内の温度値が体温程度（３０〜３８℃程度）でない場合には、情報処理装置１０は、表示形態として高画素数表示を選択し、反対に、輪郭内の温度値が体温程度である場合には、高透過度表示を選択する。
【００４１】
輪郭内の温度値が体温程度の場合には、その輪郭内の物体は人体若しくはその一部である可能性が高い。人体は、部位による温度差が小さいため、温度差による部位の識別が困難であることから、詳細な温度分布の表示よりも、部位の識別の容易性を優先させることが望ましい。すなわち、画像から部位を容易に識別可能とするため、可視光画像を見易くすることが望ましい。そこで、情報処理装置１０は、高透過度表示を表示形態として選択する。これに対して、輪郭内の温度値が体温程度以外の場合には、その輪郭内の物体は人体若しくはその一部でない可能性が高い。人体以外の物体（例えば、天ぷら油）は、人体と比較して場所による温度の違いが大きいため、温度差による場所の識別が比較的容易であり、また識別する必要性も高いことから、場所の識別容易性よりも、詳細な温度分布の表示を優先させることが望ましい。すなわち、画像から詳細な温度分布を容易に視認可能とすべく、熱画像の解像度を増加させることが望ましい。そこで、情報処理装置１０は、高画素数表示を表示形態として選択する。
【００４２】
上述したように、情報処理装置１０は、所定の基準に従い、被写体としての物体の種類や状態に応じて、表示形態を適宜変更することで、より物体に適した形態での画像表示を行うことができる。したがって、情報処理装置１０は、異なる複数の表示形態（高画素数表示、高透過度表示）それぞれの利点を活かした木目細やかな表示制御を実現することが可能となる。その結果、情報処理装置１０の利便性、実用性が向上する。
【００４３】
更に、上記実施例では、情報処理装置１０は、輪郭の特定（輪郭部分の認識）に、可視光画像の輝度差を用いるものとしたが、これに限らず、色味の差を用いてもよい。色味は、輝度と比較して差分の認識が困難であることから、輝度を補填するものとして、輝度と組み合わせて用いることが好ましいが、単独で用いてもよい。情報処理装置１０は、輪郭の特定に輝度と色味を併用することで、より正確な輪郭の特定が可能となり、ユーザは、温度の異なる部分を明確かつ詳細に把握することができる。
【００４４】
また、上記実施例では、情報処理装置１０は、温度が周囲と異なる部分の表示形態を変更するものとしたが、これに限らず、熱画像上の色の属性（明度、彩度、色相など）が異なる部分の表示形態を変更するものとしてもよい。
【符号の説明】
【００４５】
１０ 情報処理装置
１０ａ ＣＰＵ
１０ｂ カメラ
１０ｃ 熱画像センサ
１０ｄ メモリ
１０ｅ 表示装置
１０ｆ 無線部
１１ 撮像部
１２ 可視光画像取得部
１３ 熱画像センサ
１４ 熱画像取得部
１５ アプリケーション処理部
１５１ マトリックス情報
【特許請求の範囲】
【請求項１】
可視光画像と熱画像とを重ねて表示させる情報処理装置において、
物体の可視光画像を取得する可視光画像取得部と、
前記物体の温度分布を示す熱画像を取得する熱画像取得部と、
取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる表示制御部と
を有することを特徴とする情報処理装置。
【請求項２】
前記表示制御部は、前記特定部分の熱画像を、他の部分よりも高い画素数で表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記特定部分の熱画像を、他の部分よりも高い透過度で表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
可視光画像と熱画像とを重ねて表示させる情報処理方法において、
物体の可視光画像と熱画像とを取得し、
取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる
ことを特徴とする情報処理方法。
【請求項１】
可視光画像と熱画像とを重ねて表示させる情報処理装置において、
物体の可視光画像を取得する可視光画像取得部と、
前記物体の温度分布を示す熱画像を取得する熱画像取得部と、
取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる表示制御部と
を有することを特徴とする情報処理装置。
【請求項２】
前記表示制御部は、前記特定部分の熱画像を、他の部分よりも高い画素数で表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記特定部分の熱画像を、他の部分よりも高い透過度で表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
可視光画像と熱画像とを重ねて表示させる情報処理方法において、
物体の可視光画像と熱画像とを取得し、
取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる
ことを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−２９５９（Ｐ２０１３−２９５９Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４３７６（Ｐ２０１１−１３４３７６）
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]