熱画像監視装置
【課題】本発明は、監視領域を赤外線カメラにて撮影した熱画像から電気設備の稼動状況を判定し、不必要な稼動と判定した場合に、利用者に警告することで省電力を図ることを目的とする。
【解決手段】熱画像上に予め設定した電気設備領域の温度から電気設備の稼働状況を判定し、電気設備領域以外の熱源の有無から人体の存否を判定し、上記電気設備の稼動状況と人体の存否に基づいて、電気設備の不要な稼動と判定した場合に警告手段により警告を行う。
【解決手段】熱画像上に予め設定した電気設備領域の温度から電気設備の稼働状況を判定し、電気設備領域以外の熱源の有無から人体の存否を判定し、上記電気設備の稼動状況と人体の存否に基づいて、電気設備の不要な稼動と判定した場合に警告手段により警告を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視領域を撮影した熱画像から監視領域内に不必要な電気設備の稼動があると判定した場合に利用者に警告を行う熱画像監視装置に関する。
【背景技術】
【０００２】
近年、地球温暖化により、省エネルギーは社会面、環境面、経済面で、必要不可欠なテーマとなっている。オフィスビル、テナント等だけでなく、一般家庭においても電力の無駄を排斥するために、パソコン、照明、暖房器具等の電気設備を無人のときはオフにすることを励行しているケースが多い。
特許文献１には、室内を撮影したカメラから取得した画像に所定時間変化がないと稼動中の室内に備えられた装置を停止する装置自動停止システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９９５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムでは監視を必要とする電気設備ごとに稼動監視手段が必要となる。またカメラで室内を撮影することはプライバシーの問題もあり抵抗感が強いという問題がある。本発明は上記課題を解決するために、取得した熱画像を画像処理して監視対象内で不必要な電気設備の稼動があれば適切に利用者に警告を行うことが可能な熱画像監視装置の実現を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の熱画像監視装置は、監視対象領域の熱画像を取得する熱画像取得手段と、前記電気設備の電気設備が存在する位置を電気設備領域として設定する領域設定手段と、前記電気設備領域を記憶する記憶手段と、前記熱画像中の前記電気設備領域の温度より前記電気設備の稼動状況を判定する電気設備監視手段と、前記熱画像中の前記電気設備領域を含まない領域の熱源の有無より人体が存在するか否かを判定する人体監視手段と、前記電気設備が不要に稼動されているか否かを前記電気設備の稼働状況と前記人体の存否に基づいて判定する判定手段と、前記判定結果に基づいて警告を行う警告手段を有することを特徴としている。
【０００６】
また、本発明に係る熱画像監視装置の前記判定手段は、前記人体監視手段により人体と判定された熱源が所定時間移動がなく、かつ、前記電気設備が稼動中である場合に前記電気設備が不要に稼動されていると判定することを特徴としている。
【０００７】
また、本発明に係る熱画像監視装置の前記判定手段は、前記電気設備が稼動中であり、かつ前記熱画像中に人体が不在の場合に電気設備の不要な稼動があると判定することを特徴としている。
【０００８】
また、本発明に係る熱画像監視装置の前記領域設定手段は、前記電気設備が照明設備である属性を設定可能であり、前記判定手段は、前記照明設備属性の電気設備が非稼動状態になったとき、他の稼動中の電気設備がある場合に電気設備の不要な稼動があると判定することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、熱画像上に設定した電気設備領域中の温度を監視して電気設備が稼動中であるか否かを判定し、さらに電気設備領域以外の熱源を人体と判定することで、電気設備の稼動状況と人体の存否に応じて、電気設備の不必要な稼動か否かを判定することができる。かかる判定を他の設備監視手段を必要とせず、熱画像の処理のみから行うことで低コストなシステムを実現可能とし、さらに熱画像を用いることで画像上で利用者の個人が特定されないため、利用者のプライバシーにも配慮した監視装置が実現できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る熱画像監視装置のブロック図である。
【図２】本発明に係る熱画像監視装置のフローチャートである。
【図３】本発明に係る電気設備監視のフローチャートである。
【図４】本発明に係る人体監視のフローチャートである。
【図５】本発明に係る状態フラグを記憶するテーブルの例である。
【図６】本発明に係る電気設備領域の設定を示す例である。
【図７】本発明に係る熱画像の取得例である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る熱画像監視装置を適用した実施形態について図を参照して説明する。
【００１２】
図１は、本実施形態に係る熱画像監視装置１のブロック図である。熱画像監視装置１は、大きく熱画像センサ３とコントローラ４により構成される。熱画像センサ３は例えば監視対象である室内の天井又は壁に設置され、コントローラ４はリビング、玄関付近の壁等の建物内の適切な場所に設置される。熱画像センサ３とコントローラ４間は無線または有線にて接続される。尚、図１の例では一つのコントローラ４に対し熱画像センサ３が一つ接続される構成を示しているが、熱画像センサ３を複数の室内ごとに設置し、一つのコントローラ４に複数の熱画像センサ３が接続されるようにすることも可能である。
【００１３】
以下、熱画像センサ３及びコントローラ４を構成する各部について説明する。熱画像センサ３は、赤外線カメラ３０、画像入力手段３１、制御部３２、電気設備監視手段３３、人体監視手段３４、記憶手段３５、照明監視手段３６、報知手段３７、通信手段３８から構成される。
【００１４】
熱画像センサ３は、監視対象である建物が無人で利用者以外の侵入者がいると検出する警備モード（外出モード）であるときは熱画像上の移動体検出結果より侵入者の有無を判定してコントローラ４に通報し、監視対象である建物が有人である警備モード（在宅モード或いは在宅警備モード）であるときは、熱画像から電気設備の稼動有無を監視し、電気の不要か稼動があると判定すると在宅中の利用者に警告を行う、或いはコントローラ４に通報し、コントローラ４から利用者に警告を行う。この警備モードについては後述する。
【００１５】
以下熱画像センサ３の各部について説明する。赤外線カメラ３０は、人体温度、電気設備の稼動時の温度に代表される波長領域に感度のあるカメラであり監視領域の熱画像を撮影して、画像入力手段３１へ出力する。画像入力手段３１は赤外線カメラ３０が撮影した熱画像を所定間隔フレームで取得する入力インターフェースである。制御部３２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、熱画像センサ３全体を制御する。また、本実施形態において制御部３２は、電気設備監視手段３３、人体監視手段３４、照明監視手段３６として機能する。また電気設備監視手段３３及び人体監視手段３４、或いは照明監視手段３６の出力結果より利用者に警告を行うか否かの異常判定を行う判定手段として機能する。
【００１６】
電気設備監視手段３３は、予め熱画像上の所定範囲に設定された電気設備領域の温度を計測して、電気設備の稼動状況を判定する。照明監視手段３６は、電気設備監視手段３３に含まれ、設定された電気機器領域の中で特に照明設備領域としての属性を有する領域に関する温度を計測し、照明設備の稼動状況を判定する。人体監視手段３４は、現フレームの熱画像と、前フレームの熱画像との差分を求め、上述の電気設備及び照明設備領域を除く領域（人体監視領域）内の高温領域の有無から人体の存否を判定する。
【００１７】
記憶手段３５は、ＲＡＭ、ＨＤＤ等で構成され、制御部３２で利用するプログラムやデータを保持する。また記憶手段３５は、後述の領域設定手段４３によりコンローラ４で設定された電気設備領域、照明領域の情報をコントローラ４から受信して記憶する。また各電器設備領域等における電気設備の稼動状況の管理情報、コントローラ４から送信される現在の警備モードの情報等を保持する。また、取得される熱画像を所定周期分記憶している。
【００１８】
報知手段３７は、音声、ランプ等により利用者に警告を行う手段であり、スピーカ、ＬＥＤ、ブザー等により構成される。通信手段３８は、コントローラ４との通信を行う通信インターフェースであり、有線又は無線にてコントローラと接続し、コントローラからの各種情報の受信及び、熱画像センサ３からの異常信号をコントローラ４に送信する。
【００１９】
次にコントローラ４を構成する各部について説明する。コントローラ４は、制御手段４１、表示手段４２、領域設定手段４３、通信手段４４、警報手段４５、モード設定手段４６、記憶手段４７から構成されている。
【００２０】
コントローラ４は、監視対象である建物の警備モードの設定や、熱画像センサ３による監視のための各電器設備領域、照明領域の設定や、熱画像センサ３への設定情報の送信、熱画像センサ３からの異常出力の受信等を行う。また、ここでは説明を省略するが、建物内に設置された他の侵入検知センサ、火災検知センサ、煙検知センサ等が異常検知した信号を受信して、必要に応じて遠隔の警備センター等へ通報を行ったりもする。
【００２１】
制御手段４１は、コントローラ４全体を統括制御する手段であり、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成される。
【００２２】
表示手段４２は液晶、有機ＥＬなどのディスプレイであり、各種設定情報をテキストで表示したり、熱画像による監視映像を表示する。
【００２３】
領域設定手段４３は、取得される熱画像中より電気設備の設置されている領域を利用者が指定して設定する。監視領域の設定方法は、例えば以下のように行う。いま、図６（a）に示すように室内にエアコン６０１、テレビ６０２、照明６０３が設置されているとする。
図６（ｂ）に図６（a）の状態で各電気設備をオンにした場合の赤外線カメラより取得した熱画像のイメージ図を示す。エアコン６０１、テレビ６０２、照明６０３に対応する熱画像上の高温領域が各々６０４、６０５、６０６を示す。
【００２４】
利用者（又は管理者）は初期設定としてディスプレイ等の表示手段４３に図６（ｂ）のような熱画像を表示させ、タッチパネル等を含む領域設定手段４２により、電気設備の領域を設定する。この際、監視領域内の電気設備はオンにしておく。利用者は、表示手段４２上で高温の場所を電気設備として個別に設定する。この設定方法は、タッチペン等により矩形領域を選択したり、指定したポイントの周辺領域を自動的に電気設備の領域として設定することができる。また、電気設備領域のうち、照明設備の領域６０６については当該領域が照明設備である旨の属性を付加して設定を行うことができる。
【００２５】
尚、本実施の形態では、設定された電気設備領域以外の領域を人が存在する可能性のある人体監視領域として取り扱うが、領域設定手段４３で、さらに人体が存在する可能性のない領域を利用者が指定し、利用者が指定した領域を除外した領域を人体監視領域として設定できるようにしてもよい。
【００２６】
設定された領域情報は、後述の通信手段４４を介して熱画像センサ３に送信され、熱画像センサ３の記憶手段３５に記憶される。
【００２７】
また、コントローラ４に設けている領域設定手段４３を熱画像センサ２に設け、電気設備領域を熱画像上の温度分布等により自動登録するようにすることもできる。また一度設定した領域を自動的にその位置を修正するような機能を設けることも可能である。例えば、熱画像上に移動を伴わずに出現し、所定時間移動がない高温領域を電気設備領域として設定することができる。人体であれば移動を伴って画像外から出現するため区別ができる。また、電気設備の発熱部分は方形状であることが多いため、上記自動設定の条件として熱画像中の高温領域の形状の条件も加えることも可能である。
【００２８】
また、設定済みの電気設備領域に関する修正を自動で行うような修正手段を設けるようにしてもよい。例えば、電気設備領域として設定済みの領域の近傍に、略同一の温度分布/形状の領域が存在し、かつ設定済みの領域内の全部又は一部の温度が低い場合は、設定済の電気設備領域の位置を修正することができる。これは、ストーブなどの移動可能な暖房器具は、その位置を利用者が変更する可能性があるためである。
【００２９】
同様に、一度設定済みの電気設備領域について所定期間以上電気設備の稼動がない場合は自動で設定済みの領域を削除するようにすることもできる。これは暖房器具等は冬にしか使わないため、季節によってはまったく稼動しないことが考えられるためである。
【００３０】
また、電気設備領域のうち、照明設備のある領域については照明である旨の属性を付加して設定を行うことができる。照明設備についても画像上部で固定かつ温度変化が急激であるものを照明領域として自動設定するようにしてもよい。
【００３１】
通信手段４４は、無線或いは有線を介して熱画像センサ３と通信を行う通信インタフェースであるとともに、電話回線、インターネットを介して遠隔の警備センタとの通信も行う通信インタフェース機能を有する。警報手段４５は、通信手段４４から受信した熱画像センサ３からの通報を受信し、後述の警備モードに応じて各種警報を行う手段であり、スピーカ、ＬＥＤ、ブザー等により構成される。
【００３２】
モード設定手段４６は、監視対象である建物の警備モードの設定、変更を行う。警備モードについて説明する。警備モードは、例えば、「外出モード」、「在宅モード」、「在宅警備モード」の３種類があり、これらの警備モードは利用者がモード設定手段４６を操作して設定、変更する。
【００３３】
警備モードのうち「外出モード」は、利用者が外出して建物が無人となる場合に設定され、「外出モード」中に熱画像センサ３および他の各種センサを通じて異常が検知された場合、その旨がコントローラ４に伝達される。警備モードとして「在宅モード」が設定された場合、利用者が在宅していることとなるので、たとえ侵入監視センサ等の内部監視センサが人を検知したとしても通報は抑制される。警備モードとして「在宅警備モード」が設定された場合、利用者が在宅しているが、外部からの侵入者は検出するので、窓開放検知センサ、ドア開放検知センサ等を通じて建物の外周やドアの開放などを検知し、コントローラ４にその旨通報する。
【００３４】
コントローラ４のモード設定手段４６で設定される警備モードの情報は通信手段４４より熱画像センサ３に送信される。熱画像センサ３はコントローラ４から送信された警備モードの情報を記憶手段３５に保持し、「在宅モード」或いは「在宅警備モード」において電気機器の稼動監視を行い、在室者の存否等に応じて不必要な電力使用がされていないかを監視する。
【００３５】
記憶手段４７は、各種プログラム、警備モード情報、各熱画像センサの状態、各センサのＩＤ等を記憶する手段であり、ＲＡＭ、ＨＤＤ等で構成される。
【００３６】
以上、本実施形態に係る熱画像監視装置を構成する各部の機能について説明した。次に本実施形態に係る熱画像監視装置の動作について図２から図４のフローチャートを用いて説明する。図２のステップＳ１０〜Ｓ８０までの動作は本実施形態に係る熱画像監視装置について熱画像カメラ３０から熱画像が所定周期で入力されるごとに実行されるものとする。
【００３７】
まず、ステップＳ１０において熱画像センサ３の画像入力手段３１に所定周期ごとに熱画像カメラ３０が撮像した熱画像が入力される。次に、ステップＳ２０で現在設定されている警備モードの判定が行われる。この警備モードの情報は、コントローラ４から熱画像センサ３に送られ、記憶されている。警備モードが外出モードである場合（ステップＳ２０−Ｙｅｓ）、熱画像センサ３ではステップＳ７０で入力された画像上の変化の有無より、侵入者の検出を判定する。侵入者が検出された場合はステップＳ８０でコントローラ４に対し、異常通報を送信する。画像変化に基づき侵入異常を判定する方法としては、公知の手法を用いることができ、本発明の範囲外であるのでここでは詳細な説明を省略する。
【００３８】
ステップＳ２０において外出モードでない場合（ステップＳ２０−Ｎｏ）、すなわち在宅警備モードと在宅モードのいずれかである場合、ステップＳ３０で電気設備の稼動監視、ステップＳ４０で人体監視が各々実施される。ステップＳ３０では、熱画像上に予め設定した電気設備領域内の温度を監視して監視領域内の電気設備の稼動状況を監視する。一方ステップＳ４０では、電気設備以外の領域について人体の存否を監視する。ステップＳ３０およびステップＳ４０はサブルーチン化されており、詳細については後述する。
【００３９】
ステップＳ５０では、監視領域内で電気設備の不要稼動の有無を電気設備の利用状況（ステップＳ３０）、人体の存否（ステップＳ４０）に基づいて予め定めた警告条件を満たすか否かにより判定する。ステップＳ６０ではステップＳ５０で警告条件を満たす場合は、警告手段により利用者に警告を行う。警告条件の判定についての詳細は後述する。
【００４０】
次に、ステップＳ３０の電気設備監視に関し、図３のフローチャートを用いて詳細に説明する。図３の処理は監視領域に電気設備領域が複数設定されているときは各々の領域に対し実行される。
【００４１】
本熱画像監視装置の実施の形態においては、各電気設備の稼動状態の判定として以下の３種類のフラグを設定する。電気設備が所定時間以上稼動中であると本稼動中フラグが１に設定される。そして当該電気設備が稼動を開始したと判定してから所定時間の計時中は予備稼動中として予備稼動中フラグが１に設定される。この予備稼動中フラグは所定時間の計時中に電気設備がオフになるか所定時間が経過して電気設備が本稼動中になると０にリセットされる。尚、本実施の形態では、この本稼動中（本稼動中フラグ＝１）又は予備稼動中（予備稼動中＝１）の状態を電気設備の稼動中であるとしている。
また、本稼動中または予備稼動中の電気設備がオフになった場合に停止フラグが１に設定される。これは主に照明設備がオフになった時点を検出する。停止フラグは熱画像が画像入力手段３１から熱画像が入力されるたびに０にリセットされる。これらの各フラグは電気設備領域ごとに個別に設定される。以下図３のフローチャートについて説明する。
【００４２】
まずステップＳ３００において上述のように停止フラグが０に設定される。次にステップＳ３０１において画像入力部３１から入力した熱画像上において各電気設備領域内ごとに、領域内における画素ごとの温度を求め、その平均値Ｔを算出し当該領域の温度を算出する。
【００４３】
ステップＳ３０２では、算出した温度が所定値Ｔｈ（例えば４０度）以上であるか否か判定する。この場合、熱画像領域以外の平均温度Ｔｂｇも求めておき、所定値Ｔｈをこの平均温度Ｔｂｇで補正するようにしてもよい。
【００４４】
ステップＳ３０３では、ステップＳ３０２において電気設備領域の温度が所定以上と判定（ステップＳ３０２−Ｙｅｓ）されると、電気設備が所定時間以上、既に稼動しているか否か（本稼動中フラグ＝１）を判定する。既に本稼動中である場合（ステップＳ３０３−Ｙｅｓ）、これは電気設備が所定時間以上稼動中であり、現在（現フレーム）でもその状態が継続しているということであるから、状態変化はないため、処理を終了し、他の電気設備領域に対する処理を行い、全ての電気設備領域に対する処理が終了すると図２のフローチャートに戻る。
【００４５】
ステップＳ３０３で電気設備が本稼動中でない場合（ステップＳ３０３−Ｎｏ）は、次にステップＳ３０４へ進み、稼動計時中であるか、即ち予備稼動中であるか（予備稼動中フラグ＝１）否か判定する。
【００４６】
予備稼動中でない場合は、前フレーム以前で稼動していなかった電気設備が稼動開始したことを意味するので、ステップＳ３０５で予備稼動中フラグを１とし、ステップＳ３０６で所定期間の計時タイマをスタートさせる。
【００４７】
ステップＳ３０４にて、予備稼動中である場合、前フレーム以前でも稼動していた電気設備であり、計時中であることを意味するので、ステップＳ３０７でタイマーがカウントアップしたか否かを判定する。まだタイムアップしていなければ（ステップＳ３０７―Ｎｏ）処理を終了し、他の電気設備領域に対する処理に移る。全ての電気設備領域に対する処理が終了していれば図２のフローチャートに戻る。
【００４８】
タイマーがカウントアップした場合（ステップＳ３０７−Ｙｅｓ）は、電気設備が稼動開始してから所定時間が経過したことを意味するので、ステップＳ３０８で本稼動中フラグを１に設定し、ステップＳ３０９で予備稼動中フラグを０にリセットし、図２のフローチャートへ戻る。
【００４９】
再びステップＳ３０２へ戻り、電気設備領域の温度Ｔが所定値Ｔｈ未満である場合の処理について説明する。ステップＳ３１０で電気設備が（前フレームまで）本稼動中となっているか否かが判定される。ここで現フレームにおいて電気設備領域の温度が所定値未満で本稼動中フラグが１である（ステップＳ３１０−Ｙｅｓ）ということは、前フレームでは本稼動中であった電気設備が現フレームでオフになったということを意味する。
【００５０】
同様にステップＳ３１３で予備稼動中であるということは前フレームで本稼動中であった電気設備がオフになったことを意味する。これら場合（ステップＳ３１０−Ｙｅｓ，ステップＳ３１３−Ｙｅｓ）、ステップＳ３１１で停止フラグを１に設定する。この停止フラグは稼動中（本稼動中又は予備稼動中）であった電気設備がオフに変化したことを検出するために用いる。具体的には電気設備領域の属性が照明設備である場合に照明設備がオフになったときに、他の電気設備が稼動中であるか否かの判定に用いる。ステップＳ３１１で停止フラグを１に設定すると、続いてステップＳ３１２で本稼動中フラグ又は予備稼動中フラグを０に変更して、他の電気設備領域に対する処理に移る。
【００５１】
ステップ３１０、ステップ３１３において電気設備が本稼動中でもなく予備稼動中でもない場合は前フレームから電気設備が稼動していないことを意味するので、その場合は何もせずに処理を終了し、他の電気設備領域に対する処理に移る。
【００５２】
以上で電気設備領域の処理について説明した。前述の通り、電気設備領域が複数設定されていれば、各電気設備領域について図３のフローチャートが実行され、すべての電気設備領域に対する処理が終了すると図２のフローチャートに戻る。
【００５３】
次に、Ｓ４０の人体監視処理について図４のフローチャートを用いて詳細に説明する。本熱画像監視装置の実施の形態においては、人体監視の判定として以下の２種類のフラグを設定する。後述の人体監視領域において人体がいると判定された場合は人体判定フラグが１に設定される。そして当該人体が所定時間以上動かないと判定された場合は静止判定フラグが１に設定される。当該静止判定フラグは人が居眠りをしてしまった場合等を想定して設定されるフラグである。従って、当該静止判定フラグは、静止中であった高温領域が移動すると０にリセットされる。そして人体と判定された高温領域が熱画像上から消失すると人体判定フラグは０にリセットされる。これら人体判定フラグと静止判定フラグは熱画像中で人体と判定された領域ごとに各々設定される。
【００５４】
ステップＳ４０１では熱画像上で電気設備領域として設定された領域以外を人体監視領域として当該領域内に熱源測定を行う。この測定は監視領域内に人体が不在の場合の熱画像を背景熱画像として記憶しておき、現フレームの熱画像と背景熱画像の差分を求め、差分として検出された領域が所定温度以上かつ、所定大きさ以上である場合に熱源とすることができる。或いは、監視領域に人体が不在時の人体監視領域の平均温度を算出しておき、当該平均温度よりも所定温度以上でかつ所定サイズ以上の高温領域の有無により熱源とするようにしてもよい。
【００５５】
ステップＳ４０２では、ステップＳ４０１で測定した人体監視領域内における熱源の有無を判定する。人体監視領域に熱源がないと判定された場合は、ステップＳ４１５に進む。これは、人体監視領域に元々人体が不在の場合と、前フレームで人体がいて、退出した場合の両方が考えられる。このいずれの場合でも各種設定フラグ、タイマの値は０に初期化される。
【００５６】
ステップＳ４０２で熱源があると判定された場合、ステップＳ４０３へ進む。ステップＳ４０３では、現フレームと前フレームを比較し、フレーム間差分を算出する。そしてステップＳ４０４ではフレーム間の差分に所定以上の変化があるか否かを判定する。このフレーム間差分により変化の有無の判定はフレーム間差分処理として知られている公知の手法を採用でき、ここでは説明を省略する。
【００５７】
ステップＳ４０４で画像差分があると判定された場合、ステップＳ４０５へ進む。画像差分がある場合は、前フレームで検出されていなかった熱源が新たに熱画像上に進入した場合と、前フレームで検出されていた熱源が移動した場合の双方が考えられる。そこでステップＳ４０５では、熱画像上で検出された熱源（高温領域）が前フレームに現れていなかった新熱源であるか否かが判定される。新熱源である場合は、熱画像外から新たな人体が画像範囲内に進入したとしてステップＳ４０６で人体判定フラグを１にして、図２のフローチャートへ戻る。
【００５８】
ステップＳ４０５で新熱源ではないと判定された場合、即ち前フレームで検出された熱源が移動したとみなせる場合である。異なるフレームにおける高温領域を同一物体として判定することは画像監視におけるトラッキング技術が採用できる。この手法も公知でありここでは説明を省略する。この場合、前フレームで静止中の物体が移動開始した場合であるので、ステップＳ４０７で静止判定フラグを０に再設定する。そしてステップＳ４０８で静止判定のタイマーがカウント中であればステップＳ４０９でタイマをリセットして図２のフローチャートへ戻る。この静止判定については後述する。
【００５９】
再び、ステップＳ４０４へ戻り、現フレームと前フレーム間の差分に変化がない場合（ステップＳ４０４−Ｎｏ）について説明する。この場合、熱源があるにも係わらず、画像差分がないということであるから、ステップＳ４１０で静止判定の計時中か否か判定する。そして計時中でなければ、ステップＳ４１２で静止判定の計時を開始する。
【００６０】
静止判定の計時中であれば（ステップＳ４１０−Ｙｅｓ）、ステップＳ４１３で所定時間以上、熱源が静止しているか否かが判定される。そして、所定時間が経過している場合はステップＳ４１４で静止判定フラグを１に設定し、図２のフローチャートへ戻る。同様に所定時間にまだ到達していなければ、図２のフローチャートへ戻る。
【００６１】
この静止判定は、人体監視領域にて検出された人体が所定時間以上動かない場合であり、居眠りをしているか、なんらかの身体に異常が合った場合かを判定するものである。
【００６２】
尚、移動可能な電気設備が、利用者が登録された位置とは異なる位置に移動させ、当該電気設備をオンにした場合にも静止条件を満たす場合がある。この場合は、前述のように画像外から移動を伴わずに画像内に出現し、その後まったく移動しない熱源は人体判定フラグを0にし、当該熱源を新たな電気設備領域として追加/修正設定するようにしてもよい。
【００６３】
以上のようにステップＳ４０の人体監視判定では、熱画像中の人体監視領域において所定温度以上かつ、所定大きさ以上の熱源の存在により人体が存在するか否か、また検出された人体が所定時間以上動いていないかを判定する。
【００６４】
再び、図２のフローチャートに戻り、ステップＳ５０の警告条件を満たすか否かの判定について説明する。本実態形態にかかる熱画像監視装置においては、熱画像処理結果より以下の３種類の場合について警告を行う。
１：照明設備がオフ時（停止フラグ＝１）に他の電気設備が稼動中（本稼動中フラグ＝１、又は予備稼動中フラグ＝１）の場合
２：人が不在時（人体判定フラグ＝０）に電気設備のいずれかが稼動中の場合（本稼動中フラグ＝１、又は予備稼動中フラグ＝１）
３：人が在室し（人体判定フラグ＝１）、かつ長時間動きがない（静止判定フラグ＝１）状態で、さらに電気設備が本稼動中の場合（本稼動中フラグ＝１）
【００６５】
電気設備の稼動状態、人体の存否、静止の状態は熱画像センサ３の記憶手段３５に図５のようなテーブルで管理している。図５の例では、説明のため時刻を表示させてあるが、時刻情報と関連づけて各電器設備の稼動状態等を記憶することは必須ではない。図５のテーブルには、電気設備領域として、図６の３つが設定されているとする。具体的にはエアコン（領域１）、テレビ（領域２）、照明（領域３＝照明１）である。
【００６６】
予備判定５０１は、電気設備監視手段３３により電気設備が稼動開始してからまだそれほど時間がたっていない場合に予備稼動中フラグ＝１が設定される。稼働判定５０２は電気設備監視手段３３により電気設備が稼動開始してから所定時間が経過すると本稼動中フラグ＝１が設定される。本稼動中フラグが１に設定されると予備稼動中フラグが０にリセットされる。停止判定５０３は照明監視手段３６により照明設備がオフに変化したときに停止フラグ＝１が設定される。本実施の形態では、この停止フラグは照明設備の停止時のみ記録するようにしている。
【００６７】
人体判定５０４は人体監視手段３４により人体監視領域内に人体が存在すると判定すると人体判定フラグが１に設定される。静止判定５０５は、存在すると判定された人体が所定時間停止している場合に静止判定フラグ＝１が設定される。次に図５の例を用いて具体的に説明する。
【００６８】
時刻０７：２０では、照明１の設備が消灯したことを示すフラグが１となっている。これにも係わらず領域１の電気設備（エアコン）と領域２の電気設備（テレビ）が本稼動中（又は予備稼動中）であることを示すフラグが１となっている。この場合は、エアコン、テレビの消し忘れと判定して警告を行う。この警告処理は人体の存否にかかわらず行われる。
【００６９】
次に、時刻１０：１０では、人体が不在であるにも係わらず、領域２の電気設備（テレビ）、照明１が本稼動中であることがわかる。この場合も、消し忘れと判定して警告を行う。
次に、時刻１８：４０の例を図７を用いて説明する。領域１の電気設備（エアコン）７０４、照明７０６が本稼動中で、人が存在する状態(人体１＝１)である。熱画像上では、例えば皮膚が露出している顔部分などが高温領域の熱源７０７として検出される。熱画像上では高温領域が検出されるのみで個人の特定はできない。また、手なども皮膚が露出するが、大きさが所定以下の領域は検出対象外として画像処理により除外される。また、図５の例では、人体が静止中であるフラグが１（人体１＝１）となっている。これは、利用者が在室しているが、居眠りをしている可能性が高いので、不要な電気設備利用と判定して警告を行う。
【００７０】
上述の警告方法としては、熱画像センサ３に設けた報知手段であるスピーカ等により、在室者に対して音声にて警告を行うことができる。また、報知手段のみ熱画像センサ３から分離して居室の入り口付近等に設けるようにしてもよい。
【００７１】
また、熱画像センサ３からコントローラ４に通報を行い、コントローラ４の警告手段としてのスピーカ等により警告を行うようにしてもよい。これにより利用者が睡眠している可能性が高い場合に、コントローラ４の警告手段より他の家人に警告を行うことができる。
このように、警告手段、警告方法は多種多様に考えられる。
【００７２】
上述のように本実施形態にかかる熱画像監視装置をおいて、監視領域を撮像した熱画像を画像処理することにより、監視領域中の電気設備の稼動状態及び、人体の存否、動作の有無等から電気設備の不必要な稼動があると判定すると利用者に適切に警告が可能となる。尚、本実施の形態では、電気設備の稼動状態を稼動開始してから所定時間が経過する前は、予備稼動状態として、所定時間以上稼動中の本稼動状態と区別して判定を行うようにしていたが、電気設備の稼動時間に係らず、電気設備の稼動状況と人体の存否に応じて警告を行うようにして、より厳しく不要な電気設備の稼動を監視するようにしてもよい。
【００７３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載される範疇内において、各種の変更例または修正例に想到し得ることは明からであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７４】
１・・熱画像監視装置の本体
３・・熱画像センサ
３０・・・熱画像カメラ
４・・コントローラ
【技術分野】
【０００１】
本発明は、監視領域を撮影した熱画像から監視領域内に不必要な電気設備の稼動があると判定した場合に利用者に警告を行う熱画像監視装置に関する。
【背景技術】
【０００２】
近年、地球温暖化により、省エネルギーは社会面、環境面、経済面で、必要不可欠なテーマとなっている。オフィスビル、テナント等だけでなく、一般家庭においても電力の無駄を排斥するために、パソコン、照明、暖房器具等の電気設備を無人のときはオフにすることを励行しているケースが多い。
特許文献１には、室内を撮影したカメラから取得した画像に所定時間変化がないと稼動中の室内に備えられた装置を停止する装置自動停止システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９９５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムでは監視を必要とする電気設備ごとに稼動監視手段が必要となる。またカメラで室内を撮影することはプライバシーの問題もあり抵抗感が強いという問題がある。本発明は上記課題を解決するために、取得した熱画像を画像処理して監視対象内で不必要な電気設備の稼動があれば適切に利用者に警告を行うことが可能な熱画像監視装置の実現を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の熱画像監視装置は、監視対象領域の熱画像を取得する熱画像取得手段と、前記電気設備の電気設備が存在する位置を電気設備領域として設定する領域設定手段と、前記電気設備領域を記憶する記憶手段と、前記熱画像中の前記電気設備領域の温度より前記電気設備の稼動状況を判定する電気設備監視手段と、前記熱画像中の前記電気設備領域を含まない領域の熱源の有無より人体が存在するか否かを判定する人体監視手段と、前記電気設備が不要に稼動されているか否かを前記電気設備の稼働状況と前記人体の存否に基づいて判定する判定手段と、前記判定結果に基づいて警告を行う警告手段を有することを特徴としている。
【０００６】
また、本発明に係る熱画像監視装置の前記判定手段は、前記人体監視手段により人体と判定された熱源が所定時間移動がなく、かつ、前記電気設備が稼動中である場合に前記電気設備が不要に稼動されていると判定することを特徴としている。
【０００７】
また、本発明に係る熱画像監視装置の前記判定手段は、前記電気設備が稼動中であり、かつ前記熱画像中に人体が不在の場合に電気設備の不要な稼動があると判定することを特徴としている。
【０００８】
また、本発明に係る熱画像監視装置の前記領域設定手段は、前記電気設備が照明設備である属性を設定可能であり、前記判定手段は、前記照明設備属性の電気設備が非稼動状態になったとき、他の稼動中の電気設備がある場合に電気設備の不要な稼動があると判定することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、熱画像上に設定した電気設備領域中の温度を監視して電気設備が稼動中であるか否かを判定し、さらに電気設備領域以外の熱源を人体と判定することで、電気設備の稼動状況と人体の存否に応じて、電気設備の不必要な稼動か否かを判定することができる。かかる判定を他の設備監視手段を必要とせず、熱画像の処理のみから行うことで低コストなシステムを実現可能とし、さらに熱画像を用いることで画像上で利用者の個人が特定されないため、利用者のプライバシーにも配慮した監視装置が実現できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る熱画像監視装置のブロック図である。
【図２】本発明に係る熱画像監視装置のフローチャートである。
【図３】本発明に係る電気設備監視のフローチャートである。
【図４】本発明に係る人体監視のフローチャートである。
【図５】本発明に係る状態フラグを記憶するテーブルの例である。
【図６】本発明に係る電気設備領域の設定を示す例である。
【図７】本発明に係る熱画像の取得例である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る熱画像監視装置を適用した実施形態について図を参照して説明する。
【００１２】
図１は、本実施形態に係る熱画像監視装置１のブロック図である。熱画像監視装置１は、大きく熱画像センサ３とコントローラ４により構成される。熱画像センサ３は例えば監視対象である室内の天井又は壁に設置され、コントローラ４はリビング、玄関付近の壁等の建物内の適切な場所に設置される。熱画像センサ３とコントローラ４間は無線または有線にて接続される。尚、図１の例では一つのコントローラ４に対し熱画像センサ３が一つ接続される構成を示しているが、熱画像センサ３を複数の室内ごとに設置し、一つのコントローラ４に複数の熱画像センサ３が接続されるようにすることも可能である。
【００１３】
以下、熱画像センサ３及びコントローラ４を構成する各部について説明する。熱画像センサ３は、赤外線カメラ３０、画像入力手段３１、制御部３２、電気設備監視手段３３、人体監視手段３４、記憶手段３５、照明監視手段３６、報知手段３７、通信手段３８から構成される。
【００１４】
熱画像センサ３は、監視対象である建物が無人で利用者以外の侵入者がいると検出する警備モード（外出モード）であるときは熱画像上の移動体検出結果より侵入者の有無を判定してコントローラ４に通報し、監視対象である建物が有人である警備モード（在宅モード或いは在宅警備モード）であるときは、熱画像から電気設備の稼動有無を監視し、電気の不要か稼動があると判定すると在宅中の利用者に警告を行う、或いはコントローラ４に通報し、コントローラ４から利用者に警告を行う。この警備モードについては後述する。
【００１５】
以下熱画像センサ３の各部について説明する。赤外線カメラ３０は、人体温度、電気設備の稼動時の温度に代表される波長領域に感度のあるカメラであり監視領域の熱画像を撮影して、画像入力手段３１へ出力する。画像入力手段３１は赤外線カメラ３０が撮影した熱画像を所定間隔フレームで取得する入力インターフェースである。制御部３２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、熱画像センサ３全体を制御する。また、本実施形態において制御部３２は、電気設備監視手段３３、人体監視手段３４、照明監視手段３６として機能する。また電気設備監視手段３３及び人体監視手段３４、或いは照明監視手段３６の出力結果より利用者に警告を行うか否かの異常判定を行う判定手段として機能する。
【００１６】
電気設備監視手段３３は、予め熱画像上の所定範囲に設定された電気設備領域の温度を計測して、電気設備の稼動状況を判定する。照明監視手段３６は、電気設備監視手段３３に含まれ、設定された電気機器領域の中で特に照明設備領域としての属性を有する領域に関する温度を計測し、照明設備の稼動状況を判定する。人体監視手段３４は、現フレームの熱画像と、前フレームの熱画像との差分を求め、上述の電気設備及び照明設備領域を除く領域（人体監視領域）内の高温領域の有無から人体の存否を判定する。
【００１７】
記憶手段３５は、ＲＡＭ、ＨＤＤ等で構成され、制御部３２で利用するプログラムやデータを保持する。また記憶手段３５は、後述の領域設定手段４３によりコンローラ４で設定された電気設備領域、照明領域の情報をコントローラ４から受信して記憶する。また各電器設備領域等における電気設備の稼動状況の管理情報、コントローラ４から送信される現在の警備モードの情報等を保持する。また、取得される熱画像を所定周期分記憶している。
【００１８】
報知手段３７は、音声、ランプ等により利用者に警告を行う手段であり、スピーカ、ＬＥＤ、ブザー等により構成される。通信手段３８は、コントローラ４との通信を行う通信インターフェースであり、有線又は無線にてコントローラと接続し、コントローラからの各種情報の受信及び、熱画像センサ３からの異常信号をコントローラ４に送信する。
【００１９】
次にコントローラ４を構成する各部について説明する。コントローラ４は、制御手段４１、表示手段４２、領域設定手段４３、通信手段４４、警報手段４５、モード設定手段４６、記憶手段４７から構成されている。
【００２０】
コントローラ４は、監視対象である建物の警備モードの設定や、熱画像センサ３による監視のための各電器設備領域、照明領域の設定や、熱画像センサ３への設定情報の送信、熱画像センサ３からの異常出力の受信等を行う。また、ここでは説明を省略するが、建物内に設置された他の侵入検知センサ、火災検知センサ、煙検知センサ等が異常検知した信号を受信して、必要に応じて遠隔の警備センター等へ通報を行ったりもする。
【００２１】
制御手段４１は、コントローラ４全体を統括制御する手段であり、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成される。
【００２２】
表示手段４２は液晶、有機ＥＬなどのディスプレイであり、各種設定情報をテキストで表示したり、熱画像による監視映像を表示する。
【００２３】
領域設定手段４３は、取得される熱画像中より電気設備の設置されている領域を利用者が指定して設定する。監視領域の設定方法は、例えば以下のように行う。いま、図６（a）に示すように室内にエアコン６０１、テレビ６０２、照明６０３が設置されているとする。
図６（ｂ）に図６（a）の状態で各電気設備をオンにした場合の赤外線カメラより取得した熱画像のイメージ図を示す。エアコン６０１、テレビ６０２、照明６０３に対応する熱画像上の高温領域が各々６０４、６０５、６０６を示す。
【００２４】
利用者（又は管理者）は初期設定としてディスプレイ等の表示手段４３に図６（ｂ）のような熱画像を表示させ、タッチパネル等を含む領域設定手段４２により、電気設備の領域を設定する。この際、監視領域内の電気設備はオンにしておく。利用者は、表示手段４２上で高温の場所を電気設備として個別に設定する。この設定方法は、タッチペン等により矩形領域を選択したり、指定したポイントの周辺領域を自動的に電気設備の領域として設定することができる。また、電気設備領域のうち、照明設備の領域６０６については当該領域が照明設備である旨の属性を付加して設定を行うことができる。
【００２５】
尚、本実施の形態では、設定された電気設備領域以外の領域を人が存在する可能性のある人体監視領域として取り扱うが、領域設定手段４３で、さらに人体が存在する可能性のない領域を利用者が指定し、利用者が指定した領域を除外した領域を人体監視領域として設定できるようにしてもよい。
【００２６】
設定された領域情報は、後述の通信手段４４を介して熱画像センサ３に送信され、熱画像センサ３の記憶手段３５に記憶される。
【００２７】
また、コントローラ４に設けている領域設定手段４３を熱画像センサ２に設け、電気設備領域を熱画像上の温度分布等により自動登録するようにすることもできる。また一度設定した領域を自動的にその位置を修正するような機能を設けることも可能である。例えば、熱画像上に移動を伴わずに出現し、所定時間移動がない高温領域を電気設備領域として設定することができる。人体であれば移動を伴って画像外から出現するため区別ができる。また、電気設備の発熱部分は方形状であることが多いため、上記自動設定の条件として熱画像中の高温領域の形状の条件も加えることも可能である。
【００２８】
また、設定済みの電気設備領域に関する修正を自動で行うような修正手段を設けるようにしてもよい。例えば、電気設備領域として設定済みの領域の近傍に、略同一の温度分布/形状の領域が存在し、かつ設定済みの領域内の全部又は一部の温度が低い場合は、設定済の電気設備領域の位置を修正することができる。これは、ストーブなどの移動可能な暖房器具は、その位置を利用者が変更する可能性があるためである。
【００２９】
同様に、一度設定済みの電気設備領域について所定期間以上電気設備の稼動がない場合は自動で設定済みの領域を削除するようにすることもできる。これは暖房器具等は冬にしか使わないため、季節によってはまったく稼動しないことが考えられるためである。
【００３０】
また、電気設備領域のうち、照明設備のある領域については照明である旨の属性を付加して設定を行うことができる。照明設備についても画像上部で固定かつ温度変化が急激であるものを照明領域として自動設定するようにしてもよい。
【００３１】
通信手段４４は、無線或いは有線を介して熱画像センサ３と通信を行う通信インタフェースであるとともに、電話回線、インターネットを介して遠隔の警備センタとの通信も行う通信インタフェース機能を有する。警報手段４５は、通信手段４４から受信した熱画像センサ３からの通報を受信し、後述の警備モードに応じて各種警報を行う手段であり、スピーカ、ＬＥＤ、ブザー等により構成される。
【００３２】
モード設定手段４６は、監視対象である建物の警備モードの設定、変更を行う。警備モードについて説明する。警備モードは、例えば、「外出モード」、「在宅モード」、「在宅警備モード」の３種類があり、これらの警備モードは利用者がモード設定手段４６を操作して設定、変更する。
【００３３】
警備モードのうち「外出モード」は、利用者が外出して建物が無人となる場合に設定され、「外出モード」中に熱画像センサ３および他の各種センサを通じて異常が検知された場合、その旨がコントローラ４に伝達される。警備モードとして「在宅モード」が設定された場合、利用者が在宅していることとなるので、たとえ侵入監視センサ等の内部監視センサが人を検知したとしても通報は抑制される。警備モードとして「在宅警備モード」が設定された場合、利用者が在宅しているが、外部からの侵入者は検出するので、窓開放検知センサ、ドア開放検知センサ等を通じて建物の外周やドアの開放などを検知し、コントローラ４にその旨通報する。
【００３４】
コントローラ４のモード設定手段４６で設定される警備モードの情報は通信手段４４より熱画像センサ３に送信される。熱画像センサ３はコントローラ４から送信された警備モードの情報を記憶手段３５に保持し、「在宅モード」或いは「在宅警備モード」において電気機器の稼動監視を行い、在室者の存否等に応じて不必要な電力使用がされていないかを監視する。
【００３５】
記憶手段４７は、各種プログラム、警備モード情報、各熱画像センサの状態、各センサのＩＤ等を記憶する手段であり、ＲＡＭ、ＨＤＤ等で構成される。
【００３６】
以上、本実施形態に係る熱画像監視装置を構成する各部の機能について説明した。次に本実施形態に係る熱画像監視装置の動作について図２から図４のフローチャートを用いて説明する。図２のステップＳ１０〜Ｓ８０までの動作は本実施形態に係る熱画像監視装置について熱画像カメラ３０から熱画像が所定周期で入力されるごとに実行されるものとする。
【００３７】
まず、ステップＳ１０において熱画像センサ３の画像入力手段３１に所定周期ごとに熱画像カメラ３０が撮像した熱画像が入力される。次に、ステップＳ２０で現在設定されている警備モードの判定が行われる。この警備モードの情報は、コントローラ４から熱画像センサ３に送られ、記憶されている。警備モードが外出モードである場合（ステップＳ２０−Ｙｅｓ）、熱画像センサ３ではステップＳ７０で入力された画像上の変化の有無より、侵入者の検出を判定する。侵入者が検出された場合はステップＳ８０でコントローラ４に対し、異常通報を送信する。画像変化に基づき侵入異常を判定する方法としては、公知の手法を用いることができ、本発明の範囲外であるのでここでは詳細な説明を省略する。
【００３８】
ステップＳ２０において外出モードでない場合（ステップＳ２０−Ｎｏ）、すなわち在宅警備モードと在宅モードのいずれかである場合、ステップＳ３０で電気設備の稼動監視、ステップＳ４０で人体監視が各々実施される。ステップＳ３０では、熱画像上に予め設定した電気設備領域内の温度を監視して監視領域内の電気設備の稼動状況を監視する。一方ステップＳ４０では、電気設備以外の領域について人体の存否を監視する。ステップＳ３０およびステップＳ４０はサブルーチン化されており、詳細については後述する。
【００３９】
ステップＳ５０では、監視領域内で電気設備の不要稼動の有無を電気設備の利用状況（ステップＳ３０）、人体の存否（ステップＳ４０）に基づいて予め定めた警告条件を満たすか否かにより判定する。ステップＳ６０ではステップＳ５０で警告条件を満たす場合は、警告手段により利用者に警告を行う。警告条件の判定についての詳細は後述する。
【００４０】
次に、ステップＳ３０の電気設備監視に関し、図３のフローチャートを用いて詳細に説明する。図３の処理は監視領域に電気設備領域が複数設定されているときは各々の領域に対し実行される。
【００４１】
本熱画像監視装置の実施の形態においては、各電気設備の稼動状態の判定として以下の３種類のフラグを設定する。電気設備が所定時間以上稼動中であると本稼動中フラグが１に設定される。そして当該電気設備が稼動を開始したと判定してから所定時間の計時中は予備稼動中として予備稼動中フラグが１に設定される。この予備稼動中フラグは所定時間の計時中に電気設備がオフになるか所定時間が経過して電気設備が本稼動中になると０にリセットされる。尚、本実施の形態では、この本稼動中（本稼動中フラグ＝１）又は予備稼動中（予備稼動中＝１）の状態を電気設備の稼動中であるとしている。
また、本稼動中または予備稼動中の電気設備がオフになった場合に停止フラグが１に設定される。これは主に照明設備がオフになった時点を検出する。停止フラグは熱画像が画像入力手段３１から熱画像が入力されるたびに０にリセットされる。これらの各フラグは電気設備領域ごとに個別に設定される。以下図３のフローチャートについて説明する。
【００４２】
まずステップＳ３００において上述のように停止フラグが０に設定される。次にステップＳ３０１において画像入力部３１から入力した熱画像上において各電気設備領域内ごとに、領域内における画素ごとの温度を求め、その平均値Ｔを算出し当該領域の温度を算出する。
【００４３】
ステップＳ３０２では、算出した温度が所定値Ｔｈ（例えば４０度）以上であるか否か判定する。この場合、熱画像領域以外の平均温度Ｔｂｇも求めておき、所定値Ｔｈをこの平均温度Ｔｂｇで補正するようにしてもよい。
【００４４】
ステップＳ３０３では、ステップＳ３０２において電気設備領域の温度が所定以上と判定（ステップＳ３０２−Ｙｅｓ）されると、電気設備が所定時間以上、既に稼動しているか否か（本稼動中フラグ＝１）を判定する。既に本稼動中である場合（ステップＳ３０３−Ｙｅｓ）、これは電気設備が所定時間以上稼動中であり、現在（現フレーム）でもその状態が継続しているということであるから、状態変化はないため、処理を終了し、他の電気設備領域に対する処理を行い、全ての電気設備領域に対する処理が終了すると図２のフローチャートに戻る。
【００４５】
ステップＳ３０３で電気設備が本稼動中でない場合（ステップＳ３０３−Ｎｏ）は、次にステップＳ３０４へ進み、稼動計時中であるか、即ち予備稼動中であるか（予備稼動中フラグ＝１）否か判定する。
【００４６】
予備稼動中でない場合は、前フレーム以前で稼動していなかった電気設備が稼動開始したことを意味するので、ステップＳ３０５で予備稼動中フラグを１とし、ステップＳ３０６で所定期間の計時タイマをスタートさせる。
【００４７】
ステップＳ３０４にて、予備稼動中である場合、前フレーム以前でも稼動していた電気設備であり、計時中であることを意味するので、ステップＳ３０７でタイマーがカウントアップしたか否かを判定する。まだタイムアップしていなければ（ステップＳ３０７―Ｎｏ）処理を終了し、他の電気設備領域に対する処理に移る。全ての電気設備領域に対する処理が終了していれば図２のフローチャートに戻る。
【００４８】
タイマーがカウントアップした場合（ステップＳ３０７−Ｙｅｓ）は、電気設備が稼動開始してから所定時間が経過したことを意味するので、ステップＳ３０８で本稼動中フラグを１に設定し、ステップＳ３０９で予備稼動中フラグを０にリセットし、図２のフローチャートへ戻る。
【００４９】
再びステップＳ３０２へ戻り、電気設備領域の温度Ｔが所定値Ｔｈ未満である場合の処理について説明する。ステップＳ３１０で電気設備が（前フレームまで）本稼動中となっているか否かが判定される。ここで現フレームにおいて電気設備領域の温度が所定値未満で本稼動中フラグが１である（ステップＳ３１０−Ｙｅｓ）ということは、前フレームでは本稼動中であった電気設備が現フレームでオフになったということを意味する。
【００５０】
同様にステップＳ３１３で予備稼動中であるということは前フレームで本稼動中であった電気設備がオフになったことを意味する。これら場合（ステップＳ３１０−Ｙｅｓ，ステップＳ３１３−Ｙｅｓ）、ステップＳ３１１で停止フラグを１に設定する。この停止フラグは稼動中（本稼動中又は予備稼動中）であった電気設備がオフに変化したことを検出するために用いる。具体的には電気設備領域の属性が照明設備である場合に照明設備がオフになったときに、他の電気設備が稼動中であるか否かの判定に用いる。ステップＳ３１１で停止フラグを１に設定すると、続いてステップＳ３１２で本稼動中フラグ又は予備稼動中フラグを０に変更して、他の電気設備領域に対する処理に移る。
【００５１】
ステップ３１０、ステップ３１３において電気設備が本稼動中でもなく予備稼動中でもない場合は前フレームから電気設備が稼動していないことを意味するので、その場合は何もせずに処理を終了し、他の電気設備領域に対する処理に移る。
【００５２】
以上で電気設備領域の処理について説明した。前述の通り、電気設備領域が複数設定されていれば、各電気設備領域について図３のフローチャートが実行され、すべての電気設備領域に対する処理が終了すると図２のフローチャートに戻る。
【００５３】
次に、Ｓ４０の人体監視処理について図４のフローチャートを用いて詳細に説明する。本熱画像監視装置の実施の形態においては、人体監視の判定として以下の２種類のフラグを設定する。後述の人体監視領域において人体がいると判定された場合は人体判定フラグが１に設定される。そして当該人体が所定時間以上動かないと判定された場合は静止判定フラグが１に設定される。当該静止判定フラグは人が居眠りをしてしまった場合等を想定して設定されるフラグである。従って、当該静止判定フラグは、静止中であった高温領域が移動すると０にリセットされる。そして人体と判定された高温領域が熱画像上から消失すると人体判定フラグは０にリセットされる。これら人体判定フラグと静止判定フラグは熱画像中で人体と判定された領域ごとに各々設定される。
【００５４】
ステップＳ４０１では熱画像上で電気設備領域として設定された領域以外を人体監視領域として当該領域内に熱源測定を行う。この測定は監視領域内に人体が不在の場合の熱画像を背景熱画像として記憶しておき、現フレームの熱画像と背景熱画像の差分を求め、差分として検出された領域が所定温度以上かつ、所定大きさ以上である場合に熱源とすることができる。或いは、監視領域に人体が不在時の人体監視領域の平均温度を算出しておき、当該平均温度よりも所定温度以上でかつ所定サイズ以上の高温領域の有無により熱源とするようにしてもよい。
【００５５】
ステップＳ４０２では、ステップＳ４０１で測定した人体監視領域内における熱源の有無を判定する。人体監視領域に熱源がないと判定された場合は、ステップＳ４１５に進む。これは、人体監視領域に元々人体が不在の場合と、前フレームで人体がいて、退出した場合の両方が考えられる。このいずれの場合でも各種設定フラグ、タイマの値は０に初期化される。
【００５６】
ステップＳ４０２で熱源があると判定された場合、ステップＳ４０３へ進む。ステップＳ４０３では、現フレームと前フレームを比較し、フレーム間差分を算出する。そしてステップＳ４０４ではフレーム間の差分に所定以上の変化があるか否かを判定する。このフレーム間差分により変化の有無の判定はフレーム間差分処理として知られている公知の手法を採用でき、ここでは説明を省略する。
【００５７】
ステップＳ４０４で画像差分があると判定された場合、ステップＳ４０５へ進む。画像差分がある場合は、前フレームで検出されていなかった熱源が新たに熱画像上に進入した場合と、前フレームで検出されていた熱源が移動した場合の双方が考えられる。そこでステップＳ４０５では、熱画像上で検出された熱源（高温領域）が前フレームに現れていなかった新熱源であるか否かが判定される。新熱源である場合は、熱画像外から新たな人体が画像範囲内に進入したとしてステップＳ４０６で人体判定フラグを１にして、図２のフローチャートへ戻る。
【００５８】
ステップＳ４０５で新熱源ではないと判定された場合、即ち前フレームで検出された熱源が移動したとみなせる場合である。異なるフレームにおける高温領域を同一物体として判定することは画像監視におけるトラッキング技術が採用できる。この手法も公知でありここでは説明を省略する。この場合、前フレームで静止中の物体が移動開始した場合であるので、ステップＳ４０７で静止判定フラグを０に再設定する。そしてステップＳ４０８で静止判定のタイマーがカウント中であればステップＳ４０９でタイマをリセットして図２のフローチャートへ戻る。この静止判定については後述する。
【００５９】
再び、ステップＳ４０４へ戻り、現フレームと前フレーム間の差分に変化がない場合（ステップＳ４０４−Ｎｏ）について説明する。この場合、熱源があるにも係わらず、画像差分がないということであるから、ステップＳ４１０で静止判定の計時中か否か判定する。そして計時中でなければ、ステップＳ４１２で静止判定の計時を開始する。
【００６０】
静止判定の計時中であれば（ステップＳ４１０−Ｙｅｓ）、ステップＳ４１３で所定時間以上、熱源が静止しているか否かが判定される。そして、所定時間が経過している場合はステップＳ４１４で静止判定フラグを１に設定し、図２のフローチャートへ戻る。同様に所定時間にまだ到達していなければ、図２のフローチャートへ戻る。
【００６１】
この静止判定は、人体監視領域にて検出された人体が所定時間以上動かない場合であり、居眠りをしているか、なんらかの身体に異常が合った場合かを判定するものである。
【００６２】
尚、移動可能な電気設備が、利用者が登録された位置とは異なる位置に移動させ、当該電気設備をオンにした場合にも静止条件を満たす場合がある。この場合は、前述のように画像外から移動を伴わずに画像内に出現し、その後まったく移動しない熱源は人体判定フラグを0にし、当該熱源を新たな電気設備領域として追加/修正設定するようにしてもよい。
【００６３】
以上のようにステップＳ４０の人体監視判定では、熱画像中の人体監視領域において所定温度以上かつ、所定大きさ以上の熱源の存在により人体が存在するか否か、また検出された人体が所定時間以上動いていないかを判定する。
【００６４】
再び、図２のフローチャートに戻り、ステップＳ５０の警告条件を満たすか否かの判定について説明する。本実態形態にかかる熱画像監視装置においては、熱画像処理結果より以下の３種類の場合について警告を行う。
１：照明設備がオフ時（停止フラグ＝１）に他の電気設備が稼動中（本稼動中フラグ＝１、又は予備稼動中フラグ＝１）の場合
２：人が不在時（人体判定フラグ＝０）に電気設備のいずれかが稼動中の場合（本稼動中フラグ＝１、又は予備稼動中フラグ＝１）
３：人が在室し（人体判定フラグ＝１）、かつ長時間動きがない（静止判定フラグ＝１）状態で、さらに電気設備が本稼動中の場合（本稼動中フラグ＝１）
【００６５】
電気設備の稼動状態、人体の存否、静止の状態は熱画像センサ３の記憶手段３５に図５のようなテーブルで管理している。図５の例では、説明のため時刻を表示させてあるが、時刻情報と関連づけて各電器設備の稼動状態等を記憶することは必須ではない。図５のテーブルには、電気設備領域として、図６の３つが設定されているとする。具体的にはエアコン（領域１）、テレビ（領域２）、照明（領域３＝照明１）である。
【００６６】
予備判定５０１は、電気設備監視手段３３により電気設備が稼動開始してからまだそれほど時間がたっていない場合に予備稼動中フラグ＝１が設定される。稼働判定５０２は電気設備監視手段３３により電気設備が稼動開始してから所定時間が経過すると本稼動中フラグ＝１が設定される。本稼動中フラグが１に設定されると予備稼動中フラグが０にリセットされる。停止判定５０３は照明監視手段３６により照明設備がオフに変化したときに停止フラグ＝１が設定される。本実施の形態では、この停止フラグは照明設備の停止時のみ記録するようにしている。
【００６７】
人体判定５０４は人体監視手段３４により人体監視領域内に人体が存在すると判定すると人体判定フラグが１に設定される。静止判定５０５は、存在すると判定された人体が所定時間停止している場合に静止判定フラグ＝１が設定される。次に図５の例を用いて具体的に説明する。
【００６８】
時刻０７：２０では、照明１の設備が消灯したことを示すフラグが１となっている。これにも係わらず領域１の電気設備（エアコン）と領域２の電気設備（テレビ）が本稼動中（又は予備稼動中）であることを示すフラグが１となっている。この場合は、エアコン、テレビの消し忘れと判定して警告を行う。この警告処理は人体の存否にかかわらず行われる。
【００６９】
次に、時刻１０：１０では、人体が不在であるにも係わらず、領域２の電気設備（テレビ）、照明１が本稼動中であることがわかる。この場合も、消し忘れと判定して警告を行う。
次に、時刻１８：４０の例を図７を用いて説明する。領域１の電気設備（エアコン）７０４、照明７０６が本稼動中で、人が存在する状態(人体１＝１)である。熱画像上では、例えば皮膚が露出している顔部分などが高温領域の熱源７０７として検出される。熱画像上では高温領域が検出されるのみで個人の特定はできない。また、手なども皮膚が露出するが、大きさが所定以下の領域は検出対象外として画像処理により除外される。また、図５の例では、人体が静止中であるフラグが１（人体１＝１）となっている。これは、利用者が在室しているが、居眠りをしている可能性が高いので、不要な電気設備利用と判定して警告を行う。
【００７０】
上述の警告方法としては、熱画像センサ３に設けた報知手段であるスピーカ等により、在室者に対して音声にて警告を行うことができる。また、報知手段のみ熱画像センサ３から分離して居室の入り口付近等に設けるようにしてもよい。
【００７１】
また、熱画像センサ３からコントローラ４に通報を行い、コントローラ４の警告手段としてのスピーカ等により警告を行うようにしてもよい。これにより利用者が睡眠している可能性が高い場合に、コントローラ４の警告手段より他の家人に警告を行うことができる。
このように、警告手段、警告方法は多種多様に考えられる。
【００７２】
上述のように本実施形態にかかる熱画像監視装置をおいて、監視領域を撮像した熱画像を画像処理することにより、監視領域中の電気設備の稼動状態及び、人体の存否、動作の有無等から電気設備の不必要な稼動があると判定すると利用者に適切に警告が可能となる。尚、本実施の形態では、電気設備の稼動状態を稼動開始してから所定時間が経過する前は、予備稼動状態として、所定時間以上稼動中の本稼動状態と区別して判定を行うようにしていたが、電気設備の稼動時間に係らず、電気設備の稼動状況と人体の存否に応じて警告を行うようにして、より厳しく不要な電気設備の稼動を監視するようにしてもよい。
【００７３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載される範疇内において、各種の変更例または修正例に想到し得ることは明からであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７４】
１・・熱画像監視装置の本体
３・・熱画像センサ
３０・・・熱画像カメラ
４・・コントローラ
【特許請求の範囲】
【請求項１】
監視対象領域の熱画像を取得する熱画像取得手段と、
前記電気設備の電気設備が存在する位置を電気設備領域として設定する領域設定手段と、
前記電気設備領域を記憶する記憶手段と、
前記熱画像中の前記電気設備領域の温度より前記電気設備の稼動状況を判定する電気設備監視手段と、
前記熱画像中の前記電気設備領域を含まない領域の熱源の有無より人体が存在するか否かを判定する人体監視手段と、
前記電気設備が不要に稼動されているか否かを前記電気設備の稼働状況と前記人体の存否に基づいて判定する判定手段と、前記判定結果に基づいて警告を行う警告手段を有することを特徴とする熱画像監視装置。
【請求項２】
前記判定手段は、前記人体監視手段により人体と判定された熱源が所定時間移動がなく、かつ、前記電気設備が稼動中の場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項１に記載の熱画像監視装置。
【請求項３】
前記判定手段は、前記電気設備が稼動中であり、かつ前記熱画像中に人体が不在の場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項１又は２に記載の熱画像監視装置。
【請求項４】
前記領域設定手段は、前記電気設備が照明設備である属性を設定可能であり、
前記判定手段は、前記照明設備属性の電気設備が稼動中から非稼動になったとき、他に稼動中の電気設備がある場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項1乃至３に記載の熱画像監視装置。
【請求項１】
監視対象領域の熱画像を取得する熱画像取得手段と、
前記電気設備の電気設備が存在する位置を電気設備領域として設定する領域設定手段と、
前記電気設備領域を記憶する記憶手段と、
前記熱画像中の前記電気設備領域の温度より前記電気設備の稼動状況を判定する電気設備監視手段と、
前記熱画像中の前記電気設備領域を含まない領域の熱源の有無より人体が存在するか否かを判定する人体監視手段と、
前記電気設備が不要に稼動されているか否かを前記電気設備の稼働状況と前記人体の存否に基づいて判定する判定手段と、前記判定結果に基づいて警告を行う警告手段を有することを特徴とする熱画像監視装置。
【請求項２】
前記判定手段は、前記人体監視手段により人体と判定された熱源が所定時間移動がなく、かつ、前記電気設備が稼動中の場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項１に記載の熱画像監視装置。
【請求項３】
前記判定手段は、前記電気設備が稼動中であり、かつ前記熱画像中に人体が不在の場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項１又は２に記載の熱画像監視装置。
【請求項４】
前記領域設定手段は、前記電気設備が照明設備である属性を設定可能であり、
前記判定手段は、前記照明設備属性の電気設備が稼動中から非稼動になったとき、他に稼動中の電気設備がある場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項1乃至３に記載の熱画像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２０３８９７（Ｐ２０１１−２０３８９７Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６９２０５（Ｐ２０１０−６９２０５）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]