画像送信装置
【課題】ホームセキュリティシステム等に適用される画像送信装置において、画質の低下を抑制しつつ、さらなる低ビットレート化を実現する。
【解決手段】入力画像４１の画像データとあらかじめ用意されている基準画像４０の画像データとを比較し、画像データが変化した領域のうち所定の条件を満たす監視対象領域４２の画像データを抽出し、基準画像４０の画像データに抽出された監視対象領域４２の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信する。
【解決手段】入力画像４１の画像データとあらかじめ用意されている基準画像４０の画像データとを比較し、画像データが変化した領域のうち所定の条件を満たす監視対象領域４２の画像データを抽出し、基準画像４０の画像データに抽出された監視対象領域４２の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像（動画）をフレーム間差分方式の圧縮方式で圧縮して送信する画像送信装置に関する。
【背景技術】
【０００２】
近年、画像データを圧縮して送信する技術は、家屋内外の要所に配設されたカメラで撮像された画像を家屋内のモニタで表示可能とするいわゆるホームセキュリティシステムへの応用が検討されている。ホームセキュリティシステムにおいては、監視カメラ（画像送信装置）からモニタ装置（画像受信装置）に画像データを送信する際に、無線ＬＡＮを用いる技術の他、特定小電力無線を用いる技術が検討されている。
【０００３】
特定小電力無線は、無線ＬＡＮと比較すると低消費電力で長距離通信が可能という長所を有しているが、その反面、通信に使用できる周波数帯域は狭い。そのため、ホームセキュリティシステムに特定小電力無線を適用する場合には、画像データを圧縮することにより、送信に必要なビットレートを少なくすることが要求される。
【０００４】
画像データを圧縮する技術としては、Ｈ．２６４やＭＰＥＧ等の規格が知られている。ホームセキュリティシステムの用途において良好な画質を得るためには、ＱＶＧＡ相当の解像度（３２０×２４０ドット）では、１５〜３０ｆｐｓ程度のフレームレートが必要とされる。また、ＶＧＡ相当の解像度（６４０×４８０ドット）では、７．５〜１５ｆｐｓ程度のフレームレートが必要とされる。ところが、上記解像度とフレームレートの組み合わせによる画像データをＨ．２６４やＭＰＥＧ等の規格を適用して圧縮した場合であっても、特定小電力無線で伝送可能なビットレートを超えることがある。そこで、監視カメラとモニタ装置の間の通信に特定小電力無線を適用してホームセキュリティシステムを構築するためには、実用上問題となる監視領域の画質の低下を抑制しつつ、さらなる低ビットレート化を実現する技術が要求されている。
【０００５】
例えば特許文献１には、連続して撮像された第１画像と第２画像の画像データの差分を取り、第２画像に変化がある場合に、第２画像のうち変化した領域のみを抽出して送信する技術が開示されている（請求項１）。また、連続して撮像された第１画像と第２画像の画像データの差分を取り、第２画像に変化が生じていないときは画像データを間引いて送信し、変化が生じているときは画像データを間引かずに送信する技術が開示されている（請求項３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３２０７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の前者の技術によれば、送信された第２画像の変化領域の画像を貼り付けるための背景画像データが、画像受信装置側に記憶されていなければならず、また背景画像データに受信した画像データを合成する機能を有していなければならない。そのため、画像送信装置と画像受信装置がそれぞれ専用のものでなければならず、特に、既存の画像受信装置（モニタ装置等）に画像送信装置（カメラ等）を追加してホームセキュリティシステムを構築することができない。また、第２画像における変化領域が広範囲である場合、第２画像の全画像データに対する抽出された画像データの量が多く、特定小電力無線を用いた画像データの送信が不可能となる場合もあり得る。また、後者の技術によれば、撮像領域に連続して移動する人や自動車等の物体が写り込んでいるときは、画像送信装置から常にデータ量の多い画像データが送信されることになり、特定小電力無線を用いた画像データの送信が不可能となる場合もあり得る。
【０００８】
本発明は、上記課題を解決するためになされたものであり、既存の画像受信装置に対して画像データを送信することも可能であり、監視対象領域の画質の低下を抑制しつつ、さらなる低ビットレート化を実現可能な画像送信装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の画像送信装置は、入力画像の画像データとあらかじめ用意されている基準画像の画像データとを比較し、画像データが変化した領域のうち所定の条件を満たす監視対象領域の画像データを抽出し、前記基準画像の画像データに抽出された監視対象領域の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信することを特徴とする。
【００１０】
前記画像送信装置は、前記入力画像を撮像し、撮像した前記入力画像の画像データを出力する撮像装置と、前記撮像装置を起動して撮像を開始するためのトリガ信号を出力するトリガ信号出力手段と、前記基準画像の画像データを記憶するための画像データ記憶手段と、前記入力画像の画像データと前記基準画像の画像データとを比較し、前記入力画像の画像データから前記監視対象領域の画像データを抽出する画像データ抽出手段と、前記基準画像の画像データに前記監視対象領域の画像データを合成する画像データ合成手段と、前記合成された画像データをフレーム間差分方式で圧縮する画像データ圧縮手段と、圧縮された画像データを送信する画像データ送信手段を備え、前記入力画像の画像データは、前記トリガ信号出力手段によりトリガ信号が入力されたときに、前記撮像装置により一定間隔で撮像される画像データであり、前記基準画像の画像データは、前記トリガ信号とは別に、前記撮像装置により撮像され、前記画像データ記憶手段に記憶されている画像データであることが好ましい。
【００１１】
前記トリガ信号出力手段は、人によって操作されるスイッチであり、前記トリガ信号は、前記スイッチがオンすることによって発生されることが好ましい。
【００１２】
または、前記トリガ信号出力手段は、人体検知センサであり、前記トリガ信号は、前記人体検知センサがその検出範囲に人が進入したことを検知したときに発生されることが好ましい。
【００１３】
前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とすることが好ましい。
【００１４】
または、前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とすることが好ましい。
【００１５】
または、前記監視対象領域は、前記入力画像の画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とすることが好ましい。
【００１６】
または、前記監視対象領域は、前記入力画像の画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とすることが好ましい。
【００１７】
または、前記監視対象領域は、前記入力画像におけるあらかじめ設定された範囲であることが好ましい。
【００１８】
また、前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、前記検出された移動体を含む領域を前記監視対象領域から除外することが好ましい。
【００１９】
また、前記基準画像の画像データと前記抽出された監視対象領域の画像データを合成する際、前記抽出された監視対象領域の画像データの境界の画素の色調を、それらの画素と隣接する前記基準画像の画像データの画素の色調とその色調の中間の色調に補正することが好ましい。
【００２０】
また、前記監視対象領域の広さは、この画像送信装置の利用者が任意に変更できることが好ましい。
【００２１】
前記画像送信装置は、画像受信装置との間で画像データ以外の信号の送受信を行う通信手段と、前記通信手段による通信状態の良否を特定する通信状態特定手段と、前記通信手段特定手段により特定された通信手段の通信状態の良否に応じて、前記画像受信装置に送信する画像データのデータ量を変化させるデータ量可変手段を備えることが好ましい。
【００２２】
前記データ量可変手段は、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも小さいときは、前記合成した画像データを第１の圧縮率で圧縮し、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも大きいときは、前記合成した画像データを前記第１の圧縮率よりも高い第２の圧縮率で圧縮することが好ましい。
【発明の効果】
【００２３】
本発明の画像送信装置によれば、撮像装置等から入力された入力画像の画像データから、比較的重要な情報が含まれている監視対象領域の画像データを抽出し、あらかじめ用意されている基準画像データと抽出された監視対象領域の画像データを合成し、合成した画像データをフレーム間差分方式で圧縮して送信する。フレーム間差分方式で画像データを圧縮する際、前フレームの画像データと今回送信するフレームの画像データの差分を取るが、基準画像データは変化していないので、第２フレーム以降は、実質的に監視対象領域の画像データのみが送信されることになる。そのため、低ビットレートで画像データを送信しても、監視対象領域の画質の低下を抑制することができる。また、画像受信装置は、圧縮された画像データを復元（伸張）する機能を有していればよく、それ以外の機能を特に必要としない。そのため、既存の画像受信装置を用いてホームセキュリティシステム等を構築することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による画像送信装置及び画像受信装置の一例として、ホームセキュリティシステムのブロック構成を示す図。
【図２】撮像装置によって撮像された基準画像（背景画像）の一例を示す図。
【図３】撮像装置によって撮像された入力画像の一例を示す図。
【図４】監視対象領域と非監視対象領域に分離された入力画像を示す図。
【図５】移動体を検出することにより、監視対象としての重要度を判断する例を示す図。
【図６】顔画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図７】特定の被写体の画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図８】入力画像を構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す図。
【図９】監視対象領域の抽出と基準画像と監視対象領域の画像の合成を概念的に示す図。
【発明を実施するための形態】
【００２５】
本発明の一実施形態による画像送信装置について説明する。図１は、本実施形態による画像送信装置を用いたホームセキュリティシステム１を例示する。また、画像送信装置１０は、例えば屋外に配置されるドアホン子機又は監視カメラであり、画像受信装置２０は屋内に設置されるドアホン親機である。なお、画像送信装置１０と画像受信装置２０の間で音声データも送受信されるが、音声データは画像データよりもデータ量が圧倒的に少ないため、通信に特定小電力無線を用いる場合であっても、従来の音声データ圧縮方法を用いても問題となることはない。また、監視カメラの場合、必ずしも集音したり、音声データを送信したりする必要はない。そのため、以下の説明においても画像送信装置及び画像受信装置と称する。
【００２６】
画像送信装置１０は、撮像装置１１によって撮像した画像データ及びマイク１３によって集音した音声データを送信する。画像受信装置２０は、ドアホン子機１０から送信された画像データ及び音声データを受信して、モニタ２２及びスピーカ２４によって再生する。これにより、訪問者等の画像や音声を確認でき、これらの情報は、必要に応じて、画像受信装置２０側の第２記憶部２６等に保存される。画像送信装置１０と画像受信装置２０とは、例えば特定小電力無線を用いて画像データや音声データ、その他の制御信号等の送受信を行う。
【００２７】
画像送信装置１０がドアホン子機である場合、所定の範囲の画像を撮像する撮像装置１１と、訪問者に操作される呼び出しボタン等のスイッチ１２と、訪問者と会話を行うためのマイク１３及びスピーカ１４を備えている。また、ドアホン子機１０は、所定の範囲に人が立ち入ったことを検出するための人体感知センサ１８やその所定の範囲の明るさを検出するための照度センサ１９等を備えていてもよい。一方、画像送信装置１０が監視カメラである場合、撮像装置１１と、人体感知センサ１８と、照度センサ１９と、また、必要に応じてマイク１３を備えていればよい。さらに、画像送信装置１０は、撮像装置１１等を制御する第１制御部１５と、撮像装置１１により撮像された画像データや所定の制御プログラム等を記憶する第１記憶部１６と、画像受信装置２０との間で画像データ等の送受信を行う第１送受信部１７を備えている。なお、図示していないが、画像送信装置１０は、乾電池等の独立した電源を備えている。
【００２８】
撮像装置１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（Image Sensor）を有し、画像送信装置１０の周辺の画像を撮像し、電子的な画像データに変換して出力する。マイク１３は、画像送信装置１０の周辺の音声を集音し、電子的な音声データに変換して出力する。制御部１５は、例えばＣＰＵ等で構成されている。第１送受信部１７は、撮像装置１１から出力された画像データ及びマイク１３から出力された音声データや、その他の信号を特定小電力無線にて送信し、画像受信装置２０から送信された音声データや各種の信号を受信する。特定小電力無線は、送信に要する電力を抑制できるので、電池の消耗を抑制し、その交換サイクルを長くすることができる。
【００２９】
画像受信装置２０は、第１送受信部１７から送信された画像データ等を受信する第２送受信部２７と、受信した画像データを再生するモニタ２２と、訪問者と会話を行うためのマイク２３及びスピーカ２４を備えている。また、画像受信装置２０は、これら第２送受信部２７等を制御するための第２制御部２５と、受信した画像データや所定の制御プログラム等を一時的に記憶するための第２記憶部２６を備えている。第２送受信部２７は、第１送受信部１７から送信された画像データ及び音声データや、その他の信号を受信すると共に、マイク２３から出力された音声データや、その他の信号を第１送受信部１７に送信する。
【００３０】
図２は、撮像装置１１によりあらかじめ撮像された基準画像（又は背景画像）４０の一例を示す。この基準画像４０は、第１制御部１５が、例えば人体感知センサ１８の出力に基づいて、所定の検出領域に人が存在していないことを確認したときに、撮像装置１１により撮像され、その画像データが第１記憶部１６に記憶される。基準画像４０は、あらかじめ設定された時刻に撮像してもよいし、あるいは、照度センサ１９により検出された上記所定の検出領域の輝度変化が所定の閾値を超えたときに撮像するように構成してもよい。基準画像４０は静止画であって、通常は１フレームのみ撮像される。
【００３１】
人体感知センサ１８が所定の検出領域内に人の存在を検出すると又は訪問者が呼び出しボタン等のスイッチ１２を操作すると、第１制御部１５は、これら人体感知センサ１８又はスイッチ１２から出力されるトリガ信号に応じて、撮像装置１１を起動し、図３に示すような入力画像４１を撮像する。入力画像４１は動画であり、一定間隔（例えば１秒間に１５フレーム、３０フレーム等）で撮像される。撮像装置１１から出力される画像データは、順に第１制御部１５に入力される。第１制御部１５は画像データ抽出手段として機能し、入力された画像データと第１記憶部１６に記憶されている基準画像の画像データを比較し、変化分（差分データ）を抽出する。そして、第１制御部１５は画像データ合成手段として機能し、基準画像の画像データと差分データを合成して出力する。撮像装置１１から１コマ分の画像データが出力されるたびに、第１制御部１５はこの画像データ処理を行う。なお、スイッチ１２や人体感知センサ１８はトリガ信号出力手段として機能する。
【００３２】
ところで、撮像装置１１により撮像される画像には、訪問者３１以外の背景等も含まれる。画像送信装置１０が集合住宅のエントランス等に設置されている場合は、背景画像はあまり変化しない。一方、画像送信装置１０が戸建て住宅の屋外等に設置されている場合は、例えば図２及び図３に示すように、背景には樹木３０や小動物３２等の変化又は移動するものが多く含まれ、背景画像全体の変化量は、決して少なくない。そのため、基準画像の画像データと入力画像の画像データを単純に比較し、変化分（差分データ）を全て抽出したとすると、基準画像の画像データに差分データを貼り付けた画像データは、入力画像の画像データそのものと大差なくなる。そこで、第１制御部１５は、入力画像の画像データを解析して、画像が変化した領域のうち、所定の条件を満たす監視対象領域の画像データを抽出し、基準画像の画像データと監視対象領域の画像データを合成する。
【００３３】
そこで、図４に示すように、本実施形態においては、基準画像の画像データと入力画像の画像データを比較して抽出した差分データを第１制御部１５がさらに解析して、重要な監視対象が存在する監視対象領域４２を抽出する。図４においては、第１制御部１５によって、重要な監視対象としての訪問者３１が存在する領域が監視対象領域４２と判断され、樹木３０や小動物３２等の背景要素が存在するが重要な監視対象が存在しない領域は、非監視対象領域４３と判断される。なお、第１制御部１５が入力画像４１から監視対象領域４２を抽出する際には、必要に応じて、入力画像４１の画像データが第１記憶部１６に記憶される。
【００３４】
以下、図５乃至図８を参照して、入力画像４１のうち、重要な監視対象が存在する監視対象領域４２を抽出する方法について説明する。図５は、第１制御部１５が差分データを解析して移動体３３の検出を行い、その結果に基づいて、監視対象領域４２として、監視対象としての移動体３３を含む所定の範囲を抽出する例を示す。同図においては、移動体３３として訪問者３１が検出され、背景の樹木３０や小動物３２等は移動体として検出されない。
【００３５】
差分データは、第１記憶部１６に記憶されている基準画像４０の画像データと撮像装置１１から入力される入力画像４１の画像データを比較し、データ（輝度、彩度、色相等）が一定量以上変化している画素のデータを抽出することにより得られる。基準画像４０には訪問者３１及び小動物３２は存在していないため、入力画像４１の画像データにおけるこれら訪問者３１及び小動物３２に相当する画素のデータは、基準画像４０の画像データにおけるそれらの画素のデータから大きく変化している。また、これら訪問者３１及び小動物３２に相当する画素は連続している。基準画像４０の画像データと入力画像４１の画像データの比較においては、例えば、各画素の輝度情報を空間微分することにより輝度勾配を算出し、それを小領域ごとに比較することにより、樹木の揺れや動物の移動等の比較的小さな動きを無視しつつ、監視対象としての重要な物体（変化量の大きな範囲）を検出することができる。輝度勾配の比較は、小領域ごとにヒストグラムを作成し、連続する入力画像の間でその類似度を算出することによりなされる。類似度が所定の閾値以上であれば、移動体であると判断でき、類似度が閾値以下であれば、移動体ではないと判断できる。
【００３６】
なお、監視対象領域４２として抽出される移動体を含む所定の範囲は、垂直方向及び水平方向における移動体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。また、移動体の検出方法はこれに限定されるものではなく、同じパターンの画像データが連続する領域を抽出し、その領域の座標から対象領域が移動しているか否かを判定し、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、検出された移動体を含む領域を監視対象領域から除外するように構成してもよい。
【００３７】
図６は、第１制御部１５が入力画像４１の画像データを解析して目、鼻、口等の画像によって特徴づけられる人間の顔画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。同図においては、検出された顔画像を含む小領域が監視対象領域と扱われる。顔画像の検出は、第１制御部１５が入力画像４１の画像データを検索し、その中に多数の顔画像から予め標準化された特徴と類似する情報が含まれているか否か、について判断することによりなされる。この例においては、顔画像の検出に替えて、頭、胴体、手、脚等の画像によって特徴づけられる人体画像の検出を行ってもよい。監視対象領域４２として抽出される顔画像又は人体画像を含む所定の範囲は、垂直方向及び水平方向におけるそれらの最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００３８】
図７は、第１制御部１５が入力画像４１の画像データを解析して特定の被写体３４の画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。図７においては、特定の被写体３４の例として、トラック等の車両が検出されている。車両の検出は、例えば、入力画像４１の画像データ中に、車両の特徴である円筒形の車輪の画像と類似する情報が含まれているか否か、について判断することによりなされる。その際、車輪の軸間距離も考慮して判断してもよい。監視対象領域４２として抽出される特定の被写体３４を含む所定の範囲は、垂直方向及び水平方向における特定の被写体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００３９】
第１制御部１５が画像として検出する車両は、トラックに限られることなく、乗用車や二輪車であってよく、また工場内に画像送信装置１０を設置する場合には、その工場で用いられている台車等であってもよい。さらには、第１制御部１５が画像として検出する被写体は、特定の特徴を有する対象物であれば、特に限定されない。例えば、車両のナンバープレート又は動物等の顔や身体であってもよい。
【００４０】
図８は、第１制御部１５が入力画像４１を構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す。同図においては、入力画像４１の中央領域に人物等の監視対象物が存在する可能性が高いとみなして、当該領域を監視対象領域４２として、その他の領域を非監視対象領域４３として扱う。住居の入り口における撮像装置１１の配置によっては、訪問者３１が現れる領域は、特定の領域に限られることがある。また、不審者が侵入しようとする領域も、特定の領域に限られることがある。このような場合、訪問者や不審者が現れる可能性が高い特定の領域を予め定めて監視対象領域４２とみなすことにより、第１制御部１５の負担が軽減され、画像送信装置１０の消費電力を低減できる。なお、監視対象領域の広さは、このホームセキュリティシステム１（画像送信装置１０）の利用者が任意に変更できるように構成されていてもよい。
【００４１】
上記のようにして監視対象領域４２が特定されると、第１制御部１５は、第１記憶部１６に記憶されている基準画像４０の画像データを読み出すと共に、入力画像４１の画像データから監視対象領域４２の画像データを抽出し、基準画像４０の画像データに抽出した監視対象領域４２の画像データを合成して出力する。図９は、監視対象領域４２の抽出と基準画像４０と監視対象領域４２の画像の合成を概念的に示したものである。合成された出力画像４４と入力画像４１を比較すると、出力画像４４から、例えば小動物３２等が除去されていることがわかる。次に、第１制御部１５は、このようにして合成された出力画像４４の画像データを画像受信装置２０に送信するために、圧縮処理を実行する。このような画像データ合成処理は、撮像装置１１から入力画像４１が出力されるたびに実行される。一方、監視対象領域４２の抽出は、撮像装置１１から入力画像４１が出力されるたびに実行してもよいし、一度監視対象領域４２が決定されると、撮像装置１１の撮像が終了するまで監視対象領域４２を固定してもよい。
【００４２】
また、基準画像４０の画像データと抽出された監視対象領域４２の画像データを合成する際、抽出された監視対象領域４２の画像データの境界の画素の色調を、それらの画素と隣接する基準画像４０の画像データの画素の色調とその色調の中間の色調に補正するように構成してもよい。それによって、基準画像４０に合成（貼り付け）した監視対象領域４２の輪郭をぼかすことができ、自然な画像を提供することができる。
【００４３】
次に、上記のように合成された出力画像４４の画像データの圧縮処理について説明する。撮像素子１１からは入力画像４１が一定間隔で順次出力され、それに応じて出力画像４４の画像データが一定間隔で順次合成される。それと平行して、第１制御部１５は画像データ圧縮手段として機能し、ＭＰＥＧ４やＨ．２６４等のフレーム間差分方式で圧縮する。最初に出力画像４４の画像データ（第１フレームの画像データとする）が合成されたとき、比較されるべき前フレームの画像は存在しない。従って、第１制御部１５は、第１フレームの画像データを所定の圧縮処理を施して第１送受信部１７に出力し、第１送受信部１７は、圧縮処理された第１フレームの画像データを画像受信装置２０の第２送受信部２７に、例えば特定小電力無線等を用いて送信する。次に出力画像４４の画像データ（第２フレームの画像データとする）が合成されると、第１制御部１５は、第２フレームの画像データと第１フレームの画像データを比較して差分データを抽出し、差分データに圧縮処理を施して第１送受信部１７に出力する。
【００４４】
ここで、第１フレームの画像データと第２フレームの画像データを比較すると、合成前の基準画像４０の画像データは全く同じである。従って、監視対象領域４２が固定されている場合は、監視対象領域４２の画像データ同士が比較されることになり、実質的に監視対象領域４２での画像の変化のみが抽出され、差分データのデータ量は非常に少なくなる。一方、フレーム毎に監視対象領域４２が変化する場合であっても、監視対象領域４２及びその周辺の画像データ同士が比較されることになり、抽出される差分データのデータ量は少なくて済む。その結果、特定小電力無線を用いても動画の画像データの送受信が可能であり、特定小電力無線で伝送可能なビットレートを超えることもない。
【００４５】
画像受信装置２０の第２送受信部２７は、画像送信装置１０の第１送受信部１７から送信される出力画像４４の画像データを受信すると、受信した出力画像４４の画像データを第２制御部２５に出力する。第２制御部２５は画像データ復元手段として機能し、受信した出力画像４４の画像データを復元（伸張）すると共に、一時的に第２記憶部２６にコピーして記憶させる。第１フレームの画像データはそのまま復元され、モニタ２２の画面上に表示される。第２フレーム以降の画像データは実質的に差分データのみが送信されてくるので、記憶部２６に記憶されている前フレームの画像データを用いて復元され、モニタ２２の画面上に表示される。なお、第２記憶部２６に記憶されている前フレームの画像データは順次更新されてもよい。
【００４６】
このように、画像受信装置２０は、フレーム間差分方式で圧縮された画像データを復元（伸張）して、モニタ２２の画面上に表示する機能を有していればよい。そのため、既存の画像受信装置２０と本実施形態に係る画像送信装置１０を組み合わせてホームセキュリティシステムを構築することが可能である。また、既存のホームセキュリティシステムに監視カメラ等の画像送信装置１０を容易に増設することも可能である。
【００４７】
本実施形態では、画像送信装置１０の第１送受信部１７と画像受信装置２０の第２送受信部２７（通信手段）は、画像データ以外の音声データやその他の信号を双方向通信可能である。そこで、画像送信装置１０の第１制御部１５に通信状態特定手段及びデータ量可変手段の機能を持たせてもよい。通信状態特定手段として機能する第１制御部１５は、第１送受信部１７が受信する信号のノイズ（Ｓ／Ｎ）又はビットエラーレート等と所定の閾値との比較結果に基づいて、第１送受信部１７と第２送受信部２７の間の通信状態の良否を判断する。ノイズ又はビットエラーレートが所定の値よりも小さいときは、第１制御部１５は、データ量可変手段として機能し、合成した画像データを第１の圧縮率で圧縮する。一方、ノイズ又はビットエラーレートが所定の値よりも大きいときは、第１制御部１５は、合成した画像データを第１の圧縮率よりも高い第２の圧縮率で圧縮する。それによって、第１送受信部１７と第２送受信部２７の間の通信状態が良好であるときは、高いビットレートで画像データを送信することができ、モニタ２２の画面上に鮮明な画像を表示することができる。一方、第１送受信部１７と第２送受信部２７の間の通信状態が良好でないときは、低いビットレートで画像データを送信することにより、通信エラーを防止することができる。
【００４８】
なお、本発明の画像送信装置は、少なくとも撮像装置によって撮像された画像データをフレーム間差分方式の圧縮方式で圧縮して送信するものであればよく、その用途や構造は上記実施形態の記載には限定されない。すなわち、画像送信装置自体に撮像装置が設けられていなくてもよく、入力画像の画像データと基準画像の画像データとを比較し、入力画像の画像データから監視対象領域の画像データを抽出し、基準画像の画像データに抽出された監視対象領域の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信できればよい。また、画像データの送信に関しても、特定小電力無線による必要はなく、その他の無線通信方式や有線方式であってもよい。
【符号の説明】
【００４９】
１ ホームセキュリティシステム
１０ 画像送信装置
１１ 撮像装置
１２ スイッチ（トリガ信号出力手段）
１５ 第１制御部（画像データ抽出手段、画像データ合成手段、画像データ圧縮手段、通信状態特定手段、データ量可変手段）
１６ 第１記憶部（画像記憶手段）
１７ 第１送受信部（画像データ送信手段、通信手段）
１８ 人体感知センサ（トリガ信号出力手段）
２０ 画像受信装置
４０ 基準画像
４１ 入力画像
４２ 監視対象領域
４４ 出力画像
【技術分野】
【０００１】
本発明は、撮像された画像（動画）をフレーム間差分方式の圧縮方式で圧縮して送信する画像送信装置に関する。
【背景技術】
【０００２】
近年、画像データを圧縮して送信する技術は、家屋内外の要所に配設されたカメラで撮像された画像を家屋内のモニタで表示可能とするいわゆるホームセキュリティシステムへの応用が検討されている。ホームセキュリティシステムにおいては、監視カメラ（画像送信装置）からモニタ装置（画像受信装置）に画像データを送信する際に、無線ＬＡＮを用いる技術の他、特定小電力無線を用いる技術が検討されている。
【０００３】
特定小電力無線は、無線ＬＡＮと比較すると低消費電力で長距離通信が可能という長所を有しているが、その反面、通信に使用できる周波数帯域は狭い。そのため、ホームセキュリティシステムに特定小電力無線を適用する場合には、画像データを圧縮することにより、送信に必要なビットレートを少なくすることが要求される。
【０００４】
画像データを圧縮する技術としては、Ｈ．２６４やＭＰＥＧ等の規格が知られている。ホームセキュリティシステムの用途において良好な画質を得るためには、ＱＶＧＡ相当の解像度（３２０×２４０ドット）では、１５〜３０ｆｐｓ程度のフレームレートが必要とされる。また、ＶＧＡ相当の解像度（６４０×４８０ドット）では、７．５〜１５ｆｐｓ程度のフレームレートが必要とされる。ところが、上記解像度とフレームレートの組み合わせによる画像データをＨ．２６４やＭＰＥＧ等の規格を適用して圧縮した場合であっても、特定小電力無線で伝送可能なビットレートを超えることがある。そこで、監視カメラとモニタ装置の間の通信に特定小電力無線を適用してホームセキュリティシステムを構築するためには、実用上問題となる監視領域の画質の低下を抑制しつつ、さらなる低ビットレート化を実現する技術が要求されている。
【０００５】
例えば特許文献１には、連続して撮像された第１画像と第２画像の画像データの差分を取り、第２画像に変化がある場合に、第２画像のうち変化した領域のみを抽出して送信する技術が開示されている（請求項１）。また、連続して撮像された第１画像と第２画像の画像データの差分を取り、第２画像に変化が生じていないときは画像データを間引いて送信し、変化が生じているときは画像データを間引かずに送信する技術が開示されている（請求項３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３２０７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の前者の技術によれば、送信された第２画像の変化領域の画像を貼り付けるための背景画像データが、画像受信装置側に記憶されていなければならず、また背景画像データに受信した画像データを合成する機能を有していなければならない。そのため、画像送信装置と画像受信装置がそれぞれ専用のものでなければならず、特に、既存の画像受信装置（モニタ装置等）に画像送信装置（カメラ等）を追加してホームセキュリティシステムを構築することができない。また、第２画像における変化領域が広範囲である場合、第２画像の全画像データに対する抽出された画像データの量が多く、特定小電力無線を用いた画像データの送信が不可能となる場合もあり得る。また、後者の技術によれば、撮像領域に連続して移動する人や自動車等の物体が写り込んでいるときは、画像送信装置から常にデータ量の多い画像データが送信されることになり、特定小電力無線を用いた画像データの送信が不可能となる場合もあり得る。
【０００８】
本発明は、上記課題を解決するためになされたものであり、既存の画像受信装置に対して画像データを送信することも可能であり、監視対象領域の画質の低下を抑制しつつ、さらなる低ビットレート化を実現可能な画像送信装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の画像送信装置は、入力画像の画像データとあらかじめ用意されている基準画像の画像データとを比較し、画像データが変化した領域のうち所定の条件を満たす監視対象領域の画像データを抽出し、前記基準画像の画像データに抽出された監視対象領域の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信することを特徴とする。
【００１０】
前記画像送信装置は、前記入力画像を撮像し、撮像した前記入力画像の画像データを出力する撮像装置と、前記撮像装置を起動して撮像を開始するためのトリガ信号を出力するトリガ信号出力手段と、前記基準画像の画像データを記憶するための画像データ記憶手段と、前記入力画像の画像データと前記基準画像の画像データとを比較し、前記入力画像の画像データから前記監視対象領域の画像データを抽出する画像データ抽出手段と、前記基準画像の画像データに前記監視対象領域の画像データを合成する画像データ合成手段と、前記合成された画像データをフレーム間差分方式で圧縮する画像データ圧縮手段と、圧縮された画像データを送信する画像データ送信手段を備え、前記入力画像の画像データは、前記トリガ信号出力手段によりトリガ信号が入力されたときに、前記撮像装置により一定間隔で撮像される画像データであり、前記基準画像の画像データは、前記トリガ信号とは別に、前記撮像装置により撮像され、前記画像データ記憶手段に記憶されている画像データであることが好ましい。
【００１１】
前記トリガ信号出力手段は、人によって操作されるスイッチであり、前記トリガ信号は、前記スイッチがオンすることによって発生されることが好ましい。
【００１２】
または、前記トリガ信号出力手段は、人体検知センサであり、前記トリガ信号は、前記人体検知センサがその検出範囲に人が進入したことを検知したときに発生されることが好ましい。
【００１３】
前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とすることが好ましい。
【００１４】
または、前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とすることが好ましい。
【００１５】
または、前記監視対象領域は、前記入力画像の画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とすることが好ましい。
【００１６】
または、前記監視対象領域は、前記入力画像の画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とすることが好ましい。
【００１７】
または、前記監視対象領域は、前記入力画像におけるあらかじめ設定された範囲であることが好ましい。
【００１８】
また、前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、前記検出された移動体を含む領域を前記監視対象領域から除外することが好ましい。
【００１９】
また、前記基準画像の画像データと前記抽出された監視対象領域の画像データを合成する際、前記抽出された監視対象領域の画像データの境界の画素の色調を、それらの画素と隣接する前記基準画像の画像データの画素の色調とその色調の中間の色調に補正することが好ましい。
【００２０】
また、前記監視対象領域の広さは、この画像送信装置の利用者が任意に変更できることが好ましい。
【００２１】
前記画像送信装置は、画像受信装置との間で画像データ以外の信号の送受信を行う通信手段と、前記通信手段による通信状態の良否を特定する通信状態特定手段と、前記通信手段特定手段により特定された通信手段の通信状態の良否に応じて、前記画像受信装置に送信する画像データのデータ量を変化させるデータ量可変手段を備えることが好ましい。
【００２２】
前記データ量可変手段は、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも小さいときは、前記合成した画像データを第１の圧縮率で圧縮し、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも大きいときは、前記合成した画像データを前記第１の圧縮率よりも高い第２の圧縮率で圧縮することが好ましい。
【発明の効果】
【００２３】
本発明の画像送信装置によれば、撮像装置等から入力された入力画像の画像データから、比較的重要な情報が含まれている監視対象領域の画像データを抽出し、あらかじめ用意されている基準画像データと抽出された監視対象領域の画像データを合成し、合成した画像データをフレーム間差分方式で圧縮して送信する。フレーム間差分方式で画像データを圧縮する際、前フレームの画像データと今回送信するフレームの画像データの差分を取るが、基準画像データは変化していないので、第２フレーム以降は、実質的に監視対象領域の画像データのみが送信されることになる。そのため、低ビットレートで画像データを送信しても、監視対象領域の画質の低下を抑制することができる。また、画像受信装置は、圧縮された画像データを復元（伸張）する機能を有していればよく、それ以外の機能を特に必要としない。そのため、既存の画像受信装置を用いてホームセキュリティシステム等を構築することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による画像送信装置及び画像受信装置の一例として、ホームセキュリティシステムのブロック構成を示す図。
【図２】撮像装置によって撮像された基準画像（背景画像）の一例を示す図。
【図３】撮像装置によって撮像された入力画像の一例を示す図。
【図４】監視対象領域と非監視対象領域に分離された入力画像を示す図。
【図５】移動体を検出することにより、監視対象としての重要度を判断する例を示す図。
【図６】顔画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図７】特定の被写体の画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図８】入力画像を構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す図。
【図９】監視対象領域の抽出と基準画像と監視対象領域の画像の合成を概念的に示す図。
【発明を実施するための形態】
【００２５】
本発明の一実施形態による画像送信装置について説明する。図１は、本実施形態による画像送信装置を用いたホームセキュリティシステム１を例示する。また、画像送信装置１０は、例えば屋外に配置されるドアホン子機又は監視カメラであり、画像受信装置２０は屋内に設置されるドアホン親機である。なお、画像送信装置１０と画像受信装置２０の間で音声データも送受信されるが、音声データは画像データよりもデータ量が圧倒的に少ないため、通信に特定小電力無線を用いる場合であっても、従来の音声データ圧縮方法を用いても問題となることはない。また、監視カメラの場合、必ずしも集音したり、音声データを送信したりする必要はない。そのため、以下の説明においても画像送信装置及び画像受信装置と称する。
【００２６】
画像送信装置１０は、撮像装置１１によって撮像した画像データ及びマイク１３によって集音した音声データを送信する。画像受信装置２０は、ドアホン子機１０から送信された画像データ及び音声データを受信して、モニタ２２及びスピーカ２４によって再生する。これにより、訪問者等の画像や音声を確認でき、これらの情報は、必要に応じて、画像受信装置２０側の第２記憶部２６等に保存される。画像送信装置１０と画像受信装置２０とは、例えば特定小電力無線を用いて画像データや音声データ、その他の制御信号等の送受信を行う。
【００２７】
画像送信装置１０がドアホン子機である場合、所定の範囲の画像を撮像する撮像装置１１と、訪問者に操作される呼び出しボタン等のスイッチ１２と、訪問者と会話を行うためのマイク１３及びスピーカ１４を備えている。また、ドアホン子機１０は、所定の範囲に人が立ち入ったことを検出するための人体感知センサ１８やその所定の範囲の明るさを検出するための照度センサ１９等を備えていてもよい。一方、画像送信装置１０が監視カメラである場合、撮像装置１１と、人体感知センサ１８と、照度センサ１９と、また、必要に応じてマイク１３を備えていればよい。さらに、画像送信装置１０は、撮像装置１１等を制御する第１制御部１５と、撮像装置１１により撮像された画像データや所定の制御プログラム等を記憶する第１記憶部１６と、画像受信装置２０との間で画像データ等の送受信を行う第１送受信部１７を備えている。なお、図示していないが、画像送信装置１０は、乾電池等の独立した電源を備えている。
【００２８】
撮像装置１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（Image Sensor）を有し、画像送信装置１０の周辺の画像を撮像し、電子的な画像データに変換して出力する。マイク１３は、画像送信装置１０の周辺の音声を集音し、電子的な音声データに変換して出力する。制御部１５は、例えばＣＰＵ等で構成されている。第１送受信部１７は、撮像装置１１から出力された画像データ及びマイク１３から出力された音声データや、その他の信号を特定小電力無線にて送信し、画像受信装置２０から送信された音声データや各種の信号を受信する。特定小電力無線は、送信に要する電力を抑制できるので、電池の消耗を抑制し、その交換サイクルを長くすることができる。
【００２９】
画像受信装置２０は、第１送受信部１７から送信された画像データ等を受信する第２送受信部２７と、受信した画像データを再生するモニタ２２と、訪問者と会話を行うためのマイク２３及びスピーカ２４を備えている。また、画像受信装置２０は、これら第２送受信部２７等を制御するための第２制御部２５と、受信した画像データや所定の制御プログラム等を一時的に記憶するための第２記憶部２６を備えている。第２送受信部２７は、第１送受信部１７から送信された画像データ及び音声データや、その他の信号を受信すると共に、マイク２３から出力された音声データや、その他の信号を第１送受信部１７に送信する。
【００３０】
図２は、撮像装置１１によりあらかじめ撮像された基準画像（又は背景画像）４０の一例を示す。この基準画像４０は、第１制御部１５が、例えば人体感知センサ１８の出力に基づいて、所定の検出領域に人が存在していないことを確認したときに、撮像装置１１により撮像され、その画像データが第１記憶部１６に記憶される。基準画像４０は、あらかじめ設定された時刻に撮像してもよいし、あるいは、照度センサ１９により検出された上記所定の検出領域の輝度変化が所定の閾値を超えたときに撮像するように構成してもよい。基準画像４０は静止画であって、通常は１フレームのみ撮像される。
【００３１】
人体感知センサ１８が所定の検出領域内に人の存在を検出すると又は訪問者が呼び出しボタン等のスイッチ１２を操作すると、第１制御部１５は、これら人体感知センサ１８又はスイッチ１２から出力されるトリガ信号に応じて、撮像装置１１を起動し、図３に示すような入力画像４１を撮像する。入力画像４１は動画であり、一定間隔（例えば１秒間に１５フレーム、３０フレーム等）で撮像される。撮像装置１１から出力される画像データは、順に第１制御部１５に入力される。第１制御部１５は画像データ抽出手段として機能し、入力された画像データと第１記憶部１６に記憶されている基準画像の画像データを比較し、変化分（差分データ）を抽出する。そして、第１制御部１５は画像データ合成手段として機能し、基準画像の画像データと差分データを合成して出力する。撮像装置１１から１コマ分の画像データが出力されるたびに、第１制御部１５はこの画像データ処理を行う。なお、スイッチ１２や人体感知センサ１８はトリガ信号出力手段として機能する。
【００３２】
ところで、撮像装置１１により撮像される画像には、訪問者３１以外の背景等も含まれる。画像送信装置１０が集合住宅のエントランス等に設置されている場合は、背景画像はあまり変化しない。一方、画像送信装置１０が戸建て住宅の屋外等に設置されている場合は、例えば図２及び図３に示すように、背景には樹木３０や小動物３２等の変化又は移動するものが多く含まれ、背景画像全体の変化量は、決して少なくない。そのため、基準画像の画像データと入力画像の画像データを単純に比較し、変化分（差分データ）を全て抽出したとすると、基準画像の画像データに差分データを貼り付けた画像データは、入力画像の画像データそのものと大差なくなる。そこで、第１制御部１５は、入力画像の画像データを解析して、画像が変化した領域のうち、所定の条件を満たす監視対象領域の画像データを抽出し、基準画像の画像データと監視対象領域の画像データを合成する。
【００３３】
そこで、図４に示すように、本実施形態においては、基準画像の画像データと入力画像の画像データを比較して抽出した差分データを第１制御部１５がさらに解析して、重要な監視対象が存在する監視対象領域４２を抽出する。図４においては、第１制御部１５によって、重要な監視対象としての訪問者３１が存在する領域が監視対象領域４２と判断され、樹木３０や小動物３２等の背景要素が存在するが重要な監視対象が存在しない領域は、非監視対象領域４３と判断される。なお、第１制御部１５が入力画像４１から監視対象領域４２を抽出する際には、必要に応じて、入力画像４１の画像データが第１記憶部１６に記憶される。
【００３４】
以下、図５乃至図８を参照して、入力画像４１のうち、重要な監視対象が存在する監視対象領域４２を抽出する方法について説明する。図５は、第１制御部１５が差分データを解析して移動体３３の検出を行い、その結果に基づいて、監視対象領域４２として、監視対象としての移動体３３を含む所定の範囲を抽出する例を示す。同図においては、移動体３３として訪問者３１が検出され、背景の樹木３０や小動物３２等は移動体として検出されない。
【００３５】
差分データは、第１記憶部１６に記憶されている基準画像４０の画像データと撮像装置１１から入力される入力画像４１の画像データを比較し、データ（輝度、彩度、色相等）が一定量以上変化している画素のデータを抽出することにより得られる。基準画像４０には訪問者３１及び小動物３２は存在していないため、入力画像４１の画像データにおけるこれら訪問者３１及び小動物３２に相当する画素のデータは、基準画像４０の画像データにおけるそれらの画素のデータから大きく変化している。また、これら訪問者３１及び小動物３２に相当する画素は連続している。基準画像４０の画像データと入力画像４１の画像データの比較においては、例えば、各画素の輝度情報を空間微分することにより輝度勾配を算出し、それを小領域ごとに比較することにより、樹木の揺れや動物の移動等の比較的小さな動きを無視しつつ、監視対象としての重要な物体（変化量の大きな範囲）を検出することができる。輝度勾配の比較は、小領域ごとにヒストグラムを作成し、連続する入力画像の間でその類似度を算出することによりなされる。類似度が所定の閾値以上であれば、移動体であると判断でき、類似度が閾値以下であれば、移動体ではないと判断できる。
【００３６】
なお、監視対象領域４２として抽出される移動体を含む所定の範囲は、垂直方向及び水平方向における移動体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。また、移動体の検出方法はこれに限定されるものではなく、同じパターンの画像データが連続する領域を抽出し、その領域の座標から対象領域が移動しているか否かを判定し、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、検出された移動体を含む領域を監視対象領域から除外するように構成してもよい。
【００３７】
図６は、第１制御部１５が入力画像４１の画像データを解析して目、鼻、口等の画像によって特徴づけられる人間の顔画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。同図においては、検出された顔画像を含む小領域が監視対象領域と扱われる。顔画像の検出は、第１制御部１５が入力画像４１の画像データを検索し、その中に多数の顔画像から予め標準化された特徴と類似する情報が含まれているか否か、について判断することによりなされる。この例においては、顔画像の検出に替えて、頭、胴体、手、脚等の画像によって特徴づけられる人体画像の検出を行ってもよい。監視対象領域４２として抽出される顔画像又は人体画像を含む所定の範囲は、垂直方向及び水平方向におけるそれらの最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００３８】
図７は、第１制御部１５が入力画像４１の画像データを解析して特定の被写体３４の画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。図７においては、特定の被写体３４の例として、トラック等の車両が検出されている。車両の検出は、例えば、入力画像４１の画像データ中に、車両の特徴である円筒形の車輪の画像と類似する情報が含まれているか否か、について判断することによりなされる。その際、車輪の軸間距離も考慮して判断してもよい。監視対象領域４２として抽出される特定の被写体３４を含む所定の範囲は、垂直方向及び水平方向における特定の被写体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００３９】
第１制御部１５が画像として検出する車両は、トラックに限られることなく、乗用車や二輪車であってよく、また工場内に画像送信装置１０を設置する場合には、その工場で用いられている台車等であってもよい。さらには、第１制御部１５が画像として検出する被写体は、特定の特徴を有する対象物であれば、特に限定されない。例えば、車両のナンバープレート又は動物等の顔や身体であってもよい。
【００４０】
図８は、第１制御部１５が入力画像４１を構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す。同図においては、入力画像４１の中央領域に人物等の監視対象物が存在する可能性が高いとみなして、当該領域を監視対象領域４２として、その他の領域を非監視対象領域４３として扱う。住居の入り口における撮像装置１１の配置によっては、訪問者３１が現れる領域は、特定の領域に限られることがある。また、不審者が侵入しようとする領域も、特定の領域に限られることがある。このような場合、訪問者や不審者が現れる可能性が高い特定の領域を予め定めて監視対象領域４２とみなすことにより、第１制御部１５の負担が軽減され、画像送信装置１０の消費電力を低減できる。なお、監視対象領域の広さは、このホームセキュリティシステム１（画像送信装置１０）の利用者が任意に変更できるように構成されていてもよい。
【００４１】
上記のようにして監視対象領域４２が特定されると、第１制御部１５は、第１記憶部１６に記憶されている基準画像４０の画像データを読み出すと共に、入力画像４１の画像データから監視対象領域４２の画像データを抽出し、基準画像４０の画像データに抽出した監視対象領域４２の画像データを合成して出力する。図９は、監視対象領域４２の抽出と基準画像４０と監視対象領域４２の画像の合成を概念的に示したものである。合成された出力画像４４と入力画像４１を比較すると、出力画像４４から、例えば小動物３２等が除去されていることがわかる。次に、第１制御部１５は、このようにして合成された出力画像４４の画像データを画像受信装置２０に送信するために、圧縮処理を実行する。このような画像データ合成処理は、撮像装置１１から入力画像４１が出力されるたびに実行される。一方、監視対象領域４２の抽出は、撮像装置１１から入力画像４１が出力されるたびに実行してもよいし、一度監視対象領域４２が決定されると、撮像装置１１の撮像が終了するまで監視対象領域４２を固定してもよい。
【００４２】
また、基準画像４０の画像データと抽出された監視対象領域４２の画像データを合成する際、抽出された監視対象領域４２の画像データの境界の画素の色調を、それらの画素と隣接する基準画像４０の画像データの画素の色調とその色調の中間の色調に補正するように構成してもよい。それによって、基準画像４０に合成（貼り付け）した監視対象領域４２の輪郭をぼかすことができ、自然な画像を提供することができる。
【００４３】
次に、上記のように合成された出力画像４４の画像データの圧縮処理について説明する。撮像素子１１からは入力画像４１が一定間隔で順次出力され、それに応じて出力画像４４の画像データが一定間隔で順次合成される。それと平行して、第１制御部１５は画像データ圧縮手段として機能し、ＭＰＥＧ４やＨ．２６４等のフレーム間差分方式で圧縮する。最初に出力画像４４の画像データ（第１フレームの画像データとする）が合成されたとき、比較されるべき前フレームの画像は存在しない。従って、第１制御部１５は、第１フレームの画像データを所定の圧縮処理を施して第１送受信部１７に出力し、第１送受信部１７は、圧縮処理された第１フレームの画像データを画像受信装置２０の第２送受信部２７に、例えば特定小電力無線等を用いて送信する。次に出力画像４４の画像データ（第２フレームの画像データとする）が合成されると、第１制御部１５は、第２フレームの画像データと第１フレームの画像データを比較して差分データを抽出し、差分データに圧縮処理を施して第１送受信部１７に出力する。
【００４４】
ここで、第１フレームの画像データと第２フレームの画像データを比較すると、合成前の基準画像４０の画像データは全く同じである。従って、監視対象領域４２が固定されている場合は、監視対象領域４２の画像データ同士が比較されることになり、実質的に監視対象領域４２での画像の変化のみが抽出され、差分データのデータ量は非常に少なくなる。一方、フレーム毎に監視対象領域４２が変化する場合であっても、監視対象領域４２及びその周辺の画像データ同士が比較されることになり、抽出される差分データのデータ量は少なくて済む。その結果、特定小電力無線を用いても動画の画像データの送受信が可能であり、特定小電力無線で伝送可能なビットレートを超えることもない。
【００４５】
画像受信装置２０の第２送受信部２７は、画像送信装置１０の第１送受信部１７から送信される出力画像４４の画像データを受信すると、受信した出力画像４４の画像データを第２制御部２５に出力する。第２制御部２５は画像データ復元手段として機能し、受信した出力画像４４の画像データを復元（伸張）すると共に、一時的に第２記憶部２６にコピーして記憶させる。第１フレームの画像データはそのまま復元され、モニタ２２の画面上に表示される。第２フレーム以降の画像データは実質的に差分データのみが送信されてくるので、記憶部２６に記憶されている前フレームの画像データを用いて復元され、モニタ２２の画面上に表示される。なお、第２記憶部２６に記憶されている前フレームの画像データは順次更新されてもよい。
【００４６】
このように、画像受信装置２０は、フレーム間差分方式で圧縮された画像データを復元（伸張）して、モニタ２２の画面上に表示する機能を有していればよい。そのため、既存の画像受信装置２０と本実施形態に係る画像送信装置１０を組み合わせてホームセキュリティシステムを構築することが可能である。また、既存のホームセキュリティシステムに監視カメラ等の画像送信装置１０を容易に増設することも可能である。
【００４７】
本実施形態では、画像送信装置１０の第１送受信部１７と画像受信装置２０の第２送受信部２７（通信手段）は、画像データ以外の音声データやその他の信号を双方向通信可能である。そこで、画像送信装置１０の第１制御部１５に通信状態特定手段及びデータ量可変手段の機能を持たせてもよい。通信状態特定手段として機能する第１制御部１５は、第１送受信部１７が受信する信号のノイズ（Ｓ／Ｎ）又はビットエラーレート等と所定の閾値との比較結果に基づいて、第１送受信部１７と第２送受信部２７の間の通信状態の良否を判断する。ノイズ又はビットエラーレートが所定の値よりも小さいときは、第１制御部１５は、データ量可変手段として機能し、合成した画像データを第１の圧縮率で圧縮する。一方、ノイズ又はビットエラーレートが所定の値よりも大きいときは、第１制御部１５は、合成した画像データを第１の圧縮率よりも高い第２の圧縮率で圧縮する。それによって、第１送受信部１７と第２送受信部２７の間の通信状態が良好であるときは、高いビットレートで画像データを送信することができ、モニタ２２の画面上に鮮明な画像を表示することができる。一方、第１送受信部１７と第２送受信部２７の間の通信状態が良好でないときは、低いビットレートで画像データを送信することにより、通信エラーを防止することができる。
【００４８】
なお、本発明の画像送信装置は、少なくとも撮像装置によって撮像された画像データをフレーム間差分方式の圧縮方式で圧縮して送信するものであればよく、その用途や構造は上記実施形態の記載には限定されない。すなわち、画像送信装置自体に撮像装置が設けられていなくてもよく、入力画像の画像データと基準画像の画像データとを比較し、入力画像の画像データから監視対象領域の画像データを抽出し、基準画像の画像データに抽出された監視対象領域の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信できればよい。また、画像データの送信に関しても、特定小電力無線による必要はなく、その他の無線通信方式や有線方式であってもよい。
【符号の説明】
【００４９】
１ ホームセキュリティシステム
１０ 画像送信装置
１１ 撮像装置
１２ スイッチ（トリガ信号出力手段）
１５ 第１制御部（画像データ抽出手段、画像データ合成手段、画像データ圧縮手段、通信状態特定手段、データ量可変手段）
１６ 第１記憶部（画像記憶手段）
１７ 第１送受信部（画像データ送信手段、通信手段）
１８ 人体感知センサ（トリガ信号出力手段）
２０ 画像受信装置
４０ 基準画像
４１ 入力画像
４２ 監視対象領域
４４ 出力画像
【特許請求の範囲】
【請求項１】
入力画像の画像データとあらかじめ用意されている基準画像の画像データとを比較し、画像データが変化した領域のうち所定の条件を満たす監視対象領域の画像データを抽出し、前記基準画像の画像データに抽出された監視対象領域の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信することを特徴とする画像送信装置。
【請求項２】
前記入力画像を撮像し、撮像した前記入力画像の画像データを出力する撮像装置と、
前記撮像装置を起動して撮像を開始するためのトリガ信号を出力するトリガ信号出力手段と、
前記基準画像の画像データを記憶するための画像データ記憶手段と、
前記入力画像の画像データと前記基準画像の画像データとを比較し、前記入力画像の画像データから前記監視対象領域の画像データを抽出する画像データ抽出手段と、
前記基準画像の画像データに前記監視対象領域の画像データを合成する画像データ合成手段と、
前記合成された画像データをフレーム間差分方式で圧縮する画像データ圧縮手段と、
圧縮された画像データを送信する画像データ送信手段を備え、
前記入力画像の画像データは、前記トリガ信号出力手段によりトリガ信号が入力されたときに、前記撮像装置により一定間隔で撮像される画像データであり、
前記基準画像の画像データは、前記トリガ信号とは別に、前記撮像装置により撮像され、前記画像データ記憶手段に記憶されている画像データであることを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記トリガ信号出力手段は、人によって操作されるスイッチであり、前記トリガ信号は、前記スイッチがオンすることによって発生されることを特徴とする請求項２に記載の画像送信装置。
【請求項４】
前記トリガ信号出力手段は、人体検知センサであり、前記トリガ信号は、前記人体検知センサがその検出範囲に人が進入したことを検知したときに発生されることを特徴とする請求項２に記載の画像送信装置。
【請求項５】
前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項６】
前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項７】
前記監視対象領域は、前記入力画像の画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項８】
前記監視対象領域は、前記入力画像の画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項９】
前記監視対象領域は、前記入力画像におけるあらかじめ設定された範囲であることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項１０】
前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、前記検出された移動体を含む領域を前記監視対象領域から除外することを特徴とする請求項５に記載の画像送信装置。
【請求項１１】
前記基準画像の画像データと前記抽出された監視対象領域の画像データを合成する際、前記抽出された監視対象領域の画像データの境界の画素の色調を、それらの画素と隣接する前記基準画像の画像データの画素の色調とその色調の中間の色調に補正することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像送信装置。
【請求項１２】
前記監視対象領域の広さは、この画像送信装置の利用者が任意に変更できることを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像送信装置。
【請求項１３】
前記画像送信装置は、画像受信装置との間で画像データ以外の信号の送受信を行う通信手段と、前記通信手段による通信状態の良否を特定する通信状態特定手段と、前記通信手段特定手段により特定された通信手段の通信状態の良否に応じて、前記画像受信装置に送信する画像データのデータ量を変化させるデータ量可変手段を備えることを特徴とする請求項２乃至請求項１２のいずれか一項に記載の画像送信装置。
【請求項１４】
前記データ量可変手段は、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも小さいときは、前記合成した画像データを第１の圧縮率で圧縮し、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも大きいときは、前記合成した画像データを前記第１の圧縮率よりも高い第２の圧縮率で圧縮することを特徴とする請求項１３に記載の画像送信装置。
【請求項１】
入力画像の画像データとあらかじめ用意されている基準画像の画像データとを比較し、画像データが変化した領域のうち所定の条件を満たす監視対象領域の画像データを抽出し、前記基準画像の画像データに抽出された監視対象領域の画像データを合成し、合成された画像データをフレーム間差分方式で圧縮して送信することを特徴とする画像送信装置。
【請求項２】
前記入力画像を撮像し、撮像した前記入力画像の画像データを出力する撮像装置と、
前記撮像装置を起動して撮像を開始するためのトリガ信号を出力するトリガ信号出力手段と、
前記基準画像の画像データを記憶するための画像データ記憶手段と、
前記入力画像の画像データと前記基準画像の画像データとを比較し、前記入力画像の画像データから前記監視対象領域の画像データを抽出する画像データ抽出手段と、
前記基準画像の画像データに前記監視対象領域の画像データを合成する画像データ合成手段と、
前記合成された画像データをフレーム間差分方式で圧縮する画像データ圧縮手段と、
圧縮された画像データを送信する画像データ送信手段を備え、
前記入力画像の画像データは、前記トリガ信号出力手段によりトリガ信号が入力されたときに、前記撮像装置により一定間隔で撮像される画像データであり、
前記基準画像の画像データは、前記トリガ信号とは別に、前記撮像装置により撮像され、前記画像データ記憶手段に記憶されている画像データであることを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記トリガ信号出力手段は、人によって操作されるスイッチであり、前記トリガ信号は、前記スイッチがオンすることによって発生されることを特徴とする請求項２に記載の画像送信装置。
【請求項４】
前記トリガ信号出力手段は、人体検知センサであり、前記トリガ信号は、前記人体検知センサがその検出範囲に人が進入したことを検知したときに発生されることを特徴とする請求項２に記載の画像送信装置。
【請求項５】
前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項６】
前記監視対象領域は、前記入力画像の画像データと前記基準画像の画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項７】
前記監視対象領域は、前記入力画像の画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項８】
前記監視対象領域は、前記入力画像の画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とすることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項９】
前記監視対象領域は、前記入力画像におけるあらかじめ設定された範囲であることを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項１０】
前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、前記検出された移動体を含む領域を前記監視対象領域から除外することを特徴とする請求項５に記載の画像送信装置。
【請求項１１】
前記基準画像の画像データと前記抽出された監視対象領域の画像データを合成する際、前記抽出された監視対象領域の画像データの境界の画素の色調を、それらの画素と隣接する前記基準画像の画像データの画素の色調とその色調の中間の色調に補正することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像送信装置。
【請求項１２】
前記監視対象領域の広さは、この画像送信装置の利用者が任意に変更できることを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像送信装置。
【請求項１３】
前記画像送信装置は、画像受信装置との間で画像データ以外の信号の送受信を行う通信手段と、前記通信手段による通信状態の良否を特定する通信状態特定手段と、前記通信手段特定手段により特定された通信手段の通信状態の良否に応じて、前記画像受信装置に送信する画像データのデータ量を変化させるデータ量可変手段を備えることを特徴とする請求項２乃至請求項１２のいずれか一項に記載の画像送信装置。
【請求項１４】
前記データ量可変手段は、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも小さいときは、前記合成した画像データを第１の圧縮率で圧縮し、前記通信手段のノイズ又はビットエラーレートが所定の閾値よりも大きいときは、前記合成した画像データを前記第１の圧縮率よりも高い第２の圧縮率で圧縮することを特徴とする請求項１３に記載の画像送信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７８０３０（Ｐ２０１３−７８０３０Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７４３２（Ｐ２０１１−２１７４３２）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]