画像受信装置
【課題】ホームセキュリティシステム等に適用される画像受信装置において、画像データが高い圧縮率で送信され、且つ、監視対象となる被写体の背景に移動体が写り込んでいる場合であっても、移動体に起因する引きずりノイズを低減させる。
【解決手段】画像送信装置１から高い圧縮率で送信された現フレーム４１の画像データと前フレーム４０の画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域４２及び監視対象領域４２以外の領域であって、画像データが変化した領域を含む置換対象領域４３を抽出し、現フレーム４１の画像データにおける置換対象領域４３の画像データを、前フレーム４０の画像データにおける置換対象領域４３の画像データに置き換えて再生する。
【解決手段】画像送信装置１から高い圧縮率で送信された現フレーム４１の画像データと前フレーム４０の画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域４２及び監視対象領域４２以外の領域であって、画像データが変化した領域を含む置換対象領域４３を抽出し、現フレーム４１の画像データにおける置換対象領域４３の画像データを、前フレーム４０の画像データにおける置換対象領域４３の画像データに置き換えて再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像され、フレーム間差分方式の圧縮方式で圧縮され送信された画像（動画）を受信する画像受信装置に関する。
【背景技術】
【０００２】
近年、画像データを圧縮して送信する技術は、家屋内外の要所に配設されたカメラで撮像された画像を家屋内のモニタで表示可能とするいわゆるホームセキュリティシステムへの応用が検討されている。ホームセキュリティシステムにおいては、監視カメラ（画像送信装置）からモニタ装置（画像受信装置）に画像データを送信する際に、無線ＬＡＮを用いる技術の他、特定小電力無線を用いる技術が検討されている。
【０００３】
特定小電力無線は、無線ＬＡＮと比較すると低消費電力で長距離通信が可能という長所を有しているが、その反面、通信に使用できる周波数帯域は狭い。そのため、ホームセキュリティシステムに特定小電力無線を適用する場合には、画像データを圧縮することにより、送信に必要なビットレートを少なくすることが要求される。
【０００４】
画像データを圧縮する技術としては、Ｈ．２６４やＭＰＥＧ等の規格が知られている。ホームセキュリティシステムの用途において良好な画質を得るためには、ＱＶＧＡ相当の解像度（３２０×２４０ドット）では、１５〜３０ｆｐｓ程度のフレームレートが必要とされる。また、ＶＧＡ相当の解像度（６４０×４８０ドット）では、７．５〜１５ｆｐｓ程度のフレームレートが必要とされる。
【０００５】
画像送信装置においてフレーム間差分方式により画像データを圧縮する場合、撮像装置により撮像された画像データは、その直前又はそれ以前に撮像された画像データと比較され、変化分が差分データとして抽出される。比較の対象とされる特定フレームの画像データはそのまま圧縮され（Ｉピクチャ）、その他比較されたフレームの画像は、差分データが圧縮される（Ｐピクチャ）。そして、１つのＩピクチャが送信された後に複数のＰピクチャが送信される。画像受信装置では、受信した画像データのうち、上記特定フレームの画像データ（Ｉピクチャ）についてはそのまま復元（伸張）すると共に、復元した画像データをメモリに記憶しておく。その他のフレームの画像については、Ｉピクチャの画像データとＰピクチャの画像データ（すなわち差分データ）を用いて画像データを復元（伸張）する。
【０００６】
ところで、Ｈ．２６４やＭＰＥＧ等は非可逆圧縮であるため、圧縮率を高くすることができるが、反面、圧縮率を高くすると、失われるデータ量が多くなるためノイズが大きくなる。例えば、画像中に、例えば人や小動物等の移動体が写り込んでいる場合、復元された画像データをモニタ装置で再生すると、再生された画像中に、移動体の移動経路に沿ってノイズ（「引きずりノイズ」と称する）が発生する。特に、画像データの圧縮率を高くすると、この引きずりノイズの発生が顕著になる。
【０００７】
特許文献１では、ＭＰＥＧ圧縮に起因するブロックノイズを低減するために、現フレームと前フレームの画像データの差分をとり、さらに差分の絶対値の度数分布ヒストグラムを生成する。そして、ヒストグラムに基づいて、平滑化処理する範囲を変化させることによって、例えば、ノイズの少ない画像に対しては平滑化処理を行う領域を狭くして、ＣＰＵ等の処理の負担を軽減し、効果的にノイズ低減を行っている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２９９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記特許文献１の技術は、ＭＰＥＧ圧縮する際、画像を複数のブロックに分割したことに起因するブロックノイズの除去に有効ではある。しかしながら、ホームセキュリティシステムにおいて監視カメラからモニタ装置に画像データを高い圧縮率で送信する際に生ずる移動体に起因する引きずりノイズに対しては、これを有効に除去することはできない。また、ホームセキュリティシステムの場合、監視対象領域とその他の非監視対象領域とでは、画像に含まれる情報の重要度が大きく異なるため、画像の全ての領域を同じように再生する必要はない。
【００１０】
本発明は、上記課題を解決するためになされたものであり、ＣＰＵ等の負担を軽減しつつ、既存の画像送信装置からフレーム間差分方式で圧縮され送信された画像に含まれる引きずりノイズを目立たなくすることが可能な画像受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明は、画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像受信装置であって、受信した現フレームの画像データと前フレームの画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域及び前記監視対象領域以外の領域であって、画像データが変化した領域を含む置換対象領域を抽出し、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて再生することを特徴とする。
【００１２】
前記画像受信装置は、画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像データ受信手段と、受信した画像データを復元する画像データ復元手段と、復元した画像データを記憶する画像データ記憶手段と、前記現フレームの画像データと前記画像データ記憶手段に記憶されている前記前フレームの画像データを比較する画像データ比較手段と、前記画像データ比較手段により比較された結果に基づいて、前記前フレームの画像データ及び前記現フレームの画像データから、前記監視対象領域及び前記置換対象領域を抽出する画像領域抽出手段と、前記画像領域抽出手段により抽出された前記置換対象領域について、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて出力する画像データ処理手段を備えたことを特徴とする。
【００１３】
前記画像データ処理手段は、置き換えられる前記前フレームの画像データのうち前記置換対象領域の画像データの境界の画素の色調を、前記現フレームの画像データのうち前記置換対象領域の境界に隣接する画素の色調とその色調の中間の色調に補正することが好ましい。
【００１４】
前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して所定の大きさ以上の移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１５】
または、前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１６】
または、前記監視対象領域は、前記前フレームの画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１７】
または、前記監視対象領域は、前記前フレームの画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１８】
または、前記監視対象領域は、あらかじめ設定された範囲であり、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１９】
また、前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも大きい場合、前記検出された移動体を含む所定の範囲を前記監視対象領域とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００２０】
また、前記監視対象領域及び前記置換対象領域の広さは、この画像受信装置の利用者が任意に変更できることが好ましい。
【発明の効果】
【００２１】
本発明の画像受信装置によれば、受信した現フレームの画像データと前フレームの画像データを比較し、画像を、重要な監視対象が存在する監視対象領域と、さほど重要でない置換対象領域に分割し、置換対象領域に関して現フレームの画像データを前フレームの画像データに置き換えて再生する。そのため、現フレームの画像の置換対象領域（例えば背景部分）を移動体が通過したとしても、モニタ装置の画面では、その物体は移動していないように表示される。その結果、実質的に、ＭＰＥＧ等のフレーム間差分方式による圧縮に起因して発生した引きずりノイズが除去されることになる。なお、置換対象領域は、画像データが変化していない領域を含んでいてもよく、画像から上記監視対象領域を除く残りの全範囲を置換対象領域としてもよい。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態による画像受信装置及び画像送信装置の一例として、ホームセキュリティシステムのブロック構成を示す図。
【図２】撮像装置によって撮像された画像（例えば前フレーム画像）の一例を示す図。
【図３】撮像装置によって撮像された入力画像（例えば現フレーム画像）の一例を示す図。
【図４】監視対象領域とそれ以外の置換対象領域に分離された入力画像を示す図。
【図５】移動体を検出することにより、監視対象としての重要度（すなわち、置換されては困る被写体）を判断する例を示す図。
【図６】顔画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図７】特定の被写体の画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図８】入力画像を構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す図。
【図９】監視対象領域及び置換対象領域の抽出と監視対象領域の画像と置換対象領域の画像の合成を概念的に示す図。
【図１０】他の方法による監視対象領域及び置換対象領域の抽出と監視対象領域の画像と置換対象領域の画像の合成を概念的に示す図。
【発明を実施するための形態】
【００２３】
本発明の一実施形態による画像受信装置について説明する。図１は、本実施形態による画像受信装置を用いたホームセキュリティシステム１を例示する。また、画像送信装置１０は、例えば屋外に配置されるドアホン子機又は監視カメラであり、画像受信装置２０は屋内に設置されるドアホン親機である。なお、画像送信装置１０と画像受信装置２０の間で音声データも送受信されるが、音声データは画像データよりもデータ量が圧倒的に少ないため、通信に特定小電力無線を用いる場合であっても、従来の音声データ圧縮方法を用いても問題となることはない。また、監視カメラの場合、必ずしも集音したり、音声データを送信したりする必要はない。そのため、以下の説明においても画像送信装置及び画像受信装置と称する。
【００２４】
画像送信装置１０は、撮像装置１１によって撮像した画像データ及びマイク１３によって集音した音声データを送信する。画像受信装置２０は、画像送信装置１０から送信された画像データ及び音声データを受信して、モニタ２２及びスピーカ２４によって再生する。これにより、訪問者等の画像や音声を確認でき、これらの情報は、必要に応じて、画像受信装置２０側の第２記憶部２６等に保存される。画像送信装置１０と画像受信装置２０とは、例えば特定小電力無線を用いて画像データや音声データ、その他の制御信号等の送受信を行う。
【００２５】
画像送信装置１０がドアホン子機である場合、所定の範囲の画像を撮像する撮像装置１１と、訪問者に操作される呼び出しボタン等のスイッチ１２と、訪問者と会話を行うためのマイク１３及びスピーカ１４を備えている。また、画像送信装置１０は、所定の範囲に人が立ち入ったことを検出するための人体感知センサ１８やその所定の範囲の明るさを検出するための照度センサ１９等を備えていてもよい。一方、画像送信装置１０が監視カメラである場合、撮像装置１１と、人体感知センサ１８と、照度センサ１９と、また、必要に応じてマイク１３を備えていればよい。さらに、画像送信装置１０は、撮像装置１１等を制御する第１制御部１５と、撮像装置１１により撮像された画像データや所定の制御プログラム等を記憶する第１記憶部１６と、画像受信装置２０との間で画像データ等の送受信を行う第１送受信部１７を備えている。なお、図示していないが、画像送信装置１０は、乾電池等の独立した電源を備えている。
【００２６】
撮像装置１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（Image Sensor）を有し、画像送信装置１０の周辺の画像を撮像し、電子的な画像データに変換して出力する。マイク１３は、画像送信装置１０の周辺の音声を集音し、電子的な音声データに変換して出力する。制御部１５は、例えばＣＰＵ等で構成されている。第１送受信部１７は、撮像装置１１から出力された画像データ及びマイク１３から出力された音声データや、その他の信号を特定小電力無線にて送信し、画像受信装置２０から送信された音声データや各種の信号を受信する。特定小電力無線は、送信に要する電力を抑制できるので、電池の消耗を抑制し、その交換サイクルを長くすることができる。
【００２７】
画像受信装置２０は、第１送受信部１７から送信された画像データ等を受信する第２送受信部２７と、受信した画像データを再生するモニタ２２と、訪問者と会話を行うためのマイク２３及びスピーカ２４を備えている。また、画像受信装置２０は、これら第２送受信部２７等を制御するための第２制御部２５と、受信した画像データや所定の制御プログラム等を一時的に記憶するための第２記憶部２６を備えている。第２送受信部２７は、第１送受信部１７から送信された画像データ及び音声データや、その他の信号を受信すると共に、マイク２３から出力された音声データや、その他の信号を第１送受信部１７に送信する。
【００２８】
図２及び図３は、それぞれ画像送信装置１０から送信される画像の一例を示す。ここで、図２を前フレームの画像、図３を現フレームの画像とする。人体感知センサ１８が所定の検出領域内に人の存在を検出したとき又は訪問者が呼び出しボタン等のスイッチ１２を操作したときに、第１制御部１５は、これら人体感知センサ１８又はスイッチ１２から出力されるトリガ信号に応じて、撮像装置１１を起動し、所定範囲の画像４０を撮像する。この画像４０は、最初に撮像される画像であるので、それ以後の画像に対しては前フレームの画像に相当する。撮像装置１１によって撮像される画像は動画であり、一定間隔（例えば１秒間に１５フレーム、３０フレーム等）で撮像される。撮像装置１１により、次に撮像された現フレームの画像４１では、例えば図３に示すように、訪問者３１が近づいてきていたり、背景部分に小動物３２等の移動体が写り込んでいたり、あるいは樹木３０が揺れていたりするかもしれない。撮像装置１１から出力されるこれらの画像データは、順に第１制御部１５に入力される。
【００２９】
第１制御部１５は、画像データ圧縮手段として機能し、最初に撮像された画像及び一定フレーム数毎の画像をＩピクチャ画像として、それらの画像データをそのまま圧縮して出力する。また、その他の画像についてはＰピクチャ画像として、それらの画像データとＩピクチャ画像の画像データの差分を取り、差分データを圧縮して出力する。第１送受信部１７は、第１制御部１５により圧縮され、出力された画像データ及び差分データを、例えば特定小電力無線などを介して画像受信装置２０に送信する。
【００３０】
画像受信装置２０の第２送受信部２７は、画像データ受信手段として機能し、第１送受信部１７から送信された画像データを受信する。第２制御部２５は、画像データ復元手段として機能し、圧縮された画像データを復元（伸張）する。ここで、Ｉピクチャの画像に関しては、復元された画像データがモニタ２２に出力されると共に、前フレームの画像データとして第２記憶部２６に記憶される。第２記憶部２６は、画像データ記憶手段として機能する。Ｐピクチャの画像に関しては、復元された差分データと、第２記憶部２６に記憶されている、例えばＩピクチャの画像データを用いて復元される。なお、必要に応じて、復元されたＰピクチャの画像データも第２記憶部２６に記憶される。Ｉピクチャの画像データは、新たなＩピクチャの画像データが復元される毎に更新される。
【００３１】
さらに、１フレームごとに画像データが復元されると、第２制御部２５は、画像データ比較手段として機能し、復元された画像データ（現フレームの画像データ）と、第２記憶部２６に記憶されている画像データ（前フレームの画像データ）とを比較する。前述のように、Ｈ．２６４やＭＰＥＧ等のフレーム間差分方式により、画像データを高い圧縮率で圧縮すると、画像中に含まれる移動体の移動経路に沿った引きずりノイズの発生が顕著になる。そこで、第２制御部２５は、画像領域抽出手段として機能し、現フレームの画像データと前フレームの画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域（情報の重要度が高く、画像データが置き換えられては困る領域）を抽出する。次に、監視対象領域以外の領域から、さらに画像データが変化し、引きずりノイズが発止する可能性が高い置換対象領域（情報の重要度が低く、画像データを置き換えても問題のない領域）を抽出する。なお、ここでは、画像データ処理を簡単にするために、画像全体を１つの監視対象領域４２とそれ以外の置換対象領域４３に分割している。
【００３２】
次に、第２制御部２５は、画像データ処理手段として機能し、現フレームの画像データにおける置換対象領域の画像データを、前フレームの画像データにおける置換対象領域の画像データに置き換えて、モニタ２２に出力し、再生する。すなわち、重要な監視対象が存在する監視対象領域は、多少ノイズがあってもそのまま再生され、さほど需要でない置換対象領域については、前フレームの画像データが再生される。そのため、現フレームの画像の置換対象領域（例えば背景部分）を移動体が通過したとしても、モニタ２２の画面では、その物体は移動していないように表示される。その結果、実質的に、ＭＰＥＧ等のフレーム間差分方式による圧縮に起因して発生した引きずりノイズが除去される。なお、最初に撮像された画像データ又はＩピクチャの画像データについては、前フレームの画像データが存在しないので、換言すれば、全ての領域において画像が変化しているので、この場合は上記所定の条件から除外される。
【００３３】
図４においては、第２制御部２５によって、重要な監視対象としての訪問者３１が存在する領域が監視対象領域４２と判断され、樹木３０や小動物３２等の背景要素が存在するが重要な監視対象が存在しない領域は、置換対象領域４３と判断される。
【００３４】
以下、図５乃至図８を参照して、置換対象領域４３としてはならない領域、換言すれば、入力画像４１のうち、重要な監視対象が存在する監視対象領域４２を抽出する方法について説明する。なお、上記のように画像全体を１つの監視対象領域４２とそれ以外の置換対象領域４３に分割しているが、監視対象領域４２は２箇所以上存在してもよい。また、置換対象領域４３は画像全体から監視対象領域４２を除いた領域のうち、さらにその一部分であってもよい。
【００３５】
図５は、第２制御部２５が差分データを解析して移動体３３の検出を行い、その結果に基づいて、監視対象領域４２として、監視対象として所定の大きさ以上の移動体３３を含む所定の範囲を抽出する例を示す。同図においては、移動体３３として訪問者３１が検出され、背景の樹木３０の葉や小動物３２等の小さな物体は除外される。
【００３６】
差分データは、第２記憶部２６に記憶されている、例えば図２に示す前フレームの画像データと、例えば図３に示す復元された現フレームの画像データを比較し、データ（輝度、彩度、色相等）が一定量以上変化している画素のデータを抽出することにより得られる。例えば、図５に示すように、例えば訪問者３１が撮像装置１１の方に近づいている場合、現フレームの画像における訪問者３１の位置や大きさが大きく変化している。また、前フレームの画像には小動物３２は存在していない。そのため、現フレームの画像データにおけるこれら訪問者３１及び小動物３２に相当する画素のデータは、前フレームの画像データにおけるそれらの画素のデータから大きく変化している。また、これら訪問者３１及び小動物３２に相当する画素は連続している。前フレームの画像データと現フレームの画像データの比較においては、例えば、各画素の輝度情報を空間微分することにより輝度勾配を算出し、それを小領域ごとに比較することにより、樹木の葉の揺れのような比較的小さな動きを無視することができる。また、小動物等の比較的小さな物体に関しては、その大きさ（画像の面積）を所定の閾値と比較することによって、移動体から除外することができる。それによって、監視対象としての重要な物体（変化量の大きな範囲）を検出することができる。輝度勾配の比較は、小領域ごとにヒストグラムを作成し、連続する入力画像の間でその類似度を算出することによりなされる。類似度が所定の閾値以上であれば、移動体であると判断でき、類似度が閾値以下であれば、移動体ではないと判断できる。
【００３７】
なお、監視対象領域４２として抽出される移動体を含む所定の範囲は、垂直方向及び水平方向における移動体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。また、移動体の検出方法はこれに限定されるものではなく、同じパターンの画像データが連続する領域を抽出し、その領域の座標から対象領域が移動しているか否かを判定し、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、検出された移動体を含む領域を監視対象領域４２から除外するように構成してもよい。
【００３８】
図６は、第２制御部２５が現フレーム又は前フレームの画像データを解析して目、鼻、口等の画像によって特徴づけられる人間の顔画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。同図においては、検出された顔画像を含む小領域が監視対象領域４２と扱われる。顔画像の検出は、第２制御部２５が現フレーム又は前フレームの画像データを検索し、その中に多数の顔画像から予め標準化された特徴と類似する情報が含まれているか否か、について判断することによりなされる。この例においては、顔画像の検出に替えて、頭、胴体、手、脚等の画像によって特徴づけられる人体画像の検出を行ってもよい。監視対象領域４２として抽出される顔画像又は人体画像を含む所定の範囲は、垂直方向及び水平方向におけるそれらの最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００３９】
図７は、第２制御部２５が現フレーム又は前フレームの画像データを解析して特定の被写体３４の画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。図７においては、特定の被写体３４の例として、トラック等の車両が検出されている。車両の検出は、例えば、入力画像４１の画像データ中に、車両の特徴である円筒形の車輪の画像と類似する情報が含まれているか否か、について判断することによりなされる。その際、車輪の軸間距離も考慮して判断してもよい。監視対象領域４２として抽出される特定の被写体３４を含む所定の範囲は、垂直方向及び水平方向における特定の被写体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００４０】
第２制御部２５が画像として検出する車両は、トラックに限られることなく、乗用車や二輪車であってよく、また工場内に画像送信装置１０を設置する場合には、その工場で用いられている台車等であってもよい。さらには、第２制御部２５が画像として検出する被写体は、特定の特徴を有する対象物であれば、特に限定されない。例えば、車両のナンバープレート又は動物等の顔や身体であってもよい。
【００４１】
図８は、第２制御部２５が現フレーム又は前フレームを構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す。同図においては、現フレーム又は前フレームの中央領域に人物等の監視対象物が存在する可能性が高いとみなして、当該領域を監視対象領域４２として、その他の領域を非監視対象領域４３として扱う。住居の入り口における撮像装置１１の配置によっては、訪問者３１が現れる領域は、特定の領域に限られることがある。また、不審者が侵入しようとする領域も、特定の領域に限られることがある。このような場合、訪問者や不審者が現れる可能性が高い特定の領域を予め定めて監視対象領域４２とみなすことにより、第２制御部２５の負担が軽減され、画像受信装置２０の消費電力を低減できる。なお、監視対象領域の広さは、このホームセキュリティシステム１（画像受信装置２０）の利用者が任意に変更できるように構成されていてもよい。
【００４２】
上記のようにして監視対象領域４２が特定されると、第２制御部２５は、第２記憶部２６から前フレームの画像データを読み出し、そこから監視対象領域４２以外の置換対象領域４３の画像データを抽出すると共に、現フレームの画像データから監視対象領域４２の画像データを抽出する。そして、前フレームの画像データにおける置換対象領域４３の画像データと現フレームの画像データにおける監視対象領域４２の画像データを合成する。合成された画像データは、モニタ２２に出力され、再生される。
【００４３】
図９は、現フレームの画像４１からの監視対象領域４２の抽出と前フレームの画像４０からの置換対象領域４３の抽出、及びこれらの領域の画像の合成を概念的に示したものである。合成された出力画像４４と現フレームの画像４１を比較すると、出力画像４４から、例えば小動物３２等が除去されていることがわかる。
【００４４】
また、前フレームの置換対象領域４３の画像データと現フレームの監視対象領域４２の画像データを合成する際、前フレームの置換対象領域４３の画像データの境界の画素の色調を、現フレームの画像データのうち置換対象領域の境界に隣接する画素の色調とその色調の中間の色調に補正するように構成してもよい。それによって、前フレームの画像４０の置換対象領域４３に合成（貼り付け）した現フレームの画像４１の監視対象領域４２の輪郭をぼかすことができ、自然な画像を提供することができる。
【００４５】
なお、本発明は、上記実施形態の説明に限定されるものではなく、様々な変形が可能である。上記実施形態では、画像の全領域を１つの監視対象領域４２とそれ以外の置換対象領域４３の２つの領域に分割した例を示したが、複数の監視対象領域４２を設定してもよい。あるいは、図１０に示すように、監視対象領域４２以外の領域であって、画像データが一定量以上の変化をした領域のみを置換対象領域４３としてもよい。また、画像データの送信に関しても、特定小電力無線による必要はなく、その他の無線通信方式や有線方式であってもよい。
【符号の説明】
【００４６】
１ ホームセキュリティシステム
１０ 画像送信装置
１１ 撮像装置
２０ 画像受信装置
２１ 第２送受信部（画像データ受信手段）
２２ モニタ
２３ マイク
２４ スピーカ
２５ 第２制御部（画像データ復元手段、画像データ比較手段、画像領域抽出手段、画像データ処理手段）
２６ 第２記憶部（画像データ記憶手段）
４０ 前フレーム画像
４１ 現フレーム画像
４２ 監視対象領域
４３ 置換対象領域
４４ 出力画像
【技術分野】
【０００１】
本発明は、撮像装置により撮像され、フレーム間差分方式の圧縮方式で圧縮され送信された画像（動画）を受信する画像受信装置に関する。
【背景技術】
【０００２】
近年、画像データを圧縮して送信する技術は、家屋内外の要所に配設されたカメラで撮像された画像を家屋内のモニタで表示可能とするいわゆるホームセキュリティシステムへの応用が検討されている。ホームセキュリティシステムにおいては、監視カメラ（画像送信装置）からモニタ装置（画像受信装置）に画像データを送信する際に、無線ＬＡＮを用いる技術の他、特定小電力無線を用いる技術が検討されている。
【０００３】
特定小電力無線は、無線ＬＡＮと比較すると低消費電力で長距離通信が可能という長所を有しているが、その反面、通信に使用できる周波数帯域は狭い。そのため、ホームセキュリティシステムに特定小電力無線を適用する場合には、画像データを圧縮することにより、送信に必要なビットレートを少なくすることが要求される。
【０００４】
画像データを圧縮する技術としては、Ｈ．２６４やＭＰＥＧ等の規格が知られている。ホームセキュリティシステムの用途において良好な画質を得るためには、ＱＶＧＡ相当の解像度（３２０×２４０ドット）では、１５〜３０ｆｐｓ程度のフレームレートが必要とされる。また、ＶＧＡ相当の解像度（６４０×４８０ドット）では、７．５〜１５ｆｐｓ程度のフレームレートが必要とされる。
【０００５】
画像送信装置においてフレーム間差分方式により画像データを圧縮する場合、撮像装置により撮像された画像データは、その直前又はそれ以前に撮像された画像データと比較され、変化分が差分データとして抽出される。比較の対象とされる特定フレームの画像データはそのまま圧縮され（Ｉピクチャ）、その他比較されたフレームの画像は、差分データが圧縮される（Ｐピクチャ）。そして、１つのＩピクチャが送信された後に複数のＰピクチャが送信される。画像受信装置では、受信した画像データのうち、上記特定フレームの画像データ（Ｉピクチャ）についてはそのまま復元（伸張）すると共に、復元した画像データをメモリに記憶しておく。その他のフレームの画像については、Ｉピクチャの画像データとＰピクチャの画像データ（すなわち差分データ）を用いて画像データを復元（伸張）する。
【０００６】
ところで、Ｈ．２６４やＭＰＥＧ等は非可逆圧縮であるため、圧縮率を高くすることができるが、反面、圧縮率を高くすると、失われるデータ量が多くなるためノイズが大きくなる。例えば、画像中に、例えば人や小動物等の移動体が写り込んでいる場合、復元された画像データをモニタ装置で再生すると、再生された画像中に、移動体の移動経路に沿ってノイズ（「引きずりノイズ」と称する）が発生する。特に、画像データの圧縮率を高くすると、この引きずりノイズの発生が顕著になる。
【０００７】
特許文献１では、ＭＰＥＧ圧縮に起因するブロックノイズを低減するために、現フレームと前フレームの画像データの差分をとり、さらに差分の絶対値の度数分布ヒストグラムを生成する。そして、ヒストグラムに基づいて、平滑化処理する範囲を変化させることによって、例えば、ノイズの少ない画像に対しては平滑化処理を行う領域を狭くして、ＣＰＵ等の処理の負担を軽減し、効果的にノイズ低減を行っている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２９９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記特許文献１の技術は、ＭＰＥＧ圧縮する際、画像を複数のブロックに分割したことに起因するブロックノイズの除去に有効ではある。しかしながら、ホームセキュリティシステムにおいて監視カメラからモニタ装置に画像データを高い圧縮率で送信する際に生ずる移動体に起因する引きずりノイズに対しては、これを有効に除去することはできない。また、ホームセキュリティシステムの場合、監視対象領域とその他の非監視対象領域とでは、画像に含まれる情報の重要度が大きく異なるため、画像の全ての領域を同じように再生する必要はない。
【００１０】
本発明は、上記課題を解決するためになされたものであり、ＣＰＵ等の負担を軽減しつつ、既存の画像送信装置からフレーム間差分方式で圧縮され送信された画像に含まれる引きずりノイズを目立たなくすることが可能な画像受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明は、画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像受信装置であって、受信した現フレームの画像データと前フレームの画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域及び前記監視対象領域以外の領域であって、画像データが変化した領域を含む置換対象領域を抽出し、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて再生することを特徴とする。
【００１２】
前記画像受信装置は、画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像データ受信手段と、受信した画像データを復元する画像データ復元手段と、復元した画像データを記憶する画像データ記憶手段と、前記現フレームの画像データと前記画像データ記憶手段に記憶されている前記前フレームの画像データを比較する画像データ比較手段と、前記画像データ比較手段により比較された結果に基づいて、前記前フレームの画像データ及び前記現フレームの画像データから、前記監視対象領域及び前記置換対象領域を抽出する画像領域抽出手段と、前記画像領域抽出手段により抽出された前記置換対象領域について、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて出力する画像データ処理手段を備えたことを特徴とする。
【００１３】
前記画像データ処理手段は、置き換えられる前記前フレームの画像データのうち前記置換対象領域の画像データの境界の画素の色調を、前記現フレームの画像データのうち前記置換対象領域の境界に隣接する画素の色調とその色調の中間の色調に補正することが好ましい。
【００１４】
前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して所定の大きさ以上の移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１５】
または、前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１６】
または、前記監視対象領域は、前記前フレームの画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１７】
または、前記監視対象領域は、前記前フレームの画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１８】
または、前記監視対象領域は、あらかじめ設定された範囲であり、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００１９】
また、前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも大きい場合、前記検出された移動体を含む所定の範囲を前記監視対象領域とし、前記置換対象領域は前記監視対象領域以外の全領域とすることが好ましい。
【００２０】
また、前記監視対象領域及び前記置換対象領域の広さは、この画像受信装置の利用者が任意に変更できることが好ましい。
【発明の効果】
【００２１】
本発明の画像受信装置によれば、受信した現フレームの画像データと前フレームの画像データを比較し、画像を、重要な監視対象が存在する監視対象領域と、さほど重要でない置換対象領域に分割し、置換対象領域に関して現フレームの画像データを前フレームの画像データに置き換えて再生する。そのため、現フレームの画像の置換対象領域（例えば背景部分）を移動体が通過したとしても、モニタ装置の画面では、その物体は移動していないように表示される。その結果、実質的に、ＭＰＥＧ等のフレーム間差分方式による圧縮に起因して発生した引きずりノイズが除去されることになる。なお、置換対象領域は、画像データが変化していない領域を含んでいてもよく、画像から上記監視対象領域を除く残りの全範囲を置換対象領域としてもよい。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態による画像受信装置及び画像送信装置の一例として、ホームセキュリティシステムのブロック構成を示す図。
【図２】撮像装置によって撮像された画像（例えば前フレーム画像）の一例を示す図。
【図３】撮像装置によって撮像された入力画像（例えば現フレーム画像）の一例を示す図。
【図４】監視対象領域とそれ以外の置換対象領域に分離された入力画像を示す図。
【図５】移動体を検出することにより、監視対象としての重要度（すなわち、置換されては困る被写体）を判断する例を示す図。
【図６】顔画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図７】特定の被写体の画像を検出することにより、監視対象としての重要度を判断する例を示す図。
【図８】入力画像を構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す図。
【図９】監視対象領域及び置換対象領域の抽出と監視対象領域の画像と置換対象領域の画像の合成を概念的に示す図。
【図１０】他の方法による監視対象領域及び置換対象領域の抽出と監視対象領域の画像と置換対象領域の画像の合成を概念的に示す図。
【発明を実施するための形態】
【００２３】
本発明の一実施形態による画像受信装置について説明する。図１は、本実施形態による画像受信装置を用いたホームセキュリティシステム１を例示する。また、画像送信装置１０は、例えば屋外に配置されるドアホン子機又は監視カメラであり、画像受信装置２０は屋内に設置されるドアホン親機である。なお、画像送信装置１０と画像受信装置２０の間で音声データも送受信されるが、音声データは画像データよりもデータ量が圧倒的に少ないため、通信に特定小電力無線を用いる場合であっても、従来の音声データ圧縮方法を用いても問題となることはない。また、監視カメラの場合、必ずしも集音したり、音声データを送信したりする必要はない。そのため、以下の説明においても画像送信装置及び画像受信装置と称する。
【００２４】
画像送信装置１０は、撮像装置１１によって撮像した画像データ及びマイク１３によって集音した音声データを送信する。画像受信装置２０は、画像送信装置１０から送信された画像データ及び音声データを受信して、モニタ２２及びスピーカ２４によって再生する。これにより、訪問者等の画像や音声を確認でき、これらの情報は、必要に応じて、画像受信装置２０側の第２記憶部２６等に保存される。画像送信装置１０と画像受信装置２０とは、例えば特定小電力無線を用いて画像データや音声データ、その他の制御信号等の送受信を行う。
【００２５】
画像送信装置１０がドアホン子機である場合、所定の範囲の画像を撮像する撮像装置１１と、訪問者に操作される呼び出しボタン等のスイッチ１２と、訪問者と会話を行うためのマイク１３及びスピーカ１４を備えている。また、画像送信装置１０は、所定の範囲に人が立ち入ったことを検出するための人体感知センサ１８やその所定の範囲の明るさを検出するための照度センサ１９等を備えていてもよい。一方、画像送信装置１０が監視カメラである場合、撮像装置１１と、人体感知センサ１８と、照度センサ１９と、また、必要に応じてマイク１３を備えていればよい。さらに、画像送信装置１０は、撮像装置１１等を制御する第１制御部１５と、撮像装置１１により撮像された画像データや所定の制御プログラム等を記憶する第１記憶部１６と、画像受信装置２０との間で画像データ等の送受信を行う第１送受信部１７を備えている。なお、図示していないが、画像送信装置１０は、乾電池等の独立した電源を備えている。
【００２６】
撮像装置１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（Image Sensor）を有し、画像送信装置１０の周辺の画像を撮像し、電子的な画像データに変換して出力する。マイク１３は、画像送信装置１０の周辺の音声を集音し、電子的な音声データに変換して出力する。制御部１５は、例えばＣＰＵ等で構成されている。第１送受信部１７は、撮像装置１１から出力された画像データ及びマイク１３から出力された音声データや、その他の信号を特定小電力無線にて送信し、画像受信装置２０から送信された音声データや各種の信号を受信する。特定小電力無線は、送信に要する電力を抑制できるので、電池の消耗を抑制し、その交換サイクルを長くすることができる。
【００２７】
画像受信装置２０は、第１送受信部１７から送信された画像データ等を受信する第２送受信部２７と、受信した画像データを再生するモニタ２２と、訪問者と会話を行うためのマイク２３及びスピーカ２４を備えている。また、画像受信装置２０は、これら第２送受信部２７等を制御するための第２制御部２５と、受信した画像データや所定の制御プログラム等を一時的に記憶するための第２記憶部２６を備えている。第２送受信部２７は、第１送受信部１７から送信された画像データ及び音声データや、その他の信号を受信すると共に、マイク２３から出力された音声データや、その他の信号を第１送受信部１７に送信する。
【００２８】
図２及び図３は、それぞれ画像送信装置１０から送信される画像の一例を示す。ここで、図２を前フレームの画像、図３を現フレームの画像とする。人体感知センサ１８が所定の検出領域内に人の存在を検出したとき又は訪問者が呼び出しボタン等のスイッチ１２を操作したときに、第１制御部１５は、これら人体感知センサ１８又はスイッチ１２から出力されるトリガ信号に応じて、撮像装置１１を起動し、所定範囲の画像４０を撮像する。この画像４０は、最初に撮像される画像であるので、それ以後の画像に対しては前フレームの画像に相当する。撮像装置１１によって撮像される画像は動画であり、一定間隔（例えば１秒間に１５フレーム、３０フレーム等）で撮像される。撮像装置１１により、次に撮像された現フレームの画像４１では、例えば図３に示すように、訪問者３１が近づいてきていたり、背景部分に小動物３２等の移動体が写り込んでいたり、あるいは樹木３０が揺れていたりするかもしれない。撮像装置１１から出力されるこれらの画像データは、順に第１制御部１５に入力される。
【００２９】
第１制御部１５は、画像データ圧縮手段として機能し、最初に撮像された画像及び一定フレーム数毎の画像をＩピクチャ画像として、それらの画像データをそのまま圧縮して出力する。また、その他の画像についてはＰピクチャ画像として、それらの画像データとＩピクチャ画像の画像データの差分を取り、差分データを圧縮して出力する。第１送受信部１７は、第１制御部１５により圧縮され、出力された画像データ及び差分データを、例えば特定小電力無線などを介して画像受信装置２０に送信する。
【００３０】
画像受信装置２０の第２送受信部２７は、画像データ受信手段として機能し、第１送受信部１７から送信された画像データを受信する。第２制御部２５は、画像データ復元手段として機能し、圧縮された画像データを復元（伸張）する。ここで、Ｉピクチャの画像に関しては、復元された画像データがモニタ２２に出力されると共に、前フレームの画像データとして第２記憶部２６に記憶される。第２記憶部２６は、画像データ記憶手段として機能する。Ｐピクチャの画像に関しては、復元された差分データと、第２記憶部２６に記憶されている、例えばＩピクチャの画像データを用いて復元される。なお、必要に応じて、復元されたＰピクチャの画像データも第２記憶部２６に記憶される。Ｉピクチャの画像データは、新たなＩピクチャの画像データが復元される毎に更新される。
【００３１】
さらに、１フレームごとに画像データが復元されると、第２制御部２５は、画像データ比較手段として機能し、復元された画像データ（現フレームの画像データ）と、第２記憶部２６に記憶されている画像データ（前フレームの画像データ）とを比較する。前述のように、Ｈ．２６４やＭＰＥＧ等のフレーム間差分方式により、画像データを高い圧縮率で圧縮すると、画像中に含まれる移動体の移動経路に沿った引きずりノイズの発生が顕著になる。そこで、第２制御部２５は、画像領域抽出手段として機能し、現フレームの画像データと前フレームの画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域（情報の重要度が高く、画像データが置き換えられては困る領域）を抽出する。次に、監視対象領域以外の領域から、さらに画像データが変化し、引きずりノイズが発止する可能性が高い置換対象領域（情報の重要度が低く、画像データを置き換えても問題のない領域）を抽出する。なお、ここでは、画像データ処理を簡単にするために、画像全体を１つの監視対象領域４２とそれ以外の置換対象領域４３に分割している。
【００３２】
次に、第２制御部２５は、画像データ処理手段として機能し、現フレームの画像データにおける置換対象領域の画像データを、前フレームの画像データにおける置換対象領域の画像データに置き換えて、モニタ２２に出力し、再生する。すなわち、重要な監視対象が存在する監視対象領域は、多少ノイズがあってもそのまま再生され、さほど需要でない置換対象領域については、前フレームの画像データが再生される。そのため、現フレームの画像の置換対象領域（例えば背景部分）を移動体が通過したとしても、モニタ２２の画面では、その物体は移動していないように表示される。その結果、実質的に、ＭＰＥＧ等のフレーム間差分方式による圧縮に起因して発生した引きずりノイズが除去される。なお、最初に撮像された画像データ又はＩピクチャの画像データについては、前フレームの画像データが存在しないので、換言すれば、全ての領域において画像が変化しているので、この場合は上記所定の条件から除外される。
【００３３】
図４においては、第２制御部２５によって、重要な監視対象としての訪問者３１が存在する領域が監視対象領域４２と判断され、樹木３０や小動物３２等の背景要素が存在するが重要な監視対象が存在しない領域は、置換対象領域４３と判断される。
【００３４】
以下、図５乃至図８を参照して、置換対象領域４３としてはならない領域、換言すれば、入力画像４１のうち、重要な監視対象が存在する監視対象領域４２を抽出する方法について説明する。なお、上記のように画像全体を１つの監視対象領域４２とそれ以外の置換対象領域４３に分割しているが、監視対象領域４２は２箇所以上存在してもよい。また、置換対象領域４３は画像全体から監視対象領域４２を除いた領域のうち、さらにその一部分であってもよい。
【００３５】
図５は、第２制御部２５が差分データを解析して移動体３３の検出を行い、その結果に基づいて、監視対象領域４２として、監視対象として所定の大きさ以上の移動体３３を含む所定の範囲を抽出する例を示す。同図においては、移動体３３として訪問者３１が検出され、背景の樹木３０の葉や小動物３２等の小さな物体は除外される。
【００３６】
差分データは、第２記憶部２６に記憶されている、例えば図２に示す前フレームの画像データと、例えば図３に示す復元された現フレームの画像データを比較し、データ（輝度、彩度、色相等）が一定量以上変化している画素のデータを抽出することにより得られる。例えば、図５に示すように、例えば訪問者３１が撮像装置１１の方に近づいている場合、現フレームの画像における訪問者３１の位置や大きさが大きく変化している。また、前フレームの画像には小動物３２は存在していない。そのため、現フレームの画像データにおけるこれら訪問者３１及び小動物３２に相当する画素のデータは、前フレームの画像データにおけるそれらの画素のデータから大きく変化している。また、これら訪問者３１及び小動物３２に相当する画素は連続している。前フレームの画像データと現フレームの画像データの比較においては、例えば、各画素の輝度情報を空間微分することにより輝度勾配を算出し、それを小領域ごとに比較することにより、樹木の葉の揺れのような比較的小さな動きを無視することができる。また、小動物等の比較的小さな物体に関しては、その大きさ（画像の面積）を所定の閾値と比較することによって、移動体から除外することができる。それによって、監視対象としての重要な物体（変化量の大きな範囲）を検出することができる。輝度勾配の比較は、小領域ごとにヒストグラムを作成し、連続する入力画像の間でその類似度を算出することによりなされる。類似度が所定の閾値以上であれば、移動体であると判断でき、類似度が閾値以下であれば、移動体ではないと判断できる。
【００３７】
なお、監視対象領域４２として抽出される移動体を含む所定の範囲は、垂直方向及び水平方向における移動体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。また、移動体の検出方法はこれに限定されるものではなく、同じパターンの画像データが連続する領域を抽出し、その領域の座標から対象領域が移動しているか否かを判定し、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも小さい場合、検出された移動体を含む領域を監視対象領域４２から除外するように構成してもよい。
【００３８】
図６は、第２制御部２５が現フレーム又は前フレームの画像データを解析して目、鼻、口等の画像によって特徴づけられる人間の顔画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。同図においては、検出された顔画像を含む小領域が監視対象領域４２と扱われる。顔画像の検出は、第２制御部２５が現フレーム又は前フレームの画像データを検索し、その中に多数の顔画像から予め標準化された特徴と類似する情報が含まれているか否か、について判断することによりなされる。この例においては、顔画像の検出に替えて、頭、胴体、手、脚等の画像によって特徴づけられる人体画像の検出を行ってもよい。監視対象領域４２として抽出される顔画像又は人体画像を含む所定の範囲は、垂直方向及び水平方向におけるそれらの最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００３９】
図７は、第２制御部２５が現フレーム又は前フレームの画像データを解析して特定の被写体３４の画像の検出を行い（パターンマッチング）、その結果に基づいて、監視対象としての重要度を判断する例を示す。図７においては、特定の被写体３４の例として、トラック等の車両が検出されている。車両の検出は、例えば、入力画像４１の画像データ中に、車両の特徴である円筒形の車輪の画像と類似する情報が含まれているか否か、について判断することによりなされる。その際、車輪の軸間距離も考慮して判断してもよい。監視対象領域４２として抽出される特定の被写体３４を含む所定の範囲は、垂直方向及び水平方向における特定の被写体として認識された範囲の最大高さ及び最大幅又はそれらよりも一定量だけ大きい寸法をそれぞれ縦寸法及び横寸法とする矩形領域等が考えられる。
【００４０】
第２制御部２５が画像として検出する車両は、トラックに限られることなく、乗用車や二輪車であってよく、また工場内に画像送信装置１０を設置する場合には、その工場で用いられている台車等であってもよい。さらには、第２制御部２５が画像として検出する被写体は、特定の特徴を有する対象物であれば、特に限定されない。例えば、車両のナンバープレート又は動物等の顔や身体であってもよい。
【００４１】
図８は、第２制御部２５が現フレーム又は前フレームを構成する画素領域に基づいて、監視対象としての重要度を判断する例を示す。同図においては、現フレーム又は前フレームの中央領域に人物等の監視対象物が存在する可能性が高いとみなして、当該領域を監視対象領域４２として、その他の領域を非監視対象領域４３として扱う。住居の入り口における撮像装置１１の配置によっては、訪問者３１が現れる領域は、特定の領域に限られることがある。また、不審者が侵入しようとする領域も、特定の領域に限られることがある。このような場合、訪問者や不審者が現れる可能性が高い特定の領域を予め定めて監視対象領域４２とみなすことにより、第２制御部２５の負担が軽減され、画像受信装置２０の消費電力を低減できる。なお、監視対象領域の広さは、このホームセキュリティシステム１（画像受信装置２０）の利用者が任意に変更できるように構成されていてもよい。
【００４２】
上記のようにして監視対象領域４２が特定されると、第２制御部２５は、第２記憶部２６から前フレームの画像データを読み出し、そこから監視対象領域４２以外の置換対象領域４３の画像データを抽出すると共に、現フレームの画像データから監視対象領域４２の画像データを抽出する。そして、前フレームの画像データにおける置換対象領域４３の画像データと現フレームの画像データにおける監視対象領域４２の画像データを合成する。合成された画像データは、モニタ２２に出力され、再生される。
【００４３】
図９は、現フレームの画像４１からの監視対象領域４２の抽出と前フレームの画像４０からの置換対象領域４３の抽出、及びこれらの領域の画像の合成を概念的に示したものである。合成された出力画像４４と現フレームの画像４１を比較すると、出力画像４４から、例えば小動物３２等が除去されていることがわかる。
【００４４】
また、前フレームの置換対象領域４３の画像データと現フレームの監視対象領域４２の画像データを合成する際、前フレームの置換対象領域４３の画像データの境界の画素の色調を、現フレームの画像データのうち置換対象領域の境界に隣接する画素の色調とその色調の中間の色調に補正するように構成してもよい。それによって、前フレームの画像４０の置換対象領域４３に合成（貼り付け）した現フレームの画像４１の監視対象領域４２の輪郭をぼかすことができ、自然な画像を提供することができる。
【００４５】
なお、本発明は、上記実施形態の説明に限定されるものではなく、様々な変形が可能である。上記実施形態では、画像の全領域を１つの監視対象領域４２とそれ以外の置換対象領域４３の２つの領域に分割した例を示したが、複数の監視対象領域４２を設定してもよい。あるいは、図１０に示すように、監視対象領域４２以外の領域であって、画像データが一定量以上の変化をした領域のみを置換対象領域４３としてもよい。また、画像データの送信に関しても、特定小電力無線による必要はなく、その他の無線通信方式や有線方式であってもよい。
【符号の説明】
【００４６】
１ ホームセキュリティシステム
１０ 画像送信装置
１１ 撮像装置
２０ 画像受信装置
２１ 第２送受信部（画像データ受信手段）
２２ モニタ
２３ マイク
２４ スピーカ
２５ 第２制御部（画像データ復元手段、画像データ比較手段、画像領域抽出手段、画像データ処理手段）
２６ 第２記憶部（画像データ記憶手段）
４０ 前フレーム画像
４１ 現フレーム画像
４２ 監視対象領域
４３ 置換対象領域
４４ 出力画像
【特許請求の範囲】
【請求項１】
画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像受信装置であって、受信した現フレームの画像データと前フレームの画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域及び前記監視対象領域以外の領域であって、画像データが変化した領域を含む置換対象領域を抽出し、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて再生することを特徴とする画像受信装置。
【請求項２】
前記画像受信装置は、
画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像データ受信手段と、
受信した画像データを復元する画像データ復元手段と、
復元した画像データを記憶する画像データ記憶手段と、
前記現フレームの画像データと前記画像データ記憶手段に記憶されている前記前フレームの画像データを比較する画像データ比較手段と、
前記画像データ比較手段により比較された結果に基づいて、前記前フレームの画像データ及び前記現フレームの画像データから、前記監視対象領域及び前記置換対象領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段により抽出された前記置換対象領域について、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて出力する画像データ処理手段を備えたことを特徴とする請求項１に記載の画像受信装置。
【請求項３】
前記画像データ処理手段は、置き換えられる前記前フレームの画像データのうち前記置換対象領域の画像データの境界の画素の色調を、前記現フレームの画像データのうち前記置換対象領域の境界に隣接する画素の色調とその色調の中間の色調に補正することを特徴とする請求項２に記載の画像受信装置。
【請求項４】
前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して所定の大きさ以上の移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項５】
前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項６】
前記監視対象領域は、前記前フレームの画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項７】
前記監視対象領域は、前記前フレームの画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項８】
前記監視対象領域は、あらかじめ設定された範囲であり、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項９】
前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも大きい場合、前記検出された移動体を含む所定の範囲を前記監視対象領域とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項４に記載の画像受信装置。
【請求項１０】
前記監視対象領域及び前記置換対象領域の広さは、この画像受信装置の利用者が任意に変更できることを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像受信装置。
【請求項１】
画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像受信装置であって、受信した現フレームの画像データと前フレームの画像データを比較し、画像データが変化し、かつ、所定の条件を満たす監視対象領域及び前記監視対象領域以外の領域であって、画像データが変化した領域を含む置換対象領域を抽出し、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて再生することを特徴とする画像受信装置。
【請求項２】
前記画像受信装置は、
画像送信装置からフレーム間差分方式で圧縮され送信される画像データを受信する画像データ受信手段と、
受信した画像データを復元する画像データ復元手段と、
復元した画像データを記憶する画像データ記憶手段と、
前記現フレームの画像データと前記画像データ記憶手段に記憶されている前記前フレームの画像データを比較する画像データ比較手段と、
前記画像データ比較手段により比較された結果に基づいて、前記前フレームの画像データ及び前記現フレームの画像データから、前記監視対象領域及び前記置換対象領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段により抽出された前記置換対象領域について、前記現フレームの画像データにおける前記置換対象領域の画像データを、前記前フレームの画像データにおける前記置換対象領域の画像データに置き換えて出力する画像データ処理手段を備えたことを特徴とする請求項１に記載の画像受信装置。
【請求項３】
前記画像データ処理手段は、置き換えられる前記前フレームの画像データのうち前記置換対象領域の画像データの境界の画素の色調を、前記現フレームの画像データのうち前記置換対象領域の境界に隣接する画素の色調とその色調の中間の色調に補正することを特徴とする請求項２に記載の画像受信装置。
【請求項４】
前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して所定の大きさ以上の移動体の検出を行い、その結果に基づいて、前記移動体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項５】
前記監視対象領域は、復元された前記現フレームの画像データと前記前フレームの画像データを比較解析して顔画像又は人体画像の検出を行い、その結果に基づいて、前記顔画像又は前記人体画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項６】
前記監視対象領域は、前記前フレームの画像データに所定のパターンマッチング処理を施して特定の被写体の画像の検出を行い、その結果に基づいて、前記特定の被写体を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項７】
前記監視対象領域は、前記前フレームの画像データを解析して顔画像又は人体画像の検出を行い、特定形状の被写体の画像を含む所定の範囲とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項８】
前記監視対象領域は、あらかじめ設定された範囲であり、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像受信装置。
【請求項９】
前記移動体の検出において、検出された移動体の移動量を所定の閾値と比較し、該所定の閾値よりも大きい場合、前記検出された移動体を含む所定の範囲を前記監視対象領域とし、前記置換対象領域は前記監視対象領域以外の全領域とすることを特徴とする請求項４に記載の画像受信装置。
【請求項１０】
前記監視対象領域及び前記置換対象領域の広さは、この画像受信装置の利用者が任意に変更できることを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像受信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９０００４（Ｐ２０１３−９０００４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６０３４（Ｐ２０１１−２２６０３４）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]