画像処理装置、画像処理方法及び画像処理プログラム
【課題】ガラス領域に基づいてプライバシー保護の処理の切り分けができ、処理負荷の少ない画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、を有する。
【解決手段】本発明の画像処理装置は、遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術に関し、特に撮影された画像に含まれる領域のプライバシーを保護する画像処理技術に関する。
【背景技術】
【０００２】
一般的に、画像に含まれる領域のプライバシーを保護すべきか否かは、ある領域、例えばガラス領域を隔てて異なっていることが多い。一例として、監視カメラ等で撮影された画像に、ガラス領域を通して民家等建造物の内部が含まれる場合がある。民家等建造物の内部の人物は、普段外出するときとは違うリラックスした格好をしている場合がほとんどである。ガラス領域を通してなんら衣服を着ていない人物が撮影された画像に含まれていることも十分に考えられる。このため、監視カメラ等でガラス領域を通して民家等建造物の内部が撮影された画像をそのまま画面に表示したのでは、プライバシーの保護に欠ける。このことは、プライバシーガラス等の需要があることからわかる。
【０００３】
上記のようなプライバシーを保護すべき対象が存在する可能性が高い領域を含む画像をそのまま画像に表示することを解決する技術として、特許文献１、２に記載の技術が開示されている。特許文献１、２には、監視カメラからの画像情報にプライバシー保護対象領域をユーザが設定し、該保護対象領域にマスク処理を行い、保護すべき画像が画面に表示されないよう信号処理をした後に外部に出力する技術が開示されている。
【０００４】
特許文献１、２に記載の技術を用いて、画像に含まれるガラス領域をプライバシーの保護対象領域とすれば、ガラス領域を通して撮影された領域のプライバシーが保護される。
ところが、特許文献１、２に記載の技術では、状況に応じてマスク処理を外す等の処理ができない。その様子を、図１２、図１３、図１４、図１５を用いて説明する。
【０００５】
図１２は、窓００１のガラス領域にマスク処理がされている画像である。すなわち、図１２は、ガラス領域がプライバシーを含む可能性がある部分として保護されている画像である。人物００３は、保護すべきでない人物、もしくは保護する必要のない人物であり、画像に常に表示されるべき人物である。図１３は、人物００３の一部が、ガラス領域、すなわちマスク領域００２に入った画像である。この画像では、人物００３はマスク領域００２と重なった部分はマスク領域００２に隠れている。
【０００６】
このように、保護すべきでない画像や保護する必要のない画像であっても、マスク処理が行われた領域に重なると、重なった部分はマスク処理されてしまうという問題が従来からあった。
【０００７】
このような問題を解決する技術として、特許文献３に記載の技術が開示されている。
【０００８】
まず、特許文献３に記載の画像処理装置は、監視カメラから出力される撮像画像中の動き領域を検出する。動き領域の全部が完全にマスク領域に入っている場合には、当該領域のマスク処理は継続され、動き領域はマスク領域に隠される。一方、動き領域の一部がマスク領域に入っている場合には、動き領域の一部でマスク領域と重なっている部分をマスク領域から除くようなマスク処理が行われる。このようにして、特許文献３に記載の画像処理装置は、上述した保護する必要のない画像にマスク処理がされるという問題を解決している。
【０００９】
上記の状況とは逆に、図１４は、ガラス領域が監視対象であり、それ以外の領域が保護されるべき領域、すなわちマスク領域である様子を表している。
【００１０】
図１４は、窓００１のガラス領域以外の領域にマスク処理が行われた画像である。ガラス領域以外がプライバシーを保護したい領域である。従って、人物００３は、プライバシーの保護がされるべき人物であり、マスク領域００２で隠されている。
【００１１】
図１５は、人物００３がガラス領域、すなわちマスク領域００２から外れた場合の画像である。人物００３のガラス領域に入り込んだ部分は、マスク領域００２により保護されていない。保護されなくなった人物００３にマスク処理をするためには、さらに人物を認識するための人物認識等の処理が必要である。
【００１２】
【特許文献１】特開２００３−６１０７６号公報
【特許文献２】特開２００４−３０４８４７号公報
【特許文献３】特開２００６−３０４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上記のような関連する技術では、保護する必要のない画像にマスク処理を行わないために、入力画像信号から動きがあった領域を検出し、ひとかたまりの動きのある領域を監視対象物と定義する等の処理が必要であった。このため、多量の演算処理が必要となり、装置に多くの処理負荷がかかる。また、特許文献３に記載の画像処理装置では、保護する必要のない人物が完全にガラス領域などの保護対象領域に入り込んだような状況に対応するには、さらに動き方向判定処理が必要であり、さらに多くの演算処理が必要となる。
【００１４】
また、ガラス領域が監視対象であり、ガラス領域以外の領域がプライバシー保護対象領域である場合についても、ガラス領域に保護が必要な人物が入り込んだ場合に、その人物の保護を続けるためには、その人物を認識する等の処理がさらに必要となる。この場合にも、人物認識等の処理のために、多くの処理負荷が装置にかかる。
【００１５】
従って、本発明の目的は、ガラス領域に基づいてプライバシー保護の処理の切り分けができ、処理負荷の少ない画像処理装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するために本発明の画像処理装置は、遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、を有する。
【００１７】
また、本発明の画像処理装置は、遠赤外線カメラ部と、可視光カメラ部と、前記遠赤外線カメラ部で撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、前記ガラス領域情報に基づいて、前記可視光カメラ部で撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、を有する。
【００１８】
また、本発明の画像処理装置は、遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させる位置合わせ部を有する。
【００１９】
また、本発明の画像処理装置は、人物の顔を認識し、顔領域情報を生成する顔認識部を有する。
【発明の効果】
【００２０】
本発明によれば、ガラス領域に基づいてプライバシー保護の処理ができるので、演算量を少なくすることができるというすぐれた効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態を述べる。しかしながら、係る形態は本発明の技術的範囲を限定するものではない。
【００２２】
[第一の実施形態]
第一の実施形態の画像処理装置を説明する。まずは、図１を用いて全体の構成について詳細に説明する。
【００２３】
本実施形態における画像処理装置は、ガラス領域検出部１とマスク処理部２とから構成される。
【００２４】
ガラス領域検出部１は、遠赤外線カメラで撮影された画像を入力とし、その画像中からガラス領域を検出する。ガラス領域検出部１は、検出されたガラス領域に基づいて、ガラス領域情報を生成する。ガラス領域情報とは、遠赤外線で撮影された画像中の、ガラス領域の位置を示す情報である。
【００２５】
マスク処理部２は、可視光カメラで撮影された画像と、ガラス領域検出部１より生成されたガラス領域情報とを入力とし、マスク処理画像を出力する。マスク処理部２は、ガラス領域情報に基づいて、可視光カメラで撮影された画像中でガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれかにマスク処理を行い、マスク処理画像を生成する。マスク処理とは、撮影した画像の一部の領域に、マスクをかける処理のことである。例えば、ある領域を黒く塗り潰してもよい。なお、遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とは、ほぼ同じ領域をほぼ同じアングルで撮影されたものであれば良い。
【００２６】
ガラス領域検出部１は、遠赤外線カメラで撮影された画像が入力されると、その画像中からガラス領域を検出する。ガラス領域の検出には、ガラスには遠赤外線を吸収する性質があることが利用されている。つまり、遠赤外線カメラで撮影された画像のガラス領域は画素値が非常に小さくなったように撮影されるという性質が利用されている。ここで画素値とは、例えばグレースケールを表す数値のことである。グレースケールは物体の温度に関係しており、白黒の濃さで表される。画像で、温度が高い部分は白く表され、温度が低い部分は黒く表される。また、温度が高い部分は赤く、低い部分は青く表す等、画像に色を付けても良い。
【００２７】
遠赤外線カメラで撮影するとガラス領域の画素値は非常に小さくなるので、ガラス領域検出部１は、画素値が非常に小さく、画素値の変動も小さいまとまった領域をガラス領域であるとして検出することができる。ガラス領域の検出の一例を説明する。画素値が小さいと判定するための閾値をAとする。また、画素値の変動が小さい場合を検出するための画素値の分散の閾値をVとする。さらに、ガラス領域と判定するための十分な面積の閾値をSとする。面積は例えばピクセル数などで表す。閾値AとVとSとについては、ガラス領域と判定されるのに十分な値を予め定めておく。ここで、任意のフレーム数をTで表す。Tフレーム分の画素値の平均が閾値A以下で、かつTフレーム分の画素値の分散が閾値V以下の領域を検出し、この領域の面積がある閾値S以上の領域をガラス領域として検出する。ガラス領域検出部１は、検出されたガラス領域に基づいて、ガラス領域情報を生成する。
【００２８】
マスク処理部２は、可視光カメラで撮影された画像とガラス領域情報とが入力される。マスク処理部２は、ガラス領域情報に基づいて、ガラス領域として検出された領域に対応する可視光カメラで撮影された画像の領域にマスク処理を行う。可視光カメラで撮影された画像のガラス領域へのマスク処理により、ガラス領域に含まれるプライバシー保護対象物を保護することができる。
【００２９】
逆に、ガラス領域が監視対象であり、ガラス領域以外の領域が保護領域である場合について説明する。この場合、マスク処理部２は、上述の通り、ガラス領域情報に基づいてガラス領域を検出する。そして、マスク処理部２は、ガラス領域以外の領域にマスク処理を行う。可視光カメラで撮影された画像のガラス領域以外の領域をマスク処理することにより、ガラス領域以外の領域に含まれるプライバシー保護対象物を保護することができる。
【００３０】
次に、図２を用いて、本実施形態の動作を詳細に説明する。図２は、本実施の形態の動作を示すフローチャートである。
【００３１】
まず、ガラス領域検出部１に遠赤外線カメラで撮影された画像が入力される（S１１）。ガラス領域検出部１は、複数の画像が入力されると、上述したようにTフレーム分の平均画素値がある閾値A以下で、かつTフレーム分の画素値の分散がある閾値V以下の領域を検出し、この領域の面積がある閾値S以上の領域をガラス領域として検出する。例えば、閾値AとVとSとはガラス領域検出部１に予め記憶されている。ガラス領域検出部１は、検出されたガラス領域情報に基づいて、ガラス領域情報を生成する（S１2）。
【００３２】
マスク処理部２に可視光カメラで撮影された画像が入力される（S１3）。また、ガラス領域検出部１が生成したガラス領域情報がマスク処理部２に入力される（S１4）。マスク処理部２は、入力されたガラス領域情報に基づいて、可視光カメラで撮影された画像に含まれるガラス領域に対応する領域にマスク処理を行う（S１5）。
【００３３】
以上により、プライバシー保護対象領域であるガラス領域にマスク処理がされた画像が出力される（S１6）。
【００３４】
また、ガラス領域が監視対象であり、ガラス領域以外の領域をプライバシー保護対象領域とする場合は、マスク処理部２はガラス領域として検出された領域以外の領域にマスク処理を行う。
【００３５】
可視光カメラで撮影された画像のガラス領域にマスク処理を行うか、ガラス領域以外の領域にマスク処理を行うかを、ユーザが入力するような構成にしても良い。例えば、画像処理装置に、ガラス領域にマスク処理を行うか、ガラス領域以外の領域にマスク処理を行うかを切り替え可能なスイッチの機能を持たせても良い。また、外部よりPC等で切替命令を入力しても良い。これによりユーザは、状況に応じてマスク処理を行う領域を手軽に切り替えることができる。
【００３６】
次に、保護対象領域であるガラス領域に、保護する必要のない人物が入り込んだ場面について、図３を用いて詳細に説明する。
【００３７】
本実施の形態の画像処理装置はガラス領域を検出し、ガラス領域に対してマスク処理を行うことができる。例えば、人物１０３が窓１０１のマスク領域１０２に重なった場合、その領域は遠赤外線カメラから見るとガラス領域としては認識されない。すなわち、ガラス領域と人物１０３とが重なった領域の画素値は、人物１０３を表す画素値であり、ガラス領域を表す非常に小さな画素値にはならない。従って、ガラス領域と人物１０３とが重なった領域は、マスク処理の対象ではなくなる。これにより、動き領域検出等の追加の演算処理の負荷を装置にかけることなく、人物１０３はマスク領域１０２に隠れずに表示されることになる。
【００３８】
逆に、図４のように、ガラス領域が監視対象であり、それ以外の領域が保護領域である場合について説明する。
【００３９】
この場合、ガラス領域と人物１０３とが重なった領域は、上述のように遠赤外線カメラから見るとガラス領域としては認識されない。従って、ガラス領域が監視対象の場合、ガラス領域と人物１０３とが重なった領域は、マスク処理の対象となる。これにより、本実施の形態の画像処理装置は、人物認識等の処理を行うことなく、人物１０３にマスク処理を行い、人物１０３のプライバシーを保護することができる。
【００４０】
以上詳述したように、本発明の第一の実施形態では、ガラス領域に基づいてプライバシー保護の処理ができるので、演算量を少なくすることができる。
【００４１】
[第二の実施形態]
次に、第二の実施形態の画像処理装置を、図５を用いて詳細に説明する。なお、第一の実施形態に係るものと同一の構成部については説明を省略する。
【００４２】
本実施形態における画像処理装置は、第一の実施形態のガラス領域検出部１、マスク処理部２に加えて、可視光カメラ部３と、遠赤外線カメラ部４とからなる。可視光カメラ部３は、可視光画像を撮影し、撮影された可視光画像をマスク処理部２へ出力する。すなわち、可視光カメラ部３は、撮影した可視光画像を同一装置内で直接マスク処理部２に出力する。可視光カメラ部３は、通常のCCDセンサ（Charge Coupled Device Sensor）又はCMOSセンサ（Complementary Metal Oxide Semiconductor Sensor）で構成されても良い。また、可視光カメラ部３は、近赤外線まで感度を持つようなセンサで構成されても良い。遠赤外線カメラ部４は、遠赤外線画像を撮影し、撮影された遠赤外線画像をガラス領域検出部１へ出力する。すなわち、遠赤外線カメラ部４は、撮影した遠赤外線画像を同一装置内で直接、ガラス領域検出部１に出力する。遠赤外線カメラ部４は、通常の遠赤外線カメラで構成されても良い。遠赤外線カメラ部４は、可視光カメラ部３で撮影される画像とほぼ同じ対象をほぼ同じアングルで遠赤外線画像を撮影するように調整されていると良い。
【００４３】
上記の通り、本実施形態の画像処理装置においては、可視光画像の撮影と撮影した画像の入出力と可視光画像へのマスク処理とが同一装置内で行われる。従って、マスク処理がされていない画像が外部に漏れる危険がない。
【００４４】
また、本実施形態においても、第一の実施形態と同様に、可視光カメラで撮影された画像のガラス領域にマスク処理を行うか、ガラス領域以外の領域にマスク処理を行うかをユーザが入力するような構成にしても良い。
【００４５】
以上詳述したように、本発明の第二の実施形態では、同一装置内で可視光画像の撮影と、画像の入出力と、可視光画像へのマスク処理を行うので、マスク処理がされていない画像が外部に漏れる危険がなく、より強固なプライバシー保護が可能となる。
【００４６】
[第三の実施形態]
次に、第三の実施形態の画像処理装置を、図６を用いて説明する。なお、第一の実施形態に係るものと同一の構成部については説明を省略する。
【００４７】
第三の実施形態における画像処理装置は、遠赤外線カメラと可視光カメラのアングル等が大きくずれてしまった場合でも適切な位置にマスク処理をすることが可能な画像処理装置である。
【００４８】
本実施形態における画像処理装置は、第一の実施形態のガラス領域検出部１、マスク処理部２に加えて、さらに位置合わせ部５を有する。位置合わせ部５は、遠赤外線カメラのアングルと可視光カメラのアングルとがずれている場合、ガラス領域の位置を対応させる。また、位置合わせ部５は、遠赤外線画像と可視光画像の重ならない領域の検出も行う。
【００４９】
位置合わせ部５は、画像の対応関係がわかってガラス領域の位置を対応させることができ、遠赤外線画像と可視光画像の重ならない領域を検出できれば、どのような処理にしても良い。
【００５０】
位置合わせ部５がガラス領域の位置を対応させる処理の一例は、位置合わせ部５が、図７のような遠赤外線カメラと可視光カメラが撮影可能な範囲を格子状に区切った対応テーブルを記憶しているものである。図７の、太線で囲った縦網の範囲が遠赤外線カメラの撮影範囲であり、破線で囲った横網の範囲が可視光画像の撮影範囲である。この場合位置合わせ部５は、二つの撮影範囲は一致していないことから、遠赤外線カメラのアングルと、可視光カメラのアングルがずれていると認識する。位置合わせ部５が、ガラス領域情報に基づいて、遠赤外線画像の対応テーブルで、ガラス領域を図７の４−Dと５−Dと４−Eと５−Eであると判定したとする。すると、マスク処理部２は可視光画像の対応テーブルで、４−Dと５−Dと４−Eと５−Eに該当する可視光画像の領域にマスク処理を行う。
【００５１】
他の例では、位置合わせ部５の処理は、位置合わせ部５が遠赤外線カメラと可視光カメラのカメラパラメータを算出して、可視光画像のガラス領域に対応する領域を計算により求める処理としても良い。カメラパラメータとは、画像を撮影したときのカメラの位置、向き、焦点距離のことである。カメラパラメータの算出と、算出したカメラパラメータを用いて可視光画像中のガラス領域に対応する領域を計算する処理には、従来の技術を用いれば良い。
【００５２】
位置合わせ部５が、以上のような処理をすることで、両カメラで撮影された画像がずれている場合にも適切な位置にマスク処理を行うことが可能となる。
【００５３】
また、位置合わせ部５は、遠赤外線画像と可視光画像とが重ならない領域の検出も行う。位置合わせ部５は、二つの画像の重ならない領域を、上記のように対応テーブルを用いて検出しても良いし、カメラパラメータを用いて計算して検出しても良い。例えば、対応テーブルを用いて検出する場合、図７のとき位置合わせ部５は、遠赤外線画像と可視光画像とが重ならない領域として、２−Bから２−Hと、２−Bから８−Bと、９−Cから９−Iと、３−Iから９−Iの領域を検出する。
【００５４】
次に、図８を用いて、本実施形態の動作を詳細に説明する。図８は、本実施の形態の動作を示すフローチャートである。
【００５５】
まず、ガラス領域検出部１に遠赤外線カメラで撮影された画像が入力される（S３１）。続いて、ガラス領域検出部１は、第一の実施形態の場合と同様に、遠赤外線画像からガラス領域を検出し、ガラス領域情報を生成する（S３２）。位置合わせ部５に可視光カメラで撮影された画像が入力される（S３３）。また、ガラス領域検出部１は、生成したガラス領域情報を位置合わせ部５に出力する（S３４）。位置合わせ部５は、入力されたガラス領域情報に基づいて、対応テーブルを参照する、またはカメラパラメータで計算する等して、可視光カメラで撮影された可視光画像中の、ガラス領域に対応する領域の位置を検出する。位置合わせ部５はさらに、対応テーブルを参照する、またはカメラパラメータで計算する等して二つの画像の重ならない領域を検出する。位置合わせ部５は、マスク対象領域情報を生成する（S３５）。マスク対象領域情報とは、可視光画像中の、ガラス領域に対応する領域と、二つの画像の重ならない領域とを示す情報である。次に、位置合わせ部５は、可視光画像とマスク対象領域情報とをマスク処理部２に出力する（S３６）。
【００５６】
マスク処理部２はマスク対象領域情報に基づいて、可視光画像中のガラス領域に対応する領域と二つの画像の重ならない領域にマスク処理を行う（S３７）。マスク処理部２は、プライバシー保護対象領域であるガラス領域と、二つの画像の重ならない領域について、マスク処理が行われた画像を出力する（S３８）。
【００５７】
逆に、ガラス領域が監視対象であり、ガラス領域以外の領域をプライバシー保護対象領域とする場合は、マスク処理部２は、可視光画像中のガラス領域に対応する領域以外の領域と、二つの画像の重ならない領域についてマスク処理を行う。
【００５８】
また、本実施形態においても、第一の実施形態と同様に、可視光画像中のガラス領域に対応する領域にマスク処理を行うか、ガラス領域に対応する領域以外の領域にマスク処理を行うかをユーザが入力するような構成にしても良い。
【００５９】
また、遠赤外線カメラの視野を、可視光カメラの視野より広くして画像を撮影しても良い。遠赤外線カメラの視野を広くすることで、可視光画像に含まれるガラス領域が、遠赤外線画像で撮影される可能性が高くなるという効果が得られる。
【００６０】
以上詳述したように、本発明の第三の実施形態では、遠赤外線カメラと可視光カメラとのアングルがずれている場合等にも、正確にガラス領域を検出し、ガラス領域に対応する領域、またはそれ以外の領域にマスク処理を行うことができる。これにより、本発明の第三の実施形態の画像処理装置は、適切にプライバシーを保護することできる。
【００６１】
[第四の実施形態]
次に、第四の実施形態の画像処理装置を、図９を用いて説明する。なお、第一の実施形態に係るものと同一の構成部については説明を省略する。
【００６２】
本実施形態における画像処理装置は、第一の実施形態のガラス領域検出部１、マスク処理部２に加えて、さらに、顔認識部６を有する。顔認識部６は、可視光画像中に含まれている人物の顔を認識し、顔領域情報を生成する。顔領域情報とは、人物の顔が含まれる領域を示す情報である。顔認識部６が生成した顔領域情報に基づいて、マスク処理部２は、ガラス領域へのマスク処理とは独立して顔領域にもマスク処理を行う。これにより、図１０に示すように、動物４０１を監視しているカメラの撮影範囲に人物４０３が入り込んだ場合であっても、人物４０３のプライバシーは常に保護されることになる。
【００６３】
次に、図１１を用いて、本実施形態の動作を詳細に説明する。図１１は、本実施の形態の動作を示すフローチャートである。
【００６４】
まず、ガラス領域検出部１は、遠赤外線カメラで撮影された画像が入力される（S４１）。その後、ガラス領域検出部１は、第一の実施形態の場合と同様に、遠赤外線画像からガラス領域を検出し、ガラス領域情報を生成する（S４２）。
【００６５】
次に、可視光カメラで撮影された画像が、顔認識部６に入力される（S４３）。顔認識部６は、入力された可視光画像中に含まれる人物の顔を認識する。可視光画像中に人物の顔が含まれていない場合は、顔が認識されない。この場合、顔認識部６は、次の可視光画像の入力を待つ。顔認識部６は、人物の顔を認識すると、顔領域情報を生成する（S４４）。ガラス領域検出部１はガラス領域情報を、顔認識部６は顔領域情報を、それぞれマスク処理部２に出力する（S４５）。また、可視光カメラで撮影された画像がマスク処理部２に入力される。マスク処理部２は、入力されたガラス領域情報と顔領域情報に基づいて、可視光画像の、ガラス領域に対応する領域と顔領域とにマスク処理を行う（S４６）。
【００６６】
その後、プライバシー保護対象領域であるガラス領域と、プライバシー保護が必要な人物の顔にマスク処理がされた画像が出力される（S４７）。
【００６７】
以上詳述したように、本発明の第四の実施形態の画像処理装置は、顔認識部６を有するので、ガラス領域とは独立してプライバシーを保護したい人物がいる場合に、顔領域にマスク処理を行い、その人物のプライバシーを保護することができる。
【産業上の利用可能性】
【００６８】
以上説明したように、本発明は、ガラス領域に基づいてプライバシー保護の処理の切り分けができ、処理負荷の少ない監視カメラ装置等の画像処理装置として有用である。
【図面の簡単な説明】
【００６９】
【図１】第一の実施形態の画像処理装置の構成を示す図
【図２】第一の実施形態の画像処理装置の動作を示す図
【図３】保護対象領域であるガラス領域に、保護する必要のない人物が入り込んだ場合に、画像処理装置が出力する画像を示す図
【図４】監視対象であるガラス領域に、保護が必要な人物が入り込んだ場合に、画像処理装置が出力する画像を示す図
【図５】第二の実施形態の画像処理装置の構成を示す図
【図６】第三の実施形態の画像処理装置の構成を示す図
【図７】位置合わせ部５が記憶する対応テーブルの例を示す図
【図８】第三の実施形態の画像処理装置の動作を示す図
【図９】第四の実施形態の画像処理装置の構成を示す図
【図１０】動物を監視しているカメラの撮影範囲に人物が入り込んだ場合に、画像処理装置が出力する画像を示す図
【図１１】第四の実施形態の画像処理装置の動作を示す図
【図１２】関連する技術を説明するための図
【図１３】関連する技術を説明するための図
【図１４】関連する技術を説明するための図
【図１５】関連する技術を説明するための図
【符号の説明】
【００７０】
１ ガラス領域検出部
２ マスク処理部
３ 可視光カメラ部
４ 遠赤外線カメラ部
５ 位置合わせ部
６ 顔認識部
【技術分野】
【０００１】
本発明は画像処理技術に関し、特に撮影された画像に含まれる領域のプライバシーを保護する画像処理技術に関する。
【背景技術】
【０００２】
一般的に、画像に含まれる領域のプライバシーを保護すべきか否かは、ある領域、例えばガラス領域を隔てて異なっていることが多い。一例として、監視カメラ等で撮影された画像に、ガラス領域を通して民家等建造物の内部が含まれる場合がある。民家等建造物の内部の人物は、普段外出するときとは違うリラックスした格好をしている場合がほとんどである。ガラス領域を通してなんら衣服を着ていない人物が撮影された画像に含まれていることも十分に考えられる。このため、監視カメラ等でガラス領域を通して民家等建造物の内部が撮影された画像をそのまま画面に表示したのでは、プライバシーの保護に欠ける。このことは、プライバシーガラス等の需要があることからわかる。
【０００３】
上記のようなプライバシーを保護すべき対象が存在する可能性が高い領域を含む画像をそのまま画像に表示することを解決する技術として、特許文献１、２に記載の技術が開示されている。特許文献１、２には、監視カメラからの画像情報にプライバシー保護対象領域をユーザが設定し、該保護対象領域にマスク処理を行い、保護すべき画像が画面に表示されないよう信号処理をした後に外部に出力する技術が開示されている。
【０００４】
特許文献１、２に記載の技術を用いて、画像に含まれるガラス領域をプライバシーの保護対象領域とすれば、ガラス領域を通して撮影された領域のプライバシーが保護される。
ところが、特許文献１、２に記載の技術では、状況に応じてマスク処理を外す等の処理ができない。その様子を、図１２、図１３、図１４、図１５を用いて説明する。
【０００５】
図１２は、窓００１のガラス領域にマスク処理がされている画像である。すなわち、図１２は、ガラス領域がプライバシーを含む可能性がある部分として保護されている画像である。人物００３は、保護すべきでない人物、もしくは保護する必要のない人物であり、画像に常に表示されるべき人物である。図１３は、人物００３の一部が、ガラス領域、すなわちマスク領域００２に入った画像である。この画像では、人物００３はマスク領域００２と重なった部分はマスク領域００２に隠れている。
【０００６】
このように、保護すべきでない画像や保護する必要のない画像であっても、マスク処理が行われた領域に重なると、重なった部分はマスク処理されてしまうという問題が従来からあった。
【０００７】
このような問題を解決する技術として、特許文献３に記載の技術が開示されている。
【０００８】
まず、特許文献３に記載の画像処理装置は、監視カメラから出力される撮像画像中の動き領域を検出する。動き領域の全部が完全にマスク領域に入っている場合には、当該領域のマスク処理は継続され、動き領域はマスク領域に隠される。一方、動き領域の一部がマスク領域に入っている場合には、動き領域の一部でマスク領域と重なっている部分をマスク領域から除くようなマスク処理が行われる。このようにして、特許文献３に記載の画像処理装置は、上述した保護する必要のない画像にマスク処理がされるという問題を解決している。
【０００９】
上記の状況とは逆に、図１４は、ガラス領域が監視対象であり、それ以外の領域が保護されるべき領域、すなわちマスク領域である様子を表している。
【００１０】
図１４は、窓００１のガラス領域以外の領域にマスク処理が行われた画像である。ガラス領域以外がプライバシーを保護したい領域である。従って、人物００３は、プライバシーの保護がされるべき人物であり、マスク領域００２で隠されている。
【００１１】
図１５は、人物００３がガラス領域、すなわちマスク領域００２から外れた場合の画像である。人物００３のガラス領域に入り込んだ部分は、マスク領域００２により保護されていない。保護されなくなった人物００３にマスク処理をするためには、さらに人物を認識するための人物認識等の処理が必要である。
【００１２】
【特許文献１】特開２００３−６１０７６号公報
【特許文献２】特開２００４−３０４８４７号公報
【特許文献３】特開２００６−３０４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上記のような関連する技術では、保護する必要のない画像にマスク処理を行わないために、入力画像信号から動きがあった領域を検出し、ひとかたまりの動きのある領域を監視対象物と定義する等の処理が必要であった。このため、多量の演算処理が必要となり、装置に多くの処理負荷がかかる。また、特許文献３に記載の画像処理装置では、保護する必要のない人物が完全にガラス領域などの保護対象領域に入り込んだような状況に対応するには、さらに動き方向判定処理が必要であり、さらに多くの演算処理が必要となる。
【００１４】
また、ガラス領域が監視対象であり、ガラス領域以外の領域がプライバシー保護対象領域である場合についても、ガラス領域に保護が必要な人物が入り込んだ場合に、その人物の保護を続けるためには、その人物を認識する等の処理がさらに必要となる。この場合にも、人物認識等の処理のために、多くの処理負荷が装置にかかる。
【００１５】
従って、本発明の目的は、ガラス領域に基づいてプライバシー保護の処理の切り分けができ、処理負荷の少ない画像処理装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するために本発明の画像処理装置は、遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、を有する。
【００１７】
また、本発明の画像処理装置は、遠赤外線カメラ部と、可視光カメラ部と、前記遠赤外線カメラ部で撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、前記ガラス領域情報に基づいて、前記可視光カメラ部で撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、を有する。
【００１８】
また、本発明の画像処理装置は、遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させる位置合わせ部を有する。
【００１９】
また、本発明の画像処理装置は、人物の顔を認識し、顔領域情報を生成する顔認識部を有する。
【発明の効果】
【００２０】
本発明によれば、ガラス領域に基づいてプライバシー保護の処理ができるので、演算量を少なくすることができるというすぐれた効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態を述べる。しかしながら、係る形態は本発明の技術的範囲を限定するものではない。
【００２２】
[第一の実施形態]
第一の実施形態の画像処理装置を説明する。まずは、図１を用いて全体の構成について詳細に説明する。
【００２３】
本実施形態における画像処理装置は、ガラス領域検出部１とマスク処理部２とから構成される。
【００２４】
ガラス領域検出部１は、遠赤外線カメラで撮影された画像を入力とし、その画像中からガラス領域を検出する。ガラス領域検出部１は、検出されたガラス領域に基づいて、ガラス領域情報を生成する。ガラス領域情報とは、遠赤外線で撮影された画像中の、ガラス領域の位置を示す情報である。
【００２５】
マスク処理部２は、可視光カメラで撮影された画像と、ガラス領域検出部１より生成されたガラス領域情報とを入力とし、マスク処理画像を出力する。マスク処理部２は、ガラス領域情報に基づいて、可視光カメラで撮影された画像中でガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれかにマスク処理を行い、マスク処理画像を生成する。マスク処理とは、撮影した画像の一部の領域に、マスクをかける処理のことである。例えば、ある領域を黒く塗り潰してもよい。なお、遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とは、ほぼ同じ領域をほぼ同じアングルで撮影されたものであれば良い。
【００２６】
ガラス領域検出部１は、遠赤外線カメラで撮影された画像が入力されると、その画像中からガラス領域を検出する。ガラス領域の検出には、ガラスには遠赤外線を吸収する性質があることが利用されている。つまり、遠赤外線カメラで撮影された画像のガラス領域は画素値が非常に小さくなったように撮影されるという性質が利用されている。ここで画素値とは、例えばグレースケールを表す数値のことである。グレースケールは物体の温度に関係しており、白黒の濃さで表される。画像で、温度が高い部分は白く表され、温度が低い部分は黒く表される。また、温度が高い部分は赤く、低い部分は青く表す等、画像に色を付けても良い。
【００２７】
遠赤外線カメラで撮影するとガラス領域の画素値は非常に小さくなるので、ガラス領域検出部１は、画素値が非常に小さく、画素値の変動も小さいまとまった領域をガラス領域であるとして検出することができる。ガラス領域の検出の一例を説明する。画素値が小さいと判定するための閾値をAとする。また、画素値の変動が小さい場合を検出するための画素値の分散の閾値をVとする。さらに、ガラス領域と判定するための十分な面積の閾値をSとする。面積は例えばピクセル数などで表す。閾値AとVとSとについては、ガラス領域と判定されるのに十分な値を予め定めておく。ここで、任意のフレーム数をTで表す。Tフレーム分の画素値の平均が閾値A以下で、かつTフレーム分の画素値の分散が閾値V以下の領域を検出し、この領域の面積がある閾値S以上の領域をガラス領域として検出する。ガラス領域検出部１は、検出されたガラス領域に基づいて、ガラス領域情報を生成する。
【００２８】
マスク処理部２は、可視光カメラで撮影された画像とガラス領域情報とが入力される。マスク処理部２は、ガラス領域情報に基づいて、ガラス領域として検出された領域に対応する可視光カメラで撮影された画像の領域にマスク処理を行う。可視光カメラで撮影された画像のガラス領域へのマスク処理により、ガラス領域に含まれるプライバシー保護対象物を保護することができる。
【００２９】
逆に、ガラス領域が監視対象であり、ガラス領域以外の領域が保護領域である場合について説明する。この場合、マスク処理部２は、上述の通り、ガラス領域情報に基づいてガラス領域を検出する。そして、マスク処理部２は、ガラス領域以外の領域にマスク処理を行う。可視光カメラで撮影された画像のガラス領域以外の領域をマスク処理することにより、ガラス領域以外の領域に含まれるプライバシー保護対象物を保護することができる。
【００３０】
次に、図２を用いて、本実施形態の動作を詳細に説明する。図２は、本実施の形態の動作を示すフローチャートである。
【００３１】
まず、ガラス領域検出部１に遠赤外線カメラで撮影された画像が入力される（S１１）。ガラス領域検出部１は、複数の画像が入力されると、上述したようにTフレーム分の平均画素値がある閾値A以下で、かつTフレーム分の画素値の分散がある閾値V以下の領域を検出し、この領域の面積がある閾値S以上の領域をガラス領域として検出する。例えば、閾値AとVとSとはガラス領域検出部１に予め記憶されている。ガラス領域検出部１は、検出されたガラス領域情報に基づいて、ガラス領域情報を生成する（S１2）。
【００３２】
マスク処理部２に可視光カメラで撮影された画像が入力される（S１3）。また、ガラス領域検出部１が生成したガラス領域情報がマスク処理部２に入力される（S１4）。マスク処理部２は、入力されたガラス領域情報に基づいて、可視光カメラで撮影された画像に含まれるガラス領域に対応する領域にマスク処理を行う（S１5）。
【００３３】
以上により、プライバシー保護対象領域であるガラス領域にマスク処理がされた画像が出力される（S１6）。
【００３４】
また、ガラス領域が監視対象であり、ガラス領域以外の領域をプライバシー保護対象領域とする場合は、マスク処理部２はガラス領域として検出された領域以外の領域にマスク処理を行う。
【００３５】
可視光カメラで撮影された画像のガラス領域にマスク処理を行うか、ガラス領域以外の領域にマスク処理を行うかを、ユーザが入力するような構成にしても良い。例えば、画像処理装置に、ガラス領域にマスク処理を行うか、ガラス領域以外の領域にマスク処理を行うかを切り替え可能なスイッチの機能を持たせても良い。また、外部よりPC等で切替命令を入力しても良い。これによりユーザは、状況に応じてマスク処理を行う領域を手軽に切り替えることができる。
【００３６】
次に、保護対象領域であるガラス領域に、保護する必要のない人物が入り込んだ場面について、図３を用いて詳細に説明する。
【００３７】
本実施の形態の画像処理装置はガラス領域を検出し、ガラス領域に対してマスク処理を行うことができる。例えば、人物１０３が窓１０１のマスク領域１０２に重なった場合、その領域は遠赤外線カメラから見るとガラス領域としては認識されない。すなわち、ガラス領域と人物１０３とが重なった領域の画素値は、人物１０３を表す画素値であり、ガラス領域を表す非常に小さな画素値にはならない。従って、ガラス領域と人物１０３とが重なった領域は、マスク処理の対象ではなくなる。これにより、動き領域検出等の追加の演算処理の負荷を装置にかけることなく、人物１０３はマスク領域１０２に隠れずに表示されることになる。
【００３８】
逆に、図４のように、ガラス領域が監視対象であり、それ以外の領域が保護領域である場合について説明する。
【００３９】
この場合、ガラス領域と人物１０３とが重なった領域は、上述のように遠赤外線カメラから見るとガラス領域としては認識されない。従って、ガラス領域が監視対象の場合、ガラス領域と人物１０３とが重なった領域は、マスク処理の対象となる。これにより、本実施の形態の画像処理装置は、人物認識等の処理を行うことなく、人物１０３にマスク処理を行い、人物１０３のプライバシーを保護することができる。
【００４０】
以上詳述したように、本発明の第一の実施形態では、ガラス領域に基づいてプライバシー保護の処理ができるので、演算量を少なくすることができる。
【００４１】
[第二の実施形態]
次に、第二の実施形態の画像処理装置を、図５を用いて詳細に説明する。なお、第一の実施形態に係るものと同一の構成部については説明を省略する。
【００４２】
本実施形態における画像処理装置は、第一の実施形態のガラス領域検出部１、マスク処理部２に加えて、可視光カメラ部３と、遠赤外線カメラ部４とからなる。可視光カメラ部３は、可視光画像を撮影し、撮影された可視光画像をマスク処理部２へ出力する。すなわち、可視光カメラ部３は、撮影した可視光画像を同一装置内で直接マスク処理部２に出力する。可視光カメラ部３は、通常のCCDセンサ（Charge Coupled Device Sensor）又はCMOSセンサ（Complementary Metal Oxide Semiconductor Sensor）で構成されても良い。また、可視光カメラ部３は、近赤外線まで感度を持つようなセンサで構成されても良い。遠赤外線カメラ部４は、遠赤外線画像を撮影し、撮影された遠赤外線画像をガラス領域検出部１へ出力する。すなわち、遠赤外線カメラ部４は、撮影した遠赤外線画像を同一装置内で直接、ガラス領域検出部１に出力する。遠赤外線カメラ部４は、通常の遠赤外線カメラで構成されても良い。遠赤外線カメラ部４は、可視光カメラ部３で撮影される画像とほぼ同じ対象をほぼ同じアングルで遠赤外線画像を撮影するように調整されていると良い。
【００４３】
上記の通り、本実施形態の画像処理装置においては、可視光画像の撮影と撮影した画像の入出力と可視光画像へのマスク処理とが同一装置内で行われる。従って、マスク処理がされていない画像が外部に漏れる危険がない。
【００４４】
また、本実施形態においても、第一の実施形態と同様に、可視光カメラで撮影された画像のガラス領域にマスク処理を行うか、ガラス領域以外の領域にマスク処理を行うかをユーザが入力するような構成にしても良い。
【００４５】
以上詳述したように、本発明の第二の実施形態では、同一装置内で可視光画像の撮影と、画像の入出力と、可視光画像へのマスク処理を行うので、マスク処理がされていない画像が外部に漏れる危険がなく、より強固なプライバシー保護が可能となる。
【００４６】
[第三の実施形態]
次に、第三の実施形態の画像処理装置を、図６を用いて説明する。なお、第一の実施形態に係るものと同一の構成部については説明を省略する。
【００４７】
第三の実施形態における画像処理装置は、遠赤外線カメラと可視光カメラのアングル等が大きくずれてしまった場合でも適切な位置にマスク処理をすることが可能な画像処理装置である。
【００４８】
本実施形態における画像処理装置は、第一の実施形態のガラス領域検出部１、マスク処理部２に加えて、さらに位置合わせ部５を有する。位置合わせ部５は、遠赤外線カメラのアングルと可視光カメラのアングルとがずれている場合、ガラス領域の位置を対応させる。また、位置合わせ部５は、遠赤外線画像と可視光画像の重ならない領域の検出も行う。
【００４９】
位置合わせ部５は、画像の対応関係がわかってガラス領域の位置を対応させることができ、遠赤外線画像と可視光画像の重ならない領域を検出できれば、どのような処理にしても良い。
【００５０】
位置合わせ部５がガラス領域の位置を対応させる処理の一例は、位置合わせ部５が、図７のような遠赤外線カメラと可視光カメラが撮影可能な範囲を格子状に区切った対応テーブルを記憶しているものである。図７の、太線で囲った縦網の範囲が遠赤外線カメラの撮影範囲であり、破線で囲った横網の範囲が可視光画像の撮影範囲である。この場合位置合わせ部５は、二つの撮影範囲は一致していないことから、遠赤外線カメラのアングルと、可視光カメラのアングルがずれていると認識する。位置合わせ部５が、ガラス領域情報に基づいて、遠赤外線画像の対応テーブルで、ガラス領域を図７の４−Dと５−Dと４−Eと５−Eであると判定したとする。すると、マスク処理部２は可視光画像の対応テーブルで、４−Dと５−Dと４−Eと５−Eに該当する可視光画像の領域にマスク処理を行う。
【００５１】
他の例では、位置合わせ部５の処理は、位置合わせ部５が遠赤外線カメラと可視光カメラのカメラパラメータを算出して、可視光画像のガラス領域に対応する領域を計算により求める処理としても良い。カメラパラメータとは、画像を撮影したときのカメラの位置、向き、焦点距離のことである。カメラパラメータの算出と、算出したカメラパラメータを用いて可視光画像中のガラス領域に対応する領域を計算する処理には、従来の技術を用いれば良い。
【００５２】
位置合わせ部５が、以上のような処理をすることで、両カメラで撮影された画像がずれている場合にも適切な位置にマスク処理を行うことが可能となる。
【００５３】
また、位置合わせ部５は、遠赤外線画像と可視光画像とが重ならない領域の検出も行う。位置合わせ部５は、二つの画像の重ならない領域を、上記のように対応テーブルを用いて検出しても良いし、カメラパラメータを用いて計算して検出しても良い。例えば、対応テーブルを用いて検出する場合、図７のとき位置合わせ部５は、遠赤外線画像と可視光画像とが重ならない領域として、２−Bから２−Hと、２−Bから８−Bと、９−Cから９−Iと、３−Iから９−Iの領域を検出する。
【００５４】
次に、図８を用いて、本実施形態の動作を詳細に説明する。図８は、本実施の形態の動作を示すフローチャートである。
【００５５】
まず、ガラス領域検出部１に遠赤外線カメラで撮影された画像が入力される（S３１）。続いて、ガラス領域検出部１は、第一の実施形態の場合と同様に、遠赤外線画像からガラス領域を検出し、ガラス領域情報を生成する（S３２）。位置合わせ部５に可視光カメラで撮影された画像が入力される（S３３）。また、ガラス領域検出部１は、生成したガラス領域情報を位置合わせ部５に出力する（S３４）。位置合わせ部５は、入力されたガラス領域情報に基づいて、対応テーブルを参照する、またはカメラパラメータで計算する等して、可視光カメラで撮影された可視光画像中の、ガラス領域に対応する領域の位置を検出する。位置合わせ部５はさらに、対応テーブルを参照する、またはカメラパラメータで計算する等して二つの画像の重ならない領域を検出する。位置合わせ部５は、マスク対象領域情報を生成する（S３５）。マスク対象領域情報とは、可視光画像中の、ガラス領域に対応する領域と、二つの画像の重ならない領域とを示す情報である。次に、位置合わせ部５は、可視光画像とマスク対象領域情報とをマスク処理部２に出力する（S３６）。
【００５６】
マスク処理部２はマスク対象領域情報に基づいて、可視光画像中のガラス領域に対応する領域と二つの画像の重ならない領域にマスク処理を行う（S３７）。マスク処理部２は、プライバシー保護対象領域であるガラス領域と、二つの画像の重ならない領域について、マスク処理が行われた画像を出力する（S３８）。
【００５７】
逆に、ガラス領域が監視対象であり、ガラス領域以外の領域をプライバシー保護対象領域とする場合は、マスク処理部２は、可視光画像中のガラス領域に対応する領域以外の領域と、二つの画像の重ならない領域についてマスク処理を行う。
【００５８】
また、本実施形態においても、第一の実施形態と同様に、可視光画像中のガラス領域に対応する領域にマスク処理を行うか、ガラス領域に対応する領域以外の領域にマスク処理を行うかをユーザが入力するような構成にしても良い。
【００５９】
また、遠赤外線カメラの視野を、可視光カメラの視野より広くして画像を撮影しても良い。遠赤外線カメラの視野を広くすることで、可視光画像に含まれるガラス領域が、遠赤外線画像で撮影される可能性が高くなるという効果が得られる。
【００６０】
以上詳述したように、本発明の第三の実施形態では、遠赤外線カメラと可視光カメラとのアングルがずれている場合等にも、正確にガラス領域を検出し、ガラス領域に対応する領域、またはそれ以外の領域にマスク処理を行うことができる。これにより、本発明の第三の実施形態の画像処理装置は、適切にプライバシーを保護することできる。
【００６１】
[第四の実施形態]
次に、第四の実施形態の画像処理装置を、図９を用いて説明する。なお、第一の実施形態に係るものと同一の構成部については説明を省略する。
【００６２】
本実施形態における画像処理装置は、第一の実施形態のガラス領域検出部１、マスク処理部２に加えて、さらに、顔認識部６を有する。顔認識部６は、可視光画像中に含まれている人物の顔を認識し、顔領域情報を生成する。顔領域情報とは、人物の顔が含まれる領域を示す情報である。顔認識部６が生成した顔領域情報に基づいて、マスク処理部２は、ガラス領域へのマスク処理とは独立して顔領域にもマスク処理を行う。これにより、図１０に示すように、動物４０１を監視しているカメラの撮影範囲に人物４０３が入り込んだ場合であっても、人物４０３のプライバシーは常に保護されることになる。
【００６３】
次に、図１１を用いて、本実施形態の動作を詳細に説明する。図１１は、本実施の形態の動作を示すフローチャートである。
【００６４】
まず、ガラス領域検出部１は、遠赤外線カメラで撮影された画像が入力される（S４１）。その後、ガラス領域検出部１は、第一の実施形態の場合と同様に、遠赤外線画像からガラス領域を検出し、ガラス領域情報を生成する（S４２）。
【００６５】
次に、可視光カメラで撮影された画像が、顔認識部６に入力される（S４３）。顔認識部６は、入力された可視光画像中に含まれる人物の顔を認識する。可視光画像中に人物の顔が含まれていない場合は、顔が認識されない。この場合、顔認識部６は、次の可視光画像の入力を待つ。顔認識部６は、人物の顔を認識すると、顔領域情報を生成する（S４４）。ガラス領域検出部１はガラス領域情報を、顔認識部６は顔領域情報を、それぞれマスク処理部２に出力する（S４５）。また、可視光カメラで撮影された画像がマスク処理部２に入力される。マスク処理部２は、入力されたガラス領域情報と顔領域情報に基づいて、可視光画像の、ガラス領域に対応する領域と顔領域とにマスク処理を行う（S４６）。
【００６６】
その後、プライバシー保護対象領域であるガラス領域と、プライバシー保護が必要な人物の顔にマスク処理がされた画像が出力される（S４７）。
【００６７】
以上詳述したように、本発明の第四の実施形態の画像処理装置は、顔認識部６を有するので、ガラス領域とは独立してプライバシーを保護したい人物がいる場合に、顔領域にマスク処理を行い、その人物のプライバシーを保護することができる。
【産業上の利用可能性】
【００６８】
以上説明したように、本発明は、ガラス領域に基づいてプライバシー保護の処理の切り分けができ、処理負荷の少ない監視カメラ装置等の画像処理装置として有用である。
【図面の簡単な説明】
【００６９】
【図１】第一の実施形態の画像処理装置の構成を示す図
【図２】第一の実施形態の画像処理装置の動作を示す図
【図３】保護対象領域であるガラス領域に、保護する必要のない人物が入り込んだ場合に、画像処理装置が出力する画像を示す図
【図４】監視対象であるガラス領域に、保護が必要な人物が入り込んだ場合に、画像処理装置が出力する画像を示す図
【図５】第二の実施形態の画像処理装置の構成を示す図
【図６】第三の実施形態の画像処理装置の構成を示す図
【図７】位置合わせ部５が記憶する対応テーブルの例を示す図
【図８】第三の実施形態の画像処理装置の動作を示す図
【図９】第四の実施形態の画像処理装置の構成を示す図
【図１０】動物を監視しているカメラの撮影範囲に人物が入り込んだ場合に、画像処理装置が出力する画像を示す図
【図１１】第四の実施形態の画像処理装置の動作を示す図
【図１２】関連する技術を説明するための図
【図１３】関連する技術を説明するための図
【図１４】関連する技術を説明するための図
【図１５】関連する技術を説明するための図
【符号の説明】
【００７０】
１ ガラス領域検出部
２ マスク処理部
３ 可視光カメラ部
４ 遠赤外線カメラ部
５ 位置合わせ部
６ 顔認識部
【特許請求の範囲】
【請求項１】
遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
遠赤外線カメラ部と、
可視光カメラ部と、
前記遠赤外線カメラ部で撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、
前記ガラス領域情報に基づいて、前記可視光カメラ部で撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、
を有することを特徴とする画像処理装置。
【請求項３】
遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させる位置合わせ部をさらに有することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
人物の顔を認識し、顔領域情報を生成する顔認識部をさらに有し、
前記マスク処理部は、前記顔領域情報に基づいて、顔領域にもマスク処理を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記ガラス領域検出部は、遠赤外線カメラで撮影された複数の画像の画素値の平均が予め定められた第一の閾値以下で、かつ複数の画像の画素値の分散が予め定められた第二の閾値以下の領域を検出し、前記領域の面積が予め定められた第三の閾値以上の領域をガラス領域として検出することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記マスク処理部は、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像中のガラス領域に対応する領域を決定し、決定されたガラス領域に対応する領域またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理装置は監視システムに用いられることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するステップと、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップと、
を有することを特徴とする画像処理方法。
【請求項９】
遠赤外線カメラで画像を撮影するステップと、
可視光カメラで画像を撮影するステップと、
前記遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するステップと、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップと、
を同一装置内で行うことを特徴とする画像処理方法。
【請求項１０】
遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させるステップをさらに有することを特徴とする請求項８又は請求項９に記載の画像処理方法。
【請求項１１】
人物の顔を認識し、顔領域情報を生成するステップと、
前記顔領域情報に基づいて、顔領域にもマスク処理を行うステップと、
をさらに有することを特徴とする請求項８から請求項１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記ガラス領域を検出するステップは、遠赤外線カメラで撮影された複数の画像の画素値の平均が予め定められた第一の閾値以下で、複数の画像の画素値の分散が予め定められた第二の閾値以下の領域を検出し、前記領域の面積が予め定められた第三の閾値以上の領域をガラス領域として検出するステップであることを特徴とする請求項８から請求項１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記マスク処理を行うステップは、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像中のガラス領域に対応する領域を決定し、決定されたガラス領域に対応する領域またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップであることを特徴とする請求項８から請求項１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記画像処理方法は監視システムに用いられることを特徴とする請求項８から請求項１３のいずれか１項に記載の画像処理方法。
【請求項１５】
コンピュータに、
遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するステップと、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップと、
を実行させるための画像処理プログラム。
【請求項１６】
コンピュータに、
遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させるステップをさらに実行させる請求項１５に記載の画像処理プログラム。
【請求項１７】
コンピュータに、
人物の顔を認識し、顔領域情報を生成するステップと、
前記顔領域情報に基づいて、顔領域にもマスク処理を行うステップと、
をさらに実行させる請求項１５又は請求項１６に記載の画像処理プログラム。
【請求項１８】
前記ガラス領域を検出するステップは、遠赤外線カメラで撮影された複数の画像の画素値の平均が予め定められた第一の閾値以下で、複数の画像の画素値の分散が予め定められた第二の閾値以下の領域を検出し、前記領域の面積が予め定められた第三の閾値以上の領域をガラス領域として検出するステップであることを特徴とする請求項１５から請求項１７のいずれか１項に記載の画像処理プログラム。
【請求項１９】
前記マスク処理を行うステップは、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像中のガラス領域に対応する領域を決定し、決定されたガラス領域に対応する領域またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップであることを特徴とする請求項１５から請求項１８のいずれか１項に記載の画像処理プログラム。
【請求項２０】
前記画像処理プログラムは監視システムに用いられることを特徴とする請求項１５から請求項１９のいずれか１項に記載の画像処理プログラム。
【請求項１】
遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
遠赤外線カメラ部と、
可視光カメラ部と、
前記遠赤外線カメラ部で撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するガラス領域検出部と、
前記ガラス領域情報に基づいて、前記可視光カメラ部で撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うマスク処理部と、
を有することを特徴とする画像処理装置。
【請求項３】
遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させる位置合わせ部をさらに有することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
人物の顔を認識し、顔領域情報を生成する顔認識部をさらに有し、
前記マスク処理部は、前記顔領域情報に基づいて、顔領域にもマスク処理を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記ガラス領域検出部は、遠赤外線カメラで撮影された複数の画像の画素値の平均が予め定められた第一の閾値以下で、かつ複数の画像の画素値の分散が予め定められた第二の閾値以下の領域を検出し、前記領域の面積が予め定められた第三の閾値以上の領域をガラス領域として検出することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記マスク処理部は、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像中のガラス領域に対応する領域を決定し、決定されたガラス領域に対応する領域またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理装置は監視システムに用いられることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するステップと、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップと、
を有することを特徴とする画像処理方法。
【請求項９】
遠赤外線カメラで画像を撮影するステップと、
可視光カメラで画像を撮影するステップと、
前記遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するステップと、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップと、
を同一装置内で行うことを特徴とする画像処理方法。
【請求項１０】
遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させるステップをさらに有することを特徴とする請求項８又は請求項９に記載の画像処理方法。
【請求項１１】
人物の顔を認識し、顔領域情報を生成するステップと、
前記顔領域情報に基づいて、顔領域にもマスク処理を行うステップと、
をさらに有することを特徴とする請求項８から請求項１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記ガラス領域を検出するステップは、遠赤外線カメラで撮影された複数の画像の画素値の平均が予め定められた第一の閾値以下で、複数の画像の画素値の分散が予め定められた第二の閾値以下の領域を検出し、前記領域の面積が予め定められた第三の閾値以上の領域をガラス領域として検出するステップであることを特徴とする請求項８から請求項１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記マスク処理を行うステップは、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像中のガラス領域に対応する領域を決定し、決定されたガラス領域に対応する領域またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップであることを特徴とする請求項８から請求項１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記画像処理方法は監視システムに用いられることを特徴とする請求項８から請求項１３のいずれか１項に記載の画像処理方法。
【請求項１５】
コンピュータに、
遠赤外線カメラで撮影された画像に基づいてガラス領域を検出し、ガラス領域情報を生成するステップと、
前記ガラス領域情報に基づいて、可視光カメラで撮影された画像で、ガラス領域に対応する領域、またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップと、
を実行させるための画像処理プログラム。
【請求項１６】
コンピュータに、
遠赤外線カメラで撮影された画像と可視光カメラで撮影された画像とのガラス領域の位置を対応させるステップをさらに実行させる請求項１５に記載の画像処理プログラム。
【請求項１７】
コンピュータに、
人物の顔を認識し、顔領域情報を生成するステップと、
前記顔領域情報に基づいて、顔領域にもマスク処理を行うステップと、
をさらに実行させる請求項１５又は請求項１６に記載の画像処理プログラム。
【請求項１８】
前記ガラス領域を検出するステップは、遠赤外線カメラで撮影された複数の画像の画素値の平均が予め定められた第一の閾値以下で、複数の画像の画素値の分散が予め定められた第二の閾値以下の領域を検出し、前記領域の面積が予め定められた第三の閾値以上の領域をガラス領域として検出するステップであることを特徴とする請求項１５から請求項１７のいずれか１項に記載の画像処理プログラム。
【請求項１９】
前記マスク処理を行うステップは、前記ガラス領域情報に基づいて、可視光カメラで撮影された画像中のガラス領域に対応する領域を決定し、決定されたガラス領域に対応する領域またはガラス領域に対応する領域以外の領域のいずれか一方にマスク処理を行うステップであることを特徴とする請求項１５から請求項１８のいずれか１項に記載の画像処理プログラム。
【請求項２０】
前記画像処理プログラムは監視システムに用いられることを特徴とする請求項１５から請求項１９のいずれか１項に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１４６０９４（Ｐ２０１０−１４６０９４Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３１９９３１（Ｐ２００８−３１９９３１）
【出願日】平成２０年１２月１６日（２００８．１２．１６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月１６日（２００８．１２．１６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]