被写体監視方法、被写体監視装置、および被写体監視プログラム
【課題】被写体を撮影して得た基準画像と比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視方法等に関し、撮影時の照明条件といった撮影条件が異なっても基準画像と比較画像との間の変化を正確に捉える。
【解決手段】比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正ステップと、基準画像と、画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定ステップとを有する。
【解決手段】比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正ステップと、基準画像と、画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定ステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を時間的に前後して撮影して得た２画像を比較することにより、該時間間における被写体の変化の有無を監視する被写体監視方法、被写体監視装置、および、コンピュータ等の情報処理装置内で実行され、その情報処理装置を被写体監視装置として動作させる被写体監視プログラムに関する。
【背景技術】
【０００２】
近年、計算機の処理能力の向上に伴い、それまでそのデータ量の多さ、複雑さから実用化になかなか達しなかった画像を使った計測・監視等のシステムが期待されるようになってきている。特に、監視システムについてはそれまで監視カメラからの映像を人の目で確認することが多いため、その確認作業の自動化が期待されている。
【０００３】
そのような自動化が期待されている分野の一つに、製鉄所のコークス炉からガスが漏れだしているシーンがある。このガス漏れは炉蓋から発生することが多く、その原因は高温による炉蓋の反りや、接触面の腐食、石炭、コークス、タールといった異物の噛み込みなどに起因するものと考えられている。近年、ガス漏れしにくい構造の炉蓋も開発されてきているが、長期間にわたってガス漏れを全く起こさない炉蓋は現在のところ存在しておらず、操業継続により発生するガス漏れは作業者によって閉止処理がなされている。ガス漏れ箇所は随時補修されるが、該当箇所の検出は現在、作業者によってのみ行われており、２４時間連続操業を常とするコークス炉にあっては炉蓋のガス漏れを自動で検出できる装置が期待されている。このガス漏れの画像を人間が見れば一目でガスが漏れているとわかる。画像情報から知るためには、一番簡単なのはその日の天気、カメラの位置がまったく同じ状況下で撮影した画像をガス漏れ画像から差し引けばよく、得られる画像はガス漏れ部分のみとなる。
【０００４】
しかし、その日の天気、つまりは照明条件がまったく同じ状況を作り出すことは非常に困難である。そして、違う状況で撮影した画像同士を差し引いても、照明条件が違うことでガス漏れ以外の部分も残ってしまうことになる。
【０００５】
このように、人問が見れば一目でわかる変化でも画像情報から機械的、定量的に取り出そうとすると、照明条件といった撮影条件の違いが大きな妨げとなり、これを回避するための画像の補正等の処理が必要となってくる。さらに画像情報は位置ｘ，ｙの濃度値Ｒ，Ｇ，Ｂと多次元になっていることも多く、この情報からうまく画像の特徴をつかむ必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑み、撮影時の照明条件といった撮影条件が異なっても画像の情報をうまくつかみ、２画像（以下、その 一を基準画像、他を比較画像と言う。）間の変化を正確に捉えることができる被写体監視方法、被写体監視装置、および被写体監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の被写体監視方法は、被写体を撮影して得た基準画像と、被写体を撮影して得た比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視方法において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正ステップと、
基準画像と、画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定ステップとを有することを特徴とする。
なお、２画像はそのどちらを基準画像としてもよいし、画素値補正においては基準画像、比較画像の両画像の画素値を、それらとは独立に与える第三の平均と分散に一致させるものでもよい。
【０００８】
本発明の被写体監視方法は、上記の画素値補正ステップを有し、局所領域ごとに平均と分散を一致させるように画素値を補正するものであるため、照明条件が高精度に補正され、基準画像と比較画像との間の変化の有無を高精度に判定することができる。
【０００９】
ここで、本発明の被写体監視方法において、さらに、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算ステップを備え、
上記変化判定ステップは、上記差分演算ステップにより求められた差分画像に基づいて被写体の変化の有無を判定するステップであってもよい。
【００１０】
差分画像を求めることにより、基準画像と補正後の比較画像との間の変化を容易に捉えることができる。
【００１１】
また、本発明の被写体監視方法において、上記画素値補正ステップは、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するステップであることが好ましい。
【００１２】
各１画素を上記第１の小領域として上記演算を実行することにより、一層高精度な補正を行なうことができる。ただし、複数の画素の集合を第１の小領域としてもよく、その場合、高速な演算が可能となる。
【００１３】
また、本発明の被写体監視方法において、上記画素値補正ステップは、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００１４】
【数１】
【００１５】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するステップであってもよい。
【００１６】
具体的には、例えば上記（１）式に従って画素値を補正することができる。
【００１７】
また、本発明の被写体監視方法において、上記画素値補正ステップは、上記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、上記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【００１８】
【数２】
【００１９】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００２０】
【数３】
【００２１】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するステップであってもよい。
【００２２】
基準画像を得たときの被写体の照明方向と比較画像を得たときの被写体の照明方向の違いによっては、エッジを境にした２つの領域の明るさが反転する場合もある。このような場合であっても、上記（２）式に従って画素値を補正することにより高精度な補正が可能となる。
【００２３】
ここで、上記第２の小領域にエッジが含まれているか否かの判定方法は、限定されるものではないが、例えば、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定することができる。
【００２４】
また、本発明の被写体監視方法において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正ステップは、少なくとも１つの色について上記演算を行なうステップであり、上記変化判定ステップは、少なくとも１つの色について、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、該被写体の変化の有無を判定するステップであってもよい。
【００２５】
カラー画像であっても、変化の有無が特定の色に表われることが分かっているときは、その色についてのみ、演算を行なって変化の有無を判定すればよい。
【００２６】
あるいは、本発明の被写体監視方法において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正ステップは、それら複数色それぞれについて上記演算を行なうステップであり、上記変化判定ステップは、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の変化の有無を判定するステップであってもよい。
【００２７】
このように、カラー画像の場合、複数色を総合して変化の有無を判定してもよい。
【００２８】
さらに、本発明の被写体監視方法について、上記画素値補正ステップの実行に先立って実行される、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正ステップを有することが好ましい。
【００２９】
被写体の照明条件のみでなく、カメラの位置ずれ等が発生するおそれがあるときは、上記のずれ校正ステップを置くことにより、高精度な変化の判定を行なうことができる。
【００３０】
また、上記目的を達成する本発明の被写体監視装置は、被写体を撮影して得た基準画像と、被写体を撮影して得た比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視装置において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正部と、
基準画像と、画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定部とを有することを特徴とする。
【００３１】
ここで、本発明の被写体監視装置において、さらに、基準画像と、上記画素値補正部を経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部を備え、
上記変化判定部は、上記差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものであってもよい。
【００３２】
また、本発明の被写体監視装置において、上記画素値補正部は、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するものであることが好ましい。
【００３３】
また、本発明の被写体監視装置において、上記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１おびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００３４】
【数４】
【００３５】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであってもよい。
【００３６】
あるいは、本発明の被写体監視装置において、上記画素値補正部は、上記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、上記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【００３７】
【数５】
【００３８】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００３９】
【数６】
【００４０】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることも好ましい態様である。
【００４１】
この場合に、上記画素値補正部は、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定するものであってもよい。
【００４２】
また、本発明の被写体監視装置において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、少なくとも１つの色について上記演算を行なうものであり、上記変化判定部は、少なくとも１つの色について、基準画素と、上記画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定するものであってもよい。
【００４３】
あるいは、本発明の被写体監視装置において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、それら複数色それぞれについて上記演算を行なうものであり、上記変化判定部は、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の変化の有無を判定するものであることも好ましい形態である。
【００４４】
また、本発明の被写体監視装置において、上記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部を有することが好ましい。
【００４５】
また、上記目的を達成する本発明の被写体監視プログラムは、プログラムが実行される情報処理装置内で実行され、その情報処理装置を、被写体を撮影して得た基準画像と被写体を撮影して得た比較画像とを比較することにより被写体の変化の有無を監視する被写体監視装置として動作させる被写体監視プログラムであって、
上記情報処理装置を、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときのその小領域それぞれを第１の小領域として実行する画素値補正部と、
基準画像と、画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定部とを有する被写体監視装置として動作させることを特徴とする。
【００４６】
ここで、本発明の被写体監視プログラムが、さらに、上記情報処理装置を、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部をさらに有するとともに、
上記変化判定部が、上記差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものである被写体監視装置として動作させることを特徴とする。
【００４７】
また、本発明の被写体監視プログラムにおいて、上記画素値補正部は、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するものであることが好ましい。
【００４８】
また、本発明の被写体監視プログラムにおいて、上記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００４９】
【数７】
【００５０】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであってもよい。
【００５１】
あるいは、本発明の被写体監視プログラムにおいて、上記画素値補正部は、その記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【００５２】
【数８】
【００５３】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００５４】
【数９】
【００５５】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることも好ましい態様である。この場合に、上記画素値補正部は、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定するものであってもよい。
【００５６】
また、本発明の被写体監視プログラムにおいて、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、少なくとも１つの色について上記演算を行なうものであり、上記変化判定部は少なくとも１つの色について、基準画像と、上記画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定するものであってもよい。
【００５７】
あるいは、本発明の被写体監視プログラムにおいて、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、上記複数色それぞれについて上記演算を行なうものであり、上記変化判定部は、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画像との間の、上記複数色についての複数の差分画像の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の変化の有無を判定するものであることも好ましい態様である。
【００５８】
さらに、本発明の被写体監視プログラムは、上記情報処理装置を上記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部をさらに有する被写体監視装置として動作させるものであることが好ましい。
【発明の効果】
【００５９】
以上のように、本発明によれば、被写体の変化の有無を高精度に捉えることができる。
【発明を実施するための最良の形態】
【００６０】
以下、本発明の実施形態について説明する。
【００６１】
以下において説明する実施形態は、本発明の一実施形態としての被写体監視方法を実現するための被写体監視プログラムがコンピュータ内で実行されることにより、そのコンピュータと被写体監視プログラムとによりそのコンピュータ内に被写体監視装置を実現する実施形態である。
【００６２】
そこで、以下では、コンピュータのハードウェアについて説明し、次いでそのコンピュータ内で実行されるプログラムについて説明する。
【００６３】
図１は、ノート型パーソナルコンピュータ（以下、「ノートパソコン」と略記する）と、そのノートパソコンに接続されたカメラの外観図である。
【００６４】
このノートパソコン１０は、本体部２０と、その本体部２０に対し開閉自在な表示部３０とで構成されている。本体部２０には、その上面に、ユーザによりキー操作されるキーボード２１や、表示画面上の任意の点を指定するためのトラックパッド２２が備えられており、側面には、この図１に示されているものとして、ＭＯが装填されるＭＯ装填口２３１やＣＤ−ＲやＣＤ−ＲＷが装填されるＣＤ−Ｒ／ＲＷ装填口２４１が備えられている。また、この本体部２０にはマウス２５が接続されており、トラックパッド２２よりも操作性が向上されている。さらにこの本体部２２には、カメラ４０が接続されている。このカメラ４０は監視対象の被写体を撮影範囲内に捉えており、例えば１分おき等、定期的に撮影を行なって、その撮影により得られた画像データをノートパソコン本体２０に送るものである。尚、本実施形能では、カメラ４０は、撮影によりＲ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの色に対応するカラー画像データを生成してノートパソコン本体２０に送るものとする。
【００６５】
またノートパソコン１０の表示部３０には、その中央の広い領域に表示画面３１が広がっている。この表示部３０は、図１に示すように開かれて使用され、また使用後は、表示画面３１を内側にして、本体部２０の、キーボード２１等が配置された上面に重なるように折り畳まれる。
【００６６】
図２は、図１に外観を示すノートパソコンのハードウェア構成図である。
【００６７】
図２のハードウェア構成図には、ＣＰＵ１１１、ＲＡＭ１１２、ハードディスクコントローラ１１３、ＭＯドライブ１１４、ＣＤ−Ｒ／ＲＷドライブ１１５、ＵＳＢインタフェース１１６、キーボードコントローラ１１７、ディスプレイコントローラ１１８、トラックパッドコントローラ１１９、カメラコントローラ１２０、および画像受信部１２１が示されており、それらはバス１１０で相互に接続されている。
【００６８】
ＭＯドライブ１１４およびＣＤ−Ｒ／ＲＷドライブ１１５は、それぞれ、図１を参照して説明したＭＯ装填口２３１およびＣＤ−Ｒ／ＲＷ装填口２４１から装填されたＭＯ２３２、ＣＤ−Ｒ（又はＣＤ−ＲＷ）２４２をアクセスするものである。
【００６９】
また、この図２には、ハードディスクコントローラ１１３によりアクセスされるハードディスク１２２が示されており、さらに、この図２には、図１にも示す、マウス２５、キーボード２１、表示画面３１およびトラックパッド２２も示されている。ハードディスクコントローラ１１３、ＵＳＢインターフェース１１６、キーボードコントローラ１１７、ディスプレイコントローラ１１８およびトラックパッドコントローラ１１９は、それぞれ、ハードディスク１２２、接続されているＵＳＢ規格に準拠した機器（ここではマウス２５）、キーボード２１、表示画面３１およびトラックパッド２２をコントロールするためのものである。
【００７０】
さらに、カメラコントローラ１２０は、図１に示すカメラ４０に接続されており、そのカメラ４０に定期的（例えば１分間ごと）に撮影指示を与えるものである。
【００７１】
さらに、画像受信部１２１も、図１に示すカメラ４０に接続されており、そのカメラ４０での撮影で得られてそのカメラ４０から送信されてきた画像データを受信するものである。
【００７２】
図３は、図１、図２に示すノートパソコン内で実行される被写体監視プログラムのフローチャートである。
【００７３】
この被写体監視プログラムは、カメラのブレ補正のステップ（ステップａ）と、照明の変化の補正のステップ（ステップｂ）と、被写体の変化の検出のステップ（ステップｃ）とから構成されている。
【００７４】
ここでは、カメラ４０であらかじめ撮影しておいた基準画像と、そのカメラ４０での今回の撮影により得られた比較画像との比較を行ない、基準画像の撮影時点を基準としての比較画像の撮影時点で被写体の変化の有無が検出される。
【００７５】
図４は、図３に示す被写体監視プログラムのうちの、カメラのブレ補正のステップ（ステップａ）の詳細フローチャートである。
【００７６】
このカメラのブレ補正ステップは、カメラ４０（図１参照）の撮影画面が、基準画像を得たときと比較画像を得るときとでずれている可能性があるときに必要となるステップである。
【００７７】
ここでは、線成分抽出（ステップａ１）、細線化（ステップａ２）、ハフ変換による直線検出（ステップａ３）、および回転・平行移動（ステップａ４）の各処理が行なわれる。以下、これらの各処理について順次説明する。
（線成分抽出処理（ステップａ１））
ここでは、基準画像および比較画像の線成分を、プリヴィット（Ｐｒｅｗｉｔｔ）フィルタにより水平成分、垂直成分別々に検出する。
【００７８】
プリヴィットフィルタは、境界線の形状のテンプレートと対象画像との相関値を求める特徴抽出フィルタである。その構成は次のΔＸ、ΔＹという２つのフィルタからなる。
【００７９】
【数１０】
【００８０】
このフィルタにおいてΔＸにより垂直エッジ成分のみ、ΔＹにより水平のエッジ成分のみが抽出される。式（１０）は３×３のプリヴィットフィルタであるが、特に長い水平エッジまたは垂直エッジを正確に抽出する方法としては、３×５などの短形フィルタが使われている。
【００８１】
基準画像および比較画像のそれぞれに対しこのプリヴィットフィルタを作用させることにより各画像内の線成分が抽出された２値画像が得られる。
【００８２】
図５は、プリヴィットフィルタを施す前の原画像（基準画像又は比較画像）を示す図、図６は、図５に示す原画像にカメラプリヴィットフィルタを施した結果得られた２値画像を示す図である。
【００８３】
尚、ここではプリヴィットフィルタを採用したが、このプリヴィットフィルタに代わり、ラプラシアンフィルタ等、他の線成分抽出フィルタを採用してもよい。
（細線化処理（ステップａ２））
ラプラシアンフィルタやプリヴィットフィルタで得られた２値画像は普通数ピクセルの太さをもっている。理想的には物体の輪郭線は１ピクセルであることが望ましい。線画像から線幅１ピクセルの画像を求める処理を細線化（ｔｈｉｎｎｉｎｇ）という。
【００８４】
細線化を行う２値画像の画素記号を、図７に示すように、中心画素をｐ０、その近傍画素をｐｋで表すことにする。中心画素が消去可能かどうかは、近傍画素との連結性を考えると、画像の左下から右上へ探査する場合では、近傍画素が図８の３パターンのどれかに当てはまるかどうかで判断できる。つまり、左下から右上へ探査する場合、黒画素を１、白画素を０とした場合に、
【００８５】
【数１１】
【００８６】
の内どれかを満たすときその画素は消去可能となる。左下から右上への探査が終わったら消去可能と判断した画素を消去し、探査開始点を右上、探査方向を左下として、近傍画素のパターンを図８と反転させたものに変え、再度探査をし、画素を消去する。探査開始点が左上、右下の場合も同様な手順で画素を消去する、という手順を消去可能と判断できる画素がなくなるまで繰り返すことにより、線画像の線幅は１ピクセルとなり、得られる線画像は太さをもっていたときの中心線となる。
【００８７】
図９に、図６を細線化した結果を示す。
【００８８】
（ハフ変換による直線検出処理（ステップａ３））
画像のフィルタリングによって得られた線画像から線成分の有無や位置を求めることは輪郭をとらえる上で重要なことであり、この直線を抽出する代表的な方式がハフ（Ｈｏｕｇｈ）変換である。
【００８９】
ハフ変換は、直線のみならず、円、楕円などのパラメトリックな図形のためのパターン抽出法として有力な手法である。
【００９０】
直線検出のためのハフ変換は、（傾きｍ）―（切片ｃ）座標系を用いるのが基本手法であるが、検出精度を上げるためｍ−ｃ座標系に代わるθ―ρ正規表現の座標系がある。また、各種の曲線パターンや任意形状の図形の検出への拡張が試みられている。
【００９１】
ｍ−ｃパラメータ平面上によるハフ変換は下記式（１２）で与えられる。“点―線変換”を行う操作である。対象画像が２値画像の場合は、２値画像内の黒画素（ｎ個）だけに対して、式（１２）で示す変換を施す。
ｓｉ：ｃ＝−Ｘｉ・ｍ＋Ｙｉ（ｉ＝１，２，・・・，ｎ） ……（１２）
すなわち、図１０（ａ）に示す図形上の黒画素の各点ｐｉ（Ｘｉ，Ｙｉ）に対して、式（１２）で表される、ｍ−ｃパラメータ平面上の軌跡を描くと、図１０（ｂ）に示すように、それぞれ１つの直線ｓｉになる。
【００９２】
図１１に、図９より直線を検出した結果を示す。
【００９３】
そこで、Ｘ−Ｙ平面の各黒画素に対して、ｍ―ｃパラメータ平面上の軌跡を描きながら、パラメータ平面上の各点の累積度数を求める。すなわち、Ｘ―Ｙ平面上の各黒画素に対応する直線に相当するパラメータ平面上の各点の累積度数に１を加えていくと、図１０（ｂ）に示すａ点やｂ点のようにＸ―Ｙ平面上で直線に対応する点の累積度数が大きい値を持つようになる。すなわち、累積度数の比較的大きな値を与える（ｍ，ｃ）の値によって、２値画像に存在する直線の傾きと切片の値を知ることができる
（回転・平行移動処理（ステップａ４））
画像を回転・平行移動する方法は、画像中の各画素の位置ベクトルの回転・平行移動によってなされる。図１２のように、画像を点（ｘ０，ｙ０） を中心にθ回転し、ｘ方向へΔｘ，ｙ方向へΔｙ平行移動したとき、画像中の位置（ｘ，ｙ） の画素は式（１３）により位置（ｘ１，ｙ１）へ移動する。
【００９４】
【数１２】
【００９５】
しかし、画素の位置は離散的であるので、丸め誤差により移動後の画像は穴が開いたものとなる。すなわち、移動後に位置（ｘ１，ｙ１）に入るべき原画像中の位置（ｘ，ｙ）を求め、原画像のデータ補間により濃度値を得ればよい。式（１３）を（ｘ，ｙ）について解くと、
【００９６】
【数１３】
【００９７】
となる。式（１４）を用いて図５を左下を中心に１０°回転し、右に１０ピクセル、下に２０ピクセル平行移動した画像を図１３に示す。
【００９８】
以上の処理により、抽出した直線が最も良く一致するように、基準画像に対し比較画像を平行・回転移動させることにより、２つの画像を高精度に位置合わせすることができる。
【００９９】
図１４は、図３に示す被写体監視プログラムのうちの、照明の変化の補正ステップ（ステップｂ）の詳細フローチャートである。
【０１００】
ここでは、小領域内の平均・分散取得処理（ステップｂ１）および濃度値の線形変換処理（ステップｂ２）が、画像全体にわたって行なわれる（ステップｂ３）。
（小領域内の平均・分散取得処理（ステップｂ１））
ここでは、まず、基準画像、比較画像の同じ位置からｎ×ｎの小領域が取り出され、その小領域内での濃度値の平均・分散が求められる。
【０１０１】
図１５は、画像（基準画像および比較画像）の一部からなる小領域Ｒを示す図である。この少領域Ｒは、本発明にいう第２の少領域の一例に相当する。ここでは、この小領域Ｒは、一例として、画素Ｐ０を中心とした７×７画素から構成されている。ここでは、基準画像と比較画像のそれぞれについて、その小領域Ｒ内の平均と分散が求められる。
【０１０２】
ここでは、基準画像について求めた平均、分散を、それぞれＥ０，Ｓ０２とし、比較画像について求めた平均、分散を、それぞれＥ１，Ｓ１２とする。また、比較画像における、その小領域Ｒの中心画素Ｐ０の座標を（ｘ，ｙ）とし、その画素Ｐ０の濃度値をｆ１（ｘ，ｙ）とする。
（濃度値の線形変換処理（ステップｂ２））
上記のようにして、基準画像を比較画像のそれぞれについて平均、分散を求めた後、ここでは、式（１）に従って、比較画像上の小領域Ｒの中央の画素Ｐ０の濃度値ｆ１（ｘ，ｙ）が補正後の濃度値ｇ（ｘ，ｙ）に線形変換される。
【０１０３】
【数１４】
【０１０４】
ここでは、画像上の各画素Ｐ０を中心とした小領域Ｒを順次移動しながら、以上の２つのステップｂ１，ｂ２の処理が繰り返され、各画素の濃度値が線形変換された比較画像が求められる。
【０１０５】
次に、照明の変化によってエッジ前後の濃度値の大小関係が反転している場合の濃度値の補正処理について照明する。この場合、上記の濃度値の平均・分散だけで補正するとエッジ前後の濃度値の大小関係は補正されず、よい結果は得られない。これを補正するために比較画像側の小領域Ｒ内にエッジが含まれていると判断できるときに、図１６のように各画素の濃度値が小領域Ｒ内の平均より大きいか小さいかの情報を１、−１で取得しておき、式（２）で示すように比較画像側での位置ｘ，ｙの濃度ｆ１（ｘ，ｙ）を濃度ｇ（ｘ，ｙ）に補正すれば基準値に合うようになる（図１７）。
【０１０６】
すなわち、ここでは、基準画像上の小領域内の各画素（座標（ｘ，ｙ）：ｘ，ｙは変数）の濃度値をｆ０（ｘ，ｙ）としたとき、
【０１０７】
【数１５】
【０１０８】
とし、
【０１０９】
【数１６】
【０１１０】
により、補正後の濃度値ｇ（ｘ，ｙ）が求められる。
【０１１１】
図１８は、濃度値の線形補正の変形例の説明図である。
【０１１２】
ここでは、小領域Ｒ内の平均、分散に基づいて、その小領域Ｒの中央部分のもう１つの小領域Ｄ内の各画素Ｐ０〜Ｐ８の濃度値が補正される。このときは、領域Ｄ内の画素の座標（ｘ，ｙ）を変数と考えることにより、上記の式（１）あるいは式（２）をそのまま適用することができる。
【０１１３】
小領域Ｒの平均・分散に基づいて中央の１つの画素Ｐ０の濃度値のみを補正すると、高精度の補正が可能となり、小領域Ｒの平均・分散に基づいて、中央の複数の画素からなる小領域Ｄ内の各画素の濃度値を補正すると、高速演算が可能となる。
【０１１４】
図１９は、図３に示す被写体監視プログラムのうちの、変化の検出ステップ（ステップｃ）の詳細フローチャートである。
【０１１５】
ここでは、先ず、基準画像と、上記のようにして濃度値が補正された比較画像との差分画像を得ることにより、それらの画像の変化が抽出された画像を得る（ステップｃ１）。
【０１１６】
次に、この差分画像の各画素に対して周辺ｎピクセルのＲＧＢ空間内での平均距離を算出し差分画像全体の平均距離分布を作成する（ステップＣ２）。
得られた平均距離分布の平均値Ｅ、標準偏差σから式（１５）によって閾値Ｔを決定する。
【０１１７】
Ｔ＝Ｅ＋３σ ……（１５）
この閾値Ｔよりも平均距離が大きい部分が変化した部分として検出される（ステップＣ３）。尚、ここでは閾値Ｔとして上記式（１５）を採用しているが、σの幅（式（１５）では３σの３）は適切に調整される。
【０１１８】
図２０に、基準画像と比較画像との間での変化が大きい部分（差分画像上で強調されている部分）の特徴を示す。平均距離が大きいほど変化が大きい（強調されている）ことを表わしている。
【０１１９】
また図２１に平均距離の画像全体の分布を示す。平均距離が閾値よりも大きい部分が検出されたことをもって、比較画像が基準画像から変化した（すなわち被写体に変化が生じた）ことが検出される。
【０１２０】
被写体に変化が生じたことは、図１に示すノートパソコン１０の表示画面３１に表示される。また、ブザーやランプ等で注意喚起するようにしてもよい。
【０１２１】
尚、上記の実施形態は、図３に示すステップａ〜ｃのうちのステップａ，ｂで、Ｒ，Ｇ，Ｂの各画像データそれぞれについて処理が行なわれ、ステップｃでは、差分画像を求める点についてはＲ，Ｇ，Ｂの各画像データそれぞれについて行なわれるが、その後はＲ，Ｇ，Ｂの各データを総合して上記の平均距離が求められ、その平均距離に基づいて被写体の変化の有無が判定されたが、例えば、被写体の変化がＧの色について強くあらわれることが分かっている場合には図３のステップａ〜ｃはいずれもＧの画像データについてのみ処理を行なえばよい。この場合には、差分画像上のＧの濃度値のみについて被写体の変化の有無が判定される。
【０１２２】
また、ここでは差分画像を求めてその差分画像に基づいて被写体の変化の有無が判定されたが、ここでは、基準画像と補正後の比較画像との「相違」を表わす演算が行なわれればよく、狭義の「差分」に限定されるものではない。
【０１２３】
さらに、図３のステップａは、カメラがしっかりと固定されており、被写体との位置関係が不動のときは省略してもよい。
【０１２４】
尚、ここでは、図１に示す、ノートパソコンとそのノートパソコンに接続されたカメラとからなる形態の装置を採用したが、本発明はこの形態の装置に限られるものではなく、デスクトップ型のパーソナルコンピュータを採用した形態や、カメラと一体的に構成された装置等を採用してもよい。
【０１２５】
また、図２に示す装置の内部構成も、この図２の構成に限られるものではなく、例えばＭＯを使用しないなど、他の構成のものであってもよい。
【図面の簡単な説明】
【０１２６】
【図１】ノートパソコンと、そのノートパソコンに接続されたカメラの外観図である。
【図２】図１に外観を示すノートパソコンのハードウェア構成図である。
【図３】図１、図２に示すノートパソコン内で実行される被写体監視プログラムのフローチャートである。
【図４】図３に示す被写体監視プログラムのうちの、カメラのブレ補正のステップ（ステップａ）の詳細フローチャートである。
【図５】プリヴィットフィルタを施す前の原画像（基準画像又は比較画像）を示す図である。
【図６】図５に示す原画像にカメラプリヴィットフィルタを施した結果得られた２値画像を示す図である。
【図７】２値画像の画素記号を示す図である。
【図８】細線化処理の説明図である。
【図９】図６を細線化した結果を示す図である。
【図１０】ハフ変換処理の説明図である。
【図１１】図９より直線を検出した結果を示す図である。
【図１２】回転・平行移動処理の説明図である。
【図１３】図５を回転・平行移動した結果を示す図である。
【図１４】図３に示す被写体監視プログラムのうちの、照明の変化の補正ステップ（ステップｂ）の詳細フローチャートである。
【図１５】画像（基準画像および比較画像）の一部の小領域Ｒを示す図である。
【図１６】小領域Ｒ内の各画素に、１又は−１の値を割り当てた領域を示す図である。
【図１７】エッジを含む小領域の濃度値の補正処理の説明図である。
【図１８】濃度値の線形補正の変形例の説明図である。
【図１９】図３に示す被写体監視プログラムのうちの、照明・変化の検出ステップ（ステップｃ）の詳細フローチャートである。
【図２０】基準画像と比較画像との間での変化が大きい部分（差分画像上で強調されている部分）の特徴を示す図である。
【図２１】平均距離の画像全体の分布を示す図である。
【符号の説明】
【０１２７】
１０ ノートパソコン
２０ 本体部
２１ キーボード
２２ トラックパッド
２５ マウス
３０ 表示部
３１ 表示画面
４０ カメラ
１１０ バス
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ハードディスクコントローラ
１１４ ＭＯドライブ
１１５ ＣＤ−Ｒ／ＲＷドライブ
１１６ ＵＳＢインタフェース
１１７ キーボードコントローラ
１１８ ディスプレイコントローラ
１１９ トラックパッドコントローラ
１２０ カメラコントローラ
１２１ ビデオ受信部
１２２ ハードディスク
２３１ ＭＯ装填口
２３２ ＭＯ
２４１ ＣＤ−Ｒ／ＲＷ装填口
２４２ ＣＤ−Ｒ（又はＣＤ−ＲＷ）
【技術分野】
【０００１】
本発明は、被写体を時間的に前後して撮影して得た２画像を比較することにより、該時間間における被写体の変化の有無を監視する被写体監視方法、被写体監視装置、および、コンピュータ等の情報処理装置内で実行され、その情報処理装置を被写体監視装置として動作させる被写体監視プログラムに関する。
【背景技術】
【０００２】
近年、計算機の処理能力の向上に伴い、それまでそのデータ量の多さ、複雑さから実用化になかなか達しなかった画像を使った計測・監視等のシステムが期待されるようになってきている。特に、監視システムについてはそれまで監視カメラからの映像を人の目で確認することが多いため、その確認作業の自動化が期待されている。
【０００３】
そのような自動化が期待されている分野の一つに、製鉄所のコークス炉からガスが漏れだしているシーンがある。このガス漏れは炉蓋から発生することが多く、その原因は高温による炉蓋の反りや、接触面の腐食、石炭、コークス、タールといった異物の噛み込みなどに起因するものと考えられている。近年、ガス漏れしにくい構造の炉蓋も開発されてきているが、長期間にわたってガス漏れを全く起こさない炉蓋は現在のところ存在しておらず、操業継続により発生するガス漏れは作業者によって閉止処理がなされている。ガス漏れ箇所は随時補修されるが、該当箇所の検出は現在、作業者によってのみ行われており、２４時間連続操業を常とするコークス炉にあっては炉蓋のガス漏れを自動で検出できる装置が期待されている。このガス漏れの画像を人間が見れば一目でガスが漏れているとわかる。画像情報から知るためには、一番簡単なのはその日の天気、カメラの位置がまったく同じ状況下で撮影した画像をガス漏れ画像から差し引けばよく、得られる画像はガス漏れ部分のみとなる。
【０００４】
しかし、その日の天気、つまりは照明条件がまったく同じ状況を作り出すことは非常に困難である。そして、違う状況で撮影した画像同士を差し引いても、照明条件が違うことでガス漏れ以外の部分も残ってしまうことになる。
【０００５】
このように、人問が見れば一目でわかる変化でも画像情報から機械的、定量的に取り出そうとすると、照明条件といった撮影条件の違いが大きな妨げとなり、これを回避するための画像の補正等の処理が必要となってくる。さらに画像情報は位置ｘ，ｙの濃度値Ｒ，Ｇ，Ｂと多次元になっていることも多く、この情報からうまく画像の特徴をつかむ必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑み、撮影時の照明条件といった撮影条件が異なっても画像の情報をうまくつかみ、２画像（以下、その 一を基準画像、他を比較画像と言う。）間の変化を正確に捉えることができる被写体監視方法、被写体監視装置、および被写体監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の被写体監視方法は、被写体を撮影して得た基準画像と、被写体を撮影して得た比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視方法において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正ステップと、
基準画像と、画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定ステップとを有することを特徴とする。
なお、２画像はそのどちらを基準画像としてもよいし、画素値補正においては基準画像、比較画像の両画像の画素値を、それらとは独立に与える第三の平均と分散に一致させるものでもよい。
【０００８】
本発明の被写体監視方法は、上記の画素値補正ステップを有し、局所領域ごとに平均と分散を一致させるように画素値を補正するものであるため、照明条件が高精度に補正され、基準画像と比較画像との間の変化の有無を高精度に判定することができる。
【０００９】
ここで、本発明の被写体監視方法において、さらに、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算ステップを備え、
上記変化判定ステップは、上記差分演算ステップにより求められた差分画像に基づいて被写体の変化の有無を判定するステップであってもよい。
【００１０】
差分画像を求めることにより、基準画像と補正後の比較画像との間の変化を容易に捉えることができる。
【００１１】
また、本発明の被写体監視方法において、上記画素値補正ステップは、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するステップであることが好ましい。
【００１２】
各１画素を上記第１の小領域として上記演算を実行することにより、一層高精度な補正を行なうことができる。ただし、複数の画素の集合を第１の小領域としてもよく、その場合、高速な演算が可能となる。
【００１３】
また、本発明の被写体監視方法において、上記画素値補正ステップは、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００１４】
【数１】
【００１５】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するステップであってもよい。
【００１６】
具体的には、例えば上記（１）式に従って画素値を補正することができる。
【００１７】
また、本発明の被写体監視方法において、上記画素値補正ステップは、上記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、上記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【００１８】
【数２】
【００１９】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００２０】
【数３】
【００２１】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するステップであってもよい。
【００２２】
基準画像を得たときの被写体の照明方向と比較画像を得たときの被写体の照明方向の違いによっては、エッジを境にした２つの領域の明るさが反転する場合もある。このような場合であっても、上記（２）式に従って画素値を補正することにより高精度な補正が可能となる。
【００２３】
ここで、上記第２の小領域にエッジが含まれているか否かの判定方法は、限定されるものではないが、例えば、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定することができる。
【００２４】
また、本発明の被写体監視方法において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正ステップは、少なくとも１つの色について上記演算を行なうステップであり、上記変化判定ステップは、少なくとも１つの色について、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、該被写体の変化の有無を判定するステップであってもよい。
【００２５】
カラー画像であっても、変化の有無が特定の色に表われることが分かっているときは、その色についてのみ、演算を行なって変化の有無を判定すればよい。
【００２６】
あるいは、本発明の被写体監視方法において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正ステップは、それら複数色それぞれについて上記演算を行なうステップであり、上記変化判定ステップは、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の変化の有無を判定するステップであってもよい。
【００２７】
このように、カラー画像の場合、複数色を総合して変化の有無を判定してもよい。
【００２８】
さらに、本発明の被写体監視方法について、上記画素値補正ステップの実行に先立って実行される、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正ステップを有することが好ましい。
【００２９】
被写体の照明条件のみでなく、カメラの位置ずれ等が発生するおそれがあるときは、上記のずれ校正ステップを置くことにより、高精度な変化の判定を行なうことができる。
【００３０】
また、上記目的を達成する本発明の被写体監視装置は、被写体を撮影して得た基準画像と、被写体を撮影して得た比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視装置において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正部と、
基準画像と、画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定部とを有することを特徴とする。
【００３１】
ここで、本発明の被写体監視装置において、さらに、基準画像と、上記画素値補正部を経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部を備え、
上記変化判定部は、上記差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものであってもよい。
【００３２】
また、本発明の被写体監視装置において、上記画素値補正部は、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するものであることが好ましい。
【００３３】
また、本発明の被写体監視装置において、上記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１おびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００３４】
【数４】
【００３５】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであってもよい。
【００３６】
あるいは、本発明の被写体監視装置において、上記画素値補正部は、上記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、上記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【００３７】
【数５】
【００３８】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００３９】
【数６】
【００４０】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることも好ましい態様である。
【００４１】
この場合に、上記画素値補正部は、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定するものであってもよい。
【００４２】
また、本発明の被写体監視装置において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、少なくとも１つの色について上記演算を行なうものであり、上記変化判定部は、少なくとも１つの色について、基準画素と、上記画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定するものであってもよい。
【００４３】
あるいは、本発明の被写体監視装置において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、それら複数色それぞれについて上記演算を行なうものであり、上記変化判定部は、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の変化の有無を判定するものであることも好ましい形態である。
【００４４】
また、本発明の被写体監視装置において、上記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部を有することが好ましい。
【００４５】
また、上記目的を達成する本発明の被写体監視プログラムは、プログラムが実行される情報処理装置内で実行され、その情報処理装置を、被写体を撮影して得た基準画像と被写体を撮影して得た比較画像とを比較することにより被写体の変化の有無を監視する被写体監視装置として動作させる被写体監視プログラムであって、
上記情報処理装置を、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときのその小領域それぞれを第１の小領域として実行する画素値補正部と、
基準画像と、画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定する変化判定部とを有する被写体監視装置として動作させることを特徴とする。
【００４６】
ここで、本発明の被写体監視プログラムが、さらに、上記情報処理装置を、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部をさらに有するとともに、
上記変化判定部が、上記差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものである被写体監視装置として動作させることを特徴とする。
【００４７】
また、本発明の被写体監視プログラムにおいて、上記画素値補正部は、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するものであることが好ましい。
【００４８】
また、本発明の被写体監視プログラムにおいて、上記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００４９】
【数７】
【００５０】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであってもよい。
【００５１】
あるいは、本発明の被写体監視プログラムにおいて、上記画素値補正部は、その記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【００５２】
【数８】
【００５３】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【００５４】
【数９】
【００５５】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることも好ましい態様である。この場合に、上記画素値補正部は、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定するものであってもよい。
【００５６】
また、本発明の被写体監視プログラムにおいて、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、少なくとも１つの色について上記演算を行なうものであり、上記変化判定部は少なくとも１つの色について、基準画像と、上記画素値補正部により補正された後の比較画像とを比較することにより、被写体の変化の有無を判定するものであってもよい。
【００５７】
あるいは、本発明の被写体監視プログラムにおいて、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、上記複数色それぞれについて上記演算を行なうものであり、上記変化判定部は、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画像との間の、上記複数色についての複数の差分画像の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の変化の有無を判定するものであることも好ましい態様である。
【００５８】
さらに、本発明の被写体監視プログラムは、上記情報処理装置を上記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部をさらに有する被写体監視装置として動作させるものであることが好ましい。
【発明の効果】
【００５９】
以上のように、本発明によれば、被写体の変化の有無を高精度に捉えることができる。
【発明を実施するための最良の形態】
【００６０】
以下、本発明の実施形態について説明する。
【００６１】
以下において説明する実施形態は、本発明の一実施形態としての被写体監視方法を実現するための被写体監視プログラムがコンピュータ内で実行されることにより、そのコンピュータと被写体監視プログラムとによりそのコンピュータ内に被写体監視装置を実現する実施形態である。
【００６２】
そこで、以下では、コンピュータのハードウェアについて説明し、次いでそのコンピュータ内で実行されるプログラムについて説明する。
【００６３】
図１は、ノート型パーソナルコンピュータ（以下、「ノートパソコン」と略記する）と、そのノートパソコンに接続されたカメラの外観図である。
【００６４】
このノートパソコン１０は、本体部２０と、その本体部２０に対し開閉自在な表示部３０とで構成されている。本体部２０には、その上面に、ユーザによりキー操作されるキーボード２１や、表示画面上の任意の点を指定するためのトラックパッド２２が備えられており、側面には、この図１に示されているものとして、ＭＯが装填されるＭＯ装填口２３１やＣＤ−ＲやＣＤ−ＲＷが装填されるＣＤ−Ｒ／ＲＷ装填口２４１が備えられている。また、この本体部２０にはマウス２５が接続されており、トラックパッド２２よりも操作性が向上されている。さらにこの本体部２２には、カメラ４０が接続されている。このカメラ４０は監視対象の被写体を撮影範囲内に捉えており、例えば１分おき等、定期的に撮影を行なって、その撮影により得られた画像データをノートパソコン本体２０に送るものである。尚、本実施形能では、カメラ４０は、撮影によりＲ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの色に対応するカラー画像データを生成してノートパソコン本体２０に送るものとする。
【００６５】
またノートパソコン１０の表示部３０には、その中央の広い領域に表示画面３１が広がっている。この表示部３０は、図１に示すように開かれて使用され、また使用後は、表示画面３１を内側にして、本体部２０の、キーボード２１等が配置された上面に重なるように折り畳まれる。
【００６６】
図２は、図１に外観を示すノートパソコンのハードウェア構成図である。
【００６７】
図２のハードウェア構成図には、ＣＰＵ１１１、ＲＡＭ１１２、ハードディスクコントローラ１１３、ＭＯドライブ１１４、ＣＤ−Ｒ／ＲＷドライブ１１５、ＵＳＢインタフェース１１６、キーボードコントローラ１１７、ディスプレイコントローラ１１８、トラックパッドコントローラ１１９、カメラコントローラ１２０、および画像受信部１２１が示されており、それらはバス１１０で相互に接続されている。
【００６８】
ＭＯドライブ１１４およびＣＤ−Ｒ／ＲＷドライブ１１５は、それぞれ、図１を参照して説明したＭＯ装填口２３１およびＣＤ−Ｒ／ＲＷ装填口２４１から装填されたＭＯ２３２、ＣＤ−Ｒ（又はＣＤ−ＲＷ）２４２をアクセスするものである。
【００６９】
また、この図２には、ハードディスクコントローラ１１３によりアクセスされるハードディスク１２２が示されており、さらに、この図２には、図１にも示す、マウス２５、キーボード２１、表示画面３１およびトラックパッド２２も示されている。ハードディスクコントローラ１１３、ＵＳＢインターフェース１１６、キーボードコントローラ１１７、ディスプレイコントローラ１１８およびトラックパッドコントローラ１１９は、それぞれ、ハードディスク１２２、接続されているＵＳＢ規格に準拠した機器（ここではマウス２５）、キーボード２１、表示画面３１およびトラックパッド２２をコントロールするためのものである。
【００７０】
さらに、カメラコントローラ１２０は、図１に示すカメラ４０に接続されており、そのカメラ４０に定期的（例えば１分間ごと）に撮影指示を与えるものである。
【００７１】
さらに、画像受信部１２１も、図１に示すカメラ４０に接続されており、そのカメラ４０での撮影で得られてそのカメラ４０から送信されてきた画像データを受信するものである。
【００７２】
図３は、図１、図２に示すノートパソコン内で実行される被写体監視プログラムのフローチャートである。
【００７３】
この被写体監視プログラムは、カメラのブレ補正のステップ（ステップａ）と、照明の変化の補正のステップ（ステップｂ）と、被写体の変化の検出のステップ（ステップｃ）とから構成されている。
【００７４】
ここでは、カメラ４０であらかじめ撮影しておいた基準画像と、そのカメラ４０での今回の撮影により得られた比較画像との比較を行ない、基準画像の撮影時点を基準としての比較画像の撮影時点で被写体の変化の有無が検出される。
【００７５】
図４は、図３に示す被写体監視プログラムのうちの、カメラのブレ補正のステップ（ステップａ）の詳細フローチャートである。
【００７６】
このカメラのブレ補正ステップは、カメラ４０（図１参照）の撮影画面が、基準画像を得たときと比較画像を得るときとでずれている可能性があるときに必要となるステップである。
【００７７】
ここでは、線成分抽出（ステップａ１）、細線化（ステップａ２）、ハフ変換による直線検出（ステップａ３）、および回転・平行移動（ステップａ４）の各処理が行なわれる。以下、これらの各処理について順次説明する。
（線成分抽出処理（ステップａ１））
ここでは、基準画像および比較画像の線成分を、プリヴィット（Ｐｒｅｗｉｔｔ）フィルタにより水平成分、垂直成分別々に検出する。
【００７８】
プリヴィットフィルタは、境界線の形状のテンプレートと対象画像との相関値を求める特徴抽出フィルタである。その構成は次のΔＸ、ΔＹという２つのフィルタからなる。
【００７９】
【数１０】
【００８０】
このフィルタにおいてΔＸにより垂直エッジ成分のみ、ΔＹにより水平のエッジ成分のみが抽出される。式（１０）は３×３のプリヴィットフィルタであるが、特に長い水平エッジまたは垂直エッジを正確に抽出する方法としては、３×５などの短形フィルタが使われている。
【００８１】
基準画像および比較画像のそれぞれに対しこのプリヴィットフィルタを作用させることにより各画像内の線成分が抽出された２値画像が得られる。
【００８２】
図５は、プリヴィットフィルタを施す前の原画像（基準画像又は比較画像）を示す図、図６は、図５に示す原画像にカメラプリヴィットフィルタを施した結果得られた２値画像を示す図である。
【００８３】
尚、ここではプリヴィットフィルタを採用したが、このプリヴィットフィルタに代わり、ラプラシアンフィルタ等、他の線成分抽出フィルタを採用してもよい。
（細線化処理（ステップａ２））
ラプラシアンフィルタやプリヴィットフィルタで得られた２値画像は普通数ピクセルの太さをもっている。理想的には物体の輪郭線は１ピクセルであることが望ましい。線画像から線幅１ピクセルの画像を求める処理を細線化（ｔｈｉｎｎｉｎｇ）という。
【００８４】
細線化を行う２値画像の画素記号を、図７に示すように、中心画素をｐ０、その近傍画素をｐｋで表すことにする。中心画素が消去可能かどうかは、近傍画素との連結性を考えると、画像の左下から右上へ探査する場合では、近傍画素が図８の３パターンのどれかに当てはまるかどうかで判断できる。つまり、左下から右上へ探査する場合、黒画素を１、白画素を０とした場合に、
【００８５】
【数１１】
【００８６】
の内どれかを満たすときその画素は消去可能となる。左下から右上への探査が終わったら消去可能と判断した画素を消去し、探査開始点を右上、探査方向を左下として、近傍画素のパターンを図８と反転させたものに変え、再度探査をし、画素を消去する。探査開始点が左上、右下の場合も同様な手順で画素を消去する、という手順を消去可能と判断できる画素がなくなるまで繰り返すことにより、線画像の線幅は１ピクセルとなり、得られる線画像は太さをもっていたときの中心線となる。
【００８７】
図９に、図６を細線化した結果を示す。
【００８８】
（ハフ変換による直線検出処理（ステップａ３））
画像のフィルタリングによって得られた線画像から線成分の有無や位置を求めることは輪郭をとらえる上で重要なことであり、この直線を抽出する代表的な方式がハフ（Ｈｏｕｇｈ）変換である。
【００８９】
ハフ変換は、直線のみならず、円、楕円などのパラメトリックな図形のためのパターン抽出法として有力な手法である。
【００９０】
直線検出のためのハフ変換は、（傾きｍ）―（切片ｃ）座標系を用いるのが基本手法であるが、検出精度を上げるためｍ−ｃ座標系に代わるθ―ρ正規表現の座標系がある。また、各種の曲線パターンや任意形状の図形の検出への拡張が試みられている。
【００９１】
ｍ−ｃパラメータ平面上によるハフ変換は下記式（１２）で与えられる。“点―線変換”を行う操作である。対象画像が２値画像の場合は、２値画像内の黒画素（ｎ個）だけに対して、式（１２）で示す変換を施す。
ｓｉ：ｃ＝−Ｘｉ・ｍ＋Ｙｉ（ｉ＝１，２，・・・，ｎ） ……（１２）
すなわち、図１０（ａ）に示す図形上の黒画素の各点ｐｉ（Ｘｉ，Ｙｉ）に対して、式（１２）で表される、ｍ−ｃパラメータ平面上の軌跡を描くと、図１０（ｂ）に示すように、それぞれ１つの直線ｓｉになる。
【００９２】
図１１に、図９より直線を検出した結果を示す。
【００９３】
そこで、Ｘ−Ｙ平面の各黒画素に対して、ｍ―ｃパラメータ平面上の軌跡を描きながら、パラメータ平面上の各点の累積度数を求める。すなわち、Ｘ―Ｙ平面上の各黒画素に対応する直線に相当するパラメータ平面上の各点の累積度数に１を加えていくと、図１０（ｂ）に示すａ点やｂ点のようにＸ―Ｙ平面上で直線に対応する点の累積度数が大きい値を持つようになる。すなわち、累積度数の比較的大きな値を与える（ｍ，ｃ）の値によって、２値画像に存在する直線の傾きと切片の値を知ることができる
（回転・平行移動処理（ステップａ４））
画像を回転・平行移動する方法は、画像中の各画素の位置ベクトルの回転・平行移動によってなされる。図１２のように、画像を点（ｘ０，ｙ０） を中心にθ回転し、ｘ方向へΔｘ，ｙ方向へΔｙ平行移動したとき、画像中の位置（ｘ，ｙ） の画素は式（１３）により位置（ｘ１，ｙ１）へ移動する。
【００９４】
【数１２】
【００９５】
しかし、画素の位置は離散的であるので、丸め誤差により移動後の画像は穴が開いたものとなる。すなわち、移動後に位置（ｘ１，ｙ１）に入るべき原画像中の位置（ｘ，ｙ）を求め、原画像のデータ補間により濃度値を得ればよい。式（１３）を（ｘ，ｙ）について解くと、
【００９６】
【数１３】
【００９７】
となる。式（１４）を用いて図５を左下を中心に１０°回転し、右に１０ピクセル、下に２０ピクセル平行移動した画像を図１３に示す。
【００９８】
以上の処理により、抽出した直線が最も良く一致するように、基準画像に対し比較画像を平行・回転移動させることにより、２つの画像を高精度に位置合わせすることができる。
【００９９】
図１４は、図３に示す被写体監視プログラムのうちの、照明の変化の補正ステップ（ステップｂ）の詳細フローチャートである。
【０１００】
ここでは、小領域内の平均・分散取得処理（ステップｂ１）および濃度値の線形変換処理（ステップｂ２）が、画像全体にわたって行なわれる（ステップｂ３）。
（小領域内の平均・分散取得処理（ステップｂ１））
ここでは、まず、基準画像、比較画像の同じ位置からｎ×ｎの小領域が取り出され、その小領域内での濃度値の平均・分散が求められる。
【０１０１】
図１５は、画像（基準画像および比較画像）の一部からなる小領域Ｒを示す図である。この少領域Ｒは、本発明にいう第２の少領域の一例に相当する。ここでは、この小領域Ｒは、一例として、画素Ｐ０を中心とした７×７画素から構成されている。ここでは、基準画像と比較画像のそれぞれについて、その小領域Ｒ内の平均と分散が求められる。
【０１０２】
ここでは、基準画像について求めた平均、分散を、それぞれＥ０，Ｓ０２とし、比較画像について求めた平均、分散を、それぞれＥ１，Ｓ１２とする。また、比較画像における、その小領域Ｒの中心画素Ｐ０の座標を（ｘ，ｙ）とし、その画素Ｐ０の濃度値をｆ１（ｘ，ｙ）とする。
（濃度値の線形変換処理（ステップｂ２））
上記のようにして、基準画像を比較画像のそれぞれについて平均、分散を求めた後、ここでは、式（１）に従って、比較画像上の小領域Ｒの中央の画素Ｐ０の濃度値ｆ１（ｘ，ｙ）が補正後の濃度値ｇ（ｘ，ｙ）に線形変換される。
【０１０３】
【数１４】
【０１０４】
ここでは、画像上の各画素Ｐ０を中心とした小領域Ｒを順次移動しながら、以上の２つのステップｂ１，ｂ２の処理が繰り返され、各画素の濃度値が線形変換された比較画像が求められる。
【０１０５】
次に、照明の変化によってエッジ前後の濃度値の大小関係が反転している場合の濃度値の補正処理について照明する。この場合、上記の濃度値の平均・分散だけで補正するとエッジ前後の濃度値の大小関係は補正されず、よい結果は得られない。これを補正するために比較画像側の小領域Ｒ内にエッジが含まれていると判断できるときに、図１６のように各画素の濃度値が小領域Ｒ内の平均より大きいか小さいかの情報を１、−１で取得しておき、式（２）で示すように比較画像側での位置ｘ，ｙの濃度ｆ１（ｘ，ｙ）を濃度ｇ（ｘ，ｙ）に補正すれば基準値に合うようになる（図１７）。
【０１０６】
すなわち、ここでは、基準画像上の小領域内の各画素（座標（ｘ，ｙ）：ｘ，ｙは変数）の濃度値をｆ０（ｘ，ｙ）としたとき、
【０１０７】
【数１５】
【０１０８】
とし、
【０１０９】
【数１６】
【０１１０】
により、補正後の濃度値ｇ（ｘ，ｙ）が求められる。
【０１１１】
図１８は、濃度値の線形補正の変形例の説明図である。
【０１１２】
ここでは、小領域Ｒ内の平均、分散に基づいて、その小領域Ｒの中央部分のもう１つの小領域Ｄ内の各画素Ｐ０〜Ｐ８の濃度値が補正される。このときは、領域Ｄ内の画素の座標（ｘ，ｙ）を変数と考えることにより、上記の式（１）あるいは式（２）をそのまま適用することができる。
【０１１３】
小領域Ｒの平均・分散に基づいて中央の１つの画素Ｐ０の濃度値のみを補正すると、高精度の補正が可能となり、小領域Ｒの平均・分散に基づいて、中央の複数の画素からなる小領域Ｄ内の各画素の濃度値を補正すると、高速演算が可能となる。
【０１１４】
図１９は、図３に示す被写体監視プログラムのうちの、変化の検出ステップ（ステップｃ）の詳細フローチャートである。
【０１１５】
ここでは、先ず、基準画像と、上記のようにして濃度値が補正された比較画像との差分画像を得ることにより、それらの画像の変化が抽出された画像を得る（ステップｃ１）。
【０１１６】
次に、この差分画像の各画素に対して周辺ｎピクセルのＲＧＢ空間内での平均距離を算出し差分画像全体の平均距離分布を作成する（ステップＣ２）。
得られた平均距離分布の平均値Ｅ、標準偏差σから式（１５）によって閾値Ｔを決定する。
【０１１７】
Ｔ＝Ｅ＋３σ ……（１５）
この閾値Ｔよりも平均距離が大きい部分が変化した部分として検出される（ステップＣ３）。尚、ここでは閾値Ｔとして上記式（１５）を採用しているが、σの幅（式（１５）では３σの３）は適切に調整される。
【０１１８】
図２０に、基準画像と比較画像との間での変化が大きい部分（差分画像上で強調されている部分）の特徴を示す。平均距離が大きいほど変化が大きい（強調されている）ことを表わしている。
【０１１９】
また図２１に平均距離の画像全体の分布を示す。平均距離が閾値よりも大きい部分が検出されたことをもって、比較画像が基準画像から変化した（すなわち被写体に変化が生じた）ことが検出される。
【０１２０】
被写体に変化が生じたことは、図１に示すノートパソコン１０の表示画面３１に表示される。また、ブザーやランプ等で注意喚起するようにしてもよい。
【０１２１】
尚、上記の実施形態は、図３に示すステップａ〜ｃのうちのステップａ，ｂで、Ｒ，Ｇ，Ｂの各画像データそれぞれについて処理が行なわれ、ステップｃでは、差分画像を求める点についてはＲ，Ｇ，Ｂの各画像データそれぞれについて行なわれるが、その後はＲ，Ｇ，Ｂの各データを総合して上記の平均距離が求められ、その平均距離に基づいて被写体の変化の有無が判定されたが、例えば、被写体の変化がＧの色について強くあらわれることが分かっている場合には図３のステップａ〜ｃはいずれもＧの画像データについてのみ処理を行なえばよい。この場合には、差分画像上のＧの濃度値のみについて被写体の変化の有無が判定される。
【０１２２】
また、ここでは差分画像を求めてその差分画像に基づいて被写体の変化の有無が判定されたが、ここでは、基準画像と補正後の比較画像との「相違」を表わす演算が行なわれればよく、狭義の「差分」に限定されるものではない。
【０１２３】
さらに、図３のステップａは、カメラがしっかりと固定されており、被写体との位置関係が不動のときは省略してもよい。
【０１２４】
尚、ここでは、図１に示す、ノートパソコンとそのノートパソコンに接続されたカメラとからなる形態の装置を採用したが、本発明はこの形態の装置に限られるものではなく、デスクトップ型のパーソナルコンピュータを採用した形態や、カメラと一体的に構成された装置等を採用してもよい。
【０１２５】
また、図２に示す装置の内部構成も、この図２の構成に限られるものではなく、例えばＭＯを使用しないなど、他の構成のものであってもよい。
【図面の簡単な説明】
【０１２６】
【図１】ノートパソコンと、そのノートパソコンに接続されたカメラの外観図である。
【図２】図１に外観を示すノートパソコンのハードウェア構成図である。
【図３】図１、図２に示すノートパソコン内で実行される被写体監視プログラムのフローチャートである。
【図４】図３に示す被写体監視プログラムのうちの、カメラのブレ補正のステップ（ステップａ）の詳細フローチャートである。
【図５】プリヴィットフィルタを施す前の原画像（基準画像又は比較画像）を示す図である。
【図６】図５に示す原画像にカメラプリヴィットフィルタを施した結果得られた２値画像を示す図である。
【図７】２値画像の画素記号を示す図である。
【図８】細線化処理の説明図である。
【図９】図６を細線化した結果を示す図である。
【図１０】ハフ変換処理の説明図である。
【図１１】図９より直線を検出した結果を示す図である。
【図１２】回転・平行移動処理の説明図である。
【図１３】図５を回転・平行移動した結果を示す図である。
【図１４】図３に示す被写体監視プログラムのうちの、照明の変化の補正ステップ（ステップｂ）の詳細フローチャートである。
【図１５】画像（基準画像および比較画像）の一部の小領域Ｒを示す図である。
【図１６】小領域Ｒ内の各画素に、１又は−１の値を割り当てた領域を示す図である。
【図１７】エッジを含む小領域の濃度値の補正処理の説明図である。
【図１８】濃度値の線形補正の変形例の説明図である。
【図１９】図３に示す被写体監視プログラムのうちの、照明・変化の検出ステップ（ステップｃ）の詳細フローチャートである。
【図２０】基準画像と比較画像との間での変化が大きい部分（差分画像上で強調されている部分）の特徴を示す図である。
【図２１】平均距離の画像全体の分布を示す図である。
【符号の説明】
【０１２７】
１０ ノートパソコン
２０ 本体部
２１ キーボード
２２ トラックパッド
２５ マウス
３０ 表示部
３１ 表示画面
４０ カメラ
１１０ バス
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ハードディスクコントローラ
１１４ ＭＯドライブ
１１５ ＣＤ−Ｒ／ＲＷドライブ
１１６ ＵＳＢインタフェース
１１７ キーボードコントローラ
１１８ ディスプレイコントローラ
１１９ トラックパッドコントローラ
１２０ カメラコントローラ
１２１ ビデオ受信部
１２２ ハードディスク
２３１ ＭＯ装填口
２３２ ＭＯ
２４１ ＣＤ−Ｒ／ＲＷ装填口
２４２ ＣＤ−Ｒ（又はＣＤ−ＲＷ）
【特許請求の範囲】
【請求項１】
被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視方法において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の像情報値（以下画素値と言う。）の平均および分散を、同じく複数の画素に分解された基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正ステップと、
基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、該被写体の変化の有無を判定する変化判定ステップとを有することを特徴とする被写体監視方法。
【請求項２】
基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算ステップを備え、
前記変化判定ステップは、前記差分演算ステップにより求められた差分画像に基づいて被写体の変化の有無を判定するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項３】
前記画素値補正ステップは、比較画像を構成する各１画素をそれぞれを前記第１の小領域として前記演算を実行するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項４】
前記画素値補正ステップは、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数１】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項５】
前記画素値補正ステップは、前記第２の小領域内にエッジが含まれているか否かを判定し、前記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【数２】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数３】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項６】
前記画素値補正ステップは、前記第２の小領域内の画素値の分散が所定の閾値を超える場合に、該第２の小領域にエッジが含まれていると判定することを特徴とする請求項５記載の被写体監視方法。
【請求項７】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正ステップは、少なくとも１つの色について前記演算を行なうステップであり、前記変化判定ステップは、少なくとも１つの色について、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、該被写体の変化の有無を判定するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項８】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正ステップは、前記複数色それぞれについて前記演算を行なうステップであり、前記変化判定ステップは、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、該距離に基づいて被写体の変化の有無を判定するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項９】
前記画素値補正ステップの実行に先立って実行される、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正ステップを有することを特徴とする請求項１記載の被写体監視方法。
【請求項１０】
被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視装置において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正部と、
基準画素と、前記画素値補正部により補正された後の比較画素とを比較することにより、該被写体の変化の有無を判定する変化判定部とを有することを特徴とする被写体監視装置。
【請求項１１】
基準画像と、前記画素値補正部を経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部を備え、
前記変化判定部は、前期差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１２】
前記画素値補正部は、比較画像を構成する各１画素をそれぞれを前記第１の小領域として前記演算を実行するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１３】
前記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１おびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数４】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１４】
前記画素値補正部は、前記第２の小領域内にエッジが含まれているか否かを判定し、前記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【数５】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数６】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１５】
前記画素値補正部は、前記第２の小領域内の画素値の分散が所定の閾値を超える場合に、該第２の小領域にエッジが含まれていると判定するものであることを特徴とする請求項１４記載の被写体監視装置。
【請求項１６】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、少なくとも１つの色について前記演算を行なうものであり、前記変化判定部は、少なくとも１つの色について、基準画素と、前記画素値補正部により補正された後の比較画像とを比較することにより、該被写体の変化の有無を判定するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１７】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、前記複数色それぞれについて前記演算を行なうものであり、前記変化判定部は、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、該距離に基づいて被写体の変化の有無を判定するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１８】
前記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部を有することを特徴とする請求項１０記載の被写体監視装置。
【請求項１９】
プログラムが実行される情報処理装置内で実行され、該情報処理装置を、被写体を撮影して得た基準画像と該被写体を撮影して得た比較画像とを比較することにより該被写体の変化の有無を監視する被写体監視装置として動作させる被写体監視プログラムであって、
前記情報処理装置を、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正部と、
基準画像と、前記画素補正部により補正された後の比較画素とを比較することにより、該被写体の変化の有無を判定する変化判定部とを有する被写体監視装置として動作させることを特徴とする被写体監視プログラム。
【請求項２０】
前記情報処理装置を、
基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部をさらに有するとともに、
前記変化判定部が、前記差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものである被写体監視装置として動作させることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２１】
前記画素値補正部は、比較画像を構成する各１画素をそれぞれを前記第１の小領域として前記演算を実行するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２２】
前記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数７】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２３】
前記画素値補正部は、前記第２の小領域内にエッジが含まれているか否かを判定し、前記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【数８】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数９】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２４】
前記画素値補正部は、前記第２の小領域内の画素値の分散が所定の閾値を超える場合に、該第２の小領域にエッジが含まれていると判定することを特徴とする請求項２３記載の被写体監視プログラム。
【請求項２５】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、少なくとも１つの色について前記演算を行なうものであり、前記変化判定部は少なくとも１つの色について、基準画像と、前記画素値補正部により補正された後の比較画像とを比較することにより、該被写体の変化の有無を判定するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２６】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、前記複数色それぞれについて前記演算を行なうものであり、前記変化判定部は、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との間の、前記複数色についての複数の差分画像の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、該距離に基づいて被写体の変化の有無を判定するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２７】
前記情報処理装置を前記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部をさらに有する被写体監視装置として動作させることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項１】
被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視方法において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の像情報値（以下画素値と言う。）の平均および分散を、同じく複数の画素に分解された基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正ステップと、
基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、該被写体の変化の有無を判定する変化判定ステップとを有することを特徴とする被写体監視方法。
【請求項２】
基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算ステップを備え、
前記変化判定ステップは、前記差分演算ステップにより求められた差分画像に基づいて被写体の変化の有無を判定するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項３】
前記画素値補正ステップは、比較画像を構成する各１画素をそれぞれを前記第１の小領域として前記演算を実行するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項４】
前記画素値補正ステップは、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数１】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項５】
前記画素値補正ステップは、前記第２の小領域内にエッジが含まれているか否かを判定し、前記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【数２】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数３】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項６】
前記画素値補正ステップは、前記第２の小領域内の画素値の分散が所定の閾値を超える場合に、該第２の小領域にエッジが含まれていると判定することを特徴とする請求項５記載の被写体監視方法。
【請求項７】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正ステップは、少なくとも１つの色について前記演算を行なうステップであり、前記変化判定ステップは、少なくとも１つの色について、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像とを比較することにより、該被写体の変化の有無を判定するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項８】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正ステップは、前記複数色それぞれについて前記演算を行なうステップであり、前記変化判定ステップは、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、該距離に基づいて被写体の変化の有無を判定するステップであることを特徴とする請求項１記載の被写体監視方法。
【請求項９】
前記画素値補正ステップの実行に先立って実行される、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正ステップを有することを特徴とする請求項１記載の被写体監視方法。
【請求項１０】
被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視装置において、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正部と、
基準画素と、前記画素値補正部により補正された後の比較画素とを比較することにより、該被写体の変化の有無を判定する変化判定部とを有することを特徴とする被写体監視装置。
【請求項１１】
基準画像と、前記画素値補正部を経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部を備え、
前記変化判定部は、前期差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１２】
前記画素値補正部は、比較画像を構成する各１画素をそれぞれを前記第１の小領域として前記演算を実行するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１３】
前記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１おびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数４】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１４】
前記画素値補正部は、前記第２の小領域内にエッジが含まれているか否かを判定し、前記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【数５】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数６】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１５】
前記画素値補正部は、前記第２の小領域内の画素値の分散が所定の閾値を超える場合に、該第２の小領域にエッジが含まれていると判定するものであることを特徴とする請求項１４記載の被写体監視装置。
【請求項１６】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、少なくとも１つの色について前記演算を行なうものであり、前記変化判定部は、少なくとも１つの色について、基準画素と、前記画素値補正部により補正された後の比較画像とを比較することにより、該被写体の変化の有無を判定するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１７】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、前記複数色それぞれについて前記演算を行なうものであり、前記変化判定部は、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、該距離に基づいて被写体の変化の有無を判定するものであることを特徴とする請求項１０記載の被写体監視装置。
【請求項１８】
前記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部を有することを特徴とする請求項１０記載の被写体監視装置。
【請求項１９】
プログラムが実行される情報処理装置内で実行され、該情報処理装置を、被写体を撮影して得た基準画像と該被写体を撮影して得た比較画像とを比較することにより該被写体の変化の有無を監視する被写体監視装置として動作させる被写体監視プログラムであって、
前記情報処理装置を、
複数の画素に分解された比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素値の平均および分散を、同じく複数の画素に分解された基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該小領域それぞれを前記第１の小領域として実行する画素値補正部と、
基準画像と、前記画素補正部により補正された後の比較画素とを比較することにより、該被写体の変化の有無を判定する変化判定部とを有する被写体監視装置として動作させることを特徴とする被写体監視プログラム。
【請求項２０】
前記情報処理装置を、
基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との、互いに対応する画素どうしの画素値の差分からなる差分画像を求める差分演算部をさらに有するとともに、
前記変化判定部が、前記差分演算部により求められた差分画像に基づいて被写体の変化の有無を判定するものである被写体監視装置として動作させることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２１】
前記画素値補正部は、比較画像を構成する各１画素をそれぞれを前記第１の小領域として前記演算を実行するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２２】
前記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数７】
に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２３】
前記画素値補正部は、前記第２の小領域内にエッジが含まれているか否かを判定し、前記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を前記第１の小領域としたときの該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ１およびＳ１２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ０およびＳ０２とし、
【数８】
とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ１（ｘ，ｙ）を式
【数９】
に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２４】
前記画素値補正部は、前記第２の小領域内の画素値の分散が所定の閾値を超える場合に、該第２の小領域にエッジが含まれていると判定することを特徴とする請求項２３記載の被写体監視プログラム。
【請求項２５】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、少なくとも１つの色について前記演算を行なうものであり、前記変化判定部は少なくとも１つの色について、基準画像と、前記画素値補正部により補正された後の比較画像とを比較することにより、該被写体の変化の有無を判定するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２６】
前記基準画像および前記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像であって、前記画素値補正部は、前記複数色それぞれについて前記演算を行なうものであり、前記変化判定部は、基準画像と、前記画素値補正ステップを経ることにより得られた補正後の比較画像との間の、前記複数色についての複数の差分画像の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、該距離に基づいて被写体の変化の有無を判定するものであることを特徴とする請求項１９記載の被写体監視プログラム。
【請求項２７】
前記情報処理装置を前記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部をさらに有する被写体監視装置として動作させることを特徴とする請求項１９記載の被写体監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−１４８５７６（Ｐ２００７−１４８５７６Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３３９２７１（Ｐ２００５−３３９２７１）
【出願日】平成１７年１１月２４日（２００５．１１．２４）
【出願人】（５０５４３６１３９）
【出願人】（０００１５６９６１）関西熱化学株式会社 (117)
【出願人】（０００００６６６６）株式会社山武 (1,808)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月２４日（２００５．１１．２４）
【出願人】（５０５４３６１３９）
【出願人】（０００１５６９６１）関西熱化学株式会社 (117)
【出願人】（０００００６６６６）株式会社山武 (1,808)
【Ｆターム（参考）】
[ Back to top ]