画像処理装置
【課題】異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる画像処理装置を提供することを目的とする。
【解決手段】２つの画像間の差分結果に基づいて一方の画像における異常領域を検出する画像処理装置において、撮像された画像と画像を撮像した時の環境条件を特定する環境条件特定情報とを対応付けて記憶する記憶手段１０１と、撮像された入力画像を入力する第１の入力手段１０５と、入力画像を撮像した時の環境条件を特定する環境条件特定情報を入力する第２の入力手段１０２と、第２の入力手段により入力された環境条件特定情報と同一又は類似の環境条件特定情報に係る画像を記憶手段から選定する選定手段１０３と、選定手段により選定された画像と第１の入力手段により入力された入力画像とに対して差分処理を行なう差分処理手段１０６と、を備えることを特徴とする。
【解決手段】２つの画像間の差分結果に基づいて一方の画像における異常領域を検出する画像処理装置において、撮像された画像と画像を撮像した時の環境条件を特定する環境条件特定情報とを対応付けて記憶する記憶手段１０１と、撮像された入力画像を入力する第１の入力手段１０５と、入力画像を撮像した時の環境条件を特定する環境条件特定情報を入力する第２の入力手段１０２と、第２の入力手段により入力された環境条件特定情報と同一又は類似の環境条件特定情報に係る画像を記憶手段から選定する選定手段１０３と、選定手段により選定された画像と第１の入力手段により入力された入力画像とに対して差分処理を行なう差分処理手段１０６と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から監視カメラなどを用いて異常領域を検出する画像処理装置が提案されている。異常領域の検出において、例えば、特許文献１には、既に検出された異常領域内では、異なる時刻に撮像された監視画像間の差分処理によって変化領域を算出し、異常領域外では、背景画像と監視画像との差分処理によって変化領域を算出することが開示されている。
【０００３】
ここで、特許文献１では、画像撮像時の環境条件を考慮していないため、屋外で撮像したり、屋内の照明条件が異なったりした場合には、異常領域を的確に検出できない可能性がある。そこで、特許文献２には、交通監視装置において、入力された画像における画像領域の画像特徴を抽出し、抽出した画像特徴に基づいて外部環境を判定し、判定結果に基づく閾値により、画像間の差分画像から異常領域を検出する技術が開示されている。
【特許文献１】特開２００７−１８０９３３号公報
【特許文献２】特開２００２−８３３０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献２では、入力された画像の環境条件に応じて、異常領域の判定に用いる閾値を変更しているが、そもそも背景画像と入力画像との関係が考慮されていない。つまり、入力された画像の環境条件に応じて閾値を変更するだけでは、環境条件による部分的な影響を取り除くことができない。係る場合について図９を例に用いて説明する。
【０００５】
図９は、背景画像と入力画像とを示す図である。例えば、図９に示すように背景画像と入力画像とに異なる影Ａが写りこんでいる場合に、背景画像と入力画像との差分画像において、影Ａによる輝度差と異常領域（物体Ｂ）による輝度差とが同じだった場合、どちらも異常領域だと判定されてしまう可能性がある。
【０００６】
よって、異常領域判定の閾値を変更するだけでは、背景画像の環境条件を考慮しているとは言えず、異常領域を検出する画像間の環境条件を対応させることはできない。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、２つの画像間の差分結果に基づいて一方の画像における異常領域を検出する画像処理装置において、撮像された画像と前記画像を撮像した時の環境条件を特定する環境条件特定情報とを対応付けて記憶する記憶手段と、新たに撮像された入力画像を入力する第１の入力手段と、前記入力画像を撮像した時の環境条件を特定する環境条件特定情報を入力する第２の入力手段と、前記第２の入力手段により入力された環境条件特定情報と同一又は類似の環境条件特定情報に係る画像を前記記憶手段から選定する選定手段と、前記選定手段により選定された画像と前記第１の入力手段により入力された入力画像とに対して差分処理を行なう差分処理手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例を図面に基づいて説明する。
【実施例１】
【００１１】
本発明の一実施例に係る画像処理装置は、例えば、図１に示すような機能構成を成す。図１は、本発明の一実施例に係る画像処理装置の概略機能ブロック図である。
【００１２】
本実施例に係る画像処理装置１００は、データベース１０１、環境条件特定情報入力手段１０２、選定手段１０３、画像入力手段１０５、差分処理手段１０６、異常領域検出手段１０７を含んで構成される。
【００１３】
データベース１０１は、小型カメラや監視カメラなどの撮像手段により撮像された画像を記憶する（以下、データベース１０１に記憶された画像を背景画像という）。また、データベース１０１は、記憶している背景画像に対応させて環境条件特定情報を記憶する。
【００１４】
環境条件特定情報について図２を用いて説明する。図２は、環境条件特定情報の一例を示す図である。図２に示すように、環境条件特定情報は、画像を撮像した時刻、位置、天気情報などを含む。ここで、撮像したときの天気情報とは、撮像手段により空を撮像したときの画像の全部又は一部や、撮像した空の画像から抽出した特徴量などをいう。
【００１５】
図３は、晴れ、曇り、雨の典型的な天気に空を撮像した画像の一部の一例を示す図である。図３（ａ）は、晴れの日の画像であり、青空が撮像されている。図３（ｂ）は、曇りの日の画像であり、くすんだ色の雲が撮像されている。図３（ｃ）は、雨の日の画像であり、暗い色の雨雲が撮像されている。
【００１６】
また、撮像した画像から抽出した特徴量とは、図３に示すような空の画像の全部又は一部の領域の平均のＲＧＢ値や色のばらつき量などである。また、この特徴量は、人手によって抽出されてもよい。
【００１７】
図１に戻り、環境情報特定情報入力手段１０２は、入力画像を撮像した時刻、位置、天気情報を入力し選定手段１０３に出力する。より具体的に説明すると、入力画像を撮像した時刻については、内蔵する時計や電波から受信することにより時刻が入力される。
【００１８】
また、撮像した位置については、画像処理装置１００が車両などの移動体に内蔵されている場合は、ＧＰＳ機能を用いて現在位置を取得したり、画像処理装置１００が監視カメラなどの静止物に接続されている場合は、直接現在位置を入力したり設定したりして入力される。
【００１９】
また、静止物に接続されている場合には、位置は変化しないので、環境条件特定情報における位置の要素を無視してもよい。また、撮像した天気情報については、空を撮像した撮像手段により入力される。
【００２０】
選定手段１０３は、まず、環境条件特定情報入力手段１０２より取得した入力画像の環境条件特定情報と同一又は類似する環境条件特定情報をデータベース１０１から探す。より具体的には、選定手段１０３は、類似度算出手段１０４を備えており、類似度算出手段１０４は、環境条件特定情報入力手段１０２により取得した環境条件特定情報とデータベース１０１から読み出した環境条件特定情報との類似度を計算する。
【００２１】
ここで、類似度については図４を用いて説明する。図４は、環境情報特定情報を一次元配列にした例を示す図である。図４（ａ）は、環境条件特定情報の各要素を横に配列した図である。図４（ｂ）は、各要素の具体的な値を一次元配列にした図である。図４（ｃ）は、図４（ｂ）の具体値を類似度が算出しやすいように要素ごとに数値で表した図である。なお、この場合、図４（ｃ）では、ＲＧＢや北緯、東経をまとめて数値化したが、それぞれ別にしておいてもよい。
【００２２】
次に、類似度算出手段１０４は、入力した環境条件特定情報を図４（ｃ）のように一次元配列にしてベクトル定義し、ベクトル間のユークリッド距離を類似度とする。ここで、図５を用いて、ユークリッド距離の算出方法を説明する。図５（ａ）は背景画像の環境条件特定情報の一次元配列を示す図である。図５（ｂ）は入力画像の環境条件特定情報の一次元配列を示す図である。図５（ｃ）はユークリッド距離を求める式を示す図である。図５（ｃ）に示すようにユークリッド距離は、各要素ごとに差分値をとり、差分値の平方和を平方根して算出される。
【００２３】
また、類似度としてユークリッド距離以外にも、ベクトル間のなす角度を類似度としてもよい。ベクトル間のなす角度については、ベクトル間の内積を、各ベクトルの大きさを積算した値で除算すると、ベクトル間のなす角度の余弦値が算出される。
【００２４】
図１に戻り、選定手段１０３は、類似度算出手段１０４により算出された類似度が一番高い環境条件特定情報に対応する背景画像を選定し、選定した背景画像を差分処理手段１０６に出力する。なお、類似度が一番高いとは、類似度をユークリッド距離で表した場合は、ユークリッド距離が一番小さいことをいう。
【００２５】
画像入力手段１０５は、撮像手段により撮像された画像を入力し、差分処理手段１０６に出力する。
【００２６】
差分処理手段１０６は、選定手段１０３より取得した背景画像と画像入力手段１０５より取得した画像とに対して画素毎に差分値を算出し、算出した差分値を異常領域検出手段１０７に出力する。
【００２７】
異常領域算出手段１０７は、差分処理手段１０６より取得した画素毎の差分値の絶対値が、設定された閾値以上であれば異常位置として検出し、検出した異常位置の集合を異常領域として検出する。
【００２８】
また、環境条件特定情報入力手段１０２に入力された環境条件特定情報と、画像入力手段１０５に入力された画像は、選定手段１０３による背景画像の選定終了後、データベース１０１に記憶される。
【００２９】
なお、画像と環境条件特定情報とをデータベースに記憶するタイミングは、背景画像の選定に影響しないタイミングであればいつでもよい。
【００３０】
なお、本実施例において差分処理手段１０６と異常領域検出手段１０７は、まとめて構成されてもよい。
【００３１】
図６は、本実施例１における画像処理装置の異常検出処理を示すフローチャートである。ステップ６０１では、環境条件特定情報入力手段１０２が、撮像手段により撮像された入力画像に対応する環境条件特定情報を入力する。
【００３２】
ステップ６０１に続いてステップ６０２に進み、類似度算出手段１０４が、環境情報特定情報入力手段１０２より取得した環境条件特定情報とデータベース１０１に記憶される環境条件特定情報との類似度を算出する。
【００３３】
ステップ６０２に続いてステップ６０３に進み、選定手段１０３が、類似度算出手段１０４が算出した類似度が一番高い環境条件特定情報に対応する背景画像をデータベース１０１から選定する。
【００３４】
ステップ６０３に続いてステップ６０４に進み、画像入力手段１０５が、撮像手段により撮像された画像を入力し、差分処理手段１０６に出力する。なお、ステップ６０４の処理は、ステップ６０５以前に処理されるのであればどのタイミングで処理されてもよい。
【００３５】
ステップ６０４に続いてステップ６０５に進み、差分処理手段１０６が、選定手段１０３より取得した背景画像と画像入力手段１０５より入力した画像とに対して、画素毎に差分値を算出する。
【００３６】
ステップ６０５に続いてステップ６０６に進み、異常領域検出手段１０７は、差分処理手段１０６より取得した差分値の絶対値が、設定された閾値以上であるか否かを判定し、閾値以上であれば異常位置として検出し、検出した異常位置の集合を異常領域とする。
【００３７】
以上より、本実施例１に係る画像処理装置によれば、異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる。つまり、入力した画像の環境条件と同一又は類似の環境条件で撮像された背景画像をデータベースから選定することで、同じ場所でも時間帯の違いによる影の影響などを取り除いて、異常領域を検出することができる。
【００３８】
また、物体の影の影響以外にも、いつも同じ時間に同じ場所に存在する車両などの影響も取り除いて、異常領域を検出することが可能となる。
【００３９】
なお、本実施例１は、データベースに入力画像と同様の環境条件、同様の画像があることを想定しているので、例えば、監視カメラによる監視装置及びシステム、同じ時刻に同じ場所を通る通勤車両などに適用すると良い。
【００４０】
上記で説明した本実施例１に係る画像処理装置の適用例を図７に示す。図７（ａ）は、本実施例１に係る画像処理装置を車両に搭載する場合の例を示す図である。撮像手段が車両の前方に備え付けられ、車両に搭載された画像処理装置と接続されている。
【００４１】
図７（ａ）の場合、車両は同様の時刻に同じ場所を通ることを想定し、画像処理装置が異常領域を検出したときには、警告を発するなどして、運転手に対して前方に普段にはない何か（異常物）があることを知らせることができる。
【００４２】
図７（ｂ）は、撮像手段が監視カメラなどで、本実施例１の画像処理装置がパーソナルコンピュータなどの場合を示す図である。図７（ｂ）の場合、監視画面に写る物体の影の影響などを取り除いた上で、真の侵入者などを検出することができる。
【００４３】
なお、本発明の適用例として上記２つの例を示したが、異常領域を検出する画像間の環境条件を対応させた上で、画像間の異常領域を検出する目的であれば、上記例に限らず本発明を適用できることは言うまでもない。
【００４４】
（変形例１）
実施例１に係る画像処理装置の変形例１は、上記で説明した類似度算出の方法とは異なる方法で類似度を算出する。変形例１では、類似度を算出する際に、入力画像に対応する環境条件特定情報の各要素のうち、特定できる要素があれば、特定できる要素について類似度の中間値を予め算出しておく。
【００４５】
例えば、図７（ａ）の場合について説明すると、同様の時刻に同様の場所を通ることを想定しているため、環境条件特定情報のうち、撮像時刻と撮像位置は予め特定することができる。あとは入力画像撮像時の天気情報を入力すれば類似度を算出することができる。
【００４６】
このとき、予め特定できる撮像時刻と撮像位置については、類似度の中間値を算出しておいて、天気情報が入力されたときに、最終的に類似度を算出するようにする。ここで、図８を用いて、中間値について説明する。
【００４７】
図８は、天気情報のみがわかっていない場合の中間値を示す図である。図８（ａ）は、背景画像の環境条件特定情報を示す。図８（ｂ）は、入力画像の環境条件特定情報を示す。図８（ｃ）は、類似度の中間値を示す。図８（ｂ）に示すように、環境条件特定情報のうち天気情報の要素のみがまだ特定されていない。このとき、すでに特定されている環境条件特定情報の要素のみを用いて類似度と同様の算出処理を行い、求められた値を中間値とする。あとは天気情報が入力され次第、中間値を用いて最終的な類似度を算出する。
【００４８】
これより、中間値を算出することで、類似度算出におけるオンラインでの処理負荷を軽減させることができる。
【００４９】
また、類似度の中間値に基づいて、データベースの背景画像を絞り込むことも考えられる。つまり、中間値が、設定された閾値以上（類似度がユークリッド距離の場合）の背景画像に対しては、天気情報が入力されても類似度が一番高くなることはないとして、その後の類似度算出を行なわないとしてもよい。
【００５０】
これより、中間値を算出することで背景画像の候補を絞り込み、類似度算出におけるオンラインでの処理負荷をさらに軽減させることができる。
【００５１】
（変形例２）
実施例１に係る画像処理装置の変形例２は、上記で説明した類似度算出の方法とは異なる方法で類似度を算出する。変形例２では、類似度を算出する際に、環境条件特定情報の各要素のばらつき量（例えば分散など）を計測し、ばらつき量で各要素の正規化を行なっておいてから類似度を算出する。
【００５２】
例えば、天気情報を空のＲＧＢ値で表し、ＲＧＢをそれぞれ環境条件特定情報の要素だとした場合、ＲＧＢのそれぞれのばらつき量を予め計測しておく。つまり、空の色については、Ｒが一番ばらつき、Ｇ、Ｂはそれほどばらつかないということがわかっていれば、Ｒ、Ｇ、Ｂのそれぞれのばらつき量で正規化を予め行なうようにする。
【００５３】
これより、環境条件特定情報の各要素のばらつき量を考慮した類似度を算出することができる。
【００５４】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、上記変形例以外にも種々の変形・変更が可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施例に係る画像処理装置の概略機能ブロックを示す図。
【図２】環境条件特定情報の一例を示す図。
【図３】空を撮像した画像の一部の一例を示す図。
【図４】環境情報特定情報を一次元配列にした例を示す図。
【図５】環境条件特定情報に基づくユークリッド距離の求め方を示す図。
【図６】本実施例１における画像処理装置の異常検出処理を示すフローチャート。
【図７】本実施例１に係る画像処理装置の適用例を示す図。
【図８】中間値を示す図。
【図９】背景画像と入力画像を示す図。
【符号の説明】
【００５６】
１００ 画像処理装置
１０１ データベース
１０２ 環境条件特定情報入力手段
１０３ 選定手段
１０４ 類似度算出手段
１０５ 画像入力手段
１０６ 差分処理手段
１０７ 異常領域検出手段
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から監視カメラなどを用いて異常領域を検出する画像処理装置が提案されている。異常領域の検出において、例えば、特許文献１には、既に検出された異常領域内では、異なる時刻に撮像された監視画像間の差分処理によって変化領域を算出し、異常領域外では、背景画像と監視画像との差分処理によって変化領域を算出することが開示されている。
【０００３】
ここで、特許文献１では、画像撮像時の環境条件を考慮していないため、屋外で撮像したり、屋内の照明条件が異なったりした場合には、異常領域を的確に検出できない可能性がある。そこで、特許文献２には、交通監視装置において、入力された画像における画像領域の画像特徴を抽出し、抽出した画像特徴に基づいて外部環境を判定し、判定結果に基づく閾値により、画像間の差分画像から異常領域を検出する技術が開示されている。
【特許文献１】特開２００７−１８０９３３号公報
【特許文献２】特開２００２−８３３０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献２では、入力された画像の環境条件に応じて、異常領域の判定に用いる閾値を変更しているが、そもそも背景画像と入力画像との関係が考慮されていない。つまり、入力された画像の環境条件に応じて閾値を変更するだけでは、環境条件による部分的な影響を取り除くことができない。係る場合について図９を例に用いて説明する。
【０００５】
図９は、背景画像と入力画像とを示す図である。例えば、図９に示すように背景画像と入力画像とに異なる影Ａが写りこんでいる場合に、背景画像と入力画像との差分画像において、影Ａによる輝度差と異常領域（物体Ｂ）による輝度差とが同じだった場合、どちらも異常領域だと判定されてしまう可能性がある。
【０００６】
よって、異常領域判定の閾値を変更するだけでは、背景画像の環境条件を考慮しているとは言えず、異常領域を検出する画像間の環境条件を対応させることはできない。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、２つの画像間の差分結果に基づいて一方の画像における異常領域を検出する画像処理装置において、撮像された画像と前記画像を撮像した時の環境条件を特定する環境条件特定情報とを対応付けて記憶する記憶手段と、新たに撮像された入力画像を入力する第１の入力手段と、前記入力画像を撮像した時の環境条件を特定する環境条件特定情報を入力する第２の入力手段と、前記第２の入力手段により入力された環境条件特定情報と同一又は類似の環境条件特定情報に係る画像を前記記憶手段から選定する選定手段と、前記選定手段により選定された画像と前記第１の入力手段により入力された入力画像とに対して差分処理を行なう差分処理手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例を図面に基づいて説明する。
【実施例１】
【００１１】
本発明の一実施例に係る画像処理装置は、例えば、図１に示すような機能構成を成す。図１は、本発明の一実施例に係る画像処理装置の概略機能ブロック図である。
【００１２】
本実施例に係る画像処理装置１００は、データベース１０１、環境条件特定情報入力手段１０２、選定手段１０３、画像入力手段１０５、差分処理手段１０６、異常領域検出手段１０７を含んで構成される。
【００１３】
データベース１０１は、小型カメラや監視カメラなどの撮像手段により撮像された画像を記憶する（以下、データベース１０１に記憶された画像を背景画像という）。また、データベース１０１は、記憶している背景画像に対応させて環境条件特定情報を記憶する。
【００１４】
環境条件特定情報について図２を用いて説明する。図２は、環境条件特定情報の一例を示す図である。図２に示すように、環境条件特定情報は、画像を撮像した時刻、位置、天気情報などを含む。ここで、撮像したときの天気情報とは、撮像手段により空を撮像したときの画像の全部又は一部や、撮像した空の画像から抽出した特徴量などをいう。
【００１５】
図３は、晴れ、曇り、雨の典型的な天気に空を撮像した画像の一部の一例を示す図である。図３（ａ）は、晴れの日の画像であり、青空が撮像されている。図３（ｂ）は、曇りの日の画像であり、くすんだ色の雲が撮像されている。図３（ｃ）は、雨の日の画像であり、暗い色の雨雲が撮像されている。
【００１６】
また、撮像した画像から抽出した特徴量とは、図３に示すような空の画像の全部又は一部の領域の平均のＲＧＢ値や色のばらつき量などである。また、この特徴量は、人手によって抽出されてもよい。
【００１７】
図１に戻り、環境情報特定情報入力手段１０２は、入力画像を撮像した時刻、位置、天気情報を入力し選定手段１０３に出力する。より具体的に説明すると、入力画像を撮像した時刻については、内蔵する時計や電波から受信することにより時刻が入力される。
【００１８】
また、撮像した位置については、画像処理装置１００が車両などの移動体に内蔵されている場合は、ＧＰＳ機能を用いて現在位置を取得したり、画像処理装置１００が監視カメラなどの静止物に接続されている場合は、直接現在位置を入力したり設定したりして入力される。
【００１９】
また、静止物に接続されている場合には、位置は変化しないので、環境条件特定情報における位置の要素を無視してもよい。また、撮像した天気情報については、空を撮像した撮像手段により入力される。
【００２０】
選定手段１０３は、まず、環境条件特定情報入力手段１０２より取得した入力画像の環境条件特定情報と同一又は類似する環境条件特定情報をデータベース１０１から探す。より具体的には、選定手段１０３は、類似度算出手段１０４を備えており、類似度算出手段１０４は、環境条件特定情報入力手段１０２により取得した環境条件特定情報とデータベース１０１から読み出した環境条件特定情報との類似度を計算する。
【００２１】
ここで、類似度については図４を用いて説明する。図４は、環境情報特定情報を一次元配列にした例を示す図である。図４（ａ）は、環境条件特定情報の各要素を横に配列した図である。図４（ｂ）は、各要素の具体的な値を一次元配列にした図である。図４（ｃ）は、図４（ｂ）の具体値を類似度が算出しやすいように要素ごとに数値で表した図である。なお、この場合、図４（ｃ）では、ＲＧＢや北緯、東経をまとめて数値化したが、それぞれ別にしておいてもよい。
【００２２】
次に、類似度算出手段１０４は、入力した環境条件特定情報を図４（ｃ）のように一次元配列にしてベクトル定義し、ベクトル間のユークリッド距離を類似度とする。ここで、図５を用いて、ユークリッド距離の算出方法を説明する。図５（ａ）は背景画像の環境条件特定情報の一次元配列を示す図である。図５（ｂ）は入力画像の環境条件特定情報の一次元配列を示す図である。図５（ｃ）はユークリッド距離を求める式を示す図である。図５（ｃ）に示すようにユークリッド距離は、各要素ごとに差分値をとり、差分値の平方和を平方根して算出される。
【００２３】
また、類似度としてユークリッド距離以外にも、ベクトル間のなす角度を類似度としてもよい。ベクトル間のなす角度については、ベクトル間の内積を、各ベクトルの大きさを積算した値で除算すると、ベクトル間のなす角度の余弦値が算出される。
【００２４】
図１に戻り、選定手段１０３は、類似度算出手段１０４により算出された類似度が一番高い環境条件特定情報に対応する背景画像を選定し、選定した背景画像を差分処理手段１０６に出力する。なお、類似度が一番高いとは、類似度をユークリッド距離で表した場合は、ユークリッド距離が一番小さいことをいう。
【００２５】
画像入力手段１０５は、撮像手段により撮像された画像を入力し、差分処理手段１０６に出力する。
【００２６】
差分処理手段１０６は、選定手段１０３より取得した背景画像と画像入力手段１０５より取得した画像とに対して画素毎に差分値を算出し、算出した差分値を異常領域検出手段１０７に出力する。
【００２７】
異常領域算出手段１０７は、差分処理手段１０６より取得した画素毎の差分値の絶対値が、設定された閾値以上であれば異常位置として検出し、検出した異常位置の集合を異常領域として検出する。
【００２８】
また、環境条件特定情報入力手段１０２に入力された環境条件特定情報と、画像入力手段１０５に入力された画像は、選定手段１０３による背景画像の選定終了後、データベース１０１に記憶される。
【００２９】
なお、画像と環境条件特定情報とをデータベースに記憶するタイミングは、背景画像の選定に影響しないタイミングであればいつでもよい。
【００３０】
なお、本実施例において差分処理手段１０６と異常領域検出手段１０７は、まとめて構成されてもよい。
【００３１】
図６は、本実施例１における画像処理装置の異常検出処理を示すフローチャートである。ステップ６０１では、環境条件特定情報入力手段１０２が、撮像手段により撮像された入力画像に対応する環境条件特定情報を入力する。
【００３２】
ステップ６０１に続いてステップ６０２に進み、類似度算出手段１０４が、環境情報特定情報入力手段１０２より取得した環境条件特定情報とデータベース１０１に記憶される環境条件特定情報との類似度を算出する。
【００３３】
ステップ６０２に続いてステップ６０３に進み、選定手段１０３が、類似度算出手段１０４が算出した類似度が一番高い環境条件特定情報に対応する背景画像をデータベース１０１から選定する。
【００３４】
ステップ６０３に続いてステップ６０４に進み、画像入力手段１０５が、撮像手段により撮像された画像を入力し、差分処理手段１０６に出力する。なお、ステップ６０４の処理は、ステップ６０５以前に処理されるのであればどのタイミングで処理されてもよい。
【００３５】
ステップ６０４に続いてステップ６０５に進み、差分処理手段１０６が、選定手段１０３より取得した背景画像と画像入力手段１０５より入力した画像とに対して、画素毎に差分値を算出する。
【００３６】
ステップ６０５に続いてステップ６０６に進み、異常領域検出手段１０７は、差分処理手段１０６より取得した差分値の絶対値が、設定された閾値以上であるか否かを判定し、閾値以上であれば異常位置として検出し、検出した異常位置の集合を異常領域とする。
【００３７】
以上より、本実施例１に係る画像処理装置によれば、異常領域を検出する画像間の環境条件を対応させた上で、画像間の差分結果に基づいて異常領域の検出を行うことができる。つまり、入力した画像の環境条件と同一又は類似の環境条件で撮像された背景画像をデータベースから選定することで、同じ場所でも時間帯の違いによる影の影響などを取り除いて、異常領域を検出することができる。
【００３８】
また、物体の影の影響以外にも、いつも同じ時間に同じ場所に存在する車両などの影響も取り除いて、異常領域を検出することが可能となる。
【００３９】
なお、本実施例１は、データベースに入力画像と同様の環境条件、同様の画像があることを想定しているので、例えば、監視カメラによる監視装置及びシステム、同じ時刻に同じ場所を通る通勤車両などに適用すると良い。
【００４０】
上記で説明した本実施例１に係る画像処理装置の適用例を図７に示す。図７（ａ）は、本実施例１に係る画像処理装置を車両に搭載する場合の例を示す図である。撮像手段が車両の前方に備え付けられ、車両に搭載された画像処理装置と接続されている。
【００４１】
図７（ａ）の場合、車両は同様の時刻に同じ場所を通ることを想定し、画像処理装置が異常領域を検出したときには、警告を発するなどして、運転手に対して前方に普段にはない何か（異常物）があることを知らせることができる。
【００４２】
図７（ｂ）は、撮像手段が監視カメラなどで、本実施例１の画像処理装置がパーソナルコンピュータなどの場合を示す図である。図７（ｂ）の場合、監視画面に写る物体の影の影響などを取り除いた上で、真の侵入者などを検出することができる。
【００４３】
なお、本発明の適用例として上記２つの例を示したが、異常領域を検出する画像間の環境条件を対応させた上で、画像間の異常領域を検出する目的であれば、上記例に限らず本発明を適用できることは言うまでもない。
【００４４】
（変形例１）
実施例１に係る画像処理装置の変形例１は、上記で説明した類似度算出の方法とは異なる方法で類似度を算出する。変形例１では、類似度を算出する際に、入力画像に対応する環境条件特定情報の各要素のうち、特定できる要素があれば、特定できる要素について類似度の中間値を予め算出しておく。
【００４５】
例えば、図７（ａ）の場合について説明すると、同様の時刻に同様の場所を通ることを想定しているため、環境条件特定情報のうち、撮像時刻と撮像位置は予め特定することができる。あとは入力画像撮像時の天気情報を入力すれば類似度を算出することができる。
【００４６】
このとき、予め特定できる撮像時刻と撮像位置については、類似度の中間値を算出しておいて、天気情報が入力されたときに、最終的に類似度を算出するようにする。ここで、図８を用いて、中間値について説明する。
【００４７】
図８は、天気情報のみがわかっていない場合の中間値を示す図である。図８（ａ）は、背景画像の環境条件特定情報を示す。図８（ｂ）は、入力画像の環境条件特定情報を示す。図８（ｃ）は、類似度の中間値を示す。図８（ｂ）に示すように、環境条件特定情報のうち天気情報の要素のみがまだ特定されていない。このとき、すでに特定されている環境条件特定情報の要素のみを用いて類似度と同様の算出処理を行い、求められた値を中間値とする。あとは天気情報が入力され次第、中間値を用いて最終的な類似度を算出する。
【００４８】
これより、中間値を算出することで、類似度算出におけるオンラインでの処理負荷を軽減させることができる。
【００４９】
また、類似度の中間値に基づいて、データベースの背景画像を絞り込むことも考えられる。つまり、中間値が、設定された閾値以上（類似度がユークリッド距離の場合）の背景画像に対しては、天気情報が入力されても類似度が一番高くなることはないとして、その後の類似度算出を行なわないとしてもよい。
【００５０】
これより、中間値を算出することで背景画像の候補を絞り込み、類似度算出におけるオンラインでの処理負荷をさらに軽減させることができる。
【００５１】
（変形例２）
実施例１に係る画像処理装置の変形例２は、上記で説明した類似度算出の方法とは異なる方法で類似度を算出する。変形例２では、類似度を算出する際に、環境条件特定情報の各要素のばらつき量（例えば分散など）を計測し、ばらつき量で各要素の正規化を行なっておいてから類似度を算出する。
【００５２】
例えば、天気情報を空のＲＧＢ値で表し、ＲＧＢをそれぞれ環境条件特定情報の要素だとした場合、ＲＧＢのそれぞれのばらつき量を予め計測しておく。つまり、空の色については、Ｒが一番ばらつき、Ｇ、Ｂはそれほどばらつかないということがわかっていれば、Ｒ、Ｇ、Ｂのそれぞれのばらつき量で正規化を予め行なうようにする。
【００５３】
これより、環境条件特定情報の各要素のばらつき量を考慮した類似度を算出することができる。
【００５４】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、上記変形例以外にも種々の変形・変更が可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施例に係る画像処理装置の概略機能ブロックを示す図。
【図２】環境条件特定情報の一例を示す図。
【図３】空を撮像した画像の一部の一例を示す図。
【図４】環境情報特定情報を一次元配列にした例を示す図。
【図５】環境条件特定情報に基づくユークリッド距離の求め方を示す図。
【図６】本実施例１における画像処理装置の異常検出処理を示すフローチャート。
【図７】本実施例１に係る画像処理装置の適用例を示す図。
【図８】中間値を示す図。
【図９】背景画像と入力画像を示す図。
【符号の説明】
【００５６】
１００ 画像処理装置
１０１ データベース
１０２ 環境条件特定情報入力手段
１０３ 選定手段
１０４ 類似度算出手段
１０５ 画像入力手段
１０６ 差分処理手段
１０７ 異常領域検出手段
【特許請求の範囲】
【請求項１】
２つの画像間の差分結果に基づいて一方の画像における異常領域を検出する画像処理装置において、
撮像された画像と前記画像を撮像した時の環境条件を特定する環境条件特定情報とを対応付けて記憶する記憶手段と、
新たに撮像された入力画像を入力する第１の入力手段と、
前記入力画像を撮像した時の環境条件を特定する環境条件特定情報を入力する第２の入力手段と、
前記第２の入力手段により入力された環境条件特定情報と同一又は類似の環境条件特定情報に係る画像を前記記憶手段から選定する選定手段と、
前記選定手段により選定された画像と前記第１の入力手段により入力された入力画像とに対して差分処理を行なう差分処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記環境条件特定情報は、撮像時刻、撮像位置、又は撮像時の天気情報を含んでいることを特徴する請求項１記載の画像処理装置。
【請求項３】
前記選定手段は、
前記第２の入力手段により入力された環境条件特定情報と前記記憶手段に記憶された環境条件特定情報との類似度を算出する算出手段を備え、
前記算出手段により算出された類似度に基づいて画像を前記記憶手段から選定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記算出手段は、前記環境条件特定情報の各要素を一次元配列にすることで類似度を算出し、前記入力画像に対応する前記環境条件特定情報の要素の中に特定できる要素がある場合には、前記特定できる要素に基づいて類似度の中間値を算出しておくことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記算出手段は、前記環境条件特定情報の各要素のばらつき量を計測し、前記ばらつき量に基づいて各要素を正規化してから前記類似度を算出することを特徴とする請求項３記載の画像処理装置。
【請求項１】
２つの画像間の差分結果に基づいて一方の画像における異常領域を検出する画像処理装置において、
撮像された画像と前記画像を撮像した時の環境条件を特定する環境条件特定情報とを対応付けて記憶する記憶手段と、
新たに撮像された入力画像を入力する第１の入力手段と、
前記入力画像を撮像した時の環境条件を特定する環境条件特定情報を入力する第２の入力手段と、
前記第２の入力手段により入力された環境条件特定情報と同一又は類似の環境条件特定情報に係る画像を前記記憶手段から選定する選定手段と、
前記選定手段により選定された画像と前記第１の入力手段により入力された入力画像とに対して差分処理を行なう差分処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記環境条件特定情報は、撮像時刻、撮像位置、又は撮像時の天気情報を含んでいることを特徴する請求項１記載の画像処理装置。
【請求項３】
前記選定手段は、
前記第２の入力手段により入力された環境条件特定情報と前記記憶手段に記憶された環境条件特定情報との類似度を算出する算出手段を備え、
前記算出手段により算出された類似度に基づいて画像を前記記憶手段から選定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記算出手段は、前記環境条件特定情報の各要素を一次元配列にすることで類似度を算出し、前記入力画像に対応する前記環境条件特定情報の要素の中に特定できる要素がある場合には、前記特定できる要素に基づいて類似度の中間値を算出しておくことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記算出手段は、前記環境条件特定情報の各要素のばらつき量を計測し、前記ばらつき量に基づいて各要素を正規化してから前記類似度を算出することを特徴とする請求項３記載の画像処理装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【公開番号】特開２００９−２２４９０２（Ｐ２００９−２２４９０２Ａ）
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願番号】特願２００８−６４８１３（Ｐ２００８−６４８１３）
【出願日】平成２０年３月１３日（２００８．３．１３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願日】平成２０年３月１３日（２００８．３．１３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]