画像処理装置、方法、プログラム、および撮像システム
【課題】外乱の影響を極力受けることなく撮像対象物を撮像することをできるようにする。
【解決手段】外乱判断処理部１２０が、処理後画像における比較対象範囲の画素データの値と、カメラ２１０から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理部１３０が、入力画像における比較対象範囲の画素データの値と、処理後画像における比較対象範囲の画素データの値とに対して、外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【解決手段】外乱判断処理部１２０が、処理後画像における比較対象範囲の画素データの値と、カメラ２１０から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理部１３０が、入力画像における比較対象範囲の画素データの値と、処理後画像における比較対象範囲の画素データの値とに対して、外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、プログラム、および撮像システムに関し、特に撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置、方法、プログラム、および撮像システムに関する。
【背景技術】
【０００２】
従来からカメラによる撮像対象物を撮像することが行われていた。
しかし、カメラと撮像対象物との間に障害物があるときには撮像できないので、画像処理によって障害物に関する情報をノイズであるとして除去することが検討されていた。
【０００３】
図２２は、従来のカメラを用いた撮像対象物を撮像するためのシステム構成例である。
図２２に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送する。これにより、たとえば遠隔地にカメラ２００を設置しておき、離れた場所からカメラ２００が設置されているところからの映像を見ることができる。一方で、カメラ２００が設置されている場所で、カメラ２００と撮像対象物（たとえば火山の監視カメラである場合には、火山とその周辺部分）との間に障害物があるときは、その障害物も一緒に映りこんでしまう。
【０００４】
図２３は、カメラと撮像対象物との間に障害物があるときの撮像画像を示す図である。
図２３（Ａ）は、撮像対象物のみを写した状態を示しており、図２３（Ｂ）は、撮像対象物に加えて障害物も写した状態を示す図である。
【０００５】
図２３に示すように、降雪時などのように、カメラと撮像対象物との間に障害物があるときは、その間にある障害物によって撮像対象物が見えにくくなることがある。また、最悪の場合には撮像対象物を撮像することができなくなってしまう。
【０００６】
そこで、撮像画像に対して平滑化処理を行うことによりノイズを除去する画像処理装置が提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−１３６９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、平滑化処理によるとノイズが画像の大半をしめているときにはノイズデータ側に寄るように平滑化処理が行われてしまい、ノイズが大部分になるような撮像画像のときには撮像対象物を撮像できなくなってしまうという問題がある。
【０００９】
図２４は、障害物が写っている画像を平滑化処理したときの様子を示す図である。
図２４（Ａ）は、平滑化処理前の画像例であり、図２４（Ｂ）は、平滑化処理をし始めた状態の画像例であり、図２４（Ｃ）は、平滑化処理が進んだ状態を示す画像例である。
【００１０】
図２４に示すように、障害物が写った画像を平滑化処理しても障害物を除いた撮像対象物のみが写った画像を得ることはできない。
【００１１】
図２５は、外乱が少ないときに平滑化処理をしたときの様子を示す図であり、図２６は、外乱が多いときに平滑化処理をしたときの様子を示す図である。
図２５（Ａ）は、外乱が少ないときの平滑化処理前の画像例であり、図２５（Ｂ）は、外乱が少ないときの平滑化処理後の画像例である。また、図２６（Ａ）は、外乱が多いときの平滑化処理前の画像例であり、図２６（Ｂ）は、外乱が多いときの平滑化処理後の画像例である。
【００１２】
図２５および図２６に示すように、平滑化処理は、画像中の小さなノイズを除去する際には有効なノイズ除去手段となり得るが、障害物（たとえば降雪時に撮像したときの雪）などのように画像全体の大きさに対して障害物１つの相対的な大きさが大きいときは、その雪が写っている領域周辺は、ノイズと判断すべき障害物の画像データの値に近づくように平滑化されてしまうので、外乱の多い少ないに関係なく平滑化処理によっては障害物をノイズと判断して除去することができなかった。
【００１３】
そこで、平滑化処理ではなく、カメラなどの撮像手段から逐一入力される入力画像を、一定の係数によって重み付けし、もしくは一定フレームずつ間引きをして蓄積された画像データに加算していくことによって追従させていくことが考えられる。
【００１４】
図２７は、入力画像を蓄積された画像に追従させていく追従処理の様子を示す図である。
図２７（Ａ）は、追従処理前の画像を示す画像例であり、図２７（Ｂ）は、追従処理をし始めたときの画像例であり、図２７（Ｃ）は、追従処理が進んだときの画像例である。
【００１５】
外乱が多いときは図２７に示すように、撮像対象物がぼけて写ってしまう。具体的には、外乱が雪であるとしたとき、雪が大量に降っているときには、外乱である雪が写っている画素データも一律に一定の係数によって重み付けをし、もしくは一定フレームおきに画素データを加算してしまうので、外乱が写っている画素の画素データが一定割合で加算され続けてしまい、常に一定割合の外乱による画素データの値の影響を受け続けてしまう。
【００１６】
図２８は、外乱が少ないときに追従処理をしたときの様子を示す図である。
図２８（Ａ）は、追従処理前の入力画像を示す画像例であり、図２８（Ｂ）は、追従処理前の初期画像を示す画像例であり、図２８（Ｃ）は、追従処理をし始めたときの画像例であり、図２８（Ｄ）は、追従処理が進んだときの画像例である。
【００１７】
図２８においては、外乱が雪である場合を示している。外乱が雪であるときは、雪は白く写ることから、初期画像を白（輝度を最大）にする。外乱である雪は、光の反射によって白く映ることから、背景より輝度が高いことが多い。したがって、格納されている処理後画像と比較して輝度が高い部分を外乱による部分である疑いが高いと判断することができる。したがって、初期値を最大輝度にしておくことにより、入力画像の画素データの影響を受けて徐々に絵作りがされることになる。
【００１８】
図２９は、外乱が多いときに追従処理をしたときの様子を示す図である。
図２９（Ａ）は、追従処理前の入力画像を示す画像例であり、図２９（Ｂ）は、追従処理前の初期画像を示す画像例であり、図２９（Ｃ）は、追従処理をし始めたときの画像例であり、図２９（Ｄ）は、追従処理が進んだときの画像例である。
【００１９】
図２８と同様に図２９の外乱も雪である場合を示している。外乱が多いとき、つまり雪が大量に降っているときには、画像データにおける一定の点（たとえば、一画素から抽出される画素データ）に着目すると、雪が写っていることによる画素データが多く抽出される。
【００２０】
したがって、一定割合でその画素データを加算していくと、多くの雪による画素データを加算してしまう。つまり、外乱が雪であるときは雪が白く写ることから、全画素分の画素データを合わせて絵作りすると画像全体が雪による画素データの影響を受けて、画像全体が白っぽくなってしまうという問題がある。
【００２１】
図２９においては、雪が大量に降っているときを外乱が多いときとして、撮像対象の背景は明るさなどの撮像環境が変わらない理想環境を例に説明したが、実際に撮像背景を撮像するときは、撮像背景自体や、撮像環境自体が大きく変化する。
【００２２】
具体的には、外乱が多く発生すると考えられる屋外の監視対象物を撮像する監視カメラに適用するときは、日の傾きや雲の切れ間から日が出たり入ったりするなど背景自体や、撮像環境が大きく変化する。このようなときは、外乱が多いときと同様になる。
【００２３】
本発明はこのような点に鑑みてなされたものであり、外乱の影響を極力受けることなく撮像対象物を撮像することを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明では上記問題を解決するために、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置において、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段とを備えることを特徴とする画像処理装置が提供される。
【００２５】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【００２６】
また、本発明では、撮像手段が撮像した撮像画像を伝送する伝送装置を用いて伝送し、前記撮像手段の設置地点から離隔した場所で前記撮像画像を表示する撮像システムにおいて、前記撮像画像を構成する画素データを処理することによる画像処理後の処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段とを備える画像処理装置を備えることを特徴とする撮像システムが提供される。
【００２７】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【００２８】
また、本発明では、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理方法において、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断するステップと、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行うステップとを有することを特徴とする画像処理方法が提供される。
【００２９】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【００３０】
また、本発明では、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理プログラムにおいて、コンピュータを、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段、として機能させることを特徴とする画像処理プログラムが提供される。
【００３１】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【発明の効果】
【００３２】
本発明の画像処理装置、方法、プログラム、および撮像システムによれば、外乱判断手段が、入力画像における比較対象範囲の画素データが外乱を撮像した結果の画素データであるかを判断し、画像処理手段が、外乱判断手段がした判断に応じた重み付けを入力画像および処理後画像の画素データにし、その画素データを加算して新たな処理後画像を生成するので、外乱と判断されたデータはほとんど反映させず、外乱と判断されなかった、つまり撮像対象物を撮像したと判断されたデータを多く反映させて新たな処理後画像を生成することができる。したがって、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本実施の形態に係る画像処理装置のブロック図である。
【図２】本実施の形態に係る画像処理装置を適用した第１のシステム構成例である。
【図３】本実施の形態に係る画像処理装置を適用した第２のシステム構成例である。
【図４】本実施の形態に係る画像処理装置を適用した第３のシステム構成例である。
【図５】本実施の形態に係る画像処理装置を適用した第４のシステム構成例である。
【図６】外乱判断処理部の処理機能の一例を示すブロック図である。
【図７】外乱判断処理部の処理機能の一例を示すブロック図である。
【図８】外乱判断処理部の処理機能の一例を示すブロック図である。
【図９】画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。
【図１０】画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。
【図１１】画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。
【図１２】画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。
【図１３】外乱の輝度が高いときの追従係数についての表を示す図である。
【図１４】本実施の形態の画像処理装置によって画像処理したときの様子を示す図である。
【図１５】本実施の形態の画像処理装置で、外乱が少ないときに画像処理をしたときの様子を示す図である。
【図１６】本実施の形態の画像処理装置で、外乱が多いときに画像処理をしたときの様子を示す図である。
【図１７】本実施の形態に係る画像処理装置のブロック図である。
【図１８】誤差計測部の誤差計測処理にかかるブロック図である。
【図１９】画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。
【図２０】画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。
【図２１】画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。
【図２２】従来のカメラを用いた撮像対象物を撮像するためのシステム構成例である。
【図２３】カメラと撮像対象物との間に障害物があるときの撮像画像を示す図である。
【図２４】障害物が写っている画像を平滑化処理したときの様子を示す図である。
【図２５】外乱が少ないときに平滑化処理をしたときの様子を示す図である。
【図２６】外乱が多いときに平滑化処理をしたときの様子を示す図である。
【図２７】入力画像を蓄積された画像に追従させていく追従処理の様子を示す図である。
【図２８】外乱が少ないときに追従処理をしたときの様子を示す図である。
【図２９】外乱が多いときに追従処理をしたときの様子を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本実施の形態に係る画像処理装置のブロック図である。
図１に示すように、画像処理装置１００には、カメラ２１０と、操作部２２０、および表示部２３０が取り付けられており、画像処理装置１００は、入力画像メモリ１１０、外乱判断処理部１２０、画像処理部１３０、処理後画像メモリ１４０、および追従係数メモリ１５０を備えている。
【００３５】
入力画像メモリ１１０は、カメラ２００が撮像した撮像画像が入力されると、その入力画像を蓄積する。
【００３６】
外乱判断処理部１２０は、入力画像メモリ１１０から入力画像を読み出すとともに処理後画像メモリ１４０から処理後画像を読み出す。そして、入力画像の比較対象範囲と、処理後画像における比較対象範囲に対応する部分のそれぞれの画素データの値を比較する。たとえば、比較対象範囲を１画素ごととしたときは、各画像の同一座標の画素データの値同士を比較する。その比較した値が一定以上の乖離があったときはその画素データは外乱を写したことによる画素データであると判断する。この外乱判断を、画像を構成する全画素データについて行う。なお、処理後画像については後述する。
【００３７】
画像処理部１３０は、外乱判断処理部１２０が判断に応じて、追従係数メモリ１５０から追従係数を読み出して、入力画像の比較対象範囲の画素データ、および処理後画像の比較対象範囲の画素データに対して追従係数を用いた重み付けを行い、その重み付けをした画素データを加算する画像処理を行う。この画像処理は、画像を構成する全画素データについて行う。つまり、全画素データについて画像処理が行われたものを合算（絵作り）することにより新たな処理後画像とすることができる。この新たな処理後画像を処理後画像メモリ１４０に格納する。なお、追従係数メモリ１５０に格納されている追従係数は、たとえばキーボードなどの操作部２２０から入力されて格納されている。
【００３８】
表示部２３０は、処理後画像メモリ１４０に格納されている処理後画像を読み出して表示する。これにより処理された、つまり外乱が除去された撮像対象物を写した画像を見ることができる。
【００３９】
図２は、本実施の形態に係る画像処理装置を適用した第１のシステム構成例である。
図２に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送するときは、伝送受信装置２４２と表示部２３０との間に画像処理装置１００を設置することができる。つまり、伝送されてきた処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、安価なカメラで外乱を除去した画像を見ることができるし、既存のシステムへの適用も容易である。
【００４０】
図３は、本実施の形態に係る画像処理装置を適用した第２のシステム構成例である。
図３に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送するときは、カメラ２００と伝送送信装置２４１との間に画像処理装置１００を設置することもできる。つまり、カメラ２００が撮像した処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を伝送送信装置２４１および伝送受信装置２４２により伝送することができるので、外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、外乱を除去した画像を伝送できる。つまり、伝送量を低減することができる。
【００４１】
図４は、本実施の形態に係る画像処理装置を適用した第３のシステム構成例である。
図４に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送する系統が複数あり、セレクタ２５０によって系統を切り替えて表示するシステムのときは、セレクタ２５０と表示部２３０との間に画像処理装置１００を設置することができる。つまり、セレクタ２５０によって選択された系統から伝送されてきた処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、複数の伝送システムに対して１つの画像処理装置を用いて外乱を除去した画像を見ることができる。
【００４２】
図５は、本実施の形態に係る画像処理装置を適用した第４のシステム構成例である。
図５に示すように、伝送送信装置２４１と伝送受信装置２４２を用いて伝送したカメラ２００が撮像した画像をレコーダ２６０に記録して、その記録した画像を表示するときは、レコーダ２６０と表示部２３０との間に画像処理装置１００を設置することができる。つまり、レコーダ２６０に記録された処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。なお、レコーダ２６０よりも上流に画像処理装置１００を設置することにより、処理後画像がレコーダ２６０に記録されるようにしてもよいのはいうまでもない。このように、カメラからのリアルタイム映像に限らず、レコーダに記録されている映像から外乱を除去した画像を見ることができるのも当然である。
【００４３】
図６は、外乱判断処理部の処理機能の一例を示すブロック図である。
図６に示すように、外乱判断処理部１２０は、差分算出部１２１と大小比較部１２２とを備えている。差分算出部１２１は、入力画像の比較対象範囲の画素データの値と、処理後画像の比較対象範囲の画素データの値の差分の絶対値を算出する。
【００４４】
大小比較部１２２は、差分算出部１２１した差分値があらかじめ設定された判定基準になる値より大きいか否かを判断し、差分値が大きいときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部１３０にその結果を出力する。
【００４５】
図７は、外乱判断処理部の処理機能の一例を示すブロック図である。
外乱が雨や雪のように撮像対象物や撮像背景に比べて白く写るものであるときは、より白いものを外乱である疑いが高いと判断すれば足りる。
つまり図７に示すように、外乱判断処理部１２０は、輝度抽出部１２３と大小比較部１２４を備えていればよいことになる。
【００４６】
具体的には、輝度抽出部１２３は、入力画像の比較対象範囲の画素データと、処理後画像の比較対象範囲の画素データとからそれぞれの輝度情報を抽出する。そして、大小比較部１２４は、輝度抽出部１２３が抽出した輝度情報を比較し、入力画像の比較対象範囲の画素データから抽出した輝度が大きいと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部１３０にその結果を出力する。
【００４７】
図８は、外乱判断処理部の処理機能の一例を示すブロック図である。
輝度だけでなく彩度をも判断基準として用いてもよい。
【００４８】
このときは図８に示すように、外乱判断処理部１２０は、輝度抽出部１２３と大小比較部１２４に加えて、彩度抽出部１２５と大小比較部１２６を備え、大小比較部１２４，１２６に加算器１２７を備えるようにする。
【００４９】
彩度抽出部１２５は、入力画像の比較対象範囲の画素データと、処理後画像の比較対象範囲の画素データとからそれぞれの彩度情報を抽出する。そして、大小比較部１２６は、彩度抽出部１２５が抽出した彩度情報を比較し、処理後画像の比較対象範囲の画素データから抽出した彩度の方が大きいと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、加算器１２７にその結果を出力する。加算器１２７は、大小比較部１２４，１２６の双方が外乱による画素データである疑いが高いと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部１３０にその結果を出力する。
【００５０】
図９，１０は、画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。以下、図９，１０に示す処理をステップ番号に沿って説明する。
【００５１】
〔ステップＳ１１〕画像処理装置１００は、電源が投入されると、処理後画像メモリ１４０内の処理後画像を初期化する。具体的には、処理後画像メモリ１４０にグレー（中間の階調）の画像を格納する。ランダムノイズの場合には、外乱が黒く映るものなのか、白く映るものなのかがわからないのでグレーの画像を初期画像とする。
【００５２】
また、あらかじめ格納されているメモリなどから読み出すなどして追従係数α１を１．０に設定する。さらに、操作部２２０からの入力信号により追従係数α２を設定する。追従係数α２は外乱の量により１．０≧α２＞０．０の範囲で適宜設定される。そして、外乱か否かの判断基準となる輝度差分の絶対値の差のしきい値ＴＨを１６と設定する。
【００５３】
〔ステップＳ１２〕外乱判断処理部１２０は、カメラ２１０から入力され、入力画像メモリ１１０に格納されている入力画像を読み出す。
【００５４】
〔ステップＳ１３〕外乱判断処理部１２０は、読み出した入力画像の幅と高さを取得して、高さをＨと、幅をＷと設定する。
【００５５】
〔ステップＳ１４〕外乱判断処理部１２０は、高さ方向のループ変数を初期化する。つまり、ループ変数Ｙに０を設定する。
【００５６】
〔ステップＳ１５〕外乱判断処理部１２０は、ループ変数Ｙが画像の高さＨより大きいか否かを判断する。ＹがＨより大きいときは処理をステップＳ１６へ処理を進め、ＹがＨ以下であるときは処理をステップＳ２５へ進める。
【００５７】
〔ステップＳ１６〕外乱判断処理部１２０は、幅方向のループ変数を初期化する。つまり、ループ変数Ｘに０を設定する。
【００５８】
〔ステップＳ１７〕外乱判断処理部１２０は、ループ変数Ｘが画像の幅Ｗより大きいか否かを判断する。ＸがＷより大きいときは処理をステップＳ１８へ処理を進め、ＸがＷ以下であるときは処理をステップＳ２３へ進める。
【００５９】
〔ステップＳ１８〕外乱判断処理部１２０は、入力画像と処理後画像のループ変数Ｘとループ変数Ｙに対応する画素（以下、（Ｘ，Ｙ）画素と表記する。）の値を読み出し、輝度差分の絶対値を算出する。そして、算出した絶対値がしきい値ＴＨより大きいか否かを判断する。しきい値ＴＨより差分絶対値が大きいときは、比較した画素は外乱によるものである疑いが高いと判断し、その旨を画像処理部１３０に出力し、処理をステップＳ１９へ進める。また、しきい値ＴＨが差分絶対値以下であるときは処理をステップＳ２０へ進める。なお、カラー画像であるときは、以下の式１により輝度を算出する。
輝度＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６………………………（式１）
【００６０】
〔ステップＳ１９〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α２を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、以下の式２の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
α２×入力画像の（Ｘ，Ｙ）画素の値＋（１−α２）×処理後画像の（Ｘ，Ｙ）画素の値……………………………………………………………………………………………（式２）
【００６１】
〔ステップＳ２０〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α１を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、以下の式３の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
α１×入力画像の（Ｘ，Ｙ）画素の値＋（１−α１）×処理後画像の（Ｘ，Ｙ）画素の値……………………………………………………………………………………………（式３）
【００６２】
〔ステップＳ２１〕ループ変数Ｘに１加算する。
【００６３】
〔ステップＳ２２〕処理をステップＳ１７へ戻す。
【００６４】
〔ステップＳ２３〕ループ変数Ｙに１加算する。
【００６５】
〔ステップＳ２４〕処理をステップＳ１５へ戻す。
【００６６】
〔ステップＳ２５〕処理をステップＳ１２へ戻す。
【００６７】
図１１，１２は、画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。以下、図１１，１２に示す処理をステップ番号に沿って説明する。
【００６８】
〔ステップＳ３１〕画像処理装置１００は、電源が投入されると、処理後画像メモリ１４０内の処理後画像を初期化する。具体的には、処理後画像メモリ１４０に白の画像を格納する。また、あらかじめ格納されているメモリなどから読み出すなどして追従係数α１を１．０に設定する。さらに、操作部２２０からの入力信号により追従係数α２を設定する。追従係数α２は外乱の量により１．０≧α２＞０．０の範囲で適宜設定される。
【００６９】
〔ステップＳ３２〕外乱判断処理部１２０は、カメラ２１０から入力され、入力画像メモリ１１０に格納されている入力画像を読み出す。
【００７０】
〔ステップＳ３３〕外乱判断処理部１２０は、読み出した入力画像の幅と高さを取得して、高さをＨと、幅をＷと設定する。
【００７１】
〔ステップＳ３４〕外乱判断処理部１２０は、高さ方向のループ変数を初期化する。つまり、ループ変数Ｙに０を設定する。
【００７２】
〔ステップＳ３５〕外乱判断処理部１２０は、ループ変数Ｙが画像の高さＨより大きいか否かを判断する。ＹがＨより大きいときは処理をステップＳ３６へ処理を進め、ＹがＨ以下であるときは処理をステップＳ４５へ進める。
【００７３】
〔ステップＳ３６〕外乱判断処理部１２０は、幅方向のループ変数を初期化する。つまり、ループ変数Ｘに０を設定する。
【００７４】
〔ステップＳ３７〕外乱判断処理部１２０は、ループ変数Ｘが画像の幅Ｗより大きいか否かを判断する。ＸがＷより大きいときは処理をステップＳ３８へ処理を進め、ＸがＷ以下であるときは処理をステップＳ４３へ進める。
【００７５】
〔ステップＳ３８〕外乱判断処理部１２０は、入力画像と処理後画像の（Ｘ，Ｙ）画素の値を読み出し、各画素の輝度と彩度の値を比較する。そして、処理後画像の（Ｘ，Ｙ）画素より入力画像の（Ｘ，Ｙ）画素の輝度が大きく、かつ入力画像の（Ｘ，Ｙ）画素より処理後画像の（Ｘ，Ｙ）画素の彩度が大きいときは、比較した画素は外乱によるものである疑いが高いと判断し、その旨を画像処理部１３０に出力し、処理をステップＳ３９へ進め、それ以外のときは処理をステップＳ４０へ進める。なお、彩度は、以下の式４により算出する。
Ｍ＝ＭＡＸ（Ｒ，Ｇ，Ｂ）
ｍ＝ＭＩＮ（Ｒ，Ｇ，Ｂ）
彩度＝Ｍ−ｍ／Ｍ（Ｍ＝ｍ≠０）、０（Ｍ＝ｍ＝０）……………………………（式４）
【００７６】
〔ステップＳ３９〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α２を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、上述の式２の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
【００７７】
〔ステップＳ４０〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α１を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、上述の式３の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
【００７８】
〔ステップＳ４１〕ループ変数Ｘに１加算する。
【００７９】
〔ステップＳ４２〕処理をステップＳ３７へ戻す。
【００８０】
〔ステップＳ４３〕ループ変数Ｙに１加算する。
【００８１】
〔ステップＳ４４〕処理をステップＳ３５へ戻す。
【００８２】
〔ステップＳ４５〕処理をステップＳ３２へ戻す。
【００８３】
図１３は、外乱の輝度が高いときの追従係数についての表を示す図である。
外乱が雪であるとき、つまり輝度が比較的高い場合には、上述の通り輝度が入力画像と処理後画像の輝度の値を比較して大きいものを外乱であると判断すれば足りることが多い。しかし、外乱である雪よりも背景の輝度が高いときは、輝度が入力画像と処理後画像の輝度の値を比較して大きいものを外乱であると判断すると、雪の輝度が処理後画像に多く反映される（つまり、本来の背景輝度より暗く映ってしまう）。
【００８４】
そこで、たとえば雪の輝度が２５６階調で２００であり、背景の輝度が２３０であるとしたときは、輝度値１６０を設定しておき、入力画像が設定値である１６０以上であるときは一律に追従係数α２とするとよい。つまり、ある一定値以上の輝度が入力された場合には外乱の疑いが高いと判断した場合と同様に処理後画像に少なく反映することにより、雪の輝度が処理後画像に多く反映されることを防ぐことが可能となる。
【００８５】
なお、外乱が多いとき（本事案においては降雪量が多いとき）は、追従処理をした後にコントラストの強調処理を追加するとより効果がある。
【００８６】
図１４は、本実施の形態の画像処理装置によって画像処理したときの様子を示す図である。
図１４（Ａ）は、画像処理前の画像例であり、図１４（Ｂ）は、画像処理をし始めた状態の画像例であり、図１４（Ｃ）は、画像処理が進んだ状態を示す画像例である。
【００８７】
図１４に示すように、障害物が写った画像を画像処理装置１００によって画像処理すると、外乱である疑いが高い範囲（画素）については小さな追従係数が乗算され、外乱である疑いが低い範囲（画素）については大きな追従係数が乗算されて、それぞれいままでの処理後画像に加算されることにより、新たな処理後画像とするので、外乱である疑いが高い画素は新たな処理後画像への反映が少なくなるので、結果として得られる新たな処理後画像は外乱の影響がない画像を得ることができる。
【００８８】
図１５は、本実施の形態の画像処理装置で、外乱が少ないときに画像処理をしたときの様子を示す図である。
図１５（Ａ）は、画像処理前の入力画像を示す画像例であり、図１５（Ｂ）は、画像処理前の初期画像を示す画像例であり、図１５（Ｃ）は、画像処理をし始めたときの画像例であり、図１５（Ｄ）は、画像処理が進んだときの画像例である。
【００８９】
図１５においては、外乱が雪である場合を示している。外乱が雪であるときは、雪は白く写ることから、初期画像を白にする。そして、本実施の形態に係る画像処理を行うことにより、外乱を除去した画像を得ることができる。
【００９０】
図１６は、本実施の形態の画像処理装置で、外乱が多いときに画像処理をしたときの様子を示す図である。
図１６（Ａ）は、画像処理前の入力画像を示す画像例であり、図１６（Ｂ）は、画像処理前の初期画像を示す画像例であり、図１６（Ｃ）は、画像処理をし始めたときの画像例であり、図１６（Ｄ）は、画像処理が進んだときの画像例である。
【００９１】
図１５と同様に図１６の外乱も雪である場合を示している。外乱が多いとき、つまり雪が大量に降っているときには、画像データにおける一定の点（たとえば、一画素から抽出される画素データ）に着目すると、雪が写っていることによる画素データが多く抽出される。
【００９２】
しかし、画像処理装置１００における外乱判断処理部１２０によって、画素データが外乱による画素データの疑いが高いか否かを判断しているので、画像全体を追従処理しているときとは異なり、外乱の影響がない画像を得ることができる。
【００９３】
以上の処理を行うことにより、入力画像における比較対象範囲の画素データが外乱を撮像した結果の画素データであるかを判断し、外乱判断処理の判断に応じた重み付けを入力画像および処理後画像の画素データにし、その画素データを加算して新たな処理後画像を生成するので、外乱と判断されたデータはほとんど反映させず、外乱と判断されなかった、つまり撮像対象物を撮像したと判断されたデータを多く反映させて新たな処理後画像を生成することができる。したがって、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。
【００９４】
なお、本実施の形態においては、画素同士を比較して一定以上の輝度や彩度の差があった場合、もしくは入力画像の画素の方が輝度が高いときは、その画素が外乱であると判断したが、カメラをパン・チルトしたときには当然に多くの画素で一定範囲以上の輝度や彩度の差が生まれる。
【００９５】
このときは、たとえば全画素数のうち８０％の画素において２５６階調のときに１６階調分以上の差が生じたと判断したときは、カメラの撮影方向が変わったと判断して、処理後画像メモリに格納されている処理後画像を破棄して入力画像をそのまま新たな処理後画像とすることもできる。
【００９６】
これによると、背景に動きがある場合はもちろんのこと、カメラを動かしたときもリアルタイムに画像を追従させることが可能であり、かつその入れ替えた画像から再度外乱除去処理が行われるので、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。
【００９７】
また、本実施の形態においては、画素データが外乱による画素データの疑いが高いか否かを判断したときの追従係数α２は操作部２２０から適宜設定する旨を説明したが、追従係数α２がどの程度が適当であるかを判断する処理部を加えてもよい。
【００９８】
以下、第２の実施の形態として、追従係数α２がどの程度が適当であるかを判断する処理部を加えた例を示す。
【００９９】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像処理装置は、追従係数を更新する追従係数更新処理部を備えることが異なる以外は、第１の実施の形態で示した構成と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。
【０１００】
図１７は、本実施の形態に係る画像処理装置のブロック図である。
図１７に示すように、画像処理装置２１００には、カメラ２１０と、操作部２２０、および表示部２３０が取り付けられており、画像処理装置２１００は、入力画像メモリ１１０、外乱判断処理部１２０、画像処理部１３０、処理後画像メモリ１４０、画質基準設定メモリ２１５０、誤差計測部２１６０、および追従係数更新処理部２１７０を備えている。
【０１０１】
入力画像メモリ１１０は、カメラ２００が撮像した撮像画像が入力されると、その入力画像を蓄積する。
【０１０２】
外乱判断処理部１２０は、入力画像メモリ１１０から入力画像を読み出すとともに処理後画像メモリ１４０から処理後画像を読み出す。そして、入力画像の比較対象範囲と、処理後画像における比較対象範囲に対応する部分のそれぞれの画素データの値を比較する。その比較した値が一定以上の乖離があったときはその画素データは外乱を写したことによる画素データであると判断する。この外乱判断を、画像を構成する全画素データについて行う。
【０１０３】
画像処理部１３０は、外乱判断処理部１２０が判断に応じて、追従係数更新処理部２１７０から追従係数を読み出して、その追従係数に合わせた重み付けを、入力画像の比較対象範囲の画素データ、および処理後画像の比較対象範囲の画素データに対して行い、その重み付けをした画素データを加算する画像処理を行い、この画像処理を、画像を構成する全画素データについて行う。つまり、全画素データについて画像処理が行われたものを合算（絵作り）することにより新たな処理後画像とすることができる。この新たな処理後画像を処理後画像メモリ１４０に格納する。
【０１０４】
表示部２３０は、処理後画像メモリ１４０に格納されている処理後画像を読み出して表示する。これにより処理された、つまり外乱が除去された撮像対象物を写した画像を見ることができる。
【０１０５】
誤差計測部２１６０は、画像処理部１３０が処理した処理後画像と、処理後画像メモリ１４０に格納されている、画像処理部１３０が処理した処理後画像の１フレーム前の処理後画像とを読み出して誤差計測を行う。
【０１０６】
具体的には、各画像のあらかじめ設定された所定範囲の画素データの値の差分が一定のしきい値を超えているか否かによって判断する。この所定範囲は、撮像画像の中でも背景の動きが少ない部分が採用される。つまり、その範囲で輝度の変化が激しいときは外乱が多いことを意味する。
【０１０７】
誤差計測部２１６０が、所定範囲の中で画素データの値の差分が一定のしきい値を超えている画素数を計数し、その画素数を追従係数更新処理部２１７０に出力する。所定範囲の中で画素データの値の差分の判断しきい値は、操作部２２０から適宜設定され、画質基準設定メモリ２１５０に格納されている。
【０１０８】
追従係数更新処理部２１７０は、操作部２２０から適宜設定され、画質基準設定メモリ２１５０に格納されている誤差の割合の基準値を超えているときは、外乱が多いと判断して追従係数を一段階引き下げ、誤差の割合の基準値を超えていないときは外乱が少ないと判断して追従係数を一段階引き上げる。これにより、外乱が多いときには外乱の影響を受けないように画像処理を行うことが可能となり、外乱が少ないときには外乱の影響を受けないように画像処理を行うことができると同時により早い絵作りが可能となる。
【０１０９】
図１８は、誤差計測部の誤差計測処理にかかるブロック図である。
図１８に示すように、誤差計測部２１６０は、フレームメモリ２１６１、フレーム間差分算出部２１６２、大小比較部２１６３、計数部２１６４、領域判定部２１６５，２１６６、および加算器２１６７を備えている。
【０１１０】
フレームメモリ２１６１は、画像処理部１３０から出力される処理後画像を１フレーム分格納する。
【０１１１】
フレーム間差分算出部２１６２は、画像処理部１３０から出力される処理後画像と、その１フレーム前の処理後画像であって、フレームメモリ２１６１に格納されている画像とのフレーム間差分を算出する。
【０１１２】
大小比較部２１６３は、領域判定部２１６５，２１６６からの出力信号を加算器２１６７に出力され、ループ変数Ｘ，Ｙともに領域内と判定されたときにその（Ｘ，Ｙ）画素の差分値と許容値の大小比較を行う。差分値が許容値を超えているときはその旨を計数部２１６４に出力し、計数部２１６４は、差分値が許容値を超えている画素数を計数し、判定領域内における、差分値が許容値を超えている画素数を追従係数更新処理部２１７０に出力する。
【０１１３】
図１９，２０，２１は、画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。以下、図１９，２０，２１に示す処理をステップ番号に沿って説明する。
【０１１４】
〔ステップＳ５１〕画像処理装置１００は、電源が投入されると、処理後画像メモリ１４０内の処理後画像を初期化する。具体的には、外乱が雪であるときは処理後画像メモリ１４０に白の画像を格納する。また、追従係数α１を１．０に設定し、追従係数α２を０．５に設定する。
【０１１５】
〔ステップＳ５２〕外乱判断処理部１２０は、カメラ２１０から入力され、入力画像メモリ１１０に格納されている入力画像を読み出す。
【０１１６】
〔ステップＳ５３〕外乱判断処理部１２０および画像処理部１３０は、外乱判断処理および画像処理を行う。この外乱判断処理および画像処理は、第１の実施の形態の図９，１０で説明したものと同じ処理を行う。
【０１１７】
〔ステップＳ５４〕誤差計測部２１６０は、誤差計測を行う処理後画像中の範囲である誤差計測範囲の終点座標（Ｘ＿ＥＮＤ，Ｙ＿ＥＮＤ）を設定し、カウンタ（計数部２１６４）をリセットする。
【０１１８】
〔ステップＳ５５〕画像の高さ方向のループ変数Ｙを初期化する。具体的には、誤差計測範囲の始点座標（Ｘ始点，Ｙ始点）の高さ座標である「Ｙ始点」をループ変数Ｙに設定する。
【０１１９】
〔ステップＳ５６〕画像の幅方向のループ変数Ｘを初期化する。具体的には、誤差計測範囲の始点座標（Ｘ始点，Ｙ始点）の幅座標である「Ｘ始点」をループ変数Ｘに設定する。
【０１２０】
〔ステップＳ５７〕Ｙ＿ＥＮＤがループ変数Ｙより大きいか否かを判断する。Ｙ＿ＥＮＤがループ変数Ｙより大きいときは処理をステップＳ５８へ進め、Ｙ＿ＥＮＤがループ変数Ｙ以下のときは処理をステップＳ６６へ進める。
【０１２１】
〔ステップＳ５８〕Ｘ＿ＥＮＤがループ変数Ｘより大きいか否かを判断する。Ｘ＿ＥＮＤがループ変数Ｘより大きいときは処理をステップＳ５９へ進め、Ｘ＿ＥＮＤがループ変数Ｘ以下のときは処理をステップＳ６４へ進める。
【０１２２】
〔ステップＳ５９〕処理後画像と、フレームメモリ２１６１に格納されている１フレーム前の処理後画像とにおける（Ｘ，Ｙ）画素の輝度の差分の絶対値を算出し、その差分絶対値があらかじめ設定された許容値より大きいか否かを判断する。差分絶対値が許容値より大きいときは処理をステップＳ６０へ進め、差分絶対値が許容値以下のときは処理をステップＳ６１へ進める。
【０１２３】
〔ステップＳ６０〕カウンタを１加算する。
【０１２４】
〔ステップＳ６１〕差分絶対値が許容値より大きいか否か判断した処理後画像の画素データをフレームメモリ２１６１に格納する。
【０１２５】
〔ステップＳ６２〕ループ変数Ｘを１加算する。
【０１２６】
〔ステップＳ６３〕処理をステップＳ５８へ戻す。
【０１２７】
〔ステップＳ６４〕ループ変数Ｙを１加算する。
【０１２８】
〔ステップＳ６５〕処理をステップＳ５６へ戻す。
【０１２９】
〔ステップＳ６６〕あらかじめ設定された誤差割合の基準値が、計数部２１６４のカウンタの値より大きいか否かを判断する。基準値がカウンタ値より大きい場合は処理をステップＳ６７へ進め、基準値がカウンタ値以下のときは処理をステップＳ６８へ進める。
【０１３０】
〔ステップＳ６７〕追従係数更新処理部２１７０は、追従係数α２を一段階引き上げる。
【０１３１】
〔ステップＳ６８〕追従係数更新処理部２１７０は、追従係数α２を一段階引き下げる。
【０１３２】
〔ステップＳ６９〕処理をステップＳ５２へ戻す。
【０１３３】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述した画像処理プログラムが提供される。その画像処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した画像処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto
Optical disk）などがある。
【０１３４】
画像処理プログラムを流通させる場合には、たとえば、その画像処理プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその画像処理プログラムを転送することもできる。
【０１３５】
画像処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された画像処理プログラムもしくはサーバコンピュータから転送された画像処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から画像処理プログラムを読み取り、画像処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接画像処理プログラムを読み取り、その画像処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから画像処理プログラムが転送される毎に、逐次、受け取った画像処理プログラムに従った処理を実行することもできる。
【０１３６】
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
【０１３７】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【０１３８】
１００ 画像処理装置
１１０ 入力画像メモリ
１２０ 外乱判断処理部
１３０ 画像処理部
１４０ 処理後画像メモリ
１５０ 追従係数メモリ
２１０ カメラ
２２０ 操作部
２３０ 表示部
【技術分野】
【０００１】
本発明は、画像処理装置、方法、プログラム、および撮像システムに関し、特に撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置、方法、プログラム、および撮像システムに関する。
【背景技術】
【０００２】
従来からカメラによる撮像対象物を撮像することが行われていた。
しかし、カメラと撮像対象物との間に障害物があるときには撮像できないので、画像処理によって障害物に関する情報をノイズであるとして除去することが検討されていた。
【０００３】
図２２は、従来のカメラを用いた撮像対象物を撮像するためのシステム構成例である。
図２２に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送する。これにより、たとえば遠隔地にカメラ２００を設置しておき、離れた場所からカメラ２００が設置されているところからの映像を見ることができる。一方で、カメラ２００が設置されている場所で、カメラ２００と撮像対象物（たとえば火山の監視カメラである場合には、火山とその周辺部分）との間に障害物があるときは、その障害物も一緒に映りこんでしまう。
【０００４】
図２３は、カメラと撮像対象物との間に障害物があるときの撮像画像を示す図である。
図２３（Ａ）は、撮像対象物のみを写した状態を示しており、図２３（Ｂ）は、撮像対象物に加えて障害物も写した状態を示す図である。
【０００５】
図２３に示すように、降雪時などのように、カメラと撮像対象物との間に障害物があるときは、その間にある障害物によって撮像対象物が見えにくくなることがある。また、最悪の場合には撮像対象物を撮像することができなくなってしまう。
【０００６】
そこで、撮像画像に対して平滑化処理を行うことによりノイズを除去する画像処理装置が提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−１３６９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、平滑化処理によるとノイズが画像の大半をしめているときにはノイズデータ側に寄るように平滑化処理が行われてしまい、ノイズが大部分になるような撮像画像のときには撮像対象物を撮像できなくなってしまうという問題がある。
【０００９】
図２４は、障害物が写っている画像を平滑化処理したときの様子を示す図である。
図２４（Ａ）は、平滑化処理前の画像例であり、図２４（Ｂ）は、平滑化処理をし始めた状態の画像例であり、図２４（Ｃ）は、平滑化処理が進んだ状態を示す画像例である。
【００１０】
図２４に示すように、障害物が写った画像を平滑化処理しても障害物を除いた撮像対象物のみが写った画像を得ることはできない。
【００１１】
図２５は、外乱が少ないときに平滑化処理をしたときの様子を示す図であり、図２６は、外乱が多いときに平滑化処理をしたときの様子を示す図である。
図２５（Ａ）は、外乱が少ないときの平滑化処理前の画像例であり、図２５（Ｂ）は、外乱が少ないときの平滑化処理後の画像例である。また、図２６（Ａ）は、外乱が多いときの平滑化処理前の画像例であり、図２６（Ｂ）は、外乱が多いときの平滑化処理後の画像例である。
【００１２】
図２５および図２６に示すように、平滑化処理は、画像中の小さなノイズを除去する際には有効なノイズ除去手段となり得るが、障害物（たとえば降雪時に撮像したときの雪）などのように画像全体の大きさに対して障害物１つの相対的な大きさが大きいときは、その雪が写っている領域周辺は、ノイズと判断すべき障害物の画像データの値に近づくように平滑化されてしまうので、外乱の多い少ないに関係なく平滑化処理によっては障害物をノイズと判断して除去することができなかった。
【００１３】
そこで、平滑化処理ではなく、カメラなどの撮像手段から逐一入力される入力画像を、一定の係数によって重み付けし、もしくは一定フレームずつ間引きをして蓄積された画像データに加算していくことによって追従させていくことが考えられる。
【００１４】
図２７は、入力画像を蓄積された画像に追従させていく追従処理の様子を示す図である。
図２７（Ａ）は、追従処理前の画像を示す画像例であり、図２７（Ｂ）は、追従処理をし始めたときの画像例であり、図２７（Ｃ）は、追従処理が進んだときの画像例である。
【００１５】
外乱が多いときは図２７に示すように、撮像対象物がぼけて写ってしまう。具体的には、外乱が雪であるとしたとき、雪が大量に降っているときには、外乱である雪が写っている画素データも一律に一定の係数によって重み付けをし、もしくは一定フレームおきに画素データを加算してしまうので、外乱が写っている画素の画素データが一定割合で加算され続けてしまい、常に一定割合の外乱による画素データの値の影響を受け続けてしまう。
【００１６】
図２８は、外乱が少ないときに追従処理をしたときの様子を示す図である。
図２８（Ａ）は、追従処理前の入力画像を示す画像例であり、図２８（Ｂ）は、追従処理前の初期画像を示す画像例であり、図２８（Ｃ）は、追従処理をし始めたときの画像例であり、図２８（Ｄ）は、追従処理が進んだときの画像例である。
【００１７】
図２８においては、外乱が雪である場合を示している。外乱が雪であるときは、雪は白く写ることから、初期画像を白（輝度を最大）にする。外乱である雪は、光の反射によって白く映ることから、背景より輝度が高いことが多い。したがって、格納されている処理後画像と比較して輝度が高い部分を外乱による部分である疑いが高いと判断することができる。したがって、初期値を最大輝度にしておくことにより、入力画像の画素データの影響を受けて徐々に絵作りがされることになる。
【００１８】
図２９は、外乱が多いときに追従処理をしたときの様子を示す図である。
図２９（Ａ）は、追従処理前の入力画像を示す画像例であり、図２９（Ｂ）は、追従処理前の初期画像を示す画像例であり、図２９（Ｃ）は、追従処理をし始めたときの画像例であり、図２９（Ｄ）は、追従処理が進んだときの画像例である。
【００１９】
図２８と同様に図２９の外乱も雪である場合を示している。外乱が多いとき、つまり雪が大量に降っているときには、画像データにおける一定の点（たとえば、一画素から抽出される画素データ）に着目すると、雪が写っていることによる画素データが多く抽出される。
【００２０】
したがって、一定割合でその画素データを加算していくと、多くの雪による画素データを加算してしまう。つまり、外乱が雪であるときは雪が白く写ることから、全画素分の画素データを合わせて絵作りすると画像全体が雪による画素データの影響を受けて、画像全体が白っぽくなってしまうという問題がある。
【００２１】
図２９においては、雪が大量に降っているときを外乱が多いときとして、撮像対象の背景は明るさなどの撮像環境が変わらない理想環境を例に説明したが、実際に撮像背景を撮像するときは、撮像背景自体や、撮像環境自体が大きく変化する。
【００２２】
具体的には、外乱が多く発生すると考えられる屋外の監視対象物を撮像する監視カメラに適用するときは、日の傾きや雲の切れ間から日が出たり入ったりするなど背景自体や、撮像環境が大きく変化する。このようなときは、外乱が多いときと同様になる。
【００２３】
本発明はこのような点に鑑みてなされたものであり、外乱の影響を極力受けることなく撮像対象物を撮像することを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明では上記問題を解決するために、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置において、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段とを備えることを特徴とする画像処理装置が提供される。
【００２５】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【００２６】
また、本発明では、撮像手段が撮像した撮像画像を伝送する伝送装置を用いて伝送し、前記撮像手段の設置地点から離隔した場所で前記撮像画像を表示する撮像システムにおいて、前記撮像画像を構成する画素データを処理することによる画像処理後の処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段とを備える画像処理装置を備えることを特徴とする撮像システムが提供される。
【００２７】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【００２８】
また、本発明では、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理方法において、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断するステップと、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行うステップとを有することを特徴とする画像処理方法が提供される。
【００２９】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【００３０】
また、本発明では、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理プログラムにおいて、コンピュータを、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段、として機能させることを特徴とする画像処理プログラムが提供される。
【００３１】
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。
【発明の効果】
【００３２】
本発明の画像処理装置、方法、プログラム、および撮像システムによれば、外乱判断手段が、入力画像における比較対象範囲の画素データが外乱を撮像した結果の画素データであるかを判断し、画像処理手段が、外乱判断手段がした判断に応じた重み付けを入力画像および処理後画像の画素データにし、その画素データを加算して新たな処理後画像を生成するので、外乱と判断されたデータはほとんど反映させず、外乱と判断されなかった、つまり撮像対象物を撮像したと判断されたデータを多く反映させて新たな処理後画像を生成することができる。したがって、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本実施の形態に係る画像処理装置のブロック図である。
【図２】本実施の形態に係る画像処理装置を適用した第１のシステム構成例である。
【図３】本実施の形態に係る画像処理装置を適用した第２のシステム構成例である。
【図４】本実施の形態に係る画像処理装置を適用した第３のシステム構成例である。
【図５】本実施の形態に係る画像処理装置を適用した第４のシステム構成例である。
【図６】外乱判断処理部の処理機能の一例を示すブロック図である。
【図７】外乱判断処理部の処理機能の一例を示すブロック図である。
【図８】外乱判断処理部の処理機能の一例を示すブロック図である。
【図９】画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。
【図１０】画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。
【図１１】画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。
【図１２】画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。
【図１３】外乱の輝度が高いときの追従係数についての表を示す図である。
【図１４】本実施の形態の画像処理装置によって画像処理したときの様子を示す図である。
【図１５】本実施の形態の画像処理装置で、外乱が少ないときに画像処理をしたときの様子を示す図である。
【図１６】本実施の形態の画像処理装置で、外乱が多いときに画像処理をしたときの様子を示す図である。
【図１７】本実施の形態に係る画像処理装置のブロック図である。
【図１８】誤差計測部の誤差計測処理にかかるブロック図である。
【図１９】画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。
【図２０】画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。
【図２１】画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。
【図２２】従来のカメラを用いた撮像対象物を撮像するためのシステム構成例である。
【図２３】カメラと撮像対象物との間に障害物があるときの撮像画像を示す図である。
【図２４】障害物が写っている画像を平滑化処理したときの様子を示す図である。
【図２５】外乱が少ないときに平滑化処理をしたときの様子を示す図である。
【図２６】外乱が多いときに平滑化処理をしたときの様子を示す図である。
【図２７】入力画像を蓄積された画像に追従させていく追従処理の様子を示す図である。
【図２８】外乱が少ないときに追従処理をしたときの様子を示す図である。
【図２９】外乱が多いときに追従処理をしたときの様子を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本実施の形態に係る画像処理装置のブロック図である。
図１に示すように、画像処理装置１００には、カメラ２１０と、操作部２２０、および表示部２３０が取り付けられており、画像処理装置１００は、入力画像メモリ１１０、外乱判断処理部１２０、画像処理部１３０、処理後画像メモリ１４０、および追従係数メモリ１５０を備えている。
【００３５】
入力画像メモリ１１０は、カメラ２００が撮像した撮像画像が入力されると、その入力画像を蓄積する。
【００３６】
外乱判断処理部１２０は、入力画像メモリ１１０から入力画像を読み出すとともに処理後画像メモリ１４０から処理後画像を読み出す。そして、入力画像の比較対象範囲と、処理後画像における比較対象範囲に対応する部分のそれぞれの画素データの値を比較する。たとえば、比較対象範囲を１画素ごととしたときは、各画像の同一座標の画素データの値同士を比較する。その比較した値が一定以上の乖離があったときはその画素データは外乱を写したことによる画素データであると判断する。この外乱判断を、画像を構成する全画素データについて行う。なお、処理後画像については後述する。
【００３７】
画像処理部１３０は、外乱判断処理部１２０が判断に応じて、追従係数メモリ１５０から追従係数を読み出して、入力画像の比較対象範囲の画素データ、および処理後画像の比較対象範囲の画素データに対して追従係数を用いた重み付けを行い、その重み付けをした画素データを加算する画像処理を行う。この画像処理は、画像を構成する全画素データについて行う。つまり、全画素データについて画像処理が行われたものを合算（絵作り）することにより新たな処理後画像とすることができる。この新たな処理後画像を処理後画像メモリ１４０に格納する。なお、追従係数メモリ１５０に格納されている追従係数は、たとえばキーボードなどの操作部２２０から入力されて格納されている。
【００３８】
表示部２３０は、処理後画像メモリ１４０に格納されている処理後画像を読み出して表示する。これにより処理された、つまり外乱が除去された撮像対象物を写した画像を見ることができる。
【００３９】
図２は、本実施の形態に係る画像処理装置を適用した第１のシステム構成例である。
図２に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送するときは、伝送受信装置２４２と表示部２３０との間に画像処理装置１００を設置することができる。つまり、伝送されてきた処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、安価なカメラで外乱を除去した画像を見ることができるし、既存のシステムへの適用も容易である。
【００４０】
図３は、本実施の形態に係る画像処理装置を適用した第２のシステム構成例である。
図３に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送するときは、カメラ２００と伝送送信装置２４１との間に画像処理装置１００を設置することもできる。つまり、カメラ２００が撮像した処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を伝送送信装置２４１および伝送受信装置２４２により伝送することができるので、外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、外乱を除去した画像を伝送できる。つまり、伝送量を低減することができる。
【００４１】
図４は、本実施の形態に係る画像処理装置を適用した第３のシステム構成例である。
図４に示すように、伝送送信装置２４１と伝送受信装置２４２を用いてカメラ２００が撮像した画像を伝送する系統が複数あり、セレクタ２５０によって系統を切り替えて表示するシステムのときは、セレクタ２５０と表示部２３０との間に画像処理装置１００を設置することができる。つまり、セレクタ２５０によって選択された系統から伝送されてきた処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、複数の伝送システムに対して１つの画像処理装置を用いて外乱を除去した画像を見ることができる。
【００４２】
図５は、本実施の形態に係る画像処理装置を適用した第４のシステム構成例である。
図５に示すように、伝送送信装置２４１と伝送受信装置２４２を用いて伝送したカメラ２００が撮像した画像をレコーダ２６０に記録して、その記録した画像を表示するときは、レコーダ２６０と表示部２３０との間に画像処理装置１００を設置することができる。つまり、レコーダ２６０に記録された処理前の画像（入力画像）に対して画像処理装置１００が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。なお、レコーダ２６０よりも上流に画像処理装置１００を設置することにより、処理後画像がレコーダ２６０に記録されるようにしてもよいのはいうまでもない。このように、カメラからのリアルタイム映像に限らず、レコーダに記録されている映像から外乱を除去した画像を見ることができるのも当然である。
【００４３】
図６は、外乱判断処理部の処理機能の一例を示すブロック図である。
図６に示すように、外乱判断処理部１２０は、差分算出部１２１と大小比較部１２２とを備えている。差分算出部１２１は、入力画像の比較対象範囲の画素データの値と、処理後画像の比較対象範囲の画素データの値の差分の絶対値を算出する。
【００４４】
大小比較部１２２は、差分算出部１２１した差分値があらかじめ設定された判定基準になる値より大きいか否かを判断し、差分値が大きいときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部１３０にその結果を出力する。
【００４５】
図７は、外乱判断処理部の処理機能の一例を示すブロック図である。
外乱が雨や雪のように撮像対象物や撮像背景に比べて白く写るものであるときは、より白いものを外乱である疑いが高いと判断すれば足りる。
つまり図７に示すように、外乱判断処理部１２０は、輝度抽出部１２３と大小比較部１２４を備えていればよいことになる。
【００４６】
具体的には、輝度抽出部１２３は、入力画像の比較対象範囲の画素データと、処理後画像の比較対象範囲の画素データとからそれぞれの輝度情報を抽出する。そして、大小比較部１２４は、輝度抽出部１２３が抽出した輝度情報を比較し、入力画像の比較対象範囲の画素データから抽出した輝度が大きいと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部１３０にその結果を出力する。
【００４７】
図８は、外乱判断処理部の処理機能の一例を示すブロック図である。
輝度だけでなく彩度をも判断基準として用いてもよい。
【００４８】
このときは図８に示すように、外乱判断処理部１２０は、輝度抽出部１２３と大小比較部１２４に加えて、彩度抽出部１２５と大小比較部１２６を備え、大小比較部１２４，１２６に加算器１２７を備えるようにする。
【００４９】
彩度抽出部１２５は、入力画像の比較対象範囲の画素データと、処理後画像の比較対象範囲の画素データとからそれぞれの彩度情報を抽出する。そして、大小比較部１２６は、彩度抽出部１２５が抽出した彩度情報を比較し、処理後画像の比較対象範囲の画素データから抽出した彩度の方が大きいと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、加算器１２７にその結果を出力する。加算器１２７は、大小比較部１２４，１２６の双方が外乱による画素データである疑いが高いと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部１３０にその結果を出力する。
【００５０】
図９，１０は、画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。以下、図９，１０に示す処理をステップ番号に沿って説明する。
【００５１】
〔ステップＳ１１〕画像処理装置１００は、電源が投入されると、処理後画像メモリ１４０内の処理後画像を初期化する。具体的には、処理後画像メモリ１４０にグレー（中間の階調）の画像を格納する。ランダムノイズの場合には、外乱が黒く映るものなのか、白く映るものなのかがわからないのでグレーの画像を初期画像とする。
【００５２】
また、あらかじめ格納されているメモリなどから読み出すなどして追従係数α１を１．０に設定する。さらに、操作部２２０からの入力信号により追従係数α２を設定する。追従係数α２は外乱の量により１．０≧α２＞０．０の範囲で適宜設定される。そして、外乱か否かの判断基準となる輝度差分の絶対値の差のしきい値ＴＨを１６と設定する。
【００５３】
〔ステップＳ１２〕外乱判断処理部１２０は、カメラ２１０から入力され、入力画像メモリ１１０に格納されている入力画像を読み出す。
【００５４】
〔ステップＳ１３〕外乱判断処理部１２０は、読み出した入力画像の幅と高さを取得して、高さをＨと、幅をＷと設定する。
【００５５】
〔ステップＳ１４〕外乱判断処理部１２０は、高さ方向のループ変数を初期化する。つまり、ループ変数Ｙに０を設定する。
【００５６】
〔ステップＳ１５〕外乱判断処理部１２０は、ループ変数Ｙが画像の高さＨより大きいか否かを判断する。ＹがＨより大きいときは処理をステップＳ１６へ処理を進め、ＹがＨ以下であるときは処理をステップＳ２５へ進める。
【００５７】
〔ステップＳ１６〕外乱判断処理部１２０は、幅方向のループ変数を初期化する。つまり、ループ変数Ｘに０を設定する。
【００５８】
〔ステップＳ１７〕外乱判断処理部１２０は、ループ変数Ｘが画像の幅Ｗより大きいか否かを判断する。ＸがＷより大きいときは処理をステップＳ１８へ処理を進め、ＸがＷ以下であるときは処理をステップＳ２３へ進める。
【００５９】
〔ステップＳ１８〕外乱判断処理部１２０は、入力画像と処理後画像のループ変数Ｘとループ変数Ｙに対応する画素（以下、（Ｘ，Ｙ）画素と表記する。）の値を読み出し、輝度差分の絶対値を算出する。そして、算出した絶対値がしきい値ＴＨより大きいか否かを判断する。しきい値ＴＨより差分絶対値が大きいときは、比較した画素は外乱によるものである疑いが高いと判断し、その旨を画像処理部１３０に出力し、処理をステップＳ１９へ進める。また、しきい値ＴＨが差分絶対値以下であるときは処理をステップＳ２０へ進める。なお、カラー画像であるときは、以下の式１により輝度を算出する。
輝度＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６………………………（式１）
【００６０】
〔ステップＳ１９〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α２を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、以下の式２の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
α２×入力画像の（Ｘ，Ｙ）画素の値＋（１−α２）×処理後画像の（Ｘ，Ｙ）画素の値……………………………………………………………………………………………（式２）
【００６１】
〔ステップＳ２０〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α１を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、以下の式３の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
α１×入力画像の（Ｘ，Ｙ）画素の値＋（１−α１）×処理後画像の（Ｘ，Ｙ）画素の値……………………………………………………………………………………………（式３）
【００６２】
〔ステップＳ２１〕ループ変数Ｘに１加算する。
【００６３】
〔ステップＳ２２〕処理をステップＳ１７へ戻す。
【００６４】
〔ステップＳ２３〕ループ変数Ｙに１加算する。
【００６５】
〔ステップＳ２４〕処理をステップＳ１５へ戻す。
【００６６】
〔ステップＳ２５〕処理をステップＳ１２へ戻す。
【００６７】
図１１，１２は、画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。以下、図１１，１２に示す処理をステップ番号に沿って説明する。
【００６８】
〔ステップＳ３１〕画像処理装置１００は、電源が投入されると、処理後画像メモリ１４０内の処理後画像を初期化する。具体的には、処理後画像メモリ１４０に白の画像を格納する。また、あらかじめ格納されているメモリなどから読み出すなどして追従係数α１を１．０に設定する。さらに、操作部２２０からの入力信号により追従係数α２を設定する。追従係数α２は外乱の量により１．０≧α２＞０．０の範囲で適宜設定される。
【００６９】
〔ステップＳ３２〕外乱判断処理部１２０は、カメラ２１０から入力され、入力画像メモリ１１０に格納されている入力画像を読み出す。
【００７０】
〔ステップＳ３３〕外乱判断処理部１２０は、読み出した入力画像の幅と高さを取得して、高さをＨと、幅をＷと設定する。
【００７１】
〔ステップＳ３４〕外乱判断処理部１２０は、高さ方向のループ変数を初期化する。つまり、ループ変数Ｙに０を設定する。
【００７２】
〔ステップＳ３５〕外乱判断処理部１２０は、ループ変数Ｙが画像の高さＨより大きいか否かを判断する。ＹがＨより大きいときは処理をステップＳ３６へ処理を進め、ＹがＨ以下であるときは処理をステップＳ４５へ進める。
【００７３】
〔ステップＳ３６〕外乱判断処理部１２０は、幅方向のループ変数を初期化する。つまり、ループ変数Ｘに０を設定する。
【００７４】
〔ステップＳ３７〕外乱判断処理部１２０は、ループ変数Ｘが画像の幅Ｗより大きいか否かを判断する。ＸがＷより大きいときは処理をステップＳ３８へ処理を進め、ＸがＷ以下であるときは処理をステップＳ４３へ進める。
【００７５】
〔ステップＳ３８〕外乱判断処理部１２０は、入力画像と処理後画像の（Ｘ，Ｙ）画素の値を読み出し、各画素の輝度と彩度の値を比較する。そして、処理後画像の（Ｘ，Ｙ）画素より入力画像の（Ｘ，Ｙ）画素の輝度が大きく、かつ入力画像の（Ｘ，Ｙ）画素より処理後画像の（Ｘ，Ｙ）画素の彩度が大きいときは、比較した画素は外乱によるものである疑いが高いと判断し、その旨を画像処理部１３０に出力し、処理をステップＳ３９へ進め、それ以外のときは処理をステップＳ４０へ進める。なお、彩度は、以下の式４により算出する。
Ｍ＝ＭＡＸ（Ｒ，Ｇ，Ｂ）
ｍ＝ＭＩＮ（Ｒ，Ｇ，Ｂ）
彩度＝Ｍ−ｍ／Ｍ（Ｍ＝ｍ≠０）、０（Ｍ＝ｍ＝０）……………………………（式４）
【００７６】
〔ステップＳ３９〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α２を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、上述の式２の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
【００７７】
〔ステップＳ４０〕画像処理部１３０は、処理後画像の（Ｘ，Ｙ）画素を、追従係数α１を用いて重み付けをして加算することにより、新たな処理画像の（Ｘ，Ｙ）画素とする。この重み付けは、上述の式３の通りに行う。なお、カラー画像の場合にはＲＧＢそれぞれに対して行う。
【００７８】
〔ステップＳ４１〕ループ変数Ｘに１加算する。
【００７９】
〔ステップＳ４２〕処理をステップＳ３７へ戻す。
【００８０】
〔ステップＳ４３〕ループ変数Ｙに１加算する。
【００８１】
〔ステップＳ４４〕処理をステップＳ３５へ戻す。
【００８２】
〔ステップＳ４５〕処理をステップＳ３２へ戻す。
【００８３】
図１３は、外乱の輝度が高いときの追従係数についての表を示す図である。
外乱が雪であるとき、つまり輝度が比較的高い場合には、上述の通り輝度が入力画像と処理後画像の輝度の値を比較して大きいものを外乱であると判断すれば足りることが多い。しかし、外乱である雪よりも背景の輝度が高いときは、輝度が入力画像と処理後画像の輝度の値を比較して大きいものを外乱であると判断すると、雪の輝度が処理後画像に多く反映される（つまり、本来の背景輝度より暗く映ってしまう）。
【００８４】
そこで、たとえば雪の輝度が２５６階調で２００であり、背景の輝度が２３０であるとしたときは、輝度値１６０を設定しておき、入力画像が設定値である１６０以上であるときは一律に追従係数α２とするとよい。つまり、ある一定値以上の輝度が入力された場合には外乱の疑いが高いと判断した場合と同様に処理後画像に少なく反映することにより、雪の輝度が処理後画像に多く反映されることを防ぐことが可能となる。
【００８５】
なお、外乱が多いとき（本事案においては降雪量が多いとき）は、追従処理をした後にコントラストの強調処理を追加するとより効果がある。
【００８６】
図１４は、本実施の形態の画像処理装置によって画像処理したときの様子を示す図である。
図１４（Ａ）は、画像処理前の画像例であり、図１４（Ｂ）は、画像処理をし始めた状態の画像例であり、図１４（Ｃ）は、画像処理が進んだ状態を示す画像例である。
【００８７】
図１４に示すように、障害物が写った画像を画像処理装置１００によって画像処理すると、外乱である疑いが高い範囲（画素）については小さな追従係数が乗算され、外乱である疑いが低い範囲（画素）については大きな追従係数が乗算されて、それぞれいままでの処理後画像に加算されることにより、新たな処理後画像とするので、外乱である疑いが高い画素は新たな処理後画像への反映が少なくなるので、結果として得られる新たな処理後画像は外乱の影響がない画像を得ることができる。
【００８８】
図１５は、本実施の形態の画像処理装置で、外乱が少ないときに画像処理をしたときの様子を示す図である。
図１５（Ａ）は、画像処理前の入力画像を示す画像例であり、図１５（Ｂ）は、画像処理前の初期画像を示す画像例であり、図１５（Ｃ）は、画像処理をし始めたときの画像例であり、図１５（Ｄ）は、画像処理が進んだときの画像例である。
【００８９】
図１５においては、外乱が雪である場合を示している。外乱が雪であるときは、雪は白く写ることから、初期画像を白にする。そして、本実施の形態に係る画像処理を行うことにより、外乱を除去した画像を得ることができる。
【００９０】
図１６は、本実施の形態の画像処理装置で、外乱が多いときに画像処理をしたときの様子を示す図である。
図１６（Ａ）は、画像処理前の入力画像を示す画像例であり、図１６（Ｂ）は、画像処理前の初期画像を示す画像例であり、図１６（Ｃ）は、画像処理をし始めたときの画像例であり、図１６（Ｄ）は、画像処理が進んだときの画像例である。
【００９１】
図１５と同様に図１６の外乱も雪である場合を示している。外乱が多いとき、つまり雪が大量に降っているときには、画像データにおける一定の点（たとえば、一画素から抽出される画素データ）に着目すると、雪が写っていることによる画素データが多く抽出される。
【００９２】
しかし、画像処理装置１００における外乱判断処理部１２０によって、画素データが外乱による画素データの疑いが高いか否かを判断しているので、画像全体を追従処理しているときとは異なり、外乱の影響がない画像を得ることができる。
【００９３】
以上の処理を行うことにより、入力画像における比較対象範囲の画素データが外乱を撮像した結果の画素データであるかを判断し、外乱判断処理の判断に応じた重み付けを入力画像および処理後画像の画素データにし、その画素データを加算して新たな処理後画像を生成するので、外乱と判断されたデータはほとんど反映させず、外乱と判断されなかった、つまり撮像対象物を撮像したと判断されたデータを多く反映させて新たな処理後画像を生成することができる。したがって、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。
【００９４】
なお、本実施の形態においては、画素同士を比較して一定以上の輝度や彩度の差があった場合、もしくは入力画像の画素の方が輝度が高いときは、その画素が外乱であると判断したが、カメラをパン・チルトしたときには当然に多くの画素で一定範囲以上の輝度や彩度の差が生まれる。
【００９５】
このときは、たとえば全画素数のうち８０％の画素において２５６階調のときに１６階調分以上の差が生じたと判断したときは、カメラの撮影方向が変わったと判断して、処理後画像メモリに格納されている処理後画像を破棄して入力画像をそのまま新たな処理後画像とすることもできる。
【００９６】
これによると、背景に動きがある場合はもちろんのこと、カメラを動かしたときもリアルタイムに画像を追従させることが可能であり、かつその入れ替えた画像から再度外乱除去処理が行われるので、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。
【００９７】
また、本実施の形態においては、画素データが外乱による画素データの疑いが高いか否かを判断したときの追従係数α２は操作部２２０から適宜設定する旨を説明したが、追従係数α２がどの程度が適当であるかを判断する処理部を加えてもよい。
【００９８】
以下、第２の実施の形態として、追従係数α２がどの程度が適当であるかを判断する処理部を加えた例を示す。
【００９９】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像処理装置は、追従係数を更新する追従係数更新処理部を備えることが異なる以外は、第１の実施の形態で示した構成と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。
【０１００】
図１７は、本実施の形態に係る画像処理装置のブロック図である。
図１７に示すように、画像処理装置２１００には、カメラ２１０と、操作部２２０、および表示部２３０が取り付けられており、画像処理装置２１００は、入力画像メモリ１１０、外乱判断処理部１２０、画像処理部１３０、処理後画像メモリ１４０、画質基準設定メモリ２１５０、誤差計測部２１６０、および追従係数更新処理部２１７０を備えている。
【０１０１】
入力画像メモリ１１０は、カメラ２００が撮像した撮像画像が入力されると、その入力画像を蓄積する。
【０１０２】
外乱判断処理部１２０は、入力画像メモリ１１０から入力画像を読み出すとともに処理後画像メモリ１４０から処理後画像を読み出す。そして、入力画像の比較対象範囲と、処理後画像における比較対象範囲に対応する部分のそれぞれの画素データの値を比較する。その比較した値が一定以上の乖離があったときはその画素データは外乱を写したことによる画素データであると判断する。この外乱判断を、画像を構成する全画素データについて行う。
【０１０３】
画像処理部１３０は、外乱判断処理部１２０が判断に応じて、追従係数更新処理部２１７０から追従係数を読み出して、その追従係数に合わせた重み付けを、入力画像の比較対象範囲の画素データ、および処理後画像の比較対象範囲の画素データに対して行い、その重み付けをした画素データを加算する画像処理を行い、この画像処理を、画像を構成する全画素データについて行う。つまり、全画素データについて画像処理が行われたものを合算（絵作り）することにより新たな処理後画像とすることができる。この新たな処理後画像を処理後画像メモリ１４０に格納する。
【０１０４】
表示部２３０は、処理後画像メモリ１４０に格納されている処理後画像を読み出して表示する。これにより処理された、つまり外乱が除去された撮像対象物を写した画像を見ることができる。
【０１０５】
誤差計測部２１６０は、画像処理部１３０が処理した処理後画像と、処理後画像メモリ１４０に格納されている、画像処理部１３０が処理した処理後画像の１フレーム前の処理後画像とを読み出して誤差計測を行う。
【０１０６】
具体的には、各画像のあらかじめ設定された所定範囲の画素データの値の差分が一定のしきい値を超えているか否かによって判断する。この所定範囲は、撮像画像の中でも背景の動きが少ない部分が採用される。つまり、その範囲で輝度の変化が激しいときは外乱が多いことを意味する。
【０１０７】
誤差計測部２１６０が、所定範囲の中で画素データの値の差分が一定のしきい値を超えている画素数を計数し、その画素数を追従係数更新処理部２１７０に出力する。所定範囲の中で画素データの値の差分の判断しきい値は、操作部２２０から適宜設定され、画質基準設定メモリ２１５０に格納されている。
【０１０８】
追従係数更新処理部２１７０は、操作部２２０から適宜設定され、画質基準設定メモリ２１５０に格納されている誤差の割合の基準値を超えているときは、外乱が多いと判断して追従係数を一段階引き下げ、誤差の割合の基準値を超えていないときは外乱が少ないと判断して追従係数を一段階引き上げる。これにより、外乱が多いときには外乱の影響を受けないように画像処理を行うことが可能となり、外乱が少ないときには外乱の影響を受けないように画像処理を行うことができると同時により早い絵作りが可能となる。
【０１０９】
図１８は、誤差計測部の誤差計測処理にかかるブロック図である。
図１８に示すように、誤差計測部２１６０は、フレームメモリ２１６１、フレーム間差分算出部２１６２、大小比較部２１６３、計数部２１６４、領域判定部２１６５，２１６６、および加算器２１６７を備えている。
【０１１０】
フレームメモリ２１６１は、画像処理部１３０から出力される処理後画像を１フレーム分格納する。
【０１１１】
フレーム間差分算出部２１６２は、画像処理部１３０から出力される処理後画像と、その１フレーム前の処理後画像であって、フレームメモリ２１６１に格納されている画像とのフレーム間差分を算出する。
【０１１２】
大小比較部２１６３は、領域判定部２１６５，２１６６からの出力信号を加算器２１６７に出力され、ループ変数Ｘ，Ｙともに領域内と判定されたときにその（Ｘ，Ｙ）画素の差分値と許容値の大小比較を行う。差分値が許容値を超えているときはその旨を計数部２１６４に出力し、計数部２１６４は、差分値が許容値を超えている画素数を計数し、判定領域内における、差分値が許容値を超えている画素数を追従係数更新処理部２１７０に出力する。
【０１１３】
図１９，２０，２１は、画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。以下、図１９，２０，２１に示す処理をステップ番号に沿って説明する。
【０１１４】
〔ステップＳ５１〕画像処理装置１００は、電源が投入されると、処理後画像メモリ１４０内の処理後画像を初期化する。具体的には、外乱が雪であるときは処理後画像メモリ１４０に白の画像を格納する。また、追従係数α１を１．０に設定し、追従係数α２を０．５に設定する。
【０１１５】
〔ステップＳ５２〕外乱判断処理部１２０は、カメラ２１０から入力され、入力画像メモリ１１０に格納されている入力画像を読み出す。
【０１１６】
〔ステップＳ５３〕外乱判断処理部１２０および画像処理部１３０は、外乱判断処理および画像処理を行う。この外乱判断処理および画像処理は、第１の実施の形態の図９，１０で説明したものと同じ処理を行う。
【０１１７】
〔ステップＳ５４〕誤差計測部２１６０は、誤差計測を行う処理後画像中の範囲である誤差計測範囲の終点座標（Ｘ＿ＥＮＤ，Ｙ＿ＥＮＤ）を設定し、カウンタ（計数部２１６４）をリセットする。
【０１１８】
〔ステップＳ５５〕画像の高さ方向のループ変数Ｙを初期化する。具体的には、誤差計測範囲の始点座標（Ｘ始点，Ｙ始点）の高さ座標である「Ｙ始点」をループ変数Ｙに設定する。
【０１１９】
〔ステップＳ５６〕画像の幅方向のループ変数Ｘを初期化する。具体的には、誤差計測範囲の始点座標（Ｘ始点，Ｙ始点）の幅座標である「Ｘ始点」をループ変数Ｘに設定する。
【０１２０】
〔ステップＳ５７〕Ｙ＿ＥＮＤがループ変数Ｙより大きいか否かを判断する。Ｙ＿ＥＮＤがループ変数Ｙより大きいときは処理をステップＳ５８へ進め、Ｙ＿ＥＮＤがループ変数Ｙ以下のときは処理をステップＳ６６へ進める。
【０１２１】
〔ステップＳ５８〕Ｘ＿ＥＮＤがループ変数Ｘより大きいか否かを判断する。Ｘ＿ＥＮＤがループ変数Ｘより大きいときは処理をステップＳ５９へ進め、Ｘ＿ＥＮＤがループ変数Ｘ以下のときは処理をステップＳ６４へ進める。
【０１２２】
〔ステップＳ５９〕処理後画像と、フレームメモリ２１６１に格納されている１フレーム前の処理後画像とにおける（Ｘ，Ｙ）画素の輝度の差分の絶対値を算出し、その差分絶対値があらかじめ設定された許容値より大きいか否かを判断する。差分絶対値が許容値より大きいときは処理をステップＳ６０へ進め、差分絶対値が許容値以下のときは処理をステップＳ６１へ進める。
【０１２３】
〔ステップＳ６０〕カウンタを１加算する。
【０１２４】
〔ステップＳ６１〕差分絶対値が許容値より大きいか否か判断した処理後画像の画素データをフレームメモリ２１６１に格納する。
【０１２５】
〔ステップＳ６２〕ループ変数Ｘを１加算する。
【０１２６】
〔ステップＳ６３〕処理をステップＳ５８へ戻す。
【０１２７】
〔ステップＳ６４〕ループ変数Ｙを１加算する。
【０１２８】
〔ステップＳ６５〕処理をステップＳ５６へ戻す。
【０１２９】
〔ステップＳ６６〕あらかじめ設定された誤差割合の基準値が、計数部２１６４のカウンタの値より大きいか否かを判断する。基準値がカウンタ値より大きい場合は処理をステップＳ６７へ進め、基準値がカウンタ値以下のときは処理をステップＳ６８へ進める。
【０１３０】
〔ステップＳ６７〕追従係数更新処理部２１７０は、追従係数α２を一段階引き上げる。
【０１３１】
〔ステップＳ６８〕追従係数更新処理部２１７０は、追従係数α２を一段階引き下げる。
【０１３２】
〔ステップＳ６９〕処理をステップＳ５２へ戻す。
【０１３３】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述した画像処理プログラムが提供される。その画像処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した画像処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto
Optical disk）などがある。
【０１３４】
画像処理プログラムを流通させる場合には、たとえば、その画像処理プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその画像処理プログラムを転送することもできる。
【０１３５】
画像処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された画像処理プログラムもしくはサーバコンピュータから転送された画像処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から画像処理プログラムを読み取り、画像処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接画像処理プログラムを読み取り、その画像処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから画像処理プログラムが転送される毎に、逐次、受け取った画像処理プログラムに従った処理を実行することもできる。
【０１３６】
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
【０１３７】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【０１３８】
１００ 画像処理装置
１１０ 入力画像メモリ
１２０ 外乱判断処理部
１３０ 画像処理部
１４０ 処理後画像メモリ
１５０ 追従係数メモリ
２１０ カメラ
２２０ 操作部
２３０ 表示部
【特許請求の範囲】
【請求項１】
撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置において、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記比較対象範囲は、一画素ごとであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段は、
前記外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値が、外乱を写したことによる画素データである可能性が高いと判断したときは低い数値の追従係数を用いて重み付けを行い、
前記処理後画像における比較対象範囲の画素データの値が、外乱を写したことによる画素データである可能性が低いと判断したときは高い数値の追従係数を用いて重み付けを行うことを特徴とする請求項１記載の画像処理装置。
【請求項４】
撮像画像のうち、あらかじめ設定された撮像対象物の動きが少ない範囲における、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とを比較し、しきい値より多くの画素が、しきい値以上の値の乖離があったときに前記追従係数を引き下げ、そうでないときは前記追従係数を引き上げる追従係数決定手段をも備えることを特徴とする請求項４記載の画像処理装置。
【請求項５】
前記外乱判断手段が、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、しきい値以上の値の乖離があったときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較したときに、画像全体における一定画素数以上が、一定の以上の値が乖離しているときは、前記入力画像を新たな処理後画像とすることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値との比較は、画素データの輝度を比較することにより行われることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記処理後画像における比較対象範囲の画素データの輝度より、前記撮像手段から入力される入力画像における比較対象範囲の画素データの輝度の方が大きいときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項７記載の画像処理装置。
【請求項９】
外乱の輝度よりも撮像対象物の輝度が高いときは、
前記外乱の輝度以下の設定値以上の輝度の画素データが入力されたときは低い追従係数を用いて重み付けを行うことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値との比較は、さらに画素データの彩度をも比較することにより行われることを特徴とする請求項５記載の画像処理装置。
【請求項１１】
前記処理後画像における比較対象範囲の画素データの彩度より、前記撮像手段から入力される入力画像における比較対象範囲の画素データの彩度の方が小さいときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
撮像手段が撮像した撮像画像を伝送する伝送装置を用いて伝送し、前記撮像手段の設置地点から離隔した場所で前記撮像画像を表示する撮像システムにおいて、
前記撮像画像を構成する画素データを処理することによる画像処理後の処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段と、
を備える画像処理装置を備えることを特徴とする撮像システム。
【請求項１３】
前記画像処理装置が、前記撮像手段と、前記伝送装置との間に接続されることを特徴とする請求項１２記載の撮像システム。
【請求項１４】
前記画像処理装置が、前記伝送装置と、前記伝送手段が伝送した画像を表示する表示装置との間に接続されることを特徴とする請求項１２記載の撮像システム。
【請求項１５】
撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理方法において、
外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断するステップと、
画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行うステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理プログラムにおいて、
コンピュータを、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１】
撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置において、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記比較対象範囲は、一画素ごとであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段は、
前記外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値が、外乱を写したことによる画素データである可能性が高いと判断したときは低い数値の追従係数を用いて重み付けを行い、
前記処理後画像における比較対象範囲の画素データの値が、外乱を写したことによる画素データである可能性が低いと判断したときは高い数値の追従係数を用いて重み付けを行うことを特徴とする請求項１記載の画像処理装置。
【請求項４】
撮像画像のうち、あらかじめ設定された撮像対象物の動きが少ない範囲における、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とを比較し、しきい値より多くの画素が、しきい値以上の値の乖離があったときに前記追従係数を引き下げ、そうでないときは前記追従係数を引き上げる追従係数決定手段をも備えることを特徴とする請求項４記載の画像処理装置。
【請求項５】
前記外乱判断手段が、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、しきい値以上の値の乖離があったときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較したときに、画像全体における一定画素数以上が、一定の以上の値が乖離しているときは、前記入力画像を新たな処理後画像とすることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値との比較は、画素データの輝度を比較することにより行われることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記処理後画像における比較対象範囲の画素データの輝度より、前記撮像手段から入力される入力画像における比較対象範囲の画素データの輝度の方が大きいときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項７記載の画像処理装置。
【請求項９】
外乱の輝度よりも撮像対象物の輝度が高いときは、
前記外乱の輝度以下の設定値以上の輝度の画素データが入力されたときは低い追従係数を用いて重み付けを行うことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値との比較は、さらに画素データの彩度をも比較することにより行われることを特徴とする請求項５記載の画像処理装置。
【請求項１１】
前記処理後画像における比較対象範囲の画素データの彩度より、前記撮像手段から入力される入力画像における比較対象範囲の画素データの彩度の方が小さいときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
撮像手段が撮像した撮像画像を伝送する伝送装置を用いて伝送し、前記撮像手段の設置地点から離隔した場所で前記撮像画像を表示する撮像システムにおいて、
前記撮像画像を構成する画素データを処理することによる画像処理後の処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段と、
を備える画像処理装置を備えることを特徴とする撮像システム。
【請求項１３】
前記画像処理装置が、前記撮像手段と、前記伝送装置との間に接続されることを特徴とする請求項１２記載の撮像システム。
【請求項１４】
前記画像処理装置が、前記伝送装置と、前記伝送手段が伝送した画像を表示する表示装置との間に接続されることを特徴とする請求項１２記載の撮像システム。
【請求項１５】
撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理方法において、
外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断するステップと、
画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行うステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理プログラムにおいて、
コンピュータを、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段、
として機能させることを特徴とする画像処理プログラム。
【図１】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図１３】
【図１４】
【図１５】
【図１６】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図１３】
【図１４】
【図１５】
【図１６】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１１−１４２５４８（Ｐ２０１１−１４２５４８Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−２７２７（Ｐ２０１０−２７２７）
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
[ Back to top ]