移動体画像抽出方法
【課題】
少ない処理量にて移動体の画像のみを抽出する。
【解決手段】
移動体の画像および当該移動体の影の画像を含む入力画像から移動体の画像を抽出する移動体画像抽出方法は、入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得して影付背景画像格納部へ格納する取得ステップと、影付背景画像格納部に格納される影付背景画像を用いて入力画像から移動体の画像を抽出する抽出ステップとを含む。この影付背景画像を用いれば、入力画像および影付背景画像との簡単な処理にて、入力画像に含まれる移動体の影を除去することが可能となる。
少ない処理量にて移動体の画像のみを抽出する。
【解決手段】
移動体の画像および当該移動体の影の画像を含む入力画像から移動体の画像を抽出する移動体画像抽出方法は、入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得して影付背景画像格納部へ格納する取得ステップと、影付背景画像格納部に格納される影付背景画像を用いて入力画像から移動体の画像を抽出する抽出ステップとを含む。この影付背景画像を用いれば、入力画像および影付背景画像との簡単な処理にて、入力画像に含まれる移動体の影を除去することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から移動体の画像を抽出する技術に関する。
【背景技術】
【０００２】
道路の交通状況を把握する手段として、カメラで撮像された画像を処理して移動体を抽出し、その挙動を追跡する方法がある。移動体の挙動を追跡することで、渋滞、事故発生などの認識自動化が可能となる。この移動体を正確に抽出する技術が重要となる。
【０００３】
移動体を抽出するための一般的な手法として、背景差分法が知られている。これは、カメラで撮像された時系列画像から、移動体のない背景画像を生成しておき、背景画像と入力画像の画素値差分をとることで移動体を抽出する手法である。
【０００４】
一方、例えば特開平０６−２２３１８９号公報は、背景変化を動きとして検出せずに移動体を抽出できるようにする技術を開示している。すなわち、入力画像と背景画像の差分に対し２値化処理を施すことによって動きを抽出する際に、入力画像の時間的変化を抽出し、この検出した変化を用いて２値化処理のための閾値または背景画像生成を制御するものである。しかし、太陽の光や照明の光によって生じる移動体の影をも抽出してしまうため、移動体の領域を正確に認識することができない。
【０００５】
また、特開平１０−２４７２４７号公報は、入力画像と背景画像の差分である背景差分画像に、移動体の影の部分のような画素値を一様にとる領域があっても、その領域を除いた移動体だけを抽出する技術を開示している。すなわち、入力画像と背景画像との差分演算を行なって背景差分画像を生成し、背景差分画像を小領域に分割し、小領域の画素の平均値を除く特徴量である交流成分特徴量から交流成分画像を生成し、交流成分画像の各画素値を閾値と比較することにより移動体の領域とそれ以外の領域とに弁別するものである。しかし、この技術は処理量が多い点で問題がある。
【特許文献１】特開平０６−２２３１８９号公報
【特許文献２】特開平１０−２４７２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上で述べた従来の技術は、移動体のみならず移動体の影をも抽出してしまう、もしくは移動体の影を分離して移動体のみを抽出するとしても処理量が多いといった点で問題がある。
【０００７】
したがって、本発明の目的は、少ない処理量にて移動体の画像のみを抽出するための画像処理技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る移動体画像抽出方法は、移動体の画像および当該移動体の影の画像を含む入力画像から移動体の画像を抽出する移動体画像抽出方法であって、入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得し、影付背景画像格納部に格納する取得ステップと、影付背景画像格納部に格納される影付背景画像を用いて入力画像から移動体の画像を抽出する抽出ステップとを含む。
【０００９】
上で述べたような影付背景画像を用いれば、入力画像および影付背景画像との簡単な処理にて、入力画像に含まれる移動体の影を除去することが可能となる。
【００１０】
また、上記取得ステップが、入力画像において移動体の影とみなされる画素を特定する影特定ステップと、影特定ステップにより特定された画素の画素値を用いて決定される画素値で、既に取得された影付背景画像が存在する場合には影付背景画像または背景画像のうち対応する画素の画素値を置換する置換ステップとを含むようにしてもよい。
【００１１】
影付背景画像については自動生成することにより取得する場合もあれば、何らかの手法で作成されたものを読み出すことにより取得する場合もある。例えば影特定ステップと置換ステップを繰り返すことにより影付背景画像を生成する場合は、最初の置換ステップでは背景画像の画素を置換し、以降の置換ステップでは影付背景画像の画素を置換することになる。
【００１２】
このように取得ステップにおいて影付背景画像を自動生成するような構成も可能であるし、何らかの手法にて用意された影付背景画像を単に読み出すようにしてもよい。
【００１３】
また、上記置換ステップが、影特定ステップにより特定された画素について画素値を含むデータを累積的に格納する影データ格納ステップと、影データ格納ステップにおいて格納されたデータの所定の範囲における各画素の画素値の最頻値を特定する最頻値特定ステップと、特定された最頻値で既に取得された影付背景画像が存在する場合には影付背景画像または背景画像の対応する画素の画素値を置換するステップとを含むようにしてもよい。
【００１４】
なお、上記所定の範囲としては、例えば画素の範囲やサンプルの範囲などにより規定される。すなわち、画素の範囲は、例えば上で述べたように影特定ステップと置換ステップを繰り返すことにより影付背景画像を生成する場合には、影特定ステップにより特定された画素群である。また、サンプルの範囲は、累積的に格納されたサンプルデータ全てや、例えば最新のＸ件のサンプルデータなどである。
【００１５】
また、置換ステップで用いる画素値として画素値の最頻値を用いるのは、不適切な画素値が移動体の影を表す画素値として特定されることを防ぐためである。すなわち、例えば移動体の画素が移動体の影とみなされる画素として特定されることが有り得るが、ほとんどの場合移動体の影の画素の画素値のデータが累積的に格納される。したがって、その最頻値を取得すれば、移動体の画素が誤って移動体の影とみなされる画素として特定されるようなことがあっても、そのような画素の画素値は最頻値として特定されることはないためである。
【００１６】
また、上記抽出ステップが、入力画像の画素と背景画像の対応する画素との画素値の差に基づいて差分画像を生成する差分画像生成ステップと、生成された差分画像の画素と影付背景画像の対応する画素との画素値の差に基づいて差分画像から移動体の画像を抽出する移動体画像抽出ステップとを含むようにしてもよい。
【００１７】
なお、入力画像と影付背景画像の差をとることで入力画像に含まれる移動体の影は除去することはできるが、例えば入力画像において移動体の影には含まれない画素の画素値と、影付背景画像において移動体の影に含まれる画素の画素値との差を算出する場合があり、移動体の画像を含む画素を特定する上で問題が生じることが考えられる。そこで、このように差分画像を生成して当該差分画像と影付背景画像との差をとれば、かかる問題は生じない。
【００１８】
なお、本発明に係る方法をコンピュータに実行させるためのプログラムを作成することも可能であって、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してデジタル信号として配信される場合もある。なお、処理途中のデータについては、メモリ等の記憶装置に一時保管される。
【発明の効果】
【００１９】
本発明によれば、少ない処理量にて移動体の画像のみを抽出することができる。
【発明を実施するための最良の形態】
【００２０】
図１に本発明の一実施の形態に係る移動体画像抽出装置１００の機能ブロック図を示す。移動体画像抽出装置１００は、画像入力処理部１と、背景画像生成処理部３と、影生成処理部５と、影付背景画像生成処理部７と、移動体抽出処理部９とを含む。
【００２１】
画像入力処理部１は、画像データ入力部１１と、入力画像テーブル１２とを含む。画像データ入力部１１は、例えばデジタルカメラや、アナログカメラ（フィルムカメラ）等で撮影された写真画像をデジタル化するスキャナなどの装置であり、取得した画像データを入力画像として入力画像テーブル１２に格納する。
【００２２】
背景画像生成処理部３は、背景画像履歴データ生成部３１と、背景画像履歴テーブル３３と、背景画像ヒストグラム生成部３５と、背景画像テーブル３７とを含む。背景画像履歴データ生成部３１は、入力画像テーブル１２から入力画像データを取得し、背景画像履歴テーブル３３にデータを格納する。背景画像ヒストグラム生成部３５は、背景画像履歴テーブル３３を参照して処理を行い、処理結果としての背景画像データを背景画像テーブル３７に格納する。
【００２３】
影生成処理部５は、差分絶対値和処理部５１と、フラグテーブル５２と、分散値差処理部５３と、影履歴データ生成部５４と、影履歴テーブル５５と、影ヒストグラム生成部５６と、影テーブル５７とを含む。差分絶対値和処理部５１は、入力画像テーブル１２と背景画像テーブル３７とを参照して処理を行い、処理結果としてのフラグデータをフラグテーブル５２に格納する。分散値差処理部５３は、入力画像テーブル１２と、背景画像テーブル３７と、フラグテーブル５２とを参照し、処理結果としてのフラグデータをフラグテーブル５２に格納する。影履歴データ生成部５４は、入力画像テーブル１２とフラグテーブル５２とを参照し、処理結果としての影履歴データを影履歴テーブル５５に格納する。影ヒストグラム生成部５６は、影履歴テーブル５５を参照し、処理結果としての影データを影テーブル５７に格納する。
【００２４】
影付背景画像生成処理部７は、影付背景画像生成部７１と、影付背景画像ＤＢ７２とを含む。さらに影付背景画像ＤＢ７２は、第１影付背景画像テーブル７２１と、第２影付背景画像テーブル７２２と、第３影付背景画像テーブル７２３とを含む。なお、ここでは影付背景画像ＤＢ７２に３つのテーブルが含まれる例を図示しているが、テーブルの数に制限はない。影付背景画像生成部７１は、背景画像テーブル３７と影テーブル５７とを参照し、処理結果としての影付背景画像データを、影付背景画像ＤＢ７２に含まれる影付背景画像テーブルのいずれかに格納する。
【００２５】
移動体抽出処理部９は、一次抽出処理部９１と、一次抽出結果テーブル９３と、二次抽出処理部９５と、最終抽出結果テーブル９７とを含む。一次抽出処理部９１は、入力画像テーブル１２と背景画像テーブル３７とを参照し、処理結果としての一次抽出結果データを一次抽出結果テーブル９３に格納する。二次抽出処理部９５は、影付背景画像ＤＢ７２と一次抽出結果テーブル９３とを参照し、処理結果としての最終抽出結果データを最終抽出結果テーブル９７に格納する。最終抽出結果データとして得られた移動体抽出画像については、移動体画像抽出装置１００に含まれるディスプレイ（図示せず）などの出力装置により出力してもよいし、移動体の挙動を追跡するために、上で述べた処理部とは異なる処理部に出力してもよい。
【００２６】
なお、移動体抽出装置１００は、コンピュータ装置であって、上で述べた処理部の各機能を実現するためのアプリケーション・プログラムが予め記憶装置に格納されており、また、コンピュータ装置のハードウェアおよびオペレーティング・システムにより実行されるようになっている。
【００２７】
図２（ａ）に、入力画像テーブル１２のテーブル構成の一例を示す。図２（ａ）のテーブル例には、ブロック番号の列２００と画素座標の列２０２と画素値の列２０４とが含まれている。本テーブルには、入力画像の各画素について、そのブロック番号、画素座標および画素値が格納されている。ブロック番号は、入力画像を同じサイズに分割することにより得られるブロックのそれぞれにつけられる番号である。例えば、図２（ａ）では１ブロックのサイズは８×８画素である。なお、本実施の形態において、画素値にはＨＳＶ色座標系（Ｈ：色差、Ｓ：彩度、Ｖ：輝度）におけるＶの値を用いる。ただし、ＨＳＶ色座標系ではなく他の色座標系における輝度を用いるようにしてもよい。
【００２８】
また、背景画像テーブル３７、影テーブル５７および影付背景画像ＤＢ７２に含まれる第１影付背景画像テーブル７２１、第２影付背景画像テーブル７２２および第３影付背景画像テーブル７２３も図２（ａ）と同様のテーブル構成を有する。
【００２９】
図２（ｂ）に、背景画像履歴テーブル３３のテーブル構成の一例を示す。図２（ｂ）のテーブル例には、ブロック番号の列２０６と画素座標の列２０８と画素値の履歴データの列２１０とが含まれている。すなわち、入力画像の各画素について、そのブロック番号、画素座標および画素値の履歴データが格納されている。例えば、画素値の履歴データは一番左が最新の入力画像の画素値であり、右に進むにつれて古い値となる。なお、所定個数の画素値のみを格納する場合には、最新の画素値により最古の画素値を上書きする。
【００３０】
また、影履歴テーブル５５も図２（ｂ）と同様のテーブル構成を有する。
【００３１】
図２（ｃ）に、フラグテーブル５２のテーブル構成の一例を示す。図２（ｃ）のテーブル例には、ブロック番号の列２１２と移動体フラグの列２１４と影フラグの列２１６とが含まれている。すなわち、各ブロックのブロック番号、移動体フラグ、影フラグのデータが格納されている。詳細は後に述べるが、最初は移動体フラグおよび影フラグは「０」（オフ）となっており、移動体とみなされる画像に含まれる画素または移動体の影とみなされる画素で概ね構成されると判定されたブロックについては移動体フラグを「１」（オン）に変更する。そして移動体フラグが「１」であるブロックのうち、移動体の影とみなされる画素で概ね構成されると判定されたブロックについては影フラグが「１」（オン）に変更される。例えば、ブロック番号１のブロックは、移動体フラグおよび影フラグが「１」であるから、移動体の影とみなされる画素で概ね構成されるブロックとして判定されたことになる。そして、ブロック番号２のブロックは、移動体フラグが「１」だが影フラグが「０」であるから、移動体とみなされる画像に含まれる画素で概ね構成されるブロックとして判定されたことになる。
【００３２】
図２（ｄ）に、一次抽出結果テーブル９３のテーブル構成の一例を示す。図２（ｄ）のテーブル例には、ブロック番号の列２１８、画素座標の列２２０および画素値の列２２２とが含まれている。すなわち、一次抽出結果としての移動体抽出画像の各画素のブロック番号、画素座標および画素値のデータが累積して格納されている。
【００３３】
また、最終抽出結果テーブル９７も図２（ｄ）と同様のテーブル構成を有する。
【００３４】
次に、図３乃至図１１を用いて、図１に示した移動体画像抽出装置１００の処理について説明する。なお、本実施の形態では道路を走行する車の画像を抽出する例を示すが、この例に限定されるものではなく、他の移動体の画像を抽出する場合などにも適用が可能である。
【００３５】
最初に背景画像生成処理（図３：ステップＳ１）を行う。背景画像とは、例えば道路において走行する車の画像を抽出する場合であれば、走行する車が存在しない画像、すなわち道路および街路樹などの静止物体のみが撮影された画像を指す。このような移動体が含まれない画像を取得しておき、それを背景画像としてもよいが、本実施の形態では、複数の入力画像を取得し、当該入力画像の各画素について画素値の最頻値を特定することにより背景画像を生成する。すなわち、移動体は同じ場所に長時間留まるものではないから、複数の入力画像において同じ位置の画素に注目してみれば、ある入力画像では当該画素が移動体の画像に含まれるとしても、その他大半の入力画像においては、当該画素は移動体の画像には含まれない。したがって、当該画素の画素値の最頻値は移動体の画像に含まれる画素の画素値とはならず、移動体以外の静止物体の画像に含まれる画素の画素値となる。このような背景画像の生成処理の詳細を図４を用いて説明する。
【００３６】
まず画像データ入力部１１は、入力画像を取得して入力画像テーブル１２に入力画像データを格納する（図４：ステップＳ１０１）。上でも述べたが、入力画像テーブル１２に格納されるのは各画素の輝度値である。次に、背景画像履歴データ生成部３１は、入力画像テーブル１２のデータを、背景画像履歴テーブル３３に累積的に格納する（ステップＳ１０３）。次に、背景画像履歴データ生成部３１は、背景画像履歴テーブル３３を確認して、背景画像を生成するためのデータである背景画像履歴データが所定量蓄積されたか判断する（ステップＳ１０４）。所定量の背景画像履歴データが蓄積されたかについての判断は、例えば一定枚数の入力画像が、背景画像履歴テーブル３３に蓄積されたかなどの基準に従って行う。蓄積された背景画像履歴データが所定量未満であれば（ステップＳ１０４：Ｎｏルート）、データをさらに蓄積するため、ステップＳ１０１に戻る。蓄積された背景画像履歴データが所定量以上であれば（ステップＳ１０４：Ｙｅｓルート）、次に背景画像生成処理を行う。具体的には、背景画像ヒストグラム生成部３５は、背景画像履歴テーブル３３の各画素について、過去Ｘサンプル（Ｘは所定の整数）から画素値の最頻値を特定して背景画像テーブル３７に格納する（ステップＳ１０５）。なお、本実施の形態ではサンプルの範囲を過去Ｘサンプルとしているが、背景画像履歴テーブル３３の全サンプルを用いてもよい。
【００３７】
図３の説明に戻って、次に、影付背景画像を生成する処理を行う。まず、画像データ入力部１１は、入力画像を取得して入力画像テーブル１２に入力画像データを格納する（ステップＳ３）。ステップＳ１０１において取得する入力画像は、背景画像を生成するための入力画像であり、ステップＳ３において取得する入力画像は、影付背景画像を生成するための入力画像である。ステップＳ１０１において取得する入力画像とステップＳ３において取得する入力画像は同じ画像であってもよいが、背景画像を生成するためには、できるだけ移動体の画像を含まない入力画像を用いることが好ましい。したがって、ステップＳ１０１においては、例えば、移動体があまり存在しない時に撮影された入力画像を用いる。一方、影付背景画像を生成するためには、移動体の画像が含まれる入力画像が必要となる。したがって、例えば、移動体が存在する時に撮影された入力画像を用いる。このようにステップＳ１０１とステップＳ３は別に実行することが好ましい。
【００３８】
そして影付背景画像生成処理を行う（ステップＳ５）。この影付背景画像生成処理については図５を用いて詳細に説明する。まず影付背景画像生成部７１は、１回目の影付背景画像生成処理かを判断する（図５：ステップＳ５０１）。１回目と判断された場合（ステップＳ５０１：Ｙｅｓルート）、蓄積された影データは存在しない。したがって、影付背景画像生成処理部７１は、背景画像テーブル３７のデータを、影付背景画像ＤＢ７２に含まれる影付背景画像テーブルに格納する（ステップＳ５０３）。
【００３９】
ここで、影付背景画像ＤＢ７２に複数の影付背景画像テーブルが含まれているのは、季節、時刻、天候などの変化に対応した複数の影付背景画像を保存しておくためである。すなわち、複数の影付背景画像を季節、時刻、天候などの変化に応じて切り換えることにより、より正確に移動体の画像を抽出しようとするものである。以下の説明では、本実施の形態で用いる影付背景画像テーブルを、第１影付背景画像テーブル７２１とする。
【００４０】
１回目ではないと判断された場合（ステップＳ５０１：Ｎｏルート）、影付背景画像生成部７１は、影テーブル５７に格納されたデータ（影テーブル５７にデータを格納する処理については後に述べる。）を用いて、影付背景画像を生成する。影テーブル５７については後に詳しく述べるが、影テーブル５７は、移動体の影とみなされる画素で概ね構成されるブロックに含まれる画素の画素値を格納するテーブルであるため、それ以外の画素についてはＮＵＬＬ値が格納されている。したがって、影付背景画像生成部７１は、影テーブル５７に格納された画素のうち、画素値がＮＵＬＬではないものを特定する。そして、影付背景画像生成部７１は、その特定された画素の画素値で、第１影付背景画像テーブル７２１の対応する画素の画素値を更新する（ステップＳ５０５）。
【００４１】
図３の説明に戻って、次に、移動体の影とみなされる画素を抽出し、影データを生成する処理である影生成処理を行う（ステップＳ７）。この影生成処理については図６を用いて詳細に説明する。まず差分絶対値和処理部５１は、プログラムカウンタＮに「１」を格納する（図６：ステップＳ７０１）。このプログラムカウンタＮの値は、影生成処理の対象となるブロック番号を示す。次に、差分絶対値和処理部５１は、フラグテーブル５２のデータを初期化する（ステップＳ７０３）。すなわち、全フラグを「０」（オフ）にセットする。
【００４２】
次に、移動体の影とみなされる画素で概ね構成されるブロックを特定する処理の前段階として、入力画像テーブル１２から、移動体とみなされる画像に含まれる画素および移動体の影とみなされる画素である移動体領域画素により概ね構成されるブロックを特定する処理を行う。この具体的な処理を説明する前に、図７を用いて入力画像に含まれる各ブロックの性質について説明する。
【００４３】
図７の左部分における（Ａ）は入力画像を表し、（Ｂ）は背景画像を表す。そして両画像におけるａ、ｂ、ｃはブロックを表し、（Ａ）と（Ｂ）において同じ位置に配置されている。ここで、図７の左部分における（Ａ）のブロックａは移動体の画像に含まれるブロック、ブロックｂは移動体の影に含まれるブロック、ブロックｃは背景部分（この例では道路）に含まれるブロックである。そして、図７の中央部分における６つのブロックは、上で述べた各ブロックを拡大したものである。すなわち、図７の中央部分におけるブロックのうち、（Ａ）列（ａ）行のブロックは、入力画像（Ａ）におけるブロックａを拡大したものであり、（Ａ）列（ｂ）行のブロックは、入力画像（Ａ）におけるブロックｂを拡大したものであり、（Ａ）列（ｃ）行のブロックは、入力画像（Ａ）におけるブロックｃを拡大したものである。同様に、図７の中央部分におけるブロックのうち、（Ｂ）列（ａ）行のブロックは、入力画像（Ｂ）におけるブロックａを拡大したものであり、（Ｂ）列（ｂ）行のブロックは、入力画像（Ｂ）におけるブロックｂを拡大したものであり、（Ｂ）列（ｃ）行のブロックは、入力画像（Ｂ）におけるブロックｃを拡大したものである。
【００４４】
次に、図７の中央部分におけるブロックについて説明を加える。本実施の形態における移動体である車は、その車体の色は一様であるものが多いが、車体は日光等の光を反射するため、入力画像として取得した場合、車体については一様な画素値を取ることは少ない。さらに、ホイールやライト等のパーツを含むため、なおさら一様な画素値を取ることは少なくなる。それを表したものが、図７の中央部分における、（Ａ）列（ａ）行のブロックである。すなわち、様々な画素値を持つ画素が含まれるブロックとなる。なお、（Ｂ）列（ａ）行のブロックは背景部分に含まれるブロックであるから、（Ａ）列（ａ）行のブロックとは異なり、ほぼ一様な画素値を持つ画素が含まれるブロックとなる。
【００４５】
一方、背景部分に影がかかると、その部分は元の背景と比べ、一様に暗くなる。しかし、影の透過性のため、元の背景の特徴は失われない。それを表したものが、（Ａ）列（ｂ）行と（Ｂ）列（ｂ）行のブロックである。元の背景が（Ｂ）列（ｂ）行のブロックであり、当該ブロックには円弧状の線が含まれている。このブロックに影がかかったものが、（Ａ）列（ｂ）行のブロックである。すなわち、円弧状の線が含まれるという特徴は失われず、ブロック全体が一様に暗くなっている。なお、（Ａ）列（ｂ）行のブロックに含まれる当該円弧状の線は、（Ｂ）列（ｂ）行のブロックに含まれるものと比べて、影がかかっているため、より暗くなる。
【００４６】
そして、（Ａ）列（ｃ）行および（Ｂ）列（ｃ）行のブロックはいずれも背景部分に含まれるブロックであるため、両ブロックにおいて対応する画素の画素値は、ほぼ同様の値をとる。
【００４７】
以上のように、移動体の画像に含まれるブロック、移動体の影に含まれるブロック、背景部分に含まれるブロックはそれぞれ特徴を有する。この特徴を利用して、入力画像から、概ね移動体領域画素で構成されるブロックを特定する移動体領域画素特定処理を行う。
【００４８】
具体的には、差分絶対値和処理部５１は、入力画像テーブル１２と背景画像テーブル３７とを用いて、ブロック番号Ｎの差分絶対値和を算出する（ステップＳ７０５）。すなわち、入力画像テーブル１２においてブロック番号Ｎに含まれる画素の画素値と、背景画像テーブル３７において対応する画素の画素値との差を算出し、さらにその差の絶対値を算出する。そして、ブロック番号Ｎのブロックに含まれる全ての画素について上記の計算を行い、算出された全ての絶対値の和を算出する。
【００４９】
ここで、再度図７を参照すると、背景部分に含まれるブロックである（Ａ）列（ｃ）行および（Ｂ）列（ｃ）行のブロックはほぼ同一の画像となるため、差分絶対値和は小さくなる。一方、（Ａ）列（ａ）行および（Ｂ）列（ａ）行のブロックは全く異なる画像となるため、このブロックの差分絶対値和は大きくなる。また、（Ａ）列（ｂ）行および（Ｂ）列（ｂ）行のブロックは、後者のブロックの輝度をほぼ一様に落としたものが前者のブロックであって、このブロックの差分絶対値和は大きくなる。
【００５０】
以上のことから、概ね移動体領域画素で構成されるブロックは、背景部分に含まれるブロックと比較して差分絶対値和が大きくなる。したがって、図７の右部分のテーブルの左半分に示すように、所定の閾値を設定し、差分絶対値和と当該閾値とを比較することで、ブロックを分別し、概ね移動体領域画素で構成されるブロックを特定する。なお、この閾値は季節、時刻、天候などにより変わりうるもので、一意に決まるものではない。
【００５１】
したがって、算出した差分絶対値和が所定の閾値未満であれば（ステップＳ７０７：Ｎｏルート）、差分絶対値和処理部５１は、当該ブロックを、概ね移動体領域画素で構成されるブロックではないと判定し、当該ブロックについての影生成処理を終了する。算出した差分絶対値和が所定の閾値以上であれば（ステップＳ７０７：Ｙｅｓルート）、差分絶対値和処理部５１は、当該ブロックを、概ね移動体領域画素で構成されるブロックであると判定し、次に、フラグテーブル５２の対応するブロック番号Ｎの移動体フラグの列２１４を「１」（オン）に変更する（ステップＳ７０９）。
【００５２】
次に、概ね移動体領域画素で構成されるブロックとして特定されたブロックの中から、移動体の影とみなされる画素で概ね構成されるブロックを特定する処理を行う。
【００５３】
具体的には、分散値差処理部５３は、入力画像テーブル１２においてブロック番号Ｎに含まれる画素の画素値の分散と、背景画像テーブル３７においてブロック番号Ｎに含まれる画素の画素値の分散との差である分散値差を算出する（ステップＳ７１１）。分散とは、ここではブロックに含まれる画素の画素値のばらつきの度合いを示すものであり、例えば画素値が一様なブロックの分散は０となる。ここで、再度図７の中央部分を参照すると、（Ｂ）の列の３つのブロックおよび（Ａ）列（ｃ）行のブロックは背景部分に含まれるブロックであり、いずれもほぼ一様な画素値を有するため、分散の値は小さくなる。このようなブロックは、周波数空間へ変換した場合には、低周波成分を多く含むブロックであるとも言える。次に、（Ａ）列（ａ）行のブロックは、移動体の画像に含まれるブロックであり、様々な画素値の画素が含まれている。したがって、そのブロックの分散の値は大きくなる。このようなブロックは、周波数空間へ変換した場合には、高周波成分を多く含むブロックであるとも言える。そして、（Ａ）列（ｂ）行のブロックは、背景部分に含まれるブロックに影がかかったものであり、ほぼ一様な画素値をとる。したがって、そのブロックの分散の値は小さくなる。すなわち、（Ａ）列（ａ）行および（Ｂ）列（ａ）行のブロックの組み合わせについての分散値差は大きくなるが、（Ａ）列（ｂ）行および（Ｂ）列（ｂ）行のブロックの組み合わせについての分散値差は小さくなる。なお、背景部分に含まれるブロックである（Ａ）列（ｃ）行のブロックと（Ｂ）列（ｃ）行のブロックの組み合わせについての分散値差も小さくなるが、本処理では概ね移動体領域画素で構成されるブロックのみを取り扱うため、本処理の以下の説明では背景部分に含まれるブロックについては言及しない。
【００５４】
以上のことから、移動体とみなされる画像に含まれる画素で構成されるブロックについて算出した分散値差は、移動体の影とみなされる画素で概ね構成されるブロックについて算出した分散値差と比較すると大きくなる。この性質を利用して、図７の右部分のテーブルの右半分に示したように、適切に第２の閾値を設定して、分散値差と当該第２の閾値とを比較することで、ブロックを分別し、移動体の影とみなされる画素で概ね構成されるブロックを特定する。なお、この閾値も季節、時刻、天候などにより変わりうるもので、一意に決まるものではない。
【００５５】
図６の説明に戻って、算出した分散値差が第２の閾値以上であれば（ステップＳ７１３：Ｎｏルート）、分散値差処理部５３は、当該ブロックを、移動体の影とみなされる画素で概ね構成されるブロックではないと判定し、当該ブロックについての影生成処理を終了する。一方、算出した分散値差が第２の閾値未満であれば（ステップＳ７１３：Ｙｅｓルート）、分散値差処理部５３は、当該ブロックを、移動体の影とみなされる画素で概ね構成されるブロックであると判定し、フラグテーブル５２の対応するブロック番号Ｎの影フラグの列２１６を「１」（オン）に変更する（ステップＳ７１５）。
【００５６】
上でも触れたが、図７の右部分に示したテーブルが、上で述べた処理を簡単にまとめたものである。ここで丸で囲まれた個所は、差分絶対値和による判定では閾値以上と判定され且つ分散による判定では閾値未満と判定されるブロックであって、より具体的には移動体の影とみなされる画素で概ね構成されるブロックとして特定される。
【００５７】
そして、影履歴データ生成部５４は、ブロック番号Ｎに含まれる画素、すなわち移動体の影とみなされる画素の画素値を影履歴データとして影履歴テーブル５５に累積的に格納する（ステップＳ７１７）。
【００５８】
この後、影履歴データから影データを生成する。この影データ生成処理を、図８を用いて説明する。図８（ａ）は、影履歴テーブル５５に累積的に格納された影履歴データを模式的に表している。すなわちステップＳ７１７により各画素につき複数の画素値が登録されている。この影データ生成処理は、図８（ａ）に示したような影履歴データの過去Ｘサンプルから、各画素について画素値の最頻値を特定し、その特定した画素値を影データにおける当該画素の画素値とする処理である。
【００５９】
ここで、影履歴データの過去Ｘサンプルから、各画素について画素値の最頻値を特定して用いる理由について説明する。上で述べたような処理を行うことにより、影とみなされる画素で概ね構成されるブロックが特定されたわけであるが、このブロック内の全ての画素が必ずしも移動体の影の画素とは限らない。これは画素１つ１つにつき判断をしているわけではないためであって、移動体の画像の一部が含まれている場合や、背景の一部が含まれている場合であっても、上で述べた処理においては移動体の影とみなされる画素で概ね構成されるブロックと判断される場合がある。また、移動体の画像が一様な画素値を有するような場合には、移動体の画像に含まれる画素で概ね構成されるブロックも、移動体の影とみなされる画素で概ね構成されるブロックと誤って判断される場合がある。また、移動体の画像が背景部分と類似する場合も同様に誤った判断がなされる場合がある。このように、上で述べた処理において特定されたブロック内の画素の画素値をそのまま使用することは、適切ではない。但し、複数の入力画像について処理すれば、特定のブロックにつき移動体の影ではない画素の画素値が常に特定されるわけではなく、移動体の影に含まれる画素の画素値が大部分となる。従って、影履歴データの過去Ｘサンプルから、各画素について画素値の最頻値を取れば、移動体の画像に含まれる画素の画素値は排除され、移動体の影の画素の画素値が特定されることになる。この影データ生成処理については、再度図６および図８を用いて説明する。
【００６０】
まず、影ヒストグラム生成部５６は、影履歴テーブル５５におけるブロック番号Ｎに含まれる各画素について、過去Ｘサンプルを基にヒストグラムを生成する。これを図示したものが図８（ｂ）である。すなわち、図８（ｂ）は、図８（ａ）に示される１つの画素について、影履歴データとして累積的に格納された画素値のうち、過去Ｘサンプルを基に生成したヒストグラムを模式的に表したものである。なお、図８（ｂ）の横軸は画素の画素値を表し、縦軸はある画素値の画素がＸサンプルのうちで出現した頻度を表す。ここで、図８（ｂ）において頻度が最も高い画素値、すなわち画素値の最頻値を特定し、影データとして用いる当該画素の画素値とする。そして、ブロック番号Ｎに含まれる全ての画素について画素値の最頻値を特定し、生成したブロックが図８（ｃ）となる。次に、影ヒストグラム生成部５６は、影テーブルのブロック番号Ｎに含まれる画素の画素値を、特定した最頻値で更新する（ステップＳ７１９）。
【００６１】
ここで、プログラムカウンタＮの値がブロック番号の最大値に達していなければ、未処理のブロックが残っていることになる（ステップＳ７２１：Ｎｏルート）。したがって、プログラムカウンタＮの値を１増加させ（ステップＳ７２３）、次のブロックの移動体領域判定処理に移る（ステップＳ７０５）。プログラムカウンタＮの値がブロック番号の最大値に達していれば、全てのブロックについて処理が終了したことなり（ステップＳ７２１：Ｙｅｓルート）、影生成処理を終了する。
【００６２】
図９は、生成された影データでブロックごとに影付背景画像を置き換えることで、影データが増加する様子を表したものである。図９（ａ）は影付背景画像生成処理および影データ生成処理の初期段階を示しており、（ｂ）、（ｃ）と右に行くにつれて、影付背景画像における影データが増加していく様子が示されている。なお、このように影データを増加させるには、１枚の入力画像では足りず、複数の入力画像につき上で述べた処理を実施する必要がある。そして、図９（ｃ）のように影データが十分に蓄積されたところで、移動体画像抽出処理が可能となる。したがって、次に影ヒストグラム生成部５６は、蓄積された影データが所定量に達しているかの判断を行う（図３：ステップＳ９）。所定量に達しているかについての判断は、例えば、背景画像における道路部分に含まれる画素のうち、影データが存在する画素（影テーブル５７において画素値を有する画素）の割合が一定の基準を超えたか否かで行う。蓄積された影データが所定量未満であれば、ステップＳ３に戻り、再度影データ蓄積処理を行う（ステップＳ９：Ｎｏルート）。蓄積された影データが所定量以上であれば、次の移動体画像抽出処理に移る（ステップＳ９：Ｙｅｓルート）。移動体画像抽出処理については、図１０および図１１を用いて詳細に説明する。
【００６３】
まず、移動体画像を抽出する基となる入力画像を取得する。画像データ入力部１１は、入力画像を取得して入力画像テーブル１２に入力画像データを格納する（ステップＳ１０）。なお、ステップＳ１乃至Ｓ９については、ステップＳ１０以降の処理の前処理として実施されるので、ステップＳ３等において取得される入力画像と、移動体画像を実際に抽出することを目的として本ステップにおいて取得される入力画像とは異なる。但し、例えば過去の入力画像の解析を実施する場合には、例えばステップＳ３で取得された入力画像をそのまま使用することも可能であり、その際には本ステップはスキップされる。
【００６４】
次に、入力画像から移動体画像を抽出する。この移動体抽出処理は、２段階で行う。第１段階では、入力画像と背景画像との差を算出することで、移動体および当該移動体の影が含まれる画像である移動体領域画像を抽出する。具体的には、一次抽出処理部９１が、入力画像テーブル１２における画素の画素値と、背景画像テーブル３７の対応する画素の画素値との差を算出し、当該算出した値を一次抽出結果テーブル９３に格納する（ステップＳ１１）。なお、全ての画素についてこの算出した値を格納するのではなく、算出した値が所定の閾値以上となる画素についてのみ、当該算出した値を一次抽出結果テーブル９３に格納する。なお、一次抽出結果テーブル９３に予め全画素についてＮＵＬＬ値を格納しておけば、後で本ステップにおいて所定の閾値以上の値が算出された画素を特定できる。すなわち、所定の閾値を用いることにより、移動体領域画像に含まれる画素とそれ以外の画素とを分別することができる。
【００６５】
なお、このように所定の閾値を用いるのは、入力画像の背景部分に含まれる画素の画素値と、背景画像の対応する画素の画素値との間には、ほぼ必ず微小な差が発生してしまうためである。このような微小な差は、入力画像の背景部分に含まれる画素の画素値に、例えば撮影時の気象状況などに応じたある程度の揺れがあり、背景画像の対応する画素の画素値と一致するとは限らないためである。しかし、移動体領域画像のみを抽出するためには、移動体領域画像以外の背景部分に画素値が検出されない方が好ましい。従って、入力画像の背景部分に含まれる画素の画素値と、背景画像の対応する画素の画素値との差が、所定の閾値より小さければ、背景部分に含まれる画素として特定して算出された画素値の差を登録せず、所定の閾値以上であれば移動体領域画像に含まれる画素として特定して算出された画素値の差を登録するものである。なお、この所定の閾値は、上で述べた差がどの程度生じるかによって決定されるが、この差の大きさは様々な要素に依存する。例えば、画像全体の明るさは昼と夜では異なる。したがって、昼に取得した入力画像を基に生成した背景画像を用いれば、昼に取得した入力画像から移動体を抽出する際には上で述べた差は小さくなる。しかし、背景画像を変更せずにそのまま用いれば、夜に取得した入力画像から移動体を抽出する際には上で述べた差は大きくなる。このように、背景画像の生成頻度などにも依存するので、上で述べた所定の閾値は必ずしも一意に決まるものではない。一方、影付背景画像についても複数種類用意し、切り替えて用いる場合もあるので、それにあわせて背景画像についても複数種類用意し、切り替えて用いるようにしてもよい。この場合、上で述べた所定の閾値はある程度固定できる。この第１段階の抽出処理を模式的に表したのが図１０である。すなわち、図１０（ａ）は入力画像、（ｂ）は背景画像であり、その差を算出することで抽出された画像が（ｃ）の移動体領域画像である。
【００６６】
第２段階では、移動体領域画像と影付背景画像との差を算出することで、移動体領域画像から移動体の画像を抽出する。具体的には、二次抽出処理部９５が、一次抽出結果テーブル９３において画素値がＮＵＬＬではない画素について、一次抽出結果テーブル９３における画素値と、第１影付背景画像テーブル７２１の対応する画素の画素値との差を算出し、当該算出した値を、最終抽出結果テーブル９７に格納する（ステップＳ１３）。そして、この第２段階の抽出処理を模式的に表したのが図１１である。（ａ）は影データが所定量蓄積された段階における影付背景画像である。そして、（ｂ）は、第１段階の移動体抽出結果である移動体領域画像である。ここで、（ｂ）の移動体領域画像の範囲についてのみ、（ｂ）の移動体領域画像と（ａ）の影付背景画像との差を取ったものが、図１１（ｃ）の移動体画像である。ここで、図１１（ｂ）の移動体領域画像における移動体画像に含まれる画素に注目すると、当該画素の画素値と図１１（ａ）の影付背景画像の対応する画素の画素値との差を算出するので、後者の値によっては、抽出結果として鮮明な移動体画像が得られない場合があり得る。しかし、入力画像における移動体の領域を判定することへの影響は小さい。したがって、移動体の挙動の追跡は可能であり、渋滞、事故発生などを認識する程度であれば大きな問題はない。なお、抽出結果の移動体画像について閾値処理を行うなどして、より正確に移動体の領域を判定することも可能である。さらに、鮮明な移動体画像が必要な場合は、例えばステップＳ１３において移動体画像に含まれる画素が特定されるため、入力画像において対応する画素の画素値を読み出せばよい。すなわち、入力画像における移動体画像に含まれる画素の画素値が抽出されるため、鮮明な移動体画像を抽出することが可能である。
【００６７】
上で述べたように、ステップＳ１０乃至ステップＳ１３により、１枚の入力画像から移動体画像を抽出するが、さらに他の入力画像から移動体画像を抽出する場合は、再度ステップＳ１０に戻る（ステップＳ１５：Ｎｏルート）。他の入力画像について移動体画像を抽出しない場合には、処理を終了する（ステップＳ１５：Ｙｅｓルート）。
【００６８】
以上のように、影付背景画像を事前に生成しておけば、少ない処理量で入力画像から移動体画像を抽出することができる。また、移動体画像抽出に要する処理量が少ないことから、リアルタイムで移動体の挙動を追跡することが可能となる。さらに、背景差分法によると移動体の影などを移動体として誤って認識してしまう可能性もあるが、上で述べた移動体領域画像と影付背景画像との差を取ることにより、移動体のみを正確に抽出することが可能となる。
【００６９】
以上本発明の一実施の形態について説明したが、本発明はこれに限定されるものではない。例えば、図２（ａ）乃至図２（ｄ）に示したテーブル構成は一例であって、同様のデータを格納するためであれば別の構成を採用するようにしてもよいし、必要に応じて項目を追加又は削除してもよい。さらに、図１における入力画像テーブル１２、背景画像テーブル３７および影テーブル５７は追加してもよい。また、図１に示した移動体画像抽出装置１００の機能ブロック構成は一例であって、実際のプログラム・モジュール構成とは異なる場合がある。また、図３乃至図６に示した処理フローも一例であって、同様の処理結果が得られる範囲において処理の順序を入れ替えてもよいし、必要に応じてステップを追加又は削除してもよい。
【００７０】
また、本実施の形態では、影付背景画像生成処理と影生成処理を交互に実施する処理フローを説明しているが、影生成処理を繰り返して影データの蓄積を行い、影データが所定量蓄積されたと判断された時点、例えば図３においてステップＳ９とステップＳ１０との間に影付背景画像生成処理を実施するようにしてもよいし、影生成処理が所定の回数実施されるごとに影付背景画像生成処理を実施してもよい。さらに、オペレータが影テーブル５７などを監視し、影データが十分蓄積されたと判断した時点で影付背景画像生成処理を実行させるような指示を入力してもよい。また、影付背景画像の背景画像として用いる画像は、１回の背景画像生成処理によってのみ生成される例を説明しているが、複数回生成してもよい。すなわち、影付背景画像を生成する基となる入力画像および移動体画像を抽出する基となる入力画像を取得するたびに、背景画像履歴データから背景画像を生成する処理を実施してもよいし、当該入力画像を所定の回数取得するたびに、背景画像履歴データから背景画像を生成する処理を実施してもよい。また、背景画像生成処理を他の処理とは切り離して、一定の周期で入力画像を取得し、当該入力画像を取得するたびに背景画像履歴データから背景画像を生成する処理を実施してもよいし、一定の周期で入力画像を取得し、当該入力画像を所定の回数取得するたびに、背景画像履歴データから背景画像を生成する処理を実施してもよい。また、影データが十分蓄積されたと判断された後は影付背景画像を生成しない例を説明しているが、移動体画像抽出処理を行う前に影付背景画像を生成して用いてもよい。さらに、影付背景画像はコンピュータが生成する例を説明しているが、オペレータが天候などを考慮して影データを作成し、当該影データに含まれる画素の画素値で、背景画像の対応する画素の画素値を置き換えることで、オペレータが影付背景画像を作成するようにしてもよい。
【００７１】
また、移動体画像抽出装置１００がネットワークのサーバ上に配置されており、クライアントとなるコンピュータのディスプレイに移動体画像抽出結果を出力させる構成も可能である。さらに、他のサーバ上に保持されている入力画像を画像データ入力部１１がネットワークを介して取得するようにしてもよい。また、移動体画像抽出装置１００は複数台のコンピュータにより実現される場合もある。例えば、本実施の形態で述べた５つの処理部がそれぞれ別のコンピュータ上に配置されており、それらコンピュータが互いにネットワークで接続されていてもよい。
【００７２】
（付記１）
コンピュータが、移動体の画像および当該移動体の影の画像を含む入力画像から前記移動体の画像を抽出する移動体画像抽出方法であって、
前記コンピュータは、
前記入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得して影付背景画像格納部へ格納する取得ステップと、
前記影付背景画像格納部に格納される影付背景画像を用いて前記入力画像から移動体の画像を抽出する抽出ステップと、
を実行することを特徴とする移動体画像抽出方法。
【００７３】
（付記２）
前記取得ステップが、
前記入力画像において移動体の影とみなされる画素を特定する影特定ステップと、
前記影特定ステップにより特定された画素の画素値を用いて決定される画素値で、既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像のうち対応する画素の画素値を置換する置換ステップと、
を含む付記１記載の移動体画像抽出方法。
【００７４】
（付記３）
前記影特定ステップが、
前記入力画像および前記背景画像をぞれぞれ所定のサイズを有するブロックに分割するステップと、
前記入力画像において、移動体とみなされる画像に含まれる画素と当該移動体の影とみなされる画素とのうち少なくともいずれかを含むブロックである移動体領域ブロックを特定する移動体領域ブロック特定ステップと、
特定された前記移動体領域ブロックの中から前記移動体の影とみなされる画素を含むブロックである影ブロックを特定する影ブロック特定ステップと、
を含む付記２記載の移動体画像抽出方法。
【００７５】
（付記４）
前記移動体領域ブロック特定ステップが、
前記入力画像のブロックと前記背景画像の対応するブロックの画素値の差分絶対値和を算出するステップと、
算出された前記差分絶対値和が所定の閾値以上であるブロックを前記移動体領域ブロックとして特定するステップと、
を含む付記３記載の移動体画像抽出方法。
【００７６】
（付記５）
前記影ブロック特定ステップが、
前記ブロック特定ステップにより特定された前記移動体領域ブロックの画素値の分散および前記背景画像の対応するブロックの画素値の分散を算出し、それらの差を算出する分散差算出ステップと、
算出された前記分散の差が所定の閾値以下であるブロックを前記影ブロックとして特定するステップと、
を含む付記３記載の移動体画像抽出方法。
【００７７】
（付記６）
前記置換ステップが、
前記影ブロック特定ステップにより特定された影ブロックに含まれる画素について画素値を含むデータを累積的に格納する影データ格納ステップと、
前記影データ格納ステップにおいて格納されたデータの所定の範囲における各画素の画素値の最頻値を特定する最頻値特定ステップと、
特定された前記最頻値で既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像の対応する画素の画素値を置換するステップと、
を含む付記２記載の移動体画像抽出方法。
【００７８】
（付記７）
前記抽出ステップが、
前記入力画像の画素と前記背景画像の対応する画素との画素値の差に基づいて差分画像を生成する差分画像生成ステップと、
生成された前記差分画像の画素と前記影付背景画像の対応する画素との画素値の差に基づいて前記差分画像から移動体の画像を抽出する移動体画像抽出ステップと、
を含む付記１記載の移動体画像抽出方法。
【００７９】
（付記８）
移動体の画像および当該移動体の影の画像を含む入力画像から前記移動体の画像を抽出する移動体画像抽出装置であって、
前記入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得して影付背景画像格納部へ格納する取得手段と、
前記影付背景画像格納部に格納される影付背景画像を用いて前記入力画像から移動体の画像を抽出する抽出手段と、
を有する移動体画像抽出装置。
【００８０】
（付記９）
付記１乃至７のいずれか１つ記載の移動体画像抽出方法をコンピュータに実行させるためのプログラム。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施の形態における移動体画像抽出装置の機能ブロックの概要を示す図である。
【図２】（ａ）は、入力画像テーブル、背景画像テーブル、影テーブルおよび影付背景画像ＤＢ７２に含まれる影付背景画像テーブルの構成及び格納されるデータの一例を示す図である。（ｂ）は、背景画像履歴テーブルおよび影履歴テーブルの構成及び格納されるデータの一例を示す図である。（ｃ）は、フラグテーブルの構成及び格納されるデータの一例を示す図である。（ｄ）は、一次抽出結果テーブルおよび最終抽出結果テーブルの構成及び格納されるデータの一例を示す図である。
【図３】本発明の一実施の形態における処理フローを示す図である。
【図４】背景画像生成処理の処理フローを示す図である。
【図５】影付背景画像生成処理の処理フローを示す図である。
【図６】影生成処理の処理フローを示す図である。
【図７】影生成処理の処理内容を模式的に示す図である。
【図８】影生成処理の処理内容を模式的に示す図である。
【図９】影データが蓄積される様子を模式的に示した図である。
【図１０】背景差分法を用いた移動体画像抽出方法を模式的に示す図である。
【図１１】本発明の一実施の形態における移動体画像抽出方法を模式的に示す図である。
【符号の説明】
【００８２】
１ 画像入力処理部 ３ 背景画像生成処理部
５ 影生成処理部 ７ 影付背景画像生成処理部
９ 移動体抽出処理部 １１ 画像データ入力部
１２ 入力画像テーブル ３１ 背景画像履歴データ生成部
３３ 背景画像履歴テーブル ３５ 背景画像ヒストグラム生成部
３７ 背景画像テーブル ５１ 差分絶対値和処理部
５２ フラグテーブル ５３ 分散値差処理部
５４ 影履歴データ生成部 ５５ 影履歴テーブル
５６ 影ヒストグラム生成部 ５７ 影テーブル
７１ 影付背景画像生成部 ７２ 影付背景画像ＤＢ
９１ 一次抽出処理部 ９３ 一次抽出結果テーブル
９５ 二次抽出処理部 ９７ 最終抽出結果テーブル
１００ 移動体画像抽出装置 ７２１ 第１影付背景画像テーブル
７２２ 第２影付背景画像テーブル ７２３ 第３影付背景画像テーブル
【技術分野】
【０００１】
本発明は、入力画像から移動体の画像を抽出する技術に関する。
【背景技術】
【０００２】
道路の交通状況を把握する手段として、カメラで撮像された画像を処理して移動体を抽出し、その挙動を追跡する方法がある。移動体の挙動を追跡することで、渋滞、事故発生などの認識自動化が可能となる。この移動体を正確に抽出する技術が重要となる。
【０００３】
移動体を抽出するための一般的な手法として、背景差分法が知られている。これは、カメラで撮像された時系列画像から、移動体のない背景画像を生成しておき、背景画像と入力画像の画素値差分をとることで移動体を抽出する手法である。
【０００４】
一方、例えば特開平０６−２２３１８９号公報は、背景変化を動きとして検出せずに移動体を抽出できるようにする技術を開示している。すなわち、入力画像と背景画像の差分に対し２値化処理を施すことによって動きを抽出する際に、入力画像の時間的変化を抽出し、この検出した変化を用いて２値化処理のための閾値または背景画像生成を制御するものである。しかし、太陽の光や照明の光によって生じる移動体の影をも抽出してしまうため、移動体の領域を正確に認識することができない。
【０００５】
また、特開平１０−２４７２４７号公報は、入力画像と背景画像の差分である背景差分画像に、移動体の影の部分のような画素値を一様にとる領域があっても、その領域を除いた移動体だけを抽出する技術を開示している。すなわち、入力画像と背景画像との差分演算を行なって背景差分画像を生成し、背景差分画像を小領域に分割し、小領域の画素の平均値を除く特徴量である交流成分特徴量から交流成分画像を生成し、交流成分画像の各画素値を閾値と比較することにより移動体の領域とそれ以外の領域とに弁別するものである。しかし、この技術は処理量が多い点で問題がある。
【特許文献１】特開平０６−２２３１８９号公報
【特許文献２】特開平１０−２４７２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上で述べた従来の技術は、移動体のみならず移動体の影をも抽出してしまう、もしくは移動体の影を分離して移動体のみを抽出するとしても処理量が多いといった点で問題がある。
【０００７】
したがって、本発明の目的は、少ない処理量にて移動体の画像のみを抽出するための画像処理技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る移動体画像抽出方法は、移動体の画像および当該移動体の影の画像を含む入力画像から移動体の画像を抽出する移動体画像抽出方法であって、入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得し、影付背景画像格納部に格納する取得ステップと、影付背景画像格納部に格納される影付背景画像を用いて入力画像から移動体の画像を抽出する抽出ステップとを含む。
【０００９】
上で述べたような影付背景画像を用いれば、入力画像および影付背景画像との簡単な処理にて、入力画像に含まれる移動体の影を除去することが可能となる。
【００１０】
また、上記取得ステップが、入力画像において移動体の影とみなされる画素を特定する影特定ステップと、影特定ステップにより特定された画素の画素値を用いて決定される画素値で、既に取得された影付背景画像が存在する場合には影付背景画像または背景画像のうち対応する画素の画素値を置換する置換ステップとを含むようにしてもよい。
【００１１】
影付背景画像については自動生成することにより取得する場合もあれば、何らかの手法で作成されたものを読み出すことにより取得する場合もある。例えば影特定ステップと置換ステップを繰り返すことにより影付背景画像を生成する場合は、最初の置換ステップでは背景画像の画素を置換し、以降の置換ステップでは影付背景画像の画素を置換することになる。
【００１２】
このように取得ステップにおいて影付背景画像を自動生成するような構成も可能であるし、何らかの手法にて用意された影付背景画像を単に読み出すようにしてもよい。
【００１３】
また、上記置換ステップが、影特定ステップにより特定された画素について画素値を含むデータを累積的に格納する影データ格納ステップと、影データ格納ステップにおいて格納されたデータの所定の範囲における各画素の画素値の最頻値を特定する最頻値特定ステップと、特定された最頻値で既に取得された影付背景画像が存在する場合には影付背景画像または背景画像の対応する画素の画素値を置換するステップとを含むようにしてもよい。
【００１４】
なお、上記所定の範囲としては、例えば画素の範囲やサンプルの範囲などにより規定される。すなわち、画素の範囲は、例えば上で述べたように影特定ステップと置換ステップを繰り返すことにより影付背景画像を生成する場合には、影特定ステップにより特定された画素群である。また、サンプルの範囲は、累積的に格納されたサンプルデータ全てや、例えば最新のＸ件のサンプルデータなどである。
【００１５】
また、置換ステップで用いる画素値として画素値の最頻値を用いるのは、不適切な画素値が移動体の影を表す画素値として特定されることを防ぐためである。すなわち、例えば移動体の画素が移動体の影とみなされる画素として特定されることが有り得るが、ほとんどの場合移動体の影の画素の画素値のデータが累積的に格納される。したがって、その最頻値を取得すれば、移動体の画素が誤って移動体の影とみなされる画素として特定されるようなことがあっても、そのような画素の画素値は最頻値として特定されることはないためである。
【００１６】
また、上記抽出ステップが、入力画像の画素と背景画像の対応する画素との画素値の差に基づいて差分画像を生成する差分画像生成ステップと、生成された差分画像の画素と影付背景画像の対応する画素との画素値の差に基づいて差分画像から移動体の画像を抽出する移動体画像抽出ステップとを含むようにしてもよい。
【００１７】
なお、入力画像と影付背景画像の差をとることで入力画像に含まれる移動体の影は除去することはできるが、例えば入力画像において移動体の影には含まれない画素の画素値と、影付背景画像において移動体の影に含まれる画素の画素値との差を算出する場合があり、移動体の画像を含む画素を特定する上で問題が生じることが考えられる。そこで、このように差分画像を生成して当該差分画像と影付背景画像との差をとれば、かかる問題は生じない。
【００１８】
なお、本発明に係る方法をコンピュータに実行させるためのプログラムを作成することも可能であって、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してデジタル信号として配信される場合もある。なお、処理途中のデータについては、メモリ等の記憶装置に一時保管される。
【発明の効果】
【００１９】
本発明によれば、少ない処理量にて移動体の画像のみを抽出することができる。
【発明を実施するための最良の形態】
【００２０】
図１に本発明の一実施の形態に係る移動体画像抽出装置１００の機能ブロック図を示す。移動体画像抽出装置１００は、画像入力処理部１と、背景画像生成処理部３と、影生成処理部５と、影付背景画像生成処理部７と、移動体抽出処理部９とを含む。
【００２１】
画像入力処理部１は、画像データ入力部１１と、入力画像テーブル１２とを含む。画像データ入力部１１は、例えばデジタルカメラや、アナログカメラ（フィルムカメラ）等で撮影された写真画像をデジタル化するスキャナなどの装置であり、取得した画像データを入力画像として入力画像テーブル１２に格納する。
【００２２】
背景画像生成処理部３は、背景画像履歴データ生成部３１と、背景画像履歴テーブル３３と、背景画像ヒストグラム生成部３５と、背景画像テーブル３７とを含む。背景画像履歴データ生成部３１は、入力画像テーブル１２から入力画像データを取得し、背景画像履歴テーブル３３にデータを格納する。背景画像ヒストグラム生成部３５は、背景画像履歴テーブル３３を参照して処理を行い、処理結果としての背景画像データを背景画像テーブル３７に格納する。
【００２３】
影生成処理部５は、差分絶対値和処理部５１と、フラグテーブル５２と、分散値差処理部５３と、影履歴データ生成部５４と、影履歴テーブル５５と、影ヒストグラム生成部５６と、影テーブル５７とを含む。差分絶対値和処理部５１は、入力画像テーブル１２と背景画像テーブル３７とを参照して処理を行い、処理結果としてのフラグデータをフラグテーブル５２に格納する。分散値差処理部５３は、入力画像テーブル１２と、背景画像テーブル３７と、フラグテーブル５２とを参照し、処理結果としてのフラグデータをフラグテーブル５２に格納する。影履歴データ生成部５４は、入力画像テーブル１２とフラグテーブル５２とを参照し、処理結果としての影履歴データを影履歴テーブル５５に格納する。影ヒストグラム生成部５６は、影履歴テーブル５５を参照し、処理結果としての影データを影テーブル５７に格納する。
【００２４】
影付背景画像生成処理部７は、影付背景画像生成部７１と、影付背景画像ＤＢ７２とを含む。さらに影付背景画像ＤＢ７２は、第１影付背景画像テーブル７２１と、第２影付背景画像テーブル７２２と、第３影付背景画像テーブル７２３とを含む。なお、ここでは影付背景画像ＤＢ７２に３つのテーブルが含まれる例を図示しているが、テーブルの数に制限はない。影付背景画像生成部７１は、背景画像テーブル３７と影テーブル５７とを参照し、処理結果としての影付背景画像データを、影付背景画像ＤＢ７２に含まれる影付背景画像テーブルのいずれかに格納する。
【００２５】
移動体抽出処理部９は、一次抽出処理部９１と、一次抽出結果テーブル９３と、二次抽出処理部９５と、最終抽出結果テーブル９７とを含む。一次抽出処理部９１は、入力画像テーブル１２と背景画像テーブル３７とを参照し、処理結果としての一次抽出結果データを一次抽出結果テーブル９３に格納する。二次抽出処理部９５は、影付背景画像ＤＢ７２と一次抽出結果テーブル９３とを参照し、処理結果としての最終抽出結果データを最終抽出結果テーブル９７に格納する。最終抽出結果データとして得られた移動体抽出画像については、移動体画像抽出装置１００に含まれるディスプレイ（図示せず）などの出力装置により出力してもよいし、移動体の挙動を追跡するために、上で述べた処理部とは異なる処理部に出力してもよい。
【００２６】
なお、移動体抽出装置１００は、コンピュータ装置であって、上で述べた処理部の各機能を実現するためのアプリケーション・プログラムが予め記憶装置に格納されており、また、コンピュータ装置のハードウェアおよびオペレーティング・システムにより実行されるようになっている。
【００２７】
図２（ａ）に、入力画像テーブル１２のテーブル構成の一例を示す。図２（ａ）のテーブル例には、ブロック番号の列２００と画素座標の列２０２と画素値の列２０４とが含まれている。本テーブルには、入力画像の各画素について、そのブロック番号、画素座標および画素値が格納されている。ブロック番号は、入力画像を同じサイズに分割することにより得られるブロックのそれぞれにつけられる番号である。例えば、図２（ａ）では１ブロックのサイズは８×８画素である。なお、本実施の形態において、画素値にはＨＳＶ色座標系（Ｈ：色差、Ｓ：彩度、Ｖ：輝度）におけるＶの値を用いる。ただし、ＨＳＶ色座標系ではなく他の色座標系における輝度を用いるようにしてもよい。
【００２８】
また、背景画像テーブル３７、影テーブル５７および影付背景画像ＤＢ７２に含まれる第１影付背景画像テーブル７２１、第２影付背景画像テーブル７２２および第３影付背景画像テーブル７２３も図２（ａ）と同様のテーブル構成を有する。
【００２９】
図２（ｂ）に、背景画像履歴テーブル３３のテーブル構成の一例を示す。図２（ｂ）のテーブル例には、ブロック番号の列２０６と画素座標の列２０８と画素値の履歴データの列２１０とが含まれている。すなわち、入力画像の各画素について、そのブロック番号、画素座標および画素値の履歴データが格納されている。例えば、画素値の履歴データは一番左が最新の入力画像の画素値であり、右に進むにつれて古い値となる。なお、所定個数の画素値のみを格納する場合には、最新の画素値により最古の画素値を上書きする。
【００３０】
また、影履歴テーブル５５も図２（ｂ）と同様のテーブル構成を有する。
【００３１】
図２（ｃ）に、フラグテーブル５２のテーブル構成の一例を示す。図２（ｃ）のテーブル例には、ブロック番号の列２１２と移動体フラグの列２１４と影フラグの列２１６とが含まれている。すなわち、各ブロックのブロック番号、移動体フラグ、影フラグのデータが格納されている。詳細は後に述べるが、最初は移動体フラグおよび影フラグは「０」（オフ）となっており、移動体とみなされる画像に含まれる画素または移動体の影とみなされる画素で概ね構成されると判定されたブロックについては移動体フラグを「１」（オン）に変更する。そして移動体フラグが「１」であるブロックのうち、移動体の影とみなされる画素で概ね構成されると判定されたブロックについては影フラグが「１」（オン）に変更される。例えば、ブロック番号１のブロックは、移動体フラグおよび影フラグが「１」であるから、移動体の影とみなされる画素で概ね構成されるブロックとして判定されたことになる。そして、ブロック番号２のブロックは、移動体フラグが「１」だが影フラグが「０」であるから、移動体とみなされる画像に含まれる画素で概ね構成されるブロックとして判定されたことになる。
【００３２】
図２（ｄ）に、一次抽出結果テーブル９３のテーブル構成の一例を示す。図２（ｄ）のテーブル例には、ブロック番号の列２１８、画素座標の列２２０および画素値の列２２２とが含まれている。すなわち、一次抽出結果としての移動体抽出画像の各画素のブロック番号、画素座標および画素値のデータが累積して格納されている。
【００３３】
また、最終抽出結果テーブル９７も図２（ｄ）と同様のテーブル構成を有する。
【００３４】
次に、図３乃至図１１を用いて、図１に示した移動体画像抽出装置１００の処理について説明する。なお、本実施の形態では道路を走行する車の画像を抽出する例を示すが、この例に限定されるものではなく、他の移動体の画像を抽出する場合などにも適用が可能である。
【００３５】
最初に背景画像生成処理（図３：ステップＳ１）を行う。背景画像とは、例えば道路において走行する車の画像を抽出する場合であれば、走行する車が存在しない画像、すなわち道路および街路樹などの静止物体のみが撮影された画像を指す。このような移動体が含まれない画像を取得しておき、それを背景画像としてもよいが、本実施の形態では、複数の入力画像を取得し、当該入力画像の各画素について画素値の最頻値を特定することにより背景画像を生成する。すなわち、移動体は同じ場所に長時間留まるものではないから、複数の入力画像において同じ位置の画素に注目してみれば、ある入力画像では当該画素が移動体の画像に含まれるとしても、その他大半の入力画像においては、当該画素は移動体の画像には含まれない。したがって、当該画素の画素値の最頻値は移動体の画像に含まれる画素の画素値とはならず、移動体以外の静止物体の画像に含まれる画素の画素値となる。このような背景画像の生成処理の詳細を図４を用いて説明する。
【００３６】
まず画像データ入力部１１は、入力画像を取得して入力画像テーブル１２に入力画像データを格納する（図４：ステップＳ１０１）。上でも述べたが、入力画像テーブル１２に格納されるのは各画素の輝度値である。次に、背景画像履歴データ生成部３１は、入力画像テーブル１２のデータを、背景画像履歴テーブル３３に累積的に格納する（ステップＳ１０３）。次に、背景画像履歴データ生成部３１は、背景画像履歴テーブル３３を確認して、背景画像を生成するためのデータである背景画像履歴データが所定量蓄積されたか判断する（ステップＳ１０４）。所定量の背景画像履歴データが蓄積されたかについての判断は、例えば一定枚数の入力画像が、背景画像履歴テーブル３３に蓄積されたかなどの基準に従って行う。蓄積された背景画像履歴データが所定量未満であれば（ステップＳ１０４：Ｎｏルート）、データをさらに蓄積するため、ステップＳ１０１に戻る。蓄積された背景画像履歴データが所定量以上であれば（ステップＳ１０４：Ｙｅｓルート）、次に背景画像生成処理を行う。具体的には、背景画像ヒストグラム生成部３５は、背景画像履歴テーブル３３の各画素について、過去Ｘサンプル（Ｘは所定の整数）から画素値の最頻値を特定して背景画像テーブル３７に格納する（ステップＳ１０５）。なお、本実施の形態ではサンプルの範囲を過去Ｘサンプルとしているが、背景画像履歴テーブル３３の全サンプルを用いてもよい。
【００３７】
図３の説明に戻って、次に、影付背景画像を生成する処理を行う。まず、画像データ入力部１１は、入力画像を取得して入力画像テーブル１２に入力画像データを格納する（ステップＳ３）。ステップＳ１０１において取得する入力画像は、背景画像を生成するための入力画像であり、ステップＳ３において取得する入力画像は、影付背景画像を生成するための入力画像である。ステップＳ１０１において取得する入力画像とステップＳ３において取得する入力画像は同じ画像であってもよいが、背景画像を生成するためには、できるだけ移動体の画像を含まない入力画像を用いることが好ましい。したがって、ステップＳ１０１においては、例えば、移動体があまり存在しない時に撮影された入力画像を用いる。一方、影付背景画像を生成するためには、移動体の画像が含まれる入力画像が必要となる。したがって、例えば、移動体が存在する時に撮影された入力画像を用いる。このようにステップＳ１０１とステップＳ３は別に実行することが好ましい。
【００３８】
そして影付背景画像生成処理を行う（ステップＳ５）。この影付背景画像生成処理については図５を用いて詳細に説明する。まず影付背景画像生成部７１は、１回目の影付背景画像生成処理かを判断する（図５：ステップＳ５０１）。１回目と判断された場合（ステップＳ５０１：Ｙｅｓルート）、蓄積された影データは存在しない。したがって、影付背景画像生成処理部７１は、背景画像テーブル３７のデータを、影付背景画像ＤＢ７２に含まれる影付背景画像テーブルに格納する（ステップＳ５０３）。
【００３９】
ここで、影付背景画像ＤＢ７２に複数の影付背景画像テーブルが含まれているのは、季節、時刻、天候などの変化に対応した複数の影付背景画像を保存しておくためである。すなわち、複数の影付背景画像を季節、時刻、天候などの変化に応じて切り換えることにより、より正確に移動体の画像を抽出しようとするものである。以下の説明では、本実施の形態で用いる影付背景画像テーブルを、第１影付背景画像テーブル７２１とする。
【００４０】
１回目ではないと判断された場合（ステップＳ５０１：Ｎｏルート）、影付背景画像生成部７１は、影テーブル５７に格納されたデータ（影テーブル５７にデータを格納する処理については後に述べる。）を用いて、影付背景画像を生成する。影テーブル５７については後に詳しく述べるが、影テーブル５７は、移動体の影とみなされる画素で概ね構成されるブロックに含まれる画素の画素値を格納するテーブルであるため、それ以外の画素についてはＮＵＬＬ値が格納されている。したがって、影付背景画像生成部７１は、影テーブル５７に格納された画素のうち、画素値がＮＵＬＬではないものを特定する。そして、影付背景画像生成部７１は、その特定された画素の画素値で、第１影付背景画像テーブル７２１の対応する画素の画素値を更新する（ステップＳ５０５）。
【００４１】
図３の説明に戻って、次に、移動体の影とみなされる画素を抽出し、影データを生成する処理である影生成処理を行う（ステップＳ７）。この影生成処理については図６を用いて詳細に説明する。まず差分絶対値和処理部５１は、プログラムカウンタＮに「１」を格納する（図６：ステップＳ７０１）。このプログラムカウンタＮの値は、影生成処理の対象となるブロック番号を示す。次に、差分絶対値和処理部５１は、フラグテーブル５２のデータを初期化する（ステップＳ７０３）。すなわち、全フラグを「０」（オフ）にセットする。
【００４２】
次に、移動体の影とみなされる画素で概ね構成されるブロックを特定する処理の前段階として、入力画像テーブル１２から、移動体とみなされる画像に含まれる画素および移動体の影とみなされる画素である移動体領域画素により概ね構成されるブロックを特定する処理を行う。この具体的な処理を説明する前に、図７を用いて入力画像に含まれる各ブロックの性質について説明する。
【００４３】
図７の左部分における（Ａ）は入力画像を表し、（Ｂ）は背景画像を表す。そして両画像におけるａ、ｂ、ｃはブロックを表し、（Ａ）と（Ｂ）において同じ位置に配置されている。ここで、図７の左部分における（Ａ）のブロックａは移動体の画像に含まれるブロック、ブロックｂは移動体の影に含まれるブロック、ブロックｃは背景部分（この例では道路）に含まれるブロックである。そして、図７の中央部分における６つのブロックは、上で述べた各ブロックを拡大したものである。すなわち、図７の中央部分におけるブロックのうち、（Ａ）列（ａ）行のブロックは、入力画像（Ａ）におけるブロックａを拡大したものであり、（Ａ）列（ｂ）行のブロックは、入力画像（Ａ）におけるブロックｂを拡大したものであり、（Ａ）列（ｃ）行のブロックは、入力画像（Ａ）におけるブロックｃを拡大したものである。同様に、図７の中央部分におけるブロックのうち、（Ｂ）列（ａ）行のブロックは、入力画像（Ｂ）におけるブロックａを拡大したものであり、（Ｂ）列（ｂ）行のブロックは、入力画像（Ｂ）におけるブロックｂを拡大したものであり、（Ｂ）列（ｃ）行のブロックは、入力画像（Ｂ）におけるブロックｃを拡大したものである。
【００４４】
次に、図７の中央部分におけるブロックについて説明を加える。本実施の形態における移動体である車は、その車体の色は一様であるものが多いが、車体は日光等の光を反射するため、入力画像として取得した場合、車体については一様な画素値を取ることは少ない。さらに、ホイールやライト等のパーツを含むため、なおさら一様な画素値を取ることは少なくなる。それを表したものが、図７の中央部分における、（Ａ）列（ａ）行のブロックである。すなわち、様々な画素値を持つ画素が含まれるブロックとなる。なお、（Ｂ）列（ａ）行のブロックは背景部分に含まれるブロックであるから、（Ａ）列（ａ）行のブロックとは異なり、ほぼ一様な画素値を持つ画素が含まれるブロックとなる。
【００４５】
一方、背景部分に影がかかると、その部分は元の背景と比べ、一様に暗くなる。しかし、影の透過性のため、元の背景の特徴は失われない。それを表したものが、（Ａ）列（ｂ）行と（Ｂ）列（ｂ）行のブロックである。元の背景が（Ｂ）列（ｂ）行のブロックであり、当該ブロックには円弧状の線が含まれている。このブロックに影がかかったものが、（Ａ）列（ｂ）行のブロックである。すなわち、円弧状の線が含まれるという特徴は失われず、ブロック全体が一様に暗くなっている。なお、（Ａ）列（ｂ）行のブロックに含まれる当該円弧状の線は、（Ｂ）列（ｂ）行のブロックに含まれるものと比べて、影がかかっているため、より暗くなる。
【００４６】
そして、（Ａ）列（ｃ）行および（Ｂ）列（ｃ）行のブロックはいずれも背景部分に含まれるブロックであるため、両ブロックにおいて対応する画素の画素値は、ほぼ同様の値をとる。
【００４７】
以上のように、移動体の画像に含まれるブロック、移動体の影に含まれるブロック、背景部分に含まれるブロックはそれぞれ特徴を有する。この特徴を利用して、入力画像から、概ね移動体領域画素で構成されるブロックを特定する移動体領域画素特定処理を行う。
【００４８】
具体的には、差分絶対値和処理部５１は、入力画像テーブル１２と背景画像テーブル３７とを用いて、ブロック番号Ｎの差分絶対値和を算出する（ステップＳ７０５）。すなわち、入力画像テーブル１２においてブロック番号Ｎに含まれる画素の画素値と、背景画像テーブル３７において対応する画素の画素値との差を算出し、さらにその差の絶対値を算出する。そして、ブロック番号Ｎのブロックに含まれる全ての画素について上記の計算を行い、算出された全ての絶対値の和を算出する。
【００４９】
ここで、再度図７を参照すると、背景部分に含まれるブロックである（Ａ）列（ｃ）行および（Ｂ）列（ｃ）行のブロックはほぼ同一の画像となるため、差分絶対値和は小さくなる。一方、（Ａ）列（ａ）行および（Ｂ）列（ａ）行のブロックは全く異なる画像となるため、このブロックの差分絶対値和は大きくなる。また、（Ａ）列（ｂ）行および（Ｂ）列（ｂ）行のブロックは、後者のブロックの輝度をほぼ一様に落としたものが前者のブロックであって、このブロックの差分絶対値和は大きくなる。
【００５０】
以上のことから、概ね移動体領域画素で構成されるブロックは、背景部分に含まれるブロックと比較して差分絶対値和が大きくなる。したがって、図７の右部分のテーブルの左半分に示すように、所定の閾値を設定し、差分絶対値和と当該閾値とを比較することで、ブロックを分別し、概ね移動体領域画素で構成されるブロックを特定する。なお、この閾値は季節、時刻、天候などにより変わりうるもので、一意に決まるものではない。
【００５１】
したがって、算出した差分絶対値和が所定の閾値未満であれば（ステップＳ７０７：Ｎｏルート）、差分絶対値和処理部５１は、当該ブロックを、概ね移動体領域画素で構成されるブロックではないと判定し、当該ブロックについての影生成処理を終了する。算出した差分絶対値和が所定の閾値以上であれば（ステップＳ７０７：Ｙｅｓルート）、差分絶対値和処理部５１は、当該ブロックを、概ね移動体領域画素で構成されるブロックであると判定し、次に、フラグテーブル５２の対応するブロック番号Ｎの移動体フラグの列２１４を「１」（オン）に変更する（ステップＳ７０９）。
【００５２】
次に、概ね移動体領域画素で構成されるブロックとして特定されたブロックの中から、移動体の影とみなされる画素で概ね構成されるブロックを特定する処理を行う。
【００５３】
具体的には、分散値差処理部５３は、入力画像テーブル１２においてブロック番号Ｎに含まれる画素の画素値の分散と、背景画像テーブル３７においてブロック番号Ｎに含まれる画素の画素値の分散との差である分散値差を算出する（ステップＳ７１１）。分散とは、ここではブロックに含まれる画素の画素値のばらつきの度合いを示すものであり、例えば画素値が一様なブロックの分散は０となる。ここで、再度図７の中央部分を参照すると、（Ｂ）の列の３つのブロックおよび（Ａ）列（ｃ）行のブロックは背景部分に含まれるブロックであり、いずれもほぼ一様な画素値を有するため、分散の値は小さくなる。このようなブロックは、周波数空間へ変換した場合には、低周波成分を多く含むブロックであるとも言える。次に、（Ａ）列（ａ）行のブロックは、移動体の画像に含まれるブロックであり、様々な画素値の画素が含まれている。したがって、そのブロックの分散の値は大きくなる。このようなブロックは、周波数空間へ変換した場合には、高周波成分を多く含むブロックであるとも言える。そして、（Ａ）列（ｂ）行のブロックは、背景部分に含まれるブロックに影がかかったものであり、ほぼ一様な画素値をとる。したがって、そのブロックの分散の値は小さくなる。すなわち、（Ａ）列（ａ）行および（Ｂ）列（ａ）行のブロックの組み合わせについての分散値差は大きくなるが、（Ａ）列（ｂ）行および（Ｂ）列（ｂ）行のブロックの組み合わせについての分散値差は小さくなる。なお、背景部分に含まれるブロックである（Ａ）列（ｃ）行のブロックと（Ｂ）列（ｃ）行のブロックの組み合わせについての分散値差も小さくなるが、本処理では概ね移動体領域画素で構成されるブロックのみを取り扱うため、本処理の以下の説明では背景部分に含まれるブロックについては言及しない。
【００５４】
以上のことから、移動体とみなされる画像に含まれる画素で構成されるブロックについて算出した分散値差は、移動体の影とみなされる画素で概ね構成されるブロックについて算出した分散値差と比較すると大きくなる。この性質を利用して、図７の右部分のテーブルの右半分に示したように、適切に第２の閾値を設定して、分散値差と当該第２の閾値とを比較することで、ブロックを分別し、移動体の影とみなされる画素で概ね構成されるブロックを特定する。なお、この閾値も季節、時刻、天候などにより変わりうるもので、一意に決まるものではない。
【００５５】
図６の説明に戻って、算出した分散値差が第２の閾値以上であれば（ステップＳ７１３：Ｎｏルート）、分散値差処理部５３は、当該ブロックを、移動体の影とみなされる画素で概ね構成されるブロックではないと判定し、当該ブロックについての影生成処理を終了する。一方、算出した分散値差が第２の閾値未満であれば（ステップＳ７１３：Ｙｅｓルート）、分散値差処理部５３は、当該ブロックを、移動体の影とみなされる画素で概ね構成されるブロックであると判定し、フラグテーブル５２の対応するブロック番号Ｎの影フラグの列２１６を「１」（オン）に変更する（ステップＳ７１５）。
【００５６】
上でも触れたが、図７の右部分に示したテーブルが、上で述べた処理を簡単にまとめたものである。ここで丸で囲まれた個所は、差分絶対値和による判定では閾値以上と判定され且つ分散による判定では閾値未満と判定されるブロックであって、より具体的には移動体の影とみなされる画素で概ね構成されるブロックとして特定される。
【００５７】
そして、影履歴データ生成部５４は、ブロック番号Ｎに含まれる画素、すなわち移動体の影とみなされる画素の画素値を影履歴データとして影履歴テーブル５５に累積的に格納する（ステップＳ７１７）。
【００５８】
この後、影履歴データから影データを生成する。この影データ生成処理を、図８を用いて説明する。図８（ａ）は、影履歴テーブル５５に累積的に格納された影履歴データを模式的に表している。すなわちステップＳ７１７により各画素につき複数の画素値が登録されている。この影データ生成処理は、図８（ａ）に示したような影履歴データの過去Ｘサンプルから、各画素について画素値の最頻値を特定し、その特定した画素値を影データにおける当該画素の画素値とする処理である。
【００５９】
ここで、影履歴データの過去Ｘサンプルから、各画素について画素値の最頻値を特定して用いる理由について説明する。上で述べたような処理を行うことにより、影とみなされる画素で概ね構成されるブロックが特定されたわけであるが、このブロック内の全ての画素が必ずしも移動体の影の画素とは限らない。これは画素１つ１つにつき判断をしているわけではないためであって、移動体の画像の一部が含まれている場合や、背景の一部が含まれている場合であっても、上で述べた処理においては移動体の影とみなされる画素で概ね構成されるブロックと判断される場合がある。また、移動体の画像が一様な画素値を有するような場合には、移動体の画像に含まれる画素で概ね構成されるブロックも、移動体の影とみなされる画素で概ね構成されるブロックと誤って判断される場合がある。また、移動体の画像が背景部分と類似する場合も同様に誤った判断がなされる場合がある。このように、上で述べた処理において特定されたブロック内の画素の画素値をそのまま使用することは、適切ではない。但し、複数の入力画像について処理すれば、特定のブロックにつき移動体の影ではない画素の画素値が常に特定されるわけではなく、移動体の影に含まれる画素の画素値が大部分となる。従って、影履歴データの過去Ｘサンプルから、各画素について画素値の最頻値を取れば、移動体の画像に含まれる画素の画素値は排除され、移動体の影の画素の画素値が特定されることになる。この影データ生成処理については、再度図６および図８を用いて説明する。
【００６０】
まず、影ヒストグラム生成部５６は、影履歴テーブル５５におけるブロック番号Ｎに含まれる各画素について、過去Ｘサンプルを基にヒストグラムを生成する。これを図示したものが図８（ｂ）である。すなわち、図８（ｂ）は、図８（ａ）に示される１つの画素について、影履歴データとして累積的に格納された画素値のうち、過去Ｘサンプルを基に生成したヒストグラムを模式的に表したものである。なお、図８（ｂ）の横軸は画素の画素値を表し、縦軸はある画素値の画素がＸサンプルのうちで出現した頻度を表す。ここで、図８（ｂ）において頻度が最も高い画素値、すなわち画素値の最頻値を特定し、影データとして用いる当該画素の画素値とする。そして、ブロック番号Ｎに含まれる全ての画素について画素値の最頻値を特定し、生成したブロックが図８（ｃ）となる。次に、影ヒストグラム生成部５６は、影テーブルのブロック番号Ｎに含まれる画素の画素値を、特定した最頻値で更新する（ステップＳ７１９）。
【００６１】
ここで、プログラムカウンタＮの値がブロック番号の最大値に達していなければ、未処理のブロックが残っていることになる（ステップＳ７２１：Ｎｏルート）。したがって、プログラムカウンタＮの値を１増加させ（ステップＳ７２３）、次のブロックの移動体領域判定処理に移る（ステップＳ７０５）。プログラムカウンタＮの値がブロック番号の最大値に達していれば、全てのブロックについて処理が終了したことなり（ステップＳ７２１：Ｙｅｓルート）、影生成処理を終了する。
【００６２】
図９は、生成された影データでブロックごとに影付背景画像を置き換えることで、影データが増加する様子を表したものである。図９（ａ）は影付背景画像生成処理および影データ生成処理の初期段階を示しており、（ｂ）、（ｃ）と右に行くにつれて、影付背景画像における影データが増加していく様子が示されている。なお、このように影データを増加させるには、１枚の入力画像では足りず、複数の入力画像につき上で述べた処理を実施する必要がある。そして、図９（ｃ）のように影データが十分に蓄積されたところで、移動体画像抽出処理が可能となる。したがって、次に影ヒストグラム生成部５６は、蓄積された影データが所定量に達しているかの判断を行う（図３：ステップＳ９）。所定量に達しているかについての判断は、例えば、背景画像における道路部分に含まれる画素のうち、影データが存在する画素（影テーブル５７において画素値を有する画素）の割合が一定の基準を超えたか否かで行う。蓄積された影データが所定量未満であれば、ステップＳ３に戻り、再度影データ蓄積処理を行う（ステップＳ９：Ｎｏルート）。蓄積された影データが所定量以上であれば、次の移動体画像抽出処理に移る（ステップＳ９：Ｙｅｓルート）。移動体画像抽出処理については、図１０および図１１を用いて詳細に説明する。
【００６３】
まず、移動体画像を抽出する基となる入力画像を取得する。画像データ入力部１１は、入力画像を取得して入力画像テーブル１２に入力画像データを格納する（ステップＳ１０）。なお、ステップＳ１乃至Ｓ９については、ステップＳ１０以降の処理の前処理として実施されるので、ステップＳ３等において取得される入力画像と、移動体画像を実際に抽出することを目的として本ステップにおいて取得される入力画像とは異なる。但し、例えば過去の入力画像の解析を実施する場合には、例えばステップＳ３で取得された入力画像をそのまま使用することも可能であり、その際には本ステップはスキップされる。
【００６４】
次に、入力画像から移動体画像を抽出する。この移動体抽出処理は、２段階で行う。第１段階では、入力画像と背景画像との差を算出することで、移動体および当該移動体の影が含まれる画像である移動体領域画像を抽出する。具体的には、一次抽出処理部９１が、入力画像テーブル１２における画素の画素値と、背景画像テーブル３７の対応する画素の画素値との差を算出し、当該算出した値を一次抽出結果テーブル９３に格納する（ステップＳ１１）。なお、全ての画素についてこの算出した値を格納するのではなく、算出した値が所定の閾値以上となる画素についてのみ、当該算出した値を一次抽出結果テーブル９３に格納する。なお、一次抽出結果テーブル９３に予め全画素についてＮＵＬＬ値を格納しておけば、後で本ステップにおいて所定の閾値以上の値が算出された画素を特定できる。すなわち、所定の閾値を用いることにより、移動体領域画像に含まれる画素とそれ以外の画素とを分別することができる。
【００６５】
なお、このように所定の閾値を用いるのは、入力画像の背景部分に含まれる画素の画素値と、背景画像の対応する画素の画素値との間には、ほぼ必ず微小な差が発生してしまうためである。このような微小な差は、入力画像の背景部分に含まれる画素の画素値に、例えば撮影時の気象状況などに応じたある程度の揺れがあり、背景画像の対応する画素の画素値と一致するとは限らないためである。しかし、移動体領域画像のみを抽出するためには、移動体領域画像以外の背景部分に画素値が検出されない方が好ましい。従って、入力画像の背景部分に含まれる画素の画素値と、背景画像の対応する画素の画素値との差が、所定の閾値より小さければ、背景部分に含まれる画素として特定して算出された画素値の差を登録せず、所定の閾値以上であれば移動体領域画像に含まれる画素として特定して算出された画素値の差を登録するものである。なお、この所定の閾値は、上で述べた差がどの程度生じるかによって決定されるが、この差の大きさは様々な要素に依存する。例えば、画像全体の明るさは昼と夜では異なる。したがって、昼に取得した入力画像を基に生成した背景画像を用いれば、昼に取得した入力画像から移動体を抽出する際には上で述べた差は小さくなる。しかし、背景画像を変更せずにそのまま用いれば、夜に取得した入力画像から移動体を抽出する際には上で述べた差は大きくなる。このように、背景画像の生成頻度などにも依存するので、上で述べた所定の閾値は必ずしも一意に決まるものではない。一方、影付背景画像についても複数種類用意し、切り替えて用いる場合もあるので、それにあわせて背景画像についても複数種類用意し、切り替えて用いるようにしてもよい。この場合、上で述べた所定の閾値はある程度固定できる。この第１段階の抽出処理を模式的に表したのが図１０である。すなわち、図１０（ａ）は入力画像、（ｂ）は背景画像であり、その差を算出することで抽出された画像が（ｃ）の移動体領域画像である。
【００６６】
第２段階では、移動体領域画像と影付背景画像との差を算出することで、移動体領域画像から移動体の画像を抽出する。具体的には、二次抽出処理部９５が、一次抽出結果テーブル９３において画素値がＮＵＬＬではない画素について、一次抽出結果テーブル９３における画素値と、第１影付背景画像テーブル７２１の対応する画素の画素値との差を算出し、当該算出した値を、最終抽出結果テーブル９７に格納する（ステップＳ１３）。そして、この第２段階の抽出処理を模式的に表したのが図１１である。（ａ）は影データが所定量蓄積された段階における影付背景画像である。そして、（ｂ）は、第１段階の移動体抽出結果である移動体領域画像である。ここで、（ｂ）の移動体領域画像の範囲についてのみ、（ｂ）の移動体領域画像と（ａ）の影付背景画像との差を取ったものが、図１１（ｃ）の移動体画像である。ここで、図１１（ｂ）の移動体領域画像における移動体画像に含まれる画素に注目すると、当該画素の画素値と図１１（ａ）の影付背景画像の対応する画素の画素値との差を算出するので、後者の値によっては、抽出結果として鮮明な移動体画像が得られない場合があり得る。しかし、入力画像における移動体の領域を判定することへの影響は小さい。したがって、移動体の挙動の追跡は可能であり、渋滞、事故発生などを認識する程度であれば大きな問題はない。なお、抽出結果の移動体画像について閾値処理を行うなどして、より正確に移動体の領域を判定することも可能である。さらに、鮮明な移動体画像が必要な場合は、例えばステップＳ１３において移動体画像に含まれる画素が特定されるため、入力画像において対応する画素の画素値を読み出せばよい。すなわち、入力画像における移動体画像に含まれる画素の画素値が抽出されるため、鮮明な移動体画像を抽出することが可能である。
【００６７】
上で述べたように、ステップＳ１０乃至ステップＳ１３により、１枚の入力画像から移動体画像を抽出するが、さらに他の入力画像から移動体画像を抽出する場合は、再度ステップＳ１０に戻る（ステップＳ１５：Ｎｏルート）。他の入力画像について移動体画像を抽出しない場合には、処理を終了する（ステップＳ１５：Ｙｅｓルート）。
【００６８】
以上のように、影付背景画像を事前に生成しておけば、少ない処理量で入力画像から移動体画像を抽出することができる。また、移動体画像抽出に要する処理量が少ないことから、リアルタイムで移動体の挙動を追跡することが可能となる。さらに、背景差分法によると移動体の影などを移動体として誤って認識してしまう可能性もあるが、上で述べた移動体領域画像と影付背景画像との差を取ることにより、移動体のみを正確に抽出することが可能となる。
【００６９】
以上本発明の一実施の形態について説明したが、本発明はこれに限定されるものではない。例えば、図２（ａ）乃至図２（ｄ）に示したテーブル構成は一例であって、同様のデータを格納するためであれば別の構成を採用するようにしてもよいし、必要に応じて項目を追加又は削除してもよい。さらに、図１における入力画像テーブル１２、背景画像テーブル３７および影テーブル５７は追加してもよい。また、図１に示した移動体画像抽出装置１００の機能ブロック構成は一例であって、実際のプログラム・モジュール構成とは異なる場合がある。また、図３乃至図６に示した処理フローも一例であって、同様の処理結果が得られる範囲において処理の順序を入れ替えてもよいし、必要に応じてステップを追加又は削除してもよい。
【００７０】
また、本実施の形態では、影付背景画像生成処理と影生成処理を交互に実施する処理フローを説明しているが、影生成処理を繰り返して影データの蓄積を行い、影データが所定量蓄積されたと判断された時点、例えば図３においてステップＳ９とステップＳ１０との間に影付背景画像生成処理を実施するようにしてもよいし、影生成処理が所定の回数実施されるごとに影付背景画像生成処理を実施してもよい。さらに、オペレータが影テーブル５７などを監視し、影データが十分蓄積されたと判断した時点で影付背景画像生成処理を実行させるような指示を入力してもよい。また、影付背景画像の背景画像として用いる画像は、１回の背景画像生成処理によってのみ生成される例を説明しているが、複数回生成してもよい。すなわち、影付背景画像を生成する基となる入力画像および移動体画像を抽出する基となる入力画像を取得するたびに、背景画像履歴データから背景画像を生成する処理を実施してもよいし、当該入力画像を所定の回数取得するたびに、背景画像履歴データから背景画像を生成する処理を実施してもよい。また、背景画像生成処理を他の処理とは切り離して、一定の周期で入力画像を取得し、当該入力画像を取得するたびに背景画像履歴データから背景画像を生成する処理を実施してもよいし、一定の周期で入力画像を取得し、当該入力画像を所定の回数取得するたびに、背景画像履歴データから背景画像を生成する処理を実施してもよい。また、影データが十分蓄積されたと判断された後は影付背景画像を生成しない例を説明しているが、移動体画像抽出処理を行う前に影付背景画像を生成して用いてもよい。さらに、影付背景画像はコンピュータが生成する例を説明しているが、オペレータが天候などを考慮して影データを作成し、当該影データに含まれる画素の画素値で、背景画像の対応する画素の画素値を置き換えることで、オペレータが影付背景画像を作成するようにしてもよい。
【００７１】
また、移動体画像抽出装置１００がネットワークのサーバ上に配置されており、クライアントとなるコンピュータのディスプレイに移動体画像抽出結果を出力させる構成も可能である。さらに、他のサーバ上に保持されている入力画像を画像データ入力部１１がネットワークを介して取得するようにしてもよい。また、移動体画像抽出装置１００は複数台のコンピュータにより実現される場合もある。例えば、本実施の形態で述べた５つの処理部がそれぞれ別のコンピュータ上に配置されており、それらコンピュータが互いにネットワークで接続されていてもよい。
【００７２】
（付記１）
コンピュータが、移動体の画像および当該移動体の影の画像を含む入力画像から前記移動体の画像を抽出する移動体画像抽出方法であって、
前記コンピュータは、
前記入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得して影付背景画像格納部へ格納する取得ステップと、
前記影付背景画像格納部に格納される影付背景画像を用いて前記入力画像から移動体の画像を抽出する抽出ステップと、
を実行することを特徴とする移動体画像抽出方法。
【００７３】
（付記２）
前記取得ステップが、
前記入力画像において移動体の影とみなされる画素を特定する影特定ステップと、
前記影特定ステップにより特定された画素の画素値を用いて決定される画素値で、既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像のうち対応する画素の画素値を置換する置換ステップと、
を含む付記１記載の移動体画像抽出方法。
【００７４】
（付記３）
前記影特定ステップが、
前記入力画像および前記背景画像をぞれぞれ所定のサイズを有するブロックに分割するステップと、
前記入力画像において、移動体とみなされる画像に含まれる画素と当該移動体の影とみなされる画素とのうち少なくともいずれかを含むブロックである移動体領域ブロックを特定する移動体領域ブロック特定ステップと、
特定された前記移動体領域ブロックの中から前記移動体の影とみなされる画素を含むブロックである影ブロックを特定する影ブロック特定ステップと、
を含む付記２記載の移動体画像抽出方法。
【００７５】
（付記４）
前記移動体領域ブロック特定ステップが、
前記入力画像のブロックと前記背景画像の対応するブロックの画素値の差分絶対値和を算出するステップと、
算出された前記差分絶対値和が所定の閾値以上であるブロックを前記移動体領域ブロックとして特定するステップと、
を含む付記３記載の移動体画像抽出方法。
【００７６】
（付記５）
前記影ブロック特定ステップが、
前記ブロック特定ステップにより特定された前記移動体領域ブロックの画素値の分散および前記背景画像の対応するブロックの画素値の分散を算出し、それらの差を算出する分散差算出ステップと、
算出された前記分散の差が所定の閾値以下であるブロックを前記影ブロックとして特定するステップと、
を含む付記３記載の移動体画像抽出方法。
【００７７】
（付記６）
前記置換ステップが、
前記影ブロック特定ステップにより特定された影ブロックに含まれる画素について画素値を含むデータを累積的に格納する影データ格納ステップと、
前記影データ格納ステップにおいて格納されたデータの所定の範囲における各画素の画素値の最頻値を特定する最頻値特定ステップと、
特定された前記最頻値で既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像の対応する画素の画素値を置換するステップと、
を含む付記２記載の移動体画像抽出方法。
【００７８】
（付記７）
前記抽出ステップが、
前記入力画像の画素と前記背景画像の対応する画素との画素値の差に基づいて差分画像を生成する差分画像生成ステップと、
生成された前記差分画像の画素と前記影付背景画像の対応する画素との画素値の差に基づいて前記差分画像から移動体の画像を抽出する移動体画像抽出ステップと、
を含む付記１記載の移動体画像抽出方法。
【００７９】
（付記８）
移動体の画像および当該移動体の影の画像を含む入力画像から前記移動体の画像を抽出する移動体画像抽出装置であって、
前記入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得して影付背景画像格納部へ格納する取得手段と、
前記影付背景画像格納部に格納される影付背景画像を用いて前記入力画像から移動体の画像を抽出する抽出手段と、
を有する移動体画像抽出装置。
【００８０】
（付記９）
付記１乃至７のいずれか１つ記載の移動体画像抽出方法をコンピュータに実行させるためのプログラム。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施の形態における移動体画像抽出装置の機能ブロックの概要を示す図である。
【図２】（ａ）は、入力画像テーブル、背景画像テーブル、影テーブルおよび影付背景画像ＤＢ７２に含まれる影付背景画像テーブルの構成及び格納されるデータの一例を示す図である。（ｂ）は、背景画像履歴テーブルおよび影履歴テーブルの構成及び格納されるデータの一例を示す図である。（ｃ）は、フラグテーブルの構成及び格納されるデータの一例を示す図である。（ｄ）は、一次抽出結果テーブルおよび最終抽出結果テーブルの構成及び格納されるデータの一例を示す図である。
【図３】本発明の一実施の形態における処理フローを示す図である。
【図４】背景画像生成処理の処理フローを示す図である。
【図５】影付背景画像生成処理の処理フローを示す図である。
【図６】影生成処理の処理フローを示す図である。
【図７】影生成処理の処理内容を模式的に示す図である。
【図８】影生成処理の処理内容を模式的に示す図である。
【図９】影データが蓄積される様子を模式的に示した図である。
【図１０】背景差分法を用いた移動体画像抽出方法を模式的に示す図である。
【図１１】本発明の一実施の形態における移動体画像抽出方法を模式的に示す図である。
【符号の説明】
【００８２】
１ 画像入力処理部 ３ 背景画像生成処理部
５ 影生成処理部 ７ 影付背景画像生成処理部
９ 移動体抽出処理部 １１ 画像データ入力部
１２ 入力画像テーブル ３１ 背景画像履歴データ生成部
３３ 背景画像履歴テーブル ３５ 背景画像ヒストグラム生成部
３７ 背景画像テーブル ５１ 差分絶対値和処理部
５２ フラグテーブル ５３ 分散値差処理部
５４ 影履歴データ生成部 ５５ 影履歴テーブル
５６ 影ヒストグラム生成部 ５７ 影テーブル
７１ 影付背景画像生成部 ７２ 影付背景画像ＤＢ
９１ 一次抽出処理部 ９３ 一次抽出結果テーブル
９５ 二次抽出処理部 ９７ 最終抽出結果テーブル
１００ 移動体画像抽出装置 ７２１ 第１影付背景画像テーブル
７２２ 第２影付背景画像テーブル ７２３ 第３影付背景画像テーブル
【特許請求の範囲】
【請求項１】
コンピュータが、移動体の画像および当該移動体の影の画像を含む入力画像から前記移動体の画像を抽出する移動体画像抽出方法であって、
前記コンピュータは、
前記入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得し、影付背景画像格納部に格納する取得ステップと、
前記影付背景画像格納部に格納される前記影付背景画像を用いて前記入力画像から移動体の画像を抽出する抽出ステップと、
を実行することを特徴とする移動体画像抽出方法。
【請求項２】
前記取得ステップが、
前記入力画像において移動体の影とみなされる画素を特定する影特定ステップと、
前記影特定ステップにより特定された画素の画素値を用いて決定される画素値で、既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像のうち対応する画素の画素値を置換する置換ステップと、
を含む請求項１記載の移動体画像抽出方法。
【請求項３】
前記置換ステップが、
前記影特定ステップにより特定された画素について画素値を含むデータを累積的に格納する影データ格納ステップと、
前記影データ格納ステップにおいて格納されたデータの所定の範囲における各画素の画素値の最頻値を特定する最頻値特定ステップと、
特定された前記最頻値で既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像の対応する画素の画素値を置換するステップと、
を含む請求項２記載の移動体画像抽出方法。
【請求項４】
前記抽出ステップが、
前記入力画像の画素と前記背景画像の対応する画素との画素値の差に基づいて差分画像を生成する差分画像生成ステップと、
生成された前記差分画像の画素と前記影付背景画像の対応する画素との画素値の差に基づいて前記差分画像から移動体の画像を抽出する移動体画像抽出ステップと、
を含む請求項１記載の移動体画像抽出方法。
【請求項５】
請求項１乃至４のいずれか１つ記載の移動体画像抽出方法をコンピュータに実行させるためのプログラム。
【請求項１】
コンピュータが、移動体の画像および当該移動体の影の画像を含む入力画像から前記移動体の画像を抽出する移動体画像抽出方法であって、
前記コンピュータは、
前記入力画像の背景画像における一部の画素が移動体の影とみなされる画素に置換された影付背景画像を取得し、影付背景画像格納部に格納する取得ステップと、
前記影付背景画像格納部に格納される前記影付背景画像を用いて前記入力画像から移動体の画像を抽出する抽出ステップと、
を実行することを特徴とする移動体画像抽出方法。
【請求項２】
前記取得ステップが、
前記入力画像において移動体の影とみなされる画素を特定する影特定ステップと、
前記影特定ステップにより特定された画素の画素値を用いて決定される画素値で、既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像のうち対応する画素の画素値を置換する置換ステップと、
を含む請求項１記載の移動体画像抽出方法。
【請求項３】
前記置換ステップが、
前記影特定ステップにより特定された画素について画素値を含むデータを累積的に格納する影データ格納ステップと、
前記影データ格納ステップにおいて格納されたデータの所定の範囲における各画素の画素値の最頻値を特定する最頻値特定ステップと、
特定された前記最頻値で既に取得された前記影付背景画像が存在する場合には当該影付背景画像または前記背景画像の対応する画素の画素値を置換するステップと、
を含む請求項２記載の移動体画像抽出方法。
【請求項４】
前記抽出ステップが、
前記入力画像の画素と前記背景画像の対応する画素との画素値の差に基づいて差分画像を生成する差分画像生成ステップと、
生成された前記差分画像の画素と前記影付背景画像の対応する画素との画素値の差に基づいて前記差分画像から移動体の画像を抽出する移動体画像抽出ステップと、
を含む請求項１記載の移動体画像抽出方法。
【請求項５】
請求項１乃至４のいずれか１つ記載の移動体画像抽出方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−７９２５６（Ｐ２００６−７９２５６Ａ）
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願番号】特願２００４−２６０９３３（Ｐ２００４−２６０９３３）
【出願日】平成１６年９月８日（２００４．９．８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願日】平成１６年９月８日（２００４．９．８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]