画像処理装置および画像処理方法
【課題】大容量の記憶部を備えることなく、背景のみの画像生成に要する時間を短縮することができる画像処理装置および画像処理方法を提供する。
【解決手段】初回の画像データを第１の画像データとして記憶し画素データを第１の画素データとして順次出力する第１の画像データ記憶部と、２回目以降の複数の画像データを第２の画像データとして順次記憶し画素データを第２の画素データとして順次出力する第２の画像データ記憶部と、平均値を画像データ内の画素データの配置位置毎に算出して順次出力する平均算出部と、平均値を画像データに対応した平均値データとして順次記憶する平均値記憶部と、平均値に基づいて画素データの位置と同じ位置に配置されている第１の画素データまたは第２の画素データのいずれか一方をそれぞれ選択し更新データとして順次出力する差分比較部と、を備え、第１の画像データ記憶部に更新データを第１の画素データとして順次記憶する。
【解決手段】初回の画像データを第１の画像データとして記憶し画素データを第１の画素データとして順次出力する第１の画像データ記憶部と、２回目以降の複数の画像データを第２の画像データとして順次記憶し画素データを第２の画素データとして順次出力する第２の画像データ記憶部と、平均値を画像データ内の画素データの配置位置毎に算出して順次出力する平均算出部と、平均値を画像データに対応した平均値データとして順次記憶する平均値記憶部と、平均値に基づいて画素データの位置と同じ位置に配置されている第１の画素データまたは第２の画素データのいずれか一方をそれぞれ選択し更新データとして順次出力する差分比較部と、を備え、第１の画像データ記憶部に更新データを第１の画素データとして順次記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
静止画用カメラ（以下、「カメラ」という）で建物などの固定物の撮影を行った際、撮影された画像の中に、固定物の前を横切る通行人や車両などの不要な移動体が写されてしまう場合がある。このような不要な移動体を除去して所望の画像を生成することを目的として、連続して撮影した複数の画像の中から、その撮影時間中に動いた被写体を除去した画像を生成する、例えば、特許文献１のような技術が開示されている。特許文献１で開示された技術では、時間的に連続する複数枚の画像内の同一位置の画素毎に画素値の平均を算出し、この算出した平均値に最も近い画素値を持つ画素を複数枚の画像の中から選択する。そして、選択した画素の画素値を最終的な画素値にすることによって、移動体を除去した１枚の画像を生成している。
【０００３】
これは、移動体がカメラの前を横切るような場合には、複数の画像の同一位置に移動体が写る枚数は少なく、多くの画像の同一位置には背景が写る。このため、複数の画像から求めた画素値の平均は、背景の画素値に近い値になる。特許文献１では、この考え方に基づいて、複数の画像から平均に最も近い値の画素を背景の画素として選択することによって、背景のみの画像を生成することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で開示された技術では、背景のみの画像を生成する処理を行うために使用する複数の画像を、全て同時に処理する必要があり、全ての画像を一旦蓄積しておかなければならない。そのため、背景のみの画像を生成する画像処理装置内に、全ての画像を蓄積しておくことができる大きな容量を持った記憶部を備えなくてはならない、という問題がある。
【０００６】
また、特許文献１で開示された技術では、処理に必要な枚数の全ての画像が揃った後に、背景のみの画像を生成する処理を開始することになる。このため、最初の画像の取得から処理の完了までに、相当の時間を要する、という問題もある。このため、例えば、カメラであれば、１枚目の撮影を開始してから処理に必要な枚数の撮影が終わった後に、さらに、背景のみの画像を生成する処理を行うための時間がかかるため、カメラの使用者（ユーザー）に、違和感や不快感を与えてしまうこととなる。
【０００７】
本発明は、上記の課題認識に基づいてなされたものであり、大きな容量の記憶部を備えることなく、背景のみの画像を生成する処理に要する時間を短縮することができる画像処理装置および画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の画像処理装置は、初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶部と、２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶部と、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出部と、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶部と、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較部と、を備え、前記平均算出部は、該画像処理装置に２回目までの前記画像データが入力されているときには、前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、該画像処理装置に３回目以降の前記画像データが入力されているときには、前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第１の画像データ記憶部は、前記第１の画素データを前記差分比較部に出力した後、前記差分比較部から出力された前記更新データを前記第１の画素データとして順次記憶する、ことを特徴とする。
【０００９】
また、本発明の前記第１の画像データ記憶部は、該画像処理装置に最終回の前記画像データが入力され、該最終回の前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして出力する、ことを特徴とする。
【００１０】
また、本発明の前記第１の画像データ記憶部は、該画像処理装置に２回目以降の前記画像データが入力される毎に、入力された前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして順次出力する、ことを特徴とする。
【００１１】
また、本発明の画像処理方法は、第１の画像データ記憶部に、初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶ステップと、第２の画像データ記憶部に、２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶ステップと、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出ステップと、平均値記憶部に、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶ステップと、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較ステップと、を含み、前記平均算出ステップは、２回目までの前記画像データが入力されているときには、前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、３回目以降の前記画像データが入力されているときには、前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第１の画像データ記憶ステップは、前記第１の画素データを前記差分比較ステップにおいて出力した後、前記差分比較ステップによって出力された前記更新データを前記第１の画素データとして、前記第１の画像データ記憶部に順次記憶する、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、大きな容量の記憶部を備えることなく、背景のみの画像を生成する処理に要する時間を短縮することができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。
【図２】本実施形態における画像処理装置の概略構成を示したブロック図である。
【図３】本実施形態の画像処理装置における移動体除去処理の手順を示したフローチャートである。
【図４】本実施形態の画像処理装置による移動体除去処理の一例を説明する図である。
【図５】本実施形態の画像処理装置による移動体除去処理の別の一例を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。本実施形態においては、例えば、デジタルスチルカメラなどの撮像装置に、本実施形態の画像処理装置を適用した場合の一例について説明する。図１は、本実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、制御部１１と、撮像部１２と、記憶部１３と、手ぶれ補正部１４と、画像処理部１５と、表示部１６と、記録部１７と、動体除去部２０と、を備えている。
【００１５】
制御部１１は、撮像装置１０内の各構成要素をそれぞれ制御することによって、撮像装置１０全体の制御を行う。撮像部１２は、レンズや撮像素子などから構成され、制御部１１からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を露光する。そして、撮像部１２は、撮像素子が露光した光量に応じて画像信号に変換した画像データを、記憶部１３に出力する。
【００１６】
記憶部１３は、制御部１１からの制御に応じて、撮像部１２から入力された画像データを一時的に記憶する、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。記憶部１３に記憶された画像データは、制御部１１からの制御に応じて、動体除去部２０に出力される。また、記憶部１３に記憶された画像データは、制御部１１からの制御に応じて手ぶれ補正部１４に出力され、手ぶれ補正部１４から入力された処理後の画像データが再度記憶される。
【００１７】
手ぶれ補正部１４は、制御部１１からの制御に応じて、記憶部１３に記憶された、例えば、２枚の画像データに対して、位置合わせなどの手ぶれ補正処理を行う。この手ぶれ補正処理によって、記憶部１３に記憶された２枚の画像データ内で同一の位置に配置されているそれぞれの画素の値は、被写体の光学像の同じ場所を露光したときの値になる。そして、手ぶれ補正処理をした後の画像データを、記憶部１３に出力する。
【００１８】
動体除去部２０は、制御部１１からの制御に応じて、記憶部１３から入力された手ぶれ補正処理後の画像データに対して移動体除去処理を行って、画像データ内に含まれる移動体を除去した画像データを生成する、本実施形態の画像処理装置である。動体除去部２０は、移動体除去処理によって、例えば、固定物の前を横切る通行人や車両などの不要な移動体を除去した画像データを生成する。動体除去部２０によって生成される移動体除去後の画像データは、背景のみが写された画像データと同等の画像データである。以下の説明においては、動体除去部２０によって生成される移動体除去後の画像データを、「動体除去画像データ」という。動体除去部２０は、生成した動体除去画像データを、画像処理部１５に出力する。なお、動体除去部２０における移動体除去処理に関する詳細な説明は、後述する。
【００１９】
画像処理部１５は、制御部１１からの制御に応じて、動体除去部２０から入力された動体除去画像データに対して、予め定められた種々の画像処理を行った画像データを生成する。そして、画像処理部１５は、生成した画像処理後の画像データを、撮像装置１０内の対応する構成要素に出力する。例えば、画像処理部１５は、画像データを表示するための画像処理を行って生成した表示用の画像データを、表示部１６に出力する。また、例えば、画像処理部１５は、画像データを記録するための画像フォーマット（例えば、ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に変換する画像処理を行って生成した記録用の画像データを、記録部１７に出力する。
【００２０】
表示部１６は、画像データを表示する、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置を備え、制御部１１からの制御に応じて、画像処理部１５から入力された表示用の画像データを表示する。記録部１７は、制御部１１からの制御に応じて、画像処理部１５から入力された記録用の画像データを、例えば、メモリカードなどの画像記録媒体に記録する。
【００２１】
次に、撮像装置１０に備えた本実施形態の画像処理装置である動体除去部２０について、より詳細に説明する。図２は、本実施形態における画像処理装置である動体除去部２０の概略構成を示したブロック図である。図２に示したように、動体除去部２０は、背景画像記憶部２１と、入力画像記憶部２２と、平均算出部２３と、差分比較部２４と、平均値記憶部２５と、を備えている。
【００２２】
動体除去部２０には、記憶部１３に記憶された画像データが、入力画像データとして入力される。そして、動体除去部２０は、移動体除去処理を行って生成した画像データを、動体除去画像データとして出力する。なお、動体除去部２０による移動体除去処理においては、移動体除去処理に用いる複数の入力画像データにおいて、それぞれの入力画像データ内の同一の位置に配置されている画素同士で、それぞれの処理を行う。そして、動体除去部２０内の各構成要素は、それぞれの画素に対する処理を、入力画像データの画素数と同じ回数繰り返す。以下の説明において「画素」という場合には、それぞれの処理に用いるデータの内の同一の位置に配置されている画素であるものとする。また、同様に画素の値である「画素値」や、後述の「平均値」などのその他の「値」も、データ内の同一の位置に配置されている画素に対応する値であるものとする。
【００２３】
背景画像記憶部２１は、撮像装置１０において処理される１枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、動体除去部２０によって移動体除去処理を行った後の動体除去画像データの記憶に用いられる記憶部である。動体除去部２０が移動体除去処理を行う際、背景画像記憶部２１は、最初に、記憶部１３から入力された１枚目の入力画像データを、背景画像データとして記憶する。そして、背景画像記憶部２１は、記憶した背景画像データ（１枚目の入力画像データ）を、平均算出部２３と差分比較部２４とに出力する。
【００２４】
また、背景画像記憶部２１は、後述する差分比較部２４から入力された差分比較後の画像データを、新たな背景画像データとして順次記憶する。すなわち、背景画像記憶部２１は、動体除去部２０における移動体除去処理の進捗に応じて、現在記憶している背景画像データの各画素値を、最終的な背景画像データの画素値に、順次更新する。そして、背景画像記憶部２１は、更新した背景画像データを、動体除去部２０が現在まで移動体除去処理した背景画像データとして、順次、差分比較部２４に出力する。
【００２５】
また、背景画像記憶部２１は、制御部１１からの制御に応じて、最終的に記憶している背景画像データを、動体除去部２０における移動体除去処理後の動体除去画像データとして出力する。
【００２６】
入力画像記憶部２２は、撮像装置１０において処理される１枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、動体除去部２０によって移動体除去処理を行うために比較される入力画像データの記憶に用いられる記憶部である。動体除去部２０が移動体除去処理を行う際、入力画像記憶部２２は、記憶部１３から入力された２枚目以降の入力画像データを、動体除去部２０における移動体除去処理の進捗に応じて順次記憶する。そして、入力画像記憶部２２は、順次記憶した２枚目以降の入力画像データを、平均算出部２３と差分比較部２４とに順次出力する。
【００２７】
平均算出部２３は、入力された画像データの画素毎に、画素値の平均をそれぞれ算出する。そして、平均算出部２３は、算出したそれぞれの画素の平均値を、差分比較部２４と平均値記憶部２５とに出力する。動体除去部２０が移動体除去処理を行う際、平均算出部２３は、最初に、背景画像記憶部２１から入力された背景画像データ（１枚目の入力画像データ）の画素値と、入力画像記憶部２２から入力された２枚目の入力画像データの画素値と平均値を、それぞれの画素毎に算出する。このときの平均値の算出処理では、１枚目の入力画像データの画素値と２枚目の入力画像データの画素値とを加算して平均値を算出する（以下、「加算平均」という）。そして、平均算出部２３は、画素毎に算出（加算平均）した平均値を、最初の平均値データとして、差分比較部２４と平均値記憶部２５とに出力する。
【００２８】
なお、平均値データは、入力画像データ（または背景画像データ）内のそれぞれの画素に対応した、画素値の平均値である。平均算出部２３は、以降の平均値の算出処理において、新たに入力された入力画像データと、平均値データとに基づいて、新たに入力された入力画像データを含めた、それぞれの画素毎の画素値の平均値を算出する。
【００２９】
平均算出部２３は、入力画像記憶部２２から３枚目の入力画像データが入力されると、入力された３枚目の入力画像データと、平均値記憶部２５から入力された最初の平均値データとにおける画素値の平均値を、それぞれの画素毎に算出する。このときの平均値の算出処理では、平均値記憶部２５から入力された平均値データが、何枚分の入力画像データから算出された平均値であるかに応じて、平均値データの平均値と３枚目の入力画像データの画素値との加重平均をそれぞれ行う。
【００３０】
より具体的には、平均算出部２３は、平均値記憶部２５から入力された平均値データのそれぞれの平均値に対して、今までに処理した入力画像データの枚数に応じた重み付けを行う。例えば、入力画像記憶部２２から３枚目の入力画像データが入力されたときは、今までに１枚目と２枚目との２枚の入力画像データを処理しているため、今までに処理した入力画像データの枚数は、２枚である。この枚数に応じて重み付けを行った平均値データの平均値と、新たに入力された入力画像データ（ここでは、３枚目の入力画像データ）の画素値との平均値を、それぞれの画素毎に算出する。これにより、平均算出部２３が出力する平均値は、今回入力された入力画像データを含めた全ての入力画像データの同一位置の画素の画素値を均等に平均した値になる。例えば、３枚目の入力画像データが入力されたときは、１枚目〜３枚目までの全ての入力画像データの画素値を加算平均した平均値と同等の値になる。そして、平均算出部２３は、画素毎に算出（加重平均）した平均値を、新たな平均値データとして、差分比較部２４と平均値記憶部２５とに出力する。
【００３１】
以降、平均算出部２３は、新たな入力画像データが入力画像記憶部２２から入力される毎に、平均値記憶部２５から入力された平均値データに対して、それまでに入力された入力画像データの枚数に応じた重み付けを行って、新たに入力された入力画像データとの加重平均による平均値の算出を繰り返し行う。そして、それぞれ算出した平均値を、新たな平均値データとして、差分比較部２４と平均値記憶部２５とに順次出力する。
【００３２】
このように、平均算出部２３では、入力された２枚ずつの画像データを用いて、画素毎の平均値の算出を順次行う。これにより、平均算出部２３に最終のＮ枚目の入力画像データが入力画像記憶部２２から入力されたときには、結果として、入力された全ての入力画像データ（Ｎ枚数分の入力画像データ）の各画素値を、画素毎に均等に平均した値が算出されることになる。
【００３３】
平均値記憶部２５は、撮像装置１０において処理される１枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、平均算出部２３から入力された平均値を画素毎に記憶するための記憶部である。平均値記憶部２５は、平均算出部２３によって算出された新たな入力画像データに対応する平均値データが入力される毎に、入力された平均値データを、現在までの入力画像データの平均値データとして順次記憶する。すなわち、平均値記憶部２５は、動体除去部２０における移動体除去処理の進捗に応じて、記憶している平均値データの各平均値を、平均算出部２３から入力された新たな平均値データの平均値に順次更新する。そして、平均値記憶部２５は、記憶している平均値データを、動体除去部２０に現在まで入力された全ての入力画像データの平均値として、順次、平均算出部２３に出力する。
【００３４】
差分比較部２４は、背景画像記憶部２１から入力された背景画像データと、入力画像記憶部２２から入力された入力画像データとのそれぞれの画素毎に、平均値との差分を算出し、平均値に近い方の画素値を選択する。そして、選択された平均値に近い方のそれぞれの画素値を、新たな背景画像データとして背景画像記憶部２１に出力する。差分比較部２４による画素毎の画素値の選択においては、まず、平均算出部２３から入力された現在までの入力画像データの各平均値と、背景画像記憶部２１から入力された現在までの背景画像データの各画素値との差分の絶対値（以下「差分絶対値」という）を算出する。また、差分比較部２４は、平均算出部２３から入力された現在までの入力画像データの各平均値と、入力画像記憶部２２から入力された新たな入力画像データの各画素値との差分絶対値を算出する。そして、同じ位置の画素毎にそれぞれの差分絶対値の比較を行い、差分絶対値が小さい方の画素、すなわち、背景画像データの画素または入力画像データの画素のいずれか一方の画素値を選択する。ここで選択された各画素値が新たな背景画像データの各画素値になる。
【００３５】
次に、撮像装置１０に備えた本実施形態の画像処理装置である動体除去部２０における移動体除去処理の手順について説明する。図３は、本実施形態の画像処理装置である動体除去部２０における移動体除去処理の手順を示したフローチャートである。
【００３６】
動体除去部２０は、制御部１１からの制御に応じて移動体除去処理を開始すると、まず、ステップ１において、移動体除去の処理を行った回数を表す処理回数Ｔの値を“１”に初期化する。続いて、動体除去部２０は、ステップＳ２から１回目の移動体除去処理を開始する。
【００３７】
１回目の移動体除去処理が開始されると、ステップＳ３において、背景画像記憶部２１は、記憶部１３から入力された１枚目の入力画像データの最初の画素の画素値である入力画素値Ｉｎ（Ｔ）を、背景画素値Ｉｍｇ１として、背景画像記憶部２１内の対応するメモリに書き込む。そして、背景画像記憶部２１は、書き込んだ背景画素値Ｉｍｇ１を、平均算出部２３と差分比較部２４とに出力する。
【００３８】
続いて、ステップＳ４において、入力画像記憶部２２は、記憶部１３から入力された２枚目の入力画像データの最初の画素の入力画素値Ｉｎ（Ｔ＋１）を、比較画素値Ｉｍｇ２として、入力画像記憶部２２内の対応するメモリに書き込む。そして、入力画像記憶部２２は、書き込んだ比較画素値Ｉｍｇ２を、平均算出部２３と差分比較部２４とに出力する。
【００３９】
続いて、ステップＳ５において、平均算出部２３は、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１と、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２との２つの画素値に基づいて、平均値Ａ（Ｔ）を、下式（１）によって算出する。そして、平均算出部２３は、算出した平均値Ａ（Ｔ）を、平均値記憶部２５に出力する。
【００４０】
Ａ（Ｔ）＝（Ｉｍｇ１＋Ｉｍｇ２）／２ ・・・（１）
【００４１】
続いて、ステップＳ６において、平均値記憶部２５は、平均算出部２３から入力された平均値Ａ（Ｔ）を、総平均値Ａｖｒとして、平均値記憶部２５内の対応するメモリに書き込む。そして、平均値記憶部２５は、書き込んだ総平均値Ａｖｒを、差分比較部２４に出力する。
【００４２】
続いて、ステップＳ７において、差分比較部２４は、平均値記憶部２５から入力された総平均値Ａｖｒと、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１とに基づいて、差分絶対値Ｄ１を、下式（２）によって算出する。
【００４３】
Ｄ１＝｜Ｉｍｇ１−Ａｖｒ｜ ・・・（２）
【００４４】
また、差分比較部２４は、平均値記憶部２５から入力された総平均値Ａｖｒと、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２とに基づいて、差分絶対値Ｄ２を、下式（３）によって算出する。
【００４５】
Ｄ２＝｜Ｉｍｇ２−Ａｖｒ｜ ・・・（３）
【００４６】
続いて、ステップＳ８において、差分比較部２４は、算出した差分絶対値Ｄ１と差分絶対値Ｄ２とを比較する。そして、差分絶対値Ｄ１と差分絶対値Ｄ２とを比較した結果、差分絶対値Ｄ１が差分絶対値Ｄ２以下の値（Ｄ１≦Ｄ２）である場合（ステップＳ８の“Ｙｅｓ”）には、差分比較部２４は、ステップＳ９において、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する。また、差分絶対値Ｄ１と差分絶対値Ｄ２とを比較した結果、差分絶対値Ｄ１が差分絶対値Ｄ２よりも大きい値（Ｄ１＞Ｄ２）である場合（ステップＳ８の“Ｎｏ”）には、差分比較部２４は、ステップＳ１０において、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する。
【００４７】
なお、ここでは、１回目の移動体除去処理であるため、差分絶対値Ｄ１と差分絶対値Ｄ２とを比較した結果は、差分絶対値Ｄ１と差分絶対値Ｄ２とが同じ値（Ｄ１＝Ｄ２）になる、すなわち、ステップＳ８の“Ｙｅｓ”になる。従って、差分比較部２４は、ステップＳ９において、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１（１枚目の入力画像データの画素値）を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する。なお、差分絶対値Ｄ１と差分絶対値Ｄ２とが同じ値（Ｄ１＝Ｄ２）になる場合に、差分比較部２４は、ステップＳ１０において、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２（２枚目の入力画像データの画素値）を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する構成にすることもできる。
【００４８】
続いて、ステップＳ１１において、背景画像記憶部２１は、差分比較部２４から入力された出力画素値Ｏｕｔ（Ｔ）を、背景画素値Ｉｍｇ１として、背景画像記憶部２１内の対応するメモリに上書きする。このように、入力画像データの各画素に対する移動体除去処理では、ステップＳ２〜ステップＳ１１によって、差分絶対値が小さい方の画素値、すなわち、総平均値Ａｖｒに近い方の画素値が、背景画素値Ｉｍｇ１として選択され、背景画像記憶部２１内に記憶される。
【００４９】
以降、動体除去部２０は、ステップＳ２〜ステップＳ１１までの入力画像データの画素毎の移動体除去処理を、入力された入力画像データの全ての画素に対する移動体除去処理が完了するまで、繰り返す。その後、ステップＳ２〜ステップＳ１１までの処理の繰り返しを、入力画像データの画素数と同じ回数行うと、すなわち、入力画像データの全ての画素に対する画素毎の移動体除去処理が完了すると、ステップＳ１２において、１回目の移動体除去処理のループを抜け出す。ここまでの処理が、１回目の移動体除去処理である。
【００５０】
続いて、ステップＳ１３において、動体除去部２０は、今回入力された入力画像データが、最終の入力画像データであるか否かを判断する。今回入力された入力画像データが、最終の入力画像データでない場合（ステップＳ１３の“Ｎｏ”）には、ステップＳ１４に進んで、移動体除去の処理の処理回数Ｔの値に“１”を加え、処理回数Ｔを次の値に更新する。続いて、動体除去部２０は、ステップＳ１５から２回目以降の移動体除去処理を開始する。
【００５１】
なお、２回目以降の移動体除去処理は、最終の１枚の入力画像データに対する処理が完了するまで繰り返される。以下の説明においては、２回目の移動体除去処理、すなわち、処理回数Ｔ＝２である場合の移動体除去処理について説明する。なお、３回目以降の移動体除去処理（処理回数Ｔ＝３）〜最終のＮ枚目の画像データに対する移動体除去処理（処理回数Ｔ＝Ｎ）は、２回目の移動体除去処理と同様の処理を繰り返すのみであるため、説明を省略する。
【００５２】
２回目の移動体除去処理が開始されると、ステップＳ１６において、入力画像記憶部２２は、記憶部１３から入力された３枚目の入力画像データの最初の画素の入力画素値Ｉｎ（Ｔ＋１）を、比較画素値Ｉｍｇ２として、入力画像記憶部２２内の対応するメモリに上書きする。そして、入力画像記憶部２２は、上書きした比較画素値Ｉｍｇ２を、平均算出部２３と差分比較部２４とに出力する。
【００５３】
続いて、ステップＳ１７において、平均算出部２３は、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２と平均値記憶部２５から入力されたＴ枚分の総平均値Ａｖｒと、の２つの値（画素値）に基づいて、Ｔ＋１枚分の入力画像データを均等に平均した平均値Ａ（Ｔ）を、下式（４）によって算出する。そして、平均算出部２３は、算出した平均値Ａ（Ｔ）を、平均値記憶部２５に出力する。
【００５４】
Ａ（Ｔ）＝Ａｖｒ×Ｔ／（Ｔ＋１）＋Ｉｍｇ２×１／（Ｔ＋１） ・・・（４）
【００５５】
なお、ここでは、２回目の移動体除去処理であるため、処理回数Ｔ＝２である、従って、平均値記憶部２５から入力された総平均値Ａｖｒは、２枚分の入力画像データにおける平均値である。そして、平均算出部２３は、新たに入力された３枚目の入力画像データを含めた３枚分の平均値Ａ（Ｔ）を算出する。
【００５６】
続いて、ステップＳ１８において、平均値記憶部２５は、平均算出部２３から入力されたＴ＋１枚分の平均値Ａ（Ｔ）を、総平均値Ａｖｒとして、平均値記憶部２５内の対応するメモリに上書きする。そして、平均値記憶部２５は、上書きした総平均値Ａｖｒを、差分比較部２４に出力する。
【００５７】
続いて、ステップＳ７〜ステップＳ１１までのそれぞれの処理によって、差分比較部２４が、平均値記憶部２５から入力された上書きされた総平均値Ａｖｒに基づいて、上書きされた総平均値Ａｖｒに近い方の画素値が選択されて、出力画素値Ｏｕｔ（Ｔ）として出力される。そして、背景画像記憶部２１は、差分比較部２４から入力された出力画素値Ｏｕｔ（Ｔ）を、背景画素値Ｉｍｇ１として、背景画像記憶部２１内の対応するメモリに再び上書きする。
【００５８】
なお、ここでは、２回目の移動体除去処理であるため、１回目の移動体除去処理によって上書きされた背景画素値Ｉｍｇ１と、入力画像記憶部２２から入力された３枚目の入力画像データの比較画素値Ｉｍｇ２との、いずれか一方の画素値が、出力画素値Ｏｕｔ（Ｔ）として出力され、背景画像記憶部２１内の対応するメモリに再び上書きされる。すなわち、背景画像記憶部２１は、画素毎に異なる入力画像データ（１枚目の入力画像データまたは３枚目の入力画像データ）の画素値を記憶する。
【００５９】
このように、２回目以降の移動体除去処理における入力画像データの各画素に対する移動体除去処理では、ステップＳ１５〜ステップＳ１８およびステップＳ７〜ステップＳ１１によって、上書きされた総平均値Ａｖｒに近い方の画素値が、背景画素値Ｉｍｇ１として選択され、背景画像記憶部２１内に記憶される。
【００６０】
以降、動体除去部２０は、ステップＳ１５〜ステップＳ１８およびステップＳ７〜ステップＳ１１の入力画像データの画素毎の移動体除去処理を、入力された入力画像データの全ての画素に対する移動体除去処理が完了するまで、繰り返す。その後、ステップＳ１５〜ステップＳ１８およびステップＳ７〜ステップＳ１１の処理の繰り返しを、入力画像データの画素数と同じ回数行って、入力画像データの全ての画素に対する画素毎の移動体除去処理が完了すると、ステップＳ１２において、２回目以降の移動体除去処理のループを抜け出す。ここまでの処理が、２回目以降の移動体除去処理における１回分の移動体除去処理である。
【００６１】
続いて、ステップＳ１３において、動体除去部２０は、今回入力された入力画像データが、最終の入力画像データであるか否かを判断する。今回入力された入力画像データが、最終の入力画像データでない場合（ステップＳ１３の“Ｎｏ”）には、ステップＳ１４に戻って、次の入力画像データに対する移動体除去処理を開始する。
【００６２】
また、ステップＳ１３において、今回入力された入力画像データが、最終の入力画像データである場合（ステップＳ１３の“Ｙｅｓ”）には、動体除去部２０は、ステップＳ１９において、背景画像記憶部２１に記憶しているそれぞれの背景画素値Ｉｍｇ１をそれぞれの画素値とした最終的な背景画像データを、最終的な動体除去画像データとして画像処理部１５に出力して、動体除去部２０における移動体除去処理を完了する。
【００６３】
このように、動体除去部２０は、入力画像データが入力される毎に、入力画像データの画素毎の値を比較することによって、多くの入力画像データの同一位置の画素値と異なる、例えば、固定物の前を横切る通行人や車両などの移動体による特異な画素値を排除する。これにより、移動体除去処理後の最終的な動体除去画像データは、移動体が含まれない画素データとなる。なお、動体除去画像データは、移動体除去処理によって生成された、画素毎に異なる入力画像データ（動体除去部２０に入力された全ての入力画像データの内、いずれか１つの入力画像データ）の画素値で構成された画像データである。
【００６４】
なお、動体除去部２０に入力されるそれぞれの入力画像データは、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像データ毎に画素値が異なってしまう。このような場合には、動体除去部２０による移動体除去処理において、背景データとなる画素を正しく選択できなくなってしまう。そのため、動体除去画像データを得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像データで同一であることが望ましい。
【００６５】
ここで、本実施形態の画像処理装置である動体除去部２０において移動体除去処理を行う場合の一例について説明する。図４は、本実施形態の画像処理装置である動体除去部２０による移動体除去処理の一例を説明する図である。図４の説明においては、５枚（フレーム）分の入力画像データから動体除去画像データを生成するときの移動体除去処理において、３枚目の入力画像データに写っている移動体を除去する場合の移動体除去処理の推移について説明する。また、５枚の入力画像データ内の同一位置の特定の画素に着目して、移動体除去処理によって画素値が選択される様子を説明する。また、以下の説明においては、着目する画素を区別するため、何枚目の入力画像データであるかを表す入力画像データのフレーム数を、それぞれの画素の符号として付加して説明する。
【００６６】
図４では、横軸を入力画像データの枚数（フレーム数）、縦軸を画素値とし、棒グラフで入力画像データ（または背景画像データ）の画素値の分布を表し、点線で入力された入力画像データの平均値を表している。また、図４内の黒塗りの丸および白抜きの丸は、それぞれ、入力画像データ内で着目する同一位置の特定の画素を表し、黒塗りの丸が、差分比較部２４によって選択される対象の画素を表し、白抜きの丸が、差分比較部２４によって選択されなかった画素を表している。
【００６７】
なお、図４（ａ）〜図４（ｄ）のそれぞれには、差分比較部２４によって比較される背景画像データと入力画像データとの２枚の画像データの画素値の分布を示すが、差分比較部２４によって選択された後の新たな背景画像データの画素値の分布は、上述したように、画素毎に異なる入力画像データの画素値によって構成される。このため、図４（ｂ）〜図４（ｄ）に示す新たな背景画像データの画素値の分布は、着目する画素が含まれる画像データの画素値の分布を、新たな背景画像データの画素値の分布の代表として示す。
【００６８】
１フレーム目の入力画像データと、２フレーム目の入力画像データとが動体除去部２０に入力されると、動体除去部２０は、１回目の移動体除去処理を行う。１回目の移動体除去処理においては、図４（ａ）に示したように、まず、平均算出部２３は、１フレーム目の入力画像データの画素１の画素値と、２フレーム目の入力画像データの画素２の画素値との加算平均によって最初の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した最初の平均値を記憶する。続いて、差分比較部２４は、平均値記憶部２５に記憶された最初の平均値に基づいて、１フレーム目の入力画像データの画素１を選択する。そして、背景画像記憶部２１は、差分比較部２４によって選択された１フレーム目の入力画像データの画素１を、新たな背景画像データとして再度記憶する。
【００６９】
その後、３フレーム目の入力画像データが動体除去部２０に入力されると、動体除去部２０は、２回目の移動体除去処理を行う。２回目の移動体除去処理においては、図４（ｂ）に示したように、まず、平均算出部２３は、平均値記憶部２５に記憶されている最初の平均値と、３フレーム目の入力画像データの画素３の画素値との加重平均によって２回目の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した２回目の平均値を記憶する。なお、３フレーム目の入力画像データには移動体が含まれているため、画素３の画素値は、画素１および画素２の画素値に比べて大きな値である。そのため、平均算出部２３が算出した２回目の平均値は、最初の平均値よりも大きな値になってしまう。
【００７０】
しかし、差分比較部２４は、平均値記憶部２５に記憶された２回目の平均値に基づいて画素を選択するときに、画素３を選択することはなく、画素１を選択する。これは、差分比較部２４が、平均値に近い方の画素値を選択するためである。より具体的には、２回目の平均値は、画素１〜画素３の画素値を均等に加算平均した平均値と同等であるため、画素３の大きな画素値の影響は、１／３である。このため、平均値に近い方の画素値を選択する差分比較部２４は、平均値の２／３に影響している画素１（および画素２）の画素値を選択することになる。このように、背景画像記憶部２１は、移動体が含まれる画素３の影響を受けることなく、移動体を含まない画素１を選択することができる。そして、背景画像記憶部２１は、差分比較部２４によって選択された１フレーム目の入力画像データの画素１を、新たな背景画像データとして再度記憶する。
【００７１】
その後、４フレーム目の入力画像データが動体除去部２０に入力されると、動体除去部２０は、３回目の移動体除去処理を行う。３回目の移動体除去処理においては、図４（ｃ）に示したように、まず、平均算出部２３は、平均値記憶部２５に記憶されている２回目の平均値と、４フレーム目の入力画像データの画素４の画素値との加重平均によって３回目の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した３回目の平均値を記憶する。なお、４フレーム目の入力画像データには移動体が含まれていないため、画素４の画素値は、画素１および画素２の画素値とほぼ同じ大きさの値である。そのため、平均算出部２３が算出した３回目の平均値は、２回目の平均値に影響していた画素３の影響が少なくなり、２回目の平均値よりも少し小さな値になる。より具体的には、３回目の平均値は、画素１〜画素４の画素値を均等に加算平均した平均値と同等であるため、画素３の大きな画素値の影響は、１／４になり、２回目の平均値よりも少し小さな値になる。
【００７２】
そして、差分比較部２４は、平均値記憶部２５に記憶された３回目の平均値に基づいて、平均値に近い方の画素を選択する。図４（ｃ）においては、差分比較部２４によって、４フレーム目の入力画像データの画素４が選択された場合を示している。そして、背景画像記憶部２１は、差分比較部２４によって選択された４フレーム目の入力画像データの画素４を、新たな背景画像データとして再度記憶する。
【００７３】
その後、５フレーム目の入力画像データが動体除去部２０に入力されると、動体除去部２０は、４回目の移動体除去処理を行う。４回目の移動体除去処理においては、図４（ｄ）に示したように、まず、平均算出部２３は、平均値記憶部２５に記憶されている３回目の平均値と、５フレーム目の入力画像データの画素５の画素値との加重平均によって４回目の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した４回目の平均値を記憶する。なお、５フレーム目の入力画像データにも移動体が含まれていないため、画素５の画素値も、画素１、画素２、および画素４の画素値とほぼ同じ大きさの値である。そのため、平均算出部２３が算出した４回目の平均値は、２回目の平均値に影響していた画素３の影響がさらに少なくなり、３回目の平均値よりも少し小さな値になる。より具体的には、４回目の平均値は、画素１〜画素５の画素値を均等に加算平均した平均値と同等であるため、画素３の大きな画素値の影響は、１／５になり、３回目の平均値よりもさらに少し小さな値になる。
【００７４】
そして、差分比較部２４は、平均値記憶部２５に記憶された４回目の平均値に基づいて、平均値に近い方の画素を、最終の選択画素として選択する。図４（ｄ）においては、差分比較部２４によって、５フレーム目の入力画像データの画素５が、最終の選択画素として選択された場合を示している。そして、背景画像記憶部２１は、差分比較部２４によって選択された５フレーム目の入力画像データの画素５を、新たな背景画像データとして再度記憶する。その後、背景画像記憶部２１は、制御部１１からの制御に応じて、最終的に記憶している背景画像データを、動体除去部２０が移動体除去処理を行った最終的な動体除去画像データとして、画像処理部１５に出力する。
【００７５】
このように、動体除去部２０は、移動体除去処理を行う毎に平均値を更新し、その都度、前回の移動体除去処理によって記憶された背景画像データと、新たに入力された入力画像データとの内、更新された平均値に近い方を選択して出力する。上述したように、移動体がカメラの前を横切るような場合においても、移動体が通過した位置の画素値のほとんど（過半数）は、移動体の画素値ではなく、固定物や背景の画素値であると考えるため、少ない移動体の画素値が選択されることはなく、動体除去画像データを生成することができる。
【００７６】
上記に述べたとおり、本発明を実施するための形態によれば、画像データが入力される毎に、２枚の画像データのそれぞれの画素の画素値に基づいて平均値を算出し、算出した平均値に基づいて、２枚の画像データのそれぞれの画素に、平均値に近い方の画素を選択することによって、移動体を除去した画像データである動体除去画像データを生成する。このため、本実施形態の画像処理装置内に備える必要がある記憶部の容量は、２枚分の画像データを記録することができる容量と、平均値を記憶するための１枚分の画像データを記録することができる容量との、合計３枚分の画像データを記録することができる容量のみである。従来の移動体除去方法によって移動体を除去した画像、すなわち、本実施形態の動体除去画像データと同様の画像を生成する場合には、処理を行うために使用する全ての画像データを記憶しておくことができる容量の記憶部が必要であったが、本実施形態の画像処理装置では、移動体除去処理を行うために使用する入力画像データの枚数に限らず、３枚分の画像データを記録することができる容量のみで、移動体除去処理を行うことができる。このことにより、本実施形態の画像処理装置では、大きな容量の記憶部を備えることなく、移動体を除去した画像データを生成することができる。これにより、移動体を除去した画像データを生成するために必要な記憶部の容量を削減することができ、移動体を除去した画像データを生成するための回路規模を削減することができる。
【００７７】
また、本発明を実施するための形態によれば、画像データが入力される毎に、順次、移動体除去処理を行う。従来の移動体除去方法では、処理を行うために使用する全ての画像データの記憶が完了した後に、記憶した全ての画像データに基づいて移動体を除去した画像の生成処理を行うため、処理が完了するまでに相当の時間を要していた。例えば、処理を行うために使用する画像データが５枚分必要であれば、５枚の画像データを記憶した後に処理を開始していたため、５枚分の処理に時間を要していた。本実施形態の画像処理装置では、最終の１枚の画像データが入力された後に行う移動体除去処理は、入力された最終の１枚の画像データに基づいて移動体除去処理のみにすることができる。すなわち、本実施形態の画像処理装置では、１回目の移動体除去処理において使用する２枚分の画像データが入力されたときから移動体除去処理を開始することができ、最終の１枚の画像データより前の画像データに対する移動体除去処理を、事前に完了しておくことができる。例えば、移動体除去処理において５枚の画像データを使用する場合でも、最初の移動体除去処理は、２枚目の画像データが入力されたときから開始することができ、１枚目〜４枚目までの移動体除去処理を、５枚目の画像データが入力されるときには終了させておくことができる。このため、最終の１枚の画像データが入力されてから移動体除去処理が完了するまでの時間を短縮することができる。これにより、例えば、本実施形態の画像処理装置を搭載したカメラでは、２枚の撮影が終了した時点から移動体除去処理を開始することができ、撮影開始から移動体除去処理の完了までの時間を短縮でき、カメラの使用者（ユーザー）に、違和感や不快感を与えることなく、移動体除去処理が完了させることができる。
【００７８】
なお、本実施形態においては、図３の移動体除去処理のフローチャートで示したように、背景画像記憶部２１と入力画像記憶部２２とに、入力画像データの各画素を順次記憶しながら、画素毎に移動体除去処理を行い、入力画像データの画素数と同じ回数の処理が完了したときに、１回の移動体除去処理、すなわち、入力された１枚の入力画像データに対する移動体除去処理が完了する場合について説明した。しかし、１枚の入力画像データに対する移動体除去処理を行う手順は、本発明を実施するための形態に限定されるものではない。例えば、先に、背景画像記憶部２１と入力画像記憶部２２との全てのメモリに、入力画像データの全ての画素分の画素値を書き込んでおき、その後、記憶した画素値を順次読み出しながら、画素毎に移動体除去処理を行う手順にすることもできる。
【００７９】
また、本実施形態においては、移動体除去処理を行った最終的な背景画像データを、動体除去画像データとして出力する場合について説明したが、動体除去画像データを出力するタイミングは、本発明を実施するための形態に限定されるものではない。例えば、１回の移動体除去処理が完了する毎に、背景画像記憶部２１に記憶されている背景画像データを、動体除去画像データとして出力する構成にすることもできる。この場合、例えば、画像処理部１５が、動体除去画像データが入力される毎に、画像データを表示するための画像処理を行って表示用の画像データを生成し、表示部１６内の表示装置に、表示用の画像データを表示することができる。このような構成にすることによって、本実施形態の画像処理装置を搭載したカメラのユーザーは、移動体が除去されていく過程を確認しながら撮影を行うことができ、撮影開始から移動体除去処理の完了までの間、違和感や不快感がなく、背景のみの画像を取得することができる。また、移動体が除去されていく過程を確認しながら撮影を行っているため、ユーザーが所望する画像であると判断した場合に、撮影と移動体除去処理とを終了させることができる。これにより、従来の移動体除去方法では、処理を行うために使用する枚数分の撮影を必ず行わなければならないというような制約があったが、本実施形態の画像処理装置を搭載したカメラでは、移動体除去処理におけるこのような制約をなくすことができる。
【００８０】
また、本実施形態の画像処理装置では、入力される画像データの条件によっては、本実施形態の画像処理装置を搭載したカメラが最終的に出力する背景のみの画像の画質改善の効果も得られることがある。例えば、本実施形態の画像処理装置に入力される最終の入力画像データにのみ移動体が写っている場合に、従来の移動体除去方法よりも画質の改善効果が得られる動体除去画像データを出力することができる。以下に、移動体除去処理によって画質改善の効果が得られる動体除去画像データを出力する場合の一例について説明する。図５は、本実施形態の画像処理装置である動体除去部２０による移動体除去処理の別の一例を説明する図である。
【００８１】
図５の説明においては、５枚（フレーム）分の入力画像データから動体除去画像データを生成するときの移動体除去処理において、５枚目の入力画像データにのみ移動体が写っている場合の移動体除去処理について説明する。従って、動体除去部２０による４回目の移動体除去処理のみについて説明する。また、５枚の入力画像データ内の同一位置の特定の画素に着目し、移動体除去処理によって選択される画素値について説明する。また、以下の説明においては、着目する画素を区別するため、何枚目の入力画像データであるかを表す入力画像データのフレーム数を、それぞれの画素の符号として付加して説明する。
【００８２】
図５では、横軸を入力画像データの枚数（フレーム数）、縦軸を画素値とし、棒グラフで入力画像データ（または背景画像データ）の画素値の分布を表している。また、図５では、実線で従来の移動体除去方法によって算出される５フレーム分の平均値を表し、点線で本実施形態の画像処理装置である動体除去部２０が４フレームまでの入力画像データから算出した４フレーム分の平均値（３回目の平均値）を表している。また、図５内の黒塗りの丸および白抜きの丸は、それぞれ、入力画像データ内で着目する同一位置の特定の画素を表し、黒塗りの丸が、差分比較部２４によって選択される対象の画素を表し、白抜きの丸が、差分比較部２４によって選択されなかった画素を表している。
【００８３】
また、図５（ａ）および図５（ｂ）のそれぞれには、差分比較部２４によって比較される新たな背景画像データと入力画像データとの２枚の画像データの画素値の分布を示すが、差分比較部２４によって選択された後の新たな背景画像データの画素値の分布は、上述したように、画素毎に異なる入力画像データの画素値によって構成される。このため、図５（ａ）および図５（ｂ）に示す新たな背景画像データの画素値の分布は、着目する画素が含まれる画像データの画素値の分布を、新たな背景画像データの画素値の分布の代表として示す。
【００８４】
図５（ａ）に示した４回目の移動体除去処理は、５フレーム目の入力画像データにのみ移動体が写っている場合の移動体除去処理の一例である。従来の移動体除去方法では、画像データの画素毎に、全て（５枚）の画像データに基づいて平均値を算出し、算出した平均値に最も近い画素値を持つ画素を全ての画像データの中から選択する。このため、従来の移動体除去方法では、図５（ａ）の実線で示したような平均値が算出される。この平均値は、画素１〜画素５の画素値を均等に加算平均した平均値である。そして、この平均値は、画素１〜画素４の画素値に比べて大きな値である画素５の画素値の影響によって、大きめの値になっている。この平均値に最も近い画素値を持つ画素を選択すると、画素３が選択される。
【００８５】
一方、動体除去部２０の４回目の移動体除去処理では、３回目の移動体除去処理で算出した３回目の平均値と、５フレーム目の入力画像データの画素５の画素値との加重平均によって４回目の平均値を算出する。従って、平均算出部２３によって算出される４回目の平均値は、従来の移動体除去方法で算出された平均値と同じである。しかし、動体除去部２０では、上記に述べたように、３回目までの移動体除去処理によって選択された画素の画素値と、５フレーム目の入力画像データの画素の画素値とにおいて、４回目の平均値に近い方の画素値を選択する。従って、図５（ａ）に示したように、３回目までの移動体除去処理によって選択された画素が画素１である場合には、差分比較部２４によって、画素１の画素値と画素５の画素値とが比較され、４回目の平均値に近い方の画素１が、最終の選択画素として選択される。
【００８６】
ここで、５フレーム目の入力画像データの画素５は、移動体の画素であるため、画素５以外の移動体が含まれていない画素１〜画素４までの画素に基づいた移動体除去処理を考える。画素１〜画素４の画素値を均等に加算平均した３回目の平均値は、図５（ａ）の点線で示したような値である。そして、従来の移動体除去方法で選択された画素３の画素値と、差分比較部２４によって選択された画素１の画素値とを比較すると、図５（ａ）を見てわかるように、移動体が含まれていない画素１〜画素４に基づいた３回目の平均値に近い方の画素は、画素１である。
【００８７】
なお、従来の移動体除去方法で選択された画素３も、差分比較部２４によって選択された、すなわち、本実施形態の画像処理装置による移動体除去処理で選択された画素１も、移動体が写っていない画素である。従って、移動体が写っていない画素の中から、いずれか１つの画素を選択していれば、特に問題がないとも考えることができる。しかし、１フレーム目〜４フレーム目までの入力画像データは、共に移動体が写っていない入力画像データのではあるが、同一位置の画素であっても、実際の画素値は、例えば、ノイズなどの影響によって、図５（ａ）に示したように、僅かに変動している。このノイズによる画素値の変動を考慮すると、ノイズの影響が最も少ないと考えることができる値は平均値である。すなわち、図５（ａ）の点線で示した３回目の平均値である。このため、この３回目の平均値に最も近い画素１を選択することができる本実施形態の画像処理装置の移動体除去処理の方が、従来の移動体除去方法よりも画質的に優位であるといえる。
【００８８】
このように、従来の移動体除去方法では、全ての画像データが入力された後に、入力された全ての画像データに基づいて移動体除去処理を行うため、移動体が含まれていない画素１〜画素４の画素値の中でも、移動体が含まれている画素５の画素値よりの画素が選択される。一方、本実施形態の画像処理装置では、移動体が含まれていない画素１〜画素４の画素値の平均に近い画素が選択される。すなわち、本実施形態の画像処理装置では、最終の入力画像データにのみ移動体が写っている場合において、移動体が写っている最終の入力画像データに対する移動体除去処理より前の移動体除去処理で選択された画素が、最終的に選択される。従って、本実施形態の画像処理装置では、最終の入力画像データにのみに写っている移動体の画素値に影響されていない、すなわち、画質の改善効果が得られる動体除去画像データを出力することができる。
【００８９】
また、図５（ｂ）に示した４回目の移動体除去処理は、５フレーム目の入力画像データに移動体が写っており、４フレーム目の入力画像データが移動体の境界部分にあたる場合の移動体除去処理の一例である。ここで、移動体の境界部分とは、例えば、移動体の輪郭部分、移動体の陰による色の変わり目の境界部分など、移動体の影響が現れている場所であり、移動体の境界部分に位置する画素の画素値は、背景の画素値と移動体の画素値との間の画素値になる。図５（ｂ）に示した４フレーム目の入力画像データの画素４の画素値は、１フレーム目〜３フレーム目までの入力画像データに写っている背景の画素１〜画素３の画素値と、５フレーム目の入力画像データの移動体の画素５の画素値との間の値である。
【００９０】
従来の移動体除去方法では、画像データの画素毎に、全て（５枚）の画像データに基づいて算出した平均値に最も近い画素値を持つ画素を全ての画像データの中から選択する。このため、従来の移動体除去方法では、画素４と画素５との大きな値に影響された図５（ｂ）の実線で示した大きめの値の平均値が算出される。そして、この平均値に最も近い画素値を持つ画素４が選択される。このように、従来の移動体除去方法では、移動体が含まれていない画素１〜画素３までの画素の画素値と離れた値の画素値を持つ画素４が選択されてしまうため、画質的に不利になってしまうと考えられる。
【００９１】
一方、動体除去部２０の４回目の移動体除去処理でも、平均算出部２３によって算出される４回目の平均値は、従来の移動体除去方法で算出された平均値と同じである。また、図５（ｂ）に点線で示した、３回目の移動体除去処理で算出した３回目の平均値も、画素１〜画素３の画素値に比べて大きな値である画素４の画素値の影響によって、図５（ａ）に点線で示した３回目の平均値よりも大きめの値になる。しかし、動体除去部２０による４枚目の移動体除去処理においては、移動体が含まれていない画素１〜画素３までの画素の画素値と離れた値の画素値を持つ画素４が選択されることはない。これは、図５（ｂ）に示したように、３回目の移動体除去処理において、画素１が選択されているからである。すなわち、４フレーム目の入力画像データが入力されたときに行う３回目の移動体除去処理では、図５（ｂ）に点線で示した３回目の平均値から離れた値の画素値を持つ画素４が選択されることはなく、画素４が、４回目の移動体除去処理において選択される対象の画素とはならないからである。そして、４回目の移動体除去処理においては、画素５が選択されることもなく、４回目の平均値に近い方の画素１が、最終の選択画素として選択される。
【００９２】
このように、従来の移動体除去方法では、移動体の輪郭部分や、移動体の陰によってできる色の変わり目の境界部分などに多く見られる移動体の影響が現れている場所では、移動体が含まれていない画素の画素値と離れた値の画素値を持つ画素（例えば、図５（ｂ）に示した画素４）が選択されてしまうことがある。一方、本実施形態の画像処理装置では、移動体の輪郭部分や境界部分などの移動体の影響が現れている場所においても、移動体が含まれていない画素１〜画素３の画素値の平均に近い画素（例えば、図５（ｂ）に示した画素１）が選択される。すなわち、本実施形態の画像処理装置では、被写体の影響が現れている場合において、移動体が含まれていない画素（例えば、図５（ｂ）に示した画素１〜画素３）の画素値の平均に近い画素が、最終的に選択される。従って、本実施形態の画像処理装置では、入力画像データに写っている移動体の画素値や、移動体の境界部分の画素値に影響されていない、すなわち、画質の改善効果が得られる動体除去画像データを出力することができる。
【００９３】
上記に述べたように、本実施形態の画像処理装置では、移動体が含まれていない、より多くの画素（例えば、図５（ａ）に示した画素１〜画素４、また、例えば、図５（ｂ）に示した画素１〜画素３）の画素値の平均に近い画素が、動体除去画像データの画素として選択される。これにより、最終の入力画像データにのみ移動体が写っているような入力画像データの領域では、移動体の影響がない、動体除去画像データを出力することができる。これにより、本実施形態の画像処理装置を搭載したカメラでは、従来の移動体除去方法よりも移動体をきれいに除去した画像を生成することができる。また、最終の入力画像データに移動体が写っており、１つ前の入力画像データが移動体の境界部分であり、背景の画素値と移動体の画素値との間の画素値であるような入力画像データの領域でも、移動体や移動体の境界部分の影響がない、動体除去画像データを出力することができる。これにより、本実施形態の画像処理装置を搭載したカメラでは、従来の移動体除去方法よりも、より自然に移動体を除去した画像を生成することができる。このように、本実施形態の画像処理装置では、入力される画像データの条件によって、従来の移動体除去方法よりも、画質的に有利な動体除去画像データを出力することができる。
【００９４】
また、本実施形態においては、撮像装置に画像処理装置を適用した場合について説明したが、本実施形態の画像処理装置を適用することができる範囲は、本発明を実施するための形態に限定されるものではなく、複数の同じ画角の画像から移動体を除去した画像を生成するシステムであれば、どのようなシステムにも適用することができる。
【００９５】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００９６】
１０・・・撮像装置（画像処理装置）
１１・・・制御部
１２・・・撮像部
１３・・・記憶部
１４・・・手ぶれ補正部
１５・・・画像処理部
１６・・・表示部
１７・・・記録部
２０・・・動体除去部（画像処理装置）
２１・・・背景画像記憶部（第１の画像データ記憶部）
２２・・・入力画像記憶部（第２の画像データ記憶部）
２３・・・平均算出部
２４・・・差分比較部
２５・・・平均値記憶部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
静止画用カメラ（以下、「カメラ」という）で建物などの固定物の撮影を行った際、撮影された画像の中に、固定物の前を横切る通行人や車両などの不要な移動体が写されてしまう場合がある。このような不要な移動体を除去して所望の画像を生成することを目的として、連続して撮影した複数の画像の中から、その撮影時間中に動いた被写体を除去した画像を生成する、例えば、特許文献１のような技術が開示されている。特許文献１で開示された技術では、時間的に連続する複数枚の画像内の同一位置の画素毎に画素値の平均を算出し、この算出した平均値に最も近い画素値を持つ画素を複数枚の画像の中から選択する。そして、選択した画素の画素値を最終的な画素値にすることによって、移動体を除去した１枚の画像を生成している。
【０００３】
これは、移動体がカメラの前を横切るような場合には、複数の画像の同一位置に移動体が写る枚数は少なく、多くの画像の同一位置には背景が写る。このため、複数の画像から求めた画素値の平均は、背景の画素値に近い値になる。特許文献１では、この考え方に基づいて、複数の画像から平均に最も近い値の画素を背景の画素として選択することによって、背景のみの画像を生成することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で開示された技術では、背景のみの画像を生成する処理を行うために使用する複数の画像を、全て同時に処理する必要があり、全ての画像を一旦蓄積しておかなければならない。そのため、背景のみの画像を生成する画像処理装置内に、全ての画像を蓄積しておくことができる大きな容量を持った記憶部を備えなくてはならない、という問題がある。
【０００６】
また、特許文献１で開示された技術では、処理に必要な枚数の全ての画像が揃った後に、背景のみの画像を生成する処理を開始することになる。このため、最初の画像の取得から処理の完了までに、相当の時間を要する、という問題もある。このため、例えば、カメラであれば、１枚目の撮影を開始してから処理に必要な枚数の撮影が終わった後に、さらに、背景のみの画像を生成する処理を行うための時間がかかるため、カメラの使用者（ユーザー）に、違和感や不快感を与えてしまうこととなる。
【０００７】
本発明は、上記の課題認識に基づいてなされたものであり、大きな容量の記憶部を備えることなく、背景のみの画像を生成する処理に要する時間を短縮することができる画像処理装置および画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の画像処理装置は、初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶部と、２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶部と、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出部と、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶部と、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較部と、を備え、前記平均算出部は、該画像処理装置に２回目までの前記画像データが入力されているときには、前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、該画像処理装置に３回目以降の前記画像データが入力されているときには、前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第１の画像データ記憶部は、前記第１の画素データを前記差分比較部に出力した後、前記差分比較部から出力された前記更新データを前記第１の画素データとして順次記憶する、ことを特徴とする。
【０００９】
また、本発明の前記第１の画像データ記憶部は、該画像処理装置に最終回の前記画像データが入力され、該最終回の前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして出力する、ことを特徴とする。
【００１０】
また、本発明の前記第１の画像データ記憶部は、該画像処理装置に２回目以降の前記画像データが入力される毎に、入力された前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして順次出力する、ことを特徴とする。
【００１１】
また、本発明の画像処理方法は、第１の画像データ記憶部に、初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶ステップと、第２の画像データ記憶部に、２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶ステップと、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出ステップと、平均値記憶部に、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶ステップと、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較ステップと、を含み、前記平均算出ステップは、２回目までの前記画像データが入力されているときには、前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、３回目以降の前記画像データが入力されているときには、前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第１の画像データ記憶ステップは、前記第１の画素データを前記差分比較ステップにおいて出力した後、前記差分比較ステップによって出力された前記更新データを前記第１の画素データとして、前記第１の画像データ記憶部に順次記憶する、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、大きな容量の記憶部を備えることなく、背景のみの画像を生成する処理に要する時間を短縮することができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。
【図２】本実施形態における画像処理装置の概略構成を示したブロック図である。
【図３】本実施形態の画像処理装置における移動体除去処理の手順を示したフローチャートである。
【図４】本実施形態の画像処理装置による移動体除去処理の一例を説明する図である。
【図５】本実施形態の画像処理装置による移動体除去処理の別の一例を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。本実施形態においては、例えば、デジタルスチルカメラなどの撮像装置に、本実施形態の画像処理装置を適用した場合の一例について説明する。図１は、本実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、制御部１１と、撮像部１２と、記憶部１３と、手ぶれ補正部１４と、画像処理部１５と、表示部１６と、記録部１７と、動体除去部２０と、を備えている。
【００１５】
制御部１１は、撮像装置１０内の各構成要素をそれぞれ制御することによって、撮像装置１０全体の制御を行う。撮像部１２は、レンズや撮像素子などから構成され、制御部１１からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を露光する。そして、撮像部１２は、撮像素子が露光した光量に応じて画像信号に変換した画像データを、記憶部１３に出力する。
【００１６】
記憶部１３は、制御部１１からの制御に応じて、撮像部１２から入力された画像データを一時的に記憶する、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。記憶部１３に記憶された画像データは、制御部１１からの制御に応じて、動体除去部２０に出力される。また、記憶部１３に記憶された画像データは、制御部１１からの制御に応じて手ぶれ補正部１４に出力され、手ぶれ補正部１４から入力された処理後の画像データが再度記憶される。
【００１７】
手ぶれ補正部１４は、制御部１１からの制御に応じて、記憶部１３に記憶された、例えば、２枚の画像データに対して、位置合わせなどの手ぶれ補正処理を行う。この手ぶれ補正処理によって、記憶部１３に記憶された２枚の画像データ内で同一の位置に配置されているそれぞれの画素の値は、被写体の光学像の同じ場所を露光したときの値になる。そして、手ぶれ補正処理をした後の画像データを、記憶部１３に出力する。
【００１８】
動体除去部２０は、制御部１１からの制御に応じて、記憶部１３から入力された手ぶれ補正処理後の画像データに対して移動体除去処理を行って、画像データ内に含まれる移動体を除去した画像データを生成する、本実施形態の画像処理装置である。動体除去部２０は、移動体除去処理によって、例えば、固定物の前を横切る通行人や車両などの不要な移動体を除去した画像データを生成する。動体除去部２０によって生成される移動体除去後の画像データは、背景のみが写された画像データと同等の画像データである。以下の説明においては、動体除去部２０によって生成される移動体除去後の画像データを、「動体除去画像データ」という。動体除去部２０は、生成した動体除去画像データを、画像処理部１５に出力する。なお、動体除去部２０における移動体除去処理に関する詳細な説明は、後述する。
【００１９】
画像処理部１５は、制御部１１からの制御に応じて、動体除去部２０から入力された動体除去画像データに対して、予め定められた種々の画像処理を行った画像データを生成する。そして、画像処理部１５は、生成した画像処理後の画像データを、撮像装置１０内の対応する構成要素に出力する。例えば、画像処理部１５は、画像データを表示するための画像処理を行って生成した表示用の画像データを、表示部１６に出力する。また、例えば、画像処理部１５は、画像データを記録するための画像フォーマット（例えば、ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に変換する画像処理を行って生成した記録用の画像データを、記録部１７に出力する。
【００２０】
表示部１６は、画像データを表示する、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置を備え、制御部１１からの制御に応じて、画像処理部１５から入力された表示用の画像データを表示する。記録部１７は、制御部１１からの制御に応じて、画像処理部１５から入力された記録用の画像データを、例えば、メモリカードなどの画像記録媒体に記録する。
【００２１】
次に、撮像装置１０に備えた本実施形態の画像処理装置である動体除去部２０について、より詳細に説明する。図２は、本実施形態における画像処理装置である動体除去部２０の概略構成を示したブロック図である。図２に示したように、動体除去部２０は、背景画像記憶部２１と、入力画像記憶部２２と、平均算出部２３と、差分比較部２４と、平均値記憶部２５と、を備えている。
【００２２】
動体除去部２０には、記憶部１３に記憶された画像データが、入力画像データとして入力される。そして、動体除去部２０は、移動体除去処理を行って生成した画像データを、動体除去画像データとして出力する。なお、動体除去部２０による移動体除去処理においては、移動体除去処理に用いる複数の入力画像データにおいて、それぞれの入力画像データ内の同一の位置に配置されている画素同士で、それぞれの処理を行う。そして、動体除去部２０内の各構成要素は、それぞれの画素に対する処理を、入力画像データの画素数と同じ回数繰り返す。以下の説明において「画素」という場合には、それぞれの処理に用いるデータの内の同一の位置に配置されている画素であるものとする。また、同様に画素の値である「画素値」や、後述の「平均値」などのその他の「値」も、データ内の同一の位置に配置されている画素に対応する値であるものとする。
【００２３】
背景画像記憶部２１は、撮像装置１０において処理される１枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、動体除去部２０によって移動体除去処理を行った後の動体除去画像データの記憶に用いられる記憶部である。動体除去部２０が移動体除去処理を行う際、背景画像記憶部２１は、最初に、記憶部１３から入力された１枚目の入力画像データを、背景画像データとして記憶する。そして、背景画像記憶部２１は、記憶した背景画像データ（１枚目の入力画像データ）を、平均算出部２３と差分比較部２４とに出力する。
【００２４】
また、背景画像記憶部２１は、後述する差分比較部２４から入力された差分比較後の画像データを、新たな背景画像データとして順次記憶する。すなわち、背景画像記憶部２１は、動体除去部２０における移動体除去処理の進捗に応じて、現在記憶している背景画像データの各画素値を、最終的な背景画像データの画素値に、順次更新する。そして、背景画像記憶部２１は、更新した背景画像データを、動体除去部２０が現在まで移動体除去処理した背景画像データとして、順次、差分比較部２４に出力する。
【００２５】
また、背景画像記憶部２１は、制御部１１からの制御に応じて、最終的に記憶している背景画像データを、動体除去部２０における移動体除去処理後の動体除去画像データとして出力する。
【００２６】
入力画像記憶部２２は、撮像装置１０において処理される１枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、動体除去部２０によって移動体除去処理を行うために比較される入力画像データの記憶に用いられる記憶部である。動体除去部２０が移動体除去処理を行う際、入力画像記憶部２２は、記憶部１３から入力された２枚目以降の入力画像データを、動体除去部２０における移動体除去処理の進捗に応じて順次記憶する。そして、入力画像記憶部２２は、順次記憶した２枚目以降の入力画像データを、平均算出部２３と差分比較部２４とに順次出力する。
【００２７】
平均算出部２３は、入力された画像データの画素毎に、画素値の平均をそれぞれ算出する。そして、平均算出部２３は、算出したそれぞれの画素の平均値を、差分比較部２４と平均値記憶部２５とに出力する。動体除去部２０が移動体除去処理を行う際、平均算出部２３は、最初に、背景画像記憶部２１から入力された背景画像データ（１枚目の入力画像データ）の画素値と、入力画像記憶部２２から入力された２枚目の入力画像データの画素値と平均値を、それぞれの画素毎に算出する。このときの平均値の算出処理では、１枚目の入力画像データの画素値と２枚目の入力画像データの画素値とを加算して平均値を算出する（以下、「加算平均」という）。そして、平均算出部２３は、画素毎に算出（加算平均）した平均値を、最初の平均値データとして、差分比較部２４と平均値記憶部２５とに出力する。
【００２８】
なお、平均値データは、入力画像データ（または背景画像データ）内のそれぞれの画素に対応した、画素値の平均値である。平均算出部２３は、以降の平均値の算出処理において、新たに入力された入力画像データと、平均値データとに基づいて、新たに入力された入力画像データを含めた、それぞれの画素毎の画素値の平均値を算出する。
【００２９】
平均算出部２３は、入力画像記憶部２２から３枚目の入力画像データが入力されると、入力された３枚目の入力画像データと、平均値記憶部２５から入力された最初の平均値データとにおける画素値の平均値を、それぞれの画素毎に算出する。このときの平均値の算出処理では、平均値記憶部２５から入力された平均値データが、何枚分の入力画像データから算出された平均値であるかに応じて、平均値データの平均値と３枚目の入力画像データの画素値との加重平均をそれぞれ行う。
【００３０】
より具体的には、平均算出部２３は、平均値記憶部２５から入力された平均値データのそれぞれの平均値に対して、今までに処理した入力画像データの枚数に応じた重み付けを行う。例えば、入力画像記憶部２２から３枚目の入力画像データが入力されたときは、今までに１枚目と２枚目との２枚の入力画像データを処理しているため、今までに処理した入力画像データの枚数は、２枚である。この枚数に応じて重み付けを行った平均値データの平均値と、新たに入力された入力画像データ（ここでは、３枚目の入力画像データ）の画素値との平均値を、それぞれの画素毎に算出する。これにより、平均算出部２３が出力する平均値は、今回入力された入力画像データを含めた全ての入力画像データの同一位置の画素の画素値を均等に平均した値になる。例えば、３枚目の入力画像データが入力されたときは、１枚目〜３枚目までの全ての入力画像データの画素値を加算平均した平均値と同等の値になる。そして、平均算出部２３は、画素毎に算出（加重平均）した平均値を、新たな平均値データとして、差分比較部２４と平均値記憶部２５とに出力する。
【００３１】
以降、平均算出部２３は、新たな入力画像データが入力画像記憶部２２から入力される毎に、平均値記憶部２５から入力された平均値データに対して、それまでに入力された入力画像データの枚数に応じた重み付けを行って、新たに入力された入力画像データとの加重平均による平均値の算出を繰り返し行う。そして、それぞれ算出した平均値を、新たな平均値データとして、差分比較部２４と平均値記憶部２５とに順次出力する。
【００３２】
このように、平均算出部２３では、入力された２枚ずつの画像データを用いて、画素毎の平均値の算出を順次行う。これにより、平均算出部２３に最終のＮ枚目の入力画像データが入力画像記憶部２２から入力されたときには、結果として、入力された全ての入力画像データ（Ｎ枚数分の入力画像データ）の各画素値を、画素毎に均等に平均した値が算出されることになる。
【００３３】
平均値記憶部２５は、撮像装置１０において処理される１枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、平均算出部２３から入力された平均値を画素毎に記憶するための記憶部である。平均値記憶部２５は、平均算出部２３によって算出された新たな入力画像データに対応する平均値データが入力される毎に、入力された平均値データを、現在までの入力画像データの平均値データとして順次記憶する。すなわち、平均値記憶部２５は、動体除去部２０における移動体除去処理の進捗に応じて、記憶している平均値データの各平均値を、平均算出部２３から入力された新たな平均値データの平均値に順次更新する。そして、平均値記憶部２５は、記憶している平均値データを、動体除去部２０に現在まで入力された全ての入力画像データの平均値として、順次、平均算出部２３に出力する。
【００３４】
差分比較部２４は、背景画像記憶部２１から入力された背景画像データと、入力画像記憶部２２から入力された入力画像データとのそれぞれの画素毎に、平均値との差分を算出し、平均値に近い方の画素値を選択する。そして、選択された平均値に近い方のそれぞれの画素値を、新たな背景画像データとして背景画像記憶部２１に出力する。差分比較部２４による画素毎の画素値の選択においては、まず、平均算出部２３から入力された現在までの入力画像データの各平均値と、背景画像記憶部２１から入力された現在までの背景画像データの各画素値との差分の絶対値（以下「差分絶対値」という）を算出する。また、差分比較部２４は、平均算出部２３から入力された現在までの入力画像データの各平均値と、入力画像記憶部２２から入力された新たな入力画像データの各画素値との差分絶対値を算出する。そして、同じ位置の画素毎にそれぞれの差分絶対値の比較を行い、差分絶対値が小さい方の画素、すなわち、背景画像データの画素または入力画像データの画素のいずれか一方の画素値を選択する。ここで選択された各画素値が新たな背景画像データの各画素値になる。
【００３５】
次に、撮像装置１０に備えた本実施形態の画像処理装置である動体除去部２０における移動体除去処理の手順について説明する。図３は、本実施形態の画像処理装置である動体除去部２０における移動体除去処理の手順を示したフローチャートである。
【００３６】
動体除去部２０は、制御部１１からの制御に応じて移動体除去処理を開始すると、まず、ステップ１において、移動体除去の処理を行った回数を表す処理回数Ｔの値を“１”に初期化する。続いて、動体除去部２０は、ステップＳ２から１回目の移動体除去処理を開始する。
【００３７】
１回目の移動体除去処理が開始されると、ステップＳ３において、背景画像記憶部２１は、記憶部１３から入力された１枚目の入力画像データの最初の画素の画素値である入力画素値Ｉｎ（Ｔ）を、背景画素値Ｉｍｇ１として、背景画像記憶部２１内の対応するメモリに書き込む。そして、背景画像記憶部２１は、書き込んだ背景画素値Ｉｍｇ１を、平均算出部２３と差分比較部２４とに出力する。
【００３８】
続いて、ステップＳ４において、入力画像記憶部２２は、記憶部１３から入力された２枚目の入力画像データの最初の画素の入力画素値Ｉｎ（Ｔ＋１）を、比較画素値Ｉｍｇ２として、入力画像記憶部２２内の対応するメモリに書き込む。そして、入力画像記憶部２２は、書き込んだ比較画素値Ｉｍｇ２を、平均算出部２３と差分比較部２４とに出力する。
【００３９】
続いて、ステップＳ５において、平均算出部２３は、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１と、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２との２つの画素値に基づいて、平均値Ａ（Ｔ）を、下式（１）によって算出する。そして、平均算出部２３は、算出した平均値Ａ（Ｔ）を、平均値記憶部２５に出力する。
【００４０】
Ａ（Ｔ）＝（Ｉｍｇ１＋Ｉｍｇ２）／２ ・・・（１）
【００４１】
続いて、ステップＳ６において、平均値記憶部２５は、平均算出部２３から入力された平均値Ａ（Ｔ）を、総平均値Ａｖｒとして、平均値記憶部２５内の対応するメモリに書き込む。そして、平均値記憶部２５は、書き込んだ総平均値Ａｖｒを、差分比較部２４に出力する。
【００４２】
続いて、ステップＳ７において、差分比較部２４は、平均値記憶部２５から入力された総平均値Ａｖｒと、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１とに基づいて、差分絶対値Ｄ１を、下式（２）によって算出する。
【００４３】
Ｄ１＝｜Ｉｍｇ１−Ａｖｒ｜ ・・・（２）
【００４４】
また、差分比較部２４は、平均値記憶部２５から入力された総平均値Ａｖｒと、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２とに基づいて、差分絶対値Ｄ２を、下式（３）によって算出する。
【００４５】
Ｄ２＝｜Ｉｍｇ２−Ａｖｒ｜ ・・・（３）
【００４６】
続いて、ステップＳ８において、差分比較部２４は、算出した差分絶対値Ｄ１と差分絶対値Ｄ２とを比較する。そして、差分絶対値Ｄ１と差分絶対値Ｄ２とを比較した結果、差分絶対値Ｄ１が差分絶対値Ｄ２以下の値（Ｄ１≦Ｄ２）である場合（ステップＳ８の“Ｙｅｓ”）には、差分比較部２４は、ステップＳ９において、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する。また、差分絶対値Ｄ１と差分絶対値Ｄ２とを比較した結果、差分絶対値Ｄ１が差分絶対値Ｄ２よりも大きい値（Ｄ１＞Ｄ２）である場合（ステップＳ８の“Ｎｏ”）には、差分比較部２４は、ステップＳ１０において、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する。
【００４７】
なお、ここでは、１回目の移動体除去処理であるため、差分絶対値Ｄ１と差分絶対値Ｄ２とを比較した結果は、差分絶対値Ｄ１と差分絶対値Ｄ２とが同じ値（Ｄ１＝Ｄ２）になる、すなわち、ステップＳ８の“Ｙｅｓ”になる。従って、差分比較部２４は、ステップＳ９において、背景画像記憶部２１から入力された背景画素値Ｉｍｇ１（１枚目の入力画像データの画素値）を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する。なお、差分絶対値Ｄ１と差分絶対値Ｄ２とが同じ値（Ｄ１＝Ｄ２）になる場合に、差分比較部２４は、ステップＳ１０において、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２（２枚目の入力画像データの画素値）を出力画素値Ｏｕｔ（Ｔ）として、背景画像記憶部２１に出力する構成にすることもできる。
【００４８】
続いて、ステップＳ１１において、背景画像記憶部２１は、差分比較部２４から入力された出力画素値Ｏｕｔ（Ｔ）を、背景画素値Ｉｍｇ１として、背景画像記憶部２１内の対応するメモリに上書きする。このように、入力画像データの各画素に対する移動体除去処理では、ステップＳ２〜ステップＳ１１によって、差分絶対値が小さい方の画素値、すなわち、総平均値Ａｖｒに近い方の画素値が、背景画素値Ｉｍｇ１として選択され、背景画像記憶部２１内に記憶される。
【００４９】
以降、動体除去部２０は、ステップＳ２〜ステップＳ１１までの入力画像データの画素毎の移動体除去処理を、入力された入力画像データの全ての画素に対する移動体除去処理が完了するまで、繰り返す。その後、ステップＳ２〜ステップＳ１１までの処理の繰り返しを、入力画像データの画素数と同じ回数行うと、すなわち、入力画像データの全ての画素に対する画素毎の移動体除去処理が完了すると、ステップＳ１２において、１回目の移動体除去処理のループを抜け出す。ここまでの処理が、１回目の移動体除去処理である。
【００５０】
続いて、ステップＳ１３において、動体除去部２０は、今回入力された入力画像データが、最終の入力画像データであるか否かを判断する。今回入力された入力画像データが、最終の入力画像データでない場合（ステップＳ１３の“Ｎｏ”）には、ステップＳ１４に進んで、移動体除去の処理の処理回数Ｔの値に“１”を加え、処理回数Ｔを次の値に更新する。続いて、動体除去部２０は、ステップＳ１５から２回目以降の移動体除去処理を開始する。
【００５１】
なお、２回目以降の移動体除去処理は、最終の１枚の入力画像データに対する処理が完了するまで繰り返される。以下の説明においては、２回目の移動体除去処理、すなわち、処理回数Ｔ＝２である場合の移動体除去処理について説明する。なお、３回目以降の移動体除去処理（処理回数Ｔ＝３）〜最終のＮ枚目の画像データに対する移動体除去処理（処理回数Ｔ＝Ｎ）は、２回目の移動体除去処理と同様の処理を繰り返すのみであるため、説明を省略する。
【００５２】
２回目の移動体除去処理が開始されると、ステップＳ１６において、入力画像記憶部２２は、記憶部１３から入力された３枚目の入力画像データの最初の画素の入力画素値Ｉｎ（Ｔ＋１）を、比較画素値Ｉｍｇ２として、入力画像記憶部２２内の対応するメモリに上書きする。そして、入力画像記憶部２２は、上書きした比較画素値Ｉｍｇ２を、平均算出部２３と差分比較部２４とに出力する。
【００５３】
続いて、ステップＳ１７において、平均算出部２３は、入力画像記憶部２２から入力された比較画素値Ｉｍｇ２と平均値記憶部２５から入力されたＴ枚分の総平均値Ａｖｒと、の２つの値（画素値）に基づいて、Ｔ＋１枚分の入力画像データを均等に平均した平均値Ａ（Ｔ）を、下式（４）によって算出する。そして、平均算出部２３は、算出した平均値Ａ（Ｔ）を、平均値記憶部２５に出力する。
【００５４】
Ａ（Ｔ）＝Ａｖｒ×Ｔ／（Ｔ＋１）＋Ｉｍｇ２×１／（Ｔ＋１） ・・・（４）
【００５５】
なお、ここでは、２回目の移動体除去処理であるため、処理回数Ｔ＝２である、従って、平均値記憶部２５から入力された総平均値Ａｖｒは、２枚分の入力画像データにおける平均値である。そして、平均算出部２３は、新たに入力された３枚目の入力画像データを含めた３枚分の平均値Ａ（Ｔ）を算出する。
【００５６】
続いて、ステップＳ１８において、平均値記憶部２５は、平均算出部２３から入力されたＴ＋１枚分の平均値Ａ（Ｔ）を、総平均値Ａｖｒとして、平均値記憶部２５内の対応するメモリに上書きする。そして、平均値記憶部２５は、上書きした総平均値Ａｖｒを、差分比較部２４に出力する。
【００５７】
続いて、ステップＳ７〜ステップＳ１１までのそれぞれの処理によって、差分比較部２４が、平均値記憶部２５から入力された上書きされた総平均値Ａｖｒに基づいて、上書きされた総平均値Ａｖｒに近い方の画素値が選択されて、出力画素値Ｏｕｔ（Ｔ）として出力される。そして、背景画像記憶部２１は、差分比較部２４から入力された出力画素値Ｏｕｔ（Ｔ）を、背景画素値Ｉｍｇ１として、背景画像記憶部２１内の対応するメモリに再び上書きする。
【００５８】
なお、ここでは、２回目の移動体除去処理であるため、１回目の移動体除去処理によって上書きされた背景画素値Ｉｍｇ１と、入力画像記憶部２２から入力された３枚目の入力画像データの比較画素値Ｉｍｇ２との、いずれか一方の画素値が、出力画素値Ｏｕｔ（Ｔ）として出力され、背景画像記憶部２１内の対応するメモリに再び上書きされる。すなわち、背景画像記憶部２１は、画素毎に異なる入力画像データ（１枚目の入力画像データまたは３枚目の入力画像データ）の画素値を記憶する。
【００５９】
このように、２回目以降の移動体除去処理における入力画像データの各画素に対する移動体除去処理では、ステップＳ１５〜ステップＳ１８およびステップＳ７〜ステップＳ１１によって、上書きされた総平均値Ａｖｒに近い方の画素値が、背景画素値Ｉｍｇ１として選択され、背景画像記憶部２１内に記憶される。
【００６０】
以降、動体除去部２０は、ステップＳ１５〜ステップＳ１８およびステップＳ７〜ステップＳ１１の入力画像データの画素毎の移動体除去処理を、入力された入力画像データの全ての画素に対する移動体除去処理が完了するまで、繰り返す。その後、ステップＳ１５〜ステップＳ１８およびステップＳ７〜ステップＳ１１の処理の繰り返しを、入力画像データの画素数と同じ回数行って、入力画像データの全ての画素に対する画素毎の移動体除去処理が完了すると、ステップＳ１２において、２回目以降の移動体除去処理のループを抜け出す。ここまでの処理が、２回目以降の移動体除去処理における１回分の移動体除去処理である。
【００６１】
続いて、ステップＳ１３において、動体除去部２０は、今回入力された入力画像データが、最終の入力画像データであるか否かを判断する。今回入力された入力画像データが、最終の入力画像データでない場合（ステップＳ１３の“Ｎｏ”）には、ステップＳ１４に戻って、次の入力画像データに対する移動体除去処理を開始する。
【００６２】
また、ステップＳ１３において、今回入力された入力画像データが、最終の入力画像データである場合（ステップＳ１３の“Ｙｅｓ”）には、動体除去部２０は、ステップＳ１９において、背景画像記憶部２１に記憶しているそれぞれの背景画素値Ｉｍｇ１をそれぞれの画素値とした最終的な背景画像データを、最終的な動体除去画像データとして画像処理部１５に出力して、動体除去部２０における移動体除去処理を完了する。
【００６３】
このように、動体除去部２０は、入力画像データが入力される毎に、入力画像データの画素毎の値を比較することによって、多くの入力画像データの同一位置の画素値と異なる、例えば、固定物の前を横切る通行人や車両などの移動体による特異な画素値を排除する。これにより、移動体除去処理後の最終的な動体除去画像データは、移動体が含まれない画素データとなる。なお、動体除去画像データは、移動体除去処理によって生成された、画素毎に異なる入力画像データ（動体除去部２０に入力された全ての入力画像データの内、いずれか１つの入力画像データ）の画素値で構成された画像データである。
【００６４】
なお、動体除去部２０に入力されるそれぞれの入力画像データは、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像データ毎に画素値が異なってしまう。このような場合には、動体除去部２０による移動体除去処理において、背景データとなる画素を正しく選択できなくなってしまう。そのため、動体除去画像データを得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像データで同一であることが望ましい。
【００６５】
ここで、本実施形態の画像処理装置である動体除去部２０において移動体除去処理を行う場合の一例について説明する。図４は、本実施形態の画像処理装置である動体除去部２０による移動体除去処理の一例を説明する図である。図４の説明においては、５枚（フレーム）分の入力画像データから動体除去画像データを生成するときの移動体除去処理において、３枚目の入力画像データに写っている移動体を除去する場合の移動体除去処理の推移について説明する。また、５枚の入力画像データ内の同一位置の特定の画素に着目して、移動体除去処理によって画素値が選択される様子を説明する。また、以下の説明においては、着目する画素を区別するため、何枚目の入力画像データであるかを表す入力画像データのフレーム数を、それぞれの画素の符号として付加して説明する。
【００６６】
図４では、横軸を入力画像データの枚数（フレーム数）、縦軸を画素値とし、棒グラフで入力画像データ（または背景画像データ）の画素値の分布を表し、点線で入力された入力画像データの平均値を表している。また、図４内の黒塗りの丸および白抜きの丸は、それぞれ、入力画像データ内で着目する同一位置の特定の画素を表し、黒塗りの丸が、差分比較部２４によって選択される対象の画素を表し、白抜きの丸が、差分比較部２４によって選択されなかった画素を表している。
【００６７】
なお、図４（ａ）〜図４（ｄ）のそれぞれには、差分比較部２４によって比較される背景画像データと入力画像データとの２枚の画像データの画素値の分布を示すが、差分比較部２４によって選択された後の新たな背景画像データの画素値の分布は、上述したように、画素毎に異なる入力画像データの画素値によって構成される。このため、図４（ｂ）〜図４（ｄ）に示す新たな背景画像データの画素値の分布は、着目する画素が含まれる画像データの画素値の分布を、新たな背景画像データの画素値の分布の代表として示す。
【００６８】
１フレーム目の入力画像データと、２フレーム目の入力画像データとが動体除去部２０に入力されると、動体除去部２０は、１回目の移動体除去処理を行う。１回目の移動体除去処理においては、図４（ａ）に示したように、まず、平均算出部２３は、１フレーム目の入力画像データの画素１の画素値と、２フレーム目の入力画像データの画素２の画素値との加算平均によって最初の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した最初の平均値を記憶する。続いて、差分比較部２４は、平均値記憶部２５に記憶された最初の平均値に基づいて、１フレーム目の入力画像データの画素１を選択する。そして、背景画像記憶部２１は、差分比較部２４によって選択された１フレーム目の入力画像データの画素１を、新たな背景画像データとして再度記憶する。
【００６９】
その後、３フレーム目の入力画像データが動体除去部２０に入力されると、動体除去部２０は、２回目の移動体除去処理を行う。２回目の移動体除去処理においては、図４（ｂ）に示したように、まず、平均算出部２３は、平均値記憶部２５に記憶されている最初の平均値と、３フレーム目の入力画像データの画素３の画素値との加重平均によって２回目の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した２回目の平均値を記憶する。なお、３フレーム目の入力画像データには移動体が含まれているため、画素３の画素値は、画素１および画素２の画素値に比べて大きな値である。そのため、平均算出部２３が算出した２回目の平均値は、最初の平均値よりも大きな値になってしまう。
【００７０】
しかし、差分比較部２４は、平均値記憶部２５に記憶された２回目の平均値に基づいて画素を選択するときに、画素３を選択することはなく、画素１を選択する。これは、差分比較部２４が、平均値に近い方の画素値を選択するためである。より具体的には、２回目の平均値は、画素１〜画素３の画素値を均等に加算平均した平均値と同等であるため、画素３の大きな画素値の影響は、１／３である。このため、平均値に近い方の画素値を選択する差分比較部２４は、平均値の２／３に影響している画素１（および画素２）の画素値を選択することになる。このように、背景画像記憶部２１は、移動体が含まれる画素３の影響を受けることなく、移動体を含まない画素１を選択することができる。そして、背景画像記憶部２１は、差分比較部２４によって選択された１フレーム目の入力画像データの画素１を、新たな背景画像データとして再度記憶する。
【００７１】
その後、４フレーム目の入力画像データが動体除去部２０に入力されると、動体除去部２０は、３回目の移動体除去処理を行う。３回目の移動体除去処理においては、図４（ｃ）に示したように、まず、平均算出部２３は、平均値記憶部２５に記憶されている２回目の平均値と、４フレーム目の入力画像データの画素４の画素値との加重平均によって３回目の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した３回目の平均値を記憶する。なお、４フレーム目の入力画像データには移動体が含まれていないため、画素４の画素値は、画素１および画素２の画素値とほぼ同じ大きさの値である。そのため、平均算出部２３が算出した３回目の平均値は、２回目の平均値に影響していた画素３の影響が少なくなり、２回目の平均値よりも少し小さな値になる。より具体的には、３回目の平均値は、画素１〜画素４の画素値を均等に加算平均した平均値と同等であるため、画素３の大きな画素値の影響は、１／４になり、２回目の平均値よりも少し小さな値になる。
【００７２】
そして、差分比較部２４は、平均値記憶部２５に記憶された３回目の平均値に基づいて、平均値に近い方の画素を選択する。図４（ｃ）においては、差分比較部２４によって、４フレーム目の入力画像データの画素４が選択された場合を示している。そして、背景画像記憶部２１は、差分比較部２４によって選択された４フレーム目の入力画像データの画素４を、新たな背景画像データとして再度記憶する。
【００７３】
その後、５フレーム目の入力画像データが動体除去部２０に入力されると、動体除去部２０は、４回目の移動体除去処理を行う。４回目の移動体除去処理においては、図４（ｄ）に示したように、まず、平均算出部２３は、平均値記憶部２５に記憶されている３回目の平均値と、５フレーム目の入力画像データの画素５の画素値との加重平均によって４回目の平均値を算出する。そして、平均値記憶部２５は、平均算出部２３が算出した４回目の平均値を記憶する。なお、５フレーム目の入力画像データにも移動体が含まれていないため、画素５の画素値も、画素１、画素２、および画素４の画素値とほぼ同じ大きさの値である。そのため、平均算出部２３が算出した４回目の平均値は、２回目の平均値に影響していた画素３の影響がさらに少なくなり、３回目の平均値よりも少し小さな値になる。より具体的には、４回目の平均値は、画素１〜画素５の画素値を均等に加算平均した平均値と同等であるため、画素３の大きな画素値の影響は、１／５になり、３回目の平均値よりもさらに少し小さな値になる。
【００７４】
そして、差分比較部２４は、平均値記憶部２５に記憶された４回目の平均値に基づいて、平均値に近い方の画素を、最終の選択画素として選択する。図４（ｄ）においては、差分比較部２４によって、５フレーム目の入力画像データの画素５が、最終の選択画素として選択された場合を示している。そして、背景画像記憶部２１は、差分比較部２４によって選択された５フレーム目の入力画像データの画素５を、新たな背景画像データとして再度記憶する。その後、背景画像記憶部２１は、制御部１１からの制御に応じて、最終的に記憶している背景画像データを、動体除去部２０が移動体除去処理を行った最終的な動体除去画像データとして、画像処理部１５に出力する。
【００７５】
このように、動体除去部２０は、移動体除去処理を行う毎に平均値を更新し、その都度、前回の移動体除去処理によって記憶された背景画像データと、新たに入力された入力画像データとの内、更新された平均値に近い方を選択して出力する。上述したように、移動体がカメラの前を横切るような場合においても、移動体が通過した位置の画素値のほとんど（過半数）は、移動体の画素値ではなく、固定物や背景の画素値であると考えるため、少ない移動体の画素値が選択されることはなく、動体除去画像データを生成することができる。
【００７６】
上記に述べたとおり、本発明を実施するための形態によれば、画像データが入力される毎に、２枚の画像データのそれぞれの画素の画素値に基づいて平均値を算出し、算出した平均値に基づいて、２枚の画像データのそれぞれの画素に、平均値に近い方の画素を選択することによって、移動体を除去した画像データである動体除去画像データを生成する。このため、本実施形態の画像処理装置内に備える必要がある記憶部の容量は、２枚分の画像データを記録することができる容量と、平均値を記憶するための１枚分の画像データを記録することができる容量との、合計３枚分の画像データを記録することができる容量のみである。従来の移動体除去方法によって移動体を除去した画像、すなわち、本実施形態の動体除去画像データと同様の画像を生成する場合には、処理を行うために使用する全ての画像データを記憶しておくことができる容量の記憶部が必要であったが、本実施形態の画像処理装置では、移動体除去処理を行うために使用する入力画像データの枚数に限らず、３枚分の画像データを記録することができる容量のみで、移動体除去処理を行うことができる。このことにより、本実施形態の画像処理装置では、大きな容量の記憶部を備えることなく、移動体を除去した画像データを生成することができる。これにより、移動体を除去した画像データを生成するために必要な記憶部の容量を削減することができ、移動体を除去した画像データを生成するための回路規模を削減することができる。
【００７７】
また、本発明を実施するための形態によれば、画像データが入力される毎に、順次、移動体除去処理を行う。従来の移動体除去方法では、処理を行うために使用する全ての画像データの記憶が完了した後に、記憶した全ての画像データに基づいて移動体を除去した画像の生成処理を行うため、処理が完了するまでに相当の時間を要していた。例えば、処理を行うために使用する画像データが５枚分必要であれば、５枚の画像データを記憶した後に処理を開始していたため、５枚分の処理に時間を要していた。本実施形態の画像処理装置では、最終の１枚の画像データが入力された後に行う移動体除去処理は、入力された最終の１枚の画像データに基づいて移動体除去処理のみにすることができる。すなわち、本実施形態の画像処理装置では、１回目の移動体除去処理において使用する２枚分の画像データが入力されたときから移動体除去処理を開始することができ、最終の１枚の画像データより前の画像データに対する移動体除去処理を、事前に完了しておくことができる。例えば、移動体除去処理において５枚の画像データを使用する場合でも、最初の移動体除去処理は、２枚目の画像データが入力されたときから開始することができ、１枚目〜４枚目までの移動体除去処理を、５枚目の画像データが入力されるときには終了させておくことができる。このため、最終の１枚の画像データが入力されてから移動体除去処理が完了するまでの時間を短縮することができる。これにより、例えば、本実施形態の画像処理装置を搭載したカメラでは、２枚の撮影が終了した時点から移動体除去処理を開始することができ、撮影開始から移動体除去処理の完了までの時間を短縮でき、カメラの使用者（ユーザー）に、違和感や不快感を与えることなく、移動体除去処理が完了させることができる。
【００７８】
なお、本実施形態においては、図３の移動体除去処理のフローチャートで示したように、背景画像記憶部２１と入力画像記憶部２２とに、入力画像データの各画素を順次記憶しながら、画素毎に移動体除去処理を行い、入力画像データの画素数と同じ回数の処理が完了したときに、１回の移動体除去処理、すなわち、入力された１枚の入力画像データに対する移動体除去処理が完了する場合について説明した。しかし、１枚の入力画像データに対する移動体除去処理を行う手順は、本発明を実施するための形態に限定されるものではない。例えば、先に、背景画像記憶部２１と入力画像記憶部２２との全てのメモリに、入力画像データの全ての画素分の画素値を書き込んでおき、その後、記憶した画素値を順次読み出しながら、画素毎に移動体除去処理を行う手順にすることもできる。
【００７９】
また、本実施形態においては、移動体除去処理を行った最終的な背景画像データを、動体除去画像データとして出力する場合について説明したが、動体除去画像データを出力するタイミングは、本発明を実施するための形態に限定されるものではない。例えば、１回の移動体除去処理が完了する毎に、背景画像記憶部２１に記憶されている背景画像データを、動体除去画像データとして出力する構成にすることもできる。この場合、例えば、画像処理部１５が、動体除去画像データが入力される毎に、画像データを表示するための画像処理を行って表示用の画像データを生成し、表示部１６内の表示装置に、表示用の画像データを表示することができる。このような構成にすることによって、本実施形態の画像処理装置を搭載したカメラのユーザーは、移動体が除去されていく過程を確認しながら撮影を行うことができ、撮影開始から移動体除去処理の完了までの間、違和感や不快感がなく、背景のみの画像を取得することができる。また、移動体が除去されていく過程を確認しながら撮影を行っているため、ユーザーが所望する画像であると判断した場合に、撮影と移動体除去処理とを終了させることができる。これにより、従来の移動体除去方法では、処理を行うために使用する枚数分の撮影を必ず行わなければならないというような制約があったが、本実施形態の画像処理装置を搭載したカメラでは、移動体除去処理におけるこのような制約をなくすことができる。
【００８０】
また、本実施形態の画像処理装置では、入力される画像データの条件によっては、本実施形態の画像処理装置を搭載したカメラが最終的に出力する背景のみの画像の画質改善の効果も得られることがある。例えば、本実施形態の画像処理装置に入力される最終の入力画像データにのみ移動体が写っている場合に、従来の移動体除去方法よりも画質の改善効果が得られる動体除去画像データを出力することができる。以下に、移動体除去処理によって画質改善の効果が得られる動体除去画像データを出力する場合の一例について説明する。図５は、本実施形態の画像処理装置である動体除去部２０による移動体除去処理の別の一例を説明する図である。
【００８１】
図５の説明においては、５枚（フレーム）分の入力画像データから動体除去画像データを生成するときの移動体除去処理において、５枚目の入力画像データにのみ移動体が写っている場合の移動体除去処理について説明する。従って、動体除去部２０による４回目の移動体除去処理のみについて説明する。また、５枚の入力画像データ内の同一位置の特定の画素に着目し、移動体除去処理によって選択される画素値について説明する。また、以下の説明においては、着目する画素を区別するため、何枚目の入力画像データであるかを表す入力画像データのフレーム数を、それぞれの画素の符号として付加して説明する。
【００８２】
図５では、横軸を入力画像データの枚数（フレーム数）、縦軸を画素値とし、棒グラフで入力画像データ（または背景画像データ）の画素値の分布を表している。また、図５では、実線で従来の移動体除去方法によって算出される５フレーム分の平均値を表し、点線で本実施形態の画像処理装置である動体除去部２０が４フレームまでの入力画像データから算出した４フレーム分の平均値（３回目の平均値）を表している。また、図５内の黒塗りの丸および白抜きの丸は、それぞれ、入力画像データ内で着目する同一位置の特定の画素を表し、黒塗りの丸が、差分比較部２４によって選択される対象の画素を表し、白抜きの丸が、差分比較部２４によって選択されなかった画素を表している。
【００８３】
また、図５（ａ）および図５（ｂ）のそれぞれには、差分比較部２４によって比較される新たな背景画像データと入力画像データとの２枚の画像データの画素値の分布を示すが、差分比較部２４によって選択された後の新たな背景画像データの画素値の分布は、上述したように、画素毎に異なる入力画像データの画素値によって構成される。このため、図５（ａ）および図５（ｂ）に示す新たな背景画像データの画素値の分布は、着目する画素が含まれる画像データの画素値の分布を、新たな背景画像データの画素値の分布の代表として示す。
【００８４】
図５（ａ）に示した４回目の移動体除去処理は、５フレーム目の入力画像データにのみ移動体が写っている場合の移動体除去処理の一例である。従来の移動体除去方法では、画像データの画素毎に、全て（５枚）の画像データに基づいて平均値を算出し、算出した平均値に最も近い画素値を持つ画素を全ての画像データの中から選択する。このため、従来の移動体除去方法では、図５（ａ）の実線で示したような平均値が算出される。この平均値は、画素１〜画素５の画素値を均等に加算平均した平均値である。そして、この平均値は、画素１〜画素４の画素値に比べて大きな値である画素５の画素値の影響によって、大きめの値になっている。この平均値に最も近い画素値を持つ画素を選択すると、画素３が選択される。
【００８５】
一方、動体除去部２０の４回目の移動体除去処理では、３回目の移動体除去処理で算出した３回目の平均値と、５フレーム目の入力画像データの画素５の画素値との加重平均によって４回目の平均値を算出する。従って、平均算出部２３によって算出される４回目の平均値は、従来の移動体除去方法で算出された平均値と同じである。しかし、動体除去部２０では、上記に述べたように、３回目までの移動体除去処理によって選択された画素の画素値と、５フレーム目の入力画像データの画素の画素値とにおいて、４回目の平均値に近い方の画素値を選択する。従って、図５（ａ）に示したように、３回目までの移動体除去処理によって選択された画素が画素１である場合には、差分比較部２４によって、画素１の画素値と画素５の画素値とが比較され、４回目の平均値に近い方の画素１が、最終の選択画素として選択される。
【００８６】
ここで、５フレーム目の入力画像データの画素５は、移動体の画素であるため、画素５以外の移動体が含まれていない画素１〜画素４までの画素に基づいた移動体除去処理を考える。画素１〜画素４の画素値を均等に加算平均した３回目の平均値は、図５（ａ）の点線で示したような値である。そして、従来の移動体除去方法で選択された画素３の画素値と、差分比較部２４によって選択された画素１の画素値とを比較すると、図５（ａ）を見てわかるように、移動体が含まれていない画素１〜画素４に基づいた３回目の平均値に近い方の画素は、画素１である。
【００８７】
なお、従来の移動体除去方法で選択された画素３も、差分比較部２４によって選択された、すなわち、本実施形態の画像処理装置による移動体除去処理で選択された画素１も、移動体が写っていない画素である。従って、移動体が写っていない画素の中から、いずれか１つの画素を選択していれば、特に問題がないとも考えることができる。しかし、１フレーム目〜４フレーム目までの入力画像データは、共に移動体が写っていない入力画像データのではあるが、同一位置の画素であっても、実際の画素値は、例えば、ノイズなどの影響によって、図５（ａ）に示したように、僅かに変動している。このノイズによる画素値の変動を考慮すると、ノイズの影響が最も少ないと考えることができる値は平均値である。すなわち、図５（ａ）の点線で示した３回目の平均値である。このため、この３回目の平均値に最も近い画素１を選択することができる本実施形態の画像処理装置の移動体除去処理の方が、従来の移動体除去方法よりも画質的に優位であるといえる。
【００８８】
このように、従来の移動体除去方法では、全ての画像データが入力された後に、入力された全ての画像データに基づいて移動体除去処理を行うため、移動体が含まれていない画素１〜画素４の画素値の中でも、移動体が含まれている画素５の画素値よりの画素が選択される。一方、本実施形態の画像処理装置では、移動体が含まれていない画素１〜画素４の画素値の平均に近い画素が選択される。すなわち、本実施形態の画像処理装置では、最終の入力画像データにのみ移動体が写っている場合において、移動体が写っている最終の入力画像データに対する移動体除去処理より前の移動体除去処理で選択された画素が、最終的に選択される。従って、本実施形態の画像処理装置では、最終の入力画像データにのみに写っている移動体の画素値に影響されていない、すなわち、画質の改善効果が得られる動体除去画像データを出力することができる。
【００８９】
また、図５（ｂ）に示した４回目の移動体除去処理は、５フレーム目の入力画像データに移動体が写っており、４フレーム目の入力画像データが移動体の境界部分にあたる場合の移動体除去処理の一例である。ここで、移動体の境界部分とは、例えば、移動体の輪郭部分、移動体の陰による色の変わり目の境界部分など、移動体の影響が現れている場所であり、移動体の境界部分に位置する画素の画素値は、背景の画素値と移動体の画素値との間の画素値になる。図５（ｂ）に示した４フレーム目の入力画像データの画素４の画素値は、１フレーム目〜３フレーム目までの入力画像データに写っている背景の画素１〜画素３の画素値と、５フレーム目の入力画像データの移動体の画素５の画素値との間の値である。
【００９０】
従来の移動体除去方法では、画像データの画素毎に、全て（５枚）の画像データに基づいて算出した平均値に最も近い画素値を持つ画素を全ての画像データの中から選択する。このため、従来の移動体除去方法では、画素４と画素５との大きな値に影響された図５（ｂ）の実線で示した大きめの値の平均値が算出される。そして、この平均値に最も近い画素値を持つ画素４が選択される。このように、従来の移動体除去方法では、移動体が含まれていない画素１〜画素３までの画素の画素値と離れた値の画素値を持つ画素４が選択されてしまうため、画質的に不利になってしまうと考えられる。
【００９１】
一方、動体除去部２０の４回目の移動体除去処理でも、平均算出部２３によって算出される４回目の平均値は、従来の移動体除去方法で算出された平均値と同じである。また、図５（ｂ）に点線で示した、３回目の移動体除去処理で算出した３回目の平均値も、画素１〜画素３の画素値に比べて大きな値である画素４の画素値の影響によって、図５（ａ）に点線で示した３回目の平均値よりも大きめの値になる。しかし、動体除去部２０による４枚目の移動体除去処理においては、移動体が含まれていない画素１〜画素３までの画素の画素値と離れた値の画素値を持つ画素４が選択されることはない。これは、図５（ｂ）に示したように、３回目の移動体除去処理において、画素１が選択されているからである。すなわち、４フレーム目の入力画像データが入力されたときに行う３回目の移動体除去処理では、図５（ｂ）に点線で示した３回目の平均値から離れた値の画素値を持つ画素４が選択されることはなく、画素４が、４回目の移動体除去処理において選択される対象の画素とはならないからである。そして、４回目の移動体除去処理においては、画素５が選択されることもなく、４回目の平均値に近い方の画素１が、最終の選択画素として選択される。
【００９２】
このように、従来の移動体除去方法では、移動体の輪郭部分や、移動体の陰によってできる色の変わり目の境界部分などに多く見られる移動体の影響が現れている場所では、移動体が含まれていない画素の画素値と離れた値の画素値を持つ画素（例えば、図５（ｂ）に示した画素４）が選択されてしまうことがある。一方、本実施形態の画像処理装置では、移動体の輪郭部分や境界部分などの移動体の影響が現れている場所においても、移動体が含まれていない画素１〜画素３の画素値の平均に近い画素（例えば、図５（ｂ）に示した画素１）が選択される。すなわち、本実施形態の画像処理装置では、被写体の影響が現れている場合において、移動体が含まれていない画素（例えば、図５（ｂ）に示した画素１〜画素３）の画素値の平均に近い画素が、最終的に選択される。従って、本実施形態の画像処理装置では、入力画像データに写っている移動体の画素値や、移動体の境界部分の画素値に影響されていない、すなわち、画質の改善効果が得られる動体除去画像データを出力することができる。
【００９３】
上記に述べたように、本実施形態の画像処理装置では、移動体が含まれていない、より多くの画素（例えば、図５（ａ）に示した画素１〜画素４、また、例えば、図５（ｂ）に示した画素１〜画素３）の画素値の平均に近い画素が、動体除去画像データの画素として選択される。これにより、最終の入力画像データにのみ移動体が写っているような入力画像データの領域では、移動体の影響がない、動体除去画像データを出力することができる。これにより、本実施形態の画像処理装置を搭載したカメラでは、従来の移動体除去方法よりも移動体をきれいに除去した画像を生成することができる。また、最終の入力画像データに移動体が写っており、１つ前の入力画像データが移動体の境界部分であり、背景の画素値と移動体の画素値との間の画素値であるような入力画像データの領域でも、移動体や移動体の境界部分の影響がない、動体除去画像データを出力することができる。これにより、本実施形態の画像処理装置を搭載したカメラでは、従来の移動体除去方法よりも、より自然に移動体を除去した画像を生成することができる。このように、本実施形態の画像処理装置では、入力される画像データの条件によって、従来の移動体除去方法よりも、画質的に有利な動体除去画像データを出力することができる。
【００９４】
また、本実施形態においては、撮像装置に画像処理装置を適用した場合について説明したが、本実施形態の画像処理装置を適用することができる範囲は、本発明を実施するための形態に限定されるものではなく、複数の同じ画角の画像から移動体を除去した画像を生成するシステムであれば、どのようなシステムにも適用することができる。
【００９５】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００９６】
１０・・・撮像装置（画像処理装置）
１１・・・制御部
１２・・・撮像部
１３・・・記憶部
１４・・・手ぶれ補正部
１５・・・画像処理部
１６・・・表示部
１７・・・記録部
２０・・・動体除去部（画像処理装置）
２１・・・背景画像記憶部（第１の画像データ記憶部）
２２・・・入力画像記憶部（第２の画像データ記憶部）
２３・・・平均算出部
２４・・・差分比較部
２５・・・平均値記憶部
【特許請求の範囲】
【請求項１】
初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶部と、
２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶部と、
前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出部と、
前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶部と、
前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較部と、
を備え、
前記平均算出部は、
該画像処理装置に２回目までの前記画像データが入力されているときには、
前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、
該画像処理装置に３回目以降の前記画像データが入力されているときには、
前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、
前記第１の画像データ記憶部は、
前記第１の画素データを前記差分比較部に出力した後、前記差分比較部から出力された前記更新データを前記第１の画素データとして順次記憶する、
ことを特徴とする画像処理装置。
【請求項２】
前記第１の画像データ記憶部は、
該画像処理装置に最終回の前記画像データが入力され、該最終回の前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして出力する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像データ記憶部は、
該画像処理装置に２回目以降の前記画像データが入力される毎に、入力された前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして順次出力する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
第１の画像データ記憶部に、初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶ステップと、
第２の画像データ記憶部に、２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶ステップと、
前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出ステップと、
平均値記憶部に、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶ステップと、
前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較ステップと、
を含み、
前記平均算出ステップは、
２回目までの前記画像データが入力されているときには、
前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、
３回目以降の前記画像データが入力されているときには、
前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、
前記第１の画像データ記憶ステップは、
前記第１の画素データを前記差分比較ステップにおいて出力した後、前記差分比較ステップによって出力された前記更新データを前記第１の画素データとして、前記第１の画像データ記憶部に順次記憶する、
ことを特徴とする画像処理方法。
【請求項１】
初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶部と、
２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶部と、
前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出部と、
前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶部と、
前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較部と、
を備え、
前記平均算出部は、
該画像処理装置に２回目までの前記画像データが入力されているときには、
前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、
該画像処理装置に３回目以降の前記画像データが入力されているときには、
前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、
前記第１の画像データ記憶部は、
前記第１の画素データを前記差分比較部に出力した後、前記差分比較部から出力された前記更新データを前記第１の画素データとして順次記憶する、
ことを特徴とする画像処理装置。
【請求項２】
前記第１の画像データ記憶部は、
該画像処理装置に最終回の前記画像データが入力され、該最終回の前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして出力する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像データ記憶部は、
該画像処理装置に２回目以降の前記画像データが入力される毎に、入力された前記画像データに対応した前記第１の画素データの全てが更新されたときに、該更新された前記第１の画素データで構成された画像データを、出力画像データとして順次出力する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
第１の画像データ記憶部に、初回に入力された複数の画素データで構成された画像データを第１の画像データとして記憶し、該記憶した第１の画像データ内の前記画素データを第１の画素データとして順次出力する第１の画像データ記憶ステップと、
第２の画像データ記憶部に、２回目以降に入力された複数の前記画像データを第２の画像データとして順次記憶し、該記憶した第２の画像データ内の前記画素データを第２の画素データとして順次出力する第２の画像データ記憶ステップと、
前記画像データ内の前記画素データのそれぞれに対応して順次入力される第１のデータと、第２のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出ステップと、
平均値記憶部に、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶ステップと、
前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第１の画像データ内の前記第１の画素データ、または前記第２の画像データ内の前記第２の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較ステップと、
を含み、
前記平均算出ステップは、
２回目までの前記画像データが入力されているときには、
前記第１の画素データを前記第１のデータとし、前記第２の画素データを前記第２のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、
３回目以降の前記画像データが入力されているときには、
前記第２の画素データを前記第１のデータとし、該前記第１のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第２のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第２のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、
前記第１の画像データ記憶ステップは、
前記第１の画素データを前記差分比較ステップにおいて出力した後、前記差分比較ステップによって出力された前記更新データを前記第１の画素データとして、前記第１の画像データ記憶部に順次記憶する、
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１９０２３３（Ｐ２０１２−１９０２３３Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２８６５（Ｐ２０１１−５２８６５）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]