画像処理装置、デジタルカメラおよび画像処理プログラム
【課題】少ない枚数の画像から正確な背景画像を生成する。
【解決手段】複数の画像を取得し（Ｓ１）、取得した画像の枚数に応じて画像の階調数を設定し、この階調数により複数の画像の各画素の階調値の度数分布を作成する（Ｓ３〜Ｓ７）。そして、作成された度数分布から画素ごとの最頻度の階調値を検索し（Ｓ８）、検索された画素ごとの最頻度の階調値を用いて画像の内の背景部分の画像を生成する（Ｓ９）。
【解決手段】複数の画像を取得し（Ｓ１）、取得した画像の枚数に応じて画像の階調数を設定し、この階調数により複数の画像の各画素の階調値の度数分布を作成する（Ｓ３〜Ｓ７）。そして、作成された度数分布から画素ごとの最頻度の階調値を検索し（Ｓ８）、検索された画素ごとの最頻度の階調値を用いて画像の内の背景部分の画像を生成する（Ｓ９）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、デジタルカメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
連写画像の各画素に対して画素値のヒストグラムを作成し、頻度が最大となる画素値を選択してその画素値を当該画素における背景値とし、背景画像を生成するようにした画像処理装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３００４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の画像処理装置では、背景画像を生成するために大量の画像が必要となるが、一般的なデジタルカメラによる撮影では大量の静止した状態の画像を取得することは難しいという問題がある。例えば、８ビットで３チャンネル（ＲＧＢ）の画像の場合には、１チャンネル当たりの階調分解能は２５６となり、少なくとも２５６枚以上の連写画像が必要になる。したがって、連写間隔を３０ＦＰＳとすると撮影に８．５秒もかかることになり、一般的な撮影ではこのような大量の連写画像を撮影するのは困難である。
【課題を解決するための手段】
【０００５】
(１) 本発明の画像処理装置は、複数の画像を取得する画像取得手段と、前記画像取得手段で取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成手段と、前記度数分布作成手段により作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索手段と、前記検索手段により検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成手段とを備える。
(２) 本発明のデジタルカメラは、画像を撮像する撮像手段と、前記撮像手段により撮像された複数の画像を処理する上記画像処理装置とを備える。
(３) 本発明の画像処理プログラムは、複数の画像を取得する画像取得ステップと、前記画像取得ステップで取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成ステップと、前記度数分布作成ステップにより作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索ステップと、前記検索ステップにより検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成ステップとをコンピューターに実行させる。
【発明の効果】
【０００６】
本発明によれば、少ない枚数の画像から画素ごとの階調値の近似度数分布を作成でき、画素ごとの最頻度の階調値により正確な背景画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のデジタルカメラの構成を示す図
【図２】一実施の形態の画像処理プログラムを示すフローチャート
【図３】背景画像を生成する際に取得したｎ枚の画像を示す図
【図４】あるカラーのある座標の画素の階調値のヒストグラムを示す図
【図５】取得した画像の枚数が少ない場合のヒストグラムの一例を示す図
【図６】取得した画像の枚数に応じた階調数を設定した場合のヒストグラムの一例を示す図
【図７】背景画像の生成例を示す図
【発明を実施するための形態】
【０００８】
図１は、一実施の形態のデジタルカメラ（以下、単にカメラという）１の構成を示すブロック図である。なお、図１では本発明の画像処理機能と直接的に関係のないカメラの機器および回路の図示と説明を省略する。図１において、カメラ１は撮影レンズ２、撮像素子３、ＡＦＥ(Analog Front End)回路４、フレームメモリ５、画像処理回路６、ＡＦ回路７、レンズ駆動回路８、操作部材９、メモリ１０、ドライバー１１、モニター１２、インターフェース１３、メモリカード１４、コントローラー１５などを備えている。
【０００９】
撮影レンズ２は単レンズとして図示しているが、ズーミングレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子３の受光面上に結像させる。撮像素子３は、受光面に複数の赤Ｒ画素、緑Ｇ画素、青Ｂ画素が二次元状にベイヤー配列されたＣＭＯＳイメージセンサなどから構成され、撮影レンズ２により結像された被写体像を光電変換してアナログ画像信号を出力する。
【００１０】
ＡＦＥ回路４は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。フレームメモリ５は、撮像素子３により撮像されＡＦＥ回路４によりアナログ処理された画像信号をフレーム単位で一時記憶する記憶回路である。画像処理回路６は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。
【００１１】
ＡＦ回路７は、撮像画素Ｒ、Ｇ、Ｂから出力される画像信号のコントラストがピークとなるフォーカシングレンズ位置を検出する回路である。レンズ駆動回路８は、ＡＦ回路７によるＡＦ検出結果に基づいて撮影レンズ２のフォーカシングレンズを駆動し焦点調節を行うとともに、ズーミングレンズを駆動して焦点距離を変える。操作部材９には、レリーズ半押しおよび全押しスイッチ、ズームスイッチ、モードスイッチ、メニュースイッチ、十字スイッチ、ＯＫスイッチなどの各種スイッチ類が含まれる。
【００１２】
メモリ１０は画像および情報を記憶するＲＡＭなどの記憶素子である。モニター１２は、撮像素子３により撮像したスルー画像や撮影した画像と各種情報を表示するＬＣＤである。ドライバー１１はモニター１２の表示制御を行う。インターフェース１３は、メモリカード１４に対する画像データや各種情報データの書き込みや、メモリカード１４からの画像データや各種情報データの読み込みを行う。
【００１３】
コントローラー１５はＣＰＵ１５ａとメモリ１５ｂなどの周辺部品から構成され、撮像、露出、焦点調節（ＡＦ）、画像表示などのカメラ１の各種動作を制御するとともに、後述する画像処理プログラムを実行して撮像画像から背景画像を抽出する処理を行う。メモリ１５ｂにはカメラ１の各種演算および制御を行うためのプログラムや後述する画像処理プログラム、種々の情報などが記憶されている。
【００１４】
図２は一実施の形態の画像処理プログラムを示すフローチャートである。カメラ１のコントローラー１５は、カメラ１の操作部材９の電源スイッチが投入されモードセレクターにより背景画像の生成モードが設定されると、図２に示す画像処理プログラムの実行を開始する。
【００１５】
ステップ１において背景画像を生成するための連写画像を取得する。ここでは、撮像素子３により撮像されＡＦＥ回路４によりアナログ処理を施されてフレームメモリ５に記憶されている連写画像ｎ枚を取得し、これらの画像から移動体を分離して背景画像のみを生成する。なお、この一実施の形態ではカメラ１で撮像された複数枚の画像から背景画像を生成する例を示すが、対象となる画像はカメラ１の撮影画像に限定されず、例えばメモリカード１４から読み込んだ複数枚の連写画像であってもよい。
【００１６】
ステップ２では、背景画像を生成するために取得した画像の枚数を計数する。この一実施の形態ではｎ枚の画像を取得したものとする。ステップ３で、背景画像を抽出するために取得した画像の枚数ｎに応じた階調分割幅ｚを決定する。
【００１７】
ここで、図３〜図７を参照してｎ枚の画像から各画素の階調値のヒストグラムを作成し、画素ごとの最頻度の階調値を求めて背景画像を生成する一実施の形態の画像処理方法を説明する。取得した画像の階調値ｄは次式で表される。
ｄ＝Ｉｃ（ｘ,ｙ,ｎ） ・・・(１)
(１)式において、Ｉは光強度、ｃはカラーで赤Ｒまたは緑Ｇまたは青Ｂ、ｘ,ｙは画像上の画素位置を表す横方向と縦方向の座標である。
【００１８】
図３は背景画像を生成する際に取得したｎ枚の画像を示し、図４はあるカラーのある座標の画素の階調値のヒストグラム例を示す。図３に示すｎ枚の画像から、カラー（ＲＧＢ）と座標（画素）を指定し、(１)式により図４に示すようなカラーと座標ごとの取得枚数ｎ枚分の階調値ｄのヒストグラムを作成する。
【００１９】
例えば８ビット、３チャンネル（Ｒ、Ｇ、Ｂ）の画像を例に挙げて説明すると、１チャンネル当たりの階調分解能は２５６であるから、少なくとも２５６枚以上の連写画像がないと正確な階調値のヒストグラムを作成することができない。ところが、連写間隔を３０ＦＰＳとすると２５６枚の画像を得るためには８．５秒の撮影時間が必要となり、通常の手持ち撮影ではこのような長時間にわたってほぼ同一の画角での連写を行うのは難しい。
【００２０】
図４に示す階調数２５６に対して連写による画像の取得枚数が少ないと、ヒストグラムが分散して図５に示すようなヒストグラムになる。このようなヒストグラムによれば、最頻度の階調値が正確に求められないため、正確な背景画像を生成することができない。
【００２１】
そこで、この一実施の形態では、ヒストグラムの分解能すなわち階調数を背景画像を生成するための画像の枚数ｎとする。つまり、画像枚数ｎに応じて減色を実施する。したがって、階調分割幅ｚは、
ｚ＝２５５／ｎ ・・・(２)
となり、減色した画像の階調値ｄ’は、
ｄ’＝int（ｄ／ｚ）＝int｛Ｉｃ（ｘ,ｙ,ｔ）／ｚ｝ ・・・(３)
となる。
【００２２】
この減色した画像の階調値ｄ’を用いてカラーと座標を指定し、取得画像ｎ枚分の階調値のヒストグラムを作成することによって、誤判定の少ない近似的なヒストグラムを作成することができる。
【００２３】
図６は、階調数を２５５からｎに減色した場合のあるカラーのある座標の階調値ｄ’のヒストグラム例を示す。このようにして作成したすべてのカラーのすべての座標のヒストグラムから、カラーと座標ごとの最頻度の階調値ｄ’を検索し、検索した階調値ｄ’を画像の階調値に設定することによって、近似背景画像を生成することができる。つまり、少ない枚数の画像から、本来の２５６枚の画像から得られる最頻度の階調値に近い階調値を得ることができる。
【００２４】
取得画像の枚数ｎを例えば３０枚とした場合、３０ＦＰＳの連写間隔では１秒で撮影できるから、通常の連写撮影においても十分に可能な条件となり、短時間の静止状態の撮影画像から正確な背景画像を生成することができる。
【００２５】
図７は、一実施の形態の画像処理により図３に示す３０枚の連写画像から生成した背景画像を示す。図３に示す元画像には移動体すなわちフェンシングをする人物像が写っているが、図７に示す背景画像では移動体すなわちフェンシングをする人物像が削除され、背景のみの画像となっている。
【００２６】
図２のステップ３で上記(２)式により画像枚数ｎに応じた階調分割幅ｚを決定した後、ステップ４でｎ枚の取得画像の内の１枚目の画像を入力する。そして、ステップ５において上記(３)式によりカラーと座標ごとの減色した画像の階調値ｄ’を演算する。続くステップ６では、取得したｎ枚の画像に対してステップ５の階調値ｄ’の演算を終了したか否かを確認し、終了していない場合はステップ４へ戻って次の画像を入力し、階調値ｄ’の演算を行う。
【００２７】
すべての取得画像に対して階調値ｄ’の演算を終了した場合はステップ７へ進み、カラーと座標ごとに階調値ｄ’のヒストグラムを作成する。次に、ステップ８で、作成したすべてのカラーとすべての座標のヒストグラムから、カラーと座標ごとの最頻度の階調値ｄ’を検索する。ステップ９では、検索したカラーと座標ごとの最頻度の階調値ｄ’を用いて背景画像を生成する。
【００２８】
なお、取得した元画像データから背景画像データを減ずることによって、元画像に写り込んでいた移動体、例えば図３に示すようなフェンシングをする人物像のみを得ることができる。このような移動体の画像データにより、シーン解析や移動体追尾制御などを行うことができる。
【００２９】
上述した実施の形態とその変形例では、本発明を画像処理装置として実現する一例を示したが、一般的なパーソナルコンピューターに本発明の画像処理プログラムをインストールして実行し、パソコン上で上述した画像処理を行ってもよい。なお、本発明の画像処理プログラムはＣＤ−ＲＯＭなどの記録媒体に記録して提供してもよいし、インターネットを介してダウンロード可能にしてもよい。あるいは、本発明の画像処理装置または画像処理プログラムをビデオカメラに搭載し、撮像した動画像に対して上述した画像処理を実行するものであってもよい。
【００３０】
なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。
【００３１】
上述した実施の形態とその変形例によれば、複数の画像を取得し、取得した画像の枚数に応じて画像の階調数を設定し、この階調数により複数の画像の各画素の階調値の度数分布を作成する。そして、作成された度数分布から画素ごとの最頻度の階調値を検索し、検索された画素ごとの最頻度の階調値を用いて画像の内の背景部分の画像を生成するようにしたので、少ない枚数の画像から画素ごとの階調値の近似度数分布を作成でき、画素ごとの最頻度の階調値により正確な背景画像を生成することができる。
【符号の説明】
【００３２】
２；撮影レンズ、３；撮像素子、５；フレームメモリ、６；画像処理回路、１５；コントローラー
【技術分野】
【０００１】
本発明は画像処理装置、デジタルカメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
連写画像の各画素に対して画素値のヒストグラムを作成し、頻度が最大となる画素値を選択してその画素値を当該画素における背景値とし、背景画像を生成するようにした画像処理装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３００４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の画像処理装置では、背景画像を生成するために大量の画像が必要となるが、一般的なデジタルカメラによる撮影では大量の静止した状態の画像を取得することは難しいという問題がある。例えば、８ビットで３チャンネル（ＲＧＢ）の画像の場合には、１チャンネル当たりの階調分解能は２５６となり、少なくとも２５６枚以上の連写画像が必要になる。したがって、連写間隔を３０ＦＰＳとすると撮影に８．５秒もかかることになり、一般的な撮影ではこのような大量の連写画像を撮影するのは困難である。
【課題を解決するための手段】
【０００５】
(１) 本発明の画像処理装置は、複数の画像を取得する画像取得手段と、前記画像取得手段で取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成手段と、前記度数分布作成手段により作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索手段と、前記検索手段により検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成手段とを備える。
(２) 本発明のデジタルカメラは、画像を撮像する撮像手段と、前記撮像手段により撮像された複数の画像を処理する上記画像処理装置とを備える。
(３) 本発明の画像処理プログラムは、複数の画像を取得する画像取得ステップと、前記画像取得ステップで取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成ステップと、前記度数分布作成ステップにより作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索ステップと、前記検索ステップにより検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成ステップとをコンピューターに実行させる。
【発明の効果】
【０００６】
本発明によれば、少ない枚数の画像から画素ごとの階調値の近似度数分布を作成でき、画素ごとの最頻度の階調値により正確な背景画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のデジタルカメラの構成を示す図
【図２】一実施の形態の画像処理プログラムを示すフローチャート
【図３】背景画像を生成する際に取得したｎ枚の画像を示す図
【図４】あるカラーのある座標の画素の階調値のヒストグラムを示す図
【図５】取得した画像の枚数が少ない場合のヒストグラムの一例を示す図
【図６】取得した画像の枚数に応じた階調数を設定した場合のヒストグラムの一例を示す図
【図７】背景画像の生成例を示す図
【発明を実施するための形態】
【０００８】
図１は、一実施の形態のデジタルカメラ（以下、単にカメラという）１の構成を示すブロック図である。なお、図１では本発明の画像処理機能と直接的に関係のないカメラの機器および回路の図示と説明を省略する。図１において、カメラ１は撮影レンズ２、撮像素子３、ＡＦＥ(Analog Front End)回路４、フレームメモリ５、画像処理回路６、ＡＦ回路７、レンズ駆動回路８、操作部材９、メモリ１０、ドライバー１１、モニター１２、インターフェース１３、メモリカード１４、コントローラー１５などを備えている。
【０００９】
撮影レンズ２は単レンズとして図示しているが、ズーミングレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子３の受光面上に結像させる。撮像素子３は、受光面に複数の赤Ｒ画素、緑Ｇ画素、青Ｂ画素が二次元状にベイヤー配列されたＣＭＯＳイメージセンサなどから構成され、撮影レンズ２により結像された被写体像を光電変換してアナログ画像信号を出力する。
【００１０】
ＡＦＥ回路４は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。フレームメモリ５は、撮像素子３により撮像されＡＦＥ回路４によりアナログ処理された画像信号をフレーム単位で一時記憶する記憶回路である。画像処理回路６は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。
【００１１】
ＡＦ回路７は、撮像画素Ｒ、Ｇ、Ｂから出力される画像信号のコントラストがピークとなるフォーカシングレンズ位置を検出する回路である。レンズ駆動回路８は、ＡＦ回路７によるＡＦ検出結果に基づいて撮影レンズ２のフォーカシングレンズを駆動し焦点調節を行うとともに、ズーミングレンズを駆動して焦点距離を変える。操作部材９には、レリーズ半押しおよび全押しスイッチ、ズームスイッチ、モードスイッチ、メニュースイッチ、十字スイッチ、ＯＫスイッチなどの各種スイッチ類が含まれる。
【００１２】
メモリ１０は画像および情報を記憶するＲＡＭなどの記憶素子である。モニター１２は、撮像素子３により撮像したスルー画像や撮影した画像と各種情報を表示するＬＣＤである。ドライバー１１はモニター１２の表示制御を行う。インターフェース１３は、メモリカード１４に対する画像データや各種情報データの書き込みや、メモリカード１４からの画像データや各種情報データの読み込みを行う。
【００１３】
コントローラー１５はＣＰＵ１５ａとメモリ１５ｂなどの周辺部品から構成され、撮像、露出、焦点調節（ＡＦ）、画像表示などのカメラ１の各種動作を制御するとともに、後述する画像処理プログラムを実行して撮像画像から背景画像を抽出する処理を行う。メモリ１５ｂにはカメラ１の各種演算および制御を行うためのプログラムや後述する画像処理プログラム、種々の情報などが記憶されている。
【００１４】
図２は一実施の形態の画像処理プログラムを示すフローチャートである。カメラ１のコントローラー１５は、カメラ１の操作部材９の電源スイッチが投入されモードセレクターにより背景画像の生成モードが設定されると、図２に示す画像処理プログラムの実行を開始する。
【００１５】
ステップ１において背景画像を生成するための連写画像を取得する。ここでは、撮像素子３により撮像されＡＦＥ回路４によりアナログ処理を施されてフレームメモリ５に記憶されている連写画像ｎ枚を取得し、これらの画像から移動体を分離して背景画像のみを生成する。なお、この一実施の形態ではカメラ１で撮像された複数枚の画像から背景画像を生成する例を示すが、対象となる画像はカメラ１の撮影画像に限定されず、例えばメモリカード１４から読み込んだ複数枚の連写画像であってもよい。
【００１６】
ステップ２では、背景画像を生成するために取得した画像の枚数を計数する。この一実施の形態ではｎ枚の画像を取得したものとする。ステップ３で、背景画像を抽出するために取得した画像の枚数ｎに応じた階調分割幅ｚを決定する。
【００１７】
ここで、図３〜図７を参照してｎ枚の画像から各画素の階調値のヒストグラムを作成し、画素ごとの最頻度の階調値を求めて背景画像を生成する一実施の形態の画像処理方法を説明する。取得した画像の階調値ｄは次式で表される。
ｄ＝Ｉｃ（ｘ,ｙ,ｎ） ・・・(１)
(１)式において、Ｉは光強度、ｃはカラーで赤Ｒまたは緑Ｇまたは青Ｂ、ｘ,ｙは画像上の画素位置を表す横方向と縦方向の座標である。
【００１８】
図３は背景画像を生成する際に取得したｎ枚の画像を示し、図４はあるカラーのある座標の画素の階調値のヒストグラム例を示す。図３に示すｎ枚の画像から、カラー（ＲＧＢ）と座標（画素）を指定し、(１)式により図４に示すようなカラーと座標ごとの取得枚数ｎ枚分の階調値ｄのヒストグラムを作成する。
【００１９】
例えば８ビット、３チャンネル（Ｒ、Ｇ、Ｂ）の画像を例に挙げて説明すると、１チャンネル当たりの階調分解能は２５６であるから、少なくとも２５６枚以上の連写画像がないと正確な階調値のヒストグラムを作成することができない。ところが、連写間隔を３０ＦＰＳとすると２５６枚の画像を得るためには８．５秒の撮影時間が必要となり、通常の手持ち撮影ではこのような長時間にわたってほぼ同一の画角での連写を行うのは難しい。
【００２０】
図４に示す階調数２５６に対して連写による画像の取得枚数が少ないと、ヒストグラムが分散して図５に示すようなヒストグラムになる。このようなヒストグラムによれば、最頻度の階調値が正確に求められないため、正確な背景画像を生成することができない。
【００２１】
そこで、この一実施の形態では、ヒストグラムの分解能すなわち階調数を背景画像を生成するための画像の枚数ｎとする。つまり、画像枚数ｎに応じて減色を実施する。したがって、階調分割幅ｚは、
ｚ＝２５５／ｎ ・・・(２)
となり、減色した画像の階調値ｄ’は、
ｄ’＝int（ｄ／ｚ）＝int｛Ｉｃ（ｘ,ｙ,ｔ）／ｚ｝ ・・・(３)
となる。
【００２２】
この減色した画像の階調値ｄ’を用いてカラーと座標を指定し、取得画像ｎ枚分の階調値のヒストグラムを作成することによって、誤判定の少ない近似的なヒストグラムを作成することができる。
【００２３】
図６は、階調数を２５５からｎに減色した場合のあるカラーのある座標の階調値ｄ’のヒストグラム例を示す。このようにして作成したすべてのカラーのすべての座標のヒストグラムから、カラーと座標ごとの最頻度の階調値ｄ’を検索し、検索した階調値ｄ’を画像の階調値に設定することによって、近似背景画像を生成することができる。つまり、少ない枚数の画像から、本来の２５６枚の画像から得られる最頻度の階調値に近い階調値を得ることができる。
【００２４】
取得画像の枚数ｎを例えば３０枚とした場合、３０ＦＰＳの連写間隔では１秒で撮影できるから、通常の連写撮影においても十分に可能な条件となり、短時間の静止状態の撮影画像から正確な背景画像を生成することができる。
【００２５】
図７は、一実施の形態の画像処理により図３に示す３０枚の連写画像から生成した背景画像を示す。図３に示す元画像には移動体すなわちフェンシングをする人物像が写っているが、図７に示す背景画像では移動体すなわちフェンシングをする人物像が削除され、背景のみの画像となっている。
【００２６】
図２のステップ３で上記(２)式により画像枚数ｎに応じた階調分割幅ｚを決定した後、ステップ４でｎ枚の取得画像の内の１枚目の画像を入力する。そして、ステップ５において上記(３)式によりカラーと座標ごとの減色した画像の階調値ｄ’を演算する。続くステップ６では、取得したｎ枚の画像に対してステップ５の階調値ｄ’の演算を終了したか否かを確認し、終了していない場合はステップ４へ戻って次の画像を入力し、階調値ｄ’の演算を行う。
【００２７】
すべての取得画像に対して階調値ｄ’の演算を終了した場合はステップ７へ進み、カラーと座標ごとに階調値ｄ’のヒストグラムを作成する。次に、ステップ８で、作成したすべてのカラーとすべての座標のヒストグラムから、カラーと座標ごとの最頻度の階調値ｄ’を検索する。ステップ９では、検索したカラーと座標ごとの最頻度の階調値ｄ’を用いて背景画像を生成する。
【００２８】
なお、取得した元画像データから背景画像データを減ずることによって、元画像に写り込んでいた移動体、例えば図３に示すようなフェンシングをする人物像のみを得ることができる。このような移動体の画像データにより、シーン解析や移動体追尾制御などを行うことができる。
【００２９】
上述した実施の形態とその変形例では、本発明を画像処理装置として実現する一例を示したが、一般的なパーソナルコンピューターに本発明の画像処理プログラムをインストールして実行し、パソコン上で上述した画像処理を行ってもよい。なお、本発明の画像処理プログラムはＣＤ−ＲＯＭなどの記録媒体に記録して提供してもよいし、インターネットを介してダウンロード可能にしてもよい。あるいは、本発明の画像処理装置または画像処理プログラムをビデオカメラに搭載し、撮像した動画像に対して上述した画像処理を実行するものであってもよい。
【００３０】
なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。
【００３１】
上述した実施の形態とその変形例によれば、複数の画像を取得し、取得した画像の枚数に応じて画像の階調数を設定し、この階調数により複数の画像の各画素の階調値の度数分布を作成する。そして、作成された度数分布から画素ごとの最頻度の階調値を検索し、検索された画素ごとの最頻度の階調値を用いて画像の内の背景部分の画像を生成するようにしたので、少ない枚数の画像から画素ごとの階調値の近似度数分布を作成でき、画素ごとの最頻度の階調値により正確な背景画像を生成することができる。
【符号の説明】
【００３２】
２；撮影レンズ、３；撮像素子、５；フレームメモリ、６；画像処理回路、１５；コントローラー
【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得手段と、
前記画像取得手段で取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成手段と、
前記度数分布作成手段により作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索手段と、
前記検索手段により検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記度数分布作成手段は、前記画像の元の階調数を前記取得した画像の枚数と同一の階調数まで減色して階調値を求めることを特徴とする画像処理装置。
【請求項３】
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像を処理する請求項１または請求項２に記載の画像処理装置とを備えることを特徴とするデジタルカメラ。
【請求項４】
複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成ステップと、
前記度数分布作成ステップにより作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索ステップと、
前記検索ステップにより検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成ステップとをコンピューターに実行させることを特徴とする画像処理プログラム。
【請求項１】
複数の画像を取得する画像取得手段と、
前記画像取得手段で取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成手段と、
前記度数分布作成手段により作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索手段と、
前記検索手段により検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記度数分布作成手段は、前記画像の元の階調数を前記取得した画像の枚数と同一の階調数まで減色して階調値を求めることを特徴とする画像処理装置。
【請求項３】
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像を処理する請求項１または請求項２に記載の画像処理装置とを備えることを特徴とするデジタルカメラ。
【請求項４】
複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像の枚数に応じて前記画像の階調数を設定し、該階調数により前記複数の画像の各画素の階調値の度数分布を作成する度数分布作成ステップと、
前記度数分布作成ステップにより作成された前記度数分布から画素ごとの最頻度の階調値を検索する検索ステップと、
前記検索ステップにより検索された画素ごとの最頻度の階調値を用いて、前記画像の内の背景部分の画像を生成する生成ステップとをコンピューターに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１９２８４（Ｐ２０１２−１９２８４Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５４０８６（Ｐ２０１０−１５４０８６）
【出願日】平成２２年７月６日（２０１０．７．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月６日（２０１０．７．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]