画像処理装置およびデジタルカメラ
【課題】背景に動きがある場合でも適切に前景候補を判断し得る画像処理装置を提供すること。
【解決手段】画像処理装置は、ｎフレーム目の画像と、(ｎ−１)フレーム目の画像において背景を示す画像とをそれぞれ用いて該ｎフレーム目の画像において背景を示す画像を合成する画像合成手段２０と、(ｎ＋１)フレーム目の画像と、画像合成手段２０により合成された画像とをそれぞれ用いて該(ｎ＋１)フレーム目の画像において前景を示す画像を生成する画像生成手段２０とを備える。
【解決手段】画像処理装置は、ｎフレーム目の画像と、(ｎ−１)フレーム目の画像において背景を示す画像とをそれぞれ用いて該ｎフレーム目の画像において背景を示す画像を合成する画像合成手段２０と、(ｎ＋１)フレーム目の画像と、画像合成手段２０により合成された画像とをそれぞれ用いて該(ｎ＋１)フレーム目の画像において前景を示す画像を生成する画像生成手段２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびデジタルカメラに関する。
【背景技術】
【０００２】
画像から背景以外の前景を抽出する技術として、あらかじめ記憶させておいた背景画像と現画像との差分を算出する方法や、過去画像と現画像との差分（いわゆるフレーム間差分）を算出する方法が知られている。このように所定画像と現画像との差分を算出する場合、背景に動き（流れ）があると画面一様に変化点が生じてしまう。そこで、移動する背景を変化点から除外するべく、追跡対象（前景候補）とするオブジェクトを判別した後、背景の変化の度合い（類似性）を用いて背景を生成（更新）する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４８７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、背景が移動していても現画像を構成する画素分布が過去画像との間で変化していない場合は、背景の生成（更新）が行われないことから画面一様に変化点が生じてしまい、画面全体を前景と判断してしまうという問題があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、ｎフレーム目の画像と、(ｎ−１)フレーム目の画像において背景を示す画像とをそれぞれ用いて該ｎフレーム目の画像において背景を示す画像を合成する画像合成手段と、(ｎ＋１)フレーム目の画像と、画像合成手段２０により合成された画像とをそれぞれ用いて該(ｎ＋１)フレーム目の画像において前景を示す画像を生成する画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、背景に動きがある場合でも適切に前景候補を判断し得る。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラを例示するブロック図である。
【図２】ＣＰＵが行う処理の流れを例示するフローチャートである。
【図３】合成係数とエネルギーとの関係を例示する図である。
【図４】合成係数の算出に関する概略図である。
【図５】背景モデルの更新に関する概略図である。
【図６】出力画像の生成に関する概略図である。
【図７】全体処理の流れを説明する概略図である。
【図８】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の構成例を説明するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、タイミングジェネレータ(TG)１５と、ＬＣＤモニタ１７と、バッファメモリ１８と、フラッシュメモリ１９と、ＣＰＵ２０と、メモリカードインターフェース(I/F)２１と、操作部材２２とを備える。
【０００９】
ＣＰＵ２０、バッファメモリ１８、フラッシュメモリ１９、メモリカードインターフェース２１、画像処理回路１４、およびＬＣＤモニタ１７は、それぞれがバス１６を介して接続されている。
【００１０】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１１】
ＴＧ１５は、ＣＰＵ２０から送出される指示に応じて所定のタイミング信号を発生し、撮像素子１２、ＡＦＥ回路１３、画像処理回路１４へそれぞれのタイミング信号を供給する。タイミング信号によって撮像素子１２等が駆動制御されることにより、撮像素子１２による撮像タイミングや撮像素子１２からのアナログ画像信号の読出しタイミングが制御される。
【００１２】
撮像素子１２は、撮影光学系１１を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。本実施形態の撮像素子１２は、たとえば、画素に対応させて複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサによって構成される。
【００１３】
ＡＦＥ回路１３は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。
【００１４】
ＬＣＤモニタ１７は液晶パネルによって構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。ＬＣＤモニタ１７の表示面上にはタッチ操作部材（不図示）が積層されている。タッチ操作部材は、ユーザーによってタッチ操作された場合に操作部材上（すなわち液晶モニタ１７の表示画面上）のタッチ位置を示す信号を発生し、ＣＰＵ２０へ送出する。
【００１５】
バッファメモリ１８は、画像処理回路１４によって画像処理される前、画像処理中、画像処理された後のデジタル画像データを一時的に記憶する。フラッシュメモリ１９は、ＣＰＵ２０に実行させるプログラムを記憶する。
【００１６】
ＣＰＵ２０は、フラッシュメモリ１９が記憶するプログラムを実行することによって電子カメラ１が行う動作を制御する。ＣＰＵ２０は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。ライブビュー画像は、撮影指示前に撮像素子１２によって所定の時間間隔（たとえば６０フレーム／毎秒＝６０fps）で繰り返し取得されるモニタ用画像のことをいう。ライブビュー画像はスルー画像とも呼ばれる。
【００１７】
メモリカードインターフェース２１はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体５１が接続される。メモリカードインターフェース２１は、接続された記憶媒体５１に対するデータの書き込みや、記憶媒体５１からのデータの読込みを行う。記憶媒体５１は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１８】
操作部材２２は、レリーズボタンやズームスイッチ、モード切替およびメニュースイッチなどを含む。操作部材２２は、撮影操作やズーム操作、メニュー選択操作など、各操作に応じた操作信号をＣＰＵ２０へ送出する。
【００１９】
本実施形態は、撮像素子１２によって取得された画像から注目被写体を抽出する前段階で行う処理に特徴を有する。具体的には、ライブビュー画像に基づいて背景領域を抽出し、該背景領域を除外することによって注目被写体を抽出する範囲（前景候補範囲）を制限するものである。前景候補とする範囲を狭くすることで、注目被写体を抽出する処理の負担を軽減し得る。
【００２０】
以下、背景領域を抽出して該背景領域を除外する処理の流れについて、図２に例示するフローチャートを参照して説明する。ＣＰＵ２０は、電子カメラ１のメインスイッチがオン操作され、所定の起動処理を行うとライブビュー画像の取得を開始するとともに、図２による処理を起動させる。背景領域の抽出および該背景領域の除外処理は、たとえば、画像処理回路１４による画素補間処理および階調変換処理後の画像データを用いて行う。
【００２１】
図２のステップＳ１１において、ＣＰＵ２０は、注目フレームである現画像P(Tcur)と、直前フレームである過去画像P(Tcur-1)との差分ΔP(Tcur、Tcur-1)を所定の判定閾値Thと比較する。ＣＰＵ２０は、次式（１）が成立する場合にステップＳ１１を肯定判定してステップＳ１２へ進み、次式（１）が成立しない場合にはステップＳ１１を否定判定して当該判定処理を繰り返す。
【００２２】
【数１】
ただし、上式（１）の左辺は次式（２）で表すものとする。式（２）では、フレーム間で対応する画像データの差分を画素順次に算出して総和を求める。
【数２】
【００２３】
ステップＳ１２において、ＣＰＵ２０は、背景画像の初期化を行ってステップＳ１３へ進む。ＣＰＵ２０は、次式（３）により現画像P(Tcur)を背景画像PB(Tcur)の初期値とする。
【数３】
ＣＰＵ２０はさらに、次式（４）を用いてエネルギーE(T)を定義してステップＳ１３へ進む。本説明では、現画像P(T)と直前フレームの背景画像PB(T-1)との差分の絶対値をエネルギーと呼ぶ。式（４）において、フレーム間で対応する画像データの差分を画素順次に算出して総和を求める点は式（２）の場合と同様である。ここで、背景画像PB(T-1)は、時刻(T-1)についての画像P(T-1)において背景を示す画像に相当する。
【数４】
【００２４】
ステップＳ１３において、ＣＰＵ２０はエネルギーE(T)を算出する。ＣＰＵ２０は、上式（４）に式（７）を代入して式（５）を導き、式（５）の右辺を変形してまとめることにより式（６）を得る。ＣＰＵ２０は、式（６）によってエネルギーE(T)を算出すると、ステップＳ１４へ進む。
【００２５】
本実施形態では、ライブビュー画像の取得を繰り返しながら、ステップＳ１３から後述するステップＳ１７までの処理を撮影指示が行われるまで繰り返す。ステップＳ１３において式（７）を代入するのは、ライブビュー画像として取得されたフレーム数が２フレーム目以降である場合に、前フレーム（時刻(T-1)）の処理（ステップＳ１５）で得た背景画像PB(T-2)を用いることを意味する。なお、１フレーム目の場合は前フレームに相当する処理が存在しないため、初期値として合成係数α＝１とおいてステップＳ１７へ進む。
【数５】
【数６】
【数７】
【００２６】
ステップＳ１４において、ＣＰＵ２０は、上式（６）においてエネルギーE(T)を最小（E(T)=min）にする合成係数αを求めてステップＳ１５へ進む。図３は、合成係数αとエネルギーE(T)との関係を例示する図である。ＣＰＵ２０は、合成係数αの値を変えながら、最小エネルギーに対応するαの値を得る。図４は、合成係数αの算出に関する概略図である。図４において、時刻(T-1)についての合成係数α(T-1)の算出には、時刻(T-1)についての画像P(T-1)と、時刻Tについての画像P(T)と、時刻(T-2)についての背景画像PB(T-2)とを用いる。
【００２７】
図２のステップＳ１５において、ＣＰＵ２０は背景画像の更新を行う。ＣＰＵ２０は、上式（７）により背景画像PB(T)を更新してステップＳ１６へ進む。本説明では、更新した背景画像を背景モデルと呼ぶ。図５は、背景モデルの更新に関する概略図である。図５において、時刻Tについての背景モデルPB(T)の算出には、時刻Tについての画像P(T)と、時刻(T-1)についての背景モデルPB(T-1)と、時刻(T)についての合成係数α(T)とを用いる。
【００２８】
ステップＳ１６において、ＣＰＵ２０は、最新の現画像P(T)から前フレームについての背景モデルPB(T-1)を減算した差分画像Pout(T)＝（P(T)−PB(T-1)）を出力してステップＳ１７へ進む。この差分画像Pout(T)は、現画像のうち前景候補領域（注目被写体を含む可能性が高い領域）に相当する。図６は、出力画像（＝差分画像）の生成に関する概略図である。図６において、時刻Tについての差分画像Pout(T)の算出には、時刻Tについての画像P(T)と、時刻(T-1)についての背景モデルPB(T-1)とを用いる。
【００２９】
ステップＳ１７において、ＣＰＵ２０は処理終了か否かを判定する。ＣＰＵ２０は、撮影処理を開始している場合にステップＳ１７を肯定判定して図２による処理を終了する。ここで、ＣＰＵ２０は操作部材２２を構成するレリーズボタンからの操作信号の入力に応じて、図２による処理と別に所定の撮影処理を行うように構成されている。一方、ＣＰＵ２０は、撮影処理を開始していない場合にはステップＳ１７を否定判定し、ステップＳ１３へ戻る。ステップＳ１３へ戻る場合は、ライブビュー画像の取得を繰り返し、最新フレームのライブビュー画像を用いて上述した処理を繰り返す。
【００３０】
図２による処理を終了したＣＰＵ２０は、撮影処理に先だって、上記差分画像Pout(T)に相当する領域に対して注目被写体を検出する処理を行う。この検出処理は、たとえば公知のテンプレートマッチング手法などを用いる。上述したように、検出処理を適用する範囲を狭く制限しておくことで、検出処理対象が広範囲の場合に比べて検出処理に要する時間を短縮できる。
【００３１】
ＣＰＵ２０は、注目被写体の検出位置を含む所定範囲をフォーカス調節対象とする他に、注目被写体の検出位置を含む所定範囲を自動露出演算の対象としたり、注目被写体の検出位置を含む所定範囲をホワイトバランス調整処理における補正値決定対象にしたりする。
【００３２】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１のＣＰＵ２０は、時刻Tについての現画像P(T)と、時刻(T-1)についての画像P(T-1)において背景を示す画像PB(T-1)とをそれぞれ用いて該現画像P(T)において背景を示す画像PB(T)を合成し、時刻(T+1)についての画像P(T+1)と、上記合成された画像PB(T)とをそれぞれ用いて該画像P(T+1)において前景を示す差分画像Pout(T+1)を生成するようにした。これにより、たとえば、被写体に向けられた電子カメラ１が動くことによって背景が流れる場合でも、流れた背景を前景候補に含めないように適切に前景候補を判断できる。
【００３３】
また、本実施形態では、背景を示す画像の更新のための学習機能を要しないため、学習機能を備える場合に比べて処理負担を軽減できる。
【００３４】
（２）ＣＰＵ２０は、時刻Tについての現画像P(T)と、時刻(T-1)についての画像P(T-1)において背景を示す画像PB(T-1)とを(１−α)：αの比率で加算して画像PB(T)を合成する。ＣＰＵ２０はさらに、時刻(T+1)についての画像P(T+1)から上記合成された画像PB(T)を減算して差分画像Pout(T+1)を生成する。取得時刻が異なるフレーム画像に重みを付けながら背景を示す画像PB(T)を合成するから、動きのある（流れる）背景を有する画像から前景候補を適切に判断できる。なお、前景候補は差分画像Pout(T+1)に相当する。
【００３５】
（３）上記比率は、時刻Tについての現画像P(T)、および背景を示す画像PB(T-1)間の差分を最小にする比率とするようにしたので、上記（２）の合成が適切に行える。これにより、動きのある（流れる）背景を前景候補から除外できる。
【００３６】
（４）上記比率は、時刻Tについての現画像P(T)と、時刻(T-1)についての画像P(T-1)と、背景を示す画像PB(T-2)とをそれぞれ用いて算出するので、動きのある（流れる）背景を前景候補から除外するのに適した比率を設定できる。
【００３７】
（５）時刻(T+1)についての画像P(T+1)のうち、上記生成された差分画像Pout(T+1)に対応する範囲を所定処理の対象とするようにしたので、前景候補を対象に、たとえば、フォーカス調節対象としたり、ホワイトバランス補正値を決める対象にしたりすることができる。
【００３８】
図７は、以上説明した処理の全体の流れを説明する概略図であり、図４、図５および図６をまとめたものである。時刻(T＝3)の右側を例にあげて説明すると、時刻(T＝2)についての合成係数α(2)の算出は、時刻(T＝2)についての画像P(2)と、時刻(T＝3)についての画像P(3)と、時刻(T＝1)についての背景画像PB(1)とを用いる点を表す。
【００３９】
また、時刻(T＝2)についての背景モデルPB(2)の算出には、時刻(T＝2)についての画像P(2)と、時刻(T=1)についての背景モデルPB(1)と、時刻(T＝2)についての合成係数α(2)とを用いる点を表す。
【００４０】
さらに、時刻(T＝3)についての差分画像Pout(3)の算出には、時刻(T＝3)についての画像P(3)と、時刻(T＝2)についての背景モデルPB(2)とを用いる点を表す。
【００４１】
（変形例１）：動体のみを抽出して圧縮処理する構成
上述した実施形態では、撮影処理前に注目被写体を検出する例について説明したが、本発明は、動画像から動体を検出する場合にも適用してよい。この場合、ライブビュー画像を構成するフレーム画像を用いて行った処理と同様の処理を、動画像を構成するフレーム画像を用いて行う。上記差分画像Pout(T)に相当する領域は、動体候補領域（動体を含む可能性が高い領域）に相当するので、この範囲に対して動体検出を適用する。ＣＰＵ２０は、検出した動体を含む所定範囲の動体画像を、通常の動画像ファイルと別ファイルとして圧縮し、記憶媒体５１などへ保存する。
【００４２】
ここで、通常の動画像ファイルを符号化して画像圧縮した第１動画像ファイルを生成・保存するとともに、動体のみを含む動体画像ファイルを符号化して画像圧縮した第２動画像ファイルを生成・保存する第１の動画保存モード、上記第２動画像ファイルのみを生成・保存する第２の動画保存モード、および上記第１動画像ファイルのみを生成・保存する第３の動画保存モードのうちいずれかの動画保存モードを選択可能に構成してもよい。そして、ＬＣＤモニタ１７に表示させるモニタ画像について、通常の動画像を表示させる第１表示と、検出された動体像を表示させる第２表示とで切り替え可能に構成してもよい。
【００４３】
（変形例２）：圧縮保存されている動画像から動体のみを抽出する構成
記憶媒体５１に記憶されている上記第１動画像ファイルを読み出し、復号化して画像伸張させてＬＣＤモニタ１７に動画再生表示させる場合において、該再生動画像から動体を検出するように構成してもよい。この場合、再生動画像を構成するフレーム画像を用いて同様の処理を行う。上記差分画像Pout(T)に相当する領域は、動体候補領域（動体を含む可能性が高い領域）に相当するので、この範囲に対して動体検出を適用する。ＬＣＤモニタ１７に表示させる動画再生画像は、通常の動画像を再生表示させる第１再生表示と、検出された動体像を表示させる第２再生表示とで切り替え可能に構成してもよい。
【００４４】
（変形例３）：抽出した動体のうち特定の動体を追尾する構成
変形例３では、上記差分画像Pout(T)に相当する領域から検出される動体を追尾対象物とする。ＣＰＵ２０は、あらかじめ追尾対象物を示す画像データに基づいて特徴量データを生成し、該特徴量データを含む参照用データをフラッシュメモリ１９に格納（登録）しておく。この参照用データは、追尾対象物を追尾する際のテンプレートマッチング用に用いる。
【００４５】
ＣＰＵ２０は、前後する複数フレーム（撮影中の動画像でも再生中の動画像でもよい）の画像データを用いて公知のテンプレートマッチング処理を施すことにより、先のフレーム画像における追尾対象物と類似する領域を、後のフレーム画像から検出（追尾）する。
【００４６】
ＣＰＵ２０は、後フレーム画像における検出領域の位置と、先フレーム画像における追尾対象物の位置との相対距離が所定差を超えている場合に、追尾対象物の位置情報を現位置から上記追尾処理で検出した追尾対象物の位置へ自動的に移動させる。
【００４７】
（変形例４）：抽出した動体が画角の所定位置に収まるように画角調整する構成
ＣＰＵ２０は、前後する複数フレーム（撮影中の動画像）の画像データを用いて公知のテンプレートマッチング処理を施すことにより、先のフレーム画像における追尾対象物と類似する領域を、後のフレーム画像から検出（追尾）する。
【００４８】
そして、撮影画面における所定範囲に動体が収まるように、撮影光学系１１を構成するズームレンズの位置を光軸方向へ進退移動させる。
【００４９】
なお、フレーム画像に対してノイズ除去処理を行うように構成されている場合には、図２による処理の直前にノイズ除去処理を行うとよい。また、撮影光学系１１にズームレンズが含まれる場合には、注目被写体が撮影画面に含まれるように、図２による処理の前にズーム倍率を変更しておくのが好ましい。このようにすることで、生成される背景モデルの精度が高まり、適切な前景候補判断が可能になる。
【００５０】
（変形例５）
図２による処理を行う画像処理プログラムを図８に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。画像処理プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって、動画像の背景が流れる場合でも、流れた背景を前景候補に含めないように適切に前景候補を判断する画像処理装置として使用する。
【００５１】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像処理プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００５２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００５３】
１…電子カメラ
１７…ＬＣＤモニタ
１８…バッファメモリ
１９…フラッシュメモリ
２０…ＣＰＵ
２２…操作部材
５１…記憶媒体
【技術分野】
【０００１】
本発明は、画像処理装置およびデジタルカメラに関する。
【背景技術】
【０００２】
画像から背景以外の前景を抽出する技術として、あらかじめ記憶させておいた背景画像と現画像との差分を算出する方法や、過去画像と現画像との差分（いわゆるフレーム間差分）を算出する方法が知られている。このように所定画像と現画像との差分を算出する場合、背景に動き（流れ）があると画面一様に変化点が生じてしまう。そこで、移動する背景を変化点から除外するべく、追跡対象（前景候補）とするオブジェクトを判別した後、背景の変化の度合い（類似性）を用いて背景を生成（更新）する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４８７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、背景が移動していても現画像を構成する画素分布が過去画像との間で変化していない場合は、背景の生成（更新）が行われないことから画面一様に変化点が生じてしまい、画面全体を前景と判断してしまうという問題があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、ｎフレーム目の画像と、(ｎ−１)フレーム目の画像において背景を示す画像とをそれぞれ用いて該ｎフレーム目の画像において背景を示す画像を合成する画像合成手段と、(ｎ＋１)フレーム目の画像と、画像合成手段２０により合成された画像とをそれぞれ用いて該(ｎ＋１)フレーム目の画像において前景を示す画像を生成する画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、背景に動きがある場合でも適切に前景候補を判断し得る。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラを例示するブロック図である。
【図２】ＣＰＵが行う処理の流れを例示するフローチャートである。
【図３】合成係数とエネルギーとの関係を例示する図である。
【図４】合成係数の算出に関する概略図である。
【図５】背景モデルの更新に関する概略図である。
【図６】出力画像の生成に関する概略図である。
【図７】全体処理の流れを説明する概略図である。
【図８】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の構成例を説明するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、タイミングジェネレータ(TG)１５と、ＬＣＤモニタ１７と、バッファメモリ１８と、フラッシュメモリ１９と、ＣＰＵ２０と、メモリカードインターフェース(I/F)２１と、操作部材２２とを備える。
【０００９】
ＣＰＵ２０、バッファメモリ１８、フラッシュメモリ１９、メモリカードインターフェース２１、画像処理回路１４、およびＬＣＤモニタ１７は、それぞれがバス１６を介して接続されている。
【００１０】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１１】
ＴＧ１５は、ＣＰＵ２０から送出される指示に応じて所定のタイミング信号を発生し、撮像素子１２、ＡＦＥ回路１３、画像処理回路１４へそれぞれのタイミング信号を供給する。タイミング信号によって撮像素子１２等が駆動制御されることにより、撮像素子１２による撮像タイミングや撮像素子１２からのアナログ画像信号の読出しタイミングが制御される。
【００１２】
撮像素子１２は、撮影光学系１１を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。本実施形態の撮像素子１２は、たとえば、画素に対応させて複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサによって構成される。
【００１３】
ＡＦＥ回路１３は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。
【００１４】
ＬＣＤモニタ１７は液晶パネルによって構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。ＬＣＤモニタ１７の表示面上にはタッチ操作部材（不図示）が積層されている。タッチ操作部材は、ユーザーによってタッチ操作された場合に操作部材上（すなわち液晶モニタ１７の表示画面上）のタッチ位置を示す信号を発生し、ＣＰＵ２０へ送出する。
【００１５】
バッファメモリ１８は、画像処理回路１４によって画像処理される前、画像処理中、画像処理された後のデジタル画像データを一時的に記憶する。フラッシュメモリ１９は、ＣＰＵ２０に実行させるプログラムを記憶する。
【００１６】
ＣＰＵ２０は、フラッシュメモリ１９が記憶するプログラムを実行することによって電子カメラ１が行う動作を制御する。ＣＰＵ２０は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。ライブビュー画像は、撮影指示前に撮像素子１２によって所定の時間間隔（たとえば６０フレーム／毎秒＝６０fps）で繰り返し取得されるモニタ用画像のことをいう。ライブビュー画像はスルー画像とも呼ばれる。
【００１７】
メモリカードインターフェース２１はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体５１が接続される。メモリカードインターフェース２１は、接続された記憶媒体５１に対するデータの書き込みや、記憶媒体５１からのデータの読込みを行う。記憶媒体５１は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１８】
操作部材２２は、レリーズボタンやズームスイッチ、モード切替およびメニュースイッチなどを含む。操作部材２２は、撮影操作やズーム操作、メニュー選択操作など、各操作に応じた操作信号をＣＰＵ２０へ送出する。
【００１９】
本実施形態は、撮像素子１２によって取得された画像から注目被写体を抽出する前段階で行う処理に特徴を有する。具体的には、ライブビュー画像に基づいて背景領域を抽出し、該背景領域を除外することによって注目被写体を抽出する範囲（前景候補範囲）を制限するものである。前景候補とする範囲を狭くすることで、注目被写体を抽出する処理の負担を軽減し得る。
【００２０】
以下、背景領域を抽出して該背景領域を除外する処理の流れについて、図２に例示するフローチャートを参照して説明する。ＣＰＵ２０は、電子カメラ１のメインスイッチがオン操作され、所定の起動処理を行うとライブビュー画像の取得を開始するとともに、図２による処理を起動させる。背景領域の抽出および該背景領域の除外処理は、たとえば、画像処理回路１４による画素補間処理および階調変換処理後の画像データを用いて行う。
【００２１】
図２のステップＳ１１において、ＣＰＵ２０は、注目フレームである現画像P(Tcur)と、直前フレームである過去画像P(Tcur-1)との差分ΔP(Tcur、Tcur-1)を所定の判定閾値Thと比較する。ＣＰＵ２０は、次式（１）が成立する場合にステップＳ１１を肯定判定してステップＳ１２へ進み、次式（１）が成立しない場合にはステップＳ１１を否定判定して当該判定処理を繰り返す。
【００２２】
【数１】
ただし、上式（１）の左辺は次式（２）で表すものとする。式（２）では、フレーム間で対応する画像データの差分を画素順次に算出して総和を求める。
【数２】
【００２３】
ステップＳ１２において、ＣＰＵ２０は、背景画像の初期化を行ってステップＳ１３へ進む。ＣＰＵ２０は、次式（３）により現画像P(Tcur)を背景画像PB(Tcur)の初期値とする。
【数３】
ＣＰＵ２０はさらに、次式（４）を用いてエネルギーE(T)を定義してステップＳ１３へ進む。本説明では、現画像P(T)と直前フレームの背景画像PB(T-1)との差分の絶対値をエネルギーと呼ぶ。式（４）において、フレーム間で対応する画像データの差分を画素順次に算出して総和を求める点は式（２）の場合と同様である。ここで、背景画像PB(T-1)は、時刻(T-1)についての画像P(T-1)において背景を示す画像に相当する。
【数４】
【００２４】
ステップＳ１３において、ＣＰＵ２０はエネルギーE(T)を算出する。ＣＰＵ２０は、上式（４）に式（７）を代入して式（５）を導き、式（５）の右辺を変形してまとめることにより式（６）を得る。ＣＰＵ２０は、式（６）によってエネルギーE(T)を算出すると、ステップＳ１４へ進む。
【００２５】
本実施形態では、ライブビュー画像の取得を繰り返しながら、ステップＳ１３から後述するステップＳ１７までの処理を撮影指示が行われるまで繰り返す。ステップＳ１３において式（７）を代入するのは、ライブビュー画像として取得されたフレーム数が２フレーム目以降である場合に、前フレーム（時刻(T-1)）の処理（ステップＳ１５）で得た背景画像PB(T-2)を用いることを意味する。なお、１フレーム目の場合は前フレームに相当する処理が存在しないため、初期値として合成係数α＝１とおいてステップＳ１７へ進む。
【数５】
【数６】
【数７】
【００２６】
ステップＳ１４において、ＣＰＵ２０は、上式（６）においてエネルギーE(T)を最小（E(T)=min）にする合成係数αを求めてステップＳ１５へ進む。図３は、合成係数αとエネルギーE(T)との関係を例示する図である。ＣＰＵ２０は、合成係数αの値を変えながら、最小エネルギーに対応するαの値を得る。図４は、合成係数αの算出に関する概略図である。図４において、時刻(T-1)についての合成係数α(T-1)の算出には、時刻(T-1)についての画像P(T-1)と、時刻Tについての画像P(T)と、時刻(T-2)についての背景画像PB(T-2)とを用いる。
【００２７】
図２のステップＳ１５において、ＣＰＵ２０は背景画像の更新を行う。ＣＰＵ２０は、上式（７）により背景画像PB(T)を更新してステップＳ１６へ進む。本説明では、更新した背景画像を背景モデルと呼ぶ。図５は、背景モデルの更新に関する概略図である。図５において、時刻Tについての背景モデルPB(T)の算出には、時刻Tについての画像P(T)と、時刻(T-1)についての背景モデルPB(T-1)と、時刻(T)についての合成係数α(T)とを用いる。
【００２８】
ステップＳ１６において、ＣＰＵ２０は、最新の現画像P(T)から前フレームについての背景モデルPB(T-1)を減算した差分画像Pout(T)＝（P(T)−PB(T-1)）を出力してステップＳ１７へ進む。この差分画像Pout(T)は、現画像のうち前景候補領域（注目被写体を含む可能性が高い領域）に相当する。図６は、出力画像（＝差分画像）の生成に関する概略図である。図６において、時刻Tについての差分画像Pout(T)の算出には、時刻Tについての画像P(T)と、時刻(T-1)についての背景モデルPB(T-1)とを用いる。
【００２９】
ステップＳ１７において、ＣＰＵ２０は処理終了か否かを判定する。ＣＰＵ２０は、撮影処理を開始している場合にステップＳ１７を肯定判定して図２による処理を終了する。ここで、ＣＰＵ２０は操作部材２２を構成するレリーズボタンからの操作信号の入力に応じて、図２による処理と別に所定の撮影処理を行うように構成されている。一方、ＣＰＵ２０は、撮影処理を開始していない場合にはステップＳ１７を否定判定し、ステップＳ１３へ戻る。ステップＳ１３へ戻る場合は、ライブビュー画像の取得を繰り返し、最新フレームのライブビュー画像を用いて上述した処理を繰り返す。
【００３０】
図２による処理を終了したＣＰＵ２０は、撮影処理に先だって、上記差分画像Pout(T)に相当する領域に対して注目被写体を検出する処理を行う。この検出処理は、たとえば公知のテンプレートマッチング手法などを用いる。上述したように、検出処理を適用する範囲を狭く制限しておくことで、検出処理対象が広範囲の場合に比べて検出処理に要する時間を短縮できる。
【００３１】
ＣＰＵ２０は、注目被写体の検出位置を含む所定範囲をフォーカス調節対象とする他に、注目被写体の検出位置を含む所定範囲を自動露出演算の対象としたり、注目被写体の検出位置を含む所定範囲をホワイトバランス調整処理における補正値決定対象にしたりする。
【００３２】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１のＣＰＵ２０は、時刻Tについての現画像P(T)と、時刻(T-1)についての画像P(T-1)において背景を示す画像PB(T-1)とをそれぞれ用いて該現画像P(T)において背景を示す画像PB(T)を合成し、時刻(T+1)についての画像P(T+1)と、上記合成された画像PB(T)とをそれぞれ用いて該画像P(T+1)において前景を示す差分画像Pout(T+1)を生成するようにした。これにより、たとえば、被写体に向けられた電子カメラ１が動くことによって背景が流れる場合でも、流れた背景を前景候補に含めないように適切に前景候補を判断できる。
【００３３】
また、本実施形態では、背景を示す画像の更新のための学習機能を要しないため、学習機能を備える場合に比べて処理負担を軽減できる。
【００３４】
（２）ＣＰＵ２０は、時刻Tについての現画像P(T)と、時刻(T-1)についての画像P(T-1)において背景を示す画像PB(T-1)とを(１−α)：αの比率で加算して画像PB(T)を合成する。ＣＰＵ２０はさらに、時刻(T+1)についての画像P(T+1)から上記合成された画像PB(T)を減算して差分画像Pout(T+1)を生成する。取得時刻が異なるフレーム画像に重みを付けながら背景を示す画像PB(T)を合成するから、動きのある（流れる）背景を有する画像から前景候補を適切に判断できる。なお、前景候補は差分画像Pout(T+1)に相当する。
【００３５】
（３）上記比率は、時刻Tについての現画像P(T)、および背景を示す画像PB(T-1)間の差分を最小にする比率とするようにしたので、上記（２）の合成が適切に行える。これにより、動きのある（流れる）背景を前景候補から除外できる。
【００３６】
（４）上記比率は、時刻Tについての現画像P(T)と、時刻(T-1)についての画像P(T-1)と、背景を示す画像PB(T-2)とをそれぞれ用いて算出するので、動きのある（流れる）背景を前景候補から除外するのに適した比率を設定できる。
【００３７】
（５）時刻(T+1)についての画像P(T+1)のうち、上記生成された差分画像Pout(T+1)に対応する範囲を所定処理の対象とするようにしたので、前景候補を対象に、たとえば、フォーカス調節対象としたり、ホワイトバランス補正値を決める対象にしたりすることができる。
【００３８】
図７は、以上説明した処理の全体の流れを説明する概略図であり、図４、図５および図６をまとめたものである。時刻(T＝3)の右側を例にあげて説明すると、時刻(T＝2)についての合成係数α(2)の算出は、時刻(T＝2)についての画像P(2)と、時刻(T＝3)についての画像P(3)と、時刻(T＝1)についての背景画像PB(1)とを用いる点を表す。
【００３９】
また、時刻(T＝2)についての背景モデルPB(2)の算出には、時刻(T＝2)についての画像P(2)と、時刻(T=1)についての背景モデルPB(1)と、時刻(T＝2)についての合成係数α(2)とを用いる点を表す。
【００４０】
さらに、時刻(T＝3)についての差分画像Pout(3)の算出には、時刻(T＝3)についての画像P(3)と、時刻(T＝2)についての背景モデルPB(2)とを用いる点を表す。
【００４１】
（変形例１）：動体のみを抽出して圧縮処理する構成
上述した実施形態では、撮影処理前に注目被写体を検出する例について説明したが、本発明は、動画像から動体を検出する場合にも適用してよい。この場合、ライブビュー画像を構成するフレーム画像を用いて行った処理と同様の処理を、動画像を構成するフレーム画像を用いて行う。上記差分画像Pout(T)に相当する領域は、動体候補領域（動体を含む可能性が高い領域）に相当するので、この範囲に対して動体検出を適用する。ＣＰＵ２０は、検出した動体を含む所定範囲の動体画像を、通常の動画像ファイルと別ファイルとして圧縮し、記憶媒体５１などへ保存する。
【００４２】
ここで、通常の動画像ファイルを符号化して画像圧縮した第１動画像ファイルを生成・保存するとともに、動体のみを含む動体画像ファイルを符号化して画像圧縮した第２動画像ファイルを生成・保存する第１の動画保存モード、上記第２動画像ファイルのみを生成・保存する第２の動画保存モード、および上記第１動画像ファイルのみを生成・保存する第３の動画保存モードのうちいずれかの動画保存モードを選択可能に構成してもよい。そして、ＬＣＤモニタ１７に表示させるモニタ画像について、通常の動画像を表示させる第１表示と、検出された動体像を表示させる第２表示とで切り替え可能に構成してもよい。
【００４３】
（変形例２）：圧縮保存されている動画像から動体のみを抽出する構成
記憶媒体５１に記憶されている上記第１動画像ファイルを読み出し、復号化して画像伸張させてＬＣＤモニタ１７に動画再生表示させる場合において、該再生動画像から動体を検出するように構成してもよい。この場合、再生動画像を構成するフレーム画像を用いて同様の処理を行う。上記差分画像Pout(T)に相当する領域は、動体候補領域（動体を含む可能性が高い領域）に相当するので、この範囲に対して動体検出を適用する。ＬＣＤモニタ１７に表示させる動画再生画像は、通常の動画像を再生表示させる第１再生表示と、検出された動体像を表示させる第２再生表示とで切り替え可能に構成してもよい。
【００４４】
（変形例３）：抽出した動体のうち特定の動体を追尾する構成
変形例３では、上記差分画像Pout(T)に相当する領域から検出される動体を追尾対象物とする。ＣＰＵ２０は、あらかじめ追尾対象物を示す画像データに基づいて特徴量データを生成し、該特徴量データを含む参照用データをフラッシュメモリ１９に格納（登録）しておく。この参照用データは、追尾対象物を追尾する際のテンプレートマッチング用に用いる。
【００４５】
ＣＰＵ２０は、前後する複数フレーム（撮影中の動画像でも再生中の動画像でもよい）の画像データを用いて公知のテンプレートマッチング処理を施すことにより、先のフレーム画像における追尾対象物と類似する領域を、後のフレーム画像から検出（追尾）する。
【００４６】
ＣＰＵ２０は、後フレーム画像における検出領域の位置と、先フレーム画像における追尾対象物の位置との相対距離が所定差を超えている場合に、追尾対象物の位置情報を現位置から上記追尾処理で検出した追尾対象物の位置へ自動的に移動させる。
【００４７】
（変形例４）：抽出した動体が画角の所定位置に収まるように画角調整する構成
ＣＰＵ２０は、前後する複数フレーム（撮影中の動画像）の画像データを用いて公知のテンプレートマッチング処理を施すことにより、先のフレーム画像における追尾対象物と類似する領域を、後のフレーム画像から検出（追尾）する。
【００４８】
そして、撮影画面における所定範囲に動体が収まるように、撮影光学系１１を構成するズームレンズの位置を光軸方向へ進退移動させる。
【００４９】
なお、フレーム画像に対してノイズ除去処理を行うように構成されている場合には、図２による処理の直前にノイズ除去処理を行うとよい。また、撮影光学系１１にズームレンズが含まれる場合には、注目被写体が撮影画面に含まれるように、図２による処理の前にズーム倍率を変更しておくのが好ましい。このようにすることで、生成される背景モデルの精度が高まり、適切な前景候補判断が可能になる。
【００５０】
（変形例５）
図２による処理を行う画像処理プログラムを図８に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。画像処理プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって、動画像の背景が流れる場合でも、流れた背景を前景候補に含めないように適切に前景候補を判断する画像処理装置として使用する。
【００５１】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像処理プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００５２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００５３】
１…電子カメラ
１７…ＬＣＤモニタ
１８…バッファメモリ
１９…フラッシュメモリ
２０…ＣＰＵ
２２…操作部材
５１…記憶媒体
【特許請求の範囲】
【請求項１】
ｎフレーム目の画像と、(ｎ−１)フレーム目の画像において背景を示す画像とをそれぞれ用いて該ｎフレーム目の画像において背景を示す画像を合成する画像合成手段と、
(ｎ＋１)フレーム目の画像と、前記画像合成手段により合成された画像とをそれぞれ用いて該(ｎ＋１)フレーム目の画像において前景を示す画像を生成する画像生成手段と、
とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像合成手段は、前記ｎフレーム目の画像と、前記(ｎ−１)フレーム目の画像において背景を示す画像とを(１−α)：αの比率で加算して前記合成を行い、
前記画像生成手段は、前記(ｎ＋１)フレーム目の画像から前記合成された画像を減算して前記生成を行うことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記比率は、前記ｎフレーム目の画像、および前記(ｎ−１)フレーム目の画像において背景を示す画像間の差分を最小にする比率であることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記比率は、前記ｎフレーム目の画像と、前記(ｎ−１)フレーム目の画像と、(ｎ−２)フレーム目の画像において背景を示す画像とをそれぞれ用いて算出されることを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記(ｎ＋１)フレーム目の画像のうち、前記画像生成手段により生成された画像に対応する範囲を所定処理の対象とする処理対象決定手段をさらに備えることを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置を搭載することを特徴とするデジタルカメラ。
【請求項１】
ｎフレーム目の画像と、(ｎ−１)フレーム目の画像において背景を示す画像とをそれぞれ用いて該ｎフレーム目の画像において背景を示す画像を合成する画像合成手段と、
(ｎ＋１)フレーム目の画像と、前記画像合成手段により合成された画像とをそれぞれ用いて該(ｎ＋１)フレーム目の画像において前景を示す画像を生成する画像生成手段と、
とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像合成手段は、前記ｎフレーム目の画像と、前記(ｎ−１)フレーム目の画像において背景を示す画像とを(１−α)：αの比率で加算して前記合成を行い、
前記画像生成手段は、前記(ｎ＋１)フレーム目の画像から前記合成された画像を減算して前記生成を行うことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記比率は、前記ｎフレーム目の画像、および前記(ｎ−１)フレーム目の画像において背景を示す画像間の差分を最小にする比率であることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記比率は、前記ｎフレーム目の画像と、前記(ｎ−１)フレーム目の画像と、(ｎ−２)フレーム目の画像において背景を示す画像とをそれぞれ用いて算出されることを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記(ｎ＋１)フレーム目の画像のうち、前記画像生成手段により生成された画像に対応する範囲を所定処理の対象とする処理対象決定手段をさらに備えることを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置を搭載することを特徴とするデジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１０１４７５（Ｐ２０１３−１０１４７５Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４４３８（Ｐ２０１１−２４４４３８）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]