画像処理装置、画像処理方法、および記録媒体
【課題】簡単に、多重露光による画像を得ることができるようにする。
【解決手段】画像合成部は、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、入力画像の被写体を検出する被写体検出部における検出結果に基づいて、合成処理を終了する。本技術は、例えば、多重露光撮影の画像処理を行う画像処理装置に適用できる。
【解決手段】画像合成部は、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、入力画像の被写体を検出する被写体検出部における検出結果に基づいて、合成処理を終了する。本技術は、例えば、多重露光撮影の画像処理を行う画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および記録媒体に関し、特に、簡単に、多重露光による画像を得ることができるようにする画像処理装置、画像処理方法、および記録媒体に関する。
【背景技術】
【０００２】
従来、銀塩カメラの撮影方法に、同一フィルム上に複数回露光を行い、複数の重なった像を得る多重露光という方法（以下、多重露光撮影という。）がある。多重露光撮影によれば、例えば、ある中心点から円状に広がる花火を撮影した場合に、線状の光跡となるような画像を得ることができる。多重露光撮影を行うには、通常、ユーザは、レンズの前を黒幕などで覆った状態でバルブ（シャッタを長時間開放する長時間露光状態）に設定する。そして、ユーザは、レンズの前の黒幕を所定時間だけ取り除き、再びレンズ前を黒幕で覆う動作を複数回繰り返すことにより、多重露光の画像を得ることができる。
【０００３】
デジタルカメラにおいても、シャッタを長時間開放状態にするバルブ撮影機能を備えているものはある。また、デジタルカメラで多重露光の画像を得るための技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３２３４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、バルブ撮影機能は、上級者向けの高機能のデジタルカメラなどに限られており、いわゆるコンパクトデジタルカメラで多重露光撮影を行うのは難しい。
【０００６】
また、デジタルカメラにバルブ撮影機能があっても、プロカメラマンが撮影するような最適なシャッタタイミングで、ユーザが撮影するのは難しい。シャッタタイミングが適切でないと、例えば、上述した花火の撮影の例では、光跡が途中で切れてしまったり、逆に、途中から光跡が始まったり、あるいは、光跡が点々になったりするような画像になる。
【０００７】
画像編集アプリケーションを用いて、パーソナルコンピュータ上で、後処理として、デジタルカメラで短時間に撮影した複数枚の撮影画像を合成する方法もあるが、作業が非常に面倒である。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、簡単に、多重露光による画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部を備える。
【００１０】
本技術の一側面の画像処理方法は、入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了するステップを含む。
【００１１】
本技術の一側面の記録媒体に記録されたプログラムは、コンピュータに、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する処理を実行させるためのものである。
【００１２】
本技術の一側面においては、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理が行われ、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理が終了される。
【００１３】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１４】
本技術の一側面によれば、簡単に、多重露光による画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本技術が適用された画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】画像合成部の構成例を示すブロック図である。
【図３】合成処理部による合成処理について説明する図である。
【図４】多重露光撮影処理について説明するフローチャートである。
【図５】連発撮影の多重露光撮影処理について説明する図である。
【図６】連発撮影の多重露光撮影処理について説明するフローチャートである。
【図７】被写体追尾部の構成例を示すブロック図である。
【図８】被写体マップ生成部の構成例を示すブロック図である。
【図９】帯域特徴量マップ合成部の構成例を示すブロック図である。
【図１０】合成特徴量マップ合成部の構成例を示すブロック図である。
【図１１】被写体候補領域矩形化部の構成例を示すブロック図である。
【図１２】被写体領域選択部の構成例を示すブロック図である。
【図１３】信頼度指標算出部の構成例を示すブロック図である。
【図１４】被写体追尾処理について説明するフローチャートである。
【図１５】被写体マップ生成処理について説明するフローチャートである。
【図１６】被写体マップ生成処理の具体例を示す図である。
【図１７】リファレンスマップについて説明する図である。
【図１８】マッチング処理について説明する図である。
【図１９】マッチング処理の結果の例を示す図である。
【図２０】信頼度指標算出処理について説明するフローチャートである。
【図２１】マッチング処理の結果の他の例を示す図である。
【図２２】帯域特徴量マップ合成処理について説明するフローチャートである。
【図２３】帯域特徴量マップ合成処理の具体例を示す図である。
【図２４】合成特徴量マップ合成処理について説明するフローチャートである。
【図２５】合成特徴量マップ合成処理の具体例を示す図である。
【図２６】被写体候補領域矩形化処理について説明するフローチャートである。
【図２７】被写体候補領域矩形化処理の具体例について説明する図である。
【図２８】被写体領域選択処理について説明するフローチャートである。
【図２９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００１７】
図１の画像処理装置１１は、被写体を撮影して得られる撮影画像を表示し、記録する通常の撮影機能（通常撮影モード）の他、連続撮影により得られる複数の撮影画像を合成した多重露光画像を簡単に生成する多重露光機能（多重露光撮影モード）を備える。この画像処理装置１１は、例えば、デジタルビデオカメラや、デジタルスチルカメラなどの撮像装置の一部として組み込まれる。
【００１８】
画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、表示制御部３４、表示部３５、エンコード処理部３６、記録部３７、レンズ駆動部３８、制御部３９、インタフェース制御部４０、およびユーザインタフェース４１から構成される。
【００１９】
光学系３１は、図示せぬ撮像レンズを含む光学系などからなり、光学系３１に入射された光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２に入射される。イメージャ３２は、光学系３１から入射された光を光電変換することで、被写体を撮像する。撮像により得られたアナログの電気信号（撮像信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタルの画像データに変換され、デジタル信号処理部３３に供給される。
【００２０】
デジタル信号処理部３３は、DSP（Digital Signal Processor）などで構成され、イメージャ３２からの画像データに対して所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、解像度変換部５３、画像合成部５４、およびYC生成部５５を少なくとも備えている。
【００２１】
前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。
【００２２】
解像度変換部５３および画像合成部５４は、デモザイク処理後の撮影画像に対して、必要に応じて所定の画像処理を施す。
【００２３】
解像度変換部５３は、ユーザインタフェース４１においてユーザにより設定（指定）された所定の解像度に変換する解像度変換処理を施す。
【００２４】
画像合成部５４は、ユーザによって多重露光撮影モードが選択されている場合に、複数の撮影画像を合成（多重）することにより、多重露光画像を生成する画像合成処理を実行する。
【００２５】
YC生成部５５は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）するYC生成処理を行う。解像度変換部５３や画像合成部５４において所定の画像処理が実行された場合には、処理後の画像データに対してYC生成処理を行う。
【００２６】
表示制御部３４は、デジタル信号処理部３３から供給されるデジタルの画像データを、アナログの画像信号にD/A変換し、表示部３５に表示させる。表示部３５は、表示制御部３４の制御に従い、表示制御部３４から供給された画像などを表示する。表示部３５としては、例えば、LCD(Liquid Crystal Display)などを採用することができる。
【００２７】
エンコード処理部３６は、デジタル信号処理部３３から供給される画像データを所定の符号化形式により符号化し、その結果得られる画像符号化データを記録部３７に供給する。
【００２８】
記録部３７は、例えば、ハードディスクや不揮発性のメモリなどの記録媒体を有し、エンコード処理部３６から供給される画像符号化データを記録媒体に記録させる。
【００２９】
レンズ駆動部３８は、制御部３９の制御に基づいて、光学系３１内のモータを駆動制御して、撮像レンズを駆動する。
【００３０】
制御部３９は、インタフェース制御部４０から供給される制御信号に応じて、画像処理装置１１の各部を制御する。
【００３１】
例えば、制御部３９は、デジタル信号処理部３３に、ユーザが指定した動作モードに対応する処理パラメータ等を供給する。また、制御部３９は、光学系３１内の撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３８に供給する。さらに制御部３９は、イメージャ３２による撮像も制御する。
【００３２】
ユーザインタフェース４１は、ボタンやスイッチ等の入力装置、マイクロホン等の出力装置などから構成される。ユーザインタフェース４１は、ユーザが画像処理装置１１に対して、撮像の開始または終了、動作モードの変更、設定値の変更などの指示を入力するときに操作される。なお、表示部３５の画面の上に静電式等のタッチパネル等の入力デバイスが構成され、ユーザが指等で表示部３５の画面をタッチすることで入力が可能な構成とされている場合には、その入力デバイスもユーザインタフェース４１に含まれる。
【００３３】
画像処理装置１１は以上のように構成される。
【００３４】
［画像合成部の構成例］
図２は、多重露光撮影モードにおいて、多重露光画像を生成する画像合成部５４の機能的構成例を示すブロック図である。
【００３５】
画像合成部５４は、被写体検出部６１、合成処理部６２、および、バッファ６３により構成される。画像合成部５４には、入力画像として、デモザイク処理後の撮影画像が、デモザイク処理部５２から供給され、被写体検出部６１と合成処理部６２に供給される。
【００３６】
被写体検出部６１は、入力画像としてのデモザイク処理後の撮影画像から被写体を検出し、追尾する被写体追尾処理を実行する。被写体検出部６１は、被写体追尾処理の結果得られた、入力画像内の被写体が含まれている領域（被写体領域）についての領域情報を合成処理部６２に出力する。本実施の形態において、被写体検出部６１から合成処理部６２に出力される被写体の領域情報は、入力画像内で検出された被写体を矩形領域で囲んだときの矩形領域のサイズの情報であるとする。なお、被写体の領域情報としては、その他、例えば、被写体を囲んだ矩形領域の位置（重心位置や中心位置）をさらに出力してもよい。また、被写体領域の検出方法は、既知の様々な手法を採用することができ、特定の手法に限定されるものではない。被写体領域の検出手法の一例については、図７以降で後述する。
【００３７】
合成処理部６２は、被写体検出部６１からの被写体の領域情報に基づいて、デモザイク処理部５２から順次供給される入力画像を合成処理することにより、合成画像を生成する。具体的には、合成処理部６２は、デモザイク処理部５２から、第ｐフレーム（p＞0）の入力画像N(p)が供給されたとき、以下の処理を行うことにより、第ｐフレームの合成画像G(p)を生成する。
（１）入力画像N(p)−合成画像G(p-1)＝差分画像D(p)
（２）合成画像G(p-1)＋差分画像D(p)＝合成画像G(p)
ここで、第ｐフレームを示すフレームカウントｐは、デモザイク処理部５２から画像合成部５４（の合成処理部６２）に入力されたフレーム数ではなく、被写体検出部６１において最初に被写体が検出されたときを第１フレームとして数えたときの入力画像のフレーム数を意味する。
【００３８】
合成処理部６２は、初めに、被写体が検出された第ｐフレームの入力画像N(p)と第ｐ−１フレームの合成画像G(p-1)の、対応する画素どうしの差分を計算した差分画像D(p)を計算する。次に、合成処理部６２は、得られた差分画像D(p)と第ｐ−１フレームの合成画像G(p-1)の、対応する画素どうしを加算し、その結果得られる画像を、第ｐフレームの合成画像G(p)とする。
【００３９】
合成処理部６２により順次生成される合成画像G(p)は、入力画像N(p)とともに表示制御部３４に出力されるとともに、次に入力される入力画像N(p+1)の合成処理のために、バッファ６３にも供給される。バッファ６３は、第ｐフレームにおける合成処理の処理結果である合成画像G(p)を、次のフレームの合成処理のために一時記憶する。なお、バッファ６３は、合成処理部６２の一部として構成されていてもよい。
【００４０】
また、合成処理部６２は、入力画像の合成処理を終了する場合、最後に合成処理されて得られた合成画像G(p)を、保存画像Goutとしてエンコード処理部３６に出力する。エンコード処理部３６は、合成処理部６２から供給される保存画像Goutの画像データを所定の符号化形式で符号化し、記録部３７に記録させる。
【００４１】
図３を参照して、合成処理部６２による合成画像G(p)の生成についてさらに説明する。
【００４２】
被写体検出部６１で最初に被写体が検出された撮影画像である第１フレームの入力画像N(1)が、合成処理部６２に供給される。このとき、それ以前の合成画像G(0)が存在しないので、入力画像N(1)が、そのまま、差分画像D(1)となり、さらにそれが、そのまま合成画像G(1)となる。すなわち、第１フレームの入力画像N(1)における合成処理の結果得られる合成画像G(1)は、第１フレームの入力画像N(1)に等しい。
【００４３】
次に、第２フレームの入力画像N(2)が合成処理部６２に供給されると、合成処理部６２は、第２フレームの入力画像N(2)から、第１フレームまでの合成画像G(1)を減算し、差分画像D(2)を算出する。そして、合成処理部６２は、第１フレームまでの合成画像G(1)に、いま算出した差分画像D(2)を加算し、第２フレームまでの合成画像G(2)を生成する。
【００４４】
第３フレームの入力画像N(3)が合成処理部６２に供給されると、合成処理部６２は、第３フレームの入力画像N(3)から、第２フレームまでの合成画像G(2)を減算し、差分画像D(3)を算出する。そして、合成処理部６２は、第２フレームまでの合成画像G(2)に、いま算出した差分画像D(3)を加算し、第３フレームまでの合成画像G(3)を生成する。
【００４５】
そして、第ｐフレームの入力画像N(p)が合成処理部６２に供給されると、合成処理部６２は、第ｐフレームの入力画像N(p)から、第ｐ−１フレームまでの合成画像G(p-1)を減算し、差分画像D(p)を算出する。そして、合成処理部６２は、第ｐ−１フレームまでの合成画像G(p-1)に、いま算出した差分画像D(p)を加算し、第ｐフレームまでの合成画像G(p)を生成する。
【００４６】
合成処理部６２は、以上のように、順次入力される入力画像N(1)ないしN(p)を用いたフレーム加算処理を行うことにより、合成画像G(1)ないしG(p)を生成する。
【００４７】
デモザイク処理部５２から入力画像が供給されるたびに生成される合成画像G(1)ないしG(p)は、表示制御部３４に出力され、表示部３５に表示される。これにより、ユーザは、多重露光画像の生成過程の画像を表示部３５で確認することができる。
【００４８】
そして、例えば、第ｐフレームの入力画像N(p)において、合成処理を終了する所定の終了条件が満たされた場合、合成処理部６２は、第ｐフレームの入力画像N(p)による合成処理結果である合成画像G(p)を、保存画像Goutとして、エンコード処理部３６に出力する。これにより、ユーザの多重露光撮影による撮影結果である多重露光画像が、所定の符号化形式で符号化され、記録部３７に保存される。
【００４９】
［多重露光撮影処理］
次に、図４のフローチャートを参照して、画像処理装置１１の多重露光撮影処理について説明する。この処理は、例えば、画像処理装置１１において、ユーザが撮影モードを、通常撮影モードから多重露光撮影モードに変更したとき、あるいは、多重露光撮影モードに撮影モードを変更後、撮影開始の操作がユーザによりなされたときに開始される。
【００５０】
初めに、ステップＳ２０１において、画像合成部５４の被写体検出部６１は、入力画像としてデモザイク処理部５２から供給された、デモザイク処理後の撮影画像に対して、被写体を検出し、追尾する被写体追尾処理を開始する。これ以降、被写体検出部６１は、入力画像に対して被写体を検出し、追尾する被写体追尾処理を逐次実行し、被写体の領域情報を合成処理部６２に供給する。なお、被写体が検出できない場合には、被写体の領域情報は合成処理部６２に供給されない。
【００５１】
ステップＳ２０２において、合成処理部６２は、最初に被写体が検出された入力画像を第１フレームとして、画像合成部５４に入力される入力画像を数えるための変数であるフレームカウントｐに１をセットする。
【００５２】
ステップＳ２０３において、合成処理部６２は、被写体の領域情報が供給されたかを判定する。上述したように、被写体追尾処理により被写体が検出された場合、検出された被写体を矩形領域で囲んだときの矩形領域のサイズが、被写体の領域情報として、被写体検出部６１から、合成処理部６２に供給される。したがって、ステップＳ２０３では、被写体のサイズが、被写体検出部６１から供給されたか否かが判定され、被写体のサイズが供給されるまで、ステップＳ２０３の処理が繰り返される。
【００５３】
そして、ステップＳ２０３で、被写体の領域情報が供給されたと判定された場合、すなわち、被写体検出部６１から被写体のサイズが供給された場合、処理はステップＳ２０４に進む。
【００５４】
ステップＳ２０４において、合成処理部６２は、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいかを判定する。なお、被写体サイズの最大値SIZEMAXは、次のステップＳ２０５の処理で保持される、これまでに検出された被写体サイズの最大値を記憶する変数である。フレームカウントｐが１である場合、すなわち、第１フレームの入力画像N(1)において、１つ前のフレームの入力画像で検出された被写体が存在しない場合は、ステップＳ２０４では大きいと判定される。
【００５５】
ステップＳ２０４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいと判定された場合、処理はステップＳ２０５に進む。ステップＳ２０５において、合成処理部６２は、被写体サイズの最大値SIZEMAXを、第ｐフレームの入力画像N(p)で検出された被写体のサイズで更新し、バッファ６３に保持する。
【００５６】
ステップＳ２０６において、合成処理部６２は、第ｐフレームの差分画像D(p)と第ｐ−１フレームまでの合成画像G(p-1)から、第ｐフレームにおける合成画像G(p)を生成する。具体的には、合成処理部６２は、初めに、第ｐフレームの入力画像N(p)と第ｐ−１フレームの合成画像G(p-1)とから、差分画像D(p)を算出する。次に、合成処理部６２は、算出された差分画像D(p)と、第ｐ−１フレームまでの合成画像G(p-1)をフレーム加算することで、第ｐフレームの合成画像G(p)を生成する。
【００５７】
ステップＳ２０７において、合成処理部６２は、生成した第ｐフレームの合成画像G(p)を、第ｐフレームの入力画像N(p)とともに表示制御部３４に出力する。その結果、表示制御部３４により、第ｐフレームの合成画像G(p)と、第ｐフレームの入力画像N(p)が、表示部３５において、例えば、同サイズで横方向に並んで同時に表示される。これにより、ユーザは、撮影中のスルー画像である入力画像N(p)と、多重露光撮影による画像である合成画像G(p)の両方を同時に見ることができる。
【００５８】
ステップＳ２０７の後、処理はステップＳ２０８に進み、フレームカウントｐが１だけインクリメントされた後、処理がステップＳ２０３に戻される。
【００５９】
一方、上述したステップＳ２０４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAX以下であると判定された場合、処理はステップＳ２０９に進む。
【００６０】
ステップＳ２０９において、合成処理部６２は、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している被写体サイズの最大値SIZEMAXの所定比率以下のサイズであるかを判定する。すなわち、ステップＳ２０９では、順次、検出される被写体のサイズが、最大値SIZEMAXよりも所定の比率だけ小さくなったか否かが判定される。ここで、検出される被写体のサイズが小さくなったか否かを判定する比率は、例えば、０．８（８０％）、換言すれば、最大値SIZEMAXからの被写体サイズの減少率が２０％以上などとすることができる。
【００６１】
ステップＳ２０９で、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している最大値SIZEMAXの所定比率以下のサイズではないと判定された場合、処理は、上述したステップＳ２０６に進む。
【００６２】
一方、ステップＳ２０９で、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している最大値SIZEMAXの所定比率以下のサイズであると判定された場合、処理はステップＳ２１０に進む。
【００６３】
ステップＳ２１０において、合成処理部６２は、第ｐフレームの合成画像G(p)と入力画像N(p)を、表示制御部３４に出力するとともに、第ｐフレームの合成画像G(p)を、保存画像Goutとしてエンコード処理部３６に出力する。これにより、第ｐフレームの合成画像G(p)と入力画像N(p)が表示部３５に表示されるとともに、多重露光撮影の撮影結果としての保存画像Goutが、記録部３７に保存されて、多重露光撮影処理が終了する。
【００６４】
以上の多重露光撮影処理によれば、所定の被写体が検出された第ｐフレームの入力画像N(p)と、その１フレーム前までの合成画像G(p-1)との差分画像D(p)を算出して、加算する処理（合成処理）が繰り返される。そして、検出される被写体サイズが、それまでに検出された被写体サイズの最大値SIZEMAXの所定比率以下のサイズになったときを、入力画像において被写体が検出できなくなったと判定して、差分画像D(p)の加算処理が終了される。
【００６５】
この多重露光撮影処理によれば、ユーザは、撮影モードを多重露光撮影モードに変更し、撮影を開始させるだけで、合成処理部６２が、被写体検出部６１の検出結果に基づいて、入力画像の合成処理の開始および終了を判定し、実行する。したがって、ユーザ自身がシャッタタイミングを決定、指示する必要がなく、適切なシャッタタイミングによる、多重露光画像を得ることができる。また、従来の多重露光撮影では必要とされていた暗幕やレリーズケーブルなどの道具を使用することなく撮影することも可能である。すなわち、画像合成部５４の多重露光撮影処理によれば、簡単に、多重露光による画像を得ることができる。
【００６６】
［多重露光撮影処理のその他の例］
多重露光機能は、花火の撮影で利用されることが多い。花火の撮影では、連続して打ち上げられた複数の花火を１枚の画像として得たい場合もある。そのため、画像処理装置１１の多重露光撮影モードでは、連続して打ち上げられる複数の花火を１枚の画像として撮影することもできる。
【００６７】
図５を参照して、連続して打ち上げられる複数の花火を１枚の画像として得る、連発撮影の多重露光撮影処理について説明する。
【００６８】
撮影する複数の花火のうち、第１発目の花火を撮影する処理は、図３を参照して説明した単発撮影の多重露光撮影処理と同様に行われる。ただし、検出対象の被写体である第１発目の花火が検出できなくなったと判定されたときに、第１発目の花火を多重露光した保存画像Goutが、エンコード処理部３６に出力されるのではなく、バッファ６３に一時保存される。その後、バッファ６３に一時記憶されている、被写体サイズの最大値SIZEMAX、フレームカウントｐ、および、合成画像G(p)は、合成処理部６２によってリセットされる。
【００６９】
そして、入力画像から、最初に、第２発目の花火が検出されたとき、すなわち、第２発目の花火の第１フレームの入力画像N(1)が、合成処理部６２に供給されたとき、合成処理部６２は、図５に示されるように、入力画像N(1)を、そのまま、差分画像D(1)とする。この処理は、第１発目の花火の第１フレームのときと同様である。
【００７０】
次に、合成処理部６２は、バッファ６３に一時記憶されている、第１発目の花火の合成画像である保存画像Goutに、いま算出した差分画像D(1)を加算し、第２フレームまでの合成画像G(1)を生成する。すなわち、第２発目の花火を最初に検出した第１フレームでは、合成処理部６２は、算出した差分画像D(1)を、第１発目の花火の保存画像Goutと加算する。
【００７１】
第２発目の花火の第２フレーム以降の処理は、上述した単発撮影の多重露光撮影処理と同様である。そして、第２発目の花火の第ｐフレームにおいて、被写体が検出できなくなったと判定された場合、第ｐフレームの合成画像G(p)が保存画像Goutとしてバッファ６３に一時保存される。その後、第２発目の合成処理で使用された、被写体サイズの最大値SIZEMAX、フレームカウントｐ、および、合成画像G(p)が、再度リセットされる。
【００７２】
そして、入力画像から、最初に、第３発目の花火が検出されたとき、すなわち、第３発目の花火の第１フレームの入力画像N(1)が、合成処理部６２に供給されたとき、合成処理部６２は、その入力画像N(1)を、そのまま、差分画像D(1)とする。この処理は、第１発目の花火の第１フレームのときと同様である。
【００７３】
次に、合成処理部６２は、バッファ６３に一時記憶されている、第２発目までの花火の合成画像である保存画像Goutに、いま算出した差分画像D(1)を加算し、第２フレームまでの合成画像G(1)を生成する。すなわち、第２発目の花火を最初に検出した第１フレームでは、合成処理部６２は、算出した差分画像D(1)を、第２発目までの花火の保存画像Goutと加算する。
【００７４】
第３発目の花火の第２フレーム以降の処理は、上述した第２発目の処理と同様である。
【００７５】
連続して打ち上げられる複数の花火を１枚の画像として得る、連発撮影の多重露光撮影処理は、以上のように行われる。
【００７６】
図６のフローチャートを参照して、連発撮影の多重露光撮影処理について説明する。この処理を開始するタイミングは、例えば、図５と同様とすることができる。なお、連発撮影の多重露光撮影処理においては、何発の花火を１枚の画像として多重露光撮影するかを、撮影を開始する前にユーザに指定（入力）させるようにしてもよい。
【００７７】
初めに、ステップＳ２２１において、画像合成部５４の被写体検出部６１は、入力画像としてデモザイク処理部５２から供給された、デモザイク処理後の撮影画像に対して、被写体を検出し、追尾する被写体追尾処理を開始する。被写体追尾処理は、多重露光撮影処理が終了するまで継続して実行される。
【００７８】
ステップＳ２２２において、合成処理部６２は、フレームカウントｐに１をセットするとともに、連発スタートフラグflgに０をセットする。連発スタートフラグは、第２発目以降の花火であり、かつ、被写体（花火）が検出された最初のフレーム（第１フレーム）である場合には１、それ以外の場合には０がセットされるフラグである。ステップＳ２２２の処理時点では、第１発目の花火を検出する前であるので、連発スタートフラグflgには０がセットされる。
【００７９】
ステップＳ２２３において、合成処理部６２は、上述した単発撮影におけるステップＳ２０３と同様に、被写体の領域情報が供給されたか否かを判定し、供給されたと判定されるまで処理を繰り返す。
【００８０】
ステップＳ２２３で、被写体の領域情報が供給されたと判定された場合、すなわち、被写体検出部６１から被写体のサイズが供給された場合、処理はステップＳ２２４に進む。
【００８１】
ステップＳ２２４において、合成処理部６２は、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいかを判定する。
【００８２】
ステップＳ２２４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいと判定された場合、処理はステップＳ２２５に進む。ステップＳ２２５において、合成処理部６２は、被写体サイズの最大値SIZEMAXを、第ｐフレームの入力画像N(p)で検出された被写体のサイズで更新し、バッファ６３に保持する。
【００８３】
ステップＳ２２６において、合成処理部６２は、連発スタートフラグflgが１であるかを判定する。ステップＳ２２６で、連発スタートフラグflgが１であると判定された場合については、ステップＳ２３４乃至Ｓ２３６の処理の説明後に説明する。１回目のステップＳ２２６の処理では、上述したステップＳ２２２の処理により連発スタートフラグflgは０にセットされているので、連発スタートフラグflgが１ではないと判定される。
【００８４】
ステップＳ２２６で、連発スタートフラグflgが１ではないと判定された場合、処理はステップＳ２２７に進む。ステップＳ２２７では、合成処理部６２は、上述した図４のステップＳ２０６と同様に、第ｐフレームの差分画像D(p)と第ｐ−１フレームまでの合成画像G(p-1)から、第ｐフレームにおける合成画像G(p)を生成する。
【００８５】
そして、ステップＳ２２８において、合成処理部６２は、生成した第ｐフレームの合成画像G(p)を、第ｐフレームの入力画像N(p)とともに表示制御部３４に出力する。その結果、表示制御部３４により、第ｐフレームの合成画像G(p)と、第ｐフレームの入力画像N(p)が、表示部３５において、例えば、同サイズで横方向に並んで表示される。これにより、ユーザは、撮影中のスルー画像である入力画像N(p)と、多重露光撮影による画像である合成画像G(p)の両方を同時に見ることができる。
【００８６】
ステップＳ２２８の後、処理はステップＳ２２９に進み、フレームカウントｐが１だけインクリメントされた後、処理がステップＳ２２３に戻され、それ以降の処理が繰り返される。
【００８７】
一方、上述したステップＳ２２４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAX以下であると判定された場合、処理はステップＳ２３２に進む。ステップＳ２３２では、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している被写体サイズの最大値SIZEMAXの所定比率以下のサイズであるかが判定される。そして、ステップＳ２３２で、第ｐフレームの入力画像N(p)の被写体サイズが、最大値SIZEMAXの所定比率以下のサイズではないと判定された場合、処理は、上述したステップＳ２２６に進む。
【００８８】
したがって、連発スタートフラグflgが０のときのステップＳ２２１からステップＳ２３２までの処理は、ステップＳ２３０とＳ２３１の処理を除いて、上述した図４のステップＳ２０１からステップＳ２０９までの処理と同様である。
【００８９】
ステップＳ２３２で、第ｐフレームの入力画像N(p)の被写体サイズが、最大値SIZEMAXの所定比率以下のサイズであると判定された場合、処理はステップＳ２３３に進む。ステップＳ２３２において、最初に被写体サイズが、最大値SIZEMAXの所定比率以下のサイズであると判定される場合は、第１発目の花火が検出できなくなったときである。
【００９０】
ステップＳ２３３において、合成処理部６２は、多重露光撮影を終了するかを判定する。例えば、何発の花火を多重露光撮影するかが、処理の開始時にユーザによって指定（入力）されている場合、合成処理部６２は、指定された花火の数だけ撮影したか否かにより、多重露光撮影を終了するかを判定する。
【００９１】
ステップＳ２３３で、多重露光撮影を終了しないと判定された場合、処理はステップＳ２３４に進み、合成処理部６２は、第ｐフレームの合成画像G(p)を保存画像Goutとしてバッファ６３に保存する。１回目のステップＳ２３４の処理では、保存画像Goutは、１発目の花火の多重露光画像に相当し、２回目のステップＳ２３４の処理では、保存画像Goutは、１発目と２発目の花火を多重した多重露光画像に相当する。
【００９２】
次に、ステップＳ２３５において、合成処理部６２は、バッファ６３に保持している被写体サイズの最大値SIZEMAXと合成画像G(p)をリセットする。
【００９３】
そして、ステップＳ２３６において、合成処理部６２は、フレームカウントｐに１をセットするとともに、連発スタートフラグflgに１をセットして、処理をステップＳ２２３に戻す。ステップＳ２３６の処理によれば、例えば、第１発目、第２発目、・・・の花火の合成処理が終了した時点で、連発スタートフラグflgに１がセットされる。
【００９４】
処理がステップＳ２２３に戻されると、ステップＳ２２３において、被写体の領域情報が供給されたかが再び判定される。そして、例えば、第２発目の花火が被写体として検出された場合に、処理がステップＳ２２４に進む。
【００９５】
ステップＳ２２４およびＳ２２５の処理の後、ステップＳ２２６において、連発スタートフラグflgが１であるかが判定される。連発スタートフラグflgが１となるのは、上述したように、第２発目以降の花火であり、かつ、入力画像が、被写体（花火）が検出された最初のフレーム（第１フレーム）のときだけである。
【００９６】
ステップＳ２２６で、連発スタートフラグflgが１であると判定された場合、処理はステップＳ２３０に進み、合成処理部６２は、第１フレームの差分画像D(1)と保存画像Goutから、合成画像G(1)を生成する。
【００９７】
例えば、被写体が第２発目の花火である場合には、合成処理部６２は、第１発目の花火の合成画像である保存画像Goutと、第２発目の第１フレームの差分画像D(1)とを加算することで、第２発目の第１フレームまでの合成画像G(1)を生成する。また例えば、被写体が第３発目の花火である場合には、合成処理部６２は、第２発目までの花火の合成画像である保存画像Goutと、第３発目の第１フレームの差分画像D(1)とを加算することで、第３発目の第１フレームまでの合成画像G(1)を生成する。
【００９８】
そして、ステップＳ２３１において、合成処理部６２は、第１フレームについての合成処理が終了したので、連発スタートフラグflgに０をセットする。その後、処理はステップＳ２２８に進み、上述した処理が繰り返される。
【００９９】
以上のように、連続撮影する複数の花火それぞれの最初の１フレームについてのみ、図５を参照して説明した第２発目以降の第１フレームの処理に相当するステップＳ２３０とステップＳ２３１の処理が実行される。それ以外は、単発撮影の多重露光撮影処理と同様の処理が実行される。
【０１００】
連続撮影する複数の花火それぞれについて、ステップＳ２２３ないしＳ２３３の処理が繰り返された後、ステップＳ２３３で、多重露光撮影を終了すると判定されると、処理がステップＳ２３７に進む。
【０１０１】
ステップＳ２３７において、合成処理部６２は、第ｐフレームの合成画像G(p)と入力画像N(p)を、表示制御部３４に出力するとともに、第ｐフレームの合成画像G(p)を、保存画像Goutとしてエンコード処理部３６に出力する。これにより、第ｐフレームの合成画像G(p)と入力画像N(p)が表示部３５に表示されるとともに、連発撮影による多重露光撮影の撮影結果としての保存画像Goutが、記録部３７に保存されて、多重露光撮影処理が終了する。
【０１０２】
以上の連発撮影の多重露光撮影処理では、入力画像から求めた差分画像を、合成対象の所定の被写体が検出されてから検出できなくなるまで逐次加算する加算処理が、複数回繰り返される。そして、合成処理部６２は、複数回繰り返される加算処理のうち、２回目以降の加算処理においては、最初に被写体が検出された入力画像から求めた差分画像と、それ以前の加算処理における加算結果である保存画像Goutを加算して、最初の合成画像G(1)が生成されるようにする。
【０１０３】
この連発撮影の多重露光撮影処理においても、ユーザは、撮影モードを多重露光撮影モードに変更し、撮影を開始させるだけで、合成処理部６２が、被写体検出部６１の検出結果に基づいて、入力画像の合成処理の開始および終了を判定し、実行する。したがって、ユーザ自身がシャッタタイミングを決定、指示する必要がなく、適切なシャッタタイミングによる多重露光画像を得ることができる。また、従来の多重露光撮影では必要とされていた暗幕やレリーズケーブルなどの道具を使用することなく撮影することも可能である。すなわち、画像合成部５４の多重露光撮影処理によれば、簡単に、多重露光による画像を得ることができる。なお、上述した例では、連発撮影の多重露光撮影処理を、連続して打ち上げられる複数の花火を合成する例で説明したが、合成対象の被写体は花火に限定されるものではない。
【０１０４】
上述した連続撮影の多重露光撮影処理のステップＳ２３３において、多重露光撮影モードから通常撮影モードに撮影モードが変更されたときを、多重露光撮影の終了と判定する場合、まだ被写体検出部６１により花火が検出されている状態で、ユーザが撮影モードの変更操作を行うこともあり得る。この場合、画像合成部５４は、被写体検出部６１により花火が検出されている間は、ステップＳ２２３ないしＳ２３３の加算処理を継続し、被写体が検出できなくなったときに、その加算処理を終了する。
【０１０５】
上述した実施の形態においては、被写体検出部６１は、検出された所定の被写体のサイズのみを、被写体の領域情報として合成処理部６２に出力するようにした。しかし、被写体検出部６１は、被写体サイズの他に、被写体を囲んだ矩形領域の位置（重心位置や中心位置）を、領域情報として出力してもよい。この場合、合成処理部６２は、第２フレーム以降の入力画像については、入力される入力画像から求めた差分画像全体を、逐次、フレーム加算するのではなく、被写体検出部６１で検出された被写体の領域のみの差分画像を、第１フレームの入力画像に対して逐次加算させることができる。
【０１０６】
また、被写体の領域のみを加算するようにした場合には、加算した領域と、加算していない領域との境で画素値が急激に変化し、画像に違和感が生じることがある。そこで、被写体の領域のみを加算するようにした場合には、合成処理部６２は、加算した領域の周辺領域の画素において、合成比率αを徐々に変更して加算するαブレンディング等の、スムージング処理を行うことができる。
【０１０７】
また、合成処理部６２は、デモザイク処理部５２から供給されるＲ，Ｇ，Ｂの各色成分の第ｐフレームの入力画像N(p)から求めた差分画像D(p)に対して所定の係数ρを乗算することにより、画素値を重み付けした差分画像D’(p)を、１フレーム前までの合成画像G(p-1)と加算して、第ｐフレームの合成画像G(p)を生成するようにしてもよい。
【０１０８】
すなわち、合成処理部６２は、Ｒ，Ｇ，Ｂの各色成分の入力画像N(p)に対して、以下の処理を実行し、合成画像G(p)を生成することができる。
（１）入力画像N(p)−合成画像G(p-1)＝差分画像D(p)
（２）差分画像D(p)×エフェクト係数ρ＝差分画像D’(p)
（３）合成画像G(p-1)＋差分画像D’(p)＝合成画像G(p)
ここで、エフェクト係数ρは、Ｒ，Ｇ，Ｂの色成分ごとに異なり、検出された被写体の色を変化させる係数である。これにより、例えば、検出対象の花火の色を、赤色から青色に変えるようなことができる。
【０１０９】
［被写体検出部６１の構成例］
次に、図７を参照して、図２の被写体検出部６１の構成例について説明する。
【０１１０】
図７の被写体検出部６１は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、リファレンスマップ保持部７４、マッチング処理部７５、および信頼度指標算出部７６から構成される。
【０１１１】
被写体マップ生成部７１には、図１のイメージャ３２により時間的に連続して撮像され、前処理部５１乃至YC生成部５５により処理された複数の入力画像が順次供給される。
【０１１２】
被写体マップ生成部７１は、入力画像の各画素が有する輝度や色等の予め定められた特徴毎に、入力画像の各領域における特徴の特徴量を示す特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、信頼度指標算出部７６から供給される信頼度指標とに基づいて、入力画像の各領域における被写体らしさを示す被写体マップを生成する。
【０１１３】
具体的には、被写体マップ生成部７１は、互いに異なる複数の帯域（空間周波数帯域）について、各特徴について生成した特徴量マップから、それらの帯域成分を抽出して帯域特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。
【０１１４】
この帯域特徴量マップは、入力画像の各領域における特徴の特徴量の特定帯域成分を示す特徴量マップである。換言すれば、帯域特徴量マップは、入力画像の特定の帯域成分に含まれる特徴の特徴量を示している。
【０１１５】
また、被写体マップ生成部７１は、生成した特徴毎の各帯域の帯域特徴量マップについて、入力画像の各画素に対応する位置毎に、信頼度指標算出部７６から供給される信頼度指標に基づいて、各帯域の帯域特徴量マップのいずれか１つの特徴量を選択する。
【０１１６】
ここで、以下においては、特徴量マップ（帯域特徴量マップ、後述する合成特徴量マップを含む）や被写体マップにおいて、入力画像の各画素に対応する領域（位置）を、単に、画素ということとする。
【０１１７】
被写体マップ生成部７１は、特徴毎の各帯域の帯域特徴量マップから画素毎に選択した特徴量を、特徴量毎に、全画素について合成することにより、合成特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。
【０１１８】
この合成特徴量マップは、各特徴の特徴量から求まる入力画像の各領域における被写体らしさを示す特徴量マップである。なお、ここでいう被写体とは、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推定される入力画像上の物体、つまりユーザが目を向けると推定される物体をいう。したがって、被写体は必ずしも人物に限られる訳ではない。
【０１１９】
また、被写体マップ生成部７１は、特徴毎の合成特徴量マップについて、画素毎に、信頼度指標算出部７６から供給される信頼度指標に基づいて、合成特徴量マップのいずれか１つを選択し、全画素について合成することにより、被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。このようにして得られる被写体マップの各領域（画素）の情報（値）は、入力画像の各領域の被写体らしさを示している。
【０１２０】
なお、信頼度指標算出部７６から供給される信頼度指標の詳細については後述する。
【０１２１】
被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、つまり被写体らしい領域を含む矩形領域（以下、被写体候補領域とも称する）を求め、その矩形領域の位置を示す座標情報を生成する。
【０１２２】
また、被写体候補領域矩形化部７２は、被写体マップを用いて、各被写体候補領域が有する特定の特徴の特徴量を示す領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部７３に供給する。
【０１２３】
被写体領域選択部７３は、被写体候補領域矩形化部７２からの座標情報および領域情報を用いて、被写体候補領域のうちの何れかを、追尾対象となる被写体が含まれる領域（以下、被写体領域と称する）として選択する。被写体領域選択部７３は、被写体領域の位置を示す座標情報を、制御部３９およびリファレンスマップ保持部７４に供給する。
【０１２４】
被写体領域選択部７３から出力される座標情報により示される被写体領域は、被写体マップにおいて、最も追尾対象の被写体らしい領域である。すなわち、被写体検出部６１では、被写体マップ上において、ユーザが注目すると推定される任意の被写体らしい領域が、ユーザにより指定された追尾対象の被写体の領域の候補（被写体候補領域）とされる。そして、それらの被写体候補領域のなかから、最も追尾対象の被写体らしい領域が、被写体領域として選択され、被写体マップ上の被写体領域と同じ位置にある入力画像の領域が、追尾対象の被写体が含まれる領域として特定される。
【０１２５】
なお、以下においては、被写体マップ上の被写体領域と同じ位置にある入力画像上の領域を、単に被写体領域とも称することとする。また、追尾対象となる被写体は、ユーザにより指定されたものに限らず、最初のフレームにおいて、被写体候補領域のうち、例えば領域の面積が最大であるなど、最も被写体らしさの評価が高いものが被写体領域とされ、その被写体領域に含まれる被写体が追尾対象とされてもよい。
【０１２６】
リファレンスマップ保持部７４は、メモリ８１を備えており、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの座標情報とを用いてリファレンスマップを生成し、メモリ８１に記録させる。
【０１２７】
具体的には、リファレンスマップ保持部７４は、帯域特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を帯域特徴量マップのリファレンスマップとする。同様に、リファレンスマップ保持部７４は、合成特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を合成特徴量マップのリファレンスマップとする。
【０１２８】
なお、以下、帯域特徴量マップおよび合成特徴量マップのリファレンスマップを、それぞれ帯域リファレンスマップ、および合成リファレンスマップとも称する。
【０１２９】
マッチング処理部７５は、メモリ８１に記録されたリファレンスマップを用いてマッチング処理を行い、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップから、リファレンスマップと最も相関の高い（類似する）領域を検索する。
【０１３０】
すなわち、処理対象の現フレームの帯域特徴量マップにおいて、現フレームの１つ前の前フレームの帯域リファレンスマップと最も類似する領域が検索される。また、現フレームの合成特徴量マップにおいて、前フレームの合成リファレンスマップと最も類似する領域が検索される。
【０１３１】
ここで、以下においては、現フレームの帯域特徴量マップおよび合成特徴量マップにおいて、前フレームの帯域リファレンスマップおよび合成リファレンスマップとそれぞれ最も類似する領域を、最大類似領域と称する。
【０１３２】
マッチング処理部７５は、帯域特徴量マップおよび合成特徴量マップについてのマッチング処理の結果を信頼度指標算出部７６に供給する。
【０１３３】
信頼度指標算出部７６は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの帯域特徴量マップおよび合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を算出する。
【０１３４】
信頼度指標算出部７６は、現フレームの帯域特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの帯域特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部７１に供給する。
【０１３５】
また、信頼度指標算出部７６は、現フレームの合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの合成特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部７１に供給する。
【０１３６】
なお、以下においては、適宜、現フレームの帯域特徴量マップについての信頼度指標を、帯域信頼度指標と称し、合成特徴量マップについての信頼度指標を、合成信頼度指標と称することとする。
【０１３７】
［被写体マップ生成部の構成例］
次に、図８を参照して、図７の被写体マップ生成部７１のより詳細な構成例について説明する。
【０１３８】
被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。
【０１３９】
特徴量マップ生成部１１１は、入力画像の各領域から、輝度や色などの特徴の特徴量を抽出して、抽出した特徴量を示す特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。
【０１４０】
帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部１１３、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。帯域特徴量マップは、各特徴について、帯域毎に生成される。
【０１４１】
帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの特徴量毎の帯域特徴量マップについて、画素毎に、信頼度指標算出部７６からの帯域信頼度指標に基づいて、帯域特徴量マップのいずれか１つの特徴量を選択する。帯域特徴量マップ合成部１１３は、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成する。すなわち、同じ特徴の帯域特徴量マップが、帯域信頼度指標に基づいて合成され、その特徴毎の合成特徴量マップとされる。
【０１４２】
帯域特徴量マップ合成部１１３は、特徴毎に生成した合成特徴量マップを、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０１４３】
合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップについて、画素毎に、信頼度指標算出部７６からの合成信頼度指標に基づいて、合成特徴量マップのいずれか１つの特徴量を選択する。合成特徴量マップ合成部１１４は、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップを生成する。合成特徴量マップ合成部１１４は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。
【０１４４】
ここで、図９および図１０を参照して、図８の帯域特徴量マップ合成部１１３および合成特徴量マップ合成部１１４の詳細な構成について説明する。
【０１４５】
［帯域特徴量マップ合成部の構成例］
図８の帯域特徴量マップ合成部１１３は、より詳細には、図９に示すように構成される。
【０１４６】
すなわち、帯域特徴量マップ合成部１１３は、候補マップ決定部１２１、マップ間最大値選択部１２２、および合成特徴量マップ生成部１２３から構成される。
【０１４７】
候補マップ決定部１２１は、帯域特徴量マップ生成部１１２からの特徴量毎の帯域特徴量マップから、信頼度指標算出部７６からの帯域信頼度指標に基づいて、合成特徴量マップに合成される候補である候補マップを決定する。候補マップ決定部１２１は、決定した候補マップ（以下、帯域候補マップとも称する）を、マップ間最大値選択部１２２に供給する。
【０１４８】
マップ間最大値選択部１２２は、候補マップ決定部１２１から供給された帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量の最大値を選択し、これを全画素について行う。
【０１４９】
合成特徴量マップ生成部１２３は、マップ間最大値選択部１２２によって選択された、各画素についての帯域候補マップ間の特徴量の最大値を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成し、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０１５０】
［合成特徴量マップ合成部の構成例］
図８の合成特徴量マップ合成部１１４は、より詳細には、図１０に示すように構成される。
【０１５１】
すなわち、合成特徴量マップ合成部１１４は、候補マップ決定部１２４、マップ間最大値選択部１２５、および被写体マップ生成部１２６から構成される。
【０１５２】
候補マップ決定部１２４は、帯域特徴量マップ合成部１１３からの合成特徴量マップから、信頼度指標算出部７６からの合成信頼度指標に基づいて、被写体マップに合成される候補である候補マップを決定する。候補マップ決定部１２４は、決定した候補マップ（以下、合成候補マップとも称する）を、マップ間最大値選択部１２５に供給する。
【０１５３】
マップ間最大値選択部１２５は、候補マップ決定部１２４から供給された合成候補マップについて、画素毎に、合成候補マップ間の特徴量の最大値を選択し、これを全画素について行う。
【０１５４】
被写体マップ生成部１２６は、マップ間最大値選択部１２５によって選択された、各画素についての合成候補マップ間の特徴量の最大値を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。
【０１５５】
［被写体候補領域矩形化部の構成例］
次に、図１１を参照して、図７の被写体候補領域矩形化部７２のより詳細な構成例について説明する。
【０１５６】
被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。
【０１５７】
２値化処理部１３１は、被写体マップ生成部７１の合成特徴量マップ合成部１１４から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１の何れかの値に２値化し、ラベリング処理部１３２に供給する。
【０１５８】
なお、以下においては、被写体マップ、特徴量マップ、帯域特徴量マップ、および合成特徴量マップのそれぞれにおける各領域（画素）に対応する情報（値）を、適宜、画素値ということとする。
【０１５９】
例えば、被写体マップの画素の画素値は、その画素と同じ位置にある入力画像の画素（領域）の被写体らしさの度合を示している。特に、２値化後の被写体マップにおいては、画素値が「１」である画素が、被写体らしい領域であり、画素値が「０」である画素は、被写体ではない領域（例えば、背景の領域）であるとされる。つまり、２値化後の被写体マップは、入力画像における被写体らしい領域を示している。
【０１６０】
ラベリング処理部１３２は、２値化処理部１３１から供給された、２値化された被写体マップにおいて、互いに隣接する、画素値が「１」である画素からなる領域を連結領域とし、各連結領域に対してラベリングを行う。連結領域は、被写体領域の候補となる領域であり、例えばラベリングでは、各連結領域に対して、それらの連結領域を特定する番号が付加される。ラベリング処理部１３２は、ラベリングされた被写体マップを矩形領域座標算出部１３３に供給する。
【０１６１】
矩形領域座標算出部１３３は、ラベリング処理部１３２からの被写体マップにおいて、連結領域を含む（囲む）矩形領域を被写体候補領域とし、各被写体候補領域の位置を示す座標情報を領域情報算出部１３４に供給する。
【０１６２】
領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、合成特徴量マップ合成部１１４からの被写体マップとを用いて、被写体候補領域ごとに領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部７３に供給する。
【０１６３】
［被写体領域選択部の構成例］
次に、図１２を参照して、図７の被写体領域選択部７３の構成例について説明する。
【０１６４】
被写体領域選択部７３は、領域情報比較部１５１、被写体領域決定部１５２、および領域情報記録部１５３から構成される。
【０１６５】
領域情報比較部１５１は、領域情報算出部１３４から供給された、処理対象の現フレームの各被写体候補領域の領域情報と、領域情報記録部１５３に記録されている、現フレームの１フレーム前の被写体領域の領域情報とを比較する。また、領域情報比較部１５１は、各被写体候補領域についての領域情報の比較結果と、領域情報算出部１３４からの座標情報とを被写体領域決定部１５２に供給する。
【０１６６】
被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、現フレームの被写体候補領域のうち、１フレーム前の被写体領域の領域情報と最も近い領域情報を有する被写体候補領域を、現フレームの被写体領域とする。すなわち、領域情報を指標とした場合に、前フレームの被写体領域と最も相関の高い（類似する）被写体候補領域が、現フレームの被写体領域とされる。
【０１６７】
被写体領域決定部１５２は、決定した現フレームの被写体領域の座標情報を制御部３９およびリファレンスマップ保持部７４に供給するとともに、現フレームの被写体領域の領域情報を、領域情報記録部１５３に供給する。領域情報記録部１５３は、被写体領域決定部１５２からの領域情報を記録するとともに、記録している領域情報を領域情報比較部１５１に供給する。
【０１６８】
［被写体領域選択部の構成例］
次に、図１３を参照して、図７の信頼度指標算出部７６の構成例について説明する。
【０１６９】
信頼度指標算出部７６は、類似度算出部１７１、最大類似度決定部１７２、類似度正規化部１７３、先鋭度算出部１７４、最大先鋭度決定部１７５、先鋭度正規化部１７６、および信頼度指標計算部１７７から構成される。
【０１７０】
類似度算出部１７１は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの各特徴量マップ（帯域特徴量マップおよび合成特徴量マップ）上の最大類似領域と前フレームのリファレンスマップとの類似度を算出し、最大類似度決定部１７２に供給する。
【０１７１】
なお、最大類似領域とリファレンスマップとの類似度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の１つであるが、その算出の詳細については、図２０を参照して後述する。
【０１７２】
最大類似度決定部１７２は、類似度算出部１７１からの各特徴量マップについての類似度から、最大の類似度となる最大類似度を決定し、各特徴量マップについての類似度とともに、類似度正規化部１７３に供給する。
【０１７３】
類似度正規化部１７３は、最大類似度決定部１７２からの最大類似度に基づいて、各特徴量マップについての類似度を正規化し、信頼度指標計算部１７７に供給する。
【０１７４】
先鋭度算出部１７４は、マッチング処理部７５からのマッチング結果に基づいて、現フレームの各特徴量マップについての先鋭度を算出し、最大先鋭度決定部１７５に供給する。
【０１７５】
なお、特徴量マップについての先鋭度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の１つであるが、その算出の詳細については、図２０を参照して後述する。
【０１７６】
最大先鋭度決定部１７５は、先鋭度算出部１７４からの各特徴量マップについての先鋭度から、最大の類似度となる最大先鋭度を決定し、各特徴量マップについての先鋭度とともに、先鋭度正規化部１７６に供給する。
【０１７７】
先鋭度正規化部１７６は、最大先鋭度決定部１７５からの最大先鋭度に基づいて、各特徴量マップについての先鋭度を正規化し、信頼度指標計算部１７７に供給する。
【０１７８】
信頼度指標計算部１７７は、類似度正規化部１７３からの各特徴量マップについての正規化された類似度、および、先鋭度正規化部１７６からの各特徴量マップについての正規化された先鋭度に基づいて、各特徴量マップについての信頼度指標を計算し、被写体マップ生成部７１に供給する。
【０１７９】
［被写体追尾処理の説明］
ところで、ユーザが画像処理装置１１に画像を撮像させようとする場合、ユーザは、ユーザインタフェース４１を操作して、画像を撮像する処理の開始を指示する。すると、制御部３９は、インタフェース制御部４０を介してユーザインタフェース４１から供給された制御信号に応じて、画像処理装置１１の各部を動作させる。
【０１８０】
例えば、制御部３９は、イメージャ３２に入力画像を撮像させるとともに、デジタル信号処理部３３に入力画像に対する前処理等の各種の処理を実行させ、デジタル信号処理部３３から入力画像を取得する。そして、制御部３９は、取得した各フレームの入力画像を、順次、インタフェース制御部４０を介してユーザインタフェース４１に供給し、表示させる。
【０１８１】
これにより、ユーザは、いわゆるプレビュー画像として、ユーザインタフェース４１に表示された入力画像を見ながら構図を決定し、ユーザインタフェース４１を操作して、静止画像等の撮像を指示することができる。
【０１８２】
このとき、ユーザは、ユーザインタフェース４１としてのボタンを操作して、画像処理装置１１の動作モードを、追尾すべき被写体を囲む枠が表示される被写体追尾処理モードに遷移させることができる。被写体追尾処理モードへの遷移が指示され、ユーザにより入力画像上の所定の領域が、被写体の領域として指定されると、被写体検出部６１は、指定された領域の被写体を追尾する被写体追尾処理を開始し、入力画像の各フレームにおける被写体領域を特定する。
【０１８３】
そして、制御部３９は、被写体検出部６１から、被写体領域の位置を示す座標情報の供給を受けると、その座標情報に基づいて、被写体領域を表す枠を、ユーザインタフェース４１に供給し、表示させる。これにより、ユーザインタフェース４１には、入力画像とともに被写体領域の枠が表示されることになる。
【０１８４】
次に、図１４のフローチャートを参照して、被写体検出部６１により行なわれる被写体追尾処理について説明する。
【０１８５】
ステップＳ１１において、被写体マップ生成部７１は、被写体マップ生成処理を行って被写体マップを生成し、被写体候補領域矩形化部７２に供給する。
【０１８６】
ここで、図１５乃至図２５を参照して、ステップＳ１１の処理に対応する被写体マップ生成処理の詳細について説明する。図１５は、被写体マップ生成処理について説明するフローチャートである。
【０１８７】
図１５のステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、処理対象の現フレームの入力画像から、輝度や色等の特徴毎に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。
【０１８８】
具体的には、図１６に示されるように、入力画像２００から、輝度に関する情報を示す輝度の特徴量マップＦ１、色に関する情報を示す色の特徴量マップＦ２乃至ＦＫ、エッジに関する情報を示すエッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭの合計Ｍ種類の特徴量マップが生成される。
【０１８９】
例えば、輝度の特徴量マップＦ１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の画素と同じ位置にある特徴量マップＦ１の画素の画素値とされる。つまり、輝度の特徴量マップＦ１は、輝度を特徴とする、入力画像の各領域の輝度値を示す特徴量マップである。
【０１９０】
また、色の特徴量マップＦ２乃至ＦＫにおいては、例えば、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、Ｋ＝４とされ、特徴量マップＦ２乃至Ｆ４のそれぞれは、入力画像の画素のＲ成分、Ｇ成分、およびＢ成分のそれぞれを特徴とする、入力画像の各領域の各色成分の画素値を示す特徴量マップとされる。
【０１９１】
さらに、エッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、４つのエッジの方向ごとに、その方向のエッジの強さを特徴とする、入力画像の各領域のエッジ強度を示す特徴量マップが生成される。
【０１９２】
なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を特徴量マップＦ１の特徴量としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色の特徴量マップＦ２乃至ＦＫの特徴量としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭの特徴量としてもよい。
【０１９３】
ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部１１３、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０１９４】
具体的には、図１６に示されるように、輝度の特徴量マップＦ１における輝度情報（画素値）から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、それらの帯域の輝度情報を示す帯域特徴量マップＲ１１乃至Ｒ１Ｎが生成される。
【０１９５】
また、色の特徴量マップＦ２乃至ＦＫにおける色情報（画素値）から、所定の帯域１乃至帯域Ｎの色情報が抽出され、それらの帯域の色情報を示す帯域特徴量マップＲ２１乃至Ｒ２Ｎ，…，ＲＫ１乃至ＲＫＮが生成される。
【０１９６】
さらに、エッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭにおけるエッジ情報（画素値）から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、それらの帯域のエッジ情報を示す帯域特徴量マップＲ（Ｋ＋１）１乃至Ｒ（Ｋ＋１）Ｎ，…，ＲＭ１乃至ＲＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。
【０１９７】
ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。
【０１９８】
例えば、帯域特徴量マップ生成部１１２は、特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。
【０１９９】
この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。
【０２００】
また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。
【０２０１】
例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。
【０２０２】
具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。
【０２０３】
このようにして得られたＮ個の差分画像のそれぞれが、さらに必要に応じて入力画像と同じ大きさにアップコンバートされ、帯域１乃至帯域Ｎの帯域特徴量マップとされる。
【０２０４】
このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから特定の帯域成分の特徴量を抽出することができる。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の画素値の差、つまり入力画像における所定の画素における特徴の特徴量と、その画素の周囲の平均的な特徴量との差分を示している。
【０２０５】
例えば、特徴が輝度である場合には、差分画像（帯域特徴量マップ）の画素値は、入力画像の所定領域の輝度と、その周囲の領域の平均的な輝度の差を示している。一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像（帯域特徴量マップ）において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。同様に、他の特徴についても、周囲と比べて特徴量の差が大きい領域は、ユーザの目を引く領域であるので、より被写体らしい領域であるといえる。
【０２０６】
なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を生成する際のピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。
【０２０７】
図１５のフローチャートの説明に戻り、ステップＳ３３において、マッチング処理部７５は、帯域特徴量マップ生成部１１２から供給された帯域特徴量マップＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）と、メモリ８１に記録されている帯域リファレンスマップとのマッチング処理を行う。
【０２０８】
例えば、図１７に示すように、帯域特徴量マップ生成部１１２では、Ｍ種類の各特徴について、Ｎ個の帯域毎に、合計（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎが得られる。また、帯域特徴量マップ合成部１１３では、Ｍ種類の各特徴について、帯域特徴量マップが合成されて得られた合成特徴量マップＣｍ（但し、１≦ｍ≦Ｍ）が得られる。
【０２０９】
そして、リファレンスマップ保持部７４のメモリ８１には、各合成特徴量マップＣｍにおける入力画像上の被写体領域ＣＲと同じ位置の領域が、合成リファレンスマップＲＦＣｍ（但し、１≦ｍ≦Ｍ）として記録されている。また、メモリ８１には、各帯域特徴量マップＲｍｎにおける入力画像上の被写体領域ＣＲと同じ位置の領域が、帯域リファレンスマップＲＦＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として記録されている。
【０２１０】
ここで、メモリ８１に記録されている帯域リファレンスマップおよび合成リファレンスマップは、処理対象の現フレームよりも１つ前のフレームの帯域特徴量マップと合成特徴量マップから得られたものである。
【０２１１】
マッチング処理部７５は、帯域特徴量マップ生成部１１２から、現フレームの帯域特徴量マップＲｍｎが供給されると、その帯域特徴量マップＲｍｎから、メモリ８１から読み出した前フレームの帯域リファレンスマップＲＦＲｍｎと最も類似する領域を検索する。
【０２１２】
例えば、図１８に示すように、マッチング処理部７５は、帯域特徴量マップＲｍｎ上の処理対象となる領域ＥＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）の位置を図中、左上から右下までずらしながら、各領域ＥＲｍｎと帯域リファレンスマップＲＦＲｍｎとのマッチングを行う。
【０２１３】
具体的には、マッチング処理部７５は、領域ＥＲｍｎ内の各画素について、領域ＥＲｍｎの画素の画素値と、その画素と同じ位置にある帯域リファレンスマップＲＦＲｍｎの画素の画素値との差分の絶対値を求め、各画素について求めた差分絶対値の総和（差分絶対値和）を求める。
【０２１４】
マッチング処理部７５は、帯域特徴量マップＲｍｎの各領域ＥＲｍｎのうち、帯域リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域ＭＥＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）とする。そして、マッチング処理部７５は、最大類似領域ＭＥＲｍｎの位置を示す情報と、帯域特徴量マップＲｍｎの各領域ＥＲｍｎについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部７６に供給する。
【０２１５】
図１９は、マッチング処理の結果としての、帯域特徴量マップＲｍｎの各領域ＥＲｍｎについて求めた差分絶対値和の例を示している。
【０２１６】
図１９において、ｘ軸とｙ軸とで構成されるｘｙ座標平面は、帯域特徴量マップ全体の領域を表している。また、図１９において、ｘｙ座標平面と垂直なｚ軸は、帯域特徴量マップについての差分絶対値和の大きさを表しており、ｚ軸には０乃至6000の目盛が振られている。つまり、図１９のｘｙｚ座標空間上に示される図形ＳＡＤは、帯域特徴量マップＲｍｎの各領域ＥＲｍｎについて求められた差分絶対値和を示している。なお、以下においては、図形ＳＡＤを差分絶対値和ＳＡＤと称する。
【０２１７】
図１９に示されるように、帯域特徴量マップ全体についての差分絶対値和は、約1500乃至約5800の値を示しているが、帯域特徴量マップの縁辺部では4000以上の値を示しており、中心付近では2000以下の値を示している。特に、帯域特徴量マップの中心付近の領域（差分絶対値和ＳＡＤの尖った部分）は、差分絶対値和の最小値（ピーク値）を示している。すなわち、図１９の差分絶対値和ＳＡＤは、帯域特徴量マップの中心付近の領域が最大類似領域であることを示している。
【０２１８】
このようにして、マッチング処理の結果として、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての差分絶対値和が求められ、また、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについて、それぞれ最大類似領域ＭＥＲｍｎが特定される。そして、それぞれの帯域特徴量マップについての差分絶対値和と最大類似領域の位置を示す情報とが、信頼度指標算出部７６に供給される。
【０２１９】
なお、マッチング処理として、差分絶対値和を利用する場合を例として説明したが、その他、差分二乗和等を利用したマッチング処理や、ヒストグラムマッチング、テンプレートマッチングなど、帯域リファレンスマップと最も類似する領域が特定できれば、どのような処理であってもよい。
【０２２０】
図１５のフローチャートの説明に戻り、ステップＳ３４において、信頼度指標算出部７６は、信頼度指標算出処理を行って、現フレームの帯域特徴量マップについての信頼度指標（帯域信頼度指標）を算出し、被写体マップ生成部７１に供給する。
【０２２１】
ここで、図２０のフローチャートを参照して、ステップＳ３４の処理に対応する信頼度指標算出処理の詳細について説明する。
【０２２２】
ステップＳ５１において、類似度算出部１７１は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての最大類似領域ＭＥＲｍｎと前フレームの帯域リファレンスマップＲＦＲｍｎとの類似度ＬＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を算出し、最大類似度決定部１７２に供給する。
【０２２３】
ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、類似度ＬＲｍｎは、図１９で示された差分絶対値和ＳＡＤにおける最小値（ピーク値）をＳＡＤｍｉｎとすると、最小値ＳＡＤｍｉｎが小さいほど、大きくなるように与えられる。具体的には、例えば、類似度ＬＲｍｎは、帯域特徴量マップの差分絶対値和の最小値の逆数１／ＳＡＤｍｉｎで与えられる。
【０２２４】
ステップＳ５２において、最大類似度決定部１７２は、類似度算出部１７１からの各帯域特徴量マップについての類似度ＬＲｍｎから、Ｍ種類の特徴量毎に、Ｍ個の最大類似度ＭＬＲｍ（但し、１≦ｍ≦Ｍ）を決定し、各帯域特徴量マップについての類似度ＬＲｍｎとともに、類似度正規化部１７３に供給する。
【０２２５】
ステップＳ５３において、類似度正規化部１７３は、最大類似度決定部１７２からのＭ種類の特徴量毎の最大類似度ＭＬＲｍに基づいて、各帯域特徴量マップについての類似度ＬＲｍｎを正規化し、信頼度指標計算部１７７に供給する。具体的には、Ｍ種類の特徴量毎に、各帯域特徴量マップについての類似度ＬＲｍｎを、最大類似度ＭＬＲｍで割った値（ＬＲｍｎ／ＭＬＲｍ）が、正規化された類似度ＳＬＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として、信頼度指標計算部１７７に供給される。なお、正規化された類似度ＳＬＲｍｎは、０＜ＳＬＲｍｎ≦１の値をとる。
【０２２６】
例えば、ｍ＝１の場合については、輝度の帯域特徴量マップＲ１１乃至Ｒ１Ｎについての類似度ＬＲ１１乃至ＬＲ１Ｎを、最大類似度ＭＬＲ１で割った値（ＬＲ１１／ＭＬＲ１）乃至（ＬＲ１Ｎ／ＭＬＲ１）が、Ｎ個の正規化された類似度ＳＬＲ１Ｎとして得られる。同様の処理が、ｍ＝２，…，Ｍのそれぞれについて行われることで、（Ｍ×Ｎ）個の正規化された類似度ＳＬＲｍｎが求められる。
【０２２７】
なお、各帯域特徴量マップについての類似度ＬＲｍｎは、最大類似度ＭＬＲｍによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。
【０２２８】
ステップＳ５４において、先鋭度算出部１７４は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての先鋭度ＴＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を算出し、最大先鋭度決定部１７２に供給する。
【０２２９】
ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、先鋭度ＴＲｍｎは、図１９で示された差分絶対値和ＳＡＤにおける最小値ＳＡＤｍｉｎと、最大類似領域を含む近傍領域の差分絶対値和の平均値ＳＡＤａｖｅとの差（ＳＡＤａｖｅ−ＳＡＤｍｉｎ）で与えられる。この先鋭度ＴＲｍｎが大きいほど、図１９で示された差分絶対値和ＳＡＤは、最小値をとる領域においてより尖った形状を示し、先鋭度ＴＲｍｎが小さいほど、鈍った形状を示す。
【０２３０】
ステップＳ５５において、最大先鋭度決定部１７２は、先鋭度算出部１７４からの各帯域特徴量マップについての先鋭度ＴＲｍｎから、Ｍ種類の特徴量毎に、Ｍ個の最大先鋭度ＭＴＲｍ（但し、１≦ｍ≦Ｍ）を決定し、各帯域特徴量マップについての先鋭度ＴＲｍｎとともに、先鋭度正規化部１７６に供給する。
【０２３１】
ステップＳ５６において、先鋭度正規化部１７６は、最大先鋭度決定部１７５からのＭ種類の特徴量毎の最大先鋭度ＭＴＲｍに基づいて、各帯域特徴量マップについての先鋭度ＴＲｍｎを正規化し、信頼度指標計算部１７７に供給する。具体的には、Ｍ種類の特徴量毎に、各帯域特徴量マップについての先鋭度ＴＲｍｎを、最大先鋭度ＭＴＲｍで割った値ＴＲｍｎ／ＭＴＲｍ）が、正規化された先鋭度ＳＴＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として、信頼度指標計算部１７７に供給される。なお、正規化された先鋭度ＳＴＲｍｎは、０＜ＳＴＲｍｎ≦１の値をとる。
【０２３２】
例えば、ｍ＝１の場合については、帯域特徴量マップＲ１１乃至Ｒ１Ｎについての先鋭度ＴＲ１１乃至ＴＲ１Ｎを、最大先鋭度ＭＴＲ１で割った値ＴＲ１１／ＭＴＲ１乃至ＴＲ１Ｎ／ＭＴＲ１が、Ｎ個の正規化された先鋭度ＳＴＲ１Ｎとして得られる。同様の処理を、ｍ＝２，…，Ｍのそれぞれについて行うことで、（Ｍ×Ｎ）個の正規化された先鋭度ＳＴＲｍｎが求められる。
【０２３３】
なお、各帯域特徴量マップについての先鋭度ＴＲｍｎは、最大先鋭度ＭＴＲｍによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。
【０２３４】
ステップＳ５７において、信頼度指標計算部１７７は、類似度正規化部１７３からの正規化された類似度ＳＬＲｍｎ、および、先鋭度正規化部１７６からの正規化された先鋭度ＳＴＲｍｎに基づいて、各帯域特徴量マップについての帯域信頼度指標ｓｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を計算する。帯域信頼度指標ｓｍｎは、正規化された類似度ＳＬｍｎ、および、正規化された先鋭度ＳＴＲｍｎを用いて、以下の式（１）のように与えられる。
【０２３５】
ｓｍｎ＝ｆ（ＳＬｍｎ，ＴＬｍｎ） ・・・（１）
【０２３６】
ここで、式（１）において、ｆ（Ａ，Ｂ）は、値Ａ，Ｂの関数であることを示している。具体的には、例えば、帯域信頼度指標ｓｍｎは、以下の式（２）で与えられる。
【０２３７】
ｓｍｎ＝αＳＬｍｎ＋βＴＬｍｎｎ ・・・（２）
【０２３８】
なお、式（２）において、値α，βは、予め定められた値とする。
【０２３９】
式（２）によれば、類似度と先鋭度が大きいほど、帯域信頼度指標ｓｍｎは大きい値をとる。すなわち、図１９で示された差分絶対値和ＳＡＤにおいて、最小値ＳＡＤｍｉｎが小さく、かつ、最小値をとる領域においてより尖った形状をしているほど、帯域信頼度指標ｓｍｎは大きい値をとる。
【０２４０】
一方、図２１に示される帯域特徴量マップの差分絶対値和ＳＡＤ’において、最小値は、図１９の差分絶対値和の最小値と比較して小さい値を示しているが、最小値をとる領域においては鈍った形状をしている。すなわち、類似度は大きいが、先鋭度は小さいので、帯域信頼度指標ｓｍｎは小さい値となる。
【０２４１】
このようにして、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての、（Ｍ×Ｎ）個の帯域信頼度指標ｓｍｎが求められ、帯域信頼度指標群ＳＲとして、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給される。
【０２４２】
なお、帯域信頼度指標ｓｍｎを決定する値αおよびβは、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎ毎に同じ値とされてもよいし、特徴毎や帯域毎に異なる値とされてもよい。
【０２４３】
図１５のフローチャートの説明に戻り、ステップＳ３５において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ合成処理を行って、図１６に示されるように、帯域特徴量マップ生成部１１２からの帯域特徴量マップＲｍｎから、信頼度指標算出部７６からの帯域信頼度指標群ＳＲに基づいて、合成特徴量マップＣｍを生成し、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０２４４】
ここで、図２２のフローチャートを参照して、ステップＳ３５の処理に対応する帯域特徴量マップ合成処理の詳細について説明する。帯域特徴量マップ合成処理は、Ｍ種類の特徴量それぞれについて実行される。
【０２４５】
ステップＳ７１において、候補マップ決定部１２１は、帯域特徴量マップ生成部１１２からの帯域特徴量マップＲｍｎのうち、信頼度指標算出部７６からの帯域信頼度指標ｓｍｎが所定の閾値より大きい帯域特徴量マップを、候補マップ（帯域候補マップ）に決定する。候補マップ決定部１２１は、決定した帯域候補マップをマップ間最大値選択部１２２に供給する。
【０２４６】
具体的には、例えば、図２３に示されるように、輝度の帯域特徴量マップＲ１１乃至Ｒ１Ｎのうち、帯域信頼度指標ｓ１１乃至ｓ１Ｎが所定の閾値より大きい帯域特徴量マップＲ１ｊ，…，Ｒ１ｋが帯域候補マップに決定される。
【０２４７】
ステップＳ７２において、マップ間最大値選択部１２２は、候補マップ決定部１２１からの帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量（画素値）の最大値を選択し、これを全画素について行う。
【０２４８】
具体的には、マップ間最大値選択部１２２は、図２３に示された帯域候補マップＲ１ｊ，…，Ｒ１ｋについて、各帯域候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。
【０２４９】
ステップＳ７３において、合成特徴量マップ生成部１２３は、マップ間最大値選択部１２２によって選択された、各画素についての帯域候補マップ間の画素値の最大値に基づいて、合成特徴量マップを生成する。
【０２５０】
具体的には、図２３に示された帯域候補マップＲ１ｊ，…，Ｒ１ｋの画素毎の画素値の最大値が、全画素について合成される（各画素の画素値として採用される）ことで、合成特徴量マップＣｍが生成され、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給される。
【０２５１】
このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップＣｍを生成する。なお、より詳細には、各合成特徴量マップは、画素の画素値が、例えば０から２５５までの間の値となるように正規化される。また、１回目の被写体マップ生成処理においては、帯域信頼度指標群ＳＲの各帯域信頼度指標ｓｍｎは全て１とされ、特徴量毎の各帯域特徴量マップについて、画素毎の最大値が選択される。
【０２５２】
図１５のフローチャートの説明に戻り、ステップＳ３６において、マッチング処理部７５は、帯域特徴量マップ合成部１１３から供給された合成特徴量マップＣｍ（但し、１≦ｍ≦Ｍ）と、メモリ８１に記録されている合成リファレンスマップＲＦＣｍ（但し、１≦ｍ≦Ｍ）とのマッチング処理を行う。
【０２５３】
ここで、合成特徴量マップＣｍのマッチング処理では、帯域特徴量マップのマッチング処理と同様の処理が行われる。
【０２５４】
すなわち、例えば、マッチング処理部７５は、合成特徴量マップＣｍ上の処理対象となる領域ＥＣｍ（但し、１≦ｍ≦Ｍ）の位置をずらしながら、領域ＥＣｍと合成リファレンスマップＲＦＣｍとの画素の画素値の差分絶対値和を求める。そして、マッチング処理部７５は、合成特徴量マップＣｍの各領域ＥＣｍのうち、合成リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域ＭＥＣｍ（但し、１≦ｍ≦Ｍ）とする。マッチング処理部７５は、最大類似領域ＭＥＣｍの位置を示す情報と、合成特徴量マップＣｍの各領域ＥＣｍについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部７６に供給する。
【０２５５】
ステップＳ３７において、信頼度指標算出部７６は、信頼度指標算出処理を行って、現フレームの合成特徴量マップについての信頼度指標（合成信頼度指標）を算出し、被写体マップ生成部７１に供給する。
【０２５６】
ここで、合成特徴量マップの信頼度指標算出処理は、図２０のフローチャートを参照して説明した帯域特徴量マップの信頼度指標算出処理と基本的に同様の処理が行われるので、その詳細な説明は省略する。
【０２５７】
すなわち、帯域特徴量マップの信頼度指標算出処理においては、まず、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームのＭ個の合成特徴量マップＣｍについての最大類似領域ＭＥＣｍと前フレームのリファレンスマップとの類似度ＬＣｍ（但し、１≦ｍ≦Ｍ）が算出される。次に、各合成特徴量マップについての類似度ＬＣｍから、最大類似度ＭＬＣｍを決定し、これに基づいて、Ｍ個の正規化された類似度ＳＬＣｍが求められる。
【０２５８】
一方、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームのＭ個の合成特徴量マップＣｍについての先鋭度ＴＣｍ（但し、１≦ｍ≦Ｍ）が算出される。次に、各合成特徴量マップについての先鋭度ＴＣｍから、最大先鋭度ＭＴＣｍを決定し、これに基づいて、Ｍ個の正規化された先鋭度ＳＴＣｍが求められる。
【０２５９】
そして、正規化された類似度ＳＬＣｍおよび正規化された先鋭度ＳＴＣｍに基づいて、各合成特徴量マップについての合成信頼度指標ｓｍ（但し、１≦ｍ≦Ｍ）が求められる。
【０２６０】
このようにして、Ｍ個の合成特徴量マップについての、Ｍ個の合成信頼度指標ｓｍが求められ、合成信頼度指標群ＳＣとして、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給される。
【０２６１】
ステップＳ３８において、合成特徴量マップ合成部１１４は、合成特徴量マップ合成処理を行って、図１６に示されるように、帯域特徴量マップ合成部１１３からの合成特徴量マップＣｍから、信頼度指標算出部７６からの合成信頼度指標群ＳＣに基づいて、被写体マップ２０１を生成し、被写体候補領域矩形化部７２に供給する。
【０２６２】
ここで、図２４のフローチャートを参照して、ステップＳ３８の処理に対応する合成特徴量マップ合成処理の詳細について説明する。
【０２６３】
ステップＳ９１において、候補マップ決定部１２４は、帯域特徴量マップ合成部１１３からの合成特徴量マップＣｍのうち、信頼度指標算出部７６からの合成信頼度指標ｓｍが所定の閾値より大きい合成特徴量マップを、候補マップ（合成候補マップ）に決定する。候補マップ決定部１２４は、決定した合成候補マップをマップ間最大値選択部１２５に供給する。
【０２６４】
具体的には、例えば、図２５に示されるように、Ｍ個の合成特徴量マップＣ１乃至ＣＭのうち、合成信頼度指標ｓ１乃至ｓＭが所定の閾値より大きい合成特徴量マップＣ１，Ｃ３，Ｃ４，…が合成候補マップに決定される。
【０２６５】
ステップＳ９２において、マップ間最大値選択部１２５は、候補マップ決定部１２４からの合成候補マップについて、画素毎に、合成候補マップ間の特徴量（画素値）の最大値を選択し、これを全画素について行う。
【０２６６】
具体的には、マップ間最大値選択部１２５は、図２５に示された合成候補マップＣ１，Ｃ３，Ｃ４，…について、各合成候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。
【０２６７】
ステップＳ９３において、被写体マップ生成部１２６は、マップ間最大値選択部１２５によって選択された、各画素についての合成候補マップ間の画素値の最大値に基づいて、被写体マップを生成する。
【０２６８】
具体的には、図２５に示された合成候補マップＣ１，Ｃ３，Ｃ４，…の画素毎の画素値の最大値が、全画素について合成される（各画素の画素値として採用される）ことで、被写体マップ２０１が生成され、被写体候補領域矩形化部７２に供給される。
【０２６９】
このようにして求められた被写体マップの各画素の画素値は、例えば０から２５５までの間の値となるように正規化されて、最終的な被写体マップとされる。
【０２７０】
なお、１回目の被写体マップ生成処理においては、合成信頼度指標群ＳＣの各合成信頼度指標ｓｍは全て１とされ、各合成特徴量マップについて、画素毎の最大値が選択される。
【０２７１】
被写体マップが生成されると、被写体マップ生成処理は終了し、その後、処理は、図１４のステップＳ１２に進む。
【０２７２】
図１４のフローチャートの説明に戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行って、被写体マップ生成部７１から供給された被写体マップ上の被写体候補領域を決定する。
【０２７３】
ここで、図２６および図２７を参照して、被写体候補領域矩形化処理の詳細について説明する。図２６は、被写体候補領域矩形化処理について説明するフローチャートであり、図２７は、被写体候補領域矩形化処理の具体例を示す図である。
【０２７４】
図２６のフローチャートのステップＳ１５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、合成特徴量マップ合成部１１４から供給された被写体マップの各画素の画素値を閾値処理により２値化し、ラベリング処理部１３２に供給する。
【０２７５】
より具体的には、２値化処理部１３１は、図２７に示すように、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値「１２７」より小さい値の画素値を０とし、閾値「１２７」より大きい値の画素値を１とする。
【０２７６】
これにより、図２７の上から２番目に示される２値化マップ２０２が得られる。図２７で示される２値化マップ２０２は、２値化された被写体マップであり、２値化マップ２０２においては、白で示される部分が、画素値が１である画素を示しており、黒で示される部分が、画素値が０である画素を示している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。
【０２７７】
ステップＳ１５２において、ラベリング処理部１３２は、２値化処理部１３１からの２値化マップ２０２に対してモルフォロジー演算等を行って、２値化マップ２０２上の被写体の領域を矩形化し、得られた連結領域に対してラベリングを行う。
【０２７８】
すなわち、ラベリング処理部１３２は、２値化マップ２０２（２値化された被写体マップ）において、互いに隣接する、画素値が１である画素からなる連結領域に対してラベリングを行う。例えば、図２７の上から３番目に示されるように、２値化マップ２０２上の連結領域２１１にラベル「１」が付加され、連結領域２１２にラベル「２」が付加される。ラベリング処理部１３２は、ラベリングされた２値化マップ（被写体マップ）を、矩形領域座標算出部１３３に供給する。
【０２７９】
ステップＳ１５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２から供給された２値化マップ２０２上の各連結領域を囲む矩形領域を被写体候補領域とし、被写体候補領域の位置を示す座標情報を生成する。
【０２８０】
具体的には、図２７の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」が付加された連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、被写体候補領域とされる。そして、例えば、その被写体候補領域の図中、左上および右下の頂点の座標が求められ、その座標が座標情報とされる。
【０２８１】
また、ラベル「２」が付加された連結領域２１２を外側から囲む矩形枠２２２が検出されて被写体候補領域とされ、その被写体候補領域の図中、左上および右下の頂点の座標が座標情報として生成される。
【０２８２】
矩形領域座標算出部１３３は、各被写体候補領域の座標情報を生成すると、それらの座標情報を領域情報算出部１３４に供給する。
【０２８３】
ステップＳ１５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、合成特徴量マップ合成部１１４からの被写体マップとを用いて、各被写体候補領域の領域情報を算出する。
【０２８４】
例えば、領域情報算出部１３４は、被写体候補領域のサイズ（大きさ）や、被写体マップにおける被写体候補領域の中心位置の座標を領域情報として算出する。
【０２８５】
また、領域情報算出部１３４は、被写体マップ上の被写体候補領域内の画素の画素値の積分値（総和）や、被写体マップ上の被写体候補領域内の画素の画素値のピーク値（最大値）を、領域情報として算出する。
【０２８６】
領域情報算出部１３４は、各被写体候補領域について領域情報を算出すると、得られた各被写体候補領域の領域情報と座標情報を被写体領域選択部７３に供給し、被写体候補領域矩形化処理は終了する。そして、その後、処理は、図１４のステップＳ１３へと進む。
【０２８７】
図１４のフローチャートの説明に戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行って、被写体候補領域のなかから被写体領域とするものを選択する。
【０２８８】
ここで、図２８のフローチャートを参照して、ステップＳ１３の被写体領域選択処理の詳細について説明する。
【０２８９】
ステップＳ１７１において、領域情報比較部１５１は、領域情報算出部１３４からの各被写体候補領域の領域情報と、領域情報記録部１５３に記録されている１フレーム前の被写体領域の領域情報とを比較する。そして、領域情報比較部１５１は、その比較結果と、領域情報算出部１３４からの各被写体候補領域の座標情報とを、被写体領域決定部１５２に供給する。
【０２９０】
具体的には、例えば、領域情報として、被写体候補領域のサイズが算出された場合、領域情報比較部１５１は、各被写体候補領域のサイズ、つまり被写体候補領域を囲む矩形枠の大きさと、１フレーム前の被写体領域のサイズとを比較する。この場合、例えば、被写体候補領域のサイズと、被写体領域のサイズの差の絶対値が比較結果として得られる。
【０２９１】
また、例えば、領域情報として、被写体候補領域の中心位置の座標が求められ、その中心位置の座標と、１フレーム前の被写体領域の中心位置の座標が比較された場合、それらの中心位置間の距離が、比較結果として得られる。
【０２９２】
さらに、領域情報として、被写体候補領域内の画素の画素値のピーク値や積分値が求められた場合には、それらの被写体候補領域のピーク値や積分値と、１フレーム前の被写体領域のピーク値や積分値との差の絶対値が、比較の結果として得られることになる。
【０２９３】
ステップＳ１７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、被写体候補領域の何れかを、処理対象の現フレームにおける被写体領域として選択する。すなわち、特定の特徴、つまり領域情報を指標とした場合に、現フレームの被写体候補領域のうち、前フレームの被写体領域との相関が最も高い被写体候補領域が、現フレームの被写体領域とされる。
【０２９４】
具体的には、例えば、比較の結果として得られた、被写体領域に対する被写体候補領域のサイズの差、中心位置間の距離、ピーク値の差、積分値の差などの領域情報の差の絶対値が最も小さい被写体候補領域が、被写体領域として選択される。
【０２９５】
また、被写体領域決定部１５２は、現フレームの被写体領域を決定すると、決定された被写体領域の領域情報を、合成処理部６２に供給する。さらに、被写体領域決定部１５２は、その被写体領域の領域情報を領域情報記録部１５３に供給して記録させ、被写体領域選択処理は終了する。そして、その後、処理は図１４のステップＳ１４に進む。
【０２９６】
なお、１回目の被写体領域選択処理においては、領域情報記録部１５３には、１フレーム前の被写体領域の領域情報は記録されていないので、例えば、被写体追尾処理の開始時にユーザによって選択された初期選択領域に最も近い被写体候補領域が被写体領域とされる。
【０２９７】
図１４のフローチャートの説明に戻り、ステップＳ１４において、リファレンスマップ保持部７４は、帯域特徴量マップ生成部１１２から供給された帯域特徴量マップと、被写体領域決定部１５２からの被写体領域の座標情報とを用いて、帯域リファレンスマップを生成する。
【０２９８】
具体的には、リファレンスマップ保持部７４は、図１７を参照して説明したように、現フレームの帯域特徴量マップＲｍｎにおける入力画像上の被写体領域と同じ領域を切り出して、帯域リファレンスマップＲＦＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）とする。リファレンスマップ保持部７４は、生成した帯域リファレンスマップをメモリ８１に供給し、記録させる。この帯域リファレンスマップは、次フレームの帯域信頼度指標の算出に用いられる。
【０２９９】
ステップＳ１５において、リファレンスマップ保持部７４は、帯域特徴量マップ合成部１１３から供給された合成特徴量マップと、被写体領域決定部１５２からの被写体領域の座標情報とを用いて、合成リファレンスマップを生成する。
【０３００】
すなわち、帯域リファレンスマップの生成と同様に、リファレンスマップ保持部７４は、現フレームの合成特徴量マップＣｍにおける入力画像上の被写体領域と同じ領域を切り出して、合成リファレンスマップＲＦＣｍ（但し、１≦ｍ≦Ｍ）とする。リファレンスマップ保持部７４は、生成した合成リファレンスマップをメモリ８１に供給し、記録させる。この合成リファレンスマップは、次フレームの合成信頼度指標の算出に用いられる。
【０３０１】
ステップＳ１５において、合成リファレンスマップが生成されると、その後、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次のフレームについての被写体追尾処理が実行され、この処理が１フレームごとに繰り返される。
【０３０２】
以上の処理によれば、フレーム毎に、そのフレームの各特徴量マップについて、それらのマップにおける前フレームの被写体領域と相関の高い領域が検出され、その検出結果に応じて、マップについての信頼度指標が算出され、信頼度指標の大きい特徴量マップの画素毎の最大値から被写体マップが生成される。
【０３０３】
この被写体マップを用いた被写体の検出では、直前のフレームの被写体領域とより相関の高い領域が、適応的に重要視され続ける。そのため、被写体に照射される光が変化する場合や、被写体の姿勢が変化する場合など、被写体の状態が変動するような環境下でも、最初に指定された領域の特徴量を用いて追尾を行う従来の手法と比べて、被写体をより安定して追尾することができる。
【０３０４】
しかも、被写体マップは、入力画像から抽出された複数の特徴の特徴量から生成されるため、いくつかの特徴の特徴量が大きく変化しても、他の特徴の特徴量の変化が小さければ、十分な精度で被写体を検出することができ、安定した追尾が可能となる。
【０３０５】
また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。
【０３０６】
特に、従来の被写体追尾の手法において、被写体領域内の何れかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、充分な検波精度は得られなかった。
【０３０７】
一方、上述の被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。
【０３０８】
また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録された人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。
【０３０９】
これに対して、上述の被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。
【０３１０】
また、例えば、被写体マップ生成処理の帯域特徴量マップ生成処理において生成された特定の帯域の帯域特徴量マップが、単純な線形結合によって合成されるようにした場合、帯域特徴量マップにおいて、元々減衰されやすい被写体の直流付近の成分（すなわち、テクスチャの少ない領域の特徴量）は、単純な線形結合によってさらに減衰されてしまう。この場合、比較的単純な形状の被写体ほど、その被写体領域の特に中心付近で、特徴量のレベルが出にくい状態に陥りやすく、後段の被写体候補領域矩形化処理の２値化処理において、正確な連結領域が得られなくなるという悪影響を及ぼす恐れがある。
【０３１１】
しかしながら、この被写体追尾処理では、特徴量マップ間の画素のいずれか１つを選択することで、被写体マップを生成するようにしたので、被写体マップの被写体領域において、何らかの特徴量を得ることができる。したがって、比較的単純な形状の被写体であっても、被写体部分で特徴量が出にくい状態を避けることができるので、２値化処理において、正確な連結領域を特定することができ、ひいては、安定した被写体の追尾が可能となる。
【０３１２】
さらに、上述の被写体追尾処理においては、特徴量マップにおける前フレームの被写体領域と相関の高い領域（最大類似領域）を検出し、その検出結果に応じて、特徴量マップについての信頼度指標を求め、この信頼度指標が所定の閾値より大きい特徴量マップ（候補マップ）から被写体マップを生成するようにしたので、信頼度指標が所定の閾値より小さい、すなわち、前フレームの被写体領域と相関の低い特徴量マップを、被写体マップ生成処理から除くことができる。したがって、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性を下げることができ、より正確に被写体を特定することが可能となる。
【０３１３】
また、帯域特徴量マップ合成処理や合成特徴量マップ合成処理において、各特徴量マップについての信頼度指標に対して閾値処理を行うことで、候補マップを決定するようにしたが、信頼度指標に対する閾値処理を、各特徴量マップの画素単位に行うようにして、合成特徴量マップまたは被写体マップに合成される候補である候補画素を決定するようにしてもよい。
【０３１４】
この場合、処理対象の画素が、特徴量マップ上の最大類似領域に含まれるか否かによって閾値を変えるようにする。具体的には、最大類似領域に含まれない画素については、閾値を高く設定することで、信頼度指標が比較的高い特徴量マップの画素であっても、その画素は、被写体領域である可能性が低いので、その画素を候補画素から除くことができる。一方、最大類似領域に含まれる画素については、閾値を低く設定することで、信頼度指標が比較的低い特徴量マップの画素であっても、その画素は、被写体領域である可能性が高いので、その画素を候補画素として採用することができる。このようにして、決定された候補画素から、画素毎の最大値が選択され、最大値となる画素に基づいて合成特徴量マップまたは被写体マップが生成される。これにより、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性をより確実に下げることができ、より一層正確に被写体を特定することが可能となる。
【０３１５】
さらに、帯域特徴量マップ合成処理や合成特徴量マップ合成処理においては、候補マップについて、画素毎に、候補マップ間の特徴量の最大値を選択するようにしたが、最大値に限らず、候補マップ間の画素毎の特徴量において２番目に大きい値や中央値（median）などを選択するようにしてもよい。これにより、被写体領域でないにもかかわらず、外乱により局所的に大きい特徴量を有する画素を除くことができる。
【０３１６】
なお、上述した説明においては、特徴量として、輝度成分、色成分、およびエッジ強度を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。
【０３１７】
また、以上においては、（Ｍ×Ｎ）個の帯域特徴量マップ、およびＭ個の合成特徴量マップのそれぞれについて、信頼度指標を算出するようにしたが、一部のマップ信頼度指標のみを、適宜算出するようにしてもよい。例えば、合成特徴量マップＣ１乃至ＣＭのＭ個の合成特徴量マップの合成信頼度指標のみを算出するようにしてもよい。このような場合、画像処理装置１１における演算量を抑えることができる。
【０３１８】
さらに、以上においては、特徴量マップの差分絶対値和から類似度および先鋭度を算出し、これらに基づいて信頼度指標を算出するようにしたが、マッチング処理において差分絶対値和を利用しない場合には、そのマッチング処理の結果に基づいて、所定の統計学的手法を用いることで、処理対象フレームの特徴量マップ上の最大類似領域の近傍における特徴量の分散の度合を求め、分散の度合が小さいほど大きい値の信頼度指標を算出するようにしてもよい。
【０３１９】
さらに、処理対象の現フレームにおいて、前フレームの被写体領域を含む所定の大きさの領域のみを処理対象領域として、帯域特徴量マップや合成特徴量マップのマッチング処理を行うようにしてもよい。そのような場合、処理対象領域の大きさや位置を、前フレームにおける追尾すべき被写体のサイズ（大きさ）や、被写体の移動速度に応じて変化させれば、より効率よく、かつより確実に相関の高い領域を検出することができる。
【０３２０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３２１】
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３２２】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０３２３】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０３２４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３２６】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０３２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２９】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部
を備える画像処理装置。
（２）
前記被写体のサイズを検出する前記被写体検出部をさらに備え、
前記合成処理部は、前記被写体のサイズに基づいて、前記合成処理を終了する
前記（１）に記載の画像処理装置。
（３）
前記合成処理部は、前記被写体検出部で検出される前記サイズの最大値を保持し、前記被写体検出部で検出される前記サイズが、保持している前記サイズの最大値の所定の比率になったときを判定して、前記合成処理を終了する
前記（２）に記載の画像処理装置。
（４）
前記合成処理部は、前記合成処理として、前記入力画像から求めた前記被写体の差分画像を、前記合成処理を終了するまで逐次加算する加算処理を複数回繰り返す処理を行い、その複数回の前記加算処理のうち、２回目以降の各加算処理においては、最初に前記被写体が検出された前記入力画像から求めた前記差分画像を、それ以前の加算処理における加算結果の画像と加算する
前記（３）に記載の画像処理装置。
（５）
前記被写体検出部は、前記入力画像内の前記被写体の位置も検出し、
前記合成処理部は、前記被写体の領域の画素を加算するとともに、前記被写体の領域の周辺の画素に対しては、スムージング処理を行う
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記合成処理部は、前記入力画像のうちの前記被写体の領域の画素に対して、所定の係数による重み付け加算を行う
前記（５）に記載の画像処理装置。
（７）
前記所定の係数は、検出された前記被写体の色を変化させる係数である
前記（６）に記載の画像処理装置。
（８）
前記入力画像と、それを前記合成処理部で合成処理した後の画像とを同時に表示するように制御する表示制御部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、
前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
ステップを含む画像処理方法。
（１０）
コンピュータに、
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０３３０】
１１ 画像処理装置， ３３ デジタル信号処理部， ３４ 表示制御部， ３５ 表示部， ５４ 画像合成部， ６１ 被写体検出部， ６２ 合成処理部， ６３ バッファ
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および記録媒体に関し、特に、簡単に、多重露光による画像を得ることができるようにする画像処理装置、画像処理方法、および記録媒体に関する。
【背景技術】
【０００２】
従来、銀塩カメラの撮影方法に、同一フィルム上に複数回露光を行い、複数の重なった像を得る多重露光という方法（以下、多重露光撮影という。）がある。多重露光撮影によれば、例えば、ある中心点から円状に広がる花火を撮影した場合に、線状の光跡となるような画像を得ることができる。多重露光撮影を行うには、通常、ユーザは、レンズの前を黒幕などで覆った状態でバルブ（シャッタを長時間開放する長時間露光状態）に設定する。そして、ユーザは、レンズの前の黒幕を所定時間だけ取り除き、再びレンズ前を黒幕で覆う動作を複数回繰り返すことにより、多重露光の画像を得ることができる。
【０００３】
デジタルカメラにおいても、シャッタを長時間開放状態にするバルブ撮影機能を備えているものはある。また、デジタルカメラで多重露光の画像を得るための技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３２３４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、バルブ撮影機能は、上級者向けの高機能のデジタルカメラなどに限られており、いわゆるコンパクトデジタルカメラで多重露光撮影を行うのは難しい。
【０００６】
また、デジタルカメラにバルブ撮影機能があっても、プロカメラマンが撮影するような最適なシャッタタイミングで、ユーザが撮影するのは難しい。シャッタタイミングが適切でないと、例えば、上述した花火の撮影の例では、光跡が途中で切れてしまったり、逆に、途中から光跡が始まったり、あるいは、光跡が点々になったりするような画像になる。
【０００７】
画像編集アプリケーションを用いて、パーソナルコンピュータ上で、後処理として、デジタルカメラで短時間に撮影した複数枚の撮影画像を合成する方法もあるが、作業が非常に面倒である。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、簡単に、多重露光による画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部を備える。
【００１０】
本技術の一側面の画像処理方法は、入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了するステップを含む。
【００１１】
本技術の一側面の記録媒体に記録されたプログラムは、コンピュータに、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する処理を実行させるためのものである。
【００１２】
本技術の一側面においては、入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理が行われ、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理が終了される。
【００１３】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１４】
本技術の一側面によれば、簡単に、多重露光による画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本技術が適用された画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】画像合成部の構成例を示すブロック図である。
【図３】合成処理部による合成処理について説明する図である。
【図４】多重露光撮影処理について説明するフローチャートである。
【図５】連発撮影の多重露光撮影処理について説明する図である。
【図６】連発撮影の多重露光撮影処理について説明するフローチャートである。
【図７】被写体追尾部の構成例を示すブロック図である。
【図８】被写体マップ生成部の構成例を示すブロック図である。
【図９】帯域特徴量マップ合成部の構成例を示すブロック図である。
【図１０】合成特徴量マップ合成部の構成例を示すブロック図である。
【図１１】被写体候補領域矩形化部の構成例を示すブロック図である。
【図１２】被写体領域選択部の構成例を示すブロック図である。
【図１３】信頼度指標算出部の構成例を示すブロック図である。
【図１４】被写体追尾処理について説明するフローチャートである。
【図１５】被写体マップ生成処理について説明するフローチャートである。
【図１６】被写体マップ生成処理の具体例を示す図である。
【図１７】リファレンスマップについて説明する図である。
【図１８】マッチング処理について説明する図である。
【図１９】マッチング処理の結果の例を示す図である。
【図２０】信頼度指標算出処理について説明するフローチャートである。
【図２１】マッチング処理の結果の他の例を示す図である。
【図２２】帯域特徴量マップ合成処理について説明するフローチャートである。
【図２３】帯域特徴量マップ合成処理の具体例を示す図である。
【図２４】合成特徴量マップ合成処理について説明するフローチャートである。
【図２５】合成特徴量マップ合成処理の具体例を示す図である。
【図２６】被写体候補領域矩形化処理について説明するフローチャートである。
【図２７】被写体候補領域矩形化処理の具体例について説明する図である。
【図２８】被写体領域選択処理について説明するフローチャートである。
【図２９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００１７】
図１の画像処理装置１１は、被写体を撮影して得られる撮影画像を表示し、記録する通常の撮影機能（通常撮影モード）の他、連続撮影により得られる複数の撮影画像を合成した多重露光画像を簡単に生成する多重露光機能（多重露光撮影モード）を備える。この画像処理装置１１は、例えば、デジタルビデオカメラや、デジタルスチルカメラなどの撮像装置の一部として組み込まれる。
【００１８】
画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、表示制御部３４、表示部３５、エンコード処理部３６、記録部３７、レンズ駆動部３８、制御部３９、インタフェース制御部４０、およびユーザインタフェース４１から構成される。
【００１９】
光学系３１は、図示せぬ撮像レンズを含む光学系などからなり、光学系３１に入射された光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２に入射される。イメージャ３２は、光学系３１から入射された光を光電変換することで、被写体を撮像する。撮像により得られたアナログの電気信号（撮像信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタルの画像データに変換され、デジタル信号処理部３３に供給される。
【００２０】
デジタル信号処理部３３は、DSP（Digital Signal Processor）などで構成され、イメージャ３２からの画像データに対して所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、解像度変換部５３、画像合成部５４、およびYC生成部５５を少なくとも備えている。
【００２１】
前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。
【００２２】
解像度変換部５３および画像合成部５４は、デモザイク処理後の撮影画像に対して、必要に応じて所定の画像処理を施す。
【００２３】
解像度変換部５３は、ユーザインタフェース４１においてユーザにより設定（指定）された所定の解像度に変換する解像度変換処理を施す。
【００２４】
画像合成部５４は、ユーザによって多重露光撮影モードが選択されている場合に、複数の撮影画像を合成（多重）することにより、多重露光画像を生成する画像合成処理を実行する。
【００２５】
YC生成部５５は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）するYC生成処理を行う。解像度変換部５３や画像合成部５４において所定の画像処理が実行された場合には、処理後の画像データに対してYC生成処理を行う。
【００２６】
表示制御部３４は、デジタル信号処理部３３から供給されるデジタルの画像データを、アナログの画像信号にD/A変換し、表示部３５に表示させる。表示部３５は、表示制御部３４の制御に従い、表示制御部３４から供給された画像などを表示する。表示部３５としては、例えば、LCD(Liquid Crystal Display)などを採用することができる。
【００２７】
エンコード処理部３６は、デジタル信号処理部３３から供給される画像データを所定の符号化形式により符号化し、その結果得られる画像符号化データを記録部３７に供給する。
【００２８】
記録部３７は、例えば、ハードディスクや不揮発性のメモリなどの記録媒体を有し、エンコード処理部３６から供給される画像符号化データを記録媒体に記録させる。
【００２９】
レンズ駆動部３８は、制御部３９の制御に基づいて、光学系３１内のモータを駆動制御して、撮像レンズを駆動する。
【００３０】
制御部３９は、インタフェース制御部４０から供給される制御信号に応じて、画像処理装置１１の各部を制御する。
【００３１】
例えば、制御部３９は、デジタル信号処理部３３に、ユーザが指定した動作モードに対応する処理パラメータ等を供給する。また、制御部３９は、光学系３１内の撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３８に供給する。さらに制御部３９は、イメージャ３２による撮像も制御する。
【００３２】
ユーザインタフェース４１は、ボタンやスイッチ等の入力装置、マイクロホン等の出力装置などから構成される。ユーザインタフェース４１は、ユーザが画像処理装置１１に対して、撮像の開始または終了、動作モードの変更、設定値の変更などの指示を入力するときに操作される。なお、表示部３５の画面の上に静電式等のタッチパネル等の入力デバイスが構成され、ユーザが指等で表示部３５の画面をタッチすることで入力が可能な構成とされている場合には、その入力デバイスもユーザインタフェース４１に含まれる。
【００３３】
画像処理装置１１は以上のように構成される。
【００３４】
［画像合成部の構成例］
図２は、多重露光撮影モードにおいて、多重露光画像を生成する画像合成部５４の機能的構成例を示すブロック図である。
【００３５】
画像合成部５４は、被写体検出部６１、合成処理部６２、および、バッファ６３により構成される。画像合成部５４には、入力画像として、デモザイク処理後の撮影画像が、デモザイク処理部５２から供給され、被写体検出部６１と合成処理部６２に供給される。
【００３６】
被写体検出部６１は、入力画像としてのデモザイク処理後の撮影画像から被写体を検出し、追尾する被写体追尾処理を実行する。被写体検出部６１は、被写体追尾処理の結果得られた、入力画像内の被写体が含まれている領域（被写体領域）についての領域情報を合成処理部６２に出力する。本実施の形態において、被写体検出部６１から合成処理部６２に出力される被写体の領域情報は、入力画像内で検出された被写体を矩形領域で囲んだときの矩形領域のサイズの情報であるとする。なお、被写体の領域情報としては、その他、例えば、被写体を囲んだ矩形領域の位置（重心位置や中心位置）をさらに出力してもよい。また、被写体領域の検出方法は、既知の様々な手法を採用することができ、特定の手法に限定されるものではない。被写体領域の検出手法の一例については、図７以降で後述する。
【００３７】
合成処理部６２は、被写体検出部６１からの被写体の領域情報に基づいて、デモザイク処理部５２から順次供給される入力画像を合成処理することにより、合成画像を生成する。具体的には、合成処理部６２は、デモザイク処理部５２から、第ｐフレーム（p＞0）の入力画像N(p)が供給されたとき、以下の処理を行うことにより、第ｐフレームの合成画像G(p)を生成する。
（１）入力画像N(p)−合成画像G(p-1)＝差分画像D(p)
（２）合成画像G(p-1)＋差分画像D(p)＝合成画像G(p)
ここで、第ｐフレームを示すフレームカウントｐは、デモザイク処理部５２から画像合成部５４（の合成処理部６２）に入力されたフレーム数ではなく、被写体検出部６１において最初に被写体が検出されたときを第１フレームとして数えたときの入力画像のフレーム数を意味する。
【００３８】
合成処理部６２は、初めに、被写体が検出された第ｐフレームの入力画像N(p)と第ｐ−１フレームの合成画像G(p-1)の、対応する画素どうしの差分を計算した差分画像D(p)を計算する。次に、合成処理部６２は、得られた差分画像D(p)と第ｐ−１フレームの合成画像G(p-1)の、対応する画素どうしを加算し、その結果得られる画像を、第ｐフレームの合成画像G(p)とする。
【００３９】
合成処理部６２により順次生成される合成画像G(p)は、入力画像N(p)とともに表示制御部３４に出力されるとともに、次に入力される入力画像N(p+1)の合成処理のために、バッファ６３にも供給される。バッファ６３は、第ｐフレームにおける合成処理の処理結果である合成画像G(p)を、次のフレームの合成処理のために一時記憶する。なお、バッファ６３は、合成処理部６２の一部として構成されていてもよい。
【００４０】
また、合成処理部６２は、入力画像の合成処理を終了する場合、最後に合成処理されて得られた合成画像G(p)を、保存画像Goutとしてエンコード処理部３６に出力する。エンコード処理部３６は、合成処理部６２から供給される保存画像Goutの画像データを所定の符号化形式で符号化し、記録部３７に記録させる。
【００４１】
図３を参照して、合成処理部６２による合成画像G(p)の生成についてさらに説明する。
【００４２】
被写体検出部６１で最初に被写体が検出された撮影画像である第１フレームの入力画像N(1)が、合成処理部６２に供給される。このとき、それ以前の合成画像G(0)が存在しないので、入力画像N(1)が、そのまま、差分画像D(1)となり、さらにそれが、そのまま合成画像G(1)となる。すなわち、第１フレームの入力画像N(1)における合成処理の結果得られる合成画像G(1)は、第１フレームの入力画像N(1)に等しい。
【００４３】
次に、第２フレームの入力画像N(2)が合成処理部６２に供給されると、合成処理部６２は、第２フレームの入力画像N(2)から、第１フレームまでの合成画像G(1)を減算し、差分画像D(2)を算出する。そして、合成処理部６２は、第１フレームまでの合成画像G(1)に、いま算出した差分画像D(2)を加算し、第２フレームまでの合成画像G(2)を生成する。
【００４４】
第３フレームの入力画像N(3)が合成処理部６２に供給されると、合成処理部６２は、第３フレームの入力画像N(3)から、第２フレームまでの合成画像G(2)を減算し、差分画像D(3)を算出する。そして、合成処理部６２は、第２フレームまでの合成画像G(2)に、いま算出した差分画像D(3)を加算し、第３フレームまでの合成画像G(3)を生成する。
【００４５】
そして、第ｐフレームの入力画像N(p)が合成処理部６２に供給されると、合成処理部６２は、第ｐフレームの入力画像N(p)から、第ｐ−１フレームまでの合成画像G(p-1)を減算し、差分画像D(p)を算出する。そして、合成処理部６２は、第ｐ−１フレームまでの合成画像G(p-1)に、いま算出した差分画像D(p)を加算し、第ｐフレームまでの合成画像G(p)を生成する。
【００４６】
合成処理部６２は、以上のように、順次入力される入力画像N(1)ないしN(p)を用いたフレーム加算処理を行うことにより、合成画像G(1)ないしG(p)を生成する。
【００４７】
デモザイク処理部５２から入力画像が供給されるたびに生成される合成画像G(1)ないしG(p)は、表示制御部３４に出力され、表示部３５に表示される。これにより、ユーザは、多重露光画像の生成過程の画像を表示部３５で確認することができる。
【００４８】
そして、例えば、第ｐフレームの入力画像N(p)において、合成処理を終了する所定の終了条件が満たされた場合、合成処理部６２は、第ｐフレームの入力画像N(p)による合成処理結果である合成画像G(p)を、保存画像Goutとして、エンコード処理部３６に出力する。これにより、ユーザの多重露光撮影による撮影結果である多重露光画像が、所定の符号化形式で符号化され、記録部３７に保存される。
【００４９】
［多重露光撮影処理］
次に、図４のフローチャートを参照して、画像処理装置１１の多重露光撮影処理について説明する。この処理は、例えば、画像処理装置１１において、ユーザが撮影モードを、通常撮影モードから多重露光撮影モードに変更したとき、あるいは、多重露光撮影モードに撮影モードを変更後、撮影開始の操作がユーザによりなされたときに開始される。
【００５０】
初めに、ステップＳ２０１において、画像合成部５４の被写体検出部６１は、入力画像としてデモザイク処理部５２から供給された、デモザイク処理後の撮影画像に対して、被写体を検出し、追尾する被写体追尾処理を開始する。これ以降、被写体検出部６１は、入力画像に対して被写体を検出し、追尾する被写体追尾処理を逐次実行し、被写体の領域情報を合成処理部６２に供給する。なお、被写体が検出できない場合には、被写体の領域情報は合成処理部６２に供給されない。
【００５１】
ステップＳ２０２において、合成処理部６２は、最初に被写体が検出された入力画像を第１フレームとして、画像合成部５４に入力される入力画像を数えるための変数であるフレームカウントｐに１をセットする。
【００５２】
ステップＳ２０３において、合成処理部６２は、被写体の領域情報が供給されたかを判定する。上述したように、被写体追尾処理により被写体が検出された場合、検出された被写体を矩形領域で囲んだときの矩形領域のサイズが、被写体の領域情報として、被写体検出部６１から、合成処理部６２に供給される。したがって、ステップＳ２０３では、被写体のサイズが、被写体検出部６１から供給されたか否かが判定され、被写体のサイズが供給されるまで、ステップＳ２０３の処理が繰り返される。
【００５３】
そして、ステップＳ２０３で、被写体の領域情報が供給されたと判定された場合、すなわち、被写体検出部６１から被写体のサイズが供給された場合、処理はステップＳ２０４に進む。
【００５４】
ステップＳ２０４において、合成処理部６２は、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいかを判定する。なお、被写体サイズの最大値SIZEMAXは、次のステップＳ２０５の処理で保持される、これまでに検出された被写体サイズの最大値を記憶する変数である。フレームカウントｐが１である場合、すなわち、第１フレームの入力画像N(1)において、１つ前のフレームの入力画像で検出された被写体が存在しない場合は、ステップＳ２０４では大きいと判定される。
【００５５】
ステップＳ２０４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいと判定された場合、処理はステップＳ２０５に進む。ステップＳ２０５において、合成処理部６２は、被写体サイズの最大値SIZEMAXを、第ｐフレームの入力画像N(p)で検出された被写体のサイズで更新し、バッファ６３に保持する。
【００５６】
ステップＳ２０６において、合成処理部６２は、第ｐフレームの差分画像D(p)と第ｐ−１フレームまでの合成画像G(p-1)から、第ｐフレームにおける合成画像G(p)を生成する。具体的には、合成処理部６２は、初めに、第ｐフレームの入力画像N(p)と第ｐ−１フレームの合成画像G(p-1)とから、差分画像D(p)を算出する。次に、合成処理部６２は、算出された差分画像D(p)と、第ｐ−１フレームまでの合成画像G(p-1)をフレーム加算することで、第ｐフレームの合成画像G(p)を生成する。
【００５７】
ステップＳ２０７において、合成処理部６２は、生成した第ｐフレームの合成画像G(p)を、第ｐフレームの入力画像N(p)とともに表示制御部３４に出力する。その結果、表示制御部３４により、第ｐフレームの合成画像G(p)と、第ｐフレームの入力画像N(p)が、表示部３５において、例えば、同サイズで横方向に並んで同時に表示される。これにより、ユーザは、撮影中のスルー画像である入力画像N(p)と、多重露光撮影による画像である合成画像G(p)の両方を同時に見ることができる。
【００５８】
ステップＳ２０７の後、処理はステップＳ２０８に進み、フレームカウントｐが１だけインクリメントされた後、処理がステップＳ２０３に戻される。
【００５９】
一方、上述したステップＳ２０４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAX以下であると判定された場合、処理はステップＳ２０９に進む。
【００６０】
ステップＳ２０９において、合成処理部６２は、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している被写体サイズの最大値SIZEMAXの所定比率以下のサイズであるかを判定する。すなわち、ステップＳ２０９では、順次、検出される被写体のサイズが、最大値SIZEMAXよりも所定の比率だけ小さくなったか否かが判定される。ここで、検出される被写体のサイズが小さくなったか否かを判定する比率は、例えば、０．８（８０％）、換言すれば、最大値SIZEMAXからの被写体サイズの減少率が２０％以上などとすることができる。
【００６１】
ステップＳ２０９で、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している最大値SIZEMAXの所定比率以下のサイズではないと判定された場合、処理は、上述したステップＳ２０６に進む。
【００６２】
一方、ステップＳ２０９で、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している最大値SIZEMAXの所定比率以下のサイズであると判定された場合、処理はステップＳ２１０に進む。
【００６３】
ステップＳ２１０において、合成処理部６２は、第ｐフレームの合成画像G(p)と入力画像N(p)を、表示制御部３４に出力するとともに、第ｐフレームの合成画像G(p)を、保存画像Goutとしてエンコード処理部３６に出力する。これにより、第ｐフレームの合成画像G(p)と入力画像N(p)が表示部３５に表示されるとともに、多重露光撮影の撮影結果としての保存画像Goutが、記録部３７に保存されて、多重露光撮影処理が終了する。
【００６４】
以上の多重露光撮影処理によれば、所定の被写体が検出された第ｐフレームの入力画像N(p)と、その１フレーム前までの合成画像G(p-1)との差分画像D(p)を算出して、加算する処理（合成処理）が繰り返される。そして、検出される被写体サイズが、それまでに検出された被写体サイズの最大値SIZEMAXの所定比率以下のサイズになったときを、入力画像において被写体が検出できなくなったと判定して、差分画像D(p)の加算処理が終了される。
【００６５】
この多重露光撮影処理によれば、ユーザは、撮影モードを多重露光撮影モードに変更し、撮影を開始させるだけで、合成処理部６２が、被写体検出部６１の検出結果に基づいて、入力画像の合成処理の開始および終了を判定し、実行する。したがって、ユーザ自身がシャッタタイミングを決定、指示する必要がなく、適切なシャッタタイミングによる、多重露光画像を得ることができる。また、従来の多重露光撮影では必要とされていた暗幕やレリーズケーブルなどの道具を使用することなく撮影することも可能である。すなわち、画像合成部５４の多重露光撮影処理によれば、簡単に、多重露光による画像を得ることができる。
【００６６】
［多重露光撮影処理のその他の例］
多重露光機能は、花火の撮影で利用されることが多い。花火の撮影では、連続して打ち上げられた複数の花火を１枚の画像として得たい場合もある。そのため、画像処理装置１１の多重露光撮影モードでは、連続して打ち上げられる複数の花火を１枚の画像として撮影することもできる。
【００６７】
図５を参照して、連続して打ち上げられる複数の花火を１枚の画像として得る、連発撮影の多重露光撮影処理について説明する。
【００６８】
撮影する複数の花火のうち、第１発目の花火を撮影する処理は、図３を参照して説明した単発撮影の多重露光撮影処理と同様に行われる。ただし、検出対象の被写体である第１発目の花火が検出できなくなったと判定されたときに、第１発目の花火を多重露光した保存画像Goutが、エンコード処理部３６に出力されるのではなく、バッファ６３に一時保存される。その後、バッファ６３に一時記憶されている、被写体サイズの最大値SIZEMAX、フレームカウントｐ、および、合成画像G(p)は、合成処理部６２によってリセットされる。
【００６９】
そして、入力画像から、最初に、第２発目の花火が検出されたとき、すなわち、第２発目の花火の第１フレームの入力画像N(1)が、合成処理部６２に供給されたとき、合成処理部６２は、図５に示されるように、入力画像N(1)を、そのまま、差分画像D(1)とする。この処理は、第１発目の花火の第１フレームのときと同様である。
【００７０】
次に、合成処理部６２は、バッファ６３に一時記憶されている、第１発目の花火の合成画像である保存画像Goutに、いま算出した差分画像D(1)を加算し、第２フレームまでの合成画像G(1)を生成する。すなわち、第２発目の花火を最初に検出した第１フレームでは、合成処理部６２は、算出した差分画像D(1)を、第１発目の花火の保存画像Goutと加算する。
【００７１】
第２発目の花火の第２フレーム以降の処理は、上述した単発撮影の多重露光撮影処理と同様である。そして、第２発目の花火の第ｐフレームにおいて、被写体が検出できなくなったと判定された場合、第ｐフレームの合成画像G(p)が保存画像Goutとしてバッファ６３に一時保存される。その後、第２発目の合成処理で使用された、被写体サイズの最大値SIZEMAX、フレームカウントｐ、および、合成画像G(p)が、再度リセットされる。
【００７２】
そして、入力画像から、最初に、第３発目の花火が検出されたとき、すなわち、第３発目の花火の第１フレームの入力画像N(1)が、合成処理部６２に供給されたとき、合成処理部６２は、その入力画像N(1)を、そのまま、差分画像D(1)とする。この処理は、第１発目の花火の第１フレームのときと同様である。
【００７３】
次に、合成処理部６２は、バッファ６３に一時記憶されている、第２発目までの花火の合成画像である保存画像Goutに、いま算出した差分画像D(1)を加算し、第２フレームまでの合成画像G(1)を生成する。すなわち、第２発目の花火を最初に検出した第１フレームでは、合成処理部６２は、算出した差分画像D(1)を、第２発目までの花火の保存画像Goutと加算する。
【００７４】
第３発目の花火の第２フレーム以降の処理は、上述した第２発目の処理と同様である。
【００７５】
連続して打ち上げられる複数の花火を１枚の画像として得る、連発撮影の多重露光撮影処理は、以上のように行われる。
【００７６】
図６のフローチャートを参照して、連発撮影の多重露光撮影処理について説明する。この処理を開始するタイミングは、例えば、図５と同様とすることができる。なお、連発撮影の多重露光撮影処理においては、何発の花火を１枚の画像として多重露光撮影するかを、撮影を開始する前にユーザに指定（入力）させるようにしてもよい。
【００７７】
初めに、ステップＳ２２１において、画像合成部５４の被写体検出部６１は、入力画像としてデモザイク処理部５２から供給された、デモザイク処理後の撮影画像に対して、被写体を検出し、追尾する被写体追尾処理を開始する。被写体追尾処理は、多重露光撮影処理が終了するまで継続して実行される。
【００７８】
ステップＳ２２２において、合成処理部６２は、フレームカウントｐに１をセットするとともに、連発スタートフラグflgに０をセットする。連発スタートフラグは、第２発目以降の花火であり、かつ、被写体（花火）が検出された最初のフレーム（第１フレーム）である場合には１、それ以外の場合には０がセットされるフラグである。ステップＳ２２２の処理時点では、第１発目の花火を検出する前であるので、連発スタートフラグflgには０がセットされる。
【００７９】
ステップＳ２２３において、合成処理部６２は、上述した単発撮影におけるステップＳ２０３と同様に、被写体の領域情報が供給されたか否かを判定し、供給されたと判定されるまで処理を繰り返す。
【００８０】
ステップＳ２２３で、被写体の領域情報が供給されたと判定された場合、すなわち、被写体検出部６１から被写体のサイズが供給された場合、処理はステップＳ２２４に進む。
【００８１】
ステップＳ２２４において、合成処理部６２は、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいかを判定する。
【００８２】
ステップＳ２２４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAXより大きいと判定された場合、処理はステップＳ２２５に進む。ステップＳ２２５において、合成処理部６２は、被写体サイズの最大値SIZEMAXを、第ｐフレームの入力画像N(p)で検出された被写体のサイズで更新し、バッファ６３に保持する。
【００８３】
ステップＳ２２６において、合成処理部６２は、連発スタートフラグflgが１であるかを判定する。ステップＳ２２６で、連発スタートフラグflgが１であると判定された場合については、ステップＳ２３４乃至Ｓ２３６の処理の説明後に説明する。１回目のステップＳ２２６の処理では、上述したステップＳ２２２の処理により連発スタートフラグflgは０にセットされているので、連発スタートフラグflgが１ではないと判定される。
【００８４】
ステップＳ２２６で、連発スタートフラグflgが１ではないと判定された場合、処理はステップＳ２２７に進む。ステップＳ２２７では、合成処理部６２は、上述した図４のステップＳ２０６と同様に、第ｐフレームの差分画像D(p)と第ｐ−１フレームまでの合成画像G(p-1)から、第ｐフレームにおける合成画像G(p)を生成する。
【００８５】
そして、ステップＳ２２８において、合成処理部６２は、生成した第ｐフレームの合成画像G(p)を、第ｐフレームの入力画像N(p)とともに表示制御部３４に出力する。その結果、表示制御部３４により、第ｐフレームの合成画像G(p)と、第ｐフレームの入力画像N(p)が、表示部３５において、例えば、同サイズで横方向に並んで表示される。これにより、ユーザは、撮影中のスルー画像である入力画像N(p)と、多重露光撮影による画像である合成画像G(p)の両方を同時に見ることができる。
【００８６】
ステップＳ２２８の後、処理はステップＳ２２９に進み、フレームカウントｐが１だけインクリメントされた後、処理がステップＳ２２３に戻され、それ以降の処理が繰り返される。
【００８７】
一方、上述したステップＳ２２４で、第ｐフレームの入力画像N(p)で検出された被写体のサイズが、１つ前の第ｐ−１フレームの入力画像N(p-1)までで検出された被写体サイズの最大値SIZEMAX以下であると判定された場合、処理はステップＳ２３２に進む。ステップＳ２３２では、第ｐフレームの入力画像N(p)で検出された被写体サイズが、保持している被写体サイズの最大値SIZEMAXの所定比率以下のサイズであるかが判定される。そして、ステップＳ２３２で、第ｐフレームの入力画像N(p)の被写体サイズが、最大値SIZEMAXの所定比率以下のサイズではないと判定された場合、処理は、上述したステップＳ２２６に進む。
【００８８】
したがって、連発スタートフラグflgが０のときのステップＳ２２１からステップＳ２３２までの処理は、ステップＳ２３０とＳ２３１の処理を除いて、上述した図４のステップＳ２０１からステップＳ２０９までの処理と同様である。
【００８９】
ステップＳ２３２で、第ｐフレームの入力画像N(p)の被写体サイズが、最大値SIZEMAXの所定比率以下のサイズであると判定された場合、処理はステップＳ２３３に進む。ステップＳ２３２において、最初に被写体サイズが、最大値SIZEMAXの所定比率以下のサイズであると判定される場合は、第１発目の花火が検出できなくなったときである。
【００９０】
ステップＳ２３３において、合成処理部６２は、多重露光撮影を終了するかを判定する。例えば、何発の花火を多重露光撮影するかが、処理の開始時にユーザによって指定（入力）されている場合、合成処理部６２は、指定された花火の数だけ撮影したか否かにより、多重露光撮影を終了するかを判定する。
【００９１】
ステップＳ２３３で、多重露光撮影を終了しないと判定された場合、処理はステップＳ２３４に進み、合成処理部６２は、第ｐフレームの合成画像G(p)を保存画像Goutとしてバッファ６３に保存する。１回目のステップＳ２３４の処理では、保存画像Goutは、１発目の花火の多重露光画像に相当し、２回目のステップＳ２３４の処理では、保存画像Goutは、１発目と２発目の花火を多重した多重露光画像に相当する。
【００９２】
次に、ステップＳ２３５において、合成処理部６２は、バッファ６３に保持している被写体サイズの最大値SIZEMAXと合成画像G(p)をリセットする。
【００９３】
そして、ステップＳ２３６において、合成処理部６２は、フレームカウントｐに１をセットするとともに、連発スタートフラグflgに１をセットして、処理をステップＳ２２３に戻す。ステップＳ２３６の処理によれば、例えば、第１発目、第２発目、・・・の花火の合成処理が終了した時点で、連発スタートフラグflgに１がセットされる。
【００９４】
処理がステップＳ２２３に戻されると、ステップＳ２２３において、被写体の領域情報が供給されたかが再び判定される。そして、例えば、第２発目の花火が被写体として検出された場合に、処理がステップＳ２２４に進む。
【００９５】
ステップＳ２２４およびＳ２２５の処理の後、ステップＳ２２６において、連発スタートフラグflgが１であるかが判定される。連発スタートフラグflgが１となるのは、上述したように、第２発目以降の花火であり、かつ、入力画像が、被写体（花火）が検出された最初のフレーム（第１フレーム）のときだけである。
【００９６】
ステップＳ２２６で、連発スタートフラグflgが１であると判定された場合、処理はステップＳ２３０に進み、合成処理部６２は、第１フレームの差分画像D(1)と保存画像Goutから、合成画像G(1)を生成する。
【００９７】
例えば、被写体が第２発目の花火である場合には、合成処理部６２は、第１発目の花火の合成画像である保存画像Goutと、第２発目の第１フレームの差分画像D(1)とを加算することで、第２発目の第１フレームまでの合成画像G(1)を生成する。また例えば、被写体が第３発目の花火である場合には、合成処理部６２は、第２発目までの花火の合成画像である保存画像Goutと、第３発目の第１フレームの差分画像D(1)とを加算することで、第３発目の第１フレームまでの合成画像G(1)を生成する。
【００９８】
そして、ステップＳ２３１において、合成処理部６２は、第１フレームについての合成処理が終了したので、連発スタートフラグflgに０をセットする。その後、処理はステップＳ２２８に進み、上述した処理が繰り返される。
【００９９】
以上のように、連続撮影する複数の花火それぞれの最初の１フレームについてのみ、図５を参照して説明した第２発目以降の第１フレームの処理に相当するステップＳ２３０とステップＳ２３１の処理が実行される。それ以外は、単発撮影の多重露光撮影処理と同様の処理が実行される。
【０１００】
連続撮影する複数の花火それぞれについて、ステップＳ２２３ないしＳ２３３の処理が繰り返された後、ステップＳ２３３で、多重露光撮影を終了すると判定されると、処理がステップＳ２３７に進む。
【０１０１】
ステップＳ２３７において、合成処理部６２は、第ｐフレームの合成画像G(p)と入力画像N(p)を、表示制御部３４に出力するとともに、第ｐフレームの合成画像G(p)を、保存画像Goutとしてエンコード処理部３６に出力する。これにより、第ｐフレームの合成画像G(p)と入力画像N(p)が表示部３５に表示されるとともに、連発撮影による多重露光撮影の撮影結果としての保存画像Goutが、記録部３７に保存されて、多重露光撮影処理が終了する。
【０１０２】
以上の連発撮影の多重露光撮影処理では、入力画像から求めた差分画像を、合成対象の所定の被写体が検出されてから検出できなくなるまで逐次加算する加算処理が、複数回繰り返される。そして、合成処理部６２は、複数回繰り返される加算処理のうち、２回目以降の加算処理においては、最初に被写体が検出された入力画像から求めた差分画像と、それ以前の加算処理における加算結果である保存画像Goutを加算して、最初の合成画像G(1)が生成されるようにする。
【０１０３】
この連発撮影の多重露光撮影処理においても、ユーザは、撮影モードを多重露光撮影モードに変更し、撮影を開始させるだけで、合成処理部６２が、被写体検出部６１の検出結果に基づいて、入力画像の合成処理の開始および終了を判定し、実行する。したがって、ユーザ自身がシャッタタイミングを決定、指示する必要がなく、適切なシャッタタイミングによる多重露光画像を得ることができる。また、従来の多重露光撮影では必要とされていた暗幕やレリーズケーブルなどの道具を使用することなく撮影することも可能である。すなわち、画像合成部５４の多重露光撮影処理によれば、簡単に、多重露光による画像を得ることができる。なお、上述した例では、連発撮影の多重露光撮影処理を、連続して打ち上げられる複数の花火を合成する例で説明したが、合成対象の被写体は花火に限定されるものではない。
【０１０４】
上述した連続撮影の多重露光撮影処理のステップＳ２３３において、多重露光撮影モードから通常撮影モードに撮影モードが変更されたときを、多重露光撮影の終了と判定する場合、まだ被写体検出部６１により花火が検出されている状態で、ユーザが撮影モードの変更操作を行うこともあり得る。この場合、画像合成部５４は、被写体検出部６１により花火が検出されている間は、ステップＳ２２３ないしＳ２３３の加算処理を継続し、被写体が検出できなくなったときに、その加算処理を終了する。
【０１０５】
上述した実施の形態においては、被写体検出部６１は、検出された所定の被写体のサイズのみを、被写体の領域情報として合成処理部６２に出力するようにした。しかし、被写体検出部６１は、被写体サイズの他に、被写体を囲んだ矩形領域の位置（重心位置や中心位置）を、領域情報として出力してもよい。この場合、合成処理部６２は、第２フレーム以降の入力画像については、入力される入力画像から求めた差分画像全体を、逐次、フレーム加算するのではなく、被写体検出部６１で検出された被写体の領域のみの差分画像を、第１フレームの入力画像に対して逐次加算させることができる。
【０１０６】
また、被写体の領域のみを加算するようにした場合には、加算した領域と、加算していない領域との境で画素値が急激に変化し、画像に違和感が生じることがある。そこで、被写体の領域のみを加算するようにした場合には、合成処理部６２は、加算した領域の周辺領域の画素において、合成比率αを徐々に変更して加算するαブレンディング等の、スムージング処理を行うことができる。
【０１０７】
また、合成処理部６２は、デモザイク処理部５２から供給されるＲ，Ｇ，Ｂの各色成分の第ｐフレームの入力画像N(p)から求めた差分画像D(p)に対して所定の係数ρを乗算することにより、画素値を重み付けした差分画像D’(p)を、１フレーム前までの合成画像G(p-1)と加算して、第ｐフレームの合成画像G(p)を生成するようにしてもよい。
【０１０８】
すなわち、合成処理部６２は、Ｒ，Ｇ，Ｂの各色成分の入力画像N(p)に対して、以下の処理を実行し、合成画像G(p)を生成することができる。
（１）入力画像N(p)−合成画像G(p-1)＝差分画像D(p)
（２）差分画像D(p)×エフェクト係数ρ＝差分画像D’(p)
（３）合成画像G(p-1)＋差分画像D’(p)＝合成画像G(p)
ここで、エフェクト係数ρは、Ｒ，Ｇ，Ｂの色成分ごとに異なり、検出された被写体の色を変化させる係数である。これにより、例えば、検出対象の花火の色を、赤色から青色に変えるようなことができる。
【０１０９】
［被写体検出部６１の構成例］
次に、図７を参照して、図２の被写体検出部６１の構成例について説明する。
【０１１０】
図７の被写体検出部６１は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、リファレンスマップ保持部７４、マッチング処理部７５、および信頼度指標算出部７６から構成される。
【０１１１】
被写体マップ生成部７１には、図１のイメージャ３２により時間的に連続して撮像され、前処理部５１乃至YC生成部５５により処理された複数の入力画像が順次供給される。
【０１１２】
被写体マップ生成部７１は、入力画像の各画素が有する輝度や色等の予め定められた特徴毎に、入力画像の各領域における特徴の特徴量を示す特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、信頼度指標算出部７６から供給される信頼度指標とに基づいて、入力画像の各領域における被写体らしさを示す被写体マップを生成する。
【０１１３】
具体的には、被写体マップ生成部７１は、互いに異なる複数の帯域（空間周波数帯域）について、各特徴について生成した特徴量マップから、それらの帯域成分を抽出して帯域特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。
【０１１４】
この帯域特徴量マップは、入力画像の各領域における特徴の特徴量の特定帯域成分を示す特徴量マップである。換言すれば、帯域特徴量マップは、入力画像の特定の帯域成分に含まれる特徴の特徴量を示している。
【０１１５】
また、被写体マップ生成部７１は、生成した特徴毎の各帯域の帯域特徴量マップについて、入力画像の各画素に対応する位置毎に、信頼度指標算出部７６から供給される信頼度指標に基づいて、各帯域の帯域特徴量マップのいずれか１つの特徴量を選択する。
【０１１６】
ここで、以下においては、特徴量マップ（帯域特徴量マップ、後述する合成特徴量マップを含む）や被写体マップにおいて、入力画像の各画素に対応する領域（位置）を、単に、画素ということとする。
【０１１７】
被写体マップ生成部７１は、特徴毎の各帯域の帯域特徴量マップから画素毎に選択した特徴量を、特徴量毎に、全画素について合成することにより、合成特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。
【０１１８】
この合成特徴量マップは、各特徴の特徴量から求まる入力画像の各領域における被写体らしさを示す特徴量マップである。なお、ここでいう被写体とは、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推定される入力画像上の物体、つまりユーザが目を向けると推定される物体をいう。したがって、被写体は必ずしも人物に限られる訳ではない。
【０１１９】
また、被写体マップ生成部７１は、特徴毎の合成特徴量マップについて、画素毎に、信頼度指標算出部７６から供給される信頼度指標に基づいて、合成特徴量マップのいずれか１つを選択し、全画素について合成することにより、被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。このようにして得られる被写体マップの各領域（画素）の情報（値）は、入力画像の各領域の被写体らしさを示している。
【０１２０】
なお、信頼度指標算出部７６から供給される信頼度指標の詳細については後述する。
【０１２１】
被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、つまり被写体らしい領域を含む矩形領域（以下、被写体候補領域とも称する）を求め、その矩形領域の位置を示す座標情報を生成する。
【０１２２】
また、被写体候補領域矩形化部７２は、被写体マップを用いて、各被写体候補領域が有する特定の特徴の特徴量を示す領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部７３に供給する。
【０１２３】
被写体領域選択部７３は、被写体候補領域矩形化部７２からの座標情報および領域情報を用いて、被写体候補領域のうちの何れかを、追尾対象となる被写体が含まれる領域（以下、被写体領域と称する）として選択する。被写体領域選択部７３は、被写体領域の位置を示す座標情報を、制御部３９およびリファレンスマップ保持部７４に供給する。
【０１２４】
被写体領域選択部７３から出力される座標情報により示される被写体領域は、被写体マップにおいて、最も追尾対象の被写体らしい領域である。すなわち、被写体検出部６１では、被写体マップ上において、ユーザが注目すると推定される任意の被写体らしい領域が、ユーザにより指定された追尾対象の被写体の領域の候補（被写体候補領域）とされる。そして、それらの被写体候補領域のなかから、最も追尾対象の被写体らしい領域が、被写体領域として選択され、被写体マップ上の被写体領域と同じ位置にある入力画像の領域が、追尾対象の被写体が含まれる領域として特定される。
【０１２５】
なお、以下においては、被写体マップ上の被写体領域と同じ位置にある入力画像上の領域を、単に被写体領域とも称することとする。また、追尾対象となる被写体は、ユーザにより指定されたものに限らず、最初のフレームにおいて、被写体候補領域のうち、例えば領域の面積が最大であるなど、最も被写体らしさの評価が高いものが被写体領域とされ、その被写体領域に含まれる被写体が追尾対象とされてもよい。
【０１２６】
リファレンスマップ保持部７４は、メモリ８１を備えており、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの座標情報とを用いてリファレンスマップを生成し、メモリ８１に記録させる。
【０１２７】
具体的には、リファレンスマップ保持部７４は、帯域特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を帯域特徴量マップのリファレンスマップとする。同様に、リファレンスマップ保持部７４は、合成特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を合成特徴量マップのリファレンスマップとする。
【０１２８】
なお、以下、帯域特徴量マップおよび合成特徴量マップのリファレンスマップを、それぞれ帯域リファレンスマップ、および合成リファレンスマップとも称する。
【０１２９】
マッチング処理部７５は、メモリ８１に記録されたリファレンスマップを用いてマッチング処理を行い、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップから、リファレンスマップと最も相関の高い（類似する）領域を検索する。
【０１３０】
すなわち、処理対象の現フレームの帯域特徴量マップにおいて、現フレームの１つ前の前フレームの帯域リファレンスマップと最も類似する領域が検索される。また、現フレームの合成特徴量マップにおいて、前フレームの合成リファレンスマップと最も類似する領域が検索される。
【０１３１】
ここで、以下においては、現フレームの帯域特徴量マップおよび合成特徴量マップにおいて、前フレームの帯域リファレンスマップおよび合成リファレンスマップとそれぞれ最も類似する領域を、最大類似領域と称する。
【０１３２】
マッチング処理部７５は、帯域特徴量マップおよび合成特徴量マップについてのマッチング処理の結果を信頼度指標算出部７６に供給する。
【０１３３】
信頼度指標算出部７６は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの帯域特徴量マップおよび合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を算出する。
【０１３４】
信頼度指標算出部７６は、現フレームの帯域特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの帯域特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部７１に供給する。
【０１３５】
また、信頼度指標算出部７６は、現フレームの合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの合成特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部７１に供給する。
【０１３６】
なお、以下においては、適宜、現フレームの帯域特徴量マップについての信頼度指標を、帯域信頼度指標と称し、合成特徴量マップについての信頼度指標を、合成信頼度指標と称することとする。
【０１３７】
［被写体マップ生成部の構成例］
次に、図８を参照して、図７の被写体マップ生成部７１のより詳細な構成例について説明する。
【０１３８】
被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。
【０１３９】
特徴量マップ生成部１１１は、入力画像の各領域から、輝度や色などの特徴の特徴量を抽出して、抽出した特徴量を示す特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。
【０１４０】
帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部１１３、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。帯域特徴量マップは、各特徴について、帯域毎に生成される。
【０１４１】
帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの特徴量毎の帯域特徴量マップについて、画素毎に、信頼度指標算出部７６からの帯域信頼度指標に基づいて、帯域特徴量マップのいずれか１つの特徴量を選択する。帯域特徴量マップ合成部１１３は、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成する。すなわち、同じ特徴の帯域特徴量マップが、帯域信頼度指標に基づいて合成され、その特徴毎の合成特徴量マップとされる。
【０１４２】
帯域特徴量マップ合成部１１３は、特徴毎に生成した合成特徴量マップを、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０１４３】
合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップについて、画素毎に、信頼度指標算出部７６からの合成信頼度指標に基づいて、合成特徴量マップのいずれか１つの特徴量を選択する。合成特徴量マップ合成部１１４は、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップを生成する。合成特徴量マップ合成部１１４は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。
【０１４４】
ここで、図９および図１０を参照して、図８の帯域特徴量マップ合成部１１３および合成特徴量マップ合成部１１４の詳細な構成について説明する。
【０１４５】
［帯域特徴量マップ合成部の構成例］
図８の帯域特徴量マップ合成部１１３は、より詳細には、図９に示すように構成される。
【０１４６】
すなわち、帯域特徴量マップ合成部１１３は、候補マップ決定部１２１、マップ間最大値選択部１２２、および合成特徴量マップ生成部１２３から構成される。
【０１４７】
候補マップ決定部１２１は、帯域特徴量マップ生成部１１２からの特徴量毎の帯域特徴量マップから、信頼度指標算出部７６からの帯域信頼度指標に基づいて、合成特徴量マップに合成される候補である候補マップを決定する。候補マップ決定部１２１は、決定した候補マップ（以下、帯域候補マップとも称する）を、マップ間最大値選択部１２２に供給する。
【０１４８】
マップ間最大値選択部１２２は、候補マップ決定部１２１から供給された帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量の最大値を選択し、これを全画素について行う。
【０１４９】
合成特徴量マップ生成部１２３は、マップ間最大値選択部１２２によって選択された、各画素についての帯域候補マップ間の特徴量の最大値を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成し、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０１５０】
［合成特徴量マップ合成部の構成例］
図８の合成特徴量マップ合成部１１４は、より詳細には、図１０に示すように構成される。
【０１５１】
すなわち、合成特徴量マップ合成部１１４は、候補マップ決定部１２４、マップ間最大値選択部１２５、および被写体マップ生成部１２６から構成される。
【０１５２】
候補マップ決定部１２４は、帯域特徴量マップ合成部１１３からの合成特徴量マップから、信頼度指標算出部７６からの合成信頼度指標に基づいて、被写体マップに合成される候補である候補マップを決定する。候補マップ決定部１２４は、決定した候補マップ（以下、合成候補マップとも称する）を、マップ間最大値選択部１２５に供給する。
【０１５３】
マップ間最大値選択部１２５は、候補マップ決定部１２４から供給された合成候補マップについて、画素毎に、合成候補マップ間の特徴量の最大値を選択し、これを全画素について行う。
【０１５４】
被写体マップ生成部１２６は、マップ間最大値選択部１２５によって選択された、各画素についての合成候補マップ間の特徴量の最大値を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。
【０１５５】
［被写体候補領域矩形化部の構成例］
次に、図１１を参照して、図７の被写体候補領域矩形化部７２のより詳細な構成例について説明する。
【０１５６】
被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。
【０１５７】
２値化処理部１３１は、被写体マップ生成部７１の合成特徴量マップ合成部１１４から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１の何れかの値に２値化し、ラベリング処理部１３２に供給する。
【０１５８】
なお、以下においては、被写体マップ、特徴量マップ、帯域特徴量マップ、および合成特徴量マップのそれぞれにおける各領域（画素）に対応する情報（値）を、適宜、画素値ということとする。
【０１５９】
例えば、被写体マップの画素の画素値は、その画素と同じ位置にある入力画像の画素（領域）の被写体らしさの度合を示している。特に、２値化後の被写体マップにおいては、画素値が「１」である画素が、被写体らしい領域であり、画素値が「０」である画素は、被写体ではない領域（例えば、背景の領域）であるとされる。つまり、２値化後の被写体マップは、入力画像における被写体らしい領域を示している。
【０１６０】
ラベリング処理部１３２は、２値化処理部１３１から供給された、２値化された被写体マップにおいて、互いに隣接する、画素値が「１」である画素からなる領域を連結領域とし、各連結領域に対してラベリングを行う。連結領域は、被写体領域の候補となる領域であり、例えばラベリングでは、各連結領域に対して、それらの連結領域を特定する番号が付加される。ラベリング処理部１３２は、ラベリングされた被写体マップを矩形領域座標算出部１３３に供給する。
【０１６１】
矩形領域座標算出部１３３は、ラベリング処理部１３２からの被写体マップにおいて、連結領域を含む（囲む）矩形領域を被写体候補領域とし、各被写体候補領域の位置を示す座標情報を領域情報算出部１３４に供給する。
【０１６２】
領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、合成特徴量マップ合成部１１４からの被写体マップとを用いて、被写体候補領域ごとに領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部７３に供給する。
【０１６３】
［被写体領域選択部の構成例］
次に、図１２を参照して、図７の被写体領域選択部７３の構成例について説明する。
【０１６４】
被写体領域選択部７３は、領域情報比較部１５１、被写体領域決定部１５２、および領域情報記録部１５３から構成される。
【０１６５】
領域情報比較部１５１は、領域情報算出部１３４から供給された、処理対象の現フレームの各被写体候補領域の領域情報と、領域情報記録部１５３に記録されている、現フレームの１フレーム前の被写体領域の領域情報とを比較する。また、領域情報比較部１５１は、各被写体候補領域についての領域情報の比較結果と、領域情報算出部１３４からの座標情報とを被写体領域決定部１５２に供給する。
【０１６６】
被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、現フレームの被写体候補領域のうち、１フレーム前の被写体領域の領域情報と最も近い領域情報を有する被写体候補領域を、現フレームの被写体領域とする。すなわち、領域情報を指標とした場合に、前フレームの被写体領域と最も相関の高い（類似する）被写体候補領域が、現フレームの被写体領域とされる。
【０１６７】
被写体領域決定部１５２は、決定した現フレームの被写体領域の座標情報を制御部３９およびリファレンスマップ保持部７４に供給するとともに、現フレームの被写体領域の領域情報を、領域情報記録部１５３に供給する。領域情報記録部１５３は、被写体領域決定部１５２からの領域情報を記録するとともに、記録している領域情報を領域情報比較部１５１に供給する。
【０１６８】
［被写体領域選択部の構成例］
次に、図１３を参照して、図７の信頼度指標算出部７６の構成例について説明する。
【０１６９】
信頼度指標算出部７６は、類似度算出部１７１、最大類似度決定部１７２、類似度正規化部１７３、先鋭度算出部１７４、最大先鋭度決定部１７５、先鋭度正規化部１７６、および信頼度指標計算部１７７から構成される。
【０１７０】
類似度算出部１７１は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの各特徴量マップ（帯域特徴量マップおよび合成特徴量マップ）上の最大類似領域と前フレームのリファレンスマップとの類似度を算出し、最大類似度決定部１７２に供給する。
【０１７１】
なお、最大類似領域とリファレンスマップとの類似度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の１つであるが、その算出の詳細については、図２０を参照して後述する。
【０１７２】
最大類似度決定部１７２は、類似度算出部１７１からの各特徴量マップについての類似度から、最大の類似度となる最大類似度を決定し、各特徴量マップについての類似度とともに、類似度正規化部１７３に供給する。
【０１７３】
類似度正規化部１７３は、最大類似度決定部１７２からの最大類似度に基づいて、各特徴量マップについての類似度を正規化し、信頼度指標計算部１７７に供給する。
【０１７４】
先鋭度算出部１７４は、マッチング処理部７５からのマッチング結果に基づいて、現フレームの各特徴量マップについての先鋭度を算出し、最大先鋭度決定部１７５に供給する。
【０１７５】
なお、特徴量マップについての先鋭度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の１つであるが、その算出の詳細については、図２０を参照して後述する。
【０１７６】
最大先鋭度決定部１７５は、先鋭度算出部１７４からの各特徴量マップについての先鋭度から、最大の類似度となる最大先鋭度を決定し、各特徴量マップについての先鋭度とともに、先鋭度正規化部１７６に供給する。
【０１７７】
先鋭度正規化部１７６は、最大先鋭度決定部１７５からの最大先鋭度に基づいて、各特徴量マップについての先鋭度を正規化し、信頼度指標計算部１７７に供給する。
【０１７８】
信頼度指標計算部１７７は、類似度正規化部１７３からの各特徴量マップについての正規化された類似度、および、先鋭度正規化部１７６からの各特徴量マップについての正規化された先鋭度に基づいて、各特徴量マップについての信頼度指標を計算し、被写体マップ生成部７１に供給する。
【０１７９】
［被写体追尾処理の説明］
ところで、ユーザが画像処理装置１１に画像を撮像させようとする場合、ユーザは、ユーザインタフェース４１を操作して、画像を撮像する処理の開始を指示する。すると、制御部３９は、インタフェース制御部４０を介してユーザインタフェース４１から供給された制御信号に応じて、画像処理装置１１の各部を動作させる。
【０１８０】
例えば、制御部３９は、イメージャ３２に入力画像を撮像させるとともに、デジタル信号処理部３３に入力画像に対する前処理等の各種の処理を実行させ、デジタル信号処理部３３から入力画像を取得する。そして、制御部３９は、取得した各フレームの入力画像を、順次、インタフェース制御部４０を介してユーザインタフェース４１に供給し、表示させる。
【０１８１】
これにより、ユーザは、いわゆるプレビュー画像として、ユーザインタフェース４１に表示された入力画像を見ながら構図を決定し、ユーザインタフェース４１を操作して、静止画像等の撮像を指示することができる。
【０１８２】
このとき、ユーザは、ユーザインタフェース４１としてのボタンを操作して、画像処理装置１１の動作モードを、追尾すべき被写体を囲む枠が表示される被写体追尾処理モードに遷移させることができる。被写体追尾処理モードへの遷移が指示され、ユーザにより入力画像上の所定の領域が、被写体の領域として指定されると、被写体検出部６１は、指定された領域の被写体を追尾する被写体追尾処理を開始し、入力画像の各フレームにおける被写体領域を特定する。
【０１８３】
そして、制御部３９は、被写体検出部６１から、被写体領域の位置を示す座標情報の供給を受けると、その座標情報に基づいて、被写体領域を表す枠を、ユーザインタフェース４１に供給し、表示させる。これにより、ユーザインタフェース４１には、入力画像とともに被写体領域の枠が表示されることになる。
【０１８４】
次に、図１４のフローチャートを参照して、被写体検出部６１により行なわれる被写体追尾処理について説明する。
【０１８５】
ステップＳ１１において、被写体マップ生成部７１は、被写体マップ生成処理を行って被写体マップを生成し、被写体候補領域矩形化部７２に供給する。
【０１８６】
ここで、図１５乃至図２５を参照して、ステップＳ１１の処理に対応する被写体マップ生成処理の詳細について説明する。図１５は、被写体マップ生成処理について説明するフローチャートである。
【０１８７】
図１５のステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、処理対象の現フレームの入力画像から、輝度や色等の特徴毎に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。
【０１８８】
具体的には、図１６に示されるように、入力画像２００から、輝度に関する情報を示す輝度の特徴量マップＦ１、色に関する情報を示す色の特徴量マップＦ２乃至ＦＫ、エッジに関する情報を示すエッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭの合計Ｍ種類の特徴量マップが生成される。
【０１８９】
例えば、輝度の特徴量マップＦ１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の画素と同じ位置にある特徴量マップＦ１の画素の画素値とされる。つまり、輝度の特徴量マップＦ１は、輝度を特徴とする、入力画像の各領域の輝度値を示す特徴量マップである。
【０１９０】
また、色の特徴量マップＦ２乃至ＦＫにおいては、例えば、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、Ｋ＝４とされ、特徴量マップＦ２乃至Ｆ４のそれぞれは、入力画像の画素のＲ成分、Ｇ成分、およびＢ成分のそれぞれを特徴とする、入力画像の各領域の各色成分の画素値を示す特徴量マップとされる。
【０１９１】
さらに、エッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、４つのエッジの方向ごとに、その方向のエッジの強さを特徴とする、入力画像の各領域のエッジ強度を示す特徴量マップが生成される。
【０１９２】
なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を特徴量マップＦ１の特徴量としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色の特徴量マップＦ２乃至ＦＫの特徴量としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭの特徴量としてもよい。
【０１９３】
ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部１１３、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０１９４】
具体的には、図１６に示されるように、輝度の特徴量マップＦ１における輝度情報（画素値）から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、それらの帯域の輝度情報を示す帯域特徴量マップＲ１１乃至Ｒ１Ｎが生成される。
【０１９５】
また、色の特徴量マップＦ２乃至ＦＫにおける色情報（画素値）から、所定の帯域１乃至帯域Ｎの色情報が抽出され、それらの帯域の色情報を示す帯域特徴量マップＲ２１乃至Ｒ２Ｎ，…，ＲＫ１乃至ＲＫＮが生成される。
【０１９６】
さらに、エッジの特徴量マップＦ（Ｋ＋１）乃至ＦＭにおけるエッジ情報（画素値）から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、それらの帯域のエッジ情報を示す帯域特徴量マップＲ（Ｋ＋１）１乃至Ｒ（Ｋ＋１）Ｎ，…，ＲＭ１乃至ＲＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。
【０１９７】
ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。
【０１９８】
例えば、帯域特徴量マップ生成部１１２は、特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。
【０１９９】
この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。
【０２００】
また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。
【０２０１】
例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。
【０２０２】
具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。
【０２０３】
このようにして得られたＮ個の差分画像のそれぞれが、さらに必要に応じて入力画像と同じ大きさにアップコンバートされ、帯域１乃至帯域Ｎの帯域特徴量マップとされる。
【０２０４】
このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから特定の帯域成分の特徴量を抽出することができる。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の画素値の差、つまり入力画像における所定の画素における特徴の特徴量と、その画素の周囲の平均的な特徴量との差分を示している。
【０２０５】
例えば、特徴が輝度である場合には、差分画像（帯域特徴量マップ）の画素値は、入力画像の所定領域の輝度と、その周囲の領域の平均的な輝度の差を示している。一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像（帯域特徴量マップ）において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。同様に、他の特徴についても、周囲と比べて特徴量の差が大きい領域は、ユーザの目を引く領域であるので、より被写体らしい領域であるといえる。
【０２０６】
なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を生成する際のピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。
【０２０７】
図１５のフローチャートの説明に戻り、ステップＳ３３において、マッチング処理部７５は、帯域特徴量マップ生成部１１２から供給された帯域特徴量マップＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）と、メモリ８１に記録されている帯域リファレンスマップとのマッチング処理を行う。
【０２０８】
例えば、図１７に示すように、帯域特徴量マップ生成部１１２では、Ｍ種類の各特徴について、Ｎ個の帯域毎に、合計（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎが得られる。また、帯域特徴量マップ合成部１１３では、Ｍ種類の各特徴について、帯域特徴量マップが合成されて得られた合成特徴量マップＣｍ（但し、１≦ｍ≦Ｍ）が得られる。
【０２０９】
そして、リファレンスマップ保持部７４のメモリ８１には、各合成特徴量マップＣｍにおける入力画像上の被写体領域ＣＲと同じ位置の領域が、合成リファレンスマップＲＦＣｍ（但し、１≦ｍ≦Ｍ）として記録されている。また、メモリ８１には、各帯域特徴量マップＲｍｎにおける入力画像上の被写体領域ＣＲと同じ位置の領域が、帯域リファレンスマップＲＦＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として記録されている。
【０２１０】
ここで、メモリ８１に記録されている帯域リファレンスマップおよび合成リファレンスマップは、処理対象の現フレームよりも１つ前のフレームの帯域特徴量マップと合成特徴量マップから得られたものである。
【０２１１】
マッチング処理部７５は、帯域特徴量マップ生成部１１２から、現フレームの帯域特徴量マップＲｍｎが供給されると、その帯域特徴量マップＲｍｎから、メモリ８１から読み出した前フレームの帯域リファレンスマップＲＦＲｍｎと最も類似する領域を検索する。
【０２１２】
例えば、図１８に示すように、マッチング処理部７５は、帯域特徴量マップＲｍｎ上の処理対象となる領域ＥＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）の位置を図中、左上から右下までずらしながら、各領域ＥＲｍｎと帯域リファレンスマップＲＦＲｍｎとのマッチングを行う。
【０２１３】
具体的には、マッチング処理部７５は、領域ＥＲｍｎ内の各画素について、領域ＥＲｍｎの画素の画素値と、その画素と同じ位置にある帯域リファレンスマップＲＦＲｍｎの画素の画素値との差分の絶対値を求め、各画素について求めた差分絶対値の総和（差分絶対値和）を求める。
【０２１４】
マッチング処理部７５は、帯域特徴量マップＲｍｎの各領域ＥＲｍｎのうち、帯域リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域ＭＥＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）とする。そして、マッチング処理部７５は、最大類似領域ＭＥＲｍｎの位置を示す情報と、帯域特徴量マップＲｍｎの各領域ＥＲｍｎについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部７６に供給する。
【０２１５】
図１９は、マッチング処理の結果としての、帯域特徴量マップＲｍｎの各領域ＥＲｍｎについて求めた差分絶対値和の例を示している。
【０２１６】
図１９において、ｘ軸とｙ軸とで構成されるｘｙ座標平面は、帯域特徴量マップ全体の領域を表している。また、図１９において、ｘｙ座標平面と垂直なｚ軸は、帯域特徴量マップについての差分絶対値和の大きさを表しており、ｚ軸には０乃至6000の目盛が振られている。つまり、図１９のｘｙｚ座標空間上に示される図形ＳＡＤは、帯域特徴量マップＲｍｎの各領域ＥＲｍｎについて求められた差分絶対値和を示している。なお、以下においては、図形ＳＡＤを差分絶対値和ＳＡＤと称する。
【０２１７】
図１９に示されるように、帯域特徴量マップ全体についての差分絶対値和は、約1500乃至約5800の値を示しているが、帯域特徴量マップの縁辺部では4000以上の値を示しており、中心付近では2000以下の値を示している。特に、帯域特徴量マップの中心付近の領域（差分絶対値和ＳＡＤの尖った部分）は、差分絶対値和の最小値（ピーク値）を示している。すなわち、図１９の差分絶対値和ＳＡＤは、帯域特徴量マップの中心付近の領域が最大類似領域であることを示している。
【０２１８】
このようにして、マッチング処理の結果として、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての差分絶対値和が求められ、また、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについて、それぞれ最大類似領域ＭＥＲｍｎが特定される。そして、それぞれの帯域特徴量マップについての差分絶対値和と最大類似領域の位置を示す情報とが、信頼度指標算出部７６に供給される。
【０２１９】
なお、マッチング処理として、差分絶対値和を利用する場合を例として説明したが、その他、差分二乗和等を利用したマッチング処理や、ヒストグラムマッチング、テンプレートマッチングなど、帯域リファレンスマップと最も類似する領域が特定できれば、どのような処理であってもよい。
【０２２０】
図１５のフローチャートの説明に戻り、ステップＳ３４において、信頼度指標算出部７６は、信頼度指標算出処理を行って、現フレームの帯域特徴量マップについての信頼度指標（帯域信頼度指標）を算出し、被写体マップ生成部７１に供給する。
【０２２１】
ここで、図２０のフローチャートを参照して、ステップＳ３４の処理に対応する信頼度指標算出処理の詳細について説明する。
【０２２２】
ステップＳ５１において、類似度算出部１７１は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての最大類似領域ＭＥＲｍｎと前フレームの帯域リファレンスマップＲＦＲｍｎとの類似度ＬＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を算出し、最大類似度決定部１７２に供給する。
【０２２３】
ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、類似度ＬＲｍｎは、図１９で示された差分絶対値和ＳＡＤにおける最小値（ピーク値）をＳＡＤｍｉｎとすると、最小値ＳＡＤｍｉｎが小さいほど、大きくなるように与えられる。具体的には、例えば、類似度ＬＲｍｎは、帯域特徴量マップの差分絶対値和の最小値の逆数１／ＳＡＤｍｉｎで与えられる。
【０２２４】
ステップＳ５２において、最大類似度決定部１７２は、類似度算出部１７１からの各帯域特徴量マップについての類似度ＬＲｍｎから、Ｍ種類の特徴量毎に、Ｍ個の最大類似度ＭＬＲｍ（但し、１≦ｍ≦Ｍ）を決定し、各帯域特徴量マップについての類似度ＬＲｍｎとともに、類似度正規化部１７３に供給する。
【０２２５】
ステップＳ５３において、類似度正規化部１７３は、最大類似度決定部１７２からのＭ種類の特徴量毎の最大類似度ＭＬＲｍに基づいて、各帯域特徴量マップについての類似度ＬＲｍｎを正規化し、信頼度指標計算部１７７に供給する。具体的には、Ｍ種類の特徴量毎に、各帯域特徴量マップについての類似度ＬＲｍｎを、最大類似度ＭＬＲｍで割った値（ＬＲｍｎ／ＭＬＲｍ）が、正規化された類似度ＳＬＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として、信頼度指標計算部１７７に供給される。なお、正規化された類似度ＳＬＲｍｎは、０＜ＳＬＲｍｎ≦１の値をとる。
【０２２６】
例えば、ｍ＝１の場合については、輝度の帯域特徴量マップＲ１１乃至Ｒ１Ｎについての類似度ＬＲ１１乃至ＬＲ１Ｎを、最大類似度ＭＬＲ１で割った値（ＬＲ１１／ＭＬＲ１）乃至（ＬＲ１Ｎ／ＭＬＲ１）が、Ｎ個の正規化された類似度ＳＬＲ１Ｎとして得られる。同様の処理が、ｍ＝２，…，Ｍのそれぞれについて行われることで、（Ｍ×Ｎ）個の正規化された類似度ＳＬＲｍｎが求められる。
【０２２７】
なお、各帯域特徴量マップについての類似度ＬＲｍｎは、最大類似度ＭＬＲｍによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。
【０２２８】
ステップＳ５４において、先鋭度算出部１７４は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての先鋭度ＴＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を算出し、最大先鋭度決定部１７２に供給する。
【０２２９】
ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、先鋭度ＴＲｍｎは、図１９で示された差分絶対値和ＳＡＤにおける最小値ＳＡＤｍｉｎと、最大類似領域を含む近傍領域の差分絶対値和の平均値ＳＡＤａｖｅとの差（ＳＡＤａｖｅ−ＳＡＤｍｉｎ）で与えられる。この先鋭度ＴＲｍｎが大きいほど、図１９で示された差分絶対値和ＳＡＤは、最小値をとる領域においてより尖った形状を示し、先鋭度ＴＲｍｎが小さいほど、鈍った形状を示す。
【０２３０】
ステップＳ５５において、最大先鋭度決定部１７２は、先鋭度算出部１７４からの各帯域特徴量マップについての先鋭度ＴＲｍｎから、Ｍ種類の特徴量毎に、Ｍ個の最大先鋭度ＭＴＲｍ（但し、１≦ｍ≦Ｍ）を決定し、各帯域特徴量マップについての先鋭度ＴＲｍｎとともに、先鋭度正規化部１７６に供給する。
【０２３１】
ステップＳ５６において、先鋭度正規化部１７６は、最大先鋭度決定部１７５からのＭ種類の特徴量毎の最大先鋭度ＭＴＲｍに基づいて、各帯域特徴量マップについての先鋭度ＴＲｍｎを正規化し、信頼度指標計算部１７７に供給する。具体的には、Ｍ種類の特徴量毎に、各帯域特徴量マップについての先鋭度ＴＲｍｎを、最大先鋭度ＭＴＲｍで割った値ＴＲｍｎ／ＭＴＲｍ）が、正規化された先鋭度ＳＴＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として、信頼度指標計算部１７７に供給される。なお、正規化された先鋭度ＳＴＲｍｎは、０＜ＳＴＲｍｎ≦１の値をとる。
【０２３２】
例えば、ｍ＝１の場合については、帯域特徴量マップＲ１１乃至Ｒ１Ｎについての先鋭度ＴＲ１１乃至ＴＲ１Ｎを、最大先鋭度ＭＴＲ１で割った値ＴＲ１１／ＭＴＲ１乃至ＴＲ１Ｎ／ＭＴＲ１が、Ｎ個の正規化された先鋭度ＳＴＲ１Ｎとして得られる。同様の処理を、ｍ＝２，…，Ｍのそれぞれについて行うことで、（Ｍ×Ｎ）個の正規化された先鋭度ＳＴＲｍｎが求められる。
【０２３３】
なお、各帯域特徴量マップについての先鋭度ＴＲｍｎは、最大先鋭度ＭＴＲｍによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。
【０２３４】
ステップＳ５７において、信頼度指標計算部１７７は、類似度正規化部１７３からの正規化された類似度ＳＬＲｍｎ、および、先鋭度正規化部１７６からの正規化された先鋭度ＳＴＲｍｎに基づいて、各帯域特徴量マップについての帯域信頼度指標ｓｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を計算する。帯域信頼度指標ｓｍｎは、正規化された類似度ＳＬｍｎ、および、正規化された先鋭度ＳＴＲｍｎを用いて、以下の式（１）のように与えられる。
【０２３５】
ｓｍｎ＝ｆ（ＳＬｍｎ，ＴＬｍｎ） ・・・（１）
【０２３６】
ここで、式（１）において、ｆ（Ａ，Ｂ）は、値Ａ，Ｂの関数であることを示している。具体的には、例えば、帯域信頼度指標ｓｍｎは、以下の式（２）で与えられる。
【０２３７】
ｓｍｎ＝αＳＬｍｎ＋βＴＬｍｎｎ ・・・（２）
【０２３８】
なお、式（２）において、値α，βは、予め定められた値とする。
【０２３９】
式（２）によれば、類似度と先鋭度が大きいほど、帯域信頼度指標ｓｍｎは大きい値をとる。すなわち、図１９で示された差分絶対値和ＳＡＤにおいて、最小値ＳＡＤｍｉｎが小さく、かつ、最小値をとる領域においてより尖った形状をしているほど、帯域信頼度指標ｓｍｎは大きい値をとる。
【０２４０】
一方、図２１に示される帯域特徴量マップの差分絶対値和ＳＡＤ’において、最小値は、図１９の差分絶対値和の最小値と比較して小さい値を示しているが、最小値をとる領域においては鈍った形状をしている。すなわち、類似度は大きいが、先鋭度は小さいので、帯域信頼度指標ｓｍｎは小さい値となる。
【０２４１】
このようにして、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎについての、（Ｍ×Ｎ）個の帯域信頼度指標ｓｍｎが求められ、帯域信頼度指標群ＳＲとして、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給される。
【０２４２】
なお、帯域信頼度指標ｓｍｎを決定する値αおよびβは、（Ｍ×Ｎ）個の帯域特徴量マップＲｍｎ毎に同じ値とされてもよいし、特徴毎や帯域毎に異なる値とされてもよい。
【０２４３】
図１５のフローチャートの説明に戻り、ステップＳ３５において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ合成処理を行って、図１６に示されるように、帯域特徴量マップ生成部１１２からの帯域特徴量マップＲｍｎから、信頼度指標算出部７６からの帯域信頼度指標群ＳＲに基づいて、合成特徴量マップＣｍを生成し、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。
【０２４４】
ここで、図２２のフローチャートを参照して、ステップＳ３５の処理に対応する帯域特徴量マップ合成処理の詳細について説明する。帯域特徴量マップ合成処理は、Ｍ種類の特徴量それぞれについて実行される。
【０２４５】
ステップＳ７１において、候補マップ決定部１２１は、帯域特徴量マップ生成部１１２からの帯域特徴量マップＲｍｎのうち、信頼度指標算出部７６からの帯域信頼度指標ｓｍｎが所定の閾値より大きい帯域特徴量マップを、候補マップ（帯域候補マップ）に決定する。候補マップ決定部１２１は、決定した帯域候補マップをマップ間最大値選択部１２２に供給する。
【０２４６】
具体的には、例えば、図２３に示されるように、輝度の帯域特徴量マップＲ１１乃至Ｒ１Ｎのうち、帯域信頼度指標ｓ１１乃至ｓ１Ｎが所定の閾値より大きい帯域特徴量マップＲ１ｊ，…，Ｒ１ｋが帯域候補マップに決定される。
【０２４７】
ステップＳ７２において、マップ間最大値選択部１２２は、候補マップ決定部１２１からの帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量（画素値）の最大値を選択し、これを全画素について行う。
【０２４８】
具体的には、マップ間最大値選択部１２２は、図２３に示された帯域候補マップＲ１ｊ，…，Ｒ１ｋについて、各帯域候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。
【０２４９】
ステップＳ７３において、合成特徴量マップ生成部１２３は、マップ間最大値選択部１２２によって選択された、各画素についての帯域候補マップ間の画素値の最大値に基づいて、合成特徴量マップを生成する。
【０２５０】
具体的には、図２３に示された帯域候補マップＲ１ｊ，…，Ｒ１ｋの画素毎の画素値の最大値が、全画素について合成される（各画素の画素値として採用される）ことで、合成特徴量マップＣｍが生成され、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給される。
【０２５１】
このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップＣｍを生成する。なお、より詳細には、各合成特徴量マップは、画素の画素値が、例えば０から２５５までの間の値となるように正規化される。また、１回目の被写体マップ生成処理においては、帯域信頼度指標群ＳＲの各帯域信頼度指標ｓｍｎは全て１とされ、特徴量毎の各帯域特徴量マップについて、画素毎の最大値が選択される。
【０２５２】
図１５のフローチャートの説明に戻り、ステップＳ３６において、マッチング処理部７５は、帯域特徴量マップ合成部１１３から供給された合成特徴量マップＣｍ（但し、１≦ｍ≦Ｍ）と、メモリ８１に記録されている合成リファレンスマップＲＦＣｍ（但し、１≦ｍ≦Ｍ）とのマッチング処理を行う。
【０２５３】
ここで、合成特徴量マップＣｍのマッチング処理では、帯域特徴量マップのマッチング処理と同様の処理が行われる。
【０２５４】
すなわち、例えば、マッチング処理部７５は、合成特徴量マップＣｍ上の処理対象となる領域ＥＣｍ（但し、１≦ｍ≦Ｍ）の位置をずらしながら、領域ＥＣｍと合成リファレンスマップＲＦＣｍとの画素の画素値の差分絶対値和を求める。そして、マッチング処理部７５は、合成特徴量マップＣｍの各領域ＥＣｍのうち、合成リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域ＭＥＣｍ（但し、１≦ｍ≦Ｍ）とする。マッチング処理部７５は、最大類似領域ＭＥＣｍの位置を示す情報と、合成特徴量マップＣｍの各領域ＥＣｍについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部７６に供給する。
【０２５５】
ステップＳ３７において、信頼度指標算出部７６は、信頼度指標算出処理を行って、現フレームの合成特徴量マップについての信頼度指標（合成信頼度指標）を算出し、被写体マップ生成部７１に供給する。
【０２５６】
ここで、合成特徴量マップの信頼度指標算出処理は、図２０のフローチャートを参照して説明した帯域特徴量マップの信頼度指標算出処理と基本的に同様の処理が行われるので、その詳細な説明は省略する。
【０２５７】
すなわち、帯域特徴量マップの信頼度指標算出処理においては、まず、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームのＭ個の合成特徴量マップＣｍについての最大類似領域ＭＥＣｍと前フレームのリファレンスマップとの類似度ＬＣｍ（但し、１≦ｍ≦Ｍ）が算出される。次に、各合成特徴量マップについての類似度ＬＣｍから、最大類似度ＭＬＣｍを決定し、これに基づいて、Ｍ個の正規化された類似度ＳＬＣｍが求められる。
【０２５８】
一方、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームのＭ個の合成特徴量マップＣｍについての先鋭度ＴＣｍ（但し、１≦ｍ≦Ｍ）が算出される。次に、各合成特徴量マップについての先鋭度ＴＣｍから、最大先鋭度ＭＴＣｍを決定し、これに基づいて、Ｍ個の正規化された先鋭度ＳＴＣｍが求められる。
【０２５９】
そして、正規化された類似度ＳＬＣｍおよび正規化された先鋭度ＳＴＣｍに基づいて、各合成特徴量マップについての合成信頼度指標ｓｍ（但し、１≦ｍ≦Ｍ）が求められる。
【０２６０】
このようにして、Ｍ個の合成特徴量マップについての、Ｍ個の合成信頼度指標ｓｍが求められ、合成信頼度指標群ＳＣとして、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給される。
【０２６１】
ステップＳ３８において、合成特徴量マップ合成部１１４は、合成特徴量マップ合成処理を行って、図１６に示されるように、帯域特徴量マップ合成部１１３からの合成特徴量マップＣｍから、信頼度指標算出部７６からの合成信頼度指標群ＳＣに基づいて、被写体マップ２０１を生成し、被写体候補領域矩形化部７２に供給する。
【０２６２】
ここで、図２４のフローチャートを参照して、ステップＳ３８の処理に対応する合成特徴量マップ合成処理の詳細について説明する。
【０２６３】
ステップＳ９１において、候補マップ決定部１２４は、帯域特徴量マップ合成部１１３からの合成特徴量マップＣｍのうち、信頼度指標算出部７６からの合成信頼度指標ｓｍが所定の閾値より大きい合成特徴量マップを、候補マップ（合成候補マップ）に決定する。候補マップ決定部１２４は、決定した合成候補マップをマップ間最大値選択部１２５に供給する。
【０２６４】
具体的には、例えば、図２５に示されるように、Ｍ個の合成特徴量マップＣ１乃至ＣＭのうち、合成信頼度指標ｓ１乃至ｓＭが所定の閾値より大きい合成特徴量マップＣ１，Ｃ３，Ｃ４，…が合成候補マップに決定される。
【０２６５】
ステップＳ９２において、マップ間最大値選択部１２５は、候補マップ決定部１２４からの合成候補マップについて、画素毎に、合成候補マップ間の特徴量（画素値）の最大値を選択し、これを全画素について行う。
【０２６６】
具体的には、マップ間最大値選択部１２５は、図２５に示された合成候補マップＣ１，Ｃ３，Ｃ４，…について、各合成候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。
【０２６７】
ステップＳ９３において、被写体マップ生成部１２６は、マップ間最大値選択部１２５によって選択された、各画素についての合成候補マップ間の画素値の最大値に基づいて、被写体マップを生成する。
【０２６８】
具体的には、図２５に示された合成候補マップＣ１，Ｃ３，Ｃ４，…の画素毎の画素値の最大値が、全画素について合成される（各画素の画素値として採用される）ことで、被写体マップ２０１が生成され、被写体候補領域矩形化部７２に供給される。
【０２６９】
このようにして求められた被写体マップの各画素の画素値は、例えば０から２５５までの間の値となるように正規化されて、最終的な被写体マップとされる。
【０２７０】
なお、１回目の被写体マップ生成処理においては、合成信頼度指標群ＳＣの各合成信頼度指標ｓｍは全て１とされ、各合成特徴量マップについて、画素毎の最大値が選択される。
【０２７１】
被写体マップが生成されると、被写体マップ生成処理は終了し、その後、処理は、図１４のステップＳ１２に進む。
【０２７２】
図１４のフローチャートの説明に戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行って、被写体マップ生成部７１から供給された被写体マップ上の被写体候補領域を決定する。
【０２７３】
ここで、図２６および図２７を参照して、被写体候補領域矩形化処理の詳細について説明する。図２６は、被写体候補領域矩形化処理について説明するフローチャートであり、図２７は、被写体候補領域矩形化処理の具体例を示す図である。
【０２７４】
図２６のフローチャートのステップＳ１５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、合成特徴量マップ合成部１１４から供給された被写体マップの各画素の画素値を閾値処理により２値化し、ラベリング処理部１３２に供給する。
【０２７５】
より具体的には、２値化処理部１３１は、図２７に示すように、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値「１２７」より小さい値の画素値を０とし、閾値「１２７」より大きい値の画素値を１とする。
【０２７６】
これにより、図２７の上から２番目に示される２値化マップ２０２が得られる。図２７で示される２値化マップ２０２は、２値化された被写体マップであり、２値化マップ２０２においては、白で示される部分が、画素値が１である画素を示しており、黒で示される部分が、画素値が０である画素を示している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。
【０２７７】
ステップＳ１５２において、ラベリング処理部１３２は、２値化処理部１３１からの２値化マップ２０２に対してモルフォロジー演算等を行って、２値化マップ２０２上の被写体の領域を矩形化し、得られた連結領域に対してラベリングを行う。
【０２７８】
すなわち、ラベリング処理部１３２は、２値化マップ２０２（２値化された被写体マップ）において、互いに隣接する、画素値が１である画素からなる連結領域に対してラベリングを行う。例えば、図２７の上から３番目に示されるように、２値化マップ２０２上の連結領域２１１にラベル「１」が付加され、連結領域２１２にラベル「２」が付加される。ラベリング処理部１３２は、ラベリングされた２値化マップ（被写体マップ）を、矩形領域座標算出部１３３に供給する。
【０２７９】
ステップＳ１５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２から供給された２値化マップ２０２上の各連結領域を囲む矩形領域を被写体候補領域とし、被写体候補領域の位置を示す座標情報を生成する。
【０２８０】
具体的には、図２７の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」が付加された連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、被写体候補領域とされる。そして、例えば、その被写体候補領域の図中、左上および右下の頂点の座標が求められ、その座標が座標情報とされる。
【０２８１】
また、ラベル「２」が付加された連結領域２１２を外側から囲む矩形枠２２２が検出されて被写体候補領域とされ、その被写体候補領域の図中、左上および右下の頂点の座標が座標情報として生成される。
【０２８２】
矩形領域座標算出部１３３は、各被写体候補領域の座標情報を生成すると、それらの座標情報を領域情報算出部１３４に供給する。
【０２８３】
ステップＳ１５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、合成特徴量マップ合成部１１４からの被写体マップとを用いて、各被写体候補領域の領域情報を算出する。
【０２８４】
例えば、領域情報算出部１３４は、被写体候補領域のサイズ（大きさ）や、被写体マップにおける被写体候補領域の中心位置の座標を領域情報として算出する。
【０２８５】
また、領域情報算出部１３４は、被写体マップ上の被写体候補領域内の画素の画素値の積分値（総和）や、被写体マップ上の被写体候補領域内の画素の画素値のピーク値（最大値）を、領域情報として算出する。
【０２８６】
領域情報算出部１３４は、各被写体候補領域について領域情報を算出すると、得られた各被写体候補領域の領域情報と座標情報を被写体領域選択部７３に供給し、被写体候補領域矩形化処理は終了する。そして、その後、処理は、図１４のステップＳ１３へと進む。
【０２８７】
図１４のフローチャートの説明に戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行って、被写体候補領域のなかから被写体領域とするものを選択する。
【０２８８】
ここで、図２８のフローチャートを参照して、ステップＳ１３の被写体領域選択処理の詳細について説明する。
【０２８９】
ステップＳ１７１において、領域情報比較部１５１は、領域情報算出部１３４からの各被写体候補領域の領域情報と、領域情報記録部１５３に記録されている１フレーム前の被写体領域の領域情報とを比較する。そして、領域情報比較部１５１は、その比較結果と、領域情報算出部１３４からの各被写体候補領域の座標情報とを、被写体領域決定部１５２に供給する。
【０２９０】
具体的には、例えば、領域情報として、被写体候補領域のサイズが算出された場合、領域情報比較部１５１は、各被写体候補領域のサイズ、つまり被写体候補領域を囲む矩形枠の大きさと、１フレーム前の被写体領域のサイズとを比較する。この場合、例えば、被写体候補領域のサイズと、被写体領域のサイズの差の絶対値が比較結果として得られる。
【０２９１】
また、例えば、領域情報として、被写体候補領域の中心位置の座標が求められ、その中心位置の座標と、１フレーム前の被写体領域の中心位置の座標が比較された場合、それらの中心位置間の距離が、比較結果として得られる。
【０２９２】
さらに、領域情報として、被写体候補領域内の画素の画素値のピーク値や積分値が求められた場合には、それらの被写体候補領域のピーク値や積分値と、１フレーム前の被写体領域のピーク値や積分値との差の絶対値が、比較の結果として得られることになる。
【０２９３】
ステップＳ１７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、被写体候補領域の何れかを、処理対象の現フレームにおける被写体領域として選択する。すなわち、特定の特徴、つまり領域情報を指標とした場合に、現フレームの被写体候補領域のうち、前フレームの被写体領域との相関が最も高い被写体候補領域が、現フレームの被写体領域とされる。
【０２９４】
具体的には、例えば、比較の結果として得られた、被写体領域に対する被写体候補領域のサイズの差、中心位置間の距離、ピーク値の差、積分値の差などの領域情報の差の絶対値が最も小さい被写体候補領域が、被写体領域として選択される。
【０２９５】
また、被写体領域決定部１５２は、現フレームの被写体領域を決定すると、決定された被写体領域の領域情報を、合成処理部６２に供給する。さらに、被写体領域決定部１５２は、その被写体領域の領域情報を領域情報記録部１５３に供給して記録させ、被写体領域選択処理は終了する。そして、その後、処理は図１４のステップＳ１４に進む。
【０２９６】
なお、１回目の被写体領域選択処理においては、領域情報記録部１５３には、１フレーム前の被写体領域の領域情報は記録されていないので、例えば、被写体追尾処理の開始時にユーザによって選択された初期選択領域に最も近い被写体候補領域が被写体領域とされる。
【０２９７】
図１４のフローチャートの説明に戻り、ステップＳ１４において、リファレンスマップ保持部７４は、帯域特徴量マップ生成部１１２から供給された帯域特徴量マップと、被写体領域決定部１５２からの被写体領域の座標情報とを用いて、帯域リファレンスマップを生成する。
【０２９８】
具体的には、リファレンスマップ保持部７４は、図１７を参照して説明したように、現フレームの帯域特徴量マップＲｍｎにおける入力画像上の被写体領域と同じ領域を切り出して、帯域リファレンスマップＲＦＲｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）とする。リファレンスマップ保持部７４は、生成した帯域リファレンスマップをメモリ８１に供給し、記録させる。この帯域リファレンスマップは、次フレームの帯域信頼度指標の算出に用いられる。
【０２９９】
ステップＳ１５において、リファレンスマップ保持部７４は、帯域特徴量マップ合成部１１３から供給された合成特徴量マップと、被写体領域決定部１５２からの被写体領域の座標情報とを用いて、合成リファレンスマップを生成する。
【０３００】
すなわち、帯域リファレンスマップの生成と同様に、リファレンスマップ保持部７４は、現フレームの合成特徴量マップＣｍにおける入力画像上の被写体領域と同じ領域を切り出して、合成リファレンスマップＲＦＣｍ（但し、１≦ｍ≦Ｍ）とする。リファレンスマップ保持部７４は、生成した合成リファレンスマップをメモリ８１に供給し、記録させる。この合成リファレンスマップは、次フレームの合成信頼度指標の算出に用いられる。
【０３０１】
ステップＳ１５において、合成リファレンスマップが生成されると、その後、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次のフレームについての被写体追尾処理が実行され、この処理が１フレームごとに繰り返される。
【０３０２】
以上の処理によれば、フレーム毎に、そのフレームの各特徴量マップについて、それらのマップにおける前フレームの被写体領域と相関の高い領域が検出され、その検出結果に応じて、マップについての信頼度指標が算出され、信頼度指標の大きい特徴量マップの画素毎の最大値から被写体マップが生成される。
【０３０３】
この被写体マップを用いた被写体の検出では、直前のフレームの被写体領域とより相関の高い領域が、適応的に重要視され続ける。そのため、被写体に照射される光が変化する場合や、被写体の姿勢が変化する場合など、被写体の状態が変動するような環境下でも、最初に指定された領域の特徴量を用いて追尾を行う従来の手法と比べて、被写体をより安定して追尾することができる。
【０３０４】
しかも、被写体マップは、入力画像から抽出された複数の特徴の特徴量から生成されるため、いくつかの特徴の特徴量が大きく変化しても、他の特徴の特徴量の変化が小さければ、十分な精度で被写体を検出することができ、安定した追尾が可能となる。
【０３０５】
また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。
【０３０６】
特に、従来の被写体追尾の手法において、被写体領域内の何れかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、充分な検波精度は得られなかった。
【０３０７】
一方、上述の被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。
【０３０８】
また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録された人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。
【０３０９】
これに対して、上述の被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。
【０３１０】
また、例えば、被写体マップ生成処理の帯域特徴量マップ生成処理において生成された特定の帯域の帯域特徴量マップが、単純な線形結合によって合成されるようにした場合、帯域特徴量マップにおいて、元々減衰されやすい被写体の直流付近の成分（すなわち、テクスチャの少ない領域の特徴量）は、単純な線形結合によってさらに減衰されてしまう。この場合、比較的単純な形状の被写体ほど、その被写体領域の特に中心付近で、特徴量のレベルが出にくい状態に陥りやすく、後段の被写体候補領域矩形化処理の２値化処理において、正確な連結領域が得られなくなるという悪影響を及ぼす恐れがある。
【０３１１】
しかしながら、この被写体追尾処理では、特徴量マップ間の画素のいずれか１つを選択することで、被写体マップを生成するようにしたので、被写体マップの被写体領域において、何らかの特徴量を得ることができる。したがって、比較的単純な形状の被写体であっても、被写体部分で特徴量が出にくい状態を避けることができるので、２値化処理において、正確な連結領域を特定することができ、ひいては、安定した被写体の追尾が可能となる。
【０３１２】
さらに、上述の被写体追尾処理においては、特徴量マップにおける前フレームの被写体領域と相関の高い領域（最大類似領域）を検出し、その検出結果に応じて、特徴量マップについての信頼度指標を求め、この信頼度指標が所定の閾値より大きい特徴量マップ（候補マップ）から被写体マップを生成するようにしたので、信頼度指標が所定の閾値より小さい、すなわち、前フレームの被写体領域と相関の低い特徴量マップを、被写体マップ生成処理から除くことができる。したがって、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性を下げることができ、より正確に被写体を特定することが可能となる。
【０３１３】
また、帯域特徴量マップ合成処理や合成特徴量マップ合成処理において、各特徴量マップについての信頼度指標に対して閾値処理を行うことで、候補マップを決定するようにしたが、信頼度指標に対する閾値処理を、各特徴量マップの画素単位に行うようにして、合成特徴量マップまたは被写体マップに合成される候補である候補画素を決定するようにしてもよい。
【０３１４】
この場合、処理対象の画素が、特徴量マップ上の最大類似領域に含まれるか否かによって閾値を変えるようにする。具体的には、最大類似領域に含まれない画素については、閾値を高く設定することで、信頼度指標が比較的高い特徴量マップの画素であっても、その画素は、被写体領域である可能性が低いので、その画素を候補画素から除くことができる。一方、最大類似領域に含まれる画素については、閾値を低く設定することで、信頼度指標が比較的低い特徴量マップの画素であっても、その画素は、被写体領域である可能性が高いので、その画素を候補画素として採用することができる。このようにして、決定された候補画素から、画素毎の最大値が選択され、最大値となる画素に基づいて合成特徴量マップまたは被写体マップが生成される。これにより、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性をより確実に下げることができ、より一層正確に被写体を特定することが可能となる。
【０３１５】
さらに、帯域特徴量マップ合成処理や合成特徴量マップ合成処理においては、候補マップについて、画素毎に、候補マップ間の特徴量の最大値を選択するようにしたが、最大値に限らず、候補マップ間の画素毎の特徴量において２番目に大きい値や中央値（median）などを選択するようにしてもよい。これにより、被写体領域でないにもかかわらず、外乱により局所的に大きい特徴量を有する画素を除くことができる。
【０３１６】
なお、上述した説明においては、特徴量として、輝度成分、色成分、およびエッジ強度を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。
【０３１７】
また、以上においては、（Ｍ×Ｎ）個の帯域特徴量マップ、およびＭ個の合成特徴量マップのそれぞれについて、信頼度指標を算出するようにしたが、一部のマップ信頼度指標のみを、適宜算出するようにしてもよい。例えば、合成特徴量マップＣ１乃至ＣＭのＭ個の合成特徴量マップの合成信頼度指標のみを算出するようにしてもよい。このような場合、画像処理装置１１における演算量を抑えることができる。
【０３１８】
さらに、以上においては、特徴量マップの差分絶対値和から類似度および先鋭度を算出し、これらに基づいて信頼度指標を算出するようにしたが、マッチング処理において差分絶対値和を利用しない場合には、そのマッチング処理の結果に基づいて、所定の統計学的手法を用いることで、処理対象フレームの特徴量マップ上の最大類似領域の近傍における特徴量の分散の度合を求め、分散の度合が小さいほど大きい値の信頼度指標を算出するようにしてもよい。
【０３１９】
さらに、処理対象の現フレームにおいて、前フレームの被写体領域を含む所定の大きさの領域のみを処理対象領域として、帯域特徴量マップや合成特徴量マップのマッチング処理を行うようにしてもよい。そのような場合、処理対象領域の大きさや位置を、前フレームにおける追尾すべき被写体のサイズ（大きさ）や、被写体の移動速度に応じて変化させれば、より効率よく、かつより確実に相関の高い領域を検出することができる。
【０３２０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３２１】
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３２２】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０３２３】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０３２４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３２６】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０３２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２９】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部
を備える画像処理装置。
（２）
前記被写体のサイズを検出する前記被写体検出部をさらに備え、
前記合成処理部は、前記被写体のサイズに基づいて、前記合成処理を終了する
前記（１）に記載の画像処理装置。
（３）
前記合成処理部は、前記被写体検出部で検出される前記サイズの最大値を保持し、前記被写体検出部で検出される前記サイズが、保持している前記サイズの最大値の所定の比率になったときを判定して、前記合成処理を終了する
前記（２）に記載の画像処理装置。
（４）
前記合成処理部は、前記合成処理として、前記入力画像から求めた前記被写体の差分画像を、前記合成処理を終了するまで逐次加算する加算処理を複数回繰り返す処理を行い、その複数回の前記加算処理のうち、２回目以降の各加算処理においては、最初に前記被写体が検出された前記入力画像から求めた前記差分画像を、それ以前の加算処理における加算結果の画像と加算する
前記（３）に記載の画像処理装置。
（５）
前記被写体検出部は、前記入力画像内の前記被写体の位置も検出し、
前記合成処理部は、前記被写体の領域の画素を加算するとともに、前記被写体の領域の周辺の画素に対しては、スムージング処理を行う
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記合成処理部は、前記入力画像のうちの前記被写体の領域の画素に対して、所定の係数による重み付け加算を行う
前記（５）に記載の画像処理装置。
（７）
前記所定の係数は、検出された前記被写体の色を変化させる係数である
前記（６）に記載の画像処理装置。
（８）
前記入力画像と、それを前記合成処理部で合成処理した後の画像とを同時に表示するように制御する表示制御部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、
前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
ステップを含む画像処理方法。
（１０）
コンピュータに、
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０３３０】
１１ 画像処理装置， ３３ デジタル信号処理部， ３４ 表示制御部， ３５ 表示部， ５４ 画像合成部， ６１ 被写体検出部， ６２ 合成処理部， ６３ バッファ
【特許請求の範囲】
【請求項１】
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部
を備える画像処理装置。
【請求項２】
前記被写体のサイズを検出する前記被写体検出部をさらに備え、
前記合成処理部は、前記被写体のサイズに基づいて、前記合成処理を終了する
請求項１に記載の画像処理装置。
【請求項３】
前記合成処理部は、前記被写体検出部で検出される前記サイズの最大値を保持し、前記被写体検出部で検出される前記サイズが、保持している前記サイズの最大値の所定の比率になったときを判定して、前記合成処理を終了する
請求項２に記載の画像処理装置。
【請求項４】
前記合成処理部は、前記合成処理として、前記入力画像から求めた前記被写体の差分画像を、前記合成処理を終了するまで逐次加算する加算処理を複数回繰り返す処理を行い、その複数回の前記加算処理のうち、２回目以降の各加算処理においては、最初に前記被写体が検出された前記入力画像から求めた前記差分画像を、それ以前の加算処理における加算結果の画像と加算する
請求項３に記載の画像処理装置。
【請求項５】
前記被写体検出部は、前記入力画像内の前記被写体の位置も検出し、
前記合成処理部は、前記被写体の領域の画素を加算するとともに、前記被写体の領域の周辺の画素に対しては、スムージング処理を行う
請求項２に記載の画像処理装置。
【請求項６】
前記合成処理部は、前記入力画像のうちの前記被写体の領域の画素に対して、所定の係数による重み付け加算を行う
請求項５に記載の画像処理装置。
【請求項７】
前記所定の係数は、検出された前記被写体の色を変化させる係数である
請求項６に記載の画像処理装置。
【請求項８】
前記入力画像と、それを前記合成処理部で合成処理した後の画像とを同時に表示するように制御する表示制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、
前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
ステップを含む画像処理方法。
【請求項１０】
コンピュータに、
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出部における検出結果に基づいて、前記合成処理を終了する合成処理部
を備える画像処理装置。
【請求項２】
前記被写体のサイズを検出する前記被写体検出部をさらに備え、
前記合成処理部は、前記被写体のサイズに基づいて、前記合成処理を終了する
請求項１に記載の画像処理装置。
【請求項３】
前記合成処理部は、前記被写体検出部で検出される前記サイズの最大値を保持し、前記被写体検出部で検出される前記サイズが、保持している前記サイズの最大値の所定の比率になったときを判定して、前記合成処理を終了する
請求項２に記載の画像処理装置。
【請求項４】
前記合成処理部は、前記合成処理として、前記入力画像から求めた前記被写体の差分画像を、前記合成処理を終了するまで逐次加算する加算処理を複数回繰り返す処理を行い、その複数回の前記加算処理のうち、２回目以降の各加算処理においては、最初に前記被写体が検出された前記入力画像から求めた前記差分画像を、それ以前の加算処理における加算結果の画像と加算する
請求項３に記載の画像処理装置。
【請求項５】
前記被写体検出部は、前記入力画像内の前記被写体の位置も検出し、
前記合成処理部は、前記被写体の領域の画素を加算するとともに、前記被写体の領域の周辺の画素に対しては、スムージング処理を行う
請求項２に記載の画像処理装置。
【請求項６】
前記合成処理部は、前記入力画像のうちの前記被写体の領域の画素に対して、所定の係数による重み付け加算を行う
請求項５に記載の画像処理装置。
【請求項７】
前記所定の係数は、検出された前記被写体の色を変化させる係数である
請求項６に記載の画像処理装置。
【請求項８】
前記入力画像と、それを前記合成処理部で合成処理した後の画像とを同時に表示するように制御する表示制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
入力画像の少なくとも一部の領域を合成処理する合成処理部を備える画像処理装置が、
前記入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
ステップを含む画像処理方法。
【請求項１０】
コンピュータに、
入力画像に含まれる被写体の領域を含む画素の加算を行う合成処理を行い、前記入力画像の前記被写体を検出する前記被写体検出処理における検出結果に基づいて、前記合成処理を終了する
処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１３−１１０４８４（Ｐ２０１３−１１０４８４Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２２２７（Ｐ２０１１−２５２２２７）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]