画像処理装置、画像処理方法およびプログラム
【課題】応答性および安定性の高い軌跡合成画像生成を実現する。
【解決手段】画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ１〜Ｉｎ）の１枚を処理対象画像として、この処理対象画像を中心として時系列順に一定の範囲の入力画像において、対応する画素位置の中からｍ個（ｍ≦ｎ）の画素値を選択する。動被写体検出部１６０は、処理対象画像Ｉｔの各画素位置の画素値について、選択されたｍ個の画素値に基づいて動被写体確率を生成する。軌跡合成部１７０は、動被写体確率に基づいて合成比率を生成して、この合成比率により時刻ｔの処理対象画像Ｉｔと軌跡合成結果保持部１８０に保持されている時刻ｔ−１の軌跡合成結果とを合成して、時刻ｔの軌跡合成結果を生成する。生成された軌跡合成結果は軌跡合成画像表示部１９０に表示される。
【解決手段】画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ１〜Ｉｎ）の１枚を処理対象画像として、この処理対象画像を中心として時系列順に一定の範囲の入力画像において、対応する画素位置の中からｍ個（ｍ≦ｎ）の画素値を選択する。動被写体検出部１６０は、処理対象画像Ｉｔの各画素位置の画素値について、選択されたｍ個の画素値に基づいて動被写体確率を生成する。軌跡合成部１７０は、動被写体確率に基づいて合成比率を生成して、この合成比率により時刻ｔの処理対象画像Ｉｔと軌跡合成結果保持部１８０に保持されている時刻ｔ−１の軌跡合成結果とを合成して、時刻ｔの軌跡合成結果を生成する。生成された軌跡合成結果は軌跡合成画像表示部１９０に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像を生成する方法として、例えば複数フレーム画像を単純に重ね合わせて合成する方法が考えられる。この単純な方法によると、フレーム数が多くなればなるほど、合成結果に対する一枚のフレームの寄与率が低くなり、動被写体の軌跡が薄くなってしまうという問題がある。例えば、図７のような５枚のフレーム画像を想定した場合、単純に合成を行うと、合成結果に対する各画素の寄与率は２０％になり、動被写体が横切る画素位置においては、動被写体が２０％、背景が８０％という比率で合成されるため、図８（ｃ）のように動被写体の軌跡が薄くなってしまう。
【０００３】
これに対し、単純な合成に改良を加えた手法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。この従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。これにより、合成画像において動被写体の重みが背景の重みより大きくなり、単純な合成方法に比べて動被写体の軌跡をはっきりさせるものである。
【０００４】
また、動被写体を抽出してその追跡を行うことによって動被写体の軌跡の合成を行う手法が提案されている（例えば、特許文献２参照。）。この従来技術では、動被写体の追跡が失敗した場合に、追跡が成功した時刻の動被写体の特徴量や位置などから動被写体を補間することにより、動被写体の抽出および追跡の精度を高めている。
【０００５】
しかしながら、動被写体の重みを大きくして合成する方法によれば、単純な合成方法に比べて動被写体の軌跡をはっきりさせるという効果があるが、背景以外は等しい重みによる多重合成になるため、背景以外のフレーム画像の数が多ければ多いほど軌跡に対する一枚の寄与率が低くなり、原画像と同等にはっきりとした軌跡を作成することは困難であった。また、輝度値の分散により背景を判断する方法では、画像の状態によっては背景とそれ以外を明確に区別することが困難な場合があった。また、動被写体を追跡する従来技術によれば、動被写体を補間しながら、任意の態様により軌跡を表示させることができるが、この場合、特徴量として動被写体の存在領域、色、輝度、テクスチャ等が用いられるため、これらの変化や変形などに対応できないという問題があった。また、動被写体が多い場合には、演算等に要するコストの関係上、それら全ての動被写体を追跡することが困難になるという問題があった。
【０００６】
そこで、背景画像を事前に求めておいて、この背景画像の画素値と入力画像の画素値との間の相違度を生成し、この相違度に応じて入力画像の画素値を出力画像としての軌跡合成画像に反映させることにより、動被写体の軌跡静止画や軌跡動画を生成する画像処理装置が提案されている（例えば、特許文献３参照。）。
【特許文献１】特開平１０−２９０４５０号公報（図１）
【特許文献２】特開２００５−１２３８２４号公報（図１）
【特許文献３】特開２００７−３２８７５５号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述のように、背景画像との相違度に応じて入力画像の画素値を軌跡合成画像に反映させる従来技術によれば、背景と異なる領域ほど軌跡合成画像への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。しかしながら、この場合、背景画像を事前に計算するため、軌跡合成画像の表示を開始するまでに待ち時間が生じてしまうという問題がある。また、背景画像を生成するためには入力画像を全て必要とするため、撮像の終了点が決まるまで軌跡合成を行うことができないという問題がある。さらに、背景画像を予め生成した場合、背景の変動に対して追従することができなくなるため、ある程度長い期間の撮像において不具合を生じるおそれがある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、応答性および安定性の高い軌跡合成画像生成を行うことを目的とする。
【課題を解決するための手段】
【０００９】
本発明は上記課題を解決するためになされたものであり、その第１の側面は、時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手段と、上記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手段と、上記画素位置のそれぞれについて上記動被写体情報に応じて上記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段とを具備することを特徴とする画像処理装置、その画像処理方法およびプログラムである。これにより、処理対象となる入力画像を中心として選択された複数の画素値に基づいて動被写体が検出され、その動被写体に関する情報に応じて出力画像の画素値が生成されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記動被写体検出手段は、上記処理対象である入力画像の画素値が動被写体である確率を上記動被写体情報として生成してもよい。この場合において、上記動被写体検出手段は、上記処理対象である入力画像を中心として時系列に選択された複数の画素値が上記処理対象である入力画像の画素値の所定の範囲内に存在しない確率を上記動被写体である確率としてもよい。
【００１１】
また、この第１の側面において、上記画素選択手段は、上記複数の画素値を時間的に等間隔に選択してもよく、また、上記処理対象である入力画像との時間的距離が近いほど時間的に高い頻度で上記複数の画素値を選択してもよい。選択される画素値を間引くことにより、選択される時間範囲を変更することなく画素値の数を減らし、動被写体確率生成の精度の劣化を抑えるという作用をもたらす。
【００１２】
また、この第１の側面において、上記出力画像生成手段は、上記出力画像の画素値を保持する出力画像保持手段と、上記画素位置のそれぞれについて上記動被写体情報に応じて合成比率を生成する合成比率生成手段と、上記画素位置のそれぞれについて上記合成比率に応じて上記処理対象である入力画像の画素値を上記出力画像保持手段に保持された上記出力画像の画素値と合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる合成値算出手段とを具備してもよい。これにより、動被写体情報に応じて生成された合成比率により、処理対象である入力画像の画素値と出力画像の画素値とを合成させるという作用をもたらす。また、この場合において、上記動被写体検出手段は、上記処理対象である入力画像の画素値が動被写体である確率を上記動被写体情報として生成し、上記出力画像生成手段は、上記処理対象である入力画像の画素値が動被写体でない場合の上記合成比率を背景合成比率として保持する背景合成比率保持手段をさらに備え、上記合成比率生成手段は、上記動被写体である確率と上記背景合成比率とに基づいて上記合成比率を生成してもよい。これにより、動被写体である確率と背景合成比率とに基づいて生成された合成比率により、処理対象である入力画像の画素値と出力画像の画素値とを合成させるという作用をもたらす。
【発明の効果】
【００１３】
本発明によれば、応答性および安定性の高い軌跡合成画像の生成を実現することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１４】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。
【００１６】
光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。
【００１７】
信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。
【００１８】
記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。
【００１９】
表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。
【００２０】
制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムをドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。
【００２１】
画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。
【００２２】
この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってデジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。
【００２３】
なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。
【００２４】
表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。
【００２５】
図２は、本発明の実施の形態における撮像装置の画像処理回路２３の一実施例を示す図である。この一実施例による画像処理回路２３は、入力画像保持部１１０と、画素選択部１２０と、動被写体検出部１６０と、軌跡合成部１７０と、軌跡合成結果保持部１８０と、軌跡合成画像表示部１９０とを備えている。
【００２６】
入力画像保持部１１０は、時系列に撮像されたｎ枚（ｎは２以上の整数）の入力画像（Ｉ１〜Ｉｎ）を保持するメモリである。ｎ枚の入力画像のうち、時系列に古いものから順に処理対象画像として扱われる。この入力画像保持部１１０は有限であるため、新しく入力画像が入力されると、保持されている入力画像の中で最も古いものから順に無効化され、上書きされていく。したがって、この入力画像保持部１１０には常に一定期間に相当する入力画像が保持されることになる。
【００２７】
画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ１〜Ｉｎ）の１枚を処理対象画像として、この処理対象画像を中心として時系列順に一定の範囲の入力画像において、対応する画素位置の中からｍ個（ｍ≦ｎ；ｍは２以上の整数）の画素値を選択するものである。画素位置の選択順は、例えば左上からスキャンライン順などが考えられる。例えば、入力画像のそれぞれが座標（１，１）乃至（ｐ，ｑ）のｐ×ｑ画素（ｐおよびｑは１以上の整数）からなる場合において、時刻ｔ（ｔは２以上の整数）の入力画像を処理対象画像Ｉｔとすると、画素選択部１２０は、まず、ｎ枚の入力画像の座標（１，１）の画素位置の画素値の中から処理対象画像Ｉｔを中心とするｍ個を選択する。画素選択部１２０は、次に、ｎ枚の入力画像の座標（１，２）の画素位置の画素値の中から処理対象画像Ｉｔを中心とするｍ個を選択する。この要領で、最終的には入力画像（Ｉ１〜Ｉｎ）に対してｍ個の画素値がｐ×ｑ組分選択されることになる。これら選択された画素値は、信号線１２８を介して動被写体検出部１６０に供給される。また、処理対象画像Ｉｔの画素値は動被写体検出部１６０および軌跡合成部１７０に供給される。
【００２８】
動被写体検出部１６０は、処理対象画像Ｉｔの各画素位置の画素値について、画素選択部１２０において選択されたｍ個の画素値に基づいて、動被写体確率を生成するものである。すなわち、動被写体検出部１６０は、処理対象画像Ｉｔの各画素位置の画素値について動被写体検出を行い、当該動被写体に関する情報として動被写体確率を生成する。生成された動被写体確率は軌跡合成部１７０に供給される。
【００２９】
軌跡合成部１７０は、動被写体検出部１６０によって生成された動被写体確率に基づいて合成比率を生成して、この合成比率により時刻ｔの処理対象画像Ｉｔと軌跡合成結果保持部１８０に保持されている時刻ｔ−１の軌跡合成結果とを合成して、時刻ｔの軌跡合成結果を生成するものである。生成された時刻ｔの軌跡合成結果は、信号線１７９を介して軌跡合成結果保持部１８０および軌跡合成画像表示部１９０に供給される。
【００３０】
軌跡合成結果保持部１８０は、軌跡合成部１７０による軌跡合成結果を保持するものである。この軌跡合成結果保持部１８０に保持された軌跡合成結果は、次の時刻で信号線１８９を介して軌跡合成部１７０に供給される。すなわち、時刻ｔの入力画像を処理対象画像としている時には、時刻ｔ−１の軌跡合成結果が軌跡合成部１７０に供給されることになる。
【００３１】
軌跡合成画像表示部１９０は、信号線１７９を介して軌跡合成部１７０から供給された軌跡合成結果に基づいて軌跡合成画像を表示するものである。この軌跡合成画像表示部１９０は、表示部４３をそのまま用いてもよく、また、撮像装置に接続された他の表示装置により実現されてもよい。
【００３２】
図３は、本発明の実施の形態による画素選択部１２０における画素値選択の態様を示す図である。画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ１〜Ｉｎ）のうち、時刻ｔの入力画像Ｉｔを処理対象画像として、その入力画像Ｉｔのｐ×ｑ画素の各画素位置について画素値の選択を行う。
【００３３】
入力画像Ｉｔにおける１つの画素位置の画素値Ｖｔについて動被写体を求めるためには、入力画像Ｉｔを中心とする他の入力画像における対応する画素位置の画素値が用いられる。例えば、時刻ｔ−ｉおよび時刻ｔ＋ｉの入力画像Ｉｔ−ｉおよびＩｔ−ｉにおける対応する画素位置の画素値Ｖｔ−ｉおよびＶｔ＋ｉが用いられる。
【００３４】
画素選択部１２０により選択される画素値の数は多いほど動被写体確率生成の精度を向上させるのに有利であるが、その一方で計算コストは増大する。そこで、以下のように動被写体確率生成の精度を考慮して画素値の選択間隔を調整することが望ましい。
【００３５】
図４は、本発明の実施の形態における画素値の選択間隔の例を示す図である。ここでは、入力画像（Ｉ１〜Ｉｎ）の時間方向を横軸に示している。同図（ａ）は、時刻ｔを中心とした一定の範囲内における画素値を全て選択した例である。同図（ｂ）は、時刻ｔを中心とした一定の範囲内における画素値を等間隔に間引いて選択した例である。同図（ｃ）は、時刻ｔを中心とした一定の範囲内において、時刻ｔに近いほど密に、遠いほど粗く画素値を選択した例である。すなわち、同図（ｃ）では、入力画像との時間的距離が近いほど時間的に高い頻度で画素値が選択されている。
【００３６】
このように、同図（ａ）と比べて、同図（ｂ）または（ｃ）のように画素値を選択することにより、選択される時間範囲を変更することなく画素値の数を減らすことができ、動被写体確率生成の精度の劣化を抑えることができる。
【００３７】
図５は、本発明の実施の形態による動被写体検出部１６０における動被写体判定の態様を示す図である。同図では、画素選択部１２０において選択された画素値が、時間と画素値の軸によりプロットされている。この例では、時刻ｔを中心に７個の画素値が選択されている。時刻ｔの画素値の動被写体確率を算出するために、まず、時刻ｔの画素値Ｖｔとその他の画素値との距離が算出される。そして、時刻ｔの画素値Ｖｔと近い距離の画素の割合が多いほど画素値Ｖｔが動被写体である確率は低くなると考えられるため、動被写体確率は低く算出される。一方、時刻ｔの画素値Ｖｔと近い距離の画素の割合が低いほど画素値Ｖｔが動被写体である確率は高くなると考えられるため、動被写体確率は高く算出される。
【００３８】
ここで、画素間の距離は例えば以下のように定義される。すなわち、画素値をＲＧＢ値で表した場合、画素値Ｖ１（Ｒ１、Ｇ１、Ｂ１）と画素値Ｖ２（Ｒ２、Ｇ２、Ｂ２）との間の距離は、ユークリッド空間における距離、各色空間における距離の総和、または、最大相違値を示す色空間における距離などにより表すことができる。なお、ここでは、ＲＧＢ色空間の例を示しているが、例えば、ＹＣｂＣｒ色空間やその他の色空間を用いるようにしても構わない。
【数１】
【００３９】
このようにして算出された距離に従って、動被写体確率が算出される。ここでは、時刻ｔの画素値Ｖｔを基準として、予め定められた判定閾値の範囲内に該当する他の画素値の数を計数して、その数をｃ（ｃは整数：０≦ｃ≦ｍ−１）とする。ｍは、上述のように、画素選択部１２０において選択された画素値の数である。これにより、動被写体確率ｆｐは、次式のように算出される。
【数２】
【００４０】
なお、上式では０以上１以下の実数により動被写体確率ｆｐを定義したが、計数値ｃが閾値ｔｈを超えているか否かによって、次式のように０または１の２値で定義するようにしてもよい。
【数３】
【００４１】
図６は、本発明の実施の形態における軌跡合成部１７０の一構成例を示す図である。この軌跡合成部１７０は、フェードアウト制御パラメータ保持部１７１と、合成比率生成部１７２と、軌跡合成値算出部１７３とを備えている。
【００４２】
フェードアウト制御パラメータ保持部１７１は、フェードアウト制御パラメータαbgを保持するものである。このフェードアウト制御パラメータαbgは、背景の合成比率を表すものであり、このフェードアウト制御パラメータαbgを大きく設定すると短期間で背景に埋もれてフェードアウトしていくことになる。
【００４３】
合成比率生成部１７２は、動被写体検出部１６０から信号線１６９を介して供給された動被写体確率ｆｐおよびフェードアウト制御パラメータ保持部１７１に保持されたフェードアウト制御パラメータαbgに基づいて、軌跡合成のための合成比率αを生成するものである。この合成比率αは、次式により算出される。
α＝αbg＋ｆｐ・（１−αbg）
【００４４】
動被写体確率ｆｐが大きい場合、αも大きくなり、合成時の原画像（処理対象画像Ｉｔ）の画素値の寄与率が高くなるため、原画像の画素値が軌跡として合成結果に反映され易くなる。一方、動被写体確率ｆｐが小さい場合、αも小さくなり、合成結果に対して過去の軌跡画像の寄与率が高くなるため、原画像の画素値が軌跡として合成結果に反映され難くなる。
【００４５】
上述のように、αbgは背景の合成比率を表すパラメータであり、背景領域であれば動被写体確率ｆｐが０になるため、α＝αbgにより原画像の画素値が軌跡合成結果に反映される。つまり、原画像の画素が背景であっても過去の軌跡に原画像の画素値を合成するため、古い軌跡ほど背景に埋もれていくフェードアウトの効果を生み出すことが可能となる。このように、フェードアウト制御パラメータαbgによって軌跡のフェードアウトの度合いを制御することが可能となる。
【００４６】
軌跡合成値算出部１７３は、画素選択部１２０から信号線１２９を介して供給された処理対象画像Ｉｔと軌跡合成結果保持部１８０から信号線１８９を介して供給された直前の軌跡合成結果Ｓｔ−１とを合成比率生成部１７２によって生成された合成比率αにより合成するものである。ここで、時刻ｔの座標（ｘ，ｙ）の入力画像をＩ（ｘ，ｙ，ｔ）、時刻ｔ−１の軌跡合成結果をＳ（ｘ，ｙ，ｔ−１）とすると、時刻ｔの軌跡合成結果Ｓ（ｘ，ｙ，ｔ）は次式により算出される。
Ｓ（ｘ，ｙ，ｔ）＝α・Ｉ（ｘ，ｙ，ｔ）＋（１−α）・Ｓ（ｘ，ｙ，ｔ−１）
【００４７】
上式の処理を、座標（１，１）乃至（ｐ，ｑ）の全画素位置において繰り返すことにより、時刻ｔにおける軌跡画像が合成される。なお、上述のように、動被写体確率ｆｐが大きいほど合成比率αも大きくなるため、動被写体である処理対象画像Ｉｔは軌跡として合成結果に反映され易くなる。
【００４８】
ここで、フェードアウト制御パラメータαbgによる効果を説明するために、図７（ａ）、同図（ｂ）、同図（ｃ）、同図（ｄ）および同図（ｅ）の順番で撮像された撮像画像を入力画像として想定する。フェードアウト制御パラメータαbgとして「０」を設定した場合、合成比率αは動被写体確率ｆｐと一致する。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成の際に背景と動被写体が混ざることがないため、最終的に得られる軌跡合成画像には図８（ａ）のように動被写体の軌跡が全て濃く表示される。
【００４９】
一方、フェードアウト制御パラメータαbgとして「０．３」程度を設定した場合、合成比率αは「０．３」から「１」の間の値となる。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成されるたびに背景が動被写体に混ざっていくため、最終的に得られる軌跡合成画像には図８（ｂ）のように動被写体の軌跡が古いものほど薄く表示される。
【００５０】
また、軌跡合成画像は、図８（ａ）および（ｂ）のように１枚の軌跡合成画像として表示するだけでなく、図９や図１０のように動被写体の移動する途中の状態を複数枚の軌跡合成画像として時系列に表示してもよい。この場合も、上述のフェードアウト制御パラメータαbgを利用してフェードアウトの度合いを制御することができる。例えば、軌跡をはっきり残したい場合には、フェードアウト制御パラメータαbgとして「０」を設定すれば、合成比率αは動被写体確率ｆｐと一致する。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成の際に背景と動被写体が混ざることがないため、途中の軌跡合成画像には図９のように動被写体の軌跡が全て濃く表示される。
【００５１】
一方、軌跡をフェードアウトさせたい場合には、フェードアウト制御パラメータαbgとして「０．３」程度を設定すれば、合成比率αは「０．３」から「１」の間の値となる。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成されるたびに背景が動被写体に混ざっていくため、途中の軌跡合成画像には図１０のように動被写体の軌跡が古いものほど薄く表示される。
【００５２】
次に本発明の実施の形態における撮像装置の動作について図面を参照して説明する。図１１は、本発明の実施の形態における撮像装置による処理手順の一例を示す流れ図である。
【００５３】
まず、画素選択部１２０において、処理対象画像を中心として時系列順に前後の時刻の入力画像において、対応する画素位置の中から画素値が選択される（ステップＳ９１１）。この画素値選択の際の入力画像間の関係については、図３および図４により説明したとおりである。
【００５４】
そして、この選択された画素値に基づいて、動被写体検出部１６０において動被写体確率が生成される（ステップＳ９１２）。この動被写体確率の生成のための処理については、図５により説明したとおりである。
【００５５】
このようにして生成された動被写体確率に基づいて、軌跡合成部１７０において合成比率αが生成され、この合成比率αに応じて処理対象画像Ｉｔと直前の軌跡合成結果Ｓｔ−１とが合成されて、その結果が出力される（ステップＳ９１３）。
【００５６】
処理対象画像におけるｐ×ｑ画素の各画素位置について上述の処理が終了すると、その処理対象画像に関する処理は終了する（ステップＳ９１４）。これらステップＳ９１１乃至Ｓ９１３の処理は、各画素位置について独立に行うことが可能である。
【００５７】
時刻ｔの入力画像を処理対象画像としてステップＳ９１１乃至Ｓ９１４の処理が完了した後、引き続き時刻ｔ＋１以降の入力画像を処理対象画像としてステップＳ９１１乃至Ｓ９１４の処理を繰り返すことにより、軌跡合成画像を順次、時系列に生成していくことができる。これら処理対象画像の処理についても、各処理対象画像間において独立に行うことが可能である。
【００５８】
このように、本発明の実施の形態によれば、事前に背景を生成することなく、時系列の入力画像から直接、動被写体検出を行うため、背景推定の計算および背景画像の保持に要するコストを省いて効率良く動被写体の軌跡を得ることができる。また、このような逐次動体検出により、背景が変動するような状況においても、安定した動被写体検出を行うことができる。すなわち、撮像画像の背景の状態や、動被写体の数、大きさ、変形、色などに左右されずに、精度の高い動被写体の軌跡合成画像を生成することが可能な画像処理装置を実現することができる。
【００５９】
なお、本発明の実施の形態ではデジタルスチルカメラやデジタルビデオカメラなどの撮像装置によって連続撮影された複数枚の画像を想定して説明したが、本発明はこれに限定されるものではなく、再生機器において放送網やインターネットを介して取得された映像データ等も入力画像として適用することができる。
【００６０】
また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００６１】
すなわち、請求項１において、画素選択手段は例えば画素選択部１２０に対応する。また、動被写体検出手段は例えば動被写体検出部１６０に対応する。また、出力画像生成手段は例えば軌跡合成部１７０および軌跡合成結果保持部１８０に対応する。
【００６２】
また、請求項６において、出力画像保持手段は例えば軌跡合成結果保持部１８０に対応する。また、合成比率生成手段は例えば合成比率生成部１７２に対応する。また、合成値算出手段は例えば軌跡合成値算出部１７３に対応する。
【００６３】
また、請求項７において、背景合成比率保持手段は例えばフェードアウト制御パラメータ保持部１７１に対応する。
【００６４】
また、請求項８および９において、画素選択手順は例えばステップＳ９１１に対応する。また、動被写体検出手順は例えばステップＳ９１２に対応する。また、出力画像生成手順は例えばステップＳ９１３に対応する。
【００６５】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態における撮像装置の一例を示す図である。
【図２】本発明の実施の形態における撮像装置の画像処理回路２３の一実施例を示す図である。
【図３】本発明の実施の形態による画素選択部１２０における画素値選択の態様を示す図である。
【図４】本発明の実施の形態における画素値の選択間隔の例を示す図である。
【図５】本発明の実施の形態による動被写体検出部１６０における動被写体判定の態様を示す図である。
【図６】本発明の実施の形態における軌跡合成部１７０の一構成例を示す図である。
【図７】入力画像の一例を示す図である。
【図８】軌跡合成画像の一例を示す図である。
【図９】軌跡合成動画における時系列の出力例を示す図である。
【図１０】軌跡合成動画における時系列の他の出力例を示す図である。
【図１１】本発明の実施の形態における撮像装置による処理手順の一例を示す流れ図である。
【符号の説明】
【００６７】
１１ レンズ
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ Ｄ／Ａ変換回路
４２ ビデオエンコーダ
４３ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
１１０ 入力画像保持部
１２０ 画素選択部
１６０ 動被写体検出部
１７０ 軌跡合成部
１７１ フェードアウト制御パラメータ保持部
１７２ 合成比率生成部
１７３ 軌跡合成値算出部
１８０ 軌跡合成結果保持部
１９０ 軌跡合成画像表示部
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像を生成する方法として、例えば複数フレーム画像を単純に重ね合わせて合成する方法が考えられる。この単純な方法によると、フレーム数が多くなればなるほど、合成結果に対する一枚のフレームの寄与率が低くなり、動被写体の軌跡が薄くなってしまうという問題がある。例えば、図７のような５枚のフレーム画像を想定した場合、単純に合成を行うと、合成結果に対する各画素の寄与率は２０％になり、動被写体が横切る画素位置においては、動被写体が２０％、背景が８０％という比率で合成されるため、図８（ｃ）のように動被写体の軌跡が薄くなってしまう。
【０００３】
これに対し、単純な合成に改良を加えた手法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。この従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。これにより、合成画像において動被写体の重みが背景の重みより大きくなり、単純な合成方法に比べて動被写体の軌跡をはっきりさせるものである。
【０００４】
また、動被写体を抽出してその追跡を行うことによって動被写体の軌跡の合成を行う手法が提案されている（例えば、特許文献２参照。）。この従来技術では、動被写体の追跡が失敗した場合に、追跡が成功した時刻の動被写体の特徴量や位置などから動被写体を補間することにより、動被写体の抽出および追跡の精度を高めている。
【０００５】
しかしながら、動被写体の重みを大きくして合成する方法によれば、単純な合成方法に比べて動被写体の軌跡をはっきりさせるという効果があるが、背景以外は等しい重みによる多重合成になるため、背景以外のフレーム画像の数が多ければ多いほど軌跡に対する一枚の寄与率が低くなり、原画像と同等にはっきりとした軌跡を作成することは困難であった。また、輝度値の分散により背景を判断する方法では、画像の状態によっては背景とそれ以外を明確に区別することが困難な場合があった。また、動被写体を追跡する従来技術によれば、動被写体を補間しながら、任意の態様により軌跡を表示させることができるが、この場合、特徴量として動被写体の存在領域、色、輝度、テクスチャ等が用いられるため、これらの変化や変形などに対応できないという問題があった。また、動被写体が多い場合には、演算等に要するコストの関係上、それら全ての動被写体を追跡することが困難になるという問題があった。
【０００６】
そこで、背景画像を事前に求めておいて、この背景画像の画素値と入力画像の画素値との間の相違度を生成し、この相違度に応じて入力画像の画素値を出力画像としての軌跡合成画像に反映させることにより、動被写体の軌跡静止画や軌跡動画を生成する画像処理装置が提案されている（例えば、特許文献３参照。）。
【特許文献１】特開平１０−２９０４５０号公報（図１）
【特許文献２】特開２００５−１２３８２４号公報（図１）
【特許文献３】特開２００７−３２８７５５号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述のように、背景画像との相違度に応じて入力画像の画素値を軌跡合成画像に反映させる従来技術によれば、背景と異なる領域ほど軌跡合成画像への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。しかしながら、この場合、背景画像を事前に計算するため、軌跡合成画像の表示を開始するまでに待ち時間が生じてしまうという問題がある。また、背景画像を生成するためには入力画像を全て必要とするため、撮像の終了点が決まるまで軌跡合成を行うことができないという問題がある。さらに、背景画像を予め生成した場合、背景の変動に対して追従することができなくなるため、ある程度長い期間の撮像において不具合を生じるおそれがある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、応答性および安定性の高い軌跡合成画像生成を行うことを目的とする。
【課題を解決するための手段】
【０００９】
本発明は上記課題を解決するためになされたものであり、その第１の側面は、時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手段と、上記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手段と、上記画素位置のそれぞれについて上記動被写体情報に応じて上記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段とを具備することを特徴とする画像処理装置、その画像処理方法およびプログラムである。これにより、処理対象となる入力画像を中心として選択された複数の画素値に基づいて動被写体が検出され、その動被写体に関する情報に応じて出力画像の画素値が生成されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記動被写体検出手段は、上記処理対象である入力画像の画素値が動被写体である確率を上記動被写体情報として生成してもよい。この場合において、上記動被写体検出手段は、上記処理対象である入力画像を中心として時系列に選択された複数の画素値が上記処理対象である入力画像の画素値の所定の範囲内に存在しない確率を上記動被写体である確率としてもよい。
【００１１】
また、この第１の側面において、上記画素選択手段は、上記複数の画素値を時間的に等間隔に選択してもよく、また、上記処理対象である入力画像との時間的距離が近いほど時間的に高い頻度で上記複数の画素値を選択してもよい。選択される画素値を間引くことにより、選択される時間範囲を変更することなく画素値の数を減らし、動被写体確率生成の精度の劣化を抑えるという作用をもたらす。
【００１２】
また、この第１の側面において、上記出力画像生成手段は、上記出力画像の画素値を保持する出力画像保持手段と、上記画素位置のそれぞれについて上記動被写体情報に応じて合成比率を生成する合成比率生成手段と、上記画素位置のそれぞれについて上記合成比率に応じて上記処理対象である入力画像の画素値を上記出力画像保持手段に保持された上記出力画像の画素値と合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる合成値算出手段とを具備してもよい。これにより、動被写体情報に応じて生成された合成比率により、処理対象である入力画像の画素値と出力画像の画素値とを合成させるという作用をもたらす。また、この場合において、上記動被写体検出手段は、上記処理対象である入力画像の画素値が動被写体である確率を上記動被写体情報として生成し、上記出力画像生成手段は、上記処理対象である入力画像の画素値が動被写体でない場合の上記合成比率を背景合成比率として保持する背景合成比率保持手段をさらに備え、上記合成比率生成手段は、上記動被写体である確率と上記背景合成比率とに基づいて上記合成比率を生成してもよい。これにより、動被写体である確率と背景合成比率とに基づいて生成された合成比率により、処理対象である入力画像の画素値と出力画像の画素値とを合成させるという作用をもたらす。
【発明の効果】
【００１３】
本発明によれば、応答性および安定性の高い軌跡合成画像の生成を実現することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１４】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。
【００１６】
光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。
【００１７】
信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。
【００１８】
記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。
【００１９】
表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。
【００２０】
制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムをドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。
【００２１】
画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。
【００２２】
この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってデジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。
【００２３】
なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。
【００２４】
表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。
【００２５】
図２は、本発明の実施の形態における撮像装置の画像処理回路２３の一実施例を示す図である。この一実施例による画像処理回路２３は、入力画像保持部１１０と、画素選択部１２０と、動被写体検出部１６０と、軌跡合成部１７０と、軌跡合成結果保持部１８０と、軌跡合成画像表示部１９０とを備えている。
【００２６】
入力画像保持部１１０は、時系列に撮像されたｎ枚（ｎは２以上の整数）の入力画像（Ｉ１〜Ｉｎ）を保持するメモリである。ｎ枚の入力画像のうち、時系列に古いものから順に処理対象画像として扱われる。この入力画像保持部１１０は有限であるため、新しく入力画像が入力されると、保持されている入力画像の中で最も古いものから順に無効化され、上書きされていく。したがって、この入力画像保持部１１０には常に一定期間に相当する入力画像が保持されることになる。
【００２７】
画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ１〜Ｉｎ）の１枚を処理対象画像として、この処理対象画像を中心として時系列順に一定の範囲の入力画像において、対応する画素位置の中からｍ個（ｍ≦ｎ；ｍは２以上の整数）の画素値を選択するものである。画素位置の選択順は、例えば左上からスキャンライン順などが考えられる。例えば、入力画像のそれぞれが座標（１，１）乃至（ｐ，ｑ）のｐ×ｑ画素（ｐおよびｑは１以上の整数）からなる場合において、時刻ｔ（ｔは２以上の整数）の入力画像を処理対象画像Ｉｔとすると、画素選択部１２０は、まず、ｎ枚の入力画像の座標（１，１）の画素位置の画素値の中から処理対象画像Ｉｔを中心とするｍ個を選択する。画素選択部１２０は、次に、ｎ枚の入力画像の座標（１，２）の画素位置の画素値の中から処理対象画像Ｉｔを中心とするｍ個を選択する。この要領で、最終的には入力画像（Ｉ１〜Ｉｎ）に対してｍ個の画素値がｐ×ｑ組分選択されることになる。これら選択された画素値は、信号線１２８を介して動被写体検出部１６０に供給される。また、処理対象画像Ｉｔの画素値は動被写体検出部１６０および軌跡合成部１７０に供給される。
【００２８】
動被写体検出部１６０は、処理対象画像Ｉｔの各画素位置の画素値について、画素選択部１２０において選択されたｍ個の画素値に基づいて、動被写体確率を生成するものである。すなわち、動被写体検出部１６０は、処理対象画像Ｉｔの各画素位置の画素値について動被写体検出を行い、当該動被写体に関する情報として動被写体確率を生成する。生成された動被写体確率は軌跡合成部１７０に供給される。
【００２９】
軌跡合成部１７０は、動被写体検出部１６０によって生成された動被写体確率に基づいて合成比率を生成して、この合成比率により時刻ｔの処理対象画像Ｉｔと軌跡合成結果保持部１８０に保持されている時刻ｔ−１の軌跡合成結果とを合成して、時刻ｔの軌跡合成結果を生成するものである。生成された時刻ｔの軌跡合成結果は、信号線１７９を介して軌跡合成結果保持部１８０および軌跡合成画像表示部１９０に供給される。
【００３０】
軌跡合成結果保持部１８０は、軌跡合成部１７０による軌跡合成結果を保持するものである。この軌跡合成結果保持部１８０に保持された軌跡合成結果は、次の時刻で信号線１８９を介して軌跡合成部１７０に供給される。すなわち、時刻ｔの入力画像を処理対象画像としている時には、時刻ｔ−１の軌跡合成結果が軌跡合成部１７０に供給されることになる。
【００３１】
軌跡合成画像表示部１９０は、信号線１７９を介して軌跡合成部１７０から供給された軌跡合成結果に基づいて軌跡合成画像を表示するものである。この軌跡合成画像表示部１９０は、表示部４３をそのまま用いてもよく、また、撮像装置に接続された他の表示装置により実現されてもよい。
【００３２】
図３は、本発明の実施の形態による画素選択部１２０における画素値選択の態様を示す図である。画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ１〜Ｉｎ）のうち、時刻ｔの入力画像Ｉｔを処理対象画像として、その入力画像Ｉｔのｐ×ｑ画素の各画素位置について画素値の選択を行う。
【００３３】
入力画像Ｉｔにおける１つの画素位置の画素値Ｖｔについて動被写体を求めるためには、入力画像Ｉｔを中心とする他の入力画像における対応する画素位置の画素値が用いられる。例えば、時刻ｔ−ｉおよび時刻ｔ＋ｉの入力画像Ｉｔ−ｉおよびＩｔ−ｉにおける対応する画素位置の画素値Ｖｔ−ｉおよびＶｔ＋ｉが用いられる。
【００３４】
画素選択部１２０により選択される画素値の数は多いほど動被写体確率生成の精度を向上させるのに有利であるが、その一方で計算コストは増大する。そこで、以下のように動被写体確率生成の精度を考慮して画素値の選択間隔を調整することが望ましい。
【００３５】
図４は、本発明の実施の形態における画素値の選択間隔の例を示す図である。ここでは、入力画像（Ｉ１〜Ｉｎ）の時間方向を横軸に示している。同図（ａ）は、時刻ｔを中心とした一定の範囲内における画素値を全て選択した例である。同図（ｂ）は、時刻ｔを中心とした一定の範囲内における画素値を等間隔に間引いて選択した例である。同図（ｃ）は、時刻ｔを中心とした一定の範囲内において、時刻ｔに近いほど密に、遠いほど粗く画素値を選択した例である。すなわち、同図（ｃ）では、入力画像との時間的距離が近いほど時間的に高い頻度で画素値が選択されている。
【００３６】
このように、同図（ａ）と比べて、同図（ｂ）または（ｃ）のように画素値を選択することにより、選択される時間範囲を変更することなく画素値の数を減らすことができ、動被写体確率生成の精度の劣化を抑えることができる。
【００３７】
図５は、本発明の実施の形態による動被写体検出部１６０における動被写体判定の態様を示す図である。同図では、画素選択部１２０において選択された画素値が、時間と画素値の軸によりプロットされている。この例では、時刻ｔを中心に７個の画素値が選択されている。時刻ｔの画素値の動被写体確率を算出するために、まず、時刻ｔの画素値Ｖｔとその他の画素値との距離が算出される。そして、時刻ｔの画素値Ｖｔと近い距離の画素の割合が多いほど画素値Ｖｔが動被写体である確率は低くなると考えられるため、動被写体確率は低く算出される。一方、時刻ｔの画素値Ｖｔと近い距離の画素の割合が低いほど画素値Ｖｔが動被写体である確率は高くなると考えられるため、動被写体確率は高く算出される。
【００３８】
ここで、画素間の距離は例えば以下のように定義される。すなわち、画素値をＲＧＢ値で表した場合、画素値Ｖ１（Ｒ１、Ｇ１、Ｂ１）と画素値Ｖ２（Ｒ２、Ｇ２、Ｂ２）との間の距離は、ユークリッド空間における距離、各色空間における距離の総和、または、最大相違値を示す色空間における距離などにより表すことができる。なお、ここでは、ＲＧＢ色空間の例を示しているが、例えば、ＹＣｂＣｒ色空間やその他の色空間を用いるようにしても構わない。
【数１】
【００３９】
このようにして算出された距離に従って、動被写体確率が算出される。ここでは、時刻ｔの画素値Ｖｔを基準として、予め定められた判定閾値の範囲内に該当する他の画素値の数を計数して、その数をｃ（ｃは整数：０≦ｃ≦ｍ−１）とする。ｍは、上述のように、画素選択部１２０において選択された画素値の数である。これにより、動被写体確率ｆｐは、次式のように算出される。
【数２】
【００４０】
なお、上式では０以上１以下の実数により動被写体確率ｆｐを定義したが、計数値ｃが閾値ｔｈを超えているか否かによって、次式のように０または１の２値で定義するようにしてもよい。
【数３】
【００４１】
図６は、本発明の実施の形態における軌跡合成部１７０の一構成例を示す図である。この軌跡合成部１７０は、フェードアウト制御パラメータ保持部１７１と、合成比率生成部１７２と、軌跡合成値算出部１７３とを備えている。
【００４２】
フェードアウト制御パラメータ保持部１７１は、フェードアウト制御パラメータαbgを保持するものである。このフェードアウト制御パラメータαbgは、背景の合成比率を表すものであり、このフェードアウト制御パラメータαbgを大きく設定すると短期間で背景に埋もれてフェードアウトしていくことになる。
【００４３】
合成比率生成部１７２は、動被写体検出部１６０から信号線１６９を介して供給された動被写体確率ｆｐおよびフェードアウト制御パラメータ保持部１７１に保持されたフェードアウト制御パラメータαbgに基づいて、軌跡合成のための合成比率αを生成するものである。この合成比率αは、次式により算出される。
α＝αbg＋ｆｐ・（１−αbg）
【００４４】
動被写体確率ｆｐが大きい場合、αも大きくなり、合成時の原画像（処理対象画像Ｉｔ）の画素値の寄与率が高くなるため、原画像の画素値が軌跡として合成結果に反映され易くなる。一方、動被写体確率ｆｐが小さい場合、αも小さくなり、合成結果に対して過去の軌跡画像の寄与率が高くなるため、原画像の画素値が軌跡として合成結果に反映され難くなる。
【００４５】
上述のように、αbgは背景の合成比率を表すパラメータであり、背景領域であれば動被写体確率ｆｐが０になるため、α＝αbgにより原画像の画素値が軌跡合成結果に反映される。つまり、原画像の画素が背景であっても過去の軌跡に原画像の画素値を合成するため、古い軌跡ほど背景に埋もれていくフェードアウトの効果を生み出すことが可能となる。このように、フェードアウト制御パラメータαbgによって軌跡のフェードアウトの度合いを制御することが可能となる。
【００４６】
軌跡合成値算出部１７３は、画素選択部１２０から信号線１２９を介して供給された処理対象画像Ｉｔと軌跡合成結果保持部１８０から信号線１８９を介して供給された直前の軌跡合成結果Ｓｔ−１とを合成比率生成部１７２によって生成された合成比率αにより合成するものである。ここで、時刻ｔの座標（ｘ，ｙ）の入力画像をＩ（ｘ，ｙ，ｔ）、時刻ｔ−１の軌跡合成結果をＳ（ｘ，ｙ，ｔ−１）とすると、時刻ｔの軌跡合成結果Ｓ（ｘ，ｙ，ｔ）は次式により算出される。
Ｓ（ｘ，ｙ，ｔ）＝α・Ｉ（ｘ，ｙ，ｔ）＋（１−α）・Ｓ（ｘ，ｙ，ｔ−１）
【００４７】
上式の処理を、座標（１，１）乃至（ｐ，ｑ）の全画素位置において繰り返すことにより、時刻ｔにおける軌跡画像が合成される。なお、上述のように、動被写体確率ｆｐが大きいほど合成比率αも大きくなるため、動被写体である処理対象画像Ｉｔは軌跡として合成結果に反映され易くなる。
【００４８】
ここで、フェードアウト制御パラメータαbgによる効果を説明するために、図７（ａ）、同図（ｂ）、同図（ｃ）、同図（ｄ）および同図（ｅ）の順番で撮像された撮像画像を入力画像として想定する。フェードアウト制御パラメータαbgとして「０」を設定した場合、合成比率αは動被写体確率ｆｐと一致する。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成の際に背景と動被写体が混ざることがないため、最終的に得られる軌跡合成画像には図８（ａ）のように動被写体の軌跡が全て濃く表示される。
【００４９】
一方、フェードアウト制御パラメータαbgとして「０．３」程度を設定した場合、合成比率αは「０．３」から「１」の間の値となる。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成されるたびに背景が動被写体に混ざっていくため、最終的に得られる軌跡合成画像には図８（ｂ）のように動被写体の軌跡が古いものほど薄く表示される。
【００５０】
また、軌跡合成画像は、図８（ａ）および（ｂ）のように１枚の軌跡合成画像として表示するだけでなく、図９や図１０のように動被写体の移動する途中の状態を複数枚の軌跡合成画像として時系列に表示してもよい。この場合も、上述のフェードアウト制御パラメータαbgを利用してフェードアウトの度合いを制御することができる。例えば、軌跡をはっきり残したい場合には、フェードアウト制御パラメータαbgとして「０」を設定すれば、合成比率αは動被写体確率ｆｐと一致する。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成の際に背景と動被写体が混ざることがないため、途中の軌跡合成画像には図９のように動被写体の軌跡が全て濃く表示される。
【００５１】
一方、軌跡をフェードアウトさせたい場合には、フェードアウト制御パラメータαbgとして「０．３」程度を設定すれば、合成比率αは「０．３」から「１」の間の値となる。動被写体領域では動被写体確率ｆｐが「１」になり、背景領域では動被写体確率ｆｐが「０」になるとすると、合成されるたびに背景が動被写体に混ざっていくため、途中の軌跡合成画像には図１０のように動被写体の軌跡が古いものほど薄く表示される。
【００５２】
次に本発明の実施の形態における撮像装置の動作について図面を参照して説明する。図１１は、本発明の実施の形態における撮像装置による処理手順の一例を示す流れ図である。
【００５３】
まず、画素選択部１２０において、処理対象画像を中心として時系列順に前後の時刻の入力画像において、対応する画素位置の中から画素値が選択される（ステップＳ９１１）。この画素値選択の際の入力画像間の関係については、図３および図４により説明したとおりである。
【００５４】
そして、この選択された画素値に基づいて、動被写体検出部１６０において動被写体確率が生成される（ステップＳ９１２）。この動被写体確率の生成のための処理については、図５により説明したとおりである。
【００５５】
このようにして生成された動被写体確率に基づいて、軌跡合成部１７０において合成比率αが生成され、この合成比率αに応じて処理対象画像Ｉｔと直前の軌跡合成結果Ｓｔ−１とが合成されて、その結果が出力される（ステップＳ９１３）。
【００５６】
処理対象画像におけるｐ×ｑ画素の各画素位置について上述の処理が終了すると、その処理対象画像に関する処理は終了する（ステップＳ９１４）。これらステップＳ９１１乃至Ｓ９１３の処理は、各画素位置について独立に行うことが可能である。
【００５７】
時刻ｔの入力画像を処理対象画像としてステップＳ９１１乃至Ｓ９１４の処理が完了した後、引き続き時刻ｔ＋１以降の入力画像を処理対象画像としてステップＳ９１１乃至Ｓ９１４の処理を繰り返すことにより、軌跡合成画像を順次、時系列に生成していくことができる。これら処理対象画像の処理についても、各処理対象画像間において独立に行うことが可能である。
【００５８】
このように、本発明の実施の形態によれば、事前に背景を生成することなく、時系列の入力画像から直接、動被写体検出を行うため、背景推定の計算および背景画像の保持に要するコストを省いて効率良く動被写体の軌跡を得ることができる。また、このような逐次動体検出により、背景が変動するような状況においても、安定した動被写体検出を行うことができる。すなわち、撮像画像の背景の状態や、動被写体の数、大きさ、変形、色などに左右されずに、精度の高い動被写体の軌跡合成画像を生成することが可能な画像処理装置を実現することができる。
【００５９】
なお、本発明の実施の形態ではデジタルスチルカメラやデジタルビデオカメラなどの撮像装置によって連続撮影された複数枚の画像を想定して説明したが、本発明はこれに限定されるものではなく、再生機器において放送網やインターネットを介して取得された映像データ等も入力画像として適用することができる。
【００６０】
また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００６１】
すなわち、請求項１において、画素選択手段は例えば画素選択部１２０に対応する。また、動被写体検出手段は例えば動被写体検出部１６０に対応する。また、出力画像生成手段は例えば軌跡合成部１７０および軌跡合成結果保持部１８０に対応する。
【００６２】
また、請求項６において、出力画像保持手段は例えば軌跡合成結果保持部１８０に対応する。また、合成比率生成手段は例えば合成比率生成部１７２に対応する。また、合成値算出手段は例えば軌跡合成値算出部１７３に対応する。
【００６３】
また、請求項７において、背景合成比率保持手段は例えばフェードアウト制御パラメータ保持部１７１に対応する。
【００６４】
また、請求項８および９において、画素選択手順は例えばステップＳ９１１に対応する。また、動被写体検出手順は例えばステップＳ９１２に対応する。また、出力画像生成手順は例えばステップＳ９１３に対応する。
【００６５】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態における撮像装置の一例を示す図である。
【図２】本発明の実施の形態における撮像装置の画像処理回路２３の一実施例を示す図である。
【図３】本発明の実施の形態による画素選択部１２０における画素値選択の態様を示す図である。
【図４】本発明の実施の形態における画素値の選択間隔の例を示す図である。
【図５】本発明の実施の形態による動被写体検出部１６０における動被写体判定の態様を示す図である。
【図６】本発明の実施の形態における軌跡合成部１７０の一構成例を示す図である。
【図７】入力画像の一例を示す図である。
【図８】軌跡合成画像の一例を示す図である。
【図９】軌跡合成動画における時系列の出力例を示す図である。
【図１０】軌跡合成動画における時系列の他の出力例を示す図である。
【図１１】本発明の実施の形態における撮像装置による処理手順の一例を示す流れ図である。
【符号の説明】
【００６７】
１１ レンズ
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ Ｄ／Ａ変換回路
４２ ビデオエンコーダ
４３ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
１１０ 入力画像保持部
１２０ 画素選択部
１６０ 動被写体検出部
１７０ 軌跡合成部
１７１ フェードアウト制御パラメータ保持部
１７２ 合成比率生成部
１７３ 軌跡合成値算出部
１８０ 軌跡合成結果保持部
１９０ 軌跡合成画像表示部
【特許請求の範囲】
【請求項１】
時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手段と、
前記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手段と、
前記画素位置のそれぞれについて前記動被写体情報に応じて前記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記動被写体検出手段は、前記処理対象である入力画像の画素値が動被写体である確率を前記動被写体情報として生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動被写体検出手段は、前記処理対象である入力画像を中心として時系列に選択された複数の画素値が前記処理対象である入力画像の画素値の所定の範囲内に存在しない確率を前記動被写体である確率とすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画素選択手段は、前記複数の画素値を時間的に等間隔に選択することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記画素選択手段は、前記処理対象である入力画像との時間的距離が近いほど時間的に高い頻度で前記複数の画素値を選択することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記出力画像生成手段は、
前記出力画像の画素値を保持する出力画像保持手段と、
前記画素位置のそれぞれについて前記動被写体情報に応じて合成比率を生成する合成比率生成手段と、
前記画素位置のそれぞれについて前記合成比率に応じて前記処理対象である入力画像の画素値を前記出力画像保持手段に保持された前記出力画像の画素値と合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる合成値算出手段とを具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記動被写体検出手段は、前記処理対象である入力画像の画素値が動被写体である確率を前記動被写体情報として生成し、
前記出力画像生成手段は、前記処理対象である入力画像の画素値が動被写体でない場合の前記合成比率を背景合成比率として保持する背景合成比率保持手段をさらに備え、
前記合成比率生成手段は、前記動被写体である確率と前記背景合成比率とに基づいて前記合成比率を生成する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて注目となる入力画像を中心として複数の画素値を時系列に選択する画素選択手順と、
前記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手順と、
前記画素位置のそれぞれについて前記動被写体情報に応じて前記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手順と
を具備することを特徴とする画像処理方法。
【請求項９】
時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を時系列に選択する画素選択手順と、
前記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手順と、
前記画素位置のそれぞれについて前記動被写体情報に応じて前記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手段と、
前記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手段と、
前記画素位置のそれぞれについて前記動被写体情報に応じて前記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記動被写体検出手段は、前記処理対象である入力画像の画素値が動被写体である確率を前記動被写体情報として生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動被写体検出手段は、前記処理対象である入力画像を中心として時系列に選択された複数の画素値が前記処理対象である入力画像の画素値の所定の範囲内に存在しない確率を前記動被写体である確率とすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画素選択手段は、前記複数の画素値を時間的に等間隔に選択することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記画素選択手段は、前記処理対象である入力画像との時間的距離が近いほど時間的に高い頻度で前記複数の画素値を選択することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記出力画像生成手段は、
前記出力画像の画素値を保持する出力画像保持手段と、
前記画素位置のそれぞれについて前記動被写体情報に応じて合成比率を生成する合成比率生成手段と、
前記画素位置のそれぞれについて前記合成比率に応じて前記処理対象である入力画像の画素値を前記出力画像保持手段に保持された前記出力画像の画素値と合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる合成値算出手段とを具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記動被写体検出手段は、前記処理対象である入力画像の画素値が動被写体である確率を前記動被写体情報として生成し、
前記出力画像生成手段は、前記処理対象である入力画像の画素値が動被写体でない場合の前記合成比率を背景合成比率として保持する背景合成比率保持手段をさらに備え、
前記合成比率生成手段は、前記動被写体である確率と前記背景合成比率とに基づいて前記合成比率を生成する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて注目となる入力画像を中心として複数の画素値を時系列に選択する画素選択手順と、
前記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手順と、
前記画素位置のそれぞれについて前記動被写体情報に応じて前記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手順と
を具備することを特徴とする画像処理方法。
【請求項９】
時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を時系列に選択する画素選択手順と、
前記選択された複数の画素値に基づいて動被写体を検出して当該動被写体に関する情報を動被写体情報として生成する動被写体検出手順と、
前記画素位置のそれぞれについて前記動被写体情報に応じて前記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手順と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１８１２５８（Ｐ２００９−１８１２５８Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−１８６３６（Ｐ２００８−１８６３６）
【出願日】平成２０年１月３０日（２００８．１．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月３０日（２００８．１．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]