画像処理プログラム、及び画像処理装置
【課題】被写体の動きに応じた好適なトリミング画像を生成する画像処理プログラムを提供することにある。
【解決手段】画像処理プログラムは、画像処理装置としてのコンピュータに、時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングして、トリミング画像を生成するトリミング手順と、撮像された複数の画像のうち少なくとも２つの画像間において、任意の画像領域の位置の変化、または所定の被写体画像の位置の変化を検出する位置検出手順と、位置検出手順により検出された位置の変化に基づいて、トリミング画像内のうち所定の被写体画像の画像領域外となる背景画像領域の高周波数成分を抑圧する画像処理手順と、を実行させる。
【解決手段】画像処理プログラムは、画像処理装置としてのコンピュータに、時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングして、トリミング画像を生成するトリミング手順と、撮像された複数の画像のうち少なくとも２つの画像間において、任意の画像領域の位置の変化、または所定の被写体画像の位置の変化を検出する位置検出手順と、位置検出手順により検出された位置の変化に基づいて、トリミング画像内のうち所定の被写体画像の画像領域外となる背景画像領域の高周波数成分を抑圧する画像処理手順と、を実行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、及び画像処理装置に関する。
【背景技術】
【０００２】
時系列で撮像された複数の画像に対して、主要被写体の動きに応じて、当該主要被写体が含まれるように各画像のトリミング領域を移動させてトリミング画像を生成する技術がある（特許文献１参照）。例えば、動きのある主要被写体を撮像する場合、広角で撮像することにより主要被写体が撮像領域から外れてしまうことを防止し、撮影後に複数の画像から主要被写体の動きに応じたトリミング画像を生成する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３２８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、広角で撮像された画像から主要被写体を含むよう生成されたトリミング画像と、望遠で主要被写体の動きに応じて撮像された画像とを比較すると、トリミング画像は背景の像流れ等が生じないため、主要被写体の動きが感じられなく臨場感が乏しいことがある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、主要被写体の動きが感じられる臨場感のあるトリミング画像を生成する画像処理プログラム、および画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明は、画像処理装置としてのコンピュータに、時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングして、トリミング画像を生成するトリミング手順と、前記複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出手順と、前記位置検出手順により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外である背景画像領域内の高周波数成分を抑圧する画像処理手順と、を実行させることを特徴とする画像処理プログラムである。
【０００７】
また、本発明は、時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングして、トリミング画像を生成するトリミング部と、前記撮像された複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出部と、前記位置検出部により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外である背景画像領域の高周波数成分を抑圧する画像処理部と、を備えることを特徴とする画像処理装置である。
【発明の効果】
【０００８】
この発明によれば、主要被写体の動きが感じられる臨場感のあるトリミング画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態による画像処理装置の構成を示すブロック図である。
【図２】画像処理装置における画像処理の概要の一例を示す説明図である。
【図３】高周波数成分を抑圧するフィルタの選択例を示す図である。
【図４】本実施形態における画像処理を示すフローチャートである。
【図５】画像処理装置を備えている撮像装置の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施形態による画像処理装置１００の構成を示す概略ブロック図である。
図１に示す画像処理装置１００は、画像入力部１、記憶装置２、処理部３、操作部４、及び表示装置５を備えている。
【００１１】
画像入力部１には、画像処理装置１００において画像処理をする対象となる時系列で撮像された画像（動画像）、例えばビデオカメラやデジタルスチルカメラ等の撮像装置により撮像された動画像が入力される。画像入力部１は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）、またはＩＥＥＥ１３９４（Institute of Electrical and Electronics Engineers 1394）等の端子を備えている。そして、画像入力部１には、当該備えている端子を介して動画像が入力される。なお、時系列で撮像された画像は動画像に限られるものではなく、異なる時刻に撮像された一連の複数の静止画像であってもよい。
【００１２】
記憶装置２は、メモリカード等の記憶媒体２１を着脱可能なコネクタを備えている。そして、記憶装置２は、画像処理装置１００において画像処理された動画像を、挿入されている記憶媒体２１に記憶させる。
【００１３】
なお、記憶装置２は、着脱可能な記憶媒体２１とは別に、ハードディスク装置等の磁気記憶装置を備えていてもよく、動画像の書き込み及び読み出しを磁気記憶装置及び記憶媒体２１に対して適宜制御する構成であってもよい。更に、記憶装置２は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものであってもよい。
【００１４】
処理部３は、時系列で撮像された画像に対して画像処理をする。例えば、処理部３は、画像入力部１から入力された動画像に対して、所定の被写体画像を含む画像領域をトリミングして、トリミング画像を生成する。また、処理部３は、動画像を構成する複数のフレーム画像のうち２つのフレーム画像間において、トリミングした画像領域の位置の変化、または所定の被写体画像の位置の変化を検出し、検出した結果に基づいて所定の画像処理を実行する。ここで、所定の被写体画像とは、例えば、動画像におけるユーザーにより選択された主要被写体画像である。以下、所定の被写体画像を、主要被写体画像とも記述する。
【００１５】
操作部４は、画像処理装置１００に対してユーザーが操作入力するための各種の操作部材を備えている。例えば、操作部４には、画像処理をする対象となる動画像ファイルの選択、主要被写体画像（所定の被写体画像）の選択、及びトリミング領域の設定等がユーザーの操作により入力される。なお、操作部４は、表示装置５の表示面に備えられているタッチパネルであってもよい。また、操作部４は、キーボード、マウス等の入力デバイスであってもよい。
【００１６】
表示装置５は、画像処理装置１００において画像や操作画面等を表示する。例えば、表示装置５は、入力された動画像、トリミングされた動画像、画像処理後の動画像、被写体画像の選択画面、トリミング画像、またはトリミング領域の設定画面、等を表示する。
【００１７】
次に、処理部３の構成について詳しく説明する。
なお、本実施形態において、トリミング画像の画像領域をトリミング領域とも記述する。また、本実施形態において、主要被写体画像の画像領域を主要被写体画像領域、及び、トリミング領域のうち主要被写体画像以外の画像領域を背景画像領域とも記述する。
【００１８】
本実施形態における画像処理装置１００の処理部３は、撮像された動画像から、主要被写体画像を含む画像領域をトリミングしてトリミング画像を生成する際に、主要被写体画像の位置の変化に応じて、トリミング領域のうち背景画像領域に対して高周波数成分を抑圧する処理を実行する。
【００１９】
例えば、動きのある主要被写体を望遠で、その主要被写体の動きに合わせて撮像した場合、画像の背景領域には像流れが生じる。そのため、主要被写体の動きが感じられるような臨場感ある動画像が得られる。ところが、動きのある主要被写体を適切な望遠で、その動きに合わせて撮像し続けることは一般的なユーザーにとっては困難である。そこで、動きのある主要被写体の動画像を得る時には、予め主要被写体を含むよう広角で撮像しておき、撮影後に画像から主要被写体が拡大されるようにトリミングして、望遠で撮像した時と同様な画角の動画像を得る方法もある。しかし、広角で撮像された画像から得られたトリミング画像は、望遠で撮像された画像と比べて、背景領域に像流れが生じないため、主要被写体の動きが感じられるような臨場感ある動画像が得られない。
【００２０】
そこで、本実施形態における画像処理装置１００の処理部３は、動きのある主要被写体画像を含む画像をトリミングしてトリミング画像を生成する際に、背景画像領域の高周波数成分を抑圧する処理を実行する。
【００２１】
図２は、画像処理装置１００における画像処理の概要の一例を示す説明図である。図２（ａ）は、右から左へ向かって走行する車が広角で撮像された動画像のうち、時刻t１及び時刻t2における２つのフレーム画像を示している。図２（ａ）において、符号P1に示す領域は、時刻t１におけるフレーム画像に対するトリミング領域を示している。また、符号P2に示す領域は、時刻t2におけるフレーム画像に対するトリミング領域を示している。そして、図２（ａ）は、画像処理装置１００において、車の画像が主要被写体画像として選択されている場合であり、時刻t1から時刻t2に時刻が進むのに対応して、車の画像の位置が右から左へ移動しているのに合わせてトリミング領域の位置も右から左へ移動していること示している。
【００２２】
図２（ｂ）及び図２（ｃ）は、図２（ａ）の時刻t2におけるフレーム画像に対して、符号P2に示すトリミング領域から生成されたトリミング画像の一例を示している。図２（ｂ）は、図２（ａ）において画像処理装置１００がトリミング処理のみ実行した場合のフレーム画像を示している。一方、図２（ｃ）は、図２（ａ）において画像処理装置１００が車の画像の位置の変化に応じて背景画像領域に対して高周波数成分を抑圧する処理を実行した場合のフレーム画像を示している。これによれば、図２（ｃ）に示すトリミング画像は、図２（ｂ）に示すトリミング画像と異なり、背景画像領域に対して高周波数成分を抑圧する処理がされているため、背景画像に像流れが生じた場合と同様の効果が得られた画像となる。なお、図２（ａ）の時刻t1におけるフレーム画像に対するトリミング画像においても、背景画像領域に対して高周波数成分を抑圧する処理を実行した場合、時刻t2におけるフレーム画像に対するトリミング画像と同様の効果が得られた画像となる。さらに、画像処理装置１００によって、動画像のそれぞれのフレーム画像から車を含むトリミング画像を生成し、トリミング画像の背景画像領域に対して高周波数成分を抑圧する処理を実行すれば、トリミング画像をフレーム画像として生成した動画像は背景画像に像流れが生じた場合と同様の効果が得られた動画像となる。
【００２３】
処理部３は、被写体選択部３１、トリミング部３２、位置検出部３３、及び画像処理部３４を備えている。
被写体選択部３１は、ユーザーが操作部４から操作入力することにより、動画像内において主要被写体画像（所定の被写体画像）を選択する。例えば、被写体選択部３１は、動画像のうちの１フレーム画像を表示装置５に表示させ、当該フレーム画像内から主要被写体画像に選択する被写体画像をユーザーに選択させる。そして、被写体選択部３１は、ユーザーにより選択された被写体画像を主要被写体画像として設定し、選択した主要被写体の画像をテンプレート画像として記憶装置２に記憶させる。なお、主要被写体画像を選択する方法は、予め主要被写体画像の候補となる被写体のテンプレート画像が記憶装置２に記憶されて登録されており、登録されているテンプレート画像の中から主要被写体画像をユーザーに選択させる方法であってもよい。また、主要被写体画像を選択する方法は、顔検出情報、レンズのＡＦ(Auto Focus)情報、画像のコントラスト情報や色情報、及びフレーム画像間の動きベクトルの情報等に基づいて、動画像から主要被写体画像を推定して設定する方法であってもよい。
【００２４】
トリミング部３２は、時系列で撮像された複数の画像（例えば、動画像）のそれぞれのフレーム画像から、被写体選択部３１により選択された主要被写体画像（所定の被写体画像）を含む画像領域をトリミングして、トリミング画像を生成する。例えば、トリミング部３２は、ユーザーが操作部４より入力したトリミング領域の位置または大きさに基づいて、トリミング領域を設定する。そして、トリミング部３２は、動画像のそれぞれのフレーム画像において、被写体選択部３１により選択され記憶装置２に記憶された主要被写体画像のテンプレート画像とテンプレートマッチングをすることにより、主要被写体画像の位置を検出し、検出した位置の変化に応じて、設定されたトリミング領域の位置を変更する。これにより、トリミング部３２は、主要被写体画像の位置の変化に応じて、主要被写体画像が含まれるように、トリミング領域の位置を移動する。
【００２５】
なお、トリミング部３２は、被写体選択部３１により選択された主要被写体画像の大きさに基づいて、主要被写体を含む画像に対して予め定められた大きさの背景領域を周辺に加えた画像領域を、トリミング領域として設定してもよい。また、トリミング部３２は、主要被写体が人物である場合、顔検出技術により検出された顔の大きさに基づいて、当該顔の大きさに対応して予め定められた大きさの画像領域をトリミング領域として設定してもよい。
【００２６】
なお、トリミング部３２は、主要被写体が人物である場合、主要被写体の特徴を示す情報に基づいて、動画像のそれぞれのフレーム画像において人物認証（個人認証）を行うことにより、主要被写体画像の位置の変化に応じてトリミング領域の位置を変更してもよい。具体的には、例えば、トリミング部３２は、主要被写体の髪型、顔の輪郭、または眼鏡の有無等に基づいて、動画像のそれぞれのフレーム画像において人物認証（個人認証）を行うことにより、主要被写体画像の位置の変化に応じてトリミング領域の位置を変更してもよい。
【００２７】
位置検出部３３は、時系列に撮像された画像のうち２つの画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出する。例えば、位置検出部３３は、動画像の２つのフレーム画像間において、トリミング部３２により設定されたトリミング領域の位置の変化量、または、被写体選択部３１により選択された主要被写体画像の位置の変化量を検出する。また、位置検出部３３は、動画像の２つのフレーム画像間において、トリミング部３２により設定されたトリミング領域の位置の変化方向、または、被写体選択部３１により選択された主要被写体画像の位置の変化した方向を検出する。
【００２８】
画像処理部３４は、位置検出部３３により検出された位置の変化に基づいて、トリミング画像のトリミング領域のうち、主要被写体画像（所定の被写体画像）以外の画像領域である背景画像領域の画像に対して高周波数成分を抑圧する。
【００２９】
例えば、画像処理部３４は、位置検出部３３により検出された位置の変化量が大きくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。一方、位置検出部３３により検出された位置の変化量が小さくなるほど、背景画像領域の高周波数成分を抑圧する量を小さくする。
【００３０】
また、画像処理部３４は、位置検出部３３により検出された位置の変化方向に基づいて、背景画像領域の画像に対して当該変化方向に対応する方向における高周波数成分を抑圧する。すなわち、画像処理部３４は、検出された位置の変化方向が水平方向である場合、水平方向の高周波数成分を抑圧し、検出された位置の変化方向が垂直方向である場合、垂直方向の高周波数成分を抑圧する。また、画像処理部３４は、検出された位置の変化方向が右斜め方向である場合、右斜め方向の高周波数成分を抑圧し、検出された位置の変化方向が左斜め方向である場合、左斜め方向の高周波数成分を抑圧する。
【００３１】
また、画像処理部３４は、トリミング部３２によりトリミングされるトリミング領域のサイズが小さくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。一方、トリミング部３２によりトリミングされるトリミング領域のサイズが大きくなるほど、背景画像領域の高周波数成分を抑圧する量を小さくする。
【００３２】
このように、画像処理部３４は、位置検出部３３により検出された位置の変化量もしくは変化方向、またはトリミング領域のサイズに基づいて、背景画像領域の高周波数成分を抑圧する。例えば、画像処理部３４は、位置検出部３３により検出された位置の変化量もしくは変化方向、またはトリミング領域のサイズに基づいて、高周波数成分を抑圧するフィルタを選択する。そして、選択したフィルタに基づいて画像処理することにより、背景画像領域の高周波数成分を抑圧する処理を実行する。
【００３３】
図３は、高周波数成分を抑圧するフィルタの選択例を示す図である。
ここで、図３においては、高周波数成分を抑圧するフィルタとして、ＬＰＦ（ローパスフィルタ）を例としている。この図を用いて、位置検出部３３により検出された位置の変化量、もしくは変化方向、またはトリミング部３２によりトリミングされたトリミング領域のサイズに基づいて、画像処理部３４が選択するＬＰＦの例について説明する。なお、以下の説明において、トリミング領域のサイズをトリミングサイズＤとも記述する。
【００３４】
図３（ａ）は、トリミングサイズＤが小さい場合であって、トリミングサイズＤが予め定められた閾値Ｄth以下の場合に選択されるＬＰＦを示している。一方、図３（ｂ）は、トリミングサイズＤが大きい場合であって、トリミングサイズＤが予め定められた閾値Ｄthより大きい場合に選択されるＬＰＦを示している。
【００３５】
さらに、図３（ａ）及び図３（ｂ）においては、位置検出部３３により検出された位置の変化量及び変化方向に基づいて選択されるＬＰＦとして、それぞれの変化量及び変化方向に対応したそれぞれのＬＰＦを示している。ここで、主要被写体の位置の変化に合わせてトリミング領域の位置が動いた場合、トリミング領域の位置の動きと主要被写体画像の位置の動きとが一致する。そのため、この図において、トリミング領域の位置の変化量、及び主要被写体画像の位置の変化量を区別せずに検出された位置の変化量Ｍとする。同様に、トリミング領域の位置の変化方向、及び主要被写体画像の位置の変化方向も区別せずに検出された位置の変化方向とする。
【００３６】
また、図３において、画像処理部３４は、検出された位置の変化量Ｍを、２つの予め定められた閾値Ｍth1,Ｍth2と比較して、検出された位置の変化量Ｍの大きさを判定する。例えば、画像処理部３４は、「Ｍ≦Ｍth1」の場合に主要被写体画像の動きが無い、「Ｍth1＜Ｍ≦Ｍth2」の場合に主要被写体画像の動きが小さい、「Ｍth2＜Ｍ」の場合に変化動きが大きいと判定し、それぞれに対応するＬＰＦを選択する。
【００３７】
また、画像処理部３４は、検出された位置の変化方向を、水平方向、垂直方向、右斜め方向、及び左斜め方向の４方向に分類している。例えば、画像処理部３４は、検出された位置の変化方向の角度を、予め定められた角度の閾値と比較することで、上述の４方向に分類する。そして、画像処理部３４は、検出された位置の変化方向が水平方向、垂直方向、右斜め方向、または左斜め方向である場合、それぞれの方向に対応する水平方向、垂直方向、右斜め方向、または左斜め方向のＬＰＦを選択する。
【００３８】
以下の説明において、図３（ａ）及び図３（ｂ）において、ＬＰＦの選択例として符号(a1)〜(a12)及び符号(b1)〜(b12)で示すＬＰＦを、それぞれ、ＬＰＦ(a1)〜ＬＰＦ(a12)及びＬＰＦ(b1)〜ＬＰＦ(b12)と記述する。
【００３９】
図３（ａ）において、画像処理部３４は、検出された位置の変化方向が水平方向であって、変化量Ｍが「Ｍ≦Ｍth1」（主要被写体画像の動きが無い）である場合、ＬＰＦ(a1)を選択する。ＬＰＦ(a1)は、水平方向「１×３ブロック」のＬＰＦであるが、中央ブロックの重み付けが１であってその前後の２ブロックの重み付けがそれぞれ０である。よって、ＬＰＦ(a1)の各ブロックにおいて重み付けの値を積算し、積算した値を加算して算出した中央ブロックの値が算出前の値と等しくなる。そのため、ＬＰＦ(a1)は、高周波数成分を抑圧する効果が無いＬＰＦである。すなわち、検出された位置の変化量Ｍが「Ｍ≦Ｍth1」である場合とは主要被写体画像の動きが無い場合であるため、画像処理部３４は、高周波数成分を抑圧する効果が無いＬＰＦを選択する。そして、画像処理部３４は、検出された位置の変化量Ｍが「Ｍ≦Ｍth1」である場合、変化方向が垂直方向、右斜め方向、及び左斜め方向においても、ＬＰＦの方向はそれぞれの方向に対応しているが、水平方向と同様に高周波数成分を抑圧する効果がないＬＰＦ(a4)、ＬＰＦ(a7)、またはＬＰＦ(a10)を選択する。
【００４０】
次に、図３（ａ）において、画像処理部３４は、検出された位置の変化方向が水平方向であって、変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」（主要被写体画像の動きが小さい）である場合、ＬＰＦ(a2)を選択する。ＬＰＦ(a2)は、水平方向「１×３ブロック」のＬＰＦであって各ブロックの重み付けがそれぞれ１／３である。よって、ＬＰＦ(a2)によれば、中央ブロックの値は、中央ブロック及びその前後それぞれ１ブロックの合計３ブロックをそれぞれ同じ重み付けで加算平均した値となる。また、画像処理部３４は、検出された位置の変化方向が水平方向であって、変化量Ｍが「Ｍth2＜Ｍ」（主要被写体画像の動きが大きい）である場合、ＬＰＦ(a3)を選択する。ＬＰＦ(a3)は、水平方向「１×５ブロック」のＬＰＦであって各ブロックの重み付けがそれぞれ１／５である。よって、ＬＰＦ(a3)によれば、中央ブロックの値は、中央ブロック及びその前後それぞれ２ブロックの合計５ブロックをそれぞれ同じ重み付けで加算平均した値となる。
【００４１】
よって、画像処理部３４は、検出された変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」（主要被写体画像の動きが小さい）である場合、変化量Ｍが「Ｍ≦Ｍth1」（主要被写体画像の動きが無い）である場合に比較して、高周波数成分を抑圧する効果があるＬＰＦ(a2)を選択する。また、画像処理部３４は、検出された位置の変化量Ｍが「Ｍth2＜Ｍ」（主要被写体画像の動きが大きい）である場合、変化量Ｍが「「Ｍth1＜Ｍ≦Ｍth2」（主要被写体画像動きが小さい）である場合に比較して、高周波数成分を抑圧する効果が大きいＬＰＦ(a3)を選択する。
このように、画像処理部３４は、位置検出部３３により検出された位置の変化量が大きくなるに応じて、高周波数成分を抑圧する量が大きいＬＰＦを選択する。
【００４２】
そして、画像処理部３４は、検出された位置の変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」である場合であって、検出された位置の変化方向が垂直方向、右斜め方向、または左斜め方向の場合、水平方向のＬＰＦ(a2)に対して高周波数成分を抑圧する量が同じであって、抑圧する方向のみが垂直方向、右斜め方向、または左斜め方向のそれぞれの方向に対応されたＬＰＦ(a5)、ＬＰＦ(a8)、またはＬＰＦ(a11)を選択する。また、画像処理部３４は、検出された変化量Ｍが「Ｍth2＜Ｍ」である場合であって、検出された変化方向が垂直方向、右斜め方向、または左斜め方向の場合、水平方向のＬＰＦ(a3) に対して高周波数成分を抑圧する量が同じであって、抑圧する方向のみが垂直方向、右斜め方向、または左斜め方向のそれぞれの方向に対応されたＬＰＦ(a6)、ＬＰＦ(a9)、またはＬＰＦ(a12)を選択する。
このように、画像処理部３４は、位置検出部３３により検出された位置の変化方向に基づいて、当該変化方向に対応する方向における高周波数成分を抑圧するＬＰＦを選択する。
【００４３】
図３（ｂ）は、図３（ａ）に対してトリミングサイズＤが大きい場合のＬＰＦの選択例である。図３（ｂ）のＬＰＦ(b1)〜ＬＰＦ(b12)は、図３（ａ）のＬＰＦ(ａ1)〜ＬＰＦ(ａ12)と対応している。変化量Ｍが「Ｍ≦Ｍth1」である場合、画像処理部３４は、図３（ａ）と同様にＬＰＦの効果が無いＬＰＦ(b1)、ＬＰＦ(b4)、ＬＰＦ(b7)、またはＬＰＦ(b10)を選択する。また、画像処理部３４は、変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」である場合、ＬＰＦ(b2)、ＬＰＦ(b5)、ＬＰＦ(b8)、またはＬＰＦ(b11)を選択し、変化量Ｍが「Ｍth2＜Ｍ」である場合、ＬＰＦ(b3)、ＬＰＦ(b6)、ＬＰＦ(b9)、またはＬＰＦ(b12)を選択する。
【００４４】
図３（ｂ）のＬＰＦ(b2)、ＬＰＦ(b5)、ＬＰＦ(b8)、及びＬＰＦ(b11)は、対応する図３（ａ）のＬＰＦ(a2)、ＬＰＦ(a5)、ＬＰＦ(a8)、及びＬＰＦ(a11)と比較すると、同じ「１×３ブロック」のＬＰＦであるが、中央ブロックの重み付けが前後のブロックの重み付けより大きいためＬＰＦの効果が小さい。また、図３（ｂ）のＬＰＦ(b3)、ＬＰＦ(b6)、ＬＰＦ(b9)、及びＬＰＦ(b12)は、対応する図３（ａ）のＬＰＦ(a3)、ＬＰＦ(a6)、ＬＰＦ(a9)、及びＬＰＦ(a12)と比較すると、同じ「１×５ブロック」のＬＰＦであるが、中央ブロックに近いブロックの重み付けが中央ブロックに遠いブロックの重み付けより大きいためＬＰＦの効果が小さい。つまり、図３（ａ）において設定されているＬＰＦ、すなわち図３（ｂ）に対してトリミングサイズＤが小さい場合において設定されているＬＰＦは、図３（ｂ）に設定されているＬＰＦに比較して、高周波数成分を抑圧する量が大きくＬＰＦの効果が大きい。
【００４５】
よって、画像処理部３４は、トリミングサイズＤが予め定められた閾値Ｄth以下の場合、図３（ｂ）に示すＬＰＦよりも高周波数成分を抑圧する量が大きい図３（ａ）に示すＬＰＦを選択する。すなわち、画像処理部３４は、トリミング部３２によりトリミングされるトリミングサイズＤが小さくなるに応じて、背景画像領域の画像に対して高周波数成分を抑圧する量が大きいＬＰＦを選択する。一方、画像処理部３４は、トリミングサイズＤが予め定められた閾値Ｄthより大きい場合、図３（ａ）に示すＬＰＦよりも高周波数成分を抑圧する量が小さい図３（ｂ）に示すＬＰＦを選択する。すなわち、画像処理部３４は、トリミング部３２によりトリミングされるトリミングサイズＤが大きくなるに応じて、背景画像領域の画像に対して高周波数成分を抑圧する量が小さいＬＰＦを選択する。
【００４６】
以下、トリミングサイズに応じて、高周波成分を抑圧する量を変更する理由について説明する。表示装置に画像を表示する際、表示装置の表示画素数は一定であるため、トリミングサイズが小さい場合、トリミングサイズが大きい場合よりも大きな拡大倍率で拡大する必要がある。つまり、広角で撮影されたうえで、トリミング領域内の被写体が同一速度で移動したときであっても、トリミングサイズが小さい場合、表示画面上ではトリミングサイズが大きい場合と比較して背景の移動速度が大きくなる。したがって、トリミングサイズに応じて高周波成分を抑圧する量を変更することで、より臨場感のある画像を得ることができる。
【００４７】
以上、図３を用いて説明したように、画像処理部３４は、位置検出部３３により検出された位置の変化量、もしくは変化方向、またはトリミング部３２によりトリミングされたトリミング領域のサイズに基づいて、それぞれに適した効果のＬＰＦを選択する。そして、画像処理部３４は、背景画像領域の画像に対して選択したフィルタに基づいて画像処理することにより高周波数成分を抑圧する。
【００４８】
次に、本実施形態における画像処理の動作を説明する。
図４は、本実施形態における画像処理を示すフローチャートである。
以下、図４が示すフローチャートを用いて、画像処理装置１００の画像処理について説明する。なお、この図は、画像処理装置１００が、主要被写体画像の位置の変化に基づいて、トリミング領域のうち主要被写体画像以外の背景画像に高周波数成分を抑圧してトリミング画像を生成する場合の処理を示すフローチャートである。
【００４９】
画像処理装置１００に画像入力部１から動画像のデータが入力されて、画像処理装置１００の処理部３は、画像処理動作を開始する（ステップＳ１）。次に、ユーザーが操作部４から操作入力することにより、処理部３の被写体選択部３１は、動画像内において主要被写体（所定の被写体）画像を選択する。具体的には、処理部３は、動画像のうちの１フレーム画像を表示装置５に表示させ、当該フレーム画像内のから主要被写体画像をユーザーに指定させる。そして、被写体選択部３１は、ユーザーにより指定された被写体画像を主要被写体画像として選択し、テンプレート画像として記憶装置２に記憶させる（ステップＳ２）。
【００５０】
次に、処理部３のトリミング部３２は、ユーザーが操作部４より入力したトリミング領域の位置または大きさに基づいて、トリミング領域を設定する。また、トリミング部３２は、最初のフレーム画像においてユーザーによりトリミング領域が設定された後は、記憶装置２に記憶されている主要被写体画像のテンプレート画像を用いて、動画像のそれぞれのフレーム画像においてテンプレートマッチングをすることにより、主要被写体画像の位置を検出し、検出した位置に応じて設定されたトリミング領域の位置を変更して設定する（ステップＳ３）。
【００５１】
次に、処理部３の位置検出部３３は、入力された動画像における現在のフレーム画像と直前のフレーム画像との２つの画像間における主要被写体画像の位置の変化を検出する（ステップＳ４）。そして、画像処理部３４は、位置検出部３３により検出された位置の変化量、または変化方向に基づいて、背景画像領域の画像に対して画像処理するＬＰＦの種類を選択する（ステップＳ５）。
【００５２】
次に、処理部３の画像処理部３４は、現在のフレーム画像におけるトリミング領域のうち、主要被写体画像領域以外の背景画像領域に対して選択したＬＰＦに基づいて画像処理する。これにより、画像処理部３４は、背景画像領域の高周波数成分を抑圧する（ステップＳ６）。
【００５３】
そして、トリミング部３２は、設定したトリミング領域において画像処理部３４により高周波数成分を抑圧する画像処理が実行された現在のフレーム画像におけるトリミング画像を生成する（ステップＳ７）。
【００５４】
次に、処理部３は、現在のフレーム画像が最終のフレーム画像であるか否かを判定する（ステップＳ８）。処理部３は、ステップＳ８において、現在のフレーム画像が最終のフレーム画像であると判定した場合、処理を終了する。一方、現在のフレーム画像が最終のフレーム画像でないと判定した場合、ステップＳ３に処理を戻し、次のフレーム画像に対する画像処理を実行する。
【００５５】
なお、図４を用いて、画像処理装置１００が、主要被写体画像の位置の変化に基づいて、画像処理を実行する例について説明したが、トリミング領域の位置の変化に基づいて画像処理を実行する場合は、ステップＳ４の処理を変更する。例えば、ステップＳ４において、位置検出部３３が、入力された動画像における現在のフレーム画像と直前のフレーム画像との間において、主要被写体画像の位置の変化を検出するのに代えてトリミング領域の位置の変化を検出する。そして、ステップＳ５において、画像処理部３４は、検出されたトリミング領域の位置の変化量、または変化方向に基づいてＬＰＦの種類を選択する。そして、ステップＳ６において、画像処理部３４は、選択したＬＰＦに基づいて画像処理することにより、背景画像領域の高周波数成分を抑圧する画像処理を実行する。
【００５６】
以上のように、本実施形態における画像処理装置１００は、時系列で撮像された複数の画像からトリミング画像を生成する場合に、主要被写体画像以外の背景画像領域の高周波数成分を抑圧する処理を実行する。例えば、画像処理装置１００は、動きのある主要被写体が広角で撮像された動画像から、主要被写体画像が拡大されるようにトリミングした動画像を生成する。そして、画像処理装置１００は、生成したトリミング画像の背景画像領域の高周波数成分を抑圧する。これにより、トリミングされた動画像は、望遠で主要被写体の動きに合わせて撮像された動画像の背景画像領域に生じる像流れと同様の効果が得られ、主要被写体の動きが感じられるような臨場感ある動画像となる。よって、本実施形態によれば、広角で動画像が撮像することで主要被写体が撮像領域から外れてしまうことを防止するとともに、画像処理装置１００によって、当該広角で撮像された動画像から主要被写体の動きが感じられるようなトリミング画像を生成することができる。
【００５７】
なお、本実施形態によれば、画像処理装置１００のトリミング部３２は、時系列で撮像された複数の画像それぞれから、主要被写体画像（所定の被写体画像）を含む画像領域をトリミングして、トリミング画像を生成する。また、画像処理装置１００の位置検出部３３は、撮像された画像のうち２つの画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出する。そして、画像処理装置１００の画像処理部３４は、位置検出部３３により検出された位置の変化に基づいて、トリミング画像の画像領域のうち主要被写体（所定の被写体）画像の画像領域外となる背景画像領域の高周波数成分を抑圧する。
つまり、画像処理装置１００は、主要被写体画像の動きに基づいて、トリミング領域における背景画像領域の画像に対して、高周波数成分を抑圧する。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられるような臨場感のあるトリミング画像を生成することができる。
【００５８】
また、本実施形態によれば、画像処理装置１００の画像処理部３４は、動位置検出部３３により検出された位置の変化量が大きくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。
つまり、画像処理装置１００は、トリミング領域における背景画像領域の画像に対して、主要被写体の動きが早くなるほど、高周波数成分を抑圧する量を大きくする。これにより、トリミング領域における背景画像領域の画像は、主要被写体画像の動きが早くなるにつれて像流れが大きい画像と同様の効果を得る。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられる臨場感のあるトリミング画像を生成することができる。
【００５９】
また、本実施形態によれば、画像処理装置１００の画像処理部３４は、位置検出部３３により検出された位置の変化方向に基づいて、背景画像領域の当該変化方向に対応する方向における高周波数成分を抑圧する。
つまり、画像処理装置１００は、トリミング領域における背景画像領域の画像に対して、主要被写体の動き方向に合わせてその方向に対して高周波数成分を抑圧する。これにより、トリミング領域における背景画像領域の画像は、主要被写体の動き方向に対して像流れがある画像と同様の効果を得る。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられるような臨場感のあるトリミング画像を生成することができる。
【００６０】
また、本実施形態によれば、画像処理装置１００の画像処理部３４は、トリミング部３２によりトリミングされたトリミング画像の画像領域のサイズが小さくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。トリミング領域のサイズが小さくなるほど、実際により望遠で撮影される場合に背景画像領域に生じる像流れが大きくなるのと同様となるように、画像処理装置１００は、背景画像領域の画像に対して高周波数成分を抑圧する量を大きくする。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられるようなトリミング画像を生成することができる。
【００６１】
なお、図３において、画像処理部３４が２つの予め定められた閾値Ｍth1,Ｍth2により変化量Ｍを判定する例を示したが、これに限られるものではない。例えば、画像処理部３４は、位置検出部３３により検出された位置の変化量Ｍを、１つまたは３つ以上の予め定められた閾値により判定してもよい。また、画像処理部３４は、位置検出部３３により検出された位置の変化量Ｍが連続して変化する大きさに応じて、処理を実行してもよい。
【００６２】
また、図３において、画像処理部３４が位置の変化方向を４つの方向に分類して処理する例を示したが、これに限られるものではない。例えば、画像処理部３４は、位置検出部３３により検出された位置の変化方向を４つの方向より少ない方向、または多い方向に分類して処理してもよい。
【００６３】
また、図３において、画像処理部３４が１つの予め定められた閾値Ｄthにより、トリミングサイズＤの大きさを判定する例を示したが、これに限られるものではない。例えば、画像処理部３４は、トリミング部３２によりトリミングされたトリミングサイズＤの大きさを、１つまたは３つ以上の予め定められた閾値により判定してもよい。また、画像処理部３４は、トリミングサイズＤが連続して変化する大きさに応じて、処理を実行してもよい。
【００６４】
また、図３において、画像処理部３４が、位置の変化量Ｍ、もしくは変化方向、またはトリミングサイズに基づいて、予め定められた２４種類のＬＰＦの設定から選択する例を示したが、ＬＰＦの種類は２４種類に限られるものではない。例えば、位置の変化量Ｍ、もしくは変化方向、またはトリミングサイズの検出閾値の数に基づいた種類のＬＰＦの設定が予め定められており、画像処理部３４は、当該予め定められた種類のＬＰＦの設定から選択してもよい。
【００６５】
また、図３において、「１×３ブロック」及び「１×５ブロック」のＬＰＦの例を示したが、その他のブロック数によるＬＰＦであってもよい。また、図３に示すＬＰＦの各ブロックの重み付けの値は一例であって、この値に限られるものではない。また、ＬＰＦの１つのブロックを構成する画素は、１画素により構成されてもよいし、また、複数の画素により構成されてもよい。ＬＰＦの１つのブロックを構成する画素は、画像処理を行う動画像の画素数、ＬＰＦの効果、または画像処理装置１００における処理条件やメモリ容量等の諸条件に基づいて予め定められた画素数の画素により構成されてもよい。
【００６６】
また、図３において、画像処理部３４が、位置検出部３３により検出された位置の変化量Ｍ、変化方向、及びトリミング部３２によりトリミングされたトリミングサイズＤのそれぞれの組み合わせに対応して設定されているＬＰＦを、それぞれの条件に基づいて選択する例を示したが、これら全ての組み合わせでなくてもよい。画像処理部３４は、変化量Ｍ、変化方向、またはトリミングサイズＤの何れか１つまたは２つの条件に基づいて設定されているＬＰＦを選択する構成であってもよい。
【００６７】
なお、上記実施形態における画像処理装置１００において、被写体選択部３１が設定する主要被写体画像（所定の被写体画像）は、１つの被写体画像に限らず、複数の被写体画像を主要被写体画像としてもよい。例えば、人物が主要被写体であって、徒競走をしている複数の人物（例えば、４人）が主要被写体である場合、画像処理装置１００は、トリミング画像の位置の動きに基づいて、トリミング領域のうち、徒競走をしている複数の人物（例えば、４人）の画像領域以外の背景画像領域の画像に対して高周波数成分を抑圧する。この場合、複数の人物の動きが異なる場合であっても、画像処理装置１００は、トリミング画像の位置の動きに基づいて、トリミング領域のうち、徒競走をしている複数の人物（例えば、４人）の画像領域以外の背景画像領域の画像に対して高周波数成分を抑圧する処理が可能である。
【００６８】
なお、上記実施形態における画像処理装置１００において、位置検出部３３が、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出するための２つの画像は、時系列に撮像された画像のうち連続した現在のフレーム画像と直前のフレーム画像との２つの画像に限られるものではない。位置検出部３３が位置の変化を検出するための２つの画像は、現在のフレーム画像を含まない２つの画像であってもよい。また、位置検出部３３が位置の変化を検出するための２つの画像は、連続していないフレーム画像であってもよく、所定の時間（例えば、０．５秒、または１秒等）間隔のフレーム画像であってもよいし、ユーザーにより任意に設定された時間間隔のフレーム画像であってもよい。そして、この２つのフレーム画像の時間間隔は、トリミング画像または主要被写体画像の位置の変化量の大きさ、すなわち主要被写体の動きの速さに基づいて、予め設定されてもよいし、ユーザーにより設定されてもよい。また、位置検出部３３は、位置の変化量を検出できない場合、２つのフレーム画像の時間間隔を広げる制御を実行してもよい。これにより、位置検出部３３は、トリミング画像または主要被写体画像の位置の変化が遅いことにより位置の変化量を検出できない場合、２つのフレーム画像の時間間隔を広げることにより位置の変化量を検出することができる。さらに、位置検出部３３は、２つのフレーム画像の時間間隔を連続的に変化させて、位置の変化量を検出してもよい。
【００６９】
また、位置検出部３３が、時系列に撮像された２つの画像間において、位置の変化を検出する例について説明したが、これに限られるものではない。位置検出部３３は、時系列に撮像された３つ以上の複数の画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出してもよい。すなわち、位置検出部３３は、時系列に撮像された少なくとも２つの画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出してもよい。
【００７０】
なお、上記実施形態における画像処理装置１００は、単一フレーム画像内において主要被写体画像領域以外の背景画像領域に対して、選択したＬＰＦに基づいて画像処理する構成について説明したが、ＬＰＦに基づいて画像処理する構成に代えて、複数のフレーム画像における背景画像領域の画像を加算処理する構成としてもよい。この構成によれば、複数のフレーム画像における背景画像領域の画像を加算することで、背景画像領域において像流れと同様の効果が得られる。
【００７１】
なお、上記実施形態における画像処理装置１００において、画像処理をする対象となる動画像が画像入力部１から入力される例について説明したが、画像処理をする対象となる動画像は、記憶媒体２１に記憶されていてもよい。そして、画像処理装置１００は、記憶装置２が記憶媒体２１から読み出した当該動画像に対して画像処理を実行してもよい。
【００７２】
なお、上記実施形態における画像処理装置１００の記憶装置２、操作部４、及び表示装置５は、画像処理装置１００と一体に構成されていてもよいし、着脱可能な外部装置であってもよい。
【００７３】
なお、上記実施形態において、ビデオカメラやデジタルスチルカメラ等の撮像装置により撮像された動画像が入力されて画像処理を行う画像処理装置１００の構成を例に説明したが、撮像装置が画像処理装置１００の構成の一部または全てを備え、当該撮像装置において、撮像から画像処理までの一連の処理を実行する構成としてもよい。
以下、画像処理装置の構成を備えている撮像装置の一例を説明する。
【００７４】
（撮像装置の構成）
図５は、画像処理装置１００を備えている撮像装置２００の構成を示す概略ブロック図である。図５に示す撮像装置２００は、画像処理装置１００、撮像部６、制御部７、記憶部８、バッファメモリ部９、及びバス１５を備えている。また、画像処理装置１００は、図１の画像処理装置１００と対応しており、外部入出力部１ａ、記憶装置２、処理部３、操作部４、及び表示装置５を備えている。図５において図１の各部に対応する部分には同一の符号を付けており、その説明を省略する。図５の外部入出力部１ａは、外部装置と動画像等のデータを入出力する端子を備えており、図１の画像入力部１に対応している。
【００７５】
撮像部６は、レンズ部６１、撮像素子６２、及びＡ/Ｄ変換部６３を備えており、被写体の光学像から動画像または静止画像等を撮像する。この撮像部６は、設定された撮像条件（例えば絞り値、露出等）に基づいて制御部７により制御され、レンズ部６１を介して入力された被写体の光学像を、撮像素子６２の撮像面上に結像させる。撮像素子６２は、撮像面に結像された光学像を光電変換したアナログ信号を、Ａ/Ｄ変換部６３に出力する。Ａ/Ｄ変換部６３は、撮像素子６２から入力されたアナログ信号をデジタル信号に変換し、この変換したデジタル信号を出力する。なお、上述したレンズ部６１は、撮像装置２００に取り付けられて一体とされていてもよいし、撮像装置２００に着脱可能に取り付けられてもよい。
【００７６】
例えば、撮像部６は、操作部４における動画撮影操作に応じて、所定の間隔で連続的に撮像した動画像を出力する。また、撮像部６は、操作部４における静止画撮影操作に応じて、撮像した静止画像を出力する。そして、撮像部６によって撮像された動画像及び静止画像は、制御部７の制御により、バッファメモリ部９や画像処理装置１００を介して記憶媒体２１に記録される。また、撮像部６は、操作部４における撮影操作がされていない撮影待機状態の場合、所定の間隔で連続的に得られる画像をスルー画像として出力する。
【００７７】
制御部７は、撮像装置２００が備えている各部を制御する。記憶部８には、撮像装置２００を制御するための、予め定められた撮影制御条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、及び出力制御条件などが記憶されている。例えば、記憶部８は、ＲＯＭ（Read Only Memory）である。なお、画像処理装置１００が画像処理に用いる予め定められた画像処理条件は、画像処理装置１００に記憶部を備えて記憶されていてもよい。
【００７８】
バッファメモリ部９は、制御部７が撮像装置２００を制御する際の作業領域として利用される。撮像部６によって撮像された動画像、スルー画像、もしくは静止画像、または記憶媒体２１から読み出された画像は、制御部７の制御による画像処理の過程においてバッファメモリ部９に一時的に記憶される。バッファメモリ部９は、例えばＲＡＭ（Random Access Memory）である。なお、バッファメモリ部９は、画像処理装置１００に備えられ、画像処理装置１００の制御による画像処理の過程において作業領域として利用されてもよい。
【００７９】
バス１５は、外部入出力部１ａ、記憶装置２、処理部３、操作部４、表示装置５、撮像部６、制御部７、記憶部８、及びバッファメモリ部９と接続され、各部から出力された画像データや制御信号等を転送する。
【００８０】
以上、図５を用いて説明した撮像装置２００の構成において、画像処理装置１００は、撮像部６により撮像された動画像に対して、主要被写体画像を含む画像領域をトリミングして、トリミング画像を生成する。また、画像処理装置１００は、撮像された動画像のうち少なくとも２つの画像間において、トリミング画像の位置の変化、または主要被写体画像の位置の変化を検出する。そして、画像処理装置１００は検出した位置の変化に基づいて、トリミング画像の画像領域のうち所定の被写体画像の画像領域外となる背景画像領域の高周波数成分を抑圧する。これにより、撮像装置２００は、撮像部６により撮像された動画像から主要被写体画像を含むトリミング画像を生成する場合に、主要被写体画像の位置の変化に基づいてトリミング領域における背景画像領域の高周波数成分を抑圧することができる。よって、撮像装置２００は、主要被写体の動きが感じられるような臨場感のあるトリミング画像を生成することができる。なお、画像処理装置１００は、記憶媒体２１に記憶されている動画像、または、外部入出力部１ａから入力される動画像に対して、同様にトリミング画像を生成してもよい。
【００８１】
なお、図１における画像処理装置１００の処理部３は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上述の処理部３の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００８２】
また、上述の画像処理装置１００の処理部３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の処理部３の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８４】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８５】
３２ トリミング部、３３ 位置検出部、３４ 画像処理部、１００ 画像処理装置
【技術分野】
【０００１】
本発明は、画像処理プログラム、及び画像処理装置に関する。
【背景技術】
【０００２】
時系列で撮像された複数の画像に対して、主要被写体の動きに応じて、当該主要被写体が含まれるように各画像のトリミング領域を移動させてトリミング画像を生成する技術がある（特許文献１参照）。例えば、動きのある主要被写体を撮像する場合、広角で撮像することにより主要被写体が撮像領域から外れてしまうことを防止し、撮影後に複数の画像から主要被写体の動きに応じたトリミング画像を生成する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３２８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、広角で撮像された画像から主要被写体を含むよう生成されたトリミング画像と、望遠で主要被写体の動きに応じて撮像された画像とを比較すると、トリミング画像は背景の像流れ等が生じないため、主要被写体の動きが感じられなく臨場感が乏しいことがある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、主要被写体の動きが感じられる臨場感のあるトリミング画像を生成する画像処理プログラム、および画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明は、画像処理装置としてのコンピュータに、時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングして、トリミング画像を生成するトリミング手順と、前記複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出手順と、前記位置検出手順により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外である背景画像領域内の高周波数成分を抑圧する画像処理手順と、を実行させることを特徴とする画像処理プログラムである。
【０００７】
また、本発明は、時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングして、トリミング画像を生成するトリミング部と、前記撮像された複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出部と、前記位置検出部により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外である背景画像領域の高周波数成分を抑圧する画像処理部と、を備えることを特徴とする画像処理装置である。
【発明の効果】
【０００８】
この発明によれば、主要被写体の動きが感じられる臨場感のあるトリミング画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態による画像処理装置の構成を示すブロック図である。
【図２】画像処理装置における画像処理の概要の一例を示す説明図である。
【図３】高周波数成分を抑圧するフィルタの選択例を示す図である。
【図４】本実施形態における画像処理を示すフローチャートである。
【図５】画像処理装置を備えている撮像装置の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施形態による画像処理装置１００の構成を示す概略ブロック図である。
図１に示す画像処理装置１００は、画像入力部１、記憶装置２、処理部３、操作部４、及び表示装置５を備えている。
【００１１】
画像入力部１には、画像処理装置１００において画像処理をする対象となる時系列で撮像された画像（動画像）、例えばビデオカメラやデジタルスチルカメラ等の撮像装置により撮像された動画像が入力される。画像入力部１は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）、またはＩＥＥＥ１３９４（Institute of Electrical and Electronics Engineers 1394）等の端子を備えている。そして、画像入力部１には、当該備えている端子を介して動画像が入力される。なお、時系列で撮像された画像は動画像に限られるものではなく、異なる時刻に撮像された一連の複数の静止画像であってもよい。
【００１２】
記憶装置２は、メモリカード等の記憶媒体２１を着脱可能なコネクタを備えている。そして、記憶装置２は、画像処理装置１００において画像処理された動画像を、挿入されている記憶媒体２１に記憶させる。
【００１３】
なお、記憶装置２は、着脱可能な記憶媒体２１とは別に、ハードディスク装置等の磁気記憶装置を備えていてもよく、動画像の書き込み及び読み出しを磁気記憶装置及び記憶媒体２１に対して適宜制御する構成であってもよい。更に、記憶装置２は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものであってもよい。
【００１４】
処理部３は、時系列で撮像された画像に対して画像処理をする。例えば、処理部３は、画像入力部１から入力された動画像に対して、所定の被写体画像を含む画像領域をトリミングして、トリミング画像を生成する。また、処理部３は、動画像を構成する複数のフレーム画像のうち２つのフレーム画像間において、トリミングした画像領域の位置の変化、または所定の被写体画像の位置の変化を検出し、検出した結果に基づいて所定の画像処理を実行する。ここで、所定の被写体画像とは、例えば、動画像におけるユーザーにより選択された主要被写体画像である。以下、所定の被写体画像を、主要被写体画像とも記述する。
【００１５】
操作部４は、画像処理装置１００に対してユーザーが操作入力するための各種の操作部材を備えている。例えば、操作部４には、画像処理をする対象となる動画像ファイルの選択、主要被写体画像（所定の被写体画像）の選択、及びトリミング領域の設定等がユーザーの操作により入力される。なお、操作部４は、表示装置５の表示面に備えられているタッチパネルであってもよい。また、操作部４は、キーボード、マウス等の入力デバイスであってもよい。
【００１６】
表示装置５は、画像処理装置１００において画像や操作画面等を表示する。例えば、表示装置５は、入力された動画像、トリミングされた動画像、画像処理後の動画像、被写体画像の選択画面、トリミング画像、またはトリミング領域の設定画面、等を表示する。
【００１７】
次に、処理部３の構成について詳しく説明する。
なお、本実施形態において、トリミング画像の画像領域をトリミング領域とも記述する。また、本実施形態において、主要被写体画像の画像領域を主要被写体画像領域、及び、トリミング領域のうち主要被写体画像以外の画像領域を背景画像領域とも記述する。
【００１８】
本実施形態における画像処理装置１００の処理部３は、撮像された動画像から、主要被写体画像を含む画像領域をトリミングしてトリミング画像を生成する際に、主要被写体画像の位置の変化に応じて、トリミング領域のうち背景画像領域に対して高周波数成分を抑圧する処理を実行する。
【００１９】
例えば、動きのある主要被写体を望遠で、その主要被写体の動きに合わせて撮像した場合、画像の背景領域には像流れが生じる。そのため、主要被写体の動きが感じられるような臨場感ある動画像が得られる。ところが、動きのある主要被写体を適切な望遠で、その動きに合わせて撮像し続けることは一般的なユーザーにとっては困難である。そこで、動きのある主要被写体の動画像を得る時には、予め主要被写体を含むよう広角で撮像しておき、撮影後に画像から主要被写体が拡大されるようにトリミングして、望遠で撮像した時と同様な画角の動画像を得る方法もある。しかし、広角で撮像された画像から得られたトリミング画像は、望遠で撮像された画像と比べて、背景領域に像流れが生じないため、主要被写体の動きが感じられるような臨場感ある動画像が得られない。
【００２０】
そこで、本実施形態における画像処理装置１００の処理部３は、動きのある主要被写体画像を含む画像をトリミングしてトリミング画像を生成する際に、背景画像領域の高周波数成分を抑圧する処理を実行する。
【００２１】
図２は、画像処理装置１００における画像処理の概要の一例を示す説明図である。図２（ａ）は、右から左へ向かって走行する車が広角で撮像された動画像のうち、時刻t１及び時刻t2における２つのフレーム画像を示している。図２（ａ）において、符号P1に示す領域は、時刻t１におけるフレーム画像に対するトリミング領域を示している。また、符号P2に示す領域は、時刻t2におけるフレーム画像に対するトリミング領域を示している。そして、図２（ａ）は、画像処理装置１００において、車の画像が主要被写体画像として選択されている場合であり、時刻t1から時刻t2に時刻が進むのに対応して、車の画像の位置が右から左へ移動しているのに合わせてトリミング領域の位置も右から左へ移動していること示している。
【００２２】
図２（ｂ）及び図２（ｃ）は、図２（ａ）の時刻t2におけるフレーム画像に対して、符号P2に示すトリミング領域から生成されたトリミング画像の一例を示している。図２（ｂ）は、図２（ａ）において画像処理装置１００がトリミング処理のみ実行した場合のフレーム画像を示している。一方、図２（ｃ）は、図２（ａ）において画像処理装置１００が車の画像の位置の変化に応じて背景画像領域に対して高周波数成分を抑圧する処理を実行した場合のフレーム画像を示している。これによれば、図２（ｃ）に示すトリミング画像は、図２（ｂ）に示すトリミング画像と異なり、背景画像領域に対して高周波数成分を抑圧する処理がされているため、背景画像に像流れが生じた場合と同様の効果が得られた画像となる。なお、図２（ａ）の時刻t1におけるフレーム画像に対するトリミング画像においても、背景画像領域に対して高周波数成分を抑圧する処理を実行した場合、時刻t2におけるフレーム画像に対するトリミング画像と同様の効果が得られた画像となる。さらに、画像処理装置１００によって、動画像のそれぞれのフレーム画像から車を含むトリミング画像を生成し、トリミング画像の背景画像領域に対して高周波数成分を抑圧する処理を実行すれば、トリミング画像をフレーム画像として生成した動画像は背景画像に像流れが生じた場合と同様の効果が得られた動画像となる。
【００２３】
処理部３は、被写体選択部３１、トリミング部３２、位置検出部３３、及び画像処理部３４を備えている。
被写体選択部３１は、ユーザーが操作部４から操作入力することにより、動画像内において主要被写体画像（所定の被写体画像）を選択する。例えば、被写体選択部３１は、動画像のうちの１フレーム画像を表示装置５に表示させ、当該フレーム画像内から主要被写体画像に選択する被写体画像をユーザーに選択させる。そして、被写体選択部３１は、ユーザーにより選択された被写体画像を主要被写体画像として設定し、選択した主要被写体の画像をテンプレート画像として記憶装置２に記憶させる。なお、主要被写体画像を選択する方法は、予め主要被写体画像の候補となる被写体のテンプレート画像が記憶装置２に記憶されて登録されており、登録されているテンプレート画像の中から主要被写体画像をユーザーに選択させる方法であってもよい。また、主要被写体画像を選択する方法は、顔検出情報、レンズのＡＦ(Auto Focus)情報、画像のコントラスト情報や色情報、及びフレーム画像間の動きベクトルの情報等に基づいて、動画像から主要被写体画像を推定して設定する方法であってもよい。
【００２４】
トリミング部３２は、時系列で撮像された複数の画像（例えば、動画像）のそれぞれのフレーム画像から、被写体選択部３１により選択された主要被写体画像（所定の被写体画像）を含む画像領域をトリミングして、トリミング画像を生成する。例えば、トリミング部３２は、ユーザーが操作部４より入力したトリミング領域の位置または大きさに基づいて、トリミング領域を設定する。そして、トリミング部３２は、動画像のそれぞれのフレーム画像において、被写体選択部３１により選択され記憶装置２に記憶された主要被写体画像のテンプレート画像とテンプレートマッチングをすることにより、主要被写体画像の位置を検出し、検出した位置の変化に応じて、設定されたトリミング領域の位置を変更する。これにより、トリミング部３２は、主要被写体画像の位置の変化に応じて、主要被写体画像が含まれるように、トリミング領域の位置を移動する。
【００２５】
なお、トリミング部３２は、被写体選択部３１により選択された主要被写体画像の大きさに基づいて、主要被写体を含む画像に対して予め定められた大きさの背景領域を周辺に加えた画像領域を、トリミング領域として設定してもよい。また、トリミング部３２は、主要被写体が人物である場合、顔検出技術により検出された顔の大きさに基づいて、当該顔の大きさに対応して予め定められた大きさの画像領域をトリミング領域として設定してもよい。
【００２６】
なお、トリミング部３２は、主要被写体が人物である場合、主要被写体の特徴を示す情報に基づいて、動画像のそれぞれのフレーム画像において人物認証（個人認証）を行うことにより、主要被写体画像の位置の変化に応じてトリミング領域の位置を変更してもよい。具体的には、例えば、トリミング部３２は、主要被写体の髪型、顔の輪郭、または眼鏡の有無等に基づいて、動画像のそれぞれのフレーム画像において人物認証（個人認証）を行うことにより、主要被写体画像の位置の変化に応じてトリミング領域の位置を変更してもよい。
【００２７】
位置検出部３３は、時系列に撮像された画像のうち２つの画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出する。例えば、位置検出部３３は、動画像の２つのフレーム画像間において、トリミング部３２により設定されたトリミング領域の位置の変化量、または、被写体選択部３１により選択された主要被写体画像の位置の変化量を検出する。また、位置検出部３３は、動画像の２つのフレーム画像間において、トリミング部３２により設定されたトリミング領域の位置の変化方向、または、被写体選択部３１により選択された主要被写体画像の位置の変化した方向を検出する。
【００２８】
画像処理部３４は、位置検出部３３により検出された位置の変化に基づいて、トリミング画像のトリミング領域のうち、主要被写体画像（所定の被写体画像）以外の画像領域である背景画像領域の画像に対して高周波数成分を抑圧する。
【００２９】
例えば、画像処理部３４は、位置検出部３３により検出された位置の変化量が大きくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。一方、位置検出部３３により検出された位置の変化量が小さくなるほど、背景画像領域の高周波数成分を抑圧する量を小さくする。
【００３０】
また、画像処理部３４は、位置検出部３３により検出された位置の変化方向に基づいて、背景画像領域の画像に対して当該変化方向に対応する方向における高周波数成分を抑圧する。すなわち、画像処理部３４は、検出された位置の変化方向が水平方向である場合、水平方向の高周波数成分を抑圧し、検出された位置の変化方向が垂直方向である場合、垂直方向の高周波数成分を抑圧する。また、画像処理部３４は、検出された位置の変化方向が右斜め方向である場合、右斜め方向の高周波数成分を抑圧し、検出された位置の変化方向が左斜め方向である場合、左斜め方向の高周波数成分を抑圧する。
【００３１】
また、画像処理部３４は、トリミング部３２によりトリミングされるトリミング領域のサイズが小さくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。一方、トリミング部３２によりトリミングされるトリミング領域のサイズが大きくなるほど、背景画像領域の高周波数成分を抑圧する量を小さくする。
【００３２】
このように、画像処理部３４は、位置検出部３３により検出された位置の変化量もしくは変化方向、またはトリミング領域のサイズに基づいて、背景画像領域の高周波数成分を抑圧する。例えば、画像処理部３４は、位置検出部３３により検出された位置の変化量もしくは変化方向、またはトリミング領域のサイズに基づいて、高周波数成分を抑圧するフィルタを選択する。そして、選択したフィルタに基づいて画像処理することにより、背景画像領域の高周波数成分を抑圧する処理を実行する。
【００３３】
図３は、高周波数成分を抑圧するフィルタの選択例を示す図である。
ここで、図３においては、高周波数成分を抑圧するフィルタとして、ＬＰＦ（ローパスフィルタ）を例としている。この図を用いて、位置検出部３３により検出された位置の変化量、もしくは変化方向、またはトリミング部３２によりトリミングされたトリミング領域のサイズに基づいて、画像処理部３４が選択するＬＰＦの例について説明する。なお、以下の説明において、トリミング領域のサイズをトリミングサイズＤとも記述する。
【００３４】
図３（ａ）は、トリミングサイズＤが小さい場合であって、トリミングサイズＤが予め定められた閾値Ｄth以下の場合に選択されるＬＰＦを示している。一方、図３（ｂ）は、トリミングサイズＤが大きい場合であって、トリミングサイズＤが予め定められた閾値Ｄthより大きい場合に選択されるＬＰＦを示している。
【００３５】
さらに、図３（ａ）及び図３（ｂ）においては、位置検出部３３により検出された位置の変化量及び変化方向に基づいて選択されるＬＰＦとして、それぞれの変化量及び変化方向に対応したそれぞれのＬＰＦを示している。ここで、主要被写体の位置の変化に合わせてトリミング領域の位置が動いた場合、トリミング領域の位置の動きと主要被写体画像の位置の動きとが一致する。そのため、この図において、トリミング領域の位置の変化量、及び主要被写体画像の位置の変化量を区別せずに検出された位置の変化量Ｍとする。同様に、トリミング領域の位置の変化方向、及び主要被写体画像の位置の変化方向も区別せずに検出された位置の変化方向とする。
【００３６】
また、図３において、画像処理部３４は、検出された位置の変化量Ｍを、２つの予め定められた閾値Ｍth1,Ｍth2と比較して、検出された位置の変化量Ｍの大きさを判定する。例えば、画像処理部３４は、「Ｍ≦Ｍth1」の場合に主要被写体画像の動きが無い、「Ｍth1＜Ｍ≦Ｍth2」の場合に主要被写体画像の動きが小さい、「Ｍth2＜Ｍ」の場合に変化動きが大きいと判定し、それぞれに対応するＬＰＦを選択する。
【００３７】
また、画像処理部３４は、検出された位置の変化方向を、水平方向、垂直方向、右斜め方向、及び左斜め方向の４方向に分類している。例えば、画像処理部３４は、検出された位置の変化方向の角度を、予め定められた角度の閾値と比較することで、上述の４方向に分類する。そして、画像処理部３４は、検出された位置の変化方向が水平方向、垂直方向、右斜め方向、または左斜め方向である場合、それぞれの方向に対応する水平方向、垂直方向、右斜め方向、または左斜め方向のＬＰＦを選択する。
【００３８】
以下の説明において、図３（ａ）及び図３（ｂ）において、ＬＰＦの選択例として符号(a1)〜(a12)及び符号(b1)〜(b12)で示すＬＰＦを、それぞれ、ＬＰＦ(a1)〜ＬＰＦ(a12)及びＬＰＦ(b1)〜ＬＰＦ(b12)と記述する。
【００３９】
図３（ａ）において、画像処理部３４は、検出された位置の変化方向が水平方向であって、変化量Ｍが「Ｍ≦Ｍth1」（主要被写体画像の動きが無い）である場合、ＬＰＦ(a1)を選択する。ＬＰＦ(a1)は、水平方向「１×３ブロック」のＬＰＦであるが、中央ブロックの重み付けが１であってその前後の２ブロックの重み付けがそれぞれ０である。よって、ＬＰＦ(a1)の各ブロックにおいて重み付けの値を積算し、積算した値を加算して算出した中央ブロックの値が算出前の値と等しくなる。そのため、ＬＰＦ(a1)は、高周波数成分を抑圧する効果が無いＬＰＦである。すなわち、検出された位置の変化量Ｍが「Ｍ≦Ｍth1」である場合とは主要被写体画像の動きが無い場合であるため、画像処理部３４は、高周波数成分を抑圧する効果が無いＬＰＦを選択する。そして、画像処理部３４は、検出された位置の変化量Ｍが「Ｍ≦Ｍth1」である場合、変化方向が垂直方向、右斜め方向、及び左斜め方向においても、ＬＰＦの方向はそれぞれの方向に対応しているが、水平方向と同様に高周波数成分を抑圧する効果がないＬＰＦ(a4)、ＬＰＦ(a7)、またはＬＰＦ(a10)を選択する。
【００４０】
次に、図３（ａ）において、画像処理部３４は、検出された位置の変化方向が水平方向であって、変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」（主要被写体画像の動きが小さい）である場合、ＬＰＦ(a2)を選択する。ＬＰＦ(a2)は、水平方向「１×３ブロック」のＬＰＦであって各ブロックの重み付けがそれぞれ１／３である。よって、ＬＰＦ(a2)によれば、中央ブロックの値は、中央ブロック及びその前後それぞれ１ブロックの合計３ブロックをそれぞれ同じ重み付けで加算平均した値となる。また、画像処理部３４は、検出された位置の変化方向が水平方向であって、変化量Ｍが「Ｍth2＜Ｍ」（主要被写体画像の動きが大きい）である場合、ＬＰＦ(a3)を選択する。ＬＰＦ(a3)は、水平方向「１×５ブロック」のＬＰＦであって各ブロックの重み付けがそれぞれ１／５である。よって、ＬＰＦ(a3)によれば、中央ブロックの値は、中央ブロック及びその前後それぞれ２ブロックの合計５ブロックをそれぞれ同じ重み付けで加算平均した値となる。
【００４１】
よって、画像処理部３４は、検出された変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」（主要被写体画像の動きが小さい）である場合、変化量Ｍが「Ｍ≦Ｍth1」（主要被写体画像の動きが無い）である場合に比較して、高周波数成分を抑圧する効果があるＬＰＦ(a2)を選択する。また、画像処理部３４は、検出された位置の変化量Ｍが「Ｍth2＜Ｍ」（主要被写体画像の動きが大きい）である場合、変化量Ｍが「「Ｍth1＜Ｍ≦Ｍth2」（主要被写体画像動きが小さい）である場合に比較して、高周波数成分を抑圧する効果が大きいＬＰＦ(a3)を選択する。
このように、画像処理部３４は、位置検出部３３により検出された位置の変化量が大きくなるに応じて、高周波数成分を抑圧する量が大きいＬＰＦを選択する。
【００４２】
そして、画像処理部３４は、検出された位置の変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」である場合であって、検出された位置の変化方向が垂直方向、右斜め方向、または左斜め方向の場合、水平方向のＬＰＦ(a2)に対して高周波数成分を抑圧する量が同じであって、抑圧する方向のみが垂直方向、右斜め方向、または左斜め方向のそれぞれの方向に対応されたＬＰＦ(a5)、ＬＰＦ(a8)、またはＬＰＦ(a11)を選択する。また、画像処理部３４は、検出された変化量Ｍが「Ｍth2＜Ｍ」である場合であって、検出された変化方向が垂直方向、右斜め方向、または左斜め方向の場合、水平方向のＬＰＦ(a3) に対して高周波数成分を抑圧する量が同じであって、抑圧する方向のみが垂直方向、右斜め方向、または左斜め方向のそれぞれの方向に対応されたＬＰＦ(a6)、ＬＰＦ(a9)、またはＬＰＦ(a12)を選択する。
このように、画像処理部３４は、位置検出部３３により検出された位置の変化方向に基づいて、当該変化方向に対応する方向における高周波数成分を抑圧するＬＰＦを選択する。
【００４３】
図３（ｂ）は、図３（ａ）に対してトリミングサイズＤが大きい場合のＬＰＦの選択例である。図３（ｂ）のＬＰＦ(b1)〜ＬＰＦ(b12)は、図３（ａ）のＬＰＦ(ａ1)〜ＬＰＦ(ａ12)と対応している。変化量Ｍが「Ｍ≦Ｍth1」である場合、画像処理部３４は、図３（ａ）と同様にＬＰＦの効果が無いＬＰＦ(b1)、ＬＰＦ(b4)、ＬＰＦ(b7)、またはＬＰＦ(b10)を選択する。また、画像処理部３４は、変化量Ｍが「Ｍth1＜Ｍ≦Ｍth2」である場合、ＬＰＦ(b2)、ＬＰＦ(b5)、ＬＰＦ(b8)、またはＬＰＦ(b11)を選択し、変化量Ｍが「Ｍth2＜Ｍ」である場合、ＬＰＦ(b3)、ＬＰＦ(b6)、ＬＰＦ(b9)、またはＬＰＦ(b12)を選択する。
【００４４】
図３（ｂ）のＬＰＦ(b2)、ＬＰＦ(b5)、ＬＰＦ(b8)、及びＬＰＦ(b11)は、対応する図３（ａ）のＬＰＦ(a2)、ＬＰＦ(a5)、ＬＰＦ(a8)、及びＬＰＦ(a11)と比較すると、同じ「１×３ブロック」のＬＰＦであるが、中央ブロックの重み付けが前後のブロックの重み付けより大きいためＬＰＦの効果が小さい。また、図３（ｂ）のＬＰＦ(b3)、ＬＰＦ(b6)、ＬＰＦ(b9)、及びＬＰＦ(b12)は、対応する図３（ａ）のＬＰＦ(a3)、ＬＰＦ(a6)、ＬＰＦ(a9)、及びＬＰＦ(a12)と比較すると、同じ「１×５ブロック」のＬＰＦであるが、中央ブロックに近いブロックの重み付けが中央ブロックに遠いブロックの重み付けより大きいためＬＰＦの効果が小さい。つまり、図３（ａ）において設定されているＬＰＦ、すなわち図３（ｂ）に対してトリミングサイズＤが小さい場合において設定されているＬＰＦは、図３（ｂ）に設定されているＬＰＦに比較して、高周波数成分を抑圧する量が大きくＬＰＦの効果が大きい。
【００４５】
よって、画像処理部３４は、トリミングサイズＤが予め定められた閾値Ｄth以下の場合、図３（ｂ）に示すＬＰＦよりも高周波数成分を抑圧する量が大きい図３（ａ）に示すＬＰＦを選択する。すなわち、画像処理部３４は、トリミング部３２によりトリミングされるトリミングサイズＤが小さくなるに応じて、背景画像領域の画像に対して高周波数成分を抑圧する量が大きいＬＰＦを選択する。一方、画像処理部３４は、トリミングサイズＤが予め定められた閾値Ｄthより大きい場合、図３（ａ）に示すＬＰＦよりも高周波数成分を抑圧する量が小さい図３（ｂ）に示すＬＰＦを選択する。すなわち、画像処理部３４は、トリミング部３２によりトリミングされるトリミングサイズＤが大きくなるに応じて、背景画像領域の画像に対して高周波数成分を抑圧する量が小さいＬＰＦを選択する。
【００４６】
以下、トリミングサイズに応じて、高周波成分を抑圧する量を変更する理由について説明する。表示装置に画像を表示する際、表示装置の表示画素数は一定であるため、トリミングサイズが小さい場合、トリミングサイズが大きい場合よりも大きな拡大倍率で拡大する必要がある。つまり、広角で撮影されたうえで、トリミング領域内の被写体が同一速度で移動したときであっても、トリミングサイズが小さい場合、表示画面上ではトリミングサイズが大きい場合と比較して背景の移動速度が大きくなる。したがって、トリミングサイズに応じて高周波成分を抑圧する量を変更することで、より臨場感のある画像を得ることができる。
【００４７】
以上、図３を用いて説明したように、画像処理部３４は、位置検出部３３により検出された位置の変化量、もしくは変化方向、またはトリミング部３２によりトリミングされたトリミング領域のサイズに基づいて、それぞれに適した効果のＬＰＦを選択する。そして、画像処理部３４は、背景画像領域の画像に対して選択したフィルタに基づいて画像処理することにより高周波数成分を抑圧する。
【００４８】
次に、本実施形態における画像処理の動作を説明する。
図４は、本実施形態における画像処理を示すフローチャートである。
以下、図４が示すフローチャートを用いて、画像処理装置１００の画像処理について説明する。なお、この図は、画像処理装置１００が、主要被写体画像の位置の変化に基づいて、トリミング領域のうち主要被写体画像以外の背景画像に高周波数成分を抑圧してトリミング画像を生成する場合の処理を示すフローチャートである。
【００４９】
画像処理装置１００に画像入力部１から動画像のデータが入力されて、画像処理装置１００の処理部３は、画像処理動作を開始する（ステップＳ１）。次に、ユーザーが操作部４から操作入力することにより、処理部３の被写体選択部３１は、動画像内において主要被写体（所定の被写体）画像を選択する。具体的には、処理部３は、動画像のうちの１フレーム画像を表示装置５に表示させ、当該フレーム画像内のから主要被写体画像をユーザーに指定させる。そして、被写体選択部３１は、ユーザーにより指定された被写体画像を主要被写体画像として選択し、テンプレート画像として記憶装置２に記憶させる（ステップＳ２）。
【００５０】
次に、処理部３のトリミング部３２は、ユーザーが操作部４より入力したトリミング領域の位置または大きさに基づいて、トリミング領域を設定する。また、トリミング部３２は、最初のフレーム画像においてユーザーによりトリミング領域が設定された後は、記憶装置２に記憶されている主要被写体画像のテンプレート画像を用いて、動画像のそれぞれのフレーム画像においてテンプレートマッチングをすることにより、主要被写体画像の位置を検出し、検出した位置に応じて設定されたトリミング領域の位置を変更して設定する（ステップＳ３）。
【００５１】
次に、処理部３の位置検出部３３は、入力された動画像における現在のフレーム画像と直前のフレーム画像との２つの画像間における主要被写体画像の位置の変化を検出する（ステップＳ４）。そして、画像処理部３４は、位置検出部３３により検出された位置の変化量、または変化方向に基づいて、背景画像領域の画像に対して画像処理するＬＰＦの種類を選択する（ステップＳ５）。
【００５２】
次に、処理部３の画像処理部３４は、現在のフレーム画像におけるトリミング領域のうち、主要被写体画像領域以外の背景画像領域に対して選択したＬＰＦに基づいて画像処理する。これにより、画像処理部３４は、背景画像領域の高周波数成分を抑圧する（ステップＳ６）。
【００５３】
そして、トリミング部３２は、設定したトリミング領域において画像処理部３４により高周波数成分を抑圧する画像処理が実行された現在のフレーム画像におけるトリミング画像を生成する（ステップＳ７）。
【００５４】
次に、処理部３は、現在のフレーム画像が最終のフレーム画像であるか否かを判定する（ステップＳ８）。処理部３は、ステップＳ８において、現在のフレーム画像が最終のフレーム画像であると判定した場合、処理を終了する。一方、現在のフレーム画像が最終のフレーム画像でないと判定した場合、ステップＳ３に処理を戻し、次のフレーム画像に対する画像処理を実行する。
【００５５】
なお、図４を用いて、画像処理装置１００が、主要被写体画像の位置の変化に基づいて、画像処理を実行する例について説明したが、トリミング領域の位置の変化に基づいて画像処理を実行する場合は、ステップＳ４の処理を変更する。例えば、ステップＳ４において、位置検出部３３が、入力された動画像における現在のフレーム画像と直前のフレーム画像との間において、主要被写体画像の位置の変化を検出するのに代えてトリミング領域の位置の変化を検出する。そして、ステップＳ５において、画像処理部３４は、検出されたトリミング領域の位置の変化量、または変化方向に基づいてＬＰＦの種類を選択する。そして、ステップＳ６において、画像処理部３４は、選択したＬＰＦに基づいて画像処理することにより、背景画像領域の高周波数成分を抑圧する画像処理を実行する。
【００５６】
以上のように、本実施形態における画像処理装置１００は、時系列で撮像された複数の画像からトリミング画像を生成する場合に、主要被写体画像以外の背景画像領域の高周波数成分を抑圧する処理を実行する。例えば、画像処理装置１００は、動きのある主要被写体が広角で撮像された動画像から、主要被写体画像が拡大されるようにトリミングした動画像を生成する。そして、画像処理装置１００は、生成したトリミング画像の背景画像領域の高周波数成分を抑圧する。これにより、トリミングされた動画像は、望遠で主要被写体の動きに合わせて撮像された動画像の背景画像領域に生じる像流れと同様の効果が得られ、主要被写体の動きが感じられるような臨場感ある動画像となる。よって、本実施形態によれば、広角で動画像が撮像することで主要被写体が撮像領域から外れてしまうことを防止するとともに、画像処理装置１００によって、当該広角で撮像された動画像から主要被写体の動きが感じられるようなトリミング画像を生成することができる。
【００５７】
なお、本実施形態によれば、画像処理装置１００のトリミング部３２は、時系列で撮像された複数の画像それぞれから、主要被写体画像（所定の被写体画像）を含む画像領域をトリミングして、トリミング画像を生成する。また、画像処理装置１００の位置検出部３３は、撮像された画像のうち２つの画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出する。そして、画像処理装置１００の画像処理部３４は、位置検出部３３により検出された位置の変化に基づいて、トリミング画像の画像領域のうち主要被写体（所定の被写体）画像の画像領域外となる背景画像領域の高周波数成分を抑圧する。
つまり、画像処理装置１００は、主要被写体画像の動きに基づいて、トリミング領域における背景画像領域の画像に対して、高周波数成分を抑圧する。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられるような臨場感のあるトリミング画像を生成することができる。
【００５８】
また、本実施形態によれば、画像処理装置１００の画像処理部３４は、動位置検出部３３により検出された位置の変化量が大きくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。
つまり、画像処理装置１００は、トリミング領域における背景画像領域の画像に対して、主要被写体の動きが早くなるほど、高周波数成分を抑圧する量を大きくする。これにより、トリミング領域における背景画像領域の画像は、主要被写体画像の動きが早くなるにつれて像流れが大きい画像と同様の効果を得る。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられる臨場感のあるトリミング画像を生成することができる。
【００５９】
また、本実施形態によれば、画像処理装置１００の画像処理部３４は、位置検出部３３により検出された位置の変化方向に基づいて、背景画像領域の当該変化方向に対応する方向における高周波数成分を抑圧する。
つまり、画像処理装置１００は、トリミング領域における背景画像領域の画像に対して、主要被写体の動き方向に合わせてその方向に対して高周波数成分を抑圧する。これにより、トリミング領域における背景画像領域の画像は、主要被写体の動き方向に対して像流れがある画像と同様の効果を得る。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられるような臨場感のあるトリミング画像を生成することができる。
【００６０】
また、本実施形態によれば、画像処理装置１００の画像処理部３４は、トリミング部３２によりトリミングされたトリミング画像の画像領域のサイズが小さくなるほど、背景画像領域の高周波数成分を抑圧する量を大きくする。トリミング領域のサイズが小さくなるほど、実際により望遠で撮影される場合に背景画像領域に生じる像流れが大きくなるのと同様となるように、画像処理装置１００は、背景画像領域の画像に対して高周波数成分を抑圧する量を大きくする。よって、画像処理装置１００は、主要被写体の動きに応じて主要被写体の動きが感じられるようなトリミング画像を生成することができる。
【００６１】
なお、図３において、画像処理部３４が２つの予め定められた閾値Ｍth1,Ｍth2により変化量Ｍを判定する例を示したが、これに限られるものではない。例えば、画像処理部３４は、位置検出部３３により検出された位置の変化量Ｍを、１つまたは３つ以上の予め定められた閾値により判定してもよい。また、画像処理部３４は、位置検出部３３により検出された位置の変化量Ｍが連続して変化する大きさに応じて、処理を実行してもよい。
【００６２】
また、図３において、画像処理部３４が位置の変化方向を４つの方向に分類して処理する例を示したが、これに限られるものではない。例えば、画像処理部３４は、位置検出部３３により検出された位置の変化方向を４つの方向より少ない方向、または多い方向に分類して処理してもよい。
【００６３】
また、図３において、画像処理部３４が１つの予め定められた閾値Ｄthにより、トリミングサイズＤの大きさを判定する例を示したが、これに限られるものではない。例えば、画像処理部３４は、トリミング部３２によりトリミングされたトリミングサイズＤの大きさを、１つまたは３つ以上の予め定められた閾値により判定してもよい。また、画像処理部３４は、トリミングサイズＤが連続して変化する大きさに応じて、処理を実行してもよい。
【００６４】
また、図３において、画像処理部３４が、位置の変化量Ｍ、もしくは変化方向、またはトリミングサイズに基づいて、予め定められた２４種類のＬＰＦの設定から選択する例を示したが、ＬＰＦの種類は２４種類に限られるものではない。例えば、位置の変化量Ｍ、もしくは変化方向、またはトリミングサイズの検出閾値の数に基づいた種類のＬＰＦの設定が予め定められており、画像処理部３４は、当該予め定められた種類のＬＰＦの設定から選択してもよい。
【００６５】
また、図３において、「１×３ブロック」及び「１×５ブロック」のＬＰＦの例を示したが、その他のブロック数によるＬＰＦであってもよい。また、図３に示すＬＰＦの各ブロックの重み付けの値は一例であって、この値に限られるものではない。また、ＬＰＦの１つのブロックを構成する画素は、１画素により構成されてもよいし、また、複数の画素により構成されてもよい。ＬＰＦの１つのブロックを構成する画素は、画像処理を行う動画像の画素数、ＬＰＦの効果、または画像処理装置１００における処理条件やメモリ容量等の諸条件に基づいて予め定められた画素数の画素により構成されてもよい。
【００６６】
また、図３において、画像処理部３４が、位置検出部３３により検出された位置の変化量Ｍ、変化方向、及びトリミング部３２によりトリミングされたトリミングサイズＤのそれぞれの組み合わせに対応して設定されているＬＰＦを、それぞれの条件に基づいて選択する例を示したが、これら全ての組み合わせでなくてもよい。画像処理部３４は、変化量Ｍ、変化方向、またはトリミングサイズＤの何れか１つまたは２つの条件に基づいて設定されているＬＰＦを選択する構成であってもよい。
【００６７】
なお、上記実施形態における画像処理装置１００において、被写体選択部３１が設定する主要被写体画像（所定の被写体画像）は、１つの被写体画像に限らず、複数の被写体画像を主要被写体画像としてもよい。例えば、人物が主要被写体であって、徒競走をしている複数の人物（例えば、４人）が主要被写体である場合、画像処理装置１００は、トリミング画像の位置の動きに基づいて、トリミング領域のうち、徒競走をしている複数の人物（例えば、４人）の画像領域以外の背景画像領域の画像に対して高周波数成分を抑圧する。この場合、複数の人物の動きが異なる場合であっても、画像処理装置１００は、トリミング画像の位置の動きに基づいて、トリミング領域のうち、徒競走をしている複数の人物（例えば、４人）の画像領域以外の背景画像領域の画像に対して高周波数成分を抑圧する処理が可能である。
【００６８】
なお、上記実施形態における画像処理装置１００において、位置検出部３３が、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出するための２つの画像は、時系列に撮像された画像のうち連続した現在のフレーム画像と直前のフレーム画像との２つの画像に限られるものではない。位置検出部３３が位置の変化を検出するための２つの画像は、現在のフレーム画像を含まない２つの画像であってもよい。また、位置検出部３３が位置の変化を検出するための２つの画像は、連続していないフレーム画像であってもよく、所定の時間（例えば、０．５秒、または１秒等）間隔のフレーム画像であってもよいし、ユーザーにより任意に設定された時間間隔のフレーム画像であってもよい。そして、この２つのフレーム画像の時間間隔は、トリミング画像または主要被写体画像の位置の変化量の大きさ、すなわち主要被写体の動きの速さに基づいて、予め設定されてもよいし、ユーザーにより設定されてもよい。また、位置検出部３３は、位置の変化量を検出できない場合、２つのフレーム画像の時間間隔を広げる制御を実行してもよい。これにより、位置検出部３３は、トリミング画像または主要被写体画像の位置の変化が遅いことにより位置の変化量を検出できない場合、２つのフレーム画像の時間間隔を広げることにより位置の変化量を検出することができる。さらに、位置検出部３３は、２つのフレーム画像の時間間隔を連続的に変化させて、位置の変化量を検出してもよい。
【００６９】
また、位置検出部３３が、時系列に撮像された２つの画像間において、位置の変化を検出する例について説明したが、これに限られるものではない。位置検出部３３は、時系列に撮像された３つ以上の複数の画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出してもよい。すなわち、位置検出部３３は、時系列に撮像された少なくとも２つの画像間において、トリミング画像の位置の変化、または主要被写体画像（所定の被写体画像）の位置の変化を検出してもよい。
【００７０】
なお、上記実施形態における画像処理装置１００は、単一フレーム画像内において主要被写体画像領域以外の背景画像領域に対して、選択したＬＰＦに基づいて画像処理する構成について説明したが、ＬＰＦに基づいて画像処理する構成に代えて、複数のフレーム画像における背景画像領域の画像を加算処理する構成としてもよい。この構成によれば、複数のフレーム画像における背景画像領域の画像を加算することで、背景画像領域において像流れと同様の効果が得られる。
【００７１】
なお、上記実施形態における画像処理装置１００において、画像処理をする対象となる動画像が画像入力部１から入力される例について説明したが、画像処理をする対象となる動画像は、記憶媒体２１に記憶されていてもよい。そして、画像処理装置１００は、記憶装置２が記憶媒体２１から読み出した当該動画像に対して画像処理を実行してもよい。
【００７２】
なお、上記実施形態における画像処理装置１００の記憶装置２、操作部４、及び表示装置５は、画像処理装置１００と一体に構成されていてもよいし、着脱可能な外部装置であってもよい。
【００７３】
なお、上記実施形態において、ビデオカメラやデジタルスチルカメラ等の撮像装置により撮像された動画像が入力されて画像処理を行う画像処理装置１００の構成を例に説明したが、撮像装置が画像処理装置１００の構成の一部または全てを備え、当該撮像装置において、撮像から画像処理までの一連の処理を実行する構成としてもよい。
以下、画像処理装置の構成を備えている撮像装置の一例を説明する。
【００７４】
（撮像装置の構成）
図５は、画像処理装置１００を備えている撮像装置２００の構成を示す概略ブロック図である。図５に示す撮像装置２００は、画像処理装置１００、撮像部６、制御部７、記憶部８、バッファメモリ部９、及びバス１５を備えている。また、画像処理装置１００は、図１の画像処理装置１００と対応しており、外部入出力部１ａ、記憶装置２、処理部３、操作部４、及び表示装置５を備えている。図５において図１の各部に対応する部分には同一の符号を付けており、その説明を省略する。図５の外部入出力部１ａは、外部装置と動画像等のデータを入出力する端子を備えており、図１の画像入力部１に対応している。
【００７５】
撮像部６は、レンズ部６１、撮像素子６２、及びＡ/Ｄ変換部６３を備えており、被写体の光学像から動画像または静止画像等を撮像する。この撮像部６は、設定された撮像条件（例えば絞り値、露出等）に基づいて制御部７により制御され、レンズ部６１を介して入力された被写体の光学像を、撮像素子６２の撮像面上に結像させる。撮像素子６２は、撮像面に結像された光学像を光電変換したアナログ信号を、Ａ/Ｄ変換部６３に出力する。Ａ/Ｄ変換部６３は、撮像素子６２から入力されたアナログ信号をデジタル信号に変換し、この変換したデジタル信号を出力する。なお、上述したレンズ部６１は、撮像装置２００に取り付けられて一体とされていてもよいし、撮像装置２００に着脱可能に取り付けられてもよい。
【００７６】
例えば、撮像部６は、操作部４における動画撮影操作に応じて、所定の間隔で連続的に撮像した動画像を出力する。また、撮像部６は、操作部４における静止画撮影操作に応じて、撮像した静止画像を出力する。そして、撮像部６によって撮像された動画像及び静止画像は、制御部７の制御により、バッファメモリ部９や画像処理装置１００を介して記憶媒体２１に記録される。また、撮像部６は、操作部４における撮影操作がされていない撮影待機状態の場合、所定の間隔で連続的に得られる画像をスルー画像として出力する。
【００７７】
制御部７は、撮像装置２００が備えている各部を制御する。記憶部８には、撮像装置２００を制御するための、予め定められた撮影制御条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、及び出力制御条件などが記憶されている。例えば、記憶部８は、ＲＯＭ（Read Only Memory）である。なお、画像処理装置１００が画像処理に用いる予め定められた画像処理条件は、画像処理装置１００に記憶部を備えて記憶されていてもよい。
【００７８】
バッファメモリ部９は、制御部７が撮像装置２００を制御する際の作業領域として利用される。撮像部６によって撮像された動画像、スルー画像、もしくは静止画像、または記憶媒体２１から読み出された画像は、制御部７の制御による画像処理の過程においてバッファメモリ部９に一時的に記憶される。バッファメモリ部９は、例えばＲＡＭ（Random Access Memory）である。なお、バッファメモリ部９は、画像処理装置１００に備えられ、画像処理装置１００の制御による画像処理の過程において作業領域として利用されてもよい。
【００７９】
バス１５は、外部入出力部１ａ、記憶装置２、処理部３、操作部４、表示装置５、撮像部６、制御部７、記憶部８、及びバッファメモリ部９と接続され、各部から出力された画像データや制御信号等を転送する。
【００８０】
以上、図５を用いて説明した撮像装置２００の構成において、画像処理装置１００は、撮像部６により撮像された動画像に対して、主要被写体画像を含む画像領域をトリミングして、トリミング画像を生成する。また、画像処理装置１００は、撮像された動画像のうち少なくとも２つの画像間において、トリミング画像の位置の変化、または主要被写体画像の位置の変化を検出する。そして、画像処理装置１００は検出した位置の変化に基づいて、トリミング画像の画像領域のうち所定の被写体画像の画像領域外となる背景画像領域の高周波数成分を抑圧する。これにより、撮像装置２００は、撮像部６により撮像された動画像から主要被写体画像を含むトリミング画像を生成する場合に、主要被写体画像の位置の変化に基づいてトリミング領域における背景画像領域の高周波数成分を抑圧することができる。よって、撮像装置２００は、主要被写体の動きが感じられるような臨場感のあるトリミング画像を生成することができる。なお、画像処理装置１００は、記憶媒体２１に記憶されている動画像、または、外部入出力部１ａから入力される動画像に対して、同様にトリミング画像を生成してもよい。
【００８１】
なお、図１における画像処理装置１００の処理部３は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上述の処理部３の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００８２】
また、上述の画像処理装置１００の処理部３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の処理部３の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８４】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８５】
３２ トリミング部、３３ 位置検出部、３４ 画像処理部、１００ 画像処理装置
【特許請求の範囲】
【請求項１】
画像処理装置としてのコンピュータに、
時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングしてトリミング画像を生成するトリミング手順と、
前記複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出手順と、
前記位置検出手順により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外である背景画像領域の高周波数成分を抑圧する画像処理手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項２】
前記画像処理手順において、
前記位置検出手順により検出された位置の変化量が大きくなるほど、前記背景画像領域の高周波数成分を抑圧する量を大きくする
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記画像処理手順において、
前記位置検出手順により検出された位置の変化の移動方向に基づいて、前記背景画像領域の当該移動方向に対応する方向における高周波数成分を抑圧する
ことを特徴とする請求項１または請求項２に記載の画像処理プログラム。
【請求項４】
前記画像処理手順において、
前記任意の画像領域のサイズが小さくなるほど、前記背景画像領域の高周波数成分を抑圧する量を大きくする
ことを特徴とする請求項１から請求項３の何れか１項に記載の画像処理プログラム。
【請求項５】
時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングしてトリミング画像を生成するトリミング部と、
前記複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出部と、
前記位置検出部により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外となる背景画像領域の高周波数成分を抑圧する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項１】
画像処理装置としてのコンピュータに、
時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングしてトリミング画像を生成するトリミング手順と、
前記複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出手順と、
前記位置検出手順により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外である背景画像領域の高周波数成分を抑圧する画像処理手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項２】
前記画像処理手順において、
前記位置検出手順により検出された位置の変化量が大きくなるほど、前記背景画像領域の高周波数成分を抑圧する量を大きくする
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記画像処理手順において、
前記位置検出手順により検出された位置の変化の移動方向に基づいて、前記背景画像領域の当該移動方向に対応する方向における高周波数成分を抑圧する
ことを特徴とする請求項１または請求項２に記載の画像処理プログラム。
【請求項４】
前記画像処理手順において、
前記任意の画像領域のサイズが小さくなるほど、前記背景画像領域の高周波数成分を抑圧する量を大きくする
ことを特徴とする請求項１から請求項３の何れか１項に記載の画像処理プログラム。
【請求項５】
時系列で撮像された複数の画像それぞれから、所定の被写体画像を含む任意の画像領域をトリミングしてトリミング画像を生成するトリミング部と、
前記複数の画像のうち少なくとも２つの画像間における前記任意の画像領域の位置の変化、または前記所定の被写体画像の位置の変化を検出する位置検出部と、
前記位置検出部により検出された位置の変化に基づいて、前記トリミング画像内のうち前記所定の被写体画像の画像領域外となる背景画像領域の高周波数成分を抑圧する画像処理部と、
を備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１５９８７２（Ｐ２０１２−１５９８７２Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１７０６４（Ｐ２０１１−１７０６４）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]