画像処理装置および方法、並びにプログラム
【課題】入力画像に含まれる必要な情報を可能な限り残したままでノイズを効率的に除去するコアリング処理を実現できるようにする。
【解決手段】画像処理装置は、振幅の大きさと撮像ボケ量とのうちの少なくとも一方をパラメータとしてコアリング量を変更し（Ｓ２）、変更後のコアリング量に基づいて、入力画像データから抽出された高域周波数成分としての補正データを加工する（Ｓ３）。そして、画像処理装置は、入力画像データと、加工後の補正データとの差分データを生成し、その差分データをコアリング処理済データとして出力する（Ｓ４）。本発明は、テレビジョン放送受像機に適用可能である。
【解決手段】画像処理装置は、振幅の大きさと撮像ボケ量とのうちの少なくとも一方をパラメータとしてコアリング量を変更し（Ｓ２）、変更後のコアリング量に基づいて、入力画像データから抽出された高域周波数成分としての補正データを加工する（Ｓ３）。そして、画像処理装置は、入力画像データと、加工後の補正データとの差分データを生成し、その差分データをコアリング処理済データとして出力する（Ｓ４）。本発明は、テレビジョン放送受像機に適用可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法並びにプログラムに関し、特に、入力画像に含まれる映像情報を可能な限り残したままノイズを効率的に除去できるコアリング処理を実現する画像処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置は、入力画像に対してエンハンス処理を施すと一般的にノイズを強調してしまうため、そのノイズを除去すべく、エンハンス処理を行う前にコアリング処理を実行することがある（例えば特許文献１や２参照）。
【０００３】
【特許文献１】特開２００１−２５１５４９号公報
【特許文献２】特開２００４−３１８３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のコアリング処理では、ノイズのみならず、入力画像に含まれる映像情報までが失われてしまうことがあり、画像劣化につながるという問題点があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、入力画像に含まれる映像情報を可能な限り残したままノイズを効率的に除去できるコアリング処理を実現するものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の画像処理装置は、動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置であって、前記注目画素の画素データから、その高域周波数成分を補正データとして抽出する抽出手段と、前記注目画素についての所定のパラメータ値に応じて、前記コアリング量を変更するコアリング量変更手段と、前記コアリング量変更手段により変更された前記コアリング量に基づいて、前記抽出手段から抽出された前記補正データを加工する加工手段と、前記注目画素の画素データと、前記加工手段により加工された前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する差分手段とを備える。
【０００７】
前記注目画素についての前記所定のパラメータ値は、前記注目画素についての振幅の大きさを少なくとも含むことができる。
【０００８】
前記動画像は、撮影装置により撮影された動画像であって、前記注目画素についての前記所定のパラメータ値は、前記撮影装置により前記動画像が撮影されるときに発生する、前記注目画素についての撮像ボケの特性を示すパラメータの値を少なくとも含むことができる。さらに、この場合、前記前記注目画素についての前記所定のパラメータ値は、前記注目画素についての移動速度を少なくとも含むようにすることができる。
【０００９】
本発明の一側面の画像処理方法は、動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置の画像処理方法であって、前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し、前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し、変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し、前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力するステップを含む。
【００１０】
本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。
【００１１】
本発明の一側面の画像処理装置および方法並びにプログラムにおいては、動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理として、次のような処理が実行される。即ち、前記注目画素の画素データから、その高域周波数成分が補正データとして抽出される。また、前記注目画素についての所定のパラメータ値に応じて前記コアリング量が変更され、変更後の前記コアリング量に基づいて、抽出された前記補正データが加工される。そして、前記注目画素の画素データと、加工後の前記補正データとの差分データが生成され、その差分データが、前記コアリング処理済みのデータとして出力される。
【発明の効果】
【００１２】
以上のごとく、本発明によれば、コアリング処理を行うことができる。特に、入力画像に含まれる映像情報を可能な限り残したままノイズを効率的に除去できるコアリング処理を実現可能にする。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１４】
さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１５】
本発明の一側面の画像処理装置（例えば、図３、図７、図８の画像処理装置）は、
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置であって、
前記注目画素の画素データ（例えば図３、図７、図８のデータT0）から、その高域周波数成分を補正データ（例えば図３、図７、図８のデータT1）として抽出する抽出手段（例えば図３と図７のHPF部２１や、図８のHPF部３１）と、
前記注目画素についての所定のパラメータ値に応じて、前記コアリング量を変更するコアリング量変更手段（例えば、図３と図７のうちの特にコアリング可変部２５や、図８のうちの特にコアリング量可変部３３。特にと記述したのは、例えば図７の傾き可変部２７等をさらに含めてもよいからでる）と、
前記コアリング量変更手段により変更された前記コアリング量（例えば、図３，図７，図８のコアリング量TH）に基づいて、前記抽出手段から抽出された前記補正データを加工する加工手段（例えば、図３と図７の加工部２２や、図８の加工部３４）と、
前記注目画素の画素データと、前記加工手段により加工された前記補正データ（図３、図７、図８のデータT2）との差分データを生成し、その差分データを、前記コアリング処理済みのデータ（例えば、図３、図７、および図８のデータT3）を出力する差分手段（例えば、図３と図７の減算部２３や、図８の減算部３５）と
を備える。
【００１６】
前記注目画素についての前記所定のパラメータ値は、前記注目画素についての振幅の大きさ（例えば、図７の振幅検出部２４の出力データT4）を少なくとも含む。
【００１７】
前記動画像は、撮影装置により撮影された動画像であって、
前記注目画素についての前記所定のパラメータ値は、前記撮影装置により前記動画像が撮影されるときに発生する、前記注目画素についての撮像ボケの特性（例えば図５の特性）を示すパラメータの値を少なくとも含む。
【００１８】
前記前記注目画素についての前記所定のパラメータ値は、前記注目画素についての移動速度（例えば図７の移動速度検出部２６や図８の移動速度検出部３２の出力データである移動速度MV）を少なくとも含む。
【００１９】
本発明の一側面の情報処理方法は、
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理（例えば、図１０のコアリング処理）
を実行する画像処理装置の画像処理方法において、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し（例えば図１０のステップＳ１）、
前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し（例えば図１０のステップＳ２）、
変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し（例えば図１０のステップＳ３）、
前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する（例えば図１０のステップＳ４）
ステップを含む。
【００２０】
本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。詳細については後述するが、このプログラムは、例えば、図１１のリムーバブルメディア１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図１１の構成のコンピュータにより実行される。
【００２１】
その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。
【００２２】
以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。
【００２３】
ここで、本発明の理解を容易なものとするために、本発明の説明の前に、コアリング処理を実行する一般的な従来の画像処理装置について説明する。
【００２４】
図１は、従来の画像処理装置の機能的構成例を示している。
【００２５】
なお、以下の説明においては、次の前提事項が成立しているとする。
【００２６】
即ち、従来の画像処理装置は、動画像データに対する各種画像処理をアクセスユニット単位で実行するとする。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、従来の画像処理装置は、動画像データに対する各種画像処理をフレーム単位で実行するとする。
【００２７】
また、従来の画像処理装置を構成する各機能ブロック（加算部等の演算部も含む）に入力される信号を、まとめて入力データと適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力データと適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力データと適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主に画素値）を用いて説明を行い、それ以外の場合、単に入力データまたは出力データを用いて説明を行う。
【００２８】
なお、以上の前提事項は、後述する本発明が適用される種々の画像処理装置についても成立するとする。
【００２９】
図１の例の従来の画像処理装置は、HPF部１１、加工部１２、および、減算部１３を含むように構成される。
【００３０】
HPF(High Pass Filter)部１１は、入力画像データT0に対してハイパスフィルタをかけ、その結果得られる高域周波数成分データを出力データT1として加工部１２に提供する。
【００３１】
加工部１２には、このHPF部１１の出力データT1の他、予め定められた固定量であるコアリング量THが提供される。また、加工部１２は、図２に示されるような関数f1(α)を保持している。そこで、加工部１２は、HPF部１１の出力データT1を入力値αとして関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部１３に提供する。
【００３２】
減算部１３は、入力画像データT0から、加工部１２の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００３３】
このように図１の従来の画像処理装置では、図２の関数f1(α)の特性より、HPF部１１の出力データT1の値がコアリング量THよりも低い場合、HPF部１１の出力データT1そのもの、即ち、入力画像データT0から抽出された高域周波数成分データT1そのものが、加工部１２の出力データT2となる。この場合、減算部１３において、入力画像データT0から、HPF部１１の出力データT1が減算された結果得られるデータT0-T1が、コアリング処理済みデータT3として外部に出力される。
【００３４】
これに対して、HPF部１１の出力データT1の値がコアリング量THを超えた場合は、HPF部１１の出力データT1の値はコアリング量THに変換され、その変換後のデータ、即ち、コアリング量THが、加工部１２の出力データT2となる。即ち、HPF部１１の出力データT1の値がコアリング量THを超えた場合には、リミット量としてのコアリング量THが、加工部１２の出力データT2として減算部１３に提供される。この場合、減算部１３において、入力画像データT0からコアリング量THが減算された結果得られるデータT0-THが、コアリング処理済みデータT3として外部に出力される。
【００３５】
なお、以下、このように、入力画像の高域周波数成分量（ここでは、HPF部１１の出力画像データT1の値）をコアリング量THに変換することを、クリッピングすると称する。
【００３６】
このような図１の従来の画像処理装置では、入力画像データTOの波形の形状（振幅の大きさ）に関わらずコアリング量THは固定であるため、入力画像データT0に含まれる映像情報のうちの、振幅の大きな低域成分の映像情報が失われる場合がある、といった問題点（以下、振幅要因問題点と称する）が発生してしまう。即ち、振幅要因問題点とは、［発明が解決しようとする課題］で上述した問題点のうちの１つである。
【００３７】
そこで、本発明人は、かかる振幅要因問題点を解決すべく、即ち、振幅の大きな低域成分の映像情報を可能な限り残したままノイズを効率的に除去するコアリング処理を実現すべく、次のような手法を発明した。即ち、振幅の大きさに応じてコアリング量THを可変するという手法、より詳しくは、振幅が大きい場合には、コアリング量THを小さくする一方、振幅が小さい場合には、コアリング量THを大きくするという手法（以下、振幅考慮コアリング手法と称する）が、本発明人により発明された。より具体的には、振幅がある一定以上の大きさを超えた場合、それ以降、振幅が大きくなるに従いコアリング量THを減少させていくという手法が、振幅考慮コアリング手法の一例である。
【００３８】
かかる振幅考慮コアリング手法の一例が適用された画像処理装置の一構成例が、図３に示されている。
【００３９】
図３の例では、画像処理装置は、HPF部２１、加工部２２、減算部２３、振幅検出部２４、および、コアリング量可変部２５を含むように構成されている。
【００４０】
入力画像データT0は、図１の従来の画像処理装置と同様に、HPF部２１と減算部２３とに提供される。そこで、HPF部２１は、入力画像データT0に対してハイパスフィルタをかけ、その結果得られる高域周波数成分データを出力データT1として加工部２２に提供する。
【００４１】
さらに、図３の例では、従来固定であったコアリング量THを、振幅の大きさに応じて可変させるべく、入力画像データT0は、振幅検出部２４にも入力される。振幅検出部２４は、入力画像データT0の振幅の大きさを検出し、その振幅の大きさを示すデータを、出力データT4としてコアリング量可変部２５に提供する。
【００４２】
具体的には例えば、所定のフレームを構成する複数の画素のうちの処理対象として注目すべき画素（以下、注目画素と称する）の画素値を含む入力画像データT0が提供されてくる場合、振幅検出部２４は、注目画素とその隣接画素との画素値の差分値（一次微分値）に基づいて、注目画素についての振幅の大きさを求め、それを出力データT4に含めてコアリング量可変部２５に提供する。換言すると、入力画像データT0がフレームデータであると捉えると、振幅検出部２４の出力データT4は、そのフレームを構成する複数の画素のそれぞれについての振幅の大きさをそれぞれ含むデータとなる。
【００４３】
ただし、以下、説明の簡略上、特に断りのない限り、入力画像データT0は、注目画素の画素値であるとする。即ち、以下、各機能ブロックの入力データや出力データは、特に断りのない限り、注目画素についてのデータであるとする。
【００４４】
振幅検出部２４の出力データT4が提供されるコアリング量可変部２５は、図４に示されるような関数f2(α)を保持している。そこで、コアリング量可変部２５は、振幅検出部２４の出力データT4を入力値αとして関数f2(α)に代入し、その出力値f2(T4)を（ここでは注目画素についての）コアリング量THとして加工部２２に提供する。
【００４５】
図４の関数f2(α)の特性より、振幅検出部２４の出力データT4の値、即ち、ここでは注目画素についての振幅の大きさが一定値以下の場合、コアリング量THは所定の一定値となる。
【００４６】
これに対して、振幅検出部２４の出力データT4の値、即ち、ここでは注目画素についての振幅の大きさが一定値を越えた場合、それ以降、振幅の大きさが大きくなるに従い、コアリング量THは徐々に減少していく。
【００４７】
この場合のコアリング量THの減少の度合い（コアリングの効き度合い）は、関数f2(α)の特性のうちの、振幅の大きさ（振幅検出部２４の出力データT4の値）が一定値以上の範囲の特性を示す一次関数の傾きTHGの大きさ（急峻さ）で示されることになる。図３の例では、かかる傾きTHGとして、所定の固定値が外部からコアリング量可変部２５に与えられる。
【００４８】
このようにして、コアリング量THは、（ここでは注目画素についての）振幅の大きさに応じて可変（コントロール）され、コントロール後（変更後）のコアリング量THは、加工部２２に提供される。
【００４９】
そこで、加工部２２は、振幅の大きさに対応して変更されたコアリング量THに応じて、図２の関数f1(α)の特性を変更させる。そして、加工部２２は、HPF部２１の出力データT1を入力値αとして、特性変更後の関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部２３に提供する。
【００５０】
減算部２３は、入力画像データT0から、加工部２２の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００５１】
ところで、入力画像データT0が、カメラ等の撮影装置により撮影された動画像についての画像データである場合、入力画像データT0には、そのカメラによる撮影時に発生する被写体（物体等）についての動きボケ（以下、撮像ボケと称する）が含まれていることがある。
【００５２】
この撮像ボケの特性は、一般的に被写体（物体等）の移動速度に依存した形態で表すことが可能である。
【００５３】
なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。
【００５４】
従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。
【００５５】
画素における移動速度とは、処理対象のフレーム内の画素と、それよりも時間的に前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、ｖ（ｖは、０以上の任意の整数値）画素分である場合、その画素における移動速度とは、ｖ［画素/フレーム］になる。
【００５６】
この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度ｖ［画素/フレーム］の大小に依存した形態で表すことができる。
【００５７】
より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図５の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。
【００５８】
即ち、図５は、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図５において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。
【００５９】
この図５の撮像ボケの特性からわかるように、移動速度が大きくなるに従い（被写体が素早く移動するに従い）、撮像ボケ量は大きくなっていき、その分だけ、入力画像データ（ここでは、注目画素の画素値）の高域周波数成分に残存する映像情報が少なくなっていく。逆に言えば、移動速度が小さくなるに従い（被写体がゆっくり移動するに従い）、撮像ボケ量は小さくなっていき、入力画像データ（ここでは、注目画素の画素値）の高域周波数成分に残存する映像情報が多くなっていく（映像情報が失われなくなっていく）。
【００６０】
従って、撮像ボケを含む入力画像データT0が与えられる場合には、図３の画像処理装置では、次のような問題点が発生する。即ち、被写体（物体等）の移動速度がゆっくり移動しているとき（撮像ボケ量が少ないとき）には、入力画像データT0の高域周波数成分には、ノイズだけでなく映像情報も含まれていることになる。これに対して、被写体が素早く移動しているとき（撮像ボケ量が多いとき）には、入力画像データT0の高域周波数成分はノイズがほとんど占めるようになる。このように、撮像ボケ量によって、高域周波数成分の情報が全てノイズ成分であるとは限らないため、特に被写体（物体等）がゆっくり移動している時に、その被写体の少なくとも一部が注目画素とされて、その注目画素に対してコアリング処理が施されてしまうと、高域周波数成分に含まれる映像情報まで失われてしまう、という問題点が発生してしまう。以下、かかる問題点を、撮像ボケ要因問題点と称する。即ち、撮像ボケ要因問題点とは、［発明が解決しようとする課題］で上述した問題点のうちの１つである。
【００６１】
そこで、本発明人は、かかる撮像要因問題点を解決すべく、即ち、高域周波数成分に含まれる映像情報を可能な限り残したままノイズを効率的に除去するコアリング処理を実現すべく、次のような手法をさらに発明した。即ち、撮像ボケ量（移動速度）に応じてコアリング量THを可変するという手法、より詳しくは、撮像ボケ量が少ない（移動速度が小さい）場合には、コアリング量THを小さくする一方、撮像ボケ量が多い（移動速度が大きい）場合には、コアリング量THを大きくするという手法（以下、撮像ボケ考慮コアリング手法と称する）を発明した。具体的には例えば、撮像ボケ量が０の場合（移動速度が０の場合）のコアリング量THを最小（例えば０）として、それ以降、撮像ボケ量が多くなっていくに従い（移動速度が上がるに従い）、コアリング量THを増加させていき、撮像ボケ量がある一定以上の量を超えた時点（移動速度が一定以上の速度を超えた時点）でのコアリング量THを最大として、それ以降、最大のコアリング量THを保っていくという手法が、撮像ボケ考慮コアリング手法の一例である。
【００６２】
従って、撮像ボケ要因問題点と上述した振幅要因問題点とを同時に解決したい場合には、撮像ボケ考慮コアリング手法と振幅考慮コアリング手法とを組み合わせた手法（以下、撮像ボケ振幅同時考慮コアリング手法と称する）を採用すればよい。
【００６３】
具体的には例えば、上述したように、振幅がある一定以上の大きさを超えた場合、それ以降の振幅が大きくなるに従いコアリング量THを減少させていくという手法、即ち、図４の関数f2（α）の特性に従ってコアリング量THを可変させる（コントロールする）という手法が、振幅考慮コアリング手法の一例とされ、上述した図３の画像処理装置に適用されていた。そこで、かかる振幅考慮コアリング手法の一例に対してさらに、撮像ボケ考慮コアリング手法を加えた例、即ち、撮像ボケ振幅同時考慮コアリング手法の一例として、例えば次のような手法を採用することができる。即ち、振幅（データT4の値）がある一定以上の大きさを超えた場合において、撮像ボケ量が少ない（移動速度が小さい）ときには、コアリング量THの減少度合いを急峻にする（同一の振幅であれば、コアリング量THが小さくなるようする）一方、撮像ボケ量が多い（移動速度が大きい）ときには、コアリング量THの減少度合いを緩やかにする（同一の振幅であれば、コアリング量THが大きくなるようする）といった手法が、撮像ボケ振幅同時考慮コアリング手法の一例である。
【００６４】
より具体的には、コアリング量THの減少度合いは、上述したように、図４の傾きTHGの大きさで示すことができる。そこで、撮像ボケ量が０のとき（移動速度が０のとき）には傾きTHGを最大として、それ以降、撮像ボケ量が多くなっていくに従い（移動速度が上がるに従い）、傾きTHGを減少させていき、撮像ボケ量がある一定以上の量を超えた時点（移動速度が一定以上の速度を超えた時点）での傾きTHGを最小として、それ以降、最小の傾きTHGを保っていくという手法、即ち、図６の関数f3(α)の特性に従って傾きTHGを可変させる（コントロールする）という手法が、撮像ボケ振幅同時考慮コアリング手法の一例である。なお、図６において、MVは、（ここでは注目画素についての）移動速度を示している。
【００６５】
かかる撮像ボケ振幅同時考慮コアリング手法の一例が適用された画像処理装置の一構成例が、図７に示されている。
【００６６】
即ち、振幅考慮コアリング手法が適用された図３の例の画像処理装置に対して、さらに撮像ボケ量コアリング手法が適用された画像処理装置の一構成例が、図７に示されている。従って、図７において、図３と対応する箇所には対応する符号を付しており、それらの箇所については説明を適宜省略する。
【００６７】
図７の例の本発明の画像処理装置においては、撮像ボケ量コアリング手法を適用すべく、図３の例の画像処理装置の構成に対してさらに、移動速度検出部２６と傾き可変部２７とが設けられている。
【００６８】
移動速度検出部２６は、入力画像データT0として入力された注目画素（画素値）を含む処理対象のフレームと、その前後の幾つかのフレームとから、注目画素についての移動ベクトル（ここでは例えば水平方向の移動ベクトル）を検出する。そして、移動速度検出部２６は、注目画素についての移動ベクトルの大きさMV（即ち、注目画素についての移動速度MV）を、出力データとして傾き可変部２７に提供する。
【００６９】
ただし、移動ベクトルは、コアリング処理以外の別の画像処理においても利用される場合が多々ある。従って、別の画像処理を実行する別の装置やブロックにより検出された移動ベクトルの大きさをMVとして取得するようにすれば、移動速度検出部２６は省略可能である。
【００７０】
移動速度検出部２６の出力データMV、即ち、ここでは注目画素についての移動速度MVが提供される傾き可変部２７は、上述した図６の関数f3(α)を保持している。そこで、傾き可変部２７は、注目画素についての移動速度MVを入力値αとして関数f3(α)に代入し、その出力値f3(MV)を（ここでは注目画素についての）傾きTHGとしてコアリング量可変部２５に提供する。
【００７１】
このようにして、傾きTHGは、（ここでは注目画素についての）移動速度MVに応じて可変（コントロール）され、コントロール後（変更後）の傾きTHGは、コアリング量可変部２５に提供される。
【００７２】
そこで、コアリング量可変部２５は、傾き可変部２７により可変された傾きTHGに応じて、図４の関数f2(α)の特性を変更させる。そして、コアリング量可変部２５は、振幅検出部２４の出力データT4を入力値αとして、特性変更後の関数f2(α)に代入し、その出力値f2(T4)を（ここでは注目画素についての）コアリング量THとして加工部２２に提供する。
【００７３】
このようにして、図７の例では、コアリング量THは、（ここでは注目画素についての）振幅の大きさに応じてコントロール（可変）されるとともに、移動速度に応じて傾きTHGが可変されることで間接的にコントロール（可変）される。そして、振幅の大きさと移動速度の両者によるコントロール後（変更後）のコアリング量THは、加工部２２に提供される。
【００７４】
そこで、加工部２２は、振幅の大きさと移動速度との両者に対応して変更されたコアリング量THに応じて、図２の関数f1(α)の特性を変更させる。そして、加工部２２は、HPF部２１の出力データT1を入力値αとして、特性変更後の関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部２３に提供する。
【００７５】
減算部２３は、入力画像データT0から、加工部２２の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００７６】
以上、本発明が適用された画像処理装置の実施の形態として、振幅考慮コアリング手法が適用された図３の画像処理装置について説明し、その後、振幅考慮コアリング手法のみならず撮像ボケ量考慮コアリング手法も適用された画像処理装置、即ち、撮像ボケ振幅同時考慮コアリング手法が適用された図７の画像処理装置について説明した。
【００７７】
ただし、本発明が適用された画像処理装置は、上述した図３や図７の例に限定されず、様々な実施の形態を取ることが可能である。具体的には例えば、撮像ボケ考慮コアリング手法のみが適用された画像処理装置の一構成例が、図８に示されている。
【００７８】
図８の例の画像処理装置は、HPF部３１、移動速度検出部３２、コアリング量可変部３３、加工部３４、および、減算部３５を含むように構成されている。
【００７９】
HPF部３１は、入力画像データT0に対してハイパスフィルタをかけ、その結果得られる高域周波数成分データを出力データT1として加工部３４に提供する。
【００８０】
移動速度検出部３２は、図７の移動速度検出部２６と同様にして、入力画像データT0から、注目画素についての移動速度MVを検出し、それを出力データとしてコアリング量可変部３３に提供する。
【００８１】
この場合、別の画像処理装置やブロックにより検出された移動ベクトルの大きさをMVとして取得するようにすれば、図７の移動速度検出部２６と同様に、移動速度検出部３２は省略可能である。
【００８２】
移動速度検出部３２の出力データMV、即ち、ここでは注目画素についての移動速度MVが提供されるコアリング量可変部３３は、図９に示されるような関数f4(α)を保持している。そこで、コアリング量可変部３３は、注目画素についての移動速度MVを入力値αとして関数f4(α)に代入し、その出力値f4(MV)を（ここでは注目画素についての）コアリング量THとして加工部３４に提供する。
【００８３】
図９の関数f4(α)の特性より、移動速度検出部２６の出力データMV、即ち、ここでは注目画素についての移動速度MVが０のときのコアリング量THが最低値０とされ、それ以降、移動速度MVが大きくなるに従い、コアリング量THは徐々に増加していく。そして、移動速度MVが所定の値となった時のコアリング量THを最大値として、それ以降、移動速度MVが大きくなっても、コアリング量THはその最大値のまま保たれる。
【００８４】
このようにして、コアリング量THは、（ここでは注目画素についての）移動速度MVに応じて可変（コントロール）され、コントロール後（変更後）のコアリング量THは、加工部３４に提供される。
【００８５】
そこで、加工部３４は、移動速度MVに対応して変更されたコアリング量THに応じて、図２の関数f1(α)の特性を変更させる。そして、加工部３４は、HPF部３１の出力データT1を入力値αとして、特性変更後の関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部３５に提供する。
【００８６】
減算部３５は、入力画像データT0から、加工部３４の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００８７】
以上、本発明が適用される画像処理装置の構成例として、図３、図７、および図８の例について説明してきた。ただし、本発明が適用される画像処理装置とは、結局、図１０のコアリング処理を実行可能であれば足り、上述した例に限定されず、様々な構成を取ることができる。
【００８８】
ここで、図１０のコアリング処理、即ち、本発明が適用されるコアリング処理について説明する。
【００８９】
ステップＳ１において、画像処理装置は、入力画像データから、その高域周波数成分データを抽出し、それを補正データとして出力する。
【００９０】
ステップＳ２において、画像処理装置は、振幅の大きさと撮像ボケ量とのうちの少なくとも一方をパラメータとして、コアリング量を決定する。即ち、かかるパラメータに応じてコアリング量はコントロール（可変）されることになる。
【００９１】
ステップＳ３において、画像処理装置は、ステップＳ２のコントロール処理により決定されたコアリング量に基づいて、ステップＳ１の処理で出力された補正データを加工する。
【００９２】
ステップＳ４において、画像処理装置は、入力画像データと、加工後の補正データとの差分データを生成し、その差分データをコアリング処理済データとして出力する。
【００９３】
このような、本発明のコアリング処理が実行されると、次のような効果を奏することが可能になる。即ち、上述したように、一般的に入力画像に対してエンハンス処理が施されるとノイズが強調されてしまうため、エンハンス処理の実行前にコアリング処理が行われる。この場合、図１等の従来の画像処理装置により実行される従来のコアリング処理では、信号の形状（振幅の大きさ）や、撮像ボケ量（移動速度）が考慮されていなかったため、ノイズ除去と同時に、入力画像にとって必要な情報である映像情報まで失ってしまっていた。これに対し、本発明のコアリング処理（図１０）では、信号の形状（振幅の大きさ）や、撮像ボケ量（移動速度）といったパラメータ値によりコアリング量がコントロールされるため（可変されるため）、入力画像にとって必要な情報である映像情報を可能な限り失うことなく、ノイズ成分のみをより一段度と精度良く除去できる、といった効果を奏することが可能になる。
【００９４】
このような効果を奏することが可能な図１０のコアリング処理と、図３、図７、および図８の例の画像処理装置との対応関係を示すと、次のようになる。
【００９５】
即ち、ステップＳ１等でいう入力画像データは、図３、図７、および図８でいうデータT0に対応する。ステップＳ１等でいう高域周波数成分データ、即ち補正データは、図３、図７、および図８でいうデータT1に対応する。ステップＳ２でいう振幅の大きさは、図３や図７でいうデータT4に対応する。ステップＳ２でいう撮像ボケ量は、図７や図８でいう移動速度MVに対応する。ステップＳ２等でいう変更されたコアリング量は、図３，図７，図８でいうコアリング量THに対応する。ステップＳ４でいう加工後の補正データは、図３、図７、および図８でいうデータT2に対応する。ステップＳ４でいう差分データ、即ち、コアリング処理済データは、図３、図７、および図８でいうデータT3に対応する。
【００９６】
また、ステップＳ１の処理は、図３と図７の例ではHPF部２１により実行され、図８の例ではHPF部３１により実行される。ステップＳ２の処理は、図３や図７の例では特にコアリング量可変部２５により実行され、図８の例ではコアリング量可変部３３により実行される。なお、特にと記述したのは、例えば図７の例では、傾き可変部２７等の処理をステップＳ２の処理に含めると捉えることもできるからである。ステップＳ３の処理は、図３と図７の例では加工部２２により実行され、図８の例では加工部３４により実行される。ステップＳ４の処理は、図３と図７の例では減算部２３により実行され、図８の例では減算部３５により実行される。
【００９７】
なお、ステップＳ２で利用される撮像ボケ量のパラメータは、上述した例では移動速度が採用されたが、撮像ボケの特性を示すパラメータであれば上述した例に限定されず、その他例えば、カメラのシャッタスピード等を採用することもできる。
【００９８】
ところで、上述した一連の処理、具体的には例えば上述した図１０のコアリング処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
【００９９】
この場合、その一連の処理を実行する画像処理装置全体若しくはその一部分は、例えば、図１１に示されるようなコンピュータで構成することができる。
【０１００】
図１１において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０１】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１０２】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
【０１０３】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１０５】
このようなプログラムを含む記録媒体は、図１１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１０６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０７】
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１０８】
【図１】従来の画像処理装置の機能的構成の一例を示すブロック図である。
【図２】図１の加工部が保持する関数の特性例を示すブロック図である。
【図３】本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。
【図４】図３のコアリング量可変部が保持する関数の特性例を示す図である。
【図５】被写体の３つの移動速度における撮像ボケの各特性例を示す図である。
【図６】図４の関数における傾きTHGを移動速度MVに応じて可変するための関数の特性例を示す図である。
【図７】本発明が適用される画像処理装置の機能的構成の別の例であって、図６の関数により傾きTHGを可変することができる例を示すブロック図である。
【図８】本発明が適用される画像処理装置の機能的構成のさらに別の例を示すブロック図である。
【図９】図８のコアリング量可変部が保持する関数の特性例を示す図である。
【図１０】本発明が適用されるコアリング処理の例を説明するフローチャートである。
【図１１】本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。
【符号の説明】
【０１０９】
２１ HPF部， ２２ 加工部， ２３ 減算部 ， ２４振幅検出部， ２５ コアリング量可変部， ２６ 移動速度検出部， ２７ 傾き可変部， ３１ HPF部， ３２ 移動速度検出部， ３３ コアリング量可変部， ３４ 加工部， ３５ 減算部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置および方法並びにプログラムに関し、特に、入力画像に含まれる映像情報を可能な限り残したままノイズを効率的に除去できるコアリング処理を実現する画像処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置は、入力画像に対してエンハンス処理を施すと一般的にノイズを強調してしまうため、そのノイズを除去すべく、エンハンス処理を行う前にコアリング処理を実行することがある（例えば特許文献１や２参照）。
【０００３】
【特許文献１】特開２００１−２５１５４９号公報
【特許文献２】特開２００４−３１８３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のコアリング処理では、ノイズのみならず、入力画像に含まれる映像情報までが失われてしまうことがあり、画像劣化につながるという問題点があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、入力画像に含まれる映像情報を可能な限り残したままノイズを効率的に除去できるコアリング処理を実現するものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の画像処理装置は、動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置であって、前記注目画素の画素データから、その高域周波数成分を補正データとして抽出する抽出手段と、前記注目画素についての所定のパラメータ値に応じて、前記コアリング量を変更するコアリング量変更手段と、前記コアリング量変更手段により変更された前記コアリング量に基づいて、前記抽出手段から抽出された前記補正データを加工する加工手段と、前記注目画素の画素データと、前記加工手段により加工された前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する差分手段とを備える。
【０００７】
前記注目画素についての前記所定のパラメータ値は、前記注目画素についての振幅の大きさを少なくとも含むことができる。
【０００８】
前記動画像は、撮影装置により撮影された動画像であって、前記注目画素についての前記所定のパラメータ値は、前記撮影装置により前記動画像が撮影されるときに発生する、前記注目画素についての撮像ボケの特性を示すパラメータの値を少なくとも含むことができる。さらに、この場合、前記前記注目画素についての前記所定のパラメータ値は、前記注目画素についての移動速度を少なくとも含むようにすることができる。
【０００９】
本発明の一側面の画像処理方法は、動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置の画像処理方法であって、前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し、前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し、変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し、前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力するステップを含む。
【００１０】
本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。
【００１１】
本発明の一側面の画像処理装置および方法並びにプログラムにおいては、動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理として、次のような処理が実行される。即ち、前記注目画素の画素データから、その高域周波数成分が補正データとして抽出される。また、前記注目画素についての所定のパラメータ値に応じて前記コアリング量が変更され、変更後の前記コアリング量に基づいて、抽出された前記補正データが加工される。そして、前記注目画素の画素データと、加工後の前記補正データとの差分データが生成され、その差分データが、前記コアリング処理済みのデータとして出力される。
【発明の効果】
【００１２】
以上のごとく、本発明によれば、コアリング処理を行うことができる。特に、入力画像に含まれる映像情報を可能な限り残したままノイズを効率的に除去できるコアリング処理を実現可能にする。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１４】
さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１５】
本発明の一側面の画像処理装置（例えば、図３、図７、図８の画像処理装置）は、
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置であって、
前記注目画素の画素データ（例えば図３、図７、図８のデータT0）から、その高域周波数成分を補正データ（例えば図３、図７、図８のデータT1）として抽出する抽出手段（例えば図３と図７のHPF部２１や、図８のHPF部３１）と、
前記注目画素についての所定のパラメータ値に応じて、前記コアリング量を変更するコアリング量変更手段（例えば、図３と図７のうちの特にコアリング可変部２５や、図８のうちの特にコアリング量可変部３３。特にと記述したのは、例えば図７の傾き可変部２７等をさらに含めてもよいからでる）と、
前記コアリング量変更手段により変更された前記コアリング量（例えば、図３，図７，図８のコアリング量TH）に基づいて、前記抽出手段から抽出された前記補正データを加工する加工手段（例えば、図３と図７の加工部２２や、図８の加工部３４）と、
前記注目画素の画素データと、前記加工手段により加工された前記補正データ（図３、図７、図８のデータT2）との差分データを生成し、その差分データを、前記コアリング処理済みのデータ（例えば、図３、図７、および図８のデータT3）を出力する差分手段（例えば、図３と図７の減算部２３や、図８の減算部３５）と
を備える。
【００１６】
前記注目画素についての前記所定のパラメータ値は、前記注目画素についての振幅の大きさ（例えば、図７の振幅検出部２４の出力データT4）を少なくとも含む。
【００１７】
前記動画像は、撮影装置により撮影された動画像であって、
前記注目画素についての前記所定のパラメータ値は、前記撮影装置により前記動画像が撮影されるときに発生する、前記注目画素についての撮像ボケの特性（例えば図５の特性）を示すパラメータの値を少なくとも含む。
【００１８】
前記前記注目画素についての前記所定のパラメータ値は、前記注目画素についての移動速度（例えば図７の移動速度検出部２６や図８の移動速度検出部３２の出力データである移動速度MV）を少なくとも含む。
【００１９】
本発明の一側面の情報処理方法は、
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理（例えば、図１０のコアリング処理）
を実行する画像処理装置の画像処理方法において、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し（例えば図１０のステップＳ１）、
前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し（例えば図１０のステップＳ２）、
変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し（例えば図１０のステップＳ３）、
前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する（例えば図１０のステップＳ４）
ステップを含む。
【００２０】
本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。詳細については後述するが、このプログラムは、例えば、図１１のリムーバブルメディア１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図１１の構成のコンピュータにより実行される。
【００２１】
その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。
【００２２】
以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。
【００２３】
ここで、本発明の理解を容易なものとするために、本発明の説明の前に、コアリング処理を実行する一般的な従来の画像処理装置について説明する。
【００２４】
図１は、従来の画像処理装置の機能的構成例を示している。
【００２５】
なお、以下の説明においては、次の前提事項が成立しているとする。
【００２６】
即ち、従来の画像処理装置は、動画像データに対する各種画像処理をアクセスユニット単位で実行するとする。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、従来の画像処理装置は、動画像データに対する各種画像処理をフレーム単位で実行するとする。
【００２７】
また、従来の画像処理装置を構成する各機能ブロック（加算部等の演算部も含む）に入力される信号を、まとめて入力データと適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力データと適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力データと適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主に画素値）を用いて説明を行い、それ以外の場合、単に入力データまたは出力データを用いて説明を行う。
【００２８】
なお、以上の前提事項は、後述する本発明が適用される種々の画像処理装置についても成立するとする。
【００２９】
図１の例の従来の画像処理装置は、HPF部１１、加工部１２、および、減算部１３を含むように構成される。
【００３０】
HPF(High Pass Filter)部１１は、入力画像データT0に対してハイパスフィルタをかけ、その結果得られる高域周波数成分データを出力データT1として加工部１２に提供する。
【００３１】
加工部１２には、このHPF部１１の出力データT1の他、予め定められた固定量であるコアリング量THが提供される。また、加工部１２は、図２に示されるような関数f1(α)を保持している。そこで、加工部１２は、HPF部１１の出力データT1を入力値αとして関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部１３に提供する。
【００３２】
減算部１３は、入力画像データT0から、加工部１２の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００３３】
このように図１の従来の画像処理装置では、図２の関数f1(α)の特性より、HPF部１１の出力データT1の値がコアリング量THよりも低い場合、HPF部１１の出力データT1そのもの、即ち、入力画像データT0から抽出された高域周波数成分データT1そのものが、加工部１２の出力データT2となる。この場合、減算部１３において、入力画像データT0から、HPF部１１の出力データT1が減算された結果得られるデータT0-T1が、コアリング処理済みデータT3として外部に出力される。
【００３４】
これに対して、HPF部１１の出力データT1の値がコアリング量THを超えた場合は、HPF部１１の出力データT1の値はコアリング量THに変換され、その変換後のデータ、即ち、コアリング量THが、加工部１２の出力データT2となる。即ち、HPF部１１の出力データT1の値がコアリング量THを超えた場合には、リミット量としてのコアリング量THが、加工部１２の出力データT2として減算部１３に提供される。この場合、減算部１３において、入力画像データT0からコアリング量THが減算された結果得られるデータT0-THが、コアリング処理済みデータT3として外部に出力される。
【００３５】
なお、以下、このように、入力画像の高域周波数成分量（ここでは、HPF部１１の出力画像データT1の値）をコアリング量THに変換することを、クリッピングすると称する。
【００３６】
このような図１の従来の画像処理装置では、入力画像データTOの波形の形状（振幅の大きさ）に関わらずコアリング量THは固定であるため、入力画像データT0に含まれる映像情報のうちの、振幅の大きな低域成分の映像情報が失われる場合がある、といった問題点（以下、振幅要因問題点と称する）が発生してしまう。即ち、振幅要因問題点とは、［発明が解決しようとする課題］で上述した問題点のうちの１つである。
【００３７】
そこで、本発明人は、かかる振幅要因問題点を解決すべく、即ち、振幅の大きな低域成分の映像情報を可能な限り残したままノイズを効率的に除去するコアリング処理を実現すべく、次のような手法を発明した。即ち、振幅の大きさに応じてコアリング量THを可変するという手法、より詳しくは、振幅が大きい場合には、コアリング量THを小さくする一方、振幅が小さい場合には、コアリング量THを大きくするという手法（以下、振幅考慮コアリング手法と称する）が、本発明人により発明された。より具体的には、振幅がある一定以上の大きさを超えた場合、それ以降、振幅が大きくなるに従いコアリング量THを減少させていくという手法が、振幅考慮コアリング手法の一例である。
【００３８】
かかる振幅考慮コアリング手法の一例が適用された画像処理装置の一構成例が、図３に示されている。
【００３９】
図３の例では、画像処理装置は、HPF部２１、加工部２２、減算部２３、振幅検出部２４、および、コアリング量可変部２５を含むように構成されている。
【００４０】
入力画像データT0は、図１の従来の画像処理装置と同様に、HPF部２１と減算部２３とに提供される。そこで、HPF部２１は、入力画像データT0に対してハイパスフィルタをかけ、その結果得られる高域周波数成分データを出力データT1として加工部２２に提供する。
【００４１】
さらに、図３の例では、従来固定であったコアリング量THを、振幅の大きさに応じて可変させるべく、入力画像データT0は、振幅検出部２４にも入力される。振幅検出部２４は、入力画像データT0の振幅の大きさを検出し、その振幅の大きさを示すデータを、出力データT4としてコアリング量可変部２５に提供する。
【００４２】
具体的には例えば、所定のフレームを構成する複数の画素のうちの処理対象として注目すべき画素（以下、注目画素と称する）の画素値を含む入力画像データT0が提供されてくる場合、振幅検出部２４は、注目画素とその隣接画素との画素値の差分値（一次微分値）に基づいて、注目画素についての振幅の大きさを求め、それを出力データT4に含めてコアリング量可変部２５に提供する。換言すると、入力画像データT0がフレームデータであると捉えると、振幅検出部２４の出力データT4は、そのフレームを構成する複数の画素のそれぞれについての振幅の大きさをそれぞれ含むデータとなる。
【００４３】
ただし、以下、説明の簡略上、特に断りのない限り、入力画像データT0は、注目画素の画素値であるとする。即ち、以下、各機能ブロックの入力データや出力データは、特に断りのない限り、注目画素についてのデータであるとする。
【００４４】
振幅検出部２４の出力データT4が提供されるコアリング量可変部２５は、図４に示されるような関数f2(α)を保持している。そこで、コアリング量可変部２５は、振幅検出部２４の出力データT4を入力値αとして関数f2(α)に代入し、その出力値f2(T4)を（ここでは注目画素についての）コアリング量THとして加工部２２に提供する。
【００４５】
図４の関数f2(α)の特性より、振幅検出部２４の出力データT4の値、即ち、ここでは注目画素についての振幅の大きさが一定値以下の場合、コアリング量THは所定の一定値となる。
【００４６】
これに対して、振幅検出部２４の出力データT4の値、即ち、ここでは注目画素についての振幅の大きさが一定値を越えた場合、それ以降、振幅の大きさが大きくなるに従い、コアリング量THは徐々に減少していく。
【００４７】
この場合のコアリング量THの減少の度合い（コアリングの効き度合い）は、関数f2(α)の特性のうちの、振幅の大きさ（振幅検出部２４の出力データT4の値）が一定値以上の範囲の特性を示す一次関数の傾きTHGの大きさ（急峻さ）で示されることになる。図３の例では、かかる傾きTHGとして、所定の固定値が外部からコアリング量可変部２５に与えられる。
【００４８】
このようにして、コアリング量THは、（ここでは注目画素についての）振幅の大きさに応じて可変（コントロール）され、コントロール後（変更後）のコアリング量THは、加工部２２に提供される。
【００４９】
そこで、加工部２２は、振幅の大きさに対応して変更されたコアリング量THに応じて、図２の関数f1(α)の特性を変更させる。そして、加工部２２は、HPF部２１の出力データT1を入力値αとして、特性変更後の関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部２３に提供する。
【００５０】
減算部２３は、入力画像データT0から、加工部２２の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００５１】
ところで、入力画像データT0が、カメラ等の撮影装置により撮影された動画像についての画像データである場合、入力画像データT0には、そのカメラによる撮影時に発生する被写体（物体等）についての動きボケ（以下、撮像ボケと称する）が含まれていることがある。
【００５２】
この撮像ボケの特性は、一般的に被写体（物体等）の移動速度に依存した形態で表すことが可能である。
【００５３】
なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。
【００５４】
従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。
【００５５】
画素における移動速度とは、処理対象のフレーム内の画素と、それよりも時間的に前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、ｖ（ｖは、０以上の任意の整数値）画素分である場合、その画素における移動速度とは、ｖ［画素/フレーム］になる。
【００５６】
この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度ｖ［画素/フレーム］の大小に依存した形態で表すことができる。
【００５７】
より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図５の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。
【００５８】
即ち、図５は、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図５において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。
【００５９】
この図５の撮像ボケの特性からわかるように、移動速度が大きくなるに従い（被写体が素早く移動するに従い）、撮像ボケ量は大きくなっていき、その分だけ、入力画像データ（ここでは、注目画素の画素値）の高域周波数成分に残存する映像情報が少なくなっていく。逆に言えば、移動速度が小さくなるに従い（被写体がゆっくり移動するに従い）、撮像ボケ量は小さくなっていき、入力画像データ（ここでは、注目画素の画素値）の高域周波数成分に残存する映像情報が多くなっていく（映像情報が失われなくなっていく）。
【００６０】
従って、撮像ボケを含む入力画像データT0が与えられる場合には、図３の画像処理装置では、次のような問題点が発生する。即ち、被写体（物体等）の移動速度がゆっくり移動しているとき（撮像ボケ量が少ないとき）には、入力画像データT0の高域周波数成分には、ノイズだけでなく映像情報も含まれていることになる。これに対して、被写体が素早く移動しているとき（撮像ボケ量が多いとき）には、入力画像データT0の高域周波数成分はノイズがほとんど占めるようになる。このように、撮像ボケ量によって、高域周波数成分の情報が全てノイズ成分であるとは限らないため、特に被写体（物体等）がゆっくり移動している時に、その被写体の少なくとも一部が注目画素とされて、その注目画素に対してコアリング処理が施されてしまうと、高域周波数成分に含まれる映像情報まで失われてしまう、という問題点が発生してしまう。以下、かかる問題点を、撮像ボケ要因問題点と称する。即ち、撮像ボケ要因問題点とは、［発明が解決しようとする課題］で上述した問題点のうちの１つである。
【００６１】
そこで、本発明人は、かかる撮像要因問題点を解決すべく、即ち、高域周波数成分に含まれる映像情報を可能な限り残したままノイズを効率的に除去するコアリング処理を実現すべく、次のような手法をさらに発明した。即ち、撮像ボケ量（移動速度）に応じてコアリング量THを可変するという手法、より詳しくは、撮像ボケ量が少ない（移動速度が小さい）場合には、コアリング量THを小さくする一方、撮像ボケ量が多い（移動速度が大きい）場合には、コアリング量THを大きくするという手法（以下、撮像ボケ考慮コアリング手法と称する）を発明した。具体的には例えば、撮像ボケ量が０の場合（移動速度が０の場合）のコアリング量THを最小（例えば０）として、それ以降、撮像ボケ量が多くなっていくに従い（移動速度が上がるに従い）、コアリング量THを増加させていき、撮像ボケ量がある一定以上の量を超えた時点（移動速度が一定以上の速度を超えた時点）でのコアリング量THを最大として、それ以降、最大のコアリング量THを保っていくという手法が、撮像ボケ考慮コアリング手法の一例である。
【００６２】
従って、撮像ボケ要因問題点と上述した振幅要因問題点とを同時に解決したい場合には、撮像ボケ考慮コアリング手法と振幅考慮コアリング手法とを組み合わせた手法（以下、撮像ボケ振幅同時考慮コアリング手法と称する）を採用すればよい。
【００６３】
具体的には例えば、上述したように、振幅がある一定以上の大きさを超えた場合、それ以降の振幅が大きくなるに従いコアリング量THを減少させていくという手法、即ち、図４の関数f2（α）の特性に従ってコアリング量THを可変させる（コントロールする）という手法が、振幅考慮コアリング手法の一例とされ、上述した図３の画像処理装置に適用されていた。そこで、かかる振幅考慮コアリング手法の一例に対してさらに、撮像ボケ考慮コアリング手法を加えた例、即ち、撮像ボケ振幅同時考慮コアリング手法の一例として、例えば次のような手法を採用することができる。即ち、振幅（データT4の値）がある一定以上の大きさを超えた場合において、撮像ボケ量が少ない（移動速度が小さい）ときには、コアリング量THの減少度合いを急峻にする（同一の振幅であれば、コアリング量THが小さくなるようする）一方、撮像ボケ量が多い（移動速度が大きい）ときには、コアリング量THの減少度合いを緩やかにする（同一の振幅であれば、コアリング量THが大きくなるようする）といった手法が、撮像ボケ振幅同時考慮コアリング手法の一例である。
【００６４】
より具体的には、コアリング量THの減少度合いは、上述したように、図４の傾きTHGの大きさで示すことができる。そこで、撮像ボケ量が０のとき（移動速度が０のとき）には傾きTHGを最大として、それ以降、撮像ボケ量が多くなっていくに従い（移動速度が上がるに従い）、傾きTHGを減少させていき、撮像ボケ量がある一定以上の量を超えた時点（移動速度が一定以上の速度を超えた時点）での傾きTHGを最小として、それ以降、最小の傾きTHGを保っていくという手法、即ち、図６の関数f3(α)の特性に従って傾きTHGを可変させる（コントロールする）という手法が、撮像ボケ振幅同時考慮コアリング手法の一例である。なお、図６において、MVは、（ここでは注目画素についての）移動速度を示している。
【００６５】
かかる撮像ボケ振幅同時考慮コアリング手法の一例が適用された画像処理装置の一構成例が、図７に示されている。
【００６６】
即ち、振幅考慮コアリング手法が適用された図３の例の画像処理装置に対して、さらに撮像ボケ量コアリング手法が適用された画像処理装置の一構成例が、図７に示されている。従って、図７において、図３と対応する箇所には対応する符号を付しており、それらの箇所については説明を適宜省略する。
【００６７】
図７の例の本発明の画像処理装置においては、撮像ボケ量コアリング手法を適用すべく、図３の例の画像処理装置の構成に対してさらに、移動速度検出部２６と傾き可変部２７とが設けられている。
【００６８】
移動速度検出部２６は、入力画像データT0として入力された注目画素（画素値）を含む処理対象のフレームと、その前後の幾つかのフレームとから、注目画素についての移動ベクトル（ここでは例えば水平方向の移動ベクトル）を検出する。そして、移動速度検出部２６は、注目画素についての移動ベクトルの大きさMV（即ち、注目画素についての移動速度MV）を、出力データとして傾き可変部２７に提供する。
【００６９】
ただし、移動ベクトルは、コアリング処理以外の別の画像処理においても利用される場合が多々ある。従って、別の画像処理を実行する別の装置やブロックにより検出された移動ベクトルの大きさをMVとして取得するようにすれば、移動速度検出部２６は省略可能である。
【００７０】
移動速度検出部２６の出力データMV、即ち、ここでは注目画素についての移動速度MVが提供される傾き可変部２７は、上述した図６の関数f3(α)を保持している。そこで、傾き可変部２７は、注目画素についての移動速度MVを入力値αとして関数f3(α)に代入し、その出力値f3(MV)を（ここでは注目画素についての）傾きTHGとしてコアリング量可変部２５に提供する。
【００７１】
このようにして、傾きTHGは、（ここでは注目画素についての）移動速度MVに応じて可変（コントロール）され、コントロール後（変更後）の傾きTHGは、コアリング量可変部２５に提供される。
【００７２】
そこで、コアリング量可変部２５は、傾き可変部２７により可変された傾きTHGに応じて、図４の関数f2(α)の特性を変更させる。そして、コアリング量可変部２５は、振幅検出部２４の出力データT4を入力値αとして、特性変更後の関数f2(α)に代入し、その出力値f2(T4)を（ここでは注目画素についての）コアリング量THとして加工部２２に提供する。
【００７３】
このようにして、図７の例では、コアリング量THは、（ここでは注目画素についての）振幅の大きさに応じてコントロール（可変）されるとともに、移動速度に応じて傾きTHGが可変されることで間接的にコントロール（可変）される。そして、振幅の大きさと移動速度の両者によるコントロール後（変更後）のコアリング量THは、加工部２２に提供される。
【００７４】
そこで、加工部２２は、振幅の大きさと移動速度との両者に対応して変更されたコアリング量THに応じて、図２の関数f1(α)の特性を変更させる。そして、加工部２２は、HPF部２１の出力データT1を入力値αとして、特性変更後の関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部２３に提供する。
【００７５】
減算部２３は、入力画像データT0から、加工部２２の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００７６】
以上、本発明が適用された画像処理装置の実施の形態として、振幅考慮コアリング手法が適用された図３の画像処理装置について説明し、その後、振幅考慮コアリング手法のみならず撮像ボケ量考慮コアリング手法も適用された画像処理装置、即ち、撮像ボケ振幅同時考慮コアリング手法が適用された図７の画像処理装置について説明した。
【００７７】
ただし、本発明が適用された画像処理装置は、上述した図３や図７の例に限定されず、様々な実施の形態を取ることが可能である。具体的には例えば、撮像ボケ考慮コアリング手法のみが適用された画像処理装置の一構成例が、図８に示されている。
【００７８】
図８の例の画像処理装置は、HPF部３１、移動速度検出部３２、コアリング量可変部３３、加工部３４、および、減算部３５を含むように構成されている。
【００７９】
HPF部３１は、入力画像データT0に対してハイパスフィルタをかけ、その結果得られる高域周波数成分データを出力データT1として加工部３４に提供する。
【００８０】
移動速度検出部３２は、図７の移動速度検出部２６と同様にして、入力画像データT0から、注目画素についての移動速度MVを検出し、それを出力データとしてコアリング量可変部３３に提供する。
【００８１】
この場合、別の画像処理装置やブロックにより検出された移動ベクトルの大きさをMVとして取得するようにすれば、図７の移動速度検出部２６と同様に、移動速度検出部３２は省略可能である。
【００８２】
移動速度検出部３２の出力データMV、即ち、ここでは注目画素についての移動速度MVが提供されるコアリング量可変部３３は、図９に示されるような関数f4(α)を保持している。そこで、コアリング量可変部３３は、注目画素についての移動速度MVを入力値αとして関数f4(α)に代入し、その出力値f4(MV)を（ここでは注目画素についての）コアリング量THとして加工部３４に提供する。
【００８３】
図９の関数f4(α)の特性より、移動速度検出部２６の出力データMV、即ち、ここでは注目画素についての移動速度MVが０のときのコアリング量THが最低値０とされ、それ以降、移動速度MVが大きくなるに従い、コアリング量THは徐々に増加していく。そして、移動速度MVが所定の値となった時のコアリング量THを最大値として、それ以降、移動速度MVが大きくなっても、コアリング量THはその最大値のまま保たれる。
【００８４】
このようにして、コアリング量THは、（ここでは注目画素についての）移動速度MVに応じて可変（コントロール）され、コントロール後（変更後）のコアリング量THは、加工部３４に提供される。
【００８５】
そこで、加工部３４は、移動速度MVに対応して変更されたコアリング量THに応じて、図２の関数f1(α)の特性を変更させる。そして、加工部３４は、HPF部３１の出力データT1を入力値αとして、特性変更後の関数f1(α)に代入し、その出力値f1(T1)を出力データT2として減算部３５に提供する。
【００８６】
減算部３５は、入力画像データT0から、加工部３４の出力データT2を減算し、その結果得られるデータT0-T2を、コアリング処理済みデータT3として外部に出力する。
【００８７】
以上、本発明が適用される画像処理装置の構成例として、図３、図７、および図８の例について説明してきた。ただし、本発明が適用される画像処理装置とは、結局、図１０のコアリング処理を実行可能であれば足り、上述した例に限定されず、様々な構成を取ることができる。
【００８８】
ここで、図１０のコアリング処理、即ち、本発明が適用されるコアリング処理について説明する。
【００８９】
ステップＳ１において、画像処理装置は、入力画像データから、その高域周波数成分データを抽出し、それを補正データとして出力する。
【００９０】
ステップＳ２において、画像処理装置は、振幅の大きさと撮像ボケ量とのうちの少なくとも一方をパラメータとして、コアリング量を決定する。即ち、かかるパラメータに応じてコアリング量はコントロール（可変）されることになる。
【００９１】
ステップＳ３において、画像処理装置は、ステップＳ２のコントロール処理により決定されたコアリング量に基づいて、ステップＳ１の処理で出力された補正データを加工する。
【００９２】
ステップＳ４において、画像処理装置は、入力画像データと、加工後の補正データとの差分データを生成し、その差分データをコアリング処理済データとして出力する。
【００９３】
このような、本発明のコアリング処理が実行されると、次のような効果を奏することが可能になる。即ち、上述したように、一般的に入力画像に対してエンハンス処理が施されるとノイズが強調されてしまうため、エンハンス処理の実行前にコアリング処理が行われる。この場合、図１等の従来の画像処理装置により実行される従来のコアリング処理では、信号の形状（振幅の大きさ）や、撮像ボケ量（移動速度）が考慮されていなかったため、ノイズ除去と同時に、入力画像にとって必要な情報である映像情報まで失ってしまっていた。これに対し、本発明のコアリング処理（図１０）では、信号の形状（振幅の大きさ）や、撮像ボケ量（移動速度）といったパラメータ値によりコアリング量がコントロールされるため（可変されるため）、入力画像にとって必要な情報である映像情報を可能な限り失うことなく、ノイズ成分のみをより一段度と精度良く除去できる、といった効果を奏することが可能になる。
【００９４】
このような効果を奏することが可能な図１０のコアリング処理と、図３、図７、および図８の例の画像処理装置との対応関係を示すと、次のようになる。
【００９５】
即ち、ステップＳ１等でいう入力画像データは、図３、図７、および図８でいうデータT0に対応する。ステップＳ１等でいう高域周波数成分データ、即ち補正データは、図３、図７、および図８でいうデータT1に対応する。ステップＳ２でいう振幅の大きさは、図３や図７でいうデータT4に対応する。ステップＳ２でいう撮像ボケ量は、図７や図８でいう移動速度MVに対応する。ステップＳ２等でいう変更されたコアリング量は、図３，図７，図８でいうコアリング量THに対応する。ステップＳ４でいう加工後の補正データは、図３、図７、および図８でいうデータT2に対応する。ステップＳ４でいう差分データ、即ち、コアリング処理済データは、図３、図７、および図８でいうデータT3に対応する。
【００９６】
また、ステップＳ１の処理は、図３と図７の例ではHPF部２１により実行され、図８の例ではHPF部３１により実行される。ステップＳ２の処理は、図３や図７の例では特にコアリング量可変部２５により実行され、図８の例ではコアリング量可変部３３により実行される。なお、特にと記述したのは、例えば図７の例では、傾き可変部２７等の処理をステップＳ２の処理に含めると捉えることもできるからである。ステップＳ３の処理は、図３と図７の例では加工部２２により実行され、図８の例では加工部３４により実行される。ステップＳ４の処理は、図３と図７の例では減算部２３により実行され、図８の例では減算部３５により実行される。
【００９７】
なお、ステップＳ２で利用される撮像ボケ量のパラメータは、上述した例では移動速度が採用されたが、撮像ボケの特性を示すパラメータであれば上述した例に限定されず、その他例えば、カメラのシャッタスピード等を採用することもできる。
【００９８】
ところで、上述した一連の処理、具体的には例えば上述した図１０のコアリング処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
【００９９】
この場合、その一連の処理を実行する画像処理装置全体若しくはその一部分は、例えば、図１１に示されるようなコンピュータで構成することができる。
【０１００】
図１１において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０１】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１０２】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
【０１０３】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１０５】
このようなプログラムを含む記録媒体は、図１１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１０６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０７】
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１０８】
【図１】従来の画像処理装置の機能的構成の一例を示すブロック図である。
【図２】図１の加工部が保持する関数の特性例を示すブロック図である。
【図３】本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。
【図４】図３のコアリング量可変部が保持する関数の特性例を示す図である。
【図５】被写体の３つの移動速度における撮像ボケの各特性例を示す図である。
【図６】図４の関数における傾きTHGを移動速度MVに応じて可変するための関数の特性例を示す図である。
【図７】本発明が適用される画像処理装置の機能的構成の別の例であって、図６の関数により傾きTHGを可変することができる例を示すブロック図である。
【図８】本発明が適用される画像処理装置の機能的構成のさらに別の例を示すブロック図である。
【図９】図８のコアリング量可変部が保持する関数の特性例を示す図である。
【図１０】本発明が適用されるコアリング処理の例を説明するフローチャートである。
【図１１】本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。
【符号の説明】
【０１０９】
２１ HPF部， ２２ 加工部， ２３ 減算部 ， ２４振幅検出部， ２５ コアリング量可変部， ２６ 移動速度検出部， ２７ 傾き可変部， ３１ HPF部， ３２ 移動速度検出部， ３３ コアリング量可変部， ３４ 加工部， ３５ 減算部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置において、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出する抽出手段と、
前記注目画素についての所定のパラメータ値に応じて、前記コアリング量を変更するコアリング量変更手段と、
前記コアリング量変更手段により変更された前記コアリング量に基づいて、前記抽出手段から抽出された前記補正データを加工する加工手段と、
前記注目画素の画素データと、前記加工手段により加工された前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する差分手段と
を備える情報処理装置。
【請求項２】
前記注目画素についての前記所定のパラメータ値は、前記注目画素についての振幅の大きさを少なくとも含む
請求項１に記載の情報処理装置。
【請求項３】
前記動画像は、撮影装置により撮影された動画像であって、
前記注目画素についての前記所定のパラメータ値は、前記撮影装置により前記動画像が撮影されるときに発生する、前記注目画素についての撮像ボケの特性を示すパラメータの値を少なくとも含む
請求項１に記載の情報処理装置。
【請求項４】
前記前記注目画素についての前記所定のパラメータ値は、前記注目画素についての移動速度を少なくとも含む
請求項３に記載の画像処理装置。
【請求項５】
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置の画像処理方法において、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し、
前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し、
変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し、
前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する
ステップを含む情報処理方法。
【請求項６】
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を制御するコンピュータに実行させるプログラムであって、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し、
前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し、
変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し、
前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する
ステップを含むプログラム。
【請求項１】
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置において、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出する抽出手段と、
前記注目画素についての所定のパラメータ値に応じて、前記コアリング量を変更するコアリング量変更手段と、
前記コアリング量変更手段により変更された前記コアリング量に基づいて、前記抽出手段から抽出された前記補正データを加工する加工手段と、
前記注目画素の画素データと、前記加工手段により加工された前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する差分手段と
を備える情報処理装置。
【請求項２】
前記注目画素についての前記所定のパラメータ値は、前記注目画素についての振幅の大きさを少なくとも含む
請求項１に記載の情報処理装置。
【請求項３】
前記動画像は、撮影装置により撮影された動画像であって、
前記注目画素についての前記所定のパラメータ値は、前記撮影装置により前記動画像が撮影されるときに発生する、前記注目画素についての撮像ボケの特性を示すパラメータの値を少なくとも含む
請求項１に記載の情報処理装置。
【請求項４】
前記前記注目画素についての前記所定のパラメータ値は、前記注目画素についての移動速度を少なくとも含む
請求項３に記載の画像処理装置。
【請求項５】
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を実行する画像処理装置の画像処理方法において、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し、
前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し、
変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し、
前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する
ステップを含む情報処理方法。
【請求項６】
動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき注目画素を単位として実行する画像処理のうちの、コアリング量を用いるコアリング処理を制御するコンピュータに実行させるプログラムであって、
前記注目画素の画素データから、その高域周波数成分を補正データとして抽出し、
前記注目画素についての所定のパラメータ値に応じて前記コアリング量を変更し、
変更後の前記コアリング量に基づいて、抽出された前記補正データを加工し、
前記注目画素の画素データと、加工後の前記補正データとの差分データを生成し、その差分データを、前記コアリング処理済みのデータとして出力する
ステップを含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−２５１７７４（Ｐ２００７−２５１７７４Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７４７１６（Ｐ２００６−７４７１６）
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]