画像処理装置と画像処理方法およびプログラムと記録媒体
【課題】簡単な構成で容易に画質の改善を行うことができるようにする。
【解決手段】周波数分離部２０は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。画像処理部３０は、縮小画像と差分画像の少なくとも何れかの画像処理を行う。合成処理部４０は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとして合成する。大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。
【解決手段】周波数分離部２０は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。画像処理部３０は、縮小画像と差分画像の少なくとも何れかの画像処理を行う。合成処理部４０は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとして合成する。大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムと記録媒体に関する。詳しくは、簡単な構成で容易に画質の改善を行えるようにする。
【背景技術】
【０００２】
従来、画質の改善としてノイズの除去や鮮鋭度の向上等が行われている。例えば引用文献１の発明では、第１の静止画と時間的に連続する第２静止画に対し、ブロック単位の動き補償を行い、第１静止画および動き補償を行った第２静止画を使用して画素単位で加算の信頼度判定を行う。この判定結果に基づく加算重みに応じて加算もしくは加重平均を行うことで、ノイズの影響を軽減させることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９４６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、入力画像の高解像度化がはかられると、特許文献１のように、時間的に連続する第２静止画に対するブロック単位の動き補償や、画素単位での加算の信頼度判定結果に基づく加算重みに応じて加算もしくは加重平均等の処理を行う場合、処理コストが増加する。したがって、高速に画像処理を行うことが困難となる。また、画像処理において画像データを一時記憶する場合には、大容量のメモリやバッファが必要となる。さらに、画像処理を高速に行うためには、例えば広いバンド幅が必要となる。
【０００５】
そこで、この技術では、簡単な構成で容易に画質の改善を行うことができる画像処理装置と画像処理方法およびプログラムと記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置にある。
【０００７】
この技術において、周波数分離部は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。画像処理部は、縮小画像と差分画像の少なくとも何れかの画像処理を行う。例えば、画像処理部は、縮小画像に対してノイズ除去や鮮鋭度強調処理等の画質改善処理を行う。また、入力画像に基づき画素毎にノイズ量の推定や、差分画像に基づき画素毎に非平坦度を示す特徴量の算出を行い、ノイズ量や特徴量に基づいてゲイン係数を設定して差分画像に対するゲイン調整を行う。また、設定したゲイン係数を記憶して、記憶したゲイン係数をその後の差分画像の画像処理に用いる。また、差分画像に対して閾値以下の信号を抑圧するコアリング処理を行い、ノイズ量や画像処理後の縮小画像から算出された非平坦度を示す特徴量に基づいて閾値の設定が行われる。合成処理部は、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する。
【０００８】
この技術の第２の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する工程と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法にある。
【０００９】
この技術の第３の側面は、画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラムにある。
【００１０】
この技術の第４の側面は、画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体にある。
【００１１】
この技術の第５の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する周波数分離部と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置にある。
【００１２】
この技術の第６の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する工程と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法にある。
【００１３】
この技術の第７の側面は、画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラムにある。
【００１４】
この技術の第８の側面は、画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体にある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像が周波数帯域の異なる縮小画像と差分画像に分離される。また、縮小画像と差分画像の少なくとも何れかの画像処理が行われて、少なくとも一方が画像処理されている縮小画像と差分画像が等しい画像サイズとして合成される。このため、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】画像処理装置の基本構造を示す図である。
【図２】画像処理装置の基本動作を示すフローチャートである。
【図３】第１の実施の形態の構成を示す図である。
【図４】縮小処理部の構成を示す図である。
【図５】縮小処理部の動作を示すフローチャートである。
【図６】入力画像を１／２倍に縮小する場合を例示した図である。
【図７】拡大処理部の構成を示す図である。
【図８】拡大処理部の動作を示すフローチャートである。
【図９】縮小画像を２倍に拡大する場合を例示した図である。
【図１０】差分算出部の構成を示す図である。
【図１１】イメージセンサで生成された画素信号とノイズ量の関係を例示している。
【図１２】特徴量の算出を説明するための図である。
【図１３】第２の実施の形態の構成を示す図である。
【図１４】第３の実施の形態の構成を示す図である。
【図１５】コアリング処理部の構成を示す図である。
【図１６】コアリング処理部の動作を示すフローチャートである。
【図１７】コアリング特性を例示した図である。
【図１８】第４の実施の形態の構成を示す図である。
【図１９】第５の実施の形態の構成を示す図である。
【図２０】コンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の基本構成と基本動作
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．処理をプログラムにより実行する場合について
【００１９】
＜１．画像処理装置の基本構成と基本動作＞
図１は、本技術の画像処理装置の基本構成を示している。画像処理装置１０は、周波数分離部２０と画像処理部３０および合成処理部４０を有している。周波数分離部２０は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。
【００２０】
画像処理部３０は、縮小画像と差分画像の少なくとも何れかの画像処理を行い画質を改善する。合成処理部４０は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとして合成して出力画像の生成が行われる。
【００２１】
図２は、画像処理装置の基本動作を示すフローチャートである。ステップＳＴ１で画像処理装置１０は、周波数分離処理を行う。画像処理装置１０は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離してステップＳＴ２に進む。
【００２２】
ステップＳＴ２で画像処理装置１０は、画像処理を行う。画像処理装置１０は、縮小画像と差分画像の少なくとも何れかの画像処理を行い、画質を改善してステップＳＴ３に進む。
【００２３】
ステップＳＴ３で画像処理装置１０は、合成処理を行う。画像処理装置１０は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとしたのち合成して出力画像を生成する。
【００２４】
以下、画像処理装置の構成例およびその動作の詳細について、第１〜第５の実施の形態として説明する。なお、第１〜第５の実施の形態では、縮小画像と差分画像のそれぞれについて画像処理を行い、画像処理されている縮小画像と差分画像を、差分画像の画像サイズで合成して出力画像を生成する場合について説明する。
【００２５】
＜２．第１の実施の形態＞
［画像処理装置の構成］
図３は、本技術の第１の実施の形態の構成を示している。画像処理装置１０ａの周波数分離部２０は縮小処理部２１，拡大処理部２２、差分算出部２３を有している。また、画像処理装置１０ａの画像処理部３０ａは、縮小画像処理部３１と差分画像対応部３２ａを有している。画像処理装置１０ａの合成処理部４０は、拡大処理部４１と加算処理部４２を有している。また、差分画像対応部３２ａは、ノイズ量推定部３２１、特徴量算出部３２２、ゲイン調整部３２３を有している。
【００２６】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ａに出力する。
【００２７】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【００２８】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ａに出力する。
【００２９】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【００３０】
差分画像対応部３２ａのノイズ量推定部３２１は、入力画像におけるノイズ量を画素毎に推定して、推定結果をゲイン調整部３２３に出力する。
【００３１】
特徴量算出部３２２は、差分画像を用いて特徴量を画素毎に算出する。特徴量算出部３２２は、画素毎に近傍画素を用いて例えば分散を算出して、非平坦度を示す特徴量とする。特徴量算出部３２２は算出した特徴量をゲイン調整部３２３に出力する。
【００３２】
差分画像の画像処理を行う差分画像処理部であるゲイン調整部３２３は、ノイズ量推定部３２１で推定されたノイズ量と特徴量算出部３２２で算出された特徴量を用いて、画素毎に差分画像の信号レベルを調整して合成処理部４０に出力する。
【００３３】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【００３４】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ａから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【００３５】
［各部の構成と動作］
次に各部の構成と動作について説明する。図４は縮小処理部２１の構成を示している。縮小処理部２１は、フィルタ処理部２１１と間引き処理部２１２を有している。
【００３６】
フィルタ処理部２１１は入力画像のフィルタ処理を行う。フィルタ処理部２１１は、縮小倍率に応じた低域フィルタ処理を行い、入力画像を縮小することにより縮小画像から除かれる入力画像の周波数成分を減衰させる。フィルタ処理部２１１は、フィルタ処理後の入力画像を間引き処理部２１２に出力する。
【００３７】
間引き処理部２１２は、フィルタ処理後の入力画像に対して縮小率に応じた画素間引き処理を行い、所望の縮小率の縮小画像を生成する。
【００３８】
図５は、縮小処理部２１の動作を示すフローチャートである。ステップＳＴ１１で縮小処理部２１は、フィルタ処理を行う。縮小処理部２１は、上述のように縮小倍率に応じた低域フィルタ処理を入力画像に対して行いステップＳＴ１２に進む。
【００３９】
ステップＳＴ１２で縮小処理部２１は、間引き処理を行う。縮小処理部２は、フィルタ処理後の入力画像に対して縮小率に応じて画素の間引き処理を行い、縮小画像を生成して、縮小処理を終了する。
【００４０】
図６は、入力画像を１／２倍に縮小する場合を例示している。図６の（Ａ）は、入力画像の一部領域、例えば４画素×４画素の領域を示している。縮小処理部２１は、入力画像に対してフィルタ処理を行い、図６の（Ｂ）に示すように、入力画像の各画素位置の画素信号を生成する。縮小処理部２１は、フィルタ処理後の入力画像に対して、１画素おきに１画素の間引きを行うことで、図６の（Ｃ）に示すように、入力画像を１／２倍した縮小画像を生成する。なお、図６の（Ｃ）では、間引きされた画素を破線で示している。
【００４１】
図７は拡大処理部２２の構成を示している。拡大処理部２２は、ゼロパディング処理部２２１とフィルタ処理部２２２を有している。
【００４２】
ゼロパディング処理部２２１は、拡大率に応じて画素間にゼロデータを付加する。ゼロパディング処理部２２１は、拡大率に応じて縮小画像の画素間にゼロデータを付加して、例えば入力画像とサイズ（画素数）が等しい拡大画像を生成して、フィルタ処理部２２２に出力する。
【００４３】
フィルタ処理部２２２は、拡大画像のフィルタ処理を行う。フィルタ処理部２２２は、縮小画像を拡大したことによって生じた不要な周波数成分、例えば折り返し歪み等を減衰させる。
【００４４】
図８は、拡大処理部２２の動作を示すフローチャートである。ステップＳＴ２１で拡大処理部２２は、ゼロパディング処理を行う。拡大処理部２２は、上述のように拡大率に応じて縮小画像の画素間にゼロデータを付加して拡大画像を生成してステップＳＴ２２に進む。
【００４５】
ステップＳＴ２２で拡大処理部２２は、フィルタ処理を行う。拡大処理部２２は、拡大画像に対して不要な周波数成分を減衰させるフィルタ処理を行って拡大処理を終了する。
【００４６】
図９は、縮小画像を２倍に拡大する場合を例示している。図９の（Ａ）は、縮小画像の一部領域、例えば２画素×２画素の領域を示している。拡大処理部２２は、縮小画像の画素間にゼロデータを付加して、図９の（Ｂ）に示すように、水平方向および垂直方向の画素数がそれぞれ２倍とされた拡大画像を生成する。拡大処理部２２は、拡大画像に対してフィルタ処理後を行い、図９の（Ｃ）に示すように、縮小画像を２倍した拡大画像を生成できる。なお、図９の（Ｂ）では、ゼロデータの画素を破線で示している。
【００４７】
また、縮小処理部２１は（１／整数）倍の縮小率で縮小画像の生成を行い、拡大処理部２２は整数倍の拡大率で拡大画像を生成したが、縮小率や拡大率は、（１／整数）倍や整数倍に限られない。縮小処理部２１と拡大処理部２２は、それぞれ拡大処理と縮小処理を組み合わせて、他の倍率の縮小画像や拡大画像を生成してもよい。例えば（３／５）倍に縮小する場合は３倍に拡大した画像を（１／５）倍に縮小して縮小画像を生成する。同様に、（５／３）倍の拡大画像を生成する場合は、５倍に拡大した画像を（１／３）倍に縮小すればよい。
【００４８】
図１０は、差分算出部２３の構成を示している。差分算出部２３は減算器２３１を用いて構成されている。減算器２３１は入力画像から拡大後の縮小画像を減算して、入力画像の高域成分を示す差分画像を生成する。
【００４９】
画像処理部３０ａの縮小画像処理部３１は、フィルタ等を用いて構成されており、例えば周波数帯域制限を行い縮小画像の画像信号からノイズを除去する。また、「Roberts」「Prewitt」「Sobel」等のフィルタを用いて輪郭強調等を行い、縮小画像の鮮鋭度を改善する。
【００５０】
差分画像対応部３２ａのノイズ量推定部３２１は、入力画像のノイズ量を画素毎に推定する。イメージセンサのノイズ量は、一定の露出レベルで感知した光子の数の統計分布に相関しており、相関関係は基本的にポワソン分布に従うことが知られている。図１１は、イメージセンサで生成された画素信号ＰＶとノイズ量ＰＮの関係を例示している。なお、ノイズ量ＰＮはノイズ信号の標準偏差である。
【００５１】
図１１に示す画素信号の信号レベルとノイズ量の関係は、式（１）として示すことができる。なお、式（１）において、Ｋａ，Ｋｂは、イメージセンサに依存する係数である。
【数１】
【００５２】
したがって、係数Ｋａ，Ｋｂを予め求めておけば、入力画像のノイズ量を画素毎に推定することができる。ノイズ量の推定は、入力画像の画素毎の信号レベルに基づき式（１）の演算を行いノイズ量を推定してもよく、式（１）に基づいてテーブルを作成しておき、入力画像の画素毎の信号レベルに対応するノイズ量をテーブルから取得できるようにしてもよい。また、テーブルを用いる場合、画素信号の信号レベルに対応するノイズ量を計測してテーブルを作成することで、相関関係がポワソン分布以外の場合でも容易に対応できる。このようにして、ノイズ量推定部３２１は、入力画像の画素毎に画素信号に基づきノイズ量ＰＮを推定する。
【００５３】
特徴量算出部３２２は、画素毎に周辺画素の画素信号を用いて特徴量を算出する。例えば特徴量算出部３２２は、周辺画素の画素信号を用いて分散や擬似分散を算出して特徴量ＰＵとする。例えば図１２に示すように、特徴量算出対象画素に対して、周辺の８画素の画素信号を用いて特徴量を算出する場合について説明する。なお、図１２では、特徴量算出対象画素を斜線で示している。
【００５４】
特徴量として分散を用いる場合、合計９画素の画素信号ＰＶを用いて式（２）に示す演算を行うことで分散Ｖａｒを算出できる。なお、「Ａｖｅ」は式（３）に示すように９画素の画素信号の平均値である。
【数２】
【００５５】
特徴量として擬似分散を用いる場合、合計９画素の画素信号ＰＶを用いて式（４）に示す演算を行うことで擬似分散ＰｓｅｕｄｏＶａｒを算出できる。なお、擬似分散とは、近傍画素を含めた画素信号の平均値と、近傍画素を含めた各画素の画素信号と平均値の絶対値差分の平均の二乗の値である。なお、「Ａｖｅ」は、上述の式（３）に示すように９画素の画素信号の平均値である。
【数３】
【００５６】
このようにして、特徴量算出部３２２は、周辺画素の画素信号を用いて分散や擬似分散を算出して、算出した分散や擬似分散を特徴量ＰＵとする。
【００５７】
ゲイン調整部３２３は、ノイズ量推定部３２１で決定されたノイズ量と、特徴量算出部３２２で算出された特徴量に基づいて、差分画像のゲイン調整を行う。差分画像のＪ番目の画素の画素信号をＰＶ（ｊ）、入力画像のＪ番目の画素のノイズ量をＰＮ（ｊ）、差分画像のＪ番目の画素の特徴量をＰＵ（ｊ）とした場合、ゲイン調整部３２３は、式（５）に示す処理を行い、ゲイン調整後の画素信号ＰＶｃ（ｊ）を生成する。
【数４】
【００５８】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２に出力する。
【００５９】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ａのゲイン調整部３２３から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【００６０】
このように、第１の実施の形態によれば、入力画像を縮小したのち縮小前の画像サイズに拡大して、拡大画像と入力画像の差分画像である高域画像が生成される。また、高域画像の画素毎に推定されたノイズ量や非平坦度を示す特徴量に応じて高域画像の信号レベルが調整される。また、入力画像を縮小して入力画像の低域画像である縮小画像が生成される。この縮小画像を用いて画質改善が行われて、画質改善後の画像が差分画像の画像サイズに拡大されて、信号レベル調整後の差分画像と合成される。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。
【００６１】
＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、画質の改善を時間方向についても行うことができる画像処理装置１０ｂについて説明する。
【００６２】
［画像処理装置の構成］
図１３は、本技術の第２の実施の形態の構成を示している。画像処理装置１０ｂは、第１の実施の形態と同様に、周波数分離部２０と合成処理部４０を有している。また、第２の実施の形態の画像処理装置１０ｂの画像処理部３０ｂは、縮小画像処理部３１と差分画像対応部３２ｂを有している。さらに、差分画像対応部３２ｂは、ノイズ量推定部３２１、特徴量算出部３２２、ゲイン係数記憶部３２４、ゲイン調整部３２５を有している。
【００６３】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｂに出力する。
【００６４】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【００６５】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ｂに出力する。
【００６６】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【００６７】
差分画像対応部３２ｂのノイズ量推定部３２１は、入力画像におけるノイズ量を画素毎に推定して、推定結果をゲイン調整部３２５に出力する。
【００６８】
特徴量算出部３２２は、差分画像を用いて特徴量を画素毎に算出する。特徴量算出部３２２は、画素毎に近傍画素を用いて例えば分散を算出して、非平坦度を示す特徴量とする。特徴量算出部３２２は算出した特徴量をゲイン調整部３２５に出力する。
【００６９】
差分画像の画像処理を行う差分画像処理部であるゲイン調整部３２５は、ノイズ量推定部３２１によって推定されたノイズ量と特徴量算出部３２２で算出された特徴量、およびゲイン係数記憶部３２４に記憶されている過去のゲイン係数を用いて、画素毎に差分画像の信号レベルを調整する。ゲイン調整部３２５は、信号レベル調整後の差分画像を合成処理部４０に出力する。また、ゲイン調整部３２５は、差分画像の信号レベルの調整に用いたゲイン係数をゲイン係数記憶部３２４に出力する。
【００７０】
ゲイン係数記憶部３２４は、ゲイン調整部３２５から供給されたゲイン係数を記憶する。また、ゲイン係数記憶部３２４は、記憶しているケイン係数をゲイン調整部３２５に出力する。
【００７１】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【００７２】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ｂから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【００７３】
［各部の構成と動作］
次に各部の構成と動作について説明する。縮小処理部２１は、上述の図４に示す構成および図５に示す動作とされており、縮小画像を生成する。拡大処理部２２は、上述の図７に示す構成および図８に示す動作とされており拡大画像を生成する。また、差分算出部２３は上述の図１０に示す構成とされており、拡大処理部２２で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。
【００７４】
縮小画像処理部３１は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する。
【００７５】
差分画像対応部３２ｂのノイズ量推定部３２１は、上述のように、式（１）に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。特徴量算出部３２２は、画素毎に周辺画素の画素信号を用いて、上述のように分散や擬似分散を算出して、算出した分散や擬似分散を特徴量とする。
【００７６】
ゲイン調整部３２５は、ノイズ量推定部３２１で推定されたノイズ量と、特徴量算出部３２２で算出された特徴量、およびゲイン係数記憶部３２４に記憶されているゲイン係数に基づいて、差分画像のゲイン調整を行う。ここで、差分画像のＪ番目の画素の画素信号をＰＶ（ｊ）、入力画像のＪ番目の画素のノイズ推定量をＰＮ（ｊ）、差分画像のＪ番目の画素の特徴量をＰＵ（ｊ）とする。また、ゲイン調整部３２５は、例えば１フレーム前の差分画像におけるＪ番目の画素のゲイン調整で用いたゲイン係数をＣＦpr（ｊ）とする。ゲイン調整部３２５は、式（６）（７）の処理を行い、ゲイン調整後の画素信号ＰＶｃ（ｊ）を生成する。
【数５】
【００７７】
また、ゲイン調整部３２５は、差分画像のゲイン調整に用いたゲイン係数ＣＦ（ｊ）を、ゲイン係数記憶部３２４に記憶させる。
【００７８】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２に出力する。
【００７９】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ｂのゲイン調整部３２５から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【００８０】
このように、第２の実施の形態によれば、第１の実施の形態に対して、高域成分画像の画素毎のノイズ推定量と高域成分画像の特徴量および過去のゲイン係数に応じて高域成分画像の信号レベルが調整される。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、過去のゲイン係数が用いられることから時間方向に対して安定した出力画像を生成できる。
【００８１】
＜４．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、差分画像に対してコアリング処理を行うことでノイズの影響を軽減する画像処理装置１０ｃについて説明する。
【００８２】
［画像処理装置の構成］
図１４は、本技術の第３の実施の形態の構成を示している。画像処理装置１０ｃは、第１の実施の形態と同様に、周波数分離部２０と合成処理部４０を有している。また、第３の実施の形態の画像処理装置１０ｃの画像処理部３０ｃは、縮小画像処理部３１と差分画像対応部３２ｃを有している。さらに、差分画像対応部３２ｃは、ノイズ量推定部３２１とコアリング処理部３２６を有している。
【００８３】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｃに出力する。
【００８４】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【００８５】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ｃに出力する。
【００８６】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【００８７】
差分画像対応部３２ｃのノイズ量推定部３２１は、入力画像におけるノイズ量を画素毎に推定して、推定結果をコアリング処理部３２６に出力する。
【００８８】
差分画像の画像処理を行う差分画像処理部であるコアリング処理部３２６は、ノイズ量推定部３２１によって推定されたノイズ量に基づき閾値を設定する。さらに、設定された閾値とコアリング特性に応じて、画素毎に差分画像の信号レベルを調整して合成処理部４０に出力する。
【００８９】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【００９０】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ｃから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【００９１】
［各部の構成と動作］
次に各部の構成と動作について説明する。縮小処理部２１は、上述の図４に示す構成および図５に示す動作とされており、縮小画像を生成する。拡大処理部２２は、上述の図７に示す構成および図８に示す動作とされており拡大画像を生成する。また、差分算出部２３は上述の図１０に示す構成とされており、拡大処理部２２で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。
【００９２】
縮小画像処理部３１は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する。
【００９３】
差分画像対応部３２ｃのノイズ量推定部３２１は、上述のように、式（１）に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。
【００９４】
コアリング処理部３２６は、画素毎のノイズ量に応じて閾値を設定して、設定された閾値とコアリングカーブに基づき、差分画像の信号レベルを調整する。図１５は、コアリング処理部３２６の構成を示している。コアリング処理部３２６は、閾値算出部３２６１と、レベル調整部３２６２を有している。
【００９５】
閾値算出部３２６１は、ノイズ量推定部３２１によって推定されたノイズ量に基づき、閾値を画素毎に算出する。閾値算出部３２６１は、例えばノイズ量と閾値との関係を示すテーブルを有しており、このテーブルを利用することで、ノイズ量に応じた閾値の算出を行う。閾値算出部３２６１は、算出した閾値をレベル調整部３２６２に出力する。
【００９６】
レベル調整部３２６２は、コアリングカーブを用いて高域成分画像の信号レベルを調整する。また、レベル調整部３２６２は画素信号の信号レベルが小さい場合、ノイズ成分であると見なして信号の抑圧を行う。レベル調整部３２６２は、閾値算出部３２６１で算出された閾値をノイズ成分であるか否かの判定基準とする。レベル調整部３２６２は、差分画像の画素信号の信号レベルが閾値以下である場合、画素信号はノイズ成分と見なして信号レベルを抑圧する。また、レベル調整部３２６２は、差分画像の画素信号の信号レベルが閾値よりも大きい場合、信号レベルを抑圧することなく出力する。
【００９７】
図１６は、コアリング処理部３２６の動作を示すフローチャートである。ステップＳＴ３１でコアリング処理部３２６は、閾値の算出を行う。コアリング処理部３２６は、レベル調整を行う画像のノイズ量をノイズ量推定部３２１から取得する。さらに、コアリング処理部３２６は、取得したノイズ量に応じて閾値の設定を行いステップＳＴ３２に進む。
【００９８】
ステップＳＴ３２でコアリング処理部３２６は、信号レベルが閾値以下であるか判別する。コアリング処理部３２６は、画素毎に画素信号の信号レベルが閾値以下であるか判別して、閾値以下である場合はステップＳＴ３３に進み、閾値よりも大きい場合はステップＳＴ３４に進む。
【００９９】
ステップＳＴ３３でコアリング処理部３２６は、レベル抑圧処理を行う。コアリング処理部３２６は、画素信号の信号レベルを抑圧してステップＳＴ３４に進む。
【０１００】
ステップＳＴ３４でコアリング処理部３２６は、全画素の処理が完了したか判別する。コアリング処理部３２６は、コアリング処理が行われていない画素が残っている場合、ステップＳＴ３１に戻り、新たな画素についてステップＳＴ３１からの処理を繰り返す。また、コアリング処理部３２６は、全画素のコアリング処理が完了すると処理を終了する。
【０１０１】
コアリング処理部３２６は、入力信号の信号レベルに基づき、コアリング特性に応じて信号レベルの抑圧を行い、出力信号を生成する。例えば、図１７に示すコアリング特性である場合、ノイズ量が少ない場合には閾値のレベルを小さく、ノイズ量が多い場合には閾値のレベルを大きくする。このようなコアリング特性で信号レベルの調整を行う場合、閾値の範囲内の信号レベルをノイズとして信号レベルが抑圧されることから、ノイズの目立たない差分画像を生成できる。また、ノイズ量が大きいとは、閾値のレベルが大きくされて、ノイズと判定する信号レベル範囲が広くされるので、より確実にノイズを低減することが可能となる。
【０１０２】
なお、図１７の（Ａ）は、入力信号の信号レベルが閾値の範囲内となったとき、信号レベルを「０」とする場合を示している。また図１７の（Ａ）示す特性でコアリング処理を行うと、入力信号の信号レベルが閾値近傍であるとき、出力信号の信号レベル変化が大きくなってしまう。したがって、コアリング特性を図１７の（Ｂ）に示す特性として、入力信号の信号レベルが閾値近傍であるときの、出力信号の信号レベル変化を小さくしてもよい。
【０１０３】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２に出力する。
【０１０４】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ｃのコアリング処理部３２６から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【０１０５】
このように、第３の実施の形態によれば、第１および第２の実施の形態に対して、高域成分画像の画素毎に推定されたノイズ量と高域成分画像の信号レベルに応じて、高域成分画像のコアリング処理が行われる。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、信号レベルの小さい高域成分をノイズとして抑圧して、良好な画質の出力画像を生成できる。
【０１０６】
＜５．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態では、高域成分画像においてコアリング処理によってノイズの影響の軽減をはかる。また、コアリング処理では、低域成分の画質調整後の低域成分縮小画像を拡大した拡大画像を用いて算出された特徴量に基づき閾値を調整する。このような処理を行う画像処理装置１０ｄについて説明する。
【０１０７】
［画像処理装置の構成］
図１８は、本技術の第４の実施の形態の構成を示している。画像処理装置１０ｄは、第３の実施の形態と同様に、周波数分離部２０と合成処理部４０を有している。また、第４の実施の形態の画像処理装置１０ｄの画像処理部３０ｄは、縮小画像処理部３１と差分画像対応部３２ｄを有している。さらに、差分画像対応部３２ｄは、ノイズ量推定部３２１と特徴量算出部３２７とコアリング処理部３２８を有している。
【０１０８】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｄに出力する。
【０１０９】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【０１１０】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ｄに出力する。
【０１１１】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【０１１２】
差分画像対応部３２ｄのノイズ量推定部３２１は、入力画像におけるノイズ量を推定して、推定結果をコアリング処理部３２８に出力する。
【０１１３】
特徴量算出部３２７は、画質調整と拡大処理が行われた縮小画像を用いて特徴量を算出する。特徴量算出部３２７は、画質改善と後述する拡大処理部４１で拡大処理が行われた縮小画像、すなわち画質改善が行われた低域画像を用いて、例えば分散を算出して特徴量とする。特徴量算出部３２７は算出した特徴量をコアリング処理部３２８に出力する。
【０１１４】
差分画像の画像処理を行う差分画像処理部であるコアリング処理部３２８は、ノイズ量推定部３２１によって推定されたノイズ量と特徴量算出部３２７で算出された特徴量に基づき閾値を設定する。さらに、設定された閾値とコアリング特性に応じて、画素毎に差分画像の信号レベルの調整を行い合成処理部４０に出力する。
【０１１５】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す拡大処理を行う。合成処理部４０は、拡大処理後の画像を加算処理部４２と差分画像対応部３２ｄの特徴量算出部３２７に出力する。
【０１１６】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ｄから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【０１１７】
［各部の構成と動作］
次に各部の構成と動作について説明する。縮小処理部２１は、上述の図４に示す構成および図５に示す動作とされており、縮小画像を生成する。拡大処理部２２は、上述の図７に示す構成および図８に示す動作とされており拡大画像を生成する。また、差分算出部２３は上述の図１０に示す構成とされており、拡大処理部２２で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。
【０１１８】
縮小画像処理部３１は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する
差分画像対応部３２ｄのノイズ量推定部３２１は、上述のように、式（１）に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。特徴量算出部３２７は、画質改善と拡大処理が行われた縮小画像に基づき、画素毎に近傍画素を用いて例えば分散を算出して特徴量とする。
【０１１９】
コアリング処理部３２８は、画素毎のノイズ量と特徴量に応じて閾値を設定する。例えば、ノイズ量が多いと推定される場合には、より確実にノイズを抑圧できるように閾値を大きくする。また、特徴量が大きい場合、例えば画質改善と拡大処理が行われた低域画像において、特徴量の算出対象画素が輪郭等を示す画素であるために分散が大きくなる場合、閾値を大きくすると、輪郭部分の高域成分の信号レベルが抑圧されてしまう。したがって、輪郭等の鮮鋭度が低下してしまうことがないように閾値を小さくする。コアリング処理部３２８は、設定された閾値とコアリング特性に基づき、閾値以下である信号をノイズと見なして差分画像の信号レベルを調整して、合成処理部４０に出力する。
【０１２０】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２と特徴量算出部３２７に出力する。
【０１２１】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ｄのコアリング処理部３２８から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【０１２２】
このように、第４の実施の形態によれば、第３の実施の形態と同様に、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、信号レベルの小さい高域成分をノイズとして抑圧して、良好な画質の出力画像を生成できる。また、第４の実施の形態では、低域成分画像を用いて算出した特徴量に基づき閾値の調整が行われるので、輪郭等の鮮鋭度が低下しないように差分画像に対してコアリング処理を行うことができる。
【０１２３】
＜６．第５の実施の形態＞
上述の第１〜第４の実施の形態では、入力画像を高域画像である差分画像と低域画像である縮小画像の２階層に分けて処理を行う場合について説明した。ここで、周波数分離部と画像処理部と合成処理部を階層的に設ければ、入力画像を３階層以上の周波数帯域に分離して、周波数帯域毎に画像調整を行うこともできる。すなわち、周波数分離部は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する。画像処理部は、縮小画像と複数の差分画像の少なくとも何れかの画像処理を行う。合成処理部は、少なくとも何れか画像処理されている縮小画像と複数の差分画像を等しい画像サイズとして合成する。
【０１２４】
次に、第５の実施の形態として、例えば入力画像を３周波数帯域に分離して処理する場合について説明する。なお、以下の説明では、高い周波数帯域の画像を高域画像、低い周波数帯域の画像を低域画像、中間の周波数帯域の画像を中域画像と呼ぶ。
【０１２５】
図１９は、第５の実施の形態の構成を示している。画像処理装置１０ｅには、周波数分離部２０-1，２０-2、画像処理部３０、合成処理部４０-1、４０-2が設けられている。周波数分離部２０-1，２０-2は階層構造とされており、周波数分離部２０-1で生成された縮小画像が、周波数分離部２０-2の入力画像とされている。また、画像処理部３０ｅは、縮小画像処理部３１と差分画像対応部３２-1，３２-2を有している。
【０１２６】
周波数分離部２０-1の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｅの差分画像対応部３２-1に出力する。
【０１２７】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【０１２８】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を画像処理部３０に出力する。
【０１２９】
周波数分離部２０-2の縮小処理部２１は、周波数分離部２０-1で生成された縮小画像を入力画像として縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｅの縮小画像処理部３１に出力する。
【０１３０】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【０１３１】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、周波数分離部２０-1で生成された縮小画像の高域成分、すなわち入力画像の中域成分を示す中域画像となる。差分算出部２３は、入力画像の中域成分を示す差分画像を画像処理部３０ｅの差分画像対応部３２-2に出力する。
【０１３２】
画像処理部３０ｅの縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０-2に出力する。
【０１３３】
画像処理部３０ｅの差分画像対応部３２-1は、上述の差分画像対応部３２ａ（３２ｂ，３２ｃ，３２ｄ）等と同様な処理を行い、レベル調整後の差分画像を合成処理部４０-1に出力する。同様に、差分画像対応部３２-2、上述の差分画像対応部３２ａ（３２ｂ，３２ｃ，３２ｄ）等と同様な処理を行い、レベル調整後の差分画像を合成処理部４０-2に出力する。
【０１３４】
合成処理部４０-2の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して周波数分離部２０-2の差分算出部２３で生成された差分画像と等しい画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【０１３５】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２-2から供給されたゲイン調整後の差分画像を加算して、合成画像を合成処理部４０-1に出力する。
【０１３６】
合成処理部４０-1の拡大処理部４１は、合成処理部４０-2から供給された合成画像を拡大して周波数分離部２０-1の差分算出部２３で生成された差分画像と等しい画像サイズ、すなわち入力画像サイズに戻す拡大処理を行う。合成処理部４０-1は、拡大処理後の合成画像を加算処理部４２に出力する。
【０１３７】
加算処理部４２は、拡大処理部４１から供給された拡大後の合成画像と、差分画像対応部３２-1から供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【０１３８】
なお、第５の実施の形態では、合成処理部を複数設けて順次画像を合成画像する構成を示しているが、画像処理部３０ｅから出力される各画像の画像サイズを一致させて、例えば入力画像のサイズとして加算するようにしてもよい。
【０１３９】
このように、第５の実施の形態によれば、周波数分離部と合成処理部が階層構造とされているので、入力画像から複数の周波数成分毎の画像を生成できる。したがって、周波数成分毎に信号レベルの調整や画質調整を行い、画像サイズを一致させて合成することで、簡単な構成で容易に画質の改善を周波数成分毎に行うことができる。
【０１４０】
＜７．処理をプログラムにより実行する場合について＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータを用いる。または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどを用いて、記録媒体からプログラムをインストールする。
【０１４１】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。
【０１４２】
コンピュータ８０において、ＣＰＵ（Central Processing Unit）８１、ＲＯＭ（Read Only Memory）８２、ＲＡＭ（Random Access Memory）８３は、バス８４により相互に接続されている。バス８４には、さらに、入出力インタフェース部８５が接続されている。入出力インタフェース部８５には、キーボード、マウスなどよりなるユーザインタフェース部８６、画像データを入力するための入力部８７、ディスプレイなどよりなる出力部８８、ハードディスクや不揮発性のメモリなどよりなる記録部８９等が接続される。さらに、入出力インタフェース部８５には、ネットワークインタフェースなどよりなる通信部９０、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９５を駆動するドライブ９１が接続されている。
【０１４３】
以上のように構成されるコンピュータでは、ＣＰＵ８１が、例えば、記録部８９に記録されているプログラムを、入出力インタフェース部８５およびバス８４を介して、ＲＡＭ８３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ（ＣＰＵ８１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory),ＤＶＤ(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９５に記録して提供される。または、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４５】
そして、プログラムは、プログラムが記録された記録媒体であるリムーバブルメディア９５をドライブ９１に装着することにより、入出力インタフェース部８５を介して、記録部８９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０で受信し、記録部８９にインストールすることができる。その他、プログラムは、ＲＯＭ８２や記録部８９に、予めインストールしておくことができる。
【０１４６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能であり、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１４７】
また、本技術の情報処理装置は、以下のような構成も取ることができる。
（１） 入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部と
を備える画像処理装置。
（２） 前記画像処理部は、
前記入力画像に基づき画素毎のノイズ量を推定するノイズ量推定部と、
推定された前記ノイズ量に基づいて前記差分画像の画像処理を行う差分画像処理部を備える（１）に記載の画像処理装置。
（３） 前記画像処理部は、前記差分画像に基づき画素毎に非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいて画像処理を行う（２）に記載の画像処理装置。
（４） 前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいてゲイン係数を設定して、該ゲイン係数に基づいてゲイン調整を行う（３）に記載の画像処理装置。
（５） 前記画像処理部は、前記設定されたゲイン係数を記憶するゲイン係数記憶部を備え、
前記差分画像処理部は、前記ゲイン係数記憶部に記憶されている同じ画素位置のゲイン係数を用いて前記ゲイン係数の設定を行う（４）に記載の画像処理装置。
（６） 前記差分画像処理部は、閾値以下の信号を抑圧するコアリング処理を行い、前記ノイズ量に基づいて前記閾値を設定する（２）乃至（５）の何れかに記載の画像処理装置。
（７） 前記画像処理部は、前記画像処理後の縮小画像に基づき非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記縮小画像の非平坦度を示す特徴量に基づいて前記閾値を設定する（６）に記載の画像処理装置。
（８） 前記画像処理部は、前記縮小画像の画像処理を行う縮小画像処理部を備え、
前記縮小画像処理部は、前記画像処理として画質改善処理を行う（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記縮小画像処理部は、前記画質改善処理として、ノイズ除去と鮮鋭度強調処理の少なくとも何れかを行う（８）に記載の画像処理装置。
【産業上の利用可能性】
【０１４８】
この技術の画像処理装置と画像処理方法およびプログラムと記録媒体では、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像が周波数帯域の異なる縮小画像と差分画像に分離される。また、縮小画像と差分画像の少なくとも何れかの画像処理が行われて、少なくとも一方が画像処理されている縮小画像と差分画像が等しい画像サイズとして合成される。このため、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができることから、例えば撮像装置や画像記録装置、画像編集装置等に適している。
【符号の説明】
【０１４９】
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ・・・画像処理装置、２０，２０-1，２０-2・・・周波数分離部、２１・・・縮小処理部、２２，４１・・・拡大処理部、２３・・・差分算出部、３０，３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ・・・画像処理部、３１・・・縮小画像処理部、３２-1，３２-2，３２ａ，３２ｂ，３２ｃ，３２ｄ・・・差分画像対応部、４０，４０-1，４０-2・・・合成処理部、４２・・・加算処理部、８０・・・コンピュータ、８１・・・ＣＰＵ、８２・・・ＲＯＭ、８３・・・ＲＡＭ、８４・・・バス、８５・・・入出力インタフェース部、８６・・・ユーザインタフェース部、８７・・・入力部、８８・・・出力部、８９・・・記録部、９０・・・通信部、９１・・・ドライブ、９５・・・リムーバブルメディア、２１１，２２２・・・フィルタ処理部、２１２・・・間引き処理部、２２１・・・ゼロパディング処理部、２３１・・・減算器、３２１・・・ノイズ量推定部、３２２，３２７・・・特徴量算出部、３２３，３２５・・・ゲイン調整部、３２４・・・ゲイン係数記憶部、３２６，３２８・・・コアリング処理部、３２６１・・・閾値算出部、３２６２・・・レベル調整部
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムと記録媒体に関する。詳しくは、簡単な構成で容易に画質の改善を行えるようにする。
【背景技術】
【０００２】
従来、画質の改善としてノイズの除去や鮮鋭度の向上等が行われている。例えば引用文献１の発明では、第１の静止画と時間的に連続する第２静止画に対し、ブロック単位の動き補償を行い、第１静止画および動き補償を行った第２静止画を使用して画素単位で加算の信頼度判定を行う。この判定結果に基づく加算重みに応じて加算もしくは加重平均を行うことで、ノイズの影響を軽減させることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９４６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、入力画像の高解像度化がはかられると、特許文献１のように、時間的に連続する第２静止画に対するブロック単位の動き補償や、画素単位での加算の信頼度判定結果に基づく加算重みに応じて加算もしくは加重平均等の処理を行う場合、処理コストが増加する。したがって、高速に画像処理を行うことが困難となる。また、画像処理において画像データを一時記憶する場合には、大容量のメモリやバッファが必要となる。さらに、画像処理を高速に行うためには、例えば広いバンド幅が必要となる。
【０００５】
そこで、この技術では、簡単な構成で容易に画質の改善を行うことができる画像処理装置と画像処理方法およびプログラムと記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置にある。
【０００７】
この技術において、周波数分離部は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。画像処理部は、縮小画像と差分画像の少なくとも何れかの画像処理を行う。例えば、画像処理部は、縮小画像に対してノイズ除去や鮮鋭度強調処理等の画質改善処理を行う。また、入力画像に基づき画素毎にノイズ量の推定や、差分画像に基づき画素毎に非平坦度を示す特徴量の算出を行い、ノイズ量や特徴量に基づいてゲイン係数を設定して差分画像に対するゲイン調整を行う。また、設定したゲイン係数を記憶して、記憶したゲイン係数をその後の差分画像の画像処理に用いる。また、差分画像に対して閾値以下の信号を抑圧するコアリング処理を行い、ノイズ量や画像処理後の縮小画像から算出された非平坦度を示す特徴量に基づいて閾値の設定が行われる。合成処理部は、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する。
【０００８】
この技術の第２の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する工程と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法にある。
【０００９】
この技術の第３の側面は、画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラムにある。
【００１０】
この技術の第４の側面は、画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体にある。
【００１１】
この技術の第５の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する周波数分離部と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置にある。
【００１２】
この技術の第６の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する工程と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法にある。
【００１３】
この技術の第７の側面は、画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラムにある。
【００１４】
この技術の第８の側面は、画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体にある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像が周波数帯域の異なる縮小画像と差分画像に分離される。また、縮小画像と差分画像の少なくとも何れかの画像処理が行われて、少なくとも一方が画像処理されている縮小画像と差分画像が等しい画像サイズとして合成される。このため、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】画像処理装置の基本構造を示す図である。
【図２】画像処理装置の基本動作を示すフローチャートである。
【図３】第１の実施の形態の構成を示す図である。
【図４】縮小処理部の構成を示す図である。
【図５】縮小処理部の動作を示すフローチャートである。
【図６】入力画像を１／２倍に縮小する場合を例示した図である。
【図７】拡大処理部の構成を示す図である。
【図８】拡大処理部の動作を示すフローチャートである。
【図９】縮小画像を２倍に拡大する場合を例示した図である。
【図１０】差分算出部の構成を示す図である。
【図１１】イメージセンサで生成された画素信号とノイズ量の関係を例示している。
【図１２】特徴量の算出を説明するための図である。
【図１３】第２の実施の形態の構成を示す図である。
【図１４】第３の実施の形態の構成を示す図である。
【図１５】コアリング処理部の構成を示す図である。
【図１６】コアリング処理部の動作を示すフローチャートである。
【図１７】コアリング特性を例示した図である。
【図１８】第４の実施の形態の構成を示す図である。
【図１９】第５の実施の形態の構成を示す図である。
【図２０】コンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の基本構成と基本動作
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．処理をプログラムにより実行する場合について
【００１９】
＜１．画像処理装置の基本構成と基本動作＞
図１は、本技術の画像処理装置の基本構成を示している。画像処理装置１０は、周波数分離部２０と画像処理部３０および合成処理部４０を有している。周波数分離部２０は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。
【００２０】
画像処理部３０は、縮小画像と差分画像の少なくとも何れかの画像処理を行い画質を改善する。合成処理部４０は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとして合成して出力画像の生成が行われる。
【００２１】
図２は、画像処理装置の基本動作を示すフローチャートである。ステップＳＴ１で画像処理装置１０は、周波数分離処理を行う。画像処理装置１０は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離してステップＳＴ２に進む。
【００２２】
ステップＳＴ２で画像処理装置１０は、画像処理を行う。画像処理装置１０は、縮小画像と差分画像の少なくとも何れかの画像処理を行い、画質を改善してステップＳＴ３に進む。
【００２３】
ステップＳＴ３で画像処理装置１０は、合成処理を行う。画像処理装置１０は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとしたのち合成して出力画像を生成する。
【００２４】
以下、画像処理装置の構成例およびその動作の詳細について、第１〜第５の実施の形態として説明する。なお、第１〜第５の実施の形態では、縮小画像と差分画像のそれぞれについて画像処理を行い、画像処理されている縮小画像と差分画像を、差分画像の画像サイズで合成して出力画像を生成する場合について説明する。
【００２５】
＜２．第１の実施の形態＞
［画像処理装置の構成］
図３は、本技術の第１の実施の形態の構成を示している。画像処理装置１０ａの周波数分離部２０は縮小処理部２１，拡大処理部２２、差分算出部２３を有している。また、画像処理装置１０ａの画像処理部３０ａは、縮小画像処理部３１と差分画像対応部３２ａを有している。画像処理装置１０ａの合成処理部４０は、拡大処理部４１と加算処理部４２を有している。また、差分画像対応部３２ａは、ノイズ量推定部３２１、特徴量算出部３２２、ゲイン調整部３２３を有している。
【００２６】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ａに出力する。
【００２７】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【００２８】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ａに出力する。
【００２９】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【００３０】
差分画像対応部３２ａのノイズ量推定部３２１は、入力画像におけるノイズ量を画素毎に推定して、推定結果をゲイン調整部３２３に出力する。
【００３１】
特徴量算出部３２２は、差分画像を用いて特徴量を画素毎に算出する。特徴量算出部３２２は、画素毎に近傍画素を用いて例えば分散を算出して、非平坦度を示す特徴量とする。特徴量算出部３２２は算出した特徴量をゲイン調整部３２３に出力する。
【００３２】
差分画像の画像処理を行う差分画像処理部であるゲイン調整部３２３は、ノイズ量推定部３２１で推定されたノイズ量と特徴量算出部３２２で算出された特徴量を用いて、画素毎に差分画像の信号レベルを調整して合成処理部４０に出力する。
【００３３】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【００３４】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ａから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【００３５】
［各部の構成と動作］
次に各部の構成と動作について説明する。図４は縮小処理部２１の構成を示している。縮小処理部２１は、フィルタ処理部２１１と間引き処理部２１２を有している。
【００３６】
フィルタ処理部２１１は入力画像のフィルタ処理を行う。フィルタ処理部２１１は、縮小倍率に応じた低域フィルタ処理を行い、入力画像を縮小することにより縮小画像から除かれる入力画像の周波数成分を減衰させる。フィルタ処理部２１１は、フィルタ処理後の入力画像を間引き処理部２１２に出力する。
【００３７】
間引き処理部２１２は、フィルタ処理後の入力画像に対して縮小率に応じた画素間引き処理を行い、所望の縮小率の縮小画像を生成する。
【００３８】
図５は、縮小処理部２１の動作を示すフローチャートである。ステップＳＴ１１で縮小処理部２１は、フィルタ処理を行う。縮小処理部２１は、上述のように縮小倍率に応じた低域フィルタ処理を入力画像に対して行いステップＳＴ１２に進む。
【００３９】
ステップＳＴ１２で縮小処理部２１は、間引き処理を行う。縮小処理部２は、フィルタ処理後の入力画像に対して縮小率に応じて画素の間引き処理を行い、縮小画像を生成して、縮小処理を終了する。
【００４０】
図６は、入力画像を１／２倍に縮小する場合を例示している。図６の（Ａ）は、入力画像の一部領域、例えば４画素×４画素の領域を示している。縮小処理部２１は、入力画像に対してフィルタ処理を行い、図６の（Ｂ）に示すように、入力画像の各画素位置の画素信号を生成する。縮小処理部２１は、フィルタ処理後の入力画像に対して、１画素おきに１画素の間引きを行うことで、図６の（Ｃ）に示すように、入力画像を１／２倍した縮小画像を生成する。なお、図６の（Ｃ）では、間引きされた画素を破線で示している。
【００４１】
図７は拡大処理部２２の構成を示している。拡大処理部２２は、ゼロパディング処理部２２１とフィルタ処理部２２２を有している。
【００４２】
ゼロパディング処理部２２１は、拡大率に応じて画素間にゼロデータを付加する。ゼロパディング処理部２２１は、拡大率に応じて縮小画像の画素間にゼロデータを付加して、例えば入力画像とサイズ（画素数）が等しい拡大画像を生成して、フィルタ処理部２２２に出力する。
【００４３】
フィルタ処理部２２２は、拡大画像のフィルタ処理を行う。フィルタ処理部２２２は、縮小画像を拡大したことによって生じた不要な周波数成分、例えば折り返し歪み等を減衰させる。
【００４４】
図８は、拡大処理部２２の動作を示すフローチャートである。ステップＳＴ２１で拡大処理部２２は、ゼロパディング処理を行う。拡大処理部２２は、上述のように拡大率に応じて縮小画像の画素間にゼロデータを付加して拡大画像を生成してステップＳＴ２２に進む。
【００４５】
ステップＳＴ２２で拡大処理部２２は、フィルタ処理を行う。拡大処理部２２は、拡大画像に対して不要な周波数成分を減衰させるフィルタ処理を行って拡大処理を終了する。
【００４６】
図９は、縮小画像を２倍に拡大する場合を例示している。図９の（Ａ）は、縮小画像の一部領域、例えば２画素×２画素の領域を示している。拡大処理部２２は、縮小画像の画素間にゼロデータを付加して、図９の（Ｂ）に示すように、水平方向および垂直方向の画素数がそれぞれ２倍とされた拡大画像を生成する。拡大処理部２２は、拡大画像に対してフィルタ処理後を行い、図９の（Ｃ）に示すように、縮小画像を２倍した拡大画像を生成できる。なお、図９の（Ｂ）では、ゼロデータの画素を破線で示している。
【００４７】
また、縮小処理部２１は（１／整数）倍の縮小率で縮小画像の生成を行い、拡大処理部２２は整数倍の拡大率で拡大画像を生成したが、縮小率や拡大率は、（１／整数）倍や整数倍に限られない。縮小処理部２１と拡大処理部２２は、それぞれ拡大処理と縮小処理を組み合わせて、他の倍率の縮小画像や拡大画像を生成してもよい。例えば（３／５）倍に縮小する場合は３倍に拡大した画像を（１／５）倍に縮小して縮小画像を生成する。同様に、（５／３）倍の拡大画像を生成する場合は、５倍に拡大した画像を（１／３）倍に縮小すればよい。
【００４８】
図１０は、差分算出部２３の構成を示している。差分算出部２３は減算器２３１を用いて構成されている。減算器２３１は入力画像から拡大後の縮小画像を減算して、入力画像の高域成分を示す差分画像を生成する。
【００４９】
画像処理部３０ａの縮小画像処理部３１は、フィルタ等を用いて構成されており、例えば周波数帯域制限を行い縮小画像の画像信号からノイズを除去する。また、「Roberts」「Prewitt」「Sobel」等のフィルタを用いて輪郭強調等を行い、縮小画像の鮮鋭度を改善する。
【００５０】
差分画像対応部３２ａのノイズ量推定部３２１は、入力画像のノイズ量を画素毎に推定する。イメージセンサのノイズ量は、一定の露出レベルで感知した光子の数の統計分布に相関しており、相関関係は基本的にポワソン分布に従うことが知られている。図１１は、イメージセンサで生成された画素信号ＰＶとノイズ量ＰＮの関係を例示している。なお、ノイズ量ＰＮはノイズ信号の標準偏差である。
【００５１】
図１１に示す画素信号の信号レベルとノイズ量の関係は、式（１）として示すことができる。なお、式（１）において、Ｋａ，Ｋｂは、イメージセンサに依存する係数である。
【数１】
【００５２】
したがって、係数Ｋａ，Ｋｂを予め求めておけば、入力画像のノイズ量を画素毎に推定することができる。ノイズ量の推定は、入力画像の画素毎の信号レベルに基づき式（１）の演算を行いノイズ量を推定してもよく、式（１）に基づいてテーブルを作成しておき、入力画像の画素毎の信号レベルに対応するノイズ量をテーブルから取得できるようにしてもよい。また、テーブルを用いる場合、画素信号の信号レベルに対応するノイズ量を計測してテーブルを作成することで、相関関係がポワソン分布以外の場合でも容易に対応できる。このようにして、ノイズ量推定部３２１は、入力画像の画素毎に画素信号に基づきノイズ量ＰＮを推定する。
【００５３】
特徴量算出部３２２は、画素毎に周辺画素の画素信号を用いて特徴量を算出する。例えば特徴量算出部３２２は、周辺画素の画素信号を用いて分散や擬似分散を算出して特徴量ＰＵとする。例えば図１２に示すように、特徴量算出対象画素に対して、周辺の８画素の画素信号を用いて特徴量を算出する場合について説明する。なお、図１２では、特徴量算出対象画素を斜線で示している。
【００５４】
特徴量として分散を用いる場合、合計９画素の画素信号ＰＶを用いて式（２）に示す演算を行うことで分散Ｖａｒを算出できる。なお、「Ａｖｅ」は式（３）に示すように９画素の画素信号の平均値である。
【数２】
【００５５】
特徴量として擬似分散を用いる場合、合計９画素の画素信号ＰＶを用いて式（４）に示す演算を行うことで擬似分散ＰｓｅｕｄｏＶａｒを算出できる。なお、擬似分散とは、近傍画素を含めた画素信号の平均値と、近傍画素を含めた各画素の画素信号と平均値の絶対値差分の平均の二乗の値である。なお、「Ａｖｅ」は、上述の式（３）に示すように９画素の画素信号の平均値である。
【数３】
【００５６】
このようにして、特徴量算出部３２２は、周辺画素の画素信号を用いて分散や擬似分散を算出して、算出した分散や擬似分散を特徴量ＰＵとする。
【００５７】
ゲイン調整部３２３は、ノイズ量推定部３２１で決定されたノイズ量と、特徴量算出部３２２で算出された特徴量に基づいて、差分画像のゲイン調整を行う。差分画像のＪ番目の画素の画素信号をＰＶ（ｊ）、入力画像のＪ番目の画素のノイズ量をＰＮ（ｊ）、差分画像のＪ番目の画素の特徴量をＰＵ（ｊ）とした場合、ゲイン調整部３２３は、式（５）に示す処理を行い、ゲイン調整後の画素信号ＰＶｃ（ｊ）を生成する。
【数４】
【００５８】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２に出力する。
【００５９】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ａのゲイン調整部３２３から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【００６０】
このように、第１の実施の形態によれば、入力画像を縮小したのち縮小前の画像サイズに拡大して、拡大画像と入力画像の差分画像である高域画像が生成される。また、高域画像の画素毎に推定されたノイズ量や非平坦度を示す特徴量に応じて高域画像の信号レベルが調整される。また、入力画像を縮小して入力画像の低域画像である縮小画像が生成される。この縮小画像を用いて画質改善が行われて、画質改善後の画像が差分画像の画像サイズに拡大されて、信号レベル調整後の差分画像と合成される。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。
【００６１】
＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、画質の改善を時間方向についても行うことができる画像処理装置１０ｂについて説明する。
【００６２】
［画像処理装置の構成］
図１３は、本技術の第２の実施の形態の構成を示している。画像処理装置１０ｂは、第１の実施の形態と同様に、周波数分離部２０と合成処理部４０を有している。また、第２の実施の形態の画像処理装置１０ｂの画像処理部３０ｂは、縮小画像処理部３１と差分画像対応部３２ｂを有している。さらに、差分画像対応部３２ｂは、ノイズ量推定部３２１、特徴量算出部３２２、ゲイン係数記憶部３２４、ゲイン調整部３２５を有している。
【００６３】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｂに出力する。
【００６４】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【００６５】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ｂに出力する。
【００６６】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【００６７】
差分画像対応部３２ｂのノイズ量推定部３２１は、入力画像におけるノイズ量を画素毎に推定して、推定結果をゲイン調整部３２５に出力する。
【００６８】
特徴量算出部３２２は、差分画像を用いて特徴量を画素毎に算出する。特徴量算出部３２２は、画素毎に近傍画素を用いて例えば分散を算出して、非平坦度を示す特徴量とする。特徴量算出部３２２は算出した特徴量をゲイン調整部３２５に出力する。
【００６９】
差分画像の画像処理を行う差分画像処理部であるゲイン調整部３２５は、ノイズ量推定部３２１によって推定されたノイズ量と特徴量算出部３２２で算出された特徴量、およびゲイン係数記憶部３２４に記憶されている過去のゲイン係数を用いて、画素毎に差分画像の信号レベルを調整する。ゲイン調整部３２５は、信号レベル調整後の差分画像を合成処理部４０に出力する。また、ゲイン調整部３２５は、差分画像の信号レベルの調整に用いたゲイン係数をゲイン係数記憶部３２４に出力する。
【００７０】
ゲイン係数記憶部３２４は、ゲイン調整部３２５から供給されたゲイン係数を記憶する。また、ゲイン係数記憶部３２４は、記憶しているケイン係数をゲイン調整部３２５に出力する。
【００７１】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【００７２】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ｂから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【００７３】
［各部の構成と動作］
次に各部の構成と動作について説明する。縮小処理部２１は、上述の図４に示す構成および図５に示す動作とされており、縮小画像を生成する。拡大処理部２２は、上述の図７に示す構成および図８に示す動作とされており拡大画像を生成する。また、差分算出部２３は上述の図１０に示す構成とされており、拡大処理部２２で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。
【００７４】
縮小画像処理部３１は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する。
【００７５】
差分画像対応部３２ｂのノイズ量推定部３２１は、上述のように、式（１）に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。特徴量算出部３２２は、画素毎に周辺画素の画素信号を用いて、上述のように分散や擬似分散を算出して、算出した分散や擬似分散を特徴量とする。
【００７６】
ゲイン調整部３２５は、ノイズ量推定部３２１で推定されたノイズ量と、特徴量算出部３２２で算出された特徴量、およびゲイン係数記憶部３２４に記憶されているゲイン係数に基づいて、差分画像のゲイン調整を行う。ここで、差分画像のＪ番目の画素の画素信号をＰＶ（ｊ）、入力画像のＪ番目の画素のノイズ推定量をＰＮ（ｊ）、差分画像のＪ番目の画素の特徴量をＰＵ（ｊ）とする。また、ゲイン調整部３２５は、例えば１フレーム前の差分画像におけるＪ番目の画素のゲイン調整で用いたゲイン係数をＣＦpr（ｊ）とする。ゲイン調整部３２５は、式（６）（７）の処理を行い、ゲイン調整後の画素信号ＰＶｃ（ｊ）を生成する。
【数５】
【００７７】
また、ゲイン調整部３２５は、差分画像のゲイン調整に用いたゲイン係数ＣＦ（ｊ）を、ゲイン係数記憶部３２４に記憶させる。
【００７８】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２に出力する。
【００７９】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ｂのゲイン調整部３２５から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【００８０】
このように、第２の実施の形態によれば、第１の実施の形態に対して、高域成分画像の画素毎のノイズ推定量と高域成分画像の特徴量および過去のゲイン係数に応じて高域成分画像の信号レベルが調整される。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、過去のゲイン係数が用いられることから時間方向に対して安定した出力画像を生成できる。
【００８１】
＜４．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、差分画像に対してコアリング処理を行うことでノイズの影響を軽減する画像処理装置１０ｃについて説明する。
【００８２】
［画像処理装置の構成］
図１４は、本技術の第３の実施の形態の構成を示している。画像処理装置１０ｃは、第１の実施の形態と同様に、周波数分離部２０と合成処理部４０を有している。また、第３の実施の形態の画像処理装置１０ｃの画像処理部３０ｃは、縮小画像処理部３１と差分画像対応部３２ｃを有している。さらに、差分画像対応部３２ｃは、ノイズ量推定部３２１とコアリング処理部３２６を有している。
【００８３】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｃに出力する。
【００８４】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【００８５】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ｃに出力する。
【００８６】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【００８７】
差分画像対応部３２ｃのノイズ量推定部３２１は、入力画像におけるノイズ量を画素毎に推定して、推定結果をコアリング処理部３２６に出力する。
【００８８】
差分画像の画像処理を行う差分画像処理部であるコアリング処理部３２６は、ノイズ量推定部３２１によって推定されたノイズ量に基づき閾値を設定する。さらに、設定された閾値とコアリング特性に応じて、画素毎に差分画像の信号レベルを調整して合成処理部４０に出力する。
【００８９】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【００９０】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ｃから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【００９１】
［各部の構成と動作］
次に各部の構成と動作について説明する。縮小処理部２１は、上述の図４に示す構成および図５に示す動作とされており、縮小画像を生成する。拡大処理部２２は、上述の図７に示す構成および図８に示す動作とされており拡大画像を生成する。また、差分算出部２３は上述の図１０に示す構成とされており、拡大処理部２２で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。
【００９２】
縮小画像処理部３１は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する。
【００９３】
差分画像対応部３２ｃのノイズ量推定部３２１は、上述のように、式（１）に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。
【００９４】
コアリング処理部３２６は、画素毎のノイズ量に応じて閾値を設定して、設定された閾値とコアリングカーブに基づき、差分画像の信号レベルを調整する。図１５は、コアリング処理部３２６の構成を示している。コアリング処理部３２６は、閾値算出部３２６１と、レベル調整部３２６２を有している。
【００９５】
閾値算出部３２６１は、ノイズ量推定部３２１によって推定されたノイズ量に基づき、閾値を画素毎に算出する。閾値算出部３２６１は、例えばノイズ量と閾値との関係を示すテーブルを有しており、このテーブルを利用することで、ノイズ量に応じた閾値の算出を行う。閾値算出部３２６１は、算出した閾値をレベル調整部３２６２に出力する。
【００９６】
レベル調整部３２６２は、コアリングカーブを用いて高域成分画像の信号レベルを調整する。また、レベル調整部３２６２は画素信号の信号レベルが小さい場合、ノイズ成分であると見なして信号の抑圧を行う。レベル調整部３２６２は、閾値算出部３２６１で算出された閾値をノイズ成分であるか否かの判定基準とする。レベル調整部３２６２は、差分画像の画素信号の信号レベルが閾値以下である場合、画素信号はノイズ成分と見なして信号レベルを抑圧する。また、レベル調整部３２６２は、差分画像の画素信号の信号レベルが閾値よりも大きい場合、信号レベルを抑圧することなく出力する。
【００９７】
図１６は、コアリング処理部３２６の動作を示すフローチャートである。ステップＳＴ３１でコアリング処理部３２６は、閾値の算出を行う。コアリング処理部３２６は、レベル調整を行う画像のノイズ量をノイズ量推定部３２１から取得する。さらに、コアリング処理部３２６は、取得したノイズ量に応じて閾値の設定を行いステップＳＴ３２に進む。
【００９８】
ステップＳＴ３２でコアリング処理部３２６は、信号レベルが閾値以下であるか判別する。コアリング処理部３２６は、画素毎に画素信号の信号レベルが閾値以下であるか判別して、閾値以下である場合はステップＳＴ３３に進み、閾値よりも大きい場合はステップＳＴ３４に進む。
【００９９】
ステップＳＴ３３でコアリング処理部３２６は、レベル抑圧処理を行う。コアリング処理部３２６は、画素信号の信号レベルを抑圧してステップＳＴ３４に進む。
【０１００】
ステップＳＴ３４でコアリング処理部３２６は、全画素の処理が完了したか判別する。コアリング処理部３２６は、コアリング処理が行われていない画素が残っている場合、ステップＳＴ３１に戻り、新たな画素についてステップＳＴ３１からの処理を繰り返す。また、コアリング処理部３２６は、全画素のコアリング処理が完了すると処理を終了する。
【０１０１】
コアリング処理部３２６は、入力信号の信号レベルに基づき、コアリング特性に応じて信号レベルの抑圧を行い、出力信号を生成する。例えば、図１７に示すコアリング特性である場合、ノイズ量が少ない場合には閾値のレベルを小さく、ノイズ量が多い場合には閾値のレベルを大きくする。このようなコアリング特性で信号レベルの調整を行う場合、閾値の範囲内の信号レベルをノイズとして信号レベルが抑圧されることから、ノイズの目立たない差分画像を生成できる。また、ノイズ量が大きいとは、閾値のレベルが大きくされて、ノイズと判定する信号レベル範囲が広くされるので、より確実にノイズを低減することが可能となる。
【０１０２】
なお、図１７の（Ａ）は、入力信号の信号レベルが閾値の範囲内となったとき、信号レベルを「０」とする場合を示している。また図１７の（Ａ）示す特性でコアリング処理を行うと、入力信号の信号レベルが閾値近傍であるとき、出力信号の信号レベル変化が大きくなってしまう。したがって、コアリング特性を図１７の（Ｂ）に示す特性として、入力信号の信号レベルが閾値近傍であるときの、出力信号の信号レベル変化を小さくしてもよい。
【０１０３】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２に出力する。
【０１０４】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ｃのコアリング処理部３２６から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【０１０５】
このように、第３の実施の形態によれば、第１および第２の実施の形態に対して、高域成分画像の画素毎に推定されたノイズ量と高域成分画像の信号レベルに応じて、高域成分画像のコアリング処理が行われる。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、信号レベルの小さい高域成分をノイズとして抑圧して、良好な画質の出力画像を生成できる。
【０１０６】
＜５．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態では、高域成分画像においてコアリング処理によってノイズの影響の軽減をはかる。また、コアリング処理では、低域成分の画質調整後の低域成分縮小画像を拡大した拡大画像を用いて算出された特徴量に基づき閾値を調整する。このような処理を行う画像処理装置１０ｄについて説明する。
【０１０７】
［画像処理装置の構成］
図１８は、本技術の第４の実施の形態の構成を示している。画像処理装置１０ｄは、第３の実施の形態と同様に、周波数分離部２０と合成処理部４０を有している。また、第４の実施の形態の画像処理装置１０ｄの画像処理部３０ｄは、縮小画像処理部３１と差分画像対応部３２ｄを有している。さらに、差分画像対応部３２ｄは、ノイズ量推定部３２１と特徴量算出部３２７とコアリング処理部３２８を有している。
【０１０８】
周波数分離部２０の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｄに出力する。
【０１０９】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【０１１０】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を差分画像対応部３２ｄに出力する。
【０１１１】
縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０に出力する。
【０１１２】
差分画像対応部３２ｄのノイズ量推定部３２１は、入力画像におけるノイズ量を推定して、推定結果をコアリング処理部３２８に出力する。
【０１１３】
特徴量算出部３２７は、画質調整と拡大処理が行われた縮小画像を用いて特徴量を算出する。特徴量算出部３２７は、画質改善と後述する拡大処理部４１で拡大処理が行われた縮小画像、すなわち画質改善が行われた低域画像を用いて、例えば分散を算出して特徴量とする。特徴量算出部３２７は算出した特徴量をコアリング処理部３２８に出力する。
【０１１４】
差分画像の画像処理を行う差分画像処理部であるコアリング処理部３２８は、ノイズ量推定部３２１によって推定されたノイズ量と特徴量算出部３２７で算出された特徴量に基づき閾値を設定する。さらに、設定された閾値とコアリング特性に応じて、画素毎に差分画像の信号レベルの調整を行い合成処理部４０に出力する。
【０１１５】
合成処理部４０の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す拡大処理を行う。合成処理部４０は、拡大処理後の画像を加算処理部４２と差分画像対応部３２ｄの特徴量算出部３２７に出力する。
【０１１６】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２ｄから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【０１１７】
［各部の構成と動作］
次に各部の構成と動作について説明する。縮小処理部２１は、上述の図４に示す構成および図５に示す動作とされており、縮小画像を生成する。拡大処理部２２は、上述の図７に示す構成および図８に示す動作とされており拡大画像を生成する。また、差分算出部２３は上述の図１０に示す構成とされており、拡大処理部２２で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。
【０１１８】
縮小画像処理部３１は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する
差分画像対応部３２ｄのノイズ量推定部３２１は、上述のように、式（１）に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。特徴量算出部３２７は、画質改善と拡大処理が行われた縮小画像に基づき、画素毎に近傍画素を用いて例えば分散を算出して特徴量とする。
【０１１９】
コアリング処理部３２８は、画素毎のノイズ量と特徴量に応じて閾値を設定する。例えば、ノイズ量が多いと推定される場合には、より確実にノイズを抑圧できるように閾値を大きくする。また、特徴量が大きい場合、例えば画質改善と拡大処理が行われた低域画像において、特徴量の算出対象画素が輪郭等を示す画素であるために分散が大きくなる場合、閾値を大きくすると、輪郭部分の高域成分の信号レベルが抑圧されてしまう。したがって、輪郭等の鮮鋭度が低下してしまうことがないように閾値を小さくする。コアリング処理部３２８は、設定された閾値とコアリング特性に基づき、閾値以下である信号をノイズと見なして差分画像の信号レベルを調整して、合成処理部４０に出力する。
【０１２０】
合成処理部４０の拡大処理部４１は、拡大処理部２２と同様に構成されており、拡大処理部２２と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部４２と特徴量算出部３２７に出力する。
【０１２１】
加算処理部４２は、拡大処理部４１から供給された画像と、差分画像対応部３２ｄのコアリング処理部３２８から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。
【０１２２】
このように、第４の実施の形態によれば、第３の実施の形態と同様に、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、信号レベルの小さい高域成分をノイズとして抑圧して、良好な画質の出力画像を生成できる。また、第４の実施の形態では、低域成分画像を用いて算出した特徴量に基づき閾値の調整が行われるので、輪郭等の鮮鋭度が低下しないように差分画像に対してコアリング処理を行うことができる。
【０１２３】
＜６．第５の実施の形態＞
上述の第１〜第４の実施の形態では、入力画像を高域画像である差分画像と低域画像である縮小画像の２階層に分けて処理を行う場合について説明した。ここで、周波数分離部と画像処理部と合成処理部を階層的に設ければ、入力画像を３階層以上の周波数帯域に分離して、周波数帯域毎に画像調整を行うこともできる。すなわち、周波数分離部は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する。画像処理部は、縮小画像と複数の差分画像の少なくとも何れかの画像処理を行う。合成処理部は、少なくとも何れか画像処理されている縮小画像と複数の差分画像を等しい画像サイズとして合成する。
【０１２４】
次に、第５の実施の形態として、例えば入力画像を３周波数帯域に分離して処理する場合について説明する。なお、以下の説明では、高い周波数帯域の画像を高域画像、低い周波数帯域の画像を低域画像、中間の周波数帯域の画像を中域画像と呼ぶ。
【０１２５】
図１９は、第５の実施の形態の構成を示している。画像処理装置１０ｅには、周波数分離部２０-1，２０-2、画像処理部３０、合成処理部４０-1、４０-2が設けられている。周波数分離部２０-1，２０-2は階層構造とされており、周波数分離部２０-1で生成された縮小画像が、周波数分離部２０-2の入力画像とされている。また、画像処理部３０ｅは、縮小画像処理部３１と差分画像対応部３２-1，３２-2を有している。
【０１２６】
周波数分離部２０-1の縮小処理部２１は、入力画像に対して縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｅの差分画像対応部３２-1に出力する。
【０１２７】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【０１２８】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部２３は、入力画像の高域成分を示す差分画像を画像処理部３０に出力する。
【０１２９】
周波数分離部２０-2の縮小処理部２１は、周波数分離部２０-1で生成された縮小画像を入力画像として縮小処理を行う。縮小処理部２１は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部２１は、生成した縮小画像を拡大処理部２２と画像処理部３０ｅの縮小画像処理部３１に出力する。
【０１３０】
拡大処理部２２は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部２３に出力する。
【０１３１】
差分算出部２３は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、周波数分離部２０-1で生成された縮小画像の高域成分、すなわち入力画像の中域成分を示す中域画像となる。差分算出部２３は、入力画像の中域成分を示す差分画像を画像処理部３０ｅの差分画像対応部３２-2に出力する。
【０１３２】
画像処理部３０ｅの縮小画像処理部３１は、縮小画像の画質改善を行う。縮小画像処理部３１は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部４０-2に出力する。
【０１３３】
画像処理部３０ｅの差分画像対応部３２-1は、上述の差分画像対応部３２ａ（３２ｂ，３２ｃ，３２ｄ）等と同様な処理を行い、レベル調整後の差分画像を合成処理部４０-1に出力する。同様に、差分画像対応部３２-2、上述の差分画像対応部３２ａ（３２ｂ，３２ｃ，３２ｄ）等と同様な処理を行い、レベル調整後の差分画像を合成処理部４０-2に出力する。
【０１３４】
合成処理部４０-2の拡大処理部４１は、縮小画像処理部３１から供給された画質改善後の縮小画像を拡大して周波数分離部２０-2の差分算出部２３で生成された差分画像と等しい画像サイズに戻す処理を行い、拡大後の画像を加算処理部４２に出力する。
【０１３５】
加算処理部４２は、拡大処理部４１から供給された画質改善および拡大後の画像と、差分画像対応部３２-2から供給されたゲイン調整後の差分画像を加算して、合成画像を合成処理部４０-1に出力する。
【０１３６】
合成処理部４０-1の拡大処理部４１は、合成処理部４０-2から供給された合成画像を拡大して周波数分離部２０-1の差分算出部２３で生成された差分画像と等しい画像サイズ、すなわち入力画像サイズに戻す拡大処理を行う。合成処理部４０-1は、拡大処理後の合成画像を加算処理部４２に出力する。
【０１３７】
加算処理部４２は、拡大処理部４１から供給された拡大後の合成画像と、差分画像対応部３２-1から供給されたゲイン調整後の差分画像を加算して出力画像を生成する。
【０１３８】
なお、第５の実施の形態では、合成処理部を複数設けて順次画像を合成画像する構成を示しているが、画像処理部３０ｅから出力される各画像の画像サイズを一致させて、例えば入力画像のサイズとして加算するようにしてもよい。
【０１３９】
このように、第５の実施の形態によれば、周波数分離部と合成処理部が階層構造とされているので、入力画像から複数の周波数成分毎の画像を生成できる。したがって、周波数成分毎に信号レベルの調整や画質調整を行い、画像サイズを一致させて合成することで、簡単な構成で容易に画質の改善を周波数成分毎に行うことができる。
【０１４０】
＜７．処理をプログラムにより実行する場合について＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータを用いる。または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどを用いて、記録媒体からプログラムをインストールする。
【０１４１】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。
【０１４２】
コンピュータ８０において、ＣＰＵ（Central Processing Unit）８１、ＲＯＭ（Read Only Memory）８２、ＲＡＭ（Random Access Memory）８３は、バス８４により相互に接続されている。バス８４には、さらに、入出力インタフェース部８５が接続されている。入出力インタフェース部８５には、キーボード、マウスなどよりなるユーザインタフェース部８６、画像データを入力するための入力部８７、ディスプレイなどよりなる出力部８８、ハードディスクや不揮発性のメモリなどよりなる記録部８９等が接続される。さらに、入出力インタフェース部８５には、ネットワークインタフェースなどよりなる通信部９０、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９５を駆動するドライブ９１が接続されている。
【０１４３】
以上のように構成されるコンピュータでは、ＣＰＵ８１が、例えば、記録部８９に記録されているプログラムを、入出力インタフェース部８５およびバス８４を介して、ＲＡＭ８３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ（ＣＰＵ８１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory),ＤＶＤ(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９５に記録して提供される。または、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４５】
そして、プログラムは、プログラムが記録された記録媒体であるリムーバブルメディア９５をドライブ９１に装着することにより、入出力インタフェース部８５を介して、記録部８９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０で受信し、記録部８９にインストールすることができる。その他、プログラムは、ＲＯＭ８２や記録部８９に、予めインストールしておくことができる。
【０１４６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能であり、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１４７】
また、本技術の情報処理装置は、以下のような構成も取ることができる。
（１） 入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部と
を備える画像処理装置。
（２） 前記画像処理部は、
前記入力画像に基づき画素毎のノイズ量を推定するノイズ量推定部と、
推定された前記ノイズ量に基づいて前記差分画像の画像処理を行う差分画像処理部を備える（１）に記載の画像処理装置。
（３） 前記画像処理部は、前記差分画像に基づき画素毎に非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいて画像処理を行う（２）に記載の画像処理装置。
（４） 前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいてゲイン係数を設定して、該ゲイン係数に基づいてゲイン調整を行う（３）に記載の画像処理装置。
（５） 前記画像処理部は、前記設定されたゲイン係数を記憶するゲイン係数記憶部を備え、
前記差分画像処理部は、前記ゲイン係数記憶部に記憶されている同じ画素位置のゲイン係数を用いて前記ゲイン係数の設定を行う（４）に記載の画像処理装置。
（６） 前記差分画像処理部は、閾値以下の信号を抑圧するコアリング処理を行い、前記ノイズ量に基づいて前記閾値を設定する（２）乃至（５）の何れかに記載の画像処理装置。
（７） 前記画像処理部は、前記画像処理後の縮小画像に基づき非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記縮小画像の非平坦度を示す特徴量に基づいて前記閾値を設定する（６）に記載の画像処理装置。
（８） 前記画像処理部は、前記縮小画像の画像処理を行う縮小画像処理部を備え、
前記縮小画像処理部は、前記画像処理として画質改善処理を行う（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記縮小画像処理部は、前記画質改善処理として、ノイズ除去と鮮鋭度強調処理の少なくとも何れかを行う（８）に記載の画像処理装置。
【産業上の利用可能性】
【０１４８】
この技術の画像処理装置と画像処理方法およびプログラムと記録媒体では、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像が周波数帯域の異なる縮小画像と差分画像に分離される。また、縮小画像と差分画像の少なくとも何れかの画像処理が行われて、少なくとも一方が画像処理されている縮小画像と差分画像が等しい画像サイズとして合成される。このため、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができることから、例えば撮像装置や画像記録装置、画像編集装置等に適している。
【符号の説明】
【０１４９】
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ・・・画像処理装置、２０，２０-1，２０-2・・・周波数分離部、２１・・・縮小処理部、２２，４１・・・拡大処理部、２３・・・差分算出部、３０，３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ・・・画像処理部、３１・・・縮小画像処理部、３２-1，３２-2，３２ａ，３２ｂ，３２ｃ，３２ｄ・・・差分画像対応部、４０，４０-1，４０-2・・・合成処理部、４２・・・加算処理部、８０・・・コンピュータ、８１・・・ＣＰＵ、８２・・・ＲＯＭ、８３・・・ＲＡＭ、８４・・・バス、８５・・・入出力インタフェース部、８６・・・ユーザインタフェース部、８７・・・入力部、８８・・・出力部、８９・・・記録部、９０・・・通信部、９１・・・ドライブ、９５・・・リムーバブルメディア、２１１，２２２・・・フィルタ処理部、２１２・・・間引き処理部、２２１・・・ゼロパディング処理部、２３１・・・減算器、３２１・・・ノイズ量推定部、３２２，３２７・・・特徴量算出部、３２３，３２５・・・ゲイン調整部、３２４・・・ゲイン係数記憶部、３２６，３２８・・・コアリング処理部、３２６１・・・閾値算出部、３２６２・・・レベル調整部
【特許請求の範囲】
【請求項１】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部と
を備える画像処理装置。
【請求項２】
前記画像処理部は、
前記入力画像に基づき画素毎のノイズ量を決定するノイズ量推定部と、
推定された前記ノイズ量に基づいて前記差分画像の画像処理を行う差分画像処理部を備える
請求項１記載の画像処理装置。
【請求項３】
前記画像処理部は、前記差分画像に基づき画素毎に非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいて画像処理を行う請求項２記載の画像処理装置。
【請求項４】
前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいてゲイン係数を設定して、該ゲイン係数に基づいてゲイン調整を行う請求項３記載の画像処理装置。
【請求項５】
前記画像処理部は、前記設定されたゲイン係数を記憶するゲイン係数記憶部を備え、
前記差分画像処理部は、前記ゲイン係数記憶部に記憶されている同じ画素位置のゲイン係数を用いて前記ゲイン係数の設定を行う請求項４記載の画像処理装置。
【請求項６】
前記差分画像処理部は、閾値以下の信号を抑圧するコアリング処理を行い、前記ノイズ量に基づいて前記閾値を設定する請求項２記載の画像処理装置。
【請求項７】
前記画像処理部は、前記画像処理後の縮小画像に基づき非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記縮小画像の非平坦度を示す特徴量に基づいて前記閾値を設定する請求項６記載の画像処理装置。
【請求項８】
前記画像処理部は、前記縮小画像の画像処理を行う縮小画像処理部を備え、
前記縮小画像処理部は、前記画像処理として画質改善処理を行う請求項１記載の画像処理装置。
【請求項９】
前記縮小画像処理部は、前記画質改善処理として、ノイズ除去と鮮鋭度強調処理の少なくとも何れかを行う請求項８記載の画像処理装置。
【請求項１０】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する工程と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う工程と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する工程と
を含む画像処理方法。
【請求項１１】
画像処理をコンピュータで実行させるプログラムであって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１２】
画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体。
【請求項１３】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する周波数分離部と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置。
【請求項１４】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する工程と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う工程と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法。
【請求項１５】
画像処理をコンピュータで実行させるプログラムであって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１６】
画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体。
【請求項１】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部と
を備える画像処理装置。
【請求項２】
前記画像処理部は、
前記入力画像に基づき画素毎のノイズ量を決定するノイズ量推定部と、
推定された前記ノイズ量に基づいて前記差分画像の画像処理を行う差分画像処理部を備える
請求項１記載の画像処理装置。
【請求項３】
前記画像処理部は、前記差分画像に基づき画素毎に非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいて画像処理を行う請求項２記載の画像処理装置。
【請求項４】
前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいてゲイン係数を設定して、該ゲイン係数に基づいてゲイン調整を行う請求項３記載の画像処理装置。
【請求項５】
前記画像処理部は、前記設定されたゲイン係数を記憶するゲイン係数記憶部を備え、
前記差分画像処理部は、前記ゲイン係数記憶部に記憶されている同じ画素位置のゲイン係数を用いて前記ゲイン係数の設定を行う請求項４記載の画像処理装置。
【請求項６】
前記差分画像処理部は、閾値以下の信号を抑圧するコアリング処理を行い、前記ノイズ量に基づいて前記閾値を設定する請求項２記載の画像処理装置。
【請求項７】
前記画像処理部は、前記画像処理後の縮小画像に基づき非平坦度を示す特徴量を算出する特徴量算出部を備え、
前記差分画像処理部は、前記ノイズ量と前記縮小画像の非平坦度を示す特徴量に基づいて前記閾値を設定する請求項６記載の画像処理装置。
【請求項８】
前記画像処理部は、前記縮小画像の画像処理を行う縮小画像処理部を備え、
前記縮小画像処理部は、前記画像処理として画質改善処理を行う請求項１記載の画像処理装置。
【請求項９】
前記縮小画像処理部は、前記画質改善処理として、ノイズ除去と鮮鋭度強調処理の少なくとも何れかを行う請求項８記載の画像処理装置。
【請求項１０】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する工程と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う工程と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する工程と
を含む画像処理方法。
【請求項１１】
画像処理をコンピュータで実行させるプログラムであって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１２】
画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、
前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体。
【請求項１３】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する周波数分離部と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置。
【請求項１４】
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する工程と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う工程と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法。
【請求項１５】
画像処理をコンピュータで実行させるプログラムであって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１６】
画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、
入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、
前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、
少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順と
を前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−２０２９４（Ｐ２０１３−２０２９４Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５０７０６（Ｐ２０１１−１５０７０６）
【出願日】平成２３年７月７日（２０１１．７．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月７日（２０１１．７．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]