画像処理装置、画像処理プログラム及び画像処理方法
【課題】鮮鋭且つ自然な画像を生成することを課題とする。
【解決手段】画像処理装置は、特徴量算出部と、生成部と、加算部とを有する。特徴量算出部は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。生成部は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、特徴量算出部によって算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。加算部は、入力画像に、生成部によって生成された高周波成分を加算する。
【解決手段】画像処理装置は、特徴量算出部と、生成部と、加算部とを有する。特徴量算出部は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。生成部は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、特徴量算出部によって算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。加算部は、入力画像に、生成部によって生成された高周波成分を加算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、画像のエッジ部分を強調させる技術がある。かかる技術によれば、より鮮鋭な画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２００７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、自然な画像を生成することが困難であるという問題がある。具体的には、上記従来技術では、画像のエッジ部分を強調させるので、画像全体としては自然な画像を生成することが困難である。
【０００５】
本発明が解決しようとする課題は、鮮鋭且つ自然な画像を生成することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、特徴量算出部と、生成部と、加算部とを有する。特徴量算出部は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。生成部は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、特徴量算出部によって算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。加算部は、入力画像に、生成部によって生成された高周波成分を加算する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】図２は、第１の実施形態に係る分布算出部を説明する図である。
【図３】図３は、第１の実施形態に係る確率分布について説明する図である。
【図４】図４は、第１の実施形態に係る画像処理の流れの例を示すフローチャートである。
【図５】図５は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図６】図６は、第２の実施形態に係る画像処理の流れの例を示すフローチャートである。
【図７】図７は、第３の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図８】図８は、第３の実施形態に係る画像処理の流れの例を示すフローチャートである。
【図９】図９は、第４の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図１０】図１０は、第４の実施形態に係る分布算出部を説明する図である。
【図１１】図１１は、第４の実施形態に係る画像処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。例えば、図１に示すように、画像処理装置１００は、特徴量算出部１１０と、生成部１２０と、加算部１３０とを有する。かかる画像処理装置１００は、例えば、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【０００９】
特徴量算出部１１０は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。例えば、特徴量算出部１１０は、微分フィルタ等を用いて、入力画像の勾配特徴を算出する。詳細には、特徴量算出部１１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを求める。ここで、フィルタのサイズは、例えば、３×３から５×５程度であるものとする。また、以下では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。
【００１０】
生成部１２０は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部１２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。
【００１１】
例えば、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度及び大きさの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を求める。ここで、上記確率分布について説明する。図２は、第１の実施形態に係る分布算出部を説明する図である。また、図３は、第１の実施形態に係る確率分布について説明する図である。
【００１２】
例えば、図２及び図３に示すように、分布算出部１２５は、学習用画像と学習用高周波成分画像との同一の画素における勾配をそれぞれ算出する。なお、学習用画像は、入力画像と同様に、画質が劣化している場合がある。また、学習用画像の勾配算出に利用するフィルタは、特徴量算出部１１０で利用されたフィルタと同一のものである。
【００１３】
そして、分布算出部１２５は、確率分布のｘ軸を学習用画像の各画素における勾配方向とし、確率分布のｙ軸を該勾配方向と垂直の方向とする領域において、学習用画像の勾配を（１，０）のベクトルに変換し、これに合わせて学習用高周波成分画像の勾配を相対的に変換したベクトルを求める。図３では、同様の変換が行われることを表すために「変換φ」として図示している。すなわち、このようにして画素ごとに求められた学習用高周波成分画像の勾配のばらつきを、図３に示す破線で囲まれた確率分布とする。また、図３に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。なお、確率分布は予め用意されるものである。
【００１４】
つまり、生成部１２０は、勾配強度の算出において、平均「μ１」及び標準偏差「σ１」である「正規分布Ｎ１」から得られる確率変数「α」と、平均「μ２」及び標準偏差「σ２」である「正規分布Ｎ２」から得られる確率変数「β」とから、高周波成分の勾配強度を（数１）で求める。
（数１）ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ
なお、（数１）において、「ｆｘ」は水平方向の勾配強度を表し、「ｆｙ」は垂直方向の勾配強度を表している。
【００１５】
続いて、生成部１２０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分を生成する。ここで、「Ｇｘ」及び「Ｇｙ」は、例えば、分布算出部１２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。つまり、生成部１２０は、勾配強度と局所勾配パターンとに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
（数２）Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ
【００１６】
加算部１３０は、入力画像に高周波成分を加算する。例えば、加算部１３０は、入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する。なお、出力画像は、入力画像と同一の画像サイズである。また、第１の実施形態では、ｘ軸方向である水平方向微分フィルタと、ｙ軸方向である垂直方向微分フィルタとを用いて勾配特徴を算出する場合を例に挙げたが、これら以外のフィルタと該フィルタで抽出可能な勾配以外の特徴とを用いても良い。
【００１７】
次に、図４を用いて、第１の実施形態に係る画像処理の流れを説明する。図４は、第１の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００１８】
例えば、図４に示すように、特徴量算出部１１０は、画像処理装置１００に入力画像が入力された場合に（ステップＳ１０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ１０２）。このとき、特徴量算出部１１０は、画像処理装置１００に入力画像が入力されていない場合に（ステップＳ１０１否定）、該入力画像の入力待ちの状態となる。
【００１９】
また、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ１０３）。続いて、生成部１２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ１０４）。また、加算部１３０は、入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ１０５）。
【００２０】
本実施形態によれば、画質の劣化した入力画像の画素ごとの特徴量と、画質の劣化した学習用画像の勾配に対する高周波成分を含む学習用画像の勾配の相対的なベクトルの分布を表す確率分布とから、入力画像の高周波成分を生成し、入力画像に高周波成分を加算するので、鮮鋭且つ自然な画像を生成することができる。
【００２１】
（第２の実施形態）
図５は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。第２の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。また、第２の実施形態では、動画、すなわち連続した２つ以上のフレーム（入力画像）に対する画像処理を実行する場合を例に挙げる。
【００２２】
例えば、図５に示すように、画像処理装置２００は、特徴量算出部１１０と、生成部２２０と、加算部１３０と、移動量算出部２４０と、記憶部２５０とを有する。また、第１の実施形態と同様に、画像処理装置２００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【００２３】
移動量算出部２４０は、第１入力画像と、第１入力画像よりも前に入力された第２入力画像とに基づいて、画素ごとに移動量を算出する。例えば、移動量算出部２４０は、画像処理対象である入力画像の画素から、直前に処理された入力画像の画素への動きの変化量である動きベクトルを算出する。なお、移動量算出部２４０によって算出される動きベクトルは、上記のように画素精度で算出しても良いし、１画素よりも細かいサブピクセル精度で算出しても良い。
【００２４】
記憶部２５０は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布から求められた、画素ごとの移動量に対応する確率変数を記憶する。例えば、記憶部２５０は、分布算出部１２５によって求められた確率分布から得られる確率変数を所定数だけ記憶する。記憶部２５０によって記憶される確率変数の数は、最大で入力画像の画素数と同数である。また、記憶部２５０は、入力画像に対する画像処理の際に、直前の入力画像に対する画像処理でどの確率変数が利用されたかが分かるように、動きベクトルが表す座標に対応したメモリ領域となっている。
【００２５】
生成部２２０は、算出された移動量に対応する確率変数を記憶部２５０から取得し、取得した確率変数と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部２２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。
【００２６】
例えば、生成部２２０は、移動量算出部２４０によって算出された動きベクトルが表す直前に処理された入力画像の座標位置に対応した記憶部２５０のメモリ領域から、確率変数「α」及び確率変数「β」を取得する。例を挙げると、入力画像の座標（ｉ，ｊ）における動きベクトルが表す直前に処理された入力画像の座標が（ｋ，ｌ）であり、記憶部２５０のメモリ領域が「Ｍ×Ｎ」である場合に、生成部２２０は、座標（ｉ，ｊ）の確率変数は記憶部２５０の位置（ｋ ｍｏｄ Ｍ，ｌ ｍｏｄ Ｎ）から取得する。なお、「ｋ ｍｏｄ Ｍ」は、「ｋ」を「Ｍ」で割ったときの余りを表し、「ｌ ｍｏｄ Ｎ」は、「ｌ」を「Ｎ」で割ったときの余りを表す。
【００２７】
そして、生成部２２０は、取得した確率変数「α」及び確率変数「β」と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を（数１）で求める。続いて、生成部２２０は、高周波成分の勾配強度（水平方向：ｆｘ、垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
【００２８】
次に、図６を用いて、第２の実施形態に係る画像処理の流れを説明する。図６は、第２の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００２９】
例えば、図６に示すように、特徴量算出部１１０は、画像処理装置２００に入力画像が入力された場合に（ステップＳ２０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ２０２）。このとき、特徴量算出部１１０は、画像処理装置２００に入力画像が入力されていない場合に（ステップＳ２０１否定）、該入力画像の入力待ちの状態となる。
【００３０】
また、移動量算出部２４０は、画像処理対象である入力画像の画素から、直前に処理された入力画像の画素への動きの変化量である動きベクトルを算出する（ステップＳ２０３）。また、生成部２２０は、移動量算出部２４０によって算出された動きベクトルが表す直前に処理された入力画像の座標位置に対応した記憶部２５０のメモリ領域から、確率変数を取得する（ステップＳ２０４）。
【００３１】
そして、生成部２２０は、取得した確率変数と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ２０５）。続いて、生成部２２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ２０６）。また、加算部１３０は、入力画像に、生成部２２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ２０７）。
【００３２】
本実施形態によれば、直前の入力画像に対する画像処理でどの確率変数が利用されたかが分かる、画像処理対象である入力画像から直前に処理された入力画像への動きベクトルが表す座標に対応したメモリ領域を有する記憶部２５０を利用するので、動画像のちらつきを防止することができる。つまり、各フレームで独立に求めた確率変数を利用することで、画像処理に係る演算に利用される値がフレームごとに異なる可能性があり、これによりフレームごとに画像処理結果が異なるために、動画像のちらつきが発生してしまう場合があるため、本実施形態では、上記記憶部２５０を利用して、動画像のちらつきを防止している。
【００３３】
（第３の実施形態）
図７は、第３の実施形態に係る画像処理装置の構成例を示すブロック図である。第３の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。
【００３４】
例えば、図７に示すように、画像処理装置３００は、特徴量算出部１１０と、生成部１２０と、加算部１３０と、画像拡大部３６０とを有する。また、第１の実施形態と同様に、画像処理装置３００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【００３５】
画像拡大部３６０は、入力画像を拡大した拡大入力画像を生成する。例えば、画像拡大部３６０は、最近傍補間法、線形補間法及びキュービックコンボリューション法等の画像拡大の任意の手法を用いて、入力画像を拡大し、拡大入力画像を生成する。生成された拡大入力画像は、特徴量算出部１１０と加算部１３０とに入力される。画像拡大の任意の手法については、上記のように画素値を補間して画像を拡大する手法が多く提案されているが、可能な限り“ぼけ”の少ない画像を取得できる手法を用いることが望ましい。
【００３６】
なお、特徴量算出部１１０、生成部１２０及び加算部１３０は、画像拡大部３６０によって拡大された拡大入力画像に対する画像処理を、第１の実施形態と同様に実行するものであるため、詳細な説明を省略する。すなわち、出力画像は、入力画像よりもサイズが大きい拡大入力画像に、上記各種画像処理が施されたものである。
【００３７】
次に、図８を用いて、第３の実施形態に係る画像処理の流れを説明する。図８は、第３の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００３８】
例えば、図８に示すように、画像拡大部３６０は、画像処理装置３００に入力画像が入力された場合に（ステップＳ３０１肯定）、画像拡大の任意の手法を用いて、入力画像を拡大し、拡大入力画像を生成する（ステップＳ３０２）。このとき、画像拡大部３６０は、画像処理装置３００に入力画像が入力されていない場合に（ステップＳ３０１否定）、該入力画像の入力待ちの状態となる。
【００３９】
また、特徴量算出部１１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画像拡大部３６０によって拡大された拡大入力画像の各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ３０３）。また、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ３０４）。
【００４０】
続いて、生成部１２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ３０５）。また、加算部１３０は、拡大入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ３０６）。
【００４１】
本実施形態によれば、入力画像を拡大することにより画質の劣化した拡大入力画像の画素ごとの特徴量と、画質の劣化した学習用画像に対する高周波成分を含む学習用画像の相対的なベクトルの分布を表す確率分布とから、拡大入力画像の高周波成分を生成し、拡大入力画像に高周波成分を加算するので、鮮鋭且つ自然な画像を生成することができる。
【００４２】
（第４の実施形態）
図９は、第４の実施形態に係る画像処理装置の構成例を示すブロック図である。第４の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。
【００４３】
例えば、図９に示すように、画像処理装置４００は、特徴量算出部１１０と、生成部４２０と、加算部１３０とを有する。また、第１の実施形態と同様に、画像処理装置４００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【００４４】
生成部４２０は、学習用画像の特徴量の大きさごとに求められた複数の確率分布のうち、算出された特徴量の大きさに対応する確率分布と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部４２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。
【００４５】
例えば、生成部４２０は、学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度の分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を求める。ここで、上記確率分布について説明する。図１０は、第４の実施形態に係る分布算出部を説明する図である。
【００４６】
例えば、図１０に示すように、分布算出部４２５は、学習用画像と学習用高周波成分画像との同一の画素における勾配をそれぞれ算出する。なお、学習用画像は、入力画像と同様に、画質が劣化している場合がある。また、学習用画像の勾配算出に利用するフィルタは、特徴量算出部１１０で利用されたフィルタと同一のものである。
【００４７】
そして、分布算出部４２５は、確率分布のｘ軸を学習用画像の各画素における勾配方向とし、確率分布のｙ軸を該勾配方向と垂直の方向とする領域において、学習用画像の勾配方向をｘ軸方向に回転させ、これに合わせて学習用高周波成分画像の勾配も回転させたときの、該学習用高周波成分画像の勾配のばらつきを確率分布とする。ここで、確率分布は、学習用画像の勾配の大きさごとに求められる。また、確率分布は、２次元正規分布で表される。なお、確率分布は、予め用意されるものである。
【００４８】
つまり、生成部４２０は、勾配強度の算出において、平均「μ１」及び標準偏差「σ１」である正規分布から得られる確率変数「α」と、平均「μ２」及び標準偏差「σ２」である正規分布から得られる確率変数「β」とから、高周波成分の勾配強度を（数３）で求める。
【数１】
なお、（数３）において、「ｆｘ」は水平方向の勾配強度を表し、「ｆｙ」は垂直方向の勾配強度を表している。
【００４９】
続いて、生成部４２０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分を生成する。ここで、「Ｇｘ」及び「Ｇｙ」は、例えば、分布算出部４２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。つまり、生成部４２０は、勾配強度と局所勾配パターンとに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
【００５０】
次に、図１１を用いて、第４の実施形態に係る画像処理の流れを説明する。図１１は、第４の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００５１】
例えば、図１１に示すように、特徴量算出部１１０は、画像処理装置４００に入力画像が入力された場合に（ステップＳ４０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ４０２）。このとき、特徴量算出部１１０は、画像処理装置４００に入力画像が入力されていない場合に（ステップＳ４０１否定）、該入力画像の入力待ちの状態となる。
【００５２】
また、生成部４２０は、学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度の分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ４０３）。そして、生成部４２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ４０４）。また、加算部１３０は、入力画像に、生成部４２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ４０５）。
【００５３】
本実施形態によれば、画質の劣化した入力画像の画素ごとの特徴量と、画質の劣化した学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の分布を表す確率分布とから、入力画像の高周波成分を生成し、入力画像に高周波成分を加算するので、より鮮鋭且つ自然な画像を生成することができる。
【００５４】
また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５５】
また、各実施形態で説明した画像処理装置の各機能は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【符号の説明】
【００５６】
１００ 画像処理装置
１１０ 特徴量算出部
１２０ 生成部
１３０ 加算部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、画像のエッジ部分を強調させる技術がある。かかる技術によれば、より鮮鋭な画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２００７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、自然な画像を生成することが困難であるという問題がある。具体的には、上記従来技術では、画像のエッジ部分を強調させるので、画像全体としては自然な画像を生成することが困難である。
【０００５】
本発明が解決しようとする課題は、鮮鋭且つ自然な画像を生成することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、特徴量算出部と、生成部と、加算部とを有する。特徴量算出部は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。生成部は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、特徴量算出部によって算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。加算部は、入力画像に、生成部によって生成された高周波成分を加算する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】図２は、第１の実施形態に係る分布算出部を説明する図である。
【図３】図３は、第１の実施形態に係る確率分布について説明する図である。
【図４】図４は、第１の実施形態に係る画像処理の流れの例を示すフローチャートである。
【図５】図５は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図６】図６は、第２の実施形態に係る画像処理の流れの例を示すフローチャートである。
【図７】図７は、第３の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図８】図８は、第３の実施形態に係る画像処理の流れの例を示すフローチャートである。
【図９】図９は、第４の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図１０】図１０は、第４の実施形態に係る分布算出部を説明する図である。
【図１１】図１１は、第４の実施形態に係る画像処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。例えば、図１に示すように、画像処理装置１００は、特徴量算出部１１０と、生成部１２０と、加算部１３０とを有する。かかる画像処理装置１００は、例えば、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【０００９】
特徴量算出部１１０は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。例えば、特徴量算出部１１０は、微分フィルタ等を用いて、入力画像の勾配特徴を算出する。詳細には、特徴量算出部１１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを求める。ここで、フィルタのサイズは、例えば、３×３から５×５程度であるものとする。また、以下では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。
【００１０】
生成部１２０は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部１２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。
【００１１】
例えば、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度及び大きさの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を求める。ここで、上記確率分布について説明する。図２は、第１の実施形態に係る分布算出部を説明する図である。また、図３は、第１の実施形態に係る確率分布について説明する図である。
【００１２】
例えば、図２及び図３に示すように、分布算出部１２５は、学習用画像と学習用高周波成分画像との同一の画素における勾配をそれぞれ算出する。なお、学習用画像は、入力画像と同様に、画質が劣化している場合がある。また、学習用画像の勾配算出に利用するフィルタは、特徴量算出部１１０で利用されたフィルタと同一のものである。
【００１３】
そして、分布算出部１２５は、確率分布のｘ軸を学習用画像の各画素における勾配方向とし、確率分布のｙ軸を該勾配方向と垂直の方向とする領域において、学習用画像の勾配を（１，０）のベクトルに変換し、これに合わせて学習用高周波成分画像の勾配を相対的に変換したベクトルを求める。図３では、同様の変換が行われることを表すために「変換φ」として図示している。すなわち、このようにして画素ごとに求められた学習用高周波成分画像の勾配のばらつきを、図３に示す破線で囲まれた確率分布とする。また、図３に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。なお、確率分布は予め用意されるものである。
【００１４】
つまり、生成部１２０は、勾配強度の算出において、平均「μ１」及び標準偏差「σ１」である「正規分布Ｎ１」から得られる確率変数「α」と、平均「μ２」及び標準偏差「σ２」である「正規分布Ｎ２」から得られる確率変数「β」とから、高周波成分の勾配強度を（数１）で求める。
（数１）ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ
なお、（数１）において、「ｆｘ」は水平方向の勾配強度を表し、「ｆｙ」は垂直方向の勾配強度を表している。
【００１５】
続いて、生成部１２０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分を生成する。ここで、「Ｇｘ」及び「Ｇｙ」は、例えば、分布算出部１２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。つまり、生成部１２０は、勾配強度と局所勾配パターンとに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
（数２）Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ
【００１６】
加算部１３０は、入力画像に高周波成分を加算する。例えば、加算部１３０は、入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する。なお、出力画像は、入力画像と同一の画像サイズである。また、第１の実施形態では、ｘ軸方向である水平方向微分フィルタと、ｙ軸方向である垂直方向微分フィルタとを用いて勾配特徴を算出する場合を例に挙げたが、これら以外のフィルタと該フィルタで抽出可能な勾配以外の特徴とを用いても良い。
【００１７】
次に、図４を用いて、第１の実施形態に係る画像処理の流れを説明する。図４は、第１の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００１８】
例えば、図４に示すように、特徴量算出部１１０は、画像処理装置１００に入力画像が入力された場合に（ステップＳ１０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ１０２）。このとき、特徴量算出部１１０は、画像処理装置１００に入力画像が入力されていない場合に（ステップＳ１０１否定）、該入力画像の入力待ちの状態となる。
【００１９】
また、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ１０３）。続いて、生成部１２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ１０４）。また、加算部１３０は、入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ１０５）。
【００２０】
本実施形態によれば、画質の劣化した入力画像の画素ごとの特徴量と、画質の劣化した学習用画像の勾配に対する高周波成分を含む学習用画像の勾配の相対的なベクトルの分布を表す確率分布とから、入力画像の高周波成分を生成し、入力画像に高周波成分を加算するので、鮮鋭且つ自然な画像を生成することができる。
【００２１】
（第２の実施形態）
図５は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。第２の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。また、第２の実施形態では、動画、すなわち連続した２つ以上のフレーム（入力画像）に対する画像処理を実行する場合を例に挙げる。
【００２２】
例えば、図５に示すように、画像処理装置２００は、特徴量算出部１１０と、生成部２２０と、加算部１３０と、移動量算出部２４０と、記憶部２５０とを有する。また、第１の実施形態と同様に、画像処理装置２００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【００２３】
移動量算出部２４０は、第１入力画像と、第１入力画像よりも前に入力された第２入力画像とに基づいて、画素ごとに移動量を算出する。例えば、移動量算出部２４０は、画像処理対象である入力画像の画素から、直前に処理された入力画像の画素への動きの変化量である動きベクトルを算出する。なお、移動量算出部２４０によって算出される動きベクトルは、上記のように画素精度で算出しても良いし、１画素よりも細かいサブピクセル精度で算出しても良い。
【００２４】
記憶部２５０は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布から求められた、画素ごとの移動量に対応する確率変数を記憶する。例えば、記憶部２５０は、分布算出部１２５によって求められた確率分布から得られる確率変数を所定数だけ記憶する。記憶部２５０によって記憶される確率変数の数は、最大で入力画像の画素数と同数である。また、記憶部２５０は、入力画像に対する画像処理の際に、直前の入力画像に対する画像処理でどの確率変数が利用されたかが分かるように、動きベクトルが表す座標に対応したメモリ領域となっている。
【００２５】
生成部２２０は、算出された移動量に対応する確率変数を記憶部２５０から取得し、取得した確率変数と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部２２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。
【００２６】
例えば、生成部２２０は、移動量算出部２４０によって算出された動きベクトルが表す直前に処理された入力画像の座標位置に対応した記憶部２５０のメモリ領域から、確率変数「α」及び確率変数「β」を取得する。例を挙げると、入力画像の座標（ｉ，ｊ）における動きベクトルが表す直前に処理された入力画像の座標が（ｋ，ｌ）であり、記憶部２５０のメモリ領域が「Ｍ×Ｎ」である場合に、生成部２２０は、座標（ｉ，ｊ）の確率変数は記憶部２５０の位置（ｋ ｍｏｄ Ｍ，ｌ ｍｏｄ Ｎ）から取得する。なお、「ｋ ｍｏｄ Ｍ」は、「ｋ」を「Ｍ」で割ったときの余りを表し、「ｌ ｍｏｄ Ｎ」は、「ｌ」を「Ｎ」で割ったときの余りを表す。
【００２７】
そして、生成部２２０は、取得した確率変数「α」及び確率変数「β」と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を（数１）で求める。続いて、生成部２２０は、高周波成分の勾配強度（水平方向：ｆｘ、垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
【００２８】
次に、図６を用いて、第２の実施形態に係る画像処理の流れを説明する。図６は、第２の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００２９】
例えば、図６に示すように、特徴量算出部１１０は、画像処理装置２００に入力画像が入力された場合に（ステップＳ２０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ２０２）。このとき、特徴量算出部１１０は、画像処理装置２００に入力画像が入力されていない場合に（ステップＳ２０１否定）、該入力画像の入力待ちの状態となる。
【００３０】
また、移動量算出部２４０は、画像処理対象である入力画像の画素から、直前に処理された入力画像の画素への動きの変化量である動きベクトルを算出する（ステップＳ２０３）。また、生成部２２０は、移動量算出部２４０によって算出された動きベクトルが表す直前に処理された入力画像の座標位置に対応した記憶部２５０のメモリ領域から、確率変数を取得する（ステップＳ２０４）。
【００３１】
そして、生成部２２０は、取得した確率変数と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ２０５）。続いて、生成部２２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ２０６）。また、加算部１３０は、入力画像に、生成部２２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ２０７）。
【００３２】
本実施形態によれば、直前の入力画像に対する画像処理でどの確率変数が利用されたかが分かる、画像処理対象である入力画像から直前に処理された入力画像への動きベクトルが表す座標に対応したメモリ領域を有する記憶部２５０を利用するので、動画像のちらつきを防止することができる。つまり、各フレームで独立に求めた確率変数を利用することで、画像処理に係る演算に利用される値がフレームごとに異なる可能性があり、これによりフレームごとに画像処理結果が異なるために、動画像のちらつきが発生してしまう場合があるため、本実施形態では、上記記憶部２５０を利用して、動画像のちらつきを防止している。
【００３３】
（第３の実施形態）
図７は、第３の実施形態に係る画像処理装置の構成例を示すブロック図である。第３の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。
【００３４】
例えば、図７に示すように、画像処理装置３００は、特徴量算出部１１０と、生成部１２０と、加算部１３０と、画像拡大部３６０とを有する。また、第１の実施形態と同様に、画像処理装置３００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【００３５】
画像拡大部３６０は、入力画像を拡大した拡大入力画像を生成する。例えば、画像拡大部３６０は、最近傍補間法、線形補間法及びキュービックコンボリューション法等の画像拡大の任意の手法を用いて、入力画像を拡大し、拡大入力画像を生成する。生成された拡大入力画像は、特徴量算出部１１０と加算部１３０とに入力される。画像拡大の任意の手法については、上記のように画素値を補間して画像を拡大する手法が多く提案されているが、可能な限り“ぼけ”の少ない画像を取得できる手法を用いることが望ましい。
【００３６】
なお、特徴量算出部１１０、生成部１２０及び加算部１３０は、画像拡大部３６０によって拡大された拡大入力画像に対する画像処理を、第１の実施形態と同様に実行するものであるため、詳細な説明を省略する。すなわち、出力画像は、入力画像よりもサイズが大きい拡大入力画像に、上記各種画像処理が施されたものである。
【００３７】
次に、図８を用いて、第３の実施形態に係る画像処理の流れを説明する。図８は、第３の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００３８】
例えば、図８に示すように、画像拡大部３６０は、画像処理装置３００に入力画像が入力された場合に（ステップＳ３０１肯定）、画像拡大の任意の手法を用いて、入力画像を拡大し、拡大入力画像を生成する（ステップＳ３０２）。このとき、画像拡大部３６０は、画像処理装置３００に入力画像が入力されていない場合に（ステップＳ３０１否定）、該入力画像の入力待ちの状態となる。
【００３９】
また、特徴量算出部１１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画像拡大部３６０によって拡大された拡大入力画像の各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ３０３）。また、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ３０４）。
【００４０】
続いて、生成部１２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ３０５）。また、加算部１３０は、拡大入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ３０６）。
【００４１】
本実施形態によれば、入力画像を拡大することにより画質の劣化した拡大入力画像の画素ごとの特徴量と、画質の劣化した学習用画像に対する高周波成分を含む学習用画像の相対的なベクトルの分布を表す確率分布とから、拡大入力画像の高周波成分を生成し、拡大入力画像に高周波成分を加算するので、鮮鋭且つ自然な画像を生成することができる。
【００４２】
（第４の実施形態）
図９は、第４の実施形態に係る画像処理装置の構成例を示すブロック図である。第４の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。
【００４３】
例えば、図９に示すように、画像処理装置４００は、特徴量算出部１１０と、生成部４２０と、加算部１３０とを有する。また、第１の実施形態と同様に、画像処理装置４００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。
【００４４】
生成部４２０は、学習用画像の特徴量の大きさごとに求められた複数の確率分布のうち、算出された特徴量の大きさに対応する確率分布と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部４２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。
【００４５】
例えば、生成部４２０は、学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度の分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を求める。ここで、上記確率分布について説明する。図１０は、第４の実施形態に係る分布算出部を説明する図である。
【００４６】
例えば、図１０に示すように、分布算出部４２５は、学習用画像と学習用高周波成分画像との同一の画素における勾配をそれぞれ算出する。なお、学習用画像は、入力画像と同様に、画質が劣化している場合がある。また、学習用画像の勾配算出に利用するフィルタは、特徴量算出部１１０で利用されたフィルタと同一のものである。
【００４７】
そして、分布算出部４２５は、確率分布のｘ軸を学習用画像の各画素における勾配方向とし、確率分布のｙ軸を該勾配方向と垂直の方向とする領域において、学習用画像の勾配方向をｘ軸方向に回転させ、これに合わせて学習用高周波成分画像の勾配も回転させたときの、該学習用高周波成分画像の勾配のばらつきを確率分布とする。ここで、確率分布は、学習用画像の勾配の大きさごとに求められる。また、確率分布は、２次元正規分布で表される。なお、確率分布は、予め用意されるものである。
【００４８】
つまり、生成部４２０は、勾配強度の算出において、平均「μ１」及び標準偏差「σ１」である正規分布から得られる確率変数「α」と、平均「μ２」及び標準偏差「σ２」である正規分布から得られる確率変数「β」とから、高周波成分の勾配強度を（数３）で求める。
【数１】
なお、（数３）において、「ｆｘ」は水平方向の勾配強度を表し、「ｆｙ」は垂直方向の勾配強度を表している。
【００４９】
続いて、生成部４２０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分を生成する。ここで、「Ｇｘ」及び「Ｇｙ」は、例えば、分布算出部４２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。つまり、生成部４２０は、勾配強度と局所勾配パターンとに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
【００５０】
次に、図１１を用いて、第４の実施形態に係る画像処理の流れを説明する。図１１は、第４の実施形態に係る画像処理の流れの例を示すフローチャートである。
【００５１】
例えば、図１１に示すように、特徴量算出部１１０は、画像処理装置４００に入力画像が入力された場合に（ステップＳ４０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ４０２）。このとき、特徴量算出部１１０は、画像処理装置４００に入力画像が入力されていない場合に（ステップＳ４０１否定）、該入力画像の入力待ちの状態となる。
【００５２】
また、生成部４２０は、学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度の分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ４０３）。そして、生成部４２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ４０４）。また、加算部１３０は、入力画像に、生成部４２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ４０５）。
【００５３】
本実施形態によれば、画質の劣化した入力画像の画素ごとの特徴量と、画質の劣化した学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の分布を表す確率分布とから、入力画像の高周波成分を生成し、入力画像に高周波成分を加算するので、より鮮鋭且つ自然な画像を生成することができる。
【００５４】
また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５５】
また、各実施形態で説明した画像処理装置の各機能は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【符号の説明】
【００５６】
１００ 画像処理装置
１１０ 特徴量算出部
１２０ 生成部
１３０ 加算部
【特許請求の範囲】
【請求項１】
所定範囲内での画素値の変化を表す特徴量を入力画像から算出する特徴量算出部と、
学習用画像の前記特徴量に対する高周波成分を含む学習用画像の前記特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて、前記画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成部と、
前記入力画像に前記高周波成分を加算する加算部と
を有することを特徴とする画像処理装置。
【請求項２】
第１入力画像と、前記第１入力画像よりも前に入力された第２入力画像とに基づいて、画素ごとに移動量を算出する移動量算出部と、
前記確率分布から求められた、前記画素ごとの前記移動量に対応する確率変数を記憶する記憶部と
をさらに有し、
前記生成部は、算出された前記移動量に対応する前記確率変数を前記記憶部から取得し、取得した確率変数と、算出された前記特徴量とに基づいて、前記所定画像パターンの重みを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像を拡大した拡大入力画像を生成する画像拡大部をさらに有し、
前記特徴量算出部は、所定範囲内での前記特徴量を前記拡大入力画像から算出し、
前記生成部は、前記確率分布と、算出された前記特徴量とに基づいて、前記所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記拡大入力画像に対する高周波成分を生成し、
前記加算部は、前記拡大入力画像に前記高周波成分を加算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成部は、前記学習用画像の前記特徴量の大きさごとに求められた複数の前記確率分布のうち、算出された前記特徴量の大きさに対応する前記確率分布と、算出された前記特徴量とに基づいて、前記所定画像パターンの重みを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
所定範囲内での画素値の変化を表す特徴量を入力画像から算出する特徴量算出ステップと、
学習用画像の前記特徴量に対する高周波成分を含む学習用画像の前記特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて、前記画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成ステップと、
前記入力画像に前記高周波成分を加算する加算ステップと
をコンピュータに実行させるための画像処理プログラム。
【請求項６】
画像処理装置で実行される画像処理方法であって、
特徴量算出手段が、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する工程と、
生成手段が、学習用画像の前記特徴量に対する高周波成分を含む学習用画像の前記特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて、前記画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する工程と、
加算手段が、前記入力画像に前記高周波成分を加算する工程と
を含むことを特徴とする画像処理方法。
【請求項１】
所定範囲内での画素値の変化を表す特徴量を入力画像から算出する特徴量算出部と、
学習用画像の前記特徴量に対する高周波成分を含む学習用画像の前記特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて、前記画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成部と、
前記入力画像に前記高周波成分を加算する加算部と
を有することを特徴とする画像処理装置。
【請求項２】
第１入力画像と、前記第１入力画像よりも前に入力された第２入力画像とに基づいて、画素ごとに移動量を算出する移動量算出部と、
前記確率分布から求められた、前記画素ごとの前記移動量に対応する確率変数を記憶する記憶部と
をさらに有し、
前記生成部は、算出された前記移動量に対応する前記確率変数を前記記憶部から取得し、取得した確率変数と、算出された前記特徴量とに基づいて、前記所定画像パターンの重みを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像を拡大した拡大入力画像を生成する画像拡大部をさらに有し、
前記特徴量算出部は、所定範囲内での前記特徴量を前記拡大入力画像から算出し、
前記生成部は、前記確率分布と、算出された前記特徴量とに基づいて、前記所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記拡大入力画像に対する高周波成分を生成し、
前記加算部は、前記拡大入力画像に前記高周波成分を加算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成部は、前記学習用画像の前記特徴量の大きさごとに求められた複数の前記確率分布のうち、算出された前記特徴量の大きさに対応する前記確率分布と、算出された前記特徴量とに基づいて、前記所定画像パターンの重みを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
所定範囲内での画素値の変化を表す特徴量を入力画像から算出する特徴量算出ステップと、
学習用画像の前記特徴量に対する高周波成分を含む学習用画像の前記特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて、前記画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成ステップと、
前記入力画像に前記高周波成分を加算する加算ステップと
をコンピュータに実行させるための画像処理プログラム。
【請求項６】
画像処理装置で実行される画像処理方法であって、
特徴量算出手段が、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する工程と、
生成手段が、学習用画像の前記特徴量に対する高周波成分を含む学習用画像の前記特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて、前記画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する工程と、
加算手段が、前記入力画像に前記高周波成分を加算する工程と
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０１４８２（Ｐ２０１３−１０１４８２Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４６６８（Ｐ２０１１−２４４６６８）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]