画像処理装置、及び画像処理方法
【課題】処理負担を軽減する。
【解決手段】実施形態の画像処理装置は、特徴算出手段と、探索手段と、推定手段と、生成手段と、重畳手段と、を備える。特徴算出手段は、第１のフレーム画像情報について、所定の表示領域単位で、表示領域に含まれる特徴情報を算出する。探索手段は、第１のフレーム画像情報と、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する。推定手段は、探索された画素の動きと、第１のフレーム画像情報の表示領域単位の特徴情報と、に基づいて、第２のフレーム画像情報の表示領域単位の特徴情報を推定する。生成手段は、第２のフレーム画像情報の表示領域単位の特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する。重畳手段は、第２のフレーム画像情報に高周波画像情報を重畳する。
【解決手段】実施形態の画像処理装置は、特徴算出手段と、探索手段と、推定手段と、生成手段と、重畳手段と、を備える。特徴算出手段は、第１のフレーム画像情報について、所定の表示領域単位で、表示領域に含まれる特徴情報を算出する。探索手段は、第１のフレーム画像情報と、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する。推定手段は、探索された画素の動きと、第１のフレーム画像情報の表示領域単位の特徴情報と、に基づいて、第２のフレーム画像情報の表示領域単位の特徴情報を推定する。生成手段は、第２のフレーム画像情報の表示領域単位の特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する。重畳手段は、第２のフレーム画像情報に高周波画像情報を重畳する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、フレーム画像にテクスチャ等高周波画像成分を付与する技術がある。当該従来技術では、例えば、フレーム画像毎にテクスチャ画像を生成した上で、当該テクスチャ画像をフレーム画像に付与することで、質感を向上させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３１０１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、フレーム画像毎にテクスチャ等の高周波画像を生成するために解析等を行うと、処理負担が大きいという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、画質を向上しつつ処理負担を軽減できる画像処理装置、及び画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、特徴算出手段と、探索手段と、推定手段と、生成手段と、重畳手段と、を備える。特徴算出手段は、第１のフレーム画像情報について、所定の表示領域単位で、表示領域に含まれる特徴情報を算出する。探索手段は、第１のフレーム画像情報と、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する。推定手段は、探索された画素の動きと、第１のフレーム画像情報の表示領域単位の特徴情報と、に基づいて、第２のフレーム画像情報の表示領域単位の特徴情報を推定する。生成手段は、第２のフレーム画像情報の表示領域単位の特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する。重畳手段は、第２のフレーム画像情報に高周波画像情報を重畳する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。
【図２】図２は、第１の実施形態にかかる分布算出部を示した図である。
【図３】図３は、第１の実施形態にかかる確率分布について説明する図である。
【図４】図４は、第１の実施形態にかかる画像処理装置における、フレーム画像データにテクスチャ画像データを重畳するまでの処理手順を示すフローチャートである。
【図５】図５は、第１の実施形態にかかる特徴量算出部における、特徴量算出の処理フローを示した図である。
【図６】図６は、定数ｍ＝３の場合における、第１の実施形態にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。
【図７】図７は、第１の実施形態にかかるフレーム画像データの表示領域に含まれている動き探索ブロックの例を示した図である。
【図８】図８は、ｍ＝３の場合における、第１の実施形態にかかる動き探索部により動きの探索が行われるフレームの組を示した図である。
【図９】図９は、定数ｍ＝３の場合における、変形例にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。
【図１０】図１０は、第１の実施形態にかかる特徴量推定部及び信頼度算出部における、特徴量推定及び信頼度算出の処理フローを示した図である。
【図１１】図１１は、参照フレーム画像データ（フレーム番号ｉ−ｍ）に含まれている、対応ブロック（動き探索ブロックが移動する前のブロック）と近傍の信頼度ブロックとの対応位置を示した図である。
【図１２】図１２は、第１の実施形態にかかる生成部におけるテクスチャ画像データの生成処理の手順を示すフローチャートである。
【図１３】図１３は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。
【図１４】図１４は、第２の実施形態にかかる画像処理装置における、フレーム画像データにテクスチャ画像データを重畳するまでの処理の手順を示すフローチャートである。
【図１５】図１５は、第２の実施形態にかかる特徴量算出部及び信頼度算出部における、信頼度算出の処理フローを示した図である。
【図１６】図１６は、第２の実施形態にかかる信頼度推定部における信頼度推定の処理フローを示した図である。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図１に示すように、画像処理装置１００は、フレームバッファ１０１と、特徴量算出部１０２と、特徴量記憶部１０３と、動き探索部１０４と、信頼度算出部１０５と、特徴量推定部１０６と、勾配特徴算出部１０７と、生成部１０８と、確率分布記憶部１０９と、重畳部１１０と、を備える。
【０００９】
本実施形態にかかる画像処理装置１００は、動画像データに時系列順に含まれているフレーム画像データ単位で処理を行う。例えば、画像処理装置１００は、カメラやテレビジョン受信装置等に含まれるものであり、フレーム画像データに各種画像処理を施した後、画像処理後のフレーム画像データを出力する。
【００１０】
フレームバッファ１０１は、入力されたフレーム画像データを一時的に格納する。
【００１１】
特徴量算出部１０２は、動画像データに含まれるフレーム画像データについて、所定の表示領域単位で、表示領域に含まれる特徴を示した特徴量を算出する。本実施形態では所定の表示領域の表示サイズを１６×１６ドット（以下、信頼度を求めるための信頼度ブロックとも称す）とするが、表示サイズを制限するものではない。また、特徴量算出部１０２が算出する特徴量としては、例えば、アクティビティ等とする。アクティビティは、１６×１６ドットの表示領域（信頼度ブロック）内の輝度の変動度合とする。アクティビティの算出手法としては、例えば、特開２００８−３１０１１７号公報に記載された手法など様々な手法を用いて良い。
【００１２】
また、特徴量としては、動き探索を行って求めた動きベクトルを用いても良い。動きベクトルの場合、特徴量算出部１０２は、動きの大きさに基づいた強度を、特徴量として決定してもよい（例えば、特開２０１１−３５４５０の図５説明等）。
【００１３】
なお、特徴量は、アクティビティ及び動きベクトルに制限するものではなく、様々なパラメータを用いて良い。また、特徴量は、複数種類のパラメータであっても良い。複数種類のパラメータの場合、例えば、個々の特徴量により求めた信頼度を乗算して、最終的な信頼度を決定することができる。
【００１４】
本実施形態にかかる画像処理装置１００では、フレーム画像データに対して、テクスチャ画像データを重畳する。このテクスチャ画像データを生成するために、特徴量算出部１０２は、信頼度ブロック（１６×１６ドット）毎に特徴量を算出する。
【００１５】
特開２００８−３１０１１７号公報に記載された手法等では、画像の質感を高めるために生成した微細テクスチャをフレーム画像データに重畳する際、アクティビティを求めた後、当該アクティビティに基づいて画素値の変動が一定に近いと判定した場合、微細テクスチャの重畳比率を高める制御を行っている。このアクティビティの算出では、開示されている手段を含め、近傍のある程度の範囲の信号を解析する必要があるため、処理負荷が大きい。このように特徴量の算出は処理負担が大きいため、本実施形態では、全てのフレーム画像データに対して特徴量を算出するのではなく、特徴量算出部１０２は、動画像データに含まれるフレーム画像データのうち、所定の画像数ｍ毎に、特徴量を算出することとした。
【００１６】
特徴量記憶部１０３は、特徴量算出部１０２により算出された特徴量を記憶する。
【００１７】
特徴量算出部１０２による特徴量の算出は、所定の画像数ｍ毎に行うこととしたが、テクスチャ画像データは、フレーム画像データ毎に生成する必要がある。このため、全フレーム画像データの特徴量を求める必要がある。そこで、本実施形態にかかる画像処理装置１００では、複数のフレーム画像データ間で動き探索を行い、当該探索結果と、１のフレーム画像データで求められた特徴量と、に基づいて、他のフレーム画像データの特徴量を求めることとした。
【００１８】
動き探索部１０４は、動画像データに含まれるフレーム画像データのうち、任意のフレーム画像データと、当該任意のフレーム画像データより前のフレーム画像データと、の間の、画素の動きベクトルを探索する。本実施形態にかかる動き探索部１０４は、任意のフレーム画像データの信頼度ブロック（１６×１６ドット）を分割した８×８ドットのブロック単位（以下、動き探索ブロックとも称す）で、画素の動きベクトルを探索する。なお、本実施形態にかかる動き探索部１０４は、８×８ドットのブロック単位で動きベクトルを算出するが、他の表示領域サイズでも良い。また、動き探索は、１画素単位の精度で算出してもよいし、１画素よりも細かいサブピクセル精度で算出しても良い。
【００１９】
特徴量推定部１０６は、動き探索部１０４で探索された複数フレーム間の画素の動きベクトルと、フレーム画像データの表示領域単位の特徴量と、に基づいて、他のフレーム画像データについて、表示領域単位で特徴量を推定する。なお、動き探索部１０４は、１のフレーム画像データと、他のフレーム画像データと、の間の画素の動きを探索したものとする。
【００２０】
つまり、動き探索部１０４が、フレーム画像データ間の動き探索を行う一方、特徴量算出部１０２が、フレーム画像データｎで信号解析により特徴量を高精度に算出する。その後、特徴量推定部１０６が、当該フレーム画像データｎ＋１とフレーム画像データｎと間の動きベクトルを用いて、フレーム画像データｎの特徴量から、当該フレーム画像データｎ＋１の特徴量を推定する。当該推定により、フレーム画像データ毎に、特徴量を算出する必要がなくなるため、処理負荷を軽減できる。
【００２１】
信頼度算出部１０５は、各フレーム画像データの表示領域（信頼度ブロック）毎に、算出又は推定された特徴量に基づいて、信頼度を算出する。本実施形態にかかる信頼度は、テクスチャ成分を付与すべき度合いであり、例えば、０．０〜０．１の間の値をとる。特徴量がアクティビティの場合、例えば、信頼度算出部１０５は、アクティビティの値に対して、非線形な変換を施し、信頼度に変換することが考えられる。
【００２２】
勾配特徴算出部１０７は、フレーム画像データに含まれる画素毎に、勾配特徴データを算出する。勾配特徴データとは、フレーム画像データに含まれる画素毎に、当該画素の周辺の所定の表示領域内の画素値の変化を、傾きとして表した変化量とする。例えば、勾配特徴算出部１０７は、微分フィルタ等を用いて、フレーム画像データに含まれる画素毎の勾配特徴データを算出する。本実施形態では、勾配特徴算出部１０７は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画素毎に、水平方向の勾配特徴データと、垂直方向の勾配特徴データと、を算出する。算出に用いるフィルタのサイズは、例えば、３×３〜５×５程度とするが、サイズに制限を設けるものではない。なお、下記では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。また、本実施形態は、画素毎の勾配特徴データを用いる例について説明するが、勾配特徴データに制限するものではなく、所定の表示領域内での画素値の変化を表す変化量を示したデータであればよい。
【００２３】
生成部１０８は、学習用画像データに含まれる画素毎の勾配特徴データに対する、当該学習用画像情報に含まれる画素毎の高周波成分の勾配特徴データの相対的な値の分布を表す確率分布と、算出されたフレーム画像データに含まれる画素毎の勾配特徴データ（Ｆｘ，Ｆｙ）と、に基づいて、フレーム画像データに含まれる画素毎の高周波成分に関する重みである、局所勾配パターンの勾配強度を算出する。本実施形態にかかる学習用画像データは、フレーム画像データと解像度（表示領域のサイズ）が同一とする。
【００２４】
本実施形態にかかる局所勾配パターンは、予め定められた画素値（例えば、輝度値）の変化のパターンを表した所定画像パターンとする。勾配強度は、勾配特徴に基づいて算出される、フレーム画像データに含まれる画素毎の高周波成分に関する重みであり、フレーム画像データの高周波成分の生成に用いる。
【００２５】
そして、生成部１０８は、当該局所勾配パターンを勾配強度で重み付けした上で、表示領域毎に算出された信頼度に基づいて、フレーム画像データに対する高周波成分を示したテクスチャ画像データを生成する。なお、局所勾配パターン及び勾配強度の詳細は、後述する。
【００２６】
その際、本実施形態にかかる生成部１０８は、信頼度に従ってテクスチャ画像データを生成することで、フレーム画像データの信頼度ブロック（１６×１６ドット）単位の特徴量に従ってテクスチャ成分を異ならせたテクスチャ画像データが生成できる。
【００２７】
本実施形態にかかる確率分布は、上述した相対的な値の分布として、学習用画像データの画素毎の勾配に対する学習用高周波成分画像データの画素毎の勾配の相対的な角度及び大きさの分布とする。ここで、確率分布について説明する。図２は、第１の実施形態にかかる分布算出部１２５を示した図である。なお、分布算出部１２５は、画像処理装置１００内部に備えても良い。また、分布算出部１２５を画像処理装置１００の外部に備え、分布算出部１２５により算出された確率分布を画像処理装置１００内部に記憶してもよい。
【００２８】
図２に示すように、分布算出部１２５は、学習用画像データと、学習用高周波成分画像データと、を入力し、確率分布データを出力する。出力された確率分布データは、確率分布記憶部１０９に記憶される。
【００２９】
図３は、第１の実施形態にかかる確率分布について説明する図である。分布算出部１２５は、学習用画像データと学習用高周波成分画像データとの同じ位置の画素における勾配をそれぞれ算出する。この勾配算出に利用する微分フィルタは、勾配特徴算出部１０７で利用されたフィルタと同一のものとする。学習用高周波成分画像データは、学習用画像データの高周波成分の画像データとする。なお、学習用画像データは、フレーム画像データと同様に、画質が劣化している場合がある。
【００３０】
図３に示すように、分布算出部１２５は、２次元の平面の領域上に確率分布を算出する。当該平面領域のｘ軸を、学習用画像データの各画素の勾配方向とし、ｙ軸を該勾配方向と垂直の方向とする。分布算出部１２５は、学習用画像データに含まれる各画素の勾配を（１，０）のベクトルに変換する。任意の画素の勾配を、（１，０）のベクトルに変換した変換行列を「変換φ」とする。そして、分布算出部１２５は、当該任意の画素と同じ位置の、学習用高周波成分画像データの画素の勾配を、当該変換φを用いて変換する。これにより、学習用画像データの各画素の勾配を基準に相対的に変換された、学習用高周波成分画像データの各画素の勾配のベクトルが求められる。
【００３１】
分布算出部１２５が、画素毎に、上述した高周波成分の勾配のベクトルの算出を行うことで、学習用高周波成分画像データの勾配のばらつきを表した、図３に示す破線で囲まれた確率分布を算出する。図３に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。
【００３２】
本実施形態にかかる画像処理装置１００では、上述した処理で算出された確率分布が、確率分布記憶部１０９に予め記憶されている。
【００３３】
そして、生成部１０８は、当該確率分布と、勾配特徴データと、を用いて、勾配強度を算出する。「正規分布Ｎ１」の平均を「μ１」とし、標準偏差を「σ１」とする。また、「正規分布Ｎ２」の平均を「μ２」とし、標準偏差を「σ２」とする。生成部１０８は、「正規分布Ｎ１」から、確率変数“α”を取得し、「正規分布Ｎ２」から確率変数“β”を取得する。そして、生成部１０８は、確率変数“α”、確率変数“β”、及び勾配特徴データ（Ｆｘ，Ｆｙ）を、以下に示す式（１）に代入して、高周波成分の勾配強度を算出する。
【００３４】
ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ…（１）
なお、式（１）において、“ｆｘ”を水平方向の勾配強度を示し、“ｆｙ”を垂直方向の勾配強度を示している。
【００３５】
続いて、生成部１０８は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）と、に基づいて、入力画像データに対する高周波成分を生成する。「Ｇｘ」及び「Ｇｙ」は、予め定められた画素値の変化のパターンを表した所定画像パターンであって、本実施形態では、分布算出部１２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。
【００３６】
つまり、生成部１０８は、勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）を、式（２）に代入して、フレーム画像データに含まれる画素毎に高周波成分「Ｔ」を算出する。
Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ…（２）
【００３７】
その後、生成部１０８は、信頼度に基づいて、高周波成分「Ｔ」を変化させる。例えば、信頼度αが０．０〜１．０の値を取る場合、以下の式（３）を用いた処理を行うことが考えられる
Ｔ’＝αＴ…（３）
これにより信頼度、換言すれば特徴量に従って、フレーム画像データに対して付与する高周波成分を異ならせることができる。
【００３８】
そして、生成部１０８が画素毎に算出した高周波成分「Ｔ’」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、フレーム画像データと同一の表示領域サイズとする。
【００３９】
そして、重畳部１１０は、フレーム画像データ毎に、当該フレーム画像データに対応するテクスチャ画像データを重畳する。これにより、質感が向上し、高画質化を図ることができる。
【００４０】
次に、本実施形態にかかる画像処理装置１００における、フレーム画像データにテクスチャ画像データを重畳するまでの処理について説明する。図４は、本実施形態にかかる画像処理装置１００における上述した処理の手順を示すフローチャートである。
【００４１】
まず、画像処理装置１００は、外部からフレーム画像データ（フレーム番号ｉ）を読み込む（ステップＳ６０１）。ｉはフレーム画像データ毎にユニークに割り当てられた任意の整数とする。画像処理装置１００は、フレーム画像データ（フレーム番号ｉ）を、フレームバッファ１０１に蓄積する（ステップＳ６０２）。
【００４２】
その後、特徴量算出部１０２が、フレーム番号ｉが定数ｍの倍数であるか否かを判定する（ステップＳ６０３）。つまり、本処理フローでは、フレーム番号ｉが定数ｍの倍数の場合に限って、特徴量の算出を行う。
【００４３】
そして、特徴量算出部１０２が、フレーム番号ｉが定数ｍの倍数であると判定した場合（ステップＳ６０３：Ｙｅｓ）、ｍフレームの期間前に算出が開始された、特徴量算出部１０２による信頼度ブロック毎の信号解析による特徴量ｃｈａi-mの算出が終了する（ステップＳ６０４）。そして、算出された特徴量ｃｈａi-mは、特徴量記憶部１０３に記憶される。本実施形態にかかる特徴量を求める処理は、別スレッドとしてｍフレーム以下の複数のフレームの入力期間内に分散して行う。これにより、各フレーム区間での処理負荷を平滑化することができる。
【００４４】
図５は、本実施形態にかかる特徴量算出部１０２における、特徴量算出の処理フローを示した図である。図５に示すように、本実施形態にかかる特徴量算出部１０２は、フレーム画像データに含まれている信頼度ブロック毎（ループ処理８５０）に、特徴量の算出を行う（ステップＳ８０１）。本実施形態にかかる信頼度ブロックとは、信頼度の算出単位となるブロックを示し、フレーム画像データを１６×１６ドット毎に分割したブロックとする。
【００４５】
図６は、定数ｍ＝３の場合における、本実施形態にかかる画像処理装置１００が行う各処理のタイミングチャートを示した図である。図６に示すように、フレーム画像の読み込み、信号解析による特徴量算出、動き探索、信頼度予測、テクスチャの生成の順に処理が行われる。
【００４６】
定数ｍ＝３の場合、図６に示すように、特徴量算出部１０２の信号解析による特徴量算出は、３フレームの入力期間内に行えばよい。図６に示すように、特徴量算出を３フレームに一回だけ行ったうえで、当該一回の特徴量算出を３フレームの入力期間内に分散することで、処理負荷の分散軽減を図ることができる。
【００４７】
図６に示す例では、各フレーム区間で、各処理について、下方から上方への矢印により、フレーム内の処理進捗（通常は画像左上からのラスタ順）を示す。そして、本実施形態にかかる画像処理装置１００では、図６の上方の処理から順に、当該処理の開始後、当該処理の結果を利用する次の処理が必要とする情報が生成されることをトリガーとして開始される。例えば動き探索においては、フレーム読み込みにより、探索範囲分の画素値が読み込まれることをトリガーとして、処理が開始される。このため、図６に示すように、各処理が下方に移るにつれて遅延が生じる。このように、遅延が生じた場合でも、次のフレームの処理に影響を与えるものではないため、フレーム単位で並列処理が可能となる。以降は特に断らなければ、このような処理を前提として説明を行う。
【００４８】
次に、動き探索部１０４は、フレームバッファ１０１に格納されていたフレーム画像データ（フレーム番号ｉ−ｍ）と、フレーム画像データ（フレーム番号ｉ）と、の間で、動き探索を行う（ステップＳ６０５）。当該動き探索部１０４による動き探索では、フレーム画像データ（フレーム番号ｉ）の８×８ドットの動き探索ブロック毎に、フレーム画像データ（フレーム番号ｉ−ｍ）の対応ブロックを求める。この結果を、動きベクトルｍｖi-m,iとする。
【００４９】
図７は、本実施形態にかかるフレーム画像データの表示領域に含まれている動き探索ブロックの例を示した図である。図７に示す例では、信頼度ブロック９０１（１６×１６ドット）に、動き探索ブロック（８×８ドット）Ｐ、Ｑ、Ｒ、Ｓが含まれている。このように、本実施形態では、１つの信頼度ブロックに４個の動き探索ブロックが含まれている。
【００５０】
そして、動き探索部１０４は、フレーム画像データ（例えばフレーム番号ｉとフレーム番号ｉ−ｍとのフレーム画像データ）の組に基づいて、動き探索ブロックＰ、Ｑ、Ｒ、Ｓに、画素のパターンが近い対応ブロックＰ’、Ｑ’、Ｒ’、Ｓ’の位置を探索する。なお、本実施形態では、動き探索ブロックＰ、Ｑ、Ｒ、Ｓはフレーム画像データ（フレーム番号ｉ（ｉ＝ｍの倍数））に含まれ、対応ブロックＰ’、Ｑ’、Ｒ’、Ｓ’は、フレーム画像データ（フレーム番号ｉ―ｍ）に含まれている。そして、図７に示す矢印ベクトルは、動き探索部１０４により探索された、各動き探索ブロックの動きベクトルを示している。なお、動き探索ブロックと信頼度ブロックとの間で、アラインメントがずれていても、対応位置について適切な重みづけ等をすることで対応することができる。
【００５１】
なお、iがｍより小さい段階ではフレーム画像データ（フレームｉ−ｍ）がフレームバッファ１０１にバッファリングされていないため、以降の処理をスキップし、特徴量が求まらなかったものとして、テクスチャ画像データを生成してもよいし、自フレーム画像データを参照先のフレーム画像データとして用いて特徴量を求め、テクスチャ画像データを生成しても良い。
【００５２】
図８は、ｍ＝３の場合における、動き探索部１０４により動きの探索が行われるフレームの組を示した図である。図８に示すように、フレーム番号ｉが３の倍数の場合、図４のステップＳ６０５により、動き探索部１０４は、フレーム番号ｉのフレーム画像データと、３つ前（フレーム番号ｉ−３）のフレーム画像データと、の間で動き探索を行う。
【００５３】
つまり、フレーム番号ｎ−３のフレーム画像データは、フレーム番号ｎ−６のフレーム画像データが組となり、フレーム番号ｎのフレーム画像データは、フレーム番号ｎ−３のフレーム画像データが組となり、フレーム番号ｎ＋３のフレーム画像データは、フレーム番号ｎのフレーム画像データが組となる。
【００５４】
これは、図６で示したように、特徴量算出部１０２による特徴量の算出では、３フレーム分の処理時間を要するからである。つまり、本実施形態にかかる画像処理装置１００では、動き探索部１０４は、特徴量が算出された直後のフレーム画像データ（フレーム番号ｎ−３）と、フレーム画像データ（フレーム番号ｎ）と、の間の動き検索を行うことで、フレーム画像データ（フレーム番号ｎ）に含まれている特徴量、及び信頼度の推定が可能となる。
【００５５】
しかしながら、フレーム番号ｉのフレーム画像データと、ｍ個前のフレーム画像データと、の間で動き探索を行う場合、ｍ個前のためにあまり精度がでないことも考えられる。これを抑止する手法としては、特徴量算出部１０２による信号解析による特徴量算出を、１フレームの期間で行うことが考えられる。図９は、定数ｍ＝３の場合における、変形例にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。図９に示す例では、信号解析による特徴量算出が、１フレームの期間で終了している。このように、１フレームで特徴量算出を行う場合に、ｍの倍数のフレームでの処理負荷は一時的に上昇するが、他のフレームでの処理負荷を下げることが期待できる。この処理負荷が下がっているときに、別の処理を行えば、計算機資源を有効活用することも可能である。
【００５６】
図９に示す例では、１フレームの期間で特徴量算出が終了するため、次のフレーム画像データとの間で動き探索を行う際に利用できる。これにより精度を向上させることができる。
【００５７】
図４に戻り、特徴量推定部１０６及び動き探索部１０４は、ステップＳ６０４で算出された特徴量ｃｈａi-m及びステップＳ６０５で算出された動きベクトルｍｖi-m,iから、特徴量ｃｈａiを推定すると共に、信頼度ｒｅｌiを算出する（ステップＳ６０６）。なお、ステップＳ６０６の処理を行う時点で、フレームｉ−ｍにおける特徴量ｃｈａi-mは、すでに算出されているものとする。
【００５８】
図１０は、本実施形態にかかる特徴量推定部１０６及び信頼度算出部１０５における、特徴量推定及び信頼度算出の処理フローを示した図である。図１０に示すように、本実施形態にかかる信頼度算出部１０５は、フレーム番号ｉのフレーム画像データに含まれている信頼度ブロック（１６×１６ドット）毎に、ループ処理１０５１を繰り返す。
【００５９】
その際、特徴量推定部１０６は、信頼度ブロックに含まれる全ての動き探索ブロック（８×８ドット）毎に、ステップＳ１００１〜Ｓ１００２のループ処理１０５２を繰り返す。
【００６０】
つまり、特徴量推定部１０６は、動き探索ブロック毎に、動き探索の参照フレームｊ上で、動きベクトルｍｖj,iで特定される対応ブロック（移動する前のブロック）の近傍の信頼度ブロックの特徴量ｃｈａjを読み込む（ステップＳ１００１）。なお、図４のステップＳ６０６の場合、ｊは、ｉ−ｍとする。なお、図４のステップＳ６１１で図１０に示す処理を行う場合、ｊは、ｉ−１となる。
【００６１】
図７に示す例では、動き探索ブロックＰの特徴量ｃｈａjを推定したい場合、特徴量推定部１０６は、当該動き探索ブロックＰと移動する前の位置に対応する対応ブロックＰ’の近傍の信頼度ブロックの特徴量ｃｈａi-mを、特徴量記憶部１０３から読み出す。
【００６２】
図１１は、参照フレーム画像データ（フレーム番号ｉ−ｍ）に含まれている、対応ブロック（動き探索ブロックが移動する前のブロック）と近傍の信頼度ブロックとの対応位置を示した図である。図１１に示す例では、特徴量推定部１０６は、対応ブロック１１０１の近接の信頼度ブロックとして、当該対応ブロック１１０１と一部でも重なった信頼度ブロックＡ、Ｂ、Ｃ、Ｄの特徴量ｃｈａi-m,a、ｃｈａi-m,b、ｃｈａi-m,c、ｃｈａi-m,dを読み出す。
【００６３】
その後、特徴量推定部１０６は、動き探索ブロック（例えば動き探索ブロックＰ）と動きベクトルが移動する前の位置に対応する対応ブロック（例えば対応ブロックＰ’）と、近傍の信頼度ブロックと、の間の距離により、近傍の信頼度ブロックの特徴量を加重平均して、動き探索ベクトル（動き探索ブロックＰ）の特徴量を算出する（ステップＳ１００２）。
【００６４】
図１１に示す例では、特徴量推定部１０６は、対応ブロックＰ’と各信頼度ブロックと、の距離に基づく基準として、重なった面積（ａ，ｂ，ｃ，ｄ）を重みとして用いて特徴量を加算平均する。信頼度ブロックＡ、Ｂ、Ｃ、Ｄのそれぞれの信頼度を、ｃｈａi-m,a、ｃｈａi-m,b、ｃｈａi-m,c、ｃｈａi-m,dとする。この場合、特徴量推定部１０６は、以下の式（４）により、対応ブロックＰ’の特徴量を求める。
ｃｈａi-m,P'＝(a＊ｃｈａi-m,a＋ｂ＊ｃｈａi-m,b＋ｃ＊ｃｈａi-m,c＋ｄ＊ｃｈａi-m,d）／（ａ＋ｂ＋ｃ＋ｄ）…（４）
【００６５】
そして、特徴量推定部１０６は、算出された対応ブロックＰ’の特徴量ｃｈａi-m,P'を、移動した後の位置である動き探索ブロックＰの特徴量と推定する。
【００６６】
図１０に戻り、特徴量推定部１０６は、信頼度ブロックに含まれる動き探索ブロック毎に算出された特徴量を平均化して、信頼度ブロックの特徴量ｃｈａiを生成する（ステップＳ１００３）。
【００６７】
その後、信頼度算出部１０５は、特徴量ｃｈａiを、信頼度ｒｅｌiに変換する（ステップＳ１００４）。特徴量ｃｈａiを、信頼度ｒｅｌiに変換する手法は、様々な手法を用いることが可能であるが、例えば、特開２００８−３１０１１７号公報におけるアクティビティを特徴量として用いる場合は、信頼度算出部１０５は、特徴量ｃｈａiが小さいほど、信頼度ｒｅｌiが１．０に近づくよう変換し、特徴量ｃｈａiが大きいほど、信頼度ｒｅｌiが０．０に近づくよう変換することが考えられる。
【００６８】
信頼度算出部１０５は、上述した処理手順により、フレーム画像データに含まれる全ての信頼度ブロック毎に、信頼度ｒｅｌiを求める。図１０に示す処理が全て終了した後、信頼度ブロックごとの特徴量ｃｈａiと信頼度ｒｅｌiとが出力される。
【００６９】
図４に戻り、特徴量推定部１０６が、フレーム番号ｉ−ｍのフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ６０７）。
【００７０】
一方、ステップＳ６０３で、特徴量算出部１０２が、フレーム番号ｉが定数ｍの倍数ではないと判定した場合（ステップＳ６０３：Ｎｏ）、動き探索部１０４は、フレームバッファ１０１に格納されていたフレーム番号ｉ−１のフレーム画像データと、フレーム番号ｉのフレーム画像データと、の間で、動き探索を行う（ステップＳ６１０）。なお、動き探索の手順は、参照フレームの番号がｉ−１になった以外、ステップＳ６０５と同様とする。
【００７１】
そして、特徴量推定部１０６及び動き探索部１０４は、特徴量記憶部１０３に記憶された特徴量ｃｈａi-1及びステップＳ６１０で算出された動きベクトルｍｖi-1,iから、特徴量ｃｈａiを推定すると共に、信頼度ｒｅｌiを算出する（ステップＳ６１１）。そして、算出された特徴量ｃｈａiは、特徴量記憶部１０３に記憶される。つまり、図８で示したフレーム画像データの組に従って、特徴量推定部１０６は、１つ前のフレーム画像データ（フレーム番号ｉ−１）の特徴量ｃｈａi-1から、フレーム画像データ（フレーム番号ｉ）の特徴量ｃｈａiを推定する。なお、ｉ＜ｍでは、この時点で、フレーム番号ｉ−１における特徴量ｃｈａi-1は求められていないため、信頼度ｒｅｌiが求まらなかったものとして、テクスチャ画像データの生成、及び生成したテクスチャ画像データのフレーム画像データへの重畳を行うものとする。
【００７２】
その後、特徴量推定部１０６が、フレーム番号ｉ−１のフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ６１２）。
【００７３】
ステップＳ６０７及びステップＳ６１２の後、生成部１０８が、信頼度ｒｅｌiによる制御で、テクスチャ画像データを生成する（ステップＳ６０８）。
【００７４】
次に、本実施形態にかかる生成部１０８における、テクスチャ画像データの生成処理について説明する。図１２は、本実施形態にかかる生成部１０８における上述した処理の手順を示すフローチャートである。
【００７５】
まず、勾配特徴算出部１０７は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、フレーム画像データの各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ１２０１）。
【００７６】
次に、生成部１０８は、学習用画像情報に含まれる画素毎の勾配特徴に対する、当該学習用画像情報の高周波成分に含まれる画素毎の勾配特徴の、相対的な大きさ及び角度であるベクトルの分布を表す確率分布に基づく確率変数と、勾配特徴算出部１０７によって算出された勾配特徴と、に基づいて、フレーム画像データの画素毎の勾配強度を求める（ステップＳ１２０２）。
【００７７】
続いて、生成部１０８は、フレーム画像データの画素毎の高周波成分に関する勾配強度と、局所勾配パターンと、フレーム画像データの信頼度ブロック毎に算出された信頼度と、に基づいて、フレーム画像データに対する高周波成分を表したテクスチャ画像データを生成する（ステップＳ１２０３）。
【００７８】
上述した処理手順により、信頼度ブロック毎の信頼度に従って付与されるテクスチャ成分が異なるテクスチャ画像データが生成される。
【００７９】
図４に戻り、重畳部１１０が、生成されたテクスチャ画像データを、フレーム画像データに重畳する（ステップＳ６０９）。
【００８０】
上述した処理手順により、信頼度ブロック毎の特徴量に応じて付与するテクスチャ成分を信頼度ブロック毎に異ならせたテクスチャ画像データを生成することができる。そして、当該テクスチャ画像データをフレーム画像データに付与することができる。これにより、質感の向上を図ることができる。
【００８１】
（第２の実施形態）
第１の実施形態にかかる画像処理装置では、処理負担を軽減するために所定のフレーム画像数毎に算出された特徴量を記憶し、フレーム画像データ毎の信頼度を算出する際に用いる例について説明した。しかしながら、第１の実施形態は、処理負担を軽減するために記憶するパラメータを特徴量に制限するものではない。そこで第２の実施形態にかかる画像処理装置では、信頼度を記憶する例について説明する。
【００８２】
図１３は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図１３に示すように、画像処理装置１３００は、フレームバッファ１０１と、特徴量算出部１３０１と、動き探索部１３０２と、信頼度算出部１３０３と、信頼度記憶部１３０４と、信頼度推定部１３０５と、勾配特徴算出部１０７と、生成部１０８と、確率分布記憶部１０９と、重畳部１１０と、を備える。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００８３】
特徴量算出部１３０１は、所定の個数毎のフレーム画像データに対して、信頼度ブロック単位で特徴量を算出する。
【００８４】
動き探索部１３０２は、フレーム画像データが読み出される毎に、複数のフレーム画像データの間の画素の動きベクトルを探索する。本実施形態にかかる動き探索部１３０２は、第１の実施形態と同様、信頼度ブロックを分割した動き探索ブロック毎に、動きベクトルを探索する。
【００８５】
信頼度算出部１３０３は、各フレーム画像データの信頼度ブロック毎に、特徴量算出部１３０１により算出された特徴量に基づいて、信頼度を算出する。
【００８６】
信頼度記憶部１３０４は、信頼度算出部１３０３により算出された信頼度を記憶する。
【００８７】
信頼度推定部１３０５は、信頼度記憶部１３０４に記憶された任意のフレーム画像データの信頼度ブロック毎の信頼度と、動き探索部１３０２により探索された動きベクトルと、から、任意のフレーム画像データの後に読み込まれたフレーム画像データの信頼度ブロック毎の信頼度を推定する。
【００８８】
そして、生成部１０８が、フレーム画像データ毎に、信頼度推定部１３０５により推定された信頼度を用いて、テクスチャ画像データを生成する。
【００８９】
次に、本実施形態にかかる画像処理装置１３００における、フレーム画像データにテクスチャ画像データを重畳するまでの処理について説明する。図１４は、本実施形態にかかる画像処理装置１３００における上述した処理の手順を示すフローチャートである。
【００９０】
まず、図４で示した第１の実施形態のステップＳ６０１〜６０３と同様の手順で、特徴量算出部１３０１が、フレーム番号ｉが定数ｍの倍数であるか否かを判定する（ステップＳ１４０３）。つまり、本実施形態では、フレーム番号ｉが定数ｍの倍数の場合に限って、特徴量の算出を行う。
【００９１】
そして、特徴量算出部１３０１が、フレーム番号ｉが定数ｍの倍数であると判定した場合（ステップＳ１４０３：Ｙｅｓ）、特徴量算出部１３０１による特徴量ｃｈａi-mの算出から信頼度算出部１３０３による信頼度ｒｅｌi-mの算出まで行われる（ステップＳ１４０４）。
【００９２】
そして、算出された信頼度ｒｅｌi-mは、信頼度記憶部１３０４に記憶される。なお、特徴量ｃｈａi-mを求める処理は、別スレッドとしてｍフレーム以下の複数のフレームの入力期間内に分散して行う。これにより、各フレーム区間での処理負荷を平滑化することができる。
【００９３】
図１５は、本実施形態にかかる特徴量算出部１３０１及び信頼度算出部１３０３における、信頼度算出の処理フローを示した図である。
【００９４】
図１５に示すように、本実施形態にかかる特徴量算出部１３０１は、フレーム画像データに含まれている信頼度ブロック毎（ループ処理１５５０）に、特徴量ｃｈａi-mを算出する（ステップＳ１５０１）。第１の実施形態と同様、フレーム番号ｉのフレーム画像データの信頼度ｒｅｌiを算出処理する際に、ｍフレーム前（フレーム番号ｉ−ｍ）のフレーム画像データの信頼度ブロック毎の特徴量ｃｈａi-mの算出が終了している。
【００９５】
そして、信頼度算出部１３０３が、算出された特徴量ｃｈａi-mを、信頼度ｒｅｌi-mに変換する（ステップＳ１５０２）。
【００９６】
上述した処理手順を行うことで、フレーム番号ｉ−ｍのフレーム画像データ毎の信頼度ｒｅｌi-mの算出が行われる。
【００９７】
図１４に戻り、動き探索部１３０２は、フレームバッファ１０１に格納されていたフレーム番号ｉ−ｍのフレーム画像データと、フレーム番号ｉのフレーム画像データと、の間で、動き探索を行う（ステップＳ１４０５）。
【００９８】
次に、信頼度推定部１３０５は、ステップＳ１４０４で算出された信頼度ｒｅｌi-m及びステップＳ１４０５で算出された動きベクトルｍｖi-m,iから、信頼度ｒｅｌiを推定する（ステップＳ１４０６）。
【００９９】
図１６は、本実施形態にかかる信頼度推定部１３０５における信頼度推定の処理フローを示した図である。図１６に示すように、本実施形態にかかる信頼度推定部１３０５は、フレーム番号ｉのフレーム画像データに含まれている信頼度ブロック毎に、ループ処理１６５１を繰り返す。
【０１００】
また、信頼度推定部１３０５は、信頼度ブロックに含まれる全ての動き探索ブロック毎に、ステップＳ１６０１〜Ｓ１６０２のループ処理１６５２を繰り返す。
【０１０１】
つまり、信頼度推定部１３０５は、動き探索ブロック毎に、動き探索の参照フレームｊ上で、動きベクトルｍｖj,iで特定される対応ブロック（移動する前のブロック）の近傍の信頼度ブロックの信頼度ｒｅｌjを読み込む（ステップＳ１６０１）。なお、図１４のステップＳ１４０６の場合、ｊは、ｉ−ｍとする。なお、図１４のステップＳ１４１１で図１６に示す処理を行う場合、ｊは、ｉ−１となる。
【０１０２】
図７に示す例では、動き探索ブロックＰの信頼度ｒｅｌjを推定したい場合、信頼度推定部１３０５は、当該動き探索ブロックＰと移動する前の位置に対応する対応ブロックＰ’の近傍の信頼度ブロックの信頼度ｒｅｌjを、信頼度記憶部１３０４から読み出す。
【０１０３】
その後、信頼度推定部１３０５は、動き探索ブロック（例えば動き探索ブロックＰ）と動きベクトルが移動する前の位置に対応する対応ブロック（例えば対応ブロックＰ’）と、近傍の信頼度ブロックと、の間の距離により、近傍の信頼度ブロックの信頼度を加算平均して、動き探索ベクトル（動き探索ブロックＰ）の信頼度を算出する（ステップＳ１６０２）。
【０１０４】
そして、信頼度推定部１３０５は、信頼度ブロックに含まれる動き探索ブロック毎に算出された信頼度を平均化して、信頼度ブロックの信頼度ｒｅｌiを生成する（ステップＳ１６０３）。
【０１０５】
信頼度推定部１３０５は、上述した処理手順により、フレーム画像データに含まれる全ての信頼度ブロックについて、信頼度ｒｅｌiを求める。そして、図１６に示す処理フローにより、信頼度ブロック毎の信頼度ｒｅｌiが出力される。
【０１０６】
図１４に戻り、信頼度推定部１３０５が、フレーム番号ｉ−ｍのフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ１４０７）。
【０１０７】
一方、ステップＳ１４０３で、特徴量算出部１３０１が、フレーム番号ｉが定数ｍの倍数ではないと判定した場合（ステップＳ１４０３：Ｎｏ）、動き探索部１３０２は、フレームバッファ１０１に格納されていたフレーム番号ｉ−１のフレーム画像データと、フレーム番号ｉのフレーム画像データと、の間で、動き探索を行う（ステップＳ１４１０）。なお、動き探索の手順は、参照フレームの番号がｉ−１になった以外、ステップＳ１４０５と同様とする。
【０１０８】
次に、信頼度推定部１３０５は、信頼度記憶部１３０４に記憶された信頼度ｒｅｌi-1及びステップＳ１４１０で算出された動きベクトルｍｖi-1,iから、信頼度ｒｅｌiを推定する（ステップＳ１４１１）。そして、算出された信頼度ｒｅｌiは、信頼度記憶部１３０４に記憶される。
【０１０９】
その後、特徴量算出部１３０１が、フレーム番号ｉ−１のフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ１４１２）。
【０１１０】
ステップＳ１４０７及びステップＳ１４１２の後、生成部１０８が、信頼度ｒｅｌiによる制御で、テクスチャ画像データを生成する（ステップＳ１４０８）。
【０１１１】
その後、重畳部１１０が、生成されたテクスチャ画像データを、フレーム画像データに重畳する（ステップＳ１４０９）。
【０１１２】
上述した実施形態にかかる画像処理装置では、動き探索を用いて特徴量又は信頼度を推定することで、全てのフレーム画像データについて、特徴量を算出するための信号解析を行う必要がなくなるため、処理負荷を低下させることができる。特に、そもそもフレーム間の動き探索を行っている画像処理装置では、動き探索結果を共有することで特に有効となる。
【０１１３】
上述した実施形態にかかる画像処理装置では、テクスチャ画像データ等に対する高画質化処理で、テクスチャ成分を付与する度合いを信頼度を用いて制御する。その際に信号解析による特徴量の算出は、数フレーム毎に行い、他のフレームでは、別途求めたフレーム間の動き探索結果を用いて特徴量又は信頼度を推定することとした。これにより、上述した実施形態にかかる画像処理装置では、テクスチャ画像データの生成に関する全体の負荷を下げつつ、画質への影響を軽微にできる。
【０１１４】
本実施例では、高画質化処理としてテクスチャ生成処理を例示しているが、鮮鋭度を増すための超解像処理やエッジ強調処理等について適用してもよい。
【０１１５】
また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１６】
また、各実施形態で説明した画像処理装置の上述した各機能は、カメラやテレビジョン受信装置等に構成として含まれるものであっても良いし、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現してもよい。
【０１１７】
コンピュータで実行される画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【符号の説明】
【０１１８】
１００、１３００…画像処理装置、１０１…フレームバッファ、１０２、１３０１…特徴量算出部、１０３…特徴量記憶部、１０４、１３０２…動き探索部、１０５、１３０３…信頼度算出部、１０６…特徴量推定部、１０７…勾配特徴算出部、１０８…生成部、１０９…確率分布記憶部、１１０…重畳部、１２５…分布算出部、１３０４…信頼度記憶部、１３０５…信頼度推定部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、フレーム画像にテクスチャ等高周波画像成分を付与する技術がある。当該従来技術では、例えば、フレーム画像毎にテクスチャ画像を生成した上で、当該テクスチャ画像をフレーム画像に付与することで、質感を向上させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３１０１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、フレーム画像毎にテクスチャ等の高周波画像を生成するために解析等を行うと、処理負担が大きいという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、画質を向上しつつ処理負担を軽減できる画像処理装置、及び画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、特徴算出手段と、探索手段と、推定手段と、生成手段と、重畳手段と、を備える。特徴算出手段は、第１のフレーム画像情報について、所定の表示領域単位で、表示領域に含まれる特徴情報を算出する。探索手段は、第１のフレーム画像情報と、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する。推定手段は、探索された画素の動きと、第１のフレーム画像情報の表示領域単位の特徴情報と、に基づいて、第２のフレーム画像情報の表示領域単位の特徴情報を推定する。生成手段は、第２のフレーム画像情報の表示領域単位の特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する。重畳手段は、第２のフレーム画像情報に高周波画像情報を重畳する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。
【図２】図２は、第１の実施形態にかかる分布算出部を示した図である。
【図３】図３は、第１の実施形態にかかる確率分布について説明する図である。
【図４】図４は、第１の実施形態にかかる画像処理装置における、フレーム画像データにテクスチャ画像データを重畳するまでの処理手順を示すフローチャートである。
【図５】図５は、第１の実施形態にかかる特徴量算出部における、特徴量算出の処理フローを示した図である。
【図６】図６は、定数ｍ＝３の場合における、第１の実施形態にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。
【図７】図７は、第１の実施形態にかかるフレーム画像データの表示領域に含まれている動き探索ブロックの例を示した図である。
【図８】図８は、ｍ＝３の場合における、第１の実施形態にかかる動き探索部により動きの探索が行われるフレームの組を示した図である。
【図９】図９は、定数ｍ＝３の場合における、変形例にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。
【図１０】図１０は、第１の実施形態にかかる特徴量推定部及び信頼度算出部における、特徴量推定及び信頼度算出の処理フローを示した図である。
【図１１】図１１は、参照フレーム画像データ（フレーム番号ｉ−ｍ）に含まれている、対応ブロック（動き探索ブロックが移動する前のブロック）と近傍の信頼度ブロックとの対応位置を示した図である。
【図１２】図１２は、第１の実施形態にかかる生成部におけるテクスチャ画像データの生成処理の手順を示すフローチャートである。
【図１３】図１３は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。
【図１４】図１４は、第２の実施形態にかかる画像処理装置における、フレーム画像データにテクスチャ画像データを重畳するまでの処理の手順を示すフローチャートである。
【図１５】図１５は、第２の実施形態にかかる特徴量算出部及び信頼度算出部における、信頼度算出の処理フローを示した図である。
【図１６】図１６は、第２の実施形態にかかる信頼度推定部における信頼度推定の処理フローを示した図である。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図１に示すように、画像処理装置１００は、フレームバッファ１０１と、特徴量算出部１０２と、特徴量記憶部１０３と、動き探索部１０４と、信頼度算出部１０５と、特徴量推定部１０６と、勾配特徴算出部１０７と、生成部１０８と、確率分布記憶部１０９と、重畳部１１０と、を備える。
【０００９】
本実施形態にかかる画像処理装置１００は、動画像データに時系列順に含まれているフレーム画像データ単位で処理を行う。例えば、画像処理装置１００は、カメラやテレビジョン受信装置等に含まれるものであり、フレーム画像データに各種画像処理を施した後、画像処理後のフレーム画像データを出力する。
【００１０】
フレームバッファ１０１は、入力されたフレーム画像データを一時的に格納する。
【００１１】
特徴量算出部１０２は、動画像データに含まれるフレーム画像データについて、所定の表示領域単位で、表示領域に含まれる特徴を示した特徴量を算出する。本実施形態では所定の表示領域の表示サイズを１６×１６ドット（以下、信頼度を求めるための信頼度ブロックとも称す）とするが、表示サイズを制限するものではない。また、特徴量算出部１０２が算出する特徴量としては、例えば、アクティビティ等とする。アクティビティは、１６×１６ドットの表示領域（信頼度ブロック）内の輝度の変動度合とする。アクティビティの算出手法としては、例えば、特開２００８−３１０１１７号公報に記載された手法など様々な手法を用いて良い。
【００１２】
また、特徴量としては、動き探索を行って求めた動きベクトルを用いても良い。動きベクトルの場合、特徴量算出部１０２は、動きの大きさに基づいた強度を、特徴量として決定してもよい（例えば、特開２０１１−３５４５０の図５説明等）。
【００１３】
なお、特徴量は、アクティビティ及び動きベクトルに制限するものではなく、様々なパラメータを用いて良い。また、特徴量は、複数種類のパラメータであっても良い。複数種類のパラメータの場合、例えば、個々の特徴量により求めた信頼度を乗算して、最終的な信頼度を決定することができる。
【００１４】
本実施形態にかかる画像処理装置１００では、フレーム画像データに対して、テクスチャ画像データを重畳する。このテクスチャ画像データを生成するために、特徴量算出部１０２は、信頼度ブロック（１６×１６ドット）毎に特徴量を算出する。
【００１５】
特開２００８−３１０１１７号公報に記載された手法等では、画像の質感を高めるために生成した微細テクスチャをフレーム画像データに重畳する際、アクティビティを求めた後、当該アクティビティに基づいて画素値の変動が一定に近いと判定した場合、微細テクスチャの重畳比率を高める制御を行っている。このアクティビティの算出では、開示されている手段を含め、近傍のある程度の範囲の信号を解析する必要があるため、処理負荷が大きい。このように特徴量の算出は処理負担が大きいため、本実施形態では、全てのフレーム画像データに対して特徴量を算出するのではなく、特徴量算出部１０２は、動画像データに含まれるフレーム画像データのうち、所定の画像数ｍ毎に、特徴量を算出することとした。
【００１６】
特徴量記憶部１０３は、特徴量算出部１０２により算出された特徴量を記憶する。
【００１７】
特徴量算出部１０２による特徴量の算出は、所定の画像数ｍ毎に行うこととしたが、テクスチャ画像データは、フレーム画像データ毎に生成する必要がある。このため、全フレーム画像データの特徴量を求める必要がある。そこで、本実施形態にかかる画像処理装置１００では、複数のフレーム画像データ間で動き探索を行い、当該探索結果と、１のフレーム画像データで求められた特徴量と、に基づいて、他のフレーム画像データの特徴量を求めることとした。
【００１８】
動き探索部１０４は、動画像データに含まれるフレーム画像データのうち、任意のフレーム画像データと、当該任意のフレーム画像データより前のフレーム画像データと、の間の、画素の動きベクトルを探索する。本実施形態にかかる動き探索部１０４は、任意のフレーム画像データの信頼度ブロック（１６×１６ドット）を分割した８×８ドットのブロック単位（以下、動き探索ブロックとも称す）で、画素の動きベクトルを探索する。なお、本実施形態にかかる動き探索部１０４は、８×８ドットのブロック単位で動きベクトルを算出するが、他の表示領域サイズでも良い。また、動き探索は、１画素単位の精度で算出してもよいし、１画素よりも細かいサブピクセル精度で算出しても良い。
【００１９】
特徴量推定部１０６は、動き探索部１０４で探索された複数フレーム間の画素の動きベクトルと、フレーム画像データの表示領域単位の特徴量と、に基づいて、他のフレーム画像データについて、表示領域単位で特徴量を推定する。なお、動き探索部１０４は、１のフレーム画像データと、他のフレーム画像データと、の間の画素の動きを探索したものとする。
【００２０】
つまり、動き探索部１０４が、フレーム画像データ間の動き探索を行う一方、特徴量算出部１０２が、フレーム画像データｎで信号解析により特徴量を高精度に算出する。その後、特徴量推定部１０６が、当該フレーム画像データｎ＋１とフレーム画像データｎと間の動きベクトルを用いて、フレーム画像データｎの特徴量から、当該フレーム画像データｎ＋１の特徴量を推定する。当該推定により、フレーム画像データ毎に、特徴量を算出する必要がなくなるため、処理負荷を軽減できる。
【００２１】
信頼度算出部１０５は、各フレーム画像データの表示領域（信頼度ブロック）毎に、算出又は推定された特徴量に基づいて、信頼度を算出する。本実施形態にかかる信頼度は、テクスチャ成分を付与すべき度合いであり、例えば、０．０〜０．１の間の値をとる。特徴量がアクティビティの場合、例えば、信頼度算出部１０５は、アクティビティの値に対して、非線形な変換を施し、信頼度に変換することが考えられる。
【００２２】
勾配特徴算出部１０７は、フレーム画像データに含まれる画素毎に、勾配特徴データを算出する。勾配特徴データとは、フレーム画像データに含まれる画素毎に、当該画素の周辺の所定の表示領域内の画素値の変化を、傾きとして表した変化量とする。例えば、勾配特徴算出部１０７は、微分フィルタ等を用いて、フレーム画像データに含まれる画素毎の勾配特徴データを算出する。本実施形態では、勾配特徴算出部１０７は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画素毎に、水平方向の勾配特徴データと、垂直方向の勾配特徴データと、を算出する。算出に用いるフィルタのサイズは、例えば、３×３〜５×５程度とするが、サイズに制限を設けるものではない。なお、下記では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。また、本実施形態は、画素毎の勾配特徴データを用いる例について説明するが、勾配特徴データに制限するものではなく、所定の表示領域内での画素値の変化を表す変化量を示したデータであればよい。
【００２３】
生成部１０８は、学習用画像データに含まれる画素毎の勾配特徴データに対する、当該学習用画像情報に含まれる画素毎の高周波成分の勾配特徴データの相対的な値の分布を表す確率分布と、算出されたフレーム画像データに含まれる画素毎の勾配特徴データ（Ｆｘ，Ｆｙ）と、に基づいて、フレーム画像データに含まれる画素毎の高周波成分に関する重みである、局所勾配パターンの勾配強度を算出する。本実施形態にかかる学習用画像データは、フレーム画像データと解像度（表示領域のサイズ）が同一とする。
【００２４】
本実施形態にかかる局所勾配パターンは、予め定められた画素値（例えば、輝度値）の変化のパターンを表した所定画像パターンとする。勾配強度は、勾配特徴に基づいて算出される、フレーム画像データに含まれる画素毎の高周波成分に関する重みであり、フレーム画像データの高周波成分の生成に用いる。
【００２５】
そして、生成部１０８は、当該局所勾配パターンを勾配強度で重み付けした上で、表示領域毎に算出された信頼度に基づいて、フレーム画像データに対する高周波成分を示したテクスチャ画像データを生成する。なお、局所勾配パターン及び勾配強度の詳細は、後述する。
【００２６】
その際、本実施形態にかかる生成部１０８は、信頼度に従ってテクスチャ画像データを生成することで、フレーム画像データの信頼度ブロック（１６×１６ドット）単位の特徴量に従ってテクスチャ成分を異ならせたテクスチャ画像データが生成できる。
【００２７】
本実施形態にかかる確率分布は、上述した相対的な値の分布として、学習用画像データの画素毎の勾配に対する学習用高周波成分画像データの画素毎の勾配の相対的な角度及び大きさの分布とする。ここで、確率分布について説明する。図２は、第１の実施形態にかかる分布算出部１２５を示した図である。なお、分布算出部１２５は、画像処理装置１００内部に備えても良い。また、分布算出部１２５を画像処理装置１００の外部に備え、分布算出部１２５により算出された確率分布を画像処理装置１００内部に記憶してもよい。
【００２８】
図２に示すように、分布算出部１２５は、学習用画像データと、学習用高周波成分画像データと、を入力し、確率分布データを出力する。出力された確率分布データは、確率分布記憶部１０９に記憶される。
【００２９】
図３は、第１の実施形態にかかる確率分布について説明する図である。分布算出部１２５は、学習用画像データと学習用高周波成分画像データとの同じ位置の画素における勾配をそれぞれ算出する。この勾配算出に利用する微分フィルタは、勾配特徴算出部１０７で利用されたフィルタと同一のものとする。学習用高周波成分画像データは、学習用画像データの高周波成分の画像データとする。なお、学習用画像データは、フレーム画像データと同様に、画質が劣化している場合がある。
【００３０】
図３に示すように、分布算出部１２５は、２次元の平面の領域上に確率分布を算出する。当該平面領域のｘ軸を、学習用画像データの各画素の勾配方向とし、ｙ軸を該勾配方向と垂直の方向とする。分布算出部１２５は、学習用画像データに含まれる各画素の勾配を（１，０）のベクトルに変換する。任意の画素の勾配を、（１，０）のベクトルに変換した変換行列を「変換φ」とする。そして、分布算出部１２５は、当該任意の画素と同じ位置の、学習用高周波成分画像データの画素の勾配を、当該変換φを用いて変換する。これにより、学習用画像データの各画素の勾配を基準に相対的に変換された、学習用高周波成分画像データの各画素の勾配のベクトルが求められる。
【００３１】
分布算出部１２５が、画素毎に、上述した高周波成分の勾配のベクトルの算出を行うことで、学習用高周波成分画像データの勾配のばらつきを表した、図３に示す破線で囲まれた確率分布を算出する。図３に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。
【００３２】
本実施形態にかかる画像処理装置１００では、上述した処理で算出された確率分布が、確率分布記憶部１０９に予め記憶されている。
【００３３】
そして、生成部１０８は、当該確率分布と、勾配特徴データと、を用いて、勾配強度を算出する。「正規分布Ｎ１」の平均を「μ１」とし、標準偏差を「σ１」とする。また、「正規分布Ｎ２」の平均を「μ２」とし、標準偏差を「σ２」とする。生成部１０８は、「正規分布Ｎ１」から、確率変数“α”を取得し、「正規分布Ｎ２」から確率変数“β”を取得する。そして、生成部１０８は、確率変数“α”、確率変数“β”、及び勾配特徴データ（Ｆｘ，Ｆｙ）を、以下に示す式（１）に代入して、高周波成分の勾配強度を算出する。
【００３４】
ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ…（１）
なお、式（１）において、“ｆｘ”を水平方向の勾配強度を示し、“ｆｙ”を垂直方向の勾配強度を示している。
【００３５】
続いて、生成部１０８は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）と、に基づいて、入力画像データに対する高周波成分を生成する。「Ｇｘ」及び「Ｇｙ」は、予め定められた画素値の変化のパターンを表した所定画像パターンであって、本実施形態では、分布算出部１２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。
【００３６】
つまり、生成部１０８は、勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）を、式（２）に代入して、フレーム画像データに含まれる画素毎に高周波成分「Ｔ」を算出する。
Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ…（２）
【００３７】
その後、生成部１０８は、信頼度に基づいて、高周波成分「Ｔ」を変化させる。例えば、信頼度αが０．０〜１．０の値を取る場合、以下の式（３）を用いた処理を行うことが考えられる
Ｔ’＝αＴ…（３）
これにより信頼度、換言すれば特徴量に従って、フレーム画像データに対して付与する高周波成分を異ならせることができる。
【００３８】
そして、生成部１０８が画素毎に算出した高周波成分「Ｔ’」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、フレーム画像データと同一の表示領域サイズとする。
【００３９】
そして、重畳部１１０は、フレーム画像データ毎に、当該フレーム画像データに対応するテクスチャ画像データを重畳する。これにより、質感が向上し、高画質化を図ることができる。
【００４０】
次に、本実施形態にかかる画像処理装置１００における、フレーム画像データにテクスチャ画像データを重畳するまでの処理について説明する。図４は、本実施形態にかかる画像処理装置１００における上述した処理の手順を示すフローチャートである。
【００４１】
まず、画像処理装置１００は、外部からフレーム画像データ（フレーム番号ｉ）を読み込む（ステップＳ６０１）。ｉはフレーム画像データ毎にユニークに割り当てられた任意の整数とする。画像処理装置１００は、フレーム画像データ（フレーム番号ｉ）を、フレームバッファ１０１に蓄積する（ステップＳ６０２）。
【００４２】
その後、特徴量算出部１０２が、フレーム番号ｉが定数ｍの倍数であるか否かを判定する（ステップＳ６０３）。つまり、本処理フローでは、フレーム番号ｉが定数ｍの倍数の場合に限って、特徴量の算出を行う。
【００４３】
そして、特徴量算出部１０２が、フレーム番号ｉが定数ｍの倍数であると判定した場合（ステップＳ６０３：Ｙｅｓ）、ｍフレームの期間前に算出が開始された、特徴量算出部１０２による信頼度ブロック毎の信号解析による特徴量ｃｈａi-mの算出が終了する（ステップＳ６０４）。そして、算出された特徴量ｃｈａi-mは、特徴量記憶部１０３に記憶される。本実施形態にかかる特徴量を求める処理は、別スレッドとしてｍフレーム以下の複数のフレームの入力期間内に分散して行う。これにより、各フレーム区間での処理負荷を平滑化することができる。
【００４４】
図５は、本実施形態にかかる特徴量算出部１０２における、特徴量算出の処理フローを示した図である。図５に示すように、本実施形態にかかる特徴量算出部１０２は、フレーム画像データに含まれている信頼度ブロック毎（ループ処理８５０）に、特徴量の算出を行う（ステップＳ８０１）。本実施形態にかかる信頼度ブロックとは、信頼度の算出単位となるブロックを示し、フレーム画像データを１６×１６ドット毎に分割したブロックとする。
【００４５】
図６は、定数ｍ＝３の場合における、本実施形態にかかる画像処理装置１００が行う各処理のタイミングチャートを示した図である。図６に示すように、フレーム画像の読み込み、信号解析による特徴量算出、動き探索、信頼度予測、テクスチャの生成の順に処理が行われる。
【００４６】
定数ｍ＝３の場合、図６に示すように、特徴量算出部１０２の信号解析による特徴量算出は、３フレームの入力期間内に行えばよい。図６に示すように、特徴量算出を３フレームに一回だけ行ったうえで、当該一回の特徴量算出を３フレームの入力期間内に分散することで、処理負荷の分散軽減を図ることができる。
【００４７】
図６に示す例では、各フレーム区間で、各処理について、下方から上方への矢印により、フレーム内の処理進捗（通常は画像左上からのラスタ順）を示す。そして、本実施形態にかかる画像処理装置１００では、図６の上方の処理から順に、当該処理の開始後、当該処理の結果を利用する次の処理が必要とする情報が生成されることをトリガーとして開始される。例えば動き探索においては、フレーム読み込みにより、探索範囲分の画素値が読み込まれることをトリガーとして、処理が開始される。このため、図６に示すように、各処理が下方に移るにつれて遅延が生じる。このように、遅延が生じた場合でも、次のフレームの処理に影響を与えるものではないため、フレーム単位で並列処理が可能となる。以降は特に断らなければ、このような処理を前提として説明を行う。
【００４８】
次に、動き探索部１０４は、フレームバッファ１０１に格納されていたフレーム画像データ（フレーム番号ｉ−ｍ）と、フレーム画像データ（フレーム番号ｉ）と、の間で、動き探索を行う（ステップＳ６０５）。当該動き探索部１０４による動き探索では、フレーム画像データ（フレーム番号ｉ）の８×８ドットの動き探索ブロック毎に、フレーム画像データ（フレーム番号ｉ−ｍ）の対応ブロックを求める。この結果を、動きベクトルｍｖi-m,iとする。
【００４９】
図７は、本実施形態にかかるフレーム画像データの表示領域に含まれている動き探索ブロックの例を示した図である。図７に示す例では、信頼度ブロック９０１（１６×１６ドット）に、動き探索ブロック（８×８ドット）Ｐ、Ｑ、Ｒ、Ｓが含まれている。このように、本実施形態では、１つの信頼度ブロックに４個の動き探索ブロックが含まれている。
【００５０】
そして、動き探索部１０４は、フレーム画像データ（例えばフレーム番号ｉとフレーム番号ｉ−ｍとのフレーム画像データ）の組に基づいて、動き探索ブロックＰ、Ｑ、Ｒ、Ｓに、画素のパターンが近い対応ブロックＰ’、Ｑ’、Ｒ’、Ｓ’の位置を探索する。なお、本実施形態では、動き探索ブロックＰ、Ｑ、Ｒ、Ｓはフレーム画像データ（フレーム番号ｉ（ｉ＝ｍの倍数））に含まれ、対応ブロックＰ’、Ｑ’、Ｒ’、Ｓ’は、フレーム画像データ（フレーム番号ｉ―ｍ）に含まれている。そして、図７に示す矢印ベクトルは、動き探索部１０４により探索された、各動き探索ブロックの動きベクトルを示している。なお、動き探索ブロックと信頼度ブロックとの間で、アラインメントがずれていても、対応位置について適切な重みづけ等をすることで対応することができる。
【００５１】
なお、iがｍより小さい段階ではフレーム画像データ（フレームｉ−ｍ）がフレームバッファ１０１にバッファリングされていないため、以降の処理をスキップし、特徴量が求まらなかったものとして、テクスチャ画像データを生成してもよいし、自フレーム画像データを参照先のフレーム画像データとして用いて特徴量を求め、テクスチャ画像データを生成しても良い。
【００５２】
図８は、ｍ＝３の場合における、動き探索部１０４により動きの探索が行われるフレームの組を示した図である。図８に示すように、フレーム番号ｉが３の倍数の場合、図４のステップＳ６０５により、動き探索部１０４は、フレーム番号ｉのフレーム画像データと、３つ前（フレーム番号ｉ−３）のフレーム画像データと、の間で動き探索を行う。
【００５３】
つまり、フレーム番号ｎ−３のフレーム画像データは、フレーム番号ｎ−６のフレーム画像データが組となり、フレーム番号ｎのフレーム画像データは、フレーム番号ｎ−３のフレーム画像データが組となり、フレーム番号ｎ＋３のフレーム画像データは、フレーム番号ｎのフレーム画像データが組となる。
【００５４】
これは、図６で示したように、特徴量算出部１０２による特徴量の算出では、３フレーム分の処理時間を要するからである。つまり、本実施形態にかかる画像処理装置１００では、動き探索部１０４は、特徴量が算出された直後のフレーム画像データ（フレーム番号ｎ−３）と、フレーム画像データ（フレーム番号ｎ）と、の間の動き検索を行うことで、フレーム画像データ（フレーム番号ｎ）に含まれている特徴量、及び信頼度の推定が可能となる。
【００５５】
しかしながら、フレーム番号ｉのフレーム画像データと、ｍ個前のフレーム画像データと、の間で動き探索を行う場合、ｍ個前のためにあまり精度がでないことも考えられる。これを抑止する手法としては、特徴量算出部１０２による信号解析による特徴量算出を、１フレームの期間で行うことが考えられる。図９は、定数ｍ＝３の場合における、変形例にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。図９に示す例では、信号解析による特徴量算出が、１フレームの期間で終了している。このように、１フレームで特徴量算出を行う場合に、ｍの倍数のフレームでの処理負荷は一時的に上昇するが、他のフレームでの処理負荷を下げることが期待できる。この処理負荷が下がっているときに、別の処理を行えば、計算機資源を有効活用することも可能である。
【００５６】
図９に示す例では、１フレームの期間で特徴量算出が終了するため、次のフレーム画像データとの間で動き探索を行う際に利用できる。これにより精度を向上させることができる。
【００５７】
図４に戻り、特徴量推定部１０６及び動き探索部１０４は、ステップＳ６０４で算出された特徴量ｃｈａi-m及びステップＳ６０５で算出された動きベクトルｍｖi-m,iから、特徴量ｃｈａiを推定すると共に、信頼度ｒｅｌiを算出する（ステップＳ６０６）。なお、ステップＳ６０６の処理を行う時点で、フレームｉ−ｍにおける特徴量ｃｈａi-mは、すでに算出されているものとする。
【００５８】
図１０は、本実施形態にかかる特徴量推定部１０６及び信頼度算出部１０５における、特徴量推定及び信頼度算出の処理フローを示した図である。図１０に示すように、本実施形態にかかる信頼度算出部１０５は、フレーム番号ｉのフレーム画像データに含まれている信頼度ブロック（１６×１６ドット）毎に、ループ処理１０５１を繰り返す。
【００５９】
その際、特徴量推定部１０６は、信頼度ブロックに含まれる全ての動き探索ブロック（８×８ドット）毎に、ステップＳ１００１〜Ｓ１００２のループ処理１０５２を繰り返す。
【００６０】
つまり、特徴量推定部１０６は、動き探索ブロック毎に、動き探索の参照フレームｊ上で、動きベクトルｍｖj,iで特定される対応ブロック（移動する前のブロック）の近傍の信頼度ブロックの特徴量ｃｈａjを読み込む（ステップＳ１００１）。なお、図４のステップＳ６０６の場合、ｊは、ｉ−ｍとする。なお、図４のステップＳ６１１で図１０に示す処理を行う場合、ｊは、ｉ−１となる。
【００６１】
図７に示す例では、動き探索ブロックＰの特徴量ｃｈａjを推定したい場合、特徴量推定部１０６は、当該動き探索ブロックＰと移動する前の位置に対応する対応ブロックＰ’の近傍の信頼度ブロックの特徴量ｃｈａi-mを、特徴量記憶部１０３から読み出す。
【００６２】
図１１は、参照フレーム画像データ（フレーム番号ｉ−ｍ）に含まれている、対応ブロック（動き探索ブロックが移動する前のブロック）と近傍の信頼度ブロックとの対応位置を示した図である。図１１に示す例では、特徴量推定部１０６は、対応ブロック１１０１の近接の信頼度ブロックとして、当該対応ブロック１１０１と一部でも重なった信頼度ブロックＡ、Ｂ、Ｃ、Ｄの特徴量ｃｈａi-m,a、ｃｈａi-m,b、ｃｈａi-m,c、ｃｈａi-m,dを読み出す。
【００６３】
その後、特徴量推定部１０６は、動き探索ブロック（例えば動き探索ブロックＰ）と動きベクトルが移動する前の位置に対応する対応ブロック（例えば対応ブロックＰ’）と、近傍の信頼度ブロックと、の間の距離により、近傍の信頼度ブロックの特徴量を加重平均して、動き探索ベクトル（動き探索ブロックＰ）の特徴量を算出する（ステップＳ１００２）。
【００６４】
図１１に示す例では、特徴量推定部１０６は、対応ブロックＰ’と各信頼度ブロックと、の距離に基づく基準として、重なった面積（ａ，ｂ，ｃ，ｄ）を重みとして用いて特徴量を加算平均する。信頼度ブロックＡ、Ｂ、Ｃ、Ｄのそれぞれの信頼度を、ｃｈａi-m,a、ｃｈａi-m,b、ｃｈａi-m,c、ｃｈａi-m,dとする。この場合、特徴量推定部１０６は、以下の式（４）により、対応ブロックＰ’の特徴量を求める。
ｃｈａi-m,P'＝(a＊ｃｈａi-m,a＋ｂ＊ｃｈａi-m,b＋ｃ＊ｃｈａi-m,c＋ｄ＊ｃｈａi-m,d）／（ａ＋ｂ＋ｃ＋ｄ）…（４）
【００６５】
そして、特徴量推定部１０６は、算出された対応ブロックＰ’の特徴量ｃｈａi-m,P'を、移動した後の位置である動き探索ブロックＰの特徴量と推定する。
【００６６】
図１０に戻り、特徴量推定部１０６は、信頼度ブロックに含まれる動き探索ブロック毎に算出された特徴量を平均化して、信頼度ブロックの特徴量ｃｈａiを生成する（ステップＳ１００３）。
【００６７】
その後、信頼度算出部１０５は、特徴量ｃｈａiを、信頼度ｒｅｌiに変換する（ステップＳ１００４）。特徴量ｃｈａiを、信頼度ｒｅｌiに変換する手法は、様々な手法を用いることが可能であるが、例えば、特開２００８−３１０１１７号公報におけるアクティビティを特徴量として用いる場合は、信頼度算出部１０５は、特徴量ｃｈａiが小さいほど、信頼度ｒｅｌiが１．０に近づくよう変換し、特徴量ｃｈａiが大きいほど、信頼度ｒｅｌiが０．０に近づくよう変換することが考えられる。
【００６８】
信頼度算出部１０５は、上述した処理手順により、フレーム画像データに含まれる全ての信頼度ブロック毎に、信頼度ｒｅｌiを求める。図１０に示す処理が全て終了した後、信頼度ブロックごとの特徴量ｃｈａiと信頼度ｒｅｌiとが出力される。
【００６９】
図４に戻り、特徴量推定部１０６が、フレーム番号ｉ−ｍのフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ６０７）。
【００７０】
一方、ステップＳ６０３で、特徴量算出部１０２が、フレーム番号ｉが定数ｍの倍数ではないと判定した場合（ステップＳ６０３：Ｎｏ）、動き探索部１０４は、フレームバッファ１０１に格納されていたフレーム番号ｉ−１のフレーム画像データと、フレーム番号ｉのフレーム画像データと、の間で、動き探索を行う（ステップＳ６１０）。なお、動き探索の手順は、参照フレームの番号がｉ−１になった以外、ステップＳ６０５と同様とする。
【００７１】
そして、特徴量推定部１０６及び動き探索部１０４は、特徴量記憶部１０３に記憶された特徴量ｃｈａi-1及びステップＳ６１０で算出された動きベクトルｍｖi-1,iから、特徴量ｃｈａiを推定すると共に、信頼度ｒｅｌiを算出する（ステップＳ６１１）。そして、算出された特徴量ｃｈａiは、特徴量記憶部１０３に記憶される。つまり、図８で示したフレーム画像データの組に従って、特徴量推定部１０６は、１つ前のフレーム画像データ（フレーム番号ｉ−１）の特徴量ｃｈａi-1から、フレーム画像データ（フレーム番号ｉ）の特徴量ｃｈａiを推定する。なお、ｉ＜ｍでは、この時点で、フレーム番号ｉ−１における特徴量ｃｈａi-1は求められていないため、信頼度ｒｅｌiが求まらなかったものとして、テクスチャ画像データの生成、及び生成したテクスチャ画像データのフレーム画像データへの重畳を行うものとする。
【００７２】
その後、特徴量推定部１０６が、フレーム番号ｉ−１のフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ６１２）。
【００７３】
ステップＳ６０７及びステップＳ６１２の後、生成部１０８が、信頼度ｒｅｌiによる制御で、テクスチャ画像データを生成する（ステップＳ６０８）。
【００７４】
次に、本実施形態にかかる生成部１０８における、テクスチャ画像データの生成処理について説明する。図１２は、本実施形態にかかる生成部１０８における上述した処理の手順を示すフローチャートである。
【００７５】
まず、勾配特徴算出部１０７は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、フレーム画像データの各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ１２０１）。
【００７６】
次に、生成部１０８は、学習用画像情報に含まれる画素毎の勾配特徴に対する、当該学習用画像情報の高周波成分に含まれる画素毎の勾配特徴の、相対的な大きさ及び角度であるベクトルの分布を表す確率分布に基づく確率変数と、勾配特徴算出部１０７によって算出された勾配特徴と、に基づいて、フレーム画像データの画素毎の勾配強度を求める（ステップＳ１２０２）。
【００７７】
続いて、生成部１０８は、フレーム画像データの画素毎の高周波成分に関する勾配強度と、局所勾配パターンと、フレーム画像データの信頼度ブロック毎に算出された信頼度と、に基づいて、フレーム画像データに対する高周波成分を表したテクスチャ画像データを生成する（ステップＳ１２０３）。
【００７８】
上述した処理手順により、信頼度ブロック毎の信頼度に従って付与されるテクスチャ成分が異なるテクスチャ画像データが生成される。
【００７９】
図４に戻り、重畳部１１０が、生成されたテクスチャ画像データを、フレーム画像データに重畳する（ステップＳ６０９）。
【００８０】
上述した処理手順により、信頼度ブロック毎の特徴量に応じて付与するテクスチャ成分を信頼度ブロック毎に異ならせたテクスチャ画像データを生成することができる。そして、当該テクスチャ画像データをフレーム画像データに付与することができる。これにより、質感の向上を図ることができる。
【００８１】
（第２の実施形態）
第１の実施形態にかかる画像処理装置では、処理負担を軽減するために所定のフレーム画像数毎に算出された特徴量を記憶し、フレーム画像データ毎の信頼度を算出する際に用いる例について説明した。しかしながら、第１の実施形態は、処理負担を軽減するために記憶するパラメータを特徴量に制限するものではない。そこで第２の実施形態にかかる画像処理装置では、信頼度を記憶する例について説明する。
【００８２】
図１３は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図１３に示すように、画像処理装置１３００は、フレームバッファ１０１と、特徴量算出部１３０１と、動き探索部１３０２と、信頼度算出部１３０３と、信頼度記憶部１３０４と、信頼度推定部１３０５と、勾配特徴算出部１０７と、生成部１０８と、確率分布記憶部１０９と、重畳部１１０と、を備える。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００８３】
特徴量算出部１３０１は、所定の個数毎のフレーム画像データに対して、信頼度ブロック単位で特徴量を算出する。
【００８４】
動き探索部１３０２は、フレーム画像データが読み出される毎に、複数のフレーム画像データの間の画素の動きベクトルを探索する。本実施形態にかかる動き探索部１３０２は、第１の実施形態と同様、信頼度ブロックを分割した動き探索ブロック毎に、動きベクトルを探索する。
【００８５】
信頼度算出部１３０３は、各フレーム画像データの信頼度ブロック毎に、特徴量算出部１３０１により算出された特徴量に基づいて、信頼度を算出する。
【００８６】
信頼度記憶部１３０４は、信頼度算出部１３０３により算出された信頼度を記憶する。
【００８７】
信頼度推定部１３０５は、信頼度記憶部１３０４に記憶された任意のフレーム画像データの信頼度ブロック毎の信頼度と、動き探索部１３０２により探索された動きベクトルと、から、任意のフレーム画像データの後に読み込まれたフレーム画像データの信頼度ブロック毎の信頼度を推定する。
【００８８】
そして、生成部１０８が、フレーム画像データ毎に、信頼度推定部１３０５により推定された信頼度を用いて、テクスチャ画像データを生成する。
【００８９】
次に、本実施形態にかかる画像処理装置１３００における、フレーム画像データにテクスチャ画像データを重畳するまでの処理について説明する。図１４は、本実施形態にかかる画像処理装置１３００における上述した処理の手順を示すフローチャートである。
【００９０】
まず、図４で示した第１の実施形態のステップＳ６０１〜６０３と同様の手順で、特徴量算出部１３０１が、フレーム番号ｉが定数ｍの倍数であるか否かを判定する（ステップＳ１４０３）。つまり、本実施形態では、フレーム番号ｉが定数ｍの倍数の場合に限って、特徴量の算出を行う。
【００９１】
そして、特徴量算出部１３０１が、フレーム番号ｉが定数ｍの倍数であると判定した場合（ステップＳ１４０３：Ｙｅｓ）、特徴量算出部１３０１による特徴量ｃｈａi-mの算出から信頼度算出部１３０３による信頼度ｒｅｌi-mの算出まで行われる（ステップＳ１４０４）。
【００９２】
そして、算出された信頼度ｒｅｌi-mは、信頼度記憶部１３０４に記憶される。なお、特徴量ｃｈａi-mを求める処理は、別スレッドとしてｍフレーム以下の複数のフレームの入力期間内に分散して行う。これにより、各フレーム区間での処理負荷を平滑化することができる。
【００９３】
図１５は、本実施形態にかかる特徴量算出部１３０１及び信頼度算出部１３０３における、信頼度算出の処理フローを示した図である。
【００９４】
図１５に示すように、本実施形態にかかる特徴量算出部１３０１は、フレーム画像データに含まれている信頼度ブロック毎（ループ処理１５５０）に、特徴量ｃｈａi-mを算出する（ステップＳ１５０１）。第１の実施形態と同様、フレーム番号ｉのフレーム画像データの信頼度ｒｅｌiを算出処理する際に、ｍフレーム前（フレーム番号ｉ−ｍ）のフレーム画像データの信頼度ブロック毎の特徴量ｃｈａi-mの算出が終了している。
【００９５】
そして、信頼度算出部１３０３が、算出された特徴量ｃｈａi-mを、信頼度ｒｅｌi-mに変換する（ステップＳ１５０２）。
【００９６】
上述した処理手順を行うことで、フレーム番号ｉ−ｍのフレーム画像データ毎の信頼度ｒｅｌi-mの算出が行われる。
【００９７】
図１４に戻り、動き探索部１３０２は、フレームバッファ１０１に格納されていたフレーム番号ｉ−ｍのフレーム画像データと、フレーム番号ｉのフレーム画像データと、の間で、動き探索を行う（ステップＳ１４０５）。
【００９８】
次に、信頼度推定部１３０５は、ステップＳ１４０４で算出された信頼度ｒｅｌi-m及びステップＳ１４０５で算出された動きベクトルｍｖi-m,iから、信頼度ｒｅｌiを推定する（ステップＳ１４０６）。
【００９９】
図１６は、本実施形態にかかる信頼度推定部１３０５における信頼度推定の処理フローを示した図である。図１６に示すように、本実施形態にかかる信頼度推定部１３０５は、フレーム番号ｉのフレーム画像データに含まれている信頼度ブロック毎に、ループ処理１６５１を繰り返す。
【０１００】
また、信頼度推定部１３０５は、信頼度ブロックに含まれる全ての動き探索ブロック毎に、ステップＳ１６０１〜Ｓ１６０２のループ処理１６５２を繰り返す。
【０１０１】
つまり、信頼度推定部１３０５は、動き探索ブロック毎に、動き探索の参照フレームｊ上で、動きベクトルｍｖj,iで特定される対応ブロック（移動する前のブロック）の近傍の信頼度ブロックの信頼度ｒｅｌjを読み込む（ステップＳ１６０１）。なお、図１４のステップＳ１４０６の場合、ｊは、ｉ−ｍとする。なお、図１４のステップＳ１４１１で図１６に示す処理を行う場合、ｊは、ｉ−１となる。
【０１０２】
図７に示す例では、動き探索ブロックＰの信頼度ｒｅｌjを推定したい場合、信頼度推定部１３０５は、当該動き探索ブロックＰと移動する前の位置に対応する対応ブロックＰ’の近傍の信頼度ブロックの信頼度ｒｅｌjを、信頼度記憶部１３０４から読み出す。
【０１０３】
その後、信頼度推定部１３０５は、動き探索ブロック（例えば動き探索ブロックＰ）と動きベクトルが移動する前の位置に対応する対応ブロック（例えば対応ブロックＰ’）と、近傍の信頼度ブロックと、の間の距離により、近傍の信頼度ブロックの信頼度を加算平均して、動き探索ベクトル（動き探索ブロックＰ）の信頼度を算出する（ステップＳ１６０２）。
【０１０４】
そして、信頼度推定部１３０５は、信頼度ブロックに含まれる動き探索ブロック毎に算出された信頼度を平均化して、信頼度ブロックの信頼度ｒｅｌiを生成する（ステップＳ１６０３）。
【０１０５】
信頼度推定部１３０５は、上述した処理手順により、フレーム画像データに含まれる全ての信頼度ブロックについて、信頼度ｒｅｌiを求める。そして、図１６に示す処理フローにより、信頼度ブロック毎の信頼度ｒｅｌiが出力される。
【０１０６】
図１４に戻り、信頼度推定部１３０５が、フレーム番号ｉ−ｍのフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ１４０７）。
【０１０７】
一方、ステップＳ１４０３で、特徴量算出部１３０１が、フレーム番号ｉが定数ｍの倍数ではないと判定した場合（ステップＳ１４０３：Ｎｏ）、動き探索部１３０２は、フレームバッファ１０１に格納されていたフレーム番号ｉ−１のフレーム画像データと、フレーム番号ｉのフレーム画像データと、の間で、動き探索を行う（ステップＳ１４１０）。なお、動き探索の手順は、参照フレームの番号がｉ−１になった以外、ステップＳ１４０５と同様とする。
【０１０８】
次に、信頼度推定部１３０５は、信頼度記憶部１３０４に記憶された信頼度ｒｅｌi-1及びステップＳ１４１０で算出された動きベクトルｍｖi-1,iから、信頼度ｒｅｌiを推定する（ステップＳ１４１１）。そして、算出された信頼度ｒｅｌiは、信頼度記憶部１３０４に記憶される。
【０１０９】
その後、特徴量算出部１３０１が、フレーム番号ｉ−１のフレーム画像データを、フレームバッファ１０１から削除する（ステップＳ１４１２）。
【０１１０】
ステップＳ１４０７及びステップＳ１４１２の後、生成部１０８が、信頼度ｒｅｌiによる制御で、テクスチャ画像データを生成する（ステップＳ１４０８）。
【０１１１】
その後、重畳部１１０が、生成されたテクスチャ画像データを、フレーム画像データに重畳する（ステップＳ１４０９）。
【０１１２】
上述した実施形態にかかる画像処理装置では、動き探索を用いて特徴量又は信頼度を推定することで、全てのフレーム画像データについて、特徴量を算出するための信号解析を行う必要がなくなるため、処理負荷を低下させることができる。特に、そもそもフレーム間の動き探索を行っている画像処理装置では、動き探索結果を共有することで特に有効となる。
【０１１３】
上述した実施形態にかかる画像処理装置では、テクスチャ画像データ等に対する高画質化処理で、テクスチャ成分を付与する度合いを信頼度を用いて制御する。その際に信号解析による特徴量の算出は、数フレーム毎に行い、他のフレームでは、別途求めたフレーム間の動き探索結果を用いて特徴量又は信頼度を推定することとした。これにより、上述した実施形態にかかる画像処理装置では、テクスチャ画像データの生成に関する全体の負荷を下げつつ、画質への影響を軽微にできる。
【０１１４】
本実施例では、高画質化処理としてテクスチャ生成処理を例示しているが、鮮鋭度を増すための超解像処理やエッジ強調処理等について適用してもよい。
【０１１５】
また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１６】
また、各実施形態で説明した画像処理装置の上述した各機能は、カメラやテレビジョン受信装置等に構成として含まれるものであっても良いし、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現してもよい。
【０１１７】
コンピュータで実行される画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【符号の説明】
【０１１８】
１００、１３００…画像処理装置、１０１…フレームバッファ、１０２、１３０１…特徴量算出部、１０３…特徴量記憶部、１０４、１３０２…動き探索部、１０５、１３０３…信頼度算出部、１０６…特徴量推定部、１０７…勾配特徴算出部、１０８…生成部、１０９…確率分布記憶部、１１０…重畳部、１２５…分布算出部、１３０４…信頼度記憶部、１３０５…信頼度推定部
【特許請求の範囲】
【請求項１】
動画像情報に含まれる第１のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる特徴を示した特徴情報を算出する特徴算出手段と、
前記第１のフレーム画像情報と、前記動画像情報に含まれる、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する探索手段と、
前記探索手段で探索された前記画素の動きと、前記第１のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第２のフレーム画像情報の前記表示領域単位の特徴情報を推定する推定手段と、
前記第２のフレーム画像情報の前記表示領域単位の前記特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する生成手段と、
前記第２のフレーム画像情報に前記高周波画像情報を重畳する重畳手段と、
を備える画像処理装置。
【請求項２】
前記高周波成分は、テクスチャであり、
前記高周波画像情報は、テクスチャ画像情報である、
請求項１に記載の画像処理装置。
【請求項３】
第２のフレーム画像情報に含まれる画素毎に、当該画素を含んだ所定の表示領域内での画素値の変化を表す変化量を算出する変化量算出手段をさらに備え、
前記生成手段は、学習用画像情報に含まれる画素毎の変化量に対する、当該学習用画像情報の高周波成分に含まれる画素毎の変化量の、相対的な値の分布を表す確率分布に基づく確率変数と、算出された前記変化量と、に基づいて、第２のフレーム画像情報に含まれる画素毎の高周波成分に関する重みを求め、画素値の変化のパターンを表した所定画像パターンを当該重みで重み付けし且つ前記特徴情報に従って付与する高周波数成分を異ならせた前記第２のテクスチャ画像情報を生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記探索手段は、前記第２のフレーム画像情報の前記表示領域単位を分割したブロック単位で、画素の動きを探索し、
前記推定手段は、前記第２のフレーム画像情報に含まれる任意の表示領域を分割するブロックが移動する前の位置に対応する、前記第１のフレーム画像情報に含まれているブロックの特徴情報に基づいて、前記任意の表示領域の特徴情報を推定する、
請求項１乃至３に記載の画像処理装置。
【請求項５】
画像処理装置で実行される画像処理方法であって、
特徴算出手段が、動画像情報に含まれる第１のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる特徴を示した特徴情報を算出する特徴算出ステップと、
探索手段が、前記第１のフレーム画像情報と、前記動画像情報に含まれる、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する探索ステップと、
推定手段が、前記探索ステップで探索された前記画素の動きと、前記第１のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第２のフレーム画像情報の前記表示領域単位の特徴情報を推定する推定ステップと、
生成手段が、前記第２のフレーム画像情報の前記表示領域単位の前記特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する生成ステップと、
重畳手段が、前記第２のフレーム画像情報に前記高周波画像情報を重畳する重畳ステップと、を含む画像処理方法。
【請求項６】
前記高周波成分は、テクスチャであり、
前記高周波画像情報は、テクスチャ画像情報である、
請求項５に記載の画像処理方法。
【請求項１】
動画像情報に含まれる第１のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる特徴を示した特徴情報を算出する特徴算出手段と、
前記第１のフレーム画像情報と、前記動画像情報に含まれる、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する探索手段と、
前記探索手段で探索された前記画素の動きと、前記第１のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第２のフレーム画像情報の前記表示領域単位の特徴情報を推定する推定手段と、
前記第２のフレーム画像情報の前記表示領域単位の前記特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する生成手段と、
前記第２のフレーム画像情報に前記高周波画像情報を重畳する重畳手段と、
を備える画像処理装置。
【請求項２】
前記高周波成分は、テクスチャであり、
前記高周波画像情報は、テクスチャ画像情報である、
請求項１に記載の画像処理装置。
【請求項３】
第２のフレーム画像情報に含まれる画素毎に、当該画素を含んだ所定の表示領域内での画素値の変化を表す変化量を算出する変化量算出手段をさらに備え、
前記生成手段は、学習用画像情報に含まれる画素毎の変化量に対する、当該学習用画像情報の高周波成分に含まれる画素毎の変化量の、相対的な値の分布を表す確率分布に基づく確率変数と、算出された前記変化量と、に基づいて、第２のフレーム画像情報に含まれる画素毎の高周波成分に関する重みを求め、画素値の変化のパターンを表した所定画像パターンを当該重みで重み付けし且つ前記特徴情報に従って付与する高周波数成分を異ならせた前記第２のテクスチャ画像情報を生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記探索手段は、前記第２のフレーム画像情報の前記表示領域単位を分割したブロック単位で、画素の動きを探索し、
前記推定手段は、前記第２のフレーム画像情報に含まれる任意の表示領域を分割するブロックが移動する前の位置に対応する、前記第１のフレーム画像情報に含まれているブロックの特徴情報に基づいて、前記任意の表示領域の特徴情報を推定する、
請求項１乃至３に記載の画像処理装置。
【請求項５】
画像処理装置で実行される画像処理方法であって、
特徴算出手段が、動画像情報に含まれる第１のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる特徴を示した特徴情報を算出する特徴算出ステップと、
探索手段が、前記第１のフレーム画像情報と、前記動画像情報に含まれる、第１のフレーム画像情報より後の第２のフレーム画像情報と、の間の、画素の動きを探索する探索ステップと、
推定手段が、前記探索ステップで探索された前記画素の動きと、前記第１のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第２のフレーム画像情報の前記表示領域単位の特徴情報を推定する推定ステップと、
生成手段が、前記第２のフレーム画像情報の前記表示領域単位の前記特徴情報に従って高周波成分を異ならせた高周波画像情報を生成する生成ステップと、
重畳手段が、前記第２のフレーム画像情報に前記高周波画像情報を重畳する重畳ステップと、を含む画像処理方法。
【請求項６】
前記高周波成分は、テクスチャであり、
前記高周波画像情報は、テクスチャ画像情報である、
請求項５に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１０６２１４（Ｐ２０１３−１０６２１４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９１７６（Ｐ２０１１−２４９１７６）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]