画像処理装置
【課題】
動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制する画像処理装置を提供する。
【解決手段】
複数の画像からなる動画像を取得する取得部と、前記動画像中で処理の対象となる処理画像中の画素を順次注目画素として設定し、前記処理画像とは異なる参照画像中のテクスチャ成分を抽出した微細画像を記憶する記憶部と、前記注目画素の画素位置を第１の位置とし、前記微細画像中の第１の位置に対応する第２の位置を所定範囲内から探索する探索部と、前記微細画像中の前記第２の位置の画素値を前記注目画素の画素値に合成する合成部と、を有する。
動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制する画像処理装置を提供する。
【解決手段】
複数の画像からなる動画像を取得する取得部と、前記動画像中で処理の対象となる処理画像中の画素を順次注目画素として設定し、前記処理画像とは異なる参照画像中のテクスチャ成分を抽出した微細画像を記憶する記憶部と、前記注目画素の画素位置を第１の位置とし、前記微細画像中の第１の位置に対応する第２の位置を所定範囲内から探索する探索部と、前記微細画像中の前記第２の位置の画素値を前記注目画素の画素値に合成する合成部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
テレビのデジタル放送が開始され、これまでのアナログ放送よりも解像度や画質が向上した。更なる画質の向上を図るためには、精細感の向上が重要である。
【０００３】
画像の精細感を向上させる技術としては特許文献１の手法がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３１０１１７公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記問題点に鑑み、複数の画像からなる動画像を取得する取得部と、前記動画像中で処理の対象となる処理画像中の画素を順次注目画素として設定し、前記処理画像とは異なる参照画像中のテクスチャ成分を抽出した微細画像を記憶する記憶部と、前記注目画素の画素位置を第１の位置とし、前記微細画像中の第１の位置に対応する第２の位置を所定範囲内から探索する探索部と、前記微細画像中の前記第２の位置の画素値を前記注目画素の画素値に合成する合成部と、を有することを特徴とする画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明は、動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制することができる画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１に係る画像処理装置１の構成を示す図。
【図２】実施例１に係る画像処理装置２の構成を示す図。
【図３】画像処理装置１の動作を示すフローチャート。
【図４】微細画像生成部の構成を示す図。
【図５】画像からテクスチャ成分抽出する方法を示す図。
【図６】テクスチャ画像と微細画像の関係を示す図。
【図７】テンプレート領域の例を示す図。
【図８】処理対象画素の探索例を示す図。
【図９】動きベクトル算出の処理を示すフローチャート。
【図１０】等角直線フィッティングについて説明した図。
【図１１】パラボラフィッティングについて説明した図。
【図１２】実施例２に係る画像処理装置の構成を示す図。
【図１３】実施例２に係る画像処理装置の動作を示すフローチャート。
【図１４】画像処理装置３０の構成を示す図。
【図１５】画像処理装置３０の動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
本実施例に係る画像処理装置は、例えばビデオカメラで撮影された動画像データやテレビが受信した動画像データをより画質の高い動画像データに変換する。以下、本実施形態に関する画像処理装置について図面に基づいて説明する。
【実施例１】
【００１０】
図１は、本実施形態の画像処理装置１を示す図である。画像処理装置１は、取得部１０１、記憶部１０２、探索部１０３、合成部１０４、を有する。
【００１１】
画像処理装置１は、複数の画像（以下、画像をフレームと称する）からなる動画像１０５を入力とし、高画質化処理およびちらつき抑制処理が施された処理結果フレーム１１１を出力する。処理結果フレーム１１１は動画像１０５内の任意の処理フレームに対して高画質化処理およびちらつき抑制処理を施した結果得られるフレームである。
【００１２】
動画像１０５は、まず取得部１０１に送られる。取得部１０１は、動画像１０５から任意の画像を処理フレーム１０６として設定し、また、処理フレーム１０６と異なるフレームである参照フレーム１０７を選択して読み込む。また、取得部１０１は、処理フレーム中の画素を注目画素として順次設定する。
【００１３】
記憶部１０２は、動画像１０５中のフレームで、図２に示す画像処理装置２を用いて処理して生成された微細画像を記憶する。画像処理装置２は、生成部２０１と合成部２０２を有する。生成部２０１では、入力フレーム２０３に含まれるテクスチャ成分の空間周波数を増大させた微細テクスチャ成分である微細画像２０４を生成する。合成部２０２では、入力フレーム２０３と、生成部２０１が生成した微細画像２０４とを合成し、出力フレーム２０５を生成する。ここで生成した微細画像２０４を記憶部１０２に記憶する。
【００１４】
探索部１０３では、処理フレーム１０６と参照フレーム１０７とから画素や領域の動きを示す変化量を算出する。記憶部１０２に記憶されている微細画像（参照微細画像１０９）と変化量から生成微細画像１１０を推定する。参照微細画像１０９は生成部２０１で参照フレーム１０７から生成した微細テクスチャ成分であり、生成微細画像１１０は処理フレーム１０６に対応する微細テクスチャ成分である。
【００１５】
合成部１０４では、処理フレーム１０６と、探索部１０３が生成した生成微細画像１１０とを合成し、処理結果フレーム１１１を生成する。
【００１６】
次に、画像処理装置１の動作の詳細について説明する。図３は、画像処理装置１の動作を示すフローチャートである。
【００１７】
Ｓ３０１では、入力された動画像１０５から処理対象とする処理フレーム１０６を決定する。処理フレーム１０６は未処理フレームの中から任意に選択することが可能である。
【００１８】
Ｓ３０２では、Ｓ３０１で決定した処理フレーム１０６を画像データとして読み込む。
【００１９】
Ｓ３０３では、処理フレーム１０６に適用する処理を決定する。処理には、画像処理装置１で行う処理と、画像処理装置２で行う処理がある。微細画像を新たに生成するか否かを決め、新たに画像を生成する場合には画像処理装置２で行う処理を選択する。記憶部１０２にすでに微細画像が記憶されている場合には、画像処理装置１を選択してもよい。たとえば、処理フレーム１０６と参照フレーム１０７の間のフレーム数が予め決められたフレーム数の範囲内では記憶された微細画像を用いた処理を行う。好ましくは、探索部で算出された変化量の変化に応じて、記憶された微細画像を用いるか、新たに微細画像を作成するかを選択すると、画像のちらつきをより抑制できるのでよい。
【００２０】
Ｓ３０４では、Ｓ３０３で画像処理装置２が選択された場合に、処理フレーム１０６から微細画像２０４を生成する。図４は微細画像２０４を生成する微細画像生成部の構成を示す図で、画像縮小部４０１、テクスチャ抽出部４０２、微細テクスチャ生成部４０３を有する。画像縮小部４０１では、入力された処理フレーム１０６を縮小し、縮小画像４０４を生成する。
【００２１】
たとえば、一つのテクスチャパターンを含む画像を考えた場合、画像を１／Ｋ倍することによって周波数がＫ倍のテクスチャパターンを生成することができる。ここで、Ｋは０＜Ｋ＜１．０の範囲にある任意の実数である。テクスチャ抽出部４０２では、縮小画像４０４から、被写体の表面における微小な振動を表すテクスチャ画像４０５を生成する。テクスチャ画像４０５の生成には、例えば骨格／テクスチャ分離法、Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ法、またはε−フィルタ等のテクスチャ抽出手法を用いればよい。
【００２２】
図５は、画像からテクスチャ成分抽出する方法を説明する図である。画像を１次元で考えた場合について例示している。横軸が座標を表し、縦軸が各座標での輝度値を表す。図５（ａ）は、抽出前の画像の例を示す。図５（ｂ），（ｃ）はＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ法を用いて図５（ａ）に示した画像からテクスチャ成分を分離した例を示す。Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ法を用いた場合は、非テクスチャ成分に強度の大きなエッジが保存される。図５（ｂ）は抽出された非テクスチャ成分を、図５（ｃ）は抽出されたテクスチャ成分を示す。図５（ｄ），（ｅ）は骨格／テクスチャ分離法を用いて図５（ａ）に示した画像を分離した例を示す。図５（ｄ）は非テクスチャ成分を、図５（ｅ）はテクスチャ成分を示す。骨格／テクスチャ分離法を用いた場合は、輝度差の大きなエッジはテクスチャ成分に保存される。いずれの手法を用いた場合にも、図５（ａ）に示した画像の輝度の大まかな変化パターンを除去したテクスチャ成分を得ることができる。
【００２３】
微細テクスチャ生成部４０３は、テクスチャ画像４０５から、微細画像２０４を生成する。微細画像２０４は、微細画像２０４を生成する領域ごとに、テクスチャ画像４０５内の対応位置近傍を探索することで生成する。具体的には、（ａ）微細画像２０４の画素値が求まっていない処理対象画素を順次選択し（ｂ）処理対象画素の微細画像２０４での位置と対応するテクスチャ画像４０５での位置の近傍領域を探索範囲とし、（ｃ）処理対象画素の近傍で既に画素値が求まっている微細画像２０４の画素の画素値の変化パターンと類似する、画素値の変化パターンとなる探索範囲内の画素の画素値を、処理対象画素の画素値に割り当てることで生成する。
【００２４】
図６は、テクスチャ画像４０５と微細画像２０４との関係を説明する図である。テクスチャ画像４０５のサイズをw × h [pixel]、微細画像２０４の画像サイズをW × H [pixel]とし、微細画像の生成領域が座標(Ik, Jk)であった場合、テクスチャ画像４０５内の対応点(ik, jk)は式（１）で求められる。
【数１】
【００２５】
探索領域は、テクスチャ画像４０５の座標(ik, jk)を中心とする近傍領域を探索領域とする。探索領域の大きさは、10x10[pixel]から40x40[pixel]程度の小領域とする。
【００２６】
テクスチャ画像４０５から、テクスチャ画像４０５よりも高い解像度の微細画像２０４への拡大の際に、一般的に用いられるバイリニア補間法やバイキュービック補間法等の単純な拡大処理を適用すると、高周波なテクスチャ成分情報が消失してしまい高精細な画像を得ることができない。本実施形態では、テクスチャ画像４０５から微細画像２０４を生成する手法として、CG分野（コンピュータグラフィックスの分野）で提案されているテクスチャ合成手法を用いている。以下、詳細にテクスチャ合成手法について説明する。
【００２７】
図７、図８は、微細画像２０４を生成する手法を説明するための図である。
【００２８】
微細画像２０４中で生成対象とする処理対象画素の座標(Ik, Jk)は左上から右下へ逐次移動させる。図７に示すように、生成対象座標(Ik, Jk)の近傍領域（サイズN×N[pixel]）内で、既に画素値が割り当てられている領域をテンプレート領域とする。
【００２９】
図８に示すように、探索領域内でテンプレート領域と最も画素値の変化パターンが類似する領域を探索する。画素値の変化パターンか最も類似する領域で、テンプレート領域の(Ik, Jk)に該当する画素（図８の斜線画素）の輝度値を微細画像２０４の座標(Ik, Jk)の輝度値に割り当てる。テンプレート領域と最も類似した領域を探索領域中で探索する際には、例えば領域内の画素ごとの誤差の二乗和が最小となる領域を選択する。
【００３０】
図３に戻る。Ｓ３０５では、Ｓ３０４で生成された微細画像２０４を記憶部１０２に保存する。
【００３１】
Ｓ３０６では、Ｓ３０３で画像処理装置１が選択された場合に、参照フレーム１０７を決定する。参照フレーム１０７は、記憶部１０２に保存されている微細画像の生成元フレームの中から選択する。
【００３２】
Ｓ３０７では、処理フレーム１０６から参照フレーム１０７への変化量（以下、動きベクトル）を算出する。動きベクトルは、画素精度で算出しても良いし、１画素よりも細かい精度（サブピクセル精度）で算出しても良い。サブピクセル精度で動きベクトルを算出する方法を図９のフローチャートを参照しながら説明する。
【００３３】
まず、Ｓ３１２で処理フレーム１０６中の１画素を注目画素Ｐに設定する。
【００３４】
次に、Ｓ３１３で参照フレーム１０７において、注目画素Ｐの処理フレーム１０６内での空間的位置と同じ位置を中心として、動き探索範囲を設定する。動き探索範囲は、例えば矩形のブロックである。
【００３５】
次に、Ｓ３１４で探索範囲内の各画素を中心とするブロックと、注目画素を中心とするブロックの画素値パターンの相違度を算出する。以降では、この画素値パターンの相違度をそれぞれのブロックの中心画素間のマッチング誤差と呼ぶものとする。マッチング誤差として、本実施形態ではＳＡＤ値（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いるが、他にもＳＳＤ値（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いることもできる。マッチング誤差が大きいブロック程、注目画素を中心とするブロックの画素値パターンとの相違度が大きい。マッチング誤差を探索範囲内の画素について算出し、マッチング誤差が最小であった探索範囲内の画素位置を画素精度での動きベクトルの示す画素とする。このとき、探索範囲内の全画素を探索する他に、ダイヤモンドサーチを用いて高速化することもできる。動きベクトルを画素精度で算出する際には、Ｓ３１４が終了した後、Ｓ３１７に進む。サブピクセル精度で算出する際には、Ｓ３１５に進む。
【００３６】
Ｓ３１５では、画素精度での動きベクトルを中心にして、次の方法でサブピクセル精度での動きを算出する。まず、Ｓ３１５で水平方向の動きを算出する。画素精度での動きベクトルの示す画素の座標が(x,y)であったとする。すると、画像の水平方向サブピクセル精度の動きベクトルｘsubは、座標(i,j)におけるＳＡＤ値をＳＡＤ(i,j)として、等角直線フィッティングと呼ばれる手法により、次式で求めることができる。
【数２】
【００３７】
図１０は、等角直線フィッティングでサブピクセル推定を行う様子を示した模式図である。図１０の横軸が画像内の座標、縦軸が各座標におけるSAD値を表している。式（２）は、図１０に示されているように、傾きの等しい直線で(x-1,y),(x,y),(x+1,y)の３点におけるＳＡＤ値を結んだときの、直線が交差する位置を求めている。なお、画素値パターンの相違度としてＳＳＤ値を使う時は、パラボラフィッティングと呼ばれる手法により、次の式を使って動きベクトルを算出することが望ましい。
【数３】
【００３８】
図１１は、パラボラフィッティングでサブピクセル推定を行う様子を示した模式図である。
【００３９】
次に、画像の垂直方向についても、同様にサブピクセル精度の動きベクトルｙｓｕｂを求める。以上の処理により、注目画素Pから参照フレーム１０７へのサブピクセル精度での動きベクトルは（x＋xsub，y＋ysub）と算出される。 なお、動きベクトルの算出は１つの注目画素毎に算出する他に、処理対象フレームの小領域毎（ここではブロックとする）にまとめて算出しても良い。例えば、処理対象フレームをブロック分割し、各ブロック単位で動きベクトルの算出を行い、ブロック内の画素の動きベクトルは同じとする。動きベクトルの算出を小領域毎にまとめて行うことで、フレーム内のすべての画素に対して動きベクトルの算出、算出された動きベクトルに関する情報の保持がないため、装置全体の処理にかかる時間・処理量を少なくすることができるため好ましい。
【００４０】
Ｓ３１７では、処理フレーム１０６中の全画素に対して動きベクトルの算出が行われたか否かを判断し、未処理画素がある場合にはＳ３１２に戻り、全画素完了した場合にはＳ３０８に進む。
【００４１】
図３に戻る。Ｓ３０８では、記憶部に記憶されている参照微細画像１０９を、変化量を用いて動き補償することにより、生成微細画像１１０を生成する。生成微細画像１１０の各画素に対して以下の処理を行う。処理フレーム１０６の座標（ｉ，ｊ）から参照フレーム１０７への動きベクトルが（ｘ，ｙ）であった場合、生成微細画像１１０の座標（ｉ，ｊ）の画素値は、参照微細画像１０９の座標（ｉ＋ｘ，ｊ＋ｙ）の画素値とする。なお、Ｓ３０７においてサブピクセル精度で動きベクトルを算出した場合は、参照微細画像１０９を補間することにより画素値を算出する。
【００４２】
Ｓ３０９では、Ｓ３０３で画像処理装置１が選択された場合には、Ｓ３０８で生成された生成微細画像１１０と処理フレーム１０６とを合成して処理結果フレーム１１１を生成し、Ｓ３０３で画像処理装置２が選択された場合には、Ｓ３０４で生成された微細画像２０４と入力フレーム２０３とを合成して出力フレーム２０５を生成する。
【００４３】
Ｓ３１０では、生成した処理結果フレーム１１１または出力フレーム２０５を出力する。
【００４４】
Ｓ３１１では、動画像１０５の全フレームに対する処理が終了したか否かを判定し、終了していない場合にはＳ３０１に移動し、終了している場合には処理を終了する。
【００４５】
本実施形態の画像処理装置によれば、動画像１０５の処理フレーム１０６に対して、他の参照フレーム１０７との動きベクトルに基づき生成微細画像１１０を生成することで、ちらつきを発生させずに各フレームの精細感を向上させることができる。
【実施例２】
【００４６】
本実施形態では、処理フレーム１０６に対して時間軸上で処理フレームよりも前の前フレーム１２０５と時間軸上で後の後フレーム１２０６の２フレームを参照する点が異なる。
【００４７】
図１２は、本実施形態の画像処理装置２０の構成を表すブロック図である。図１の画像処理装置１と比較し、取得部１２０１と探索部１２０３の処理内容が変わり、ブレンド部１２０４をさらに有する点が異なる。なお、上述した第一の実施例と同等の構成については、同一の符号を付与し、その説明を省略する。
【００４８】
取得部１２０１は、動画像１０５から、任意の処理フレーム１０６と、処理フレーム１０６より前の時刻に存在する前フレーム１２０５と、処理フレーム１０６より後時刻に存在する後フレーム１２０６を読み込む。
【００４９】
探索部１２０３は、処理フレーム１０６と前フレーム１２０５から第１変化量を推定し、処理フレーム１０６と後フレーム１２０６から第２変化量を推定する記憶部１０２に記憶されている第１微細画像１２０９を第１変化量により動き補償することで第１仮画像１２１１を生成し、記憶部１０２に記憶されている第２微細画像１２１０を第２変化量により動き補償することで第２仮画像１２１２を生成する。第１微細画像１２０９は生成部２０１で前フレーム１２０５から生成した微細テクスチャ成分であり、第２微細画像１２１０は生成部２０１で後フレーム１２０６から生成した微細テクスチャ成分である。
【００５０】
ブレンド部１２０４は、第１仮画像１２１１と第２仮画像１２１２とをαブレンドを用いて合成し、生成微細画像１１０を生成する。
【００５１】
図１３は、画像処理装置２０の動作を示すフローチャートである。Ｓ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０９〜Ｓ３１１は図３の説明と重複するため省略する。
【００５２】
Ｓ１３０１では、処理フレーム１０６に適用する処理を決定する。処理には、画像処理装置１で行う処理と、画像処理装置２で行う処理がある。記憶部１０２にすでに、処理フレーム１０６の前時刻と後時刻のフレームそれぞれから生成した微細画像が少なくとも1枚ずつ記憶されている場合には画像処理装置１を選択する。ただし、前時刻と後時刻のフレームまでの距離が大きい場合には画像処理装置２を選択してもよい。また、周期を決定する変数Ｎを設定し、ｋＮ（ｋは自然数）フレーム目に画像処理装置２を選択し、それ以外のフレームでは画像処理装置１を選択してもよい。この場合、あらかじめすべてのｋＮフレーム目を先に処理してもよい。
【００５３】
Ｓ１３０２では、Ｓ１３０１で画像処理装置１が選択された場合に、前フレーム１２０５と後フレーム１２０６を決定する。記憶部１０２に保存されている微細画像の生成元フレームで、処理フレーム１０６よりも前時刻のフレームの中から前フレームを、後時刻のフレームから後フレームをそれぞれ選択する。
【００５４】
Ｓ１３０３では、処理フレーム１０６から前フレーム１２０５への変化量である第１変化量と、後フレーム１２０６への変化量である第２変化量をそれぞれ算出する。それぞれの算出方法は図９と同様である。
【００５５】
Ｓ１３０４では、記憶部１０２に記憶されている第１変化量と第２変化量を読み取り、第１微細画像１２０９と第１変化量から第１仮画像１２１１を推定し、記憶部１０２に記憶されている第２微細画像１２１０と第２変化量から第２仮画像１２１２を推定する。第１微細画像１２０９は生成部２０１で前フレーム１２０５から生成した微細テクスチャ成分であり、第２微細画像１２１０は生成部２０１で後フレーム１２０６から生成した微細テクスチャ成分である。微細画像の生成方法はＳ３０８と同様である。
【００５６】
Ｓ１３０５では、Ｓ１３０４で生成された第１仮生成微細画像１２１１と第２仮画像１２１２とをαブレンドを用いて合成し、生成微細画像１１０を生成する。式（４）は、前フレームである画像Ａの座標（ｉ，ｊ）における画素値valueＡと後フレームである画像Ｂの座標（ｉ，ｊ）における画素値valueＢをαブレンドし、処理フレームである画像Ｃの座標（ｉ，ｊ）における画素値valueＣを算出する式である。
【数４】
【００５７】
αは０以上１．０以下の値であり、ある尺度を用いた場合の重みとする。例えば、フレーム間の時間差を尺度とする場合には、時間差が大きいほど小さな値をとる。すなわち、画像Ａと画像Ｃの時間差よりも、画像Ｂと画像Ｃの時間差が長いとき、αは０．５未満の値をとる。また、動きベクトル推定精度の信頼度を尺度とする場合には、信頼度が大きいほど大きな値とする。また、Iピクチャ、Pピクチャ、Ｂピクチャなど、後フレームと前フレームの画質信頼度が異なる場合には、画質信頼度が高いほど大きな値とする。また、αは画面一括で決定してもよいし、画素ごとに変えてもよい。
【００５８】
また、探索部で算出した第１変化量と第２変化量に基づく動きベクトルを用いてもよい。この場合、画素と参照フレーム中で対応する点とのベクトルのユークリッド距離に応じて、距離が大きいほど小さな値をとるようにする。
【００５９】
本実施形態の画像処理装置によれば、処理フレーム１０６の前後のフレームから動きベクトルを推定し、距離を重みとした重みつき和により生成微細画像１１０を推定するため、より高い精度でのちらつき抑制効果が期待できる。
【００６０】
（変形例）
実施例１及び実施例２では、主に入力動画像サイズと出力動画像サイズが等しい等倍処理について述べたが、本発明はこれに限らず、入力動画サイズと出力動画サイズが異なる場合にも適用することができる。本実施形態では、入力動画像サイズよりも出力動画像サイズの方が大きい拡大処理について説明する。なお、上述した実施例と同等の構成については、同一の符号を付与し、その説明を省略する。
【００６１】
図１４は、本実施形態の画像処理装置３０の構成を表すブロック図である。図１の画像処理装置１と比較し、仮拡大部１４０１をさらに有する点が異なる。
【００６２】
取得部１０１は、入力された動画像１０６から任意の画像を処理フレーム１０６と参照フレーム１０７とを設定し、処理フレーム１０６を仮拡大部１４０１に送る。
【００６３】
仮拡大部１４０１は処理フレーム１０６を拡大し、拡大画像１４０２を生成する。
【００６４】
合成部１０４は、生成微細画像と拡大画像１４０２を合成して処理結果フレームを出力する。
【００６５】
図１５は本実施形態の画像処理装置３０の動作を示すフローチャートである。
【００６６】
Ｓ３０１では、入力された動画像１０５から処理対象とする処理フレーム１０６を決定する。処理フレーム１０６は未処理フレームの中から任意に選択することが可能である。
【００６７】
Ｓ１５０１は、処理フレーム１０６を拡大した拡大画像１４０２を生成する。画像を拡大する方法として、任意の画像拡大手法を用いることか可能である。例えは、最近傍補間 法(あるいは、ニアレストネイバー法)、線形補間法、及び、キュービックコンボリュー ション法(バイキュービック補間法)など、画素値を補間して画像を拡大する方法を用いればよい。好ましくは、できるだけぼけの少ない画像を取得可能な画像拡大手法を用いると、画質の劣化を防ぐためには望ましい。
【００６８】
Ｓ３０２では、Ｓ３０１で決定した処理フレーム１０６を画像データとして読み込む。
【００６９】
Ｓ３０２では、Ｓ１５０１で拡大された仮拡大画像と同じフレームを処理フレームとして設定してもよい。
【００７０】
Ｓ３０３からＳ３０７は実施例１と同様であるが、処理フレーム１０６として仮拡大部１４０１で拡大した拡大画像１４０２を設定、または参照フレーム１０７を仮拡大部１４０１で拡大した画像から選択することも可能である。
【００７１】
Ｓ３０８では、記憶部に記憶されている参照微細画像１０９を、変化量を用いて動き補償することにより、生成微細画像１１０を生成する。入力画像よりも画素数の多い拡大画像を合成結果の出力画像とする場合、テクスチャ画像の仮拡大画像から生成した微細画像、処理フレームから生成した微細画像、処理フレームを縮小して生成した微細画像を用いてもよい。
なお、テクスチャ成分を抽出する画像が、合成の結果のフレームサイズより小さいほうが、処理フレームサイズのテクスチャよりも周波数が高くなり、画質の精細感が向上する。たとえば、実施例１のように画像を縮小させてテクスチャ画像を生成する、処理対象のフレームからテクスチャ画像を生成して、より画素数の多い拡大画像に合成する、または画像を拡大させてテクスチャ画像を生成し、拡大画像に合成する、などの方法が、画像中のテクスチャのきめ細かさを向上させるのでよい。
【００７２】
本発明は、上記の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７３】
上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【符号の説明】
【００７４】
１０１、１２０１・・取得部、１０２・・・記憶部、１０３、１２０３・・・探索部、１０４・・・合成部、１２０４・・ブレンド部、１４０１・・・仮拡大部
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
テレビのデジタル放送が開始され、これまでのアナログ放送よりも解像度や画質が向上した。更なる画質の向上を図るためには、精細感の向上が重要である。
【０００３】
画像の精細感を向上させる技術としては特許文献１の手法がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３１０１１７公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記問題点に鑑み、複数の画像からなる動画像を取得する取得部と、前記動画像中で処理の対象となる処理画像中の画素を順次注目画素として設定し、前記処理画像とは異なる参照画像中のテクスチャ成分を抽出した微細画像を記憶する記憶部と、前記注目画素の画素位置を第１の位置とし、前記微細画像中の第１の位置に対応する第２の位置を所定範囲内から探索する探索部と、前記微細画像中の前記第２の位置の画素値を前記注目画素の画素値に合成する合成部と、を有することを特徴とする画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明は、動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制することができる画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１に係る画像処理装置１の構成を示す図。
【図２】実施例１に係る画像処理装置２の構成を示す図。
【図３】画像処理装置１の動作を示すフローチャート。
【図４】微細画像生成部の構成を示す図。
【図５】画像からテクスチャ成分抽出する方法を示す図。
【図６】テクスチャ画像と微細画像の関係を示す図。
【図７】テンプレート領域の例を示す図。
【図８】処理対象画素の探索例を示す図。
【図９】動きベクトル算出の処理を示すフローチャート。
【図１０】等角直線フィッティングについて説明した図。
【図１１】パラボラフィッティングについて説明した図。
【図１２】実施例２に係る画像処理装置の構成を示す図。
【図１３】実施例２に係る画像処理装置の動作を示すフローチャート。
【図１４】画像処理装置３０の構成を示す図。
【図１５】画像処理装置３０の動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
本実施例に係る画像処理装置は、例えばビデオカメラで撮影された動画像データやテレビが受信した動画像データをより画質の高い動画像データに変換する。以下、本実施形態に関する画像処理装置について図面に基づいて説明する。
【実施例１】
【００１０】
図１は、本実施形態の画像処理装置１を示す図である。画像処理装置１は、取得部１０１、記憶部１０２、探索部１０３、合成部１０４、を有する。
【００１１】
画像処理装置１は、複数の画像（以下、画像をフレームと称する）からなる動画像１０５を入力とし、高画質化処理およびちらつき抑制処理が施された処理結果フレーム１１１を出力する。処理結果フレーム１１１は動画像１０５内の任意の処理フレームに対して高画質化処理およびちらつき抑制処理を施した結果得られるフレームである。
【００１２】
動画像１０５は、まず取得部１０１に送られる。取得部１０１は、動画像１０５から任意の画像を処理フレーム１０６として設定し、また、処理フレーム１０６と異なるフレームである参照フレーム１０７を選択して読み込む。また、取得部１０１は、処理フレーム中の画素を注目画素として順次設定する。
【００１３】
記憶部１０２は、動画像１０５中のフレームで、図２に示す画像処理装置２を用いて処理して生成された微細画像を記憶する。画像処理装置２は、生成部２０１と合成部２０２を有する。生成部２０１では、入力フレーム２０３に含まれるテクスチャ成分の空間周波数を増大させた微細テクスチャ成分である微細画像２０４を生成する。合成部２０２では、入力フレーム２０３と、生成部２０１が生成した微細画像２０４とを合成し、出力フレーム２０５を生成する。ここで生成した微細画像２０４を記憶部１０２に記憶する。
【００１４】
探索部１０３では、処理フレーム１０６と参照フレーム１０７とから画素や領域の動きを示す変化量を算出する。記憶部１０２に記憶されている微細画像（参照微細画像１０９）と変化量から生成微細画像１１０を推定する。参照微細画像１０９は生成部２０１で参照フレーム１０７から生成した微細テクスチャ成分であり、生成微細画像１１０は処理フレーム１０６に対応する微細テクスチャ成分である。
【００１５】
合成部１０４では、処理フレーム１０６と、探索部１０３が生成した生成微細画像１１０とを合成し、処理結果フレーム１１１を生成する。
【００１６】
次に、画像処理装置１の動作の詳細について説明する。図３は、画像処理装置１の動作を示すフローチャートである。
【００１７】
Ｓ３０１では、入力された動画像１０５から処理対象とする処理フレーム１０６を決定する。処理フレーム１０６は未処理フレームの中から任意に選択することが可能である。
【００１８】
Ｓ３０２では、Ｓ３０１で決定した処理フレーム１０６を画像データとして読み込む。
【００１９】
Ｓ３０３では、処理フレーム１０６に適用する処理を決定する。処理には、画像処理装置１で行う処理と、画像処理装置２で行う処理がある。微細画像を新たに生成するか否かを決め、新たに画像を生成する場合には画像処理装置２で行う処理を選択する。記憶部１０２にすでに微細画像が記憶されている場合には、画像処理装置１を選択してもよい。たとえば、処理フレーム１０６と参照フレーム１０７の間のフレーム数が予め決められたフレーム数の範囲内では記憶された微細画像を用いた処理を行う。好ましくは、探索部で算出された変化量の変化に応じて、記憶された微細画像を用いるか、新たに微細画像を作成するかを選択すると、画像のちらつきをより抑制できるのでよい。
【００２０】
Ｓ３０４では、Ｓ３０３で画像処理装置２が選択された場合に、処理フレーム１０６から微細画像２０４を生成する。図４は微細画像２０４を生成する微細画像生成部の構成を示す図で、画像縮小部４０１、テクスチャ抽出部４０２、微細テクスチャ生成部４０３を有する。画像縮小部４０１では、入力された処理フレーム１０６を縮小し、縮小画像４０４を生成する。
【００２１】
たとえば、一つのテクスチャパターンを含む画像を考えた場合、画像を１／Ｋ倍することによって周波数がＫ倍のテクスチャパターンを生成することができる。ここで、Ｋは０＜Ｋ＜１．０の範囲にある任意の実数である。テクスチャ抽出部４０２では、縮小画像４０４から、被写体の表面における微小な振動を表すテクスチャ画像４０５を生成する。テクスチャ画像４０５の生成には、例えば骨格／テクスチャ分離法、Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ法、またはε−フィルタ等のテクスチャ抽出手法を用いればよい。
【００２２】
図５は、画像からテクスチャ成分抽出する方法を説明する図である。画像を１次元で考えた場合について例示している。横軸が座標を表し、縦軸が各座標での輝度値を表す。図５（ａ）は、抽出前の画像の例を示す。図５（ｂ），（ｃ）はＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ法を用いて図５（ａ）に示した画像からテクスチャ成分を分離した例を示す。Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ法を用いた場合は、非テクスチャ成分に強度の大きなエッジが保存される。図５（ｂ）は抽出された非テクスチャ成分を、図５（ｃ）は抽出されたテクスチャ成分を示す。図５（ｄ），（ｅ）は骨格／テクスチャ分離法を用いて図５（ａ）に示した画像を分離した例を示す。図５（ｄ）は非テクスチャ成分を、図５（ｅ）はテクスチャ成分を示す。骨格／テクスチャ分離法を用いた場合は、輝度差の大きなエッジはテクスチャ成分に保存される。いずれの手法を用いた場合にも、図５（ａ）に示した画像の輝度の大まかな変化パターンを除去したテクスチャ成分を得ることができる。
【００２３】
微細テクスチャ生成部４０３は、テクスチャ画像４０５から、微細画像２０４を生成する。微細画像２０４は、微細画像２０４を生成する領域ごとに、テクスチャ画像４０５内の対応位置近傍を探索することで生成する。具体的には、（ａ）微細画像２０４の画素値が求まっていない処理対象画素を順次選択し（ｂ）処理対象画素の微細画像２０４での位置と対応するテクスチャ画像４０５での位置の近傍領域を探索範囲とし、（ｃ）処理対象画素の近傍で既に画素値が求まっている微細画像２０４の画素の画素値の変化パターンと類似する、画素値の変化パターンとなる探索範囲内の画素の画素値を、処理対象画素の画素値に割り当てることで生成する。
【００２４】
図６は、テクスチャ画像４０５と微細画像２０４との関係を説明する図である。テクスチャ画像４０５のサイズをw × h [pixel]、微細画像２０４の画像サイズをW × H [pixel]とし、微細画像の生成領域が座標(Ik, Jk)であった場合、テクスチャ画像４０５内の対応点(ik, jk)は式（１）で求められる。
【数１】
【００２５】
探索領域は、テクスチャ画像４０５の座標(ik, jk)を中心とする近傍領域を探索領域とする。探索領域の大きさは、10x10[pixel]から40x40[pixel]程度の小領域とする。
【００２６】
テクスチャ画像４０５から、テクスチャ画像４０５よりも高い解像度の微細画像２０４への拡大の際に、一般的に用いられるバイリニア補間法やバイキュービック補間法等の単純な拡大処理を適用すると、高周波なテクスチャ成分情報が消失してしまい高精細な画像を得ることができない。本実施形態では、テクスチャ画像４０５から微細画像２０４を生成する手法として、CG分野（コンピュータグラフィックスの分野）で提案されているテクスチャ合成手法を用いている。以下、詳細にテクスチャ合成手法について説明する。
【００２７】
図７、図８は、微細画像２０４を生成する手法を説明するための図である。
【００２８】
微細画像２０４中で生成対象とする処理対象画素の座標(Ik, Jk)は左上から右下へ逐次移動させる。図７に示すように、生成対象座標(Ik, Jk)の近傍領域（サイズN×N[pixel]）内で、既に画素値が割り当てられている領域をテンプレート領域とする。
【００２９】
図８に示すように、探索領域内でテンプレート領域と最も画素値の変化パターンが類似する領域を探索する。画素値の変化パターンか最も類似する領域で、テンプレート領域の(Ik, Jk)に該当する画素（図８の斜線画素）の輝度値を微細画像２０４の座標(Ik, Jk)の輝度値に割り当てる。テンプレート領域と最も類似した領域を探索領域中で探索する際には、例えば領域内の画素ごとの誤差の二乗和が最小となる領域を選択する。
【００３０】
図３に戻る。Ｓ３０５では、Ｓ３０４で生成された微細画像２０４を記憶部１０２に保存する。
【００３１】
Ｓ３０６では、Ｓ３０３で画像処理装置１が選択された場合に、参照フレーム１０７を決定する。参照フレーム１０７は、記憶部１０２に保存されている微細画像の生成元フレームの中から選択する。
【００３２】
Ｓ３０７では、処理フレーム１０６から参照フレーム１０７への変化量（以下、動きベクトル）を算出する。動きベクトルは、画素精度で算出しても良いし、１画素よりも細かい精度（サブピクセル精度）で算出しても良い。サブピクセル精度で動きベクトルを算出する方法を図９のフローチャートを参照しながら説明する。
【００３３】
まず、Ｓ３１２で処理フレーム１０６中の１画素を注目画素Ｐに設定する。
【００３４】
次に、Ｓ３１３で参照フレーム１０７において、注目画素Ｐの処理フレーム１０６内での空間的位置と同じ位置を中心として、動き探索範囲を設定する。動き探索範囲は、例えば矩形のブロックである。
【００３５】
次に、Ｓ３１４で探索範囲内の各画素を中心とするブロックと、注目画素を中心とするブロックの画素値パターンの相違度を算出する。以降では、この画素値パターンの相違度をそれぞれのブロックの中心画素間のマッチング誤差と呼ぶものとする。マッチング誤差として、本実施形態ではＳＡＤ値（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いるが、他にもＳＳＤ値（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いることもできる。マッチング誤差が大きいブロック程、注目画素を中心とするブロックの画素値パターンとの相違度が大きい。マッチング誤差を探索範囲内の画素について算出し、マッチング誤差が最小であった探索範囲内の画素位置を画素精度での動きベクトルの示す画素とする。このとき、探索範囲内の全画素を探索する他に、ダイヤモンドサーチを用いて高速化することもできる。動きベクトルを画素精度で算出する際には、Ｓ３１４が終了した後、Ｓ３１７に進む。サブピクセル精度で算出する際には、Ｓ３１５に進む。
【００３６】
Ｓ３１５では、画素精度での動きベクトルを中心にして、次の方法でサブピクセル精度での動きを算出する。まず、Ｓ３１５で水平方向の動きを算出する。画素精度での動きベクトルの示す画素の座標が(x,y)であったとする。すると、画像の水平方向サブピクセル精度の動きベクトルｘsubは、座標(i,j)におけるＳＡＤ値をＳＡＤ(i,j)として、等角直線フィッティングと呼ばれる手法により、次式で求めることができる。
【数２】
【００３７】
図１０は、等角直線フィッティングでサブピクセル推定を行う様子を示した模式図である。図１０の横軸が画像内の座標、縦軸が各座標におけるSAD値を表している。式（２）は、図１０に示されているように、傾きの等しい直線で(x-1,y),(x,y),(x+1,y)の３点におけるＳＡＤ値を結んだときの、直線が交差する位置を求めている。なお、画素値パターンの相違度としてＳＳＤ値を使う時は、パラボラフィッティングと呼ばれる手法により、次の式を使って動きベクトルを算出することが望ましい。
【数３】
【００３８】
図１１は、パラボラフィッティングでサブピクセル推定を行う様子を示した模式図である。
【００３９】
次に、画像の垂直方向についても、同様にサブピクセル精度の動きベクトルｙｓｕｂを求める。以上の処理により、注目画素Pから参照フレーム１０７へのサブピクセル精度での動きベクトルは（x＋xsub，y＋ysub）と算出される。 なお、動きベクトルの算出は１つの注目画素毎に算出する他に、処理対象フレームの小領域毎（ここではブロックとする）にまとめて算出しても良い。例えば、処理対象フレームをブロック分割し、各ブロック単位で動きベクトルの算出を行い、ブロック内の画素の動きベクトルは同じとする。動きベクトルの算出を小領域毎にまとめて行うことで、フレーム内のすべての画素に対して動きベクトルの算出、算出された動きベクトルに関する情報の保持がないため、装置全体の処理にかかる時間・処理量を少なくすることができるため好ましい。
【００４０】
Ｓ３１７では、処理フレーム１０６中の全画素に対して動きベクトルの算出が行われたか否かを判断し、未処理画素がある場合にはＳ３１２に戻り、全画素完了した場合にはＳ３０８に進む。
【００４１】
図３に戻る。Ｓ３０８では、記憶部に記憶されている参照微細画像１０９を、変化量を用いて動き補償することにより、生成微細画像１１０を生成する。生成微細画像１１０の各画素に対して以下の処理を行う。処理フレーム１０６の座標（ｉ，ｊ）から参照フレーム１０７への動きベクトルが（ｘ，ｙ）であった場合、生成微細画像１１０の座標（ｉ，ｊ）の画素値は、参照微細画像１０９の座標（ｉ＋ｘ，ｊ＋ｙ）の画素値とする。なお、Ｓ３０７においてサブピクセル精度で動きベクトルを算出した場合は、参照微細画像１０９を補間することにより画素値を算出する。
【００４２】
Ｓ３０９では、Ｓ３０３で画像処理装置１が選択された場合には、Ｓ３０８で生成された生成微細画像１１０と処理フレーム１０６とを合成して処理結果フレーム１１１を生成し、Ｓ３０３で画像処理装置２が選択された場合には、Ｓ３０４で生成された微細画像２０４と入力フレーム２０３とを合成して出力フレーム２０５を生成する。
【００４３】
Ｓ３１０では、生成した処理結果フレーム１１１または出力フレーム２０５を出力する。
【００４４】
Ｓ３１１では、動画像１０５の全フレームに対する処理が終了したか否かを判定し、終了していない場合にはＳ３０１に移動し、終了している場合には処理を終了する。
【００４５】
本実施形態の画像処理装置によれば、動画像１０５の処理フレーム１０６に対して、他の参照フレーム１０７との動きベクトルに基づき生成微細画像１１０を生成することで、ちらつきを発生させずに各フレームの精細感を向上させることができる。
【実施例２】
【００４６】
本実施形態では、処理フレーム１０６に対して時間軸上で処理フレームよりも前の前フレーム１２０５と時間軸上で後の後フレーム１２０６の２フレームを参照する点が異なる。
【００４７】
図１２は、本実施形態の画像処理装置２０の構成を表すブロック図である。図１の画像処理装置１と比較し、取得部１２０１と探索部１２０３の処理内容が変わり、ブレンド部１２０４をさらに有する点が異なる。なお、上述した第一の実施例と同等の構成については、同一の符号を付与し、その説明を省略する。
【００４８】
取得部１２０１は、動画像１０５から、任意の処理フレーム１０６と、処理フレーム１０６より前の時刻に存在する前フレーム１２０５と、処理フレーム１０６より後時刻に存在する後フレーム１２０６を読み込む。
【００４９】
探索部１２０３は、処理フレーム１０６と前フレーム１２０５から第１変化量を推定し、処理フレーム１０６と後フレーム１２０６から第２変化量を推定する記憶部１０２に記憶されている第１微細画像１２０９を第１変化量により動き補償することで第１仮画像１２１１を生成し、記憶部１０２に記憶されている第２微細画像１２１０を第２変化量により動き補償することで第２仮画像１２１２を生成する。第１微細画像１２０９は生成部２０１で前フレーム１２０５から生成した微細テクスチャ成分であり、第２微細画像１２１０は生成部２０１で後フレーム１２０６から生成した微細テクスチャ成分である。
【００５０】
ブレンド部１２０４は、第１仮画像１２１１と第２仮画像１２１２とをαブレンドを用いて合成し、生成微細画像１１０を生成する。
【００５１】
図１３は、画像処理装置２０の動作を示すフローチャートである。Ｓ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０９〜Ｓ３１１は図３の説明と重複するため省略する。
【００５２】
Ｓ１３０１では、処理フレーム１０６に適用する処理を決定する。処理には、画像処理装置１で行う処理と、画像処理装置２で行う処理がある。記憶部１０２にすでに、処理フレーム１０６の前時刻と後時刻のフレームそれぞれから生成した微細画像が少なくとも1枚ずつ記憶されている場合には画像処理装置１を選択する。ただし、前時刻と後時刻のフレームまでの距離が大きい場合には画像処理装置２を選択してもよい。また、周期を決定する変数Ｎを設定し、ｋＮ（ｋは自然数）フレーム目に画像処理装置２を選択し、それ以外のフレームでは画像処理装置１を選択してもよい。この場合、あらかじめすべてのｋＮフレーム目を先に処理してもよい。
【００５３】
Ｓ１３０２では、Ｓ１３０１で画像処理装置１が選択された場合に、前フレーム１２０５と後フレーム１２０６を決定する。記憶部１０２に保存されている微細画像の生成元フレームで、処理フレーム１０６よりも前時刻のフレームの中から前フレームを、後時刻のフレームから後フレームをそれぞれ選択する。
【００５４】
Ｓ１３０３では、処理フレーム１０６から前フレーム１２０５への変化量である第１変化量と、後フレーム１２０６への変化量である第２変化量をそれぞれ算出する。それぞれの算出方法は図９と同様である。
【００５５】
Ｓ１３０４では、記憶部１０２に記憶されている第１変化量と第２変化量を読み取り、第１微細画像１２０９と第１変化量から第１仮画像１２１１を推定し、記憶部１０２に記憶されている第２微細画像１２１０と第２変化量から第２仮画像１２１２を推定する。第１微細画像１２０９は生成部２０１で前フレーム１２０５から生成した微細テクスチャ成分であり、第２微細画像１２１０は生成部２０１で後フレーム１２０６から生成した微細テクスチャ成分である。微細画像の生成方法はＳ３０８と同様である。
【００５６】
Ｓ１３０５では、Ｓ１３０４で生成された第１仮生成微細画像１２１１と第２仮画像１２１２とをαブレンドを用いて合成し、生成微細画像１１０を生成する。式（４）は、前フレームである画像Ａの座標（ｉ，ｊ）における画素値valueＡと後フレームである画像Ｂの座標（ｉ，ｊ）における画素値valueＢをαブレンドし、処理フレームである画像Ｃの座標（ｉ，ｊ）における画素値valueＣを算出する式である。
【数４】
【００５７】
αは０以上１．０以下の値であり、ある尺度を用いた場合の重みとする。例えば、フレーム間の時間差を尺度とする場合には、時間差が大きいほど小さな値をとる。すなわち、画像Ａと画像Ｃの時間差よりも、画像Ｂと画像Ｃの時間差が長いとき、αは０．５未満の値をとる。また、動きベクトル推定精度の信頼度を尺度とする場合には、信頼度が大きいほど大きな値とする。また、Iピクチャ、Pピクチャ、Ｂピクチャなど、後フレームと前フレームの画質信頼度が異なる場合には、画質信頼度が高いほど大きな値とする。また、αは画面一括で決定してもよいし、画素ごとに変えてもよい。
【００５８】
また、探索部で算出した第１変化量と第２変化量に基づく動きベクトルを用いてもよい。この場合、画素と参照フレーム中で対応する点とのベクトルのユークリッド距離に応じて、距離が大きいほど小さな値をとるようにする。
【００５９】
本実施形態の画像処理装置によれば、処理フレーム１０６の前後のフレームから動きベクトルを推定し、距離を重みとした重みつき和により生成微細画像１１０を推定するため、より高い精度でのちらつき抑制効果が期待できる。
【００６０】
（変形例）
実施例１及び実施例２では、主に入力動画像サイズと出力動画像サイズが等しい等倍処理について述べたが、本発明はこれに限らず、入力動画サイズと出力動画サイズが異なる場合にも適用することができる。本実施形態では、入力動画像サイズよりも出力動画像サイズの方が大きい拡大処理について説明する。なお、上述した実施例と同等の構成については、同一の符号を付与し、その説明を省略する。
【００６１】
図１４は、本実施形態の画像処理装置３０の構成を表すブロック図である。図１の画像処理装置１と比較し、仮拡大部１４０１をさらに有する点が異なる。
【００６２】
取得部１０１は、入力された動画像１０６から任意の画像を処理フレーム１０６と参照フレーム１０７とを設定し、処理フレーム１０６を仮拡大部１４０１に送る。
【００６３】
仮拡大部１４０１は処理フレーム１０６を拡大し、拡大画像１４０２を生成する。
【００６４】
合成部１０４は、生成微細画像と拡大画像１４０２を合成して処理結果フレームを出力する。
【００６５】
図１５は本実施形態の画像処理装置３０の動作を示すフローチャートである。
【００６６】
Ｓ３０１では、入力された動画像１０５から処理対象とする処理フレーム１０６を決定する。処理フレーム１０６は未処理フレームの中から任意に選択することが可能である。
【００６７】
Ｓ１５０１は、処理フレーム１０６を拡大した拡大画像１４０２を生成する。画像を拡大する方法として、任意の画像拡大手法を用いることか可能である。例えは、最近傍補間 法(あるいは、ニアレストネイバー法)、線形補間法、及び、キュービックコンボリュー ション法(バイキュービック補間法)など、画素値を補間して画像を拡大する方法を用いればよい。好ましくは、できるだけぼけの少ない画像を取得可能な画像拡大手法を用いると、画質の劣化を防ぐためには望ましい。
【００６８】
Ｓ３０２では、Ｓ３０１で決定した処理フレーム１０６を画像データとして読み込む。
【００６９】
Ｓ３０２では、Ｓ１５０１で拡大された仮拡大画像と同じフレームを処理フレームとして設定してもよい。
【００７０】
Ｓ３０３からＳ３０７は実施例１と同様であるが、処理フレーム１０６として仮拡大部１４０１で拡大した拡大画像１４０２を設定、または参照フレーム１０７を仮拡大部１４０１で拡大した画像から選択することも可能である。
【００７１】
Ｓ３０８では、記憶部に記憶されている参照微細画像１０９を、変化量を用いて動き補償することにより、生成微細画像１１０を生成する。入力画像よりも画素数の多い拡大画像を合成結果の出力画像とする場合、テクスチャ画像の仮拡大画像から生成した微細画像、処理フレームから生成した微細画像、処理フレームを縮小して生成した微細画像を用いてもよい。
なお、テクスチャ成分を抽出する画像が、合成の結果のフレームサイズより小さいほうが、処理フレームサイズのテクスチャよりも周波数が高くなり、画質の精細感が向上する。たとえば、実施例１のように画像を縮小させてテクスチャ画像を生成する、処理対象のフレームからテクスチャ画像を生成して、より画素数の多い拡大画像に合成する、または画像を拡大させてテクスチャ画像を生成し、拡大画像に合成する、などの方法が、画像中のテクスチャのきめ細かさを向上させるのでよい。
【００７２】
本発明は、上記の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７３】
上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【符号の説明】
【００７４】
１０１、１２０１・・取得部、１０２・・・記憶部、１０３、１２０３・・・探索部、１０４・・・合成部、１２０４・・ブレンド部、１４０１・・・仮拡大部
【特許請求の範囲】
【請求項１】
複数の画像からなる動画像を取得する取得部と、
前記動画像中で処理の対象となる処理画像中の画素を順次注目画素として設定し、前記処理画像とは異なる参照画像中のテクスチャ成分を抽出した微細画像を記憶する記憶部と、
前記注目画素の画素位置を第１の位置とし、前記微細画像中の第１の位置に対応する第２の位置を所定範囲内から探索する探索部と、
前記微細画像中の前記第２の位置の画素値を前記注目画素の画素値に合成する合成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶部は、前記処理画像よりも前の画像と、前記処理画像よりも後の画像とを参照画像として選択し、
前記探索部は、前記第１の位置に対応する前記前の画像中の第３の位置と前記第１の位置に対応する前記後の画像中の第４の位置とを探索し、
前記合成部は前記第３の位置の画素値と前記第４の位置の画素値と前記注目画素とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成部は前記第３の位置の画素値と前記第４の位置の画素値に重みを与える制御部を有し、
前記制御部は前記処理画像と前記後の画像との時間差が大きい場合には、前記時間差に応じた小さな重みを前記第３の位置の画素値に加え、前記時間差が小さい場合には前記第４の位置に前記時間差に応じた大きな重みを前記第４の位置の画素値に加えることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記参照画像のテクスチャ成分をテクスチャ画像として生成する生成部と、
前記テクスチャ画像内で、前記注目画素の位置と対応する前記テクスチャ画像内の位置を含む所定の探索範囲内から、前記テクスチャ画像の画素の画素値の変化パターンと類似する画素値の変化パターンをその周囲に有する類似画素を探索して、前記類似画素の画素値を前記画素の画素値に割り当て、微細画像を生成する微細画像生成部とを更に有し、
前記記憶部は、前記微細画像生成部で生成された微細画像を記憶することを特徴とする請求項１乃至３いずれか１項記載の画像処理装置。
【請求項５】
前記生成部は、前記処理画像の画像を縮小してテクスチャ画像を生成することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記生成部は、前記処理画像を等倍または拡大してテクスチャ画像を生成すること特徴とする請求項４記載の画像処理装置。
【請求項７】
前記処理画像よりも画素数の多い仮拡大画像を生成する仮拡大部を更に有し、
前記設定部は、前記仮拡大画像を前記処理画像として設定することを特徴とする請求項５あるいは６記載の画像処理装置。
【請求項８】
前記合成後の画像は処理対象の画素数と等しい画像であることを特徴とする請求項５記載の画像処理装置。
【請求項９】
前記合成結果を表示する表示部を更にを有することを特徴とする請求項１乃至８いずれか一項記載の画像処理装置。
【請求項１】
複数の画像からなる動画像を取得する取得部と、
前記動画像中で処理の対象となる処理画像中の画素を順次注目画素として設定し、前記処理画像とは異なる参照画像中のテクスチャ成分を抽出した微細画像を記憶する記憶部と、
前記注目画素の画素位置を第１の位置とし、前記微細画像中の第１の位置に対応する第２の位置を所定範囲内から探索する探索部と、
前記微細画像中の前記第２の位置の画素値を前記注目画素の画素値に合成する合成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶部は、前記処理画像よりも前の画像と、前記処理画像よりも後の画像とを参照画像として選択し、
前記探索部は、前記第１の位置に対応する前記前の画像中の第３の位置と前記第１の位置に対応する前記後の画像中の第４の位置とを探索し、
前記合成部は前記第３の位置の画素値と前記第４の位置の画素値と前記注目画素とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成部は前記第３の位置の画素値と前記第４の位置の画素値に重みを与える制御部を有し、
前記制御部は前記処理画像と前記後の画像との時間差が大きい場合には、前記時間差に応じた小さな重みを前記第３の位置の画素値に加え、前記時間差が小さい場合には前記第４の位置に前記時間差に応じた大きな重みを前記第４の位置の画素値に加えることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記参照画像のテクスチャ成分をテクスチャ画像として生成する生成部と、
前記テクスチャ画像内で、前記注目画素の位置と対応する前記テクスチャ画像内の位置を含む所定の探索範囲内から、前記テクスチャ画像の画素の画素値の変化パターンと類似する画素値の変化パターンをその周囲に有する類似画素を探索して、前記類似画素の画素値を前記画素の画素値に割り当て、微細画像を生成する微細画像生成部とを更に有し、
前記記憶部は、前記微細画像生成部で生成された微細画像を記憶することを特徴とする請求項１乃至３いずれか１項記載の画像処理装置。
【請求項５】
前記生成部は、前記処理画像の画像を縮小してテクスチャ画像を生成することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記生成部は、前記処理画像を等倍または拡大してテクスチャ画像を生成すること特徴とする請求項４記載の画像処理装置。
【請求項７】
前記処理画像よりも画素数の多い仮拡大画像を生成する仮拡大部を更に有し、
前記設定部は、前記仮拡大画像を前記処理画像として設定することを特徴とする請求項５あるいは６記載の画像処理装置。
【請求項８】
前記合成後の画像は処理対象の画素数と等しい画像であることを特徴とする請求項５記載の画像処理装置。
【請求項９】
前記合成結果を表示する表示部を更にを有することを特徴とする請求項１乃至８いずれか一項記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２１０１９７（Ｐ２０１１−２１０１９７Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９８１９（Ｐ２０１０−７９８１９）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]