画像処理装置及びその方法
【課題】高解像度化の処理を高速化できる画像処理装置を提供する。
【解決手段】、仮高解像度画素値算出部101、重要度算出部102、対応位置算出部103、画素値変換部104を備え、基準フレームの各画素の画素値に基づく内挿処理によって、仮高解像度画像の各画素の推定画素値を算出し、基準フレームの各画素に重要度設定し、動画像の一枚のフレームの各画素を1つずつ注目画素として順次設定し、各注目画素に対応する基準フレーム中の対応位置を小数精度で算出し、各推定画素値を補正して補正画素値をそれぞれ算出し、対応位置が含まれる部分領域に対応する重要度が大きいほど、探索位置の数を増やす。
【解決手段】、仮高解像度画素値算出部101、重要度算出部102、対応位置算出部103、画素値変換部104を備え、基準フレームの各画素の画素値に基づく内挿処理によって、仮高解像度画像の各画素の推定画素値を算出し、基準フレームの各画素に重要度設定し、動画像の一枚のフレームの各画素を1つずつ注目画素として順次設定し、各注目画素に対応する基準フレーム中の対応位置を小数精度で算出し、各推定画素値を補正して補正画素値をそれぞれ算出し、対応位置が含まれる部分領域に対応する重要度が大きいほど、探索位置の数を増やす。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する画像処理装置及びその方法に関する。
【背景技術】
【0002】
画素数が多いテレビやディスプレイなどの表示装置が普及してきている。表示装置の画素数が多ければ、画像の細かい部分まで表示できる。すなわち、高解像度な画像を表示できる。
【0003】
ところが、デジタルの画像データを高解像度化するためには、画素数を増やす必要がある。そのため、画素数を増やすことを画像の高解像度化と言う場合がある。
【0004】
一方、画像の拡大と高解像度化を同じ意味で利用したり、画像の縮小と低解像度化を同じ意味で利用したりする場合がある。
【0005】
そのため以降の説明において、低解像度画像と高解像度画像を区別して図示するために、低解像度画像を小さな画面で、高解像度画像を大きな画面で表現する場合がある。
【0006】
そして、表示装置は、画像を表示するために、画像データの画素数をパネルの画素数に変換する。画素数を増やす高解像度化の変換においては、線形内挿法よりも鮮鋭な画像が得られる方法として、再構成型超解像が知られている(例えば、特許文献1、非特許文献1参照)。
【0007】
「再構成型超解像」は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【0008】
より詳細に再構成型超解像を説明する。
【0009】
この方法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。
【0010】
例えば、移動する自動車を撮影した動画像の時間的に前後する3枚のフレームを低解像度画像として用い、これらの3枚のフレームから1枚のフレームを基準フレームとして高解像度化する。これを縦2倍、横2倍に高解像度化する。
【0011】
未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、再構成型超解像では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。
【0012】
具体的には、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。
【0013】
探索は小数精度で行う(例えば、非特許文献2参照)。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Aと、基準フレームに対応する画面の点Bとが同じ被写体の同一の位置として対応づけられる。この対応は、点Aを始点、点Bを終点とする動きベクトルで表される。小数精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。
【0014】
このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。
【0015】
次に、各動きベクトルの終点に始点の画素値を標本値として配置する。
【0016】
最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。
【0017】
この手法としては、重ね合わせ法(nonuniform interpolation)やPOCS法などが知られている(例えば、非特許文献1参照)。
【特許文献1】特開2000−188680公報(第3−7頁、図22)
【非特許文献1】S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
【非特許文献2】清水,奥富,「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II,電子情報通信学会,2002年12月,第85巻,第12号,p.1791−1800
【発明の開示】
【発明が解決しようとする課題】
【0018】
再構成型超解像は、鮮鋭な画像を得られる手法であるが、計算コストが高いという問題点がある。
【0019】
そのため、受信した画像データをテレビやパソコンのディスプレイといった表示装置に表示するまでに、高解像度化の処理を完了できない場合がある。
【0020】
そこで、本発明は、上記問題点に鑑み、高解像度化の処理を高速化することができる画像処理装置及びその方法を提供する。
【課題を解決するための手段】
【0021】
本発明は、n個の画素からなる動画像または静止画像を入力する入力部と、前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定部と、前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出部と、前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出部と、前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換部と、前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出部において前記探索範囲を広くするという第1制御、(2)前記位置算出部において算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出部において前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換部においてこの設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換部において、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御部と、前記変換部から最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力部と、を有する画像処理装置である。
【発明の効果】
【0022】
本発明によれば、重要度に応じて、重要な部分の画質をできるだけ劣化させずに、計算コストを削減できる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照しながら本発明の実施形態に係る画像を高解像度化する画像処理装置である高解像度化装置について説明する。
【0024】
(第1の実施形態)
以下、第1の実施形態の高解像度化装置100について図1〜図15、図17、図18に基づいて説明する。
【0025】
高解像度化装置100には、低解像度画像データ(以下、単に低画像という)105が入力される。高解像度化装置100は、その低画像105よりも画素数が多い高解像度化画像データ(以下、単に高画像という)109を作成して出力する。
【0026】
(1)高解像度化装置100の構成
図1は、本実施形態の高解像度化装置100のブロック図である。
【0027】
高解像度化装置100は、仮高解像度画素値算出部101、重要度算出部102、対応位置算出部103、画素値変換部104を備える。
【0028】
各部101〜104の機能は、コンピュータに格納されたプログラムによっても実現可能である。
【0029】
(2)画像データの内容
ここで、低画像105は、画面に配置された画素毎の輝度や色を表す値であり、動画でも静止画でも構わない。例えば、テレビ放送を受信した画像データ、HDDに保存された画像データ、ビデオカメラから取り込んだ画像データ、写真データなどである。静止画は、フレームが1枚のプログレッシブ形式の動画と考えることができるため、以降は、動画の場合を例にとって説明する。
【0030】
低画像105がプログレッシブ形式の動画の場合、低画像105は少なくとも1フレームの画像データであり、そのうちの基準フレームを高解像度化したものが高解像度化画像データ109である。基準フレームを逐次ずらし、出力された高解像度化画像データ109を連結すれば、高解像度な動画を作成できる。
【0031】
なお、低画像105がインタレース形式の動画の場合には、1フィールドを、画素の欠落した1フレームとみたてる。
【0032】
(3)仮高解像度画素値算出部101
仮高解像度画素値算出部101には、低画像105が入力される。
【0033】
仮高解像度画素値算出部101は、低画像105のうち1フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度化画像データ(以下、単に仮高画像という)106の推定画素値を算出し、仮高画像106を画素値変換部104に渡す。
【0034】
(4)重要度算出部102
重要度算出部102には、低画像105が入力される。
【0035】
重要度算出部102は、低画像105の基準フレームの画素毎に重要度107を算出し、画素値変換部108に渡す。
【0036】
(4−1)重要度の内容
重要度は、画面の部分領域、例えば画素が重要なほど値が大きくなるように設定する。この場合には、例えば、重要度の基準値を定めておき、重要なものほどこの基準値より大きい値を設定する。
【0037】
以下、基準フレームの部分領域が、重要なほど値を大きく設定する場合を説明する。
【0038】
重要度は、基準フレームの部分領域が注意をひくか否かどうかにより決定する。例えば、非特許文献4(L. Itti, et.al. "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, Nov. 1998, p.1254-1259)に記載の方法を利用すれば、色、輝度、周波数成分やエッジの方向が周囲と異なっているかどうかなどにより、目立つ部分ほど大きな値になる値を算出できる。これを重要度として利用できる。この方法の全てではなく、一部を利用して算出しても良い。
【0039】
これにより、人が着目しやすい画素に大きな値が設定される。あるいは、画面の中央である場合に大きな値を設定し、端に近付くほど小さくなるように設定する。これは、人間が画面の中央に着目する特徴を反映した重要度である。
【0040】
なお、部分領域は、一画素に限らず、複数の画素を含む領域でもよい。
【0041】
また、顔が写っている部分では大きな値を設定し、写っていない部分では小さな値を設定する。これは、人間が顔に敏感である特徴を反映した重要度である。顔は、顔検出(例えば、特許文献2(特開2004−206665号公報)参照。)により検出できる。
【0042】
また、重要度を設定する画素の画素値が肌色らしい画素ほど大きな値を設定する。これは、人間が人間の肌に敏感である特徴を反映した重要度である。
【0043】
また、その画素のフレーム間差分が小さいほど大きな値を設定する。フレーム間差分が大きい部分は急激に変化した部分であるため、その部分を重要だとみなさないことに相当する。フレーム間差分が0の部分より少しだけ差分がある部分を特に大きな値にしても良い。なお、フレーム間差分が小さい中でも、0に近い部分は注目されやすい部分であり、特別に大きな値にしてもよい。
【0044】
また、重要度を設定する画素が有彩色である場合に大きな値を設定し、その画素が無彩色であれば小さな値を設定する。これは、無彩色よりも有彩色の方が人間の目を引き付ける性質を反映した重要度である。
【0045】
また、重要度を設定する画素の彩度が高いほど大きな値を設定する。これは、低彩度の色よりも高彩度の色の方が人間の目を引き付ける性質を反映した重要度である。
【0046】
また、重要度を設定する画素の輝度が高いほど大きな値を設定する。これは、輝度が高い方が人間の目を引き付ける性質を反映した重要度である。
【0047】
また、重要度を設定する画素の色相が暖色系であれば大きな値を設定し、寒色系であれば低い値を設定する。これは、寒色系よりも暖色系の方が人間の目を引き付けやすいという性質を反映した重要度である。
【0048】
また、重要度を設定する画素について、上記で説明した値を複数計算し、それらを重み付き加算して重要度を求めて良い。あるいは、これらの値を画面空間でぼかし、画素間で急激に変化しないようにしても良い。
【0049】
ここでは、重要度算出部102に、低画像105を入力する例を説明したが、低画像105の基準フレームのみから計算できる重要度107を利用する場合、その基準フレームのみを入力するようにすると良い。
【0050】
(4−2)具体例1
顔検出に基づく重要度の値の具体的な計算方法の一例を説明する。
【0051】
まず、重要度算出部102に、基準フレームのみが入力される。
【0052】
次に、顔検出により、顔の領域が検出される。
【0053】
最後に、その顔の領域には重要度255が設定され、それ以外の領域には重要度0が設定される。
【0054】
このように、基準フレームの領域に重要度が設定される。各画素に重要度を設定しても良い。これにより、顔という重要な部分ほど高い値が設定され、それ以外の部分に低い値が設定される。
【0055】
(4−3)具体例2
肌色らしさに基づく重要度の値の具体的な計算方法の一例を説明する。ここでは、画素値がR、G、Bの3つの成分からなり、各成分が0から255の値をとるものとする。
【0056】
予め、多くの人物の画像から、肌色の画素値の平均を計算しておく。その平均との各成分の差分をdR、dG、dBで表す。((255−dR)+(255−dG)+(255−dB))/3を各画素の重要度として設定する。
【0057】
これにより、肌色という重要な部分ほど高い値が設定され、それ以外の部分に低い値が設定される。
【0058】
(4−4)具体例3
前述の顔検出に基づく重要度の一例と前述の肌色らしさに基づく重要度の一例を重み付き加算することにより重要度を計算する一例を説明する。
【0059】
前述の顔検出に基づく、ある画素での重要度をaで表し、前述の肌色らしさに基づく、ある画素での重要度をbで表す。その画素での重要度を(a+b)/2とする。
【0060】
これにより、顔でかつ肌色の部分の重要度が最も高く設定され、顔でも肌色でもない部分の重要度が最も低く設定される。
【0061】
(4−5)まとめ
高解像度化装置100では、こうして算出した重要度が絶対的に大きな部分、あるいは、相対的に大きな部分を重要とみなして処理をする。
【0062】
なお、基準フレームの部分領域が、人の注意を引かないほど、重要度が小さくなるように設定しても良い。
【0063】
(5)対応位置算出部103
対応位置算出部103には、低画像105が入力される。
【0064】
対応位置算出部103は、低画像105に含まれる1以上のフレームの中の複数の画素を1つずつ注目画素として順次設定する。
【0065】
そして、この注目画素が基準フレームへ対応する少なくとも1以上の位置(以下、対応位置という)を小数精度で算出し、対応位置情報108として画素値変換部104に渡す。ここで、対応位置とは、その画素を中心とした周囲の画素値パターンとその対応位置を中心とした画素値パターンが類似した位置のことをいう。
【0066】
対応位置を小数精度で算出する第1の方法としては、例えば、低画像の画素間隔で探索範囲を設定し、それぞれのマッチング誤差を求め、連続な対称関数を当てはめることで、マッチング誤差が極小となる小数精度の位置を求める方法(マッチング誤差補間法)や、低画像を拡大し、この拡大された画像における画素間隔で対応位置を求める方法(オーバーサンプリング法)がある。
【0067】
また、小数精度での対応位置を算出する第2の方法として、カメラにジャイロを搭載して、カメラの揺れを測定することで、物理的に小数精度の対応位置を検出することもできる。
【0068】
(6)画素値変換部104
画素値変換部104には、低画像105、仮高画像106、重要度107、及び、対応位置情報108が入力される。
【0069】
画素値変換部104は、低画像105に順次、注目画素を設定し、その注目画素毎に処理する。
【0070】
各注目画素に対し、対応位置情報108の全対応位置、あるいは、重要度107に応じて選択した対応位置毎に処理する。
【0071】
対応位置毎に、注目画素の画素値と、仮高画像106の推定画素値と対応位置情報108を用いて生成した試算画素値との誤差が小さくなる方向に、仮高画像106の推定画素値を変換する。
【0072】
この画素値変換を、順次設定される注目画素について繰り返し行う。繰り返し回数は、予め定めておいても良いし、重要度107に応じて設定しても良い。
【0073】
画素値変換の方法としては、例えば、POCS法やIterative Back-Projection法(非特許文献1のp.29、p.31参照)を利用する。得られた画像データを高解像度化画像データ109として出力する。
【0074】
このように、重要度107に応じて、変換の回数を減らしたり、対応位置情報108の数を減らしたりすることにより、重要な画素の画質をできるだけ劣化させずに、計算コストを削減できる。
【0075】
(7)高解像度化装置100の動作
図2は、高解像度化装置100が入力された低画像105から高画像109を出力するまでの動作を説明するためのフローチャートである。以下では、高画像109の作成方法について説明する。
【0076】
(7−1)ステップS201
ステップS201では、仮高画像106を生成する。
【0077】
具体的には、図1の仮高解像度画素値算出部101において、低画像105のうち1フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高画像106の推定画素値を算出する。
【0078】
この内挿処理としては、3次畳み込み内挿法(非特許文献3(高木、下田監修「画像解析ハンドブック」東京大学出版会)参照。)などを用いることができる。この仮高画像106は、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしている。
【0079】
(7−2)ステップS202
ステップS202では、低画像105のうちの上記基準フレームの各画素に、上記で説明したように重要度算出部102で重要度を設定する。
【0080】
(7−3)ステップS203
ステップS203では、画面における対応位置を算出する。
【0081】
具体的には、図1の対応位置算出部103において、低画像105に含まれる1以上のフレームの中の複数の画素を1つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも1以上の対応位置情報108を小数精度で算出する。対応位置情報108の小数精度での算出処理は、低画像105を基にマッチング誤差補間法やオーバーサンプリング法で算出したり、カメラに搭載されたジャイロによって検出したりできる。
【0082】
(7−4)ステップS204
ステップS204では、仮高画像106の推定画素値を上記で説明したように画素値変換部104で変換する。
【0083】
(7−5)ステップS205
ステップS205では、重要度107に応じた繰り返し回数を終了しているかどうか判定する。
【0084】
具体的には、図1の画素値変換部104における変換処理が重要度107に応じた繰り返し回数だけ終了したかどうかを判定し、NOであれば、ステップS204に戻り、YESであれば、仮高画像106を高画像109として出力して、終了する。
【0085】
(8)低画像105、基準フレーム、高画像109の関係
図1の対応位置算出部103、画素値変換部104の動作について詳しく説明するために、図3〜図8を用いて、低画像105、基準フレーム、高画像109の関係についてまず説明する。
【0086】
(8−1)図3の説明
図3は、低解像度な動画から、高解像度な動画を生成する様子を説明する図である。 図3の例では、低解像度な動画のうちの、第3、4、5フレームを低画像105とし、基準フレームを第4フレームとし、基準フレームを高解像度化した高画像109を生成している。基準フレームを順次ずらし、その基準フレームを含むように低画像105を設定することにより、高解像度な動画の各フレームが順次、生成される。
【0087】
(8−2)図4の説明
図4は、低画像105が基準フレームのみからなる場合に、低解像度な動画から、高解像度な動画を生成する様子を説明する図である。
【0088】
この場合、フレーム内処理のみで拡大処理を行っている。静止画を高解像度化する場合も、入力される低解像度画像は1枚だけなので、これを基準フレームに設定し、その基準フレーム1枚だけを用いて高解像度化の処理をする。
【0089】
静止画は1フレームのみからなる動画と考えて処理すれば良い。そのため、静止画をフレームと表記する場合がある。
【0090】
(8−3)図5の説明
図5は、低解像度画像フレーム(以下、低画像フレームという)の画面501と、画面501におけるある画素502と、画素502の中心の位置503を示す図である。
【0091】
後述の図6の高解像度画像フレーム(以下、高画像フレームという)の画面601における画素の位置と区別するために、低画像フレームの画面501における画素の位置を黒丸で示した。
【0092】
画像は元来、画面空間において輝度が連続的に分布しているものである。しかし、ここで扱うデジタル画像データの場合は、図5に示したように、画面空間に離散的な位置に画素を配置し、その輝度だけでその周囲の位置の輝度を代表させる。図5では、画面501を横6列、縦4行の24個の正方形に分割し、それら正方形がそれぞれ画素である。画素の1つが画素502である。正方形、すなわち、画素の中心を、画素の位置、あるいは、標本点と呼ぶ。画素502の位置が、位置503である。各画素が持つ、輝度や色を表す値の代表値を画素値と呼ぶ。
【0093】
(8−4)図6の説明
図6は、図5に示した低画像フレームの解像度を4倍(横方向に2倍、縦方向に2倍)に高解像度化した図であり、高画像フレームの画面601と、画面601におけるある画素602と、画素602の中心の位置603を示す図である。
【0094】
低画像フレームの画面501における画素の位置と区別するために、高画像フレームの画面601における画素の位置を白丸で示した。
【0095】
高解像度化率が縦横それぞれ2倍であるため、高画像フレームの画面における画素の位置の間隔は、低画像フレームの画面における画素の位置の間隔の縦横それぞれ1/2になる。
【0096】
(8−5)図7の説明
図7は、図5に示した低画像フレームの画素を図6に示した高画像フレームと同じ間隔で示した図である。
【0097】
この場合、低画像フレームの大きさは、高画像フレームの大きさよりも小さくなる。画像データに、縦方向の画素数、横方向の画素数、各画素の画素値に関する情報を持たせ、画素の大きさや間隔に関する情報を持たせない場合、図5に示した低画像フレームを表す画像データと、図7に示した低画像フレームを表す画像データも同じになる。
【0098】
そこで、低画像フレームと高画像フレームを区別しやすいように、本書では、低画像フレームの画面の大きさを高画像フレームの画面の大きさよりも小さく図示する場合がある。
【0099】
(8−6)図8の説明
図8は、低画像フレームの画素の標本点を黒丸で、高画像フレームの画素の標本点を白丸で示した図である。
【0100】
高解像度化の処理は、黒丸の標本点に与えられた画素値を元にして、白丸の標本点の画素値を求める処理である。
【0101】
その際、低解像度画像のうちの基準フレームだけでなく、例えば、その前または後の時刻のフレームなどの低解像度画像データを用いても良い。それにより、さらに鮮鋭な高解像度化を行うことができる。
【0102】
(9)対応位置算出部103の説明
図1の対応位置算出部103及び図2のステップS203の画面空間における対応位置を算出する動作について、図9〜図14を用いて詳細に説明する。
【0103】
図9は、移動する自動車を撮影した低解像度な動画のうち、時刻が前後する2枚のフレーム901、902を示した図である。ここで、これら低画像フレームのうち、低画像フレーム902を基準フレームとして高解像度化する場合を説明する。
【0104】
図1の対応位置算出部103及び図2のステップS203では、低画像フレーム901の中の注目画素903に対して、その位置904が基準フレーム902のどの位置に対応するかを画素間隔より細かい小数精度で算出する。この対応する位置を対応位置と呼ぶ。
【0105】
なお、低画像フレーム901、902は、見やすいように、図5または図7で説明したような横6画素、縦4画素の24画素で示しているが、例えば、SDのテレビ放送から受信した画像データであれば、横720画素、縦480画素の画素数を有する。
【0106】
(9−1)マッチング誤差補間法による対応位置算出部103の説明
図10〜図12を用いて、図1の対応位置算出部103及び図2のステップS203の動作の例として、マッチング誤差補間法を用いた小数精度の対応位置算出方法について説明する。
【0107】
図10に示すように、マッチング誤差補間法では、初めに、ブロックマッチング法のように画素間隔の精度で低画像フレーム901から基準フレーム902へのフレーム間のマッチング誤差を算出する。
【0108】
そのためにまず、注目画素903を中心に低画像フレーム901から数画素四方、例えば5x5画素や3x3画素の矩形のブロック1005を注目画像領域として取り出す。
【0109】
次に、注目画像領域1005と画素値の変化パターンが近い部分を基準フレーム902から探索する。
【0110】
画素間隔で算出するマッチング誤差としては、フレーム間での注目画像領域内の各画素値の差の2乗和であるSSD(Sum of Square Distance)や、各画素値の差の絶対値和であるSAD(Sum of Absolute Distance)などを用いることができる。
【0111】
ここでは、低画像フレーム901に含まれる注目画像領域1005と、基準フレーム902に含まれる画像領域1006とのSADを計算して、注目画素903と画素1007とのマッチング誤差を算出する。
【0112】
同様にして基準フレーム902のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。
【0113】
この各マッチング誤差の中で最小のマッチング誤差を持つ画素が、ブロックマッチング法で算出される対応画素となる。これは、画素間隔、つまり、整数精度での対応位置に相当する。
【0114】
図11は、低画像フレーム901内の注目画素903の対応画素として、基準フレーム902内の画素1110が求まったことを示した図である。図11に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素1110の周り3x3画素について示したグラフである。9個のマッチング誤差のうち、対応画素1110のマッチング誤差が最小となっているのが分かる。
【0115】
まず、横方向についての対応位置の算出について説明する。
【0116】
対応画素1110とその横方向に両隣のマッチング誤差に対称な連続関数1111を当てはめる。対称な連続関数は、放物線や、マッチング誤差の軸に対称な2本の直線を用いれば良い。
【0117】
このようにして当てはめた連続関数が極小となる横位置(白丸で図示)を、小数精度での対応位置1112と呼ぶ。
【0118】
縦方向についても同様に、縦方向の対応位置を算出できる。また、横方向、縦方向の対応位置をそれぞれ別々に算出せずに、対称な曲面を当てはめることで、同時に横方向、縦方向の対応位置を算出することもできる。
【0119】
図12は、上記した操作を施すことによって、小数精度の対応位置が算出されたことを表す図である。
【0120】
図12に示すように、時間的に前後する2枚の低画像フレーム901と基準フレーム902のうち、低画像フレーム901の注目画素903が対応する基準フレーム902の対応画素1110を求め、連続関数を当てはめることにより、注目画素903の標本点904が対応する基準フレーム902の対応位置1213が算出される。
【0121】
(9−2)オーバーサンプリング法による対応位置算出部103の説明
次に、図13及び図14を用いて、図1の対応位置算出部103及び図2のステップS203の動作の例として、オーバーサンプリング法を用いた小数精度の対応位置算出方法について説明する。
【0122】
図13に示すように、オーバーサンプリング法では、初めに、注目画素903の注目画像領域1005を高解像度化して、高解像度な注目画像領域1305を作成する。
【0123】
また、低解像度の基準フレーム902(図9参照)の各画素を高解像度化して、高解像度な基準フレーム1302を作成する。
【0124】
例えば、3次畳込み法、BiCubic法などの内挿法(非特許文献3参照。)を用いて高解像度化することができる。ここでは、9倍(縦横それぞれ3倍)に高解像度化してある。そして、この高解像度な注目画像領域1305と高解像度な基準フレーム1302において、図10でマッチング誤差補間法を説明したように、ブロックマッチング法のように画素間隔の精度で対応画素を算出する。
【0125】
低画像フレームが縦3倍、横3倍に高解像度化された、つまり、画素間隔は1/3になって対応画素が検出されるため、低解像度画素間隔の1/3という細かい精度で、対応位置を検出できることに相当する。
【0126】
図14では、具体的に、オーバーサンプリング法によって、小数精度での対応位置が検出されている。高解像度な注目画像領域1305を用いて、高解像度の画素間隔の基準フレームの画素についてマッチング誤差を算出する。このマッチング誤差が最小となる画素の標本点1414を、注目画素903の標本点904の基準フレームへの小数精度の対応位置として算出する。
【0127】
(10)画素値変換部104の説明
図1の画素値変換部104及び図2のステップS204、S205で行う仮高画像の画素値の変換について、図15を用いて具体例を挙げて詳細に説明する。
【0128】
ここでは、高画像109を所定の処理時間内で作成するために、重要度107に応じて対応位置を選択し、重要度107に応じて変換の回数を決定する場合を例にとって説明する。
【0129】
図15の符号1501は、図1の仮高解像度画素値算出部101で図9の低解像度な基準フレーム902が4倍(縦横それぞれ2倍)に高解像度化された仮高画像フレーム(以下、単に仮高画像フレームという)を表す。この仮高画像フレーム1501の各画素の画素値は、仮高解像度画素値算出部101で求められている。
【0130】
図15の符号1502は、対応位置算出部103で設定したある注目画素を表す。注目画素1502は、低画像中のあるフレームにおいて撮影された画素値を持つ。
【0131】
図15の符号1503(黒丸)は、注目画素1502の対応位置算出部103で算出された対応位置を表す。
【0132】
(10−1)対応位置の決定
画素値の変換として、まず、対応位置算出部103で算出した少なくとも1の対応位置である対応位置情報108の中から、画素値の変換に利用する対応位置を決定する。その決定方法の一例について説明する。
【0133】
後述の説明からわかるように、計算コストは、利用する対応位置の数に比例して高くなる。そこで、重要度107に応じて、低画像105の基準フレームのうち、重要な画素ほど多くの対応位置を利用するように決定する。ここで、重要度107が低画像フレームの各画素に対する値であるのに対し、対応位置が小数精度で求められているため、重要度107からそのままでは対応位置を決定できない。そこで、例えば、重要度107から、対応位置の重要度を内挿法により内挿すると、対応位置の重要度を計算できる。最近傍内挿法の計算コストが比較的小さい。
【0134】
(10−2)確からしさの評価
次に、仮高画像フレーム1501(仮高画像106)の各画素(白丸に位置する画素)の画素値の確からしさを評価するために、仮高画像フレーム1501の各画素(白丸に位置する画素)の画素値から、ある注目画素1502の画素値を試算する。
【0135】
注目画素1502の画素値は、注目画素1502が重なりを持つ9個の仮高画像フレーム1501の画素を基に算出する。
【0136】
例えば、面積比に応じて加重平均して試算できる。仮高画像フレームの画素1504が持つ画素値に対する重みは、注目画素1502の面積を1とした際の矩形1505(斜線部)の面積を重みにすれば良い。矩形1505は、仮高画像フレームの画素1504と注目画素1502の重なり合う部分である。注目画素1502が重なる9個の矩形について、その重なる面積を重みとして、それら9個の画素値から加重平均値を求めることで、仮高画像フレーム1501の画素(白丸に位置する画素)の画素値から、注目画素1502の画素値を試算できる。
【0137】
(10−3)画素値の修正
仮高画像フレーム1501が正確なものであれば、試算された注目画素1502の画素値と、撮影された正しい注目画素1502の画素値は一致するはずである。しかし、通常は、仮高解像度画素値算出部101での、従来のフィルタ処理による拡大では、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしているために一致しない。そこで、最後に、これが一致するように、仮高画像フレーム1501の画素値を加減算すべき修正量を算出し、それにより画素値を修正する。
【0138】
修正量の算出のために、
差分値=(注目画素の撮影された画素値)−(注目画素の試算された画素値)
を算出する。
【0139】
この差分値を、試算した際の重みで分配すると、差分値は0になる。このように修正量を算出するのがPOCS法(非特許文献1のp.29、p.31参照)である。
【0140】
なお、修正量の算出の際に、差分値が0になるように算出するのではなく、差分値が減少する方向に修正量を算出するのが、Iterative Back-Projection法である(非特許文献1のp.29、p.31参照)。
【0141】
POCS法により、重みによって分配された9個の正または負の修正量を、仮高画像フレーム1501の9個の画素値に加算すれば、そのとき計算した注目画素については、差分が0になり、注目画素の撮影された画素値と試算された画素値が一致する。
【0142】
(10−4)繰り返し処理
しかし、別の注目画素の対応位置によっては、これを用いた修正によって、同じ仮高画像フレーム1501の画素値が修正されることがある。この修正処理は、上記の方法で利用すると決定した全対応位置について、逐次的に行い、これを、繰り返す(ステップS205)。
【0143】
もちろん、POCS法ではなく、Iterative Back-Projection法を利用しても良い。この繰り返しにより、次第に、仮高画像フレーム1501は正確なものに近づく。
【0144】
繰り返しにより得られた仮高画像フレーム1501(仮高画像106)を、高画像109として出力する。
【0145】
繰り返し回数は、高画像109の画面全体または1以上の所定のラインを作成する処理が、所定の時間(表示装置がコマ落ちなしに表示するために処理が終了していなければならない時間などの所定の時間)内に終了するように決定する。
【0146】
対応位置の数に比例するため、対応位置1つを利用した処理に要する時間を計測し、画面全体または1以上の所定のラインで利用する対応位置の数で乗算することにより、繰り返しが1回の場合の処理時間を算出することができる。
【0147】
したがって、所定の時間を、繰り返しが1回の場合の処理時間で除算することにより、所定の時間内に収まる繰り返し回数を計算できる。
【0148】
(10−5)まとめ
以上の通り画素値を変換することにより、重要な部分の画質をできるだけ劣化させずに計算コストを削減できる。
【0149】
また、所定の時間内で画面全体、あるいは、1以上の所定のラインの画素の画素値を変換できる。これにより、表示装置にあわせた処理が可能になる。例えば、1/60秒以内に高画像109を出力するようにすれば、1/60秒毎に1フレームを表示する表示装置にあわせられる。あるいは、表示装置のラインバッファの容量に起因して、表示装置が所定の数ラインを受け取らなければならない時間間隔が定まっている場合、高画像109を数ラインを、その時間内に生成し、出力するようにすれば、その表示装置にあわせられる。
【0150】
(10−6)変更例
ここでは、決定した対応位置で全て同じ繰り返し回数を決定する方法を説明したが、対応位置や繰り返し回数の決定方法を変えても良い。
【0151】
例えば、対応位置毎に繰り返し回数を変えても良い。例えば、重要度107により重要な画素ほど繰り返し回数が多くなるようにしても良い。
【0152】
また、対応位置は全対応位置を利用し、繰り返し回数のみを重要度107に応じて決定しても良い。
【0153】
また、繰り返し回数は所定の回数にし、対応位置を重要度107に応じて決定しても良い。
【0154】
(11)自己合同性を利用した対応位置決定方法
対応位置算出部103、ステップS203で対応位置を、被写体のフレーム内(基準フレーム内)の自己合同性を利用して算出する場合について、図17及び図18を用いて説明する。
【0155】
これは、連続する前後のフレームが無い静止画で対応位置を算出する場合にも適用できるし、動画の基準フレーム内で対応位置を算出する場合にも適用できる。
【0156】
(11−1)図17の説明
図17は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。ここでは同じフレーム内の異なる5行のデータをそれぞれ別の折れ線で示した。
【0157】
この図17から、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような同じフレーム内に似た輝度変化を有する画像の性質を、自己合同性と定義する。すなわち、注目画素を含む領域の輝度の配置パターンと、類似性が高い輝度の配置パターンを有する領域とが、自己合同性がある。
【0158】
前後のフレームを利用せず、被写体のフレーム内の自己合同性のみを用いて高解像度化を行う場合、連続する複数の低解像度画像データをメモリで保持する必要がなく、少ないメモリ量で高解像度化を行うことができるという利点がある。
【0159】
この場合、基準フレーム内の複数の画素、例えば、基準フレームのエッジ画素を1つずつ注目画素として順次設定し、注目画素の周辺への1以上の対応位置を小数精度で算出する。これは、低解像度画像データを元にマッチング誤差補間法やオーバーサンプリング法を用いることで算出することができる。
【0160】
(11−2)図18の説明
図18は、縦方向のエッジを持つ被写体1806の低解像度の基準フレーム1801を、自己合同性を用いて高解像度化する例を説明するための図である。
【0161】
符号1802はある注目画素を表し、注目画素1802の位置(標本点)を1803で表す。
【0162】
図2のステップS203では、標本点1803の周りに存在する対応位置(自己合同位置)を算出する。自己合同位置が1ライン上、もしくは、1ライン下にあると仮定して、マッチング誤差補間法や、オーバーサンプリング法にて、小数精度の対応位置(自己合同位置)を求めた結果が、第1の自己合同位置1804、第2の自己合同位置1805である。
【0163】
(11−3)まとめ
このようにして、注目画素、注目画素の画素値、注目画素の基準フレームへの小数精度の対応位置(自己合同位置)を算出すれば、以降、図2のステップS204による仮高解像度画像の画素値の変換を行うことで、鮮鋭な高解像度化を、1フレームのみから高速に行うことができる。
【0164】
(第2の実施形態)
以下、第2の実施形態の高解像度化装置100について図19〜図20に基づいて説明する。なお、第1の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【0165】
(1)高解像度化装置1900の構成
図19は、本実施形態の高解像度化装置1900のブロック図である。
【0166】
本実施形態の高解像度化装置1900では、高解像度化装置100に対し、強調部1901が増えて、高解像度化装置1900が構成される。符号が同じものは、第1の実施形態で説明した通りの動作をする。
【0167】
強調部1901には、低画像105が入力される。強調部1901は、低画像105を強調し、強調したものを低画像105として画素値変換部104に送る。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。
【0168】
処理の流れは、図2に示した処理の流れに対し、ステップS2001がステップS201の前に追加される。なお、ステップS204より前であれば、どこにステップS2001を追加しても良い。
【0169】
(2)高解像度化装置1900の動作
図20に、本実施形態の高解像度化装置1900の処理の流れを示す。
【0170】
ステップS2001では、低画像105を強調する。強調には、上述の通り、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。画像を強調するとノイズをも強調する場合があるため、平坦な部分では強調せず、平坦でない部分だけ強調するようにしても良い。
【0171】
(3)効果
これにより、本実施形態では高解像度化装置1900に入力された低画像105がぼけていても、それを強調したものを利用して高解像度画像データ109を作成するため、高解像度化装置100が出力するものよりも鮮鋭な高解像度画像データ109が生成される。
【0172】
画像の強調よりも画素値の変換の方が、計算コストが高いため、計算コストの削減効果は失われない。
【0173】
したがって、鮮鋭な画像を低い計算コストで作成できる。
【0174】
(第3の実施形態)
以下、第3の実施形態の高解像度化装置1600について図16、図21に基づいて説明する。なお、第1の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【0175】
第1の実施形態や第2の実施形態の高解像度化装置が、LSIなどを利用した並列処理に適した実施形態であったのに対し、本実施形態は条件分岐により無駄な処理を省くのに適した実施形態である。無駄な処理を省くため、PCなどを利用する場合にCPUを占有せずに済む。
【0176】
(1)高解像度化装置1600の構成
図16は、本実施形態の高解像度化装置1600のブロック図である。
【0177】
重要度算出部1601には、重要度算出部102に入力されたものと同じものが入力される。
【0178】
重要度算出部1601は、同様に重要度107を算出し、対応位置算出部1602と画素値変換部1603に送る。
【0179】
対応位置算出部1602には、低画像105と重要度107が入力される。対応位置算出部1602は、対応位置算出部103と同様に対応位置情報108を算出する。しかし、重要度107に応じて、算出する対応位置の数を減らすことが対応位置算出部103とは異なる。
【0180】
具体的には、重要度107から、重要な画素ほど多くの対応位置が割り当てられるように、対応位置の数を決定する。この対応位置の数だけ対応位置を算出した領域は、それ以降は、注目画素の対応位置を算出するための探索範囲から除外する。これにより、対応位置を算出する計算コストを削減できる。こうして算出した対応位置情報108を画素値変換部1603に送る。
【0181】
画素値変換部1603には、低画像105、仮高画像106、対応位置情報108、及び、重要度107が入力される。画素値変換部1603は、対応位置情報108の全対応位置を利用して画素値を変換する点が画素値変換部104と異なる。それ以外は同じである。
【0182】
(2)高解像度化装置1600の動作
高解像度化装置1600の処理の流れは、図2のステップS203の代わりにステップS2103、ステップS204の代わりにステップS2104が入ったものとなる。
【0183】
ステップS2103では、対応位置算出部1602の説明で示した通りの処理を行う。
【0184】
ステップS2104では、画素値変換部1603の説明で示した通りの画素値変換の処理を行う。
【0185】
(3)効果
このように、本実施形態では重要度107に応じた数の対応位置を算出し、それ以上の数の対応位置を算出するための計算コストを削減できる。
【0186】
(第4の実施形態)
以下、第4の実施形態の高解像度化装置2200について図22、図23に基づいて説明する。なお、第1、第3の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【0187】
(1)高解像度化装置2200の構成
図22は、本実施形態の高解像度化装置2200のブロック図である。
【0188】
本実施形態では、第3の実施形態の高解像度化装置1600に対し、強調部2201が追加され、高解像度化装置2200が構成される。
【0189】
強調部2201には、低画像105が入力される。強調部1901は、低画像105を強調し、強調したものを低画像105として画素値変換部104に送る。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。
【0190】
(2)高解像度化装置2200の動作
高解像度化装置2200の処理の流れは、図23に示すように、図21に示した処理の流れに対し、ステップS2301がステップS201の前に追加される。なお、ステップS2104より前であれば、どこにステップS2001を追加しても良い。
【0191】
ステップS2001では、低画像105を強調する。強調には、上述の通り、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。画像を強調するとノイズをも強調する場合があるため、平坦な部分では強調せず、平坦でない部分だけ強調するようにしても良い。
【0192】
(3)効果
これにより、本実施形態では、高解像度化装置2200に入力された低画像105がぼけていても、それを強調したものを利用して高解像度画像データ109を作成するため、高解像度化装置1600が出力するものよりも鮮鋭な高解像度画像データ109が生成される。
【0193】
画像の強調よりも画素値の変換の方が、計算コストが高いため、計算コストの削減効果は失われない。
【0194】
したがって、鮮鋭な画像を低い計算コストで作成できる。
【0195】
(変更例)
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【図面の簡単な説明】
【0196】
【図1】本発明の第1の実施形態に係る高解像度化装置のブロック図である。
【図2】第1の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図3】3枚の低画像フレームから高画像フレームを生成する様子を示す図である。
【図4】1枚の低画像フレームから高画像フレームを生成する様子を示す図である。
【図5】低画像フレームの画面と画素と位置の例を示す図である。
【図6】低画像フレームを高解像度化した高画像フレームの例を示す図である。
【図7】図5の低画像フレームの画素間隔を図6の高画像フレームの画素間隔に合わせた低画像フレームを示す図である。
【図8】低画像フレームの各画素の位置(標本点)と高画像フレームの各画素の位置(標本点)の関係を示した図である。
【図9】画面空間における対応位置の算出での注目画素と基準フレームを示す図である。
【図10】画面空間における対応位置の算出での注目画像領域と画像領域を示す図である。
【図11】画面空間における対応位置の算出でのマッチング誤差補間法を説明するための図である。
【図12】画面空間における対応位置の算出での基準フレームへの対応位置を示す図である。
【図13】画面空間における対応位置の算出でのオーバーサンプリング法を説明するための図である。
【図14】画面空間における対応位置の算出での基準フレームへのオーバーサンプリングされた対応画素を示す図である。
【図15】仮高解像度化画像の画素値を変換する様子を示す図である。
【図16】第3の実施形態に係る高解像度化装置のブロック図である。
【図17】局所パターンの自己合同性を示す図である。
【図18】画面空間における自己合同位置を算出する様子を示す図である。
【図19】第2の実施形態に係る高解像度化装置のブロック図である。
【図20】第2の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図21】第3の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図22】第4の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図23】第4の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【符号の説明】
【0197】
100 高解像度化装置
101 仮高解像度画素値算出部
102 重要度算出部
103 対応位置算出部
104 画素値変換部
【技術分野】
【0001】
本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する画像処理装置及びその方法に関する。
【背景技術】
【0002】
画素数が多いテレビやディスプレイなどの表示装置が普及してきている。表示装置の画素数が多ければ、画像の細かい部分まで表示できる。すなわち、高解像度な画像を表示できる。
【0003】
ところが、デジタルの画像データを高解像度化するためには、画素数を増やす必要がある。そのため、画素数を増やすことを画像の高解像度化と言う場合がある。
【0004】
一方、画像の拡大と高解像度化を同じ意味で利用したり、画像の縮小と低解像度化を同じ意味で利用したりする場合がある。
【0005】
そのため以降の説明において、低解像度画像と高解像度画像を区別して図示するために、低解像度画像を小さな画面で、高解像度画像を大きな画面で表現する場合がある。
【0006】
そして、表示装置は、画像を表示するために、画像データの画素数をパネルの画素数に変換する。画素数を増やす高解像度化の変換においては、線形内挿法よりも鮮鋭な画像が得られる方法として、再構成型超解像が知られている(例えば、特許文献1、非特許文献1参照)。
【0007】
「再構成型超解像」は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【0008】
より詳細に再構成型超解像を説明する。
【0009】
この方法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。
【0010】
例えば、移動する自動車を撮影した動画像の時間的に前後する3枚のフレームを低解像度画像として用い、これらの3枚のフレームから1枚のフレームを基準フレームとして高解像度化する。これを縦2倍、横2倍に高解像度化する。
【0011】
未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、再構成型超解像では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。
【0012】
具体的には、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。
【0013】
探索は小数精度で行う(例えば、非特許文献2参照)。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Aと、基準フレームに対応する画面の点Bとが同じ被写体の同一の位置として対応づけられる。この対応は、点Aを始点、点Bを終点とする動きベクトルで表される。小数精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。
【0014】
このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。
【0015】
次に、各動きベクトルの終点に始点の画素値を標本値として配置する。
【0016】
最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。
【0017】
この手法としては、重ね合わせ法(nonuniform interpolation)やPOCS法などが知られている(例えば、非特許文献1参照)。
【特許文献1】特開2000−188680公報(第3−7頁、図22)
【非特許文献1】S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
【非特許文献2】清水,奥富,「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II,電子情報通信学会,2002年12月,第85巻,第12号,p.1791−1800
【発明の開示】
【発明が解決しようとする課題】
【0018】
再構成型超解像は、鮮鋭な画像を得られる手法であるが、計算コストが高いという問題点がある。
【0019】
そのため、受信した画像データをテレビやパソコンのディスプレイといった表示装置に表示するまでに、高解像度化の処理を完了できない場合がある。
【0020】
そこで、本発明は、上記問題点に鑑み、高解像度化の処理を高速化することができる画像処理装置及びその方法を提供する。
【課題を解決するための手段】
【0021】
本発明は、n個の画素からなる動画像または静止画像を入力する入力部と、前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定部と、前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出部と、前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出部と、前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換部と、前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出部において前記探索範囲を広くするという第1制御、(2)前記位置算出部において算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出部において前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換部においてこの設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換部において、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御部と、前記変換部から最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力部と、を有する画像処理装置である。
【発明の効果】
【0022】
本発明によれば、重要度に応じて、重要な部分の画質をできるだけ劣化させずに、計算コストを削減できる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照しながら本発明の実施形態に係る画像を高解像度化する画像処理装置である高解像度化装置について説明する。
【0024】
(第1の実施形態)
以下、第1の実施形態の高解像度化装置100について図1〜図15、図17、図18に基づいて説明する。
【0025】
高解像度化装置100には、低解像度画像データ(以下、単に低画像という)105が入力される。高解像度化装置100は、その低画像105よりも画素数が多い高解像度化画像データ(以下、単に高画像という)109を作成して出力する。
【0026】
(1)高解像度化装置100の構成
図1は、本実施形態の高解像度化装置100のブロック図である。
【0027】
高解像度化装置100は、仮高解像度画素値算出部101、重要度算出部102、対応位置算出部103、画素値変換部104を備える。
【0028】
各部101〜104の機能は、コンピュータに格納されたプログラムによっても実現可能である。
【0029】
(2)画像データの内容
ここで、低画像105は、画面に配置された画素毎の輝度や色を表す値であり、動画でも静止画でも構わない。例えば、テレビ放送を受信した画像データ、HDDに保存された画像データ、ビデオカメラから取り込んだ画像データ、写真データなどである。静止画は、フレームが1枚のプログレッシブ形式の動画と考えることができるため、以降は、動画の場合を例にとって説明する。
【0030】
低画像105がプログレッシブ形式の動画の場合、低画像105は少なくとも1フレームの画像データであり、そのうちの基準フレームを高解像度化したものが高解像度化画像データ109である。基準フレームを逐次ずらし、出力された高解像度化画像データ109を連結すれば、高解像度な動画を作成できる。
【0031】
なお、低画像105がインタレース形式の動画の場合には、1フィールドを、画素の欠落した1フレームとみたてる。
【0032】
(3)仮高解像度画素値算出部101
仮高解像度画素値算出部101には、低画像105が入力される。
【0033】
仮高解像度画素値算出部101は、低画像105のうち1フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度化画像データ(以下、単に仮高画像という)106の推定画素値を算出し、仮高画像106を画素値変換部104に渡す。
【0034】
(4)重要度算出部102
重要度算出部102には、低画像105が入力される。
【0035】
重要度算出部102は、低画像105の基準フレームの画素毎に重要度107を算出し、画素値変換部108に渡す。
【0036】
(4−1)重要度の内容
重要度は、画面の部分領域、例えば画素が重要なほど値が大きくなるように設定する。この場合には、例えば、重要度の基準値を定めておき、重要なものほどこの基準値より大きい値を設定する。
【0037】
以下、基準フレームの部分領域が、重要なほど値を大きく設定する場合を説明する。
【0038】
重要度は、基準フレームの部分領域が注意をひくか否かどうかにより決定する。例えば、非特許文献4(L. Itti, et.al. "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, Nov. 1998, p.1254-1259)に記載の方法を利用すれば、色、輝度、周波数成分やエッジの方向が周囲と異なっているかどうかなどにより、目立つ部分ほど大きな値になる値を算出できる。これを重要度として利用できる。この方法の全てではなく、一部を利用して算出しても良い。
【0039】
これにより、人が着目しやすい画素に大きな値が設定される。あるいは、画面の中央である場合に大きな値を設定し、端に近付くほど小さくなるように設定する。これは、人間が画面の中央に着目する特徴を反映した重要度である。
【0040】
なお、部分領域は、一画素に限らず、複数の画素を含む領域でもよい。
【0041】
また、顔が写っている部分では大きな値を設定し、写っていない部分では小さな値を設定する。これは、人間が顔に敏感である特徴を反映した重要度である。顔は、顔検出(例えば、特許文献2(特開2004−206665号公報)参照。)により検出できる。
【0042】
また、重要度を設定する画素の画素値が肌色らしい画素ほど大きな値を設定する。これは、人間が人間の肌に敏感である特徴を反映した重要度である。
【0043】
また、その画素のフレーム間差分が小さいほど大きな値を設定する。フレーム間差分が大きい部分は急激に変化した部分であるため、その部分を重要だとみなさないことに相当する。フレーム間差分が0の部分より少しだけ差分がある部分を特に大きな値にしても良い。なお、フレーム間差分が小さい中でも、0に近い部分は注目されやすい部分であり、特別に大きな値にしてもよい。
【0044】
また、重要度を設定する画素が有彩色である場合に大きな値を設定し、その画素が無彩色であれば小さな値を設定する。これは、無彩色よりも有彩色の方が人間の目を引き付ける性質を反映した重要度である。
【0045】
また、重要度を設定する画素の彩度が高いほど大きな値を設定する。これは、低彩度の色よりも高彩度の色の方が人間の目を引き付ける性質を反映した重要度である。
【0046】
また、重要度を設定する画素の輝度が高いほど大きな値を設定する。これは、輝度が高い方が人間の目を引き付ける性質を反映した重要度である。
【0047】
また、重要度を設定する画素の色相が暖色系であれば大きな値を設定し、寒色系であれば低い値を設定する。これは、寒色系よりも暖色系の方が人間の目を引き付けやすいという性質を反映した重要度である。
【0048】
また、重要度を設定する画素について、上記で説明した値を複数計算し、それらを重み付き加算して重要度を求めて良い。あるいは、これらの値を画面空間でぼかし、画素間で急激に変化しないようにしても良い。
【0049】
ここでは、重要度算出部102に、低画像105を入力する例を説明したが、低画像105の基準フレームのみから計算できる重要度107を利用する場合、その基準フレームのみを入力するようにすると良い。
【0050】
(4−2)具体例1
顔検出に基づく重要度の値の具体的な計算方法の一例を説明する。
【0051】
まず、重要度算出部102に、基準フレームのみが入力される。
【0052】
次に、顔検出により、顔の領域が検出される。
【0053】
最後に、その顔の領域には重要度255が設定され、それ以外の領域には重要度0が設定される。
【0054】
このように、基準フレームの領域に重要度が設定される。各画素に重要度を設定しても良い。これにより、顔という重要な部分ほど高い値が設定され、それ以外の部分に低い値が設定される。
【0055】
(4−3)具体例2
肌色らしさに基づく重要度の値の具体的な計算方法の一例を説明する。ここでは、画素値がR、G、Bの3つの成分からなり、各成分が0から255の値をとるものとする。
【0056】
予め、多くの人物の画像から、肌色の画素値の平均を計算しておく。その平均との各成分の差分をdR、dG、dBで表す。((255−dR)+(255−dG)+(255−dB))/3を各画素の重要度として設定する。
【0057】
これにより、肌色という重要な部分ほど高い値が設定され、それ以外の部分に低い値が設定される。
【0058】
(4−4)具体例3
前述の顔検出に基づく重要度の一例と前述の肌色らしさに基づく重要度の一例を重み付き加算することにより重要度を計算する一例を説明する。
【0059】
前述の顔検出に基づく、ある画素での重要度をaで表し、前述の肌色らしさに基づく、ある画素での重要度をbで表す。その画素での重要度を(a+b)/2とする。
【0060】
これにより、顔でかつ肌色の部分の重要度が最も高く設定され、顔でも肌色でもない部分の重要度が最も低く設定される。
【0061】
(4−5)まとめ
高解像度化装置100では、こうして算出した重要度が絶対的に大きな部分、あるいは、相対的に大きな部分を重要とみなして処理をする。
【0062】
なお、基準フレームの部分領域が、人の注意を引かないほど、重要度が小さくなるように設定しても良い。
【0063】
(5)対応位置算出部103
対応位置算出部103には、低画像105が入力される。
【0064】
対応位置算出部103は、低画像105に含まれる1以上のフレームの中の複数の画素を1つずつ注目画素として順次設定する。
【0065】
そして、この注目画素が基準フレームへ対応する少なくとも1以上の位置(以下、対応位置という)を小数精度で算出し、対応位置情報108として画素値変換部104に渡す。ここで、対応位置とは、その画素を中心とした周囲の画素値パターンとその対応位置を中心とした画素値パターンが類似した位置のことをいう。
【0066】
対応位置を小数精度で算出する第1の方法としては、例えば、低画像の画素間隔で探索範囲を設定し、それぞれのマッチング誤差を求め、連続な対称関数を当てはめることで、マッチング誤差が極小となる小数精度の位置を求める方法(マッチング誤差補間法)や、低画像を拡大し、この拡大された画像における画素間隔で対応位置を求める方法(オーバーサンプリング法)がある。
【0067】
また、小数精度での対応位置を算出する第2の方法として、カメラにジャイロを搭載して、カメラの揺れを測定することで、物理的に小数精度の対応位置を検出することもできる。
【0068】
(6)画素値変換部104
画素値変換部104には、低画像105、仮高画像106、重要度107、及び、対応位置情報108が入力される。
【0069】
画素値変換部104は、低画像105に順次、注目画素を設定し、その注目画素毎に処理する。
【0070】
各注目画素に対し、対応位置情報108の全対応位置、あるいは、重要度107に応じて選択した対応位置毎に処理する。
【0071】
対応位置毎に、注目画素の画素値と、仮高画像106の推定画素値と対応位置情報108を用いて生成した試算画素値との誤差が小さくなる方向に、仮高画像106の推定画素値を変換する。
【0072】
この画素値変換を、順次設定される注目画素について繰り返し行う。繰り返し回数は、予め定めておいても良いし、重要度107に応じて設定しても良い。
【0073】
画素値変換の方法としては、例えば、POCS法やIterative Back-Projection法(非特許文献1のp.29、p.31参照)を利用する。得られた画像データを高解像度化画像データ109として出力する。
【0074】
このように、重要度107に応じて、変換の回数を減らしたり、対応位置情報108の数を減らしたりすることにより、重要な画素の画質をできるだけ劣化させずに、計算コストを削減できる。
【0075】
(7)高解像度化装置100の動作
図2は、高解像度化装置100が入力された低画像105から高画像109を出力するまでの動作を説明するためのフローチャートである。以下では、高画像109の作成方法について説明する。
【0076】
(7−1)ステップS201
ステップS201では、仮高画像106を生成する。
【0077】
具体的には、図1の仮高解像度画素値算出部101において、低画像105のうち1フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高画像106の推定画素値を算出する。
【0078】
この内挿処理としては、3次畳み込み内挿法(非特許文献3(高木、下田監修「画像解析ハンドブック」東京大学出版会)参照。)などを用いることができる。この仮高画像106は、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしている。
【0079】
(7−2)ステップS202
ステップS202では、低画像105のうちの上記基準フレームの各画素に、上記で説明したように重要度算出部102で重要度を設定する。
【0080】
(7−3)ステップS203
ステップS203では、画面における対応位置を算出する。
【0081】
具体的には、図1の対応位置算出部103において、低画像105に含まれる1以上のフレームの中の複数の画素を1つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも1以上の対応位置情報108を小数精度で算出する。対応位置情報108の小数精度での算出処理は、低画像105を基にマッチング誤差補間法やオーバーサンプリング法で算出したり、カメラに搭載されたジャイロによって検出したりできる。
【0082】
(7−4)ステップS204
ステップS204では、仮高画像106の推定画素値を上記で説明したように画素値変換部104で変換する。
【0083】
(7−5)ステップS205
ステップS205では、重要度107に応じた繰り返し回数を終了しているかどうか判定する。
【0084】
具体的には、図1の画素値変換部104における変換処理が重要度107に応じた繰り返し回数だけ終了したかどうかを判定し、NOであれば、ステップS204に戻り、YESであれば、仮高画像106を高画像109として出力して、終了する。
【0085】
(8)低画像105、基準フレーム、高画像109の関係
図1の対応位置算出部103、画素値変換部104の動作について詳しく説明するために、図3〜図8を用いて、低画像105、基準フレーム、高画像109の関係についてまず説明する。
【0086】
(8−1)図3の説明
図3は、低解像度な動画から、高解像度な動画を生成する様子を説明する図である。 図3の例では、低解像度な動画のうちの、第3、4、5フレームを低画像105とし、基準フレームを第4フレームとし、基準フレームを高解像度化した高画像109を生成している。基準フレームを順次ずらし、その基準フレームを含むように低画像105を設定することにより、高解像度な動画の各フレームが順次、生成される。
【0087】
(8−2)図4の説明
図4は、低画像105が基準フレームのみからなる場合に、低解像度な動画から、高解像度な動画を生成する様子を説明する図である。
【0088】
この場合、フレーム内処理のみで拡大処理を行っている。静止画を高解像度化する場合も、入力される低解像度画像は1枚だけなので、これを基準フレームに設定し、その基準フレーム1枚だけを用いて高解像度化の処理をする。
【0089】
静止画は1フレームのみからなる動画と考えて処理すれば良い。そのため、静止画をフレームと表記する場合がある。
【0090】
(8−3)図5の説明
図5は、低解像度画像フレーム(以下、低画像フレームという)の画面501と、画面501におけるある画素502と、画素502の中心の位置503を示す図である。
【0091】
後述の図6の高解像度画像フレーム(以下、高画像フレームという)の画面601における画素の位置と区別するために、低画像フレームの画面501における画素の位置を黒丸で示した。
【0092】
画像は元来、画面空間において輝度が連続的に分布しているものである。しかし、ここで扱うデジタル画像データの場合は、図5に示したように、画面空間に離散的な位置に画素を配置し、その輝度だけでその周囲の位置の輝度を代表させる。図5では、画面501を横6列、縦4行の24個の正方形に分割し、それら正方形がそれぞれ画素である。画素の1つが画素502である。正方形、すなわち、画素の中心を、画素の位置、あるいは、標本点と呼ぶ。画素502の位置が、位置503である。各画素が持つ、輝度や色を表す値の代表値を画素値と呼ぶ。
【0093】
(8−4)図6の説明
図6は、図5に示した低画像フレームの解像度を4倍(横方向に2倍、縦方向に2倍)に高解像度化した図であり、高画像フレームの画面601と、画面601におけるある画素602と、画素602の中心の位置603を示す図である。
【0094】
低画像フレームの画面501における画素の位置と区別するために、高画像フレームの画面601における画素の位置を白丸で示した。
【0095】
高解像度化率が縦横それぞれ2倍であるため、高画像フレームの画面における画素の位置の間隔は、低画像フレームの画面における画素の位置の間隔の縦横それぞれ1/2になる。
【0096】
(8−5)図7の説明
図7は、図5に示した低画像フレームの画素を図6に示した高画像フレームと同じ間隔で示した図である。
【0097】
この場合、低画像フレームの大きさは、高画像フレームの大きさよりも小さくなる。画像データに、縦方向の画素数、横方向の画素数、各画素の画素値に関する情報を持たせ、画素の大きさや間隔に関する情報を持たせない場合、図5に示した低画像フレームを表す画像データと、図7に示した低画像フレームを表す画像データも同じになる。
【0098】
そこで、低画像フレームと高画像フレームを区別しやすいように、本書では、低画像フレームの画面の大きさを高画像フレームの画面の大きさよりも小さく図示する場合がある。
【0099】
(8−6)図8の説明
図8は、低画像フレームの画素の標本点を黒丸で、高画像フレームの画素の標本点を白丸で示した図である。
【0100】
高解像度化の処理は、黒丸の標本点に与えられた画素値を元にして、白丸の標本点の画素値を求める処理である。
【0101】
その際、低解像度画像のうちの基準フレームだけでなく、例えば、その前または後の時刻のフレームなどの低解像度画像データを用いても良い。それにより、さらに鮮鋭な高解像度化を行うことができる。
【0102】
(9)対応位置算出部103の説明
図1の対応位置算出部103及び図2のステップS203の画面空間における対応位置を算出する動作について、図9〜図14を用いて詳細に説明する。
【0103】
図9は、移動する自動車を撮影した低解像度な動画のうち、時刻が前後する2枚のフレーム901、902を示した図である。ここで、これら低画像フレームのうち、低画像フレーム902を基準フレームとして高解像度化する場合を説明する。
【0104】
図1の対応位置算出部103及び図2のステップS203では、低画像フレーム901の中の注目画素903に対して、その位置904が基準フレーム902のどの位置に対応するかを画素間隔より細かい小数精度で算出する。この対応する位置を対応位置と呼ぶ。
【0105】
なお、低画像フレーム901、902は、見やすいように、図5または図7で説明したような横6画素、縦4画素の24画素で示しているが、例えば、SDのテレビ放送から受信した画像データであれば、横720画素、縦480画素の画素数を有する。
【0106】
(9−1)マッチング誤差補間法による対応位置算出部103の説明
図10〜図12を用いて、図1の対応位置算出部103及び図2のステップS203の動作の例として、マッチング誤差補間法を用いた小数精度の対応位置算出方法について説明する。
【0107】
図10に示すように、マッチング誤差補間法では、初めに、ブロックマッチング法のように画素間隔の精度で低画像フレーム901から基準フレーム902へのフレーム間のマッチング誤差を算出する。
【0108】
そのためにまず、注目画素903を中心に低画像フレーム901から数画素四方、例えば5x5画素や3x3画素の矩形のブロック1005を注目画像領域として取り出す。
【0109】
次に、注目画像領域1005と画素値の変化パターンが近い部分を基準フレーム902から探索する。
【0110】
画素間隔で算出するマッチング誤差としては、フレーム間での注目画像領域内の各画素値の差の2乗和であるSSD(Sum of Square Distance)や、各画素値の差の絶対値和であるSAD(Sum of Absolute Distance)などを用いることができる。
【0111】
ここでは、低画像フレーム901に含まれる注目画像領域1005と、基準フレーム902に含まれる画像領域1006とのSADを計算して、注目画素903と画素1007とのマッチング誤差を算出する。
【0112】
同様にして基準フレーム902のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。
【0113】
この各マッチング誤差の中で最小のマッチング誤差を持つ画素が、ブロックマッチング法で算出される対応画素となる。これは、画素間隔、つまり、整数精度での対応位置に相当する。
【0114】
図11は、低画像フレーム901内の注目画素903の対応画素として、基準フレーム902内の画素1110が求まったことを示した図である。図11に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素1110の周り3x3画素について示したグラフである。9個のマッチング誤差のうち、対応画素1110のマッチング誤差が最小となっているのが分かる。
【0115】
まず、横方向についての対応位置の算出について説明する。
【0116】
対応画素1110とその横方向に両隣のマッチング誤差に対称な連続関数1111を当てはめる。対称な連続関数は、放物線や、マッチング誤差の軸に対称な2本の直線を用いれば良い。
【0117】
このようにして当てはめた連続関数が極小となる横位置(白丸で図示)を、小数精度での対応位置1112と呼ぶ。
【0118】
縦方向についても同様に、縦方向の対応位置を算出できる。また、横方向、縦方向の対応位置をそれぞれ別々に算出せずに、対称な曲面を当てはめることで、同時に横方向、縦方向の対応位置を算出することもできる。
【0119】
図12は、上記した操作を施すことによって、小数精度の対応位置が算出されたことを表す図である。
【0120】
図12に示すように、時間的に前後する2枚の低画像フレーム901と基準フレーム902のうち、低画像フレーム901の注目画素903が対応する基準フレーム902の対応画素1110を求め、連続関数を当てはめることにより、注目画素903の標本点904が対応する基準フレーム902の対応位置1213が算出される。
【0121】
(9−2)オーバーサンプリング法による対応位置算出部103の説明
次に、図13及び図14を用いて、図1の対応位置算出部103及び図2のステップS203の動作の例として、オーバーサンプリング法を用いた小数精度の対応位置算出方法について説明する。
【0122】
図13に示すように、オーバーサンプリング法では、初めに、注目画素903の注目画像領域1005を高解像度化して、高解像度な注目画像領域1305を作成する。
【0123】
また、低解像度の基準フレーム902(図9参照)の各画素を高解像度化して、高解像度な基準フレーム1302を作成する。
【0124】
例えば、3次畳込み法、BiCubic法などの内挿法(非特許文献3参照。)を用いて高解像度化することができる。ここでは、9倍(縦横それぞれ3倍)に高解像度化してある。そして、この高解像度な注目画像領域1305と高解像度な基準フレーム1302において、図10でマッチング誤差補間法を説明したように、ブロックマッチング法のように画素間隔の精度で対応画素を算出する。
【0125】
低画像フレームが縦3倍、横3倍に高解像度化された、つまり、画素間隔は1/3になって対応画素が検出されるため、低解像度画素間隔の1/3という細かい精度で、対応位置を検出できることに相当する。
【0126】
図14では、具体的に、オーバーサンプリング法によって、小数精度での対応位置が検出されている。高解像度な注目画像領域1305を用いて、高解像度の画素間隔の基準フレームの画素についてマッチング誤差を算出する。このマッチング誤差が最小となる画素の標本点1414を、注目画素903の標本点904の基準フレームへの小数精度の対応位置として算出する。
【0127】
(10)画素値変換部104の説明
図1の画素値変換部104及び図2のステップS204、S205で行う仮高画像の画素値の変換について、図15を用いて具体例を挙げて詳細に説明する。
【0128】
ここでは、高画像109を所定の処理時間内で作成するために、重要度107に応じて対応位置を選択し、重要度107に応じて変換の回数を決定する場合を例にとって説明する。
【0129】
図15の符号1501は、図1の仮高解像度画素値算出部101で図9の低解像度な基準フレーム902が4倍(縦横それぞれ2倍)に高解像度化された仮高画像フレーム(以下、単に仮高画像フレームという)を表す。この仮高画像フレーム1501の各画素の画素値は、仮高解像度画素値算出部101で求められている。
【0130】
図15の符号1502は、対応位置算出部103で設定したある注目画素を表す。注目画素1502は、低画像中のあるフレームにおいて撮影された画素値を持つ。
【0131】
図15の符号1503(黒丸)は、注目画素1502の対応位置算出部103で算出された対応位置を表す。
【0132】
(10−1)対応位置の決定
画素値の変換として、まず、対応位置算出部103で算出した少なくとも1の対応位置である対応位置情報108の中から、画素値の変換に利用する対応位置を決定する。その決定方法の一例について説明する。
【0133】
後述の説明からわかるように、計算コストは、利用する対応位置の数に比例して高くなる。そこで、重要度107に応じて、低画像105の基準フレームのうち、重要な画素ほど多くの対応位置を利用するように決定する。ここで、重要度107が低画像フレームの各画素に対する値であるのに対し、対応位置が小数精度で求められているため、重要度107からそのままでは対応位置を決定できない。そこで、例えば、重要度107から、対応位置の重要度を内挿法により内挿すると、対応位置の重要度を計算できる。最近傍内挿法の計算コストが比較的小さい。
【0134】
(10−2)確からしさの評価
次に、仮高画像フレーム1501(仮高画像106)の各画素(白丸に位置する画素)の画素値の確からしさを評価するために、仮高画像フレーム1501の各画素(白丸に位置する画素)の画素値から、ある注目画素1502の画素値を試算する。
【0135】
注目画素1502の画素値は、注目画素1502が重なりを持つ9個の仮高画像フレーム1501の画素を基に算出する。
【0136】
例えば、面積比に応じて加重平均して試算できる。仮高画像フレームの画素1504が持つ画素値に対する重みは、注目画素1502の面積を1とした際の矩形1505(斜線部)の面積を重みにすれば良い。矩形1505は、仮高画像フレームの画素1504と注目画素1502の重なり合う部分である。注目画素1502が重なる9個の矩形について、その重なる面積を重みとして、それら9個の画素値から加重平均値を求めることで、仮高画像フレーム1501の画素(白丸に位置する画素)の画素値から、注目画素1502の画素値を試算できる。
【0137】
(10−3)画素値の修正
仮高画像フレーム1501が正確なものであれば、試算された注目画素1502の画素値と、撮影された正しい注目画素1502の画素値は一致するはずである。しかし、通常は、仮高解像度画素値算出部101での、従来のフィルタ処理による拡大では、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしているために一致しない。そこで、最後に、これが一致するように、仮高画像フレーム1501の画素値を加減算すべき修正量を算出し、それにより画素値を修正する。
【0138】
修正量の算出のために、
差分値=(注目画素の撮影された画素値)−(注目画素の試算された画素値)
を算出する。
【0139】
この差分値を、試算した際の重みで分配すると、差分値は0になる。このように修正量を算出するのがPOCS法(非特許文献1のp.29、p.31参照)である。
【0140】
なお、修正量の算出の際に、差分値が0になるように算出するのではなく、差分値が減少する方向に修正量を算出するのが、Iterative Back-Projection法である(非特許文献1のp.29、p.31参照)。
【0141】
POCS法により、重みによって分配された9個の正または負の修正量を、仮高画像フレーム1501の9個の画素値に加算すれば、そのとき計算した注目画素については、差分が0になり、注目画素の撮影された画素値と試算された画素値が一致する。
【0142】
(10−4)繰り返し処理
しかし、別の注目画素の対応位置によっては、これを用いた修正によって、同じ仮高画像フレーム1501の画素値が修正されることがある。この修正処理は、上記の方法で利用すると決定した全対応位置について、逐次的に行い、これを、繰り返す(ステップS205)。
【0143】
もちろん、POCS法ではなく、Iterative Back-Projection法を利用しても良い。この繰り返しにより、次第に、仮高画像フレーム1501は正確なものに近づく。
【0144】
繰り返しにより得られた仮高画像フレーム1501(仮高画像106)を、高画像109として出力する。
【0145】
繰り返し回数は、高画像109の画面全体または1以上の所定のラインを作成する処理が、所定の時間(表示装置がコマ落ちなしに表示するために処理が終了していなければならない時間などの所定の時間)内に終了するように決定する。
【0146】
対応位置の数に比例するため、対応位置1つを利用した処理に要する時間を計測し、画面全体または1以上の所定のラインで利用する対応位置の数で乗算することにより、繰り返しが1回の場合の処理時間を算出することができる。
【0147】
したがって、所定の時間を、繰り返しが1回の場合の処理時間で除算することにより、所定の時間内に収まる繰り返し回数を計算できる。
【0148】
(10−5)まとめ
以上の通り画素値を変換することにより、重要な部分の画質をできるだけ劣化させずに計算コストを削減できる。
【0149】
また、所定の時間内で画面全体、あるいは、1以上の所定のラインの画素の画素値を変換できる。これにより、表示装置にあわせた処理が可能になる。例えば、1/60秒以内に高画像109を出力するようにすれば、1/60秒毎に1フレームを表示する表示装置にあわせられる。あるいは、表示装置のラインバッファの容量に起因して、表示装置が所定の数ラインを受け取らなければならない時間間隔が定まっている場合、高画像109を数ラインを、その時間内に生成し、出力するようにすれば、その表示装置にあわせられる。
【0150】
(10−6)変更例
ここでは、決定した対応位置で全て同じ繰り返し回数を決定する方法を説明したが、対応位置や繰り返し回数の決定方法を変えても良い。
【0151】
例えば、対応位置毎に繰り返し回数を変えても良い。例えば、重要度107により重要な画素ほど繰り返し回数が多くなるようにしても良い。
【0152】
また、対応位置は全対応位置を利用し、繰り返し回数のみを重要度107に応じて決定しても良い。
【0153】
また、繰り返し回数は所定の回数にし、対応位置を重要度107に応じて決定しても良い。
【0154】
(11)自己合同性を利用した対応位置決定方法
対応位置算出部103、ステップS203で対応位置を、被写体のフレーム内(基準フレーム内)の自己合同性を利用して算出する場合について、図17及び図18を用いて説明する。
【0155】
これは、連続する前後のフレームが無い静止画で対応位置を算出する場合にも適用できるし、動画の基準フレーム内で対応位置を算出する場合にも適用できる。
【0156】
(11−1)図17の説明
図17は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。ここでは同じフレーム内の異なる5行のデータをそれぞれ別の折れ線で示した。
【0157】
この図17から、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような同じフレーム内に似た輝度変化を有する画像の性質を、自己合同性と定義する。すなわち、注目画素を含む領域の輝度の配置パターンと、類似性が高い輝度の配置パターンを有する領域とが、自己合同性がある。
【0158】
前後のフレームを利用せず、被写体のフレーム内の自己合同性のみを用いて高解像度化を行う場合、連続する複数の低解像度画像データをメモリで保持する必要がなく、少ないメモリ量で高解像度化を行うことができるという利点がある。
【0159】
この場合、基準フレーム内の複数の画素、例えば、基準フレームのエッジ画素を1つずつ注目画素として順次設定し、注目画素の周辺への1以上の対応位置を小数精度で算出する。これは、低解像度画像データを元にマッチング誤差補間法やオーバーサンプリング法を用いることで算出することができる。
【0160】
(11−2)図18の説明
図18は、縦方向のエッジを持つ被写体1806の低解像度の基準フレーム1801を、自己合同性を用いて高解像度化する例を説明するための図である。
【0161】
符号1802はある注目画素を表し、注目画素1802の位置(標本点)を1803で表す。
【0162】
図2のステップS203では、標本点1803の周りに存在する対応位置(自己合同位置)を算出する。自己合同位置が1ライン上、もしくは、1ライン下にあると仮定して、マッチング誤差補間法や、オーバーサンプリング法にて、小数精度の対応位置(自己合同位置)を求めた結果が、第1の自己合同位置1804、第2の自己合同位置1805である。
【0163】
(11−3)まとめ
このようにして、注目画素、注目画素の画素値、注目画素の基準フレームへの小数精度の対応位置(自己合同位置)を算出すれば、以降、図2のステップS204による仮高解像度画像の画素値の変換を行うことで、鮮鋭な高解像度化を、1フレームのみから高速に行うことができる。
【0164】
(第2の実施形態)
以下、第2の実施形態の高解像度化装置100について図19〜図20に基づいて説明する。なお、第1の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【0165】
(1)高解像度化装置1900の構成
図19は、本実施形態の高解像度化装置1900のブロック図である。
【0166】
本実施形態の高解像度化装置1900では、高解像度化装置100に対し、強調部1901が増えて、高解像度化装置1900が構成される。符号が同じものは、第1の実施形態で説明した通りの動作をする。
【0167】
強調部1901には、低画像105が入力される。強調部1901は、低画像105を強調し、強調したものを低画像105として画素値変換部104に送る。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。
【0168】
処理の流れは、図2に示した処理の流れに対し、ステップS2001がステップS201の前に追加される。なお、ステップS204より前であれば、どこにステップS2001を追加しても良い。
【0169】
(2)高解像度化装置1900の動作
図20に、本実施形態の高解像度化装置1900の処理の流れを示す。
【0170】
ステップS2001では、低画像105を強調する。強調には、上述の通り、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。画像を強調するとノイズをも強調する場合があるため、平坦な部分では強調せず、平坦でない部分だけ強調するようにしても良い。
【0171】
(3)効果
これにより、本実施形態では高解像度化装置1900に入力された低画像105がぼけていても、それを強調したものを利用して高解像度画像データ109を作成するため、高解像度化装置100が出力するものよりも鮮鋭な高解像度画像データ109が生成される。
【0172】
画像の強調よりも画素値の変換の方が、計算コストが高いため、計算コストの削減効果は失われない。
【0173】
したがって、鮮鋭な画像を低い計算コストで作成できる。
【0174】
(第3の実施形態)
以下、第3の実施形態の高解像度化装置1600について図16、図21に基づいて説明する。なお、第1の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【0175】
第1の実施形態や第2の実施形態の高解像度化装置が、LSIなどを利用した並列処理に適した実施形態であったのに対し、本実施形態は条件分岐により無駄な処理を省くのに適した実施形態である。無駄な処理を省くため、PCなどを利用する場合にCPUを占有せずに済む。
【0176】
(1)高解像度化装置1600の構成
図16は、本実施形態の高解像度化装置1600のブロック図である。
【0177】
重要度算出部1601には、重要度算出部102に入力されたものと同じものが入力される。
【0178】
重要度算出部1601は、同様に重要度107を算出し、対応位置算出部1602と画素値変換部1603に送る。
【0179】
対応位置算出部1602には、低画像105と重要度107が入力される。対応位置算出部1602は、対応位置算出部103と同様に対応位置情報108を算出する。しかし、重要度107に応じて、算出する対応位置の数を減らすことが対応位置算出部103とは異なる。
【0180】
具体的には、重要度107から、重要な画素ほど多くの対応位置が割り当てられるように、対応位置の数を決定する。この対応位置の数だけ対応位置を算出した領域は、それ以降は、注目画素の対応位置を算出するための探索範囲から除外する。これにより、対応位置を算出する計算コストを削減できる。こうして算出した対応位置情報108を画素値変換部1603に送る。
【0181】
画素値変換部1603には、低画像105、仮高画像106、対応位置情報108、及び、重要度107が入力される。画素値変換部1603は、対応位置情報108の全対応位置を利用して画素値を変換する点が画素値変換部104と異なる。それ以外は同じである。
【0182】
(2)高解像度化装置1600の動作
高解像度化装置1600の処理の流れは、図2のステップS203の代わりにステップS2103、ステップS204の代わりにステップS2104が入ったものとなる。
【0183】
ステップS2103では、対応位置算出部1602の説明で示した通りの処理を行う。
【0184】
ステップS2104では、画素値変換部1603の説明で示した通りの画素値変換の処理を行う。
【0185】
(3)効果
このように、本実施形態では重要度107に応じた数の対応位置を算出し、それ以上の数の対応位置を算出するための計算コストを削減できる。
【0186】
(第4の実施形態)
以下、第4の実施形態の高解像度化装置2200について図22、図23に基づいて説明する。なお、第1、第3の実施形態と同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【0187】
(1)高解像度化装置2200の構成
図22は、本実施形態の高解像度化装置2200のブロック図である。
【0188】
本実施形態では、第3の実施形態の高解像度化装置1600に対し、強調部2201が追加され、高解像度化装置2200が構成される。
【0189】
強調部2201には、低画像105が入力される。強調部1901は、低画像105を強調し、強調したものを低画像105として画素値変換部104に送る。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。
【0190】
(2)高解像度化装置2200の動作
高解像度化装置2200の処理の流れは、図23に示すように、図21に示した処理の流れに対し、ステップS2301がステップS201の前に追加される。なお、ステップS2104より前であれば、どこにステップS2001を追加しても良い。
【0191】
ステップS2001では、低画像105を強調する。強調には、上述の通り、例えば、アンシャープマスクフィルタやラプラシアンフィルタを用いる。画像を強調するとノイズをも強調する場合があるため、平坦な部分では強調せず、平坦でない部分だけ強調するようにしても良い。
【0192】
(3)効果
これにより、本実施形態では、高解像度化装置2200に入力された低画像105がぼけていても、それを強調したものを利用して高解像度画像データ109を作成するため、高解像度化装置1600が出力するものよりも鮮鋭な高解像度画像データ109が生成される。
【0193】
画像の強調よりも画素値の変換の方が、計算コストが高いため、計算コストの削減効果は失われない。
【0194】
したがって、鮮鋭な画像を低い計算コストで作成できる。
【0195】
(変更例)
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【図面の簡単な説明】
【0196】
【図1】本発明の第1の実施形態に係る高解像度化装置のブロック図である。
【図2】第1の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図3】3枚の低画像フレームから高画像フレームを生成する様子を示す図である。
【図4】1枚の低画像フレームから高画像フレームを生成する様子を示す図である。
【図5】低画像フレームの画面と画素と位置の例を示す図である。
【図6】低画像フレームを高解像度化した高画像フレームの例を示す図である。
【図7】図5の低画像フレームの画素間隔を図6の高画像フレームの画素間隔に合わせた低画像フレームを示す図である。
【図8】低画像フレームの各画素の位置(標本点)と高画像フレームの各画素の位置(標本点)の関係を示した図である。
【図9】画面空間における対応位置の算出での注目画素と基準フレームを示す図である。
【図10】画面空間における対応位置の算出での注目画像領域と画像領域を示す図である。
【図11】画面空間における対応位置の算出でのマッチング誤差補間法を説明するための図である。
【図12】画面空間における対応位置の算出での基準フレームへの対応位置を示す図である。
【図13】画面空間における対応位置の算出でのオーバーサンプリング法を説明するための図である。
【図14】画面空間における対応位置の算出での基準フレームへのオーバーサンプリングされた対応画素を示す図である。
【図15】仮高解像度化画像の画素値を変換する様子を示す図である。
【図16】第3の実施形態に係る高解像度化装置のブロック図である。
【図17】局所パターンの自己合同性を示す図である。
【図18】画面空間における自己合同位置を算出する様子を示す図である。
【図19】第2の実施形態に係る高解像度化装置のブロック図である。
【図20】第2の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図21】第3の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図22】第4の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【図23】第4の実施形態に係る高解像度化装置の処理の流れの一例を示すフローチャートである。
【符号の説明】
【0197】
100 高解像度化装置
101 仮高解像度画素値算出部
102 重要度算出部
103 対応位置算出部
104 画素値変換部
【特許請求の範囲】
【請求項1】
n個の画素からなる動画像または静止画像を入力する入力部と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定部と、
前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出部と、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出部と、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換部と、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出部において前記探索範囲を広くするという第1制御、(2)前記位置算出部において算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出部において前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換部においてこの設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換部において、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御部と、
前記変換部から最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力部と、
を有する画像処理装置。
【請求項2】
前記制御部は、前記対応位置算出部において前記出力画像の画面全体、または、前記画面の1以上の任意のラインを、予め設定された時間内で前記出力画像を出力できるように、前記第2制御で制御する対応位置の数を決定する、
請求項1記載の画像処理装置。
【請求項3】
前記制御部は、前記重要度が大きいほど、前記第4制御の回数を多くする、
請求項1記載の画像処理装置。
【請求項4】
前記制御部は、前記対応位置算出部において前記出力画像の画面全体、または、前記画面の1以上の任意のラインを、予め設定された時間内で前記出力画像を出力できるように、前記第4制御の回数を決定する、
請求項1記載の画像処理装置。
【請求項5】
前記重要度算出部は、
(1)前記部分領域の色、輝度、周波数成分、または、エッジの方向が、前記部分領域の周囲と異なっていれば前記重要度を大きい値に設定するか、
(2)前記部分領域が前記基準フレームの画面の中央であれば前記重要度を大きい値に設定するか、
(3)前記部分領域に顔が映っていれば前記重要度を大きい値に設定するか、
(4)前記部分領域が肌色であれば前記重要度を大きい値に設定するか、
(5)前記基準フレームとその前後のフレームとのフレーム間差分が小さいほど前記重要度を大きい値に設定するか、
(6)前記部分領域が有彩色である場合に前記重要度を大きな値に設定し、無彩色であれば前記重要度を小さな値に設定するか、
(7)前記部分領域の彩度が高いほど前記重要度を大きな値に設定するか、
(8)前記部分領域の輝度が高いほど前記重要度を大きな値に設定するか、
(9)前記部分領域の色相が暖色系であれば前記重要度を大きな値に設定し、寒色系であれば前記重要度を低い値に設定するか、または、
(10)前記(1)から(9)の設定の組合せに基づいて前記重要度を設定する、
請求項1記載の画像処理装置。
【請求項6】
前記位置算出部は、前記注目画素を含む部分領域の画素値の配置パターンと、類似性が高い画素値の配置パターンを有する位置を前記対応位置とする、
請求項1記載の画像処理装置。
【請求項7】
前記出力画像におけるエッジ部分の各画素値を強調制御する強調処理部をさらに有する、
請求項1記載の画像処理装置。
【請求項8】
n個の画素からなる動画像または静止画像を入力する入力部と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定ステップと、
前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出ステップと、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出ステップと、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出ステップと、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換ステップと、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出ステップにおける前記探索範囲を広くするという第1制御、(2)前記位置算出ステップにおいて算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出ステップにおける前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換ステップにおける、この設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換ステップにおける、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御ステップと、
前記変換ステップから最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力ステップと、
を有する画像処理方法。
【請求項9】
n個の画素からなる動画像または静止画像を入力する入力機能と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定機能と、
前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出機能と、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出機能と、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出機能と、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換機能と、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出機能における前記探索範囲を広くするという第1制御、(2)前記位置算出機能において算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出機能における前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換機能における、この設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換機能における、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御機能と、
前記変換機能から最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力機能と、
をコンピュータによって実現する画像処理プログラム。
【請求項1】
n個の画素からなる動画像または静止画像を入力する入力部と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定部と、
前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出部と、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出部と、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換部と、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出部において前記探索範囲を広くするという第1制御、(2)前記位置算出部において算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出部において前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換部においてこの設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換部において、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御部と、
前記変換部から最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力部と、
を有する画像処理装置。
【請求項2】
前記制御部は、前記対応位置算出部において前記出力画像の画面全体、または、前記画面の1以上の任意のラインを、予め設定された時間内で前記出力画像を出力できるように、前記第2制御で制御する対応位置の数を決定する、
請求項1記載の画像処理装置。
【請求項3】
前記制御部は、前記重要度が大きいほど、前記第4制御の回数を多くする、
請求項1記載の画像処理装置。
【請求項4】
前記制御部は、前記対応位置算出部において前記出力画像の画面全体、または、前記画面の1以上の任意のラインを、予め設定された時間内で前記出力画像を出力できるように、前記第4制御の回数を決定する、
請求項1記載の画像処理装置。
【請求項5】
前記重要度算出部は、
(1)前記部分領域の色、輝度、周波数成分、または、エッジの方向が、前記部分領域の周囲と異なっていれば前記重要度を大きい値に設定するか、
(2)前記部分領域が前記基準フレームの画面の中央であれば前記重要度を大きい値に設定するか、
(3)前記部分領域に顔が映っていれば前記重要度を大きい値に設定するか、
(4)前記部分領域が肌色であれば前記重要度を大きい値に設定するか、
(5)前記基準フレームとその前後のフレームとのフレーム間差分が小さいほど前記重要度を大きい値に設定するか、
(6)前記部分領域が有彩色である場合に前記重要度を大きな値に設定し、無彩色であれば前記重要度を小さな値に設定するか、
(7)前記部分領域の彩度が高いほど前記重要度を大きな値に設定するか、
(8)前記部分領域の輝度が高いほど前記重要度を大きな値に設定するか、
(9)前記部分領域の色相が暖色系であれば前記重要度を大きな値に設定し、寒色系であれば前記重要度を低い値に設定するか、または、
(10)前記(1)から(9)の設定の組合せに基づいて前記重要度を設定する、
請求項1記載の画像処理装置。
【請求項6】
前記位置算出部は、前記注目画素を含む部分領域の画素値の配置パターンと、類似性が高い画素値の配置パターンを有する位置を前記対応位置とする、
請求項1記載の画像処理装置。
【請求項7】
前記出力画像におけるエッジ部分の各画素値を強調制御する強調処理部をさらに有する、
請求項1記載の画像処理装置。
【請求項8】
n個の画素からなる動画像または静止画像を入力する入力部と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定ステップと、
前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出ステップと、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出ステップと、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出ステップと、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換ステップと、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出ステップにおける前記探索範囲を広くするという第1制御、(2)前記位置算出ステップにおいて算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出ステップにおける前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換ステップにおける、この設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換ステップにおける、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御ステップと、
前記変換ステップから最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力ステップと、
を有する画像処理方法。
【請求項9】
n個の画素からなる動画像または静止画像を入力する入力機能と、
前記動画像の一枚のフレーム、または、前記静止画像を基準フレームに設定する設定機能と、
前記基準フレームの各画素の画素値に基づく内挿処理によって、m個(但し、m>nである)の画素からなる仮画像の各画素の推定画素値を算出する画素値算出機能と、
解像度を高くしたい前記基準フレームの部分領域ほど大きな値をとる重要度を前記部分領域毎に設定する重要度算出機能と、
前記動画像の一枚のフレーム、または、前記静止画像の前記各画素を1つずつ注目画素として順次設定し、前記各注目画素に対応する前記基準フレーム中の対応位置を任意の探索範囲から小数精度で算出する位置算出機能と、
前記注目画素の対応位置の周囲にある前記仮画像の前記推定画素値から前記注目画素の試算画素値を算出し、前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値をそれぞれ算出する変換機能と、
前記対応位置が含まれる部分領域に対応する前記重要度が大きいほど、(1)前記位置算出機能における前記探索範囲を広くするという第1制御、(2)前記位置算出機能において算出する前記対応位置の数を多くするという第2制御、(3)前記位置算出機能における前記注目画素を設定する前記動画像の中の一枚のフレームを、前記補正画素値を既に求めたフレームとは異なるフレームに置き換えて、この置き換えたフレームに前記注目画素を設定し直して、前記変換機能における、この設定し直した前記注目画素に基づいて前記補正画素値を算出し直すという第3制御、または、(4)前記変換機能における、前記仮画像の各画素の前記補正画素値を前記推定画素値に置き換え、この置き換えた前記推定画素値から前記注目画素の前記試算画素値を算出し直し、この算出し直した前記試算画素値と前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正し直すという第4制御、を行う制御機能と、
前記変換機能から最終的に出力された前記補正画素値を有するm個の画素から構成される出力画像を出力する出力機能と、
をコンピュータによって実現する画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2009−100407(P2009−100407A)
【公開日】平成21年5月7日(2009.5.7)
【国際特許分類】
【出願番号】特願2007−272295(P2007−272295)
【出願日】平成19年10月19日(2007.10.19)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成21年5月7日(2009.5.7)
【国際特許分類】
【出願日】平成19年10月19日(2007.10.19)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]