説明

画像処理装置及びプログラム

【課題】 軽微な演算量で画質劣化の少ない解像度変換を実行できる画像処理装置を提供する。
【解決手段】 入力画像毎に、出力画像となる領域と倍率を指定して解像度変換を行う画像処理装置に関する。この画像処理装置は、入力画像を、いずれかの固定倍率で高解像化可能な高解像化変換部と、高解像化で得られた中間画像を保持する中間画像記憶部と、中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、前記固定倍率の中から指定倍率に近い倍率を選択すると共に、選択倍率及び指定領域とに基づいて、高解像化変換処理の対象領域を算出して高解像化変換部を制御する高解像化制御部と、選択倍率と指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して解像度変換部を制御する解像度変換制御部とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置及びプログラムに関し、例えば、入力画像の全体若しくは一部を拡大して出力する場合に適用し得るものである。
【背景技術】
【0002】
従来、入力画像を拡大して高解像度化する方法として、バイリニア法等の補間フィルタによって、入力画素間を補間する方法が一般的に用いられる。また、近年、このような拡大画像の画質を向上させる技術として、種々の超解像技術が研究されている(非特許文献1参照)。
【0003】
超解像技術では、推定した高解像度画像を低解像度化モデルに従って変換した画像と入力低解像度画像との差分が小さくなるように高解像度画像を補正していく処理が通常繰り返して行われる。
【0004】
例えば、非特許文献1で紹介されている繰返し逆投影法では、推定された高解像度画像からモデルに従って変換した低解像度画素と入力低解像度画素との差分に、逆投影変換を施して高解像度画像に対する補正量を求めて補正し、かかる補正量の算出に基づく補正を繰り返している。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】S.C.Park,et.al.”Super−Resolution Image Reconstruction:A Technical Overview.” IEEE Signal Processing Magazine,Vol.20,No.3,May 2003,pp.21−36
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来の補間フィルタでは、拡大倍率が大きくなるに従ってボケやジャギーといった画質劣化が生じてしまうという課題があった。
【0007】
超解像技術等の高解像度化技術は、演算処理量や必要となるメモリ量が多い。また、ビデオのフレームレートで連続的にズーム倍率を変化させるような場合(特に、注目領域の移動が伴っている場合)には、演算処理量や必要となるメモリ量が比較的軽量な2倍等に特化したような高解像度化技術(例えば、エッジを保存するような適応的なフィルタ等)を利用することができない。
【0008】
特に、倍率の変動を想定すると、繰り返し処理を行うような高解像度化技術を用いる場合、低解像度画素と高解像度画素の間の変換行列等の再計算がその都度必要となり、さらに、演算処理量が多くなり動画像の処理は困難であった。
【0009】
本発明は、上記課題に鑑みなされたものであり、軽微な演算量で画質劣化の少ない解像度変換を行うことができる画像処理装置及びプログラムを提供しようとしたものである。
【課題を解決するための手段】
【0010】
第1の本発明は、入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置において、(1)入力画像を、1つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、(2)前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、(3)前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、(4)入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、(5)前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部とを有することを特徴とする。
【0011】
第2の本発明の画像処理プログラムは、入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置に搭載されるコンピュータを、(1)入力画像を、1つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、(2)前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、(3)前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、(4)入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、(5)前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部として機能させることを特徴とする。
【発明の効果】
【0012】
本発明の画像処理装置及びプログラムによれば、軽微な演算量で画質劣化の少ない解像度変換を行うことができる。
【図面の簡単な説明】
【0013】
【図1】第1の実施形態に係る画像処理装置の構成を示す機能ブロック図である。
【図2】第1の実施形態の画像処理装置における画像処理の説明図である。
【図3】第2の実施形態に係る画像処理装置の構成を示す機能ブロック図である。
【発明を実施するための形態】
【0014】
(A)第1の実施形態
以下、本発明による画像処理装置及びプログラムの第1の実施形態を、図面を参照しながら説明する。
【0015】
(A−1)第1の実施形態の構成
図1は、第1の実施形態に係る画像処理装置の構成を示す機能ブロック図である。第1の実施形態の画像処理装置は、各部を搭載した専用ICチップなどハードウェア的に構成しても良く、また、CPUが実行するプログラムを中心としてソフトウェア的に構成しても良いが、機能的には、図1で表すことができる。
【0016】
図1において、第1の実施形態の画像処理装置100は、高解像化制御部101と、解像度変換制御部102と、高解像化変換部103と、中間画像メモリ104と、解像度変換部105とを有する。
【0017】
第1の実施形態の画像処理装置100には、動画像(映像シーケンス)が1フレーム毎入力されると共に、注目領域の情報と指定倍率とが入力される。
【0018】
図2は、第1の実施形態の画像処理装置100における画像処理の説明図である。第1の実施形態の画像処理装置100は、入力画像(入力された1フレーム分の画像)PIN内で指示された注目領域AR(の画像)を指定倍率で拡大し、出力画像POUTを得るものである。入力画像PINは、高解像化変換部103に与えられ、注目領域ARの情報(以下、この情報に対しても符号ARを用いる)と指定倍率cとは、高解像化制御部101及び解像度変換制御部102に与えられる。
【0019】
高解像化変換部103は、1つ以上の予め定まっている拡大倍率a(i=1,…,n;n≧1)のいずれかで、高解像度変換を実行できるものである。高解像化変換部103が対応できる拡大倍率aは、例えば、2倍、4倍などの整数倍である。
【0020】
高解像化制御部101は、高解像化変換部103が対応できる拡大倍率aの中から、入力された指定倍率cに近似した又は一致した倍率を選択して高解像化変換部103に与えられると共に、入力された注目領域情報ARに基づいて、入力画像PINにおける高解像化の処理対象となる領域(例えば、後段での補間フィルタ処理を考慮すると処理対象となる領域は注目領域より大きい)を特定して高解像化変換部103に与えるものである。
【0021】
高解像化変換部103は、入力画像PINにおける、高解像化制御部101により特定された領域を、選択された倍率aで高解像化し、得られた中間高解像度画像PIMを中間画像メモリ104に出力するものである。
【0022】
中間画像メモリ104は、中間高解像度画像PIMをバッファリングするものである。
【0023】
解像度変換制御部102は、入力された指定倍率cと高解像化制御部101が選択した倍率aとの比bや、解像度変換部105が利用する基準となる座標の情報である変換パラメータを算出するものである。
【0024】
解像度変換部105は、解像度変換制御部102から供給される倍率比bや変換パラメータに従って、中間画像メモリ104に記憶されている中間高解像度画像PIMから出力画像POUTを生成して出力するものである。
【0025】
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態に係る画像処理装置100の動作を説明する。
【0026】
動画像(映像シーケンス)は、図示しない処理部によってフレーム毎に分離されて画像処理装置100に入力され、そのフレーム単位の入力画像PINは、高解像化変換部103に与えられる。また、図示しない処理部から、入力画像PINから抽出して出力画像POUTとして出力するべき注目領域の情報ARと、指定倍率cとが画像処理装置100に入力され、注目領域の情報AR及び指定倍率cは、高解像化制御部101及び解像度変換制御部102に与えられる。
【0027】
例えば、第1の実施形態に係る画像処理装置100が監視カメラからの動画像を処理する監視システムの一要素として適用されている場合、監視員が入力装置を介して指定した監視画像内の領域を注目領域とし、監視員が指定した倍率を指定倍率として、第1の実施形態に係る画像処理装置100に入力するようにしても良い。また例えば、同様な監視システムであっても、システム自体が自動認識処理により監視画像内に存在する移動物体を認識し、その移動物体を含む領域を注目領域とし、その注目領域のサイズから指定倍率を自動的に演算して、第1の実施形態に係る画像処理装置100に入力するようにしても良い。
【0028】
ここで、注目領域ARや指定倍率cの特定方法は問われないものである。注目領域ARが矩形の領域に限定されているとする。図2に示すように、入力画像PINの左上(の画素)の座標を原点(0,0)とし、X軸は右に正でY軸は下に正の座標系を定義する。注目領域ARを、その左上の座標(x,y)と、X軸及びY軸方向のサイズ(例えば画素数)w及びhとで特定しても良い。また、注目領域ARを、その左上の座標(x,y)と、図2には示していないが、右下の座標とで特定するようにしても良い。なお、以下では、注目領域ARや出力画像POUTに関し、X軸方向のサイズを「幅」と呼び、Y軸方向のサイズを「高さ」と呼ぶ。指定倍率cは、そのもの自体を入力するようにしても良い。例えば、注目領域の中心等を示す座標と指定倍率c及び出力画像のサイズ情報から注目領域ARの座標を算出するようにしても良い。また例えば、指定倍率cを直接入力するのではなく、注目領域ARに係るサイズの情報と出力画像POUTの情報とから、高解像化制御部101及び解像度変換制御部102が算出するようにしても良い(高解像化制御部101及び解像度変換制御部102の一方が算出し、他方へ与えるようにしても良い)。出力画像POUTのサイズ(幅×高さ)は固定されており、図2に示すようにW×Hであるとする。この場合、W/w若しくはH/hで指定倍率cを算出することができる。
【0029】
入力画像PINにおける座標(x,y)と出力画像POUTにおける対応座標(X,Y)の関係は、(1−1)式〜(1−4)式で表すことができる。
【0030】
X=c(x−x) …(1−1)
Y=c(y−y) …(1−2)
W=cw …(1−3)
H=ch …(1−4)
そのため、入力画像PINから出力画像POUTへ一気に高解像度変換することも考えられるが、発明が解決しようとする課題の項で説明したような課題に鑑み、第1の実施形態の画像処理装置100では、入力画像PINを中間高解像度画像PIMに変換し、さらに、中間高解像度画像PIMを出力画像POUTに変換することによって、出力画像POUTを得ることとしている。
【0031】
指定倍率cが入力されると、高解像化制御部101において、高解像化変換部103が高解像度変換を実行できる拡大倍率a(i=1,…,n;n≧1)の中から、指定倍率cに近い又は一致する拡大倍率aが選択され、この選択された拡大倍率a、指定された注目領域の情報ARから定まる処理対象領域の情報が高解像化変換部103に与えられる。これにより、高解像化変換部103によって、入力画像PINにおける処理対象領域が、選択された拡大倍率aの画像に高解像度変換され、中間高解像度画像PIMが得られて中間画像メモリ104に格納される。
【0032】
入力画像座標(x,y)と中間高解像度画像座標(x,y)との対応関係は、(2−1)式〜(2−4)式で表すことができる。
【0033】
=a(x−x) …(2−1)
=a(y−y) …(2−2)
=aw+m …(2−3)
=ah+m …(2−4)
ここで、中間高解像度画像PIMのサイズw×hは、(2−3)式及び(2−4)式に示すように、注目領域ARを拡大した分aw×ahに、後段の解像度変換部105で使用する補間フィルタのフィルタタップ数mだけ幅方向及び高さ方向に画素を追加したサイズとなる。m画素は、幅方向についてはm/2画素ずつ左右のそれぞれに追加され、高さ方向についてはm/2画素ずつ上下のそれぞれに追加される。例えば、解像度変換部105の補間フィルタとして、バイキュービック畳み込みフィルタを適用している場合にはm=4となり、注目領域ARを拡大した分aw×ahの上下左右に2画素ずつを追加した中間高解像度画像PIMが生成される。
【0034】
なお、出力画像POUTをラスタスキャン順に生成するような場合には、中間画像メモリ104としてmライン分のラインバッファを適用し、中間高解像度画像PIMの全てが生成されていなくても、中間高解像度画像PIMの最新に生成されたmライン分を中間画像メモリ104に格納して、解像度変換部105に引き渡すようにしても良い。
【0035】
また、注目領域ARの座標が整数精度で与えられていない場合には、入力画像PINの座標(x,y)に対応する中間高解像度画像PIMの座標(xi,)が整数位置となるように注目領域ARの左上の座標(x,y)を調整しておき、この調整分を解像度変換部105で逆に調整するように構成しても良い。
【0036】
高解像化変換部103が実行する高解像化変換処理は、拡大倍率aとして2倍や整数倍等に特化してエッジ保存型の適応的な高解像化フィルタ等を用いても良い。また、拡大倍率aで拡大された中間画像を、固定の解像度間変換行列を用いて(変換行列に関しては、例えば、特開平11−73410に記載されている)、入力画像の低解像度へ写像して、入力画像との誤差を最小化するような繰り返し演算を行う高解像化技術などを用いても良い。この場合も、予め拡大倍率aが固定されているので、入力画像PINの画素位置と中間画像の画素位置の関係は繰り返しパターンとなり、また、画素値間の写像で想定する点広がり関数等も繰り返しパターンとして予め組み込んでおくようにすることもできる。なお、複数画像からの高解像化処理を用いる場合には、複数の入力画像PINを高解像化変換部103内でバッファリングするように構成しても良い。
【0037】
解像度変換制御部102において、指定倍率cと選択された高解像化の拡大倍率aの比b=c/aが、解像度変換部105で用いる倍率として算出される。また、解像度変換制御部102において、基準となる座標の情報である変換パラメータ(xi0,yi0)が算出される。中間高解像度画像座標(x,y)と出力画像座標(X,Y)の対応関係は、(3−1)式及び(3−2)式に従っているとして、変換パラメータ(xi0,yi0)を算出する。
【0038】
X=b(x−xi0) …(3−1)
Y=b(y−yi0) …(3−2)
ここで、変換パラメータ(xi0,yi0)は、解像度変換部105で用いるフィルタタップ数m、及び、注目領域ARの左上座標(x,y)が整数位置でなかった場合に整数位置に調整したのと逆に調整する量から算出される。すなわち、変換パラメータ(xi0,yi0)は、入力画像PIN上の注目領域ARの(調整前の)左上座標(x,y)が中間高解像度画像PIMに写像された座標である。
【0039】
解像度変換部105において、解像度変換制御部102から供給された倍率比bや変換パラメータ(xi0,yi0)が適用され、中間画像メモリ104に格納されている中間高解像度画像PIMから、補間フィルタ等により、出力画像POUTが生成されて出力される。
【0040】
以下では、一例として、補間フィルタとしてバイキュービック畳み込み補間フィルタを適用する場合を説明する。この場合、フィルタタップ数mは4である。求めようとしている出力画素値の位置(X,Y)に対応する中間画像座標上の点(x,y)を上述した(3−1)式及び(3−2)式を、x及びyを求める式に変換した式に従って算出する。中間画像座標上の点(x,y)の近傍のm×m(すなわち、4×4)画素の中間画像高解像度画素をフィルタ処理で用いる画素とする。出力画素値の位置(X,Y)に対応する中間画像座標上の点(x,y)の整数画素位置からのずれ(u,v)、言い換えると、点(x,y)の小数点以下の部分の値を算出する。この算出式は、(4−1)式及び(4−2)式で表され、算出式中のfloorは床関数を表している。適用するm×m画素のそれぞれについて、点(x,y)の整数画素位置からのずれ(u,v)に応じて定まるフィルタ係数を用いてバイキュービック畳み込み補間フィルタ処理を施し、出力画像POUT上の位置(X,Y)における画素値を得る。
【0041】
u=x−floor(x) …(4−1)
v=y−floor(y) …(4−2)
ここで、バイキュービック畳み込み補間フィルタの場合、フィルタ係数はずれ(u,v)に関する3次式となり、一般的に言えば演算量は多い。しかし、水平方向、垂直方向に分離可能であり、また、ずれ(u,v)を適切な精度で離散化すれば、フィルタ係数を予めテーブル化しておくことなどができ、演算量を軽微にすることが可能である。例えば、各方向のずれ(小数点以下)u又はvをそれぞれ、4ビット(1/16精度)に離散化する場合には16エントリのテーブルとすることができる。
【0042】
また、分離可能な補間フィルタを用いる場合には、水平方向にフィルタにより変換したラインを垂直方向にタップ数分だけバッファし、その後、垂直方向にフィルタにより変換することにより演算量を削減するように構成することもできる。
【0043】
(A−3)第1の実施形態の効果
第1の実施形態によれば、固定の拡大倍率を有する高解像化変換部を設けたので、簡単な補間フィルタのみによる処理に比べて、画質の劣化を低減した解像度変換を行うことが可能となり、倍率を固定しているので、特定の倍率に特化した高解像化変換処理を用いることが可能となる。
【0044】
また、第1の実施形態によれば、高解像度化の固定拡大倍率と指定倍率との比に応じた補間フィルタ等による解像度変換部を設けたので、比較的軽量な処理で、任意の指定倍率に対応することが可能となっている。
【0045】
さらに、第1の実施形態によれば、それぞれの解像度変換処理に対して、変換対象領域を限定することができ、処理対象のデータ処理量を削減することができる。
【0046】
以上から明らかなように、第1の実施形態によれば、軽微な演算量で画質劣化の少ない解像度変換を行うことができる。
【0047】
(B)第2の実施形態
次に、本発明による画像処理装置及びプログラムの第2の実施形態を、図面を参照しながら説明する。
【0048】
(B−1)第2の実施形態の構成
図3は、第2の実施形態に係る画像処理装置の構成を示す機能ブロック図であり、上述した第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。
【0049】
図3において、第2の実施形態の画像処理装置100Aは、高解像化制御部101A、解像度変換制御部102、高解像化変換部103A、中間画像メモリ104及び解像度変換部105に加え、倍率安定化検出部106及び高解像化変換行列生成部107を有する。なお、高解像化制御部101A及び高解像化変換部103Aの機能も、第1の実施形態のものと多少機能が変わっている。
【0050】
第2の実施形態の場合、指定倍率cは倍率安定化検出部106にも入力されるようになされている。倍率安定化検出部106は、指定倍率の変動が安定化したか否かを判断するものであり、指定倍率の変動が安定化したと判断した場合には、安定化倍率を算出し、算出した安定化倍率を、高解像化制御部101A及び高解像化変換行列生成部107に与えるものである。
【0051】
変換行列生成部107は、安定化倍率が供給された場合に、入力画像解像度と安定化倍率倍された中間画像解像度間の高解像化処理で用いる解像度間の変換行列を生成し、高解像化変換部103Aに供給するものである。
【0052】
第2の実施形態の高解像化制御部101Aが第1の実施形態と異なる点は、倍率安定化検出部106が指定倍率の変動が安定化したと判断した場合には安定化倍率を選択し、指定倍率の変動が安定化していないと判断した場合には高解像化変換部103Aが対応可能な1つ以上の固定の拡大倍率の中から指定倍率に近い又は一致する倍率を選択し、高解像化変換部103Aに与える点である。
【0053】
第2の実施形態の高解像化変換部103Aも、入力画像PINのうち高解像化制御部101Aにより指定された領域を指定された倍率で高解像化し、中間高解像度画像PIMを中間画像メモリ104に出力する。第2の実施形態の高解像化変換部103Aは、安定化倍率が指定された場合には、高解像化変換行列生成部107から供給される変換行列を参照しつつ高解像化処理を行う点が、第1の実施形態のものと異なっている。
【0054】
解像度変換制御部102、中間画像メモリ104及び解像度変換部105は、第1の実施形態のものと同様であるので、その機能説明は省略する。
【0055】
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態に係る画像処理装置100Aの動作を説明する。以下では、第1の実施形態と異なる動作を中心に説明し、第1の実施形態と同様な動作については説明をできるだけ省略する。
【0056】
第2の実施形態の場合、図示しない処理部から当該画像処理装置100Aに入力された指定倍率cは、高解像化制御部101及び解像度変換制御部102に与えられるだけでなく、倍率安定化検出部106にも与えられる。倍率安定化検出部106においては、入力画像PIN(フレーム)毎に与えられた指定倍率に基づき、指定倍率の変動が安定したか否かが判断され、安定した場合には、安定化倍率が算出される。
【0057】
安定化の判断方法としては、直前フレーム(直前フレームのフレーム毎のパラメータをt−1とする)の指定倍率c(t−1)と現フレームの指定倍率c(t)の差あるいは比が、所定の閾値より小さいときに安定化していると判断する方法を適用できる。また、所定閾値と比較するパラメータとして、現フレームに対する直前過去の所定フレーム数における指定倍率の平均(すなわち、移動平均)等の統計量との関係を適用するようにしても良い。
【0058】
安定化倍率としては、現フレームの指定倍率在c(t)若しくは指定倍率の移動平均等を、整数で近似した値a(t)を用いる。あるいは、安定化倍率は、現フレームの指定倍率在c(t)若しくは指定倍率の移動平均等を、小さな整数(例えば10未満の整数)の比で表される有理数に近似した値a(t)を用いる。ここで、既に、安定化倍率a(t−k)が選択されている場合には、指定倍率c(t)が選択中の安定化倍率a(t−k)から所定の閾値以上に逸脱しない限り選択中の安定化倍率a(t−k)を現フレームの安定化倍率a(t)として継続して出力するように制御しても良い。
【0059】
変換行列生成部107においては、高解像化変換部103Aで使用する、安定化倍率a(t)に対応する変換行列を生成する。変換行列は、入力画像解像度と中間画像解像度との間の高解像化処理で用いるものであり、安定化倍率a(t)によって変化するものである。安定化倍率a(t)が整数(若しくは分母及び分子が小さな有理数)であるので、変換行列は繰り返しパターンとなり、繰り返しの1周期分のみを生成するなどして演算量やメモリ容量を削減するように構成しても良い。
【0060】
高解像化制御部101Aにおいては、倍率安定化検出部106が指定倍率の変動か安定化したと判断した場合には安定化倍率a(t)を選択し、安定化していないと判断した場合には、高解像化変換部103Aが対向可能な倍率の中から、指定倍率cに近い若しくは一致した倍率aを選択する。安定化倍率a(t)若しくは選択された倍率aに対する処理対象領域等の算出は第1の実施形態の場合と同様である。
【0061】
高解像化変換部103Aにおいては、入力画像PINのうち、高解像化制御部101Aにより指定された領域が、指定された倍率a(t)若しくはaで高解像化され、中間高解像度画像PIMが生成されて中間画像メモリ104に格納される。このとき、安定化倍率a(t)が指定された場合には、高解像化変換行列生成部107から供給される変換行列が参照され、高解像化処理が実行される。
【0062】
中間高解像度画像PIMから出力画像POUTへの解像度変換については、入力画像PINから中間高解像度画像PIMへの高解像度変換に適用された倍率が、安定化倍率a(t)若しくは選択された倍率aとなっている点を反映させている点を除けば、第1の実施形態と同様の動作であるので、その説明は省略する。
【0063】
(B−3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態と同様の効果が得られることに加えて次のような効果が得られる。
【0064】
注目領域、倍率の変動が安定化した場合(例えば、ズーム動作等が終了し同じ注目領域を同じ倍率で拡大し続けるような場合)には、高解像化変換処理を最適化するような変換行列等を生成して処理するよう構成したので、画質劣化が知覚されやすい安定状態の画質を改善することが可能となる。
【0065】
また、変換行列が繰り返しパターンとなるように安定化倍率を近似するので、変換行列の生成や高解像化処理の演算量、メモリ容量を削減することができる。
【0066】
(C)他の実施形態
上記各実施形態の説明では、高解像化変換部103、103Aや解像度変換部105が常に処理を行うよう記載したが、処理条件によっては、高解像化変換部103、103A又は解像度変換部105が入力された画像や画素の情報をそのままスル―(バイパス)するようにしても良い。
【0067】
例えば、指定倍率cが1で、入出力の画素位置にずれがない場合は、高解像化変換部103、103Aや解像度変換部105等をバイパスして入力画素をそのまま対応する出力画素として出力するように構成しても良い。
【0068】
また例えば、入力画像から出力画像への変換が縮小となる場合や、指定倍率cが1に近い場合には、高解像化処理部103、103Aをバイパスして、解像度変換部105での変換処理のみを行うようにしても良い。
【0069】
さらに例えば、指定倍率cが、高解像化変換部103、103Aが対応可能な倍率と一致するなど、解像度変換部105の処理を省略できる場合には、解像度変換部105をバイパスするように構成しても良い。
【符号の説明】
【0070】
100、100A…画像処理装置、101、101A…高解像化制御部、102…解像度変換制御部、103、103A…高解像化変換部、104…中間画像メモリ、105…解像度変換部、106…倍率安定化検出部、107…変換行列生成部。

【特許請求の範囲】
【請求項1】
入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置において、
入力画像を、1つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、
前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、
前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、
入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、
前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部とを有する
ことを特徴とする画像処理装置。
【請求項2】
入力画像について指定された倍率の変動が安定化したことを検出し、変動が安定化した倍率を近似する安定化倍率を算出する倍率安定化検出部と、
前記倍率安定化検出部によって指定倍率が安定化したと判断された場合に、前記高解像化変換部で用いる解像度間の変換行列を算出する変換行列算出部とをさらに有し、
前記高解像化制御部は、安定化倍率が指定された場合にはこれを高解像化倍率として選択し、
前記高解像化変換部は、安定化倍率が指定された場合には、前記変換行列算出部によって算出された変換行列を用いて高解像化変換処理を行う
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記高解像化変換部の変換処理が、2倍若しくは整数倍に特化したエッジ保存型の適応的なフィルタ処理を含むことを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記高解像化変換部の変換処理が、固定の解像度間変換行列を用いて中間画像を入力画像解像度に写像した画像と入力画像との差を最小化するような繰り返し処理を含むことを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項5】
前記高解像化変換部の変換処理が、前記変換行列生成部から供給される解像度間の変換行列を用いて、中間画像を入力画像解像度に写像した画像と入力画像との差を最小化するような繰り返し処理を含むことを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記解像度変換部が、所定のmXmタップの補間フィルタ処理を適用していることを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項7】
前記高解像化制御部が、前記mxmタップの補間フィルタ処理に必要となる分、指定領域を拡大した領域分の中間画像を生成させるように、前記高解像化変換部を制御することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記解像度変換部はラスタスキャン順に出力画像を生成するものであり、前記中間画像記憶部はmライン分のラインバッファを用いて構成されていることを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記解像度変換部が、出力画素位置に対応する中間画像座標の位置の小数点以下を所定ビット数で規定できる精度で離散化し、補間フィルタ係数を予めテーブル化して保持しておくことを特徴とする請求項6に記載の画像処理装置。
【請求項10】
前記高解像化制御部が、指定領域の座標が整数精度で指定されていない場合に、対応する中間画像座標の位置が整数精度となるように座標系を調整し、調整分を前記解像度変換制御部で逆に調整された変換パラメータとして算出することを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項11】
前記高解像化変換部が、入力画像をバッファリングし、バッファリングされた過去の入力画像も高解像化変換に利用することを特徴とする前記請求項1又は請求項2に記載の画像処理装置。
【請求項12】
前記倍率安定化検出部が、過去の指定倍率の統計量との閾値処理により倍率の変動が安定化したことを検出することを特徴とする請求項2に記載の画像処理装置。
【請求項13】
前記倍率安定化検出部が、指定倍率を、整数でなる安定化倍率、若しくは、小さい整数の比で表される有理数でなる安定化倍率に近似し、
前記変換行列生成部は、解像度間の変換行列の繰り返しパターン分の変換行列を生成する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項14】
入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置に搭載されるコンピュータを、
入力画像を、1つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、
前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、
前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、
入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、
前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部と
して機能させることを特徴とする画像処理プログラム。
【請求項15】
上記コンピュータを、
入力画像について指定された倍率の変動が安定化したことを検出し、変動が安定化した倍率を近似する安定化倍率を算出する倍率安定化検出部と、
前記倍率安定化検出部によって指定倍率が安定化したと判断された場合に、前記高解像化変換部で用いる解像度間の変換行列を算出する変換行列算出部としても機能させ、
前記高解像化制御部は、安定化倍率が指定された場合にはこれを高解像化倍率として選択し、
前記高解像化変換部は、安定化倍率が指定された場合には、前記変換行列算出部によって算出された変換行列を用いて高解像化変換処理を行う
ことを特徴とする請求項14に記載の画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2013−90204(P2013−90204A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−229952(P2011−229952)
【出願日】平成23年10月19日(2011.10.19)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】