解像度変換装置および解像度変換方法
【課題】画素補間による解像度変換において、エッジ角度の誤検出を減らし、補間時の画像の劣化を少なくするための技術を提供する。
【解決手段】補間注目座標の近傍の補間周辺画素を抽出し、含まれるエッジの角度および信頼度を検出する角度検出部と、補間注目周辺角度および補間注目周辺信頼度を検出し、補間注目周辺角度の種類数である多様度を検出する多様度検出部と、補間注目周辺角度のうち、最も個数の多いものである最頻角を検出する最頻角検出部と、多様度と最頻角を用いてエッジの角度を修正し修正角度を求める角度修正部と、第１の補間関数と第２の補間関数を信頼度に基づいて重みづけを行い、補間画素の画素値を算出する演算部とを備える解像度変換装置を用いる。
【解決手段】補間注目座標の近傍の補間周辺画素を抽出し、含まれるエッジの角度および信頼度を検出する角度検出部と、補間注目周辺角度および補間注目周辺信頼度を検出し、補間注目周辺角度の種類数である多様度を検出する多様度検出部と、補間注目周辺角度のうち、最も個数の多いものである最頻角を検出する最頻角検出部と、多様度と最頻角を用いてエッジの角度を修正し修正角度を求める角度修正部と、第１の補間関数と第２の補間関数を信頼度に基づいて重みづけを行い、補間画素の画素値を算出する演算部とを備える解像度変換装置を用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の解像度を変換する装置および方法に関するものである。
【背景技術】
【０００２】
従来、画像の解像度を変換する際には、補間画素周辺の画像を解析してエッジ方向を検出し、その検出結果に応じて補間方法を選択する手法が知られている（特許文献１、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６６９１８号公報
【特許文献２】特開２００３−０５２０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述した従来の技術では、補間しようとする画像内容によってはエッジ方向を誤判別して間違った方向に基づく補間方法にて画像処理を行い、結果として出力される画像が劣化する場合があった。
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、画素補間による解像度変換において、エッジ角度の誤検出を減らし、補間時の画像の劣化を少なくするための技術を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換装置であって、入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する角度検出部と、前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する多様度検出部と、前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する最頻角検出部と、前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める角度修正部と、前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する演算部とを備える解像度変換装置を採用する。
【０００７】
本発明は、また、入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換方法であって、入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する工程と、前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域
に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する工程と、前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する工程と、前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める工程と、前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する工程とを備える解像度変換方法を採用する。
【発明の効果】
【０００８】
本発明によれば、画素補間による解像度変換において、エッジ角度の誤検出を減らし、補間時の画像の劣化を少なくすることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の解像度変換装置のブロック図。
【図２】補間周辺画素Ｒ１、角度検出周辺画素Ｒ２１の概念図。
【図３】補間注目周辺角度Ｒ４６の概念図。
【図４】補間注目周辺角度Ｒ４６の例。
【図５】実施例１の処理全体のフローチャート。
【図６】補間注目座標Ｒ３の概念図。
【図７】角度検出処理のフローチャート。
【図８】角度検出用テンプレートの概念図。
【図９】角度検出周辺画素Ｒ２１の例。
【図１０】角度情報のコード割り当てを示す表。
【図１１】角度修正処理のフローチャート。
【図１２】最頻角信頼度算出処理のフローチャート。
【図１３】信頼度修正処理のフローチャート。
【図１４】角度検証処理のフローチャート。
【図１５】角度検証処理に用いる一致マップの概念図。
【図１６】角度検証処理での一致マップの計算例。
【図１７】角度検証処理での検証パターン選択の概念図。
【図１８】内挿演算処理のフローチャート。
【図１９】補間関数の概念図。
【図２０】補間関数Ｆ０の補間係数を示す概念図。
【図２１】補間関数の補間係数選択の概念図。
【図２２】画像に細い線画が含まれていたときの角度検出の例。
【図２３】ランダムな模様に近い複雑な画像での角度検出の例。
【図２４】周期的な線画の中での角度検出の例。
【図２５】実施例２の解像度変換装置のブロック図。
【発明を実施するための形態】
【００１０】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。以下の解像度変換装置は、入力画像の画素値に基づいて補間画素を生成し、画素数の異なる出力画像を得るものであり、入力画像と表示画面の解像度（画素数）が異なるときに使用される。解像度変換装置を単独の装置とすることもできるし、テレビジョン、ＳＴＢ(Set Top Box)等の放送受信装置、コンピュータに接続するディスプレイ装置など、動画像ある
いは静止画像を表示する機器に組み込んで用いることもできる。以下に記述する各ブロックは専用の回路を用いて構成しても良く、ＣＰＵ上で動作するプログラムとして構成して
も良い。また、以下の解像度変換装置が行う各処理をコンピュータ用のプログラム等に実行させることにより、本発明を解像度変換方法として実現することができる。
【００１１】
＜実施例１＞
以下、実施例１で用いられるデータの構造および各ブロックの機能について図面を参照しつつ説明する。本実施例の解像度変換装置の構成を図１のブロック図に示す。
【００１２】
入力画像信号Ｒ１００は、縦横の画素数（解像度）が(itx×ity)個で構成される入力画像を表す信号である。各画素の位置は左上を(0,0)、右上を(itx-1,0)、左下を(0,ity-1)
、右下を(itx-1,ity-1)とする入力座標系で表現できる。以下、入力座標系における座標(x,y)に存在する画素の画素値を、ipix(x,y)と表記する。
解像度変換後の出力画像は、縦横の画素数が(otx×oty)個で構成される。各画素の位置は左上を(0,0)、右上を(otx-1,0)、左下を(0,oty-1)、右下を(otx-1,oty-1)とする出力座標系で表現できる。出力画像に含まれる１つの画素である補間画素Ｒ１３に注目し、画素値を決定しようとするとき、出力座標系における補間画素Ｒ１３の座標を出力座標Ｒ３３と呼ぶ。
【００１３】
補間画素Ｒ１３の画素値を求めて補間画素を生成するために、入力画像の中に、補間注目座標Ｒ３と補間周辺画素Ｒ１を想定する。補間注目座標Ｒ３とは、図６に示すように、補間画素の座標である出力座標Ｒ３３を入力座標系に逆写像した座標を指す。右側の出力座標系で出力座標Ｒ３３が(ox,oy)であるとき、左側の入力座標系への逆写像である補間
注目座標Ｒ３(ix,iy)との関係は以下の式で求められる。なお、ix,iyは実数である。
ix = ox × itx / otx
iy = oy × ity / oty
補間周辺画素Ｒ１は、入力画像中の複数の画素であり、補間注目座標Ｒ３に基づいて、その近傍から抽出される。補間周辺画素Ｒ１の構造を図２(a)に示す。(ix,iy)は補間注目座標Ｒ３である。ix,iyの整数部をそれぞれixi,iyiとおき、小数部をそれぞれixs, iysとおく。補間周辺画素Ｒ１は、入力座標系で(ixi-1,iyi-1)と(ixi+2,iyi+2)を対角とする、４×４＝１６画素で構成される。すなわち、補間注目座標を中心とする領域に存在する複数の画素である。補間周辺画素Ｒ１の各画素の画素値に基づいて、補間画素Ｒ１３の画素値が求められる。
【００１４】
画像メモリ１は不図示の画像入力手段より入力された入力画像信号Ｒ１００を蓄える。また、画像メモリ１は、座標演算部３から補間注目座標Ｒ３を受け取り、それに基づいて補間周辺画素Ｒ１を抽出して出力する。また、画像メモリ１は、角度検出部２から角度検出注目座標Ｒ２０(kx,ky)を受け取り、それに基づいて角度検出周辺画素Ｒ２１を選択し
て出力する。角度検出周辺画素Ｒ２１は、図２（ｂ）に示すように、入力座標系において、角度検出注目座標の近傍に存在する、(kx-1,ky-1)と(kx+2,ky+2)を対角とする４×４＝１６個の画素で構成される。補間周辺画素Ｒ１と角度検出周辺画素Ｒ２１は、４×４の選択された画素である点において同じである。角度検出注目座標Ｒ２０とは、入力画像に含まれる画素であって、これから角度を検出しようとしているものの座標を指す。
【００１５】
角度検出部２は、入力画像の画素ごとに角度検出注目座標Ｒ２０を順に選択して画像メモリ１に出力し、画像メモリ１から角度検出周辺画素Ｒ２１を受け取る。角度検出部２は、受け取った角度検出周辺画素Ｒ２１を解析して検出角度Ｒ２２と検出信頼度Ｒ２３を検出し、検出角度メモリ４に出力する。ここで言う「角度」とは、角度検出周辺画素Ｒ２１が含むエッジの角度のことである。また「信頼度」とは、角度検出周辺画素Ｒ２１が検出エッジの角度を含むことの確からしさを表す値である。角度検出部２の動作の詳細は後述する。
【００１６】
座標演算部３は出力座標Ｒ３３を順に選択し、それに基づく補間注目座標Ｒ３を演算する。出力座標Ｒ３３は、出力画像Ｒ１３の左上から順に選択される。検出角度メモリ４は角度検出部２によって検出された検出角度Ｒ２２とその検出信頼度Ｒ２３を蓄える。また、検出角度メモリ４は、補間注目座標Ｒ３に基づいて、補間注目角度Ｒ４８、補間注目周辺角度Ｒ４６、補間注目信頼度Ｒ４０、および補間注目周辺信頼度Ｒ４９をそれぞれ抽出して出力する。補間注目角度Ｒ４８および補間注目周辺角度Ｒ４６の構造を図３に示す。補間注目座標Ｒ３(ix,iy)が含まれる、(ixi,iyi)と(ixi+1,iyi+1)を対角とする、網線で
示した１×１のエリアの検出角度Ｒ２２が補間注目角度Ｒ４８である。またその周辺の、(ixi-2,iyi-2)と(ixi+3,iyi+3)を対角とする、斜線で示した５×５のエリアの２５個の検出角度Ｒ２２が補間注目周辺角度Ｒ４６である。同様に、(ixi,iyi)と(ixi+1,iyi+1)を対角とする、１×１のエリアの検出信頼度Ｒ２３が補間注目信頼度Ｒ４０である。その周辺の、(ixi-2,iyi-2)と(ixi+3,iyi+3)を対角とする５×５のエリアの２５個の検出信頼度Ｒ２３が補間注目周辺信頼度Ｒ４９である。
【００１７】
最頻角検出部６は、補間注目周辺角度Ｒ４６に含まれる２５個の角度のうち、最も多く出現した角度を選択し、最頻角Ｒ６として出力する。例えば補間注目周辺角度Ｒ４６が図４に示した状態であれば、（右上−左下）の角度が６個、（上−下）が３個、（左−右）が２個、（左上−右下）が３個であるので、最頻角Ｒ６は（右上−左下）となる。
多様度検出部７は、補間注目周角度Ｒ４６に含まれる２５個の角度の中に出現した角度の種類の個数を求めて、その種類数を、多様度Ｒ７として出力する。例えば補間注目周辺角度Ｒ４６が図４に示した状態であった場合、（上−下）、（左−右）、（右上−左下）、（左上−右下）の４種類の角度が含まれているので多様度Ｒ７は４となる。この多様度は、値が大きい場合、５×５エリアの画像の特性を一様に決定するのが困難であると言えるので、エッジ強調効果などが相対的に小さい補間を行うように（等方的な補間係数を重視するように）後の工程で作用する。一方、多様度が小さいということは、エリアの特性がある程度明確ということなので、補間の方針が立てやすく、信頼度を高めて補間の効果を大きくする方向に（エッジ強調効果のある補間係数を重視する方向に）後の工程で作用する。
【００１８】
角度修正部８は最頻角Ｒ６と多様度Ｒ７に基づいて補間注目角度Ｒ４８を修正し、修正角度Ｒ８を出力する。修正の基本方針は、多様度が小さく、かつ補間注目角度Ｒ４８と最頻角Ｒ６が異なる場合は、角度を誤検出した可能性が高いので最頻角Ｒ６で置き換えることにある。角度修正方法の詳細は後述する。
最頻角信頼度算出部９は最頻角Ｒ６、補間注目周辺角度Ｒ４６、補間注目周辺信頼度Ｒ４９に基づいて最頻角信頼度Ｒ９を算出する。最頻角信頼度とは、補間注目周辺信頼度の和を、最頻角と補間注目周辺角度の一致数で除算した値である。従って、一致数が多いほど、最頻角信頼度は小さくなる。最頻角信頼度Ｒ９の算出方法の詳細は後述する。
信頼度修正部１０は、修正角度Ｒ８、最頻角Ｒ６、多様度Ｒ７、最頻角信頼度Ｒ９に基づいて補間注目信頼度Ｒ４０を修正し、修正信頼度Ｒ１０を出力する。修正の基本方針は、多様度が小さく、かつ修正角度Ｒ８と最頻角Ｒ６が異なる場合は、修正信頼度Ｒ１０として最頻角信頼度を用いる点にある。一方、多様度が大きい場合、多様度修正係数を用いて修正信頼度を求めるが、標準的な処理では信頼度を下げるような方向になる。信頼度修正の方法の詳細は後述する。
【００１９】
角度検証部１１は補間注目周辺角度Ｒ４６を参照して修正角度Ｒ８の検証を行い、検証一致係数Ｒ１１を出力する。検証一致係数とは、要するに、修正角度Ｒ８を延長した方向における補間注目周辺角度が、当該修正角度Ｒ８と一致している度合いを表す値である。角度検証方法の詳細は後述する。
信頼度再修正部１２は検証一致係数Ｒ１１に基づいて修正信頼度Ｒ１０を再修正し、再修正信頼度Ｒ１２を出力する。検証一致係数が大きいほど、信頼性を高める方向に作用す
る。再修正方法の詳細は後述する。
内挿演算部１３は、補間周辺画素Ｒ１、補間注目座標Ｒ３、出力座標Ｒ３３、修正角度Ｒ８、再修正信頼度Ｒ１２に基づいて内挿演算を行い、補間画素Ｒ１３を生成、出力する。内挿演算方法の詳細については後述する。
また、不図示の制御部が装置全体の動作の制御を行う。
【００２０】
実施例１における解像度変換処理の全体的なフローチャートを図５に示す。
ステップＳ１では、不図示の制御部が、不図示の画像入力手段から入力された画像信号を画像メモリ１に格納する。
ステップＳ２では、角度検出部２が、画像メモリ１に蓄積された画像の入力画素を順に選択して、検出角度Ｒ２２とその信頼度である検出信頼度Ｒ２３を画素ごとに算出し、検出角度メモリ４に格納する。角度検出の動作の詳細は後述する。
ステップＳ３では、座標演算部３が、出力座標Ｒ３３を左上から順に選択する。
ステップＳ４では、座標演算部３が、図６に示すように、出力座標Ｒ３３に対する補間注目座標Ｒ３の算出を行う。
ステップＳ５では、検出角度メモリ４が、算出された補間注目座標Ｒ３に基づいて補間注目角度Ｒ４８および補間注目周辺角度Ｒ４６を抽出する。ここで、検出角度は入力画素ごとに求められているので（ステップＳ２）、補間注目座標と入力画素の関連付けをする必要がある。本フローでは、図３に示すように、補間注目座標Ｒ３(ix,iy)には入力座標
系で(ixi,iyi)の位置にある入力画素が対応するものとし、その入力画素について求めた
検出角度を補間注目角度Ｒ４８とする。同様に、入力座標系で(ixi-2,iyi-2)〜(ixi+2,iyi+2)の位置にある２５個の入力画素について求めた検出角度を、補間注目周辺角度Ｒ４６とする。
【００２１】
ステップＳ６では、最頻角検出部６が、補間注目周辺角度Ｒ４６に含まれる２５の角度のうち、最も多く出現した角度を選択し、最頻角Ｒ６として出力する。
ステップＳ７では、多様度検出部７が、補間注目周角度Ｒ４６に含まれる２５の角度の中に出現した角度の種類を数えて、多様度Ｒ７として出力する。
ステップＳ８では、角度修正部８が、最頻角Ｒ６と多様度Ｒ７に基づいて補間注目角度Ｒ４８を修正し、修正角度Ｒ８を出力する。角度修正方法の詳細は後述する。
ステップＳ９では、検出角度メモリ４が、補間注目座標Ｒ３に基づいて補間注目信頼度Ｒ４０および補間注目周辺信頼度Ｒ４９を抽出する。補間注目信頼度とは、補間注目角度Ｒ４８とセットになる信頼度であり、図３で言えば入力座標(ixi,iyi)について求めた検
出信頼度に相当する。同様に補間注目周辺信頼度とは、補間注目周辺角度Ｒ４６のそれぞれとセットになる信頼度である。
ステップＳ１０では、最頻角信頼度算出部９が、最頻角Ｒ６、補間注目周辺角度Ｒ４６、補間注目周辺信頼度Ｒ４９に基づいて最頻角信頼度Ｒ９を算出する。最頻角信頼度Ｒ９の算出方法の詳細は後述する。
ステップＳ１１では、信頼度修正部１０が、修正角度Ｒ８、最頻角Ｒ６、多様度Ｒ７、最頻角信頼度Ｒ９に基づいて補間注目信頼度Ｒ４０を修正し、修正信頼度Ｒ１０を出力する。信頼度修正の方法の詳細は後述する。
【００２２】
ステップＳ１２では、角度検証部１１が、補間注目周辺角度Ｒ４６を参照して修正角度Ｒ８の検証を行い、検証一致係数Ｒ１１を出力する。角度検証方法の詳細は後述する。
ステップＳ１３では、信頼度再修正部１２が、検証一致係数Ｒ１１に基づいて修正信頼度Ｒ１０を再修正し、再修正信頼度Ｒ１２を出力する。再修正方法の詳細は後述する。
ステップＳ１４では、画像メモリ１が、補間注目座標Ｒ３に基づいて補間周辺画素Ｒ１を抽出する。
ステップＳ１５では、内挿演算部１３が、補間周辺画素Ｒ１、補間注目座標Ｒ３、出力座標Ｒ３３、修正角度Ｒ８、再修正信頼度Ｒ１２に基づいて内挿演算を行い、補間画素Ｒ
１３を出力する。内挿演算方法の詳細については後述する。
ステップＳ１６では、不図示の制御部が、全ての出力画素を選択し終えたか否かを判定する。未処理の出力画素があればステップＳ３に戻って次の出力画素についての処理を行う。全ての出力画素について処理が完了していれば、解像度変換処理を終了する。
【００２３】
次に、各部の詳細な動作を説明する。
【００２４】
角度検出部２における角度検出処理の動作のフローチャートを図７に示す。
ステップＳ２１では、角度検出部が、角度を検出するための部分画像を抽出する。画素数が(itx×ity)個の入力画像において、まず角度検出注目座標Ｒ２０(kx,ky)を左上から
順に選択し、図２（ｂ）に示すように４×４の角度検出周辺画素Ｒ２１を抽出する。
ステップＳ２２では、角度検出部が、テンプレートマッチング処理を行う。用いるテンプレートの構造を図８に示す。図８（ａ）は垂直テンプレートであり、丸数字の中に書かれた「−１」または「＋１」が、座標(x,y)での係数TV(x,y)である。図８（ｂ）は水平テンプレートであり、座標(x,y)での係数TH(x,y)が書かれている。ここで、垂直適合度mvと水平適合度mhをそれぞれ式（１）および式（２）により算出する。
【数１】
例えば、角度検出周辺画素Ｒ２１が図９に示すような４５度のエッジの部分画像であった場合、mv=4, mh=-4となる。
【００２５】
ステップＳ２３では、角度検出部が、得られた垂直適合度mvと水平適合度mhから部分画像のエッジ方向を算出する。角度検出注目座標Ｒ２０におけるエッジ角度(θ)は以下の式にて求められる。
θ = tan-1(mv/mh)
このとき、得られた角度の信頼度(lv)を次の式（３）により求めて、検出信頼度Ｒ２３とする。
【数２】
ここで、得られたエッジ角度を以下の条件で符号化して検出角度Ｒ２２(agl)を決定す
る。
0 ≦ θ ＜ π/8 … agl = 1
π/8 ≦ θ ＜ 3π/8 … agl = 2
3π/8 ≦ θ ＜ 5π/8 … agl = 3
5π/8 ≦ θ ＜ 7π/8 … agl = 4
7π/8 ≦ θ ＜ 9π/8 … agl = 1
9π/8 ≦ θ ＜ 11π/8 … agl = 2
11π/8 ≦ θ ＜ 13π/8 … agl = 3
13π/8 ≦ θ ＜ 15π/8 … agl = 4
15π/8 ≦ θ ＜ 2π … agl = 1
ただし、以下の条件が成立する場合はこちらが優先される。
lv ＜ mth … agl = 0
mthは角度の検出感度として用いられる所定の値である。値を小さくすると感度が良くな
り、ぼやけたエッジでも角度を検出できるようになる。値を大きくすると感度が悪くなり、誤判定を軽減することができるようになる。これにより、検出角度Ｒ２２として図１０で示したようにコード化された角度情報が得られる。
【００２６】
ステップＳ２４では、角度検出部が、得られた検出角度Ｒ２２と検出信頼度Ｒ２３を検出角度メモリ４に蓄積する。
ステップＳ２５では、角度検出部が、全ての入力画素について角度が検出されたか否かを判定する。未処理の画素が残っていればステップＳ２１に戻って次の画素の処理を行う。全ての画素について処理が完了していれば、角度検出処理を終了する。
【００２７】
角度修正部８における角度修正処理のフローチャートを図１１に示す。
ステップＳ８１では、角度修正部が、多様度Ｒ７(dvr)と、予め定められた多様度境界
値（不図示）(dvr_th)との比較を行う。ここで、dvr > dvr_th であればステップＳ８４
へ進む。そうでなければステップＳ８２へ進む。
ステップＳ８２では、角度修正部が、補間注目角度Ｒ４８(iagl)と最頻角Ｒ６(mjr)と
の比較を行う。ここで、iagl≠mjrであればステップＳ８３へ進む。そうでなければステ
ップＳ８４へ進む。
ステップＳ８３では、角度修正部が、修正角度Ｒ８(oagl)として最頻角Ｒ６(mjr)を選
択する。
ステップＳ８４では、角度修正部が、修正角度Ｒ８(oagl)として補間注目角度Ｒ４８(iagl)を選択する。
【００２８】
最頻角信頼度算出部９における最頻角信頼度算出処理のフローチャートを図１２に示す。制御変数(x,y)は補間注目周辺角度Ｒ４６の２５個のエリアのうち１つを特定するため
に用いられ、(0,0)〜(4,4)の範囲で変動する。
ステップＳ９１では、最頻角信頼度検出部が、信頼度和(S)、一致数(C)、制御変数yを
初期化する。
ステップＳ９２では、最頻角信頼度検出部が、制御変数xを初期化する。
ステップＳ９３では、最頻角信頼度検出部が、最頻角Ｒ６(mjr)と制御変数x,yが示す補間注目周辺角度Ｒ４６(iagl_a(x,y))を比較する。一致すればステップＳ９４へ進む。一
致しなければステップＳ９５へ進む。
ステップＳ９４では、最頻角信頼度検出部が、一致数(C)を１増やす。また信頼度和(S)に制御変数x,yが示す補間注目周辺信頼度Ｒ４９(ilv_a(x,y))を加える。
ステップＳ９５では、最頻角信頼度検出部が、制御変数xに１を加える。
ステップＳ９６では、最頻角信頼度検出部が、制御変数xの値を判断する。制御変数xが４以下であればステップＳ９３に戻り、１つ右の補間注目周辺角度について検討する。そうでなければステップＳ９７へ進む。
ステップＳ９７では、最頻角信頼度検出部が、制御変数yに１を加える。
ステップＳ９８では、最頻角信頼度検出部が、制御変数yの値を判断する。制御変数yが４以下であればステップＳ９２に戻り、１行下の補間注目周辺角度について検討する。そうでなければステップＳ９９へ進む。
ステップＳ９９では、信頼度和(S)を一致数(C)で割って最頻角信頼度Ｒ９(mjlv)とする。
【００２９】
信頼度修正部１０における信頼度修正処理のフローチャートを図１３に示す。
ステップＳ１０１では、信頼度修正部が、多様度Ｒ７(dvr)と、予め定められた多様度
境界値（不図示）(dvr_th)との比較を行う。ここで、dvr > dvr_th であればステップＳ
１０５へ進む。そうでなければステップＳ１０２へ進む。
ステップＳ１０２では、信頼度修正部が、修正角度Ｒ８(oagl)と最頻角Ｒ６(mjr)との
比較を行う。ここで、oagl≠mjrであればステップＳ１０３へ進む。そうでなければステ
ップＳ１０４へ進む。
ステップＳ１０３では、信頼度修正部が、修正信頼度Ｒ１０(mdlv)として最頻角信頼度Ｒ９(mjlv)を選択する。
ステップＳ１０４では、信頼度修正部が、修正信頼度Ｒ１０(mdlv)として補間注目信頼度Ｒ４０(ilv)を選択する。
ステップＳ１０５では、信頼度修正部が、修正信頼度Ｒ１０(mdlv)として、補間注目信頼度Ｒ４０(ilv) ×多様度修正係数(dvr_lv)を選択する。多様度修正係数(dvr_lv)の標準的な所定の値は1/2である。この値を小さくすると角度誤検出を多様度によって排除する
度合いが高くなる。大きくするとその逆である。
【００３０】
以上説明したように、画像の複雑度が増すと多様度Ｒ７の値が大きくなり、多様度境界値(dvr_th)を超えると補間注目信頼度Ｒ４０(ilv)を下げるように制御を行う。多様度境
界値(dvr_th)は、大きくすると複雑な画像で角度の検出感度が上がる。また小さくすると、誤検出を軽減することができる。
【００３１】
角度検証部１１における、角度検証処理のフローチャートを図１４に示す。
ステップＳ１１１では、角度検証部が、一致マップを作成する。一致マップの概念図を図１５に示す。補間注目周辺角度Ｒ４６に含まれる各周辺角度iagl_a(x,y)と修正角度Ｒ
８(oagl)を比較して一致するか否かの一致フラグをマップ化する。一致フラグjdg(x,y)の算出方法は以下の式のとおりである。
jdg(x,y) = 0 : iagl_a(x,y) ≠ oagl(ixi,iyi)
jdg(x,y) = 1 : iagl_a(x,y) ＝ oagl(ixi,iyi)
【００３２】
一致マップの計算例を図１６に示す。図１６（ａ）は補間注目周辺角度Ｒ４６の模式図で中央の網部は修正角度Ｒ８である。図１６（ｂ）は一致マップの算出結果である。例えば、iagl_a(ixi-2,iyi-2)の角度とoagl(ixi,iyi)の角度は異なるのでjgd(ixi-2,iyi-2)は０となる。また、iagl_a(ixi-1,iyi-1)の角度とoagl(ixi,iyi)の角度は同じなのでjgd(ixi-2,iyi-2)は１となる。
ステップＳ１１２では、角度検証部が、検証パターンの選択を行う。検証パターン選択の概念図を図１７に示す。修正角度Ｒ８(oagl)に応じて一致マップから４点の一致フラグを選択する。ここでは、修正角度Ｒ８が(右上−左下)の方向であることから、図１７（ｄ）に黒マスで示した４点が選択される。
ステップＳ１１３では、角度検証部が、選択した検証パターンに従って検証一致度Ｒ１１(oagl_lv)を算出する。検証一致度Ｒ１１(oagl_lv)は検証パターンに含まれる一致フラグの値の平均値とする。例えば図１６の場合だと、以下の式のように求められる。
oagl_lv = { jdg(ixi-2,iyi+2) + jdg(ixi-1,iyi+1) + jdg(ixi+1,iyi-1) + jdg(ixi+2,iyi-2) } /4 = 0.5
【００３３】
信頼度再修正部１２は、再修正信頼度Ｒ１２(olv)を、修正信頼度Ｒ１０(mdlv)、検証
一致係数Ｒ１１(oagl_lv)に基づいて以下の式にて算出する。
olv = mdlv × oagl_lv
【００３４】
以上説明したように、修正角度Ｒ８の示す角度と補間注目周辺角度Ｒ４６の示す周辺の検出角度との相関を検証し、相関が低ければエッジ角度の信頼度を下げるように制御を行う。
【００３５】
内挿演算部１３における内挿演算処理のフローチャートを図１８に示す。
ステップＳ１３１では、内挿演算部が、補間に用いる補間関数の選択を行う。図１９（ａ）〜（ｅ）に補間関数の例を示す。図１９（ａ）は方向性を持たない補間関数である。図１９（ｂ）〜（ｅ）は、修正角度Ｒ８(oagl)に応じて選択される補間関数である。例えば修正角度Ｒ８(oagl)の値が２（左上−右下）であれば、補間関数として図１９（ｃ）のF2(h,v)が選択される。
補間関数に用いる２次元関数の概念図を図２０に示す。補間関数F0の軸断面は図に示したようになっており、関数全体が円錐状の形となっている。同様に、F1〜F4の補間関数は対応するエッジ方向に扁平な楕円錐型の関数である。ここでは適用される補間係数は0〜1の範囲となる。
ステップＳ１３２では、内挿演算部が、補間注目座標Ｒ３に基づいて、選択した補間関数Fn(h,v)から補間係数を選択する。これが、本発明の第１の補間係数に該当する。補間
係数選択の概念図を図２１に示す。まず、補間注目座標Ｒ３の座標(ix,iy)に選択した補
間関数Fn(h,v)の原点を重ね合わせる。また選択する補間係数f(x,y)を以下のように定め
る。
f(x,y) = Fn(ix-x,iy-y)
ここで、f(x,y)を補間周辺画素Ｒ１に対応する座標(ixi-1,iyi-1)〜(ixi+2,iyi+2)について選択する。例えば、oagl=3, ix=3.8, iy=1.7であれば以下の式のようになる。
f(ixi,iyi) = F3(ix-ixi,iy-iyi)
= F3(-0.8,-0.7)
f(ixi+2,iyi-1) = F3(ix-(ixi+2),iy-(iyi-1))
= F3(1.2,-2.7)
【００３６】
さらに、ステップＳ１３１で選択した補間関数に対応する補間係数fn(x,y)の他、角度
なしに対応する補間関数F0(h,v)から選択した補間係数f0(x,y)も同様にして選択する。これが、本発明の第２の補間係数に該当する。
ステップＳ１３３では、内挿演算部が、補間周辺画素Ｒ１(ipix(x,y))と補間係数fn(x,y)から畳み込み演算を行って角度性補間画素値(opix_a)を得る。演算は以下の式（４）による。
【数３】
また以下の式（５）の演算により、非角度性補間画素値(opix_0)を得る。
【数４】
ステップＳ１３４では、内挿演算部が、角度性補間画素値(opix_a)、非角度性補間画素値(opix_0)、再修正信頼度Ｒ１２(olv)に基づいて補間画素Ｒ１３(opix)を算出する。演
算は以下の式による。
opix = opix_a × olv + opix_0 × ( 1 - olv )
【００３７】
以上説明した構成および方法にて解像度変換処理を実施することにより、角度検出部が検出したエッジ角度を多様度と最頻角に基づいて修正して誤検出を減らすことができる。これにより適切な補間係数を適用して補間が行われるので画像の劣化を少なくすることが可能になる。
【００３８】
本実施例の装置によって角度を検出、修正および検証する例を示す。
【００３９】
図２２（ａ）〜（ｃ）は画像に細い線画が含まれていたときの例である。角度検出部２による初期検出状態である図２２（ａ）では、細線の一部で検出漏れが発生している。しかし、角度修正部によって図２２（ｂ）のように最頻角（右上−左下）に置き換えられる（多様度は境界値以下とする）。角度検証によっても支持されて最終的に(c)の出力を得
て細線のエッジ検出精度が向上する
【００４０】
図２３（ａ）〜（ｃ）はランダムな模様に近い複雑な画像での例である。角度検出部２による初期検出状態である図２３（ａ）では、各画素でばらばらの検出結果が得られている。しかし、図２３（ｂ）に示されるように、図１３のステップＳ１０１〜ステップＳ１０５のフローに従い、多様度の検出によって注目点の信頼度が低く修正される。また周囲の信頼度も同様に修正されて最終的に図２３（ｃ）の出力を得て複雑画像における誤検出が低減される。
【００４１】
図２４（ａ）〜（ｃ）は周期的な線画の中で発生する例である。角度検出部２による初期検出状態である図２４（ａ）では、ところどころで誤検出が発生している。中央のエリアの角度は、まず図１１のフローに従って 図２４（ｂ）のように修正される（多様度は
境界値以下とする）。しかし、角度検証部１１の角度検証処理において同じ角度方向に角度の検出がないので支持されず、信頼度再修正部１２によって信頼度が低く修正される。最終的には図２４（ｃ）の出力を得て孤立した誤判定の除去性能が向上する。
【００４２】
本実施例において、補間関数F0〜F4は直線補間に基づく補間関数を例示したが、バイキュービック法などの高次関数を用いて画質を改善することも可能である。
【００４３】
本実施例において、画像のエッジ角度を検出する方法としてテンプレートマッチングフィルタによる方法を例示したが、例示したテンプレートと異なるテンプレートを用いて角度を検出することも可能である。あるいは全く別の手段によって角度を検出する構成であっても本発明を実施することが可能である。
また、検出する角度の種類を増やして例えば８方向の角度を検出するシステムであっても本質的に同様の手順にて本発明を実施することが可能である。また、補間周辺画素や角度検出周辺画素の数を４×４＝１６個より多くして、角度検出や画素値算出の精度を向上させることができる。
【００４４】
＜実施例２＞
本実施例では、角度検証部１１の入力を、検出角度Ｒ２２に基づく補間注目周辺角度Ｒ４６ではなく、修正角度Ｒ８に基づいた周辺角度によって検証する構成について説明する。
【００４５】
実施例２における装置の構成を図２５のブロック図に示す。実施例１との相違点は周辺修正角度抽出部１４を備えることにある。
周辺修正角度抽出部１４は、修正角度Ｒ８を蓄積して修正角度Ｒ８周囲２５点の修正角度を抽出する。抽出した周辺修正角度Ｒ１４の構造は図３に示した補間注目周辺角度Ｒ４６と同じである。
角度検証部１１は修正角度Ｒ８と周辺修正角度Ｒ１４に基づいて検証一致度Ｒ１１を算出する。算出の方法は実施例１と同様である。
【００４６】
実施例２では、修正された角度に基づいて検証を行うため、再修正信頼度Ｒ１２の精度が向上する。
【符号の説明】
【００４７】
２ 角度検出部
３ 座標演算部
６ 最頻角検出部
７ 多様度検出部
８ 角度修正部
１３ 内挿演算部
【技術分野】
【０００１】
本発明は、画像の解像度を変換する装置および方法に関するものである。
【背景技術】
【０００２】
従来、画像の解像度を変換する際には、補間画素周辺の画像を解析してエッジ方向を検出し、その検出結果に応じて補間方法を選択する手法が知られている（特許文献１、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６６９１８号公報
【特許文献２】特開２００３−０５２０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述した従来の技術では、補間しようとする画像内容によってはエッジ方向を誤判別して間違った方向に基づく補間方法にて画像処理を行い、結果として出力される画像が劣化する場合があった。
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、画素補間による解像度変換において、エッジ角度の誤検出を減らし、補間時の画像の劣化を少なくするための技術を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換装置であって、入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する角度検出部と、前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する多様度検出部と、前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する最頻角検出部と、前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める角度修正部と、前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する演算部とを備える解像度変換装置を採用する。
【０００７】
本発明は、また、入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換方法であって、入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する工程と、前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域
に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する工程と、前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する工程と、前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める工程と、前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する工程とを備える解像度変換方法を採用する。
【発明の効果】
【０００８】
本発明によれば、画素補間による解像度変換において、エッジ角度の誤検出を減らし、補間時の画像の劣化を少なくすることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の解像度変換装置のブロック図。
【図２】補間周辺画素Ｒ１、角度検出周辺画素Ｒ２１の概念図。
【図３】補間注目周辺角度Ｒ４６の概念図。
【図４】補間注目周辺角度Ｒ４６の例。
【図５】実施例１の処理全体のフローチャート。
【図６】補間注目座標Ｒ３の概念図。
【図７】角度検出処理のフローチャート。
【図８】角度検出用テンプレートの概念図。
【図９】角度検出周辺画素Ｒ２１の例。
【図１０】角度情報のコード割り当てを示す表。
【図１１】角度修正処理のフローチャート。
【図１２】最頻角信頼度算出処理のフローチャート。
【図１３】信頼度修正処理のフローチャート。
【図１４】角度検証処理のフローチャート。
【図１５】角度検証処理に用いる一致マップの概念図。
【図１６】角度検証処理での一致マップの計算例。
【図１７】角度検証処理での検証パターン選択の概念図。
【図１８】内挿演算処理のフローチャート。
【図１９】補間関数の概念図。
【図２０】補間関数Ｆ０の補間係数を示す概念図。
【図２１】補間関数の補間係数選択の概念図。
【図２２】画像に細い線画が含まれていたときの角度検出の例。
【図２３】ランダムな模様に近い複雑な画像での角度検出の例。
【図２４】周期的な線画の中での角度検出の例。
【図２５】実施例２の解像度変換装置のブロック図。
【発明を実施するための形態】
【００１０】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。以下の解像度変換装置は、入力画像の画素値に基づいて補間画素を生成し、画素数の異なる出力画像を得るものであり、入力画像と表示画面の解像度（画素数）が異なるときに使用される。解像度変換装置を単独の装置とすることもできるし、テレビジョン、ＳＴＢ(Set Top Box)等の放送受信装置、コンピュータに接続するディスプレイ装置など、動画像ある
いは静止画像を表示する機器に組み込んで用いることもできる。以下に記述する各ブロックは専用の回路を用いて構成しても良く、ＣＰＵ上で動作するプログラムとして構成して
も良い。また、以下の解像度変換装置が行う各処理をコンピュータ用のプログラム等に実行させることにより、本発明を解像度変換方法として実現することができる。
【００１１】
＜実施例１＞
以下、実施例１で用いられるデータの構造および各ブロックの機能について図面を参照しつつ説明する。本実施例の解像度変換装置の構成を図１のブロック図に示す。
【００１２】
入力画像信号Ｒ１００は、縦横の画素数（解像度）が(itx×ity)個で構成される入力画像を表す信号である。各画素の位置は左上を(0,0)、右上を(itx-1,0)、左下を(0,ity-1)
、右下を(itx-1,ity-1)とする入力座標系で表現できる。以下、入力座標系における座標(x,y)に存在する画素の画素値を、ipix(x,y)と表記する。
解像度変換後の出力画像は、縦横の画素数が(otx×oty)個で構成される。各画素の位置は左上を(0,0)、右上を(otx-1,0)、左下を(0,oty-1)、右下を(otx-1,oty-1)とする出力座標系で表現できる。出力画像に含まれる１つの画素である補間画素Ｒ１３に注目し、画素値を決定しようとするとき、出力座標系における補間画素Ｒ１３の座標を出力座標Ｒ３３と呼ぶ。
【００１３】
補間画素Ｒ１３の画素値を求めて補間画素を生成するために、入力画像の中に、補間注目座標Ｒ３と補間周辺画素Ｒ１を想定する。補間注目座標Ｒ３とは、図６に示すように、補間画素の座標である出力座標Ｒ３３を入力座標系に逆写像した座標を指す。右側の出力座標系で出力座標Ｒ３３が(ox,oy)であるとき、左側の入力座標系への逆写像である補間
注目座標Ｒ３(ix,iy)との関係は以下の式で求められる。なお、ix,iyは実数である。
ix = ox × itx / otx
iy = oy × ity / oty
補間周辺画素Ｒ１は、入力画像中の複数の画素であり、補間注目座標Ｒ３に基づいて、その近傍から抽出される。補間周辺画素Ｒ１の構造を図２(a)に示す。(ix,iy)は補間注目座標Ｒ３である。ix,iyの整数部をそれぞれixi,iyiとおき、小数部をそれぞれixs, iysとおく。補間周辺画素Ｒ１は、入力座標系で(ixi-1,iyi-1)と(ixi+2,iyi+2)を対角とする、４×４＝１６画素で構成される。すなわち、補間注目座標を中心とする領域に存在する複数の画素である。補間周辺画素Ｒ１の各画素の画素値に基づいて、補間画素Ｒ１３の画素値が求められる。
【００１４】
画像メモリ１は不図示の画像入力手段より入力された入力画像信号Ｒ１００を蓄える。また、画像メモリ１は、座標演算部３から補間注目座標Ｒ３を受け取り、それに基づいて補間周辺画素Ｒ１を抽出して出力する。また、画像メモリ１は、角度検出部２から角度検出注目座標Ｒ２０(kx,ky)を受け取り、それに基づいて角度検出周辺画素Ｒ２１を選択し
て出力する。角度検出周辺画素Ｒ２１は、図２（ｂ）に示すように、入力座標系において、角度検出注目座標の近傍に存在する、(kx-1,ky-1)と(kx+2,ky+2)を対角とする４×４＝１６個の画素で構成される。補間周辺画素Ｒ１と角度検出周辺画素Ｒ２１は、４×４の選択された画素である点において同じである。角度検出注目座標Ｒ２０とは、入力画像に含まれる画素であって、これから角度を検出しようとしているものの座標を指す。
【００１５】
角度検出部２は、入力画像の画素ごとに角度検出注目座標Ｒ２０を順に選択して画像メモリ１に出力し、画像メモリ１から角度検出周辺画素Ｒ２１を受け取る。角度検出部２は、受け取った角度検出周辺画素Ｒ２１を解析して検出角度Ｒ２２と検出信頼度Ｒ２３を検出し、検出角度メモリ４に出力する。ここで言う「角度」とは、角度検出周辺画素Ｒ２１が含むエッジの角度のことである。また「信頼度」とは、角度検出周辺画素Ｒ２１が検出エッジの角度を含むことの確からしさを表す値である。角度検出部２の動作の詳細は後述する。
【００１６】
座標演算部３は出力座標Ｒ３３を順に選択し、それに基づく補間注目座標Ｒ３を演算する。出力座標Ｒ３３は、出力画像Ｒ１３の左上から順に選択される。検出角度メモリ４は角度検出部２によって検出された検出角度Ｒ２２とその検出信頼度Ｒ２３を蓄える。また、検出角度メモリ４は、補間注目座標Ｒ３に基づいて、補間注目角度Ｒ４８、補間注目周辺角度Ｒ４６、補間注目信頼度Ｒ４０、および補間注目周辺信頼度Ｒ４９をそれぞれ抽出して出力する。補間注目角度Ｒ４８および補間注目周辺角度Ｒ４６の構造を図３に示す。補間注目座標Ｒ３(ix,iy)が含まれる、(ixi,iyi)と(ixi+1,iyi+1)を対角とする、網線で
示した１×１のエリアの検出角度Ｒ２２が補間注目角度Ｒ４８である。またその周辺の、(ixi-2,iyi-2)と(ixi+3,iyi+3)を対角とする、斜線で示した５×５のエリアの２５個の検出角度Ｒ２２が補間注目周辺角度Ｒ４６である。同様に、(ixi,iyi)と(ixi+1,iyi+1)を対角とする、１×１のエリアの検出信頼度Ｒ２３が補間注目信頼度Ｒ４０である。その周辺の、(ixi-2,iyi-2)と(ixi+3,iyi+3)を対角とする５×５のエリアの２５個の検出信頼度Ｒ２３が補間注目周辺信頼度Ｒ４９である。
【００１７】
最頻角検出部６は、補間注目周辺角度Ｒ４６に含まれる２５個の角度のうち、最も多く出現した角度を選択し、最頻角Ｒ６として出力する。例えば補間注目周辺角度Ｒ４６が図４に示した状態であれば、（右上−左下）の角度が６個、（上−下）が３個、（左−右）が２個、（左上−右下）が３個であるので、最頻角Ｒ６は（右上−左下）となる。
多様度検出部７は、補間注目周角度Ｒ４６に含まれる２５個の角度の中に出現した角度の種類の個数を求めて、その種類数を、多様度Ｒ７として出力する。例えば補間注目周辺角度Ｒ４６が図４に示した状態であった場合、（上−下）、（左−右）、（右上−左下）、（左上−右下）の４種類の角度が含まれているので多様度Ｒ７は４となる。この多様度は、値が大きい場合、５×５エリアの画像の特性を一様に決定するのが困難であると言えるので、エッジ強調効果などが相対的に小さい補間を行うように（等方的な補間係数を重視するように）後の工程で作用する。一方、多様度が小さいということは、エリアの特性がある程度明確ということなので、補間の方針が立てやすく、信頼度を高めて補間の効果を大きくする方向に（エッジ強調効果のある補間係数を重視する方向に）後の工程で作用する。
【００１８】
角度修正部８は最頻角Ｒ６と多様度Ｒ７に基づいて補間注目角度Ｒ４８を修正し、修正角度Ｒ８を出力する。修正の基本方針は、多様度が小さく、かつ補間注目角度Ｒ４８と最頻角Ｒ６が異なる場合は、角度を誤検出した可能性が高いので最頻角Ｒ６で置き換えることにある。角度修正方法の詳細は後述する。
最頻角信頼度算出部９は最頻角Ｒ６、補間注目周辺角度Ｒ４６、補間注目周辺信頼度Ｒ４９に基づいて最頻角信頼度Ｒ９を算出する。最頻角信頼度とは、補間注目周辺信頼度の和を、最頻角と補間注目周辺角度の一致数で除算した値である。従って、一致数が多いほど、最頻角信頼度は小さくなる。最頻角信頼度Ｒ９の算出方法の詳細は後述する。
信頼度修正部１０は、修正角度Ｒ８、最頻角Ｒ６、多様度Ｒ７、最頻角信頼度Ｒ９に基づいて補間注目信頼度Ｒ４０を修正し、修正信頼度Ｒ１０を出力する。修正の基本方針は、多様度が小さく、かつ修正角度Ｒ８と最頻角Ｒ６が異なる場合は、修正信頼度Ｒ１０として最頻角信頼度を用いる点にある。一方、多様度が大きい場合、多様度修正係数を用いて修正信頼度を求めるが、標準的な処理では信頼度を下げるような方向になる。信頼度修正の方法の詳細は後述する。
【００１９】
角度検証部１１は補間注目周辺角度Ｒ４６を参照して修正角度Ｒ８の検証を行い、検証一致係数Ｒ１１を出力する。検証一致係数とは、要するに、修正角度Ｒ８を延長した方向における補間注目周辺角度が、当該修正角度Ｒ８と一致している度合いを表す値である。角度検証方法の詳細は後述する。
信頼度再修正部１２は検証一致係数Ｒ１１に基づいて修正信頼度Ｒ１０を再修正し、再修正信頼度Ｒ１２を出力する。検証一致係数が大きいほど、信頼性を高める方向に作用す
る。再修正方法の詳細は後述する。
内挿演算部１３は、補間周辺画素Ｒ１、補間注目座標Ｒ３、出力座標Ｒ３３、修正角度Ｒ８、再修正信頼度Ｒ１２に基づいて内挿演算を行い、補間画素Ｒ１３を生成、出力する。内挿演算方法の詳細については後述する。
また、不図示の制御部が装置全体の動作の制御を行う。
【００２０】
実施例１における解像度変換処理の全体的なフローチャートを図５に示す。
ステップＳ１では、不図示の制御部が、不図示の画像入力手段から入力された画像信号を画像メモリ１に格納する。
ステップＳ２では、角度検出部２が、画像メモリ１に蓄積された画像の入力画素を順に選択して、検出角度Ｒ２２とその信頼度である検出信頼度Ｒ２３を画素ごとに算出し、検出角度メモリ４に格納する。角度検出の動作の詳細は後述する。
ステップＳ３では、座標演算部３が、出力座標Ｒ３３を左上から順に選択する。
ステップＳ４では、座標演算部３が、図６に示すように、出力座標Ｒ３３に対する補間注目座標Ｒ３の算出を行う。
ステップＳ５では、検出角度メモリ４が、算出された補間注目座標Ｒ３に基づいて補間注目角度Ｒ４８および補間注目周辺角度Ｒ４６を抽出する。ここで、検出角度は入力画素ごとに求められているので（ステップＳ２）、補間注目座標と入力画素の関連付けをする必要がある。本フローでは、図３に示すように、補間注目座標Ｒ３(ix,iy)には入力座標
系で(ixi,iyi)の位置にある入力画素が対応するものとし、その入力画素について求めた
検出角度を補間注目角度Ｒ４８とする。同様に、入力座標系で(ixi-2,iyi-2)〜(ixi+2,iyi+2)の位置にある２５個の入力画素について求めた検出角度を、補間注目周辺角度Ｒ４６とする。
【００２１】
ステップＳ６では、最頻角検出部６が、補間注目周辺角度Ｒ４６に含まれる２５の角度のうち、最も多く出現した角度を選択し、最頻角Ｒ６として出力する。
ステップＳ７では、多様度検出部７が、補間注目周角度Ｒ４６に含まれる２５の角度の中に出現した角度の種類を数えて、多様度Ｒ７として出力する。
ステップＳ８では、角度修正部８が、最頻角Ｒ６と多様度Ｒ７に基づいて補間注目角度Ｒ４８を修正し、修正角度Ｒ８を出力する。角度修正方法の詳細は後述する。
ステップＳ９では、検出角度メモリ４が、補間注目座標Ｒ３に基づいて補間注目信頼度Ｒ４０および補間注目周辺信頼度Ｒ４９を抽出する。補間注目信頼度とは、補間注目角度Ｒ４８とセットになる信頼度であり、図３で言えば入力座標(ixi,iyi)について求めた検
出信頼度に相当する。同様に補間注目周辺信頼度とは、補間注目周辺角度Ｒ４６のそれぞれとセットになる信頼度である。
ステップＳ１０では、最頻角信頼度算出部９が、最頻角Ｒ６、補間注目周辺角度Ｒ４６、補間注目周辺信頼度Ｒ４９に基づいて最頻角信頼度Ｒ９を算出する。最頻角信頼度Ｒ９の算出方法の詳細は後述する。
ステップＳ１１では、信頼度修正部１０が、修正角度Ｒ８、最頻角Ｒ６、多様度Ｒ７、最頻角信頼度Ｒ９に基づいて補間注目信頼度Ｒ４０を修正し、修正信頼度Ｒ１０を出力する。信頼度修正の方法の詳細は後述する。
【００２２】
ステップＳ１２では、角度検証部１１が、補間注目周辺角度Ｒ４６を参照して修正角度Ｒ８の検証を行い、検証一致係数Ｒ１１を出力する。角度検証方法の詳細は後述する。
ステップＳ１３では、信頼度再修正部１２が、検証一致係数Ｒ１１に基づいて修正信頼度Ｒ１０を再修正し、再修正信頼度Ｒ１２を出力する。再修正方法の詳細は後述する。
ステップＳ１４では、画像メモリ１が、補間注目座標Ｒ３に基づいて補間周辺画素Ｒ１を抽出する。
ステップＳ１５では、内挿演算部１３が、補間周辺画素Ｒ１、補間注目座標Ｒ３、出力座標Ｒ３３、修正角度Ｒ８、再修正信頼度Ｒ１２に基づいて内挿演算を行い、補間画素Ｒ
１３を出力する。内挿演算方法の詳細については後述する。
ステップＳ１６では、不図示の制御部が、全ての出力画素を選択し終えたか否かを判定する。未処理の出力画素があればステップＳ３に戻って次の出力画素についての処理を行う。全ての出力画素について処理が完了していれば、解像度変換処理を終了する。
【００２３】
次に、各部の詳細な動作を説明する。
【００２４】
角度検出部２における角度検出処理の動作のフローチャートを図７に示す。
ステップＳ２１では、角度検出部が、角度を検出するための部分画像を抽出する。画素数が(itx×ity)個の入力画像において、まず角度検出注目座標Ｒ２０(kx,ky)を左上から
順に選択し、図２（ｂ）に示すように４×４の角度検出周辺画素Ｒ２１を抽出する。
ステップＳ２２では、角度検出部が、テンプレートマッチング処理を行う。用いるテンプレートの構造を図８に示す。図８（ａ）は垂直テンプレートであり、丸数字の中に書かれた「−１」または「＋１」が、座標(x,y)での係数TV(x,y)である。図８（ｂ）は水平テンプレートであり、座標(x,y)での係数TH(x,y)が書かれている。ここで、垂直適合度mvと水平適合度mhをそれぞれ式（１）および式（２）により算出する。
【数１】
例えば、角度検出周辺画素Ｒ２１が図９に示すような４５度のエッジの部分画像であった場合、mv=4, mh=-4となる。
【００２５】
ステップＳ２３では、角度検出部が、得られた垂直適合度mvと水平適合度mhから部分画像のエッジ方向を算出する。角度検出注目座標Ｒ２０におけるエッジ角度(θ)は以下の式にて求められる。
θ = tan-1(mv/mh)
このとき、得られた角度の信頼度(lv)を次の式（３）により求めて、検出信頼度Ｒ２３とする。
【数２】
ここで、得られたエッジ角度を以下の条件で符号化して検出角度Ｒ２２(agl)を決定す
る。
0 ≦ θ ＜ π/8 … agl = 1
π/8 ≦ θ ＜ 3π/8 … agl = 2
3π/8 ≦ θ ＜ 5π/8 … agl = 3
5π/8 ≦ θ ＜ 7π/8 … agl = 4
7π/8 ≦ θ ＜ 9π/8 … agl = 1
9π/8 ≦ θ ＜ 11π/8 … agl = 2
11π/8 ≦ θ ＜ 13π/8 … agl = 3
13π/8 ≦ θ ＜ 15π/8 … agl = 4
15π/8 ≦ θ ＜ 2π … agl = 1
ただし、以下の条件が成立する場合はこちらが優先される。
lv ＜ mth … agl = 0
mthは角度の検出感度として用いられる所定の値である。値を小さくすると感度が良くな
り、ぼやけたエッジでも角度を検出できるようになる。値を大きくすると感度が悪くなり、誤判定を軽減することができるようになる。これにより、検出角度Ｒ２２として図１０で示したようにコード化された角度情報が得られる。
【００２６】
ステップＳ２４では、角度検出部が、得られた検出角度Ｒ２２と検出信頼度Ｒ２３を検出角度メモリ４に蓄積する。
ステップＳ２５では、角度検出部が、全ての入力画素について角度が検出されたか否かを判定する。未処理の画素が残っていればステップＳ２１に戻って次の画素の処理を行う。全ての画素について処理が完了していれば、角度検出処理を終了する。
【００２７】
角度修正部８における角度修正処理のフローチャートを図１１に示す。
ステップＳ８１では、角度修正部が、多様度Ｒ７(dvr)と、予め定められた多様度境界
値（不図示）(dvr_th)との比較を行う。ここで、dvr > dvr_th であればステップＳ８４
へ進む。そうでなければステップＳ８２へ進む。
ステップＳ８２では、角度修正部が、補間注目角度Ｒ４８(iagl)と最頻角Ｒ６(mjr)と
の比較を行う。ここで、iagl≠mjrであればステップＳ８３へ進む。そうでなければステ
ップＳ８４へ進む。
ステップＳ８３では、角度修正部が、修正角度Ｒ８(oagl)として最頻角Ｒ６(mjr)を選
択する。
ステップＳ８４では、角度修正部が、修正角度Ｒ８(oagl)として補間注目角度Ｒ４８(iagl)を選択する。
【００２８】
最頻角信頼度算出部９における最頻角信頼度算出処理のフローチャートを図１２に示す。制御変数(x,y)は補間注目周辺角度Ｒ４６の２５個のエリアのうち１つを特定するため
に用いられ、(0,0)〜(4,4)の範囲で変動する。
ステップＳ９１では、最頻角信頼度検出部が、信頼度和(S)、一致数(C)、制御変数yを
初期化する。
ステップＳ９２では、最頻角信頼度検出部が、制御変数xを初期化する。
ステップＳ９３では、最頻角信頼度検出部が、最頻角Ｒ６(mjr)と制御変数x,yが示す補間注目周辺角度Ｒ４６(iagl_a(x,y))を比較する。一致すればステップＳ９４へ進む。一
致しなければステップＳ９５へ進む。
ステップＳ９４では、最頻角信頼度検出部が、一致数(C)を１増やす。また信頼度和(S)に制御変数x,yが示す補間注目周辺信頼度Ｒ４９(ilv_a(x,y))を加える。
ステップＳ９５では、最頻角信頼度検出部が、制御変数xに１を加える。
ステップＳ９６では、最頻角信頼度検出部が、制御変数xの値を判断する。制御変数xが４以下であればステップＳ９３に戻り、１つ右の補間注目周辺角度について検討する。そうでなければステップＳ９７へ進む。
ステップＳ９７では、最頻角信頼度検出部が、制御変数yに１を加える。
ステップＳ９８では、最頻角信頼度検出部が、制御変数yの値を判断する。制御変数yが４以下であればステップＳ９２に戻り、１行下の補間注目周辺角度について検討する。そうでなければステップＳ９９へ進む。
ステップＳ９９では、信頼度和(S)を一致数(C)で割って最頻角信頼度Ｒ９(mjlv)とする。
【００２９】
信頼度修正部１０における信頼度修正処理のフローチャートを図１３に示す。
ステップＳ１０１では、信頼度修正部が、多様度Ｒ７(dvr)と、予め定められた多様度
境界値（不図示）(dvr_th)との比較を行う。ここで、dvr > dvr_th であればステップＳ
１０５へ進む。そうでなければステップＳ１０２へ進む。
ステップＳ１０２では、信頼度修正部が、修正角度Ｒ８(oagl)と最頻角Ｒ６(mjr)との
比較を行う。ここで、oagl≠mjrであればステップＳ１０３へ進む。そうでなければステ
ップＳ１０４へ進む。
ステップＳ１０３では、信頼度修正部が、修正信頼度Ｒ１０(mdlv)として最頻角信頼度Ｒ９(mjlv)を選択する。
ステップＳ１０４では、信頼度修正部が、修正信頼度Ｒ１０(mdlv)として補間注目信頼度Ｒ４０(ilv)を選択する。
ステップＳ１０５では、信頼度修正部が、修正信頼度Ｒ１０(mdlv)として、補間注目信頼度Ｒ４０(ilv) ×多様度修正係数(dvr_lv)を選択する。多様度修正係数(dvr_lv)の標準的な所定の値は1/2である。この値を小さくすると角度誤検出を多様度によって排除する
度合いが高くなる。大きくするとその逆である。
【００３０】
以上説明したように、画像の複雑度が増すと多様度Ｒ７の値が大きくなり、多様度境界値(dvr_th)を超えると補間注目信頼度Ｒ４０(ilv)を下げるように制御を行う。多様度境
界値(dvr_th)は、大きくすると複雑な画像で角度の検出感度が上がる。また小さくすると、誤検出を軽減することができる。
【００３１】
角度検証部１１における、角度検証処理のフローチャートを図１４に示す。
ステップＳ１１１では、角度検証部が、一致マップを作成する。一致マップの概念図を図１５に示す。補間注目周辺角度Ｒ４６に含まれる各周辺角度iagl_a(x,y)と修正角度Ｒ
８(oagl)を比較して一致するか否かの一致フラグをマップ化する。一致フラグjdg(x,y)の算出方法は以下の式のとおりである。
jdg(x,y) = 0 : iagl_a(x,y) ≠ oagl(ixi,iyi)
jdg(x,y) = 1 : iagl_a(x,y) ＝ oagl(ixi,iyi)
【００３２】
一致マップの計算例を図１６に示す。図１６（ａ）は補間注目周辺角度Ｒ４６の模式図で中央の網部は修正角度Ｒ８である。図１６（ｂ）は一致マップの算出結果である。例えば、iagl_a(ixi-2,iyi-2)の角度とoagl(ixi,iyi)の角度は異なるのでjgd(ixi-2,iyi-2)は０となる。また、iagl_a(ixi-1,iyi-1)の角度とoagl(ixi,iyi)の角度は同じなのでjgd(ixi-2,iyi-2)は１となる。
ステップＳ１１２では、角度検証部が、検証パターンの選択を行う。検証パターン選択の概念図を図１７に示す。修正角度Ｒ８(oagl)に応じて一致マップから４点の一致フラグを選択する。ここでは、修正角度Ｒ８が(右上−左下)の方向であることから、図１７（ｄ）に黒マスで示した４点が選択される。
ステップＳ１１３では、角度検証部が、選択した検証パターンに従って検証一致度Ｒ１１(oagl_lv)を算出する。検証一致度Ｒ１１(oagl_lv)は検証パターンに含まれる一致フラグの値の平均値とする。例えば図１６の場合だと、以下の式のように求められる。
oagl_lv = { jdg(ixi-2,iyi+2) + jdg(ixi-1,iyi+1) + jdg(ixi+1,iyi-1) + jdg(ixi+2,iyi-2) } /4 = 0.5
【００３３】
信頼度再修正部１２は、再修正信頼度Ｒ１２(olv)を、修正信頼度Ｒ１０(mdlv)、検証
一致係数Ｒ１１(oagl_lv)に基づいて以下の式にて算出する。
olv = mdlv × oagl_lv
【００３４】
以上説明したように、修正角度Ｒ８の示す角度と補間注目周辺角度Ｒ４６の示す周辺の検出角度との相関を検証し、相関が低ければエッジ角度の信頼度を下げるように制御を行う。
【００３５】
内挿演算部１３における内挿演算処理のフローチャートを図１８に示す。
ステップＳ１３１では、内挿演算部が、補間に用いる補間関数の選択を行う。図１９（ａ）〜（ｅ）に補間関数の例を示す。図１９（ａ）は方向性を持たない補間関数である。図１９（ｂ）〜（ｅ）は、修正角度Ｒ８(oagl)に応じて選択される補間関数である。例えば修正角度Ｒ８(oagl)の値が２（左上−右下）であれば、補間関数として図１９（ｃ）のF2(h,v)が選択される。
補間関数に用いる２次元関数の概念図を図２０に示す。補間関数F0の軸断面は図に示したようになっており、関数全体が円錐状の形となっている。同様に、F1〜F4の補間関数は対応するエッジ方向に扁平な楕円錐型の関数である。ここでは適用される補間係数は0〜1の範囲となる。
ステップＳ１３２では、内挿演算部が、補間注目座標Ｒ３に基づいて、選択した補間関数Fn(h,v)から補間係数を選択する。これが、本発明の第１の補間係数に該当する。補間
係数選択の概念図を図２１に示す。まず、補間注目座標Ｒ３の座標(ix,iy)に選択した補
間関数Fn(h,v)の原点を重ね合わせる。また選択する補間係数f(x,y)を以下のように定め
る。
f(x,y) = Fn(ix-x,iy-y)
ここで、f(x,y)を補間周辺画素Ｒ１に対応する座標(ixi-1,iyi-1)〜(ixi+2,iyi+2)について選択する。例えば、oagl=3, ix=3.8, iy=1.7であれば以下の式のようになる。
f(ixi,iyi) = F3(ix-ixi,iy-iyi)
= F3(-0.8,-0.7)
f(ixi+2,iyi-1) = F3(ix-(ixi+2),iy-(iyi-1))
= F3(1.2,-2.7)
【００３６】
さらに、ステップＳ１３１で選択した補間関数に対応する補間係数fn(x,y)の他、角度
なしに対応する補間関数F0(h,v)から選択した補間係数f0(x,y)も同様にして選択する。これが、本発明の第２の補間係数に該当する。
ステップＳ１３３では、内挿演算部が、補間周辺画素Ｒ１(ipix(x,y))と補間係数fn(x,y)から畳み込み演算を行って角度性補間画素値(opix_a)を得る。演算は以下の式（４）による。
【数３】
また以下の式（５）の演算により、非角度性補間画素値(opix_0)を得る。
【数４】
ステップＳ１３４では、内挿演算部が、角度性補間画素値(opix_a)、非角度性補間画素値(opix_0)、再修正信頼度Ｒ１２(olv)に基づいて補間画素Ｒ１３(opix)を算出する。演
算は以下の式による。
opix = opix_a × olv + opix_0 × ( 1 - olv )
【００３７】
以上説明した構成および方法にて解像度変換処理を実施することにより、角度検出部が検出したエッジ角度を多様度と最頻角に基づいて修正して誤検出を減らすことができる。これにより適切な補間係数を適用して補間が行われるので画像の劣化を少なくすることが可能になる。
【００３８】
本実施例の装置によって角度を検出、修正および検証する例を示す。
【００３９】
図２２（ａ）〜（ｃ）は画像に細い線画が含まれていたときの例である。角度検出部２による初期検出状態である図２２（ａ）では、細線の一部で検出漏れが発生している。しかし、角度修正部によって図２２（ｂ）のように最頻角（右上−左下）に置き換えられる（多様度は境界値以下とする）。角度検証によっても支持されて最終的に(c)の出力を得
て細線のエッジ検出精度が向上する
【００４０】
図２３（ａ）〜（ｃ）はランダムな模様に近い複雑な画像での例である。角度検出部２による初期検出状態である図２３（ａ）では、各画素でばらばらの検出結果が得られている。しかし、図２３（ｂ）に示されるように、図１３のステップＳ１０１〜ステップＳ１０５のフローに従い、多様度の検出によって注目点の信頼度が低く修正される。また周囲の信頼度も同様に修正されて最終的に図２３（ｃ）の出力を得て複雑画像における誤検出が低減される。
【００４１】
図２４（ａ）〜（ｃ）は周期的な線画の中で発生する例である。角度検出部２による初期検出状態である図２４（ａ）では、ところどころで誤検出が発生している。中央のエリアの角度は、まず図１１のフローに従って 図２４（ｂ）のように修正される（多様度は
境界値以下とする）。しかし、角度検証部１１の角度検証処理において同じ角度方向に角度の検出がないので支持されず、信頼度再修正部１２によって信頼度が低く修正される。最終的には図２４（ｃ）の出力を得て孤立した誤判定の除去性能が向上する。
【００４２】
本実施例において、補間関数F0〜F4は直線補間に基づく補間関数を例示したが、バイキュービック法などの高次関数を用いて画質を改善することも可能である。
【００４３】
本実施例において、画像のエッジ角度を検出する方法としてテンプレートマッチングフィルタによる方法を例示したが、例示したテンプレートと異なるテンプレートを用いて角度を検出することも可能である。あるいは全く別の手段によって角度を検出する構成であっても本発明を実施することが可能である。
また、検出する角度の種類を増やして例えば８方向の角度を検出するシステムであっても本質的に同様の手順にて本発明を実施することが可能である。また、補間周辺画素や角度検出周辺画素の数を４×４＝１６個より多くして、角度検出や画素値算出の精度を向上させることができる。
【００４４】
＜実施例２＞
本実施例では、角度検証部１１の入力を、検出角度Ｒ２２に基づく補間注目周辺角度Ｒ４６ではなく、修正角度Ｒ８に基づいた周辺角度によって検証する構成について説明する。
【００４５】
実施例２における装置の構成を図２５のブロック図に示す。実施例１との相違点は周辺修正角度抽出部１４を備えることにある。
周辺修正角度抽出部１４は、修正角度Ｒ８を蓄積して修正角度Ｒ８周囲２５点の修正角度を抽出する。抽出した周辺修正角度Ｒ１４の構造は図３に示した補間注目周辺角度Ｒ４６と同じである。
角度検証部１１は修正角度Ｒ８と周辺修正角度Ｒ１４に基づいて検証一致度Ｒ１１を算出する。算出の方法は実施例１と同様である。
【００４６】
実施例２では、修正された角度に基づいて検証を行うため、再修正信頼度Ｒ１２の精度が向上する。
【符号の説明】
【００４７】
２ 角度検出部
３ 座標演算部
６ 最頻角検出部
７ 多様度検出部
８ 角度修正部
１３ 内挿演算部
【特許請求の範囲】
【請求項１】
入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換装置であって、
入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する角度検出部と、
前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する多様度検出部と、
前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する最頻角検出部と、
前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める角度修正部と、
前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する演算部と、
を備える解像度変換装置。
【請求項２】
前記角度修正部は、前記多様度が所定の値より小さく、かつ、前記検出角度と前記最頻角が異なっていれば、修正角度として前記最頻角を使用する
請求項１に記載の解像度変換装置。
【請求項３】
前記最頻角の信頼度を求める最頻角信頼度検出部と、
前記多様度と前記最頻角の信頼度を用いて検出信頼度を修正し、修正信頼度を求める信頼度修正部と、
をさらに備え、
前記演算部は、前記検出信頼度に替えて前記修正信頼度を使用して補間画素の画素値を算出する
請求項１または２に記載の解像度変換装置。
【請求項４】
前記多様度検出部は、前記補間注目周辺角度を検出した領域にエッジが含まれることの確からしさである補間注目周辺信頼度をさらに検出し、
前記最頻角信頼度検出部は、前記補間注目周辺信頼度の和を、前記最頻角と前記補間注目周辺角度が一致した数で除算して、前記最頻角の信頼度を求め、
前記信頼度修正部は、前記多様度が所定の値より小さく、かつ、前記検出角度と前記最頻角が異なっていれば、修正信頼度として前記最頻角の信頼度を使用する
請求項３に記載の解像度変換装置。
【請求項５】
前記修正角度と、前記補間注目周辺角度のうち前記補間注目座標から見て前記修正角度の方向に存在するものとを比較し、一致数を求める角度検証部と、
前記一致数に基づいて前記修正信頼度をさらに修正し、再修正信頼度を求める信頼度再修正部と、
をさらに備え、
前記演算部は、前記修正信頼度に替えて前記再修正信頼度を使用して補間画素の画素値を算出する
請求項３または４に記載の解像度変換装置。
【請求項６】
前記角度検証部は、前記修正角度と、前記修正角度の方向に存在する補間注目周辺角度に対応する入力画素について求められた修正角度とを比較することにより、前記一致数を求める
請求項５に記載の解像度変換装置。
【請求項７】
入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換方法であって、
入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する工程と、
前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する工程と、
前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する工程と、
前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める工程と、
前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する工程と、
を有する解像度変換方法。
【請求項１】
入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換装置であって、
入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する角度検出部と、
前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する多様度検出部と、
前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する最頻角検出部と、
前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める角度修正部と、
前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する演算部と、
を備える解像度変換装置。
【請求項２】
前記角度修正部は、前記多様度が所定の値より小さく、かつ、前記検出角度と前記最頻角が異なっていれば、修正角度として前記最頻角を使用する
請求項１に記載の解像度変換装置。
【請求項３】
前記最頻角の信頼度を求める最頻角信頼度検出部と、
前記多様度と前記最頻角の信頼度を用いて検出信頼度を修正し、修正信頼度を求める信頼度修正部と、
をさらに備え、
前記演算部は、前記検出信頼度に替えて前記修正信頼度を使用して補間画素の画素値を算出する
請求項１または２に記載の解像度変換装置。
【請求項４】
前記多様度検出部は、前記補間注目周辺角度を検出した領域にエッジが含まれることの確からしさである補間注目周辺信頼度をさらに検出し、
前記最頻角信頼度検出部は、前記補間注目周辺信頼度の和を、前記最頻角と前記補間注目周辺角度が一致した数で除算して、前記最頻角の信頼度を求め、
前記信頼度修正部は、前記多様度が所定の値より小さく、かつ、前記検出角度と前記最頻角が異なっていれば、修正信頼度として前記最頻角の信頼度を使用する
請求項３に記載の解像度変換装置。
【請求項５】
前記修正角度と、前記補間注目周辺角度のうち前記補間注目座標から見て前記修正角度の方向に存在するものとを比較し、一致数を求める角度検証部と、
前記一致数に基づいて前記修正信頼度をさらに修正し、再修正信頼度を求める信頼度再修正部と、
をさらに備え、
前記演算部は、前記修正信頼度に替えて前記再修正信頼度を使用して補間画素の画素値を算出する
請求項３または４に記載の解像度変換装置。
【請求項６】
前記角度検証部は、前記修正角度と、前記修正角度の方向に存在する補間注目周辺角度に対応する入力画素について求められた修正角度とを比較することにより、前記一致数を求める
請求項５に記載の解像度変換装置。
【請求項７】
入力画像に含まれる入力画素の画素値に基づいて補間画素を生成し、前記入力画像とは解像度の異なる出力画像を作成する解像度変換方法であって、
入力画像において補間画素に対応する補間注目座標の近傍に存在する複数の入力画素である補間周辺画素を抽出し、前記補間周辺画素に含まれるエッジの角度である検出角度、および、前記補間周辺画素が前記エッジを含むことの信頼度を示す検出信頼度を検出する工程と、
前記補間周辺画素を構成する入力画素のそれぞれについて、当該入力画素を中心とする領域に含まれるエッジの角度である補間注目周辺角度を検出し、当該補間注目周辺角度の種類数である多様度を検出する工程と、
前記補間注目周辺角度のうち、最も個数の多い角度を最頻角として検出する工程と、
前記多様度と前記最頻角を用いて前記補間注目座標の検出角度を修正して修正角度を求める工程と、
前記補間周辺画素のそれぞれについて、前記補間注目座標から見て前記修正角度の方向にある補間周辺画素に適用される値が大きくなるような第１の補間係数と、前記修正角度の方向に関わりなく値が定まる第２の補間係数を決定し、前記検出信頼度が大きいほど前記第１の補間係数が前記第２の補間係数より大きくなるように重みづけを行い、前記第１の補間係数、前記第２の補間係数および前記補間周辺画素の画素値に基づいて前記補間画素の画素値を算出する工程と、
を有する解像度変換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−２８６４０（Ｐ２０１１−２８６４０Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７５５４３（Ｐ２００９−１７５５４３）
【出願日】平成２１年７月２８日（２００９．７．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２８日（２００９．７．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]