画像処理装置、画像処理方法、及び画像処理プログラム
【課題】 鮮鋭で高画質な高解像度画像を得る。
【解決手段】
画像処理装置は、エッジ判定部１０１、対応位置算出部１０２、画素値算出部１０３を備える。低解像度画像データのフレームの各画素の画素値に基づいて、フレーム内のエッジ領域を検出し、各画素がそれぞれエッジ領域にあるのかどうか判定する。フレームのエッジ領域にある、各画素を１つずつ注目画素として順次設定する。各注目画素のエッジ方向に沿った対応位置を小数精度で算出し、エッジ領域では、フレームの画素値と、算出された対応位置から成る等輝度線分と、推定画素の画素位置に基づく内挿処理によって、また、エッジ以外の領域では、フレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を求める。
【解決手段】
画像処理装置は、エッジ判定部１０１、対応位置算出部１０２、画素値算出部１０３を備える。低解像度画像データのフレームの各画素の画素値に基づいて、フレーム内のエッジ領域を検出し、各画素がそれぞれエッジ領域にあるのかどうか判定する。フレームのエッジ領域にある、各画素を１つずつ注目画素として順次設定する。各注目画素のエッジ方向に沿った対応位置を小数精度で算出し、エッジ領域では、フレームの画素値と、算出された対応位置から成る等輝度線分と、推定画素の画素位置に基づく内挿処理によって、また、エッジ以外の領域では、フレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを高解像度の画像データに変換する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、画素数が多い高解像度のテレビやディスプレイが普及しつつある。テレビやディスプレイは、画像データの画素数をパネルの画素数に変換し、拡大表示する。
【０００３】
元の画像データから画素値を増やした解像度の高い画像データに変換する方法として、サンプリング定理に基づいたＳｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法など）や、絵柄適応フィルタを利用した内挿法（例えば、非特許文献１参照）が知られている。絵柄適応フィルタを利用した内挿法は、基準フレーム（高解像度化させる対象となるフレーム）の絵柄に応じてフィルタ処理を切り替え、内挿する画素値を算出する方法である。絵柄が縦横の方向性を有する領域の場合と絵柄が斜めの方向性を有する領域とでフィルタを切り替えて、高解像度画像の輝度値の内挿処理が行われる。例えば、画素を内挿する位置近傍での絵柄が斜めの方向性を有するとフィルタによって判定された場合、そのフィルタが示す絵柄の方向で隣接する画素の画素値から内挿する推定画素値を算出する。
【非特許文献１】久保 武ら、 「Warping予測のための輝度値内挿法に関する一検討」 ２００６年画像符号化シンポジウム予稿集， Japan, PCSJ2006, November 2006, pp. 115-116.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の技術では、画像データの絵柄の方向をあらかじめ準備したフィルタのうち１の方向であると推定し、推定された方向で隣接する画素値から内挿する画素値を求める。そのため、推定されるエッジの方向は準備するフィルタの方向に丸められたとびとびの値をもった離散的な角度となってしまう。したがって、準備したフィルタの方向からずれたエッジ部に階段状の不連続パターン（以下、「ジャギー」という）が生じ、変換された高解像度画像の画質を劣化させる問題点がある。
【０００５】
また、フィルタによるエッジ検出の場合、ノイズ画素などの影響のため精度良くその方向を求めることが困難である。
【０００６】
本発明は、上述した事情を考慮してなされたものであり、ジャギーの少ない鮮鋭で高画質な高解像度化処理ができる画像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために請求項１の発明は、低解像度画像を高解像度画像に変換する画像処理装置において、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定手段と、前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出手段と、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める手段と、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えた画像処理装置を提供する。
【０００８】
また、請求項９の発明は、低解像度画像を高解像度画像に変換する画像処理装置において、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にあるエッジ領域画素と判定する判定手段と、前記低解像度画像の画素である注目画素と接するラインである近接ライン上の複数の前記低解像度画像の画素を候補画素として抽出する抽出手段と、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、前記類似度が最も高いと推定される前記近似関数上の位置に対応する前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、前記エッジ領域画素に対応する対応位置と、当該エッジ領域画素を結ぶ線分を当該注目画素の輝度値に対応する等輝度線分として求める手段と、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えた画像処理装置を提供する。
【０００９】
また、請求項１０の発明は、低解像度画像を高解像度画像に変換する画像処理方法において、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定するステップと、前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出するステップと、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求めるステップと、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定するステップと、前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求めるステップと、前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求めるステップと、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択するステップと、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出するステップとを備えた画像処理方法を提供する。
【００１０】
また、請求項１１の発明は低解像度画像を高解像度画像に変換する画像処理プログラムにおいて、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定機能と、前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出機能と、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出機能と、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定機能と、前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出機能と、前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める機能と、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択機能と、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出機能とをコンピュータに実現させる画像処理プログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、ジャギーの少ない鮮鋭で高画質な高解像度画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置について詳細に説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。
【００１３】
（第１の実施形態）第１の実施形態の画像処理装置について、図１〜図９を参照して説明する。本実施形態の画像処理装置は、入力された低解像度画像データを所定の解像度の高解像度画像データへと変換する高解像化処理を行う。
【００１４】
（１）本実施形態の画像処理装置の構成
図１は、本実施形態に係る画像処理装置のブロック図である。本実施形態の画像処理装置は、エッジ判定部１０１、対応位置算出部１０２、画素値算出部１０３を備えている。
【００１５】
（１−１）エッジ判定部１０１
エッジ判定部１０１は、入力された低解像度画像データに基づいて、各画素の近傍での輝度値の変化率を順次求める。輝度値の変化率が所定の値を越えた場合には当該画素はエッジ領域にあると判定される。エッジとは、画像中で画素値変化が直線的に起こっている部分を指し、具体的には被写体の輪郭線に相当するものである。また、エッジ領域にあると判定された画素近傍のエッジに沿った方向（以下エッジ方向という）が縦・横どちらの方向性を持つのかについても判定する。以下、判定された２値の方向を低解像度画素の判定エッジ方向という。エッジ判定部１０１がエッジ領域を判定する動作について、図３を用いて詳細に説明する。
【００１６】
図３は、被写体の輪郭線など、画素値変化が直線的に起こっているエッジ領域を検出する処理を説明するための図である。
【００１７】
低解像度画像フレーム３０１の画素のうち、低解像度画素３０２がエッジ領域の画素であるかどうかを判定する。低解像度画素３０２を中心とした３×３のブロック領域は、それぞれ画素値ｙ１１、ｙ１２、・・・、ｙ３３を持っているものとする。一般に、低解像度画素３０２とその近傍領域との画素値の変化分を取り出す微分をし、その大きさが一定値以上である場合は、エッジ領域の画素であると判定する。微分する方法は多数あるが、本実施形態ではソーベルフィルタを用いた処理を行う。
【００１８】
横方向の微分を求めるには横方向ソーベルフィルタ３０３を低解像度画素３０２に施す。具体的には、低解像度画素３０２の横方向微分として、（−ｙ１１−２×ｙ２１−ｙ３１）＋（ｙ１３＋２×ｙ２３＋ｙ３３）を算出する。同様に、縦方向の微分を求めるには縦方向のソーベルフィルタ３０４を低解像度画素３０２に施す。具体的には、低解像度画素３０２の縦方向微分として、（ｙ１１＋２×ｙ１２＋ｙ１３）＋（−ｙ３１−２×ｙ３２−ｙ３３）を算出する。縦方向の微分の絶対値、及び、横方向の微分の絶対値を加算し、ある閾値以上であった場合に、低解像度画素３０２をエッジ領域の画素であると判定する。以上の方法で、エッジ領域を検出する。
【００１９】
更に、横方向のソーベルフィルタ３０３からの出力の方が大きい場合は、横方向の画素値の濃淡の勾配が大きいといえる。その場合、低解像度画素３０２は、縦方向に伸びるエッジを持ったエッジ画素であると判定される。また、縦方向のソーベルフィルタ３０４からの出力の方が大きい場合は、縦方向の画素値の濃淡の勾配が大きいといえる。その場合、低解像度画素３０２は、横方向のエッジ画素であると判定する。以下、エッジ判定部１０１が判定した縦若しくは横のエッジ方向を判定エッジ方向と記述する。
【００２０】
以上の方法で、低解像度画像フレームの各画素がエッジ領域であるかを判定し、併せて検出されたエッジが縦横どちらの方向性を持つのかを示す判定エッジ方向についても判定する。
【００２１】
（１−２）対応位置算出部１０２
対応位置算出部１０２は、エッジ判定部１０１によってエッジ領域にあると判定された低解像度画素を順次注目画素として抽出し、抽出された注目画素の判定エッジ方向に存在し、注目画素と隣接する２本のライン（以下、「近接ライン」という）上の、注目画素と等輝度の画素があるとみなす位置（以下、「対応位置」という）を２本のラインそれぞれについて求める。
【００２２】
近接ライン上の画素をそれぞれ候補画素として抽出し、注目画素と候補画素との類似度を示すマッチング誤差をそれぞれ算出する。算出されたマッチング誤差のうち最小の値を持つ画素を中心候補画素として選択する。中心候補画素と近接ライン上で隣接する画素の３つのマッチング誤差を用いて、近接ライン上の画素間隔の小数精度をもった対応位置を算出する。
【００２３】
選択された３つ候補画素のマッチング誤差に対して連続な偶関数を当てはめる。当てはめられた偶関数は、マッチング誤差の近接ライン上での分布を近似するものとしてみなす。当てはめられた関数が最小となる近接ライン上の位置を対応位置として求める。上記の方法をマッチング誤差補間法という。
【００２４】
対応位置算出部１０２が判定エッジ方向に沿った小数精度の対応位置を算出する方法について、図４〜図８を用いて詳細に説明する。注目画素４０２は、エッジ判定部１０１によって判定エッジ方向が縦方向であると判定されている。判定エッジ方向が縦方向の場合、上下の近接ライン上の対応位置がそれぞれ算出される。以下、注目画素の下１ラインを近接ライン４１０とした場合に、対応位置算出部１０２が対応位置を算出する方法について詳細に説明する。
【００２５】
図４は注目画素４０２と候補画素６０６，６０７，６０８，６０９，６１０の位置を示す図である。
【００２６】
注目画素４０２はエッジ判定部１０１によってエッジ領域にあると判定された画素である。注目画素４０２の下１ラインが近接ライン４１０である。近接ライン４１０上の対応位置を算出するために、注目画素４０２と候補画素６０６，６０７，６０８，６０９，６１０とのマッチング誤差を算出する。
【００２７】
次に、マッチング誤差を算出する方法について説明する。本実施形態の対応位置算出部１０２は、注目画素４０２の近傍ブロックと候補画素６０６，６０７，６０８，６０９，６１０の近傍ブロックそれぞれとのマッチング誤差を算出する。
【００２８】
図５は、マッチング誤差を算出する方法を説明するための図である。注目画素領域４０３と候補画像領域５０８とが示されている。注目画素領域４０３は、注目画素４０２を中心に低解像度画像フレーム４０１から数画素四方、例えば注目画素４０２近傍の５×５画素や３×３画素の矩形のブロックとして設定される。図５では、３×３画素の領域を注目画素領域４０３としている。また、候補画像領域５０８は、候補画素６０８を中心とした注目画像領域４０３と同じサイズのブロックとして設定される。ブロックマッチング法によって注目画素４０２の注目画素領域４０３と、候補画素６０８の候補画素領域５０８とのマッチング誤差を算出する。マッチング誤差として、注目画像領域４０２と候補画像領域５０５の各画素値の差の２乗和であるＳＳＤ（Sum of Square Distance）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Distance）などを用いることができる。本実施形態では、注目画像領域４０３と候補画像領域５０５とのＳＳＤを計算して、注目画素４０２と候補画素５０４とのマッチング誤差として算出する。
【００２９】
同様に、近傍ライン４１０上のその他の候補画素６０６，６０７，６０８，６０９，６１０についても注目画素４０２とのマッチング誤差をそれぞれ算出する。算出されたマッチング誤差のうち、最小の値を持つものを中心候補画素として選択する。
【００３０】
次に、算出されたマッチング誤差に基づき対応位置を算出する方法について説明する。以下、中心候補画素として、注目画素４０２と判定エッジ方向で隣接する候補画素６０６が選択された場合について詳細に説明する。
【００３１】
図６は、中心候補画素６０６と、中心候補画素と近接ライン上で隣接する候補画素６０７、６０８を示す図である。
【００３２】
これら３つの候補画素６０６、６０７、６０８と、中心画素４０２とのマッチング誤差に基づき対応位置がもとめられる。
【００３３】
図７は、それぞれの候補画素６０６，６０７，６０８について算出されたマッチング誤差を示すグラフである。横軸は、近接ライン４１０上での各候補画素の位置を示す。縦軸は、それぞれの候補画素について算出された注目画素４０２とのマッチング誤差の大きさを表している。
【００３４】
中心候補画素として候補画素６０６が選択された場合、候補画素６０６及び、候補画素６０６と左右に隣接するそれぞれの候補画素６０７、６０８のマッチング誤差が対応位置を算出するために用いられる。
【００３５】
まず、算出された候補画素６０６，６０７，６０８のマッチング誤差３点に偶関数による連続関数７０１を当てはめる。連続関数７０１は、注目画素４０２との類似度の近接ライン４１０上での分布を近似する近似関数である。偶関数は、放物線や、マッチング誤差の軸に対称な２本の直線の関数を用いる。
【００３６】
以上のようにして当てはめた連続関数７０１が最小のマッチング誤差値７０３となる、すなわち、最も注目画素４０２との類似度が高いとみなされる近傍ライン４１０上での位置（白丸で図示）を、対応位置７０２として算出する。
【００３７】
図８は、算出された近傍ライン４１０上の対応位置７０２の低解像画像フレーム上での位置を示す図である。対応位置７０２と注目画素４０２とを結ぶ線分を、注目画素と等輝度値をもった等輝度線分４０４とみなす。注目画素４０２の上１ラインにおける対応位置も、同様に算出する。
【００３８】
また、注目画素４０２が、エッジ判定部１０１において横方向エッジ画素であると判定された場合は、右１ライン、及び、左１ラインを近傍ラインとする２つの対応位置を１つの注目画素に対してそれぞれ算出する。注目画素と、対応位置とを結ぶ２本の線分を注目画素と等輝度値をもった等輝度線分とみなす。
【００３９】
また、本実施形態ではマッチング誤差を算出する方法として画素近傍ブロック間のマッチング誤差を用いたが、注目画素と候補画素とのマッチング誤差を求めてもよい。
【００４０】
（１−３）画素値算出部１０３
画素値算出部１０３は、対応位置算出部１０２が求めた等輝度線分及びその輝度値から、所定の解像度に変換する際に内挿すべき位置の推定画素値を算出する。
【００４１】
画素値算出部１０３には、低解像度画像データと、エッジ判定部１０１が検出したエッジ領域の情報と、対応位置算出部１０２が算出した対応位置が入力される。エッジ領域の情報に応じて、エッジ領域では内挿すべき高解像度画素の位置から最も近い位置の等輝度線分を２つ選択し、選択された等輝度線分を利用した内挿方法で高解像度画像の推定画素値を算出する。エッジ以外の領域では、低解像度画像データのフレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。
【００４２】
高解像度画像の推定画素値を算出する動作について、図９を用いて詳細に説明する。
【００４３】
図９は、エッジ領域における高解像度画像の画素値を推定する様子を示す図である。図９に示すように、対応位置算出部１０２で算出された小数精度の対応位置の関係を、等輝度な線分９０１、９０２として用いる。推定したい高解像度画像の画素である新規画素９０３の輝度値をXm、n、低解像度画素９０４の輝度値をYNN、低解像度画素９０５の輝度値をYNN+1、新規画素９０３と最近傍の等輝度線分９０１との距離をdNN、最近傍の等輝度線分９０１と向かいに位置する最近傍の等輝度線分９０２と新規画素９０３との距離をdNN+1とすると、
【数１】
【００４４】
として、エッジ領域における新規画素９０３の画素値を算出する。
【００４５】
エッジ領域でない高解像度画像の画素値については、サンプリング定理に基づいたＳｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法）にて画素値を算出する。
【００４６】
（２）本実施形態の画像処理装置の動作
図２は、本実施形態の画像処理装置が低解像度画像データを高解像度画像データに変換する動作を説明するためのフローチャートである。
【００４７】
（２−１）ステップＳ２０１
まず、低解像度画像データの画素値に基づき、各画素がエッジ領域，それ以外の領域のどちらの領域にあるかを判定する。エッジ判定部１０１は、高解像度化の対象となる１つのフレームの各画素の画素値に基づいて、画素値変化が直線的に連続に起こっているエッジ領域を検出する。また、検出されたエッジ領域の各画素を含む近傍領域でエッジが、縦方向のエッジ・横方向のエッジのどちらであるかを順次判定する。
【００４８】
（２−２）ステップＳ２０２
次に、ステップＳ２０１で判定された注目画素の判定エッジ方向と直行する近接ライン上の対応位置を算出する。対応位置算出部１０２は、低解像度画像データのうち高解像度化の対象となる１つのフレームの中のエッジ領域の画素を１つずつ注目画素として順次設定し、注目画素の判定エッジ方向に沿った１以上の対応位置を小数精度で算出する。
【００４９】
対応位置は、低解像度画像データの画素間隔でマッチング誤差を求め、連続な対称関数を当てはめて、マッチング誤差が最小となる近接ライン上の位置として求める。
【００５０】
（２−３）ステップＳ２０３
次に、等輝度線分に基づき高解像度画像の推定画素値を算出する。画素値算出部１０３は、エッジ領域では、低解像度画像データのフレームの画素値と、対応位置に基づく等輝度線分と、高解像度画像の推定画素の画素位置に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。また、エッジ以外の領域では、低解像度画像データのフレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。そして、推定された画素値によって作成された高解像度画像を出力して、終了する。
【００５１】
（３）本実施形態の効果
このように、本実施形態では低解像度画像データの注目画素と近傍の画素との差分値から、近接ライン上に沿った対応位置を画素間隔の小数精度で算出する。算出された小数精度の対応位置に基づき画素間隔の等輝度線分を仮定し、高解像度画像の画素値を算出し内挿処理を行っている。それによって、ジャギーが少なく鮮鋭な高解像度画像の画素値を推定し内挿することが可能となる。
【００５２】
なお、エッジ領域にないと判定された注目画素近傍に新規画素が位置する場合、Ｓｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法など）や、絵柄適応フィルタ拡大法を用いて推定画素値を算出する。
【００５３】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。
【００５４】
第１の実施形態の画像処理装置は、注目画素がエッジ領域にあるかどうかを判定し、判定結果に応じて対応位置を算出するか否かを決定していた。これは、ＰＣ（パソコン）などを用いた条件分岐処理に適した装置で好適に使用される構成である。
【００５５】
本実施形態の画像処理装置は、注目画素がエッジ領域であるか否かによらず、対応位置算出部１０２で低解像度画素全てについて対応位置を算出する。また、並行して全画素についてエッジ領域であるか及び判定エッジ方向についても求める。その後に、内挿入する新規画素がエッジ領域と判定された注目画素近傍であるか、及び判定エッジ方向に応じて等輝度線分として用いる対応位置を選択し、内挿する輝度値を求めるものである。本実施形態は、ＬＳＩなどを用いた並列処理に適した装置で好適に使用される構成である。
【００５６】
図１０は、本実施形態に係る画像処理装置のブロック図である。
【００５７】
本実施形態の画像処理装置は、エッジ判定部１０１が検出したエッジ領域の情報によらず、対応位置算出部１０２においてエッジ領域だけでなく全領域について対応位置を算出する。その後に、エッジ判定部１０１がエッジ領域として検出した領域範囲の対応位置のみを選択し、内挿する輝度値を算出するものである。
【００５８】
本実施形態の画像処理装置によれば、ＬＳＩ等の並列処理に適した装置であっても、ジャギーが少なく鮮鋭な高解像度画像の画素値を推定し内挿することが可能となる。
【００５９】
（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について図面を参照し説明する。本実施形態の画像処理装置では、よりエッジが強調され、先鋭な高解像度画像を得るために低解像度画素を先鋭化する強調処理をさらに行う。
【００６０】
（１）本実施形態の画像処理装置の構成
図１１は、本実施形態に係る画像処理装置のブロック図である。
【００６１】
本実施形態の画像処理装置は、強調処理部１０４をさらに有する。
【００６２】
強調処理部１０４は、入力された低解像度画像データを先鋭化する強調処理する。強調処理には、アンシャープマスクなどのエンハンスフィルタを用いる。強調処理部１０４は、強調処理された低解像度画像データを画素値算出部１０３に出力する。
【００６３】
（２）本実施形態の画像処理装置の動作
図１２は、本実施形態の画像処理装置の動作を説明するフローチャートである。本実施形態の画像処理装置は、第１の実施形態の対応位置を算出するステップＳ２０２と、内挿する画素値を算出するステップＳ２０３の間に、低解像度画像データの画素値を強調処理するステップを挿入し動作する。なお、強調処理がなされた低解像度画像データの輝度値に基づき内挿入する推定画素値を算出する点が異なる。なお、本実施形態の画像処理装置がステップＳ１２０１，Ｓ１２０２，Ｓ１２０４で行う処理は第１の実施形態の画像処理装置と同じ処理であるため詳細な説明は省略する。
【００６４】
（２−１）ステップＳ１２０１
エッジ判定部１０１が、低解像度画像データのエッジ領域を検出する。また、検出されたエッジ領域にあると検出された各画素近傍でのエッジ方向が、縦方向のエッジ・横方向のエッジのどちらかであるかを順次判定する。
【００６５】
（２−２）ステップＳ１２０２
次に、対応位置算出部１０２が注目画素の判定エッジ方向に沿った対応位置を算出する。対応位置は、低解像度画像データの画素間隔でマッチング誤差を求め、連続な偶関数を当てはめて、マッチング誤差が最小となる近接ライン上の位置として求める。
【００６６】
（２−３）ステップＳ１２０３
強調処理部１０４に入力された低解像度の画像データの輪郭を強調する処置をする。低解像度画像データに加えて、強調処理した画像データを画素値算出部１０３に出力する。強調処理には、アンシャープマスクなどのエンハンスフィルタを用いる。強調処理部１０４は、強調処理された低解像度画像データを画素値算出部１０３に出力する。
【００６７】
（２−４）ステップＳ１２０４
次に、画素値算出部１０３が高解像度画像データに変換する際に内挿する推定画素値を算出する。エッジ領域では、強調処理された低解像度画像データのフレームの画素値と、対応位置から成る等輝度線分と、高解像度画像の推定画素の画素位置に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。また、エッジ以外の領域では、強調処理されていない低解像度画像データのフレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。推定された画素値から成る高解像度画像を出力して、終了する。
【００６８】
（３）本実施形態の効果
対応位置を等輝度線分として活用して内挿処理を行う本手法では、高解像度画素値の周りの低解像度画素の画素値を等輝度線分の画素値とし、この画素値との重み付け平均によって高解像度画像の画素値を算出している。しかし、低解像度画像がボケている（本来の輝度値がぼけで散乱している）場合には、高解像度化処理で内挿される画素による画像もぼけてしまう場合がある。
【００６９】
本実施形態では、強調処理によってエッジを先鋭化した低解像度画像データの輝度値に基づいて内挿する画素値を算出している。それによって、エッジ領域においてジャギーが少なく、更に鮮鋭な高解像度画像を生成することができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００７１】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００７２】
さらに、異なる実施形態にわたる構成要素を組み合わせてもよい。
【００７３】
高解像度化処理を行う低解像度画像データは、動画像でも静止画像でも構わない。それぞれの実施形態では、低解像度画像データを、例えば、カメラや携帯電話が撮影した画像データ、テレビや携帯ＡＶプレイヤーが受信した画像データ、ＨＤＤに保存された画像データなどとして説明した。
【００７４】
また、上記の格実施形態の情報提示装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【図面の簡単な説明】
【００７５】
【図１】第１の実施形態に係る画像処理装置のブロック図。
【図２】第１の実施形態に係る画像処理装置の動作の一例を示すフローチャート。
【図３】エッジ領域を検出する方法を示す図。
【図４】注目画素と候補画素の位置を示す図。
【図５】対応位置の算出での候補画素と候補画像領域を示す図。
【図６】対応位置の算出での下１ライン目の中心候補画素及び隣接する候補画素を示す図。
【図７】対応位置の算出でのマッチング誤差補間法による小数精度の対応位置を算出する様子を示す図。
【図８】対応位置の算出での注目画素と小数精度の対応位置を示す図。
【図９】エッジ領域における高解像度画像の画素値を推定する様子を示す図。
【図１０】第２の実施形態に係る画像処理装置のブロック図。
【図１１】第３の実施形態に係る画像処理装置のブロック図。
【図１２】第３の実施形態に係る画像処理装置の動作の一例を示すフローチャート。
【符号の説明】
【００７６】
１０１・・・エッジ判定部
１０２・・・対応位置算出部
１０３・・・画素値算出部
１０４・・・強調処理部
３０２・・・低解像度画素
３０３，３０４・・・ソーベルフィルタ
３０１，４０１・・・低解像度画像フレーム
４０２・・・注目画素
４０２・・・注目領域
４０４，９０１，９０２・・・等輝度線分
４１０・・・近接ライン
５０８候補領域
６０６，６０７，６０８・・・候補画素
７０１・・・連続関数
７０２・・・対応位置
７０３・・・最小マッチング誤差値
９０４，９０５・・・低解像度画素
９０３・・・新規画素
【技術分野】
【０００１】
本発明は、画像データを高解像度の画像データに変換する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、画素数が多い高解像度のテレビやディスプレイが普及しつつある。テレビやディスプレイは、画像データの画素数をパネルの画素数に変換し、拡大表示する。
【０００３】
元の画像データから画素値を増やした解像度の高い画像データに変換する方法として、サンプリング定理に基づいたＳｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法など）や、絵柄適応フィルタを利用した内挿法（例えば、非特許文献１参照）が知られている。絵柄適応フィルタを利用した内挿法は、基準フレーム（高解像度化させる対象となるフレーム）の絵柄に応じてフィルタ処理を切り替え、内挿する画素値を算出する方法である。絵柄が縦横の方向性を有する領域の場合と絵柄が斜めの方向性を有する領域とでフィルタを切り替えて、高解像度画像の輝度値の内挿処理が行われる。例えば、画素を内挿する位置近傍での絵柄が斜めの方向性を有するとフィルタによって判定された場合、そのフィルタが示す絵柄の方向で隣接する画素の画素値から内挿する推定画素値を算出する。
【非特許文献１】久保 武ら、 「Warping予測のための輝度値内挿法に関する一検討」 ２００６年画像符号化シンポジウム予稿集， Japan, PCSJ2006, November 2006, pp. 115-116.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の技術では、画像データの絵柄の方向をあらかじめ準備したフィルタのうち１の方向であると推定し、推定された方向で隣接する画素値から内挿する画素値を求める。そのため、推定されるエッジの方向は準備するフィルタの方向に丸められたとびとびの値をもった離散的な角度となってしまう。したがって、準備したフィルタの方向からずれたエッジ部に階段状の不連続パターン（以下、「ジャギー」という）が生じ、変換された高解像度画像の画質を劣化させる問題点がある。
【０００５】
また、フィルタによるエッジ検出の場合、ノイズ画素などの影響のため精度良くその方向を求めることが困難である。
【０００６】
本発明は、上述した事情を考慮してなされたものであり、ジャギーの少ない鮮鋭で高画質な高解像度化処理ができる画像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために請求項１の発明は、低解像度画像を高解像度画像に変換する画像処理装置において、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定手段と、前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出手段と、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める手段と、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えた画像処理装置を提供する。
【０００８】
また、請求項９の発明は、低解像度画像を高解像度画像に変換する画像処理装置において、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にあるエッジ領域画素と判定する判定手段と、前記低解像度画像の画素である注目画素と接するラインである近接ライン上の複数の前記低解像度画像の画素を候補画素として抽出する抽出手段と、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、前記類似度が最も高いと推定される前記近似関数上の位置に対応する前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、前記エッジ領域画素に対応する対応位置と、当該エッジ領域画素を結ぶ線分を当該注目画素の輝度値に対応する等輝度線分として求める手段と、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えた画像処理装置を提供する。
【０００９】
また、請求項１０の発明は、低解像度画像を高解像度画像に変換する画像処理方法において、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定するステップと、前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出するステップと、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求めるステップと、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定するステップと、前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求めるステップと、前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求めるステップと、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択するステップと、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出するステップとを備えた画像処理方法を提供する。
【００１０】
また、請求項１１の発明は低解像度画像を高解像度画像に変換する画像処理プログラムにおいて、前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定機能と、前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出機能と、前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出機能と、前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定機能と、前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出機能と、前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める機能と、前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択機能と、選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出機能とをコンピュータに実現させる画像処理プログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、ジャギーの少ない鮮鋭で高画質な高解像度画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置について詳細に説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。
【００１３】
（第１の実施形態）第１の実施形態の画像処理装置について、図１〜図９を参照して説明する。本実施形態の画像処理装置は、入力された低解像度画像データを所定の解像度の高解像度画像データへと変換する高解像化処理を行う。
【００１４】
（１）本実施形態の画像処理装置の構成
図１は、本実施形態に係る画像処理装置のブロック図である。本実施形態の画像処理装置は、エッジ判定部１０１、対応位置算出部１０２、画素値算出部１０３を備えている。
【００１５】
（１−１）エッジ判定部１０１
エッジ判定部１０１は、入力された低解像度画像データに基づいて、各画素の近傍での輝度値の変化率を順次求める。輝度値の変化率が所定の値を越えた場合には当該画素はエッジ領域にあると判定される。エッジとは、画像中で画素値変化が直線的に起こっている部分を指し、具体的には被写体の輪郭線に相当するものである。また、エッジ領域にあると判定された画素近傍のエッジに沿った方向（以下エッジ方向という）が縦・横どちらの方向性を持つのかについても判定する。以下、判定された２値の方向を低解像度画素の判定エッジ方向という。エッジ判定部１０１がエッジ領域を判定する動作について、図３を用いて詳細に説明する。
【００１６】
図３は、被写体の輪郭線など、画素値変化が直線的に起こっているエッジ領域を検出する処理を説明するための図である。
【００１７】
低解像度画像フレーム３０１の画素のうち、低解像度画素３０２がエッジ領域の画素であるかどうかを判定する。低解像度画素３０２を中心とした３×３のブロック領域は、それぞれ画素値ｙ１１、ｙ１２、・・・、ｙ３３を持っているものとする。一般に、低解像度画素３０２とその近傍領域との画素値の変化分を取り出す微分をし、その大きさが一定値以上である場合は、エッジ領域の画素であると判定する。微分する方法は多数あるが、本実施形態ではソーベルフィルタを用いた処理を行う。
【００１８】
横方向の微分を求めるには横方向ソーベルフィルタ３０３を低解像度画素３０２に施す。具体的には、低解像度画素３０２の横方向微分として、（−ｙ１１−２×ｙ２１−ｙ３１）＋（ｙ１３＋２×ｙ２３＋ｙ３３）を算出する。同様に、縦方向の微分を求めるには縦方向のソーベルフィルタ３０４を低解像度画素３０２に施す。具体的には、低解像度画素３０２の縦方向微分として、（ｙ１１＋２×ｙ１２＋ｙ１３）＋（−ｙ３１−２×ｙ３２−ｙ３３）を算出する。縦方向の微分の絶対値、及び、横方向の微分の絶対値を加算し、ある閾値以上であった場合に、低解像度画素３０２をエッジ領域の画素であると判定する。以上の方法で、エッジ領域を検出する。
【００１９】
更に、横方向のソーベルフィルタ３０３からの出力の方が大きい場合は、横方向の画素値の濃淡の勾配が大きいといえる。その場合、低解像度画素３０２は、縦方向に伸びるエッジを持ったエッジ画素であると判定される。また、縦方向のソーベルフィルタ３０４からの出力の方が大きい場合は、縦方向の画素値の濃淡の勾配が大きいといえる。その場合、低解像度画素３０２は、横方向のエッジ画素であると判定する。以下、エッジ判定部１０１が判定した縦若しくは横のエッジ方向を判定エッジ方向と記述する。
【００２０】
以上の方法で、低解像度画像フレームの各画素がエッジ領域であるかを判定し、併せて検出されたエッジが縦横どちらの方向性を持つのかを示す判定エッジ方向についても判定する。
【００２１】
（１−２）対応位置算出部１０２
対応位置算出部１０２は、エッジ判定部１０１によってエッジ領域にあると判定された低解像度画素を順次注目画素として抽出し、抽出された注目画素の判定エッジ方向に存在し、注目画素と隣接する２本のライン（以下、「近接ライン」という）上の、注目画素と等輝度の画素があるとみなす位置（以下、「対応位置」という）を２本のラインそれぞれについて求める。
【００２２】
近接ライン上の画素をそれぞれ候補画素として抽出し、注目画素と候補画素との類似度を示すマッチング誤差をそれぞれ算出する。算出されたマッチング誤差のうち最小の値を持つ画素を中心候補画素として選択する。中心候補画素と近接ライン上で隣接する画素の３つのマッチング誤差を用いて、近接ライン上の画素間隔の小数精度をもった対応位置を算出する。
【００２３】
選択された３つ候補画素のマッチング誤差に対して連続な偶関数を当てはめる。当てはめられた偶関数は、マッチング誤差の近接ライン上での分布を近似するものとしてみなす。当てはめられた関数が最小となる近接ライン上の位置を対応位置として求める。上記の方法をマッチング誤差補間法という。
【００２４】
対応位置算出部１０２が判定エッジ方向に沿った小数精度の対応位置を算出する方法について、図４〜図８を用いて詳細に説明する。注目画素４０２は、エッジ判定部１０１によって判定エッジ方向が縦方向であると判定されている。判定エッジ方向が縦方向の場合、上下の近接ライン上の対応位置がそれぞれ算出される。以下、注目画素の下１ラインを近接ライン４１０とした場合に、対応位置算出部１０２が対応位置を算出する方法について詳細に説明する。
【００２５】
図４は注目画素４０２と候補画素６０６，６０７，６０８，６０９，６１０の位置を示す図である。
【００２６】
注目画素４０２はエッジ判定部１０１によってエッジ領域にあると判定された画素である。注目画素４０２の下１ラインが近接ライン４１０である。近接ライン４１０上の対応位置を算出するために、注目画素４０２と候補画素６０６，６０７，６０８，６０９，６１０とのマッチング誤差を算出する。
【００２７】
次に、マッチング誤差を算出する方法について説明する。本実施形態の対応位置算出部１０２は、注目画素４０２の近傍ブロックと候補画素６０６，６０７，６０８，６０９，６１０の近傍ブロックそれぞれとのマッチング誤差を算出する。
【００２８】
図５は、マッチング誤差を算出する方法を説明するための図である。注目画素領域４０３と候補画像領域５０８とが示されている。注目画素領域４０３は、注目画素４０２を中心に低解像度画像フレーム４０１から数画素四方、例えば注目画素４０２近傍の５×５画素や３×３画素の矩形のブロックとして設定される。図５では、３×３画素の領域を注目画素領域４０３としている。また、候補画像領域５０８は、候補画素６０８を中心とした注目画像領域４０３と同じサイズのブロックとして設定される。ブロックマッチング法によって注目画素４０２の注目画素領域４０３と、候補画素６０８の候補画素領域５０８とのマッチング誤差を算出する。マッチング誤差として、注目画像領域４０２と候補画像領域５０５の各画素値の差の２乗和であるＳＳＤ（Sum of Square Distance）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Distance）などを用いることができる。本実施形態では、注目画像領域４０３と候補画像領域５０５とのＳＳＤを計算して、注目画素４０２と候補画素５０４とのマッチング誤差として算出する。
【００２９】
同様に、近傍ライン４１０上のその他の候補画素６０６，６０７，６０８，６０９，６１０についても注目画素４０２とのマッチング誤差をそれぞれ算出する。算出されたマッチング誤差のうち、最小の値を持つものを中心候補画素として選択する。
【００３０】
次に、算出されたマッチング誤差に基づき対応位置を算出する方法について説明する。以下、中心候補画素として、注目画素４０２と判定エッジ方向で隣接する候補画素６０６が選択された場合について詳細に説明する。
【００３１】
図６は、中心候補画素６０６と、中心候補画素と近接ライン上で隣接する候補画素６０７、６０８を示す図である。
【００３２】
これら３つの候補画素６０６、６０７、６０８と、中心画素４０２とのマッチング誤差に基づき対応位置がもとめられる。
【００３３】
図７は、それぞれの候補画素６０６，６０７，６０８について算出されたマッチング誤差を示すグラフである。横軸は、近接ライン４１０上での各候補画素の位置を示す。縦軸は、それぞれの候補画素について算出された注目画素４０２とのマッチング誤差の大きさを表している。
【００３４】
中心候補画素として候補画素６０６が選択された場合、候補画素６０６及び、候補画素６０６と左右に隣接するそれぞれの候補画素６０７、６０８のマッチング誤差が対応位置を算出するために用いられる。
【００３５】
まず、算出された候補画素６０６，６０７，６０８のマッチング誤差３点に偶関数による連続関数７０１を当てはめる。連続関数７０１は、注目画素４０２との類似度の近接ライン４１０上での分布を近似する近似関数である。偶関数は、放物線や、マッチング誤差の軸に対称な２本の直線の関数を用いる。
【００３６】
以上のようにして当てはめた連続関数７０１が最小のマッチング誤差値７０３となる、すなわち、最も注目画素４０２との類似度が高いとみなされる近傍ライン４１０上での位置（白丸で図示）を、対応位置７０２として算出する。
【００３７】
図８は、算出された近傍ライン４１０上の対応位置７０２の低解像画像フレーム上での位置を示す図である。対応位置７０２と注目画素４０２とを結ぶ線分を、注目画素と等輝度値をもった等輝度線分４０４とみなす。注目画素４０２の上１ラインにおける対応位置も、同様に算出する。
【００３８】
また、注目画素４０２が、エッジ判定部１０１において横方向エッジ画素であると判定された場合は、右１ライン、及び、左１ラインを近傍ラインとする２つの対応位置を１つの注目画素に対してそれぞれ算出する。注目画素と、対応位置とを結ぶ２本の線分を注目画素と等輝度値をもった等輝度線分とみなす。
【００３９】
また、本実施形態ではマッチング誤差を算出する方法として画素近傍ブロック間のマッチング誤差を用いたが、注目画素と候補画素とのマッチング誤差を求めてもよい。
【００４０】
（１−３）画素値算出部１０３
画素値算出部１０３は、対応位置算出部１０２が求めた等輝度線分及びその輝度値から、所定の解像度に変換する際に内挿すべき位置の推定画素値を算出する。
【００４１】
画素値算出部１０３には、低解像度画像データと、エッジ判定部１０１が検出したエッジ領域の情報と、対応位置算出部１０２が算出した対応位置が入力される。エッジ領域の情報に応じて、エッジ領域では内挿すべき高解像度画素の位置から最も近い位置の等輝度線分を２つ選択し、選択された等輝度線分を利用した内挿方法で高解像度画像の推定画素値を算出する。エッジ以外の領域では、低解像度画像データのフレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。
【００４２】
高解像度画像の推定画素値を算出する動作について、図９を用いて詳細に説明する。
【００４３】
図９は、エッジ領域における高解像度画像の画素値を推定する様子を示す図である。図９に示すように、対応位置算出部１０２で算出された小数精度の対応位置の関係を、等輝度な線分９０１、９０２として用いる。推定したい高解像度画像の画素である新規画素９０３の輝度値をXm、n、低解像度画素９０４の輝度値をYNN、低解像度画素９０５の輝度値をYNN+1、新規画素９０３と最近傍の等輝度線分９０１との距離をdNN、最近傍の等輝度線分９０１と向かいに位置する最近傍の等輝度線分９０２と新規画素９０３との距離をdNN+1とすると、
【数１】
【００４４】
として、エッジ領域における新規画素９０３の画素値を算出する。
【００４５】
エッジ領域でない高解像度画像の画素値については、サンプリング定理に基づいたＳｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法）にて画素値を算出する。
【００４６】
（２）本実施形態の画像処理装置の動作
図２は、本実施形態の画像処理装置が低解像度画像データを高解像度画像データに変換する動作を説明するためのフローチャートである。
【００４７】
（２−１）ステップＳ２０１
まず、低解像度画像データの画素値に基づき、各画素がエッジ領域，それ以外の領域のどちらの領域にあるかを判定する。エッジ判定部１０１は、高解像度化の対象となる１つのフレームの各画素の画素値に基づいて、画素値変化が直線的に連続に起こっているエッジ領域を検出する。また、検出されたエッジ領域の各画素を含む近傍領域でエッジが、縦方向のエッジ・横方向のエッジのどちらであるかを順次判定する。
【００４８】
（２−２）ステップＳ２０２
次に、ステップＳ２０１で判定された注目画素の判定エッジ方向と直行する近接ライン上の対応位置を算出する。対応位置算出部１０２は、低解像度画像データのうち高解像度化の対象となる１つのフレームの中のエッジ領域の画素を１つずつ注目画素として順次設定し、注目画素の判定エッジ方向に沿った１以上の対応位置を小数精度で算出する。
【００４９】
対応位置は、低解像度画像データの画素間隔でマッチング誤差を求め、連続な対称関数を当てはめて、マッチング誤差が最小となる近接ライン上の位置として求める。
【００５０】
（２−３）ステップＳ２０３
次に、等輝度線分に基づき高解像度画像の推定画素値を算出する。画素値算出部１０３は、エッジ領域では、低解像度画像データのフレームの画素値と、対応位置に基づく等輝度線分と、高解像度画像の推定画素の画素位置に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。また、エッジ以外の領域では、低解像度画像データのフレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。そして、推定された画素値によって作成された高解像度画像を出力して、終了する。
【００５１】
（３）本実施形態の効果
このように、本実施形態では低解像度画像データの注目画素と近傍の画素との差分値から、近接ライン上に沿った対応位置を画素間隔の小数精度で算出する。算出された小数精度の対応位置に基づき画素間隔の等輝度線分を仮定し、高解像度画像の画素値を算出し内挿処理を行っている。それによって、ジャギーが少なく鮮鋭な高解像度画像の画素値を推定し内挿することが可能となる。
【００５２】
なお、エッジ領域にないと判定された注目画素近傍に新規画素が位置する場合、Ｓｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法など）や、絵柄適応フィルタ拡大法を用いて推定画素値を算出する。
【００５３】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。
【００５４】
第１の実施形態の画像処理装置は、注目画素がエッジ領域にあるかどうかを判定し、判定結果に応じて対応位置を算出するか否かを決定していた。これは、ＰＣ（パソコン）などを用いた条件分岐処理に適した装置で好適に使用される構成である。
【００５５】
本実施形態の画像処理装置は、注目画素がエッジ領域であるか否かによらず、対応位置算出部１０２で低解像度画素全てについて対応位置を算出する。また、並行して全画素についてエッジ領域であるか及び判定エッジ方向についても求める。その後に、内挿入する新規画素がエッジ領域と判定された注目画素近傍であるか、及び判定エッジ方向に応じて等輝度線分として用いる対応位置を選択し、内挿する輝度値を求めるものである。本実施形態は、ＬＳＩなどを用いた並列処理に適した装置で好適に使用される構成である。
【００５６】
図１０は、本実施形態に係る画像処理装置のブロック図である。
【００５７】
本実施形態の画像処理装置は、エッジ判定部１０１が検出したエッジ領域の情報によらず、対応位置算出部１０２においてエッジ領域だけでなく全領域について対応位置を算出する。その後に、エッジ判定部１０１がエッジ領域として検出した領域範囲の対応位置のみを選択し、内挿する輝度値を算出するものである。
【００５８】
本実施形態の画像処理装置によれば、ＬＳＩ等の並列処理に適した装置であっても、ジャギーが少なく鮮鋭な高解像度画像の画素値を推定し内挿することが可能となる。
【００５９】
（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について図面を参照し説明する。本実施形態の画像処理装置では、よりエッジが強調され、先鋭な高解像度画像を得るために低解像度画素を先鋭化する強調処理をさらに行う。
【００６０】
（１）本実施形態の画像処理装置の構成
図１１は、本実施形態に係る画像処理装置のブロック図である。
【００６１】
本実施形態の画像処理装置は、強調処理部１０４をさらに有する。
【００６２】
強調処理部１０４は、入力された低解像度画像データを先鋭化する強調処理する。強調処理には、アンシャープマスクなどのエンハンスフィルタを用いる。強調処理部１０４は、強調処理された低解像度画像データを画素値算出部１０３に出力する。
【００６３】
（２）本実施形態の画像処理装置の動作
図１２は、本実施形態の画像処理装置の動作を説明するフローチャートである。本実施形態の画像処理装置は、第１の実施形態の対応位置を算出するステップＳ２０２と、内挿する画素値を算出するステップＳ２０３の間に、低解像度画像データの画素値を強調処理するステップを挿入し動作する。なお、強調処理がなされた低解像度画像データの輝度値に基づき内挿入する推定画素値を算出する点が異なる。なお、本実施形態の画像処理装置がステップＳ１２０１，Ｓ１２０２，Ｓ１２０４で行う処理は第１の実施形態の画像処理装置と同じ処理であるため詳細な説明は省略する。
【００６４】
（２−１）ステップＳ１２０１
エッジ判定部１０１が、低解像度画像データのエッジ領域を検出する。また、検出されたエッジ領域にあると検出された各画素近傍でのエッジ方向が、縦方向のエッジ・横方向のエッジのどちらかであるかを順次判定する。
【００６５】
（２−２）ステップＳ１２０２
次に、対応位置算出部１０２が注目画素の判定エッジ方向に沿った対応位置を算出する。対応位置は、低解像度画像データの画素間隔でマッチング誤差を求め、連続な偶関数を当てはめて、マッチング誤差が最小となる近接ライン上の位置として求める。
【００６６】
（２−３）ステップＳ１２０３
強調処理部１０４に入力された低解像度の画像データの輪郭を強調する処置をする。低解像度画像データに加えて、強調処理した画像データを画素値算出部１０３に出力する。強調処理には、アンシャープマスクなどのエンハンスフィルタを用いる。強調処理部１０４は、強調処理された低解像度画像データを画素値算出部１０３に出力する。
【００６７】
（２−４）ステップＳ１２０４
次に、画素値算出部１０３が高解像度画像データに変換する際に内挿する推定画素値を算出する。エッジ領域では、強調処理された低解像度画像データのフレームの画素値と、対応位置から成る等輝度線分と、高解像度画像の推定画素の画素位置に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。また、エッジ以外の領域では、強調処理されていない低解像度画像データのフレームの画素値に基づく内挿処理によって、推定画像の各画素の推定画素値を算出する。推定された画素値から成る高解像度画像を出力して、終了する。
【００６８】
（３）本実施形態の効果
対応位置を等輝度線分として活用して内挿処理を行う本手法では、高解像度画素値の周りの低解像度画素の画素値を等輝度線分の画素値とし、この画素値との重み付け平均によって高解像度画像の画素値を算出している。しかし、低解像度画像がボケている（本来の輝度値がぼけで散乱している）場合には、高解像度化処理で内挿される画素による画像もぼけてしまう場合がある。
【００６９】
本実施形態では、強調処理によってエッジを先鋭化した低解像度画像データの輝度値に基づいて内挿する画素値を算出している。それによって、エッジ領域においてジャギーが少なく、更に鮮鋭な高解像度画像を生成することができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００７１】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００７２】
さらに、異なる実施形態にわたる構成要素を組み合わせてもよい。
【００７３】
高解像度化処理を行う低解像度画像データは、動画像でも静止画像でも構わない。それぞれの実施形態では、低解像度画像データを、例えば、カメラや携帯電話が撮影した画像データ、テレビや携帯ＡＶプレイヤーが受信した画像データ、ＨＤＤに保存された画像データなどとして説明した。
【００７４】
また、上記の格実施形態の情報提示装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【図面の簡単な説明】
【００７５】
【図１】第１の実施形態に係る画像処理装置のブロック図。
【図２】第１の実施形態に係る画像処理装置の動作の一例を示すフローチャート。
【図３】エッジ領域を検出する方法を示す図。
【図４】注目画素と候補画素の位置を示す図。
【図５】対応位置の算出での候補画素と候補画像領域を示す図。
【図６】対応位置の算出での下１ライン目の中心候補画素及び隣接する候補画素を示す図。
【図７】対応位置の算出でのマッチング誤差補間法による小数精度の対応位置を算出する様子を示す図。
【図８】対応位置の算出での注目画素と小数精度の対応位置を示す図。
【図９】エッジ領域における高解像度画像の画素値を推定する様子を示す図。
【図１０】第２の実施形態に係る画像処理装置のブロック図。
【図１１】第３の実施形態に係る画像処理装置のブロック図。
【図１２】第３の実施形態に係る画像処理装置の動作の一例を示すフローチャート。
【符号の説明】
【００７６】
１０１・・・エッジ判定部
１０２・・・対応位置算出部
１０３・・・画素値算出部
１０４・・・強調処理部
３０２・・・低解像度画素
３０３，３０４・・・ソーベルフィルタ
３０１，４０１・・・低解像度画像フレーム
４０２・・・注目画素
４０２・・・注目領域
４０４，９０１，９０２・・・等輝度線分
４１０・・・近接ライン
５０８候補領域
６０６，６０７，６０８・・・候補画素
７０１・・・連続関数
７０２・・・対応位置
７０３・・・最小マッチング誤差値
９０４，９０５・・・低解像度画素
９０３・・・新規画素
【特許請求の範囲】
【請求項１】
低解像度画像を高解像度画像に変換する画像処理装置において、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定手段と、
前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出手段と、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、
前記近似関数に基づき、前記類似度が最も高いと推定される前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、
前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める手段と、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記新規画素の最近傍の前記等輝度線分を第１の線分として選択し、前記第１の線分と新規画素を挟む前記等輝度線分のうち前記新規画素の最近傍の等輝度線分を第２の線分としてさらに選択し、
前記画素値算出手段は、前記第１の線分と前記新規画素との距離である第１の距離と前記第２の線分と前記新規画素との距離である第２の距離とに応じた重み付けを前記第１の線分の輝度値及び前記第２の輝度値にすることで前記新規画素の画素値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記判定手段は前記注目画素近傍でエッジに沿った方向であるエッジ方向が縦方向か横方向かをさらに判定し、
前記抽出手段は、前記エッジ方向と直交する前記近接ライン上の複数の前記低解像度画像の画素を候補画素として抽出することを特徴とした請求項２記載の画像処理装置。
【請求項４】
前記推定手段は、前記評価値に基づき前記候補画素のうち前記類似度が高い前記候補画素及び、該候補画素と前記近接ライン上で隣接する画素を抽出し、抽出された複数の画素の前記評価値から前記近似関数を推定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記推定手段は、前記評価値から偶関数に基づく関数を前記近似関数として推定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記評価値算出手段は、前記評価値を前記注目画素近傍の領域と前記候補画素近傍の領域との類似度に基づき算出することを特徴とする請求項１乃至５のいずれか１項記載の画像処理装置。
【請求項７】
前記低解像度画像にエッジ強調処理を施す強調手段をさらに具備したことを特徴とする請求項１乃至６のいずれか１項記載の画像処理装置の画像処理装置。
【請求項８】
前記画素値算出部は、前記強調手段で強調処理された低解像度画像の画素値に基づき前記新規画素の画素値を算出することを特徴とする請求項７記載の画像処理装置。
【請求項９】
低解像度画像を高解像度画像に変換する画像処理装置において、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にあるエッジ領域画素と判定する判定手段と、
前記低解像度画像の画素である注目画素と接するラインである近接ライン上の複数の前記低解像度画像の画素を候補画素として抽出する抽出手段と、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、
前記類似度が最も高いと推定される前記近似関数上の位置に対応する前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、
前記エッジ領域画素に対応する対応位置と、当該エッジ領域画素を結ぶ線分を当該注目画素の輝度値に対応する等輝度線分として求める手段と、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えたことを特徴とする画像処理装置。
【請求項１０】
低解像度画像を高解像度画像に変換する画像処理方法において、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定するステップと、
前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出するステップと、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求めるステップと、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定するステップと、
前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求めるステップと、
前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求めるステップと、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択するステップと、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出するステップとを備えたことを特徴とする画像処理方法。
【請求項１１】
低解像度画像を高解像度画像に変換する画像処理プログラムにおいて、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定機能と、
前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出機能と、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出機能と、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定機能と、
前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出機能と、
前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める機能と、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択機能と、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出機能とをコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項１】
低解像度画像を高解像度画像に変換する画像処理装置において、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定手段と、
前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出手段と、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、
前記近似関数に基づき、前記類似度が最も高いと推定される前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、
前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める手段と、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記新規画素の最近傍の前記等輝度線分を第１の線分として選択し、前記第１の線分と新規画素を挟む前記等輝度線分のうち前記新規画素の最近傍の等輝度線分を第２の線分としてさらに選択し、
前記画素値算出手段は、前記第１の線分と前記新規画素との距離である第１の距離と前記第２の線分と前記新規画素との距離である第２の距離とに応じた重み付けを前記第１の線分の輝度値及び前記第２の輝度値にすることで前記新規画素の画素値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記判定手段は前記注目画素近傍でエッジに沿った方向であるエッジ方向が縦方向か横方向かをさらに判定し、
前記抽出手段は、前記エッジ方向と直交する前記近接ライン上の複数の前記低解像度画像の画素を候補画素として抽出することを特徴とした請求項２記載の画像処理装置。
【請求項４】
前記推定手段は、前記評価値に基づき前記候補画素のうち前記類似度が高い前記候補画素及び、該候補画素と前記近接ライン上で隣接する画素を抽出し、抽出された複数の画素の前記評価値から前記近似関数を推定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記推定手段は、前記評価値から偶関数に基づく関数を前記近似関数として推定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記評価値算出手段は、前記評価値を前記注目画素近傍の領域と前記候補画素近傍の領域との類似度に基づき算出することを特徴とする請求項１乃至５のいずれか１項記載の画像処理装置。
【請求項７】
前記低解像度画像にエッジ強調処理を施す強調手段をさらに具備したことを特徴とする請求項１乃至６のいずれか１項記載の画像処理装置の画像処理装置。
【請求項８】
前記画素値算出部は、前記強調手段で強調処理された低解像度画像の画素値に基づき前記新規画素の画素値を算出することを特徴とする請求項７記載の画像処理装置。
【請求項９】
低解像度画像を高解像度画像に変換する画像処理装置において、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にあるエッジ領域画素と判定する判定手段と、
前記低解像度画像の画素である注目画素と接するラインである近接ライン上の複数の前記低解像度画像の画素を候補画素として抽出する抽出手段と、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出手段と、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定手段と、
前記類似度が最も高いと推定される前記近似関数上の位置に対応する前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出手段と、
前記エッジ領域画素に対応する対応位置と、当該エッジ領域画素を結ぶ線分を当該注目画素の輝度値に対応する等輝度線分として求める手段と、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択手段と、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出手段とを備えたことを特徴とする画像処理装置。
【請求項１０】
低解像度画像を高解像度画像に変換する画像処理方法において、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定するステップと、
前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出するステップと、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求めるステップと、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定するステップと、
前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求めるステップと、
前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求めるステップと、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択するステップと、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出するステップとを備えたことを特徴とする画像処理方法。
【請求項１１】
低解像度画像を高解像度画像に変換する画像処理プログラムにおいて、
前記低解像度画像から各画素の近傍での画素値の変化率が所定の値を越えた場合、当該画素がエッジ領域にある注目画素であると判定する判定機能と、
前記注目画素に接するラインである近接ライン上の複数の画素を候補画素として抽出する抽出機能と、
前記候補画素と前記注目画素との画素値の類似度に基づく評価値をそれぞれ求める評価値算出機能と、
前記評価値に基づき、前記近接ライン上での前記評価値の分布を近似する近似関数を前記近接ラインごとに推定する推定機能と、
前記類似度が最も高いと推定される前記近似関数上の位置に対応する、前記近接ライン上の位置を、前記注目画素の対応位置として求める位置算出機能と、
前記対応位置と前記注目画素を結ぶ線分を前記注目画素の輝度値に対応する等輝度線分として求める機能と、
前記高解像度画像用の画素である新規画素の位置の近傍に位置する等輝度線分をそれぞれ選択する選択機能と、
選択された等輝度線分に対応する注目画素の画素値と、前記新規画素から当該等輝度線分までの距離に基づき、前記新規画素の画素値を算出する画素値算出機能とをコンピュータに実現させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２１２９６９（Ｐ２００９−２１２９６９Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５５３４８（Ｐ２００８−５５３４８）
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]