画像処理装置及び画像処理方法
【課題】入力される画像を低解像度から高解像度に解像度変換を行う場合に起こりうるジャギーやなまりを低減しかつ高解像度な出力を可能とすること。
【解決手段】低解像度から高解像度に変換する際、補間を行う注目画素の周辺の多階調の信号値パターンを取得する。取得した信号値パターンに対し予め用意するパターンファイル内から取得した信号値パターンに応じたパターンをパターンマッチングにより抽出し、信号値の置換を行い高解像度にして出力する。
【解決手段】低解像度から高解像度に変換する際、補間を行う注目画素の周辺の多階調の信号値パターンを取得する。取得した信号値パターンに対し予め用意するパターンファイル内から取得した信号値パターンに応じたパターンをパターンマッチングにより抽出し、信号値の置換を行い高解像度にして出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関するものであり、入力される画像の解像度を低解像度から高解像度に解像度変換し出力することを可能とする画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
スキャナ等の読み取り装置により取得した低解像度の画像を高解像度で印刷する場合には、画像の解像度を低解像度から高解像度に解像度変換する必要がある。また、ネットワークを介して画像を転送する際にネットワーク負荷を低減する為に低解像度で転送し高解像度にして表示および印刷する場合には、画像の解像度を低解像度から高解像度に解像度変換を行う必要がある。
【０００３】
従来、入力される低解像度の画像を高解像度に解像度変換する方法として多くの方法が提案されている。多階調の画像に対して解像度変換を行う場合に多く用いられる内挿法として、内挿を行いたい内挿点から最も近い格子点の信号値を内挿点の信号値としてそのまま決定する最近隣内挿法がある。また、内挿点の周囲２×２画素（４画素）の格子点の信号値を元に線形式により内挿点の信号値を決定する共一次内挿法（Ｂｉ−Ｌｉｎｅａｒ法）がある。さらに、内挿点の周囲４×４画素（１６画素）から三次式により内挿点の信号値を決定する三次畳み込み内挿法（Ｂｉ−Ｃｕｂｉｃ法）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１０５３５９号公報
【特許文献２】特開平６−２２７０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記の従来方法を用いて解像度変換を行った場合に次に示す欠点がある。最近隣内挿法の場合はアルゴリズムが簡単で高速に処理を行うことは可能であるが、拡大比率が高くなるにつれエッジ部においてモザイク状の模様や、斜線部においてはジャギー等の画質劣化が見られる。また、内挿点を複数個の周辺画素の信号値を元に決定する共一次内挿法や三次畳み込み内挿法は、最近隣内挿法に比べジャギー等の画質劣化は低減されるが、複数点の信号値が平均化されることで、画像が平滑化されてしまう。よって、画像のエッジ部や文字などのシャープな画質が求められる部分においてはなまりが目立ってしまう。
【０００６】
特許文献１では、線形補間情報とエッジ情報を元に、エッジの大きさの度合いに応じてシャープなエッジを再現する手法が開示されている。しかしながら、この手法の場合、エッジ部の大きさを元に解像度変換を行う為、スキャン画像のようにエッジの大きさの度合いが小さい場合には、シャープにエッジを復元することが困難であるという問題がある。
【０００７】
特許文献２では、輪郭部に対してパターンマッチングを用いてスムージングする手法が開示されている。しかしながら、この手法の場合、パターンマッチングに使用するパターンの数を多く持つ必要があり、メモリ負荷を押さえる為に少階調数でのパターンを利用する為に解像度変換後の画像が少階調数で生成される問題がある。
【０００８】
本発明は、低解像度画像を高解像度画像に解像度変換を行う場合に起こりうるジャギーやなまりを低減可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題を解決することを目的としてなされたものである。本発明に係る画像処理装置は、高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段と、入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得手段と、前記取得手段により取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、低解像度画像を高解像度画像へ解像度変換する際に発生するジャギーやなまりを低減可能な画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１における処理を実行するための概略機能構成を示すブロック図である。
【図２】実施例１において低・高解像度対応パターン記憶部に記憶されるパターンを作成するための機能の構成を示すブロック図である。
【図３】実施例１において低・高解像度対応パターン記憶部に記憶されるパターンの作成方法を具体的に説明する為の図である。
【図４】実施例１における信号値取得部の機能構成を示すブロック図である。
【図５】実施例１における信号値取得部により信号値を取得するパターンを具体的に説明する為の図である。
【図６】実施例１におけるパターンマッチング部の機能構成を示すブロック図である。
【図７】実施例１における信号値取得部、パターンマッチング部、低・高解像度対応パターン記憶部及び信号値置換部による処理を具体的に説明する為の図である。
【図８】実施例１におけるハードウェア構成を説明する為の図である。
【図９】実施例２における処理を実行するための概略機能構成を示すブロック図である。
【図１０】実施例２における複数信号値取得部の機能構成を示すブロック図である。
【図１１】実施例２において複数信号値取得部により信号値を取得するパターンを具体的に説明する為の図である。
【図１２】実施例２における複数信号値取得部、パターンマッチング部、低・高解像度対応パターン記憶部、注目信号値演算部及び信号値置換部１０５による処理を具体的に説明する為の図である。
【図１３】実施例２において複数信号値取得部により信号値を取得するパターンを具体的に説明する為の図である。
【図１４】実施例３における処理を実行するための概略機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を用いて本発明に係る一実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１３】
図１に本発明の実施例１における画像処理を実行するための概略機能構成を示す。本実施例の画像処理は、主として複写機等の画像出力装置内部において使用することが効率的であるが、画像出力装置以外の画像処理装置やアプリケーションでも適用可能である。この画像処理を実行するための画像処理装置のハードウェア構成については後述する。
【００１４】
図１を参照して、画像処理装置に入力した画像データの解像度を横ｉ倍、縦ｊ倍に解像度変換する処理の例について述べる。
【００１５】
低解像度画像データ入力部１０１は、解像度変換処理の対象となる低解像度画像データを入力するための入力部である。低解像度画像データ入力部１０１で入力した低解像度画像データは信号値取得部１０２に送信される。
【００１６】
信号値取得部１０２は、受信した低解像度画像内のＮ×Ｍ画素の画像の各画素の信号値を信号値パターンとして取得する（Ｎ、Ｍは任意の自然数）。詳細には、信号値取得部１０２は、低解像度画像から高解像度画像に解像度変換した際に補間が必要な注目画素を囲むＮ×Ｍ個の画素の信号値を信号値パターンとして取得する。信号値取得部１０２で取得した信号値パターンは、パターンマッチング部１０３に送信される。
【００１７】
パターンマッチング部１０３は、受信した信号値パターンと一致する信号値パターン又は同様の信号値パターンを持つ信号値マッチングパターンを低・高解像度対応パターン記憶部１０４から検索する。そして、パターンマッチング部１０３は、得られた信号値マッチングパターンを横ｉ倍、縦ｊ倍にしたものとして当該信号値マッチングパターンに対応付けられた多階調の信号値置換パターンを低・高解像度対応パターン記憶部１０４から取得する。すなわち、パターンマッチング部１０３は、解像度変換の倍率に応じた信号値置換パターンを取得する。
【００１８】
ここで、信号値置換パターンとは、所定の面積を持つ高解像度画像の各画素の信号値を表すものである。信号値マッチングパターンとは、所定の面積を持つ高解像度画像の解像度を横１／ｉ倍、縦１／ｊ倍にダウンサンプリングしたＮ×Ｍ画素の低解像度画像の各画素の信号値を表したものである。低・高解像度対応パターン記憶部１０４には、異なる複数の倍率によるダウンサンプリング前後の信号値置換パターンと信号値マッチングパターンとが対応付けられて記憶されている。例えば、解像度の異なる複数の信号値置換パターンが１つの信号値マッチングパターンと対応付けられて記憶されている。
【００１９】
パターンマッチング部１０３で取得された信号値置換パターン内の注目画素の信号値は、信号値置換部１０５に送信される。信号値置換部１０５は、低解像度画像から高解像度画像に解像度を変換するために補間が必要な画素の信号値を、受信した信号値に置換する。すなわち、信号値置換部１０５は、パターンマッチング部１０３で取得された信号値置換パターンを用いて、入力画像を高解像度に変換した画像の信号値を設定する。
【００２０】
解像度変換のために補間が必要な全ての画素に対して上記の置換処理が行われ、横ｉ倍、縦ｊ倍の解像度に解像度変換された高解像度画像データが高解像度画像データ出力部１０６より出力される。
【００２１】
以上のように、まず、高解像度画像の信号値パターン（信号値置換パターン）と、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターン（信号値マッチングパターン）とを対応付けて低・高解像度対応パターン記憶部１０４に記憶しておく。そして、入力画像を高解像度に変換する際に、入力画像内の所定の領域の画像の信号値パターンと一致する又は同様である信号値マッチングパターンを低・高解像度対応パターン記憶部１０４から検索する。検索により得られた信号値マッチングパターンに対応する信号値置換パターンを用いて、解像度変換後の高解像度画像の信号値を設定する。
【００２２】
このように高解像度画像への変換処理における補間処理のために最近隣内挿法、共一次内挿法（Ｂｉ−Ｌｉｎｅａｒ法）及び三次畳み込み内挿法（Ｂｉ−Ｃｕｂｉｃ法）などを用いないため、これらの内挿法により生じる画質劣化が発生することがない。すなわち、本実施例の処理によれば、低解像度画像を高解像度画像へ解像度変換する際に発生するジャギーやなまりを低減することができる。
【００２３】
図２は、図１に示した低・高解像度対応パターン記憶部１０４に記憶された信号値マッチングパターン及びその信号値マッチングパターンに対応した多階調の信号値置換パターンを生成する処理構成の例を示すブロック図を示す。尚、マッチングパターンは一度作成することで他の画像においても利用可能であり、解像度変換の度に作成するものではない。ここでは、画像の解像度を横ｉ倍、縦ｊ倍に解像度変換を行う場合のマッチングパターンの作成例を示す。
【００２４】
高解像度画像データ入力部４０１は、高解像度画像が入力される入力部である。ダウンサンプリング処理部４０２は、高解像度画像データ入力部４０１から入力された画像の解像度を横１／ｉ倍、縦１／ｊ倍の解像度にダウンサンプリングする。ダウンサンプリング処理は、例えば、三次畳み込み内挿法等の内挿法により行われる。また、ダウンサンプリング処理は、１つの入力画像に対して、異なる複数の倍率により複数回行われる。
【００２５】
低解像度信号値パターン取得部４０３では、ダウンサンプリング処理により得られた低解像度画像内から、Ｎ×Ｍ画素の信号値が信号値マッチングパターンとして取得される。取得する信号値マッチングパターンのサイズは任意であるが、大きいサイズの信号値マッチングパターンを取得することで、より広域まで考慮して、後述する解像度変換を行うことができる。信号値マッチングパターンのサイズとしては、サイズを大きくした場合の効果及びＣＰＵのスペック等を考慮して、２×２画素又は４×４画素程度が妥当である。
【００２６】
また、高解像度信号値パターン取得部４０４では、高解像度画像データ入力部４０１から入力された高解像度画像の所定の領域の画素の信号値が信号値置換パターンとして取得される。信号値置換パターンが取得される画素の座標は、低解像度信号値パターン取得部４０３で取得した信号値マッチングパターンが取得された画素に対応する画素を全て含むように決められる。また、信号値マッチングパターンの画素サイズがＮ×Ｍであるのに対して、信号値置換パターンの画素サイズは（ｉＮ−（ｉ−１））×（ｊＭ−（ｊ−１））である。
【００２７】
信号値パターン統合部４０５では、取得部４０３及び４０４において取得した複数個の信号値マッチングパターンと信号値置換パターンとが互いに対応づけられて低・高解像度対応パターン記憶部１０４に書き込まれ、保持される。
【００２８】
パターン作成時に使用する高解像度画像として例えば高解像度スキャナ等から取得した画像を利用することで、解像度変換を行った際にデバイスのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を加味した学習パターンが作成できる。デバイスのＭＴＦ特性を加味したパターンを用いることで、低解像度スキャナによる画像の解像度変換に加え、ネットワーク負荷等を考慮しダウンサンプリングを行った画像に対しても高解像度スキャナで取得した画質と同等の画像へと変換することが可能となる。
【００２９】
図３は低・高解像度対応パターン記憶部１０４に記憶される信号値マッチングパターン及び信号値置換パターンの例を示している。
【００３０】
図３（ａ）は、低解像度信号値パターン取得部４０３により低解像度画像内から取得される信号値マッチングパターンの１つの例を示している。信号値マッチングパターンは、横Ｎ画素、縦Ｍ画素の領域で形成され、この領域の各画素から取得された多階調の信号値で表される（この例において、Ｎ＝２、Ｍ＝２である）。
【００３１】
また、図３の（ｂ）は、高解像度信号値パターン取得部４０４により高解像度画像内から取得される信号値置換パターンの１つの例を示している。この信号値置換パターンは、図３（ａ）の信号値マッチングパターンと同一箇所についての信号値置換パターンを示している。信号値置換パターンは、横（ｉＮ−（ｉ−１））画素、縦（ｊＭ−（ｊ−１））画素の領域で形成され、この領域の各画素から取得された多階調の信号値で表される（この例において、ｉ＝２、ｊ＝２である）。
【００３２】
できるだけ多くの信号値パターンの組合せを取得する為に、数多くの画像内から信号値パターンの組合せを取得して低・高解像度対応パターン記憶部１０４に書き込む。なお、同信号値の信号値マッチングパターンの組合せの場合は、信号値置換パターンの平均を求めた上で書き込む。
【００３３】
図４は、図１に示した信号値取得部１０２の詳細構成を示した図である。低解像度画像が入力部２０１より入力される。注目画素座標取得部２０２は、入力された低解像度画像の解像度変換により補間処理が必要な画素（注目画素）の座標を取得する。周辺信号取得部２０３は、取得された注目画素の座標を用いて、注目画素の周辺の画素の信号値を信号値パターンとして横Ｎ画素、縦Ｍ画素のサイズで形成する。信号値パターンは、出力部２０４から出力される。
【００３４】
図５は、本実施例において低解像度の画像データを横２倍、縦２倍の解像度に解像度変換する際に、信号値取得部１０２が取得する信号値パターンを示す図である。既知信号値（解像度変換後の信号値として分かっている画素の信号値）である（Ｘ，Ｙ）＝（偶数，偶数）の信号値を元に横２倍、縦２倍の解像度を得る際には、補間が必要なＡ１からＡ５の座標を注目画素座標取得部２０２により取得する。その際、周辺信号取得部２０３は、低・高解像度対応パターン記憶部１０４内のマッチングパターンサイズが横２画素、縦２画素の場合、Ａ１からＡ５のそれぞれの座標に近接するＢ１からＢ４の４画素の信号値を取得する。取得された信号値は、マッチングのための信号値パターンとして出力される。
【００３５】
図６は、図１に示したパターンマッチング部１０３の詳細構成を示した図である。パターンマッチング部１０３は、パターンマッチングの有無を確認した上で、必要な場合は、信号値取得部１０２で取得した信号値パターンと、低・高解像度対応パターン記憶部１０４内の信号値マッチングパターンとをマッチングする。
【００３６】
本実施例では、まず、信号値取得部１０２で取得した信号値パターン（Ｎ×Ｍ）が入力部３０１より入力される。取得信号値差算出部３０２は、入力された信号値パターンの各々の画素の信号値の差を算出する。図５の場合、出力される信号値の場合にはＢ１からＢ４の４画素の各々の信号値の差が算出される。
【００３７】
取得信号値差分岐処理部３０３は、取得信号値差算出部３０２により算出された値と予め決めた閾値を元に分岐処理を行う。本実施例では閾値は限定しないが、±８程度の差を閾値として利用する。取得信号値差分岐処理部３０３において信号値の差が閾値を上回ると判断された場合は、パターンマッチング処理を行うために信号値検索部３０４に、入力部３０１から入力された信号値パターンが送信される。
【００３８】
信号値検索部３０４は、受信した信号値パターンに一致する信号値マッチングパターンに対応する信号値置換パターンを低・高解像度対応パターン記憶部１０４から検索して取得する。なお、受信した信号値パターンと信号値マッチングパターンとが一致するという判断は、完全に一致する場合だけでなく、信号値の差が所定の閾値以内である場合も含むこととしてもよい。信号値検索部３０４は、取得した信号値置換パターンを注目画素信号値算出部３０５に送信する。
【００３９】
注目画素信号値算出部３０５は、注目画素座標取得部２０２で取得した座標を用いて、受信した信号値置換パターン内に存在する各注目画素の信号値を出力部３０７から出力する。
【００４０】
取得信号値差分岐処理部３０３において、信号値の差が予め決めた閾値よりも下回ると判断された場合、入力された信号値パターンは下地等の画像のものであり、詳細な解像度変換が不必要と判断し、パターンマッチングを行わない。したがって取得した信号値パターンは取得信号値平均部３０６に送信される。
【００４１】
取得信号値平均部３０６は、受信した信号値パターンの画素のうち、注目画素を囲む画素の信号値の平均を算出し、算出結果を当該注目画素の信号値として出力部３０７から出力する。ここで、取得信号値平均部３０６による処理は平均処理の代わりに、０次補間(ニアレストネイバ法)、共一次内挿方(バイリニア法)や３次畳み込み(Cubic法)などのアップサンプリング処理が行われても良い。
【００４２】
パターンマッチング部１０３により出力された注目画素の信号値は、信号値置換部１０５において置換のための信号値として用いられる。
【００４３】
以上のように図６に示した処理では、取得信号値差分岐処理部３０３において信号値の差が閾値を上回ると判断された場合のみパターンマッチング処理を行うため、高精度な解像度変換が不要な信号値パターンについてはマッチング処理を行わない。その結果、低・高解像度対応パターン記憶部１０４に予め記憶しておくべき信号値パターンの量を低減させ、低・高解像度対応パターン記憶部１０４の容量を抑えることができる。
【００４４】
図７は、信号値取得部１０２による信号値取得処理、パターンマッチング部１０３によるマッチング処理、及び信号値置換部１０５による信号値置換処理を示す概念図である。図７を参照して、横２画素、縦２画素のマッチングパターンを用いて横２倍、縦２倍の解像度に解像度変換する処理の一連の流れを説明する。
【００４５】
図７（ａ）は、（Ｘ，Ｙ）＝（偶数，偶数）の画素が既知信号値である多階調画像の一例を示している。既知信号値を元にＡ１からＡ５で示す画素の未知の信号値を補間する。
【００４６】
Ａ１からＡ５で示す画素を注目画素として補間を行うために、注目画素の座標を元に信号値取得部１０２の処理により注目画素の周辺に存在する既知信号値を持つ画素（２×２画素＝４画素）の信号値が図７（ｂ）に示すように取得される。取得された各画素の信号値は、信号値パターンとしてパターンマッチング部１０３に入力される。
【００４７】
パターンマッチング部１０３内で低・高解像度対応パターン記憶部１０４を用いたマッチング処理を行う。図７（ｃ）に示すように、低・高解像度対応パターン記憶部１０４内には、Ｂ１からＢ４からなる低解像度の信号値マッチングパターンに対応付けられて、高解像度の信号値置換パターンが保持されている。低・高解像度対応パターン記憶部１０４内には、信号値置換パターン内の画素Ａ１からＡ５の信号値も保持されている。
【００４８】
図７（ｄ）はマッチング処理の一例を示している。パターンマッチング部１０３は、低・高解像度対応パターン記憶部１０４内から、図７（ｂ）の信号値パターンに一致する信号値マッチングパターンに対応する信号値置換パターンを検索する。
【００４９】
パターンマッチング部１０３は、図７（ｅ）に示すように、検索により得られた信号値置換パターンからＡ１からＡ５の注目画素の信号値を抽出する。信号値置換部１０５において、図７（ｆ）に示すように注目座標の信号値が、抽出された信号値に置換される。
【００５０】
このように、既知信号値座標以外の信号値が、信号値置換パターンから抽出された信号値で置換される。また、他の信号値（少なくとも一部の信号値）は、入力画像の信号値が高解像度変換後の画像の信号値として用いられる。既知信号値座標以外の信号値のみが、信号値置換パターンから抽出された信号値で置換されることで、処理速度を向上させることができる。なお、図７（ｅ）に示す信号値置換パターンの全ての画素の信号値を抽出し、図７（ｆ）に示す画素の全ての信号値を置換することによって、既知信号値も補間する処理をしてもよい。
【００５１】
図７を参照して説明した処理を低解像度画像に対して行うことで、高解像度画像データを高解像度画像データ出力部１０６から出力できる。
【００５２】
以上説明した画像処理方法を実行する為の画像処理装置（画像処理システム）のハードウェア構成を図８に示す。ＰＣ５０１又はスキャナ部５０２により画像処理が行われる画像データが取得される。取得された画像データはＲＡＭ５０３に格納される。ＣＰＵ５０５は、本画像処理装置により行われる処理の全体を制御する。ＲＯＭ５０６は、ＣＰＵ５０５で制御されるプログラム及び低・高解像度対応パターンを保持している記憶部である。ＣＰＵ５０５でプログラムが実行され解像度変換された画像がプリント部５０４より出力される。
【００５３】
画像処理装置の上記のハードウェア構成は一例にすぎず、これに限定されない。例えば、画像データを入力／出力するための通信部、又は各種データを記憶するためのハードディスクをさらに備える構成であってもよい。
【００５４】
以上のように当実施例で紹介する信号値の勾配を元に信号値パターンマッチングを行うことで、マッチングパターン作成時に加味したデバイスのＭＴＦ特性を利用し、より詳細な解像度変換が可能となる。
【実施例２】
【００５５】
実施例１においては、低解像度画像内から１つのＮ×Ｍの信号値マッチングパターンを取得し、パターンマッチングを用いて対応する高解像度の信号値置換パターンに置換することで詳細に解像度変換する方法を説明した。Ｎ×Ｍのパターンサイズを利用することで、広範囲の信号値情報を考慮し解像度変換が可能であるが、その代わりに保持するマッチングパターンの数が多くなり、低・高解像度対応パターン記憶部１０４の容量が増す。
【００５６】
また、補間に使用するパターンマッチングは一度にすることが可能であるが、使用するパターンによっては隣り合う座標間で大きな信号値差が発生し、特にエッジ部においてはギザギザ模様が見られる可能性がある。そこで、実施例２では、マッチングパターンのサイズを狭め低・高解像度対応パターン記憶部１０４の容量を低減した上で、同様の作用効果に加えエッジ部等を滑らかな信号値変化でより自然な画像生成を達成できる構成を説明する。
【００５７】
図９に本発明の実施例２における処理の概略機能構成を示す。図９において、上述した図１に示す実施例１の構成と同一構成のものには同一番号を付ける。図９には、低解像度画像データ入力部１０１、複数信号値取得部１０７、複数パターンマッチング部１０９、低・高解像度対応パターン記憶部１０４、注目信号値演算部１０８、信号値置換部１０５、高解像度画像データ出力部１０６が示されている。
【００５８】
本実施例では、図１に示す実施例１とは異なる構成で解像度変換を行う処理の例を説明する。すなわち、複数信号値取得部１０７、複数パターンマッチング部１０９、及び注目信号値演算部１０８において、３×１画素（３画素）のマッチングパターンを利用して、横２倍、縦２倍の解像度変換を行う処理の例を説明する。
【００５９】
図１０は、図９に示した複数信号値取得部１０７の詳細構成を示した図である。上述した図４に示す実施例１と同一構成のものには同一番号を付ける。本実施例では、低解像度画像が入力部２０１より入力され、注目画素座標取得部２０２において解像度変換後の座標を取得する。注目画素座標取得部２０２により取得された注目画素座標が偶数又は奇数かに応じて処理は分岐する。
【００６０】
注目画素座標が（Ｘ，Ｙ）＝（偶数，偶数）の場合は、符号２０５で注目画素及びその上下左右の５画素の信号値を取得する。取得した５画素の信号値から、符号２０６において、３×１画素（３画素）の２種類の信号値パターンを形成し、出力部２０４から出力する。
【００６１】
注目画素座標が（Ｘ，Ｙ）＝（奇数，偶数）の場合は、符号２０７で注目画素を挟む左右の４画素の信号値を取得する。取得した４画素の信号値から、符号２０８において、３×１画素（３画素）の２種類の信号値パターンを形成し、出力部２０４から出力する。
【００６２】
注目画素座標が（Ｘ，Ｙ）＝（偶数，奇数）の場合は、符号２０９で注目画素を挟む上下の４画素の信号値を取得する。取得した４画素の信号値から、符号２１０において、３×１画素（３画素）の２種類の信号値パターンを形成し、出力部２０４から出力する。
【００６３】
注目画素座標が（Ｘ，Ｙ）＝（奇数，奇数）の場合は、符号２１１で注目画素を挟む斜め方向の８画素の信号値を取得する。取得した８画素の信号値から、符号２１２において、３×１画素（３画素）の４種類の信号値パターンを形成し、出力部２０４から出力する。
【００６４】
図１１は、図１０の複数信号値取得部１０７において形成され出力される信号値パターンの例を示す図である。図１１は、多階調の低解像度画像の一例を示しており、（Ｘ，Ｙ）＝（偶数，偶数）の画素の信号値が既知である。既知である低解像度信号値を元に他の信号値が補間される。取得するマッチングパターンは、注目画素座標値のＸ及びＹ座標に応じて４種に分類される。
【００６５】
図１１（ａ）は前記注目画素座標が（Ｘ，Ｙ）＝（偶数，偶数）の場合に対応する。注目画素及びその上下左右の５画素の信号値が取得され、取得した５画素の信号値から破線で示す３×１画素（３画素）の２種類の信号値パターンが形成され出力される。すなわち、図１１（ａ）の場合にはＡ１とＡ３とＡ５で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類の信号値パターンとなる。
【００６６】
図１１（ｂ）は前記注目画素座標が（Ｘ，Ｙ）＝（奇数，偶数）の場合に対応する。注目画素を挟む左右の４画素の信号値が取得され、取得した４画素の信号値から破線で示す３×１画素（３画素）の２種類の信号値パターンが形成され出力される。すなわち、図１１（ｂ）の場合にはＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類の信号値パターンとなる。
【００６７】
図１１（ｃ）は前記注目画素座標が（Ｘ，Ｙ）＝（偶数，奇数）の場合に対応する。注目画素を挟む上下の４画素の信号値が取得され、取得した４画素の信号値から破線で示す３×１画素（３画素）の２種類の信号値パターンが形成され出力される。すなわち、図１１（ｃ）の場合にはＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類の信号値パターンとなる。
【００６８】
図１１（ｄ）は前記注目画素座標が（Ｘ，Ｙ）＝（奇数，奇数）の場合に対応する。注目画素を挟む斜めの８画素の信号値が取得され、取得した８画素から破線で示す３×１画素（３画素）の４種類の信号値パターンが形成され出力される。すなわち、図１１（ｄ）の場合にはＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンと、Ａ５とＡ６とＡ７で示すパターンと、Ａ５とＡ６とＡ７で示すパターンの４種類の信号値パターンとなる。
【００６９】
尚、ここで示す複数種類のパターン組合せは限定するものではなく、例えば図１１（ｄ）の場合には４種類の信号値パターンでなくＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類のみのパターンでも代用可能である。
【００７０】
複数信号値取得部１０７から出力された複数個の信号値パターンが複数パターンマッチング部１０９に送信される。複数パターンマッチング部１０９は、受信した複数個の信号値パターンを用いて信号値マッチングパターンを検索し、対応する複数個の信号値置換パターンを注目信号値演算部１０８に送信する。
【００７１】
注目信号値演算部１０８内では、複数個の入力される信号値置換パターンの中から各々の注目画素に対応する信号値が取り出され、平均が算出され、注目画素の信号値として信号値置換部１０５に送信される。信号値置換部１０５は、補間対象の画素の信号値を注目信号値演算部１０８から受信した注目画素の信号値に置換する。すなわち、本実施例では、高解像度画像の１画素の信号値を設定するために、複数の信号値置換パターンが用いられる。
【００７２】
図１２は、複数信号値取得部１０７における信号値取得処理、複数パターンマッチング部１０９におけるマッチング処理、注目信号値演算部１０８における平均化処理、信号値置換部１０５における信号値置換処理を示す図である。
【００７３】
図１２（ａ）は（Ｘ，Ｙ）＝（偶数，偶数）が既知信号値の多階調画像の一例を示しており、既知信号値を元に丸印で示す未知の信号値を補間する。図１２の（ａ）内の丸印で示す画素を注目画素として補間を行う場合は、複数信号値取得部１０７の分岐処理において、注目画素の座標は（Ｘ，Ｙ）＝（奇数，偶数）である。その為、図１２（ｂ）に示すような注目画素の左右に並ぶ４画素の信号値が取得される。取得された信号値から、図１２（ｃ）（ｄ）に示すような３×１画素（３画素）の２種類の信号値パターンが形成され、複数パターンマッチング部１０９に入力される。
【００７４】
図１２（ｅ）は、予め用意する低・高解像度対応パターン記憶部１０４に記憶されている信号値マッチングパターン、及び信号値マッチングパターンに対応した多階調の信号値置換パターンの一例を示している。図１２（ｃ）及び（ｄ）の信号値パターンと一致する信号値マッチングパターンが図１２（ｅ）に示す多階調の信号値マッチングパターン内から検索される。得られた信号値マッチングパターンに対応する信号値置換パターンが有する信号値の中で、注目画素に応じた信号値が取得される。
【００７５】
図１２（ｃ）の信号値パターンから検索により得られた注目画素の信号値を図１２（ｆ）に示し、図１２（ｄ）の信号値パターンから検索により得られた注目画素の信号値を図１２（ｇ）に示す。複数パターンマッチング部１０９により取得した信号値を注目信号値演算部１０８に送信し、注目座標に対応する座標の複数個の信号値を注目信号値演算部１０８内で平均する。信号値置換部１０５において、図１２（ｈ）に示すように、算出された平均値で注目座標の信号値が置換される。このように本実施例では、解像度変換した画像の１画素の信号値を設定するために、複数の信号値置換パターンを用いる。
【００７６】
前述の手法を用いて解像度変換を行う全画素において信号値取得部１０７以降から信号値置換部１０５までの処理を行うことで高解像度画像データとして、高解像度画像データ出力部１０６から出力される。
【００７７】
また、本実施例では信号値マッチングパターンを３×１画素（３画素）のサイズで示したが、図１３に表すように２×２画素（４画素）のように小さなＮ×Ｍサイズでのマッチングも可能である。図１３は、図１１と同様に、多階調の低解像度画像の一例を示しており、（Ｘ，Ｙ）＝（偶数，偶数）の画素の信号値が既知である。既知である低解像度信号値を元に他の信号値が補間される。低解像度画像から取得される信号値パターンは、注目画素座標値のＸ及びＹ座標に応じて４種に分類される。
【００７８】
図１３（ａ）では注目画素座標が（Ｘ，Ｙ）＝（偶数，偶数）の場合に対応する。注目画素及びその上下左右斜めの９画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の４種類の信号値パターンを形成して出力する。すなわち、図１３（ａ）の場合にはＡ１とＡ２とＡ４とＡ５で示すパターンと、Ａ２とＡ３とＡ５とＡ６で示すパターンと、Ａ４とＡ５とＡ７とＡ８で示すパターンと、Ａ５とＡ６とＡ８とＡ９で示すパターンの４種類の信号値パターンとなる。なお、図１３（ａ）の例では、注目画素座標（すなわち、補間対象の座標）が既知信号値座標となっているが、既知信号値座標を補間対象の座標とせず、既知信号値を高解像度変換後の信号値として用いてもよい。そのようにすることで、補間対象の画素の数が減り、処理速度を向上させることができる。
【００７９】
図１３（ｂ）では注目画素座標が（Ｘ，Ｙ）＝（奇数，偶数）の場合に対応する。注目画素を挟む６画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の２種類の信号値パターンを形成して出力する。すなわち、図１３（ｂ）の場合にはＡ１とＡ２とＡ３とＡ４で示すパターンと、Ａ３とＡ４とＡ５とＡ６で示すパターンの２種類の信号値パターンとなる。
【００８０】
図１３（ｃ）では前記注目画素座標が（Ｘ，Ｙ）＝（偶数，奇数）の場合に対応する。注目画素を挟む６画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の２種類の信号値パターンを形成して出力する。すなわち、図１３（ｃ）の場合にはＡ１とＡ２とＡ４とＡ５で示すパターンと、Ａ２とＡ３とＡ５とＡ６で示すパターンの２種類の信号値パターンとなる。
【００８１】
図１３（ｄ）では前記注目画素座標が（Ｘ，Ｙ）＝（奇数，奇数）の場合に対応する。注目画素を挟む４画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の１種類の信号値パターンを形成して出力する。すなわち、図１３（ｄ）の場合にはＡ１とＡ２とＡ３とＡ４で示すパターンの１種類の信号値パターンとなる。
【００８２】
尚、ここで示す複数種類のパターン組合せは限定するものではなく、例えば図１３（ａ）の場合には４種類の信号値パターンでなくＡ１とＡ２とＡ４とＡ５で示すパターンと、Ａ５とＡ６とＡ８とＡ９で示すパターンの２種類のみのパターンであってもよい。もしくは、Ａ２とＡ３とＡ５とＡ６で示すパターンと、Ａ４とＡ５とＡ７とＡ８で示すパターンの２種類のみのパターンでも代用可能である。
【００８３】
取得したＮ×Ｍの複数個の信号値パターンによりパターンマッチングを行う。２×２画素（４画素）のようにＮ×Ｍサイズで行うことでパターン数は増えるが、解像度変換においては画質状態がより滑らかに復元可能となる。
【００８４】
以上のように、複数個のマッチングパターンを取得し、複数回マッチングを行うのは、メモリ資源削減の為にパターンのサイズを小さくしていることに起因する。多階調のパターンを大きなサイズで保持すると膨大なパターン数となる為、実施例ではパターンサイズを小さくすることでメモリ資源削減を行っている。しかし、パターンサイズを小さくする事で広域までの信号値を考慮できず詳細な解像度変換ができないが、マッチングパターンをスライドさせマッチングを行うことで、仮想的に広域のパターンを用いてパターンマッチングを行ったものと同じ効果が得られる。
【００８５】
また、複数回マッチングを行い複数個のパターンを用いることで一回のパターンマッチングで懸念されるエッジ部のギザギザ模様に関しても低減可能で、より自然なエッジの復元が実現される。
【実施例３】
【００８６】
実施例１及び実施例２では画像の全画素において低解像度画像内からＮ×Ｍの信号値マッチングパターンを取得し、パターンマッチングを用いて対応する高解像度の信号値置換パターンに置換することで詳細な解像度変換する方法を説明した。しかし、解像度変換の際に画質劣化が目立ちやすい箇所は文字部やエッジ部に限定されており、信号値がなだらかに変化する箇所等の詳細復元の必要性が低い箇所においては、本手法により詳細に復元する必要はない。そこで、実施例３では解像度変換の前に画像の属性を判断し、属性に応じて解像度変換の方法を変え、処理時間の低減を可能にする構成を説明する。
【００８７】
図１４に本発明の実施例３を示す概略機能構成を示す。図１４において、上述した実施例１における図１に示した構成と同一の構成には同一番号を付ける。この概略機能構成には、図１に示した構成と同様に、低解像度画像データ入力部１０１、信号値取得部１０２、パターンマッチング部１０３、低・高解像度対応パターン記憶部１０４、信号値置換部１０５、及び高解像度画像データ出力部１０６が示されている。さらにこれらの構成に加えて、像域判定部１０９、及びアップサンプリング部１１０が示されている。
【００８８】
像域判定部１０９は、低解像度画像データ入力部１０１から入力された画像に対し、注目画素の属性を画素単位で取得し、取得した属性に応じて解像度変換で詳細復元が必要であるか否かを判断する。入力画像が、文字部やエッジ部など、急激に信号値が変化する画像である場合、像域判定部１０９は、解像度変換で詳細復元が必要であると判断する。すなわち、入力画像内の画素の信号値差に応じて、解像度変換で詳細復元が必要であるか否かを判断する。急激に信号値が変化する画像であるかは、入力画像内の最大信号値と最小信号値の差分が所定値を越えるか否かによって判断してもよい。
【００８９】
入力画像に対して詳細復元が必要であると判断された場合、像域判定部１０９は、信号値取得部１０２に注目画素の周辺信号値を送信する。注目画素の周辺の信号値を取得し、パターンマッチング部１０３でマッチング処理が行われ、注目画素の信号値を算出し、信号値置換部１０５に送信する。
【００９０】
また、入力画像に対して詳細復元が必要ない（すなわち、なだらかに信号値が変化する画素である）と判断された場合、像域判定部１０９は、アップサンプリング部１１０に入力画像の信号値を送信する。
【００９１】
アップサンプリング部１１０では、処理負荷の少ない最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの内挿法によりアップサンプリング後の注目画素の信号値を算出し、信号値置換部１０５に送信する。
【００９２】
実施例３により、入力される画像に対し低解像度から高解像度に解像度変換する際に画像属性に応じて選択的に解像度変換が可能となる。また、画像内のなだらかに信号値が変化する箇所等の詳細復元不要箇所に関しては、処理負荷の少ない内挿法を用いる為、処理時間の削減も可能となる。
【００９３】
また、本実施例ではパターンマッチングによる解像度変換を実施例１と同様にパターンマッチング部１０３において１回のパターンマッチングの実施例を示した。しかしながら、実施例２に示したように信号値取得部１０２、パターンマッチング部１０３をそれぞれ複数信号値取得部１０７、複数パターンマッチング部１０９に変更及び、注目信号値演算部を加えて複数回のマッチングによる解像度変換を行うことも可能である。
【００９４】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関するものであり、入力される画像の解像度を低解像度から高解像度に解像度変換し出力することを可能とする画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
スキャナ等の読み取り装置により取得した低解像度の画像を高解像度で印刷する場合には、画像の解像度を低解像度から高解像度に解像度変換する必要がある。また、ネットワークを介して画像を転送する際にネットワーク負荷を低減する為に低解像度で転送し高解像度にして表示および印刷する場合には、画像の解像度を低解像度から高解像度に解像度変換を行う必要がある。
【０００３】
従来、入力される低解像度の画像を高解像度に解像度変換する方法として多くの方法が提案されている。多階調の画像に対して解像度変換を行う場合に多く用いられる内挿法として、内挿を行いたい内挿点から最も近い格子点の信号値を内挿点の信号値としてそのまま決定する最近隣内挿法がある。また、内挿点の周囲２×２画素（４画素）の格子点の信号値を元に線形式により内挿点の信号値を決定する共一次内挿法（Ｂｉ−Ｌｉｎｅａｒ法）がある。さらに、内挿点の周囲４×４画素（１６画素）から三次式により内挿点の信号値を決定する三次畳み込み内挿法（Ｂｉ−Ｃｕｂｉｃ法）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１０５３５９号公報
【特許文献２】特開平６−２２７０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記の従来方法を用いて解像度変換を行った場合に次に示す欠点がある。最近隣内挿法の場合はアルゴリズムが簡単で高速に処理を行うことは可能であるが、拡大比率が高くなるにつれエッジ部においてモザイク状の模様や、斜線部においてはジャギー等の画質劣化が見られる。また、内挿点を複数個の周辺画素の信号値を元に決定する共一次内挿法や三次畳み込み内挿法は、最近隣内挿法に比べジャギー等の画質劣化は低減されるが、複数点の信号値が平均化されることで、画像が平滑化されてしまう。よって、画像のエッジ部や文字などのシャープな画質が求められる部分においてはなまりが目立ってしまう。
【０００６】
特許文献１では、線形補間情報とエッジ情報を元に、エッジの大きさの度合いに応じてシャープなエッジを再現する手法が開示されている。しかしながら、この手法の場合、エッジ部の大きさを元に解像度変換を行う為、スキャン画像のようにエッジの大きさの度合いが小さい場合には、シャープにエッジを復元することが困難であるという問題がある。
【０００７】
特許文献２では、輪郭部に対してパターンマッチングを用いてスムージングする手法が開示されている。しかしながら、この手法の場合、パターンマッチングに使用するパターンの数を多く持つ必要があり、メモリ負荷を押さえる為に少階調数でのパターンを利用する為に解像度変換後の画像が少階調数で生成される問題がある。
【０００８】
本発明は、低解像度画像を高解像度画像に解像度変換を行う場合に起こりうるジャギーやなまりを低減可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題を解決することを目的としてなされたものである。本発明に係る画像処理装置は、高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段と、入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得手段と、前記取得手段により取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、低解像度画像を高解像度画像へ解像度変換する際に発生するジャギーやなまりを低減可能な画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１における処理を実行するための概略機能構成を示すブロック図である。
【図２】実施例１において低・高解像度対応パターン記憶部に記憶されるパターンを作成するための機能の構成を示すブロック図である。
【図３】実施例１において低・高解像度対応パターン記憶部に記憶されるパターンの作成方法を具体的に説明する為の図である。
【図４】実施例１における信号値取得部の機能構成を示すブロック図である。
【図５】実施例１における信号値取得部により信号値を取得するパターンを具体的に説明する為の図である。
【図６】実施例１におけるパターンマッチング部の機能構成を示すブロック図である。
【図７】実施例１における信号値取得部、パターンマッチング部、低・高解像度対応パターン記憶部及び信号値置換部による処理を具体的に説明する為の図である。
【図８】実施例１におけるハードウェア構成を説明する為の図である。
【図９】実施例２における処理を実行するための概略機能構成を示すブロック図である。
【図１０】実施例２における複数信号値取得部の機能構成を示すブロック図である。
【図１１】実施例２において複数信号値取得部により信号値を取得するパターンを具体的に説明する為の図である。
【図１２】実施例２における複数信号値取得部、パターンマッチング部、低・高解像度対応パターン記憶部、注目信号値演算部及び信号値置換部１０５による処理を具体的に説明する為の図である。
【図１３】実施例２において複数信号値取得部により信号値を取得するパターンを具体的に説明する為の図である。
【図１４】実施例３における処理を実行するための概略機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を用いて本発明に係る一実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１３】
図１に本発明の実施例１における画像処理を実行するための概略機能構成を示す。本実施例の画像処理は、主として複写機等の画像出力装置内部において使用することが効率的であるが、画像出力装置以外の画像処理装置やアプリケーションでも適用可能である。この画像処理を実行するための画像処理装置のハードウェア構成については後述する。
【００１４】
図１を参照して、画像処理装置に入力した画像データの解像度を横ｉ倍、縦ｊ倍に解像度変換する処理の例について述べる。
【００１５】
低解像度画像データ入力部１０１は、解像度変換処理の対象となる低解像度画像データを入力するための入力部である。低解像度画像データ入力部１０１で入力した低解像度画像データは信号値取得部１０２に送信される。
【００１６】
信号値取得部１０２は、受信した低解像度画像内のＮ×Ｍ画素の画像の各画素の信号値を信号値パターンとして取得する（Ｎ、Ｍは任意の自然数）。詳細には、信号値取得部１０２は、低解像度画像から高解像度画像に解像度変換した際に補間が必要な注目画素を囲むＮ×Ｍ個の画素の信号値を信号値パターンとして取得する。信号値取得部１０２で取得した信号値パターンは、パターンマッチング部１０３に送信される。
【００１７】
パターンマッチング部１０３は、受信した信号値パターンと一致する信号値パターン又は同様の信号値パターンを持つ信号値マッチングパターンを低・高解像度対応パターン記憶部１０４から検索する。そして、パターンマッチング部１０３は、得られた信号値マッチングパターンを横ｉ倍、縦ｊ倍にしたものとして当該信号値マッチングパターンに対応付けられた多階調の信号値置換パターンを低・高解像度対応パターン記憶部１０４から取得する。すなわち、パターンマッチング部１０３は、解像度変換の倍率に応じた信号値置換パターンを取得する。
【００１８】
ここで、信号値置換パターンとは、所定の面積を持つ高解像度画像の各画素の信号値を表すものである。信号値マッチングパターンとは、所定の面積を持つ高解像度画像の解像度を横１／ｉ倍、縦１／ｊ倍にダウンサンプリングしたＮ×Ｍ画素の低解像度画像の各画素の信号値を表したものである。低・高解像度対応パターン記憶部１０４には、異なる複数の倍率によるダウンサンプリング前後の信号値置換パターンと信号値マッチングパターンとが対応付けられて記憶されている。例えば、解像度の異なる複数の信号値置換パターンが１つの信号値マッチングパターンと対応付けられて記憶されている。
【００１９】
パターンマッチング部１０３で取得された信号値置換パターン内の注目画素の信号値は、信号値置換部１０５に送信される。信号値置換部１０５は、低解像度画像から高解像度画像に解像度を変換するために補間が必要な画素の信号値を、受信した信号値に置換する。すなわち、信号値置換部１０５は、パターンマッチング部１０３で取得された信号値置換パターンを用いて、入力画像を高解像度に変換した画像の信号値を設定する。
【００２０】
解像度変換のために補間が必要な全ての画素に対して上記の置換処理が行われ、横ｉ倍、縦ｊ倍の解像度に解像度変換された高解像度画像データが高解像度画像データ出力部１０６より出力される。
【００２１】
以上のように、まず、高解像度画像の信号値パターン（信号値置換パターン）と、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターン（信号値マッチングパターン）とを対応付けて低・高解像度対応パターン記憶部１０４に記憶しておく。そして、入力画像を高解像度に変換する際に、入力画像内の所定の領域の画像の信号値パターンと一致する又は同様である信号値マッチングパターンを低・高解像度対応パターン記憶部１０４から検索する。検索により得られた信号値マッチングパターンに対応する信号値置換パターンを用いて、解像度変換後の高解像度画像の信号値を設定する。
【００２２】
このように高解像度画像への変換処理における補間処理のために最近隣内挿法、共一次内挿法（Ｂｉ−Ｌｉｎｅａｒ法）及び三次畳み込み内挿法（Ｂｉ−Ｃｕｂｉｃ法）などを用いないため、これらの内挿法により生じる画質劣化が発生することがない。すなわち、本実施例の処理によれば、低解像度画像を高解像度画像へ解像度変換する際に発生するジャギーやなまりを低減することができる。
【００２３】
図２は、図１に示した低・高解像度対応パターン記憶部１０４に記憶された信号値マッチングパターン及びその信号値マッチングパターンに対応した多階調の信号値置換パターンを生成する処理構成の例を示すブロック図を示す。尚、マッチングパターンは一度作成することで他の画像においても利用可能であり、解像度変換の度に作成するものではない。ここでは、画像の解像度を横ｉ倍、縦ｊ倍に解像度変換を行う場合のマッチングパターンの作成例を示す。
【００２４】
高解像度画像データ入力部４０１は、高解像度画像が入力される入力部である。ダウンサンプリング処理部４０２は、高解像度画像データ入力部４０１から入力された画像の解像度を横１／ｉ倍、縦１／ｊ倍の解像度にダウンサンプリングする。ダウンサンプリング処理は、例えば、三次畳み込み内挿法等の内挿法により行われる。また、ダウンサンプリング処理は、１つの入力画像に対して、異なる複数の倍率により複数回行われる。
【００２５】
低解像度信号値パターン取得部４０３では、ダウンサンプリング処理により得られた低解像度画像内から、Ｎ×Ｍ画素の信号値が信号値マッチングパターンとして取得される。取得する信号値マッチングパターンのサイズは任意であるが、大きいサイズの信号値マッチングパターンを取得することで、より広域まで考慮して、後述する解像度変換を行うことができる。信号値マッチングパターンのサイズとしては、サイズを大きくした場合の効果及びＣＰＵのスペック等を考慮して、２×２画素又は４×４画素程度が妥当である。
【００２６】
また、高解像度信号値パターン取得部４０４では、高解像度画像データ入力部４０１から入力された高解像度画像の所定の領域の画素の信号値が信号値置換パターンとして取得される。信号値置換パターンが取得される画素の座標は、低解像度信号値パターン取得部４０３で取得した信号値マッチングパターンが取得された画素に対応する画素を全て含むように決められる。また、信号値マッチングパターンの画素サイズがＮ×Ｍであるのに対して、信号値置換パターンの画素サイズは（ｉＮ−（ｉ−１））×（ｊＭ−（ｊ−１））である。
【００２７】
信号値パターン統合部４０５では、取得部４０３及び４０４において取得した複数個の信号値マッチングパターンと信号値置換パターンとが互いに対応づけられて低・高解像度対応パターン記憶部１０４に書き込まれ、保持される。
【００２８】
パターン作成時に使用する高解像度画像として例えば高解像度スキャナ等から取得した画像を利用することで、解像度変換を行った際にデバイスのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を加味した学習パターンが作成できる。デバイスのＭＴＦ特性を加味したパターンを用いることで、低解像度スキャナによる画像の解像度変換に加え、ネットワーク負荷等を考慮しダウンサンプリングを行った画像に対しても高解像度スキャナで取得した画質と同等の画像へと変換することが可能となる。
【００２９】
図３は低・高解像度対応パターン記憶部１０４に記憶される信号値マッチングパターン及び信号値置換パターンの例を示している。
【００３０】
図３（ａ）は、低解像度信号値パターン取得部４０３により低解像度画像内から取得される信号値マッチングパターンの１つの例を示している。信号値マッチングパターンは、横Ｎ画素、縦Ｍ画素の領域で形成され、この領域の各画素から取得された多階調の信号値で表される（この例において、Ｎ＝２、Ｍ＝２である）。
【００３１】
また、図３の（ｂ）は、高解像度信号値パターン取得部４０４により高解像度画像内から取得される信号値置換パターンの１つの例を示している。この信号値置換パターンは、図３（ａ）の信号値マッチングパターンと同一箇所についての信号値置換パターンを示している。信号値置換パターンは、横（ｉＮ−（ｉ−１））画素、縦（ｊＭ−（ｊ−１））画素の領域で形成され、この領域の各画素から取得された多階調の信号値で表される（この例において、ｉ＝２、ｊ＝２である）。
【００３２】
できるだけ多くの信号値パターンの組合せを取得する為に、数多くの画像内から信号値パターンの組合せを取得して低・高解像度対応パターン記憶部１０４に書き込む。なお、同信号値の信号値マッチングパターンの組合せの場合は、信号値置換パターンの平均を求めた上で書き込む。
【００３３】
図４は、図１に示した信号値取得部１０２の詳細構成を示した図である。低解像度画像が入力部２０１より入力される。注目画素座標取得部２０２は、入力された低解像度画像の解像度変換により補間処理が必要な画素（注目画素）の座標を取得する。周辺信号取得部２０３は、取得された注目画素の座標を用いて、注目画素の周辺の画素の信号値を信号値パターンとして横Ｎ画素、縦Ｍ画素のサイズで形成する。信号値パターンは、出力部２０４から出力される。
【００３４】
図５は、本実施例において低解像度の画像データを横２倍、縦２倍の解像度に解像度変換する際に、信号値取得部１０２が取得する信号値パターンを示す図である。既知信号値（解像度変換後の信号値として分かっている画素の信号値）である（Ｘ，Ｙ）＝（偶数，偶数）の信号値を元に横２倍、縦２倍の解像度を得る際には、補間が必要なＡ１からＡ５の座標を注目画素座標取得部２０２により取得する。その際、周辺信号取得部２０３は、低・高解像度対応パターン記憶部１０４内のマッチングパターンサイズが横２画素、縦２画素の場合、Ａ１からＡ５のそれぞれの座標に近接するＢ１からＢ４の４画素の信号値を取得する。取得された信号値は、マッチングのための信号値パターンとして出力される。
【００３５】
図６は、図１に示したパターンマッチング部１０３の詳細構成を示した図である。パターンマッチング部１０３は、パターンマッチングの有無を確認した上で、必要な場合は、信号値取得部１０２で取得した信号値パターンと、低・高解像度対応パターン記憶部１０４内の信号値マッチングパターンとをマッチングする。
【００３６】
本実施例では、まず、信号値取得部１０２で取得した信号値パターン（Ｎ×Ｍ）が入力部３０１より入力される。取得信号値差算出部３０２は、入力された信号値パターンの各々の画素の信号値の差を算出する。図５の場合、出力される信号値の場合にはＢ１からＢ４の４画素の各々の信号値の差が算出される。
【００３７】
取得信号値差分岐処理部３０３は、取得信号値差算出部３０２により算出された値と予め決めた閾値を元に分岐処理を行う。本実施例では閾値は限定しないが、±８程度の差を閾値として利用する。取得信号値差分岐処理部３０３において信号値の差が閾値を上回ると判断された場合は、パターンマッチング処理を行うために信号値検索部３０４に、入力部３０１から入力された信号値パターンが送信される。
【００３８】
信号値検索部３０４は、受信した信号値パターンに一致する信号値マッチングパターンに対応する信号値置換パターンを低・高解像度対応パターン記憶部１０４から検索して取得する。なお、受信した信号値パターンと信号値マッチングパターンとが一致するという判断は、完全に一致する場合だけでなく、信号値の差が所定の閾値以内である場合も含むこととしてもよい。信号値検索部３０４は、取得した信号値置換パターンを注目画素信号値算出部３０５に送信する。
【００３９】
注目画素信号値算出部３０５は、注目画素座標取得部２０２で取得した座標を用いて、受信した信号値置換パターン内に存在する各注目画素の信号値を出力部３０７から出力する。
【００４０】
取得信号値差分岐処理部３０３において、信号値の差が予め決めた閾値よりも下回ると判断された場合、入力された信号値パターンは下地等の画像のものであり、詳細な解像度変換が不必要と判断し、パターンマッチングを行わない。したがって取得した信号値パターンは取得信号値平均部３０６に送信される。
【００４１】
取得信号値平均部３０６は、受信した信号値パターンの画素のうち、注目画素を囲む画素の信号値の平均を算出し、算出結果を当該注目画素の信号値として出力部３０７から出力する。ここで、取得信号値平均部３０６による処理は平均処理の代わりに、０次補間(ニアレストネイバ法)、共一次内挿方(バイリニア法)や３次畳み込み(Cubic法)などのアップサンプリング処理が行われても良い。
【００４２】
パターンマッチング部１０３により出力された注目画素の信号値は、信号値置換部１０５において置換のための信号値として用いられる。
【００４３】
以上のように図６に示した処理では、取得信号値差分岐処理部３０３において信号値の差が閾値を上回ると判断された場合のみパターンマッチング処理を行うため、高精度な解像度変換が不要な信号値パターンについてはマッチング処理を行わない。その結果、低・高解像度対応パターン記憶部１０４に予め記憶しておくべき信号値パターンの量を低減させ、低・高解像度対応パターン記憶部１０４の容量を抑えることができる。
【００４４】
図７は、信号値取得部１０２による信号値取得処理、パターンマッチング部１０３によるマッチング処理、及び信号値置換部１０５による信号値置換処理を示す概念図である。図７を参照して、横２画素、縦２画素のマッチングパターンを用いて横２倍、縦２倍の解像度に解像度変換する処理の一連の流れを説明する。
【００４５】
図７（ａ）は、（Ｘ，Ｙ）＝（偶数，偶数）の画素が既知信号値である多階調画像の一例を示している。既知信号値を元にＡ１からＡ５で示す画素の未知の信号値を補間する。
【００４６】
Ａ１からＡ５で示す画素を注目画素として補間を行うために、注目画素の座標を元に信号値取得部１０２の処理により注目画素の周辺に存在する既知信号値を持つ画素（２×２画素＝４画素）の信号値が図７（ｂ）に示すように取得される。取得された各画素の信号値は、信号値パターンとしてパターンマッチング部１０３に入力される。
【００４７】
パターンマッチング部１０３内で低・高解像度対応パターン記憶部１０４を用いたマッチング処理を行う。図７（ｃ）に示すように、低・高解像度対応パターン記憶部１０４内には、Ｂ１からＢ４からなる低解像度の信号値マッチングパターンに対応付けられて、高解像度の信号値置換パターンが保持されている。低・高解像度対応パターン記憶部１０４内には、信号値置換パターン内の画素Ａ１からＡ５の信号値も保持されている。
【００４８】
図７（ｄ）はマッチング処理の一例を示している。パターンマッチング部１０３は、低・高解像度対応パターン記憶部１０４内から、図７（ｂ）の信号値パターンに一致する信号値マッチングパターンに対応する信号値置換パターンを検索する。
【００４９】
パターンマッチング部１０３は、図７（ｅ）に示すように、検索により得られた信号値置換パターンからＡ１からＡ５の注目画素の信号値を抽出する。信号値置換部１０５において、図７（ｆ）に示すように注目座標の信号値が、抽出された信号値に置換される。
【００５０】
このように、既知信号値座標以外の信号値が、信号値置換パターンから抽出された信号値で置換される。また、他の信号値（少なくとも一部の信号値）は、入力画像の信号値が高解像度変換後の画像の信号値として用いられる。既知信号値座標以外の信号値のみが、信号値置換パターンから抽出された信号値で置換されることで、処理速度を向上させることができる。なお、図７（ｅ）に示す信号値置換パターンの全ての画素の信号値を抽出し、図７（ｆ）に示す画素の全ての信号値を置換することによって、既知信号値も補間する処理をしてもよい。
【００５１】
図７を参照して説明した処理を低解像度画像に対して行うことで、高解像度画像データを高解像度画像データ出力部１０６から出力できる。
【００５２】
以上説明した画像処理方法を実行する為の画像処理装置（画像処理システム）のハードウェア構成を図８に示す。ＰＣ５０１又はスキャナ部５０２により画像処理が行われる画像データが取得される。取得された画像データはＲＡＭ５０３に格納される。ＣＰＵ５０５は、本画像処理装置により行われる処理の全体を制御する。ＲＯＭ５０６は、ＣＰＵ５０５で制御されるプログラム及び低・高解像度対応パターンを保持している記憶部である。ＣＰＵ５０５でプログラムが実行され解像度変換された画像がプリント部５０４より出力される。
【００５３】
画像処理装置の上記のハードウェア構成は一例にすぎず、これに限定されない。例えば、画像データを入力／出力するための通信部、又は各種データを記憶するためのハードディスクをさらに備える構成であってもよい。
【００５４】
以上のように当実施例で紹介する信号値の勾配を元に信号値パターンマッチングを行うことで、マッチングパターン作成時に加味したデバイスのＭＴＦ特性を利用し、より詳細な解像度変換が可能となる。
【実施例２】
【００５５】
実施例１においては、低解像度画像内から１つのＮ×Ｍの信号値マッチングパターンを取得し、パターンマッチングを用いて対応する高解像度の信号値置換パターンに置換することで詳細に解像度変換する方法を説明した。Ｎ×Ｍのパターンサイズを利用することで、広範囲の信号値情報を考慮し解像度変換が可能であるが、その代わりに保持するマッチングパターンの数が多くなり、低・高解像度対応パターン記憶部１０４の容量が増す。
【００５６】
また、補間に使用するパターンマッチングは一度にすることが可能であるが、使用するパターンによっては隣り合う座標間で大きな信号値差が発生し、特にエッジ部においてはギザギザ模様が見られる可能性がある。そこで、実施例２では、マッチングパターンのサイズを狭め低・高解像度対応パターン記憶部１０４の容量を低減した上で、同様の作用効果に加えエッジ部等を滑らかな信号値変化でより自然な画像生成を達成できる構成を説明する。
【００５７】
図９に本発明の実施例２における処理の概略機能構成を示す。図９において、上述した図１に示す実施例１の構成と同一構成のものには同一番号を付ける。図９には、低解像度画像データ入力部１０１、複数信号値取得部１０７、複数パターンマッチング部１０９、低・高解像度対応パターン記憶部１０４、注目信号値演算部１０８、信号値置換部１０５、高解像度画像データ出力部１０６が示されている。
【００５８】
本実施例では、図１に示す実施例１とは異なる構成で解像度変換を行う処理の例を説明する。すなわち、複数信号値取得部１０７、複数パターンマッチング部１０９、及び注目信号値演算部１０８において、３×１画素（３画素）のマッチングパターンを利用して、横２倍、縦２倍の解像度変換を行う処理の例を説明する。
【００５９】
図１０は、図９に示した複数信号値取得部１０７の詳細構成を示した図である。上述した図４に示す実施例１と同一構成のものには同一番号を付ける。本実施例では、低解像度画像が入力部２０１より入力され、注目画素座標取得部２０２において解像度変換後の座標を取得する。注目画素座標取得部２０２により取得された注目画素座標が偶数又は奇数かに応じて処理は分岐する。
【００６０】
注目画素座標が（Ｘ，Ｙ）＝（偶数，偶数）の場合は、符号２０５で注目画素及びその上下左右の５画素の信号値を取得する。取得した５画素の信号値から、符号２０６において、３×１画素（３画素）の２種類の信号値パターンを形成し、出力部２０４から出力する。
【００６１】
注目画素座標が（Ｘ，Ｙ）＝（奇数，偶数）の場合は、符号２０７で注目画素を挟む左右の４画素の信号値を取得する。取得した４画素の信号値から、符号２０８において、３×１画素（３画素）の２種類の信号値パターンを形成し、出力部２０４から出力する。
【００６２】
注目画素座標が（Ｘ，Ｙ）＝（偶数，奇数）の場合は、符号２０９で注目画素を挟む上下の４画素の信号値を取得する。取得した４画素の信号値から、符号２１０において、３×１画素（３画素）の２種類の信号値パターンを形成し、出力部２０４から出力する。
【００６３】
注目画素座標が（Ｘ，Ｙ）＝（奇数，奇数）の場合は、符号２１１で注目画素を挟む斜め方向の８画素の信号値を取得する。取得した８画素の信号値から、符号２１２において、３×１画素（３画素）の４種類の信号値パターンを形成し、出力部２０４から出力する。
【００６４】
図１１は、図１０の複数信号値取得部１０７において形成され出力される信号値パターンの例を示す図である。図１１は、多階調の低解像度画像の一例を示しており、（Ｘ，Ｙ）＝（偶数，偶数）の画素の信号値が既知である。既知である低解像度信号値を元に他の信号値が補間される。取得するマッチングパターンは、注目画素座標値のＸ及びＹ座標に応じて４種に分類される。
【００６５】
図１１（ａ）は前記注目画素座標が（Ｘ，Ｙ）＝（偶数，偶数）の場合に対応する。注目画素及びその上下左右の５画素の信号値が取得され、取得した５画素の信号値から破線で示す３×１画素（３画素）の２種類の信号値パターンが形成され出力される。すなわち、図１１（ａ）の場合にはＡ１とＡ３とＡ５で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類の信号値パターンとなる。
【００６６】
図１１（ｂ）は前記注目画素座標が（Ｘ，Ｙ）＝（奇数，偶数）の場合に対応する。注目画素を挟む左右の４画素の信号値が取得され、取得した４画素の信号値から破線で示す３×１画素（３画素）の２種類の信号値パターンが形成され出力される。すなわち、図１１（ｂ）の場合にはＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類の信号値パターンとなる。
【００６７】
図１１（ｃ）は前記注目画素座標が（Ｘ，Ｙ）＝（偶数，奇数）の場合に対応する。注目画素を挟む上下の４画素の信号値が取得され、取得した４画素の信号値から破線で示す３×１画素（３画素）の２種類の信号値パターンが形成され出力される。すなわち、図１１（ｃ）の場合にはＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類の信号値パターンとなる。
【００６８】
図１１（ｄ）は前記注目画素座標が（Ｘ，Ｙ）＝（奇数，奇数）の場合に対応する。注目画素を挟む斜めの８画素の信号値が取得され、取得した８画素から破線で示す３×１画素（３画素）の４種類の信号値パターンが形成され出力される。すなわち、図１１（ｄ）の場合にはＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンと、Ａ５とＡ６とＡ７で示すパターンと、Ａ５とＡ６とＡ７で示すパターンの４種類の信号値パターンとなる。
【００６９】
尚、ここで示す複数種類のパターン組合せは限定するものではなく、例えば図１１（ｄ）の場合には４種類の信号値パターンでなくＡ１とＡ２とＡ３で示すパターンと、Ａ２とＡ３とＡ４で示すパターンの２種類のみのパターンでも代用可能である。
【００７０】
複数信号値取得部１０７から出力された複数個の信号値パターンが複数パターンマッチング部１０９に送信される。複数パターンマッチング部１０９は、受信した複数個の信号値パターンを用いて信号値マッチングパターンを検索し、対応する複数個の信号値置換パターンを注目信号値演算部１０８に送信する。
【００７１】
注目信号値演算部１０８内では、複数個の入力される信号値置換パターンの中から各々の注目画素に対応する信号値が取り出され、平均が算出され、注目画素の信号値として信号値置換部１０５に送信される。信号値置換部１０５は、補間対象の画素の信号値を注目信号値演算部１０８から受信した注目画素の信号値に置換する。すなわち、本実施例では、高解像度画像の１画素の信号値を設定するために、複数の信号値置換パターンが用いられる。
【００７２】
図１２は、複数信号値取得部１０７における信号値取得処理、複数パターンマッチング部１０９におけるマッチング処理、注目信号値演算部１０８における平均化処理、信号値置換部１０５における信号値置換処理を示す図である。
【００７３】
図１２（ａ）は（Ｘ，Ｙ）＝（偶数，偶数）が既知信号値の多階調画像の一例を示しており、既知信号値を元に丸印で示す未知の信号値を補間する。図１２の（ａ）内の丸印で示す画素を注目画素として補間を行う場合は、複数信号値取得部１０７の分岐処理において、注目画素の座標は（Ｘ，Ｙ）＝（奇数，偶数）である。その為、図１２（ｂ）に示すような注目画素の左右に並ぶ４画素の信号値が取得される。取得された信号値から、図１２（ｃ）（ｄ）に示すような３×１画素（３画素）の２種類の信号値パターンが形成され、複数パターンマッチング部１０９に入力される。
【００７４】
図１２（ｅ）は、予め用意する低・高解像度対応パターン記憶部１０４に記憶されている信号値マッチングパターン、及び信号値マッチングパターンに対応した多階調の信号値置換パターンの一例を示している。図１２（ｃ）及び（ｄ）の信号値パターンと一致する信号値マッチングパターンが図１２（ｅ）に示す多階調の信号値マッチングパターン内から検索される。得られた信号値マッチングパターンに対応する信号値置換パターンが有する信号値の中で、注目画素に応じた信号値が取得される。
【００７５】
図１２（ｃ）の信号値パターンから検索により得られた注目画素の信号値を図１２（ｆ）に示し、図１２（ｄ）の信号値パターンから検索により得られた注目画素の信号値を図１２（ｇ）に示す。複数パターンマッチング部１０９により取得した信号値を注目信号値演算部１０８に送信し、注目座標に対応する座標の複数個の信号値を注目信号値演算部１０８内で平均する。信号値置換部１０５において、図１２（ｈ）に示すように、算出された平均値で注目座標の信号値が置換される。このように本実施例では、解像度変換した画像の１画素の信号値を設定するために、複数の信号値置換パターンを用いる。
【００７６】
前述の手法を用いて解像度変換を行う全画素において信号値取得部１０７以降から信号値置換部１０５までの処理を行うことで高解像度画像データとして、高解像度画像データ出力部１０６から出力される。
【００７７】
また、本実施例では信号値マッチングパターンを３×１画素（３画素）のサイズで示したが、図１３に表すように２×２画素（４画素）のように小さなＮ×Ｍサイズでのマッチングも可能である。図１３は、図１１と同様に、多階調の低解像度画像の一例を示しており、（Ｘ，Ｙ）＝（偶数，偶数）の画素の信号値が既知である。既知である低解像度信号値を元に他の信号値が補間される。低解像度画像から取得される信号値パターンは、注目画素座標値のＸ及びＹ座標に応じて４種に分類される。
【００７８】
図１３（ａ）では注目画素座標が（Ｘ，Ｙ）＝（偶数，偶数）の場合に対応する。注目画素及びその上下左右斜めの９画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の４種類の信号値パターンを形成して出力する。すなわち、図１３（ａ）の場合にはＡ１とＡ２とＡ４とＡ５で示すパターンと、Ａ２とＡ３とＡ５とＡ６で示すパターンと、Ａ４とＡ５とＡ７とＡ８で示すパターンと、Ａ５とＡ６とＡ８とＡ９で示すパターンの４種類の信号値パターンとなる。なお、図１３（ａ）の例では、注目画素座標（すなわち、補間対象の座標）が既知信号値座標となっているが、既知信号値座標を補間対象の座標とせず、既知信号値を高解像度変換後の信号値として用いてもよい。そのようにすることで、補間対象の画素の数が減り、処理速度を向上させることができる。
【００７９】
図１３（ｂ）では注目画素座標が（Ｘ，Ｙ）＝（奇数，偶数）の場合に対応する。注目画素を挟む６画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の２種類の信号値パターンを形成して出力する。すなわち、図１３（ｂ）の場合にはＡ１とＡ２とＡ３とＡ４で示すパターンと、Ａ３とＡ４とＡ５とＡ６で示すパターンの２種類の信号値パターンとなる。
【００８０】
図１３（ｃ）では前記注目画素座標が（Ｘ，Ｙ）＝（偶数，奇数）の場合に対応する。注目画素を挟む６画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の２種類の信号値パターンを形成して出力する。すなわち、図１３（ｃ）の場合にはＡ１とＡ２とＡ４とＡ５で示すパターンと、Ａ２とＡ３とＡ５とＡ６で示すパターンの２種類の信号値パターンとなる。
【００８１】
図１３（ｄ）では前記注目画素座標が（Ｘ，Ｙ）＝（奇数，奇数）の場合に対応する。注目画素を挟む４画素の信号値を取得し、取得した画素から破線で示す２×２画素（４画素）の１種類の信号値パターンを形成して出力する。すなわち、図１３（ｄ）の場合にはＡ１とＡ２とＡ３とＡ４で示すパターンの１種類の信号値パターンとなる。
【００８２】
尚、ここで示す複数種類のパターン組合せは限定するものではなく、例えば図１３（ａ）の場合には４種類の信号値パターンでなくＡ１とＡ２とＡ４とＡ５で示すパターンと、Ａ５とＡ６とＡ８とＡ９で示すパターンの２種類のみのパターンであってもよい。もしくは、Ａ２とＡ３とＡ５とＡ６で示すパターンと、Ａ４とＡ５とＡ７とＡ８で示すパターンの２種類のみのパターンでも代用可能である。
【００８３】
取得したＮ×Ｍの複数個の信号値パターンによりパターンマッチングを行う。２×２画素（４画素）のようにＮ×Ｍサイズで行うことでパターン数は増えるが、解像度変換においては画質状態がより滑らかに復元可能となる。
【００８４】
以上のように、複数個のマッチングパターンを取得し、複数回マッチングを行うのは、メモリ資源削減の為にパターンのサイズを小さくしていることに起因する。多階調のパターンを大きなサイズで保持すると膨大なパターン数となる為、実施例ではパターンサイズを小さくすることでメモリ資源削減を行っている。しかし、パターンサイズを小さくする事で広域までの信号値を考慮できず詳細な解像度変換ができないが、マッチングパターンをスライドさせマッチングを行うことで、仮想的に広域のパターンを用いてパターンマッチングを行ったものと同じ効果が得られる。
【００８５】
また、複数回マッチングを行い複数個のパターンを用いることで一回のパターンマッチングで懸念されるエッジ部のギザギザ模様に関しても低減可能で、より自然なエッジの復元が実現される。
【実施例３】
【００８６】
実施例１及び実施例２では画像の全画素において低解像度画像内からＮ×Ｍの信号値マッチングパターンを取得し、パターンマッチングを用いて対応する高解像度の信号値置換パターンに置換することで詳細な解像度変換する方法を説明した。しかし、解像度変換の際に画質劣化が目立ちやすい箇所は文字部やエッジ部に限定されており、信号値がなだらかに変化する箇所等の詳細復元の必要性が低い箇所においては、本手法により詳細に復元する必要はない。そこで、実施例３では解像度変換の前に画像の属性を判断し、属性に応じて解像度変換の方法を変え、処理時間の低減を可能にする構成を説明する。
【００８７】
図１４に本発明の実施例３を示す概略機能構成を示す。図１４において、上述した実施例１における図１に示した構成と同一の構成には同一番号を付ける。この概略機能構成には、図１に示した構成と同様に、低解像度画像データ入力部１０１、信号値取得部１０２、パターンマッチング部１０３、低・高解像度対応パターン記憶部１０４、信号値置換部１０５、及び高解像度画像データ出力部１０６が示されている。さらにこれらの構成に加えて、像域判定部１０９、及びアップサンプリング部１１０が示されている。
【００８８】
像域判定部１０９は、低解像度画像データ入力部１０１から入力された画像に対し、注目画素の属性を画素単位で取得し、取得した属性に応じて解像度変換で詳細復元が必要であるか否かを判断する。入力画像が、文字部やエッジ部など、急激に信号値が変化する画像である場合、像域判定部１０９は、解像度変換で詳細復元が必要であると判断する。すなわち、入力画像内の画素の信号値差に応じて、解像度変換で詳細復元が必要であるか否かを判断する。急激に信号値が変化する画像であるかは、入力画像内の最大信号値と最小信号値の差分が所定値を越えるか否かによって判断してもよい。
【００８９】
入力画像に対して詳細復元が必要であると判断された場合、像域判定部１０９は、信号値取得部１０２に注目画素の周辺信号値を送信する。注目画素の周辺の信号値を取得し、パターンマッチング部１０３でマッチング処理が行われ、注目画素の信号値を算出し、信号値置換部１０５に送信する。
【００９０】
また、入力画像に対して詳細復元が必要ない（すなわち、なだらかに信号値が変化する画素である）と判断された場合、像域判定部１０９は、アップサンプリング部１１０に入力画像の信号値を送信する。
【００９１】
アップサンプリング部１１０では、処理負荷の少ない最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの内挿法によりアップサンプリング後の注目画素の信号値を算出し、信号値置換部１０５に送信する。
【００９２】
実施例３により、入力される画像に対し低解像度から高解像度に解像度変換する際に画像属性に応じて選択的に解像度変換が可能となる。また、画像内のなだらかに信号値が変化する箇所等の詳細復元不要箇所に関しては、処理負荷の少ない内挿法を用いる為、処理時間の削減も可能となる。
【００９３】
また、本実施例ではパターンマッチングによる解像度変換を実施例１と同様にパターンマッチング部１０３において１回のパターンマッチングの実施例を示した。しかしながら、実施例２に示したように信号値取得部１０２、パターンマッチング部１０３をそれぞれ複数信号値取得部１０７、複数パターンマッチング部１０９に変更及び、注目信号値演算部を加えて複数回のマッチングによる解像度変換を行うことも可能である。
【００９４】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段と、
入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得手段と、
前記取得手段により取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記入力画像の信号値を、前記高解像度変換後の画像の少なくとも一部の信号値として設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段には、１つの信号値マッチングパターンに対して解像度の異なる複数の信号値置換パターンが対応付けられて記憶されていることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記取得手段は、高解像度変換の倍率に応じた前記高解像度画像の信号値パターンを前記記憶手段から取得することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、前記高解像度変換後の画像の１画素の信号値を設定するために、前記取得手段により取得された複数の信号値パターンを用いることを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記設定手段は、入力画像内の画素の信号値差が所定値を超える場合のみ、前記取得手段により取得した信号値パターンを用いて、前記信号値の設定を行うことを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
【請求項７】
高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段を備えた装置で実施される画像処理方法であって、
入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得ステップと、
前記取得ステップにより取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定ステップと
を備えたことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段、
入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得手段、
前記取得手段により取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定手段、
として機能させるためのプログラム。
【請求項１】
高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段と、
入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得手段と、
前記取得手段により取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記入力画像の信号値を、前記高解像度変換後の画像の少なくとも一部の信号値として設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段には、１つの信号値マッチングパターンに対して解像度の異なる複数の信号値置換パターンが対応付けられて記憶されていることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記取得手段は、高解像度変換の倍率に応じた前記高解像度画像の信号値パターンを前記記憶手段から取得することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、前記高解像度変換後の画像の１画素の信号値を設定するために、前記取得手段により取得された複数の信号値パターンを用いることを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記設定手段は、入力画像内の画素の信号値差が所定値を超える場合のみ、前記取得手段により取得した信号値パターンを用いて、前記信号値の設定を行うことを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
【請求項７】
高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段を備えた装置で実施される画像処理方法であって、
入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得ステップと、
前記取得ステップにより取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定ステップと
を備えたことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
高解像度画像の信号値パターンと、前記高解像度画像を低解像度に変換した低解像度画像の信号値パターンとを対応付けて記憶する記憶手段、
入力画像の信号値パターンと前記低解像度画像の信号値パターンとをマッチングした結果に応じて、前記低解像度画像の信号値パターンに対応する前記高解像度画像の信号値パターンを前記記憶手段から取得する取得手段、
前記取得手段により取得した信号値パターンを用いて、前記入力画像の高解像度変換後の画像の信号値を設定する設定手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１０６２４２（Ｐ２０１３−１０６２４２Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９５８６（Ｐ２０１１−２４９５８６）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]